Si buscas en el foro encontrarás algo como esto
En el evento OnKeyPress del edit pones:
para solo números
Código Delphi
[-]
if ( StrScan('0123456789'+chr(7)+chr(8), Key) = nil ) then Key := #0;
sustituye 0123456789 por los caracteres que quieras que solo admita