[marcoszorrilla]

Pon este código en el evento OnKeyPress de tu TEdit y sólo admitirá números:

 
procedure TForm1.Edit1KeyPress(Sender: TObject; var Key: Char);
          begin
            if ( StrScan('0123456789.-',Key) <> nil ) or
               ( Key = Char(VK_BACK) ) then { BackSpace Key }
            begin
              {Aqui tu tratamiento normal del evento}

            end
            else
              Key := #0;
          end;

Un Saludo.