Hola.
Yo lo que haría es prevenir que puedan teclear en el edit un valor distinto a los permitidos:
Código Delphi
[-]procedure TForm1.Edit1KeyPress(Sender: TObject; var Key: Char);
begin
if not(Key in ['0'..'5', #8])
then Key := #0;
end;
Y te puedes olvidar de capturar excepciones y traducirlas...