Lo que hago normalmente en estos casos (
no es la única solución), es poner en la propiedad ModalResult del botón mrNone, y cuando la validación es correcta, desde el mismo código asigno el ModalResult mrOk.
Código:
if valida then
ModalResult := mrOk;
Saludos!