Con esta prueba tienes el error:
Código:
procedure TForm1.Button1Click(Sender: TObject);
Var
AbreFormModal:TForm1;
begin
AbreFormModal:=TForm1.Create(Self);
AbreformModal.Caption:='Este es el formulario Modal';
AbreformModal.Show;//la abro normal
AbreFormModal.ShowModal;//Aqui tenemos el error
end;
Un Saludo.