Pues he probado el código y funciona perfectamente.
Código:
procedure TForm1.Button1Click(Sender: TObject);
Var
AbreFormModal:TForm1;
begin
AbreFormModal:=TForm1.Create(Self);
AbreformModal.Caption:='Este es el formulario Modal';
AbreFormModal.ShowModal;
end;
El error parece indicar que la ventana ya es visible y por lo tanto ya no puede cambiarse a modal, revisa un poco el código.
Un Saludo.