problema con if FileExist

[[duilioisola]]

El título dice que tienes problemas con FileExists... no parece según tu descripción de tu mensaje.

No entiendo bien cuando se debe cerrar la aplicación:

quiero que se muestre solo cuando le de cerrar

¿Qué es lo que quieres que se muestre?

cuando le de cerrar y tenga un archivo abierto

¿Qué archivo? ¿Qué tipo de archivo? ¿No sabes como saber si has abierto un archivo?

Supongo que tienes que utilizar el evento del Form OnClose y OnCloseQuery. Ponte sobre ellos y presiona F1 para aprender como funcionan.
De un ejemplo del Delphi 6

Código Delphi [-]
procedure TForm1.FormCloseQuery(Sender: TObject; var CanClose: Boolean);
begin
  if MessageDlg('Close the form?', mtConfirmation, [mbOk, mbCancel], 0) = mrCancel then
     CanClose := False;
end;

En tu caso debería ser algo así:

Código Delphi [-]
procedure TForm1.FormCloseQuery(Sender: TObject; var CanClose: Boolean);
begin
  if (ArchivoAbierto) then
  begin
     if MessageDlg('Close the form?', mtConfirmation, [mbOk, mbCancel], 0) = mrCancel then
        CanClose := False;
  end 
  else
     CanClose := True;
end;