El problema es que estás poniendo a NIL el valor de form5, a lo que te da el error al mandar el CLOSE porque vale NIL.
Mi consejo es, llama a Form5.Close, y en el evento Onclose del formulario haces el Form5 := NIL;
Código Delphi
[-]
if (Form5 <> nil) then begin
DataModule2.queryLogin.Close;
Form5.Close;
end;
Procedure Form5.Onclose(SENDER : TObject);
begin
Form5 := NIL;
end;