En una aplicacion MDI, ese es el comportamiento esperado. Lo habitual, si tu deseas que se cierre debes setear el valor de la variable action del evento onClose, por caFree:
Código Delphi
[-]procedure TForm2.FormClose(Sender: TObject; var Action: TCloseAction);
begin
Action := cafree;
end;
Saludos,