La propuesta de
Sudamericano es válida en caso que tuvieras una aplicación MDI, cosa que no se ha aclarado.
Una solución mas genérica es basarse en el objeto global Screen, que guarda una lista a todas las formas creadas en su propiedad Forms:
Código Delphi
[-]
begin
for I := 0 to Screen.FormCount - 1 do
if Screen.Forms[i].ClassName <> 'TFormularioLogin' then
Screen.Forms[i].Close;
Hasta luego.