Si quieres ejecutar algo similar a un formulario modal en la DLL, te recomiendo utilizar algo como:
Código Delphi
[-]
var
WindowList: Pointer;
begin
WindowList := DisableTaskWindows(Handle);
try
ShowDLL...;
finally
EnableTaskWindows(WindowList);
end;
Pero si la DLL es la que decide que un formulario sea modal, tendrías que implementar algún tipo de comunicación hacia el EXE para que este desactive sus ventanas.
Saludos!