Si te entiendo bien, ya tienes resuelta la parte de detectar que tu aplicación ya está abierta desde la nueva instancia ¿no? Aparte de eso, lo que necesitarías es pasarle a la primera instancia el parámetro que se le pasó a la nueva instancia -el nombre del archivo. Para ello creo que puedes usar el mensaje
WM_COPYDATA. Hace muy poco vi que
Zarko Gajic usaba esa técnica en su sitio
delphi.about.com. No creo que sea difícil encontrar la referencia.
// Saludos