Dicho un poco de memoria necesitas usar la función GetSystemMenu para obtener el identificador del menú de sistema, InsertMenuItem para insertar el item deseado e implementar un manejador para el mensaje WM_COMMAND de manera que puedas detectar cuándo se selecciona el nuevo ítem y desplegar entonces tu cuadro de diálogo.
// Saludos
|