Hola,
Lo que precisas no es enviar desde un Servidor a un Cliente la noticia de que ha llegado un nuevo mensaje de correo, sino que sería el Cliente quien se conectase al Servidor y "preguntara" si hay mensajes nuevos. En todo caso sería el Cliente quien informaría al usuario, como dices, con una "ventana popup" o de otra manera.
Entre los ejemplos de los componentes Indy tienes un
Cliente de correo POP3.
Ahora mismo es el último de la lista de ejemplos, donde dice "IdPOP3 / IdSMTP / IdMessage".
En cuanto a que tu programa permanezca oculto... tal vez pudieras aprovecharte de algún componente de estos que llaman "Tray Icon" o "System Tray Icon". En
Torry's Delphi Pages encuentras varios componentes de estos. Consiguen, entre otras cosas, que tu aplicación parezca "invisible", esto es, que sólo se "vea" de la misma el icono de la "bandeja del sistema", ya sabes, los de "al lado del reloj".
PD. Busca en Torry's también por un componente de nombre "TMsnPopup", pues probablemente pueda servirte, o darte ideas...