Siempre tuve la idea de que este tipo de aplicaciones instalaban un hook del tipo WH_CALLWNDPROCRET, y capturaban los WM_PAINT o similares... ¡¡Aclaro que nunca lo he comprobado!!
Por otro lado VNC era opensource, por lo que podrías husmear su código para ver como lo hace
Saludos!