Hay un post de ecfisa donde encuentra la ventana mediante la función API FindWindow, y ya que tiene su Handle localiza su posición con GetWindowPlacement... con el Handle de la ventana puedes hacer muchas operaciones sobre ella por ejemplo saber su tamaño con GetWindowRect, ya que sabes su posición y tamaño debes poner en primer plano la ventana con SetForeGroundWindo, capturar toda la pantalla, volcarla sobre un Picture y checar lo que hay en la posición de la pantalla con las funciones API sobre las imágenes como scanline o getpixel... nunca he hecho algo así pero tengo la idea, el post de ecfisa es
http://www.clubdelphi.com/foros/showthread.php?t=73424, pues checa y pon manos a la obra, luego nos comentas