Hola Fidel!
Para obtener tu libreta de direciones o información sobre tus contactos tendrás que utilizar la
API de Contactos de Google. Ésta funciona por medio de OAuth. Deberás tener un buen entendimiento de OAuth (no muy complicado) y muy importante saber trabajar muy bien con Indy ya que todo se hace por medio del protocolo HTTP.
Saludos!