Quizá te sirva usar ADO. Jamás había utilizado estas componentes pero recordaba haber leído alguna vez acerca de acceder a Excel mediante ellas. Hice una pequeña búsqueda y me encontré
este artículo en
Delphi Magazine. Quizá no tengas acceso a él ya que muchos artículos son sólo para suscriptores pero si conoces ADO no tendrás problemas, si no, pregunta y te digo los pasos a seguir (que yo seguí como burro pues, repito, desconozco ADO).
El punto importante es que hice una prueba con una hija de Excel con 65534 filas (el máximo que permite Excel) y tres columnas. Además de no colgarse el traspaso duró no más de cuatro minutos.
Será cuestión de que experimentes a ver si te sirve.
// Saludos