Exportar a Excel usando OLE es excesivamente lento para esa cantidad de registros. Obtendrás una mejora considerable si usas ADO.
No he visto el componente que indica nuestro amigo tcp_ip_es, dale un aprueba a ver qué tal. De todas formas te comento que puedes exportar datos (sin formato) a Excel usando los componentes ExportSuite de nuestro compañero Federico Firenze, mismos que podrás encontrar en
su página. Tienen la ventaja de exportar directamente al formato BIFF sin necesidad de tener Excel instalado, lo cual los hace sumamente rápidos.
// Saludos