Usar OLE para acceder a Excel puede, en efecto, ser sumamente lento. Yo te recomiendo que intentes usando ADO. En el hilo
Llevar desde Excel a una BD paradox puedes ver cómo acceder a una hoja de Excel como si de una tabla se tratase usando ADO. El hilo habla de una transferencia de datos a una tabla Paradox aunque esto último es hasta cierto punto irrelevante; lo que hagas con los datos que te proporciona el ADODataSet ya depende de tí.
// Saludos