En principio es muy complicado responder con un select por qué tarda tanto. Habría que comprobar estado de la base de datos, índices, modo de acceso a los datos, tarjetas de red, cableado, servidor, memoria, programas en el servidor...
Echa un vistazo a
estos consejos por si te sirven de algo.