Entonces, el tema si era de permisos. Pero no sobre el directorio o archivo sino en la ejecución de Excel desde la tarea programada. Puede que estés usando el objeto de la VCL, este se conecta por COM a Excel y lo ejecuta, si lo llegaras a ejecutar en un servidor donde no esté instalado el programa te genera error.
Para una solución parecida, decidí usar
Excel4Delphi un componente libre que te permite manipular archivos de Excel sin tenerlo instalado. En tu caso, pienso que no te generaría error ya que no necesitas mas permisos.