Hola, estas usando openssl.exe si es así puede ser un tema de entorno, yo tuve que agregar una linea al .bat
Código:
set OPENSSL_CONF=E:\camino_a\Ssl\openssl.cfg
E:\camino_a\Ssl\openssl smime -sign -in E:\ticketsf.xml -out E:\ticketf.xml -inkey E:\certificados\ClavePriv.txt -signer E:\certificados\Certificado.crt -outform PEM -nodetach
A mi me dio problemas la instalación de openssl por lo que solo descomprimi en un directorio de la app y lo uso desde alli. El openssl.cfg lo tuve que copiar de la página de openssl.