Acabo de probar FreeLibrary con números al azar y no pasa nada catastrófico. De hecho no pasa nada
Entiendo que LoadLibrary regresa 0 (null) si no puede cargar la biblioteca, de manera que no creo que vaya por ahí el problema.
Me imagino que el problema está dentro de la propia bibiloteca, quizá algún apuntador mal manejado, o uso de strings, que se refleja al momento de descargarla.
// Saludos