Seguí los consejos de ustedes y por lo menos la cosa empieza a andar.
Ahora el único problema que tengo es que al usar la dll en VB la aplicación da un error al cerrarla, pero ninguno mientras se usa. Calculo que debe ser un problema de administración de memoria o de la forma en que se llama.
Desde VB la llamada la hago así:
Código:
Declare Function GenerateMD5 Lib "MD5.dll" (Cadena As String) As Long
pero cambie la forma de trabajar con la función; la cadena se pasa por referencia y trae el valor de la cadena, el resultado de la función es la longitud de la hash.