¿Estas utilizando un Win32 o un Win64?.
Suponiendo que importas bien la función StartHook y que su declaración es correcta, si ese Hook que realiza la dll que quieres usar requiere su inyección en procesos de 64 bits, dicha inyección no se va a realizar. Un proceso compilado para 64 bits no puede cargar una dll compilada para 32 bits.
Saludos.