Todo depende de lo que quieras hacer.

Si por ejemplo estás tratando de hacer una aplicacion
Cliente-Servidor, pues sencillamente en cada máquina cliente debes instalar tu
aplicacion cliente con las librerías(dll) necesarias, para la conexion, dado que es éste caso se tiene un Host(PC) exclusivo que es el Servidor y donde estaría instalado MySQL, al cual se conectan las otras maquinas Clientes.
Pero si por el contrario estás tratando de hacer una aplicacion independiente(por así decirlo) donde cada Host(PC) tenga su propio servidor, pues en ese caso debes instalar MySQL en cada Equipo.

, aunque para ese caso se puede hacerlo usando
MySQL Embebido.

Espero haber aclarado tus dudas.

Saludos...
