Puedes ver muchas preguntas y respuestas sobre el tema en:
http://stackoverflow.com/search?q=database+photos
Basicamente, la recomendacion general es las imagenes fuera de la BD y usar un campo que solo guarda la ruta.
Casi cualquier motor de datos te va a servir. Ya que MySql tiene sus lios ultimamente seria bueno que mires Postgress y/o firebird.