Claro que puede hacerse. Si no quieres hacerlo todo tú, debes buscar en internet algún componente para manejar Thumbnails (las miniaturas de imágenes).
Revisa los trucos de esta web, porque tienes varios para buscar archivos recursivamente, así que obtener los mp3s e imágenes será relativamente fácil.
Ahora necesitas asociar cada imagen con una carpeta, también muy fácil porque si tienes la imagen en la misma carpeta que los mp3 (como suele ser normal), la propia ruta de la imagen ExtractFilepath(image1) ya te dice donde están los archivos de música.
Sobre el playList, busca en el foro por esa palabra, sé que hay un hilo completo sobre el tema.
Si usas el TImage, cargar la foto es así:
Código Delphi
[-]image1.picture.loadfromfile('la ruta completa')
Una cosa: digo "fácil" pero tiene su trabajo, tienes que buscar algo para las miniaturas, ver cómo funciona y después adaptarlo a tu programa, lo mismo con las rutinas de búsqueda de archivos. Si uso la expresión "fácil" es porque no has pedido usar los efectos del "windows Vista" o algo que
no está documentado. Todo lo que has pedido se puede encontrar rápidamente.
Saludos