Si te sirve, aquí tienes varias funciones para borrar directorios completos:
http://www.clubdelphi.com/foros/showthread.php?t=3663
Simplemente tendrías que cambiar el filtro *.* por el filtro que quieras, y quitar el llamado a RemoveDir para que no borre los directorios.
Saludos!