Una forma muy sencilla si necesidad de otros componentes es utilizando un Panel...
Insertas un Panel y cambias sus propiedades
bevellInner=bvraised;
BevelOuter=bvraised;
en su evento on mouse down
Código:
tpanel(sender).BevelInner:=bvLowered;
tpanel(sender).BevelOuter:=bvLowered;
en su evento on mouse up
Código:
tpanel(sender).BevelInner:=bvRaised;
tpanel(sender).BevelOuter:=bvRaised;
Ahora solo tienes que ajustar el tamaño,el caption y otras propiedades como el color y el grosor del borde para cambiar el aspecto. Hasta puedes agregarle a los eventos que cambie de color al ser pulsado.
Con este código no necesitarás escribirlo nuevamente para cada panel que insertes basta con asignarles a todos los mismos eventos.

No será un botón pero es lo más parecido a un botón con color y funciona igual