Hola,
Tal vez deberías utilizar desde un principio una fuente más o menos estándar, esto es, que casi seguro se encuentre en el sistema en que se ejecute tu aplicación. Las fuentes que Delphi asigna a los objetos en que son menester supongo que ya deben ser más o menos estándar.
Por otro lado, si quieres utilizar una fuente "especial" (y ojo con esto porque no sé yo cómo está el tema de distribuir fuentes... porque estas pueden estar sujetas a Copyright y demás...), digo, que puedes instalarla desde tu aplicación Delphi en el sistema, de modo que la fuente esté disponible.
Respecto de cómo instalar una fuente he encontrado este tipo en la página Web
DelphiFaq:
Código Delphi
[-]
AddFontResource(PChar('XXXFont.TTF'));
SendMessage(HWND_BROADCAST, WM_FONTCHANGE, 0, 0);
RemoveFontResource(PChar('XXXFont.TTF'));
SendMessage(HWND_BROADCAST, WM_FONTCHANGE, 0, 0);
Creo que puede ser mejor que algo que también parece funcionar, que es copiar el archivo de la fuente en el directorio "C:\Windows\Fonts", simplemente. Respecto de añadir al propio ejecutable el archivo de la fuente... pues supongo que podrías hacerlo añadiendo el archivo como un recurso más del ejecutable:
echa un vistazo a este Hilo.