Si realmente quieres hacer juegos, deberías buscar una biblioteca especializada para ellos, ya que la VCL no está preparada (está diseñada para aplicaciones).
Para Delphi tienes varias. Creo que la más usada es SDL. La versión para Delphi está dentro del
proyecto JEDI y se llama
JEDI-SDL.
Por mi parte, llevo unos años trabajando en mi propia biblioteca (
Allegro.pas), pero la última versión compatible con Delphi es la 4.2, que es viejita y algo complicada de usar. Hace poco decidí que la versión 4.5 (que empezaré con ella en unas semanas) recuperará esta compatibilidad. El problema es que tendrías que esperar.