Bueno, yo hace tiempo para cosas similares a esta utilicé el componente
TSimpleGraph de
DelphiArea.
Para que te hagas una idea,
aquí puedes ver algunas imágenes y hacerte a la idea del número de objetos con los que se trabajaba.
Cada objeto es independiente y tiene sus propiedades, se puede seleccionar, arrastrar,...
Cambiar ahora todo el diseño puede ser complejo y costoso, pero al menos tienes una alternativa.
Sería bueno, que utilizaras un
Profiler, para ver dónde se está "perdiendo" ese tiempo exactamente.