Buenas, buenas
Muy detallado tu problema
sin embargo creo que la resolución será algo complicada y basada completamente en pruebas.
Un enlace tratado hace poco sobre las SPs y el tráfico de red:
http://www.clubdelphi.com/foros/showthread.php?t=7568
Un enlace sobre el uso de memoria:
http://www.clubdelphi.com/foros/showthread.php?t=6980
Siento no tener más tiempo para ayudarte en este problema, que además de ayudarte podría resultarle completamente útil a los demás (donde por supuesto me incluyo).