Como te dice seoane, debes escribir un protocolo de transmicion basado en udp. Pero por supuesto ya esta escrito y seguro que puedes encontrar varios ejemplos por ahi, una busqueda rapida me dio con
estos componentes para delphi.
Pero seguro que puedes encontrar mas buscando por las palabras claves "stream audio" o "streaming audio"