¿Has probado a hacer la llamada vía FTP directamente? si lo carga vía URL no veo porque no lo iba a hacer de esta manera.
XMLDocument1.LoadFromFile(‘user

ass@FTP://ftp.dilve.es/loqueseaquevengadespues’);
te escribo lo primero que se me ocurre... Pero ¿quien sabe?