De la ayuda de Delphi:
TFileListBox.FileName:
Indicates the name of the selected file in the list box, including the path name.
por tanto, puedes hacer algo como esto:
Código:
if FileExists(MiFileListBox.FileName) then
DeleteFile(MiFileListBox.FileName);
Espero que te sirva
Un saludo