No sólo cada item tiene asociado una imagen, sino también cada subitem:
Código Delphi
[-]
ListView1.Items[2].SubItemImages[1] := 0
Bastaría que pusieras en -1 el ImageIndex de cada Item (para que no ponga ninguna imagen), y luego asignes el índice adecuado a SubItemImages.
// Saludos