Puedes utilizar un TList o un TStringList (a mi me gusta más este, ordenado y como cadena el nombre del componente); Cuando necesites encontrar uno los buscas y eliminas la imagen y el elemento de TStringList.
Código Delphi
[-]
var
ListaImagenes:TStringList;
b:Boolean;
Index:Integer;
begin
ListaImagenes := TStringList.Create();
ListaImagenes.Sorted := True;
ListaImagenes.Duplicates := dupError;
...
ListaImagenes.AddObject(imag.Name, Imag);
b := ListaImagenes(imag.Name, Index);
TImage(ListaImagenes.Objects[Index]).Free;
ListaImagenes.Delete(Index);
Te he puesto el código "al vuelo" sin compilar ni nada, así que talvez exista algun error de sintaxis.