[roman]

Podrías utilizar un TStringList en el que almacenes las excepciones que se vayan produciendo en las vueltas del bucle y presentarlas al final de éste:

Código Delphi [-]
var
  Errores: TStringList;

begin
  Errores := TStringList.Create;

  try
    while condición do
    begin
      try
        { código propenso a errores }
      except
        on E: EConvertError do
          Errores.Add(E.Message);
      end;
    end;

    (* Mostrar errores en un memo, por ejemplo *)
    Memo1.Lines.AddStrings(Errores);
  finally
    Errores.Free;
  end;
end;

// Saludos