Creas los paneles dinamicamente por lo que puedes utilizar el valor de la propiedad TAG para identificarlo.
Name:='Panel'+IntToStr(Tag) y tag es lo que tu programas dinamicamente.
En el evento del mouse del panel
Código Delphi
[-]
If Button=mbrigth then begin
with Sender as TPanel do minombre:=Name;
end;
Y en el panelButton
Código Delphi
[-]
TPanel(FindComponent(minombre)).Free;
Prueba, y suerte