La propiedad Controls del panel es un arreglo que lista todos los controles que tienen al panle como Parent. Sólamente tienes que recorrer este arreglo y liberar sus elementos:
Código Delphi
[-]
for I := 0 to Panel1.ControlCount - 1 do
Panel1.Controls[i].Free;
// Saludos