Primero pones la propiedad ParentBackground a false y luego algo parecido a esto:
Código Delphi
[-]procedure TForm1.Panel1MouseLeave(Sender: TObject);
begin
panel1.Color := clBtnFace;
end;
procedure TForm1.Panel1MouseMove(Sender: TObject; Shift: TShiftState; X, Y: Integer);
begin
panel1.Color := clGreen;
end;