Bienvenido al Club !
Tendrás que cambiar no solo la propiedad Height del TPanel, como supongo que estás haciendo, sino también y a la vez la propiedad Top de dicho TPanel, para que a la vez que vayas aumentando el tamaño, el extremo inferior quede en el mismo sitio variando para ello la propiedad Top.
Un ejemplo :
Si tu TPanel tiene un valor Height de 40 y le vas a aumentar a 50, pues tendrás que variar la posición Top a -10 de la que se encontraba.
