Hola, es que para preguntar la longitud de un ítem en un TListBox, debes usar la constante
LB_GETTEXTLEN.
WM_GETTEXTLEGHT es para obtener los captions de los controles o el texto de los Edits, etc...
Así pues:
Código:
int x = SendMessage(ListBox1->Handle, LB_GETTEXTLEN, 0, 0);
El tercer parámetro (WPARAM) es el item index dentro del TListBox.
Saludos.