Mejor evitar una posible excepción si el usuario no ha elegido un elemento:
Código Delphi
[-]procedure TFormCaptura.BtnQuitarClick(Sender: TObject);
var i: integer;
begin
i:=Combobox1.ItemIndex;
if i= -1 then
ShowMessge('Por favor seleccione un elemento primero, Gracias, Gracias
')
else
ComboBox1.Items.Delete(i);
end;