Como cualquier otro objeto, con Create. Sin embargo, al ser controles necesitarás asignar la propiedad "Parent" a mano, así como el resto (posición, tamaño, estilo...) salvo que quieras usar sus valores por defecto. Por ejemplo:
Código Delphi
[-]
...
VAR
aEtiqueta: TLabel;
BEGIN
aEtiqueta := TLabel.Create (SELF);
aEtiqueta.Parent := SELF;
aEtiqueta.Caption := 'Ejemplo de etiqueta creada dinámicamente';
END;
Ojo, que lo he hecho de memoria y sin probarlo, así que es posible que no funcione bien y debas asignar más propiedades. Por eso, antes de hacerlo así, asegurate de que controlas la creación y ediciónd e controles dentro de Delphi.