Hola,
En Delphi cuentas con la clase "TRegistry", que te servirá no sólo para añadir nuevas entradas y claves en el Registro de Windows, sino para trabajar con este en general: obtener entradas, claves, comprobar la existencia de estas, etc., etc. Esta clase se declara en la unidad "Registry" y verás que su uso no es complicado, puesto que los nombres de sus métodos son bastante descriptivos.
PD. Si buscas por los foros encontrarás información sobre "TRegistry".