Hola,
No sé si podría servirte echar mano de archivos "reg", directamente. En este
artículo de Microsoft se muestra cómo añadir claves y valores en el Registro de Windows, pero, también borrar unas y otros. Google, sin ir más lejos, distribuye alguna herramienta con la que proporciona un par de archivos "reg", uno para "instalarla", y otro para "desinstalarla".