En memoria se suele trabajar con mapa de bits (BMP). Si lees en wikipedia ahi te dicen que ambos formatos JPG y GIF utilizan algoritmos de compresión, o sea que:
1. tienes tus jpg o gif en disco
2. los lees y los pasas a bmp para tratarlos
3. si has echo modificaciones los guardas como jpg o gif
4. si además de máscaras quieres usar capas hay buenos componentes, por ejemplo Graphics32, visista
http://www.g32.org/