Solo ponle éste código al botón y ya lo tienes.
Código Delphi
[-]WebBrowser1.Navigate('file:///' + ExtractFilePath(ParamStr(0)) + 'mipagina.html');
El
ExtractFilePath(ParamStr(0) es para no tener que poner una ruta absoluta, sino que tu HTML está en la misma carpeta que tu aplicación.
Ayer lo pregunté, a la otra checa si ya hay un hilo parecido antes de abrir uno nuevo. Saludos!