Normalmente yo termino las aplicaciones cerrando el formulario principal, y reservo el uso de Terminate para aquellos casos en los que la aplicación no termina normalmente.
La ayuda de delphi, no indica que no deba usarse Terminate para finalizar normalmente, por lo que supongo que está bien. De cualquier manera, si el botón está en el formulario principal, basta cerrarlo, con
close;
hasta luego.