Otra explicación, también muy clara, pero en inglés.
5 Minute Snack: Reading floats with StrToFloat and TFormatSettings independent of system region settings
Quizás deberías hacer un par de funciones para leer y escribir números.
Los número que guardes en el fichero deberán tener siempre el mismo formato, ya que de lo contrario no podrás compartir ese fichero entre ordenadores con diferente configuración.
Los números que muestres deben seguir la configuración del ordenador.