Esto viene por la configuración que el propio delphi toma de la configuración regional. Si no queres que se comporte de esta manera, podes establecer tus propios valores en las variables DecimalSeparator y ThousandSeparator de la unidad SysUtils.
Hasta luego.