Hola eso se debe a las propias limitaciones del formato de los números flotantes y la propia aritmética.
Por un lado el formato que establece el estándar IEEE 754 asigna determinada cantidad de bits para representar la mantisa y por tanto esto condiciona la cantidad de dígitos y la precisión con la cual se puede operar.
En segundo lugar, no siempre es posible hacer una conversión directa entre el sistema decimal y el binario. No todos los números son exactamente representables en el formato. Por ejemplo, Es imposible de representar el número 0,1 en binario. En su lugar el sistema toma la mayor exactitud posible.
Esto es notablemente visible cuando se trata de números como 1/3, pi, la constante de euler, etc que no tienen una cantidad finita de dígitos. El sistema sólo puede tener x cantidad de dígitos.
Tercero, todas las operaciones básicas en las que interviene los números flotantes se ven envueltas en dos operaciones: una es el escalado a fin de normalizar las mantisas a un exponente adecuado para hacer las operaciones directas, y la segunda es el redondeado. La norma IEEE 754 establece que las operaciones sean exactamente redondeadas. Por defecto el modo de redondeo es el redondeo al par más cercano.
En síntesis cuando se trata de números de punto flotante no existe aritmética 100% exacta, y cuando se realizan los cálculos el sistema redondea y toma la mayor precisión posible.
Por ello es que aún a pesar de haber efectuado las operaciones lo más preciso posible el resultado puede tener un error absoluto de a lo mucho +- (más o menos) 0,5 ulps.
Es por ello que como menciona Lord Delfos, cuando se trabaja con números flotantes se habla de error absoluto y error relativo. Se acepta cierto márgen de error en los resultados.
Delphi ya proporciona algunas funciones que trabajan de esta manera, como SameValue() entre otras.
No es por hacer propaganda pero pueden encontrar material de consulta y referencias para mayor información
aquí.
Por cierto: se aconseja trabajar con Currency cuando se trabaja con cálculos monetarios.
Saludos,