No me queda claro si lo que quieres es "cargarlo" o "convertirlo".
Para convertirlo y obtener el texto sin los caracteres del formato, pues tal y como te ha dicho Casimiro.
Para cargarlo únicamete (en ejecución) debes usar:
Código Delphi
[-]
RichEdit1.Lines.LoadFromFile('r:\test.rtf');