Puedes utilizar la función que viene con Delphi:
Código Delphi
[-]
function HexToBin(Text, Buffer: PChar; BufSize: Integer): Integer
Aunque no te haga falta esa conversión explícita, en la ayuda de esta función dice:
//------------------------------------------------------------------------
...
HexToBin returns the number of characters in Buffer that have not been used because Text did not contain valid hexadecimal characters ('0'..'f').
//------------------------------------------------------------------------