El problema está en la unit
libwebp.pas que estás usando.
Si llamas directamente a la DLL funciona correctamente. Imagino que la unit no está actualizada del todo o tiene algun bug.
Define la importación de la función:
Código Delphi
[-]
function WebPEncodeBGR(const bgr: PByte; width, height, stride: Integer; quality_factor: Single;
var output: PByte): Cardinal; cdecl; external 'libwebp.dll';
Y utiliza la función
WebPEncodeBGR directamente en tu código.