Exacto, en la factura que le das al cliente pones los dos importes: El Total de la factura (sin IRPF) y el Total a Pagar (con el IRPF descontado). De esta forma, si el cliente escanea el QR lo llevará a la página donde el total de la factura mostrado le coincidirá con el total de la factura que tiene impreso en el documento que ha generado tu SIF.

No entiendo esta parte. Se supone que si informamos Subtotal, TotalIva, el IRPF debería tener también su apartado, pues de lo contrario y al restar el IRPF del subtotal es cuando indica que los importes no son correctos.
¿Hay algún sitio donde se pueda aclarar esto? En la documentación de AEAT no aparece por ningún lado.
Gracias.

Simplemente respecto a verifactu tienes que obviar el irpf, ni lo informas ni lo calculas (para el xml), luego ya como lo quieras mostrar al cliente ya es otra historia.