Hola Federico,
la verdad es que desconozco el error y ahora mismo no tengo IB para probarlo, pero recuperando fuentes antiguos mios donde usé el componente IBBackupService se me ocurren un par de preguntas que hacerte para que nos puedas dar más información para encontrar el error:
Has definido las propiedades DataBaseName y BackupFile?
Has puesto la propiedad Active a True antes de hacer ServiceStart?
Puede usar el siguiente código para que te muestre un log de lo que está haciendo el backup en todo momento, quizás puedas ver algo extraño allí.
Código Delphi
[-]
with IBBackupService1 do begin
Active := True;
try
DatabaseName := edtOrigen.Text;
BackupFile.Add(edtDestino.Text);
ServiceStart;
while not EOF do Memo1.Lines.Add(GetNextLine);
finally
Active := False;
end;
end;
Lo siento, es lo máximo que puedo hacer por ahora.
Saludos y suerte