Problema engorde y rendimiento

[Toni]

Hola,

En mis programas suelo utilizar los componentes IBX + datasetprovider + clientdataset. Y abro las consultas en clientdataset y realizo las actualizaciones mediante el ApplyUpdate(). Esto es lo que suelo utilizar para las consultas y las consultas actualizables.

En el programa de importacion que comentaba lo que si es cierto que realizo un commit por cada nuevo registro que añado o modifico, esto lo realizo por que en caso de error en un registro no quiero que afecta a otros posibles registros. Y me deje de importar un bloque de xxx registros. Tambien decir que en este programa de importacion estoy utilizando Ibquery + IbupdateSQL y en otros casos utilizo ibx + dsp + clientdataset. Unos procesos de importacion usan un modelo de datos y otros el otro.

Por cierto, para las consultas de modificacion, insercion y/o procedimientos alm. como los utilizais con los clientdataset para sincronizar todo en una transaccion?

Muchas gracias a todos.

Saludos,

[guillotmarc]

Hola.

Empezado por Toni

Hola,

En mis programas suelo utilizar los componentes IBX + datasetprovider + clientdataset. Y abro las consultas en clientdataset y realizo las actualizaciones mediante el ApplyUpdate(). Esto es lo que suelo utilizar para las consultas y las consultas actualizables.

En el programa de importacion que comentaba lo que si es cierto que realizo un commit por cada nuevo registro que añado o modifico, esto lo realizo por que en caso de error en un registro no quiero que afecta a otros posibles registros. Y me deje de importar un bloque de xxx registros. Tambien decir que en este programa de importacion estoy utilizando Ibquery + IbupdateSQL y en otros casos utilizo ibx + dsp + clientdataset. Unos procesos de importacion usan un modelo de datos y otros el otro.

Por cierto, para las consultas de modificacion, insercion y/o procedimientos alm. como los utilizais con los clientdataset para sincronizar todo en una transaccion?

Muchas gracias a todos.

Saludos,

No hay que ponerlas, el ClientDataset no va a utilizar las consultas de modificación o inserción que haya en el IBX. Sino que el mismo se construye automáticamente esas consultas (en función de los ProviderFlags en los campos persistentes del componente IBX).

Respecto a como sincronizar en una misma transacción varias operaciones. Si tienes abierta una transacción, el ClientDataset realizará los cambios dentro de esa transacción en lugar de abrir una de nueva, por lo que puedes encadenar varios cambios y finalizar la transacción al final para aglutinarlo todo. No te olvides de finalizar por ti mismo la transacción, puesto que si la dejas abierta es cuando empiezas a tener problemas de bloqueos y crecimiento de la base de datos.

Te recomiendo que hagas un seguimiento de las transacciones existentes en tu programa. Parece que algún punto debes dejar alguna abierta.

[guillotmarc]

Por cierto, yo en FIBPlus pongo un TimeOut de 1 a mis transacciones para asegurarme de que nunca queden abiertas. No sé si en IBX tienes algo similar.

[Toni]

Hola,

respecto a esto:

Por cierto, para las consultas de modificacion, insercion y/o procedimientos alm. como los utilizais con los clientdataset para sincronizar todo en una transaccion?

Creo que no me he explicado correctamente, quiero decir que yo utilizo los clientdataset para consultas y consultas modificables y realizo un applyupdates para grabar todos los cambios.

Pero cuando en el mismo proceso de guardar esos cambios quiero incluir en una misma transaccion una actualizacion o insercion mediante instrucciones SQL (insert, update) o un procedimiento almacenado.

Por ejemplo solamente con componentes IBX lo haria asi:

/* componente IBQuery + IBUpdateSQL*/
IBXQuery->Edit();
IBXQuery->FieldByName("Ejercicio")->AsInteger = Ejercicio;
IBXQuery->Post();

/* insert, update o procedimiento */
IBXQuery2->ParamByName("P_EJERCICIO")->AsInteger = Ejercicio;
IBXQuery2->ExecSQL();

TIBTransaction->Commit(); /* Confirmo todas las operaciones anteriores */

utilizando los clientdataset:

ClientDataSet->Edit();
ClientDataSet->FieldByName("Ejercicio")->AsInteger = Ejercicio;
ClientDataSet->Pots();

/* insert, update o procedimiento */
IBXQuery2->ParamByName("P_EJERCICIO")->AsInteger = Ejercicio;
IBXQuery2->ExecSQL();

ClientDataSet->ApplyUpdates(-1);
TIBTransaction->Commit(); /* Confirmo todas las operaciones anteriores */

[guillotmarc]

Hola.

Yo te recomendaría que definas una sola transacción y que la controles manualmente (la inicies y la finalices tú, en lugar de dejar que se haga implícitamente).

Empezado por Toni

IBTransaction->StartTransaction();

ClientDataSet->Edit();
ClientDataSet->FieldByName("Ejercicio")->AsInteger = Ejercicio;
ClientDataSet->Post();
ClientDataSet->ApplyUpdates(-1);

IBXQuery->ParamByName("P_EJERCICIO")->AsInteger = Ejercicio;
IBXQuery->ExecSQL();

IBTransaction->Commit();

NOTA: No utilizo IBX, pero debería ser algo así.

[Toni]

Hola,

He probado a ir aislando los problemas y finalmente lo que me engorda la base de datos es la ejecuccion de un procedimiento almacenado que realiza calculos sobre tablas de forma 'masiva'. Algo similiar a esto pero 5 veces con diferentes tablas.

   for select "Campo1", "Campo2" from "Tabla1"
   where "Campo5"=:P_PARAM and "Campo5"<>'F' group by "Campo1", "Campo2"
   into :P_PARAM2, :P_PARAM3
    do
     begin
      update "Tabla2" U set "Campo6"='A'
      where U."Campo1"=:P_PARAM and U."Campo2"=:P_PARAM2 and U."Campo3" = :P_PARAM;
     end

Incluso si lo ejecuto desde el IBManager me engorda la base de datos. Aunque lo que realmente me importa no es el tamaño de base de datos, sino que por algun motivo este engorde afecta al 'rendimiento brutalmente'.

Tambien he probado a realizar el cambio de paginado que me comentaba Casimiro, pero al realizar el cambio con la nueva base de datos con el tamañp de paginado a 8192, me empezo a realizar unos extraños (cambiar masivamente el estado de diferentes documentos) y tuve que recuperar la copia de seguridad que habia realizado justo antes. La verdad que no le pude encontrar otra explicacion a la incidencia. No se si tenia que haber cerrado el servicio de FB al realizar el cambio de base de datos.

Muchas gracias por las aportaciones.

[guillotmarc]

Hola Toni.

¿ Cuantos registros hay involucrados en ese procedimiento almacenado ?.

Si la Base de Datos crece exageradamente, es que se están modificando de golpe una cantidad desorbitada de registros, lo cual ocurre lógicamente en una única transacción con lo que crece la base de datos por el versionado de esos registros (y también explica la caída de rendimiento).

¿ Estás seguro que no hay triggers enmedio que te están forzando la actualización inesperada de más registros en otras tablas ?.

Será mejor que revises el código para ver si en ese procedimiento almacenado no estás haciendo muchísimas más actualizaciones de las necesarias.