Tabla en memoria y cada tanto actualizar DB

[jars]

Me estoy encontrando con el problema que cada vez que actualizo en memoria el ClientDataset (sin hacer el Apply) me va duplicando la memoria consumida y luego al hacer el ClientDataSet.ApplyUpdates(0) ademas de tardar una eternidad no devuelve toda la memoria y asi sigue creciendo hasta que Falla.

El ClientDataSet esta enlazado con un DataSetProvider y este con un TSDQuery (SQLDirect)
Este es el código:

Código Delphi [-]
var
  // TPosData es un registro de prueba
  Pos: array [0..299] of TPosData;

begin
  for i := 0 to 299 do
    with Pos[i] do
    begin
      // cds es el ClientDataSet
      if cds.Locate('U_ID', i+1, [loCaseInsensitive]) then
        cds.Edit
      else
      begin
        cds.Insert;
        cds.FieldByName('U_ID').AsInteger := i+1;
      end;
      
      // la tabla tiene 2 campos U_ID Integer y DATA Blob.
      blobF := cds.FieldByName('DATA') as TBlobField;
      bs := cds.CreateBlobStream(blobF, bmWrite);
      try
        bs.Write(Pos[i], SizeOf(Pos));
      finally
        bs.Free;
      end;
      cds.Post;
    end;
end;

Alguna idea?

[mamcx]

1.000 no tiende a ser un numero significativo para manejar en memoria para tipos de datos basicos. Quizas dependa de que tan grande son los datos en el BLOB.

Si se te esta incrementando la memoria, es porque hay un leak. No estas liberando algo, o tienes una referencia circular que te impide hacerlo.


Si hay otras maneras? Seguro. Pero implica salir del esquema de los DataSets y para lo que describes no parece necesario, si es que se encuentra la razon del aumento de memoria (Y cuanto es este aumento? Cuanta memoria disponen los equipos que usaran esto?)

[jars]

Lo del aumento de memoria resulto solucionarse con cds.Refresh luego del ApplyUpdates.
Lo que no me convence mucho es el tiempo de demora al volcarlo a la BBDD, 300 registros 20 segundos.

[[ElKurgan]]

Ah, que hay campos blob implicados... hummmm

En este post hablan de algo parecido, aunque en este caso hablan de un retardo de 20 segundos para ¡¡ 19.000 registros !!

Parece que cada vez que haces el ApplyUpdates se actualizan en la BD los campos blob que no se han tocado (según el código). Lo mismo les pasaba a los del Post anterior.

Fíjate que dicen que lo solucionaron poniendo "poFetchBlobOnDemand" en el datasetProvider, y el tiempo se redujo drásticamente.

Si no es ese el problema, habrá que ver otro enfoque...

Saludos

[jars]

Lo que veo es que el blob (registro) es muy grande y no me permite crear mas de 380 registros (Access violation).
Alguien me puede decir como tomar ese registro, comprimirlo con ZLib y luego meterlo en el campo blob?

[jars]

[elkurgan] los campos blob se actualizan siempre. Gracias

[Casimiro Noteví]

¿Qué almacenas en esos campos blob?

[jars]

Lo que almaceno en el campo blob es un registro bastante grande con datos de todo tipo.