Lentitud al leer ClientDataSet.ChangeCount / Delta

[[rcarrillom]]

Un saludo al foro

Tengo un problema de rendimiento, estoy usando un ClientDataSet (sin estar conectado a un proveedor) al cual le agrego 235,000 registros de un solo golpe, inmediatamente después de terminar las operaciones de insercion, al consultar el valor de ChangeCount, tarda muchisimo tiempo en regresar de la llamada, el mismo problema me da al acceder a la propiedad Delta. Es un bug? Hay un forma mas eficiente de saber solamente si se ha modificado el conjunto de datos sin consultar ChangeCount?

Programo con Delphi XE3 en WinXP Pro.

[Casimiro Notevi]

235000 registros de ¿cuántos kbytes cada uno?

[[rcarrillom]]

La estructura es, y si no mal recuerdo el tamaño de los datos
ID Integer 2 bytes
Num1 Float 6 bytes
Num2 Float 6 bytes
Num3 Float 6 bytes
Flag String[1]
IsNav Boolean 1 byte
TimeStamp DateTime 6 bytes
Commentarios string[255]
Num4 Integer 2 bytes

285 bytes

[[rcarrillom]]

Corrijo lo anterior, considerando que los Int son de 4 bytes y los float de 8 bytes, la suma total para el registro sólo para datos es de 289 bytes, que multiplicados por los 235,000 registros, nos da 67,915,000 bytes en memoria al menos.

El campo Comentarios casi siempre está vacio, de todos estos registros que se insertan, si acaso habrá 200 registros con Comentario de no mas de 50 caracteres de largo.

Sigo sin entender, por qué es tan lento el sólo consultar el valor que regresa ChangeCount? Traté de asignar Delta a la propiedad Data de otro ClientDataSet como método alterno y al momento de hacer la asignacion cds2.Data := cds1.Delta tarda muchisimo tiempo.

[ecfisa]

Hola rcarrillom.

Hice una prueba con un TClientDataSet en memoria cargándolo de forma aleatoria:

Código Delphi [-]
const
  TOTREG = 235000;

procedure TForm1.FormCreate(Sender: TObject);
var
  i: Integer;
  s: array[0..255] of char;
begin
  Randomize;
  FillMemory(@s[0], 255, Byte('-'));
  ClientDataSet1.CreateDataSet;
  ClientDataSet1.Open;
  for i:= 1 to TOTREG do
  begin
    if i mod 1000 = 0 then
      ClientDataSet1.MergeChangeLog;
    ClientDataSet1.Append;
    ClientDataSet1ID.AsInteger:= i;
    ClientDataSet1Num1.AsFloat:= Now;
    ClientDataSet1Num2.AsFloat:= Now;
    ClientDataSet1Num3.AsFloat:= Now;
    ClientDataSet1IsNav.AsBoolean:= Boolean(Random(2));
    ClientDataSet1Flag.AsString:= Char(Random(27)+65);
    ClientDataSet1TimeStamp.AsDateTime:= Now;
    ClientDataSet1Comentarios.AsString:= s;
    ClientDataSet1Num4.AsInteger:= i;
    ClientDataSet1.Post;
  end;
  // Algunas modificiaciones al azar
  for i:= 1 to Random(499)+1 do
  begin
    ClientDataSet1.Locate('ID', Random(TOTREG-1)+1,[]);
    ClientDataSet1.Edit;
    ClientDataSet1Comentarios.AsString:= 'Registro modificado';
    ClientDataSet1.Post;
  end;
end;

procedure TForm1.Button1Click(Sender: TObject);
begin
  ShowMessage(Format('Cambios: %d',[ClientDataSet1.ChangeCount]));
end;

Y, si bién la carga inicial tarda dada la cantidad de registros, la respuesta de la propiedad ChangeCount en Button1Click es instantánea.

No sé si se me esté pasando algo por alto o si habré interpretado mal la situación...

Saludos

[[rcarrillom]]

Gracias ecfisa, el escenario general es este, se generan varios archivos Access con la misma estructura por una aplicacion antigua cuyo contenido es un registro de entrada de un puerto serial, y con mi app leo los registros de todos ellos con ADO y los inserto en el ClientDataSet, llegando hasta 300 mil registros.

La estructura la genero de la siguiente manera:

Código Delphi [-]
procedure TdmData.DataModuleCreate(Sender: TObject);
begin
  //Crear la estructura inicial de la BD
  with cdsLog.FieldDefs do begin
    Add('ID'       , ftAutoInc);
    Add('Num1'       , ftFloat);
    Add('Num2'       , ftFloat);
    Add('Num3'       , ftFloat);
    Add('Flag'     , ftString, 1);
    Add('IsNav'    , ftBoolean);
    Add('Comment'  , ftString, 255);
    Add('TimeStamp', ftDateTime);
    Add('Num4', ftInteger);
  end;
  cdsLog.CreateDataSet;
end;

Y para llenarlo con registros, repito el proceso por cada archivo Access que el usuario seleccione con un diálogo Open con seleccion múltiple, como nota, el campo Comment, el 98% de las veces está vacío:

Código Delphi [-]
    ADOTable.Open;
    while not ADOTable.Recordset.EOF do begin
      cdsLog.Append;
      try
        for RecNum := 0 to ADOTable.FieldCount - 1 do
          cdsLog.FieldByName(ADOTable.Fields[RecNum].FieldName).Value := ADOTable.Recordset.Fields[RecNum].Value;
        cdsLog.Post;
      except
        cdsLog.Cancel;
        raise;
      end;
      ADOTable.Recordset.MoveNext;
    end;

Al terminar de anexarlos todos, inmediatamente intento leer ya sea el ChangeCount o el Delta y aqui es donde tarda muchisimo tiempo. Es en este punto donde no entiendo el porqué de la tardanza cuando son 235K registros agregados de un solo golpe, si le agrego 17K la respuesta es casi inmediata.

[[Al González]]

Hola Ricardo.

Es extraño (e interesante) lo que comentas. Veré si encuentro una pista en los fuentes de MIDAS (el motor interno de TClientDataSet). Pero tengo una duda: ¿cuál es la razón por la que necesitas usar ChangeCount?

Para conocer la cantidad total de registros puedes usar la propiedad RecordCount. ChangeCount, en cambio, te dice cuántas modificaciones (altas, bajas y cambios) hay en la "bitácora de cambios" del conjunto de datos respecto a cómo se encontraba antes de comenzar dichas modificaciones. Si éste último dato no fuera necesario en tu caso, te recomendaría poner la propiedad LogChanges en False antes de comenzar las inserciones y usar la clásica propiedad RecordCount. De esa forma el proceso trabajará más rápido.

Un saludo desde el ciber.

[[Al González]]

Hola Ricardo, ya nos contarás cómo va.

Empezado por ecfisa

Código Delphi [-]
const
  TOTREG = 235000;

procedure TForm1.FormCreate(Sender: TObject);
var
  i: Integer;
  s: array[0..255] of char;
begin
  Randomize;
  FillMemory(@s[0], 255, Byte('-'));
  ClientDataSet1.CreateDataSet;
  ClientDataSet1.Open;
  for i:= 1 to TOTREG do
  begin
    if i mod 1000 = 0 then
      ClientDataSet1.MergeChangeLog;
    ClientDataSet1.Append;
...

[...] la respuesta de la propiedad ChangeCount en Button1Click es instantánea.

No sé si se me esté pasando algo por alto [...]

Hola Daniel, disculpa que haya pasado por alto lo que cito de tu comentario. La razón por la cual, en tu caso, ChangeCount responde de forma inmediata, es que por cada mil registros haces una llamada a MergeChangeLog, lo cual limpia la bitácora de cambios, regresando ChangeCount al valor de cero.

Un saludo.

[ecfisa]

Empezado por Al González

Hola Daniel, disculpa que haya pasado por alto lo que cito de tu comentario. La razón por la cual, en tu caso, ChangeCount responde de forma inmediata, es que por cada mil registros haces una llamada a MergeChangeLog, lo cual limpia la bitácora de cambios, regresando ChangeCount al valor de cero.

Hola Alberto.

Si así es, cuando realizo cargas muy pesadas en memoria, acostumbro a usarlo con ese fin. En realidad estuve a punto de proponer el uso al menos luego de la carga de cada archivo Access (suponiendo que no serían significativos los cambios provocados por la carga), pero pensé que luego del mensaje había sido probado sin efecto.

Saludos