"Out Of Memory" con clientdataset > 100.000 registros

[Camilo]

Estimados y admirados amigos:
Tengo un procedimiento que en teoría recorre una tabla que hoy x hoy tiene mas de 100 mil registros (Mal diseño por supuesto).
Antes de ese numero no daba ningun lio por lo que no consideraba ninguna alternativa. sucede que al intentar grabar un nuevo registro luego de unos 3 segundos sale el error "Out Of Memory".
El copdigo con el que no he tenido problema sino solo hasta ahora que sobre paso un importante numero de registros es el siguiente:

procedure TFormPersonas.BitBtn7Click(Sender: TObject);
var
Current_reg, I, vCurrentRepeticion: Integer;
begin
Des;
CDSProcedimientos.DisableControls;
try
Current_reg := 0;
CDSProcedimientos.First;

while not CDSProcedimientos.EOF do
begin
for I := 0 to CDSProcedimientos.FieldCount - 1 do
begin
if ((Pos('CheckBox_', CDSProcedimientos.Fields[I].FieldName) = 0) and
(Pos('Codigo_', CDSProcedimientos.Fields[I].FieldName) = 0) and
(Pos('Valor_', CDSProcedimientos.Fields[I].FieldName) = 0) and
(Pos('Repeticiones_', CDSProcedimientos.Fields[I].FieldName) = 0) and
(Pos('Abono_', CDSProcedimientos.Fields[I].FieldName) = 0) and
(Pos('Neto_', CDSProcedimientos.Fields[I].FieldName) = 0) and
(Pos('Saldo_', CDSProcedimientos.Fields[I].FieldName) = 0) and
(Pos('Copago_', CDSProcedimientos.Fields[I].FieldName) = 0)) then
begin
if CDSProcedimientos.FieldByName('CheckBox_' + vgEntidad)
.AsBoolean then
begin
for vCurrentRepeticion := 1 to CDSProcedimientos.FieldByName
('Repeticiones_' + vgEntidad).AsInteger do
begin
Inc(Current_reg);
if Current_reg <> 1 then
DuplicarDatos(TablePersonas);

TablePersonas.Edit;
TablePersonasProcedimiento.AsString := CDSProcedimientos.Fields
[I].AsString;
TablePersonasCodigo_Procedimiento.AsInteger :=
CDSProcedimientos.FieldByName('Codigo_' + vgEntidad).AsInteger;
TablePersonasValor.AsFloat := CDSProcedimientos.FieldByName
('Valor_' + vgEntidad).AsFloat;
TablePersonasAbono.AsFloat := CDSProcedimientos.FieldByName
('Abono_' + vgEntidad).AsFloat;
TablePersonasSaldo.AsFloat := CDSProcedimientos.FieldByName
('Saldo_' + vgEntidad).AsFloat;
TablePersonasCopago.AsFloat := CDSProcedimientos.FieldByName
('Copago_' + vgEntidad).AsFloat;
TablePersonas.Post;
end;
end;
end;
end;
CDSProcedimientos.Next;
end;
CDSProcedimientos.Close;
for I := CDSProcedimientos.FieldCount - 1 downto 0 do
begin
CDSProcedimientos.Fields[I].DataSet := nil;
end;

Luego de muchas horas de busquedas y lecturas y de leer incluso que esto no se ha solucionado o que es mejor cambiar el componente; tambien he visto que se puede solucionar con simplemente cerrar y abrir donde corresponda para liberar la memoria. Lo he intentado sin un positivo. agradezco a Uds alguna sugerencia en la medida de lo posible. Mil gracias.

[AgustinOrtu]

Creeme. desde la perspectiva de la BD, es insignificante. No me parece que sea para considerarlo un error de diseño. Yo creo que el problema es levantar esa cantidad en un ClientDataSet. Creo que lo mejor que podes optar es por operar en batch, es decir, toma de a "montones" y no los 100 mil. Por ejemplo, podes tomar 10 mil registros, procesar todo, descartarlos, tomarlos 10 mil siguientes, y asi

[Al González]

Para darnos una idea más clara, ¿en qué línea ocurre el error? Probablemente estás disparando un manejador de eventos BeforePost o similar, que realiza alguna tarea que eleva esa excepción. Posible recursión, incluso.

Saludos.

[Camilo]

Hola Muchachos gracias por su interes pra la colaboracion que pido...
Al mira que cuando ejecuto con depurador Delphi me envia a esa tlinea de codigo (la de color rojo). curiosamente este es otro procedimiento relacinado que no habia tenido en cuenta.
Sobre lo que comenta [AgustinOrtu]; pues tambien me suena mucho. voy a ir estudiando esta solucion tambien.
Mil gracias a ambos.

Que se busca;

Este codigo Filtra de una tabla llama procedimientos una serie de productos y servicios que vende un laboratorio de patologia; y nos muestra (Junto con el diseño) unas opciones entre otras cosas de repetir 2 o mas veces la misma venta del procedimiento.
El codigo anterior graba esa venta que puede ser de un procedimiento unico o de uno repetido muchas veces. con el error de "out Of Memory" solo me grba 1 las repeticiones no las hace y salta el error.

Gracias



procedure TFormPersonas.Button9Click(Sender: TObject);
Var
QPacientes, QCategorias, QProcedimiento: TQuery;
vFields: array of TStringField;
vCamposBool: array of TBooleanField;
vCodigoProc, vRepeticiones: array of TIntegerField;
vValorProc, vCopago, vAbono, vNeto, vSaldo: array of TFloatField;
I: Integer;
begin
CDSProcedimientos.Free;
CDSProcedimientos := TClientDataSet.Create(Self);
CDSProcedimientos.OnCalcFields := CDSProcedimientosCalcFields;
DataSource2.DataSet := CDSProcedimientos;

QProcedimiento := TQuery.Create(nil);
QCategorias := TQuery.Create(nil);
try
QProcedimiento.DatabaseName := 'Clara';
QProcedimiento.SQL.Clear;
QProcedimiento.SQL.Add('select distinct Nombreentidad, procedimiento, codigo_procedimiento, valor from procedimientos where NombreEntidad = :Entidad');

if DBLookupComboBox2.Text <> '' then
begin
QProcedimiento.SQL.Add('and convenio= :convenio');
QProcedimiento.ParamByName('convenio').AsString :=
TableConveniosConvenio.AsString;
end;

QProcedimiento.Close;
QProcedimiento.ParamByName('Entidad').AsString := DBComboBox9.Text;
QProcedimiento.Open;

vgEntidad := DBComboBox9.Text;

QCategorias.DatabaseName := 'Clara';
QCategorias.SQL.Clear;
QCategorias.SQL.Add('select distinct NombreEntidad from procedimientos where NombreEntidad= :Entidad');

if DBLookupComboBox2.Text <> '' then
begin
QCategorias.SQL.Add('and convenio=:convenio');
QCategorias.ParamByName('convenio').AsString :=
TableConveniosConvenio.AsString;
end;

QCategorias.Close;
QCategorias.ParamByName('Entidad').AsString := DBComboBox9.Text;
QCategorias.Open;

//if QCategorias.RecordCount = 0 then
begin
try
CDSProcedimientos.Close;
// CDSProcedimientos.ClearFields;
CDSProcedimientos.CreateDataSet;
except
end;

// Abort;
end;

CDSProcedimientos.Close;

for I := CDSProcedimientos.FieldCount - 1 downto 0 do
begin
CDSProcedimientos.Fields[I].DataSet := nil;
end;

// try
// CDSProcedimientos.Edit;
// CDSProcedimientos.ClearFields;
// CDSProcedimientos.Close;
// except
// end;

I := 0;

SetLength(vFields, QCategorias.RecordCount);
SetLength(vCamposBool, QCategorias.RecordCount);
SetLength(vCodigoProc, QCategorias.RecordCount);
SetLength(vValorProc, QCategorias.RecordCount);
SetLength(vCopago, QCategorias.RecordCount);
SetLength(vAbono, QCategorias.RecordCount);
SetLength(vNeto, QCategorias.RecordCount);
SetLength(vSaldo, QCategorias.RecordCount);
SetLength(vRepeticiones, QCategorias.RecordCount);

QCategorias.First;
while not QCategorias.EOF do
begin
if Assigned(vFields[I]) then
vFields[I].Free;

if Assigned(vCamposBool[I]) then
vCamposBool[I].Free;

if Assigned(vCodigoProc) then
vCodigoProc[I].Free;

if Assigned(vValorProc) then
vValorProc[I].Free;

vFields[I] := TStringField.Create(CDSProcedimientos);
vCamposBool[I] := TBooleanField.Create(CDSProcedimientos);
vCodigoProc[I] := TIntegerField.Create(CDSProcedimientos);
vValorProc[I] := TFloatField.Create(CDSProcedimientos);
vCopago[I] := TFloatField.Create(CDSProcedimientos);
vAbono[I] := TFloatField.Create(CDSProcedimientos);
vNeto[I] := TFloatField.Create(CDSProcedimientos);
vSaldo[I] := TFloatField.Create(CDSProcedimientos);
vRepeticiones[I] := TIntegerField.Create(CDSProcedimientos);

vCamposBool[I].FieldName := 'CheckBox_' + QCategorias.Fields[0].AsString;
if CDSProcedimientos.Fields.FindField('CheckBox_' + QCategorias.Fields[0]
.AsString) = nil then
vCamposBool[I].DataSet := CDSProcedimientos;
vCamposBool[I].DisplayLabel := 'Elegir';
vCamposBool[I].OnValidate := Validate;

vRepeticiones[I].FieldName := 'Repeticiones_' + QCategorias.Fields
[0].AsString;
if CDSProcedimientos.Fields.FindField('Repeticiones_' + QCategorias.Fields
[0].AsString) = nil then
vRepeticiones[I].DataSet := CDSProcedimientos;
vRepeticiones[I].DisplayLabel := 'Repite';
vRepeticiones[I].DisplayFormat := '###,###,##0';
vRepeticiones[I].Visible := True;

vFields[I].FieldName := QCategorias.Fields[0].AsString;
vFields[I].ReadOnly := False;
if CDSProcedimientos.Fields.FindField(QCategorias.Fields[0].AsString)
= nil then
vFields[I].DataSet := CDSProcedimientos;
vFields[I].DisplayLabel := 'Procedimiento';

vCodigoProc[I].FieldName := 'Codigo_' + QCategorias.Fields[0].AsString;
if CDSProcedimientos.Fields.FindField('Codigo_' + QCategorias.Fields[0]
.AsString) = nil then
vCodigoProc[I].DataSet := CDSProcedimientos;
vCodigoProc[I].DisplayLabel := 'Codigo';
vCodigoProc[I].Visible := True;

vValorProc[I].FieldName := 'Valor_' + QCategorias.Fields[0].AsString;
if CDSProcedimientos.Fields.FindField('Valor_' + QCategorias.Fields[0]
.AsString) = nil then
vValorProc[I].DataSet := CDSProcedimientos;
vValorProc[I].DisplayLabel := 'Valor';
vValorProc[I].DisplayFormat := '###,###,##0.00';
vValorProc[I].OnChange := CDSProcedimientosValor_Change;
vValorProc[I].Visible := True;

vCopago[I].FieldName := 'Copago_' + QCategorias.Fields[0].AsString;
if CDSProcedimientos.Fields.FindField('Copago_' + QCategorias.Fields[0]
.AsString) = nil then
vCopago[I].DataSet := CDSProcedimientos;
vCopago[I].DisplayLabel := 'Cop./Part.';
vCopago[I].DisplayFormat := '###,###,##0.00';
vCopago[I].Visible := True;

vAbono[I].FieldName := 'Abono_' + QCategorias.Fields[0].AsString;
if CDSProcedimientos.Fields.FindField('Abono_' + QCategorias.Fields[0]
.AsString) = nil then
vAbono[I].DataSet := CDSProcedimientos;
vAbono[I].DisplayLabel := 'Abono';
vAbono[I].DisplayFormat := '###,###,##0.00';
vAbono[I].Visible := True;

vNeto[I].FieldName := 'Neto_' + QCategorias.Fields[0].AsString;
vNeto[I].FieldKind := fkCalculated;
if CDSProcedimientos.Fields.FindField('Neto_' + QCategorias.Fields[0]
.AsString) = nil then
vNeto[I].DataSet := CDSProcedimientos;
vNeto[I].DisplayLabel := 'Neto';
vNeto[I].DisplayFormat := '###,###,##0.00';
vNeto[I].Visible := True;

vSaldo[I].FieldName := 'Saldo_' + QCategorias.Fields[0].AsString;
vSaldo[I].FieldKind := fkCalculated;
if CDSProcedimientos.Fields.FindField('Saldo_' + QCategorias.Fields[0]
.AsString) = nil then
vSaldo[I].DataSet := CDSProcedimientos;
vSaldo[I].DisplayLabel := 'Saldo';
vSaldo[I].DisplayFormat := '###,###,##0.00';
vSaldo[I].Visible := True;

Inc(I);

QCategorias.Next;
end;

try
CDSProcedimientos.Close;
CDSProcedimientos.CreateDataSet;
except
end;

// CDSProcedimientos.Close;
CDSProcedimientos.Open;

QProcedimiento.DisableControls;
try
QProcedimiento.First;
while not QProcedimiento.EOF do
begin
if BuscaLinea(QProcedimiento.Fields[0].AsString) <> nil then
CDSProcedimientos.Edit
else
CDSProcedimientos.Append;

CDSProcedimientos.FieldByName(QProcedimiento.Fields[0].AsString)
.AsString := QProcedimiento.Fields[1].AsString;

CDSProcedimientos.FieldByName('CheckBox_' + QProcedimiento.Fields[0]
.AsString).AsBoolean := False;

CDSProcedimientos.FieldByName('Codigo_' + QProcedimiento.Fields[0]
.AsString).AsInteger := QProcedimiento.Fields[2].AsInteger;

CDSProcedimientos.FieldByName('Valor_' + QProcedimiento.Fields[0]
.AsString).AsFloat := QProcedimiento.Fields[3].AsFloat;

// CDSProcedimientos.FieldByName('Copago_' + QProcedimiento.Fields[0]
// .AsString).AsFloat := 0;

CDSProcedimientos.FieldByName('Abono_' + QProcedimiento.Fields[0]
.AsString).AsFloat := 0;

CDSProcedimientos.FieldByName('Neto_' + QProcedimiento.Fields[0]
.AsString).AsFloat := 0;

CDSProcedimientos.FieldByName('Saldo_' + QProcedimiento.Fields[0]
.AsString).AsFloat := 0;

CDSProcedimientos.FieldByName('Repeticiones_' + QProcedimiento.Fields[0]
.AsString).AsFloat := 1;

CDSProcedimientos.Post;
QProcedimiento.Next;
end;
CDSProcedimientos.First;
finally
QProcedimiento.EnableControls;
end;

for I := 0 to DBGCategoria.Columns.Count - 1 do
begin
if (Pos('CheckBox_', DBGCategoria.Columns[I].FieldName) = 0) and
(Pos('Copago_', DBGCategoria.Columns[I].FieldName) = 0) and
(Pos('Abono_', DBGCategoria.Columns[I].FieldName) = 0) and
(Pos('Repeticiones_', DBGCategoria.Columns[I].FieldName) = 0) and
(Pos('Valor_', DBGCategoria.Columns[I].FieldName) = 0) then
DBGCategoria.Columns[I].ReadOnly := True;
end;
finally
QCategorias.Free;
QProcedimiento.Free;
end;
DBGCategoria.Columns[0].Title.Caption := 'Elegir';
DBGCategoria.Columns[1].Alignment := taCenter;
DBGCategoria.Columns[3].Alignment := taCenter;
DBGCategoria.Columns[4].Alignment := taCenter;
DBGCategoria.Columns[5].Alignment := taCenter;
DBGCategoria.Columns[6].Alignment := taCenter;
DBGCategoria.Columns[7].Alignment := taCenter;
DBGCategoria.Columns[8].Alignment := taCenter;
end;

[cloayza]

Si me permites quisiera hacer los siguientes comentarios

{1}: Estas liberando el objeto CDSProcedimientos, esto es eliminar todos los campos persistentes que podría tener definido.
{2}: Estas creando un nuevo objeto CDSProcedimientos, sin ningún campo persistente
{3}: Estas creando un nuevo dataset vacío, para agregar registros a el, pero no haz definido los campos que contiene.
{4}: Debería ir el código que define los campos del dataset antes de llamar al Createdataset

...
CDSProcedimientos.Free; {1}

CDSProcedimientos := TClientDataSet.Create(Self); {2}
CDSProcedimientos.OnCalcFields := CDSProcedimientosCalcFields;

...
//if QCategorias.RecordCount = 0 then
begin
try
CDSProcedimientos.Close;
// CDSProcedimientos.ClearFields;
{4}...
CDSProcedimientos.CreateDataSet; {3}
except
end;

// Abort;
end;

...


Te adjunto un ejemplo de creación de un TClientDatset, obtenido desde TCustomClientDataSet.CreateDataSet (http://docs.embarcadero.com/products/rad_studio/radstudio2007/RS2007_helpupdates/HUpdate4/EN/html/delphivclwin32/DBClient_TCustomClientDataSet_CreateDataSet.html)


with CDS2 do
begin
with FieldDefs.AddFieldDef do
begin
DataType := ftInteger;
Name := 'Field1';
end;
with FieldDefs.AddFieldDef do
begin
DataType := ftString;
Size := 10;
Name := 'Field2';
end;
with IndexDefs.AddIndexDef do
begin
Fields := 'Field1';
Name := 'IntIndex';
end;
CreateDataSet;
end;


Saludos cordiales

[Camilo]

Mil gracias cloayza por tu tiempo y colaboracion.
Ahora mismo hago esa revision y cambio las cosas. sinembargo me queda una inquietud. Esos comentarios acertados que me haces si tienen como consecuencia un "Out Of Memory"; por que antes de los 100 mil registros aun estando igual no daba ese error. Gracias Amigo cloayza

[mamcx]

Ademas, este tipo de procesos es mas rapido si se ejecuta dentro del motor de SQL y usando SQL.

Que motor usas?

[Manuel]

Yo creo que tu problema no es la base de datos si no que los arrays que tienes, están almacenando todos los registros en ellos y te quedaste sin memoria.

[mamcx]

Esos comentarios acertados que me haces si tienen como consecuencia un "Out Of Memory"; por que antes de los 100 mil registros aun estando igual no daba ese error.

Y porque no mides la memoria? Puedes usar el monitor de rendimiento para ello.

Y el porque antes si y ahora no?

Porque antes lo que hacias cabia en memoria, pero le subiste 1 y ya no. La memoria es finita.

[Camilo]

Hola Manuel mil gracias por tu aporte.
Yo creo que tu problema no es la base de datos si no que los arrays que tienes, están almacenando todos los registros en ellos y te quedaste sin memoria.

yo tambien me encamino por ahi, creo que el problema real esta en lo que planteas. desafortunadamente no se como particionarlo o segmentarlo. solo y es solo si tuvieras el tiempo de echarme una manito con una orientacion te prometo que estudio y lo saco adelante. gracias.

[Camilo]

Hola mi compatriota mil gracias por tu apoyo.
Ademas, este tipo de procesos es mas rapido si se ejecuta dentro del motor de SQL y usando SQL.

Que motor usas?

Resulta que esta base de datos era en Paradox Pero migre a Firebird y no he tenido el tiempo para cambiar todos los Componentes BDE y cambiar la programacion ajustado los procedimientos al Firebird. Entonces es un hibrido ahi raro de BD firebird con componentes BDE y algunas tablas y querys que he logrado modernizar con componentes IBX. Espero una manita en este asunto

[mamcx]

Espero una manita en este asunto

El asunto es que el código es un spaguetti, y optimizarlos es... re escribirlo.

Por seguro, cuando un código es simple es generalmente eficiente, y es más fácil de optimizar.

En terminos generales, deberias poder visualizar el codigo siguiendo esta idea:



ResultadosIniciales -> Reducir al maximo usando filtros -> Procesar por N* -> Formatear y Visualizar

* Donde N puede ser = 1 o por un numero batch, que entonces seria:

Filtros -> Procesar Por N=100 -> Procesar por 1 ->


La idea es que cuando llegues a la GUI, tengas los datos estructurados de forma tal que solo tengas que hacer transformaciones de visualizacion esteticas o ajustar al idioma/locale del usuario.

Esto se llama un pipeline de datos o linea de datos.

[Manuel]

Hola Manuel mil gracias por tu aporte.


yo tambien me encamino por ahi, creo que el problema real esta en lo que planteas. desafortunadamente no se como particionarlo o segmentarlo. solo y es solo si tuvieras el tiempo de echarme una manito con una orientacion te prometo que estudio y lo saco adelante. gracias.

Pregunta, ¿para que cargas en un array lo datos?, eso nos podría dar luces.

[Camilo]

Gracias mamcx lo tendre en cuenta para cuando cambie toda la metodologia de ese programa. Gracias

[Camilo]

Hola Manuel. Cuando quiero introducir un registro mas una vez (siendo identico) entonces lo cargo y con una funioncilla que hay por ahi inmersa en el codigo lo repito las veces que yo le indique. Por ejemplo: Ape1, ape2, Nom1, Nom2, Codigo, Procedimiento, valor..... esa informacion la cargo la repito 5 veces. Es por eso. Con el primero no da lio lo graba bien a partir del segundo es que ouchhhh.... el error.

[mamcx]

Es por eso. Con el primero no da lio lo graba bien a partir del segundo es que ouchhhh.... el error.

No se te entiende bien lo que dices. Seria mejor que pusieras un ejemplo con datos.