Actualizar un dataset desde otro dataset

[jafera]

Buenas tardes.

Soy comisario de ciclismo y estoy desarrollando una aplicacion para gestionar las carreras de bicicletas y poder hacer inscripciones, clasificaciones etc.

El motivo de mi consulta es el sifguiente:

Utilizo Delphi 6 y Firebird 1.5

Tengo una tabla (IBDataset) con los registros
En otro dataset tengo otros registros que actualizo desde una tabla .txt que se me envia periodicamente (semanal).
Tengo que actualizar los datos del dataset principal con los del dataset creado con la tabla txt, en caso de que no exista li añado y en caso de que exista lo modifica, aunque me gustaria que si no hay modificaciones lo pasara de largo. El problema que tengo es que esta tabla contiene aprox. 45.000 registros y tarda mucho en revisarse. Os adjunto el codigo por si alguien ve una forma de agilizar este problema.

procedure TF_Actualitza.RadioGroup1Click(Sender: TObject);
var i:integer;
begin
F_ModulDades.MasterE.Close;
F_ModulDades.MasterE.Open;
F_ModulDades.Master.Close;
F_ModulDades.Master.Open;
F_ModulDades.MasterE.Last;
Progressbar1.Max := F_ModulDades.MasterE.RecordCount;
F_ModulDades.MasterE.First;
While not F_ModulDades.MasterE.Eof do
begin
If F_ModulDades.Master.Locate('DNI',F_ModulDades.MasterEC11.Value,[])then
begin
F_ModulDades.Master.Edit;
F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterEC5.Value;
F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterEC6.Value;
F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterEC7.Value;
F_ModulDades.MasterCODI_CAT.Value:=F_ModulDades.MasterEC8.Value;
F_ModulDades.MasterNACIO.Value:=F_ModulDades.MasterEC9.Value;
F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterEC10.Value;
F_ModulDades.MasterDNI.Value:=F_ModulDades.MasterEC11.Value;
F_ModulDades.MasterCODIUCI.Value:=F_ModulDades.MasterEC12.Value;
F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterEC13.Value;
F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterEC15.Value;
F_Moduldades.Master.Post;
F_ModulDades.MasterE.Next;
end
else
begin
F_ModulDades.Master.Last;
i:=F_ModulDades.MasterID_CORREDOR.Value+1;
F_ModulDades.Master.Append;
F_ModulDades.MasterID_CORREDOR.Value:=i;
F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterEC5.Value;
F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterEC6.Value;
F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterEC7.Value;
F_ModulDades.MasterCODI_CAT.Value:=F_ModulDades.MasterEC8.Value;
F_ModulDades.MasterNACIO.Value:=F_ModulDades.MasterEC9.Value;
F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterEC10.Value;
F_ModulDades.MasterDNI.Value:=F_ModulDades.MasterEC11.Value;
F_ModulDades.MasterCODIUCI.Value:=F_ModulDades.MasterEC12.Value;
F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterEC13.Value;
F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterEC15.Value;
F_Moduldades.Master.Post;
F_ModulDades.MasterE.Next;
end;
Progressbar1.Position := F_ModulDades.MasterE.RecNo;
end;
ShowMessage('Procés finalitzat')
end;

Muchisimas gracias por adelantado

[maeyanes]

Hola...

Si estás trabajando con Firebird, te recomiendo que uses componentes de tipo query y dataset en lugar de los tipo table. Si usas los IBX estos son TIBDataSet y TIBQuery.

Lo que podrías hacer es un ciclo que recorra todos los registros del archivo de texto (que no se como los cargas) y por cada registro primero buscas si existe en la tabla destino, esto lo puedes hacer haciendo una consulta por el campo ID o algún campo único. Si el registro no existe, entonces haces una sentencia insert para agregar el registro. Si el registro existe, puedes comparar los datos de este con los que obtienes en el archivo de texto y solo modificar los que han cambiado, esto con una sentencia update.

No se si me expliqué bien, pero espero que esto te de una idea de como realizar el proceso.


Saludos...

[jafera]

Gracias Maeyanes.

El tema de pasar los datos del txt al dataset, pues me interesa mantener las dos tablas, ya lo tengo resuelto, el problema viene cuando desde este dataset quiero pasar los datos a otro dataset, ahí es donde el proceso se ralentiza creo que al usar un locate para encontrar si el registro existe, uso el camp DNI ya que es unico por cada persona.

[maeyanes]

Hola...

Tu problema es que para usar el método Locate, necesitas que estén todos los datos del lado del cliente y si esos son muchos, tarda más en cargalos todos desde el servidor.

Si usas un query para lanzar una consulta del tipo: select count(DNI) from Tabla where DNI = 'valor' para saber si existe cierto DNI en la tabla, puedes acelerar en mucho tu proceso.


Saludos...

[jafera]

Creo que alg así es lo que necesito.

Voy a ver

Josep

[jafera]

Nada de nada, que no doy con la solución, a parte de tardar mucho en hacer el recorrido de las tablas, consume muchos recursos de la máquina y casi la bloquea

[jafera]

Así es como lo he dejado, pero sigue tardando mucho tiempo, en una aplicacion que usa acces como base de datos este proceso es muy rápido. Yo ya casi que tiro la toalla. Delphius me dice que si uso indices, no se exactamente a que se refiere, campo llave?, si es así es el DNI

procedure TF_Actualitza.BitBtn1Click(Sender: TObject);
var i:integer;
begin
If RadioGroup1.ItemIndex=0 then
begin
F_Confirmacio := TF_Confirmacio.Create(self);
F_Confirmacio.Label1.Caption:= 'Aquesta acció actualitzarà el Master';
F_Confirmacio.Label2.Caption:= 'general amb les noves dades';
F_Confirmacio.Label3.Caption:= 'Estas segur?';
try
If F_Confirmacio.ShowModal = mrok then
begin
F_ModulDades.MasterE.Close;
F_ModulDades.MasterE.Open;
F_ModulDades.Master.Close;
F_ModulDades.Master.Open;
F_ModulDades.MasterE.Last;
Progressbar1.Max := F_ModulDades.MasterE.RecordCount;
F_ModulDades.MasterE.First;
While not F_ModulDades.MasterE.Eof do
begin
F_ModulDades.Master.Close;
F_ModulDades.Master.SelectSQL.Text:='SELECT COUNT DNI FROM CU0001 WHERE DNI='+QuotedStr(F_ModulDades.MasterEC11.Value);
F_ModulDades.Master.Open;
If F_ModulDades.Master.RecordCount>0 then
begin
F_ModulDades.Master.Edit;
F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterEC5.Value;
F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterEC6.Value;
F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterEC7.Value;
F_ModulDades.MasterCODI_CAT.Value:=F_ModulDades.MasterEC8.Value;
F_ModulDades.MasterNACIO.Value:=F_ModulDades.MasterEC9.Value;
F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterEC10.Value;
F_ModulDades.MasterCODIUCI.Value:=F_ModulDades.MasterEC12.Value;
F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterEC13.Value;
F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterEC15.Value;
F_Moduldades.Master.Post;
F_ModulDades.MasterE.Next;
end
else
begin
F_ModulDades.Master.Last;
i:=F_ModulDades.MasterID_CORREDOR.Value+1;
F_ModulDades.Master.Append;
F_ModulDades.MasterID_CORREDOR.Value:=i;
F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterEC5.Value;
F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterEC6.Value;
F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterEC7.Value;
F_ModulDades.MasterCODI_CAT.Value:=F_ModulDades.MasterEC8.Value;
F_ModulDades.MasterNACIO.Value:=F_ModulDades.MasterEC9.Value;
F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterEC10.Value;
F_ModulDades.MasterDNI.Value:=F_ModulDades.MasterEC11.Value;
F_ModulDades.MasterCODIUCI.Value:=F_ModulDades.MasterEC12.Value;
F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterEC13.Value;
F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterEC15.Value;
F_Moduldades.Master.Post;
F_ModulDades.MasterE.Next;
end;
Progressbar1.Position := F_ModulDades.MasterE.RecNo;
end;
end;
finally
F_Confirmacio.Free;
end;
ShowMessage('Procés finalitzat');
end
else
If RadioGroup1.ItemIndex=1 then
begin
F_Confirmacio := TF_Confirmacio.Create(self);
F_Confirmacio.Label1.Caption:= 'Aquesta acció actualitzarà el Master';
F_Confirmacio.Label2.Caption:= 'general amb les noves dades';
F_Confirmacio.Label3.Caption:= 'Estas segur?';
try
If F_Confirmacio.ShowModal = mrok then
begin
F_ModulDades.MasterC.Close;
F_ModulDades.MasterC.Open;
F_ModulDades.Master.Close;
F_ModulDades.Master.Open;
F_ModulDades.MasterC.Last;
Progressbar1.Max := F_ModulDades.MasterC.RecordCount;
F_ModulDades.MasterC.First;
While not F_ModulDades.MasterC.Eof do
begin
F_ModulDades.Master.Close;
F_ModulDades.Master.SelectSQL.Text:='SELECT * FROM CU0001 WHERE DNI='+QuotedStr(F_ModulDades.MasterEC11.Value);
F_ModulDades.Master.Open;
If F_ModulDades.Master.RecordCount>0 then
begin
F_ModulDades.Master.Edit;
F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterCC5.Value;
F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterCC6.Value;
F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterCC7.Value;
F_ModulDades.MasterCODI_CAT.Value:=StrToInt(F_ModulDades.MasterCC10.Value);
F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterCC11.Value;
F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterCC13.Value;
F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterCC14.Value;
F_Moduldades.Master.Post;
F_ModulDades.MasterC.Next;
end
else
begin
F_ModulDades.Master.Last;
i:=F_ModulDades.MasterID_CORREDOR.Value+1;
F_ModulDades.Master.Append;
F_ModulDades.MasterID_CORREDOR.Value:=i;
F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterCC5.Value;
F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterCC6.Value;
F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterCC7.Value;
F_ModulDades.MasterCODI_CAT.Value:=StrToInt(F_ModulDades.MasterCC10.Value);
F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterCC11.Value;
F_ModulDades.MasterDNI.Value:=F_ModulDades.MasterCC12.Value;
F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterCC13.Value;
F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterCC14.Value;
F_Moduldades.Master.Post;
F_ModulDades.MasterC.Next;
end;
Progressbar1.Position := F_ModulDades.MasterC.RecNo;
end;
end;
finally
F_Confirmacio.Free;
end;
ShowMessage('Procés finalitzat');
end;
end;


Gracias a todos a ver si alguien tiene una bombilla que luzca más que la mia, creo que se me ha fundido de tanto pensar.

Josep

[jafera]

Nota, la aplicación no es cliente servidor, se utiliza en máquina local

Josep

[JosepGA]

Hola Josep,

yo probaría a abrir una tabla con solo los DNIs para no tener que estar abriendo y cerrando tablas, luego si existe realizar sentencia de Update y si no, realizar Insert. No conozco los IB ya que yo trabajo con dbexpress y los componentes tSimpleDataSet o tClientDataSet, pero yo no trabajaria con Locate ( suele ser lento en las busquedas ), si puedes y lo tiene usa Findkey que usa el indice por el cual abres la tabla.

Salutacions ( saludos en catalán )

[jafera]

Gracias, ahora estoy probando con 'SELECT COUNT (DNI) FROM CU0001 WHERE DNI='+QuotedStr(F_ModulDades.MasterEC11.Value)(
pero me da un error de que no encuentra el campo 'COPA'.
Sigo dandole vueltas

Josep

[Sick boy]

F_ModulDades.Master.Last;
i:=F_ModulDades.MasterID_CORREDOR.Value+1;

Utilizas un Last para obtener el ultimo id de corredor, y eso es lo que te relentiza la aplicacion.
Para que lo entiendas, cada vez que tienes un ciclista nuevo el programa abre y se trae todos los datos hasta llegar al ultimo. Es totalmente ineficiente con semejante numero de registros.

Deberias usar un generador para las IDs (ver en google "Generadores FireBird")
Esta seria la mejor opcion, sin dudas veras como aumenta muchisimo la velocidad.

Otra forma seria lanzar un sql (dentro de un IBquery o IBSQL) como este:
SELECT max(ID_CORREDOR)+1 as ultimo_ID FROM nombre_tabla
Tendrias el dato del nuevo corredor en el campo 'ultimo_ID'. Ultimo_ID no tiene que ser un campo de tu tabla, es un alias que utilizo y puede ser el texto a tu eleccion.
Para más velocidad, que el query sea UNIDIRECCIONAL, no necesitas recorrerlo, solo buscas un dato.

Por supuesto, el LOCATE ni tocarlo.

Un indice en el campo DNI no vendria mal. (ver google "Indices en FireBird")

En firebird 2.1 puedes hacer un INSERT o UPDATE en una sentencia.
Puesto que estas acostumbrado ha tablas de escritorio no te lo complico más.

Del mismo modo que Access y FireBird no se pueden comparar al mismo nivel, tampoco deberias usar las mismas tecnicas.

Nota, la aplicación no es cliente servidor, se utiliza en máquina local
No es correcto, tu aplicacion es cliente/servidor, solo que ambos estan en la misma maquina, y que por lo tanto no se necesita una infraestructura de red, pero internamente tu aplicacion se comunica con el servidor de firebird via TCP. Ponle un cortafuegos extricto y veras lo que pasa.

Debes de programar pensando en cliente/servidor, los locate, last, recordcount, gotokey, etc... olvidalos (bueno, recordcount si sabes como se comporta puede servir), solo te daran problemas.

saludos

[Sick boy]

No habia visto esto:
Gracias, ahora estoy probando con
Código:

'SELECT COUNT (DNI) FROM CU0001 WHERE DNI='+QuotedStr(F_ModulDades.MasterEC11.Value)(

pero me da un error de que no encuentra el campo 'COPA'.
Sigo dandole vueltas
Prueba esto:
SELECT DNI FROM CU001 WHERE DNI='+QuotedStr(F_ModulDades.MasterEC11.Value)
No necesitas contar los DNI, el resultado seria 1 o 0

Despues cambia el recordcount:
F_ModulDades.Master.Open;
If F_ModulDades.Master.RecordCount>0 then

cambialo por
F_ModulDades.Master.Open;
If F_ModulDades.Master.fieldbyname('DNI').asstring<>'' then

Basta con comprobar que el DNI tiene algun valor, entiendo que los DNIs son unicos.

Usar VALUE te va a volver loco, utiliza fieldbyname y me lo agradeceras

[angelholberg]

Saludos amigo, nos esi entendi lo que queires hacer pero podrias intentar clonando los Dataset de ese modo puedes pasara la informacion de un Dataset a otro sin mayor complicación y sin q

[angelholberg]

Saludos amigo, haber si entendi algo de tu problema podrias clonar dataset para pasar informacion de un dataset cargado a otro de este modo podras pasar informaciond e un dataset a otro yd e manera transparente a tu aplciacion

[jafera]

Gracias Sick Boy y Angelholberg por vuestro interés, probaré la opción de Sick a ver si va mejor.
Angel, no estoy muy puesto en según que procesos, me podrías comentar algo más acerca de clonar?

Gracias

Josep:)

[Chris]

Hola Jafera. Prueba el siguiente código:


procedure TF_Actualitza.BitBtn1Click(Sender: TObject);
var i:integer;
tmpQuery: TIBQuery;
begin
If RadioGroup1.ItemIndex=0 then
begin
F_Confirmacio := TF_Confirmacio.Create(self);
F_Confirmacio.Label1.Caption:= 'Aquesta acció actualitzarà el Master';
F_Confirmacio.Label2.Caption:= 'general amb les noves dades';
F_Confirmacio.Label3.Caption:= 'Estas segur?';

if not (F_Confirmacio.ShowModal = mrok) then
Abort;

end;

try
tmpQuery := TIBQuery.Create(Selft);
tmpQuery.SQL.Add('SELECT DNI FROM CU0001 WHERE DNI=:DNI_in_txt');
F_ModulDades.MasterE.Close;
F_ModulDades.MasterE.Open;
F_ModulDades.Master.Close;
F_ModulDades.Master.Open;
F_ModulDades.MasterE.Last;
Progressbar1.Max := F_ModulDades.MasterE.RecordCount;
F_ModulDades.MasterE.First;

while not F_ModulDades.MasterE.Eof do
begin
with tmpQuery do
begin
if not Active then
Close;

ParamByName('DNI_in_txt').AsInteger := F_ModulDades.MasterEC11.Value;

if not Prepared then
Prepare;

Open;
end;

if tmpQuery.isEmpty then
begin
i:=F_ModulDades.MasterID_CORREDOR.Value+1;
F_ModulDades.Master.Insert;
F_ModulDades.MasterID_CORREDOR.Value:=i;
end
else
begin
F_ModulDades.Master.Edit;
end;

// código compartido para asignación de valores
F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterEC5.Value;
F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterEC6.Value;
F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterEC7.Value;
F_ModulDades.MasterCODI_CAT.Value:=F_ModulDades.MasterEC8.Value;
F_ModulDades.MasterNACIO.Value:=F_ModulDades.MasterEC9.Value;
F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterEC10.Value;
F_ModulDades.MasterCODIUCI.Value:=F_ModulDades.MasterEC12.Value;
F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterEC13.Value;
F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterEC15.Value;
F_Moduldades.Master.Post;

Progressbar1.Position := F_ModulDades.MasterE.RecNo;
F_ModulDades.MasterE.Next;
end;
finally
F_Confirmacio.Free;
tmpQuery.Free;
ShowMessage('Procés finalitzat');
end;
end;


No sé si valla a servirte, pues tu código es un algo complicado de entender si no tienes a mano la estructura de componentes y objetos de datos que estás utilizando. Sin embargo, creo que a pesar de todo, este código limpio y optimizado pueda ayudarte a ganar tiempo.

Saludos.

[jafera]

Gracias por el código.

Lo he probado y me manda un error de que el parametro DNI_txt no existe.
He puesto un punto de interrupcion y el valor de C11 si que coje el primer valor de la tabla, despues me dice que no encuentra el parametro y enseguida me dice que proceso acabado.

Josep

[Chris]

seguramente has perdido algo al copiar el código, pues el verdadero nombre del parámetro es "DNI_in_txt" (sin las comillas) no "DNI_txt"

Saludos.