Vaciar contenido dataset a otro

[TaaDow]

Buen dia,
cuento con dos motores(db1-oracle y db2-sqlserver05), con unas tablas equivalentes, debo vaciar el contenido de una tabla db1 a db2, para ello, utilizo esta funcion a la cual le paso los dos datasets, origen y destino, que cuentan con las misma estructura:

Código Delphi [-]
procedure TForm1.CopiarRegistro(sql_Origen :TSimpleDataSet; sql_Destino :TSimpleDataSet);
var
  larr_Valores : Variant;
  lint_Cursor : Integer;
  x            : Integer;
begin
  
  sql_Destino.Open;
  sql_Origen.Open;

 while(not sql_Origen.Eof) do
  begin
    larr_Valores := VarArrayCreate([0,sql_Origen.Fieldcount-1],VarVariant);
    for lint_Cursor := 0 to (sql_Origen.Fieldcount-1) do
      larr_Valores[lint_Cursor] := sql_Origen.fields[lint_Cursor].Value ;
      sql_Destino.Append ;

    for lint_Cursor := 0 to (sql_Destino.Fieldcount-1) do
      sql_Destino.fields[lint_Cursor].Value := larr_Valores[lint_cursor] ;
      sql_Destino.Post;
    sql_Origen.Next;
      sql_Destino.ApplyUpdates(-1);
   
   end;
 end;

El procedimiento funciona, pero al ejecutarse, hago la prueba cargando en el dataset una tabla de 6 columnas y 50 mil filas, y ejecuta la tarea en mas de 7 horas, lo que me parece exagerado, dado que si subo un csv manualmente, con esa misma informacion, no toma mas de 30 minutos, es mi primera experiencia programando el delphi, desearia conocer sus opiniones con respecto a la eficiencia del codigo, es esta es la solucion mas optima?

Agradezco sus sugerencias al respecto.

[roman]

Aún los 30 minutos para el csv que mencionas me parece demasiado. No debería tardar sino un par de minutos. Aunque desconozco los servidores que usas, supongo que tendrán alguna forma de desactivar los índices, que es lo que puede estar alentando el proceso.

Por otro lado, trabajar con variants siempres es más lento. En tu procedimiento podrías, por lo menos, ahorrarte el arreglo intermedio y hacer la asignación directa de un dataset a otro. Y si conoces la estructura de la tabla, sería mejor hacer las asignaciones con los métodos AsInteger, AsFloat, AsString, etc. de los objetos Field para evitar el uso de variants.

También, si tienes controles de edición conectados a los dataset, es mejor que uses los métodos DisableControls y EnableControls al hacer el traspaso, para que el proceso no se alente por la actualización visual de los datos.

// Saludos

[TaaDow]

Aún los 30 minutos para el csv que mencionas me parece demasiado

la verdad estoy siendo algo exagerado

Por otro lado, trabajar con variants siempres es más lento. En tu procedimiento podrías, por lo menos, ahorrarte el arreglo intermedio y hacer la asignación directa de un dataset a otro. Y si conoces la estructura de la tabla, sería mejor hacer las asignaciones con los métodos AsInteger, AsFloat, AsString, etc. de los objetos Field para evitar el uso de variants

esta manera me permite trabajar con diferentes tablas, de la forma que me sugieres, no tengo esa ventaja,

También, si tienes controles de edición conectados a los dataset, es mejor que uses los métodos DisableControls y EnableControls al hacer el traspaso, para que el proceso no se alente por la actualización visual de los datos.

el unico control que utlizo es una barra de progreso, no creo que influya mucho en el asunto, es esta la forma mas ortodoxa, facil, viable,? de realizar el proceso de vaciado de tablas, que opinan? han utilizado el metodo clonecurosor?, no he podido hacerlo funcionar,

Gracias por su respuesta Roman.

[cloayza]

Creo que la sugerencia del amigo Roman, es acertada.

La propiedad Value de un TFields es de tipo Variant, con lo cual el usar un vector de tipo Variant no tiene justificacion.

Ademas en cada ciclo de lectura de sql_Origen, estas dimensionando el vector, creo que eso se debe hacer antes de iniciar el ciclo de lectura una sola vez.

Alternativa 1:

Código Delphi [-]
procedure TForm1.CopiarRegistro(sql_Origen :TSimpleDataSet; sql_Destino :TSimpleDataSet);
var
  larr_Valores : Variant;
  lint_Cursor : Integer;
  x            : Integer;
begin
  
  sql_Destino.Open;
  sql_Origen.Open;
  larr_Valores := VarArrayCreate([0,sql_Origen.Fieldcount-  1],VarVariant);

 while(not sql_Origen.Eof) do
  begin
      for lint_Cursor := 0 to (sql_Origen.Fieldcount-1) do
      larr_Valores[lint_Cursor] := sql_Origen.fields[lint_Cursor].Value ;
      sql_Destino.Append ;

    for lint_Cursor := 0 to (sql_Destino.Fieldcount-1) do
      sql_Destino.fields[lint_Cursor].Value := larr_Valores[lint_cursor] ;
      sql_Destino.Post;

      sql_Origen.Next;
      sql_Destino.ApplyUpdates(-1);
   
   end;
 end;

Alternativa 2:

Código Delphi [-]
procedure TForm1.CopiarRegistro(sql_Origen :TSimpleDataSet; sql_Destino :TSimpleDataSet);
var
  lint_Cursor : Integer;
  x            : Integer;
begin
  
  sql_Destino.Open;
  sql_Origen.Open;
 while(not sql_Origen.Eof) do
  begin
        sql_Destino.Append ;

        for lint_Cursor := 0 to (sql_Destino.Fieldcount-1) do
             sql_Destino.fields[lint_Cursor].Value := sql_Origen.fields[lint_Cursor].Value;
        sql_Destino.Post;

        sql_Origen.Next;
        sql_Destino.ApplyUpdates(-1);
   
   end;
 end;

Saludos...

[[Al González]]

Hola TaaDow.

Lo que más lentitud le causa a ese ciclo es que en cada pasada estás llamando al método ApplyUpdates y éste internamente dispara la apertura y cierre automáticos de una trasacción —¡una transacción por registro!— en la base de datos destino (suponiendo que no hay ya una trasacción abierta antes de iniciar el proceso).

Coloca esa sentencia fuera (después) del While, con lo cual seguramente se reducirá significativamente el tiempo que consume la operación.

Dinos cómo te funciona de esa manera.

Un saludo.

Al González.

[TaaDow]

Coloca esa sentencia fuera (después) del While, con lo cual seguramente se reducirá significativamente el tiempo que consume la operación.

,

Aplique la alternativa dos, siguiendo el consejo Al Gonzales, del applyupdates afuera del ciclo, despues de 5 horas en un 87% mi pc(w7,c2duo,3gb ram) se quedo sin memoria. procesando un dataset de 7 columnas por 52mil registros.

Tratare de dividir el dataset por paquetes mas pequeños, de 10mil o 5mil registros.

Gracias por sus respuestas.