Lento al Insertar

[jachguate]

Habrá que ver como se implementa el locate... ya que 1000 son pocos, pero 1000 llamadas a un locate que recorre 1000 registros, ya son 1000000 de registros recorridos...

Si el locate funciona en local... será mejor cambiar ese locate por una búsqueda en la base de datos mediante SQL. De hecho, podes cambiar todo a tres simples SQL's que hacen select, update e insert, ya que segun veo, no tiene sentido mantener todo en un DataSet durante el proceso.

El hacer commit a cada registro también me parece mala idea... yo haria un solo commit por todos los registros y si algo falla, que corran el proceso completo otra vez (claro, si esto es posible, es mucho mejor), pero dependerá de las especificaciones y necesidades de tu proyecto

Hasta luego.

[brandolin]

El locate recorre uno por uno todos los registros? Porque se habla de mantener todo un DAtaSEt completo, no entiendo?

[jachguate]

Pues tengo muy poca experiencia con IBX, asi que no puedo confirmarte la manera en que hacen el locate.... por lo mismo, quizas solo este hablando burradas. Pero tener un DataSet abierto en el cliente supone mantener buffers con registros (a medida que se van insertando registros, se conservan en memoria en el cliente, ya que el dataset podria ser visto desde una rejilla, etc).

Si el componente hace el Locate en local, una llamada a este provocará que los datos ya existentes en el servidor viajen al cliente para determinar si el registro existe o no...

En fin, si solo tenes que insertar y actualizar datos (sin que se vean en ninguna parte durante el proceso, que debiera ser lo normal) tengo la impresión que será mas eficiente con select/insert/update como lo comenté.

Si podes monitorear la comunicación entre el cliente y el servidor, podrias vos mismo aclarar acá si lo que supongo es cierto o no.

Hasta luego.

[jjoliveras]

Ambas tablas están dentro de la misma base de datos? si es así porque no lanzas un StoreProcedure que realice un insert de los datos desde delphi por cada registro dentro de un try..except..end para que si te devuelve un error al menos siga adelante y puedas tener referencia del mismo.

Ej.:

while not tabla.eof do
  begin
    try
      with sp_actualiza do
        begin
          parambyname('codigo').Value = x;
          parambyname....
          prepare;
          execproc;
          close;
        end;
    except
      on e: exception do
        begin
          memo1.lines.add('Registro no actulizado con Código :'+x')
          memo1.lines.add('   *** '+e.message);
        end;
    end;
    tabla.next;
  end;

Yo tuve el mismo problema con un traspaso de datos y se me ocurrio lanzar un SP que hiciera el insert por cada registro de datos (317000 registros) y va siempre a la misma velocidad.

Espero que te sirva de orientación.

Saludos

[guillotmarc]

Hola.

¿ Hay alguna razón para los CommitRetaining ?. Una serie larga de Soft Commit sin un Hard Commit que pueda liberar el contexto de la transacción, va a degradar el rendimiento del Servidor. Simplemente quita el CommitRetaining, no parece que lo necesites para nada.

Respecto al Locate, tampoco conozco la implementación de los IBX, aunque creo haber leído que efectivamente recorre todos los registros. Así que parece mejor solución lanzar una consulta en el Servidor, como comentaba juachgate. Aunque indudablemente, la mejor solución, en caso de ser posible, es realizar todo el proceso de búsqueda y inserción dentro de un procedimiento almacenado, como comenta jjoliveras.

Saludos.

[brandolin]

ahora estamos mejorando...

saque los locate, deje el commitretailn..., en los ibxdataset puese Forcedrefresh := False, sace un Fetchall que estaba en el medio y la cosa mejoro bastante ahora por lo menos es constante la velocidad de insercion en todos los registros.

No obstante sigue siendo lento. Calculo quedebe ser por los IBX, probare cambiarlos y ver que pasa.

No obstante. Creo que puede verse degradada la velocidad en general ya que la transferencia la hago desde un Btrieve (con ODBC) mas un monton de cuentas, etc, etc.

Vere si puedo mejorar algo. Si tienen alguna idea, desde ya gracias.

[guillotmarc]

Empezado por brandolin

saque los locate, deje el commitretailn..., en los ibxdataset puese Forcedrefresh := False, sace un Fetchall que estaba en el medio y la cosa mejoro bastante ahora por lo menos es constante la velocidad de insercion en todos los registros.

¿ Alguna razón en concreto ?