Evitar KeyViolation

[ramiretor]

Hola:
¿MySQL? es una base de datos que no he usado, que gran ayuda no?

Bueno, bueno para empezar ¿cuantos son muchos registros?, hay varias maneras en las que lo puedes hacer, por lo que veo en tu rutina darle formato al archivo que vas a subir está bien (a menos que lo veas lento). Ahora al momento de buscar la llave ¿por qué no pones la sentencia en el Query y solo le pasas los párametros? pero en lugar de traer todo el registro un count(*):

Código SQL [-]
  Select count(*) as registros from tbl_venta 
  where ....

De manera que sólo le pasas la sentencia una vez y la vas abriendo:

Código Delphi [-]
bd.Qry_Vld.ParamByName('Cod_Movi').AsString:=campos[11];
bd.Qry_Vld.ParamByName('Document').AsString:=campos[12];
bd.Qry_Vld.ParamByName('Linea').AsString:=campos[13];
bd.Qry_Vld.Open;

Ahora bien, de lo que yo he hecho llamar a post en cada registro lo hace muy lento y lo uso cada determinado número de registros insertados, por ejemplo cada 1000 registros.


Prueba a ver si esos arreglos hacen más rapida la aplicación.

[ramiretor]

Adicionalmente, otra manera de hacerlo es:

1.Modificar el archivo origen como lo haces.
2. ¿ Es que acaso en MYSQL no hay opción de hacer un export o import desde un archivo de texto?, para subir el archivo a una tabla temporal.
3. Crear un indice "al vuelo" de la tabla temporal
4. Hacer un insert de los registros cuya llave no sea igual
5. Hacer update de los registros que sean iguales
6. Borrar la tabla temporal

A lo mejor asi sea más rapido
Saludos

[Ing Harry]

Antes que nada ramiretor gracias por tomarte el tiempo de mirar mi hilo.

Te cuento que trabajar tablas temporales me generaria aun muchos mas inconvenientes, pues la cantidad de registros promedio que manejo son 13500 mas o menos, la rutina de preparacion de la estructura del archivo es rapida, no tiene inconvenientes, pero el problema esta dado es en la forma como valido, las llaves, me han hablado de manejarlo con exepcion pero la verdad no se como hacerlo. Ahora he dejado para cerrar la tabla unicamente al final del proceso, y no tener que estar abriendola y cerrando cada vez que inserto o actualizo, eso me ayuda bastante.

Te agradezco la atencion y espero que sigamos trabajandole a esto para retroalimentar los conocimientos.

[ramiretor]

Hola:
De hecho se me hacen pocos registros, tienen razón con la excepción se puede manejar (de hecho ya no buscarías la llave en la tabla destino), quedaria:

Código Delphi [-]
   try
     Insert into TablaDestino values....
   except
     update TablaDestino...
     where Llave = TablaOrigen.llave
   end;

A ver prueba así

Saludos

[roman]

Creo que hay varias cosas específicas de MySql que se pueden investigar para optimizar la actualización.

1. De ser posible no usar ODBC sino alguna otra componente de acceso directo como ZEOS o MyDac.

2. No deshechar inmediatamente la opción comentada de las tablas temporales. MySql maneja tablas de tipo HEAP que son tablas en memoria por lo cual son muy rápidas.

3. Investigar las distintas formas de insertar registros

a. Por un lado INSERT tiene la cláusula opcional ON UPDATE que sirve para actualizar un registro en lugar de insertarlo en el caso de encontrar uno cuya llave primaria ya exista.

b. INSERT acepta la inserción de múltiples registros en una sola instrucción lo cual es mucho, pero mucho más rápido que una sucesión de instrucciones INSERT. Combinado con a. puede hacr una enorme diferencia.

c. También existe la sentencia REPLACE, que es similar a INSERT ... ON UPDATE pero con la diferencia de que primero borra el registro repetido y luego inserta el nuevo en lugar de simplemente actualizarlo.

d. Investigar la posibilidad de usar LOAD DATA INFILE, que lee directamente de un archivo de texto y es aún más rápido que INSERT con múltiples registros. LOAD DATA INFILE acepta la directiva REPLACE para manejar los registros duplicados.

No aseguro que esto va a ser más eficiente sobre todo porque implica construir un archivo de texto que luego se manda al servidor, pero creo que vale la pena investigarle.

// Saludos

[Ing Harry]

Agradezco tus comentarios, y tu forma de explicar, los tendre en cuenta y empezare a investigar no solo para este problema sino a futuro. Como siempre muy bien explicadas tus respuestas roman.

Estamos en contacto.