Ingresar 2.789.636 registro en una tabla de forma eficiente

[Chaja]

El CDS, lo puse para que el user vea como se carga... no se... y el memo lo puse para que se vea el archivo a cargar.
si el sleep() lo puedo sacar, aunque es un milisegundo ....mmmm....si pero si saco bien la cuenta son como 45 minutos no?

[olbeup]

Por que no muestras de 1..10 registros de esos 2.789.636 que tienes para ver otra forma de ayudarte.
El motor que usas es Interbase 7.5 el mio es SQL SERVER 2005, en ocasiones tengo que incorporar un fichero de texto más o menos parecido al tuyo, sólo que éste es de combustible y lleva 7 campos que tengo que extraer, hay fichero que tienen 2095 registro y sólo dura en leerlo 1 segundo, en tu caso (2.789.636 / 2095) = (1.331,5685 / 60) = 22,224 Seg. NO 10..36 Horas.

En SQL SERVER se crean dos ficheros que se llaman schema.ini y dgi.txt en tu caso.

Estructuras del fichero schema.ini

[dgi.txt]
ColNameHeader=True
Format=Delimited(,)
CharacterSet=ANSI
Col1=Fecha Date
Col2=Vigencia Date
Col3=Cuit Char 11
Col4=Tasa_Percepcion Double
Col5=Tasa_Retencion Double
Col6=Vencimiento Date

Líneas del fichero dgi.txt

Fecha, Vigencia, Cuit, Tasa_percepcion, Tasa_retencion, Vencimiento
........, ..........., ....., ......................, ....................., ...............
........, ..........., ....., ......................, ....................., ...............
........, ..........., ....., ......................, ....................., ...............

Mira si puedes hacer algo parecido para Interbase

Un saludo

[Casimiro Notevi]

Empezado por Chaja

El CDS, lo puse para que el user vea como se carga... no se... y el memo lo puse para que se vea el archivo a cargar.
si el sleep() lo puedo sacar, aunque es un milisegundo ....mmmm....si pero si saco bien la cuenta son como 45 minutos no?

En un proceso de ese tipo, el estar mostrando información al usuario es perder tiempo. En todo caso una barra de progreso, no más.
Quita todo lo que no sirva, la carga en el CDS la quitas también, el sleep no es un milisegundo realmente, además de que no sirve para nada.
Resumiendo, lo más simple y eficaz.

[[fjcg02]]

Además de eso, una sola instrucción insert parametrizada, para que la bbdd sólo la precompile una vez.


Saludos

[Casimiro Notevi]

Empezado por fjcg02

Además de eso, una sola instrucción insert parametrizada, para que la bbdd sólo la precompile una vez.
Saludos

También, esa llamada al 'stored procedure' no tiene pinta de ser muy efectiva.
Creo que sería mejor un ibsql/fibsql/etc. precompilada (.prepare).

[ecfisa]

Hola.

Otra cosa que puede ayudar:

Código Delphi [-]
  if posicion mod 100 = 0 then
     CDSTasas.MergeChangeLog;

Saludos.

Edito: Una consulta, ¿ Las líneas tienen una longitud fija de caracteres ?

[Chaja]

si la estructura del txt, es de tamaño fijo cada linea.
Voy a probar , sacare el Sp. y pondre un TSQLQUery, creia que era mas eficiente hacerlo con el storeProcedure, lo que no enentedi lo tuyo olbeup

Por que no muestras de 1..10 registros de esos 2.789.636 que tienes para ver otra forma de ayudarte.
El motor que usas es Interbase 7.5 el mio es SQL SERVER 2005, en ocasiones tengo que incorporar un fichero de texto más o menos parecido al tuyo, sólo que éste es de combustible y lleva 7 .....

pruebo y aviso....

[Casimiro Notevi]

Empezado por Chaja

Voy a probar , sacare el Sp. y pondre un TSQLQUery, creia que era mas eficiente hacerlo con el storeProcedure, lo que no enentedi lo tuyo olbeup

En principio déjalo, haz pruebas y ya decides si usar uno u otro.