Ingresar 2.789.636 registro en una tabla de forma eficiente

[jlrbotella]

1) Para leer un fichero tan grande no uses el componente tmemo. Puedes usar:

var f : TextFile;      
lineaactual : string; 
begin   
      AssignFile('c:\test.txt', f);   
      try     
           Append(f);     
           while not Eof do begin       
               Readln(f, lineaactual);  //creo que es así, busca en la ayuda de Delphi para asegurarte       
               //aqui haces lo que quieras con lineaactual     
          end;   
     finally     
          Closefile(f);   
     end; 
end;

2º He visto un sleep(1). Tienes que eliminarlo.

[Casimiro Notevi]

Empezado por jlrbotella

1) Para leer un fichero tan grande no uses el componente tmemo. Puedes usar:

var f : TextFile;      
lineaactual : string; 
begin   
      AssignFile('c:\test.txt', f);   
      try     
           Append(f);     
           while not Eof do begin       
               Readln(f, lineaactual);  //creo que es así, busca en la ayuda de Delphi para asegurarte       
               //aqui haces lo que quieras con lineaactual     
          end;   
     finally     
          Closefile(f);   
     end; 
end;

2º He visto un sleep(1). Tienes que eliminarlo.

Me parece perfecto.
Además también quitaría el application.processmessages o que solamente lo hiciera cada ¿1000? registros.

Código Delphi [-]
if contador mod 100 then application.processmessages

Otra cosa, me ha parecido que lees a un clientdataset y luego sus valores lo pasas como parámetros a un stored procedure, ¿por qué no lo haces directamente?

[Chaja]

El CDS, lo puse para que el user vea como se carga... no se... y el memo lo puse para que se vea el archivo a cargar.
si el sleep() lo puedo sacar, aunque es un milisegundo ....mmmm....si pero si saco bien la cuenta son como 45 minutos no?

[olbeup]

Por que no muestras de 1..10 registros de esos 2.789.636 que tienes para ver otra forma de ayudarte.
El motor que usas es Interbase 7.5 el mio es SQL SERVER 2005, en ocasiones tengo que incorporar un fichero de texto más o menos parecido al tuyo, sólo que éste es de combustible y lleva 7 campos que tengo que extraer, hay fichero que tienen 2095 registro y sólo dura en leerlo 1 segundo, en tu caso (2.789.636 / 2095) = (1.331,5685 / 60) = 22,224 Seg. NO 10..36 Horas.

En SQL SERVER se crean dos ficheros que se llaman schema.ini y dgi.txt en tu caso.

Estructuras del fichero schema.ini

[dgi.txt]
ColNameHeader=True
Format=Delimited(,)
CharacterSet=ANSI
Col1=Fecha Date
Col2=Vigencia Date
Col3=Cuit Char 11
Col4=Tasa_Percepcion Double
Col5=Tasa_Retencion Double
Col6=Vencimiento Date

Líneas del fichero dgi.txt

Fecha, Vigencia, Cuit, Tasa_percepcion, Tasa_retencion, Vencimiento
........, ..........., ....., ......................, ....................., ...............
........, ..........., ....., ......................, ....................., ...............
........, ..........., ....., ......................, ....................., ...............

Mira si puedes hacer algo parecido para Interbase

Un saludo

[Casimiro Notevi]

Empezado por Chaja

El CDS, lo puse para que el user vea como se carga... no se... y el memo lo puse para que se vea el archivo a cargar.
si el sleep() lo puedo sacar, aunque es un milisegundo ....mmmm....si pero si saco bien la cuenta son como 45 minutos no?

En un proceso de ese tipo, el estar mostrando información al usuario es perder tiempo. En todo caso una barra de progreso, no más.
Quita todo lo que no sirva, la carga en el CDS la quitas también, el sleep no es un milisegundo realmente, además de que no sirve para nada.
Resumiendo, lo más simple y eficaz.

[[fjcg02]]

Además de eso, una sola instrucción insert parametrizada, para que la bbdd sólo la precompile una vez.


Saludos

[Casimiro Notevi]

Empezado por fjcg02

Además de eso, una sola instrucción insert parametrizada, para que la bbdd sólo la precompile una vez.
Saludos

También, esa llamada al 'stored procedure' no tiene pinta de ser muy efectiva.
Creo que sería mejor un ibsql/fibsql/etc. precompilada (.prepare).

[ecfisa]

Hola.

Otra cosa que puede ayudar:

Código Delphi [-]
  if posicion mod 100 = 0 then
     CDSTasas.MergeChangeLog;

Saludos.

Edito: Una consulta, ¿ Las líneas tienen una longitud fija de caracteres ?