Ingresar 2.789.636 registro en una tabla de forma eficiente
Hola:
Bueno , tengo el siguiente esquema. Uso como motoro de BD Interbase 7.5 y prog. en Delphi 2007. Uso como conector DbExpress, y comoponetes ClientDataSet. Aca en argentina, los contribuyente que son Inscripto en la DGI, en algunos casos deben retener un impuesto adicional puede ser percepcion o retencio. La cosa es que la Direccion de rentas saca en forma mensual un padron de todos los contribuyente empadronados , con las tasas que correspone al mes en curso. El archivo biene en TXT, separado por comas cuyas columnas son :Fecha, vigencia, cuit, tasa_percepcion,tasa_retencion,vencimiento y otro mas que no biene al caso. Bien yo lo lenanto despues de tener el archivo en la pc, con un ClientDataSet haciendo LoadFrom(). todo bien, y empiezo a procesarlo, llenando una y tabla con los mismo formatos de registro, (Fecha, vigencia, tasa,tasa..) amedida que voy leyendo disparo un sp en la base de datos y lo cargo. para saber como y por donde va hago una Application.processMesage, y voy mostradno en un label el numero de reg. pero mi inconveniente es que son 2.789.636 registros y tarda en cargar de 10horas y en lagunos casos 36 horas. la pregunat es, hay una forma mas eficiente de cargar tanta cantidad de reg en menos tiempo? Gracias Luis Roldan Mar del Plata Argentina |
Hola,
lo primero que te diría es que me ha dado un poco de angustia leer tu petición por la forma en que te expresas y por las faltas de ortografía que tiene, tengo que ir descifrando lo que quieres decir, supongo que no seré el único al que le pase esto, lo segundo es que no das ninguna información de como lo estás haciendo, podrías poner algo de código, te podría decir que yo lo haría con una consulta insert pero a lo mejor ya lo estás haciendo. Saludos. |
Hola eldioni, gracias por tu tiempo, te pido disculpa, soy medio atolondrado para escribir. te paso el codigo.
con esto leo el txt:
y con este hago el proceso de carga
gracias |
Pues sí, ha costado trabajo leerlo ;)
Resumiendo, dices que lees un fichero de texto y que tarda 10 horas y otras veces 36 horas. ¿Y? ;) Edito: se te ha enrevesado el código :D A ver si puedes arreglarlo, en caso contrario, envíalo a nuestro email y te lo copio y pego para que salga correctamente. |
ahi corregi el codigo que no se veia...
|
1) Para leer un fichero tan grande no uses el componente tmemo. Puedes usar:
Código:
var f : TextFile; |
Cita:
Además también quitaría el application.processmessages o que solamente lo hiciera cada ¿1000? registros.
Otra cosa, me ha parecido que lees a un clientdataset y luego sus valores lo pasas como parámetros a un stored procedure, ¿por qué no lo haces directamente? |
El CDS, lo puse para que el user vea como se carga... no se... y el memo lo puse para que se vea el archivo a cargar.
si el sleep() lo puedo sacar, aunque es un milisegundo ....mmmm....si pero si saco bien la cuenta son como 45 minutos no? |
Por que no muestras de 1..10 registros de esos 2.789.636 que tienes para ver otra forma de ayudarte.
El motor que usas es Interbase 7.5 el mio es SQL SERVER 2005, en ocasiones tengo que incorporar un fichero de texto más o menos parecido al tuyo, sólo que éste es de combustible y lleva 7 campos que tengo que extraer, hay fichero que tienen 2095 registro y sólo dura en leerlo 1 segundo, en tu caso (2.789.636 / 2095) = (1.331,5685 / 60) = 22,224 Seg. NO 10..36 Horas. En SQL SERVER se crean dos ficheros que se llaman schema.ini y dgi.txt en tu caso. Estructuras del fichero schema.ini Cita:
Cita:
Un saludo |
Cita:
Quita todo lo que no sirva, la carga en el CDS la quitas también, el sleep no es un milisegundo realmente, además de que no sirve para nada. Resumiendo, lo más simple y eficaz. |
Además de eso, una sola instrucción insert parametrizada, para que la bbdd sólo la precompile una vez.
Saludos |
Cita:
Creo que sería mejor un ibsql/fibsql/etc. precompilada (.prepare). |
Hola.
Otra cosa que puede ayudar:
Saludos. Edito: Una consulta, ¿ Las líneas tienen una longitud fija de caracteres ? |
si la estructura del txt, es de tamaño fijo cada linea.
Voy a probar , sacare el Sp. y pondre un TSQLQUery, creia que era mas eficiente hacerlo con el storeProcedure, lo que no enentedi lo tuyo olbeup Cita:
|
Cita:
|
Para el proyecto "(DELT@) Declaración Electrónica de Trabajadores Accidentados" en el que trabaje, se realizaba la carga de un XML desmesurado. Lo que se hizo fue cargar el fichero en una tabla temporal de Oracle en este caso (para que sea más pequeña la carga del fichero txt, lo puedes realizar en partes más pequeñas). La carga real de los datos se realizaba en un SP (procedimiento almacenado).
Como se ejecuta todo en el servidor y no tiene que viajar información por la red, el tiempo que ganas es mucho. un saludo. |
La franja horaria es GMT +2. Ahora son las 11:43:51. |
Powered by vBulletin® Version 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Traducción al castellano por el equipo de moderadores del Club Delphi