Procedimiento que lleva mucho tiempo y hace uso 100% de la cpu.

[Angel Fernández]

Hola a todos. Quisiera consultaros un problemilla que tengo.

Tengo una aplicación que recoge datos de un archivo de texto donde los datos están separados por puntos y comas (fichero .csv) y los guarda en una base de datos firebird.
Para ello utilizo un código que amablemente me ofreció Tocomi en este hilo (http://www.clubdelphi.com/foros/showthread.php?t=53508). Esto funciona perfectamente (gracias Tocomi).
El problema es que los archivos csv son inmensos (35000 líneas con 40 columnas) y el proceso (leer datos, convertir, comprobar, guardar etc.) lleva mucho tiempo y utiliza al 100% la cpu.
Para expresarme mejor, son 2 problemas juntos:
1. Lleva mucho tiempo.
2. Durante ese tiempo usa la cpu al 100%.

Si solvento el problema 2 poniendo un sleep(500) en cada línea para que respire la cpu, el problema 1 se me agudiza, llegando a tardar cerca de 30 minutos.
Si no pongo el sleep(xx), el tiempo baja considerablemente pero el consumo de cpu es, ya digo, del 100% todo el tiempo.

¿Qué es mejor? ¿Menos tiempo con uso de 100% de la cpu o mucho más tiempo con consumo de cpu del 20%? O, quizá una solución intermedia: ¿le pregunto al usuario qué prefiere y según su contestación pongo el sleep?

Un uso del 100% de la cpu lo hacen algunos programas de cálculo muy intenso, por ejemplo lame encoder cuando convierte de wav a mp3. Esto lo pongo como ejemplo que yo conozco.

Agradecería vuestros comentarios.

Saludos al foro.

[ixMike]

No te preocupes por el 100% de uso, es normal. No recuerdo la expliación exacta, pero es algo de que el sistema tiende a aprovechar los recursos al máximo para finalizar antes los procesos.

Pero ese 100% de uso podrás comprobar que no bloquea el PC para nada.

En cuestión de agilizar el proceso, será cuestión de echarle un vistazo al código a ver qué se puede optimizar.


Salu2 :)

Edito: he visto el código que te han dado, yo me pensaba que era todo, pero sólo es el que extrae los datos del .txt. ¿Nos puedes enseñar el código que utilizas para el proceso?

[Neeruu]

Hola como estas?

te comento que tenia el mismo problema pero con archivos de texto (txt) pero con muchas mas cantidad de lineas y el procedimiento era bastante pesado tambien...

Lo mejore cambiando algunas cosas que optimizaron de forma sorprendente!!

(Aclaro que lo hice sobre interbase)

Primero:
Interbase tiene una particularidad, que podemos crear una tabla a partir de un archivo enterno, por ejemplo el txt

Por supuesto que tiene que tener ciertas caracteristicas este archivo, pero ya no es lo mismo aplicarlo sobre el archivo de texto que sobre una tabla!!!

Segundo:
En las tablas que son afectadas por el procedimeinto creo indices! y en el procedimiento todas las relaciones y consultas las hago tratando de utilizar esos indices!

La caracteristicas que tiene que tener el archivo para que interbase te lo reconosca, te lo paso mañana...No estoy en casa ahora....

Espero que te sirva..

Atte Saluda Neeruu :)

[Angel Fernández]

Gracias por vuestras rápidas respuestas.

Neeruu, te tomo la palabra, si puedes, pásame las características que debe tener el archivo csv.

Un saludo.

[Neeruu]

hola aca pongo el codigo prometido

CREATE TABLE TABLAEXTERNA EXTERNAL 'C:\TABLAEXTERNA.TXT' (
CAMPO1 CHAR(4),
CAMPO2 CHAR(4),
CAMPO3 CHAR(4),
CR CHAR(2)
)

este archivo lo pones en la carpeta ext que esta adentro de la carpeta de intalacion de interbase!!!!


Otra cosa que estuve pensando es porque no te creas una tabla auxiliar con los campos de cvs y luego exportas los datos a esa tabla, y asi operas con esa tabla aux en ves de con el archivo plano...

P/D: Mira aca o busca como crear tablas externas
http://www.clubdelphi.com/foros/archive/index.php/t-20975.html
Atte Saluda Neeruu :)