FTP | CCD | Buscar | Trucos | Trabajo | Foros |
|
Registrarse | FAQ | Miembros | Calendario | Guía de estilo | Temas de Hoy |
|
Herramientas | Buscar en Tema | Desplegado |
|
#1
|
|||
|
|||
Yo edito la base de datos con SQL Manager Lite, por favor si penáis que ibExpert es mejor, me lo decís.
No obstante, no sé si el IDE que utilizo para editar la estructura de la base de datos, puede resolver mi problema. Casimiro es cierto que he facilitado poca información, pero en mi humilde opinión eso no afecta a mi consulta inicial. ¿Hay alguna forma con la que pueda insertar sin tener que cerrar y hacer una consulta? Contenido de mi primer post:
|
#2
|
||||
|
||||
Pero si has dicho que estás importando desde un fichero CSV, ¿entonces para qué sirve ese "select de alguna tabla"?
|
#3
|
|||
|
|||
A ver si soy capaz de explicarme:
1 - tengo información un archivo CSV. 2 - Esta información está en formato no compatible con el motor, por ejemplo: la fecha viene "2010.10.15,23.40" = 15/10/2010 23:40:0. Esto me obliga a leer el archivo SCV desde mi aplicación Delphi, hacer conversiones, cálculos (aritméticos, trigonométricos, etc. 3 - El resultado de estas conversiones y cálculos es lo que debo guardar en la base de datos. Si ejecuto la aplicación realizando todo el trabajo: Lectura de CSV, conversiones y cálculos, el trabajo termina en 20 minutos. El problema es que si además intento guardar la información en la base de datos, el proceso puede tardar más de un año (cálculo aproximado empíricamente en función del tiempo que utilizo para tratar 1/100000 partes del fichero CSV. No sé si hay alguna manera de hacerlo más rápido, porque si tarda un año, cuando acabe ya no sirve la información. |
#4
|
|||
|
|||
Trabajo con ADOConection y ADOQuery
|
#5
|
||||
|
||||
¿ADO para firebird? olvida eso.
Utiliza los componentes de la paleta Interbase: IBdatabase, ibTransaction, dataset, query, etc. O sea, IBX, puede ser el propio de delphi o los libres. ¡Ves cómo si necesitamos información! |
#6
|
||||
|
||||
Bien, vamos por partes, dices que leer el .csv procesarlo y demás tarda 20 minutos, ok. ¿Y dónde/en qué/cómo/ están esos datos ya procesados para guardarlos en la BD?
|
#7
|
|||
|
|||
Mi aplicación guarda los datos ya procesados en un registro:
Entonces es cuando necesito insertar estos datos en una tabla de Firebird configurada igual que mi registro Delpfi. Yo siempre he trabajado con ADO (no sé si es la mejor opción) hasta ahora he tenido suficiente, pero nunca había tenido la necesidad de insertar tantos registros seguidos. |
#8
|
||||
|
||||
Vamos progresando
¿Entonces tienes 500 GB en memoria RAM? ¿cuánta RAM tiene ese equipo? ¿De cuántos registros estamos hablando? Para que te hagas una idea de la diferencia de velocidad con diferentes componentes, esto ya es muy antiguo y es orientativo, se realizaron una serie de test de insersión, búsqueda, etc. y el resultado fue este: |
#9
|
|||
|
|||
Memoria RAM = 16 GB
Windows 10 SO 64bits Disco SSD 1TB Pero no almaceno los registros en mi aplicació, ya que una vez generados los guardo en la base de datos. |
#10
|
||||
|
||||
Cita:
Cita:
Y precisamente, tu pregunta: Cita:
No se entiende ese código si estás importando un fichero de texto. Perdón si parezco algo brusco, es sólo mi forma de "hablar" |
|
|
Temas Similares | ||||
Tema | Autor | Foro | Respuestas | Último mensaje |
Insercion masiva desde Paradox a Firebird | MartinS | SQL | 5 | 22-12-2011 14:55:10 |
insercion masiva | Alfredo | Firebird e Interbase | 3 | 12-11-2008 20:34:46 |
Insercion masiva de una BD a otra BD | oscjae | Firebird e Interbase | 5 | 15-12-2006 20:25:49 |
Insercion masiva de registros MUY LENTA | Balda | Firebird e Interbase | 10 | 24-03-2004 21:40:21 |
Inserción masiva en MySQL | Morfo | MySQL | 3 | 09-01-2004 18:05:33 |
|