FTP | CCD | Buscar | Trucos | Trabajo | Foros |
|
Registrarse | FAQ | Miembros | Calendario | Guía de estilo | Temas de Hoy |
|
Herramientas | Buscar en Tema | Desplegado |
|
#1
|
||||
|
||||
Hola,
en qué formato están los datos a importar? Cuántos datos son? Saludos
__________________
Cuando los grillos cantan, es que es de noche - viejo proverbio chino - |
#2
|
|||
|
|||
Los archivos fuente están en formato CSV, pero esa información (comprimida) no la puedo pasar directamente a Firebird, yo cojo los datos fuente, los proceso y el resultado es el que pasa a Firebird.
Las fuentes 1,4 GB, pero el resultado de mi proceso generan sobre 500GB. |
#3
|
||||
|
||||
Desactiva trigers, índices y demás antes de iniciar y lo vuelves a activar cuando terminas.
|
#4
|
|||
|
|||
Gracias, ya está así.
No sé si otro motor me puede permitir hacer inserciones si tener que cerrar y abrir con una consulta cada inserción. |
#5
|
||||
|
||||
Cita:
De todas formas, hay muchas cosas a tener en cuenta de las que no has dado ninguna información. Aparte de que si son 500 GB, ¿eso lo importas una vez o acaso es algo que haces cada día? Ninguna BD va a ser rápida importando 500 GB de datos, y menos todavía leyéndolo de un fichero de texto CSV. Luego las consultas sí son rápidas, no influye el tamaño de la BD... si está bien diseñada. Y aparte no sabemos qué equipo está ejecutando esa BD, qué sistema operativo, qué configuración, cuánta memoria tiene, cómo tienes configurado los caché, directorios temporales, si los discos son rápidos, si hay mucha gente conectada, de qué tamaño son los discos, etc. etc. etc. Por no saber, no sabemos ni qué componentes usas, ni cómo están configurados, ni... nada de nada. |
#6
|
||||
|
||||
Lee esta documentación... habla de 100.000 registros y de que va rápido.
https://www.ibexpert.net/ibe/pmwiki....1s%20elementos Seguramente tienes que hacer un análisis más profundo, hacer la carga por la noche para no impactar en el rendimiento, ... no sé, hay varias medidas que puedes tomar, pero dependerán de la situación. Tampoco sabemos cada cuánto tiempo tienes que importar ese volumen de datos. O si de ese volumen todos los datos se insertan o algunos se insertan y otros se actualizan. Por de pronto veo que haces Query1.Insert. Así poco vas a poder correr. Todo apunta a que tengas que hacer INSERTs a tutiplén directamente. Tengo un proceso mensual que carga casi 100.000 registros de una bbdd a otra ( no son firebird ) y tarda 3 minutos y medio. La BBDD ni está optimizada ni nada, tampoco el proceso, no me he roto mucho la cabeza. Se lanzan tantas INSERT como registros. "Actualizados 96449 registros mediante 96449 instrucciones." Mira a ver y sigue informando. Saludos
__________________
Cuando los grillos cantan, es que es de noche - viejo proverbio chino - |
#7
|
|||
|
|||
Si utilizas Firedac, mírate esta opción para inserción masiva: https://docwiki.embarcadero.com/Code...y.Batch_Sample
|
#8
|
|||
|
|||
Yo edito la base de datos con SQL Manager Lite, por favor si penáis que ibExpert es mejor, me lo decís.
No obstante, no sé si el IDE que utilizo para editar la estructura de la base de datos, puede resolver mi problema. Casimiro es cierto que he facilitado poca información, pero en mi humilde opinión eso no afecta a mi consulta inicial. ¿Hay alguna forma con la que pueda insertar sin tener que cerrar y hacer una consulta? Contenido de mi primer post:
|
|
|
Temas Similares | ||||
Tema | Autor | Foro | Respuestas | Último mensaje |
Insercion masiva desde Paradox a Firebird | MartinS | SQL | 5 | 22-12-2011 14:55:10 |
insercion masiva | Alfredo | Firebird e Interbase | 3 | 12-11-2008 20:34:46 |
Insercion masiva de una BD a otra BD | oscjae | Firebird e Interbase | 5 | 15-12-2006 20:25:49 |
Insercion masiva de registros MUY LENTA | Balda | Firebird e Interbase | 10 | 24-03-2004 21:40:21 |
Inserción masiva en MySQL | Morfo | MySQL | 3 | 09-01-2004 18:05:33 |
|