Inserción masiva en Firebird

[mamcx]

Empezado por ElDuc

¿Alguien sabe cómo puedo mejorar la velocidad?

Gracias.

Si las tablas están en la misma BD es mucho mas eficiente un INSERT..SELECT:

Código SQL [-]
INSERT INTO MyTable (ID, DESCRIPCION, ...)
SELECT (ID, DESCRIPCION, ...) FROM origen

[ElDuc]

Gracias por la respuesta, pero se trata de insertar datos que están en un archivo externo y debo procesar antes de su inserción.

[[fjcg02]]

Hola,

en qué formato están los datos a importar?

Cuántos datos son?

Saludos

[ElDuc]

Los archivos fuente están en formato CSV, pero esa información (comprimida) no la puedo pasar directamente a Firebird, yo cojo los datos fuente, los proceso y el resultado es el que pasa a Firebird.

Las fuentes 1,4 GB, pero el resultado de mi proceso generan sobre 500GB.

[Casimiro Noteví]

Desactiva trigers, índices y demás antes de iniciar y lo vuelves a activar cuando terminas.

[ElDuc]

Gracias, ya está así.

No sé si otro motor me puede permitir hacer inserciones si tener que cerrar y abrir con una consulta cada inserción.

[Casimiro Noteví]

Empezado por ElDuc

Gracias, ya está así.
No sé si otro motor me puede permitir hacer inserciones si tener que cerrar y abrir con una consulta cada inserción.

¿Cerrar y abrir consulta cada inserción? ¿A qué te refieres?

De todas formas, hay muchas cosas a tener en cuenta de las que no has dado ninguna información.
Aparte de que si son 500 GB, ¿eso lo importas una vez o acaso es algo que haces cada día?

Ninguna BD va a ser rápida importando 500 GB de datos, y menos todavía leyéndolo de un fichero de texto CSV.
Luego las consultas sí son rápidas, no influye el tamaño de la BD... si está bien diseñada.

Y aparte no sabemos qué equipo está ejecutando esa BD, qué sistema operativo, qué configuración, cuánta memoria tiene, cómo tienes configurado los caché, directorios temporales, si los discos son rápidos, si hay mucha gente conectada, de qué tamaño son los discos, etc. etc. etc.

Por no saber, no sabemos ni qué componentes usas, ni cómo están configurados, ni... nada de nada.