Necesito una BD para manipular mas de cien millones de registros

[vcastro]

Buenas tardes, amigos quiero consultarle que base de datos puedo utilizar para manipular mas de cien millones de registros, tengo datawarehouse con Monetdb esta es orientada a columnas, la información que ingreso mensual es de 1.5 millones en una de las BD, tengo la tabla de hecho y 6 dimensiones aqui tengo actualmente ciento diez millones, en la otra BD tengo 90 millones estoy utilizando PENTAHO como BI y los usuarios que los utilizan me dicen que aveces se tarde mucho, aquí no hacen operaciones solo crean sus propios reportes según la necesidad, pero a futuro tenemos que utilizar DataMining (minería de datos), las DB las tengo en servidores diferentes porque si las dejo en un solo servidor se hace bien lento con los reportes. Recurro a ustedes para que me orienten o recomienden que puedo hacer.

Saludos y gracias

[TiammatMX]

Empezado por vcastro

...Recurro a ustedes para que me orienten o recomienden que puedo hacer...

DB2, Oracle, TAL VEZ (si no fuese tan quisquilloso) MS SQL Server..., o si deseas probar Firebird, sería un buen punto de comparación.

[Casimiro Notevi]

Empezado por vcastro

Buenas tardes,

Deberías dar datos más precisos.

[vcastro]

tengo un BI en pentaho, la información que manjeamos es sobre el consumo eléctrico a nivel nacional, en la otra bd tengo información de subsidios siempre del sector eléctrico, los reportes que se generan es sobre los consumos de energía ya sea en el sector privado, gobierno, usuarios finales, etc para hacer comparativas y generar políticas de ahorro o meter nuevas tecnologías de eficiencia energética, no tenemos presupuesto para comprar oracle por eso estamos probando con bd free y monetdb ha sido la que mejor rendimiento nos habia dado hace 4 años, pero ahora por la cantidad de registros y lo nuevo que se quiere implementar estamos viendo si cambiamos. tengo información desde el 2009 a la fecha y sigue incrementando.
hicimos una comparación con las base de datos sqlserver y monetdb y en rendimiento gana monetdb ya el query lo hizo en 4 seg, lo compramos con oracle e igual sigue mejor monet.

[Casimiro Notevi]

Bien, aunque me refería a datos técnicos: la base de datos (aproximadamente) cuántas tablas tiene, cuántos campos, número de registros, etc. La forma de uso, cuántas conexiones (terminales) tiene, etc. Qué sistema informático hace de servidor, sistema operativo, etc. Qué otros datos relevantes creas que pueda sernos de utilidad para formular un consejo, etc.

[mamcx]

Empezado por vcastro

... Monetdb esta es orientada a columnas


...los usuarios que los utilizan me dicen que aveces se tarde mucho...

Saludos y gracias

Una base de datos con storage en columnas es la opción mas eficiente para un datawarehouse. Suponiendo que monetdb es una BD decente, moverla a otra que no sea columnar sera una regresión.


"Los usuarios dicen..." empecemos por esto. Que REALMENTE ES LENTO (se especifico). CUANTO es lento ( y CUANTO es rapido. Se concreto). PORQUE es lento (lo mas importante).

Sin estos datos, lo unico que se puede hacer es adivinar como idiotas.

De todas maneras pasado cierto punto en cualquier sistema, las cosas dejan de ser triviales y las soluciones dejan de ser "USAR X" y mas bien son "PONER A GENTE EXPERTA A PENSAR", lo que significa que una vez se agota el recursos de "PONGAMOS TANTA RAM/SSD" lo unico que queda es pagar a gente experta en el tema, o convertirse en el experto, porque pasados ciertos puntos, ya no hay soluciones simples.

[Casimiro Notevi]

Empezado por mamcx

"PONER A GENTE EXPERTA A PENSAR", lo que significa que una vez se agota el recursos de "PONGAMOS TANTA RAM/SSD" lo unico que queda es pagar a gente experta en el tema, o convertirse en el experto, porque pasados ciertos puntos, ya no hay soluciones simples.

[[nlsgarcia]]

vcastro,

¡Bienvenido al Club Delphi!

Te sugiero revisar la Guía de estilo de los foros, recomendada a todos los nuevos ingresos al Club Delphi.

Empezado por vcastro

...quiero consultarle que base de datos puedo utilizar para manipular mas de cien millones de registros, tengo datawarehouse...

Pregunto :

1- ¿Has considerado las opciones de entonación de monetdb?

2- ¿Los servidores e infraestructura de red de tu organización a nivel de hardware y software están al nivel de prestaciones requerido por monetdb para el manejo del volumen actual de data?

Te sugiero analizar a detalle los supuestos problemas de performance de tu instalación de datawarehouse y las diversas soluciones que no involucren un cambio de la BD, lo cual en el caso que comentas no es algo trivial.

Revisa esta información:

Teradata

Espero sea útil

Nelson.