Manejar cien millones de registros

[Casimiro Noteví]

Empezado por darkerbyte

Y si se compra algun equipo portatil que sea lo suficientemente potente (tal vez un android con quadcore y una tarjeta de 32GB y utilizando Delphi XE5 y Firedac) ya solución no se ve tan imposible ¿Que opinan?

No tiene nada que ver.

[Casimiro Noteví]

Me explico:

Sería muy simple hacer un simple sql: "select campo1,campo2,campo3,campo4 from tabla where matricula=?"
Para ello sobra cualquier tablet o smartphone, por muy malo que sea, ya que el esfuerzo del servidor es mínimo y el ancho de banda de la red también es minúscula.

El problema es querer pasar la base de datos completa a cada terminal (tablet o smartphone), es lo mismo mil megas que ochocientos megas, es la misma burrada. No es la solución.
Otra cosa que puedes hacer es guardar en una tabla aparte cada cambio en la principal, ahí irían las altas, bajas, modificaciones. Y serían solamente esos registros los que se pasaran a los terminales. Comprimidos en un zip, mediante FTP, por ejemplo, quedarían en poco cosa.
Peeeeero.... si el problema es que hay mala cobertura para hacer lo primero, ¿acaso hay buena cobertura para actualizar la base de datos todos los días, de todos los terminales?

La solución es ampliar decentemente la cobertura de telefonía, nada más. Todo lo demás es una chapuza que no soluciona realmente el problema, solamente lo desvía, da rodeos para intentar solucionarlo, pero lo único que consigue es crear nuevos problemas.

[Casimiro Noteví]

Por cierto, me ha recordado la historia del sultán de algún lugar de África que visitó USA y quedó impresionado por la silla eléctrica para ejecutar a reos condenados a morir.
Encargó una silla eléctrica de esas para llevársela a su país, una vez allí, los técnicos la instalaron y se encontraron con un problema: olvidaron que en ese país todavía no tenían electricidad.

[balapro]

Hola, te voy a dar un punto de vista a nivel telecomunicación y no programación, que ocupa gran parte de tu proyecto.

Hoy en día se le complica mas a un programador que a los clientes / vendedores en tu caso que usen el sistema, lo cual por lógica siempre se tiene que buscar algo estable y funcional.

Si desarrollas un softwares, donde tengas esa cantidad de información y una cantidad X de personas, lo mas sencillo y fácil es desarrollar una aplicación web 100% ejecutada, con una buena optimización en los algoritmos de querys especialmente, donde seas puntual en la búsqueda y no tenga que consultar toda la tabla completa para traer la información, para así evitar sobrecargar el teléfono y realizar una operación mas rápida.

Imagínate estar actualizando a cada rato una base de datos en cada equipos, en 500 clientes, tenes un margen muy grande de que si el cliente, le funciona mal el equipo tanto sea telefono/notebook/netbook/table o de CPU de escritorio, la función estaría en optimizar.

Como te contaba te recomiendo trabajar todo a nivel web, ya que te tenes que preocupar solamente por el servidor y la estabilidad web, el resto, si el teléfono no funciona, la notebook/netbook/tables o equipo tiene un virus o no deja ejecutar algo, es problema del cliente no tuyo (un problemilla meno).

Cosas a tener cuenta, toda base de datos SQL y especialmente para poder optimizar una base de datos, no voy a dar 100% detalle técnicos para no hacer largo el post, pero para funcionar óptimamente tenes que tener en cuenta que gran parte de la funcionalidad te lo hace el mecanismo del disco, mas en tu caso, por mi experiencia, tengo servidores de juego en los cuales, la base de datos esta actualmente almacenando y leyendo pequeñas cantidad de bytes aproximadamente entre 8 a 16 bytes = 64 bits a 128 bits (el consumo de red), lo cual el softwares hace muchas consultas por segundos, y en cual me fueron eficaces los disco duros SAS 15K RPM.

La pregunta que muchos se harán.

Porque un disco SAS 15k RPM es mas rápido que un disco solido(SSD)???, cuando los disco sólidos son los mas rápido en transferir información.

Correctamente, los disco sólidos(SSD), transfieren a una taza increíbles, siempre cuando hablemos de archivos grandes, tiene la ventaja de poder transferir hasta 120 Mb/s de lecturar y 90 Mb/s de escritura en el, pero tiene una desventaja cuando se trata de escribir y leer archivos pequeños, su lentitud es increíble, demora hasta 3 veces mas que un disco duro SAS de 15k RPM, esto me ocasionaba un dolor de cabeza, ya que la mitad de las veces se me caían las aplicaciones porque no podían procesar bien la lectura y almacenamiento de información, Espero que en el futuro arreglen eso en los SSD, porque seria genial.

Unas de las ventajas del disco SAS.

Al fusionar el rendimiento y la fiabilidad de la interfaz serie con los entornos SCSI existentes, SAS aporta mayor libertad a las soluciones de almacenamiento sin perder la base tradicional sobre la que se construyó el almacenamiento para empresas, otorgando las siguientes características:
Acelera el rendimiento del almacenamiento en comparación con la tecnología SCSI paralela
Garantiza la integridad de los datos
Protege las inversiones en TI

Los discos duros cuentan con características que son comunes y que a continuación se detallan:

RPM SAS: Significa "Revolutions per Minute" ó vueltas por minuto. Este valor determina la velocidad a la que los discos internos giran cada minuto. Su unidad de medida es: revoluciones por minuto (RPM). Este dato puede ser 7,200 RPM, 10,000 RPM hasta 15,000 RPM.

- Ejemplo: Disco duro SAS tiene dentro de sus características lo siguiente: Marca HP®, 600 GB, 2.5 Inch, Hot Plug, 6G, SAS, 10K RPM*. * Este dato indica que el su eje de giro permite hasta 10,000 vueltas por minuto.

Pulgadas SAS: se refiere al formato de tamaño de la unidad, esta puede ser de 3.5" (LFF) ó de 2.5" (SFF).

- Ejemplo: Disco duro SAS tiene dentro de sus características lo siguiente: Marca HP®, 600 GB, SFF 2.5 Inch*, Hot Plug, 6G, SAS, 10K RPM. * Este dato indica que el tamaño de disco es de 2.5 pulgadas (2.5")

Capacidades de almacenamiento SAS: Es el total de Bytes ó símbolos que es capaz de almacenar un disco duro. Su unidad de medida es el Byte, pero actualmente se utilizan medidas como el GigaByte (GB) y el TeraByte (TB). Para discos duros SAS este dato puede estar entre 72 GigaBytes (GB) hasta 2 TeraBytes (TB).

- Ejemplo: Un disco duro SAS tiene dentro de sus características lo siguiente: Marca HP®, 600 GB*, SFF 2.5 Inch, Hot Plug, 6G, SAS, 10K RPM. * Este dato indica puede almacenar hasta 18 GigaBytes de datos.

Usos específicos del disco duro SAS
1.- Se utilizan principalmente para el almacenamiento de los sistemas operativos de red (Microsoft Server 2009, plataforma Linux Apache) y para servidores de grandes empresas.

2.- También un uso muy frecuente es el de guardar la información de usuarios en grandes empresas, en el ambiente doméstico no se utilizan.

Y obviamente..... acompáñalo por un buen servidor Intel XEON(Dedicado DELL o HP), si es por seguridad y backups algún RAID de tu gusto como RAID-1 RAID-10, etc.

Comunicación del servidor con el cliente.

Ahora, ya que logramos comprendes las estabilidad y funcionalidad de la bases de datos, ya que tu programa va a ser transferido vía internet, necesitas saber tu posición geográfica, saber el consumo y gran parte el tracert(ruta donde viaja la información), para poder elegir un servidor estable y sin delay, revisar bien el peering de la conexión) no es lo mismo que tu información valla a EEUU con un Ping de 150 ms, pasando por 5 nodos centrales, a que lo tengas locamente con 25/40 ms y pasando por 1 a 2 nodos de tu país.

El cliente, con simplemente Internet, sea tanto GPRS/3G/4G, no debería tener ningún tipo de problema, ya que aclaraste que tenes problema con esto, diste a entender que los sistema de telefonía son inestable, pero si optimizas que sea pequeño el consumo del Internet al realizar la operación, esto te puede ayudar mucho.

Bueno, este fue mi opinión a conocimiento previos y experiencias sucedidas.

Saludos

[Casimiro Noteví]

Empezado por balapro

...

Bienvenido a clubdelphi, ¿ya leiste nuestra guía de estilo?, gracias por tu colaboración

[balapro]

No, a leer se ha dicho.

Gracias.

[roman]

Empezado por Casimiro Notevi

El problema es querer pasar la base de datos completa a cada terminal (tablet o smartphone), es lo mismo mil megas que ochocientos megas, es la misma burrada. No es la solución.
Otra cosa que puedes hacer es guardar en una tabla aparte cada cambio en la principal, ahí irían las altas, bajas, modificaciones. Y serían solamente esos registros los que se pasaran a los terminales. Comprimidos en un zip, mediante FTP, por ejemplo, quedarían en poco cosa.
Peeeeero.... si el problema es que hay mala cobertura para hacer lo primero, ¿acaso hay buena cobertura para actualizar la base de datos todos los días, de todos los terminales?

La solución es ampliar decentemente la cobertura de telefonía, nada más. Todo lo demás es una chapuza que no soluciona realmente el problema, solamente lo desvía, da rodeos para intentar solucionarlo, pero lo único que consigue es crear nuevos problemas.

En mi opinión están satanizando en forma algo desmedida. Ya se explicó con claridad cuál es la limitación y a mi me suena bastante razonable: no hay cobertura en el camino y extenderla, no depende, desde luego, de ellos. Por las mañanas, en la central, sí hay cobertura y se carga la base o las actualizaciones.

Vamos, que para el problema planteado no me parece descabellada la solución.

Por otra parte, no sé cómo funciona el Delphi para programación de móviles pero, ¿no se supone que los ClientDataSets cubrían precisamente estas necesidades de trabajar sin conexión y actualizarse a demanda? ¿No hay algo similar para móviles?

// Saludos

[Casimiro Noteví]

Bueno, si lo actualizan en la central, copiando la BD en cada terminal, entonces no hay nada que hablar, ni cobertura, ni actualizaciones, ni nada de nada.

[roman]

¿Por qué no actualizaciones? Me parece que lo que plantea juanelo es adecuado. Digo, si se pueden evitar copiar toda la base cada día pues es un buen ahorro.

// Saludos

[Casimiro Noteví]

Empezado por roman

¿Por qué no actualizaciones? Me parece que lo que plantea juanelo es adecuado. Digo, si se pueden evitar copiar toda la base cada día pues es un buen ahorro.
// Saludos

Porque no tienen cobertura, creo haber entendido que ese es el problema.