Manejar cien millones de registros

[mamcx]

Empezado por darkerbyte

Gracias amigo Mamcx. Has sido demasiado amable en hacer la prueba con los 100 millones de registros. Aunque el tamaño me pareció muy alejado de lo que calcule originalmente. Con que tipo de datos probaste? De hecho los datos serian:

Código SQL [-]placa : char(10) multas : tinyInt(1) robo : tinyInt(1) pagos : tinInt(1)

Mira un test (en python)

http://repl.it/Py1

De hecho mi tabla era:

Código SQL [-]
CREATE TABLE test
    (
        Id integer PRIMARY KEY AUTOINCREMENT,
        name TEXT,
        Value INTEGER
    );

Que es menos campos. Ten en cuenta que sqlite solo tiene 2 tipos de datos: INT/VARCHAR.

----

Tal vez es hora de pensar en algo diferente a una BD normal.

Me acorde de los bitarray:
http://stackoverflow.com/questions/1...rray-in-python

Usando un test rapido en python:

Código PHP:

>>> from bitarray import bitarray
>>> a = bitarray(1000*1000*1000)
>>> with open('somefile.bin', 'wb') as fh:
...     a.tofile(fh)
... 
>>> exit() 


El archivo queda pesando 125 MB. Esto es porque un BITMAP/BITARRAY almacena BITS, no BYTES.


Ahora, como carajos se usa eso? Un ejemplo completo (esto es usando REDIS, pero el concepto es general):

http://amix.dk/blog/post/19714
http://blog.getspool.com/2011/11/29/...redis-bitmaps/

[Casimiro Noteví]

[off topic]
Hubo una época en la que para ahorrar memoria los campos si/no (1/0) los manejábamos en bits, así que con un solo byte teníamos 8 campos.
Eso sí que era afinar y ahorrar
[/off topic]

[mamcx]

Que rayos, me pico la curiosidad como resolver esto, y creo que le pegue (NOTA advierto que para algoritmos raros no soy como seoane).

El truco es dejar de pensar en una BD relacional y usar mejor una BD LLave=Valor (NOSQL).

Al usar un BITARRAY, lo que se indica es que el BIT en la posicion X es 1 o 0. Ahora la trampa: Para indicar la posicion hasheo una cadena tipo "IDENTIFICADOR-CATEGORIA" en el caso de que sea True (porque si es falso es redundante setear la posicion!).

Asi que si para buscar el valor, se vuelve a hashear y se mira si en esa posicion esta True. Fin.

Código PHP:

# -*- coding: utf-8 -*-
import random
import string
import os

import mmh3
from bitarray import bitarray

#Las posiciones son hash int32. Crear un bitarray del max de INT32
db = bitarray(2147483647)


# Generar un hash int32. Esta sera la posicion en la BD
def asInt32(key, value):
    return mmh3.hash("%s-%s" % (key, value))


# Solo importa si hay problemas.
def saveRecord(key, tieneMulta, tienePago, tieneRobo):
    if tieneMulta:
        db[asInt32(key, 'M')] = True
    if tienePago:
        db[asInt32(key, 'P')] = True
    if tieneRobo:
        db[asInt32(key, 'R')] = True


def rand_string(size=10, chars=string.ascii_uppercase + string.digits):
    return ''.join(random.choice(chars) for _ in range(size))


# Boolean aleatorio
def ranB():
    return bool(random.getrandbits(1))


# Una fila de la BD aleatoria
def _buildDataRow():
    return dict(key=rand_string(), tieneMulta=ranB(), tienePago=ranB(), tieneRobo=ranB())


# Genera filas mediante un generador, sin cargar todo en memoria!...
def getData():
    count = 1
    for i in xrange(1, 1000 * 1000 * 10):
        count += 1

        if count >= (100 * 10000):
            count = 1
            print "%d records.." % i

        yield _buildDataRow()


if os.path.exists('somefile.bin'):
    print "Cargando archivo de datos.."
    with open('somefile.bin', 'wb') as fh:
        db.fromfile(fh)
else:
    # Llenar la BD de datos...
    print "Generando datos.."
    for row in getData():
        saveRecord(**row)
    print "Listo"


#Para encontrar el valor, solo necesito saber si en la posicion del  hash
#de la cadena esta en True
def find(key, value):
    return db[asInt32(key, value)]


# Una valor fijo pa probar
testRow = getData().next()

saveRecord(**testRow)


def searchForRow(row):
    print "Buscar un valor en la BD. Original:", row
    key = row['key']

    print "Tiene Pago?", find(key, 'P')
    print "Tiene Robo?", find(key, 'R')
    print "Tiene Multa?", find(key, 'M')

searchForRow(testRow)

#Guardemos el archivo
with open('somefile.bin', 'wb') as fh:
    db.tofile(fh) 


P.D: El archivo que esto genera es aprox 200 MB, dependiendo de cuantos valor TRUE se generen..

Junto a usar dropbox, esta el tema resuelto:

https://www.dropbox.com/developers

[darkerbyte]

Empezado por roman

En mi opinión están satanizando en forma algo desmedida. Ya se explicó con claridad cuál es la limitación y a mi me suena bastante razonable: no hay cobertura en el camino y extenderla, no depende, desde luego, de ellos. Por las mañanas, en la central, sí hay cobertura y se carga la base o las actualizaciones.

Roman has entendido perfectametne la situación. Los policias/oficiales o como le llamen en vuestro país tienen una oficina base donde ellos se reportan cada día. En estas oficinas si tenemos internet de banda ancha (unos 10mbps). Una vez que ellos sincronicen sus dispositivos, ellos podran salir a carretera donde no hay cobertura telefónica y por lo mismo no hay internet.

Bueno gracias al amigo mamcx ahora hay dos posibilidades para resolver el problema.

Idea #1: Cuando se compren todos los equipos cargarlos con la base de datos inicial. De ahi en lo sucesivo cada día solo ir actualizando los registros que cambiaron en la base de datos. Algo así como hacen los antivirus los cuales solo descargan y aplican las actualizaciones necesarias para las nuevas vacunas y no descargan todo el diccionario.

Claro que para esto se diseñara un sistema que este trabajando en el servidor que genere cada día las actualizaciones. Para el armado del servidor voy a solicitar tus consejos amigo balapro

Idea #2: Mamcx nos ha sugerido la idea de usar bitmaps. Aunque entiendo muy poco de eso Si me quedan claro tres cosas:

1. La base de datos reduce enormemente su tamaño, y segun las pruebas de el amigo Mamcx, a unos 200mb. Que descargandolos a una velocidad de 450kbs (en una red de 5mpbs) tardaria unos 8 minutos. Suena bastante accesible. Considerando que nuestra velocidad de banda ancha es de 10mpbs

2. Las busquedas son bastante rápidas (segun el ejemplo que nos dejo sobre REDIS y la comparación en 128 millones de usuarios)

3. Se necestaria descargar toda la base de datos para cada actualización.

La verdad es que nunca he trabajado en Phyton. ¿Phyton se puede utilizar para crear aplicaciones moviles?

Y la pregunta del millon. Ahora pensando en el servidor. ¿Que sera mas facil/rapido generar el archivo para python ó el script para actualizar la BD? Considerando que en el servidor si tendremos una BD relacional. Tal vez Oracle o algun otro monstruo.

[Casimiro Noteví]

[mamcx]

Empezado por darkerbyte

Idea #2: Mamcx nos ha sugerido la idea de usar bitmaps. Aunque entiendo muy poco de eso Si me quedan claro tres cosas:

Haz de cuenta que funciona igual que un Array, solo que unicamente acepta valores True/False:

Código Delphi [-]
datos[0]:=True;
datos[1]:=False;
datos[2]:=False;
datos[3]:=True;

Y que internamente se almacenas BITS, no BYTES, lo que hace que sea super compacto.

Lee bien los links, hay estan explicados y con graficas

Empezado por darkerbyte

3. Se necestaria descargar toda la base de datos para cada actualización.

No. Como vez en el script, es posible cargar el archivo, asignar datos y volverlo a salvar. Osea que se puede hacer los mismo que con una BD: Preguntar por los cambios desde la version X o desde la fecha X, actualizar el BITMAP y salvarlo.

Sin embargo, es posible ademas reutilizar un servicio como dropbox (que tiene SDK para usarse como libreria interna en mobiles y funciona identico), asi que si haces el archivo en el servidor, lo pones en dropbox, este lo sincronizaria entre las maquinas.

Esa es otra opcion. Probablemente para evitar lios de corrupcion, hay que chequear el SDK para recibir la notificacion de cuando termina el proceso, y mover el archivo a una ubicacion fija cuando termine

Empezado por darkerbyte

La verdad es que nunca he trabajado en Phyton. ¿Phyton se puede utilizar para crear aplicaciones moviles?

Si: http://kivy.org

Pero si vas a hacer una app por la que te pagan, es mejor usar malo conocido

(Python es muy simple en general, pero en cuanto a mobiles, son pocas las opciones maduras: El lenguaje nativo de cada plataforma es la opcion #1, luego siguen MONO, C/C++ plus Lenguaje nativo, ciertas herramientas con Lua, Delphi, etc.)

Empezado por darkerbyte

Y la pregunta del millon. Ahora pensando en el servidor. ¿Que sera mas facil/rapido generar el archivo para python ó el script para actualizar la BD? Considerando que en el servidor si tendremos una BD relacional. Tal vez Oracle o algun otro monstruo.

Usa una BD relacional. El monstruo que quieres se llama Postgres.

No solo tiene los comandos necesarios para manipular bits:

http://www.postgresql.org/docs/9.3/s...bitstring.html

Se pueden programar los procedimientos/funciones en muchos lenguajes (como python!), y por ende, se puede usar el codigo que puse de base para guardar la info en un campo BITSTRING:

http://www.postgresql.org/docs/9.3/s...atype-bit.html

O un campo binario:

http://www.postgresql.org/docs/9.3/s...pe-binary.html

P.D: Mira tambien:

http://dba.stackexchange.com/questio...sql-bit-string

Generar de forma rapida en el servidor el archivo puede requerir algo de gimnasia. Estuve mirando generar los 100 millones y realmente lento de forma sequencial. Explotando que solo importaria los datos True se puede (quizas) reducir un poco pero al final la gracia es crear un codigo que sea multi-proceso * N-Cores * N-Threads, generar (digamos) de a millon de datos en archivos y concatenar los archivos en uno solo.

[darkerbyte]

Gracias amigo mamcx, eres un maestro! Voy a meterme a estudiar bien el asunto de los bitmap.

Bueno, hay muchas cosas que se decían que eran imposibles hasta que alguien inventó la solución. Por ejemplo, todos decian que era imposible Volar.
Creo que de este problema que para muchos esta descabellado e imposible de resolver, podemos inventar una solución

[Casimiro Noteví]

Empezado por darkerbyte

Tal vez Oracle o algun otro monstruo.

No, justo lo contrario, busca algo sencillo, simple, agil, pequeño y rápido. No tiene sentido instalar, mantener y pagar por un oracle para tener una tabla con 4 campos
No se necesita un gran servidor, ni tampoco potentes "clientes", lo que necesitas es un sistema sencillo y bien afinado.... y una buena internet

[ASAPLTDA]

[QUOTE
1. La base de datos reduce enormemente su tamaño,...
2.[/quote]

Segun entiendo el problema en la noche podrias generar un una tabla con solo los cambios la cual seria descargada por todos los usuarios, para asi no no tener que generar una tabla de cambios para cada uno de los usuarios, ya que es comun a todos aquellos.

Podrias tener un log de cambios para cada fecha, ya que pasaria si un usuario no puede descargar los cambios en un par de dias

[[gatosoft]]

Hola darkerbyte,

Pensar en tener bases offline, que se sincornicen y que recidan en un dispositivo movil, no suena muy natural. suena forzado.

Y creo que de tanto enofcarse en la solución propuesta, podrías estar perdiendo de vista el problema general. El problema evidente aqui es la comunicación y deberías revisar soluciones enfocadas en ésta dirección. Aunque supongo que tu y tu patrocinador ya buscaron alternativas en éste sentido, quiero mencionarlo por si acaso:

¿El problema de cobertura en comunicación vía celular/movil se limita solo a datos?, tienes disponible SMS, o Voz Digital? En el caso de voz digital podrias porbar un sistema de audio respuesta (IVR), pos SMS hay alternativas de comunicación masiva (cuyos costos debe asumir tu sponsor).

Existe una opcion un poco mas "sofisticada" y es utilizar la transmisión de datos por radiofrecuencia No conozco bien, pero pueden hacerse adaptaciones a los dispositivos para que emitan y reciban la información transformando analogico a digital.

Han pensado en servicio de internet satelital? (Red BGAN ==> Broadband Global Area Network). Tiene como complicación que el "modem" es del tamaño de una laptop, lo cual sería irónico si lo que se queria era proporcionar una simple tablet.

No soy experto en nada de lo que propongo, solo intento mostrar que la solcuión puede estar en otro foco.

Un saludo,

[darkerbyte]

Claro que si amigo Gatosoft
Estamos buscando opciones de conectividad. Desafortunadamente por GSM/3G ninguna compaña telefonica tiene cobertua del 100% de carreteras. La mayoria de la cobertura solo es en autopistas y carreteras cercanas a la ciudad.

Estamos buscando otras opciones ya que contar con internet sería mucho mas facil que el desarollo de todo el sistema. Dado que aun no encontramos estamos considerando seriamente la opcion via software, por esto estamos estudiando la viabiliadad de este proyecto.

Un enorme agradecimiento a todos por su tiempo y consejos, en cuanto se defina algo los informaré