Arrays de millones de datos

[elcigarra]

Empezado por Casimiro Notevi

Y una pregunta: ¿vas a necesitar en memoria "al mismo tiempo" esos 2 millones de números?.
Quizás te interese crear un array de punteros, como hacen las hojas de cálculo, que realmente sólo ocupan memoria las "celdas" rellenas, el resto no ocupa más que unos bytes.

La verdad no sé hacer lo que dices, pero sí estarán rellenos los 2 000 000 de números en algún momento. No son un número variable de lugares ocupados del array de entre 0 y 2 millones... son dos millones de números

[Ñuño Martínez]

Creo que deberías utilizar "bancos", por ejemplo de 1.000 elementos cada uno. En cada momento sólo tienes 10 bancos en memoria mientras que en disco estarán todos. Cuando necesitas un dato de un banco determinado primero compruebas si está cargado en memoria. De no estarlo, lo carga. Si no hay espacio para tener más bancos en memoria, comprueba qué banco es el más "viejo" o el que ha sido utilizado menos veces y lo liberas (guardándolo primero en disco si ha sido modificado) para dejar sitio al nuevo banco.

Esto no sólo hará que necesites menos memoria sino también que vaya más rápido a la hora de modificar la lista en disco, ya que dudo que vayas a modificar todos los 2,000.000 de elementos en una sola vez.

[[coso]]

Hola, puedes probar de generar un array dinamico y luego darle el tamaño conveniente :

Código Delphi [-]
var
        i : integer;
        num : array of double;
begin
        setlength(num,2000000);
        for i := 0 to length(num) - 1 do
        begin
        Label1.Caption := inttostr(i);
        num[i] := random(100000);
        Application.ProcessMessages;
        end;
end;

ten en cuenta por eso que 2000000 de doubles es mucha memoria. Es mas que probable que muchas veces no la encuentre.

[[Lepe]]

Un double son 8 bytes de memoria, 2.000.000 de doubles son 15 MB de memoria, pse, tampoco es tanto, los equipos de hoy suelen tener 2 GB ¿o no?

Que sí, que habrá que tener especial cuidado con reservar la memoria y con las excepciones que pueda dar, pero creo que es viable.

En mi opinión, no andaba cargando "en bancos" los datos, primero haría pruebas a ver que tal va (sobre todo en el equipo del usuario, del cliente), después, si son muchos errores, atacaría por ese lado.

Edito: coso, ya que has hecho la prueba, si quitas el processmessages, ¿cuanto tiempo tarda en recorrer todo el array? (gettickCount creo que era la api...)

Saludos

[[coso]]

Pues no mucho, no...

Código Delphi [-]
var
        i : integer;
        num : array of double;
        ti,tf : integer;
begin
        setlength(num,2000000);
        ti := GetTickCount;
        for i := 0 to 1999999 do
        begin
        num[i] := i;
        end;
        tf := GetTickCount;
        ShowMessage(inttostr(tf-ti));
end;

muestra '16', con application.ProcessMessages, '47'

[elcigarra]

Gracias a todos