Lentitud leer .csv

[ecfisa]

Hola ErYcK.

A ver, proba si te sirve de este modo:

void __fastcall TForm1::Button1Click(TObject *Sender)
{
  if (OpenDialog1->Execute()) {
    TStringList *TS = new TStringList;
    TS->LoadFromFile(OpenDialog1->FileName);
    for(int i=0; i< TS->Count; i++)
      ExtractStrings(TSysCharSet()<< ';', TSysCharSet() << ' ',
        TS->Strings[i].c_str(), StringGrid1->Rows[i]);
    delete TS;
  }
}

Saludos.

[ErYcK]

Buenísimo el aporte ecfisa, me acelera muchísimo el proceso y en principio va bien, el único fallo es que la base de datos de la empresa tiene ciertos fallos, como por ejemplo que algunos de los campos no están, por ejemplo algunos de los registros son algo así:

referencia;estado;producto;categoria;categoria1;categoria2;categoria3; descripción
11234;;producto1;hogar; electrodomésticos;Lavadoras;;lavadora ultimo modelo tal y tal;

Es decir algunos campos vienen vacíos, con lo cual se genera en el csv dos ';' seguidos y lo que hace es meterme en el estado, la categoría.

No se si me he explicado bien, el tema es que cuando se encuentran dos ';' seguidos ha dejar esa celda vacía, estoy dándole vueltas al código que me pusiste
e intento dar con la tecla para tener eso en cuenta pero me da ami que no puede ser de esa forma, aunque no lo se.

Si se te ocurre algo seria de gran ayuda.

Gracias por el esfuerzo.

[ecfisa]

Hola de nuevo.

el tema es que cuando se encuentran dos ';' seguidos ha dejar esa celda vacía

Entonces, creo que habría que hacer un pequeño cambio a esta línea del código anterior:

  ExtractStrings(TSysCharSet()<< ';', TSysCharSet() << '\0',
        TS->Strings[i].c_str(), StringGrid1->Rows[i])

Saludos.

[ErYcK]

Hola otra vez siento ser tan pesado.

Con ese cambio que me diste me sigue metiendo mal los datos, mete la categoría en el estado en la mayoría de los registros, he probado a mezclar tu idea con la mía, y lo hace bien, el problema es que los registros demasiado largos me los mete en el siguiente registro, entiendo que es porque el TStringList tendrá un límite de caracteres, te muestro el código.

if(OpenDialog1->Execute())
{
                TStringList *TS = new TStringList;
                TS->LoadFromFile(OpenDialog1->FileName);
                XCarga->Show();
                XCarga->ProgressBar1->Min = 0;
                XCarga->ProgressBar1->Max = TS->Count;
                int cont=0;
                int col=0;
                String referencia="";
                for(int i=0; i< TS->Count; i++)
                {
                cont=0;
                col=0;
                XCarga->ProgressBar1->Position=i;
                XCarga->Caption="Leidno .CSV .. Linea: "+i;
                for (int j=1;j<=TS->Strings[i].Length();j++)
                {
                        if (TS->Strings[i][j]!= ' ')
                        {
                                cont=0;
                                if (TS->Strings[i][j] == ';')
                                {
                                        StringGrid1->Cells[col][i] = referencia;
                                        referencia="";
                                        col++;
                                }
                                else
                                {
                                        referencia = referencia+TS->Strings[i][j];
                                }
                        }
                        if (TS->Strings[i][j] == ' ')
                        {
                                cont++;
                                if (cont>2)
                                        break;
                        }
                }
}

Es algo más lento que la idea que propusiste pero el simple uso del TStringList lo acelera lo suficiente en realidad.

Si sabes alguna forma de solucionar el problema usando el código que antes me mostraste seria genial, si no me gustaría saber si el TStringList tiene límite de caracteres y si se puede ampliar este límite.

Gracias por tu paciencia que ha de ser mucha.

[ecfisa]

Hola.

La capacidad de cada línea de TStringList es la que tiene la propiedad vectorial Strings cuyos elementos son de tipo AnsiString y según la ayuda de Builder C++ es:

Type	     Maximum length	Memory required	Used for
AnsiString   ~2^31 characters	4 bytes to 2GB	8-bit (ANSI) characters

Estaría bueno que nos adjuntaras la cabecera (titulos:referencia;estado;producto...) y dos o tres líneas del archivo que estes leyendo (y que te dén problemas), como para hacer algunas pruebas mas.

Saludos.

[ErYcK]

Aquí os dejo un ejemplo de csv comprimido, contiene 1 registro demasiado largo, el cual me da conflictos como te he comentado anteriormente.

De nuevo gracias por tu ayuda.
Un Saludo.

[ecfisa]

Hola ErYcK.

No me queda muy en claro la definición de la cabecera (columnas) ¿ Conocés cuantas y cuales son ?

Saludos.