Copiar parte de un TStringList a otro

[[nlsgarcia]]

Anel Hernandez,

Empezado por Anel Hernandez

...copiar parte de un TStringList a otro...quisiera saber como hacerlo mas rápido...

Pregunto:

1- ¿Tienes un problema concreto con los tiempos de copia?

2- ¿Que versión de Delphi y Windows utiliza tu aplicación?.

Revisa este código:

Código Delphi [-]
unit Unit1;

interface

uses
  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
  Dialogs, StdCtrls;

type
  TForm1 = class(TForm)
    Button1: TButton;
    procedure Button1Click(Sender: TObject);
  private
    { Private declarations }
  public
    { Public declarations }
  end;

var
  Form1: TForm1;

implementation

{$R *.dfm}

procedure TForm1.Button1Click(Sender: TObject);
var
   SL1, SL2 : TStringList;
   i : Integer;
   Frecuencia, ITime, FTime : Int64;
   MSeconds : Int64;

begin

   QueryPerformanceFrequency(Frecuencia);
   QueryPerformanceCounter(ITime);

   SL1 := TStringList.Create;
   SL2 := TStringList.Create;

   SL1.BeginUpdate;
   for i := 1 to 1000 do
      SL1.Add('SL1 Dato-' + IntToStr(i));
   SL1.EndUpdate;

   SL2.BeginUpdate;
   for i := 1 to 1000 do
      SL2.Add('SL2 Dato-' + IntToStr(i));

   for i := 59 to SL1.Count - 1 do
      SL2.Add(SL1.Strings[i]);
   SL2.EndUpdate;

   QueryPerformanceCounter(FTime);

   MSeconds := (FTime-ITime) * 1000000 div Frecuencia;

   MessageDlg(Format('Total tiempo de copia de TStringList : %u Millonésimas de Segundo',[MSeconds]),mtInformation,[mbOK],0);

   SL1.Free;
   SL2.Free;

end;

end.

El código anterior en Delphi 7 sobre Windows 7 Professional x32, Copia parte de un TStringList a otro utilizando los métodos BeginUpdate y EndUpdate para mejorar el performance de la copia, como se puede ver en la siguiente imagen:



Nota:

1- En el tiempo se incluyo la creación y carga de datos de los TStringList para tener un marco referencial de todo el proceso.

2- La muestra de proceso fueron 1000 Strings por cada TStringList.

3- Se copio el 94,10% de los Items de un TStringList a otro (Del 60 al 1000).

4- Los métodos BeginUpdate y EndUpdate mejoraron muy marginalmente el procesamiento de los TStringList, el proceso de por si es muy rápido por lo cual la mejora es apenas evidente.

Espero sea útil

Nelson.

[Anel Hernandez]

gracias Nelson,

si tengo problemas con los tiempos. Trabajo con ficheros meteorologicos de varios gigas y decenas de miles de lineas. Son ficheros texto de varios megas. Pueden llegar a 700MB.

voy a intentar tu ejemplo.

muchas gracias

[[nlsgarcia]]

Anel Hernandez,

Empezado por Anel Hernandez

...tengo problemas con los tiempos...Trabajo con ficheros meteorológicos de varios gigas y decenas de miles de líneas...Son ficheros texto...

Pregunto: ¿Puedes publicar una muestra del fichero meteorológico en cuestión para hacer pruebas?.

Espero sea útil

Nelson.

[Anel Hernandez]

hola,

de que tamaño desean el fichero? cuantas lineas?

gracias
Anel

[[nlsgarcia]]

Anel Hernandez,

Empezado por Anel Hernandez

...¿De que tamaño desean el fichero?, ¿Cuantas líneas?...

Te comento:

1- En principio sería suficiente un archivo con las primeras 100 líneas, la idea es poder crear uno con una estructura similar a efectos de prueba.

2- ¿Cual es el mayor y menor tamaño registrado para un archivo meteorológico?, ¿Cual es el tamaño promedio?.

3- Si como se indica en el Msg #3 trabajas con archivos de texto con tamaños en el orden de los GB y decenas de miles de registros, es conveniente analizar formas alternas de manejo de la data, por ejemplo por medio de una BD, ¿Podrías explicar un poco el proceso de generación, carga y procesamiento de la información meteorológica en cuestión?.

En resumen : No es conveniente manejar tal cantidad de datos en memoria, el problema no son los TStringList es el volumen de la data.

Espero sea útil

Nelson.

[Anel Hernandez]

hola,

normalmente los modelos de pronostico meteorologicos trabajan con ficheros .nc (netcdf). estos pueden llegar a tener varios GB.

hay otros modelos que se alimentan de estos ficheros, modelos de diagnostico meteorologicos, de dispersion atmosferica, fotoquimicos, etc.

algunos de ellos tienen herramientas para transformar los ficheros .nc en binarios o de texto. yo estoy trabajando con uno que los usa de texto.

son modelos establecidos hace decadas y lo que hago es aplicarlos. no tendria mucho sentido transformar en BBDD. la alternativa que he elegido es intentar optimizar los procesos de conversion etc.

ahora un ejemplo simple:
en mi caso tengo 66 ficheros de 1.46MB con 31882 lineas cada uno. Debo entonces copiar de los ficheros del 2 al 66, desde la linea 1257 de cada uno hasta la ultima (la 31882) y añadirselos al final del 1ro.

Al final tendria un fichero de 101MB y 2 022 507 lineas. ese es un ejemplo simple. pueden ser mas grandes.
Adjunto un fichero editado de ejemplo donde suprimo algunas lineas.

He intentado con el metodo del BeginUpdate y gana pocos segundos. adjunto imagenes.

En mi caso leo con:

Código Delphi [-]
SL1.LoadFromFile(fichero1);
For I:=2 to 66 do
 SL2.LoadFromFile(fichero[i]);
end;

y salvo al final en el mismo fichero1

Código Delphi [-]
SL1.SaveToFile(fichero1);

Gracias
Anel

[[Héctor Randolph]]

Hola Anel Hernandez

Adicionalmente al uso de BeginUpdate-EndUpdate, también es recomendable fijar la propiedad Sorted a False.

Por otra parte, cuando agregas elementos a una lista dentro de un ciclo, la lista tendrá que ajustar dinámicamente el tamaño de la memoria reservada conforme se requiera. Sin darnos cuenta, esta operación puede repetirse un número considerable de veces y eso afectará el rendimiento.

Por este motivo, es muy aconsejable que puedas determinar con anticipación el número de elementos que vas a añadir y esto se puede indicar en la propiedad Capacity.

De esta forma reservamos la memoria en una sola operación antes de entrar al ciclo.

Código Delphi [-]
var
  ItemsToAdd: Integer;
  I: Integer;
begin
   ItemsToAdd:=100000; 
   .
   .
   .
   SL.Sorted:=False;
   SL.Capacity := SL.Count + ItemsToAdd;
   for I := 1 to ItemsToAdd do
    SL.Add('Algo');

Saludos