Tail -f en delphi

[[nlsgarcia]]

paquechu,

Empezado por paquechu

...Debo hacer un programa que inspeccione un archivo de log abierto por otra aplicación y al que ésta última le esta añadiendo líneas contínuamente.....Debo localizar el archivo, abrirlo y empezar a leer desde el final línea a línea...

Revisa este código:

Código Delphi [-]
unit Unit1;

interface

uses
  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
  Dialogs, StdCtrls, ExtCtrls;

type
  TForm1 = class(TForm)
    Timer1: TTimer;
    ListBox1: TListBox;
    procedure Timer1Timer(Sender: TObject);
    procedure FormCreate(Sender: TObject);
  private
    { Private declarations }
  public
    { Public declarations }
  end;

var
  Form1: TForm1;

implementation

{$R *.dfm}

function GetFileLastLine(const Filename : String) : String;
var
   StrFile : TStringList;
begin
   try
      StrFile := TStringList.Create;
      StrFile.LoadFromFile(Filename);
      Result := StrFile[StrFile.Count-1];
   except
      on E: Exception do
      begin
         MessageDlg(E.Message, mtError, [mbOk],0);
         Result := '';
      end;
   end;
   StrFile.Free;
end;

procedure TForm1.Timer1Timer(Sender: TObject);
begin
   ListBox1.Items.Add(GetFileLastLine('C:\Test_File.txt'));
end;

procedure TForm1.FormCreate(Sender: TObject);
begin
   Timer1.Interval := 100;
end;

end.

El código anterior lee de forma continua por medio de un control TTimer cada 100 ms la última línea de un archivo de texto y la adiciona a un control TListBox para su posterior procesamiento.

Nota: Este código fue probado con un archivo de texto de 2.000.000 de líneas de forma satisfactoria.

Espero sea útil

Nelson.

[mamcx]

Seria bueno almacenar cuantas lineas habian en la lectura anterior y luego restarlas, porque un log puede recibir varias lineas nuevas mientras esta el timer esperando.

[paquechu]

Vaya!, perdonad, estaba enfrascado con el tema de marras todo este tiempo....
Le he echado un vistazo al código.
Dices que puedes cargar 2.000.000 de lineas en el tstringlist, aunque no se el tamaño maximo (no de lineas) sino de memoria que se puede cargar con un tstringlist.
Lo voy a probar, me preocupa el tiempo de carga y el consumo excesivo de memoria.
Muchas gracias :-)

[paquechu]

Hola de nuevo,
Os pego el trozo de codigo (aparecen variables declaradas globalmente) en el que estoy trabajando
que de momento parece que me funciona aunque seguro que se puede mejorar/optimizar, pero es por donde voy :-)

Código Delphi [-]

procedure TfrmPrinc.bProcesarClick(Sender: TObject);
var
  vLinea:String;
begin
    bSalir:=False;
    PosUltimaLinea:=0;
    while Not bSalir do
    begin
      vLinea:=GetLastLine(sDirTrab+'\'+sArchLog);
      mLog.lines.add(vLinea);
      // Aqui procesar la línea
    end;
end;

function TfrmPrinc.GetLastLine(const aFileName: string): string;
var
  buf : Char;
  i,j,PosiLinea   : LongInt;

begin
  FSPrin := TFileStream.Create(aFileName, fmOpenRead + fmShareDenyNone );
  try
    bLinea:=False;
    while Not bLinea do
    begin
       // Ir al final de fichero
       i := FSPrin.Size-nCarLi;
       PosUltimaAux:=i+nCarLi;
       if PosUltimaAux<>PosUltimaLinea then
       begin
         try
           PosUltimaLinea:=PosUltimaAux;
           buf:=#0;
           FSPrin.Seek(i, soBeginning);
           FSPrin.Read(buf, SizeOf(buf));
           if (buf = #10) or (buf = #13) then
           begin
             bLinea:=True;
             PosiLinea:=i;
           end;
         except;
         end;
         Application.ProcessMessages;
         if bSalir then begin break; exit; end;
       end;
       Application.ProcessMessages;
       if bSalir then begin break; exit; end;
       Sleep(strtoint(dfRetardo.Text));
    end;
    // Se localiza retorno de carro al final del archivo y se entiende
    // que hay una línea.
    // Hay que leer la linea hacia atras hasta encontrar retorno de carro
    // de la anterior linea o inicio de fichero.

    Result := '';
    Buf:=#0;
    i := 1;
    while (buf <> #10) and (buf <> #13) and (FSPrin.position<>0) do
    begin
      try
        buf:=#0;
        //FSPrin.Seek(PosiLinea-i, soBeginning);
        FSPrin.Position:=PosiLinea-i;
        FSPrin.Read(buf, SizeOf(buf));
        if (buf <> #10) and (buf <> #13) then
           Insert(buf, Result, 1);
        Inc(i);
      except;
      end;
      Application.ProcessMessages;
      if bSalir then exit;
    end;
  finally
    FSPrin.Free;
  end;
end;

[Julián]

Para eso lo mejor puede ser usar el api de windows, que permite colgar un hook o como se llame que "avisa" cada vez que se modifique el archivo que quieras. No me acuerdo que función es, pero existe.


EDITO: Una busqueda en google por "delphi file notification" devielve un motón de entradas parecidas a esta: http://www.delphi-central.com/compon...ification.aspx

[paquechu]

Gracias Julian, lo estudiaré :-)
Saludos.

[[nlsgarcia]]

paquechu,

Empezado por paquechu

...no se el tamaño maximo (no de lineas) sino de memoria que se puede cargar con un tstringlist...

Un String en Delphi 7 (AnsiString, WideString) tiene un tamaño máximo de 2 GB, revisa este link: Limitation of TStringList.

Empezado por paquechu

...me preocupa el tiempo de carga y el consumo excesivo de memoria...

EL código propuesto debería funcionar correctamente en archivos de texto que no sean de un tamaño notable (Logs rotativos), el ejemplo mencionado de 2.000.000 de lineas de texto fue solo a efectos de prueba de la función.

Te sugiero revisar detalladamente el código del Msg #6 (function GetLastLine), el código es altamente eficiente dado que solo obtiene la última línea del archivo de forma directa, lo cual la hace ideal como parte de un control TTimer y sin sobrecarga de recursos. Como comentario, funciono de forma optima con el archivo de pruebas mencionado.

Espero sea útil

Nelson.

[ecfisa]

Hola paquechu.

Dado que la aplicación que genera el log añade líneas, este cambiará su tamaño. Entonces, una forma de detectar si se agregó una linea usando un TTimer, podría ser:

Código Delphi [-]
  ...
  private
    FPreviousSize: Int64; // Ultimo tamaño monitoreado   
  end;

...

implementation

const
   NOMARCH = 'C:\LOG.TXT'; // Ruta hasta y nombre del archivo

(* Obtener tamaño del archivo *)
function FileLongSize(const aFileName: string): Int64;
var
  FindData: TWin32FindData;
begin
  Windows.FindClose(FindFirstFile(PChar(aFileName), FindData));
  Result := FindData.nFileSizeHigh shl 32 + FindData.nFileSizeLow;
end;

(* Obtener última línea *)
function GetLastLine(const aFileName: string): string;
var
  FS  : TFileStream;
  buf : Char;
  i   : Integer;
begin
  FS := TFileStream.Create(aFileName, fmOpenRead);
  try
    Result := '';
    i := FS.Size + 2;
    repeat
      FS.Seek(FS.Size-i, soEnd);
      FS.Read(buf, SizeOf(buf));
      Insert(buf, Result, 1);
      Inc(i);
    until (buf = #10);
  finally
    FS.Free;
  end;
end;

procedure TForm1.FormCreate(Sender: TObject);
begin
  // Tamaño al inicio del monitoreo
  FPreviousSize:= FileLongSize(NOMARCH); 
  //Timer1.Interval := ??? (a tu necesidad)
end;

procedure TForm1.Timer1Timer(Sender: TObject);
var
  NewSize: Int64;
begin
  NewSize:= FileLongSize(NOMARCH);  // Nuevo tamaño
  if FPreviousSize <>  NewSize then 
  begin
    FPreviousSize:= NewSize;
    Timer1.Enabled:= False;
    // Aca lo que gustes hacer con la última línea, para el ejemplo la muestro.
    MessageBox(Handle,PChar(GetLastLine(NOMARCH)),'NUEVA LINEA',MB_ICONEXCLAMATION);
    Timer1.Enabled:= True;
  end;
end;
...

No sé si es la forma mas optima, pero es simple y en mis pruebas funciona. Hasta que encuentres algo mejor tal vez te sirva...

Saludos.

[paquechu]

Hola nlsgarcia,
Gracias por las aclaraciones, respecto al codigo del mensaje numero 6 (GetLastLine), efectívamente, es el que he tomado como base y he logrado adaptar a la idea que iba buscando.
Muchas gracias :-)

Empezado por nlsgarcia

paquechu,


Un String en Delphi 7 (AnsiString, WideString) tiene un tamaño máximo de 2 GB, revisa este link: Limitation of TStringList.


EL código propuesto debería funcionar correctamente en archivos de texto que no sean de un tamaño notable (Logs rotativos), el ejemplo mencionado de 2.000.000 de lineas de texto fue solo a efectos de prueba de la función.

Te sugiero revisar detalladamente el código del Msg #6 (function GetLastLine), el código es altamente eficiente dado que solo obtiene la última línea del archivo de forma directa, lo cual la hace ideal como parte de un control TTimer y sin sobrecarga de recursos. Como comentario, funciono de forma optima con el archivo de pruebas mencionado.

Espero sea útil

Nelson.

[paquechu]

Buenas,

He probado el código que proponias, sin embargo al ejecutarlo sobre un archivo abierto de log se "queja" de que está abierto por otra aplicación y no puede continuar..... seguiré probando el resto de vuestras propuestas :-)
Saludos.

Empezado por nlsgarcia

paquechu,


Un String en Delphi 7 (AnsiString, WideString) tiene un tamaño máximo de 2 GB, revisa este link: Limitation of TStringList.


EL código propuesto debería funcionar correctamente en archivos de texto que no sean de un tamaño notable (Logs rotativos), el ejemplo mencionado de 2.000.000 de lineas de texto fue solo a efectos de prueba de la función.

Te sugiero revisar detalladamente el código del Msg #6 (function GetLastLine), el código es altamente eficiente dado que solo obtiene la última línea del archivo de forma directa, lo cual la hace ideal como parte de un control TTimer y sin sobrecarga de recursos. Como comentario, funciono de forma optima con el archivo de pruebas mencionado.

Espero sea útil

Nelson.