Busqueda de archivos especificos

[[nlsgarcia]]

gdlrinfo,

Empezado por gdlrinfo

...si tocas la pantalla o haces algo mientras copia se tilda (Bloquea)...

Empezado por gdlrinfo

...Es posible que mientras copia al directorio de destino le cambie la extensión *.rtf por *.doc...

Empezado por nlsgarcia

...Voy a hacer unas modificaciones al código, que incluyan el cambio de extensión a los archivos copiados y en lo que este disponible lo publico...

Revisa este código:

Código Delphi [-]
unit Unit1;

interface

uses
  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
  Dialogs, StdCtrls;

type
  TForm1 = class(TForm)
    Button1: TButton;
    procedure Button1Click(Sender: TObject);
  private
    { Private declarations }
  public
    { Public declarations }
  end;

  TCopyFiles = class(TThread)
  private
    DirSource, DirTarget, FileExt, FileExtNew : String;
    MsgApp : String;
    IFile,FFile : LongWord;
  protected
    procedure SearchFiles(DirSource, DirTarget, FileExt : String; var FileList : TStringList);
    procedure Execute; override;
    procedure MsgCopy;
    procedure MsgEnd;
  end;

var
  Form1: TForm1;
  CopyFiles : TCopyFiles;
  CopyFilesThread : THandle = 0;

implementation

{$R *.dfm}

// Selecciona los archivos a ser copiados del directorio fuente al destino de forma recursiva
procedure TCopyFiles.SearchFiles(DirSource, DirTarget, FileExt : String; var FileList : TStringList);
var
   SR : TSearchRec;

begin

   DirSource := IncludeTrailingPathDelimiter(DirSource);
   DirTarget := IncludeTrailingPathDelimiter(DirTarget);

   if (not DirectoryExists(DirSource)) or (not DirectoryExists(DirTarget)) then
      Exit;

   if FindFirst(DirSource + '*.*', faAnyFile, SR) = 0 then
   repeat
      if ((SR.Attr and fadirectory) = fadirectory) then
      begin
         if(SR.Name <> '.') and (SR.Name <> '..') then
            SearchFiles(DirSource + SR.Name, DirTarget, FileExt, FileList);
      end
      else
      begin
         if FileExt = EmptyStr then
            FileList.Add(DirSource + SR.Name)
         else
         if LowerCase(ExtractFileExt(SR.Name)) = LowerCase(FileExt) then
            FileList.Add(DirSource + SR.Name);
      end;
   until FindNext(SR) <> 0;

   FindClose(SR);

end;

// Ejecuta el hilo de copia de archivos
procedure TCopyFiles.Execute;
var
   FileList : TStringList;
   i : Integer;
   FromFileName, ToFileName : String;
   AuxFileName, AuxFileExt : String;
   CountFile : Integer;

begin

   FreeOnTerminate := True;

   FileList := TStringList.Create;

   SearchFiles(DirSource, DirTarget, FileExt, FileList);

   for i := 0 to FileList.Count - 1 do
   begin

      FromFileName := FileList.Strings[i];

      if FileExtNew <> EmptyStr then
         ToFileName := IncludeTrailingPathDelimiter(DirTarget)
                       + ChangeFileExt(ExtractFileName(FileList.Strings[i]),FileExtNew)
      else
         ToFileName := IncludeTrailingPathDelimiter(DirTarget) + ExtractFileName(FileList.Strings[i]);

      CountFile := 0;

      while True do
      begin
         if FileExists(ToFileName) then
         begin
            Inc(CountFile);
            AuxFileName := ExtractFileName(ChangeFileExt(FromFileName,''));
            AuxFileExt := ExtractFileExt(FromFileName);
            ToFileName := ExtractFilePath(ToFileName)
                          + AuxFileName
                          + '_' + IntToStr(CountFile)
                          + AuxFileExt;
         end
         else
            Break;
      end;

      IFile := i + 1;
      FFile := FileList.Count;

      Synchronize(MsgCopy);

      Copyfile(PChar(FromFileName),PChar(ToFileName),False);

   end;

   FileList.Free;

   Synchronize(MsgEnd);

end;

// Muestra un mensaje de progreso de copia de archivos
procedure TCopyFiles.MsgCopy;
begin
   Form1.Caption := Format('Copiando %d de %d',[IFile, FFile]);
end;

// Muestra un mensaje de finalización de copia de archivos
procedure TCopyFiles.MsgEnd;
begin
   Form1.Caption := 'CopyFiles';
   MsgApp := Format('Copia Recursiva de Archivos *%s del Folder %s al Folder %s Completada',
                    [FileExt, DirSource,DirTarget]);
   Beep;
   MessageDlg(MsgApp, mtInformation, [mbOK], 0);
   CopyFilesThread := 0;
end;

// Inicia un proceso de copia recursiva de archivos desde el directorio fuente al destino
procedure TForm1.Button1Click(Sender: TObject);
var
   MsgApp : String;
   DirSource, DirTarget, FileExt, FileExtNew : String;

begin

   DirSource := 'D:\HostDownload';
   DirTarget := 'D:\TestNelson';
   FileExt := '.rtf';
   FileExtNew := '.doc';

   if (CopyFilesThread = 0) then
   begin

      if (not DirectoryExists(DirSource)) or (not DirectoryExists(DirTarget)) then
      begin
         MsgApp := 'Error de I/O en Directorio Fuente o Destino';
         Beep;
         MessageDlg(MsgApp,mtInformation,[mbOK],0);
         Exit;
      end;

      CopyFiles := TCopyFiles.Create(True);
      CopyFiles.DirSource := DirSource;
      CopyFiles.DirTarget := DirTarget;
      CopyFiles.FileExt := FileExt; // CopyFiles.FileExt := '' copia todos los archivos
      CopyFiles.FileExtNew := FileExtNew; // CopyFiles.FileExtNew := '' no cambia la extensión
      CopyFiles.Resume;
      CopyFilesThread := CopyFiles.Handle;

   end
   else
   begin
      MsgApp := 'Hay un Proceso de Copia Activo, Favor Esperar que Finalize';
      Beep;
      MessageDlg(MsgApp,mtInformation,[mbOK],0);
      Exit;
   end;

end;

end.

El código anterior en Delphi 7 bajo Windows 7 Professional x32, es la versión 2 del código propuesto en el Msg #3 el cual permite: copiar de forma recursiva todos los archivos de un directorio y subdirectorios fuente a un directorio destino en función de una mascara de copia.

Nota:

1- La copia de archivos se hace por medio de un hilo, lo cual permite que la aplicación no se bloque durante el proceso.

2- En el caso de haber archivos en el directorio y subdirectorios fuente con el mismo nombre, estos se copiaran al directorio destino con el mismo nombre más un prefijo (_Número), que indica la cantidad de veces que el archivo se repite, ejemplo: File.txt, File_1.txt, File_2, ... , File_N.txt

3- En el ejemplo, solo puede estar un hilo de copia activo a la vez, esto se puede modificar fácilmente para tener varios procesos de copia activos según se requiera.

4- Por simplicidad de código, solo se incluyo como referencia visual un contador de copia (Copiado XX de YY), que indica el archivo que esta siendo copiado en un momento determinado al directorio destino.

5- Se elimino el uso del componente TFileListBox, mejorando la velocidad de copia y eliminado potenciales problemas de Not Thread Safe.

6- Si no se especifica la extensión de los archivos a copiar (TCopyFiles.FileExt), se copiaran todos los archivos recursivamente del directorio fuente al destino.

7- Si se especifica una nueva extensión (TCopyFiles.FileExtNew), se copiaran todos los archivos recursivamente del directorio fuente al destino con la nueva extensión.

Espero sea útil

Nelson.

[gdlrinfo]

Amigoo eres un genio funciona de maravillas muchísimas gracias!!!!!

[gdlrinfo]

Buenas nlsgarcia como estas quisiera hacerte una consulta, en la búsqueda cuando copio hay algunos archivos que tienen unas siglas que no me interesa copiar, esos archivos son puntuales por ejemplo 4878-rib-jij.rft --> este tiene la sigla RIB y no me interesa copiarlo, el tema es que estuve pensando como evitar copiarlo y lo único que se me ocurre es que a medida que va buscando lo archivos lee una el nombre repasándolo como una cadena de texto y compare, si existe la palabra rib o cam o cac, que son las que no tengo que copiar, pero me da la sensación que se haría extremadamente lento el copiado, crees que puede haber otra forma de hacerlo ? desde ya muchas gracias como siempre !!!!!

[[nlsgarcia]]

gdlrinfo,

Empezado por gdlrinfo

...en la búsqueda cuando copio...hay algunos archivos que tienen unas siglas que no me interesa copiar...esos archivos son puntuales...se me ocurre es que a medida que va buscando lo archivos...compare...si existe la palabra...pero me da la sensación que se haría extremadamente lento el copiado...¿Crees que puede haber otra forma de hacerlo?...

Pregunto:

1- ¿En que tipo de aplicación esta instalada esta rutina?, ¿Cual es el objetivo de la aplicación?.

2- ¿La aplicación en cuestión es de índole comercial o académica?, ¿En que país es utilizada?.

3- ¿Cual es el promedio de archivos copiados normalmente?, ¿Cual es la frecuencia de uso de la aplicación?.

4- ¿Cual es el tamaño promedio de los archivos a copiar?, ¿Cual es el tiempo promedio de copia de todos los archivos?.

5- La máquina donde se ejecuta la aplicación ¿Es Servidor o Standalone?, ¿Cuales son las características técnicas de la máquina en cuestión a nivel de Procesador, Disco y Memoria?.

6- Si se discrimina los archivos a ser copiados, ¿Cuantas siglas a excluir de la copia deberían ser consideradas?.

Espero sea útil

Nelson.

[mamcx]

Empezado por gdlrinfo

el tema es que estuve pensando como evitar copiarlo y lo único que se me ocurre es que a medida que va buscando lo archivos lee una el nombre repasándolo como una cadena de texto y compare .... pero me da la sensación que se haría extremadamente lento el copiado

En vez de "sensaciones" haz la prueba, mide y compara. NUNCA hagas cambios de desempeño basados en sensaciones, suposiciones y demas, y menos implementes las sensaciones que otros tienen de tus sensaciones!. Siempre se debe hacer profiling. Osea, porque supones que va a ser lento? Y si te *parece*, sabes realmente que es *rapido*?.

Por ejemplo, si no sabes a que tasa de MB/s se puede saturar el disco, no sabes si lo que haces es o no rapido. Una vez que sabes cual es el techo de desempeño, puedes realmenten empezar a tomar decisiones.

En especial, porque la mayor parte del tiempo las rutinas/subsistemas que uses son ya suficientemente rapidos y el problema esta principalmente en la eleccion de las estructuras de datos y algoritmos globales (no locales).

Con respecto a tu pregunta:

En vez de filtrar lo "invalido", filtro lo *valido*. Como sabes que algo es el dato correcto? Chequea contra eso y no al revez (lo invalido tiene una tendencia hacia el infinito!)

Puede ser con una mascara, una expresion regular o contra una BD en memoria (quizas usando un hashtable). Ya que el I/O (todo lo que sea manejo de archivos, sockets, BD, etc) tiende a ser lo mas lento, veraz que lo que sea que hagas en codigo tiene un impacto minimo.

[gdlrinfo]

Que tal Nelson:

En cuanto a tus preguntas la primera:

1.- El objetivo del programa es hacer una copia de archivos guardados de un disco a otro no es gran cosa pero si están en varias carpetas y esto antes se hacia a mano simplemente es por simplificar trabajo que nos hacia perder mucho tiempo nada mas .

2.- La aplicación la uso para tareas personales y se usa en argentina. (repito lo anterior solo es para facilitar algunos procesos que a mano son engorrosos)

3.- los archivos promedio son 6.000 a 10.000 la frecuencia es 3 veces a la semana.

4.- los archivos son solo RTF que pesan al rededor de 1mb cada uno, todos los archivos los esta copiando en un promedio de 7 minutos si son al rededor de 10.000 sino no dura mas de 5 minutos..

5.- La maquina donde de ejecutan son varias y casi todas tienen las mismas prestaciones la mayoría tiene 6gb de ram, micro de 6 núcleos, y discos de 1tb.

6.- si discriminamos hay 5 tipos que no copiaría por ejemplo (rib- cac - cam - rgi - rg) estas, están en el nombre del archivo es decir los archivos que tienen estas siglas no hay que copiarlos por ejemplo un nombre seria algo asi CCO-P-10015-RIB-1880810.RTF ---> este casualmente no es necesario copiarlo.

Gracias por tu interés y te agradezco!!! un abrazo

[gdlrinfo]

Hola mamcx:

Por lo que dices he probado hacer el proceso de leer la cadena de texto del nombre y es 5 veces mas lento el copiado, quizás a veces no hay que probar algo para saber que no iva a andar, hay cosas que están a la vista.

Tampoco podemos hacer una relación de saturación del disco en copia de MB/s cuando los archivos no pasan mas de 1mb cada uno no es un manejo de volumen en MB importante sino en cantidad de archivos, que no es lo mismo copiar 6.000 archivos de 1 MB que copiar 6.000 de 400 MB en relación no es comparable.

Simplemente contesto a lo que me preguntas porque me parece que hay cosas que son comparables solo cuando son significativas y requieren realmente un análisis especifico, pero si hablamos de copiar un simple puñado de archivos y lee nombre de cada uno no va a ser lo mismo si no los lee obviamente tardara mas, quizás no logre expresarme para que pudieras comprenderlo un saludo !!!

[[nlsgarcia]]

gdlrinfo,

Empezado por gdlrinfo

...si discriminamos hay 5 tipos que no copiaría...

Voy a hacer una nueva versión que te permita discriminar los archivos que no quieras copiar, en lo que la tenga disponible la publico

Saludos,

Nelson.