Mi Consulta SQL Funciona pero tarda demasiado

[webmasterplc]

1. Cuanto es "demasiado"?
Tarda mas de 20 minutos con una tabla de 120 registros.
2. Para que no se "cuelgue" la app lo pones dentro de un Thread o en un proceso aparte y vas comunicando el progreso
Voy a Informar,e de esto ya que no lo manejo
3. Para "saber por donde va" es critico que tengas integrado un Log con el resultado de cada paso.
Voy a Hacerlo
4. Los procesos de ELT se hacen en batch. Algo asi como "cargar cada 500 registros"
Perfecto

Voy a probar lo que propones

[Casimiro Notevi]

Empezado por webmasterplc

Tarda mas de 20 minutos con una tabla de 120 registros.

Tardo menos en teclear manualmente los registros

[mamcx]

Empezado por Casimiro Notevi

Tardo menos en teclear manualmente los registros

Como estaba de despistado que no note que eran 120 registros!.

Asi, todo lo que dije es "overkill". La forma mas eficiente entonces es mucho mas simple:

Carga todos los registros al inicio en un DataSet en memoria y haz los procesos contra ese.

Código Delphi [-]
var original: TClientDataset = SELECT * FROM db1.source
var destino: TClientDataset = SELECT * FROM db2.dest

// procesas todo en memoria

// Guarda los resultados de destino

[webmasterplc]

Buenas ae ido trabajando siguiendo las recomendaciones, ese procedimiento esta en el evento onclick de un boton, estoy tratando de hacer un procedure para luego llamarlo e un thread pero al hacer el procedure no veo los objetos query y table.
por Ejemplo asi veo los objetos

Código Delphi [-]
procedure TformMenu.btn2Click(Sender: TObject);

begin
     sqsedes.Active:=False;
     sqsedes.Active:=True;
end;

pero si intento hacerlo

Código Delphi [-]
procedure consolidar;

begin
     sqsedes.Active:=False;
     sqsedes.Active:=True;
end;

no veo los query

[Casimiro Notevi]

¿Y eso qué tiene que ver con lo que te hemos aconsejado?
Creo que te estás liando, o puede que no te hayamos entendido lo que quieres hacer realmente.

[Casimiro Notevi]

Es que no tiene sentido que te compliques la vida con hilos y cosas raras para unos pocos registros, eso debe tardar segundos.
Por ejemplo, una simple prueba para que te hagas una idea, tengo una tabla con más de 250.000 registros (y unos 90 campos) y los paso a otra tabla igual, tiempo: 2,6 segundos.
En tu caso, con BD distintas y comprobando los que ya existen para actualizarlos, por código Delphi, etc. calcúlale unos 3 a 5 segundos... como mucho.

[webmasterplc]

En el procedimiento la mayoria son update porque verifico que si existe lo actualice y si no existe lo inserte

[Neftali [Germán.Estévez]]

Empezado por webmasterplc

procedure TformMenu.consolidar;
begin
sqsedes.Active:=False;
sqsedes.Active:=True;
end;

no veo los query

Ese procedimiento consolidar no es de clase (como el otro). No tiene la parte en rojo para que me entiendas.
Tienes 2 opciones:

1) Definirlo dentro de la clase (parte privada).
2) Pasarle los objetos necesarios como parámetros.

Por otro lado, trabajar con Threads y Base de datos no es trivial. Las conexiones no suelen ser Threadsafe, así que al thread ademas de pasarle toda la información necesaria para trabajar, deberás dotarle de lo necesario (ConnectionString, por ejemplo) para crear una nueva conexión sobre la Base de Datos.

[[duilioisola]]

Mi granito de arenta:

Un simple log puede ser un procedimiento como este:

Código Delphi [-]
procedure TDMMain.Log(s: string);
var
  F : TextFile;
  FileName : string;
begin
  FileName := ChangeFileExt(Application.ExeName, '.log');
  AssignFile(F, FileName);
  try
     Append(F);
  except
     try
        Rewrite(F);
     except
        on e: Exception do
           ShowMessage('Error al abrir fichero : ' + FileName + #13#10 + e.Message);
     end;
  end;
  WriteLn(F, FormatDatetime('[yyyy-mm-dd hh:nn:ss.zzz] ', Now) + s);
  CloseFile(F);
end;

Prueba el bulce principal sin hacer nada y ves cuanto tarda.

Código Delphi [-]
with sqnominadetalle do
  begin
    close;
    SQL.Clear;
    SQL.Add('SELECT * FROM a2NominaDetalle');
    ExecSQL;
    sqnominadetalle.First;
    while not sqnominadetalle.Eof do
    begin
      Log(sqnominadetalle.FieldByName('FNM_INTEGRANTE').AsString);

      sqnominadetalle.Next;
    end;
  end;

Si es algo lógico (segundos), agregas la validación:

Código Delphi [-]
with sqnominadetalle do
  begin
    close;
    SQL.Clear;
    SQL.Add('SELECT * FROM a2NominaDetalle');
    ExecSQL;
    sqnominadetalle.First;
    while not sqnominadetalle.Eof do
    begin
      Log(sqnominadetalle.FieldByName('FNM_INTEGRANTE').AsString);
      
      cedintegrante := sqnominadetalle.FieldByName('FNM_INTEGRANTE').AsString;
      codconstante := sqnominadetalle.FieldByName('FNM_CONSTANTE').AsString;
      fnmtipo := sqnominadetalle.FieldByName('FNM_TIPO').AsInteger;
      fnmvalorperiodo := sqnominadetalle.FieldByName('FNM_VALORPERIODO').AsCurrency;
      fnmvalordefault := sqnominadetalle.FieldByName('FNM_VALORDEFECTO').AsCurrency;
      fnmdescripcion := sqnominadetalle.FieldByName('FNM_DESCRIPCIONPERIODO').AsString;
      with sqverificardetalle do
      begin
        close;
        ParamByName('PINTEGRANTE').AsString := cedintegrante;
        ParamByName('PCONSTANTE').AsString := codconstante;
        ExecSQL;
        close;
      end;
      // ShowMessage('Net');
      sqnominadetalle.Next;
    end;
  end;

Si sigue siente un tiempo lógico, prueba agregando le update.

Código Delphi [-]
with sqnominadetalle do
  begin
    close;
    SQL.Clear;
    SQL.Add('SELECT * FROM a2NominaDetalle');
    ExecSQL;
    sqnominadetalle.First;
    while not sqnominadetalle.Eof do
    begin
      Log(sqnominadetalle.FieldByName('FNM_INTEGRANTE').AsString);
      
      cedintegrante := sqnominadetalle.FieldByName('FNM_INTEGRANTE').AsString;
      codconstante := sqnominadetalle.FieldByName('FNM_CONSTANTE').AsString;
      fnmtipo := sqnominadetalle.FieldByName('FNM_TIPO').AsInteger;
      fnmvalorperiodo := sqnominadetalle.FieldByName('FNM_VALORPERIODO').AsCurrency;
      fnmvalordefault := sqnominadetalle.FieldByName('FNM_VALORDEFECTO').AsCurrency;
      fnmdescripcion := sqnominadetalle.FieldByName('FNM_DESCRIPCIONPERIODO').AsString;
      with sqverificardetalle do
      begin
        close;
        ParamByName('PINTEGRANTE').AsString := cedintegrante;
        ParamByName('PCONSTANTE').AsString := codconstante;
        ExecSQL;

        if not sqverificardetalle.IsEmpty then
        begin
          with squpdatenomina do
          begin
            ParamByName('PTIPO').AsInteger := fnmtipo;
            ParamByName('PCONSTANTE').AsString := codconstante;
            ParamByName('PINTEGRANTE').AsString := cedintegrante;
            ParamByName('PVALOR1').AsCurrency := fnmvalordefault;
            ParamByName('PVALOR2').AsCurrency := fnmvalorperiodo;
            ParamByName('PPERIODO').AsString := fnmdescripcion;
            ExecSQL;
            close;
          end
        end;

        close;
      end;
      // ShowMessage('Net');
      sqnominadetalle.Next;
    end;
  end;

Si todo está en un tiempo lógico, el problema estará en el INSERT o en UPDATE final que haces.

Finalmente, trata de traerte todo lo que necesites en el primer SELECT.
Con algo así solo deberás ver si el campo existe_integrante contiene algo o es nulo/cero y te ahorras un SQL por cada vuelta de bucle.

Código SQL [-]
select n.*,
       /* Esta parte sería lo que contiene sqverificardetalle */
       (select first 1 integrante
        from detalle
        where
        integrante = n.fnm_integrante and
        constante = n.fnm_cosntante) as existe_integrante
from a2nominadetalle n

[webmasterplc]

Agradecido, hoy me voy a poner a resolver esto y les comento

[webmasterplc]

Buenas Tomando la Recomendación de Todos he ido probando, al hacer el log me di cuenta que perdía tiempo en la consulta para verificar el detalle para lo cual en vez de hacerlo tome la recomendación de Casimiro Notevi

Código Delphi [-]
  
select * from tabla1;
while not tabla1.eof  
  try
    update table 2...
  except
    insert into tabla 2...
  end;
  table1.next
end;i

y usando el log que me recomendó duilioisola pude ver lo que tardaba en cada registro en mi ultima prueba tardo 48 minutos 78.648 registros creo que estaría bien dentro de los tiempos o por lo menos se me han mejorado los tiempo considerando que antes duraba 20 min con 120 registros y por tratarse de una base de datos como dbbisam

mi Codigo

Código Delphi [-]
   while not sqnominadetalle.Eof do
                                      begin

                                      cedintegrante:=sqnominadetalle.FieldByName('FNM_INTEGRANTE').AsString;
                                      codconstante:=sqnominadetalle.FieldByName('FNM_CONSTANTE').AsString;
                                      fnmtipo:=sqnominadetalle.FieldByName('FNM_TIPO').AsInteger;
                                      fnmvalorperiodo:=sqnominadetalle.FieldByName('FNM_VALORPERIODO').AsCurrency;
                                      fnmvalordefault:=sqnominadetalle.FieldByName('FNM_VALORDEFECTO').AsCurrency;
                                      fnmdescripcion:=sqnominadetalle.FieldByName('FNM_DESCRIPCIONPERIODO').AsString;

                                      try

                                                         with squpdatenomina do
                                                         begin
                                                            ParamByName('PTIPO').AsInteger:=fnmtipo;
                                                            ParamByName('PCONSTANTE').AsString:=codconstante;
                                                            ParamByName('PINTEGRANTE').AsString:=cedintegrante;
                                                            ParamByName('PVALOR1').AsCurrency:= fnmvalordefault;
                                                            ParamByName('PVALOR2').AsCurrency:=fnmvalorperiodo;
                                                            ParamByName('PPERIODO').AsString:=fnmdescripcion;
                                                            ExecSQL;
                                                            Close;
                                                         end;
        
 Log(sqnominadetalle.FieldByName('FNM_INTEGRANTE').AsString+sqnominadetalle.FieldByName('FNM_CONSTANT  E').AsString);
                                      except
                                                              with dbtsdetallenomina do
                                                               begin

                                                                tablename:='a2NominaDetalle';
                                                                Open;
                                                                Insert;
                                                                Append;
                                                                FieldByName('FNM_TIPO').AsInteger:=fnmtipo;
                                                                FieldByName('FNM_CONSTANTE').AsString:=codconstante;
                                                                FieldByName('FNM_INTEGRANTE').AsString:=cedintegrante;
                                                                FieldByName('FNM_VALORDEFECTO').AsCurrency:= fnmvalordefault;
                                                                FieldByName('FNM_VALORPERIODO').AsCurrency:=fnmvalorperiodo;
                                                                FieldByName('FNM_DESCRIPCIONPERIODO').AsString:=fnmdescripcion;
                                                                Post;
                                                                Close;

                                              Close;
                                              end;

                                      end;
                                      sqnominadetalle.Next;
                                      end;