Club Delphi  
    FTP   CCD     Buscar   Trucos   Trabajo   Foros

Retroceder   Foros Club Delphi > Principal > Conexión con bases de datos
Registrarse FAQ Miembros Calendario Guía de estilo Buscar Temas de Hoy Marcar Foros Como Leídos

Conexión con bases de datos

Respuesta
 
Herramientas Buscar en Tema Desplegado
  #1  
Antiguo 19-01-2012
Avatar de fide_uci
fide_uci fide_uci is offline
Miembro
 
Registrado: ene 2009
Ubicación: Cuba - La Habana
Posts: 226
Poder: 16
fide_uci Va por buen camino
Exclamation Ayuda con Insercion lentisima en SQLite3

Hola amigos, gracias por leer el post. Me encuentro desarrollando una aplicacion para el envio de correos y estoy ahora programando un asistente de importacion que importa desde un archivo (txt, csv, etc.) hacia la BD. El gran problema es que la insercion esta lentisima. Aqui esta el codigo que he creado. Utilizo Delphi 7, ZeosDB 7 y SQLite3.

Código Delphi [-]
var
  vFile: TStringList;
  vX: Integer;
begin

  JvWizard1.ActivePageIndex := 1;

  //Cargar el archivo e importarlo a la BD
  vFile := TStringList.Create;

  try
    vFile.LoadFromFile(boxArchivoSeleccionado.Text);

    Gauge1.MinValue := 0;
    Gauge1.MaxValue := vFile.Count -1;

    for vX := 0 to vFile.Count -1 do
      begin
        //Aqui mostrar el progreso y meter en la BD !!!

        DataM.tbd_recipients.Insert;
        DataM.tbd_recipientslist.AsInteger := 0;
        DataM.tbd_recipientsname.AsString := '';
        DataM.tbd_recipientsemail.AsString := vFile.Strings[vX];
        DataM.tbd_recipients.Post;
        Gauge1.Progress := vX;
        Application.ProcessMessages;
      end;

      ShowMessage(Format('Se han importado %d correos de forma satisfactória.', [vFile.Count]));
  finally
    vFile.Free;
  end;

Por lo que estuve mirando SQLite es rapido cuando se agrupan las inserciones o sea que yo deberia hacer una consulta INSERT y agregar todos los valores pero tengo miedo pasarme y explotar la memoria de la PC.

Por favor ayuda los que conocen del tema a ver de que forma puedo insertar rapido y seguro muchos registros en SQLite 3.
Responder Con Cita
  #2  
Antiguo 19-01-2012
Avatar de Casimiro Notevi
Casimiro Notevi Casimiro Notevi is offline
Moderador
 
Registrado: sep 2004
Ubicación: En algún lugar.
Posts: 32.021
Poder: 10
Casimiro Notevi Tiene un aura espectacularCasimiro Notevi Tiene un aura espectacular
Para empezar, quita ese:
Código Delphi [-]
Application.ProcessMessages;
Responder Con Cita
  #3  
Antiguo 19-01-2012
Avatar de mamcx
mamcx mamcx is offline
Moderador
 
Registrado: sep 2004
Ubicación: Medellín - Colombia
Posts: 3.911
Poder: 25
mamcx Tiene un aura espectacularmamcx Tiene un aura espectacularmamcx Tiene un aura espectacular
Cita:
Empezado por fide_uci Ver Mensaje
Por lo que estuve mirando SQLite es rapido cuando se agrupan las inserciones o sea que yo deberia hacer una consulta INSERT y agregar todos los valores pero tengo miedo pasarme y explotar la memoria de la PC.
Sqlite, al igual que la mayoría de las BD, opera en batch de forma mas eficiente si se agrupa en una transaccion:

http://www.sqlite.org/faq.html#q19


Y en el caso de sqlite, es crucial hacer las operaciones CRUD que afecten muchos registros - exceptuando SELECT - en una transacción, ya que esta BD bloquea TODO EL ARCHIVO cuando se actualiza (otros motores bloquean solo la pagina, la tabla o el registro).


Y quitar Application.ProcessMessages no afectara el desempeño de forma importante, mientras evitara que parezca "muerta" la app.

Sin embargo, de ser una insercion realmente inmensa, es mejor usar un proceso asincronico o meterlo dentro de un thread separado (debes tomar en cuenta las limitaciones y configuraciones para acceder multi-thread sqlite http://www.sqlite.org/threadsafe.html)
__________________
El malabarista.
Responder Con Cita
  #4  
Antiguo 19-01-2012
Avatar de fide_uci
fide_uci fide_uci is offline
Miembro
 
Registrado: ene 2009
Ubicación: Cuba - La Habana
Posts: 226
Poder: 16
fide_uci Va por buen camino
Entonces que solución le ves?. En la aplicación que estoy desarrollando se van a importar millones de registros o sea de lineas con correos para la BD.
Que me recomendarias hacer entonces una transaccion completade 100 en 100 o algo asi no c dime a ver que no se me ocurre nada ahora?
Responder Con Cita
  #5  
Antiguo 19-01-2012
Avatar de fide_uci
fide_uci fide_uci is offline
Miembro
 
Registrado: ene 2009
Ubicación: Cuba - La Habana
Posts: 226
Poder: 16
fide_uci Va por buen camino
Amigos mis disculpas si me estaba funcionando bien y super rapido pero el problema era que donde yo tenia

Código Delphi [-]
DataM.tbd_recipientslist.AsInteger := 0;

era := 1; ajjajajja !
Responder Con Cita
Respuesta


Herramientas Buscar en Tema
Buscar en Tema:

Búsqueda Avanzada
Desplegado

Normas de Publicación
no Puedes crear nuevos temas
no Puedes responder a temas
no Puedes adjuntar archivos
no Puedes editar tus mensajes

El código vB está habilitado
Las caritas están habilitado
Código [IMG] está habilitado
Código HTML está deshabilitado
Saltar a Foro

Temas Similares
Tema Autor Foro Respuestas Último mensaje
¿como compilar sqlite3.dll ? JXJ C++ Builder 2 07-12-2010 23:37:50
Ayuda con insercion de datos en mysql usando dbExpress pedrocrespo35 Conexión con bases de datos 8 14-10-2010 02:31:05
SQLite3 devuelve 01-01-1899 salvica SQL 3 03-02-2010 12:56:55
Ayuda con insercion de imágenes en campo blob aojeda Gráficos 0 29-01-2009 19:23:46
Lentisima la conexion con DB2 del AS400 Javier_A Conexión con bases de datos 5 10-11-2003 17:47:07


La franja horaria es GMT +2. Ahora son las 08:07:02.


Powered by vBulletin® Version 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Traducción al castellano por el equipo de moderadores del Club Delphi
Copyright 1996-2007 Club Delphi