Llevar desde Excel a una BD paradox

[DarkSide]

Necesito recuperar información desde una planilla Excel a una BD, en este caso Paradox. El problema es que son mas de 50.000 lineas, y en el traspaso se queda pegado en la 4.000 aprox., ademas que el proceso resulta demasiado lento, si bien se va a realizar una o dos veces al año, calculo que llevaria mas de media hora en completarse. Si alguien tiene alguna solución mas eficiente, por favor de enviarmela, o alguna dirección de internet que hable del tema.

A continuación les envio el codigo fuente. Esta en Delphi 5.0 y paradox 7.0. de antemnao muchas gracias:


uses
Windows, Messages, SysUtils, Classes, Graphics, Controls, Forms, Dialogs,
StdCtrls, Buttons, Db, DBTables, ComObj, ComCtrls;
...

public
Excel: Variant; // Objeto OLE.
...

procedure TfrmImporta.btnImportaClick(Sender: TObject);
var Hoja: OleVariant;
nFil: Integer;
xVal: String;
begin

// Crea objeto Excel.
try
Excel := CreateOleObject('Excel.Application');
except
showmessage('No se pudo crear el Objecto Excel.');
Exit;
end;

Excel.Workbooks.Open(Edit1.Text); // Abre libro Excel
Hoja := Excel.Worksheets.Item['Datos']; // Abre Hoja 'Datos'.
Hoja.Activate;

// Elimina datos anteriores
Table1.Open;
Table1.First;
while not Table1.Eof do begin
Table1.Delete;
end;

nFil:= 2;
repeat
Table1.Insert;
Table1.FieldByName('fecha').AsDateTime:= Excel.Cells[nFil,1].Value;
Table1.FieldByName('cuenta').AsString := Excel.Cells[nFil,4].Value;
Table1.FieldByName('debe').AsString := Excel.Cells[nFil,7].Value;
Table1.FieldByName('debe_d').AsString := Excel.Cells[nFil,9].Value;
Table1.FieldByName('haber').AsString := Excel.Cells[nFil,8].Value;
Table1.FieldByName('haber_d').AsString:= Excel.Cells[nFil,10].Value;
Table1.FieldByName('ccosto').AsString := Excel.Cells[nFil,12].Value;
Table1.FieldByName('cpadre').AsString := Excel.Cells[nFil,16].Value;
Table1.FieldByName('tcomp').AsString := Excel.Cells[nFil,11].Value;
Table1.FieldByName('comp').AsString := Excel.Cells[nFil,2].Value;
Table1.FieldByName('predio').AsString := Excel.Cells[nFil,6].Value;
Table1.FieldByName('tconc').AsString := Excel.Cells[nFil,14].Value;
Table1.FieldByName('conc').AsString := Excel.Cells[nFil,15].Value;
Table1.Post;
nFil:= nFil + 1;
xVal:= IntToStr(Excel.Cells[nFil,4].Value);
until (xVal = '0');

// Cierra archivo excel.
try
Excel.Quit;
except
ShowMessage('La aplicación Excel no se pudo finalizar automaticamente.');
Excel.Visible := True;
end;
end;

[roman]

Quizá te sirva usar ADO. Jamás había utilizado estas componentes pero recordaba haber leído alguna vez acerca de acceder a Excel mediante ellas. Hice una pequeña búsqueda y me encontré este artículo en Delphi Magazine. Quizá no tengas acceso a él ya que muchos artículos son sólo para suscriptores pero si conoces ADO no tendrás problemas, si no, pregunta y te digo los pasos a seguir (que yo seguí como burro pues, repito, desconozco ADO).

El punto importante es que hice una prueba con una hija de Excel con 65534 filas (el máximo que permite Excel) y tres columnas. Además de no colgarse el traspaso duró no más de cuatro minutos.

Será cuestión de que experimentes a ver si te sirve.

// Saludos

[roman]

Fe de erratas:

En el mensaje anterior donde dice "hija de Excel" debe decir "hoja de Excel". Yo mejor no me meto con las hijas del señor Excel, no quiero problemas ni con él n i con mi novia

[DarkSide]

Gracias por contestar. Me parece increible que en solo cuatro minutos se haya traspasado 65.000 lineas, lamentablemente no he trabajado con ADO, asi que recurro a tu ayuda, solo necesito un empujon incial y despues me voy solito.

En cuanto a las 'hijas de Excel' no te preocupes que yo me encargo, ya que por ahora no tengo novia, ja.

[roman]

Ok, ahí va.

1. Agrega las componentes ADO a la paleta de componentes

2. Agrega una componente TAdoConnection a tu formulario y pon su propiedad LoginPrompt en false.

3. Haz doble click en la componente para que se abra el editor de la propiedad ConnectionString y selecciona "Use connection string" y luego oprime el botón "Build" para que se abra la ventana de vínculo de datos.

4. En esa ventana, en la ficha "Proveedor" (Provider) selecciona Microsoft Jet 4.0 OLE DB y da click en siguiente.

5. En la ficha "Conexión" (Connection), en el cuadro "Usar nombre de origen de datos" (o algo así) escribe el nombre del archivo excel (te deja buscarlo con un botoncito)

6. En la ficha "Todas" (All) selecciona "Extended properties" y luego "Modificar valor" y escribes "Excel 8.0" (sin las comillas)

7. Oprime 'Ok' las veces necesarias para cerrar todas las ventanas.

Esta fue la parte "difícil", crear la cadena de conexión.

8. Ahora coloca una componente TAdoDataSet en el formulario y asigna el AdoConnectio a su propiedad "Connection"

9. Pon la propiedad CommandType del DataSet en cmdTableDirect y en la propiedad CommandText escoges la hoja que desees del archivo de Excel (si todo salió bien te aparece una lista con las hojas del libro) El nombre de la hoja aparece seguido de un signo $, es normal.

A partir de aquí ya todo es "coser y cantar". El AdoDataSet funciona similar a un Table (aunque de sólo lectura) y lo abres con su propiedad Active:=true o con el método Open (cuidado porque a mi me marcó un error cuando lo activé en tiempo de diseño y luego corrí la aplicación así que mejor lo dejé inactivo y lo abrí hasta la ejecución).

Para la transferencia simplemente usas un bucle:

while not AdoDataSet1.EoF do
begin
  Table1.Append;

  Table1.Fields[0].Value := AdoDataSet1.Fields[0].Value;
  Table1.Fields[1].Value := AdoDataSet1.Fields[1].Value;
  Table1.Fields[2].Value := AdoDataSet1.Fields[2].Value;
  ...
  AdoDataSet1.Next;
end;

o con FieldByName como lo hiciste tú. En lo anterior Table1 es la tabla Paradox ya creada con la estructura deseada.

Espero que te sirva. Parece complicado pero en realidad no lo es tanto, es sólo que es largo describir los pasos de forma escrita.

// Saludos

[roman]

¡Ah qué caray!

El bucle tiene un error pero supongo que ya lo habrás notado: ¡le falta Table1.Append al principio!

// Saludos

[DarkSide]

De nuevo muchas gracias, realize todos los pasos que me indicaste, y todo funciono a la perfecion. Si bien los pasos una vez descritos son bastante entendibles, ¿como pudiste llegar a ellos?. Mientras me contestabas, trate de una y otra forma de utilizar estos componentes, pero no se me ocurrio hacerlo de esa forma. Ya sé que muchas veces se cuenta el milagro pero no el santo, pero en realidad me interesa investigar mas a fondo los componentes ADO, si me pudieras dar algunas direcciones internet que haben del tema te lo agradeceria mucho.

Consulta: Existe alguna diferencia que sea importante al momento de decidir ocupar, entre las propiedades:

Table1.Fields[0].Value;
y
Table1.FieldByName('campo').AsString;

Reitero mis agradecimientos roman.

[roman]

Posteado originalmente por DarkSide
De nuevo muchas gracias, realize todos los pasos que me indicaste, y todo funciono a la perfecion. Si bien los pasos una vez descritos son bastante entendibles, ¿como pudiste llegar a ellos?. Mientras me contestabas, trate de una y otra forma de utilizar estos componentes, pero no se me ocurrio hacerlo de esa forma. Ya sé que muchas veces se cuenta el milagro pero no el santo, pero en realidad me interesa investigar mas a fondo los componentes ADO, si me pudieras dar algunas direcciones internet que haben del tema te lo agradeceria mucho.

Como te mencioné, seguí los pasos del artículo, no creas que se me ocurrieron a mi solito. Por cierto, la suscripción no es muy cara y es muy buena la revista y tienes acceso a un montón de artículos de todos los números pasados.

De cualquier forma debe haber muchos lugares en la Web en dónde consultar. Una búsqueda en Google me dió al menos este artículo del sitio de Borland. Aquí debes registrarte pero es gratuito.

Tanbién seguro que otras personas en estos foros podrán orientarte mejor que yo, una vez que despierten

Posteado originalmente por DarkSide

Consulta: Existe alguna diferencia que sea importante al momento de decidir ocupar, entre las propiedades:

Table1.Fields[0].Value;
y
Table1.FieldByName('campo').AsString;

Dado que la primera forma accede a los campos mediante "variants" quizá sea más lento, prueba usando FieldByName().AsXXX a ver si se agiliza un poco.

// Saludos

[DarkSide]

Muchas gracias por todo, ahora me voy a acostar porque es muy tarde y me dio mucho sueño .

Saludos.

[DarkSide]

Hola, de nuevo. Resulta que probando con una planilla Excel,
tuve que validar si las celdas estaban vacias o no, a traves del
siguiente codigo dentro del bucle de asignación:

val cConc: String; 
 ...
while not AdoDataSet1.Eof do begin
   if AdoDataSet1.Fields[14].Value = Null
      then cConc:= ''
      else cConc:= AdoDataSet1.Fields[14].Value;
   ...

   Table1.FieldByName('conc').AsString:= cConc;
   ...
end;

Pero resulta que sucedio algo extraño, habian celdas que tenian
información (valor numerico), y en la asignación aparecian con
valores nulos (Null), siendo que la celda anterior (misma columna)
se recuperaba el valor sin ningun problema, y en otra columna
simplemente no recuperaba su valor en todo el bucle.

Revise la planilla excel para ver si era el formato de la celda, pero
ambas tenian el mismo formato. Probe cambiando de Excel 2000
a Excel 97, pero no resulto. La unica diferencia que encontre es el
valor que contenian, la que me arrojaba el valor nulo tenia
5202006 y la anterior 1118084, pero como la recuperaba con la
sentencia:

Table1.FieldByName('cuenta').AsString:= AdoDataSet1.Fields[3].Value;

deberia devolverme un valor 'variants'. Desde ya agradesco su ayuda.

[DarkSide]

Esta vez me respondo yo mismo.

Resulta que el programa estaba bien, el problema era la planilla excel, que tenia datos con distinta alineación (izq. y derecha) en una misma columna, y esto por alguna razón que desconozco traspasaba valores nulos. La solución fue copiar "solo los valores" de la hoja (pegado especial), pegarlos en una hoja nueva y dar el formato de "texto" a todas las celdas.

En fin, cuando se trabaja con Excel hay que tener en cuenta estos inconvenientes.

Por mi parte cierro este hilo, y muchas gracias por todo.

[atirado]

Hola de nuevo! Hice nuevamente los pasos que le menciona Román a DarkSide y corregí algunos errores que tenía y logré por fin que el dbgrid se conectara a mi archivo de excel.
Sin embargo, no logro hacer que en el dbgrid me muestre la tabla. ¿Alguien sabrá por qué me marca un error al querer abrir la tabla que lo contiene?

Tengo los siguientes componentes en la forma:
1. Una ADOConnection llamado adcExcel cuya ConnectionString es la siguiente:

Provider=Microsoft.Jet.OLEDB.4.0;User ID=admin;
Data Source=C:\Documents and Settings\Administrador\Mis documentos\BD Pruebas XL-ADO\nomina.xls;
Mode=ReadWrite;Extended Properties=Excel 8.0;Jet OLEDB:System database="";
Jet OLEDB:Registry Path="";Jet OLEDB:Database Password="";
Jet OLEDB:Engine Type=35;Jet OLEDB:Database Locking
Mode=0;Jet OLEDB:Global Partial Bulk Ops=2;Jet OLEDB:Global Bulk Transactions=1;
Jet OLEDB:New Database Password="";Jet OLEDB:Create System Database=False;
Jet OLEDB:Encrypt Database=False;Jet OLEDB:Don't Copy Locale on Compact=False;
Jet OLEDB:Compact Without Replica Repair=False;Jet OLEDB:SFP=False

Manda llamar como provider a Microsoft.Jet.OLEDB.4.0 y el archivo es de Excel, llamado "nominas.xls"
2. Un ADODataSet llamado dsExcel que tiene las siguientes propiedades:

• Connection => adcExcel.
• Command type => cmdTableDirect
• CommandText => Hoja1$ (donde está la tabla con los datos)

Este ADODataSet contiene todos los campos de la tabla de Excel, por ello comento que al parecer el enlace sí se logra.
3. Un DataSource llamado dsExcel cuyo DataSet es dsExcel.
4. Un ADOTable llamado tblExcel con las siguientes propiedades:

• Connection => adcExcel
• MasterSource => dscExcel
• TableName => Hoja1$

Y al momento de tratar de abrir la tabla en tiempo de ejecución, me envía la excepción:

Código:
Project X.exe raised exception class EOleException with message 'Error de sintaxis en la cláusula FROM'. Process stopped. Use Step or Run to continue.

De antemano muchas gracias por su ayuda; realmente me ha servido mucho tener contacto con ustedes

[roman]

atirado

Por favor edita tu mensaje para cortar la línea del "connection string" ya que ocasiona que el ancho total de tu mensaje y por tanto de todos los demás se haga extremadamente ancho y muy difícil de leer.

En cuanto a tu pregunta no sé a qué se deba. Quizá tenga que ver con la versión de Excel. ¿Qué versión utilizas?

// Saludos

[atirado]

Hola, Román! Sorry a todos, creo que se me fueron las 4 con lo del código, jeje

Respecto al problema, les paso aquí cómo lo solucioné, por si alguien más tiene ese problema:

Mi problema fue, precisamente, haber puesto un ADOTable, pues al querer conectar el DBGrid a dicho componente, era donde me marcaba el dichoso código

Error de sintáxis en la cláusula FROM

pues no le podía agregar los campos que tomaba el DataSource del archivo de EXCEL.
La solución fue tan simple y sencilla como borrar el ADOTable y conectar el DBGrid directamente al DataSource.
Es decir, sólo me quedé con lo siguiente:

1. Un TADOConection, enlazado al archivo de Excel por medio de Microsoft Jet OLEDB 4.0 con el valor "Excel 8.0" en Extended Properties de la pestaña "All".
2. Un TADODataSet con los valores:
   • Connection: adcNomina (el nombre de mi TADOConnection)
   • Command Type: cmdTableDirect
   • Command Text: Nomina$ (Nombre de la HOJA -no del libro- donde están los datos)
3. Un DataSource con los siguientes valores:
   • DataSet : dsNomina (nombre de mi TADODataSet)

Espero que si alguien tiene un problema parecido, lo pueda resolver
Un enorme saludo a tod@s

Alejandro

[AntonioMM]

Estoy intentando pasar este codigo a un programa.
Todo va de maravilla, pero a la hora de conectar el TADODataSet, la propiedad commandText, me da el siguiente error :
NO SE PUDO ENCONTRAR EL ARCHIVO ISAM INSTALABLE

Alguien me puede asesorar..

Muchas Gracias

[oracle]

Saludos amigos:

He seguido los pasos de Roman al pie de la letra y hasta el momento todo bien.

Utilizo un ADOConection, un ADODataSet, un DataSource y un DBGrid. Siguiendo los pasos y adicionando además el DBGrid logro que los datos se muestren en el DBGrid en tiempo de diseño, pero cuando ejecuto el programa, me salé el siguiente error:

Projet Project.exe Raised exception class EOLeException with message "Error Catástrofico. Process Stoped used....."

He probado estos pasos tanto en C++ (Borland C++ 6) y en Delphi y en ambos me sale exactamente el mismo error....

En espera de alguna sugerencia....

Saludos

[roman]

Pues el mensaje es bastante genérico como para poder decir algo sensato. Convendría que te fijases en qué línea de código te marca ese error.

// Saludos

[[Lepe]]

Lo de Error catastrófico lo he vivido también. Busca Updates de delphi.

Di la versión que tienes de delphi y si tienes algún Update pack instalado.

Creo recordar que había problemas al tener instalado C++ y Delphi al mismo tiempo en las versiones 6, tenías que bajar un parche de Borland.

Saludos

[roraclau]

Empezado por roman

Ok, ahí va. Que conste en actas que quizá diga burradas pues como dije no conozco ADO. Lo bueno es que quienes sí lo conocen están dormidos así que no se reirán.

1. Agrega las componentes ADO a la paleta de componentes

2. Agrega una componente TAdoConnection a tu formulario y pon su propiedad LoginPrompt en false.

3. Haz doble click en la componente para que se abra el editor de la propiedad ConnectionString y selecciona "Use connection string" y luego oprime el botón "Build" para que se abra la ventana de vínculo de datos.

4. En esa ventana, en la ficha "Proveedor" (Provider) selecciona Microsoft Jet 4.0 OLE DB y da click en siguiente.

5. En la ficha "Conexión" (Connection), en el cuadro "Usar nombre de origen de datos" (o algo así) escribe el nombre del archivo excel (te deja buscarlo con un botoncito)

6. En la ficha "Todas" (All) selecciona "Extended properties" y luego "Modificar valor" y escribes "Excel 8.0" (sin las comillas)

7. Oprime 'Ok' las veces necesarias para cerrar todas las ventanas.

Esta fue la parte "difícil", crear la cadena de conexión.

8. Ahora coloca una componente TAdoDataSet en el formulario y asigna el AdoConnectio a su propiedad "Connection"

9. Pon la propiedad CommandType del DataSet en cmdTableDirect y en la propiedad CommandText escoges la hoja que desees del archivo de Excel (si todo salió bien te aparece una lista con las hojas del libro) El nombre de la hoja aparece seguido de un signo $, es normal.

A partir de aquí ya todo es "coser y cantar". El AdoDataSet funciona similar a un Table (aunque de sólo lectura) y lo abres con su propiedad Active:=true o con el método Open (cuidado porque a mi me marcó un error cuando lo activé en tiempo de diseño y luego corrí la aplicación así que mejor lo dejé inactivo y lo abrí hasta la ejecución).

Para la transferencia simplemente usas un bucle:

while not AdoDataSet1.EoF do
begin
  Table1.Append;
 
  Table1.Fields[0].Value := AdoDataSet1.Fields[0].Value;
  Table1.Fields[1].Value := AdoDataSet1.Fields[1].Value;
  Table1.Fields[2].Value := AdoDataSet1.Fields[2].Value;
  ...
  AdoDataSet1.Next;
end;

o con FieldByName como lo hiciste tú. En lo anterior Table1 es la tabla Paradox ya creada con la estructura deseada.

Espero que te sirva. Parece complicado pero en realidad no lo es tanto, es sólo que es largo describir los pasos de forma escrita.

// Saludos

Hola soy Clau,
Alguien podría ayudarme dandome un ejemplo de como se abre una ADO en tiempo de ejecución, ya que me no he podido ver la aplicación funcionando y pretendo continuar pasando la info a paradox.

Por su apoyo, muchas Gracias.

p.d. Gracias a Bicho por sus sugerencias.

[[Bicho]]

Hola Clau,

ahora he revisado los pasos de Roman, he visto que me había equivocado en el paso 6, pero ya lo he corregido y me funciona perfectamente.
Me has comentado por privado que tenias problemas en el punto 9.
¿Puedes indicarnos que problema exactamente te sucede?
¿Aparece algún mensaje de error?
Y eso de que no has podido ver la aplicación funcionando, ¿a que te refieres?
Cuantos más datos des, más posibilidades habrá de que entre todos encontremos una solucion.

Saludos