FTP | CCD | Buscar | Trucos | Trabajo | Foros |
|
#1
|
|||
|
|||
Out Of Memory
Tengo un problema enorme. con CSV y Delphi.
Necesito cargar a SQLServer un archivo CSV delimitado por | (pipe) el cual tiene mas de 3 millones de registros con 20 campos, al llegar a 2,500,000 se para indicando "OUT OF MEMORY", leyendo algunos comentan que por que esto se debe al limite de los archivo de texto que no pueden tener mas de "X" cantidad de filas, la verdad ya no se cual es el problema, si el tamaño del archivo txt o al insertar los datos. Se preguntaran por que no cargo directo???, antes de insertar tengo que procesar la información y después insertar, razón pro la cual no puede ser directo, he leído que el problema se puede resolver usando FileStream, pero no tengo idea de como implementarlo. Alguien tiene idea de como resuelvo mi problema y cual es el problema. El archivo lo estoy leyendo con un f: textfile;
|
#2
|
||||
|
||||
¿Porque no procesas el archivo por partes ?
Divide y vencerás.
__________________
Ya tengo Firma! |
#3
|
||||
|
||||
Proba con un TStrings.
Por ejemplo, la clase TStringList te provee el metodo LoadFromFile y luego vas recorriendo la propiedad Items que representa una lista de strings Despues, dado que tu archivo viene separado por un caracter especial, deberias investigar sobre DelimiterChar y DelimitedText Revisa este enlace y este otro |
#4
|
|||
|
|||
Respecto al comentario de dividir el archivo, estoy de acuerdo seria lo mas fácil pero no es la solución.
A manera de comentario, he seguido leyendo y algunos comentan que puede deberse al ADOQuery que uso para insertar lo registros procesados que tuvieron alguna alteración. Ahora bien, pensaran por que no cargar la tabla a SQLServer y después se procesa!!!! pues bien, dado que la tabla tiene mas de 3 Mdr de registros el hacer el Select * from dbo.tabla me implica que tarda bastante en seleccionar los registros y después procesar, no omito aclarar que esto tambien me marca OUT OF MEMORY procesando menos de 1MdR. MMmm se me ocurre una solución pero la voy a dejar como ultima alternativa. |
#5
|
||||
|
||||
Cita:
Si realizas correctamente el procedimiento, por ejemplo parametrizando el numero de registros procesados por vez, te puede resultar para cualquier tamaño de archivo. Recuerda tambien que el procesar demasiadas operaciones en una sola transaccion es altamente ineficiente.
__________________
Ya tengo Firma! |
#6
|
|||
|
|||
En realidad si seria una solución, pero no trabajando directamente el archivo CVS delimitado por PIPE, por que no tengo idea de como decirle que tome de X cantidad en X cantidad, pero si se puede desde SQLSERVER indicando que tome de Y registro a Y registro hasta terminar con todos los registros.
Pero si me diste la idea. |
|
|
Temas Similares | ||||
Tema | Autor | Foro | Respuestas | Último mensaje |
Memory Data | Neeruu | Varios | 22 | 02-10-2013 23:01:56 |
Out of memory | Firewind | Lazarus, FreePascal, Kylix, etc. | 3 | 20-07-2010 12:33:32 |
Out of memory | blaiselaborde | Varios | 10 | 26-01-2010 18:52:27 |
Out of Memory | luxus | OOP | 5 | 30-09-2008 23:11:54 |
rx memory table | julyus | .NET | 2 | 18-09-2008 20:27:08 |
|