cargar muchos datos en clientdataset

[ContraVeneno]

Yo creo que no estas atacando el problema como se debería.

Me refiero a que si se supone que es un proceso automático, no deberías usar un ClientDataset cuya funcionalidad principal se utiliza para la interacción con el usuario. Y definitivamente no deberías de trabajar con 300,000 registros a la vez.

Si aún así quieres trabajar con un ClientDataset, debes aceptar que trabajar con esa cantidad de datos a la vez, va a ser un proceso lento ya que se tienen que cargar a memoria. La parte de que te carga solo 3000 y deja de cargar, es porque tienes que recorrer el clientdataset hasta el 3001, para que cargue los siguientes 3000 y así sucesivamente hasta llegar al final.

Edito: Si lo que quieres verificar es si el dato en cuestión ya existe en la base de datos y si no existe lo insertas, entonces lo mejor sería colocar un índice en la base de datos que no te permita duplicar el dato que quieres guardar. Y luego a traves de una consulta SQL puedes insertar todos los datos en una sola instrucción.

[papote654]

gracias contraveneno,

utilizo el client porque no quiero que los datos bajen a la base de datos hasta que no sea definitivo, ya que al utilizar el adoquery cada vez que cambie de registro me lo ira grabando y eso no seria factible ya que se puede realizar una consulta en ese momento y luego cancelada la transferencia y tendríamos un dato que no existe o no es real.

este proceso lo utilizo de esa forma ya que son varias sucursales, cada una con su base de datos local y que a x hora o a fin o principio de día, realizan la transferencia.

puede darse el caso de que modifiquen una información, por ejemplo el nombre de un cliente, este dato debe ser corregido en el servidor principal y esto es lo que me llevo a que también necesite actualizar los registros y no solo insertarlo.

[[Al González]]

¿Qué te parece si empezamos desde el principio? Explica por favor, con todo detalle, qué información es la que se está manejando, cómo se está manejando y lo que pretendes hacer.

En pocas palabras, hablemos del problema a resolver antes de hablar de los problemas que surgieron al intentarlo de una u otra manera.

Saludos.

Al González.

[[newtron]]

¿Y una tabla en memoria no iría mejor?

[DarKraZY]

Empezado por newtron

¿Y una tabla en memoria no iría mejor?

Básicamente un TClientDataSet es una tabla en memoria.
Espero que no lo tenga conectado mediante un TDataSource ya que esto, si no hace DisableControls, podría ralentizar mucho el proceso.
300.000 registros son muchos, pero tampoco tantos.

[Neftali [Germán.Estévez]]

Empezado por newtron

¿Y una tabla en memoria no iría mejor?

Empezado por DarKraZY

Básicamente un TClientDataSet es una tabla en memoria.

Yo había pensado lo mismo que newtron, pero "pensando" en tablas en memoria "del servidor" (no se si él se refería a eso); Con el ClientDataset estás trayendo TODOS los datos al cliente, para luego hacer las modificaciones y volcarlos de nuevo al servidor.

En mi caso revisaría tablas en memoria del servidor.

De todas formas, creo que lo que ha dicho Al es muy acertado. A priori, sin saber el problema concreto, la solución de traer 300.000 registros al cliente, no parece correcta ni adecuada.

[marcoszorrilla]

Yo no alcanzo a ver el porqué de procesar tantos registros a la vez, quizás si nos dice el propósito comprendamos mejor.

En cualquier caso yo procesaría cierta cantidad cada vez, eso se vería haciendo unas pruebas con el servidor.

Un Saludo.

[[Lepe]]

Yo afinaría un poco más: ¿Necesita ver el cliente todos los datos?

Si necesitara verlos, con ver 100 registros seguro se hace una idea de lo que debe modificar.

Obviamente no va a modificar los 300.000 registros a mano, así que hacerlos en el clientdataset o hacerlo mediante una SQL con control de transacciones ya va que chuta.

Saludos

[DarKraZY]

Empezado por Neftali

Yo había pensado lo mismo que newtron, pero "pensando" en tablas en memoria "del servidor" (no se si él se refería a eso);

Hola Neftali, ¿Cómo serían esas tablas de memoria en el servidor?

• ¿creando un procedimiento almacenado en el servidor?
• ¿Una aplicación (tipo DataSnap) corriendo en el servidor?
• ...

Me he quedado con la curiosidad de saber cómo se haría eso

Saludos!

[papote654]

buenos días y gracias por el apoyo,

la situación es que tengo varias sucursales, cada una de ellas con su base de datos local, cree una aplicación donde el usuario selecciona las tablas o mantenimientos a exportar y yo me encargo de buscar los datos y transferirlo al servidor. En este proceso lo que busco los datos de origen y valido si el campo o los campos clave existen de ser así hago un EDIT y paso el valor de origen al destino de lo contrario INSERT los registro de origen en el destino.

es una transferencia de datos donde verifico si el dato existe lo actualizo de lo contrario lo inserto.

[Casimiro Noteví]

Empezado por Al González

¿Qué te parece si empezamos desde el principio? Explica por favor, con todo detalle, qué información es la que se está manejando, cómo se está manejando y lo que pretendes hacer.
En pocas palabras, hablemos del problema a resolver antes de hablar de los problemas que surgieron al intentarlo de una u otra manera.
Saludos.
Al González.

+1


.