Ayuda Urgente, Por favor. Tarda mucho en traer los datos.

[Paradiso]

Hola a todos.
Seriamente.
Delphi 7 + Interbase 6.5 + DbExpress + DevExpress.

esta es la tabla y su estructura:

CREATE GENERATOR GEN_TC_CLIENTE_ID;

CREATE TABLE TC_CLIENTE (
NRO AUTONUMERICO NOT NULL /* AUTONUMERICO = INTEGER */,
RAZON_SOCIAL NOMBRE_CORTO NOT NULL COLLATE ES_ES /* NOMBRE_CORTO = VARCHAR(50) */,
NOMBRE_COMERCIAL NOMBRE_CORTO COLLATE ES_ES /* NOMBRE_CORTO = VARCHAR(50) */,
CONDICION_IVA AUTONUMERICO NOT NULL /* AUTONUMERICO = INTEGER */,
CUIT CUIT NOT NULL /* CUIT = VARCHAR(13) */,
DIRECCION DOMICILIO NOT NULL /* DOMICILIO = VARCHAR(30) */,
PROVINCIA AUTONUMERICO /* AUTONUMERICO = INTEGER */,
LOCALIDAD AUTONUMERICO /* AUTONUMERICO = INTEGER */,
CODIGO_POSTAL CODIGO_POSTAL /* CODIGO_POSTAL = VARCHAR(20) */,
TELEFONO TELEFONO /* TELEFONO = VARCHAR(40) */,
FAX TELEFONO /* TELEFONO = VARCHAR(40) */,
MOVIL TELEFONO /* TELEFONO = VARCHAR(40) */,
NEXTEL TELEFONO /* TELEFONO = VARCHAR(40) */,
EMAIL EMAIL /* EMAIL = VARCHAR(100) */,
LISTA_PRECIO LISTA_PRECIO /* LISTA_PRECIO = INTEGER */,
ULTIMA_COMPRA FECHA_HORA /* FECHA_HORA = TIMESTAMP */,
ULTIMO_PAGO FECHA_HORA /* FECHA_HORA = TIMESTAMP */,
SALDO "PRECIO UNITARIO" DEFAULT 0 NOT NULL /* "PRECIO UNITARIO" = NUMERIC(15,4) */,
ACTIVO ACTIVO DEFAULT 0 NOT NULL /* ACTIVO = INTEGER */,
SALDO_I NUMERIC(15,2) DEFAULT 0.00 NOT NULL,
CONTACTO VARCHAR(50) CHARACTER SET WIN1251,
NOTA BLOB SUB_TYPE 1 SEGMENT SIZE 4096,
CONVENIO_MULTILATERAL VARCHAR(12) CHARACTER SET WIN1251,
CONDICION_VENTA INTEGER DEFAULT 0,
CATEGORIA_CLIENTE VARCHAR(25) CHARACTER SET ISO8859_1 COLLATE ES_ES,
GERENTE VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
JEFE_DE_COMPRA VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
JEFE_TECNICO VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
CATEGORIA_INSTALADOR VARCHAR(25) CHARACTER SET ISO8859_1 COLLATE ES_ES,
INSTALADOR_1 VARCHAR(25) CHARACTER SET ISO8859_1 COLLATE ES_ES,
INSTALADOR_2 VARCHAR(25) CHARACTER SET ISO8859_1 COLLATE ES_ES,
INSTALADOR_3 VARCHAR(25) CHARACTER SET ISO8859_1 COLLATE ES_ES,
INSTALADOR_4 VARCHAR(25) CHARACTER SET ISO8859_1 COLLATE ES_ES,
INSTALADOR_5 VARCHAR(25) CHARACTER SET ISO8859_1 COLLATE ES_ES,
EMPRESA_DE_SERVICIOS_1 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
EMPRESA_DE_SERVICIOS_2 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
EMPRESA_DE_SERVICIOS_3 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
CONTACTO_1 VARCHAR(25) CHARACTER SET ISO8859_1 COLLATE ES_ES,
CONTACTO_2 VARCHAR(25) CHARACTER SET ISO8859_1 COLLATE ES_ES,
CONTACTO_3 VARCHAR(25) CHARACTER SET ISO8859_1 COLLATE ES_ES,
CONTACTO_4 VARCHAR(25) CHARACTER SET ISO8859_1 COLLATE ES_ES,
CONTACTO_5 VARCHAR(25) CHARACTER SET ISO8859_1 COLLATE ES_ES,
MAIL_CONTACTO_1 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
MAIL_CONTACTO_2 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
MAIL_CONTACTO_3 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
MAIL_CONTACTO_4 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
MAIL_CONTACTO_5 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
TELEFONOS_INSTALADOR_1 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
TELEFONOS_INSTALADOR_2 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
TELEFONOS_INSTALADOR_3 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
TELEFONOS_INSTALADOR_4 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
TELEFONOS_INSTALADOR_5 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
NOTA_CONTACTOS BLOB SUB_TYPE 1 SEGMENT SIZE 4096,
TELEFONO_CONTACTO_1 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
TELEFONO_CONTACTO_2 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
TELEFONO_CONTACTO_3 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
TELEFONO_CONTACTO_4 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES,
TELEFONO_CONTACTO_5 VARCHAR(40) CHARACTER SET ISO8859_1 COLLATE ES_ES
);




/******************************************************************************/
/**** Primary Keys ****/
/******************************************************************************/

ALTER TABLE TC_CLIENTE ADD CONSTRAINT PK_TC_CLIENTE PRIMARY KEY (NRO);


/******************************************************************************/
/**** Indices ****/
/******************************************************************************/

CREATE INDEX TC_CLIENTE_IDX1 ON TC_CLIENTE (RAZON_SOCIAL);
CREATE INDEX TC_CLIENTE_IDX2 ON TC_CLIENTE (NOMBRE_COMERCIAL);
CREATE INDEX TC_CLIENTE_IDX3 ON TC_CLIENTE (NRO, PROVINCIA, LOCALIDAD);


/******************************************************************************/
/**** Triggers ****/
/******************************************************************************/


SET TERM ^ ;


/******************************************************************************/
/**** Triggers for tables ****/
/******************************************************************************/



/* Trigger: TC_CLIENTE_BI */
CREATE TRIGGER TC_CLIENTE_BI FOR TC_CLIENTE
ACTIVE BEFORE INSERT POSITION 0
AS
BEGIN
IF (NEW.NRO IS NULL) THEN
NEW.NRO = GEN_ID(GEN_TC_CLIENTE_ID,1);
END


===================================================

" Esta es la Consulta:"



SELECT C.NRO,
C.RAZON_SOCIAL,
C.NOMBRE_COMERCIAL,C.CUIT,
C.LISTA_PRECIO,
C.CONDICION_VENTA,
C.DIRECCION,
C.NOTA,
FP.DESCRIPCION AS FORMADEPAGO
FROM TC_CLIENTE C
JOIN TC_FORMA_PAGO FP ON FP.NRO = TC_CLIENTE.CONDICION_VENTA
WHERE ( (C.ACTIVO = 0) AND :OPCION = 0) OR
( C.ACTIVO = 0 AND C.CONDICION_IVA = :OPCION ) OR
( C.ACTIVO = 0 AND C.CONDICION_IVA > 1 AND :OPCION = 2)
ORDER BY C.NOMBRE_COMERCIAL ASC


Este es el Problema: la cantidad de registros es de 34.000 y en un Atlhon 3000+ con 1 gb de RAM, tarda muchisimo en abrir la misma. si lo hago desde IBExpert no tarda nada, pero desde mi aplicacion si.

uso para mostrar los datos una grilla DBGrid.
la cual he tocado para que optimice la vista considerando la cantidad de datos, pero ahun asi sigue tardando muchisimo.
en las maquinas donde va a correr la aplicacion tarda mas de 1 minuto en traer los datos.

Realmente no se que hacer. para solucionar este problema
saludos y gracias.

[[egostar]]

Tengo una pregunta, cuando dices que abres la (base/tabla) con IBExpert, lo haces con el mismo query

Código SQL [-]
SELECT C.NRO,
       C.RAZON_SOCIAL,
       C.NOMBRE_COMERCIAL,C.CUIT,
       C.LISTA_PRECIO,
       C.CONDICION_VENTA,
       C.DIRECCION,
       C.NOTA,
       FP.DESCRIPCION AS FORMADEPAGO
FROM TC_CLIENTE C
JOIN TC_FORMA_PAGO FP ON FP.NRO = TC_CLIENTE.CONDICION_VENTA
WHERE ( (C.ACTIVO = 0) AND :OPCION = 0) OR
      ( C.ACTIVO = 0 AND  C.CONDICION_IVA = :OPCION   ) OR
      ( C.ACTIVO = 0 AND  C.CONDICION_IVA > 1 AND :OPCION = 2)
ORDER BY C.NOMBRE_COMERCIAL ASC

Solo una anotación adicional, has uso de las etiquetas para que el código sea mas legible.

Salud OS.

[Paradiso]

Si, efectivamente.

[[egostar]]

Pues entonces me suena a algún problema de conectividad con la base de datos porque la cantidad de registros no es considerable, con que componentes estas conectando a la base y como lo haces en el código

Salud OS.

[Neftali [Germán.Estévez]]

Empezado por Paradiso

Este es el Problema: la cantidad de registros es de 34.000

Realmente creo que ese es el problema.
Intentar devolver 34.000 registros en una consulta para mostrarlos en un DBGrid creo que es un fallo de concepo.

No tiene sentido que alguien acceda a un DBGrid con 34.000 filas. Nadie se pone a bajar con el cursor hasta encontrar la fila que necesita (imagina qie es la fila 18.345 del Grid ). Normalmente cuando se devuelve un Grid así el usuario que está delante de él intenta ordenarlo o filtrarlo para buscar lo que necesita. Ahí está la cuestión debes "acostumbrar" al usuario a que lo filtre o lo ordene antes de realizar la consulta para obtener un rango de registros más pequeño (y aun así yo pensaría en usar un TOP).

Aun así los tiempos me parecen demasiado.
* Ejecuta la misma consulta sin el Gris a ver lo que tarda, para descartar que sea problema de la carga.
* Revisa el tipo de cursor que estás utilizando ServerSide o ClientSide.
* Si la consulta tarda mucho revisa los índices y el plan de ejecución.
* Usa TOP; Yo no devolvería más de 1000 o 2000 registros.
* Piensa que los Grids de las DevExpress en su modo de funcionamiento estandard ("el bonito" que permite agrupar,ordenar, filtrar,...) traen todos los registros a memoria y los cargan en el Grid.

[[Lepe]]

No se ha dicho, pero se debe: Normaliza la Base de datos (google: "formas normales" o "normaliza tabla").

Instaladores, contactos, emails y telefonos de cada uno, todos en una tabla no hará otra cosa que estorbar y crear inconsistencias.

Tampoco veo un índice por el campo activo, que se usa mucho en el where.

Saludos

[[egostar]]

Yo pienso que si está filtrado los datos como se ve en su sentencia SQL

Código SQL [-]
JOIN TC_FORMA_PAGO FP ON FP.NRO = TC_CLIENTE.CONDICION_VENTA
WHERE ( (C.ACTIVO = 0) AND :OPCION = 0) OR
      ( C.ACTIVO = 0 AND  C.CONDICION_IVA = :OPCION   ) OR
      ( C.ACTIVO = 0 AND  C.CONDICION_IVA > 1 AND :OPCION = 2)
ORDER BY C.NOMBRE_COMERCIAL ASC

Me pregunto, los 34,000 registros cumplirán con esa condición.

La otra cuestión pudiera ser el JOIN.

En todo caso Lepe tiene razón al acotar sobre la normalización de la tabla.

Salud OS.

[Neftali [Germán.Estévez]]

Empezado por egostar

Yo pienso que si está filtrado los datos como se ve en su sentencia SQL...

Yo me refería a los filtros en campos "de cara al usuario":
C.NRO,
C.RAZON_SOCIAL,
C.NOMBRE_COMERCIAL,C.CUIT,
C.LISTA_PRECIO,
C.CONDICION_VENTA,
C.DIRECCION,
C.NOTA,
FP.DESCRIPCION AS FORMADEPAGOSeguramente si el usuario está buscando algo, podrá acotar alguno de estos antes de ejecutar la SQL.

[Delfino]

Delphi 7 + Interbase 6.5 + DbExpress + DevExpress.

en q utilizas los DevExpress si no es para el Grid?
sospecho q este puede ser el problema pq esos componentes suelen traer todos los datos de una vez, en el IBExpert se utiliza ese grid pero el modo GridMode esta para q sea virtual igual q el DBGrid de Delphi,

aparte de deber o no deber traer todos esos datos, IBDataset + DBGrid se abren al instante con una tabla de mas de 100.000 registros, incluso en red, pq el IBDataset trae solo los datos establecidos en la propiedad BufferChunks y el DBGrid trae del IBDataset solo los datos q necesita mostrar en la pantalla, asi q el problema esta en otro sitio no en la cantidad..

[[Al González]]

¡Hola a todos!

Empezado por Neftali

...Piensa que los Grids de las DevExpress en su modo de funcionamiento estandard ("el bonito" que permite agrupar,ordenar, filtrar,...) traen todos los registros a memoria y los cargan en el Grid.

Empezado por Neftali

...el Grid de la DevExpress puede cambiar el modo de funcionamiento para no traer todos los datos; Basta con cambiar la porpiedad GridMode; El problema es que en ese modo de funcionamiento pierdes determinadas propiedades del Grid (ordenaciones, Agrupaciones, totales,...)

Empezado por avmm2004

...Utilizas devexpress (el grid supongo) ¿ No sabes que el grid de devexpress carga todos los datos en memoria antes de mostrarte la primera fila ?
Pues una carga de 34.000 registros en el grid antes de mostrarte la primera fila es brutal...

Totalmente de acuerdo, pero sugiero utilicen el término rejilla (que es la traducción más formal y aceptada de grid).

Precisamente esas vicisitudes son las que me llevaron a buscar la paginación en segundo plano. Estoy por reanudar ese caso y aún no tengo clara la forma exacta en que lo resolveré, de hecho todavía considero la posibilidad de usar consultas TOP / FIRST o filtros Where. Os aconsejo sobremanera echarle un vistazo y les agradezco cualquier recomendación. Es prácticamene el mismo problema de Paradiso, pero visto desde una óptica optimista. ¿Podrá realizarse?

Un abrazo posible.

Al González.

[roman]

Bueno Al, yo creo que la respuesta estándar a este tipo de cuestiones ya la sabes: no mandar traer 34,000 registros. Aunque al cliente le parezca necesario, la verdad es que no necesita 34,000 registros y jamás los va a revisar todos. Sin embargo, no me lo tomes a mal, pero en ese hilo que mencionas, desde un principio cancelaste la respuesta estándar:

Empezado por Al González

Aclaro que no me interesa discutir el asunto del consumo de recursos, las reglas de los cánones y todo lo que dice la literatura tradicional. He evaluado el costo-beneficio de cargar toda la tabla en memoria, y, para los propósitos específicos de la aplicación, veo que vale la pena (aún si tuviese el doble de registros).

// Saludos

[[Al González]]

No creas, ahorita que estaba en la ducha, me vinieron a la mente algunas reflexiones. Se me ha ocurrido traerme sólo los 100 registros con fecha de modificación, búsqueda o utilización más recientes. Y ya cuando el cliente quiera toda la tabla, digamos para exportarla a Excel, entonces darle otro mecanismo para esa operación que no interfiera con las operaciones cotidianas de la interfaz de usuario.

Creo que debo bañarme más seguido.

De todas maneras sigo receptivo a sus recomendaciones y descancelo la cancelación referida.

Un abrazo fresco.

Al González.

Edito:
P.D. Y es que lo de la paginación de segundo plano, quizá no sea un terreno que deba descartarse, por lo menos para experimentación. Lograrlo podría ofrecer nuevos horizontes en materia de interfaces de usuario. Algo así como manejar una base de datos "en vivo" (pero quizá en otro momento, tal experimento sería un proyecto en sí mismo).

[xander]

Empezado por Al González

No creas, ahorita que estaba en la ducha, me vinieron a la mente algunas reflexiones. Se me ha ocurrido traerme sólo los 100 registros con fecha de modificación, búsqueda o utilización más recientes. Y ya cuando el cliente quiera toda la tabla, digamos para exportarla a Excel, entonces darle otro mecanismo para esa operación que no interfiera con las operaciones cotidianas de la interfaz de usuario.

Echate un clavado en los fuentes de IBObjects... ahi ya es chiste viejo todo eso que mencionas... precisamente es una de las cosas que lo hacen a mi parecer la mejor conectividad en Cliente/Servidor... optimiza muchisimo el tráfico en la red usando técnicas muy poderosas, flexibles y sencillas.

[avmm2004]

Empezado por Paradiso

Hola a todos.
Seriamente.
Delphi 7 + Interbase 6.5 + DbExpress + DevExpress. ........

Independientemente de la consulta, no se si has tenido en cuenta lo siguiente:

- Utilizas devexpress (el grid supongo) ¿ No sabes que el grid de devexpress carga todos los datos en memoria antes de mostrarte la primera fila ?
Pues una carga de 34.000 registros en el grid antes de mostrarte la primera fila es brutal.

- Has pensado en la posibilidad de filtrar el numero de filas a devolver.???

- Has usado la propiedad disablecontrols para esa carga masiva en el datasource ??

- Has usado la propiedad beginupdate y endupdate del cxgrid ??