Les gustaria tener en DELPHI la magia de Google?

mamcx · #1 28-01-2005

Ok chicos. Estoy haciendo una conversion de codigo de Lucene, tal vez por mucho el mejor indexador de contenido open source que existe hasta la fecha (http://jakarta.apache.org/lucene/docs/index.html). Esto es lo que hace la magia en Google, Altavista y demas (no digo que Google use Lucene, sino que Lucene PERMITE lograr resultados similares).

Ya llevo unas semanas y la cosa esta buena. Me ha entusiasmado bastante esto... empeze a partir del porting de C# de http://www.dotlucene.net/ y usando el convertidor BabelCode de Borland y haciendo mucho trabajo manual estoy avanzando bastante.

Para que sirve, Kimosave

1- Busqueda de texto a velocidad de base de datos (no, MUCHO MAS!).
2- Buscadores (como Google)
3- Investigacion, Mineria de informacion, analisis dimensionales
4- Procesar informacion no estructurada, como archivos de texto, musica y videos

Porque es importante esto?

1- NO EXISTE NINGUN INDEXADOR OPEN SOURCE para Delphi. Zero, nada. Lo unico decente que existe es http://www.tamaracka.com/ (Rubicon). Aunque es MUUUYYY bueno, y es una solucion COMPLETA y me parece super bien y no me doleria pagarles, necesito es algo que me permita incrustrar la engine dentro de varios programas que estoy planeando y necesito hacer cosas locas como mineria de datos... y luego de pensarlo durante meses decidi mas bien montarme en esta vaca loca.

2- LOS INDEXADORES OPEN SOURCE EXISTENTES TIENEN NULO O LIMITADO SOPORTE PARA ESPAÑOL

Aunque mi idea es mantener 100% compatibilidad de API y capacidades con Lucene y DotLucene (para hacer comparativas, test, etc...) me interesa es avanzar el soporte a español. Es definitivo, pues soy Colombiano y me toca hablar spanish ok?. Soporte al dialecto de cada area, como Mexico, España, Ecuador, Argentina. Que los resultados realmente esten en armonia con nuestra forma de ver las cosas y no como las suponen quienes viven al norte...

3- ENSEÑA COMO HACER PROCESAMIENTO MASIVO DE DATOS. Poca gente sabe como leer un archivo de 1 GIGA con maximo desempeño, con una excelente API Orientada a objetos, de forma flexible e intercambiable. Aun si no interesa el indexador como tal, seguro que el ver como se hacen ciertas cosas les sera muy util.

4- HABRE AREAS DE CONOCIMIENTO DIFERENTES. Hasta hace un año, yo pensaba al igual que muchos, que procesamiento masivo de informacion, que Google, que buscadores, que leer archivos a nivle de muchos megas/gigas, que analisis de texto, que parsing, que indexar datos es programacion estratosferica, solo accesequible a gigantes como MS, Oracle o IBM.

Que solo manejar bases de datos lo unico posible. Pero eso NO es asi.

En este momento estoy en Alpha. Espero para terminar el mes tener compatibilidad API con la version1.4 y que el condenado programa compile 100% sin errores ni warnings... tambien estoy armando test con DUNIT y ya hay 25 que pasan ok.

CUAL ES LA TRAMPA

Sin mentirles: Estoy haciendo esto a lo IBM: Necesito la engine para mis programas comerciales pero esta sera TOTALMENTE OPEN SOURCE con licenciamiento IDENTICO AL APACHE LICENSE. Ok? No trampa por ahi... Sin embargo por otro lado, no puedo hacer esto al estilo Script kiddie de 16 años que se da el lujo de tratar a los demas de forma poco profesional y les "No te gusta, pues arregla el **** codigo!" Mi empresa dara el soporte economico para soportar el desarrollo (o sea, usara programadores propios y pagos) y nos encargaremos de mejorar la documentacion. Una vez concretemos lo que estamos soñando, mi intencion es hacer una plataforma para que los clientes nuestros y desarrolladores pueden procesar su informacion. Me parece que los proyectos open source que tienen exito (linux, apache, mysql) son aquellos que tienen respaldo comercial, sin perder el espiritu que los caracterisa.. Para que no quede duda, todo lo que haga Lucene en Java y todo el codigo que implique sera open source sin dudarlo un segundo.

La verdadera trampa es que por ahora, solo se podria usar Delphi 8 o Delphi 2005. Sin embargo ME ENCANTARIA poder portarlo a Delphi win32 (Delphi 5-7 y Delphi 2005), de hecho ya ahi algunos pinitos para esto e incluso para que quede el soporte ingles-español a nivel de mensajes de errores y demas...

Sin embargo, por ahora, la meta #1 es que el port a Delphi.NET quede 100% bien, sin errores y funcionando. Posteriormente reorganizar las cosas para que compile a Win32 (primero) y a MONO (despues). Por lo tanto, la version 1 NO TENDRA ni mejoras ni adiciones ni nada (obviamente, me refiero al nucleo. Cualquier codigo relacionado que no toque el API interno sera bienvenido)

Si se le miden, HAGANMELO SABER! Una vez termine y que quede compilando sin errores y warnings lo pongo en SourceForge.

Que se necesita ya?

1- Gente que sepa leer C# o Java. Que verifique la conversion que haya hecho y corriga... Se necesita Delphi 8/2005 con .NET

2- Gente que testee la implementacion.

Por ahora, nada mas.

Que no se puede esperar (por ahora)

1- Que funcione. Si desean algo hecho, usen Rubicon o DotLucene. Una vez se logre la version 1 obviamente dejara de existir esta limitante

2- Que arme un sitio como Google. Lucene es SOLO el indice+buscador. Es una libreria que NO SABE NADA de como se lee una pagina web o un archivo o una base de datos, Sin embargo da la flexibilidad 100% de acomodarse a las necesidades.

Que les parece?

kinobi · #2 28-01-2005

Hola,

una iniciativa muy interesante. Una consulta y un comentario:

Cita:

Empezado por mamcx

Sin mentirles: Estoy haciendo esto a lo IBM: Necesito la engine para mis programas comerciales pero esta sera TOTALMENTE OPEN SOURCE con licenciamiento IDENTICO AL APACHE LICENSE. Ok? No trampa por ahi...

¿Debemos considerar que la licencia será además de "Código Abierto" (Open Source) "Software Libre" (Free Software)?

Cita:

Empezado por mamcx

Sin embargo por otro lado, no puedo hacer esto al estilo Script kiddie de 16 años que se da el lujo de tratar a los demas de forma poco profesional y les "No te gusta, pues arregla el **** codigo!" Mi empresa dara el soporte economico para soportar el desarrollo (o sea, usara programadores propios y pagos) y nos encargaremos de mejorar la documentacion...

Me alegro que tu empresa tome ese enfoque para el desarrollo de este proyecto. El software de código abierto (y mejor aún, el software libre) no tiene porque estar reñido con la obtenención de un beneficio económico. Espero y deseo que el proyecto salga bien, tanto desde el punto de vista técnico como desde el económico y empresarial.

Sólo comentar que no estoy de acuerdo con parte de tu comentario anterior (sólo con la parte que he subrayado en el texto citado): el que un autor que pone su código a disposición pública no dé soporte sobre el mismo no implica que éste sea poco profesional. Las razones que tiene un autor para no dar soporte sobre un código de este tipo pueden ser muchas: razones legales, imposibilidad material (tiempo, recursos...) de dar ese soporte...

En realidad muchos proyectos libres no tienen soporte técnico por sus autores, sino por terceros que no tienen una relación directa con su desarrollo. Y, si me permites, en mi opinión el éxito de un proyecto de software libre está más en su calidad que en el respaldo empresarial que tenga detrás, siendo este último también importante si existe.

Saludos.

P.S. ¡Ánimo con el proyecto!

mamcx · #3 28-01-2005

Cita:

Empezado por kinobi

Hola,

una iniciativa muy interesante. Una consulta y un comentario:

¿Debemos considerar que la licencia será además de "Código Abierto" (Open Source) "Software Libre" (Free Software)?

Y yo que creia que solo los de habla inglesa se confunden con eso

. Lo liberare con la MISMA licencia de Apache. O sea que si, sera libre y sera gratis.

Cita:

Empezado por kinobi

Sólo comentar que no estoy de acuerdo con parte de tu comentario anterior (sólo con la parte que he subrayado en el texto citado): el que un autor que pone su código a disposición pública no dé soporte sobre el mismo no implica que éste sea poco profesional. Las razones que tiene un autor para no dar soporte sobre un código de este tipo pueden ser muchas: razones legales, imposibilidad material (tiempo, recursos...) de dar ese soporte...

Me referia es a la ACTITUD de ciertas personas. Queria decir, que lo vamos a asumir de la forma mas profesional posible teniendo en cuenta nuestros recursos. Para mi es claro que no se puede esperar que todos les den por contriuir como desarrolladores o testers y habra quienes lo usen desde un enfoque mas cercano al usuario final, asi como tal, es de esperar que si no podemos asumir un determinado soporte tampoco le demandaremos que sea un desarrollador...

kinobi · #4 28-01-2005

Hola,

Cita:

Empezado por mamcx

Y yo que creia que solo los de habla inglesa se confunden con eso

. Lo liberare con la MISMA licencia de Apache. O sea que si, sera libre y sera gratis.

Pues realmente no me estaba refiriendo a la gratuidad; de hecho, no creo que el software libre tenga que ser (necesariamente) gratuito. A lo que me refería es que no es lo mismo software de código abierto (open software) que software libre (free software): http://www.fsf.org/philosophy/free-s...reedom.es.html. Y no hablo en términos de gratuidad, sino de las "libertades" del software libre: http://www.fsf.org/philosophy/free-sw.es.html

Entiende que sólo estaba consultándote el tipo de licencia que vas a utilizar para el proyecto, y no criticando el mismo, sea cuál sea éste.

Saludos.

mamcx · #5 29-01-2005

Me parece buena la aclaracion. No te preocupes, que las criticas tambien me sirven, de hecho es el primer proyecto open source que vamos a hacer...

Por lo pronto, estoy avanzando mas el asunto y solo tengo lios en este momento con un codigo generado por JavaCC que se ve doloroso para portar y peor depurar... a proposito, sabes de algun equivalente a JavaCC para Delphi, que me arme el mismo codigo a partir de un "grammar"?

kinobi · #6 29-01-2005

Hola,

Cita:

Empezado por mamcx

...a proposito, sabes de algun equivalente a JavaCC para Delphi, que me arme el mismo codigo a partir de un "grammar"?

si por "armar el mismo código" te refieres al mismo código Java del parser que genera JavaCC, ni idea. Si estás hablando de un generador de analizadores sintácticos (con código Delphi), tienes la versión Delphi de CoCo/R:

http://www.scifac.ru.ac.za/coco/
http://www.tetzel.com/CocoR/
http://parserbuilder.sourceforge.net/

Saludos