¿Es legal la automatización Web?

[[Al González]]

¡Hola a todos!

Como algunos de ustedes saben, la semana anterior inicié una investigación sobre el componente TIdHTTP para integrar automatización Web en una de mis aplicaciones Delphi.

El objetivo es proporcionarle a uno de mis clientes un mecanismo mediante el cual él pueda acceder a la página pública de uno de sus proveedores para consultar su lista de precios y así tener más y mejor información actualizada para la toma de decisiones en sus procesos de compra-venta.

El proveedor no le proporciona dicha información en ningún otro formato y mi cliente no quiere consultar producto por producto en la interfaz de usuario de dicha página. Demora demasiado en ello y sabe que podría obtener esa información en mucho menor tiempo con un sistema automático de actualización de precios que, mediante el uso del protocolo HTTP, obtenga de manera más precisa y expedita los datos buscados.

Aquí no hay ningún problema, mi cliente y el proveedor están de acuerdo en que se haga de esa manera.

Pero hablando con un colega al respecto de estas tecnologías, me surgió la siguiente duda:

¿Qué pasa si alguien desarrolla una aplicación un tanto más "ambiciosa", digamos algo que acceda a la página de una gran compañía para obtener de manera sistemática cierta información que dicha compañía publica en su sitio Web, pero esquivando ágilmente sus anuncios publicitarios y otros "obstáculos", y extrayendo mucho más información útil en muy poco tiempo, con muchos más accesos por segundo, con más tráfico hacia y desde su servidor Web?

El punto es que dicho colega, a raíz de mi caso, tuvo una idea muy buena relacionada con este tema, pero teme que la compañía en cuestión lo demande legalmente por hacer uso "inadecuado" de su sitio Web o incluso de la información que proporciona a través de él.

Ante esto, surgen las preguntas:

¿Es legal la automatización Web?

¿Cuándo sí, cuándo no?

¿Hasta dónde puede protegerse el propietario de un sitio Web para que no exploten con automatización Web la información que él mismo publica?

Mi inclinación es a que no debería considerarse ilegal ninguna automatización de procesos sin fines maliciosos (de lo contrario la innovación informática estaría atenida a los deseos de unos cuantos). Pero quisiera conocer otras opiniones al respecto para formarme un panorama más claro.

Si alguien conoce alguna ley (de cualquier país) relacionada con el tema, sería de mucha ayuda aportar síntesis y / o referencias a ellas en este lugar.

De antemano gracias por sus opiniones.

Un abrazo jurídico.

Al González.

[JXJ]

lo que tu llamas automatización web.
es bastante parecido, o mejor dicho yo creo que es igual
a lo que se hace cuando se trastrea un envio de algo por medio de UPS
en su sitio web, tienen, esa facilidad y la empresa escalabium y otros
han hecho componentes, para conocer en tiempo real donde anda
el paquete y creo hasta la unidad (camion) de UPS.

Tambien se parece a lo de hacer un software para revisar la paridad
cambiaria y enviarle, a el sitio web, dijamos el de finanzas de yahoo.

CAsi lo miso es al realizar una consulta hacia el google. el yahoo, o el msn
como motores de busqueda.

dicha automatización ???!!! tambien esta en los clientes de terceros,
tipo opensource o free(de no pago), para los clientes oficiales de mensajeria.

[[egostar]]

Hola Al,

A partir de lo que comenta JXJ, entré a la página de Fedex y vi que entre otras cosas se menciona la parte de automatización.

En la sección 2 de esta página puedes ver lo que dice al respecto, espero te ayude de algo.

Saludos.

[[seoane]]

Aquí va mi opinión. Si se accede a un sitio publico de internet, en principio, nadie te obliga a hacerlo con ningún software en concreto, nadie te dice si usar opera, explorer o firebird y a todos los efectos tu software es como otro navegador mas. Quitar los anuncios seria tan ilegal en tu caso, como para cualquier extensión del firebird o proxy que haga lo mismo, es decir, no es ilegal. Otra cosa es que para acceder a la pagina hubieras aceptado una serie de condiciones legales en las que se dejase especificado que software se debe de usar para entrar a ese sitio.

Por otra parte vendría el copyright. La mayoría de contenidos de los sitios web tienen copyright, así que si por medio de nuestro software accedemos al catalogo de una empresa y con la información obtenida hacemos un catalogo en un Cd, por ejemplo, y lo distribuimos estaríamos violando la ley al distribuir un material que no nos pertenece. Pero si nuestro software es solo para uso privado, no le veo nada ilegal, si no hay ni distribución, ni lucro, ni intención de hacer daño no creo que exista delito.

Algún abogado en la sala

PD: En el caso de UPS y Google, si no me equivoco, existe una api para integrar esas funciones en los programas, sin tener que destripar su sitio web

[dec]

Hola,

Yo lo que me pregunto es por qué, si tu cliente y su proveedor están de acuerdo y lo consideran una cosa buena (un valor añadido) no implementan en su sitio Web algún API o Servicio que permitiera consultar la información que precisas. Ganaría tu cliente, ganaría su proveedor y aún podrías ganar tú algo si te encargarsen dicho trabajo a ti.

Piensa que las páginas Web sufren cambios, y lo que hoy puedes acceder por medio la variable X mañana no podrás hacerlo de la misma forma, porque habrán podido cambiar dicha variable por otra Y. Naturalmente, al llevar a cabo algún programa o página Web o Servicio para consultar la información en la forma que os interesa, los cambios habrían de ser tenidos en cuenta, de manera que los desarrolladores (como tú) pudieran tener más o menos seguridad de que su aplicación va a funcionar.

[[Al González]]

¡Hola a todos!

Antes que nada agradezco a David, JXJ, Eliseo y Domingo por sus respuestas.

Empezado por JXJ

... la empresa escalabium y otros
han hecho componentes, para conocer en tiempo real donde anda
el paquete y creo hasta la unidad (camion) de UPS.

Tambien se parece a lo de hacer un software para revisar la paridad
cambiaria y enviarle, a el sitio web, dijamos el de finanzas de yahoo.

CAsi lo miso es al realizar una consulta hacia el google. el yahoo, o el msn
como motores de busqueda.

dicha automatización ???!!! tambien esta en los clientes de terceros,
tipo opensource o free(de no pago), para los clientes oficiales de mensajeria.

Así es. Como ven, este tipo de automatización Web es algo que se utiliza con frecuencia.

Empezado por egostar

... entré a la página de Fedex y vi que entre otras cosas se menciona la parte de automatización.

En la sección 2 de esta página puedes ver lo que dice al respecto...

Interesante:

The use of automated dial-in or inquiry devices to obtain information through fedex.com is strictly prohibited.

[El uso de dispositivos de acceso o indagación automáticos para obtener información a través de fedex.com está estrictamente prohibido.]

Me parece que la cuestión va a radicar ahí, en que quizá no hay ninguna ley explícita al respecto, sino que cada sitio Web puede o no tener una cláusula en su sección Legal con las restricciones que su propietario juzgue convenientes.

Empezado por dec

…lo que me pregunto es por qué, si tu cliente y su proveedor están de acuerdo y lo consideran una cosa buena (un valor añadido) no implementan en su sitio Web algún API o Servicio que permitiera consultar la información que precisas. Ganaría tu cliente, ganaría su proveedor y aún podrías ganar tú algo si te encargarsen dicho trabajo a ti...

Claro David, lo veo de la misma forma, sólo que muchas veces lo ideal para uno carece de factores que sólo son tangibles por quienes toman las decisiones. En el caso planteado no hay vuelta atrás. Cabe aclarar de nueva cuenta que la preocupación de la cual brota este hilo concierne a un caso distinto, el de un colega que me expresó su idea de crear una herramienta de similar funcionamiento.

Empezado por dec

…Piensa que las páginas Web sufren cambios, y lo que hoy puedes acceder por medio la variable X mañana no podrás hacerlo de la misma forma, porque habrán podido cambiar dicha variable por otra Y. Naturalmente, al llevar a cabo algún programa o página Web o Servicio para consultar la información en la forma que os interesa, los cambios habrían de ser tenidos en cuenta, de manera que los desarrolladores (como tú) pudieran tener más o menos seguridad de que su aplicación va a funcionar.

Desde luego, lo tengo considerado desde el comienzo.

Por aquí seguimos.

Un abrazo legal.

Al González.

[mamcx]

El temor #1 es que automatizar un sitio puede destrozarlo en pocos segundos, si se hace bajo la filosofia normal (hacer el programa lo *mas* rapido posible).

Lo que estas haciendo es un webcrawler / screen scraping. No hay nada extraño alli, pero es importante que conozcas las buenas costumbres que deben seguir quienes hacemos de esto:

http://www.searchtools.com/robots/robot-checklist.html

He hecho unos cuantos programas de estos (o usado) y mientras mantengas las normas de cortesia y mantengas los gastos de recuersos a un nivel aceptable, todo bien.

Por ejemplo, para un trabajo reciente monte mi crawler en un servidor VPS y lo deje corriendo por dias. DIAS. El codigo pudo barrer con el sitio en unos 70 minutos pero la verdad? Es innecesario.

Por otro lado, si esta seriamente pensando en hacer un crawler generico date varias bofetadas en la cara y mirate todas las peliculas de terror que puedas haber si escarmentas Es un asunto muy serio y, mejor dicho, muy complicado (pero no necesariamente muy demorado, algo complicado se puede resolver rapido).... empezando por el hecho que la mayoria de los sitios se hacen con desconocimiento de los estandares a todo nivel (html, http, dns, y sentido comun) y que la mayoria de los sitios presumen que seran vistos por un humano y no por una maquina, lo que conlleva a varias "sorpresas" que reversan los conceptos que uno suponen aplicarian a este tipo de software.

Entre otros, seria muy buena idea mezclar un crawler con un saneador html y otra serie de programas de ayuda...

Este libro me parecio excelente:

http://www.amazon.com/Mining-Web-Hyp.../dp/1558607544

Y seria bueno que leyeras bastante antes de entrarle serio.

[[AzidRain]]

No hay ninguna legislación al respecto, ni a nivel mundial ni a nivel de los paises. Cuando algún contenido se coloca en un sitio web, en automático se convierte en público (manteniendo los copyrights por supuesto) y puede ser consultada por quien sea y de la forma que mejor le convenga.

Lo que tu quieres hacer es como ya te dijeron un crawler, robot o araña, como muchos que ahi por ahi (el mismo google usa uno para consultar las paginas y armar indices) y es totalmente legal mientras no hagas uso indebido de la información que obtengas. Por otro lado, el catálogo en cuestion, supongo que no está a disposición del público sino solo a distribuidores o algo así por medio de una clave que se le da. De manera que sigue siendo perfectamente legal hacerlo así más aun cuando se tiene el permiso de consultar la información por medio de la llave.

Lo que si puede pasar es que el dueño del sitio web decida que no quiere permitir este tipo de accesos y: 1.-cancele la clave de tu cliente 2.- instale alguna forma de protección para evitar que los datos se obtengan de otra forma que no sea mediante un browser.

Claro que como dicen tambien en otros mensajes, tampoco se vale abusar y por ejemplo crear una aplicación que se la pase "dandole trabajo" al servidor haciendo miles de consultas innecesarias pues podría bloquearlo o de plano tirarlo. Algunas empresas de hosting imponen restricciones de tráfico a los sitios de sus clientes por lo que podrías fácilmente exceder el tráfico de un mes en unas horas y dejar fuera de línea el sitio en cuestion hasta que termine el mes y se reinicie el contador.