Archivo de trazas(log) gigantescos

[winzo]

Empezado por José Luis Garcí

Hola Winzo, te espongo una idea, de antemano decirte que no trabajo con java, así que pueda decir alguna burrada, pero por lo que comentas lo que quieres es que cuando, se produce un error, si es así, puedes aprovechar en lo que en delphi sería un Try Exect end, para rellenar cunado se produce la exepcion en el log, si no es el caso, lo logico, es que rellenaras el log, en la salida de la oeracion, con los datos normales, más hora de inicio y hora final fecha, etc..

Espero haberte ayudado.

Mi archivo de log pinta todas las entradas de usuario, desde comentarios basicos para ir siguiendo el flujo de actividades de cada usuario, hasta trazas de errores como dices, incluso sale la fecha, hora, minuto y segundo de la transaccion.

El problema es que cuando se genera un error y hay que rastrear el flujo del usuario para llegar a él, ya que entran a esta apliación miles de personas al mismo tiempo, lo que provoca que las trazas del archivo salgan mezcladas y sea difícil de seguir tal flujo, incluso imposible.

[[fjcg02]]

Hola,
entiendo que para seguir la traza de cualquier cosa, tendrás al menos algún campo común en cada fila; es decir, fecha, acción, resultado, ... y seguramente tendrás un usuario que realiza cada acción/transacción.

Si trabajas en un banco, tendrás un host ( Z90, o similar). El editor del host (no recuerdo el nombre) tiene una versión para windows. También hay otros editores ( no recuerdo cuales, podría ser el ultraedit o el notepad++ ) que permiten en un fichero de texto filtrado horizontal, es decir, ocultar o mostrar sólo aquellas líneas que tengan el patrón que buscas ( ip, usuario, nº de transacción, ...) . En este caso deberías buscar por ese lado, ya que además estos editores te permiten trabajar con ficheros grandes. En caso de que no encuentres esta utilidad, podrías cargar el fichero en excel y filtrar, o en su defecto, si es muy grande el fichero, cargar las líneas en una bbdd tipo acces y utilizar las opciones de filtrado que ofrece, que para este caso suelen ser suficientemente potentes.

Espero haberte ayudado.

Un saludo

[winzo]

Empezado por fjcg02

Hola,
entiendo que para seguir la traza de cualquier cosa, tendrás al menos algún campo común en cada fila; es decir, fecha, acción, resultado, ... y seguramente tendrás un usuario que realiza cada acción/transacción.

Si trabajas en un banco, tendrás un host ( Z90, o similar). El editor del host (no recuerdo el nombre) tiene una versión para windows. También hay otros editores ( no recuerdo cuales, podría ser el ultraedit o el notepad++ ) que permiten en un fichero de texto filtrado horizontal, es decir, ocultar o mostrar sólo aquellas líneas que tengan el patrón que buscas ( ip, usuario, nº de transacción, ...) . En este caso deberías buscar por ese lado, ya que además estos editores te permiten trabajar con ficheros grandes. En caso de que no encuentres esta utilidad, podrías cargar el fichero en excel y filtrar, o en su defecto, si es muy grande el fichero, cargar las líneas en una bbdd tipo acces y utilizar las opciones de filtrado que ofrece, que para este caso suelen ser suficientemente potentes.

Espero haberte ayudado.

Un saludo

Utilizo ultraedit como dices, y si, es muy útil, el problema como he dicho es que a veces es gigantesco este log no tiene una distinción particular, como ejemplo te pongo una línea del log:

ExecuteThread: '14' for queue: 'weblogic.kernel.Default'->2012-01-18 17:11:54,127 DEBUG gfi.miscuentas.controller.SeguridadFilter.doFilter(182): MENSAJEEEEEEEEEEEEEE

Como has podido observar nos entrega fecha, la clase que hizo y cosas por el estilo, lamentablemente no hay un elemento que te permita dicernir de quien hizo que cuando lo ves una línea como esta junto a otras 100000 de personas que hciieron exactamente lo mismo, se puede dar seguimiento, pero es extremadamente complicado y tedioso, basados en el ejmplo que proporcioné.

Busqué en las plantillas que existen para generar un log(pensando en poner la IP al inicio del log), pero no la hay.

[[fjcg02]]

Entiendo que es un desarrollo vuestro, o de algún area de desarrolos interna. Es difícil que os incluyan en el log los datos de usuario, ip, o lo que necesiteis para poder seguir la traza ??

Otra solución puede pasar por hacer un programa que extraiga la información que necesitas a otro fichero y puedas tratarla. Ahora, si no tienes la información, difícilmente podrás ratrearla.

Un saludo

[[José Luis Garcí]]

Por lo que entiendo es que recoges la información en un único punto, personalmente, pienso que deberías controlar el transito de información finalizada, y no por proceso, se que puede parecer engorroso, pero, el tema del usuario lo obtienes al entrar, guardándolo en un variable, por lo que puedes enviarlo al finalizar o al producirse un error, de todas maneras, creo que es mejor hacer un log para las gestiones y otro para lo errores, con oque obtienes 1 único registro en el log por operación.

supongamos que tu log guarde (es un Suponer)

Fecha H.Ini. Usuario Of. CCC Acción
------------ ------ ------ ----------- ---- --------------------------- ---------------------------------------------
12/12/2011, 10.55, A125SD5F, 185, 1252/2289/55/0211881287, Entrada en Cuenta
...(Otras operaciones)
12/12/2011, 10.58, A125SD5F, 185, 1252/2289/55/0211881287, Abono 150.28€
...(Otras operaciones)
12/12/2011, 10.59, A125SD5F, 185, 1252/2289/55/0211881287, Registro del Abono y Salida

Lo que yo te propongo sería más o menos así

Fecha H.Ini. H.Fin. Usuario Of. CCC Entrada Salida Acción
------------ ------ ------ ----------- ---- --------------------------- ------, -----, ---------------------------------------------
12/12/2011, 10.55, 10.59, A125SD5F, 185, 1252/2289/55/0211881287, OK OK Abono 150.28€

Así permitimos crear un único registro, manteniendo los datos en variables hasta la canalización

En Caso de Error lo haría así más o menos

Fecha H.Ini. H.Error Usuario Of. CCC Acción
------------ ------ ------- ----------- ---- --------------------------- ---------------------------------------------
12/12/2011, 10.55, 10.59, A125SD5F, 185, 1252/2289/55/0211881287, Error al hacer abono de 150.28€, registro no cerrado

[winzo]

José Luis, fjcg02.

Les agardezco muchos las ideas, en realidad ya había pensado las opciones que proporcionan(sobre todo la de hacer un miniprograma filtrador).

El problema de esto es que al ser una aplicación corporativa(un banco) el número de desarroladores es muy grande(no creo conocer ni al 10%), y tendría que imponerles la norma de agreguen al inicio de sus log siempre la ip, el user o alguna clave, eso es algo utópico en la práctica, esta de sobra las razones, se intuyen al mencionar el número de desarrolladores que somos, sin mencionar los que llegan y los que se van, el personal externo, etc...

En java(desconozco si en otras plataformas), hay plantillas de logueo, la que les mostré usa la fecha, hora, clase utilizada y mensaje, esto puede variar en algunos parámetros, el problema viene de que en las plantillas existentenes no hay forma de identificar la ip, usuario o cosas por el estilo automaticamente(como vosotros lo planteasteis inicialmente).

Escensialmente ese es el problema, que no se me ocurre otra forma para automatizar esto y agregar datos identificadores del tipo que ya he mencionado , tampoco podemos confiar ciegamente en los desarrolladores y su buena voluntad de hacer un buen log; Así que, el problema sigue vigente.

[[fjcg02]]

Hola de nuevo,
respecto al nº de desarrolladores que participan en el proyecto, es un poco absurdo ( perdona la expresión). Habrá un analista al que poder dirigirse para que analice esta situación y pueda proponer a los arquitectos dónde y cómo incluir el logueo de trazas. Seguramente se podrán activar y desactivar, y si hasta me apuras, activar para las operaciones de un usuario exclusivamente. Lo de los arquitectos lo digo porque seguramente la aplicación se desarrollará bajo una arquitectura adaptada a vuestro entorno, y los desarrolladores trabajarán en la capa de desarrollo utilizando funciones generales.
Si no es factible, lo tienes muy claro. Cuando haya una incidencia, les respondes que no puedes saber qué ha pasado y "santaspascuasamén", a otra cosa mariposa, ya que no puedes con la información que tienes sacar ninguna conclusión.

Un saludo