☰

Búsqueda de registros dentro del rango de fechas

tag-icon • tag-icon text-processing date
Búsqueda de registros dentro del rango de fechas

Mi archivo de registro se parece al siguiente ejemplo:

10.434.22.334 - unauthenticated 10/Aug/2020:23:45:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 10/Aug/2020:23:45:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 11/Aug/2020:23:34:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 12/Aug/2020:23:45:43 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 13/Aug/2020:23:43:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 14/Aug/2020:23:33:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74

Quiero buscar las entradas anteriores especificando un rango de fechas, como se muestra a continuación:

./Logsearch.sh 10/Aug/2020 13/Aug/2020

Resultado Esperado:

10.434.22.334 - unauthenticated 10/Aug/2020:23:45:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 10/Aug/2020:23:45:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 11/Aug/2020:23:34:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 12/Aug/2020:23:45:43 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 13/Aug/2020:23:43:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74

¿Cómo puedo hacer esto?

¿Alguna idea de cómo escribir un script para mi consulta? El sistema operativo de mayo es Solaris 11. Proporcione un script de muestra.

Respuesta1

Parece un registro de acceso HTTP estándar, así que ¿por qué no utilizarlo greppara hacer coincidir un patrón de las fechas que desea?

$ grep '1[0-3]/Aug/2020' access_log

10.434.22.334 - unauthenticated 10/Aug/2020:23:45:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 10/Aug/2020:23:45:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 11/Aug/2020:23:34:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 12/Aug/2020:23:45:43 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 13/Aug/2020:23:43:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74

El patrón grep '1[0-3]/Aug/2020' usa la expresión de rango [0-3]. Esta expresión coincide con un solo carácter que puede tomar los valores 0,1,2,3. Combine eso con el resto de la expresión y obtendrá 10/ago/2020, 11/ago/2020, 12/ago/2020 y 13/ago/2020 como patrones posibles. grepimprimirá las líneas del registro que coincidan con estos patrones.

Respuesta2

Podrías utilizar una herramienta de texto estructurado especializada como Miller (https://github.com/johnkerl/miller) y correr

mlr --nidx then filter 'strftime(strptime($4,"%d/%b/%Y:%H:%M:%S"),"%Y-%m-%d") >="2020-08-11" && strftime(strptime($4,"%d/%b/%Y:%H:%M:%S"),"%Y-%m-%d") <="2020-08-13"' input.txt

tener

10.434.22.334 - unauthenticated 11/Aug/2020:23:34:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 12/Aug/2020:23:45:43 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 13/Aug/2020:23:43:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74

He aplicado un filtro para tener todo entre 2020-08-11y2020-08-13

Algunas notas:

  • --nidxpara configurar el formato de entrada y salida (https://bit.ly/3h3UvN3)
  • filteraplicar filtro;
  • strftime(strptime($4,"%d/%b/%Y:%H:%M:%S"),"%Y-%m-%d") >="2020-08-11"es uno de los filtros. Usando strptimeconfiguro el formato de fecha de entrada ( %d/%b/%Y:%H:%M:%S) del cuarto campo ( $4). Usando strftimecambio el formato de fecha en%Y-%m-%d

Respuesta3

Usandorakú(anteriormente conocido como Perl_6)

~$ raku -e 'my $start_date = DateTime.new("2020-08-11").in-timezone(28800);   \
            my $stop_date  = DateTime.new("2020-08-13").in-timezone(28800);   \
            my @a = lines.map: *.words; my @b = do for @a {  \
                  .[0..2],   \
                  .[3..4].join.subst(/^ (\d**2) \/ (Aug) \/ (\d**4) \: /, {"$2-08-$0T"} )   \
                  .subst(/ (\+\d**2) (\d**2) $/, {"$0:$1"} ).DateTime,  \
                  .[5..*] }; \
            .put if .[1] ~~ $start_date .. $stop_date for @b;'   file

#O:

~$ raku -e 'my $start_date = DateTime.new("2020-08-11").in-timezone(28800);  \
            my $stop_date  = DateTime.new("2020-08-13").in-timezone(28800);  \
            my @a = lines.map(*.words).map({   \
                  .[0..2], (   \
                  .[3].subst(/^ (\d**2) \/ (Aug) \/ (\d**4) \: /, {"$2-08-$0T"} ),  \
                  .[4].subst(/ (\+\d**2) (\d**2) $ /, {"$0:$1"} )).join.DateTime,   \ 
                  .[5..*] });  \ 
            .put if .[1] ~~ $start_date .. $stop_date for @a;'   file

Arriba están las respuestas escritas en Raku, un miembro de la familia de lenguajes de programación Perl. Raku tiene ISO 8601objetos DateTime integrados.

Brevemente, la Fecha/Hora en cada línea se convierte en un ISO 8601objeto DateTime. Cuando cada uno de ellos linesse divide en espacios separados por espacios en blanco words, los elementos de fecha/hora se encuentran en columnas indexadas a cero .[3]y .[4]. Estos se convierten usando substcomandos itute y joined para crear ISO 8601objetos DateTime. Luego, se prueba cada línea para ver si ese objeto DateTime se encuentra dentro del $start .. $stoprango deseado.

Entrada de muestra:

10.434.22.334 - unauthenticated 10/Aug/2020:23:45:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 10/Aug/2020:23:45:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 11/Aug/2020:23:34:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 12/Aug/2020:23:45:43 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 13/Aug/2020:23:43:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 14/Aug/2020:23:33:45 +0800 "GET /eai/random.jsp HTTP/1.1" 200 74

Salida de muestra (ambos ejemplos de código):

10.434.22.334 - unauthenticated 2020-08-11T23:34:45+08:00 "GET /eai/random.jsp HTTP/1.1" 200 74
10.434.22.334 - unauthenticated 2020-08-12T23:45:43+08:00 "GET /eai/random.jsp HTTP/1.1" 200 74

https://www.iso.org/iso-8601-fecha-y-hora-formato.html
https://docs.raku.org
https://raku.org

información relacionada