☰

Classificando e agrupando domínios e subdomínios

tag-icon • tag-icon shell-script text-processing utilities
Classificando e agrupando domínios e subdomínios

Existe uma maneira melhor de classificar e agrupar domínios e subdomínios? Por exemplo, o arquivo listcontendo

morefu.sub1.foo.com
www.foo.com
bar.foo.com
sub1.foo.com 
fufu.isub1.foo.com
foofoo.bar.foo.com 
morefoo.bar.foo.com
fufu.sub1.foo.com

usando

for i in $(grep -oP '(\w+).foo.com' list | sort | uniq); do grep $i list | sort; echo; done

quase funciona:

bar.foo.com
foofoo.bar.foo.com 
lotsmorefubar.bar.foo.com
morefoo.bar.foo.com

fufu.isub1.foo.com <-- should not be here
fufu.sub1.foo.com
morefu.sub1.foo.com
sub1.foo.com 

www.foo.com

com exceção de fufu.isub1.foo.comque deve estar em uma seção separada. Adicionar ^e \bà expressão grep não ajudou.

Quer saber se existe uma maneira mais precisa e eficiente de fazer isso?

Responder1

Que tal

tr -d [:blank:] < hosts |                           # remove trailing whitespace
perl -lne 'print join ".", reverse(split /\./)' |   # reverse order of fields
sort |                                              # sort
awk -F. '
  !seen[$1.$2.$3]++ && NR>1 {print ""}             # insert blank line when tld,dom,sub change
  {for (i=NF;i>1;i--) printf "%s.", $i; print $1}   # print fields in original order
'

dando

bar.foo.com
foofoo.bar.foo.com
morefoo.bar.foo.com

fufu.isub1.foo.com

sub1.foo.com
fufu.sub1.foo.com
morefu.sub1.foo.com

www.foo.com

Melhor (espero) implementação do mesmo algoritmo, usando umhash de hashem perl:

#!/usr/bin/perl

use strict;
use warnings;

my %domains = ();

while (defined($_ = <ARGV>)) {
  chomp $_ ;
  $_ =~ s/\s+//;

  my @F = reverse(split(/\./));
  my $domain = join(".", @F[0..2]);

  if ( ! exists($domains{$domain}) ) {
    $domains{$domain} = {};
  }

  $domains{$domain}{join(".", @F)}++;
}

foreach my $domain (sort keys %domains) {
  foreach my $host (sort keys %{ $domains{$domain} }) {
    print join(".", reverse(split(/\./, $host))), "\n";
  }
  print "\n"
}

Responder2

TXRLisp:

[(opip (mapcar (op tok-str @1 #/[^.]+/))
       (sort @1 : reverse)
       (partition-by (ret [@1 -3..-1]))
       (mapcar (op mapcar (op cat-str @1 ".")))
       (interpose "")
       tprint)
 (get-lines)]

Correr:

$ txr domain-sort.tl < data
bar.foo.com
foofoo.bar.foo.com
morefoo.bar.foo.com

fufu.isub1.foo.com

sub1.foo.com
fufu.sub1.foo.com
morefu.sub1.foo.com

www.foo.com

Basicamente, tokenizamos as linhas em listas de strings como ("sub1" "foo" "com")e trabalhamos com uma lista delas. Classificamos esta lista usando o inverso de seus elementos como chave; portanto, para fins de classificação, ("sub1" "foo" "com")é tratado como se fosse ("com" "sub1" "foo"). Depois disso, é uma questão de agrupamento. Isso é facilmente conseguido partition-byusando os três últimos elementos como chave de particionamento. Temos que reconstituir as strings unindo-as com ponto final e imprimir os grupos com linhas. Este último é conseguido inserindo uma string vazia entre os grupos e deixando tprintfazer o seu trabalho.

informação relacionada