☰

Сортировка и группировка доменов и поддоменов

tag-icon • tag-icon shell-script text-processing utilities
Сортировка и группировка доменов и поддоменов

Есть ли лучший способ сортировки и группировки доменов и поддоменов вместе? Например, файл, listсодержащий

morefu.sub1.foo.com
www.foo.com
bar.foo.com
sub1.foo.com 
fufu.isub1.foo.com
foofoo.bar.foo.com 
morefoo.bar.foo.com
fufu.sub1.foo.com

с использованием

for i in $(grep -oP '(\w+).foo.com' list | sort | uniq); do grep $i list | sort; echo; done

почти работает:

bar.foo.com
foofoo.bar.foo.com 
lotsmorefubar.bar.foo.com
morefoo.bar.foo.com

fufu.isub1.foo.com <-- should not be here
fufu.sub1.foo.com
morefu.sub1.foo.com
sub1.foo.com 

www.foo.com

за исключением fufu.isub1.foo.comтого, что должно быть в отдельном разделе. Добавление ^и \bк выражению grep не помогло.

Хотите узнать, есть ли более точный и эффективный способ сделать это?

решение1

Как насчет

tr -d [:blank:] < hosts |                           # remove trailing whitespace
perl -lne 'print join ".", reverse(split /\./)' |   # reverse order of fields
sort |                                              # sort
awk -F. '
  !seen[$1.$2.$3]++ && NR>1 {print ""}             # insert blank line when tld,dom,sub change
  {for (i=NF;i>1;i--) printf "%s.", $i; print $1}   # print fields in original order
'

давая

bar.foo.com
foofoo.bar.foo.com
morefoo.bar.foo.com

fufu.isub1.foo.com

sub1.foo.com
fufu.sub1.foo.com
morefu.sub1.foo.com

www.foo.com

Лучшая (я надеюсь) реализация того же алгоритма с использованиемхэш хэшейна перле:

#!/usr/bin/perl

use strict;
use warnings;

my %domains = ();

while (defined($_ = <ARGV>)) {
  chomp $_ ;
  $_ =~ s/\s+//;

  my @F = reverse(split(/\./));
  my $domain = join(".", @F[0..2]);

  if ( ! exists($domains{$domain}) ) {
    $domains{$domain} = {};
  }

  $domains{$domain}{join(".", @F)}++;
}

foreach my $domain (sort keys %domains) {
  foreach my $host (sort keys %{ $domains{$domain} }) {
    print join(".", reverse(split(/\./, $host))), "\n";
  }
  print "\n"
}

решение2

ТХРЛисп:

[(opip (mapcar (op tok-str @1 #/[^.]+/))
       (sort @1 : reverse)
       (partition-by (ret [@1 -3..-1]))
       (mapcar (op mapcar (op cat-str @1 ".")))
       (interpose "")
       tprint)
 (get-lines)]

Бегать:

$ txr domain-sort.tl < data
bar.foo.com
foofoo.bar.foo.com
morefoo.bar.foo.com

fufu.isub1.foo.com

sub1.foo.com
fufu.sub1.foo.com
morefu.sub1.foo.com

www.foo.com

По сути, мы токенизируем строки в списки строк, например ("sub1" "foo" "com"), и работаем со списком из них. Мы сортируем этот список, используя обратную часть его элементов в качестве ключа; поэтому для целей сортировки ("sub1" "foo" "com")рассматривается так, как если бы это было ("com" "sub1" "foo"). После этого дело за группировкой. Этого легко добиться с помощью partition-by, используя последние три элемента в качестве ключа разбиения. Нам нужно восстановить строки, соединив их точкой, и вывести группы со строками. Последнее достигается путем вставки пустой строки между группами и предоставления возможности tprintсделать свою работу.

Связанный контент