☰

Extrahieren eindeutiger Subdomänen aus der Eingabedatei

tag-icon • tag-icon linux regular-expression
Extrahieren eindeutiger Subdomänen aus der Eingabedatei

Ich habe eine .txt-Datei mit 2 Millionen Zeilen, die URLs derselben Domain enthalten. Ich muss nur eindeutige Subdomains dieser Liste extrahieren... Das Problem ist, dass die Ausgabe bei Verwendung des folgenden Befehls die gesamten eindeutigen URLs zurückgibt. Ich muss nur eindeutige Subdomainnamen extrahieren, nicht die gesamte URL, ohne Wiederholung. Irgendwelche Tipps? Danke<3

cat all-urls.txt | grep domain.com.br | uniq -u

Ich brauche eine Ausgabe wie diese:

https://sub1.domain.com
https://sub2.domain.com
https://sub3.domain.com
https://sub4.domain.com
https://sub5.domain.com
(...)

Antwort1

cut -d/ -f3 all-urls.txt | sort -u

und dann hatte ich nicht einmal eine nutzlose Verwendung von cat.

verwandte Informationen