Quiero saber que palabra esta duplicada en una linea y cuantas veces aparece en un archivo

Question

ejemplo: tengo un archivo a.txtque contiene lo siguiente:

aunt bear bear true

También tengo un archivo b.txtque contiene lo siguiente:

tru tru high

el resultado final que quiero es:

for a.txt : bear x 2
for b.txt : tru x 2

Hasta ahora sólo puedo pensar en esto:

cut -d ' ' -f1 file.txt | sort | uniq -c | head -1

Estoy bastante sin ideas

La clasificación debe realizarse en los archivos; aclaración: al introducir los archivos c.txt b.txt y.txt el contenido de b debe ser primero y el contenido de y al final

Answer 1

Aquí hay un enfoque simple y rápido que debería funcionar para nombres y contenidos de archivos arbitrarios:

$ for file in a.txt b.txt ; do 
    printf 'for %s : %s\n' "$file" "$(tr ' ' '\n' < "$file" | sort | uniq -dc)"; 
  done
for a.txt :       2 bear
for b.txt :       2 tru

O, si realmente necesitasexactamenteel formato que muestra:

$ for file in a.txt b.txt ; do 
    printf 'for %s : %s x %s\n' "$file" \
        $(tr ' ' '\n' < "$file" | sort | uniq -dc | awk '{print $2,$1}');
  done
for a.txt : bear x 2
for b.txt : tru x 2

Answer 2

$ for i in $(cat a.txt); do echo $i; done | sort | uniq -c | sort -g | tail -1
      2 bear

guion:

$ cat topword.sh
#!/bin/bash

FILENAMES=$@

for file in $@; do
    printf "$file:"
    cat $file | tr ' ' '\n' | sort | uniq -c | sort -g | tail -1
done

Producción:

$ bash topword.sh a.txt b.txt
a.txt:      2 bear
b.txt:      2 tru

Ahora aquí tienes una tarea: haz un guión bonito y fácil de leer a partir de este borrador que te di;)

Answer 3

Un simple comando awk hará la magia aquí

Primer paso ya que necesitamos calcular cuántas veces aparece una palabra en particular en un archivo

Paso 1: Crear un nuevo archivo de entrada basado en el archivo de entrada

cat input file |sed -r "s/\s+/\n/g" >inputfile_final.txt

Paso 2: Ahora el comando awk simple con matriz asociada hará magia ahora

awk '{a[$1]++}END{for(x in a){print FILENAME, x,a[x]}}' inputfile_final.txt | sort -k3 -nr| sed -n '1p'| awk '{print "for" " " $1 " " ":" $2 " " "x" " "  $NF}'

producción

for inputfile_final.txt :bear x 2


Note: I have done for 1 file same method we can follow for remaining files too