☰

Дублирующиеся строки, включающие одинаковые строки после /film/

tag-icon • tag-icon bash shell duplicate
Дублирующиеся строки, включающие одинаковые строки после /film/

Объяснять сложно. Хочу начать с примера. Пожалуйста, смотрите жирный текст.

У меня очень длинный список, как в следующем списке:

http://dl3/film/**Daylights.End**.3*******************
http://dl45/film/**The.Wild.Life**.720***************
http://dl45/film/**The.Wild.Life**.10***************
http://dl3.pw/film/T**he.Wild.Life**.2*******************
http://dl45/film/**Daylights.End**.2*******************

Я хочу найти все повторяющиеся строки, которые включают одинаковые строки после /film/, но я не хочу искать строку до конца, поиск должен искать повторяющиеся строки, например, 10 или 20 символов после/film/

  • Строки после /film/него другие.
  • Метод должен выполнить поиск в списке, содержащем около 5 тысяч строк, и найти все повторяющиеся строки, а затем, после нахождения, удалить, вырезать, скопировать или отметить одну или две из них.

заранее спасибо

решение1

Пытаться

sed -n 's/^/@/' > newfile

или

sed -ni 's/^/@/'

Обе команды вставляют символ @в начало каждой строки вашей последней команды.

решение2

хорошо, вывод команды для

cat длинный-список |grep -Eo '/film/.{15}' |сортировка |uniq --repeated

это список, содержащий все повторяющиеся имена. Как теперь мне пометить все повторяющиеся строки чем-то вроде @ в начале строки?

Связанный контент