Удалить повторяющиеся слова в скобках в строке

Question

Наш ввод выглядит примерно так:

2012-04-17  [GBPGBP]
2012-04-13  [GBP GBP]
2012-04-13  [GBP]
2012-04-11  [GBPGBP]
2012-04-11  [GBP GBP]
2012-04-10  [GBPGBP]
2012-04-06  [GBP GBP GBP]
2012-04-17  [GBPGBP]
2012-04-13  [GBP CDN]
2012-04-13  [GBP]
2012-04-11  [GBPCDN]
2012-04-11  [GBP DL DL]
2012-04-10  [PSGBP]
2012-04-06  [PS PS]

И мы хотели бы получить вывод вроде

2012-04-17  [GBP]
2012-04-13  [GBP]
2012-04-13  [GBP]
2012-04-11  [GBP]
2012-04-11  [GBP]
2012-04-10  [GBP]
2012-04-06  [GBP]
2012-04-17  [GBP]
2012-04-13  [GBP CDN]
2012-04-13  [GBP]
2012-04-11  [GBPCDN]
2012-04-11  [GBP DL]
2012-04-10  [PSGBP]
2012-04-06  [PS]

В основном удалите любую повторяющуюся строку в скобках. Есть предложения?

Answer 1

sed -e ': a' -e 's/\(\[[^][]*\)\([A-Z][A-Z][A-Z]*\)\([^][]*\)\2/\1\2\3/' -e 't a'

• : aустанавливает метку в начале скрипта.
• s/\(wibble\)\(foo\)\(bar\)\2/\1\2\3/заменяет wibblefoobarfoo на wibblefoobar.
• [A-Z][A-Z][A-Z]*соответствует двум или более буквам
• t aвозвращается к метке, aесли предыдущая sкоманда произвела замену.