Exclua palavras repetidas entre colchetes inline

Question

Nossa entrada se parece com algo como

2012-04-17  [GBPGBP]
2012-04-13  [GBP GBP]
2012-04-13  [GBP]
2012-04-11  [GBPGBP]
2012-04-11  [GBP GBP]
2012-04-10  [GBPGBP]
2012-04-06  [GBP GBP GBP]
2012-04-17  [GBPGBP]
2012-04-13  [GBP CDN]
2012-04-13  [GBP]
2012-04-11  [GBPCDN]
2012-04-11  [GBP DL DL]
2012-04-10  [PSGBP]
2012-04-06  [PS PS]

E gostaríamos de obter resultados como

2012-04-17  [GBP]
2012-04-13  [GBP]
2012-04-13  [GBP]
2012-04-11  [GBP]
2012-04-11  [GBP]
2012-04-10  [GBP]
2012-04-06  [GBP]
2012-04-17  [GBP]
2012-04-13  [GBP CDN]
2012-04-13  [GBP]
2012-04-11  [GBPCDN]
2012-04-11  [GBP DL]
2012-04-10  [PSGBP]
2012-04-06  [PS]

Basicamente, exclua qualquer string repetida entre colchetes. Alguma sugestão?

Answer 1

sed -e ': a' -e 's/\(\[[^][]*\)\([A-Z][A-Z][A-Z]*\)\([^][]*\)\2/\1\2\3/' -e 't a'

• : adefine um rótulo no início do script.
• s/\(wibble\)\(foo\)\(bar\)\2/\1\2\3/substitui wibblefoobarfoo por wibblefoobar.
• [A-Z][A-Z][A-Z]*corresponde a duas ou mais letras
• t aretorna ao rótulo ase o scomando anterior fez uma substituição.