Como mesclar lista de palavras (remover duplicatas)?

Question

Estou editando uma longa lista de palavras exclusivas (uma palavra por linha) em um arquivo de texto.

Usei Notepad++ e TextFXTools para mesclar listas de palavras e funcionou bem. Eu adicionaria novas palavras no final da lista e usaria o FXTools para remover duplicatas. Funcionou até que a lista ficou grande, alguns milhões de palavras. O Notepad++ trava frequentemente com listas tão grandes.

Preciso adicionar uma nova lista de palavras a uma grande lista, excluir duplicatas e manter apenas palavras exclusivas. Como posso fazer isso?

Answer 1

Você pode usar esta ferramenta em um navegador HTML5: http://textmechanic.com/Big-File-Tool-Remove-Duplicate-Lines.html

Answer 2

1. Abra o Excel e vá para a célula A1, insira algo como título
2. Cole seus registros em A2, A3, A4..... Célula
3. Escolha Célula A1 e vá para Data-> Advance-> Clique OKquando um prompt aparecer
4. Clique Unique Data Onlye cliqueOK
5. Agora a lista não deve conter dados duplicados