Как объединить списки слов (удалить дубликаты)?

Question

Я редактирую длинный список уникальных слов (по одному слову в строке) в одном текстовом файле.

Я использовал Notepad++ и TextFXTools для объединения списков слов, и все работало нормально. Я добавлял новые слова в конец списка и использовал FXTools для удаления дубликатов. Это работало, пока список не стал большим, в пару миллионов слов. Notepad++ часто вылетает со списками такого размера.

Мне нужен способ добавить новый список слов в один большой список, удалить дубликаты и оставить только уникальные слова. Как мне это сделать?

Answer 1

Вы можете использовать этот инструмент из браузера HTML5: http://textmechanic.com/Big-File-Tool-Remove-Duplicate-Lines.html

Answer 2

1. Откройте Excel и перейдите в ячейку A1, введите что-нибудь в качестве заголовка.
2. Вставьте ваши записи в ячейки A2, A3, A4...
3. Выберите ячейку A1 и перейдите в Data-> Advance-> Щелкните OK, когда появится запрос.
4. Щелкни Unique Data Onlyи щелкниOK
5. Теперь в списке не должно быть дублирующихся данных.