Wie füge ich eine Wortliste zusammen (entferne Duplikate)?

Question

Ich bearbeite eine lange Liste eindeutiger Wörter (ein Wort pro Zeile) in einer Textdatei.

Ich habe Notepad++ und TextFXTools verwendet, um die Liste der Wörter zusammenzuführen, und es hat gut funktioniert. Ich habe am Ende der Liste neue Wörter hinzugefügt und mit FXTools Duplikate entfernt. Das hat funktioniert, bis die Liste groß wurde, ein paar Millionen Wörter. Notepad++ stürzt bei so großen Listen häufig ab.

Ich brauche eine Möglichkeit, einer großen Liste neue Wortlisten hinzuzufügen, Duplikate zu löschen und nur eindeutige Wörter beizubehalten. Wie kann ich das erreichen?

Answer 1

Sie können dieses Tool von einem HTML5-Browser aus verwenden: http://textmechanic.com/Big-File-Tool-Remove-Duplicate-Lines.html

Answer 2

1. Öffnen Sie Excel und gehen Sie zur Zelle A1, geben Sie etwas als Überschrift ein
2. Fügen Sie Ihre Datensätze auf A2, A3, A4 ... Zelle ein.
3. Wählen Sie Zelle A1 und gehen Sie zu Data-> Advance-> Klicken Sie OK, wenn eine Eingabeaufforderung erscheint
4. Klicken Unique Data Onlyund KlickenOK
5. Jetzt sollte die Liste keine doppelten Daten enthalten