¿Cómo fusionar una lista de palabras (eliminar duplicados)?

Question

Estoy editando una larga lista de palabras únicas (una palabra por línea) en un archivo de texto.

Utilicé Notepad++ y TextFXTools para fusionar listas de palabras y funcionó bien. Agregaría nuevas palabras al final de la lista y usaría FXTools para eliminar duplicados. Funcionó hasta que la lista se hizo grande, un par de millones de palabras. Notepad++ falla frecuentemente con listas de este tamaño.

Necesito una forma de agregar una nueva lista de palabras a una lista grande, eliminar duplicados y conservar solo palabras únicas. ¿Cómo puedo lograr esto?

Answer 1

Puede utilizar esta herramienta desde un navegador HTML5: http://textmechanic.com/Big-File-Tool-Remove-Duplicate-Lines.html

Answer 2

1. Abra Excel y vaya a la celda A1, ingrese algo como encabezado
2. Pega tus registros en A2, A3, A4..... Celda
3. Elija la celda A1 y vaya a Data-> Advance-> Haga clic OKcuando aparezca un mensaje
4. Haga clic Unique Data Onlyy haga clicOK
5. Ahora la lista no debería contener datos duplicados.