如何從很長的短語清單中刪除重複的短語？

Question

我有一台運行 Mountain Lion 的新 iMac，並且正在使用 Word 2008。每個短語都在單獨的行上，並且每行都以硬回車結束。我嘗試在“尋找和替換”對話框的“查找內容：”字段中輸入^([^\n]+)\n\1，希望它能找到並刪除所有重複的短語，但我收到一條錯誤訊息：「 ^( 不是「尋找內容」框的有效特殊字元。「任何幫助將不勝感激。聽起來我想做的事情相對簡單。是嗎？--帕特

Answer 1

選項1

我假設，既然你有 Word，你也有Excel。如果是這種情況，您可以使用 Excel 來實現您想要的：

• 將短語清單從 Word 複製並貼上到 Excel 電子表格中。

• 按照這個簡短指南使用過濾器隔離獨特的短語。

• 反白顯示 Excel 中產生的短語清單並將其複製並貼上回 Word 文件中。

選項2

如果您的資訊不“敏感”，您可以使用以下線上工具：

http://www.textfixer.com/tools/remove-duplicate-lines.php

:-) 米

Answer 2

我不知道如何在 Word 中執行此操作，但從命令列執行很容易：

sort -u < phrases.txt > phrases-sorted-unique.txt

或者，如果重複的短語已經在連續行上，只需：

uniq < phrases.txt > phrases-unique.txt