テキストから連続していない重複単語を自動的に削除する方法はありますか?

Question

自動的に削除する方法はありますか？非連続テキストからの（連続した）重複した単語ですか?

これは単なる単純なテキストです。最終的な結果は、すべての単語 (ハイフンを含む、スペースや句読点で区切られた文字の塊) が 1 回だけ出現するテキストになるはずです。したがって、意味には興味がなく、単語数と繰り返しがないことにのみ興味があります。ありがとうございます。