単語の数え方と、割合が意味するもの
このツールでの単語とは、選んだ言語用のブラウザーの単語分割機能が見つけたものです(Unicode UAX #29。中国語、日本語、タイ語は辞書を使用)。ハイフンでつないだ語やdon’tのような短縮形は1語のまま、数字も「数字を数える」のチェックを外さない限り単語として数えます。「大文字・小文字を区別しない」がオンなら、Theとtheは1つの項目になり、テキストの言語の規則で小文字にそろえます。トルコ語では大文字のIが点なしのıになるため、İstanbulとISTANBULはistanbulとıstanbulという別の単語になります。
日本語の「東京都に住んでいます。東京は大きい。」では、東京が2回、都、に、住、んで、い、ます、は、大きいが各1回になります。スペースだけで区切るカウンターでは、この文全体が1語になります。辞書は活用語尾も分けるため(住んでいますは4つに分かれます)、日本語のリストの上位には「に」「は」などの助詞が来がちで、「頻出語を除外」で隠せます。テストでは、日本語1,000,000文字に約3.4秒、英語1,012,000文字に0.23秒かかりました。辞書による分割のほうが時間がかかるためです。
割合は、ある語句の回数を、現在の設定で数えたすべての語句の数で割ったものです。そのため頻出語を除外すると残りの単語の割合は上がり、フレーズの割合は同じ長さのフレーズ全体に対して計算されます。目標となるキーワード出現率は示していません。検索エンジンはそうした数値を公表しておらず、割合からわかるのは文章の繰り返しの多さで、検索順位ではないからです。フレーズは1つの文の中だけで数えるので、ある文の最後の語と次の文の最初の語がフレーズになることはありません。頻出語を除外しているときは、頻出語で始まる・終わるフレーズも数えません(quick foxは数え、the quickは数えません)。
重複語とは、同じ単語が空白か改行だけをはさんで2回続くもので、行末のtoと次の行頭のtoのように見落としやすい入力ミスです。1 1は意図的なことが多いので、数字は対象外です。that thatやhad hadのように正しい重複もあるため、「重複語を修正」を選ぶ前に、行番号付きで1つずつ一覧にします。テキスト結果は、各単語を初出順に1回ずつ並べたものにもでき、多くの人が「重複した単語を削除」と言うときに求めているのはこの形です。