詞是怎樣統計的,佔比又代表什麼
這裡的「詞」是瀏覽器針對所選語言的分詞器找到的單位(Unicode UAX #29,中文、日文和泰文使用詞典)。帶連字元的詞和 don’t 這樣的縮寫仍算一個詞;數字也算作詞,除非取消勾選「統計數字」。開啟「忽略大小寫」時,The 和 the 合併為一項,並按文字語言的規則轉為小寫。在土耳其語中,大寫 I 會變成無點的 ı,所以 İstanbul 和 ISTANBUL 會成為兩個不同的詞:istanbul 和 ıstanbul。
以日文 東京都に住んでいます。東京は大きい。 為例,東京 出現 2 次,都、に、住、んで、い、ます、は 和 大きい 各出現 1 次;只按空格切分的工具會把整句當成一個詞。詞典還會切開動詞詞尾(住んでいます 被分成四段),所以日文列表的前幾名通常是 に、は 這樣的助詞,用「排除常用詞」即可隱藏。中文同理,「的」「了」常常排在最前。在我們的測試中,1,000,000 個日文字元約用 3.4 秒,1,012,000 個英文字元用 0.23 秒,因為基於詞典的分詞更慢。
佔比是某個詞條的次數除以當前設定下統計到的全部詞條數。因此排除常用詞後,其餘詞的佔比會上升;短語的佔比以所有同樣長度的短語為基數。我們不給出目標關鍵詞密度:搜尋引擎從未公佈過這樣的數值,佔比只說明文字有多重複,不能說明排名。短語只在一句話之內統計,所以上一句的最後一個詞和下一句的第一個詞不會組成短語。排除常用詞時,短語也不能以常用詞開頭或結尾:quick fox 計入,the quick 不計入。
重複詞是指同一個詞連續出現兩次,中間只有空格或換行,比如一行以 to 結尾、下一行又以 to 開頭,這種筆誤很容易被忽略。數字不檢查,因為 1 1 往往是有意寫的。有些重複是正確的(that that、had had),所以在你點選「修正重複詞」之前,頁面會帶行號逐條列出。文字結果還可以是按首次出現順序、每個詞只出現一次的列表,這正是大多數人所說的「刪除重複詞」。