词是怎样统计的,占比又代表什么
这里的“词”是浏览器针对所选语言的分词器找到的单位(Unicode UAX #29,中文、日文和泰文使用词典)。带连字符的词和 don’t 这样的缩写仍算一个词;数字也算作词,除非取消勾选“统计数字”。开启“忽略大小写”时,The 和 the 合并为一项,并按文本语言的规则转为小写。在土耳其语中,大写 I 会变成无点的 ı,所以 İstanbul 和 ISTANBUL 会成为两个不同的词:istanbul 和 ıstanbul。
以日文 東京都に住んでいます。東京は大きい。 为例,東京 出现 2 次,都、に、住、んで、い、ます、は 和 大きい 各出现 1 次;只按空格切分的工具会把整句当成一个词。词典还会切开动词词尾(住んでいます 被分成四段),所以日文列表的前几名通常是 に、は 这样的助词,用“排除常用词”即可隐藏。中文同理,“的”“了”常常排在最前。在我们的测试中,1,000,000 个日文字符约用 3.4 秒,1,012,000 个英文字符用 0.23 秒,因为基于词典的分词更慢。
占比是某个词条的次数除以当前设置下统计到的全部词条数。因此排除常用词后,其余词的占比会上升;短语的占比以所有同样长度的短语为基数。我们不给出目标关键词密度:搜索引擎从未公布过这样的数值,占比只说明文本有多重复,不能说明排名。短语只在一句话之内统计,所以上一句的最后一个词和下一句的第一个词不会组成短语。排除常用词时,短语也不能以常用词开头或结尾:quick fox 计入,the quick 不计入。
重复词是指同一个词连续出现两次,中间只有空格或换行,比如一行以 to 结尾、下一行又以 to 开头,这种笔误很容易被忽略。数字不检查,因为 1 1 往往是有意写的。有些重复是正确的(that that、had had),所以在你点击“修正重复词”之前,页面会带行号逐条列出。文本结果还可以是按首次出现顺序、每个词只出现一次的列表,这正是大多数人所说的“删除重复词”。