كيف تُعد الكلمات، وماذا تعني النسبة
الكلمة هنا هي ما يجده مقسّم الكلمات في المتصفح للغة المختارة (Unicode UAX #29، مع قاموس للصينية واليابانية والتايلاندية). تبقى الكلمات الموصولة بشرطة والاختصارات مثل don’t كلمة واحدة، وتُعد الأرقام كلمات ما لم تُلغِ تفعيل عدّ الأرقام. ومع تفعيل تجاهل حالة الأحرف تصبح The وthe مدخلًا واحدًا، يُحوَّل إلى أحرف صغيرة وفق قواعد لغة النص. في التركية يصبح İstanbul وISTANBUL كلمتين مختلفتين، istanbul وıstanbul، لأن الحرف الكبير I يصبح ı بلا نقطة. أما العربية فلا تعرف حالة الأحرف، لكن الكلمة الملتصقة بها حروف مثل و أو ال تُعد كلمة مختلفة، فـ الكتاب وكتاب كلمتان.
في اليابانية تعطي الجملة 東京都に住んでいます。東京は大きい。 الكلمة 東京 مرتين، و都 وに و住 وんで وい وます وは و大きい مرة لكل منها؛ أما العداد الذي يقسم عند المسافات فقط فيعد الجملة كلها كلمة واحدة. ويقسم القاموس نهايات الأفعال أيضًا (住んでいます تصبح أربع قطع)، لذا تتصدر قائمة اليابانية عادة أدوات مثل に وは، ويخفيها خيار استبعاد الكلمات الشائعة. في اختبارنا استغرق 1,000,000 حرف ياباني نحو 3.4 ثانية، و1,012,000 حرف إنجليزي 0.23 ثانية، لأن التقسيم بالقاموس أبطأ.
النسبة هي عدد مرات المصطلح مقسومًا على كل المصطلحات المعدودة بالإعدادات الحالية. لذلك يرفع استبعاد الكلمات الشائعة نسبة الكلمات الباقية، وتُقاس نسبة العبارة إلى كل العبارات التي لها الطول نفسه. لا نقدم كثافة كلمات مفتاحية مستهدفة: فمحركات البحث لم تنشر رقمًا كهذا، والنسبة تبيّن مدى تكرار النص لا ترتيبه في نتائج البحث. وتُعد العبارات داخل الجملة فقط، فلا تكوّن آخر كلمة في جملة وأول كلمة في التالية عبارة أبدًا. ومع استبعاد الكلمات الشائعة لا يجوز أن تبدأ العبارة بإحداها أو تنتهي بها: quick fox تُعد، وthe quick لا تُعد.
الكلمات المكررة هي الكلمة نفسها مرتين متتاليتين لا يفصل بينهما إلا مسافات أو فاصل سطر، وهو خطأ كتابي يسهل أن يفوتك حين ينتهي سطر بكلمة في ويبدأ التالي بكلمة في. تُتخطى الأرقام لأن 1 1 مقصودة في الغالب. بعض التكرار صحيح (that that وhad had في الإنجليزية)، لذلك تسرد الصفحة كل حالة مع رقم سطرها قبل أن تختار إصلاح الكلمات المكررة. ويمكن أن تكون النتيجة النصية أيضًا كل كلمة مرة واحدة بترتيب أول ظهور لها، وهو ما يقصده أغلب الناس بحذف الكلمات المكررة.