শব্দ কীভাবে গোনা হয়, আর শতাংশের মানে কী
এখানে শব্দ মানে বেছে নেওয়া ভাষার জন্য ব্রাউজারের ওয়ার্ড সেগমেন্টার যা খুঁজে পায় (Unicode UAX #29, চীনা, জাপানি ও থাই-এর জন্য অভিধানসহ)। ইংরেজি don’t-এর মতো সংক্ষিপ্ত রূপ একটি শব্দই থাকে, কিন্তু হাইফেন শব্দ ভেঙে দেয়: ভাই-বোন দুটি শব্দ, ভাই আর বোন। সংখ্যাও শব্দ হিসেবে গোনা হয়, যদি না আপনি সংখ্যা গুনুন থেকে টিক তুলে দেন। বড়-ছোট হাতের অক্ষর উপেক্ষা চালু থাকলে ইংরেজির মতো লিপিতে বড় হাতের অক্ষরে শুরু হওয়া শব্দ আর ছোট হাতের একই শব্দ একটি এন্ট্রি হয়; ছোট হাতের রূপ লেখার ভাষার নিয়মে তৈরি হয়, তাই তুর্কিতে বড় I হয় বিন্দুহীন ı। বাংলায় বড়-ছোট হাতের অক্ষর নেই, আর বিভক্তিসহ প্রতিটি রূপ আলাদা শব্দ: বই আর বইটি দুটি শব্দ।
জাপানি বাক্য 東京都に住んでいます。東京は大きい。-এ 東京 দুবার, আর 都, に, 住, んで, い, ます, は ও 大きい একবার করে আসে; শুধু স্পেসে ভাগ করা কাউন্টার পুরো বাক্যকে একটি শব্দ ধরে। অভিধান ক্রিয়ার শেষাংশও আলাদা করে (住んでいます চার টুকরো হয়), তাই জাপানি তালিকার ওপরে প্রায়ই に আর は-এর মতো অব্যয় থাকে, যা সাধারণ শব্দ বাদ দিন লুকিয়ে দেয়। আমাদের পরীক্ষায় 10,00,000 জাপানি অক্ষরে প্রায় 3.4 সেকেন্ড আর 10,12,000 ইংরেজি অক্ষরে 0.23 সেকেন্ড লেগেছে, কারণ অভিধান দিয়ে ভাগ করা ধীর।
শতাংশ হলো কোনো শব্দের সংখ্যাকে বর্তমান সেটিং দিয়ে গোনা সব শব্দের সংখ্যা দিয়ে ভাগ করা। তাই সাধারণ শব্দ বাদ দিলে বাকি শব্দগুলোর শতাংশ বাড়ে, আর কোনো বাক্যাংশের শতাংশ মাপা হয় একই দৈর্ঘ্যের সব বাক্যাংশের তুলনায়। আমরা কোনো লক্ষ্য কিওয়ার্ড ডেনসিটি দিই না: সার্চ ইঞ্জিন এমন কোনো সংখ্যা প্রকাশ করেনি, আর শতাংশ জানায় লেখায় পুনরাবৃত্তি কতটা, র্যাঙ্কিং কেমন হবে তা নয়। বাক্যাংশ শুধু একটি বাক্যের ভেতরে গোনা হয়, তাই এক বাক্যের শেষ শব্দ আর পরের বাক্যের প্রথম শব্দ কখনো বাক্যাংশ হয় না। সাধারণ শব্দ বাদ দিলে বাক্যাংশ কোনো সাধারণ শব্দ দিয়ে শুরু বা শেষ হতে পারে না: «বাজার থেকে টাটকা দুধ»-এ টাটকা দুধ গোনা হয়, বাজার থেকে আর থেকে টাটকা নয়।
দ্বিরুক্ত শব্দ মানে একই শব্দ পরপর দুবার, মাঝে শুধু স্পেস বা লাইন ব্রেক। এক লাইন «এবং» দিয়ে শেষ হয়ে পরের লাইনও «এবং» দিয়ে শুরু হলে এমন টাইপিং ভুল সহজেই চোখ এড়িয়ে যায়। সংখ্যা বাদ দেওয়া হয়, কারণ 1 1 প্রায়ই ইচ্ছে করেই লেখা। কিছু দ্বিরুক্তি ঠিক (ধীরে ধীরে, পাশে পাশে), তাই দ্বিরুক্ত শব্দ ঠিক করুন বেছে নেওয়ার আগে পেজ প্রতিটি লাইন নম্বরসহ দেখায়। লেখার ফল হিসেবে প্রতিটি শব্দ একবার করে, প্রথমবার আসার ক্রমেও পাওয়া যায়, আর বেশির ভাগ মানুষ দ্বিরুক্ত শব্দ মোছা বলতে এটাই বোঝান।