Como as palavras são contadas e o que significa a porcentagem
Uma palavra é o que o segmentador de palavras do navegador encontra para o idioma escolhido (Unicode UAX #29, com dicionário para chinês, japonês e tailandês). Palavras com hífen e contrações como don’t continuam sendo uma palavra, e números contam como palavras, a menos que você desmarque Contar números. Com Ignorar maiúsculas ativado, O e o são uma só entrada, convertida para minúsculas pelas regras do idioma do texto. Em turco, İstanbul e ISTANBUL viram duas palavras diferentes, istanbul e ıstanbul, porque o I maiúsculo vira o ı sem ponto.
Em japonês, 東京都に住んでいます。東京は大きい。 dá 東京 duas vezes e 都, に, 住, んで, い, ます, は e 大きい uma vez cada; um contador que só separa por espaços conta essa frase inteira como uma palavra. O dicionário também separa as terminações verbais (住んでいます vira quatro pedaços), então o topo de uma lista em japonês costuma ter partículas como に e は, e Deixar de fora palavras comuns as esconde. No nosso teste, 1.000.000 de caracteres em japonês levaram cerca de 3,4 segundos e 1.012.000 caracteres em inglês 0,23 segundo, porque segmentar com dicionário é mais lento.
A porcentagem é a contagem de um termo dividida por todos os termos contados com as configurações atuais. Por isso, deixar de fora as palavras comuns aumenta a porcentagem das demais, e a porcentagem de uma frase é medida em relação a todas as frases do mesmo tamanho. Não indicamos uma densidade de palavras-chave ideal: os buscadores não publicaram nenhuma, e uma porcentagem mostra o quanto um texto se repete, não como ele vai ranquear. Frases só são contadas dentro de uma sentença, então a última palavra de uma sentença e a primeira da seguinte nunca formam uma frase. Com as palavras comuns de fora, uma frase não pode começar nem terminar com uma: «raposa rápida» conta, «a raposa» não.
Palavras duplicadas são a mesma palavra duas vezes seguidas, só com espaços ou uma quebra de linha entre elas, um erro fácil de deixar passar quando uma linha termina com de e a seguinte começa com de. Números são ignorados, porque 1 1 costuma ser proposital. Algumas repetições estão certas (muito muito, quase quase), então a página lista cada uma com o número da linha antes de você escolher Corrigir palavras duplicadas. O resultado em texto também pode ser cada palavra uma vez só, na ordem do primeiro uso, que é o que a maioria das pessoas entende por remover palavras repetidas.