メインコンテンツへ移動

次に使うツールを探す

準備して、確認して、書き出す

Unicode検査と見えない文字のチェック

スペース、結合子、結合文字、制御文字を含め、文字列に実際に何が入っているかを調べます。元のテキストを変更せずに、各コードポイントを検査し、正規化をプレビューできます。

テキストワークスペースを読み込み中…

メリット

  • 見える書記素、Unicodeのコードポイント、保存単位を区別して確認できます。
  • よくある隠れた文字を明らかにし、検査したすべての行を書き出せます。
  • 手を加えていない元のテキストを残したまま、正規化の形式を比較できます。

こんなときに役立ちます

  • コピーしたテキストが完全一致で失敗する原因を調べます。
  • OCRで抽出したテキストから、ノーブレークスペースやゼロ幅文字を見つけます。
  • 文書を準備する前に、結合アクセントや絵文字の並びを確認します。

このツールの使い方

  1. テキストを貼り付けるか、UTF-8のTXTをインポートするか、サンプルを読み込みます。
  2. 合計とページ分けされた表を確認します。必要に応じて、制御文字、区切り文字、結合文字で絞り込みます。
  3. 正規化の形式を選び、そのプレビューを変更前の元のテキストと比較します。
  4. レポートをダウンロードするか、どちらかのテキストを保存するか、正規化したプレビューで作業を続けます。

見える文字に、複数のコードポイントが含まれていることがある

ふたつの文字列が同じに見えても、異なる並びを含んでいることがあります。文字éは、合成済みのひとつの文字として保存される場合と、eに結合アクセント(アキュート)が続く形で保存される場合があります。人間にはどちらも一文字に見えます。生の文字列比較を行うソフトウェアには、違いとして認識されることがあります。この検査ツールは、コードポイントとUTF-16のオフセットを表示するため、疑わしい単語を何度も打ち直さずに、その違いの場所を特定できます。

書記素クラスターは、人が通常ひとつの文字として認識するまとまりを表します。絵文字の並びや結合文字を調べるときに役立ちます。UTF-8のバイト数は、別の問いに答えるものです。つまり、エンコードしたときにテキストがどれだけの容量を占めるかです。表には、各コードポイントのバイト表現が一覧表示されます。書記素の合計を表示できるかどうかは、ブラウザの分割サポートによって決まります。

見えない文字のすべてが間違いというわけではありません。ノーブレークスペースは、特定の位置で改行されるのを防ぎます。結合子は、インド系文字の字形に影響したり、絵文字を結合してひとつの表示にしたりします。方向制御文字は、方向の混在したテキストの表示方法に影響します。この検査ツールは、よくある制御文字にラベルを付け、その他の書式文字を分類しますが、Unicodeの公式な文字名をすべて提供することや、悪意のある意図を検出することは主張しません。

正規化は、明示的なプレビューです。NFCとNFDは、正準合成と正準分解を扱います。NFKCとNFKDは、互換マッピングも適用するため、全角形のように、残したかった区別が失われることがあります。使用する前に結果を確認してください。元のテキストは引き続き利用でき、見えない文字の一括削除は行われません。隠れた文字は、テキストがAIによって書かれたことの確かな証拠にはなりません。

形式・制限・プライバシー

  • 入力は20,000 UTF-16コード単位、UTF-8のTXTファイルは各1 MiBまでです。
  • 表は100行ずつページ分けして表示されます。レポートには、検査したすべての行が含まれます。
  • 対にならないサロゲートは検査できますが、有効なUTF-8のテキストとして書き出すことはできません。
  • 完全なUnicode名のデータベース、作成者の検出、紛らわしい文字のセキュリティ監査は含まれていません。

これらのツールはテキストをローカルで処理します。下書きの自動保存はありません。ページを離れる前に大切な作業はダウンロードしてください。一時的なファイルの引き継ぎは30分で期限切れになります。

よくあるご質問

これですべての見えない文字を削除できますか?

いいえ。字形、間隔、方向のために欠かせないものもあります。このツールは、それらを明らかにし、気づかないうちに削除することなく、正規化をプレビューします。

バイトの合計と文字の合計が異なるのはなぜですか?

書記素には、複数のコードポイントが含まれることがあります。有効な各コードポイントには、UTF-8で一バイトから四バイトが必要です。UTF-16のコード単位は、別の保存の尺度です。

隠れた文字は、AIが書いた証拠になりますか?

いいえ。コピーしたテキスト、タイポグラフィ、多言語の文章では、自然に発生します。これは文字の検査ツールであり、作成者の検出ツールではありません。

文書のワークフローを続ける

テキストを引き継ぐにはワークスペース内の「続ける」ボタンを使ってください。これらのリンクは新しい空のツールを開きます。