手書き帳票のAI-OCR|読める範囲と確認の設計

手書きの帳票も、AI-OCRで読み取れます。ただし「読めること」と「そのまま業務データとして流してよいこと」は、別の話です。

手書き文字のAI-OCRは、「どこまで読めるか」を知り、「どこを人が確かめるか」を先に設計したときに、はじめて業務で使える仕組みになります。本記事は、手書き帳票をデータ化するときの読める範囲と、誤読を業務に流さない確認の設計を、公式情報と弊社の実測をもとに解説します。

手書きの注文書や申込書を扱う現場からは、「手書きでも本当に使えるのか」というご相談を多くいただきます。本記事は、AI-OCRの全体像を解説した「AI-OCRとは|帳票の手入力をなくす仕組みと、失敗しない選び方」の続編として、手書きに絞って掘り下げます。

株式会社ロクシアシステムズは、福岡と東京を拠点に、全国のお客様へ Microsoft 365・Azure の導入支援と、AIの業務活用(AIプライベート)の支援を提供しているIT企業です。また、お客様専用のセキュアなAI基盤SaaSサービス「AIプライベート」シリーズとして、帳票の読み取りからシステム入力までを自動化する「AI-OCRプライベート」も提供しています。

手書きOCRとは|メモのテキスト化と、帳票のデータ化は別物

手書きOCRとは、紙に手で書かれた文字を画像から読み取り、コンピュータで扱えるテキストに変換する技術です。「手書き文字認識」とも呼ばれます。スキャナーやスマートフォンのカメラで取り込んだ画像から、文字をテキストとして取り出します。

一口に「手書きをテキスト化する」といっても、目的によって求められるものはまったく違います。

観点個人のメモ・ノートのテキスト化業務帳票(注文書・申込書など)のデータ化
欲しい結果書いた内容を全文テキストとして残す「どの欄に何が書かれているか」を項目ごとに取り出す
誤読の影響読み返して直せば済む数量や金額の誤りが、受注・請求・在庫にそのまま波及する
必要な仕組み読み取りの機能だけで足りることが多い読み取り+項目の構造化+確認・修正+基幹システムへの登録
向いている道具無料アプリやノートアプリの文字認識業務に合わせて設計したAI-OCR

個人のメモであれば、無料のアプリやノートアプリの文字認識で十分なことが多く、業務システムを用意する必要はありません。本記事が扱うのは後者、つまり手書きの帳票を業務データにする場面です。ここでは読み取りの精度だけでなく、読み違いを業務に流さない仕組みまで含めて考える必要があります。

手書きはどこまで読めるか|公式仕様と弊社の実測

弊社のAI-OCRが読み取りの基盤に使う「Azure AI Document Intelligence」は、印刷された文字と手書きの文字の両方を読み取れます。公式情報で確認できる、手書きに関わる仕様は次のとおりです。

項目公式情報で確認できる内容
手書きの対応言語読み取り(Read)・レイアウト(Layout)モデルの最新版で、日本語を含む12言語の手書きに対応
手書きかどうかの判定テキストの行ごとに「手書きのスタイルかどうか」を判定し、その確からしさ(信頼度)も返す
単語ごとの信頼度読み取った単語ごとに、位置の座標と信頼度(0〜1)を返す
推奨される入力1文書につき1枚の、鮮明な写真または高品質なスキャン
読み取れる文字の大きさ1024×768ピクセルの画像で高さ12ピクセル以上(150dpiでおよそ8ポイント相当)

一方で、Microsoftは手書きの読み取り精度を「何パーセント」とは公表していません。精度に影響する要因として、スキャンの品質、解像度、コントラスト、照明、傾き、文字の大きさ・色・密度を挙げ、実際の文書で試して適合を確かめるよう求めています。

弊社の実測でわかったこと

弊社が構築した手書き帳票の読み取りシステムやデモでは、次のような傾向を確認しています。いずれも弊社の環境と帳票での事実であり、すべての帳票に当てはまるものではありません。

  • 印字された項目名は安定して読める
    帳票にあらかじめ印刷された見出しや項目名は、手書きが混在していても安定して抽出できました。
  • 手書きの数字や氏名は、書き方や撮り方で揺れる
    「6000」を「8000」と読み違える、1つの値が複数の断片に分かれる、といった事象がありました。
  • 罫線のない手書きメモは、項目の取り出しでつまずきやすい
    文字そのものは読めても、どの文字がどの項目に当たるかの構造が取りにくく、画像を直接見る別のAIで補う必要がありました。
  • 斜めから撮った写真は誤読を招く
    台形にゆがんだ写真では誤読が増えました。平らな場所で真上から撮り、わずかに傾いている程度であれば安定しました。

つまり手書きは「読めない」わけではありませんが、印字と同じ安定感を前提にはできません。この前提に立つかどうかで、仕組みの作り方が大きく変わります。

手書きで誤読が起きやすい箇所

手書き帳票の誤読は、どこでも均等に起きるわけではありません。起きやすい箇所には傾向があり、あらかじめ知っておくと、確認の手当てを重点的に配置できます。

起きやすい箇所業務への影響手当ての方向
形の似た数字1と7、0と6、6と8、3と8数量・金額・日付が変わる検算・値の範囲チェック・要確認
訂正の書き込み二重線で消して横に書き直す、矢印で差し替える消した値と新しい値が混ざる(「5」と「3」が「53」になる等)自動で確定せず、必ず要確認
枠からのはみ出し・詰め書き欄に収まらない数字、行をまたぐ品名隣の欄や隣の行の値と混ざる行・列の構造チェック
崩し字・略記・かな品名の略記やかな書き、ひらがなの「る」と「ろ」品名や取引先名がマスタと一致しないマスタ照合・名寄せ
項目の書き分け発注者と宛先、お届け先と請求先宛先の社名を発注者として取り違える項目名の明記・取引先マスタとの照合

ここで押さえておきたいのは、Microsoftも指摘しているとおり、1文字の誤りでも、それが金額の欄にあれば帳票全体が誤りになり得るという点です。文字の単位で見れば小さな誤読でも、業務の単位で見ると影響は大きくなります。

なぜ手書きを「判定の軸」にしないのか

弊社が手書き帳票の仕組みを設計するとき、最も大切にしているのが、手書きで読み取った値を、自動処理を止めたり通したりする判定の軸にしないという考え方です。

例を挙げます。ある帳票の読み取りシステムで、手書きの金額と、チェック欄で選ばれた区分とが食い違っていたら自動処理を止める、という判定を検討したことがあります。一見合理的ですが、手書きの金額そのものが誤読されていた場合、正しい帳票まで止めてしまいます。誤読した値を正解の基準にすると、確認の仕組みがかえって誤りを生むのです。そこで弊社は、読み取りの確かさに応じて、項目ごとに役割を分けています。

項目の種類弊社の扱い
印字された項目名・帳票番号どの欄に何が書かれているかを知る、構造の手がかりにする
チェック欄(選択マーク)「1行に2つ付いている」「記入があるのに未選択」など、決まったルールで判定する材料にする
手書きの品名・取引先名マスタと照合して正式名称にそろえる。合わなければ「未照合」として人の確認へ
手書きの数量・金額・日付検算や値の範囲で確かめ、疑わしければ「要確認」。他の項目の正否を決める基準にはしない
訂正された箇所自動では確定せず、必ず人が確認する

この章の要点

  • 手書きの値は「参考」と「照合の入力」に使い、「判定の基準」には使わない
  • 自動で止める・通すの判断は、チェック欄の構造や検算など、決まったルールで確実に判定できるものに限る
  • 迷う値は、AIに推測で埋めさせず、人の確認に回す

本当の肝は確認・修正の設計|誤読を業務に流さない仕組み

手書きを扱うAI-OCRの成否は、読み取りの精度そのものより、「誤読をどこで見つけ、誰がどう直すか」の設計で決まります。Microsoftも、精度が重要な場面では信頼度を使って「自動で採用するか、人の確認に回すか」を判断できるとし、人が関与する運用を推奨しています。弊社は、この考え方を次の段取りで組み立てています。

1. 第2の読み手で突き合わせる

読み取りを1回で終わらせず、性質の異なるもう一つのAI(画像を直接見て読むビジョンAI)でも同じ帳票を読み、結果を突き合わせます。両者が一致すれば確からしさは高く、食い違えば「要確認」に回します。二重線で消して書き直した数字のような訂正も、画像を直接見るAIに読み方を指示したうえで、必ず人の確認に回します。図面での実践例は「画像PDFの図面を高精度に読み、検図まで自動化する」で紹介しています。

2. 決まったルールでチェックする

読み取った値は、AIの判断ではなく、あらかじめ決めたルールで機械的にチェックします。数量×単価=金額の検算、必須項目の有無、値が取り得る範囲、マスタとの照合などです。ルールによる判定は同じ入力に対して常に同じ結果を返すため、なぜ止まったのかを人が説明できます。マスタに合わない品名は「未照合」とし、AIに推測で埋めさせません。

3. 信頼度ゲートで振り分ける

読み取りの信頼度は0から1の値で返り、Microsoftは、たとえば0.95は「20回に19回は正しい」ことを示すと説明しています。ただし、どこでしきい値を引くかに正解はありません。Microsoftも、パイロットや検証で実際の文書の信頼度を確かめたうえで、自動処理と人の確認の境目を決めるよう勧めています。弊社は、2つの読みが一致し、ルールチェックも通り、信頼度が基準を満たした値だけを自動確定の対象にしています。

4. 人は「要確認」だけを見る

人の確認は、帳票を最初から全部見直すことではありません。要確認になった箇所だけを元の画像と並べて確かめ、必要なら直して確定します。信頼度の低い文字を色で示せば、どこを見ればよいかがひと目で分かります。確認が済むまで、その帳票は基幹システムへ連携しません。

5. 基幹システムへ登録する

確定したデータは、CSVやAPIで販売管理などの基幹システムへ登録します。後から届く変更の注文書や、同じ注文の二重送信のように、手書き帳票の現場で起こりがちな事象も、取り込み時に「新規として登録してよいか」を確かめ、変更の可能性があれば人の判断に回すことで二重登録を防げます。基幹登録までの考え方は「AI-OCRとは」で詳しく解説しています。

読み取りやすくする帳票と撮影の工夫

読み取った後の確認を軽くするには、読み取る前の工夫も効きます。帳票や撮影のルールを少し整えるだけで、要確認に回る件数を減らせます。

帳票の工夫

  • 数字は1マスに1文字ずつ書ける記入欄にし、詰め書きやはみ出しを防ぐ
  • 選べる項目は、文字で書かせずチェック欄にする
  • 「発注者」「お届け先」など項目名をはっきり印字し、どこに何を書くかを迷わせない
  • 品名は、マスタと照合しやすいよう正式名称や商品コードでの記入をお願いする
  • 訂正するときの書き方(二重線で消して横に書く、など)をあらかじめ決めておく

撮影・スキャンの工夫

  • 1枚の画像には1文書だけを写す(複数の帳票を並べて撮らない)
  • 平らな場所に置き、真上から撮る(斜めからの撮影は避ける)
  • 影・反射・手ぶれを避け、細い線や小さな数字がつぶれない解像度で取り込む

ただし、取引先から届く帳票の様式は、自社だけでは変えられないことも多いはずです。帳票を変えられない場合でも、確認の仕組みの側で吸収できるよう設計しておくことが大切です。取引先ごとに様式が異なる場合の考え方は「カスタムAI-OCRの精度を継続的に高める仕組み」で解説しています。

弊社の支援|手書き帳票を、確かめながら業務データにする

弊社は、お客様専用のセキュアなAI基盤SaaSサービス「AIプライベート」の一つとして、手書きを含む帳票の読み取りから基幹システムへの登録までを担う「AI-OCRプライベート」を提供しています。

  • お客様専用の環境で処理
    帳票はお客様専用に構築した環境で処理し、読み取りの基盤は東日本(Japan East)リージョンに置きます。第2の読み手などの生成AIも、お客様のデータの取り扱い要件に合わせて処理場所を選定します。
  • 手書きを「判定の軸」にしない確認の設計
    二重読み、検算やマスタ照合などのルールチェック、信頼度ゲートを組み合わせ、迷う値だけを人の確認に回します。
  • 基幹システムへの登録まで
    CSV・APIでの登録に加え、未照合や要確認が残る帳票を連携しない仕組みまで設計します。
  • 実際の帳票で無料トライアル
    お客様の手書き帳票を実際に読み取り、どこまで自動で確定でき、どこに確認が要るのかを確かめてから、導入をご判断いただけます。

手書きは、帳票や書き手によって結果が大きく変わります。だからこそ弊社は、精度の数値をお約束するのではなく、お客様の実際の帳票で確かめていただくことを大切にしています。サービスの詳細は「AI-OCRプライベート」を、お試しのお申し込みは「無料トライアル」をご覧ください。

よくあるご質問

こちらをクリックして「よくある質問」を表示

無料のアプリでも手書きをテキスト化できますが、AI-OCRとは何が違いますか?

個人のメモを文字にするだけなら、無料のアプリで十分なことが多いです。業務帳票では、「どの欄に何が書かれているか」を項目ごとに取り出し、誤読を見つけて直し、基幹システムへ登録するところまでが必要になります。AI-OCRは、この一連の流れを業務に合わせて組み立てる点が異なります。また、帳票には取引先や金額といった情報が含まれるため、データをどこで処理するかも選ぶときの大切な観点です。

手書き文字の読み取り精度は何%ですか?

一律の数値はお示しできません。Microsoftも手書きの精度を数値では公表しておらず、文書の品質や条件によって変わるため実際の文書で試すよう求めています。精度は書き手の癖、筆記具、帳票の様式、撮影やスキャンの質で大きく変わります。弊社では無料トライアルでお客様の実際の帳票を読み取り、自動で確定できる割合と確認が必要な箇所まで含めてご覧いただいています。

崩し字や略記も読めますか?

読み取り自体は行えますが、崩し字や略記は誤読が起きやすい部類です。品名や取引先名であれば、マスタとの照合で正式名称にそろえる方法が有効で、照合できないものは「未照合」として人の確認に回します。AIに無理に埋めさせないことが、結果として業務の正確さを守ります。

二重線で訂正された数字はどう扱われますか?

訂正箇所は、消した値と書き直した値が混ざって読み取られることがあります。弊社では、画像を直接見るAIに訂正の読み方を指示したうえで、訂正された箇所は自動では確定せず、必ず人の確認に回す設計にしています。

FAXで届く手書きの注文書にも使えますか?

使えます。FAXの画像も読み取りの対象です。ただし解像度は精度に影響する要因の一つで、FAXでは細い線や小さな数字がつぶれやすいため、スキャンした帳票より要確認が増えることがあります。検算やマスタ照合と組み合わせ、確認が必要な箇所だけを人が見る運用が現実的です。

スマートフォンで撮影した帳票でも大丈夫ですか?

大丈夫です。公式にも、1文書につき1枚の鮮明な写真または高品質なスキャンが推奨されています。弊社の実測では、斜めから撮った台形の写真で誤読が増えたため、帳票を平らな場所に置き、真上から、影や反射が入らないように撮る運用をおすすめしています。

手書き帳票のデータ化や、いまお使いの帳票でAI-OCRがどこまで使えるかのご相談は、お問い合わせよりお気軽にご連絡ください。実際の帳票を拝見したうえで、自動で確定できる範囲と、確認が必要な範囲を率直にお伝えします。

参考(一次情報):Microsoft Learn「Read model OCR data extraction」(手書きの抽出・単語ごとの信頼度・入力要件)/「Language and locale support for Read and Layout document analysis」(手書きの対応言語)/「Interpret and improve model accuracy and confidence scores」(信頼度の考え方)/「Transparency note for Document Intelligence」(精度に影響する要因・しきい値と人による確認)

関連サービス・関連コラム

まずは無料トライアルで、効果をご確認ください

「AIプライベート」は短期・低コストで試せます。帳票入力(AI-OCR)や電話受注(AI-Voice)の自動化、Azure/Microsoft 365・DXのご相談まで、お気軽にどうぞ。