JP2021182328A - 文字認識装置及び文字認識方法 - Google Patents
文字認識装置及び文字認識方法 Download PDFInfo
- Publication number
- JP2021182328A JP2021182328A JP2020088261A JP2020088261A JP2021182328A JP 2021182328 A JP2021182328 A JP 2021182328A JP 2020088261 A JP2020088261 A JP 2020088261A JP 2020088261 A JP2020088261 A JP 2020088261A JP 2021182328 A JP2021182328 A JP 2021182328A
- Authority
- JP
- Japan
- Prior art keywords
- character
- recognition
- image
- character image
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 48
- 238000012545 processing Methods 0.000 claims abstract description 89
- 230000003068 static effect Effects 0.000 claims abstract description 9
- 238000009499 grossing Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 16
- 239000003758 nuclear fuel Substances 0.000 claims description 4
- 239000002994 raw material Substances 0.000 description 19
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 238000012804 iterative process Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
Description
その他の手段については、発明を実施するための形態のなかで説明する。
図1は、文字認識装置1の構成等を示す図である。文字認識装置1は、一般的なコンピュータであり、中央制御装置11、マウス、キーボード等の入力装置12、ディスプレイ等の出力装置13、主記憶装置14、補助記憶装置15及び通信装置16を備える。これらは、バスで相互に接続されている。補助記憶装置15は、画像見本31、認識モデル32及び教師付き学習データ33(いずれも詳細後記)を格納している。
図2は、文字が撮像される現場を説明する図である。容器41内に複数の原料(棒状のケースに入った確認対象物)5が配置されている。容器41内に、水42が貯留されており、その水位は、原料5を完全に水没させる程度に高い。防水仕様のカメラ3が原料5の外側に記載された文字を撮像している。当該文字は、例えば原料を一意に特定する識別子(原料ID)である。なお、ここの“原料”は、確認対象物の一例であり、確認対処物は、例えば、水没した原子力燃料であってもよい。原子力発電所の長い運用期間において、燃料はしばしば点検され交換される。その際の管理を徹底するために、水没した原子力燃料を正確に識別するニーズが存在する。
図3は、画像見本の一例である。画像見本43は、図2のカメラ3が原料5を撮像した結果の画像である。図3を見ると以下のことがわかる。なお、説明の便宜上、本実施形態では、文字及び数字を(広義の)文字と呼ぶ。
・文字“0(ゼロ)”の一部に、汚れ44bが付着している。その結果、この文字が数字の“0”であるのか、それとも、アルファベットの“O”であるのかが認識しにくくなっている。
2次元に整列している画素値を、ある規則に基づき変更することができる。ある画素値とその周囲の画素値との差分を拡大する処理は、鮮鋭化処理と呼ばれる。例えば境界を明確にするために鮮鋭化処理がなされる。その反対に、ある画素値とその周囲の画素値との差分を縮小する処理は、平滑化(ぼかし)処理と呼ばれる。例えば、ノイズを消去するため又は他の部分を強調するために、平滑化処理がなされる。
ある画素を平滑化又は鮮鋭化するために、当該画素を中心としその周囲の画素を含むn×n(n=3、5、9、・・)の行列が使用される。本実施形態において、この行列に対して係数“k”を乗算したものは、 “オペレータ”とも呼ばれる。本実施形態のオペレータは、“平滑化オペレータ”及び“鮮鋭化オペレータ”の2種類である。
ユーザにとって、見本画像のうち平滑化又は鮮鋭化するべき部分を決定することは容易でない。文字認識装置1が、汚れ等の静的ノイズの部分を鮮鋭化し、気泡等の動的ノイズの部分を平滑化するのが効果的である。さらに、文字認識装置1が、見本画像の全体を一旦試験的に平滑化し、その結果文字認識が困難になった部分を選択的かつ最終的に鮮鋭化するのも効果的である。
本実施形態の認識モデル32は、一般的なニューラルネットワーク(図示せず)である。認識モデル32は、入力層、出力層、及び、複数の中間層を有する。各層は、複数のノードを有する。ノードは、自身が受け取った情報を、出力側の次の層の各ノードに伝搬する。このとき、どのノードにどれだけの情報を伝搬するかを示したものが“重みベクトル”である。重みベクトルは、入力層及び中間層の各ノードについて定義される。“重みベクトル”は、一般的に“パラメータ”と呼ばれる。文字認識装置1は、教師付き学習データ33を使用して、パラメータを最適化する(詳細後記)。
以降で処理手順を説明する。処理手順は2つ存在し、それらは、学習処理手順及び認識処理手順である。認識処理手順を開始する前提として、学習処理手順が少なくとも1回終了しているものとする。
図4は、学習処理手順のフローチャートである。
ステップS101において、文字認識装置1の画像入力部21は、見本画像を受け付ける。具体的には、画像入力部21は、文字を撮像した見本としての画像をユーザが入力装置12を介して入力するのを受け付ける。ここで入力される画像(以降“見本画像”とも呼ぶ)の枚数は、多ければ多いほどよいが、例えば数百枚程度である。
第3に、鮮鋭化処理部22は、平滑化オペレータを使用して、ステップS103の“第2”において指定された平滑化対象部分を平滑化する。
なお、鮮鋭化処理部22は、ユーザの指定を受け付けるまでもなく、自動的に平滑化対象部分を抽出してもよい。“k=0”である場合、ステップS103は、省略され得る。
第2に、鮮鋭化処理部22は、鮮鋭化オペレータを使用して、ステップS104の“第1”において指定された鮮鋭化対象部分を鮮鋭化する。
なお、鮮鋭化処理部22は、ユーザの指定を受け付けるまでもなく、自動的に鮮鋭化対象部分を抽出してもよい。なお、鮮鋭化対象部分の抽出のために試験的に平滑化を行う変形例1を後記する。“k=0”である場合、ステップS104は、省略され得る。
・原料5に、その位置特有の陰が落ちる。
・原料5に、使用中のカメラ3に特有の歪が反映される。
このような場合、ノイズ重畳部24は、見本画像のうちユーザが指定した部分(第3の部分)に、一様なノイズを重畳する。ステップS105は、省略されてもよい。
〈タイプ1〉1又は複数の部分が平滑化されている。
〈タイプ2〉1又は複数の部分が鮮鋭化されている。
〈タイプ3〉1又は複数の部分が平滑化されており、他の1又は複数の部分が鮮鋭化されている。
〈タイプ4〉平滑化又は鮮鋭化されている部分がない。
なお、タイプ1〜4のいずれにおいても、1又は複数の部分にノイズが重畳されている場合と、重畳されていない場合がある。
第2に、学習処理部25は、画像見本と認識結果(推定値)との組合せを、画像見本の数だけ一時的に主記憶装置14に記憶する。
認識精度=“一致”の数/(“一致”の数+“不一致”の数)
なお、ステップS111において損失関数値を使用する変形例2を後記する。
第2に、学習処理部25は、特定した認識精度が所定の閾値以上である場合(ステップS113“Yes”)、処理中の係数“k”の値、及び、ステップ113の“第1”において特定した認識精度に対応するパラメータを保持してステップS115に進む。学習処理部25は、それ以外の場合(ステップS113“No”)、ステップS114に進む。
ステップS104において、第1に、鮮鋭化処理部22は、見本画像のうち既に平滑化された平滑化対象部分以外の全ての部分に対し平滑化処理を行う。ここで平滑化処理が行われた部分を“試験平滑化部分”と呼ぶ。
第2に、鮮鋭化処理部22は、ユーザが試験平滑化部分のうち、文字等を認識することが困難になった箇所を鮮鋭化対象部分として指定するのを受け付ける。もちろん、鮮鋭化処理部22は、ユーザの指定を受け付けるまでもなく、自動的に試験平滑化部分から鮮鋭化対象部分を抽出してもよい。鮮鋭化処理部22は、周辺の画素値との差が小さい画素値が存在する部分を鮮鋭化対象部分とする。
前記のステップS111において算出された認識精度は、“一致”及び“不一致”を2値的に評価した結果であり、“惜しい不一致”の内容を連続的な数値として評価していない。学習処理部25は、以下の損失関数値を使用して、不一致の内容を連続的な数値として評価してもよい。以降、まず損失関数値を定義し、次に損失関数値の各項を説明する。
+領域に対象物があった場合の、対象物の横幅及び高さの誤差
+領域に対象物があった場合の、領域の信頼度の誤差
+領域に対象物がなかった場合の、領域の信頼度の誤差
+領域に対象物があった場合の、対象物の属性の誤差
〈右辺の第1項に関して〉
カメラ3の視野(領域)内における、対象物(例えば、原料IDが記載された長方形のプレート)の中心のx,y座標値
〈右辺の第2項に関して〉
カメラ3の視野内における、対象物の横幅及び大きさ
〈右辺の第3項及び第4項に関して〉
カメラ3の視野内における、対象物の有無
〈右辺の第5項に関して〉
認識すべき情報(例えば原料ID)
前記の例では、教師付き学習データは、平滑化処理又は鮮鋭化処理が行われた見本画像のみを含み、その元となった見本画像を含んでいない。しかしながら、教師付き学習データは、処理後の見本画像に加えて、元の見本画像を含んでもよい。
図5は、認識処理手順のフローチャートである。
ステップS201において、文字認識装置1の文字認識部26は、認識対象の画像を受け付ける。具体的には、文字認識部26は、認識対象としての画像(どのような文字が撮像されているかが未知である画像)をユーザが入力装置12を介して入力するのを受け付ける。
第2に、文字認識部26は、認識結果(例えば、原料ID)を出力装置12又は端末装置2に表示する。その後、認識処理手順を終了する。
前記では、繰り返し処理の結果、学習処理部25は、最終的にkの値を1つに定める。しかしながら、学習処理部25は、最終的なkの値を、k1、k2、k3、・・・のように複数の値としてもよい。
前記では、同じ値の“k”が同時に平滑化オペレータ及び鮮鋭化オペレータに含まれる例を記載した。しかしながら、ある値の“k”が平滑化オペレータに含まれ、それと同時に、他の値の“k”が鮮鋭化オペレータに含まれてもよい。つまり、平滑化の程度と鮮鋭化の程度は、独立していてもよい。
本実施形態の文字認識装置の効果は以下の通りである。
(1)文字認識装置は、見本画像に対して平滑化処理及び鮮鋭化処理を同時に行うことができる。
(2)文字認識装置は、係数を使用して平滑化の程度及び鮮鋭化の程度を制御することができる。
(3)文字認識装置は、見本画像に傾向的なノイズを重畳することができる。
(5)文字認識装置は、連続的な認識精度に対して所定の基準を適用することができる。
(6)文字認識装置は、平滑化の程度及び鮮鋭化の程度を複数混在させることができる。
(7)文字認識装置は、静的なノイズ及び動的なノイズが混在する画像を高い精度で認識することができる。
(8)文字認識装置は、水中の文字を正確に認識することができる。
(9)文字認識装置は、水没した原子力燃料に記された文字を正確に認識することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。
2 端末装置
3 カメラ
4 ネットワーク
11 中央制御装置
12 入力装置
13 出力装置
14 主記憶装置
15 補助記憶装置
16 通信装置
21 画像入力部
22 鮮鋭化処理部
23 係数制御部
24 ノイズ重畳部
25 学習処理部
26 文字認識部
31 画像見本
32 認識モデル
33 教師付き学習データ
Claims (10)
- 見本としての文字画像の第1の部分を平滑化するとともに、前記文字画像の第2の部分を鮮鋭化する鮮鋭化処理部と、
前記平滑化した文字画像及び前記鮮鋭化した文字画像を教師付き学習データとして、文字画像から文字を認識する認識モデルを学習する学習処理部と、
前記学習した認識モデルを使用して、認識対象としての文字画像から文字を認識する文字認識部と、
を備えることを特徴とする文字認識装置。 - 前記平滑化の程度及び前記鮮鋭化の程度の少なくとも一方を規定する係数を制御する係数制御部を備えること、
を特徴とする請求項1に記載の文字認識装置。 - 前記見本としての文字画像の第3の部分に傾向的なノイズが出現する場合、前記第3の部分にノイズを重畳するノイズ重畳部を備えること、
を特徴とする請求項2に記載の文字認識装置。 - 前記係数制御部は、
前記認識モデルの認識精度が所定の基準を満たす程度に前記係数を決定すること、
を特徴とする請求項3に記載の文字認識装置。 - 前記係数制御部は、
損失関数値を使用して前記認識精度を算出すること、
を特徴とする請求項4に記載の文字認識装置。 - 前記係数制御部は、
前記係数の値として複数の値を指定し、
前記鮮鋭化処理部は、
前記見本としての文字画像についての前記平滑化の程度又は前記鮮鋭化の程度を複数混在させること、
を特徴とする請求項5に記載の文字認識装置。 - 前記第1の部分は、
動的なノイズを含み、
前記第2の部分は、
静的なノイズを含むこと、
を特徴とする請求項6に記載の文字認識装置。 - 水没した物体に記された文字を撮像した見本としての文字画像の第1の部分を平滑化するとともに、前記文字画像の第2の部分を鮮鋭化する鮮鋭化処理部と、
前記平滑化した文字画像及び前記鮮鋭化した文字画像を教師付き学習データとして、文字画像から文字を認識する認識モデルを学習する学習処理部と、
前記学習した認識モデルを使用して、水没した物体に記された文字を撮像した認識対象としての文字画像から文字を認識する文字認識部と、
を備えることを特徴とする文字認識装置。 - 前記水没した物体は、
水没した原子力燃料であること、
を特徴とする前記8に記載の文字認識装置。 - 文字認識装置の鮮鋭化処理部は、
見本としての文字画像の第1の部分を平滑化するとともに、前記文字画像の第2の部分を鮮鋭化し、
前記文字認識装置の学習処理部は、
前記平滑化した文字画像及び前記鮮鋭化した文字画像を教師付き学習データとして、文字画像から文字を認識する認識モデルを学習し、
前記文字認識装置の文字認識部は、
前記学習した認識モデルを使用して、認識対象としての文字画像から文字を認識すること、
を特徴とする文字認識装置の文字認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020088261A JP2021182328A (ja) | 2020-05-20 | 2020-05-20 | 文字認識装置及び文字認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020088261A JP2021182328A (ja) | 2020-05-20 | 2020-05-20 | 文字認識装置及び文字認識方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021182328A true JP2021182328A (ja) | 2021-11-25 |
Family
ID=78606622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020088261A Pending JP2021182328A (ja) | 2020-05-20 | 2020-05-20 | 文字認識装置及び文字認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021182328A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024057768A1 (ja) * | 2022-09-14 | 2024-03-21 | 富士フイルム株式会社 | 画像生成装置、学習装置、画像処理装置、画像生成方法、学習方法及び画像処理方法 |
-
2020
- 2020-05-20 JP JP2020088261A patent/JP2021182328A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024057768A1 (ja) * | 2022-09-14 | 2024-03-21 | 富士フイルム株式会社 | 画像生成装置、学習装置、画像処理装置、画像生成方法、学習方法及び画像処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6100744B2 (ja) | 自動修復を用いたカラー文書画像セグメンテーション及び二値化 | |
CN109389552B (zh) | 一种基于上下文相关多任务深度学习的图像超分辨算法 | |
Giakoumis et al. | Digital image processing techniques for the detection and removal of cracks in digitized paintings | |
CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
Lin et al. | A morphological mean filter for impulse noise removal | |
Habib et al. | Adaptive fuzzy inference system based directional median filter for impulse noise removal | |
CN114170227B (zh) | 产品表面缺陷检测方法、装置、设备及存储介质 | |
CN109241867B (zh) | 采用人工智能算法识别数字岩心图像的方法及装置 | |
CN113688838B (zh) | 红色笔迹提取方法、***、可读存储介质及计算机设备 | |
CN114119439A (zh) | 红外与可见光图像融合方法、装置、设备及存储介质 | |
CN112507876A (zh) | 一种基于语义分割的有线表格图片解析方法和装置 | |
CN112634288A (zh) | 设备区域图像分割方法及装置 | |
CN111915635A (zh) | 支持自阅卷的试题解析信息生成方法及*** | |
Leavline et al. | On teaching digital image processing with MATLAB | |
CN112102185A (zh) | 基于深度学习的图像去模糊方法及装置、电子设备 | |
CN114998290A (zh) | 基于有监督模式的织物瑕疵检测方法、装置、设备及介质 | |
JP2021182328A (ja) | 文字認識装置及び文字認識方法 | |
JP3636936B2 (ja) | 濃淡画像の2値化方法および濃淡画像の2値化プログラムを記録した記録媒体 | |
US20060171589A1 (en) | Grayscale character dictionary generation apparatus | |
CN112733857B (zh) | 自动分割字符区域的图像文字检测模型训练方法及装置 | |
Soni et al. | To Propose an improvement in Zhang-Suen algorithm for image thinning in image processing | |
CN112465817A (zh) | 一种基于方向滤波器的路面裂缝检测方法 | |
JPH0624014B2 (ja) | 濃淡画像の処理方法 | |
JPH06301775A (ja) | 画像処理方法、画像識別方法および画像処理装置 | |
Wyzykowski et al. | A Universal Latent Fingerprint Enhancer Using Transformers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240522 |