JP7246104B2 - テキスト行識別に基づくナンバープレート識別方法 - Google Patents
テキスト行識別に基づくナンバープレート識別方法 Download PDFInfo
- Publication number
- JP7246104B2 JP7246104B2 JP2021105233A JP2021105233A JP7246104B2 JP 7246104 B2 JP7246104 B2 JP 7246104B2 JP 2021105233 A JP2021105233 A JP 2021105233A JP 2021105233 A JP2021105233 A JP 2021105233A JP 7246104 B2 JP7246104 B2 JP 7246104B2
- Authority
- JP
- Japan
- Prior art keywords
- license plate
- network
- text
- text line
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
Description
オリジナル画像を取得するS1と、
オリジナル画像におけるナンバープレート部分を検出し、ナンバープレート画像を得るナンバープレート検出ステップS2と、
CPTNネットワークによってナンバープレート上のテキスト行を検出し、ナンバープレートテキスト行画像を得るテキスト行検出ステップS3と、
ナンバープレートテキスト行画像をナンバープレートテキスト行識別ネットワークに入力し、最終的にナンバープレートテキスト行のキャラクタシーケンスを出力し、ナンバープレート識別を完了するテキスト行識別ステップS4とを含む。
回帰モデルを利用してCPTNネットワークの垂直検出フレームを予測して得るS31と、
予測して得られる垂直検出フレームに対して、CPTNネットワークにおいて発生する可能性のある水平方向での測位が正確でないことを防止できる境界最適化を行うS32と、
垂直方向上に重畳程度が設定される閾値に達する垂直検出フレームを一つの検出フレームに合併し、最終の垂直検出フレームを得て、垂直検出フレームの合併は、CTPNネットワークが同一ラインのテキストを二つの部分に分割することを防止できるS33と、
CPTNネットワークは、垂直検出フレームによってテキスト行の検出を行い、ナンバープレートテキスト行画像を得るS34と、を含む。
エンコーダは、コンボリューションニューラルネットワークを使用して補正後のナンバープレートテキスト行画像上からテキスト特徴図を抽出し、その後テキスト特徴図を分割し且つ双方向LSTMネットワークに入力した後、テキスト特徴シーケンスを得るS41と、
デコーダは、コンテキストベクトル、デコーダ内部状態及び前ステップの出力を利用し、アテンションメカニズムとGRUサイクルネットワークユニットによって、各キャラクタとシーケンスターミネータの確率を出力し、現在のテキストシンボルを予測するS43と、を含む。
1)本発明は、キャラクタ分割がない全新のナンバープレート識別方法を提案し、キャラクタ分割の代わりにナンバープレートテキスト行検出を導入し、キャラクタ分割に比べて、本発明は、同一ラインの連続テキストを全体として検出し、トレーニングに対する後続の識別モデルの効果を向上させ、既存のナンバープレート識別方法と比べて、本発明の方法は、モデルのロバスト性を向上させ、モデルの識別の正確度を向上させる。
2)本発明は、ナンバープレート識別問題を古典的なコンピュータ視覚問題--画像に基づくシーケンス識別に転化し、このように、トレーニングデータにはナンバープレートの二次元座標と識別する必要なキャラクタシーケンスのみを必要として、モデルトレーニングの時間とコストを節約する。
3)本発明では、ナンバープレートテキスト行検出によって、複数行のテキストのナンバープレートに適用でき、複数の国と地域の異なるナンバープレートを識別することができるため、本発明は、日常の都市交通管理に運用できるだけでなく、都市間、ひいては国際交通管理にも運用でき、スマートシティ建設の重要な構成部分となり、人工知能技術と中国の都市建設、道路建設、交通管理との結合に対して積極的な推進意義がある。
図1に示すように、本発明は、テキスト行識別に基づくナンバープレート識別方法を提供し、自然シーンでナンバープレートを識別でき、該方法は、コンボリューションニューラルネットワークとサイクルニューラルネットワークに基づき、主にナンバープレート検出(LPD)、ナンバープレートテキスト検出(LP Text Detection)及びナンバープレートテキスト識別(LP Text Rectification and Recognition)の三つのステップを含む。
YOLOv3ネットワークを使用してオリジナル画像におけるナンバープレート部分を検出する時、オリジナル入力画像をまずグリッドに分割する必要があり、ナンバープレートのセンターがグリッドユニットにある場合、該グリッドは、ナンバープレート検出を担当する。
本発明のナンバープレート識別方法は、複数の国と地域のナンバープレートに適用され、周知のように、国内でよく見られるナンバープレートの文字は、いずれも単一行であるが、他の国のナンバープレートの文字が複数行であることを考慮すると、後続の文字識別を容易にするために、ナンバープレートの文字を行ごとに検出する必要があると考えられる。単一行のテキストのナンバープレートに対して、該ステップは、検出領域と実際領域のIoU値を向上させることができる。
該ステップは、すでに検出されたナンバープレート上のテキスト行に対する識別を完了する必要があるが、識別する前に、テキスト行を補正する必要がある。撮影画角の問題により、ピクチャ上の文字が歪んで見える可能性があり、ある程度の補正により、歪んだ文字をできるだけ規則的にし、このように、識別の正確率を向上させることができる。
6つのコンボリューションフィルタレイヤ、5つの最大プールレイヤ及び二つの完全接続レイヤで構成される。一つの10次元のベクトルを出力し、5つの2次元ベクトルに再構成し、5つの制御点座標に対応させる。制御点の座標は、正規化を経て、つまり、左上のの頂点座標が(0、0)であり、右下の頂点座標が(1、1)である。
そのうち、数式25は、エンコーダのステップt1の隠れた状態数式26とデコーダのステップt2-1の隠れた状態数式27によって計算して得られるものであり、W、V、bは、いずれもトレーニング可能な重み付けである。
Claims (7)
- テキスト行識別に基づくナンバープレート識別方法であって、
オリジナル画像を取得するS1と、
オリジナル画像におけるナンバープレート部分を検出し、ナンバープレート画像を得るナンバープレート検出ステップS2と、
テキスト検出ネットワークによってナンバープレート上のテキスト行を検出し、ナンバープレートテキスト行画像を得るテキスト行検出ステップS3と、
ナンバープレートテキスト行画像をナンバープレートテキスト行識別ネットワークに入力し、最終的にナンバープレートテキスト行のキャラクタシーケンスを出力し、ナンバープレート識別を完了するテキスト行識別ステップS4とを含み、
前記ナンバープレートテキスト行識別ネットワークは、補正ネットワークとテキスト識別ネットワークを含み、それぞれナンバープレートテキスト行画像に対する補正と文字識別を実現し、前記補正ネットワークは、二次元変換によって歪みとねじれのテキストを補正し、前記テキスト識別ネットワークは、エンコーダ-デコーダパラダイムのアテンションメカニズムが内蔵されているseq2seqネットワークを採用し、
前記テキスト識別ネットワークがナンバープレートテキスト行画像に対して文字識別を行うことは、具体的には、
エンコーダは、コンボリューションニューラルネットワークを使用して補正後のナンバープレートテキスト行画像上からテキスト特徴図を抽出し、その後テキスト特徴図を分割し且つ双方向LSTMネットワークに入力した後、テキスト特徴シーケンスh t を得るS41と、
テキスト特徴シーケンスh t をデコーダに入力するS42と、
デコーダは、コンテキストベクトル、デコーダ内部状態及び前のステップの出力を利用し、アテンションメカニズムとGRUサイクルネットワークユニットによって、各キャラクタとシーケンスターミネータの確率を出力し、現在のテキストシンボルを予測するS43と、を含み、
前記デコーダの計算式は、数式1の通りであり、
- 前記ステップS2において、YOLOv3ネットワークによってオリジナル画像におけるナンバープレート部分を検出する、ことを特徴とする、請求項1に記載のテキスト行識別に基づくナンバープレート識別方法。
- 前記YOLOv3ネットワークは、オリジナル画像の特徴図のディメンションを五回低減させ、それぞれ第一の特徴図、第二の特徴図、第三の特徴図、第四の特徴図及び第五の特徴図を得て、その後それぞれ第三の特徴図、第四の特徴図及び第五の特徴図をアップサンプリングを経た後にスプライスし、最後に特徴テンソルを出力し、ナンバープレートに対する検出を完了する、ことを特徴とする、請求項2に記載のテキスト行識別に基づくナンバープレート識別方法。
- 前記ステップS3は、具体的には、
回帰モデルを利用してCTPNネットワークの垂直検出フレームを予測して得るS31と、
予測して得られる垂直検出フレームに対して境界最適化を行うS32と、
垂直方向上に重畳程度が設定される閾値に達する垂直検出フレームを一つの検出フレームに合併し、最終の垂直検出フレームを得るS33と、
CTPNネットワークは、垂直検出フレームによってテキスト行の検出を行い、ナンバープレートテキスト行画像を得るS34と、を含む、ことを特徴とする、請求項1に記載のテキスト行識別に基づくナンバープレート識別方法。 - 前記垂直検出フレームのセンター位置tcと高さthの計算方法は、数式15と数式16の通りであり、そのうち、cb yが境界フレームのセンター位置であり、hbが境界フレームの高さであり、ca yがアンカーフレームのセンターであり、haがアンカーフレームの高さであり、
- 前記補正ネットワークは、測位ネットワークを含み、前記測位ネットワークは、オリジナルテキスト行の制御点ベクトル群Aに対して予測を行い、且つ逆伝播勾配によって、補正テキスト行の制御点ベクトル群Arを回帰分析して得て、前記補正ネットワークは、オリジナルテキスト行制御点ベクトル群Cと補正テキスト行制御点ベクトル群Arとの間の関係に基づき、オリジナルテキスト行画像に対して二次元変換を行い、補正後のテキスト行画像を得る、ことを特徴とする、請求項1に記載のテキスト行識別に基づくナンバープレート識別方法。
- 前記測位ネットワークは、六つのコンボリューションフィルタレイヤ、五つの最大プールレイヤ及び二つの完全接続レイヤグループレイヤを含み、前記制御点は、五つを含み、それぞれは、ナンバープレートテキスト行の四つの頂点と対角線の交点である、ことを特徴とする、請求項6に記載のテキスト行識別に基づくナンバープレート識別方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010735739.2A CN111914838B (zh) | 2020-07-28 | 2020-07-28 | 一种基于文本行识别的车牌识别方法 |
CN202010735739.2 | 2020-07-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022025008A JP2022025008A (ja) | 2022-02-09 |
JP7246104B2 true JP7246104B2 (ja) | 2023-03-27 |
Family
ID=73281498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021105233A Active JP7246104B2 (ja) | 2020-07-28 | 2021-06-24 | テキスト行識別に基づくナンバープレート識別方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7246104B2 (ja) |
CN (1) | CN111914838B (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112633429A (zh) * | 2020-12-21 | 2021-04-09 | 安徽七天教育科技有限公司 | 一种学生手写选择题识别方法 |
KR102560051B1 (ko) * | 2021-01-28 | 2023-07-27 | 네이버 주식회사 | 고차원 다항식 회귀를 이용한 문자열 검출 방법 및 시스템 |
CN113065561A (zh) * | 2021-03-15 | 2021-07-02 | 国网河北省电力有限公司 | 基于精细字符分割的场景文本识别方法 |
CN115485746A (zh) * | 2021-03-30 | 2022-12-16 | 广州视源电子科技股份有限公司 | 车牌字符识别方法、装置、设备及存储介质 |
CN113191220A (zh) * | 2021-04-15 | 2021-07-30 | 广州紫为云科技有限公司 | 一种基于深度学习的双层车牌识别方法 |
CN113159158A (zh) * | 2021-04-16 | 2021-07-23 | 西安建筑科技大学 | 一种基于生成对抗网络的车牌矫正与重构方法及*** |
CN113435436A (zh) * | 2021-06-03 | 2021-09-24 | 北京理工大学 | 一种基于线性约束矫正网络的场景文字识别方法 |
CN116311214B (zh) * | 2023-05-22 | 2023-08-22 | 珠海亿智电子科技有限公司 | 车牌识别方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015114949A (ja) | 2013-12-13 | 2015-06-22 | 大日本印刷株式会社 | 画像処理装置、画像処理方法、画像処理装置用プログラム、および、記録媒体 |
JP2016091458A (ja) | 2014-11-10 | 2016-05-23 | 株式会社ブロードリーフ | プログラム、画像処理装置及び画像処理方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19507059B9 (de) * | 1995-03-01 | 2005-02-17 | Wevelsiep, Klaus, Prof. Dipl.-Ing. Dr. | Verfahren zur omnidirektionalen Erfassung von OCR-Klarschrift auf Etiketten oder ähnlichen Datenträgern durch zufallsgesteuerte Suche und Dekodierung mit einem neuronalen Netzwerk |
US11030466B2 (en) * | 2018-02-11 | 2021-06-08 | Nortek Security & Control Llc | License plate detection and recognition system |
CN108549893B (zh) * | 2018-04-04 | 2020-03-31 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
CN109753954A (zh) * | 2018-11-14 | 2019-05-14 | 安徽艾睿思智能科技有限公司 | 基于深度学习注意力机制的文本实时定位识别方法 |
CN109902622B (zh) * | 2019-02-26 | 2020-06-09 | 中国科学院重庆绿色智能技术研究院 | 一种用于登机牌信息验证的文字检测识别方法 |
CN109919147A (zh) * | 2019-03-04 | 2019-06-21 | 上海宝尊电子商务有限公司 | 服装吊牌图像中文本识别的方法 |
CN111325203B (zh) * | 2020-01-21 | 2022-07-05 | 福州大学 | 一种基于图像校正的美式车牌识别方法及*** |
-
2020
- 2020-07-28 CN CN202010735739.2A patent/CN111914838B/zh active Active
-
2021
- 2021-06-24 JP JP2021105233A patent/JP7246104B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015114949A (ja) | 2013-12-13 | 2015-06-22 | 大日本印刷株式会社 | 画像処理装置、画像処理方法、画像処理装置用プログラム、および、記録媒体 |
JP2016091458A (ja) | 2014-11-10 | 2016-05-23 | 株式会社ブロードリーフ | プログラム、画像処理装置及び画像処理方法 |
Non-Patent Citations (3)
Title |
---|
Baoguang Shi, Xinggang Wang, Pengyuan Lyu, Cong Yao, Xiang Bai,Robust Scene Text Recognition with Automatic Rectification,[online],2016年07月,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7780821 |
Qi-chao Mao, Hong-Mei Sun, Yan-Bo Liu, and Rui-Sheng Jia,Mini-YOLOv3: Real-Time Object Detector for Embedded Applications,[online],2019年09月16日,pp.133529-133538,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8839032 |
機械学習で車両のナンバープレートを認識してみる,[online],2020年07月25日,https://www.pullup.net/pane_center.php/pane_center.php?anchor=20200725 |
Also Published As
Publication number | Publication date |
---|---|
CN111914838A (zh) | 2020-11-10 |
CN111914838B (zh) | 2024-05-31 |
JP2022025008A (ja) | 2022-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7246104B2 (ja) | テキスト行識別に基づくナンバープレート識別方法 | |
Bulat et al. | Super-fan: Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with gans | |
CN110287960B (zh) | 自然场景图像中曲线文字的检测识别方法 | |
CN109902622B (zh) | 一种用于登机牌信息验证的文字检测识别方法 | |
Kamal et al. | Automatic traffic sign detection and recognition using SegU-Net and a modified Tversky loss function with L1-constraint | |
US20200250436A1 (en) | Video object segmentation by reference-guided mask propagation | |
WO2021196873A1 (zh) | 车牌字符识别方法、装置、电子设备和存储介质 | |
CN113435240B (zh) | 一种端到端的表格检测和结构识别方法及*** | |
WO2020133442A1 (zh) | 一种识别文本的方法及终端设备 | |
CN111008632B (zh) | 一种基于深度学习的车牌字符分割方法 | |
CN104573688A (zh) | 基于深度学***台烟草激光码智能识别方法及装置 | |
CN112418216A (zh) | 一种复杂自然场景图像中的文字检测方法 | |
CN113609896A (zh) | 基于对偶相关注意力的对象级遥感变化检测方法及*** | |
CN111008633A (zh) | 一种基于注意力机制的车牌字符分割方法 | |
CN111191611A (zh) | 基于深度学习的交通标志标号识别方法 | |
CN111027539A (zh) | 一种基于空间位置信息的车牌字符分割方法 | |
CN116645592B (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
CN115131797A (zh) | 一种基于特征增强金字塔网络的场景文本检测方法 | |
CN112560584A (zh) | 一种人脸检测方法及装置、存储介质、终端 | |
Liu et al. | SLPR: A deep learning based Chinese ship license plate recognition framework | |
CN113158977B (zh) | 改进FANnet生成网络的图像字符编辑方法 | |
CN112446292B (zh) | 一种2d图像显著目标检测方法及*** | |
CN113486715A (zh) | 图像翻拍识别方法、智能终端以及计算机存储介质 | |
CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
CN111881914B (zh) | 一种基于自学习阈值的车牌字符分割方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220614 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7246104 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |