JP7375497B2 - ナンバー認識装置及び方法 - Google Patents

ナンバー認識装置及び方法 Download PDF

Info

Publication number
JP7375497B2
JP7375497B2 JP2019213143A JP2019213143A JP7375497B2 JP 7375497 B2 JP7375497 B2 JP 7375497B2 JP 2019213143 A JP2019213143 A JP 2019213143A JP 2019213143 A JP2019213143 A JP 2019213143A JP 7375497 B2 JP7375497 B2 JP 7375497B2
Authority
JP
Japan
Prior art keywords
detected
digit
waiting
detection
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019213143A
Other languages
English (en)
Other versions
JP2020102203A (ja
Inventor
ジュ・シエヌタヌ
タヌ・ジミン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2020102203A publication Critical patent/JP2020102203A/ja
Application granted granted Critical
Publication of JP7375497B2 publication Critical patent/JP7375497B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)

Description

本発明は、情報技術分野に関し、特に、ナンバー認識装置及び方法に関する。
情報技術の進歩に伴い、ナンバー認識が広く応用されるようになっている。例えば、サインボード、選手、作業員、受験生などの検出待ちオブジェクトにおけるナンバーに対して認識を行うことにより、様々な応用を行うことができる。
例えば、バスケットボール試合では、ナンバー検出は、多くのビデオ監視の面での応用がある。例えば、選手のユニフォームにおけるナンバーに対して検出及び認識を行うことで、認識結果に基づいて、対応する選手を確定することができる。このように、試合のビデオを用いて、各選手の軌跡を追跡及び記述することで、技術補助を提供することができる。従来のナンバー認識方法では、分類器により、全ての可能なナンバーに対して分類を行う。例えば、バスケットボール選手について言えば、その可能なナンバーが0～99でああり、この場合、該分類器の類別が100種類ある。
なお、上述の背景技術についての紹介は、本発明の技術案を明確且つ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術の一部に記述されているため、当業者にとって周知であると解釈すべきではない。
発明者が次のようなことを発見した。即ち、分類器を使用した従来の方法では、各分類について、大量の訓練データを収集し、訓練を行う必要があるため、時間及び手間がかかりまた、また、幾つかの類別の訓練データを収集し難い場合もある。例えば、バスケットボール選手のナンバーの認識の場合、100種類の訓練データを収集する必要があるが、幾つかのナンバー関して、該ナンバーを使用する選手がとても少ないため、このようなナンバーの訓練データを収集し、訓練を行うことがかなり困難である。
本発明の目的は、ナンバー認識装置及び方法を提供することにある。このようなナンバー認識装置及び方法は、１桁のみの数字を検出する必要があるため、0～9の10種類の訓練サンプルだけを収集し、分類器に対して訓練を行うことで、簡単且つ迅速に分類器の訓練を完成することができ、また、１桁のみの数字に対して検出及び合併を行うのであるから、比較的高い認識精度も有する。
本発明の実施例の第一側面によれば、ナンバー認識装置が提供され、前記装置は、入力画像のうちから、検出待ちオブジェクトを検出するための第一検出ユニット；検出された前記検出待ちオブジェクトの所在する領域のうちから、１桁の数字を検出するための第二検出ユニット；及び、前記検出待ちオブジェクトの所在する領域のうちから検出された１桁の数字に対して合併を行い、前記検出待ちオブジェクトの所在する領域におけるナンバーを得るための合併ユニットを含む。
本発明の実施例の第二側面によれば、電子機器が提供され、前記電子機器は、本発明の実施例の第一側面に記載のナンバー認識装置を含む。
本発明の実施例の第三側面によれば、ナンバー認識方法が提供され、前記方法は、入力画像のうちから、検出待ちオブジェクトを検出し；検出された前記検出待ちオブジェクトの所在する領域のうちから、１桁の数字を検出し；及び、前記検出待ちオブジェクトの所在する領域のうちから検出された１桁の数字に対して合併を行い、前記検出待ちオブジェクトの所在する領域におけるナンバーを得ることを含む。
本発明の有益な効果が次の通りである。即ち、先ず、各検出待ちオブジェクトを検出し、その後、各検出待ちオブジェクトの所在する領域内の１桁の数字を検出し、最後に、これらの１桁の数字を合併することで、各検出待ちオブジェクトに対応するナンバーを取得することができる。１桁のみの数字を検出する必要があるため、0～9の10種類の訓練サンプルだけを収集し、分類器に対して訓練を行うことで、簡単且つ迅速に分類器の訓練を完成することができ、また、１桁のみの数字に対して検出及び合併を行うのであるから、比較的高い認識精度も有する。
なお、「含む／有する」のような用語は、本明細書に使用されるときに、特徴、要素、ステップ、又はアセンブルの存在を指すが、１つの又は複数の他の特徴、要素、ステップ、又はアセンブリの存在又は付加を排除しないということも指す。
本発明の実施例1におけるナンバー認識装置を示す図である。 本発明の実施例1における入力画像を示す図である。 図2における検出待ちオブジェクトの所在する検出枠及びその１桁の数字の検出結果を示す図である。 本発明の実施例1において１つの検出待ちオブジェクトの所在する領域のうちから１桁の数字を検出することを示す図である。 本発明の実施例1において１つの検出待ちオブジェクトの所在する領域のうちから１桁の数字を検出することを示す他の図である。 本発明の実施例2における電子機器を示す図である。 本発明の実施例2における電子機器のシステム構成を示す図である。 本発明の実施例3におけるナンバー認識方法を示す図である。
以下、添付した図面を参照しながら、本発明を実施するための好適な実施形態を詳しく説明する。
本発明の実施例は、ナンバー認識装置を提供する。図1は、本発明の実施例1におけるナンバー認識装置を示す図である。図1に示すように、ナンバー認識装置100は、以下のようなものを含む。
第一検出ユニット101：入力画像から検出待ちオブジェクトを検出し；
第二検出ユニット102：検出された検出待ちオブジェクトの所在する領域から１桁の数字を検出し；及び
合併ユニット103：該検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行うことで、該検出待ちオブジェクトの所在する領域中のナンバーを取得する。
上述の実施例から分かるように、１桁のみの数字を検出する必要があるため、0～9の10種類の訓練サンプルだけを収集し、分類器に対して訓練を行っても良いので、簡単且つ迅速に分類器の訓練を完成することができ、また、１桁のみの数字に対して検出及び合併を行うのであるから、比較的高い認識精度も有する。
本実施例では、該検出待ちオブジェクトは、そのナンバーを認識するニーズを有する任意のオブジェクトであっても良い。例えば、該検出待ちオブジェクトは、試合中の選手、ナンバーを含む標識ボード、イベントに参加するスタッフ、テストに参加する学生、試合に参加する選手などである。
例えば、試合に参加するバスケットボール又はサッカー選手の場合、その可能なナンバーが0～99であり、試合に参加する陸上競技選手の場合、その可能なナンバーが0000～9999である。
本実施例では、該入力画像は、検出待ちオブジェクトを含む可能性がある画像である。例えば、該検出待ちオブジェクトは、バスケットボール選手であり、該入力画像は、バスケットボール試合のビデオにおける少なくとも１つの画像である。
本実施例では、第一検出ユニット101の検出待ちオブジェクトへの検出、及び、第二検出ユニット102の１桁の数字への検出が、各種の検出方法に基づいても良く、例えば、該第一検出ユニット101及び該第二検出ユニット102は、畳み込みニューラルネットワーク（Convolutional Neural Network、CNN）により、それぞれ、該入力画像中の検出待ちオブジェクト、及び該検出待ちオブジェクトの所在する領域中の１桁の数字に対して検出を行っても良い。
本実施例では、該畳み込みニューラルネットワークの具体的構成について、従来技術を参照することができる。例えば、該畳み込みニューラルネットワークは、Faster R-CNN、FPN（Feature Pyramid Networks for object Detection）又はYOLO（You Only Look Once：Unified，Real-Time Object Detection）である。
本実施例では、畳み込みニューラルネットワークに対しての訓練方法についても、従来技術を参照することができるため、ここでは、その詳しい説明を省略する。
畳み込みニューラルネットワークが高い目標認識能力を有し、また、リアル環境中の複雑なファクターを簡略化することもできるので、検出効率及び検出精度をさらに向上させることができる。
本実施例では、バスケットボール試合中の選手のユニフォーム上のナンバーを例として例示的に説明する。
図2は、本発明の実施例1における入力画像を示す図である。図2に示すように、該入力画像は、バスケットボール試合ビデオにおける１つの画像であり、それは、検出待ちオブジェクトとしての複数の選手を含む。第一検出ユニット101は、該入力画像中の各選手を検出し、各選手の所在する領域を取得し、また、このような領域は、各検出枠で示される。
図3は、図2における検出待ちオブジェクトの所在する検出枠、及びその１桁の数字の検出結果を示す図である。図3に示すように、検出された各選手の所在する領域は、各検出枠で示されており、各検出枠中の１桁の数字の検出結果は、順に、“結果無し”、“3及び0”、“2”、“結果無し”、“2及び3”、“0”、及び“8”である。
本実施例では、各検出待ちオブジェクトの所在する領域から１桁の数字を検出した後、且つ、各領域内の１桁の数字に対して合併を行う前に、幾つかの前処理を行っても良い。例えば、図1に示すように、該装置100は、さらに、以下のようなものを含んでも良い。
第一除去ユニット104：検出された１桁の数字について、該畳み込みニューラルネットワークにより出力されるスコア（score）が第一閾値よりも低いときに、該１桁の数字を検出結果から除去する。
本実施例では、畳み込みニューラルネットワークを用いて１桁の数字に対して検出を行うときに、その出力結果は、検出された１桁の数字の所在する座標位置、及び、該１桁の数字のスコア、即ち、検出された１桁の数字が該１桁の数字の類別（class）に属する確率を含んでも良い。
本実施例では、該第一閾値は、実際のニーズに応じて設定されても良く、例えば、該第一閾値は、0.5である。
このように、スコアが比較的低い１桁の数字を除去することで、幾つかの誤検出結果を有効に除去することができ、これにより、ナンバー認識の認識精度をさらに向上させることができる。
図1に示すように、該装置100は、さらに、以下のようなものを含んでも良い。
第二除去ユニット105：該検出待ちオブジェクトの所在する領域の中から検出された少なくとも２つの隣接する１桁の数字の間の距離が第二閾値よりも大きいときに、該少なくとも２つの隣接する１桁の数字のうち、該畳み込みニューラルネットワークにより出力されるスコアが第三閾値によりも低い１桁の数字を除去する。
本実施例では、該第二閾値及び第三閾値は、実際のニーズに応じて確定されても良い。例えば、該第二閾値は、隣接する２つの１桁の数字の検出枠の幅の和であり、該第三閾値は、0.9である。
図4は、本発明の実施例1において１つの検出待ちオブジェクトの所在する領域から検出された１桁の数字を示す図である。図4に示すように、１つの検出待ちオブジェクトの所在する領域内で２つの隣接する１桁の数字が検出されており、それぞれ、2及び3であり、この２つの１桁の数字の中心の距離がdであり、また、この２つの１桁の数字について、畳み込みニューラルネットワークにより出力されるスコアがそれぞれ0.68及び0.99である。
例えば、該距離dが１桁の数字2及び3の検出枠の幅の和よりも大きい場合、スコアが0.9よりも低い１桁の数字、即ち、スコアが0.68である１桁の数字2を除去することができる。
このように、距離が比較的大きい隣接する１桁の数字のうち、スコアが比較的低い１桁の数字を除去することで、合併の結果が同一検出待ちオブジェクトのナンバーであるように保証することができ、これにより、ナンバー認識の認識精度をさらに向上させることができる。
図1に示すように、該装置100は、さらに、以下のようなものを含んでも良い。
確定ユニット106：該検出待ちオブジェクトの所在する領域における重畳（overlap）した少なくとも２つの検出領域のうちから、それぞれ、１桁の数字が検出されたときに、該畳み込みニューラルネットワークにより出力されるスコアが最も高い１桁の数字を合併処理に用いる。
図5は、本発明の実施例1において１つの検出待ちオブジェクトの所在する領域から検出された１桁の数字を示す他の図である。図5に示すように、１つの検出待ちオブジェクトの所在する領域に対して、重畳した２つの検出領域（検出枠）が検出され、その検出結果が、それぞれ、１桁の数字7及び1であり、この場合、スコアが比較的低い１桁の数字1を除去する。
このように、誤検出された１桁の数字をさらに除去することができ、そのため、ナンバー認識の認識精度をより一層向上させることができる。
本実施例では、第一除去ユニット104、第二除去ユニット105及び確定ユニット106は、オプションであっても良い。
本実施例では、各検出待ちオブジェクトの所在する領域から１桁の数字が検出された後に、上述の少なくとも１つの前処理を行ってから、１桁の数字の合併を行っても良く、又は、これらの前処理を行わず、１桁の数字の合併を直接行っても良い。
本実施例では、合併ユニット103は、該検出待ちオブジェクトの所在する領域の中から検出された１桁の数字に対して合併を行うことにより、該検出待ちオブジェクトの所在する領域におけるナンバーを得ることができる。言い換えると、入力画像から複数の検出待ちオブジェクトが検出されたときに、合併ユニット103は、各検出待ちオブジェクトの所在する領域に対して、1つずつ、１桁の数字の合併を行うことで、各検出待ちオブジェクトに対応するナンバーを取得することができる。なお、１つの検出待ちオブジェクトの所在する領域において１つのみの１桁の数字が検出されたときに、合併処理を行わなくても良い。
以下、合併ユニット103が１桁の数字に対して合併を行う具体的な方法について例示的に説明する。
本実施例では、合併ユニット103は、該検出待ちオブジェクトの所在する領域の中から検出された１桁の数字の中心位置に基づいて、左から右への順序に従って各１桁の数字を合併する。
図3に示すように、合併ユニット103は、各検出待ちオブジェクトの所在する領域に対して、1つずつ、１桁の数字の合併を行い、各検出待ちオブジェクトに対応するナンバー認識結果を取得し、それぞれは、“結果無し”、“30”、“2”、“結果無し”、“23”、“0”及び“8”である。
本実施例では、該検出待ちオブジェクトの所在する領域の中から検出された１桁の数字の個数が該ナンバーの最大桁数よりも大きいときに、該畳み込みニューラルネットワークにより出力されるスコアに基づいて、検出された１桁の数字のうちから、該最大桁数と同じ数の１桁の数字に対して合併を行っても良い。
例えば、バスケットボール選手について、そのナンバーが2桁であり、１つの検出待ちオブジェクトの所在する領域において3つ又はより多くの１桁の数字が検出されるときに、各１桁の数字について該畳み込みニューラルネットワークにより出力されるスコアに基づいて、2つの１桁の数字を選択して合併を行っても良い。例えば、3つ又はより多くの１桁の数字について、スコアの高から低への順序に従って並び替えた後に、その前の2つの１桁の数字を選択し、合併を行っても良い。
このように、誤ったナンバー認識結果の出力を避けることができる。
上述の実施例から分かるように、先ず、各検出待ちオブジェクトを検出し、その後、各検出待ちオブジェクトの所在する領域内の１桁の数字を検出し、最後に、これらの１桁の数字を合併し、これにより、各検出待ちオブジェクトに対応するナンバーを得ることができる。１桁のみの数字を検出する必要があるため、0～9の10種類の訓練サンプルだけを収集し、分類器に対して訓練を行うことで、簡単且つ迅速に分類器の訓練を完成することができ、また、１桁のみの数字に対して検出及び合併を行うのであるから、比較的高い認識精度も有する。
本発明の実施例は、さらに、電子機器を提供し、図6は、本発明の実施例2における電子機器を示す図である。図6に示すように、電子機器600は、ナンバー認識装置601を含み、該ナンバー認識装置601の構成及び機能が実施例1中の記載と同じであるため、ここでは、その詳しい説明を省略する。
図7は、本発明の実施例2における電子機器のシステム構成を示すブロック図である。図7に示すように、電子機器700は、中央処理装置701及び記憶器702を含み、該記憶器702は、該中央処理装置701に接続される。なお、該図は、例示に過ぎず、該構造に対して、他の類型の構造により補充又は代替を行うことで、電気通信機能又は他の機能を実現しても良い。
図7に示すように、該電子機器700は、さらに、入力ユニット703、表示器704、電源705などを含んでも良い。
１つの実施方式では、実施例1に記載のナンバー認識装置の機能は、該中央処理装置701に統合されても良い。そのうち、該中央処理装置701は、次のように構成されても良く、即ち、入力画像から検出待ちオブジェクトを検出し、検出された該検出待ちオブジェクトの所在する領域の中から１桁の数字を検出し、及び、該検出待ちオブジェクトの所在する領域の中から検出された１桁の数字に対して合併を行い、該検出待ちオブジェクトの所在する領域の中のナンバーを取得する。
例えば、畳み込みニューラルネットワークにより、それぞれ、該検出待ちオブジェクト及び該１桁の数字を検出する。
例えば、検出された１桁の数字について、該畳み込みニューラルネットワークにより出力されるスコアが第一閾値よりも低いときに、該１桁の数字を検出結果から除去する。
例えば、該検出待ちオブジェクトの所在する領域の中から検出された少なくとも２つの隣接する１桁の数字の間の距離が第二閾値よりも大きいときに、該少なくとも２つの隣接する１桁の数字のうち、該畳み込みニューラルネットワークにより出力されるスコアが第三閾値よりも低い１桁の数字を除去する。
例えば、該検出待ちオブジェクトの所在する領域における重畳した少なくとも２つの検出領域内でそれぞれ１桁の数字を検出するときに、該畳み込みニューラルネットワークにより出力されるスコアが最も高い１桁の数字を合併処理に用いる。
例えば、該検出待ちオブジェクトの所在する領域の中から検出された１桁の数字に対して合併を行うことは、該検出待ちオブジェクトの所在する領域の中から検出された１桁の数字の中心位置に基づいて、左から右への順序に従って各１桁の数字を合併することを含む。
例えば、該検出待ちオブジェクトの所在する領域の中から検出された１桁の数字に対して合併を行うことは、該検出待ちオブジェクトの所在する領域の中から検出された１桁の数字の個数が該ナンバーの最大桁数よりも大きいときに、該畳み込みニューラルネットワークにより出力されるスコアに基づいて、検出された１桁の数字のうち、該最大桁数と同じ数の１桁の数字に対して合併を行うことを含む。
もう１つの実施方式では、実施例1に記載のナンバー認識装置は、該中央処理装置701と別々で配置されても良く、例えば、該ナンバー認識装置を、該中央処理装置701に接続されるチップ（chip）として構成し、該中央処理装置701の制御により、該ナンバー認識装置の機能を実現しても良い。
本実施例では、該電子機器700は、図7に示す全ての部品を含む必要がない。
図7に示すように、該中央処理装置701は、制御器又は操作コントローラと称される場合があり、マイクロプロセッサ、他の処理器装置及び/又は論理装置を含んでも良く、該中央処理装置701は、入力を受信して該電子機器700の各部品の操作を制御することができる。
該記憶器702は、例えば、バッファ、フレッシュメモリ、HDD、移動可能な媒体、揮発記憶器、不揮発記憶器、或いは、他の適切な装置のうちの１つ又は複数であっても良い。また、該中央処理装置701は、該記憶器702に記憶されたプログラムを実行することで、情報の記憶、処理などを実現することができる。なお、他の機能は、従来技術と類似したので、ここでは、その詳しい説明を省略する。また、該電子機器700の各部品は、専用ハードウェア、ファームウェア、ソフトウェア、又はその組み合わせにより実現されても良いが、その全ては、本発明の範囲に属する。
上述の実施例から分かるように、１桁のみの数字を検出する必要があるため、0～9の10種類の訓練サンプルだけを収集し、分類器に対して訓練を行うことで、簡単且つ迅速に分類器の訓練を完成することができ、１桁のみの数字に対して検出及び合併を行うのであるから、比較的高い認識精度も有する。
本発明の実施例は、さらに、ナンバー認識方法を提供し、該方法は、実施例1におけるナンバー認識装置に対応する。図8は、本発明の実施例3におけるナンバー認識方法を示す図である。図8に示すように、該方法は、以下のようなステップを含む。
ステップ801：入力画像から検出待ちオブジェクトを検出し；
ステップ802：検出された該検出待ちオブジェクトの所在する領域から１桁の数字を検出し；及び
ステップ803：該検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行い、該検出待ちオブジェクトの所在する領域におけるナンバーを取得する。
本実施例では、上述の各ステップの具体的な実現方法は、実施例1中の記載を参照することができ、ここでは、その重複説明を割愛する。
上述の実施例から分かるように、１桁のみの数字を検出する必要があるため、0～9の10種類の訓練サンプルだけを収集し、分類器に対して訓練を行うことで、簡単且つ迅速に分類器の訓練を完成することができ、また、１桁のみの数字に対して検出及び合併を行うのであるから、比較的高い認識精度も有する。
また、本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、ナンバー認識装置又は電子機器中で前記プログラムを実行するときに、前記プログラムは、コンピュータに、前記ナンバー認識装置又は電子機器中で実施例3に記載のナンバー認識方法を実行させる。
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、コンピュータに、ナンバー認識装置又は電子機器中で実施例3に記載のナンバー認識方法を実行させることができる。
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行されるときに、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フレッシュメモリなどにも関する。
また、上述の実施例などに関して、さらに以下の付記も開示する。
（付記1）
ナンバー認識方法であって、
入力画像から検出待ちオブジェクトを検出し；
検出された前記検出待ちオブジェクトの所在する領域から、１桁の数字を検出し；及び
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行い、前記検出待ちオブジェクトの所在する領域におけるナンバーを得ることを含む、方法。
（付記2）
付記1に記載の方法であって、
畳み込みニューラルネットワークにより、それぞれ、前記検出待ちオブジェクト及び前記１桁の数字を検出する、方法。
（付記3）
付記2に記載の方法であって、さらに、
検出された１桁の数字について、前記畳み込みニューラルネットワークにより出力されるスコアが第一閾値よりも低いときに、該１桁の数字を検出結果から除去することを含む、方法。
（付記4）
付記2に記載の方法であって、さらに、
前記検出待ちオブジェクトの所在する領域から検出された少なくとも２つの隣接する１桁の数字の間の距離が第二閾値よりも大きいときに、前記少なくとも２つの隣接する１桁の数字のうち、前記畳み込みニューラルネットワークにより出力されるスコアが第三閾値よりも低い１桁の数字を除去することを含む、方法。
（付記5）
付記2に記載の方法であって、さらに、
前記検出待ちオブジェクトの所在する領域における重畳した少なくとも２つの検出領域から、それぞれ、１桁の数字を検出するときに、前記畳み込みニューラルネットワークにより出力されるスコアが最も高い桁の数字を前記合併に用いる、方法。
（付記6）
付記1に記載の方法であって、
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行うことは、
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字の中心位置に基づいて、左から右へ順序に従って各１桁の数字を合併することを含む、方法。
（付記7）
付記2に記載の方法であって、
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行うことは、
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字の個数が前記ナンバーの最大桁数より大きいときに、前記畳み込みニューラルネットワークにより出力されるスコアに基づいて、検出された１桁の数字のうちから、前記最大桁数と同じ数の１桁の数字を選択し、合併を行うことを含む、方法。
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims (7)

  1. ナンバー認識装置であって、
    入力画像から検出待ちオブジェクトを検出するための第一検出ユニット；
    検出された前記検出待ちオブジェクトの所在する領域から１桁の数字を検出するための第二検出ユニット；及び
    前記検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行い、前記検出待ちオブジェクトの所在する領域におけるナンバーを得るための合併ユニットを含み、
    前記第一検出ユニット及び前記第二検出ユニットは、畳み込みニューラルネットワークにより、それぞれ、前記検出待ちオブジェクト及び前記１桁の数字を検出し、
    前記ナンバー認識装置は、さらに、
    前記検出待ちオブジェクトの所在する領域から検出された少なくとも２つの隣接する１桁の数字の間の距離が第二閾値よりも大きいときに、前記少なくとも２つの隣接する１桁の数字のうち、前記畳み込みニューラルネットワークにより出力されるスコアが第三閾値よりも低い１桁の数字を除去するための第二除去ユニットを含む、ナンバー認識装置。
  2. 請求項１に記載のナンバー認識装置であって、さらに、
    検出された１桁の数字について、前記畳み込みニューラルネットワークにより出力されるスコアが第一閾値よりも低いときに、該１桁の数字を検出結果から除去するための第一除去ユニットを含む、ナンバー認識装置。
  3. 請求項１に記載のナンバー認識装置であって、さらに、
    前記検出待ちオブジェクトの所在する領域における重畳した少なくとも２つの検出領域から、それぞれ、１桁の数字を検出するときに、前記畳み込みニューラルネットワークにより出力されるスコアが最も高い１桁の数字を前記合併に用いるための確定ユニットを含む、ナンバー認識装置。
  4. 請求項１に記載のナンバー認識装置であって、
    前記合併ユニットは、前記検出待ちオブジェクトの所在する領域から検出された１桁の数字の中心位置に基づいて、左から右へとの順序に従って各１桁の数字を合併する、ナンバー認識装置。
  5. 請求項１に記載のナンバー認識装置であって、
    前記合併ユニットは、前記検出待ちオブジェクトの所在する領域から検出された１桁の数字の個数が前記ナンバーの最大桁数よりも大きいときに、前記畳み込みニューラルネットワークにより出力されるスコアに基づいて、検出された１桁の数字のうちから、前記最大桁数と同じ数の１桁の数字を選択し、合併を行う、ナンバー認識装置。
  6. 請求項１～５のうちの任意の一項に記載のナンバー認識装置を含む、電子機器。
  7. ナンバー認識方法であって、
    入力画像から検出待ちオブジェクトを検出し；
    検出された前記検出待ちオブジェクトの所在する領域から１桁の数字を検出し；及び
    前記検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行い、前記検出待ちオブジェクトの所在する領域におけるナンバーを得ることを含み、
    畳み込みニューラルネットワークにより、それぞれ、前記検出待ちオブジェクト及び前記１桁の数字を検出し、
    前記ナンバー認識方法は、さらに、
    前記検出待ちオブジェクトの所在する領域から検出された少なくとも２つの隣接する１桁の数字の間の距離が第二閾値よりも大きいときに、前記少なくとも２つの隣接する１桁の数字のうち、前記畳み込みニューラルネットワークにより出力されるスコアが第三閾値よりも低い１桁の数字を除去することを含む、ナンバー認識方法。
JP2019213143A 2018-12-20 2019-11-26 ナンバー認識装置及び方法 Active JP7375497B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811561218.9A CN111353511B (zh) 2018-12-20 2018-12-20 号码识别装置及方法
CN201811561218.9 2018-12-20

Publications (2)

Publication Number Publication Date
JP2020102203A JP2020102203A (ja) 2020-07-02
JP7375497B2 true JP7375497B2 (ja) 2023-11-08

Family

ID=71139686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019213143A Active JP7375497B2 (ja) 2018-12-20 2019-11-26 ナンバー認識装置及び方法

Country Status (2)

Country Link
JP (1) JP7375497B2 (ja)
CN (1) CN111353511B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183345A (zh) * 2020-09-28 2021-01-05 天地伟业技术有限公司 一种复杂场景下的号服识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018519574A (ja) 2016-01-05 2018-07-19 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 テキスト画像処理方法および装置
JP2018132894A (ja) 2017-02-14 2018-08-23 株式会社Pfu 日付識別装置、日付識別方法及び日付識別プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050471B (zh) * 2014-05-27 2017-02-01 华中科技大学 一种自然场景文字检测方法及***
CN105224939B (zh) * 2014-05-29 2021-01-01 小米科技有限责任公司 数字区域的识别方法和识别装置、移动终端
CN107346448B (zh) * 2016-05-06 2021-12-21 富士通株式会社 基于深度神经网络的识别装置、训练装置及方法
CN106650641B (zh) * 2016-12-05 2019-05-14 北京文安智能技术股份有限公司 一种交通信号灯定位识别方法、装置及***
CN107133616B (zh) * 2017-04-02 2020-08-28 南京汇川图像视觉技术有限公司 一种基于深度学习的无分割字符定位与识别方法
CN108388894A (zh) * 2017-12-26 2018-08-10 新智数字科技有限公司 一种数字表读数的识别方法、装置及设备
CN108304842A (zh) * 2018-02-01 2018-07-20 重庆中陆承大科技有限公司 水表读数识别方法、装置及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018519574A (ja) 2016-01-05 2018-07-19 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 テキスト画像処理方法および装置
JP2018132894A (ja) 2017-02-14 2018-08-23 株式会社Pfu 日付識別装置、日付識別方法及び日付識別プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Sebastian Gerke et al.，Soccer Jersey Number Recognition Using Convolutional Neural Networks，IEEE Access [online]，2016年02月15日，https://ieeexplore.ieee.org/document/7406449
Shaoqing Ren et al.，Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks，IEEE Access [online]，2016年06月06日，https://ieeexplore.ieee.org/document/7485869
大槻 涼 Ryo Otsuki，深層学習を用いた医療機器に表示される数値の認識モデルの提案 Medical Numerical Record Recognition using Deep Learning，一般社団法人人工知能学会 研究会 ＡＩＭＥＤ：医用人工知能研究会 ＳＩＧ－ＡＩＭＥＤ－００５ ［ｏｎｌｉｎｅ］ ，日本，一般社団法人人工知能学会，2018年03月14日

Also Published As

Publication number Publication date
CN111353511A (zh) 2020-06-30
CN111353511B (zh) 2024-03-08
JP2020102203A (ja) 2020-07-02

Similar Documents

Publication Publication Date Title
Stadler et al. Improving multiple pedestrian tracking by track management and occlusion handling
Huang et al. Tracknet: A deep learning network for tracking high-speed and tiny objects in sports applications
EP3826317B1 (en) Method and device for identifying key time point of video, computer apparatus and storage medium
CN108352072A (zh) 物体跟踪方法、物体跟踪装置以及程序
US9053374B2 (en) Biometric training and matching engine
CN105617638B (zh) 羽毛球挥拍动作识别方法和装置
US11106947B2 (en) System and method of classifying an action or event
WO2020238043A1 (zh) 基于UNet网络的肺叶分割方法、装置及计算机可读存储介质
US7643674B2 (en) Classification methods, classifier determination methods, classifiers, classifier determination devices, and articles of manufacture
CN111104925A (zh) 图像处理方法、装置、存储介质和电子设备
US20240153270A1 (en) System and method for merging asynchronous data sources
JP7375497B2 (ja) ナンバー認識装置及び方法
Shi et al. Training-free object counting with prompts
Rusli et al. Evaluating the masked and unmasked face with LeNet algorithm
US20220207259A1 (en) Object detection method and apparatus, and electronic device
JP7396076B2 (ja) 番号認識装置、方法及び電子機器
Ali et al. Pneumonia Detection Using Chest Radiographs With Novel EfficientNetV2L Model
Tsai et al. Joint detection, re-identification, and LSTM in multi-object tracking
Singh et al. Counterfactual explainable gastrointestinal and colonoscopy image segmentation
CN113344911B (zh) 一种结石尺寸的测量方法以及测量装置
JP2015215893A (ja) 運動参加者の標識文字の識別方法及び設備
CN116052225A (zh) 掌纹识别方法、电子设备、存储介质及计算机程序产品
US20140169688A1 (en) Crosstalk cascades for use in object detection
JP2022185872A5 (ja)
Hsu et al. Deep hybrid network for automatic quantitative analysis of facial paralysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231009

R150 Certificate of patent or registration of utility model

Ref document number: 7375497

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150