JP6471934B2 - 画像認識方法、カメラシステム - Google Patents
画像認識方法、カメラシステム Download PDFInfo
- Publication number
- JP6471934B2 JP6471934B2 JP2015026249A JP2015026249A JP6471934B2 JP 6471934 B2 JP6471934 B2 JP 6471934B2 JP 2015026249 A JP2015026249 A JP 2015026249A JP 2015026249 A JP2015026249 A JP 2015026249A JP 6471934 B2 JP6471934 B2 JP 6471934B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging environment
- parameter
- image
- recognition control
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 116
- 238000003384 imaging method Methods 0.000 claims description 535
- 230000013016 learning Effects 0.000 claims description 206
- 230000006870 function Effects 0.000 claims description 143
- 239000013598 vector Substances 0.000 claims description 40
- 230000008859 change Effects 0.000 claims description 39
- 238000005286 illumination Methods 0.000 claims description 38
- 238000004422 calculation algorithm Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 description 66
- 238000003909 pattern recognition Methods 0.000 description 54
- 238000012545 processing Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 31
- 238000012549 training Methods 0.000 description 31
- 238000003860 storage Methods 0.000 description 30
- 230000004075 alteration Effects 0.000 description 22
- 238000001514 detection method Methods 0.000 description 19
- 230000007613 environmental effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000009826 distribution Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 10
- 238000009434 installation Methods 0.000 description 10
- 239000000470 constituent Substances 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 101000658124 Apomastus schlingeri Mu-cyrtautoxin-As1a Proteins 0.000 description 3
- 101100443238 Caenorhabditis elegans dif-1 gene Proteins 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 206010010071 Coma Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 201000009310 astigmatism Diseases 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000088 plastic resin Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000005368 silicate glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/245—Classification techniques relating to the decision surface
- G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Description
画像認識が防犯等の用途で使用されている場合、パターン認識が充分な機能を発揮し得ない状況になることは、決して許容されるものではない。パターン認識が防犯等の用途で使用されている場合等では、追加学習のための訓練期間の短縮が強く要請される。しかし、従来の画像認識技術には、かかる要請に応えることができる認識方法は存在しない。
前記複数のカメラ装置の中の各カメラ装置が過去に画像を撮像した際の各撮像環境を示す撮像環境情報と、前記各撮像環境に対応する各検出器関数を示す各認識制御パラメータとを管理するパラメータテーブルを用いて、各認識制御パラメータの中から、前記第1カメラ装置から取得された第1撮像環境情報に示される第1撮像環境と同一又は類似の撮像環境に対応する第1検出器関数を示す第1認識制御パラメータを選択し、
前記選択された第1認識制御パラメータで示された第1検出器関数を用いて前記第1カメラ装置から取得した第1画像を認識するものにより解決される。
画像認識によるパターン認識機能を具備したカメラシステムの実施化にあたって、発明者らは以下の考察をおこなった。検出器関数に対して訓練データを与えて学習を行うことは公知の技術である。このような顔の学習では一般環境条件を仮定し、一般環境条件下における顔モデルと非顔モデルのサンプル集合を訓練データとして定めると、学習によって得られる検出器関数は一般環境条件において十分な性能を満たすものとなる。しかしながら、仮定した環境条件やサンプル集合が実際の撮像環境と大きく異なる場合には環境および目標の変化により、検出器関数が所望の性能を満たさないことが十分に考えられる。例えば、大幅な光線照射の変化は顔のモデルを大きく改変し、一般環境条件下における顔モデルから大きく逸脱したモデルとなってしまう。また、訓練データとして定めたサンプル集合と同様の対象モデルが写るようにカメラ装置を設置しなければ、所望の性能が得られないことは言うまでもない。
一つは、カメラ装置の設置環境を最適化し、学習時に仮定した一般環境条件と同等の環境条件を再現する方法である。専用のカメラ装置を設置し、特定パターンを識別する際にはこの対策を行うことが一般的である。
しかしながら、前記のように追加学習を行う従来の構成では、撮像環境が刻々と変化するため、常に追加学習を行わなければならない。このため、追加学習の手法によっては過大な負荷がかかることが想定され、学習に多くの時間を費やしてしまうことが問題となっている。
(1.基本的態様)
1.は、技術的思想の体系の根幹であり、それは、前記複数のカメラ装置の中の第1カメラ装置から、当該第1カメラ装置により撮像された第1画像及び前記第1画像を撮像した際の前記第1カメラ装置の第1撮像環境を示す第1撮像環境情報を前記第1カメラ装置から取得し、
前記複数のカメラ装置の中の各カメラ装置が過去に画像を撮像した際の各撮像環境を示す撮像環境情報と、前記各撮像環境に対応する各検出器関数を示す各認識制御パラメータとを管理するパラメータテーブルを用いて、各認識制御パラメータの中から、前記第1カメラ装置から取得された第1撮像環境情報に示される第1撮像環境と同一又は類似の撮像環境に対応する第1検出器関数を示す第1認識制御パラメータを選択し、
前記選択された第1認識制御パラメータで示された第1検出器関数を用いて前記第1カメラ装置から取得した第1画像を認識するという態様の画像認識方法である。
画像認識については、以下の下位概念化が可能である。その下位概念化とは、前記第1画像の認識は、前記第1画像から抽出された前記第1画像の特徴ベクトルを示すパターン情報に対して、前記選択された第1認識制御パラメータに示される第1検出器関数を用いて行われるというものである。第1画像から抽出された特徴ベクトルに対して第1検出器関数を適用することで、第1画像に所望の対象物が表れているかどうかの検出を行うから、画像認識の精度を向上させることができる。
画像認識方法については、撮像環境が変動した際の処理を追加することができる。その撮像環境が変化した際の処理とは、第1カメラ装置で撮像した第2画像及び前記第2画像を撮像した際の前記第1カメラ装置の第2撮像環境を示す第2撮像環境情報を前記第1カメラ装置から取得し、
前記第1環境情報と前記第2環境情報とが異なる場合、前記パラメータテーブルを用いて、第2撮像環境情報に示される第2撮像環境と同一又は類似の撮像環境に対応する第2検出器関数を示す第2認識制御パラメータを選択し、
前記選択された第2認識制御パラメータで示された第2検出器関数を用いて前記第1カメラ装置から取得した第2画像を認識するというものである。同じカメラで異なる撮像環境が撮像された場合、その異なる撮像環境に対応する第2検出器関数が選択されるから、画像認識の精度を高めることができる。
画像認識方法については、対応する認識制御パラメータが存在しない場合の処理を追加することができる。その認識制御パラメータが存在しない場合の処理とは、前記パラメータテーブルの中に前記第1画像の撮像時の第1撮像環境と同一又は類似の撮像環境に対応する第1検出器関数を示す第1認識制御パラメータが存在しない場合、更に、所定の学習アルゴリズムを用いて前記第1認識制御パラメータを生成し、前記生成された第1認識制御パラメータを用いて前記パラメータテーブルを更新するというものである。
(5.第2認識制御パラメータが存在しない場合の処理)
画像認識方法については対応する認識制御パラメータが存在しない場合の処理を追加することができる。その認識制御パラメータが存在しない場合の処理とは前記第1撮像環境とは異なる第2撮像環境で第1カメラ装置が第2画像を撮像した場合、前記画像認識方法は、第2画像及び前記第2画像を撮像した際の前記第1カメラ装置の第2撮像環境を示す第2撮像環境情報を前記第1カメラ装置から取得し、前記パラメータテーブルを用いて、第2撮像環境と同一又は類似の撮像環境に対応する第2検出器関数を示す第2認識制御パラメータをサーチし、
前記パラメータテーブルの中に前記第2認識制御パラメータが存在しない場合、所定の学習アルゴリズムを用いて前記第2認識制御パラメータを生成し、前記生成された第2認識制御パラメータを用いて前記パラメータテーブルを更新するというものである。
(6.第1カメラに対する処理)
前記画像認識方法については、カメラに対する処理を追加することができる。その処理とは、前記第1認識制御パラメータが前記第1撮像環境と同一ではなく類似の撮像環境に対応する第1検出器関数を示す場合、更に、前記類似の撮像環境で画像の撮像をさせるために前記第1カメラ装置の設定を変更する指示を前記第1カメラ装置に送信し、
前記第1カメラ装置から、前記類似環境で撮像された第3画像を取得し、
前記第1認識制御パラメータで示された第1検出器関数を用いて前記第1カメラ装置から取得した第3画像を認識するというものである。第1認識制御パラメータが前記第1撮像環境と同一ではなく類似の撮像環境に対応している場合、カメラの撮影環境を当該類似の撮影環境に変更して、以降の撮像で得た画像の認識に用いるから、同じ撮像環境そのものがみつからなくても、認識制御パラメータに示される検出器関数を基として相応の認識精度を維持することができる。
認識制御パラメータを選択するにあたっては、類似度を導入することができる。類似度を基礎にした認識制御パラメータの選択とは、前記第1撮像環境を示す撮像環境情報と、前記パラメータテーブルに管理されている前記各撮像環境を示す撮像環境情報との差分から類似度を算出し、
当該類似度が所定の閾値を上回る類似度を持つ撮像環境を示す撮像環境情報が前記パラメータテーブルに複数存在する場合、最も類似度が高い撮像環境に対応する検出器関数を示す認識制御パラメータを、前記第1認識制御パラメータとして選択するというものである。認識制御パラメータの差分から算出された類似度を認識制御パラメータ選択の基礎とするから、認識制御パラメータの選択が適切になる。
認識制御パラメータ生成にあたっては、既存の認識制御パラメータを基礎にすることができる。既存の認識制御パラメータを基礎にした認識制御パラメータ生成とは、前記第1画像の撮像時の撮像環境を示す第1撮像環境情報と、前記パラメータテーブルに管理されている前記各撮像環境を示す撮像環境情報との差分から類似度を算出し、
当該類似度が所定の閾値を上回る類似度を持つ撮像環境を示す撮像環境情報が前記パラメータテーブルに存在しない場合、当該類似度が所定の閾値を下回る類似度の中で最も類似度が高い撮像環境に対応する検出器関数を示す第3認識制御パラメータを選択し、前記生成された第3認識制御パラメータを基礎として、所定の学習アルゴリズムを用いて、新たに取得した画像の認識に用いる認識制御パラメータを生成するというものである。
(9.認識制御パラメータ生成の基礎となる特徴ベクトルの選択)
認識制御パラメータ生成の基礎となる特徴ベクトルを選択することができる。その選択が行える画像認識方法の態様とは、前記所定の学習アルゴリズムを用いて前記第1認識制御パラメータを生成する際、前記第1画像、及び前記第1撮像環境情報に示される第1撮像環境と同一の撮像環境下で前記第1カメラ装置と異なる第2カメラ装置で撮像された第2画像から抽出された特徴ベクトルを基礎として用いるというものである。
(10.撮像環境情報の分類)
前記パラメータテーブルでは、複数の認識制御パラメータを分類して管理することができる。その分類とは、前記各カメラ装置が過去に撮像した各画像の特徴ベクトル、又は 前記各カメラ装置が過去に撮像した際に検知された撮像環境を示す情報に基づいて前記各撮像環境を示す撮像環境情報を分類し、
前記分類された前記各撮像環境を示す撮像環境情報に対応させて前記各検出器関数を示す各認識制御パラメータを前記パラメータテーブル上で管理させるというものである。複数の認識制御パラメータは、パラメータテーブル上で、特徴ベクトル、又は、撮像環境情報自身に従い分類されているから、画像の認識にあたって、その画像に適合した認識制御パラメータを選ぶことができる。
撮像環境情報については、撮像に関する具体的な情報を用いて具体化することができる。その具体化とは、前記検知された撮像環境を示す情報は、前記各カメラ装置が過去に撮像した際の周辺照度を表す情報、前記各カメラ装置の照明方向を表す情報、前記各カメラ装置に取り付けられた各レンズに起因する歪 を表す情報、前記各カメラの揺れに起因する前記各画像の揺れを表す情報、前記各画像における対象オブジェクトのサイズを表す情報、前記各画像における対象オブジェクトの向きを表す情報、のいずれかを含むというものである。撮像環境情報に含まれる情報要素により、カメラ装置の状態の詳細が把握されるから、認識制御パラメータの選択が確からしいものとなる。
(12.カメラシステムとしての局面)
上記目的は、画像認識方法と同様の構成要件を具備した一個のカメラシステムにより達成することができる。それは、複数のカメラ装置を含むカメラシステムであって、前記複数のカメラ装置の中の第1カメラ装置で第1画像が撮像された場合、前記第1画像及び前記第1画像を撮像した際の前記第1カメラ装置の第1撮像環境を示す第1撮像環境情報を前記第1カメラ装置から取得する取得手段と、前記複数のカメラ装置の中の各カメラ装置が過去に画像を撮像した際の各撮像環境を示す撮像環境情報と、前記各撮像環境を示す撮像環境情報に対応する各検出器関数を示す各認識制御パラメータとを管理するパラメータテーブルを用いて、前記第1カメラ装置から取得した第1画像の撮像時における第1撮像環境情報に示される第1撮像環境と同一又は類似の撮像環境に対応する第1検出器関数を示す第1認識制御パラメータを選択する選択手段と、前記選択された第1認識制御パラメータで示された第1検出器関数を用いて前記第1カメラ装置から取得した第1画像を認識する認識手段とを備えたカメラシステムである。
以下、本発明の実施の形態について図面を参照しながら説明する。実施の形態1が前提としているカメラシステムについて説明する。ここでカメラシステムは、カメラ装置と接続されたコンピュータシステムを指し、1つ以上のコンピュータから構成されれば足りる。例えば、クラウドサーバが端末に対してゲストOSを起動し、かかるゲストOS上で起動したアプリケーションにより情報提供を行うクラウドコンピュータシステムのほか、クライアントからの要求に応じて、サーバが情報提供を行うクライアント−サーバシステム、コンピュータ同士がピアツーピア接続を行うコンピュータシステム、コンピュータがグリッドとして機能し、分散処理を行うグリッドコンピュータシステムを広く含む。実施の形態1におけるカメラシステムの構成の一例を図1に示す。図1におけるカメラシステムは、データ提供センター101、データ運営センター102を含み、ビルのエントランス、駅のホーム、コンビニエンストアの出入口に設置されているカメラ11、12、13、14により撮像された画像を処理する。図1のin1,in2,in3,in4は、カメラ11、12、13、14で撮像された画像のカメラシステムへの供給を示す。
特定パターン認識装置111〜114は、複数の場所に設置された2以上の撮像部を含み、それぞれが、撮像画像に表れた特定パターンの認識を行う。特定パターン認識装置111〜114には複数の場所に設置された2以上の撮像部が含まれるが、簡略化のため、特定パターン認識装置111〜114に含まれる撮像部は1つであり、一個の特定パターン認識装置が、一個のカメラ装置を構成するものとして説明を進める。また、認識の対象となるパターンは、撮像画像における顔部分の画像であるとして説明を行う。
パラメータ管理部140は、パラメータテーブル記憶部130の管理を行う構成要件である。パラメータテーブル記憶部130の管理は、認識識別パラメーの取得、新たな認識制御パラメータの登録、認識識別パラメーの削除などの操作を含む。
以上がカメラシステムの概略構成についての説明である。続いて、認識制御パラメータ計算部121、122による処理の詳細について説明する。
認識制御パラメータ計算部121、122が追加学習を行う際の初期値について説明する。追加学習を行うにあたって、追加学習の初期値としては、パラメータ管理装置140によって最も類似度の高い撮像環境の認識制御パラメータが選ばれる。学習途中で撮像環境が変化してしまった場合には、学習途中の認識制御パラメータをパラメータテーブル記憶部130に保存しておく。そして撮像環境が再度変化し、学習途中となっていた撮像環境と同じ撮像環境パラメータとなった際、パラメータ管理装置140によって、パラメータテーブル記憶部130に保存された学習途中の認識制御パラメータを取得し、追加学習の初期値とする。途中から追加学習を開始することで、新規に追加学習を行うよりも学習時間を削減することが出来る。
追加学習による検出器関数の再計算について説明する。検出器関数の再計算では、オンラインAdaBoostなど、既知の学習手法を取り入れるものとする。追加学習による認識制御パラメータの再計算については特許文献1が詳細に説明しているため、ここでは説明を割愛する。また、追加学習を行った場合には、学習が完了したかどうかの判断が必要になるが、例えば、一定時間学習結果の変化が無く、結果が収束したと判断できる場合には学習完了とみなすことができる。以上が、認識制御パラメータ計算部121、122による再計算の内容である。
学習制御部207は、識別実行部203で特定パターンの識別を行うか、認識制御パラメータ計算部121、122で認識制御パラメータの再計算を行うかの制御を行う。学習制御部207による学習制御とは、認識制御パラメータ計算部121、122に、新たな認識制御パラメータを計算させる制御である。顔検出を行う場合、オンライン学習を用いて検出器関数の追加学習を認識制御パラメータ計算部121、122に実行させる。追加学習のための学習アルゴリズムには、Adaboost、SVM、ニューラルネットワークを利用することができる。本実施形態では、これらのうちAdaboostを利用する。追加学習に訓練データを用いる場合、人手で作成された訓練データを与えてもよいし、処理負荷が大きく精度が高い検出アルゴリズムをサーバ上で動作させることで作成された訓練データを適用してもよい。訓練データを必要としない学習アルゴリズムを用いるのであれば、画像データを適用すれば足りる。認識制御パラメータの再計算が必要でない場合、学習制御部207の省略が可能となる。
図4はパラメータテーブル記憶部130で保持されるパラメータテーブルの一例を表した図である。パラメータテーブルのレコード構成について説明する。パラメータテーブルのレコードは、分類ID、撮像環境パラメータ、認識制御パラメータ、学習状況、カメラID(撮像部201固有のID)、評価情報から構成される。
「撮像環境パラメータ」は、撮像環境を特定するための様々な情報要素から構成される。かかる撮像環境パラメータの情報要素には、被写体に関するものと、レンズに関するものとがある。被写体に関する情報要素は、各カメラ装置の照明方向を表す情報、各画像における対象オブジェクトのサイズを表す情報、前記各画像における対象オブジェクトの向きを表す情報、各カメラ装置が過去に撮像した際の周辺照度を含む、レンズに関する情報要素は、各カメラ装置に取り付けられた各レンズ歪情報、カメラ揺れ情報を含む。尚、これらの図4では、これらの情報要素のうち、照明方向、顔サイズ、顔の向きの一例を示している。
「評価情報」は、同一又は類似の撮像環境パラメータに対応付けられることで一個のグループに分類される複数認識制御パラメータのそれぞれを評価するための評価値を示す。かかる評価値は、検出器関数を認識に用いた件数、その場合の成功率、検出器関数が認識に要した時間等を含む。分類グループに含まれる個々の認識制御パラメータにこれらの評価値が対応付けられているので、1つのカメラ装置により撮像が行われた場合、分類グループに含まれている複数の認識制御パラメータのうちどれが、そのカメラ装置の撮像環境に合致するかの評価が可能になる。
以上がパラメータテーブルについての説明である。
これらの照明方向、撮像部に写る平均的な顔サイズ、平均的な顔の向き、周辺照度が、現実社会のどのような事物を対象にしているかについて説明する。
照明方向の検知方法としては、例えば、照度センサによって明るさの分布を見てもよいが、本実施の形態では撮像部201から取得した画像の輝度値の分布を見る手法について説明する。具体的には、撮像部201から得た画像データから顔を検出し、顔画像をいくつかのブロックに分け、各ブロックの輝度平均を求める。そして、輝度の平均が最も大きいブロックから最も小さいブロックへの方向を照明方向とする。光が均等に照射されている場合には顔の輝度は一定になることから、本手法による照明方向の取得は有効である。
図6(b)は、背景差分法の対象となる2枚の画像を示す。(b)の左側が、基準となる撮像画像im0を示し、右側は被写体が写り込んだ撮像画像im3を示す。dif1は、左側、右側の画像のうち、背景差分法で検出される差分を示す。このdif1のうち、顔部分のサイズ(dif1.face)が、撮像環境パラメータのサイズとして追加されることになる。
以上が、被写体に関する情報要素についての説明である撮像環境パラメータの情報要素のうち、レンズに関するものについて説明する。レンズに関する撮像環境パラメータの情報要素は、レンズ歪み情報、レンズ揺れ情報がある。レンズ歪み情報は、色収差(軸上色収差、倍率色収差)を示すものと、単色収差(球面収差、コマ収差、非点収差、像面収差、歪曲収差)を示すものとがある。
軸上色収差とは、レンズの近軸上で起きる収差である。
球面収差とは、レンズの外側、及び、レンズの近軸付近において、レンズ表面が球面になっているため、光の屈折角が急峻になり、レンズから近いとこで、焦点を結ぶことに起因する収差である。
非点収差は、現実物と、像とで形状が異なってしまう収差である。
像面収差は、平面形状を撮像した際、湾曲した面の像が得られるという収差である。
歪曲収差とは、四角形形状を撮像した際、その形状が、樽型、渦巻型になるという収差である。
以上の撮像環境パラメータの情報要素は、撮像部毎に得られる数値ではなく、カメラ映像に対する環境のパラメータを意味する。そのため、センサなどから得た値をカメラ映像に対する値に変換する必要がある。例えば、照明方向をセンサ等で検知した場合には世界座標系から、画像座標系への変換が必要となる。世界座標系から画像座標系への変換には透視変換を用いることが一般的である。透視変換は既知の技術であるため、ここでは説明を割愛する。利用できる撮像環境パラメータは、撮像環境パラメータ取得部で利用するセンサの種類や識別を行うアルゴリズムの種類によって異なるため、取得する撮像環境パラメータの情報要素はこれに限定されるものではない。
図8は、検出器関数の内部構成と、この検出器関数の構成要件に対する処理の過程とを示す図である。本図に示すように、検出器関数は、複数の弱分類器cf1と、強分類器cf2とから構成され、オフライン訓練tr1、オンライン訓練tr2、追加学習tr3がなされる。
強分類器F(x)と、弱分類器fi(x)との関係は、様々な数式(図中のFa(x)〜Fz(x),Fa'(x)〜Fz'(x))で規定される。かかる数式による強分類器の違いは、パラメータテーブルにおける関数識別パラメータA〜Z,A'〜Z'で区別される。
オフライン訓練tr1は、実例xに対する類別yが確定している訓練サンプル(x,y)を強分類器に入力することでなされる訓練過程である。 オンライン訓練tr2は、実例xに対する類別yが確定していない訓練サンプル(x)を検出器関数に入力することでなされる。かかるオンライン訓練では手動入力を受け付ける。この手動入力は、オフライン訓練の結果が誤報であるか、認識誤りであるかを指示するものである。オンラインBoostingアルゴリズムag1は、パラメータλをポアソン分布に適用することで得られる値(Poasson(λ))を値kに設定して、弱分類器の訓練をk回繰り返し、この繰り返し後の弱分類器の結果がy=fi(x)であるなら、λ←λ・1/2(1-em)の計算によりλを更新し、弱分類器の結果がy≠fi(x)であるなら、λ←λ・1/2(em)の計算によりλを更新した後にkを更新して、更新後のkだけ弱分類器の訓練を繰り返すものである。
弱分類器による実例空間の区分には、決定境界によるものの他、特徴ベクトルのクラスタリングによるものがある。
図11は、特徴ベクトルの部分集合化(クラスタリング)を示す。本図における四角形の集り、三角形の集り、丸の集りは、二次元特徴空間における特徴ベクトルの分布を示す。実線の枠fr1,fr2,fr3は、これらの特徴ベクトルの分布をNクラス(N=3)に分類するためのクラスタリング境界である。破線の三角、四角、丸は、オンライン学習の過程で得られた新たな訓練データであり、これらのうちn11,n12,n13,n14,n15は、クラスタリング境界がfr1,fr2,fr3のように設定されたために、適切なクラスへの分類から漏れた訓練データである。図11の追加学習は、これらの訓練データが正しいクラスに分類するものである。fr11,12,13は、追加学習を経て、n11,n12,n13,n14,n15を取り囲むように規定された非線形クラスタリング境界を示す。撮像環境が変化することで、正しいクラスに分類され得ない訓練データが発生したとしても、上述したようにクラスタリング関数を変更することで、かかる分類漏れを正しいクラスに分類することができる。以上が検出器関数についての説明である。続いて、パラメータ管理装置140についての説明を行う。
認識制御パラメータ取得部410は、特定パターン認識装置111〜114の何れかであるカメラ装置のカレント撮像環境パラメータと同一又は類似の撮像環境とされる撮像環境パラメータがパラメータテーブルに存在するかどうかのサーチを行う。このサーチは、カレント撮像環境パラメータと、パラメータテーブルの各レコードに記載されている撮像環境パラメータとの類似度を環境類似度計算部420に算出させることでなされる。環境類似度計算部420により算出された何れかの撮像環境パラメータについての類似度が所定の閾値より高い場合、パラメータテーブルには、カレント撮像環境パラメータと同一又は類似の撮像環境で認識実績がある認識制御パラメータが存在することになる。そのような撮像環境パラメータが唯一つであれば、その撮像環境パラメータに対応する認識制御パラメータを カレント認識制御パラメータとして要求元のカメラ装置である特定パターン認識装置111〜114の何れかに送り返す。閾値を上回る類似度をもつ撮像環境パラメータが複数存在する場合、それらの撮像環境パラメータの中で、最も高い類似度をもつものを カレント認識制御パラメータとして要求元のカメラ装置である特定パターン認識装置111〜114の何れかに送り返す。
認識制御パラメータ計算部121、122は、カレント撮像環境パラメータと、パラメータテーブルにおける撮像環境パラメータとの類似度が、何れの撮像環境パラメータについても閾値を下回る場合、パラメータテーブルに記載されている複数の撮像環境パラメータのうち、最も高い類似度を有するものに対応する認識制御パラメータを選択して、その認識制御パラメータに示される検出器関数を元に、検出器関数を算出する。
続いて、図14〜図16のフローチャートを参照しながらこのカメラシステムの全体的な処理手順について説明する。
図14は、撮像画像を対象にした画像識別を示すフローチャートである。まず、特定パターン認識装置111〜114は、撮像環境パラメータ取得部202によって照明方向、およびオブジェクトサイズ、オブジェクトの向きを含む撮像環境パラメータを取得する(ステップS00)。この際に、本実施の形態では、撮像部201から取得した映像に対して、画像処理を行うことによって照明方向、オブジェクトサイズ、オブジェクトの向きを取得する。本実施の形態で取得される撮像環境パラメータは、光の向き、対象オブジェクトのサイズ、対象オブジェクトの向きであるものとする。ただし、これらは一例であり、撮像環境パラメータの内容はこれらに限定されない。
そして、それらの撮像環境パラメータのユークリッド距離が閾値以上離れていた場合(ステップS01)、環境が変化したと判断する。 カメラシステムに新規のカメラ装置(特定パターン認識装置111〜114以外の特定パターン認識装置)を追加した場合には、撮像環境パラメータ保持部206に保持されている撮像環境パラメータが無いため、必ず撮像環境パラメータが変化したことになる(ステップS01でYES)。環境が変化していないと判断された場合(ステップS01でNOの場合)には、そのまま撮像部201より取得した映像に対して識別実行部203で特定パターンの識別を実行し、撮像画像に対するパターン識別を行う(ステップS06)。
類似する撮像環境で学習成果をもつ検出器関数の取得に成功した場合(ステップS03でYESの場合)、当該検出器関数を示す認識制御パラメータを、特定パターン認識装置111〜114の認識制御パラメータ保持部204に対して設定する(ステップS05)。逆に、類似する認識制御パラメータの取得に失敗した場合(ステップS03でNOの場合)、検出器関数を追加学習によって再計算する(ステップS04)。認識制御パラメータ計算部121、122での追加学習が完了し、新たな認識制御パラメータを得た場合にも、検出器関数を示す認識制御パラメータをパラメータテーブル記憶部130に登録する(ステップS05)。S03において、認識制御パラメータの取得に失敗するということには、パラメータテーブルに類似する撮像環境のデータが存在しなかった場合が含まれる。検出器関数の追加学習は、認識制御パラメータの取得に失敗したケースに限られるから、かかる追加学習の実行頻度は抑制される。
(ステップS110)。類似度Simが閾値Thpを上回る撮像環境パラメータが唯一つだけ存在する場合、ステップS109において、唯一つの撮像環境パラメータに対応する認識制御パラメータを要求元の特定パラメータ認識装置に送信する。
図16は、追加学習の処理手順の一例を示すフローチャートである。まず、特定パターン認識装置111〜114では、学習制御部207によって撮像部201における映像データを認識制御パラメータ計算部121、122に送信するよう送り先を切りかえる(ステップS20)。次に、撮像部から送信された映像データから抽出された特定パターンを識別できるよう、既存の学習アルゴリズムによって検出器関数の追加学習を行う(ステップS21)。追加学習を行いながら、特定パターン認識装置111〜114の撮像環境パラメータ取得部202では、撮像環境パラメータの取得を行い、撮像環境パラメータ比較部205によって撮像環境の変化を調べる(ステップS22)。ここで、撮像環境が変化しなかった場合には(ステップS22でNOの場合)、パターンに対する学習アルゴリズムの出力が収束したか否かを判断する(ステップS23)。学習が完了していない場合(ステップS23でNOの場合)には、再度、撮像部201から取得した映像を用いて追加学習を行う(ステップS21)。学習が完了したと判断された場合(ステップS23でYESの場合)には、学習を終了する。ここで、学習を完了したかどうかの判断方法としては、例えば、認識制御パラメータ計算部121、122で学習中の検出器関数の変化がなくなり、学習結果が収束した場合、学習が完了したとみなすことができる。
パラメータ管理装置140では、通知が来ると認識制御パラメータ登録部430によってパラメータテーブル記憶部130のパラメータテーブルに対して撮像環境パラメータ、認識制御パラメータ、学習状況を登録する(ステップS25)。認識制御パラメータ登録部430では、新規に学習を行って得た認識制御パラメータをパラメータテーブル記憶部130に登録する際には、パラメータテーブル記憶部130のテーブルを一つ増やして保存すればよい。しかしながら、以前に学習途中となっていたものを再度学習によって計算した場合には、認識制御パラメータを取得する際の手順と同様に、環境類似度計算部によって撮像環境パラメータの類似度を計算し、一致した撮像環境の認識制御パラメータを上書きしなければならない。また、学習中に撮像環境が変化した場合(ステップS22でYESの場合)には、特定パターン認識装置111〜114の撮像環境パラメータ保持部206に保存されている変化前の撮像環境パラメータと、認識制御パラメータと、学習途中/学習完了の何れかを示す学習状況をパラメータ管理装置140に対して通知する(ステップS24)。学習完了時と同様に、パラメータ管理装置140の認識制御パラメータ登録部430によってパラメータテーブル記憶部130に対して撮像環境パラメータ、検出器関数を示す認識制御パラメータ、学習状況を登録する。これにより、いずれかの特定パターン認識装置が同様の撮像環境の変化に遭遇した場合、途中から追加学習を開始することが出来るため、学習を早く収束させることが出来る。
以上のように、実施の形態1におけるカメラシステムの構成によれば、特定パターン認識装置111〜114と、認識制御パラメータ計算部121、122と、パラメータテーブル記憶部130と、パラメータ管理装置140によって、特定パターンを認識する際に最適な認識制御パラメータを取得して利用することが出来、ある特定パターン認識装置が他の特定パターン認識装置と同じ環境になった場合や、新たな特定パターン認識装置を追加した際には既存の認識制御パラメータを利用して、学習の回数や負荷を大幅に軽減することや、設置環境を調整する手間を大幅に改善することが出来る。
次に、本発明の実施の形態2について説明する。実施の形態2では、実施の形態1に加えて撮像部のカメラ設定を変更する改良に関する。
図17は、本発明の実施の形態2における特定パターン認識装置111〜114の構成図である。撮像部201から学習制御部207までの構成要素が存在する点は、実施の形態1の内部構成と、実施の形態2の内部構成との共通点である。差異は、実施の形態2に特有の構成要件として、撮像設定計算部208、変換可否判定部209、カメラ制御部210を含んでいる点である。これらは、任意の撮像環境パラメータに対応する撮像環境となるようにカメラを制御するための構成要件である。図17において、図3と同じ構成要素については同じ符号を用い、説明を省略する。
以下、カメラシステムの全体処理について説明する。
類似する撮像環境において学習成果をもつ認識制御パラメータを 取得できなかった場合(ステップS37がNo)、追加学習を行い、検出器関数を示す認識制御パラメータをパラメータテーブルに登録する(ステップS34)。
以上のように本実施形態によれば、特定パターンを認識する際に最適な認識制御パラメータを取得して利用するだけでなく、撮像環境が変化した際には、撮像部のカメラ設定を既知の認識制御パラメータを持つ他の撮像環境と等しく設定することで、既存の認識制御パラメータを利用することが出来、学習の回数や負荷を大幅に軽減することや、設置環境を調整する手間を大幅に改善することが出来る。
次に、本発明の実施の形態3について説明する。実施の形態3では、実施の形態1に加えて、撮像環境パラメータのデータ集合を共通の特徴を持ったいくつかの部分集合に分割し、部分集合と、サンプルデータとを対応付けて管理を行うことで、管理するパラメータ数の削減を実現する改良に関する。
さらに、ステップS61で取得した検出器関数と、パラメータ管理装置140で受け取った検出器関数とに幾つかのサンプルを与えた場合の出力が等しくなるかどうかで、認識制御パラメータ比較部440が認識制御パラメータを比較する(ステップS62)。
また、認識制御パラメータ比較部440によって比較した認識制御パラメータが等しくなかった場合(ステップS62でNOの場合)にはパラメータテーブルの最後に達したかどうかを判定する(ステップS63)。S63でNoであれば、変数kをインクリメントして(ステップS67)、インクリメント後のk番目の認識制御パラメータをパラメータテーブル記憶部130から取得する(ステップS61)。以降、認識制御パラメータの比較を再度行う(ステップS62)。この際に、パラメータテーブルの最後まで達したにもかかわらず等しい認識制御パラメータが見つからず、パラメータテーブル最後に到達した場合(ステップS63でYESの場合)には、パラメータ管理装置140で受け取った撮像環境パラメータを包含する新たな部分集合を特徴空間に作成して(ステップS65)、新たに作成された部分集合と、認識制御パラメータとをパラメータテーブル記憶部130に登録する(ステップS66)。
以上、本願の出願時点において、出願人が知り得る最良の実施形態について説明したが、以下に示す技術的トピックについては、更なる改良や変更実施を加えることができる。
(認識制御パラメータ計算部121、122の省略)
パラメータテーブル記憶部130は、撮像環境を表す撮像環境パラメータと、識別の実行に利用する認識制御パラメータとを対応付けて保持したが、起こりうる全ての撮像環境に対応する認識制御パラメータが、予めパラメータテーブル記憶部130に登録されている場合などには認識制御パラメータ計算部121、122は省略することが出来る。
図15のフローチャートにおけるS15では、類似する撮像環境がパラメータテーブル内に無かった場合、エラーコードを出力したが、類似する撮像環境がパラメータテーブル内に無かったことを通知できればよいため、エラーでなくとも類似する撮像環境が無いという何らかの情報を通知できればよい。また、追加学習を行わない場合には、類似度SimがThpを超えていなくてもエラーの代わりに最も類似度の高い撮像環境の検出器関数を送信すればよい。
図15における撮像環境パラメータにおける類似度計算手法は一例であり、他の類似度計算手法を用いてもかまわない。特定パターン認識装置の撮像環境は一定の時間で見ると特定の環境下になる頻度が高くなることがわかる。そのため、パラメータ管理装置140にキャッシュテーブルを用意し、出現頻度の高い撮像環境パラメータと認識制御パラメータの組み合わせを登録しておくことによって、パラメータの検索を高速に行うことも出来る。
特定パターン認識装置111〜114の構成要素である撮像部201、撮像環境パラメータ取得部202、識別実行部203、認識制御パラメータ保持部204、撮像環境パラメータ比較部205、撮像環境パラメータ保持部206、学習制御部207、撮像設定計算部208、変換可否判定部209、カメラ制御部210、及び、パラメータ管理装置140の構成要素である認識制御パラメータ取得部410、環境類似度計算部420と、認識制御パラメータ登録部430、認識制御パラメータ比較部440、クラス計算部450は、マイクロプロセッサ、コードROM、RAMによって構成してもよい。この場合、これまでの実施形態に示した処理手順は、命令コードにより記述してコードROMに格納するのが望ましい。
撮像環境パラメータ取得部202による撮像環境パラメータの取得は、明るさ検知のために取り付けられた照度センサでなされてもよいし、汎用回路のプログラムによって、カメラ映像の輝度から明るさを判定することでなされてもよい。また、撮像部201より得た映像を解析するためのASIC(Application Specific Integrated Circuit)等の専用回路や、FPGA(Field Programmable Gate Array)やDSP(Digital Signal Processor)、コードROMに格納され、CPU(Central Processing Unit)等のプロセッサで実行されるプログラムや、コードROMに格納され、PC(Personal Computer)用CPU(Central Processing Unit)等の汎用回路で実行されるプログラムによって、映像から環境情報を取得することもできる。
識別実行部203は、それぞれカメラ内部に搭載されたASIC(Application Specific Integrated Circuit)等の専用回路であってもよいし、FPGA(Field Programmable Gate Array)やDSP(Digital Signal Processor)、CPU(Central Processing Unit)等のプロセッサで実行されるプログラムあってもよいし、カメラなどの撮像手段に接続された汎用回路で実行されるプログラムとして存在しても良く、これらに限定されるものではない。
本実施の形態では顔検出についての説明をしているため、認識制御パラメータ計算部を設けているが、追加学習によって認識制御パラメータを求めることが出来ない場合や、追加学習を行う必要が無い場合などには学習制御部207だけでなく、認識制御パラメータ計算部121、122も省略することが出来る。実施の形態1では、関数識別パラメータ計算部をオンライン学習器として構成したが、人が映像内容を見て識別パラメータを適宜変更できる場合学習器を省略することができる。変更に応じて識別パラメータを計算すれば足りるからである。
各実施形態では画像認識が人物の顔であるとして説明を行ったが、本実施の形態はこれに限定されるものではない。人間の姿態や動物の姿態、自動車、列車等が認識の対象であってもよい。
(多数決処理の導入)
パラメータテーブルにおいて、同一の撮影環境に複数の認識制御パラメータが対応付けられている場合、これら複数の認識制御パラメータに示される複数の検出器関数を同時起動して多数決処理を実行してもよい。
個人毎に、パラメータテーブルを作成して、個人の特徴を示す特徴ベクトルに対応付けて、パラメータテーブルを管理してもよい。図23は、個人の特徴ベクトルに対応付ける形で管理されている複数のパラメータテーブルの一例を示す。本図には、パラメータテーブル1、2、3という3つのパラメータテーブルが描かれていて、これらのパラメータテーブルはそれぞれ、3つの特徴ベクトル(ベクトル1、2、3)に対応付けられている。パラメータ管理装置140には、このような形態でパラメータテーブルが管理されている。一方、特定パターン認識装置111〜114は、撮像がなされた場合、撮像された画像の特徴ベクトルを抽出して、撮像時の撮影環境パラメータと共に、抽出した特徴ベクトルをパラメータ管理装置140に送信する。パラメータ管理装置140は、送信された特徴ベクトル、撮影環境パラメータを受信して、当該特徴ベクトルに対応付けられたパラメータテーブルの中から、その撮像時の撮影環境パラメータに対応する認識制御パラメータを検索する。そして、合致する認識制御パラメータが存在すれば、当該認識制御パラメータを特定パターン認識装置111〜114に返す。
認識制御パラメータに、小分類を付与することで認識制御パラメータのコード体系化を図ってもよい。この小分類は、ピリオドで区切られた複数のコードによって構成される。図25は、複数のコード体系で記載された認識制御パラメータの小分類を示す。この複数のコード体系は、オンライン学習法、追加学習法、弱分類器の接続形態、ルップアップテーブルの調整仕方のそれぞれに対応する。これらの5つのコードを用いることにより、カメラ装置により撮像された撮像画像のパターン識別において、オフライン学習がどのようになされるか、追加学習はどのようなものか、弱分類器の接続形態がどのようなものか、ルックアップテーブルの調整はどのような方法でなされるという観点から、検出器関数の類型を明らかにしている。木構造tr1は、オンライン学習に分類される類型として、5つのアルゴリズムによる学習方法が存在し、これらの学習法に、コードが割り当てられていることを示す。
認識制御パラメータに、特徴量の分類を示す大分類コードを付与してもよい。具体的にいうと、本分類コードは、画像認識の対象となった特徴量が、画像全体から捉えられる第1世代の特徴量、画像の局所領域から捉えられる第2世代の特徴量、特徴量の組合せ・関連性により捉えられる第3世代特徴量の何れかであるかを示す
第2世代の特徴量については、以下の分類を更に示す。Haar-like特徴量は、撮像画像の局所領域において、明暗のパターンが左右に存在するか、上下に存在するかを示す。具体的にはHaar-like特徴量は、高輝度領域の平均輝度S(r1)、低輝度領域の平均輝度S(r2)の差分H(r1,r2)により与えられる。
(追加学習における学習アルゴリズムの対象範囲)
認識制御パラメータに、学習アルゴリズムの分類を示す大分類コードを付与することで、より広汎な学習アルゴリズムを対象にしてもよい。具体的にいうと、本分類コードは、画像認識の基礎になった学習アルゴリズムが、SVM、AdaBoost、RealAdaBoost、ニューラルネットワーク、Deep-learningニューラルネットワーク、Deformable Part Modelの何れであるかを示す。SVMは、特徴空間の中で、2つのクラスのサンプル距離(マージン)が最小となる識別境界を決定する。SVMによる学習は、特徴ベクトルに付与すべき重み値を算出することでなされる。
Deformable Part Modelは、人全体を捉えるルートフィルタFoφ(P0)と、局所的な部分を捉えるFt・φ(Pt)と、パーツフィルタの位置関係関数di・φd(dxi,dyi)とからスコア付けを行う。
追加学習における学習アルゴリズムは、弱分類器の出力に重み付けを行う重み付けアルゴリズムであってもよい。AdaBoostでは、複数の弱分類器の出力に重み付けを行い、その総和をとって、顔/非顔の検出結果を下す。N個の学習サンプルXt・・・・・XN、クラスに対応するラべル[+1,-1]を用意するという前処理を行い、学習サンプルの重みDiを初期化して、M個の弱分類器候補の選択、及び、エラー率算出を学習回数Tだけ繰り返す。
「認識制御パラメータに学習成果が存在する状態」については、システムの運用に応じて適切なものを規定すればよい。実施の形態1では、強分類器における追加学習が収束した状態(目標損失関数L(p(x,y),c+Δc)の偏微分値gが極小値になる状態)を「学習成果が存在する状態」とした。しかしこれに限らず、追加学習の収束率や達成度が所定の閾値を上回る状態を、強分類器における追加学習が収束した状態としてもよい。また誤認識の発生率が、ある閾値を下回った状態を「学習成果が存在する状態」としてもよい。
本願は、上記課題を解決することができる画像認識方法、カメラ装置の様々な態様を含む。かかる複数の態様は、以下の1.、2.、3.・・・という技術的思想の体系を形成する。
1.は、技術的思想の体系の根幹であり、それは、複数のカメラ装置を含むカメラシステムにおける画像認識方法であって、
1つのカメラ装置で画像を撮像した場合の撮像環境を示す撮像環境情報の取得と、
撮像環境情報に示される撮像環境に適した認識制御パラメータの選択と、
選択された認識制御パラメータを利用した撮像画像の認識とを含み、
前記カメラシステムは、選択可能な複数の認識制御パラメータのそれぞれを、画像認識の対象となった撮像環境と対応付けて管理しており、
認識制御パラメータを選択するにあたって、前記カメラシステムにおける複数のカメラ装置の何れかで過去に撮像された画像の認識に使用された認識制御パラメータであって、取得された撮像環境情報に示される撮像環境と同一又は類似の撮像環境で学習成果をもつものを、サーチするというものである。
撮像画像の解析で得られたパターン、又は、パターンと対比されるべき特徴空間におけるサンプル集合に対して、選択された認識制御パラメータを適用することにより、サンプル集合に合致するパターンが、撮像画像に表れているかどうかを識別することでなされるというものである。認識制御パラメータが、認識空間を仕切る境界関数である場合でも、認識空間内の既存のサンプルを遷移させる遷移関数である場合でも、過去の学習成果の利用が可能となり、実用性が高まる。
4.任意的な処理として、撮像環境と、認識制御パラメータとの対応関係を付加することができる。その付加がなされた態様とは、前記カメラシステムは、複数のエントリーからなるテーブルを有し、
テーブルにおけるエントリーは、撮像環境を示す情報を、認識制御パラメータと対応付けて示し、
撮像画像の認識は、撮像画像におけるパターンの新規学習を含み、
新規学習は、学習の対象となる撮像画像に対応する認識制御パラメータを算出すると共に、学習の対象となる撮像画像を撮像したカメラ装置の撮像環境を示す撮像環境情報と、認識制御パラメータとを対応付けて示すエントリーを、テーブルに追加することでなされるというものである。認識制御パラメータと、撮像環境との対応付けがテーブルに明示されるから、リレーショナルデータベースの構文を用いて、かかるテーブルを記述することで、本発明の実施が可能になる。
撮像環境の変化が発生した場合、変化後の撮像環境に対応する認識制御パラメータのサーチを試行し、
変化後の撮像環境に対応する認識制御パラメータが存在しない場合、新規学習を実行するというものである。撮像環境が変化して、その変化後の撮像環境に対応する認識制御パラメータが存在しない場合に新規学習がなされるから、新規学習の起動による処理遅滞を最小限にすることができる。
変換可能であると判定した場合、変換後の撮像設定でカメラ装置による撮像を行わせ、
変換不可能であると判定した場合、当該類似関係にある撮像環境に適合した認識制御パラメータの算出を行うというものである。学習成果が存在する撮像環境に近づくよう、カメラ設定を変化させるから、個々のカメラを含めたシステムの最適化が可能になり、システム全体を通じた認識率向上を図ることができる。
閾値を上回る類似度をもつ認識制御パラメータが1つ以上存在する場合、それらの認識制御パラメータの中で最も類似度が高いものを撮像画像におけるパターン識別に利用し、
閾値を上回る類似度をもつ認識制御パラメータが存在しない場合、閾値を下回る認識制御パラメータの中で最も高い類似度をもつ認識制御パラメータを、新たな認識制御パラメータ算出の基礎とするというものである。類似度が閾値に満たない場合、撮像環境の中で最も高い類似度をもつ撮像環境情報に対応する認識制御パラメータを新規認識制御パラメータ算出の基礎にするから、新たな認識制御パラメータについてのトレーニングが収束するまでの時間を最短にすることができる。
テーブルにおけるエントリーは、撮像環境を示す情報を、認識制御パラメータと、認識制御パラメータの学習状況とに対応付けて示し、学習状況には、認識制御パラメータの学習が完了した状態、学習が未了になっている状態があり、学習状況が未了になっている認識制御パラメータについては、追加学習を行い、
学習状況が未了になっている認識制御パラメータの追加学習は、対応する撮像環境と同一の撮像環境におかれている複数のカメラ装置により取得された撮像画像から、サンプル集合に追加されるべき要素を抽出する処理を含むというものである。最も高い類似度をもつ撮像環境についての認識制御パラメータの学習状況が学習途中であれば、同じ撮像環境におかれたカメラを通じて、学習途中の認識制御パラメータに与えるべきサンプルを増やすので、様々なパターンに対応できるような認識制御パラメータの取得が可能になる。
類似する撮像環境に対応する認識制御パラメータの取得は、
何れかのカメラ装置により撮像画像が得られた場合、その撮像時における撮像環境を示す撮像環境情報を、撮像環境認識空間にマッピングして、マッピング点が何れの部分集合に属するかを、撮像環境分類関数を用いて判定することによりなされるというものである。認識制御パラメータを用いて撮像環境を集合化することで、あるカメラにより撮像画像が得られた場合、新たに撮像された画像の撮像環境に最も近い撮像環境で学習成果を上げている認識制御パラメータの探索が迅速に探し出されることになる。
画像を撮像した場合、撮像環境を示す撮像環境情報を取得する取得手段と、
カメラシステムにおける他のカメラ装置で撮像された過去の画像の認識に使用された認識制御パラメータであって、取得された撮像環境情報に示される撮像環境と同一又は類似の撮像環境で学習成果をもつものをサーチするサーチ手段と、
類似の撮像環境で学習成果が存在する認識制御パラメータが存在する場合、自装置のカメラ設定を当該類似の撮像環境に変更できるか否かを判定する可否判定再手段と、
変更できる場合、自装置のカメラ設定を当該類似の撮像環境に変更する変更手段と
を備えるというものである。学習成果が存在する撮像環境に近づくよう、カメラ装置の設定を変化させるから、個々のカメラを含めた特定パターン識別システムの最適化が可能になり、システム全体を通じた認識率向上を図ることができる。
121、122 認識制御パラメータ計算部
130 パラメータテーブル記憶部
140 パラメータ管理装置
201 撮像部
202 撮像環境パラメータ取得部
203 識別実行部
204 認識制御パラメータ保持部
205 撮像環境パラメータ比較部
206 撮像環境パラメータ保持部
207 学習制御部
208 撮像設定計算部
209 変換可否判定部
210 カメラ制御部
410 認識制御パラメータ取得部
420 環境類似度計算部
430 認識制御パラメータ登録部
440 認識制御パラメータ比較部
450 クラス計算部
Claims (10)
- 複数のカメラ装置を含むカメラシステムにおける画像認識方法であって、
前記カメラシステムは、前記複数のカメラ装置のそれぞれが過去に画像を撮像した際の複数の撮像環境を示す撮像環境情報と、前記各撮像環境に対応する各検出器関数を示す各認識制御パラメータとを対応付けて、パラメータテーブルに示すことで、前記複数の撮影環境を管理し、
前記複数のカメラ装置の中の1つである、第1カメラ装置が第1画像を撮像した場合、第1画像及び前記第1画像を撮像した際の前記第1カメラ装置の第1撮像環境を示す第1撮像環境情報を第1カメラ装置から取得し、
前記第1画像の撮像時の撮像環境を示す第1撮像環境情報と、前記パラメータテーブルに管理されている前記各撮像環境を示す撮像環境情報との差分から類似度を算出して、算出された類似度が所定の閾値を上回る類似度を持つ撮像環境を示す撮像環境情報が前記パラメータテーブルに存在するかどうかの判定を行い、所定の閾値を上回る類似度を持つ撮像環境が前記パラメータテーブルに存在する場合、前記パラメータテーブルに示される各認識制御パラメータの中から、当該撮像環境に対応する第1検出器関数を示す第1認識制御パラメータを選択し、
前記選択された第1認識制御パラメータで示された第1検出器関数を用いることで、前記第1カメラ装置から取得した第1画像の認識を行い、
所定の閾値を上回る類似度を持つ撮像環境が前記パラメータテーブルに存在しない場合、当該類似度が所定の閾値を下回る類似度の中で最も類似度が高い撮像環境に対応する検出器関数を示す第2認識制御パラメータを選択し、前記選択された第2認識制御パラメータを基礎として、所定の学習アルゴリズムを用いて、第1画像の認識に用いる認識制御パラメータを生成する、
画像認識方法。 - 前記第1画像の認識は、
前記第1画像から抽出された前記第1画像の特徴ベクトルを示すパターン情報に対して、前記選択された第1認識制御パラメータに示される第1検出器関数、又は、前記所定の学習アルゴリズムを用いて生成された認識制御パラメータを用いて行われる、
請求項1記載の画像認識方法。 - 更に、第1カメラ装置で撮像した第2画像及び前記第2画像を撮像した際の前記第1カメラ装置の第3撮像環境を示す第3撮像環境情報を前記第1カメラ装置から取得し、
前記第2画像の撮像時の撮像環境を示す第3撮像環境情報と、前記パラメータテーブルに管理されている前記各撮像環境を示す撮像環境情報との差分から類似度を算出して、算出された類似度が所定の閾値を上回る類似度を持つ撮像環境を示す撮像環境情報が前記パラメータテーブルに存在するかどうかの判定を行い、
所定の閾値を上回る類似度を持つ撮像環境が前記パラメータテーブルに存在する場合、前記パラメータテーブルに示される各認識制御パラメータの中から、当該撮像環境に対応する第3検出器関数を示す第3認識制御パラメータを選択し、前記選択された第3認識制御パラメータで示された第3検出器関数を用いることで、前記第1カメラ装置から取得した第2画像の認識を行い、
所定の閾値を上回る類似度を持つ撮像環境が前記パラメータテーブルに存在しない場合、当該類似度が所定の閾値を下回る類似度の中で最も類似度が高い撮像環境に対応する検出器関数を示す第4認識制御パラメータを選択し、前記選択された第4認識制御パラメータを基礎として、所定の学習アルゴリズムを用いて、第2画像の認識に用いる認識制御パラメータを生成する、
請求項1記載の画像認識方法。 - 前記第2認識制御パラメータを基礎として、所定の学習アルゴリズムを用いて生成された認識制御パラメータを用いて前記パラメータテーブルを更新する、
請求項1記載の画像認識方法。 - 前記第4認識制御パラメータを基礎として、所定の学習アルゴリズムを用いて生成された認識制御パラメータを用いて前記パラメータテーブルを更新する、
請求項3記載の画像認識方法。 - 前記所定の閾値を上回る類似度を持つ撮像環境が存在する場合、更に、前記類似の撮像環境で画像の撮像をさせるために前記第1カメラ装置の設定を変更する指示を前記第1カメラ装置に送信し、
前記第1カメラ装置から、前記類似環境で撮像された第3画像を取得し、
前記第1認識制御パラメータで示された第1検出器関数を用いて前記第1カメラ装置から取得した第3画像を認識する、
請求項1記載の画像認識方法。 - 前記パラメータテーブルに示される、複数の撮影環境情報の撮影環境を対象として算出された類似度が、所定の閾値を上回った場合、最も類似度が高い撮像環境に対応する検出器関数を示す認識制御パラメータを、前記第1認識制御パラメータとして選択する、
請求項1記載の画像認識方法。 - 前記各カメラ装置が過去に撮像した各画像の特徴ベクトル、又は、前記各カメラ装置が過去に撮像した際に検知された撮像環境を示す情報に基づいて前記各撮像環境を示す撮像環境情報を分類し、
前記分類された前記各撮像環境を示す撮像環境情報に対応させて前記各検出器関数を示す各認識制御パラメータを前記パラメータテーブル上で管理させる、
請求項1記載の画像認識方法。 - 前記検知された撮像環境を示す情報は、前記各カメラ装置が過去に撮像した際の周辺照度を表す情報、前記各カメラ装置の照明方向を表す情報、前記各カメラ装置に取り付けられた各レンズに起因する歪 を表す情報、前記各カメラの揺れに起因する前記各画像の揺れを表す情報、前記各画像における対象オブジェクトのサイズを表す情報、前記各画像における対象オブジェクトの向きを表す情報、のいずれかを含む、
請求項8記載の画像認識方法。 - 複数のカメラ装置を含むカメラシステムであって、
前記複数のカメラ装置のそれぞれが過去に画像を撮像した際の複数の撮像環境を示す撮像環境情報と、前記各撮像環境に対応する各検出器関数を示す各認識制御パラメータとを対応付けて、パラメータテーブルに示すことで、前記複数の撮影環境を管理し、
前記複数のカメラ装置の中の1つである、第1カメラ装置が第1画像を撮像した場合、第1画像及び前記第1画像を撮像した際の前記第1カメラ装置の第1撮像環境を示す第1撮像環境情報を第1カメラ装置から取得する取得手段と、
前記第1画像の撮像時の撮像環境を示す第1撮像環境情報と、前記パラメータテーブルに管理されている前記各撮像環境を示す撮像環境情報との差分から類似度を算出して、算出された類似度が所定の閾値を上回る類似度を持つ撮像環境を示す撮像環境情報が前記パラメータテーブルに存在するかどうかの判定を行い、所定の閾値を上回る類似度を持つ撮像環境が前記パラメータテーブルに存在する場合、前記パラメータテーブルに示される各認識制御パラメータの中から、当該撮像環境に対応する第1検出器関数を示す第1認識制御パラメータを選択する選択手段と、
前記選択された第1認識制御パラメータで示された第1検出器関数を用いることで、前記第1カメラ装置から取得した第1画像の認識を行う認識手段とを備え、
所定の閾値を上回る類似度を持つ撮像環境が前記パラメータテーブルに存在しない場合、当該類似度が所定の閾値を下回る類似度の中で最も類似度が高い撮像環境に対応する検出器関数を示す第3認識制御パラメータを選択し、前記選択された第3認識制御パラメータを基礎として、所定の学習アルゴリズムを用いて、第1画像の認識に用いる認識制御パラメータを生成する、
カメラシステム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015026249A JP6471934B2 (ja) | 2014-06-12 | 2015-02-13 | 画像認識方法、カメラシステム |
CN201510259215.XA CN105184213A (zh) | 2014-06-12 | 2015-05-20 | 图像识别方法、相机*** |
US14/730,154 US9602783B2 (en) | 2014-06-12 | 2015-06-03 | Image recognition method and camera system |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014121411 | 2014-06-12 | ||
JP2014121411 | 2014-06-12 | ||
JP2015026249A JP6471934B2 (ja) | 2014-06-12 | 2015-02-13 | 画像認識方法、カメラシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016015116A JP2016015116A (ja) | 2016-01-28 |
JP6471934B2 true JP6471934B2 (ja) | 2019-02-20 |
Family
ID=54836427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015026249A Active JP6471934B2 (ja) | 2014-06-12 | 2015-02-13 | 画像認識方法、カメラシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9602783B2 (ja) |
JP (1) | JP6471934B2 (ja) |
CN (1) | CN105184213A (ja) |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10679140B2 (en) * | 2014-10-06 | 2020-06-09 | Seagate Technology Llc | Dynamically modifying a boundary of a deep learning network |
US10593007B1 (en) | 2015-06-11 | 2020-03-17 | Digimarc Corporation | Methods and arrangements for configuring industrial inspection systems |
US10621454B2 (en) * | 2015-06-29 | 2020-04-14 | Beijing Kuangshi Technology Co., Ltd. | Living body detection method, living body detection system, and computer program product |
EP4268910A3 (en) * | 2015-11-19 | 2024-01-24 | Angel Playing Cards Co., Ltd. | Management system for table games and substitute currency for gaming |
JP6700791B2 (ja) * | 2016-01-05 | 2020-05-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
EP3913591A1 (en) * | 2016-01-29 | 2021-11-24 | KiwiSecurity Software GmbH | Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras |
US9911055B2 (en) * | 2016-03-08 | 2018-03-06 | Conduent Business Services, Llc | Method and system for detection and classification of license plates |
CN105868772A (zh) * | 2016-03-23 | 2016-08-17 | 百度在线网络技术(北京)有限公司 | 图像识别方法及装置 |
WO2017175434A1 (ja) * | 2016-04-06 | 2017-10-12 | ソニー株式会社 | 情報処理装置、情報処理方法および情報提供方法 |
CN106920251A (zh) | 2016-06-23 | 2017-07-04 | 阿里巴巴集团控股有限公司 | 人手检测跟踪方法及装置 |
JP6688970B2 (ja) * | 2016-07-15 | 2020-04-28 | パナソニックIpマネジメント株式会社 | 画像認識システム |
EP3340103A1 (en) * | 2016-12-21 | 2018-06-27 | Axis AB | Method for identifying events in a motion video |
JP6942472B2 (ja) * | 2017-01-13 | 2021-09-29 | キヤノン株式会社 | 映像認識装置、映像認識方法及びプログラム |
US10565214B2 (en) | 2017-03-22 | 2020-02-18 | Bank Of America Corporation | Intelligent database control systems with automated request assessments |
CN107135386B (zh) * | 2017-04-26 | 2018-09-07 | 北京图森未来科技有限公司 | 一种双目摄像机*** |
JP6989294B2 (ja) * | 2017-05-31 | 2022-01-05 | パナソニックi−PROセンシングソリューションズ株式会社 | 監視システム及び監視方法 |
US11521045B2 (en) | 2017-06-14 | 2022-12-06 | Knowm, Inc. | Anti-Hebbian and Hebbian (AHAH) computing |
KR102478335B1 (ko) * | 2017-09-29 | 2022-12-15 | 에스케이텔레콤 주식회사 | 채널별 객체 검출 최적화를 위한 영상분석 방법 및 서버장치 |
CN109726808B (zh) * | 2017-10-27 | 2022-12-09 | 腾讯科技(深圳)有限公司 | 神经网络训练方法和装置、存储介质及电子装置 |
US10270962B1 (en) * | 2017-12-13 | 2019-04-23 | North Of You Llc | Automatic camera settings configuration for image capture |
CN108553081B (zh) * | 2018-01-03 | 2023-02-21 | 京东方科技集团股份有限公司 | 一种基于舌苔图像的诊断*** |
DE102018201909A1 (de) * | 2018-02-07 | 2019-08-08 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Objekterkennung |
CN108401106B (zh) * | 2018-02-24 | 2021-04-02 | 深圳前海量子云码科技有限公司 | 一种拍摄参数优化方法、装置、终端及存储介质 |
CN110276342B (zh) * | 2018-03-14 | 2023-04-18 | 台达电子工业股份有限公司 | 车牌辨识方法以及其*** |
CN111971951B (zh) * | 2018-03-28 | 2023-04-18 | 索尼公司 | 运算装置、运算方法、可移动介质和鉴别*** |
US11854245B2 (en) | 2018-04-27 | 2023-12-26 | Carnegie Mellon University | Generative adversarial networks having ranking loss |
WO2019215780A1 (ja) | 2018-05-07 | 2019-11-14 | 日本電気株式会社 | 識別システム、モデル再学習方法およびプログラム |
JP6977875B2 (ja) * | 2018-05-10 | 2021-12-08 | 日本電気株式会社 | パターン認識システム、パラメータ生成方法およびパラメータ生成プログラム |
US11295172B1 (en) * | 2018-05-21 | 2022-04-05 | Snap Inc. | Object detection in non-perspective images |
JP6959444B2 (ja) * | 2018-06-22 | 2021-11-02 | 株式会社日立製作所 | 計測情報処理装置 |
JP7122625B2 (ja) * | 2018-07-02 | 2022-08-22 | パナソニックIpマネジメント株式会社 | 学習データ収集装置、学習データ収集システム、及び学習データ収集方法 |
JP7199436B2 (ja) * | 2018-07-03 | 2023-01-05 | 三菱電機株式会社 | 障害物検知装置及び運転支援装置 |
CN109101945A (zh) * | 2018-08-27 | 2018-12-28 | 贵阳学院 | 一种交通视频监控图像中的多车牌检测方法 |
JP7463052B2 (ja) * | 2018-09-19 | 2024-04-08 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
KR101957759B1 (ko) * | 2018-10-12 | 2019-03-14 | 렉스젠(주) | 안전 벨트 검출 시스템 및 그 방법 |
JP7199974B2 (ja) * | 2019-01-16 | 2023-01-06 | 株式会社日立製作所 | パラメータ選定装置、パラメータ選定方法、およびパラメータ選定プログラム |
JP7313828B2 (ja) * | 2019-01-22 | 2023-07-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN110059746A (zh) * | 2019-04-18 | 2019-07-26 | 达闼科技(北京)有限公司 | 一种创建目标检测模型的方法、电子设备及存储介质 |
JP7268471B2 (ja) * | 2019-05-09 | 2023-05-08 | 株式会社デンソー | 検証方法 |
US11232327B2 (en) * | 2019-06-19 | 2022-01-25 | Western Digital Technologies, Inc. | Smart video surveillance system using a neural network engine |
CN110602385A (zh) * | 2019-08-28 | 2019-12-20 | 深圳怡化电脑股份有限公司 | 照相机及其使用方法 |
JP7363289B2 (ja) * | 2019-09-27 | 2023-10-18 | 日本電気株式会社 | 情報処理装置、計数システム、計数方法およびコンピュータプログラム |
WO2021140601A1 (ja) * | 2020-01-09 | 2021-07-15 | オリンパス株式会社 | 画像処理システム、内視鏡システム及び画像処理方法 |
WO2022003974A1 (ja) * | 2020-07-03 | 2022-01-06 | 株式会社ソニー・インタラクティブエンタテインメント | 追加撮影要否通知装置、追加撮影要否通知方法及びプログラム |
WO2022049691A1 (ja) * | 2020-09-03 | 2022-03-10 | 日本電信電話株式会社 | 転移学習装置、転移学習方法およびプログラム |
JP2022049261A (ja) | 2020-09-16 | 2022-03-29 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
CN112966699B (zh) * | 2021-03-24 | 2022-08-26 | 沸蓝建设咨询有限公司 | 一种通信工程项目的目标检测*** |
CN113890992A (zh) * | 2021-09-23 | 2022-01-04 | 惠州视维新技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113936338A (zh) * | 2021-12-15 | 2022-01-14 | 北京亮亮视野科技有限公司 | 手势识别方法、装置及电子设备 |
WO2023149708A1 (en) * | 2022-02-01 | 2023-08-10 | Samsung Electronics Co., Ltd. | Method and system for a face detection management |
CN116229175B (zh) * | 2022-03-18 | 2023-12-26 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备及存储介质 |
US20240087300A1 (en) * | 2022-09-08 | 2024-03-14 | Fraunhofer Usa, Inc. | Systematic testing of ai image recognition |
CN117975454B (zh) * | 2024-03-28 | 2024-07-09 | 西安图宾智能科技有限公司 | 基于机器学习的工业图像数据处理方法及*** |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4157322B2 (ja) | 2002-04-25 | 2008-10-01 | 株式会社東芝 | 人物認識システム |
US7139738B2 (en) * | 2002-06-27 | 2006-11-21 | Koninklijke Philips Electronics N.V. | Face recognition using evolutionary algorithms |
JP3879732B2 (ja) * | 2003-11-27 | 2007-02-14 | コニカミノルタホールディングス株式会社 | 物体検出装置、物体検知方法、およびコンピュータプログラム |
JP2005202731A (ja) * | 2004-01-16 | 2005-07-28 | Toshiba Corp | 顔認識装置、顔認識方法および通行制御装置 |
JP2006146539A (ja) * | 2004-11-19 | 2006-06-08 | Matsushita Electric Works Ltd | 非接触icカードのリーダおよび/またはライター装置 |
JP4586548B2 (ja) * | 2005-01-26 | 2010-11-24 | ソニー株式会社 | 物体検出装置および物体検出方法 |
CN101297545B (zh) * | 2005-10-28 | 2012-05-02 | 株式会社尼康 | 摄影装置、图像处理装置 |
JP2008204103A (ja) * | 2007-02-19 | 2008-09-04 | Yokohama National Univ | 画像認識システム |
CN101315670B (zh) * | 2007-06-01 | 2010-08-11 | 清华大学 | 特定被摄体检测装置及其学习装置和学习方法 |
WO2009147814A1 (ja) * | 2008-06-02 | 2009-12-10 | パナソニック株式会社 | 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置 |
JP4772839B2 (ja) * | 2008-08-13 | 2011-09-14 | 株式会社エヌ・ティ・ティ・ドコモ | 画像識別方法および撮像装置 |
JP5202551B2 (ja) * | 2009-01-23 | 2013-06-05 | 株式会社日立国際電気 | パラメータ設定方法及び該方法を用いた監視装置 |
US8886206B2 (en) * | 2009-05-01 | 2014-11-11 | Digimarc Corporation | Methods and systems for content processing |
JP5588196B2 (ja) * | 2010-02-25 | 2014-09-10 | キヤノン株式会社 | 認識装置及びその制御方法、コンピュータプログラム |
JP5642410B2 (ja) * | 2010-03-30 | 2014-12-17 | パナソニック株式会社 | 顔認識装置及び顔認識方法 |
JP5834232B2 (ja) * | 2011-01-17 | 2015-12-16 | パナソニックIpマネジメント株式会社 | 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法 |
JP5923723B2 (ja) * | 2011-06-02 | 2016-05-25 | パナソニックIpマネジメント株式会社 | 人物属性推定システム、人物属性推定装置、及び人物属性推定方法 |
JP2013003751A (ja) | 2011-06-15 | 2013-01-07 | Glory Ltd | 顔照合システム及び顔照合方法 |
-
2015
- 2015-02-13 JP JP2015026249A patent/JP6471934B2/ja active Active
- 2015-05-20 CN CN201510259215.XA patent/CN105184213A/zh active Pending
- 2015-06-03 US US14/730,154 patent/US9602783B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9602783B2 (en) | 2017-03-21 |
JP2016015116A (ja) | 2016-01-28 |
US20150363670A1 (en) | 2015-12-17 |
CN105184213A (zh) | 2015-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6471934B2 (ja) | 画像認識方法、カメラシステム | |
US9367756B2 (en) | Selection of representative images | |
JP5923723B2 (ja) | 人物属性推定システム、人物属性推定装置、及び人物属性推定方法 | |
WO2020125499A1 (zh) | 一种操作提示方法及眼镜 | |
US10710244B2 (en) | Robot control using gestures | |
WO2019179295A1 (zh) | 面部识别的方法和装置 | |
JP6628494B2 (ja) | 実空間情報によって学習する識別器を用いて物体を追跡する装置、プログラム及び方法 | |
WO2012117687A1 (ja) | 姿勢推定装置、姿勢推定システム、および姿勢推定方法 | |
CN109871821B (zh) | 自适应网络的行人重识别方法、装置、设备及存储介质 | |
MX2012009579A (es) | Sistema de rastreo de objetos en movimiento y metodo de rastreo de objetos en movimiento. | |
JP6618395B2 (ja) | 行動価値によって調査対象の位置を予測する装置、プログラム及び方法 | |
Xing et al. | DE‐SLAM: SLAM for highly dynamic environment | |
JP2016099734A (ja) | 画像処理装置、情報処理方法及びプログラム | |
CN105022999A (zh) | 一种人码伴随实时采集*** | |
KR20210048272A (ko) | 음성 및 영상 자동 포커싱 방법 및 장치 | |
CN112446322B (zh) | 眼球特征检测方法、装置、设备及计算机可读存储介质 | |
CN111881849A (zh) | 图像场景检测方法、装置、电子设备及存储介质 | |
Ban et al. | Tiny and blurred face alignment for long distance face recognition | |
Pu et al. | Aerial face recognition and absolute distance estimation using drone and deep learning | |
JP2024045460A (ja) | 情報処理システム、情報処理装置、情報処理方法、およびプログラム | |
JP6495691B2 (ja) | 動体検出装置、動体検出方法及びコンピュータプログラム | |
KR20210048271A (ko) | 복수 객체에 대한 자동 오디오 포커싱 방법 및 장치 | |
CN107749942A (zh) | 悬浮拍摄方法、移动终端及计算机可读存储介质 | |
Wu et al. | A face liveness detection scheme to combining static and dynamic features | |
Sommerlade et al. | Gaze directed camera control for face image acquisition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170829 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190110 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6471934 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
SZ03 | Written request for cancellation of trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z03 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |