JP2021152578A5 - 撮像装置,追尾方法およびプログラム - Google Patents
撮像装置,追尾方法およびプログラム Download PDFInfo
- Publication number
- JP2021152578A5 JP2021152578A5 JP2020052630A JP2020052630A JP2021152578A5 JP 2021152578 A5 JP2021152578 A5 JP 2021152578A5 JP 2020052630 A JP2020052630 A JP 2020052630A JP 2020052630 A JP2020052630 A JP 2020052630A JP 2021152578 A5 JP2021152578 A5 JP 2021152578A5
- Authority
- JP
- Japan
- Prior art keywords
- subject
- unit
- detection
- tracking
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims description 31
- 238000000034 method Methods 0.000 title claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims 49
- 238000004364 calculation method Methods 0.000 claims 6
- 238000013135 deep learning Methods 0.000 claims 2
Description
本発明は、被写体画像の中において、特定の目標物体の存在する領域を検出し、この目標物体を追尾することのできる撮像装置,追尾方法およびプログラムに関する。
本発明は、このような事情を鑑みてなされたものであり、追尾する目標被写体の範囲に、目標被写体と異なるパーツを含む複数のパーツが存在する場合であっても、目標となるパーツを検出して追尾することが可能な撮像装置,追尾方法およびプログラムを提供することを目的とする。また、被写体検出を行うために処理時間がかかってしまうニューラル・ネットワークを用いた場合でも、目標被写体を確実に追尾することができる撮像装置,追尾方法およびプログラムを提供することを目的とする。
本発明によれば、追尾する目標被写体の範囲に、目標被写体と異なるパーツを含む複数のパーツが存在する場合であっても、目標となるパーツを検出して追尾することが可能な撮像装置,追尾方法およびプログラムを提供することができる。また、被写体検出を行うために処理時間がかかってしまうニューラル・ネットワークを用いた場合でも、目標被写体を確実に追尾することができる撮像装置,追尾方法およびプログラムを提供することができる。
Claims (26)
- 被写体像を露光し、この被写体像を光電変換した画像信号を一定周期で繰り返して出力する撮像部と、
上記画像信号を、ディープラーニングにて特定被写体を検出する演算パラメータが学習されたニューラル・ネットワーク回路に入力し、上記特定被写体を検出する被写体検出部と、
上記被写体検出部が検出した被写体(全体)とパーツの位置関係に基づいて関連付けをする被写体関連付け判断部と、
を有し、
上記特定被写体は、被写体関連付けされた被写体(全体)とパーツであることを特徴とする撮像装置。 - 被写体像を露光し、この被写体像を光電変換した画像信号を一定周期で繰り返して出力する撮像部と、
上記画像信号を、ディープラーニングにて特定被写体を検出する演算パラメータが学習されたニューラル・ネットワーク回路に入力し、上記特定被写体を検出する被写体検出部と、
上記被写体検出部が検出した上記特定被写体の位置を基準にして、上記画像信号から得る画像に対して、被写体の特徴量を基に、追尾位置を補間する被写体検出補間部と、
を有することを特徴とする撮像装置。 - 上記被写体検出部が検出した被写体(全体)とパーツの位置関係に基づいて関連付けをする被写体関連付け判断部を有し、
上記特定被写体は、被写体関連付けされた被写体(全体)とパーツであることを特徴とする請求項2に記載の撮像装置。 - 上記被写体検出部が検出した被写体(全体)とパーツの位置の各々の距離を検出する被写体距離検出部をさらに有し、
上記被写体関連付け判断部は、上記被写体距離検出部が検出した被写体(全体)とパーツ間の距離に基づいて関連付けをすることを特徴とする請求項1または請求項3に記載の撮像装置。 - 上記被写体関連付け判断部の位置関係を判断する位置関係条件部をさらに有し、
上記位置関係条件部は、上記被写体検出部が検出した被写体の検出範囲内に、上記被写体検出部が検出したパーツの検出領域の中心位置が包有されること、または、被写体とパーツの検出領域の中心位置の距離が、規定範囲であることを条件として判断することを特徴とする請求項1または請求項3に記載の撮像装置。 - 上記位置関係条件部は、上記被写体検出部が検出した被写体の種別によって、被写体の検出領域の範囲を拡げる、または狭めることを特徴とする請求項5に記載の撮像装置。
- 上記被写体関連付け判断部は、上記被写体検出部が検出した複数のパーツが関連付けられる場合、被写体とパーツの位置が最も近いパーツを関連付けることを特徴とする請求項1または請求項3に記載の撮像装置。
- 上記被写体検出部が検出した被写体とパーツの位置の信頼度を判断する時系列データ信頼性判断部をさらに有し、
上記被写体関連付け判断部は、対象とする被写体およびパーツの位置は、上記時系列データ信頼性判断部の判断結果に基づいて有効と判断された被写体及びパーツの位置を対象とすることを特徴とする請求項1または請求項3に記載の撮像装置。 - 上記時系列データ信頼性判断部は、複数フレームの画像間の被写体の位置及びパーツの位置に基づいて信頼性を判断することを特徴とする請求項8に記載の撮像装置。
- 上記画像信号に基づく画像を表示する表示部をさらに有し、
上記表示部は、上記被写体関連付け判断部にて、関連付けられた被写体およびパーツを、他の被写体と識別して上記表示部に表示することを特徴とする請求項1または請求項3に記載の撮像装置。 - 上記画像信号から得る画像に対して、予め指定した被写体を追尾する被写体追尾部と、
上記被写体検出補間部によって被写体を補間追尾した結果を用いて、追尾位置を修正する被写体追尾位置修正部と、
をさらに有することを特徴とする請求項2に記載の撮像装置。 - 上記被写体追尾位置修正部によって修正した追尾位置に追尾枠とする印を表示する表示部をさらに有することを特徴とする請求項11に記載の撮像装置。
- 上記被写体検出補間部は、追尾補間の手段として、輝度情報と、色情報と、特徴点の情報と、顔検出の情報と、人体検出の情報の内の少なくとも1つを用いた追尾手段を選択して被写体を追尾補間することを特徴とする請求項2または、請求項11または請求項12のいずれか1項に記載の撮像装置。
- 上記被写体検出補間部は、上記被写体検出部が検出した被写体検出結果に基づいて、追尾補間の手段を選択することを特徴とする請求項2または、請求項11または請求項12のいずれか1項に記載の撮像装置。
- 複数の被写体に対して補間追尾させる被写体の優先順位を設定する優先順位設定部をさらに有し、
上記被写体検出補間部は、上記被写体検出部が複数の被写体を検出した場合は、上記優先順位設定部において設定された上記被写体の優先順位に従って被写体を補間追尾する、
ことを特徴とする請求項11または請求項12記載の撮像装置。 - 上記優先順位設定部は、上記被写体検出部が、生物の全身、眼を同時に被写体として検出した場合は、上記生物のまたは眼を補間追尾させる被写体と設定することを特徴とする請求項15に記載の撮像装置。
- 上記優先順位設定部は、上記被写体検出部が、乗り物の全体、乗り物のドライバーを同時に被写体として検出した場合は、上記乗り物の全体またはドライバーを補間追尾させる被写体と設定することを特徴とする請求項15に記載の撮像装置。
- 上記被写体追尾位置修正部は、上記被写体追尾部の追尾結果と、上記被写体検出補間部の補間追尾結果に基づいて、追尾位置の修正の要否を決定することを特徴とする請求項11または請求項12に記載の撮像装置。
- 上記被写体追尾位置修正部は、上記被写体追尾部が検出した追尾位置と、上記被写体検出補間部の補間追尾位置との距離に基づいて、追尾位置の修正の要否を決定することを特徴とする請求項11または請求項12に記載の撮像装置。
- 上記被写体追尾位置修正部は、上記被写体検出部が現在の画像から検出した被写体検出結果、または過去の画像から検出された被写体検出結果に基づいて、追尾位置の修正要否を決定することを特徴とする請求項11または請求項12に記載の撮像装置。
- 上記表示部は、上記被写体検出部が現在の画像から検出した被写体検出結果、または過去の画像から検出された被写体検出結果に基づいて、追尾位置を示す上記印の表示位置を決定して表示することを特徴とする請求項12に記載の撮像装置。
- 被写体像を露光して、この被写体像を光電変換した画像信号を一定周期で繰り返して出力する撮像ステップと、
上記画像信号から、特定被写体を検出する演算パラメータが学習されたニューラル・ネットワーク回路によって、上記特定被写体を検出する被写体検出ステップと、
上記被写体検出ステップにおいて検出した特定被写体にあるボディ部分とパーツ部分の位置関係に基づいて関連付けをする被写体関連付け判断ステップと、
を有し、
上記特定被写体は、被写体関連付けされた被写体(全体)とパーツであることを特徴とする追尾方法。 - 被写体像を露光して、この被写体像を光電変換した画像信号を一定周期で繰り返して出力する撮像ステップと、
上記画像信号を、特定被写体を検出する演算パラメータが学習されたニューラル・ネットワーク回路に入力し、上記特定被写体を検出する被写体検出ステップと、
上記被写体検出ステップにおいて検出した上記特定被写体の位置を基準にして、上記画像信号から得る画像に対して、被写体の特徴量を基に、追尾位置を補間すること被写体検出補間ステップと、
を有することを特徴とする追尾方法。 - 上記被写体検出ステップにて検出した特定被写体にあるボディ部分とパーツ部分の位置関係に基づいて関連付けをする被写体関連付け判断ステップと、
をさらに有し、
上記特定被写体は、被写体関連付けされた被写体(全体)とパーツであることを特徴とする請求項23に記載の追尾方法。 - コンピュータにおいて実行させるプログラムであって、
被写体像を露光して、光電変換された画像信号を一定周期で繰り返して出力する撮像ステップと、
上記画像信号から、特定被写体を検出する演算パラメータが学習されたニューラル・ネットワーク回路によって、上記特定被写体を検出する被写体検出ステップと、
上記被写体検出ステップにて検出した特定被写体にあるボディ部分とパーツ部分の位置関係に基づいて関連付けをする被写体関連付け判断ステップと、
を有し、
上記特定被写体は、被写体関連付けされた被写体(全体)とパーツであることを特徴とするプログラム。 - コンピュータにおいて実行させるプログラムであって、
被写体像を露光して、光電変換された画像信号を一定周期で繰り返して出力する撮像ステップと、
上記画像信号から、特定被写体を検出する演算パラメータが学習されたニューラル・ネットワーク回路によって、上記特定被写体を検出する被写体検出ステップと、
上記被写体検出ステップにおいて検出した上記特定被写体の位置を基準にして、上記画像信号から得る画像に対して、被写体の特徴量を基に、追尾位置を補間する被写体検出補間ステップと、
を有することを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020052630A JP7497587B2 (ja) | 2020-03-24 | 2020-03-24 | 撮像装置 |
US17/094,449 US11900651B2 (en) | 2020-03-24 | 2020-11-10 | Imaging device and tracking method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020052630A JP7497587B2 (ja) | 2020-03-24 | 2020-03-24 | 撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021152578A JP2021152578A (ja) | 2021-09-30 |
JP2021152578A5 true JP2021152578A5 (ja) | 2023-02-15 |
JP7497587B2 JP7497587B2 (ja) | 2024-06-11 |
Family
ID=77856300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020052630A Active JP7497587B2 (ja) | 2020-03-24 | 2020-03-24 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11900651B2 (ja) |
JP (1) | JP7497587B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022148382A (ja) * | 2021-03-24 | 2022-10-06 | キヤノン株式会社 | 表示装置、表示制御システム、情報処理装置および表示装置の制御方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0949869A (ja) | 1995-08-09 | 1997-02-18 | Fujitsu Ltd | 目標追尾制御装置 |
JP4830650B2 (ja) | 2005-07-05 | 2011-12-07 | オムロン株式会社 | 追跡装置 |
US11017250B2 (en) * | 2010-06-07 | 2021-05-25 | Affectiva, Inc. | Vehicle manipulation using convolutional image processing |
JP5978639B2 (ja) | 2012-02-06 | 2016-08-24 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
US9373057B1 (en) | 2013-11-01 | 2016-06-21 | Google Inc. | Training a neural network to detect objects in images |
WO2017199840A1 (ja) * | 2016-05-18 | 2017-11-23 | 日本電気株式会社 | オブジェクト追跡装置、オブジェクト追跡方法および記録媒体 |
JP6755713B2 (ja) | 2016-05-25 | 2020-09-16 | キヤノン株式会社 | 追尾装置、追尾方法及びプログラム |
JP6463402B2 (ja) | 2016-07-21 | 2019-01-30 | キヤノン株式会社 | 焦点調節装置および方法、および撮像装置 |
US11232294B1 (en) * | 2017-09-27 | 2022-01-25 | Amazon Technologies, Inc. | Generating tracklets from digital imagery |
US10510157B2 (en) | 2017-10-28 | 2019-12-17 | Altumview Systems Inc. | Method and apparatus for real-time face-tracking and face-pose-selection on embedded vision systems |
ES2923289T3 (es) * | 2017-12-29 | 2022-09-26 | Fraunhofer Ges Forschung | Método para predecir un movimiento de un objeto y método para generar una vista de realidad virtual |
CN114787889A (zh) * | 2019-10-04 | 2022-07-22 | 索尼集团公司 | 信息处理装置、信息处理方法和信息处理装置 |
JP2021132295A (ja) | 2020-02-19 | 2021-09-09 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
-
2020
- 2020-03-24 JP JP2020052630A patent/JP7497587B2/ja active Active
- 2020-11-10 US US17/094,449 patent/US11900651B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10620000B2 (en) | Calibration apparatus, calibration method, and calibration program | |
JP4631096B2 (ja) | 車両周辺監視装置 | |
KR100355125B1 (ko) | 안화상처리장치 | |
US20080130954A1 (en) | Vehicle surroundings monitoring apparatus | |
JP4915413B2 (ja) | 検出装置および方法、並びに、プログラム | |
WO2013008303A1 (ja) | 赤目検出装置 | |
US20100253495A1 (en) | In-vehicle image processing device, image processing method and memory medium | |
JP2009159496A5 (ja) | ||
US20170004354A1 (en) | Determination device, determination method, and non-transitory storage medium | |
JP2003134508A (ja) | 車両用情報提供装置 | |
US9118838B2 (en) | Exposure controller for on-vehicle camera | |
JP4962304B2 (ja) | 歩行者検出装置 | |
JP5737401B2 (ja) | 瞼検出装置 | |
JP2007228154A (ja) | 画像処理装置および画像処理方法 | |
JP2008009849A (ja) | 人物追跡装置 | |
JP4910529B2 (ja) | 障害物検出システム及び障害物検出方法 | |
JP6221464B2 (ja) | ステレオカメラ装置、移動体制御システム及び移動体、並びにプログラム | |
JP2021152578A5 (ja) | 撮像装置,追尾方法およびプログラム | |
WO2018167995A1 (ja) | 運転者状態推定装置、及び運転者状態推定方法 | |
JP2003077099A (ja) | 先行車両認識装置 | |
JP2018101212A (ja) | 車載器および顔正面度算出方法 | |
JP5004923B2 (ja) | 車両の運転支援装置 | |
JP2010067058A (ja) | 顔向き検出装置 | |
JP2008026999A (ja) | 障害物検出システム、及び障害物検出方法 | |
JP4779491B2 (ja) | 複数画像合成方法及び撮像装置 |