JP2021152578A5 - 撮像装置，追尾方法およびプログラム - Google Patents

Description

本発明は、被写体画像の中において、特定の目標物体の存在する領域を検出し、この目標物体を追尾することのできる撮像装置，追尾方法およびプログラムに関する。

本発明は、このような事情を鑑みてなされたものであり、追尾する目標被写体の範囲に、目標被写体と異なるパーツを含む複数のパーツが存在する場合であっても、目標となるパーツを検出して追尾することが可能な撮像装置，追尾方法およびプログラムを提供することを目的とする。また、被写体検出を行うために処理時間がかかってしまうニューラル・ネットワークを用いた場合でも、目標被写体を確実に追尾することができる撮像装置，追尾方法およびプログラムを提供することを目的とする。

本発明によれば、追尾する目標被写体の範囲に、目標被写体と異なるパーツを含む複数のパーツが存在する場合であっても、目標となるパーツを検出して追尾することが可能な撮像装置，追尾方法およびプログラムを提供することができる。また、被写体検出を行うために処理時間がかかってしまうニューラル・ネットワークを用いた場合でも、目標被写体を確実に追尾することができる撮像装置，追尾方法およびプログラムを提供することができる。

Claims (26)

1. 被写体像を露光し、この被写体像を光電変換した画像信号を一定周期で繰り返して出力する撮像部と、
   上記画像信号を、ディープラーニングにて特定被写体を検出する演算パラメータが学習されたニューラル・ネットワーク回路に入力し、上記特定被写体を検出する被写体検出部と、
   上記被写体検出部が検出した被写体（全体）とパーツの位置関係に基づいて関連付けをする被写体関連付け判断部と、
   を有し、
   上記特定被写体は、被写体関連付けされた被写体（全体）とパーツであることを特徴とする撮像装置。
2. 被写体像を露光し、この被写体像を光電変換した画像信号を一定周期で繰り返して出力する撮像部と、
   上記画像信号を、ディープラーニングにて特定被写体を検出する演算パラメータが学習されたニューラル・ネットワーク回路に入力し、上記特定被写体を検出する被写体検出部と、
   上記被写体検出部が検出した上記特定被写体の位置を基準にして、上記画像信号から得る画像に対して、被写体の特徴量を基に、追尾位置を補間する被写体検出補間部と、
   を有することを特徴とする撮像装置。
3. 上記被写体検出部が検出した被写体（全体）とパーツの位置関係に基づいて関連付けをする被写体関連付け判断部を有し、
   上記特定被写体は、被写体関連付けされた被写体（全体）とパーツであることを特徴とする請求項２に記載の撮像装置。
4. 上記被写体検出部が検出した被写体（全体）とパーツの位置の各々の距離を検出する被写体距離検出部をさらに有し、
   上記被写体関連付け判断部は、上記被写体距離検出部が検出した被写体（全体）とパーツ間の距離に基づいて関連付けをすることを特徴とする請求項１または請求項３に記載の撮像装置。
5. 上記被写体関連付け判断部の位置関係を判断する位置関係条件部をさらに有し、
   上記位置関係条件部は、上記被写体検出部が検出した被写体の検出範囲内に、上記被写体検出部が検出したパーツの検出領域の中心位置が包有されること、または、被写体とパーツの検出領域の中心位置の距離が、規定範囲であることを条件として判断することを特徴とする請求項１または請求項３に記載の撮像装置。
6. 上記位置関係条件部は、上記被写体検出部が検出した被写体の種別によって、被写体の検出領域の範囲を拡げる、または狭めることを特徴とする請求項５に記載の撮像装置。
7. 上記被写体関連付け判断部は、上記被写体検出部が検出した複数のパーツが関連付けられる場合、被写体とパーツの位置が最も近いパーツを関連付けることを特徴とする請求項１または請求項３に記載の撮像装置。
8. 上記被写体検出部が検出した被写体とパーツの位置の信頼度を判断する時系列データ信頼性判断部をさらに有し、
   上記被写体関連付け判断部は、対象とする被写体およびパーツの位置は、上記時系列データ信頼性判断部の判断結果に基づいて有効と判断された被写体及びパーツの位置を対象とすることを特徴とする請求項１または請求項３に記載の撮像装置。
9. 上記時系列データ信頼性判断部は、複数フレームの画像間の被写体の位置及びパーツの位置に基づいて信頼性を判断することを特徴とする請求項８に記載の撮像装置。
10. 上記画像信号に基づく画像を表示する表示部をさらに有し、
    上記表示部は、上記被写体関連付け判断部にて、関連付けられた被写体およびパーツを、他の被写体と識別して上記表示部に表示することを特徴とする請求項１または請求項３に記載の撮像装置。
11. 上記画像信号から得る画像に対して、予め指定した被写体を追尾する被写体追尾部と、
    上記被写体検出補間部によって被写体を補間追尾した結果を用いて、追尾位置を修正する被写体追尾位置修正部と、
    をさらに有することを特徴とする請求項２に記載の撮像装置。
12. 上記被写体追尾位置修正部によって修正した追尾位置に追尾枠とする印を表示する表示部をさらに有することを特徴とする請求項１１に記載の撮像装置。
13. 上記被写体検出補間部は、追尾補間の手段として、輝度情報と、色情報と、特徴点の情報と、顔検出の情報と、人体検出の情報の内の少なくとも１つを用いた追尾手段を選択して被写体を追尾補間することを特徴とする請求項２または、請求項１１または請求項１２のいずれか１項に記載の撮像装置。
14. 上記被写体検出補間部は、上記被写体検出部が検出した被写体検出結果に基づいて、追尾補間の手段を選択することを特徴とする請求項２または、請求項１１または請求項１２のいずれか１項に記載の撮像装置。
15. 複数の被写体に対して補間追尾させる被写体の優先順位を設定する優先順位設定部をさらに有し、
    上記被写体検出補間部は、上記被写体検出部が複数の被写体を検出した場合は、上記優先順位設定部において設定された上記被写体の優先順位に従って被写体を補間追尾する、
    ことを特徴とする請求項１１または請求項１２記載の撮像装置。
16. 上記優先順位設定部は、上記被写体検出部が、生物の全身、眼を同時に被写体として検出した場合は、上記生物のまたは眼を補間追尾させる被写体と設定することを特徴とする請求項１５に記載の撮像装置。
17. 上記優先順位設定部は、上記被写体検出部が、乗り物の全体、乗り物のドライバーを同時に被写体として検出した場合は、上記乗り物の全体またはドライバーを補間追尾させる被写体と設定することを特徴とする請求項１５に記載の撮像装置。
18. 上記被写体追尾位置修正部は、上記被写体追尾部の追尾結果と、上記被写体検出補間部の補間追尾結果に基づいて、追尾位置の修正の要否を決定することを特徴とする請求項１１または請求項１２に記載の撮像装置。
19. 上記被写体追尾位置修正部は、上記被写体追尾部が検出した追尾位置と、上記被写体検出補間部の補間追尾位置との距離に基づいて、追尾位置の修正の要否を決定することを特徴とする請求項１１または請求項１２に記載の撮像装置。
20. 上記被写体追尾位置修正部は、上記被写体検出部が現在の画像から検出した被写体検出結果、または過去の画像から検出された被写体検出結果に基づいて、追尾位置の修正要否を決定することを特徴とする請求項１１または請求項１２に記載の撮像装置。
21. 上記表示部は、上記被写体検出部が現在の画像から検出した被写体検出結果、または過去の画像から検出された被写体検出結果に基づいて、追尾位置を示す上記印の表示位置を決定して表示することを特徴とする請求項１２に記載の撮像装置。
22. 被写体像を露光して、この被写体像を光電変換した画像信号を一定周期で繰り返して出力する撮像ステップと、
    上記画像信号から、特定被写体を検出する演算パラメータが学習されたニューラル・ネットワーク回路によって、上記特定被写体を検出する被写体検出ステップと、
    上記被写体検出ステップにおいて検出した特定被写体にあるボディ部分とパーツ部分の位置関係に基づいて関連付けをする被写体関連付け判断ステップと、
    を有し、
    上記特定被写体は、被写体関連付けされた被写体（全体）とパーツであることを特徴とする追尾方法。
23. 被写体像を露光して、この被写体像を光電変換した画像信号を一定周期で繰り返して出力する撮像ステップと、
    上記画像信号を、特定被写体を検出する演算パラメータが学習されたニューラル・ネットワーク回路に入力し、上記特定被写体を検出する被写体検出ステップと、
    上記被写体検出ステップにおいて検出した上記特定被写体の位置を基準にして、上記画像信号から得る画像に対して、被写体の特徴量を基に、追尾位置を補間すること被写体検出補間ステップと、
    を有することを特徴とする追尾方法。
24. 上記被写体検出ステップにて検出した特定被写体にあるボディ部分とパーツ部分の位置関係に基づいて関連付けをする被写体関連付け判断ステップと、
    をさらに有し、
    上記特定被写体は、被写体関連付けされた被写体（全体）とパーツであることを特徴とする請求項２３に記載の追尾方法。
25. コンピュータにおいて実行させるプログラムであって、
    被写体像を露光して、光電変換された画像信号を一定周期で繰り返して出力する撮像ステップと、
    上記画像信号から、特定被写体を検出する演算パラメータが学習されたニューラル・ネットワーク回路によって、上記特定被写体を検出する被写体検出ステップと、
    上記被写体検出ステップにて検出した特定被写体にあるボディ部分とパーツ部分の位置関係に基づいて関連付けをする被写体関連付け判断ステップと、
    を有し、
    上記特定被写体は、被写体関連付けされた被写体（全体）とパーツであることを特徴とするプログラム。
26. コンピュータにおいて実行させるプログラムであって、
    被写体像を露光して、光電変換された画像信号を一定周期で繰り返して出力する撮像ステップと、
    上記画像信号から、特定被写体を検出する演算パラメータが学習されたニューラル・ネットワーク回路によって、上記特定被写体を検出する被写体検出ステップと、
    上記被写体検出ステップにおいて検出した上記特定被写体の位置を基準にして、上記画像信号から得る画像に対して、被写体の特徴量を基に、追尾位置を補間する被写体検出補間ステップと、
    を有することを特徴とするプログラム。