JP2016178608A5 - - Google Patents

Description

前記課題を解決するため、本発明の画像処理装置の一態様は、
動画像内で被写体を検出する検出手段と、
前記動画像を構成する各フレーム画像から前記検出手段により検出された前記被写体に対応する領域を切り出す切り出し手段と、
前記切り出し手段により既に切り出された前記被写体に対応する領域の位置及びサイズのうちの少なくとも一方に基づいて、前記切り出し手段により新たに切り出される切出予定領域を設定する設定手段と、
を備える、
ことを特徴とする。

また、前記課題を解決するため、本発明の画像処理方法の一態様は、
画像処理装置を用いた画像処理方法であって、
動画像内で被写体を検出する検出ステップと、
前記動画像を構成する各フレーム画像から検出された前記被写体に対応する領域を切り出す切り出しステップと、
既に切り出された前記被写体に対応する領域の位置及びサイズのうちの少なくとも一方に基づいて、新たに切り出される切出予定領域を設定する設定ステップと、
を含む、
ことを特徴とする。

また、前記課題を解決するため、本発明のプログラムの一態様は、
画像処理装置のコンピュータを、
動画像内で被写体を検出する検出手段、
前記動画像を構成する各フレーム画像から前記検出手段により検出された前記被写体に対応する領域を切り出す切り出し手段、
前記切り出し手段により既に切り出された前記被写体に対応する領域の位置及びサイズのうちの少なくとも一方に基づいて、前記切り出し手段により新たに切り出される切出予定領域を設定する設定手段、
として機能させる、
ことを特徴とする。

また、判定部５ｃにより処理対象となる一のフレーム画像Ｆから被写体Ｓが検出されたと判定された場合、領域設定部５ｄは、被写体検出部５ｂにより検出された被写体Ｓの位置座標を取得して、動画像を構成する一のフレーム画像Ｆよりも前の他のフレーム画像Ｆから画像切出部５ｅにより切り出された被写体切出領域Ａの位置及びサイズの経時的な変化に基づいて、画像切出部５ｅにより一のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０を設定する。このとき、例えば、被写体検出部５ｂにより一のフレーム画像Ｆから一の被写体Ｓが検出された場合、領域設定部５ｄは、一の被写体Ｓの位置座標のｘ座標及びｙ座標の最大値及び最小値の差、つまり、ｘ軸方向及びｙ軸方向の画素数を被写体サイズとして算出する。そして、領域設定部５ｄは、被写体Ｓの位置座標の最小値と算出された被写体サイズから被写体領域Ａｓを特定する。また、例えば、被写体検出部５ｂにより一のフレーム画像Ｆから複数の被写体Ｓ、…が検出された場合、領域設定部５ｄは、複数の被写体Ｓ、…の各々の位置座標をそれぞれ取得し、ｘ座標及びｙ座標の最大値及び最小値の差を被写体サイズとして算出する。例えば、３つの被写体Ｓ、…が検出された場合、仮に、第１の被写体Ｓの位置座標（30,390）、第２の被写体Ｓの位置座標（100,50）、第３の被写体Ｓの位置座標（600,200）とすると、ｘ座標の最大値が600、最小値が30となり、ｙ座標の最大値が390、最小値が50となる。被写体サイズは、ｘ軸方向の画素数が最大値600から最小値30を減算した570、ｙ軸方向の画素数が最大値390から最小値50を減算した340となる。そして、領域設定部５ｄは、複数の被写体Ｓ、…の位置座標の最小値と算出された被写体サイズから被写体領域Ａｓを特定する。
このとき、領域設定部５ｄは、撮像部３により被写体Ｓを撮像する際のブレを考慮して、重心を中心として外側にあそび領域を付加して被写体領域Ａｓを設定しても良い。なお、付加されるあそび領域のサイズは、例えば、被写体領域Ａｓの位置やサイズに応じて変化させても良いし、経験的に求められる一定のサイズであっても良い。

Claims (21)

1. 動画像内で被写体を検出する検出手段と、
   前記動画像を構成する各フレーム画像から前記検出手段により検出された前記被写体に対応する領域を切り出す切り出し手段と、
   前記切り出し手段により既に切り出された前記被写体に対応する領域の位置及びサイズのうちの少なくとも一方に基づいて、前記切り出し手段により新たに切り出される切出予定領域を設定する設定手段と、
   を備える、
   ことを特徴とする画像処理装置。
2. 前記設定手段は、
   前記切り出し手段により既に切り出された前記被写体に対応する領域の位置の経時的な変化に基づいて、前記切出予定領域の位置を補間して設定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、
   前記切り出し手段により既に切り出された前記被写体に対応する領域のサイズの経時的な変化に基づいて、前記切出予定領域のサイズを補間して設定する、
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記設定手段は、
   前記検出手段により検出された前記被写体に対応する領域と、前記切り出し手段により既に切り出された前記被写体に対応する領域の位置及びサイズの経時的な変化と、に基づいて、前記切出予定領域を設定する、
   ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記動画像を構成する一のフレーム画像から前記検出手段により前記被写体が検出されたか否かを判定する判定手段を更に備え、
   前記設定手段は、
   前記判定手段により前記被写体が検出されたと判定された場合に、前記一のフレーム画像から前記検出手段により検出された前記被写体の位置及びサイズと、前記動画像を構成する前記一のフレーム画像よりも前の他のフレーム画像から前記切り出し手段により切り出された前記被写体に対応する領域の位置及びサイズと、に基づいて、前記切り出し手段により前記一のフレーム画像から新たに切り出される前記切出予定領域を設定する、
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記設定手段は、
   前記検出手段により前記被写体が複数検出された場合に、前記一のフレーム画像から前記検出手段により検出された前記複数の被写体の位置及びサイズと、前記他のフレーム画像から前記切り出し手段により切り出された前記被写体に対応する領域の位置及びサイズと、に基づいて、前記切出予定領域を設定する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記設定手段は、更に、
   前記判定手段により前記被写体が検出されなかったと判定された場合に、前記他のフレーム画像から前記切り出し手段により切り出された前記被写体に対応する領域の位置及びサイズに基づいて、前記切出予定領域を設定する、
   ことを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記検出手段は、前記動画像内で追尾対象の被写体を含む前記被写体を検出する、
   ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記被写体には可視光の発光をおこなう光タグが取り付けられており、
   前記検出手段は、前記動画像内で所定の発色パターン又は所定の発光パターンで発光する前記光タグを検出して前記被写体を検出する、
   ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記検出手段は、前記動画像を構成する複数のフレーム画像のうちの、一のフレーム画像から検出された前記被写体の位置情報、前記被写体が含まれる前記領域の輝度情報及び色情報を含む画像情報に基づいて、前記一のフレーム画像よりも前の他のフレーム画像内で、前記追尾対象の被写体を検出する、
    請求項８に記載の画像処理装置。
11. 前記検出手段は、前記光タグを検出して前記被写体の検出位置を特定し、特定された前記光タグの前記検出位置を基準として、各フレーム画像に対して顔検出処理を行い、各フレーム画像から前記被写体の位置及び前記被写体が含まれる領域を検出する、
    請求項９に記載の画像処理装置。
12. 前記設定手段は、前記被写体を撮像する際のブレを考慮して、前記被写体の重心を中心として前記被写体の外側にあそび領域を付加して前記被写体に対応する領域を設定し、
    付加される前記あそび領域のサイズは、前記被写体に対応する領域の位置及びサイズに応じて変化する、又は、一定のサイズである、
    請求項１に記載の画像処理装置。
13. 前記設定手段は、検出された前記被写体に対応する領域内に、前記動画像を構成する複数のフレーム画像のうちの、一のフレーム画像よりも一つ前のフレーム画像から切り出された前記被写体に対応する領域の重心が存するか否かを判定し、
    前記被写体に対応する領域内に、前記一つ前のフレーム画像から切り出された前記被写体に対応する領域の重心が存すると判定された場合には、前記設定手段は、前記一つ前のフレーム画像から切り出された前記被写体に対応する領域の重心を、前記一のフレーム画像から新たに切り出される前記切出予定領域の重心として設定し、
    前記被写体に対応する領域内に、前記一つ前のフレーム画像から切り出された前記被写体に対応する領域の重心が存しないと判定された場合には、前記設定手段は、線形補間条件に基づいて前記一のフレーム画像から新たに切り出される前記切出予定領域の重心を設定する、
    請求項１に記載の画像処理装置。
14. 前記設定手段は、前記被写体に対応する領域にあそび領域が付加されている場合、検出された前記被写体に対応する領域の前記あそび領域内に、前記一つ前のフレーム画像から切り出された前記被写体に対応する領域の重心が存するか否かを判定する、
    請求項１３に記載の画像処理装置。
15. 前記設定手段は、検出された前記被写体に対応する領域内に、前記一つ前のフレーム画像から切り出された前記被写体に対応する領域の全体が存するか否かを判定する、
    請求項１３に記載の画像処理装置。
16. 前記設定手段は、検出された前記被写体に対応する領域のサイズが、前記動画像を構成する複数のフレーム画像のうちの、一のフレーム画像よりも一つ前のフレーム画像から切り出された前記被写体に対応する領域のサイズよりも大きいか否かを判定し、
    前記被写体に対応する領域のサイズが前記一つ前のフレーム画像から切り出された前記被写体に対応する領域のサイズよりも大きいと判定されると、前記設定手段は、線形補間条件に基づいて、前記一のフレーム画像から新たに切り出される前記切出予定領域のサイズが前記一つ前のフレーム画像から切り出された前記被写体に対応する領域のサイズよりも大きくなるように設定し、
    前記被写体に対応する領域のサイズが前記一つ前のフレーム画像から切り出された前記被写体に対応する領域のサイズよりも大きくないと判定されると、前記設定手段は、線形補間条件に基づいて、前記一のフレーム画像から新たに切り出される前記切出予定領域のサイズが前記一つ前のフレーム画像から切り出された前記被写体に対応する領域のサイズ以下となるように設定する、
    請求項１に記載の画像処理装置。
17. 前記被写体に対応する領域のサイズが前記一つ前のフレーム画像から切り出された前記被写体に対応する領域のサイズと同じと判定されると、前記設定手段は、前記一のフレーム画像から新たに切り出される前記切出予定領域のサイズが前記一つ前のフレーム画像から切り出された前記被写体に対応する領域のサイズと同一となるように設定する、
    請求項１６に記載の画像処理装置。
18. 前記設定手段は、前記動画像を構成する各フレーム画像から切り出される前記被写体に対応する領域の縦横比が一定となるように前記切出予定領域を設定する、
    請求項１に記載の画像処理装置。
19. 設定される前記切出予定領域の重心がフレーム画像の端部に近いために、前記端部よりも外側に前記切出予定領域が設定されてしまう場合には、前記設定手段は、前記切出予定領域の縦横比を保持したまま、前記切出予定領域をフレーム画像の前記端部から離れる方向に移動させて設定する、
    請求項１に記載の画像処理装置。
20. 画像処理装置を用いた画像処理方法であって、
    動画像内で被写体を検出する検出ステップと、
    前記動画像を構成する各フレーム画像から検出された前記被写体に対応する領域を切り出す切り出しステップと、
    既に切り出された前記被写体に対応する領域の位置及びサイズのうちの少なくとも一方に基づいて、新たに切り出される切出予定領域を設定する設定ステップと、
    を含む、
    ことを特徴とする画像処理方法。
21. 画像処理装置のコンピュータを、
    動画像内で被写体を検出する検出手段、
    前記動画像を構成する各フレーム画像から前記検出手段により検出された前記被写体に対応する領域を切り出す切り出し手段、
    前記切り出し手段により既に切り出された前記被写体に対応する領域の位置及びサイズのうちの少なくとも一方に基づいて、前記切り出し手段により新たに切り出される切出予定領域を設定する設定手段、
    として機能させる、
    ことを特徴とするプログラム。

Images