JP2004096679A - Segment video image generating equipment, segment video image generating method and segment video image generating program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To enable prevention of redundancy of content of a video image of a generated segment video image, and set a segment region, without being restricted by aspect ratio when a segment video image is displayed. <P>SOLUTION: A segment region setting part 30 is provided with, as shown by the figure, a small region forming part 31, which divides a moving region into the horizontal and vertical directions and forms small regions; a moving small region setting part 32 for setting a moving small region for every small region; a moving small region central point/area calculation part 33 for calculating a central point and an area of the moving small region for every moving small region; a moving region central point calculation part 34, which calculates the central point of the moving region, by using the central point and the area of the moving small region; a relative moving vector mean rate/variance calculation part 35 for calculating the mean rate and variance of relative moving vector in the moving region; and a segment region coordinates calculating part 36, which calculates coordinates which are used for setting a segment region by using the central point of the moving region, and for the mean rate and the variance of the relative moving vector in the moving region. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影された映像から一部の領域を抽出して切り出し映像を生成する切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラムに関する。
【０００２】
【従来の技術】
従来、一台のテレビカメラにより撮影された映像内容によって、他の複数のカメラを自動制御したり、複数のカメラからの映像出力を本線用に切り替えたりする技術が知られている（例えば、非特許文献１）。
【０００３】
【非特許文献１】
井口ほか　「アクティブカメラの協調によるスポーツ映像撮影システム」　電子情報学会画像工学研究会技術研究報告　ｐ３７−４４　２０００年７月
【０００４】
また、従来、撮影された映像から一部の映像を切り出して「切り出し映像」を生成する方法が知られている。この種の従来技術としては、本出願人により、特願２００１−３６２９０８において、撮影された映像（以降、「撮影映像」という）から、一部の領域を抽出して切り出し映像を生成する「映像生成装置」が提案されている。この映像生成装置は、被写体の動き情報に基づいて撮影映像から映像を抽出する領域（以降、「切り出し領域」という）を設定して切り出し映像を生成するように構成されている。
【０００５】
以下、特願２００１−３６２９０８の映像生成装置における切り出し領域の設定方法について、図１０及び図１１を参照して説明する。参照する図面において、図１０は、従来の切り出し領域の設定方法における動領域の設定方法を説明するための図である。また、図１１は、従来の切り出し領域の設定方法における切り出し領域の設定方法を説明するための図である。
【０００６】
切り出し領域を設定する際は、まず、撮影映像を「背景映像」と「この背景以外の映像（以降、『被写体映像』という）」とに分離する。次に、撮影映像を水平及び垂直方向にｍ×ｎ画素（ｍ，ｎは正の定数）の矩形領域に分割してマクロブロックを作成し、マクロブロック毎の「被写体の動きベクトル」と、「背景映像の動きベクトル」とを算出する。そして、マクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである「相対動きベクトル」を算出する。
【０００７】
次に、相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックを「動マクロブロック」として判定し、この動マクロブロックを含んで構成される矩形領域を「動領域」として設定する。動領域は、図１０に示すように、動領域を構成する動マクロブロックの水平及び垂直方向の座標が最小である座標Ａ（Ｘｍｉｎ，Ｙｍｉｎ）と、最大である座標Ｂ（Ｘｍａｘ，Ｙｍａｘ）とで囲まれる矩形領域として設定される。
【０００８】
そして、図１１に示すように、動領域の水平方向に水平方向の幅がαである領域を左右対称に付け足し、動領域の垂直方向に垂直方向の高さがβである領域を上下対称に付け足して「切り出し領域」を設定する。切り出し領域は、切り出し領域を構成するマクロブロックの水平及び垂直方向の座標が最小である座標Ｃ（Ｘ´ｍｉｎ，Ｙ´ｍｉｎ）と、最大である座標Ｄ（Ｘ´ｍａｘ，Ｙ´ｍａｘ）とで囲まれる矩形領域として設定される。なお、Ｘ´ｍｉｎ＝Ｘｍｉｎ−α、Ｙ´ｍｉｎ＝Ｙｍｉｎ−β、Ｘ´ｍａｘ＝Ｘｍａｘ＋α、Ｙ´ｍａｘ＝Ｙｍａｘ＋βである。また、αとβは、被写体の動き情報である動領域における相対動きベクトルの平均値及び分散と、切り出し映像を表示する際のアスペクト比に基づいて決定される。
【０００９】
【発明が解決しようとする課題】
しかしながら、前記映像生成装置における切り出し領域の設定方法では、動領域において被写体がどのように分布しているかを示す情報である「被写体の分布情報」については考慮していなかった。即ち、動領域における被写体の分布が均等な場合（図１２（ａ）参照）と、不均等な場合（図１２（ｂ）参照）との区別をしていなかった。そのため、動領域における被写体の分布が不均等な場合（図１２（ｂ）参照）は、図１３に示すように、切り出し領域には、その映像において被写体が多く分布している領域である「注目領域」（図中の破線で囲った部分）から外れた領域が多く含まれるため、切り出し映像の映像内容が冗長化するという問題があった。
【００１０】
また、前記した切り出し領域の設定方法では、切り出し領域を設定する際に、その切り出し映像を表示する際のアスペクト比が必要であるため、前記アスペクト比が不明な場合は切り出し領域を設定することができないという問題があった。
【００１１】
そこで、本発明は、生成された切り出し映像の映像内容の冗長化を防止することができ、かつ、切り出し映像を表示する際のアスペクト比が不明な場合でも切り出し領域を設定することができる切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、前記目的を達成するために、以下のように構成した。
請求項１に記載の切り出し映像生成装置は、撮影された撮影映像から一部の領域を抽出して切り出し映像を生成する切り出し映像生成装置であって、前記撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、前記撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、前記被写体映像の動きベクトルと前記背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する相対動きベクトル算出部と、前記相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成される領域を動領域として設定する動領域設定部と、前記動領域における前記相対動きベクトルの平均値及び分散に基づいて、前記撮影映像から抽出する切り出し領域を設定する切り出し領域設定部と、前記撮影映像から前記切り出し領域を抽出して切り出し映像を生成する切り出し領域抽出部とを備えて構成されることを特徴とする。
【００１３】
請求項１に記載の切り出し映像生成装置によれば、相対動きベクトル算出部では、まず、撮影された「撮影映像」を、「背景映像」とこの背景映像以外の映像である「被写体映像」とに分離する。次に、撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割してマクロブロックを作成し、マクロブロック毎の「被写体の動きベクトル」と、「背景映像の動きベクトル」とを算出する。そして、マクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出することができる。
また、動領域設定部では、相対動きベクトル算出部で算出された相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成される領域を動領域として設定することができる。
また、切り出し領域設定部では、動領域設定部で設定された動領域における相対動きベクトルの平均値及び分散を算出し、その算出結果に基づいて、撮影映像から抽出する切り出し領域を設定することができる。
そして、切り出し領域抽出部では、切り出し領域設定部で設定された切り出し領域を撮影映像から抽出して「切り出し映像」を生成することができる。
【００１４】
以上のようにして、請求項１に記載の切り出し映像生成装置によれば、撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」に基づいて一部の領域を抽出して切り出し映像を生成することができる。したがって、切り出し映像を表示する際のアスペクト比が不明な場合でも切り出し領域を設定することができる。
【００１５】
また、請求項２に記載の切り出し映像生成装置は、請求項１に記載の切り出し映像生成装置において、前記切り出し領域設定部は、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成部と、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定部と、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出部と、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出部と、前記動領域における前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出部と、前記動領域の中心点と、前記動領域における前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出部とを備えて構成されることを特徴とする。
【００１６】
請求項２に記載の切り出し映像生成装置によれば、切り出し領域設定部では、以下のように動作する。
小領域作成部では、動領域設定部で設定された動領域を水平及び垂直方向に分割して小領域を作成することができる。また、動小領域設定部では、小領域作成部で作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定することができる。
動小領域中心点・面積算出部では、動小領域設定部で設定された動小領域毎に、動小領域の中心点及び面積を算出することができる。また、動領域中心点算出部では、動小領域中心点・面積算出部で算出された動小領域の中心点及び面積を用いて動領域の中心点を算出することができる。
そして、相対動きベクトル平均値・分散算出部では、相対動きベクトル算出部で算出された各マクロブロックの相対動きベクトルから、動領域における相対動きベクトルの平均値及び分散を算出することができる。また、切り出し領域座標算出部では、動領域中心点算出部で算出された動領域の中心点と、相対動きベクトル平均値・分散算出部で算出された動領域における相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出することができる。
【００１７】
以上のようにして、請求項２に記載の切り出し映像生成装置によれば、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００１８】
請求項３に記載の切り出し映像生成装置は、請求項１に記載の切り出し映像生成装置において、前記切り出し領域設定部は、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成部と、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定部と、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出部と、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出部と、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出部と、前記動領域の中心点と、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出部とを備えて構成されることを特徴とする。
【００１９】
請求項３に記載の切り出し映像生成装置によれば、切り出し領域設定部では、以下のように動作する。
小領域作成部では、動領域設定部で設定された動領域を水平及び垂直方向に分割して小領域を作成することができる。また、動小領域設定部では、小領域作成部で作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定することができる。
動小領域中心点・面積算出部では、動小領設定部で設定された動小領域毎に、動小領域の中心点及び面積を算出することができる。また、動領域中心点算出部では、動小領域中心点・面積算出部で算出された動小領域の中心点及び面積を用いて動領域の中心点を算出することができる。
そして、相対動きベクトル平均値・分散算出部では、相対動きベクトル算出部で算出された各マクロブロックの相対動きベクトルから、動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散を算出することができる。また、切り出し領域座標算出部では、動領域中心点算出部で算出された動領域の中心点と、相対動きベクトル平均値・分散算出部で算出された動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出することができる。
【００２０】
以上のようにして、請求項３に記載の切り出し映像生成装置によれば、被写体の動き情報である「動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００２１】
請求項４に記載の切り出し映像生成方法は、撮影された撮影映像から一部の領域を抽出して切り出し映像を生成する切り出し映像生成方法であって、前記撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、前記撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、前記被写体映像の動きベクトルと前記背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する相対動きベクトル算出ステップと、前記相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成される領域を動領域として設定する動領域設定ステップと、前記動領域における前記相対動きベクトルの平均値及び分散に基づいて、前記撮影映像から抽出する切り出し領域を設定する切り出し領域設定ステップと、前記撮影映像から前記切り出し領域を抽出して切り出し映像を生成する切り出し領域抽出ステップとを含むことを特徴とする。
【００２２】
請求項４に記載の切り出し映像生成方法によれば、まず、相対動きベクトル算出ステップでは、撮影された「撮影映像」を、「背景映像」とこの背景映像以外の映像である「被写体映像」とに分離し、撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する。
続いて、動領域設定ステップでは、相対動きベクトル算出ステップで算出された相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成される領域を動領域として設定する。
次に、切り出し領域設定ステップでは、動領域設定ステップで設定された動領域における相対動きベクトルの平均値及び分散を算出し、その算出結果に撮影映像から抽出する切り出し領域を設定する。
そして、切り出し領域抽出ステップでは、切り出し領域設定ステップで設定された切り出し領域を撮影映像から抽出して「切り出し映像」を生成する。
【００２３】
以上のようにして、請求項４に記載の切り出し映像生成方法によれば、撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」に基づいて一部の領域を抽出して、切り出し映像を生成することができる。したがって、切り出し映像を表示する際のアスペクト比が不明な場合でも切り出し領域を設定することができる。
【００２４】
また、請求項５に記載の切り出し映像生成方法は、請求項４に記載の切り出し映像生成方法において、前記切り出し領域設定ステップは、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成ステップと、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定ステップと、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出ステップと、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出ステップと、前記動領域における前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出ステップと、前記動領域の中心点と、前記動領域における相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出ステップとを含むことを特徴とする。
【００２５】
請求項５に記載の切り出し映像生成方法によれば、切り出し領域設定部ステップでは、以下のように処理が進む。
まず、小領域作成ステップでは、動領域設定ステップで設定された動領域を水平及び垂直方向に分割して小領域を作成する。そして、続く、動小領域設定ステップでは、小領域作成ステップで作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定する。
続いて、動小領域中心点・面積算出ステップでは、動小領設定ステップで設定された動小領域毎に、動小領域の中心点及び面積を算出する。そして、続く、動領域中心点算出ステップでは、動小領域中心点・面積算出ステップで算出された動小領域の中心点及び面積を用いて動領域の中心点を算出する。
次に、相対動きベクトル平均値・分散算出ステップでは、相対動きベクトル算出ステップで算出された各マクロブロックの相対動きベクトルから、動領域における相対動きベクトルの平均値及び分散を算出する。そして、続く、切り出し領域座標算出ステップでは、動領域中心点算出ステップで算出された動領域の中心点と、相対動きベクトル平均値・分散算出ステップで算出された動領域における相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出する。
【００２６】
以上のようにして、請求項５に記載の切り出し映像生成方法によれば、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００２７】
請求項６に記載の切り出し映像生成方法は、請求項４に記載の切り出し映像生成方法において、前記切り出し領域設定ステップは、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成ステップと、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定ステップと、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出ステップと、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出ステップと、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出ステップと、前記動領域の中心点と、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出ステップとを含むことを特徴とする。
【００２８】
請求項６に記載の切り出し映像生成方法によれば、切り出し領域設定部ステップでは、次のように処理が進む。
まず、小領域作成ステップでは、動領域設定ステップで設定された動領域を水平及び垂直方向に分割して小領域を作成する。そして、続く、動小領域設定ステップでは、小領域作成ステップで作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定する。
続いて、動小領域中心点・面積算出ステップでは、動小領設定ステップで設定された動小領域毎に、動小領域の中心点及び面積を算出する。そして、続く、動領域中心点算出ステップでは、動小領域中心点・面積算出ステップで算出された動小領域の中心点及び面積を用いて動領域の中心点を算出する。
次に、相対動きベクトル平均値・分散算出ステップでは、相対動きベクトル算出ステップで算出された各マクロブロックの相対動きベクトルから、動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散を算出する。そして、続く、切り出し領域座標算出ステップでは、動領域中心点算出ステップで算出された動領域の中心点と、相対動きベクトル平均値・分散算出ステップで算出された動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出する。
【００２９】
以上のようにして、請求項６に記載の切り出し映像生成方法によれば、被写体の動き情報である「動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００３０】
請求項７に記載の切り出し映像生成プログラムは、撮影された撮影映像から一部の領域を抽出して切り出し映像を生成する装置を、以下に示す手段として機能させることを特徴とする。当該装置を機能させる手段は、前記撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、前記撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、前記被写体映像の動きベクトルと前記背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する相対動きベクトル算出手段、前記相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成される領域を動領域として設定する動領域設定手段、前記動領域における前記相対動きベクトルの平均値及び分散に基づいて、前記撮影映像から抽出する切り出し領域を設定する切り出し領域設定手段、前記撮影映像から前記切り出し領域を抽出して切り出し映像を生成する切り出し領域抽出手段である。
【００３１】
請求項７に記載の切り出し映像生成プログラムによれば、相対動きベクトル算出手段では、まず、撮影された「撮影映像」を、「背景映像」とこの背景映像以外の映像である「被写体映像」とに分離する。次に、撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割してマクロブロックを作成し、マクロブロック毎の「被写体の動きベクトル」と、「背景映像の動きベクトル」とを算出する。そして、マクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する。
また、動領域設定手段では、相対動きベクトル算出手段で算出された相対動きベクトル算出部で算出された相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成される領域を動領域として設定する。
また、切り出し領域設定手段では、動領域設定手段で設定された動領域における相対動きベクトルの平均値及び分散を算出し、その算出結果に基づいて、撮影映像から抽出する切り出し領域を設定する。
そして、切り出し領域抽出手段では、切り出し領域設定手段で設定された切り出し領域を撮影映像から抽出して「切り出し映像」を生成する。
【００３２】
以上のようにして、請求項７に記載の切り出し映像生成プログラムによれば、撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」に基づいて一部の領域を抽出して切り出し映像を生成することができる。したがって、切り出し映像を表示する際のアスペクト比が不明な場合でも切り出し領域を設定することができる。
【００３３】
請求項８に記載の切り出し映像生成プログラムは、請求項７に記載の切り出し映像生成プログラムにおいて、前記切り出し領域設定手段は、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成手段と、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定手段と、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出手段と、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出手段と、前記動領域における前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出手段と、前記動領域の中心点と、前記動領域における前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出手段とを備えていることを特徴とする。
【００３４】
請求項８に記載の切り出し映像生成プログラムによれば、切り出し領域設定手段は、以下のように機能する。
小領域作成手段では、動領域設定手段で設定された動領域を水平及び垂直方向に分割して小領域を作成する。また、動小領域設定手段では、小領域作成手段で作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定する。
動小領域中心点・面積算出手段では、動小領設定手段で設定された動小領域毎に、動小領域の中心点及び面積を算出する。また、動領域中心点算出手段では、動小領域中心点・面積算出手段で算出された動小領域の中心点及び面積を用いて動領域の中心点を算出する。
そして、相対動きベクトル平均値・分散算出手段では、相対動きベクトル算出手段で算出された各マクロブロックの相対動きベクトルから、動領域における相対動きベクトルの平均値及び分散を算出する。また、切り出し領域座標算出手段では、動領域中心点算出手段で算出された動領域の中心点と、相対動きベクトル平均値・分散算出手段で算出された動領域における相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出する。
【００３５】
以上のようにして、請求項８に記載の切り出し映像生成プログラムによれば、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００３６】
請求項９に記載の切り出し映像生成プログラムは、請求項７に記載の切り出し映像生成プログラムにおいて、前記切り出し領域設定手段は、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成手段と、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定手段と、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出手段と、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出手段と、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出手段と、前記動領域の中心点と、前記動領域における前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出手段とを備えていることを特徴とする。
【００３７】
請求項９に記載の切り出し映像生成プログラムによれば、切り出し領域設定手段は、以下のように機能する。
小領域作成手段では、動領域設定手段で設定された動領域を水平及び垂直方向に分割して小領域を作成する。また、動小領域設定手段では、小領域作成手段で作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定する。
動小領域中心点・面積算出手段では、動小領設定手段で設定された動小領域毎に、動小領域の中心点及び面積を算出する。また、動領域中心点算出手段では、動小領域中心点・面積算出手段で算出された動小領域の中心点及び面積を用いて動領域の中心点を算出する。
そして、相対動きベクトル平均値・分散算出手段では、相対動きベクトル算出手段で算出された各マクロブロックの相対動きベクトルから、動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散を算出する。また、切り出し領域座標算出手段では、動領域中心点算出手段で算出された動領域の中心点と、相対動きベクトル平均値・分散算出手段で算出された動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出する。
【００３８】
以上のようにして、請求項９に記載の切り出し映像生成プログラムによれば、被写体の動き情報である「動領域における背景と隣接する小領域の平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００３９】
【発明の実施の形態】
以下、本発明の一実施の形態を、適宜図面を参照して詳細に説明する。なお、本発明に係る切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラムは、撮影された撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて一部の領域を抽出して切り出し映像を生成するものである。
【００４０】
初めに、本発明における「切り出し領域の設定方法」の概略について簡単に説明する。図３は、本発明における切り出し領域の設定方法を説明するための図である。なお、本発明における切り出し領域の設定方法では、撮影映像を水平及び垂直方向にｍ×ｎ画素（ｍ，ｎは正の定数）の矩形領域に分割して作成された「マクロブロック」を最小単位として扱う。
【００４１】
本発明における切り出し領域の設定方法を図３を参照して説明すると、まず、各マクロブロックを、相対動きベクトルの大きさによって「動マクロブロック」と「静マクロブロック」とに分けた後、動マクロブロックを含んで構成される矩形領域を「動領域」として設定する。次に、動領域を水平及び垂直方向に所定の数に分割して「小領域」を作成し、小領域毎に、動マクロブロックを含んで構成される矩形領域を「動小領域」として設定する。そして、「各動小領域の中心点及び面積」を基に「動領域の中心点」を求め、動領域の中心点と「動領域における相対動きベクトルの平均値及び分散」とを用いて「切り出し領域」を設定する。
【００４２】
（切り出し映像生成装置１の構成）
まず、切り出し映像生成装置１の構成を、主に図１を参照して説明する。参照する図面において、図１は、切り出し映像生成装置１の構成を示すブロック図である。
【００４３】
図１に示すように、切り出し映像生成装置１は、相対動きベクトル算出部１０、動領域設定部２０、切り出し領域設定部３０、信号遅延部４０及び切り出し領域抽出部５０を備えている。この切り出し映像生成装置１に入力された撮影映像（入力映像信号）は、２つに分岐されて相対動きベクトル算出部１０と信号遅延部４０とに入力される。以下、切り出し映像生成装置１の各部について詳細に説明する。
【００４４】
相対動きベクトル算出部１０は、撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する。
【００４５】
詳しく説明すると、相対動きベクトル算出部１０は、まず、各フレームについて、撮影映像を背景映像と被写体映像とに分離する。また、撮影映像を水平及び垂直方向にｍ×ｎ画素（ｍ，ｎは正の定数）の矩形領域に分割してマクロブロックを作成する。そして、マクロブロック毎に、被写体の動きベクトルを算出する。なお、動きベクトルとは、被写体の動きの大きさをベクトル量で表したものであり、例えば、フレーム間にブロックマッチング法を適用して算出することができる。
【００４６】
次に、相対動きベクトル算出部１０は、背景画像の動きベクトルを算出する。背景映像の動きベクトルは、例えば、文献（「動画像符号化におけるグローバル動き補償法」電子情報通信学会論文誌Ｂ‐Ｉ、Ｖｏｌ．Ｊ７６‐Ｂ‐Ｉ、Ｎｏ．１２、ｐ．９９４−９５２、１９９３年１２月，上倉一人　等）に開示されている方法や、文献（「Ａ　Ｈｉｇｈ‐Ｐｒｅｃｉｓｉｏｎ　Ｃａｍｅｒａ　Ｏｐｅｒａｔｉｏｎ　Ｐａｒａｍｅｔｅｒ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｓｙｓｔｅｍ　ａｎｄ　Ｉｔｓ　Ａｐｐｌｉｃａｔｉｏｎ　ｔｏ　Ｉｍａｇｅ　Ｍｏｔｉｏｎ　Ｉｎｆｅｒｒｉｎｇ」ＩＥＥＥ　Ｔｒａｎｓａｃａｔｉｏｎｓ　ｏｎ　Ｂｒｏａｄｃａｓｔｉｎｇ、Ｖｏｌ．４７、Ｎｏ．１、ｐ．４６−５５、Ｍａｒｃｈ　２００１，鄭文涛　等）に開示されている方法を用いて算出することができる。
【００４７】
そして、相対動きベクトル算出部１０は、マクロブロック毎に、被写体の動きベクトルと、背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する。なお、カメラが静止している場合は、背景映像の動きベクトルの大きさは一定となるので、被写体の動きベクトルがそのまま相対動きベクトルとなる。相対動きベクトル算出部１０で算出された各マクロブロックの相対動きベクトルは、相対動きベクトル情報として動領域設定部２０と切り出し領域設定部３０とに入力される。
【００４８】
動領域設定部２０は、相対動きベクトル算出部１０で算出された各マクロブロックの相対動きベクトルを基に、動領域を設定する。
【００４９】
動領域の設定方法について詳しく説明すると、まず、相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックを「動マクロブロック」と判定し、この動マクロブロックを含んで構成される矩形領域を動領域として設定する。なお、動マクロブロック以外のマクロブロックは、「静マクロブロック」と判定される。
【００５０】
そして、図１１に示すように、動領域を構成する動マクロブロックの水平及び垂直方向の座標が最小である座標Ａ（Ｘｍｉｎ，Ｙｍｉｎ）と、最大である座標Ｂ（Ｘｍａｘ，Ｙｍａｘ）を検出し、座標Ａと座標Ｂとで囲まれる矩形領域を動領域として設定する。動領域設定部２０で設定された動領域は、動領域情報として切り出し領域設定部３０に入力される。
【００５１】
切り出し領域設定部３０は、動領域における相対動きベクトルの平均値及び分散に基づいて、撮影映像から抽出する切り出し領域を設定する。図２は、切り出し映像生成装置１における切り出し領域設定部３０の構成を示すブロック図である。
【００５２】
図１及び図２に示すように、切り出し領域設定部３０は、小領域作成部３１、動小領設定部３２、動小領域中心点・面積算出部３３、動領域中心点算出部３４、相対動きベクトル平均値・分散算出部３５及び切り出し領域座標算出部３６を備えて構成されている。相対動きベクトル算出部１０で算出された相対動きベクトル情報は、動小領設定部３２と相対動きベクトル平均値・分散算出部３５とに入力される。また、動領域設定部２０で設定された動領域情報は、小領域作成部３１と相対動きベクトル平均値・分散算出部３５とに入力される。
【００５３】
小領域作成部３１は、動領域設定部２０で設定された動領域を水平及び垂直方向に分割して小領域を作成する。図３の例では、動領域は水平及び分割方向にそれぞれ２分割されており、４つの小領域が作成されている。
【００５４】
なお、動領域を分割する数は、動領域の画素数により決定される。例えば、動領域の水平及び垂直方向の画素数がそれぞれ２５６画素以上の場合は水平及び垂直方向にそれぞれ２分割、３５６画素以上の場合は水平及び垂直方向にそれぞれ３分割、５１２画素以上の場合は水平及び垂直方向にそれぞれ４分割というように、予め定めておくとよい。
【００５５】
また、本実施の形態では、各小領域は、相対動きベクトル算出部１０で作成されたマクロブロックを最小単位として構成されている。このように、各小領域を、相対動きベクトル算出部１０で作成されたマクロブロックを最小単位として構成することにより、動小領設定部３２において動マクロブロックを判定する手間を省くことができる。
【００５６】
動小領設定部３２は、小領域作成部３１で作成された小領域毎に、動マクロブロックを含んで構成される矩形領域を動小領域として設定する。図４は、動小領域を設定する方法を説明するための図であり、（ａ）は一例を示し、（ｂ）は他の例を示す。なお、図４（ａ），（ｂ）の例では、小領域は、１６個のマクロブロックＭＢ１〜ＭＢ１６から構成されている。
【００５７】
図４（ａ）の例では、小領域を構成しているマクロブロックＭＢ１〜ＭＢ１６の内、マクロブロックＭＢ１，ＭＢ２，ＭＢ３，ＭＢ５，ＭＢ６，ＭＢ９，ＭＢ１０が動マクロブロックで、その他のマクロブロックＭＢが静マクロブロックである。そして、動マクロブロックＭＢ１，ＭＢ２，ＭＢ３，ＭＢ５，ＭＢ６，ＭＢ９，ＭＢ１０に、静マクロブロックＭＢ７，ＭＢ１１を加えた矩形領域が動小領域となる。
【００５８】
また、図４（ｂ）の例では、小領域を構成しているマクロブロックＭＢ１〜ＭＢ１６の内、マクロブロックＭＢ１，ＭＢ２，ＭＢ３，ＭＢ４，ＭＢ７，ＭＢ８，ＭＢ９，ＭＢ１０が動マクロブロックで、その他のマクロブロックＭＢが静マクロブロックである。そして、動マクロブロックＭＢ１，ＭＢ２，ＭＢ３，ＭＢ４，ＭＢ７，ＭＢ８，ＭＢ９，ＭＢ１０に、静マクロブロックＭＢ５，ＭＢ６，ＭＢ１１，ＭＢ１２を加えた矩形領域が動小領域となる。
【００５９】
動小領域中心点・面積算出部３３は、動小領設定部３２で設定された動小領域毎に、動小領域の中心点及び面積を算出する。図５は、図４（ａ）で設定された動小領域の中心点及び面積を算出する方法を説明するための図である。なお、ここでは、図４（ａ）に示す小領域は、小領域ＳＤ１に該当するものとする。
【００６０】
動小領域の中心点Ｍｓｄを求める際は、図５に示すように、動小領域を構成するマクロブロックＭＢの水平及び垂直方向の座標が最小である座標ａ（ｘｍｉｎ，ｙｍｉｎ）と、最大である座標ｂ（ｘｍａｘ，ｙｍａｘ）とを検出する。そして、座標ａと座標ｂとの中点である（（ｘｍｉｎ＋ｘｍａｘ）／２，（ｙｍｉｎ＋ｙｍａｘ）／２）が動小領域の中心点Ｍｓｄとなる。
【００６１】
また、動小領域の面積Ｓは、動小領域に含まれる動マクロブロックの数とする。図４（ａ）の例では、動小領域内には動マクロブロックが７つ含まれているので、動小領域の面積Ｓは「７」となる。また、図４（ｂ）の例では、動小領域内には動マクロブロックが８つ含まれているので、動小領域の面積Ｓは「８」となる。
【００６２】
動領域中心点算出部３４は、動小領域中心点・面積算出部３３で算出された動小領域の中心点Ｍｓｄ及び面積Ｓを用いて動領域の中心点Ｍｍｄを算出する。動領域の中心点Ｍｍｄ（Ｘｍｉｄ，Ｙｍｉｄ）は、下記の式（１）によって算出される。
【００６３】
【数１】

【００６４】
図６は、動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄの一例を示す図である。図６に示すように、動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄの位置は、本来の動領域の中心Ｍ（（Ｘｍｉｎ＋Ｘｍａｘ）／２，（Ｙｍｉｎ＋Ｙｍａｘ）／２）の位置とは異なっている。
【００６５】
相対動きベクトル平均値・分散算出部３５は、相対動きベクトル算出部１０で算出された相対動きベクトル情報から、動領域における相対動きベクトルの平均値Ａｖｅｉ（ｉ＝ｘ，ｙ）と、分散σｉ^２（ｉ＝ｘ，ｙ）とを算出する。
【００６６】
そして、切り出し領域座標算出部３６は、動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄと、相対動きベクトル平均値・分散算出部３５で算出された動領域における相対動きベクトルの平均値Ａｖｅｉと分散σｉ^２とを用いて、切り出し領域を設定するための座標を算出する。図７は、切り出し領域を設定する方法を説明するための図である。
【００６７】
図７に示すように、動領域の水平方向に水平方向の幅がαである領域と水平方向の幅がβである領域を付け足し、動領域の垂直方向に垂直方向の高さがγである領域と垂直方向の高さがδである領域を付け足して切り出し領域を設定する。なお、水平方向の幅がαである領域は、水平方向における座標の小さい側に付け足され、水平方向の幅がβである領域は、水平方向における座標の大きい側に付け足される。また、垂直方向の高さがγである領域は、垂直方向における座標の小さい側に付け足され、垂直方向の高さがδである領域は、垂直方向における座標の大きい側に付け足される。
【００６８】
この切り出し領域は、切り出し領域を構成するマクロブロックの水平及び垂直方向の座標が最小である座標Ｃ（Ｘ´ｍｉｎ，Ｙ´ｍｉｎ）と、最大である座標Ｄ（Ｘ´ｍａｘ，Ｙ´ｍａｘ）とで囲まれる矩形領域として設定される。なお、Ｘ´ｍｉｎはＸｍｉｎ−α、Ｘ´ｍａｘはＸｍａｘ＋β、Ｙ´ｍｉｎはＹｍｉｎ−γ、Ｙ´ｍａｘはＹｍａｘ＋δである。
【００６９】
α、β、γ、δは、動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄと、相対動きベクトル平均値・分散算出部３５で算出された動領域における相対動きベクトルの平均値Ａｖｅｉ及び分散σｉ^２とを用いて算出される。具体的には、下記の式（２）〜（５）によって算出される。なお、下記の式（２）〜（９）において、ｆ（σｉ^２）は図８に示す関数によって求められる。また、定数ｐは正の数とする。
【００７０】
α、βは、下記の式（２）〜（５）によって算出される。
【００７１】
Ｘｍｉｄ≧（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ａｖｅｘ｜×ｆ（σｘ^２）……（２）
β＝｜Ａｖｅｘ｜×ｆ（σｘ^２）＋ｐ×（Ｘｍｉｄ−Ｘｍｉｎ）／（Ｘｍａｘ−Ｘｍｉｄ）……（３）
【００７２】
Ｘｍｉｄ＜（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ａｖｅｘ｜×ｆ（σｘ^２）＋ｐ×（Ｘｍａｘ−Ｘｍｉｄ）／（Ｘｍｉｄ−Ｘｍｉｎ）……（４）
β＝｜Ａｖｅｘ｜×ｆ（σｘ^２）……（５）
【００７３】
γ、δは、下記の式（６）〜（９）によって算出される。
【００７４】
Ｙｍｉｄ≧（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ａｖｅｙ｜×ｆ（σｙ^２）……（６）
δ＝｜Ａｖｅｙ｜×ｆ（σｙ^２）＋ｐ×（Ｙｍｉｄ−Ｙｍｉｎ）／（Ｙｍａｘ−Ｙｍｉｄ）……（７）
【００７５】
Ｙｍｉｄ＜（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ａｖｅｙ｜×ｆ（σｙ^２）＋ｐ×（Ｙｍａｘ−Ｙｍｉｄ）／（Ｙｍｉｄ−Ｙｍｉｎ）……（８）
δ＝｜Ａｖｅｙ｜×ｆ（σｙ^２）……（９）
【００７６】
また、特定のアスペクト比の切り出し映像を生成する場合は、α、β、γ、δは、下記の式（１０）〜（１７）によって算出される。なお、アスペクト比はａ：ｂとする。また、下記の式（１０）〜（２５）において、ｆ（σｉ^２）は図８に示す関数によって求められる。また、定数ｐは正の数とする。
【００７７】
（Ｙｍａｘ−Ｙｍｉｎ）／（Ｘｍａｘ−Ｘｍｉｎ）≧ｂ／ａの場合は、α、β、γ、δは、下記の式（１０）〜（１７）によって算出される。
【００７８】
Ｘｍｉｄ≧（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ａｖｅｘ｜×ｆ（σｘ^２）……（１０）
β＝ａ／ｂ（Ｙｍａｘ−Ｙｍｉｎ＋γ＋δ）−（Ｘｍａｘ−Ｘｍｉｎ＋α）……（１１）
【００７９】
Ｘｍｉｄ＜（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
β＝｜Ａｖｅｘ｜×ｆ（σｘ^２）…（１２）
α＝ａ／ｂ（Ｙｍａｘ−Ｙｍｉｎ＋γ＋δ）−（Ｘｍａｘ−Ｘｍｉｎ＋β）……（１３）
【００８０】
Ｙｍｉｄ≧（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ａｖｅｙ｜×ｆ（σｙ^２）……（１４）
δ＝ｂ／ａ（Ｙｍａｘ−Ｙｍｉｎ＋α＋β）−（Ｙｍａｘ−Ｙｍｉｎ＋γ）……（１５）
【００８１】
Ｙｍｉｄ＜（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
δ＝｜Ａｖｅｙ｜×ｆ（σｙ^２）……（１６）
γ＝ｂ／ａ（Ｙｍａｘ−Ｙｍｉｎ＋α＋β）−（Ｙｍａｘ−Ｙｍｉｎ＋δ）……（１７）
【００８２】
（Ｙｍａｘ−Ｙｍｉｎ）／（Ｘｍａｘ−Ｘｍｉｎ）＜ｂ／ａの場合は、α、β、γ、δは、下記の式（１８）〜（２５）によって算出される。
【００８３】
Ｘｍｉｄ≧（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ａｖｅｘ｜×ｆ（σｘ^２）……（１８）
β＝ａ／ｂ（Ｙｍａｘ−Ｙｍｉｎ＋γ＋δ）−（Ｘｍａｘ−Ｘｍｉｎ＋α）……（１９）
【００８４】
Ｘｍｉｄ＜（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
β＝｜Ａｖｅｘ｜×ｆ（σｘ^２）…（２０）
α＝ａ／ｂ（Ｙｍａｘ−Ｙｍｉｎ＋γ＋δ）−（Ｘｍａｘ−Ｘｍｉｎ＋β）……（２１）
【００８５】
Ｙｍｉｄ≧（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ａｖｅｙ｜×ｆ（σｙ^２）……（２２）
δ＝ｂ／ａ（Ｘｍａｘ−Ｘｍｉｎ＋α＋β）−（Ｙｍａｘ−Ｙｍｉｎ＋γ）……（２３）
【００８６】
Ｙｍｉｄ＜（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
δ＝｜Ａｖｅｙ｜×ｆ（σｙ^２）……（２４）
γ＝ｂ／ａ（Ｘｍａｘ−Ｘｍｉｎ＋α＋β）−（Ｙｍａｘ−Ｙｍｉｎ＋δ）……（２５）
【００８７】
切り出し領域座標算出部３６で算出された座標Ｃ（Ｘ´ｍｉｎ，Ｙ´ｍｉｎ）と座標Ｄ（Ｘ´ｍａｘ，Ｙ´ｍａｘ）は、切り出し座標情報として切り出し領域抽出部５０に入力される。
【００８８】
なお、必要があれば、伝送フォーマットにおける画素数やモニターの画素数等に合わせて、切り出し領域抽出部５０で生成された切り出し映像の画素数を変換することもできる。画素数を変換する方法としては、例えば、標本化周波数変換手法を用いることができる。
【００８９】
図１に戻って説明を続けると、信号遅延部４０は、切り出し領域抽出部５０に切り出し領域座標算出部３６で算出された切り出し領域情報が入力されるまで、切り出し領域抽出部５０に入力される入力映像信号を遅延させ、切り出し領域抽出部５０における切り出し領域情報と入力映像信号との同時性を確保する。
【００９０】
そして、切り出し領域抽出部５０では、切り出し領域設定部３０から入力された切り出し座標情報に基づいて、撮影映像から切り出し領域を抽出して切り出し映像を生成する。切り出し領域抽出部５０で生成された切り出し映像は、出力映像信号として外部に出力される。
【００９１】
（切り出し映像生成装置１の動作）
次に、図９に示す切り出し映像生成装置１の動作を示すフローチャートを参照して切り出し映像生成装置１の動作を説明する。
【００９２】
まず、相対動きベクトル算出部１０（図１参照）では、撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する（Ｓ１）。
【００９３】
続いて、動領域設定部２０（図１参照）では、相対動きベクトル算出部１０で算出された各マクロブロックの相対動きベクトルを基に、動領域（図３参照）を設定する（Ｓ２）。
【００９４】
次に、切り出し領域設定部３０（図１参照）では、動領域における相対動きベクトルの平均値及び分散に基づいて、撮影映像から抽出する切り出し領域（図７参照）を設定する（Ｓ３）。
【００９５】
切り出し領域設定部３０内での動作を詳しく説明すると、まず、小領域作成部３１（図２参照）では、動領域設定部２０で設定された動領域を水平及び垂直方向に分割して小領域（図３参照）を作成する（Ｓ３１）。
【００９６】
次に、動小領設定部３２（図２参照）では、小領域作成部３１で作成された小領域毎に、動マクロブロックを含んで構成される矩形領域を動小領域（図４（ａ），（ｂ）参照）として設定する（Ｓ３２）。
【００９７】
動小領域中心点・面積算出部３３（図２参照）では、動小領設定部３２で設定された動小領域毎に、動小領域の中心点Ｍｓｄ（図５参照）及び面積Ｓを算出する（Ｓ３３）。
【００９８】
動領域中心点算出部３４（図２参照）では、動小領域中心点・面積算出部３３で算出された動小領域の中心点Ｍｓｄ及び面積Ｓを用いて動領域の中心点Ｍｍｄ（図６参照）を算出する（Ｓ３４）。
【００９９】
相対動きベクトル平均値・分散算出部３５（図２参照）では、相対動きベクトル算出部１０で算出された相対動きベクトル情報から、動領域における相対動きベクトルの平均値Ａｖｅｉ（ｉ＝ｘ，ｙ）と、分散σｉ^２（ｉ＝ｘ，ｙ）とを算出する（Ｓ３５）。
【０１００】
切り出し領域座標算出部３６（図２参照）では、動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄと、相対動きベクトル平均値・分散算出部３５で算出された動領域における相対動きベクトルの平均値Ａｖｅｉと分散σｉ^２とを用いて、切り出し領域を設定するための座標（図７参照）を算出する（Ｓ３６）。
【０１０１】
そして、切り出し領域抽出部５０では、切り出し領域設定部３０から入力された切り出し領域情報に基づいて、撮影映像から切り出し領域を抽出して切り出し映像を生成する（Ｓ４）。
【０１０２】
以上のようにして、本発明に係る切り出し映像生成装置及び切り出し映像生成方法によれば、撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて一部の領域を抽出して切り出し映像を生成することができる。このようにして生成された切り出し映像は、被写体の分布情報に基づいて切り出し領域が設定されているので、映像内容は冗長にならない。また、本発明に係る切り出し映像生成装置及び切り出し映像生成方法では、切り出し領域をアスペクト比によって制約されることなくを設定することができる。
【０１０３】
以上、本発明の一実施の形態について説明したが、本発明はこれにのみ限定されるものではなく、本発明の技術的思想に基づく限りにおいて、種々の変形が可能である。
【０１０４】
例えば、切り出し映像生成装置１の各構成を各過程（ステップ）と見なした、切り出し映像生成方法と捉えることも可能である。この場合、切り出し映像生成方法は、切り出し映像生成装置と同様の効果が得られる。また、切り出し映像生成装置１の各構成を一般的なコンピュータ言語で記述したプログラム（切り出し映像生成プログラム）と見なすことも可能である。この場合も、切り出し映像生成プログラムは、切り出し映像生成装置１と同様の効果が得られる。
【０１０５】
また、本実施の形態では、切り出し領域設定部３０の切り出し領域座標算出部３６において、切り出し領域を設定するための座標を算出する際は、動領域の中心点Ｍｍｄと、動領域における相対動きベクトルの平均値Ａｖｅｉ及び分散σｉ^２とを用いてα、β、γ、δを算出しているが、動領域における相対動きベクトルの平均値Ａｖｅｉ及び分散σｉ^２の代わりに、動領域内の背景と隣接する小領域における相対動きベクトルの平均値Ａｖｅｓｊｉ（ｉ＝ｘ，ｙ）及び分散σｓｊｉ^２（ｉ＝ｘ，ｙ）を用いてα、β、γ、δを算出することもできる。なお、ｓｊは小領域の番号で、ｊ＝１〜ｍ×ｎとする。
【０１０６】
具体的には、動領域の水平方向における座標が小さい側において、背景と隣接する小領域同士で相対動きベクトルの平均値Ａｖｅｓｊｘを比較し、平均値Ａｖｅｓｊｘの最小値「Ｍｉｎ　Ａｖｅｓｊｘ」を求める。同様に、動領域の水平方向における座標が大きい側において、背景と隣接する小領域同士で相対動きベクトルの平均値Ａｖｅｓｊｘを比較し、平均値Ａｖｅｓｊｘの最大値「Ｍａｘ　Ａｖｅｓｊｘ」を求める。
【０１０７】
また、動領域の垂直方向における座標が小さい側において、背景と隣接する小領域同士で相対動きベクトルの平均値Ａｖｅｓｊｙを比較し、平均値Ａｖｅｓｊｙの最小値「Ｍｉｎ　Ａｖｅｓｊｙ」を求める。同様に、動領域の垂直方向における座標が大きい側において、背景と隣接する小領域同士で相対動きベクトルの平均値Ａｖｅｓｊｙを比較し、平均値Ａｖｅｓｊｙの最大値「Ｍａｘ　Ａｖｅｓｊｙ」を求める。
【０１０８】
そして、α、β、γ、δは、下記の式（２６）〜（３３）によって算出される。なお、下記の式（２６）〜（３３）において、ｆ（σｓｊｉ^２）は図８に示す関数によって求められる。また、定数ｐは１．０とする。
【０１０９】
α、βは、下記の式（２６）〜（２９）によって算出される。
【０１１０】
Ｘｍｉｄ≧（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ｍｉｎ　Ａｖｅｓｊｘ｜×ｆ（σｓｊｘ^２）……（２６）
β＝｜Ｍｉｎ　Ａｖｅｓｊｘ｜×ｆ（σｘ^２）＋ｐ×（Ｘｍｉｄ−Ｘｍｉｎ）／（Ｘｍａｘ−Ｘｍｉｄ）……（２７）
【０１１１】
Ｘｍｉｄ＜（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ｍｉｎ　Ａｖｅｓｊｘ｜×ｆ（σｓｊｘ^２）＋ｐ×（Ｘｍａｘ−Ｘｍｉｄ）／（Ｘｍｉｄ−Ｘｍｉｎ）……（２８）
β＝｜Ｍｉｎ　Ａｖｅｓｊｘ｜×ｆ（σｓｊｘ^２）……（２９）
【０１１２】
γ、δは、下記の式（３０）〜（３３）によって算出される。
【０１１３】
Ｙｍｉｄ≧（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ｍｉｎ　Ａｖｅｓｊｙ｜×ｆ（σｓｊｙ^２）……（３０）
δ＝｜Ｍｉｎ　Ａｖｅｓｊｙ｜×ｆ（σｓｊｙ^２）＋ｐ×（Ｙｍｉｄ−Ｙｍｉｎ）／（Ｙｍａｘ−Ｙｍｉｄ）……（３１）
【０１１４】
Ｙｍｉｄ＜（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ｍｉｎ　Ａｖｅｓｊｙ｜×ｆ（σｓｊｙ^２）＋ｐ×（Ｙｍａｘ−Ｙｍｉｄ）／（Ｙｍｉｄ−Ｙｍｉｎ）……（３２）
δ＝｜Ｍｉｎ　Ａｖｅｓｊｙ｜×ｆ（σｓｊｙ^２）……（３３）
【０１１５】
このようにα、β、γ、δを算出することで、本実施の形態と同様に、切り出し領域設定部３０の切り出し領域座標算出部３６において切り出し領域を設定することができる。
【０１１６】
【発明の効果】
請求項１、請求項４及び請求項７に記載の発明によれば、撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」に基づいて一部の領域を抽出して切り出し映像を生成することができる。したがって、切り出し領域をアスペクト比によって制約されることなく設定することができる。
【０１１７】
請求項２、請求項５及び請求項８に記載の発明によれば、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、被写体の分布情報に基づいて切り出し領域を設定することができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。また、切り出し領域をアスペクト比によって制約されることなく設定することができる。
【０１１８】
請求項３、請求項６及び請求項９に記載の発明によれば、被写体の動き情報である「動領域内における背景と隣接する小領域の相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、被写体の分布情報に基づいて切り出し領域を設定することができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。また、切り出し領域をアスペクト比によって制約されることなくを設定することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る映像生成装置１の構成を示すブロック図である。
【図２】切り出し映像生成装置１における切り出し領域設定部３０の構成を示すブロック図である。
【図３】本発明における切り出し領域の設定方法を説明するための図である。
【図４】動小領域を設定する方法を説明するための図であり、（ａ）は一例を示し、（ｂ）は他の例を示す。
【図５】図４（ａ）で設定された動小領域の中心点及び面積を算出する方法を説明するための図である。
【図６】動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄの一例を示す図である。
【図７】撮影映像における切り出し領域を示す図である。
【図８】切り出し領域を設定するための座標を算出する際に用いる関数を示す図である。
【図９】切り出し映像生成装置１の動作を示すフローチャートである。
【図１０】従来の切り出し領域の設定方法における動領域の設定方法を説明するための図である。
【図１１】従来の切り出し領域の設定方法における切り出し領域の設定方法を説明するための図である。
【図１２】動領域における被写体の分布を示す図であり、（ａ）は動領域における被写体の分布が均等な場合を示し、（ｂ）は動領域における被写体の分布が不均等な場合を示す。
【図１３】動領域における被写体の分布が不均等な場合の切り出し領域を示す図である。
【符号の説明】
１　　切り出し映像生成装置
１０　相対動きベクトル算出部
２０　動領域設定部
３０　切り出し領域設定部
３１　小領域作成部
３２　動小領設定部
３３　動小領域中心点・面積算出部
３４　動領域中心点算出部
３５　相対動きベクトル平均値・分散算出部
３６　切り出し領域座標算出部
４０　信号遅延部
５０　切り出し領域抽出部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a cut-out video generation device, a cut-out video generation method, and a cut-out video generation program that extract a partial area from a captured video to generate a cut-out video.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there is known a technology of automatically controlling a plurality of other cameras or switching video outputs from a plurality of cameras to a main line based on video content captured by one television camera (for example, Patent Document 1).
[0003]
[Non-patent document 1]
Iguchi et al. "Sports Video Shooting System with Active Camera Cooperation" IEICE Technical Report on Image Engineering, pp. 37-44, July 2000
[0004]
Conventionally, there has been known a method of cutting out a part of an image from a captured image to generate a “cutout image”. As a conventional technique of this kind, the present applicant has disclosed in Japanese Patent Application No. 2001-362908 a method of extracting a partial area from a captured video (hereinafter, referred to as a “photographed video”) to generate a clipped video. A generator has been proposed. This video generation device is configured to generate a cutout video by setting an area for extracting a video from a shot video (hereinafter, referred to as a “cutout area”) based on motion information of a subject.
[0005]
Hereinafter, a method of setting a cutout region in the video generation device of Japanese Patent Application No. 2001-362908 will be described with reference to FIGS. 10 and 11. In the drawings to be referred to, FIG. 10 is a diagram for explaining a method of setting a moving area in a conventional method of setting a cut-out area. FIG. 11 is a diagram for explaining a method for setting a cutout area in a conventional method for setting a cutout area.
[0006]
When setting the cut-out area, first, the captured video is separated into a “background video” and a “video other than the background (hereinafter,“ subject video ”)”. Next, the captured video is divided into rectangular areas of m × n pixels (m and n are positive constants) in the horizontal and vertical directions to create macroblocks, and “movement vectors of the subject” for each macroblock and “ And the motion vector of the background image. " Then, a “relative motion vector” which is a difference vector between the motion vector of the subject video and the motion vector of the background video is calculated for each macroblock.
[0007]
Next, a macroblock in which the magnitude of the relative motion vector exceeds a predetermined threshold is determined as a “moving macroblock”, and a rectangular area including the moving macroblock is set as a “moving area”. As shown in FIG. 10, the moving area includes coordinates A (Xmin, Ymin) at which the horizontal and vertical coordinates of the moving macroblocks constituting the moving area are minimum, and coordinates B (Xmax, Ymax) at which the coordinates are maximum. Is set as a rectangular area surrounded by.
[0008]
Then, as shown in FIG. 11, an area having a horizontal width α in the horizontal direction of the moving area is symmetrically added, and an area having a vertical height β in the vertical direction of the moving area is vertically symmetrical. Set the “cutout area” by adding. The cutout area includes a coordinate C (X'min, Y'min) at which the horizontal and vertical coordinates of the macroblocks constituting the cutout area are the minimum, a coordinate D (X'max, Y'max) at the maximum, and Is set as a rectangular area surrounded by. Note that X′min = Xmin−α, Y′min = Ymin−β, X′max = Xmax + α, and Y′max = Ymax + β. Further, α and β are determined based on the average value and variance of the relative motion vector in the moving area, which is the motion information of the subject, and the aspect ratio when displaying the cut-out video.
[0009]
[Problems to be solved by the invention]
However, in the method of setting the cutout region in the video generation device, “distribution information of the subject” that is information indicating how the subject is distributed in the moving region is not considered. That is, no distinction is made between a case where the distribution of subjects in the moving area is uniform (see FIG. 12A) and a case where the distribution of subjects is uneven (see FIG. 12B). Therefore, when the distribution of the subjects in the moving region is not uniform (see FIG. 12B), as shown in FIG. 13, the cutout region is a region where many subjects are distributed in the video. Since many areas deviated from "areas" (portions surrounded by broken lines in the figure) are included, there is a problem that the video content of the cut-out video becomes redundant.
[0010]
In the above-described method of setting the cutout area, when setting the cutout area, an aspect ratio when displaying the cutout video is necessary.If the aspect ratio is unknown, the cutout area may be set. There was a problem that could not be done.
[0011]
Therefore, the present invention provides a clipped image which can prevent the video content of the generated clipped image from being redundant, and can set a clipped area even when the aspect ratio when displaying the clipped video is unknown. It is an object of the present invention to provide a generation device, a cutout video generation method, and a cutout video generation program.
[0012]
[Means for Solving the Problems]
The present invention is configured as described below to achieve the above object.
The clipped image generation device according to claim 1, wherein the cutout image generation device is configured to extract a partial region from a captured captured image to generate a cutout image, wherein the captured image is a background image and other than the background image. The motion vector of the subject video and the motion of the background video are divided into macroblocks created by dividing the captured video into rectangular regions having a predetermined number of pixels in the horizontal and vertical directions. A relative motion vector calculation unit that calculates a relative motion vector that is a difference vector from a vector, and a region that includes a moving macroblock that is a macroblock whose magnitude of the relative motion vector exceeds a predetermined threshold. A moving region setting unit configured to set a moving region; and extracting from the captured video based on an average value and a variance of the relative motion vector in the moving region. A cutout region setting unit that sets a clip region that, characterized in that it is constituted by a cutout region extracting unit for generating a video cut by extracting the cutout region from the captured image.
[0013]
According to the clipped video generation device of the first aspect, the relative motion vector calculation unit firstly converts the captured “photographed video” into a “background video” and a “subject video” other than the background video. To separate. Next, the captured video is divided into rectangular regions of a predetermined number of pixels in the horizontal and vertical directions to create macroblocks, and a “motion vector of the subject” and a “motion vector of the background video” are calculated for each macroblock. I do. Then, a relative motion vector that is a difference vector between the motion vector of the subject video and the motion vector of the background video can be calculated for each macroblock.
The moving region setting unit sets a region including a moving macro block, which is a macro block whose magnitude of the relative motion vector calculated by the relative motion vector calculating unit exceeds a predetermined threshold, as a moving region. can do.
Further, the cutout region setting unit calculates an average value and a variance of relative motion vectors in the moving region set by the moving region setting unit, and sets a cutout region to be extracted from the captured video based on the calculation result. it can.
Then, the cut-out area extracting unit can extract the cut-out area set by the cut-out area setting unit from the captured video to generate a “cut-out video”.
[0014]
As described above, according to the clipped image generation device of the first aspect, based on the “moving area average value and variance of relative motion vectors” that are motion information of a subject, a partial area is obtained from the captured video. Can be extracted to generate a clipped image. Therefore, even when the aspect ratio at the time of displaying the cutout video is unknown, the cutout area can be set.
[0015]
According to a second aspect of the present invention, there is provided the cutout image generating apparatus according to the first aspect, wherein the cutout area setting unit divides the moving area in the horizontal and vertical directions to create a small area. A small area creating unit, a moving small area setting unit that sets an area including the moving macroblock for each of the small areas as a moving small area, a center point and an area of the moving small area for each of the moving small areas A moving area center point / area calculating unit for calculating the moving area, a moving area center point calculating unit for calculating the moving area center point using the center point and the area of the moving small area, and the relative movement in the moving area. A relative motion vector average / variance calculation unit for calculating an average value and a variance of a vector, a center point of the moving area, and the average value and the variance of the relative motion vector in the moving area, and Set Characterized in that it is constituted by a cutout region coordinate calculating unit for calculating the coordinates for.
[0016]
According to the cutout image generation device of the second aspect, the cutout region setting unit operates as follows.
The small area creating unit can create a small area by dividing the moving area set by the moving area setting unit in the horizontal and vertical directions. Further, the moving small area setting unit can set, as a moving small area, an area including a moving macroblock for each small area created by the small area creating unit.
The moving small area center point / area calculating unit can calculate the center point and the area of the moving small area for each moving small area set by the moving small area setting unit. In addition, the moving area center point calculation unit can calculate the center point of the moving area using the center point and area of the moving small area calculated by the moving small area center point / area calculation unit.
Then, the relative motion vector average / variance calculation unit can calculate the average value and the variance of the relative motion vector in the moving region from the relative motion vector of each macroblock calculated by the relative motion vector calculation unit. Further, the cut-out area coordinate calculating unit calculates the center value of the moving area calculated by the moving area center point calculating unit and the average value and variance of the relative motion vector in the moving area calculated by the relative motion vector average / variance calculating unit. The coordinates for setting the cutout area can be calculated using
[0017]
As described above, according to the clipped image generation device of the second aspect, “the average value and the variance of the relative motion vector in the moving area” that is the motion information of the subject and “the moving area that is the distribution information of the subject” Can be set based on the “center point of”. Therefore, even when the distribution of the subjects in the moving region is not uniform, it is possible to set the cut-out region around the “attention region”, which is a region where many subjects are distributed. As a result, it is possible to reduce the area of the cut-out area that deviates from the attention area as compared with the conventional cut-out area setting method, so that it is possible to prevent the video content of the generated cut-out video from becoming redundant.
[0018]
The cut-out image generation device according to claim 3, wherein the cut-out region setting unit is configured to divide the moving region in the horizontal and vertical directions to create a small region. A creating unit, a moving small region setting unit that sets a region including the moving macro block for each of the small regions as a moving small region, and calculating a center point and an area of the moving small region for each of the moving small regions A moving area center point / area calculating unit, a moving area center point calculating unit that calculates a center point of the moving area using the center point and area of the moving small area, and a small area adjacent to the background in the moving area. A relative motion vector average / variance calculation unit for calculating an average value and a variance of the relative motion vector of the region, a center point of the moving region, and an average of the relative motion vectors of a small region adjacent to a background in the moving region Value and minutes With bets, characterized in that it is constituted by a cutout region coordinate calculating unit for calculating the coordinates for setting the cut-out region.
[0019]
According to the cut-out image generation device of the third aspect, the cut-out area setting unit operates as follows.
The small area creating unit can create a small area by dividing the moving area set by the moving area setting unit in the horizontal and vertical directions. Further, the moving small area setting unit can set, as a moving small area, an area including a moving macroblock for each small area created by the small area creating unit.
The moving small area center point / area calculating unit can calculate the center point and the area of the moving small area for each moving small area set by the moving small area setting unit. In addition, the moving area center point calculation unit can calculate the center point of the moving area using the center point and area of the moving small area calculated by the moving small area center point / area calculation unit.
Then, the relative motion vector average value / variance calculation unit calculates the average value and the variance of the relative motion vector of the small area adjacent to the background in the moving area from the relative motion vector of each macroblock calculated by the relative motion vector calculation unit. Can be calculated. Also, the cut-out area coordinate calculation unit calculates a relative point between the center of the motion area calculated by the motion area center point calculation unit and the small area adjacent to the background in the motion area calculated by the relative motion vector average / variance calculation unit. Using the average value and the variance of the motion vectors, the coordinates for setting the cutout area can be calculated.
[0020]
As described above, according to the clipped image generation device of the third aspect, the motion information of the subject “the average value and the variance of the relative motion vector of the small area adjacent to the background in the moving area” The cutout area can be set based on the distribution information “the center point of the moving area”. Therefore, even when the distribution of the subjects in the moving region is not uniform, it is possible to set the cut-out region around the “attention region”, which is a region where many subjects are distributed. As a result, it is possible to reduce the area of the cut-out area that deviates from the attention area as compared with the conventional cut-out area setting method, so that it is possible to prevent the video content of the generated cut-out video from becoming redundant.
[0021]
5. The clipped video generation method according to claim 4, wherein the clipped video is generated by extracting a partial area from a captured video and generating a clipped video, wherein the captured video is a background video and a video other than the background video. The motion vector of the subject video and the motion of the background video are divided into macroblocks created by dividing the captured video into rectangular regions having a predetermined number of pixels in the horizontal and vertical directions. A relative motion vector calculating step of calculating a relative motion vector that is a difference vector with respect to a vector, and a region including a moving macroblock that is a macroblock whose magnitude of the relative motion vector exceeds a predetermined threshold. A moving region setting step of setting the moving region as a moving region, and the imaging based on an average value and a variance of the relative motion vector in the moving region. Characterized in that it comprises a cut-out region setting step of setting a clipping region to be extracted from the image, and a cutout region extraction step of generating an image cut by extracting the cutout region from the captured image.
[0022]
According to the clipped image generation method of the fourth aspect, first, in the relative motion vector calculation step, the captured “photographed video” is defined as “background video” and “subject video” other than the background video. And a relative motion vector which is a difference vector between a motion vector of the subject video and a motion vector of the background video for each macroblock created by dividing the captured video into rectangular regions having a predetermined number of pixels in the horizontal and vertical directions. Is calculated.
Subsequently, in the moving region setting step, a region including a moving macroblock in which the magnitude of the relative motion vector calculated in the relative motion vector calculating step exceeds a predetermined threshold is defined as a moving region. Set.
Next, in the cutout region setting step, the average value and the variance of the relative motion vector in the moving region set in the moving region setting step are calculated, and the cutout region to be extracted from the captured video is set in the calculation result.
Then, in the cutout region extracting step, the cutout region set in the cutout region setting step is extracted from the captured video to generate a “cutout video”.
[0023]
As described above, according to the clipped image generation method of the fourth aspect, based on the “average and variance of the relative motion vector in the moving area” which is the motion information of the subject, the partial area is obtained from the captured image. Can be extracted to generate a clipped image. Therefore, even when the aspect ratio at the time of displaying the cutout video is unknown, the cutout area can be set.
[0024]
In the clipped image generation method according to a fifth aspect, in the clipped image generation method according to the fourth aspect, the cutout area setting step divides the moving area in the horizontal and vertical directions to create a small area. A small area creating step, a moving small area setting step of setting an area including the moving macro block for each small area as a moving small area, a center point and an area of the moving small area for each moving small area Calculating the center point and area of the moving small area, calculating the center point of the moving area using the center point and the area of the moving small area, and calculating the relative point in the moving area. A relative motion vector average / variance calculation step of calculating an average value and a variance of a vector, a center point of the moving area, and an average value and a variance of a relative motion vector in the moving area. There are, characterized in that it comprises a cut-out area coordinate calculation step of calculating coordinates for setting the cut-out region.
[0025]
According to the clipped image generation method of the fifth aspect, in the clipped region setting unit step, the processing proceeds as follows.
First, in the small area creating step, the moving area set in the moving area setting step is divided in the horizontal and vertical directions to create a small area. In the subsequent moving small area setting step, an area including a moving macro block is set as a moving small area for each small area created in the small area creating step.
Subsequently, in the moving small area center point / area calculating step, the center point and the area of the moving small area are calculated for each moving small area set in the moving small area setting step. Then, in the moving area center point calculation step, the center point of the moving area is calculated using the center point and area of the moving small area calculated in the moving small area center point / area calculation step.
Next, in the relative motion vector average value / variance calculation step, the average value and the variance of the relative motion vector in the moving area are calculated from the relative motion vector of each macroblock calculated in the relative motion vector calculation step. Then, in the following cutout area coordinate calculation step, the center point of the moving area calculated in the moving area center point calculation step and the average value of the relative motion vector in the moving area calculated in the relative motion vector average / variance calculation step And the variance are used to calculate coordinates for setting the cutout area.
[0026]
As described above, according to the clipped image generation method of the fifth aspect, “the average value and the variance of the relative motion vector in the moving area” as the motion information of the subject and “the moving area as the distribution information of the subject” Can be set based on the “center point of”. Therefore, even when the distribution of the subjects in the moving region is not uniform, it is possible to set the cut-out region around the “attention region”, which is a region where many subjects are distributed. As a result, it is possible to reduce the area of the cut-out area that deviates from the attention area as compared with the conventional cut-out area setting method, so that it is possible to prevent the video content of the generated cut-out video from becoming redundant.
[0027]
7. The cutout image generation method according to claim 6, wherein in the cutout image generation method according to claim 4, the cutout area setting step includes dividing the moving area in the horizontal and vertical directions to create a small area. A creating step, a moving small area setting step of setting a region including the moving macro block for each of the small areas as a moving small area, and calculating a center point and an area of the moving small area for each of the moving small areas Moving small area center point / area calculating step, a moving area center point calculating step of calculating a center point of the moving area using the center point and area of the moving small area, and a small area adjacent to the background in the moving area. Calculating a mean value and a variance of the relative motion vector of the region, calculating a mean value and a variance of the relative motion vector; a central point of the moving region; By using the mean value and variance of the relative motion vector, characterized in that it comprises a cut-out area coordinate calculation step of calculating coordinates for setting the cut-out region.
[0028]
According to the clipped image generation method of the sixth aspect, the processing proceeds as follows in the clipped region setting unit step.
First, in the small area creating step, the moving area set in the moving area setting step is divided in the horizontal and vertical directions to create a small area. In the subsequent moving small area setting step, an area including a moving macro block is set as a moving small area for each small area created in the small area creating step.
Subsequently, in the moving small area center point / area calculating step, the center point and the area of the moving small area are calculated for each moving small area set in the moving small area setting step. Then, in the moving area center point calculation step, the center point of the moving area is calculated using the center point and area of the moving small area calculated in the moving small area center point / area calculation step.
Next, in the relative motion vector average value / variance calculating step, the average value and the variance of the relative motion vector of the small area adjacent to the background in the moving area are calculated from the relative motion vector of each macroblock calculated in the relative motion vector calculating step. Is calculated. Then, in the following cutout area coordinate calculation step, the center point of the motion area calculated in the motion area center point calculation step and the small area adjacent to the background in the motion area calculated in the relative motion vector average / variance calculation step Using the average value and the variance of the relative motion vector, the coordinates for setting the cutout area are calculated.
[0029]
As described above, according to the clipped image generation method according to the sixth aspect, “the average value and the variance of the relative motion vector of the small area adjacent to the background in the moving area”, which is the motion information of the subject, The cutout area can be set based on the distribution information “the center point of the moving area”. Therefore, even when the distribution of the subjects in the moving region is not uniform, it is possible to set the cut-out region around the “attention region”, which is a region where many subjects are distributed. As a result, it is possible to reduce the area of the cut-out area that deviates from the attention area as compared with the conventional cut-out area setting method, so that it is possible to prevent the video content of the generated cut-out video from becoming redundant.
[0030]
According to a seventh aspect of the present invention, there is provided a cut-out video generation program that causes a device that extracts a partial area from a shot video to generate a cut-out video to function as the following means. Means for causing the device to function, the captured video is separated into a background video and a subject video that is a video other than the background video, and the captured video is divided into a rectangular area having a predetermined number of pixels in the horizontal and vertical directions. For each created macroblock, relative motion vector calculation means for calculating a relative motion vector that is a difference vector between the motion vector of the subject video and the motion vector of the background video, and the magnitude of the relative motion vector is predetermined. Moving region setting means for setting a region including a moving macroblock which is a macroblock exceeding a threshold value as a moving region; extracting from the photographed video based on an average value and a variance of the relative motion vectors in the moving region. A cutout area setting unit that sets a cutout area to be extracted, and extracts the cutout area from the captured video and A cutout region extraction means for forming.
[0031]
According to the clipped video generation program of the present invention, the relative motion vector calculating means firstly converts the captured “photographed video” into a “background video” and a “subject video” other than the background video. To separate. Next, the captured video is divided into rectangular regions of a predetermined number of pixels in the horizontal and vertical directions to create macroblocks, and a “motion vector of the subject” and a “motion vector of the background video” are calculated for each macroblock. I do. Then, a relative motion vector, which is a difference vector between the motion vector of the subject video and the motion vector of the background video, is calculated for each macroblock.
Further, the moving area setting means includes a moving macro block in which the magnitude of the relative motion vector calculated by the relative motion vector calculating section calculated by the relative motion vector calculating means exceeds a predetermined threshold. The configured region is set as a moving region.
The cutout area setting means calculates an average value and a variance of relative motion vectors in the moving area set by the moving area setting means, and sets a cutout area to be extracted from the captured video based on the calculation result.
Then, the cut-out area extracting means extracts the cut-out area set by the cut-out area setting means from the photographed video to generate a “cut-out video”.
[0032]
As described above, according to the clipped image generation program of the seventh aspect, based on the “moving area average value and variance of relative motion vectors”, which is motion information of the subject, a partial area is obtained from the captured video. Can be extracted to generate a clipped image. Therefore, even when the aspect ratio at the time of displaying the cutout video is unknown, the cutout area can be set.
[0033]
A cut-out image generation program according to claim 8, wherein the cut-out area setting means is configured to divide the moving area in the horizontal and vertical directions to create a small area. Creating means, moving small area setting means for setting an area including the moving macroblock for each of the small areas as a moving small area, calculating a center point and an area of the moving small area for each of the moving small areas Moving area center point / area calculating means, moving area center point calculating means for calculating the center point of the moving area using the center point and area of the moving small area, and calculating the relative motion vector of the moving area in the moving area. The relative motion vector average / variance calculating means for calculating an average value and a variance, a center point of the moving area, and the average value and the variance of the relative motion vector in the moving area are used for the cutoff. Characterized in that it comprises a cut-out area coordinate calculation means for calculating coordinates for setting the area out.
[0034]
According to the clipping image generation program of the eighth aspect, the clipping region setting means functions as follows.
The small area creating means creates a small area by dividing the moving area set by the moving area setting means in the horizontal and vertical directions. The moving small area setting means sets, as a moving small area, an area including a moving macroblock for each small area created by the small area creating means.
The moving small area center point / area calculating means calculates the center point and the area of the moving small area for each moving small area set by the moving small area setting means. The moving area center point calculating means calculates the moving area center point using the moving small area center point and area calculated by the moving small area center point / area calculating means.
Then, the relative motion vector average / variance calculating means calculates the average value and the variance of the relative motion vector in the moving area from the relative motion vector of each macro block calculated by the relative motion vector calculating means. Also, the cut-out area coordinate calculating means calculates the center value of the moving area calculated by the moving area center point calculating means and the average value and the variance of the relative motion vector in the moving area calculated by the relative motion vector average / variance calculating means. Are used to calculate coordinates for setting the cut-out area.
[0035]
As described above, according to the clipped image generation program according to the eighth aspect, “the average value and the variance of the relative motion vector in the moving area” that is the motion information of the subject and “the moving area that is the distribution information of the subject” Can be set based on the “center point of”. Therefore, even when the distribution of the subjects in the moving region is not uniform, it is possible to set the cut-out region around the “attention region”, which is a region where many subjects are distributed. As a result, it is possible to reduce the area of the cut-out area that deviates from the attention area as compared with the conventional cut-out area setting method, so that it is possible to prevent the video content of the generated cut-out video from becoming redundant.
[0036]
The cut-out image generation program according to claim 9, wherein the cut-out area setting means is configured to divide the moving area in the horizontal and vertical directions to create a small area. Creating means, moving small area setting means for setting an area including the moving macroblock for each of the small areas as a moving small area, calculating a center point and an area of the moving small area for each of the moving small areas Moving area center point / area calculating means, moving area center point calculating means for calculating the center point of the moving area using the center point and area of the moving small area, and a small area adjacent to the background in the moving area. A relative motion vector average value / variance calculation means for calculating an average value and a variance of the relative motion vector of the region, a center point of the moving region, and an average value of the relative motion vector in the moving region and Using distributed bets, characterized in that it comprises a cut-out area coordinate calculation means for calculating coordinates for setting the cut-out region.
[0037]
According to the cutout image generation program of the ninth aspect, the cutout area setting means functions as follows.
The small area creating means creates a small area by dividing the moving area set by the moving area setting means in the horizontal and vertical directions. The moving small area setting means sets, as a moving small area, an area including a moving macroblock for each small area created by the small area creating means.
The moving small area center point / area calculating means calculates the center point and the area of the moving small area for each moving small area set by the moving small area setting means. The moving area center point calculating means calculates the moving area center point using the moving small area center point and area calculated by the moving small area center point / area calculating means.
The relative motion vector average value / variance calculation means calculates the average value and the variance of the relative motion vector of the small area adjacent to the background in the moving area from the relative motion vector of each macroblock calculated by the relative motion vector calculation means. calculate. Further, the cut-out area coordinate calculating means calculates a relative point between the center of the moving area calculated by the moving area center point calculating means and the small area adjacent to the background in the moving area calculated by the relative motion vector average / variance calculating means. Using the average value and the variance of the motion vectors, the coordinates for setting the cutout area are calculated.
[0038]
As described above, according to the clipped image generation program according to the ninth aspect, “the average value and the variance of the small area adjacent to the background in the moving area”, which is the motion information of the subject, and the distribution information of the subject. The cut-out area can be set based on “the center point of the moving area”. Therefore, even when the distribution of the subjects in the moving region is not uniform, it is possible to set the cut-out region around the “attention region”, which is a region where many subjects are distributed. As a result, it is possible to reduce the area of the cut-out area that deviates from the attention area as compared with the conventional cut-out area setting method, so that it is possible to prevent the video content of the generated cut-out video from becoming redundant.
[0039]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings as appropriate. Note that the cut-out video generation device, the cut-out video generation method, and the cut-out video generation program according to the present invention are configured such that, based on the shot video, the `` average and variance of relative motion vectors in a moving area '' which is motion information of a subject; A part of the region is extracted based on the “central point of the moving region” which is the distribution information of the subject, and a cut-out image is generated.
[0040]
First, the outline of the “method of setting a cutout area” in the present invention will be briefly described. FIG. 3 is a diagram for explaining a method of setting a cut-out area according to the present invention. In the method of setting the cutout area according to the present invention, a “macroblock” created by dividing a captured image into rectangular areas of m × n pixels (m and n are positive constants) in the horizontal and vertical directions is a minimum unit. Treat as
[0041]
The method of setting the cut-out area according to the present invention will be described with reference to FIG. 3. First, each macroblock is divided into a “moving macroblock” and a “static macroblock” according to the magnitude of the relative motion vector, A rectangular area including a macro block is set as a “moving area”. Next, the moving area is divided into a predetermined number in the horizontal and vertical directions to create a “small area”, and for each small area, a rectangular area including a moving macroblock is set as a “moving small area”. I do. Then, a “center point of the moving area” is obtained based on “the center point and the area of each moving small area”, and “the average value and the variance of the relative motion vector in the moving area” is calculated using the center point of the moving area and Set the clipping area.
[0042]
(Configuration of cutout video generation device 1)
First, the configuration of the cut-out video generation device 1 will be described mainly with reference to FIG. In the drawings to be referred to, FIG. 1 is a block diagram showing a configuration of a cut-out video generation device 1.
[0043]
As shown in FIG. 1, the cut-out video generation device 1 includes a relative motion vector calculation unit 10, a moving region setting unit 20, a cut-out region setting unit 30, a signal delay unit 40, and a cut-out region extraction unit 50. The captured video (input video signal) input to the cut-out video generation device 1 is branched into two and input to the relative motion vector calculation unit 10 and the signal delay unit 40. Hereinafter, each unit of the cut-out video generation device 1 will be described in detail.
[0044]
The relative motion vector calculation unit 10 divides the captured video into a background video and a subject video, which is a video other than the background video, and divides the captured video horizontally and vertically into rectangular regions each having a predetermined number of pixels. A relative motion vector, which is a difference vector between the motion vector of the subject video and the motion vector of the background video, is calculated for each macroblock.
[0045]
More specifically, the relative motion vector calculation unit 10 first separates the captured video into a background video and a subject video for each frame. Also, a macroblock is created by dividing the captured image into rectangular areas of m × n pixels (m and n are positive constants) in the horizontal and vertical directions. Then, a motion vector of the subject is calculated for each macro block. The motion vector represents the magnitude of the motion of the subject in a vector amount, and can be calculated by applying a block matching method between frames, for example.
[0046]
Next, the relative motion vector calculation unit 10 calculates a motion vector of the background image. The motion vector of the background video is described in, for example, a document (“Global motion compensation method in video coding” IEICE Transactions BI, Vol. J76-BI, No. 12, p. 994-952, And the literature ("A High-Precision Camera Operational Parameter Measurement System and Its Application to Imagery Promotion Information Education, Information Technology. pp. 46-55, March 2001, Jung Wen-Tao et al.).
[0047]
Then, the relative motion vector calculation unit 10 calculates, for each macroblock, a relative motion vector that is a difference vector between the motion vector of the subject and the motion vector of the background video. When the camera is stationary, the magnitude of the motion vector of the background video is constant, so that the motion vector of the subject becomes the relative motion vector as it is. The relative motion vector of each macroblock calculated by the relative motion vector calculation unit 10 is input to the moving region setting unit 20 and the cutout region setting unit 30 as relative motion vector information.
[0048]
The moving area setting unit 20 sets a moving area based on the relative motion vector of each macroblock calculated by the relative motion vector calculating unit 10.
[0049]
The method of setting a moving area will be described in detail. First, a macroblock in which the magnitude of a relative motion vector exceeds a predetermined threshold is determined as a “moving macroblock”, and a rectangular area including the moving macroblock is determined. Is set as the moving area. Note that macroblocks other than moving macroblocks are determined to be “static macroblocks”.
[0050]
Then, as shown in FIG. 11, the coordinates A (Xmin, Ymin) at which the horizontal and vertical coordinates of the moving macroblocks constituting the moving area are minimum and the coordinates B (Xmax, Ymax) at which the coordinates are maximum are detected. , A rectangular area surrounded by coordinates A and B is set as a moving area. The moving region set by the moving region setting unit 20 is input to the cutout region setting unit 30 as moving region information.
[0051]
The cutout area setting unit 30 sets a cutout area to be extracted from a captured video based on the average and variance of relative motion vectors in the moving area. FIG. 2 is a block diagram illustrating a configuration of the cutout region setting unit 30 in the cutout video generation device 1.
[0052]
As shown in FIGS. 1 and 2, the cutout region setting unit 30 includes a small region creating unit 31, a moving region setting unit 32, a moving small region center point / area calculating unit 33, a moving region center point calculating unit 34, It is configured to include a motion vector average value / variance calculation unit 35 and a cutout area coordinate calculation unit 36. The relative motion vector information calculated by the relative motion vector calculation unit 10 is input to the moving area setting unit 32 and the relative motion vector average value / variance calculation unit 35. The moving area information set by the moving area setting unit 20 is input to the small area creating unit 31 and the relative motion vector average / variance calculating unit 35.
[0053]
The small area creating unit 31 creates a small area by dividing the moving area set by the moving area setting unit 20 in the horizontal and vertical directions. In the example of FIG. 3, the moving area is divided into two in the horizontal direction and the dividing direction, and four small areas are created.
[0054]
Note that the number of divided moving regions is determined by the number of pixels in the moving region. For example, when the number of pixels in the horizontal and vertical directions of the moving area is 256 pixels or more, respectively, it is divided into two in the horizontal and vertical directions, and when it is more than 256 pixels, it is divided into three in the horizontal and vertical directions, and when it is 512 pixels or more. It is good to determine in advance such that it is divided into four in the horizontal and vertical directions.
[0055]
In the present embodiment, each small area is configured with a macroblock created by the relative motion vector calculation unit 10 as a minimum unit. As described above, by configuring each small area with the macroblock created by the relative motion vector calculation unit 10 as a minimum unit, it is possible to save the trouble of determining the moving macroblock in the moving area setting unit 32.
[0056]
The moving area setting unit 32 sets a rectangular area including a moving macroblock as a moving small area for each small area created by the small area creating unit 31. FIGS. 4A and 4B are diagrams for explaining a method of setting a moving small area, where FIG. 4A shows an example and FIG. 4B shows another example. In the example of FIGS. 4A and 4B, the small area is composed of 16 macro blocks MB1 to MB16.
[0057]
In the example of FIG. 4A, of the macroblocks MB1 to MB16 forming the small area, the macroblocks MB1, MB2, MB3, MB5, MB6, MB9, and MB10 are moving macroblocks, and the other macroblocks MB1 to MB16. Is a static macroblock. Then, a rectangular area obtained by adding the static macroblocks MB7 and MB11 to the moving macroblocks MB1, MB2, MB3, MB5, MB6, MB9, and MB10 becomes a moving small area.
[0058]
In the example of FIG. 4B, among the macroblocks MB1 to MB16 forming the small area, the macroblocks MB1, MB2, MB3, MB4, MB7, MB8, MB9, MB10 are moving macroblocks, and the other. Is a static macroblock. Then, a rectangular area obtained by adding the static macroblocks MB5, MB6, MB11, and MB12 to the moving macroblocks MB1, MB2, MB3, MB4, MB7, MB8, MB9, and MB10 becomes the moving small area.
[0059]
The moving small area center point / area calculating unit 33 calculates the center point and the area of the moving small area for each moving small area set by the moving small area setting unit 32. FIG. 5 is a diagram for explaining a method of calculating the center point and the area of the moving small region set in FIG. Here, it is assumed that the small area shown in FIG. 4A corresponds to the small area SD1.
[0060]
When obtaining the center point Msd of the moving small area, as shown in FIG. 5, the coordinates a (xmin, ymin) at which the horizontal and vertical coordinates of the macroblocks MB constituting the moving small area are the minimum and the maximum at the maximum. A certain coordinate b (xmax, ymax) is detected. Then, the center point between the coordinates a and b ((xmin + xmax) / 2, (ymin + ymax) / 2) is the center point Msd of the moving small area.
[0061]
The area S of the moving small area is the number of moving macro blocks included in the moving small area. In the example of FIG. 4A, since the moving small area includes seven moving macroblocks, the area S of the moving small area is “7”. Also, in the example of FIG. 4B, since the moving small area includes eight moving macroblocks, the area S of the moving small area is “8”.
[0062]
The moving area center point calculation unit 34 calculates the center point Mmd of the moving area using the center point Msd and the area S of the moving small area calculated by the moving small area center point / area calculation unit 33. The center point Mmd (Xmid, Ymid) of the moving area is calculated by the following equation (1).
[0063]
(Equation 1)

[0064]
FIG. 6 is a diagram illustrating an example of the center point Mmd of the moving area calculated by the moving area center point calculation unit 34. As shown in FIG. 6, the position of the center point Mmd of the moving region calculated by the moving region center point calculating unit 34 is the position of the center M ((Xmin + Xmax) / 2, (Ymin + Ymax) / 2) of the original moving region. Is different from
[0065]
The relative motion vector average value / variance calculation unit 35 calculates the average value Avei (i = x, y) of the relative motion vector in the moving area and the variance σi from the relative motion vector information calculated by the relative motion vector calculation unit 10. ² (I = x, y) is calculated.
[0066]
Then, the cut-out area coordinate calculation unit 36 calculates the center point Mmd of the motion area calculated by the motion area center point calculation unit 34 and the relative motion vector in the motion area calculated by the relative motion vector average / variance calculation unit 35. Mean Avei and variance σi ² Are used to calculate coordinates for setting the cut-out area. FIG. 7 is a diagram for explaining a method of setting a cutout area.
[0067]
As shown in FIG. 7, a region having a horizontal width of α in the horizontal direction of the moving region and a region having a horizontal width of β in the horizontal direction are added, and the vertical height of the moving region in the vertical direction is γ. A cutout region is set by adding a region whose height in the vertical direction to the region is δ. It should be noted that a region having a horizontal width of α is added to a side having a smaller coordinate in the horizontal direction, and a region having a horizontal width of β is added to a side having a larger coordinate in the horizontal direction. Further, an area having a vertical height of γ is added to a side having a smaller vertical coordinate, and an area having a vertical height of δ is added to a side having a larger vertical coordinate.
[0068]
This cutout area has coordinates C (X'min, Y'min) at which the horizontal and vertical coordinates of the macroblocks constituting the cutout area are minimum, and coordinates D (X'max, Y'max) which are maximum. Is set as a rectangular area surrounded by. Note that X'min is Xmin-α, X'max is Xmax + β, Y'min is Ymin-γ, and Y'max is Ymax + δ.
[0069]
α, β, γ, and δ are the average of the center point Mmd of the moving area calculated by the moving area center point calculating unit 34 and the average of the relative motion vector in the moving area calculated by the relative motion vector average / variance calculating unit 35. Value Avei and variance σi ² Is calculated using Specifically, it is calculated by the following equations (2) to (5). In the following equations (2) to (9), f (σi ² ) Is obtained by the function shown in FIG. The constant p is a positive number.
[0070]
α and β are calculated by the following equations (2) to (5).
[0071]
When Xmid ≧ (Xmin + Xmax) / 2
α = | Avex | × f (σx ² ) ... (2)
β = | Avex | × f (σx ² ) + P × (Xmid−Xmin) / (Xmax−Xmid) (3)
[0072]
When Xmid <(Xmin + Xmax) / 2
α = | Avex | × f (σx ² ) + P × (Xmax−Xmid) / (Xmid−Xmin) (4)
β = | Avex | × f (σx ² ) …… (5)
[0073]
γ and δ are calculated by the following equations (6) to (9).
[0074]
When Ymid ≧ (Ymin + Ymax) / 2
γ = | Avey | × f (σy ² ) …… (6)
δ = | Avey | × f (σy ² ) + P × (Ymid−Ymin) / (Ymax−Ymid) (7)
[0075]
When Ymid <(Ymin + Ymax) / 2
γ = | Avey | × f (σy ² ) + P × (Ymax−Ymid) / (Ymid−Ymin) (8)
δ = | Avey | × f (σy ² ) …… (9)
[0076]
When generating a clipped image having a specific aspect ratio, α, β, γ, and δ are calculated by the following equations (10) to (17). The aspect ratio is a: b. Further, in the following equations (10) to (25), f (σi ² ) Is obtained by the function shown in FIG. The constant p is a positive number.
[0077]
When (Ymax−Ymin) / (Xmax−Xmin) ≧ b / a, α, β, γ, and δ are calculated by the following equations (10) to (17).
[0078]
When Xmid ≧ (Xmin + Xmax) / 2
α = | Avex | × f (σx ² ) …… (10)
β = a / b (Ymax−Ymin + γ + δ) − (Xmax−Xmin + α) (11)
[0079]
When Xmid <(Xmin + Xmax) / 2
β = | Avex | × f (σx ² ) ... (12)
α = a / b (Ymax−Ymin + γ + δ) − (Xmax−Xmin + β) (13)
[0080]
When Ymid ≧ (Ymin + Ymax) / 2
γ = | Avey | × f (σy ² ) ... (14)
δ = b / a (Ymax−Ymin + α + β) − (Ymax−Ymin + γ) (15)
[0081]
When Ymid <(Ymin + Ymax) / 2
δ = | Avey | × f (σy ² ) ... (16)
γ = b / a (Ymax−Ymin + α + β) − (Ymax−Ymin + δ) (17)
[0082]
When (Ymax−Ymin) / (Xmax−Xmin) <b / a, α, β, γ, and δ are calculated by the following equations (18) to (25).
[0083]
When Xmid ≧ (Xmin + Xmax) / 2
α = | Avex | × f (σx ² ) ... (18)
β = a / b (Ymax−Ymin + γ + δ) − (Xmax−Xmin + α) (19)
[0084]
When Xmid <(Xmin + Xmax) / 2
β = | Avex | × f (σx ² )… (20)
α = a / b (Ymax−Ymin + γ + δ) − (Xmax−Xmin + β) (21)
[0085]
When Ymid ≧ (Ymin + Ymax) / 2
γ = | Avey | × f (σy ² ) ... (22)
δ = b / a (Xmax−Xmin + α + β) − (Ymax−Ymin + γ) (23)
[0086]
When Ymid <(Ymin + Ymax) / 2
δ = | Avey | × f (σy ² ) ... (24)
γ = b / a (Xmax−Xmin + α + β) − (Ymax−Ymin + δ) (25)
[0087]
The coordinates C (X'min, Y'min) and the coordinates D (X'max, Y'max) calculated by the cutout area coordinate calculation unit 36 are input to the cutout area extraction unit 50 as cutout coordinate information.
[0088]
If necessary, the number of pixels of the cut-out video generated by the cut-out area extracting unit 50 can be converted according to the number of pixels in the transmission format, the number of pixels in the monitor, and the like. As a method of converting the number of pixels, for example, a sampling frequency conversion method can be used.
[0089]
Returning to FIG. 1, the signal delay unit 40 is input to the cutout region extraction unit 50 until the cutout region information calculated by the cutout region coordinate calculation unit 36 is input to the cutout region extraction unit 50. The input video signal is delayed, so that the clipped region information in the clipped region extraction unit 50 is synchronized with the input video signal.
[0090]
Then, the cutout region extracting unit 50 extracts a cutout region from the captured video based on the cutout coordinate information input from the cutout region setting unit 30, and generates a cutout video. The cut-out video generated by the cut-out region extraction unit 50 is output to the outside as an output video signal.
[0091]
(Operation of cutout video generation device 1)
Next, the operation of the cut-out video generation device 1 will be described with reference to a flowchart showing the operation of the cut-out video generation device 1 shown in FIG.
[0092]
First, the relative motion vector calculation unit 10 (see FIG. 1) separates the captured video into a background video and a subject video, which is a video other than the background video, and divides the captured video into a rectangle having a predetermined number of pixels in the horizontal and vertical directions. A relative motion vector, which is a difference vector between the motion vector of the subject video and the motion vector of the background video, is calculated for each macroblock created by dividing the area (S1).
[0093]
Subsequently, the moving area setting unit 20 (see FIG. 1) sets a moving area (see FIG. 3) based on the relative motion vector of each macroblock calculated by the relative motion vector calculating unit 10 (S2).
[0094]
Next, the cutout area setting unit 30 (see FIG. 1) sets a cutout area (see FIG. 7) to be extracted from the captured video based on the average and variance of the relative motion vectors in the moving area (S3).
[0095]
The operation in the cutout area setting unit 30 will be described in detail. First, the small area creation unit 31 (see FIG. 2) divides the moving area set by the moving area setting unit 20 in the horizontal and vertical directions, and (See FIG. 3) is created (S31).
[0096]
Next, the moving subregion setting unit 32 (see FIG. 2) converts a rectangular region including a moving macroblock into a moving subregion (see FIG. ) And (b)) (S32).
[0097]
The moving small area center point / area calculation unit 33 (see FIG. 2) calculates the center point Msd (see FIG. 5) and the area S of the moving small area for each moving small area set by the moving small area setting unit 32. (S33).
[0098]
The moving area center point calculation unit 34 (see FIG. 2) uses the center point Msd and the area S of the moving small area calculated by the moving small area center point / area calculation unit 33 to calculate the center point Mmd of the moving area (FIG. 6). (See S34).
[0099]
The relative motion vector average value / variance calculation unit 35 (see FIG. 2) uses the relative motion vector information calculated by the relative motion vector calculation unit 10 to calculate the average value Avei (i = x, y) of the relative motion vectors in the moving area. And the variance σi ² (I = x, y) is calculated (S35).
[0100]
The cut-out area coordinate calculation unit 36 (see FIG. 2) calculates the center point Mmd of the motion area calculated by the motion area center point calculation unit 34 and the relative value in the motion area calculated by the relative motion vector average / variance calculation unit 35. Average value Avei and variance σi of motion vector ² Are used to calculate coordinates (see FIG. 7) for setting the cutout area (S36).
[0101]
Then, the cutout region extracting unit 50 extracts a cutout region from the captured video based on the cutout region information input from the cutout region setting unit 30, and generates a cutout video (S4).
[0102]
As described above, according to the clipped video generation device and the clipped video generation method according to the present invention, from the captured video, “the average value and the variance of the relative motion vector in the moving area”, which is the motion information of the subject, It is possible to extract a partial area based on the “central point of the moving area” that is the distribution information and generate a clipped image. In the cutout video generated in this manner, the cutout region is set based on the distribution information of the subject, and thus the video content does not become redundant. Moreover, in the cut-out video generation device and the cut-out video generation method according to the present invention, it is possible to set the cut-out area without being restricted by the aspect ratio.
[0103]
As mentioned above, although one Embodiment of this invention was described, this invention is not limited only to this, As long as it is based on the technical idea of this invention, a various deformation | transformation is possible.
[0104]
For example, it is also possible to regard each component of the cut-out video generation device 1 as a cut-out video generation method in which each component (step) is regarded as a process. In this case, the cut-out video generation method has the same effect as the cut-out video generation device. Further, each configuration of the cut-out video generation device 1 can be regarded as a program (cut-out video generation program) described in a general computer language. Also in this case, the cut-out video generation program has the same effect as that of the cut-out video generation device 1.
[0105]
In the present embodiment, when the coordinates for setting the cutout area are calculated by the cutout area coordinate calculation unit 36 of the cutout area setting unit 30, the center point Mmd of the moving area and the relative motion vector in the moving area are calculated. Mean Avei and variance σi of ² Are used to calculate α, β, γ, and δ, but the average value Avei and the variance σi of the relative motion vector in the moving region are calculated. ² Instead of the average value Avesji (i = x, y) and the variance σsji of the relative motion vectors in the small region adjacent to the background in the moving region. ² It is also possible to calculate α, β, γ, and δ using (i = x, y). Here, sj is the number of the small area, and j = 1 to m × n.
[0106]
Specifically, the average value Avesjx of the relative motion vectors is compared between the small regions adjacent to the background on the side of the moving region where the coordinates in the horizontal direction are small, and the minimum value “Min Avesjx” of the average value Avesjx is obtained. Similarly, the average value Avesjx of the relative motion vectors is compared between the small regions adjacent to the background on the side where the coordinates of the moving region in the horizontal direction are large, and the maximum value “Max Avesjx” of the average value Avesjx is obtained.
[0107]
Further, on the side where the coordinates in the vertical direction of the moving area are small, the average value Avesjy of the relative motion vectors is compared between the small areas adjacent to the background, and the minimum value “Min Avesjy” of the average value Avesjy is obtained. Similarly, on the side where the coordinates in the vertical direction of the moving area are larger, the average value Avesjy of the relative motion vectors is compared between the small areas adjacent to the background, and the maximum value “Max Avesjy” of the average value Avesjy is obtained.
[0108]
Then, α, β, γ, and δ are calculated by the following equations (26) to (33). Note that in the following equations (26) to (33), f (σsji ² ) Is obtained by the function shown in FIG. The constant p is set to 1.0.
[0109]
α and β are calculated by the following equations (26) to (29).
[0110]
When Xmid ≧ (Xmin + Xmax) / 2
α = | Min Avesjx | × f (σsjx ² ) …… (26)
β = | Min Avesjx | × f (σx ² ) + P × (Xmid−Xmin) / (Xmax−Xmid) (27)
[0111]
When Xmid <(Xmin + Xmax) / 2
α = | Min Avesjx | × f (σsjx ² ) + P × (Xmax−Xmid) / (Xmid−Xmin) (28)
β = | Min Avesjx | × f (σsjx ² ) …… (29)
[0112]
γ and δ are calculated by the following equations (30) to (33).
[0113]
When Ymid ≧ (Ymin + Ymax) / 2
γ = | Min Avesjy | × f (σsjy ² ) ... (30)
δ = | Min Avesjy | × f (σsjy ² ) + P × (Ymid−Ymin) / (Ymax−Ymid) (31)
[0114]
When Ymid <(Ymin + Ymax) / 2
γ = | Min Avesjy | × f (σsjy ² ) + P × (Ymax−Ymid) / (Ymid−Ymin) (32)
δ = | Min Avesjy | × f (σsjy ² ) ... (33)
[0115]
By calculating α, β, γ, and δ in this manner, the cutout area can be set in the cutout area coordinate calculation unit 36 of the cutout area setting unit 30, as in the present embodiment.
[0116]
【The invention's effect】
According to the first, fourth, and seventh aspects of the present invention, a partial area is determined from a captured image based on “average and variance of relative motion vectors in a moving area” which is motion information of a subject. The extracted video can be extracted and generated. Therefore, the cutout area can be set without being restricted by the aspect ratio.
[0117]
According to the second, fifth, and eighth aspects of the present invention, “the average value and the variance of the relative motion vector in the moving area” as the motion information of the subject and “the moving area The cutout area can be set based on the “center point”. Therefore, since the cutout region can be set based on the distribution information of the subject, it is possible to prevent the video content of the generated cutout video from being redundant. In addition, the cutout area can be set without being restricted by the aspect ratio.
[0118]
According to the third, sixth, and ninth aspects of the present invention, “the average value and the variance of the relative motion vector of the small area adjacent to the background in the moving area”, which is the motion information of the subject, The cutout area can be set based on the distribution information “the center point of the moving area”. Therefore, since the cutout region can be set based on the distribution information of the subject, it is possible to prevent the video content of the generated cutout video from becoming redundant. Further, the cutout area can be set without being restricted by the aspect ratio.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a video generation device 1 according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of a cut-out area setting unit 30 in the cut-out video generation device 1.
FIG. 3 is a diagram for explaining a method of setting a cut-out area according to the present invention.
4A and 4B are diagrams for explaining a method of setting a moving small area, where FIG. 4A shows an example and FIG. 4B shows another example.
FIG. 5 is a diagram for explaining a method of calculating a center point and an area of a moving small region set in FIG. 4A.
FIG. 6 is a diagram illustrating an example of a center point Mmd of a moving area calculated by a moving area center point calculating unit 34;
FIG. 7 is a diagram showing a cut-out area in a captured video.
FIG. 8 is a diagram showing a function used when calculating coordinates for setting a cutout area.
FIG. 9 is a flowchart showing an operation of the cut-out video generation device 1.
FIG. 10 is a diagram for explaining a method of setting a moving area in a conventional method of setting a cutout area.
FIG. 11 is a diagram for explaining a method of setting a cutout area in a conventional method of setting a cutout area.
12A and 12B are diagrams illustrating distributions of subjects in a moving region, where FIG. 12A illustrates a case where the distribution of subjects in the moving region is uniform, and FIG. 12B illustrates a case where the distribution of subjects in the moving region is uneven. .
FIG. 13 is a diagram illustrating a cut-out region when the distribution of subjects in a moving region is uneven.
[Explanation of symbols]
1 clipped video generation device
10 Relative motion vector calculation unit
20 Moving area setting section
30 Cutout area setting section
31 Small area creation unit
32 Dynamic subsection setting section
33 Moving small area center point / area calculation unit
34 Motion area center point calculation unit
35 Relative motion vector average and variance calculator
36 Cutout area coordinate calculation unit
40 signal delay section
50 Cutout area extraction unit

Claims (9)

撮影された撮影映像から一部の領域を抽出して切り出し映像を生成する切り出し映像生成装置であって、
前記撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、前記撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、前記被写体映像の動きベクトルと前記背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する相対動きベクトル算出部と、
前記相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成される領域を動領域として設定する動領域設定部と、
前記動領域における前記相対動きベクトルの平均値及び分散に基づいて、前記撮影映像から抽出する切り出し領域を設定する切り出し領域設定部と、
前記撮影映像から前記切り出し領域を抽出して切り出し映像を生成する切り出し領域抽出部と
を備えて構成されることを特徴とする切り出し映像生成装置。A cutout video generation device that extracts a partial area from a shot video and generates a cutout video,
The captured image is separated into a background image and a subject image that is an image other than the background image, and the captured image is divided into rectangular regions each having a predetermined number of pixels in the horizontal and vertical directions. A relative motion vector calculation unit that calculates a relative motion vector that is a difference vector between the motion vector of the subject video and the motion vector of the background video,
A moving region setting unit that sets a region including a moving macroblock that is a macroblock whose magnitude of the relative motion vector exceeds a predetermined threshold value as a moving region,
A cutout region setting unit that sets a cutout region to be extracted from the captured video based on an average value and a variance of the relative motion vector in the moving region,
A cut-out image generating apparatus, comprising: a cut-out region extracting unit that extracts the cut-out region from the photographed image to generate a cut-out image. 前記切り出し領域設定部は、
前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成部と、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定部と、
前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出部と、
前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出部と、
前記動領域における前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出部と、
前記動領域の中心点と、前記動領域における前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出部と
を備えて構成されることを特徴とする請求項１に記載の切り出し映像生成装置。The cutout area setting unit,
A small area creating unit that creates a small area by dividing the moving area in the horizontal and vertical directions, and a moving small area setting that sets an area including the moving macroblock for each of the small areas as a moving small area Department and
A moving small area center point / area calculating unit for calculating a center point and an area of the moving small area for each moving small area,
A moving area center point calculation unit that calculates a center point of the moving area using a center point and an area of the moving small area,
A relative motion vector average value / variance calculation unit for calculating an average value and a variance of the relative motion vector in the moving region,
A center point of the moving region, and a cutout region coordinate calculation unit that calculates coordinates for setting the cutout region using an average value and a variance of the relative motion vector in the moving region. The cut-out image generation device according to claim 1, wherein: 前記切り出し領域設定部は、
前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成部と、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定部と、
前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出部と、
前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出部と、
前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出部と、
前記動領域の中心点と、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出部と
を備えて構成されることを特徴とする請求項１に記載の切り出し映像生成装置。The cutout area setting unit,
A small area creating unit that creates a small area by dividing the moving area in the horizontal and vertical directions, and a moving small area setting that sets an area including the moving macroblock for each of the small areas as a moving small area Department and
A moving small area center point / area calculating unit for calculating a center point and an area of the moving small area for each moving small area,
A moving area center point calculation unit that calculates a center point of the moving area using a center point and an area of the moving small area,
A relative motion vector average value / variance calculation unit that calculates an average value and a variance of the relative motion vector of the small region adjacent to the background in the moving region,
A cutout area coordinate calculation unit that calculates coordinates for setting the cutout area using a center point of the moving area and an average value and a variance of the relative motion vectors of the small area adjacent to the background in the moving area. The cut-out image generation device according to claim 1, comprising: 撮影された撮影映像から一部の領域を抽出して切り出し映像を生成する切り出し映像生成方法であって、
前記撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、前記撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、前記被写体映像の動きベクトルと前記背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する相対動きベクトル算出ステップと、
前記相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成される領域を動領域として設定する動領域設定ステップと、
前記動領域における前記相対動きベクトルの平均値及び分散に基づいて、前記撮影映像から抽出する切り出し領域を設定する切り出し領域設定ステップと、
前記撮影映像から前記切り出し領域を抽出して切り出し映像を生成する切り出し領域抽出ステップと
を含むことを特徴とする切り出し映像生成方法。A clipped video generation method for extracting a partial region from a captured video and generating a clipped video,
The captured image is separated into a background image and a subject image that is an image other than the background image, and the captured image is divided into rectangular regions each having a predetermined number of pixels in the horizontal and vertical directions. A relative motion vector calculation step of calculating a relative motion vector that is a difference vector between the motion vector of the subject video and the motion vector of the background video,
A moving region setting step of setting, as a moving region, a region including a moving macroblock in which the size of the relative motion vector exceeds a predetermined threshold;
A cutout region setting step of setting a cutout region to be extracted from the captured video based on an average value and a variance of the relative motion vector in the moving region,
Extracting a cut-out region from the photographed image to generate a cut-out image. 前記切り出し領域設定ステップは、
前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成ステップと、
前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定ステップと、
前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出ステップと、
前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出ステップと、
前記動領域における前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出ステップと、
前記動領域の中心点と、前記動領域における相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出ステップと
を含むことを特徴とする請求項４に記載の切り出し映像生成方法。The cutout area setting step,
A small area creating step of creating a small area by dividing the moving area in the horizontal and vertical directions,
A moving small region setting step of setting a region including the moving macro block for each of the small regions as a moving small region;
A moving small area center point / area calculating step of calculating a center point and an area of the moving small area for each moving small area,
A moving area center point calculating step of calculating a center point of the moving area using a center point and an area of the moving small area,
A relative motion vector average value / variance calculation step of calculating an average value and a variance of the relative motion vector in the moving region,
Using a center point of the moving area and an average value and a variance of relative motion vectors in the moving area to calculate coordinates for setting the cut-out area. The clipped image generation method according to claim 4. 前記切り出し領域設定ステップは、
前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成ステップと、
前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定ステップと、
前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出ステップと、
前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出ステップと、
前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出ステップと、
前記動領域の中心点と、前記動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出ステップと
を含むことを特徴とする請求項４に記載の切り出し映像生成方法。The cutout area setting step,
A small area creating step of creating a small area by dividing the moving area in the horizontal and vertical directions,
A moving small region setting step of setting a region including the moving macro block for each of the small regions as a moving small region;
A moving small area center point / area calculating step of calculating a center point and an area of the moving small area for each moving small area,
A moving area center point calculating step of calculating a center point of the moving area using a center point and an area of the moving small area,
A relative motion vector average value / variance calculating step of calculating an average value and a variance of the relative motion vector of the small region adjacent to the background in the moving region;
A cut-out area coordinate calculating step of calculating coordinates for setting the cut-out area using a center point of the moving area and an average value and a variance of relative motion vectors of small areas adjacent to the background in the moving area; The method according to claim 4, further comprising: 撮影された撮影映像から一部の領域を抽出して切り出し映像を生成する装置を、
前記撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、前記撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、前記被写体映像の動きベクトルと前記背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する相対動きベクトル算出手段、
前記相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成される領域を動領域として設定する動領域設定手段、
前記動領域における前記相対動きベクトルの平均値及び分散に基づいて、前記撮影映像から抽出する切り出し領域を設定する切り出し領域設定手段、
前記撮影映像から前記切り出し領域を抽出して切り出し映像を生成する切り出し領域抽出手段
として機能させることを特徴とする切り出し映像生成プログラム。A device that extracts a partial area from a captured video and generates a clipped video,
The captured image is separated into a background image and a subject image that is an image other than the background image, and the captured image is divided into rectangular regions each having a predetermined number of pixels in the horizontal and vertical directions. Relative motion vector calculation means for calculating a relative motion vector that is a difference vector between the motion vector of the subject video and the motion vector of the background video,
A moving region setting unit that sets a region including a moving macro block that is a macro block whose magnitude of the relative motion vector exceeds a predetermined threshold value as a moving region;
A cutout region setting unit that sets a cutout region to be extracted from the captured video based on an average value and a variance of the relative motion vector in the moving region,
A cut-out image generation program that functions as a cut-out region extracting unit that extracts the cut-out region from the captured image to generate a cut-out image. 前記切り出し領域設定手段は、
前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成手段と、
前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定手段と、
前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出手段と、
前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出手段と、
前記動領域における前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出手段と、
前記動領域の中心点と、前記動領域における前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出手段と
を備えていることを特徴とする請求項７に記載の切り出し映像生成プログラム。The cutout area setting means,
Small area creating means for creating a small area by dividing the moving area in the horizontal and vertical directions,
Moving small area setting means for setting a region including the moving macro block for each small area as a moving small area,
Moving small area center point / area calculating means for calculating the center point and area of the moving small area for each moving small area,
A moving area center point calculating means for calculating a center point of the moving area using a center point and an area of the moving small area,
A relative motion vector average value / variance calculating means for calculating an average value and a variance of the relative motion vector in the moving region,
A center point of the moving region, and using a mean value and a variance of the relative motion vector in the moving region, a clipping region coordinate calculating unit that calculates coordinates for setting the clipping region. The cut-out image generation program according to claim 7, characterized in that: 前記切り出し領域設定部手段は、
前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成手段と、
前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定手段と、
前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出手段と、
前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出手段と、
前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出手段と、
前記動領域の中心点と、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出手段と
を備えていることを特徴とする請求項７に記載の切り出し映像生成プログラム。The cutout area setting unit means,
Small area creating means for creating a small area by dividing the moving area in the horizontal and vertical directions,
Moving small area setting means for setting a region including the moving macro block for each small area as a moving small area,
Moving small area center point / area calculating means for calculating the center point and area of the moving small area for each moving small area,
A moving area center point calculating means for calculating a center point of the moving area using a center point and an area of the moving small area,
Relative motion vector average value / variance calculation means for calculating the average value and variance of the relative motion vector of the small area adjacent to the background in the moving area,
A cut-out area coordinate calculating unit that calculates coordinates for setting the cut-out area using a center point of the moving area and an average value and a variance of the relative motion vectors of the small areas adjacent to the background in the moving area. 8. The cut-out image generation program according to claim 7, comprising:

Images