JP7336346B2 - フレーミング情報生成装置及びそのプログラム - Google Patents

Description

本発明は、注目すべき被写体の部分領域を特定するためのフレーミング情報を生成するフレーミング情報生成装置及びそのプログラムに関する。

従来、テレビカメラを用いて撮影した映像の中で注目すべき領域を特定するための自動撮影技術が提案されている。
例えば、特許文献１では、モニタテレビ上において、カメラワークをライトペンで描くことで、その軌跡に応じたパンおよびチルト制御を行う手法が提案されている。
また、特許文献２では、広角カメラにより撮影された視野内の撮影対象である被写体を認識し、認識した被写体の動きに応じて撮影用カメラの向きを制御する手法が提案されている。
また、特許文献３では、医療診断用の医用画像から読影する場合に、関心領域（ROI: Region of Interest）を医用画像に付与する技術として、複数の診断情報ごとに、それらが付与された際の医用画像表示のためのパラメータと優先度とを用いて、複数の診断情報ごとに、視野を阻害せずかつ複数の診断情報を生成する手法が提案されている。

特開平６－１３３１８９号公報 特開平９－３２２０５１号公報 国際公開第２０１２／０４９７４１号

２次元映像、３次元映像、ＡＲ（Augmented Reality）やＶＲ（Virtual Reality）など、映像コンテンツの視聴形態が多様化しつつある。これらの映像コンテンツを効率的に制作するために、例えば、実写カメラによる２次元映像の撮影、３次元ＣＧの仮想カメラによる２次元画像の仮想撮影、３次元ディスプレイで表示する３次元の部分領域の決定といった様々な制作手法が用いられている。これらの制作手法に対応して、シーン内で注目すべき被写体の部分領域を自動判定する統合的な手法が強く望まれている。

上述した特許文献１の技術は、モニタテレビ上における描画操作によって実写カメラのパン・チルト操作を実現している。しかしながら、このような従来技術は、２次元の画面上で操作するため奥行き方向の注目領域を指定できないため、視点が異なる２次元映像や３次元映像の制作に適用することが困難である。

また、特許文献２の技術は、被写体の自動抽出や動き情報に基づいて注目領域を自動設定するものであり、３次元実空間上における注目領域を撮影カメラの制御に反映することができる。しかしながら、この従来技術は、どの被写体に注目すべきかといった演出に関する情報を生成する機能を有していない。

また、特許文献３の技術は、３次元情報に対して、複数の診断情報に好適なパラメータを優先度付きでアノテーションすることが可能となる。しかしながら、この従来技術では、既に設定されたパラメータのみしか利用できないので、３次元空間内において注目すべき部分領域を決定する機能を有しておらず、２次元映像や３次元映像の制作に適用することが困難である。
以上のように、特許文献１～３に記載の技術では、様々な制作手法に対応して、注目すべき被写体の部分領域を特定することが困難である。

本発明は、様々な制作手法に対応した注目すべき被写体の部分領域を特定するためのフレーミング情報を生成できるフレーミング情報生成装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本発明に係るフレーミング情報生成装置は、被写体の世界座標と被写体を一意に識別する識別子及び、被写体全体又は一部の重要さを示す第１の重要度との組を記述したフレーミング補助データと、注目すべき被写体の一部である部分領域を特定するフレーミング対象を記述した演出プロファイルとに基づいて、被写体の部分領域であるフレーミング対象を特定するフレーミング情報を生成するフレーミング情報生成装置であって、選択部と、照合部と、加重統計部と、フレーミング情報生成部と、を備える構成とした。

かかる構成によれば、選択部は、フレーミング補助データを入力し、フレーミング補助データを１組ずつ順次選択する。
照合部は、演出プロファイルを入力し、演出プロファイルと選択部で選択されたフレーミング補助データとを照合し、照合の度合いに応じた加重値を算出する。
加重統計部は、被写体の世界座標を加重値で加重し、加重した世界座標の予め定めた統計量を算出する。
フレーミング情報生成部は、統計量に基づいて、フレーミング情報を生成する。
このように、フレーミング情報生成装置は、フレーミング対象を記述した演出プロファイルを参照するので、様々な制作手法に対応した注目すべき被写体の部分領域を特定するためのフレーミング情報を生成することができる。

なお、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、前記したフレーミング情報生成装置として動作させるプログラムで実現することもできる。

本発明によれば、様々な制作手法に対応した注目すべき被写体の部分領域を特定するためのフレーミング情報を生成することができる。

実施形態に係る自動フレーミング装置の構成を示すブロック図である。 （ａ）は実施形態における３次元形状・テクスチャ情報を示す説明図であり、（ｂ）は識別子を示す説明図であり、（ｃ）は重要度を示す説明図である。 実施形態において、フレーミング補助データの第１例を説明する説明図である。 実施形態において、フレーミング補助データの第２例を説明する説明図である。 実施形態において、識別補助データの一例を説明する説明図である。 実施形態において、世界座標系からローカル座標系への変換を説明する説明図である。 実施形態に係る自動フレーミング装置の動作を示すフローチャートである。 変形例１に係る自動フレーミング装置の構成を示すブロック図である。

（実施形態）
［自動フレーミング装置の構成］
以下、実施形態について、適宜図面を参照しながら詳細に説明する。なお、同一の手段には同一の符号を付し、説明を省略する。
図１を参照し、実施形態に係る自動フレーミング装置（フレーミング情報生成装置）１の構成を詳細に説明する。なお、本実施形態では、自動フレーミング装置１が、映像コンテンツを制作する放送局側に配置されているものとする。

自動フレーミング装置１は、後記するフレーミング補助データＦと演出プロファイルとに基づいて、注目すべき被写体の部分領域を特定するためのフレーミング情報を生成するものである。そして、自動フレーミング装置１は、生成したフレーミング情報を外部装置（例えば、撮影カメラや３次元ＣＧ制作装置）に出力する。
これにより、これらの外部装置では、自動フレーミング装置１から入力されたフレーミング情報を用いて、注目すべき被写体にフレーミングを行い、所望の映像コンテンツを制作することが可能となる。

図１に示すように、自動フレーミング装置１は、走査部１０と、選択部１１と、フィルタ部（照合部）１２と、加重統計部１３と、座標変換部１４と、フレーミング決定部（フレーミング情報生成部）１５とを備える。

走査部１０は、自動フレーミング装置１に入力されるＮ組のフレーミング補助データＦのうち、何番目の組を選択すべきかを指定するインデックスを順次生成するものである（Ｎは１以上の整数）。例えば、走査部１０は、１以上Ｎ以下の整数を所定の順序で発生（１からＮまで１刻みでカウントアップ）し、インデックスとして、生成した整数を選択部１１及び加重統計部１３に出力する。

選択部１１は、フレーミング補助データＦを入力し、走査部１０から入力されたインデックスに基づいて、そのフレーミング補助データＦを１組ずつ順次選択するものである。そして、選択部１１は、選択した１組のフレーミング補助データＦをフィルタ部１２に出力すると共に、その１組のフレーミング補助データＦに含まれる世界座標値を加重統計部１３に出力する。

＜フレーミング補助データ＞
図２及び図３を参照し、フレーミング補助データＦについて詳細に説明する。
フレーミング補助データＦは、被写体の世界座標と、被写体の識別子及び／又は被写体の重要度（第１の重要度）との組を記述した情報である。つまり、フレーミング補助データＦには、データ項目として、被写体の世界座標に加え、被写体の識別子と被写体の重要度との少なくとも一方が含まれている。

なお、世界座標とは、仮想又は現実の３次元空間内の各物体に共通する座標のことである。
また、識別子とは、被写体を一意に識別する情報のことである。
また、重要度とは、被写体全体又は一部の重要さを示す情報のことである。

被写体の３次元モデル（３次元形状及びテクスチャ情報）を用いて、映像コンテンツを制作することが多い。そこで、識別子や重要度といった情報は、被写体の３次元形状・テクスチャ情報に付随して表現してもよい。例えば、点群モデル（ポイントクラウド）形式で３次元形状・テクスチャ情報を表現する場合、点群の各構成点（被写体を構成する各点の３次元座標）に対して、色情報が付加される。従って、被写体の各構成点に、識別子や重要度をさらに付加すればよい。

図２（ａ）に示すように、男ダンサー９_Ｍと女ダンサー９_Ｗがペアでダンスしているときの３次元モデルを一例として説明する。ここで、女ダンサー９_Ｗの頭部１点の世界座標値（Ｘ１，Ｙ１，Ｚ１）、頭部を除いた上半身１点の世界座標値（Ｘ２，Ｙ２，Ｚ２）、下半身１点の世界座標値（Ｘ３，Ｙ３，Ｚ３）とする。また、男ダンサー９_Ｍの頭部１点の世界座標値（Ｘ４，Ｙ４，Ｚ４）、上半身１点の世界座標値（Ｘ５，Ｙ５，Ｚ５）、下半身１点の世界座標値（Ｘ６，Ｙ６，Ｚ６）とする。また、図２（ｂ）に示すように、女ダンサー９_Ｗの識別子を‘１’とし（ＩＤ＝１）、男ダンサー９_Ｍの識別子を‘２’とする（ＩＤ＝２）。さらに、図２（ｃ）に示すように、男ダンサー９_Ｍ及び女ダンサー９_Ｗのそれぞれについて、頭部の重要度を‘Ｈ’とし、上半身の重要度を‘Ｍ’とし、下半身の重要度を‘Ｌ’とする。この場合、フレーミング補助データＦは、図３に示すような６組のデータとなる。なお、‘Ｈ’は重要度が高いことを示し、‘Ｍ’は重要度が中間であることを示し、‘Ｌ’は重要度が低いことを示す。

また、図４に示すように、フレーミング補助データＦは、文字で記述した識別子を含めてもよい。例えば、文字で記述した識別子としては、被写体の氏名や名称等の固有名詞、又は、職業や役割等の分類を示す文字情報があげられる。図４のフレーミング補助データＦでは、女ダンサー９_Ｗの識別子が‘女ダンサー’であり、男ダンサー９_Ｍの識別子が‘男ダンサー’である。

なお、図３及び図４では、説明を簡易にするため、フレーミング補助データＦが６組であるものとして説明したが、男ダンサー９_Ｍや女ダンサー９_Ｗを構成する点群が合計Ｎ個の場合、フレーミング補助データＦもＮ組となる。
また、図３及び図４のフレーミング補助データＦには、識別子と重要度の両方が含まれているが、識別子又は重要度の一方のみが含まれていればよい。
以後、ｎ番目のフレーミング補助データＦ_ｎに含まれる世界座標値、識別子、重要度をそれぞれ、Ｘ_ｎ、Ｉ_ｎ、Ｗ_ｎとする（ｎは１以上Ｎ以下の整数）。

図１に戻り、自動フレーミング装置１の構成について説明を続ける。
フィルタ部１２は、演出プロファイルを入力し、演出プロファイルと選択部１１から入力されたフレーミング補助データＦ_ｎとを照合し、照合の度合いに応じた加重値を算出するものである。そして、フィルタ部１２は、算出した加重値を加重統計部１３に出力する。

演出プロファイルは、注目すべき被写体の一部である部分領域を特定するフレーミング対象を記述した情報である。例えば、演出プロファイルには、注目すべき被写体や注目すべき場所といった、フレーミング対象をフィルタリングする条件が記述されている。
ここで、演出プロファイルは、フレーミング補助データＦ_ｎに含まれるデータ項目で記述できる。例えば、フレーミング補助データＦ_ｎに世界座標値Ｘ_ｎ、識別子Ｉ_ｎ及び重要度Ｗ_ｎが含まれている場合、世界座標値、識別子又は重要度の何れか１以上で演出プロファイルを記述できる。
一方、演出プロファイルは、フレーミング補助データＦ_ｎに含まれない被写体の属性で記述してもよい。この場合、後記する識別補助データＨをフィルタ部１２に入力する必要がある（図１の破線）。なお、属性とは、被写体を識別する固有名詞、被写体の性質や特徴を表す情報のことである。

＜照合の第１例：識別子による照合＞
以下、フィルタ部１２による照合の第１例～第４例を順次説明する。
この第１例では、フィルタ部１２が、識別子により演出プロファイルとフレーミング補助データＦ_ｎとの照合を行い、その照合の度合いに応じた加重値Ｖ_ｎを算出する。つまり、フィルタ部１２は、演出プロファイルに記述されている識別子（例えば、ＩＤ＝２）とフレーミング補助データＦ_ｎの識別子Ｉ_ｎとの照合を行う。そして、フィルタ部１２は、演出プロファイルの識別子とフレーミング補助データＦ_ｎの識別子Ｉ_ｎとが一致した場合、加重値Ｖ_ｎ＝αを算出する。一方、フィルタ部１２は、演出プロファイルの識別子とフレーミング補助データＦ_ｎの識別子Ｉ_ｎとが一致しない場合、加重値Ｖ_ｎ＝βを算出する。なお、α，βは、予め設定された実数であり、０≦β＜αを満たすことが好ましい（例えば、α＝１、β＝０）。

また、フィルタ部１２は、フレーミング補助データＦ_ｎに重要度Ｗ_ｎが含まれる場合、この重要度Ｗ_ｎを考慮して加重値Ｖ_ｎを算出してもよい。例えば、フィルタ部１２は、識別子が一致する場合には加重値Ｖ_ｎ＝Ｗ_ｎ・αを算出し、識別子が一致しない場合には加重値Ｖ_ｎ＝Ｗ_ｎ・βを算出する。ここで、図２（ｃ）のように、重要度Ｗ_ｎが数値化されていない場合、Ｈ＝１、Ｍ＝０．５、Ｌ＝０のように、重要度Ｗ_ｎに応じた数値を予め設定しておき、その数値を乗算するものとする。

ここで、図４に示すように、フレーミング補助データＦにおいて、‘女ダンサー’や‘男ダンサー’といった文字で識別子が記述されている場合を考える。このとき、演出プロファイルには、‘女ダンサー’、‘サッカー選手’、‘男’といった文字を記述する。この場合、フィルタ部１２は、演出プロファイルの識別子とフレーミング補助データＦ_ｎの識別子Ｉ_ｎとが完全一致、部分一致又は完全不一致の何れに該当するかを照合する。例えば、フィルタ部１２は、演出プロファイルに‘女ダンサー’が記述されている場合、フレーミング補助データＦ_ｎの識別子Ｉ_ｎに完全一致するので、加重値Ｖ_ｎ＝αを算出する。また、フィルタ部１２は、演出プロファイルに‘男’が記述されている場合、フレーミング補助データＦ_ｎの識別子Ｉ_ｎに部分一致するので、加重値Ｖ_ｎ＝γを算出する。なお、γは、予め設定された実数であり、β＜γ＜αを満たすことが好ましい（例えば、γ＝０．５）。さらに、フィルタ部１２は、演出プロファイルに‘サッカー選手’が記述されている場合、フレーミング補助データＦ_ｎの識別子Ｉ_ｎに完全不一致なので、加重値Ｖ_ｎ＝βを算出する。このように、フィルタ部１２は、照合の度合いが大きいほど、大きな値の加重値Ｖ_ｎを算出する。

＜照合の第２例：重要度による照合＞
この第２例では、フィルタ部１２が、重要度により演出プロファイルとフレーミング補助データＦ_ｎとの照合を行い、その照合の度合いに応じた加重値Ｖ_ｎを算出する。つまり、フィルタ部１２は、注目すべき被写体の重要度（例えば、‘Ｈ’）が演出プロファイルに記述されている場合、その重要度とフレーミング補助データＦ_ｎの重要度Ｗ_ｎとの照合を行う。そして、フィルタ部１２は、演出プロファイルの重要度とフレーミング補助データＦ_ｎの重要度Ｗ_ｎとが一致した場合、加重値Ｖ_ｎ＝αを算出する。一方、フィルタ部１２は、演出プロファイルの識別子とフレーミング補助データＦ_ｎの重要度Ｗ_ｎとが一致しない場合、加重値Ｖ_ｎ＝βを算出する。

＜照合の第３例：世界座標値による照合＞
この第３例では、フィルタ部１２が、世界座標値により演出プロファイルとフレーミング補助データＦ_ｎとの照合を行い、その照合の度合いに応じた加重値Ｖ_ｎを算出する。
例えば、演出プロファイルに［５，１０，０］^Ｔのような世界座標上の１点を記述した場合を考える。この場合、フィルタ部１２は、フレーミング補助データＦ_ｎの世界座標値Ｘ_ｎが演出プロファイルに記述された世界座標上の１点に近くなる程、加重値Ｖ_ｎを大きな値で算出する。

また、演出プロファイルに｛［ｘ，ｙ，ｚ］^Ｔ｜－１≦ｘ≦＋１，－２≦ｙ≦＋２，０≦ｚ≦＋０．２｝のような世界座標上の部分領域を記述した場合を考える。この場合、フィルタ部１２は、フレーミング補助データＦ_ｎの世界座標値Ｘ_ｎが演出プロファイルに記述された世界座標上の部分領域に含まれるか否かにより、加重値Ｖ_ｎを算出する。例えば、フィルタ部１２は、世界座標値Ｘ_ｎが世界座標上の部分領域に含まれる場合、加重値Ｖ_ｎ＝αを算出する。一方、フィルタ部１２は、世界座標値Ｘ_ｎが世界座標上の部分領域に含まれない場合、加重値Ｖ_ｎ＝βを算出する。

＜照合の第４例：属性による照合＞
この第４例では、フィルタ部１２が、属性により識別補助データＨと演出プロファイルとを照合して識別子を特定する。そして、フィルタ部１２は、特定した識別子により演出プロファイルとフレーミング補助データＦ_ｎとの照合を行い、その照合の度合いに応じた加重値Ｖ_ｎを算出する。

まず、フィルタ部１２に入力される識別補助データＨを説明する。図５に示すように、識別補助データＨは、被写体の識別子と属性とを記述したものである。図５の例は、男ダンサー９_Ｍと女ダンサー９_Ｗの識別補助データＨを表している。つまり、この識別補助データＨは、女ダンサー９_Ｗの識別子‘１’と、女ダンサー９_Ｗの属性としての氏名‘花子’、性別‘女’、出身地‘静岡’とを対応付けている。また、識別補助データＨは、男ダンサー９_Ｍの識別子‘２’と、男ダンサー９_Ｍの属性としての氏名‘太郎’、性別‘男’、出身地‘富山’とを対応付けている。なお、属性は、氏名等の固有名詞、性別や出身地に限定されず、例えば、職業や役割であってもよい。

演出プロファイルに属性としての氏名‘太郎’を記述した場合を考える。この場合、フィルタ部１２は、図５の識別補助データＨを参照し、氏名‘太郎’に該当する被写体の識別子（ＩＤ＝２）を特定する。続いて、フィルタ部１２は、第１例と同様、特定した識別子（ＩＤ＝２）とフレーミング補助データＦ_ｎの識別子Ｉ_ｎとの照合を行い、その照合の度合いに応じた加重値Ｖ_ｎを算出する。

なお、フィルタ部１２では、前記した第１例～第４例の何れにより照合を行うか、事前に設定しておくものとする。また、フィルタ部１２では、第１例～第３例の手法を２以上組み合わせて照合を行うこともできる。

図１に戻り、自動フレーミング装置１の構成について説明を続ける。
加重統計部１３は、選択部１１から入力された世界座標値Ｘ_ｎをフィルタ部１２から入力された加重値Ｖ_ｎで加重し、加重した世界座標値Ｘ_ｎにおける統計量を算出するものである。例えば、加重統計部１３は、以下の式（１）を用いて、世界座標値Ｘ_ｎにおける統計量として、期待値ベクトルμ（平均）、及び、分散・共分散行列Ｓ（分散）を算出する。その後、加重統計部１３は、算出した統計量を座標変換部１４に出力する。

座標変換部１４は、座標変換パラメータが入力され、入力された座標変換パラメータにより、世界座標における統計量をローカル座標における統計量に変換するものである。
なお、ローカル座標とは、仮想又は現実の視点位置（例えば、フレーミングを行うべきカメラ位置）を基準（例えば、原点）として定義した座標系における座標値のことである。
また、座標変換パラメータとは、世界座標をローカル座標に変換するためパラメータのことである（例えば、回転行列Ｒ及び平行移動ベクトルＴ）。

例えば、図６に示すように、ローカル座標系Ｌの原点が世界座標系Ｗで座標Ｔに位置し（平行移動ベクトルＴ）、世界座標系Ｗからローカル座標系Ｌへの姿勢変化を表す回転行列がＲであるものとする。この場合、世界座標系Ｗにおいて位置ベクトルＸ_ｎで表される点が、ローカル座標系Ｌにおいて位置ベクトルＹ_ｎで表される場合、以下の式（２）が成立する。

式（１）に示すように、世界座標系Ｗにおける期待値ベクトルμ及び分散・共分散行列Ｓをローカル座標系Ｌに座標変換した場合を考える。この場合、ローカル座標における期待値ベクトルξ及び分散・共分散行列Ｖは、以下の式（３）で表される。

すなわち、座標変換部１４は、例えば、世界座標系Ｗにおける期待値ベクトルμ及び分散・共分散行列Ｓを、式（３）により、ローカル座標系Ｌにおける期待値ベクトルξ及び分散・共分散行列Ｖに変換する。そして、座標変換部１４は、ローカル座標系Ｌにおける期待値ベクトルξ及び分散・共分散行列Ｖをフレーミング決定部１５に出力する。

フレーミング決定部１５は、座標変換部１４から入力されたローカル座標系Ｌにおける統計量（期待値ベクトルξ及び分散・共分散行列Ｖ）に基づいて、被写体の部分領域であるフレーミング対象を特定するフレーミング情報を生成するものである。

フレーミング情報は、被写体から切り取るべき重要領域を表した情報である。切り取るべき重要領域は、例えば、ローカル座標系Ｌにおける部分領域や、ローカル座標系Ｌで表記したカメラの撮影姿勢（例えば、パン、チルト、ロール）及び画角（例えば、焦点距離）を表す。このカメラには、実写撮影を行う実写カメラだけでなく、ＣＧによる仮想撮影を行う仮想カメラも含まれる。

以下、フレーミング決定部１５によるフレーミング情報の生成について、第１例～第４例を順次説明する。なお、フレーミング決定部１５では、第１例～第４例の何れによりフレーミング情報を生成するか事前に設定しておくものとする。

＜第１例：ローカル座標系における楕円体状の部分領域＞
この第１例では、フレーミング決定部１５が、ローカル座標系Ｌにおける楕円体状の部分領域を表したフレーミング情報を生成する。例えば、この部分領域は、期待値ベクトルξを中心とし、分散・共分散行列Ｖに応じた広がりを有する楕円体とする。従って、フレーミング決定部１５は、以下の式（４）により、統計量（期待値ベクトルξ及び分散・共分散行列Ｖ）で表される楕円体状の部分領域Ａを特定するフレーミング情報を生成する。
なお、定数ｒは、０以上の値で予め設定された実数であり、例えば、０．１乃至１０で設定する。また、定数ｒの値が大きくなる程、部分領域Ａの体積が大きくなる。また、Ｙはローカル座標系Ｌの各点を表す。

この第１例のフレーミング情報を用いれば、３Ｄディスプレイで再現すべき視野及び奥行き範囲を決定することが可能となる。さらに、このフレーミング情報を用いれば、仮想カメラで撮影する場合や、自動雲台及びサーボ付きレンズを備える実写カメラを制御して撮影する場合において、これらカメラの撮影姿勢及び撮影画角を適切に算出することもできる。

＜第２例：ローカル座標系における直方体状の部分領域＞
この第２例では、フレーミング決定部１５が、前記した第１例の楕円体を近似する直方体状の部分領域Ａを表したフレーミング情報を生成する。
例えば、直方体状の部分領域Ａは、式（４）の楕円体に内包される最大のもの、又は、式（４）の楕円体を内包する最小のものとする。この直方体状の部分領域Ａは、ローカル座標系Ｌの各軸と平行な各辺を有するものとする。
この第２例のフレーミング情報を用いれば、第１例と同様の効果に加え、近似により演算量を低減することができる。

＜第３例：重要度の付加＞
この第３例では、フレーミング決定部１５が、部分領域Ａ又はこの部分領域Ａをさらに分割した分割領域毎に、重要度（第２の重要度）Ｊ（Ｙ）を算出する。この分割領域は、部分領域Ａを所定サイズのメッシュに分割したものである。また、重要度Ｊ（Ｙ）は、表示デバイスに合わせた映像コンテンツの切り出しに利用できる。

例えば、フレーミング決定部１５は、ローカル座標系Ｌにおける部分領域Ａに付随して、以下の式（５）で表されるように、楕円体の中心に近づくほど高い値をとる重要度Ｊ（Ｙ）を算出してもよい。

また、フレーミング決定部１５は、ローカル座標系Ｌの各点Ｙに付随して、以下の式（６）で表されるように、ローカル座標系Ｌの第３成分（例えば、奥行き成分）が大きいほど小さい値をとる重要度Ｊ（Ｙ）を算出してもよい。その後、フレーミング決定部１５は、算出した重要度Ｊ（Ｙ）をフレーミング情報に付加する。

この第３例のフレーミング情報を用いれば、３Ｄディスプレイで再現すべき視野及び奥行き範囲を決定することが可能となる。さらに、このフレーミング情報を用いれば、インテグラル方式やレンチキュラ方式のように奥行き再現範囲が限定される３Ｄディスプレイにおいて、重要度の低い領域を奥行き方向に圧縮して表示することが可能となる。

＜第４例：カメラの姿勢及び画角＞
この第４例では、フレーミング決定部１５が、カメラの姿勢角３自由度及び画角１自由度を表したフレーミング情報を生成する。このカメラは、ローカル座標系Ｌの原点に第一光学主点を合わせるように設置されている。また、ローカル座標系Ｌの第１軸をカメラで撮影した画像平面の水平右向きとし、第２軸をカメラで撮影した画像平面の垂直下向きとし、第３軸をカメラの光軸奥向きとする。

例えば、フレーミング決定部１５は、カメラ（実写カメラだけでなく仮想カメラも含む）で撮影する場合、以下の式（７）で表されるパン角α及びチルト角δと、式（８）で表される焦点距離ｆとを算出する。

例えば、焦点距離ｆは、ローカル座標系Ｌの原点から式（４）で表される楕円体（内側を含む）の中心までの距離に応じて長く、かつ、式（４）で表される楕円体（内側を含む）の広がりに応じて短くなる。
なお、式（８）のｔｒは、トレースを表す。また、定数ｃは、任意の値で設定可能であり、例えば、カメラのセンササイズの０．１倍乃至１０倍程度の値（例えば、０．８倍）とする。また、パン角α、チルト角δ及び焦点距離ｆの全てを求めるものとして説明したが、何れか１以上を求めてもよい。

この第４例のフレーミング情報を用いれば、仮想カメラで撮影する場合や、自動雲台及びサーボ付きレンズを備える実写カメラを制御して撮影する場合において、これらカメラの撮影姿勢及び撮影画角を適切に算出できる。その結果、これらカメラが、部分領域Ａを適切な姿勢及び画角で撮影することが可能となる。

［自動フレーミング装置の動作］
図７を参照し、自動フレーミング装置１の動作について説明する。
図７に示すように、ステップＳ１において、走査部１０は、インデックスｎを初期化する（ｎ＝１）。
ステップＳ２において、インデックスｎに基づいて、ｎ番目のフレーミング補助データＦ_ｎ（世界座標値Ｘ_ｎ、識別子Ｉ_ｎ、重要度Ｗ_ｎ）を選択する。

ステップＳ３において、フィルタ部１２は、演出プロファイルとフレーミング補助データＦ_ｎとを照合し、照合の度合いに応じた加重値Ｖ_ｎを算出する
ステップＳ４において、加重統計部１３は、世界座標値Ｘ_ｎを加重値Ｖ_ｎで加重し、加重した世界座標値Ｘ_ｎにおける統計量（期待値ベクトルμ、分散・共分散行列Ｓ）を算出する。

ステップＳ５において、座標変換部１４は、座標変換パラメータにより、世界座標系Ｗにおける統計量をローカル座標系Ｌにおける統計量（期待値ベクトルξ及び分散・共分散行列Ｖ）に変換する
ステップＳ６において、フレーミング決定部１５は、ローカル座標系Ｌにおける統計量（期待値ベクトルξ及び分散・共分散行列Ｖ）に基づいて、注目すべき被写体の部分領域Ａを特定するためのフレーミング情報を生成する。

ステップＳ７において、走査部１０は、インデックスｎがＮ以上であるか否かを判定する。
インデックスｎがＮ未満の場合（ステップＳ７でＮｏ）、ステップＳ８の処理に進む。
ステップＳ８において、走査部１０は、インデックスｎをインクリメントし（ｎ＝ｎ＋１）、ステップＳ２の処理に戻る。
インデックスｎがＮ以上の場合（ステップＳ７でＹｅｓ）、フレーミング決定部１５がフレーミング情報を出力し、処理を終了する。

［作用・効果］
以上のように、自動フレーミング装置１によれば、様々な制作手法に対応した注目すべき被写体の部分領域を特定するためのフレーミング情報を生成することができる。
つまり、自動フレーミング装置１によれば、ローカル座標系Ｌにおける注目すべき部分領域Ａを演出プロファイルに応じて適応的に特定することができ、その注目すべき部分領域Ａをフレーミング情報として出力することができる。その結果、番組演出等に応じて撮影エリアを自動決定することが可能となる。また、カメラごとに個別に定義されたローカル座標系Ｌにおいて注目すべき領域を判断するため、カメラの設置位置によらず適切にフレーミングを行うことが可能となる。

（変形例１）
以上、実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

前記した実施形態では、世界座標系からローカル座標系に変換するものとして説明したが、これに限定されない。例えば、ローカル座標系と世界座標系が同一の場合、図８に示すように、座標変換部１４を省略して自動フレーミング装置１Ｂを構成してもよい。この場合、自動フレーミング装置１Ｂは、世界座標系における統計量をローカル座標系に変換しない。従って、フレーミング決定部１５Ｂは、ローカル座標系における統計量（期待値ベクトルξ及び分散・共分散行列Ｖ）の代わりに、世界座標系における統計量（期待値ベクトルμ、分散・共分散行列Ｓ）を用いる。他の点、自動フレーミング装置１Ｂは、第１実施形態と同様のため、これ以上の説明を省略する。

このように、自動フレーミング装置１Ｂによれば、世界座標系における注目すべき部分領域Ａを演出プロファイルに応じて適応的に特定することができ、その注目すべき部分領域Ａをフレーミング情報として出力することが可能となる。その結果、番組演出等に応じて撮影エリアを自動決定することが可能となる。

（その他変形例）
前記した実施形態では、統計量として、期待値ベクトル（平均値）及び分散・共分散行列（分散値）を求めるものとして説明したが、これに限定されない。例えば、統計量として、中央値、最大値又は最小値の何れか１以上を求めてもよい。

前記した実施形態では、自動フレーミング装置が映像コンテンツを制作する放送局側に配置されているものとして説明したが、これに限定されない。例えば、自動フレーミング装置は、映像コンテンツを視聴する受信機に内蔵されてもよい。これにより、受信機側でも、フレーミング情報を用いて、様々な映像演出が可能となる。

前記した実施形態では、自動フレーミング装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した自動フレーミング装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１，１Ｂ 自動フレーミング装置（フレーミング情報生成装置）
１０ 走査部
１１ 選択部
１２ フィルタ部（照合部）
１３ 加重統計部
１４ 座標変換部
１５，１５Ｂ フレーミング決定部（フレーミング情報生成部）

Claims (8)

1. 被写体の世界座標と前記被写体を一意に識別する識別子及び、前記被写体全体又は一部の重要さを示す第１の重要度との組を記述したフレーミング補助データと、注目すべき前記被写体の一部である部分領域を特定するフレーミング対象を記述した演出プロファイルとに基づいて、前記被写体の前記部分領域である前記フレーミング対象を特定するフレーミング情報を生成するフレーミング情報生成装置であって、
   前記フレーミング補助データを入力し、当該フレーミング補助データを１組ずつ順次選択する選択部と、
   前記演出プロファイルを入力し、当該演出プロファイルと前記選択部で選択されたフレーミング補助データとを照合し、照合の度合いに応じた加重値を算出する照合部と、
   前記被写体の世界座標を前記加重値で加重し、加重した前記世界座標の予め定めた統計量を算出する加重統計部と、
   前記統計量に基づいて、前記フレーミング情報を生成するフレーミング情報生成部と、
   を備えることを特徴とするフレーミング情報生成装置。
2. 予め設定された座標変換パラメータにより、前記世界座標における統計量をローカル座標における統計量に変換する座標変換部、をさらに備え、
   前記フレーミング情報生成部は、前記ローカル座標における統計量に基づいて、前記フレーミング情報を生成することを特徴とする請求項１に記載のフレーミング情報生成装置。
3. 前記フレーミング情報生成部は、前記統計量で表される楕円体状の部分領域又は当該楕円体を近似する直方体状の部分領域を特定する前記フレーミング情報を生成することを特徴とする請求項１又は請求項２に記載のフレーミング情報生成装置。
4. 前記フレーミング情報生成部は、前記部分領域又は当該部分領域をさらに分割した分割領域毎に、前記部分領域の中心位置又は奥行方向を基準として第２の重要度を算出し、算出した前記第２の重要度を前記フレーミング情報に付加することを特徴とする請求項１から請求項３の何れか一項に記載のフレーミング情報生成装置。
5. 前記フレーミング情報生成部は、前記ローカル座標における統計量と前記ローカル座標で表されるカメラの設置位置とに基づいて、前記カメラの姿勢角３自由度及び画角１自由度のうちの何れか１以上を前記フレーミング情報として生成することを特徴とする請求項２に記載のフレーミング情報生成装置。
6. 前記加重統計部は、前記統計量として、期待値、分散値、中央値、最大値又は最小値の何れか１以上を算出することを特徴とする請求項１から請求項５の何れか一項に記載のフレーミング情報生成装置。
7. 前記照合部は、
   前記被写体の識別子と属性とを記述した識別補助データ、及び、前記フレーミング対象を前記属性で記述した前記演出プロファイルが入力され、
   前記属性により前記識別補助データと前記演出プロファイルとを照合して前記識別子を特定し、
   特定した前記識別子により前記演出プロファイルと前記選択部で選択されたフレーミング補助データとの照合を行うことを特徴とする請求項１から請求項６の何れか一項に記載のフレーミング情報生成装置。
8. コンピュータを、請求項１から請求項７の何れか一項に記載のフレーミング情報生成装置として機能させるためのプログラム。

Images