JP7073092B2

JP7073092B2 - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP7073092B2
Application number: JP2017246040A
Authority: JP
Inventors: 貴志花本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-01-06
Filing date: 2017-12-22
Publication date: 2022-05-23
Anticipated expiration: 2037-12-22
Also published as: JP2018113683A

Description

本発明は、仮想視点に関するパラメータを設定する技術に関する。

複数台の実カメラで撮影した映像を用いて、3次元空間内に仮想的に配置した実際には存在しないカメラ（仮想カメラ）からの映像を再現する技術として、仮想視点映像技術がある。仮想視点映像の生成においては、実カメラで撮影された映像間の死角によって仮想カメラからの映像を再現できない領域が存在する。また、仮想カメラが実カメラよりも撮影シーン内の人物等（オブジェクト）に近づいた場合は、オブジェクトの解像度合いが低下するためボケた映像となる。これらを考慮せずに、仮想カメラの経路（時間軸に沿った仮想カメラの位置移動）を設定すると、得られる仮想視点映像は低画質なものになってしまう。そのため、出来上がった仮想視点映像をプレビュー画面等で確認し、仮想カメラの経路設定を幾度となくやり直す（再設定する）ことになる可能性がある。

この点、例えば実カメラで撮影した映像間での死角の情報をユーザに提示するという技術が提案されている（特許文献１）。この特許文献１の技術においては、死角領域や観察者に見せたくない領域を2Dマップ上に可視化することで、実際に仮想視点映像を生成せずとも、事前に死角領域を確認することを可能にしていた。

特開２０１１－１７２１６９号公報

しかしながら、上記特許文献１の手法では、仮想視点の設定前に仮想視点の位置と仮想視点映像の品質の対応関係を確認することができなかった。そこで本発明では、仮想視点の設定前に仮想視点の位置と仮想視点映像の品質の対応関係を確認することができるようにする。これにより、仮想カメラの経路設定のやり直し作業を抑制することを目的とする。

本発明に係る画像処理装置は、第１の撮影装置群に含まれる複数の撮影装置が撮影する撮影領域が重複する第１の共通領域と、前記第１の撮影装置群とは異なる第２の撮影装置群に含まれる複数の撮影装置が撮影する撮影領域が重複する第２の共通領域であって前記第１の共通領域に対応する撮影画像よりも撮影画像の解像度が高い第２の共通領域とを特定する特定手段と、前記特定手段により特定される前記第１の共通領域及び前記第２の共通領域に基づく情報を表示手段に表示させる表示制御手段と、前記表示制御手段により表示手段に表示される情報に基づくユーザ入力に基づいて、前記第１の撮影装置群及び前記第２の撮影装置群に含まれる複数の撮影装置により得られる複数の撮影画像に基づいて生成される仮想視点映像に係る仮想視点を表す情報を決定する決定手段と、を有することを特徴とする。

本発明によれば、仮想カメラの経路設定において、出来上がった仮想視点映像におけるオブジェクトの解像度合いをユーザは事前に把握することができる。これにより、仮想カメラの経路設定のやり直し作業が抑制される。

仮想視点映像システムの構成の一例を示す図である。（ａ）はカメラ配置の一例を示す図、（ｂ）は各カメラ群に属するカメラの撮影領域を示す図である。仮想視点映像が生成されるまでの全体の流れを示したフローチャートである。仮想カメラのパラメータ設定に使用するGUI画面が生成される過程を示すフローチャートである。カメラ群毎の共通撮影領域の導出方法を説明する図である。カメラ群毎の共通撮影領域がフィールドマップ上に投影された結果の一例を示す図である。仮想カメラのパラメータ設定処理の流れを示すフローチャートである。仮想カメラのパラメータ設定用GUI画面の一例を示す図である。実施形態２に係る、仮想カメラの高さ調整処理の詳細を示したフローチャートである。仮想視点映像のサンプル画像の一例を示す図である。（ａ）～（ｃ）はいずれもサンプル画像の作成手法を説明する図である。実施形態３に係る、仮想カメラおよび注視点パスの指定処理の詳細を示したフローチャートである。交差判定を説明する図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

実施形態１

図１は、本実施形態における、仮想視点映像システムの構成の一例を示す図である。図１に示す仮想視点映像システムは、画像処理装置１００と2種類のカメラ群１０９及び１１０とで構成される。そして、画像処理装置１００は、CPU１０１、メインメモリ１０２、記憶部１０３、入力部１０４、表示部１０５、外部I/F１０６を備え、各部がバス１０７を介して接続されている。まず、CPU１０１は、画像処理装置１００を統括的に制御する演算処理装置であり、記憶部１０３等に格納された各種プログラムを実行して様々な処理を行う。メインメモリ１０２は、各種処理で用いるデータやパラメータなどを一時的に格納するほか、CPU１０１に作業領域を提供する。記憶部１０３は、各種プログラムやGUI（グラフィカル・ユーザ・インターフェイス）表示に必要な各種データを記憶する大容量記憶装置で、例えばハードディスクやシリコンディスク等の不揮発性メモリが用いられる。入力部１０４は、キーボードやマウス、電子ペン、タッチパネル等の装置であり、様々なユーザ入力を受け付ける。表示部１０５は、液晶パネルなどで構成され、仮想視点映像生成時の仮想カメラの経路設定のためのGUI表示などを行う。外部I/F部１０６は、カメラ群１０９及び１１０を構成する各カメラとネットワーク（ここではLAN１０８）を介して接続され、映像データや制御信号データの送受信を行う。バス１０７は上述の各部を接続し、データ転送を行う。

上記2種類のカメラ群は、それぞれズームカメラ群１０９と広角カメラ群１１０である。ズームカメラ群１０９は、画角の狭いレンズ（例えば10度）を搭載した複数台のカメラで構成されている。広角カメラ群１１０は、画角の広いレンズ（例えば45度）を搭載した複数台のカメラで構成されている。そして、ズームカメラ群１０９及び広角カメラ群１１０を構成している各カメラはLAN１０８経由で画像処理装置１００に接続されている。また、ズームカメラ群１０９及び広角カメラ群１１０は画像処理装置１００からの制御信号をもとに、撮影の開始と停止、カメラ設定（シャッタースピード、絞りなど）の変更、撮影した映像データの転送を行う。

なお、システム構成については、上記以外にも、様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。

図２（ａ）は、例えばサッカー等を行う競技場に、ズームカメラ群１０９と広角カメラ群１１０の2種類のカメラ群からなる撮像システムにおけるカメラ配置の一例を示した図である。競技を行うフィールド２０１上にはオブジェクト２０２としての選手が存在している。そして、ズームカメラ群１０９を構成する12台のズームカメラ２０３と広角カメラ群１１０を構成する12台の広角カメラ２０４がフィールド２０１を取り囲むように配置されている。図２（ｂ）において点線で囲まれた領域２１３は、ズームカメラ２０３の撮影領域を示している。ズームカメラ２０３は画角が狭いため撮影領域は狭いが、オブジェクト２０２を撮影した際の解像度合いは高いという特性を持つ。また、図２（ｃ）において点線で囲まれた領域２１４は、広角カメラ２０４の撮影領域を示している。広角カメラ２０４は画角が広いため撮影領域は広いが、オブジェクト２０２を撮影した際の解像度合いは低いという特性を持つ。なお、図２（ｂ）では撮影領域の形状を便宜的に楕円で示しているが、後述のとおり各カメラの実際の撮影領域の形状は矩形・台形であるのが一般的である。

図３は、画像処理装置１００において仮想視点映像が生成されるまでの全体の流れを示したフローチャートである。この一連の処理は、CPU１０１が、所定のプログラムを記憶部１０３から読み込んでメインメモリ１０２に展開し、これをCPU１０１が実行することで実現される。

ステップ３０１では、ズームカメラ群１０９及び広角カメラ群１１０に対して、撮影時の露光条件等の撮影パラメータと撮影開始の信号が送信される。各カメラ群に属する各カメラは、受信した撮影パラメータに従って撮影を開始し、得られた映像データを各カメラ内のメモリに保持する。

ステップ３０２では、ズームカメラ群１０９に属する各ズームカメラ２０３によって撮影された複数視点映像データ及び広角カメラ群１１０に属する各広角カメラ２０４によって撮影された複数視点映像データが取得される。取得された複数視点（ここでは各12視点）の映像データは、メインメモリ１０２に展開される。

ステップ３０３では、ステップ３０２で取得した複数視点映像データを用いてオブジェクトの3次元形状の推定処理が実行される。推定手法としては、オブジェクトの輪郭情報を用いるVisual-hull手法や、三角測量を用いたMulti-view stereo手法など公知の手法を適用すればよい。

ステップ３０４では、推定したオブジェクト形状データに基づき、自由始点映像の生成に必要な仮想カメラの移動経路といった各種パラメータが設定される。仮想カメラのパラメータ設定に関する処理の詳細に関しては、後に詳述する。

ステップ３０５では、設定された仮想カメラパラメータに従って、仮想視点映像が生成される。仮想視点映像は、推定されたオブジェクト形状に対して、設定された仮想カメラから見た映像をコンピュータグラフィックスの技術を用いることで生成することができる。

ステップ３０６では、仮想カメラのパラメータ設定を変更して新たな仮想視点映像を生成するかどうかが判定される。この処理は、不図示のプレビュー画面に表示された仮想視点映像を見て、その画質等を確認したユーザからの指示に基づいてなされる。ユーザが仮想視点映像を生成し直したいと考えた場合は、改めて仮想カメラに関するパラメータ設定を行なう（ステップ３０４に戻る。）。そして、パラメータを変更すると、変更後の内容で仮想視点映像が改めて生成される。一方、生成された仮想視点映像に問題がなければ本処理を終える。以上が、本実施形態に係る、仮想視点映像が生成されるまでの大まかな流れである。

続いて、前述のステップ３０４における仮想カメラのパラメータ設定処理で使用するGUI画面の準備処理について説明する。図４は、仮想カメラのパラメータ設定に使用するGUI画面が生成される過程を示すフローチャートである。なお図４の処理は、図３で示す各処理に先駆けて実行されていても良いし、ステップ３０４が実行されるタイミングで実行されても良い。

ステップ４０１では、すべてのカメラ群（ここではズームカメラ群と１０９と広角カメラ群１１０の2種類）のカメラ情報が取得される。カメラ情報には、各カメラ群に属するカメラの設置場所、注視点位置、画角といった情報が含まれる。本実施形態において注視点位置とは、２４台のすべてのカメラの撮影の中心となる位置である。これらの情報は予め記憶部１０３に保持しておいたものを読み出して取得してもよいし、LAN１０８を介して各カメラ（或いは各カメラ群を代表する１台のカメラ）にアクセスして取得してもよい。

ステップ４０２では、取得した各カメラ群のカメラ情報に基づいて、略同じ画角を有する複数のカメラの撮影領域が重複する領域（共通撮影領域）が、カメラ群単位で導出される。ここで、「略同じ」と表現しているのはカメラから注視点までの距離の差によってカメラ間で微細な画角の変動が発生するためである。なお、同じカメラ群に属する各カメラの画角は完全に同じでなくてもよい。図５は、カメラ群毎の共通撮影領域の導出方法を説明する図である。いま、フィールド２０１に対して同じカメラ群に属する2台のカメラ５０１と５０２が同じ注視点を向いて撮影を行っている。このとき、カメラ５０１とカメラ５０２が属するカメラ群の撮影領域は、カメラ５０１から注視点に向けた四角錐とフィールド２０１との交面５１１と、カメラ５０２から注視点に向けた四角錐とフィールド２０１との交面５１２とが重複する領域５１３として求められる。ここでは、説明の便宜上、カメラ５０１と５０２の2台で説明を行ったが、3台以上でも考え方は同じである。こうして、各カメラ群についての共通撮影領域が導出される。

ステップ４０３では、フィールド２０１を含む撮影空間全体の俯瞰図（フィールドマップ）上に、導出したカメラ群毎の共通撮影領域のそれぞれが認識可能な態様で可視化して投影される。図６は、フィールドマップ上に、カメラ群毎の共通撮影領域が認識可能に投影された結果の一例を示す図である。図６において、矩形の枠６００がフィールドマップを示す。そして、破線の楕円６０１がズームカメラ群１０９の共通撮影領域（以下、ズームカメラ群撮影領域）を示している。ズームカメラ群撮影領域６０１内では、ズームカメラ群１０９で撮影した複数視点映像を用いた仮想視点映像の生成が可能である。ズームカメラ群撮影領域６０１内では、オブジェクトの解像度合いが相対的に高いため、仮想カメラをオブジェクトに近づけても（仮想カメラの高さを低くしても）、仮想視点映像の画質を維持することが可能である。本実施形態の場合、ズームカメラ群撮影領域６０１は、ズームカメラ群１０９に属する12台全てのズームカメラ２０３の撮影領域が重複する領域となっている。そして、一点鎖線の楕円６０２が広角カメラ群１１０の共通撮影領域（以下、広角カメラ群撮影領域）を示している。広角カメラ群撮影領域６０２内では、広角カメラ群１１０で撮影した複数視点映像を用いた仮想視点映像の生成が可能である。広角カメラ群撮影領域６０２内では、オブジェクトの解像度合いが相対的に低いため、仮想カメラをオブジェクトに一定以上近づける（仮想カメラの高さを一定以下に低くする）と、仮想視点映像の画質が悪化することになる。本実施形態の場合、広角カメラ群撮影領域６０２は、広角カメラ群１１０に属する12台全ての広角カメラ２０４の撮影領域が重複する領域となっている。また、フィールドマップ６００内の斜線で示す領域６０３は、本実施形態において画角の広い広角カメラ群１１０に属する各広角カメラ２０４の撮影領域が重複せず、一定の品質の仮想視点映像生成が不可能な領域（以下、仮想視点映像生成不可領域）を示している。図６の例では、ズームカメラ群撮影領域と広角カメラ群撮影領域の外縁がそれぞれ破線と一点鎖線で示され、さらに仮想視点映像生成不可領域が斜線で示されているが、これに限定されない。仮想視点映像を生成可能なカメラ群毎の共通撮影領域がユーザに認識可能なように表示されていればよく、例えば色分けなどによって各領域を示してもよい。なお、図６では、説明の便宜上、各カメラ群の共通撮影領域の形状を楕円で示しているが、実際には多角形となる。このようにして、仮想カメラのパラメータ設定処理で使用するGUI画面の準備が整う。

次に、本実施形態に係る、仮想カメラのパラメータ設定処理について、図７のフローを参照して説明する。図７の処理は、図３のステップ３０４の処理に対応する。まず、ステップ７０１では、仮想カメラのパラメータ設定用GUI画面が表示部１０５に表示される。図８は、GUI画面の一例を示す図である。図８（ａ）に示すGUI画面８００では、前述の準備処理で得られたフィールドマップ６００が画面左側に表示されており、その上に前述のステップ３０３で推定したオブジェクト形状８１０がマッピングされている。

ステップ７０２では、表示されたGUI画面を介して、仮想カメラの移動経路（カメラパス）や注視点の移動経路（注視点パス）の指定を受け付ける。ユーザは、ボタン８０１又は８０３を押下した後、フィールドマップ６００上でマウス等を操作してカーソルを移動することで、その移動軌跡をカメラパス又は注視点パスとして指定する。図８（ａ）において太線の矢印８１１は指定されたカメラパスを、点線の矢印８１２は指定された注視点パスを示している。このようにして指定されたカメラパスと注視点パスとは、設定フレームにおいて整合するように対応付けられている。つまり、仮想視点映像が例えば600フレームで構成されている場合、それぞれのパスをフレーム数で分割した各分割点を矢印の開始点から順に対応させておく。ユーザがカメラパス８１１上の任意の位置（座標）にカーソルを移動し、マウス等のクリック操作を行うと、カーソルに最も近い分割点P0を選択・表示し、P0に対応する注視点位置Q0も表示する。このとき、仮想カメラから見た画角領域８１３も同時に表示される。ユーザは注視点Q0、オブジェクト８１０、画角領域８１３の位置関係を把握することができるため、注視点Q0やオブジェクト８１０がズームカメラ群撮影領域６０１、広角カメラ群撮影領域６０２及び仮想視点映像生成不可領域６０３のうち、どの領域に収まるか、すなわち、仮想視点映像がどのような解像度になるかを確認しつつ指定作業を行うことができる。そのため、カメラパス等を適切に設定することができ、指定作業のやり直し回数を抑制することができる。なお、P0、Q0をマウス等で移動させることにより、パスの修正を行うことも可能である。また、仮想カメラパスのフィールド２０１からの高さはデフォルト値（例えば、15ｍ）となり、注視点パスの高さは仮想カメラパスよりも低いデフォルト値（例えば、1m）を設定する。

ステップ７０３では、仮想カメラおよび注視点の高さ調整を行うか否かによって処理の切り分けがなされる。ユーザがカメラパス高さ編集ボタン８０２または、注視点パス高さ編集ボタン８０４を押下した場合は、ステップ７０４に進む。

ステップ７０４では、仮想カメラおよび注視点の高さを調整する処理（高さ調整処理）が実行される。ここでは、仮想カメラの高さを調整する処理を例に説明を行う。ユーザは、カメラパス８１１上の任意の位置（座標）にカーソルを移動し、マウス等のクリック操作を行うことによって、高さを変更したい仮想カメラの位置（高さ編集点）を指定する。ここでも、ステップ７０３と同様にカーソルに最も近い分割点を高さ編集点として選択・表示する。図８（ｂ）において、カメラパス８１１上に×印で示された箇所が、ユーザによって指定された高さ編集点を示している。この高さ編集点は複数個設定することが可能である。図８（ｂ）の例では、P1とP2の2つの高さ編集点が設定されており、それに合わせて、P1とP2と対応する注視点パス８１２上の点Q1、Q2を表示する。また、P1とQ1、P2とQ2を結ぶ距離をGUI上に表示する。これは、仮想カメラと注視点との距離によって仮想視点映像内のオブジェクトのサイズが変化するためである。距離が近い程、オブジェクトのサイズが大きくなり、ボケた映像になりやすくなる。図８（ｂ）の場合、P1～Q1間が24mで、P2～Q2間が20mとなっており、P2～Q2の方がよりボケやすい映像となる。高さ編集点が設定されると、GUI画面８００内に高さ設定ウィンドウ８２０が表示され、ユーザは高さ設定ウィンドウ８２０内の各編集点に対応する入力欄８２１に任意の値（単位：m）を入力することによって当該位置における仮想カメラの高さを変更することができる。この際もユーザは、ズームカメラ群撮影領域６０１や広角カメラ群撮影領域６０２、仮想カメラと注視点との間の距離を確認しながら任意の値を指定できるため、仮想カメラの高さを適切に設定できる。なお、高さ編集点によって高度が変更された箇所以外の高さは、近接する位置の高さ編集点又はデフォルト値から補間して、高さが急激に変化しないように調整される。

以上が、本実施形態に係る仮想カメラのパラメータ設定処理の内容である。なお、本実施形態のGUI画面では、各カメラ群撮影領域を2次元で表示していたが、3次元表示してもよい。

以上のとおり本実施形態によれば、仮想カメラの移動経路や高さといったパラメータを、ユーザは各カメラ群の撮影領域を把握しながら設定することできる。これにより仮想視点映像生成時におけるパラメータ設定作業のやり直しを抑制することが可能となる。

実施形態２

実施形態１では、仮想カメラのパラメータ設定用GUI画面上にカメラ群毎の共通撮影領域を可視化してフィールドマップ上に投影することで、カメラパス等を適切に設定できるようにした。次に、仮想カメラの高さ調整においてオブジェクトの解像度合いを直接的にユーザが確認できるようにする態様について、実施形態２として説明する。

基本的なシステム構成や自視点映像生成処理の大まかな流れは実施形態１と同一であるため説明を省略し、以下では差異点を中心に説明する。

図９は、本実施形態に係る、仮想カメラの高さ調整処理（前述のステップ７０４）の詳細を示したフローチャートである。

ステップ９０１では、高さ編集点の指定を受け付ける。ここでも前述の図８（ｂ）に示すようにP1とP2の2点が指定されたものとする。続くステップ９０２では、指定された高さ編集点における高さの下限値を取得する。高さの下限値とは、オブジェクトの解像度合いとして許容し得る最低限のレベルに対応する仮想カメラの高さを示し、仮想カメラと注視点との間の距離と、仮想カメラの画角、注視点の位置するカメラ群撮影領域の組合せで予め決定しておく。つまり、注視点が高解像度のカメラ群撮影領域に位置する場合、仮想カメラと注視点との間の距離を短くできるため、高さの下限値は低くなる。一方、注視点が低解像度のカメラ群撮影領域に位置する場合、高さの下限値は高くなる。また、画角が広い場合は高さ下限値が低くなり、画角が狭い場合は高さ下限値が高くなる。解像度合いが許容できるか否かは、例えば実カメラにおけるオブジェクトの解像度合いを下回るかどうかといった基準に依って判断される。高さ下限値の取得にあたっては、まず、指定された高さ編集点の注視点座標を取得し、当該座標に対応する各カメラ群撮影領域の分類情報、仮想カメラと注視点との間の距離及び仮想カメラの画角の情報を取得する。分類情報とは、座標位置毎に付与された、ズームカメラ群撮影領域６０１や広角カメラ群撮影領域６０２であることを示すフラグなどの情報を意味する。そして、取得したこれらの情報に基づき、指定された高さ編集点における仮想カメラの高さ下限値を取得する。

ステップ９０３では、取得した高さ下限値に対応する仮想視点映像のサンプル画像を表示する。サンプル画像は、実カメラの映像からオブジェクトを切り出したものである。切り出し手法を、図１１（ａ）及び（ｂ）を用いて説明する。図１１（ａ）は、ある実カメラで撮影した画像１１０１を示す。画像１１０１には、５人の選手に相当するオブジェクトＡ～Ｅが写っている。この画像１１０１に対して、オブジェクトＡ～Ｅのそれぞれの顔や背番号を既存の認識技術を用いて識別することで、オブジェクト毎にその領域を切り出したサンプル画像が得られる。得られたサンプル画像のデータは、その画素数（幅と高さ）の情報と共に記憶部１０３に保持する。図１１（ｂ）は、別の実カメラで撮影した画像１１０２を示す。この画像１１０２に対しても同様の処理を施してサンプル画像を取得する。そして、新たに作成したサンプル画像の画素数が、その前に作成したサンプル画像の画素数を上回るならば、新たに作成したサンプル画像で上書き（更新）するという処理を、オブジェクト単位で繰り返す。この処理を全ての実カメラで実行することにより、最も解像度の高いサンプル画像をオブジェクト毎に用意できる。サンプル画像を表示する際には、仮想カメラとオブジェクトとの距離、仮想カメラの画角に応じて、サンプル画像を縮小する。この縮小の方法を、図１１（ｃ）を用いて説明する。まず、注視点に最も近いオブジェクトを検出し、そのオブジェクトのサンプル画像のデータを記憶部１０３からメインメモリ１０２に読み込む。次に、仮想カメラとオブジェクトとの間の距離、仮想カメラの画角から、仮想視点映像におけるオブジェクト領域の画素数を算出する。具体的には、検出されたオブジェクトの位置に、選手の標準的な身長サイズの三次元モデル１１２２を配置し、仮想カメラ１１２１から見た場合のプレビュー画像１１２３を描画することで算出できる。そして、プレビュー画像１１２３におけるオブジェクト領域とサンプル画像の画素数（幅と高さ）とが一致・または近似値になるように、サンプル画像を縮小する。縮小後は、GUI画面８００に表示するため、適切なサイズに単純補間で拡大する。サンプル画像は、例えば図１０（ａ）に示すサブウインドウのような形式でGUI画面８００上に表示する。これによりユーザは、高さを下限値まで下げた場合のオブジェクトの解像度合いを実際の画像で確認できる。このとき、図１０（ａ）に示すように、対応する高さ下限値をサンプル画像と併せて表示すようにしてもよい。

ステップ９０４では、指定された高さ編集点について、高さ設定ウィンドウ８２０を介して入力された高さの変更を受け付ける。続くステップ９０５では、変更後の高さが、高さ下限値を下回っているかどうかを判定する。変更後の高さが下限値を下回っている場合は、ステップ９０６に進む。一方、変更後の高さが下限値以上の場合は、本処理を抜ける。

ステップ９０６では、サンプル画像を変更後の高さに応じた内容、すなわち、許容の限界を超えた低解像度のサンプル画像に更新する。図１０（ｂ）は、更新後のサンプル画像の一例を示しており、高さ調整点P2に対応するサンプル画像がボケているのが分かる。この更新後のサンプル画像は、上述のステップ９０３と同様、設定後の仮想カメラと注視点との間の距離ならびに仮想カメラの画角に応じて、オブジェクト固有のサンプル画像を縮小・拡大表示したものである。この際、高さ下限値を下回ったことを示す、例えば「下限値を下回っています。」といったメッセージの表示（警告表示）を行ってもよい。続くステップ９０７では、高さの再変更の有無に応じて処理を切り替える。新たな高さの指定があった場合はステップ９０４に戻る。新たな高さの指定がなかった場合は本処理を抜ける。

なお、本実施形態では、実際の試合を撮影した実カメラの映像をサンプル画像として用いたが、例えば、練習中の映像やスタジオで撮影したポートレートなどを用いても良いし、コンピュータグラフィックスを用いて、人物をレンダリングした画像を用いてもよい。また、解像度を確認できれば良いので、実際のオブジェクトとは別のオブジェクトを用いた画像をサンプル画像としても構わない。

以上が、本実施形態に係る仮想カメラの高さ調整処理の内容である。本実施形態の場合、仮想カメラの高さを編集する際に、指定した高さ編集点における高さの下限値に対応するサンプル画像が可視化されて表示されるため、ユーザはより適切な高さを判断し易くなる。

実施形態３

実施形態１では、仮想カメラのパラメータ設定用GUI画面上にカメラ群毎の共通撮影領域を可視化してフィールドマップ上に投影することで、カメラパス等を適切に設定できるようにした。次に、オブジェクトの解像度合いが急激に変動する領域をユーザが確認できるようにする態様について、実施形態３として説明する。

基本的なシステム構成や仮想視点映像生成処理の大まかな流れは実施形態１と同一であるため説明を省略し、以下では差異点を中心に説明する。

図１２は、本実施形態に係る、注視点パスの設定処理（前述のステップ７０２に相当）の詳細を示したフローチャートである。

ステップ１２０１では、注視点の指定を受け付けた後に、注視点パスを探索する。これは注視点の座標値がどのカメラ群の撮影領域を移動するかを調査する処理である。次に、ステップ１２０２では、探索によって判明した注視点パスが、複数のカメラ群の撮影領域を交差するかどうかを判定する。図１３は、この交差判定を説明する図である。図１３の例では、広角カメラ群撮影領域６０２から開始した注視点パス８１２が、ズームカメラ群撮影領域６０１を通過し、再び広角カメラ群撮影領域６０２に戻っている。よって、この場合は交差していると判定されることになる。このように交差しているとの判定結果の場合はステップ１２０３に進む。一方、交差していないとの判定結果の場合は、本処理を終了する。ステップ１２０３では、図１３に示すように、解像度の段差マーク１３０１を、撮影領域と注視点パスとが交差する座標位置に表示する。これは、指定された注視点が、複数のカメラ群の撮影領域を跨ぐように移動することで、カメラの焦点距離が変化する段差マーク１３０１近辺で解像感が急激に変動する可能性があり、それをユーザに警告するためである。このような場合、段差マーク１３０１近辺では、仮想カメラを注視点から遠ざける等の処置をユーザは取る必要がある。

以上が、本実施形態に係る解像感変動の警告処理の内容である。本実施形態の場合、仮想カメラや注視点パスを編集する際に、仮想視点映像の解像感の変動が可視化されるため、ユーザはより適切な仮想カメラや注視点のパス設定を判断し易くなる。

なお、上記の実施形態１～３においては、画像処理装置１００が仮想カメラ（仮想視点）の設定用ＧＵＩの生成、当該ＧＵＩの表示、当該ＧＵＩに対するユーザ操作の受け付け、及び、仮想視点映像の生成のすべてを行う例を説明した。しかし、この例に限らない。例えば、ＧＵＩの生成・表示とユーザ操作の受け付けを行う装置と、当該ユーザ操作に基づいて仮想視点映像を生成する装置が別々の装置であっても良い。また、ＧＵＩの生成を行う（典型的には１台の）装置と、ＧＵＩの表示及びユーザ操作を受け付ける複数の装置と、仮想視点映像を生成する１又は複数の装置とを有する仮想視点映像システムに本発明を適用することも可能である。

また、上述の実施形態１～３では、ズームカメラ群１０９に属するすべてのカメラの撮影領域が重複する共通撮影領域と、広角カメラ群１１０に属するすべてのカメラの撮影領域が重複する共通撮影領域とを識別可能に表示させる例を中心に説明した。しかしこの例に限らない。例えば、ズームカメラ群１０９に属する１２台のカメラのうち、１０台以上のカメラの撮影領域が重複している領域を共通撮影領域としても良い。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims

第１の撮影装置群に含まれる複数の撮影装置が撮影する撮影領域が重複する第１の共通領域と、前記第１の撮影装置群とは異なる第２の撮影装置群に含まれる複数の撮影装置が撮影する撮影領域が重複する第２の共通領域であって前記第１の共通領域に対応する撮影画像よりも撮影画像の解像度が高い第２の共通領域とを特定する特定手段と、
前記特定手段により特定される前記第１の共通領域及び前記第２の共通領域に基づく情報を表示手段に表示させる表示制御手段と、
前記表示制御手段により表示手段に表示される情報に基づくユーザ入力に基づいて、前記第１の撮影装置群及び前記第２の撮影装置群に含まれる複数の撮影装置により得られる複数の撮影画像に基づいて生成される仮想視点映像に係る仮想視点を表す情報を決定する決定手段と、
を有することを特徴とする画像処理装置。
前記表示制御手段は、前記第１の共通領域と前記第２の共通領域とを識別可能な情報を表示手段に表示させることを特徴とする請求項１に記載の画像処理装置。
前記表示制御手段は、所定の品質よりも高い品質を有する仮想視点映像の生成が不可能な領域を認識可能な情報を表示手段に表示させることを特徴とする請求項１又は２に記載の画像処理装置。
前記表示制御手段は、前記第１の撮影装置群及び前記第２の撮影装置群により撮影される撮影空間全体における前記第１の共通領域及び前記第２の共通領域を識別可能な情報を表示手段に表示させることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記特定手段は、前記第１の撮影装置群及び前記第２の撮影装置群に含まれる複数の撮影装置の画角の情報を少なくとも含む撮影情報に基づいて、前記第１の共通領域及び前記第２の共通領域を特定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記撮影情報を記憶する記憶手段を有し、
前記特定手段は、前記記憶手段から取得される前記撮影情報に基づいて、前記第１の共通領域及び第２の共通領域を特定する、
ことを特徴とする請求項５に記載の画像処理装置。
前記第１の撮影装置群及び前記第２の撮影装置群に含まれる複数の撮影装置は、ネットワークを介して接続され、
前記特定手段は、前記ネットワークを介して前記複数の撮影装置から取得される前記撮影情報に基づいて、前記第１の共通領域及び第２の共通領域を特定する、
ことを特徴とする請求項５に記載の画像処理装置。
前記表示制御手段は、前記仮想視点の位置に関する制限条件を示す情報を表示手段に表示させることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記表示制御手段は、前記ユーザ入力により仮想視点の位置に関する前記制限条件を満たさない仮想視点の位置が指定された場合、前記制限条件を満たさないことを示す警告表示を表示手段に表示させることを特徴とする請求項８に記載の画像処理装置。
前記制限条件は、前記仮想視点の高さに関する条件であることを特徴とする請求項８又は９に記載の画像処理装置。
前記表示制御手段は、前記ユーザ入力により指定される仮想視点の位置に対応するサンプル画像を表示手段に表示させることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
前記決定手段は、前記ユーザ入力に基づいて、前記仮想視点の移動経路を表す情報を決定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
前記決定手段は、前記ユーザ入力に基づいて、前記仮想視点が注目する注目点の移動経路を決定することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
前記第１の撮影装置群に含まれる複数の撮影装置の画角は、前記第２の撮影装置群に含まれる複数の撮影装置の画角よりも広いことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
前記第１の共通領域と前記第２の共通領域とは、少なくとも一部が重複することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
第１の撮影装置群に含まれる複数の撮影装置が撮影する撮影領域が重複する第１の共通領域と、前記第１の撮影装置群とは異なる第２の撮影装置群に含まれる複数の撮影装置が撮影する撮影領域が重複する第２の共通領域であって前記第１の共通領域に対応する撮影画像よりも撮影画像の解像度が高い第２の共通領域とを特定する特定工程と、
前記特定工程において特定される前記第１の共通領域及び前記第２の共通領域に基づく情報を表示する表示工程と、
前記表示工程において表示される情報に基づくユーザ入力に基づいて、前記第１の撮影装置群及び前記第２の撮影装置群に含まれる複数の撮影装置により得られる複数の撮影画像に基づいて生成される仮想視点映像に係る仮想視点を表す情報を決定する決定工程と、
を有することを特徴とする画像処理方法。
コンピュータを、請求項１乃至１５のいずれか１項に記載の画像処理装置として機能させるためのプログラム。