JP7391502B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、撮像装置による撮像を補助するための画像処理技術に関する。

従来、ディスプレイなどの表示装置に、撮像によって得られた画像の一部を切り出して表示することが行われている。そのため、表示装置に画像を表示することを想定した撮像を補助する技術がある。特許文献１は、撮像時に、撮像によって得られた画像に、表示装置において表示されると思われる領域を示すマーカーを重畳する技術を開示している。

特開２００６－１９７６４２号公報

特許文献１においては、表示装置において表示されると思われる領域をマーカーによって示しているのみである。しかしながら、画像の一部を切り出して表示装置に表示する場合などには、マーカーが表示領域を示していないことがある。このように従来技術においては、表示装置において画像が表示される領域を示すためのマーカーを必ずしも適切に生成できていなかった。

そこで本発明においては、撮像によって得られた映像の一部を表示する表示装置に適したマーカーを生成するための情報を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、画像を表示する表示部を含む装置又はシステムが入力画像において表示する範囲を、通知するための画像処理装置であって、前記表示部を含む装置又はシステムの表示の形態を表す情報を取得する第１取得手段と、前記入力画像を表す入力画像データを取得する第２取得手段と、前記入力画像データと前記情報とに基づいて、前記入力画像において前記表示部が表示する範囲を特定する特定手段と、前記特定された範囲を表す情報を出力する出力手段と、を有し、前記特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である前記表示部に応じた形であり、前記特定された範囲の形は、矩形とは異なる形であることを特徴とする。また、本発明に係る画像処理装置は、画像を表示する表示部を含む装置又はシステムが入力画像において表示する範囲を、通知するための画像処理装置であって、前記表示部を含む装置又はシステムの表示の形態を表す情報を取得する第１取得手段と、前記入力画像を表す入力画像データを取得する第２取得手段と、前記入力画像データと前記情報とに基づいて、前記入力画像において前記表示部が表示する範囲を特定する特定手段と、前記特定された範囲を表す情報を出力する出力手段と、を有し、前記特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である前記表示部に応じた形であり、前記第１取得手段が取得する前記表示の形態を表す情報は、前記表示部のサイズと、前記表示部の配置情報と、を少なくとも含むことを特徴とする。

本発明によれば、撮像によって得られた映像の一部を表示する表示装置に適したマーカーを生成するための情報を提供することができる。

画像処理装置を含むシステムのハードウェア構成を示すブロック図 画像処理装置の機能構成を示すブロック図 画像処理装置において行われる処理の流れを示すフローチャート 表示システムの構成例を示す図 マーカー付き画像を生成する処理の流れを示すフローチャート ３次元の空間座標系を示す図 ２次元のＵＶ座標系を示す図 マーカー付き画像の一例を示す図 マーカー付き画像の一例を示す図 画像処理装置において行われる処理の流れを示すフローチャート マーカー付き画像を生成する処理の流れを示すフローチャート マーカー付き画像の一例を示す図 表示システムの構成例を示す図 マーカー付き画像の一例を示す図 表示システムの表示範囲についての課題を説明するための図 撮像システムの構成を示すブロック図 スクリーンにおける画像表示領域のエッジの位置を説明するための図 球面スクリーンの一例を示す図 曲面スクリーンの一例を示す図 球面スクリーンの一例を示す図

以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが必ずしも本発明の解決手段に必須のものとは限らない。尚、同一の構成については、同じ符号を付して説明する。

［第１実施形態］
撮像によって得られた画像を撮像装置とは異なる表示装置に表示する場合、その表示装置の表示形態に応じて画像から一部を切り出す必要がある。この切り出し処理によって切り出された範囲、つまり表示装置が表示する範囲に、撮像者が意図した映像を含めることができない場合があった。例えば、図４に示す表示システムに画像を表示することを考える。図４の表示システムは、３つのスクリーンと３つのプロジェクタとによって構成されており、センタースクリーン４０１に対して角度αの開き角で左サイドスクリーン４０２と右サイドスクリーン４０３とが配置されている。図４においてプロジェクタは不図示であるが、３つのプロジェクタは、視点位置（視聴者）の真上に重ねて配置され、各スクリーンに画像を投影する。視点位置は、センタースクリーン４０１の中心から、センタースクリーン４０１と直交する方向に距離Ｄ_ｖｉｅｗだけ離れた位置にあるものとする。このように、視聴者の視野の大部分を覆うように配置された３つのスクリーンを使って映像を表示することによって、まるで表示された映像を得た場所にいるかのような感覚を引き起こさせる、臨場感の高い映像体験を視聴者に提供することが可能となる。図１５（ａ）には、上述した表示システムのスクリーンに表示させたい被写体１５０２を含む撮像画像１５０１を示す。図１５（ｂ）には、上述したスクリーンに画像の一部を表示させる際に、画像において画像から切り出される表示範囲１５０３乃至１５０５を示す。ここで、表示範囲の形状に注目すると、例えば、同サイズの３つのスクリーンが横並びで配置されている場合、表示範囲１５０３乃至１５０５は全て同サイズの長方形となる。しかしながら、上述したように、より臨場感の高い映像体験を実現するためには、視聴者の視野を覆うようなスクリーン配置にすることが重要である。つまり、図４に示す表示システムのように、センタースクリーン４０１に対して、左サイドスクリーン４０２と右サイドスクリーン４０３とが角度をつけて配置される。このスクリーンの配置に応じて、図１５（ｂ）に示すように、表示範囲１５０３の形状が長方形であるのに対して、表示範囲１５０４及び表示範囲１５０５の形状は台形となる。また、撮像画像１５０１を撮影した際のレンズの射影方式によっても、表示範囲１５０３乃至１５０５の形状は変わる。図１５（ｂ）に示した表示範囲は一般的な中心射影のレンズの場合を示しているが、例えば等距離射影の魚眼レンズを使用した場合は、図８（ｂ）に示すように、表示範囲の形状は中心射影のレンズの場合に比べてやや丸みをおびた形状となる。

次に、図１５（ａ）に示す撮像画像１５０１と、図１５（ｂ）に示すスクリーンの表示範囲１５０３乃至１５０５と、を重畳させて表示した一例を図１５（ｃ）に示す。図１５（ｃ）に示すように、スクリーンの表示範囲に、本来表示させたい被写体１５０２の全体が含まれていないことがわかる。以下、被写体の全体がスクリーンの表示範囲に収まらずに一部が切れていることを見切れと呼ぶ。撮像者は、撮像装置の電子ビューファインダー（ＥＶＦ）やモニタなどの表示部を確認しながら撮像する。従って撮像者は、今撮像している撮像画像がどのような範囲であるかは確認することができる。しかしながら撮像者は、スクリーンに撮像画像１５０１が表示されるとき、撮像画像１５０１においてどの範囲がスクリーンに表示されるかはわからない。その結果、撮像画像１５０１の一部を切り出してスクリーンに表示をした際に、見切れが発生する。このように見切れは、撮像の際に撮像画像１５０１において、どの範囲がスクリーンに表示されるかを撮像者が認識していないために生じる。そこで本実施形態においては、撮像の際に、撮像によって得られる画像のどの範囲が表示装置に表示される範囲かを撮像者に通知する。具体的には、撮像の際に、表示装置の表示形態に応じたマーカーを生成し、生成したマーカーを画像に重畳して表示する。これにより、撮像者は撮像によって得られる画像において表示装置が表示できる範囲を知ることができる。以下、撮像後に撮像画像の一部を表示する表示装置又は表示システムを第１表示装置又は第１表示システムと呼ぶ。また、撮像の際にマーカーが重畳された画像を表示する装置を第２表示装置と呼ぶ。第２表示装置として撮像装置が有する表示部を用いる場合は、その表示部を第２表示部と呼ぶ。

＜画像処理装置１のハードウェア構成＞
画像処理装置１を含むシステムのハードウェア構成例について、図１を用いて説明する。画像処理装置１は、例えばコンピュータであり、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、ＨＤＤインタフェイス（Ｉ／Ｆ）１０４と、入力Ｉ／Ｆ１０６と、出力Ｉ／Ｆ１０８と、撮像装置Ｉ／Ｆ１１０と、を有する。ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及びハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１００を介して各構成を制御する。ＨＤＤＩ／Ｆ１０４は、シリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスである。ＨＤＤＩ／Ｆ１０４には、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置が接続される。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータの読み出し、およびＨＤＤ１０５へのデータの書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開すること、およびＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することが可能である。ＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとして実行することができる。入力Ｉ／Ｆ１０６は、ＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。入力Ｉ／Ｆ１０６には、キーボードやマウスなどの入力デバイス１０７が接続される。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して、入力デバイス１０７からデータを読み込むことが可能である。出力Ｉ／Ｆ１０８は、ＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスである。出力Ｉ／Ｆ１０８には、液晶ディスプレイなどの出力デバイス１０９が接続される。出力デバイス１０９は、上述した第２表示装置又は第２表示部に対応する。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して、出力デバイス１０９にデータを送り、表示などの処理を実行させることができる。撮像装置Ｉ／Ｆ１１０は、ＵＳＢ等のシリアルバスインタフェイスである。撮像装置Ｉ／Ｆ１１０には、ビデオカメラなどの撮像装置１１１を接続する。ＣＰＵ１０１は、撮像装置Ｉ／Ｆ１１０を介して、撮像装置１１１から動画のフレームデータなどの撮像データを取得することができる。

尚、画像処理装置１は、撮像装置Ｉ／Ｆ１１０を有さなくてもよい。この場合、撮像装置Ｉ／Ｆ１１０の代わりに入力Ｉ／Ｆ１０６に撮像装置が接続される。また、撮像装置１１１と出力デバイス１０９とが一体となった撮像装置が撮像装置Ｉ／Ｆ１１０に接続されていてもよい。例えば、ＥＶＦやモニタなどの表示部を有するビデオカメラを撮像装置１１１として用いることができる。この場合、ＣＰＵ１０１は、撮像装置Ｉ／Ｆ１１０を介して、表示部にデータを送り、表示を実行させることができる。また、画像処理装置１は、出力デバイス１０９や撮像装置１１１に含まれていてもよい。例えば、画像処理装置１と出力デバイス１０９と撮像装置１１１とが一体となった撮像システムであってもよい。撮像システム１６００の一例を示すブロック図を図１６に示す。撮像システム１６００は、例えばデジタルカメラであって、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、ＨＤＤインタフェイス（Ｉ／Ｆ）１０４と、入力部１６０１と、表示部１６０２と、撮像部１６０３と、を有する。入力部１６０１は、ボタンなどの入力部である。表示部１６０２は、ＥＶＦやモニタなどの表示部である。撮像部１６０３は、レンズなどの光学系を含み、光学系を介して画像を生成する撮像部である。尚、撮像システム１６００が入力部１６０１と表示部１６０２とを別々に有している必要はなく、入力部１６０１と表示部１６０２とが一体となったタッチパネルディスプレイなどを有していてもよい。また、撮像システムは、デジタルカメラに限られず、例えばスマートフォンなどの携帯型情報端末であってもよい。

＜画像処理装置１の機能構成＞
画像処理装置１の機能構成を、図２を用いて説明する。図２は、画像処理装置１の機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＯＭ１０３又はＨＤＤ１０５に格納されたプログラムを読み出してＲＡＭ１０２をワークエリアとして実行することによって、図２に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。

画像処理装置１は、表示形態取得部２０１と、入力画像取得部２０２と、視点情報取得部２０３と、撮像条件取得部２０４と、出力画像生成部２０５と、出力部２０６と、を有する。表示形態取得部２０１は、画像を表示する第１表示システムの表示形態を表す表示形態情報を取得する。第１表示システムの表示形態情報は、第１表示システムが有するスクリーンの数、各スクリーンのサイズ、各スクリーンの解像度、各スクリーンの位置及び向きを表す配置情報によって構成される情報である。入力画像取得部２０２は、入力画像を表す入力画像データを取得する。入力画像は、マーカーを重畳して表示したい画像である。視点情報取得部２０３は、第１表示システムによって表示された画像を観察する際の視点の位置を表す視点情報を取得する。撮像条件取得部２０４は、撮像条件を表す撮像情報を取得する。撮像情報は、撮像装置１１１のセンササイズ、レンズの焦点距離、画角、射影方式、入力画像の解像度によって構成される。出力画像生成部２０５は、入力画像に対してマーカーを重畳したマーカー付き画像を表すマーカー付き画像データを生成する。以下、マーカー付き画像を出力画像、マーカー付き画像データを出力画像データとも呼ぶ。出力部２０６は、マーカー付き画像データを出力デバイス１０９に出力する。

＜画像処理装置１において行われる処理＞
図３は、画像処理装置１において行われる処理の流れを示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ３０１において、表示形態取得部２０１は、画像を表示する第１表示システムの表示形態を表す表示形態情報を取得する。Ｓ３０１における処理は、入力デバイス１０７を介したユーザの指示に基づいて行われる。本実施形態においては、ユーザの指示に基づいて、ＨＤＤ１０５にあらかじめ記憶された複数の表示形態情報の中から１つを選択することにより表示形態情報を取得する。本実施形態における第１表示システムは、図４に示す表示システムである。第１表示システムは、３つのスクリーンと３つのプロジェクタとによって構成されており、センタースクリーン４０１に対して角度αの開き角で左サイドスクリーン４０２と右サイドスクリーン４０３とが配置されている。それぞれのスクリーンのサイズは、幅Ｗ_ｍｍ及び高さＨ_ｍｍとし、３つのスクリーンとも同サイズであるとする。また、各スクリーンにおいてＷ_ｐｉｘ×Ｈ_ｐｉｘの解像度の画像が表示される条件で配置された各プロジェクタを用いて各スクリーンに画像を投影するものとする。図４においてプロジェクタは不図示であるが、本実施形態における３つのプロジェクタは、視点位置の真上に重ねて配置され、各スクリーンに画像を投影する。各プロジェクタが投影する画像の位置は、プロジェクタが有するレンズシフト機能やキーストーン補正機能によって調整する。表示形態情報において、スクリーンの数は３、スクリーンのサイズは幅Ｗ_ｍｍ及び高さＨ_ｍｍ、スクリーンの解像度はＷ_ｐｉｘ×Ｈ_ｐｉｘである。スクリーンの配置情報は、３次元のＸＹＺ座標系におけるスクリーンの中心の位置（ｘ，ｙ，ｚ）とスクリーンの表面における法線の向きを表す法線ベクトルＮを表す。この法線は、スクリーンを観察する視点がある側の面の法線とする。また、ＸＹＺ座標系の原点は、視点情報が表す視点位置である。上述したように配置した各スクリーンに、１つの入力画像から切り出した画像を表示することによって、１つのスクリーンを用いて映像を表示するよりも、視野の広い映像を視聴者に提供することができる。また、各スクリーンに関連のない画像をそれぞれ表示するのではなく、１つの連結した画像を複数のスクリーンに表示するため、視聴者の視野に近い表示となる。尚、上述した構成は一例であり、スクリーンの数やサイズ、配置などはこれに限るものではない。また、上述したスクリーンの解像度は、スクリーン上の画像の解像度ではなく、各スクリーンに画像を投影するプロジェクタの解像度であってもよい。

Ｓ３０２において、撮像条件取得部２０４は、撮像条件を表す撮像情報を取得する。Ｓ３０２における処理は、入力デバイス１０７を介したユーザの指示に基づいて行われる。本実施形態においては、ユーザの指示に基づいて、ＨＤＤ１０５にあらかじめ記憶された複数の撮像条件の中からそれぞれの項目に対して１つずつ選択することにより撮像情報を取得する。撮像情報において、撮像装置１１１のセンササイズは幅ＳＷ_ｍｍ及び高さＳＨ_ｍｍ、レンズの焦点距離はｆ、画角はθ_ｍａｘ、入力画像の解像度はＳＷ_ｐｉｘ×ＳＨ_ｐｉｘである。また、本実施形態における撮像装置１１１のレンズは等距離射影の魚眼レンズであるため、射影方式は等距離射影である。

Ｓ３０３において、視点情報取得部２０３は、第１表示システムによって表示された画像を観察する際の視点の位置を表す視点情報を取得する。Ｓ３０３における処理は、入力デバイス１０７を介したユーザの指示に基づいて行われる。本実施形態においては、ユーザの指示に基づいて、ＨＤＤ１０５にあらかじめ記憶された視点の位置を表す視点情報の中から１つを選択することによって視点情報を取得する。視点情報は、上述したＸＹＺ座標系における視点の位置（０，０，０）を表す。本実施形態においては、図４に示すように、センタースクリーン４０１の中心から、センタースクリーン４０１と直交する方向に距離Ｄ_ｖｉｅｗだけ離れた位置に視点があるとして説明を行う。尚、視点位置は上記一例に限るものではない。

Ｓ３０４において、入力画像取得部２０２は、撮像装置１１１を介して得られた入力画像データを取得する。具体的には、撮像装置Ｉ／Ｆ１１０を介してＲＡＭ１０２へ入力画像データを取得する。本実施形態においては、撮像装置１１１をビデオカメラとするため、動画の各フレームに対応する画像データを入力画像データとして以降の処理を行う。

Ｓ３０５において、出力画像生成部２０５は、入力画像に対して、切り出し処理によって切り出される範囲、つまり第１表示システムが表示する範囲を表すマーカーを重畳したマーカー付き画像を表すマーカー付き画像データを生成する。具体的には、Ｓ３０４において取得された入力画像データに対して、本ステップにおいて生成するマーカー画像データを重畳することによって、マーカー付き画像データを生成する。本ステップにおける処理の詳細は後述する。Ｓ３０６において、出力部２０６は、Ｓ３０５において生成されたマーカー付き画像データを出力Ｉ／Ｆ１０８を介して出力デバイス１０９に出力する。

＜マーカー付き画像データを生成する処理（Ｓ３０５）＞
図５は、Ｓ３０５におけるマーカー付き画像データを生成する処理の詳細を示すフローチャートである。Ｓ３０５の処理においては、図４に示した第１表示システムを構成する３つのスクリーンに画像を表示するために、入力画像において各スクリーンに対応する切り出し範囲を順次算出する。算出した切り出し範囲をマーカー画像データとして入力画像データに重畳することによって、マーカー付き画像データを生成する。尚、各スクリーン上には、入力画像から切り出した表示画像が表示されることになる。以下、フローチャートの各ステップについて説明する。

Ｓ５０１において、出力画像生成部２０５は、Ｓ５０２～Ｓ５０９の処理が未処理のスクリーンを処理対象として設定する。本実施形態においては、図４に示した３つのスクリーンを本ステップにおいて順次処理対象として設定する。Ｓ５０２において、出力画像生成部２０５は、入力画像の解像度に基づいて、ＲＡＭ１０２に入力画像データと同じ解像度のマーカー画像データを生成し、すべての画素値を白色で初期化する。本実施形態におけるマーカー画像データは、画素値が０（白色）と１（黒色）とのどちらかの値を取りうるバイナリーデータとする。尚、マーカーの位置を識別することができれば、画素値が８ビットや１６ビットなどで表現される多値データであってもよい。

Ｓ５０３において、出力画像生成部２０５は、スクリーンサイズとスクリーンの配置情報とに基づいて、スクリーンにおける画像表示領域のエッジ部分に対応する位置を所定の間隔で特定し、各位置Ｐの３次元座標を算出する。出力画像生成部２０５は、各位置Ｐの３次元座標（ｘ，ｙ，ｚ）を点群データとして生成する。ここで用いる３次元座標は、スクリーンを観察する視点位置を原点とした３次元座標である。尚、点群データにおける点Ｐの間隔は細かくするほどマーカー形状の精度は向上するが、その分処理時間が増えてしまうため、予め要求されるマーカー形状の精度や処理時間に応じて点の間隔を設定しておいてもよい。本実施形態における点Ｐの間隔は、スクリーンの解像度に基づいて決める。本実施形態においては、スクリーンのサイズは幅Ｗ_ｍｍ及び高さＨ_ｍｍ、スクリーンの解像度はＷ_ｐｉｘ×Ｈ_ｐｉｘであるため、これらに基づいてスクリーン上の各画素の中心点の３次元座標を算出する。この各画素の中心点の３次元座標のうち、画像表示領域のエッジ部分に対応する画素の３次元座標全てを処理対象の点群データとする。図１７はスクリーンにおける画像表示領域のエッジの位置を説明するための図である。図１７（ａ）は、図４に示した３つのスクリーンを、センタースクリーン４０１を正面にして視点位置から観察した場合の図である。上述したように、本実施形態においてはスクリーン全体を画像の表示領域とするため、スクリーンにおける画像表示領域のエッジの位置は図１７（ｂ）の太線１７０１のようになる。尚、必ずしもスクリーン全体を画像の表示領域とする必要はない。例えば、図１７（ｃ）の太線１７０２のように、スクリーンのエッジの内側に画像表示領域のエッジが存在していてもよい。図１７（ｃ）のように画像を表示する場合、出力画像生成部２０５は、スクリーンの配置情報と、スクリーンにおける画像表示領域の大きさを算出可能な情報と、に基づいて、点群データを生成する。スクリーンにおける画像表示領域の大きさを算出可能な情報については、例えば、表示形態情報として画像表示領域のサイズをさらに取得しておけばよい。

Ｓ５０４において、出力画像生成部２０５は、点群データから点Ｐ（ｘ，ｙ，ｚ）を１つ抽出し、抽出した点Ｐについて、視点位置を原点Ｏとした場合のベクトルＯＰとＺ軸とのなす角θを式（１）により算出する。

ここで、本実施形態における３次元の空間座標系について図６を用いて説明する。図６（ａ）は、３つのスクリーンの位置関係を視点位置を原点とした３次元座標上に示した図である。点Ｐ（ｘ，ｙ，ｚ）は、処理対象となるスクリーン上の点の３次元座標を示している。図６（ｂ）は、図６（ａ）を別の角度から見た図である。ここで、ベクトルＯＰとＺ軸とのなす角をθと定義する。さらに、点ＰからＸＹ平面上におろした垂線の足を点Ｑ（ｘ，ｙ，０）とし、ベクトルＯＱとＸ軸とのなす角をφと定義する。

Ｓ５０５において、出力画像生成部２０５は、入力画像において点Ｐ（ｘ，ｙ，ｚ）に対応する点をＩ（ｕ、ｖ）とし、点Ｉにおける入力画像上の像高ｒを式（２）により算出する。本実施形態においては、等距離射影の魚眼レンズによりθ_ｍａｘの画角で入力画像が得られているため、像高ｒはθとθ_ｍａｘとの比によって表すことができる。

図７は、２次元のＵＶ座標系における入力画像の点Ｉ（ｕ、ｖ）を示した図である。入力画像の中心を原点とし、画像の左下の座標が（－１，－１）、右上の座標が（１，１）となるように正規化されている。ここで、ベクトルＯＩとＵ軸とのなす角φは、図６に示したφと等しい。本実施形態において用いるレンズは魚眼レンズであるため、実際に映像が映っている範囲は、図６に示すイメージサークル６０１内の領域である。

Ｓ５０６において、出力画像生成部２０５は、入力画像上の点Ｉの座標（ｕ，ｖ）を式（３）及び式（４）により算出する。

Ｓ５０７において、出力画像生成部２０５は、マーカー画像データにおいて、Ｓ５０６において算出された座標（ｕ，ｖ）に対応する画素値を黒色に変更する。つまり、画素値を０（白色）から１（黒色）に変換する。具体的には、（ｕ，ｖ）は－１．０から１．０の間の小数値となるため、ｕとｖそれぞれに１を加算してから２で除算することによって、（ｕ，ｖ）が０から１．０までの値をとるように正規化する。さらに、ｕにマーカー画像の幅ＳＷ_ｐｉｘ、ｖに高さＳＨ_ｐｉｘを乗算することによって、マーカー画像上の画素の位置を示す情報を算出する。（ｕ，ｖ）の近傍４画素のうち最も距離が近い画素に対して画素値を黒色に変更する処理を行う。尚、マーカー画像データを多値で持つ場合は、近傍４画素に対して距離で重み付けをして各画素の色を決定するようにしてもよい。Ｓ５０８において、出力画像生成部２０５は、処理対象としているスクリーンに対応する点群データの全ての点Ｐに対して処理を行ったか否かを判定する。全ての点Ｐに対して処理を行っていればＳ５１０に進み、全ての点Ｐに対して処理を行っていなければＳ５０９に進む。

Ｓ５０９において、出力画像生成部２０５は、点群データのうち、まだ処理が行われていない点により点Ｐの座標を更新し、Ｓ５０４へと戻る。Ｓ５１０において、出力画像生成部２０５は、第１表示システムを構成する全てのスクリーンが処理対象として設定されたか否かを判定する。本実施形態においては、センタースクリーン４０１、左サイドスクリーン４０２、右サイドスクリーン４０３の３つのスクリーンがそれぞれ処理対象として設定されたか否かを判定する。全てのスクリーンが処理対象として設定されていればＳ５１１へと進み、全てのスクリーンが処理対象として設定されていなければＳ５０１に戻る。

Ｓ５１１において、出力画像生成部２０５は、マーカー画像データを入力画像データに重畳する処理を行う。具体的には、入力画像において、マーカー画像の黒色画素に対応する画素位置の画素値を、あらかじめ設定されたマーカー色を表す画素値に変換する。図８（ａ）は入力画像、図８（ｂ）はマーカー画像、図８（ｃ）はマーカー付き画像を示しており、各スクリーンに対応する切り出し範囲を示す枠をマーカーとして付加する例である。尚、マーカーは各スクリーンに対応する切り出し範囲を示す枠でなくてもよい。例えば、図９に示す例のように、切り出し範囲内の色や輝度などが変更された領域をマーカーとしても良い。この場合は、例えば、切り出し範囲内にある画素値に所定の画素値を加算することによって、切り出し範囲内の色や輝度などを変更する。図９（ａ）は入力画像、図９（ｂ）はマーカー画像、図９（ｃ）はマーカー付き画像を示している。また、マーカーによって示される四角形の外側における各画素の輝度を下げるなど、マーカーによって示される領域の外側の各画素に処理を行うことによって切り出し範囲を示すようにしてもよい。この場合は、例えば、切り出し範囲外にある画素値から所定の画素値を減算することによって、切り出し範囲外の色や輝度などを変更する。切り出し範囲外にある画素値を所定の画素値に変換することによって、切り出し範囲外の色や輝度などを変更してもよい。

＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、表示部を含む装置又はシステムの表示の形態を表す情報と、入力画像を表す入力画像データと、を取得する。入力画像データと表示形態を表す情報とに基づいて、入力画像において表示部が表示する範囲を特定し、特定された範囲を表す情報を出力する。尚、特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である表示部に応じた形である。これにより、撮像によって得られた映像の一部を表示する表示装置に適したマーカーを生成するための情報を提供することができる。上述の方法によって生成されたマーカーは、表示装置の表示範囲を撮像の際に撮像者に認識させることができる。

［第２実施形態］
第１実施形態においては、マーカー画像を生成し、生成したマーカー画像を入力画像に重畳することによってマーカー付き画像を生成した。本実施形態においては、第１表示システムの表示形態情報とマーカー画像とが１対１で対応付けられたテーブルを予め生成して保持しておき、このテーブルを参照することによってマーカー付き画像を生成する方法について説明する。尚、本実施形態における画像処理装置１を含むシステムのハードウェア構成及び画像処理装置１の機能構成は、第１実施形態のものと同一であるため説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。

＜画像処理装置１において行われる処理＞
図１０は、画像処理装置１において行われる処理の流れを示すフローチャートである。

Ｓ１００１において、表示形態取得部２０１は、表示形態情報を取得する。処理の詳細は図３のＳ３０１と同様であるため説明を省略する。Ｓ１００２において、入力画像取得部２０２は、入力画像データを取得する。処理の詳細は図３のＳ３０２と同様であるため説明を省略する。Ｓ１００３において、出力画像生成部２０５は、入力画像に対して、切り出し処理によって切り出される範囲、つまり第１表示システムが表示する範囲を表すマーカーを重畳したマーカー付き画像を表すマーカー付き画像データを生成する。Ｓ１００３における処理の詳細は後述する。Ｓ１００４において、出力部２０６は、Ｓ１００３において生成されたマーカー付き画像データを出力Ｉ／Ｆ１０８を介して出力デバイス１０９に出力する。

＜マーカー付き画像データを生成する処理＞
以下、本実施形態におけるマーカー付き画像データを生成する処理の詳細について、図１１のフローチャートを用いて説明する。

Ｓ１１０１において、出力画像生成部２０５は、表示形態取得部２０１により取得された表示形態情報に基づいて、ＨＤＤ１０５にあらかじめ記憶されたマーカー画像データの中から対応するマーカー画像データを取得し、ＲＡＭ１０２に展開する。具体的には、第１表示システムの表示形態情報とマーカー画像との対応関係を保持するテーブルを参照することによって、マーカー画像データを取得する。このテーブルは、視点位置や撮像の際の画角を含む特定の条件における第１表示システムの表示形態情報とマーカー画像との対応関係を保持する。尚、視点位置を頻繁に切り替える状況に対応するために、第１表示システムの表示形態情報と視点位置との組み合わせに対してマーカー画像を対応付けたテーブルを用いてもよい。また、画角の変更に対応するために、画角ごとにテーブルを切り替えてもよい。尚、マーカー画像データは、第１実施形態に示した方法により生成し、ＨＤＤ１０５に保持させておく。Ｓ１１０２において、出力画像生成部２０５は、マーカー画像データを入力画像データに重畳する処理を行う。処理の詳細は、図５のＳ５１１と同様であるため説明を省略する。

＜第２実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、表示装置の表示形態情報とマーカー画像との対応関係を保持するテーブルを参照することによってマーカー画像データを取得する。取得したマーカー画像データを入力画像データに重畳することによって、マーカー付き画像データを生成する。これにより、撮像によって得られた映像の一部を表示する表示装置に適したマーカーを生成するための情報を提供することができる。上述の方法によって生成されたマーカーは、表示装置の表示範囲を撮像の際に撮像者に認識させることができる。また、テーブルを参照するという比較的速い処理により、表示装置の表示形態に応じたマーカー付き画像データを生成することができる。

［変形例］
上述した実施形態においては、マーカー画像データを生成したが、必ずしもこれを生成する必要はない。例えば、マーカーとして各スクリーンに対応した切り出し範囲を示す枠の座標のみを計算して保持しておき、この座標値に基づいて入力画像にマーカーを描画することによってマーカー付画像データを生成しても良い。

また、上述した実施形態においては、撮像時にマーカーを生成し、第２表示装置にマーカー付き画像を表示させる例を説明したが、マーカーの生成及び表示のタイミングは、撮像時に限られない。例えば、撮像の前にマーカーの生成及び表示を行い、撮像者に第１表示システムの表示範囲を知らせてもよい。この場合、撮像中や撮像後にマーカーの生成及び表示を継続してもよいし、撮像中や撮像後にマーカーの生成及び表示を行わないようにしてもよい。また、撮像後に、撮像によって得られた撮像画像を上述した入力画像としてマーカーを生成し、第２表示装置に表示させてもよい。この場合、撮像者は入力画像において表示させたい被写体が第１表示システムの表示範囲に含まれているか否かを確認することができる。

また、上述した実施形態においては、撮像時にマーカーを生成し、第２表示装置にマーカー付き画像を表示させたが、マーカー付き画像の使い方は上記一例に限定されない。例えば、撮像画像をＨＤＤ１０５にファイルとして記憶させる際に、撮像時に生成したマーカー画像を撮像画像に対応付けて一緒にファイルとして記憶させるようにしてもよい。対応付けはどのような方法を用いてもよいが、例えば、撮像画像とマーカー画像との対応が一意に特定可能なファイル名を付けることによって、対応付けを行うことができる。この対応付けを行うことによって、撮像後にマーカー画像を参照しながら撮像画像を編集することができる。つまり、撮像画像における第１表示システムの表示範囲に含まれる領域を確認しながら編集作業を行うことができる。これにより、表示範囲に含まれる領域のみを編集対象とすることによって、編集作業をより効率的に行うことができる。また、マーカー画像そのものをＨＤＤ１０５に記憶させる代わりに、マーカーとして各スクリーンに対応した切り出し範囲を示す枠の座標情報を撮像画像に対応付けてＨＤＤ１０５に記憶させてもよい。例えば、撮像画像に付随するメタデータ領域に座標情報を記憶させることによって、この対応付けを行うことができる。あるいは、撮像画像と座標情報との対応が一意に特定可能なファイル名を付けたファイルとして、撮像画像とは別のファイルにこの座標情報を記憶させるようにしてもよい。尚、座標情報は、切り出し範囲全体に対応する情報に限らず、切り出し範囲を示す枠のコーナーの座標のみを座標情報として記憶させるようにしてもよい。あるいは、切り出し範囲が矩形などの単純な図形の場合には、矩形の中心座標と矩形の幅及び高さとの情報を座標情報として記憶させるようにしてもよい。

また、上述した実施形態において、出力画像生成部２０５は、入力画像の解像度に基づいて、入力画像データと同じ解像度のマーカー画像データを生成したが、マーカー画像データの生成処理は上記一例に限定されない。例えば、Ｓ５０２においては、予め決められた解像度のマーカー画像データを生成し、Ｓ５１１においてマーカー画像データを入力画像データに重畳する際に、解像度変換を行うことによって解像度をあわせてもよい。

また、上述した実施形態において、出力画像生成部２０５は、点Ｐの間隔をスクリーンの解像度に基づいて決定したが、入力画像の解像度に基づいて決定してもよい。また、点Ｐの間隔がマーカーを形成するために十分であるか否かを判定し、不十分であると判定された場合は、点Ｐの間隔をさらに細かくするようにしてもよい。また、マーカー画像データ又はマーカー付き画像データの生成後に、間の点を補間することによってマーカーが途切れてしまうのを抑制してもよい。

また、上述した実施形態においては、撮像装置１１１をビデオカメラとしたが、スチルカメラであってもよい。ビデオカメラやスチルカメラによって静止画を得ようとする場合は、撮像を行う前に、第１表示システムの表示範囲を撮像者が知ることができる。

また、上述した実施形態においては、３つのプロジェクタを視点位置の真上に配置したが、スクリーンに画像を投影できれば、配置は上記一例に限られない。例えば、スクリーンとして透過型のスクリーンを用いることによって、視点位置に対してスクリーンの後ろ側から画像を投影してもよい。また、３つのスクリーンに対して、１つのプロジェクタを用いて画像を投影してもよい。

また、上述した実施形態においては、第１表示システムをスクリーンとプロジェクタとによって構成したが、ディスプレイであってもよい。また、第１表示システムをプリンタと記録媒体とによって構成してもよい。この場合、記録媒体を上述したスクリーンの代わりに配置することを想定し、記録媒体の配置などに応じて入力画像における印刷範囲を示すマーカーを生成してもよい。

また、上述した実施形態においては、表示形態取得部２０１が表示形態情報として、第１表示システムが有するスクリーンの数、各スクリーンのサイズ、各スクリーンの解像度、各スクリーンの位置及び向きを表す配置情報を取得した。しかし、上述したスクリーンにおける画像表示エリアのエッジ部分に対応する位置を特定するための情報を含んでいれば、上記全ての情報を取得する必要はない。例えば、３次元空間におけるスクリーンに対応する位置の座標を全て取得すれば、スクリーンの数、各スクリーンのサイズ、各スクリーンの解像度を取得する必要はない。また、スクリーンにおける画像表示エリアのエッジ部分に対応する位置を表す位置情報として、上述した点群データを予め生成しておいて取得してもよい。

また、第１実施形態においては、撮像情報取得部２０４が撮像情報として、撮像装置１１１のセンササイズ、レンズの焦点距離、画角、射影方式、入力画像の解像度を取得した。しかし、撮像装置１１１のセンササイズとレンズの焦点距離とを用いて画角を算出することができるため、撮像装置１１１のセンササイズ及びレンズの焦点距離と、画角と、のどちらかを取得すればよい。

また、上述した実施形態においては、各スクリーンに対応する切り出し範囲を示す枠をマーカーとして入力画像に重畳させる例について説明したが、マーカーは必ずしも範囲を示す枠である必要はない。例えば、スクリーンとスクリーンとの境界位置を示す線状のマーカーであってもよい。境界位置を示すマーカーを入力画像に重畳させる例を図１２に示す。図１２（ａ）は入力画像、図１２（ｂ）はマーカー画像、図１２（ｃ）はマーカー付き画像を示している。この例におけるマーカーは、センタースクリーン４０１と左サイドスクリーン４０２との境界位置を示す線分１２０１と、センタースクリーン４０１と右サイドスクリーン４０３との境界位置を示す線分１２０２と、の２つの線状マーカーによって構成されている。このマーカーを入力画像に重畳した画像を撮像の際に確認することによって、どのスクリーンにどの被写体が表示されるのかを知ることができる。このため、撮像者は、メインとなる被写体がスクリーンの境界に重なることを避けながら撮像を行うことができる。

また、上述した実施形態においては、第１表示システムが１つである場合の例を示したが、必ずしも第１表示システムは１つでなくてもよく、複数の第１表示システムの表示形態を考慮したマーカーの表示を行っても良い。例えば、図４に示した３面スクリーンから成る第１表示システムに加えて、図１３に示すような曲面スクリーンへの表示も同時に考慮した場合のマーカー付き画像の例を図１４に示す。図１４（ａ）は、図８（ｃ）に示した３面スクリーンに対応する実線で示したマーカーに加えて、曲面スクリーンに対応するマーカーを破線１４０１で示している。図３のＳ３０１において、第１表示システムの表示形態情報として３面スクリーンの表示形態情報に加えて曲面スクリーンの表示形態情報の取得も行う。図５のフローチャートに示したマーカー付き画像を生成する処理において、曲面スクリーンも処理対象とすることにより、曲面スクリーンにも対応したマーカーを生成することができる。図１４（ｂ）は、３面スクリーンに対応する切り出し範囲と曲面スクリーンに対応する切り出し範囲との論理積をとった範囲を色付けすることによるマーカー表示の例を示している。また、これら複数の表示形態に対応したマーカーから少なくとも１つ以上を選択し、選択したマーカーを表示できるようにしてもよい。これにより、複数の表示装置の表示形態を考慮したマーカー表示を行うことができ、複数の表示環境を前提とした撮像の補助を行うことが可能となる。

また、上述した実施形態においては、第１表示システムは、視聴者を囲むように配置された３面、あるいは曲面スクリーンの例を示したが、スクリーンの形状はこれに限るものではない。例えば、図１８に示すような球面スクリーンについても同様の処理を適用可能である。あるいは、視聴者側に凸面があるディスプレイやスクリーンに対しても同様の処理を適用可能である。例えば、図１９に示すような、円筒の側面の一部を切り取った形状の曲面スクリーンや、図２０に示すような、球の一部を切り取った形状の球面スクリーンに対しても同様の処理を行うことができる。

また、上述した実施形態において、マーカーの色は黒色のような単色でもよいし、入力画像の画素値を参照することによって、その画素の色とは異なる色となるように設定しても良い。また、周囲の明るさに応じてマーカーの色を決定してもよい。具体的には、晴天下においてはマーカーの視認性を向上させるように輝度の高い色、曇天下においては目立ちやすい彩度の高い色、深夜や暗室においてはまぶしすぎないように暗めの色にすることが考えられる。また、マーカーの視認性を向上するために、線の太さを太くすることによってマーカーを強調する処理を加えてもよい。また、各スクリーンに対応する切り出し範囲を示す枠のみならず、その範囲内の色等を変更するようにしても良い。または、切り出し範囲外の輝度を落として、切り出し範囲を強調するようにしても良い。

また、上述した実施形態においては、各スクリーンに対応する切り出し範囲を示す枠をマーカーとして重畳する例について説明したが、枠全体をマーカーとする代わりに枠のコーナーの位置を示す情報をマーカーとして入力画像に付加するようにしてもよい。

また、上述した実施形態においては、撮像対象の画像の一部を切り出して第１表示システムに表示する例を説明したが、画像を表示するために行う処理は切り出し処理に限られない。例えば、画像を幾何変換した後に第１表示システムに表示させてもよい。この場合、画像の表示範囲は、幾何変換に用いる幾何変換パラメータに応じる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 画像処理装置
２０１ 表示形態取得部
２０２ 入力画像取得部
２０５ 出力画像生成部
２０６ 出力部

Claims (18)

1. 画像を表示する表示部を含む装置又はシステムが入力画像において表示する範囲を、通知するための画像処理装置であって、
   前記表示部を含む装置又はシステムの表示の形態を表す情報を取得する第１取得手段と、
   前記入力画像を表す入力画像データを取得する第２取得手段と、
   前記入力画像データと前記情報とに基づいて、前記入力画像において前記表示部が表示する範囲を特定する特定手段と、
   前記特定された範囲を表す情報を出力する出力手段と、を有し、
   前記特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である前記表示部に応じた形であり、
   前記特定された範囲の形は、矩形とは異なる形であることを特徴とする画像処理装置。
2. 前記特定された範囲を表す情報を生成する生成手段をさらに有し、
   前記出力手段は、前記生成手段によって生成された前記情報を出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記特定された範囲を表す情報として、前記入力画像に前記特定された範囲を示すマーカーが重畳された前記入力画像を表すマーカー付き画像データを生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記マーカーは、前記入力画像において、前記特定された範囲を示す枠であって、
   前記生成手段は、前記入力画像において、前記特定された範囲を示す枠に対応する領域の画素値を所定の値に変換することによって、前記マーカー付き画像データを生成することを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、前記入力画像において、前記特定された範囲に対応する領域の画素値に所定の値を加算することよって、前記マーカー付き画像データを生成することを特徴とする請求項３に記載の画像処理装置。
6. 前記生成手段は、前記入力画像における前記特定された範囲の外の画素値を所定の値に変換する、又は、画素値から所定の値を減算することによって、前記特定された範囲を表す情報を生成することを特徴とする請求項２に記載の画像処理装置。
7. 前記第１取得手段は、前記表示の形態を表す情報として、前記表示部における画像表示領域のエッジの、３次元空間における位置を表す位置情報を取得することを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像処理装置。
8. 前記第１取得手段が取得する前記位置情報は、前記エッジの位置に対応する点の座標を表す点群データであることを特徴とする請求項７に記載の画像処理装置。
9. 画像を表示する表示部を含む装置又はシステムが入力画像において表示する範囲を、通知するための画像処理装置であって、
   前記表示部を含む装置又はシステムの表示の形態を表す情報を取得する第１取得手段と、
   前記入力画像を表す入力画像データを取得する第２取得手段と、
   前記入力画像データと前記情報とに基づいて、前記入力画像において前記表示部が表示する範囲を特定する特定手段と、
   前記特定された範囲を表す情報を出力する出力手段と、を有し、
   前記特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である前記表示部に応じた形であり、
   前記第１取得手段が取得する前記表示の形態を表す情報は、前記表示部のサイズと、前記表示部の配置情報と、を少なくとも含むことを特徴とする画像処理装置。
10. 前記入力画像データを得るための撮像における撮像条件を表す撮像情報を取得する第３取得手段と、
    前記表示部を観察する視点の位置を表す視点情報を取得する第４取得手段と、をさらに有し、
    前記特定手段は、さらに、前記撮像情報と前記視点情報とに基づいて、前記表示部が表示する範囲を特定することを特徴とする請求項１乃至請求項９のいずれか一項に記載の画像処理装置。
11. 前記表示部を含む装置又はシステムは、前記表示部としてのスクリーンと、前記スクリーンに画像を投影するプロジェクタと、によって構成されることを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像処理装置。
12. 前記表示部は、曲面のスクリーンであることを特徴とする請求項１１に記載の画像処理
    装置。
13. 前記表示部は、複数の平面のスクリーンによって構成されることを特徴とする請求項１１に記載の画像処理装置。
14. 前記表示部はディスプレイであることを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像処理装置。
15. 前記表示部を含む装置又はシステムは、前記表示部としての記録媒体と、前記記録媒体に画像を形成するプリンタと、によって構成されることを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像処理装置。
16. コンピュータを請求項１乃至請求項１５のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
17. 画像を表示する表示部を含む装置又はシステムが入力画像において表示する範囲を、通知するための画像処理方法であって、
    前記表示部を含む装置又はシステムの表示の形態を表す情報を取得する第１取得ステップと、
    前記入力画像を表す入力画像データを取得する第２取得ステップと、
    前記入力画像データと前記情報とに基づいて、前記入力画像において前記表示部が表示する範囲を特定する特定ステップと、
    前記特定された範囲を表す情報を出力する出力ステップと、を有し、
    前記特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である前記表示部に応じた形であり、
    前記特定された範囲の形は、矩形とは異なる形であることを特徴とする画像処理方法。
18. 画像を表示する表示部を含む装置又はシステムが入力画像において表示する範囲を、通知するための画像処理方法であって、
    前記表示部を含む装置又はシステムの表示の形態を表す情報を取得する第１取得ステップと、
    前記入力画像を表す入力画像データを取得する第２取得ステップと、
    前記入力画像データと前記情報とに基づいて、前記入力画像において前記表示部が表示する範囲を特定する特定ステップと、
    前記特定された範囲を表す情報を出力する出力ステップと、を有し、
    前記特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である前記表示部に応じた形であり、
    前記第１取得ステップにおいて取得される前記表示の形態を表す情報は、前記表示部のサイズと、前記表示部の配置情報と、を少なくとも含むことを特徴とする画像処理方法。

Images