JP2012043345A - 画像処理装置および方法 - Google Patents

Abstract

【課題】 画像表示面の姿勢に基づく表示を行うための画像を撮像画像から作成する。
【解決手段】 撮像部と被写体との相対姿勢が異なる状態にて該撮像部を用いて該被写体を撮像することにより得られた複数の撮像画像データを取得する取得手段と、前記撮像画像の撮像時における前記撮像部と被写体との相対姿勢に応じた姿勢を有する表示画面に表示すべき画像データを、前記撮像画像データから作成する作成手段と、前記複数の撮像画像データから作成された複数の補正画像データを前記表示画面の姿勢情報に対応づけて格納する格納手段と、前記表示画面の姿勢情報を取得する姿勢情報取得手段と、前記表示画面の姿勢情報に応じて、前記格納された複数の補正画像から補正画像を選択する選択手段とを有する。
【選択図】 図２

Description

本発明は、画像表示面の姿勢に応じた画像を表示できるようにするためのものに関する。

従来、ディスプレイなどの画像表示面と視聴者との相対的な位置関係に応じて画像を切り換えて表示することで、画像中のシーンを立体的に提示する方法があった。この方法では、視聴者の視点位置に対する画像表示面の姿勢を基に表示画像を適切に生成・表示する必要がある。例えば、視点に対して画像表示面が正対する場合は正面から眺めた様子を表示し、画像表示面を傾けた場合はその傾きに応じた角度から眺めた様子を表示する必要がある。このための従来技術として、視点位置と画像表示面の位置関係に応じて設定したレンダリング領域に基づきレンダリング処理を行う方法が知られている（例えば特許文献１）。この技術は、仮想３次元空間において視聴者の視点位置から画像表示面の頂点への４つのベクトルを求め、これらのベクトルに囲まれる範囲をレンダリング領域として設定することにより、視聴者の位置に応じた画像生成処理を実行するものであった。

特開２００１−２１６５３２号公報

しかしながら、特許文献１はコンピュータグラフィックスを対象とした技術であり、仮想的な３次元モデルが存在する場合にのみ適用可能である。そのため３次元モデルを持たない実写画像などに対しては適用できないという課題があった。

本発明は、画像表示面の姿勢に基づく表示を行うための画像を撮像画像から作成できるようにすることを目的とする。

上記目的を達成するために、本発明は、撮像部と被写体との相対姿勢が異なる状態にて該撮像部を用いて該被写体を撮像することにより得られた複数の撮像画像データを取得する取得手段と、前記撮像画像の撮像時における前記撮像部と被写体との相対姿勢に応じた姿勢を有する表示画面に表示すべき画像データを、前記撮像画像データから作成する作成手段と、前記複数の撮像画像データから作成された複数の補正画像データを前記表示画面の姿勢情報に対応づけて格納する格納手段と、前記表示画面の姿勢情報を取得する姿勢情報取得手段と、前記表示画面の姿勢情報に応じて、前記格納された複数の補正画像から補正画像を選択する選択手段とを有することを特徴とする。

本発明によれば、画像表示面の姿勢に基づく表示を行うための画像を撮像画像から作成することができる。さらに、本発明によれば、表示画面の姿勢を変えるという直観的な操作により被写体をさまざまな姿勢から観察することができる。

画像処理装置のシステム構成を示すブロック図である。 概要機能構成を示す図である。 画像処理の流れを示すフローチャートである。 撮像画像を取得する処理の流れを示すフローチャートである。 被写体角度および表示面角度を説明する図である。 補正画像生成処理を説明する概念図である。 撮像画像および補正画像を説明する図である。 変形例における撮像する被写体角度を説明する図である。

（実施例１）
本実施例では、まず被写体を異なる複数の角度から撮像し、得られた撮像画像に対してそれぞれ撮像時の角度に応じた補正処理を施して、複数の補正画像を生成する。そして、複数の補正画像の中から画像表示面の傾きに応じた補正画像を選択し、これを画像表示面に表示する。これにより、画像表示面を傾けて見た際に、その傾きに応じた角度から被写体を眺めた様子を良好に提示することを可能とする。なお、画像表示面とは出力デバイス１１３を用いて実際に画像が表示される面であり、例えばモニタの画面やプロジェクタで画像を投影するスクリーンである。

まず、本実施例における画像処理装置のシステム構成例について、図１を用いて説明する。同図において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及びハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１６を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。ＨＤＤインタフェイス（Ｉ／Ｆ）１０４は、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置を接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスである。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータ読み出し、およびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開し、同様に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することが可能である。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとみなし、実行することができる。撮像インタフェイス（Ｉ／Ｆ）１０６は、デジタルカメラなどの撮像装置１０７を接続する、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスインタフェイスである。ＣＰＵ１０１は、撮像Ｉ／Ｆ１０６を介して撮像装置１０７を制御し、撮像装置に撮像させることが可能である。さらにＣＰＵ１０１は、撮像Ｉ／Ｆ１０６を介して撮像装置１０７から撮像したデータを読み込むことが可能である。姿勢制御インタフェイス（Ｉ／Ｆ）１０８は、ロボットアームやターンテーブルなどの姿勢制御装置１０９を接続する、例えばＵＳＢ、イーサネット（登録商標）、ＲＳ２３２Ｃなどのインタフェイスである。姿勢制御装置１０９には撮像装置１０７や照明装置、撮像対象である被写体が固定されており、ＣＰＵ１０１は姿勢制御Ｉ／Ｆ１０８を介して姿勢制御装置１０９を制御することで、撮像装置１０７、照明装置、被写体の位置及び姿勢を変更可能である。入力インタフェイス（Ｉ／Ｆ）１１０は、キーボードやマウスなどの入力デバイス１１１を接続する、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。ＣＰＵ１０１は、入力Ｉ／Ｆ１１０を介して入力デバイス１１１からデータを読み込むことが可能である。出力インタフェイス（Ｉ／Ｆ）１１２は、モニタやプロジェクタなどの出力デバイス１１３を接続する、例えばＤＶＩやＨＤＭＩ等の映像出力インタフェースである。ＣＰＵ１０１は、出力Ｉ／Ｆ１１２を介して出力デバイス１１３にデータを送り、表示を実行させることができる。姿勢検出装置１１５は出力デバイス１１３の画像表示面に取り付けられており、ＣＰＵ１０１は姿勢検出Ｉ／Ｆ１１４を介して姿勢検出装置１１５から画像表示面の姿勢情報を読み込むことが可能である。

次に、本実施例に係る一連の処理を行う際の概要機能構成について、図２を用いて説明する。

図２における部２０１〜２０５の機能は、あらかじめ格納されているプログラムをＣＰＵが実行することにより実現される。図２に示す処理は、被写体を撮像することにより得られる複数の撮像画像から複数の補正画像を生成する前処理（２０１から２０３による処理）と、表示パラメータに応じて表示画像を選択する表示処理（２０４および２０５による処理）とに分けられる。表示パラメータに応じてリアルタイムに表示画像を変更するためには、前処理をあらかじめ行い、複数の補正画像を格納しておく必要がある。撮像パラメータ入力部２０１は、被写体を撮像する際に用いる撮像パラメータ２０６を、入力デバイス１１１あるいはＲＯＭ１０３、ＨＤＤ１０５などの記憶装置から取得する。

撮像制御部２０２は、撮像パラメータ２０６における被写体の姿勢情報に応じて撮像装置１０７および姿勢制御装置１０９を制御し、撮像パラメータ２０６における撮像条件に応じて撮像装置に被写体を撮像させ、複数の撮像画像２０７を取得する。

さらに、画像処理部２０３は、撮像パラメータ２０６に基づき複数の撮像画像データ２０７のそれぞれを補正し、複数の補正画像データ２０８を生成し、撮像パラメータ２０６に対応させてＨＤＤ１０５に格納する。

そして、表示パラメータ入力部２０４は、出力デバイス１１３の画像表示面の姿勢情報を含む表示パラメータ２０９を姿勢検出装置１１５から取得する。出力部２０５は、表示パラメータ２０９に基づき、ＨＤＤ１０５に格納された複数の補正画像データ２０８から出力画像データ２１０を選択し、出力デバイス１１３に出力する。

図３は、本実施例の画像処理装置における一連の処理の動作手順を示すフローチャートである。詳細には、図３のフローチャートに示す手順を記述したコンピュータ実行可能なプログラムを、ＲＯＭ１０３あるいはＨＤＤ１０５からＲＡＭ１０２上に読み込んだ後に、ＣＰＵ１０１によって該プログラムを実行することによって当該処理が実施される。

図３（ａ）は図２における前処理の動作手順を示し、図３（ｂ）は図２における表示処理の動作手順を示す。

まず、ステップＳ３０１において、撮像パラメータ入力部２０１は複数の撮像パラメータ２０６を入力デバイス１１１から取得する。各撮像パラメータには、露光時間、レンズＦ値、センサ感度、画角、撮像素子の画素数などの撮像条件に加え、被写体の姿勢情報が含まれる。図５に示すように、被写体の姿勢情報とは、撮像部と被写体との相対姿勢を示す情報であり、撮像装置１０７の光軸と被写体１２０の基準方向（たとえば正面方向）とがなす角度である被写体角度θにより定義される。そして、本実施例では、被写体の姿勢情報は、撮像パラメータごとに異なる値（例えば、θ＝−７０°からθ＝＋７０°までの間の１°刻みの値）が設定される。本実施例では、被写体１２０の前面の中心位置を基準位置とし、この基準位置を原点として撮像装置１０７の光軸と被写体１２０の基準方向（たとえば正面方向）とがなす角度を被写体角度としている。基準位置および基準方向は任意に設定可能である。また、被写体の姿勢情報は、撮像部と被写体との相対姿勢を示す情報であれば、他の定義に応じた情報でもかまわない。撮像パラメータ２０６は予めＲＯＭ１０２やＨＤＤ１０５などの記憶装置に保持しておき、これを撮像パラメータ入力部２０１が取得するようにしてもよい。取得した撮像パラメータ２０６はＲＡＭ１０２などに記憶される。

次にステップＳ３０２において、ステップＳ３０１で取得された撮像パラメータ２０６に応じて姿勢制御装置１０９および撮像装置１０７を制御して、撮像装置１０７に被写体１２０の撮像を行わせ、複数の撮像画像データ２０７を取得する。

図４に示すフローチャートを用い、ステップ３０２で行われる処理の詳細を説明する。まずステップＳ４０１では、撮像パラメータに含まれる被写体角度θに応じて、姿勢制御装置１０９を制御し、被写体の姿勢を制御する。具体的には、撮像装置１０７の光軸に対して被写体１２０の正面方向がθだけ傾くように、姿勢制御装置１０９を用いて被写体を回転させる。

次にステップＳ４０２では、撮像パラメータに含まれる露光時間、レンズＦ値、センサ感度などの撮像条件に応じて、撮像装置１０７に、ステップＳ４０１で姿勢を制御された被写体１２０を撮像させる。ステップＳ４０２において得られた撮像画像データ２０７は、ステップＳ４０３において撮像パラメータと対応付けてＲＯＭ１０２やＨＤＤ１０５などの記憶装置に記憶される。以上、ステップＳ４０１からステップＳ４０３までの処理を撮像パラメータごとに行い、全ての撮像パラメータ２０６に対して撮像画像データ２０７を記憶すると、撮像処理を終了する。

次にステップＳ３０３において、画像処理部２０３はステップＳ３０１で記憶された撮像パラメータ２０６の被写体角度θに基づきステップＳ３０２で記憶された撮像画像データ２０７を補正し、補正画像データ２０８を生成する。

補正画像生成処理の詳細について、図６（ａ），（ｂ）に示す概念図を用いて説明する。これらの概念図は、撮像画像データＩｍｇの大きさが幅Ｗ×高さＨ、補正画像データＩｍｇ’の大きさが幅Ｗ’×高さＨ’である場合の例である。なお、図６は画像の上方からの図面である。補正画像データＩｍｇ’の幅Ｗ’×高さＨ’の値は固定値としてもよいし、任意の値を設定できるようにしても良い。

図６（ａ）の概念図はステップＳ３０２における撮像時の被写体１２０および撮像装置１０７の位置関係像画像データＩｍｇと補正画像データＩｍｇ’との幾何関係を表している。被写体１２０上の点Ｐは、撮像画像データＩｍｇ上の点Ｑを経て補正画像データＩｍｇ’上の点Ｑ’へ投影される。図６（ａ）に示すように、被写体角度がθになるように撮像装置１０７と被写体１２０が配置されている場合、被写体１２０上の点Ｐは、撮像画像データＩｍｇ上の点Ｑに対応する。そして、図６（ｂ）に示すように、視点Ｃと被写体１２０および視点Ｃと表示デバイス１１３の画像表示面のそれぞれが表示面角度θの位置関係にある場合は、撮像画像データＩｍｇ上の点Ｑは、補正画像データＩｍｇ’の点Ｑ’に対応する。図６（ｂ）における視点位置Ｃは図６（ａ）の撮像位置Ｃと同一である。ここで、補正画像データは出力デバイスにより表示させるので、画像表示面と補正画像は同一の位置・姿勢であると仮定できる。表示面角度がθである画像表示面に対応する補正画像データＩｍｇ’は、被写体角度θに対応する撮影画像データＩｍｇから生成することができる。ここで、表示面角度とは視聴者の視線方向と画像表示面の正面方向とがなす角度を示す。

まず補正画像データＩｍｇ’の各画素について、下記の式（１）を用いて補正画像データＩｍｇ’上での座標（ｕ’，ｖ’）に対応する撮像画像データＩｍｇの座標（ｕ，ｖ）を求める。

ここで、Ｌは撮像装置１０７の画角σと撮像画像データＩｍｇの大きさＷ，Ｈから定まる定数であり、Ｌ’は画角σおよび被写体角度θと補正画像データＩｍｇ’の大きさＷ’，Ｈ’から定まる定数である。これらの定数ＬおよびＬ’は、それぞれ図６（ｂ）に示す点Ｃから撮像画像データＩｍｇまたは補正画像データＩｍｇ’までの距離に相当する。また、撮像画像データＩｍｇ上の点Ｏ（Ｗ／２，Ｈ／２），Ａ（０，Ｈ／２），Ｂ（Ｗ／２，０）をそれぞれ補正画像データＩｍｇ’上へ投影した点をＯ’，Ａ’，Ｂ’としたとき、式（１）におけるｕ’_０，ｖ’_０は、点Ａ’から点Ｏ’までの距離、および、点Ｂ’から点Ｏ’までの距離である。式（１）におけるｕ’０， ｖ’０は、点Ｏ’から補正画像Ｉｍｇ’の原点までのオフセットに相当する。図７に撮像画像データＩｍｇおよび補正画像データＩｍｇ’の例を示す。

次に、得られた座標（ｕ，ｖ）における撮像画像データＩｍｇ上の画素値を、補正画像データＩｍｇ’上の座標（ｕ’，ｖ’）における画素値として記憶する。なお、式（１）により求めた座標（ｕ，ｖ）が非負の整数値とならない場合は、撮像画像データＩｍｇ上における座標（ｕ，ｖ）の画素の周辺画素から補間演算により座標（ｕ，ｖ）の画素値を求め、これを補正画像データＩｍｇ’上の座標’（ｕ’，ｖ’）における画素値として記憶すればよい。

複数の撮像画像データ２０７の各々について、この画像処理を行うことにより、複数の補正画像データ２０８を得る。ステップＳ３０４において得られた補正画像データ２０８は、撮像パラメータ２０６すなわち被写体角度θと対応付けてＲＡＭ１０２やＨＤＤ１０５などの記憶装置に格納する。

以上の処理により、本実施例の前処理が終了する。

次に、図３（ｂ）に示す表示処理を説明する。

ステップＳ３０５において、表示パラメータ入力部２０４は姿勢検出装置１１５より出力デバイス１１３の画像表示面の姿勢情報を含む表示パラメータ２０９を取得する。ここで表示画面の姿勢情報とは、視聴者の視線方向と画像表示面の基準方向（たとえば正面方向）とがなす表示面角度φである。表示面角度φの例を図５に示す。本実施例では、視聴者の視線方向が画像表示面の基準方向（たとえば正面方向）とが一致しているという仮定し、視聴者の視線方向情報を使用せず、姿勢検出装置１１５により検出された出力デバイス１１３の画像表示面の姿勢情報から表示面角度をみちびきだす。取得した表示パラメータ２０９はＲＡＭ１０２などに記憶される。

ステップＳ３０６において、出力部２０５はステップＳ３０４で記憶した表示パラメータ２０９に含まれる表示面角度φを基に、ステップＳ３０３で生成した複数の補正画像データ２０８の中から出力画像データ２１０を選択し、出力デバイス１１３に表示する。具体的には、補正画像データ２０８のそれぞれに対応付けられた撮像パラメータに含まれる被写体角度θを参照し、被写体角度θと表示面角度φとの差分絶対値が最も小さな補正画像データを出力画像２１０として選択する。そして、この出力画像データ２１０を出力デバイス１１３へ出力し、表示する。

以上説明した処理制御を行うことで、画像表示面を傾けて見た際に、その傾きに応じた角度から被写体を眺めた様子を良好に提示することが可能となる。

なお、ステップＳ３０５の表示パラメータ取得処理を定期的に行い、表示面角度φの値が変化する度にステップＳ３０６の出力画像データ２１０の選択を行うことにより、出力デバイス１１３の傾きの変化に応じて表示画像を逐次切り替えることが可能となる。

なお、本実施例では複数の角度から被写体を撮影するために、撮像装置１０７を固定し姿勢制御装置１０９を用いて被写体を回転させたが、撮影方法はこれに限らない。例えば、被写体を固定し、相対的な位置関係が本実施例と同じになるようにロボットアームなどの姿勢制御装置１０９を用いて撮像装置１０７および照明の位置を変更してもかまわない。

以上説明したように、本実施例によれば、視聴者が出力デバイスを１１３の姿勢を変化させることにより、視聴者は被写体の姿勢を変化させたような画像を観察することができる。図６（ｂ）に示されるように、表示面角度がθになるように出力デバイスの姿勢を変化させることにより、あたかも被写体角度がθになるように被写体の姿勢を変化させた際の画像を確認することができる。視聴者は複雑な操作をすることなく直観的な操作により被写体をさまざまな姿勢から観察することができる。

（変形例）
上記実施例では、一定角度刻みで被写体角度θを変化させ、被写体を撮像していた。しかしながらこの方法で撮影した撮像画像を用いて補正画像を生成した場合、被写体角度θが大きくなるにつれ隣接する補正画像間の差分が大きくなる。このため、表示面角度φの値が連続して変化し、これに応じて表示画像を切り換える場合に、出力デバイス１１３の傾きが大きくなるほど表示画像の切り換わりが滑らかではなくなる。

変形例では上記の点を鑑み、滑らかに表示画像を切り換え可能な方法について説明する。具体的には、図８に示されるように、撮影時に被写体角度θが大きくなるほど角度の刻み幅が小さくなるように被写体角度を変化させる。これにより、被写体角度θが大きい場合であっても隣接する補正画像間の差分を小さくすることができる。本実施例で説明する処理は、表示画像を滑らかに切り換え可能にする効果を奏する
以下、実施例１と同じく図３に示すフローチャートを用い、各処理の詳細について説明する。まず、ステップＳ３０１において、撮像パラメータ入力部２０１は複数の撮像パラメータ２０６を入力デバイス１１１から取得する。各撮像パラメータには、露光時間、レンズＦ値、センサ感度、画角、撮像素子の画素数などの撮像条件に加え、被写体の姿勢情報が含まれる。ここで被写体の姿勢情報とは、撮像装置１０７の光軸と被写体の正面方向とがなす被写体角度θであり、撮像パラメータごとに異なる値が設定される。このとき、被写体角度θが大きくなるほど角度の刻み幅は小さく設定される。たとえば、｜θ｜≦４０°の範囲では１°刻み、４０°＜｜θ｜≦６０°の範囲では０．５°刻み、６０°＜｜θ｜≦７０°の範囲では０．２５°刻みで被写体角度θが設定される。被写体角度θの例を図５に示す。なお、撮像パラメータ２０６は予めＲＯＭ１０２やＨＤＤ１０５などの記憶装置に保持しておき、これを撮像パラメータ入力部２０１が取得するようにしてもよい。取得した撮像パラメータ２０６はＲＡＭ１０２などに記憶される。以上のようにすることで、被写体角度θが大きいほど小さな刻み角度で撮影が可能となる。続くステップＳ３０２からステップＳ３０６までの処理は実施例１と同一であるため説明を省略する。

以上により、ステップＳ３０３で生成する補正画像データ２０８の差分が小さくなるため、滑らかに出力画像２１０を切り換えることが可能となる。

また、上記実施例および変形例では、被写体角度θごとに撮影された撮像画像データのそれぞれから、表示面角度に応じた補正画像データを作成していた。しかしながら、異なる被写体角度θにより撮影された撮像画像データから、他の被写体角度θから撮影した撮像画像データを推測し、補正画像データを作成するようにしてもかまわない。

また、上記実施例および変形例では、撮像装置１０７と被写体１２０の相対姿勢を示すために被写体角度を用いたが、相対姿勢を示すことができれば他の情報を使用してもかまわない。たとえば、撮像装置と被写体の両方を姿勢を管理することができる座標系を設定しこの座標系における姿勢を示す情報を使用することができる。同様に、上記実施例および変形例では、画像表示面の姿勢情報として表示面角度θを使用したが、画像表示面の姿勢情報を示すことができれば他の情報を使用してもかまわない。たとえば、正面方向ではなく他の方向を基準とした表示面の角度情報でもかまわない。

Claims (5)

1. 撮像部と被写体との相対姿勢が異なる状態にて該撮像部を用いて該被写体を撮像することにより得られた複数の撮像画像データを取得する取得手段と、
   前記撮像画像の撮像時における前記撮像部と被写体との相対姿勢に応じた姿勢を有する表示画面に表示すべき画像データを、前記撮像画像データから作成する作成手段と、
   前記複数の撮像画像データから作成された複数の補正画像データを前記表示画面の姿勢情報に対応づけて格納する格納手段と、
   前記表示画面の姿勢情報を取得する姿勢情報取得手段と、
   前記表示画面の姿勢情報に応じて、前記格納された複数の補正画像から補正画像を選択する選択手段とを有することを特徴とする画像処理装置。
2. 撮像部と被写体との相対姿勢は、撮像部の光軸と被写体の基準方向とがなす角度で定義されることを特徴とする請求項１記載の画像処理装置。
3. 前記取得手段が取得する複数の撮影画像データにおいて、前記角度が大きい撮影画像データの数が前記角度が小さい撮影画像データの数に比べて多いことを特徴とする請求項２記載の画像処理装置。
4. コンピュータを請求項１乃至３のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
5. 撮像部と被写体との相対姿勢が異なる状態にて該撮像部を用いて該被写体を撮像することにより得られた複数の撮像画像データを取得し、
   前記撮像画像の撮像時における前記撮像部と被写体との相対姿勢に応じた姿勢を有する表示画面に表示すべき画像データを、前記撮像画像データから作成し、
   前記複数の撮像画像データから作成された複数の補正画像データを前記表示画面の姿勢情報に対応づけて格納し、
   前記表示画面の姿勢情報を取得し、
   前記表画面の姿勢情報に応じて、前記格納された複数の補正画像から補正画像を選択することを特徴とする画像処理方法。

Images