JP2010063067A - 画像処理装置および方法並びにプログラム - Google Patents

Abstract

【課題】原画像から補間画像を生成するに際し、原画像および補間画像の管理を容易に行う。
【解決手段】被写体を異なる視点から撮影することにより取得した原画像Ｌ１，Ｒ１から、補間画像生成部５が補間画像を生成する。ファイル生成部６が原画像Ｌ１，Ｒ１および補間画像の視点順序、画像の種別を表す識別コードを各画像のヘッダに記述し、原画像Ｌ１，Ｒ１および補間画像を含む１つの画像ファイルを生成する。
【選択図】図１

Description

本発明は、被写体を異なる視点から見た複数の原画像の視点を補間するための補間画像を生成する画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。

異なる位置に配置された少なくとも一対の撮影手段を用いて画像を取得するステレオカメラ等の複眼撮影装置にて撮影を行うことにより、視差を用いて立体視を行うことが可能な立体画像を取得することができる。このような複眼撮影装置においては、一対の撮影手段の光軸に輻輳角を与えて同一被写体を異なる視点から撮影することにより左右２つの画像を取得し、この２つの画像から視差を利用して立体視可能な立体画像を作成している。

ここで、このような複眼撮影装置において取得された複数の画像を１つの画像ファイルとして保存する手法が提案されている（特許文献１参照）。特許文献１に記載された手法によれば、複数の画像を１つの画像ファイルにより管理できるため、画像ファイル数が増加してしまうことを防止できる。
特開２００５−２５２７５４号公報

ところで、上述したように立体画像を取得するための撮影手段の輻輳角が大きいと、取得された画像間の視差が大きくなる。画像間の視差が大きくなると、立体表示面上での左右それぞれの画像の水平方向のずれ量が大きくなり違和感を生じる。この場合、撮影手段間の視点位置を予測して、２つの画像を補間する補間画像を作成することにより、隣接する画像間の視差を小さくすることができるため、立体視を良好に行うことが可能となる。なお、補間画像は複数の画像の間のみならず、その外側においても予測して作成することが可能である。

しかしながら、このように補間画像を作成した場合、撮影により取得された画像である原画像と補間画像とは別個のファイルとして管理される。このため、原画像と補間画像とが混同されやすく、補間画像を原画像から再度作成したり、ファイル容量を低減するために補間画像のみを削除する際に、誤って原画像が削除されてしまうおそれがある。

本発明は上記事情に鑑みなされたものであり、原画像および補間画像の管理を容易に行うことを目的とする。

本発明による画像処理装置は、被写体を異なる視点から見た複数の原画像を取得する画像取得手段と、
前記複数の原画像から、該複数の原画像間または該複数の原画像の外側の視点を補間する少なくとも１つの補間画像を生成する補間画像生成手段と、
前記複数の原画像および前記補間画像に、前記原画像および前記補間画像の種別を表す識別情報、および視点順序を表す視点情報を付与し、該識別情報および該視点情報が付与された前記複数の原画像および前記補間画像を関連づけて保存する保存手段とを備えたことを特徴とするものである。

「複数の原画像および補間画像を関連づけて保存する」とは、複数の原画像および補間画像が管理上一体不可分の関係となることを意味し、具体的には複数の原画像および補間画像を同一のフォルダに保存する、複数の原画像および補間画像に共通のファイル名を付与する、複数の原画像および補間画像を１つのファイルに保存する、および複数の原画像および補間画像の少なくとも１つのヘッダ領域に他の画像のファイル名を記録する等の手法により、複数の原画像および補間画像を関連づけて保存することができる。なお、複数の原画像および補間画像を関連づけて保存した場合においても、原画像単体または補間画像単体へのアクセス等の操作は許容されるものである。

なお、本発明による画像処理装置においては、前記保存手段を、前記複数の原画像および前記補間画像を１つの画像ファイルとして保存する手段としてもよい。

また、本発明による画像処理装置においては、前記保存手段を、前記画像ファイルにおいて、前記補間画像を前記原画像よりも後の領域に保存する手段としてもよい。

「後の領域に保存する」とは、例えば、原画像および補間画像が記録媒体上の連続するアドレス空間に一体的に記録されているときに、補間画像が配置される領域が原画像の領域よりも下位の領域にあるようにするものであってもよい。

また、本発明による画像処理装置においては、前記保存手段を、ファイル容量を低減する指示がなされた場合、前記補間画像のみを削除する手段としてもよい。

「ファイル容量を低減する指示」とは、例えば、原画像および補間画像の画像ファイルを記録する記録メディアの空き容量を増やす指示、画像ファイルを削除する指示、およびファイル容量が小さい方が処理を容易に行うことができる、例え画像ファイルを転送する指示等が挙げられる。

また、「ファイル容量を低減する指示」は、関連付けられた原画像および補間画像の画像ファイル単位で行われてもよい。例えば、削除によりファイル容量を低減する場合において、削除メニューとして、選択された画像についての原画像および補間画像のすべての削除を指示するものと、選択された画像についての容量低減を指示するものとを用意しておき、後者が指示された場合には、補間画像のみを削除する処理を行うようにしてもよい。また、例えば、ユーザが原画像および補間画像のうちの一部の画像（例えば、１つの補間画像）の削除を指示したような場合には、その画像に関連する画像が存在することをユーザに通知するとともに、上述した削除メニュー（または、削除メニューのうちの少なくとも容量低減指示）が用意されていることをユーザに提示するようにしてもよい。

また、本発明による画像処理装置においては、前記原画像を撮影により取得した場合において、前記補間画像生成手段を、前記原画像を取得した撮影手段の位置関係に基づいて、前記補間画像の数を決定する手段としてもよい。

原画像を取得する撮影手段の位置関係としては、例えば複数の撮影手段における輻輳角および基線長の少なくとも一方を用いることができる。

また、本発明による撮影装置は、前記原画像を取得するために互いに異なる位置に配設された複数の撮影手段と、
本発明による画像処理装置とを備えたことを特徴とするものである。

なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、複数の原画像および補間画像に、原画像および補間画像の種別を表す識別情報および視点順序を表す視点情報を付与し、識別情報および視点情報が付与された複数の原画像および補間画像を関連づけて保存するようにしたものである。このため、原画像および補間画像の管理が容易となる。とくに、原画像および補間画像の種別を表す識別情報を付与しているため、削除時に誤って原画像を削除してしまうことを防止できる。また、視点順序を表す視点情報も付与しているため、立体画像の生成および補間画像の再生成も容易に行うことができる。

また、複数の原画像および補間画像を１つの画像ファイルとして保存することにより、ファイル数を増加させることがなくなり、その結果、複数の原画像および補間画像の管理をより容易なものとすることができる。

この場合、補間画像を原画像よりも後の領域に保存することにより、補間画像を削除した際の画像ファイルの再生成が不要となるため、補間画像の削除が容易となる。

また、ファイル容量を低減する指示がなされたときに補間画像のみを削除することにより、容易にファイル容量を低減することができる。

また、原画像を撮影により取得した場合において、原画像を取得した撮影手段の位置関係に基づいて補間画像の数を決定することにより、適切な視点数となるように補間画像を作成することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像処理装置を適用した複眼撮影装置の構成を示す概略ブロック図である。図１に示すように本実施形態による複眼撮影装置１は、２つの撮影部２Ａ，２Ｂ、撮影制御部３、画像処理部４、補間画像生成部５、ファイル生成部６、立体画像生成部７、フレームバッファ８、メディア制御部９、各種入力を行う操作ボタン等からなる入力部１０、各種表示を行う液晶モニタ等の表示部１１、並びに制御部１２を備え、各部がバス１３により接続されている。

図２は撮影部２Ａ，２Ｂの構成を示す図である。図２に示すように、撮影部２Ａ，２Ｂは、レンズ２０Ａ，２０Ｂ、絞り２１Ａ，２１Ｂ、シャッタ２２Ａ，２２Ｂ、ＣＣＤ２３Ａ，２３Ｂ、アナログフロントエンド（ＡＦＥ）２４Ａ，２４ＢおよびＡ／Ｄ変換部２５Ａ，２５Ｂをそれぞれ備える。なお、撮影部２Ａ，２Ｂは、図３に示すように、被写体を見込む輻輳角αを持って、あらかじめ定められた基線長Ｋとなるように配置されている。なお、輻輳角αおよび基線長Ｋの情報は後述するＲＯＭ１２Ｃに記憶されている。

レンズ２０Ａ，２０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、撮影制御部３が行うＡＦ処理により得られる合焦データおよび不図示のズームレバーを操作することにより得られるズームデータに基づいて、不図示のレンズ駆動部によりその位置が調整される。

絞り２１Ａ，２１Ｂは、撮影制御部３が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。

シャッタ２２Ａ，２２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。

ＣＣＤ２３Ａ，２３Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ２３Ａ，２３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ２４Ａ，２４Ｂは、ＣＣＤ２３Ａ，２３Ｂから出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部２５Ａ，２５Ｂは、ＡＦＥ２４Ａ，２４Ｂによりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮影部２Ａ，２Ｂのそれぞれにより取得されるデジタルの画像データにより表される画像を画像Ｌ１，Ｒ１とする。

撮影制御部３は、不図示のＡＦ処理部およびＡＥ処理部からなる。ＡＦ処理部は入力部１０に含まれるレリーズボタンの半押し操作により撮影部２Ａ，２Ｂが取得したプレ画像に基づいてレンズ２０Ａ，２０Ｂの焦点距離を決定し、撮影部２Ａ，２Ｂに出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２Ａ，２Ｂに出力する。なお、ＡＦ処理およびＡＥ処理を行うことなく、あらかじめ定められたフォーカス位置、絞り値およびシャッタ速度を用いて撮影を行うことも可能である。

また、撮影制御部３は、レリーズボタンの全押し操作により、撮影部２Ａ，２Ｂに対して立体画像生成用の画像Ｌ１，Ｒ１の本画像を取得させる指示を行う。なお、レリーズボタンが操作される前は、撮影制御部３は、撮影部２Ａ，２Ｂに対して撮影範囲を確認させるための本画像よりも画素数が少ないスルー画像を取得させる指示を行う。

ここで、画像Ｌ１，Ｒ１は、図３に示すように被写体を異なる２つの撮影位置において撮影を行うことにより取得されるものであり、図４に示すように、画像Ｌ１，Ｒ１に含まれる被写体が撮影位置の違いに応じた視差を有するものとなっている。なお、画像Ｌ１，Ｒ１は撮影部２Ａ，２Ｂの撮影位置、すなわち被写体に向かって左側および右側の撮影位置において取得され、画像Ｌ１，Ｒ１を基準として立体画像を生成するものであるため、以降の説明においては、画像Ｌ１，Ｒ１を原画像Ｌ１，Ｒ１と称するものとする。なお、立体画像生成時に左側に表示される画像を画像Ｌ１、右側に表示される画像を画像Ｒ１とする。

また、本実施形態においては、２つの原画像Ｌ１，Ｒ１から立体画像を生成するものであるが、３以上の撮影部を備え、３以上の異なる撮影位置において撮影を行うことにより取得した３以上の原画像から複数の画像を生成するものであってもよい。

画像処理部４は、撮影部２Ａ，２Ｂが取得した原画像Ｌ１，Ｒ１のデジタルの画像データに対して、撮影部２Ａ，２Ｂの画角のずれ、ズーム倍率の相違、ＣＣＤの回転による画像のずれ、撮影部２Ａ，２Ｂが輻輳角αを持って被写体を撮影することにより生じる台形歪み等を補正する補正処理、並びにホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画質補正処理を施す。なお、画像処理部４における処理後の原画像Ｌ１，Ｒ１についても処理前の参照符号Ｌ１，Ｒ１を用いるものとする。

補間画像生成部５は、撮影により取得された原画像Ｌ１，Ｒ１またはあらかじめ撮影により取得されてメディア９Ａに記録された原画像Ｌ１，Ｒ１から少なくとも１つの補間画像を生成する。なお、本実施形態においては、撮影部２Ａ，２Ｂの輻輳角αの大きさに応じた数の補間画像を作成する。

ここで、立体画像を作成して立体視を行う場合において、撮影部２Ａ，２Ｂの輻輳角が例えば１度以上のように大きくとなると、原画像Ｌ１，Ｒ１間の視差が大きくなることから、立体表示面上での左右それぞれの画像の水平方向のずれ量が大きくなり違和感を生じる。このため、補間画像生成部５は、ＲＯＭ１２Ｃに記述されたまたは後述する画像ファイルのヘッダ情報として記述された撮影部２Ａ，２Ｂの輻輳角αが１度未満であるか否かを判定し、１度未満でない場合には輻輳角αをＮ＋１により除した値が１未満となるような最大のＮの値を補間数として設定する。すなわち下記の式（１）の関係を満たす最大のＮを求めることにより、補間数Ｎを設定する。そして、設定した補間数Ｎの補間画像を生成する。
１度＜α／（Ｎ＋１） （１）
なお、本実施形態による複眼撮影装置１の撮影部２Ａ，２Ｂとは輻輳角が異なる撮影装置により取得された画像から、本実施形態による複眼撮影装置１において補間画像を生成する場合がある。この場合、その画像の画像ファイルのヘッダに輻輳角が記述されていればよいが、輻輳角が記述されていない場合がある。この場合、補間画像生成部５は、原画像間の互いに対応する対応点を求め、対応点に基づいて輻輳角を算出する。

図５は補間画像の生成を説明するための図である。なお、ここでは補間数は２とする。図５に示すように、補間画像生成部５は、原画像Ｌ１，Ｒ１から２つの補間画像Ｈ１，Ｈ２を生成する。なお、隣接する原画像Ｌ１と補間画像Ｈ１、補間画像Ｈ１と補間画像Ｈ２、および補間画像Ｈ２と原画像Ｒ１における輻輳角が等しくなるように補間画像Ｈ１，Ｈ２を生成する。

ここで、補間画像生成部５は、原画像Ｌ１，Ｒ１に含まれる対応する画素間の視差が徐々に小さくなるように、原画像Ｌ１，Ｒ１をモーフィングによって加工することにより補間画像Ｈ１，Ｈ２を生成する。具体的には、左右の画像において互いに対応する対応点を検出し、対応点を直線または曲線で結び、直線または曲線を分割して疑似対応点を算出し、原画像Ｌ１，Ｒ１を疑似対応点に対応させるように変形することにより、補間画像Ｈ１，Ｈ２を生成する。また、例えば特開２００２−１９００２０号公報等に記載された公知の任意の手法を用いることも可能である。

なお、ここでは原画像Ｌ１，Ｒ１を見る視点の間に補間画像を生成しているが、図５に示す補間画像Ｈ３のように、原画像Ｌ１の外側の視点を予測して補間画像Ｈ３を生成するようにしてもよい。

また、モーフィングに代えて、原画像Ｌ１，Ｒ１に含まれる被写体の立体形状モデルを作成し、立体形状モデルから補間画像を生成するようにしてもよい。なお、立体形状モデルは、原画像Ｌ１，Ｒ１間の対応点を求め、対応点間の視差に基づいて三角測量の原理により撮影位置から被写体上の対応点までの距離を算出することにより作成することができる。ここで、撮影時においては、被写体上の各点と撮影部２Ａ，２Ｂの焦点とを結ぶ直線が、画像が投影される画像投影面（撮影部２Ａ，２ＢのＣＣＤ２３Ａ，２３Ｂの撮像面に相当する面）と交差する点の集合が、投影画像すなわち原画像Ｌ１，Ｒ１となる。図６は立体形状モデルと原画像Ｌ１，Ｒ１を得た画像投影面との関係を示す図である。なお、ここでは説明のための立体形状モデルを立方体としている。したがって、図６に示すように、原画像Ｌ１，Ｒ１の画像投影面間において、補間数に相当する仮想的な画像投影面Ｔを設定し（図６においては補間数は１）、仮想的な画像投影面Ｔへの投影画像を求めることにより、補間画像を生成するようにしてもよい。

ファイル生成部６は、原画像Ｌ１，Ｒ１の画像データに対して、例えばＪＰＥＧ等の圧縮形式で圧縮処理を行い、原画像ファイルＦ０を生成する。また、補間画像Ｈ１，Ｈ２が生成された場合には、原画像Ｌ１，Ｒ１および補間画像Ｈ１，Ｈ２の画像データから画像ファイルＦ１を生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたヘッダが付加される。

図７は本実施形態における原画像ファイルのファイル構成を示す図である。図７に示すように画像ファイルＦ０は、原画像Ｌ１のヘッダ領域（ヘッダ１）４０、原画像Ｌ１の画像データ領域４１、原画像Ｒ１のヘッダ領域（ヘッダ２）４２、および原画像Ｒ１の画像データ領域４３がこの順序にて並べられることにより構成される。

原画像Ｌ１のヘッダ領域４０にはアドレス開始位置、属性情報および付帯情報がヘッダ情報として記述される。アドレス開始位置は、原画像Ｒ１のヘッダ領域４２のアドレスの開始位置であり、リストとして記述される。属性情報は、視点順序、画像の識別コードおよび撮影条件情報が記述される。ここで、視点順序は原画像Ｌ１，Ｒ１を左から見たときの視点順序であり、原画像Ｌ１および原画像Ｒ１のそれぞれについて、視点順序は１，２となる。また、画像の識別コードはヘッダ領域に対応する画像データ領域に格納される画像が原画像か補間画像かを示す情報であり、原画像の場合は１、補間画像の場合は２となる。また、撮影条件情報は、撮影部２Ａ，２Ｂの輻輳角αおよび基線長Ｋの情報であり、ＲＯＭ１２Ｃに記憶されたものが用いられる。なお、原画像Ｌ１の視点順序は１、画像の識別コードは原画像を表す１となる。また、付帯情報は、撮影日時等の情報である。

原画像Ｒ１のヘッダ領域４２には、原画像Ｒ１の属性情報、すなわち視点順序（＝２）および画像の識別コード（＝１）がヘッダ情報として記述される。

図８は本実施形態における補間画像を含む画像ファイルのファイル構成を示す図である。図８に示すように画像ファイルＦ１は、原画像Ｌ１のヘッダ領域（ヘッダ１）５０、原画像Ｌ１の画像データ領域５１、原画像Ｒ１のヘッダ領域（ヘッダ２）５２、原画像Ｒ１の画像データ領域５３、補間画像Ｈ１のヘッダ領域（ヘッダ３）５４、補間画像Ｈ１の画像データ領域５５、補間画像Ｈ２のヘッダ領域（ヘッダ４）５６および補間画像Ｈ２の画像データ領域５７がこの順序にて並べられることにより構成される。

原画像Ｌ１のヘッダ領域５０には、アドレス開始位置、属性情報および付帯情報がヘッダ情報として記述される。アドレス開始位置は、原画像Ｒ１および補間画像Ｈ１，Ｈ２のヘッダ領域５２，５４，５６（すなわちヘッダ２，３，４）のアドレスの開始位置であり、リストとして記述される。属性情報は、視点順序、画像の識別コードおよび撮影条件情報が記述される。ここで、視点順序は原画像Ｌ１，Ｒ１および補間画像Ｈ１，Ｈ２を左から見たときの視点順序であり、原画像Ｌ１、補間画像Ｈ１、補間画像Ｈ２および原画像Ｒ１のそれぞれについて、視点順序は１，２，３，４となる。また、画像の識別コードは、ヘッダ領域に対応する画像データ領域に格納される画像が原画像か補間画像かを示す情報であり、原画像の場合は１、補間画像の場合は２となる。また、撮影条件情報は、撮影部２Ａ，２Ｂの輻輳角αおよび基線長Ｋの情報である。なお、原画像Ｌ１の視点順序は１、画像の識別コードは原画像を表す１となる。また、付帯情報は、撮影日時等の情報である。

原画像Ｒ１のヘッダ領域５２には、原画像Ｒ１の属性情報、すなわち視点順序（＝４）および画像の識別コード（＝１）がヘッダ情報として記述される。

補間画像Ｈ１のヘッダ領域５４には、補間画像Ｈ１の属性情報、すなわち視点順序（＝２）、画像の識別コード（＝２）および補間方式の情報がヘッダ情報として記述される。なお、補間方式とは補間画像を作成した手法であり、補間画像生成部５が補間画像Ｈ１，Ｈ２を生成する際に使用した手法の情報が記述される。

補間画像Ｈ２のヘッダ領域５６には、補間画像Ｈ２の属性情報、すなわち視点順序（＝３）、画像の識別コード（＝２）および補間方式の情報がヘッダ情報として記述される。

立体画像生成部７は、原画像Ｌ１，Ｒ１および補間画像Ｈ１，Ｈ２を、表示部１１において立体視が可能なように立体表示処理し、立体画像を生成する。なお、立体表示変換は、立体視の仕方および表示部１１が３Ｄ液晶であるか否かによるが、ペアとなる画像同士（すなわち視点順序が隣接する画像同士）の色を例えば赤と青のように異ならせて重ね合わせたり（アナグリフ方式）、ペアとなる画像同士の偏光方向を異ならせて重ね合わせたり（偏光フィルタ方式）、ペアとなる画像を１ライン毎に交互に組み合わせることにより行うことができる（パララックスバリア方式およびレンチキュラー方式）。

フレームバッファ８は、表示部１１に表示する画像を一時的に保管しておく記憶部である。

メディア制御部９は、記録メディア９Ａにアクセスして画像ファイルＦ０の書き込みと読み込みの制御を行う。

制御部１２は、ＣＰＵ１２Ａ、後述するように補間画像を生成する場合、立体画像を生成する場合、画像ファイルを生成する場合および立体画像表示する場合等の装置１が各種処理を行う際の作業領域となるＲＡＭ１２Ｂ、並びに装置１の動作プログラムおよび各種定数等を記憶したＲＯＭ１２Ｃを備えてなり、装置１の各部の動作を制御する。

次いで、本実施形態において行われる処理について説明する。図９は本実施形態において補間時に行われる処理を示すフローチャートである。なお、ここでは、原画像Ｌ１，Ｒ１は撮影により取得されてメディア９Ａに記録されているものとする。補間画像生成の指示が入力部１０から行われることにより制御部１２が処理を開始し、メディア制御部９がメディア９Ａから原画像ファイルＦ０を読み出す（ステップＳＴ１）。原画像ファイルＦ０はＲＡＭ１２Ｂに解凍され、補間画像生成部５が、原画像ファイルＦ０のヘッダ情報の撮影条件情報として輻輳角αが記述されているか否かを判定する（ステップＳＴ２）。ステップＳＴ２が否定されると、原画像Ｌ１，Ｒ１間の対応点の分布から輻輳角αを算出する（ステップＳＴ３）。なお、原画像ファイルＦ０に輻輳角αが常時記述されている場合には、ステップＳＴ２の判定を行わないようにしてもよい。

ステップＳＴ２が肯定された場合およびステップＳＴ３に続いて、輻輳角αが１度未満であるか否かを判定する（ステップＳＴ４）。ステップＳＴ４が肯定されると、補間画像の生成は必要ないため、処理を終了する。その際、表示部１２に、補間画像の生成が必要ないことを示す警告表示を行うようにしてもよい。ステップＳＴ４が否定されると、補間画像生成部５が補間数を設定する（ステップＳＴ５）。補間数の設定は上記の式（１）を満たすＮの最大値を算出することにより行う。

そして、補間画像生成部５は、補間数Ｎの補間画像を原画像Ｌ１，Ｒ１から生成する（ステップＳＴ６）。次いで、ファイル生成部６が、原画像Ｌ１，Ｒ１および補間画像の視点順序を設定し（ステップＳＴ７）、生成する画像ファイルにおける原画像Ｌ１，Ｒ１および補間画像のデータ領域のアドレスを生成する（ステップＳＴ８）。そして、補間画像についてのヘッダ情報を生成し（ステップＳＴ９）、さらに原画像Ｌ１，Ｒ１についてはヘッダ情報を更新し（ステップＳＴ１０）、これに続いて原画像Ｌ１，Ｒ１および補間画像から画像ファイルＦ１を生成する（ステップＳＴ１１）。そして、メディア制御部９が画像ファイルＦ１をメディア９Ａに記録し（ステップＳＴ１２）、処理を終了する。

次いで、生成された画像ファイルＦ１に対して、ファイル容量を低減する処理が指示された場合の処理について説明する。図１０はファイル容量を低減する処理が指示された場合に行われる処理を示すフローチャートである。なお、「ファイル容量を低減する指示」とは、例えば、画像ファイルを記録する記録メディアの空き容量を増やす指示、ファイル容量が小さい方が処理を容易に行うことが可能な、例えばデータを転送する指示等が挙げられる。

ファイル容量を低減する処理の指示が入力部１０から行われることにより制御部１２が処理を開始し、画像ファイルＦ１に含まれるヘッダ情報から識別コードを読み出す（ステップＳＴ２１）。そして読み出した識別コードが補間画像であるヘッダ領域および画像データ領域を画像ファイルＦ１から削除する（補間画像削除、ステップＳＴ２２）。さらに、残った原画像Ｌ１，Ｒ１についてはヘッダ情報を更新する（ステップＳＴ２３）。ここで、原画像Ｌ１，Ｒ１のヘッダ情報においては、視点順序が変更される。すなわち、原画像Ｌ１，Ｒ１および２つの補間画像Ｈ１，Ｈ２が画像ファイルＦ１に含まれていた場合、原画像Ｌ１，Ｒ１の視点順序はそれぞれ１，４であったものが、１，２に変更される。また、原画像Ｌ１のヘッダ情報に含まれていたオフセットのリストからは、補間画像についての情報が削除される。そして、メディア制御部９が原画像ファイルＦ０をメディア９Ａに記録し（ステップＳＴ２４）、処理を終了する。

このように、第１の実施形態においては、原画像Ｌ１，Ｒ１および補間画像のヘッダ情報として、原画像および補間画像の種別を表す識別コード、および視点位置を表す視点情報を記述し、識別コードおよび視点情報が記述されたヘッダが付与された原画像Ｌ１，Ｒ１および補間画像を１つの画像ファイルＦ１に格納して保存するようにしたものである。このため、原画像Ｌ１，Ｒ１および補間画像の管理が容易となる。とくに、原画像Ｌ１，Ｒ１および補間画像の種別を表す識別コードを付与しているため、削除時に誤って原画像を削除してしまうことを防止できる。また、視点位置を表す視点情報も付与しているため、立体画像の生成および補間画像の再生成も容易に行うことができる。

また、原画像Ｌ１，Ｒ１および補間画像を１つの画像ファイルＦ１として保存することにより、ファイル数を増加させることがなくなり、その結果、原画像Ｌ１，Ｒ１および補間画像の管理をより容易なものとすることができる。

また、画像ファイルＦ１において、補間画像を原画像Ｌ１，Ｒ１よりも後の領域に保存しているため、補間画像を削除した際のファイルの再生成が不要となり、その結果、補間画像の削除が容易となる。

また、ファイル容量を低減する指示がなされたときに補間画像のみを削除することにより、容易にファイル容量を低減することができる。

なお、上記実施形態においては、補間画像作成の指示により補間画像を作成しているが、撮影による原画像Ｌ１，Ｒ１の取得に引き続き、補間画像を作成するようにしてもよい。

また、上記実施形態においては、ファイル容量を低減する処理が指示された場合においては、補間画像の領域を削除するが、後で原画像Ｌ１，Ｒ１からの再合成を容易なものとするために、補間数の情報をヘッダ情報として残しておくことが好ましい。

また、上記実施形態においては、本発明による画像処理装置を撮影部２Ａ，２Ｂを備えた複眼撮影装置に適用しているが、本発明による画像処理装置を単独で提供するようにしてもよい。この場合、同一の被写体を異なる複数の位置において撮影することにより取得した複数の画像が画像処理装置に入力され、上記実施形態と同様に画像ファイルＦ１が作成される。この場合、撮影により取得された原画像Ｌ１，Ｒ１のみならず、例えばコンピュータグラフィクスにより作成された原画像を用いて補間画像を生成する場合にも、上記実施形態と同様に、画像ファイルＦ１を生成することができる。

また、上記実施形態においては、原画像Ｌ１，Ｒ１および補間画像を１つのファイルに保存することにより、原画像Ｌ１，Ｒ１および補間画像を関連づけているが、原画像Ｌ１，Ｒ１および補間画像が一体不可分の関係となればよく、原画像Ｌ１，Ｒ１および補間画像を同一のフォルダに保存したり、原画像Ｌ１，Ｒ１および補間画像に共通のファイル名を付与したり、原画像Ｌ１，Ｒ１および補間画像の少なくとも１つのヘッダに他の画像のファイル名を記録する等の手法により、複数の原画像および補間画像を関連づけるようにしてもよい。

以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記の補間画像生成部５およびファイル生成部６に対応する手段として機能させ、図９および図１０に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の実施形態による画像処理装置を適用した複眼撮影装置の構成を示す概略ブロック図 撮影部の構成を示す図 撮影部の配置を説明するための図 原画像を示す図 補間画像の生成を説明するための図 立体形状モデルと原画像を得た画像投影面との関係を示す図 本実施形態における原画像ファイルのファイル構成を示す図 本実施形態における補間画像を含む画像ファイルのファイル構成を示す図 本実施形態において行われる補間時に行われる処理を示すフローチャート ファイル容量を低減する処理が指示された場合に行われる処理を示すフローチャート

符号の説明

１ 複眼撮影装置
２Ａ，２Ｂ 撮影部
３ 撮影制御部
４ 画像処理部
５ 補間画像生成部
６ ファイル生成部
７ 立体画像生成部
８ フレームバッファ
９ メディア制御部
１０ 入力部
１１ 表示部
１２ 制御部

Claims (8)

1. 被写体を異なる視点から見た複数の原画像を取得する画像取得手段と、
   前記複数の原画像から、該複数の原画像間または該複数の原画像の外側の視点を補間する少なくとも１つの補間画像を生成する補間画像生成手段と、
   前記複数の原画像および前記補間画像に、前記原画像および前記補間画像の種別を表す識別情報、および視点順序を表す視点情報を付与し、該識別情報および該視点情報が付与された前記複数の原画像および前記補間画像を関連づけて保存する保存手段とを備えたことを特徴とする画像処理装置。
2. 前記保存手段は、前記複数の原画像および前記補間画像を１つの画像ファイルとして保存する手段であることを特徴とする請求項１記載の画像処理装置。
3. 前記保存手段は、前記画像ファイルにおいて、前記補間画像を前記原画像よりも後の領域に保存する手段であることを特徴とする請求項２記載の画像処理装置。
4. 前記保存手段は、ファイル容量を低減する指示がなされた場合、前記補間画像のみを削除する手段であることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
5. 前記原画像を撮影により取得した場合において、前記補間画像生成手段は、前記原画像を取得した撮影手段の位置関係に基づいて、前記補間画像の数を決定する手段であることを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
6. 前記原画像を取得するために互いに異なる位置に配設された複数の撮影手段と、
   請求項１から５のいずれか１項記載の画像処理装置とを備えたことを特徴とする撮影装置。
7. 被写体を異なる視点から見た複数の原画像を取得し、
   前記複数の原画像から、該複数の原画像間または該複数の原画像の外側の視点を補間する少なくとも１つの補間画像を生成し、
   前記複数の原画像および前記補間画像に、前記原画像および前記補間画像の種別を表す識別情報、および視点順序を表す視点情報を付与し、該識別情報および該視点情報が付与された前記複数の原画像および前記補間画像を関連づけて保存することを特徴とする画像処理方法。
8. 被写体を異なる視点から見た複数の原画像を取得する手順と、
   前記複数の原画像から、該複数の原画像間または該複数の原画像の外側の視点を補間する少なくとも１つの補間画像を生成する手順と、
   前記複数の原画像および前記補間画像に、前記原画像および前記補間画像の種別を表す識別情報、および視点順序を表す視点情報を付与し、該識別情報および該視点情報が付与された前記複数の原画像および前記補間画像を関連づけて保存する手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。

Images