JP2014090252A - 画像処理装置およびその制御方法、撮像装置およびその制御方法、並びに画像処理プログラム - Google Patents

Abstract

【課題】立体視表示において、視差変更に伴う画像欠落を防止して鑑賞時に違和感のない再生を行うこと。
【解決手段】画像処理装置は、左目用画像と右目用画像を合成した合成画像データと、その視差量の分布を示す視差マップデータを用いて、立体視表示のための左目用画像データと右目用画像データを生成する。画像の左右方向に拡大表示可能なエリアがあるか否かが判定され、該エリアがある場合（画像例１３０４ないし１３０６参照）、画像表示エリアの拡大処理が実行される。拡大された画像表示エリアに合わせて視差拡大処理が実行され、視差量が変更された視差マップデータが生成される。画像表示エリアに合わせて、視差マップデータを動的に変化させることで、画像欠落部（画像例１３０３参照）のない左目用画像データおよび右目用画像データが生成されて再生される。
【選択図】 図１２

Description

本発明は、画像情報および視差情報から立体画像データを生成する画像処理技術に関するものである。

従来、３Ｄ（３次元）表示あるいは立体視表示用の画像撮影が可能なステレオカメラが提案されている。デジタルカメラやデジタルビデオカメラ等のデジタル撮像装置の普及に伴い、立体映像を生成するための元画像がデジタル撮像装置で撮影されるようになってきている。
立体映像を鑑賞する仕組みとしては、対象物を左目で見た像に対応する「左目用画像」と、右目で見た像に対応する「右目用画像」を表示するのが一般的である。視差バリア方式、レンチキュラ方式等では鑑賞対象の映像を視差分割する方法や、左右で特性の異なるフィルタを介して、左目と右目に異なる映像を入射させる方法等が知られている。

一方、立体映像を鑑賞できる画像の撮影方法として、異なる視点での画像を同時に撮影する方法がある。特許文献１では、固体撮像素子において１つの画素部を構成する、マイクロレンズおよび分割された複数のフォトダイオードを有する装置が開示されている。各フォトダイオードが異なる瞳面の光を受光することを利用して、ステレオ画像データを取得できる。つまり、フォトダイオード対の一方の出力から第１の画像信号を得て、他方の出力から第２の画像信号を得た上で、左目用画像と右目用画像の各データが生成される。
特許文献２では、第２の画像を計算するために、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素により出力視差マップを計算する方法が開示されている。この計算は、入力値を持つそれぞれの入力要素を有する入力視差マップに基づいており、マルチビュー画像をレンダリングするために、第１の画像と出力視差マップを用いて第２の画像を生成することが可能である。
特許文献３に開示の立体画質制御装置は、左右画像の視差量を変化させることで視差拡大を行い、画像の飛び出し量を変化させることが可能である。

特開昭５８−２４１０５号公報 特表２００８−５１８３１７号公報 特開平８−３１７４２９号公報

ところで立体映像を鑑賞する際に、より立体感が得られるように視差拡大を行った場合、画像表示エリアを超えた部分が欠落する可能性がある（この現象については、図１２を参照して後述する）。このため、鑑賞者に違和感を与える可能性がある。
本発明の目的は、立体視表示において、視差変更に伴う画像欠落を防止して鑑賞時に違和感のない再生を行うことである。

上記課題を解決するために、本発明に係る装置は、立体視表示用の画像データおよびその視差量のデータを取得して、左目用画像データおよび右目用画像データを生成する画像処理装置であって、前記画像データに係る画像表示エリアを拡大する処理を制御する制御手段と、拡大された前記画像表示エリアに合わせて前記視差量を変更する視差量変更手段と、前記画像データ、および前記視差量変更手段によって変更された視差量のデータを用いて前記左目用画像データおよび前記右目用画像データを生成するデータ生成手段を備える。

本発明によれば、視差変更に伴う画像欠落を防止して鑑賞者が違和感を抱かないようにすることができる。

図２ないし図６と併せて本発明の実施形態を説明するために、撮像素子の全体構成を概略的に示す図である。 撮像素子の画素の構成例を示す図である。 撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。 撮像装置の構成例を示す図である。 視差マップデータの生成処理例を説明する図である。 画像ファイルの構造例を模式的に示す図である。 図８ないし図１０、図１２、図１３と併せて本発明の第１実施形態を説明するために、視差拡大処理を説明する図である。 画像再生処理を説明するフローチャートである。 立体画像再生処理例を説明するフローチャートである。 画像表示エリアの拡大処理およびデータ生成処理例を説明するフローチャートである。 図１２、図１３と併せて本発明の第２実施形態を説明するために、視差マップデータの重み付け処理例を説明するフローチャートである。 ３Ｄ再生処理で作成される、合成画像と左目用画像と右目用画像を例示する図である。 表示部の画面上での立体画像の表示例を示す図である。

以下に、図１ないし図６を参照して本発明の実施形態に共通する構成および処理について説明する。実施形態に係る画像処理装置は、画像データ生成手段および画像表示制御手段を備え、以下では撮像装置に適用した場合を例示する。つまり、画像処理装置は撮像装置内に設けられており、撮像手段による撮像データを処理することで画像再生処理が行われる。この他には、撮像装置を外部装置としての画像処理装置に接続して使用するシステム構成が挙げられる。この場合、画像処理装置は撮像装置から有線または無線通信で撮像データを取得して画像再生処理を行う。以下では、立体視表示を３Ｄ表示と略記し、２次元表示を２Ｄ表示と略記する。
図１は本実施形態の撮像装置で使用する撮像素子の構成例を概略的に示す図である。撮像素子１００は、画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２と、画素アレイ１０１における列を選択する水平選択回路１０４を含む。読み出し回路１０３は、画素アレイ１０１中の画素のうち垂直選択回路１０２によって選択される画素の信号を読み出す。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器等を列毎に有する。

シリアルインターフェース（ＳＩ）部１０５は、各回路の動作モード等を外部回路からの指示に従って決定する。垂直選択回路１０２は、画素アレイ１０１の複数の行を順次選択し、読み出し回路１０３に画素信号を取り出す。また水平選択回路１０４は、読み出し回路１０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１００には、図１に示す構成要素以外に、例えば、垂直選択回路１０２、水平選択回路１０４、読み出し回路１０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。

図２は撮像素子１００の画素の構成例を示す図である。図２（Ａ）は１画素の構成を概略的に示す。図２（Ｂ）は画素アレイ１０１の配置を示す。図２（Ａ）に示す画素２０１は、光学素子としてのマイクロレンズ２０２と、受光素子としての複数のフォトダイオード（以下、ＰＤと略記する）とを有する。

図２（Ａ）には、１画素に左側のＰＤ２０３と右側のＰＤ２０４の２個を設けた例を示すが、３個以上（例えば、４個または９個）のＰＤを用いてもよい。ＰＤ２０３は、受光した光束を光電変換して左目用画像の信号を出力する。ＰＤ２０４は、受光した光束を光電変換して右目用画像の信号を出力する。なお、画素２０１は、図示の構成要素以外にも、例えば、ＰＤ信号を読み出し回路１０３に取り出す画素増幅アンプや、行選択スイッチ、ＰＤ信号のリセットスイッチ等を備える。

画素アレイ１０１は、２次元画像を提供するため、図２（Ｂ）に示す多数の画素３０１から３０４のように、２次元アレイ状に配列して構成される。画素３０１から３０４にて、ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは、図２（Ａ）中のＰＤ２０３に相当する。また、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは、図２（Ａ）中のＰＤ２０４に相当する。すなわち、各画素において、左目用画像データを出力する第１の光電変換部（ＰＤ２０３）と、右目用画像データを出力する第２の光電変換部（ＰＤ２０４）とを有する。

次に、図２（Ｂ）に示す画素構成を有する撮像素子１００の受光について説明する。図３は撮影レンズの射出瞳から出た光束が撮像素子１００に入射する様子を表した概念図である。
画素アレイ４０１は、マイクロレンズ４０２と、カラーフィルタ４０３と、ＰＤ４０４および４０５を有する。ＰＤ４０４、ＰＤ４０５は、図２（Ａ）中のＰＤ２０３、ＰＤ２０４にそれぞれ相当する。

図３において、各マイクロレンズ４０２に対して、撮影レンズの射出瞳４０６から出た光束の中心を光軸４０９とする。射出瞳４０６から出た光は、光軸４０９を中心として撮像素子１００に入射する。一部領域４０７、４０８は、撮影レンズの射出瞳４０６の領域である。光線４１０、４１１は、一部領域４０７を通過する光のうち最外周の光線である。光線４１２、４１３は、一部領域４０８を通過する光のうち最外周の光線である。

射出瞳４０６から出る光束のうち、光軸４０９を境界線として、図３の上側の光束はＰＤ４０５に入射し、下側の光束はＰＤ４０４に入射する。つまり、ＰＤ４０４とＰＤ４０５は、撮影光学系の射出瞳の異なる領域からの光束をそれぞれ受光する。

図４は撮像装置の構成例を示す。以下、図４を参照してデジタルカメラへの適用例について説明する。撮像光学系を構成するレンズ部５０１は、被写体からの光を撮像素子５０５に結像する。撮像素子５０５は、図１に示す撮像素子１００に相当し、図２に示す画素構成を有する。

レンズ駆動装置５０２は、ズーム制御、フォーカス制御、絞り制御等を行う。メカニカルシャッタ５０３は、シャッタ駆動装置５０４によって制御される。撮像素子５０５は、レンズ部５０１により結像した被写体像を画像信号に光電変換する。撮像信号処理回路５０６は、撮像素子５０５の出力する画像信号に対して各種の補正や、所定の画素補間処理、色変換処理を行う。タイミング発生部５０７は、撮像素子５０５や撮像信号処理回路５０６に必要なタイミング信号を出力する。

システム制御部５０９は各種演算を行い、撮像装置全体を制御する制御手段であり、不図示のＣＰＵ（中央演算処理装置）がプログラムを実行することで処理を行う。システム制御部５０９は、画像合成回路５１３によって生成される合成画像データと、視差マップ生成回路５１４によって生成される視差マップデータに基づいて、３Ｄ表示に使用する左目用画像と右目用画像のデータ生成処理を制御する。また、システム制御部５０９は左目用画像と右目用画像の再生制御を行うことで、ユーザは表示画面上で立体画像を鑑賞できる。なお、システム制御部５０９は、左目用画像データと右目用画像データに基づいて位相差を検出して、位相差ＡＦ（オートフォーカス）を実現することもできる。

記憶部５０８は、画像データを一時的に記憶するメモリを備える。記録媒体制御インターフェース部（以下、インターフェースをＩ／Ｆと略記する）５１０は、記録媒体５１１に画像データ等を記録し、または読み出す。撮像装置に着脱可能な記録媒体５１１は、半導体メモリ等である。外部Ｉ/Ｆ部５１２は、ユーザがカメラに対して指示を行うために操作し、操作信号はシステム制御部５０９に送られる。表示部５２１は、表示制御回路５２２からの表示用データに従って各種情報や撮影画像を表示する。表示制御回路５２２は、２Ｄ表示制御や３Ｄ表示制御を行う。

撮像信号処理回路５０６は、撮像素子５０５が出力する撮像データを左目用画像データと右目用画像データに振り分ける処理を行う。記憶部５０８は、撮像信号処理回路５０６の出力データ、画像合成回路５１３によって生成された合成画像データ、視差マップ生成回路５１４によって生成された視差マップデータを記憶する。

画像合成回路５１３は、左目用画像データと右目用画像データを合成した合成画像データを生成する。画像合成回路５１３は撮像素子５０５から出力された画像データを画素毎に加算平均処理し、また必要なＰＤ信号のみを選択的に取得して処理を行う。図２（Ｂ）に示す例では、ＰＤ３０ｘＬ、ＰＤ３０ｘＲ（ｘ＝１〜４）から出力される画素信号に対し、ＰＤ３０ｘＬの画素信号が取り出され、左目用画像データが生成される。また、ＰＤ３０ｘＲの画素信号が取り出され、右目用画像データが生成される。ＰＤ３０ｘＬの出力信号をＳ３０ｘＬと表記し、ＰＤ３０ｘＲの出力信号をＳ３０ｘＲと表記するとき、両信号を加算平均した信号、（Ｓ３０ｘＬ＋Ｓ３０ｘＲ）／２から合成画像データが生成される。なお、加算平均処理に代えて、加算信号（Ｓ３０ｘＬ＋Ｓ３０ｘＲ）を算出してダイナミックレンジ調整を行った信号から合成画像データを生成してもよい。
視差マップ生成回路５１４は、対をなす左目用画像データおよび右目用画像データに基づいて画素毎の視差量を算出する。視差量算出処理によって得られた視差量のデータから、視差量分布を示す視差マップが作成される。例えば、視差マップ生成回路５１４は、合成画像での被写体像の位置を基準として左目用画像または右目用画像での被写体像の位置ずれ量を視差量として算出する。あるいは左目用画像（または右目用画像）を基準として右目用画像（または左目用画像）の位置ずれ量を視差量として算出してもよい。
圧縮伸長回路５２０は、画像データを所定の画像圧縮方法（例えば、適応離散コサイン変換（ＡＤＣＴ）等）に従ってＪＰＥＧ画像データ等に圧縮する。ＪＰＥＧ（Joint Photographic Experts Group）画像データは、多くのアプリケーションで扱うことが可能なデータである。圧縮された画像データは記憶部５０８に書き込まれる。また圧縮伸長回路５２０は、記憶部５０８から読み出した画像データを伸長し、伸長処理済みの画像データを記憶部５０８に書き込む処理を行う。

次に、本実施形態における撮影時のカメラ動作を説明する。メイン電源が投入されると、制御系回路部の電源がオン状態となる。更に撮像信号処理回路５０６等の撮像処理系回路の電源がオン状態となり、カメラがスタンバイ状態となる。システム制御部５０９は、ユーザがレリーズボタンを操作したか否かを判定する。撮影動作の開始操作指示があった場合、システム制御部５０９は、撮像素子５０５からの出力データに基づいて焦点状態検出および焦点調節動作に係る演算処理を行う。この演算処理では、カメラから被写体までの距離に応じた合焦位置が算出され、フォーカスレンズの駆動量が算出される。システム制御部５０９は、演算結果に従ってレンズ駆動装置５０２を介してレンズ部５０１の駆動制御を行い、合焦状態であるか否かを判定する。

システム制御部５０９は、合焦状態でないと判定した場合、再びレンズ部５０１の駆動制御により、焦点状態の検出処理を実行する。なお、被写体までの距離や合焦位置を求める演算については、撮像素子５０５からのデータから算出する方法以外に、図示しない測距専用装置を用いて行う方法でも構わない。システム制御部５０９は、合焦状態と判定した後に撮影動作を開始させる。撮影動作が終了すると、撮像信号処理回路５０６は撮像素子５０５が出力した画像信号を処理し、システム制御部５０９は画像データを記憶部５０８に書き込む制御を行う。

次に、本実施形態における画像処理について説明する。
撮像素子５０５は、ＰＤからの全ての画像信号を出力する。図２（Ｂ）に示す例では、各ＰＤ、つまり３０１Ｌ、３０１Ｒ、３０２Ｌ、３０２Ｒ、３０３Ｌ、３０３Ｒ、３０４Ｌ、３０４Ｒという具合に、画像信号が順番に出力される。撮像信号処理回路５０６は、撮像素子５０５の出力信号から画像データを取得し、左目用画像データと右目用画像データへのデータ分離処理を行う。左目用画像のデータは、図２（Ｂ）におけるＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌ等の出力（左ＰＤ出力）のみを選択的に処理した画像データである。また、右目用画像データは、図２（Ｂ）におけるＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒ等の出力（右ＰＤ出力）のみを選択的に処理した画像データである。左目用画像データと右目用画像データは別々に記憶部５０８に保存される。

記憶部５０８に記憶された左目用画像データおよび右目用画像データは、画像合成回路５１３に送られて合成画像データが生成される。生成された合成画像データは記憶部５０８に保存される。画像合成回路５１３が行う画像処理は、例えば左目用画像データと右目用画像データに対して画素毎の加算平均値を求める加算合成処理である。撮像素子５０５から読み出した画像データにて、左目用画像と右目用画像とで被写体の形状が異なって撮影された場合でも、画像合成処理によって被写体の形状が補間されて、正しい形状の画像データが生成される。なお、撮像信号処理回路５０６が、画像処理後の左目用画像と右目用画像とを合成する構成でもよい。

次に、視差マップ生成回路５１４は左目用画像データと右目用画像データを用いて、視差マップデータを生成する。生成後の視差マップデータは記憶部５０８に保存される。視差マップに保存される情報について、図５を参照して説明する。

図５は撮影画像を模式的に示す図である。図５（Ａ）は、画像枠６０１内にて、カメラからの距離が異なる３つの被写体６０２から６０４を示す。図５（Ｂ）の矢印Ｚは奥行き方向を表し、被写体６０２はカメラから最も遠い被写体を表す。被写体６０４はカメラに最も近い被写体を表し、被写体６０３は、被写体６０２と６０４との間の距離に位置する被写体を表す。

図５（Ｃ）は、図５（Ａ）の画像枠６０１で示す構図を撮影した場合に得られるステレオ画像をそれぞれ示す。画像枠６０５に示す左目用画像には、各被写体６０２、６０３、６０４に各々相当する像６０７Ｌ、６０８Ｌ、６０９Ｌが写っている。また画像枠６０６に示す右目用画像には、被写体６０２、６０３、６０４に各々相当する像６０７Ｒ、６０８Ｒ、６０９Ｒが写っている。図中の１点鎖線は、画像枠６０５、６０６における被写体像の位置関係を表しており、左目用画像と右目用画像での被写体のシフト量を視差量と定義する。視差量６１０は、被写体６０２に関する、左目用画像と右目用画像での位置ずれ量、つまり像６０７Ｌと６０７Ｒの視差を表す。同様に視差量６１１は被写体６０４に関し、像６０９Ｌと６０９Ｒの位置ずれ量を表す。なお、被写体６０３については、左目用画像と右目用画像との間で、視差量がゼロの状態を示している。

視差マップ生成回路５１４は視差量を求める際、画像枠６０５内の左目用画像と画像枠６０６内の右目用画像にそれぞれ含まれる被写体像の位置を検出し、被写体像同士のシフト量を求めることで視差量を算出する。具体的には、視差マップ生成回路５１４に左目用画像データと右目用画像データが入力された場合、視差量６１０と６１１が算出される。合成画像を基準とする場合の視差量は、視差量６１０と６１１の２分の１となる。
なお、視差マップデータについては、画像データとともに１つの画像ファイルに含めて取り扱う形態と、両者を別個のファイルとして関連付けて取り扱う形態がある。本実施形態では、画像ファイルが視差マップデータを含む形態を例にして説明する。

図６は、撮影時に生成される、視差マップを含むＤＣＦ画像ファイルの構造例を示す。ＤＣＦ（Design rule for Camera File system）は、デジタルカメラにおいて画像データを共通の仕様で扱うための画像ファイル形式である。画像ファイルは、ＤＣＦ画像データ部７０１と視差マップ部７０２を有する。ＤＣＦ画像データ部７０１はＤＣＦヘッダ部７０３、サムネイル画像部７０４、ＪＰＥＧ画像部７０５で構成される。視差マップ部７０２はサムネイル画像用視差マップ部７０６とＪＰＥＧ画像用視差マップ部７０７で構成される。

ＤＣＦヘッダ部７０３はＤＣＦヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報には、以下の付帯情報、および各画像データを格納する領域のオフセット情報が含まれる（括弧内に符号を示す）。
・メタデータＡ（７０８）：ＪＰＥＧ画像部７０５に格納される画像データに関連する撮影情報やパラメータ等。
・オフセット値Ｂ（７０９）：サムネイル画像部７０４の先頭位置までのオフセットデータ。
・オフセット値Ｃ（７１０）：ＪＰＥＧ画像部７０５の先頭位置までのオフセットデータ。
・オフセット値Ｄ（７１１）：サムネイル画像用視差マップ部７０６の先頭位置までのオフセットデータ。
・オフセット値Ｅ（７１２）：ＪＰＥＧ画像用視差マップ部７０７の先頭位置までのオフセットデータ。
オフセット値ＢないしＥはＤＣＦヘッダ部７０３の基準位置から算出される各画像部までの相対位置情報であり、これらの値により画像ファイル内における各画像データの開始位置が特定される。

ＪＰＥＧ画像部７０５には、右目用画像と左目用画像を合成したＪＰＥＧ画像のデータが格納される。視差マップ部７０７には、ＪＰＥＧ画像用の視差マップデータが格納される。また、サムネイル画像部７０４には、ＪＰＥＧ画像部７０５に格納されているＪＰＥＧ画像データを間引いてリサイズしたサムネイル画像データが格納される。視差マップ部７０６には、サムネイル画像のサイズに合わせて生成された視差マップデータが格納される。

次に、図７を参照して視差拡大処理について説明する。
図７では各被写体を円形および横長の長方形で表す。図７（Ａ）には奥行き方向における被写体同士の位置関係８０１を側面図に示し、正面から見た場合の被写体同士の位置関係８０２を正面図に示す。データ８０３は、被写体を正面から撮影した場合に得られる、左目用画像および右目用画像の合成画像データと視差マップデータを含む画像ファイルを例示する。数列は視差量を表す。
図７（Ｂ）に示す画像８０４は、ＪＰＥＧ画像部７０５（図６参照）やサムネイル画像部７０４から取得される、左目用画像と右目用画像の各データを合成したデータに対応する画像を示す。視差マップ８０５は、視差マップ部７０６、７０７（図６参照）から取得される視差マップのデータを示す。視差マップ８０５では、背景部分の視差値をゼロとし、長方形の被写体の視差値を１とし、円形の被写体の視差値を２とする。なお、この値は正の整数に限らず、負の整数や実数であってもよい。

視差拡大前の立体画像については、視差マップ生成回路５１４が画像８０４と視差マップ８０５のデータを使って左目用画像８０６、右目用画像８０７の各データを生成する。視差マップ８０５のデータに対して、視差マップ生成回路５１４は後述の重み付け処理を行うことにより、視差量変更処理を実行する。視差マップ８０８が重み付け処理によって視差量を２倍に変更した場合の視差マップを例示する。左目用画像および右目用画像の各データを合成した画像８０４と、視差マップ８０８のデータを使い、視差マップ生成回路５１４は視差拡大処理を実行する。これにより、視差量が変更された後の左目用画像８０９および右目用画像８１０がそれぞれ生成される。

［第１実施形態］
次に、本発明の第１実施形態に係る画像再生処理について、図８ないし図１０、および図１２、図１３を参照して説明する。図８ないし図１０は画像再生処理を説明するフローチャートである。図１２は、画像再生処理で生成される、左目用画像、右目用画像、および、両画像の合成画像を例示する。図１３は、表示部５２１の画面上に３Ｄ表示を行った場合の表示例を示す。

図８に示す各処理はシステム制御部５０９のＣＰＵがメモリから画像処理プログラムを読み出して実行することで実現される。Ｓ９０１でシステム制御部５０９は、外部Ｉ/Ｆ部５１２から取得した信号から、画像再生ボタンの操作状態を判定する。画像再生ボタンが操作されていないと判定された場合、Ｓ９０１の処理を繰り返す。また、画像再生ボタンが操作されたと判定された場合、Ｓ９０２に処理を進める。Ｓ９０２では画像ファイルの読み込み処理が実行される。記録媒体５１１に保存された画像ファイルが読み出され、データが記憶部５０８に記憶される。次のＳ９０３では記憶部５０８に読み込んだ画像ファイルの解析処理が実行される。解析処理では、図６で説明したＤＣＦ画像データの構造が解析され、これにより、各画像データへのアクセスが可能となる。

次にＳ９０４は、Ｓ９０３での解析結果から画像ファイルが立体画像ファイルであるか否かを判定する処理である。この処理では、左目用画像、右目用画像をそれぞれ用意できるかどうかについて判定される。本実施形態では、図６で説明した視差マップと合成画像データが記録された構造を有するファイルの場合、システム制御部５０９は当該ファイルが立体画像ファイルであると判定し、Ｓ９０５へ処理を進める。立体画像ファイルでないと判定された場合には、Ｓ９０６に進む。
Ｓ９０５は、立体画像の再生設定になっているか否かの判定処理である。再生設定は、ユーザに２Ｄ表示で画像を再生するか、３Ｄ表示で画像再生するかを任意に選択してもらうために行われる。設定操作については、ユーザが事前に設定画面上で操作部を用いて設定しても構わない。Ｓ９０５で立体画像の再生設定でないと判定された場合、Ｓ９０６に処理を進め、２Ｄ再生処理が実行される。図１２に示す画像１３０１は、円形の被写体像を２Ｄ表示した状態を示す。

一方、Ｓ９０５で立体画像の再生設定であることが判定された場合、Ｓ９０７へ処理を進め、３Ｄ再生処理が実行される。３Ｄ再生処理の詳細については、図９を用いて後述する。次にＳ９０８は、画像表示が完了したか否かの判定処理であり、全ての画像の表示が完了していない場合、Ｓ９０２へ戻って次の画像の再生処理を継続する。画像表示が完了すると、一連の処理を終了する。

次に図９を参照して、図８のＳ９０７に示す３Ｄ再生処理について説明する。この処理はシステム制御部５０９の制御下で実行される。
まずＳ１００１で、画像データ（図６のＪＰＥＧ画像部７０５参照）の取得処理が実行される。本実施形態では、図８のＳ９０３で解析した画像ファイルから合成画像データを取得する処理が行われる。次のＳ１００２では、画像の視差マップデータ（図６の視差マップ部７０７参照）を取得する処理が実行される。Ｓ１００３では、Ｓ１００２で取得した視差マップデータに対して重み付け処理が実行される。重み付け処理によって視差を拡大することで、３Ｄ表示の際に、ユーザの目にはより立体感が得られる。図１２の画像例１３０２は視差拡大前の、合成画像、左目用画像、右目用画像をそれぞれ示す。画像例１３０３は視差拡大後、画像に欠落部が生じた状態を示す。図１３の画像例１４０１は、視差拡大前の画像を表示部５２１の画面上に３Ｄ表示した場合の表示例を示し、画像例１４０２は、視差拡大後の画像表示例を示す。

視差拡大前の３Ｄ表示で表示されていた画像のうち、視差拡大によって画像表示エリアを超えた部分が欠落すると、鑑賞者に違和感を与える可能性がある。そこで、本実施形態では図１２の画像例１３０４から１３０６に示すように、画像表示エリアを拡大する処理が実行される。
図９のＳ１００４では、Ｓ１００１で取得した画像データと、Ｓ１００３で処理した視差拡大後の視差マップデータに基づいて左目用画像データおよび右目用画像データが生成され、再生処理が行われる。

次に図１０を参照して、図９のＳ１００４の再生処理について説明する。
Ｓ１１０１は、画像表示エリアの左側に拡大表示可能なエリアがあるか否かについての判定処理である。拡大表示可能なエリアがあると判定された場合、Ｓ１１０２に処理を進め、また、そのようなエリアがないと判定された場合にはＳ１１０３に進む。

Ｓ１１０２では、画像表示エリアの左側領域に関してそのパラメータを変更することで拡大処理が行われる。エリア拡大処理についてはシステム制御部５０９の制御指令により表示制御回路５２２が行う。図１２の画像例１３０６は、画像表示エリアを左側に拡大した状態を示す。そして、Ｓ１１０３へ処理を進める。Ｓ１１０３は、画像表示エリアの右側に拡大表示可能なエリアがあるか否かの判定処理である。拡大表示可能なエリアがあると判定された場合、Ｓ１１０４に処理を進め、また、そのようなエリアがないと判定された場合にはＳ１１０５に進む。Ｓ１１０４では、画像表示エリアの右側領域に関してそのパラメータを変更することで拡大処理が行われる。図１２の画像例１３０５は、画像表示エリアを右側に拡大した状態を示す。左右両側の画像表示エリアの拡大処理が行われた場合、図１２の画像例１３０４に示す状態となる。その後、Ｓ１１０５に処理を進める。

Ｓ１１０５では、図９のＳ１００１で取得した画像データと、Ｓ１００３で生成した視差マップデータから、左目用画像のデータ生成処理が行われる。データ生成処理は、システム制御部５０９に制御下で圧縮伸長回路５２０を用いて行われる。次にＳ１１０６に進み、同様に圧縮伸長回路５２０を用いて、右目用画像のデータ生成処理が行われる。Ｓ１１０７では、Ｓ１１０５で生成した左目用画像データと、Ｓ１１０６で生成した右目用画像データが表示制御回路５２２から表示部５２１に送られ、画面上に画像が３Ｄ表示される。

第１実施形態では、視差拡大処理を行って３Ｄ再生を行う際、画像表示エリアに関して左側または右側に拡大表示可能な領域がある場合、画像表示エリアの拡大処理が行われる。立体視表示用画像を修正した場合に画像の欠落部が生じないように防ぐことで、鑑賞時に違和感のない立体感が得られる。

［第２実施形態］
次に本発明の第２実施形態を説明する。なお、本実施形態にて第１実施形態と同様の構成については既に使用した符号を用いることで説明を省略し、以下では主に相違点を説明する。
第１実施形態では、画像表示エリアにおいて、左右方向のうち片方にしか画像表示エリアを拡大することができない場合、図１３の表示例１４０３に示すように、画像に欠落部が生じ得る。つまり、画像表示エリアを拡大できない側では画像が欠落して表示されることになる。そこで、第２実施形態では、図９のＳ１００３での重み付け処理の内容を変更することで、画像の欠落部を生じさせることなく、視差拡大を行って３Ｄ表示を可能にする処理について説明する。

図１１ないし図１３を参照して、本実施形態に係る３Ｄ再生処理について説明する。
図１１は、視差マップデータの重み付け処理例を説明するフローチャートである。
Ｓ１２０１でシステム制御部５０９は、画像表示エリアの左側にのみ拡大表示可能なエリアがあるか否かを判定する。左側のみ拡大表示可能なエリアがあると判定された場合は、Ｓ１２０２に処理を進め、そのようなエリアがない場合にはＳ１２０３に進む。Ｓ１２０２では、画像の左方向に視差マップデータの重み付け処理が行われる。

Ｓ１２０３でシステム制御部５０９は、画像表示エリアの右側にのみ拡大表示可能なエリアがあるか否かを判定する。右側のみ拡大表示可能なエリアがあると判定された場合、Ｓ１２０４に処理を進め、そのようなエリアがない場合にはＳ１２０５に進む。Ｓ１２０４では、画像の右方向に視差マップデータの重み付け処理が行われる。
Ｓ１２０５では、画像の左右方向において均等に視差マップデータの重み付け処理が行われる。

第２実施形態では、拡大表示可能なエリアの判定結果に応じて、視差マップデータの重み付け処理の内容を変更する。これにより、右側のみ拡大表示可能な場合（図１２の画像例１３０５参照）や、左側のみ拡大表示可能な場合（図１２の画像例１３０６参照）に、立体視表示用画像を修正して画像の欠落を防止できる。図１３に示す表示例１４０４では、画像の左側または右側に欠落部が生じないように視差マップデータが修正されて３Ｄ表示が行われるので、鑑賞時に違和感のない立体感が得られる。

なお、以上の例では、左側のみ拡大表示可能なエリアがある場合と、右側のみ拡大表示可能なエリアがある場合を説明した。この他、画像の左側および右側ともに拡大表示可能なエリアがある場合に、左側と右側とでは拡大表示可能なエリアのサイズが異なることがある。この場合、視差拡大後の画像が、表示拡大可能な範囲内に収まるように左右の視差マップデータの重み付け処理が行われる。つまり、画像の欠落が起きないように、左側と右側とで拡大表示可能な各エリアのサイズに合わせて視差マップデータが修正される。

[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

５０１：レンズ部
５０５：撮像素子
５０６：撮像信号処理回路
５０９：システム制御部
５１３：画像合成回路
５１４：視差マップ生成回路
５２０：圧縮伸長回路
５２１：表示部
５２２：表示制御回路

Claims (7)

1. 立体視表示用の画像データおよびその視差量のデータを取得して、左目用画像データおよび右目用画像データを生成する画像処理装置であって、
   前記画像データに係る画像表示エリアを拡大する処理を制御する制御手段と、
   拡大された前記画像表示エリアに合わせて前記視差量を変更する視差量変更手段と、
   前記画像データ、および前記視差量変更手段によって変更された視差量のデータを用いて前記左目用画像データおよび前記右目用画像データを生成するデータ生成手段を備えることを特徴とする画像処理装置。
2. 前記制御手段は、前記画像表示エリアを左方または右方に拡大して表示し得る領域がある場合、当該領域を含む範囲まで前記画像表示エリアを拡大する処理を制御し、前記視差量変更手段は、前記画像表示エリアが拡大された方向に合わせて前記視差量を変更することを特徴とする請求項１に記載の画像処理装置。
3. 前記データ生成手段は、前記左目用画像データおよび前記右目用画像データを合成した合成画像データと、前記視差量変更手段によって前記画像表示エリアに合わせて変更された前記視差量のデータを用いて前記左目用画像データおよび前記右目用画像データを生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 各マイクロレンズに対して撮像光学系の射出瞳の異なる領域を通過した光束を受光して光電変換する複数の光電変換部を撮像素子が有し、該撮像素子による立体視表示用の画像データおよびその視差量のデータから、左目用画像データおよび右目用画像データを生成する撮像装置であって、
   前記画像データに係る画像表示エリアを拡大する処理を制御する制御手段と、
   拡大された前記画像表示エリアに合わせて前記視差量を変更する視差量変更手段と、
   前記画像データ、および前記視差量変更手段によって変更された視差量のデータを用いて前記左目用画像データおよび前記右目用画像データを生成するデータ生成手段を備えることを特徴とする撮像装置。
5. 立体視表示用の画像データおよびその視差量のデータを取得して、左目用画像データおよび右目用画像データを生成する画像処理装置にて実行される制御方法であって、
   前記画像データに係る画像表示エリアを拡大する処理を行う拡大処理ステップと、
   拡大された前記画像表示エリアに合わせて前記視差量を変更する視差量変更ステップと、
   前記画像データ、および変更された前記視差量のデータを用いて前記左目用画像データおよび前記右目用画像データを生成するデータ生成ステップを有することを特徴とする画像処理装置の制御方法。
6. 各マイクロレンズに対して撮像光学系の射出瞳の異なる領域を通過した光束を受光して光電変換する複数の光電変換部を撮像素子が有し、該撮像素子による立体視表示用の画像データおよびその視差量のデータから、左目用画像データおよび右目用画像データを生成する撮像装置にて実行される制御方法であって、
   前記画像データに係る画像表示エリアを拡大する処理を行う拡大処理ステップと、
   拡大された前記画像表示エリアに合わせて前記視差量を変更する視差量変更ステップと、
   前記画像データ、および変更された前記視差量のデータを用いて前記左目用画像データおよび前記右目用画像データを生成するデータ生成ステップを有することを特徴とする撮像装置の制御方法。
7. 立体視表示用の画像データおよびその視差量のデータを取得して、左目用画像データおよび右目用画像データを生成する画像処理装置にてコンピュータにより実行される画像処理プログラムであって、
   前記画像データに係る画像表示エリアを拡大する処理を行う拡大処理ステップと、
   拡大された前記画像表示エリアに合わせて前記視差量を変更する視差量変更ステップと、
   前記画像データ、および変更された前記視差量のデータを用いて前記左目用画像データおよび前記右目用画像データを生成するデータ生成ステップを有することを特徴とする画像処理プログラム。

Images