JP5306544B2 - 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体 - Google Patents
画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体 Download PDFInfo
- Publication number
- JP5306544B2 JP5306544B2 JP2012541792A JP2012541792A JP5306544B2 JP 5306544 B2 JP5306544 B2 JP 5306544B2 JP 2012541792 A JP2012541792 A JP 2012541792A JP 2012541792 A JP2012541792 A JP 2012541792A JP 5306544 B2 JP5306544 B2 JP 5306544B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- parallax
- image data
- display device
- parallax amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/18—Stereoscopic photography by simultaneous viewing
- G03B35/24—Stereoscopic photography by simultaneous viewing using apertured or refractive resolving means on screens or between screen and eye
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
本願は2010年11月5日出願の日本出願第2010−249011号の優先権を主張すると共に、その全文を参照により本明細書に援用する。
本発明は、画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体に係り、特に、表示装置に立体視表示用の画像データを出力する画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体に関する。
本発明は、画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体に係り、特に、表示装置に立体視表示用の画像データを出力する画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体に関する。
従来より、第1の表示装置にて取得されたユーザの適正視差を第2の表示装置に読み込み、第2の表示装置にて、読み込んだ適正視差にしたがって視差画像の視差を調整し、第2の表示装置から調整後の視差画像を出力する立体画像処理方法が知られている(特開2004−7396号公報)。
また、右眼用の画像と左眼用の画像とを、表示画面の大きさと視距離とに基づいて変換した、右眼用立体視画像と左眼用立体視画像とを生成する立体視画像生成装置が知られている(特開2006−333400号公報)。この立体視画像生成装置では、右眼用立体視画像と左眼用立体視画像とを表示する表示画面の大きさと、観察者の位置と、表示画面の位置とを示す表示画面情報(データ)に基づいて、観察者の右眼及び左眼の位置と、表示画面の領域と、観察者の位置に対応して予め設定された右眼用の画像及び左眼用の画像の表示領域とを、仮想空間上において、仮想右眼位置と、仮想左眼位置と、仮想表示画面領域と、仮想標準表示領域として設定している。
しかしながら、上記の特開2004−7396号公報に記載の技術では、1つの表示装置での視差の手動調整結果を、他の表示装置にて調整して適用しているため、表示装置のサイズの違いが大きい場合には、視差の誤差が大きくなりやすい。
また、上記の特開2006−333400号公報に記載の技術では、立体感の個人差にも対応するためには、逐一視差調整をしなければならない。
本発明は、上記問題を考慮してなされたもので、複数種類の表示装置の各々について、適切な視差量を自動的に算出することができる画像処理装置及びプログラムを提供することを目的とする。
本発明の一態様は、画像処理装置であって、立体視表示する出力対象の表示装置の第1表示サイズを取得するサイズ取得手段と、複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを記憶する記憶手段と、前記記憶手段に記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第1表示サイズに対する視差量を算出する視差量算出手段と、前記視差量算出手段によって算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する出力手段と、を含んで構成されている。
本発明の第二の態様は、画像処理プログラムであって、複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを記憶する記憶手段を含むコンピュータを、立体視表示する出力対象の表示装置の第1表示サイズを取得するサイズ取得手段、前記記憶手段に記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第1表示サイズに対する視差量を算出する視差量算出手段、及び前記視差量算出手段によって算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する出力手段として機能させる。
本発明の第三の態様は、画像処理方法であって、複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを予め記憶し、立体視表示する出力対象の表示装置の第1表示サイズを取得し、前記記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記取得された前記第1表示サイズに対する視差量を算出し、前記算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力することを含む。
本発明の第四の態様は、コンピュータに画像処理を実行させるプログラムを記憶した持続的記憶媒体であって、前記画像処理が、複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを予め記憶し、立体視表示する出力対象の表示装置の第1表示サイズを取得し、前記記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記取得された前記第1表示サイズに対する視差量を算出し、前記算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力することを含む。
本発明の一態様によれば、サイズ取得手段によって、立体視表示する出力対象の表示装置の第1表示サイズを取得する。視差量算出手段によって、記憶手段に記憶された視差量と第2表示サイズとの関係に基づいて、サイズ取得手段によって取得された第1表示サイズに対する視差量を算出する。そして、出力手段によって、視差量算出手段によって算出された視差量と、立体視表示用の画像データとを出力対象の表示装置に出力する。
このように、ユーザによって調整された視差量と表示サイズとの関係に基づいて、出力対象の表示装置の表示サイズに対する視差量を算出することにより、複数種類の表示装置の各々について、適切な視差量を自動的に算出することができる。
本態様の画像処理装置は、前記出力対象の表示装置の種類を取得する種類取得手段と、前記種類取得手段によって取得した前記種類に対して予め定められた視距離に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段とを更に含み、前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力するようにすることができる。これによって、表示装置の種類について定められた視距離に応じて、より適切な視差量に補正することができる。
本態様の画像処理装置は、ユーザを示すユーザ情報を受け付ける受付手段を更に含み、前記記憶手段は、前記ユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを前記ユーザ情報毎に記憶し、前記視差量算出手段は、前記受付手段によって受け付けたユーザ情報に対応する、前記記憶手段に記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第1表示サイズに対する視差量を算出するようにすることができる。これによって、ユーザ毎に、適切な視差量を算出することができる。
また、受付手段を含む態様の画像処理装置は、前記出力対象の表示装置の種類を取得する種類取得手段と、前記種類取得手段によって取得した前記種類及び前記受付手段によって受け付けたユーザ情報に対して予め定められた視距離に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段とを更に含み、前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力するようにすることができる。これによって、ユーザ毎に、表示装置の種類について定められた視距離に応じて、より適切な視差量に補正することができる。
本態様の画像処理装置は、立体視表示する表示手段と、前記表示手段からユーザまでの視距離を計測する計測手段と、前記表示手段の第1表示サイズに応じて予め定められた視距離と、前記計測手段によって計測された視距離とを比較し、比較結果に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段とを更に含み、前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力するようにすることができる。これによって、ユーザまでの視距離に応じて、より適切な視差量に補正することができる。
本態様の画像処理装置は、前記立体視表示用の画像データから、被写体の視差レンジを取得する視差レンジ取得手段を更に含み、前記視差量算出手段は、視差量が調整された第1の立体視表示用の画像データとは異なる第2の立体視表示用の画像データを出力する場合、前記第1の立体視表示用の画像データから取得された前記視差レンジと、前記第2の立体視表示用の画像データから取得された前記視差レンジと、前記第1の立体視表示用の画像データの視差量とに基づいて、前記第2の立体視表示用の画像データの視差量を算出し、前記出力手段は、前記算出手段によって補正された視差量と、前記第2の立体視表示用の画像データとを前記出力対象の表示装置に出力するようにすることができる。これによって、視差量が調整された立体視表示用の画像データとは異なる立体視表示用の画像データについても、適切な視差量を算出することができる。
本態様の立体視表示用の画像データは、被写体までの距離を含み、画像処理装置は、前記立体視表示用の画像データから、被写体までの距離を取得する被写体距離取得手段を更に含み、前記視差量算出手段は、視差量が調整された第1の立体視表示用の画像データとは異なる第2の立体視表示用の画像データを出力する場合、前記第1の立体視表示用の画像データから取得された前記被写体までの距離と、前記第2の立体視表示用の画像データから取得された前記被写体までの距離と、前記第1の立体視表示用の画像データの視差量とに基づいて、前記第2の立体視表示用の画像データの視差量を算出し、前記出力手段は、前記算出手段によって補正された視差量と、前記第2の立体視表示用の画像データとを前記出力対象の表示装置に出力するようにすることができる。これによって、視差量が調整された立体視表示用の画像データとは異なる立体視表示用の画像データについても、適切な視差量を算出することができる。
本態様の画像処理装置は、立体視表示する表示手段を更に含むようにすることができる。
本態様の画像処理装置は、異なる複数の視点から複数の画像を撮影する撮影手段を更に含み、前記出力手段は、前記立体視表示用の画像データとして、前記撮影手段によって複数の視点から撮影された複数の画像を出力するようにすることができる。
以上説明したように、本発明によれば、ユーザによって調整された視差量と表示サイズとの関係に基づいて、出力対象の表示装置の表示サイズに対する視差量を算出することにより、複数種類の表示装置の各々について、適切な視差量を自動的に算出することができる。
以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本実施の形態では、本発明の画像処理装置を、複眼デジタルカメラに適用した場合について説明する。
図1は、第1の実施の形態の複眼デジタルカメラ1の正面側斜視図、図2は背面側斜視図である。図1に示すように、複眼デジタルカメラ1の上部には、レリーズボタン2、電源ボタン3、及びズームレバー4が備えられている。また、複眼デジタルカメラ1の正面には、フラッシュ5及び2つの撮影部21A、21Bのレンズが配設されている。また、複眼デジタルカメラ1の背面には、各種表示を行う液晶モニタ7、及び各種操作ボタン8が配設されている。
図3A及び3Bに示すように、複眼デジタルカメラ1は、3次元表示が可能なテレビなどの複数種類の表示装置にケーブルを介して接続することが可能であり、複眼デジタルカメラ1から、画像データが、複数種類の表示装置に出力される。
図4は、複眼デジタルカメラ1の内部構成を示す概略ブロック図である。図4に示すように、複眼デジタルカメラ1は、2つの撮影部21A、21B、撮影制御部22、画像処理部23、圧縮/伸長処理部24、フレームメモリ25、メディア制御部26、内部メモリ27、表示制御部28、入力部36、CPU37、及びデータ通信部38を備えている。なお、撮影部21A、21Bは、被写体を見込む輻輳角を持って、予め定められた基線長となるように配置されている。なお、輻輳角及び基線長の情報は内部メモリ27に記憶されている。
撮影制御部22は、不図示のAF処理部及びAE処理部からなる。AF処理部はレリーズボタン2の半押し操作により撮影部21A、21Bが取得したプレ画像に基づいて、合焦領域を決定すると共に、レンズの焦点位置を決定し、撮影部21A、21Bに出力する。AF処理部は、被写体領域を合焦領域として、レンズの焦点位置を決定する。AE処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部21A、21Bに出力する。
また、撮影制御部22は、レリーズボタン2の全押し操作により、複眼モードでは、撮影部21Aに対して左画像、撮影部21Bに対して右画像の本画像を取得させる本撮影の指示を行う。なお、レリーズボタン2が操作される前は、撮影制御部22は、撮影範囲を確認させるための本画像よりも画素数が少ないリアルタイム画像を、所定時間間隔(例えば1/30秒間隔)にて順次取得させる指示を撮影部21A、21Bに対して行う。
画像処理部23は、撮影部21A、21Bより取得した左画像及び右画像のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の画像処理を施す。
圧縮/伸長処理部24は、画像処理部23によって処理が施された左画像及び右画像を表す画像データに対して、例えば、JPEG等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルを生成する。この立体視用の画像ファイルには、左画像及び右画像の画像データを含み、Exifフォーマット等に基づいて、基線長、輻輳角、及び撮影日時等の付帯情報、並びに視点位置を表す視点情報が格納される。更に、レンズの焦点位置から算出される被写体までの距離情報が、立体視用の画像ファイルに格納される。
フレームメモリ25は、撮影部21A、21Bが取得した左画像及び右画像を表す画像データに対して、前述の画像処理部23が行う処理を含む各種処理を行う際に使用する作業用メモリである。
メディア制御部26は、記録メディア29にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。
内部メモリ27は、液晶モニタ7の表示サイズの幅、複眼デジタルカメラ1において設定される各種定数、及びCPU37が実行するプログラム等を記憶する。
表示制御部28は、撮影時においてフレームメモリ25に格納された左画像及び右画像から生成された立体視用画像を液晶モニタ7に表示させたり、記録メディア29に記録されている左画像及び右画像、または立体視用画像を液晶モニタ7に表示させたりする。また、表示制御部28は、リアルタイム画像を液晶モニタ7に表示させる。
記録メディア29は、例えばメモリカードで構成されている。また、記録メディア29は、記憶手段の一例である。
図5は、液晶モニタ7の構成を示す分解斜視図である。図5に示すように、液晶モニタ7は、LEDにより発光するバックライトユニット40及び各種表示を行うための液晶パネル41を積層し、液晶パネル41の表面にレンチキュラーシート42を取り付けることにより構成されている。
図6は、レンチキュラーシートの構成を示す図である。図6に示すようにレンチキュラーシート42は、複数のシリンドリカルレンズ43を基線に沿った方向に並列に並べることにより構成されている。
データ通信部38は、複眼デジタルカメラ1が他の表示装置とケーブルを介して接続されているときに、当該他の表示装置との間でデータ通信を行う。
また、複眼デジタルカメラ1は、3次元処理部30、ユーザ認証部31、視差調整部32、サイズ取得部33、及び視差算出部34を備える。
3次元処理部30は、左画像及び右画像を液晶モニタ7に立体視表示を行うために、左画像及び右画像に3次元処理を行って立体視用画像を生成する。
図7は、左画像G1及び右画像G2に対する3次元処理を説明するための図である。図7に示すように3次元処理部30は、左画像G1及び右画像G2の各々を基線に対して垂直方向に短冊状に切り取り、レンチキュラーシート42におけるシリンドリカルレンズ43のそれぞれに、位置が対応する短冊状に切り取った左画像G1及び右画像G2が交互に配置されるように3次元処理を行って、立体視用画像GRを生成する。立体視用画像GRを構成する左画像G1及び右画像G2の画像対は、各々1つのシリンドリカルレンズに対応して配置される。
ユーザ認証部31は、ユーザが入力部36を操作することによって入力したユーザIDを受け付けて、予め登録されたユーザIDのリストと照合して、ユーザ認証を行う。なお、ユーザ認証部31が、受付手段の一例である。
視差調整部32は、ユーザによる入力部36の操作に従い、左画像G1及び右画像G2の視差を調整する。ここで、視差とは、左画像G1及び右画像G2の双方に含まれる被写体の、左画像G1及び右画像G2の横方向、すなわち基線に沿った方向における画素位置のずれ量をいう。ユーザが視差を手動で調整することにより、立体視用画像GRに含まれる被写体の立体感を適切なものとすることができる。
視差調整部32は、記録メディア29に予め記録されている立体視用の画像ファイルについて、左画像及び右画像の視差を調整し、調整結果を、立体視用の画像ファイルに格納する。また、視差調整部32は、調整結果に対応して、液晶モニタ7の表示サイズ(例えば、表示画面の横幅)を、立体視用の画像ファイルに格納する。
また、視差調整部32は、データ通信部38を介して他の表示装置に立体視用の画像ファイルを出力して、他の表示装置において立体視表示しているときに、ユーザによる入力部36の操作に従い、当該表示装置の立体視表示における左画像及び右画像の視差を調整することができる。このとき、視差調整部32は、調整結果を、立体視用の画像ファイルに格納する。また、視差調整部32は、調整結果に対応して、後述するサイズ取得部33で取得した当該表示装置の表示サイズ(例えば、表示画面の横幅)を、立体視用の画像ファイルに格納する。
サイズ取得部33は、データ通信部38を介して他の表示装置に立体視用の画像ファイルを出力して、他の表示装置において立体視表示するときに、データ通信部38を介して、当該表示装置から、表示サイズ(例えば、表示画面の横幅)を取得する。
視差算出部34は、サイズ取得部33によって他の表示装置の表示サイズを取得したときに、立体視用の画像ファイルに格納されている視差の調整結果に基づいて、当該表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。
視差算出部34は、立体視用の画像ファイルに、視差の調整結果が2つ格納されている場合には、2つの視差の調整結果に基づく表示サイズと視差との関係を表わす1次関数に従って、サイズ取得部33によって取得した他の表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。
例えば、液晶モニタ7の表示サイズの幅がW1cmであり、ユーザによる視差の手動調整結果がL1cmであり、他の表示装置の表示サイズの幅がW2cmであり、ユーザによる視差の手動調整結果がL2cmである場合には、図8に示すように、表示サイズと視差との関係を表わす1次関数x=AW+Bの傾きA、切片Bを、以下の式に従って求める。
A=(L2−L1)/(W2−W1)
B=(L1・W2−L2・W1)/(W2−W1)
そして、上記のように求められた1次関数に基づいて、サイズ取得部33によって取得した他の表示装置の表示サイズW3に応じた、左画像及び右画像の視差xを算出する。すなわち、視差xは以下の式で表される。
x=(L2−L1)/(W2−W1)・(W3−W1)+L1
また、視差算出部34は、立体視用の画像ファイルに、視差の調整結果が3つ以上格納されている場合には、3つ以上の視差の調整結果に基づく表示サイズと視差との関係を表わす1次関数に従って、サイズ取得部33によって取得した他の表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。
A=(L2−L1)/(W2−W1)
B=(L1・W2−L2・W1)/(W2−W1)
そして、上記のように求められた1次関数に基づいて、サイズ取得部33によって取得した他の表示装置の表示サイズW3に応じた、左画像及び右画像の視差xを算出する。すなわち、視差xは以下の式で表される。
x=(L2−L1)/(W2−W1)・(W3−W1)+L1
また、視差算出部34は、立体視用の画像ファイルに、視差の調整結果が3つ以上格納されている場合には、3つ以上の視差の調整結果に基づく表示サイズと視差との関係を表わす1次関数に従って、サイズ取得部33によって取得した他の表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。
例えば、3組以上の表示サイズと視差の調整結果とを、図9に示すようにプロットし、主成分分析により、主成分を表わす直線(表示サイズと視差との関係を表わす1次関数x=AW+Bの傾きA、切片B)を求める。
ここで、傾きA、切片Bは、以下の式で表される。
A=(NR−PQ)/(NP’−P2)
B=(P’Q−PR)/(NP−P2)
ただし、P=W1+W2+・・・+WN、P’=W12+W22+・・・WN2、Q=L1+L2+・・・+LN、R=W1・L1+W2・L2+・・・WN・LN、Nはデータ数である。
A=(NR−PQ)/(NP’−P2)
B=(P’Q−PR)/(NP−P2)
ただし、P=W1+W2+・・・+WN、P’=W12+W22+・・・WN2、Q=L1+L2+・・・+LN、R=W1・L1+W2・L2+・・・WN・LN、Nはデータ数である。
そして、上記のように主成分分析により求められた傾き及び切片を適用した1次関数に基づいて、サイズ取得部33によって取得した他の表示装置の表示サイズWに応じた、左画像及び右画像の視差xを算出する。
次に、第1の実施の形態の複眼デジタルカメラ1の作用について説明する。まず、ユーザが入力部36を操作してユーザIDを入力すると、複眼デジタルカメラ1が、ユーザ認証を行う。また、複眼デジタルカメラ1は、記録メディア29に予め記録されている特定の立体視用の画像ファイルの左画像及び右画像に、3次元処理を行って立体視用画像を生成し、液晶モニタ7に、左画像及び右画像を立体視表示する。そして、ユーザが、入力部36を操作して、左画像及び右画像の視差を調整すると、複眼デジタルカメラ1において、視差の調整結果と、液晶モニタ7の表示サイズの幅とが、ユーザIDに対応して特定の立体視用の画像ファイルに格納される。
次に、上記図3(A)に示すように、複眼デジタルカメラ1が、他の表示装置(例えば、3次元表示が可能なテレビ)にケーブルを介して接続され、記録メディア29に予め記録されている特定の立体視用の画像ファイルが、当該表示装置に出力される。当該表示装置では、特定の立体視用の画像ファイルの左画像及び右画像を立体視表示する。そして、ユーザが、複眼デジタルカメラ1の入力部36を操作して、左画像及び右画像の視差を調整すると、複眼デジタルカメラ1において、視差の調整結果と、当該表示装置の表示サイズの幅とが、ユーザIDに対応して特定の立体視用の画像ファイルに格納される。
次に、上記図3(B)に示すように、複眼デジタルカメラ1が、更に別の表示装置にケーブルを介して接続されると、複眼デジタルカメラ1のCPU37によって、図10に示す視差調整処理ルーチンが実行される。
まず、ステップ100において、複眼デジタルカメラ1に接続された当該表示装置から、表示サイズの幅を取得する。ステップ102では、ユーザ認証されたユーザIDを取得し、ステップ104において、記録メディア29に記憶された特定の立体視用の画像ファイルから、取得したユーザIDに対応して格納された、視差の調整結果と、表示装置の表示サイズの幅との複数の組み合わせを読み込む。
そして、ステップ106において、上記ステップ104で取得したデータ数(視差の調整結果と、表示装置の表示サイズの幅との組み合わせの数)が、3つ以上であるか否かを判定する。取得したデータ数が2つであった場合には、ステップ108において、上記ステップ104で取得した視差の調整結果と、表示装置の表示サイズの幅との2つの組み合わせに基づいて、表示サイズと視差との関係を表わす1次関数の傾き及び切片を求める。一方、上記ステップ106で、取得したデータ数が3つ以上であった場合には、ステップ110において、上記ステップ104で取得した視差の調整結果と、表示装置の表示サイズの幅との3つ以上の組み合わせに基づいて、主成分分析を行い、表示サイズと視差との関係を表わす1次関数を導出する。
次のステップ112では、上記ステップ108又は110で導出した1次関数に従って、上記ステップ100で取得した表示サイズの幅に対応する視差量を算出する。そして、ステップ114において、特定の立体視用の画像ファイルと共に、上記ステップ112で算出した視差量を、複眼デジタルカメラ1に接続された当該表示装置に出力し、視差調整処理ルーチンを終了する。
当該表示装置では、算出された視差量で、特定の立体視用の画像ファイルの左画像及び右画像が立体視表示される。
以上説明したように、第1の実施の形態の複眼デジタルカメラによれば、ユーザによって手動で調整された視差量と表示サイズの幅との関係に基づいて、出力対象の表示装置の表示サイズの幅に対する視差量を算出することにより、複数種類の表示装置の各々について、適切な視差量を自動的に算出することができる。
また、立体視用の画像ファイルの出力先となる表示装置が変わるたびにユーザの望む視差量を逐一調整する手間を省くことができる。
また、ユーザが手動で視差量を調整した調整結果の数が多いほど、算出される視差量の精度を向上することができる。
また、幅が異なる立体視表示可能な複数の表示装置の表示サイズの幅と、それぞれについてユーザが手動で調整した視差とを利用することで、手動視差調整を行っていない未知の立体視表示可能な表示装置に対して、適切な視差量を算出することができる。いかなる表示装置であっても、表示サイズの幅さえわかれば、ユーザ個人の好みを反映した視差を自動的に設定できる。
次に、第2の実施の形態について説明する。第2の実施の形態の複眼デジタルカメラの構成は、第1の実施の形態の複眼デジタルカメラ1と同一であるため、同一符号を付して、説明を省略する。
第2の実施の形態では、表示装置の種類に応じて、算出した視差量を補正している点が、第1の実施の形態と異なっている。
第2の実施の形態に係る複眼デジタルカメラでは、サイズ取得部33によって、データ通信部38を介して他の表示装置に立体視用の画像ファイルを出力して、当該他の表示装置において立体視表示するときに、データ通信部38を介して、当該表示装置から、表示サイズの幅を取得すると共に、表示装置の種類(テレビ、フォトフレーム、デジタルカメラの液晶など)を取得する。なお、サイズ取得部33は、サイズ取得手段及び種類取得手段の一例である。
視差算出部34は、サイズ取得部33によって他の表示装置の表示サイズを取得したときに、立体視用の画像ファイルに格納されている視差の調整結果に基づいて、当該表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。また、視差算出部34は、算出した視差量を、当該表示装置の種類に対して予め定められた視距離の傾向に応じて補正する。例えば、フォトフレームであれば、同じ表示サイズの幅であっても、ユーザは近くで見ることが多い(表示サイズの幅に対する視距離が短い傾向である)ため、視差量を小さくするように補正する。また、テレビであれば、同じ表示サイズの幅であっても、ユーザは遠くで見ることが多い(表示サイズの幅に対する視距離が遠い傾向である)ため、視差量を大きくするように補正する。
次に、第2の実施の形態に係る視差調整処理ルーチンについて図11を用いて説明する。なお、第1の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
まず、ステップ200において、複眼デジタルカメラ1に接続された当該表示装置から、表示サイズの幅及び表示装置の種類を取得する。ステップ102では、ユーザ認証されたユーザIDを取得し、ステップ104において、記録メディア29に記憶された特定の立体視用の画像ファイルから、取得したユーザIDに対応して格納された、視差の調整結果と表示装置の表示サイズの幅との複数の組み合わせを読み込む。
そして、ステップ106において、上記ステップ104で取得したデータ数が、3つ以上であるか否かを判定する。取得したデータ数が2つであった場合には、ステップ108において、表示サイズと視差との関係を表わす1次関数の傾き及び切片を求める。一方、上記ステップ106で、取得したデータ数が3つ以上であった場合には、ステップ110において、主成分分析を行い、表示サイズと視差との関係を表わす1次関数を導出する。
次のステップ112では、上記で導出した1次関数に従って、上記ステップ100で取得した表示サイズの幅に対応する視差量を算出する。そして、ステップ202において、上記ステップ200で取得した表示装置の種類に応じて、上記ステップ112で算出した視差量を補正する。
次のステップ114において、特定の立体視用の画像ファイルと共に、上記ステップ202で補正した視差量を、複眼デジタルカメラ1に接続された当該表示装置に出力し、視差調整処理ルーチンを終了する。
以上説明したように、第2の実施の形態の複眼デジタルカメラによれば、表示装置の種類の相違からくる視距離のばらつき(視距離の傾向)に影響されずに、ユーザにとって望ましい視差を実現することができる。
次に、第3の実施の形態について説明する。第3の実施の形態の複眼デジタルカメラの構成は、第1の実施の形態の複眼デジタルカメラ1と同一であるため、同一符号を付して、説明を省略する。
第3の実施の形態では、ユーザ毎の視距離の傾向に応じて、算出された視差量を補正している点が、第1の実施の形態と異なっている。
第3の実施の形態に係る複眼デジタルカメラでは、サイズ取得部33によって、データ通信部38を介して他の表示装置に立体視用の画像ファイルを出力して、当該他の表示装置において立体視表示するときに、データ通信部38を介して、当該表示装置から、表示サイズの幅を取得すると共に、表示装置の種類(テレビ、フォトフレーム、カメラの液晶)を取得する。
視差算出部34は、サイズ取得部33によって当該他の表示装置の表示サイズを取得したときに、立体視用の画像ファイルに格納されている視差の調整結果に基づいて、当該表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。また、視差算出部34は、ユーザIDに対応して予め設定された、当該表示装置の種類における視距離の傾向に応じて、算出した視差量を補正する。例えば、AさんのユーザIDに対応して、テレビの視距離が極めて短い、という傾向が設定されている場合には、視差量を小さくするように補正する。
なお、ユーザID毎の、表示装置の種類に対する視距離の傾向は、ユーザが入力部36を操作することにより、手動で設定される。また、設定された、ユーザID毎の、表示装置の種類に対する視距離の傾向は、記録メディア29に記憶される。
図12を参照して、第3の実施の形態の複眼デジタルカメラにおける視差調整処理ルーチンについて説明する。なお、第1の実施の形態の視差調整処理ルーチンと同一の処理については、同一の符号を付して詳細な説明を省略する。
まず、ステップ200において、複眼デジタルカメラ1に接続された当該表示装置から、表示サイズの幅及び表示装置の種類を取得する。ステップ102では、ユーザ認証されたユーザIDを取得し、ステップ104において、記録メディア29に記憶された特定の立体視用の画像ファイルに、取得したユーザIDに対応して格納された、視差の調整結果と表示装置の表示サイズの幅との複数の組み合わせを読み込む。
そして、ステップ106において、上記ステップ104で取得したデータ数が、3つ以上であるか否かを判定する。取得したデータ数が2つであった場合には、ステップ108において、表示サイズと視差との関係を表わす1次関数の傾き及び切片を求める。一方、上記ステップ106で、取得したデータ数が3つ以上であった場合には、ステップ110において、主成分分析を行い、表示サイズと視差との関係を表わす1次関数を導出する。
次のステップ112では、上記で導出した1次関数に従って、上記ステップ100で取得した表示サイズの幅に対応する視差量を算出する。そして、ステップ300において、記録メディア29から、取得したユーザID及び表示装置の種類に対応して記憶された、視距離の傾向を読み込む。
ステップ302では、上記ステップ300で読み込んだ視距離の傾向に応じて、上記ステップ112で算出した視差量を補正する。
次のステップ114において、特定の立体視用の画像ファイルと共に、上記ステップ302で補正した視差量を、複眼デジタルカメラ1に接続された当該表示装置に出力し、視差調整処理ルーチンを終了する。
以上説明したように、第3の実施の形態の複眼デジタルカメラによれば、視距離の個人のばらつきに影響されずに、ユーザにとって望ましい視差を実現することができる。
なお、上記の第3の実施の形態で説明した視差量を補正する技術を、上記第2の実施の形態に適用してもよい。
次に、第4の実施の形態について説明する。第4の実施の形態の複眼デジタルカメラの構成は、第1の実施の形態の複眼デジタルカメラ1と同一であるため、同一符号を付して、説明を省略する。
第4の実施の形態では、視差調整した特定の立体視用の画像ファイルとは別の画像ファイルを出力する場合に、特定の立体視用の画像ファイルについて調整された視差量と、被写体までの距離とに基づいて、視差量を算出している点が、第1の実施の形態と異なっている。
第4の実施の形態に係る複眼デジタルカメラでは、視差算出部34によって、データ通信部38を介して他の表示装置に、視差調整した特定の立体視用の画像ファイルとは別の画像ファイルを出力して、当該他の表示装置において立体視表示するときに、特定の立体視用の画像ファイルに格納されている視差の調整結果及び被写体までの距離情報と、出力対象の画像ファイルに格納されている被写体までの距離情報とに基づいて、出力対象の画像ファイルに対する、左画像及び右画像の視差を算出する。
例えば、特定の立体視用の画像ファイルについて算出された視差量を、以下の式に従って算出されるγ倍して、出力対象の画像ファイルに対する、左画像及び右画像の視差量を算出する。
γ=(出力対象の画像ファイルの被写体までの距離情報)/(特定の立体視用の画像ファイルの被写体までの距離情報)
次に、第4の実施の形態の複眼デジタルカメラ1の作用について説明する。
γ=(出力対象の画像ファイルの被写体までの距離情報)/(特定の立体視用の画像ファイルの被写体までの距離情報)
次に、第4の実施の形態の複眼デジタルカメラ1の作用について説明する。
まず、複眼デジタルカメラ1の液晶モニタ7と、他の表示装置との各々について、ユーザが入力部36を操作して、左画像及び右画像の視差を調整し、複眼デジタルカメラ1において、視差の調整結果と表示サイズの幅との各組み合わせが、ユーザIDに対応して特定の立体視用の画像ファイルに格納される。
次に、上記図3(B)に示すように、複眼デジタルカメラ1が、他の表示装置にケーブルを介して接続されると、複眼デジタルカメラ1のCPU37によって、上記図10に示す視差調整処理ルーチンが実行される。
また、複眼デジタルカメラ1から当該他の表示装置に別の立体視用の画像ファイルを出力するように、複眼デジタルカメラ1の入力部36がユーザにより操作されると、複眼デジタルカメラ1のCPU37によって、図13に示す出力処理ルーチンが実行される。
まず、ステップ400において、出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと同一であるか否かを判定する。出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと同一である場合には、ステップ402において、上記の視差調整処理ルーチンで算出された視差量と、特定の立体視用の画像ファイルとを、複眼デジタルカメラ1に接続された当該表示装置に出力し、出力処理ルーチンを終了する。
一方、上記ステップ400で、出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと異なる場合には、ステップ404において、出力対象の立体視用の画像ファイルに格納されている被写体までの距離と、特定の立体視用の画像ファイルに格納されている被写体までの距離とを取得する。
そして、ステップ406において、上記ステップ404で取得した被写体までの距離と、上記の視差調整処理ルーチンで算出された視差量とに基づいて、視差量を算出する。次のステップ408では、出力対象の立体視用の画像ファイルと共に、上記ステップ406で算出された視差量を、複眼デジタルカメラ1に接続された当該表示装置に出力し、出力処理ルーチンを終了する。
当該表示装置では、算出された視差量で、出力対象の立体視用の画像ファイルの左画像及び右画像が立体視表示される。
以上説明したように、第4の実施の形態の複眼デジタルカメラによれば、立体視用の画像ファイルの被写体までの距離に関わらず、ユーザにとって望ましい視差を実現することができる。
なお、上記の第4の実施の形態で説明した、視差調整した画像ファイルとは別の画像ファイルの視差量を算出する技術を、上述した第2の実施の形態又は第3の実施の形態に適用してもよい。
次に、第5の実施の形態について説明する。第5の実施の形態の複眼デジタルカメラの構成は、第1の実施の形態の複眼デジタルカメラ1と同一であるため、同一符号を付して、説明を省略する。
第5の実施の形態では、視差調整した特定の立体視用の画像ファイルとは別の画像ファイルを出力する場合に、特定の立体視用の画像ファイルについて調整された視差量と、被写体の視差レンジとに基づいて、視差量を算出している点が、第1の実施の形態と異なっている。
第5の実施の形態に係る複眼デジタルカメラでは、視差算出部34によって、データ通信部38を介して他の表示装置に、視差調整した特定の立体視用の画像ファイルとは別の画像ファイルを出力して、当該他の表示装置において立体視表示するときに、特定の立体視用の画像ファイルに格納されている視差の調整結果及び特定の立体視用の画像ファイルについて求められる被写体の視差レンジと、出力対象の画像ファイルについて求められる被写体の視差レンジとに基づいて、出力対象の画像ファイルに対する、左画像及び右画像の視差を算出する。
例えば、図14(A)に示すように、特定の立体視用の画像ファイルについて、被写体の視差レンジが、a1[m]〜a2[m]であり、図14(B)に示すように、出力対象の画像ファイルについて、被写体の視差レンジが、b1[m]〜b2[m]である場合には、特定の立体視用の画像ファイルについて算出された視差量を、以下の式に従って算出されるк倍して、出力対象の画像ファイルに対する、左画像及び右画像の視差量を算出する。
к=(b1+b2)/(a1+a2)
なお、被写体の視差レンジは、以下のように求められる。まず、画像中の複数の被写体の中で、例えばある一定以上のエッジ成分(高周波成分)を有する被写体、もしくはある一定以上の視差を有する被写体、もしくはその両方の条件を満たす被写体を抽出する。そして、抽出した被写体の中から、複眼デジタルカメラとの距離が最も近い被写体と最も遠い被写体とを特定し、その2つの被写体の光軸上の距離を視差レンジとする。この際、近接撮影以外の場合においては、複眼デジタルカメラからの距離が近すぎる被写体(例えば0.5m以下)を、視差レンジを決定する際の被写体から除外する。
к=(b1+b2)/(a1+a2)
なお、被写体の視差レンジは、以下のように求められる。まず、画像中の複数の被写体の中で、例えばある一定以上のエッジ成分(高周波成分)を有する被写体、もしくはある一定以上の視差を有する被写体、もしくはその両方の条件を満たす被写体を抽出する。そして、抽出した被写体の中から、複眼デジタルカメラとの距離が最も近い被写体と最も遠い被写体とを特定し、その2つの被写体の光軸上の距離を視差レンジとする。この際、近接撮影以外の場合においては、複眼デジタルカメラからの距離が近すぎる被写体(例えば0.5m以下)を、視差レンジを決定する際の被写体から除外する。
次に、第5の実施の形態の複眼デジタルカメラ1の作用について説明する。
まず、複眼デジタルカメラ1の液晶モニタ7と、他の表示装置との各々について、ユーザが入力部36を操作して、左画像及び右画像の視差を調整し、複眼デジタルカメラ1において、視差の調整結果と表示サイズの幅との各組み合わせが、ユーザIDに対応して特定の立体視用の画像ファイルに格納される。
次に、上記図3(B)に示すように、複眼デジタルカメラ1が、他の表示装置にケーブルを介して接続されると、複眼デジタルカメラ1のCPU37によって、上記図10に示す視差調整処理ルーチンが実行される。
また、複眼デジタルカメラ1から当該他の表示装置に別の立体視用の画像ファイルを出力するように、複眼デジタルカメラ1の入力部36がユーザにより操作されると、複眼デジタルカメラ1のCPU37によって、図15に示す出力処理ルーチンが実行される。
まず、ステップ400において、出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと同一であるか否かを判定する。出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと同一である場合には、ステップ402において、上記の視差調整処理ルーチンで算出された視差量と、特定の立体視用の画像ファイルとを、複眼デジタルカメラ1に接続された当該表示装置に出力し、出力処理ルーチンを終了する。
一方、上記ステップ400で、出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと異なる場合には、ステップ500において、特定の立体視用の画像ファイルについて、被写体の視差レンジを求めると共に、出力対象の立体視用の画像ファイルについて、被写体の視差レンジを求める。
そして、ステップ502において、上記ステップ500で求めた被写体の視差レンジと、上記の視差調整処理ルーチンで算出された視差量とに基づいて、視差量を算出する。次のステップ408では、出力対象の立体視用の画像ファイルと共に、上記ステップ406で算出された視差量を、複眼デジタルカメラ1に接続された当該表示装置に出力し、出力処理ルーチンを終了する。
当該表示装置では、算出された視差量で、出力対象の立体視用の画像ファイルの左画像及び右画像が立体視表示される。
以上説明したように、第5の実施の形態の複眼デジタルカメラによれば、立体視用の画像ファイルの被写体の視差レンジに関わらず、ユーザにとって望ましい視差を実現することができる。
なお、上記の第5の実施の形態で説明した、視差調整した画像ファイルとは別の画像ファイルの視差量を算出する技術を、上述した第2の実施の形態又は第3の実施の形態に適用してもよい。
また、上記第1の実施の形態〜第5の実施の形態では、複眼デジタルカメラに本発明を適用した場合を例に説明したが、これに限定されるものではなく、立体視表示可能な他の表示装置に、本発明を適用してもよい。
次に、第6の実施の形態について説明する。本実施の形態では、本発明の画像処理装置を、複眼デジタルカメラを含む複数種類の表示装置の各々に適用した場合について説明する。なお、第6の実施の形態の複眼デジタルカメラの構成は、第1の実施の形態の複眼デジタルカメラ1と同一であるため、同一符号を付して説明を省略する。
第6の実施の形態では、立体視表示可能な各表示装置において、視差の調整及び視差量の算出を行っている点が、第1の実施の形態と異なっている。
第6の実施の形態では、図16に示すような、複眼デジタルカメラ1を含む、立体視表示可能な複数種類の表示装置が、可搬性の記録メディア29を介して、立体視表示用の画像ファイルの授受を行っている。
複眼デジタルカメラ1以外の各表示装置600、602は、図17に示すように、液晶モニタ607、メディア制御部626、内部メモリ627、表示制御部628、入力部636、CPU637、及び距離計測部638を含む。
メディア制御部626は、記録メディア29にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。
内部メモリ627は、当該表示装置の表示サイズの幅、表示装置において設定される各種定数、及びCPU637が実行するプログラム等を記憶する。
表示制御部628は、記録メディア29に記録されている左画像及び右画像、または立体視用画像を液晶モニタ607に表示させたりする。
液晶モニタ607は、当該表示装置で採用している立体視表示の方式(例えば、レンチキュラーシートを用いた方式や、シャッターメガネを用いた方式など)に対応した構成となっている。
距離計測部638は、距離計測センサを備え、ユーザまでの視距離を計測する。
また、複眼デジタルカメラ1以外の各表示装置は、3次元処理部630、ユーザ認証部631、視差調整部632、サイズ取得部633、及び視差算出部634を含む。
3次元処理部630は、左画像及び右画像を液晶モニタ607に立体視表示を行うために、左画像及び右画像に3次元処理を行って、当該表示装置で採用している立体視表示の方式に対応した、立体視用画像を生成する。
ユーザ認証部631は、ユーザが入力部636を操作することによって入力したユーザIDを受け付けて、予め登録されたユーザIDのリストと照合して、ユーザ認証を行う。
視差調整部632は、ユーザによる入力部636の操作に従い、左画像及び右画像の視差を調整する。ユーザが視差を手動で調整することにより、立体視用画像に含まれる被写体の立体感を適切なものとすることができる。視差調整部632は、記録メディア29に予め記録されている立体視用の画像ファイルについて、左画像及び右画像の視差を調整し、調整結果を、記録メディア29に記録されている立体視用の画像ファイルに格納する。また、視差調整部632は、調整結果に対応して、液晶モニタ607の表示サイズ(例えば、表示画面の横幅)を、立体視用の画像ファイルに格納する。
サイズ取得部632は、内部メモリ627から、当該表示装置について予め求められた表示サイズ(例えば、表示画面の横幅)を取得する。
視差算出部634は、サイズ取得部632によって当該表示装置の表示サイズの幅を取得したときに、立体視用の画像ファイルに格納されている、他の表示装置についての視差の調整結果及び表示サイズの幅に基づいて、当該表示装置の表示サイズの幅に応じた、左画像及び右画像の視差を算出する。なお、視差量の算出方法は、第1の実施の形態と同様であるため、説明を省略する。
次に、第6の実施の形態における作用について説明する。まず、記録メディア29が装着された複眼デジタルカメラ1において、ユーザが入力部36を操作してユーザIDを入力すると、複眼デジタルカメラ1が、ユーザ認証を行う。また、複眼デジタルカメラ1は、記録メディア29に予め記録されている特定の立体視用の画像ファイルの左画像及び右画像に、3次元処理を行って立体視用画像を生成し、液晶モニタ7に、左画像及び右画像を立体視表示する。そして、ユーザが、入力部36を操作して、左画像及び右画像の視差を調整すると、複眼デジタルカメラ1において、視差の調整結果と、液晶モニタ7の表示サイズの幅とが、ユーザIDに対応して特定の立体視用の画像ファイルに格納される。
次に、他の表示装置600(例えば、3次元表示が可能なテレビ)に、記録メディア29が装着され、当該表示装置600において、ユーザが入力部536を操作してユーザIDを入力すると、当該表示装置600が、ユーザ認証を行う。また、当該表示装置600では、記録メディア29に予め記録されている特定の立体視用の画像ファイルの左画像及び右画像を立体視表示する。そして、ユーザが、当該表示装置600の入力部636を操作して、左画像及び右画像の視差を調整すると、当該表示装置600において、視差の調整結果と、当該表示装置600の表示サイズの幅とが、ユーザIDに対応して特定の立体視用の画像ファイルに格納される。
次に、更に他の表示装置602に、記録メディア29が装着され、当該表示装置602において、ユーザが入力部636を操作してユーザIDを入力すると、当該表示装置602が、ユーザ認証を行う。そして、当該表示装置602のCPU637によって、図18に示す視差調整処理ルーチンが実行される。なお、第1の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
まず、ステップ650において、距離計測部638によって、ユーザまでの視距離を計測する。そして、ステップ652において、当該表示装置602について予め求められた表示サイズの幅を取得する。ステップ102では、ユーザ認証されたユーザIDを取得し、ステップ104において、記録メディア29に記憶された特定の立体視用の画像ファイルから、取得したユーザIDに対応して格納された、視差の調整結果と、表示装置の表示サイズの幅との複数の組み合わせを読み込む。
そして、ステップ106において、上記ステップ104で取得したデータ数が、3つ以上であるか否かを判定する。取得したデータ数が2つであった場合には、ステップ108において、表示サイズと視差との関係を表わす1次関数の傾き及び切片を求める。一方、上記ステップ106で、取得したデータ数が3つ以上であった場合には、ステップ110において、主成分分析を行い、表示サイズと視差との関係を表わす1次関数を導出する。
次のステップ112では、上記ステップ108又は110で導出した1次関数に従って、上記ステップ100で取得した表示サイズの幅に対応する視差量を算出する。
そして、ステップ654において、上記ステップ650で計測された視距離が、上記ステップ652で取得した表示サイズの幅に応じた予め定められた視距離の標準範囲外であるか否かを判定する。表示サイズの幅に応じた予め定められた視距離の標準範囲内である場合には、ステップ658において、上記ステップ112で算出した視差量に基づいて、当該表示装置602の液晶モニタ607に、特定の立体視用の画像ファイルの左画像及び右画像を立体視表示して、視差調整処理ルーチンを終了する。
一方、上記ステップ654で、上記ステップ650で計測された視距離が、表示サイズの幅に応じて予め定められた視距離の標準範囲外であると判定された場合には、ステップ656において、計測された視距離が、上記標準範囲より長いか短いかに応じて、上記ステップ112で算出した視差量を補正する。例えば、計測された視距離が、上記標準範囲より長い場合には、算出した視差量が大きくなるように補正し、一方、計測された視距離が、上記標準範囲より短い場合には、算出した視差量が小さくなるように補正する。
そして、ステップ658において、上記ステップ656で補正した視差量に基づいて、当該表示装置602の液晶モニタ607に、特定の立体視用の画像ファイルの左画像及び右画像を立体視表示して、視差調整処理ルーチンを終了する。
以上説明したように、第6の実施の形態によれば、他の表示装置についてユーザによって手動で調整された視差量と表示サイズとの関係に基づいて、出力対象の表示装置の表示サイズに対する視差量を算出することにより、複数種類の表示装置の各々において、適切な視差量を自動的に算出することができる。
なお、上記の第6の実施の形態で説明した、各表示装置において視差の調整及び視差量の算出を行う技術を、上述した第2の実施の形態〜第5の実施の形態に適用してもよい。
また、上記の第6の実施の形態で説明した、視距離を計測する技術を、上述した第1の実施の形態〜第5の実施の形態に適用してもよい。
また、上記の第1の実施の形態〜第6の実施の形態では、AF処理部により決定された合焦位置から、被写体までの距離を計測する場合を例に説明したが、これに限定されるものではなく、撮影部21A、21Bから得られる画像のステレオマッチングにより、被写体までの距離を計測するようにしてもよい。
また、上記第1〜第6の実施の形態の視差調整処理ルーチンをプログラム化して、そのプログラムをCPUにより実行するようにしてもよい。
Claims (12)
- 立体視表示する出力対象の表示装置の第1表示サイズを取得するサイズ取得手段と、
複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを記憶する記憶手段と、
前記記憶手段に記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第1表示サイズに対する視差量を算出する視差量算出手段と、
前記視差量算出手段によって算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する出力手段と、
を含む画像処理装置。 - 前記出力対象の表示装置の種類を取得する種類取得手段と、
前記種類取得手段によって取得した前記種類に対して予め定められた視距離に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段と、を更に含み、
前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する請求項1記載の画像処理装置。 - ユーザを示すユーザ情報を受け付ける受付手段を更に含み、
前記記憶手段は、前記ユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを前記ユーザ情報毎に記憶し、
前記視差量算出手段は、前記受付手段によって受け付けたユーザ情報に対応する、前記記憶手段に記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第1表示サイズに対する視差量を算出する、請求項1又は2記載の画像処理装置。 - 前記出力対象の表示装置の種類を取得する種類取得手段と、
前記種類取得手段によって取得した前記種類及び前記受付手段によって受け付けたユーザ情報に対して予め定められた視距離に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段と、を更に含み、
前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する、請求項3記載の画像処理装置。 - 立体視表示する表示手段と、
前記表示手段からユーザまでの視距離を計測する計測手段と、
前記表示手段の第1表示サイズに応じて予め定められた視距離と、前記計測手段によって計測された視距離とを比較し、比較結果に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段とを更に含み、
前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する、請求項1〜請求項4の何れか1項記載の画像処理装置。 - 前記立体視表示用の画像データから、被写体の視差レンジを取得する視差レンジ取得手段を更に含み、
前記視差量算出手段は、視差量が調整された第1の立体視表示用の画像データとは異なる第2の立体視表示用の画像データを出力する場合、前記第1の立体視表示用の画像データから取得された前記視差レンジと、前記第2の立体視表示用の画像データから取得された前記視差レンジと、前記第1の立体視表示用の画像データの視差量とに基づいて、前記第2の立体視表示用の画像データの視差量を算出し、
前記出力手段は、前記算出手段によって補正された視差量と、前記第2の立体視表示用の画像データとを前記出力対象の表示装置に出力する、請求項1〜請求項5の何れか1項記載の画像処理装置。 - 前記立体視表示用の画像データは、被写体までの距離を含み、
前記立体視表示用の画像データから、被写体までの距離を取得する被写体距離取得手段を更に含み、
前記視差量算出手段は、視差量が調整された第1の立体視表示用の画像データとは異なる第2の立体視表示用の画像データを出力する場合、前記第1の立体視表示用の画像データから取得された前記被写体までの距離と、前記第2の立体視表示用の画像データから取得された前記被写体までの距離と、前記第1の立体視表示用の画像データの視差量とに基づいて、前記第2の立体視表示用の画像データの視差量を算出し、
前記出力手段は、前記算出手段によって補正された視差量と、前記第2の立体視表示用の画像データとを前記出力対象の表示装置に出力する、請求項1〜請求項5の何れか1項記載の画像処理装置。 - 立体視表示する表示手段を更に含む、請求項1〜請求項7の何れか1項記載の画像処理装置。
- 異なる複数の視点から複数の画像を撮影する撮影手段を更に含み、
前記出力手段は、前記立体視表示用の画像データとして、前記撮影手段によって複数の視点から撮影された複数の画像を出力する、請求項1〜請求項8の何れか1項記載の画像処理装置。 - 複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを記憶する記憶手段を含むコンピュータを、
立体視表示する出力対象の表示装置の第1表示サイズを取得するサイズ取得手段、
前記記憶手段に記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第1表示サイズに対する視差量を算出する視差量算出手段、及び
前記視差量算出手段によって算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する出力手段
として機能させるためのプログラム。 - 複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを予め記憶し、
立体視表示する出力対象の表示装置の第1表示サイズを取得し、
前記記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記取得された前記第1表示サイズに対する視差量を算出し、
前記算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力すること
を含む、画像処理方法。 - コンピュータに画像処理を実行させるプログラムを記憶した持続的記憶媒体であって、前記画像処理が、
複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを予め記憶し、
立体視表示する出力対象の表示装置の第1表示サイズを取得し、
前記記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記取得された前記第1表示サイズに対する視差量を算出し、
前記算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力すること
を含む、持続的記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012541792A JP5306544B2 (ja) | 2010-11-05 | 2011-10-07 | 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010249011 | 2010-11-05 | ||
JP2010249011 | 2010-11-05 | ||
JP2012541792A JP5306544B2 (ja) | 2010-11-05 | 2011-10-07 | 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体 |
PCT/JP2011/073256 WO2012060182A1 (ja) | 2010-11-05 | 2011-10-07 | 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5306544B2 true JP5306544B2 (ja) | 2013-10-02 |
JPWO2012060182A1 JPWO2012060182A1 (ja) | 2014-05-12 |
Family
ID=46024302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012541792A Expired - Fee Related JP5306544B2 (ja) | 2010-11-05 | 2011-10-07 | 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9143764B2 (ja) |
JP (1) | JP5306544B2 (ja) |
CN (1) | CN103202027B (ja) |
WO (1) | WO2012060182A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6022212B2 (ja) * | 2012-05-25 | 2016-11-09 | シャープ株式会社 | 空間情報算出システム |
JP5395934B1 (ja) * | 2012-08-31 | 2014-01-22 | 株式会社東芝 | 映像処理装置および映像処理方法 |
US9317958B2 (en) | 2013-03-07 | 2016-04-19 | Mediatek Inc. | Auto-convergence system with active learning and related method and machine-readable medium thereof |
CN105432081B (zh) * | 2013-08-06 | 2019-12-31 | 索尼电脑娱乐公司 | 三维图像生成设备、三维图像生成方法、程序和信息存储介质 |
JP5869184B2 (ja) * | 2013-10-02 | 2016-02-24 | オリンパス株式会社 | 3次元画像システム |
US20150116529A1 (en) * | 2013-10-28 | 2015-04-30 | Htc Corporation | Automatic effect method for photography and electronic apparatus |
JP2015095779A (ja) * | 2013-11-12 | 2015-05-18 | ソニー株式会社 | 画像処理装置、画像処理方法及び電子機器 |
CN104869384B (zh) * | 2014-02-25 | 2017-04-12 | 华晶科技股份有限公司 | 电子装置及其校正方法 |
EP3145169A4 (en) * | 2014-05-16 | 2017-10-11 | Sony Corporation | Attachment device and image pickup unit |
JP6962372B2 (ja) * | 2017-08-25 | 2021-11-05 | 株式会社ソシオネクスト | 補正装置、補正プログラム及び記録媒体 |
JP6837031B2 (ja) * | 2018-05-22 | 2021-03-03 | Eizo株式会社 | 立体画像表示装置、立体画像表示方法及びプログラム |
CN111694183A (zh) | 2019-03-11 | 2020-09-22 | 京东方科技集团股份有限公司 | 显示装置及其显示方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004007396A (ja) * | 2002-03-27 | 2004-01-08 | Sanyo Electric Co Ltd | 立体画像処理方法および装置 |
JP2005073012A (ja) * | 2003-08-26 | 2005-03-17 | Sharp Corp | 立体画像記録装置、立体画像記録方法、立体画像表示装置および立体画像表示方法 |
JP2006333400A (ja) * | 2005-05-30 | 2006-12-07 | Nippon Hoso Kyokai <Nhk> | 立体視画像生成装置及び立体視画像生成プログラム |
JP2010045584A (ja) * | 2008-08-12 | 2010-02-25 | Sony Corp | 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6005607A (en) * | 1995-06-29 | 1999-12-21 | Matsushita Electric Industrial Co., Ltd. | Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus |
DE60237113D1 (de) * | 2002-01-07 | 2010-09-02 | Koninkl Philips Electronics Nv | Verfahren und einheit zur skalierung eines drei-dimensionellen modells und anzeigevorrichtung |
US8369607B2 (en) * | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
US7388583B2 (en) * | 2003-07-11 | 2008-06-17 | Koninklijke Philips Electronics N.V. | Method of and scaling unit for scaling a three-dimensional model |
US7643025B2 (en) * | 2003-09-30 | 2010-01-05 | Eric Belk Lange | Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates |
JP4578294B2 (ja) * | 2005-03-18 | 2010-11-10 | 株式会社エヌ・ティ・ティ・データ三洋システム | 立体視画像表示装置、立体視画像表示方法及びコンピュータプログラム |
JP2009135686A (ja) * | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置 |
CN101453662B (zh) * | 2007-12-03 | 2012-04-04 | 华为技术有限公司 | 立体视频通信终端、***及方法 |
JP4657313B2 (ja) * | 2008-03-05 | 2011-03-23 | 富士フイルム株式会社 | 立体画像表示装置および方法並びにプログラム |
JP4625515B2 (ja) * | 2008-09-24 | 2011-02-02 | 富士フイルム株式会社 | 3次元撮影装置および方法並びにプログラム |
WO2010040146A1 (en) * | 2008-10-03 | 2010-04-08 | Real D | Optimal depth mapping |
JP4737573B2 (ja) * | 2009-02-05 | 2011-08-03 | 富士フイルム株式会社 | 3次元画像出力装置及び方法 |
JP4733785B2 (ja) * | 2009-06-17 | 2011-07-27 | パナソニック株式会社 | 3d映像を再生するための情報記録媒体、記録媒体の記録方法、再生装置、及び記録媒体再生システム |
JP5430266B2 (ja) * | 2009-07-21 | 2014-02-26 | 富士フイルム株式会社 | 画像表示装置および方法並びにプログラム |
US8629899B2 (en) * | 2009-08-06 | 2014-01-14 | Qualcomm Incorporated | Transforming video data in accordance with human visual system feedback metrics |
US8878912B2 (en) * | 2009-08-06 | 2014-11-04 | Qualcomm Incorporated | Encapsulating three-dimensional video data in accordance with transport protocols |
US20110080466A1 (en) * | 2009-10-07 | 2011-04-07 | Spatial View Inc. | Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images |
US8711204B2 (en) * | 2009-11-11 | 2014-04-29 | Disney Enterprises, Inc. | Stereoscopic editing for video production, post-production and display adaptation |
US8565516B2 (en) * | 2010-02-05 | 2013-10-22 | Sony Corporation | Image processing apparatus, image processing method, and program |
JP2011193348A (ja) * | 2010-03-16 | 2011-09-29 | Fujifilm Corp | 立体画像表示装置の視差量決定装置およびその動作制御方法 |
US8831336B2 (en) * | 2011-11-11 | 2014-09-09 | Texas Instruments Incorporated | Method, system and computer program product for detecting an object in response to depth information |
-
2011
- 2011-10-07 JP JP2012541792A patent/JP5306544B2/ja not_active Expired - Fee Related
- 2011-10-07 WO PCT/JP2011/073256 patent/WO2012060182A1/ja active Application Filing
- 2011-10-07 CN CN201180052327.8A patent/CN103202027B/zh not_active Expired - Fee Related
-
2013
- 2013-04-30 US US13/873,753 patent/US9143764B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004007396A (ja) * | 2002-03-27 | 2004-01-08 | Sanyo Electric Co Ltd | 立体画像処理方法および装置 |
JP2005073012A (ja) * | 2003-08-26 | 2005-03-17 | Sharp Corp | 立体画像記録装置、立体画像記録方法、立体画像表示装置および立体画像表示方法 |
JP2006333400A (ja) * | 2005-05-30 | 2006-12-07 | Nippon Hoso Kyokai <Nhk> | 立体視画像生成装置及び立体視画像生成プログラム |
JP2010045584A (ja) * | 2008-08-12 | 2010-02-25 | Sony Corp | 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
US9143764B2 (en) | 2015-09-22 |
JPWO2012060182A1 (ja) | 2014-05-12 |
CN103202027A (zh) | 2013-07-10 |
CN103202027B (zh) | 2016-01-20 |
US20130235167A1 (en) | 2013-09-12 |
WO2012060182A1 (ja) | 2012-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5306544B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体 | |
US8208008B2 (en) | Apparatus, method, and program for displaying stereoscopic images | |
EP1089573B1 (en) | Method of producing a stereoscopic image | |
US8153971B2 (en) | Camera with two visual imaging subsystems for determining parallax and for focusing an IR imaging subsystem | |
JP5295426B2 (ja) | 複眼撮像装置、その視差調整方法及びプログラム | |
KR20110124473A (ko) | 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법 | |
US8675042B2 (en) | Image processing apparatus, multi-eye digital camera, and program | |
US20130113793A1 (en) | Image processing device, image processing method, and image processing program | |
JP5539514B2 (ja) | 撮影装置、プログラム、及び撮影方法 | |
US8648953B2 (en) | Image display apparatus and method, as well as program | |
JP5420076B2 (ja) | 再生装置、複眼撮像装置、再生方法及びプログラム | |
US20130093857A1 (en) | Stereoscopic image display device, stereoscopic imaging device, and methods | |
JP5453552B2 (ja) | 撮影装置、方法及びプログラム | |
JP2010114549A (ja) | 3次元表示装置および方法並びにプログラム | |
TW201413368A (zh) | 依據物距值及兩眼間距值對焦之立體取像裝置及其方法、程式產品、紀錄媒體與取像對位方法 | |
JP5351878B2 (ja) | 立体画像表示装置および方法並びにプログラム | |
JPWO2012001958A1 (ja) | 画像処理装置および方法並びにプログラム | |
JP5409481B2 (ja) | 複眼撮影装置及びプログラム | |
JP6063662B2 (ja) | 撮像装置及び撮像方法 | |
JP2012220603A (ja) | 3d映像信号撮影装置 | |
JP2011223175A (ja) | 撮像装置、撮像装置の画像処理方法及びプログラム並びに撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130625 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |