JPWO2012060182A1 - 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体 - Google Patents

画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体 Download PDF

Info

Publication number
JPWO2012060182A1
JPWO2012060182A1 JP2012541792A JP2012541792A JPWO2012060182A1 JP WO2012060182 A1 JPWO2012060182 A1 JP WO2012060182A1 JP 2012541792 A JP2012541792 A JP 2012541792A JP 2012541792 A JP2012541792 A JP 2012541792A JP WO2012060182 A1 JPWO2012060182 A1 JP WO2012060182A1
Authority
JP
Japan
Prior art keywords
display
parallax
display device
image data
parallax amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012541792A
Other languages
English (en)
Other versions
JP5306544B2 (ja
Inventor
克俊 井澤
克俊 井澤
友和 中村
友和 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012541792A priority Critical patent/JP5306544B2/ja
Application granted granted Critical
Publication of JP5306544B2 publication Critical patent/JP5306544B2/ja
Publication of JPWO2012060182A1 publication Critical patent/JPWO2012060182A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • G03B35/24—Stereoscopic photography by simultaneous viewing using apertured or refractive resolving means on screens or between screen and eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

記録メディアに記憶された立体視用の画像ファイルに、複数種類の表示装置の各々においてユーザによって調整された視差量の各々と表示装置の表示サイズの各々とを格納する。サイズ取得部によって、立体視表示する出力対象の表示装置の表示サイズを取得する。視差量算出部によって、記憶された視差量と表示サイズとの関係に基づいて、サイズ取得部によって取得された表示サイズに対する視差量を算出する。

Description

本願は２０１０年１１月５日出願の日本出願第２０１０−２４９０１１号の優先権を主張すると共に、その全文を参照により本明細書に援用する。
本発明は、画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体に係り、特に、表示装置に立体視表示用の画像データを出力する画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体に関する。
従来より、第１の表示装置にて取得されたユーザの適正視差を第２の表示装置に読み込み、第２の表示装置にて、読み込んだ適正視差にしたがって視差画像の視差を調整し、第２の表示装置から調整後の視差画像を出力する立体画像処理方法が知られている（特開２００４−７３９６号公報）。
また、右眼用の画像と左眼用の画像とを、表示画面の大きさと視距離とに基づいて変換した、右眼用立体視画像と左眼用立体視画像とを生成する立体視画像生成装置が知られている（特開２００６−３３３４００号公報）。この立体視画像生成装置では、右眼用立体視画像と左眼用立体視画像とを表示する表示画面の大きさと、観察者の位置と、表示画面の位置とを示す表示画面情報（データ）に基づいて、観察者の右眼及び左眼の位置と、表示画面の領域と、観察者の位置に対応して予め設定された右眼用の画像及び左眼用の画像の表示領域とを、仮想空間上において、仮想右眼位置と、仮想左眼位置と、仮想表示画面領域と、仮想標準表示領域として設定している。
しかしながら、上記の特開２００４−７３９６号公報に記載の技術では、１つの表示装置での視差の手動調整結果を、他の表示装置にて調整して適用しているため、表示装置のサイズの違いが大きい場合には、視差の誤差が大きくなりやすい。
また、上記の特開２００６−３３３４００号公報に記載の技術では、立体感の個人差にも対応するためには、逐一視差調整をしなければならない。
本発明は、上記問題を考慮してなされたもので、複数種類の表示装置の各々について、適切な視差量を自動的に算出することができる画像処理装置及びプログラムを提供することを目的とする。
本発明の一態様は、画像処理装置であって、立体視表示する出力対象の表示装置の第１表示サイズを取得するサイズ取得手段と、複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第２表示サイズの各々とを記憶する記憶手段と、前記記憶手段に記憶された前記視差量と前記第２表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第１表示サイズに対する視差量を算出する視差量算出手段と、前記視差量算出手段によって算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する出力手段と、を含んで構成されている。
本発明の第二の態様は、画像処理プログラムであって、複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第２表示サイズの各々とを記憶する記憶手段を含むコンピュータを、立体視表示する出力対象の表示装置の第１表示サイズを取得するサイズ取得手段、前記記憶手段に記憶された前記視差量と前記第２表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第１表示サイズに対する視差量を算出する視差量算出手段、及び前記視差量算出手段によって算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する出力手段として機能させる。
本発明の第三の態様は、画像処理方法であって、複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第２表示サイズの各々とを予め記憶し、立体視表示する出力対象の表示装置の第１表示サイズを取得し、前記記憶された前記視差量と前記第２表示サイズとの関係に基づいて、前記取得された前記第１表示サイズに対する視差量を算出し、前記算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力することを含む。
本発明の第四の態様は、コンピュータに画像処理を実行させるプログラムを記憶した持続的記憶媒体であって、前記画像処理が、複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第２表示サイズの各々とを予め記憶し、立体視表示する出力対象の表示装置の第１表示サイズを取得し、前記記憶された前記視差量と前記第２表示サイズとの関係に基づいて、前記取得された前記第１表示サイズに対する視差量を算出し、前記算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力することを含む。
本発明の一態様によれば、サイズ取得手段によって、立体視表示する出力対象の表示装置の第１表示サイズを取得する。視差量算出手段によって、記憶手段に記憶された視差量と第２表示サイズとの関係に基づいて、サイズ取得手段によって取得された第１表示サイズに対する視差量を算出する。そして、出力手段によって、視差量算出手段によって算出された視差量と、立体視表示用の画像データとを出力対象の表示装置に出力する。
このように、ユーザによって調整された視差量と表示サイズとの関係に基づいて、出力対象の表示装置の表示サイズに対する視差量を算出することにより、複数種類の表示装置の各々について、適切な視差量を自動的に算出することができる。
本態様の画像処理装置は、前記出力対象の表示装置の種類を取得する種類取得手段と、前記種類取得手段によって取得した前記種類に対して予め定められた視距離に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段とを更に含み、前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力するようにすることができる。これによって、表示装置の種類について定められた視距離に応じて、より適切な視差量に補正することができる。
本態様の画像処理装置は、ユーザを示すユーザ情報を受け付ける受付手段を更に含み、前記記憶手段は、前記ユーザによって調整された視差量の各々と前記表示装置の第２表示サイズの各々とを前記ユーザ情報毎に記憶し、前記視差量算出手段は、前記受付手段によって受け付けたユーザ情報に対応する、前記記憶手段に記憶された前記視差量と前記第２表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第１表示サイズに対する視差量を算出するようにすることができる。これによって、ユーザ毎に、適切な視差量を算出することができる。
また、受付手段を含む態様の画像処理装置は、前記出力対象の表示装置の種類を取得する種類取得手段と、前記種類取得手段によって取得した前記種類及び前記受付手段によって受け付けたユーザ情報に対して予め定められた視距離に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段とを更に含み、前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力するようにすることができる。これによって、ユーザ毎に、表示装置の種類について定められた視距離に応じて、より適切な視差量に補正することができる。
本態様の画像処理装置は、立体視表示する表示手段と、前記表示手段からユーザまでの視距離を計測する計測手段と、前記表示手段の第１表示サイズに応じて予め定められた視距離と、前記計測手段によって計測された視距離とを比較し、比較結果に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段とを更に含み、前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力するようにすることができる。これによって、ユーザまでの視距離に応じて、より適切な視差量に補正することができる。
本態様の画像処理装置は、前記立体視表示用の画像データから、被写体の視差レンジを取得する視差レンジ取得手段を更に含み、前記視差量算出手段は、視差量が調整された第１の立体視表示用の画像データとは異なる第２の立体視表示用の画像データを出力する場合、前記第１の立体視表示用の画像データから取得された前記視差レンジと、前記第２の立体視表示用の画像データから取得された前記視差レンジと、前記第１の立体視表示用の画像データの視差量とに基づいて、前記第２の立体視表示用の画像データの視差量を算出し、前記出力手段は、前記算出手段によって補正された視差量と、前記第２の立体視表示用の画像データとを前記出力対象の表示装置に出力するようにすることができる。これによって、視差量が調整された立体視表示用の画像データとは異なる立体視表示用の画像データについても、適切な視差量を算出することができる。
本態様の立体視表示用の画像データは、被写体までの距離を含み、画像処理装置は、前記立体視表示用の画像データから、被写体までの距離を取得する被写体距離取得手段を更に含み、前記視差量算出手段は、視差量が調整された第１の立体視表示用の画像データとは異なる第２の立体視表示用の画像データを出力する場合、前記第１の立体視表示用の画像データから取得された前記被写体までの距離と、前記第２の立体視表示用の画像データから取得された前記被写体までの距離と、前記第１の立体視表示用の画像データの視差量とに基づいて、前記第２の立体視表示用の画像データの視差量を算出し、前記出力手段は、前記算出手段によって補正された視差量と、前記第２の立体視表示用の画像データとを前記出力対象の表示装置に出力するようにすることができる。これによって、視差量が調整された立体視表示用の画像データとは異なる立体視表示用の画像データについても、適切な視差量を算出することができる。
本態様の画像処理装置は、立体視表示する表示手段を更に含むようにすることができる。
本態様の画像処理装置は、異なる複数の視点から複数の画像を撮影する撮影手段を更に含み、前記出力手段は、前記立体視表示用の画像データとして、前記撮影手段によって複数の視点から撮影された複数の画像を出力するようにすることができる。
以上説明したように、本発明によれば、ユーザによって調整された視差量と表示サイズとの関係に基づいて、出力対象の表示装置の表示サイズに対する視差量を算出することにより、複数種類の表示装置の各々について、適切な視差量を自動的に算出することができる。
本実施の形態の複眼デジタルカメラの正面側斜視図である。 本実施の形態の複眼デジタルカメラの背面側斜視図である。 立体視表示可能なテレビに複眼デジタルカメラを接続した様子を示す図である。 未知の立体視表示可能な表示装置に複眼デジタルカメラを接続した様子を示す図である。 第１の実施の形態の複眼デジタルカメラの内部構成を示す概略ブロック図である。 液晶モニタの構成を示す図である。 レンチキュラーシートの構成を示す図である。 右画像及び左画像に対する３次元処理を説明するための図である。 調整した視差量と表示デバイスの幅との組み合わせに基づいて、１次関数の傾きと切片を算出する方法を説明するための図である。 調整した視差量と表示デバイスの幅との組み合わせに基づいて、主成分分析により１次関数の傾きと切片を算出する方法を説明するための図である。 第１の実施の形態における視差調整処理ルーチンの内容を示すフローチャートである。 第２の実施の形態における視差調整処理ルーチンの内容を示すフローチャートである。 第３の実施の形態における視差調整処理ルーチンの内容を示すフローチャートである。 第４の実施の形態における出力処理ルーチンの内容を示すフローチャートである。 被写体の視差レンジを説明するための図である。 被写体の視差レンジを説明するための図である。 第５の実施の形態における出力処理ルーチンの内容を示すフローチャートである。 立体視表示可能な複数種類の表示装置において立体視表示を行う様子を示す図である。 第６の実施の形態の表示装置の内部構成を示す概略ブロック図である。 第６の実施の形態における視差調整処理ルーチンの内容を示すフローチャートである。
以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本実施の形態では、本発明の画像処理装置を、複眼デジタルカメラに適用した場合について説明する。
図１は、第１の実施の形態の複眼デジタルカメラ１の正面側斜視図、図２は背面側斜視図である。図１に示すように、複眼デジタルカメラ１の上部には、レリーズボタン２、電源ボタン３、及びズームレバー４が備えられている。また、複眼デジタルカメラ１の正面には、フラッシュ５及び２つの撮影部２１Ａ、２１Ｂのレンズが配設されている。また、複眼デジタルカメラ１の背面には、各種表示を行う液晶モニタ７、及び各種操作ボタン８が配設されている。
図３Ａ及び３Ｂに示すように、複眼デジタルカメラ１は、３次元表示が可能なテレビなどの複数種類の表示装置にケーブルを介して接続することが可能であり、複眼デジタルカメラ１から、画像データが、複数種類の表示装置に出力される。
図４は、複眼デジタルカメラ１の内部構成を示す概略ブロック図である。図４に示すように、複眼デジタルカメラ１は、２つの撮影部２１Ａ、２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、入力部３６、ＣＰＵ３７、及びデータ通信部３８を備えている。なお、撮影部２１Ａ、２１Ｂは、被写体を見込む輻輳角を持って、予め定められた基線長となるように配置されている。なお、輻輳角及び基線長の情報は内部メモリ２７に記憶されている。
撮影制御部２２は、不図示のＡＦ処理部及びＡＥ処理部からなる。ＡＦ処理部はレリーズボタン２の半押し操作により撮影部２１Ａ、２１Ｂが取得したプレ画像に基づいて、合焦領域を決定すると共に、レンズの焦点位置を決定し、撮影部２１Ａ、２１Ｂに出力する。ＡＦ処理部は、被写体領域を合焦領域として、レンズの焦点位置を決定する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ、２１Ｂに出力する。
また、撮影制御部２２は、レリーズボタン２の全押し操作により、複眼モードでは、撮影部２１Ａに対して左画像、撮影部２１Ｂに対して右画像の本画像を取得させる本撮影の指示を行う。なお、レリーズボタン２が操作される前は、撮影制御部２２は、撮影範囲を確認させるための本画像よりも画素数が少ないリアルタイム画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮影部２１Ａ、２１Ｂに対して行う。
画像処理部２３は、撮影部２１Ａ、２１Ｂより取得した左画像及び右画像のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の画像処理を施す。
圧縮／伸長処理部２４は、画像処理部２３によって処理が施された左画像及び右画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルを生成する。この立体視用の画像ファイルには、左画像及び右画像の画像データを含み、Ｅｘｉｆフォーマット等に基づいて、基線長、輻輳角、及び撮影日時等の付帯情報、並びに視点位置を表す視点情報が格納される。更に、レンズの焦点位置から算出される被写体までの距離情報が、立体視用の画像ファイルに格納される。
フレームメモリ２５は、撮影部２１Ａ、２１Ｂが取得した左画像及び右画像を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。
メディア制御部２６は、記録メディア２９にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。
内部メモリ２７は、液晶モニタ７の表示サイズの幅、複眼デジタルカメラ１において設定される各種定数、及びＣＰＵ３７が実行するプログラム等を記憶する。
表示制御部２８は、撮影時においてフレームメモリ２５に格納された左画像及び右画像から生成された立体視用画像を液晶モニタ７に表示させたり、記録メディア２９に記録されている左画像及び右画像、または立体視用画像を液晶モニタ７に表示させたりする。また、表示制御部２８は、リアルタイム画像を液晶モニタ７に表示させる。
記録メディア２９は、例えばメモリカードで構成されている。また、記録メディア２９は、記憶手段の一例である。
図５は、液晶モニタ７の構成を示す分解斜視図である。図５に示すように、液晶モニタ７は、ＬＥＤにより発光するバックライトユニット４０及び各種表示を行うための液晶パネル４１を積層し、液晶パネル４１の表面にレンチキュラーシート４２を取り付けることにより構成されている。
図６は、レンチキュラーシートの構成を示す図である。図６に示すようにレンチキュラーシート４２は、複数のシリンドリカルレンズ４３を基線に沿った方向に並列に並べることにより構成されている。
データ通信部３８は、複眼デジタルカメラ１が他の表示装置とケーブルを介して接続されているときに、当該他の表示装置との間でデータ通信を行う。
また、複眼デジタルカメラ１は、３次元処理部３０、ユーザ認証部３１、視差調整部３２、サイズ取得部３３、及び視差算出部３４を備える。
３次元処理部３０は、左画像及び右画像を液晶モニタ７に立体視表示を行うために、左画像及び右画像に３次元処理を行って立体視用画像を生成する。
図７は、左画像Ｇ１及び右画像Ｇ２に対する３次元処理を説明するための図である。図７に示すように３次元処理部３０は、左画像Ｇ１及び右画像Ｇ２の各々を基線に対して垂直方向に短冊状に切り取り、レンチキュラーシート４２におけるシリンドリカルレンズ４３のそれぞれに、位置が対応する短冊状に切り取った左画像Ｇ１及び右画像Ｇ２が交互に配置されるように３次元処理を行って、立体視用画像ＧＲを生成する。立体視用画像ＧＲを構成する左画像Ｇ１及び右画像Ｇ２の画像対は、各々１つのシリンドリカルレンズに対応して配置される。
ユーザ認証部３１は、ユーザが入力部３６を操作することによって入力したユーザＩＤを受け付けて、予め登録されたユーザＩＤのリストと照合して、ユーザ認証を行う。なお、ユーザ認証部３１が、受付手段の一例である。
視差調整部３２は、ユーザによる入力部３６の操作に従い、左画像Ｇ１及び右画像Ｇ２の視差を調整する。ここで、視差とは、左画像Ｇ１及び右画像Ｇ２の双方に含まれる被写体の、左画像Ｇ１及び右画像Ｇ２の横方向、すなわち基線に沿った方向における画素位置のずれ量をいう。ユーザが視差を手動で調整することにより、立体視用画像ＧＲに含まれる被写体の立体感を適切なものとすることができる。
視差調整部３２は、記録メディア２９に予め記録されている立体視用の画像ファイルについて、左画像及び右画像の視差を調整し、調整結果を、立体視用の画像ファイルに格納する。また、視差調整部３２は、調整結果に対応して、液晶モニタ７の表示サイズ（例えば、表示画面の横幅）を、立体視用の画像ファイルに格納する。
また、視差調整部３２は、データ通信部３８を介して他の表示装置に立体視用の画像ファイルを出力して、他の表示装置において立体視表示しているときに、ユーザによる入力部３６の操作に従い、当該表示装置の立体視表示における左画像及び右画像の視差を調整することができる。このとき、視差調整部３２は、調整結果を、立体視用の画像ファイルに格納する。また、視差調整部３２は、調整結果に対応して、後述するサイズ取得部３３で取得した当該表示装置の表示サイズ（例えば、表示画面の横幅）を、立体視用の画像ファイルに格納する。
サイズ取得部３３は、データ通信部３８を介して他の表示装置に立体視用の画像ファイルを出力して、他の表示装置において立体視表示するときに、データ通信部３８を介して、当該表示装置から、表示サイズ（例えば、表示画面の横幅）を取得する。
視差算出部３４は、サイズ取得部３３によって他の表示装置の表示サイズを取得したときに、立体視用の画像ファイルに格納されている視差の調整結果に基づいて、当該表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。
視差算出部３４は、立体視用の画像ファイルに、視差の調整結果が２つ格納されている場合には、２つの視差の調整結果に基づく表示サイズと視差との関係を表わす１次関数に従って、サイズ取得部３３によって取得した他の表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。
例えば、液晶モニタ７の表示サイズの幅がＷ１ｃｍであり、ユーザによる視差の手動調整結果がＬ１ｃｍであり、他の表示装置の表示サイズの幅がＷ２ｃｍであり、ユーザによる視差の手動調整結果がＬ２ｃｍである場合には、図８に示すように、表示サイズと視差との関係を表わす１次関数ｘ＝ＡＷ＋Ｂの傾きＡ、切片Ｂを、以下の式に従って求める。
Ａ＝（Ｌ２−Ｌ１）／（Ｗ２−Ｗ１）
Ｂ＝（Ｌ１・Ｗ２−Ｌ２・Ｗ１）／（Ｗ２−Ｗ１）
そして、上記のように求められた１次関数に基づいて、サイズ取得部３３によって取得した他の表示装置の表示サイズＷ３に応じた、左画像及び右画像の視差ｘを算出する。すなわち、視差ｘは以下の式で表される。
ｘ＝（Ｌ２−Ｌ１）／（Ｗ２−Ｗ１）・（Ｗ３−Ｗ１）＋Ｌ１
また、視差算出部３４は、立体視用の画像ファイルに、視差の調整結果が３つ以上格納されている場合には、３つ以上の視差の調整結果に基づく表示サイズと視差との関係を表わす１次関数に従って、サイズ取得部３３によって取得した他の表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。
例えば、３組以上の表示サイズと視差の調整結果とを、図９に示すようにプロットし、主成分分析により、主成分を表わす直線（表示サイズと視差との関係を表わす１次関数ｘ＝ＡＷ＋Ｂの傾きＡ、切片Ｂ）を求める。
ここで、傾きＡ、切片Ｂは、以下の式で表される。
Ａ＝（ＮＲ−ＰＱ）／（ＮＰ’−Ｐ2）
Ｂ＝（Ｐ’Ｑ−ＰＲ）／（ＮＰ−Ｐ2）
ただし、Ｐ＝Ｗ１＋Ｗ２＋・・・＋ＷＮ、Ｐ’＝Ｗ１2＋Ｗ２2＋・・・ＷＮ2、Ｑ＝Ｌ１＋Ｌ２＋・・・＋ＬＮ、Ｒ＝Ｗ１・Ｌ１＋Ｗ２・Ｌ２＋・・・ＷＮ・ＬＮ、Ｎはデータ数である。
そして、上記のように主成分分析により求められた傾き及び切片を適用した１次関数に基づいて、サイズ取得部３３によって取得した他の表示装置の表示サイズＷに応じた、左画像及び右画像の視差ｘを算出する。
次に、第１の実施の形態の複眼デジタルカメラ１の作用について説明する。まず、ユーザが入力部３６を操作してユーザＩＤを入力すると、複眼デジタルカメラ１が、ユーザ認証を行う。また、複眼デジタルカメラ１は、記録メディア２９に予め記録されている特定の立体視用の画像ファイルの左画像及び右画像に、３次元処理を行って立体視用画像を生成し、液晶モニタ７に、左画像及び右画像を立体視表示する。そして、ユーザが、入力部３６を操作して、左画像及び右画像の視差を調整すると、複眼デジタルカメラ１において、視差の調整結果と、液晶モニタ７の表示サイズの幅とが、ユーザＩＤに対応して特定の立体視用の画像ファイルに格納される。
次に、上記図３（Ａ）に示すように、複眼デジタルカメラ１が、他の表示装置（例えば、３次元表示が可能なテレビ）にケーブルを介して接続され、記録メディア２９に予め記録されている特定の立体視用の画像ファイルが、当該表示装置に出力される。当該表示装置では、特定の立体視用の画像ファイルの左画像及び右画像を立体視表示する。そして、ユーザが、複眼デジタルカメラ１の入力部３６を操作して、左画像及び右画像の視差を調整すると、複眼デジタルカメラ１において、視差の調整結果と、当該表示装置の表示サイズの幅とが、ユーザＩＤに対応して特定の立体視用の画像ファイルに格納される。
次に、上記図３（Ｂ）に示すように、複眼デジタルカメラ１が、更に別の表示装置にケーブルを介して接続されると、複眼デジタルカメラ１のＣＰＵ３７によって、図１０に示す視差調整処理ルーチンが実行される。
まず、ステップ１００において、複眼デジタルカメラ１に接続された当該表示装置から、表示サイズの幅を取得する。ステップ１０２では、ユーザ認証されたユーザＩＤを取得し、ステップ１０４において、記録メディア２９に記憶された特定の立体視用の画像ファイルから、取得したユーザＩＤに対応して格納された、視差の調整結果と、表示装置の表示サイズの幅との複数の組み合わせを読み込む。
そして、ステップ１０６において、上記ステップ１０４で取得したデータ数（視差の調整結果と、表示装置の表示サイズの幅との組み合わせの数）が、３つ以上であるか否かを判定する。取得したデータ数が２つであった場合には、ステップ１０８において、上記ステップ１０４で取得した視差の調整結果と、表示装置の表示サイズの幅との２つの組み合わせに基づいて、表示サイズと視差との関係を表わす１次関数の傾き及び切片を求める。一方、上記ステップ１０６で、取得したデータ数が３つ以上であった場合には、ステップ１１０において、上記ステップ１０４で取得した視差の調整結果と、表示装置の表示サイズの幅との３つ以上の組み合わせに基づいて、主成分分析を行い、表示サイズと視差との関係を表わす１次関数を導出する。
次のステップ１１２では、上記ステップ１０８又は１１０で導出した１次関数に従って、上記ステップ１００で取得した表示サイズの幅に対応する視差量を算出する。そして、ステップ１１４において、特定の立体視用の画像ファイルと共に、上記ステップ１１２で算出した視差量を、複眼デジタルカメラ１に接続された当該表示装置に出力し、視差調整処理ルーチンを終了する。
当該表示装置では、算出された視差量で、特定の立体視用の画像ファイルの左画像及び右画像が立体視表示される。
以上説明したように、第１の実施の形態の複眼デジタルカメラによれば、ユーザによって手動で調整された視差量と表示サイズの幅との関係に基づいて、出力対象の表示装置の表示サイズの幅に対する視差量を算出することにより、複数種類の表示装置の各々について、適切な視差量を自動的に算出することができる。
また、立体視用の画像ファイルの出力先となる表示装置が変わるたびにユーザの望む視差量を逐一調整する手間を省くことができる。
また、ユーザが手動で視差量を調整した調整結果の数が多いほど、算出される視差量の精度を向上することができる。
また、幅が異なる立体視表示可能な複数の表示装置の表示サイズの幅と、それぞれについてユーザが手動で調整した視差とを利用することで、手動視差調整を行っていない未知の立体視表示可能な表示装置に対して、適切な視差量を算出することができる。いかなる表示装置であっても、表示サイズの幅さえわかれば、ユーザ個人の好みを反映した視差を自動的に設定できる。
次に、第２の実施の形態について説明する。第２の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１と同一であるため、同一符号を付して、説明を省略する。
第２の実施の形態では、表示装置の種類に応じて、算出した視差量を補正している点が、第１の実施の形態と異なっている。
第２の実施の形態に係る複眼デジタルカメラでは、サイズ取得部３３によって、データ通信部３８を介して他の表示装置に立体視用の画像ファイルを出力して、当該他の表示装置において立体視表示するときに、データ通信部３８を介して、当該表示装置から、表示サイズの幅を取得すると共に、表示装置の種類（テレビ、フォトフレーム、デジタルカメラの液晶など）を取得する。なお、サイズ取得部３３は、サイズ取得手段及び種類取得手段の一例である。
視差算出部３４は、サイズ取得部３３によって他の表示装置の表示サイズを取得したときに、立体視用の画像ファイルに格納されている視差の調整結果に基づいて、当該表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。また、視差算出部３４は、算出した視差量を、当該表示装置の種類に対して予め定められた視距離の傾向に応じて補正する。例えば、フォトフレームであれば、同じ表示サイズの幅であっても、ユーザは近くで見ることが多い（表示サイズの幅に対する視距離が短い傾向である）ため、視差量を小さくするように補正する。また、テレビであれば、同じ表示サイズの幅であっても、ユーザは遠くで見ることが多い（表示サイズの幅に対する視距離が遠い傾向である）ため、視差量を大きくするように補正する。
次に、第２の実施の形態に係る視差調整処理ルーチンについて図１１を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
まず、ステップ２００において、複眼デジタルカメラ１に接続された当該表示装置から、表示サイズの幅及び表示装置の種類を取得する。ステップ１０２では、ユーザ認証されたユーザＩＤを取得し、ステップ１０４において、記録メディア２９に記憶された特定の立体視用の画像ファイルから、取得したユーザＩＤに対応して格納された、視差の調整結果と表示装置の表示サイズの幅との複数の組み合わせを読み込む。
そして、ステップ１０６において、上記ステップ１０４で取得したデータ数が、３つ以上であるか否かを判定する。取得したデータ数が２つであった場合には、ステップ１０８において、表示サイズと視差との関係を表わす１次関数の傾き及び切片を求める。一方、上記ステップ１０６で、取得したデータ数が３つ以上であった場合には、ステップ１１０において、主成分分析を行い、表示サイズと視差との関係を表わす１次関数を導出する。
次のステップ１１２では、上記で導出した１次関数に従って、上記ステップ１００で取得した表示サイズの幅に対応する視差量を算出する。そして、ステップ２０２において、上記ステップ２００で取得した表示装置の種類に応じて、上記ステップ１１２で算出した視差量を補正する。
次のステップ１１４において、特定の立体視用の画像ファイルと共に、上記ステップ２０２で補正した視差量を、複眼デジタルカメラ１に接続された当該表示装置に出力し、視差調整処理ルーチンを終了する。
以上説明したように、第２の実施の形態の複眼デジタルカメラによれば、表示装置の種類の相違からくる視距離のばらつき（視距離の傾向）に影響されずに、ユーザにとって望ましい視差を実現することができる。
次に、第３の実施の形態について説明する。第３の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１と同一であるため、同一符号を付して、説明を省略する。
第３の実施の形態では、ユーザ毎の視距離の傾向に応じて、算出された視差量を補正している点が、第１の実施の形態と異なっている。
第３の実施の形態に係る複眼デジタルカメラでは、サイズ取得部３３によって、データ通信部３８を介して他の表示装置に立体視用の画像ファイルを出力して、当該他の表示装置において立体視表示するときに、データ通信部３８を介して、当該表示装置から、表示サイズの幅を取得すると共に、表示装置の種類（テレビ、フォトフレーム、カメラの液晶）を取得する。
視差算出部３４は、サイズ取得部３３によって当該他の表示装置の表示サイズを取得したときに、立体視用の画像ファイルに格納されている視差の調整結果に基づいて、当該表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。また、視差算出部３４は、ユーザＩＤに対応して予め設定された、当該表示装置の種類における視距離の傾向に応じて、算出した視差量を補正する。例えば、ＡさんのユーザＩＤに対応して、テレビの視距離が極めて短い、という傾向が設定されている場合には、視差量を小さくするように補正する。
なお、ユーザＩＤ毎の、表示装置の種類に対する視距離の傾向は、ユーザが入力部３６を操作することにより、手動で設定される。また、設定された、ユーザＩＤ毎の、表示装置の種類に対する視距離の傾向は、記録メディア２９に記憶される。
図１２を参照して、第３の実施の形態の複眼デジタルカメラにおける視差調整処理ルーチンについて説明する。なお、第１の実施の形態の視差調整処理ルーチンと同一の処理については、同一の符号を付して詳細な説明を省略する。
まず、ステップ２００において、複眼デジタルカメラ１に接続された当該表示装置から、表示サイズの幅及び表示装置の種類を取得する。ステップ１０２では、ユーザ認証されたユーザＩＤを取得し、ステップ１０４において、記録メディア２９に記憶された特定の立体視用の画像ファイルに、取得したユーザＩＤに対応して格納された、視差の調整結果と表示装置の表示サイズの幅との複数の組み合わせを読み込む。
そして、ステップ１０６において、上記ステップ１０４で取得したデータ数が、３つ以上であるか否かを判定する。取得したデータ数が２つであった場合には、ステップ１０８において、表示サイズと視差との関係を表わす１次関数の傾き及び切片を求める。一方、上記ステップ１０６で、取得したデータ数が３つ以上であった場合には、ステップ１１０において、主成分分析を行い、表示サイズと視差との関係を表わす１次関数を導出する。
次のステップ１１２では、上記で導出した１次関数に従って、上記ステップ１００で取得した表示サイズの幅に対応する視差量を算出する。そして、ステップ３００において、記録メディア２９から、取得したユーザＩＤ及び表示装置の種類に対応して記憶された、視距離の傾向を読み込む。
ステップ３０２では、上記ステップ３００で読み込んだ視距離の傾向に応じて、上記ステップ１１２で算出した視差量を補正する。
次のステップ１１４において、特定の立体視用の画像ファイルと共に、上記ステップ３０２で補正した視差量を、複眼デジタルカメラ１に接続された当該表示装置に出力し、視差調整処理ルーチンを終了する。
以上説明したように、第３の実施の形態の複眼デジタルカメラによれば、視距離の個人のばらつきに影響されずに、ユーザにとって望ましい視差を実現することができる。
なお、上記の第３の実施の形態で説明した視差量を補正する技術を、上記第２の実施の形態に適用してもよい。
次に、第４の実施の形態について説明する。第４の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１と同一であるため、同一符号を付して、説明を省略する。
第４の実施の形態では、視差調整した特定の立体視用の画像ファイルとは別の画像ファイルを出力する場合に、特定の立体視用の画像ファイルについて調整された視差量と、被写体までの距離とに基づいて、視差量を算出している点が、第１の実施の形態と異なっている。
第４の実施の形態に係る複眼デジタルカメラでは、視差算出部３４によって、データ通信部３８を介して他の表示装置に、視差調整した特定の立体視用の画像ファイルとは別の画像ファイルを出力して、当該他の表示装置において立体視表示するときに、特定の立体視用の画像ファイルに格納されている視差の調整結果及び被写体までの距離情報と、出力対象の画像ファイルに格納されている被写体までの距離情報とに基づいて、出力対象の画像ファイルに対する、左画像及び右画像の視差を算出する。
例えば、特定の立体視用の画像ファイルについて算出された視差量を、以下の式に従って算出されるγ倍して、出力対象の画像ファイルに対する、左画像及び右画像の視差量を算出する。
γ＝（出力対象の画像ファイルの被写体までの距離情報）／（特定の立体視用の画像ファイルの被写体までの距離情報）
次に、第４の実施の形態の複眼デジタルカメラ１の作用について説明する。
まず、複眼デジタルカメラ１の液晶モニタ７と、他の表示装置との各々について、ユーザが入力部３６を操作して、左画像及び右画像の視差を調整し、複眼デジタルカメラ１において、視差の調整結果と表示サイズの幅との各組み合わせが、ユーザＩＤに対応して特定の立体視用の画像ファイルに格納される。
次に、上記図３（Ｂ）に示すように、複眼デジタルカメラ１が、他の表示装置にケーブルを介して接続されると、複眼デジタルカメラ１のＣＰＵ３７によって、上記図１０に示す視差調整処理ルーチンが実行される。
また、複眼デジタルカメラ１から当該他の表示装置に別の立体視用の画像ファイルを出力するように、複眼デジタルカメラ１の入力部３６がユーザにより操作されると、複眼デジタルカメラ１のＣＰＵ３７によって、図１３に示す出力処理ルーチンが実行される。
まず、ステップ４００において、出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと同一であるか否かを判定する。出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと同一である場合には、ステップ４０２において、上記の視差調整処理ルーチンで算出された視差量と、特定の立体視用の画像ファイルとを、複眼デジタルカメラ１に接続された当該表示装置に出力し、出力処理ルーチンを終了する。
一方、上記ステップ４００で、出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと異なる場合には、ステップ４０４において、出力対象の立体視用の画像ファイルに格納されている被写体までの距離と、特定の立体視用の画像ファイルに格納されている被写体までの距離とを取得する。
そして、ステップ４０６において、上記ステップ４０４で取得した被写体までの距離と、上記の視差調整処理ルーチンで算出された視差量とに基づいて、視差量を算出する。次のステップ４０８では、出力対象の立体視用の画像ファイルと共に、上記ステップ４０６で算出された視差量を、複眼デジタルカメラ１に接続された当該表示装置に出力し、出力処理ルーチンを終了する。
当該表示装置では、算出された視差量で、出力対象の立体視用の画像ファイルの左画像及び右画像が立体視表示される。
以上説明したように、第４の実施の形態の複眼デジタルカメラによれば、立体視用の画像ファイルの被写体までの距離に関わらず、ユーザにとって望ましい視差を実現することができる。
なお、上記の第４の実施の形態で説明した、視差調整した画像ファイルとは別の画像ファイルの視差量を算出する技術を、上述した第２の実施の形態又は第３の実施の形態に適用してもよい。
次に、第５の実施の形態について説明する。第５の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１と同一であるため、同一符号を付して、説明を省略する。
第５の実施の形態では、視差調整した特定の立体視用の画像ファイルとは別の画像ファイルを出力する場合に、特定の立体視用の画像ファイルについて調整された視差量と、被写体の視差レンジとに基づいて、視差量を算出している点が、第１の実施の形態と異なっている。
第５の実施の形態に係る複眼デジタルカメラでは、視差算出部３４によって、データ通信部３８を介して他の表示装置に、視差調整した特定の立体視用の画像ファイルとは別の画像ファイルを出力して、当該他の表示装置において立体視表示するときに、特定の立体視用の画像ファイルに格納されている視差の調整結果及び特定の立体視用の画像ファイルについて求められる被写体の視差レンジと、出力対象の画像ファイルについて求められる被写体の視差レンジとに基づいて、出力対象の画像ファイルに対する、左画像及び右画像の視差を算出する。
例えば、図１４（Ａ）に示すように、特定の立体視用の画像ファイルについて、被写体の視差レンジが、ａ１［ｍ］〜ａ２［ｍ］であり、図１４（Ｂ）に示すように、出力対象の画像ファイルについて、被写体の視差レンジが、ｂ１［ｍ］〜ｂ２［ｍ］である場合には、特定の立体視用の画像ファイルについて算出された視差量を、以下の式に従って算出されるк倍して、出力対象の画像ファイルに対する、左画像及び右画像の視差量を算出する。
к＝（ｂ１＋ｂ２）／（ａ１＋ａ２）
なお、被写体の視差レンジは、以下のように求められる。まず、画像中の複数の被写体の中で、例えばある一定以上のエッジ成分(高周波成分)を有する被写体、もしくはある一定以上の視差を有する被写体、もしくはその両方の条件を満たす被写体を抽出する。そして、抽出した被写体の中から、複眼デジタルカメラとの距離が最も近い被写体と最も遠い被写体とを特定し、その２つの被写体の光軸上の距離を視差レンジとする。この際、近接撮影以外の場合においては、複眼デジタルカメラからの距離が近すぎる被写体(例えば０．５ｍ以下)を、視差レンジを決定する際の被写体から除外する。
次に、第５の実施の形態の複眼デジタルカメラ１の作用について説明する。
まず、複眼デジタルカメラ１の液晶モニタ７と、他の表示装置との各々について、ユーザが入力部３６を操作して、左画像及び右画像の視差を調整し、複眼デジタルカメラ１において、視差の調整結果と表示サイズの幅との各組み合わせが、ユーザＩＤに対応して特定の立体視用の画像ファイルに格納される。
次に、上記図３（Ｂ）に示すように、複眼デジタルカメラ１が、他の表示装置にケーブルを介して接続されると、複眼デジタルカメラ１のＣＰＵ３７によって、上記図１０に示す視差調整処理ルーチンが実行される。
また、複眼デジタルカメラ１から当該他の表示装置に別の立体視用の画像ファイルを出力するように、複眼デジタルカメラ１の入力部３６がユーザにより操作されると、複眼デジタルカメラ１のＣＰＵ３７によって、図１５に示す出力処理ルーチンが実行される。
まず、ステップ４００において、出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと同一であるか否かを判定する。出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと同一である場合には、ステップ４０２において、上記の視差調整処理ルーチンで算出された視差量と、特定の立体視用の画像ファイルとを、複眼デジタルカメラ１に接続された当該表示装置に出力し、出力処理ルーチンを終了する。
一方、上記ステップ４００で、出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと異なる場合には、ステップ５００において、特定の立体視用の画像ファイルについて、被写体の視差レンジを求めると共に、出力対象の立体視用の画像ファイルについて、被写体の視差レンジを求める。
そして、ステップ５０２において、上記ステップ５００で求めた被写体の視差レンジと、上記の視差調整処理ルーチンで算出された視差量とに基づいて、視差量を算出する。次のステップ４０８では、出力対象の立体視用の画像ファイルと共に、上記ステップ４０６で算出された視差量を、複眼デジタルカメラ１に接続された当該表示装置に出力し、出力処理ルーチンを終了する。
当該表示装置では、算出された視差量で、出力対象の立体視用の画像ファイルの左画像及び右画像が立体視表示される。
以上説明したように、第５の実施の形態の複眼デジタルカメラによれば、立体視用の画像ファイルの被写体の視差レンジに関わらず、ユーザにとって望ましい視差を実現することができる。
なお、上記の第５の実施の形態で説明した、視差調整した画像ファイルとは別の画像ファイルの視差量を算出する技術を、上述した第２の実施の形態又は第３の実施の形態に適用してもよい。
また、上記第１の実施の形態〜第５の実施の形態では、複眼デジタルカメラに本発明を適用した場合を例に説明したが、これに限定されるものではなく、立体視表示可能な他の表示装置に、本発明を適用してもよい。
次に、第６の実施の形態について説明する。本実施の形態では、本発明の画像処理装置を、複眼デジタルカメラを含む複数種類の表示装置の各々に適用した場合について説明する。なお、第６の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１と同一であるため、同一符号を付して説明を省略する。
第６の実施の形態では、立体視表示可能な各表示装置において、視差の調整及び視差量の算出を行っている点が、第１の実施の形態と異なっている。
第６の実施の形態では、図１６に示すような、複眼デジタルカメラ１を含む、立体視表示可能な複数種類の表示装置が、可搬性の記録メディア２９を介して、立体視表示用の画像ファイルの授受を行っている。
複眼デジタルカメラ１以外の各表示装置６００、６０２は、図１７に示すように、液晶モニタ６０７、メディア制御部６２６、内部メモリ６２７、表示制御部６２８、入力部６３６、ＣＰＵ６３７、及び距離計測部６３８を含む。
メディア制御部６２６は、記録メディア２９にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。
内部メモリ６２７は、当該表示装置の表示サイズの幅、表示装置において設定される各種定数、及びＣＰＵ６３７が実行するプログラム等を記憶する。
表示制御部６２８は、記録メディア２９に記録されている左画像及び右画像、または立体視用画像を液晶モニタ６０７に表示させたりする。
液晶モニタ６０７は、当該表示装置で採用している立体視表示の方式（例えば、レンチキュラーシートを用いた方式や、シャッターメガネを用いた方式など）に対応した構成となっている。
距離計測部６３８は、距離計測センサを備え、ユーザまでの視距離を計測する。
また、複眼デジタルカメラ１以外の各表示装置は、３次元処理部６３０、ユーザ認証部６３１、視差調整部６３２、サイズ取得部６３３、及び視差算出部６３４を含む。
３次元処理部６３０は、左画像及び右画像を液晶モニタ６０７に立体視表示を行うために、左画像及び右画像に３次元処理を行って、当該表示装置で採用している立体視表示の方式に対応した、立体視用画像を生成する。
ユーザ認証部６３１は、ユーザが入力部６３６を操作することによって入力したユーザＩＤを受け付けて、予め登録されたユーザＩＤのリストと照合して、ユーザ認証を行う。
視差調整部６３２は、ユーザによる入力部６３６の操作に従い、左画像及び右画像の視差を調整する。ユーザが視差を手動で調整することにより、立体視用画像に含まれる被写体の立体感を適切なものとすることができる。視差調整部６３２は、記録メディア２９に予め記録されている立体視用の画像ファイルについて、左画像及び右画像の視差を調整し、調整結果を、記録メディア２９に記録されている立体視用の画像ファイルに格納する。また、視差調整部６３２は、調整結果に対応して、液晶モニタ６０７の表示サイズ（例えば、表示画面の横幅）を、立体視用の画像ファイルに格納する。
サイズ取得部６３２は、内部メモリ６２７から、当該表示装置について予め求められた表示サイズ（例えば、表示画面の横幅）を取得する。
視差算出部６３４は、サイズ取得部６３２によって当該表示装置の表示サイズの幅を取得したときに、立体視用の画像ファイルに格納されている、他の表示装置についての視差の調整結果及び表示サイズの幅に基づいて、当該表示装置の表示サイズの幅に応じた、左画像及び右画像の視差を算出する。なお、視差量の算出方法は、第１の実施の形態と同様であるため、説明を省略する。
次に、第６の実施の形態における作用について説明する。まず、記録メディア２９が装着された複眼デジタルカメラ１において、ユーザが入力部３６を操作してユーザＩＤを入力すると、複眼デジタルカメラ１が、ユーザ認証を行う。また、複眼デジタルカメラ１は、記録メディア２９に予め記録されている特定の立体視用の画像ファイルの左画像及び右画像に、３次元処理を行って立体視用画像を生成し、液晶モニタ７に、左画像及び右画像を立体視表示する。そして、ユーザが、入力部３６を操作して、左画像及び右画像の視差を調整すると、複眼デジタルカメラ１において、視差の調整結果と、液晶モニタ７の表示サイズの幅とが、ユーザＩＤに対応して特定の立体視用の画像ファイルに格納される。
次に、他の表示装置６００（例えば、３次元表示が可能なテレビ）に、記録メディア２９が装着され、当該表示装置６００において、ユーザが入力部５３６を操作してユーザＩＤを入力すると、当該表示装置６００が、ユーザ認証を行う。また、当該表示装置６００では、記録メディア２９に予め記録されている特定の立体視用の画像ファイルの左画像及び右画像を立体視表示する。そして、ユーザが、当該表示装置６００の入力部６３６を操作して、左画像及び右画像の視差を調整すると、当該表示装置６００において、視差の調整結果と、当該表示装置６００の表示サイズの幅とが、ユーザＩＤに対応して特定の立体視用の画像ファイルに格納される。
次に、更に他の表示装置６０２に、記録メディア２９が装着され、当該表示装置６０２において、ユーザが入力部６３６を操作してユーザＩＤを入力すると、当該表示装置６０２が、ユーザ認証を行う。そして、当該表示装置６０２のＣＰＵ６３７によって、図１８に示す視差調整処理ルーチンが実行される。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
まず、ステップ６５０において、距離計測部６３８によって、ユーザまでの視距離を計測する。そして、ステップ６５２において、当該表示装置６０２について予め求められた表示サイズの幅を取得する。ステップ１０２では、ユーザ認証されたユーザＩＤを取得し、ステップ１０４において、記録メディア２９に記憶された特定の立体視用の画像ファイルから、取得したユーザＩＤに対応して格納された、視差の調整結果と、表示装置の表示サイズの幅との複数の組み合わせを読み込む。
そして、ステップ１０６において、上記ステップ１０４で取得したデータ数が、３つ以上であるか否かを判定する。取得したデータ数が２つであった場合には、ステップ１０８において、表示サイズと視差との関係を表わす１次関数の傾き及び切片を求める。一方、上記ステップ１０６で、取得したデータ数が３つ以上であった場合には、ステップ１１０において、主成分分析を行い、表示サイズと視差との関係を表わす１次関数を導出する。
次のステップ１１２では、上記ステップ１０８又は１１０で導出した１次関数に従って、上記ステップ１００で取得した表示サイズの幅に対応する視差量を算出する。
そして、ステップ６５４において、上記ステップ６５０で計測された視距離が、上記ステップ６５２で取得した表示サイズの幅に応じた予め定められた視距離の標準範囲外であるか否かを判定する。表示サイズの幅に応じた予め定められた視距離の標準範囲内である場合には、ステップ６５８において、上記ステップ１１２で算出した視差量に基づいて、当該表示装置６０２の液晶モニタ６０７に、特定の立体視用の画像ファイルの左画像及び右画像を立体視表示して、視差調整処理ルーチンを終了する。
一方、上記ステップ６５４で、上記ステップ６５０で計測された視距離が、表示サイズの幅に応じて予め定められた視距離の標準範囲外であると判定された場合には、ステップ６５６において、計測された視距離が、上記標準範囲より長いか短いかに応じて、上記ステップ１１２で算出した視差量を補正する。例えば、計測された視距離が、上記標準範囲より長い場合には、算出した視差量が大きくなるように補正し、一方、計測された視距離が、上記標準範囲より短い場合には、算出した視差量が小さくなるように補正する。
そして、ステップ６５８において、上記ステップ６５６で補正した視差量に基づいて、当該表示装置６０２の液晶モニタ６０７に、特定の立体視用の画像ファイルの左画像及び右画像を立体視表示して、視差調整処理ルーチンを終了する。
以上説明したように、第６の実施の形態によれば、他の表示装置についてユーザによって手動で調整された視差量と表示サイズとの関係に基づいて、出力対象の表示装置の表示サイズに対する視差量を算出することにより、複数種類の表示装置の各々において、適切な視差量を自動的に算出することができる。
なお、上記の第６の実施の形態で説明した、各表示装置において視差の調整及び視差量の算出を行う技術を、上述した第２の実施の形態〜第５の実施の形態に適用してもよい。
また、上記の第６の実施の形態で説明した、視距離を計測する技術を、上述した第１の実施の形態〜第５の実施の形態に適用してもよい。
また、上記の第１の実施の形態〜第６の実施の形態では、ＡＦ処理部により決定された合焦位置から、被写体までの距離を計測する場合を例に説明したが、これに限定されるものではなく、撮影部２１Ａ、２１Ｂから得られる画像のステレオマッチングにより、被写体までの距離を計測するようにしてもよい。
また、上記第１〜第６の実施の形態の視差調整処理ルーチンをプログラム化して、そのプログラムをＣＰＵにより実行するようにしてもよい。

Claims (12)

  1. 立体視表示する出力対象の表示装置の第１表示サイズを取得するサイズ取得手段と、
    複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第２表示サイズの各々とを記憶する記憶手段と、
    前記記憶手段に記憶された前記視差量と前記第２表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第１表示サイズに対する視差量を算出する視差量算出手段と、
    前記視差量算出手段によって算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する出力手段と、
    を含む画像処理装置。
  2. 前記出力対象の表示装置の種類を取得する種類取得手段と、
    前記種類取得手段によって取得した前記種類に対して予め定められた視距離に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段と、を更に含み、
    前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する請求項１記載の画像処理装置。
  3. ユーザを示すユーザ情報を受け付ける受付手段を更に含み、
    前記記憶手段は、前記ユーザによって調整された視差量の各々と前記表示装置の第２表示サイズの各々とを前記ユーザ情報毎に記憶し、
    前記視差量算出手段は、前記受付手段によって受け付けたユーザ情報に対応する、前記記憶手段に記憶された前記視差量と前記第２表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第１表示サイズに対する視差量を算出する、請求項１又は２記載の画像処理装置。
  4. 前記出力対象の表示装置の種類を取得する種類取得手段と、
    前記種類取得手段によって取得した前記種類及び前記受付手段によって受け付けたユーザ情報に対して予め定められた視距離に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段と、を更に含み、
    前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する、請求項３記載の画像処理装置。
  5. 立体視表示する表示手段と、
    前記表示手段からユーザまでの視距離を計測する計測手段と、
    前記表示手段の第１表示サイズに応じて予め定められた視距離と、前記計測手段によって計測された視距離とを比較し、比較結果に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段とを更に含み、
    前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する、請求項１〜請求項４の何れか１項記載の画像処理装置。
  6. 前記立体視表示用の画像データから、被写体の視差レンジを取得する視差レンジ取得手段を更に含み、
    前記視差量算出手段は、視差量が調整された第１の立体視表示用の画像データとは異なる第２の立体視表示用の画像データを出力する場合、前記第１の立体視表示用の画像データから取得された前記視差レンジと、前記第２の立体視表示用の画像データから取得された前記視差レンジと、前記第１の立体視表示用の画像データの視差量とに基づいて、前記第２の立体視表示用の画像データの視差量を算出し、
    前記出力手段は、前記算出手段によって補正された視差量と、前記第２の立体視表示用の画像データとを前記出力対象の表示装置に出力する、請求項１〜請求項５の何れか１項記載の画像処理装置。
  7. 前記立体視表示用の画像データは、被写体までの距離を含み、
    前記立体視表示用の画像データから、被写体までの距離を取得する被写体距離取得手段を更に含み、
    前記視差量算出手段は、視差量が調整された第１の立体視表示用の画像データとは異なる第２の立体視表示用の画像データを出力する場合、前記第１の立体視表示用の画像データから取得された前記被写体までの距離と、前記第２の立体視表示用の画像データから取得された前記被写体までの距離と、前記第１の立体視表示用の画像データの視差量とに基づいて、前記第２の立体視表示用の画像データの視差量を算出し、
    前記出力手段は、前記算出手段によって補正された視差量と、前記第２の立体視表示用の画像データとを前記出力対象の表示装置に出力する、請求項１〜請求項５の何れか１項記載の画像処理装置。
  8. 立体視表示する表示手段を更に含む、請求項１〜請求項７の何れか１項記載の画像処理装置。
  9. 異なる複数の視点から複数の画像を撮影する撮影手段を更に含み、
    前記出力手段は、前記立体視表示用の画像データとして、前記撮影手段によって複数の視点から撮影された複数の画像を出力する、請求項１〜請求項８の何れか１項記載の画像処理装置。
  10. 複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第２表示サイズの各々とを記憶する記憶手段を含むコンピュータを、
    立体視表示する出力対象の表示装置の第１表示サイズを取得するサイズ取得手段、
    前記記憶手段に記憶された前記視差量と前記第２表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第１表示サイズに対する視差量を算出する視差量算出手段、及び
    前記視差量算出手段によって算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する出力手段
    として機能させるためのプログラム。
  11. 複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第２表示サイズの各々とを予め記憶し、
    立体視表示する出力対象の表示装置の第１表示サイズを取得し、
    前記記憶された前記視差量と前記第２表示サイズとの関係に基づいて、前記取得された前記第１表示サイズに対する視差量を算出し、
    前記算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力すること
    を含む、画像処理方法。
  12. コンピュータに画像処理を実行させるプログラムを記憶した持続的記憶媒体であって、前記画像処理が、
    複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第２表示サイズの各々とを予め記憶し、
    立体視表示する出力対象の表示装置の第１表示サイズを取得し、
    前記記憶された前記視差量と前記第２表示サイズとの関係に基づいて、前記取得された前記第１表示サイズに対する視差量を算出し、
    前記算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力すること
    を含む、持続的記憶媒体。
JP2012541792A 2010-11-05 2011-10-07 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体 Expired - Fee Related JP5306544B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012541792A JP5306544B2 (ja) 2010-11-05 2011-10-07 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010249011 2010-11-05
JP2010249011 2010-11-05
JP2012541792A JP5306544B2 (ja) 2010-11-05 2011-10-07 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体
PCT/JP2011/073256 WO2012060182A1 (ja) 2010-11-05 2011-10-07 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体

Publications (2)

Publication Number Publication Date
JP5306544B2 JP5306544B2 (ja) 2013-10-02
JPWO2012060182A1 true JPWO2012060182A1 (ja) 2014-05-12

Family

ID=46024302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012541792A Expired - Fee Related JP5306544B2 (ja) 2010-11-05 2011-10-07 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体

Country Status (4)

Country Link
US (1) US9143764B2 (ja)
JP (1) JP5306544B2 (ja)
CN (1) CN103202027B (ja)
WO (1) WO2012060182A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6022212B2 (ja) * 2012-05-25 2016-11-09 シャープ株式会社 空間情報算出システム
JP5395934B1 (ja) * 2012-08-31 2014-01-22 株式会社東芝 映像処理装置および映像処理方法
US9317958B2 (en) 2013-03-07 2016-04-19 Mediatek Inc. Auto-convergence system with active learning and related method and machine-readable medium thereof
CN105432081B (zh) * 2013-08-06 2019-12-31 索尼电脑娱乐公司 三维图像生成设备、三维图像生成方法、程序和信息存储介质
JP5869184B2 (ja) * 2013-10-02 2016-02-24 オリンパス株式会社 ３次元画像システム
US20150116529A1 (en) * 2013-10-28 2015-04-30 Htc Corporation Automatic effect method for photography and electronic apparatus
JP2015095779A (ja) * 2013-11-12 2015-05-18 ソニー株式会社 画像処理装置、画像処理方法及び電子機器
CN104869384B (zh) * 2014-02-25 2017-04-12 华晶科技股份有限公司 电子装置及其校正方法
EP3145169A4 (en) * 2014-05-16 2017-10-11 Sony Corporation Attachment device and image pickup unit
JP6962372B2 (ja) * 2017-08-25 2021-11-05 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
JP6837031B2 (ja) * 2018-05-22 2021-03-03 Eizo株式会社 立体画像表示装置、立体画像表示方法及びプログラム
CN111694183A (zh) 2019-03-11 2020-09-22 京东方科技集团股份有限公司 显示装置及其显示方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005607A (en) * 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
DE60237113D1 (de) * 2002-01-07 2010-09-02 Koninkl Philips Electronics Nv Verfahren und einheit zur skalierung eines drei-dimensionellen modells und anzeigevorrichtung
JP3857988B2 (ja) * 2002-03-27 2006-12-13 三洋電機株式会社 立体画像処理方法および装置
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US7388583B2 (en) * 2003-07-11 2008-06-17 Koninklijke Philips Electronics N.V. Method of and scaling unit for scaling a three-dimensional model
JP4133683B2 (ja) * 2003-08-26 2008-08-13 シャープ株式会社 立体画像記録装置、立体画像記録方法、立体画像表示装置および立体画像表示方法
US7643025B2 (en) * 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
JP4578294B2 (ja) * 2005-03-18 2010-11-10 株式会社エヌ・ティ・ティ・データ三洋システム 立体視画像表示装置、立体視画像表示方法及びコンピュータプログラム
JP4634863B2 (ja) * 2005-05-30 2011-02-16 日本放送協会 立体視画像生成装置及び立体視画像生成プログラム
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
CN101453662B (zh) * 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、***及方法
JP4657313B2 (ja) * 2008-03-05 2011-03-23 富士フイルム株式会社 立体画像表示装置および方法並びにプログラム
JP2010045584A (ja) * 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体
JP4625515B2 (ja) * 2008-09-24 2011-02-02 富士フイルム株式会社 ３次元撮影装置および方法並びにプログラム
WO2010040146A1 (en) * 2008-10-03 2010-04-08 Real D Optimal depth mapping
JP4737573B2 (ja) * 2009-02-05 2011-08-03 富士フイルム株式会社 ３次元画像出力装置及び方法
JP4733785B2 (ja) * 2009-06-17 2011-07-27 パナソニック株式会社 ３ｄ映像を再生するための情報記録媒体、記録媒体の記録方法、再生装置、及び記録媒体再生システム
JP5430266B2 (ja) * 2009-07-21 2014-02-26 富士フイルム株式会社 画像表示装置および方法並びにプログラム
US8629899B2 (en) * 2009-08-06 2014-01-14 Qualcomm Incorporated Transforming video data in accordance with human visual system feedback metrics
US8878912B2 (en) * 2009-08-06 2014-11-04 Qualcomm Incorporated Encapsulating three-dimensional video data in accordance with transport protocols
US20110080466A1 (en) * 2009-10-07 2011-04-07 Spatial View Inc. Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
US8711204B2 (en) * 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
US8565516B2 (en) * 2010-02-05 2013-10-22 Sony Corporation Image processing apparatus, image processing method, and program
JP2011193348A (ja) * 2010-03-16 2011-09-29 Fujifilm Corp 立体画像表示装置の視差量決定装置およびその動作制御方法
US8831336B2 (en) * 2011-11-11 2014-09-09 Texas Instruments Incorporated Method, system and computer program product for detecting an object in response to depth information

Also Published As

Publication number Publication date
US9143764B2 (en) 2015-09-22
JP5306544B2 (ja) 2013-10-02
CN103202027A (zh) 2013-07-10
CN103202027B (zh) 2016-01-20
US20130235167A1 (en) 2013-09-12
WO2012060182A1 (ja) 2012-05-10

Similar Documents

Publication Publication Date Title
JP5306544B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体
US8208008B2 (en) Apparatus, method, and program for displaying stereoscopic images
US8208048B2 (en) Method for high dynamic range imaging
JP5295426B2 (ja) 複眼撮像装置、その視差調整方法及びプログラム
US8675042B2 (en) Image processing apparatus, multi-eye digital camera, and program
KR20110124473A (ko) 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
US20130113793A1 (en) Image processing device, image processing method, and image processing program
JP5539514B2 (ja) 撮影装置、プログラム、及び撮影方法
US8648953B2 (en) Image display apparatus and method, as well as program
JP5420076B2 (ja) 再生装置、複眼撮像装置、再生方法及びプログラム
US9369699B2 (en) Stereoscopic image display device, stereoscopic imaging device, and methods
JP5191864B2 (ja) ３次元表示装置および方法並びにプログラム
US8711208B2 (en) Imaging device, method and computer readable medium
TW201413368A (zh) 依據物距值及兩眼間距值對焦之立體取像裝置及其方法、程式產品、紀錄媒體與取像對位方法
JP5351878B2 (ja) 立体画像表示装置および方法並びにプログラム
JP2010102137A (ja) ３次元撮影装置および方法並びにプログラム
JPWO2012001958A1 (ja) 画像処理装置および方法並びにプログラム
JP5409481B2 (ja) 複眼撮影装置及びプログラム
JP6063662B2 (ja) 撮像装置及び撮像方法
JP2012220603A (ja) ３ｄ映像信号撮影装置
JP2011223175A (ja) 撮像装置、撮像装置の画像処理方法及びプログラム並びに撮像システム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130625

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees