JP5923595B2 - 画像処理装置及び方法並びに撮像装置 - Google Patents
画像処理装置及び方法並びに撮像装置 Download PDFInfo
- Publication number
- JP5923595B2 JP5923595B2 JP2014507564A JP2014507564A JP5923595B2 JP 5923595 B2 JP5923595 B2 JP 5923595B2 JP 2014507564 A JP2014507564 A JP 2014507564A JP 2014507564 A JP2014507564 A JP 2014507564A JP 5923595 B2 JP5923595 B2 JP 5923595B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- digital filter
- pixel
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は画像処理装置及び方法並びに撮像装置に係り、特に2次元画像から立体視用の画像を生成する技術に関する。
従来、2次元画像を3次元画像化する技術として、特許文献1、2及び3に記載のものが知られている。
左右の眼に同一の映像を表示して、いわゆる単眼立体視の原理を利用した光学的装置としてシノプター(synopter)と呼ばれる立体視鏡が知られている。特許文献1に記載の発明は、この単眼立体視の原理を利用して2Dから3Dに変換された画像を表示する際に、画面端部での欠損領域や無効領域に起因する表示品位の低下を抑止するために、2次元画像の入力画像にマスクを付加するようにしている。
特許文献2に記載の方法は、背景画像やそれより手前の人物像等からなる手前画像からなる2次元画像から手前画像を抽出し、視差や遠近感に応じて手前画像を水平方向に移動させ、また、手前画像の移動によって生じる無画像情報領域を補填するように移動後の手前画像を拡大し、手前画像と背景画像とを合成するようにしている。
また、特許文献3に記載の方法は、2次元入力のフレームを平坦画像クラス及び非平坦画像クラスのうちの1つに分類し、平坦画像クラスのフレームを、3Dステレオ画像に直接変換し、非平坦画像クラスとして分類されるフレームを、複雑さに基づいて自動的にかつ適応的に更に処理して奥行きマップを生成し、奥行きマップを使用して3Dステレオ画像に変換するようにしている。
一方、通常に撮像された風景写真を、模型を近距離から撮像したかのように加工する、いわゆる「ミニチュア写真化」技術が知られている(特許文献4)。通常に撮像された風景写真等において、注目領域以外の領域にぼかし処理を施すことにより、ミニチュアライク写真を生成するようにしている(特許文献4の図11、図12)。
更に、単一の撮影レンズの左右方向の異なる領域を通過した被写体像が瞳分割されてそれぞれ結像される位相差CCDにより、各領域を通過した被写体像がそれぞれ光電変換され、ピントずれ量に応じて互いに位相差をもった左目画像及び右目画像(単眼3D画像)を取得する単眼3D撮像装置が知られている(特許文献5)。
特許文献1に記載の単眼立体視の原理は、単一画像が平行視線となるように両眼に与えるものであり、特許文献5に記載のようなピントずれ量に応じて互いに位相差をもった単眼3D画像を生成するものではない。
特許文献2、3に記載の発明は、視差を付与する際にぼかし処理を行わないため、3D画像の鑑賞時に目が疲れやすいという問題がある。
特許文献4に記載の発明は、通常に撮像された風景写真等からミニチュアライク写真を生成することができるが、3D画像として生成することはできない。
特許文献5に記載の単眼3D画像装置により撮影される単眼3D画像は、その利点のひとつとして、3Dテレビで3D専用眼鏡を外して鑑賞しても、二重像が殆ど発生しないという利点が挙げられる。しかし、単眼3D画像は、専用の単眼3D撮像装置でなければ得ることができないという問題がある。
本発明はこのような事情に鑑みてなされたもので、2次元画像に対して視差処理及びぼかし処理を簡単な構成で付与することができ、3D専用眼鏡を外して鑑賞しても二重像が殆ど発生しない立体視用の画像を生成することができる画像処理装置及び方法並びに撮像装置を提供することを目的とする。
前記目的を達成するために本発明の一の態様に係る画像処理装置は、画像を取得する画像取得手段と、取得した画像の画素毎に、該画素に対して付与する視差情報を取得する視差情報取得手段と、取得した画像に視差を付与するための、互いに左右対称性を有する第1のデジタルフィルタ群及び第2のデジタルフィルタ群であって、付与する視差の大きさに応じてフィルタサイズが異なる第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、視差情報取得手段により取得した画素毎の視差情報とに基づいて、取得した画像の画素毎の視差情報に対応する第1のデジタルフィルタ及び第2のデジタルフィルタによるフィルタ処理を行うことにより、取得した画像の画素毎に視差が付与された第1の画素及び第2の画素を算出する算出手段と、を備えている。
本発明の一の態様によれば、画像(2次元画像)に視差を付与するための、互いに左右対称性を有する第1のデジタルフィルタ群及び第2のデジタルフィルタ群であって、少なくとも付与する視差の大きさに応じてフィルタサイズが大きくなる第1のデジタルフィルタ群及び第2のデジタルフィルタ群を準備しておく。そして、視差を付与する画像の画素毎に、その画素に対して付与する視差に対応する、第1のデジタルフィルタ及び第2のデジタルフィルタを使用してフィルタ処理を行うことにより、視差を付与する処理とぼかし処理とを同時に行うようにしている。尚、視差がゼロに対応する画素に対しては、視差付与及びぼかし処理は行われず、また、視差が大きくなるにしたがって、第1、第2のデジタルフィルタのフィルタサイズが大きくなるため、画素に付与される視差が大きくなり、かつぼかし量も大きくなる。このようにして視差の付与とぼかし処理が行われた立体視用の画像は、3Dディスプレイに表示することにより立体視が可能となり、また、視差が大きくなるにしたがってぼけ量も大きくなるため、目の疲れにくい自然な立体画像となる。
本発明の他の態様に係る画像処理装置において、第1及び第2のデジタルフィルタ群は、画像の中心部と周辺部とで左右対称性が異なることが好ましい。
本発明の更に他の態様に係る画像処理装置において、取得した画像に付与する視差を示す視差マップを取得する視差マップ取得手段を備え、視差情報取得手段は、取得した画像の画素毎に、画素の位置に対応する視差情報を視差マップから取得することが好ましい。
本発明の更に他の態様に係る画像処理装置において、第1のデジタルフィルタ群及び第2のデジタルフィルタ群は、単一の撮影光学系を通過した光束を瞳分割してそれぞれ受光する第1の画素群及び第2の画素群から構成された単一の撮像素子の、入射角度に応じた感度特性に基づいて計算されるものであることが好ましい。
本発明の更に他の態様に係る画像処理装置において、第1のデジタルフィルタ群及び第2のデジタルフィルタ群は、算出手段によるフィルタ処理後の視差が付与された第1の画像と第2の画像とを加算した画像が、二重像にならないフィルタ係数を有することが好ましい。これにより、3Dディスプレイに表示された立体視用の画像を、3D専用眼鏡を外して鑑賞しても二重像が殆ど発生しない2次元画像として鑑賞することができる。
本発明の更に他の態様に係る画像処理装置において、第1のデジタルフィルタ群及び第2のデジタルフィルタ群は、それぞれ正規化されたフィルタ係数を有するものであることが好ましい。これにより、フィルタ処理後の画像の明るさが変化しないようにすることができる。
本発明の更に他の態様に係る画像処理装置において、予め画像上の位置に応じて定義された視差マップを記憶する視差マップ記憶手段を備え、視差マップ取得手段は、視差マップ記憶手段から視差マップを取得する。これにより、視差マップを有さない画像であっても、予め定義した視差マップを適用して立体視用の画像を生成することができる。例えば、視差を付与する画像の下方ほど飛び出す方向の視差が大きくなる視差を定義し、上方ほど奥行き方向の視差が大きくなる視差を定義することができる。また、視差を付与する画像の特定領域の視差を小さくし、特定領域以外の視差を大きく(ぼかし量も大きく)する視差を定義することにより、3Dのミニチュアライク写真を生成することができる。
本発明の更に他の態様に係る画像処理装置において、視差を付与する画像の天地方向を示す情報を取得する手段を備え、視差マップ取得手段は、視差マップ記憶手段から視差マップを取得する際に、取得した画像の天地方向を示す情報に基づいて対応する視差マップを取得することが好ましい。これにより、視差を付与する画像が横撮り、又は縦撮りされた画像であっても適切な視差を付与することができる。
本発明の更に他の態様に係る撮像装置は、撮影光学系と該撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、撮像手段から出力される画像を取得する画像取得手段と、前述した画像処理装置と、を備えている。
本発明の更に他の態様に係る撮像装置において、撮像手段による画像の撮像時に撮像した画像の複数の領域毎又は画素毎に距離情報を取得する距離情取得手段を備え、視差情報取得手段は、取得した距離情報に基づいて撮像した画像の視差情報を取得する。距離情取得手段としては、多点測距できるものであれば、いかなるものでもよい。
本発明の更に他の態様に係る撮像装置において、撮像手段により撮像した画像の複数の領域毎又は画素毎に位相差を検出する位相差検出手段を有し、視差情報取得手段は、位相差検出手段により検出された位相差に基づいて撮像した画像の視差情報を取得する。
本発明の更に他の態様に係る撮像装置において、撮像手段とは異なる撮影光学系及び撮像素子からなる他の撮像手段を更に備え、視差情報取得手段は、2つの撮像手段により撮像された2つの画像に基づいて撮像した画像の視差情報を取得する。
本発明の更に他の態様に係る画像処理方法は、画像を取得する画像取得工程と、取得した画像の画素毎に、該画素に対して付与する視差情報を取得する視差情報取得工程と、取得した画像に視差を付与するための、画像に視差を付与するための、互いに左右対称性を有する第1のデジタルフィルタ群及び第2のデジタルフィルタ群であって、少なくとも付与する視差の大きさに応じてフィルタサイズが大きくなる第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、視差情報取得工程により取得した画素毎の視差情報とに基づいて、取得した画像の画素毎の視差情報に対応する第1のデジタルフィルタ及び第2のデジタルフィルタによるフィルタ処理を行うことにより、取得した画像の画素毎に視差が付与された第1の画素及び第2の画素を算出する算出工程と、を含んでいる。
本発明によれば、画像(2次元画像)に視差を付与するための、互いに左右対称性を有する第1のデジタルフィルタ群及び第2のデジタルフィルタ群であって、付与する視差の大きさに応じてフィルタサイズが大きくなる第1のデジタルフィルタ群及び第2のデジタルフィルタ群を準備し、視差を付与する画像の画素毎に、適宜の第1のデジタルフィルタ及び第2のデジタルフィルタを使用してフィルタ処理を行うようにしたため、視差を付与する処理とぼかし処理とを同時に行うことができる。このようにして視差の付与とぼかし処理が行われた立体視用の画像は、3Dディスプレイに表示することにより立体視が可能となり、また、視差が大きくなるにしたがってぼけ量も大きくなるため、目の疲れにくい自然な立体画像となる。更に、3Dディスプレイに表示された立体視用の画像は、3D専用眼鏡を外して鑑賞しても二重像が殆ど発生しないものとなる。
以下、添付図面に従って本発明に係る画像処理装置及び方法並びに撮像装置の実施の形態について説明する。
[撮像装置]
図1及び図2はそれぞれ本発明に係る撮像装置の実施形態を示す斜視図及び背面図である。この撮像装置10は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラである。
図1及び図2はそれぞれ本発明に係る撮像装置の実施形態を示す斜視図及び背面図である。この撮像装置10は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラである。
図1に示すように、撮像装置10は、その正面に撮影レンズ(撮影光学系)12、ストロボ1等が配設され、上面にはシャッタボタン2、電源/モードスイッチ3、モードダイヤル4等が配設されている。一方、図2に示すように、カメラ背面には、3D表示用の3D液晶モニタ30、ズームボタン5、十字ボタン6、MENU/OKボタン7、再生ボタン8、BACKボタン9等が配設されている。
撮影レンズ12は、沈胴式のズームレンズで構成されており、電源/モードスイッチ3によってカメラのモードを撮影モードに設定することにより、カメラ本体から繰り出される。ストロボ1は、主要被写体に向けてストロボ光を照射するものである。
シャッタボタン2は、いわゆる「半押し」と「全押し」とからなる2段ストローク式のスイッチで構成されている。立体撮像装置10は、撮影モードで駆動しているときは、このシャッタボタン2が「半押し」されることにより、AE/AFが作動し、「全押し」されることにより、撮影を実行する。また、立体撮像装置10は、撮影モードで駆動しているときは、このシャッタボタン2が「全押し」されることにより、撮影を実行する。
なお、シャッタボタン2は半押しと全押しとからなる2段ストローク式のスイッチの形態に限られず、1回の操作でS1オンの信号、S2オンの信号を出力してもよく、それぞれ個別のスイッチを設けてS1オンの信号、S2オンの信号を出力してもよい。
また、タッチ式パネルなどにより操作指示を行う形態では、これらの操作部としてタッチ式パネルの画面に表示される操作指示に対応する領域をタッチすることで操作指示を出力するようにしてもよく、本発明においては撮影準備処理や撮影処理を指示するものであれば操作部の形態はこれらに限られない。また、1つの操作部への操作指示で撮影準備処理と撮影処理を連続して実行するようにしてもよい。
電源/モードスイッチ3は、立体撮像装置10の電源をON/OFFする電源スイッチとしての機能と、立体撮像装置10のモードを設定するモードスイッチとしての機能とを併せ持っており、「OFF位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。立体撮像装置10は、電源/モードスイッチ3をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がONになり、「OFF位置」に合わせることにより、電源がOFFになる。そして、電源/モードスイッチ3をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。
モードダイヤル4は、撮像装置10の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、立体撮像装置10の撮影モードが様々なモードに設定される。例えば、平面画像の撮影を行う「平面画像撮影モード」、立体画像(3D画像)の撮影を行う「立体画像撮影モード」、動画撮影を行う「動画撮影モード」等である。
3D液晶モニタ30は、立体視画像(左目画像及び右目画像)をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段である。立体視画像が3D液晶モニタ30に入力された場合には、3D液晶モニタ30のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片が交互に配列して表示される。平面画像やユーザインターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に1枚の画像をそのまま表示する。尚、3D液晶モニタ30の形態はこれに限らず、左目画像及び右目画像を立体画像として認識可能に表示させるものであれば、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左目画像と右目画像とを個別に見ることができるものでもよい。
ズームボタン5は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン5Tと、広角側へのズームを指示するワイドボタン5Wとからなる。撮像装置10は、撮影モード時に、このテレボタン5Tとワイドボタン5Wとが操作されることにより、撮影レンズ12の焦点距離が変化する。また、再生モード時に、このテレボタン5Tとワイドボタン5Wとが操作されることにより、再生中の画像が拡大、縮小する。
十字ボタン6は、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン(カーソル移動操作手段)として機能する。左/右キーは再生モード時のコマ送り(順方向/逆方向送り)ボタンとして機能する。
MENU/OKボタン7は、3D液晶モニタ30の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作キーである。
再生ボタン8は、撮影記録した立体画像(3D画像)、平面画像(2D画像)の静止画又は動画を3D液晶モニタ30に表示させる再生モードに切り替えるためのボタンである。
BACKボタン9は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。
[撮像装置の内部構成]
図3は上記撮像装置10の内部構成の実施形態を示すブロック図である。この撮像装置10は、撮像した画像をメモリカード54に記録するもので、装置全体の動作は、中央処理装置(CPU)40によって統括制御される。
図3は上記撮像装置10の内部構成の実施形態を示すブロック図である。この撮像装置10は、撮像した画像をメモリカード54に記録するもので、装置全体の動作は、中央処理装置(CPU)40によって統括制御される。
撮像装置10には、シャッタボタン、モードダイヤル、再生ボタン、MENU/OKキー、十字キー、ズームボタン、BACKキー等の操作部38が設けられている。この操作部38からの信号はCPU40に入力され、CPU40は入力信号に基づいて撮像装置10の各回路を制御し、例えば、レンズ駆動部36によるレンズ駆動制御、絞り駆動部34による絞り駆動制御、CCD制御部32による撮影動作(シャッタボタン2の半押しから画像記録の完了まで)制御、デジタル信号処理部24による画像処理制御、圧縮伸長処理部26による画像データの記録/再生制御、ビデオエンコーダ28による3D液晶モニタ30の表示制御などを行う。
電源/モードスイッチ3により立体撮像装置10の電源がONされると、図示しない電源部から各ブロックへ給電され、立体撮像装置10の駆動が開始される。
撮影レンズ12、絞り14等を通過した光束はCCDイメージセンサである撮像素子16(撮像手段、画像取得手段)に結像され、撮像素子16には信号電荷が蓄積される。撮像素子16に蓄積された信号電荷は、CCD制御部32から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子16から読み出された電圧信号は、アナログ信号処理部18に加えられる。尚、この実施の形態の撮像素子16は、CCDイメージセンサであるが、これに限らず、CMOS型のイメージセンサでもよい。
アナログ信号処理部18は、撮像素子16から出力された電圧信号に対して相関二重サンプリング処理(撮像素子の出力信号に含まれるノイズ(特に熱雑音)等を軽減することを目的として、撮像素子の1画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理)により各画素ごとのR、G、B信号がサンプリングホールドされ、増幅されたのちA/D変換器20に加えられる。A/D変換器20は、順次入力するR、G、B信号をデジタルのR、G、B信号に変換して画像入力コントローラ22に出力する。
デジタル信号処理部24は、画像入力コントローラ22を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイキング処理、YC処理、エッジ強調処理等の所定の信号処理を行う。
また、デジタル信号処理部24は、撮影した画像に関連して作成された視差マップを取得する視差マップ取得手段、及び視差付与及びぼかし処理(フィルタ処理)を行って視差及びぼけを有する画素を算出する算出手段として機能し、2Dの画像データに対して、本発明に係る視差処理及びぼかし処理を行い、視差が異なる立体視用の画像(左目画像、右目画像)を生成する。尚、2D画像から左目画像及び右目画像を生成する画像処理方法の詳細については、後述する。
デジタル信号処理部24により処理された2D又は3Dの画像データは、VRAM50に入力される。VRAM50には、それぞれが1コマ分の2D又は3Dの画像を表す画像データを記録するA領域とB領域とが含まれている。VRAM50において1コマ分の2D又は3Dの画像を表す画像データがA領域とB領域とで交互に書き換えられる。VRAM50のA領域及びB領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。
VRAM50から読み出された2D又は3Dの画像データは、ビデオエンコーダ28においてエンコーディングされ、カメラ背面に設けられている3D液晶モニタ30に出力され、これにより2D又は3Dの被写体像が連続的に3D液晶モニタ30の表示画面上に表示される。
操作部38のシャッタボタン2の第1段階の押下(半押し)があると、CCD40は、AF動作及びAE動作を開始させ、レンズ駆動部36を介してフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。
AF処理部42は、コントラストAF処理又は位相差AF処理を行う部分である。コントラストAF処理を行う場合には、左目画像及び右目画像の少なくとも一方の画像のうちの所定のフォーカス領域内の画像の高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すAF評価値を算出する。このAF評価値が極大となるレンズ位置に撮影レンズ12内のフォーカスレンズを移動させることによりAF制御(コントラストAF)が行われる。また、AF処理部42は、3D画像を撮影記録する場合には、画面全体を複数の領域に分割した分割領域ごとにコントラストAFを行い、分割領域ごとにAF評価値が極大となるレンズ位置からそれぞれ被写体距離を測距する多点測距を行う。
CPU40は、ズームボタン5からのズーム指令に応じてレンズ駆動部36を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。
また、シャッタボタン2の半押し時にA/D変換器20から出力される画像データは、AE検出部44に取り込まれる。
AE検出部44では、画面全体のG信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたG信号を積算し、その積算値をCPU40に出力する。CPU40は、AE検出部44から入力する積算値より被写体の明るさ(撮影Ev値)を算出し、この撮影EV値に基づいて絞り14のF値及び撮像素子16の電子シャッタ(シャッタ速度)を所定のプログラム線図にしたがって決定する。
尚、図3において、46は、撮影画角内の人物の顔を検出し、その顔を含むエリアをAFエリア、AEエリアとして設定するための公知の顔検出部である。顔とは、人物の顔に限らず、ペットなどの動物の顔も含む。また、顔の検出方法としては、予め複数の画像情報を登録した辞書を用いて検出する方法や、テンプレートマッチング(画像照合)を用いて検出する方法などが適用可能である。
また、47は、カメラ制御プログラム、撮像素子16の欠陥情報、画像処理等に使用する各種のパラメータやテーブルの他に、本発明に係る左目画像及び右目画像を生成するための画像処理プログラム、立体視画像を生成するために使用する第1及び第2のデジタルフィルタ群、視差マップ等が記憶されているROM(EEPROM)(視差マップ記憶手段)である。尚、本発明に係る画像処理プログラム等の詳細については後述する。
シャッタボタン2の半押しによりAE動作及びAF動作が終了し、シャッタボタンの第2段階の押下(全押し)があると、その押下に応答してA/D変換器20から出力される画像データが画像入力コントローラ22からメモリ(SDRAM) 48に入力し、一時的に記憶される。
メモリ48に一時的に記憶された画像データは、デジタル信号処理部24により適宜読み出され、ここで、デモザイキング処理、エッジ強調の画像処理、及びYC処理(画像データの輝度データ及び色差データの生成処理)を含む所定の信号処理が行われ、YC処理された画像データ(YCデータ)は、再びメモリ48に記憶される。デモザイキング処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素ごとに全ての色情報を算出する処理であり、同時化処理ともいう。例えば、RGB3色のカラーフィルタからなる撮像素子の場合、RGBからなるモザイク画像から画素ごとにRGB全ての色情報を算出する処理である。
メモリ48に記憶されたYCデータは、圧縮伸長処理部26に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ48に記憶される。メモリ48に記憶されたYCデータ(圧縮データ)から画像ファイルが生成され、その画像ファイルは、メディア・コントローラ52により読み出され、メモリカード54に記録される。
上記構成の撮像装置10は、2D画像から3D画像を生成するための機能を備えているが、その他の部分は従来のものと同じである。
[2D画像から3D画像を生成する画像処理方法]
次に、本発明に係る2D画像から3D画像を生成する画像処理方法について、図4及び図5を参照して説明する。
次に、本発明に係る2D画像から3D画像を生成する画像処理方法について、図4及び図5を参照して説明する。
図4は2D画像から3D画像を生成する画像処理方法を示す概念図である。
図4に示すように、まず、左右視点の視差を付与するための2D画像100と、その2D画像に対して、視差を付与するための基準となる予め定義され、又は視差を付与する2D画像の撮影時に測定した多点測距データから算出した視差マップ110を取得する。ここで、視差マップ110とは、左目画像と右目画像との対応点同士の画素のずれ(視差)が、画面全体にわたってマッピングされたものである。図4上で、グレースケールで示した視差マップ110の白い部分は、遠い箇所の視差を示し、黒い部分は、近い箇所の視差を示している。
一方、2D画像の画素毎に視差の付与及びぼかし処理を施すためのデジタルフィルタ群であって、左目画像を生成するための第1のデジタルフィルタ群と、右目画像を生成するための第2のデジタルフィルタ群とを予め準備し、メモリに記憶しておく。
第1のデジタルフィルタ群と第2のデジタルフィルタ群とは、図5に示すように互いに左右対称性を有し、付与する視差の大きさに応じてフィルタサイズが異なるものである。第1のデジタルフィルタ群及び第2のデジタルフィルタ群のフィルタ形状は、必ずしも円の中心を通る線に対して線対称なものだけでなくおおよその対称性を有しているものも含む。例えば、円の中心から左右方向にずれた位置を通る直線により円を2つに分割した形状のものも含む。また、図5に示す第1のデジタルフィルタ群及び第2のデジタルフィルタ群は、それぞれ視差に応じて選択された第1のデジタルフィルタと第2のデジタルフィルタとは半月状の形状を有し、重ね合わせると円形になる。これは、絞り開口(円形)を左右に瞳分割した形状に対応しているためである。したがって、五角形の絞り開口に対応する第1、第2のデジタルフィルタの形状は、それぞれ五角形を左右に瞳分割した形状になる。
図4において、2D画像100の任意の画素から、左目画像の画素と右目画像の画素を生成する場合には、その画素に対応する視差情報を視差マップ110から取得し、その視差情報に対応する第1のデジタルフィルタ及び第2のデジタルフィルタをメモリから読み出す。そして、任意の画素を中心とする、第1のデジタルフィルタ及び第2のデジタルフィルタのフィルタサイズに対応する画素群と、第1のデジタルフィルタのフィルタ係数との畳み込み演算(積和演算)を行うことにより、左目画像の画素を算出する。同様に、任意の画素を中心とする、第1のデジタルフィルタ及び第2のデジタルフィルタのフィルタサイズに対応する画素群と、第2のデジタルフィルタのフィルタ係数との畳み込み演算を行うことにより、右目画像の画素を算出する。これにより、任意の画素に関し、視差を付与する処理(位相ずらし)とぼかし処理とが同時に行われる。
以上の画像処理を2D画像の全ての画素に対して行うことにより、左目画像120と右目画像130とが生成される。
尚、図5に示すように、第1のデジタルフィルタ群と第2のデジタルフィルタ群は、視差がゼロの場合には、そのフィルタサイズが最小(例えば、1)になり、実質的にフィルタ処理がされず、視差が大きくなるにしたがって、フィルタサイズが大きくなり、その結果、ぼけも大きくなる。また、遠側の視差と近側の視差とは、第1のデジタルフィルタと第2のデジタルフィルタの形状が逆になる。これは、遠側の視差と近側の視差は、視差の方向が逆になるからである。
[視差付与及びぼかし処理を行うデジタルフィルタ]
次に、2D画像に視差付与する及びぼかし処理を行うデジタルフィルタについて詳述する。
次に、2D画像に視差付与する及びぼかし処理を行うデジタルフィルタについて詳述する。
図6は、レンズが物体aの前面にピント調整された状態で、ピント位置よりも手前の物体(点光源)がどのように撮影されるかを示す図であり、通常の撮像素子200により撮像される画像と、特殊な撮像素子(単眼3D用の撮像素子)210により撮像される左目画像及び右目画像が示されている。尚、図6上の撮像素子200及び210は、それぞれ被写体側から見た受光面を示している。
通常の撮像素子200は、それぞれマトリクス状に配列された奇数列の画素(主画素、A面画素ともいう)と、偶数列の画素(副画素、B面画素ともいう)とが、水平垂直方向にそれぞれ半ピッチずつずれて配置されており、A面画素からなる画像(A面画像)と、B面画素からなる画像(B面画像)とは、それぞれベイヤー配列のカラーフィルタを有している。これらのA面画像とB面画像とから1枚の高解像度の画像を生成することができる。尚、通常の撮像素子200のA面画素、B面画素に対応して設けられた、光が入射する開口は、各画素の中央に形成されている。また、各画素上には、図示しないマイクロレンズが設けられている。
通常の撮像素子200から得られるピント位置よりも手前の点光源の画像は、後ピンとなり、そのぼけ量に相当する直径の円になる。
一方、単眼3D用の撮像素子210は、A面画素に形成された開口と、B面画素に形成された開口とが、それぞれ左右方向に偏倚しており、A面画素には、レンズの左側の領域を通過する光が入射し、B面画素には、レンズの右側の領域を通過する光が入射するようになっている。単眼3D用の撮像素子210は、位相差イメージセンサとして公知のものであり、特許文献5等に詳細に記載されている。
上記構成の単眼3D用の撮像素子210のA面画素からなる画像(A面画像)は、左目画像となり、B面画素からなる画像(B面画像)は、右目画像となる。
単眼3D用の撮像素子210から得られるピント位置よりも手前の点光源の画像は、後ピンとなり、左目画像及び右目画像は、それぞれそのぼけ量に相当する直径を有する半月状になる。そして、半月状の左目画像の重心と右目画像の重心とのずれ量が、点光源の画像の視差量になる。即ち、ピント位置よりも手前の点光源の画像は、撮像素子210の特性(角度ごとの感度)などが既知であれば、点光源に対してどのような左目用及び右目用のフィルタ(前述した第1のデジタルフィルタ及び第2のデジタルフィルタ)が畳み込まれているかがわかる。尚、左目用及び右目用のフィルタは、半月状となるため、以後「半月フィルタ」という。
さて、図6に示したレンズを介して単眼3D用の撮像素子210に入射する光のx方向の角度[°]に対する左目画像及び右目画像の感度の一例を、図7(a)に示し、y方向の角度[°]に対する左目画像及び右目画像の感度の一例を、図7(b)に示す。
図7(a)に示すように、x方向の角度[°]に対する左目画像及び右目画像の感度は、角度ゼロを中心にして対称性を有するとともに、感度のピーク位置がずれる。また、図7(b)に示すように、y方向の角度[°]に対する左目画像及び右目画像の感度は一致し、角度ゼロに感度のピーク位置がくる。
図7(a)及び(b)に示したx方向及びy方向の感度特性を掛け合わせると、図7(c)に示すように撮像素子210に入射する光のx方向及びy方向の角度毎の感度特性が得られる。尚、図7(c)は、撮像素子210の左目画像に対応するA面画素の角度毎の感度特性を示している。
次に、図7(d)に示すように、ある直径Rの範囲のみ光が撮像素子210に当たると仮定して、角度を撮像素子210のx軸(横方向)、y軸(縦方向)の座標に換算すると、左右の半月フィルタの重心間距離(即ち、視差ΔD)と、半月フィルタの直径Rは、それぞれ次式で表すことができる。
ここで、[数1]式及び[数2]式において、図8に示すように実焦点距離をf[mm]、絞り値をF、ジャスピン位置までの合焦距離をLo[mm]、被写体までの距離をL[mm]としている。また、ΔDは、Fの関数ρ(F)を用いて、Rに対する所定の比で表すことができる。よって、ΔDが分かれば、Rの値や、現在どのような半径・分布の半月フィルタがかかっているかが分かる。
図9(a)及び(b)は、それぞれ半月フィルタ、及び図8の撮像面近傍の拡大図である。尚、図8及び図9中に示した数式は、レンズの公式、及び幾何的な関係から導き出すことができる。
また、半月フィルタのフィルタ係数を算出する場合には、図10に示すように、ある座標を(Px,Py)、その座標(Px,Py)への光の入射角を(θx,θy)とすると、以下の[数3]式に示す(x,y)について、[数4]式に示す (θx,θy)を求める。
[数4]式で求めた入射角(θx,θy)に基づいて、図7(c)に示した角度毎の感度特性を代入することにより、半月フィルタのフィルタ係数を算出する。このとき、フィルタ係数の総和で各フィルタ係数を除算することにより、フィルタ係数を正規化することが好ましい。
上記のようにして視差ΔDごとに左右の半月フィルタを作成し、視差ΔDに関連付けてROM(EEPROM)47に記憶させる。半月フィルタの作成は、予めデジタル信号処理部24で行い、作成した半月フィルタをROM47に記憶させてもよいし、外部で別途作成した半月フィルタをROM47に記憶させるようにしてもよい。
また、[数1]式では、視差ΔDが絶対値で表されているが、合焦距離Loよりも手前の物体の視差と合焦距離Loよりも奥側の物体の視差とは、視差方向(符号)が逆になる。したがって、視差の大きさ及び視差方向ごとに左右の半月フィルタを作成し、ROM47に記憶させる。
ところで、図11(a)及び(b)に示すように、画面中央の物体における入射角と、画面端の物体における入射角は異なり、例えば、画面中央の物体における入射角が、−15°〜15°であるのに対し、画面端の物体における入射角は、−7°〜26°となる。
これにより、図12に示すように画面中央の物体における左目画像と右目画像の入射角特性は、対称となるのに対し、画面端の物体における左目画像と右目画像の入射角特性は、対称にならない。その結果、画面中央の物体における左右の半月フィルタは、左右対称になるのに対し、画面端の物体における左右の半月フィルタは、形状に差異が生じる。
したがって、画面内の位置に応じて形状の異なる半月フィルタを記憶しておくことが好ましい。
また、上記半月フィルタを算出する際の単眼3Dの撮像素子210としては、任意の特性を反映したものを適用することができ、これにより、理想的な単眼3Dの撮像素子を仮定して適切な視差及びぼかし量を付与する半月フィルタを算出することができる。また、撮像素子の特性だけでなく、レンズのF値に応じた視差及びぼかし量を付与する半月フィルタの算出も可能である。
[画像処理方法の実施形態]
図13は本発明に係る画像処理方法の実施形態を示すフローチャートである。
図13は本発明に係る画像処理方法の実施形態を示すフローチャートである。
図13において、視差を付与する画像(2D画像)と視差マップを取得する(ステップS10)。取得する画像としては、立体画像撮影モードに設定されたときの撮像装置10により撮像された画像(2D画像)を取得してもよいし、メモリカード54に記録された画像から適宜選択した画像を取得してもよい。
図14は視差マップの作成方法の一例を示す図である。図14に示すように2D画像の撮影時に多点測距する。具体的には、AF処理部42により、画面全体を複数の領域(図14の例では、16の領域)に分割して分割領域ごとにコントラストAFを行い、分割領域ごとにAF評価値が極大となるレンズ位置からそれぞれ16領域の距離を概算する。また、実際の撮影時の合焦距離Loも求める。続いて、16領域の各距離の距離データを補間し、画面全体にわたる距離データ(距離マップ)を作成する。画面内の各画素の距離Lと、合焦距離Loとが得られると、[数1]式により視差ΔDを算出することができる。これにより、視差マップを作成することができる。尚、16領域の視差ΔDを算出し、その後、算出した視差ΔDを補間して視差マップを作成するようにしてもよい。
また、距離マップから視差マップを作成する際に、[数1]式によらず、適宜の関数に基づいて変換するようにしてもよい。この場合の関数としては、合焦距離Loの視差をゼロ、無限遠の視差を遠側の視差の最大値a、至近端の視差を近側の視差の最大値bとする線形、又は非線形の関数にすることが好ましい。
ステップS10では、上記のようにして作成された視差マップを取得する。
続いて、取得した画像中の画素P(i,j)を取得するとともに、その画素P(i,j)に対応する視差ΔD(i,j)を視差マップから取得する(ステップS12)。
次に、取得した視差ΔD(i,j)の大きさ及び視差方向に対応する左目用の半月フィルタFLをROM47から読み出し(ステップS14)、読み出した半月フィルタFLと、画素P(i,j)を中心にした、半月フィルタFLのフィルタサイズの画素群の画素値との畳み込み演算を行うことにより、画素P(i,j)に対応する左目用の画素PLを算出する(ステップS16)。
同様に、取得した視差ΔD(i,j)の大きさ及び視差方向に対応する右目用の半月フィルタFLをROM47から読み出し(ステップS18)、読み出した半月フィルタFRと、画素P(i,j)を中心にした、半月フィルタFRのフィルタサイズの画素群の画素値との畳み込み演算を行うことにより、画素P(i,j)に対応する左目用の画素PRを算出する(ステップS20)。
続いて、2D画像の全画素に対する処理が終了したか否かを判別し(ステップS22)、終了していない場合(「No」の場合)には、画素P(i,j)の位置(i,j)を更新し(ステップS24)、ステップS12に遷移させる。
一方、2D画像の全画素に対する処理が終了した場合(「Yes」の場合)には、2D画像から左目画像と右目画像を生成する本処理が終了する。
このようして生成された左目画像及び右目画像は、単眼3D撮像装置で撮像された単眼3D画像と同様の画像になる。
上記のようにして生成された単眼3D画像は、3D画像として鑑賞することができるとともに、以下の利点(1),(2)がある。
(1) 適宜の第1、第2のデジタルフィルタ群を準備することにより、例えばフルサイズ相当・APS相当など、ぼかす程度・視差が所望のイメージセンサ相当であるように調整が可能である。
(2) 単眼3D用の画像を3Dテレビに映した状態で専用眼鏡をかけていない人が見ても二重像が殆ど発生せず、2D画像として鑑賞可能である。
[視差マップの他の実施形態]
視差マップは、2D画像の撮影時に実測された距離データに基づいて作成する場合に限らず、予め定義した簡易版の視差マップを適用してもよい。
視差マップは、2D画像の撮影時に実測された距離データに基づいて作成する場合に限らず、予め定義した簡易版の視差マップを適用してもよい。
例えば、視差を付与する画像の下方ほど飛び出す方向の視差が大きくなる視差を定義し、上方ほど奥行き方向の視差が大きくなる視差を定義した視差マップを適用することができる。
このとき、重力センサやジャイロなどの情報を用いてカメラの現時点の姿勢(撮影した画像の天地方向)を把握し、図15(a)〜(c)に示すように画像の天地方向に応じた視差マップを適用することが必要となる。
[視差マップの更に他の実施形態]
昨今、ミニチュアライクな2D写真を撮影する技法が知られている。この技法は、カメラのあおりをずらして画面上部と下部を故意にぼかすというものであるが、この方法のアウトプットは2D画像である。
昨今、ミニチュアライクな2D写真を撮影する技法が知られている。この技法は、カメラのあおりをずらして画面上部と下部を故意にぼかすというものであるが、この方法のアウトプットは2D画像である。
ミニチュアライクな3D写真を撮影する場合、図16に示す視差マップのように、遠い箇所と近い箇所(画面上部と下部)の視差を非常に大きくし、中央箇所の視差を小さくした視差マップを定義する。この視差マップ112により画面上部と下部を故意に大きくぼかすことができ、ミニチュアライク写真を生成することができ、また、視差も加わるため、2Dは勿論、3Dでも鑑賞可能なミニチュアライク写真を生成することができる。
撮像装置10の他の実施形態である携帯端末装置としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
<スマートフォンの構成>
図17は、撮像装置10の他の実施形態であるスマートフォン500の外観を示すものである。図17に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、筐体502は、スピーカ531と、マイクロホン532、操作部540と、カメラ部541とを備えている。なお、筐体502の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図17は、撮像装置10の他の実施形態であるスマートフォン500の外観を示すものである。図17に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、筐体502は、スピーカ531と、マイクロホン532、操作部540と、カメラ部541とを備えている。なお、筐体502の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図18は、図17に示すスマートフォン500の構成を示すブロック図である。図18に示すように、スマートフォンの主たる構成要素として、無線通信部510と、表示入力部520と、通話部530と、操作部540と、カメラ部541と、記憶部550と、外部入出力部560と、GPS(Global Positioning System)受信部570と、モーションセンサ部580と、電源部590と、主制御部501とを備える。また、スマートフォン500の主たる機能として、基地局装置BSと移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部510は、主制御部501の指示にしたがって、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部520は、主制御部501の制御により、画像(静止画像および動画像)や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル521と、操作パネル522とを備える。生成された3D画像を鑑賞する場合には、表示パネル521は、3D表示パネルであることが好ましい。
表示パネル521は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル522は、表示パネル521の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部501に出力する。次いで、主制御部501は、受信した検出信号に基づいて、表示パネル521上の操作位置(座標)を検出する。
図17に示すように、スマートフォン500の表示パネル521と操作パネル522とは一体となって表示入力部520を構成しているが、操作パネル522が表示パネル521を完全に覆うような配置となっている。この配置を採用した場合、操作パネル522は、表示パネル521外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル522は、表示パネル521に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル521に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
尚、表示領域の大きさと表示パネル521の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル522が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体502の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル522で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部530は、スピーカ531やマイクロホン532を備え、マイクロホン532を通じて入力されたユーザの音声を主制御部501にて処理可能な音声データに変換して主制御部501に出力したり、無線通信部510あるいは外部入出力部560により受信された音声データを復号してスピーカ531から出力するものである。また、図17に示すように、例えば、スピーカ531を表示入力部520が設けられた面と同じ面に搭載し、マイクロホン532を筐体502の側面に搭載することができる。
操作部540は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図18に示すように、操作部540は、スマートフォン1の筐体502の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部550は、主制御部501の制御プログラムや制御データ、本発明に係る左目画像及び右目画像を生成するための画像処理プログラムを含むアプリケーションソフトウェア、立体視画像を生成するために使用する第1及び第2のデジタルフィルタ群、視差マップ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部550は、スマートフォン内蔵の内部記憶部551と着脱自在な外部メモリスロットを有する外部記憶部552により構成される。なお、記憶部550を構成するそれぞれの内部記憶部551と外部記憶部552は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、Micro SD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部560は、スマートフォン500に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth(登録商標))、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン500に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン500の内部の各構成要素に伝達することや、スマートフォン500の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部570は、主制御部501の指示にしたがって、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン500の緯度、経度、高度からなる位置を検出する。GPS受信部570は、無線通信部510や外部入出力部560(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部580は、例えば、3軸の加速度センサなどを備え、主制御部501の指示にしたがって、スマートフォン500の物理的な動きを検出する。スマートフォン500の物理的な動きを検出することにより、スマートフォン500の動く方向や加速度が検出される。この検出結果は、主制御部501に出力されるものである。
電源部590は、主制御部501の指示にしたがって、スマートフォン500の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部501は、マイクロプロセッサを備え、記憶部550が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン500の各部を統括して制御するものである。また、主制御部501は、無線通信部510を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部550が記憶するアプリケーションソフトウェアにしたがって主制御部501が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部560を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能、本発明に係る2D画像から3D画像を生成する機能などがある。
また、主制御部501は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部520に表示する等の画像処理機能を備える。画像処理機能とは、主制御部501が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部520に表示する機能のことをいう。
更に、主制御部501は、表示パネル521に対する表示制御と、操作部540、操作パネル522を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部501は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル521の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部501は、操作部540を通じたユーザ操作を検出したり、操作パネル522を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部501は、操作パネル522に対する操作位置が、表示パネル521に重なる重畳部分(表示領域)か、それ以外の表示パネル521に重ならない外縁部分(非表示領域)かを判定し、操作パネル522の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部501は、操作パネル522に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部541は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部541は、主制御部501の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部550に記録したり、外部入出力部560や無線通信部510を通じて出力することができる。図17に示すにスマートフォン500において、カメラ部541は表示入力部520と同じ面に搭載されているが、カメラ部541の搭載位置はこれに限らず、表示入力部520の背面に搭載されてもよいし、あるいは、複数のカメラ部541が搭載されてもよい。なお、複数のカメラ部541が搭載されている場合には、撮影に供するカメラ部541を切り替えて単独にて撮影したり、あるいは、複数のカメラ部541を同時に使用して撮影することもできる。
また、カメラ部541はスマートフォン500の各種機能に利用することができる。例えば、表示パネル521にカメラ部541で取得した画像を表示することや、操作パネル522の操作入力のひとつとして、カメラ部541の画像を利用することができる。また、GPS受信部570が位置を検出する際に、カメラ部541からの画像を参照して位置を検出することもできる。更には、カメラ部541からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン500のカメラ部541の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部541からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにGPS受信部570により取得した位置情報、マイクロホン532により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部580により取得した姿勢情報等などを付加して記憶部550に記録したり、外部入出力部560や無線通信部510を通じて出力することもできる。
[その他]
本発明は、2Dの静止画から3Dの静止画を作成する場合に限らず、2Dの動画から3Dの動画を生成する場合にも適用できる。
本発明は、2Dの静止画から3Dの静止画を作成する場合に限らず、2Dの動画から3Dの動画を生成する場合にも適用できる。
また、この実施形態では、予め視差毎(符号を含む)に半月フィルタを作成記憶するようにしたが、これに限らず、一方の視差方向のみ視差毎に左右の半月フィルタを作成記憶させるようにしてもよい。この場合、他方の視差方向の視差を付与する場合には、左右の半月フィルタを逆にして適用する。
更に、左右の半月フィルタは、左右対称性を有するため、半月フィルタとしては、左右の半月フィルタのうちのいずれか一方のみを記憶しておき、他方の半月フィルタは、左右反転したものを適用してもよい。
また、視差情報を取得するための距離情報取得手段としては、撮影画像の複数の領域ごとにコントラストAFを行うものに限らず、例えば、赤外線を照射したときの反射までの時間差から距離を概算する赤外線センサを使用するものが考えられる。
更に、視差情報を取得するための視差検出手段としては、撮像面の複数の領域に位相差センサを備えた位相差撮像素子を使用し、位相ずれから視差を検出するもの、2つの撮像手段を備えた複眼カメラを使用し、撮像された2つの画像のステレオマッチングにより視差を検出するものが考えられる。
また、2D画像から主要被写体として人物を認識したり、公知のオブジェクト認識技術を使用することで、2D画像から地面、背景、建物などの物体を認識し、これらの認識結果に基づいてオブジェクトに対応する視差を付与した視差マップを作成してもよい。この場合、主要被写体の視差はゼロにし、ぼかし処理が行われないようにすることが好ましい。
更に、撮像装置10、スマートフォン500は、2D画像を撮影するとともに、実際に撮影した2D画像から3D画像を生成する本発明に係る画像処理装置を含んでいるが、これに限らず、視差の付与及びぼかし処理を行う2D画像は、外部機器や通信により取得し、取得した2D画像から3D画像を生成する、画像処理装置(例えば、パソコン、タブレットPC等)にも本発明は適用できる。
尚、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10…撮像装置、12…撮影レンズ、24…デジタル信号処理部、40…中央処理装置(CPU)、42…AF処理部、47…ROM(EEPROM)、48…メモリ、100…2D画像、110…視差マップ、120…左目画像、130…右目画像、200…通常の撮像素子、210…単眼3D用の撮像素子、500…スマートフォン
Claims (14)
- 画像を取得する画像取得手段と、
前記取得した画像の画素毎に、該画素に対して付与する視差情報を取得する視差情報取得手段と、
前記取得した画像に視差を付与するための、互いに左右対称性を有する第1のデジタルフィルタ群及び第2のデジタルフィルタ群であって、付与する視差の大きさに応じてフィルタサイズが異なる第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、前記視差情報取得手段により取得した画素毎の視差情報とに基づいて、前記取得した画像の画素毎の視差情報に対応する第1のデジタルフィルタ及び第2のデジタルフィルタによるフィルタ処理を行うことにより、前記取得した画像の画素毎に視差が付与された第1の画素及び第2の画素を算出する算出手段と、
を備え、
前記第1及び第2のデジタルフィルタ群は、画像の中心部と周辺部とで左右対称性が異なる画像処理装置。 - 画像を取得する画像取得手段と、
前記取得した画像の画素毎に、該画素に対して付与する視差情報を取得する視差情報取得手段と、
前記取得した画像に視差を付与するための、互いに左右対称性を有する第1のデジタルフィルタ群及び第2のデジタルフィルタ群であって、付与する視差の大きさに応じてフィルタサイズが異なる第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、前記視差情報取得手段により取得した画素毎の視差情報とに基づいて、前記取得した画像の画素毎の視差情報に対応する第1のデジタルフィルタ及び第2のデジタルフィルタによるフィルタ処理を行うことにより、前記取得した画像の画素毎に視差が付与された第1の画素及び第2の画素を算出する算出手段と、
を備え、
前記第1のデジタルフィルタ群及び第2のデジタルフィルタ群は、単一の撮影光学系を通過した光束を瞳分割してそれぞれ受光する第1の画素群及び第2の画素群から構成された単一の撮像素子の、入射角度に応じた感度特性に基づいて計算されるものである画像処理装置。 - 画像を取得する画像取得手段と、
前記取得した画像の画素毎に、該画素に対して付与する視差情報を取得する視差情報取得手段と、
前記取得した画像に視差を付与するための、互いに左右対称性を有する第1のデジタルフィルタ群及び第2のデジタルフィルタ群であって、付与する視差の大きさに応じてフィルタサイズが異なる第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、前記視差情報取得手段により取得した画素毎の視差情報とに基づいて、前記取得した画像の画素毎の視差情報に対応する第1のデジタルフィルタ及び第2のデジタルフィルタによるフィルタ処理を行うことにより、前記取得した画像の画素毎に視差が付与された第1の画素及び第2の画素を算出する算出手段と、
を備え、
前記第1のデジタルフィルタ群及び第2のデジタルフィルタ群は、前記算出手段によるフィルタ処理後の視差が付与された第1の画像と第2の画像とを加算した画像が、二重像にならないフィルタ係数を有する画像処理装置。 - 前記取得した画像に付与する視差を示す視差マップを取得する視差マップ取得手段を備え、
前記視差情報取得手段は、前記取得した画像の画素毎に、該画素の位置に対応する視差情報を前記視差マップから取得する請求項1から3のいずれか1項に記載の画像処理装置。 - 予め画像上の位置に応じて定義された視差マップを記憶する視差マップ記憶手段を備え、
前記視差マップ取得手段は、前記視差マップ記憶手段から視差マップを取得する請求項4に記載の画像処理装置。 - 前記視差を付与する画像の天地方向を示す情報を取得する手段を備え、
前記視差マップ取得手段は、前記視差マップ記憶手段から視差マップを取得する際に、前記取得した画像の天地方向を示す情報に基づいて対応する視差マップを取得する請求項5に記載の画像処理装置。 - 前記第1のデジタルフィルタ群及び第2のデジタルフィルタ群は、それぞれ正規化されたフィルタ係数を有するものである請求項1から6のいずれか1項に記載の画像処理装置。
- 撮影光学系と該撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、
前記撮像手段から出力される画像を取得する前記画像取得手段と、
請求項1から7のいずれか1項に記載の画像処理装置と、
を備えた撮像装置。 - 前記撮像手段による画像の撮像時に撮像した画像の複数の領域毎又は画素毎に距離情報を取得する距離情取得手段を備え、
前記視差情報取得手段は、前記取得した距離情報に基づいて前記撮像した画像の視差情報を取得する請求項8に記載の撮像装置。 - 前記撮像手段により撮像した画像の複数の領域毎又は画素毎に位相差を検出する位相差検出手段を有し、
前記視差情報取得手段は、前記位相差検出手段により検出された位相差に基づいて前記撮像した画像の視差情報を取得する請求項8に記載の撮像装置。 - 前記撮像手段とは異なる撮影光学系及び撮像素子からなる他の撮像手段を更に備え、
前記視差情報取得手段は、前記2つの撮像手段により撮像された2つの画像に基づいて前記撮像した画像の視差情報を取得する請求項8に記載の撮像装置。 - 画像を取得する画像取得工程と、
前記取得した画像の画素毎に、該画素に対して付与する視差情報を取得する視差情報取得工程と、
前記取得した画像に視差を付与するための、画像に視差を付与するための、互いに左右対称性を有する第1のデジタルフィルタ群及び第2のデジタルフィルタ群であって、少なくとも付与する視差の大きさに応じてフィルタサイズが大きくなる第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、前記視差情報取得工程により取得した画素毎の視差情報とに基づいて、前記取得した画像の画素毎の視差情報に対応する第1のデジタルフィルタ及び第2のデジタルフィルタによるフィルタ処理を行うことにより、前記取得した画像の画素毎に視差が付与された第1の画素及び第2の画素を算出する算出工程と、
を含み、
前記第1及び第2のデジタルフィルタ群は、画像の中心部と周辺部とで左右対称性が異なる画像処理方法。 - 画像を取得する画像取得工程と、
前記取得した画像の画素毎に、該画素に対して付与する視差情報を取得する視差情報取得工程と、
前記取得した画像に視差を付与するための、画像に視差を付与するための、互いに左右対称性を有する第1のデジタルフィルタ群及び第2のデジタルフィルタ群であって、少なくとも付与する視差の大きさに応じてフィルタサイズが大きくなる第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、前記視差情報取得工程により取得した画素毎の視差情報とに基づいて、前記取得した画像の画素毎の視差情報に対応する第1のデジタルフィルタ及び第2のデジタルフィルタによるフィルタ処理を行うことにより、前記取得した画像の画素毎に視差が付与された第1の画素及び第2の画素を算出する算出工程と、
を含み、
前記第1のデジタルフィルタ群及び第2のデジタルフィルタ群は、単一の撮影光学系を通過した光束を瞳分割してそれぞれ受光する第1の画素群及び第2の画素群から構成された単一の撮像素子の、入射角度に応じた感度特性に基づいて計算されるものである画像処理方法。 - 画像を取得する画像取得工程と、
前記取得した画像の画素毎に、該画素に対して付与する視差情報を取得する視差情報取得工程と、
前記取得した画像に視差を付与するための、画像に視差を付与するための、互いに左右対称性を有する第1のデジタルフィルタ群及び第2のデジタルフィルタ群であって、少なくとも付与する視差の大きさに応じてフィルタサイズが大きくなる第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、前記視差情報取得工程により取得した画素毎の視差情報とに基づいて、前記取得した画像の画素毎の視差情報に対応する第1のデジタルフィルタ及び第2のデジタルフィルタによるフィルタ処理を行うことにより、前記取得した画像の画素毎に視差が付与された第1の画素及び第2の画素を算出する算出工程と、
を含み、
前記第1のデジタルフィルタ群及び第2のデジタルフィルタ群は、前記フィルタ処理後の視差が付与された第1の画像と第2の画像とを加算した画像が、二重像にならないフィルタ係数を有する画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012073833 | 2012-03-28 | ||
JP2012073833 | 2012-03-28 | ||
PCT/JP2013/055152 WO2013146041A1 (ja) | 2012-03-28 | 2013-02-27 | 画像処理装置及び方法並びに撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013146041A1 JPWO2013146041A1 (ja) | 2015-12-10 |
JP5923595B2 true JP5923595B2 (ja) | 2016-05-24 |
Family
ID=49259316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014507564A Expired - Fee Related JP5923595B2 (ja) | 2012-03-28 | 2013-02-27 | 画像処理装置及び方法並びに撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9596455B2 (ja) |
JP (1) | JP5923595B2 (ja) |
CN (1) | CN104205825B (ja) |
WO (1) | WO2013146041A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3035204B1 (en) * | 2014-12-19 | 2018-08-15 | Intel Corporation | Storage device and method for performing convolution operations |
JP2016225811A (ja) * | 2015-05-29 | 2016-12-28 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
US11302021B2 (en) * | 2016-10-24 | 2022-04-12 | Sony Corporation | Information processing apparatus and information processing method |
JP6811106B2 (ja) | 2017-01-25 | 2021-01-13 | 矢崎総業株式会社 | ヘッドアップディスプレイ装置および表示制御方法 |
CN107222734A (zh) * | 2017-06-30 | 2017-09-29 | 联想(北京)有限公司 | 一种图像采集装置及电子设备 |
CN109540918B (zh) * | 2018-11-28 | 2021-04-16 | 鞍钢集团自动化有限公司 | 一种热轧卷边部缺陷检测装置及方法 |
CN114322659B (zh) * | 2021-12-31 | 2024-03-26 | 吉林市江机民科实业有限公司 | 一种白光瞄准镜分划投影显示方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3112485B2 (ja) * | 1991-01-22 | 2000-11-27 | オリンパス光学工業株式会社 | 立体電子スチルカメラ |
JP3086577B2 (ja) | 1993-12-22 | 2000-09-11 | 三洋電機株式会社 | 2次元画像の3次元化方法 |
JPH10155110A (ja) * | 1996-11-22 | 1998-06-09 | Canon Inc | 撮像方法及び装置並びに記憶媒体 |
JP4729812B2 (ja) * | 2001-06-27 | 2011-07-20 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4214529B2 (ja) * | 2004-12-28 | 2009-01-28 | 日本ビクター株式会社 | 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム |
JP2006191314A (ja) * | 2005-01-05 | 2006-07-20 | Fuji Photo Film Co Ltd | 撮像装置及び画像出力装置 |
JP2006350642A (ja) * | 2005-06-15 | 2006-12-28 | Casio Comput Co Ltd | 画像処理装置、及びプログラム |
US8330801B2 (en) | 2006-12-22 | 2012-12-11 | Qualcomm Incorporated | Complexity-adaptive 2D-to-3D video sequence conversion |
JP4626684B2 (ja) * | 2008-07-31 | 2011-02-09 | 富士フイルム株式会社 | 複眼撮像装置及び像ブレ補正方法 |
US8514491B2 (en) * | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
JP5493789B2 (ja) | 2009-12-07 | 2014-05-14 | 株式会社リコー | 撮像装置および撮像方法 |
US9036004B2 (en) * | 2010-01-05 | 2015-05-19 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional image capture device |
JP2011164202A (ja) | 2010-02-05 | 2011-08-25 | Sony Corp | 画像表示装置、画像表示システム及び画像表示方法 |
JP5368350B2 (ja) | 2010-03-18 | 2013-12-18 | 富士フイルム株式会社 | 立体撮像装置 |
JP5180407B2 (ja) * | 2010-03-24 | 2013-04-10 | 富士フイルム株式会社 | 立体撮像装置および視差画像復元方法 |
JP2011259211A (ja) * | 2010-06-09 | 2011-12-22 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
-
2013
- 2013-02-27 CN CN201380017114.0A patent/CN104205825B/zh not_active Expired - Fee Related
- 2013-02-27 WO PCT/JP2013/055152 patent/WO2013146041A1/ja active Application Filing
- 2013-02-27 JP JP2014507564A patent/JP5923595B2/ja not_active Expired - Fee Related
-
2014
- 2014-09-23 US US14/493,879 patent/US9596455B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN104205825B (zh) | 2016-08-17 |
US9596455B2 (en) | 2017-03-14 |
JPWO2013146041A1 (ja) | 2015-12-10 |
WO2013146041A1 (ja) | 2013-10-03 |
CN104205825A (zh) | 2014-12-10 |
US20150009294A1 (en) | 2015-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5931206B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
JP5655174B2 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
JP5923595B2 (ja) | 画像処理装置及び方法並びに撮像装置 | |
JP5740045B2 (ja) | 画像処理装置及び方法並びに撮像装置 | |
JP5901781B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5960286B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5901782B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5889441B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
US9288472B2 (en) | Image processing device and method, and image capturing device | |
JP5926391B2 (ja) | 撮像装置及び合焦確認表示方法 | |
JPWO2013183406A1 (ja) | 撮像装置及び画像表示方法 | |
JP5993937B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP5833254B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP6000446B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5547356B2 (ja) | 撮影装置、方法、記憶媒体及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160418 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5923595 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |