JP4999763B2 - 撮像装置、撮像方法、プログラム、記録媒体、および集積回路 - Google Patents
撮像装置、撮像方法、プログラム、記録媒体、および集積回路 Download PDFInfo
- Publication number
- JP4999763B2 JP4999763B2 JP2008103043A JP2008103043A JP4999763B2 JP 4999763 B2 JP4999763 B2 JP 4999763B2 JP 2008103043 A JP2008103043 A JP 2008103043A JP 2008103043 A JP2008103043 A JP 2008103043A JP 4999763 B2 JP4999763 B2 JP 4999763B2
- Authority
- JP
- Japan
- Prior art keywords
- illumination light
- image
- reflectance
- unit
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 173
- 238000005286 illumination Methods 0.000 claims description 176
- 238000012545 processing Methods 0.000 claims description 169
- 238000000034 method Methods 0.000 claims description 78
- 230000008569 process Effects 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 33
- 230000002093 peripheral effect Effects 0.000 claims description 33
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000035807 sensation Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 35
- 238000003860 storage Methods 0.000 description 28
- 238000012937 correction Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 239000008186 active pharmaceutical agent Substances 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 7
- 230000005855 radiation Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 101001056108 Xenopus laevis Protein max Proteins 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000020169 heat generation Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010037660 Pyrexia Diseases 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 101150013335 img1 gene Proteins 0.000 description 1
- 101150071665 img2 gene Proteins 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/03—Combinations of cameras with lighting apparatus; Flash units
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
Description
ラの設置位置)との3次元空間内での距離)を、照明を用いて推定する撮像装置、撮像方
法、プログラム、記録媒体、および集積回路に関する。
界深度を浅くして背景をぼかすなど、距離感を活かした写真表現が普及してきている。し
かしながら、コンパクトディジタルカメラやビデオカメラなどではレンズの大きさの制約
などにより、距離感を活かした写真表現が十分にできていない。そのため、距離を簡単に
測定できる技術があれば、測定された距離に基づいてレンズによるぼけ感をエミュレート
することにより、コンパクトディジタルカメラやビデオカメラなどでも一眼レフ並みのぼ
け感を作り出すことなどが可能となる。
にも、距離情報を用いることで、さまざまな応用技術(アプリケーション)を実現するこ
とができる。
従来、距離を測定する技術として、複数のカメラを用いて距離を推定する技術(ステレ
オカメラ方式)がよく知られている。被写体を2台のカメラで撮影し、撮影された2枚の
画像における、被写体の各点のずれ(視差)から、3点測距の原理で距離を算出するもの
である。
る程度離れた間隔で設置する必要があるため、コンパクトカメラにステレオカメラ方式を
適用するのは現実的ではない。
また、距離を測定する技術として、TOF(Time Of Flight)方式も良
く知られている。これは、赤外線などの光を撮像装置から被写体に照射し、その光が戻っ
てくるまでの時間を計測して、撮像装置から撮像画像上の各画素に対応する被写体までの
距離(撮像装置と被写体との3次元空間内の距離)を測定するものである。
、光波測距方式を用いた装置は比較的大規模になるため、同様に、小型・軽量を売りにす
るコンパクトカメラに、TOF方式を適用することも、現実的ではない。
そこで、ほぼ全てのカメラ(撮像装置)に付属しているフラッシュ光発光装置を用いて
、被写体までの距離を推定する技術がある(例えば、特許文献1参照)。
離減衰特性を用いて、撮影された画像の各画素の被写体までの距離を推定する。フラッシ
ュ発光有無の2枚の撮像画像の差分からフラッシュ光のみの画像(距離の2乗に反比例し
て減衰)を算出し、これを撮像画像上の被写体の各画素の反射率推定値で除算して、被写
体距離推定値を得る。ただし、反射率推定値は、フラッシュ光無しの撮像画像に対して、
画素値0の部分を画素値1で置き換えた画像の画素値である。(ゼロ除算回避のみ)
ままを被写体反射率とみなしており、撮像画像内の照度ムラ(空間的な照度のバラツキ、
詳細下記)、すなわち、撮像画像上の各画素位置に対応する3次元空間内での実際の被写
体の照度の違いが考慮されていない。撮影画像内の全空間位置で照度が均一であれば、撮
影画像の各画素値(=照度×反射率)は反射率に比例した値となるが、通常、各空間位置
で照度は異なり(照度ムラがあり)、その分だけ画素値も変化している。すなわち、フラ
ッシュ光無しの撮像画像の画素値は、反射率とは等しくない。よって、上記従来の撮像装
置では、被写体の反射率推定値の精度が低かったため、推定された被写体距離の精度が低
かった。
り、各画素位置(撮像画像上の各画素位置に対応する被写体の3次元空間内の位置)にお
いて照度が異なる状態であることをいう。例えば、図11(a)に示すように、照明LS
(照明LSからの照明光は距離に比例して減衰するものとする。)、物体A、および物体
B(撮像装置から物体Aおよび物体Bまでの距離は等しいものとする。)を撮影した撮像
画像IMG1の場合、つまり、物体Aと照明LSとの距離は短く、照明LSからの光が強
く照射されるが、物体Bと照明LSとの距離は長いので、照明LSからの光が減衰し、物
体Bには、物体Aほど強く照明LSからの光が照射されない場合、物体AおよびBの輝度
を、それぞれYaおよびYbとすると、Ya≧Ybとなる状態となるが、この状態が「照
度ムラがある」状態である。さらに、図11(b)に示すように、照明LS、物体A、遮
蔽物S、および物体B(撮像装置から物体Aおよび物体Bまでの距離は等しいものとする
。)を撮影した撮像画像IMG2の場合、つまり、物体Aには照明LSからの光が強く照
射されるが、物体Bには遮蔽物Sで照明LSからの光が遮蔽されるため(遮蔽物Sの影が
発生するため)、照明LSからの光がほとんど照射されない場合、この場合の物体Bの輝
度をYb’とすると、Ya≧Yb≧Yb’となり、撮像画像上において物体Bはさらに暗
い状態となる。この状態も「照度ムラがある」状態である。
ため、高精度に反射率推定を行うためには照度ムラ除去(照度の均一化)が必須である。
本発明では、画像内の全空間位置での照度が均一であれば画像データは反射率に比例し
た値になることに着眼し、前記画像の各画素に対して、その周辺平均輝度により異なる入
出力特性を有する変換により、撮影画像の照度ムラを除去して全空間位置での照度を均一
化した画像を生成してその画素値を被写体反射率とすることで、高精度に被写体反射率を
推定することにより、各画素に対応する被写体と撮像装置との3次元空間内での距離を高
精度に推定することができる撮像装置、撮像方法、プログラム、記録媒体、および集積回
路を提供することを目的とする。
情報推定部と、を備える撮像装置である。照明発光部は、被写体に照明光を照射する。撮
像部は、照明発光部の条件を変えて撮影することで、複数枚の画像を取得する。照明光成
分取得部は、複数枚の画像から照明光成分のみの画像を取得する。反射率推定部は、複数
枚の画像および照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去して
、各画素に対応する被写体の反射率を推定する。距離情報推定部は、照明光成分のみの画
像と被写体の反射率から各画素に対応する被写体までの距離情報を推定する。
)は反射率に比例した値となるが、通常、各空間位置で照度は異なり(照度ムラがあり)
、その分だけ画素値も変化しているため、高精度に反射率推定を行うためには照度ムラ除
去(照度の均一化)が必須であり、この撮像装置では、反射率推定部により、複数枚の画
像および照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去して、各画
素に対応する被写体の反射率が推定されるので、高精度に被写体の反射率を推定すること
ができる。そして、この撮像装置では、この高精度に推定された被写体の反射率により、
各画素に対応する被写体と撮像装置との3次元空間内での距離を推定するので、高精度の
距離情報を取得することができる。
情報推定部と、を備える撮像装置である。照明発光部は、被写体に照明光を照射する。撮
像部は、照明発光部の発光状態を所定の時間内に切り替え、照明光無しの状態で第1画像
信号を取得し、照明光有りの状態で第2画像信号を取得する。照明光成分取得部は、第2
画像信号から、第1画像信号成分を除去することで照明光成分のみの画像信号を取得する
。反射率推定部は、第1画像信号、第2画像信号、または、照明光成分のみの画像信号に
対して、各画素の輝度Kiをその周辺平均輝度AKiに応じて異なる入出力特性により変
換し、照度ムラを除去して、各画素に対応する被写体の反射率を推定することで反射率デ
ータ信号を取得する。距離情報推定部は、前記照明光成分のみの画像信号から反射率デー
タ信号成分を除去して、各画素に対応する被写体までの距離情報を推定することで距離情
報データ信号を取得する。
的になだらかに変化するものであるから、この撮像装置では、照度は周辺平均輝度とほぼ
同一であるとみなし、周辺平均輝度を均一化する変換を行うことで、照度が均一化された
状況に相当する画像を生成する。照度が画像内の全空間位置で同一であれば、画像データ
は反射率に比例したものとなる。これにより、入力画像のから照度ムラを除去することで
、本来分離不可能である反射率を分離・算出することが可能となる。
対応する被写体と撮像装置との3次元空間内での距離を推定するので、高精度の距離情報
を取得することができる。
また、ここで、照明光成分取得部における「第1画像信号成分を除去」は、例えば、第
2画像信号から第1画像信号成分を減算することで行われる。ただし、第1・第2画像信
号を撮像部にて取得した際の露出設定が違う場合には、第1・第2画像信号に対して露出
あわせのためのゲイン調整を行ってから減算する必要があり、この概念も含まれる。
してもよく、あるいは、減算結果データ信号から照度ムラを除去して反射率を推定するよ
うにしてもよい。
また、「周辺平均輝度」とは、処理対象である着目画素を中心とした、例えば400x
240程度(画像サイズ1920x1080の場合)の領域の輝度平均値の概念であり、
領域とは、矩形領域・円形領域・楕円形領域などであり、また、輝度平均値とは、単純平
均値・加重平均値などを含む。
分のみの画像信号を反射率データ信号で除算することで行われる。
また、「画素に対応する被写体までの距離情報」とは、撮像装置と画素に対応する被写
体との3次元空間内での距離についての情報であり、距離そのものを示す情報であっても
よく、また、距離を算出することができる物理量を示す情報(例えば、距離に比例定数を
乗算した値)であってもよい。
iとが等しい場合、輝度Kiを一定範囲内の輝度に変換する。
これにより、輝度変化のない(少ない)画像領域に含まれる画素の輝度が、一定範囲内
の輝度に変換されるため、照度ムラが効率良く除去される。
りうる範囲を範囲Rangeとし、範囲Rangeの中心値を中心値KoCentとする
ものであり、輝度Kiと、周辺平均輝度AKiとが等しい場合、輝度Kiを、(中心値K
oCent)−(範囲Range)×0.3から(中心値KoCent)+(範囲Ran
ge)×0.3の範囲内の輝度に変換する。
これにより、輝度変化のない(少ない)画像領域に含まれる画素の輝度が、変換後の輝
度のとり得る範囲(変換後の輝度のダイナミックレンジ)内の中心値から±30%(変換
後輝度のダイナミックレンジの±30%)の範囲内の輝度に変換されるため、照度ムラが
効率良く除去される。
iで除算することで、照度ムラを除去して、反射率データ信号を取得する。
これにより、簡単な処理で、効率的に、照度ムラを除去することができるので、精度の
高い反射率データ信号を取得することができる。
信号から、反射率データ信号を取得する。
これにより、詳細は後述するが、物体表面における拡散反射による精度低下の影響が除
去される。また、照明光に赤外光を用いた場合は、可視光・赤外の帯域での反射率違いに
よる精度低下がない。さらに、赤外光に遠赤外を用いた場合には、被写体の温度による赤
外放射の影響を打ち消すことができる。これらにより、精度の高い反射率データ信号を取
得することができる。
いる。
この撮像装置では、照明光としてフラッシュ光を用いるので、多くの撮像装置(カメラ
等)に既設のフラッシュ発光装置等による照明光を利用することができる。したがって、
この撮像装置は、フラッシュ光発光装置付きの、レンズの小さいコンパクトカメラやビデ
オカメラ等においても簡単に実現することができる。
この撮像装置では、照明光のとして赤外光を用いるので、被写体に照明光が見えないた
め、フラッシュ光が必要ない撮影シーンにおいて、被写体に不快感を与えることがない。
また、距離情報を動画で撮影する場合には、フラッシュ光が点滅すると被写体に不快感を
与えるが、赤外光では被写体に不快感を与えることなく距離情報を動画で取得することが
できる。
数B(x)(x:距離)の逆関数B−1(x)を用いて、画素ごとに、距離情報データ信
号を、画素に対応する被写体までの距離に変換する逆関数処理部をさらに備える。
これにより、精度良く距離情報データ信号を取得することができる。
一般に、照明光は、距離に対して減衰する特性(距離の2乗に反比例して減衰)を有し
ており、この照明光の距離に対する減衰特性は測定により簡単に取得することができる。
照明光の距離に対する減衰特性を特定することができると、その特性を示す関数B(x)
およびB(x)の逆関数B−1(x)も特定することができる。
したがって、この撮像装置において、逆関数B−1(x)を用いて、画素ごとに距離情
報を求めることで、精度良く距離情報データ信号を取得することができる。
いて、画像信号に対して奥行き感を強調する奥行き感強調処理を行う距離関連信号処理部
をさらに備える。
これにより、精度の高い距離情報データ信号を用いて、精度の高い奥行き感強調処理を
実現させることができる。
づいて、画像信号に対して背景をぼかす処理を行う距離関連信号処理部をさらに備える。
これにより、精度の高い距離情報データ信号を用いて、精度の高い画像信号に対して背
景をぼかす処理を実現させることができる。
づいて、画像において照明が十分に届いていない画像領域を検出し、画像領域に含まれる
画素の輝度を高くする処理を行う距離関連信号処理部をさらに備える。
これにより、精度の高い距離情報データ信号を用いて、精度よく、画像において照明が
届いていない画像領域を検出し、画像領域に含まれる画素の輝度を高くする処理を実現さ
せることができる。
撮影することで、複数枚の画像を取得する撮像部と、を備える撮像装置に用いられる撮像
方法であって、照明光成分取得ステップと、反射率推定ステップと、距離情報推定ステッ
プと、を備える。照明光成分取得ステップでは、複数枚の画像から照明光成分のみの画像
を取得する。反射率推定ステップでは、複数枚の画像および照明光成分のみの画像のうち
、いずれかの画像から、照度ムラを除去して、各画素に対応する被写体の反射率を推定す
る。距離情報推定ステップでは、照明光成分のみの画像と被写体の反射率から各画素に対
応する被写体までの距離情報を推定する。
これにより、被写体に照明光を照射する照明発光部と、照明発光部の条件を変えて撮影
することで、複数枚の画像を取得する撮像部と、備える撮像装置に用いられることで、第
1の発明と同様の効果を奏する撮像方法を実現することができる。
撮影することで、複数枚の画像を取得する撮像部と、を備える撮像装置に用いられるプロ
グラムであって、コンピュータを、照明光成分取得部、反射率推定部、距離情報推定部、
として機能させるためのプログラムである。照明光成分取得部では、複数枚の画像から照
明光成分のみの画像を取得する。反射率推定部では、複数枚の画像および照明光成分のみ
の画像のうち、いずれかの画像から、照度ムラを除去して、各画素に対応する被写体の反
射率を推定する。距離情報推定部では、照明光成分のみの画像と被写体の反射率から各画
素に対応する被写体までの距離情報を推定する。
これにより、被写体に照明光を照射する照明発光部と、照明発光部の条件を変えて撮影
することで、複数枚の画像を取得する撮像部と、備える撮像装置に用いられることで、第
1の発明と同様の効果を奏するプログラムを実現することができる。
撮影することで、複数枚の画像を取得する撮像部と、を備える撮像装置に用いられるプロ
グラムを記録したコンピュータにより読み取り可能な記録媒体であって、コンピュータを
、照明光成分取得部、反射率推定部、距離情報推定部、として機能させるためのプログラ
ムを記録したコンピュータにより読み取り可能な記録媒体である。照明光成分取得部は、
複数枚の画像から照明光成分のみの画像を取得する。反射率推定部は、複数枚の画像およ
び照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去して、各画素に対
応する被写体の反射率を推定する。距離情報推定部は、照明光成分のみの画像と被写体の
反射率から各画素に対応する被写体までの距離情報を推定する。
これにより、被写体に照明光を照射する照明発光部と、照明発光部の条件を変えて撮影
することで、複数枚の画像を取得する撮像部と、を備える撮像装置に用いられることで、
第1の発明と同様の効果を奏するコンピュータにより読み取り可能な記録媒体を実現する
ことができる。
離情報推定部と、を備える集積回路である。照明発光部は、被写体に照明光を照射する。
撮像部は、照明発光部の条件を変えて撮影することで、複数枚の画像を取得する。照明光
成分取得部は、複数枚の画像から照明光成分のみの画像を取得する。反射率推定部は、複
数枚の画像および照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去し
て、各画素に対応する被写体の反射率を推定する。距離情報推定部は、照明光成分のみの
画像と被写体の反射率から各画素に対応する被写体までの距離情報を推定する。
これにより、第1の発明と同様の効果を奏する集積回路を実現することができる。
える撮像装置に用いられる集積回路であって、照明発光部と、照明光成分取得部と、反射
率推定部と、距離情報推定部と、を備える。照明発光部は、被写体に照明光を照射する。
照明光成分取得部は、複数枚の画像から照明光成分のみの画像を取得する。反射率推定部
は、複数枚の画像および照明光成分のみの画像のうち、いずれかの画像から、照度ムラを
除去して、各画素に対応する被写体の反射率を推定する。距離情報推定部は、照明光成分
のみの画像と被写体の反射率から各画素に対応する被写体までの距離情報を推定する。
これにより、照明条件を変えて撮影することで複数枚の画像を取得する撮像部を備える
撮像装置に用いられることで、第1の発明と同様の効果を奏する集積回路を実現すること
ができる。
画素に対応する被写体と撮像装置との3次元空間内での距離を高精度に推定することがで
きる撮像装置、撮像方法、プログラム、記録媒体、および集積回路を提供することができ
る。
さらに、本発明では、多くの撮像装置(カメラ等)に既設のフラッシュ発光装置等によ
る照明光を利用することで、高精度に距離を推定することができる。このため、本発明は
、レンズの小さいコンパクトカメラやビデオカメラ等にも用いることができ、距離に基づ
いた高精度な画像処理を、レンズの小さいコンパクトカメラやビデオカメラ等においても
、簡単に実現させることができる。
[第1実施形態]
<1.1:撮像装置の構成>
まず、第1実施形態に係る撮像装置100について説明する。
図1に、本発明の第1実施形態に係る撮像装置100(例えば、おけるディジタルカメ
ラ)の概略構成図を示す。図2に、信号処理部31および記憶部32の概略構図を示す。
また、図4に、距離推定部312の概略構成図を示す。
と、撮像レンズ11で集光した被写体P1からの光量を調整する絞り12と、被写体P1
からの光を光電変換により画像信号(映像信号)として取得する撮像部(撮像素子)13
と、撮像部13で取得した画像信号に対してアナログ信号処理を行うアナログ信号処理部
2と、アナログ信号処理が施された画像信号に対して、ディジタル信号処理を施すディジ
タル信号処理部3と、被写体P1に対してフラッシュ光を照射するフラッシュ発光部4と
、を備える。
光電変換により画像信号(映像信号)として取得する。そして、撮像部13は、取得した
画像信号をアナログ信号処理部2に出力する。撮像部13としては、CCD型イメージセ
ンサやCMOS型イメージセンサを用いることが好ましい。
アナログ信号処理部2は、撮像部13から出力された画像信号を入力とし、撮像部13
から出力された画像信号に対してアナログ信号処理を施し、アナログ信号処理を施した画
像信号をディジタル画像信号に変換し、ディジタル信号処理部3に出力する。アナログ信
号処理部2は、例えば、カメラフロントエンドと呼ばれるアナログ回路により実現され、
主に、相関二重サンプリング回路(CDS(Correlated Double Sa
mpling))21と、増幅回路(GCA(Gain Control Amplif
iier))22と、およびA/D変換器23から構成される。
定の信号処理を行う信号処理部31と、信号処理部31からの出力を記憶する記憶部32
と、記憶部32に記憶された画像信号に対して符号化処理を行い、また、メモリカード6
等の記録メディアからの画像データ(符号化処理された画像データ)に対して復号処理を
行うコーデック部33と、を有する。また、ディジタル信号処理部3は、ディジタル信号
処理部の各機能部の各種制御を行う制御部34と、表示部5の制御を行う表示部制御部3
5と、メモリカード6とデータ(信号)の入出力を行うためのインターフェースであるカ
ードI/F36と、フラッシュ発光部4の制御を行うフラッシュ発光制御部37と、ディ
ジタル信号処理部3の各機能部をバス接続するバス38と、を有する。なお、本実施形態
では、図1に示すように、ディジタル信号処理部3の各機能部がバス38により接続され
ている場合について説明するが、必ずしも、ディジタル信号処理部3の各機能部がバス接
続されている必要はなく、必要なデータ(信号)のやりとりができるように、各機能ブロ
ックが直接接続される構成であってもよいことは言うまでもない。
、第2信号処理部313と、距離関連信号処理部314と、を有する。
第1信号処理部311は、アナログ信号処理部2から出力される画像信号を入力とし、
アナログ信号処理部2から出力される画像信号に対して、ダイナミック・レンジ圧縮処理
、画素補間処理などの処理を行い、第2信号処理部313および記憶部32に出力する。
おり、各画素で取得される画像信号は、R、G、Bの何れかの情報しか持たない。このた
め、画素補間処理により、各画素により取得されなかった2色の情報を持つ画像信号を、
それぞれ、周りの画素(画素値)からの補間により推定(算出)する。これにより、撮像
部(撮像素子)13の各画素に対応する画像信号において、R成分信号、G成分信号、お
よびB成分信号を取得することができる。
、除算部3123と、逆関数処理部3124と、を有する。
距離推定部312は、記憶部32から出力される、フラッシュ光ありの撮影環境下で取
得された画像信号(この画像信号を「画像信号b」または「画像データb」という。)と
、記憶部32から出力される、フラッシュ光なしでの撮影環境下で取得された画像信号(
この画像信号を「画像信号a」または「画像データa」という。)とを入力とし、画像信
号aおよび画像信号bに基づいて、距離情報を推定(算出)し、推定した距離情報を距離
関連信号処理部314に出力する。
素の値は、当該画素に対応する被写体の反射率R0および照度C0の積R0・C0で表す
ことができる。)および画像信号b(画像信号bを構成する各画素の値は、反射率R0、
照度C0、およびフラッシュ光の距離−照度特性を決定する関数B(x)(xは、撮像装
置100から被写体までの距離情報)を用いて、R0・(C0+B(x0))(x0は、
撮像装置100から当該画素に対応する被写体までの距離情報)で表すことができる。)
を入力とし、画像信号bから画像信号aを減算する処理、すなわち、
R0・(C0+B(x0))−R0・C0
なる処理を行い、減算処理結果である、R0・B(x0)を除算部3123に出力する。
aから照度ムラを除去して被写体反射率を推定する(詳細については後述)。つまり、反
射率推定部3122は、画像信号aを構成する画素(処理対象画素)の画素値R0・C0
から反射率R0を求め、求めた反射率R0を除算部3123に出力する。
除算部3123は、減算部から出力されたR0・B(x0)および反射率推定部312
2から出力された反射率R0を入力とし、
R0・B(x0)/R0
なる除算処理を行うことで、B(x0)を算出し、算出結果B(x0)を逆関数処理部3
124に出力する。
ッシュ光の距離−照度特性を決定する関数B(x)の逆関数であるB−1(x)なる処理
をB(x0)に対して行うことで、距離情報x0(処理対象画素の距離情報)を算出し、
算出した距離情報x0を第2信号処理部313に出力する。なお、ここで、フラッシュ光
の距離−照度特性を示す関数B(x)およびその逆関数B−1(x)は、フラッシュ発光
部4により発光されるフラッシュ光の特性を予め測定することで求めておき、例えば、撮
像装置100のROM(不図示)等に予め記憶させておくようにしてもよい。
補正処理、色補正処理、ノイズリダクション処理、輪郭強調処理などの処理を行い、距離
関連信号処理部314に出力する。
γ補正処理は、画像データ(画像信号)に対して、いわゆるガンマ補正を施す処理であ
り、通常は、γ=1/2.2として、画像信号に対してγ補正処理が実行される。
された色空間(NTSC、sRGB等で規定される色空間)のRGB値への変換を行う処
理である。
ノイズリダクション処理は、画像信号の振幅、周波数などからノイズを判別し、判別さ
れたノイズを削減する処理である。
るMTF(Modulation Transfer Function)の低下を補償
し解像度感のある画像にするための処理である。
距離関連信号処理部314は、逆関数処理部3124から出力される距離情報および第
2信号処理部313から出力される画像信号を入力とし、距離情報に基づいて、第2信号
処理部313から出力される画像信号に対して様々な処理を行う。例えば、処理対象とな
る画素(以下、「注目画素」という。)の距離情報から、注目画素が撮像画像上で近景領
域に含まれると判断される場合、例えば、注目画素の画素値を強調する処理や、注目画素
の周辺画素とのコントラストが強調されるように明るさ対比量や色対比量が強調される処
理等を行う。逆に、注目画素の距離情報から、注目画素が撮像画像上で遠景領域に含まれ
ると判断される場合、例えば、注目画素がぼけるように注目画素値を修正する処理や、注
目画素の周辺画素とのコントラストが抑制されるように明るさ対比量や色対比量が抑制さ
れる処理等を行う。距離関連信号処理部314で、このような処理を行うことで、撮像画
像において、近景領域をより強調し、遠景領域をぼかすことができ、撮像装置100にお
いて、奥行き感や遠近感が強調された画像(例えば、被写界深度の浅い画像に相当する画
像)を生成することができる。なお、距離関連信号処理部314は、処理した画像信号を
記憶部32に出力するようにしてもよい。
であり、上記のものに限定されないのは言うまでもない。
記憶部32は、制御部34からの指令に基づいて、第1信号処理部311から出力され
る画像信号を記憶し、また、記憶している画像信号を距離推定部312に出力する。なお
、記憶部32は、コーデック部33により符号化された画像信号を記憶するものであって
もよい。また、記憶部32は、距離関連信号処理部314から出力される画像信号を記憶
するものであってもよい。さらに、記憶部32は、記憶している画像信号等を、バス38
を介して、信号処理部31や表示部制御部35に出力するようにしてもよい。
G等による符号化処理)を行い、符号化処理した画像信号(以下、「符号化画像信号」と
いう。)をカードI/F36を介して、メモリカード6等の記録メディアに出力する。ま
た、コーデック部33は、メモリカード6等の記録メディアから出力される符号化画像信
号に対して復号処理(JPEG等による復号処理)を行い、信号処理部31や、記憶部3
2や、表示部制御部35等に出力する。
ては、マイクロプロセッサを用いることが好ましい。
表示部制御部35は、信号処理部31から出力される画像信号や、コーデック部33で
復号された画像信号や、記憶部32から出力される画像信号等を入力とし、入力された画
像データを、例えば、VRAM(VideoRAM)(不図示)等に書き込むことで、表
示部5(LCDディスプレイ等による表示装置)で2次元画像として表示されるようにす
る。
フェースである。カードI/F36を介して、信号処理部31から出力される画像信号や
、コーデック部33により符号化された画像信号や、記憶部32に記憶された画像信号等
が、メモリカード6に出力され、メモリカード6に書き込まれる。
フラッシュ発光制御部37は、制御部34からの指令に基づいて、フラッシュ発光部4
でのフラッシュ発光のタイミング、フラッシュ発光時間、フラッシュ発光量等の制御を行
う。
対してフラッシュ光を照射する。
なお、フラッシュ発光部4、およびフラッシュ発光制御部37が「照明発光部」に相当
する。撮像部13が「撮像部」に相当する。また、減算部3121が「照明光成分取得部
」に相当する。また、反射率推定部3122が、「反射率推定部」に相当する。また、除
算部3123が「距離情報推定部」に相当する。
以上のように構成された撮像装置100の動作について、以下、説明する。
撮影する被写体からの反射光は、撮像レンズ11により撮像部(撮像素子)13上に結
像され、光電変換により画像信号(映像信号)として取得される。また、この光路中に設
けられた絞り12および図示していないシャッターにより撮像部(撮像素子)13上に結
像する光量が調整される。撮像レンズ11による結像(フォーカス制御)は、オートフォ
ーカス機能あるいはマニュアルフォーカス機能により撮像レンズ11を前後(光路上の前
後方向に)に動かすことにより制御され適切な露光量となるように絞り調節がなされる。
ここで、図1では、撮像レンズ11は、1枚の構成となっているが、実際には複数枚のレ
ンズ組が用いられる。ズームレンズの場合はさらに枚数は増加する。
像素子)13の駆動タイミングにより光量を調節する、いわゆる電子シャッターであって
もよい。
撮像部13(ここでは、撮像部13が、R(赤色),G(緑色),B(青色)に塗り分
けられたカラーフィルタを持ち画素数が2048×1536のCCD型イメージセンサで
あるものとして説明するが、撮像部13は、画素数および方式が他のものである撮像素子
(例えば、CMOS型イメージセンサ)であっても当然良い。)上に結像された画像は、
アナログ画像信号に変換され、撮像部13からアナログ信号処理部2に出力される。
(CDS)部21により、サンプリングノイズが低減され、アナログ増幅(GCA)部2
2により信号レベルが調整され、A/D変換器23によりディジタル画像信号(画像デー
タ)に変換される。A/D変換器23によりA/D変換された各画素データ(例えば「0
」〜「4095」の階調レベルを持つ12bitのディジタル信号)は、ディジタル画像
信号として、ディジタル信号処理部3の信号処理部31に出力される。
信号処理部31の第1信号処理部311に入力される。そして、第1信号処理部311に
入力された画像信号は、第1信号処理部311により、ダイナック・レンジ圧縮処理、画
素補間処理などの処理が実行され、第2信号処理部313および記憶部32に出力される
。
離推定部312に出力される。そして、記憶部32に、フラッシュ光ありの撮影環境下で
取得された画像データである画像データbと、フラッシュ光なしの撮影環境下で取得され
た画像データである画像データaと、が記憶されており、画像データaおよび画像データ
bが距離推定部312に入力される場合について、以下、説明する。また、説明便宜のた
め、処理対象画素(注目画素)をi0とし、画像データaの注目画素i0の反射率をR0
、照度をC0、フラッシュ光の距離−照度特性を決定する関数B(x)(xは、撮像装置
100から被写体までの距離情報)、注目画素i0の距離情報をx0として、画素単位の
処理が実行される場合について説明する。
入力され、例えば、図6に示す特性に基づく視覚処理(詳細については後述)が実行され
ることで、反射率推定部3122により、照度ムラを除去された反射率R0が算出され、
算出された反射率R0が除算部3123に出力される。なお、反射率推定部3122では
、上記視覚処理を用いる方法以外に、注目が画素i0(=I(x,y))を、その周辺画
素の平均値Iavg(x,y)で除算することで、照度ムラが除去された反射率R0を算
出するようにしてもよい。
減算部3121に入力され、減算部3121により、画像データa(=R0・C0)が減
算されることで、減算結果(フラッシュ光のみの画像データ)が算出され、算出された減
算結果データ(フラッシュ光のみの画像データ)(=R0・B(x0))が除算部312
3に出力される。
みの画像データ)を、反射率推定部3122から出力された反射率R0により除算するこ
とで、除算結果データB(x0)が算出される。
除算部3123により算出された除算結果データB(x0)は、逆関数処理部3124
に入力され、B−1(B(x0))なる処理が実行され、注目画素i0の距離情報x0が
算出される。算出された距離情報x0は、距離関連信号処理部314に出力される。
理部により、γ補正処理、色補正処理、ノイズリダクション処理、輪郭強調処理などの処
理が実行され、距離関連信号処理部314に出力される。
距離関連信号処理部314により、第2信号処理部313から出力された画像信号(画
像データ)(注目画素i0)は、距離推定部312から出力された距離情報x0に基づい
て、奥行き感強調処理等の各種距離情報に基づいて処理が実行される。
、記憶部32に書き込まれ、コーデック部33によりJPEG圧縮処理等の符号化処理が
施され、制御部34によりヘッダ情報を付加され、例えば、Exifファイルフォーマッ
トの画像データ(画像信号)として、カードI/F25を介して、メモリカード6等の記
録メディアに書き込まれる。なお、記憶部32に書き込みデータは、コーデック部33に
より符号化されたデータ(画像信号)であってもよい。また、Exifファイルフォーマ
ットの画像データ(画像信号)の記録先は、上記に限定されることはなく、例えば、撮像
装置に内蔵されたHDD(ハード・ディスク・ドライブ)装置等であっても当然よい。
御部35によりLCD表示装置等の表示部5に表示される。
《距離推定処理》
次に、図5から図6を用いて、撮像装置100の距離推定処理について説明する。
図5は、撮像装置100の距離推定処理についての動作を模式的に示した説明図である
。
(1)フラッシュ光有無の状態で被写体を撮影し、2枚の撮像画像(画像データ)を取得
する。
(2)取得された2枚の画像データの差分からフラッシュ光のみの画像データを作成する
。
(3)フラッシュ光無しの状態で撮影することにより取得された画像データ(画像データ
a)から照度ムラを除去して被写体反射率を推定する。
画像)に対して被写体反射率推定(照度ムラ除去)を行ってもよい。このうち、フラッシ
ュ光のみの画像データ(差分画像)を用いると、さらに精度が向上する(詳細後述)。
(4)フラッシュ光のみの画像データを、推定した被写体反射率で除算して被写体距離(
撮像装置100から被写体までの3次元空間内の距離)を算出する。
(5)被写体距離に基づいて画像処理を行う。
定して、被写体距離が算出される仕組みを説明する。ここで、物体0と人物1への照度を
それぞれC0、C1とし、反射率をそれぞれR0、R1とし、カメラからの距離をそれぞ
れx0、x1とする。
また、フラッシュ光の照度は、距離が遠くなるほど減衰するが、これをフラッシュ光発
光部からの距離(この距離は撮像装置100からの距離と同じ長さであるものとする。)
xの関数B(x)で表す。
慮して、RGBなど色別に処理を行うようにしてよい。
(ステップ1:フラッシュ光有無の状態による2枚の撮像画像の取得)
まず、撮像装置100によりフラッシュ光無しの状態で撮影し、撮像画像を取得する。
フラッシュ光無しの状態で撮影された物体0と人物1の画像信号は、それぞれ、
物体0:C0・R0
人物1:C1・R1
となる。
このとき、2回の撮影は連写にすることが好ましい。
なお、この際、被写界深度を変えないため撮像装置100の絞り値は、フラッシュ光無
しの状態での撮影時と同じにするとよい。
また、フラッシュ光による被写体からの反射光が多量に撮像部(撮像素子)13に入力
され、撮像部13から出力される画像信号(画像データ)が飽和しないように、フラッシ
ュ発光部4から発光されるフラッシュ光の光量が適度な光量となるように、フラッシュ発
光制御部37によりフラッシュ光の発光強度を調整するとよい。
短くして撮影するようにしてもよい。この際、ステップ2で、フラッシュ光有無の画像の
2枚の画像に対して減算処理を行う際に、シャッター時間を短くした分の露出あわせ用の
ゲイン乗算が必要となることは言うまでもない。以下では、撮像装置100において、シ
ャッター時間を変えた場合の計算式は省略している。
物体0:(C0+B(x0))・R0
人物1:(C1+B(x1))・R1
となる。
なお、ステップ1では、撮影された2枚の画像は、記憶部32に保存することを想定し
ているが、メモリカード6等の記録メディアに保存し、ステップ2〜ステップ5の各処理
を画像再生時に行うようにしてもよい。
を作成)
次に、フラッシュ光有りの状態で撮影された画像データbからフラッシュ光無しの状態
で撮影された画像データaを減算し、フラッシュ光のみの画像データを取得する。
このとき、物体0と人物1のフラッシュ光のみの画像信号(画像データ)はそれぞれ、
物体0:B(x0)・R0
人物1:B(x1)・R1
となる。
撮影された2枚の画像データに対し、位置あわせ処理を行ってから上記減算処理を行うよ
うにしてもよい。
(ステップ3:フラッシュ光無しの状態で取得された画像データから照度ムラを除去し
て被写体反射率を推定)
次に、フラッシュ光無しの状態で取得した画像データaから照度ムラを除去して被写体
反射率を推定する2通りの方法を説明する。
(ステップ3.1:第一の方法)
まず、第一の方法は、特開2006−024176号公報に開示されている視覚処理装
置を応用する方法である。
上記視覚処理装置は、入力された各画素の輝度を、その周辺平均輝度に応じて異なる入
出力特性を有する変換により、変換した輝度を出力輝度として出力する。上記視覚処理装
置では、この変換の入出力特性を様々に変えることにより、局所コントラストを維持した
階調変換(ダイナミックレンジ圧縮、暗部補正など)、局所コントラスト強調などが可能
となる。
40程度(画像サイズ1920x1080の場合)の領域の輝度平均値の概念であり、領
域とは、矩形領域・円形領域・楕円形領域などであり、また、輝度平均値とは、単純平均
値・加重平均値などを含む。
第一の方法は、この入出力特性を図6に示す特性とし、照度ムラを除去する方法である
。そして、この第一の方法は、撮像装置100の反射率推定部3122により実行される
。
的になだらかに変化するものであるから、撮像装置100では、照度は周辺平均輝度とほ
ぼ同一であるとみなし、周辺平均輝度を均一化する変換を行うことで、照度が均一化され
た状況に相当する画像を生成する。照度が画像内の全空間位置で同一であれば、画像デー
タは反射率に比例したものとなる。これにより、入力画像のから照度ムラを除去すること
で、本来分離不可能である反射率を分離・算出することが可能となる。
この入出力特性は、周辺平均輝度により異なる複数の階調変換曲線により実現される。
曲線51は周辺平均輝度が最暗時の変換曲線、曲線52は周辺平均輝度が最明時の変換曲
線を指し、その間の曲線は、曲線51に近いほど周辺平均輝度が低く、曲線52に近いほ
ど周辺平均輝度が高い場合に選択される変換曲線である。
入力輝度と、その周辺平均輝度を入力とする、2次元のルックアップテーブルで構成して
もよい。
そして、太線53は各変換曲線において、注目画素の入力輝度がその周辺平均輝度に一
致する点の出力輝度をプロットしてつないだ曲線であり、これは画像上において階調変化
のない(輝度に変化のない)大きな面積の領域の輝度が、どのように変換されるかを表し
ている。
照度が低い領域(周辺平均輝度:低)は明るくなり、逆に、照度が高い領域(周辺平均輝
度:高)は暗くなり、画像内の各領域の周辺平均輝度が常に一定となるよう、入力輝度が
変換される。
これにより、画像内の全空間位置における照度が均一化された(照度ムラが除去された
)画像が生成される。
ても良い。この場合、変換後の輝度のとり得る範囲(変換後の輝度のダイナミックレンジ
)内の中心値から±30%(変換後輝度のダイナミックレンジの±30%)程度が好まし
い。
これにより、物体0、人物1の画像信号
物体0:C0・R0
人物1:C1・R1
は、均一照明下の状況の画像信号に変換され、その照度Cとすれば、
物体0:C・R0
人物1:C・R1
と変換される。以下、説明を簡素化するため、これらを単に、
物体0:R0
人物1:R1
と表記し、説明する。
次に、第二の方法は、国際公開番号W097/45809(日本:特表2000−51
1315)公表特許公報に開示されているディジタル画像を改善する方法を用いる方法で
ある。
上記公報では、シーン全体に亘って全ての種類およびレベルの照明で、画像が人間の視
覚によって知覚されるのと同様に見えるよう、ディジタル画像を改善する方法が開示され
ている。具体的には、DS(x,y)を光源の照明の空間分布とし、DR(x,y)をシ
ーンの反射の分布とすると、観測される強度値I(x,y)は、
I(x,y)=DS(x,y)・DR(x,y)
である。
的に重み付けされた平均値を示すとすると、
R(x,y)=log{DS(x,y)・DR(x,y)/DSavg(x,y)・
DRavg(x,y)} (式1)
と書くことができる。DS=DSavgであるかぎり、空間的照明の寄与は、打ち消しあ
う。これが厳密に成り立たない場合でも、反射率関数log(DS/DSavg)は、照
明変化を支配するはずである。上述の考察は、画像の各スペクトル帯域に対して成り立つ
。
画像信号I(x,y)(注目画素i0に対応)に対して、その周辺画素の画素値の平均
値Iavg(x,y)で除算すると、出力画像信号Iout(x,y)は、
Iout(x,y)=I(x,y)/Iavg(x,y)
=DS(x,y)・DR(x,y)/DSavg(x,y)・DRavg(x,y
)
であり、通常、照明の空間的な変化は、なだらかであるため、DS≒DSavgであり、
Iout(x,y)≒DR(x,y)/DRavg(x,y)
となる。つまり、これは、(数式1)において、DS=DSavgの場合と同じ(近似)
となり、空間的照明の寄与、すなわち、照度ムラが除去され、反射率が求められたことを
意味する。
Iavg(x,y)で除算することで、照度ムラが除去された反射率R0を算出すること
ができる。
よって、第二の方法を用いることで、物体0および人物1の画像信号
物体0:C0・R0
人物1:C1・R1
は、均一照明下の状況の画像信号に変換され、その照度Cとすれば、
物体0:C・R0
人物1:C・R1
と変換される。以下、説明を簡素化するため、第一の方法同様、これらを単に、
物体0:R0
人物1:R1
と表記し、説明する。
限定されることはなく、重み付け平均、または、中央値等、照度の影響がほぼ同じとされ
る領域の代表値として導出されるものであればよい。
また、上述の例では、着目画素値を周囲の画素値の平均値で除算することとしたが、こ
れに限定されることはなく、x、y位置における取得された輝度を、上記代表値により相
対的に比較した値であれば、x、y位置における反射率として仮定できる。
をそのまま反射率とするのではなく、画像データから照度ムラの影響が略同一である領域
に合わせて座標位置毎の反射率を導出できる方法を用いることも可能である。
たとえば、画像データ中から、遮蔽物等により発生したと暗い領域と(第1の領域)と
、明るい領域(第2領域)とを抽出し、x、y位置がどちらの領域に属するかにより算出
式、算出領域を変える方法を用いてもよい。
写体距離を算出)
次に、得られた各画素の被写体反射率により、フラッシュ光のみの画像データを除算す
る。この際、「0」での除算を防ぐため、被写体反射率を正の小さい値でクリップ処理が
行なわれる。
物体0:B(x0)・R0
人物1:B(x1)・R1
は、被写体反射率
物体0:R0
人物1:R1
で除算され、物体0および人物1についての除算処理結果データ
物体0:B(x0)
人物1:B(x1)
が取得される。
て、関数Bの逆関数による処理、つまり、
物体0:B−1(B(x0))=x0
人物1:B−1(B(x1))=x1
なる処理を行うことで、物体0および人物1の被写体距離(被写体距離情報)x0および
x1が算出される。なお、Bの逆関数は、フラッシュ発光部4から発光されるフラッシュ
光の特性から実験により求めることができる。
くなるほど減衰する値であるため、撮像装置100において、これらの値を用いて、ステ
ップ5以降の画像処理を行うようにしてもよい。
(ステップ3にて、「フラッシュ光のみ」の画像データ(差分画像)から被写体反射率を
推定し、ステップ4にて、除算処理して距離を算出した場合)
前述した、フラッシュ光のみの画像データ(差分画像)から被写体反射率を推定した場
合に精度が向上することを、ここで説明する。
しているため、拡散反射成分が多く含まれる。このため、より高精度に距離を推定するた
めには、拡散反射を考慮することが必要である。
拡散反射では、あらゆる方向に同じ強度で反射する。また、その拡散反射光強度は、入
射光ベクトルC(大きさC)と反射面の法線ベクトルn(単位ベクトル)の内積に、反射
面の反射率Rを乗じた、
で表される(ランバートの余弦則:Lambert’s cosine law)。ここ
で、φは入射光ベクトルと反射面の法線ベクトルのなす角である。
しないと、距離精度が低下する。
以下、画像データaまたはbから被写体反射率を推定した場合に距離精度が低下する理
由と、フラッシュ光のみの画像データから被写体反射率を推定した場合は距離精度が低下
しない理由を、図7および図8を用いて説明する。
ための説明図である。
図7(a)に、外光の入射角(=外光の照射方向と被写体反射面の法線のなす角)が0
°以上の場合を示す。ここで、物体0、人物1への外光の入射角をそれぞれφ0、φ1と
すると、物体0、人物1についての外光反射光(拡散反射光)の画像信号は、
物体0の外光反射光:C0・R0・cos(φ0)
人物1の外光反射光:C1・R1・cos(φ1)
と表される。
線のなす角)が0°以上の場合を示す。ここで、物体0、人物1へのフラッシュ光の入射
角をそれぞれθ0、θ1とすると、物体0、人物1についてのフラッシュ反射光の画像信
号は、
物体0のフラッシュ反射光:B(x0)・R0・cos(θ0)
人物1のフラッシュ反射光:B(x1)・R1・cos(θ1)
と表される。
物体0:C0・R0・cos(φ0)
人物1:C1・R1・cos(φ1)
画像データbの画像信号は、
物体0:C0・R0・cos(φ0)+B(x0)・R0・cos(θ0)
人物1:C1・R1・cos(φ1)+B(x1)・R1・cos(θ1)
フラッシュ光のみの画像データ(=画像データb−画像データa)は、
物体0:B(x0)・R0・cos(θ0)
人物1:B(x1)・R1・cos(θ1)
と表される。
まず、画像データaに対して照度ムラ除去(詳細は後述)を行った場合、照度C0,C
1の項が打ち消され、推定反射率は、
物体0:R0・cos(φ0)
人物1:R1・cos(φ1)
となる。このため、除算処理により得られる距離情報は、
物体0:B(x0)・cos(θ0)/cos(φ0)
人物1:B(x1)・cos(θ1)/cos(φ1)
となり、外光およびフラッシュ光の入射角の違いの影響が残ってしまうため、距離精度が
低下する。
、B(x1)の項が打ち消され、推定反射率は、
物体0:R0(cos(φ0)+cos(θ0))
人物1:R1(cos(φ1)+cos(θ1))
となる。このため、除算処理により得られる距離情報は、
物体0:B(x0)・cos(θ0)/(cos(φ0)+cos(θ0))
人物1:B(x1)・cos(θ1)/(cos(φ1)+cos(θ1))
となり、同様に、外光およびフラッシュ光の入射角の違いの影響が残ってしまうため、距
離精度が低下する。
0)、B(x1)の項が打ち消され、推定反射率は、
物体0:R0・cos(θ0)
人物1:R1・cos(θ1)
となる。このため、除算処理により得られる距離情報は、
物体0:B(x0)
人物1:B(x1)
となり、外光およびフラッシュ光の入射角の違いの影響が打ち消され、距離精度が低下し
ない。
率を求めた場合、外光およびフラッシュ光の入射角の違いの影響が打ち消されるため、よ
り高精度に被写体距離を推定することが可能となる。
(ステップ3にて、「赤外光のみ」の画像データ(差分画像)から被写体反射率を推定し
、ステップ4にて、除算処理して距離を算出した場合)
なお、照明に赤外光を用いる場合にも、同様に、赤外光照明のみの画像データから反射
率を推定することが望ましい。
る。他にも3つの利点がある。
第一の利点は、上記同様、拡散反射を考慮して高精度に距離推定を行うことが可能なこ
とである。理由は、上記で説明したのと同一であるので省略する。これにより、高精度な
距離推定が可能となる。
これまで、反射率は全て定数扱いで記載してきたが、本来、反射率Rは波長λごとに異な
るため、R(λ)と表記するのが正しい。特に、照明光に赤外光を用いる場合には、波長
による反射率の違いを考慮する必要がある。この理由を説明する。
まず、画像データaから反射率推定を行った場合の精度低下原因を説明する。
ぞれR0(λ’)、R1(λ’)とすると、
画像データa(可視光成分)は、
物体0:C0・R0(λ)・cos(φ0)
人物1:C1・R1(λ)・cos(φ1)
と表され、これに対して照度ムラ除去を行った場合、照度C0、C1の項が打ち消され、
推定反射率は、
物体0:R0(λ)・cos(φ0)
人物1:R1(λ)・cos(φ1)
となる。
での反射のため、
物体0:B(x0)・R0(λ’)・cos(θ0)
人物1:B(x1)・R1(λ’)・cos(θ1)
であるから、これから得られる距離情報(=赤外光のみの画像データ÷推定反射率)は、
物体0:(B(x0)・R0(λ’)・cos(θ0))/(R0(λ)・cos(φ
0))
人物1:(B(x1)・R1(λ’)・cos(θ1))/(R1(λ)・cos(φ
1))
となり、可視光と赤外光の帯域での反射率の違いにより、反射率の項が消去できず、距離
精度が低下する。これは画像データbに対しても同様で、反射率の項が消去できない。
物体0:B(x0)・R0(λ’)・cos(θ0)
人物1:B(x1)・R1(λ’)・cos(θ1)
に対して照度ムラ除去を行った場合、照度B(x0)、B(x1)の項が打ち消され、推
定反射率は、
物体0:R0(λ’)・cos(θ0)
人物1:R1(λ’)・cos(θ1)
となる。これから得られる距離情報(=赤外光のみの画像データ÷推定反射率)は、
物体0:B(x0)
人物1:B(x1)
となり、可視光と赤外光の波長による反射率の違いの影響を受けず、高精度な距離の算出
が可能となる。
響を受けにくいことである。
一般に、サーモグラフィなどでよく知られているが、被写体は発熱により遠赤外を放射
しており、この被写体発熱成分が加算された画像データaまたは画像データbからでは反
射率を正しく算出できず、距離精度が落ちてしまう。この点を図9を用いて説明する。
このとき、画像データaの画像信号(赤外成分)は、
物体0:C0・R0(λ’)・cos(φ0)+F0
人物1:C1・R1(λ’)・cos(φ1)+F1
画像データbの画像信号(赤外成分)は、
物体0:C0・R0(λ’)・cos(φ0)
+B(x0)・R0(λ’)・cos(θ0)+F0
人物1:C1・R1(λ’)・cos(φ1)
+B(x1)・R1(λ’)・cos(θ1)+F1
赤外光のみの画像データ(=画像データb−画像データa)は、
物体0:B(x0)・R0(λ’)・cos(θ0)
人物1:B(x1)・R1(λ’)・cos(θ1)
と表される。
るため、推定反射率は、
物体0:R0(λ’)・cos(φ0)+F0
人物1:R1(λ’)・cos(φ1)+F1
となる。
物体0:(B(x0)・R0(λ’)・cos(θ0))
/(R0(λ’)・cos(φ0)+F0)
人物1:(B(x1)・R1(λ’)・cos(θ1))
/(R1(λ’)・cos(φ1)+F1)
となり、遠赤外放射によるオフセットの影響で、距離精度が低下する。これは画像データ
bに対しても同様である。
物体0:B(x0)・R0(λ’)・cos(θ0)
人物1:B(x1)・R1(λ’)・cos(θ1)
に対して照度ムラ除去を行った場合、照度B(x0)、B(x1)の項が打ち消され、推
定反射率は、
物体0:R0(λ’)・cos(θ0)
人物1:R1(λ’)・cos(θ1)
となる。これから得られる距離情報(=赤外光のみの画像データ÷推定反射率)は、
物体0:B(x0)
人物1:B(x1)
となり、遠赤外放射によるオフセットの影響を受けることなく、高精度な距離推定が可能
となる。
ータを用いて被写体反射率を推定する処理(反射率推定処理)を行うことが好ましい。
なお、ステップ3において、フラッシュ光のみの画像データから被写体反射率を推定し
た場合、最終的に算出される距離データは、フラッシュ光のみの画像データを空間的にぼ
かした値、すなわち、周辺画素平均値に近い値となる場合がある。フラッシュ光のみの画
像データをI(x,y)、その画像データの周辺画素平均値をIave(x,y)とする
と、上記ステップ3.2の第二の方法を用いた場合、推定反射率R(x,y)は、
R(x,y)=I(x,y)/Iave(x,y)
と求められる。したがって、ステップ4で算出される除算データBは、
B=I(x,y)/R(x,y)=Iave(x,y)
となる。すなわち、撮像装置100において、フラッシュ光のみの画像データを空間的に
ぼかして取得した画像データを距離推定値としてもよい。
ここでは、被写体距離に基づいた画像処理として、2つの例を説明する。
まず、ぼけ感を強調する画像処理を説明する。具体的には、画像上の背景を、被写体距
離を用いてぼかすため、注目画素について算出された距離(距離情報)が遠いことを示す
値である程、注目画素に対してローパスフィルタのフィルタサイズを大きくして、注目画
素に対する処理が実行される。
イズF(x)を以下の式で求める。
F(x)=FMAX・{MIN(x,xMAX)/xMAX}
次に、各画素に対しフィルタサイズF(x)のローパスフィルタ処理を行う。このよう
な処理を撮像装置100により実行することで、距離が遠い画素ほどぼけた画像(画像デ
ータ)を取得することができる。
装置100において、一般の、レンズによるぼけ感をエミュレートするような処理を距離
に応じて行うようにしてもよい。
次に、フラッシュ光を届かせる効果(視覚的にフラッシュ光が届かない領域にフラッシ
ュ光が届いているように感じさせる効果)を持つ画像処理について説明する。
)を、被写体距離(距離情報)を用いて明るくするため、撮像装置100により取得され
た距離(距離情報)を用いて、距離がある閾値以上の領域(画像上の領域)をフラッシュ
光が届かない領域と判断する。そして、このフラッシュ光が届かないと判断された領域に
含まれる画素の輝度に、ゲインを乗算する、または、オフセットを加算する等の処理を施
すことにより、当該画素の輝度を高い値に変換することで、このフラッシュ光が届かない
と判断された領域の明るさを明るくする。
により実現される。
なお、撮像装置100において、この他、ぼけ感強調、フラッシュ光を届かせる効果以
外にも、よく知られる距離に応じた様々な処理を、撮像装置100で算出された距離情報
を用いて実現させることが可能である。
(人物等の切出)の高精度化が可能となる。従来、2次元画像のみでは、エッジや色情報
等のみでしかオブジェクトの境界を判断できず、抽出精度が低かった。撮像装置100で
算出された距離情報を用いることで、より高精度にオブジェクト抽出が可能となる。これ
により、例えば、高画質化処理(ぼけ感創出処理、エッジ強調処理、ノイズ除去処理、記
憶色補正、階調補正、ホワイトバランス調整)、画像合成処理(クロマキー)、物体追尾
処理、動作認識/解析などをより高精度に行うことが可能となる。
が可能となる。距離情報によりオブジェクトの凹凸を考慮し、画像特徴量を3次元化する
ことで、認識精度が向上する。これにより、顔検出/顔認識、顔の向き検出、赤目補正処
理、立体感補正処理、画像傾き補正処理などの精度を向上できる。
また、撮像装置100で算出された距離情報を、多視点画像符号化MVC(Multi
View Coding)に適用することも可能である。従来、複数視点画像の符号化
には、レンダリング処理等の処理量が多く、実用化が難しかった。撮像装置100で算出
された距離情報を用いることで、このレンダリング処理を高速に行うことが可能となる。
となる。これにより、建築や土木の分野に利用できる。
さらに、撮像装置100で算出された距離情報を用いることで、自然画像にCG画像な
どを合成するMR(Mixed Reality)処理の高精度化も可能である。つまり
、撮像装置100で算出された距離情報を用いることで、MR処理においても、合成位置
の距離に合わせて、CG物体を適切な大きさで合成可能となり、より自然なMR処理が可
能となる。
率を推定することにより、各画素に対応する被写体と撮像装置との3次元空間内での距離
(距離情報)を高精度に推定することができる。さらに、本発明の撮像装置100では、
高精度に推定された距離情報を用いて高精度な画像処理を実現させることができる。
なお、撮像装置100による具体的な処理データの一例を図10に示す。符号81によ
り示す画像データがフラッシュ発光無しの状態で取得された画像データaであり、符号8
2により示す画像データがフラッシュ発光ありの状態で取得された画像データbである。
そして、画像データbから画像データaを減算して求められたフラッシュ光のみの画像デ
ータが符号84で示す画像データであり、画像データaから照度ムラを除去した画像デー
タが符号83で示す画像データ(反射率推定値画像データ)である。そして、フラッシュ
光のみ画像データ84を反射率推定値画像データ83で除算処理した結果が、符号85で
示す除算処理結果画像データである。
bから、距離情報を精度よく表した距離推定値画像データ85を取得することができる。
なお、符号86で示す画像データは、例えば特許文献1のように、照度ムラの除去を行
わなかった場合の除算処理結果画像データ(距離推定値画像データ)である。このように
、照度ムラがあった場合に、その除去を行わないと、同じ距離にある物体が異なる距離に
あるものとされ、距離推定を誤ってしまう場合がある。
なお、信号処理部31を、図3に示すように、信号処理部31’に置換した構成として
もよい。つまり、信号処理部31’を、第1信号処理部311から出力される画像信号(
画像データ)を画像データbとして、距離推定部312に入力するような構成にする。こ
のような構成にすることで、フラッシュ発光なしの状態で行う撮影を明示的に行う必要が
なくなり、撮像装置100のシャッターボタン(不図示)を押す直前のビューファインダ
ーに表示しているライブビュー画像に相当する画像データが画像データbとして、距離推
定部312に入力され、撮像装置100により、上記同様の処理が実行されることで、距
離情報を算出(推定)することができる。
ターボタンを押す直前のビューファインダーに表示しているライブビュー画像)と、フラ
ッシュ発光して撮影した画像の撮影時刻の差を少なくすることができるため、被写体が動
くことによる悪影響を少なくすることができる。
上記実施形態で説明した撮像装置において、各ブロックは、LSIなどの半導体装置に
より個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良
い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スー
パーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実
現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field P
rogrammable Gate Array)や、LSI内部の回路セルの接続や設
定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バ
イオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアに
より実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現し
ても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処
理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態にお
いては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の
詳細については省略している。
を逸脱しない範囲で種々の変更および修正が可能である。
れた画像の各画素の被写体までの距離を照明を用いて推定する場合において、周辺平均輝
度により異なる入出力特性を有する変換により照度ムラを除去して被写体反射率を推定す
ることにより、高精度に被写体までの距離を推定することができ、かつ、簡単な構成によ
り実現することができるため、コンパクトディジタルカメラやビデオカメラなどに利用可
能である。
312 距離推定部
2 アナログ信号処理部
3 ディジタル信号処理部
4 フラッシュ発光部
31、31’ 信号処理部
32 記憶部
33 コーデック部
34 制御部
311 第1信号処理部
313 第2信号処理部
314 距離関連信号処理部
51 周辺平均輝度が最暗時の変換曲線
52 周辺平均輝度が最明時の変換曲線
53 各変換曲線において、入力輝度がその周辺平均輝度に一致する点をつないだ曲線
Claims (17)
- 被写体に照明光を照射する照明発光部と、
前記照明発光部の条件を変えて撮影することで、複数枚の画像を取得する撮像部と、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得部と、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定部と、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体までの距離情報を推定する距離情報推定部と、
を備える撮像装置。 - 被写体に照明光を照射する照明発光部と、
前記照明発光部の発光状態を所定の時間内に切り替え、照明光無しの状態で第1画像信号を取得し、照明光有りの状態で第2画像信号を取得する撮像部と、
前記第2画像信号から、前記第1画像信号成分を除去することで前記照明光成分のみの画像信号を取得する照明光成分取得部と、
前記第1画像信号、前記第2画像信号、または前記照明光成分のみの画像信号に対して、各画素の輝度Kiをその周辺平均輝度AKiに応じて異なる入出力特性により変換し、
照度ムラを除去して、各画素に対応する前記被写体の反射率を推定することで反射率データ信号を取得する反射率推定部と、
前記照明光成分のみの画像信号から前記反射率データ信号成分を除去して、各画素に対応する前記被写体までの距離情報を推定することで距離情報データ信号を取得する距離情報推定部と、
を備える撮像装置。 - 前記反射率推定部は、前記輝度Kiと、前記周辺平均輝度AKiとが等しい場合、前記輝度Kiを一定範囲内の輝度に変換する、
請求項2に記載の撮像装置。 - 前記反射率推定部は、前記輝度Kiを、変換後の輝度がとりうる範囲を範囲Rangeとし、前記範囲Rangeの中心値を中心値KoCentとするものであり、
前記輝度Kiと、前記周辺平均輝度AKiとが等しい場合、前記輝度Kiを、(前記中心値KoCent)−(前記範囲Range)×0.3から(前記中心値KoCent)+(前記範囲Range)×0.3の範囲内の輝度に変換する、
請求項3に記載の撮像装置。 - 前記反射率推定部は、前記輝度Kiを、前記周辺平均輝度AKiで除算することで、照度ムラを除去して、前記反射率データ信号を取得する、
請求項2に記載の撮像装置。 - 前記反射率推定部は、前記照明光成分のみの画像信号から、前記反射率データ信号を取得する、
請求項1から5のいずれかに記載の撮像装置。 - 前記照明光に、フラッシュ光を用いる、
請求項1から6のいずれかに記載の撮像装置。 - 前記照明光に、赤外光を用いる、
請求項1から6のいずれかに記載の撮像装置。 - 前記照明光の距離に対する減衰特性を示す関数B(x)(x:距離)の逆関数B-1(x)を用いて、前記画素ごとに、前記距離情報データ信号を、前記画素に対応する前記被写体までの距離に変換する逆関数処理部をさらに備える、
請求項1から8のいずれかに記載の撮像装置。 - 前記距離情報データ信号に基づいて、前記画像信号に対して奥行き感を強調する奥行き感強調処理を行う距離関連信号処理部をさらに備える、
請求項1から9のいずれかに記載の撮像装置。 - 前記距離情報データ信号に基づいて、前記画像信号に対して背景をぼかす処理を行う距離関連信号処理部をさらに備える、
請求項1から10のいずれかに記載の撮像装置。 - 前記距離情報データ信号に基づいて、前記画像において前記照明が十分に届いていない画像領域を検出し、前記画像領域に含まれる前記画素の輝度を高くする処理を行う距離関連信号処理部をさらに備える、
請求項1から11のいずれかに記載の撮像装置。 - 被写体に照明光を照射する照明発光部と、
前記照明発光部の条件を変えて撮影することで、複数枚の画像を取得する撮像部と、
を備える撮像装置に用いられる撮像方法であって、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得ステップと、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定ステップと、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体までの距離情報を推定する距離情報推定ステップと、
を備える撮像方法。 - 被写体に照明光を照射する照明発光部と、
前記照明発光部の条件を変えて撮影することで、複数枚の画像を取得する撮像部と、
を備える撮像装置に用いられるプログラムであって、
コンピュータを、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得部、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定部、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体までの距離情報を推定する距離情報推定部、
として機能させるためのプログラム。 - 被写体に照明光を照射する照明発光部と、
前記照明発光部の条件を変えて撮影することで、複数枚の画像を取得する撮像部と、
を備える撮像装置に用いられるプログラムを記録したコンピュータにより読み取り可能な記録媒体であって、
コンピュータを、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得部、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定部、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体までの距離情報を推定する距離情報推定部、
として機能させるためのプログラムを記録したコンピュータにより読み取り可能な記録媒体。 - 被写体に照明光を照射する照明発光部と、
前記照明発光部の条件を変えて撮影することで、複数枚の画像を取得する撮像部と、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得部と、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定部と、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体までの距離情報を推定する距離情報推定部と、
を備える集積回路。 - 照明条件を変えて撮影することで、複数枚の画像を取得する撮像部を備える撮像装置に用いられる集積回路であって、
被写体に照明光を照射する照明発光部と、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得部と、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定部と、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体までの距離情報を推定する距離情報推定部と、
を備える集積回路。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008103043A JP4999763B2 (ja) | 2007-07-31 | 2008-04-11 | 撮像装置、撮像方法、プログラム、記録媒体、および集積回路 |
US12/177,644 US8106954B2 (en) | 2007-07-31 | 2008-07-22 | Imaging apparatus and method that reduces illumination variations by converting a luminance value of a target pixel depending on an average luminance value of pixels in the vicinity of the target pixel |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007198494 | 2007-07-31 | ||
JP2007198494 | 2007-07-31 | ||
JP2008094986 | 2008-04-01 | ||
JP2008094986 | 2008-04-01 | ||
JP2008103043A JP4999763B2 (ja) | 2007-07-31 | 2008-04-11 | 撮像装置、撮像方法、プログラム、記録媒体、および集積回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009267436A JP2009267436A (ja) | 2009-11-12 |
JP4999763B2 true JP4999763B2 (ja) | 2012-08-15 |
Family
ID=40337691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008103043A Expired - Fee Related JP4999763B2 (ja) | 2007-07-31 | 2008-04-11 | 撮像装置、撮像方法、プログラム、記録媒体、および集積回路 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8106954B2 (ja) |
JP (1) | JP4999763B2 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2261852B1 (en) * | 2008-03-06 | 2013-10-16 | Fujitsu Limited | Image photographic device, image photographic method, and image photographic program |
US8587827B1 (en) * | 2008-08-25 | 2013-11-19 | Marvell International Ltd. | Smart imaging device architecture |
JP4637942B2 (ja) * | 2008-09-30 | 2011-02-23 | 富士フイルム株式会社 | 3次元表示装置および方法並びにプログラム |
US20100158341A1 (en) * | 2008-12-18 | 2010-06-24 | Siemens Medical Solutions Usa, Inc. | System for Automatically Generating a Mask for Digital Subtraction Angiography |
JP5108802B2 (ja) * | 2009-02-03 | 2012-12-26 | 富士フイルム株式会社 | 撮像装置及びそのスルー画像表示方法 |
US8194975B2 (en) * | 2009-06-29 | 2012-06-05 | Tandent Vision Science, Inc. | Use of an intrinsic image in face recognition |
TWI524773B (zh) * | 2009-10-23 | 2016-03-01 | 財團法人資訊工業策進會 | 即時偵測一物件之偵測裝置、偵測方法及其電腦程式產品 |
JP5521913B2 (ja) * | 2009-10-28 | 2014-06-18 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
US8441552B2 (en) * | 2009-12-24 | 2013-05-14 | Samsung Electronics Co., Ltd. | Photographing apparatus with improved white balance correction and method and recording medium |
JP5975642B2 (ja) * | 2011-12-28 | 2016-08-23 | 三菱電機株式会社 | 画像処理装置、画像処理方法及び撮像装置 |
US9476970B1 (en) * | 2012-03-19 | 2016-10-25 | Google Inc. | Camera based localization |
EP2690464B1 (en) | 2012-07-24 | 2018-09-05 | Samsung Electronics Co., Ltd | Depth sensing apparatus and method |
US9325966B2 (en) * | 2012-07-30 | 2016-04-26 | Canon Kabushiki Kaisha | Depth measurement using multispectral binary coded projection and multispectral image capture |
JP2014128001A (ja) * | 2012-12-27 | 2014-07-07 | Toshiba Corp | 画像処理装置および画像処理方法 |
US9083850B1 (en) * | 2013-06-29 | 2015-07-14 | Securus Technologies, Inc. | Video blurring in a secure environment |
TWI519884B (zh) * | 2014-01-23 | 2016-02-01 | 鈺創科技股份有限公司 | 產生深度資訊的裝置、產生深度資訊的方法和立體攝影機 |
WO2017002388A1 (ja) * | 2015-06-30 | 2017-01-05 | オリンパス株式会社 | 画像処理装置、測距システム、及び内視鏡システム |
US9986151B1 (en) * | 2016-03-02 | 2018-05-29 | Amazon Technologies, Inc. | Systems and methods for determining a depth or reflectance of objects |
US9912861B1 (en) | 2016-03-02 | 2018-03-06 | Amazon Technologies, Inc. | Systems and methods for determining a depth or reflectance of objects |
JP7321772B2 (ja) * | 2019-05-22 | 2023-08-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
FR3103301B1 (fr) * | 2019-11-19 | 2021-12-03 | Continental Automotive | Procédé de détection de pics d’intensité de faisceau lumineux réfléchi de manière spéculaire |
FI20205528A1 (en) * | 2020-05-25 | 2021-11-26 | Teknologian Tutkimuskeskus Vtt Oy | Method and system for enabling 3D detection from monocular images |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08327354A (ja) * | 1995-06-01 | 1996-12-13 | Canon Inc | 測距装置 |
US5991456A (en) * | 1996-05-29 | 1999-11-23 | Science And Technology Corporation | Method of improving a digital image |
JP2001352440A (ja) * | 2000-06-07 | 2001-12-21 | Olympus Optical Co Ltd | 画像処理装置 |
ATE512381T1 (de) * | 2001-04-05 | 2011-06-15 | Scalar Corp | Kamera und kameraeinheit |
JP2003066321A (ja) * | 2001-08-29 | 2003-03-05 | Mega Chips Corp | Af制御装置およびaf制御方法 |
JP2003185412A (ja) * | 2001-12-18 | 2003-07-03 | Toshiba Corp | 画像取得装置および画像取得方法 |
JP2004096506A (ja) * | 2002-08-30 | 2004-03-25 | Konica Minolta Holdings Inc | 画像形成方法、画像処理装置及び画像記録装置 |
JP4126297B2 (ja) | 2003-09-11 | 2008-07-30 | 松下電器産業株式会社 | 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末 |
JP4389546B2 (ja) * | 2003-10-23 | 2009-12-24 | 株式会社ニコン | カメラシステム |
-
2008
- 2008-04-11 JP JP2008103043A patent/JP4999763B2/ja not_active Expired - Fee Related
- 2008-07-22 US US12/177,644 patent/US8106954B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009267436A (ja) | 2009-11-12 |
US8106954B2 (en) | 2012-01-31 |
US20090033753A1 (en) | 2009-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4999763B2 (ja) | 撮像装置、撮像方法、プログラム、記録媒体、および集積回路 | |
US11877086B2 (en) | Method and system for generating at least one image of a real environment | |
JP7003238B2 (ja) | 画像処理方法、装置、及び、デバイス | |
WO2019105262A1 (zh) | 背景虚化处理方法、装置及设备 | |
Tocci et al. | A versatile HDR video production system | |
US9681026B2 (en) | System and method for lens shading compensation | |
JP6999802B2 (ja) | ダブルカメラベースの撮像のための方法および装置 | |
US10171743B2 (en) | Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium for improving quality of captured image | |
WO2004010711A1 (ja) | 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム | |
JP2014123914A (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
WO2019105254A1 (zh) | 背景虚化处理方法、装置及设备 | |
JP6724027B2 (ja) | 高ダイナミックレンジ画像のためのシステムおよび方法 | |
JP6381404B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
CN107872631B (zh) | 基于双摄像头的图像拍摄方法、装置及移动终端 | |
JP6412386B2 (ja) | 画像処理装置およびその制御方法、プログラムならびに記録媒体 | |
JP2015046019A (ja) | 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体 | |
JP6702752B2 (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
JP2020068524A (ja) | 画像処理 | |
JP2017138927A (ja) | 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム | |
JP5932392B2 (ja) | 画像処理装置および画像処理方法 | |
JP7102192B2 (ja) | 画像処理装置、その制御方法、プログラム | |
JP2011135379A (ja) | 撮像装置、撮像方法及びプログラム | |
JP2020024581A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7011694B2 (ja) | 画像処理装置およびその制御方法、プログラム | |
JP7446080B2 (ja) | 画像処理装置、撮像装置、制御方法、プログラム及び撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120424 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120515 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4999763 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150525 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |