JP6575999B2 - 照明情報取得装置、照明復元装置、およびこれらのプログラム - Google Patents
照明情報取得装置、照明復元装置、およびこれらのプログラム Download PDFInfo
- Publication number
- JP6575999B2 JP6575999B2 JP2015196222A JP2015196222A JP6575999B2 JP 6575999 B2 JP6575999 B2 JP 6575999B2 JP 2015196222 A JP2015196222 A JP 2015196222A JP 2015196222 A JP2015196222 A JP 2015196222A JP 6575999 B2 JP6575999 B2 JP 6575999B2
- Authority
- JP
- Japan
- Prior art keywords
- illumination
- image
- unit
- information
- illumination information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 claims description 274
- 238000000034 method Methods 0.000 claims description 61
- 238000000926 separation method Methods 0.000 claims description 47
- 229920006395 saturated elastomer Polymers 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 description 50
- 230000006870 function Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 24
- 230000006835 compression Effects 0.000 description 19
- 238000007906 compression Methods 0.000 description 19
- 230000005484 gravity Effects 0.000 description 15
- 101150052583 CALM1 gene Proteins 0.000 description 14
- 238000009877 rendering Methods 0.000 description 13
- 101150114882 CALM2 gene Proteins 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 101150058073 Calm3 gene Proteins 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
また、特許文献2に記載の方法では、カメラの姿勢や、ズームレンズのズーム状態等をキャリブレーションすることができるものの、光源に関する情報を得ることはできないという問題がある。
[第1実施形態]
図1は、本実施形態による照明情報取得装置の概略機能構成を示すブロック図である。同図において、符号1が照明情報取得装置である。図示するように、照明情報取得装置1は、映像取得部21(画像取得部)と、空間情報設定部22と、照明領域分離部23と、照明情報推定部24と、LDR画像分離部41(画像出力部)と、圧縮部50と、蓄積部52と、伝送部53と、を含んで構成される。
蓄積部52は、圧縮部50によって符号化された情報を、記録媒体等に蓄積する。
伝送部53は、圧縮部50によって符号化された情報を、通信により外部の装置に伝送する。
映像取得部21は、外部の複数の撮像装置14,15,16から、映像の信号を取得する。
なお、以下の説明においては、撮像装置が3台であることを前提とした記載を行う。撮像装置の台数が異なるような実施のしかたをする場合には、適宜、その「3台」を実際の撮像装置の台数に読み替えることが必要である。
図2は、撮像装置14,15,16のそれぞれの外観を示す概略図である。図示するように、撮像装置14,15,16の各々は、HDRカメラ81および82と、支持手段83とを含んで構成されている。HDRとは、ハイダイナミックレンジ(high dynamic range)の略であり、高ダイナミックレンジの撮像を行うことを表わしている。
HDRカメラ81および82の各々は、140デシベル(dB)から170デシベル程度の広いダイナミックレンジを有するものであり、映像機器メーカーから調達可能である。HDRカメラ81と82は互いに背中合わせの位置に設けられる。これにより、HDRカメラ81と82の撮像光軸は互いに180度反対方向である。HDRカメラ81と82の各々は、180度ないしはそれ以上の視野角を有する撮像レンズ(魚眼レンズ等)を備えており、広い範囲の映像を撮像する。したがって、このような2台のカメラによる撮像の範囲は全天球をカバーする。なお、各カメラの相対的な配置を明らかにするために、事前にキャリブレーション処理を行っておく。HDRカメラ81および82が撮影した映像の信号は、ケーブルを介して照明情報取得装置1に供給される。
支持手段83は、例えば三脚等である。支持手段83がHDRカメラ81および82を支持することにより、HDRカメラ81および82を所望の位置の所望の高さに設置することができる。
照明情報取得装置1は、撮像装置14,15,16からそれぞれ取得した3つの全天球HDR画像を利用して、それらの画像から、次に述べる方法によって拡散反射成分用の照明情報を取得する。
(1)RGB(緑、青、赤)の三原色で表される色空間について、RGBのそれぞれについて以下で説明する処理を行い、RGBの各色について拡散反射成分用照明情報を取得する。
(2)RGB等で表される画像を、所定の計算式によってグレースケールの値に変換し、そのグレースケールの値を基に、拡散反射成分用照明情報を取得する。なお、カラーの画像をグレースケールの画像に変換するための式としては、既存技術によるものを用いる。なお、そのような式は何種類か存在するが、適切なものを選択して用いるようにする。
(3)輝度信号と色差信号とで表される色空間において、輝度を表す値のみについて、以下で説明する処理を行い、RGBの各色について、拡散反射成分用照明情報を取得する。輝度信号と色差信号とで表される色空間とは、例えば、YUVや、YCbCrや、YPbPrなどといった色空間である。
即ち、照明領域分離部23は、3つの撮像装置14,15,16から得られる画像に基づいて、それら画像内の各画素のうち、照明であると見なし得る像の一部である画素を特定する。そして、照明領域分離部23は、照明であると見なされた画素に対応する上記の部分空間(錐体形状)に含まれるボクセルに対する投票を行う。具体的には、照明領域分離部23は、取得した映像のある1フレームに含まれる画素のうち、その画素に対応するボクセルの輝度値が所定の閾値Thを超えた場合に、閾値Thを超える輝度値を有するそれらのボクセルに1票ずつを投票していく。
なお、ここでは投票数閾値を3としており、つまりすべての撮像装置によって投票されたボクセルを照明であると推定しているが、投票数閾値として3以外の値(撮像装置の代数以外の数値)を適宜定めるようにしても良い。
ここまでの処理で、各ボクセルが照明に属するか否かが推定され、照明に属するボクセルがグループ化された。次に、照明情報推定部24が、照明情報の推定を行う。
なお、照明情報推定部24は、同一グループに属する全ボクセルについての輝度値を平均する代わりに、投票を行った各HDRカメラ(撮像装置14,15,16)での画素の画素値に基づいて算出される各々のボクセルの輝度値を平均して、その平均値をそのボクセルの輝度値としても良い。この場合も、照明情報推定部24は、各ボクセルに関連付ける形で、求めた輝度値を記憶させる。
図4は、照明情報推定部24があるグループに属するボクセルのうちの一部のボクセルにHDRカメラに応じたラベルを付与する処理の概要を示す概略図である。同図に示す格子が、3次元空間内の多数のボクセルを示している。なお、実際のボクセルは3次元の立方体の形の空間であるが、同図上では射影して2次元の正方形として表わしている。また、同図におけるCam1,Cam2は、それぞれ、撮像装置14,15が備えるHDRカメラのひとつ(HDRカメラ81またはHDRカメラ82)である。なお、同図においては撮像装置16を省略して示している。同図に示すボクセルのうち、「○」印、数字の「1」または「2」、または英字の「B」と記したボクセルは、これら全体でひとつのグループを構成するものである。つまり、これらの文字または記号を記したボクセルは、単一のグループに属する。また、数字の「1」または英字の「B」と記したボクセルは、カメラCam1から見て、このグループにおいて最も手前に存在するボクセルである。照明情報推定部24は、これらのボクセルに、カメラCam1に対応するラベルを付与する。また、数字の「2」または英字の「B」と記したボクセルは、カメラCam2から見て、このグループにおいて最も手前に存在するボクセルである。照明情報推定部24は、これらのボクセルに、カメラCam2に対応するラベルを付与する。つまり、英字の「B」と記したボクセルは、カメラCam1から見てもカメラCam2から見ても、最も手前に存在するボクセルである。照明情報推定部24は、これらの英字の「B」と記したボクセルには、カメラCam1に対応するラベルとカメラCam2に対応するラベルの両方を付与する。そして、「○」印を記したボクセルは、当該グループに属するボクセルであるものの、カメラCam1から見てもカメラCam2から見ても、最も手前に存在するものではない。したがって、照明情報推定部24は、「○」印を記したボクセルに、カメラCam1に対応するラベルもカメラCam2に対応するラベルも付与しない。
(B)の平均輝度値は、当該グループに属するボクセルであって、且つ特定のラベルが付与されたボクセルの集合の、平均輝度値である。なお、各ボクセルに対して照明情報推定部24が付与した輝度値に基づいて、この平均輝度値を計算する。
(C)のボクセル数は、当該グループに属するボクセルであって、且つ特定のラベルが付与されたボクセルの数である。このボクセル数は、当該グループの大きさに対応する値である。
図5は、ボクセル数以外の方法によってグループのサイズを求める方法の概要を示す概略図である。図5に示す格子は、図4に示した格子と同様のものである。また、図5に示すカメラCam1の位置は、図4に示したカメラCam1の位置と同じである。また、図5では、カメラCam2を省略している。また、図5では、図4において示していたボクセルのうち、数字の「1」または英字の「B」が記されたボクセルのみについてそれらの文字を残し、数字の「2」や「○」印を示していたボクセルについては何も記していない。つまり、当該グループに属するボクセルのうち、カメラCam1から見て最も手前に存在するボクセルのみに「1」または「B」の文字を記したものが、この図5である。そして、図5において、点Cは、「1」または「B」の文字を記したボクセルの重心の位置である。そして、平面P(同図においては射影しているため直線P)は、カメラCam1と重心Cとを結ぶ直線に垂直な平面であって、且つ重心Cを通るものである。また、この平面Pにおいて、点P1から点P2までの範囲は、「1」または「B]を記したボクセルの集合を平面P上に平行投影して得られる平面像である。そして、本方法では、カメラCam1がこの平面像(P1からP2までの範囲で示されて、図5において奥行きを持つ像)を撮影した画像における、当該平面像が占める画素数を、当該グループのサイズの値とする。
つまり、拡散反射成分用照明情報の主キーは、グループのインデックスとカメラのラベルを組み合わせた複合キーである。そして、グループのインデックスとカメラのラベルの組み合わせに対する属性値が、上記の(A)重心位置と、(B)平均輝度値と、(C)グループのサイズである。
図6は、拡散反射成分用照明情報を取得する処理の手順を示すフローチャートである。このフローチャートは、撮像装置14,15,16が撮影する映像の1フレーム期間分に対応する処理を示す。つまり、照明情報取得装置1は、フレーム期間ごとにこのフローチャートの処理を繰り返す。以下、フローチャートに沿って処理手順を説明する。
次に、鏡面反射成分用照明情報の取得方法について説明する。
LDR画像分離部41は、映像取得部21が取得した各撮像装置に対応する3枚の全天球HDR画像から、低ダイナミックレンジ(LDR)画像を抽出する。このとき、LDR画像分離部41は、カメラ特性を除外した画素値によるLDR画像を抽出するため、HDR画像における各画素値に、前述の関数f−1(x)を適用する。そして、LDR画像分離部41は、関数f−1(x)を適用した結果の値がLDR画像として表せる範囲を超える画素については、飽和したものとして処理する。なお、LDR画像の抽出に関する以下の説明において、画素値は、関数f−1(x)を適用した後の値である。
また圧縮部50が、例えば、H.264などの動画符号化方式によって鏡面反射成分用照明情報を動画として符号化するとともに、そのメタデータとして拡散反射成分用照明情報を埋め込むなど、両者を併せて圧縮・符号化することも可能である。
蓄積部52は、磁気記録媒体によって情報を記憶するハードディスクドライブあるいは半導体メモリを用いたSSD(ソリッド・ステート・ドライブ)を内部に備え、圧縮部50から出力される照明情報を逐次記憶する。
伝送部53は、通信手段を備えており、圧縮部50から出力される照明情報を外部の装置に送信する。
蓄積部52に蓄積されたり、あるいは伝送部53によって伝送されたりした照明情報は、後述する照明復元装置等によって使用される。照明復元装置は、取得した照明情報を用いて、映像を撮影したときの照明の状況に自然にマッチするCGのレンダリングを行う。
拡散反射成分用照明情報抽出部75は、復号部72が復号した照明情報から、拡散反射成分用照明情報を取り出す。
一方、面光源として照明を配置する場合には、拡散反射成分CG描画部76は、各照明の重心位置を中心とした球を、面光源として設定する。このとき、拡散反射成分CG描画部76は、照明情報から得られる(C)グループのサイズ(例えば、ボクセル数)に基づいて、その光源である球の半径を設定する。その半径は、照明情報に含まれているグループのサイズに基づいて、下の式(3)によって計算される。
LDR画像抽出部78は、復号部72が復号した照明情報から、LDR画像(鏡面反射成分用照明情報)を取り出す。前述の通り、このLDR画像は、各撮像装置に対応するものであり、またフレーム期間ごとの画像である。
式(1)で説明したように、関数f(x)は単調増加関数である。つまり、照明からカメラまでの距離が変化しないという条件下では、画像データにおける画素の画素値の増減と被写体の輝度の増減とは単調な関係にある。したがって、ここで内挿画像生成部79が行っている輝度情報の補填処理は、照明と推定される被写体の輝度情報を補填する処理である。つまり、内挿画像生成部79は、照明の輝度情報を補填(疑似的に復元)する機能を備えている。
次に、本発明の第2実施形態について説明する。なお以下では、前述の実施形態と同様の事項については説明を省略し、本実施形態に特有の事項を中心に説明する。
本実施形態による照明情報取得装置の機能構成は、図1に示したものとほぼ同様である。ただし、本実施形態においては、拡散反射成分用照明情報の求め方の一部が、第1実施形態における求め方と異なる。具体的には、本実施形態において照明情報推定部24が求める、グループごと且つカメララベルごとの、(B)平均輝度値の求め方が、第1実施形態における求め方とは異なる。
同図(a)は、映像の撮影現場である3次元空間(映像の収録スタジオ)において、ある撮像装置(14,15,または16)のカメラが撮影した画像(全天球画像の一部分)を、照明の重心を母点としてボロノイ分割した場合の例を示す。同図(a)において、丸印を付した部分が、照明の重心であると推定された位置である。そして、これらの位置を基準として、領域を分割した結果が同図(a)である。
本実施形態によれば、より精度の高い照明の再現性を得ることができる。
3 照明復元装置
5 合成装置
14,15,16 撮像装置
21 映像取得部(画像取得部)
22 空間情報設定部
23 照明領域分離部
24 照明情報推定部
41 LDR画像分離部(画像出力部)
50 圧縮部
52 蓄積部
53 伝送部
71 照明情報取得部
72 復号部
75 拡散反射成分用照明情報抽出部
76 拡散反射成分CG描画部
78 LDR画像抽出部
79 内挿画像生成部(輝度情報補填部)
80 鏡面反射成分CG描画部(鏡面反射成分描画部)
85 カメラパラメーター供給部
86 加算部
87 カメラ映像入力部
88 映像合成部
Claims (6)
- 3次元空間における複数の位置に設けられたカメラで撮影した画像を取得する画像取得部と、
取得した前記画像に含まれる画素の画素値に基づいて、前記3次元空間における照明の領域を特定する照明領域分離部と、
前記照明領域分離部によって特定された照明の領域の各々について、代表位置と輝度値とサイズとを拡散反射成分用照明情報として推定する照明情報推定部と、
前記画像取得部が取得した前記画像を鏡面反射成分用照明情報として出力する画像出力部と、
を具備することを特徴とする照明情報取得装置。 - 前記画像出力部は、前記画像取得部が取得した前記画像の輝度のダイナミックレンジを低くする処理をしてから前記画像を出力する、
ことを特徴とする請求項1に記載の照明情報取得装置。 - 前記照明領域分離部は、前記画像を撮影したカメラの前記位置ごとに、前記画像に含まれる画素の画素値に基づいて当該画素に照明が写っているか否かを判定し、この判定結果に基づいて前記3次元空間に含まれ当該画素に対応する方向の領域への投票を行い、前記領域が得た投票数に応じて当該領域が前記照明の領域であるか否かを判定する、
ことを特徴とする請求項1または2に記載の照明情報取得装置。 - 所定のダイナミックレンジの低ダイナミックレンジ画像を鏡面反射成分用照明情報として取得するとともに、前記低ダイナミックレンジ画像よりも相対的に高いダイナミックレンジの高ダイナミックレンジ画像に基づいて推定された3次元空間内における照明の領域についての代表位置と輝度とサイズとの情報を拡散反射成分用照明情報として取得し、前記低ダイナミックレンジ画像内において輝度が飽和している部分について、当該部分に対応する代表位置を有する拡散反射成分用照明情報に含まれる前記輝度と前記サイズとの情報に基づいて、疑似的に輝度を復元する処理を行う輝度情報補填部と、
前記輝度情報補填部によって輝度が復元された鏡面反射成分用照明情報を用いてコンピューターグラフィクスによる鏡面反射成分の描画を行う鏡面反射成分描画部と、
を具備することを特徴とする照明復元装置。 - コンピューターを、請求項1から3までのいずれか一項に記載の照明情報取得装置として機能させるためのプログラム。
- コンピューターを、請求項4に記載の照明復元装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015196222A JP6575999B2 (ja) | 2015-10-01 | 2015-10-01 | 照明情報取得装置、照明復元装置、およびこれらのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015196222A JP6575999B2 (ja) | 2015-10-01 | 2015-10-01 | 照明情報取得装置、照明復元装置、およびこれらのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017068764A JP2017068764A (ja) | 2017-04-06 |
JP6575999B2 true JP6575999B2 (ja) | 2019-09-18 |
Family
ID=58494999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015196222A Active JP6575999B2 (ja) | 2015-10-01 | 2015-10-01 | 照明情報取得装置、照明復元装置、およびこれらのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6575999B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2569267A (en) * | 2017-10-13 | 2019-06-19 | Mo Sys Engineering Ltd | Lighting integration |
CN107798666B (zh) * | 2017-11-17 | 2021-08-10 | 上海大学 | 基于稀疏颜色特征的老电影褪色闪烁修复方法 |
KR102242327B1 (ko) * | 2019-01-16 | 2021-04-20 | 한국광기술원 | 조명 공간 정보 획득 장치 및 그 방법과 대상 공간의 조명 환경 평가 방법 |
WO2023058889A1 (ko) * | 2021-10-05 | 2023-04-13 | 엘지전자 주식회사 | 광 캡쳐 장치 및 이를 구비하는 광 캡쳐 시스템 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11175762A (ja) * | 1997-12-08 | 1999-07-02 | Katsushi Ikeuchi | 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法 |
JP5503573B2 (ja) * | 2011-02-21 | 2014-05-28 | 日本放送協会 | 撮像装置および画像処理情報生成プログラム |
-
2015
- 2015-10-01 JP JP2015196222A patent/JP6575999B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017068764A (ja) | 2017-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102431117B1 (ko) | 포인트 클라우드 맵핑 | |
US20220191407A1 (en) | Method and system for generating at least one image of a real environment | |
US10977764B2 (en) | Viewport independent image coding and rendering | |
JP7003994B2 (ja) | 画像処理装置および方法 | |
US20200051269A1 (en) | Hybrid depth sensing pipeline | |
RU2431938C2 (ru) | Эффективное кодирование множества видов | |
US8711248B2 (en) | Global alignment for high-dynamic range image generation | |
US6983082B2 (en) | Reality-based light environment for digital imaging in motion pictures | |
JP7007348B2 (ja) | 画像処理装置 | |
US20200226729A1 (en) | Image Processing Method, Image Processing Apparatus and Electronic Device | |
CN108475327A (zh) | 三维采集与渲染 | |
US20180014003A1 (en) | Measuring Accuracy of Image Based Depth Sensing Systems | |
CN115088254A (zh) | 分布式***中的运动平滑 | |
JP6575999B2 (ja) | 照明情報取得装置、照明復元装置、およびこれらのプログラム | |
US20210233303A1 (en) | Image processing apparatus and image processing method | |
US20200177868A1 (en) | Apparatus and method for generating a tiled three-dimensional image representation of a scene | |
US10163250B2 (en) | Arbitrary view generation | |
JP6292968B2 (ja) | 疑似hdr画像推定装置及び方法 | |
US20230106679A1 (en) | Image Processing Systems and Methods | |
JP2014164497A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN115997379A (zh) | 用于立体渲染的图像fov的复原 | |
KR101946715B1 (ko) | 360도 영상을 위한 움직임 추정에서 적응적 탐색 영역 결정 방법 | |
GB2573593A8 (en) | Augmented reality rendering method and apparatus | |
EP4386678A1 (en) | Novel view generation using point clouds | |
JP2013009082A (ja) | 映像合成装置、映像合成方法、および映像合成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180827 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181026 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190716 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6575999 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |