JP2018036884A - 光源推定装置及びプログラム - Google Patents
光源推定装置及びプログラム Download PDFInfo
- Publication number
- JP2018036884A JP2018036884A JP2016169860A JP2016169860A JP2018036884A JP 2018036884 A JP2018036884 A JP 2018036884A JP 2016169860 A JP2016169860 A JP 2016169860A JP 2016169860 A JP2016169860 A JP 2016169860A JP 2018036884 A JP2018036884 A JP 2018036884A
- Authority
- JP
- Japan
- Prior art keywords
- light source
- image
- predetermined
- captured image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
[非特許文献3]「H.Bay, T.Tuytelaars, and L.V.Gool, SURF: Speed Up Robust Features, Proc. of Int. Conf. of ECCV, (2006)」
[非特許文献4]「Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary R. Bradski: ORB: An efficient alternative to SIFT or SURF. ICCV 2011: 2564-2571.」
I0(x,y)=Ia0Ra(x,y) …(2)
Ir(x,y)=r(θ1(x,y))Idcosn(θ2(x,y)) …(7)
外観情報AP(j)のうち、特に法線マップN(j)については、必ずしも厳密に認識対象jの表面形状に対応するものではなく、様々に変動することが想定されるカメラ位置姿勢及び光源状態に応じて認識対象jの見え方が変わることを反映したものとして、管理者等が設定しておくことができる。
本発明における各認識対象jは、その表面形状が所定基準で平面をフィッティング可能なものとして、概ね平面状の領域をなすものを設定することができる。例えば認識対象の表面領域から所定の空間サンプリングレートで当該表面上の各点位置(xi,yi,zi)(i=1,2,…N)を抽出し、当該一連の点に最小二乗法で平面をフィッティングした際の誤差が所定閾値内に収まるものを認識対象jとして設定することができる。また、認識対象の表面領域が所定サイズの直方体(扁平なタイル状の直方体)の内部に収まるものを認識対象jとして設定することもできる。
例えば、図10の[1]に示すような地面から突出した3つの三角形面領域SP1,SP2,SP3を有する三角錐を認識対象とすることを考える。各面SP1,SP2,SP3の形状は必ずしも完全な平面である必要はなく、それぞれの法線マップを有するものとする。この場合、以上説明した平面状の認識対象を設定する実施形態では、各領域SP1,SP2,SP3はそれぞれ別個の認識対象jとして設定することができる。別の一実施形態として、各面領域SP1,SP2,SP3が[1]のような三角錐をなすという立体的な位置関係をあることも考慮して、当該三角錐の全体を一つの認識対象jとして設定することもできる。
以上の説明では各認識対象jから特徴情報が抽出可能であり、当該特徴情報によってそのカメラに対する位置姿勢が認識され、当該特徴情報を抽出されたのと同様の領域を対象として光源情報が推定されるものとしたが、これらは以下のように、対応付けたうえで分離してもよい。
以上説明した推定部4の各実施形態の強度計算は、画像がRGB等の所定の色空間で構成されている場合には当該色空間の各成分ごとに実施することができる。また、その他の任意の所定の色空間において各成分またはいずれかの成分において実施することもできる。また、グレースケール画像に変換して当該単一成分において実施することもできる。
以上の光源推定装置10による推定結果を用いて、撮像画像Pに所定の仮想物体等を光源情報を反映して重畳処理を行うことができる。図11は当該重畳処理を実現する重畳装置20の機能ブロック図であり、図1で説明した光源推定装置10と同様の各部にさらに、重畳部6及び重畳情報記憶部53が追加されて重畳装置10が構成されている。当該追加構成以外の各部の動作は以上説明したのと同様であるため説明は省略する。
推定部4の処理において輝度の上限又は下限に達していることを判断(例えば上限に達することによるハイライト領域Reの判断)基準として用いた。当該上限又は下限は、画素値の所定範囲(例えば8ビットで画素を表現する場合であれば、上限255(白飛びの状態)、下限0(真っ黒の状態))として設定してもよいし、外観情報AP(j)に対する追加情報として、参照画像RP(j)の各画素位置(x,y)ごとに定義される値(法線マップN(j)と同様にマップとして定義される値)として設定しておいてもよい。
図12は、図1に示す光源推定装置10及び図11に示す重畳装置20をそれぞれ実現可能な機器のハードウェア構成の一例を示す図である。機器30は、CPU(中央演算装置)31、当該CPU31にワークエリアを提供する主記憶装置32、ハードディスクやSSDその他で構成可能な補助記憶装置33、キーボード、マウス、タッチパネルその他といったユーザからの入力を受け取る入力インタフェース34、ネットワークに接続して通信を行うための通信インタフェース35、表示を行うディスプレイ36、カメラ37及びこれらを接続するバスBを備える。
図1に示す光源推定装置10及び図11に示す重畳装置20の各部のうち任意の一部分は、外部機器において実現される機能として実現するようにしてもよい。例えば、重畳装置20の構成において、撮像部1のみをユーザ端末に実装し、その他の機能部をサーバに実装し、ユーザ端末から撮像画像をサーバへと送信し、サーバの重畳部6で得られた重畳画像をユーザ端末1へと返信して、ユーザ端末において重畳画像の表示を行ってもよい。また、光源推定装置10において撮像部1は省略し、撮像画像を認識部2において受信して以降の処理を実現するようにしてもよい。
Claims (12)
- 撮像画像より撮像されている対象を特定すると共に、当該特定された対象の前記撮像画像を取得したカメラに対する位置姿勢を認識する認識部と、
前記認識された位置姿勢で見えている状態から、前記特定された対象を所定位置姿勢のカメラで所定光源状態において撮像した際の所定の基準画像における、当該所定位置姿勢において見えている状態へと、前記撮像画像における前記特定された対象の領域を補正して補正領域を得る補正部と、
前記補正領域と前記所定の基準画像とを対比することにより、前記撮像画像における前記撮像されている対象に対する光源情報を推定する推定部と、を備えることを特徴とする光源推定装置。 - 前記推定部は、前記特定された対象における表面形状が反映された所定の法線マップを考慮して、前記補正領域と前記所定の基準画像とを対比することにより、前記撮像画像における前記撮像されている対象に対する光源情報を推定することを特徴とする請求項1に記載の光源推定装置。
- 前記特定された対象の表面形状は所定基準で平面領域にフィッティング可能な形状であり、当該平面領域からの変化としての表面形状を有するものであり、前記所定の法線マップは、当該平面領域を基準として方向が定義された法線マップであることを特徴とする請求項2に記載の光源推定装置。
- 前記推定部は、前記補正領域と前記所定の基準画像とで位置の対応する画素同士を対比し、前記所定の基準画像の第一画素の値から前記補正領域の第二画素の値への変位量を算出することで、前記所定光源状態からの変位としての前記光源情報を推定することを特徴とする請求項1ないし3のいずれかに記載の光源推定装置。
- 前記推定部は、前記第二画素のうち値が所定の上限値又は下限値にあるものは前記変位量の算出の対象から除外したうえで求めた前記変位量の平均に基づいて、前記撮像画像における環境光の強度を推定することを特徴とする請求項4に記載の光源推定装置。
- 前記推定部は、前記特定された対象における表面形状が反映された所定の法線マップを考慮して、前記補正領域と前記所定の基準画像とを対比することにより、前記撮像画像における前記撮像されている対象に対する光源情報を推定し、
前記推定部は、前記補正領域と前記所定の基準画像とで位置の対応する画素同士を対比し、前記所定の基準画像の第一画素の値から前記補正領域の第二画素の値への変位量を算出し、当該変位量と前記所定の法線マップとに基づいて、前記撮像画像における環境光及び/若しくは近接光源の強度、または、近接光源の方向を推定することを特徴とする請求項1ないし5のいずれかに記載の光源推定装置。 - 前記推定部は、前記補正領域と前記所定の基準画像とで位置の対応する画素同士を対比し、前記所定の基準画像の第一画素の値から前記補正領域の第二画素の値への変位量を、当該画素における所定の色空間の成分ごとに算出し、当該変位量に基づいて、前記撮像画像における光源の強度を当該所定の色空間の成分ごとに推定する請求項1ないし6のいずれかに記載の光源推定装置。
- 前記推定部は、
前記補正領域の第二画素のうち値が所定の上限値に達しているものを、または、
前記補正領域と前記所定の基準画像とで位置の対応する画素同士を対比し、前記所定の基準画像の第一画素の値から前記補正領域の第二画素の値への変位量を求め、当該変位量が所定閾値を超えているものを、
前記撮像画像における近接光源の影響が大きいハイライト領域に属するものとして推定し、当該ハイライト領域に基づいて前記撮像画像における近接光源の強度及び/又は方向を推定する請求項1ないし7のいずれかに記載の光源推定装置。 - 前記推定部は、前記特定された対象における表面形状が反映された所定の法線マップを考慮して、前記補正領域と前記所定の基準画像とを対比することにより、前記撮像画像における前記撮像されている対象に対する光源情報を推定し、
前記ハイライト領域における前記所定の法線マップの方向と、前記撮像画像を取得したカメラ位置から前記ハイライト領域へと向かう視線方向と、に基づいて前記撮像画像における近接光源の方向を推定する請求項8に記載の光源推定装置。 - 前記推定部は前記ハイライト領域が複数推定された場合であって、且つ、当該推定された各ハイライト領域を起点として前記推定される近接光源の方向へと向かう直線同士の中に、相互に交差すると判定されるものがある場合に、当該相互に交差する位置を前記近接光源の位置として推定することを特徴とする請求項9に記載の光源推定装置。
- 前記推定部は、前記ハイライト領域の周辺領域より、前記近接光源の強度を推定することを特徴とする請求項8ないし10のいずれかに記載の光源推定装置。
- コンピュータを請求項1ないし11のいずれかに記載の光源推定装置として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016169860A JP6579659B2 (ja) | 2016-08-31 | 2016-08-31 | 光源推定装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016169860A JP6579659B2 (ja) | 2016-08-31 | 2016-08-31 | 光源推定装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018036884A true JP2018036884A (ja) | 2018-03-08 |
JP6579659B2 JP6579659B2 (ja) | 2019-09-25 |
Family
ID=61567506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016169860A Active JP6579659B2 (ja) | 2016-08-31 | 2016-08-31 | 光源推定装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6579659B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019207657A (ja) * | 2018-05-30 | 2019-12-05 | Kddi株式会社 | 情報処理装置及びプログラム |
CN112629499A (zh) * | 2020-12-03 | 2021-04-09 | 合肥富煌君达高科信息技术有限公司 | 基于线扫描仪的手眼标定重复定位精度测量方法及装置 |
JP7479840B2 (ja) | 2019-12-27 | 2024-05-09 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04361386A (ja) * | 1991-06-07 | 1992-12-14 | Nippon Telegr & Teleph Corp <Ntt> | カラー画像のハイライト領域抽出装置 |
JP2001084380A (ja) * | 1999-07-12 | 2001-03-30 | Fuji Photo Film Co Ltd | 光源方向推定方法および装置並びに記録媒体 |
JP2011175600A (ja) * | 2010-02-25 | 2011-09-08 | Canon Inc | 認識装置及びその制御方法、コンピュータプログラム |
JP2016072692A (ja) * | 2014-09-26 | 2016-05-09 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
-
2016
- 2016-08-31 JP JP2016169860A patent/JP6579659B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04361386A (ja) * | 1991-06-07 | 1992-12-14 | Nippon Telegr & Teleph Corp <Ntt> | カラー画像のハイライト領域抽出装置 |
JP2001084380A (ja) * | 1999-07-12 | 2001-03-30 | Fuji Photo Film Co Ltd | 光源方向推定方法および装置並びに記録媒体 |
JP2011175600A (ja) * | 2010-02-25 | 2011-09-08 | Canon Inc | 認識装置及びその制御方法、コンピュータプログラム |
JP2016072692A (ja) * | 2014-09-26 | 2016-05-09 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
Non-Patent Citations (1)
Title |
---|
河村 拓哉 他: "拡散反射板を用いた光源の放射輝度分布の計測", 情報処理学会研究報告 研究報告 コンピュータビジョンとイメージメディア(CVIM), JPN6019031785, 15 April 2013 (2013-04-15), JP, pages 1 - 5, ISSN: 0004097143 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019207657A (ja) * | 2018-05-30 | 2019-12-05 | Kddi株式会社 | 情報処理装置及びプログラム |
JP7479840B2 (ja) | 2019-12-27 | 2024-05-09 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN112629499A (zh) * | 2020-12-03 | 2021-04-09 | 合肥富煌君达高科信息技术有限公司 | 基于线扫描仪的手眼标定重复定位精度测量方法及装置 |
CN112629499B (zh) * | 2020-12-03 | 2023-01-17 | 合肥中科君达视界技术股份有限公司 | 基于线扫描仪的手眼标定重复定位精度测量方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6579659B2 (ja) | 2019-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
US11816829B1 (en) | Collaborative disparity decomposition | |
CN105741346B (zh) | 用于校准深度照相机的方法 | |
US9420265B2 (en) | Tracking poses of 3D camera using points and planes | |
AU2017225023A1 (en) | System and method for determining a camera pose | |
WO2016029939A1 (en) | Method and system for determining at least one image feature in at least one image | |
JP6464938B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
TW201724031A (zh) | 擴增實境方法、系統及電腦可讀取非暫態儲存媒介 | |
TW201308252A (zh) | 深度測量之品質提升 | |
US9147279B1 (en) | Systems and methods for merging textures | |
JP6515039B2 (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
Concha et al. | Manhattan and Piecewise-Planar Constraints for Dense Monocular Mapping. | |
JP6579659B2 (ja) | 光源推定装置及びプログラム | |
Chatterjee et al. | Noise in structured-light stereo depth cameras: Modeling and its applications | |
CN111553969B (zh) | 一种基于梯度域的纹理映射方法、介质、终端和装置 | |
Novacheva | Building roof reconstruction from LiDAR data and aerial images through plane extraction and colour edge detection | |
US10339702B2 (en) | Method for improving occluded edge quality in augmented reality based on depth camera | |
Paudel et al. | Localization of 2D cameras in a known environment using direct 2D-3D registration | |
JP7061092B2 (ja) | 画像処理装置及びプログラム | |
Paudel et al. | 2D–3D synchronous/asynchronous camera fusion for visual odometry | |
Yin et al. | Improving depth maps by nonlinear diffusion | |
Guan et al. | Estimation of camera pose with respect to terrestrial LiDAR data | |
JP5425045B2 (ja) | オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム | |
Yuan et al. | 18.2: Depth sensing and augmented reality technologies for mobile 3D platforms | |
AU2019201822A1 (en) | BRDF scanning using an imaging capture system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181009 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190821 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6579659 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |