JP7319527B2 - 画像処理システム - Google Patents
画像処理システム Download PDFInfo
- Publication number
- JP7319527B2 JP7319527B2 JP2019096093A JP2019096093A JP7319527B2 JP 7319527 B2 JP7319527 B2 JP 7319527B2 JP 2019096093 A JP2019096093 A JP 2019096093A JP 2019096093 A JP2019096093 A JP 2019096093A JP 7319527 B2 JP7319527 B2 JP 7319527B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- processing system
- image processing
- specular reflection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
画像処理システム1は、画像取得部10と、認識部20と、検出部30と、情報生成部40とを備える。画像処理システム1は、移動型カメラ50に接続されている。画像取得部10は、異なる複数の視点から撮影した対象画像を取得する。画像処理システム1は、例えば、図2A及び図2Bに示されているコップ100を撮影した第1画像201と第2画像202を移動型カメラ50から取得する。この場合、撮影の対象がコップ100である。ここでは、撮影の対象が、コップ100という物である場合について説明するが、撮影の対象は、物に限られるものではない。撮影の対象は、例えば、シーン(光景)であってもよい。
(2-1)天井裏での計測について
改築や増築を行ったり設備を更新したりする際に、運び込める部品のサイズ、工事の際に他の設備が邪魔にならないかといったことを事前に知る目的で、設計図を作るために図面から作ることがある。このような図面を作るために行われる建物の計測について説明する。
天井裏の鏡面反射を除去するために,偏光カメラを使う方法について説明する。鏡面反射は物体表面で即反射するのに対し、拡散反射は物体の屈折率が不均一であるため乱反射する。この違いにより,鏡面反射光は図6のように偏光角により強さが異なるが、拡散反射光は偏光角によらず強さが均一な非偏光となる。そのため、鏡面反射の偏光角、強さといった偏光情報を算出できれば、鏡面反射と拡散反射の成分を分離することができ、鏡面反射を除去できる。偏光カメラは画素の前にいくつかの角度の偏光板60が入っているため、これを用いれば鏡面反射の偏光情報を算出できる。
偏光カメラは図7Aのように0度、45度、90度、135度の方向に偏光板61,62,63,64が張られた画素の組を持ち、特定方向に振動する光のみを得ることができる。これを用いることで偏光情報を算出して鏡面反射を除去できる。図7Bには、偏光板61,62,63,64が張られた4つの画素の組とRGBとの関係が示されている。
(2-2-2-1)偏光角と光の強さに関する仮定
まず、角度によらない非偏光の拡散反射成分と、角度によって周期的に変化している鏡面反射成分の2つのみを持っているものと仮定すると、0度と180度が同一の状態であることから以下の式(1)で各画素のRGB値を表すことができ、図8のように偏光角と光の強さの関係を表すことができる。
鏡面反射を除いた成分を算出するにはIb,Iaを算出する必要がある。まず、cos(2θ+180)=-cos(2θ)から、式(6)が導かれる。
上述の(2-2-2-2)で示した方法でIa,Ibを求めたら、それを用いて鏡面反射を除いた成分Iminを計算することで鏡面反射を除去した成分を求める。IminはIb-Iaに等しいため、Ib-Iaを画素のRGB値として画像を生成すれば、図9A、図9B及び図9Cを比較して分かるように、あるいは図10A、図10B及び図10Cを比較して分かるように鏡面反射を除去した画像を得られる。そして図11A及び図11Bを比較して分かるように鏡面反射によって特徴点対応の精度を上げることができる。
カメラが対応できる輝度範囲は限られており、実世界の全ての明るさを表現することはできない。このため、対応できる範囲外の輝度が画像内に存在した場合、画素の値は常に最小または最大になる。従って画素の値が最大の場合、実世界における輝度と画素の値を対応付けることができず、鏡面反射の除去に失敗するという問題がある。この問題を解決するために高ダイナミック・レンジ(HDR)画像を用いるという方法がある。
空間モデルの構築により、例えば図面を作成することができる。天井裏の空間モデルを構築すれば、天井裏の図面を作成することができる。異なる複数の視点から撮影した対象の複数の画像をもとにステレオ視の考え方を用いて空間モデルを構築することができるように、画像処理システム1を構成することができる。例えば、画像処理システム1は、SLAM技術を使用し、異なる複数の視点から撮影した対象の複数の画像をもとに、移動型カメラ50自体の移動位置を推測するとともに、空間モデルを構築する構成を採ることができる。例えば、移動型カメラ50が天井裏を自走して天井裏の複数の画像を画像処理システム1に送信し、画像処理システム1が移動型カメラ50から受信した天井裏の複数視点から撮影した画像を受信する。天井裏の複数視点から撮影した複数の画像から、画像処理システム1は、SLAM技術を使って天井裏の空間モデルを構築する。
(3-1)変形例1A
上記実施形態では、異なる複数の視点から撮影する撮影装置に、同一の撮影装置である移動型カメラ50を用いる場合について説明した。しかし、異なる複数の視点から撮影する撮影装置は、移動型カメラ50に限られるものではない。異なる複数の視点から撮影する撮影装置は、例えば、異なる場所に設置された複数の撮影装置であってもよい。このような複数の撮影装置として、例えば、図12に示されているような第1カメラ51と第2カメラ52からなるステレオカメラを用いることができる。
上記実施形態では、検出部30が偏光カメラで撮影された画像を用いることで鏡面反射成分を低減させる方法について説明した。偏光カメラを用いて鏡面反射成分を低減させる方法は、画像の補正によって鏡面反射成分を低減させる方法の一例である。画像の補正には、例えば、鏡面反射成分を差し引く方法がある。しかし、対象の画像の処理における鏡面反射による誤差を低減する方法は、画像の補正による方法には限られない。
上記実施形態では、画像取得部10が、偏光カメラで異なる複数の視点から撮影した対象の画像を取得する場合について説明した。しかし、画像を取得する方法は、偏光カメラを用いる場合には限られない。例えば、ライトフィールドカメラで撮影された画像を、画像取得部10が、異なる複数の視点から撮影した対象の画像として取得するように構成してもよい。
(4-1)
上記実施形態の画像処理システム1は、認識部20により認識された鏡面反射成分を用いながら検出部30において視点の違いに基づく第1画像201と第2画像202との違いの検出を行うことができる。その結果、画像処理システム1は、対象の画像の処理における鏡面反射による誤差の低減が可能になる。
上記実施形態または変形例で説明したように、画像処理システム1は、鏡面反射成分に基づいて画像の補正、画像のマスキング、あるいは画像の一部除去を検出部が行うことができる。画像処理システム1は、このような処置により、視点の違いに基づく第1画像と第2画像との違いの検出時の鏡面反射成分による誤差について、鏡面反射成分の影響を低減することができる。その結果、画像処理システム1は、対象の画像の処理における鏡面反射による誤差を低減することができる。
上記実施形態で説明したように、画像処理システム1は、各視点において偏光板を通して画像を撮影することにより、各視点における偏光角及び光の強さから鏡面反射成分を認識し、鏡面反射成分を簡単に低減することができる。偏光カメラを用いることによって特定の方向(上記実施形態では4方向)に振動する光のみを取得することができるため、その情報から鏡面反射の成分を計算することができる。鏡面反射成分を除去した画像を取得することで鏡面反射に強い特徴点対応を実現することができる。これによって鏡面反射が見られる物体の特徴点対応の精度が向上する。
画像処理システム1は、ライトフィールドカメラの使用、光源の照度の変更、シャッタースピードの変更、あるいは光源の色の変更により、鏡面反射成分を容易に認識することができる。
画像処理システム1は、同一撮影装置で撮影する場合には撮影装置の台数が少なくて済む。例えば、上述の実施形態では、撮影装置が1台の移動型カメラ50または1台の携帯型カメラのみで済む。異なる場所に設置された複数の撮影装置で撮影する場合には、撮影装置の位置の特定が容易になる。
画像処理システム1の情報生成部40は、対象の幾何学的な情報、対象の光学的な情報、あるいは、対象を照らす光源の情報について、視点の違う第1画像と第2画像により、情報を豊富化することができる。情報生成部40は、例えば、物の形状、あるいはシーンの3Dマッピングに関する情報を生成することができる。情報生成部40は、例えば、対象物の反射特性に関する情報を生成することができる。また、情報生成部40は、例えば、光源の向いている方向及び位置のうちの少なくとも一方に関する情報を生成することができる。
10 画像取得部
20 認識部
30 検出部
40 情報生成部
50 移動型カメラ(撮影装置の例)
51 第1カメラ(撮影装置の例)
52 第2カメラ(撮影装置の例)
Claims (6)
- 異なる複数の視点から撮影した対象の画像を取得する、画像取得部(10)と、
取得した画像である第1画像及び第2画像において、鏡面反射成分を認識する、認識部(20)と、
前記認識部の認識結果を用いて、視点の違いに基づく前記第1画像と前記第2画像との違いを検出する、検出部(30)と、
を備え、
前記検出部によって画像の違いを検出して、異なる複数の視点から撮影した対象の複数の画像をもとにステレオ法により空間モデルを構築するように構成されている、画像処理システム(1)。 - 前記検出部は、前記認識部が認識した鏡面反射成分に基づいて、画像の補正、画像のマスキング、あるいは画像の一部除去、を行って、視点の違いに基づく前記第1画像と前記第2画像との違いを検出する、
請求項1記載の画像処理システム(1)。 - 前記画像取得部は、各視点において、偏光板(60~64)を有する偏光カメラによって撮影された画像を取得し、
前記認識部は、偏光角及び光の強さに基づいて、鏡面反射成分を認識する、
請求項1または請求項2に記載の画像処理システム(1)。 - 前記画像取得部は、各視点において、ライトフィールドカメラによって撮影された画像、対象を照らす光源の照度を変えて撮影された複数の画像、シャッタースピードを変えて撮影された複数の画像、あるいは、対象を照らす光源の色を変えて撮影された複数の画像、を取得する、
請求項1から3のいずれか一項に記載の画像処理システム(1)。 - 前記画像取得部は、同一の撮影装置が異なる場所で撮影した対象の画像、あるいは、異なる場所に設置された複数の撮影装置が撮影した対象の画像、を取得する、
請求項1から4のいずれか一項に記載の画像処理システム(1)。 - 前記検出部の検出結果に基づいて、対象の幾何学的な情報、対象の光学的な情報、あるいは、対象を照らす光源の情報を生成する、情報生成部(40)、
をさらに備える、
請求項1から5のいずれか一項に記載の画像処理システム(1)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019096093A JP7319527B2 (ja) | 2019-05-22 | 2019-05-22 | 画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019096093A JP7319527B2 (ja) | 2019-05-22 | 2019-05-22 | 画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020190943A JP2020190943A (ja) | 2020-11-26 |
JP7319527B2 true JP7319527B2 (ja) | 2023-08-02 |
Family
ID=73453724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019096093A Active JP7319527B2 (ja) | 2019-05-22 | 2019-05-22 | 画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7319527B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005346348A (ja) | 2004-06-02 | 2005-12-15 | Matsushita Electric Ind Co Ltd | 画像処理方法、画像処理装置および画像処理プログラム |
JP2019022147A (ja) | 2017-07-20 | 2019-02-07 | セコム株式会社 | 光源方向推定装置 |
JP2019070886A (ja) | 2017-10-06 | 2019-05-09 | キヤノン株式会社 | 画像処理装置、撮像装置、および画像処理方法 |
-
2019
- 2019-05-22 JP JP2019096093A patent/JP7319527B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005346348A (ja) | 2004-06-02 | 2005-12-15 | Matsushita Electric Ind Co Ltd | 画像処理方法、画像処理装置および画像処理プログラム |
JP2019022147A (ja) | 2017-07-20 | 2019-02-07 | セコム株式会社 | 光源方向推定装置 |
JP2019070886A (ja) | 2017-10-06 | 2019-05-09 | キヤノン株式会社 | 画像処理装置、撮像装置、および画像処理方法 |
Non-Patent Citations (1)
Title |
---|
Michael W. Tao et al.,Depth Estimation and Specular Removal for Glossy Surfaces Using Point and Line Consistency with Light-Field Cameras,IEEE Transactions on Pattern Analysis and Machine Intelligence Volume 38, Issue 6,2016年06月01日,https://ieeexplore.ieee.org/document/7254196/ |
Also Published As
Publication number | Publication date |
---|---|
JP2020190943A (ja) | 2020-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3859574B2 (ja) | 3次元視覚センサ | |
CN104933718B (zh) | 一种基于双目视觉的物理坐标定位方法 | |
US10068344B2 (en) | Method and system for 3D capture based on structure from motion with simplified pose detection | |
JP6897563B2 (ja) | 画像処理装置と画像処理方法およびプログラム | |
US8437537B2 (en) | Method and system for estimating 3D pose of specular objects | |
JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
JP6271953B2 (ja) | 画像処理装置、画像処理方法 | |
WO2018068719A1 (zh) | 一种图像拼接方法及装置 | |
WO2022156755A1 (zh) | 一种室内定位方法、装置、设备和计算机可读存储介质 | |
CN111879235A (zh) | 弯管的三维扫描检测方法、三维扫描***和计算机设备 | |
CN106530358A (zh) | 仅用两幅场景图像标定ptz摄像机的方法 | |
JP2014013147A5 (ja) | ||
JP2016197287A (ja) | 情報処理装置、情報処理方法、プログラム | |
CN109785373B (zh) | 一种基于散斑的六自由度位姿估计***及方法 | |
CN109341591A (zh) | 一种基于手持式三维扫描仪的边缘检测方法及*** | |
JP6282377B2 (ja) | 3次元形状計測システムおよびその計測方法 | |
Kruger et al. | In-factory calibration of multiocular camera systems | |
JP2008309595A (ja) | オブジェクト認識装置及びそれに用いられるプログラム | |
JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
KR20120002723A (ko) | 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치 | |
JP2532985B2 (ja) | 3次元画像評価装置 | |
WO2005100910A1 (ja) | 3次元形状計測方法及びその装置 | |
KR101578891B1 (ko) | 패턴 인식을 이용한 영상 정보의 차원 일치 장치 및 방법 | |
JP7319527B2 (ja) | 画像処理システム | |
JP2011002292A (ja) | 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20200609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200609 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230124 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230703 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7319527 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |