JP7130544B2 - ３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラム - Google Patents
３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラム Download PDFInfo
- Publication number
- JP7130544B2 JP7130544B2 JP2018237991A JP2018237991A JP7130544B2 JP 7130544 B2 JP7130544 B2 JP 7130544B2 JP 2018237991 A JP2018237991 A JP 2018237991A JP 2018237991 A JP2018237991 A JP 2018237991A JP 7130544 B2 JP7130544 B2 JP 7130544B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- infrared
- visible light
- difference
- projected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims description 57
- 238000005259 measurement Methods 0.000 title claims description 17
- 238000003384 imaging method Methods 0.000 claims description 72
- 238000000034 method Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 19
- 238000003333 near-infrared imaging Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 8
- 230000000052 comparative effect Effects 0.000 description 6
- 238000000691 measurement method Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Geometry (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Optics & Photonics (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラムに関する。
光を用いた３次元計測技術がいろいろと開発されている。このような３次元計測技術には、例えば、複数のカメラで撮像した画像の視差をもとに距離を測定するステレオビジョン法、光を照射してからその光が物体で反射して帰ってくるまでの時間や位相を測定して距離を測定するＴｏＦ法（Time of Flight法）などがある。また、所定のパターンを投影して撮像し、投影パターンが撮像画像のどこにあるかをもとに３次元計測を行う構造化光法（Structured Light法）もある。
構造化光法はプロジェクタなどから所定のパターンを被写体に投影してイメージセンサで撮像し、プロジェクタから出射する所定のパターンの位置と、撮像画像における投影パターンの実際の位置とのずれをもとに、三角測量法を用いて被写体までの距離を算出するものである。
例えば、特許文献１には、３次元計測装置において、構造化光を投影しているときに撮像した画像から構造化光を投影していないときに撮像した画像を減算し、構造化光以外の光（例えば、環境光）によるノイズ成分を除去することが記載されている。
しかしながら、背景技術では、３次元情報を得るために、構造化光を投影したときと構造化光を投影していないときの２回の撮像が必要であり、この２回の撮像の間に被写体が動くと、２枚の撮像画像において被写体の位置がずれてしまう。そして、被写***置がずれた状態のままで２枚の撮像画像を減算すると、環境光の影響を十分に除外することができず、また、算出した被写体の３次元情報（距離情報）に誤差が生じてしまう。
本発明は、このような問題を解決するためになされたもので、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測することができる３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラムを提供することを目的とする。
本発明に係る３次元情報算出装置は、近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、構造化光を投影していないときに被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力する画像入力部と、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出する近赤外画像差分部と、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出する可視光画像差分部と、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出する画像抽出部と、抽出画像に基づいて、被写体までの距離を算出する３次元計算部とを備えるものである。
また、本発明に係る３次元計測装置は、被写体に近赤外波長領域の構造化光を投影する投影部と、構造化光を投影しているときの同一時刻、同一画角の第１近赤外画像、第１可視光画像を撮像し、構造化光を投影していないときの同一時刻、同一画角の第２近赤外画像、第２可視光画像を撮像する撮像部と、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出する近赤外画像差分部と、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出する可視光画像差分部と、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出する画像抽出部と、抽出画像に基づいて、被写体までの距離を算出する３次元計算部とを備えるものである。
また、本発明に係る３次元情報算出方法は、近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、構造化光を投影していないときに被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力するステップと、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出するステップと、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出するステップと、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出するステップと、抽出画像に基づいて、被写体までの距離を算出するステップとを有するものである。
また、本発明に係る３次元情報算出プログラムは、近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、構造化光を投影していないときに被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力する手順と、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出する手順と、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出する手順と、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出する手順と、抽出画像に基づいて、被写体までの距離を算出する手順とをコンピュータに実行させるためのものである。
本発明により、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測する３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラムを提供することができる。
以下、実施の形態に係る３次元情報算出装置及び３次元情報算出方法について説明するが、その前に比較例として、構造化光を投影したときと構造化光を投影していないときの２回の撮像の間に被写体が動いたときに生じる問題について、実際の画像を用いて簡単に説明する。
（比較例）
図１は、比較例に係る、構造化光を投影したときと構造化光を投影していないときの２回の撮像の間に被写体が動いていない場合の２枚の撮像画像の減算処理を説明するための図である。各撮像画像は、近赤外波長領域で撮像するカメラの左側にあるプロジェクタから近赤外波長領域の構造化光（以下、「パターン光」ということもある。）を投影し、撮像している。
図１は、比較例に係る、構造化光を投影したときと構造化光を投影していないときの２回の撮像の間に被写体が動いていない場合の２枚の撮像画像の減算処理を説明するための図である。各撮像画像は、近赤外波長領域で撮像するカメラの左側にあるプロジェクタから近赤外波長領域の構造化光（以下、「パターン光」ということもある。）を投影し、撮像している。
パターン光を投影したときの画像１０１には、パターンが投影された壁６の前にやはりパターンが投影された球体５が写っている。画像１０１において、ザラザラしたように写っているのが投影されたパターンである。また、パターンが投影された球体５の右には、球体の陰になってパターンが投影されていない壁４が写っている。
また、パターン光を投影していないときの画像１０２には、パターンが投影されていない壁４の前にやはりパターンが投影されていない球体３が写っている。
そして、パターン光を投影したときの画像１０１からパターン光を投影していないときの画像１０２を減算して得られた近赤外差分画像１０３は球体３の輝度が相殺されていて、２値化処理によりパターンを容易に抽出することができる。また、抽出したパターンに三角測量法を適用して、球体３又は壁４までの距離も容易に算出することができる。
そして、パターン光を投影したときの画像１０１からパターン光を投影していないときの画像１０２を減算して得られた近赤外差分画像１０３は球体３の輝度が相殺されていて、２値化処理によりパターンを容易に抽出することができる。また、抽出したパターンに三角測量法を適用して、球体３又は壁４までの距離も容易に算出することができる。
図２は、比較例に係る、構造化光を投影したときと構造化光を投影していないときの２回の撮像の間に被写体が動いた場合の２枚の撮像画像の減算処理を説明するための図である。投影及び撮像の条件は図１のときと同じである。
パターン光を投影したときの画像２０１を撮像したときからパターン光を投影していないときの画像２０２を撮像したときまでの間に、球体３がカメラの前を左から右へと移動している。
パターン光を投影したときの画像２０１を撮像したときからパターン光を投影していないときの画像２０２を撮像したときまでの間に、球体３がカメラの前を左から右へと移動している。
このため、パターン光を投影したときの画像２０１からパターン光を投影していないときの画像２０２を減算して得られた近赤外差分画像２０３は、パターンの背景に不要な輝度差が出現し、２値化処理のときに２値化のためのしきい値を適切に設定することができず、２値化処理によりパターンを適切に抽出することができない。また、抽出したパターンに三角測量法を適用しても、被写体の３次元形状を精度良く復元することができない。近赤外差分画像２０３から算出した距離画像２０４でも、球体３を適切に復元できていない。
（実施の形態）
そこで、実施の形態に係る３次元情報算出装置及び３次元情報算出方法は、同一時刻、同一画角の近赤外画像及び可視光画像を撮像することができる撮像素子を用いて、パターン光を投影したときの近赤外画像、可視光画像と、パターン光を投影していないときの近赤外画像、可視光画像とを取得し、これらの画像を用いて環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して、被写体までの距離を正確に算出する。
そこで、実施の形態に係る３次元情報算出装置及び３次元情報算出方法は、同一時刻、同一画角の近赤外画像及び可視光画像を撮像することができる撮像素子を用いて、パターン光を投影したときの近赤外画像、可視光画像と、パターン光を投影していないときの近赤外画像、可視光画像とを取得し、これらの画像を用いて環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して、被写体までの距離を正確に算出する。
以下、このような本実施の形態に係る３次元情報算出装置及び３次元情報算出方法について図面を参照して説明する。
まず、本実施の形態に係る３次元情報算出装置の構成について、３次元情報算出装置を３次元情報算出部として備える３次元計測装置の構成に基づいて説明する。
まず、本実施の形態に係る３次元情報算出装置の構成について、３次元情報算出装置を３次元情報算出部として備える３次元計測装置の構成に基づいて説明する。
図３は、本実施の形態に係る３次元計測装置１の概略構成を示すブロック図である。
３次元計測装置１は、例えば、スマートフォンであって、投影部１０、撮像部２０、メモリ３０、４０、３次元情報算出部５０などを備える。
投影部１０は、近赤外波長領域の構造化光２を被写体３に投影するプロジェクタである。構造化光２は、例えば、波長幅の狭いレーザ光であり、投影部１０のどの位置から出射されているかが分かるような公知のランダムドットパターンを用いる。
３次元計測装置１は、例えば、スマートフォンであって、投影部１０、撮像部２０、メモリ３０、４０、３次元情報算出部５０などを備える。
投影部１０は、近赤外波長領域の構造化光２を被写体３に投影するプロジェクタである。構造化光２は、例えば、波長幅の狭いレーザ光であり、投影部１０のどの位置から出射されているかが分かるような公知のランダムドットパターンを用いる。
撮像部２０は、被写体３にパターン光２を投影したときと、投影していないときの同一時刻、同一画角の近赤外波長領域の画像（近赤外画像）及び可視光波長領域の画像（可視光画像）をそれぞれ撮像する撮像素子であり、可視光画像については撮像後にグレースケール画像に変換している。このため、撮像部２０は、可視光波長領域で撮像する可視光撮像素子２１の上に、近赤外波長領域で撮像する近赤外撮像素子２２が積層されている。
図４は、本実施の形態に係る撮像部２０の概略構成を説明するための図である。撮像部２０のある撮像画素行（又は、撮像画素列）とその隣の撮像画素行（又は、撮像画素列）とをそれぞれ撮像画素の積層方向と垂直な方向から視たときの断面を示している。
ベイヤ―配列で配置されたＲＧＢの可視光撮像画素２３の上に近赤外撮像画素２４（ＮＩＲ（Near InfraRed）撮像画素２４）がそれぞれ積層されている。ＮＩＲ撮像画素２４は、例えば、８００～１０００ｎｍの近赤外波長領域で撮像する光電変換部を含む撮像画素である。このような撮像部２０は、公知技術を用いて、例えば、下層がシリコン基板などの半導体材料で形成され、上層が半導体材料又は有機膜で形成されている。なお、ＮＩＲ撮像画素２４は、近赤外波長領域に加えて可視光波長領域で撮像する撮像画素であっても良い。
そして、近赤外撮像素子２２は、画像データをメモリ３０又は３次元情報算出部５０に出力する。同様に、可視光撮像素子２１は、画像データをメモリ４０又は３次元情報算出部５０に出力する。
メモリ３０は、被写体３にパターン光２を投影したとき又は投影していないときの近赤外画像を記憶する。
メモリ４０は、被写体３にパターン光２を投影したとき又は投影していないときの可視光画像を記憶する。
メモリ３０は、被写体３にパターン光２を投影したとき又は投影していないときの近赤外画像を記憶する。
メモリ４０は、被写体３にパターン光２を投影したとき又は投影していないときの可視光画像を記憶する。
３次元情報算出部５０は、撮像部２０及びメモリ３０、４０から入力した、パターン光２を投影したときの近赤外画像、可視光画像と、パターン光２を投影していないときの近赤外画像、可視光画像とを用いて、被写体３の３次元データ（３次元座標）を算出して３次元計測装置１の外部に出力する。
このため、３次元情報算出部５０は、近赤外画像差分部５１、可視光画像差分部５２、画像抽出部５３、３次元計算部５４などを備える。
近赤外画像差分部５１は、被写体３にパターン光２を投影したときの近赤外画像から投影していないときの近赤外画像を減算して近赤外差分画像を算出し、画像抽出部５３に出力する。
近赤外画像差分部５１は、被写体３にパターン光２を投影したときの近赤外画像から投影していないときの近赤外画像を減算して近赤外差分画像を算出し、画像抽出部５３に出力する。
可視光画像差分部５２は、被写体３にパターン光２を投影したときの可視光画像から投影していないときの可視光画像を減算して可視光差分画像を算出し、画像抽出部５３に出力する。
画像抽出部５３は、近赤外差分画像から可視光差分画像を減算してパターン抽出画像を算出し、３次元計算部５４に出力する。
画像抽出部５３は、近赤外差分画像から可視光差分画像を減算してパターン抽出画像を算出し、３次元計算部５４に出力する。
３次元計算部５４は、投影部１０から照射される構造化光におけるドットパターンの位置とパターン抽出画像におけるドットパターンの位置とのずれ量、投影部１０と撮像部２０との間の実際の距離、及び、撮像部２０の焦点距離に三角測量法を適用して被写体３の３次元データを算出して出力する。
なお、３次元情報算出部５０が実現する各構成要素は、例えば、コンピュータである３次元情報算出部５０が備える演算装置（図示せず）の制御によって、プログラムを実行することにより実現できる。
なお、３次元情報算出部５０が実現する各構成要素は、例えば、コンピュータである３次元情報算出部５０が備える演算装置（図示せず）の制御によって、プログラムを実行することにより実現できる。
より具体的には、３次元情報算出部５０は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、３次元情報算出部５０に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。
非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって３次元情報算出部５０に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、または無線通信路を介して、プログラムを３次元情報算出部５０に供給できる。
次に、本実施の形態に係る３次元情報算出装置（３次元情報算出部５０）の動作、すなわち、３次元情報算出方法について、ここでは、３次元情報算出方法を含む３次元計測方法に基づいて説明する。
図５は、本実施の形態に係る３次元計測方法の処理手順を示すフローチャートである。
また、図６は、本実施の形態に係る３次元計測方法の処理内容を説明するための図である。
図５は、本実施の形態に係る３次元計測方法の処理手順を示すフローチャートである。
また、図６は、本実施の形態に係る３次元計測方法の処理内容を説明するための図である。
処理を開始して、投影部１０がパターン光２を投影する（ステップＳ１０）と、撮像部２０が近赤外画像（第１近赤外画像）３０１及び可視光画像（第１可視光画像）３０４を撮像し、可視光画像についてはグレースケール画像に変換する（ステップＳ２０）。
これにより、近赤外画像３０１には、パターンが投影された球体５及び壁６、パターンが投影されていない壁４が写っている。また、可視光画像３０４には、パターンが投影されていない球体３及び壁４が写っている。可視光画像３０４に近赤外波長領域のパターンが写ることはない。
これにより、近赤外画像３０１には、パターンが投影された球体５及び壁６、パターンが投影されていない壁４が写っている。また、可視光画像３０４には、パターンが投影されていない球体３及び壁４が写っている。可視光画像３０４に近赤外波長領域のパターンが写ることはない。
次に、投影部１０がパターン光２の投影を中止する（ステップＳ３０）と、やはり、撮像部２０が近赤外画像（第２近赤外画像）３０２及び可視光画像（第２可視光画像）３０５を撮像し、可視光画像についてはグレースケール画像に変換する（ステップＳ４０）。
これにより、近赤外画像３０２及び可視光画像３０５にはともにパターンが投影されていない球体３及び壁４が写っているが、各画像からも明らかのように、近赤外画像３０１及び可視光画像３０４を撮像してから近赤外画像３０２及び可視光画像３０５を撮像するまでの間に、球体３が撮像部２０の前を左から右へと移動している。
これにより、近赤外画像３０２及び可視光画像３０５にはともにパターンが投影されていない球体３及び壁４が写っているが、各画像からも明らかのように、近赤外画像３０１及び可視光画像３０４を撮像してから近赤外画像３０２及び可視光画像３０５を撮像するまでの間に、球体３が撮像部２０の前を左から右へと移動している。
次に、近赤外画像差分部５１が、パターン光２を投影したときの近赤外画像３０１からパターン光２を投影していないときの近赤外画像３０２を減算して、近赤外差分画像３０３を算出する（ステップＳ５０）。
近赤外差分画像３０３は、図２に示した近赤外差分画像２０３と同様にパターンの背景に不要な輝度差が出現しており、２値化処理によりパターンを適切に抽出することができず、このままでは球体３の適切な距離画像を得ることができない。
近赤外差分画像３０３は、図２に示した近赤外差分画像２０３と同様にパターンの背景に不要な輝度差が出現しており、２値化処理によりパターンを適切に抽出することができず、このままでは球体３の適切な距離画像を得ることができない。
次に、可視光画像差分部５２が、パターン光２を投影したときの可視光画像３０４からパターン光２を投影していないときの可視光画像３０５を減算して、可視光差分画像３０６を算出する（ステップＳ６０）。可視光差分画像３０６にも、近赤外差分画像３０３と同様の輝度差が出現している。
次に、画像抽出部５３が、近赤外差分画像３０３から可視光差分画像３０６を減算してパターン抽出画像（抽出画像）３０７を算出する（ステップＳ７０）。上記したように、近赤外差分画像３０３及び可視光差分画像３０６には同様の輝度差が存在することから、これらの画像を減算することにより球体３の移動による画像のずれを補償し、その結果、パターンの背景が一様となって、２値化処理によりパターンを容易に抽出することができる。
次に、３次元計算部５４が、パターン抽出画像３０７に３角測量法を適用して、球体３までの距離又は球体３の３次元データを適切に算出して出力する（ステップＳ８０）。距離画像３０８でも、球体３を精度良く復元できている。
このように、本実施の形態に係る３次元情報算出装置及び３次元情報算出方法は、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して、被写体までの距離を正確に算出することができる。
なお、本実施の形態に係る３次元情報算出装置及び３次元情報算出方法では、種々の変更、変形が可能である。
例えば、本実施の形態では、撮像部２０として可視光波長領域で撮像する可視光撮像画素２３の上に、近赤外波長領域で撮像する近赤外撮像画素２４が積層された撮像素子を用いたが、撮像部として可視光撮像画素と近赤外撮像画素とが同一層に配置された撮像素子を用いても良い。
例えば、本実施の形態では、撮像部２０として可視光波長領域で撮像する可視光撮像画素２３の上に、近赤外波長領域で撮像する近赤外撮像画素２４が積層された撮像素子を用いたが、撮像部として可視光撮像画素と近赤外撮像画素とが同一層に配置された撮像素子を用いても良い。
図７は、変形例に係る撮像部２５の概略構成を説明するための図である。撮像部２５の撮像面の一部を拡大したものを示す。
撮像部２５には、ベイヤ―配列の奇数行又は偶数行のＧ撮像画素がＮＩＲ撮像画素に置き換えられ、ＮＩＲ撮像画素及びＲＧＢの撮像画素が同一層に配置された、公知の撮像素子を用いることができる。
撮像部２５には、ベイヤ―配列の奇数行又は偶数行のＧ撮像画素がＮＩＲ撮像画素に置き換えられ、ＮＩＲ撮像画素及びＲＧＢの撮像画素が同一層に配置された、公知の撮像素子を用いることができる。
また、本実施の形態では、構造化光としてランダムドットパターンを用いたが、構造化光としてスリットパターン、グレイコードパターンなどを用いても良い。
また、本実施の形態では、３次元計測装置１はスマートフォンに限られるものではなく、デジタルカメラなどの、撮像部を備える各種の情報処理装置であっても良い。また、３次元計測装置１を３次元撮像装置、距離画像取得装置などのように構成しても良いし、投影装置、撮像装置、３次元情報算出装置等で構成される３次元計測システムなどのように構成しても良い。この場合には、３次元情報算出装置は各画像を入力する画像入力部を備えるようにする。
また、本実施の形態では、３次元計測装置１はスマートフォンに限られるものではなく、デジタルカメラなどの、撮像部を備える各種の情報処理装置であっても良い。また、３次元計測装置１を３次元撮像装置、距離画像取得装置などのように構成しても良いし、投影装置、撮像装置、３次元情報算出装置等で構成される３次元計測システムなどのように構成しても良い。この場合には、３次元情報算出装置は各画像を入力する画像入力部を備えるようにする。
また、本実施の形態では、構造化光を投影した状態で撮像した後に構造化光を投影していない状態で撮像したが、構造化光を投影していない状態で撮像した後に構造化光を投影した状態で撮像しても良い。
また、本実施の形態では、可視光撮像素子２１が撮像した可視光画像をグレースケール画像に直接変換していたが、可視光画像から近赤外波長領域に近い赤色波長領域の画像だけを抽出した後にグレースケール画像に変換しても良い。このようにすれば、より適切に被写体の動き成分を補償することができる。
また、本実施の形態では、構造化光を投影したときと構造化光を投影していないときとの２回の撮像の間に被写体が動いた場合について説明をしてきたが、これらの２回の撮像の間に手振れなどにより撮像部の位置が動いた場合についても同様に考えて処理をすればよい。
また、本実施の形態では、近赤外波長領域の構造化光を用いたが、可視光波長領域の構造化光、例えば、赤色波長領域、緑色波長領域又は青色波長領域の構造化光を用いても良い。
この場合には、被写体に、例えば、青色波長領域の構造化光を投影し、構造化光を投影しているときの同一時刻、同一画角の青色波長領域画像、赤色波長領域画像を撮像し、また、構造化光を投影していないときの同一時刻、同一画角の青色波長領域画像、赤色波長領域画像を撮像して、構造化光を投影しているときの青色波長領域画像と構造化光を投影していないときの青色波長領域画像とを減算して青色波長領域差分画像を算出し、構造化光を投影しているときの赤色波長領域画像と構造化光を投影していないときの赤色波長領域画像とを減算して赤色波長領域差分画像を算出し、青色波長領域差分画像と赤色波長領域差分画像とを減算して抽出画像を算出し、抽出画像に基づいて、被写体までの距離を算出するようにすれば良い。
これならば、通常の撮像素子を用いて、本実施の形態に係る３次元情報算出装置及び３次元情報算出方法を実現することができる。
もちろん、近赤外波長領域、可視光波長領域以外の波長領域の構造化光を用いても良い。
もちろん、近赤外波長領域、可視光波長領域以外の波長領域の構造化光を用いても良い。
以上、説明したように、本実施の形態に係る３次元情報算出装置５０は、近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、構造化光を投影していないときに被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力する画像入力部と、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出する近赤外画像差分部５１と、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出する可視光画像差分部５２と、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出する画像抽出部５３と、抽出画像に基づいて、被写体までの距離を算出する３次元計算部５４とを備えるものである。
このような構成により、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測することができる。
このような構成により、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測することができる。
また、本実施の形態に係る３次元計測装置１は、被写体に近赤外波長領域の構造化光を投影する投影部１０と、構造化光を投影しているときの同一時刻、同一画角の第１近赤外画像、第１可視光画像を撮像し、構造化光を投影していないときの同一時刻、同一画角の第２近赤外画像、第２可視光画像を撮像する撮像部２０と、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出する近赤外画像差分部５１と、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出する可視光画像差分部５２と、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出する画像抽出部５３と、抽出画像に基づいて、被写体までの距離を算出する３次元計算部５４とを備えるものである。
このような構成により、やはり、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測することができる。
このような構成により、やはり、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測することができる。
また、本実施の形態に係る３次元計測装置１は、撮像部２０は、可視光波長領域で撮像する可視光撮像素子２１と、近赤外波長領域で撮像する近赤外撮像素子２２とが積層されていることが好ましい。
このような構成により、同一時刻、同一画角の近赤外画像及び可視光画像を容易に撮像することができる。
このような構成により、同一時刻、同一画角の近赤外画像及び可視光画像を容易に撮像することができる。
また、本実施の形態に係る３次元計測装置１は、撮像部２５は、近赤外波長領域で撮像する近赤外撮像画素と、可視光波長領域で撮像する可視光撮像画素とが同一層に配置されていることが好ましい。
このような構成でも、同一時刻、同一画角の近赤外画像及び可視光画像を容易に撮像することができる。
このような構成でも、同一時刻、同一画角の近赤外画像及び可視光画像を容易に撮像することができる。
また、本実施の形態に係る３次元情報算出方法は、近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、構造化光を投影していないときに被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力するステップと、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出するステップＳ５０と、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出するステップＳ６０と、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出するステップＳ７０と、抽出画像に基づいて、被写体までの距離を算出するステップＳ８０とを有するものである。
このような構成により、やはり、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測することができる。
このような構成により、やはり、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測することができる。
また、本実施の形態に係る３次元情報算出プログラムは、近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、構造化光を投影していないときに被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力する手順と、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出する手順Ｓ５０と、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出する手順Ｓ６０と、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出する手順Ｓ７０と、抽出画像に基づいて、被写体までの距離を算出する手順Ｓ８０とをコンピュータに実行させるためのものである。
このような構成により、やはり、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測することができる。
このような構成により、やはり、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測することができる。
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
第１波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１波長領域画像、第２波長領域画像と、構造化光を投影していないときに被写体を撮像した同一時刻、同一画角の第１波長領域画像、第２波長領域画像とを入力する画像入力部と、
構造化光を投影しているときの第１波長領域画像と構造化光を投影していないときの第１波長領域画像とを減算して第１波長領域差分画像を算出する第１波長領域画像差分部と、
構造化光を投影しているときの第２波長領域画像と構造化光を投影していないときの第２波長領域画像とを減算して第２波長領域差分画像を算出する第２波長領域画像差分部と、
第１波長領域差分画像と第２波長領域差分画像とを減算して抽出画像を算出する画像抽出部と、
抽出画像に基づいて、被写体までの距離を算出する３次元計算部と
を備える３次元情報算出装置。
（付記１）
第１波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１波長領域画像、第２波長領域画像と、構造化光を投影していないときに被写体を撮像した同一時刻、同一画角の第１波長領域画像、第２波長領域画像とを入力する画像入力部と、
構造化光を投影しているときの第１波長領域画像と構造化光を投影していないときの第１波長領域画像とを減算して第１波長領域差分画像を算出する第１波長領域画像差分部と、
構造化光を投影しているときの第２波長領域画像と構造化光を投影していないときの第２波長領域画像とを減算して第２波長領域差分画像を算出する第２波長領域画像差分部と、
第１波長領域差分画像と第２波長領域差分画像とを減算して抽出画像を算出する画像抽出部と、
抽出画像に基づいて、被写体までの距離を算出する３次元計算部と
を備える３次元情報算出装置。
１ ３次元計測装置
１０ 投影部
２０、２５ 撮像部
２１ 可視光撮像素子
２２ 近赤外撮像素子
２３ 可視光撮像画素
２４ 近赤外撮像画素
３０、４０ メモリ
５０ ３次元情報算出部
５１ 近赤外画像差分部
５２ 可視光画像差分部
５３ 画像抽出部
５４ ３次元計算部
２ 構造化光（パターン光）
３ 被写体（球体）
４ 壁
５ パターンが投影された球体
６ パターンが投影された壁
１０１、２０１、３０１ パターン光を投影したときの近赤外画像
１０２、２０２、３０２ パターン光を投影していないときの近赤外画像
１０３、２０３、３０３ 近赤外差分画像
３０４ パターン光を投影したときの可視光画像
３０５ パターン光を投影していないときの可視光画像
３０６ 可視光差分画像
３０７ パターン抽出画像（抽出画像）
２０４、３０８ 距離画像
１０ 投影部
２０、２５ 撮像部
２１ 可視光撮像素子
２２ 近赤外撮像素子
２３ 可視光撮像画素
２４ 近赤外撮像画素
３０、４０ メモリ
５０ ３次元情報算出部
５１ 近赤外画像差分部
５２ 可視光画像差分部
５３ 画像抽出部
５４ ３次元計算部
２ 構造化光（パターン光）
３ 被写体（球体）
４ 壁
５ パターンが投影された球体
６ パターンが投影された壁
１０１、２０１、３０１ パターン光を投影したときの近赤外画像
１０２、２０２、３０２ パターン光を投影していないときの近赤外画像
１０３、２０３、３０３ 近赤外差分画像
３０４ パターン光を投影したときの可視光画像
３０５ パターン光を投影していないときの可視光画像
３０６ 可視光差分画像
３０７ パターン抽出画像（抽出画像）
２０４、３０８ 距離画像
Claims (6)
- 近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、前記構造化光を投影していないときに前記被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力する画像入力部と、
前記第１近赤外画像と前記第２近赤外画像とを減算して近赤外差分画像を算出する近赤外画像差分部と、
前記第１可視光画像と前記第２可視光画像とを減算して可視光差分画像を算出する可視光画像差分部と、
前記近赤外差分画像と前記可視光差分画像とを減算して抽出画像を算出する画像抽出部と、
前記抽出画像に基づいて、前記被写体までの距離を算出する３次元計算部と
を備える３次元情報算出装置。 - 被写体に近赤外波長領域の構造化光を投影する投影部と、
前記構造化光を投影しているときの同一時刻、同一画角の第１近赤外画像、第１可視光画像を撮像し、前記構造化光を投影していないときの同一時刻、同一画角の第２近赤外画像、第２可視光画像を撮像する撮像部と、
前記第１近赤外画像と前記第２近赤外画像とを減算して近赤外差分画像を算出する近赤外画像差分部と、
前記第１可視光画像と前記第２可視光画像とを減算して可視光差分画像を算出する可視光画像差分部と、
前記近赤外差分画像と前記可視光差分画像とを減算して抽出画像を算出する画像抽出部と、
前記抽出画像に基づいて、前記被写体までの距離を算出する３次元計算部と
を備える３次元計測装置。 - 前記撮像部は、可視光波長領域で撮像する可視光撮像素子と、近赤外波長領域で撮像する近赤外撮像素子とが積層されている
請求項２記載の３次元計測装置。 - 前記撮像部は、近赤外波長領域で撮像する近赤外撮像画素と、可視光波長領域で撮像する可視光撮像画素とが同一層に配置されている
請求項２記載の３次元計測装置。 - 近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、前記構造化光を投影していないときに前記被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力するステップと、
前記第１近赤外画像と前記第２近赤外画像とを減算して近赤外差分画像を算出するステップと、
前記第１可視光画像と前記第２可視光画像とを減算して可視光差分画像を算出するステップと、
前記近赤外差分画像と前記可視光差分画像とを減算して抽出画像を算出するステップと、
前記抽出画像に基づいて、前記被写体までの距離を算出するステップと
を有する３次元情報算出方法。 - 近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、前記構造化光を投影していないときに前記被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力する手順と、
前記第１近赤外画像と前記第２近赤外画像とを減算して近赤外差分画像を算出する手順と、
前記第１可視光画像と前記第２可視光画像とを減算して可視光差分画像を算出する手順と、
前記近赤外差分画像と前記可視光差分画像とを減算して抽出画像を算出する手順と、
前記抽出画像に基づいて、前記被写体までの距離を算出する手順と
をコンピュータに実行させるための３次元情報算出プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018237991A JP7130544B2 (ja) | 2018-12-20 | 2018-12-20 | ３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラム |
| US16/720,839 US11263768B2 (en) | 2018-12-20 | 2019-12-19 | 3D information calculation apparatuses, 3D measurement apparatuses, 3D information calculation methods, and 3D information calculation programs |
| KR1020190170850A KR20200077447A (ko) | 2018-12-20 | 2019-12-19 | 3차원 정보 계산 장치, 3차원 계측 장치, 3차원 정보 계산 방법 및 3차원 정보 계산 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018237991A JP7130544B2 (ja) | 2018-12-20 | 2018-12-20 | ３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020101377A JP2020101377A (ja) | 2020-07-02 |
| JP7130544B2 true JP7130544B2 (ja) | 2022-09-05 |
Family
ID=71098582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018237991A Active JP7130544B2 (ja) | 2018-12-20 | 2018-12-20 | ３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11263768B2 (ja) |
| JP (1) | JP7130544B2 (ja) |
| KR (1) | KR20200077447A (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015011869A1 (ja) | 2013-07-23 | 2015-01-29 | パナソニックＩｐマネジメント株式会社 | 撮像装置及びその駆動方法 |
| JP2016524709A (ja) | 2013-06-06 | 2016-08-18 | ヘプタゴン・マイクロ・オプティクス・プライベート・リミテッドＨｅｐｔａｇｏｎ Ｍｉｃｒｏ Ｏｐｔｉｃｓ Ｐｔｅ． Ｌｔｄ． | 能動照明を備えるセンサシステム |
| JP2018204976A (ja) | 2017-05-30 | 2018-12-27 | キヤノン株式会社 | 距離測定装置、距離測定方法及び撮像装置 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08313215A (ja) * | 1995-05-23 | 1996-11-29 | Olympus Optical Co Ltd | ２次元距離センサ |
| AU9456198A (en) * | 1998-09-28 | 2000-04-17 | 3Dv Systems Ltd. | Distance measurement with a camera |
| DE102008054985B4 (de) | 2008-12-19 | 2012-02-02 | Sirona Dental Systems Gmbh | Verfahren und Vorrichtung zur optischen Vermessung von dreidimensionalen Objekten mittels einer dentalen 3D-Kamera unter Verwendung eines Triangulationsverfahrens |
| US8681321B2 (en) * | 2009-01-04 | 2014-03-25 | Microsoft International Holdings B.V. | Gated 3D camera |
| US8213022B1 (en) * | 2009-03-04 | 2012-07-03 | University Of Central Florida Research Foundation, Inc. | Spatially smart optical sensing and scanning |
| JP2011169701A (ja) | 2010-02-17 | 2011-09-01 | Sanyo Electric Co Ltd | 物体検出装置および情報取得装置 |
| JP5587756B2 (ja) | 2010-12-10 | 2014-09-10 | 日立マクセル株式会社 | 光学式距離計測装置、光学式距離計測装置の距離計測方法および距離計測用プログラム |
| CN104054266B (zh) * | 2011-10-25 | 2016-11-23 | 中国科学院空间科学与应用研究中心 | 一种时间分辨单光子或极弱光多维成像光谱***及方法 |
| KR101908304B1 (ko) * | 2012-08-10 | 2018-12-18 | 엘지전자 주식회사 | 거리 검출 장치, 및 이를 구비하는 영상처리장치 |
| JP6434788B2 (ja) | 2014-03-06 | 2018-12-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 計測システム、計測方法およびビジョンチップ |
| JP2016008838A (ja) | 2014-06-23 | 2016-01-18 | 株式会社ニコン | 形状測定装置、構造物製造システム、形状測定方法、及び構造物製造方法 |
| US10175360B2 (en) * | 2015-03-31 | 2019-01-08 | Faro Technologies, Inc. | Mobile three-dimensional measuring instrument |
| JP2017020873A (ja) * | 2015-07-09 | 2017-01-26 | キヤノン株式会社 | 被計測物の形状を計測する計測装置 |
| KR102163117B1 (ko) * | 2015-10-16 | 2020-10-07 | 한국전자기술연구원 | 3차원 레이저 스캐닝 장치 및 이를 포함하는 3차원 레이저 스캐닝 시스템 |
| CN106017355A (zh) * | 2016-03-22 | 2016-10-12 | 武汉武大卓越科技有限责任公司 | 一种基于线结构光的三维测量传感器 |
| US10362292B2 (en) * | 2016-04-19 | 2019-07-23 | Shenzhen Dansha Technology Co., Ltd. | System and method for three dimensional imaging |
| WO2018003852A1 (ja) * | 2016-06-30 | 2018-01-04 | 国立大学法人横浜国立大学 | 光偏向デバイスおよびライダー装置 |
| US10321114B2 (en) * | 2016-08-04 | 2019-06-11 | Google Llc | Testing 3D imaging systems |
| JP2018040760A (ja) | 2016-09-09 | 2018-03-15 | 株式会社鈴木エンタープライズ | 構造物寸法計測システム及び計測方法 |
| JP2018063161A (ja) * | 2016-10-12 | 2018-04-19 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
-
2018
- 2018-12-20 JP JP2018237991A patent/JP7130544B2/ja active Active
-
2019
- 2019-12-19 KR KR1020190170850A patent/KR20200077447A/ko active Search and Examination
- 2019-12-19 US US16/720,839 patent/US11263768B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016524709A (ja) | 2013-06-06 | 2016-08-18 | ヘプタゴン・マイクロ・オプティクス・プライベート・リミテッドＨｅｐｔａｇｏｎ Ｍｉｃｒｏ Ｏｐｔｉｃｓ Ｐｔｅ． Ｌｔｄ． | 能動照明を備えるセンサシステム |
| WO2015011869A1 (ja) | 2013-07-23 | 2015-01-29 | パナソニックＩｐマネジメント株式会社 | 撮像装置及びその駆動方法 |
| JP2018204976A (ja) | 2017-05-30 | 2018-12-27 | キヤノン株式会社 | 距離測定装置、距離測定方法及び撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020101377A (ja) | 2020-07-02 |
| US11263768B2 (en) | 2022-03-01 |
| KR20200077447A (ko) | 2020-06-30 |
| US20200202546A1 (en) | 2020-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7350343B2 (ja) | 対象物の３次元画像を生成するための方法およびシステム | |
| US10194138B2 (en) | Structured light encoding-based vertical depth perception apparatus | |
| US8199335B2 (en) | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium | |
| US9759548B2 (en) | Image processing apparatus, projector and projector system including image processing apparatus, image processing method | |
| US10664981B2 (en) | Data processing apparatus and method of controlling same | |
| JP2005326247A (ja) | 校正装置及び校正方法並びに校正プログラム | |
| JP6413595B2 (ja) | 画像処理装置、システム、画像処理方法およびプログラム | |
| US10713810B2 (en) | Information processing apparatus, method of controlling information processing apparatus, and storage medium | |
| US9659379B2 (en) | Information processing system and information processing method | |
| US10277884B2 (en) | Method and apparatus for acquiring three-dimensional image, and computer readable recording medium | |
| JP5849522B2 (ja) | 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 | |
| JP2019530059A (ja) | 複数の対象とする領域を独立的に処理する方法 | |
| JP5822463B2 (ja) | 三次元計測装置、三次元計測方法、およびプログラム | |
| KR102160340B1 (ko) | 이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치 | |
| US10621694B2 (en) | Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium | |
| JP7130544B2 (ja) | ３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラム | |
| US20200228698A1 (en) | Image processing device, image capturing device, control method of image processing device, control method of image capturing device, and storage medium | |
| JP2011053025A (ja) | 距離計測装置および距離計測方法 | |
| JP2006023133A (ja) | ３次元形状測定装置および方法 | |
| JP2006064454A (ja) | 三次元画像取得装置および方法 | |
| Jonscher et al. | Reconstruction of images taken by a pair of non-regular sampling sensors using correlation based matching | |
| JP6074198B2 (ja) | 画像処理装置及び画像処理方法 | |
| KR101087863B1 (ko) | 구조 광 패턴을 이용한 영상의 경계를 결정하는 방법, 이러한 방법이 기록된 기록매체 및 구조 광 패턴을 이용한 영상의 경계 인식 시스템 | |
| KR20140068444A (ko) | 다층 평면 물체 영상을 이용하여 카메라를 보정하기 위한 장치 및 그 방법 | |
| CN117629109A (zh) | 三维测量装置、方法、存储介质、***和物品制造方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220824 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7130544 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |