JP2019015706A - 撮像装置及びモニタリング装置 - Google Patents

撮像装置及びモニタリング装置 Download PDF

Info

Publication number
JP2019015706A
JP2019015706A JP2017135381A JP2017135381A JP2019015706A JP 2019015706 A JP2019015706 A JP 2019015706A JP 2017135381 A JP2017135381 A JP 2017135381A JP 2017135381 A JP2017135381 A JP 2017135381A JP 2019015706 A JP2019015706 A JP 2019015706A
Authority
JP
Japan
Prior art keywords
light
distance
sensor unit
unit
specular reflector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017135381A
Other languages
English (en)
Inventor
洋平 小倉
Yohei Ogura
洋平 小倉
堅誠 城
Kensei Jo
堅誠 城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2017135381A priority Critical patent/JP2019015706A/ja
Priority to PCT/JP2018/015743 priority patent/WO2019012770A1/ja
Priority to EP18831506.3A priority patent/EP3653989B1/en
Priority to CN201880028772.2A priority patent/CN110573833B/zh
Priority to US16/610,283 priority patent/US11320536B2/en
Publication of JP2019015706A publication Critical patent/JP2019015706A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/006Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/0073Interferometric means or methods, e.g. creation of a hologram
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55Specular reflectivity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045Correction of measurements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】1台の測距カメラで直接的に測定することが難しい対象物の領域に対して正確に距離及び形状を測定することが可能な、撮像装置及びモニタリング装置を提供する。【解決手段】対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、前記対象物を挟んで、前記センサ部の反対側に位置する鏡面反射体と、前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から前記鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、を備える、撮像装置を提供する。【選択図】図1

Description

本開示は、撮像装置及びモニタリング装置に関する。
対象物に対して赤外光等を出射して、当該対象物で反射された赤外光を受光することにより、対象物の距離や表面形状を測定する測距カメラが知られている。このような測距カメラとしては、例えば、下記特許文献1に開示の技術が挙げられる。
ところで、上記測距カメラにより対象物を測定しようとする際、1台の測距カメラによって測定できない領域、具体的には、対象物自身による遮断によって直接的に測定できない背面等が存在する場合がある。このような場合、1台の測距カメラと鏡面反射体とを組み合わせて用いて、対象物の背面等を測定することが考えられる。このような方法としては、例えば、下記特許文献2に開示の技術を挙げることができる。
特開2012−57960号公報 特表2012−509470号公報
ところで、鏡面反射体を用いて測定を行う場合には、2つの経路の光が存在する。1つ目の経路の光は、測距カメラから対象物に到達し、当該対象物で直接反射されて測距カメラに戻る光である。一方、2つ目の経路の光は、測距カメラから鏡面反射体に到達し、鏡面反射体で反射されて対象物に到達し、さらに同じ経路で鏡面反射体を介して当該対象物から測距カメラに戻る光である。そして、対象物の形状によっては、これら異なる2つの経路の光が対象物の同一点(面)上で干渉する場合があり(このような現象をマルチパスによる干渉と呼ぶ)、このような場合、干渉光を受光することにより、測距カメラが正しく対象物の距離及び形状を測定することができない場合がある。しかしながら、上記特許文献2に開示の技術においては、上述のようなマルチパスによる干渉を考慮して測定するものではないことから、正確に対象物の距離及び形状を測定することが難しい。
そこで、本開示では、上記事情を鑑みて、1台の測距カメラで直接的に測定することが難しい対象物の領域に対して正確に距離及び形状を測定することが可能な、新規且つ改良された撮像装置及びモニタリング装置を提案する。
本開示によれば、対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、前記対象物を挟んで、前記センサ部の反対側に位置する鏡面反射体と、前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から前記鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、を備える、撮像装置が提供される。
また、本開示によれば、対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から、前記対象物を挟んで前記センサ部の反対側に位置する鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、を備える、撮像装置が提供される。
さらに、本開示によれば、対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から、前記対象物を挟んで前記センサ部の反対側に位置する鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、を有する撮像装置が搭載されたモニタリング装置が提供される。
以上説明したように本開示によれば、1台の測距カメラで直接的に測定することが難しい対象物の領域に対して正確に距離及び形状を測定することが可能な、撮像装置及びモニタリング装置を提供することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る測距システム1の構成例を示す図である。 同実施形態に係る鏡面反射体20を用いた対象物50に対する測定を説明する説明図(その1)である。 同実施形態に係る鏡面反射体20を用いた対象物50に対する測定を説明する説明図(その2)である。 同実施形態に係る鏡面反射体20を用いた対象物50に対する測定を説明する説明図(その3)である。 同実施形態に係る鏡面反射体20を用いた対象物50に対する測定を説明する説明図(その4)である。 同実施形態に係る測距カメラ10の構成を示すブロック図である。 同実施形態に係る処理装置30の構成を示すブロック図である。 同実施形態に係る測定方法の一例を説明するフローチャート図である。 同実施形態に係る鏡面反射体20の測定方法の一例を説明する説明図である。 同実施形態に係る補正方法の一例を説明する説明図である。 同実施形態の適用例1を説明する説明図である。 同実施形態の適用例2を説明する説明図である。 同実施形態の適用例3を説明する説明図である。 同実施形態の適用例4を説明する説明図である。 同実施形態に係る処理装置900のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1. 本開示の実施形態に係る測距システム1の概要
2. 本発明者らが本開示に係る実施形態を創作するに至る背景
3. 本開示の実施形態に係る測距システム1に含まれる各装置の詳細
3.1 測距カメラ10の詳細構成
3.2 処理装置30の詳細構成
4. 本開示の実施形態に係る測定方法
4.1 鏡面反射体の測定
4.2 マルチパスの干渉による誤差の補正
4.3 マルチパスの発生有無の判定
5. 本開示の実施形態の適用例
5.1 適用例1
5.2 適用例2
5.3 適用例3
5.4 適用例4
6. まとめ
7. ハードウェア構成について
8. 補足
<<1. 本開示の実施形態に係る測距システム1の概要>>
まずは、本開示の実施形態に係る測距システム(撮像装置)1の概要について、図1を参照して説明する。図1は、本実施形態に係る測距システム1の構成例を示す図である。図1に示すように、本実施形態に係る測距システム1は、測距カメラ10と、鏡面反射体20と、処理装置30とを含む。また、図1においては、測距の対象となる対象物50が示されており、測距カメラ10と鏡面反射体20とは、対象物50を挟んで向かい合うように配置されている。言い換えると、鏡面反射体20は、対象物50を挟んで測距カメラ10と反対側に位置する。本開示の実施形態に係る測距システム1は、測距カメラ10が一台であっても、鏡面反射体20を利用することで、例えば、測距カメラ10から見て背面にあたる対象物50の面を測距カメラ10で捉えることができる。なお、図1においては、鏡面反射体20は、平面的な形状をもち、鏡面反射体20の鏡面が床面と直交するように設置されているものとする。以下に、測距システム1に含まれる各装置の概要について説明する。
(測距カメラ10)
本実施形態に係る測距カメラ10は、赤外光等を用いて対象物50の距離及び形状(深さ)を測定する距離測定装置である。詳細には、例えば、測距カメラ10は、対象物50に照射光を出射し、対象物50で反射された反射光を受光し、照射光と反射光との位相差を検出することで、対象物50の距離及び形状を測定する。このような距離の測定方法は、インダイレクトTOF(Time Of Flight)方式と呼ばれている。当該方法は、例えば、室内等の3m程度までの距離にある対象物50を測定する際に好適である。
また、本実施形態においては、測距カメラ10は、照射光を出射した時点から、当該出射光が対象物50で反射されて反射光として受光されるまでの光の往復時間を検出することで、対象物50の距離及び形状を測定してもよい。このような距離の測定方法は、ダイレクトTOF方式と呼ばれている。当該方法は、例えば、野外等の5m程度までの距離にある対象物50を測定する際に好適である。また、測距カメラ10は、ストラクチャード ライト(structured light)法により、対象物50までの距離(奥行き)を測定する装置であってもよい。ストラクチャード ライト法は、対象物50の表面に所定のパターンを持つ光を投影し、投影された光のパターンの変形を解析することにより、対象物50までの距離を推定する方法である。
なお、以下の説明においては、測距カメラ10は、インダイレクトTOF方式に対応した測距カメラであるものとして説明する。さらに、測距カメラ10には、対象物50を撮像する撮像部120(図6 参照)等が設けられているものとする。また、測距カメラ10の詳細構成については後述する。
(鏡面反射体20)
鏡面反射体20は、光を鏡面反射させる面を持ち、例えば、銀やアルミニウム等の金属や金属膜等からなる面を持つ。また、上述した測距カメラ10から照射される光が赤外線である場合には、鏡面反射体20は、赤外線を反射するフィルムであってもよい。
図1に示すように、鏡面反射体20は、対象物50を挟んで、測距カメラ10と向かい合うように設置される。なお、本実施形態においては、鏡面反射体20の鏡面と測距カメラ10との間の距離や、鏡面反射体20の姿勢は、対象物50の距離を測定する前に既知である、もしくは測定されているものとする。また、本実施形態においては、例えば、鏡面反射体20を既知の距離に固定するために、測距カメラ10と鏡面反射体20との間を固定する固定部材806(図11 参照)が設けられていてもよい。さらに、本実施形態においては、鏡面反射体20の距離及び姿勢を測定するために、その鏡面にマーカ200が設けられていてもよい。なお、固定部材806やマーカ200の詳細については後述する。
また、測定を行う空間の壁面840(図13 参照)に、鏡面反射体20として予め鏡等が設置されている場合には、鏡面反射体20は、本実施形態に係る測距システム1に含まれていなくてもよい。
(処理装置30)
処理装置30は、測距カメラ10によって検出された位相差に基づいて、対象物50の距離及び形状を算出する装置である。処理装置30は、例えば、PC(Personal Computer)、タブレットPC、PDA(Personal Digital Assistant)等のような端末であり、本実施形態を実施するためのアプリケーションが実装されている。図1に示されているように、処理装置30は、測距カメラ10からのセンシングデータを受け取るために、通信ケーブル60によって測距カメラ10と接続されている。なお、本実施形態においては、図1に示されるような有線で処理装置30と測距カメラ10とが接続されていることに限定されるものではなく、無線通信を介して接続されていてもよい。
また、本実施形態においては、処理装置30での処理は測距カメラ10で行われてもよく、すなわち、測距カメラ10がスタンドアロンで処理を行ってもよい。また、本実施形態に係る処理装置30は、例えばクラウドコンピューティング等のようなネットワークへの接続を前提とした、複数の装置からなるシステムであってもよい。
<<2. 本発明者らが本開示に係る実施形態を創作するに至る背景>>
次に、本開示に係る実施形態の詳細を説明する前に、本発明者らが本開示に係る実施形態を創作するに至る背景について、図2から図5を参照して説明する。図2から図5は、本実施形態に係る鏡面反射体20を用いた対象物50に対する測定を説明する説明図である。
例えば、測距カメラ10により測定したい対象物50において、1台の測距カメラ10によって測定できない領域(例えば、対象物50の背面)が存在した場合には、複数の測距カメラ10が必要となる。例えば、このように複数の測距カメラ10を用いて対象物50の背面等を測定する方法が上記特許文献1に開示されている。当該方法によれば、複数の測距カメラ10が必要となることから、測距システム1の構築のためのコストの増加を抑えることが難しい。また、複数の測距カメラ10によって得られた距離情報を含む画像を合成して3次元画像を得る場合には、各測距カメラ10で取得した点群情報を適切に位置合わせする必要があることから、複数の測距カメラ10で測定する領域の一部が互いに重なっていることが求められる。その結果、上記特許文献1に開示の技術においては、測距カメラ10の設置位置に制約があることから、自由に移動する対象物50に追従して測定することは容易ではない。また、上記特許文献1に開示の技術では、複数の測距カメラ10の間での干渉をさけるため、これら測距カメラ10の間で同期をとる必要もある。
上記コストの増加を抑えるために、1台の測距カメラ10が対象物50の周囲を回るように移動して測定する、もしくは、対象物50自身を回転させて測定することが考えられる。このような場合、測定に時間がかかり、さらには、対象物50が時間とともに動的に変化する場合(例えば、対象物50が時間とともに形状変化する場合)には対応できない。
また、1台の測距カメラ10と鏡面反射体20とを組み合わせて用いて、測距カメラ10によって測定できない領域を測定することが考えられる。このような方法としては、上記特許文献2に開示の技術を挙げることができる。詳細には、図1を側面側から見た図2に示すように、鏡面反射体20は、床面に対して垂直になるように設置されており、測距カメラ10と鏡面反射体20との間には、対象物50が設置されている。この際、測距カメラ10の光軸は、図中の右方向へ向いている。そして、測距カメラ10は、対象物50に向けて光を照射する。照射された光の一部は、対象物50の前面50a(図中の左側面)に到達し、前面50aで反射されて測距カメラ10によって受光される。なお、以下の説明においては、このような光の経路を第1の経路500と呼ぶ。一方、照射された光の他の一部は、鏡面反射体20に到達して、鏡面反射体20で反射して対象物50の背面50b(図中の右側面)に到達する。さらに、当該光は、対象物50の背面50bで反射された後、再び鏡面反射体20へ到達し、そこで反射されて測距カメラ10によって受光される。なお、以下の説明においては、このような光の経路を第2の経路502と呼ぶ。このような第2の経路は、光が鏡面反射していることから、一意に定まることとなる。
従って、測距カメラ10は、対象物50の背面50bの距離を測定する場合には、測距カメラ10から鏡面反射体20までの距離ではなく、測距カメラ10から鏡面反射体20で反射して対象物50に届くまでの距離を測定することとなる。
そして、第2の経路の光によって測定される対象物50の背面50bの像は、測距カメラ10によって、図3に示すように鏡面反射体20の向こう側に存在するように観測される。なお、以下の説明においては、鏡面反射体20の向こう側に存在するように観測される像を鏡像602と呼ぶ。また、以下の説明においては、対象物50の前面50aのように鏡面反射体20の手前側に存在するように観測される像を実像600と呼ぶ。
すなわち、上述の実像600と鏡像602とは、鏡写しの関係にある。この際、測距カメラ10から見て鏡面反射体20の位置及び姿勢が既知であれば、図4に示すように、鏡像602を鏡面反射体20の平面に対して反転させ、実像600と一致させることにより、対象物50の3次元像(3次元画像)を得ることができる。
ところで、図5に示すように、対象物50の上面50cのように、対象物50の形状によっては、第1の経路500の光と第2の経路502の光との両方が到達し、両者が反射する面が存在することがある。第1の経路500の光と、第2の経路502の光とは、経路の長さが互いに異なることから互いに位相が異なり、第1の経路500の光と、第2の経路502の光とは、対象物50の上面50c等の上で干渉700を起こすこととなる。その結果、測距カメラ10は、このように生じた干渉光を受光することとなる。従って、測距カメラ10で受光した光は、上記干渉700により、本来受光されるべき位相とは異なる位相を持っていることとなる。その結果、測定される距離に誤差(歪み)が生じ、本来測定されるべき正しい距離を得ることができない。なお、以下の説明においては、このような現象をマルチパスによる干渉700と呼ぶ。すなわち、以下の説明においてマルチパスによる干渉700とは、互いに異なる経路の光によって干渉700が生じることをいい、対象物50の形状にもよるが、鏡面反射体20を設けることにより生じる現象である。
しかしながら、先に説明したように、上記特許文献2に開示の技術においては、上述したマルチパスによる干渉700を考慮して測定するものではないことから、正確に対象物50の距離及び形状を測定することが難しい。
そこで、本発明者らは、上記状況を鑑みて、対象物50自身による遮断等によって、1台の測距カメラ10で直接的に測定することが難しい対象物50の領域に対して、正確に距離及び形状を測定することが可能な、本開示の実施形態を創作するに至った。詳細には、以下に説明する本開示の実施形態によれば、鏡面反射体20を設けることによりマルチパスによる干渉700が生じた場合であっても、対象物50の距離及び形状を正確に測定することができる。以下、このような本開示の実施形態の詳細を順次詳細に説明する。
<<3. 本開示の実施形態に係る測距システム1に含まれる各装置の詳細>>
次に、本開示の実施形態に係る測距システム1に含まれる各装置の詳細を説明する。詳細には、先に説明したように、本実施形態に係る測距システム1は、測距カメラ10と、鏡面反射体20と、処理装置30とを含む。以下においては、本実施形態に係る測距カメラ10及び処理装置30の詳細について説明する。
<3.1 測距カメラ10の詳細構成>
まずは、図6を参照して、測距カメラ10の詳細構成について説明する。図6は、本実施形態に係る測距カメラ10の構成を示すブロック図である。図6に示すように、測距カメラ10は、センサ部100と、位相差算出部110と、撮像部(カラーセンサ部)120と、制御部150と、通信部160とを主に有する。以下に、測距カメラ10の各機能部の詳細について説明する。
(センサ部100)
センサ部100は、対象物50に対して光を照射する照射部102と、反射された光を受光(検知)する受光部104とを主に有する。
詳細には、照射部102は、レーザ光源(図示省略)と光学素子(図示省略)と光電素子(図示省略)とを有している。レーザ光源としては、例えば、レーザダイオードが用いられ、照射される光の波長は、レーザダイオードを適宜選択することにより、変えることができる。なお、本実施形態においては、照射部102は、波長785nm付近の赤外光を照射するものとして説明する。また、レーザ光源は、照射部102に複数設けられていてもよい。また、光学素子は、例えば、コリメーターレンズ等を持ち、レーザ光源からの光を略平行光として出射する機能を有する。さらに、受光素子は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等からなり、出射した光の一部を受光して、受光した光の強度に基づいて受光信号を生成し、詳細には、受光した光の強度に略比例する信号を生成する。そして、当該受光素子は、生成した信号を後述する位相差算出部110に出力する。
なお、レーザ光源は、後述する制御部150による駆動され、光を対象物50へ照射する。さらに、レーザ光源から出射される光の強度も、後述する制御部150によって制御される。また、照射部102は、投光用ミラー(図示省略)等を有していてもよい。
受光部104は、集光レンズ(図示省略)と受光素子(図示省略)とを有している。集光レンズは、受光した光を受光素子に集める機能を有する。また、受光素子は、例えば、複数の画素を持つCMOSイメージセンサ等からなり、画素ごとに、受光した光の強度に基づいて受光信号を生成し、詳細には、受光した光の強度に略比例する信号を生成する。従って、測距カメラ10は、各画素に対応する光の強度を取得することはできる。さらに、当該受光素子は、生成した信号を後述する位相差算出部110に出力する。この際、受光部104に、増幅アンプ(図示省略)等を設け、生成した信号を増幅した後に、位相差算出部110に出力してもよい。なお、受光部104は、集光ユニット(図示省略)等を有していてもよい。
(位相差算出部110)
位相差算出部110は、照射部102及び受光部104から出力された信号間の位相差、すなわち、照射部102から照射された光と受光部104で受光下光との位相差を算出し、算出した位相差(センシングデータ)を後述する処理装置30へ出力する。なお、当該位相差算出部110の機能は、後述する処理装置30において行われてもよい。
(撮像部120)
撮像部120は、対象物50のカラー撮像画像を取得する。詳細には、撮像部120は、CMOSイメージセンサ等の撮像素子(図示省略)と、撮像素子で光電変換された信号に対して撮像信号処理を施す信号処理回路(図示省略)とを含んで構成される。上記撮像素子は、対象物50からの入射光を光学像として集光し、上記信号処理回路は、結像された光学像を画素単位で光電変換し、各画素の信号を撮像信号として読み出し、画像処理することにより撮像画像を取得することができる。撮像部120は、例えば、撮像して得られた撮像画像を処理装置30へ出力する。さらに、撮像部120は、撮像レンズ、絞り機構、ズームレンズ、及びフォーカスレンズ等により構成される光学系機構(図示省略)及び、上記光学系機構の動作を制御する駆動系機構(図示省略)をさらに有する。なお、撮像部120は、測距カメラ10のセンサ部100との相対位置及び姿勢が既知であれば、測距カメラ10と分離して設けられていてもよい。
(制御部150)
制御部150は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等のハードウェアにより実現され、測距カメラ10の各機能部を制御する。
(通信部160)
通信部160は、データの送受信を行う機能を有する通信インターフェースであって、処理装置30等の外部装置との間で情報の送受信を行うことができる。通信部160は、通信ポートや、通信アンテナ、送受信回路等の通信デバイスにより実現される。
なお、測距カメラ10は、超音波等を用いて鏡面反射体20の距離及び姿勢を測定する鏡面反射体センサ部(図示省略)をさらに有していてもよい。
<3.2 処理装置30の詳細構成>
次に、図7を参照して、処理装置30の詳細構成について説明する。図7は、本実施形態に係る処理装置30の構成を示すブロック図である。図7に示すように、処理装置30は、距離算出部300と、補正部310と、判定部320と、画像処理部330と、制御部350と、通信部360とを主に有する。以下に、処理装置30の各機能部の詳細について説明する。
(距離算出部300)
距離算出部300は、上述の測距カメラ10から出力された位相差に基づいて、測距カメラ10から対象物50までの距離を算出する。
(補正部310)
補正部310は、上述の第1の経路の光と第2の経路の光との干渉700(マルチパスによる干渉700)に起因する、算出された上記距離に含まれる誤差を補正する。なお、補正部310の処理の詳細については、後述する。
(判定部320)
判定部320は、上述したマルチパスの干渉700に起因する誤差の発生の有無を判定する。例えば、判定部320は、反転させた対象物50の鏡像602と、当該対象物50の実像600の一致の有無により、誤差の発生の有無を判定する。なお、判定部320の処理の詳細については、後述する。
(画像処理部330)
画像処理部330は、上述の距離算出部300で得られた対象物50における画素(点)ごとの距離情報に基づき、対象物50の3次元点群を取得する。また、画像処理部330は、鏡面反射体20の位置及び姿勢に基づき、対象物50の鏡像602の3次元点群に対して反転処理を行うこともできる。
(制御部350)
制御部350は、例えば、CPU、ROM、RAM等のハードウェアにより実現され、処理装置30の各機能部を制御する。
(通信部360)
通信部360は、データの送受信を行う機能を有する通信インターフェースであって、測距カメラ10等の外部装置との間で情報の送受信を行うことができる。通信部360は、上述の通信部160と同様に、通信ポートや、通信アンテナ、送受信回路等の通信デバイスにより実現される。
<<4. 本開示の実施形態に係る測定方法>>
以上、本開示の実施形態に係る測距システム1に含まれる各装置の詳細について説明した。続いて、本実施形態に係る測定方法について、図8を参照して説明する。図8は、本実施形態に係る測定方法の一例を説明するフローチャート図である。図8に示すように、本実施形態に係る測定方法には、ステップS101からステップS115までの複数のステップが含まれている。以下に、本実施形態に係る測定方法に含まれる各ステップの詳細を説明する。
(ステップS101)
まずは、処理装置30は、測距カメラ10からのセンシングデータに基づいて算出された、対象物50の各点の座標情報及び距離情報を含む3次元点群を取得する。
(ステップS103)
次に、処理装置30は、測距カメラ10から見た鏡面反射体20の位置及び姿勢の情報を既に取得しているかどうか確認する。処理装置30は、既に取得していない場合には、ステップS105へ進み、既に取得している場合には、ステップS107へ進む。
(ステップS105)
処理装置30は、測距カメラ10から見た鏡面反射体20の位置及び姿勢の情報を取得する。例えば、測距カメラ10が、鏡面反射体20の位置及び姿勢を測定し、処理装置30は、当該測定結果を取得する。なお、鏡面反射体20の位置及び姿勢の測定の詳細については、後述する。
(ステップS107)
続いて、処理装置30は、鏡面反射体20を設けることにより生じるマルチパスによる干渉700に起因した誤差を補正し、補正を施した対象物50の3次元点群を取得する。なお、補正の詳細については後述する。
(ステップS109)
処理装置30は、ステップS107にて補正を施した鏡像602についての3次元点群を鏡面反射体20の平面に対して反転させ、反転させた鏡像602を、補正を施した実像600の3次元点群と一致させる。なお、鏡像602の反転の際には、ステップS105で取得した鏡面反射体20の位置及び姿勢の情報が用いられることとなる。
(ステップS111)
処理装置30は、ステップS109での実像600と鏡像602との一致の有無に基づき、マルチパスによる干渉700の有無を対象物50の領域(点)ごとに判定する。処理装置30は、干渉700の発生が無いと判定した場合には、ステップS113へ進み、干渉700の発生がある場合には、ステップS115へ進む。なお、マルチパスによる干渉700の有無の判定の詳細については後述する。
(ステップS113)
処理装置30は、ステップS107で行った補正を解除し、補正を施していない3次元点群を取得する。
(ステップS115)
処理装置30は、上述した一連のステップを対象物50の全ての領域(点)に対して行い、最終的にマルチパスによる干渉700の影響を受けていない対象物50の3次元点群を取得し、例えば、ユーザ等に出力する。なお、この際に得られる3次元点群においては、マルチパスによる干渉700の有無に応じて補正されている、もしくは補正されていない状態であるため、対象物50の実像600と反転させた鏡像602とが一致することとなる。これまで、実像600と反転させた鏡像602と位置合わせにおいては、ユーザによる入力操作によってずれを解消させてから位置合わせを行うことが求められる場合があったが、本実施形態においては、このような入力操作が不要となる。また、これまで、実像600と反転させた鏡像602と位置合わせにおいては、実像600と鏡像602との両方において共通して観測される共通領域を設けて、当該共通領域に基づく位置合わせを行うことが求められる場合があったが、本実施形態においては、このようなことも不要となる。
なお、図8に示される測定方法においては、補正された実像600と鏡像602との一致により干渉の有無を判定しているが、本実施形態はこれに限定されるものではない。例えば、本実施形態においては、補正される前の実像600と鏡像602との一致により干渉の有無を判定し、判定結果に基づいて補正を行うか否かを選択してもよい。
以下に、ステップS105における鏡面反射体20の位置及び姿勢の測定の詳細、ステップS107における補正の詳細、及び、ステップS111における誤差の有無の判定の詳細を順次説明する。
<4.1 鏡面反射体の測定>
まずは、ステップS105における鏡面反射体20の位置及び姿勢の測定の詳細について、図9を参照して説明する。図9は、本実施形態に係る鏡面反射体20の測定方法の一例を説明する説明図である。
ところで、鏡面反射体20の鏡面では鏡面反射を起こすことから、鏡面反射体20に入射する入射光と鏡面反射体20で反射した反射光は同じ経路を辿らない。従って、測距カメラ10によって、鏡面反射体20までの距離を直接的に測定することができない。そこで、本実施形態においては、鏡面反射体20の鏡面に、例えば光沢の少ない表面を持つマーカ200を貼り付ける。そして、このようなマーカ200の表面では、鏡面反射が生じないことから、測距カメラ10により、当該マーカ200までの距離を測定することができるようになり、従って鏡面反射体20の位置及び姿勢を測定することができる。なお、この際のマーカ200の検出方法は、マーカ200の撮像画像に対してユーザが手動で選択してもよく、マーカ200の形状が既知であれば、測距カメラ10が当該形状に基づいて自動的に検出してもよく、特に限定されるものではない。
詳細には、図9の左側に示すように、鏡面反射体20aの表面の四隅に沿って、非光沢表面を持つマーカ200aが貼付されている。この場合、4つのマーカ200aに対して測定を行うことにより、鏡面反射体20aの位置及び姿勢を測定することができる。なお、図9の左側に示すように、マーカ200aは、円形であることに限定されるものではなく、また、4つに限定されるものではない。例えば、本実施形態においては、マーカ200は、互いに離間して設けられた3つ以上のマーカ(マーカ部)を含んでいてもよい。
また、本実施形態においては、マーカ200bは、図9の中央に示すように三角形であってもよく、この場合、マーカ200bの各頂点に対して測定を行うことにより、鏡面反射体20bの位置及び姿勢を測定することができる。さらに、本実施形態においては、マーカ200cは、図9に右側に示すように、鏡面反射体20cの平面の4隅に沿った枠状の形状を持っていてもよく、この場合、マーカ200cの各頂点に対して測定を行うことにより、鏡面反射体20cの位置及び姿勢を測定することができる。
さらに、本実施形態においては、鏡面反射体20の位置及び姿勢を測定することができれば、上述のようなマーカ200を用いる方法に限定されるものではない。例えば、本実施形態によれば、測距カメラ10から超音波を鏡面反射体20に向けて出射する鏡面反射体測定部(鏡面反射体センサ部)を設けることにより、鏡面反射体20の位置及び姿勢を測定してもよい。また、本実施形態によれば、鏡面反射体20の撮像画像を利用したモーションキャプチャ法によって、鏡面反射体20の位置及び姿勢を測定してもよく、特に限定されるものではない。なお、本実施形態において、鏡面反射体20と測距カメラ10とがそれぞれ固定されており、相対的な位置及び姿勢の関係が既知であれば、上述したマーカ200や鏡面反射体測定部等は不要となる。
本実施形態においては、測距カメラ10と鏡面反射体20との相対的な位置関係が撮像フレームごとに既知あればよい。従って、本実施形態においては、測距カメラ10と鏡面反射体20との相対的な位置関係が動的に変化する場合には、撮像フレーム毎に上述の方法を用いて測距カメラ10と鏡面反射体20との相対的な位置関係の取得を行えばよい。
<4.2 マルチパスの干渉による誤差の補正>
次に、ステップS107における補正の詳細について、図10を参照して説明する。図10は、本実施形態に係る補正方法の一例を説明する説明図である。詳細には、図10は、測距カメラ10のカメラ中心Oと、鏡面反射体20と、測距カメラ10によって本来測定されるべき対象物50の位置x(マルチパスによる干渉700の影響を受けていない場合に測定されるべき対象物50の位置)と、マルチパスによる干渉700に起因する誤差を含む観測された対象物50の位置xobsとの位置関係を模式的に示す。
先に説明したように、対象物50の形状によっては、第1の経路500の光と第2の経路502の光とは、対象物50の上面50c等で干渉700を起こし(マルチパスによる干渉700)、測距カメラ10は、本来受光されるべき位相とは異なる位相を持つ光を受光することとなる。その結果、測定される距離に誤差(歪み)が生じ、対象物50の正しい距離を得ることができない。そこで、本実施形態においては、鏡面反射体20を設置したことによって生じたマルチパスによる干渉700に起因する誤差の補正を実施し、対象物50の正しい距離を取得する。
詳細には、本実施形態においては、鏡面反射体20を設置したことによるマルチパスによる干渉700の影響を受けた場合に生じると推定される位相、すなわち、測距カメラ10で測定されるであろう位相を後述するモデル(推定値)によって表現する。そして、本実施形態においては、当該モデルから推定される位相と実際に観測された位相との差分を最小することにより、測距カメラ10により本来受光されるべき位相、すなわちマルチパスによる干渉700の影響を受けていない位相を推定する。さらに、本実施形態においては、当該推定に基づいて上記誤差を補正し、対象物50の距離を算出する。
まず、本実施形態における、第1の経路500の光と第2の経路502の光とが干渉した場合、すなわち、マルチパスによって干渉した場合に得られる位相を推定するモデルについて、図10を参照して説明する。
本実施形態においては、第1の経路500の光も、第2の経路502の光も、同一の測距カメラ10から出射しているため、同一の周波数であると考えることができる。そのため、マルチパスによって干渉した場合に得られる干渉光は、同一の周波数で、且つ、位相及び振幅が異なる波形同士の合成波であると考えることができる。そこで、測距カメラ10から光が照射され、対象物50の表面の点xdに到達した時点での、第1の経路500の光の位相をPとし、第2の経路502の光の位相をPとした場合には、点xにおける干渉光の位相Pは、以下の式(1)で表わされる。なお、P、Pは、片道分の位相であり、鏡面反射体20によって生じるマルチパスの干渉700の影響を受けていない理想的な位相であるとする。また、以下の式(1)においては、第1の経路500の光と第2の経路502の光とが干渉する対象物50の点xにおける、第1の経路500の光の振幅と第2の経路502の光の振幅とをそれぞれpower、powerとしている。
Figure 2019015706
次に、位相P、Pと、第1の経路500の片道分の経路長lと第2の経路502の片道分の経路長lとの関係は、以下の式(2)で表される。なお、式(2)において、fは測距カメラ10から照射された光の周波数を示し、cは光速を示す。
Figure 2019015706
ところで、実際には、第1の経路500の光と、第2の経路502の光とが干渉した時点では、第1の経路500の光と第2の経路502の光とが辿ってきた経路長l、lの長さが異なる。従って、ある点における光の振幅(power)は、逆2乗の法則に従い、光源からその点までの距離の2乗に反比例することから、第1の経路500の光の振幅と、第2の経路502の光の振幅とは互いに異なることとなる。さらに、対象物50上で光がランバート反射するものと仮定すると、これら2つの光が干渉する対象物50の点xにおける、法線ベクトルの向きに対する入射光(第1の経路500の光と第2の経路502の光)の向きを考慮することが求められる。
そこで、測距カメラ10の照射時の光の振幅を1とした場合、点xにおける、第1の経路500の光の振幅powerと第2の経路502の光の振幅powerは、以下の式(3)によって表すことができる。なお、式(3)においては、α、αは、点xにおける、法線ベクトルと点xに入射した第1の経路500の光及び第2の経路502の光の方向ベクトルがなす角度である。また、式(3)におけるrは、鏡面反射体20の反射率を示し、0≦r≦1の範囲にある定数である。当該反射率rは、鏡面反射体20の反射面の材質によって異なる。なお、本実施形態においては、鏡面反射体20の反射率rは既知であるとする。
Figure 2019015706
ところで、第1の経路500の光と第2の経路502の光とが干渉する対象物50の点xにおいては、両方の光はランバート反射が生じていることから、式(3)中のcosαとcosαとは1に近似できるものとして考える。
従って、点xにおける干渉光の位相Pは、上述の式(1)は、数式(2)及び(3)をあてはめることにより、Pd、Prの関数として以下の式(4)で表されることとなる。なお、式(4)においては、A=c/2πfとしている。
Figure 2019015706
上記式(4)で示されるモデルを用いることにより、点xにおける干渉光の位相Pを推定することができるようになる。
ところで、対象物50の点xで干渉した干渉光は、その後、測距カメラ10に到達する。このとき、第1の経路500と同様の経路を辿った場合、すなわち、直接対象物50から測距カメラ10に到達した場合には、測距カメラ10に到達した時点の光の位相Pは、さらにPdだけずれることとなる。つまり、干渉光が、第1の経路500を辿って進んだ場合の光の位相Pは、以下の式(5)のように示されることとなる。
Figure 2019015706
このように、式(5)によって、鏡面反射体20を設置したことによるマルチパスで干渉700が生じた場合に観測される光の位相Pをモデル化することができる。
そして、本実施形態においては、上記式(5)で示されるモデルによって表される位相Pと、実際に観測された位相Pobsとの差分を最小することにより、マルチパスによる干渉700が発生しない場合に観測される理想的な位相P、Pを求める。ここで、実際に、測距カメラ10によって観測された、鏡面反射体20を設置したことによるマルチパスで干渉700に起因した誤差を含む位相をPobsとする。なお、当該位相Pobsは、測距カメラ10のカメラ中心Oから点xobsまでのいわゆる片道での位相であり、式(5)で示される位相Pは、測距カメラ10のカメラ中心Oから点xobsまでの往復分の位相である。従って、上記式(5)で示されるモデルによって表される位相Pと、実際に観測された位相Pobsの差分f(P、P)は、下記式(6)で表される。
Figure 2019015706
また、上述と同様に、干渉光が測距カメラ10に到達するとき、第2の経路502と同様の経路を辿った場合、すなわち、対象物50から鏡面反射体20を介して測距カメラ10に到達した場合には、位相がさらにPrだけずれることとなる。つまり、干渉光が、第2の経路502を辿って進んだ場合の光の位相Pは、以下の式(7)のように示されることとなる。なお、この場合、測距カメラ10から見て点xに対象物50が存在するように、すなわち、点xに鏡像602が存在するように観測される。
Figure 2019015706
そして、上述と同様に、上記式(7)で示されるモデルによって表される位相Pと、実際に観測された位相Pobsの差分f(P、P)は、下記式(8)で表される。
Figure 2019015706
そして、上記式(6)及び(8)で示される差分f(P、P)及び差分f(P、P)を最小化することにより、すなわち、実測値である位相Pobsとマルチパスによる干渉700の影響を受けた場合に生じると推定される位相の推定値とを比較することにより、P、Pを求めることができる。なお、上記の式(2)からわかるように、測距カメラ10から照射された光の周波数fと、光速cが既知であれば、P、Pから、測距カメラ10のカメラ中心Oから点xdまでの距離l、lを求めることができる。そして、観測された位相PobsをP、Pに置き換えることにより、マルチパスによる干渉700に起因する誤差の補正を行うことができる。
また、測距カメラ10から得られた対象物50の3次元点群の情報から、測距カメラ10のカメラ中心Oから点xobsを通過する直線の式を得ることができる。ところで、鏡面反射体20を設置することにより生じるマルチパスの干渉700は、観測される位相、すなわち距離値に関して影響を与え、光が進む方向に対しては影響しない。さらに、鏡面反射体20の位置及び姿勢は既知であることから、点xの位置がわかれば、点xの位置も一意に定まることとなる。詳細には、測距カメラ10のカメラ中心Oと、点x、点xobsは、いずれも同一の直線上に存在する。さらに、点xは、鏡面反射体20の平面に対して点xと対象となる位置に存在する。従って、カメラ中心Oから観測された対象物50に向かって直線上を走査しつつ、上記式(6)及び(8)を最小化する点を求めることにより、理想的な観測点xの位置、すなわち距離lを求めることができる。また、点xに基づいて点xの位置も定まることから、カメラ中心Oから点xまでの距離lを求めることができる。
<4.3 マルチパスの発生有無の判定>
次に、ステップS111における誤差の有無の判定の詳細を順次説明する。ところで、マルチパスによる干渉700の発生の説明の際にも述べたが、対象物50の形状によっては、マルチパスによる干渉700が発生しないこともある。また、同一の対象物50においても、マルチパスによる干渉700が発生する領域と、マルチパスによる干渉700が発生しない領域とが混在することもある。このような場合に、観測データの全ての点に対して上述の補正を行うと、マルチパスによる干渉700が発生していない領域については過剰に補正されていることとなることから、実際の対象物50とはかけ離れた3次元点群が取得される可能性がある。そこで、本実施形態においては、マルチパスによる干渉700が発生しているか否か、詳細には、マルチパスによる干渉700が発生する領域と、マルチパスによる干渉700が発生しない領域との判別を行う。
まず、本実施形態においては、上述した補正を、実像600及び鏡像602を含む観測された全ての3次元点群に対して実施する。次に、補正が施された鏡像602を鏡面反射体20の平面に対して反転させ、反転させた鏡像602を補正が施された実像600に一致させる。この時、マルチパスによる干渉700が発生している領域であれば、反転した鏡像602と実像600との位置及び形状は一致する。一方、マルチパスによる干渉700が発生していない領域であれば、過剰な補正により、反転した鏡像602と実像600との位置及び形状は一致しなくなる。
本実施形態においては、測距カメラ10のカメラパラメータ(焦点距離等)はすべて既知であるとする。従って、測距カメラ10によって取得した各画素の距離値が含まれる距離画像から、対象物50の3次元点群を算出することができる。すなわち、距離画像に含まれる各画素と3次元点群とは一対一対応であることから、3次元点群は、二次元の距離画像に投影することができる。そこで、本実施形態においては、対象物50の実像600から得られた3次元点群と、鏡像602から得られた3次元点群とを距離画像に投影する。反転した鏡像602の3次元点群を投影する際に、各画素に対応する座標がずれ、同一の距離画像に投影された実像画像の3次元点群の画素との対応が取れない場合がある。その場合には、反転した鏡像602の3次元点群における各画素は、近傍に位置する画素と対応するものとして取り扱う。各画素の対応の取り方としては、例えば、最近傍補間、バイリニア補間等の様々な保管方法を選択することができる。このようにして、本実施形態においては、実像600の3次元点群と、反転した鏡像602の3次元点群との対応を取る。
この際、対応する実像600の3次元点群の点と、反転した鏡像602の3次元点群の点との距離が、予め設定した閾値未満であれば、適切に対応が取れているものとして、上述の補正の適用を維持する。一方、対応する実像600の3次元点群の点と、反転した鏡像602の3次元点群の点との距離が、上記閾値以上であれば、適切に対応が取れていないと判断する。この場合、過剰に補正したことにより対応が取れていないと推定し、すなわち、当該点においては、マルチパスによる干渉700が発生していないとして、補正を解除し、測距カメラ10で観測された値をそのまま採用して得られた情報に入れ替える。すなわち、本実施形態によれば、実像600の3次元点群と、反転した鏡像602の3次元点群との一致状態に基づいて、マルチパスによる干渉700が発生する領域と、マルチパスによる干渉700が発生しない領域との判別を行うことができる。
また、本実施形態においては、上述の判別の際に、測距カメラ10の撮像部120で得られたカラー画像を用いてもよい。このようにすることで、マルチパスによる干渉700の発生の判別を、より容易に、且つ、精度良く行うことができる。
詳細には、測距カメラ10のセンサ部100と撮像部120との相対位置関係が既知であり、両者のカメラパラメータ等が既知であるとする。この際、センサ部100によって取得された距離画像の各画素と、撮像部120によって取得されたカラー画像の各画素との対応を特定することができる。従って、本実施形態においては、各画素に対する距離値及び色情報を取得することができる。そこで、本実施形態においては、実像600のカラー画像と鏡像602のカラー画像とを比較し、両方のカラー画像に含まれる対象物50の領域を特定する。このように両方のカラー画像に含まれる領域は、第1の経路500の光による実像600と第2の経路502の光による鏡像602との両者に対応することから、マルチパスによる干渉700が生じている領域に該当する可能性が高い。そこで、本実施形態においては、カラー画像によりこのような領域を特定し、さらに、特定された領域の画素に対応する三次元点群を抽出することにより、マルチパスによる干渉700が生じている領域を取得することができる。すなわち、本実施形態によれば、カラー画像をも参照することにより、マルチパスによる干渉700の発生の判別を、より容易に、且つ、精度良く行うことができる。例えば、実像600と反転させた鏡像602との一致の有無によってマルチパスによる干渉700が生じる領域を判別した際に、判別漏れが生じた場合でも、カラー画像を用いた判別を行い補完することができることから、高精度での漏れのない判別が可能となる。
また、実像600と、反転させた鏡像602とにおいて特徴点マッチングを実施し、両者において一致点が検出できた場合には、実像600と反転させた鏡像602とが一致したと推定してもよい。この際、全ての画素において、特徴点がマッチングするとは限らない。そこで、このような場合には、本実施形態においては、撮像部120によって取得したカラー画像に基づいて、実像600と反転させた鏡像602とに対してカラーセグメンテーションによる領域分割を行う。そして、分割された領域ごとに、特徴点が一致する点の数をカウントし、予め設定した閾値以上の一致点を含む領域では、実像600と反転させた鏡像602とが一致したと推定し、当該領域を、マルチパスによる干渉700が生じる領域と判別する。一方、上記閾値未満の一致点を含む領域では、実像600と反転させた鏡像602とが一致していないと推定し、当該領域を、マルチパスによる干渉700が生じていない領域と判別する。なお、領域分割については、カラーセグメンテーションに限定されるものではなく、対象物50の画像から得られるテクスチャ等に基づき領域分割を行ってもよい。
本実施形態においては、マルチパスによる干渉700が発生している領域の判別方法は、上述のような方法に限定されるものではない。例えば、ユーザによって、対象物50のカラー画像等に対して、マルチパスによる干渉700が発生している領域に該当する部分を指定することにより、当該領域を特定してもよい。また、カラーセグメンテーションによって分割された領域の中からユーザが特定の領域を指定することにより、当該領域を特定してもよい。
<<5. 本開示の実施形態の適用例>>
以上、本開示の実施形態の詳細について説明した。以下では、具体的な適用例を示しながら、本開示の実施形態の一例について説明する。なお、以下に示す適用例は、本開示の実施形態のあくまでも一例であって、本開示の実施形態が下記の適用例に限定されるものではない。
<5.1 適用例1>
まず、図11を参照して、本開示の実施形態の適用例1を説明する。図11は、本実施形態の適用例1を説明する説明図であって、詳細には、本実施形態を用いて患者等の口腔内の歯列810の形状をスキャンする状態を図示している。
例えば、歯科治療において、患者の歯型を取得する場合には、歯型を形成する材料の準備や硬化に時間がかかることがあり、患者にとっては負担となっていた。そこで、このような歯型を取得するのではなく、直接的に歯列810をスキャンして歯列810の三次元形状を取得することができれば、歯型の取得に係る患者への負担を軽減することができる。口腔内は狭く、三次元形状を取得するためのカメラを複数台同時に挿入することは困難である。従って、歯列810の一方の側面をスキャンし、他方の側面をスキャンし、さらに上面をスキャンするといった、上記カメラにより歯列810を複数回スキャンすることが考えられる。しかしながら、複数回歯列810をスキャンすることも、患者への負担が大きい。
ところで、歯科治療においては、外部から視認が難しい口腔内の領域を観察するためにミラー(歯鏡)と呼ばれる、小型の鏡部(ミラートップ)とハンドル部(ミラーハンドル)とからなる器具が利用されている。そこで、当該ミラーに本実施形態に係る測距カメラ10を組み合わせて歯列810を一度のスキャンするモニタリング装置といった適用例を考えることができる。
より具体的には、図11に示すように、本開示の実施形態の適用例1に係る歯科器具800は、歯医者が握るためのハンドル部802と、測距カメラ10と、小型の鏡部(鏡面反射体)20dとを有する。さらに、当該歯科器具800は、測距カメラ10と鏡部20との距離を固定する固定部材806と、ハンドル部802と固定部材806とを接続するジョイント部804とを有する。図11の例では、固定部材806によって、測距カメラ10と鏡部20dとの距離が所定の距離に固定されており、さらに鏡部20の姿勢も固定されていることから、鏡部20dの位置及び姿勢の測定が不要となる。従って、鏡部20dの表面には上述したマーカ200を貼付しなくてもよい。また、図11の例では、ジョイント部804は、回転可能な構造を持っており、測距カメラ10と鏡部20dとが、互いの相対位置が固定されつつ、ジョイント部804を回転軸として回転することにより、様々な位置にある歯列810(対象物50)をスキャンすることができる。
また、本適用例においては、非常に近距離における測定であることから、測距カメラ10から照射される光の強度が強すぎて、測距カメラ10の受光部104の感度が飽和してしまう可能性がある。そこで、本適用例においては、このような飽和を避けるべく、測距カメラ10から照射される光の強度を近距離測定に好適な条件に設定することが好ましい。
また、本適用例においては、マーカ200等を用いて、鏡部20dの位置及び姿勢が測定可能であれば、測距カメラ10と鏡部20dとの距離を固定しなくてもよい。この場合、例えば、測距カメラ10と鏡部20dとが分離されていてもよく、もしくは、互いに自由に可動させることができるような構成を持っていてもよい。
以上のように、本開示の実施形態を適用することにより、複数の測距カメラ10が必要ないことから、複数の測距カメラ10を容易に挿入しにくい口腔内等の狭い空間での測定が容易となる。また、口腔内だけでなく、患者さんの体内の様々な部位をスキャンすることが求められる治療等において、本実施形態を適用することも可能である。また、測距カメラ10と鏡部20dとの距離を固定する固定部材806を用いることにより、鏡部20dの位置及び姿勢の測定が不要となる。
<5.2 適用例2>
次に、図12を参照して、本開示の実施形態の適用例2を説明する。図12は、本実施形態の適用例2を説明する説明図であって、詳細には、本実施形態を用いて車両820に乗車するユーザのジャスチャを認識する例を図示している。なお、図12においては、わかりやすくするために、車両820に乗車するユーザの手(ハンドジェスチャ)830のみを図示し、ユーザの他の身体の部分の図示は省略している。
より具体的には、車両820内において、ユーザ(運転手等)が車両820のオーディオ、カーナビゲーション、エアーコンディショナー等への操作をハンドジェスチャ830によって行う場合を考える。この場合、図12に示すように、本適用例においては、車両820内の天井に測距カメラ10を設置して、当該測距カメラ10によりハンドジェスチャ830を認識することとなる。この際、図12に示すように、ユーザが人差し指をダッシュボード822側へ伸ばすようなハンドジェスチャ830を行った場合には、測距カメラ10の位置、或いはユーザの手の向きによっては、ユーザの手の甲に人差し指が隠れてしまう。その結果、測距カメラ10から人差し指によるハンドジェスチャ830を認識できないことがある。
そこで、本適用例においては、図12に示すように、ダッシュボード822に鏡面反射体20を設置する。このようにすることで、測距カメラ10は、鏡面反射体20を用いて、手の甲によって遮断された人差し指によるハンドジェスチャ830(対象物50)を認識することができる。この際、鏡面反射体20は、例えば、測距カメラ10から照射された赤外線を反射させることができればよいことから、赤外線を反射するフィルムであってもよい。また、実像600に対して鏡像602が出現する位置が既知であれば、本開示の実施形態を実施することができる。従って、本適用例においては、曲率が既知のフロントウィンドウ824に赤外線を反射するフィルムを貼り付けることにより、フロントウィンドウ824を鏡面反射体20として用いてもよい。
以上のように、本適用例においては、上述の本実施形態に係る測距システム1を車内おけるハンドジェスチャ830を認識するモニタリング装置に適用する。このようにすることで、本適用例によれば、遮断されて認識することができなかった指先等のよるハンドジェスチャ830が、車両820内の天井に設置された測距カメラ10によって認識することができる。従って、本適用例によれば、より複雑なハンドジェスチャ830を判別することが可能になることから、1台の測距カメラ10であっても、判別可能なハンドジェスチャ830の種類を増やすことができ、より様々な車両820内の装置等をユーザが操作することが容易となる。
<5.3 適用例3>
次に、図13を参照して、本開示の実施形態の適用例3を説明する。図13は、本実施形態の適用例3を説明する説明図であって、詳細には、本実施形態を用いて、例えば、運動中の人物50dの全身の動きをスキャンする3次元モーションモニタリングシステムを説明する説明図である。
運動中の人物の動きを3次元的にスキャンする際には、モーショントラッキング装置と呼ばれるシステムを用いることが一般的である。モーショントラッキング装置においては、例えば、人物に再帰性反射材からなる複数のマーカを装着し、人物の動きに起因した複数のマーカの動きをトラッキングすることにより、人物の動きを3次元的にスキャンすることができる。しかしながら、このような装置は高価であり、人物に複数のマーカを装着することから人物の動きが阻害される可能性がある。そこで、本適用例においては、上述の3次元モーションモニタリングシステム(モニタリング装置)に上述の測距システム1を適用して、人物に複数のマーカを装着することなく、人物の動きを3次元的にスキャンすることを考える。
より具体的には、図13に示すように、スポーツジム等の施設においては、人物50dが自身の動きを確認するために壁面840の一面に大型の鏡20eが設けられていることがある。そこで、本適用例においては、このような大型の鏡20eを鏡面反射体20として利用する。さらに、図13に示すように、上記施設の天井842、あるいは対象物50となる人物50dの背後に向けて測距カメラ10を設置する。そして、測距カメラ10により、人物50dの実像600と鏡像602とを連続的に取得することにより、運動中の人物50dの動きを3次元的にスキャンすることができる。
上述の本開示の実施形態においては、人物50dが運動する場合であっても、すなわち、対象物50の形状等が時間とともに変化する場合であっても、時間によって変化する要素に基づいて、マルチパスによる干渉700に起因する誤差を補正していない。従って、対象物50である人物50dが運動する場合、すなわち、時間によって対象物50が変化する場合であっても、本実施形態に係る測距システム1を適用することができ、対象物50(人物50d)の動きを精度よく3次元的にスキャンすることができる。
なお、上述においては、図13に示すように、1台の測距カメラ10と1枚の鏡20eとを設置するように説明したが、本適用例においては、鏡20eは1枚に限定されることなく、対象物50である人物50dを囲む3枚の鏡20eを設置してもよい。この場合、人物50dの正面及び背面だけでなく、人物50dの側面に対してもスキャンすることができる。なお、この際、複数の鏡20eによって生じるマルチパスによる干渉700に起因する誤差を補正するために、実像600に対する各鏡像602の位置が既知であることが求められる。
<5.4 適用例4>
次に、図14を参照して、本開示の実施形態の適用例4を説明する。図14は、本実施形態の適用例4を説明する説明図であって、詳細には、ロボット850によりロボット850の周囲環境を3次元的にスキャンする環境モニタリングシステムを説明する説明図である。
近年、ロボット850に関する技術が飛躍的に進歩し、ロボット850は、決められたルートのみを移動するのではなく、ある領域内を自律的に移動することが可能である。このような場合、ロボット850は、SLAM(Simultaneous Localization And Mapping)等を用いて、ロボット850の自己位置を推定する場合がある。さらに、SLAMでは自己位置の推定と同時に、ロボット850の周囲のマップの生成も同時に行う。なお、SLAMは、視差を利用したステレオカメラ、上述のTOF方式の測距カメラ10、レーザファインダ等の装置によって実現することができる。以下の説明においては、ロボット850とは、自律的に移動し、作業等を行うことができる装置のことを言う。
そこで、本適用例においては、図14に示すように、TOF方式の測距カメラ10を利用してSLAMを実行するロボット850を、家庭や工場等の室内で利用する場合を考える。これまで説明したように、TOF方式の測距カメラ10では、鏡面反射体20が周囲に存在した場合には、マルチパスによる干渉700が発生し、対象物50の測定に誤差が生じる。例えば、ロボット850が移動する室内の壁面840に大型の鏡20eが設置されていた場合を考える。ロボット850の測距カメラ10は、床面860(対象物50)が本来平坦であるにもかかわらず、鏡20eによって生じたマルチパスによる干渉700に起因してゆがんだ形状の床面860であると認識することがある。同様に、室内に存在する障害物50e(対象物50)の形状についても、ロボット850の測距カメラ10は、正しく認識できない場合がある。その結果、ロボット850により、ロボット850の周囲のマップが正確に生成できないことがある。
そこで、本適用例においては、ロボット850の周囲環境をスキャンするモニタリング装置として上述の本実施形態を適用する。このようにすることで、鏡20eによって生じるマルチパスによる干渉700に起因した誤差を補正することができることから、本適用例においては、ロボット850の周囲のマップが正確に生成することができる。なお、上述の場合には、鏡20eの位置及び姿勢が既知であることが前提である。
また、人間が容易に入ることはできない空間においては、2台のロボット850を用いて当該空間に関するマップを生成してもよい。当該変形例においては、一方のロボット850には、上述したような本実施形態に係る測距カメラ10を搭載し、他方のロボット850には、本実施形態に係る鏡面反射体20を搭載する。これら2台のロボット850が、測距カメラ10と鏡面反射体20とが互いに向かい合うように移動することにより、上記空間にある物体等のスキャンを行うことができ、人間が容易に入ることはできない空間内であっても正確なマップを生成することができる。なお、上述の場合、測距カメラ10を搭載したロボット850と、鏡面反射体20を搭載したロボット850との相対的な位置関係や姿勢を予め把握した上で物体等のスキャンを行うこととなる。
<<6. まとめ>>
本開示の実施形態によれば、鏡面反射体20と設けることにより、1台の測距カメラ10で、対象物50の実像600と鏡像602を同時に測定することができる。従って、本実施形態によれば、対象物50自身による遮断等によって、1台の測距カメラ10で直接的に測定することが難しい対象物50の背面等の領域を測定することができる。また、本実施形態によれば、1台の測距カメラ10で構成することが可能であることから、測距システム1の構築のためのコストの増加を抑えることができる。
ところで、1台の測距カメラ10であっても、対象物50の周囲を回転移動させる等により、対象物50の正面と背面とを同時に測定することもできるが、このような場合、対象物50が時間とともに動的に変化する場合には測定することができない。しかしながら、本実施形態によれば、このような対象物50であっても、1台の測距カメラ10で対応することができる。
また、複数台の測距カメラ10の使用を前提としていないことから、本実施形態によれば、測距カメラ10同士で同期をとる必要がなく、従って、同期回路等を設ける必要がない。さらに、本実施形態によれば、複数台の測距カメラ10を使用する場合と比べて、狭い空間での利用が容易である。
さらに、複数の測距カメラ10によって得られた画像を合成して3次元画像を得る場合には、各測距カメラ10で取得した3次元点群を適切に位置合わせするために、複数の測距カメラ10で測定する領域の一部が互いに重なっていることが求められる。すなわち、上述のような場合には、複数の測距カメラ10の設置位置には制約がある。しかしながら、本実施形態によれば、1台の測距カメラ10で構成可能であることから、位置合わせの必要もなく、従って測距カメラ10の位置を自由に設定することができる。
また、本実施形態においては、鏡面反射体20を設置したことにより、マルチパスによる干渉700が発生するが、このような干渉700の影響を受けた光の位相を示すモデルを用いることにより、当該干渉700に起因した誤差の補正を行うことができる。従って、本実施形態によれば、正確に対象物50の距離及び形状を測定することが可能になる。さらに、対象物50の形状によっては、マルチパスによる干渉700が生じる領域と、マルチパスによる干渉700が生じない領域とが混在する場合がある。このような場合であっても、本実施形態によれば、干渉700の発生の有無を判別して補正を行うことができることから、補正の必要のない領域に対する過剰補正によって正確な測定値の取得ができないといったことを避けることができる。
<<7. ハードウェア構成について>>
図15は、本実施形態に係る処理装置900のハードウェア構成の一例を示す説明図である。図15では、処理装置900は、上述の処理装置30のハードウェア構成の一例を示している。
処理装置900は、例えば、CPU950と、ROM952と、RAM954と、記録媒体956と、入出力インターフェース958と、操作入力デバイス960とを有する。さらに、処理装置900は、表示デバイス962と、通信インターフェース968と、センサ980とを有する。また、処理装置900は、例えば、データの伝送路としてのバス970で各構成要素間を接続する。
(CPU950)
CPU950は、例えば、CPU等の演算回路で構成される、1または2以上のプロセッサや、各種処理回路等で構成され、処理装置900全体を制御する制御部(例えば、上述の制御部350)として機能する。具体的には、CPU950は、処理装置900において、例えば、距離算出部300、補正部310、判定部320、画像処理部330、及び制御部350等の機能を果たす。
(ROM952及びRAM954)
ROM952は、CPU950が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。RAM954は、例えば、CPU950により実行されるプログラム等を一時的に記憶する。
(記録媒体956)
記録媒体956は、例えば、本実施形態に係る測定方法に係るデータや、各種アプリケーション等様々なデータを記憶する。ここで、記録媒体956としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体956は、処理装置900から着脱可能であってもよい。
(入出力インターフェース958、操作入力デバイス960、及び表示デバイス962)
入出力インターフェース958は、例えば、操作入力デバイス960や、表示デバイス962等を接続する。入出力インターフェース958としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路等が挙げられる。
操作入力デバイス960は、例えば、ユーザの処理装置900に対する操作を受け付ける入力部として機能し、処理装置900の内部で入出力インターフェース958と接続される。
表示デバイス962は、例えばユーザに対して画像等の出力する出力部として機能し、処理装置900上に備えられ、処理装置900の内部で入出力インターフェース958と接続される。表示デバイス962としては、例えば、液晶ディスプレイや有機ELディスプレイ(Organic Electro-Luminescence Display)等が挙げられる。
なお、入出力インターフェース958は、処理装置900の外部の操作入力デバイス(例えば、キーボードやマウス等)や外部の表示デバイス等の、外部デバイスと接続することも可能である。また、入出力インターフェース958は、ドライブ(図示省略)と接続されていてもよい。当該ドライブは、磁気ディスク、光ディスク、又は半導体メモリなどのリムーバブル記録媒体のためのリーダライタであり、処理装置900に内蔵、あるいは外付けされる。当該ドライブは、装着されているリムーバブル記録媒体に記録されている情報を読み出して、RAM954に出力する。また、当該ドライブは、装着されているリムーバブル記録媒体に記録を書き込むこともできる。
(通信インターフェース968)
通信インターフェース968は、例えば上述の通信ケーブル60を介して(あるいは、直接的に)、測距カメラ10等の外部装置と、無線または有線で通信を行うための通信部360として機能する。ここで、通信インターフェース968としては、例えば、通信アンテナ及びRF(Radio frequency)回路(無線通信)や、IEEE802.15.1ポート及び送受信回路(無線通信)、IEEE802.11ポート及び送受信回路(無線通信)、あるいはLAN(Local Area Network)端子及び送受信回路(有線通信)等が挙げられる。
以上、処理装置900のハードウェア構成の一例を示した。なお、処理装置900のハードウェア構成は、図15に示す構成に限られない。詳細には、上記の各構成要素は、汎用的な部材を用いて構成してもよいし、各構成要素の機能に特化したハードウェアにより構成してもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
例えば、処理装置900は、接続されている外部の通信デバイスを介して測距カメラ10等と通信を行う場合や、スタンドアロンで処理を行う構成である場合には、通信インターフェース968を備えていなくてもよい。また、通信インターフェース968は、複数の通信方式によって、1または2以上の外部装置と通信を行うことが可能な構成を有していてもよい。また、処理装置900は、例えば、記録媒体956や、操作入力デバイス960、表示デバイス962等を備えない構成をとることも可能である。
また、本実施形態に係る処理装置900は、例えばクラウドコンピューティング等のように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムであってもよい。つまり、上述した本実施形態に係る処理装置900は、例えば、複数の装置により本実施形態に係る測定方法に係る処理を行う処理システムとして実現することも可能である。
<<8. 補足>>
上述した実施形態に係る測定方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能ブロックによって他の方法で処理されていてもよい。
さらに、上記の実施形態に係る測定方法の少なくとも一部は、コンピュータ(処理装置30、900)を機能させる情報処理プログラムとして、ソフトウェアで構成することが可能であり、ソフトウェアで構成する場合には、これらの方法の少なくとも一部を実現するプログラムを記録媒体に収納し、処理装置30(900)等、もしくは、処理装置30(900)と接続された他の装置に読み込ませて実行させてもよい。また、当該処理方法の少なくとも一部を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、前記対象物を挟んで、前記センサ部の反対側に位置する鏡面反射体と、前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から前記鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、を備える、撮像装置。
(2)前記センサ部と前記鏡面反射体との間の距離を固定する固定部材をさらに備える、上記(1)に記載の撮像装置。
(3)対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から、前記対象物を挟んで前記センサ部の反対側に位置する鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、を備える、撮像装置。
(4)前記センサ部は、前記光を照射する照射部と、反射された前記光を受光する受光部と、照射した前記光と受光した前記光と位相差を算出する位相差算出部と、を有し、前記距離算出部は、前記位相差に基づいて前記距離を算出する、上記(1)〜(3)のいずれか1つに記載の撮像装置。
(5)前記補正部は、前記センサ部の前記センシングデータと、前記干渉によって生じると推定される推定値とを比較することにより、前記誤差を補正する、上記(1)に記載の撮像装置。
(6)前記干渉による前記誤差の発生の有無を判定する判定部をさらに備える、上記(1)〜(5)のいずれか1つに記載の撮像装置。
(7)前記判定部は、前記補正が施された前記対象物の実像と、前記補正が施された、前記対象物の前記鏡面反射体に投影された鏡像との一致の有無により、前記誤差の発生の有無を判定する、上記(6)に記載の撮像装置。
(8)前記対象物のカラー画像を取得するカラーセンサ部をさらに備え、前記判定部は、前記対象物の前記実像のカラー画像と前記鏡像のカラー画像とを比較することにより、前記誤差の有無を判定する、上記(7)に記載の撮像装置。
(9)前記鏡面反射体には、非光沢表面を持つマーカが設けられている、上記(1)〜(8)のいずれか1つに記載の撮像装置。
(10)前記マーカは、互いに離間して設けられる3つ以上のマーカ部からなる、上記(9)に記載の撮像装置。
(11)前記鏡面反射体までの距離を測定する鏡面反射体センサ部をさらに備える、上記(1)〜(8)のいずれか1つに記載の撮像装置。
(12)対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から、前記対象物を挟んで前記センサ部の反対側に位置する鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、を有する撮像装置が搭載されたモニタリング装置。
1 測距システム
10 測距カメラ
20、20a〜c 鏡面反射体
20d 鏡部
20e 鏡
30、900 処理装置
50 対象物
50a 前面
50b 背面
50c 上面
50d 人物
50e 障害物
60 通信ケーブル
100 センサ部
102 照射部
104 受光部
110 位相差算出部
120 撮像部
150、350 制御部
160、360 通信部
200、200a〜c マーカ
300 距離算出部
310 補正部
320 判定部
330 画像処理部
500 第1の経路
502 第2の経路
600 実像
602 鏡像
700 干渉
800 歯科器具
802 ハンドル部
804 ジョイント部
806 固定部材
810 歯列
820 車両
822 ダッシュボード
824 フロントウィンドウ
830 ハンドジェスチャ
840 壁面
842 天井
850 ロボット
860 床面
950 CPU
952 ROM
954 RAM
956 記録媒体
958 入出力インターフェース
960 操作入力デバイス
962 表示デバイス
968 通信インターフェース
970 バス

Claims (12)

  1. 対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、
    前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、
    前記対象物を挟んで、前記センサ部の反対側に位置する鏡面反射体と、
    前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から前記鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、
    を備える、
    撮像装置。
  2. 前記センサ部と前記鏡面反射体との間の距離を固定する固定部材をさらに備える、請求項1に記載の撮像装置。
  3. 対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、
    前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、
    前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から、前記対象物を挟んで前記センサ部の反対側に位置する鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、
    を備える、
    撮像装置。
  4. 前記センサ部は、
    前記光を照射する照射部と、
    反射された前記光を受光する受光部と、
    照射した前記光と受光した前記光と位相差を算出する位相差算出部と、
    を有し、
    前記距離算出部は、前記位相差に基づいて前記距離を算出する、
    請求項1に記載の撮像装置。
  5. 前記補正部は、前記センサ部の前記センシングデータと、前記干渉によって生じると推定される推定値とを比較することにより、前記誤差を補正する、請求項1に記載の撮像装置。
  6. 前記干渉による前記誤差の発生の有無を判定する判定部をさらに備える、請求項1に記載の撮像装置。
  7. 前記判定部は、前記補正が施された前記対象物の実像と、前記補正が施された、前記対象物の前記鏡面反射体に投影された鏡像との一致の有無により、前記誤差の発生の有無を判定する、請求項6に記載の撮像装置。
  8. 前記対象物のカラー画像を取得するカラーセンサ部をさらに備え、
    前記判定部は、前記対象物の前記実像のカラー画像と前記鏡像のカラー画像とを比較することにより、前記誤差の有無を判定する、請求項7に記載の撮像装置。
  9. 前記鏡面反射体には、非光沢表面を持つマーカが設けられている、請求項1に記載の撮像装置。
  10. 前記マーカは、互いに離間して設けられる3つ以上のマーカ部からなる、請求項9に記載の撮像装置。
  11. 前記鏡面反射体までの距離を測定する鏡面反射体センサ部をさらに備える、請求項1に記載の撮像装置。
  12. 対象物に対して光を照射して、前記対象物によって反射された前記光を検知するセンサ部と、
    前記センサ部のセンシングデータに基づいて、前記対象物までの距離を算出する距離算出部と、
    前記センサ部から前記対象物に向かう第1の経路をたどった前記光と、前記センサ部から、前記対象物を挟んで前記センサ部の反対側に位置する鏡面反射体で反射して前記対象物に向かう第2の経路をたどった前記光との干渉に起因する、算出された前記距離に含まれる誤差を補正する補正部と、
    を有する撮像装置が搭載されたモニタリング装置。
JP2017135381A 2017-07-11 2017-07-11 撮像装置及びモニタリング装置 Pending JP2019015706A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017135381A JP2019015706A (ja) 2017-07-11 2017-07-11 撮像装置及びモニタリング装置
PCT/JP2018/015743 WO2019012770A1 (ja) 2017-07-11 2018-04-16 撮像装置及びモニタリング装置
EP18831506.3A EP3653989B1 (en) 2017-07-11 2018-04-16 Imaging device and monitoring device
CN201880028772.2A CN110573833B (zh) 2017-07-11 2018-04-16 成像装置和监控装置
US16/610,283 US11320536B2 (en) 2017-07-11 2018-04-16 Imaging device and monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017135381A JP2019015706A (ja) 2017-07-11 2017-07-11 撮像装置及びモニタリング装置

Publications (1)

Publication Number Publication Date
JP2019015706A true JP2019015706A (ja) 2019-01-31

Family

ID=65001605

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017135381A Pending JP2019015706A (ja) 2017-07-11 2017-07-11 撮像装置及びモニタリング装置

Country Status (5)

Country Link
US (1) US11320536B2 (ja)
EP (1) EP3653989B1 (ja)
JP (1) JP2019015706A (ja)
CN (1) CN110573833B (ja)
WO (1) WO2019012770A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020071143A (ja) * 2018-10-31 2020-05-07 ファナック株式会社 測距装置を有する物体監視システム
CN112013761A (zh) * 2019-05-28 2020-12-01 帝肯贸易股份公司 用于3d位置确定的位置检测器和方法
JP2021012037A (ja) * 2019-07-03 2021-02-04 株式会社東芝 システム及び方法
JP2021021639A (ja) * 2019-07-29 2021-02-18 パイオニア株式会社 情報処理装置、情報処理方法、プログラム、記録媒体及び検出システム
JP2021085683A (ja) * 2019-11-25 2021-06-03 ファナック株式会社 Tofセンサを用いた物体検出システム
WO2022130561A1 (ja) * 2020-12-17 2022-06-23 日本電信電話株式会社 ミリ波推定装置、方法及びプログラム
KR20230095691A (ko) * 2021-12-22 2023-06-29 충북대학교 산학협력단 물체 치수 추정 방법 및 장치
WO2024062874A1 (ja) * 2022-09-20 2024-03-28 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115145017B (zh) * 2018-01-25 2023-12-22 台湾东电化股份有限公司 光学***
EP3855111B1 (de) * 2020-01-24 2023-11-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Interferometer zum erzeugen eines digitalen interferogramms oder eines digitalen hologramms, mittels eines umlenkspiegels
JP2021135155A (ja) * 2020-02-27 2021-09-13 株式会社東芝 システム及び方法
WO2021205787A1 (ja) * 2020-04-06 2021-10-14 パナソニックIpマネジメント株式会社 測距装置、およびプログラム
IL276015B2 (en) * 2020-07-13 2023-10-01 Elta Systems Ltd System and methods for target detection
US20210018598A1 (en) * 2020-09-25 2021-01-21 Intel Corporation Light detection and ranging systems and optical system

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052190A (en) 1997-09-09 2000-04-18 Utoptics, Inc. Highly accurate three-dimensional surface digitizing system and methods
US7154937B2 (en) * 1999-08-02 2006-12-26 Itt Manufacturing Enterprises, Inc. Quadrature multi-frequency ranging (QMFR) applied to GPS multipath mitigation
US6813359B2 (en) * 2001-05-01 2004-11-02 Bae Systems Information And Electronic Systems Integration Inc. Apparatus and method for minimizing multipath interference
JP2004085529A (ja) 2002-06-25 2004-03-18 Matsushita Electric Works Ltd レーザー測距装置及び方法
GB0411193D0 (en) * 2004-05-20 2004-06-23 Koninkl Philips Electronics Nv Method and apparatus for determining distance to a radio transponder
EP1816466B1 (en) * 2004-11-24 2010-06-23 Asahi Glass Company, Limited Method and device for inspecting defect of transparent plate body
US20080047350A1 (en) * 2006-08-23 2008-02-28 University Of Washington Use of ultrasound for monitoring security of shipping containers
DE112007003673B4 (de) 2007-10-10 2020-10-29 Trimble Jena Gmbh Vermessungsvorrichtung zum Verfolgen und Vermessen eines Objekts
CN101796372B (zh) 2008-07-11 2012-11-14 松下电器产业株式会社 三维形状测量装置、集成电路及方法
EP2189813B1 (de) 2008-11-20 2011-12-28 Cedes AG Sensorvorrichtung mit einem Distanzsensor
US7999923B2 (en) * 2009-02-19 2011-08-16 Northrop Grumman Systems Corporation Systems and methods for detecting and analyzing objects
JP2010262173A (ja) 2009-05-08 2010-11-18 Sony Corp 撮像装置および撮影レンズユニット
US8116902B2 (en) 2010-02-26 2012-02-14 National Formosa University Method of detecting a dynamic path of a five-axis machine tool and dectecting assembly for the same
US8428542B2 (en) * 2010-06-28 2013-04-23 Exelis, Inc. Adaptive cancellation of multi-path interferences
JP5620200B2 (ja) 2010-09-06 2014-11-05 株式会社トプコン 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
CN102467296B (zh) * 2010-11-02 2014-11-05 原相科技股份有限公司 光学感测***
CN102742259B (zh) 2010-12-01 2016-07-06 松下知识产权经营株式会社 立体图像拍摄装置和内窥镜
US9182221B2 (en) 2011-06-13 2015-11-10 Canon Kabushiki Kaisha Information processing apparatus and information processing method
KR20130001762A (ko) * 2011-06-28 2013-01-07 삼성전자주식회사 영상 생성 장치 및 방법
CN103782191B (zh) * 2011-09-12 2017-09-08 索尼公司 干涉测量扫描***和方法
JP2013219708A (ja) 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9778340B2 (en) * 2012-06-29 2017-10-03 Blinksight Device and method for location of an RFID transmitter
CN103543451B (zh) * 2012-07-17 2015-09-16 中国科学院电子学研究所 一种基于压缩感知的多径虚像抑制sar后处理方法
JP2014115109A (ja) 2012-12-06 2014-06-26 Canon Inc 距離計測装置及び方法
JP6241793B2 (ja) * 2012-12-20 2017-12-06 パナソニックIpマネジメント株式会社 3次元測定装置および3次元測定方法
US9267306B2 (en) * 2013-08-04 2016-02-23 Avraham Suhami Multi-storey buildings built over road air-spaces
US9542749B2 (en) * 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
US9557166B2 (en) * 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9823352B2 (en) * 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
CN104568963A (zh) * 2014-12-17 2015-04-29 华南理工大学 一种基于rgb结构光的在线式三维检测装置
JP2016139306A (ja) 2015-01-28 2016-08-04 株式会社東芝 車軸検知装置および車軸検知方法
US9989630B2 (en) * 2015-05-13 2018-06-05 Infineon Technologies Ag Structured-light based multipath cancellation in ToF imaging
CN105785337B (zh) * 2016-01-22 2018-05-15 西安电子科技大学 复杂地形下的米波雷达低仰角目标测高方法
JP6400035B2 (ja) * 2016-03-14 2018-10-03 キヤノン株式会社 位置検出装置、力覚センサ、および、装置
JP2018004544A (ja) 2016-07-06 2018-01-11 日本電信電話株式会社 三次元形状計測装置、三次元形状計測方法及び三次元形状計測プログラム
JP2018066655A (ja) * 2016-10-19 2018-04-26 日本電信電話株式会社 鏡面情報取得装置、鏡面測定方法及びコンピュータプログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020071143A (ja) * 2018-10-31 2020-05-07 ファナック株式会社 測距装置を有する物体監視システム
US11454721B2 (en) 2018-10-31 2022-09-27 Fanuc Corporation Object monitoring system including distance measuring device
CN112013761A (zh) * 2019-05-28 2020-12-01 帝肯贸易股份公司 用于3d位置确定的位置检测器和方法
JP2021012037A (ja) * 2019-07-03 2021-02-04 株式会社東芝 システム及び方法
JP2021021639A (ja) * 2019-07-29 2021-02-18 パイオニア株式会社 情報処理装置、情報処理方法、プログラム、記録媒体及び検出システム
JP2021085683A (ja) * 2019-11-25 2021-06-03 ファナック株式会社 Tofセンサを用いた物体検出システム
JP7364439B2 (ja) 2019-11-25 2023-10-18 ファナック株式会社 Tofセンサを用いた物体検出システム
WO2022130561A1 (ja) * 2020-12-17 2022-06-23 日本電信電話株式会社 ミリ波推定装置、方法及びプログラム
KR20230095691A (ko) * 2021-12-22 2023-06-29 충북대학교 산학협력단 물체 치수 추정 방법 및 장치
KR102600821B1 (ko) * 2021-12-22 2023-11-09 충북대학교 산학협력단 물체 치수 추정 방법 및 장치
WO2024062874A1 (ja) * 2022-09-20 2024-03-28 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
US20210096250A1 (en) 2021-04-01
EP3653989A4 (en) 2020-06-03
CN110573833B (zh) 2022-11-08
US11320536B2 (en) 2022-05-03
EP3653989B1 (en) 2023-06-21
EP3653989A1 (en) 2020-05-20
CN110573833A (zh) 2019-12-13
WO2019012770A1 (ja) 2019-01-17

Similar Documents

Publication Publication Date Title
CN110573833B (zh) 成像装置和监控装置
CN108601578B (zh) 超声探头的光学和惯性位置跟踪的设备内融合
JP6355710B2 (ja) 非接触型光学三次元測定装置
May et al. Robust 3D-mapping with time-of-flight cameras
EP3104194B1 (en) Robot positioning system
CN103415780B (zh) 用于确定测量仪的位置和定向的方法和***
US9188430B2 (en) Compensation of a structured light scanner that is tracked in six degrees-of-freedom
JP6291562B2 (ja) 有向性のプローブ処理による、三次元スキャナにおける多経路干渉の診断および排除
US9234742B2 (en) Method and apparatus for using gestures to control a laser tracker
JP4352034B2 (ja) 物***置検出装置、地図作成装置、自律移動装置、物***置検出方法および物***置検出プログラム
US9046360B2 (en) System and method of acquiring three dimensional coordinates using multiple coordinate measurement devices
US10962631B2 (en) Method for operating a laser distance measuring device
JP2013525787A5 (ja)
KR101658578B1 (ko) 복합 센서의 캘리브레이션 장치 및 방법
Kang et al. A robust obstacle detection method for robotic vacuum cleaners
US11061102B2 (en) Position estimating apparatus, position estimating method, and terminal apparatus
WO2017038659A1 (ja) 運動検出装置及びそれを用いた三次元形状測定装置
JP2010169633A (ja) 形状測定装置
US11093031B2 (en) Display apparatus for computer-mediated reality
US20220117689A1 (en) Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
JP2005157779A (ja) 測距装置
US20220316866A1 (en) Floor surface condition detection device, distance measuring device equipped with same, floor surface condition detection method, and floor surface condition detection program
US20230085970A1 (en) Three-dimensional (3d) modeling
US20220319025A1 (en) Output control device, distance measuring device comprising the same, output control method, and output control program