JP6892603B2 - 距離計測装置、距離計測方法および距離計測プログラム - Google Patents

距離計測装置、距離計測方法および距離計測プログラム Download PDF

Info

Publication number
JP6892603B2
JP6892603B2 JP2017235049A JP2017235049A JP6892603B2 JP 6892603 B2 JP6892603 B2 JP 6892603B2 JP 2017235049 A JP2017235049 A JP 2017235049A JP 2017235049 A JP2017235049 A JP 2017235049A JP 6892603 B2 JP6892603 B2 JP 6892603B2
Authority
JP
Japan
Prior art keywords
image
distance
pixel
calculated
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017235049A
Other languages
English (en)
Other versions
JP2019100969A (ja
Inventor
由枝 木村
由枝 木村
厚憲 茂木
厚憲 茂木
村瀬　太一
太一 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017235049A priority Critical patent/JP6892603B2/ja
Priority to US16/211,650 priority patent/US11428522B2/en
Publication of JP2019100969A publication Critical patent/JP2019100969A/ja
Application granted granted Critical
Publication of JP6892603B2 publication Critical patent/JP6892603B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、距離計測装置、距離計測方法および距離計測プログラムに関する。
対象物までの距離を計測する測距技術の１つとして、ＴＯＦ（Time Of Flight）方式がある。ＴＯＦ方式は、対象物に対して測距用の光線を照射し、光線の照射から反射光が戻ってくるまでの時間に基づいて、対象物までの距離を計測する方式である。
また、他の測距技術として、偏光方向の異なる直線偏光をカメラが受光して得られた画像を基に、偏光度を算出し、その偏光度に基づいて対象物までの距離を計測する技術も提案されている。
さらに、他の測距技術として、距離（デプス）センサから取得した距離画像と、上記のようにカメラから得られた偏光度を含む偏光画像の両方を用いて、距離センサだけを用いた場合より高精度に距離を計測するための技術も提案されている。
特開２０１３−０４４５９７号公報 米国特許出願公開第２０１６／０２６１８４４号明細書
Seungkyu Lee, "Time-of-Flight Depth Camera MotionBlur Detection and Deblurring", IEEE SIGNAL PROCESSING LETTERS, VOL. 21, NO. 6, JUNE 2014 宮崎大輔、池内克史、「偏光レイトレーシング法による透明物体の表面形状の推定手法」、電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８８−ＤＩＩ，Ｎｏ．８、２００５年８月、ｐ．１４３２−１４３９
ところで、ＴＯＦセンサとしては、ラインスキャン方式を用いて測距するものが多い。ラインスキャン方式のＴＯＦセンサは、測距用の光線を、所定の第１の方向に延びる照射パターンとして発光し、このような照射パターンを第１の方向に直交する第２の方向に順次移動させながら、光線の反射光を受光する。
このようなラインスキャン方式のＴＯＦセンサでは、対象物に対して照射パターンが発光される時刻が、第１の方向に対する位置によって異なる時刻となる。このため、移動する対象物を測距対象とした場合に、ＴＯＦセンサに写る対象物の像の形状が歪むことがある。このような像の形状の歪みが生じると、測距精度が悪化するという問題がある。
１つの側面では、本発明は、移動する対象物までの距離を高精度に計測可能な距離計測装置、距離計測方法および距離計測プログラムを提供することを目的とする。
１つの案では、次のような記憶部と演算部とを有する距離計測装置が提供される。記憶部は、ＴＯＦ（Time Of Flight）センサから取得された第１の距離画像と、それぞれ異なる偏光方向の直線偏光を受光する複数のカメラから取得された複数の画像に基づいて画素ごとに偏光度を算出することで生成された偏光画像とを記憶する。演算部は、第１の距離画像の画素ごとに、距離の計測時刻と複数の画像の撮影時刻との差に応じた信頼度を算出し、第１の距離画像の画素ごとの距離に信頼度を重み付けすることで算出される第２の距離画像と、偏光画像に基づいて画素ごとに距離を推定することで算出された第３の距離画像とを用いて、ＴＯＦセンサから被写体までの距離の出力値を画素ごとに算出する。
また、１つの案では、上記の距離計測装置と同様の処理をコンピュータが実行する距離計測方法が提供される。
さらに、１つの案では、上記の距離計測装置と同様の処理をコンピュータに実行させる距離計測プログラムが提供される。
１つの側面では、移動する対象物までの距離を高精度に計測できる。
第１の実施の形態に係る距離計測装置の構成例および処理例を示す図である。 第２の実施の形態に係る形状計測システムの構成例を示す図である。 形状計測装置およびセンサユニットのハードウェア構成例を示す図である。 ＴＯＦセンサによるデプス計測の問題点を説明するための図である。 形状計測装置が備える処理機能の構成例を示すブロック図である。 第１デプス画像のデータ構造の一例を示す図である。 信頼度の算出について説明するための図である。 偏光画像算出処理の概要を示す図である。 偏光度と天頂角との関係の例を示す図である。 詳細形状算出部の処理手順の概要を示す図である。 形状計測装置の処理手順の例を示すフローチャート（その１）である。 形状計測装置の処理手順の例を示すフローチャート（その２）である。
以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る距離計測装置の構成例および処理例を示す図である。図１に示す距離計測装置１は、ＴＯＦセンサ２による計測結果と、複数のカメラによる撮像画像とを用いて、ＴＯＦセンサ２と、距離の計測対象とする図示しない対象物との間の距離を、対象物が写った画像の画素ごとに計測する装置である。ＴＯＦセンサ２は、被写体に対して測距用の光線を発光し、光線の発光からその反射光を受光するまでの往復時間に基づいて、被写体の距離（デプス）を計測する。
距離計測装置１は、記憶部１ａと演算部１ｂを有する。記憶部１ａは、例えば、距離計測装置１が備える図示しない記憶装置の記憶領域として実現される。演算部１ｂは、例えば、距離計測装置１が備える図示しないプロセッサとして実現される。
記憶部１ａには、ＴＯＦセンサ２から取得された距離画像１１（第１の距離画像）と、複数のカメラからそれぞれ取得された複数の画像に基づいて生成される偏光画像１２とが記憶される。本実施の形態では、例として、偏光画像１２の生成のために３台のカメラ３ａ〜３ｃが用いられるものとするが、４台以上のカメラが用いられてもよい。
カメラ３ａ，３ｂ，３ｃは、それぞれ異なる偏光方向の直線偏光を受光することで、それぞれ画像４ａ，４ｂ，４ｃを出力する。例えば、カメラ３ａは０°の直線偏光を受光し、カメラ３ｂは４５°の直線偏光を受光し、カメラ３ｃは９０°の直線偏光を受光する。偏光画像１２は、画像４ａ〜４ｃに基づいて画素ごとに偏光度を算出することで生成される。
ここで、カメラ３ａ〜３ｃは、同一の撮影時刻に画像４ａ〜４ｃを撮像する。「同一の撮影時刻」とは、画像４ａ〜４ｃの全体において露光期間が同一であることを意味する。一方、ＴＯＦセンサ２は、距離画像１１の全体で測距用の光線の反射光を同一時刻に受光できない構造のため、距離画像１１においては距離の計測時刻が部分的に異なる。例えば、ラインスキャン方式が用いられる場合、ＴＯＦセンサ２は、測距用の光線を所定の第１方向（例えば、縦方向）に延びる照射パターンとして発光する。そして、ＴＯＦセンサ２は、このような照射パターンを第１方向に直交する第２方向（例えば、横方向）に順次移動させながら、光線の反射光を受光する。この場合、距離画像１１上の第２方向に対する位置によって反射光の受光時刻が異なる時刻となるので、第２方向に対する位置によって距離の計測時刻も異なる時刻となる。
演算部１ｂは、距離画像１１の画素ごとに、距離の計測時刻と、カメラ３ａ〜３ｃの撮影時刻との差に応じた信頼度１３を算出する。この算出では、例えば、距離の計測時刻が撮影時刻に近いほど、信頼度１３の値が高い値に設定される。そして、演算部１ｂは、距離画像１１の画素ごとに対応する信頼度１３を重み付けすることで、距離画像１４（第２の距離画像）を算出する。
また、演算部１ｂは、偏光画像１２に基づいて画素ごとに距離を推定することで、距離画像１５（第３の距離画像）を算出する。演算部１ｂは、例えば、偏光画像１２に基づいて、画素ごとに法線の情報を対応付けた法線画像を算出し、この法線画像に基づいて距離画像１５を算出する。
そして、演算部１ｂは、距離画像１４と距離画像１５とを用いて、ＴＯＦセンサ２から被写体までの距離の出力値１６を、画素ごとに算出する。
ここで、上記のように、距離画像１１においては、距離の計測時刻が画素の位置によって異なる。このため、移動する対象物を測距対象とした場合、距離画像１１に写る対象物の像の形状が歪むことがある。このような像の形状の歪みが生じると、測距精度が悪化する。
一方、カメラ３ａ〜３ｃによる画像４ａ〜４ｃの撮影時刻は同一であり、画像４ａ〜４ｃの全体において露光期間が同一となっている。このため、画像４ａ〜４ｃから算出された距離画像１５では、上記のような対象物の移動に伴う像の形状の歪みは生じない。そこで、演算部１ｂは、像の形状の歪みが生じ得る距離画像１１だけでなく、像の形状の歪みが生じない距離画像１５も利用することで、距離の出力値１６を正確に算出することができる。
また、演算部１ｂは、距離の出力値１６の算出の際に、距離画像１１をそのまま用いるのではなく、距離画像１１を信頼度１３を用いて変換した距離画像１４を用いる。信頼度１３は、距離画像１１の画素ごとの距離の計測時刻と、画像４ａ〜４ｃの撮影時刻との差に応じて算出される。このため、距離の出力値１６の算出の際に、信頼度１３を用いて変換された距離画像１４が用いられることで、距離の計測時刻が撮影時刻に近く、計測された距離の正確性が高い画素ほど、距離の出力値１６の算出処理に反映される割合が高くなる。これにより、対象物が移動する場合に、その移動に伴う像の形状の歪みが距離の計測精度に与える影響を軽減でき、距離の計測精度を向上させることができる。
〔第２の実施の形態〕
図２は、第２の実施の形態に係る形状計測システムの構成例を示す図である。図２に示す形状計測システムは、形状計測装置１００とセンサユニット２００とを含む。
形状計測装置１００は、被写体を写した画像をセンサユニット２００から取得し、取得した画像に写る被写体とセンサユニット２００との間のデプス（距離）を、画像上の画素ごとに計測する。例えば、計測の対象となる対象物３００が画像に写っている場合、形状計測装置１００は、画像に写っている対象物３００の像について、画像の画素ごとにデプスを計測する。これによって、形状計測装置１００は、対象物３００の三次元形状を計測することができる。
センサユニット２００は、ＴＯＦセンサ２１０とカメラ部２２０とを含む。ＴＯＦセンサ２１０は、ＴＯＦ方式を用いて被写体のデプスを算出する。具体的には、ＴＯＦセンサ２１０は、被写体にレーザ光を発光し、その反射光が被写体から戻ってくるまでの往復時間に基づいて、被写体のデプスを算出する。以下、ＴＯＦセンサ２１０によって算出されるデプスを「第１デプス」と記載する。ＴＯＦセンサ２１０は、画像上の画素ごとにデプスをプロットした「第１デプス画像」を、形状計測装置１００に出力する。
一方、カメラ部２２０は、被写体からの光のうち、それぞれ異なる偏光方向の直線偏光の成分を受光することで得られる複数のカメラ画像を同時に撮像し、それらのカメラ画像を形状計測装置１００に出力する。なお、形状計測装置１００は、各カメラ画像として輝度画像を取得できればよい。この目的のために、カメラ部２２０が輝度画像を撮像する構成としてもよく、あるいは、カメラ部２２０がカラー画像を撮像し、形状計測装置１００がカラー画像を輝度画像に変換する構成としてもよい。
形状計測装置１００は、ＴＯＦセンサ２１０から出力された第１デプスに基づく第１デプス画像を取得する。これとともに、形状計測装置１００は、カメラ部２２０から出力されたカメラ画像に基づいて偏光画像を算出した後、算出された偏光画像に基づいて被写体のデプスを算出する。以下、このようにカメラ画像に基づく偏光画像から得られたデプスを「第２デプス」と記載する。後述するように、形状計測装置１００は、第１デプスと第２デプスの両方を用いることで、第１デプスの計測結果に現れる、対象物３００の形状の歪みの影響を低減した、正確性の高いデプスを算出する。
図３は、形状計測装置およびセンサユニットのハードウェア構成例を示す図である。
まず、形状計測装置１００は、例えば、図３に示すようなコンピュータとして実現される。図３に示す形状計測装置１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ（Hard Disk Drive）１０３、グラフィック処理装置１０４、入力インタフェース１０５、読み取り装置１０６、ネットワークインタフェース１０７および通信インタフェース１０８を有する。
プロセッサ１０１は、形状計測装置１００全体を統括的に制御する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Device）である。また、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。
ＲＡＭ１０２は、形状計測装置１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。
ＨＤＤ１０３は、形状計測装置１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。
グラフィック処理装置１０４には、表示装置１０４ａが接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令にしたがって、画像を表示装置１０４ａに表示させる。表示装置としては、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどがある。
入力インタフェース１０５には、入力装置１０５ａが接続されている。入力インタフェース１０５は、入力装置１０５ａから出力される信号をプロセッサ１０１に送信する。入力装置１０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
読み取り装置１０６には、可搬型記録媒体１０６ａが脱着される。読み取り装置１０６は、可搬型記録媒体１０６ａに記録されたデータを読み取ってプロセッサ１０１に送信する。可搬型記録媒体１０６ａとしては、光ディスク、光磁気ディスク、半導体メモリなどがある。
ネットワークインタフェース１０７は、ネットワーク１０７ａを介して他の装置との間でデータの送受信を行う。
通信インタフェース１０８は、センサユニット２００との間でデータの送受信を行う。
以上のようなハードウェア構成によって、形状計測装置１００の処理機能を実現することができる。
一方、センサユニット２００のＴＯＦセンサ２１０は、赤外線発光部２１１と赤外線受光部２１２を有する。赤外線発光部２１１は、被写体に対して赤外線レーザを発光する。赤外線受光部２１２は、赤外線発光部２１１から発光された赤外線レーザの反射光を受光する。ＴＯＦセンサ２１０は、赤外線発光部２１１から発光された赤外線レーザの反射光が被写体から戻ってくるまでの往復時間を計測し、計測された往復時間に光速を乗算することによって、被写体のデプスを算出する。ＴＯＦセンサ２１０は、画像上の画素ごとにデプスをプロットした第１デプス画像を、形状計測装置１００に出力する。
また、センサユニットのカメラ部２２０は、カメラ２２１〜２２３と偏光フィルタ２２１ａ〜２２３ａを有する。カメラ２２１〜２２３のそれぞれは、例えば、ＲＧＢ（Red／Blue／Green）カラー画像を撮影する。偏光フィルタ２２１ａ〜２２３ａは、入射光のうち特定の偏光方向の直線偏光を透過させる直線偏光板である。
カメラ２２１の撮像面には、カメラ２２１の光軸を中心として０°の回転角で偏光フィルタ２２１ａが配置され、カメラ２２１は偏光フィルタ２２１ａを介して画像を撮像する。また、カメラ２２２の撮像面には、カメラ２２２の光軸を中心として４５°の回転角で偏光フィルタ２２２ａが配置され、カメラ２２２は偏光フィルタ２２２ａを介して画像を撮像する。さらに、カメラ２２３の撮像面には、カメラ２２３の光軸を中心として９０°の回転角で偏光フィルタ２２３ａが配置され、カメラ２２３は偏光フィルタ２２３ａを介して画像を撮像する。これにより、カメラ２２１は、０°の直線偏光を受光して得られたカメラ画像を出力し、カメラ２２２は、４５°の直線偏光を受光して得られたカメラ画像を出力し、カメラ２２３は、９０°の直線偏光を受光して得られたカメラ画像を出力する。
ここで、図示しないが、カメラ２２１〜２２３はそれぞれグローバルシャッタを備えている。そして、カメラ２２１〜２２３は、各グローバルシャッタを同期させて開閉することで、同一の撮影時刻に撮影された（すなわち、同一の露光期間に露光された）カメラ画像を出力することができるようになっている。
次に、図４は、ＴＯＦセンサによるデプス計測の問題点を説明するための図である。ＴＯＦセンサ２１０の赤外線発光部２１１は、赤外線レーザを直線状の照射パターンで照射し、その照射パターンを徐々にシフトすることで、デプス計測範囲の全体に赤外線レーザを照射する。図４の左側に示す例では、直線状の照射パターンを破線によって示している。この例では、照射パターンは上下方向に延びる直線形状をなしており、そのような照射パターンが右から左に対して徐々にシフトされて照射される。以下、照射パターンのシフト方向を「スキャン方向」と記載する。
このような方法で赤外線レーザが発光されることから、ＴＯＦセンサ２１０から出力される第１デプス画像においては、スキャン方向に対する位置によってスキャン時刻（赤外線レーザの反射光の受光時刻）が異なる時刻になってしまう。このことは、例えば、移動する対象物３００の三次元形状を計測する場合に、計測結果が不正確になる原因となる。
図４では、スキャン方向が右から左への方向であり、なおかつ、対象物３００が上から下に対して移動する場合を例示している。この場合、図４の右側に示すように、第１デプス画像に写る対象物３００の像３０１は、左側ほど位置が下側にずれた形状になってしまう。このように、対象物３００が移動する場合には、対象物３００の像３０１の形状に歪みが生じる可能性がある。このような像３０１の形状の歪みによって、計測される第１デプスが不正確になるという問題がある。
また、ＴＯＦセンサ２１０のスキャン速度を高めることで、上記のような歪みの発生を軽減し、第１デプスの計測精度を改善できる。しかし、スキャン速度と１画像中のスキャン回数（スキャン方向に対する照射パターンの照射数）とはトレードオフの関係にあるため、スキャン速度を高めようとするとスキャン回数が少なくなる。その結果、第１デプス画像の解像度が低くなり、得られる三次元形状が粗い形状になってしまうという問題もある。
このような問題に対して、本実施の形態の形状計測装置１００は、第１デプス画像に加えて第２デプス画像を用いて、被写体のデプスを算出する。第２デプス画像は、カメラ部２２０から取得したカメラ画像に基づいて算出された偏光画像から求められる。上記のように、カメラ部２２０ではグローバルシャッタを用いることで、偏光方向が異なる直線偏光を受光して得られた複数のカメラ画像が、同一時刻に撮影される。このため、このようなカメラ画像から得られる偏光画像では、対象物３００の像３０１の形状には歪みが生じない。この性質を利用して、形状計測装置１００は、第１デプス画像と第２デプス画像の両方を用いることで、第１デプス画像に現れる像の形状の歪みの影響を低減した、正確性の高いデプスを算出する。
図５は、形状計測装置が備える処理機能の構成例を示すブロック図である。形状計測装置１００は、記憶部１１０、第１デプス取得部１２１、カメラ画像取得部１２２、信頼度算出部１２３、偏光画像算出部１２４、法線算出部１２５および詳細形状算出部１２６を有する。
記憶部１１０は、例えば、ＲＡＭ１０２やＨＤＤ１０３など、形状計測装置１００が備える記憶装置の記憶領域として実現される。記憶部１１０には、第１デプス画像１１１、カメラ画像１１２ａ〜１１２ｃ、信頼度マップ１１３、偏光画像１１４、法線画像１１５および第２デプス画像１１６が記憶される。
第１デプス取得部１２１、カメラ画像取得部１２２、信頼度算出部１２３、偏光画像算出部１２４、法線算出部１２５および詳細形状算出部１２６の処理は、例えば、プロセッサ１０１が所定のプログラムを実行することで実現される。
第１デプス取得部１２１は、ＴＯＦセンサ２１０から第１デプス画像１１１を取得して、記憶部１１０に格納する。第１デプス画像１１１は、画像上の各画素に対してデプスの計測値がプロットされた構造を有している。また、第１デプス画像１１１のデータには、第１デプス画像１１１の取得時刻が付加される。
カメラ画像取得部１２２は、カメラ部２２０のカメラ２２１，２２２，２２３によってそれぞれ撮影されたカメラ画像１１２ａ，１１２ｂ，１１２ｃを取得して、記憶部１１０に格納する。また、カメラ画像１１２ａ〜１１２ｃの各データには、撮影時刻が付加される。カメラ画像１１２ａ〜１１２ｃは同一時刻に撮影されるので、付加される撮影時刻も同一となる。
信頼度算出部１２３は、第１デプス画像１１１の取得時刻と、カメラ画像１１２ａ〜１１２ｃの撮影時刻とに基づいて、第１デプス画像１１１上の画素ごとに信頼度を算出する。信頼度としては、第１デプス画像１１１における前述のスキャン方向に対して、スキャン時刻がカメラ画像１１２ａ〜１１２ｃの撮影時刻に近いほど、大きい値が付与される。なお、スキャン時刻は、第１デプス画像１１１の取得時刻から換算される。信頼度算出部１２３は、第１デプス画像１１１上の画素ごとに信頼度をプロットとした信頼度マップ１１３を生成して、記憶部１１０に格納する。
偏光画像算出部１２４は、カメラ画像１１２ａ〜１１２ｃに基づいて偏光画像１１４を算出して、記憶部１１０に格納する。偏光画像１１４は、画像上の各画素に対して偏光度がプロットされた構造を有している。偏光度は、光がどれだけ偏光しているかを示す指標であり、０以上１以下の値となる。
法線算出部１２５は、偏光画像１１４に基づいて、偏光画像１１４上の画素ごとに法線の情報を算出する。法線算出部１２５は、画像上の各画素に対して法線の情報をプロットした法線画像１１５を生成して、記憶部１１０に格納する。
詳細形状算出部１２６は、法線画像１１５に含まれる法線の情報に基づいて、法線画像１１５の画素ごとに第２デプスを推定する。詳細形状算出部１２６は、第２デプスを画素ごとにプロットした第２デプス画像１１６を記憶部１１０に格納する。
また、詳細形状算出部１２６は、第１デプス画像１１１の各画素のデプスに、信頼度マップ１１３に含まれる対応する信頼度を乗算して、第１デプス画像１１１を変換する。
ここで、法線画像１１５から推定されるデプスは、スケールが未知の値となる。詳細形状算出部１２６は、信頼度を用いて変換された第１デプス画像と、第２デプス画像１１６との間の二乗誤差を最小化する処理を行うことで、第２デプス画像１１６のスケールを推定する。詳細形状算出部１２６は、推定されたスケールが適用された第２デプス画像を、像の形状の歪みが補正されたデプス画像として出力する。
以下、形状計測装置１００の処理についてさらに詳しく説明する。
＜第１デプス画像とカメラ画像の取得＞
第１デプス取得部１２１は、ＴＯＦセンサ２１０から第１デプス画像１１１を取得して、記憶部１１０に格納する。また、カメラ画像取得部１２２は、カメラ部２２０のカメラ２２１，２２２，２２３によってそれぞれ撮影されたカメラ画像１１２ａ，１１２ｂ，１１２ｃを取得して、記憶部１１０に格納する。
なお、カメラ画像１１２ａ〜１１２ｃは、輝度画像として記憶部１１０に格納される。カメラ２２１，２２２，２２３からカラー画像が出力される場合、カメラ画像取得部１２２は、カメラ２２１，２２２，２２３からそれぞれ出力されたカラー画像を輝度画像に変換し、それぞれカメラ画像１１２ａ，１１２ｂ，１１２ｃとして記憶部１１０に格納する。また、カメラ画像１１２ａ〜１１２ｃは、第１デプス画像１１１と同一の解像度の画像として記憶部１１０に格納されるものとする。
ここで、前述のように、カメラ２２１，２２２，２２３は、グローバルシャッタを用いることにより、カメラ画像１１２ａ，１１２ｂ，１１２ｃをそれぞれ同一時刻に撮影して出力する。カメラ画像取得部１２２は、取得したカメラ画像１１２ａ〜１１２ｃのデータを記憶部１１０に格納する際に、各データに対して同一の撮影時刻を付加する。
一方、第１デプス取得部１２１は、取得した第１デプス画像１１１のデータを記憶部１１０に格納する際に、そのデータに対して第１デプス画像１１１の取得時刻を付加する。この取得時刻としては、例えば、第１デプス取得部１２１がＴＯＦセンサ２１０に対して第１デプス画像１１１の出力を指示した時刻や、第１デプス取得部１２１が第１デプス画像１１１の受信を完了した時刻などを用いることができる。
カメラ画像１１２ａ〜１１２ｃの撮影時刻と第１デプス画像１１１の取得時刻は、信頼度算出部１２３による信頼度の算出時に参照される。ここで、図４で説明したように、第１デプス画像１１１においては、スキャン方向に対する位置によってスキャン時刻が異なる。信頼度算出部１２３は、上記のような第１デプス画像１１１の取得時刻から、スキャン方向に対する位置ごとのスキャン時刻を換算することができる。
なお、第１デプス画像１１１の取得とカメラ画像１１２ａ〜１１２ｃの取得は、同期して実行される。具体的には、第１デプス画像１１１のスキャン期間（スキャン方向に対する一端の位置のスキャン時刻から他端の位置のスキャン時刻までの期間）に、カメラ画像１１２ａ〜１１２ｃの撮影時刻が包含されるように、第１デプス画像１１１とカメラ画像１１２ａ〜１１２ｃが取得される。
図６は、第１デプス画像のデータ構造の一例を示す図である。第１デプス画像１１１のデータは、画素ごとに、Ｘ軸方向（水平方向）の位置、Ｙ軸方向（垂直方向）の位置、Ｚ方向（奥行き方向）の位置が対応付けられた構造のデータとして記憶部１１０に格納される。これらのうち、Ｚ方向の位置がデプス（距離）を示す。第１デプス画像１１１のデータは、例えば、図６に示すようなデータテーブル１１１ａとして格納される。図６に示すデータテーブル１１１ａでは、各画素の画素番号に対してＸ方向、Ｙ方向、Ｚ方向の各位置が対応付けて登録されている。
＜信頼度の算出＞
次に、信頼度算出部１２３による信頼度の算出処理について説明する。
図７は、信頼度の算出について説明するための図である。信頼度算出部１２３は、第１デプス画像１１１の取得時刻と、カメラ画像１１２ａ〜１１２ｃの撮影時刻とに基づいて、第１デプス画像１１１上の画素ごとに信頼度を算出する。
具体的には、信頼度算出部１２３は、まず、第１デプス画像１１１の取得時刻に基づいて、第１デプス画像１１１におけるスキャン方向に対する位置ごとにスキャン時刻を算出する。図７に示す第１デプス画像１１１の例では、スキャン方向は右から左への方向である。この場合、水平方向の座標が同じ画素列（すなわち、垂直方向に並列する画素列）ごとに、異なるスキャン時刻が算出される。
次に、信頼度算出部１２３は、第１デプス画像１１１の画素ごとに、スキャン時刻と、カメラ画像１１２ａ〜１１２ｃの撮影時刻との差分に応じた信頼度を算出する。信頼度は０以上１以下の値として算出され、スキャン時刻が撮影時刻に近いほど信頼度の値が高くなり、スキャン時刻と撮影時刻とが一致する場合に信頼度＝１とされる。これは、スキャン時刻が撮影時刻に近いほど、そのスキャン時刻に得られた像の位置情報は、カメラ画像１１２ａ〜１１２ｃを基に算出される第２デプス画像１１６における像の位置情報との一致度が高い、と考えられるからである。このような信頼度が、詳細形状算出部１２６による第１デプス画像１１１と第２デプス画像１１６との二乗誤差最小化処理で用いられることで、画素ごとの二乗誤差に対して信頼度に応じた重み付けが行われる。その結果、二乗誤差最小化処理の精度を高めることができる。
図７に示すグラフ１１３ａは、第１デプス画像１１１におけるＸ軸方向、Ｙ軸方向の各座標と信頼度との関係の例を示している。また、この例では、カメラ画像１１２ａ〜１１２ｃの撮影時刻がｔであるものとする。この場合、第１デプス画像１１１において水平方向の座標が同じ画素列のうち、スキャン時刻がｔである画素列について、信頼度＝１と算出される。また、スキャン時刻が（ｔ−ｍ）である画素列、およびスキャン時刻が（ｔ＋ｍ）である画素列については、信頼度として１より小さい値が算出される。図７の例では、これらの画素列については信頼度として同一の値が算出されている。
なお、スキャン時刻と撮影時刻との差分値と信頼度との関係を示す情報は、例えば、数式やデータテーブルとしてあらかじめ用意され、記憶部１１０に記憶される。信頼度算出部１２３は、このような情報に基づいて、スキャン時刻と撮影時刻との差分値に応じた信頼度を算出する。
以上の手順により、信頼度算出部１２３は、第１デプス画像１１１の画素ごとに信頼度を算出する。信頼度算出部１２３は、第１デプス画像１１１の画素ごとに信頼度をプロットとした信頼度マップ１１３を生成して、記憶部１１０に格納する。
＜偏光画像の算出＞
次に、偏光画像算出部１２４による偏光画像１１４の算出処理について説明する。
図８は、偏光画像算出処理の概要を示す図である。偏光画像算出部１２４は、カメラ画像１１２ａ〜１１２ｃのそれぞれに対して、視点を第１デプス画像１１１の視点に合わせるための視点変換処理を施す。この視点変換処理のために、次のような事前準備が行われる。
ＴＯＦセンサ２１０およびカメラ２２１〜２２３の位置と向きとに基づいて、ＴＯＦセンサ２１０およびカメラ２２１〜２２３の外部パラメータが設定される。また、カメラ２２１〜２２３の内部パラメータが設定される。これらのパラメータは、キャリブレーションによって求められる。そして、これらのパラメータに基づいて、カメラ２２１〜２２３の視点をＴＯＦセンサ２１０の視点に変換するためのホモグラフィ行列が算出される。
偏光画像算出部１２４は、カメラ画像１１２ａ，１１２ｂ，１１２ｃをそれぞれホモグラフィ行列を用いて変換することで、カメラ画像１１２ａ１，１１２ｂ１，１１２ｃ１を算出する。カメラ画像１１２ａ１，１１２ｂ１，１１２ｃ１は、それぞれカメラ画像１１２ａ，１１２ｂ，１１２ｃをＴＯＦセンサ２１０と同じ位置から同じ向きで撮影した場合の画像を示す。
次に、偏光画像算出部１２４は、変換により得られたカメラ画像１１２ａ１〜１１２ｃ１を用いて偏光画像１１４を算出する。この算出処理では、カメラ画像１１２ａ１〜１１２ｃ１の画素ごとに次のような処理が実行される。
偏光画像算出部１２４は、カメラ画像１１２ａ１〜１１２ｃ１におけるｍ番目の画素の輝度値を、下記の式（１）で表されるコサインカーブによって近似する。
ｙm＝ａmｃｏｓ（Θ＋ｂm）＋ｃm ・・・（１）
偏光画像算出部１２４は、得られたコサインカーブにおける最大値と最小値を求め、「（最大値／最小値）／（最大値＋最小値）」という式によって、ｍ番目の画素の偏光度を算出する。これにより、偏光度は０以上１以下の値として算出される。
偏光画像算出部１２４は、以上の処理手順により画素ごとに偏光度を算出する。偏光画像算出部１２４は、各画素に対して偏光度をプロットした偏光画像１１４を生成して、記憶部１１０に格納する。
なお、偏光度は、３以上の異なる回転角の偏光フィルタを用いて得られたカメラ画像から算出可能である。本実施の形態では例として、３つの偏光フィルタ２２１ａ〜２２３ａを用いて得られた３つのカメラ画像１１２ａ〜１１２ｃに基づいて偏光度が算出されるが、４つ以上の偏光フィルタを用いて得られたカメラ画像に基づいて偏光度が算出されてもよい。
＜法線の情報の算出＞
次に、法線算出部１２５による法線の情報の算出処理について説明する。
法線算出部１２５は、偏光画像１１４に基づいて、偏光画像１１４上の画素ごとに法線の情報を算出する。法線の情報として、天頂角θと方位角φが算出される。
図９は、偏光度と天頂角との関係の例を示す図である。対象物３００を拡散反射物体と仮定すると、天頂角θは、偏光度から一意に定まる。偏光度と天頂角θとの関係は、例えば、図９に示すグラフ１２５ａによって表される。法線算出部１２５は、このような関係に基づいて、各画素についての天頂角θを偏光度から算出する。
一方、方位角φは、画素ごとに次のような処理が実行されることで算出される。
法線算出部１２５は、偏光画像１１４の算出処理において近似されたコサインカーブにおいて、輝度値が最大となる角度θmaxを求める。この角度θmaxは、直線偏光の受光量が最大となる偏光方向を示す。また、この角度θmaxは、式（１）のｂmとして求められる。
方位角φは、求められた角度θmax、またはこの角度θmaxに１８０°を加算した角度のいずれかである。法線算出部１２５は、第１デプス画像１１１から求められる法線の情報に基づいて、以下の手順によってθmaxまたは（θmax＋１８０）のいずれかを方位角φとして特定する。
座標（ｘ，ｙ）におけるデプスｚを表す関数をｚ＝ｆ（ｘ，ｙ）とする。また、第１デプス画像１１１の座標（ｘ，ｙ）における第１デプスの勾配を（ｐ，ｑ，−１）とする。このｐ，ｑは、下記の式（２−１），（２−２）に示すように、第１デプス画像１１１の座標（ｘ，ｙ）における第１デプスを偏微分することで求められる。そして、勾配（ｐ，ｑ，−１）と、第１デプス画像１１１の座標（ｘ，ｙ）における法線ｎ＝（ｎx，ｎy，ｎz）との間には、下記の式（３−１）〜（３−３）に示す関係がある。
Figure 0006892603
法線算出部１２５は、上記の式（２−１），（２−２），（３−１）〜（３−３）を用いて、第１デプス画像１１１の座標（ｘ，ｙ）における方位角φ’を算出する。そして、法線算出部１２５は、上記のθmaxと（θmax＋１８０）のうち、算出された方位角φ’に近い方を、偏光画像１１４に基づく方位角φとして特定する。
なお、方位角φの算出処理では、上記のように近似されたコサインカーブを用いずに、３つのカメラ画像１１２ａ１〜１１２ｃ１のうち輝度値が最大のカメラ画像に対応する偏光フィルタの角度が、角度θmaxとして求められてもよい。
法線算出部１２５は、以上の処理手順により画素ごとに天頂角θと方位角φを算出する。法線算出部１２５は、画像上の各画素に対して天頂角θと方位角φをプロットした法線画像１１５を生成して、記憶部１１０に格納する。
＜詳細形状の算出＞
次に、詳細形状算出部１２６の処理について説明する。
図１０は、詳細形状算出部の処理手順の概要を示す図である。
詳細形状算出部１２６は、第１デプス画像１１１の画素ごとの第１デプスに対して、信頼度マップ１１３に含まれる、対応する画素の信頼度を乗算する。このような乗算により、第１デプス画像１１１は図１０に示す変換第１デプス画像１１７に変換される。
また、詳細形状算出部１２６は、法線画像１１５に含まれる法線の情報に基づいて、法線画像１１５の画素ごとにデプス（第２デプス）を推定して、第２デプス画像１１６を算出する。このときに推定される第２デプスは、スケールの不定な値となる。そこで、詳細形状算出部１２６は、上記の変換により得られた変換第１デプス画像１１７のデプス（変換第１デプス）と、第２デプス画像１１６の第２デプスとの間で、画素ごとの二乗誤差を最小化する処理を行う。この処理では、ＴＯＦセンサ２１０の計測結果に基づく変換第１デプスの大きさを基準として、最小二乗法により第２デプスのスケールが推定される。
以下、第２デプスの推定および変換第１デプスと第２デプスとの間の二乗誤差最小化処理について、具体的に説明する。
詳細形状算出部１２６は、次のような手順で、法線画像１１５の各画素の第２デプスを推定することで、第２デプス画像１１６を生成する。法線画像１１５の座標（ｘ，ｙ）における法線ｎ’＝（ｎ’x，ｎ’y，ｎ’z）は、天頂角θと方位角φを用いて次の式（４−１）〜（４−３）で表される。
ｎ’x＝ｃｏｓφｓｉｎθ ・・・（４−１）
ｎ’y＝ｓｉｎφｃｏｓθ ・・・（４−２）
ｎ’z＝ｃｏｓθ ・・・（４−３）
また、法線画像１１５の座標（ｘ，ｙ）における第２デプスの勾配を（ｐ’，ｑ’，−１）とすると、法線ｎ’＝（ｎ’x，ｎ’y，ｎ’z）は次の式（５−１）〜（５−３）で表される。
Figure 0006892603
詳細形状算出部１２６は、式（５−１）〜（５−３）の法線ｎ’にｎ’zを乗算し、その乗算結果と式（４−１）〜（４−３）とに基づいて、第２デプスの勾配を示すパラメータであるｐ’，ｑ’を算出する。そして、詳細形状算出部１２６は、次の式（６）を用いて第２デプスＤｐを算出する。
Figure 0006892603
以上の第２デプスＤｐの推定では、式（２−１），（２−２）が示すようにデプスの勾配を偏微分することで法線が得られるという関係を利用して、偏光画像１１４から得られた法線の情報を基に線積分を行うことで第２デプスＤｐが推定される。詳細形状算出部１２６は、式（６）を用いて推定された第２デプスＤｐを画素ごとにプロットした第２デプス画像１１６を生成して、記憶部１１０に格納する。
この第２デプス画像１１６は、カメラ画像１１２ａ〜１１２ｃから変換されたものである。このため、第２デプス画像１１６では、第１デプス画像１１１のように、対象物３００の移動に起因する像の形状の歪みが生じない。しかし、その一方で、上記の式（６）から推定される第２デプスＤｐは、スケールが不定であり、その絶対的な値が正しく定まらない。
そこで、詳細形状算出部１２６は、第１デプス画像１１１の第１デプスと第２デプス画像１１６の第２デプスＤｐとの間の誤差を最小化する処理を行うことで、第２デプス画像１１６のスケールを推定する。このとき、詳細形状算出部１２６は、第１デプス画像１１１をそのまま用いるのではなく、図１０に示したように、撮影時刻とスキャン時刻との差に基づく信頼度が適用された変換第１デプス画像１１７を用いて推定を行う。これにより、誤差最小化処理において信頼度に応じた重み付けが行われ、処理精度が向上する。
詳細形状算出部１２６は、具体的には、最小二乗法を用いて次のような処理を実行する。変換第１デプス画像１１７のｍ番目の画素における変換第１デプスをＤｃmとし、第２デプス画像１１６のｍ番目の画素における第２デプスをＤｐmとする。また、二乗誤差最小化に用いる重みをｗとし、スケールを決定するための変数をβとする。詳細形状算出部１２６は、次の式（７）で表される残差平方和ＲＳＳが最小となるような変数βを算出する。
Figure 0006892603
詳細形状算出部１２６は、推定されたスケールが適用された第２デプス画像、すなわち各画素について算出されたβＤｐmを、像の形状の歪みの影響が低減された最終的なデプス画像として出力する。最終的なデプス画像のデプスは、対象物３００が移動しても像の形状の歪みが生じないカメラ画像１１２ａ〜１１２ｃから推定された第２デプスに、変数βを適用することで算出される。このため、像の形状の歪みによる影響が低減された、正確性の高いデプスを算出することができる。その結果、対象物３００が移動する場合でも、対象物３００の三次元形状を高精度に計測できるようになる。
＜フローチャート＞
次に、形状計測装置１００の処理手順について、フローチャートを用いて説明する。
図１１、図１２は、形状計測装置の処理手順の例を示すフローチャートである。
［ステップＳ１１］第１デプス取得部１２１は、ＴＯＦセンサ２１０から第１デプス画像１１１を取得して、記憶部１１０に格納する。また、カメラ画像取得部１２２は、カメラ部２２０のカメラ２２１，２２２，２２３によってそれぞれ撮影されたカメラ画像１１２ａ，１１２ｂ，１１２ｃを取得して、記憶部１１０に格納する。
［ステップＳ１２］偏光画像算出部１２４は、カメラ画像１１２ａ〜１１２ｃのそれぞれに対して、視点を第１デプス画像１１１の視点に合わせるための視点変換処理を施す。具体的には、偏光画像算出部１２４は、カメラ画像１１２ａ，１１２ｂ，１１２ｃをそれぞれ視点変換用のホモグラフィ行列を用いて変換することで、カメラ画像１１２ａ１，１１２ｂ１，１１２ｃ１を算出する。
［ステップＳ１３］偏光画像算出部１２４は、ステップＳ１２で変換されたカメラ画像１１２ａ１〜１１２ｃ１から、偏光画像１１４を算出する。具体的には、偏光画像算出部１２４は、カメラ画像１１２ａ１〜１１２ｃ１におけるｍ番目の画素の輝度値を、前述の式（１）で表されるコサインカーブによって近似する。偏光画像算出部１２４は、得られたコサインカーブにおける最大値と最小値を求め、「（最大値／最小値）／（最大値＋最小値）」という式によって、ｍ番目の画素の偏光度を算出する。偏光画像算出部１２４は、各画素に対して偏光度をプロットした偏光画像１１４を生成して、記憶部１１０に格納する。
［ステップＳ１４］信頼度算出部１２３は、第１デプス画像１１１の画素列ごとにステップＳ１５，Ｓ１６の処理を実行する。画素列とは、第１デプス画像１１１において、ＴＯＦセンサ２１０のスキャン方向に対して直交する方向に並列する画素の集合である。例えば、図７のようにスキャン方向が水平方向の場合、画素列は垂直方向に並列する画素の集合である。
［ステップＳ１５］信頼度算出部１２３は、第１デプス画像１１１の取得時刻に基づいて、処理対象の画素列についての第１デプスのスキャン時刻を算出する。そして、信頼度算出部１２３は、カメラ画像１１２ａ〜１１２ｃの撮影時刻を取得し、算出したスキャン時刻と取得した撮影時刻とを比較する。
［ステップＳ１６］信頼度算出部１２３は、スキャン時刻と撮影時刻との差分に応じて信頼度を決定する。信頼度は、０以上１以下の間で、スキャン時刻が撮影時刻に近いほど高い値となるような所定の規則に基づいて決定される。
［ステップＳ１７］信頼度算出部１２３は、ステップＳ１５，Ｓ１６の処理を第１デプス画像１１１のすべての画素列について実行すると、第１デプス画像１１１の画素ごとに信頼度をプロットとした信頼度マップ１１３を生成して、記憶部１１０に格納する。そして、信頼度算出部１２３は、処理を図１２のステップＳ２１に進める。
［ステップＳ２１］法線算出部１２５は、偏光画像１１４に基づき、偏光画像１１４の画素ごとに、法線の情報として天頂角θと方位角φを算出する。具体的には、法線算出部１２５は、例えば図９に示したグラフ１２５ａのような偏光度と天頂角θとの所定の関係に基づいて、偏光画像１１４の各画素の偏光度に対応する天頂角θを算出する。また、方位角φは、次のように算出される。
法線算出部１２５は、偏光画像１１４の算出処理において近似されたコサインカーブにおいて、輝度値が最大となる角度θmaxを求める。また、法線算出部１２５は、前述の式（２−１），（２−２），（３−１）〜（３−３）を用いて、第１デプス画像１１１の座標（ｘ，ｙ）における方位角φ’を算出する。そして、法線算出部１２５は、θmaxと（θmax＋１８０）のうち、算出された方位角φ’に近い方を、偏光画像１１４に基づく方位角φとして特定する。
法線算出部１２５は、偏光画像１１４の各画素に対して天頂角θと方位角φをプロットした法線画像１１５を生成して、記憶部１１０に格納する。
［ステップＳ２２］詳細形状算出部１２６は、法線画像１１５に基づき、法線画像１１５の各画素の第２デプスを推定する。具体的には、詳細形状算出部１２６は、前述の式（５−１）〜（５−３）の法線ｎ’にｎ’zを乗算し、その乗算結果と前述の式（４−１）〜（４−３）とに基づいて、第２デプスの勾配を示すパラメータであるｐ’，ｑ’を算出する。そして、詳細形状算出部１２６は、前述の式（６）を用いて第２デプスＤｐを算出する。詳細形状算出部１２６は、推定された第２デプスＤｐを画素ごとにプロットした第２デプス画像１１６を生成して、記憶部１１０に格納する。
［ステップＳ２３］第１デプス画像１１１の画素ごとの第１デプスに対して、信頼度マップ１１３に含まれる、対応する画素の信頼度を乗算する。これにより、第１デプス画像１１１が変換第１デプス画像１１７に変換される。
なお、以上のステップＳ１２〜Ｓ１７，Ｓ２１〜Ｓ２４の処理は、ステップＳ１２，Ｓ１３，Ｓ２１，Ｓ２２という処理順と、Ｓ１４〜Ｓ１７，Ｓ２３という処理順が維持され、かつ、ステップＳ１３の後にステップＳ２２が実行されるという処理順が維持される範囲で、変更可能である。
［ステップＳ２４］詳細形状算出部１２６は、ステップＳ２３で生成された変換第１デプス画像１１７の変換第１デプスと、ステップＳ２２で生成された第２デプス画像１１６の第２デプスＤｐとの間の二乗誤差を最小化する処理を行う。これにより、詳細形状算出部１２６は、第２デプス画像１１６のスケールを推定する。具体的には、詳細形状算出部１２６は、前述の式（７）で表される残差平方和ＲＳＳが最小となるような変数βを算出する。詳細形状算出部１２６は、推定されたスケールが適用された第２デプス画像、すなわち各画素について算出されたβＤｐmを、像の形状の歪みの影響が低減された最終的なデプス画像として出力する。
なお、上記の各実施の形態に示した装置（距離計測装置１および形状計測装置１００）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。
１ 距離計測装置
１ａ 記憶部
１ｂ 演算部
２ ＴＯＦセンサ
３ａ〜３ｃ カメラ
４ａ〜４ｃ 画像
１１，１４，１５ 距離画像
１２ 偏光画像
１３ 信頼度
１６ 距離の出力値

Claims (8)

  1. ＴＯＦ（Time Of Flight）センサから取得された第１の距離画像と、それぞれ異なる偏光方向の直線偏光を受光する複数のカメラから取得された複数の画像に基づいて画素ごとに偏光度を算出することで生成された偏光画像とを記憶する記憶部と、
    前記第１の距離画像の画素ごとに、距離の計測時刻と前記複数の画像の撮影時刻との差に応じた信頼度を算出し、前記第１の距離画像の画素ごとの距離に前記信頼度を重み付けすることで算出される第２の距離画像と、前記偏光画像に基づいて画素ごとに距離を推定することで算出された第３の距離画像とを用いて、前記ＴＯＦセンサから被写体までの距離の出力値を画素ごとに算出する演算部と、
    を有する距離計測装置。
  2. 前記信頼度の算出では、前記計測時刻と前記撮影時刻との差が小さいほど、前記信頼度として高い値を設定する、
    請求項１記載の距離計測装置。
  3. 前記出力値の算出では、前記第２の距離画像と前記第３の距離画像との間の誤差を最小化する処理を行うことで、前記第３の距離画像の各画素の距離についてのスケールを推定し、推定された前記スケールを用いて前記第３の距離画像を変換することで、前記出力値を算出する、
    請求項１または２記載の距離計測装置。
  4. 前記出力値の算出では、
    前記第２の距離画像の各画素の距離と、前記第３の距離画像の各画素の距離に対して前記スケールを推定するための変数を乗算した値との間の誤差が最小となるような前記変数を算出し、
    前記第３の距離画像の各画素の距離に対して前記変数を乗算した値を、前記出力値として算出する、
    請求項３記載の距離計測装置。
  5. 前記演算部は、さらに、
    前記偏光画像に基づいて、画素ごとに法線の情報を対応付けた法線画像を算出し、
    前記法線画像に基づいて前記第３の距離画像を算出する、
    請求項１乃至４のいずれか１項に記載の距離計測装置。
  6. 前記ＴＯＦセンサは、測距用の光線を所定の第１の方向に延びる照射パターンとして発光し、前記照射パターンを前記第１の方向に直交する第２の方向に順次移動させながら前記光線の反射光を受光することで、前記第１の距離画像を生成する、
    請求項１乃至５のいずれか１項に記載の距離計測装置。
  7. コンピュータが、
    ＴＯＦセンサから第１の距離画像を取得するとともに、それぞれ異なる偏光方向の直線偏光を受光する複数のカメラから取得された複数の画像に基づいて画素ごとに偏光度を算出することで生成された偏光画像を取得し、
    前記第１の距離画像の画素ごとに、距離の計測時刻と前記複数の画像の撮影時刻との差に応じた信頼度を算出し、
    前記第１の距離画像の画素ごとの距離に前記信頼度を重み付けすることで算出される第２の距離画像と、前記偏光画像に基づいて画素ごとに距離を推定することで算出された第３の距離画像とを用いて、前記ＴＯＦセンサから被写体までの距離の出力値を画素ごとに算出する、
    距離計測方法。
  8. コンピュータに、
    ＴＯＦセンサから第１の距離画像を取得するとともに、それぞれ異なる偏光方向の直線偏光を受光する複数のカメラから取得された複数の画像に基づいて画素ごとに偏光度を算出することで生成された偏光画像を取得し、
    前記第１の距離画像の画素ごとに、距離の計測時刻と前記複数の画像の撮影時刻との差に応じた信頼度を算出し、
    前記第１の距離画像の画素ごとの距離に前記信頼度を重み付けすることで算出される第２の距離画像と、前記偏光画像に基づいて画素ごとに距離を推定することで算出された第３の距離画像とを用いて、前記ＴＯＦセンサから被写体までの距離の出力値を画素ごとに算出する、
    処理を実行させる距離計測プログラム。
JP2017235049A 2017-12-07 2017-12-07 距離計測装置、距離計測方法および距離計測プログラム Active JP6892603B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017235049A JP6892603B2 (ja) 2017-12-07 2017-12-07 距離計測装置、距離計測方法および距離計測プログラム
US16/211,650 US11428522B2 (en) 2017-12-07 2018-12-06 Distance measuring device, distance measuring method, and non-transitory computer-readable storage medium for storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017235049A JP6892603B2 (ja) 2017-12-07 2017-12-07 距離計測装置、距離計測方法および距離計測プログラム

Publications (2)

Publication Number Publication Date
JP2019100969A JP2019100969A (ja) 2019-06-24
JP6892603B2 true JP6892603B2 (ja) 2021-06-23

Family

ID=66734687

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017235049A Active JP6892603B2 (ja) 2017-12-07 2017-12-07 距離計測装置、距離計測方法および距離計測プログラム

Country Status (2)

Country Link
US (1) US11428522B2 (ja)
JP (1) JP6892603B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230342963A1 (en) * 2019-12-13 2023-10-26 Sony Group Corporation Imaging device, information processing device, imaging method, and information processing method
WO2021146969A1 (zh) * 2020-01-21 2021-07-29 深圳市大疆创新科技有限公司 距离测量方法、可移动平台、设备和存储介质
CN115077402A (zh) * 2022-06-22 2022-09-20 广州市城市规划勘测设计研究院 一种管线埋深及管径的测量装置及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007333441A (ja) * 2006-06-13 2007-12-27 Yaskawa Electric Corp 移動体およびその環境認識センサ
WO2010073547A1 (ja) 2008-12-25 2010-07-01 パナソニック株式会社 画像処理装置及び擬似立体画像生成装置
JP5541653B2 (ja) * 2009-04-23 2014-07-09 キヤノン株式会社 撮像装置及びその制御方法
US8619122B2 (en) 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US11313678B2 (en) * 2011-06-30 2022-04-26 The Regents Of The University Of Colorado Remote measurement of shallow depths in semi-transparent media
JP2013044597A (ja) 2011-08-23 2013-03-04 Canon Inc 画像処理装置および方法、プログラム
US20140363073A1 (en) 2013-06-11 2014-12-11 Microsoft Corporation High-performance plane detection with depth camera data
US9438891B2 (en) 2014-03-13 2016-09-06 Seiko Epson Corporation Holocam systems and methods
CN107251539B (zh) * 2015-02-27 2020-10-16 索尼公司 成像装置、图像处理装置和图像处理方法
US10260866B2 (en) 2015-03-06 2019-04-16 Massachusetts Institute Of Technology Methods and apparatus for enhancing depth maps with polarization cues
WO2017199531A1 (ja) * 2016-05-16 2017-11-23 ソニー株式会社 撮像装置及び内視鏡
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
DE112018003986T5 (de) * 2017-08-04 2020-04-16 Sony Corporation Steuervorrichtung, steuerverfahren, programm und mobileinheit
US10574973B2 (en) * 2017-09-06 2020-02-25 Facebook Technologies, Llc Non-mechanical beam steering for depth sensing

Also Published As

Publication number Publication date
JP2019100969A (ja) 2019-06-24
US20190178633A1 (en) 2019-06-13
US11428522B2 (en) 2022-08-30

Similar Documents

Publication Publication Date Title
US9628684B2 (en) Light-field aberration correction
US9947099B2 (en) Reflectivity map estimate from dot based structured light systems
US10430956B2 (en) Time-of-flight (TOF) capturing apparatus and image processing method of reducing distortion of depth caused by multiple reflection
Dorrington et al. Separating true range measurements from multi-path and scattering interference in commercial range cameras
US8339582B2 (en) Apparatus and method to correct image
JP6073786B2 (ja) 対象物の距離特性および／または輝度特性を測定する装置および方法
JP6892603B2 (ja) 距離計測装置、距離計測方法および距離計測プログラム
CN107729893B (zh) 一种合模机的视觉定位方法、***和存储介质
US20080267454A1 (en) Measurement apparatus and control method
US7411688B1 (en) Method and system for laser intensity calibration in a three-dimensional multi-color laser scanning system
US9153029B2 (en) Block patterns as two-dimensional ruler
CN111047650B (zh) 一种用于飞行时间相机的参数标定方法
KR20140143724A (ko) 높은 스루풋 및 저비용 높이 삼각측량 시스템 및 방법
US10877154B2 (en) Range estimation for light detecting and ranging (LIDAR) systems
TW201643464A (zh) 用於空間－時間壓縮的飛行時間成像之技術
TWI468658B (zh) 鏡頭檢測裝置及方法
US20200182971A1 (en) Time of Flight Sensor Module, Method, Apparatus and Computer Program for Determining Distance Information based on Time of Flight Sensor Data
JP2009236696A (ja) 被写体の３次元画像計測方法、計測システム、並びに計測プログラム
JP7071633B2 (ja) 距離計測装置、距離計測方法および距離計測プログラム
Jawad et al. Measuring object dimensions and its distances based on image processing technique by analysis the image using sony camera
JP2015526692A (ja) 奥行きセンサベース反射物体の形状取得方法及び装置
CN113341168A (zh) 基于接触式图像传感器的测速方法、设备及***
CN111637837A (zh) 一种单目摄像头测量物体尺寸及距离的方法和***
JP2021043679A (ja) イメージレジストレーション装置、画像生成システム、イメージレジストレーション方法及びイメージレジストレーションプログラム
KR20240071170A (ko) 멀티뷰 위상 이동 프로파일로메트리를 위한 3차원 캘리브레이션 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200911

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200918

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210510

R150 Certificate of patent or registration of utility model

Ref document number: 6892603

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150