JP6717425B2 - 距離情報処理装置、距離情報処理方法および距離情報処理プログラム - Google Patents

距離情報処理装置、距離情報処理方法および距離情報処理プログラム Download PDF

Info

Publication number
JP6717425B2
JP6717425B2 JP2019510507A JP2019510507A JP6717425B2 JP 6717425 B2 JP6717425 B2 JP 6717425B2 JP 2019510507 A JP2019510507 A JP 2019510507A JP 2019510507 A JP2019510507 A JP 2019510507A JP 6717425 B2 JP6717425 B2 JP 6717425B2
Authority
JP
Japan
Prior art keywords
point
dimensional
distance
information processing
distance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019510507A
Other languages
English (en)
Other versions
JPWO2018185807A1 (ja
Inventor
和浩 吉村
和浩 吉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2018185807A1 publication Critical patent/JPWO2018185807A1/ja
Application granted granted Critical
Publication of JP6717425B2 publication Critical patent/JP6717425B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、距離情報処理装置等に関する。
距離センサを用いて立体物の形状を測定すると、立体物の輪郭部分で実際の位置よりも奥行方向にエッジノイズが発生する場合がある。図15および図16は、エッジノイズを説明するための図である。図15に示すように、距離センサ10を用いて、立体物15を計測すると、図16に示す3次元点群データ20が得られる。図16に示す例では、3次元点群データのうち、各点21が、エッジノイズとなる。
エッジノイズを除去する従来技術の一例について説明する。図17は、従来技術の一例を説明するための図である。従来技術は、3次元点群データ20に含まれる各点について、他点との距離を求めることで、点群密度を算出する。従来技術は、点群密度が閾値よりも高い点を残し、点群密度が閾値よりも低い点を削除する。点群密度は、注目する点を中心とする半径rの球に含まれる点の個数である。
例えば、点22を中心とする半径rの球に含まれる点が多いため、点22は、点群密度が高いと言える。従って、従来技術は、点22を残す。一方、点23を中心とする半径rの球に含まれる点が少ないため、点23は、点群密度が低いと言える。従って、従来技術は、点23を削除する。従来技術は、3次元点群データ20に含まれる各点について、上記処理を繰り返すことで、エッジノイズとなる各点21を削除し、エッジノイズのない3次元点群データ25を生成する。
なお、立体物の3次元点群データを算出する場合には、背景差分処理を実行する。図18は、背景差分処理の一例を示す図である。図18に示すように、背景の3次元点群データ5aと、背景+立体物の3次元点群データ5bとの差分を取ることで、立体物のみの3次元点群データ5cを得る。3次元点群データ5cの立体物付近を拡大したものが、拡大データ5dとなる。拡大データ5dには、エッジノイズ5eが含まれている。
特開2009−204615号公報 特開2009−229182号公報
しかしながら、上述した従来技術では、3次元点群データからノイズを削除する場合の計算量が多いという問題がある。
上記のように、従来技術では、点群密度を算出するために、注目する点と、その他の点との距離をそれぞれ算出した後に、注目する点を中心とした半径rの球に含まれる点数をカウントする。このため、点数が増加すると計算量が増加する。例えば、3次元点数データの点数をNとすると、計算量は「O(N)」となる。
1つの側面では、本発明は、3次元点群データからノイズを削除する場合の計算量を抑止することができる距離情報処理装置、距離情報処理方法および距離情報処理プログラムを提供することを目的とする。
第1の案では、距離情報処理装置は、生成部と、特定部と、削除部とを有する。生成部は、立体物上の各点の3次元座標を示す3次元点群データを基にして、各点の2次元座標と各点の奥行きとを対応づけた画像データを生成する。特定部は、画像データの輪郭部分に含まれる輪郭画素に対応する3次元点群データの点を注目点として特定し、輪郭画素の周辺の画素に対応する3次元点群データの点を周辺点として特定する。削除部は、注目点との距離が所定距離未満となる周辺点の数に基づいて、注目点を削除する。
3次元点群データからノイズを削除する場合の計算量を抑止することができる。
図1は、本実施例に係る距離情報処理装置の構成を示す機能ブロック図である。 図2は、距離センサの一例を示す図である。 図3は、ラスタスキャンの一例を説明するための図である。 図4は、3次元点群データのデータ構造の一例を示す図である。 図5は、2.5D画像データのデータ構造の一例を示す図である。 図6は、パラメータのデータ構造の一例を示す図である。 図7は、パラメータを補足説明するための図(1)である。 図8は、パラメータを補足説明するための図(2)である。 図9は、注目点を特定する処理を説明するための図である。 図10は、周辺点を特定する処理を説明するための図である。 図11は、本実施例に係る距離情報処理装置の処理手順を示すフローチャート(1)である。 図12は、本実施例に係る距離情報処理装置の処理手順を示すフローチャート(2)である。 図13は、3次元点群データの使用用途の一例を説明するための図である。 図14は、距離情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図15は、エッジノイズを説明するための図(1)である。 図16は、エッジノイズを説明するための図(2)である。 図17は、従来技術の一例を説明するための図である。 図18は、背景差分処理の一例を示す図である。
以下に、本発明にかかる距離情報処理装置、距離情報処理方法および距離情報処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、本実施例に係る距離情報処理装置の構成を示す機能ブロック図である。図1に示すように、この距離情報処理装置100は、距離センサ50に接続される。距離センサ50は、立体物上の各点の3次元座標を示す3次元点群データを、距離情報処理装置100に出力する。
図2は、距離センサの一例を示す図である。距離センサ50は、発光ユニット11と、受光ユニット12とを有する。発光ユニット11は、立体物15に対してレーザーを発光する装置である。受光ユニット12は、立体物15から反射するレーザーを受光する装置である。
発光ユニット11は、制御回路11aと、発光回路11bと、ミラー11cと、レンズ11dとを有する。制御回路11aは、ミラー11cの方向を制御することで、レーザーの発光先を制御する装置である。また、制御回路11aは、発光回路11bに対して、発光タイミングを指示し、距離計測回路12bに発光タイミングを通知する。発光回路11bは、制御回路11aから指示された発光タイミングで、レーザーを発光する装置である。発光回路11から発光されたレーザーは、ミラー11c、レンズ11dを介して、立体物15に到達する。
受光ユニット12は、レンズ12aと、距離計測回路12bとを有する。立体物15から反射するレーザーは、レンズ12aを介して、距離計測回路12bに到達する。距離計測回路12bは、レーザーの発光タイミングから、レーザーの受光タイミングまでの時間から、レーザーが到達した立体物15上の点と、距離センサ50との距離を計測する装置である。また、距離計測回路12bは、距離センサ50の3次元位置、レーザーが到達した立体物15上の点と、距離センサ50との距離を基にして、立体物15上の点の3次元座標を算出する。
距離センサ50は、レーザーの照射位置を変更して、上記処理を繰り返し実行することで、立体物15上の各点の3次元座標を示す3次元点群データを生成する。なお、本実施例に係る距離センサ50は、ラスタスキャン(Raster scan)を実行することで、3次元点群データを生成する。
図3は、ラスタスキャンの一例を説明するための図である。ラスタスキャンは、立体物15が存在する空間上の左端から右端に向かってスキャン(レーザーの照射位置を移動)し、右端に到達すると、1つ下のラインに移行して、上記処理を繰り返し実行するものである。ラスタスキャンを実行することで、3次元点群データに含まれる各点の3次元座標が、ラスタスキャンによりスキャンされた順番に並ぶことになる。
距離センサ50は、図18で説明した背景差分処理を実行することで、立体物の3次元点群データを生成するものとする。
図1の説明に戻る。距離情報処理装置100は、記憶部110と、制御部120とを有する。記憶部110は、3次元点群データ110aと、2.5D画像データ110bと、パラメータ110cとを有する。記憶部110は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。
3次元点群データ110aは、立体物上の各点の3次元座標を示すデータである。図4は、3次元点群データのデータ構造の一例を示す図である。図4に示すように、この3次元点群データ110aは、識別番号と、x座標と、y座標と、z座標とを対応づける。識別番号は、3次元空間上の立体物15の点を一意に識別するデータである。x座標と、y座標と、z座標は、識別番号に対応する点の3次元座標を示す。3次元点群データ110aは、例えば、上からラスタスキャンの順に並んでいる。
2.5D画像データ110bは、立体物15の各点の3次元座標から算出される2次元座標と奥行きとを対応づけたデータである。図5は、2.5D画像データのデータ構造の一例を示す図である。この2.5D画像データ110bは、u軸およびv軸により示される画素に、奥行きが対応づけられる。また、例えば、2.5D画像データの各画素は、3次元点群データ110aの識別番号に対応づけられていても良い。
パラメータ110cは、2.5D画像データ110bを生成するために利用するパラメータである。図6は、パラメータのデータ構造の一例を示す図である。図7および図8は、パラメータを補足説明するための図である。
図6に示すように、パラメータ110cは、パラメータの種別と値とを対応づける。パラメータには、width、height、θx、θy、depth_resolution、rが含まれる。このうち、width、θxについて、図7を用いて説明する。図7は、距離センサ50を上方から見たものである。「width」は、距離センサ50がラスタスキャンを行うx軸方向の範囲を示すものであり、x軸方向の取得点数に対応する。「θx」は、線分1aと線分1bとのなす角度である。線分1aは、x軸方向のラスタスキャンを行う範囲の左端と距離センサ50とを通る線分である。線分1bは、x軸方向のラスタスキャンを行う範囲の右端と距離センサ50とを通る線分である。
height、fy、θyについて、図8を用いて説明する。図8は、距離センサ50を側面から見たものである。「height」は、距離センサ50がラスタスキャンを行うy軸方向の範囲を示すものであり、y軸方向の取得点数に対応する。「θy」は、線分2aと線分2bとのなす角度である。線分2aは、y軸方向のラスタスキャンを行う範囲の上端と距離センサ50とを通る線分である。線分2bは、y軸方向のラスタスキャンを行う範囲の下端と距離センサ50とを通る線分である。なお、「depth_resolution」は、z軸の解像度を示す。「r」は、点群密度を算出する場合の範囲(半径)を示す。
制御部120は、取得部120a、生成部120b、特定部120c、削除部120dを有する。制御部120は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって実現できる。また、制御部120は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。
取得部120aは、距離センサ50から3次元点群データ110aを取得する処理部である。取得部120aは、取得した3次元点群データ110aを、記憶部110に登録する。
生成部120bは、3次元点群データ110aおよびパラメータ110cを基にして、2.5D画像データ110bを生成する処理部である。以下において、生成部120bの処理の一例について説明する。
生成部120bは、3次元点群データ110aから一つの点を選択し、式(1)〜式(3)に基づいて、選択した点に対応する2.5D画像データ110b上のu軸の値、v軸の値、奥行きを算出する。生成部120bは、算出結果に基づいて、選択した点に対応する2.5D画像データ110b上のu軸の値およびv軸の値に対応する位置に奥行きをマップする。生成部120bは、2.5D画像データ110bの画素にマップする際に、選択した点の識別番号を対応づける。生成部120bは、3次元点群データ110aに含まれる全ての点に対して、上記処理を繰り返し実行することで、2.5D画像データ110bを生成する。
u=pc[idx].x*fx/pc[idx].z+cx+1・・・(1)
v=pc[idx].y*fy/pc[idx].z+cy+1・・・(2)
depth[u][v]=pc[idx].z/depth_resolution・・・(3)
式(1)は、u軸の値を算出するものである。式(2)は、v軸の値を算出するものである。depth[u][v]は、u軸の値およびv軸の値に対応する奥行きを算出するものである。式(1)〜(3)において、pc[idx].x、pc[idx].y、pc[idx].zは、3次元点群データ110aから選択されたidx番目の点の3次元座標(x座標値、y座標値、z座標値)を示す。
式(1)に含まれるfxは、x軸方向の焦点距離を示すものである。生成部120bは、式(4)によりfxを算出する。式(2)に含まれるfyは、y軸方向の焦点距離を示すものである。生成部120bは、式(5)によりfyを算出する。
fx=width/(2*tan(θx/2))・・・(4)
fy=height/(2*tan(θy/2))・・・(5)
式(1)に含まれるcxは、x軸方向の画像中心を示すものである。生成部120bは、式(6)によりcxを算出する。式(2)に含まれるcyは、y軸方向の画像中心を示すものである。生成部120bは、式(7)によりcyを算出する。
cx=width/2・・・(6)
cy=height/2・・・(7)
特定部120cは、2.5D画像データ110bを基にして、輪郭部分の画素に対応する3次元点群データ110aの点を「注目点」として特定する。また、特定部120cは、輪郭部分の画素の周辺の画素に対応する3次元点群データ110aの点を「周辺点」として特定する。
図9は、注目点を特定する処理を説明するための図である。図9に示すように、2.5D画像データ110bに対して輪郭抽出を実行すると、2.5D画像データ110bから、輪郭部分130が抽出される。例えば、特定部120cは、2.5D画像データ110bを走査し、奥行き「depth」の値が0でない領域を特定する。特定部120cは、奥行き「depth」の値が0でない領域のうち、外側(輪郭)の画素と、外側の画素に隣接する画素を、輪郭部分130として特定する。なお、どこまでを輪郭部分130とするかは、適宜調整可能である。例えば、輪郭の上下左右±3画素を、輪郭部分130としても良い。
特定部120cは、輪郭部分130に含まれる各画素に対応する各点を、3次元点群データから特定する。図9に示す3次元点群データ111は、3次元点群データ110aを画像で示すものである。輪郭部分130に含まれる各画素に対応する各点は、各点135となる。各点135が、それぞれ注目点となる。
図10は、周辺点を特定する処理を説明するための図である。特定部120cは、輪郭部分に含まれる画素のうち、一つの画素を注目画素として選択する。図10に示す例では、特定部120は、注目画素Aを選択する。特定部120は、点群密度を算出するための半径rの値を、パラメータ110cから取得し、注目画素Aを基準とした、半径rの円に相当する矩形範囲140を設定する。
特定部120cは、矩形範囲140を特定するために、1画素(要素)あたりのx軸の距離ixと、1画素あたりのy軸の距離iyとを求める。例えば、特定部120cは、距離ixを式(8)により算出し、距離iyを式(9)により算出する。
ix=(pc[width*height-1].x-pc[0].x)/width・・・(8)
iy=(pc[width*height-1].y-pc[0].y)/height・・・(9)
ここでは便宜的に、距離ix=0.010mとし、距離iy=0.020mとする。また、点群密度を判定するための半径を半径r=0.040mとすると、矩形範囲は、上下それぞれ2画素、左右それぞれ4画素となり、図10に示す矩形範囲140となる。なお、図10において、注目画素Aに対応する3次元点群データ上の点のx座標を「−0.030」、画素Bに対応する3次元点点群データの点のx座標を「−0.020」、画素Cに対応する3次元点点群データの点のx座標を「−0.010」、画素Dに対応する3次元点点群データの点のx座標を「0」、画像Eに対応する3次元点点群データの点のx座標を「0.010」とする。注目画素Aに対応する3次元点点群データの点のy座標を「0.020」、画素Fに対応する3次元点点群データの点のy座標を「0.040」、画素Gに対応する3次元点点群データの点のy座標を「0.060」とする。
特定部120cは、2.5D画像データ110bの矩形領域140に含まれる各画素のうち、注目画素A以外の画素を、周辺画素として特定する。なお、特定部120cは、矩形領域140に含まれる画素であっても、奥行き(depth)の値が0となる画素を、周辺画素から除外する。特定部120cは、注目画素に対応する3次元点群データ110aの注目点の情報(識別番号)と、各周辺画素に対応する3次元点群データ110aの周辺点の情報(識別番号)とを対応づけた情報を、削除部120dに出力する。
特定部120cは、輪郭部分130に含まれる各画素について、上記処理を繰り返し実行することで、注目点の情報と、かかる注目点に対応する周辺点の情報を、削除部120dに出力する。
削除部120dは、注目点の点群密度に基づいて、注目点を削除する処理部である。以下において、削除部120dの処理の一例について説明する。削除部120dは、注目点の情報と、この注目点に対応する複数の周辺点の情報を取得し、注目点と各周辺点との距離を算出する。削除部120dは、注目点と各周辺点の3次元座標を、3次元点群データ110aから取得する。
削除部120dは、注目点との距離が半径r未満となる周辺点の数を、点群密度としてカウントする。削除部120dは、点群密度が閾値以上である場合には、注目点の削除を行わない。一方、削除部120dは、点群密度が閾値未満である場合には、注目点を削除する。例えば、削除部120dは、削除対象となる注目点のレコードを、3次元点群データ110aから削除する。
削除部120dは、他の注目点についても、上記処理を繰り返し実行することで、点群密度を算出し、点群密度と閾値との比較により、注目点の削除を行う。
次に、本実施例に係る距離情報処理装置100の処理手順の一例について説明する。図11および図12は、本実施例に係る距離情報処理装置の処理手順を示すフローチャートである。図11に示すように、距離情報処理装置100に接続される距離センサ50は、ラスタスキャンを実行することで、3次元点群データ110aを計測する(ステップS101)。
距離情報処理装置100の生成部120bは、3次元点群データ110aを基にして、2.5D画像データ110bを生成する(ステップS102)。距離情報処理装置100の特定部120cは、2.5D画像データ110bに対して輪郭抽出を実行する(ステップS103)。特定部120cは、輪郭部分の画素と対応する3次元点群データの点を注目点に設定する(ステップS104)。
特定部120cは、x軸、y軸それぞれの画角θx、θyから焦点距離fx、fyを算出する(ステップS105)。特定部120cは、1画素あたりのx軸y軸の距離ix、iyを算出し(ステップS106)、図12のステップS107Aに移行する。
距離情報処理装置100の特定部120cおよび削除部120dは、全注目点に対してステップS107A〜S107Bの処理を繰り返し実行する。特定部120cは、周辺点を抽出する(ステップS108)。
削除部120dは、全周辺点に対してステップS109A〜S109Bの処理を繰り返し実行する。削除部120dは、注目点と周辺点との距離を計算する(ステップS110)。削除部120dは、距離がr=rx=ryの球内でない場合には(ステップS111,No)、ステップS109Bに移行する。一方、削除部120dは、距離がr=rx=ryの球内である場合には(ステップS111,Yes)、注目点を中心とする球に含まれる周辺点の個数をカウントし(ステップS112)、ステップS109Bに移行する。
削除部120dは、注目点の点群密度を計算する(ステップS113)。削除部120dは、点群密度が閾値以上である場合には(ステップS114,Yes)、注目点を残し(ステップS115)、ステップS107Bに移行する。一方、削除部120dは、点群密度が閾値未満である場合には(ステップS114,No)、注目点を削除し(ステップS116)、ステップS107Bに移行する。
次に、本実施例に係る距離情報処理装置100の効果について説明する。距離情報処理装置100は、3次元点群データ110aの点群密度を算出する場合に、算出対象を注目点および周辺点に絞って、計算を行うため、計算対象を削減することができる。
例えば、図9に示した2.5D画像データ110bの各画素に対応する点の数を114点とした場合、注目画素を輪部部分130に絞り込むため、注目点の数を、114点(N)から85点に削減することができる。また、周辺点は、注目点1点につき113点(N−1)から、矩形領域に含まれる45点に削減することができる。
また、距離情報処理装置100の距離センサ50は、3次元点群データ110aを生成する場合に、ラスタスキャンを実行するため、3次元点群データ110aのレコードが、ラスタスキャンを実行した順番に並ぶことになる。このため、各3次元点群データ110aに含まれるある点周辺に存在する他の点を容易に特定することが可能となる。
次に、本実施例に係る距離情報処理装置100によりエッジノイズが取り除かれた3次元点群データ110aの使用用途の一例について説明する。図13は、3次元点群データの使用用途の一例を説明するための図である。3次元点群データ110aは、スポーツ競技の判定などを行う場合に利用される。
例えば、図13に示すように、距離情報処理装置100から出力されたエッジノイズを取り除かれた3次元点群データ110aは、2.5D変換されて、2.5D画像データ130aが生成される。2.5D画像データ130aは、機械学習の結果得られる辞書80と比較されて、複数の部分領域に認識されることで、認識データ130bが生成される。辞書80は、3D人物モデリング、CGモデリング及びレンダリング、機械学習の結果得られる情報である。
認識データ130bは、骨格フィッティングにより、立体物(選手)15の骨格130cが特定される。上記の処理を繰り返し実行することで、骨格130cの動きを特定でき、例えば、技などを識別することが可能となる。
次に、上記実施例に示した距離情報処理装置100と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図14は、距離情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図14に示すように、コンピュータ200は、各種演算処理を実行するCPU201と、ユーザからのデータの入力を受け付ける入力装置202と、ディスプレイ203とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読み取る読み取り装置204と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置205とを有する。コンピュータ200は、距離センサ206を有する。また、コンピュータ200は、各種情報を一時記憶するRAM207と、ハードディスク装置308とを有する。そして、各装置201〜208は、バス209に接続される。
ハードディスク装置208は、生成プログラム208a、特定プログラム208b、削除プログラム208cを有する。CPU201は、生成プログラム208a、特定プログラム208b、削除プログラム208cを読み出してRAM207に展開する。
生成プログラム208aは、生成プロセス207aとして機能する。特定プログラム208bは、特定プロセス207bとして機能する。削除プログラム208cは、削除プロセス207cとして機能する。
生成プロセス207aの処理は、生成部120bの処理に対応する。特定プロセス207bの処理は、特定部120cの処理に対応する。削除プロセス207cの処理は、削除部120dの処理に対応する。
なお、各プログラム208a〜208cについては、必ずしも最初からハードディスク装置208に記憶させておかなくても良い。例えば、コンピュータ200に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ200が各プログラム208a〜208cを読み出して実行するようにしても良い。
50 距離センサ
100 距離情報処理装置
110 記憶部
110a 3次元点群データ
110b 2.5D画像データ
110c パラメータ
120 制御部
120a 取得部
120b 生成部
120c 特定部
120d 削除部

Claims (6)

  1. 立体物上の各点の3次元座標を示す3次元点群データを基にして、各点の2次元座標と各点の奥行きとを対応づけた画像データを生成する生成部と、
    前記画像データの輪郭部分に含まれる輪郭画素に対応する前記3次元点群データの点を注目点として特定し、前記輪郭画素の周辺の画素に対応する前記3次元点群データの点を周辺点として特定する特定部と、
    前記注目点との距離が所定距離未満となる前記周辺点の数に基づいて、前記注目点を削除する削除部と
    を有することを特徴とする距離情報処理装置。
  2. 距離センサから前記3次元点群データを取得する取得部を更に有し、前記距離センサは、前記立体物に対してラスタスキャンを実行し、前記立体物の各点の3次元座標を所定の順番で取得することで、前記3次元点群データを生成することを特徴とする請求項1に記載の距離情報処理装置。
  3. 前記特定部は、前記距離センサの焦点距離を基にして、前記画像データの1画素あたりの距離を算出し、前記1画素あたりの距離と前記所定距離との関係から、前記周辺点に対応する前記輪郭画素上の画素の範囲を特定することを特徴とする請求項2に記載の距離情報処理装置。
  4. 前記削除部は、前記注目点との距離が所定距離未満となる前記周辺点の数が所定数未満の場合に、前記注目点を削除することを特徴とする請求項1に記載の距離情報処理装置。
  5. コンピュータが実行する距離情報処理方法であって、
    立体物上の各点の3次元座標を示す3次元点群データを基にして、各点の2次元座標と各点の奥行きとを対応づけた画像データを生成し、
    前記画像データの輪郭部分に含まれる輪郭画素に対応する前記3次元点群データの点を注目点として特定し、
    前記輪郭画素の周辺の画素に対応する前記3次元点群データの点を周辺点として特定し、
    前記注目点との距離が所定距離未満となる前記周辺点の数に基づいて、前記注目点を削除する
    処理を実行することを特徴とする距離情報処理方法。
  6. コンピュータに、
    立体物上の各点の3次元座標を示す3次元点群データを基にして、各点の2次元座標と各点の奥行きとを対応づけた画像データを生成し、
    前記画像データの輪郭部分に含まれる輪郭画素に対応する前記3次元点群データの点を注目点として特定し、
    前記輪郭画素の周辺の画素に対応する前記3次元点群データの点を周辺点として特定し、
    前記注目点との距離が所定距離未満となる前記周辺点の数に基づいて、前記注目点を削除する
    処理を実行させることを特徴とする距離情報処理プログラム。
JP2019510507A 2017-04-03 2017-04-03 距離情報処理装置、距離情報処理方法および距離情報処理プログラム Active JP6717425B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/013920 WO2018185807A1 (ja) 2017-04-03 2017-04-03 距離情報処理装置、距離情報処理方法および距離情報処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2018185807A1 JPWO2018185807A1 (ja) 2019-12-26
JP6717425B2 true JP6717425B2 (ja) 2020-07-01

Family

ID=63712148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019510507A Active JP6717425B2 (ja) 2017-04-03 2017-04-03 距離情報処理装置、距離情報処理方法および距離情報処理プログラム

Country Status (5)

Country Link
US (1) US11195296B2 (ja)
EP (1) EP3608628B1 (ja)
JP (1) JP6717425B2 (ja)
CN (1) CN110476037B (ja)
WO (1) WO2018185807A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
JP6854828B2 (ja) 2015-12-18 2021-04-07 ジェラルド ディルク スミッツ 物体のリアルタイム位置検知
EP3563347A4 (en) 2016-12-27 2020-06-24 Gerard Dirk Smits SYSTEMS AND METHODS FOR MACHINE PERCEPTION
WO2018185807A1 (ja) * 2017-04-03 2018-10-11 富士通株式会社 距離情報処理装置、距離情報処理方法および距離情報処理プログラム
TWI725522B (zh) * 2018-08-28 2021-04-21 鈺立微電子股份有限公司 具有校正功能的影像擷取系統
JP7327494B2 (ja) * 2019-10-02 2023-08-16 富士通株式会社 補正方法、補正プログラムおよび情報処理システム
CN115176175A (zh) * 2020-02-18 2022-10-11 株式会社电装 物体检测装置
WO2021174227A1 (en) * 2020-02-27 2021-09-02 Gerard Dirk Smits High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array
CN111507340B (zh) * 2020-04-16 2023-09-01 北京深测科技有限公司 一种基于三维点云数据的目标点云数据提取方法
CN116704125B (zh) * 2023-06-02 2024-05-17 深圳市宗匠科技有限公司 一种基于三维点云的映射方法、装置、芯片及模组设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004012221A (ja) * 2002-06-05 2004-01-15 Hitachi Eng Co Ltd 遺構遺物等の実測二次元図作成方法およびシステム
DE10335829A1 (de) * 2003-08-05 2005-03-10 Siemens Ag Verfahren zur Bestimmung der Achsgeometrie und Sensor zu dessen Durchführung
JP4042780B2 (ja) * 2005-11-04 2008-02-06 オムロン株式会社 物体認識方法、物体認識用のプログラムならびにその記憶媒体、および物体認識装置
CN101617197B (zh) 2007-02-16 2011-06-22 三菱电机株式会社 测量装置、测量方法及地物识别装置
JP5256464B2 (ja) 2008-03-21 2013-08-07 アクリーグ株式会社 画像上地物計測方法および表示法並びに計測装置
WO2011070927A1 (ja) * 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
JP5620741B2 (ja) * 2010-08-06 2014-11-05 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2012120647A (ja) * 2010-12-07 2012-06-28 Alpha Co 姿勢検出装置
JP6030549B2 (ja) * 2011-04-13 2016-11-24 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
KR101907081B1 (ko) * 2011-08-22 2018-10-11 삼성전자주식회사 3차원 점군의 물체 분리 방법
KR20130047822A (ko) * 2011-11-01 2013-05-09 삼성전자주식회사 영상 처리 장치 및 방법
JP5963353B2 (ja) * 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
EP3085298A4 (en) * 2013-12-19 2017-08-16 Olympus Corporation Image-processing apparatus, image-processing method, and image-processing program
US9619691B2 (en) * 2014-03-07 2017-04-11 University Of Southern California Multi-view 3D object recognition from a point cloud and change detection
JP6426968B2 (ja) * 2014-10-08 2018-11-21 キヤノン株式会社 情報処理装置およびその方法
US10726581B2 (en) * 2015-06-18 2020-07-28 Disney Enterprises, Inc. System and method for scene-space video processing
US10262222B2 (en) * 2016-04-13 2019-04-16 Sick Inc. Method and system for measuring dimensions of a target object
US9972067B2 (en) * 2016-10-11 2018-05-15 The Boeing Company System and method for upsampling of sparse point cloud for 3D registration
US10237532B2 (en) * 2017-03-07 2019-03-19 Trimble Ab Scan colorization with an uncalibrated camera
WO2018185807A1 (ja) * 2017-04-03 2018-10-11 富士通株式会社 距離情報処理装置、距離情報処理方法および距離情報処理プログラム

Also Published As

Publication number Publication date
EP3608628A4 (en) 2020-03-04
US11195296B2 (en) 2021-12-07
US20200013185A1 (en) 2020-01-09
EP3608628A1 (en) 2020-02-12
EP3608628B1 (en) 2020-11-25
CN110476037B (zh) 2022-01-11
JPWO2018185807A1 (ja) 2019-12-26
CN110476037A (zh) 2019-11-19
WO2018185807A1 (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
JP6717425B2 (ja) 距離情報処理装置、距離情報処理方法および距離情報処理プログラム
JP5631025B2 (ja) 情報処理装置、その処理方法及びプログラム
US7246034B2 (en) Surveying apparatus and method of analyzing measuring data
JP2012037490A (ja) データ解析装置、データ解析方法、及びプログラム
US20190079192A1 (en) Time-of-flight augmented structured light range-sensor
US20160012312A1 (en) Image processing method, image processing apparatus, program, and recording medium
CN104380338A (zh) 信息处理器以及信息处理方法
US10460461B2 (en) Image processing apparatus and method of controlling the same
CN111142514B (zh) 一种机器人及其避障方法和装置
JP6125296B2 (ja) データ解析装置、データ解析方法、及びプログラム
JP2010029958A (ja) 輪郭抽出装置と輪郭抽出方法及び輪郭抽出プログラム
JP7327494B2 (ja) 補正方法、補正プログラムおよび情報処理システム
KR102537530B1 (ko) 가속 구조를 생성하는 방법 및 장치
JP2019215180A (ja) 計測システムおよび計測方法
JP6950208B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP6765653B2 (ja) デプスマップ生成装置、デプスマップ生成方法及びプログラム
JP3916598B2 (ja) 標高データ生成方法及び標高データ生成プログラム
KR20170025993A (ko) 가속 구조를 생성 및 탐색하는 방법
JP6586852B2 (ja) 画像処理装置
JP7276968B2 (ja) 3次元データ更新装置、顔向き推定装置、3次元データ更新方法およびプログラム
US20240144483A1 (en) Method and system for recognizing objects, which are represented in an image by means of a point cloud
JP7279893B2 (ja) 顔検出装置、顔検出方法、及びプログラム
US20240212183A1 (en) Information processing apparatus that processes 3d information, information processing method, and information processing system
KR100269512B1 (ko) CCD카메라의 이미지 포커스 방법에 있어서 곡면윈도우를 사용한 삼차원형상의 측정방법(Method for Measuring 3-Dementional Shape from Image Focus using Curved Window in CCD Camera)
CN117152791A (zh) 扫描杆裁剪方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190904

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200525

R150 Certificate of patent or registration of utility model

Ref document number: 6717425

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150