JP7301474B2 - 3D data analysis device and 3D data analysis method - Google Patents
3D data analysis device and 3D data analysis method Download PDFInfo
- Publication number
- JP7301474B2 JP7301474B2 JP2019131245A JP2019131245A JP7301474B2 JP 7301474 B2 JP7301474 B2 JP 7301474B2 JP 2019131245 A JP2019131245 A JP 2019131245A JP 2019131245 A JP2019131245 A JP 2019131245A JP 7301474 B2 JP7301474 B2 JP 7301474B2
- Authority
- JP
- Japan
- Prior art keywords
- blank area
- hole
- image
- dimensional data
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/60—Other road transportation technologies with climate change mitigation effect
- Y02T10/72—Electric energy management in electromobility
Landscapes
- Electric Propulsion And Braking For Vehicles (AREA)
- Image Analysis (AREA)
Description
本発明は、3次元データ分析装置および3次元データ分析方法に関し、特に、3次元測距センサが出力する3次元データを分析する3次元データ分析装置および3次元データ分析方法に用いて好適なものである。 The present invention relates to a three-dimensional data analysis device and a three-dimensional data analysis method, and particularly to a three-dimensional data analysis device and a three-dimensional data analysis method for analyzing three-dimensional data output by a three-dimensional distance measuring sensor. is.
従来、測距センサを利用して、測距の対象となる空間の状況を分析する装置が知られている。例えば、特許文献1には、電動カート10に設けられた第1超音波センサ11から路面80に向けて超音波を送信すると共にその反射波を受信し、反射波を受信するまでに要した時間を分析することによって、電動カート10の前方の所定の位置に路面80が存在するか否かを判定し、存在する場合としない場合とで異なる態様の制御を実行する制御装置30が記載されている。
2. Description of the Related Art Conventionally, there has been known a device that analyzes the condition of a space to be measured using a distance measurement sensor. For example, in
また、従来、ステレオカメラや、TOFカメラ等の光学式の3次元測距センサの検出値に基づく3次元データを分析する3次元データ分析装置が存在する。3次元データは、例えば、距離が測定された画素が3次元直交座標系に配置された点群データである。理想的には、3次元データにより、測距の対象となる空間内の各物体の表面が3次元直交座標系における点の集合として表現される。3次元データ分析装置は、3次元データを分析することによって、障害物の有無を検出する等、測距の対象となる空間の状況を分析する。 Conventionally, there are three-dimensional data analysis apparatuses that analyze three-dimensional data based on detection values of optical three-dimensional distance measuring sensors such as stereo cameras and TOF cameras. The three-dimensional data is, for example, point cloud data in which pixels whose distances are measured are arranged in a three-dimensional orthogonal coordinate system. Ideally, the three-dimensional data represent the surface of each object in space to be ranged as a set of points in a three-dimensional Cartesian coordinate system. By analyzing the three-dimensional data, the three-dimensional data analysis device analyzes the situation of the space to be measured, such as detecting the presence or absence of obstacles.
上述した3次元測距センサを地面よりも高い位置に設け、地面よりも高い位置を基点として放射状に広がる範囲に含まれる現実空間をこのセンサにより測距する場合がある。例えば、電動車イスやシニアカーといった移動支援自動車に3次元測距センサを設ける場合である。従来、この場合において3次元データ分析装置により3次元データを分析するときに以下の課題があった。 There is a case where the three-dimensional distance measuring sensor described above is provided at a position higher than the ground, and the sensor measures the distance of the real space included in a radially expanding range with the position higher than the ground as a base point. For example, there is a case where a three-dimensional distance measuring sensor is provided in a mobility support vehicle such as an electric wheelchair or a senior car. Conventionally, in this case, there have been the following problems when analyzing three-dimensional data using a three-dimensional data analysis device.
すなわち、3次元データに含まれる地面の表面の像に、距離が測定されていないまとまった領域である空白領域が形成される場合がある。空白領域は、現実空間において空白領域に対応する領域に地面が存在するのにもかかわらず、ノイズや、測定誤差、欠測等に起因して形成される場合もあれば、現実空間において空白領域に対応する領域に穴が形成されており、この穴に起因して形成される場合もある。しかしながら、従来の3次元データ分析装置では、地面の表面の像に空白領域が形成されている場合、現実空間において空白領域に対応する領域に穴が形成さていると一律に判定しているため、穴が形成されていない状況でノイズ等に起因して空白領域が形成されている場合に、空白領域に対応する領域に穴が形成されていると誤って判定してしまう場合があった。 In other words, a blank area, which is a group of areas where the distance has not been measured, may be formed in the image of the ground surface included in the three-dimensional data. A blank area may be formed due to noise, measurement errors, missing measurements, etc., even though the ground exists in the area corresponding to the blank area in the real space. A hole is formed in a region corresponding to , and may be formed due to this hole. However, in the conventional three-dimensional data analysis device, when a blank area is formed in the image of the surface of the ground, it is uniformly determined that a hole is formed in the area corresponding to the blank area in the real space. When a blank area is formed due to noise or the like in a situation where no hole is formed, it may be erroneously determined that a hole is formed in the area corresponding to the blank area.
本発明は、このような問題を解決するために成されたものであり、3次元データに含まれる地面の表面の像の中に形成された空白領域について、現実空間において空白領域に対応する領域に穴が形成されていないにもかかわらず、穴が形成されていると誤って判定されることを抑制することを目的とする。 The present invention has been made to solve such a problem. To suppress erroneous determination that a hole is formed even though a hole is not formed in a hole.
上記した課題を解決するために、本発明では、3次元データに含まれる地面の表面の像に、距離が測定されていないまとまった領域である空白領域が存在する場合、空白領域の奥側の縁から、地面の表面に相当する面よりも下方に向かって延在する下方延在像が存在するか否かを判定し、存在する場合、現実空間において空白領域に対応する領域に穴が形成されていると判定するようにしている。また本発明は、下方延在像が存在すると判定した場合、下方延在像の上下方向の長さが閾値以上か否かを判定し、閾値以上のとき、現実空間において空白領域に対応する領域に穴が形成されていると判定する一方、現実空間における空白領域に対応する領域に穴が形成されていたとした場合に、その穴の内側の面において基点に対向する領域のうち、3次元測距センサにより測距可能な測距対象部分の上下方向の長さの理論値を算出し、算出した理論値に基づいて閾値を設定するようにしている。 In order to solve the above-described problems, in the present invention, when a blank area, which is a group of areas where the distance is not measured, exists in an image of the surface of the ground included in three-dimensional data, the depth of the blank area is measured. From the edge, it is determined whether or not there is a downward extension image extending downward from the surface corresponding to the surface of the ground, and if there is, a hole is formed in the area corresponding to the blank area in the real space. I'm trying to judge that it is. In the present invention, when it is determined that a downwardly extending image exists, it is determined whether or not the vertical length of the downwardly extending image is equal to or greater than a threshold value. On the other hand, when it is determined that a hole is formed in the area corresponding to the blank area in the real space, of the area facing the base point on the inner surface of the hole, the three-dimensional measurement A theoretical value of the length in the vertical direction of a range-finding target portion that can be measured by the range sensor is calculated, and the threshold value is set based on the calculated theoretical value.
現実空間において地面に穴が形成されている場合、その穴の内側の面において、3次元測距センサの基点に対向する領域の一部については3次元測距センサによる測距の対象となり、この部分の像が3次元データに含まれることになるという特徴がある。この部分の像は、3次元データにおいて、空白領域の奥側の縁から、地面の表面に相当する面よりも下方に向かって延在した状態となる。 When a hole is formed in the ground in the real space, a part of the area facing the base point of the three-dimensional distance measuring sensor on the inner surface of the hole is subject to distance measurement by the three-dimensional distance measuring sensor. There is a feature that the image of the part will be included in the three-dimensional data. In the three-dimensional data, the image of this portion extends from the far side edge of the blank area downward from the surface corresponding to the surface of the ground.
以上を踏まえ、上記のように構成した本発明によれば、空白領域が存在する場合に、現実空間において空白領域に対応する領域に穴が形成されていると一律に判定されるのではなく、空白領域の奥側の縁から延在する下方延在像が存在する場合にのみ、穴が形成されていると判定される。このため、上述した特徴を好適に利用して、現実空間において空白領域に対応する領域に穴が形成されていないにもかかわらず、穴が形成されていると誤って判定されることを抑制できる。 Based on the above, according to the present invention configured as described above, when a blank area exists, instead of uniformly determining that a hole is formed in the area corresponding to the blank area in the real space, A hole is determined to be formed only if there is a downwardly extending image extending from the far edge of the blank area. Therefore, it is possible to prevent erroneous determination that a hole is formed in the area corresponding to the blank area in the real space, even though the area corresponding to the blank area in the real space is not formed. .
以下、本発明の一実施形態を図面に基づいて説明する。図1は、本発明の一実施形態に係る3次元データ分析装置1を含む警告システム2の機能構成例を示すブロック図である。図1に示すように、警告システム2は、3次元測距センサ3と、3次元データ生成装置4と、3次元データ分析装置1と、警告装置5とを含んで構成されている。本実施形態に係る3次元データ分析装置1は、移動支援自動車6(図2)に設けられ、3次元測距センサ3の検出値に基づいて生成される3次元データを分析する装置である。移動支援自動車6とは、電動車イスやシニアカー等の人間が搭乗した状態で歩道を走行する自動車である。
An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a functional configuration example of a
図2は、3次元測距センサ3の設置位置、その測定軸7およびその測距範囲8を説明するために3次元測距センサ3が移動支援自動車6に設けられた様子を単純化して模式的に示す図である。3次元測距センサ3は、空間を3次元的に測距するセンサであり、特に本実施形態に係る3次元測距センサ3は、ステレオカメラ方式の測距センサである。図2では、3次元測距センサ3のステレオカメラを構成する2台のカメラ9、9のうちの一方のカメラ9を図示している。以下の説明において、上または上方とは鉛直方向における上向きを意味し、下または下方とは鉛直方向における下向きを意味する。また、前または前方とは移動支援自動車6が前進する向きを意味し、後または後方とは移動支援自動車が後進する向きを意味する。また、左または左方とは前方に向かって左向きを意味し、右または右方とは前方に向かって右向きを意味する。
FIG. 2 is a simplified schematic diagram of the three-dimensional
図2に示すように、カメラ9は、移動支援自動車6の前端部の、移動支援自動車6が載置された地面10よりも高い位置に設けられている。カメラ9の地面10からの高さは、一例として50cm程度である。図2に示すように、カメラ9は、その測定軸7(光軸)が地面10と平行なまま前方に向かって伸びるように移動支援自動車6に設けられている。測距範囲8は、カメラ9の基点11から測定軸7に沿って、前方に向かうに従って広がるように放射状に広がっており、この測距範囲8に含まれる現実空間が3次元測距センサ3による測距の対象となる。以下、測距範囲8に含まれ、測距の対象となる現実空間を「測距対象空間」という。なお、ステレオカメラ方式の測距センサにおいては、一方のカメラ9の撮影範囲と測距範囲8とは厳密には一致しないものの、これらは近似しているため、説明の便宜を考慮して、本実施形態ではカメラ9の撮影範囲がそのまま測距範囲8であるものとする。
As shown in FIG. 2, the
本実施形態では、移動支援自動車6の動力源のスイッチがオンされると、警告システム2の各装置への電力供給が開始され、これら装置の電源が自動でオンされる。3次元測距センサ3は、電源がオンされている間(=移動支援自動車6が走行する可能性のある期間)、2台のカメラ9、9により所定周期で継続して撮影を実行し、2台のカメラ9、9の撮影画像(検出値)を3次元データ生成装置4に出力する。
In this embodiment, when the power source of the mobility support vehicle 6 is switched on, power supply to each device of the
3次元データ生成装置4は、所定周期で入力する2台のカメラ9、9の撮影画像について既存の技術に基づくマッチングを行い、3次元データを生成する。本実施形態において、3次元データは、3次元測距センサ3により距離が測定された画素が3次元直交座標系に配置された点群データ(=3次元直交座標系において距離が測定された各画素の座標を保持する点群データ)である。理想的には、3次元データにより、測距対象空間内の各物体(地面10を含む)の基点11に対向する表面(カメラ9、9により撮影される表面)が3次元直交座標系における点の集合として表現される。
The three-dimensional
3次元データ生成装置4は、所定周期で継続して3次元データを生成し、3次元データ分析装置1に出力する。
The three-dimensional
図1に示すように、3次元データ分析装置1は、機能構成として、3次元データ取得部13、空白領域検出部14および穴判定部15を備えている。上記各機能ブロック13~15は、ハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック13~15は、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
As shown in FIG. 1, the three-dimensional
3次元データ取得部13は、3次元データ生成装置4が所定周期で出力する3次元データを入力して取得する。3次元データ取得部13は、3次元データを取得する度に、RAM等のワークエリアに形成されたバッファ16に3次元データを格納すると共に、格納したことを空白領域検出部14に通知する。
The three-dimensional
空白領域検出部14は、3次元データに含まれる地面10の表面の像から、距離が測定されていないまとまった領域である空白領域17(図3、5、6)を検出する。以下、空白領域検出部14の処理について詳述する。
A blank
空白領域検出部14は、3次元データ取得部13から3次元データがバッファ16に格納されたことの通知を受け付ける度に、バッファ16に格納された3次元データを対象として以下の処理を実行する。すなわち、まず、空白領域検出部14は、3次元データから地面10の表面の像18(図3)を特定する。以下、地面10の表面の像18を「地面表面像18」という。
The blank
図3は、図1で説明した態様で移動支援自動車6に設けられた3次元測距センサ3の検出値に基づいて生成された3次元データに基づいて3次元直交座標系に展開された像の例を示す図である。図3および後述の図7、8では、黒色の背景に、白色の画素が配置されている。以下の説明において、3次元直交座標系のx軸方向は、現実空間における前後方向に対応し、x軸方向のプラス側に向かう向きは前方に対応し、x軸方向のマイナス側に向かう向きは後方に対応するものとする。また、3次元直交座標系のy軸方向は、現実空間における左右方向に対応するものとする。また、3次元直交座標のz軸方向は、現実空間における上下方向に対応し、z軸方向のプラス側に向かう向きは上方に対応し、z軸方向のマイナス側に向かう向きは下方に対応するものとする。
FIG. 3 shows an image developed on a three-dimensional orthogonal coordinate system based on three-dimensional data generated based on the detection values of the three-dimensional
図3で例示した像では、枠W1で囲まれた部分の像が、地面表面像18に相当する。なお、図3において、枠W1で囲まれた地面表面像18よりもx軸方向のプラス側の像は、地面10に立設した壁の像である。地面表面像18について詳しく説明すると、地面表面像18は、図3に示すように、x軸方向のプラス側に向かうに従ってy軸方向に広がっていく。これは、測距範囲8が基点11から測定軸7に沿って前方に向かって放射状に広がっていくことに起因するものである。
In the image illustrated in FIG. 3, the image of the portion surrounded by the frame W1 corresponds to the
また、地面表面像18は、x軸方向のプラス側に向かうに従って、徐々に画素が安定せず、かつ、画素が粗くなっている。これは、3次元測距センサ3から物体の位置が離れるほど、測距の精度が低下すると共に、3次元測距センサ3が物体を捉えられる画素の密度が小さくなるという3次元測距センサ3の性質に起因するものである。また、図3に示すように、地面表面像18は、基本的には、交差するx軸とy軸とを含む平面に平行な平面に沿って延在する。ただし、地面表面像18は完全な平面とはならず多少の凹凸が出現する。
Further, the
3次元直交座標系において、地面表面像18を構成する画素群が配置され得る範囲は、3次元測距センサ3のスペック、配置位置および測定軸7の方向によって定まる。これらによって、地面10に対する測距範囲8の状態が規定されるからである。本実施形態では、3次元測距センサ3のスペック、配置位置および測定軸7の方向を踏まえて、3次元直交座標系において地面表面像18を構成する画素群が配置され得る範囲(以下、「地面表面像範囲」という)が事前に定められている。地面表面像範囲は、平面の領域ではなく、z軸方向にある程度の幅を持った3次元的な領域として定義される。
In the three-dimensional orthogonal coordinate system, the range in which the pixel group forming the
そして、空白領域検出部14は、地面表面像範囲に属する画素群を地面表面像18として特定する。なお、図3の例のように壁や歩行者、その他の障害物が地面10に立っている場合、障害物が存在する範囲や、障害物よりもx軸方向のプラス側の範囲は、地面表面像範囲に属する画素群が抽出できない。空白領域検出部14は、このように障害物の像に起因して地面表面像範囲に属する画素群として画素群が抽出できない範囲は、地面表面像18から除外し、このような範囲を、後に詳述する空白領域17と明確に区別する。
Then, the blank
地面表面像18を特定した後、空白領域検出部14は、地面表面像18のうち、分析対象範囲を特定する。分析対象範囲とは、画素の精度の高さを一定以上、担保できる領域である。上述したように、地面表面像18は、x軸方向のプラス側へ向かうほど、画素が安定せず粗くなっていき、画素の精度が低くなる。本実施形態において、ある画素の精度とは、その画素の3次元直交座標系における座標が、現実空間における物体の表面の位置を正しく反映している度合の強さのことをいい、画素の精度が高いほど、反映の度合が強い。本実施形態では、分析対象範囲が予め定められている。図3の例では、例えば、弧K1よりもx軸方向のマイナス側の範囲が分析対象範囲とされる。
After specifying the
地面表面像18における分析対象範囲を特定した後、空白領域検出部14は、分析対象範囲内を分析し、この範囲内に空白領域17が存在するか否かを判定する。空白領域17とは、地面表面像18の中で、画素が存在しない所定サイズ以上の大きさのまとまった領域である。換言すれば、空白領域17とは、地面表面像18内で、3次元測距センサ3により距離が測定されていないまとまった領域である。空白領域17に該当するか否かの判定の基準となる所定サイズは、現実空間において仮に当該所定サイズに対応するサイズ以上の穴19(図4(A)、図9)が地面10に形成されていた場合、移動支援自動車6の搭乗者に警告を与える必要があるという観点、換言すれば、現実空間において仮に当該所定サイズに対応するサイズよりも小さい穴19が地面10に形成されていたとしても、移動支援自動車6の走行に影響がなく、当該搭乗者に警告を与える必要がないという観点に基づいて事前に定められている。図3では、枠W2で囲まれた黒色の領域(=画素がない領域)が空白領域17である。
After specifying the analysis target range in the
地面表面像18内に空白領域17が形成される原因としては以下の2つがある。図4は、空白領域17が形成される原因の説明のため、3次元測距センサ3のカメラ9、測距範囲8および地面10の現実空間における配置関係を単純化して示す図である。図4(A)のように、現実空間において地面10に穴19が形成されている場合、地面表面像18内に空白領域17が形成される。地面10に沿った面において、穴19の部分については、3次元測距センサ3により距離が測定されず、3次元データにおいて画素が形成されないからである。
There are two reasons why the
一方、図4(B)に示すように、現実空間において、地面10に穴19が形成されていない場合であっても、ノイズや、測定誤差、欠測等に影響を受けて、3次元データの地面表面像18に空白領域17が形成されることがある。なお、欠測とは以下を意味する。すなわち、3次元測距センサ3は、測距対象空間内の物体の表面を測距する際、当センサの分解能に従って離散した複数の測定点を測距する。そして、欠測とは、測定点と測定点との間の部分について、距離の測定の対象とならない(距離が測距できない)ことを意味する。
On the other hand, as shown in FIG. 4(B), even if the
本実施形態では、図2を用いて説明したように、3次元測距センサ3の測定軸7は、地面10と平行に延びている。このような態様で3次元測距センサ3が移動支援自動車6に設けられている場合、測定軸7と平行に延在する地面10は、測定軸7に対して垂直に延在する物体と比較して、3次元測距センサ3が物体を捉えられる画素の密度(=物体の表面に理論上展開される測定点の密度)が小さく、ノイズ、測定誤差および欠測の影響を受けやすい。このため、地面表面像18には、空白領域17が形成されやすい傾向がある。特に、基点11からの距離が遠いほど、ノイズ、測定誤差および欠測の影響を受けやすくなるため、空白領域17が形成されやすい。
In this embodiment, the measurement axis 7 of the three-dimensional
さて、空白領域検出部14は、空白領域17が存在すると判定した場合、3次元直交座標系における空白領域17の範囲を示す情報(以下「空白領域範囲情報」という)を穴判定部15に出力する。空白領域範囲情報は、例えば、空白領域17の外縁を、3次元直交座標系における異なる複数の点の座標により表した情報である。一方、空白領域検出部14は、空白領域17が存在しないと判定した場合、空白領域範囲情報を穴判定部15に出力せず、当周期における処理を終了する。この場合、当周期において後述する穴判定部15による処理は実行されない。
When the blank
なお、空白領域17は、複数存在する場合もある。この場合、空白領域検出部14は、複数の空白領域17のそれぞれに係る空白領域範囲情報を穴判定部15に出力する。以下の説明では、説明の便宜を考慮して、空白領域検出部14から空白領域範囲情報が穴判定部15に出力される場合、1つの空白領域17に係る1つの空白領域範囲情報が出力されるものとする。ただし、複数の空白領域17に係る複数の空白領域範囲情報が出力される場合には、それぞれの空白領域範囲情報に基づいて、以下で説明する処理が実行される。
A plurality of
穴判定部15は、空白領域検出部14により検出された空白領域17の奥側の縁から、地面10の表面に相当する面よりも下方に向かって延在する下方延在像20(図6、7、8)が存在するか否かを判定し、存在する場合、現実空間において空白領域17に対応する領域に穴19が形成されていると判定する。以下、穴判定部15の処理について詳述する。なお、本実施形態において「奥側」とは、3次元測距センサ3の基点11から離れる側を意味し、3次元直交座標系においてはx軸方向のプラス側を意味する。また、本実施形態において「手前側」とは、3次元測距センサ3の基点11に近づく側を意味し、3次元直交座標系においてはx軸方向のマイナス側を意味する。
The
穴判定部15は、空白領域検出部14から空白領域範囲情報を入力した場合、以下の処理を実行する。すなわち、穴判定部15は、バッファ16に格納された3次元データを参照し、入力した空白領域範囲情報に基づいて、3次元データに基づく像が展開される3次元直交座標系における空白領域17を特定する。
When the blank area range information is input from the blank
次いで、穴判定部15は、空白領域17の奥側の縁を特定する。図5(A)、(B)は、空白領域17を、z軸方向のマイナス側に向かって見た様子を示す図である。図5(A)、(B)では、空白領域17を、その外縁の全域に沿った線により表している。例えば、穴判定部15は、図5(A)で例示する空白領域17について、枠W3で囲まれた部位を空白領域17の奥側の縁として特定する。また例えば、穴判定部15は、図5(B)で例示する空白領域17について、枠W4で囲まれた部位を空白領域17の奥側の縁として特定する。
Next, the
次いで、穴判定部15は、空白領域17の奥側の縁から、z軸方向のマイナス側へ向かって延在する像である下方延在像20が存在するか否かを判定する。以下、下方延在像20について図4(A)を用いて説明する。ここで、現実空間において、空白領域17に対応する領域に実際に穴19が形成されている場合、その穴19の内側の面において、3次元測距センサ3の基点11に対向する領域の一部の部分については3次元測距センサ3による測距の対象となる。例えば、図4(A)では、領域AR1は、3次元測距センサ3による測距の対象となる。本実施形態に係る3次元測距センサ3はステレオカメラ式の測距センサであるが、領域AR1と基点11とを遮るものがなく、この領域AR1は、カメラ9、9によって撮影されるからである。以下、穴19の内側の面において、3次元測距センサ3による測距の対象となる部分のことを「測距対象部分」という。
Next, the
測距対象部分は、3次元測距センサ3による測距の対象となるため、3次元測距センサ3の検出値に基づいて生成される3次元データには、この測距対象部分の像が形成される。測距対象部分の像とは、測距対象部分の基点11に対向する表面を表す画素群のことである。この測距対象部分の像が下方延在像20である。この下方延在像20は、測距対象部分の上述した性質上、3次元直交座標系において空白領域17の奥側の縁から、z軸方向のマイナス側へ向かって(=地面10の表面に相当する面よりも下方に向かって)延在した状態となる。
Since the distance measurement target portion is the object of distance measurement by the three-dimensional
図6は、外縁が円形である空白領域17およびこの空白領域17に対応して形成される下方延在像20を単純化して模式的に示す図である。図6では、現実空間における穴19の内周および底に相当する部分を実線で表している。図6において斜線を用いて表した部分の像が下方延在像20である。図6で示すように、空白領域17の外縁が円形の場合、基点11に対向し、3次元測距センサ3により測距可能に露出した部分に下方延在像20が形成される。図7は、図3の像を、y軸方向のプラス側からマイナス側へ向かって見た図である。図7では、枠W5で囲まれた像が下方延在像20である。図8は、図3の像をx軸方向のマイナス側からプラス側へ向かって見た図である。図8では、枠W6で囲まれた像が下方延在像20である。
FIG. 6 is a diagram schematically showing a
穴判定部15は、下方延在像20が存在しないと判定した場合、現実空間において空白領域17に対応する領域に穴19が形成されていないと判定する。上述したように、空白領域17に対応する領域に穴19が形成されている場合、これに付随して下方延在像20が形成されているはずだからである。この場合、空白領域17は、ノイズや、測定誤差、欠測等に起因して生じていることになる。
When determining that the downward extending
一方、穴判定部15は、下方延在像20が存在すると判定した場合、下方延在像20の上下方向(z軸方向)の長さを測定する。本実施形態では、穴判定部15は、以下の方法で下方延在像20の上下方向の長さを測定する。すなわち、穴判定部15は、下方延在像20を構成する画素のうち、最もz軸方向マイナス側に位置する画素を特定する。次いで、穴判定部15は、特定した画素から、現実空間の地面10に相当する仮想面まで垂線を下ろし、垂線と仮想面との交点を最奥点21(図6)として特定する。次いで、穴判定部15は、特定した画素から最奥点21までの距離を、下方延在像20の上下方向の長さとして測定する。最奥点21は、理想的には、空白領域17の外縁上で、基点11から最も遠い位置の点である。
On the other hand, when determining that the downwardly extending
図6の例では、穴判定部15は、線分LLの長さを下方延在像20の上下方向の長さとして測定する。説明の便宜のため、測定された長さは、センチメートルやミリメートル等の単位で表される現実空間の長さに換算された値であるものとする。
In the example of FIG. 6, the
次いで、穴判定部15は、測距対象部分の長さの理論値(以下「長さ理論値」という)を算出する。以下、長さ理論値を算出するときの穴判定部15の処理について詳述する。図9(A)は、穴判定部15の処理を説明するため、図4(A)と同様に、穴19が形成されている地面10にカメラ9が配置された様子を示す図である。図9(B)は、図9(A)の環境を上方から下方へ向かって見た様子を示す図である。図9(A)と図9(B)とでは、前後方向の位置を対応させている。
Next, the
図9(A)において、「3次元測距センサ3の基点11と、穴19の手前側の縁にある点P1(詳細は後述)とを通る直線S1」と、「最奥点21に対応する点P2(詳細は後述)を通り、鉛直方向に延びる直線S2」との交点を点P3とする。測距対象部分の理論的な長さは、理論的に算出される「点P2から点P3まで延びる線分X1の長さ」に相当する。穴判定部15は、この線分X1の理論的な長さを長さ理論値として算出する。なお、線分X1は、特許請求の範囲の「現実空間において測距対象部分に沿って延びる第2の線」に相当する。
In FIG. 9A, "a straight line S1 passing through the
長さ理論値の算出に際し、まず、穴判定部15は、現実空間において、地面10に沿って延在するまっ平らな仮想的な面22(図9(A))を定義する。以下、面22を「仮想地面22」という。上述した点P1、P2、後述する点P4、後述する線分L2、L3、L4は、この仮想地面22上に配置される。
When calculating the theoretical length value, first, the
次いで、穴判定部15は、空白領域検出部14から入力した空白領域範囲情報に基づいて、現実空間における、空白領域17に対応する領域の外縁23(図9(B))の配置位置を算出する。本実施形態では、外縁23の配置位置とは、外縁23を「仮想地面22上の点の集合」として捉えたときの、各点の基点11からの相対的な位置のことである。ここで、現実空間において基点11から仮想地面22に垂線を下ろした場合に、この垂線と仮想地面22との交点を点P4(図9(A)、(B))とする。穴判定部15は、基点11から点P4までの線分L1の長さを取得する。線分L1の長さは、3次元測距センサ3の設置位置により定まる。本実施形態では、基点11の仮想地面22からの高さ(=線分L1の長さ)を示す情報を含む設置位置情報が図示しないメモリに予め記憶されており、穴判定部15は、この設置位置情報に基づいて線分L1の長さを取得する。
Next, based on the blank area range information input from the blank
次いで、穴判定部15は、3次元直交座標系における最奥点21の座標に基づいて、現実空間において最奥点21に対応する点P2(図9(A)、(B))の位置を算出する。穴判定部15は、点P2の位置を、現実空間における基点11からの相対的な位置として算出する。次いで、穴判定部15は、線分L1と仮想地面22との交点である点P4から、点P2まで延ばした線分L2(図9(A)、(B))を算出する。更に、穴判定部15は、線分L2と、空白領域17に対応する領域の外縁23との交点P1(図9(A)、(B))を算出する。
Next, the
次いで、穴判定部15は、点P4から点P1まで延びる線分L3の長さを算出すると共に、点P1から点P2まで延びる線分L4の長さを算出する。点P1は、現実空間において空白領域17に対応する領域の手前側の縁に位置する点である。また、点P2は、現実空間において空白領域17の奥側の縁に位置する点である。これを踏まえ、線分L3は、特許請求の範囲の「基点から地面10に下ろした垂線と地面10との交点から、現実空間において空白領域17に対応する領域の手前側の縁まで延ばした第1の線」に相当する。また、線分L4は、特許請求の範囲の「現実空間において空白領域17に対応する領域の手前側の縁から奥側の縁まで伸びる、第1の線と同一直線上の線である第3の線」に相当する。
Next, the
ここで、基点11、点P4、点P1を頂点とする直角三角形と、点P3、点P2、点P1を頂点とする直角三角形は、相似の関係にあり、式S1「線分L1の長さ:線分L3の長さ=線分X1の長さ:線分L4の長さ」が成り立つ。穴判定部15は、既に求めた線分L1、L3、L4の長さを式S1に適用し、線分X1の長さを算出し、算出した値を長さ理論値とする。
Here, the right-angled triangle whose vertices are the
以上のようにして長さ理論値を算出した後、穴判定部15は、長さ理論値から予め定められたマージンを減算した値を閾値T1として設定する。マージンの意義については後述する。次いで、穴判定部15は、下方延在像20の上下方向の長さが閾値T1以上か否かを判定する。下方延在像20の上下方向の長さが閾値T1以上の場合、穴判定部15は、現実空間において空白領域17に対応する領域に穴19が形成されていると判定する。一方、下方延在像20の上下方向の長さが閾値T1以上ではない場合、穴判定部15は、現実空間において空白領域17に対応する領域に穴19が形成されていないと判定する。
After calculating the theoretical length value as described above, the
穴判定部15がこのような判定を行うことの理由は以下である。すなわち、閾値T1は、測距対象部分の長さの理論値からマージンを引いた値である。従って、閾値T1は、現実空間に穴19が形成されている場合に、3次元測距センサ3の配置位置や、基点11に対する穴19の相対的な位置を勘案すると、3次元測距センサ3の検出値に基づいて形成される下方延在像20の長さはこうなるはずだという、現実空間に穴19が形成されている場合の下方延在像20の上下方向の長さの予測値と考えることができる。そして、下方延在像20の上下方向の長さが閾値T1以上ということは、下方延在像20の上下方向の長さが、穴19が存在するとした仮定したときに理論的に導かれる予測値と同等以上ということであり、この場合、現実空間に実際に穴19が存在しているとみなすことができる。以上を踏まえ、穴判定部15は、下方延在像20の上下方向の長さが閾値T1以上の場合は、現実空間において空白領域17に対応する領域に穴19が形成されていると判定する一方、下方延在像20の上下方向の長さが閾値T1以上ではない場合、現実空間において空白領域17に対応する領域に穴19が形成されていないと判定する。
The reason why the
なお、マージンは、現実空間に穴19が形成されている状況において、ノイズや、測定誤差等の影響で、下方延在像20の上下方向の長さが、ノイズ等の影響を受けないときの長さよりも短くなった場合であっても、下方延在像20の上下方向の長さが閾値T1以上となるようにすることを考慮して与えられるものである。
Note that the margin is the length of the
本実施形態の構成によれば、全ての空白領域17について、現実空間において空白領域17に対応する領域に穴19が形成されていると判定するのではなく、空白領域17の奥側の縁から延在する下方延在像20が存在することを、穴19が形成されていると判定することの条件としている。このため、現実空間に穴19が存在する場合には、この穴19に対応する空白領域17に付随して下方延在像20が形成されるという特徴を好適に利用して、現実空間において空白領域17に対応する領域に穴19が形成されていると誤って分析されてしまうことを抑制できる。
According to the configuration of the present embodiment, instead of determining that the
また、本実施形態では、下方延在像20が存在するというだけで、現実空間において空白領域17に対応する領域に穴19が形成されていると判定するのではなく、下方延在像20の上下方向の長さが閾値以上の場合に、現実空間において空白領域17に対応する領域に穴19が形成されていると判定する。この構成のため、現実空間の穴19に由来しない空白領域17に付随して、ノイズや、測定誤差、欠測等により偶発的に下方延在像20が形成された場合に、このような空白領域17について、現実空間の対応する領域に穴19が形成されていると誤って判定される可能性を低減できる。
Further, in the present embodiment, it is not determined that the
さて、穴判定部15は、現実空間において空白領域17に対応する領域に穴19が形成されていると判定した場合は、そのことを警告装置5に通知する。この結果、穴判定部15により現実空間において空白領域17に対応する領域に穴19が形成されていると判定されている期間、所定周期で継続して穴判定部15から警告装置5へ通知が出力される。
Now, when the
警告装置5は、穴判定部15から通知を入力している期間、移動支援自動車6の前方に穴19が存在することを搭乗者に伝えるための警告を行う。警告は、例えば、図示しないスピーカにより特定の電子音が音声出力され、また例えば、スピーカにより特定の文言(例えば「前方に穴19があります。気をつけて下さい」という文言)が音声出力され、また例えば、特定のLEDが特定の態様で発光することにより行われる。
The
次に、本発明の一実施形態に係る3次元データ分析装置1の動作についてフローチャートを用いて説明する。図10は、3次元データ生成装置4が3次元データを出力した後の3次元データ分析装置1の動作を示すフローチャートである。
Next, the operation of the three-dimensional
図10に示すように、3次元データ取得部13は、3次元データ生成装置4が所定周期で出力する3次元データを入力して取得する(ステップSA1)。次いで、3次元データ取得部13は、バッファ16に3次元データを格納すると共に、格納したことを空白領域検出部14に通知する(ステップSA2)。
As shown in FIG. 10, the three-dimensional
空白領域検出部14は、3次元データ取得部13からの通知に応じて、3次元データから地面表面像18を特定する(ステップSA3)。次いで、空白領域検出部14は、地面表面像18のうち、分析対象範囲を特定する(ステップSA4)。次いで、空白領域検出部14は、分析対象範囲内を分析し、この範囲内に空白領域17が存在するか否かを判定する(ステップSA5)。空白領域17が存在する場合(ステップSA5:YES)、空白領域検出部14は、空白領域範囲情報を穴判定部15に出力する(ステップSA6)。空白領域17が存在しない場合(ステップSA5:NO)、図10のフローチャートは終了する。
The blank
穴判定部15は、空白領域検出部14から空白領域範囲情報を入力すると、この空白領域範囲情報に基づいて、3次元データに基づく像が展開される3次元直交座標系における空白領域17を特定する(ステップSA7)。次いで、穴判定部15は、空白領域17の奥側の縁を特定する(ステップSA8)。次いで、穴判定部15は、空白領域17の奥側の縁から、z軸方向のマイナス側へ向かって延在する像である下方延在像20が存在するか否かを判定する(ステップSA9)。
When the blank area range information is input from the blank
下方延在像20が存在しない場合(ステップSA9:NO)、穴判定部15は、現実空間において空白領域17に対応する領域に穴19が形成されていないと判定する(ステップSA10)。ステップSA10の処理後、図10のフローチャートは終了する。下方延在像20が存在する場合(ステップSA9:YES)、穴判定部15は、下方延在像20の上下方向(z軸方向)の長さを測定する(ステップSA11)。次いで、穴判定部15は、測距対象部分の長さの理論値である長さ理論値を算出する(ステップSA12)。
If downwardly extending
次いで、穴判定部15は、穴判定部15は、長さ理論値から予め定められたマージンを減算した値を閾値T1として設定する(ステップSA13)。次いで、穴判定部15は、下方延在像20の上下方向の長さが閾値T1以上か否かを判定する(ステップSA14)。下方延在像20の上下方向の長さが閾値T1以上ではない場合(ステップSA14:NO)、穴判定部15は、現実空間において空白領域17に対応する領域に穴19が形成されていないと判定する(ステップSA15)。ステップSA15の処理後、図10のフローチャートは終了する。
Next, the
下方延在像20の上下方向の長さが閾値T1以上の場合(ステップSA14:YES)、穴判定部15は、現実空間において空白領域17に対応する領域に穴19が形成されていると判定する(ステップSA16)。次いで、穴判定部15は、現実空間において空白領域17に対応する領域に穴19が形成されていることを警告装置5に通知する(ステップSA17)。
If the vertical length of the downwardly extended
以上、本発明の一実施形態を説明したが、上記実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 Although one embodiment of the present invention has been described above, the above embodiment merely shows an example of specific implementation of the present invention, and the technical scope of the present invention can be construed in a limited manner. It should not be done. Thus, the invention may be embodied in various forms without departing from its spirit or essential characteristics.
例えば、上記実施形態では、穴判定部15は、下方延在像20が存在し、かつ、下方延在像20の上下方向の長さが閾値T1以上の場合に、現実空間において空白領域17に対応する領域に穴19が形成されていると判定した。この点について、穴判定部15が、下方延在像20が存在する場合に、現実空間において空白領域17に対応する領域に穴19が形成されていると判定する構成でもよい。ただし、この場合、実際は穴19が形成されておらず、ノイズや、測定誤差、欠測等により偶発的に下方延在像20が形成された場合にも、穴19が形成されていると判定されるケースが生じ得るため、上記実施形態と比較して、穴19の存在に関する判定が誤って行われる可能性が上昇する。
For example, in the above-described embodiment, when the downwardly extending
また、上記点について、穴判定部15が、下方延在像20が存在し、かつ、下方延在像20の上下方向の長さが予め定められた固定値の閾値T2以上の場合に、現実空間において空白領域17に対応する領域に穴19が形成されていると判定する構成でもよい。なお、ノイズ等により偶発的に下方延在像20が形成された場合、その上下方向の長さは相当に短くなると想定される。このことを踏まえ、閾値T2は、偶発的に形成された短い下方延在像20を排除できるような値に設定される。この場合、閾値T2は、測定対象部分の上下方向の長さの理論値と関係ない値となるため、上記実施形態と比較して、穴19の存在に関する判定が誤って行われる可能性が上昇する。
Regarding the above points, the
また、上記実施形態では、3次元測距センサ3はステレオカメラ式の測距センサであったが、3次元測距センサ3は、3次元データを生成するための検出値を出力する測距センサであればよく、例示したタイプのものに限られない。一例として、パターン画像を投影するプロジェクタとカメラとを含んで構成されるタイプの測距センサでもよく、TOFカメラを含んで構成されるタイプの測距センサでもよい。
Further, in the above embodiment, the three-dimensional ranging
また、上記実施形態では、測定軸7は、地面10と平行に延在した。しかしながら、測定軸7が前方に向かうほど地面10に近づくようにある程度傾いていてもよい。この場合、空白領域検出部14および穴判定部15は、測定軸7の傾きを反映して、3次元データの分析を含む各種処理を実行する。また、測定軸7が向かう方向は、移動支援自動車6の前方に限られず、その後方や、側方であってもよい。
Also, in the above embodiments, the measurement axis 7 extends parallel to the
また、上記実施形態では、穴判定部15の判定結果を、移動支援自動車6の搭乗者への警告のトリガとして用いていた。一方で、穴判定部15の判定結果を他の態様で用いる構成でもよい。一例として、移動支援自動車6が歩道を自動運転で走行するものである場合において、移動支援自動車6の前方に自動運転により回避すべき穴19があるか否かを判定するにあたっての有益な情報として穴判定部15の判定結果を利用する構成でもよい。
Further, in the above-described embodiment, the determination result of the
また、上記実施形態では、3次元測距センサ3は、移動支援自動車6に設けられていたが、3次元測距センサ3が設けられる対象は移動支援自動車6に限られない。一例として、車道を通行する自動車に設けられてもよい。
Further, in the above-described embodiment, the three-dimensional ranging
また、3次元データ分析装置1が実行すると説明した処理の一部を、3次元データ分析装置1と外部装置とが協働して、または、3次元データ分析装置1が単独で実行する構成としてもよい。この場合、3次元データ分析装置1と外部装置とが協働して特許請求の範囲の「3次元データ分析装置」として機能する。一例として、3次元データ分析装置1の穴判定部15の処理の一部または全部を、3次元データ分析装置1とネットワークを介して通信可能なクラウドサーバが実行する構成としてもよい。
In addition, a part of the processing explained to be executed by the three-dimensional
1 3次元データ分析装置
3 3次元測距センサ
6 移動支援自動車
10 地面
11 基点
14 空白領域検出部
15 穴判定部
17 空白領域
18 地面表面像(地面の表面の像)
19 穴
20 下方延在像
1 three-dimensional
19
Claims (4)
前記3次元データに含まれる前記地面の表面の像から、距離が測定されていないまとまった領域である空白領域を検出する空白領域検出部と、
前記空白領域検出部により検出された前記空白領域の奥側の縁から、前記地面の表面に相当する面よりも下方に向かって延在する下方延在像が存在するか否かを判定し、存在する場合、現実空間において前記空白領域に対応する領域に穴が形成されていると判定する穴判定部とを備え、
前記穴判定部は、
前記下方延在像が存在すると判定した場合、前記下方延在像の上下方向の長さが閾値以上か否かを判定し、前記閾値以上のとき、現実空間において前記空白領域に対応する領域に穴が形成されていると判定する一方、
現実空間における前記空白領域に対応する領域に穴が形成されていたとした場合に、その穴の内側の面において前記基点に対向する領域のうち、前記3次元測距センサにより測距可能な測距対象部分の上下方向の長さの理論値を算出し、算出した前記理論値に基づいて前記閾値を設定する
ことを特徴とする3次元データ分析装置。 A three-dimensional data analysis device that analyzes three-dimensional data based on detection values of a three-dimensional ranging sensor whose distance measurement target is a real space included in a radially expanding range with a position higher than the ground as a base point,
a blank area detection unit that detects a blank area, which is a group of areas whose distance is not measured, from the image of the surface of the ground included in the three-dimensional data;
Determining whether or not there is a downwardly extending image extending downward from a surface corresponding to the surface of the ground from the far side edge of the blank area detected by the blank area detection unit, a hole determination unit that determines that a hole is formed in an area corresponding to the blank area in the physical space if it exists,
The hole determination unit
When it is determined that the downwardly extending image exists, it is determined whether or not the vertical length of the downwardly extending image is equal to or greater than a threshold. While determining that a hole is formed,
Supposing that a hole is formed in an area corresponding to the blank area in the physical space, a distance measurement capable of being measured by the three-dimensional distance measurement sensor is performed in an area facing the base point on the inner surface of the hole. A three- dimensional data analysis apparatus, wherein a theoretical value of the vertical length of a distance target portion is calculated, and the threshold value is set based on the calculated theoretical value.
現実空間において前記基点から前記地面に下ろした垂線、および、前記垂線と前記地面との交点から、現実空間において前記空白領域に対応する領域の手前側の縁まで延ばした第1の線が直角に交わる直角三角形と、
現実空間において前記測距対象部分に沿って延びる第2の線、および、現実空間において前記空白領域に対応する領域の手前側の縁から奥側の縁まで伸びる、前記第1の線と同一直線上の線である第3の線が直角に交わる直角三角形とが相似であることを利用して、
前記垂線、前記第1の線および前記第3の線のそれぞれの長さを、前記3次元データおよび前記3次元測距センサの設置位置情報に基づいて取得し、取得した各線の長さに基づいて前記第2の線の長さを算出し、これを前記理論値とする
ことを特徴とする請求項1に記載の3次元データ分析装置。 The hole determination unit
A perpendicular extending from the base point to the ground in the physical space, and a first line extending from the intersection of the perpendicular and the ground to the front edge of the area corresponding to the blank area in the physical space are at right angles. an intersecting right triangle and
A second line extending along the range-finding target portion in the physical space, and a first line extending from the near side edge to the far side edge of the area corresponding to the blank area in the physical space. Using the fact that the third line, which is a line on a line, is similar to a right-angled triangle that intersects at right angles,
The length of each of the perpendicular, the first line, and the third line is obtained based on the three-dimensional data and the installation position information of the three-dimensional ranging sensor, and based on the obtained length of each line 2. The three-dimensional data analysis apparatus according to claim 1 , wherein the length of the second line is calculated by using the above method and is used as the theoretical value.
前記3次元データ分析装置の空白領域検出部が、前記3次元データに含まれる前記地面の表面の像から、距離が測定されていないまとまった領域である空白領域を検出する第1ステップと、
前記3次元データ分析装置の穴判定部が、前記空白領域検出部により検出された前記空白領域の奥側の縁から、前記地面の表面に相当する面よりも下方に向かって延在する下方延在像が存在するか否かを判定し、存在する場合、現実空間において前記空白領域に対応する領域に穴が形成されていると判定する第2ステップとを含み、
前記第2ステップにおいて前記穴判定部は、
前記下方延在像が存在すると判定した場合、前記下方延在像の上下方向の長さが閾値以上か否かを判定し、前記閾値以上のとき、現実空間において前記空白領域に対応する領域に穴が形成されていると判定する一方、
現実空間における前記空白領域に対応する領域に穴が形成されていたとした場合に、その穴の内側の面において前記基点に対向する領域のうち、前記3次元測距センサにより測距可能な測距対象部分の上下方向の長さの理論値を算出し、算出した前記理論値に基づいて前記閾値を設定する
ことを特徴とする3次元データ分析方法。
3D data analysis by a 3D data analysis device that analyzes 3D data based on the detection values of a 3D ranging sensor whose range is measured in the real space that is included in a range that radiates from a position higher than the ground. a method,
a first step in which the blank area detection unit of the three-dimensional data analysis device detects a blank area, which is a group of areas whose distance is not measured, from the image of the surface of the ground included in the three-dimensional data;
The hole determination unit of the three-dimensional data analysis device extends downward from a far side edge of the blank area detected by the blank area detection unit below a surface corresponding to the surface of the ground. a second step of determining whether an existing image exists, and if it exists, determining that a hole is formed in an area corresponding to the blank area in the physical space ;
In the second step, the hole determination unit
When it is determined that the downwardly extending image exists, it is determined whether or not the vertical length of the downwardly extending image is equal to or greater than a threshold. While determining that a hole is formed,
If a hole is formed in an area corresponding to the blank area in the physical space, the distance can be measured by the three-dimensional distance measuring sensor in the area facing the base point on the inner surface of the hole. Calculate the theoretical value of the vertical length of the target portion, and set the threshold value based on the calculated theoretical value
A three-dimensional data analysis method characterized by:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019131245A JP7301474B2 (en) | 2019-07-16 | 2019-07-16 | 3D data analysis device and 3D data analysis method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019131245A JP7301474B2 (en) | 2019-07-16 | 2019-07-16 | 3D data analysis device and 3D data analysis method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021015558A JP2021015558A (en) | 2021-02-12 |
JP7301474B2 true JP7301474B2 (en) | 2023-07-03 |
Family
ID=74531614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019131245A Active JP7301474B2 (en) | 2019-07-16 | 2019-07-16 | 3D data analysis device and 3D data analysis method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7301474B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010287029A (en) | 2009-06-11 | 2010-12-24 | Konica Minolta Opto Inc | Periphery display device |
JP2014194729A (en) | 2013-02-27 | 2014-10-09 | Sharp Corp | Circumferential environment recognition device, autonomous mobile system using the same, and circumferential environment recognition method |
JP2017184358A (en) | 2016-03-29 | 2017-10-05 | パナソニックIpマネジメント株式会社 | Electric cart |
-
2019
- 2019-07-16 JP JP2019131245A patent/JP7301474B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010287029A (en) | 2009-06-11 | 2010-12-24 | Konica Minolta Opto Inc | Periphery display device |
JP2014194729A (en) | 2013-02-27 | 2014-10-09 | Sharp Corp | Circumferential environment recognition device, autonomous mobile system using the same, and circumferential environment recognition method |
JP2017184358A (en) | 2016-03-29 | 2017-10-05 | パナソニックIpマネジメント株式会社 | Electric cart |
Also Published As
Publication number | Publication date |
---|---|
JP2021015558A (en) | 2021-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9182763B2 (en) | Apparatus and method for generating three-dimensional map using structured light | |
JP3985615B2 (en) | Forward vehicle tracking system and forward vehicle tracking method | |
US20070058838A1 (en) | Object position detecting apparatus, map creating apparatus, autonomous mobile apparatus, object position detecting method, and computer program product for object position detection | |
KR102176376B1 (en) | Apparatus and method for measuring distance of object | |
JP2003139858A (en) | Outside-vehicle monitoring apparatus | |
JP2007155469A (en) | Inter-vehicle distance detection system and inter-vehicle distance detection method | |
JP2016120892A (en) | Three-dimensional object detector, three-dimensional object detection method, and three-dimensional object detection program | |
JP2017183787A (en) | Danger avoidance support program | |
WO2019044625A1 (en) | Collision prediction device, collision prediction method, and program | |
JP2010210486A (en) | Image processor, method and program | |
JP2014089548A (en) | Road surface level difference detection method, road surface level difference detection device and vehicle equipped with the road surface level difference detection device | |
JP2013114610A (en) | Image processing device, driving support device, image processing method, and image processing program | |
JP2014106638A (en) | Moving device and control method | |
JP2007232593A (en) | Object detection device | |
JP7301474B2 (en) | 3D data analysis device and 3D data analysis method | |
JP2020101442A (en) | Obstacle detector of construction machine | |
JP2015075826A (en) | Off-road dump truck | |
JP2007279805A (en) | Obstacle collision determination device and obstacle collision alarm system | |
JP3940619B2 (en) | Tunnel excavator position measuring device | |
JP2009276906A (en) | Travelling information providing device | |
JP3690260B2 (en) | Vehicle distance measurement method | |
KR20180000965A (en) | System and method for Autonomous Emergency Braking | |
JP2021025902A (en) | Position posture estimation device, position posture estimation method, and program | |
JP2012008706A (en) | Road shape detector | |
JP7441463B2 (en) | alarm system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220617 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230620 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7301474 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |