JP7301474B2 - 3D data analysis device and 3D data analysis method - Google Patents
3D data analysis device and 3D data analysis method Download PDFInfo
- Publication number
- JP7301474B2 JP7301474B2 JP2019131245A JP2019131245A JP7301474B2 JP 7301474 B2 JP7301474 B2 JP 7301474B2 JP 2019131245 A JP2019131245 A JP 2019131245A JP 2019131245 A JP2019131245 A JP 2019131245A JP 7301474 B2 JP7301474 B2 JP 7301474B2
- Authority
- JP
- Japan
- Prior art keywords
- blank area
- hole
- image
- dimensional data
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/60—Other road transportation technologies with climate change mitigation effect
- Y02T10/72—Electric energy management in electromobility
Landscapes
- Electric Propulsion And Braking For Vehicles (AREA)
- Image Analysis (AREA)
Description
本発明は、３次元データ分析装置および３次元データ分析方法に関し、特に、３次元測距センサが出力する３次元データを分析する３次元データ分析装置および３次元データ分析方法に用いて好適なものである。 The present invention relates to a three-dimensional data analysis device and a three-dimensional data analysis method, and particularly to a three-dimensional data analysis device and a three-dimensional data analysis method for analyzing three-dimensional data output by a three-dimensional distance measuring sensor. is.
従来、測距センサを利用して、測距の対象となる空間の状況を分析する装置が知られている。例えば、特許文献１には、電動カート１０に設けられた第１超音波センサ１１から路面８０に向けて超音波を送信すると共にその反射波を受信し、反射波を受信するまでに要した時間を分析することによって、電動カート１０の前方の所定の位置に路面８０が存在するか否かを判定し、存在する場合としない場合とで異なる態様の制御を実行する制御装置３０が記載されている。
2. Description of the Related Art Conventionally, there has been known a device that analyzes the condition of a space to be measured using a distance measurement sensor. For example, in
また、従来、ステレオカメラや、ＴＯＦカメラ等の光学式の３次元測距センサの検出値に基づく３次元データを分析する３次元データ分析装置が存在する。３次元データは、例えば、距離が測定された画素が３次元直交座標系に配置された点群データである。理想的には、３次元データにより、測距の対象となる空間内の各物体の表面が３次元直交座標系における点の集合として表現される。３次元データ分析装置は、３次元データを分析することによって、障害物の有無を検出する等、測距の対象となる空間の状況を分析する。 Conventionally, there are three-dimensional data analysis apparatuses that analyze three-dimensional data based on detection values of optical three-dimensional distance measuring sensors such as stereo cameras and TOF cameras. The three-dimensional data is, for example, point cloud data in which pixels whose distances are measured are arranged in a three-dimensional orthogonal coordinate system. Ideally, the three-dimensional data represent the surface of each object in space to be ranged as a set of points in a three-dimensional Cartesian coordinate system. By analyzing the three-dimensional data, the three-dimensional data analysis device analyzes the situation of the space to be measured, such as detecting the presence or absence of obstacles.
上述した３次元測距センサを地面よりも高い位置に設け、地面よりも高い位置を基点として放射状に広がる範囲に含まれる現実空間をこのセンサにより測距する場合がある。例えば、電動車イスやシニアカーといった移動支援自動車に３次元測距センサを設ける場合である。従来、この場合において３次元データ分析装置により３次元データを分析するときに以下の課題があった。 There is a case where the three-dimensional distance measuring sensor described above is provided at a position higher than the ground, and the sensor measures the distance of the real space included in a radially expanding range with the position higher than the ground as a base point. For example, there is a case where a three-dimensional distance measuring sensor is provided in a mobility support vehicle such as an electric wheelchair or a senior car. Conventionally, in this case, there have been the following problems when analyzing three-dimensional data using a three-dimensional data analysis device.
すなわち、３次元データに含まれる地面の表面の像に、距離が測定されていないまとまった領域である空白領域が形成される場合がある。空白領域は、現実空間において空白領域に対応する領域に地面が存在するのにもかかわらず、ノイズや、測定誤差、欠測等に起因して形成される場合もあれば、現実空間において空白領域に対応する領域に穴が形成されており、この穴に起因して形成される場合もある。しかしながら、従来の３次元データ分析装置では、地面の表面の像に空白領域が形成されている場合、現実空間において空白領域に対応する領域に穴が形成さていると一律に判定しているため、穴が形成されていない状況でノイズ等に起因して空白領域が形成されている場合に、空白領域に対応する領域に穴が形成されていると誤って判定してしまう場合があった。 In other words, a blank area, which is a group of areas where the distance has not been measured, may be formed in the image of the ground surface included in the three-dimensional data. A blank area may be formed due to noise, measurement errors, missing measurements, etc., even though the ground exists in the area corresponding to the blank area in the real space. A hole is formed in a region corresponding to , and may be formed due to this hole. However, in the conventional three-dimensional data analysis device, when a blank area is formed in the image of the surface of the ground, it is uniformly determined that a hole is formed in the area corresponding to the blank area in the real space. When a blank area is formed due to noise or the like in a situation where no hole is formed, it may be erroneously determined that a hole is formed in the area corresponding to the blank area.
本発明は、このような問題を解決するために成されたものであり、３次元データに含まれる地面の表面の像の中に形成された空白領域について、現実空間において空白領域に対応する領域に穴が形成されていないにもかかわらず、穴が形成されていると誤って判定されることを抑制することを目的とする。 The present invention has been made to solve such a problem. To suppress erroneous determination that a hole is formed even though a hole is not formed in a hole.
上記した課題を解決するために、本発明では、３次元データに含まれる地面の表面の像に、距離が測定されていないまとまった領域である空白領域が存在する場合、空白領域の奥側の縁から、地面の表面に相当する面よりも下方に向かって延在する下方延在像が存在するか否かを判定し、存在する場合、現実空間において空白領域に対応する領域に穴が形成されていると判定するようにしている。また本発明は、下方延在像が存在すると判定した場合、下方延在像の上下方向の長さが閾値以上か否かを判定し、閾値以上のとき、現実空間において空白領域に対応する領域に穴が形成されていると判定する一方、現実空間における空白領域に対応する領域に穴が形成されていたとした場合に、その穴の内側の面において基点に対向する領域のうち、３次元測距センサにより測距可能な測距対象部分の上下方向の長さの理論値を算出し、算出した理論値に基づいて閾値を設定するようにしている。 In order to solve the above-described problems, in the present invention, when a blank area, which is a group of areas where the distance is not measured, exists in an image of the surface of the ground included in three-dimensional data, the depth of the blank area is measured. From the edge, it is determined whether or not there is a downward extension image extending downward from the surface corresponding to the surface of the ground, and if there is, a hole is formed in the area corresponding to the blank area in the real space. I'm trying to judge that it is. In the present invention, when it is determined that a downwardly extending image exists, it is determined whether or not the vertical length of the downwardly extending image is equal to or greater than a threshold value. On the other hand, when it is determined that a hole is formed in the area corresponding to the blank area in the real space, of the area facing the base point on the inner surface of the hole, the three-dimensional measurement A theoretical value of the length in the vertical direction of a range-finding target portion that can be measured by the range sensor is calculated, and the threshold value is set based on the calculated theoretical value.
現実空間において地面に穴が形成されている場合、その穴の内側の面において、３次元測距センサの基点に対向する領域の一部については３次元測距センサによる測距の対象となり、この部分の像が３次元データに含まれることになるという特徴がある。この部分の像は、３次元データにおいて、空白領域の奥側の縁から、地面の表面に相当する面よりも下方に向かって延在した状態となる。 When a hole is formed in the ground in the real space, a part of the area facing the base point of the three-dimensional distance measuring sensor on the inner surface of the hole is subject to distance measurement by the three-dimensional distance measuring sensor. There is a feature that the image of the part will be included in the three-dimensional data. In the three-dimensional data, the image of this portion extends from the far side edge of the blank area downward from the surface corresponding to the surface of the ground.
以上を踏まえ、上記のように構成した本発明によれば、空白領域が存在する場合に、現実空間において空白領域に対応する領域に穴が形成されていると一律に判定されるのではなく、空白領域の奥側の縁から延在する下方延在像が存在する場合にのみ、穴が形成されていると判定される。このため、上述した特徴を好適に利用して、現実空間において空白領域に対応する領域に穴が形成されていないにもかかわらず、穴が形成されていると誤って判定されることを抑制できる。 Based on the above, according to the present invention configured as described above, when a blank area exists, instead of uniformly determining that a hole is formed in the area corresponding to the blank area in the real space, A hole is determined to be formed only if there is a downwardly extending image extending from the far edge of the blank area. Therefore, it is possible to prevent erroneous determination that a hole is formed in the area corresponding to the blank area in the real space, even though the area corresponding to the blank area in the real space is not formed. .
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係る３次元データ分析装置１を含む警告システム２の機能構成例を示すブロック図である。図１に示すように、警告システム２は、３次元測距センサ３と、３次元データ生成装置４と、３次元データ分析装置１と、警告装置５とを含んで構成されている。本実施形態に係る３次元データ分析装置１は、移動支援自動車６（図２）に設けられ、３次元測距センサ３の検出値に基づいて生成される３次元データを分析する装置である。移動支援自動車６とは、電動車イスやシニアカー等の人間が搭乗した状態で歩道を走行する自動車である。
An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a functional configuration example of a
図２は、３次元測距センサ３の設置位置、その測定軸７およびその測距範囲８を説明するために３次元測距センサ３が移動支援自動車６に設けられた様子を単純化して模式的に示す図である。３次元測距センサ３は、空間を３次元的に測距するセンサであり、特に本実施形態に係る３次元測距センサ３は、ステレオカメラ方式の測距センサである。図２では、３次元測距センサ３のステレオカメラを構成する２台のカメラ９、９のうちの一方のカメラ９を図示している。以下の説明において、上または上方とは鉛直方向における上向きを意味し、下または下方とは鉛直方向における下向きを意味する。また、前または前方とは移動支援自動車６が前進する向きを意味し、後または後方とは移動支援自動車が後進する向きを意味する。また、左または左方とは前方に向かって左向きを意味し、右または右方とは前方に向かって右向きを意味する。
FIG. 2 is a simplified schematic diagram of the three-dimensional
図２に示すように、カメラ９は、移動支援自動車６の前端部の、移動支援自動車６が載置された地面１０よりも高い位置に設けられている。カメラ９の地面１０からの高さは、一例として５０ｃｍ程度である。図２に示すように、カメラ９は、その測定軸７（光軸）が地面１０と平行なまま前方に向かって伸びるように移動支援自動車６に設けられている。測距範囲８は、カメラ９の基点１１から測定軸７に沿って、前方に向かうに従って広がるように放射状に広がっており、この測距範囲８に含まれる現実空間が３次元測距センサ３による測距の対象となる。以下、測距範囲８に含まれ、測距の対象となる現実空間を「測距対象空間」という。なお、ステレオカメラ方式の測距センサにおいては、一方のカメラ９の撮影範囲と測距範囲８とは厳密には一致しないものの、これらは近似しているため、説明の便宜を考慮して、本実施形態ではカメラ９の撮影範囲がそのまま測距範囲８であるものとする。
As shown in FIG. 2, the
本実施形態では、移動支援自動車６の動力源のスイッチがオンされると、警告システム２の各装置への電力供給が開始され、これら装置の電源が自動でオンされる。３次元測距センサ３は、電源がオンされている間（＝移動支援自動車６が走行する可能性のある期間）、２台のカメラ９、９により所定周期で継続して撮影を実行し、２台のカメラ９、９の撮影画像（検出値）を３次元データ生成装置４に出力する。
In this embodiment, when the power source of the mobility support vehicle 6 is switched on, power supply to each device of the
３次元データ生成装置４は、所定周期で入力する２台のカメラ９、９の撮影画像について既存の技術に基づくマッチングを行い、３次元データを生成する。本実施形態において、３次元データは、３次元測距センサ３により距離が測定された画素が３次元直交座標系に配置された点群データ（＝３次元直交座標系において距離が測定された各画素の座標を保持する点群データ）である。理想的には、３次元データにより、測距対象空間内の各物体（地面１０を含む）の基点１１に対向する表面（カメラ９、９により撮影される表面）が３次元直交座標系における点の集合として表現される。
The three-dimensional
３次元データ生成装置４は、所定周期で継続して３次元データを生成し、３次元データ分析装置１に出力する。
The three-dimensional
図１に示すように、３次元データ分析装置１は、機能構成として、３次元データ取得部１３、空白領域検出部１４および穴判定部１５を備えている。上記各機能ブロック１３～１５は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１３～１５は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
As shown in FIG. 1, the three-dimensional
３次元データ取得部１３は、３次元データ生成装置４が所定周期で出力する３次元データを入力して取得する。３次元データ取得部１３は、３次元データを取得する度に、ＲＡＭ等のワークエリアに形成されたバッファ１６に３次元データを格納すると共に、格納したことを空白領域検出部１４に通知する。
The three-dimensional
空白領域検出部１４は、３次元データに含まれる地面１０の表面の像から、距離が測定されていないまとまった領域である空白領域１７（図３、５、６）を検出する。以下、空白領域検出部１４の処理について詳述する。
A blank
空白領域検出部１４は、３次元データ取得部１３から３次元データがバッファ１６に格納されたことの通知を受け付ける度に、バッファ１６に格納された３次元データを対象として以下の処理を実行する。すなわち、まず、空白領域検出部１４は、３次元データから地面１０の表面の像１８（図３）を特定する。以下、地面１０の表面の像１８を「地面表面像１８」という。
The blank
図３は、図１で説明した態様で移動支援自動車６に設けられた３次元測距センサ３の検出値に基づいて生成された３次元データに基づいて３次元直交座標系に展開された像の例を示す図である。図３および後述の図７、８では、黒色の背景に、白色の画素が配置されている。以下の説明において、３次元直交座標系のｘ軸方向は、現実空間における前後方向に対応し、ｘ軸方向のプラス側に向かう向きは前方に対応し、ｘ軸方向のマイナス側に向かう向きは後方に対応するものとする。また、３次元直交座標系のｙ軸方向は、現実空間における左右方向に対応するものとする。また、３次元直交座標のｚ軸方向は、現実空間における上下方向に対応し、ｚ軸方向のプラス側に向かう向きは上方に対応し、ｚ軸方向のマイナス側に向かう向きは下方に対応するものとする。
FIG. 3 shows an image developed on a three-dimensional orthogonal coordinate system based on three-dimensional data generated based on the detection values of the three-dimensional
図３で例示した像では、枠Ｗ１で囲まれた部分の像が、地面表面像１８に相当する。なお、図３において、枠Ｗ１で囲まれた地面表面像１８よりもｘ軸方向のプラス側の像は、地面１０に立設した壁の像である。地面表面像１８について詳しく説明すると、地面表面像１８は、図３に示すように、ｘ軸方向のプラス側に向かうに従ってｙ軸方向に広がっていく。これは、測距範囲８が基点１１から測定軸７に沿って前方に向かって放射状に広がっていくことに起因するものである。
In the image illustrated in FIG. 3, the image of the portion surrounded by the frame W1 corresponds to the
また、地面表面像１８は、ｘ軸方向のプラス側に向かうに従って、徐々に画素が安定せず、かつ、画素が粗くなっている。これは、３次元測距センサ３から物体の位置が離れるほど、測距の精度が低下すると共に、３次元測距センサ３が物体を捉えられる画素の密度が小さくなるという３次元測距センサ３の性質に起因するものである。また、図３に示すように、地面表面像１８は、基本的には、交差するｘ軸とｙ軸とを含む平面に平行な平面に沿って延在する。ただし、地面表面像１８は完全な平面とはならず多少の凹凸が出現する。
Further, the
３次元直交座標系において、地面表面像１８を構成する画素群が配置され得る範囲は、３次元測距センサ３のスペック、配置位置および測定軸７の方向によって定まる。これらによって、地面１０に対する測距範囲８の状態が規定されるからである。本実施形態では、３次元測距センサ３のスペック、配置位置および測定軸７の方向を踏まえて、３次元直交座標系において地面表面像１８を構成する画素群が配置され得る範囲（以下、「地面表面像範囲」という）が事前に定められている。地面表面像範囲は、平面の領域ではなく、ｚ軸方向にある程度の幅を持った３次元的な領域として定義される。
In the three-dimensional orthogonal coordinate system, the range in which the pixel group forming the
そして、空白領域検出部１４は、地面表面像範囲に属する画素群を地面表面像１８として特定する。なお、図３の例のように壁や歩行者、その他の障害物が地面１０に立っている場合、障害物が存在する範囲や、障害物よりもｘ軸方向のプラス側の範囲は、地面表面像範囲に属する画素群が抽出できない。空白領域検出部１４は、このように障害物の像に起因して地面表面像範囲に属する画素群として画素群が抽出できない範囲は、地面表面像１８から除外し、このような範囲を、後に詳述する空白領域１７と明確に区別する。
Then, the blank
地面表面像１８を特定した後、空白領域検出部１４は、地面表面像１８のうち、分析対象範囲を特定する。分析対象範囲とは、画素の精度の高さを一定以上、担保できる領域である。上述したように、地面表面像１８は、ｘ軸方向のプラス側へ向かうほど、画素が安定せず粗くなっていき、画素の精度が低くなる。本実施形態において、ある画素の精度とは、その画素の３次元直交座標系における座標が、現実空間における物体の表面の位置を正しく反映している度合の強さのことをいい、画素の精度が高いほど、反映の度合が強い。本実施形態では、分析対象範囲が予め定められている。図３の例では、例えば、弧Ｋ１よりもｘ軸方向のマイナス側の範囲が分析対象範囲とされる。
After specifying the
地面表面像１８における分析対象範囲を特定した後、空白領域検出部１４は、分析対象範囲内を分析し、この範囲内に空白領域１７が存在するか否かを判定する。空白領域１７とは、地面表面像１８の中で、画素が存在しない所定サイズ以上の大きさのまとまった領域である。換言すれば、空白領域１７とは、地面表面像１８内で、３次元測距センサ３により距離が測定されていないまとまった領域である。空白領域１７に該当するか否かの判定の基準となる所定サイズは、現実空間において仮に当該所定サイズに対応するサイズ以上の穴１９（図４（Ａ）、図９）が地面１０に形成されていた場合、移動支援自動車６の搭乗者に警告を与える必要があるという観点、換言すれば、現実空間において仮に当該所定サイズに対応するサイズよりも小さい穴１９が地面１０に形成されていたとしても、移動支援自動車６の走行に影響がなく、当該搭乗者に警告を与える必要がないという観点に基づいて事前に定められている。図３では、枠Ｗ２で囲まれた黒色の領域（＝画素がない領域）が空白領域１７である。
After specifying the analysis target range in the
地面表面像１８内に空白領域１７が形成される原因としては以下の２つがある。図４は、空白領域１７が形成される原因の説明のため、３次元測距センサ３のカメラ９、測距範囲８および地面１０の現実空間における配置関係を単純化して示す図である。図４（Ａ）のように、現実空間において地面１０に穴１９が形成されている場合、地面表面像１８内に空白領域１７が形成される。地面１０に沿った面において、穴１９の部分については、３次元測距センサ３により距離が測定されず、３次元データにおいて画素が形成されないからである。
There are two reasons why the
一方、図４（Ｂ）に示すように、現実空間において、地面１０に穴１９が形成されていない場合であっても、ノイズや、測定誤差、欠測等に影響を受けて、３次元データの地面表面像１８に空白領域１７が形成されることがある。なお、欠測とは以下を意味する。すなわち、３次元測距センサ３は、測距対象空間内の物体の表面を測距する際、当センサの分解能に従って離散した複数の測定点を測距する。そして、欠測とは、測定点と測定点との間の部分について、距離の測定の対象とならない（距離が測距できない）ことを意味する。
On the other hand, as shown in FIG. 4(B), even if the
本実施形態では、図２を用いて説明したように、３次元測距センサ３の測定軸７は、地面１０と平行に延びている。このような態様で３次元測距センサ３が移動支援自動車６に設けられている場合、測定軸７と平行に延在する地面１０は、測定軸７に対して垂直に延在する物体と比較して、３次元測距センサ３が物体を捉えられる画素の密度（＝物体の表面に理論上展開される測定点の密度）が小さく、ノイズ、測定誤差および欠測の影響を受けやすい。このため、地面表面像１８には、空白領域１７が形成されやすい傾向がある。特に、基点１１からの距離が遠いほど、ノイズ、測定誤差および欠測の影響を受けやすくなるため、空白領域１７が形成されやすい。
In this embodiment, the measurement axis 7 of the three-dimensional
さて、空白領域検出部１４は、空白領域１７が存在すると判定した場合、３次元直交座標系における空白領域１７の範囲を示す情報（以下「空白領域範囲情報」という）を穴判定部１５に出力する。空白領域範囲情報は、例えば、空白領域１７の外縁を、３次元直交座標系における異なる複数の点の座標により表した情報である。一方、空白領域検出部１４は、空白領域１７が存在しないと判定した場合、空白領域範囲情報を穴判定部１５に出力せず、当周期における処理を終了する。この場合、当周期において後述する穴判定部１５による処理は実行されない。
When the blank
なお、空白領域１７は、複数存在する場合もある。この場合、空白領域検出部１４は、複数の空白領域１７のそれぞれに係る空白領域範囲情報を穴判定部１５に出力する。以下の説明では、説明の便宜を考慮して、空白領域検出部１４から空白領域範囲情報が穴判定部１５に出力される場合、１つの空白領域１７に係る１つの空白領域範囲情報が出力されるものとする。ただし、複数の空白領域１７に係る複数の空白領域範囲情報が出力される場合には、それぞれの空白領域範囲情報に基づいて、以下で説明する処理が実行される。
A plurality of
穴判定部１５は、空白領域検出部１４により検出された空白領域１７の奥側の縁から、地面１０の表面に相当する面よりも下方に向かって延在する下方延在像２０（図６、７、８）が存在するか否かを判定し、存在する場合、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定する。以下、穴判定部１５の処理について詳述する。なお、本実施形態において「奥側」とは、３次元測距センサ３の基点１１から離れる側を意味し、３次元直交座標系においてはｘ軸方向のプラス側を意味する。また、本実施形態において「手前側」とは、３次元測距センサ３の基点１１に近づく側を意味し、３次元直交座標系においてはｘ軸方向のマイナス側を意味する。
The
穴判定部１５は、空白領域検出部１４から空白領域範囲情報を入力した場合、以下の処理を実行する。すなわち、穴判定部１５は、バッファ１６に格納された３次元データを参照し、入力した空白領域範囲情報に基づいて、３次元データに基づく像が展開される３次元直交座標系における空白領域１７を特定する。
When the blank area range information is input from the blank
次いで、穴判定部１５は、空白領域１７の奥側の縁を特定する。図５（Ａ）、（Ｂ）は、空白領域１７を、ｚ軸方向のマイナス側に向かって見た様子を示す図である。図５（Ａ）、（Ｂ）では、空白領域１７を、その外縁の全域に沿った線により表している。例えば、穴判定部１５は、図５（Ａ）で例示する空白領域１７について、枠Ｗ３で囲まれた部位を空白領域１７の奥側の縁として特定する。また例えば、穴判定部１５は、図５（Ｂ）で例示する空白領域１７について、枠Ｗ４で囲まれた部位を空白領域１７の奥側の縁として特定する。
Next, the
次いで、穴判定部１５は、空白領域１７の奥側の縁から、ｚ軸方向のマイナス側へ向かって延在する像である下方延在像２０が存在するか否かを判定する。以下、下方延在像２０について図４（Ａ）を用いて説明する。ここで、現実空間において、空白領域１７に対応する領域に実際に穴１９が形成されている場合、その穴１９の内側の面において、３次元測距センサ３の基点１１に対向する領域の一部の部分については３次元測距センサ３による測距の対象となる。例えば、図４（Ａ）では、領域ＡＲ１は、３次元測距センサ３による測距の対象となる。本実施形態に係る３次元測距センサ３はステレオカメラ式の測距センサであるが、領域ＡＲ１と基点１１とを遮るものがなく、この領域ＡＲ１は、カメラ９、９によって撮影されるからである。以下、穴１９の内側の面において、３次元測距センサ３による測距の対象となる部分のことを「測距対象部分」という。
Next, the
測距対象部分は、３次元測距センサ３による測距の対象となるため、３次元測距センサ３の検出値に基づいて生成される３次元データには、この測距対象部分の像が形成される。測距対象部分の像とは、測距対象部分の基点１１に対向する表面を表す画素群のことである。この測距対象部分の像が下方延在像２０である。この下方延在像２０は、測距対象部分の上述した性質上、３次元直交座標系において空白領域１７の奥側の縁から、ｚ軸方向のマイナス側へ向かって（＝地面１０の表面に相当する面よりも下方に向かって）延在した状態となる。
Since the distance measurement target portion is the object of distance measurement by the three-dimensional
図６は、外縁が円形である空白領域１７およびこの空白領域１７に対応して形成される下方延在像２０を単純化して模式的に示す図である。図６では、現実空間における穴１９の内周および底に相当する部分を実線で表している。図６において斜線を用いて表した部分の像が下方延在像２０である。図６で示すように、空白領域１７の外縁が円形の場合、基点１１に対向し、３次元測距センサ３により測距可能に露出した部分に下方延在像２０が形成される。図７は、図３の像を、ｙ軸方向のプラス側からマイナス側へ向かって見た図である。図７では、枠Ｗ５で囲まれた像が下方延在像２０である。図８は、図３の像をｘ軸方向のマイナス側からプラス側へ向かって見た図である。図８では、枠Ｗ６で囲まれた像が下方延在像２０である。
FIG. 6 is a diagram schematically showing a
穴判定部１５は、下方延在像２０が存在しないと判定した場合、現実空間において空白領域１７に対応する領域に穴１９が形成されていないと判定する。上述したように、空白領域１７に対応する領域に穴１９が形成されている場合、これに付随して下方延在像２０が形成されているはずだからである。この場合、空白領域１７は、ノイズや、測定誤差、欠測等に起因して生じていることになる。
When determining that the downward extending
一方、穴判定部１５は、下方延在像２０が存在すると判定した場合、下方延在像２０の上下方向（ｚ軸方向）の長さを測定する。本実施形態では、穴判定部１５は、以下の方法で下方延在像２０の上下方向の長さを測定する。すなわち、穴判定部１５は、下方延在像２０を構成する画素のうち、最もｚ軸方向マイナス側に位置する画素を特定する。次いで、穴判定部１５は、特定した画素から、現実空間の地面１０に相当する仮想面まで垂線を下ろし、垂線と仮想面との交点を最奥点２１（図６）として特定する。次いで、穴判定部１５は、特定した画素から最奥点２１までの距離を、下方延在像２０の上下方向の長さとして測定する。最奥点２１は、理想的には、空白領域１７の外縁上で、基点１１から最も遠い位置の点である。
On the other hand, when determining that the downwardly extending
図６の例では、穴判定部１５は、線分ＬＬの長さを下方延在像２０の上下方向の長さとして測定する。説明の便宜のため、測定された長さは、センチメートルやミリメートル等の単位で表される現実空間の長さに換算された値であるものとする。
In the example of FIG. 6, the
次いで、穴判定部１５は、測距対象部分の長さの理論値（以下「長さ理論値」という）を算出する。以下、長さ理論値を算出するときの穴判定部１５の処理について詳述する。図９（Ａ）は、穴判定部１５の処理を説明するため、図４（Ａ）と同様に、穴１９が形成されている地面１０にカメラ９が配置された様子を示す図である。図９（Ｂ）は、図９（Ａ）の環境を上方から下方へ向かって見た様子を示す図である。図９（Ａ）と図９（Ｂ）とでは、前後方向の位置を対応させている。
Next, the
図９（Ａ）において、「３次元測距センサ３の基点１１と、穴１９の手前側の縁にある点Ｐ１（詳細は後述）とを通る直線Ｓ１」と、「最奥点２１に対応する点Ｐ２（詳細は後述）を通り、鉛直方向に延びる直線Ｓ２」との交点を点Ｐ３とする。測距対象部分の理論的な長さは、理論的に算出される「点Ｐ２から点Ｐ３まで延びる線分Ｘ１の長さ」に相当する。穴判定部１５は、この線分Ｘ１の理論的な長さを長さ理論値として算出する。なお、線分Ｘ１は、特許請求の範囲の「現実空間において測距対象部分に沿って延びる第２の線」に相当する。
In FIG. 9A, "a straight line S1 passing through the
長さ理論値の算出に際し、まず、穴判定部１５は、現実空間において、地面１０に沿って延在するまっ平らな仮想的な面２２（図９（Ａ））を定義する。以下、面２２を「仮想地面２２」という。上述した点Ｐ１、Ｐ２、後述する点Ｐ４、後述する線分Ｌ２、Ｌ３、Ｌ４は、この仮想地面２２上に配置される。
When calculating the theoretical length value, first, the
次いで、穴判定部１５は、空白領域検出部１４から入力した空白領域範囲情報に基づいて、現実空間における、空白領域１７に対応する領域の外縁２３（図９（Ｂ））の配置位置を算出する。本実施形態では、外縁２３の配置位置とは、外縁２３を「仮想地面２２上の点の集合」として捉えたときの、各点の基点１１からの相対的な位置のことである。ここで、現実空間において基点１１から仮想地面２２に垂線を下ろした場合に、この垂線と仮想地面２２との交点を点Ｐ４（図９（Ａ）、（Ｂ））とする。穴判定部１５は、基点１１から点Ｐ４までの線分Ｌ１の長さを取得する。線分Ｌ１の長さは、３次元測距センサ３の設置位置により定まる。本実施形態では、基点１１の仮想地面２２からの高さ（＝線分Ｌ１の長さ）を示す情報を含む設置位置情報が図示しないメモリに予め記憶されており、穴判定部１５は、この設置位置情報に基づいて線分Ｌ１の長さを取得する。
Next, based on the blank area range information input from the blank
次いで、穴判定部１５は、３次元直交座標系における最奥点２１の座標に基づいて、現実空間において最奥点２１に対応する点Ｐ２（図９（Ａ）、（Ｂ））の位置を算出する。穴判定部１５は、点Ｐ２の位置を、現実空間における基点１１からの相対的な位置として算出する。次いで、穴判定部１５は、線分Ｌ１と仮想地面２２との交点である点Ｐ４から、点Ｐ２まで延ばした線分Ｌ２（図９（Ａ）、（Ｂ））を算出する。更に、穴判定部１５は、線分Ｌ２と、空白領域１７に対応する領域の外縁２３との交点Ｐ１（図９（Ａ）、（Ｂ））を算出する。
Next, the
次いで、穴判定部１５は、点Ｐ４から点Ｐ１まで延びる線分Ｌ３の長さを算出すると共に、点Ｐ１から点Ｐ２まで延びる線分Ｌ４の長さを算出する。点Ｐ１は、現実空間において空白領域１７に対応する領域の手前側の縁に位置する点である。また、点Ｐ２は、現実空間において空白領域１７の奥側の縁に位置する点である。これを踏まえ、線分Ｌ３は、特許請求の範囲の「基点から地面１０に下ろした垂線と地面１０との交点から、現実空間において空白領域１７に対応する領域の手前側の縁まで延ばした第１の線」に相当する。また、線分Ｌ４は、特許請求の範囲の「現実空間において空白領域１７に対応する領域の手前側の縁から奥側の縁まで伸びる、第１の線と同一直線上の線である第３の線」に相当する。
Next, the
ここで、基点１１、点Ｐ４、点Ｐ１を頂点とする直角三角形と、点Ｐ３、点Ｐ２、点Ｐ１を頂点とする直角三角形は、相似の関係にあり、式Ｓ１「線分Ｌ１の長さ：線分Ｌ３の長さ＝線分Ｘ１の長さ：線分Ｌ４の長さ」が成り立つ。穴判定部１５は、既に求めた線分Ｌ１、Ｌ３、Ｌ４の長さを式Ｓ１に適用し、線分Ｘ１の長さを算出し、算出した値を長さ理論値とする。
Here, the right-angled triangle whose vertices are the
以上のようにして長さ理論値を算出した後、穴判定部１５は、長さ理論値から予め定められたマージンを減算した値を閾値Ｔ１として設定する。マージンの意義については後述する。次いで、穴判定部１５は、下方延在像２０の上下方向の長さが閾値Ｔ１以上か否かを判定する。下方延在像２０の上下方向の長さが閾値Ｔ１以上の場合、穴判定部１５は、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定する。一方、下方延在像２０の上下方向の長さが閾値Ｔ１以上ではない場合、穴判定部１５は、現実空間において空白領域１７に対応する領域に穴１９が形成されていないと判定する。
After calculating the theoretical length value as described above, the
穴判定部１５がこのような判定を行うことの理由は以下である。すなわち、閾値Ｔ１は、測距対象部分の長さの理論値からマージンを引いた値である。従って、閾値Ｔ１は、現実空間に穴１９が形成されている場合に、３次元測距センサ３の配置位置や、基点１１に対する穴１９の相対的な位置を勘案すると、３次元測距センサ３の検出値に基づいて形成される下方延在像２０の長さはこうなるはずだという、現実空間に穴１９が形成されている場合の下方延在像２０の上下方向の長さの予測値と考えることができる。そして、下方延在像２０の上下方向の長さが閾値Ｔ１以上ということは、下方延在像２０の上下方向の長さが、穴１９が存在するとした仮定したときに理論的に導かれる予測値と同等以上ということであり、この場合、現実空間に実際に穴１９が存在しているとみなすことができる。以上を踏まえ、穴判定部１５は、下方延在像２０の上下方向の長さが閾値Ｔ１以上の場合は、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定する一方、下方延在像２０の上下方向の長さが閾値Ｔ１以上ではない場合、現実空間において空白領域１７に対応する領域に穴１９が形成されていないと判定する。
The reason why the
なお、マージンは、現実空間に穴１９が形成されている状況において、ノイズや、測定誤差等の影響で、下方延在像２０の上下方向の長さが、ノイズ等の影響を受けないときの長さよりも短くなった場合であっても、下方延在像２０の上下方向の長さが閾値Ｔ１以上となるようにすることを考慮して与えられるものである。
Note that the margin is the length of the
本実施形態の構成によれば、全ての空白領域１７について、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定するのではなく、空白領域１７の奥側の縁から延在する下方延在像２０が存在することを、穴１９が形成されていると判定することの条件としている。このため、現実空間に穴１９が存在する場合には、この穴１９に対応する空白領域１７に付随して下方延在像２０が形成されるという特徴を好適に利用して、現実空間において空白領域１７に対応する領域に穴１９が形成されていると誤って分析されてしまうことを抑制できる。
According to the configuration of the present embodiment, instead of determining that the
また、本実施形態では、下方延在像２０が存在するというだけで、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定するのではなく、下方延在像２０の上下方向の長さが閾値以上の場合に、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定する。この構成のため、現実空間の穴１９に由来しない空白領域１７に付随して、ノイズや、測定誤差、欠測等により偶発的に下方延在像２０が形成された場合に、このような空白領域１７について、現実空間の対応する領域に穴１９が形成されていると誤って判定される可能性を低減できる。
Further, in the present embodiment, it is not determined that the
さて、穴判定部１５は、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定した場合は、そのことを警告装置５に通知する。この結果、穴判定部１５により現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定されている期間、所定周期で継続して穴判定部１５から警告装置５へ通知が出力される。
Now, when the
警告装置５は、穴判定部１５から通知を入力している期間、移動支援自動車６の前方に穴１９が存在することを搭乗者に伝えるための警告を行う。警告は、例えば、図示しないスピーカにより特定の電子音が音声出力され、また例えば、スピーカにより特定の文言（例えば「前方に穴１９があります。気をつけて下さい」という文言）が音声出力され、また例えば、特定のＬＥＤが特定の態様で発光することにより行われる。
The
次に、本発明の一実施形態に係る３次元データ分析装置１の動作についてフローチャートを用いて説明する。図１０は、３次元データ生成装置４が３次元データを出力した後の３次元データ分析装置１の動作を示すフローチャートである。
Next, the operation of the three-dimensional
図１０に示すように、３次元データ取得部１３は、３次元データ生成装置４が所定周期で出力する３次元データを入力して取得する（ステップＳＡ１）。次いで、３次元データ取得部１３は、バッファ１６に３次元データを格納すると共に、格納したことを空白領域検出部１４に通知する（ステップＳＡ２）。
As shown in FIG. 10, the three-dimensional
空白領域検出部１４は、３次元データ取得部１３からの通知に応じて、３次元データから地面表面像１８を特定する（ステップＳＡ３）。次いで、空白領域検出部１４は、地面表面像１８のうち、分析対象範囲を特定する（ステップＳＡ４）。次いで、空白領域検出部１４は、分析対象範囲内を分析し、この範囲内に空白領域１７が存在するか否かを判定する（ステップＳＡ５）。空白領域１７が存在する場合（ステップＳＡ５：ＹＥＳ）、空白領域検出部１４は、空白領域範囲情報を穴判定部１５に出力する（ステップＳＡ６）。空白領域１７が存在しない場合（ステップＳＡ５：ＮＯ）、図１０のフローチャートは終了する。
The blank
穴判定部１５は、空白領域検出部１４から空白領域範囲情報を入力すると、この空白領域範囲情報に基づいて、３次元データに基づく像が展開される３次元直交座標系における空白領域１７を特定する（ステップＳＡ７）。次いで、穴判定部１５は、空白領域１７の奥側の縁を特定する（ステップＳＡ８）。次いで、穴判定部１５は、空白領域１７の奥側の縁から、ｚ軸方向のマイナス側へ向かって延在する像である下方延在像２０が存在するか否かを判定する（ステップＳＡ９）。
When the blank area range information is input from the blank
下方延在像２０が存在しない場合（ステップＳＡ９：ＮＯ）、穴判定部１５は、現実空間において空白領域１７に対応する領域に穴１９が形成されていないと判定する（ステップＳＡ１０）。ステップＳＡ１０の処理後、図１０のフローチャートは終了する。下方延在像２０が存在する場合（ステップＳＡ９：ＹＥＳ）、穴判定部１５は、下方延在像２０の上下方向（ｚ軸方向）の長さを測定する（ステップＳＡ１１）。次いで、穴判定部１５は、測距対象部分の長さの理論値である長さ理論値を算出する（ステップＳＡ１２）。
If downwardly extending
次いで、穴判定部１５は、穴判定部１５は、長さ理論値から予め定められたマージンを減算した値を閾値Ｔ１として設定する（ステップＳＡ１３）。次いで、穴判定部１５は、下方延在像２０の上下方向の長さが閾値Ｔ１以上か否かを判定する（ステップＳＡ１４）。下方延在像２０の上下方向の長さが閾値Ｔ１以上ではない場合（ステップＳＡ１４：ＮＯ）、穴判定部１５は、現実空間において空白領域１７に対応する領域に穴１９が形成されていないと判定する（ステップＳＡ１５）。ステップＳＡ１５の処理後、図１０のフローチャートは終了する。
Next, the
下方延在像２０の上下方向の長さが閾値Ｔ１以上の場合（ステップＳＡ１４：ＹＥＳ）、穴判定部１５は、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定する（ステップＳＡ１６）。次いで、穴判定部１５は、現実空間において空白領域１７に対応する領域に穴１９が形成されていることを警告装置５に通知する（ステップＳＡ１７）。
If the vertical length of the downwardly extended
以上、本発明の一実施形態を説明したが、上記実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 Although one embodiment of the present invention has been described above, the above embodiment merely shows an example of specific implementation of the present invention, and the technical scope of the present invention can be construed in a limited manner. It should not be done. Thus, the invention may be embodied in various forms without departing from its spirit or essential characteristics.
例えば、上記実施形態では、穴判定部１５は、下方延在像２０が存在し、かつ、下方延在像２０の上下方向の長さが閾値Ｔ１以上の場合に、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定した。この点について、穴判定部１５が、下方延在像２０が存在する場合に、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定する構成でもよい。ただし、この場合、実際は穴１９が形成されておらず、ノイズや、測定誤差、欠測等により偶発的に下方延在像２０が形成された場合にも、穴１９が形成されていると判定されるケースが生じ得るため、上記実施形態と比較して、穴１９の存在に関する判定が誤って行われる可能性が上昇する。
For example, in the above-described embodiment, when the downwardly extending
また、上記点について、穴判定部１５が、下方延在像２０が存在し、かつ、下方延在像２０の上下方向の長さが予め定められた固定値の閾値Ｔ２以上の場合に、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定する構成でもよい。なお、ノイズ等により偶発的に下方延在像２０が形成された場合、その上下方向の長さは相当に短くなると想定される。このことを踏まえ、閾値Ｔ２は、偶発的に形成された短い下方延在像２０を排除できるような値に設定される。この場合、閾値Ｔ２は、測定対象部分の上下方向の長さの理論値と関係ない値となるため、上記実施形態と比較して、穴１９の存在に関する判定が誤って行われる可能性が上昇する。
Regarding the above points, the
また、上記実施形態では、３次元測距センサ３はステレオカメラ式の測距センサであったが、３次元測距センサ３は、３次元データを生成するための検出値を出力する測距センサであればよく、例示したタイプのものに限られない。一例として、パターン画像を投影するプロジェクタとカメラとを含んで構成されるタイプの測距センサでもよく、ＴＯＦカメラを含んで構成されるタイプの測距センサでもよい。
Further, in the above embodiment, the three-dimensional ranging
また、上記実施形態では、測定軸７は、地面１０と平行に延在した。しかしながら、測定軸７が前方に向かうほど地面１０に近づくようにある程度傾いていてもよい。この場合、空白領域検出部１４および穴判定部１５は、測定軸７の傾きを反映して、３次元データの分析を含む各種処理を実行する。また、測定軸７が向かう方向は、移動支援自動車６の前方に限られず、その後方や、側方であってもよい。
Also, in the above embodiments, the measurement axis 7 extends parallel to the
また、上記実施形態では、穴判定部１５の判定結果を、移動支援自動車６の搭乗者への警告のトリガとして用いていた。一方で、穴判定部１５の判定結果を他の態様で用いる構成でもよい。一例として、移動支援自動車６が歩道を自動運転で走行するものである場合において、移動支援自動車６の前方に自動運転により回避すべき穴１９があるか否かを判定するにあたっての有益な情報として穴判定部１５の判定結果を利用する構成でもよい。
Further, in the above-described embodiment, the determination result of the
また、上記実施形態では、３次元測距センサ３は、移動支援自動車６に設けられていたが、３次元測距センサ３が設けられる対象は移動支援自動車６に限られない。一例として、車道を通行する自動車に設けられてもよい。
Further, in the above-described embodiment, the three-dimensional ranging
また、３次元データ分析装置１が実行すると説明した処理の一部を、３次元データ分析装置１と外部装置とが協働して、または、３次元データ分析装置１が単独で実行する構成としてもよい。この場合、３次元データ分析装置１と外部装置とが協働して特許請求の範囲の「３次元データ分析装置」として機能する。一例として、３次元データ分析装置１の穴判定部１５の処理の一部または全部を、３次元データ分析装置１とネットワークを介して通信可能なクラウドサーバが実行する構成としてもよい。
In addition, a part of the processing explained to be executed by the three-dimensional
１ ３次元データ分析装置
３ ３次元測距センサ
６ 移動支援自動車
１０ 地面
１１ 基点
１４ 空白領域検出部
１５ 穴判定部
１７ 空白領域
１８ 地面表面像（地面の表面の像）
１９ 穴
２０ 下方延在像
1 three-dimensional
19
Claims (4)
前記３次元データに含まれる前記地面の表面の像から、距離が測定されていないまとまった領域である空白領域を検出する空白領域検出部と、
前記空白領域検出部により検出された前記空白領域の奥側の縁から、前記地面の表面に相当する面よりも下方に向かって延在する下方延在像が存在するか否かを判定し、存在する場合、現実空間において前記空白領域に対応する領域に穴が形成されていると判定する穴判定部とを備え、
前記穴判定部は、
前記下方延在像が存在すると判定した場合、前記下方延在像の上下方向の長さが閾値以上か否かを判定し、前記閾値以上のとき、現実空間において前記空白領域に対応する領域に穴が形成されていると判定する一方、
現実空間における前記空白領域に対応する領域に穴が形成されていたとした場合に、その穴の内側の面において前記基点に対向する領域のうち、前記３次元測距センサにより測距可能な測距対象部分の上下方向の長さの理論値を算出し、算出した前記理論値に基づいて前記閾値を設定する
ことを特徴とする３次元データ分析装置。 A three-dimensional data analysis device that analyzes three-dimensional data based on detection values of a three-dimensional ranging sensor whose distance measurement target is a real space included in a radially expanding range with a position higher than the ground as a base point,
a blank area detection unit that detects a blank area, which is a group of areas whose distance is not measured, from the image of the surface of the ground included in the three-dimensional data;
Determining whether or not there is a downwardly extending image extending downward from a surface corresponding to the surface of the ground from the far side edge of the blank area detected by the blank area detection unit, a hole determination unit that determines that a hole is formed in an area corresponding to the blank area in the physical space if it exists,
The hole determination unit
When it is determined that the downwardly extending image exists, it is determined whether or not the vertical length of the downwardly extending image is equal to or greater than a threshold. While determining that a hole is formed,
Supposing that a hole is formed in an area corresponding to the blank area in the physical space, a distance measurement capable of being measured by the three-dimensional distance measurement sensor is performed in an area facing the base point on the inner surface of the hole. A three- dimensional data analysis apparatus, wherein a theoretical value of the vertical length of a distance target portion is calculated, and the threshold value is set based on the calculated theoretical value.
現実空間において前記基点から前記地面に下ろした垂線、および、前記垂線と前記地面との交点から、現実空間において前記空白領域に対応する領域の手前側の縁まで延ばした第１の線が直角に交わる直角三角形と、
現実空間において前記測距対象部分に沿って延びる第２の線、および、現実空間において前記空白領域に対応する領域の手前側の縁から奥側の縁まで伸びる、前記第１の線と同一直線上の線である第３の線が直角に交わる直角三角形とが相似であることを利用して、
前記垂線、前記第１の線および前記第３の線のそれぞれの長さを、前記３次元データおよび前記３次元測距センサの設置位置情報に基づいて取得し、取得した各線の長さに基づいて前記第２の線の長さを算出し、これを前記理論値とする
ことを特徴とする請求項１に記載の３次元データ分析装置。 The hole determination unit
A perpendicular extending from the base point to the ground in the physical space, and a first line extending from the intersection of the perpendicular and the ground to the front edge of the area corresponding to the blank area in the physical space are at right angles. an intersecting right triangle and
A second line extending along the range-finding target portion in the physical space, and a first line extending from the near side edge to the far side edge of the area corresponding to the blank area in the physical space. Using the fact that the third line, which is a line on a line, is similar to a right-angled triangle that intersects at right angles,
The length of each of the perpendicular, the first line, and the third line is obtained based on the three-dimensional data and the installation position information of the three-dimensional ranging sensor, and based on the obtained length of each line 2. The three-dimensional data analysis apparatus according to claim 1 , wherein the length of the second line is calculated by using the above method and is used as the theoretical value.
前記３次元データ分析装置の空白領域検出部が、前記３次元データに含まれる前記地面の表面の像から、距離が測定されていないまとまった領域である空白領域を検出する第１ステップと、
前記３次元データ分析装置の穴判定部が、前記空白領域検出部により検出された前記空白領域の奥側の縁から、前記地面の表面に相当する面よりも下方に向かって延在する下方延在像が存在するか否かを判定し、存在する場合、現実空間において前記空白領域に対応する領域に穴が形成されていると判定する第２ステップとを含み、
前記第２ステップにおいて前記穴判定部は、
前記下方延在像が存在すると判定した場合、前記下方延在像の上下方向の長さが閾値以上か否かを判定し、前記閾値以上のとき、現実空間において前記空白領域に対応する領域に穴が形成されていると判定する一方、
現実空間における前記空白領域に対応する領域に穴が形成されていたとした場合に、その穴の内側の面において前記基点に対向する領域のうち、前記３次元測距センサにより測距可能な測距対象部分の上下方向の長さの理論値を算出し、算出した前記理論値に基づいて前記閾値を設定する
ことを特徴とする３次元データ分析方法。
3D data analysis by a 3D data analysis device that analyzes 3D data based on the detection values of a 3D ranging sensor whose range is measured in the real space that is included in a range that radiates from a position higher than the ground. a method,
a first step in which the blank area detection unit of the three-dimensional data analysis device detects a blank area, which is a group of areas whose distance is not measured, from the image of the surface of the ground included in the three-dimensional data;
The hole determination unit of the three-dimensional data analysis device extends downward from a far side edge of the blank area detected by the blank area detection unit below a surface corresponding to the surface of the ground. a second step of determining whether an existing image exists, and if it exists, determining that a hole is formed in an area corresponding to the blank area in the physical space ;
In the second step, the hole determination unit
When it is determined that the downwardly extending image exists, it is determined whether or not the vertical length of the downwardly extending image is equal to or greater than a threshold. While determining that a hole is formed,
If a hole is formed in an area corresponding to the blank area in the physical space, the distance can be measured by the three-dimensional distance measuring sensor in the area facing the base point on the inner surface of the hole. Calculate the theoretical value of the vertical length of the target portion, and set the threshold value based on the calculated theoretical value
A three-dimensional data analysis method characterized by:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019131245A JP7301474B2 (en) | 2019-07-16 | 2019-07-16 | 3D data analysis device and 3D data analysis method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019131245A JP7301474B2 (en) | 2019-07-16 | 2019-07-16 | 3D data analysis device and 3D data analysis method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021015558A JP2021015558A (en) | 2021-02-12 |
| JP7301474B2 true JP7301474B2 (en) | 2023-07-03 |
Family
ID=74531614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019131245A Active JP7301474B2 (en) | 2019-07-16 | 2019-07-16 | 3D data analysis device and 3D data analysis method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7301474B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010287029A (en) | 2009-06-11 | 2010-12-24 | Konica Minolta Opto Inc | Periphery display device |
| JP2014194729A (en) | 2013-02-27 | 2014-10-09 | Sharp Corp | Circumferential environment recognition device, autonomous mobile system using the same, and circumferential environment recognition method |
| JP2017184358A (en) | 2016-03-29 | 2017-10-05 | パナソニックＩｐマネジメント株式会社 | Electric cart |
-
2019
- 2019-07-16 JP JP2019131245A patent/JP7301474B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010287029A (en) | 2009-06-11 | 2010-12-24 | Konica Minolta Opto Inc | Periphery display device |
| JP2014194729A (en) | 2013-02-27 | 2014-10-09 | Sharp Corp | Circumferential environment recognition device, autonomous mobile system using the same, and circumferential environment recognition method |
| JP2017184358A (en) | 2016-03-29 | 2017-10-05 | パナソニックＩｐマネジメント株式会社 | Electric cart |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021015558A (en) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9182763B2 (en) | Apparatus and method for generating three-dimensional map using structured light | |
| JP3985615B2 (en) | Forward vehicle tracking system and forward vehicle tracking method | |
| US20070058838A1 (en) | Object position detecting apparatus, map creating apparatus, autonomous mobile apparatus, object position detecting method, and computer program product for object position detection | |
| KR102176376B1 (en) | Apparatus and method for measuring distance of object | |
| JP2003139858A (en) | Outside-vehicle monitoring apparatus | |
| JP2007155469A (en) | Inter-vehicle distance detection system and inter-vehicle distance detection method | |
| JP2016120892A (en) | Three-dimensional object detector, three-dimensional object detection method, and three-dimensional object detection program | |
| JP2017183787A (en) | Danger avoidance support program | |
| WO2019044625A1 (en) | Collision prediction device, collision prediction method, and program | |
| JP2010210486A (en) | Image processor, method and program | |
| JP2014089548A (en) | Road surface level difference detection method, road surface level difference detection device and vehicle equipped with the road surface level difference detection device | |
| JP2013114610A (en) | Image processing device, driving support device, image processing method, and image processing program | |
| JP2014106638A (en) | Moving device and control method | |
| JP2007232593A (en) | Object detection device | |
| JP7301474B2 (en) | 3D data analysis device and 3D data analysis method | |
| JP2020101442A (en) | Obstacle detector of construction machine | |
| JP2015075826A (en) | Off-road dump truck | |
| JP2007279805A (en) | Obstacle collision determination device and obstacle collision alarm system | |
| JP3940619B2 (en) | Tunnel excavator position measuring device | |
| JP2009276906A (en) | Travelling information providing device | |
| JP3690260B2 (en) | Vehicle distance measurement method | |
| KR20180000965A (en) | System and method for Autonomous Emergency Braking | |
| JP2021025902A (en) | Position posture estimation device, position posture estimation method, and program | |
| JP2012008706A (en) | Road shape detector | |
| JP7441463B2 (en) | alarm system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220617 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230602 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230620 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7301474 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |