以下、本発明の一実施形態を図面に基づいて説明する。図1は、本発明の一実施形態に係る3次元データ分析装置1を含む警告システム2の機能構成例を示すブロック図である。図1に示すように、警告システム2は、3次元測距センサ3と、3次元データ生成装置4と、3次元データ分析装置1と、警告装置5とを含んで構成されている。本実施形態に係る3次元データ分析装置1は、移動支援自動車6(図2)に設けられ、3次元測距センサ3の検出値に基づいて生成される3次元データを分析する装置である。移動支援自動車6とは、電動車イスやシニアカー等の人間が搭乗した状態で歩道を走行する自動車である。
図2は、3次元測距センサ3の設置位置、その測定軸7およびその測距範囲8を説明するために3次元測距センサ3が移動支援自動車6に設けられた様子を単純化して模式的に示す図である。3次元測距センサ3は、空間を3次元的に測距するセンサであり、特に本実施形態に係る3次元測距センサ3は、ステレオカメラ方式の測距センサである。図2では、3次元測距センサ3のステレオカメラを構成する2台のカメラ9、9のうちの一方のカメラ9を図示している。以下の説明において、上または上方とは鉛直方向における上向きを意味し、下または下方とは鉛直方向における下向きを意味する。また、前または前方とは移動支援自動車6が前進する向きを意味し、後または後方とは移動支援自動車が後進する向きを意味する。また、左または左方とは前方に向かって左向きを意味し、右または右方とは前方に向かって右向きを意味する。
図2に示すように、カメラ9は、移動支援自動車6の前端部の、移動支援自動車6が載置された地面10よりも高い位置に設けられている。カメラ9の地面10からの高さは、一例として50cm程度である。図2に示すように、カメラ9は、その測定軸7(光軸)が地面10と平行なまま前方に向かって伸びるように移動支援自動車6に設けられている。測距範囲8は、カメラ9の基点11から測定軸7に沿って、前方に向かうに従って広がるように放射状に広がっており、この測距範囲8に含まれる現実空間が3次元測距センサ3による測距の対象となる。以下、測距範囲8に含まれ、測距の対象となる現実空間を「測距対象空間」という。なお、ステレオカメラ方式の測距センサにおいては、一方のカメラ9の撮影範囲と測距範囲8とは厳密には一致しないものの、これらは近似しているため、説明の便宜を考慮して、本実施形態ではカメラ9の撮影範囲がそのまま測距範囲8であるものとする。
本実施形態では、移動支援自動車6の動力源のスイッチがオンされると、警告システム2の各装置への電力供給が開始され、これら装置の電源が自動でオンされる。3次元測距センサ3は、電源がオンされている間(=移動支援自動車6が走行する可能性のある期間)、2台のカメラ9、9により所定周期で継続して撮影を実行し、2台のカメラ9、9の撮影画像(検出値)を3次元データ生成装置4に出力する。
3次元データ生成装置4は、所定周期で入力する2台のカメラ9、9の撮影画像について既存の技術に基づくマッチングを行い、3次元データを生成する。本実施形態において、3次元データは、3次元測距センサ3により距離が測定された画素が3次元直交座標系に配置された点群データ(=3次元直交座標系において距離が測定された各画素の座標を保持する点群データ)である。理想的には、3次元データにより、測距対象空間内の各物体(地面10を含む)の基点11に対向する表面(カメラ9、9により撮影される表面)が3次元直交座標系における点の集合として表現される。
3次元データ生成装置4は、所定周期で継続して3次元データを生成し、3次元データ分析装置1に出力する。
図1に示すように、3次元データ分析装置1は、機能構成として、3次元データ取得部13、空白領域検出部14および穴判定部15を備えている。上記各機能ブロック13~15は、ハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック13~15は、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
3次元データ取得部13は、3次元データ生成装置4が所定周期で出力する3次元データを入力して取得する。3次元データ取得部13は、3次元データを取得する度に、RAM等のワークエリアに形成されたバッファ16に3次元データを格納すると共に、格納したことを空白領域検出部14に通知する。
空白領域検出部14は、3次元データに含まれる地面10の表面の像から、距離が測定されていないまとまった領域である空白領域17(図3、5、6)を検出する。以下、空白領域検出部14の処理について詳述する。
空白領域検出部14は、3次元データ取得部13から3次元データがバッファ16に格納されたことの通知を受け付ける度に、バッファ16に格納された3次元データを対象として以下の処理を実行する。すなわち、まず、空白領域検出部14は、3次元データから地面10の表面の像18(図3)を特定する。以下、地面10の表面の像18を「地面表面像18」という。
図3は、図1で説明した態様で移動支援自動車6に設けられた3次元測距センサ3の検出値に基づいて生成された3次元データに基づいて3次元直交座標系に展開された像の例を示す図である。図3および後述の図7、8では、黒色の背景に、白色の画素が配置されている。以下の説明において、3次元直交座標系のx軸方向は、現実空間における前後方向に対応し、x軸方向のプラス側に向かう向きは前方に対応し、x軸方向のマイナス側に向かう向きは後方に対応するものとする。また、3次元直交座標系のy軸方向は、現実空間における左右方向に対応するものとする。また、3次元直交座標のz軸方向は、現実空間における上下方向に対応し、z軸方向のプラス側に向かう向きは上方に対応し、z軸方向のマイナス側に向かう向きは下方に対応するものとする。
図3で例示した像では、枠W1で囲まれた部分の像が、地面表面像18に相当する。なお、図3において、枠W1で囲まれた地面表面像18よりもx軸方向のプラス側の像は、地面10に立設した壁の像である。地面表面像18について詳しく説明すると、地面表面像18は、図3に示すように、x軸方向のプラス側に向かうに従ってy軸方向に広がっていく。これは、測距範囲8が基点11から測定軸7に沿って前方に向かって放射状に広がっていくことに起因するものである。
また、地面表面像18は、x軸方向のプラス側に向かうに従って、徐々に画素が安定せず、かつ、画素が粗くなっている。これは、3次元測距センサ3から物体の位置が離れるほど、測距の精度が低下すると共に、3次元測距センサ3が物体を捉えられる画素の密度が小さくなるという3次元測距センサ3の性質に起因するものである。また、図3に示すように、地面表面像18は、基本的には、交差するx軸とy軸とを含む平面に平行な平面に沿って延在する。ただし、地面表面像18は完全な平面とはならず多少の凹凸が出現する。
3次元直交座標系において、地面表面像18を構成する画素群が配置され得る範囲は、3次元測距センサ3のスペック、配置位置および測定軸7の方向によって定まる。これらによって、地面10に対する測距範囲8の状態が規定されるからである。本実施形態では、3次元測距センサ3のスペック、配置位置および測定軸7の方向を踏まえて、3次元直交座標系において地面表面像18を構成する画素群が配置され得る範囲(以下、「地面表面像範囲」という)が事前に定められている。地面表面像範囲は、平面の領域ではなく、z軸方向にある程度の幅を持った3次元的な領域として定義される。
そして、空白領域検出部14は、地面表面像範囲に属する画素群を地面表面像18として特定する。なお、図3の例のように壁や歩行者、その他の障害物が地面10に立っている場合、障害物が存在する範囲や、障害物よりもx軸方向のプラス側の範囲は、地面表面像範囲に属する画素群が抽出できない。空白領域検出部14は、このように障害物の像に起因して地面表面像範囲に属する画素群として画素群が抽出できない範囲は、地面表面像18から除外し、このような範囲を、後に詳述する空白領域17と明確に区別する。
地面表面像18を特定した後、空白領域検出部14は、地面表面像18のうち、分析対象範囲を特定する。分析対象範囲とは、画素の精度の高さを一定以上、担保できる領域である。上述したように、地面表面像18は、x軸方向のプラス側へ向かうほど、画素が安定せず粗くなっていき、画素の精度が低くなる。本実施形態において、ある画素の精度とは、その画素の3次元直交座標系における座標が、現実空間における物体の表面の位置を正しく反映している度合の強さのことをいい、画素の精度が高いほど、反映の度合が強い。本実施形態では、分析対象範囲が予め定められている。図3の例では、例えば、弧K1よりもx軸方向のマイナス側の範囲が分析対象範囲とされる。
地面表面像18における分析対象範囲を特定した後、空白領域検出部14は、分析対象範囲内を分析し、この範囲内に空白領域17が存在するか否かを判定する。空白領域17とは、地面表面像18の中で、画素が存在しない所定サイズ以上の大きさのまとまった領域である。換言すれば、空白領域17とは、地面表面像18内で、3次元測距センサ3により距離が測定されていないまとまった領域である。空白領域17に該当するか否かの判定の基準となる所定サイズは、現実空間において仮に当該所定サイズに対応するサイズ以上の穴19(図4(A)、図9)が地面10に形成されていた場合、移動支援自動車6の搭乗者に警告を与える必要があるという観点、換言すれば、現実空間において仮に当該所定サイズに対応するサイズよりも小さい穴19が地面10に形成されていたとしても、移動支援自動車6の走行に影響がなく、当該搭乗者に警告を与える必要がないという観点に基づいて事前に定められている。図3では、枠W2で囲まれた黒色の領域(=画素がない領域)が空白領域17である。
地面表面像18内に空白領域17が形成される原因としては以下の2つがある。図4は、空白領域17が形成される原因の説明のため、3次元測距センサ3のカメラ9、測距範囲8および地面10の現実空間における配置関係を単純化して示す図である。図4(A)のように、現実空間において地面10に穴19が形成されている場合、地面表面像18内に空白領域17が形成される。地面10に沿った面において、穴19の部分については、3次元測距センサ3により距離が測定されず、3次元データにおいて画素が形成されないからである。
一方、図4(B)に示すように、現実空間において、地面10に穴19が形成されていない場合であっても、ノイズや、測定誤差、欠測等に影響を受けて、3次元データの地面表面像18に空白領域17が形成されることがある。なお、欠測とは以下を意味する。すなわち、3次元測距センサ3は、測距対象空間内の物体の表面を測距する際、当センサの分解能に従って離散した複数の測定点を測距する。そして、欠測とは、測定点と測定点との間の部分について、距離の測定の対象とならない(距離が測距できない)ことを意味する。
本実施形態では、図2を用いて説明したように、3次元測距センサ3の測定軸7は、地面10と平行に延びている。このような態様で3次元測距センサ3が移動支援自動車6に設けられている場合、測定軸7と平行に延在する地面10は、測定軸7に対して垂直に延在する物体と比較して、3次元測距センサ3が物体を捉えられる画素の密度(=物体の表面に理論上展開される測定点の密度)が小さく、ノイズ、測定誤差および欠測の影響を受けやすい。このため、地面表面像18には、空白領域17が形成されやすい傾向がある。特に、基点11からの距離が遠いほど、ノイズ、測定誤差および欠測の影響を受けやすくなるため、空白領域17が形成されやすい。
さて、空白領域検出部14は、空白領域17が存在すると判定した場合、3次元直交座標系における空白領域17の範囲を示す情報(以下「空白領域範囲情報」という)を穴判定部15に出力する。空白領域範囲情報は、例えば、空白領域17の外縁を、3次元直交座標系における異なる複数の点の座標により表した情報である。一方、空白領域検出部14は、空白領域17が存在しないと判定した場合、空白領域範囲情報を穴判定部15に出力せず、当周期における処理を終了する。この場合、当周期において後述する穴判定部15による処理は実行されない。
なお、空白領域17は、複数存在する場合もある。この場合、空白領域検出部14は、複数の空白領域17のそれぞれに係る空白領域範囲情報を穴判定部15に出力する。以下の説明では、説明の便宜を考慮して、空白領域検出部14から空白領域範囲情報が穴判定部15に出力される場合、1つの空白領域17に係る1つの空白領域範囲情報が出力されるものとする。ただし、複数の空白領域17に係る複数の空白領域範囲情報が出力される場合には、それぞれの空白領域範囲情報に基づいて、以下で説明する処理が実行される。
穴判定部15は、空白領域検出部14により検出された空白領域17の奥側の縁から、地面10の表面に相当する面よりも下方に向かって延在する下方延在像20(図6、7、8)が存在するか否かを判定し、存在する場合、現実空間において空白領域17に対応する領域に穴19が形成されていると判定する。以下、穴判定部15の処理について詳述する。なお、本実施形態において「奥側」とは、3次元測距センサ3の基点11から離れる側を意味し、3次元直交座標系においてはx軸方向のプラス側を意味する。また、本実施形態において「手前側」とは、3次元測距センサ3の基点11に近づく側を意味し、3次元直交座標系においてはx軸方向のマイナス側を意味する。
穴判定部15は、空白領域検出部14から空白領域範囲情報を入力した場合、以下の処理を実行する。すなわち、穴判定部15は、バッファ16に格納された3次元データを参照し、入力した空白領域範囲情報に基づいて、3次元データに基づく像が展開される3次元直交座標系における空白領域17を特定する。
次いで、穴判定部15は、空白領域17の奥側の縁を特定する。図5(A)、(B)は、空白領域17を、z軸方向のマイナス側に向かって見た様子を示す図である。図5(A)、(B)では、空白領域17を、その外縁の全域に沿った線により表している。例えば、穴判定部15は、図5(A)で例示する空白領域17について、枠W3で囲まれた部位を空白領域17の奥側の縁として特定する。また例えば、穴判定部15は、図5(B)で例示する空白領域17について、枠W4で囲まれた部位を空白領域17の奥側の縁として特定する。
次いで、穴判定部15は、空白領域17の奥側の縁から、z軸方向のマイナス側へ向かって延在する像である下方延在像20が存在するか否かを判定する。以下、下方延在像20について図4(A)を用いて説明する。ここで、現実空間において、空白領域17に対応する領域に実際に穴19が形成されている場合、その穴19の内側の面において、3次元測距センサ3の基点11に対向する領域の一部の部分については3次元測距センサ3による測距の対象となる。例えば、図4(A)では、領域AR1は、3次元測距センサ3による測距の対象となる。本実施形態に係る3次元測距センサ3はステレオカメラ式の測距センサであるが、領域AR1と基点11とを遮るものがなく、この領域AR1は、カメラ9、9によって撮影されるからである。以下、穴19の内側の面において、3次元測距センサ3による測距の対象となる部分のことを「測距対象部分」という。
測距対象部分は、3次元測距センサ3による測距の対象となるため、3次元測距センサ3の検出値に基づいて生成される3次元データには、この測距対象部分の像が形成される。測距対象部分の像とは、測距対象部分の基点11に対向する表面を表す画素群のことである。この測距対象部分の像が下方延在像20である。この下方延在像20は、測距対象部分の上述した性質上、3次元直交座標系において空白領域17の奥側の縁から、z軸方向のマイナス側へ向かって(=地面10の表面に相当する面よりも下方に向かって)延在した状態となる。
図6は、外縁が円形である空白領域17およびこの空白領域17に対応して形成される下方延在像20を単純化して模式的に示す図である。図6では、現実空間における穴19の内周および底に相当する部分を実線で表している。図6において斜線を用いて表した部分の像が下方延在像20である。図6で示すように、空白領域17の外縁が円形の場合、基点11に対向し、3次元測距センサ3により測距可能に露出した部分に下方延在像20が形成される。図7は、図3の像を、y軸方向のプラス側からマイナス側へ向かって見た図である。図7では、枠W5で囲まれた像が下方延在像20である。図8は、図3の像をx軸方向のマイナス側からプラス側へ向かって見た図である。図8では、枠W6で囲まれた像が下方延在像20である。
穴判定部15は、下方延在像20が存在しないと判定した場合、現実空間において空白領域17に対応する領域に穴19が形成されていないと判定する。上述したように、空白領域17に対応する領域に穴19が形成されている場合、これに付随して下方延在像20が形成されているはずだからである。この場合、空白領域17は、ノイズや、測定誤差、欠測等に起因して生じていることになる。
一方、穴判定部15は、下方延在像20が存在すると判定した場合、下方延在像20の上下方向(z軸方向)の長さを測定する。本実施形態では、穴判定部15は、以下の方法で下方延在像20の上下方向の長さを測定する。すなわち、穴判定部15は、下方延在像20を構成する画素のうち、最もz軸方向マイナス側に位置する画素を特定する。次いで、穴判定部15は、特定した画素から、現実空間の地面10に相当する仮想面まで垂線を下ろし、垂線と仮想面との交点を最奥点21(図6)として特定する。次いで、穴判定部15は、特定した画素から最奥点21までの距離を、下方延在像20の上下方向の長さとして測定する。最奥点21は、理想的には、空白領域17の外縁上で、基点11から最も遠い位置の点である。
図6の例では、穴判定部15は、線分LLの長さを下方延在像20の上下方向の長さとして測定する。説明の便宜のため、測定された長さは、センチメートルやミリメートル等の単位で表される現実空間の長さに換算された値であるものとする。
次いで、穴判定部15は、測距対象部分の長さの理論値(以下「長さ理論値」という)を算出する。以下、長さ理論値を算出するときの穴判定部15の処理について詳述する。図9(A)は、穴判定部15の処理を説明するため、図4(A)と同様に、穴19が形成されている地面10にカメラ9が配置された様子を示す図である。図9(B)は、図9(A)の環境を上方から下方へ向かって見た様子を示す図である。図9(A)と図9(B)とでは、前後方向の位置を対応させている。
図9(A)において、「3次元測距センサ3の基点11と、穴19の手前側の縁にある点P1(詳細は後述)とを通る直線S1」と、「最奥点21に対応する点P2(詳細は後述)を通り、鉛直方向に延びる直線S2」との交点を点P3とする。測距対象部分の理論的な長さは、理論的に算出される「点P2から点P3まで延びる線分X1の長さ」に相当する。穴判定部15は、この線分X1の理論的な長さを長さ理論値として算出する。なお、線分X1は、特許請求の範囲の「現実空間において測距対象部分に沿って延びる第2の線」に相当する。
長さ理論値の算出に際し、まず、穴判定部15は、現実空間において、地面10に沿って延在するまっ平らな仮想的な面22(図9(A))を定義する。以下、面22を「仮想地面22」という。上述した点P1、P2、後述する点P4、後述する線分L2、L3、L4は、この仮想地面22上に配置される。
次いで、穴判定部15は、空白領域検出部14から入力した空白領域範囲情報に基づいて、現実空間における、空白領域17に対応する領域の外縁23(図9(B))の配置位置を算出する。本実施形態では、外縁23の配置位置とは、外縁23を「仮想地面22上の点の集合」として捉えたときの、各点の基点11からの相対的な位置のことである。ここで、現実空間において基点11から仮想地面22に垂線を下ろした場合に、この垂線と仮想地面22との交点を点P4(図9(A)、(B))とする。穴判定部15は、基点11から点P4までの線分L1の長さを取得する。線分L1の長さは、3次元測距センサ3の設置位置により定まる。本実施形態では、基点11の仮想地面22からの高さ(=線分L1の長さ)を示す情報を含む設置位置情報が図示しないメモリに予め記憶されており、穴判定部15は、この設置位置情報に基づいて線分L1の長さを取得する。
次いで、穴判定部15は、3次元直交座標系における最奥点21の座標に基づいて、現実空間において最奥点21に対応する点P2(図9(A)、(B))の位置を算出する。穴判定部15は、点P2の位置を、現実空間における基点11からの相対的な位置として算出する。次いで、穴判定部15は、線分L1と仮想地面22との交点である点P4から、点P2まで延ばした線分L2(図9(A)、(B))を算出する。更に、穴判定部15は、線分L2と、空白領域17に対応する領域の外縁23との交点P1(図9(A)、(B))を算出する。
次いで、穴判定部15は、点P4から点P1まで延びる線分L3の長さを算出すると共に、点P1から点P2まで延びる線分L4の長さを算出する。点P1は、現実空間において空白領域17に対応する領域の手前側の縁に位置する点である。また、点P2は、現実空間において空白領域17の奥側の縁に位置する点である。これを踏まえ、線分L3は、特許請求の範囲の「基点から地面10に下ろした垂線と地面10との交点から、現実空間において空白領域17に対応する領域の手前側の縁まで延ばした第1の線」に相当する。また、線分L4は、特許請求の範囲の「現実空間において空白領域17に対応する領域の手前側の縁から奥側の縁まで伸びる、第1の線と同一直線上の線である第3の線」に相当する。
ここで、基点11、点P4、点P1を頂点とする直角三角形と、点P3、点P2、点P1を頂点とする直角三角形は、相似の関係にあり、式S1「線分L1の長さ:線分L3の長さ=線分X1の長さ:線分L4の長さ」が成り立つ。穴判定部15は、既に求めた線分L1、L3、L4の長さを式S1に適用し、線分X1の長さを算出し、算出した値を長さ理論値とする。
以上のようにして長さ理論値を算出した後、穴判定部15は、長さ理論値から予め定められたマージンを減算した値を閾値T1として設定する。マージンの意義については後述する。次いで、穴判定部15は、下方延在像20の上下方向の長さが閾値T1以上か否かを判定する。下方延在像20の上下方向の長さが閾値T1以上の場合、穴判定部15は、現実空間において空白領域17に対応する領域に穴19が形成されていると判定する。一方、下方延在像20の上下方向の長さが閾値T1以上ではない場合、穴判定部15は、現実空間において空白領域17に対応する領域に穴19が形成されていないと判定する。
穴判定部15がこのような判定を行うことの理由は以下である。すなわち、閾値T1は、測距対象部分の長さの理論値からマージンを引いた値である。従って、閾値T1は、現実空間に穴19が形成されている場合に、3次元測距センサ3の配置位置や、基点11に対する穴19の相対的な位置を勘案すると、3次元測距センサ3の検出値に基づいて形成される下方延在像20の長さはこうなるはずだという、現実空間に穴19が形成されている場合の下方延在像20の上下方向の長さの予測値と考えることができる。そして、下方延在像20の上下方向の長さが閾値T1以上ということは、下方延在像20の上下方向の長さが、穴19が存在するとした仮定したときに理論的に導かれる予測値と同等以上ということであり、この場合、現実空間に実際に穴19が存在しているとみなすことができる。以上を踏まえ、穴判定部15は、下方延在像20の上下方向の長さが閾値T1以上の場合は、現実空間において空白領域17に対応する領域に穴19が形成されていると判定する一方、下方延在像20の上下方向の長さが閾値T1以上ではない場合、現実空間において空白領域17に対応する領域に穴19が形成されていないと判定する。
なお、マージンは、現実空間に穴19が形成されている状況において、ノイズや、測定誤差等の影響で、下方延在像20の上下方向の長さが、ノイズ等の影響を受けないときの長さよりも短くなった場合であっても、下方延在像20の上下方向の長さが閾値T1以上となるようにすることを考慮して与えられるものである。
本実施形態の構成によれば、全ての空白領域17について、現実空間において空白領域17に対応する領域に穴19が形成されていると判定するのではなく、空白領域17の奥側の縁から延在する下方延在像20が存在することを、穴19が形成されていると判定することの条件としている。このため、現実空間に穴19が存在する場合には、この穴19に対応する空白領域17に付随して下方延在像20が形成されるという特徴を好適に利用して、現実空間において空白領域17に対応する領域に穴19が形成されていると誤って分析されてしまうことを抑制できる。
また、本実施形態では、下方延在像20が存在するというだけで、現実空間において空白領域17に対応する領域に穴19が形成されていると判定するのではなく、下方延在像20の上下方向の長さが閾値以上の場合に、現実空間において空白領域17に対応する領域に穴19が形成されていると判定する。この構成のため、現実空間の穴19に由来しない空白領域17に付随して、ノイズや、測定誤差、欠測等により偶発的に下方延在像20が形成された場合に、このような空白領域17について、現実空間の対応する領域に穴19が形成されていると誤って判定される可能性を低減できる。
さて、穴判定部15は、現実空間において空白領域17に対応する領域に穴19が形成されていると判定した場合は、そのことを警告装置5に通知する。この結果、穴判定部15により現実空間において空白領域17に対応する領域に穴19が形成されていると判定されている期間、所定周期で継続して穴判定部15から警告装置5へ通知が出力される。
警告装置5は、穴判定部15から通知を入力している期間、移動支援自動車6の前方に穴19が存在することを搭乗者に伝えるための警告を行う。警告は、例えば、図示しないスピーカにより特定の電子音が音声出力され、また例えば、スピーカにより特定の文言(例えば「前方に穴19があります。気をつけて下さい」という文言)が音声出力され、また例えば、特定のLEDが特定の態様で発光することにより行われる。
次に、本発明の一実施形態に係る3次元データ分析装置1の動作についてフローチャートを用いて説明する。図10は、3次元データ生成装置4が3次元データを出力した後の3次元データ分析装置1の動作を示すフローチャートである。
図10に示すように、3次元データ取得部13は、3次元データ生成装置4が所定周期で出力する3次元データを入力して取得する(ステップSA1)。次いで、3次元データ取得部13は、バッファ16に3次元データを格納すると共に、格納したことを空白領域検出部14に通知する(ステップSA2)。
空白領域検出部14は、3次元データ取得部13からの通知に応じて、3次元データから地面表面像18を特定する(ステップSA3)。次いで、空白領域検出部14は、地面表面像18のうち、分析対象範囲を特定する(ステップSA4)。次いで、空白領域検出部14は、分析対象範囲内を分析し、この範囲内に空白領域17が存在するか否かを判定する(ステップSA5)。空白領域17が存在する場合(ステップSA5:YES)、空白領域検出部14は、空白領域範囲情報を穴判定部15に出力する(ステップSA6)。空白領域17が存在しない場合(ステップSA5:NO)、図10のフローチャートは終了する。
穴判定部15は、空白領域検出部14から空白領域範囲情報を入力すると、この空白領域範囲情報に基づいて、3次元データに基づく像が展開される3次元直交座標系における空白領域17を特定する(ステップSA7)。次いで、穴判定部15は、空白領域17の奥側の縁を特定する(ステップSA8)。次いで、穴判定部15は、空白領域17の奥側の縁から、z軸方向のマイナス側へ向かって延在する像である下方延在像20が存在するか否かを判定する(ステップSA9)。
下方延在像20が存在しない場合(ステップSA9:NO)、穴判定部15は、現実空間において空白領域17に対応する領域に穴19が形成されていないと判定する(ステップSA10)。ステップSA10の処理後、図10のフローチャートは終了する。下方延在像20が存在する場合(ステップSA9:YES)、穴判定部15は、下方延在像20の上下方向(z軸方向)の長さを測定する(ステップSA11)。次いで、穴判定部15は、測距対象部分の長さの理論値である長さ理論値を算出する(ステップSA12)。
次いで、穴判定部15は、穴判定部15は、長さ理論値から予め定められたマージンを減算した値を閾値T1として設定する(ステップSA13)。次いで、穴判定部15は、下方延在像20の上下方向の長さが閾値T1以上か否かを判定する(ステップSA14)。下方延在像20の上下方向の長さが閾値T1以上ではない場合(ステップSA14:NO)、穴判定部15は、現実空間において空白領域17に対応する領域に穴19が形成されていないと判定する(ステップSA15)。ステップSA15の処理後、図10のフローチャートは終了する。
下方延在像20の上下方向の長さが閾値T1以上の場合(ステップSA14:YES)、穴判定部15は、現実空間において空白領域17に対応する領域に穴19が形成されていると判定する(ステップSA16)。次いで、穴判定部15は、現実空間において空白領域17に対応する領域に穴19が形成されていることを警告装置5に通知する(ステップSA17)。
以上、本発明の一実施形態を説明したが、上記実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
例えば、上記実施形態では、穴判定部15は、下方延在像20が存在し、かつ、下方延在像20の上下方向の長さが閾値T1以上の場合に、現実空間において空白領域17に対応する領域に穴19が形成されていると判定した。この点について、穴判定部15が、下方延在像20が存在する場合に、現実空間において空白領域17に対応する領域に穴19が形成されていると判定する構成でもよい。ただし、この場合、実際は穴19が形成されておらず、ノイズや、測定誤差、欠測等により偶発的に下方延在像20が形成された場合にも、穴19が形成されていると判定されるケースが生じ得るため、上記実施形態と比較して、穴19の存在に関する判定が誤って行われる可能性が上昇する。
また、上記点について、穴判定部15が、下方延在像20が存在し、かつ、下方延在像20の上下方向の長さが予め定められた固定値の閾値T2以上の場合に、現実空間において空白領域17に対応する領域に穴19が形成されていると判定する構成でもよい。なお、ノイズ等により偶発的に下方延在像20が形成された場合、その上下方向の長さは相当に短くなると想定される。このことを踏まえ、閾値T2は、偶発的に形成された短い下方延在像20を排除できるような値に設定される。この場合、閾値T2は、測定対象部分の上下方向の長さの理論値と関係ない値となるため、上記実施形態と比較して、穴19の存在に関する判定が誤って行われる可能性が上昇する。
また、上記実施形態では、3次元測距センサ3はステレオカメラ式の測距センサであったが、3次元測距センサ3は、3次元データを生成するための検出値を出力する測距センサであればよく、例示したタイプのものに限られない。一例として、パターン画像を投影するプロジェクタとカメラとを含んで構成されるタイプの測距センサでもよく、TOFカメラを含んで構成されるタイプの測距センサでもよい。
また、上記実施形態では、測定軸7は、地面10と平行に延在した。しかしながら、測定軸7が前方に向かうほど地面10に近づくようにある程度傾いていてもよい。この場合、空白領域検出部14および穴判定部15は、測定軸7の傾きを反映して、3次元データの分析を含む各種処理を実行する。また、測定軸7が向かう方向は、移動支援自動車6の前方に限られず、その後方や、側方であってもよい。
また、上記実施形態では、穴判定部15の判定結果を、移動支援自動車6の搭乗者への警告のトリガとして用いていた。一方で、穴判定部15の判定結果を他の態様で用いる構成でもよい。一例として、移動支援自動車6が歩道を自動運転で走行するものである場合において、移動支援自動車6の前方に自動運転により回避すべき穴19があるか否かを判定するにあたっての有益な情報として穴判定部15の判定結果を利用する構成でもよい。
また、上記実施形態では、3次元測距センサ3は、移動支援自動車6に設けられていたが、3次元測距センサ3が設けられる対象は移動支援自動車6に限られない。一例として、車道を通行する自動車に設けられてもよい。
また、3次元データ分析装置1が実行すると説明した処理の一部を、3次元データ分析装置1と外部装置とが協働して、または、3次元データ分析装置1が単独で実行する構成としてもよい。この場合、3次元データ分析装置1と外部装置とが協働して特許請求の範囲の「3次元データ分析装置」として機能する。一例として、3次元データ分析装置1の穴判定部15の処理の一部または全部を、3次元データ分析装置1とネットワークを介して通信可能なクラウドサーバが実行する構成としてもよい。