JP4242391B2 - コンボリューションカーネルを利用したラインパターンの処理方法、ラインパターンの処理装置及びラインパターンの処理方法を実行するためのプログラムを記録した媒体 - Google Patents

Description

本発明は、構造化光（Ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）距離センサを用いるＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）に係り、より詳細には、構造化光によって生成されたイメージでラインパターンを処理してノイズを除去する方法、装置及びプログラムを記録した媒体に関する。

自ら移動可能な移動ロボットは、固定された位置やあらかじめ構造化された作業環境で、任意の作業場や室外などの広い作業領域を有するようになり、その役割や作業の多様性を有するので固定されたロボットに比べて卓越した能力を発揮することができる。移動ロボットは、深海や原子力発電所のように人間の接近が容易でない所で人間の代わりに作業を行うことによって、人間の安全を図るのに大きく寄与している。

移動ロボットは、周辺環境に対する事前情報が不足した所でも、移動や作業実行に必要な自律的な経路計画能力、障害物探知能力及び衝突回避能力を有する必要があるが、最近では、事前情報の足りない場所を移動しつつ、自動的に地図を生成すると同時に、ロボットの位置を推定する技術である‘同時位置推定及び地図生成技術（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐ Ｂｕｉｌｄｉｎｇ；ＳＬＡＭ）に対する研究が活発に行われている。

移動ロボットがＳＬＡＭを行うためには、周辺環境からの位置推定に使用される可能性がある情報を抽出する能力が必須的である。視覚センサや超音波センサ、あるいは接触センサなどを用いた色々な方法がこれに適用されているが、特にレーザーなどの構造化光とカメラを用いた視覚センサとこれを通じた３次元認識アルゴリズムは、計算量の負担が少なく、輝度の変化が激しい所でも使用可能であるので、非常に効果的な方法である。

このような方法はレーザーのような能動光源（ａｃｔｉｖｅ ｖｉｓｉｏｎ）を用いて既定の形で光を対象物に照射し、カメラのようなセンサを使用してイメージを得る。次いで、得られたイメージ内でレーザー反射地点を捕捉すれば、その捕捉地点のカメライメージ座標とその時の走査角度、カメラとレーザービームとの発射地点までの距離によってレーザー発射地点とレーザー反射地点との間の距離を三角図法（ｔｒｉａｎｇｕｌａｒ ｍｅｔｈｏｄ）により計算することが可能である。ここで、三角図法とは、レーザーの発射地点とレーザーの反射地点、そして、レーザー発射地点とカメラとの距離の関係を三角形の幾何学的関係に変換して距離を求める方法を意味する。

構造化光距離センサは、図１のようにカメラとラインレーザーとを用いて障害物までの距離を把握する装置である。このために、カメラには、光学フィルターを付着してレーザーパターン以外の外部ノイズを除去する。しかし、距離によってレーザーパターンの太さが変わるので、距離の検出範囲が狭いという問題点がある。また、カメラに構造化光の反射されたパターンが現れる場合、または周辺環境によるノイズ（例えば、自然光）が発生する場合には、その機能が正しく発揮できない。

このような構造化光を用いるシステムでのイメージ処理方法として、入力イメージを２進化し、２進化したイメージのヒストグラムを用いる方法が知られている。例えば、前記方法を適用した装置（例えば、自動車）は、図２のようにフロントバンパーにレーザー及びカメラを装着し、対象物体にレーザーを照射して、その反射されるイメージを入力する。そして、輝度が所定値以上であるピクセルの数を図３のようなヒストグラムで表現し、その数をカウントすることによって、物体のコーナー部分を認識しうる。しかし、このような技術は、検出対象が単純な場合に限って適用でき、最初の検出以後に追跡しやすい物体にのみ適用できるために、家庭用のロボットには採択し難い。
特開平０５−２０１２９８号公報（車両周辺監視装置）

本発明は、前記問題点を考慮して創案されたものであって、構造化光によって生成されたイメージ上のラインパターンから効率的にノイズを除去する方法及び装置を提供することを目的とする。

本発明の他の目的は、前記イメージからミラー効果により反射されたラインパターンノイズを除去することである。

前記目的を達成するために、所定の光源を照射する光源モジュールと前記光源が照射されたイメージを捕捉するカメラモジュールを備え、前記捕捉されたイメージに含まれたラインパターンを処理する装置において、所定の位置に形成された単純ラインパターンを用いて前記イメージの縦区間別にカーネル状及び最適のスレショルド値を決定するカーネル学習部と、前記決定されたカーネル状及び最適のスレショルド値を用いて、捕捉された実際テストイメージにコンボリューションを適用するコンボリューション適用部と、前記コンボリューションが適用されたイメージに含まれたピクセルカラムを縦方向にスキャンしてピクセル値が０でない複数のピクセル群が存在する場合、これらのうち選択された１つのピクセル群以外のピクセル群のピクセル値を０に設定する領域選択部と、を備える。

前記目的を達成するために、所定の光源が照射されたイメージを捕捉し、前記捕捉されたイメージに含まれたラインパターンを処理する方法において、（ａ）所定の位置に形成された単純ラインパターンを用いて前記イメージの縦区間別にカーネル状及び最適のスレショルド値を決定するステップと、（ｂ）前記決定されたカーネル状及び最適のスレショルド値を用いて、捕捉された実際テストイメージにコンボリューションを適用するステップと、（ｃ）前記コンボリューションが適用されたイメージに含まれたピクセルカラムを縦方向にスキャンしてピクセル値が０でない複数のピクセル群が存在する場合、これらのうち選択された１つのピクセル群以外のピクセル群のピクセル値を０に設定するステップと、を含む。

前記目的を達成するために、所定の光源が照射されたイメージを捕捉し、前記捕捉されたイメージに含まれたラインパターンを処理する方法において、（ａ）所定の位置に形成された単純ラインパターンを用いて前記イメージの縦区間別にカーネル状及び最適のスレショルド値を決定するステップと、（ｂ）前記決定されたカーネル状及び最適のスレショルド値を用いて、捕捉された実際テストイメージにコンボリューションを適用するステップと、（ｃ）前記コンボリューションが適用されたイメージに含まれたピクセルカラムを縦方向にスキャンしてピクセル値が０でない複数のピクセル群が存在する場合、これらのうち選択された１つのピクセル群以外のピクセル群のピクセル値を０に設定するステップと、を含む 。

本発明によれば、構造化光によって生成されたイメージ上のラインパターンから効率的にノイズを除去することが可能である。
本発明によれば、特に、ミラー効果により反射されたラインパターンノイズを効果的に除去することが可能である。

以下、添付図を参照して本発明の実施形態を詳細に説明する。なお、同一の符号は同一の構成を示すものとする。

前述したように、構造化光距離センサを用いてＳＬＡＭを具現するためには、構造化光を照射した後、捕捉したイメージからノイズを正確に除去することが非常に重要である。したがって、本発明では、補足したイメージから構造化光の照射によって発生するイメージ以外のあらゆるノイズを効率的に除去する、いわゆる、ラインパターン（ｌｉｎｅ ｐａｔｔｅｒｎ）を処理する技術を提示しようとする。

このようなラインパターン処理技術においては、基本的に、レーザー照射後に捕捉するイメージにはレーザーによるパターン以外にノイズが含まれることがあり、このようなノイズが以後の距離測定などのアプリケーションでエラーを起こす原因となるために、このようなノイズを効率よく除去することが重要である。

このために、本発明では、捕捉したイメージは、縦方向に沿って異なる距離を有するので、レーザーパターンも異なる厚さを有するという点に着眼して、捕捉したイメージを所定数の縦区間に区分した後、各区間別に異なるラインパターンの処理方法を適用する。また、ミラー効果（ｍｉｒｒｏｒ ｅｆｆｅｃｔ）によって発生するノイズを除去するための“領域選択”過程も共に行う。

図４は、本発明の一実施形態に係るラインパターン処理装置を示す図面である。
図４に示すように、ラインパターン処理装置２００は、制御部２１０、メモリ２２０、カメラ／光源制御部２３０、カメラモジュール２４０、光源モジュール２５０、カーネル学習部２６０、コンボリューション適用部２７０、及び領域選択部２８０を備える。もちろん、ラインパターン処理装置２００がラインパターン処理されたイメージを用いて距離情報を計算するためには、距離情報計算部２９０をさらに備えていてもよい。

制御部２１０は、ラインパターン処理装置２００の内部の他の構成要素を制御してインタラプトを処理する機能を持つ。制御部２１０は、中央処理装置（ＣＰＵ）、またはマイクロ・プロセッサ（ｍｉｃｒｏ ｐｒｏｃｅｓｓｏｒ）などによって具現される。

メモリ２２０は、ラインパターン処理装置２００の動作において必要な各種の変数を保存し、ラインパターンの処理により生成されるイメージを保存する。

カメラ／光源制御部２３０は、カメラモジュール２４０及び光源モジュール２５０の動作を制御する。カメラ／光源制御部２３０は、ラインパターンを入力するために光源モジュール２５０を動作させた状態でカメラモジュール２４０を動作させる。

光源モジュール２５０は、カメラ／光源制御部２３０の制御により、ラインレーザー（ｌｉｎｅ ｌａｓｅｒ）を照射する。ラインレーザーは、図１のように水平方向に広がって照射される。

カメラモジュール２４０は、カメラ／光源制御部２３０の制御によって、ラインレーザーが照射されたイメージを捕捉する。この際、カメラモジュール２４０は、所定の周波数帯域の光源のみを入力するように帯域通過フィルターを備えている。したがって、カメラモジュール２４０は、レーザー光源の周波数に近接した光源のみを入力する。しかし、このように帯域通過フィルターを備えるとしても、レーザー光源周波数に近くの他の光源（すなわち、ノイズ）を入力するおそれがある。特に、自然光は、広い周波数帯域を有するので、カメラモジュール２４０に入力されるイメージの中にノイズとして含まれるおそれが高い。

カーネル学習部２６０は、所定の位置に形成されたラインレーザーパターンを含む入力イメージを用いて、この入力イメージの縦区間別にカーネル状及び最適のスレショルド値を決定する。

このために、カメラ／光源制御部２３０は、光源モジュール２５０をして所定の位置に学習用ラインレーザーパターンを照射させ、カメラモジュール２４０にレーザーパターンが含まれるイメージを捕捉させる。このような学習用ラインレーザーパターン（以下、「単純ラインパターン」という。）は、障害物の全くない状態で照射することが望ましい。図５に示すように、光源モジュール２５０は、所定の位置にラインレーザーを照射し、カメラモジュール２４０はレーザーパターンが含まれるイメージを捕捉するが、このような過程は所定の位置それぞれに対して繰り返される。

このようなカーネル学習過程は、このように所定位置にラインレーザーを照射し、イメージを捕捉する過程と、現在の位置でのカーネル状を選定する過程と、現在の位置での最適のスレショルド値（閾値）を計算する過程とに大別する。カーネル学習過程についてのさらに詳細な説明は、図１３を参照して後述する。

このようなカーネル学習過程を通じて位置別にカーネル状及び最適のスレショルド値を決定したならば、これらは図６のように入力イメージ２０に対して前記位置が代表しうる区間でのカーネル状及び最適のスレショルド値として使われる。例えば、所定の位置は、３個に区分され、第１位置が、ラインパターン処理装置２００からの距離が４０ｃｍの位置、第２位置が、ラインパターン処理装置２００からの距離が８０ｃｍの位置、第３位置が、ラインパターン処理装置２００からの距離が１２０ｃｍの位置とすれば、ラインパターン処理装置２００からの距離が０ｃｍから６０ｃｍまでは、第１位置で決定されたカーネル状及び最適のスレショルド値を、ラインパターン処理装置２００からの距離が６０ｃｍから１００ｃｍまでは、第２位置で決定されたカーネル状及び最適のスレショルド値を、ラインパターン処理装置２００からの距離が１００ｃｍ以上では、第３位置で決定されたカーネル状及び最適のスレショルド値を利用することができる。実際にこのような区間は、カメラモジュール２４０によって捕捉されたイメージでは、図６のように縦方向に区分される区間（第１区間〜第ｌ区間）に分けることができる。

コンボリューション適用部２７０は、カーネル学習部２６０によって決定されるカーネル状及び最適のスレショルド値を用いて、図７のように実際障害物が存在する環境でラインレーザーを照射して捕捉したイメージ（以下、「テストイメージ」という。）にコンボリューション（畳み込み演算）を適用する。このようにコンボリューションを適用する時には、各区間別に相異なるカーネル状及び最適のスレショルド値を適用する。
なお、図７において、ラインパターン処理装置２００に対向する壁は、図７の下側に向かってラインパターン処理装置２００に近づく壁である。
図８は、図７で捕捉したイメージを示したものであるが、ラインレーザーパターン３０をなすピクセル３１、３２、３３は互いに属する区間が異なることがある。したがって、各ピクセル３１、３２、３３には、属する区間によって相異なるカーネル状及び最適のスレショルド値が適用される。

一方、本発明で使われるカーネル（コンボリューションカーネル）は、最小カーネルサイズがｍであり、最大カーネルサイズがｎである場合に、順次に−ｍと、（ｎ−ｍ）／２個の０と、ｍ個の１と、（ｎ−ｍ）／２個の０と、−ｍで構成される。具体的には、図９に示した式のように定義できる。ここで、ｋｅｒｎｅｌ_ｍ，ｎは、縦方向にピクセルｍ〜ｎ個を通過させるコンボリューションカーネルを意味し、ｍ，ｎは、各々最小ライン厚さ（最小カーネルサイズ）及び最大ライン厚さ（最大カーネルサイズ）を意味する。このようなカーネルを縦方向に適用させれば、ｍ〜ｎの厚さを有するピクセルのみが通過される。

例えば、ｍが２であり、ｎが６である場合、カーネルは次の式（１）のように示される。このようなカーネルは、隣接した２ないし６個のピクセルを通過させる役割を担う。

もちろん、このようなカーネルを適用した結果、ピクセルの通過如何を決定するためには、このような基準となるスレショルド値が必要である。もし、スレショルド値がｍ×２５５であれば（１つのピクセルは８ビットで表現されると仮定する）、理論上は、２進映像の場合、正確に連続した２個のホワイトピクセルないし連続した６個のホワイトピクセルはカーネルを通過する。

しかし、実際のテスト映像は、２進映像ではなく、０ないし２５５の値（８ビットの場合）と表現されるので、正確に２ないし６個の連続したピクセルが通過されることはない。またスレショルド値もｍ×２５５を用いることではなく、カーネル学習部２６０で決定された最適のスレショルド値（ｍ×２５５よりは小さい値）を用いる。

このようなコンボリューションは、図１０のような方式で適用される。１つのピクセルカラムに対してカーネルを縦方向に移動させつつ、コンボリューション適用値を計算し、その計算値がスレショルド値を超えるか否かを判断して、スレショルド値を超えるケースに該当するピクセルを通過させる。もし、図１０のような位置でカーネル５０を用いてコンボリューション適用値Ｃを計算すれば、次の式（２）のようである。ここで、捕捉されたラインレーザーパターン４０のピクセル値はいずれもＰであると仮定し、それ以外の領域はいずれも０であると仮定する。

そして、このように計算されたコンボリューション適用値を該当区間の最適のスレショルド値と比較して、最適のスレショルド値を超えるピクセルだけを通過させる。コンボリューションの適用により生成されるイメージ（以下、「コンボリューション適用イメージ」という。）は、２進映像であって、コンボリューションカーネルを通過するピクセルはいずれも２５５（８ビットで表示する場合）と表示され、残りの通過しないピクセルはいずれも０と表示される。

このようなコンボリューション適用過程を、特定ピクセルカラム６０に対していずれも行った後、次のピクセルカラムについても同じ過程を行う。このような過程は、全体イメージにすべてに適用した後に終了する。コンボリューション適用過程は、カーネル学習部２６０によって縦区間別に相異なるカーネル状及び最適のスレショルド値を用いて行われるので、各区間でカーネルが有する範囲（ｍないしｎ）を抜け出るノイズピクセルをフィルタリングできる。

領域選択部２８０は、コンボリューション適用部２７０によってコンボリューションが適用されたイメージを縦方向にスキャンして１つのピクセルカラムに２つ以上の０ではない不連続ピクセルが存在しているか否かを判断して、不連続ピクセルのうち、最も厚い連続ピクセルを選択する。このような過程を通じて最終的なラインパターン処理された２進イメージ（以下、「出力２進イメージ」という。）が生成される。領域選択部２８０で行われる領域選択過程は、図１７を参照してさらに詳細に説明する。このような領域選択過程は、レーザーパターンの反射が起きる場合には、１つのピクセルカラム内でも連続していない複数のピクセル群（ないし領域）が存在するので、この中から反射によって発生したパターンを除去するための過程である。反射されたパターンは、元のパターンより薄いという仮定下で、存在する複数のピクセル群のうち、最も厚い領域のみを選択することである。

一方、ラインパターン処理装置２００は、出力２進イメージを用いて２次元マップを作成する距離情報計算部２９０をさらに備えてもよい。

距離情報計算部２９０は、ラインパターン装置２００によって生成される出力２進イメージを用いて障害物との距離を計算し、計算した結果によってマップを作成する。

この際、出力２進イメージに存在するそれぞれのポイントについての情報は、図１１のように、三角図法による距離計算法により平面での座標値に変換され、その結果として距離データが得られる。この際、前記平面は、図７で示した光源モジュール２５０と障害物とを上から見た平面を意味する。これを図１１で示しているが、出力２進イメージ７０で任意の座標を［ｘ_ｓ ｙ_ｓ］^Ｔとし、三角図法による変換関数をＦとすれば、平面座標８０は、［Ｚ_ｐ Ｘ_ｐ］^Ｔ＝Ｆ（ｘ_ｓ，ｙ_ｓ）と示し得る。ここで、Ｚ方向は、レーザー発射地点から障害物、すなわち、発射されたレーザーにより反射される反射体に対する距離方向を示す。ここで、Ｆ（ｘ_ｓ，ｙ_ｓ）は次の式（３）のように定義できる。

ここで、ｘｏとｙｏは、映像中心の位置（ピクセル単位）、ＰＹはカメラとレーザーを発射するレーザーモジュール２５０との距離、αはカメラの傾度、ａとｂは、映像ピクセル単位と空間上の距離との比を示すスケールに関連した定数である。ここで、関数Ｆは、２次元ベクトルであって、通常２次元ベクトルに適用される加算、減算、及び絶対値の計算が適用される。

図４の各構成要素は、ソフトウェアまたはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）または注文型半導体（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）のようなハードウェア構成要素を意味する。しかし、各構成要素は、ソフトウェアまたはハードウェアに限定されるものではない。アドレッシング可能な保存媒体に存在すべく構成されても良く、１つまたはそれ以上のプロセッサーを実行させるように構成されても良い。構成要素から提供される機能は、より少数の構成要素及びモジュールで結合されるか、追加的な構成要素とモジュールにさらに分離されうる。複数の構成要素を結合して特定の機能を行う一つの構成要素で具現されることもある。

図１２は、本発明の一実施形態に係るラインパターン処理過程を示すフローチャートである。
まず、カーネル学習部２６０は、所定の位置に形成されたラインレーザーパターンを含む入力イメージを用いて入力イメージの縦区間別にカーネル状及び最適のスレショルド値を決定する、カーネル学習過程を行う（Ｓ１００）。カーネル学習過程は、後述する図１３の説明でさらに詳細に説明する。このようなカーネル学習が完了すれば、イメージの縦区間別に最適のカーネル状及び最適のスレショルド値が決定されてメモリ２２０に保存される。そして、以後には、実際テストイメージを入力され、これらを用いて入力した実際テストイメージに含まれたラインパターンを処理する過程を行える。

カメラ／光源制御部２３０は、カメラ制御信号と光源制御信号とを送信し、光源モジュール２５０に所定のレーザーを照射させ、カメラモジュール２４０にレーザーが照射されたイメージを捕捉させる（Ｓ２００）。

そして、制御部２１０は、メモリ２２０に保存された縦区間別カーネル状及び最適のスレショルド値をローディング（ｌｏａｄｉｎｇ）する（Ｓ３００）。

コンボリューション適用部２７０は、制御部２１０の制御によってローディングされたカーネル状及び最適のスレショルド値を用いてカメラモジュール２４０によって捕捉されたイメージに対してコンボリューションを適用する（Ｓ４００）。このようなコンボリューション適用過程時には、対象ピクセルが属する縦区間によって相異なるカーネル状及び最適のスレショルド値が適用される。

領域選択部２８０は、コンボリューション適用部２７０によってコンボリューションが適用されたイメージを縦方向にスキャンして、１つのピクセルカラムにピクセル値が０でない連続したピクセルの集合（以下、「ピクセル群」という。）を探し、このピクセル群のうち、最も厚い連続ピクセル（すなわち、領域）を選択する過程（Ｓ５００）を通じて、最終的な出力２進イメージを生成する。

制御部２１０は、領域選択部２８０で生成された出力２進イメージをメモリ２２０に保存し（Ｓ６００）、距離情報計算部２９０は、前記保存された出力２進イメージを用いて障害物との距離を計算し、計算結果によってマップを作成する（Ｓ７００）。

図１３は、図１２のカーネル学習過程（Ｓ１００）をさらに詳細に示すフローチャートである。
まず、光源モジュール２５０は、所定距離にラインレーザーを照射し（Ｓ１０５）、カメラモジュール２４０は、レーザーが照射されたイメージを捕捉する（Ｓ１１０）。

次いで、カーネル学習部２６０は、捕捉されたイメージを２進化する（Ｓ１２０）。このような２進化は、入力した映像の各ピクセルに対して所定の臨界値を超えれば、ホワイトピクセル（８ビットの場合、ピクセル値は２５５である）に、所定の臨界値を超えないとブラックピクセル（ピクセル値＝０）に変換する過程である。

カーネル状は、最小カーネルサイズがｍであり、最大カーネルサイズがｎである場合に、順次に２個の−ｍ／２と、（ｎ−ｍ）／２個の０と、ｍ個の１と、（ｎ−ｍ）／２個の０と、２個の−ｍ／２で構成される。具体的には、カーネル学習部２６０は、２進化されたイメージのラインパターンによってカーネル状を選定する（Ｓ１３０）。カーネル状は、図９に示すようなカーネルでｍ，ｎが決定されることによって決まる。図１４のように、２進化されたイメージ９０に含まれたラインパターン４０の最大厚さをｎとし、最小厚さをｍとすれば、図９に示すように最小サイズｍ、最大サイズｎを有するカーネル状が決定される。本実施形態に係るカーネル学習において、図９に示すようなカーネルを用いられるが、ノイズに対する強じん性（ｒｏｂｕｓｔｎｅｓｓ）を向上させるために、図１５に示すような変形されたカーネルを用いることが可能である。図１５に示すように変形されたカーネルでは、暗い部分（−ｍ／２）が多少拡大される効果がある（すなわち、ノイズが通過する可能性が相対的に低い。）。

次いで、カーネル学習部２６０は、最小カーネルサイズｍを用いてスレショルド値区間（Ｔｈ．区間）を選定する（Ｓ１４０）。このようなスレショルド値区間は、０〜２５５×ｍの範囲に指定されることが可能である。

カーネル学習部２６０は、初期スレショルド値をスレショルド値区間の１／２となる値、すなわち、２５５×ｍ×１／２に設定し（Ｓ１５０）、選定されたカーネル状及び現在のスレショルド値Ｔｈ．を用いてコンボリューション適用部２７０をして前記２進化前の映像、すなわち、カメラモジュール２４０に入力された映像に対してコンボリューションを適用する（Ｓ１６０）。

コンボリューションの適用後、カーネル学習部２６０は、ａｂｓ（Ｄｉｆｆ）がｍｉｎ＿Ｃｈ．より小さいか否かを判断し（Ｓ１７０）、ａｂｓ（Ｄｉｆｆ）がｍｉｎ＿Ｃｈ．より小さい場合（Ｓ１７０で「はい」）には、Ｓ１８０ステップに進むが、ａｂｓ（Ｄｉｆｆ）がｍｉｎ＿Ｃｈより小さくない場合（Ｓ１７０で「いいえ」）には、まだ最適のスレショルド値が得られていない場合であるために、Ｓ１９０ステップに進む。

ここで、ａｂｓ（．）関数は、絶対値を求める関数を意味し、Ｄｉｆｆは、２進化されたイメージから、Ｓ１６０ステップでのコンボリューションを適用したイメージを引いた結果の和、すなわち、両イメージ間に対応するピクセル値の差の和を意味する。
ここで、ピクセル値の差の和とは、二進化したイメージとコンボリューション適用イメージに対応したピクセル値（ｐｉｘｃｌ ｖａｌｕｅ）の違いを全体イメージ内で合わせた結果を意味する。
そして、ｍｉｎ＿Ｃｈは、許容されるＤｉｆｆの臨界値を意味するが、ｍｉｎ＿Ｃｈは、ユーザによって適切な他の値に選択される可能性がある。ただし、ｍｉｎ＿Ｃｈが過度に大きければ、最適のスレショルド値を得難く、ｍｉｎ＿Ｃｈが過度に小さければ、図１３のループ（Ｓ１７０、Ｓ１９０、Ｓ１６０につながる過程）を多数回繰り返す短所がある。ｍｉｎ＿Ｃｈは、約２５５×５程度の値（８ビットイメージの場合）を選択する可能性がある。もちろん、本実施形態とは違ってｍｉｎ＿Ｃｈを使用せずとも、ａｂｓ（Ｄｉｆｆ）が最小となるスレショルド値を反復的に探し出すことが可能である。

Ｓ１９０ステップで、カーネル学習部２６０は、Ｄｉｆｆが０より大きいか否かを判断し（Ｓ１９０）、Ｄｉｆｆが０より大きい場合（Ｓ１９０で「はい」）には、Ｔｈ．を所定の大きさ減少させ（Ｓ１９１）、Ｄｉｆｆが０より大きくない場合（Ｓ１９０で「いいえ」）には、Ｔｈ．を所定の大きさ増加させる（Ｓ１９２）。Ｄｉｆｆが０より大きいということは、２進化されたイメージに比べてコンボリューション適用イメージがさらに暗いということを意味するので、Ｓ１９１によってスレショルド値を低めることによって、コンボリューション適用イメージを相対的にさらに明るくし、Ｄｉｆｆが０より小さいということは、２進化されたイメージに比べてコンボリューション適用イメージがさらに明るいということを意味するので、Ｓ１９２によってスレショルド値を高めることによって、コンボリューション適用イメージを相対的にさらに暗くしなければらないからである。

本発明の実施形態でＴｈ．を変更する前記所定の大きさは、初期スレショルド値を所定数Ｎで割った値を意味する。

Ｓ１９１、Ｓ１９２ステップを経た以後、再びＳ１６０ステップ及びＳ１７０ステップを繰り返す。このような反復実行過程は、Ｓ１７０ステップでの条件が満たされるまで行われる。

Ｓ１７０ステップで、ａｂｓ（Ｄｉｆｆ）がｍｉｎ＿Ｃｈより小さければ（Ｓ１７０で「はい」）、所定のあらゆる距離に対してステップＳ１０５〜Ｓ１７０を行ったかを判断して（Ｓ１８０）、所定のあらゆる距離に対して行った場合（Ｓ１８０で「はい」）には、終了し、所定のあらゆる距離に対して行っていない場合（Ｓ１８０で「いいえ」）、再び異なる距離にレーザーを照射してＳ１０５以後の過程を繰り返す。

学習過程の理解を助けるためにさらに詳細に説明する。レーザーを照射する所定の距離を｛４０、５５、７０、１００、２２０、３４０、４６０｝（ｃｍ）とし、縦サイズが４８０であるイメージで、前記距離に各々対応する縦ピクセル区間は、下から上方に｛０〜５９、６０〜７９、８０〜１０９、１１０〜１７９、１８０〜２４９、２５０〜２９９、３００〜４７９｝に分けると仮定する。この場合、それぞれの距離で生成された２進化イメージ及びいくつかのＴｈ．によるコンボリューション適用イメージを図１６Ａないし図１６Ｅに示す。

図１６Ａは、４０ｃｍの距離で入力されたイメージから２進化されたイメージといくつかのＴｈ．によるコンボリューション適用イメージを示す図面である。符号９０ａは、４０ｃｍの距離で入力されたイメージから２進化されたイメージを示す。ここで、最小サイズが２であり、最大サイズが１５であるカーネルが選定される。コンボリューション適用イメージ９５ａのうち、ａｂｓ（Ｄｉｆｆ）の最小値は２１７８であり、このときのＴｈ．である２００．３９が最適のスレショルド値となる。

そして、図１６Ｂは、５５ｃｍの距離で入力されたイメージから２進化されたイメージといくつかのＴｈ．によるコンボリューション適用イメージを示す図面である。符号９０ｂは、５５ｃｍの距離で入力されたイメージから２進化されたイメージを示す。ここで、最小サイズが２であり、最大サイズが１３であるカーネルが選定される。コンボリューション適用イメージ９５ｂのうち、ａｂｓ（Ｄｉｆｆ）の最小値は１５０８であり、このときのＴｈ．である１６７．４３が最適のスレショルド値となる。

図１６Ｃは、７０ｃｍの距離で入力されたイメージから２進化されたイメージといくつかのＴｈ．によるコンボリューション適用イメージを示す図面である。符号９０ｃは、７０ｃｍの距離で入力されたイメージから２進化されたイメージを示す。ここで、最小サイズが２であり、最大サイズが９であるカーネルが選定される。コンボリューション適用イメージ９５ｃのうち、ａｂｓ（Ｄｉｆｆ）の最小値は８３４であり、このときのＴｈ．である８７．５８が最適のスレショルド値となる。

図１６Ｄは、１００ｃｍの距離で入力されたイメージから２進化されたイメージといくつかのＴｈ．によるコンボリューション適用イメージを示す図面である。符号９０ｄは、１００ｃｍの距離で入力されたイメージから２進化されたイメージを示す。ここで、最小サイズが２であり、最大サイズが８であるカーネルが選定される。コンボリューション適用イメージ９５ｄのうち、ａｂｓ（Ｄｉｆｆ）の最小値は１２９４であり、このときのＴｈ．である１１６．４３が最適のスレショルド値となる。

図１６Ｅは、２２０ｃｍの距離で入力されたイメージから２進化されたイメージといくつかのＴｈ．によるコンボリューション適用イメージを示す図面である。符号９０ｅは、２２０ｃｍの距離で入力されたイメージから２進化されたイメージを示す。ここで、最小サイズが２であり、最大サイズが７であるカーネルが選定される。コンボリューション適用イメージ９５ｅのうち、ａｂｓ（Ｄｉｆｆ）の最小値は５９０であり、このときのＴｈ．である３２７．６４が最適のスレショルド値となる。

図１６Ｆは、３４０ｃｍの距離で入力されたイメージから２進化されたイメージといくつかのＴｈ．によるコンボリューション適用イメージを示す図面である。符号９０ｆは、３４０ｃｍの距離で入力されたイメージから２進化されたイメージを示す。ここで、最小サイズが２であり、最大サイズが６であるカーネルが選定される。コンボリューション適用イメージ９５ｆのうち、ａｂｓ（Ｄｉｆｆ）の最小値は６４９であり、このときのＴｈ．である２５５．００が最適のスレショルド値となる。

図１６Ｇは、４６０ｃｍの距離で入力されたイメージから２進化されたイメージといくつかのＴｈ．によるコンボリューション適用イメージを示す図面である。符号９０ｇは、４６０ｃｍの距離で入力されたイメージから２進化されたイメージを示す。ここで、最小サイズが２であり、最大サイズが６であるカーネルが選定される。コンボリューション適用イメージ９５ｇのうち、ａｂｓ（Ｄｉｆｆ）の最小値は５６８であり、このときのＴｈ．である１８２．３６が最適のスレショルド値となる。

図１６Ａないし図１６Ｇで選択されたカーネル状及び最適スレショルド値は、次の表１に示されたように縦ピクセル区間別に選定され、メモリ２２０に保存される。

図１７は、図１２の領域選択過程（Ｓ５００）をさらに詳細に示すフローチャートである。このような領域選択過程は、ミラー効果によって反射されたレーザーパターン（ノイズの一種）を除去するための過程である。図１８のようにＳ４００ステップによって生成されたコンボリューション適用イメージがあるとする場合、あるピクセルカラム６０に対して縦方向にスキャンして複数のピクセル群６１、６２が発見されるとするならば、このうちから厚いピクセル群６１が実際のレーザーパターンであり、薄いピクセル群６２は反射されたレーザーパターンである可能性が大きい。なぜなら、光源モジュール２５０によって水平方向にラインレーザーを照射して捕捉されたイメージでは、理論上垂直方向に１つのレーザーパターン、すなわち、１つのピクセル群だけが発見されるからである。そして、コンボリューション適用イメージは、前述したようにカーネルの通過如何によって０または２５５値を有する（８ビット映像を仮定する時）２進イメージである。

領域選択過程（Ｓ５００）を行うために、まず領域選択部２８０（図４参照）は、カメラモジュール２４０に捕捉されたイメージ２０のあるピクセルカラムに対して縦方向にスキャンする（Ｓ５１０）。このようなピクセルカラムスキャンは、最も左側のピクセルカラムから最も右側のピクセルカラムまでに対して行われる。

このようなスキャン過程において、領域選択部２８０は、ピクセル値が０でないピクセル群が発見されるか否か判断する（Ｓ５２０）。ピクセル値が０でないピクセル群が発見された場合（Ｓ５２０で「はい」）、領域選択部２８０は、ピクセル群に含まれた連続したピクセルの厚さを計算する（Ｓ５３０）。

そして、ピクセル群が最初に発見されたものであるか否か判断する（Ｓ５４０）。ピクセル群が最初に発見されたものである場合（Ｓ５４０で「はい」）、ステップＳ５４１に進み、ピクセル群が最初に発見されたものでない場合（Ｓ５４０で「いいえ」）、ステップＳ５５０に進む。

領域選択部２８０は、メモリ２２０に現在のピクセル群のピクセル情報を保存し（Ｓ５４１）、下方に次のピクセルに移動した後（Ｓ５４２）、縦方向スキャンを行い続ける（Ｓ５１０）。ここで、ピクセル情報は、ピクセル群の座標情報、ピクセル厚さ情報を含む。

一方、ステップＳ５５０で、領域選択部２８０は、現在ピクセル群のピクセルの厚さが既に保存されているピクセル群のピクセル厚さより厚いか否かを判断し（Ｓ５５０）、現在ピクセル群のピクセルの厚さが既に保存されているピクセル群のピクセル厚さより厚ければ（Ｓ５５０で「はい」）、既に保存されているピクセル値をいずれも０に置き換える（Ｓ５６０）。そして、現在ピクセル群のピクセル情報を保存し（Ｓ５７０）、ステップＳ５８０に進む。

現在ピクセル群のピクセルの厚さが既に保存されているピクセル群のピクセル厚さより厚くなければ（Ｓ５５０で「いいえ」）で、現在ピクセル群のピクセル値をいずれも０に置き換え（Ｓ５６１）、現在ピクセル群のピクセル情報を保存した後（Ｓ５７０）、ステップＳ５８０に進む。

領域選択部２８０は、該当ピクセルカラムのあらゆるピクセルに対してスキャンを完了したか否か判断する（Ｓ５８０）。該当ピクセルカラムのあらゆるピクセルに対してスキャンを完了した（Ｓ５８０で「はい」）場合には、ステップＳ６００に進み、該当ピクセルカラムのあらゆるピクセルに対してスキャンを完了していない（Ｓ５８０で「いいいえ」）場合には、次のピクセルに移動する（Ｓ５４２）。

図１７のフローチャートは、ある１つのピクセルカラムに対して行ったものであるが、領域選択過程はイメージを構成するあらゆるピクセルカラムに対して図１７の過程が繰り返して行われる。

以下図面を参照して、実施例について比較例と比較して説明する。
以下、図１９Ａないし図１９Ｅ、及び図２０Ａないし図２０Ｃは、実施例及び比較例を示す図面である。

図１９Ａのようなラインレーザーパターンを含むイメージがカメラモジュール２４０（図４参照）に入力された場合、本発明に係る距離別コンボリューションカーネル−スレショルド値の組み合わせを利用せず、距離に関係なく単純に１つのコンボリューションカーネルのみを適用した結果（以下「比較例」という。）は、図１９Ｂに示したとおりである。その結果、距離によってよく認識される部分とそうでない部分とが、存在することが分かる。このような比較例によるラインパターン処理結果について、図１１に示すような三角図法による距離計算を適用して生成されたマップは、図１９Ｃに示したとおりである。ラインパターンの処理結果が正確でないために、図１９Ｃのマップで生成された障害物の形状も正確でないということが分かる。なお、図１９Ｃの符号９８は障害物を示している。

図１９Ｄは、図１９Ａの入力イメージに対して本発明に係るラインパターン処理方法を適用したラインパターンの処理結果を示す図面である。図１９Ｄに示すように、距離に関係なく入力映像のラインレーザーパターンを正確に示していることが分かる。図１９Ｄのラインパターン処理結果に距離計算を適用して生成したマップは、図１９Ｅに示すとおりである。ここで、ラインパターンによる障害物の形状が正確に現れるということが分かる。なお、図１９Ｅの符号９９は障害物を示している。

一方、図２０Ａないし２０Ｅは、反射されたラインレーザーパターンが存在する場合についての実験結果を示した図面である。図２０Ａのようなイメージが入力された場合に、比較例に係るラインパターン処理結果は、図２０Ｂに示したとおりである。図２０Ｂに示すように、入力イメージに現れたミラー効果がそのまま反映されて現れるということが分かる。なお、符号１０００は、反射されたラインレーザーパターンを示している。一方、本発明に係るラインパターン処理結果を示す図２０Ｃを見れば、反射されたラインパターンは除去され、ラインレーザー照射によって生成された元のラインパターンだけが現れるということがわかる。

以上、添付図を参照して，発明を実施するための最良の形態及び実施例を説明したが、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態及び実施例により、限定されるものではない。

本発明は、構造化光距離センサを用いるＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）関連の技術分野に好適に適用されうる。

構造化光距離センサの基本概念を示す図面である。 構造化光距離センサを用いた従来方法の基本概念を示す図面である。 図２の方法によるヒストグラムを示す図面である。 本発明の一実施形態によるラインパターン処理装置の構成を示すブロック図である。 カーネル学習環境の例を示す図面である。 イメージの縦区間及び学習時のレーザー照射距離の関係を示す図面である。 照射されたラインレーザーによってラインパターンが発生する例を示す図面である。 図７のラインパターンが撮影されたイメージを示す図面である。 本発明の一実施形態によるコンボリューションカーネルを示す図面である。 コンボリューションカーネルを適用する概念を説明する図面である。 処理されたラインパターンを用いてマップを作成する概念を説明する図面である。 本発明の一実施形態によるラインパターンの処理過程を示すフローチャートである。 図１２のＳ１００ステップをさらに詳細に示すフローチャートである。 カーネル状を選定する方法を示す図面である。 本発明のさらに他の実施形態によるコンボリューションカーネルを示す図面である。 それぞれの距離で生成された２進化イメージ及びいくつかのＴｈ．によるコンボリューション適用イメージを示す図面である。 それぞれの距離で生成された２進化イメージ及びいくつかのＴｈ．によるコンボリューション適用イメージを示す図面である。 それぞれの距離で生成された２進化イメージ及びいくつかのＴｈ．によるコンボリューション適用イメージを示す図面である。 それぞれの距離で生成された２進化イメージ及びいくつかのＴｈ．によるコンボリューション適用イメージを示す図面である。 それぞれの距離で生成された２進化イメージ及びいくつかのＴｈ．によるコンボリューション適用イメージを示す図面である。 それぞれの距離で生成された２進化イメージ及びいくつかのＴｈ．によるコンボリューション適用イメージを示す図面である。 それぞれの距離で生成された２進化イメージ及びいくつかのＴｈ．によるコンボリューション適用イメージを示す図面である。 図１２のＳ５００ステップをさらに詳細に示すフローチャートである。 領域選択過程の理解を助けるための図面である。 本発明の実施形態及び比較実施形態の第１実験結果を示す図面である。 本発明の実施形態及び比較実施形態の第１実験結果を示す図面である。 本発明の実施形態及び比較実施形態の第１実験結果を示す図面である。 本発明の実施形態及び比較実施形態の第１実験結果を示す図面である。 本発明の実施形態及び比較実施形態の第１実験結果を示す図面である。 本発明の実施形態及び比較実施形態の第２実験結果を示す図面である。 本発明の実施形態及び比較実施形態の第２実験結果を示す図面である。 本発明の実施形態及び比較実施形態の第２実験結果を示す図面である。

符号の説明

２００ ラインパターン処理装置
２１０ 制御部
２２０ メモリ
２３０ カメラ／光源制御部
２４０ カメラモジュール
２５０ 光源モジュール
２６０ カーネル学習部
２７０ コンボリューション適用部
２８０ 領域選択部
２９０ 距離情報計算部

Claims (18)

1. 所定の光源を照射する光源モジュールと、
   前記光源が照射されたイメージを捕捉するカメラモジュールと、
   所定の位置に形成された学習用レーザーパターンを用いて前記イメージの縦区間別にカーネル状及び最適のスレショルド値を決定するカーネル学習部と、
   前記決定されたカーネル状及び最適のスレショルド値を用いて、前記イメージにコンボリューションを適用するコンボリューション適用部と、
   前記コンボリューションが適用されたイメージに含まれるピクセルカラムを縦方向にスキャンしてピクセル値が０でない複数のピクセル群が存在する場合、前記複数のピクセル群のうち選択された１つのピクセル群以外のピクセル群のピクセル値を０に設定する領域選択部と、
   を備えることを特徴とするラインパターン処理装置。
2. 前記光源は、ラインレーザーであることを特徴とする請求項１に記載のラインパターン処理装置。
3. 前記カメラモジュールは、前記光源の周波数に近接した信号だけを入力するための帯域通過フィルターを備えることを特徴とする請求項１に記載のラインパターン処理装置。
4. 前記カーネル状は、最小カーネルサイズがｍであり、最大カーネルサイズがｎである場合に、順次に−ｍと、（ｎ−ｍ）／２個の０と、ｍ個の１と、（ｎ−ｍ）／２個の０と、−ｍで構成されることを特徴とする請求項１に記載のラインパターン処理装置。
5. 前記カーネル状は、最小カーネルサイズがｍであり、最大カーネルサイズがｎである場合に、順次に２個の−ｍ／２と、（ｎ−ｍ）／２個の０と、ｍ個の１と、（ｎ−ｍ）／２個の０と、２個の−ｍ／２で構成されることを特徴とする請求項１に記載のラインパターン処理装置。
6. 前記最適のスレショルド値は、前記最小サイズｍを用いて決定されることを特徴とする請求項４または請求項５に記載のラインパターン処理装置。
7. 前記領域選択部に処理されたイメージに対して三角図法を適用し、障害物との距離を計算する距離情報計算部をさらに備えることを特徴とする請求項１に記載のラインパターン処理装置。
8. 前記コンボリューション適用部は、前記決定されたカーネル状によるコンボリューションカーネルを前記イメージに含まれるピクセルカラムに沿って移動しつつ、適用して、前記最適のスレショルド値を超えるピクセルだけを通過させることを特徴とする請求項１に記載のラインパターン処理装置。
9. 所定の光源が照射したイメージを捕捉し、前記捕捉されたイメージに含まれるラインパターンを処理する方法において、
   （ａ）所定の位置に形成された学習用ラインレーザーパターンを用いて前記イメージの縦区間別にカーネル状及び最適のスレショルド値を決定するステップと、
   （ｂ）前記決定したカーネル状及び最適のスレショルド値を用いて、前記イメージにコンボリューションを適用するステップと、
   （ｃ）前記コンボリューションが適用されたイメージに含まれたピクセルカラムを縦方向にスキャンしてピクセル値が０でない複数のピクセル群が存在する場合、前記複数のピクセル群のうち選択された１つのピクセル群以外のピクセル群のピクセル値を０に設定するステップと、
   を含むことを特徴とするラインパターンの処理方法。
10. 前記カーネル状は、最小カーネルサイズがｍであり、最大カーネルサイズがｎである場合に、順次に−ｍと、（ｎ−ｍ）／２個の０と、ｍ個の１と、（ｎ−ｍ）／２個の０と、−ｍで構成されることを特徴とする請求項９に記載のラインパターンの処理方法。
11. 前記カーネル状は、最小カーネルサイズがｍであり、最大カーネルサイズがｎである場合に、順次に２個の−ｍ／２と、（ｎ−ｍ）／２個の０と、ｍ個の１と、（ｎ−ｍ）／２個の０と、２個の−ｍ／２で構成されることを特徴とする請求項９に記載のラインパターンの処理方法。
12. 前記最適のスレショルド値は、前記最小サイズｍを用いて決定されることを特徴とする請求項１０または請求項１１に記載のラインパターンの処理方法。
13. 前記ステップ（ｃ）後に、出力されるイメージに対して三角図法を適用して障害物との距離を計算するステップをさらに含むことを特徴とする請求項９に記載のラインパターンの処理方法。
14. 前記ステップ（ｂ）は、前記決定されたカーネル状によるコンボリューションカーネルを前記イメージに含まれたピクセルカラムに沿って移動させつつ、適用し、前記最適のスレショルド値を超えるピクセルだけを通過させるステップを含むことを特徴とする請求項９に記載のラインパターンの処理方法。
15. 前記ステップ（ａ）は、
    （ａ１）前記学習用ラインレーザーパターンからなるイメージを２進化するステップと、
    （ａ２）前記２進化されたイメージのラインパターンの縦方向厚さによって最小カーネルサイズ及び最大カーネルサイズを決定し、これにより、カーネル状を選定するステップと、
    （ａ３）前記最小カーネルサイズを用いてスレショルド値区間を設定するステップと、
    （ａ４）前記選定されたカーネル状及び前記スレショルド値区間に属する臨時スレショルド値を用いて、前記学習用ラインレーザーパターンからなるイメージに対してコンボリューションカーネルを適用するステップと、
    （ａ５）前記２進化されたイメージ及び前記コンボリューションカーネルが適用されたイメージ間の誤差が減少する方向に前記臨時スレショルド値を変更するステップと、
    を含むことを特徴とする請求項９に記載のラインパターンの処理方法。
16. 前記ステップ（ａ２）、前記ステップ（ａ４）、及び前記ステップ（ａ５）は、前記誤差が所定の臨界値より小さくなるまで繰り返して行われることを特徴とする請求項１５に記載のラインパターンの処理方法。
17. 前記ステップ（ｃ）は、
    （ｃ１）前記テストイメージのあるピクセルカラムに対して縦方向にピクセル値が０でないピクセル群をスキャンするステップと、
    （ｃ２）現在ピクセル群のピクセル厚さが既に保存されているピクセル群のピクセル厚さより厚いか否かを判断するステップと、
    （ｃ３）現在ピクセル群のピクセル厚さが既に保存されているピクセル群のピクセル厚さより厚い場合には、既に保存されているピクセル群のピクセル値をいずれも０に置き換えるステップと、
    （ｃ４）現在ピクセル群のピクセル厚さが既に保存されているピクセル群のピクセル厚さより厚くない場合には、前記現在ピクセル群のピクセル値をいずれも０に置き換えるステップと、
    を含むことを特徴とする請求項９に記載のラインパターンの処理方法。
18. 所定の光源が照射したイメージを捕捉し、前記捕捉されたイメージに含まれたラインパターンを処理するラインパターンの処理方法を実行するためのプログラムを記録した記録媒体において、
    前記ラインパターンの処理方法は、
    （ａ）所定の位置に形成された学習用ラインレーザーパターンを用いて前記イメージの縦区間別にカーネル状及び最適のスレショルド値を決定するステップと、
    （ｂ）前記決定されたカーネル状及び最適のスレショルド値を用いて、前記イメージにコンボリューションを適用するステップと、
    （ｃ）前記コンボリューションが適用されたイメージに含まれたピクセルカラムを縦方向にスキャンしてピクセル値が０でない複数のピクセル群が存在する場合、前記複数のピクセル群のうち選択された１つのピクセル群以外のピクセル群のピクセル値を０に設定するステップと、
    を含むラインパターンの処理方法を実行するためのプログラムを記録したことを特徴とする記録媒体。

Images