JP7345369B2

JP7345369B2 - 画像処理装置、撮像装置、および移動体

Info

Publication number: JP7345369B2
Application number: JP2019213338A
Authority: JP
Inventors: 亮太永元
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2019-11-26
Filing date: 2019-11-26
Publication date: 2023-09-15
Anticipated expiration: 2039-11-26
Also published as: JP2021086286A

Description

本発明は、画像処理装置、撮像装置、および移動体に関するものである。

パターンマッチングおよび機械学習などにより、画像に含まれる物体が特定の種類であるか否かを認識することが知られている。また、エッジ検出により抽出した物体の、鉛直下方に相当する画像上の方向側のエッジを地表面に接しているとみなして、当該物体の距離を推定することが提案されている（特許文献１参照）。

特開平０５－０８９２２６号公報

しかし、画像における物体認識は必ずしも正しいわけではなかった。

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、画像上で検出する物体の誤認識の可能性を低減する画像処理装置、撮像装置、および移動体を提供することにある。

上述した諸課題を解決すべく、第１の観点による画像処理装置は、
撮像部から画像信号を受信する受信部と、
前記画像信号に相当する画像内の路面および床面が占める第１領域を検出し、前記画像内の所定の種類の物体を囲う第２領域を検出し、前記第１領域および前記第２領域の該画像内での位置に基づいて前記第１領域および前記第２領域の少なくともいずれかの検出結果の棄却の要否を判別する制御部と、を備え、
前記制御部は、前記第２領域の一部が前記第１領域に重なる場合であって、前記第２領域内で前記第１領域に重なる領域と、該領域以外の領域との境界線が、該第２領域の重心より、前記画像における特定の第１方向側に位置するとき、前記第１領域における該第２領域に重なる部分と該第２領域との少なくとも一方の検出結果を棄却する。

また、第２の観点による撮像装置は、
撮像により画像信号を生成する撮像部と、
前記画像信号に相当する画像内の路面および床面が占める第１領域を検出し、前記画像内の所定の種類の物体を囲う第２領域を検出し、前記第１領域および第２領域の該画像内での位置に基づいて前記第１領域および前記第２領域の少なくともいずれかの棄却の要否を判別する制御部と、を備え、
前記制御部は、前記第２領域の一部が前記第１領域に重なる場合であって、前記第２領域内で前記第１領域に重なる領域と、該領域以外の領域との境界線が、該第２領域の重心より、前記画像における特定の第１方向側に位置するとき、前記第１領域における該第２領域に重なる部分と該第２領域との少なくとも一方の検出結果を棄却する。

また、第３の観点による移動体は、
本体と、
前記本体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する撮像部と、
前記画像信号に相当する画像内の路面および床面が占める第１領域を検出し、前記画像内の所定の種類の物体を囲う第２領域を検出し、前記第１領域および第２領域の該画像内での位置に基づいて前記第１領域および前記第２領域の少なくともいずれかの棄却の要否を判別する制御部と、を備え、
前記制御部は、前記第２領域の一部が前記第１領域に重なる場合であって、前記第２領域内で前記第１領域に重なる領域と、該領域以外の領域との境界線が、該第２領域の重心より、前記画像における特定の第１方向側に位置するとき、前記第１領域における該第２領域に重なる部分と該第２領域との少なくとも一方の検出結果を棄却する。

上記のように構成された本開示に係る画像処理装置、撮像装置、および移動体によれば、画像上で検出する物体の誤認識の可能性が低減され得る。

本実施形態に係る画像処理装置を含む撮像装置の移動体における位置を概念的に例示する外観図である。図１の撮像装置の概略構成を示すブロック図である。図１の撮像装置が撮像により生成した画像信号に相当する画像の一例である。図３の画像に対して検出される第１領域を示す図である。図３の画像に対して検出される第２領域を示す図である。第２領域の検出は正確であると推定され得る例を説明するための、第１領域に一部が重なる第２領域を例示する図である。図３の画像に対して、所定の種類の物体前に所定の種類以外の物体が置かれた場合に撮像される画像の一例である。第２領域の一部が第１領域に重なる場合の切替わり位置の検出方法を説明するための図である。第２領域の全体が第１領域に重ならない場合の切替わり位置の検出方法を説明するための図である。図２の制御部が実行する位置推定処理を説明するためのフローチャートである。第２領域に基づく物体の位置推定による、実際の位置とのずれを説明するための、実空間の鉛直上方から撮像部および撮像範囲を見た仮想図である。

以下、本開示を適用した画像処理装置の実施形態について、図面を参照して説明する。

図１に示すように、本開示の一実施形態に係る画像処理装置を含む撮像装置１０は、移動体１１の本体１２に搭載される。撮像装置１０は、移動体１１の周辺を撮像可能に取り付けられている。撮像装置１０は、例えば、本体１２の前方、後方、および左方、右方の少なくとも１つに設けられてよい。

移動体１１は、例えば自動運転機能を備える車両および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

撮像装置１０は、撮像した画像における所定の種類の物体の有無を判別する。撮像装置１０は、当該物体が含まれる場合、移動体１１を基準にした当該物体のワールド座標系における位置を算出してよい。撮像装置１０は、検出した物体の種類およびワールド座標系の位置を、例えば、移動体１１に搭載されるＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）などの外部機器に通知する。当該外部機器は、物体の種類およびワールド座標系の位置に基づいて、例えば、操舵、加速、および減速の操作を移動体１１に実行させてよく、警報を乗員に向けて報知させてよい。また、撮像装置１０は、撮像した画像に、検出した物体を囲う枠を重畳して、画像信号として例えば運転者に視認可能な位置に設けられているディスプレイなどの外部機器に出力してよい。当該外部機器は、取得した画像信号に相当する画像を表示する。

図２に示すように、撮像装置１０は、撮像部１３および画像処理装置１４を含んで構成される。

撮像部１３は、移動体１１の周辺を撮像して画像信号を生成し、画像処理装置１４に送信する。図１に示すように、撮像部１３は、本体１２の所定の位置に、所定の姿勢で固定されている。本実施形態においては、撮像部１３は、本体１２の上下方向における屋根近傍で、前方の、幅方向における中央に位置する。撮像部１３は、光軸が本体１２の幅方向に垂直かつ、所定の伏角となるように、固定されている。また、撮像部１３には上下方向が定められており、撮像部１３は、光軸から見て撮像部１３の上下方向が本体１２の上下方向に重なるように、固定されている。撮像部１３は、本体１２の、例えば、前方周辺を撮像することにより画像信号を生成する。

図２に示すように、画像処理装置１４は、受信部１５、記憶部１６、送信部１７、および制御部１８を含んで構成される。

受信部１５は、画像処理装置１４の外部機器からの多様な情報、信号、および指令を受信する。受信部１５は、例えば、撮像部１３から画像信号を受信する。

記憶部１６は、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）およびＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）など、任意の記憶デバイスを含む。記憶部１６は、制御部１８を機能させる多様なプログラム、および制御部１８が用いる多様な情報を記憶する。

記憶部１６は、２次元の画像座標系からの、撮像部１３の位置を基準にした３次元のワールド座標系への座標の変換式または変換表を記憶してよい。ワールド座標系は、本体１２の前後方向、幅方向、および上下方向を軸としてよい。画像座標系は、撮像部１３が撮像した画像における縦方向および横方向を軸としてよい。変換式または変換表は、撮像部１３を本体１２に固定する所定の位置および所定の姿勢に基づいて作成されていてよい。変換式または変換表は、路面または床面上の物体の位置座標を、画像座標系からワールド座標系への座標を変換する。

送信部１７は、後述する制御部１８が画像処理により生成する情報を外部機器１９に送信する。

制御部１８は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）を含んでよい。制御部１８は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（ＳｙｓｔｅｍＩｎａＰａｃｋａｇｅ）のいずれかであってもよい。

制御部１８は、受信する画像信号に相当する画像において、以下に説明するように、第１領域および第２領域を検出する。第１領域は、画像において、路面および床面が占める領域である。第２領域は、画像において、所定の種類の物体を囲う領域である。所定の種類の物体は、画像処理装置１４の適用用途に応じて予め決定されている。本実施形態においては、所定の種類の物体は、例えば、人間、箱型車両、自動２輪車、および自転車である。

制御部１８は、第１領域および第２領域の検出に適した画像変換を行う。画像変換は、例えば、歪補正処理処理を含む。歪補正処理は、撮像部１３が魚眼レンズなどのように等距離射影方式の光学系である場合に含まれる歪を、実質的に歪のない画像に変換する処理である。実質的に歪のない画像とは、中心射影方式の光学系を用いて撮像された画像に相当する画像であって、例えば、実空間における鉛直方向が画像内の任意の位置で略直線状に延びている画像である。以後の説明において、画像変換の行われた画像を、単に「画像」と呼ぶ。

制御部１８は、実空間における撮像部１３の下から上に向かう方向を、画像において特定の第１方向とみなしている。上述のように、撮像部１３は本体１２と上下方向が合致するように固定されているので、画像における第１方向は実空間における本体１２の上下方向に相当する。また、制御部１８は、実空間における撮像部１３の左右方向を、画像において第１方向に垂直な第２方向とみなしている。

制御部１８は、画像内のフリースペース、言換えると、路面および床面が占める第１領域を、例えば、深層学習などの従来公知の検出方法によって検出する。制御部１８は、例えば、図３に示すように、田畑ｆｄの中の道路ｒｄを撮像した画像ｉｍに対して、図４に示すように、路面および床面と推定される領域を第１領域ａｒ_１として検出する。

制御部１８は、画像ｉｍ内の所定の種類の物体を、例えば、パターンマッチングまたは深層学習など従来公知の検出方法によって検出する。制御部１８は、所定の種類の物体を検出すると、当該物体を囲う第２領域を検出する。第２領域は、例えば、物体のバウンディングボックスが占める領域である。バウンディングボックスとは、物体の第１方向の両端に接する第２方向に平行な２直線と、当該物体の第２方向の両端に接する第１方向に平行な２直線を囲う矩形の枠である。制御部１８は、例えば、図３に示すように、道路ｒｄ上の車両ｖｃおよび通行人ｐｓが含まれる画像ｉｍに対して、図５に示すように、車両ｖｃおよび通行人ｐｓを囲う第２領域ａｒ_２を検出する。

制御部１８は、画像ｉｍにおける第１領域ａｒ_１および第２領域ａｒ_２の位置に基づいて、以下に詳細に説明するように、第２領域ａｒ_２の検出結果の棄却の要否を判別する。

第１領域ａｒ_１および第２領域ａｒ_２が正確に検出される場合、第２領域ａｒ_２に囲われる物体内部は第１領域ａｒ_１として検出されない。それゆえ、第２領域ａｒ_２全体が第１領域ａｒ_１に重なる場合、第１領域ａｒ_１における第２領域ａｒ_２に重なる部分と、第２領域ａｒ_２の少なくとも一方は不正確であると考えられる。一般的に、路面などの画像判別に用いる路面の形状および色などのパラメータより、人間および車両ｖｃなどの所定の種類の物体の画像判別に用いる所定の種類の物体の形状、色、姿勢などのパラメータは多い。それゆえ、所定の種類の物体に比べて、パラメータがより単純な路面および床面の画像判別は正確性が高いと考えられる。したがって、第２領域ａｒ_２全体が第１領域ａｒ_１に重なる場合、第２領域ａｒ_２は誤検出であると推定され得る。そこで、本実施形態では、制御部１８は、第２領域ａｒ_２全体が第１領域ａｒ_１に重なる場合、当該第２領域ａｒ_２の検出結果を棄却する。

また、第１領域ａｒ_１および第２領域ａｒ_２が正確に検出される場合、第２領域ａｒ_２の一部が第１領域ａｒ_１に重なり得る。しかし、第２領域ａｒ_２内で物体が占める割合は相対的に大きい。それゆえ、図６に示すように、第２領域ａｒ_２に対する、当該第２領域ａｒ_２および第１領域ａｒ_１の重なる領域ａｒ_ｄｐの面積比が相対的に小さい場合、第２領域ａｒ_２の検出は正確であると推定され得る。そこで、本実施形態では、制御部１８は、第２領域ａｒ_２の一部が第１領域ａｒ_１に重なる場合であって、第２領域ａｒ_２に対する、当該第２領域ａｒ_２および第１領域ａｒ_１が重なる領域ａｒ_ｄｐの面積比が閾値より大きいとき、第２領域ａｒ_２の検出結果を棄却する。

また、上述のように、第１領域ａｒ_１および第２領域ａｒ_２が正確に検出される場合、第２領域ａｒ_２の一部が第１領域ａｒ_１に重なり得る。また、第２領域ａｒ_２内で第１領域ａｒ_１および第２領域ａｒ_２の重なる領域ａｒ_ｄｐと、当該領域ａｒ_ｄｐ以外の領域ａｒ_ｏｔとの境界線ｂｌは、第２領域ａｒ_２内の物体と道路ｒｄとの境界ｂｄを含み得る。第２領域ａｒ_２内の物体と道路ｒｄとの境界ｂｄは、第２領域ａｒ_２の第２方向における中央部分を含むことが一般的である。それゆえ、第２領域ａｒ_２内で第１領域ａｒ_１および第２領域ａｒ_２の重なる領域ａｒ_ｄｐと、当該領域ａｒ_ｄｐ以外の領域ａｒ_ｏｔとの境界線ｂｌが第２領域ａｒ_２の重心より第１方向側に位置する場合、第２領域ａｒ_２は誤検出であると推定され得る。そこで、本実施形態では、制御部１８は、第２領域ａｒ_２の一部が第１領域ａｒ_１に重なる場合であって、第２領域ａｒ_２内で第１領域ａｒ_１および第２領域ａｒ_２の重なる領域ａｒ_ｄｐと、当該領域ａｒ_ｄｐ以外の領域ａｒ_ｏｔとの境界線ｂｌが第２領域ａｒ_２の重心より第１方向側に位置するとき、第２領域ａｒ_２の検出結果を棄却する。

なお、第１領域ａｒ_１および第２領域ａｒ_２が正確に検出される場合において、第２領域ａｒ_２の全体が第１領域ａｒ_１に重ならないことが生じ得る。例えば、図７に示すように、所定の種類の物体である通行人ｐｓより撮像部１３側にコーンｃｎが位置する場合、当該通行人ｐｓの上半身のみを囲い、かつ第１領域ａｒ_１と重ならない領域が第２領域ａｒ_２として検出され得る。それゆえ、制御部１８は、第２領域ａｒ_２の全体が第１領域ａｒ_１に重ならない場合、第２領域ａｒ_２の検出結果を棄却しない。

制御部１８は、上述の検出結果が棄却されない第２領域ａｒ_２に囲われる特定の物体の実空間における位置、言換えるとワールド座標系における位置を、以下に説明するように、推定する。

制御部１８は、第２領域ａｒ_２に囲われる物体のワールド座標系における位置を、以下に説明するように、第１領域ａｒ_１および第２領域ａｒ_２の画像ｉｍ上の位置に基づいて推定する。制御部１８は、第２領域ａｒ_２の第２方向における範囲内で、第１方向の逆方向の画像ｉｍの端側から最初に検出される第１領域ａｒ_１と、当該第１領域ａｒ_１以外の領域との切替わり位置を検出する。制御部１８は、例えば、図３から６に示すように、所定の種類の物体全体が第２領域ａｒ_２に含まれる場合、図８に示すように、第１方向の逆方向の画像ｉｍの端ｅｄ_ｂｍ側から最初に検出される第１領域ａｒ_１と、当該第１領域ａｒ_１以外の領域との切替わり位置ｐ_ｓｗを検出する。制御部１８は、例えば、図７に示すように、所定の種類の物体全体が第２領域ａｒ_２に含まれない場合も、図９に示すように、第１方向の逆方向の画像ｉｍの端ｅｄ_ｂｍ側から、最初に検出される第１領域ａｒ_１と当該第１領域ａｒ_１以外の領域との切替わり位置ｐ_ｓｗを検出する。

制御部１８は、画像ｉｍにおける切替わり位置ｐ_ｓｗを、記憶部１６に記憶している変換式または変換表を用いて、ワールド座標系の位置に変換する。制御部１８は、第２領域ａｒ_２の第２方向における範囲内において算出したワールド座標系の位置の中で、基準となる撮像部１３の位置または本体１２の前後方向において本体１２の位置からの間隔が最小となる位置を、物体の位置として推定する。

制御部１８は、推定された物体の種類および、ワールド座標系の位置を外部機器１９に送信するように、送信部１７を制御する。または、制御部１８は、画像ｉｍに第２領域ａｒ_２およびワールド座標系における位置を文字などによる像を重畳して、外部機器１９に送信するように、送信部１７を制御してよい。

次に、本実施形態において制御部１８が実行する、位置推定処理について、図１０のフローチャートを用いて説明する。位置推定処理は、撮像部１３から１フレームの画像信号を取得するたびに開始する。

ステップＳ１００において、制御部１８は、受信する画像信号に相当する画像に、撮像部１３の光学系に基づく歪補正処理を施す。制御部１８は、歪補正処理を施した画像ｉｍを記憶部１６に格納する。歪補正処理後、プロセスはステップＳ１０１に進む。

ステップＳ１０１では、制御部１８は、ステップＳ１００で歪補正処理を施した画像ｉｍにおいて第１領域ａｒ_１を検出する。制御部１８は、第１領域ａｒ_１の位置を記憶部１６に格納する。第１領域ａｒ_１の検出後、プロセスはステップＳ１０２に進む。

ステップＳ１０２では、制御部１８は、ステップＳ１００で歪補正処理を施した画像ｉｍにおいて第２領域ａｒ_２を検出する。制御部１８は、第２領域ａｒ_２の位置を記憶部１６に格納する。第２領域ａｒ_２の検出後、プロセスはステップＳ１０３に進む。

ステップＳ１０３では、制御部１８は、ステップＳ１０２において検出した第２領域ａｒ_２の中から、検出結果の棄却判別を行っていない１つの第２領域ａｒ_２を選択する。選択後、プロセスはステップＳ１０４に進む。

ステップＳ１０４では、制御部１８は、ステップＳ１０３において選択した第２領域ａｒ_２の全体が第１領域ａｒ_１に重なるか否かを判別する。重ならない場合、プロセスはステップＳ１０５に進む。重なる場合、プロセスはステップＳ１０７に進む。

ステップＳ１０５では、制御部１８は、ステップＳ１０３において選択した第２領域ａｒ_２の一部が第１領域ａｒ_１に重なり、且つ第２領域ａｒ_２に対する当該第２領域ａｒ_２および第１領域ａｒ_１が重なる領域ａｒ_ｄｐの面積比が閾値より大きいか否かを判別する。大きくない場合、プロセスはステップＳ１０６に進む。大きい場合、プロセスはステップＳ１０７に進む。

ステップＳ１０６では、制御部１８は、ステップＳ１０３において選択した第２領域ａｒ_２の一部が第１領域ａｒ_１に重なり、且つ境界線ｂｌが第２領域ａｒ_２の重心より第１方向側に位置するか否かを判別する。位置しない場合、プロセスはステップＳ１０８に進む。位置する場合、プロセスはステップＳ１０７に進む。

ステップＳ１０７では、制御部１８は、ステップＳ１０３において選択した第２領域ａｒ_２の検出結果を棄却する。棄却後、プロセスはステップＳ１０９に進む。

ステップＳ１０８では、制御部１８は、ステップＳ１０３において選択した第２領域ａｒ_２の検出結果を認定する。認定後、プロセスはステップＳ１０９に進む。

ステップＳ１０９では、制御部１８は、ステップＳ１０２において検出したすべての第２領域ａｒ_２に対して検出結果の棄却判別を実行済みであるか否かを判別する。実行済みでない場合、プロセスはステップＳ１０３に戻る。実行済みである場合、プロセスはステップＳ１１０に進む。

ステップＳ１１０では、制御部１８は、ステップＳ１０８において検出結果が認定されたすべての第２領域ａｒ_２の第２方向の各位置における、切替わり位置ｐ_ｓｗを検出する。検出後、プロセスはステップＳ１１１に進む。

ステップＳ１１１では、制御部１８は、ステップＳ１１０において検出した画像ｉｍにおける切替わり位置ｐ_ｓｗを、ワールド座標系の位置に変換する。返還後、プロセスはステップＳ１１２に進む。

ステップＳ１１２では、制御部１８は、各第２領域ａｒ_２の第２方向の各位置に対してステップＳ１１１において算出したワールド座標系の位置の中で、撮像部１３の位置または本体１２の前後方向において本体１２の位置からの間隔が最小となる位置を選択する。選択後、プロセスはステップＳ１１３に進む。

ステップＳ１１３では、制御部１８は、ステップＳ１１２において選択したワールド座標系の位置を第２領域ａｒ_２で囲われた物体の位置として、外部機器１９に送信するように、送信部１７を制御する。送信後、位置推定処理は終了する。

以上のような構成の本実施形態の画像処理装置１４は、画像ｉｍ内の路面および床面が占める第１領域ａｒ_１を検出し、画像ｉｍ内の所定の種類の物体を囲う第２領域ａｒ_２を検出し、第１領域ａｒ_１および第２領域ａｒ_２の当該画像ｉｍ内での位置に基づいて第２領域ａｒ_２の検出結果の棄却の要否を判別する。このような構成により、画像処理装置１４は、不正確に検出された第２領域ａｒ_２検出結果を棄却するので、画像ｉｍ上で検出する所定の種類の物体の誤認識の可能性を低減し得る。

また、本実施形態の画像処理装置１４は、第２領域ａｒ_２に囲われる物体までの実空間における位置を、当該第２領域ａｒ_２の特定の第１方向に垂直な第２方向の範囲内で、第１方向の逆方向の画像ｉｍの端ｅｄ_ｂｍから最初に検出される第１領域ａｒ_１と、当該第１領域ａｒ_１以外の領域との切替わり位置ｐ_ｓｗに基づいて推定する。このような構成により、画像処理装置１４は、第２領域ａｒ_２に囲われる物体までの実空間における位置を、第２領域ａｒ_２のみを用いて算出する構成に比べて、より正確に推定し得る。

第２領域ａｒ_２のみを用いた物体の実空間における位置の算出では、第２領域ａｒ_２の外枠の第１方向の逆側のいずこかにおいて物体が地面に接触しているとみなされる。図１１に示すように、実空間の鉛直上方から見た第２領域ａｒ_２に相当する仮想直線ｖｌは、撮像部１３の光軸ｏｘに対して９０度以下の角度で傾斜している。それゆえ、撮像部１３から仮想直線ｖｌまでの光軸方向における間隔は、一定とならず、傾斜と仮想直線ｖｌの長さとに応じて定まる範囲に含まれる。したがって、図８に示すように、画像ｉｍ内で切替わり位置ｐ_ｓｗが第２領域ａｒ_２内に位置する場合であっても、実空間における物体の撮像部１３からの位置には、ずれが生じ得る。一方で、本実施形態においては、画像処理装置１４は、切替わり位置ｐ_ｓｗに基づいて実空間における位置を推定するので、当該ずれを低減し得る。

また、図９に示すように、切替わり位置ｐ_ｓｗが第２領域ａｒ_２の外部に位置する場合である場合、第２領域ａｒ_２の外枠の第１方向の逆側の部分は、当該第２領域ａｒ_２に囲われる物体の路面への接触位置に対応していない。それゆえ、物体までの実空間における位置を第２領域ａｒ_２のみを用いて算出する構成では、正確な位置に比べて撮像部１３から離れた位置が算出される。一方で、本実施形態においては、切替わり位置ｐ_ｓｗに基づいて実空間における位置を推定するので、画像処理装置１４は、物体の実空間における位置が実際の位置より遠い位置に算出されることを防ぎ得る。上述の方法では、物体の実空間における位置が実際の位置より近い位置になるように算出され得る。しかし、算出される位置には、所定の種類の物体が位置しない可能性が高いが、所定の種類以外の物体が位置する可能性が高い。それゆえ、路面上の障害物の位置の検出という目的に対して、物体の実空間における位置が実際の位置より近い位置になるように算出されることは、大きな問題とならない。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、本実施形態では、画像ｉｍにおける第１領域ａｒ_１および第２領域ａｒ_２の位置に基づいて、第２領域ａｒ_２の棄却の要否を判別するが、第１領域ａｒ_１および第２領域ａｒ_２の少なくとも一方を棄却してよい。本実施形態における、第２領域ａｒ_２の棄却の要否の判別は、路面および床面の画像判別の正確性が、人間および車両などの画像判別の正確性より高いという前提に基づく。しかし、画像判別の正確性によっては、第１領域ａｒ_１および第２領域ａｒ_２の少なくとも一方の棄却の要否を判別してよい。また、本実施形態では、第１領域ａｒ_１を棄却する場合、第１領域ａｒ_１における第２領域ａｒ_２に重なる部分を棄却してよい。第１領域ａｒ_１の画像判別の正確性が疑わしい場合であっても、第１領域ａｒ_１全体の正確性が低いとは限られないからである。

また、本実施形態では、撮像装置１０は、本体１２に搭載されているが、建物の外壁および交通標識の支柱などの屋外設備、ならびに建物の内壁などの屋内設備に設けられてよい。

１０撮像装置
１１移動体
１２本体
１３撮像部
１４画像処理装置
１５受信部
１６記憶部
１７送信部
１８制御部
１９外部機器
ａｒ_１第１領域
ａｒ_２第２領域
ａｒ_ｄｐ第１領域および第２領域が重なる領域
ａｒ_ｏｔ第１領域および第２領域が重なる領域以外の領域
ｂｄ境界
ｂｌ境界線
ｃｎコーン
ｅｄ_ｂｍ第１方向の逆方向の画像の端
ｆｄ田畑
ｉｍ画像
ｏｘ光軸
ｐｓ通行人
ｐ_ｓｗ切替わり位置
ｒｄ道路
ｖｃ車両
ｖｌ仮想直線

Claims

撮像部から画像信号を受信する受信部と、
前記画像信号に相当する画像内の路面および床面が占める第１領域を検出し、前記画像内の所定の種類の物体を囲う第２領域を検出し、前記第１領域および前記第２領域の該画像内での位置に基づいて前記第１領域および前記第２領域の少なくともいずれかの検出結果の棄却の要否を判別する制御部と、を備え、
前記制御部は、前記第２領域の一部が前記第１領域に重なる場合であって、前記第２領域内で前記第１領域に重なる領域と、該領域以外の領域との境界線が、該第２領域の重心より、前記画像における特定の第１方向側に位置するとき、前記第１領域における該第２領域に重なる部分と該第２領域との少なくとも一方の検出結果を棄却する
画像処理装置。
請求項１に記載の画像処理装置において、
前記第２領域は、バウンディングボックスである
画像処理装置。
請求項１または２に記載の画像処理装置において、
前記制御部は、前記第２領域の全体が前記第１領域に重なる場合、前記第１領域における該第２領域に重なる部分と該第２領域との少なくとも一方の検出結果を棄却する
画像処理装置。
請求項１から３のいずれか１項に記載の画像処理装置において、
前記制御部は、前記第２領域の一部が前記第１領域に重なる場合であって、該第２領域に対する、該第２領域および前記第１領域の重なる領域の面積比が閾値より大きいとき、前記第１領域における該第２領域に重なる部分と該第２領域との少なくとも一方の検出結果を棄却する
画像処理装置。
請求項１から４のいずれか１項に記載の画像処理装置において、
前記制御部は、
前記第２領域に囲われる物体までの実空間における位置を、該第２領域の特定の第１方向に垂直な第２方向の範囲内で、前記第１方向の逆方向の前記画像の端から最初に検出される第１領域と、該第１領域以外の領域との切替わり位置に基づいて推定する
画像処理装置。
撮像により画像信号を生成する撮像部と、
前記画像信号に相当する画像内の路面および床面が占める第１領域を検出し、前記画像内の所定の種類の物体を囲う第２領域を検出し、前記第１領域および第２領域の該画像内での位置に基づいて前記第１領域および前記第２領域の少なくともいずれかの棄却の要否を判別する制御部と、を備え、
前記制御部は、前記第２領域の一部が前記第１領域に重なる場合であって、前記第２領域内で前記第１領域に重なる領域と、該領域以外の領域との境界線が、該第２領域の重心より、前記画像における特定の第１方向側に位置するとき、前記第１領域における該第２領域に重なる部分と該第２領域との少なくとも一方の検出結果を棄却する
撮像装置。
本体と、
前記本体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する撮像部と、
前記画像信号に相当する画像内の路面および床面が占める第１領域を検出し、前記画像内の所定の種類の物体を囲う第２領域を検出し、前記第１領域および第２領域の該画像内での位置に基づいて前記第１領域および前記第２領域の少なくともいずれかの棄却の要否を判別する制御部と、を備え、
前記制御部は、前記第２領域の一部が前記第１領域に重なる場合であって、前記第２領域内で前記第１領域に重なる領域と、該領域以外の領域との境界線が、該第２領域の重心より、前記画像における特定の第１方向側に位置するとき、前記第１領域における該第２領域に重なる部分と該第２領域との少なくとも一方の検出結果を棄却する
移動体。