JP7058128B2 - 情報処理装置およびプログラム - Google Patents

Description

本開示は、情報処理装置およびプログラムに関する。

近年では、カメラの撮像で得られた画像から障害物を認識し、予め決められた距離テーブルに基づいて自車から障害物までの距離を算出する距離推定装置が知られている。しかし、単に距離テーブルに基づいて自車から障害物までの距離を算出するだけでは、道路が傾斜している場合に、正しい距離を算出することが難しい場合がある。

そこで、特許文献１では、道路が傾斜している場合でも自車から障害物までの距離を算出することが可能な距離推定装置が開示されている。距離推定装置は、自車に搭載された撮像用のビデオカメラと、自車と障害物との距離を算出する距離算出部とを備える。

距離推定装置は、ビデオカメラの撮像により得られた画像から障害物の法線ベクトルを抽出し、抽出された法線ベクトルに基づき、自車が傾斜路の上を走行している状態であるか否かの判定を行う。そして、距離推定装置は、自車が傾斜路の上を走行している状態であると判定される場合、平坦路に対する傾斜路の傾斜角を算出する。そして、距離算出部は、平坦路と傾斜路との境界から障害物までの距離を、算出された傾斜角に基づいて補正し、自車と障害物との距離を算出する。

特開２０１３－９２８２０号公報

しかし、特許文献１に開示されるような距離推定装置では、自社から障害物までの距離を正確に推定することが困難な場合がある。例えば、当該距離推定装置では、自車から障害物までの距離を傾斜角に基づいて補正することはできても、障害物と路面との接地位置を正確に算出することが困難な場合がある。このため、自車から障害物までの距離との間に誤差が生じてしまう。

そこで、本開示は、単眼カメラから物体までの距離を正確に推定することができる情報処理装置およびプログラムを提供する。

上記目的を達成するために、本開示の一形態に係る情報処理装置は、１つの単眼カメラの撮像により得られた画像を取得する画像取得部と、前記画像における物体の領域を判定する領域判定部と、判定された前記物体の領域の所定方向の端部の、前記所定方向についての変化に基づいて前記物体の領域を分割する領域分割部と、前記物体の領域の分割により得られる前記物体の部分領域の少なくとも１つについて、前記単眼カメラから前記物体の部分領域に対応する前記物体までの距離を推定する距離推定部と、前記物体の領域の輪郭を示す輪郭データにおける、前記端部の前記所定方向についての変化量を算出し、算出した前記変化量が示された変化量データを前記輪郭データと対応付ける算出部とを備え、前記領域分割部は、前記算出部から前記輪郭データと前記変化量データとを取得し、取得した前記輪郭データに含まれる１以上の物体の領域の輪郭のうち、前記変化量データに示される前記算出部が算出した前記変化量が所定の閾値以上である前記端部に基づいて前記物体の領域を分割する。

また、本開示の一形態に係るプログラムは、１つの単眼カメラの撮像により得られた画像を取得することと、前記画像における物体の領域を判定することと、判定された前記物体の領域の所定方向の端部の、前記所定方向についての変化に基づいて前記物体の領域を分割することと、前記物体の領域の分割により得られる前記物体の部分領域の少なくとも１つについて、前記単眼カメラから前記物体の部分領域に対応する前記物体までの距離を推定することと、前記物体の領域の輪郭を示す輪郭データにおける、前記端部の前記所定方向についての変化量を算出し、算出した前記変化量が示された変化量データを前記輪郭データと対応付けることと、前記輪郭データと前記変化量データとを取得し、取得した前記輪郭データに含まれる１以上の物体の領域の輪郭のうち、前記変化量データに示される算出した前記変化量が所定の閾値以上である前記端部に基づいて前記物体の領域を分割することとを含む方法をコンピュータに実行させる。

本開示の情報処理装置およびプログラムによれば、単眼カメラから物体までの距離を正確に推定することができる。

図１は、実施の形態に係る情報処理装置を搭載した車両を示す模式図である。 図２は、実施の形態に係る情報処理装置の機能構成を示すブロック図である。 図３は、実施の形態に係る情報処理装置が行う処理を説明するための図である。 図４は、実施の形態に係る情報処理装置の動作を示すフローチャートである。

上述したように、単眼カメラ（以下、単にカメラとも称する。）を用いた距離測定技術は従来からあるが、その従来技術には様々な課題がある。具体的には、カメラに映る路面と物体の接地面に基づいて距離を測定する場合、カメラ画像中から物体の接地面を検出する必要があるが、従来技術では接地面を正確に検出することが困難な場合がある。これに対し、本願の発明者は、領域分割技術を利用することを考えた。領域分割技術は、画像を当該画像に映る物体に対応した領域に分割する技術である。しかし、領域分割技術を用いても、画像上で複数の物体が重なる又は隣接する場合は、カメラから当該複数の物体の各々までの距離をそれぞれ正確に算出することが困難となりうる。

そこで、本開示の一形態に係る情報処理装置は、１つの単眼カメラの撮像により得られた画像を取得する画像取得部と、前記画像における物体の領域を判定する領域判定部と、判定された前記物体の領域の所定方向の端部の、前記所定方向についての変化に基づいて前記物体の領域を分割する領域分割部と、前記物体の領域の分割により得られる前記物体の部分領域の少なくとも１つについて、前記単眼カメラから前記物体の部分領域に対応する前記物体までの距離を推定する距離推定部とを備える。

このように、画像に映る物体の領域の端部における所定方向の変化に基づいて物体の領域を分割するため、当該物体の領域が複数の物体を含む場合であっても個々の物体を区別することができる。このため、単眼カメラから個々の物体までの距離をそれぞれ推定することができる。

したがって、この情報処理装置では、複数の物体が画像に映る場合であっても、単眼カメラから所望の物体までの距離を正確に推定することができる。

また、本開示の一形態に係るプログラムは、１つの単眼カメラの撮像により得られた画像を取得することと、前記画像における物体の領域を判定することと、判定された前記物体の領域の所定方向の端部の、前記所定方向についての変化に基づいて前記物体の領域を分割することと、前記物体の領域の分割により得られる前記物体の部分領域の少なくとも１つについて、前記単眼カメラから前記物体の部分領域に対応する前記物体までの距離を推定することとを含む方法をコンピュータに実行させる。

このように、上記プログラムを実行することにより情報処理装置は上述の作用効果を奏する。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。

以下、本開示の実施の形態に係る情報処理装置およびプログラムについて説明する。

（実施の形態）
［構成］
まず、本実施の形態に係る情報処理装置１００および情報処理装置１００を搭載した車両３の構成について図１～図３を用いて説明する。

図１は、実施の形態に係る情報処理装置１００を搭載した車両３を示す模式図である。図２は、実施の形態に係る情報処理装置１００の機能構成を示すブロック図である。図３は、実施の形態に係る情報処理装置１００が行う処理を説明するための図である。

図１および図２に示すように、情報処理装置１００は、単眼カメラ１０が撮像で得られた画像に基づいて、単眼カメラ１０から物体までの距離を推定することが可能な装置である。車両３には、単眼カメラ１０と、情報処理装置１００とが搭載されている。画像は、静止画像でもよく、動画像でもよい。

単眼カメラ１０は、車両３の周囲を撮像することが可能なように、車両３に配置されている。本実施の形態では、単眼カメラ１０は、車両３の車内に前方を撮像するように配置されているが、例えばラジエータグリル、ボンネット等に配置されていてもよく、物体を撮像可能に配置されていれば、如何様に配置されていてもよい。

単眼カメラ１０は、情報処理装置１００に電気的に接続され、撮像により得られた画像に所定の処理を施し、画像データを生成し、画像データを情報処理装置１００に出力する。単眼カメラ１０は、所定の時間間隔で車両３の周囲を撮像する。なお、本実施の形態では、単眼カメラ１０が情報処理装置１００の外部に配置されているが、単眼カメラ１０が情報処理装置１００に内蔵されていてもよい。

情報処理装置１００は、画像取得部１１０と、領域判定部１２０と、抽出部１３０と、算出部１４０と、領域分割部１５０と、路面接触判定部１６０と、距離推定部１７０と、出力部１８０とを備える。

図３のａは、単眼カメラ１０の撮像により得られた画像データを示す。図３のａに示すように、画像取得部１１０は、１つの単眼カメラ１０の撮像により得られた画像データを取得する。具体的には、画像取得部１１０は、画像データを領域判定部１２０および路面接触判定部１６０に出力する。

領域判定部１２０は、画像取得部１１０から画像データを取得する。図３のｂは、画像データの示す画像における領域の判定結果を示す。図３のｂに示すように、領域判定部１２０は、少なくとも画像における物体の領域および画像における路面の領域を判定する。具体的には、領域判定部１２０は、セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）と呼ばれる、画像のピクセルごとに画像に映る物体の種類を判定し、この判定結果に基づいて物体の種類毎に物体の領域を検出する技術を用いる。例えば、領域判定部１２０は、セマンティックセグメンテーションにより、図３のｂに示すように、画像における物体としての車両、路面としての車道および背景を判定し、車両の領域、車道の領域および背景の領域を抽出する。そして、領域判定部１２０は、抽出された物体の領域、路面の領域等を示す領域データを抽出部１３０、領域分割部１５０および路面接触判定部１６０に出力する。物体は、例えば、人、自動車、自動二輪車又は自転車等である。また、路面は、車道、歩道等の物体が通行する道路である。

抽出部１３０は、領域判定部１２０から、領域データを取得する。図３のｃは、物体の領域の輪郭の抽出結果を示す。図３のｃに示すように、抽出部１３０は、領域データから物体の領域の輪郭を抽出する。具体的には、抽出部１３０は、領域データの示す領域のうちの物体の領域の輪郭を抽出する。例えば、抽出部１３０は、図３のｃに示すように、２台の車両を含む１つの物体の領域の輪郭を抽出する。

図３のｄは、物体の領域の輪郭の下端の抽出結果を示す。図３のｄに示すように、抽出部１３０は、物体の領域の輪郭の抽出結果から、当該輪郭の所定方向の端を抽出する。例えば、画像の水平方向をＸ軸方向と、画像の垂直方向をＹ軸方向とした場合、抽出部１３０は、Ｙ軸方向を所定方向として、当該輪郭のＹ軸方向の下端を抽出する。そして、抽出部１３０は、抽出した物体の領域の輪郭の下端を示す下端データを算出部１４０に出力する。また、抽出部１３０は、抽出した物体の領域の輪郭を示す輪郭データを領域分割部１５０に出力する。なお、領域判定部１２０が物体の領域の輪郭を抽出し、物体の領域の輪郭の下端を抽出してもよい。物体の領域のＹ軸方向の端点の集合は、物体の領域の輪郭の下端の一例である。

算出部１４０は、抽出部１３０から下端データを取得する。図３のｅは、物体の領域の輪郭の下端のＹ軸方向の変化を示す。図３のｅに示すように、算出部１４０は、物体の領域の端部のＹ軸方向の変化を検出する。具体的には、算出部１４０は、物体の領域の輪郭の下端のＹ軸方向の変化量ΔＹを算出する。算出部１４０は、算出した変化量ΔＹが示された変化量データを、輪郭データと対応付けて、領域分割部１５０に出力する。

領域分割部１５０は、抽出部１３０が出力した輪郭データと、算出部１４０が出力した変化量データとを取得する。領域分割部１５０は、変化量データの示す変化量ΔＹが所定の閾値以上であるか否かを判定し、当該変化量ΔＹが所定の閾値以上である端部に基づいて物体の領域を分割する。

図３のｆは、分割された物体の領域を示す。図３のｆに示すように、領域分割部１５０は、算出部１４０が算出した変化量が所定の閾値以上である下端部分に基づいて、Ｙ軸方向に物体の領域を切断する。例えば、領域分割部１５０は、物体の領域の輪郭の下端を構成する下端点のうちＹ軸方向の変化量が所定の閾値以上となる２つの下端点を特定し、当該２つ下端点のうちのＸ軸方向側の下端点を通るＹ軸方向の直線で、この物体の領域の輪郭を切断することにより物体の領域の輪郭を分割する。物体の領域の輪郭は、領域分割部１５０により２つ以上に分割される。領域分割部１５０は、物体の領域の輪郭の分割結果を示す分割データを路面接触判定部１６０に出力する。なお、物体の領域の輪郭が分割される例を説明したが、物体の領域そのものが分割されてもよい。

また、領域分割部１５０は、２つの下端点を特定し、当該２つ下端点のうちの一方を通るＹ軸方向の直線で、この物体の領域の輪郭を切断することにより物体の領域の輪郭を分割したが、分割の方法はこれに限定されない。

ここで、変化量の閾値は、例えば物体の領域の大きさに応じて設定される。例えば、領域分割部１５０は、変化量の閾値として、物体の領域が所定値よりも大きければ第１の閾値を設定し、物体の領域の大きさが所定値以下であれば第１の閾値よりも小さい第２の閾値を設定してもよい。

具体的には、物体の領域が所定値よりも大きい場合としては、車両３の近くに物体が存在する場合が想定される。物体が車両３に近いほど物体の領域が大きくなるため、Ｙ軸方向の変化量は、物体の領域の大きさに応じて大きくなりやすい。このため、領域分割部１５０は、第２の閾値よりも大きい第１の閾値を設定してもよい。

また、物体の領域が所定値よりも小さい場合としては、車両３の遠くに物体が存在する場合が想定される。物体が車両３から遠いほど物体の領域が小さくなるため、Ｙ軸方向の変化量は、物体の領域の大きさに応じて小さくなりやすい。このため、領域分割部１５０は、第１の閾値よりも小さい第２の閾値を設定してもよい。

なお、第１の閾値および第２の閾値は、所定の閾値の一例であるため、変化量の閾値は２つの閾値に限定されず３つ以上用意されてもよい。また、変化量の閾値は、物体の領域の大きさを入力として算出される値であってもよい。また、上記の所定値、第１の閾値および第２の閾値は、任意に設定することができる。所定値は、１つに限定されず、複数の所定値が設定されていてもよい。

路面接触判定部１６０は、領域判定部１２０から領域データを取得する。また、路面接触判定部１６０は、分割データを領域分割部１５０から取得する。路面接触判定部１６０は、分割データが示す物体の領域の分割により得られた物体の部分領域が路面の領域と接しているか否かを判定する。具体的には、路面接触判定部１６０は、物体の部分領域の輪郭の下端を含む接地判定領域を設定し、接地判定領域に対する路面の領域の包含の程度に基づいて接地有無を判定する。本実施の形態では、路面接触判定部１６０は、例えば、物体の部分領域の輪郭の下端から所定数のピクセル内が接地判定領域として設定し、当該接地判定領域内に路面の領域が所定の割合以上含まれているか否かを判定する。そして、路面接触判定部１６０は、当該接地判定領域内に路面の領域が所定の割合以上含まれている物体の部分領域を示す接地データを距離推定部１７０に出力する。

距離推定部１７０は、物体の部分領域について、単眼カメラ１０から当該物体の部分領域に対応する物体までの距離を推定する。具体的には、距離推定部１７０は、物体の部分領域と路面の領域とが接していると路面接触判定部１６０が判定した場合に、単眼カメラ１０から当該物体の部分領域に対応する物体までの距離を推定する。このため、物体の部分領域が路面の領域と接していない場合には、距離推定部１７０は、単眼カメラ１０から当該物体の部分領域に対応する物体までの距離を推定しない。

物体の部分領域が路面の領域と接している場合において、距離推定部１７０は、さらに、予め定められた種類の路面について、単眼カメラ１０から物体の部分領域に対応する物体までの距離を推定する。路面の種類は、路面接触判定部１６０により判定される。例えば、車道を走行する（すなわち車道に接地する）自動車は、車道を走行する車両３の進路に影響を与える可能性がある。そのため、距離推定部１７０は、路面の種類が車道である場合、距離を推定する。一方で、例えば、歩道に植えられた（すなわち歩道に接地する）街路樹は、車道を走行する車両３の進路に影響を与え難い。そのため、距離推定部１７０は、路面の種類が歩道である場合、距離を推定しない。

また、物体の部分領域が路面の領域と接している場合において、距離推定部１７０は、さらに、予め定められた種類の物体について、単眼カメラ１０から物体の部分領域に対応する物体までの距離を推定する。例えば、人又は自動車等の移動体は、車両３の進路に影響を与える可能性がある。そのため、距離推定部１７０は、物体の種類が移動体である場合、距離を推定する。一方で、例えば、建物又は樹木等の固定物は、車両３の進路に影響を与え難い。そのため、距離推定部１７０は、物体の種類が固定物である場合、距離を推定しない。このように、路面の種類および物体の種類は、車両３の進路又は速度などの車両３の挙動又は制御に影響を与えるか否かによって定められてもよい。

また、距離推定部１７０は、さらに、路面の種類および物体の種類の組が所定の組である場合、距離を推定してもよい。具体的には、距離推定部１７０は、判定された路面の種類および物体の種類の組が、車道および自動車の組、歩道および人の組、歩道および街路樹の組等といった所定の組であれば、単眼カメラ１０から物体の部分領域に対応する物体までの距離を推定してもよい。

距離推定部１７０は、分割データに含まれる物体ごとの下端座標と単眼カメラ１０の特性に基づいて単眼カメラ１０から当該物体までの距離とを推定する。例えば、距離推定部１７０は、物体の部分領域に対応する下端座標、および単眼カメラ１０のレンズの焦点距離、単眼カメラ１０の車両３への設置情報を用いて、単眼カメラ１０から当該物体までの距離を推定する。なお、当該距離の推定には、物体の部分領域に対応する物体ごとに距離を推定する他の手法が用いられてもよい。また、当該距離の推定には、物体の部分領域に対応する物体の実際の大きさと当該物体の画像上の大きさを用いて補正を行ってもよい。

距離推定部１７０は、推定された距離を示す距離データを出力部１８０に出力する。距離データは、推定された距離の数値（１次元データ）であってもよく、２次元又は３次元空間上の位置関係を示すデータ（２次元又は３次元データ）であってもよい。また、距離推定部１７０は、距離データに基づく画像データを出力部１８０に出力してもよい。図３のｇは、物体の認識結果および推定された距離が重畳された画像を示す一例である。図３のｇに示すように、距離推定部１７０は、画像取得部１１０から得た画像データに、単眼カメラ１０から物体までの距離を示すデータを対応付け、出力部１８０に出力してもよい。例えば、距離推定部１７０は、画像データに、抽出された物体の部分領域を示すオブジェクトと当該物体の部分領域ごとに推定された距離を示すオブジェクトとが重畳された画像データを出力部１８０に出力する。

出力部１８０は、距離推定部１７０が推定した単眼カメラ１１０から画像に映る物体までの距離を、外部の装置に出力する。具体的には、出力部１８０は、距離推定部１７０から取得した距離データを外部の装置へ出力する。また、出力部１８０は、距離推定部１７０から取得した画像データを外部の装置へ出力してもよい。外部の装置は、例えば、自動運転を行うために車両３が備える制御装置、又は画像を表示する表示装置としてのカーナビゲーション、スマートフォン等である。例えば、制御装置は、取得された距離データを用いて車両３の加速、減速、操舵又は走行ルート設定などの制御を実行する。

［動作］
次に、本実施の形態における情報処理装置１００の動作について、図３および図４を用いて説明する。

図４は、実施の形態に係る情報処理装置１００の動作を示すフローチャートである。

このフローチャートでは、情報処理装置１００を搭載した車両の走行中において、路面を走行している他の車両が存在している場合を想定している。

図３のａおよび図４のＳ１に示すように、まず、単眼カメラ１０が撮像により得られた画像データを画像取得部１１０に送信し、画像取得部１１０は、画像データを受信する。画像取得部１１０は、画像データを領域判定部１２０および路面接触判定部１６０に出力する。

図３のｂおよび図４のＳ２に示すように、次に、領域判定部１２０は、画像取得部１１０から取得した画像データに基づいて、画像データにおける物体の領域および路面の領域を判定する。領域判定部１２０は、判定された物体の領域および路面の領域を示す領域データを抽出部１３０および路面接触判定部１６０に出力する。

図３のｃおよび図４のＳ３に示すように、次に、抽出部１３０は、取得した領域データに基づいて、物体の領域と路面の領域とを抽出し、抽出した物体の領域から、物体の領域の輪郭を抽出する。

図３のｄおよび図４のＳ４に示すように、次に、抽出部１３０は、抽出された物体の領域の輪郭から、物体の領域の輪郭の下端を抽出する。具体的には、抽出部１３０は、抽出された物体の領域の輪郭のＹ軸方向の下端を抽出する。抽出部１３０は、抽出した物体の領域の輪郭の下端を示す下端データを算出部１４０および領域分割部１５０に出力する。また、抽出部１３０は、抽出した物体の領域の輪郭を示す輪郭データを領域分割部１５０に出力する。

図３のｅおよび図４のＳ５に示すように、次に、算出部１４０は、取得した下端データの示す物体の領域の輪郭の下端のＹ軸方向の変化量ΔＹを算出する。算出部１４０は、算出した変化量ΔＹが示された変化量データを領域分割部１５０に出力する。

図４のＳ６に示すように、次に、領域分割部１５０は、取得した輪郭データに含まれる１以上の物体の領域の輪郭のうち、物体の領域が所定値よりも大きいか否かを判断する。

図４のＳ７に示すように、物体の領域が所定値よりも大きい場合（Ｓ６でＹＥＳ）、領域分割部１５０は、所定の閾値を第１の閾値に設定する。一方、図４のＳ８に示すように、物体の領域の大きさが所定値以下である場合（Ｓ６でＮＯ）、領域分割部１５０は、所定の閾値を第２の閾値に設定する。

図４のＳ９に示すように、次に、領域分割部１５０は、取得した変化量データの示す変化量ΔＹがステップＳ７又はＳ８で設定した第１の閾値以上又は第２の閾値以上であるか否かを判断する。

図３のｆおよび図４のＳ１０に示すように、変化量が第１の閾値又は第２の閾値以上である場合（Ｓ９でＹＥＳ）に、領域分割部１５０は、当該変化量データに対応する物体の領域の輪郭の下端部分で、この物体の領域の輪郭をＹ軸方向に分割する。なお、第１の閾値又は第２の閾値以上の変化が複数検出される場合は、領域分割部１５０は、物体の領域の輪郭を複数に分割する。そして、領域分割部１５０は、分割した物体の部分領域を示す分割データを路面接触判定部１６０に出力する。

一方、変化量が第１の閾値又は第２の閾値以上でない場合（Ｓ９でＮＯ）、処理がステップＳ１に戻る。

図４のＳ１１に示すように、次に、路面接触判定部１６０は、取得した分割データの示す物体の部分領域が路面の領域と接しているか否かを判定する。本実施の形態では、路面接触判定部１６０は、物体の部分領域についての接地判定領域内に路面の領域が存在しているか否かで、物体の部分領域が路面の領域と接しているか否かを判定する。

図３のｇおよび図４のＳ１２に示すように、１以上の物体の部分領域が路面の領域と接していると判定された場合（Ｓ１１でＹＥＳ）、距離推定部１７０は、路面の種類および物体の種類の組が所定の組であるか否かを判定する。路面の種類および物体の種類の組が所定の組でない場合（Ｓ１２でＮＯ）、処理がＳ１に戻る。なお、Ｓ１２の処理が行われずにＳ１３に処理が進んでもよい。

図４のＳ１３に示すように、一方、路面の種類および物体の種類の組が所定の組である場合（Ｓ１２でＹＥＳ）、距離推定部１７０は、単眼カメラ１０から当該物体の部分領域に対応する物体までの距離を推定する。そして、距離推定部１７０は、推定した距離を外部の装置に出力部１８０を介して出力する。そして、処理がステップＳ１に戻り、同様の動作が繰り返される。

一方、全ての物体の部分領域が路面の領域と接していないと判断された場合（Ｓ１１でＮＯ）、距離推定部１７０は、単眼カメラ１０から物体までの距離を推定しない。そして、処理がステップＳ１に戻り、同様の動作が繰り返される。

［作用効果］
次に、本実施の形態における情報処理装置１００およびプログラムの作用効果について説明する。

上述したように、本実施の形態に係る情報処理装置１００は、１つの単眼カメラ１０の撮像により得られた画像を取得する画像取得部１１０と、画像における物体の領域を判定する領域判定部１２０と、判定された物体の領域のＹ軸方向の端部の、Ｙ軸方向についての変化に基づいて物体の領域を分割する領域分割部１５０と、物体の領域の分割により得られる物体の部分領域の少なくとも１つについて、単眼カメラ１０から物体の部分領域に対応する物体までの距離を推定する距離推定部１７０とを備える。

このように、画像に映る物体の領域の端部におけるＹ軸方向の変化に基づいて物体の領域を分割するため、当該物体の領域が複数の物体を含む場合であっても個々の物体を区別することができる。このため、単眼カメラ１０から個々の物体までの距離をそれぞれ推定することができる。

したがって、この情報処理装置１００では、複数の物体が画像に映る場合であっても、単眼カメラ１０から所望の物体までの距離を正確に推定することができる。

また、本実施の形態に係るプログラムは、１つの単眼カメラ１０の撮像により得られた画像を取得することと、画像における物体の領域を判定することと、判定された物体の領域のＹ軸方向の端部の、Ｙ軸方向についての変化に基づいて物体の領域を分割することと、物体の領域の分割により得られる物体の部分領域の少なくとも１つについて、単眼カメラ１０から物体の部分領域に対応する物体までの距離を推定することとを含む方法をコンピュータに実行させる。

このように、上記プログラムを実行することにより情報処理装置１は上述の作用効果を奏する。

また、本実施の形態に係る情報処理装置１００において、領域判定部１２０は、さらに、画像における路面の領域を判定する。また、情報処理装置１００は、さらに、物体の部分領域が路面の領域と接しているか否かを判定する路面接触判定部１６０を備える。そして、距離推定部１７０は、物体の部分領域と路面の領域とが接していると路面接触判定部１６０が判定した場合に、距離を推定する。

このように、物体の部分領域と路面の領域とが接していると路面接触判定部１６０が判定した場合、距離推定部１７０が単眼カメラ１０から路面の領域と接している物体の部分領域に対応する物体までの距離を推定するため、単眼カメラ１０から路面の領域と接している物体の部分領域に対応する物体以外の物体までの距離を推定することはない。このため、距離の誤検出を抑制することができる。

また、本実施の形態に係る情報処理装置１００において、路面接触判定部１６０は、さらに、物体の部分領域と接している路面の領域が所定の種類の路面の領域であるか否かを判定する。そして、距離推定部１７０は、さらに、物体の部分領域と接している路面の領域が所定の種類の路面の領域であると路面接触判定部１６０が判定した場合に、距離を推定する。

例えば、車道を走行する自動車は、車道を走行する車両３の進路に影響を与える可能性がある。一方で、例えば、歩道に植えられた街路樹は、車道を走行する車両３の進路に影響を与え難い。これに対し上記構成によれば、距離推定部１７０は、路面の種類が車道である場合、この距離を推定し、路面の種類が歩道である場合、距離を推定しない。このため、距離推定部１７０による処理を高速化でき、推定される距離を車両制御処理などのリアルタイム性が要求される処理へタイムラグを抑制して提供することができる。

また、本実施の形態に係る情報処理装置１００において、路面接触判定部１６０は、さらに、路面の領域と接している物体の部分領域に対応する物体が所定の種類の物体であるか否かを判定する。そして、距離推定部１７０は、さらに、路面の領域と接している物体の部分領域に対応する物体が所定の種類の物体であると路面接触判定部１６０が判定した場合に、距離を推定する。

例えば、人又は自動車等の移動体は、車両３の進路に影響を与える可能性がある。一方で、例えば、建物又は樹木等の固定物は、車道を走行する車両３の進路に影響を与え難い。これに対し上記構成によれば、距離推定部１７０は、物体の種類が移動体である場合、距離を推定し、物体の種類が移動体でない場合、距離を推定しない。このため、距離推定部１７０による処理を高速化でき、推定される距離を車両制御処理などのリアルタイム性が要求される処理へタイムラグを抑制して提供することができる。

また、本実施の形態に係る情報処理装置１００において、路面接触判定部１６０は、さらに、物体の部分領域と接している路面の領域に対応する路面の種類、および、路面の領域と接している物体の部分領域に対応する物体の種類、を判定する。そして、距離推定部１７０は、路面の種類および物体の種類の組が所定の組である場合、距離を推定する。

このように、路面接触判定部１６０が路面の種類と物体の種類とを判定し、距離推定部１７０は路面の種類および物体の種類の組が所定の組である場合に距離を推定する。一方で、路面の種類および物体の種類の組が所定の組でない場合は、距離推定部１７０は距離を推定しない。このため、距離推定部１７０による処理を高速化でき、推定される距離を車両制御処理などのリアルタイム性が要求される処理へタイムラグを抑制して提供することができる。

また、本実施の形態に係る情報処理装置１００は、さらに、端部の、Ｙ軸方向についての変化量を算出する算出部１４０を備える。そして、領域分割部１５０は、算出部１４０が算出した変化量が所定の閾値以上である端部に基づいて物体の領域を分割する。

このように、算出部１４０がＹ軸方向についての変化量を算出し、領域分割部１５０は、変化量が所定の閾値以上となる端部に基づいて物体の領域を切断することにより分割する。このため、変化が急峻な箇所を特定することができ、物体の領域を適切に分割することができる。従って、各々の物体ごとに単眼カメラ１０との距離を正確に推定することができる。

また、本実施の形態に係る情報処理装置１００において、所定の閾値は、物体の領域の大きさに応じて設定される。

例えば物体が車両３に近いほど画像における物体の領域が大きくなるため、物体の領域の下端の変化量も大きくなる。ここで、上記所定の閾値が一定である場合、単独の物体についての物体の領域が分割されてしまうおそれがある。また、反対に、物体が車両３から遠いほど画像における物体の領域が小さくなるため、物体の領域の下端の変化量も小さくなる。ここで、上記所定の閾値が一定である場合、複数の物体についての物体の領域が分割されないおそれがある。これに対し、上記構成によれば、単独の物体についての物体の領域が分割されること、および複数の物体についての物体の領域が分割されないこと、を抑制することができる。

また、本実施の形態に係る情報処理装置１００において、領域分割部１５０は、物体の領域をＹ軸方向に分割する。

この構成によれば、物体の領域の下端の変化の方向に沿って物体の領域を分割することができる。このため、物体の形状に近い形に物体の領域を分割することができる。

（その他変形例）
以上、本開示の実施の形態に係る情報処理装置およびプログラムについて説明したが、本開示の実施の形態は上述の実施の形態に限定されるものではない。例えば、上記の実施の形態では、情報処理装置１００が搭載される車両３が四輪自動車である例を説明したが、情報処理装置１００は他の種類の移動体に搭載されてもよい。

また、上記の実施の形態では、物体の領域の所定方向の端部が、物体の領域の路面方向（Ｙ軸方向）の下端点の集合であり、当該下端点の集合の路面方向（Ｙ軸方向）についての変化に基づいて物体の領域が分割される例を説明したが、物体の領域の分割はこの例に限定されない。具体的には、物体の領域の所定方向の端部は、物体の領域の路面方向の境界線又は物体の領域の路面方向の部分領域であってもよい。例えば、物体の領域と路面との境界となる境界線の路面方向の成分の変化に基づいて物体の領域が分割されてもよく、物体の領域のうち路面と接する部分領域の路面方向の形状変化に基づいて物体の領域が分割されてもよい。

また、上記実施の形態に係る情報処理装置および車両に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、本開示の一態様は、情報処理装置およびプログラムにより実行される情報処理方法として実現されてもよい。

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示の実施の形態は例示された数字に制限されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

以上、一つ又は複数の態様に係る情報処理装置およびプログラムについて、実施の形態に基づいて説明したが、本開示の実施の形態は当該複数の態様に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。

１００ 情報処理装置
１１０ 画像取得部
１２０ 領域判定部
１４０ 算出部
１５０ 領域分割部
１６０ 路面接触判定部
１７０ 距離推定部

Claims (10)

1. １つの単眼カメラの撮像により得られた画像を取得する画像取得部と、
   前記画像における物体の領域を判定する領域判定部と、
   判定された前記物体の領域の所定方向の端部の、前記所定方向についての変化に基づいて前記物体の領域を分割する領域分割部と、
   前記物体の領域の分割により得られる前記物体の部分領域の少なくとも１つについて、前記単眼カメラから前記物体の部分領域に対応する前記物体までの距離を推定する距離推定部と、
   前記物体の領域の輪郭を示す輪郭データにおける、前記端部の前記所定方向についての変化量を算出し、算出した前記変化量が示された変化量データを前記輪郭データと対応付ける算出部とを備え、
   前記領域分割部は、前記算出部から前記輪郭データと前記変化量データとを取得し、取得した前記輪郭データに含まれる１以上の物体の領域の輪郭のうち、前記変化量データに示される前記算出部が算出した前記変化量が所定の閾値以上である前記端部に基づいて前記物体の領域を分割する
   情報処理装置。
2. 前記領域判定部は、さらに、前記画像における路面の領域を判定し、
   さらに、前記物体の部分領域が前記路面の領域と接しているか否かを判定する路面接触判定部を備え、
   前記距離推定部は、前記物体の部分領域と前記路面の領域とが接していると前記路面接触判定部が判定した場合に、前記距離を推定する
   請求項１に記載の情報処理装置。
3. 前記路面接触判定部は、さらに、前記物体の部分領域と接している前記路面の領域が所定の種類の前記路面の領域であるか否かを判定し、
   前記距離推定部は、さらに、前記物体の部分領域と接している前記路面の領域が所定の種類の前記路面の領域であると前記路面接触判定部が判定した場合に、前記距離を推定する
   請求項２に記載の情報処理装置。
4. 前記路面接触判定部は、さらに、前記路面の領域と接している前記物体の部分領域に対応する物体が所定の種類の物体であるか否かを判定し、
   前記距離推定部は、さらに、前記路面の領域と接している前記物体の部分領域に対応する物体が所定の種類の物体であると前記路面接触判定部が判定した場合に、前記距離を推定する
   請求項２又は３に記載の情報処理装置。
5. 前記路面接触判定部は、さらに、前記物体の部分領域と接している前記路面の領域に対応する路面の種類、および、前記路面の領域と接している前記物体の部分領域に対応する物体の種類、を判定し、
   前記距離推定部は、前記路面の種類および前記物体の種類の組が所定の組である場合、前記距離を推定する
   請求項２～４のいずれか１項に記載の情報処理装置。
6. さらに、前記端部の、前記所定方向についての変化量を算出する算出部を備え、
   前記領域分割部は、前記算出部が算出した前記変化量が所定の閾値以上である前記端部に基づいて前記物体の領域を分割する
   請求項１～５のいずれか１項に記載の情報処理装置。
7. 前記所定の閾値は、前記物体の領域の大きさに応じて設定される
   請求項６に記載の情報処理装置。
8. 前記領域分割部は、前記物体の領域を前記所定方向に分割する、
   請求項１～７のいずれか１項に記載の情報処理装置。
9. 前記所定方向は、前記画像における路面に向かう路面方向であり、
   前記端部は、前記物体の領域の前記路面方向の端点の集合、前記物体の領域の前記路面方向の境界線又は前記物体の領域の前記路面方向の部分領域である、
   請求項１～８のいずれか１項に記載の情報処理装置。
10. １つの単眼カメラの撮像により得られた画像を取得することと、
    前記画像における物体の領域を判定することと、
    判定された前記物体の領域の所定方向の端部の、前記所定方向についての変化に基づいて前記物体の領域を分割することと、
    前記物体の領域の分割により得られる前記物体の部分領域の少なくとも１つについて、前記単眼カメラから前記物体の部分領域に対応する前記物体までの距離を推定することと、
    前記物体の領域の輪郭を示す輪郭データにおける、前記端部の前記所定方向についての変化量を算出し、算出した前記変化量が示された変化量データを前記輪郭データと対応付けることと、
    前記輪郭データと前記変化量データとを取得し、取得した前記輪郭データに含まれる１以上の物体の領域の輪郭のうち、前記変化量データに示される算出した前記変化量が所定の閾値以上である前記端部に基づいて前記物体の領域を分割することとを含む方法をコンピュータに実行させる
    プログラム。

Images