JP7326018B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本開示は、情報処理装置、プログラム及び情報処理方法に関する。

車載カメラで撮影して得られた駐車場画像における車両像の認識を、車両像の最上方の輪郭の位置に基づいて設定した検出対象領域内で行うことで駐車場の空車枠を特定する技術が提案されている（特許文献１参照）。

特開２０１７－９０９８７号公報

従来の技術では、物体検出にかかる処理量の削減効果が抑制されてしまうおそれがある。例えば、物体検出処理の前処理として物体の輪郭を検出する必要がある。また、物体が存在しない場合には検出対象領域を設定することが難しい。そのため、物体の輪郭を検出する処理が重い場合、または物体が存在しない場合には、処理量の削減量が低下するか、又は処理量が削減されないことになる。

本開示は、物体検出にかかる処理量の削減効果を向上させることができる情報処理装置、プログラム及び情報処理方法を提供することを目的とする。

本開示の一態様に係る情報処理装置は、プロセッサを備える情報処理装置であって、前記プロセッサは、第１センサから出力される、第３センサが設置される装置の周辺状況の判断に用いる第１センシングデータ、及び第２センサから出力される、前記装置の姿勢の判断に用いる第２センシングデータの少なくとも１つを取得し、取得した前記第１センシングデータ及び前記第２センシングデータの少なくとも１つに基づいて、前記第３センサのセンシング方向における面の、前記姿勢に対する傾きを判定し、前記第３センサから出力され、前記センシング方向における物体検出処理に用いられる第３センシングデータの処理対象部分を、前記傾きに応じて決定し、前記第３センシングデータの決定された前記処理対象部分を用いて前記物体検出処理を実行する、ように構成され、前記傾きが所定の範囲以内である場合、前記第３センシングデータの一部が前記処理対象部分として決定され、前記傾きが前記所定の範囲を超える場合、前記第３センシングデータの前記一部より広い部分が前記処理対象部分として決定され、前記プロセッサは、さらに、前記傾きが前記所定の範囲を超える場合、前記物体検出処理の処理周期を前記傾きが前記所定の範囲以内である場合よりも長くする。

また、本開示の一態様に係る情報処理方法は、第１センサから出力される、第３センサが設置される装置の周辺状況の判断に用いる第１センシングデータ、及び第２センサから出力される、前記装置の姿勢の判断に用いる第２センシングデータの少なくとも１つを取得し、取得した前記第１センシングデータ及び前記第２センシングデータの少なくとも１つに基づいて、前記第３センサのセンシング方向における面の、前記姿勢に対する傾きを判定し、前記第３センサから出力され、前記センシング方向における物体検出処理に用いられる第３センシングデータの処理対象部分を、前記傾きに応じて決定し、前記第３センシングデータの決定された前記処理対象部分を用いて前記物体検出処理を実行する情報処理方法であって、前記傾きが所定の範囲以内である場合、前記第３センシングデータの一部が前記処理対象部分として決定され、前記傾きが前記所定の範囲を超える場合、前記第３センシングデータの前記一部より広い部分が前記処理対象部分として決定され、前記情報処理方法は、さらに、前記傾きが前記所定の範囲を超える場合、前記物体検出処理の処理周期を前記傾きが前記所定の範囲以内である場合よりも長くする。

また、本開示の一態様に係るプログラムは、前記情報処理方法をプロセッサに実行させる。

本開示の一態様に係る情報処理装置、プログラム及び情報処理方法は、物体検出にかかる処理量の削減効果を向上させることができる。

図１は、自動車の前方の映像で検出対象の物体像が検出された領域と検出されなかった領域とを示す模式図である。 図２Ａは、移動体の経路前方の移動面が移動体の姿勢基準面に対して傾いていない状況の一例、及び、移動体に設置されたカメラがこの状況で撮影する画像を説明するための模式図である。 図２Ｂは、移動体の経路前方の移動面が移動体の姿勢基準面に対して傾く状況の一例、及び、移動体に設置されたカメラがこの状況で撮影する画像を説明するための模式図である。 図２Ｃは、移動体の経路前方の移動面が移動体の姿勢基準面に対して傾く状況の他の例、及び、移動体に設置されたカメラがこの状況で撮影する画像を説明するための模式図である。 図３は、実施の形態に係る情報処理装置の構成例を示すブロック図である。 図４は、上記の情報処理装置による、画像認識処理の対象データの処理対象部分を決定するための処理の手順例を示すフロー図である。 図５Ａは、移動体の経路前方の撮影によって取得され、上記の情報処理装置に入力される画像の例を示す模式図である。 図５Ｂは、図５Ａに示す画像における画像認識処理の処理対象部分の例を示す模式図である。 図６Ａは、移動体の経路前方の撮影によって取得され、上記の情報処理装置に入力される画像の他の例を示す模式図である。 図６Ｂは、図６Ａに示す画像で、上にシフトされた処理対象部分の例を示す模式図である。 図７Ａは、移動体の経路前方の撮影によって取得され、上記の情報処理装置に入力される画像の他の例を示す模式図である。 図７Ｂは、図７Ａに示す画像で、下にシフトされた処理対象部分の例を示す模式図である。 図８は、移動面の自機姿勢に対する傾きの方向が、ロール角で表される場合に決定される処理対象部分の例を示す模式図である。

（本開示の基礎となった知見）
自動車をはじめとする近年の移動体には、操縦の支援又は自律移動（自動運転）の機能を備えるものがある。そしてこのような機能には、移動体の進行方向をセンシングするセンサが出力するデータを用いての物体検出の結果を利用するものがある。このような物体検出は、例えばイメージセンサから出力される画像データを用いての画像認識によって行われる。この画像認識は、ディープラーニング等の昨今の機械学習の技術の応用分野のひとつでもあり、改良のための研究が日々なされている。その研究において、画像認識処理の高速化又は画像認識処理に要する消費電力の低減のための一手法として検討されるものに計算量の削減がある。例えば、画像処理装置への入力画像に対する画像認識処理の前処理として、当該入力画像をクロッピングすることで所定の領域を除去して画像認識処理の対象から除外することで計算量を削減することができる。

図１は、平坦な道路を走る自動車に設置したカメラで撮影して得られた画像群において、歩行者又は障害物等の検出対象の物体像が検出された領域及び検出されなかった領域を示す模式図である。図中の破線で区切られた区画は、カメラで撮影された画像の領域全体を、複数の画素を含む所定の大きさのセルに区切ったものである。ここでいうセルはカメラで撮影された画像を任意の倍率でダウンサンプルした画素と同じ意味を表す。そして検出対象の物体像を含む検出枠内に１回以上含まれた画素の領域は白で、検出枠内に１回も含まれなかった画素の領域は網掛けで示されている。図１からは、検出対象の物体像は凡そ画像領域内で上下方向の中央（図中の一点鎖線）近辺に位置することがわかる。つまり、網掛けの領域は、検出対象の物体像が写らない領域又は結果に寄与しない領域と言い得る。上記の前処理としてのクロッピングは、検出対象の物体像の入力画像における位置のこのような傾向を踏まえて行われるもので、画像領域の上下端それぞれからある程度の領域（例えば図中「除去対象」の２領域）が除去される。そして、前処理の結果残る、元の画像領域の中央付近に位置していた領域（例えば図中「物体検出の処理対象」の領域）を画像認識処理の対象とすることで、画像領域全体を画像認識処理の対象とする場合に比べて計算量が削減される。

しかしながら、上記の考え方に基づいて画像認識処理の対象の領域を決定すると、移動体の移動中に、例えば経路の起伏、又は移動体の姿勢の変化のために、画像内における検出対象の物体像が写り得る領域が変化したときに、この領域の外に写った検出対象の物体像は画像認識処理の対象の領域から外れるという問題が生じる。

発明者はこの問題を解決すべく鋭意検討を重ね、検出対象の物体像が写り得る領域の変化に応じて画像認識処理の対象の領域（又は前処理で画像認識処理の対象から除外する領域）を変化させることが可能な下記の情報処理装置、プログラム及び情報処理方法に想到した。

本開示の一態様に係る情報処理装置は、プロセッサを備える情報処理装置であって、前記プロセッサは、第１センサから出力される、第３センサが設置される装置の周辺状況の判断に用いる第１センシングデータ、及び第２センサから出力される、前記装置の姿勢の判断に用いる第２センシングデータの少なくとも１つを取得し、取得した前記第１センシングデータ及び前記第２センシングデータの少なくとも１つに基づいて、前記第３センサのセンシング方向における面の、前記姿勢に対する傾きを判定し、前記第３センサから出力され、前記センシング方向における物体検出処理に用いられる第３センシングデータの処理対象部分を、前記傾きに応じて決定し、前記第３センシングデータの決定された前記処理対象部分を用いて前記物体検出処理を実行するように構成される。

例えば、上述の事例のように装置が移動体である自動車であり、この自動車には、現在の位置及びこの位置から続く経路前方の視界内の路面が水平である場合に、経路前方に存在する検出対象の物体像が画像の上下中央付近の領域に写るよう、第３センサであるカメラが設置されているとする。ここで、直進姿勢の自動車の前後方向及び左右方向に平行であって、上下方向に対して垂直な面（ただしこれらの方向は、この自動車の設計上の直進方向を前として決まるものであって、当該自動車の姿勢、つまり当該自動車のタイヤが接地している面の傾斜によって変化するものであり、前後方向は水平方向には限定されず、上下方向は鉛直方向には限定されない。以下、この面を自動車の姿勢基準面という。）は、移動経路前方の路面（ただし、路面の多少の凹凸は均して近似する仮想的な平面で捉える。以下、この平面を移動面ともいう。）と平行である。つまり、この移動面は姿勢基準面に対して傾いていない。図２Ａは、このように移動体の経路前方の移動面が姿勢基準面に対して傾いていない状況の例、及び移動体に設置されたカメラがこの状況で撮影する画像を説明するための模式図である。図２Ａ内の自動車から伸びる破線は、このカメラの撮影範囲の上下端を示す（後述の図２Ｂ及び図２Ｃでも同じ）。この状況でこのカメラによって撮影される画像では、自動車の前方にいる検出対象の例である人物の像は例えば図中の吹き出し内に示すよう写る。図中で画像領域を横断する一点鎖線は、この画像領域の高さの二等分線である（後述の図２Ｂ及び図２Ｃでも同じ）。上記の構成を有する情報処理装置は、このような状況において画像の上下方向の中央付近を処理対象部分として決定して物体検出のための画像認識処理に用い、他の部分に対しては画像認識処理を行わない。

これに対し、現在は水平な場所を走るこの自動車の進行方向の先に上り坂がある場合、この上り坂にいる歩行者等の検出対象の物体像は、画像の上下方向の中央付近より上方の領域にも写ることがある。この場合、移動面は姿勢基準面に対して傾いている。図２Ｂは、移動体の経路前方の移動面が姿勢基準面に対してこのように傾く状況の一例、及び移動体に設置されたカメラがこの状況で撮影する画像を説明するための模式図である。この例では、自動車の前方にいる検出対象の物体像は、図２Ａに示す状況と比較して画像の上方に寄る。上記の構成を有する情報処理装置は、このような状況において画像の上寄りの一部を処理対象部分として決定して物体検出のための画像認識処理に用い、他の部分に対しては画像認識処理を行わない。

また、現在は上り坂を走るこの自動車の進行方向の先に水平な道路がある場合、この水平な部分にいる歩行者等の検出対象の物体像は、画像の上下中央付近より下方の領域にも写ることがある。この場合もまた、移動面は姿勢基準面に対して傾いている。図２Ｃは、移動体の経路前方の移動面が姿勢基準面に対してこのように傾く状況の他の例、及び移動体に設置されたカメラがこの状況で撮影する画像を説明するための模式図である。この状況でこのカメラによって撮影される画像では、例えば図中の吹き出し内に示すように、自動車の前方にいる検出対象の物体像は、図２Ａに示す状況と比較して画像の下方に寄る。上記の構成を有する情報処理装置は、このような状況において画像の下寄りの一部を処理対象部分として決定して物体検出のための画像認識処理に用い、他の部分に対しては画像認識処理を行わない。

このように、移動体の姿勢基準面に対する移動体の移動経路前方の移動面の傾き（以下、移動体の自機姿勢に対する移動経路前方の移動面の傾き、又は簡易的に、移動体に対する移動面の傾きのように表現する場合がある。自機姿勢については後述。）に応じて、第３センシングデータの画像認識処理の対象となる部分が変更される。つまり、画像認識処理の対象から除外される部分を上記の傾きに応じて動的に変化させることで、第３センシングデータのうちで検出対象の物体を示す部分が物体検出処理の対象の部分から外れる可能性を抑えながら、計算量を抑えた効率のよい物体検出処理が実現される。

また、前記プロセッサは、前記傾きが所定の範囲以内である場合、前記第３センシングデータの一部を前記処理対象部分として決定し、前記傾きが前記所定の範囲を超える場合、前記第３センシングデータの前記一部より広い部分を前記処理対象部分として決定し、さらに、前記傾きが前記所定の範囲を超える場合、前記物体検出処理の処理周期を前記傾きが前記所定の範囲以内である場合よりも長くしてもよい。また、前記装置は、移動体であり、前記プロセッサは、さらに、前記傾きが前記所定の範囲を超える場合、前記移動体に減速を要求してもよい。また、前記装置は、移動体であり、前記プロセッサは、さらに、前記傾きが前記所定の範囲を超える場合、前記移動体の使用者に警告を通知してもよい。

移動体に対する移動面の傾きの大きさによっては、第３センシングデータの一部のみでは、検出対象の物体を示す部分が含まれていない状況が発生する場合がある。このような場合には、第３センシングデータの全体を物体検出処理の対象として用いることで検出対象の物体が未検出に終わる可能性が抑えられる。なお、第３センシングデータの全体に対する物体検出処理では、移動体の安全な移動に必要な精度を得るために、一部のみに対する物体検出処理よりも長い時間が必要な場合がある。そして、この物体検出処理にかかる時間によっては、移動体の安全確保のためにさらに移動体の速度が落とされてもよい。また、物体検出処理の速度に影響がある状況であることを警告によって移動体の使用者に通知することで、使用者自身が移動体を減速させたり、経路の変更を検討したりする機会を与えることができる。

また、さらに、前記物体検出処理の信頼度に影響を及ぼす要素に応じて、前記処理対象部分のサイズを変更してもよい。

第３センサによる第３センシングデータの取得時の装置の状態又はその周囲の状況によっては、物体検出処理の結果の信頼度が低下する場合がある。例えば、第３センシングデータが画像データである場合に、装置が移動体であって比較的高速で移動しているとき、又は装置の姿勢が比較的頻繁に変動するときには、そうでないときに比べて、画像において検出されるべき対象の像の位置が変動しやすい。したがって、第３センシングデータのうちで物体検出処理の対象として用いられる部分が少ないほど、検出されるべき対象が未検出に終わる可能性が高い、すなわち、物体検出処理の結果の信頼度が低い。この構成のように、第３センシングデータのより多くの部分、例えば画像のより広い領域を用いて物体検出処理することで信頼度の低下が抑えられる。

また、前記物体検出処理は、前記処理対象部分を１つ以上の学習済みモデルに入力することにより実行されてもよい。また、前記１つ以上の学習済みモデルは、複数の学習済みモデルであり、前記プロセッサは、前記複数の学習済みモデルから前記傾きに応じて選択した学習済みモデルに前記処理対象部分を入力してもよい。

第３センシングデータのうち、装置の姿勢に対する面の傾きに応じて物体検出処理の対象として用いられる部分によって、検出対象の物体のデータへの表れ方が異なる場合がある。例えばカメラで撮影された画像では、同じ物体でも画像の中心に近い部分に写る場合と周辺に近い部分に写る場合とで像の形状が異なり、画角のより大きなレンズを用いて撮影された画像ではこの差異がより顕著になる。上記の構成によれば、このような差異に対応した個別のモデルを用いることで物体検出の精度の向上を図ることができる。

また、前記学習済みモデルは、多層ニューラルネットワークであり、前記プロセッサは、さらに、前記装置から前記傾きの起点までの距離を取得し、前記距離に応じた前記学習済みモデルの層について、前記処理対象部分を決定してもよい。

これにより、装置の姿勢に対して傾く、第３センサのセンシング方向の面上で装置から異なる距離に存在し得る検出対象の物体を、より精度よく検出することができる。

なお、前記プロセッサは、前記処理対象部分を、前記傾きに応じて前記処理対象部分をシフトすることで決定してもよい。

また、本開示の一態様に係るプログラムは、プロセッサを備える情報処理装置において、前記プロセッサによって実行されることで前記プロセッサに、第１センサから出力される、第３センサが設置される装置の周辺状況の判断に用いる第１センシングデータ、及び第２センサから出力される、前記装置の姿勢の判断に用いる第２センシングデータの少なくとも１つを取得させ、取得した前記第１センシングデータ及び前記第２センシングデータの少なくとも１つに基づいて、前記第３センサのセンシング方向における面の、前記姿勢に対する傾きを判定させ、前記第３センサから出力され、前記センシング方向における物体検出処理に用いられる第３センシングデータの処理対象部分を、前記傾きに応じて決定させ、前記第３センシングデータの決定された前記処理対象部分を用いて前記物体検出処理を実行させるプログラムである。

これにより、第３センシングデータのうちで検出対象の物体を示す部分が物体検出処理の対象の部分から外れる可能性を抑えながら、計算量を抑えた効率のよい物体検出処理が実現される。

また、本開示の一態様に係る情報処理方法は、プロセッサが、第１センサから出力される、第３センサが設置される装置の周辺状況の判断に用いる第１センシングデータ、及び第２センサから出力される、前記装置の姿勢の判断に用いる第２センシングデータの少なくとも１つを取得し、取得した前記第１センシングデータ及び前記第２センシングデータの少なくとも１つに基づいて、前記第３センサのセンシング方向における面の、前記姿勢に対する傾きを判定し、前記第３センサから出力され、前記センシング方向における物体検出処理に用いられる第３センシングデータの処理対象部分を、前記傾きに応じて決定し、前記第３センシングデータの決定された前記処理対象部分を用いて前記物体検出処理を実行する情報処理方法である。

これにより、第３センシングデータのうちで検出対象の物体を示す部分が物体検出処理の対象の部分から外れる可能性を抑えながら、計算量を抑えた効率のよい物体検出処理が実現される。

なお、本開示の包括的又は具体的な態様は、システム、集積回路、又はＣＤ－ＲＯＭ等のコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

以下、本開示の一態様に係る情報処理装置、プログラム及び情報処理方法の具体例について、図面を参照しながら説明する。ここで示す実施の形態は、いずれも本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって本開示を限定するものではない。以下の実施の形態における構成要素のうち、本開示の一形態に係る実現形態を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。本開示の実現形態は、現行の独立請求項に限定されるものではなく、他の独立請求項によっても表現され得る。また、各図は本開示に係る概念を説明するための模式図であり、各図に表されるものの形状、個数、配置、縮尺及び大小関係等は必ずしも厳密なものではない。

（実施の形態）
［１．情報処理装置の構成］
図３は、実施の形態に係る情報処理装置の構成例を示すブロック図である。本実施の形態に係る情報処理装置１０は、自動車等の移動体が備える物体検知システム１の一構成要素であり、物体検知に用いるセンシングデータの入力を受ける。また、センシングデータに基づいて、移動体の移動経路前方の移動面の移動体に対する傾きを判定し、センシングデータのこの傾きに応じて決定する部分を用いて物体検知を実行する。

このように機能する情報処理装置１０は、図３に示されるように、周辺状況判断部１１、自機姿勢判断部１２、領域変更部１３、物体検出処理部１４、処理周期変更部１５、及び速度変更通知部１６を備える。

情報処理装置１０は、例えばプロセッサ及びメモリを含むマイクロコントローラによって実現され、これらの構成要素は、メモリに記憶される１個又は複数個のプログラムをプロセッサが実行することで実現される機能的な構成要素である。各構成要素については後述する。このマイクロコントローラは、例えば車載ネットワークシステムを構成するＥＣＵ（Electronic Control Unit）の構成部品として、移動体である自動車に搭載される。本開示に係る情報処理装置は多様な移動体で有用に使用することができるが、以下では、自動車に搭載されるＥＣＵのマイクロコントローラとして実現されている情報処理装置１０を主な例に用いて本実施の形態を説明する。

情報処理装置１０には、ソナーセンサ又は車載カメラのイメージセンサ等の周辺状況センサ２０、ＬｉＤＡＲ（Light Detection And Ranging又はLaser imaging Detection And Ranging）３０、及びジャイロセンサ等の傾きセンサ４０が出力するセンシングデータが入力される。また、自動車の現在の位置又は姿勢を取得する位置・姿勢取得部５０から位置・姿勢情報、図示しない車載のカーナビゲーションシステムに含まれる地図情報６０も情報処理装置１０にとって利用可能であってもよい。また、さらに自動車の現在の速度、又は自動車周辺の明るさ（照度）などの情報も入力されてもよい（図中の速度，照度７０）。これらのデータ及び情報の処理については、以下の情報処理装置１０の各構成要素及び情報処理装置１０による処理の手順の説明の中で述べる。

周辺状況判断部１１は、周辺状況センサ２０又はＬｉＤＡＲ３０から出力されるセンシングデータを用いて自動車の周辺状況を判断する。ここでの周辺状況とは、自動車の経路前方、つまりこれから走行する路面の形状又は路面の傾斜の方向及び大きさを示すデータを指す。このような周辺状況の判断の対象である経路前方の路面は、本実施の形態における移動面の例である。また、この周辺状況の判断に周辺状況判断部１１が用い得るのは、これらのセンシングデータに限定されない。例えば、位置・姿勢取得部５０から提供される自動車の現在の位置の情報と、地図情報６０が含む地形又は道路の形状を示す情報とが用いられてもよい。地図情報６０では、地形又は道路の形状は標高の情報で表されてもよいし、地図情報６０が３次元地図情報である場合には、より具体的な立体形状の情報で表されてもよい。自動車の位置がわかれば、このような地図情報６０とあわせて、その位置におけるこの自動車の経路前方の路面の形状の情報が取得可能である。

位置・姿勢取得部５０は、情報処理装置１０で、又は情報処理装置１０と通信可能に接続されている、プロセッサ及びメモリを含む他の情報処理装置で、プロセッサがプログラムを実行することで実現される機能的な構成要素である。位置・姿勢取得部５０は、ＬｉＤＡＲ３０、図示しないＧＰＳ（Global Positioning System）等の測位システムの受信機から出力される情報若しくは地図情報６０等、又はこれらの情報を組み合わせて用いて、自動車の位置及び姿勢の一方又は両方を取得する機能を有する。

自機姿勢判断部１２は、傾きセンサ４０又はＬｉＤＡＲ３０から出力されるセンシングデータを用いて自機姿勢を判断する。傾きセンサ４０は、自動車が備えるもの、例えばカーナビゲーションシステムに含まれるものであってもよいし、自動車に設置されるカメラ（以下、車載カメラともいう）が備えるものであってもよい。

ここでの自機姿勢とは、自動車の姿勢、又は車載カメラ若しくは車載カメラに相当する車載のセンサ類（後述の第３センサ）の姿勢を指す。車載カメラと自動車との間の相対的な姿勢は車載カメラの自動車への設置の際に取得可能であるため、一方の姿勢がセンシングデータを用いてわかれば、他方の姿勢も算出可能である。例えば自機姿勢は、自動車の車体に関して定義可能である固定的な仮想線又は仮想面、例えば上述の姿勢基準面の、鉛直線に対する傾斜の方向及び大きさで表すことができる。自機姿勢の表し方の別の例として、車載カメラに関して定義可能である固定的な仮想線又は仮想面、例えば光軸に平行な線又はイメージセンサの受光面に平行な面の、鉛直線に対する傾斜の方向及び大きさであってもよい。なお、自機姿勢判断部１２が自機姿勢の判断に用いるのは、これらのセンシングデータに限定されない。例えば、位置・姿勢取得部５０から提供される自動車の現在の位置の情報と、地図情報６０が含む地形又は道路の形状を示す情報とが用いられてもよい。なお、本開示における自動車（移動体）の位置という表現は、移動体が占める空間内で任意に設定され得る基準位置を指し、例えばこの基準位置は車載カメラ又は後述の第３センサの位置であってもよい。

領域変更部１３は、周辺状況判断部１１の判断結果である周辺状況と、自機姿勢判断部１２の判断結果である移動体の自機姿勢とに基づいて、自機姿勢に対する移動面の傾きを判定する。そして、車載カメラから入力されたセンシングデータ、つまりこの例では画像データの、物体検出処理部１４による画像認識処理の対象である部分（以下、単に処理対象部分ともいう）とする領域を、判定したこの傾きに応じて決定する。領域変更部１３は、自機姿勢が自動車の姿勢又は車載カメラの姿勢のいずれであるかにかかわらず、判定結果であるこの傾きに対応する処理対象部分を決定することができる。例えば領域変更部１３を実現するプログラムで、判定結果である傾きの方向に応じて処理対象部分を移動させる方向が規定されており、判定した傾きの方向に応じて処理対象部分が決定される。または、情報処理装置１０が備えるメモリに、判定結果である傾きの方向及び大きさと、画像データが示す画像領域上の処理対象部分を示す座標との対応付けを示すテーブルが保持されており、傾きを判定した領域変更部１３は、このテーブルを参照して対応する座標を取得することで処理対象部分を決定してもよい。

領域変更部１３から物体検出処理部１４には、例えばこの処理対象部分を残すように領域変更部１３が上記のクロッピングを施した画像データが入力されてもよい。または、領域変更部１３から物体検出処理部１４には、クロッピングされていない画像データと、座標等の処理対象部分の範囲を示す情報とが入力されてもよく、物体検出処理部１４がクロッピングするか、または単に、この情報が示す処理対象部分の範囲のみに対して画像認識処理を実行してもよい。処理対象部分に変更が生じた場合は、新たな処理対象部分を示す座標などの情報が領域変更部１３から物体検出処理部１４に入力されてもよいし、処理対象部分をシフトさせるための情報（方向、移動量）が入力されてもよい。

また、領域変更部１３はさらに、処理対象部分の大きさを決定してもよい。決定される処理対象部分の大きさは、画像データの領域全体である場合も含まれる（クロッピングを実行しないという決定と同等）。処理対象部分の大きさは、例えば判定した上記の傾きの大きさに応じて決定される。または、移動体の速度、移動体の周囲若しくは経路前方の明るさ又はこれらの変化若しくは差異に応じて決定されてもよい。これらの情報は、物体検知の信頼度に影響し得る要因である。一つ具体的な例を挙げると、立体駐車場では、特に好天時の日中等に、中と外とで明るさが大きく異なることがある。そのため、立体駐車場の出口に向かう自動車の車載カメラで撮影された画像の中に、出口の外に存在する検出対象の物体が画像認識処理で認識可能なように表れない場合がある。これらの傾き、速度、又は明るさに関する条件のいずれの場合も、下記の物体検出処理部１４による画像認識処理が、移動体の安全な移動に必要な信頼度で実行されるように決定される。より具体的には、領域変更部１３は、現在の大きさの処理対象部分では必要な信頼度が得られない場合に、処理対象部分を拡大する。なお、移動体の速度は、例えば自動車ではセンサで計測される車軸の回転数から車速を算出するＥＣＵから取得されるなど、移動体の種類に応じた速度計測手段から取得されてもよい。または、移動体が備える測位システムで取得される位置情報、又はカメラが撮影する画像から推定されるオプティカルフローに基づいて算出される速度が用いられてもよい。明るさは、移動体に設置されるカメラが撮影する画像のデータに基づいて取得されてもよいし、移動体が別途備える明るさセンサが出力するセンシングデータが用いられてもよい。なお、画像認識処理の信頼度が低下する要因は上記に限定されず、他の例としては経路の形状、硬さなどの状態、又は風による移動体の揺れ又は振動が挙げられる。

また、領域変更部１３は、上記のように処理対象部分を拡大した場合、物体検出処理部１４による画像認識処理の周期を必要に応じて長くしてもよい。決定された画像処理の周期は、後述の処理周期変更部１５に通知される。またさらに、領域変更部１３は、処理周期の長期化に加えて、又は代えて、移動体を減速させる決定をしてもよい。この減速の決定をした領域変更部１３は、移動体の速度を制御する制御装置、例えば駆動機構を制御するＥＣＵ若しくはブレーキＥＣＵ、又はその両方に対する減速の指示又は要求を出力する。

物体検出処理部１４は、領域変更部１３が決定した画像データの処理対象部分に対して、画像検出又はセグメンテーション等の画像認識処理を実行する。例えば物体検出処理部１４は画像認識の訓練によって得られた学習済みモデルを含み、この画像認識処理は、画像データの上記の処理対象部分をこの学習済みモデルに入力することで実行される。物体検出処理部１４が出力する画像認識処理の結果は、例えば自動車の運転支援システム又は自動運転システムによって、運転制御又は使用者への通知のための判断に利用される。

処理周期変更部１５は、上述の領域変更部１３からの通知を受け、この通知に従って物体検出処理部１４による画像認識処理の処理周期を変更させる。また、この変更の実行について、処理周期変更部１５から下記の速度変更通知部１６に通知する。

この通知を処理周期変更部１５から受けた速度変更通知部１６は、自動車の使用者にこの変更に関する情報を提示する。この情報は、例えば、処理周期が変更されたこと及びその影響に関する警告のために提示される。または、使用者に何らかの操作等の行動を促すものであってもよい。情報の提供は、例えばモニタ若しくはインストルメントパネル等の車載の表示装置での表示、又はスピーカーからの警告音若しくは音声を用いて行われる。

なお、上記の説明において、機能的な構成要素が取得するセンシングデータのソースである数種類のセンサを挙げたが、各機能的な構成要素にとっての上述のセンシングデータのソースは図３に示されるだけの限定的なものではない。例えば車載カメラのイメージセンサは、周辺状況判断部１１にセンシングデータを提供する周辺状況センサ２０として機能し得るが、そのセンシングデータは自機姿勢判断部１２による自機姿勢の判定にも用い得るし、さらに画像認識の対象になるデータでもある。また、ＬｉＤＡＲの出力するデータは、上述のとおり周辺状況のセンシングデータでもあり、移動体の姿勢の判断に用いられるデータでもあって、さらに点群データとして、上記の画像データに代えて、又は加えて、移動経路前方にある物体の検知に用いられてもよい。上記で例示していないセンサ（例えば各種の深度センサ）も含めて各種のセンサは、出力するセンシングデータどうし、又は位置情報及び地図情報等の他の情報との組み合わせで利用される場合も含めて、周辺状況の判断に用いられるセンシングデータを出力するセンサは、本開示における第１センサ、自機姿勢の判断に用いられるセンシングデータを出力するセンサは本開示における第２センサ、移動体の移動方向前方の物体検知処理の対象のセンシングデータを出力するセンサは本開示における第３センサとして意図されるところである。

［２．動作］
次に、上記のように構成される情報処理装置１０の動作について、引き続き自動車に搭載されている場合を例に説明する。図４は、情報処理装置１０が実行する、画像認識処理の対象であるデータの処理対象部分を決定するための処理の手順例を示すフロー図である。

（Ｓ４０）情報処理装置１０は、第１センサ、第２センサ及び第３センサからセンシングデータ（以下、それぞれから取得されるセンシングデータを、第１センシングデータ、第２センシングデータ、第３センシングデータともいう）を取得する。位置・姿勢取得部５０又は地図情報６０からの情報が取得されてもよい。また、この例では、情報処理装置１０は自動車の速度又は自動車周辺の明るさの情報も取得する。

（Ｓ４１）周辺状況判断部１１は、第１センシングデータに基づいて自動車の周辺状況、つまり自動車の経路前方の移動面の形状等を判断する。

（Ｓ４２）自機姿勢判断部１２は、第２センシングデータに基づいて自機姿勢を判断する。

（Ｓ４３）領域変更部１３は、周辺状況及び自機姿勢に基づいて、自動車の経路前方における移動面が自機姿勢に対して傾いているか否か判定する。傾いていない場合（Ｓ４３でＮｏ）、第３センシングデータの処理対象部分は変更しないで処理対象部分の決定の手順は終了する。つまり、第３センシングデータが画像データであれば、この画像データのうち、自動車の経路前方における移動面が自機姿勢に対して傾いていない状況に対して設定済みの処理対象部分に、物体検出処理部１４による画像認識処理が実行される。この例では、この設定済みの処理対象部分は、画像の上下方向中央付近であるとする。図５Ａは、車載カメラから情報処理装置１０に入力された第３センシングデータが示す画像の例を示す模式図である。図５Ｂは、図５Ａに示す画像の領域全体の中での上記の設定済みの画像認識処理の処理対象部分の例を示す模式図である。図５Ｂにおいて、上下端それぞれに沿う網点が施されている矩形の領域は例えばクロッピング処理で除去される部分を示し、網点が施されていない、クロッピング処理前の画像で上下方向中央付近に位置する部分が物体検出処理部１４による画像認識処理の対象である。傾いている場合（Ｓ４３でＹｅｓ）、処理はステップＳ４４へ進められる。

（Ｓ４４）領域変更部１３は、ステップＳ４３で判定した傾きの方向を取得する。この例では、自動車がステップＳ４３で傾いていると判断された移動面に前進すると、車体の前端が現在の位置に比べて上向きになる傾きの方向を正方向とする。言い換えると、自動車にとって後転する方向を正方向とする。具体的には、経路が水平又は下りから前方で上りに変わる場合、下りが前方で水平に変わる場合、上りの勾配が前方で急になる場合、及び下りの勾配が前方で緩くなる場合である。この例ではまた、自動車がステップＳ４３で傾いていると判断された移動面に前進すると、車体の前端が現在の位置に比べて下を向く傾きの方向を負方向とする。言い換えると、自動車にとって前転する方向を正方向とする。具体的には、経路が上りから前方で水平又は下りになる場合、水平から前方で下りに変わる場合、下りの勾配が前方で急になる場合、及び上りの勾配が前方で緩くなる場合である。つまり、図２Ｂに示した例では、傾きの方向は正方向であり、図２Ｃに示した例では、傾きの方向は負方向である。正方向の場合、処理はステップＳ４５へ進められる。負方向の場合、処理はステップＳ４６へ進められる。

（Ｓ４５）領域変更部１３は、画像認識処理の処理対象部分を上にシフトする。処理はステップＳ４７へ進められる。

（Ｓ４６）領域変更部１３は、画像認識処理の処理対象部分を下にシフトする。処理はステップＳ４７へ進められる。

（Ｓ４７）領域変更部１３は、画像認識処理の信頼度が低下する要因があるか否か判定する。

例えば、領域変更部１３はさらに、ステップＳ４３で判定された傾きは、その大きさが所定の範囲以内であるか否か判定し、所定の範囲以内の場合（Ｓ４７でＮｏ）、処理対象部分の決定の手順は終了する。傾きの大きさが所定の範囲を超える場合（Ｓ４７でＹｅｓ）、処理はステップＳ４８へ進められる。

また例えば、領域変更部１３は、ステップＳ４０で情報処理装置１０が取得する自動車の車速は所定の範囲以内であるか否か判定してもよい。車速が所定の範囲以内の場合（Ｓ４７でＮｏ）、処理対象部分の決定の手順は終了する。車速が所定の範囲を超える場合（Ｓ４７でＹｅｓ）、処理はステップＳ４８へ進められる。

また例えば、領域変更部１３はステップＳ４０で情報処理装置１０が取得する自動車の周囲の明るさは所定の照度以下であるか否か判定してもよい。明るさが所定の照度を超える場合（Ｓ４７でＮｏ）、処理対象部分の決定の手順は終了する。明るさが所定の照度以下である場合（Ｓ４７でＹｅｓ）、処理はステップＳ４８へ進められる。

（Ｓ４８）領域変更部１３は、画像認識処理の処理対象部分を拡大する。

以上が、情報処理装置１０への入力に対する処理の一手順例である。この処理は、上記の情報処理装置１０の構成要素が各々の機能を実行することで実現される。

なお、手順の全体像の理解のしやすさのために上記の例には含めていないが、情報処理装置１０によるこの処理には、ステップＳ４３でＹｅｓの場合に、傾きの大きさに応じた処理対象部分のシフト量（又は位置）を決定するステップが含まれてもよい。また、ステップＳ４７でＹｅｓの場合に、傾きの大きさ、車速、又は照度に応じて処理対象部分の拡大率を決定するステップが含まれてもよい。また、ステップＳ４７でＹｅｓの場合、さらに処理周期変更部１５による物体検出処理部１４に対する画像認識処理の周期の延長、またさらに、この画像認識処理の処理周期の変更に関して速度変更通知部１６による使用者への情報の提示のステップが含まれてもよい。また、傾きがない場合（Ｓ４３でＮｏ）にも、信頼度の低下の要因の有無の判定（Ｓ４７）が実行されてもよい。この要因がある場合（Ｓ４７でＹｅｓ）、例えば画像における処理対象部分の中心位置はそのままで、画像の上下方向の少なくとも一方に拡大されてもよい。

ここで、ステップＳ４４において判定の結果に応じて次のステップでシフトされた画像認識処理の処理対象部分を、例を用いて示す。図６Ａは、傾きの方向が正方向である場合に車載カメラから情報処理装置１０に入力された第３センシングデータが示す画像の例を示す模式図である。図６Ｂは、図６Ａに示す画像の領域全体の中で、ステップＳ４５において上にシフトされた処理対象部分の例を示す模式図である。また、図７Ａは、傾きの方向が負方向である場合に車載カメラから情報処理装置１０に入力された第３センシングデータが示す画像の例を示す模式図である。図７Ｂは、図７Ａに示す画像の領域全体の中で、ステップＳ４６において下にシフトされた処理対象部分の例を示す模式図である。なお、自動車では同じ場所で傾きの有無及び方向が異なることはあまり現実的ではないが、傾きに応じて処理対象部分の位置を変化させることで画像の処理対象部分に写る範囲を近似させることが可能なことを示すための模擬として図６Ａ、図６Ｂ、図７Ａ及び図７Ｂの画像例は、図５Ａ及び図５Ｂの画像例と同じ場所での光景を示している。

例えば図５Ｂで処理対象部分に写るのは、自動車の経路前方である程度の距離から向こうの様子であり、当該経路及びその周囲で運転支援又は自動運転のための制御内容の決定のために検知されるべき距離にある物体像が存在し得る部分であるとする。この部分は、傾きに応じてシフトされた、図６Ｂ及び図７Ｂに示す処理対象部分にもほぼ同様に写る。したがって、自動車の経路前方における移動面が自機姿勢に対して傾いても、運転支援又は自動運転の制御内容の決定に利用されるのに適した物体検出の結果を提供することができる。なお、図６Ｂ及び図７Ｂにおいて画像領域の左右に位置する４つの三角形は、傾きに応じて位置が変更されない場合の処理対象部分の四隅の位置を示す。図６Ｂに示される、位置が変更されていない処理対象部分は、位置が変更されている処理対象部分に比べてより近くの景色を含むが、位置が変更されている処理対象部分には含まれる遠方の景色を欠く。また、図７Ｂに示される、位置が変更されていない処理対象部分には、検出対象の物体が存在し得ない建物より上の空が多く写る一方で、図５Ｂの処理対象部分には含まれている自動車の経路及びその周囲で検出対象の物体が存在し得る部分の一部が欠ける。変更されていないこれらの処理対象部分を対象に画像認識処理が行われても、運転支援又は自動運転の制御内容の決定に利用されるのに適切な物体検出の結果を提供することはできない。

このように、情報処理装置１０は、車載カメラで撮影された画像の領域内で、一部を画像認識処理の処理対象部分から除外することで計算量を削減する。また情報処理装置１０は、この処理対象部分の画像領域における位置を移動体の経路前方における移動面の自機姿勢に対する傾きに応じて変更することで、運転支援又は自動運転の制御内容の決定で結果が利用される物体検出を、進行方向の適切な範囲について実行することができる。

（変形その他の補足事項）
本開示の一又は複数の態様に係る情報処理装置、プログラム及び情報処理方法は、上記の実施の形態の説明に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が想到する各種の変形を上記の実施の形態に施したものも、本開示の態様に含まれてもよい。下記にそのような変形の例、及び実施の形態の説明へのその他の補足事項を挙げる。

（１）実施の形態の説明では移動体が自動車である例を用いたが、本開示に係る技術は自動車以外の各種の移動体にも適用可能である。例えば、鉄道車両その他の軌道を走行する車両、船、航空機などの自動車以外の乗物にも適用可能である。また、本開示に係る技術はドローン等の乗物ではない移動体にも適用可能である。これらの移動体のうち、船、航空機、及びドローンのように路面を移動しない移動体の経路前方の「移動面」は、上述のような路面に近似する仮想的な平面ではなく、例えば設定された経路に沿って進行する移動体の表面の、推定される軌跡に基づいて捉えられる。なお、本開示における自動車の概念は、三輪及び二輪の自動車及び無限軌道で走行する車両を含む。

（２）実施の形態の説明で示した移動体の経路前方の移動面の自機姿勢に対する傾きは、移動体の直進方向に対して左右方向の軸周りの回転（ピッチ）角で表し得る傾きのみであるが、本開示に係る技術の適用はこれに限定されない。本開示に係る技術は、移動体の直進方向の軸周りの回転（ロール）角で表し得る傾きに応じた処理対象部分の決定、変更にも適用することができる。図８は、移動体の経路前方の移動面の自機姿勢に対する傾きが時計回り方向に傾いている場合に決定される処理対象部分の例を示す模式図である。図８からわかるように、この場合には、処理対象部分も図５Ａに例示される処理対象部分から時計回りに回転させたような部分をカバーするように決定されている。また、本開示に係る技術は移動体の経路前方の移動面の自機姿勢に対する傾きがピッチ角及びロール角の複合で表される場合にも適用可能であり、その場合、図８に示すような白い平行四辺形状の処理対象部分の位置が、画像領域の上端又は下端により近づく。

（３）実施の形態の説明では、移動体の経路前方の移動面の自機姿勢に対する傾きは、地形に沿って走る路面の傾斜の変化によって生じるものを例に用いて説明したがこれに限定されない。例えば船又はドローンのように水又は空気の抵抗、波若しくは風等の外力によってこの傾きが発生する場合もある。また、移動中のヘリコプター及びドローンは、その動作原理上、進行方向に傾く姿勢を取る。また、移動体に乗る乗員の人数又は積載する荷物の重さ及び配置による自機姿勢の変化がこの傾きの原因になる場合もある。本開示に係る技術は、このような傾きへの対処にも利用可能である。

（４）実施の形態の説明では、車載カメラで撮影された画像は、図示及び理解を簡単にするために、像の形状の歪みが少ない通常のレンズで撮影されたような画像を図示して例として用いたが、本開示の技術の適用はこれに限定されない。本開示に係る技術は、広角又は超広角と分類されるレンズ、又は魚眼レンズを用いて撮影される画像と組み合わせて用いられてもよい。また、この場合には同じ物体の像であっても、画像の中央付近に写る場合と周辺部分に写る場合とで大きく形状が異なる。このような像の形状のバリエーションに適切に対応して画像認識ができるように、物体検出処理部１４は複数の学習済みモデルを含み、例えば画像領域全体における処理対象領域の位置に応じて、各位置での画像認識に特化して訓練された学習済みモデルに切り替えて画像認識を実行してもよい。

（５）実施の形態は、第３センシングデータはイメージセンサから出力される画像データである例を用いて説明したが、第３センシングデータは画像データに限定されない。本開示の技術は、例えばＬｉＤＡＲから出力される点群データのように、空間における位置を示す他種のデータにも適用することができる。

（６）学習済みモデルとして多層ニューラルネットワークが用いられてもよい。この場合、学習済みモデルの中間層間では、互いに異なる大きさの検出枠に対する処理が実行される。この場合、各中間層の検出枠は、移動体（に設置されるカメラ等の第３センサ）から所定の距離に存在する検出対象の物体像の検出に適する大きさである場合がある。例えば入力層から３番目の中間層の検出枠の大きさは、３０メートル先の歩行者の検出に適し、５番目の中間層の検出枠はより小さく、８０メートル先の歩行者の検出に適しているとする。このように、移動体（又は第３センサ）から経路前方の移動面における自機姿勢に対して傾く部分までの距離がわかり、かつ、学習済みモデルの各層が適している移動体（又は第３センサ）からの距離がわかる場合には、傾きに応じた処理対象部分の決定は、学習済みモデルの各層のうち、開始位置までの距離からさらに前方にある移動面が自機姿勢に対して傾いている範囲に適した層に対して選択的に実行されてもよい。

（７）実施の形態は、移動体の経路前方の移動面の自機姿勢に対する傾きに関する判定は、第１センシングデータと第２センシングデータとの両方を用いる例（例えば図４のステップＳ４３）を用いて説明した。この判定は第１センシングデータ又は第２センシングデータのいずれか一方のみを用いてなされてもよい。例えば、第１センシングデータである画像データに対するセグメンテーションによる路面領域の判定結果を用いて、水平な路面が映るある一定の領域より上部にも所定の大きさ以上の路面領域と判定される画素がある場合は正の傾き、あるいはこの一定の領域より下部にのみ、所定の大きさ以下の路面領域と判定される画素がある場合は負の傾きと判定してもよい。また例えば、第１センシングデータとして、例えばステレオカメラで移動体の経路前方のデプス画像のデータを取得し、このデプス画像に写る路面までの距離の変化から算出される傾きに基づいて判定が実行されてもよい。また例えば、ロール角の傾きについては、第１センシングデータである移動体の前方を撮影して得られた画像データに含まれる鉛直成分又は水平成分の画像領域における方向に基づいて判定が実行されてもよい。また例えば、利用可能な３次元地図情報がある場合には、この３次元地図情報と、測位システムから出力される移動体の現在の位置を示すデータ（第２センシングデータ）とを用いてこの判定が実行されてもよい。その他、第１センシングデータである画像データから移動面の自機姿勢に対する傾きを判定できるように学習した機械学習モデルを用いてこの判定が実行されてもよい。

（８）実施の形態の説明では、移動面が平面である例を説明した。しかし、移動面は階段状の面であってもよい。例えば、ＬｉＤＡＲから得られる点群情報に基づき階段の勾配を算出する。そして、算出された勾配及び移動体の姿勢に基づいて、移動面の、移動体の姿勢に対する傾きを算出する。

（９）実施の形態の説明では、物体検出処理に用いられるセンシングデータを出力する第３センサが搭載される装置が移動体である例を説明した。しかし、当該装置は移動しないで、少なくとも第３センサを含む可動部分の姿勢が可変である装置であってもよい。例えば、カメラの姿勢が可変な監視カメラシステムであってもよい。なお、このような装置の場合には、実施の形態で用いた移動面の概念に代えて、第３センサのセンシングエリアに含まれる、床面（地面又は階段若しくはエスカレータのステップ面の場合を含む）、壁面、又は天井面等の各種の面の概念が用いられ、自機姿勢の概念に代えて、第３センサ又は可動部分の姿勢の概念が用いられる。

（１０）上述の各情報処理装置が備える構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）で構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサがこのコンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

このようなシステムＬＳＩ等は、例えばデジタルカメラ、スマートフォン等のカメラ付携帯情報端末、又はバックモニタシステム、物体検知機能を含む先進運転支援システム等の各種の車載システムに組み込まれ得る。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

（１１）また、上述の各情報処理装置の構成要素は、例えば、それぞれがプロセッサ及びメモリを備え、互いに通信可能な複数台のコンピュータが協調して動作し、上述の各情報処理装置と同様の機能を提供する情報処理システムの構成要素として実現されてもよい。この場合、これらの構成要素は、例えば、これらのコンピュータが備えるプロセッサの一部又は全部が、これらのコンピュータが備えるメモリの一部又は全部に記憶される１個又は複数個のプログラムを実行することで実現される。

（１２）本開示の一態様は、上述の各情報処理装置だけではなく、情報処理装置に含まれる特徴的な機能的構成要素をステップとする情報処理方法であってもよい。この情報処理方法は、例えば、図４のフロー図を用いて上述した情報処理方法である。また、本開示の一態様は、このような情報処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。

本開示に係る技術は、センシングデータを用いた画像認識のための情報処理に広く利用可能であり、例えば運転支援又は自律移動をする移動体の周囲及び進行方向の物体検知等に用いられる。

１ 物体検知システム
１０ 情報処理装置
１１ 周辺状況判断部
１２ 自機姿勢判断部
１３ 領域変更部
１４ 物体検出処理部
１５ 処理周期変更部
１６ 速度変更通知部
２０ 周辺状況センサ
３０ ＬｉＤＡＲ
４０ 傾きセンサ
５０ 位置・姿勢取得部
６０ 地図情報
７０ 速度，照度

Claims (11)

1. プロセッサを備える情報処理装置であって、前記プロセッサは、
   第１センサから出力される、第３センサが設置される装置の周辺状況の判断に用いる第１センシングデータ、及び第２センサから出力される、前記装置の姿勢の判断に用いる第２センシングデータの少なくとも１つを取得し、
   取得した前記第１センシングデータ及び前記第２センシングデータの少なくとも１つに基づいて、前記第３センサのセンシング方向における面の、前記姿勢に対する傾きを判定し、
   前記第３センサから出力され、前記センシング方向における物体検出処理に用いられる第３センシングデータの処理対象部分を、前記傾きに応じて決定し、
   前記第３センシングデータの決定された前記処理対象部分を用いて前記物体検出処理を実行する、ように構成され、
   前記傾きが所定の範囲以内である場合、前記第３センシングデータの一部が前記処理対象部分として決定され、
   前記傾きが前記所定の範囲を超える場合、前記第３センシングデータの前記一部より広い部分が前記処理対象部分として決定され、
   前記プロセッサは、さらに、前記傾きが前記所定の範囲を超える場合、前記物体検出処理の処理周期を前記傾きが前記所定の範囲以内である場合よりも長くする、
   情報処理装置。
2. 前記装置は、移動体であり、
   前記プロセッサは、
   さらに、前記傾きが前記所定の範囲を超える場合、前記移動体に減速を要求する
   請求項１に記載の情報処理装置。
3. 前記装置は、移動体であり、
   前記プロセッサは、
   さらに、前記傾きが前記所定の範囲を超える場合、前記移動体の使用者に警告を通知する
   請求項１又は２に記載の情報処理装置。
4. さらに、前記物体検出処理の信頼度に影響を及ぼす要素に応じて、前記処理対象部分のサイズを変更する
   請求項１～３のいずれか一項に記載の情報処理装置。
5. プロセッサを備える情報処理装置であって、前記プロセッサは、
   第１センサから出力される、第３センサが設置される装置の周辺状況の判断に用いる第１センシングデータ、及び第２センサから出力される、前記装置の姿勢の判断に用いる第２センシングデータの少なくとも１つを取得し、
   取得した前記第１センシングデータ及び前記第２センシングデータの少なくとも１つに基づいて、前記第３センサのセンシング方向における面の、前記姿勢に対する傾きを判定し、
   前記第３センサから出力され、前記センシング方向における物体検出処理に用いられる第３センシングデータの処理対象部分を、前記傾きに応じて決定し、
   前記第３センシングデータの決定された前記処理対象部分を用いて前記物体検出処理を実行する、ように構成され、
   前記物体検出処理は、前記処理対象部分を複数の学習済みモデルのうちの１つに入力することにより実行され、
   前記第３センサは、カメラであり、
   前記複数の学習済みモデルは、それぞれ、前記カメラから前記第３センシングデータとして出力される画像の一部の領域を処理対象として認識するように訓練されたモデルであり、
   前記複数の学習済みモデルがそれぞれ処理対象とする前記画像の一部の領域は互いに異なり、
   前記プロセッサは、前記複数の学習済みモデルの中から前記傾きに応じて選択した１つの学習済みモデルに前記処理対象部分を入力する、
   情報処理装置。
6. プロセッサを備える情報処理装置であって、前記プロセッサは、
   第１センサから出力される、第３センサが設置される装置の周辺状況の判断に用いる第１センシングデータ、及び第２センサから出力される、前記装置の姿勢の判断に用いる第２センシングデータの少なくとも１つを取得し、
   取得した前記第１センシングデータ及び前記第２センシングデータの少なくとも１つに基づいて、前記第３センサのセンシング方向における面の、前記姿勢に対する傾きを判定し、
   前記第３センサから出力され、前記センシング方向における物体検出処理に用いられる第３センシングデータの処理対象部分を、前記傾きに応じて決定し、
   前記第３センシングデータの決定された前記処理対象部分を用いて前記物体検出処理を実行する、ように構成され、
   前記物体検出処理は、前記処理対象部分を学習済みモデルに入力することにより実行され、
   前記学習済みモデルは、多層ニューラルネットワークであり、
   前記プロセッサは、
   さらに、前記装置から前記傾きの起点までの距離を取得し、
   前記距離に応じた前記学習済みモデルの層について、前記処理対象部分を決定する、
   情報処理装置。
7. 前記プロセッサは、
   前記処理対象部分を、前記傾きに応じて前記処理対象部分をシフトすることで決定する
   請求項１～６のいずれか一項に記載の情報処理装置。
8. 第１センサから出力される、第３センサが設置される装置の周辺状況の判断に用いる第１センシングデータ、及び第２センサから出力される、前記装置の姿勢の判断に用いる第２センシングデータの少なくとも１つを取得し、
   取得した前記第１センシングデータ及び前記第２センシングデータの少なくとも１つに基づいて、前記第３センサのセンシング方向における面の、前記姿勢に対する傾きを判定し、
   前記第３センサから出力され、前記センシング方向における物体検出処理に用いられる第３センシングデータの処理対象部分を、前記傾きに応じて決定し、
   前記第３センシングデータの決定された前記処理対象部分を用いて前記物体検出処理を実行する情報処理方法であって、
   前記傾きが所定の範囲以内である場合、前記第３センシングデータの一部が前記処理対象部分として決定され、
   前記傾きが前記所定の範囲を超える場合、前記第３センシングデータの前記一部より広い部分が前記処理対象部分として決定され、
   前記情報処理方法は、さらに、前記傾きが前記所定の範囲を超える場合、前記物体検出処理の処理周期を前記傾きが前記所定の範囲以内である場合よりも長くする、
   情報処理方法。
9. 第１センサから出力される、第３センサが設置される装置の周辺状況の判断に用いる第１センシングデータ、及び第２センサから出力される、前記装置の姿勢の判断に用いる第２センシングデータの少なくとも１つを取得し、
   取得した前記第１センシングデータ及び前記第２センシングデータの少なくとも１つに基づいて、前記第３センサのセンシング方向における面の、前記姿勢に対する傾きを判定し、
   前記第３センサから出力され、前記センシング方向における物体検出処理に用いられる第３センシングデータの処理対象部分を、前記傾きに応じて決定し、
   前記第３センシングデータの決定された前記処理対象部分を用いて前記物体検出処理を実行する情報処理方法であって、
   前記物体検出処理は、前記処理対象部分を複数の学習済みモデルのうちの１つに入力することにより実行され、
   前記第３センサは、カメラであり、
   前記複数の学習済みモデルは、それぞれ、前記カメラから前記第３センシングデータとして出力される画像の一部の領域を処理対象として認識するように訓練されたモデルであり、
   前記複数の学習済みモデルがそれぞれ処理対象とする前記画像の一部の領域は互いに異なり、
   前記物体検出処理において、前記複数の学習済みモデルの中から前記傾きに応じて選択した１つの学習済みモデルに前記処理対象部分が入力される、
   情報処理方法。
10. 第１センサから出力される、第３センサが設置される装置の周辺状況の判断に用いる第１センシングデータ、及び第２センサから出力される、前記装置の姿勢の判断に用いる第２センシングデータの少なくとも１つを取得し、
    取得した前記第１センシングデータ及び前記第２センシングデータの少なくとも１つに基づいて、前記第３センサのセンシング方向における面の、前記姿勢に対する傾きを判定し、
    前記第３センサから出力され、前記センシング方向における物体検出処理に用いられる第３センシングデータの処理対象部分を、前記傾きに応じて決定し、
    前記第３センシングデータの決定された前記処理対象部分を用いて前記物体検出処理を実行する情報処理方法であって、
    前記物体検出処理は、前記処理対象部分を学習済みモデルに入力することにより実行され、
    前記学習済みモデルは、多層ニューラルネットワークであり、
    前記情報処理方法は、
    さらに、前記装置から前記傾きの起点までの距離を取得し、
    前記距離に応じた前記学習済みモデルの層について、前記処理対象部分を決定する、
    情報処理方法。
11. 請求項８～１０のいずれか一項に記載の情報処理方法をプロセッサに実行させるプログラム。

Images