JP2022155106A - 情報処理装置、移動体の制御装置、情報処理装置の制御方法、移動体の制御方法、及びプログラム - Google Patents

Abstract

【課題】移動体を使用するユーザの発話情報から、移動体に対する指示位置を推定することが可能な情報処理装置を提供する。【解決手段】本開示に係る情報処理装置は、ユーザが使用する移動体に対する指示位置を推定する情報処理装置であって、ユーザの使用する通信装置から、視覚的な目印を含む、指示位置に関する発話情報を取得する発話取得手段と、移動体において撮影される撮影画像を取得する画像取得手段と、発話情報に含まれる視覚的な目印に対応する、撮影画像内の物体領域を決定する決定手段と、決定手段によって決定された物体領域に基づいて、指示位置を推定する推定手段と、を含む。【選択図】図８

Description

本発明は、情報処理装置、移動体の制御装置、情報処理装置の制御方法、移動体の制御方法、及びプログラムに関する。

近年、超小型モビリティ（マイクロモビリティともいわれる）と呼ばれる、乗車定員が１～２名程度である電動の移動体が知られており、手軽な移動手段として普及することが期待されている。

このような超小型モビリティをシェアリングに用いるカーシェアリングシステムが提案されている（特許文献１）。このカーシェアリングシステムでは、車両管理サーバが、カーシェアリングの対象となる車両の利用開始時刻や貸出場所を含む利用申込メッセージをユーザの通信装置から受信する。そして、利用申込メッセージの内容と運搬車両の現在位置とに基づいて、利用開始時刻までに貸出場所に到着可能な運搬車両を特定し、特定した運搬車両にシェアリングカーを貸出場所に運搬させる。ユーザは、指定した利用開始時間に貸出場所を訪れるとシェアリングカーを利用することができる。

特開２０２０－７７０３５号公報

ところで、ユーザが超小型モビリティを利用する場合に、超小型モビリティが停車する貸出場所をユーザが訪れるのではなく、超小型モビリティとユーザとがそれぞれ移動しながら動的に合流位置を調整するようなユースケースが考えられる。このようなユースケースは、混雑などにより予め指定した位置での合流が困難となった場合や、ユーザが、最初に大まかな地域や建物等を指定し、互いが近くに到着した段階で具体的な合流位置を調整する場合などに有効である。或いは、既に超小型モビリティがユーザの周辺に存在する場合には、例えば、「そこのポストの横で待ってて」などの待機指示のように、超小型モビリティをユーザの意図に応じて移動させるユースケースも考えられる。これらのユースケースでは、ユーザの発した発話からユーザの意図する位置が推定され、当該位置に超小型モビリティが移動すれば、ユーザは超小型モビリティをより容易に扱うことができる。

本発明は、上記課題に鑑みてなされ、その目的は、移動体を使用するユーザの発話情報から、移動体に対する指示位置を推定するすることが可能な技術を実現することである。

本発明によれば、
ユーザが使用する移動体に対する指示位置を推定する情報処理装置であって、
前記ユーザの使用する通信装置から、視覚的な目印を含む、指示位置に関する発話情報を取得する発話取得手段と、
前記移動体において撮影される撮影画像を取得する画像取得手段と、
前記発話情報に含まれる前記視覚的な目印に対応する、前記撮影画像内の物体領域を決定する決定手段と、
前記決定手段によって決定された前記物体領域に基づいて、前記指示位置を推定する推定手段と、を含むことを特徴とする情報処理装置が提供される。

本発明によれば、移動体を使用するユーザの発話情報から、移動体に対する指示位置を推定することが可能になる。

本発明の実施形態に係る情報処理システムの一例を示す図 本実施形態に係る移動体の一例としての車両のハードウェアの構成例を示すブロック図 本実施形態に係る車両の機能構成例を示すブロック図 本実施形態に係る情報処理装置の一例としてのサーバの機能構成例を示すブロック図 本実施形態に係る、発話と画像を用いた合流位置の推定について説明するための図（１） 本実施形態に係る、発話と画像を用いた合流位置の推定について説明するための図（２） 本実施形態に係る、合流位置の調整処理の一連の動作を示すフローチャート 本実施形態に係る、発話を用いた合流位置の調整処理の一連の動作を示すフローチャート 本実施形態に係る、発話と画像とを用いた合流位置の調整処理の一連の動作を示すフローチャート 他の実施形態に係る情報処理システムの一例を示す図

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

（情報処理システムの構成）
図１を参照して、本実施形態に係る情報処理システム１の構成について説明する。情報処理システム１は、車両１００と、サーバ１１０と、通信装置１２０とを含む。

車両１００は、自律移動が可能な移動体の一例であり、例えば、バッテリーを搭載しており、主にモーターの動力で移動する超小型モビリティである。超小型モビリティとは、一般的な自動車よりもコンパクトであり、乗車定員が１又は２名程度の超小型車両である。本実施形態では、車両１００は、例えば、四輪車である。なお、以下の実施形態では、移動体は、乗物に限らず、歩くユーザと並走して荷物を運んだり、人を先導したりするような小型モビリティを含んでよく、また、その他の自律移動が可能な移動体(例えば歩行型ロボットなど)を含んでもよい。

車両１００は、例えば、Ｗｉ‐Ｆｉや第５世代移動体通信などの無線通信を介してネットワーク１４０に接続する。車両１００は、様々なセンサによって（車両の位置、走行状態、周囲の物体の物標などの）車両内外の状態を計測し、計測したデータをサーバ１１０に送信可能である。このように収集されて送信されるデータは、一般にフローティングデータ、プローブデータ、交通情報などとも呼ばれる。車両に関する情報は、一定の間隔でまたは特定のイベントが発生したことに応じてサーバ１１０に送信される。車両１００は、ユーザ１３０が乗車していない場合であっても自動運転により走行可能である。車両１００は、サーバ１１０から提供される制御命令などの情報を受信して、或いは、自車で計測したデータを用いて車両の動作を制御する。

サーバ１１０は、１つ以上のサーバ装置で構成され、車両１００から送信される車両に関する情報や、通信装置１２０から送信される発話情報及び位置情報を、ネットワーク１１１を介して取得し、車両１００の走行を制御可能である。車両１００の走行制御は、後述するユーザ１３０と車両１００との合流位置の調整処理を含む。

通信装置１２０は、例えばスマートフォンであるが、これに限らず、イヤフォン型の通信端末であってもよいし、パーソナルコンピュータ、タブレット端末、ゲーム機などであってもよい。通信装置１２０は、例えば、Ｗｉ‐Ｆｉや第５世代移動体通信などの無線通信を介してネットワーク１４０に接続する。

ネットワーク１１１は、例えばインターネットや携帯電話網などの通信網を含み、サーバ１１０と、車両１００や通信装置１２０と間の情報を伝送する。

この情報処理システム１では、離れた場所にいたユーザ１３０と車両１００が、（視覚的な目印となる）物標等を視覚で確認できる程度に近づいた場合に、発話情報と車両１００で撮影された画像情報とを用いて合流位置を調整する。

ユーザ１３０と車両１００とが物標等を視覚で確認できる程度に近づく前には、まずサーバ１１０は、ユーザの現在位置或いはユーザの予測位置が含まれる大まかなエリアまで車両１００を移動させる。そして、サーバ１１０は、車両１００が大まかなエリアに到達すると、視覚的な目印に関連する場所を尋ねる発話情報（例えば「近くにお店ありますか？」）を通信装置１２０へ送信する。視覚的な目印に関連する場所は、例えば、地図情報に含まれる場所の名称を含む。サーバ１１０は、視覚的な目印に関連する場所を含む発話情報（例えば「ｘｘコーヒーショップの建物があります」）を通信装置１２０から受け付ける。そして、サーバ１１０は、地図情報から該当する場所の位置を取得して車両１００を当該場所の周辺まで移動させる（つまり、車両とユーザが物標等を視覚で確認できる程度に近づく）。

（車両の構成）
次に、図２を参照して、本実施形態に係る車両の一例としての車両１００の構成について説明する。

図２（Ａ）は本実施形態に係る車両１００の側面を示し、図２（Ｂ）は車両１００の内部構成を示している。図中矢印Ｘは車両１００の前後方向を示しＦが前をＲが後を示す。矢印Ｙ、Ｚは車両１００の幅方向（左右方向）、上下方向を示す。

車両１００は、走行ユニット１２を備え、バッテリ１３を主電源とした電動自律式車両である。バッテリ１３は例えばリチウムイオンバッテリ等の二次電池であり、バッテリ１３から供給される電力により走行ユニット１２によって車両１００は自走する。走行ユニット１２は、左右一対の前輪２０と、左右一対の後輪２１とを備えた四輪車である。走行ユニット１２は三輪車の形態等、他の形態であってもよい。車両１００は、一人用又は二人用の座席１４を備える。

走行ユニット１２は操舵機構２２を備える。操舵機構２２はモータ２２ａを駆動源として一対の前輪２０の舵角を変化させる機構である。一対の前輪２０の舵角を変化させることで車両１００の進行方向を変更することができる。走行ユニット１２は、また、駆動機構２３を備える。駆動機構２３はモータ２３ａを駆動源として一対の後輪２１を回転させる機構である。一対の後輪２１を回転させることで車両１００を前進又は後進させることができる。

車両１００は、車両１００の周囲の物標を検知する検知ユニット１５～１７を備える。検知ユニット１５～１７は、車両１００の周辺を監視する外界センサ群であり、本実施形態の場合、いずれも車両１００の周囲の画像を撮像する撮像装置であり、例えば、レンズなどの光学系とイメージセンサとを備える。しかし、撮像装置に代えて或いは撮像装置に加えて、レーダやライダ（Light Detection and Ranging）を採用することも可能である。

検知ユニット１５は車両１００の前部にＹ方向に離間して二つ配置されており、主に、車両１００の前方の物標を検知する。検知ユニット１６は車両１００の左側部及び右側部にそれぞれ配置されており、主に、車両１００の側方の物標を検知する。検知ユニット１７は車両１００の後部に配置されており、主に、車両１００の後方の物標を検知する。

図３は、車両１００の制御系のブロック図である。車両１００は、制御ユニット（ＥＣＵ）３０を備える。制御ユニット３０は、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。プロセッサ、記憶デバイス、インタフェースは、車両１００の機能別に複数組設けられて互いに通信可能に構成されてもよい。

制御ユニット３０は、検知ユニット１５～１７の検知結果、操作パネル３１の入力情報、音声入力装置３３から入力された音声情報、サーバ１１０からの制御命令（例えば、撮像画像や現在位置の送信等）などを取得して、対応する処理を実行する。制御ユニット３０は、モータ２２ａ、２３ａの制御（走行ユニット１２の走行制御）、操作パネル３１の表示制御、音声による車両１００の乗員への報知、情報の出力を行う。

音声入力装置３３は、車両１００の乗員の音声を収音する。制御ユニット３０は、入力された音声を認識して、対応する処理を実行可能である。ＧＮＳＳ(Global Navigation Satellite system)センサ３４は、ＧＮＳＳ信号を受信して車両１００の現在位置を検知する。

記憶装置３５は、車両１００が走行可能な走路、建造物などのランドマーク、店舗等の情報を含む地図データ等を記憶する大容量記憶デバイスである。記憶装置３５にも、プロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納されてよい。記憶装置３５は、制御ユニット３０によって実行される音声認識や画像認識用の機械学習モデルの各種パラメータ（例えばディープニューラルネットワークの学習済みパラメータやハイパーパラメータなど）を格納してもよい。

通信装置３６は、例えば、Ｗｉ‐Ｆｉや第５世代移動体通信などの無線通信を介してネットワーク１４０に接続可能な通信装置である。

（サーバの構成）
次に、図４を参照して、本実施形態に係る情報処理装置の一例としてのサーバ１１０の構成について説明する。

制御ユニット４０４は、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。プロセッサ、記憶デバイス、インタフェースは、サーバ１１０の機能別に複数組設けられて互いに通信可能に構成されてもよい。制御ユニット４０４は、プログラムを実行することにより、サーバ１１０の各種動作や、後述する合流位置の調整処理などを実行する。制御ユニット４０４は、ＣＰＵのほか、ＧＰＵ、或いは、ニューラルネットワーク等の機械学習モデルの処理の実行に適した専用のハードウェアを更に含んでよい。

ユーザデータ取得部４１３は、車両１００から送信される画像や位置の情報を取得する。また、ユーザデータ取得部４１３は、通信装置１２０から送信されるユーザ１３０の発話情報を取得する。ユーザデータ取得部４１３は、取得した画像や位置の情報を記憶部４０３に格納してもよい。ユーザデータ取得部４１３が取得した画像や発話の情報は、推論結果を得るために、推論段階の学習済みモデルに入力されるが、サーバ１１０で実行される機械学習モデルを学習させるための学習データとして用いられてもよい。

音声情報処理部４１４は、音声情報を処理する機械学習モデルを含み、当該機械学習モデルの学習段階の処理や推論段階の処理を実行する。音声情報処理部４１４の機械学習モデルは、例えば、ディープニューラルネットワーク（ＤＮＮ）を用いた深層学習アルゴリズムの演算を行って、発話情報に含まれる場所名、建造物などのランドマーク名、店舗名、物標の名称などを認識する。物標は、発話情報に含まれる通行人、看板、標識、自動販売機など野外に設置される設備、窓や入口などの建物の構成要素、道路、車両、二輪車、などを含んでよい。

ＤＮＮは、学習段階の処理を行うことにより学習済みの状態となり、新たな発話情報を学習済みのＤＮＮに入力することにより新たな発話情報に対する認識処理（推論段階の処理）を行うことができる。なお、本実施形態では、サーバ１１０が音声認識処理を実行する場合を例に説明するが、車両や通信装置において音声認識処理を実行し、認識結果をサーバ１１０に送信するようにしてもよい。

画像情報処理部４１５は、画像情報を処理する機械学習モデルを含み、当該機械学習モデルの学習段階の処理や推論段階の処理を実行する。画像情報処理部４１５の機械学習モデルは、例えば、ディープニューラルネットワーク（ＤＮＮ）を用いた深層学習アルゴリズムの演算を行って、画像情報に含まれる物標を認識する処理を行う。物標は、画像内に含まれる通行人、看板、標識、自動販売機など野外に設置される設備、窓や入口などの建物の構成要素、道路、車両、二輪車、などを含んでよい。

合流位置推定部４１６は、後述する、合流位置の調整処理を実行する。合流位置の調整処理については後述する。

なお、サーバ１１０は、一般に、車両１００などと比べて豊富な計算資源を用いることができる。また、様々な車両で撮影された画像データを受信、蓄積することで、多種多用な状況における学習データを収集することができ、より多くの状況に対応した学習が可能になる。

通信ユニット４０１は、例えば通信用回路等を含む通信装置であり、車両１００や通信装置１２０などの外部装置と通信する。通信ユニット４０１は、車両１００からの画像情報や位置情報、通信装置１２０からの発話情報を受信するほか、車両１００への制御命令、通信装置１２０への発話情報を送信する。

電源部４０２は、サーバ１１０内の各部に電力を供給する。記憶部４０３は、ハードディスクや半導体メモリなどの不揮発性メモリである。

（発話と画像とを用いた合流位置推定の概要）
図５Ａ及び図５Ｂを参照して、サーバ１１０において実行される、発話と画像とを用いた合流位置推定の概要について説明する。本処理は、上述のように、離れた場所にいたユーザ１３０と車両１００が、（視覚的な目印となる）物標等を視覚で確認できる程度に近づいた後に実行される処理である。

図５Ａは、車両１００で撮影された画像５１０に対して、サーバ１１０がユーザの意図する合流位置を推定した結果の例を模式的に示している。

画像５１０は、車両１００が前側の状況を撮影した画像である。画像５１０には、建物５８０の前に設置されている自動販売機５２０と自動販売機５３０とが撮影されている。例えば、自動販売機５２０は、赤色の自動販売機であり、自動販売機５３０は、青色の自動販売機である。

例えば、ユーザ１３０が「青い自動販売機の前に止めて」と発話した場合を考える。サーバ１１０は、発話情報から視覚的な目印を抽出する。視覚的な目印は、例えば自動販売機である。サーバ１１０は、画像情報から自動販売機を認識し、認識した自動販売機の領域を識別する。図５Ａに示す例では、赤い自動販売機５２０の領域が５４０として識別され、青い自動販売機５３０の領域が５５０として識別されていることを示す。

サーバ１１０は、識別された領域に対して、視覚的な目印に対応する確率分布を算出する。この例では、視覚的な目印が自動販売機であるため、それぞれの「自動販売機」に対する確率を得られる確率分布が算出される。このとき、青い視覚的な目印は自動販売機５３０のみであるため、例えば、青い自動販売機５３０の確率が「０．９０」となり、赤い自動販売機５２０の確率が「０．１０」となる確率分布が付与されている。ここで説明する確率分布の設定は一例であり、他の確率分布が設定されてもよい。例えば、「青い自動販売機」を視覚的な目印として抽出し、青い自動販売機５３０の領域のみを識別して、この領域のみに最大限の確率を付与するようにしてもよい。

図５Ｂは、車両１００で撮影された画像５１０に対して、サーバ１１０がユーザの意図する合流位置を推定した結果の他の例を模式的に示している。図５Ｂに示す例では、ユーザ１３０が「自動販売機の前に止めて」と発話した場合を考える。サーバ１１０は、画像情報から自動販売機を認識し、認識した自動販売機の領域を識別する。赤い自動販売機５２０の領域が５４０として識別され、青い自動販売機５３０の領域が５５０として識別される。サーバ１１０は、例えば、赤い自動販売機５２０と青い自動販売機５３０の両方が同じ確率（例えば０．５）となる確率分布を算出することができる。このとき、サーバ１１０は、仮にユーザ１３０（通信装置１２０）の現在位置から赤い自動販売機５２０の方が近い場合には、確率分布を補正して、赤い自動販売機５２０の確率が「０．６」となり、青い自動販売機５３０の確率が「０．４」となるようにしてもよい。この場合、いずれの自動販売機も比較的高い確率（例えば、「０．３」以上）が付与されているものの、１つに特定可能な所定の閾値（例えば０．９）を超えていないため、サーバ１１０は、視覚的目印を絞り込むための追加的な発話情報（例えば「赤い自動販売機ですか？」）を、通信装置１２０へ送信する。サーバ１１０は、ユーザからの発話情報の受信と、追加的な発話情報の送信とを繰り返して、１つの視覚的な目印を特定する。サーバ１１０は、１つの視覚的な目印を特定すると、特定した目印の前が合流位置であると推定し、その場所に車両１００を移動させてユーザと合流させる。

（合流位置の調整処理の一連の動作）
次に、サーバ１１０における合流位置の調整処理の一連の動作について、図６を参照して説明する。なお、本処理は、制御ユニット４０４がプログラムを実行することにより実現される。なお、以下の説明では、説明の簡単のために制御ユニット４０４が各処理を実行するものとして説明するが、（図４にて上述した）制御ユニット４０４の各部により対応する処理が実行される。

Ｓ６０１において、制御ユニット４０４は、車両１００との合流を開始するためのリクエスト（合流リクエスト）を通信装置１２０から受信する。Ｓ６０２において、制御ユニット４０４は、ユーザの位置情報を通信装置１２０から取得する。なお、ユーザの位置情報は、通信装置１２０の位置情報である。Ｓ６０３において、制御ユニット４０４は、Ｓ６０２で取得したユーザの位置に基づき、合流する大まかなエリア（単に合流エリアともいう）を特定する。合流エリアは、例えば、ユーザ１３０（通信装置１２０）の現在位置を中心とした半径が所定距離（例えば、数百ｍ）のエリアである。

Ｓ６０４において、制御ユニット４０４は、例えば、車両１００から定期的に送信される位置情報に基づいて、合流エリアへ向かう車両１００の移動を追跡する。なお、制御ユニット４０４は、例えば、ユーザ１３０の現在位置（或いは所定の時間後の到達地点）に最も近い車両を、ユーザ１３０と合流する車両１００として選択することができる。或いは、制御ユニット４０４は、特定の車両１００を指定する情報が合流リクエストに含まれていた場合、当該車両１００を、ユーザ１３０と合流する車両１００として選択してもよい。

Ｓ６０５において、制御ユニット４０４は、車両１００が合流エリアに到達したかを判定する。制御ユニット４０４は、例えば、車両１００と通信装置１２０との間の距離が合流エリアの半径以内である場合に、車両１００が合流エリアに到達したと判定して、処理をＳ６０６に進める。そうでない場合、サーバは処理をＳ６０５に戻して、車両１００が合流エリアに到達するのを待つ。

Ｓ６０６において、制御ユニット４０４は、発話を用いた合流位置の推定処理を実行する。発話を用いた合流位置の推定処理の詳細については、後述する。

Ｓ６０７において、制御ユニット４０４は、合流位置の位置情報を車両へ送信する。すなわち、制御ユニット４０４は、Ｓ６０６の処理において推定された合流位置を車両１００へ送信することで、車両１００を合流位置に移動させる。制御ユニット４０４は、合流位置を車両１００へ送信すると、その後、一連の動作を終了する。

（発話を用いた合流位置の推定処理の一連の動作）
更に、サーバ１１０における、発話を用いた合流位置の推定処理の一連の動作について、図７を参照して説明する。なお、本処理は、図６に示す処理と同様、制御ユニット４０４がプログラムを実行することにより実現される。

Ｓ７０１において、制御ユニット４０４は、「視覚的な目印に関連する場所」について尋ねる発話情報を、通信装置１２０に送信する。視覚的な目印に関連する場所について尋ねる発話情報は、例えば「近くにお店ありますか？」のような発話を含む。この視覚的な目印に関連する場所について尋ねる発話情報は、予め定められ、記憶部４０３に記憶された情報であってよい。

Ｓ７０２において、制御ユニット４０４は、ユーザの発話情報を通信装置１２０から受信して、発話内容を認識し、発話内容に含まれる場所の情報を抽出する。このとき、ユーザの発話情報は、「ｘｘコーヒーショップの建物があります」のように、視覚的な目印に関連する場所の情報を含む。

Ｓ７０３において、制御ユニット４０４は、Ｓ７０２で抽出した場所の位置を、地図情報から特定する。例えば、「ｘｘコーヒーショップ」を、合流エリア内の地図情報から検索し、当該場所の位置を特定する。

Ｓ７０４において、制御ユニット４０４は、地図情報から特定した（視覚的な目印に関連する）場所の位置を車両１００に送信して、車両１００を当該場所の位置へ移動させる。また、制御ユニット４０４は、当該場所の位置への車両の移動を追跡する。

Ｓ７０５において、制御ユニット４０４は、車両１００が、場所の位置に近接したかを判定する。例えば、制御ユニット４０４は、車両１００が、視覚的な目印に関連する場所の位置から所定の距離以内に車両１００が近づいたと判定した場合には、処理をＳ７０６に進め、そうでない場合はＳ７０５の処理を繰り返す。ここで、所定の距離は、視覚的な目印となる物標等を視覚で確認できる程度の距離である。

Ｓ７０６において、制御ユニット４０４は、発話情報及び画像情報を用いて合流位置を推定する。この処理の詳細については、後述する。制御ユニット４０４は、本ステップの処理を終了すると、その後、一連の動作を終了して呼び出し元に戻る。

（発話及び画像情報を用いた合流位置の推定処理の一連の動作）
更に、サーバ１１０における、発話及び画像情報を用いた合流位置の推定処理の一連の動作について、図８を参照して説明する。なお、本処理は、図６及び図７と同様、制御ユニット４０４がプログラムを実行することにより実現される。

Ｓ８０１において、制御ユニット４０４は、視覚的な目印について尋ねる発話情報を送信する。例えば、「合流地点の目印は何ですか？」などの発話情報を通信装置１２０に送信する。

Ｓ８０２において、制御ユニット４０４は、ユーザの発話情報を受信して、発話内容を認識し、認識した発話内容から視覚的な目印の情報を抽出する。視覚的な目印は、例えば、上述の「自動販売機」である。Ｓ８０３において、制御ユニット４０４は、車両１００に対して、周囲（例えば前方）の画像情報を送信するように指示し、車両１００の周囲を撮影した画像情報を取得する。制御ユニット４０４は、取得した画像に対する物体認識を実行して、（視覚的な目印に対応する）画像内の物体領域を識別する。

Ｓ８０４において、制御ユニット４０４は、画像内の１つ以上の物体領域に対して、視覚的な目印に対応する確率を示す確率分布を算出する。例えば、発話情報に含まれる目印が「自動販売機」であって、画像内に「自動販売機」の領域が２つ以上存在する場合、制御ユニット４０４は、発話内容の限定的な言語要素（例えば「青い」）に基づいて、物体領域の確率分布を算出してよい。この場合、例えば、青い自動販売機５３０の確率が「０．９０」、赤い自動販売機５２０の確率が「０．１０」となる確率分布を算出してもよい。

発話情報に含まれる目印が「自動販売機」であって、画像内に「自動販売機」の領域が２つ以上存在する場合、両方の物体領域に同じ確率を付与することができる。このとき、図５Ｂで例示したように、サーバ１１０は、視覚的な目印となる物標と、ユーザ１３０との相対的な位置関係に応じて、更に確率分布を変動させてよい。サーバ１１０は、仮にユーザ１３０（通信装置１２０）の現在位置から赤い自動販売機５２０の方が近い場合には、確率分布を補正して、赤い自動販売機５２０の確率が「０．６」となり、青い自動販売機５３０の確率が「０．４」となるようにしてもよい。ユーザが近づいてくる方向から見て候補になり得る順に確率が高くなる確率分布を付与することができる。

発話情報が「建物の左側の自動販売機」のような物体との位置関係を含む場合、制御ユニット４０４は、車両１００から見た相対的な位置関係を考慮した確率分布を算出するようにしてもよい。例えば、建物５８０に対して左側にある自動販売機５２０の領域の確率を「０．９」、右側になる自動販売機５３０の領域の確率を「０．１」として算出してもよい。

或いは、発話情報が「建物の近くの自動販売機」である場合、すなわち、発話情報が複数の物体（物標）の種別を含んでおり、それぞれの種別を別個のモデルで認識する場合、各物体の確率分布を用いた条件付き確率を算出するようにしてもよい。条件付き確率を算出することで、物体の種別ごとに異なるモデルを用いる場合であっても、モデルごとの確率を容易に組み合わせることができる。

ユーザ位置の確率分布を更に考慮する場合、「ｘｘの近くに（自分が）いる」といった発話情報に対して、視覚的な目印に対応する確率分布を、ユーザ位置の確率分布と、画像内の領域に対する確率分布との条件付き確率として算出することができる。このように、ユーザ位置の確率分布と物体領域に対する確率分布のように、異なる性質のモデルから推定される対象についても、それぞれの確率分布を容易に組み合わせることができる。

Ｓ８０５において、制御ユニット４０４は、Ｓ８０４で算出した物体領域の確率が、第１閾値以上であるかを判定する。第１閾値以上の確率を有する物体領域がある場合、処理をＳ８０８に進め、そうでない場合にはＳ８０６に処理を進める。

Ｓ８０６において、制御ユニット４０４は、２つ以上の物体領域に対する、視覚的な目印に対応する確率が第２閾値以上であるかを判定する。ここで、判定がＹＥＳとなるのは、図５Ｂで示した、いずれの自動販売機も比較的高い確率（例えば、「０．３」以上）が付与されているものの、１つに特定可能な第１閾値（例えば０．９）を超えていない場合に対応する。第２閾値は、例えば、この例における０．３に対応する。制御ユニット４０４は、判定がＹＥＳである場合、処理をＳ８０７に進め、そうでない場合、より有効な視覚的目印を得るために、処理をＳ８０１に戻す。

Ｓ８０７において、制御ユニット４０４は、例えば「赤い自動販売機ですか？」などの、視覚的な目印を絞り込むための追加的な発話情報を送信する。ユーザ１３０の発話情報と車両１００の画像情報との関係において、視覚的な目印を１つに絞り込めない場合には、ユーザからの追加的な発話情報を得られるようにすることで、視覚的な目印の曖昧性を低減させることができる。

Ｓ８０８において、制御ユニット４０４は、第１閾値以上の確率を有する物体領域を、視覚的な目印に対応する物体領域として特定し、特定した物体領域に基づき、合流位置を推定する。例えば、制御ユニット４０４は、車両１００の自己位置を取得し、自己位置から画像内の特定した物体領域までの距離を推定する。このとき画像内の特定の物体までの車両からの距離計測は公知の技術を用いることができる。制御部４０４は、自己位置と物体までの距離とに基づいて物体領域に対応する物体の位置を算出し、当該物体の位置に基づいて合流位置を推定する。このとき、合流位置は、車両１００からの相対的な位置関係を考慮して推定される。例えば、図５Ａに示した画像５１０において、ユーザの発話情報が「青い自動販売機の前」であった例では、青い自動販売機の位置に対して車両１００から見た手前側として推定される。制御ユニット４０４は、その後、一連の動作を終了して呼び出し元に戻る。

なお、上述の実施形態は、ユーザと車両とが合流する場合に限らず、ユーザが車両に対して行う様々な移動指示に適用可能である。すなわち、上述の車両に対する合流位置の推定は、車両に対する指示位置を推定する処理の一例である。車両に対する指示位置の推定は、例えば、「ちょっとコーヒー買ってくるから、そこのポストの横で待ってて」のような待機指示や「あっちのカウンターで荷物を受け取ってきて」などのような移動先指示のような指示位置の指定にも適用することができる。すなわち、サーバは、視覚的な目印を含む指示位置に関する発話情報を受け付けて、指示位置を推定することができる。

以上説明したように、本実施形態では、ユーザが使用する移動体（例えば車両）に対する指示位置を推定するサーバにおいて、通信装置１２０から、視覚的な目印を含む、合流位置に関する発話情報と、移動体において撮影される撮影画像とを取得するようにした。そして、上記発話情報に含まれる視覚的な目印に対応する、撮影画像内の物体領域を決定し、決定した物体領域に基づいて、指示位置を推定するようにした。このようにすることで、移動体（例えば車両）を使用するユーザの発話情報から、移動体に対する指示位置を推定するすることが可能になる。

（変形例）
以下、本発明に係る変形例について説明する。上記実施形態では、合流位置の調整処理をサーバ１１０において実行する例について説明した。しかし、上述の合流位置の調整処理は、車両側で実行することもできる。この場合、情報処理システム９００は、図９に示すように、移動体の一例である車両９１０と、通信装置１２０とで構成される。ユーザの発話情報は通信装置１２０から車両９１０へ送信される。車両９１０で撮影された画像情報は、ネットワークを介して送信されるかわりに、車両内の制御ユニットによって処理される。車両９１０の構成は、制御ユニット３０が合流位置の調整処理を実行可能であることを除き、車両１００と同一の構成であってよい。車両９１０の制御ユニット３０は、車両９１０における制御装置として動作し、記憶されているプログラムを実行することにより、上述の合流位置の調整処理を実行する。図６～図８に示した一連の動作における、サーバと車両の間のやり取りは、車両の内部（例えば制御ユニット３０の内部、又は制御ユニット３０と検知ユニット１５の間）で行えばよい。その他の処理については、サーバと同様に実行することができる。

このように、ユーザが使用する移動体（例えば車両）に対する指示位置を推定する移動体の制御装置において、通信装置から、視覚的な目印を含む、指示位置に関する発話情報を取得し、移動体において撮影される撮影画像を取得する。そして、上記発話情報に含まれる視覚的な目印に対応する、撮影画像内の物体領域を決定し、決定した物体領域に基づいて、指示位置を推定するようにした。このようにすることで、移動体を使用するユーザの発話情報から、移動体に対する指示位置を推定するすることが可能になる。

＜実施形態のまとめ＞
１．上記実施形態の情報処理装置（例えば、１１０）は、
ユーザが使用する移動体に対する指示位置を推定する情報処理装置であって、
ユーザの使用する通信装置から、視覚的な目印を含む、指示位置に関する発話情報を取得する発話取得手段（例えば、４１３）と、
移動体において撮影される撮影画像を取得する画像取得手段（例えば、４１３）と、
発話情報に含まれる視覚的な目印に対応する、撮影画像内の物体領域を決定する決定手段（例えば、４１４、４１５、４１６）と、
決定手段によって決定された物体領域に基づいて、指示位置を推定する推定手段（例えば、４１６）と、を含む。

この実施形態によれば、（例えば、ユーザと移動体（例えば超小型モビリティ）との間で指示位置を調整したり、待機指示をするような場合に）移動体を使用するユーザの発話情報から、移動体に対する指示位置を推定することが可能になる。

２．上記実施形態の情報処理装置では、
決定手段は、撮影画像において認識される１つ以上の物体領域に対して、視覚的な目印に対応する確率を示す確率分布を算出し、第１閾値以上の確率を有する物体領域を、視覚的な目印に対応する物体領域として決定する。

この実施形態によれば、発話情報に含まれる目印に対応する、最も可能性の高い物体領域を精度良く算出することが可能になる。

３．上記実施形態の情報処理装置では、
決定手段は、２つ以上の物体領域に対する、視覚的な目印に対応する確率が第２閾値以上であって且つ第１閾値より小さい場合、視覚的な目印を絞り込むための追加の発話情報を、ユーザの通信装置に送信する。

この実施形態によれば、視覚的な目印を１つに絞り込めない場合に、ユーザからの追加的な発話情報を得られるようにすることができる。また、追加的な発話情報を得るようにすることで、視覚的な目印の曖昧性を低減させることが可能になる。

４．上記実施形態の情報処理装置では、
決定手段は、２つ以上の物体領域に対する、視覚的な目印に対応する確率を、２つ以上の物体領域の各物体と通信装置との間の距離に応じて算出する。

この実施形態によれば、ユーザが近づいてくる方向から見て候補になり得る順に高い確率を付与することができる。

５．上記実施形態の情報処理装置では、
決定手段は、発話情報に異なる種別の視覚的な目印が含まれる場合に、確率分布を条件付き確率を用いて算出する。

この実施形態によれば、物体の種別ごとに異なるモデルを用いる場合であっても、モデルごとの確率を容易に組み合わせることが可能になる。また、異なる性質のモデルから推定される対象についても、それぞれの確率分布を容易に組み合わせることができる
６．上記実施形態の情報処理装置では、
決定手段は、指示位置を含む発話情報に、視覚的な目印と他の物体との位置関係を示す発話が含まれる場合には、１つ以上の物体領域に対して、他の物体との位置関係に応じた確率分布を算出する。

この実施形態によれば、移動体からの相対的な位置関係を考慮することが可能になる。

７．上記実施形態の情報処理装置では、
発話取得手段は、更に、視覚的な目印を含む指示位置に関する発話情報を取得する前に、通信装置から、視覚的な目印に関連する場所を含む発話情報を取得する。

この実施形態によれば、まず地図情報に記載されるような場所の情報で目的とする地点に近づいた後で、視覚的な情報を用いた指示位置の調整が可能になる。

８．上記実施形態の情報処理装置では、
発話取得手段は、視覚的な目印に関連する場所の位置から所定の距離以内に移動体が近づいたことに応じて、視覚的な目印を含む指示位置に関する発話情報を取得する。

この実施形態によれば、視覚的な目印となる物標等を視覚で確認できるような、所定の距離まで近づいたことを契機として、視覚的な情報を用いた指示位置の推定を開始することが可能になる。

９．上記実施形態の情報処理装置では、
移動体は超小型モビリティである。

この実施形態によれば、一般的な乗用車よりも手軽に利用することができる超小型モビリティを用いた移動指示が可能になる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

１０．上記実施形態に係る移動体（例えば、９１０）の制御装置（例えば、３０）は、
ユーザが使用する移動体に対する指示位置を推定する移動体の制御装置であって、
前記ユーザの使用する通信装置（例えば、１２０）から、視覚的な目印を含む、合流位置に関する発話情報を取得する発話取得手段（例えば、３０）と、
前記移動体において撮影される撮影画像を取得する画像取得手段（例えば、３０）と、
前記発話情報に含まれる前記視覚的な目印に対応する、前記撮影画像内の物体領域を決定する決定手段（例えば、３０）と、
前記決定手段によって決定された前記物体領域に基づいて、前記合流位置を推定する推定手段（例えば、３０）と、を含む。

この実施形態によれば、（例えば、ユーザと移動体（例えば超小型モビリティ）との間で合流位置を調整したり、待機指示をするような場合に）移動体を使用するユーザの発話情報から、移動体に対する指示位置を推定することが可能になる。

１００…車両、１１０…サーバ、１２０…通信装置、４０４…制御ユニット、４１３…ユーザデータ取得部、４１４…音声情報処理部、４１５…画像情報処理部、４１６…合流位置推定部

Claims (13)

1. ユーザが使用する移動体に対する指示位置を推定する情報処理装置であって、
   前記ユーザの使用する通信装置から、視覚的な目印を含む、指示位置に関する発話情報を取得する発話取得手段と、
   前記移動体において撮影される撮影画像を取得する画像取得手段と、
   前記発話情報に含まれる前記視覚的な目印に対応する、前記撮影画像内の物体領域を決定する決定手段と、
   前記決定手段によって決定された前記物体領域に基づいて、前記指示位置を推定する推定手段と、を含むことを特徴とする情報処理装置。
2. 前記決定手段は、前記撮影画像において認識される１つ以上の物体領域に対して、前記視覚的な目印に対応する確率を示す確率分布を算出し、第１閾値以上の確率を有する物体領域を、前記視覚的な目印に対応する前記物体領域として決定する、ことを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、２つ以上の物体領域に対する、前記視覚的な目印に対応する確率が第２閾値以上であって且つ前記第１閾値より小さい場合、前記視覚的な目印を絞り込むための追加の発話情報を、前記ユーザの通信装置に送信する、ことを特徴とする請求項２に記載の情報処理装置。
4. 前記決定手段は、前記２つ以上の物体領域に対する、前記視覚的な目印に対応する確率を、前記２つ以上の物体領域の各物体と前記通信装置との間の距離に応じて算出する、ことを特徴とする請求項３に記載の情報処理装置。
5. 前記決定手段は、前記発話情報に異なる種別の前記視覚的な目印が含まれる場合に、前記確率分布を条件付き確率を用いて算出する、ことを特徴とする請求項３又は４に記載の情報処理装置。
6. 前記決定手段は、前記指示位置を含む発話情報に、前記視覚的な目印と他の物体との位置関係を示す発話が含まれる場合には、前記１つ以上の物体領域に対して、前記他の物体との位置関係に応じた前記確率分布を算出する、ことを特徴とする請求項２から５のいずれか１項に記載の情報処理装置。
7. 前記発話取得手段は、更に、前記視覚的な目印を含む前記指示位置に関する発話情報を取得する前に、前記通信装置から、前記視覚的な目印に関連する場所を含む発話情報を取得する、ことを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記発話取得手段は、前記視覚的な目印に関連する場所の位置から所定の距離以内に前記移動体が近づいたことに応じて、前記視覚的な目印を含む前記指示位置に関する発話情報を取得する、ことを特徴とする請求項７に記載の情報処理装置。
9. 前記移動体は超小型モビリティである、ことを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. ユーザが使用する移動体に対する指示位置を推定する情報処理装置の制御方法であって、
    前記ユーザの使用する通信装置から、視覚的な目印を含む、指示位置に関する発話情報を取得する発話取得工程と、
    前記移動体において撮影される撮影画像を取得する画像取得工程と、
    前記発話情報に含まれる前記視覚的な目印に対応する、前記撮影画像内の物体領域を決定する決定工程と、
    前記決定工程において決定された前記物体領域に基づいて、前記指示位置を推定する推定工程と、を含むことを特徴とする情報処理装置の制御方法。
11. ユーザが使用する移動体に対する指示位置を推定する移動体の制御装置であって、
    前記ユーザの使用する通信装置から、視覚的な目印を含む、指示位置に関する発話情報を取得する発話取得手段と、
    前記移動体において撮影される撮影画像を取得する画像取得手段と、
    前記発話情報に含まれる前記視覚的な目印に対応する、前記撮影画像内の物体領域を決定する決定手段と、
    前記決定手段によって決定された前記物体領域に基づいて、前記指示位置を推定する推定手段と、を含むことを特徴とする制御装置。
12. ユーザが使用する移動体に対する指示位置を推定する移動体の制御方法であって、
    前記ユーザの使用する通信装置から、視覚的な目印を含む、指示位置に関する発話情報を取得する発話取得工程と、
    前記移動体において撮影される撮影画像を取得する画像取得工程と、
    前記発話情報に含まれる前記視覚的な目印に対応する、前記撮影画像内の物体領域を決定する決定工程と、
    前記決定工程において決定された前記物体領域に基づいて、前記指示位置を推定する推定工程と、を含むことを特徴とする移動体の制御方法。
13. コンピュータを、請求項１から９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images