JP7006159B2 - サーバ装置 - Google Patents

Description

本発明は、車両の乗員に情報を通知するサーバ装置および車載装置に関する。

画像認識用のアルゴリズムは、認識対象物によって異なる。そこで、認識対象物に応じた最適なアルゴリズムをより容易に決定できるようにするための技術が知られている（例えば、特許文献１参照）。

特開２０１５－１３００９３号公報

画像認識を利用して、様々な場所における様々な対象物の情報を低コストで収集することが求められている。

本発明はこうした状況に鑑みてなされたものであり、その目的は、様々な場所における様々な対象物の情報を低コストで収集できるサーバ装置および車載装置を提供することにある。

上記課題を解決するために、本発明のある態様のサーバ装置は、複数の車両から取得された情報にもとづいて、前記複数の車両の中から所定の対象物を画像認識するための画像認識ロジックを配信する配信対象車両を特定する特定部と、前記特定部で特定された前記配信対象車両に前記画像認識ロジックを配信する配信部と、前記画像認識ロジックが配信された配信対象車両から、当該車両の車外の撮像画像において当該画像認識ロジックを実行することにより認識された前記対象物に関する情報を取得する取得部であって、前記対象物に関する情報は、前記対象物が撮像されたときの前記配信対象車両の位置情報を含む、取得部と、前記対象物が撮像されたときの前記配信対象車両の位置情報にもとづいて前記対象物の位置情報を導出する導出部と、を備える。

この態様によると、特定された配信対象車両に画像認識ロジックを配信し、配信対象車両から、撮像画像において画像認識ロジックを実行することにより認識された対象物に関する情報を取得するので、複数の対象物のそれぞれに特化した画像認識ロジックを車両に予め組み込むことなく、様々な場所における様々な対象物の情報を低コストで収集できる。

前記特定部は、前記画像認識ロジックに関連した地域を走行する可能性のある前記車両の中から配信対象車両を特定してもよい。

前記特定部は、前記画像認識ロジックに関連した期間に前記地域を走行する可能性のある前記車両の中から配信対象車両を特定してもよい。

前記配信部は、導出された前記対象物の位置情報を前記複数の車両に配信してもよい。

前記配信部は、前記対象物に関する情報の取得終了条件が満たされた場合、前記画像認識ロジックを配信した前記配信対象車両に、前記画像認識ロジックの削除指示を配信してもよい。

前記画像認識ロジックは学習済みネットワークモデルにより構成されてもよい。

本発明の別の態様は、サーバ装置である。この装置は、複数の車両から取得された情報にもとづいて、前記複数の車両の中から共通又は同一の所定の対象物を画像認識するための画像認識ロジックを配信する複数の配信対象車両を特定する特定部と、前記特定部で特定された前記各配信対象車両に前記画像認識ロジックを配信する配信部と、前記画像認識ロジックが配信された各配信対象車両から、当該車両の車外の撮像画像において当該画像認識ロジックを実行することにより認識された前記対象物に関する情報を取得する取得部であって、前記対象物に関する情報は、前記対象物が撮像されたときの前記配信対象車両の位置情報を含む、取得部と、前記対象物が撮像されたときの前記配信対象車両の位置情報にもとづいて前記対象物の位置情報を導出する導出部と、を備える。

各車両は、前記画像認識ロジックを実行する画像認識部を備えてもよい。前記サーバ装置は、それぞれ異なるタイプの前記画像認識部で実行可能な、共通の前記対象物を画像認識するための複数の画像認識ロジックを記憶する記憶部をさらに備えてもよい。前記配信部は、前記特定部で特定された各配信対象車両に、前記記憶部に記憶された前記複数の画像認識ロジックのうちの各配信対象車両の前記画像認識部で実行可能な前記画像認識ロジックを配信してもよい。
本発明の別の態様は、サーバ装置である。この装置は、サーバ装置であって、複数の車両から取得された情報にもとづいて、前記複数の車両の中から所定の対象物を画像認識するための画像認識ロジックを配信する配信対象車両を特定する特定部と、前記特定部で特定された前記配信対象車両に前記画像認識ロジックを配信する配信部と、前記画像認識ロジックが配信された配信対象車両から、当該車両の車外の撮像画像において当該画像認識ロジックを実行することにより認識された前記対象物に関する情報を取得する取得部と、を備える。各車両は、前記画像認識ロジックを実行する画像認識部を備える。前記サーバ装置は、それぞれ異なるタイプの前記画像認識部で実行可能な、共通の前記対象物を画像認識するための複数の画像認識ロジックを記憶する記憶部をさらに備える。前記配信部は、前記特定部で特定された各配信対象車両に、前記記憶部に記憶された前記複数の画像認識ロジックのうちの各配信対象車両の前記画像認識部で実行可能な前記画像認識ロジックを配信する。
本発明の別の態様は、サーバ装置である。この装置は、サーバ装置であって、複数の車両から取得された情報にもとづいて、前記複数の車両の中から共通又は同一の所定の対象物を画像認識するための画像認識ロジックを配信する複数の配信対象車両を特定する特定部と、前記特定部で特定された前記各配信対象車両に前記画像認識ロジックを配信する配信部と、前記画像認識ロジックが配信された各配信対象車両から、当該車両の車外の撮像画像において当該画像認識ロジックを実行することにより認識された前記対象物に関する情報を取得する取得部と、を備える。各車両は、前記画像認識ロジックを実行する画像認識部を備える。前記サーバ装置は、それぞれ異なるタイプの前記画像認識部で実行可能な、共通の前記対象物を画像認識するための複数の画像認識ロジックを記憶する記憶部をさらに備える。前記配信部は、前記特定部で特定された各配信対象車両に、前記記憶部に記憶された前記複数の画像認識ロジックのうちの各配信対象車両の前記画像認識部で実行可能な前記画像認識ロジックを配信する。

本発明によれば、様々な場所における様々な対象物の情報を低コストで収集できる。

第１の実施の形態に係る車両システムの構成を示すブロック図である。 図１の車載装置とサーバ装置の構成を示すブロック図である。 図１の車載装置を搭載した車両が対象物を画像認識する状況を説明するための図である。 図１のサーバ装置における画像認識ロジックの配信処理を示すフローチャートである。 図１の車載装置における画像認識処理を示すフローチャートである。 図１のサーバ装置における対象物の情報の取得処理を示すフローチャートである。 図７（ａ）は、第２の実施の形態に係るサーバ装置の記憶部に記憶された第１テーブルのデータ構造を示す図であり、図７（ｂ）は、記憶部に記憶された第２テーブルのデータ構造を示す図であり、図７（ｃ）は、記憶部に記憶された第３テーブルのデータ構造を示す図である。

（第１の実施の形態）
図１は、第１の実施の形態に係る車両システム１の構成を示すブロック図である。車両システム１は、複数の車載装置１０と、サーバ装置１２とを備える。図１では、複数の車載装置１０のうち３台の車載装置１０を図示している。

車載装置１０は、自動車である車両１４に搭載されている。車載装置１０は、サーバ装置１２と無線通信を行う。無線通信の規格は特に限定されないが、例えば、３Ｇ（第３世代移動通信システム）、４Ｇ（第４世代移動通信システム）または５Ｇ（第５世代移動通信システム）、Ｗｉ‐Ｆｉ（ＩＥＥＥ８０２．１１規格）を含む。車載装置１０は、図示しない基地局を介してサーバ装置１２と無線通信を行ってもよい。サーバ装置１２は、例えばデータセンターに設置され、複数の車載装置１０から送信された情報を処理する情報処理装置として機能する。

図２は、図１の車載装置１０とサーバ装置１２の構成を示すブロック図である。車載装置１０は、通信部２０と、処理部２２と、記憶部２４と、撮像部２６と、方位センサ２８と、ＧＰＳ受信部３０と、ナビゲーション部３２とを備える。処理部２２は、車両情報取得部４０と、画像認識ロジック取得部４２と、画像認識部４４と、導出部４６と、通知部４８とを備える。

サーバ装置１２は、通信部６０と、処理部６２と、記憶部６４とを備える。処理部６２は、連携データ取得部７０と、設定部７２と、特定部７４と、配信部７６と、対象物情報取得部７８と、導出部８０とを備える。

ここでは、（１）画像認識ロジックの配信処理、（２）画像認識処理、（３）対象物の情報の取得処理の順に説明する。

（１）画像認識ロジックの配信処理
まず車載装置１０について説明する。車両情報取得部４０は、自車両の情報を定期的に取得する。自車両の情報は、例えば、自車両の位置情報、自車両の走行方向を示す方位情報を含む。

車両情報取得部４０は、位置情報を、例えば、ＧＰＳ受信部３０から取得する。車両情報取得部４０は、方位情報を、例えば、ＧＰＳ受信部３０または方位センサ２８から取得する。位置情報と方位情報には、取得された時刻が添付されていてもよいし、サーバ装置１２が位置情報と方位情報とを受信した時刻を取得された時刻とみなしてもよい。車両情報取得部４０が自車両の情報を取得する頻度は、実験などにより適宜定めることができる。車両情報取得部４０が自車両の情報を取得する頻度は、情報の種類毎に異なってもよい。

車両情報取得部４０は、位置情報と設定ルート情報を通信部２０へ出力する。車両情報取得部４０は、位置情報と方位情報を導出部４６に出力する。導出部４６に出力された位置情報と方位情報は、後述する（２）画像認識処理で用いられる。

通信部２０は、サーバ装置１２と通信を行う。通信部２０は携帯電話で用いられる公衆通信網（３Ｇ、４Ｇ、５Ｇ、Ｗｉ‐Ｆｉなど）を介してサーバ装置１２と通信するように構成されていてもよい。通信部２０は、車両情報取得部４０で取得された位置情報と設定ルート情報を定期的にサーバ装置１２に送信する。この情報には、送信元になる車両１４を識別するための識別情報が添付される。情報を送信する頻度は、実験などにより適宜定めることができる。

サーバ装置１２について説明する。記憶部６４は、複数の画像認識ロジックを記憶している。各画像認識ロジックは、所定の対象物を画像認識するためのものであり、当該対象物の認識精度が高まるように最適化されている。画像認識ロジックは、周知の技術を用いて構成できる。画像認識ロジックの一例はニューラルネットワークモデルである。その一例は、多層ニューラルネットワークの入力、出力、ネットワーク構造、及びネットワーク重み（ウェイト）を含むデータ構造である。この場合、所望の対象物を好適に認識できるようにネットワーク重みが適切に近似されている。撮像画像は、特徴量抽出ステップを経てニューラルネットワークに入力される。画像認識ロジックの他の例は、汎用プロセッサにより実行されるプログラムであり、画像認識アルゴリズムが実装されたものである。

対象物は、車両１４に搭載された撮像部２６により撮像可能なもののうち、画像認識ロジックを用いて画像認識部４４が認識することが期待されるものである。対象物は、例えば、タンポポの花やヒマワリの花などの各種の花、故障車、道路上の落下物、道路の陥没、冠水した道路、凍結路、除雪された道路、人間、傘をさした人間などであるが、特に限定されない。対象物が花である場合、画像認識ロジックは、複数の花が咲いていることを認識するように構成されていてもよい。

各画像認識ロジックには、地域（西海岸、東海岸、東海地方などの広いエリアや、州や市などの自治体や、国道１号線などの所定の道路などを含む概念）が関連付けられている。各画像認識ロジックには、期間（開始日時、終了日時などを含む概念）が関連付けられてもよい。各画像認識ロジックには、有効期限（有効時間、有効日数）が関連付けられていてもよい。各画像認識ロジックには、優先度（処理速度や処理精度に関する優先度を含む概念）が関連付けられていてもよい。

例えば、タンポポの花用の画像認識ロジックには、タンポポの花が広範囲で咲いている可能性のある複数組の地域と期間が関連付けられている。地域と期間は、例えば、地域Ａ１および３月１日から３月２０日の期間、地域Ａ２および３月１０日から３月３０日の期間、地域Ａ３および３月２０日から４月１０日の期間などである。他の花用の画像認識ロジックにも、同様に複数組の地域と期間が関連付けられている。

故障車用の画像認識ロジックには、高速道路や国道などに沿った地域が関連付けられている。道路上の落下物用の画像認識ロジックには、高速道路や国道などに沿った地域が関連付けられている。道路の陥没用の画像認識ロジックには、道路に陥没が発生しやすい地域が関連付けられている。

凍結路用の画像認識ロジックには、道路が凍結しやすい地域および期間が関連付けられている。除雪された道路用の画像認識ロジックには、積雪が発生しやすい地域および期間が関連付けられている。

通信部６０は、複数の車載装置１０の通信部２０と無線通信を行う。通信部６０は、複数の車載装置１０の通信部２０から複数の車両１４の位置情報と設定ルート情報を受信する。通信部６０は、複数の車両１４の位置情報と設定ルート情報を特定部７４に出力する。

特定部７４は、複数の車両１４から取得された情報にもとづいて、記憶部６４に記憶された各画像認識ロジックに関して、画像認識ロジックを配信する１以上の車両１４を定期的に特定する。画像認識ロジックを配信する車両１４の最大数が予め定められていてもよい。

特定部７４は、画像認識ロジックに関連した情報に基づいて車両１４を特定する。具体的には、特定部７４は、画像認識ロジックに関連した地域や画像認識ロジックに関連した期間を用いて車両１４を特定する。

画像認識ロジックに関連した地域を用いた車両１４の特定について説明する。特定部７４は、一例として、複数の車両１４の設定ルート情報にもとづいて、画像認識ロジックに関連した地域を走行する可能性のある１以上の車両１４を特定する。特定部７４は、設定ルートが画像認識ロジックに関連した地域を通る車両１４を、当該地域を走行する可能性のある車両１４として特定する。

特定部７４は、他の例として、設定ルート情報を用いずに車両を特定することもできる。具体的には、特定部７４は、各車両１４の位置情報の履歴から、各車両１４が頻繁に走行している地域を特定し、頻繁に走行している地域が画像認識ロジックに関連した地域に重なる車両１４を、画像認識ロジックに関連した地域を走行する可能性がある車両１４として特定する。各車両１４が頻繁に走行している地域は、自宅周辺や生活圏または通勤経路などであることが予想され、今後も走行する可能性が高いためである。対象地域を頻繁に走行している車両の特定の具体的方法は、たとえば過去Ｎ（Ｎは自然数）日間で画像認識ロジックに関連した地域を走行した回数が所定の閾値以上（Ｎに対して８０％以上など）である車両を特定するように構成してもよい。

特定部７４は、さらにその他の例として画像認識ロジックに関連した地域に対応する車両をあらかじめ記憶しておいてもよい。例えば画像認識ロジックに関連した地域が「東京２３区」であれば、品川、練馬、杉並、世田谷、足立ナンバーの車両を、画像認識ロジックに関連した地域を走行する可能性のある車両として特定してもよい。

特定部７４は、設定ルート情報を用いた車両特定と、設定ルート情報を用いない車両特定のいずれを採用してもよいし、その両方を採用して車両を特定してもよい。また、上述の手法により特定される車両１４のセットを間引いて減らしたセットを最終的に特定した車両１４としてもよい。

特定部７４は、画像認識ロジックに期間が関連付けられている場合、当該期間に、当該画像認識ロジックに関連した地域を走行する可能性のある１以上の車両１４を特定する。特定部７４は、画像認識ロジックに関連した地域を走行する可能性があり、且つ、当該地域を走行する予想日時が当該画像認識ロジックに関連した期間に含まれる車両１４を、当該期間に当該地域を走行する可能性のある車両１４として特定する。

特定部７４は、特定した車両１４を識別するための情報を、画像認識ロジックの情報に対応付けて記憶部６４に記憶させる。特定部７４は、記憶部６４に記憶された情報にもとづいて、車両１４の処理能力を超えて画像認識ロジックが車両１４に対して配信されないように、画像認識ロジックを配信する車両１４を特定してもよい。車両１４の処理能力の上限はたとえば、車両１４に配信され動作している画像認識ロジックの数（上限数）であってもよい。上限数は、例えば１であるが、画像認識部４４の処理能力に応じて２以上であってもよい。あるいは処理能力の上限は例えば、画像認識ロジックの画像認識部４４への処理要求量であってもよく、具体的にはニューラルネットの大きさであってもよい。特定部７４は、処理要求量が車両１４の有する画像認識部４４の処理能力の上限を超えるような車両１４を、あらかじめ特定しないようにしてもよい。

連携データ取得部７０は、図示しない他のサーバ装置からインターネットなどを介して連携データを定期的に取得し、取得した連携データを特定部７４に出力する。連携データには、交通情報、催し物情報、災害情報、工事情報、天気データのいずれか含んでいてもよい。連携データは、ある地域のある期間や日時においてこれから発生する／現在発生している事象を表すデータである。例えば天気データは、現在日時の複数の地域の天気の情報、および、現在日時より後の複数の地域の天気予報の情報を含む。

特定部７４は、連携データに関連付けられた事象に基づいて選択された画像認識ロジックを、連携データに関連付けられた地域および期間に基づき選択された車両１４に配信するようにしてもよい。例えば連携データが天気データの場合、特定部７４は、期間Ａに地域Ｂで豪雨が発生するという天気データにもとづいて、冠水した道路用の画像認識ロジックを、期間Ａに地域Ｂを走行する車両を含んで画像認識ロジックを配信するように、車両１４を特定してもよい。特定部７４は、期間Ｃに地域Ｄで氷点下になるという天気データに基づいて、凍結路用の画像認識ロジックを、期間Ｃに地域Ｄを走行する車両を含んで画像認識ロジックを配信するように、車両１４を特定してもよい。

配信部７６は、特定部７４で特定された１以上の車両１４を識別するための情報と画像認識ロジックを記憶部６４から読み出し、通信部６０に出力する。通信部６０は、特定部７４で特定された１以上の車両１４に画像認識ロジックを送信する。これは、配信部７６が、特定部７４で特定された１以上の車両１４に画像認識ロジックを配信することに相当する。このような配信は、各画像認識ロジックについて行われる。画像認識ロジックには、送信先になる車両１４を識別するための識別情報が添付される。

（２）画像認識処理
車載装置１０について説明する。通信部２０は、サーバ装置１２から自車両宛に送信された画像認識ロジックを受信する。画像認識ロジック取得部４２は、通信部２０から、画像認識ロジックを取得する。これは、画像認識ロジック取得部４２が、サーバ装置１２から、所定の対象物を画像認識するための画像認識ロジックを取得することに相当する。画像認識ロジック取得部４２は、取得した画像認識ロジックを記憶部２４に記憶させる。

記憶部２４は、画像認識ロジック取得部４２で取得された画像認識ロジックの他に、先行車両および歩行者用の画像認識ロジックを予め記憶していてもよい。記憶部２４は、信号機、道路の車線、交通標識などを認識する画像認識ロジックを予め記憶していてもよい。後述するように、記憶部２４は、画像認識ロジック取得部４２で取得された画像認識ロジックを一定期間だけ記憶する。

画像認識部４４は、先行車両と歩行者の画像認識とともに、画像認識ロジック取得部４２で取得された画像認識ロジックをロードし、画像認識ロジックを実行することにより、撮像画像において対象物を画像認識する。画像認識部４４は、ロードされた画像認識ロジックにより、撮像画像内における対象物の存在の有無、撮像画像内における対象物の数、撮像画像内における対象物の面積などを認識する能力を持つ。これらを総称して画像認識結果と呼ぶ。画像認識部４４は、画像認識ロジックのタイプに応じて、ニューラルネットワークを実行する専用プロセッサであってもよいし、ＲＩＳＣ命令やＣＩＳＣ命令をロードして実行する汎用プロセッサであってもよい。

画像認識部４４には、車載カメラなどを含む撮像部２６により撮像された車両１４の車外の撮像画像のデータが供給される。撮像画像は、例えば、車両１４の前方の画像である。撮像画像の各フレームには、撮像時刻が添付される。

画像認識部４４は、記憶部２４に記憶されている先行車両および歩行者認識用の画像認識ロジックにより、撮像画像において先行車両と歩行者を画像認識する。画像認識には、周知の技術を用いることができる。先行車両と歩行者の画像認識結果は、例えば、周知の衝突防止機能や自動運転などに用いられる。

画像認識部４４は、画像認識ロジックを複数並列に実行することができる。また、複数並列に実行される画像認識ロジックの処理優先度は同一であってもよく、異なっていてもよい。画像認識ロジックに関連付けられた優先度に基づいた処理がなされてもよい。例えば先行車両及び／又は歩行者を認識するための画像認識ロジックの単位時間あたりの画像認識の頻度は、他の画像認識ロジックによる単位時間あたりの画像認識の頻度よりも高くなるようにしてもよい。ロードされている画像認識ロジックより優先度の高い画像認識ロジックが取得された場合、画像認識部４４はロードされている画像認識部４４を追い出して、取得された優先度の高い画像認識部４４を替りにロードするようにしてもよい。

導出部４６は、画像認識部４４で対象物が画像認識された場合、車両情報取得部４０で取得された位置情報と方位情報、および、画像認識部４４での画像認識結果にもとづいて、対象物の情報を導出する。対象物の情報は、例えば、撮像地点、撮像地点における対象物の方向、および、対象物の面積を含む。撮像地点は、緯度および経度を含む。撮像地点は、対象物が撮像されたときの車両１４の位置である。つまり、対象物の情報は、対象物が撮像されたときの車両１４の位置情報を含むといえる。対象物が撮像されたときの車両１４の位置は、撮像画像における対象物が画像認識されたフレームの撮像時刻に対応する位置情報から概ね特定できる。撮像地点における対象物の方向は、例えば方角で表され、対象物が撮像されたときの車両１４の走行方向、および、撮像画像内の対象物の位置から特定できる。対象物の面積は、周知の技術を用いて画像認識結果から導出できる。

通知部４８は、導出部４６で導出された対象物の情報を通信部２０に出力する。通信部２０は、対象物の情報をサーバ装置１２に送信する。これは、通知部４８が、対象物の情報を、通信部２０を介してサーバ装置１２に通知することに相当する。通知部４８が対象物の情報を通知するタイミングは、特に限定されないが、例えば、車両１４のアクセサリスイッチがオフになったときである。通知部４８が対象物の情報を通知するタイミングは、対象物に応じて異なってもよい。例えば、対象物が花などである場合、通知を急がなくてもよいため、通知タイミングは、車両１４のアクセサリスイッチがオフになったときである。また、対象物が故障車、道路上の落下物、道路の陥没、冠水した道路などの場合、通知が早いほうが好ましいため、通知タイミングは、対象物の情報が導出されたときであってもよい。

図３は、図１の車載装置１０を搭載した車両１４が対象物を画像認識する状況を説明するための図である。図３では、車両１４ａは、道路Ｒ１を北から南に向かって走行しており、車両１４ｂは、道路Ｒ１を南から北に向かって走行している。道路Ｒ１の西側には、花の咲いたタンポポが群生している領域１００が存在する。車両１４ａと車両１４ｂには、それぞれ、タンポポの花用の画像認識ロジックが配信されており、定期的にタンポポの花の画像認識を行いながら走行している。

領域１００のタンポポの花が画像認識されたときの車両１４ａの位置は、位置Ｐ１である。車両１４ａの車載装置１０の導出部４６は、撮像地点を位置Ｐ１と導出し、撮像地点におけるタンポポの花の方向を、南西と導出する。

領域１００のタンポポの花が画像認識されたときの車両１４ｂの位置は、位置Ｐ２である。車両１４ｂの車載装置１０の導出部４６は、撮像地点を位置Ｐ２と導出し、撮像地点におけるタンポポの花の方向を、北西と導出する。

（３）対象物の情報の取得処理
図２に戻る。サーバ装置１２の通信部６０は、画像認識ロジックが配信された各車両１４から、対象物の情報を受信する。対象物情報取得部７８は、通信部６０で受信された対象物の情報を取得する。これは、対象物情報取得部７８が、画像認識ロジックが配信された各車両１４から、当該車両１４の車外の撮像画像において当該画像認識ロジックを実行することにより認識された対象物に関する情報を取得することに相当する。

導出部８０は、取得された対象物の情報に含まれる撮像地点および撮像地点における対象物の方向にもとづいて、対象物の位置情報を導出する。対象物の位置情報は、緯度および経度を含む。また、導出部８０は、取得された対象物の情報に含まれる対象物の面積にもとづいて、対象物の存在範囲を導出する。

図３の例では、対象物の位置は、位置Ｐ１の南西、位置Ｐ２の北西であることから、概ね位置Ｐ１と位置Ｐ２の間の位置の西側であることが導出される。

配信部７６は、通信部６０を介して、導出された対象物の位置情報、対象物の名称、および、対象物の存在範囲を、複数の車両１４に配信する。

画像認識ロジックの削除について説明する。削除は配信部７６からの指示又は車両１４の判断に基づいて実行される。又はこれらを併用してもよい。配信部７６からの指示による削除について説明する。配信部７６は、対象物に関する情報の取得終了条件が満たされた場合、画像認識ロジックを配信した車両１４に、画像認識ロジックの削除指示を配信する。処理部６２は、取得終了条件が満たされた場合、記憶部６４に記憶された、特定した車両１４を識別するための情報を削除する。車両１４の判断に基づいた削除について説明する。画像認識ロジックに関連付けられた有効期限があれば、現在時刻が有効期限を超過している場合に画像認識ロジックを削除する。画像認識ロジックに関連付けられた期間があれば、現在時刻が期間を超過している場合に画像認識ロジックを削除する。

画像認識ロジックの削除が実行された結果、当該車両１４に画像認識ロジックを新たに配信可能な状態になる。取得終了条件は、例えば、現在日時が画像認識ロジックに関連した期間を過ぎたこと、または、画像認識ロジックを配信してから一定期間が経過したことである。花用の画像認識ロジックの場合、取得終了条件は、画像認識された単位面積内の花の割合が所定の割合を超えたことであってもよい。一定期間と所定の割合は、実験などにより適宜定めることができる。なお、画像認識ロジックはデータとして削除せずに実行を休止させるようにするだけでもよい。休止された画像認識ロジックは例えば画像認識部４４からアンロードされて、画像認識部４４のリソースがその分だけ解放される。休止された画像認識ロジックは再び活性化されて画像認識部４４にロードされることもできる。

車載装置１０について説明する。通信部２０は、配信された対象物の位置情報、対象物の名称、および、対象物の存在範囲を受信する。ナビゲーション部３２は、通信部２０で受信された情報にもとづいて、対象物の情報を地図に重ねて表示して、対象物の位置、名称および存在範囲を乗員に通知する。対象物の情報は、アイコンを用いて表示してもよいし、アイコンと文字を用いて表示してもよい。ナビゲーション部３２は、地図上の対象物の存在範囲を塗りつぶしてもよい。また、ナビゲーション部３２は、自車両の位置が対象物の位置に近づいた場合、対象物の位置、名称および存在範囲を音声で乗員に通知してもよい。

また、通信部２０は、サーバ装置１２から配信された画像認識ロジックの削除指示を受信する。画像認識ロジック取得部４２は、通信部２０で受信された画像認識ロジックの削除指示を取得する。画像認識ロジック取得部４２が画像認識ロジックの削除指示を取得した場合、処理部２２は、記憶部２４に記憶された画像認識ロジックを削除する。この結果、画像認識部４４は、この画像認識ロジックによる画像認識を終了する。

なお、サーバ装置１２において、対象物情報取得部７８が、画像認識ロジックが配信された各車両１４から対象物の情報を取得した後、所定期間、各車両１４から対象物の情報を取得しない場合、配信部７６は、通信部６０を介して、対象物の情報の通知終了指示を複数の車両１４に配信する。所定期間は、実験などにより適宜定めることができる。車載装置１０のナビゲーション部３２は、通信部２０が対象物の情報の通知終了指示を受信すると、乗員への対象物の情報の通知を終了する。

この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

次に、以上の構成による車両システム１の全体的な動作を説明する。図４は、図１のサーバ装置１２における画像認識ロジックの配信処理を示すフローチャートである。図４の処理は、サーバ装置１２が保持する各画像認識ロジックに関して行われる。特定部７４は、複数の車両１４から情報を取得し（Ｓ１０）、取得された情報にもとづいて画像認識ロジックを配信する車両１４を特定し（Ｓ１２）、配信部７６は、特定された車両１４に画像認識ロジックを配信する（Ｓ１４）。

図５は、図１の車載装置１０における画像認識処理を示すフローチャートである。画像認識ロジック取得部４２は、サーバ装置１２から画像認識ロジックを取得し（Ｓ２０）、画像認識部４４は、取得された画像認識ロジックにより撮像画像において対象物を画像認識する（Ｓ２２）。対象物が画像認識されない場合（Ｓ２４のＮ）、ステップ２２に戻る。対象物が画像認識された場合（Ｓ２４のＹ）、導出部４６は、画像認識結果にもとづいて対象物の情報を導出し（Ｓ２６）、通知部４８は、導出された対象物の情報をサーバ装置１２に通知する（Ｓ２８）。

図６は、図１のサーバ装置１２における対象物の情報の取得処理を示すフローチャートである。図６の処理は、図４の処理の後に行われる。対象物情報取得部７８は、画像認識ロジックが配信された各車両１４から対象物の情報を取得し（Ｓ４０）、導出部８０は、対象物の位置情報を導出し（Ｓ４２）、配信部７６は、導出された対象物の位置情報を複数の車両１４に配信する（Ｓ４４）。

このように本実施の形態によれば、特定された車両１４に画像認識ロジックを配信し、各車両１４から、撮像画像において画像認識ロジックを実行することにより認識された対象物に関する情報を取得するので、複数の対象物のそれぞれに特化した画像認識ロジックを車両１４に予め組み込むことなく、様々な場所における様々な対象物の情報を低コストで収集できる。

また、特定部７４は、画像認識ロジックに関連した地域を走行する可能性のある車両１４を特定するので、対象物を画像認識する可能性のある車両１４に選択的に画像認識ロジックを配信できる。そのため、対象物を画像認識する可能性のない車両１４の画像認識のリソースを無駄にすることなく、対象物の情報を効率的に収集できる。

また、特定部７４は、画像認識ロジックに関連した期間に、当該画像認識ロジックに関連した地域を走行する可能性のある車両１４を特定するので、対象物を画像認識する可能性がより高い車両１４に選択的に画像認識ロジックを配信できる。そのため、対象物の存在する期間が決まっている場合にも、対象物を画像認識する可能性のない車両１４の画像認識のリソースを無駄にすることなく、対象物の情報を効率的に収集できる。

また、対象物が撮像されたときの車両１４の位置情報にもとづいて対象物の位置情報を導出し、導出された対象物の位置情報を複数の車両１４に配信するので、複数の車両１４の乗員に、様々な場所における様々な対象物の情報を知らせることができる。よって、車両１４の乗員の利便性を向上できる。

また、対象物に関する情報の取得の終了条件が満たされた場合、画像認識ロジックを配信した車両１４に、画像認識ロジックの削除指示を配信するので、車両１４の画像認識のリソースを有効活用できる。

（第２の実施の形態）
第２の実施の形態では、サーバ装置１２は、車載装置１０の画像認識部４４を構成するプロセッサのタイプに対応した画像認識ロジックを配信することが、第１の実施の形態と異なる。以下では、第１の実施の形態との相違点を中心に説明する。

複数の車両１４の車載装置１０の画像認識部４４を構成するプロセッサのタイプは、２種類以上である。そのため、特定部７４が特定した複数の車両１４の画像認識部４４のプロセッサのタイプは、２種類以上の場合がある。サーバ装置１２の記憶部６４は、それぞれ異なるタイプのプロセッサの画像認識部４４で実行可能な、共通の対象物を画像認識するための複数の画像認識ロジックを記憶している。記憶部６４は、各対象物に関して、このような複数のタイプのプロセッサに対応した複数の画像認識ロジックを記憶している。また、記憶部６４は、以下に説明する第１テーブルと第２テーブルを予め記憶している。

図７（ａ）は、第２の実施の形態に係るサーバ装置１２の記憶部６４に記憶された第１テーブルのデータ構造を示す図である。第１テーブルは、車両１４の識別情報と、当該車両１４の画像認識部４４のプロセッサのタイプとの関係を示す。

車両１４の識別情報「Ｖｅｈｉｃｌｅ００１」には、当該車両１４の画像認識部４４のプロセッサのタイプ「Ａ」が対応付けられている。車両１４の識別情報「Ｖｅｈｉｃｌｅ００２」には、当該車両１４の画像認識部４４のプロセッサのタイプ「Ｂ」が対応付けられている。

図示は省略するが、第１テーブルには、車両システム１の全ての車両１４の識別情報と、各車両１４のプロセッサのタイプとが登録されている。新たな車両１４が車両システム１に加えられると、新たな車両１４の識別情報等が第１テーブルに登録される。

図７（ｂ）は、第２の実施の形態に係る記憶部６４に記憶された第２テーブルのデータ構造を示す図である。第２テーブルは、画像認識ロジックの識別情報と、当該画像認識ロジックを実行可能なプロセッサのタイプとの関係を示す。

画像認識ロジックの識別情報「Ｄａｔａ００１－Ａ」には、当該画像認識ロジックを実行可能なプロセッサのタイプ「Ａ」が対応付けられている。画像認識ロジックの識別情報「Ｄａｔａ００１－Ｂ」には、当該画像認識ロジックを実行可能なプロセッサのタイプ「Ｂ」が対応付けられている。「Ｄａｔａ００１－Ａ」の画像認識ロジックと「Ｄａｔａ００１－Ｂ」の画像認識ロジックは、共通の対象物を画像認識するためのものである。

画像認識ロジックの識別情報「Ｄａｔａ００２－Ａ」には、当該画像認識ロジックを実行可能なプロセッサのタイプ「Ａ」が対応付けられている。画像認識ロジックの識別情報「Ｄａｔａ００２－Ｂ」には、当該画像認識ロジックを実行可能なプロセッサのタイプ「Ｂ」が対応付けられている。「Ｄａｔａ００２－Ａ」の画像認識ロジックと「Ｄａｔａ００２－Ｂ」の画像認識ロジックは、「Ｄａｔａ００１－Ａ」の画像認識ロジックが認識する対象物とは異なる共通の対象物を画像認識するためのものである。

この例では、識別情報の前半部分の「Ｄａｔａ００１」等が共通の画像認識ロジックは、共通の対象物を画像認識するためのものである。識別情報の前半部分が異なる画像認識ロジックは、それぞれ異なる対象物を画像認識するためのものである。

図示は省略するが、第２テーブルには、記憶部６４に記憶された全ての画像認識ロジックの識別情報と、各画像認識ロジックを実行可能なプロセッサのタイプとが登録されている。

図７（ｃ）は、第２の実施の形態に係る記憶部６４に記憶された第３テーブルのデータ構造を示す図である。第３テーブルは、特定部７４が特定した車両１４の識別情報と、配信部７６が当該車両１４に配信する画像認識ロジックの識別情報との関係を示す。

特定部７４は、第１の実施の形態と同様に、所定の対象物を画像認識するための画像認識ロジックを配信する１以上の車両１４を特定する。ここでは、特定部７４は、識別情報の前半部分が「Ｄａｔａ００１」の画像認識ロジックを配信する車両１４として、識別情報「Ｖｅｈｉｃｌｅ００１」と「Ｖｅｈｉｃｌｅ００２」の車両１４を特定している一例について説明する。

特定部７４は、記憶部６４の第１テーブルと第２テーブルに基づいて、特定した各車両１４の識別情報に、記憶部６４に記憶された複数の画像認識ロジックのうちの各車両１４の画像認識部４４で実行可能な画像認識ロジックの識別情報を対応付けて、第３テーブルとして記憶部６４に記憶させる。

図７（ｃ）の例では、車両１４の識別情報「Ｖｅｈｉｃｌｅ００１」には、当該車両１４のプロセッサのタイプ「Ａ」で実行可能な識別情報「Ｄａｔａ００１－Ａ」の画像認識ロジックが対応付けられている。車両１４の識別情報「Ｖｅｈｉｃｌｅ００２」には、当該車両１４のプロセッサのタイプ「Ｂ」で実行可能な識別情報「Ｄａｔａ００１－Ｂ」の画像認識ロジックが対応付けられている。

配信部７６は、記憶部６４の第３テーブルに基づいて、特定部７４で特定された各車両１４に、各車両１４の画像認識部４４で実行可能な画像認識ロジックを配信する。この例では、配信部７６は、識別情報「Ｖｅｈｉｃｌｅ００１」の車両１４に、識別情報「Ｄａｔａ００１－Ａ」の画像認識ロジックを配信する。配信部７６は、識別情報「Ｖｅｈｉｃｌｅ００２」の車両１４に、識別情報「Ｄａｔａ００１－Ｂ」の画像認識ロジックを配信する。この結果、識別情報「Ｖｅｈｉｃｌｅ００１」の車両１４と、識別情報「Ｖｅｈｉｃｌｅ００２」の車両１４は、それぞれ、共通の対象物を画像認識する。

なお、図示は省略するが、同一のタイプのプロセッサの複数の車両１４が特定された場合、配信部７６は、特定された複数の車両１４に、各車両１４の画像認識部４４で実行可能な同一の画像認識ロジックを配信する。

本実施の形態によれば、特定部７４で特定された各車両１４に、各車両１４の画像認識部４４で実行可能な画像認識ロジックを配信するので、複数の車両１４の画像認識部４４のプロセッサのタイプが２種類以上であっても、各車両１４から対象物に関する情報を取得できる。

以上、実施の形態をもとに本発明を説明した。実施の形態はあくまでも例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１…車両システム、１０…車載装置、１２…サーバ装置、４０…車両情報取得部、４２…画像認識ロジック取得部、４４…画像認識部、４６…導出部、４８…通知部、７０…連携データ取得部、７２…設定部、７４…特定部、７６…配信部、７８…対象物情報取得部、８０…導出部。

Claims (10)

1. 複数の車両から取得された情報にもとづいて、前記複数の車両の中から所定の対象物を画像認識するための画像認識ロジックを配信する配信対象車両を特定する特定部と、
   前記特定部で特定された前記配信対象車両に前記画像認識ロジックを配信する配信部と、
   前記画像認識ロジックが配信された配信対象車両から、当該車両の車外の撮像画像において当該画像認識ロジックを実行することにより認識された前記対象物に関する情報を取得する取得部であって、前記対象物に関する情報は、前記対象物が撮像されたときの前記配信対象車両の位置情報を含む、取得部と、
   前記対象物が撮像されたときの前記配信対象車両の位置情報にもとづいて前記対象物の位置情報を導出する導出部と、
   を備えることを特徴とするサーバ装置。
2. 前記特定部は、前記画像認識ロジックに関連した地域を走行する可能性のある前記車両の中から配信対象車両を特定することを特徴とする請求項１に記載のサーバ装置。
3. 前記特定部は、前記画像認識ロジックに関連した期間に前記地域を走行する可能性のある前記車両の中から配信対象車両を特定することを特徴とする請求項２に記載のサーバ装置。
4. 前記配信部は、導出された前記対象物の位置情報を前記複数の車両に配信することを特徴とする請求項１から３のいずれかに記載のサーバ装置。
5. 前記配信部は、前記対象物に関する情報の取得終了条件が満たされた場合、前記画像認識ロジックを配信した前記配信対象車両に、前記画像認識ロジックの削除指示を配信することを特徴とする請求項１から４のいずれかに記載のサーバ装置。
6. 前記画像認識ロジックは学習済みネットワークモデルにより構成されることを特徴とする請求項１から５のいずれかに記載のサーバ装置。
7. 複数の車両から取得された情報にもとづいて、前記複数の車両の中から共通又は同一の所定の対象物を画像認識するための画像認識ロジックを配信する複数の配信対象車両を特定する特定部と、
   前記特定部で特定された前記各配信対象車両に前記画像認識ロジックを配信する配信部と、
   前記画像認識ロジックが配信された各配信対象車両から、当該車両の車外の撮像画像において当該画像認識ロジックを実行することにより認識された前記対象物に関する情報を取得する取得部であって、前記対象物に関する情報は、前記対象物が撮像されたときの前記配信対象車両の位置情報を含む、取得部と、
   前記対象物が撮像されたときの前記配信対象車両の位置情報にもとづいて前記対象物の位置情報を導出する導出部と、
   を備えることを特徴とするサーバ装置。
8. 各車両は、前記画像認識ロジックを実行する画像認識部を備え、
   前記サーバ装置は、それぞれ異なるタイプの前記画像認識部で実行可能な、共通の前記対象物を画像認識するための複数の画像認識ロジックを記憶する記憶部をさらに備え、
   前記配信部は、前記特定部で特定された各配信対象車両に、前記記憶部に記憶された前記複数の画像認識ロジックのうちの各配信対象車両の前記画像認識部で実行可能な前記画像認識ロジックを配信することを特徴とする請求項１から７のいずれかに記載のサーバ装置。
9. サーバ装置であって、
   複数の車両から取得された情報にもとづいて、前記複数の車両の中から所定の対象物を画像認識するための画像認識ロジックを配信する配信対象車両を特定する特定部と、
   前記特定部で特定された前記配信対象車両に前記画像認識ロジックを配信する配信部と、
   前記画像認識ロジックが配信された配信対象車両から、当該車両の車外の撮像画像において当該画像認識ロジックを実行することにより認識された前記対象物に関する情報を取得する取得部と、
   を備え、
   各車両は、前記画像認識ロジックを実行する画像認識部を備え、
   前記サーバ装置は、それぞれ異なるタイプの前記画像認識部で実行可能な、共通の前記対象物を画像認識するための複数の画像認識ロジックを記憶する記憶部をさらに備え、
   前記配信部は、前記特定部で特定された各配信対象車両に、前記記憶部に記憶された前記複数の画像認識ロジックのうちの各配信対象車両の前記画像認識部で実行可能な前記画像認識ロジックを配信する、ことを特徴とするサーバ装置。
10. サーバ装置であって、
    複数の車両から取得された情報にもとづいて、前記複数の車両の中から共通又は同一の所定の対象物を画像認識するための画像認識ロジックを配信する複数の配信対象車両を特定する特定部と、
    前記特定部で特定された前記各配信対象車両に前記画像認識ロジックを配信する配信部と、
    前記画像認識ロジックが配信された各配信対象車両から、当該車両の車外の撮像画像において当該画像認識ロジックを実行することにより認識された前記対象物に関する情報を取得する取得部と、
    を備え、
    各車両は、前記画像認識ロジックを実行する画像認識部を備え、
    前記サーバ装置は、それぞれ異なるタイプの前記画像認識部で実行可能な、共通の前記対象物を画像認識するための複数の画像認識ロジックを記憶する記憶部をさらに備え、
    前記配信部は、前記特定部で特定された各配信対象車両に、前記記憶部に記憶された前記複数の画像認識ロジックのうちの各配信対象車両の前記画像認識部で実行可能な前記画像認識ロジックを配信する、ことを特徴とするサーバ装置。

Images