JP7454353B2 - 処理装置、及びそれを用いた外界認識装置 - Google Patents

Description

本発明は、例えば、ECU（Electronic Control Unit）、ゲートウェイ装置、センシングシステムのための制御装置等の処理装置に関し、特に、車載電子装置のOTA（Over The Air）によるソフトウェア更新を行う処理装置に関する。

従来、車外の基地局やクラウドから無線通信を経由して（OTAで）データを受信し、受信したデータに基づいて、車載電子装置のソフトウェアを更新（書換ともいう）する技術が知られている（例えば特許文献１等）。また、車載電子装置にてOTAでソフトウェア更新を実施するとき、『自車』及び『周囲』の状況が所定の条件を満たした場合にのみ、車載電子装置のソフトウェア更新を許可する技術が知られている。

特許文献２では、『自車』の位置情報を基に車両がソフトウェア更新可能な位置に駐車しているか否かや、『周囲』の撮像画像があらかじめ登録されたソフトウェア更新可能、不可能な位置の画像と一致するか否かによって、ソフトウェア更新可否を判断する技術が開示されている。

特許文献３では、『自車』のソフトウェア更新が失敗した場合に、失敗した『自車』の要因を洗い出し、その要因が解決したら、ソフトウェア更新を再開する技術が開示されている。

特開２０１９－０６１６９０号公報 特開２０１８－０８６８９４号公報 特開２０１８－０９７７６４号公報

しかしながら、上記の従来技術では、車両の様々な走行環境を考慮した場合、『周囲』状況を判断するには、判断材料が不十分である。

すなわち、特許文献２に所載の技術では、『周囲』の状況判断において、歩行者や他の車両、道路標示等の認識結果を用いていない。また、あらかじめ登録された画像との画像比較であり、登録された画像と似たような画像を認識した場合、ソフトウェア更新可否の判断を誤る可能性がある。

また、特許文献３に所載の技術では、『自車』の状況のみで判断しており、『周囲』の状況を判断していないため、例えば走行中にソフトウェア更新のタイミングを誤る可能性がある。

上記の従来技術にて、ソフトウェア更新の可否を誤判断した場合、例えば車両が動かせなくなり、交通の妨げになる等、道路交通に悪影響を与える可能性がある。

本発明は、上記事情に鑑みてなされたもので、ソフトウェア更新可否の誤判断の可能性を低く抑えることのできる処理装置、及びそれを用いた外界認識装置を提供することを目的とする。

前記課題を解決するために、本発明に係る処理装置は、自車の周囲環境を撮像した画像内の物体の３次元情報から自車周囲の状況を認識する外界認識部と、前記自車周囲の状況に応じて、前記自車に搭載された車載電子装置のソフトウェア更新の可否を判断する更新可否判断部と、を備えることを特徴とする。

本発明によれば、ソフトウェア更新の誤判断の可能性を低く抑えることができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例１に係る処理装置としての外界認識装置が適用されたソフトウェア更新システムの全体構成例を示すシステム構成図である。 図１に示す車載システムの構成例を示すシステム構成図である。 図１に示す車載システムの外界認識装置によるソフトウェア更新処理を示すフローチャートである。 図３のソフトウェア更新可否判定処理の一例を示すフローチャートである。 図３のソフトウェア更新可否判定処理の他例を示すフローチャートである。 本発明の実施例２に係る処理装置としての外界認識装置が適用されたソフトウェア更新システムにおける車載システムの構成例を示すシステム構成図である。 図６に示す車載システムの認識履歴確認部で生成する判定条件例を示す図である。 図６に示す車載システムの外界認識装置によるソフトウェア更新処理における、ソフトウェア更新可否判定処理の一例を示すフローチャートである。 本発明の実施例３が適用される状況を撮像した画像の一例を示す図である。

以下、図面を用いて、本発明を実施するための形態を説明する。以下の説明において、同一の部分には原則として同一の符号を付し、その繰り返しの説明は省略する。

［実施例１］
図１は、本発明の実施例１に係る処理装置としての外界認識装置を適用したソフトウェア更新システムの構成例を示すシステム構成図である。

図示実施例のソフトウェア更新システム１は、主に、更新ソフト配信装置９と、車両２（以下、自車２ということがある）に搭載した車載システム３とを備える。

更新ソフト配信装置９は、車外の基地局やクラウド等で構成され、無線通信を経由して（OTAで）車載システム３と通信可能となっている。更新ソフト配信装置９は、所定のタイミングで（例えば、定期的に、もしくは、車載システム３等の外部から配信要求を受信したときに）車載システム３に更新ソフトウェアの配信を行う。

車両２に搭載した車載システム３は、更新ソフト配信装置９から更新ソフトウェアを（OTAで）受信し、受信した更新ソフトウェアに基づいて、車載システム３に含まれる（換言すれば、自車２に搭載された）車載電子装置（後で説明）のソフトウェアを更新する。

ここで、前記ソフトウェア更新とは、ゲートウェイから車載電子装置へのダウンロードと、車載電子装置内でのソフトウェアの切り替えとの両方を指す。

図示実施例の車載システム３は、外界情報取得装置４００を有する外界認識装置１００、更新ソフト取得装置２００、自車情報保有装置３００、ソフト更新対象装置５００を備え、それらがCAN（Controller Area Network）等の通信網を介して通信可能に接続されている。

更新ソフト取得装置２００は、更新ソフト配信装置９から無線通信によって更新ソフトウェアを受信（取得）するためのもので、例えばテレマティクスECU等で構成される。

外界情報取得装置４００は、『周囲（自車周囲）』の情報を取得する。『周囲』の情報には、自車の周囲環境を撮像した画像等を含む。ここで、外界情報取得装置４００は、『周囲』状況の判定（詳しくは、『周囲』状況に応じた車載電子装置のソフトウェア更新可否の判断）に活用するため（後で説明）、「周囲を撮像可能」、かつ、「撮像した対象物（物体）を立体物として認識可能」であることが条件である。「撮像した対象物を立体物として認識可能」とは、撮像した対象物の（実際の）大きさ、対象物までの距離情報、対象物の3Dマッピング情報の少なくとも１つの情報を含む３次元情報を外界情報として取得可能であることを意味する。このような条件を実現できる外界情報取得装置４００がどのような形態であっても、本発明の対象となる。このような外界情報取得装置４００としては、例えば、複数の（例えば左右一対の）カメラを持つステレオカメラ、単眼カメラとミリ波レーダーとの組み合わせ、単眼カメラとLidar（Light Detecting and Ranging）との組み合わせ、単眼カメラと超音波センサとの組み合わせ等を活用できる。例えば、単眼カメラで「周囲を撮像可能」であり、ミリ波レーダーやLidar、超音波センサと合わせて使用することで、「撮像した対象物を立体物として認識可能」となる。

また、外界情報取得装置４００として、前方に向けて（前方を撮像するように）設置したステレオカメラと、電子ドアミラーと、アラウンドカメラと、ソナーとを組み合わせて活用することで、一方向（例えば前方）を撮像するよりも、詳細な『周囲』の状況を確認し、活用することが可能である。ステレオカメラを用いることで、「周囲（ここでは車両前方）を撮像可能」と「撮像した対象物を立体物として認識可能」を実現する。また、車両側方等の画像を撮像可能な電子ドアミラーで車両側方や運転席から死角となる位置の物体の有無確認を実施し、車両周囲の画像を撮像可能なアラウンドカメラで車両周囲全体の物体の有無確認を実施し、車両後方等の画像を撮像可能なソナーで車両後方死角の物体の有無確認を実施することで、前方の立体物だけではなく、車両側方や車両後方の物体を検知・認識し、ソフトウェア更新可否の判断に活用することが可能である。例えば車両周囲全体を見ることで、検知・認識情報を3Dマッピング情報として活用することが可能となる。

ソフト更新対象装置５００は、ソフトウェア更新の対象となる車載電子装置であり、例えば、エンジンECU、ブレーキCU、外界認識センサ等である。外界認識センサは、後述する外界認識装置１００でもよい。つまり、ソフト更新対象装置５００には外界認識装置１００も含まれ、前記車載電子装置のソフトウェア更新の中には、外界認識装置１００自体のソフトウェア更新も含まれる。また、ソフト更新対象装置５００は、後述する外界認識部１０４を有する外界認識装置１００自身でもよい。

外界認識装置１００は、自車情報保有装置３００から、『自車』の情報を取得する。『自車』の情報には、車載電子装置のソフトウェア更新可否の判断のための予め決められた『自車』の状況に関する情報を含む。例えば、自車情報保有装置３００は、『自車』状況の判定（詳しくは、『自車』状況に応じた車載電子装置のソフトウェア更新可否の判断）に活用するため（後で説明）、車両２に搭載したイグニッションスイッチのON/OFF情報、他装置とのCAN通信状態情報、GPS（Global Positioning System）等の測位システムの位置情報、バッテリー残量情報等を保有する。

外界認識装置１００は、外界情報取得装置４００で取得した情報等に基づいて、自車周囲の物体の外界情報を取得可能である。外界認識装置１００で取得される外界情報は、運転支援や自動運転等のための車両２の走行制御等に利用される。

また、本実施例の外界認識装置１００は、ソフトウェア更新処理全般を制御する処理装置としての機能を有する。後で詳述するが、この機能には、自車や周囲の情報の取得、更新ソフト配信装置９から更新ソフト取得装置２００で受信（取得）した更新ソフトウェアの格納・記憶、ソフトウェア更新可否の判断、ソフト更新対象装置５００へのソフトウェア更新処理の実行等が含まれる。

ここでは、車載電子装置のOTAによるソフトウェア更新を行う処理装置として、カメラユニット等で構成される外界認識装置１００を例示したが、例えば、ECU（Electronic Control Unit）、ゲートウェイ装置、その他のセンシングシステムのための制御装置等であってもよいことは当然である。

図２は、図１に示す車載システム３の構成例、特に外界認識装置１００の内部構成例を示すシステム構成図である。

外界認識装置１００は、CPU（Central Processing Unit）等のプロセッサ、ROM(Read Only Memory）、RAM（Random Access Memory）、HDD（Hard Disk Drive）等のメモリ等を備えるマイクロコンピュータ（マイコン）として構成されている。外界認識装置１００の各機能は、ROMに記憶されたプログラムをプロセッサが実行することによって実現される。RAMは、プロセッサが実行するプログラムによる演算の中間データ等を含むデータを格納する。

図示実施例の外界認識装置１００は、主に、自車認識部１０３、外界認識部１０４、更新可否判断部１０５、更新ソフト記憶部１０６を備える。例えば自車認識部１０３と外界認識部１０４と更新可否判断部１０５は、同一装置（ユニット）内にあってもよいし、それぞれ別の装置であってもよい。

自車認識部１０３は、所定のタイミングで（後で説明）、自車情報保有装置３００で保有した『自車』の情報を通信回路１０１を通して取り込む。自車認識部１０３は、自車情報保有装置３００から取り込んだ情報を基に、自車の状況を認識する。

外界認識部１０４は、所定のタイミングで（後で説明）、外界情報取得装置４００で取得した『周囲』の情報を取り込む。外界認識部１０４は、外界情報取得装置４００から取り込んだ情報に適宜の処理を施す等して、画像内の物体の外界情報（３次元情報）から自車周囲の状況を認識する。

更新可否判断部１０５は、自車認識部１０３及び外界認識部１０４のそれぞれの情報を用いて、ソフトウェア更新可否を判断し、判断結果を通信回路１０２を通して更新ソフト記憶部１０６に通知する。例えば、更新可能であると判断した場合、ソフトウェア更新を許可する指令信号としてソフト更新許可指令を生成して更新ソフト記憶部１０６に通知し、更新不可であると判断した場合、ソフトウェア更新を禁止する指令信号としてソフト更新禁止指令を生成して更新ソフト記憶部１０６に通知する。

更新ソフト記憶部１０６は、例えばCANゲートウェイ装置等で構成され、更新ソフト取得装置２００で取得した更新ソフトウェアを取り込んで一旦格納・記憶しておき、更新可否判断部１０５からソフト更新許可指令を受信すると（つまり、更新可否判断部１０５がソフトウェア更新可能と判断した場合）、格納・記憶した更新ソフトウェアを用いて、ソフト更新対象装置５００のソフトウェアを更新する。また、更新ソフト記憶部１０６は、ソフトウェア更新の際、例えば特許文献１に所載の差分更新技術を用いることで、ソフトウェア更新時間を短くすることが可能である。

図３は、図１に示す車載システム３の外界認識装置１００によるソフトウェア更新処理を示すフローチャートである。図３に示すソフトウェア更新処理は、例えば定期的に実施される。

まず、外界認識装置１００の更新可否判断部１０５は、更新するソフトウェアの有無を判定する（Ｓ１００）。更新可否判断部１０５は、更新ソフト取得装置２００で更新ソフト配信装置９から無線通信によって更新ソフトウェアを受信したとき、更新ソフトウェア有と判定する。

更新ソフトウェアが存在しない場合は（Ｓ１００：Ｎｏ）、通常動作を継続する（Ｓ１０３）。

更新ソフトウェアが存在する場合は（Ｓ１００：Ｙｅｓ）、更新可否判断部１０５は、自車認識部１０３と外界認識部１０４を動作させて（経由して）自車情報保有装置３００と外界情報取得装置４００から『自車』と『周囲』の情報を取得し、『自車』及び『周囲』がソフトウェア更新可能な状況か否かを判定する（Ｓ１０１）。ここでの判定条件を大別すると、『自車』と『周囲』とに分別される。このソフトウェア更新可否判定処理（Ｓ１０１）では、『自車』は、ソフトウェア更新可能な状態か、並びに、『周囲』（を撮像した画像）は、ソフトウェア更新禁止状態を認識していないかを判断する。

図４に、図３のソフトウェア更新可否判定処理（Ｓ１０１）の一例を示すフローチャートを示す。

ソフトウェア更新可否判定処理において、『自車』状況の認識には、「車両のイグニッションスイッチがOFFであるか」（Ｓ２００）、「他装置からのCAN通信が停止しているか」（Ｓ２０１）、「GPS等の位置情報がソフトウェア更新可能な所定の範囲内にあるか」（Ｓ２０２）、「バッテリー残量が更新量に対して十分であるか」（Ｓ２０３）を確認し、そのうちのいずれかが否である場合には、『自車』がソフトウェア更新不可な状況であると判定して、Ｓ２１３に進む。また、Ｓ２００～Ｓ２０３の全てが正である場合、すなわち、「車両のイグニッションスイッチがOFFであること」、「他装置からのCAN通信が停止していること」、「GPS等の位置情報がソフトウェア更新可能な所定の範囲内にあること」、「バッテリー残量が更新量に対して十分であること」を確認した場合には、『自車』がソフトウェア更新可能な状況であると判定する。

また、ソフトウェア更新可否判定処理において、『周囲』状況の認識には、撮像した画像から、「歩行者」（Ｓ２０４）、「自車以外の車両（四輪車、三輪車、二輪車、自転車など）」（Ｓ２０５）、「道路標示（区画線、横断歩道、速度表示、スクールゾーンなど）」（Ｓ２０６）、「信号機」（Ｓ２０７）、「道路標識（速度標識、案内標識など）」（Ｓ２０８）、「自車から所定の距離範囲内の立体物」（Ｓ２０９）を認識しているかを確認し、そのうちのいずれかが正である（換言すれば、ソフトウェア更新禁止条件の物体のいずれか少なくとも１つを認識している）場合には、『周囲』がソフトウェア更新不可な状況であると判定して、Ｓ２１３に進む。また、Ｓ２０４～Ｓ２０９の全てが否である（換言すれば、上記を全て認識していない）場合には、『周囲』がソフトウェア更新可能な状況であると判定する。つまり、上記を全て認識していない状態であることが、ソフトウェア更新可能となるための条件である。

前述した「歩行者」、「自車以外の車両（四輪車、三輪車、二輪車、自転車など）」等は、その物体までの距離情報と撮像サイズから、物体の大きさを算出し、その結果から判断することができる。

『自車』及び『周囲』が共にソフトウェア更新可能な状況であれば、ソフト更新許可指令を生成・出力する（Ｓ２１４）。『自車』及び『周囲』のいずれかがソフトウェア更新不可な状況であれば、ソフト更新禁止指令を生成・出力する（Ｓ２１３）。

図５に、図３のソフトウェア更新可否判定処理（Ｓ１０１）の他例を示すフローチャートを示す。図５に示す判定処理例は、前述したように外界情報取得装置４００として、ステレオカメラと、電子ドアミラーと、アラウンドカメラと、ソナーとを組み合わせて活用することで、一方向（例えば前方）を撮像するよりも、詳細な『周囲』の状況を確認した場合の判定処理例である。図４の判定処理に加えて、Ｓ２０９と同様に、「側方」（Ｓ２１０）、「周囲全体」（Ｓ２１１）、「死角」（Ｓ２１２）に物体の有無を検出・認識しているかを判定することで、より安全にソフトウェア更新を実現することが可能となる。

なお、図４及び図５に示すソフトウェア更新可否判定処理の各ステップ（Ｓ２００～Ｓ２１２）は順不同である。

図３に戻り、外界認識装置１００の更新ソフト記憶部１０６は、『自車』と『周囲』が共にソフトウェア更新可能な状況であり、更新可否判断部１０５が生成した指令信号がソフト更新許可指令である場合にのみ、ソフト更新対象装置５００（外界認識部１０４を有する外界認識装置１００自身や外界情報取得装置４００を含む）へのソフトウェア更新処理を実行する（Ｓ１０２）。

以上で説明したように、実施例１の外界認識装置（処理装置）１００は、自車２の周囲環境を撮像した画像内の物体の３次元情報から自車周囲の状況を認識する外界認識部１０４と、前記自車周囲の状況に応じて、前記自車２に搭載された車載電子装置のソフトウェア更新の可否を判断する更新可否判断部１０５と、を備える。

また、前記外界認識部１０４が、前記物体としての歩行者、自車以外の車両、道路標示、信号機、道路標識、又は自車から所定の距離範囲内の立体物を認識している場合、前記更新可否判断部１０５は、前記車載電子装置のソフトウェア更新を禁止する。

また、外界情報としての前記３次元情報は、前記物体の大きさ、距離情報、又は3Dマッピング情報の少なくとも１つの情報を含む。

また、前記車載電子装置のソフトウェア更新の可否の判断のための予め決められた自車２の状況を認識する自車認識部１０３をさらに有し、前記更新可否判断部１０５は、前記自車周囲の状況並びに前記自車２の状況に応じて、前記車載電子装置のソフトウェア更新の可否を判断する。

また、車外から無線通信によって取得した更新ソフトウェアを格納し、前記更新可否判断部１０５が前記車載電子装置のソフトウェア更新可能と判断した場合、前記格納した更新ソフトウェアを用いて前記車載電子装置のソフトウェア更新を実行する更新ソフト記憶部１０６をさらに有する。

このように、実施例１の外界認識装置（処理装置）１００は、『自車』の状況判断に加えて、『周囲』の状況を、外界情報取得装置４００で取得される情報を用いて認識する。外界情報取得装置４００には、少なくとも一つの『周囲』状況が撮像可能な外界認識センサを用いる。これにより、単なる２次元的な（言い換えれば、２次元情報からなる）画像比較ではなく（特許文献２参照）、実際の人混みや駐車車両、交通量等を認識して、車載電子装置のソフトウェア更新可否を判断することができる。なお、車載電子装置のソフトウェア更新の中には、外界情報取得装置４００自体並びに外界認識装置（処理装置）１００自身のソフトウェア更新も含まれる。換言すれば、更新対象のソフトウェアは、外界情報取得装置４００や外界認識部１０４を有する外界認識装置（処理装置）１００のためのソフトウェアである。

このような構成を採用することで、ソフトウェア更新の誤判断の可能性を低く抑えることができる。

［実施例２］
上述した実施例１では、撮像画像に対して、立体物としての認識処理がなされるため、公知の画像撮像のみの技術と比較すると、撮像直後での判断が遅くなる。このような判断遅延解消のため、実施例２では、機械学習技術を用いて、ソフトウェア更新不可な状況を予測する。

具体的には、時刻（時間帯）Tと、GPS等の測位システムでの位置情報とを用いる。ある時刻Tに、ある場所Pで撮像した画像に、ソフトウェア更新禁止条件の立体物が検出されたとする。その情報を蓄えておき、これまでの累計通過回数に対する、ソフトウェア更新禁止条件の立体物を認識した累計認識回数の割合と、自車の位置情報とから、「この時間帯Tのこの場所Pでは、ソフトウェア更新禁止である。」という判断をする。

なお、「累計通過回数」は、自車２が、ある時刻Tにある場所Pを通過した回数の累計である。また、「累計認識回数」は、自車２が、ある時刻Tにある場所Pを通過した時に（画像内で）ソフトウェア更新禁止条件の立体物を認識した認識回数（=立体物数）をNとすると、過去の通過時毎の認識回数Nの累計である。よって、累計通過回数に対する累計認識回数の割合（累計認識回数/累計通過回数）は、自車２が、ある時刻Tにある場所Pを通過した時に、（画像内で）ソフトウェア更新禁止条件の立体物を認識した認識回数（=立体物数）の平均認識回数を意味する。

実施例２の具体例を、図６～図８を用いて説明する。図６は、本発明の実施例２に係る処理装置としての外界認識装置が適用されたソフトウェア更新システムにおける車載システムの構成例を示すシステム構成図である。本実施例２は、図２に示した実施例１の構成に、認識履歴確認部１０７を加えた構成である。

認識履歴確認部１０７では、外界情報取得装置４００で取得した情報やGPS等の測位システムで取得した自車２の位置情報等を基に、これまで車両２が遭遇した状況に応じて、ソフトウェア更新可否判断の材料とする判定条件（詳しくは、各場所の確認履歴のテーブル）を適宜のタイミングで生成して保存していく。

図７は、認識履歴確認部１０７で生成する判定条件例を示す図である。図７に示す例では、場所P1、P2それぞれにテーブルを有し、各場所P1、P2において（１日の）時間帯Tによって分類される時刻（T1、T2、…）毎の、移動物体である「歩行者」、「自転車」、「（自転車以外の）車両」を認識した認識回数Nをカウントする。その認識回数Nをカウントした累計認識回数を、自車２が場所P1、P2を通過した累計通過回数で除算したもの（累計認識回数/累計通過回数=平均認識回数）を判定条件として保存する。図７では、時刻（T1、T2、…）毎でいずれかの物体（「歩行者」、「自転車」、「車両」）に対する計算値が10以上である場合に、ソフトフェア更新禁止（ソフトウェア更新不可）と判定してフラグを付与している。

図８に、図６に示す実施例２の構成によるソフトウェア更新可否判定処理の一例を示すフローチャートを示している。本実施例２（の外界認識装置１００の更新可否判断部１０５）は、図４もしくは図５のフローに加えて、これまで車両２が遭遇した『履歴（自車２が過去に所定の場所を所定の時間帯に通過した時のソフトウェア更新禁止条件の物体の認識履歴）』からの判定を追加で行っている。

具体的には、外界認識装置１００の更新可否判断部１０５は、ソフトウェア更新可否判定処理において、『自車』及び『周囲』がソフトウェア更新可能な状態かを判定した後（Ｓ２００～Ｓ２０９（図４）又はＳ２００～Ｓ２１２（図５））、認識履歴確認部１０７で生成した判定条件を基に、現在の位置及び時刻（時間帯）において、「歩行者」（Ｓ３００）、「自転車」（Ｓ３０１）、「車両」（Ｓ３０２）の認識回数履歴が一定回数以上であるか否か、より具体的には、認識履歴確認部１０７で生成した判定条件において自車２の現在の位置及び時刻（時間帯）に対応した平均認識回数が一定回数以上（図７に示す例では10以上）で、ソフトフェア更新禁止のフラグが付与されているか否かを確認する。そのうちのいずれかが正である場合、過去の認識履歴からその場所P及び時刻（時間帯）Tにおいて「歩行者」、「自転車」、「車両」のいずれかを認識する可能性が高いと考えられるので、『履歴』がソフトウェア更新不可な状況であると判定して、Ｓ２１３に進む。また、Ｓ３００～Ｓ３０２の全てが否である場合（全てが一定回数未満である場合）、過去の認識履歴からその場所P及び時刻（時間帯）Tにおいて「歩行者」、「自転車」、「車両」を認識する可能性が低いと考えられるので、『履歴』がソフトウェア更新可能な状況であると判定して、Ｓ２１４に進む。その後のフローは、上述した実施例１と同様である。学習済みモデルの作成には、scikit-learnを用いる方法がある。その中でも、識別分析を用いて判定を実施する。

なお、図８に示すソフトウェア更新可否判定処理の各ステップ（Ｓ２００～Ｓ２１２、Ｓ３００～Ｓ３０２）は順不同である。

以上で説明したように、実施例２の外界認識装置（処理装置）１００は、前記更新可否判断部１０５が、前記自車２の現在の位置情報と前記自車２が過去に所定の場所を所定の時間帯に通過した時のソフトウェア更新禁止条件の物体の認識履歴とに基づいて、前記車載電子装置のソフトウェア更新の可否を判断する。

また、前記自車２が過去に所定の場所を所定の時間帯に通過した累計通過回数、その通過時にソフトウェア更新禁止条件の物体を認識した認識回数をカウントした累計認識回数、前記累計認識回数を前記累計通過回数で除算した平均認識回数を計算する認識履歴確認部１０７をさらに有し、前記更新可否判断部１０５は、前記自車２の現在の位置情報と前記認識履歴確認部１０７の計算結果に基づいて、前記車載電子装置のソフトウェア更新の可否を判断する。

また、前記更新可否判断部１０５は、前記自車２の現在の位置に対応した前記認識履歴確認部１０７で計算した前記平均認識回数が一定回数以上である場合、前記自車２の現在の位置において前記車載電子装置のソフトウェア更新を禁止する。

また、前記認識履歴確認部１０７は、前記平均認識回数を前記ソフトウェア更新禁止条件の物体の種類毎、又は、時間帯毎に計算する。

このような構成を採用することで、上述した実施例１と同様に、ソフトウェア更新の誤判断の可能性を低く抑えることができるとともに、ソフトウェア更新可否の判断遅延を抑制することができ、かつ、歩行者や車両等が多く注意深い走行を要する状況下でのソフトウェア更新を確実に禁止することができる。

［実施例３］
また、例えば、歩行者の中でも子供は予期せぬ動きをするため、子供の予期せぬ飛び出しに対しては、次のような判断を用いて未然に防止する仕組みを組み込むことができる。すなわち、「球状の物体１０が、自車２の前方に飛び出してくる状況を撮像した場合には、続いて子供１１が飛び出してくると判断し（図９参照）、ソフトウェア更新禁止である。」という判断をする。

より具体的に説明する。本実施例３では、例えば外界認識装置１００の更新可否判断部１０５に、分類のための学習済みモデルを保存しておき、外界情報取得装置４００で取得した自車２の周囲環境を撮像した画像を学習済みモデルに入力することで、ソフトウェア更新可否の判断を行う。学習データには、例えば、子供の遊具、より具体的には、球状のボールを模擬した所定寸法以下の球状の物体の情報が使用され得る。この学習データは画像である場合もある。本実施例では、この学習データに、例えば、「子供の遊具を含む画像」といったソフトウェア更新の可否を判断するためのラベルを付与し、分類のための学習済みモデルを作成する。

学習済みモデルの作成には、種々のツールや手法が採用され得る。ツールの一例としては、scikit-learnが利用され得る。手法としては、ロジスティック回帰が採用され得る。

外界認識装置１００の更新可否判断部１０５は、例えば、前述のように所定寸法以下の球状の物体（遊具としてのボール）を含む画像（参照画像）を学習データとすることで作成された学習済みモデルに実際に取得した画像を入力し、学習データとしての画像（参照画像）と入力した画像とを照合（換言すれば、一致度合いを確認）することで、取得した画像内に子供の遊具が含まれるか否かの判断を行う。取得した画像内に子供の遊具が含まれると判断した場合、続いて子供が飛び出してくる可能性が高いと考えられるので、ソフトウェアの更新は禁止され得る。なお、本実施例３の学習済みモデルを用いた判断は、上述した実施例１、２の判断に先立って行ってもよいし、実施例１、２の判断の後に行ってもよい。

以上で説明したように、実施例３の外界認識装置（処理装置）１００は、前記更新可否判断部１０５による前記ソフトウェア更新の可否の判断は、前記画像を学習済みモデルに入力することで行われる。

また、前記学習済みモデルは、球状の物体（遊具としてのボール）を含む参照画像を学習データとすることで作成された学習済みモデルであり、前記更新可否判断部１０５による前記ソフトウェア更新の可否の判断は、前記学習データとしての前記参照画像と前記入力した画像とを照合することで行われる。

このような構成を採用することで、上述した実施例２と同様に、ソフトウェア更新の誤判断の可能性を低く抑えることができるとともに、ソフトウェア更新可否の判断遅延を抑制することができ、かつ、例えば子供の予期せぬ飛び出し等の急な状況変化に応じた注意深い走行を要する状況下でのソフトウェア更新を確実に禁止することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の実施例の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明は、OTAによる車載電子装置のソフトウェア更新を安全に行うための技術であり、道路交通に悪影響を与えずにソフトウェア更新を実施するためには、利用される可能性は大いにある。

１ ソフトウェア更新システム
２ 車両
３ 車載システム
９ 更新ソフト配信装置
１００ 外界認識装置（処理装置）
１０１、１０２ 通信回路
１０３ 自車認識部
１０４ 外界認識部
１０５ 更新可否判断部
１０６ 更新ソフト記憶部
１０７ 認識履歴確認部（実施例２）
２００ 更新ソフト取得装置
３００ 自車情報保有装置
４００ 外界情報取得装置
５００ ソフト更新対象装置

Claims (14)

1. 自車の周囲環境を撮像した画像内の物体の３次元情報から自車周囲の状況を認識する外界認識部と、
   前記自車周囲の状況に応じて、前記自車に搭載された車載電子装置のソフトウェア更新の可否を判断する更新可否判断部と、を備え、
   前記更新可否判断部は、前記自車の現在の位置情報と前記自車が過去に所定の場所を所定の時間帯に通過した時のソフトウェア更新禁止条件の物体の認識履歴とに基づいて、前記車載電子装置のソフトウェア更新の可否を判断することを特徴とする処理装置。
2. 請求項１に記載の処理装置において、
   前記外界認識部が、前記物体としての歩行者、自車以外の車両、道路標示、信号機、道路標識、又は自車から所定の距離範囲内の立体物を認識している場合、前記更新可否判断部は、前記車載電子装置のソフトウェア更新を禁止することを特徴とする処理装置。
3. 請求項１に記載の処理装置において、
   前記３次元情報は、前記物体の大きさ、距離情報、又は3Dマッピング情報の少なくとも１つの情報を含むことを特徴とする処理装置。
4. 請求項１に記載の処理装置において、
   前記車載電子装置のソフトウェア更新の可否の判断のための予め決められた自車の状況を認識する自車認識部をさらに有し、
   前記更新可否判断部は、前記自車周囲の状況並びに前記自車の状況に応じて、前記車載電子装置のソフトウェア更新の可否を判断することを特徴とする処理装置。
5. 請求項１に記載の処理装置において、
   車外から無線通信によって取得した更新ソフトウェアを格納し、前記更新可否判断部が前記車載電子装置のソフトウェア更新可能と判断した場合、前記格納した更新ソフトウェアを用いて前記車載電子装置のソフトウェア更新を実行する更新ソフト記憶部をさらに有することを特徴とする処理装置。
6. 請求項１に記載の処理装置において、
   前記自車が過去に所定の場所を所定の時間帯に通過した累計通過回数、その通過時にソフトウェア更新禁止条件の物体を認識した認識回数をカウントした累計認識回数、前記累計認識回数を前記累計通過回数で除算した平均認識回数を計算する認識履歴確認部をさらに有し、
   前記更新可否判断部は、前記自車の現在の位置情報と前記認識履歴確認部の計算結果に基づいて、前記車載電子装置のソフトウェア更新の可否を判断することを特徴とする処理装置。
7. 請求項６に記載の処理装置において、
   前記更新可否判断部は、前記自車の現在の位置に対応した前記認識履歴確認部で計算した前記平均認識回数が一定回数以上である場合、前記自車の現在の位置において前記車載電子装置のソフトウェア更新を禁止することを特徴とする処理装置。
8. 請求項６に記載の処理装置において、
   前記認識履歴確認部は、前記平均認識回数を前記ソフトウェア更新禁止条件の物体の種類毎、又は、時間帯毎に計算することを特徴とする処理装置。
9. 請求項１に記載の処理装置において、
   前記ソフトウェア更新の可否の判断は、前記画像を学習済みモデルに入力することで行われることを特徴とする処理装置。
10. 請求項９に記載の処理装置において、
    前記学習済みモデルは、球状の物体を含む参照画像を学習データとすることで作成された学習済みモデルであり、
    前記ソフトウェア更新の可否の判断は、前記学習データとしての前記参照画像と前記入力した画像とを照合することで行われることを特徴とする処理装置。
11. 請求項１０に記載の処理装置において、
    前記球状の物体は、ボールであることを特徴とする処理装置。
12. 請求項１に記載の処理装置において、
    前記ソフトウェアは、自車の周囲環境を撮像した画像を取得する外界情報取得装置のためのソフトウェアであることを特徴とする処理装置。
13. 請求項１に記載の処理装置において、
    前記画像は、前記自車の前方、側方、後方、又は周囲の少なくとも１つの画像を含むことを特徴とする処理装置。
14. 請求項１に記載の処理装置を使用した外界認識装置。