JP6044556B2 - 学習システム、車載装置、及び、サーバ - Google Patents

学習システム、車載装置、及び、サーバ Download PDF

Info

Publication number
JP6044556B2
JP6044556B2 JP2014005925A JP2014005925A JP6044556B2 JP 6044556 B2 JP6044556 B2 JP 6044556B2 JP 2014005925 A JP2014005925 A JP 2014005925A JP 2014005925 A JP2014005925 A JP 2014005925A JP 6044556 B2 JP6044556 B2 JP 6044556B2
Authority
JP
Japan
Prior art keywords
learning
data
server
group
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014005925A
Other languages
English (en)
Other versions
JP2015135552A (ja
Inventor
洋 桑島
洋 桑島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014005925A priority Critical patent/JP6044556B2/ja
Priority to EP15151305.8A priority patent/EP2897081B1/en
Priority to US14/597,386 priority patent/US11494685B2/en
Publication of JP2015135552A publication Critical patent/JP2015135552A/ja
Application granted granted Critical
Publication of JP6044556B2 publication Critical patent/JP6044556B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Description

本発明は、車載装置における処理についての学習システム等に関する。
従来、画像認識や音声認識等といった様々な分野において機械学習が用いられており、一例として、特許文献1では、機械学習により、スパムメールを除去するためのスパムフィルタを部分的に更新することが提案されている。
また、車載装置においても画像認識等が行われているが、このような車載装置の開発段階では、機械学習により認識精度等の向上が図られており、出荷後においても、各車載装置にて異なる機械学習を行うことで各車両に適合した性能の向上を図ることが考えられる。
特開2006−12165号公報
しかしながら、出荷された車載装置において、本来の機能を稼働させながら機械学習を行うとなると、車載装置のハードウェア性能を大幅に向上させる必要があり、コストの増加等の問題が生じてしまう。
本願発明は上記課題に鑑みてなされたものであり、車載装置のハードウェア性能を向上させること無く、出荷後に車載装置の機能を向上させるための学習処理を行うことができる学習システム等を提供することを目的とする。
上記課題に鑑みてなされた本発明は、予め定められた機能を有し、異なる車両に搭載された1又は複数の車載装置(10)と、該車載装置と通信を行うサーバ(2)とを有する学習システム(1)に関するものである。
車載装置は、機能を実現するための処理を実行する実行手段(S105)と、実行手段による処理に用いられたデータを、学習データとしてサーバに提供する学習データ提供手段(S110)と、サーバから、処理の内容を更新するための更新データを取得する更新データ取得手段(S300)と、更新データに基づき、処理の内容を更新する更新手段(S305)と、を備える。
また、サーバは、車載装置から学習データを取得する学習データ取得手段(S200)と、学習データ取得手段により取得された学習データに基づき、車載装置における機能を向上させるための学習処理を行い、更新データを生成する学習手段(S205,S215)と、更新データを車載装置に提供する更新データ提供手段(S220)と、を備える。
また、本発明に係る車載装置(10)は、予め定められた機能を実現するための処理を実行する実行手段(S105)と、実行手段による処理に用いられたデータを、学習データとしてサーバ(2)に提供する学習データ提供手段(S110)と、サーバから、処理の内容を更新するための更新データを取得する更新データ取得手段(S300)と、更新データに基づき、処理の内容を更新する更新手段(S305)と、を備える。
また、本発明に係るサーバ(2)は、予め定められた機能を有する車載装置(10)から、該車載装置による該機能を実現するための処理に用いられた学習データを取得する学習データ取得手段(S200)と、学習データ取得手段により取得された学習データに基づき、車載装置における機能を向上させるための学習処理を行い、車載装置にて処理の内容を更新するための更新データを生成する学習手段(S205,S215)と、更新データを車載装置に提供する更新データ提供手段(S220)と、を備える。
このような構成によれば、車載装置では学習処理が行われず、サーバにて各車載装置から収集した学習データに基づき学習処理が行われる。そして、サーバでの学習処理により生成された更新データが各車載装置に提供され、各車載装置における処理の内容が更新される。
このため、車載装置は、自装置で学習処理を行うことなく処理の内容を更新し、機能の向上を図ることができる。
したがって、本発明に係る学習システムや車載装置やサーバによれば、車載装置のハードウェア性能を向上させること無く、出荷後に車載装置の機能を向上させるための学習処理を行うことができる。
さらに、サーバには多くの車載装置から収集した学習データが蓄積されるため、短期間で効果的に学習処理を行うことができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
学習システムの構成を示すブロック図である。 車載装置の構成を示すブロック図である。 学習サーバの構成を示すブロック図である。 メイン学習サーバの構成を示すブロック図である。 学習データ送信処理のフローチャートである。 機械学習処理のフローチャートである。 更新データ受信処理のフローチャートである。
以下、本発明の実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
[構成の説明]
学習システム1は、1又は複数の車載装置10と、無線通信回線網20を介して各車載装置10と通信を行う学習サーバ2とを有している(図1参照)。
車載装置10は、自車両周辺の歩行者や道路に描かれた白線等を認識する画像認識機能を有しており、カメラ11,記憶部12,車内LAN通信部13,制御部14,表示部15,操作部16,無線通信部17等を有する(図2参照)。
カメラ11は、CCDカメラや赤外線カメラ等として構成されており、自車両周辺を撮影する部位であり、撮影画像に基づき画像認識処理が行われる。なお、カメラ11に替えてレーダ等のセンサを備え、レーダ等を用いて歩行者等の認識処理を行うと共に、該認識処理について、後述する機械学習を行う構成としても良い。
また、記憶部12は、記憶保持動作が不要なフラッシュメモリ等として構成されており、画像認識等に必要な各種情報(例えば、後述する機械学習により更新される、画像認識機能におけるパラメータやアルゴリズム等)が記憶されている。
また、車内LAN通信部13は、車内LAN(図示無し)を介して他の装置と通信を行う。
また、制御部14は、CPU,ROM,RAM,I/O及びこれらを接続するバスライン等からなる周知のマイクロコンピュータを中心に構成され、ROMに記憶されたプログラムや、RAMにロードされたプログラム等に従い車載装置10を統括制御する。
また、制御部14は、学習システム1において行われる、車載装置10の画像認識機能に関する機械学習における識別機能を有している(詳細は後述する)。
また、表示部15は、液晶ディスプレイ等として構成され、各種情報を表示する。
また、操作部16は、キースイッチやタッチスイッチ等として構成され、各種操作を受け付ける。
また、無線通信部17は、図示しないアンテナ等により無線通信回線網20にアクセスし、学習サーバ2と通信を行う。
なお、車載装置10は、無線通信部17を備えず、車内LANを介して通信可能な無線通信装置により無線通信回線網20にアクセスし、学習サーバ2と通信を行う構成としても良い。
一方、学習サーバ2は、メイン学習サーバ30と、車載装置10が搭載された車両の走行地域(詳細は後述する)に対応して設けられた複数のサブ学習サーバ40等により構成されており、これらのサーバは、LANにより接続され、互いに通信可能となっている(図3参照)。
メイン学習サーバ30は、例えばPC等として構成されており、通信部31,記憶部32,制御部33,表示部34,操作部35等を備える(図4参照)。
通信部31は、LANを介して無線通信回線網20にアクセスすると共に、他のサブ学習サーバ40と通信を行う部位であり、記憶部32は、HDD等といった記憶保持動作が不要なデバイスから構成されている。
また、制御部33は、CPU,ROM,RAM,I/O及びこれらを接続するバスライン等からなる周知のコンピュータを中心に構成され、RAMにロードされたプログラム等に従い動作する。
また、制御部33は、学習システム1において行われる、車載装置10の画像認識機能に関する機械学習における学習機能を有している(詳細は後述する)。
また、表示部34は、液晶ディスプレイ等として構成され、各種情報を表示する部位であり、操作部35は、キーボードやマウス等として構成され、各種操作を受け付ける部位である。
なお、サブ学習サーバ40等は、メイン学習サーバ30と同様の構成を有しているため、説明を省略する。
[動作の説明]
次に、学習システム1の動作について説明する。学習システム1では、車載装置10及び学習サーバ2にて、車載装置10の画像認識機能についての機械学習を行うよう構成されている。車載装置10は該機械学習における識別機能を担当し、学習サーバ2は学習機能を担当する。
すなわち、車載装置10は、画像認識処理を行うと、該画像認識処理に用いられたカメラ11による撮影画像データを学習データとし、学習サーバ2に送信する。
一方、学習サーバ2は、各車載装置10から受信した学習データに基づき、画像認識処理の認識精度を向上させるための学習処理を行い、画像認識処理におけるパラメータを更新するための更新データを生成し、各車載装置10に送信する。
なお、該パラメータは、例えば、車載装置10での画像認識処理にて用いられるサポートベクタマシンやニューラルネットワークの重み付けのパラメータであっても良い。
そして、車載装置10は、学習サーバ2から受信した更新データにより、画像認識処理におけるパラメータを更新する。
以下では、車載装置10及び学習サーバ2での処理について詳しく説明する。
(1)学習データ送信処理について
まず、車載装置10から学習サーバ2に対し、学習データ(画像認識処理に用いられたカメラ11による撮影画像データ)を送信する学習データ送信処理について、図5に記載のフローチャートを用いて説明する。なお、本処理は、車載装置10での画像認識処理の実行時に開始される。
S100では、制御部14は、予め定められた走行地域の中から自車両が現在走行している走行地域を特定すると共に、該走行地域を示す環境データを生成し、S105に処理を移行する。
具体的には、制御部14は、例えば、車内LANを介して図示しないナビゲーション装置と通信を行って自車両の現在地を取得し、該現在地に基づき走行地域を特定しても良い。また、自車両による走行が予定される地域を示す情報を予め記憶部12に記憶させておき、該情報が示す地域を走行地域としても良い。
S105では、制御部14は、自車両周辺の歩行者や道路に描かれた白線等を認識する画像認識処理を実行すると共に、画像認識処理の結果に基づき、各種処理を実行する。
ここで、画像認識処理では、各走行地域に対応するパラメータが設けられており、制御部14は、S100で特定した走行地域に対応するパラメータを記憶部12から読み出し、該パラメータとを用いて画像認識処理を実行する。
続くS110では、制御部14は、画像認識処理に用いられたカメラ11による撮影画像データを学習データとすると共に、該学習データと環境データとを無線通信部17を介して学習サーバ2に送信し、本処理を終了する。
(2)機械学習処理について
次に、学習サーバ2にて車載装置10から学習データを収集し、学習処理を行う機械学習処理について、図6に記載のフローチャートを用いて説明する。なお、本処理は、学習サーバ2にて繰り返し実行される。
S200では、学習サーバ2を構成するメイン学習サーバ30の制御部33は、車載装置10から学習データと環境データを受信し、これらを対応付けた状態で記憶部32に保存する。そして、保存した学習データ等の数が一定の水準に達すると、S205に処理を移行する。
S205では、メイン学習サーバ30の制御部33は、S200にて収集された全ての学習データに基づき学習処理を行い、S210に処理を移行する。
なお、該学習処理においては、一例として教師なし学習を行うことが考えられ、オートエンコーダ等の手法を用いても良い。また、このほかにも、学習データに対してデータマイニング等を行うことも考えられる。
S210では、メイン学習サーバ30の制御部33は、S200にて収集された全ての学習データを、各学習データに対応する環境データに基づき走行地域毎に分類し、同一の走行地域で生成された学習データのグループを生成する。
そして、各グループに属する学習データを、該グループに係る走行地域に対応するサブ学習サーバ40に送信すると共に、全てのサブ学習サーバ40に対し、メイン学習サーバ30での学習結果を送信し、S215に処理を移行する。
S215では、各サブ学習サーバ40の制御部は、メイン学習サーバ30での学習結果を初期値として受信した学習データに基づき学習処理(リファイン)を行い、自装置に対応する走行地域での画像認識処理におけるパラメータを生成し、S220に処理を移行する。
なお、S215においては、S205と同様、教師なし学習やデータマイニング等を行うことが考えられる。
このほかにも、メイン学習サーバ30と各サブ学習サーバ40では、以下のようにして学習処理を行うことも考えられる。
メイン学習サーバ30の制御部33は、車載装置10から収集した大量の学習データ(教師なしデータ)を用いて、教師なしフィーチャを学習する。フィーチャとは、教師なしデータを最も良く表すことができる表現(例えば、画像のピクセルの線形結合)である。そして、この結果を、メイン学習サーバ30での学習処理の結果として、サブ学習サーバ40に送信する。
一方、サブ学習サーバ40では、対応する走行地域から収集された学習データから、比較的少数の教師ありデータを用意する。なお、教師ありデータの作成には人手が必要であり、該教師ありデータは、サブ学習サーバ40を操作するオペレータにより作成される。このため、大量の教師ありデータを用意することはできない。
そして、サブ学習サーバ40の制御部は、対応する走行地域から収集された学習データと、教師ありデータの双方を使用して学習処理を行う。
すなわち、教師ありデータをフィーチャで処理し、その出力を用いて教師あり学習を行う。例えば、画像のピクセルをそのまま扱うのではなく、メイン学習サーバ30から送信された重みを使って線形結合を計算し(この例では線形結合の重みは固定値とする)、その結果を入力として別の教師あり学習アルゴリズム(例えばサポートベクターマシーン)を実行する。
また、教師なしフィーチャを初期値として教師あり学習を行うことも考えられる。例えば、教師なし学習であるオートエンコーダをメイン学習サーバ30で学習して重みを求めておき、サブ学習サーバ40では、その重みを初期値としてバックプロパゲーションで微調整する。なお、この例では、線形結合の重みそのものを微調整して変更する。
換言すれば、メイン学習サーバ30は、走行地域の区別無しに大量の学習データから学習処理を行い、画像認識処理における汎用的なパラメータを生成すると共に、そのパラメータをサブ学習サーバ40に送信する。そして、各サブ学習サーバ40は、対応する走行地域から収集された学習データを用いて、パラメータを微調整(リファイン)する。
続くS220では、各サブ学習サーバ40の制御部は、メイン学習サーバ30に対しパラメータを送信する。そして、メイン学習サーバ30の制御部33は、各走行地域に対応するパラメータを更新データとすると共に、各車載装置10に対して更新データを送信し、本処理を終了する。
(3)更新データ受信処理について
次に、車載装置10にて学習サーバ2から更新データを受信し、画像認識処理におけるパラメータを更新する更新データ受信処理について、図7に記載のフローチャートを用いて説明する。なお、本処理は、車載装置10にて周期的なタイミングで実行される。
S300では、車載装置10の制御部14は、学習サーバ2から更新データを受信する。そして、更新データを受信した場合には(S300:Yes)、S305に処理を移行すると共に、更新データを受信できなかった場合には(S300:No)、本処理を終了する。
S305では、制御部14は、受信した更新データを記憶部12に保存することで、画像認識処理のパラメータを更新し、本処理を終了する。以後、制御部14は、新たに保存された更新データを構成するパラメータを用いて画像認識処理を行う。
[効果]
本実施形態の学習システム1によれば、車載装置10では学習処理が行われず、学習サーバ2にて各車載装置10から提供された学習データに基づき学習処理が行われる。そして、学習サーバ2での学習処理により生成された更新データが各車載装置10に提供され、各車載装置10における処理の内容が更新される。
このため、車載装置10は、自装置で学習処理を行うことなく画像認識機能の向上を図ることができる。
したがって、車載装置10のハードウェア性能を向上させること無く、出荷後に車載装置10の画像認識機能を向上させることができる。
さらに、学習サーバ2には、多くの車載装置10から提供された学習データが蓄積されるため、短期間で効果的に機械学習を行うことができる。
また、例えば南国と雪国とでは、車両の走行環境等が大きく異なっており、画像認識処理にて用いられるパラメータの最適値が異なると考えられる。
これに対し、本実施形態の学習システム1によれば、車載装置10から学習サーバ2に対し、学習データと共に走行地域を示す環境データが送信される。そして、メイン学習サーバ30にて、学習処理により汎用的なパラメータが生成され、サブ学習サーバ40では、走行地域毎に学習処理が行われ、該パラメータのリファインが行われる。
このため、車両の走行地域毎に画像認識処理を最適化することができ、より一層、車載装置10の画像認識機能を向上させることができる。
[他の実施形態]
(1)本実施形態の学習システム1では、車載装置10での画像認識処理についての機械学習が行われるが、これに限らず、例えば音声認識処理等についての機械学習が行われても良い。
また、学習サーバ2での機械学習処理では、学習データに基づき画像認識処理にて用いられるパラメータが更新されるが、これに限らず、学習データに基づき画像認識処理等におけるアルゴリズムを更新しても良い。
このような場合であれば、学習サーバ2から車載装置10に対し、更新後のアルゴリズムを更新データとして送信し、更新データを受信した車載装置10は、以後、更新データをなすアルゴリズムを用いて画像認識処理等を行うことになる。
このような場合であっても、同様の効果を得ることができる。
(2)また、本実施形態では、機械学習処理のS205,S215にて教師なし学習を行うことを例示したが、これに限らず、教師あり学習を行っても良い。
なお、教師あり学習を行う場合、各学習データに対応する教師データ(例えば、画像認識処理により認識される白線の位置や、歩行者の有無等を示すラベル)を作成する必要がある。このような作業は、メイン学習サーバ30等を操作するオペレータにより行われる。
このような場合であっても、同様の効果を得ることができる。
(3)また、本実施形態の学習システム1では、車載装置10から学習サーバ2に対し、学習データと共に走行地域を示す環境データが送信される。そして、メイン学習サーバ30にて、学習処理により汎用的なパラメータが生成され、サブ学習サーバ40では、走行地域毎に学習処理が行われ、該パラメータのリファインが行われる。
しかしながら、これ以外にも、車載装置10は、例えば、天候や時間帯や季節等といった、自車両の走行環境を示す情報を環境データとして生成し、画像認識処理が実行された際の走行環境を示す環境データと学習データとを学習サーバ2に送信しても良い。
そして、学習サーバ2では、このような環境データに基づき学習データを複数のグループに分類し、走行環境毎に学習処理を行っても良い。
また、このほかにも、車載装置10は、車両の種類や、機械学習の対象となる処理により学習データが生成された際の車両の状態(例えば、車速や舵角等)を示す情報を環境データとして生成しても良い。そして、該環境データと、該処理により生成された学習データとを学習サーバ2に送信しても良い。
そして、学習サーバ2では、このような環境データに基づき学習データを複数のグループに分類し、車両の種類毎、或いは、車両の状態毎に学習処理を行っても良い。
このような場合であっても、同様の効果を得ることができる。
(4)また、本実施形態の学習システム1では、学習サーバ2は、メイン学習サーバ30と、複数のサブ学習サーバ40とによる2段階の階層構造を有しているが、3段階以上の階層構造を有していても良い。
すなわち、学習サーバ2が3段階の階層構造を有する場合であれば、メイン学習サーバ30の下位に複数の第1サブ学習サーバを設けると共に、各第1サブ学習サーバの下位に複数の第2サブ学習サーバを設けることが考えられる。
また、例えば、各走行地域を複数のエリアに分類し、各走行地域をいずれかの第1サブ学習サーバに対応させると共に、各走行地域を構成する各エリアを、該走行地域に対応する第1サブ学習サーバの下位の第2サブ学習サーバに対応させることが考えられる。
そして、メイン学習サーバ30では、本実施形態と同様、全ての学習データに基づき学習処理を行った後、学習データを走行地域毎に分類し、各第1サブ学習サーバに対し、学習結果と、対応する走行地域にて得られた学習データを送信する。
また、各第1サブ学習サーバでは、メイン学習サーバ30での学習結果を初期値とし、自装置に対応する走行地域で得られた学習データに基づき学習処理(リファイン)を行う。さらに、該学習データを、自装置に対応する走行地域を構成するエリア毎に分類し、自装置の下位の各下位側サブ学習サーバに対し、学習結果と、対応するエリアにて得られた学習データを送信する。
また、各第2サブ学習サーバでは、自装置の上位の第1サブ学習サーバでの学習結果を初期値とし、自装置に対応するエリアで得られた学習データに基づき学習処理(リファイン)を行い、パラメータを生成する。そして、該パラメータをメイン学習サーバに送信する。
そして、メイン学習サーバ30では、各エリアに対応するパラメータを更新データとすると共に、各車載装置10に対して更新データを送信し、車載装置10では、自装置が走行しているエリアに対応するパラメータを用いて画像認識処理を実行する。
このような構成によれば、車載装置10は、自車両の走行場所に応じてより適切な画像認識処理を行うことが可能となる。
(5)また、本実施形態では、学習サーバ2は、メイン学習サーバ30と、複数のサブ学習サーバ40から構成されているが、学習サーバ2を1台のサーバにより構成し、該サーバにより同様の機械学習処理を実行しても良い。このような場合であっても、同様の効果を得ることができる。
(6)また、本実施形態では、各走行地域に対応してサブ学習サーバ40が設けられている。しかしながら、例えば、積雪量の多い複数の走行地域や、気温の高い複数の走行地域を1つのエリアとするといった具合に、属性の共通する複数の走行地域を1つのエリアにまとめ、各エリアに対応してサブ学習サーバ40を設けても良い。
そして、メイン学習サーバ30にて、学習処理により汎用的なパラメータを生成し、サブ学習サーバ40は、対応するエリアについての学習処理を行い、該パラメータのリファインを行っても良い。
このような場合であっても、同様の効果を得ることができる。
(7)また、本実施形態では、メイン学習サーバ30は、各車載装置10から収集した学習データに基づき学習処理を行った後、学習データを走行地域毎に分類し、各サブ学習サーバ40に対し、対応する走行地域に分類された学習データを送信する構成となっている。
しかしながら、メイン学習サーバ30は、各車載装置10から学習データを受信した時点で該学習データを走行地域毎に分類しても良い。そして、該学習データを対応するサブ学習サーバ40に送信し、各走行地域から収集した学習データを、対応するサブ学習サーバ40に蓄積しておく構成としても良い。
さらに、メイン学習サーバ30は、収集された学習データの数が一定の水準に達すると、各サブ学習サーバ40に蓄積された学習データを収集して学習処理を行い、汎用的なパラメータを生成しても良い。一方、サブ学習サーバ40は、先にメイン学習サーバ30から受信した学習データにより、該パラメータのリファインを行っても良い。
このような場合であっても、同様の効果を得ることができる。
[特許請求の範囲との対応]
上記実施形態の説明で用いた用語と、特許請求の範囲の記載に用いた用語との対応を示す。
学習データ送信処理のS100が環境データ生成手段の一例に、S105が実行手段の一例に、S110が学習データ提供手段の一例に相当する。
また、機械学習処理のS200が学習データ取得手段の一例に、S205,S215が学習手段の一例に、S210が分類手段の一例に、S220が更新データ提供手段の一例に相当する。
また、更新データ受信処理のS300が更新データ取得手段の一例に、S305が更新手段の一例に相当する。
1…学習システム、2…学習サーバ、10…車載装置、11…カメラ、12…記憶部、13…車内LAN通信部、14…制御部、15…表示部、16…操作部、17…無線通信部、20…無線通信回線網、30…メイン学習サーバ、31…通信部、32…記憶部、33…制御部、34…表示部、35…操作部、40…サブ学習サーバ。

Claims (7)

  1. 走行中の道路の画像認識を行う機能を有し、異なる車両に搭載された1又は複数の車載装置(10)と、該車載装置と通信を行うサーバ(2)とを有する学習システム(1)であって、
    前記車載装置は、
    自車両が走行している走行地域を示す環境データを生成する環境データ生成手段(S100)と、
    前記機能を実現するための、前記走行地域に応じた内容の処理を実行する実行手段(S105)と、
    前記実行手段による前記処理に用いられた撮影画像データを、学習データとして前記サーバに提供する手段であって、該学習データと共に、該処理を実行した時の前記走行地域を示す前記環境データを前記サーバに提供する学習データ提供手段(S110)と、
    前記サーバから、前記機能の精度を向上させるために前記処理の内容を更新するための更新データを取得する更新データ取得手段(S300)と、
    前記更新データに基づき、前記処理の内容を更新する更新手段(S305)と、
    を備え、
    前記サーバは、
    前記車載装置から前記学習データと前記環境データとを取得する学習データ取得手段(S200)と、
    前記学習データを、該学習データと共に提供された前記環境データが示す前記走行地域に対応するグループに分類する分類手段(S210)と、
    前記グループに属する前記学習データに基づき、前記車載装置における前記機能の精度を向上させるための機械学習を行う学習処理を該グループに応じて行い、該グループに対応する前記更新データを生成する学習手段(S205,S215)と、
    前記更新データを前記車載装置に提供する更新データ提供手段(S220)と、
    を備え、
    前記更新手段は、前記更新データに基づき、該更新データに対応する前記グループに対応する前記走行地域に応じた前記処理の内容を更新すること、
    を特徴とする学習システム。
  2. 予め定められた機能を有し、異なる車両に搭載された1又は複数の車載装置(10)と、該車載装置と通信を行うサーバ(2)とを有する学習システム(1)であって、
    前記車載装置は、
    自車両又は自車両周辺に関する情報である環境データを生成する環境データ生成手段(S100)と、
    前記機能を実現するための、前記環境データに応じた内容の処理を実行する実行手段(S105)と、
    前記実行手段による前記処理に用いられたデータを、学習データとして前記サーバに提供する手段であって、該学習データと共に、該処理を実行した時の前記環境データを前記サーバに提供する学習データ提供手段(S110)と、
    前記サーバから、前記処理の内容を更新するための更新データを取得する更新データ取得手段(S300)と、
    前記更新データに基づき、前記処理の内容を更新する更新手段(S305)と、
    を備え、
    前記サーバは、
    前記車載装置から前記学習データと前記環境データとを取得する学習データ取得手段(S200)と、
    前記学習データ取得手段により取得された前記学習データに基づき、前記車載装置における前記機能を向上させるための学習処理を行い、前記更新データを生成する学習手段(S205,S215)と、
    前記更新データを前記車載装置に提供する更新データ提供手段(S220)と、
    前記学習データと共に提供された前記環境データに基づき、前記学習データをいずれかのグループに分類する分類手段(S210)と、
    を備え、
    前記グループに関わらずに行われる前記学習処理であるメイン学習処理と、前記グループに応じた前記学習処理であるサブ学習処理とが設けられており、
    前記学習手段は、前記学習データ取得手段が取得した前記学習データに基づき前記メイン学習処理を行うことで、前記処理の内容を更新するためのデータを生成し、該データと、前記グループに属する前記学習データとに基づき、該グループに応じた前記サブ学習処理を行い、該グループに対応する前記更新データを生成し、
    前記更新手段は、前記更新データに基づき、該更新データに対応する前記グループに係る前記環境データに応じた前記処理の内容を更新すること、
    を特徴とする学習システム。
  3. 請求項2に記載の学習システムにおいて、
    前記サーバとして、メインサーバとサブサーバとが設けられており、
    前記メイン学習処理は、前記メインサーバにて実行され、
    前記サブ学習処理は、前記サブサーバにて実行されること、
    を特徴とする学習システム。
  4. 自車両が走行している走行地域を示す環境データを生成する環境データ生成手段(S100)と、
    走行中の道路の画像認識を行う機能を実現するための、前記走行地域に応じた内容の処理を実行する実行手段(S105)と、
    前記実行手段による前記処理に用いられた撮影画像データを、学習データとして、前記機能の精度を向上させるための機械学習を行う学習処理を行うサーバ(2)に提供する手段であって、該学習データと共に、該処理を実行した時の前記走行地域を示す前記環境データを前記サーバに提供する学習データ提供手段(S110)と、
    前記サーバから、前記機能の精度を向上させるために前記処理の内容を更新するための更新データを取得する更新データ取得手段(S300)と、
    前記更新データに基づき、前記処理の内容を更新する更新手段(S305)と、
    を備える車載装置(10)であって、
    前記サーバは、前記車載装置から提供された前記学習データを、該学習データと共に提供された前記環境データが示す前記走行地域に対応するグループに分類し、前記グループに属する前記学習データに基づき、該グループに応じた前記学習処理を行うことで、該グループに対応する前記更新データを生成し、
    前記更新手段は、前記更新データに基づき、該更新データに対応する前記グループに係る前記走行地域に応じた前記処理の内容を更新すること、
    を特徴とする車載装置。
  5. 自車両又は自車両周辺に関する情報である環境データを生成する環境データ生成手段(S100)と、
    予め定められた機能を実現するための、前記環境データに応じた内容の処理を実行する実行手段(S105)と、
    前記実行手段による前記処理に用いられたデータを、学習データとして、前記機能を向上させるための学習処理を行うサーバ(2)に提供する手段であって、該学習データと共に、該処理を実行した時の前記環境データを前記サーバに提供する学習データ提供手段(S110)と、
    前記サーバから、前記処理の内容を更新するための更新データを取得する更新データ取得手段(S300)と、
    前記更新データに基づき、前記処理の内容を更新する更新手段(S305)と、
    を備える車載装置(10)であって、
    前記サーバは、
    前記車載装置から提供された前記学習データを、該学習データと共に提供された前記環境データに対応するグループに分類し、
    前記学習処理として、前記グループに関わらずに行われるメイン学習処理と、前記グループに応じて行われるサブ学習処理とを行い、
    前記学習データに基づき前記メイン学習処理を行うことで、前記処理の内容を更新するためのデータを生成し、該データと、前記グループに属する前記学習データとに基づき、該グループに応じた前記サブ学習処理を行い、該グループに対応する前記更新データを生成し、
    前記更新手段は、前記更新データに基づき、該更新データに対応する前記グループに係る前記環境データに応じた前記処理の内容を更新すること、
    を特徴とする車載装置。
  6. 車両が走行中の道路の画像認識を行う機能を有し、前記車両に搭載される車載装置(10)から、該車載装置による該機能を実現するための処理に用いられた撮影画像データである学習データと、該処理を実行した時に前記車両が走行している走行地域を示す環境データとを取得する学習データ取得手段(S200)と、
    前記学習データを、該学習データと共に前記車載装置から提供された前記環境データが示す前記走行地域に対応するグループに分類する分類手段(S210)と、
    前記グループに属する前記学習データに基づき、前記車載装置における前記機能の精度を向上させるための機械学習を行う学習処理を該グループに応じて行い、前記車載装置にて前記処理の内容を更新するためのデータであって、該グループに対応するデータである更新データを生成する学習手段(S205,S215)と、
    前記更新データを前記車載装置に提供する更新データ提供手段(S220)と、
    を備えることを特徴とするサーバ(2)。
  7. 予め定められた機能を有し、車両に搭載される車載装置(10)から、該車載装置による該機能を実現するための処理に用いられた学習データと、該処理を実行した時の前記車両又は前記車両周辺に関する情報である環境データとを取得する学習データ取得手段(S200)と、
    前記学習データ取得手段により取得された前記学習データに基づき、前記車載装置における前記機能を向上させるための学習処理を行い、前記車載装置にて前記処理の内容を更新するための更新データを生成する学習手段(S205,S215)と、
    前記更新データを前記車載装置に提供する更新データ提供手段(S220)と、
    前記学習データと共に提供された前記環境データに基づき、前記学習データをいずれかのグループに分類する分類手段(S210)と、
    を備え、
    前記グループに関わらずに行われる前記学習処理であるメイン学習処理と、前記グループに応じた前記学習処理であるサブ学習処理とが設けられており、
    前記学習手段は、前記学習データ取得手段が取得した前記学習データに基づき前記メイン学習処理を行うことで、前記処理の内容を更新するためのデータを生成し、該データと、前記グループに属する前記学習データとに基づき、該グループに応じた前記サブ学習処理を行い、該グループに対応する前記更新データを生成すること、
    を特徴とするサーバ(2)。
JP2014005925A 2014-01-16 2014-01-16 学習システム、車載装置、及び、サーバ Active JP6044556B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014005925A JP6044556B2 (ja) 2014-01-16 2014-01-16 学習システム、車載装置、及び、サーバ
EP15151305.8A EP2897081B1 (en) 2014-01-16 2015-01-15 Learning system, in-vehicle device, and server
US14/597,386 US11494685B2 (en) 2014-01-16 2015-01-15 Learning system, in-vehicle device, and server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014005925A JP6044556B2 (ja) 2014-01-16 2014-01-16 学習システム、車載装置、及び、サーバ

Publications (2)

Publication Number Publication Date
JP2015135552A JP2015135552A (ja) 2015-07-27
JP6044556B2 true JP6044556B2 (ja) 2016-12-14

Family

ID=52391805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014005925A Active JP6044556B2 (ja) 2014-01-16 2014-01-16 学習システム、車載装置、及び、サーバ

Country Status (3)

Country Link
US (1) US11494685B2 (ja)
EP (1) EP2897081B1 (ja)
JP (1) JP6044556B2 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018060268A (ja) * 2016-10-03 2018-04-12 株式会社日立製作所 認識装置および学習システム
JP2018072667A (ja) * 2016-11-01 2018-05-10 パイオニア株式会社 運転評価モデル生成装置、運転評価モデル生成方法及びプログラム
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
JP2018136211A (ja) * 2017-02-22 2018-08-30 オムロン株式会社 環境認識システム及び学習装置
EP3602999B1 (en) 2017-03-28 2021-05-19 British Telecommunications Public Limited Company Initialisation vector identification for encrypted malware traffic detection
WO2018178027A1 (en) * 2017-03-28 2018-10-04 British Telecommunications Public Limited Company Intialisation vector identification for malware file detection
JP6579495B2 (ja) * 2017-03-29 2019-09-25 マツダ株式会社 車両運転支援システム
JP6579494B2 (ja) * 2017-03-29 2019-09-25 マツダ株式会社 車両運転支援システム
JP6558719B2 (ja) 2017-03-29 2019-08-14 マツダ株式会社 車両運転支援システム及び車両運転支援方法
JP6579493B2 (ja) * 2017-03-29 2019-09-25 マツダ株式会社 車両運転支援システム
CN108688675B (zh) * 2017-03-29 2021-06-29 马自达汽车株式会社 车辆驾驶支援***
JP6607223B2 (ja) * 2017-03-29 2019-11-20 マツダ株式会社 車両運転支援システム及び車両運転支援方法
JP6575934B2 (ja) 2017-03-29 2019-09-18 マツダ株式会社 車両運転支援システム及び車両運転支援方法
JP6984863B2 (ja) * 2017-05-09 2021-12-22 広島県公立大学法人 深層学習自動学習システムおよびクライアント装置
US11042155B2 (en) 2017-06-06 2021-06-22 Plusai Limited Method and system for closed loop perception in autonomous driving vehicles
US11392133B2 (en) 2017-06-06 2022-07-19 Plusai, Inc. Method and system for object centric stereo in autonomous driving vehicles
US11573573B2 (en) 2017-06-06 2023-02-07 Plusai, Inc. Method and system for distributed learning and adaptation in autonomous driving vehicles
JP6974465B2 (ja) * 2017-07-18 2021-12-01 パイオニア株式会社 制御装置、制御方法、およびプログラム
JP6946812B2 (ja) * 2017-07-20 2021-10-06 株式会社デンソー 学習サーバ及び支援システム
US11816543B2 (en) * 2017-09-06 2023-11-14 Osr Enterprises Ag System and method for using knowledge gathered by a vehicle
JP6853148B2 (ja) * 2017-09-07 2021-03-31 日本電信電話株式会社 検知装置、検知方法及び検知プログラム
JP6827400B2 (ja) * 2017-10-23 2021-02-10 株式会社日立製作所 制御システム
JP7006159B2 (ja) * 2017-11-14 2022-01-24 トヨタ自動車株式会社 サーバ装置
JP6472504B1 (ja) * 2017-12-14 2019-02-20 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
JP7155265B2 (ja) * 2017-12-15 2022-10-18 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング 分類子をトレーニングおよび更新するための方法およびシステム
WO2019146057A1 (ja) * 2018-01-26 2019-08-01 株式会社ソニー・インタラクティブエンタテインメント 学習装置、実写画像分類装置の生成システム、実写画像分類装置の生成装置、学習方法及びプログラム
JP6806107B2 (ja) * 2018-03-20 2021-01-06 日本電気株式会社 障害物認識支援装置、障害物認識支援方法、プログラム
WO2019235654A1 (ko) * 2018-06-04 2019-12-12 데이터 엠 리미티드 탄소배출량 저감을 이행하기 위한 딥러닝을 활용한 차량의 에너지 소모량 산출 방법
JP7106997B2 (ja) * 2018-06-04 2022-07-27 日本電信電話株式会社 データ分析システムおよびデータ分析方法
WO2019235311A1 (ja) * 2018-06-06 2019-12-12 ソニー株式会社 情報処理装置、情報処理方法、プログラム及びIoTデバイス
EP3820753B1 (en) * 2018-07-14 2023-08-02 Moove.AI Vehicle-data analytics
CN112771548B (zh) 2018-09-14 2024-06-04 特斯拉公司 用于获取训练数据的***和方法
JP6848949B2 (ja) * 2018-10-25 2021-03-24 トヨタ自動車株式会社 制御支援装置、車両、および制御支援システム
US11816709B2 (en) * 2018-12-28 2023-11-14 Pied Parker, Inc. Image-based parking recognition and navigation
JP6798571B2 (ja) * 2019-03-08 2020-12-09 トヨタ自動車株式会社 モデル集約装置及びモデル集約システム
JP7292980B2 (ja) * 2019-06-04 2023-06-19 キヤノン株式会社 情報管理装置、撮像装置、制御方法、並びにプログラム
JP7505730B2 (ja) * 2019-11-14 2024-06-25 株式会社アクセル 推論システム、情報処理装置、及び情報処理プログラム
US11842557B2 (en) 2019-11-18 2023-12-12 Positive One Corporation Assignment control apparatus, assignment control system, and assignment control method
JP6703236B1 (ja) * 2019-11-18 2020-06-03 ポジティブワン株式会社 割当制御装置、割当制御システム、及び割当制御方法
EP4083910A4 (en) * 2019-12-24 2023-07-26 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING PROGRAM
JP2022013263A (ja) * 2020-07-03 2022-01-18 トヨタ自動車株式会社 学習用データの車載処理装置
JP7074166B2 (ja) * 2020-08-07 2022-05-24 トヨタ自動車株式会社 サーバ、車両の制御装置、および車両の機械学習システム
WO2022059186A1 (ja) * 2020-09-18 2022-03-24 株式会社東芝 粒度推定装置、粒度推定方法、粒度推定プログラム、粒度推定システム。
JP7276298B2 (ja) * 2020-10-09 2023-05-18 トヨタ自動車株式会社 モデル学習システム、車両の制御装置及びモデル学習方法
WO2024150372A1 (ja) * 2023-01-12 2024-07-18 日立Astemo株式会社 ソフトウェア更新システム、管制センタ、およびソフトウェア更新装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051095A (ja) 2001-08-07 2003-02-21 Mazda Motor Corp 自動車の制御ゲイン変更用サーバ、自動車の制御ゲイン変更方法、及び、自動車の制御ゲイン変更用プログラム
US9374451B2 (en) * 2002-02-04 2016-06-21 Nokia Technologies Oy System and method for multimodal short-cuts to digital services
US7664819B2 (en) 2004-06-29 2010-02-16 Microsoft Corporation Incremental anti-spam lookup and update service
JP4985057B2 (ja) * 2006-09-22 2012-07-25 株式会社デンソー 車両用空調装置およびその制御方法
US7962441B2 (en) 2006-09-22 2011-06-14 Denso Corporation Air conditioner for vehicle and controlling method thereof
JP4446201B2 (ja) 2007-03-30 2010-04-07 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
EP2214122B1 (en) 2009-02-03 2013-07-17 Harman Becker Automotive Systems GmbH Methods and devices for assisting a vehicle driver
JP5385056B2 (ja) * 2009-08-31 2014-01-08 株式会社デンソー 運転状況推定装置,運転支援装置
JP2012059058A (ja) * 2010-09-09 2012-03-22 Toyota Central R&D Labs Inc 危険推定装置及びプログラム
US9015093B1 (en) * 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
CA2910644A1 (en) 2012-05-23 2013-11-28 Liping Fu Road surface condition classification method and system

Also Published As

Publication number Publication date
EP2897081A1 (en) 2015-07-22
EP2897081A8 (en) 2015-09-09
JP2015135552A (ja) 2015-07-27
US20150199617A1 (en) 2015-07-16
EP2897081B1 (en) 2020-06-17
US11494685B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
JP6044556B2 (ja) 学習システム、車載装置、及び、サーバ
US9664779B2 (en) Object classification for vehicle radar systems
CN111832605A (zh) 无监督图像分类模型的训练方法、装置和电子设备
CN109547254B (zh) 一种入侵检测方法、装置、电子设备及存储介质
JP2016119547A (ja) 車両データのリモート収集システム
US20210166085A1 (en) Object Classification Method, Object Classification Circuit, Motor Vehicle
CN111267863A (zh) 驾驶员驾驶类型识别方法、装置、存储介质及终端设备
CN110799996A (zh) 在不同的深度学习架构之间的知识转移
JP6688970B2 (ja) 画像認識システム
Menegazzo et al. Road surface type classification based on inertial sensors and machine learning: A comparison between classical and deep machine learning approaches for multi-contextual real-world scenarios
CN113734203A (zh) 一种智能驾驶的控制方法、装置、***及存储介质
CN111583716A (zh) 一种车辆避障方法、装置、电子设备及存储介质
US20190370571A1 (en) Method of checking surrounding condition of vehicle
US20190377361A1 (en) Electronic control system
WO2020159638A1 (en) System and method for unsupervised domain adaptation via sliced-wasserstein distance
US20230052885A1 (en) Method and Device for Making Sensor Data More Robust Against Adverse Disruptions
CN111753626B (zh) 用于增强车辆中基于传感器的检测的注意区域识别
DE112021001592T5 (de) Fahrzeuginterne steuervorrichtung, server und verifikationssystem
CN108629246A (zh) 车载图像处理方法、装置以及车辆
US20210182572A1 (en) Drive recorder and image storage system
JP6365035B2 (ja) 交通オブジェクト検出装置
US20220318620A1 (en) Method for Assessing a Function-Specific Robustness of a Neural Network
JP6973509B2 (ja) 情報処理装置、制御方法、及びプログラム
JP2011154644A (ja) プログラム及び情報分類装置
Menegazzo et al. Speed Bump Detection Through Inertial Sensors and Deep Learning in a Multi-contextual Analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161031

R151 Written notification of patent or utility model registration

Ref document number: 6044556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250