JP6833750B2 - 認識装置、車両システム及びプログラム - Google Patents

認識装置、車両システム及びプログラム Download PDF

Info

Publication number
JP6833750B2
JP6833750B2 JP2018051486A JP2018051486A JP6833750B2 JP 6833750 B2 JP6833750 B2 JP 6833750B2 JP 2018051486 A JP2018051486 A JP 2018051486A JP 2018051486 A JP2018051486 A JP 2018051486A JP 6833750 B2 JP6833750 B2 JP 6833750B2
Authority
JP
Japan
Prior art keywords
score
identification means
target
type
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018051486A
Other languages
English (en)
Other versions
JP2019164512A (ja
Inventor
友樹 渡辺
友樹 渡辺
妍 宋
妍 宋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Original Assignee
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Electronic Devices and Storage Corp filed Critical Toshiba Corp
Priority to JP2018051486A priority Critical patent/JP6833750B2/ja
Priority to KR1020180098507A priority patent/KR20190116033A/ko
Priority to CN201810985804.XA priority patent/CN110287756A/zh
Priority to EP18191967.1A priority patent/EP3543899A1/en
Priority to US16/126,355 priority patent/US10984256B2/en
Publication of JP2019164512A publication Critical patent/JP2019164512A/ja
Application granted granted Critical
Publication of JP6833750B2 publication Critical patent/JP6833750B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Transportation (AREA)

Description

本発明の実施形態は、認識装置、車両システム及びプログラムに関する。
例えば、交通標識を画像から認識する場合に、ニューラルネットワークが一般的に用いられる。認識対象とする交通標識の画像をニューラルネットワークに入力すると、当該画像に対応した交通標識の種別が識別結果として出力される。
特表2017−516197号公報
Forrest N. Iandola et. al., "Squeeze Net: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size," arXiv:1602.07360, 2016. Andrew G. Howard et. al., "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications," arXiv:1704.04861, 2017. Joseph Redmon et. al., "You Only Look Once: Unified, Real-Time Object Detection," arXiv:1506.02640, 2015. Wei Liu et. al., "SSD: Single Shot MultiBox Detector," arXiv:1512.02325, 2015.
ニューラルネットワークは、各種対象を認識するために膨大な情報量を必要とし、計算量も多い。また、新たな対象を追加学習する場合に、その対象に関する様々なパラメータ入力を必要とする。
本発明が解決しようとする課題は、ニューラルネットワークと同等の認識率で対象の標示を少ない計算量で効率的に認識することのできる認識装置、車両システム及びプログラムを提供することである。
一実施形態に係る認識装置は、第1の識別手段と、設定取得手段と、第2の識別手段とを備える。上記第1の識別手段は、入力された観測データから対象の構成要素の有無を識別する。上記設定取得手段は、種別と構成要素の有無との関係を示す設定情報を取得する。上記第2の識別手段は、上記設定取得手段によって得られた設定情報と上記第1の識別手段によって識別された構成要素の有無とに基づいて上記対象の種別を識別する。
上記構成において、上記第1の識別手段は、各種対象に関する構成要素が機械学習された識別器を用いて上記観測データから上記対象の構成要素の有無に関する第1のスコアを算出する。上記第2の識別手段は、上記設定情報に基づいて上記第1のスコアから上記対象の種別に関する第2のスコアを算出する。
図1は第1の実施形態に係る認識装置の機能構成を示すブロック図である。 図2は同実施形態における交通標識と構成要素の一例を示す図である。 図3は同実施形態における案内表示の一例を示す図である。 図4は同実施形態における認識装置の処理動作を示すフローチャートである。 図5は同実施形態における識別器として、畳み込みニューラルネットワークを用いた場合の入出力の関係を示す図である。 図6は同実施形態における標示の種類と構成要素の有無の関係を示す図である。 図7は同実施形態における第2のスコアの算出方法を説明するための図である。 図8は第2の実施形態に係る車両システムの機能構成を示すブロック図である。 図9は同実施形態における車両に認識装置を搭載した場合の構成を模式的に示す図である。 図10は同実施形態における車両システムにおける認識装置の処理動作を示すフローチャートである。 図11は上記第1および第2の実施形態における認識装置のハードウェア構成の一例を示す図である。
以下、図面を参照しながら各実施形態について説明する。なお、以下の説明において、略又は実質的に同一の機能及び構成要素については、同一符号を付し、必要に応じて説明を行う。
(第1の実施形態)
図1は第1の実施形態に係る認識装置の機能構成を示すブロック図である。
本実施形態における認識装置100は、例えばカメラで撮影された画像などで与えられた対象の種別をその対象の構成要素から認識する装置である。ここで言う「対象」とは、図形や文字などで情報を伝えるための標示であり、標識も含まれる。
認識装置100は、対象入力部101と、要素識別部102と、設定取得部103と、種別識別部104と、出力部105と、記憶部106とを備える。
対象入力部101は、対象の観測データを入力する。要素識別部102は、第1の識別手段として用いられる。この要素識別部102は、各種対象に関する構成要素が機械学習された識別器107を用いて、対象入力部101によって入力された観測データから対象の構成要素の有無を識別する。
設定取得部103は、種別と構成要素の有無の関係を示す設定情報を取得する。種別識別部104は、第2の識別手段として用いられる。この種別識別部104は、設定取得部103によって得られた設定情報と要素識別部102によって識別された構成要素の有無とに基づいて対象の種別を識別する。
出力部105は、種別識別部104の識別結果を出力する。記憶部106には、後述する要素識別部102や種別識別部104の識別処理に必要な各種情報が記憶されている。
ここで、標示として交通標識を例にして、標示と構成要素との関係について説明する。
図2は交通標識と構成要素の一例を示す図である。1列目は交通標識、2列目はその構成要素を表す。
1行目と2行目は、日本で使われている速度規制の交通標識である。なお、図面上では色が表現されていないが、これらの交通標識は実際には赤色の円と、黒色の文字で構成されている。1行目の交通標識は速度の上限が時速60キロであることを表しており、赤色の円と数字「60」で構成されている。2行目の交通標識は、速度の下限が時速30キロであることを表しており、赤色の円と数字「30」と下線で構成されている。
これらのルールの知識があれば、例えば赤色の円と数字「40」から構成される交通標識は速度の上限が時速40キロであることや、赤色の円と数字「10」と下線から構成される交通標識は速度の下限が時速10キロであることは、仮にその交通標識を過去に見たことがなくても理解できる。
3〜5行目は、欧州や米国で使われている速度規制の交通標識である。こちらも構成要素の組み合わせでデザインされていることが分かる。
ここでは、交通標識を例にして説明したが、本発明が対象とする標示は交通標識に限定されるものではなく、道路面に塗料で描かれた道路標示や、灯火の色や形状で情報を伝える信号機でも良い。
他にも、各種窓口や非常口などの場所を伝えるための案内表示や、喫煙可能・禁止などの施設の利用者に向けた注意事項や禁止事項を伝えるための掲示など、人に情報を伝えるためにデザインされた掲示物全般を対象としている。
図3に案内表示の一例として、店舗などでトイレの場所を表す標示を示す。1行目の標示は男子トレイと女子トイレの場所を男子の記号と女子の記号で表している。2行目の標示は男子トレイの場所を男子の記号で表している。なお、男子の記号は青色や黄色が使われることが多く、女子の記号は赤色や桃色が使われることが多い。
一般的に、畳み込みニューラルネットワークを利用して、例えば交通標識を認識する場合には、重みが最大となる交通標識の種類が認識結果として出力される。しかし、交通標識は膨大な種類が存在するため、正規化層で交通標識の種類の数と同数の大量の重みを出力しなければならず、計算量が多くなる。
交通標識には膨大な種類が存在するが、人はすべての交通標識を個別に認識しなくてもその意味を理解することができている。これは、交通標識や案内板などの標示は、人に情報を伝えるためにデザインされたものであり、同じ種類の標示には構成要素として同じ色や同じ図形を使うといったルールが存在しており、人はルールを知識として持っているためである。本実施形態における認識装置100では、このようなルールに着目して、交通標識などの標示を対象として、これを効率的に認識するものである。
以下に、認識装置100の処理動作について詳しく説明する。
図4は認識装置100の処理動作を示すフローチャートである。
まず、対象入力部101は、対象の観測データを入力する(ステップS11)。観測データは、例えばカメラから得られる標示の画像と標示の位置を表す座標情報や、座標情報を基に予め標示部分だけを切り出した画像などである。また、レーダーやセンサなどを通じて観測データを取得することでも良い。あるいは、通信媒体や記録媒体を通じて観測データを取得することでも良い。
次に、要素識別部102は、予め訓練された識別器107を用いて、観測データから標示の構成要素の有無を識別する。構成要素は、図2および図3に例示したように、同じ意味の標示に共通する形状、文字、色、それらの位置のことである。
ここで、識別器107として、例えばニューラルネットワークが用いられる。特に、高い識別性能が得られる畳み込みニューラルネットワーク(Convolutional Neural Network:CNNまたはConvNet)が好適である。その他、サポートベクターマシン(Support Vector Machine:SVM)などを用いても良い。なお、畳み込みニューラルネットワークやサポートベクターマシンについては公知であるため、ここではその詳しい説明を省略する。
識別器107のパラメータは、事前に記憶部106や外部から通信により要素識別部102にロードしておくか、処理時に記憶部106から逐次的にロードするものとする。
要素識別部102は、識別器107を利用して、標示の構成要素について、存在する可能性を表すスコア(以下、第1のスコアと称す)を算出する(ステップS12)。なお、第1のスコアの値域は、0〜1の範囲で正規化し、さらに「存在することに対応するスコア」と「存在しないことに対応するスコア」の合計が1になるように正規化すると、後述の種別識別部104で扱いが容易となり、望ましい。
ここで、識別器107の訓練について述べる。
識別器107は、入力となる観測データのサンプルと、出力となる構成要素の有無のデータのサンプルを用いた機械学習により訓練される。
ただし、意味と図形・文字は必ずしも1対1の対応とは限らない。例えば、図2に示した4行目と5行目の交通標識はどちらも速度の上限が80マイルであることを示すが、異なる文字で表される。そのため、識別器107が識別する構成要素は、形状、文字、色、位置のいずれかの類似に基づいた分類の集合とする。この方法は、構成要素の見た目が類似する場合に、識別器107の識別性能が高くなりやすい利点がある。
もう一つの方法として、構成要素は、形状や文字や色や位置に関わらず、同じ意味に対応するものをまとめて分類することも可能である。例えば、図2の1行目と2行目に示した構成要素であれば、日本の速度規制を意味するものとして分類される。この方法は、構成要素の種類が減少するため、後述の種別識別部104で使用する設定情報の記述を簡略化できる利点がある。
いずれにしても、構成要素の組み合わせで標示が表現できるように分類されており、標示の全種類数よりも構成要素の種類数が少なければ、識別器107の計算量を大幅に削減できる。
識別器107として、畳み込みニューラルネットワークを用いた場合の入出力の関係を図5に示す。
畳み込みニューラルネットワークでは、バックプロパゲーション(Backpropagation)と呼ばれる手法により訓練を行う。これは、観測データや観測データから算出した特徴量を入力し、畳み込みレイヤー等の演算を繰り返して算出した値と、出力の目標値との誤差が小さくなるように畳み込みレイヤーの重みを修正する手法である。
通常、畳み込みニューラルネットワークにおいて、各種標示(標識を含む)の情報をサンプルとして訓練する場合は、出力は標示の種別となる。つまり、例えば図2の1行目の交通標識であれば、その交通標識全体が識別結果として出力される。そのため、入力と出力との誤差をなくすためには、大量のサンプルを用いて訓練する必要がある。一方、本実施形態では、標示の構成要素について、畳み込みニューラルネットワークの一部を共有して第1のスコアを算出するだけなので、少ないサンプルで効果的に畳み込みレイヤーの重みを修正できる。
次に、設定取得部103は、標示の種類と構成要素の有無の関係を示す設定情報を記憶部106あるいは外部から通信により取得する(ステップS13)。
「標示の種類と構成要素の有無の関係」とは、標示の種別毎に構成要素の有無の組み合わせを定めたルールのことである。図6に示すように、標示の種別それぞれについて、どの構成要素が含まれるか、または、どの構成要素が含まれない関係が定められたルールをテーブルで表現する。含まれる場合と含まれない場合のどちらもある構成要素があっても良い。
図6では、標示の種類として速度規制の交通標識を例にして、これらの構成要素の組み合わせのルールがテーブル化されている。例えば、図2の4行目に示した「最高速度80km/h」といった意味を持つ交通標識に関しては、構成要素として、数字「10」:含まれない、数字「80」:含まれる、文字「SPEED」:含まれる、文字「LIMIT」:含まれる、文字「MAXIMUM」:どちらもある…などが定められている。文字「MAXIMUM」が「どちらもある」になっているのは、図2の5行目に同じ意味を持つ別の交通標識が存在するからである。
なお、設定形式は、図6のようなテーブルに限らず、リストや決定木などで表現しても良い。
次に、種別識別部104は、設定取得部103で取得された関係を示す設定情報に基づいて、要素識別部102で識別された標示の構成要素に付けられた第1のスコアから種別に関するスコア(以下、第2のスコアと称す)を算出する(ステップS14)。
図7を用いて、第2のスコアの算出方法について説明する。
要素識別部102によって識別された構成要素には、それぞれに存在する可能性を表す第1のスコアが付けられている。図7では、図2の4行目に示した「最高速度80km/h」といった意味を持つ交通標識を認識する場合を例にしている。
要素識別部102の認識結果では、数字「10」が存在する第1のスコア(有スコア)は0.1であり、数字「10」が存在しない第1のスコア(無スコア)は0.9である。図6のテーブルの例では、数字「10」は含まれない設定「−」になっているので、数字「10」については、無スコアの0.9が第2のスコアの計算に用いられる。
また、数字「80」が存在する第1のスコア(有スコア)は0.9であり、数字「80」が存在しない第1のスコア(無スコア)は0.1である。図6のテーブルの例では、数字「80」は含まれる設定「+」になっているので、数字「80」については、有スコアである0.9が第2のスコアの計算に用いられる。
なお、有無がどちらでもよい構成要素(図6の「*」参照)に関する第1のスコアは、第2のスコアの計算に使用しないものとする。
このようにして、種別識別部104は、要素識別部102の認識結果として得られた標示の構成要素について、図6のテーブルを参照して第1のスコアを取得し、その中で最小値を求めて、これを第2のスコアとする。
第2のスコアとして、第1のスコアの最小値を用いる利点は、過剰な認識が抑えられることである。用途に応じて、例えば最大値や、重み付き和を用いて第2のスコアを算出しても良い。最大値の場合は未検出が抑えられる利点があり、重み付き和の場合は第1のスコアのノイズに対するロバスト性が向上する利点がある。
種別識別部104は、このような計算を認識対象となる各標示について繰り返し行い、最終的に第2のスコアが最大となる標示の種別、または、予め設定された閾値を超える標示の種別を識別結果とする(ステップS15)。
出力部105は、種別識別部104で判別された標示の種別とそれに対応する第2のスコアも出力する。上記ステップS15において、閾値を用いて種別を判定している場合には、複数の識別結果が出力されることがある。
このように第1の実施形態によれば、予め標示の種類と構成要素の有無の関係を設定しておくだけで、畳み込みニューラルネットワークと同等の認識率で対象の標示を少ない計算量で効率的に認識することが可能となる。この場合、対象とする標示の種類が増えたとしても、図6に示したテーブルの種類項目を増やすだけで、柔軟に対応できるといった利点がある。
(第2の実施形態)
次に、第2の実施形態として、上記第1の実施形態で説明した認識装置を自動車等の車両に搭載した場合を想定して説明する。
図8は第2の実施形態に係る車両システムの機能構成を示すブロック図である。図中の200は車両システム全体を示している。
車両システム200は、道路等に設置された交通標識、道路標示、信号機等のいずれか1つ、あるいは全てを対象にして、これらを認識装置100で認識するように構成されている。
認識装置100は、対象入力部101と、要素識別部102と、設定取得部103と、種別識別部104と、出力部105と、記憶部106とを備える。これらの構成については、上記第1の実施形態と同様であるため、ここではその説明を省略する。
車両システム200には、車両関係の構成要素として、記憶部201、通信部202、ディスプレイ203、スピーカ204、外界センサ205、内界センサ206、制御部207、動力部208などが備えられており、これらが認識装置100に直接的にあるいは間接的に接続されている。
記憶部201には、車両の制御に必要な各種情報を記憶している。なお、この記憶部201に観測データや関係の設定情報などを記憶しておき、認識装置100からの指示により適宜読み出す構成としても良い。
通信部202は、無線あるいは有線で外部との間でデータ通信を行う。この通信部202を介して認識装置100に必要な情報を外部から取得する構成としても良い。ディスプレイ203とスピーカ204は、車両の操作に必要な各種情報を操作者に提示するための提示手段として用いられる。
外界センサ205には、例えばカメラ、GPS、レーダーなどが含まれる。内界センサ206は、例えば車速計、タイマー、温度計、タッチパネル等の入力センサなどが含まれる。制御部207は、動力部208の駆動制御を含む、車両全体の制御を行う。動力部208は、エンジンなどである。
図9に、自動車等の車両300に認識装置100を搭載した場合の構成を模式的に示す。なお、図中の符号は図8と対応している。
以下に、車両300に搭載された認識装置100の処理動作について説明する。
図10は車両システム200における認識装置100の処理動作を示すフローチャートである。ステップS21〜S24までの処理は、上記図4のステップS11〜14と同様であるため、ここではその詳しい説明を省略する。
第2の実施形態では、ステップS23で取得される設定情報(テーブル)が運転中の環境変化に対応して動的に切り替えられる(ステップS25)。
例えば、国や地域、道路種別(市街地道路、一般道路、高速道路など)、時間帯などによって変更されるルールに対応させて、記憶部106(あるいは車両側の記憶部201)に多数のテーブルを用意しておき、これらを車両運転中の環境条件に応じて動的に変更する。
環境条件には、地域の境界を示す標示の他に、車速計によって検出される移動速度、GPSなどによって検出される現在位置、タイマ−によって計時される現在時刻、運転席などに設置されたタッチパネル等によるユーザ操作などが含まれる。このような環境条件に応じて関係設定のテーブルを適宜切り替えることで、運転中に観測データから得られる対象を正確に認識できるようになる。
以後の処理は上記第1の実施形態と同様であり、要素識別部102の認識結果として得られた標示の構成要素について、種別に関する第2のスコアが算出され、最終的に第2のスコアが最大となる種別、または、予め設定された閾値を超える標種別が識別結果として出力される(ステップS26〜S27)。
認識装置100から出力された識別結果は、車両300に設けられた制御部207に与えられる。制御部207は、以下のようにして車両300の操作者に識別結果を提示する(ステップS28)。
すなわち、例えば認識結果が速度規制の交通標識であったとする。制御部207は、現在の車速と認識結果として得られた交通標識の規制速度とを比較して、現在の車速が規制速度を超えている場合に、ディスプレイ203やスピーカ204を通じて音や映像で操作者に速度オーバーを通知する。あるいは、制御部207は、現在の車速を規制速度に合わせるように動力部208の駆動を制御する。
ここで、認識結果に含まれる第2のスコアを利用して、提示方法あるいは動力制御を変更することでも良い。例えば、第2のスコアが予め設定された値より低い場合には、誤認識の可能性があるので、映像のみを提示する。一方、第2のスコアが高く、誤認識の可能性が低い場合には映像と音で提示する。さらに、第2のスコアの値に応じて、音量や音程を段階的に変化させたり、映像の位置や大きさを段階的に変化させることでも良い。
また、第2のスコアが予め設定された値より高い場合には、動力部208の制御量を大きくして、短時間で規制速度に近づくように制御しても良い。
このように第2の実施形態によれば、車両システムに上記第1の実施形態の認識装置を適用することで、車両運転中の環境変化に順応して交通標識、道路標示、信号機等の対象を高精度に認識でき、その認識結果を車両の操作者に提示することで、運転の安全性を確保できる。
なお、上記第2の実施形態では、車両システムを例にして説明したが、例えば航空機、無人飛行物体など、車両以外の移動体に対しても同様に適用可能である。
(ハードウェア構成)
図11は上記第1および第2の実施形態における認識装置100のハードウェア構成の一例を示す図である。
認識装置100は、CPU501、不揮発性メモリ502、主メモリ503、通信デバイス504、I/F(インターフェイス)505等を備える。
CPU501は、認識装置100内の様々なコンポーネントの動作を制御するハードウェアプロセッサである。CPU501は、ストレージデバイスである不揮発性メモリ502から主メモリ503にロードされる様々なプログラムを実行する。
CPU501によって実行されるプログラムには、オペレーティングシステム(OS)の他に、図4および図10のフローチャートに示した処理動作を実行するためのプログラム(以下、認識処理プログラムと称す)等が含まれる。また、CPU501は、例えばハードウェア制御のためのプログラムである基本入出力システム(BIOS)等も実行する。
なお、図1および図8に示した対象入力部101、要素識別部102、設定取得部103、種別識別部104、出力部105の一部または全ては、CPU501(コンピュータ)に認識処理プログラムを実行させることで実現される。
この認識処理プログラムは、コンピュータが読み取り可能な記録媒体に格納して頒布されてもよいし、またはネットワークを通じて認識装置100にダウンロードされても良い。なお、対象入力部101、要素識別部102、設定取得部103、種別識別部104、出力部105の一部または全ては、IC(Integrated Circuit)等のハードウェアによって実現されてもよいし、当該ソフトウェア及びハードウェアの組み合わせ構成として実現されてもよい。
通信デバイス504は、例えば有線または無線による外部の装置との通信を実行するように構成されたデバイスである。
I/F505は、外部装置との間のデータの入出力処理を行う。I/F505は、図8に示した車両システム200に認識装置100を組み込む場合などに使用される。
なお、図11の例では、CPU501、不揮発性メモリ502、主メモリ503、通信デバイス504、I/F505のみが示されているが、認識装置100は、例えばHDD(Hard Disk Drive)及びSSD(Solid State Drive)のような他の記憶装置を備えていても良いし、入力装置及び出力装置等を備えていても良い。
以上述べた少なくとも1つの実施形態によれば、ニューラルネットワークと同等の認識率で対象の標示を少ない計算量で効率的に認識することのできる認識装置、車両システム及びプログラムを提供することができる。
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100…認識装置、101…対象入力部、102…要素識別部、103…設定取得部、104…種別識別部、105…出力部、106…記憶部、107…識別器、200…車両システム、201…記憶部、202…通信部、203…ディスプレイ、204…スピーカ、205…外界センサ、206…内界センサ、207…制御部、208…動力部、300…車両。

Claims (15)

  1. 入力された観測データから対象の構成要素の有無を識別する第1の識別手段と、
    種別と構成要素の有無との関係を示す設定情報を取得する設定取得手段と、
    上記設定取得手段によって得られた設定情報と上記第1の識別手段によって識別された構成要素の有無とに基づいて上記対象の種別を識別する第2の識別手段とを具備し
    上記第1の識別手段は、
    各種対象に関する構成要素が機械学習された識別器を用いて上記観測データから上記対象の構成要素の有無に関する第1のスコアを算出し、
    上記第2の識別手段は、
    上記設定情報に基づいて上記第1のスコアから上記対象の種別に関する第2のスコアを算出する認識装置。
  2. 上記第2のスコアは、上記第1のスコアの最小値、最大値、和のいずれかである請求項1記載の認識装置。
  3. 上記識別器は、ニューラルネットワークを含み、
    上記第1の識別手段は、
    上記対象の構成要素について、上記ニューラルネットワークの一部を共有して上記第1のスコアを算出する請求項1記載の認識装置。
  4. 上記設定情報には、種別それぞれに構成要素が含まれる、または、含まれない関係が定められている請求項1記載の認識装置。
  5. 上記構成要素は、形状、文字、色、位置のいずれかの類似に基づいた分類である請求項1記載の認識装置。
  6. 上記構成要素は、表現される意味の一致に基づいた分類である請求項1記載の認識装置。
  7. 車両に関係する対象を認識する認識装置を備えた車両システムであって、
    上記認識装置は、
    観測データから上記対象の構成要素の有無を識別する第1の識別手段と、
    上記車両の環境条件に応じて切り替えられ、種別と構成要素の有無との関係を示す設定情報を取得する設定取得手段と、
    上記設定取得手段によって得られた設定情報と上記第1の識別手段の識別結果とに基づいて上記対象の種別を識別する第2の識別手段と、
    上記第2の識別手段の識別結果を出力する出力手段と
    を具備した車両システム。
  8. 上記対象には、少なくとも交通標識、道路標示、信号機のいずれかが含まれる請求項7記載の車両システム。
  9. 上記環境条件には、上記車両の現在位置、移動速度、時刻のいずれかが含まれる請求項7記載の車両システム。
  10. 上記第2の識別手段の識別結果を上記車両の操作者に提示する提示手段を具備した請求項7記載の車両システム。
  11. 上記提示手段は、上記識別結果に基づいて上記車両の操作者に提示する方法を動的に変更する請求項10記載の車両システム。
  12. 上記出力手段から出力された識別結果に基づいて上記車両の動作を制御する制御手段を具備した請求項7記載の車両システム。
  13. 車両に関係する対象を認識する認識装置を備えた車両システムであって、
    上記認識装置は、
    観測データから上記対象の構成要素の有無を識別する第1の識別手段と、
    種別と構成要素の有無との関係を示す設定情報を取得する設定取得手段と、
    上記設定取得手段によって得られた設定情報と上記第1の識別手段の識別結果とに基づいて上記対象の種別を識別する第2の識別手段と、
    上記第2の識別手段の識別結果を出力する出力手段とを具備し、
    上記第1の識別手段は、
    各種対象に関する構成要素が機械学習された識別器を用いて上記観測データから上記対象の構成要素の有無に関する第1のスコアを算出し、
    上記第2の識別手段は、
    上記設定情報に基づいて上記第1のスコアから上記対象の種別に関する第2のスコアを算出する車両システム。
  14. 上記設定情報は、上記車両の環境条件に応じて切り替えられる請求項13記載の車両システム。
  15. コンピュータによって実行されるプログラムであって、
    上記コンピュータを、
    入力された観測データから対象の構成要素の有無を識別する第1の識別手段と、
    種別と構成要素の有無との関係を示す設定情報を取得する設定取得手段と、
    上記設定取得手段によって得られた設定情報と上記第1の識別手段の識別結果とに基づいて上記対象の種別を識別する第2の識別手段として動作させためのプログラムであり、
    上記第1の識別手段は、
    各種対象に関する構成要素が機械学習された識別器を用いて上記観測データから上記対象の構成要素の有無に関する第1のスコアを算出し、
    上記第2の識別手段は、
    上記設定情報に基づいて上記第1のスコアから上記対象の種別に関する第2のスコアを算出するプログラム。
JP2018051486A 2018-03-19 2018-03-19 認識装置、車両システム及びプログラム Active JP6833750B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018051486A JP6833750B2 (ja) 2018-03-19 2018-03-19 認識装置、車両システム及びプログラム
KR1020180098507A KR20190116033A (ko) 2018-03-19 2018-08-23 인식 장치, 차량 시스템 및 기록 매체
CN201810985804.XA CN110287756A (zh) 2018-03-19 2018-08-28 识别装置以及车辆***
EP18191967.1A EP3543899A1 (en) 2018-03-19 2018-08-31 Recognition device, vehicle system and storage medium
US16/126,355 US10984256B2 (en) 2018-03-19 2018-09-10 Recognition device, vehicle system and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018051486A JP6833750B2 (ja) 2018-03-19 2018-03-19 認識装置、車両システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2019164512A JP2019164512A (ja) 2019-09-26
JP6833750B2 true JP6833750B2 (ja) 2021-02-24

Family

ID=63452528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018051486A Active JP6833750B2 (ja) 2018-03-19 2018-03-19 認識装置、車両システム及びプログラム

Country Status (5)

Country Link
US (1) US10984256B2 (ja)
EP (1) EP3543899A1 (ja)
JP (1) JP6833750B2 (ja)
KR (1) KR20190116033A (ja)
CN (1) CN110287756A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947048B (zh) * 2021-01-28 2023-08-04 国网湖南省电力有限公司 一种多变量耦合控制***的控制方法、***及介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554194A (ja) * 1991-08-26 1993-03-05 Nippon Denki Joho Service Kk 文字認識装置
JP4517003B2 (ja) * 2009-04-27 2010-08-04 アジア航測株式会社 道路標識自動認識システム
JP5962442B2 (ja) * 2012-11-02 2016-08-03 アイシン・エィ・ダブリュ株式会社 標識認識システム、標識認識方法、及び標識認識プログラム
KR101445739B1 (ko) 2012-11-13 2014-10-06 한국건설기술연구원 도로표지판의 위치검출 방법
JP5961207B2 (ja) * 2014-03-28 2016-08-02 富士重工業株式会社 車外環境認識装置
CN104537393B (zh) * 2015-01-04 2018-01-16 大连理工大学 一种基于多分辨率卷积神经网络的交通标志识别方法
KR101687094B1 (ko) 2015-01-29 2016-12-28 주식회사 만도 교통 표지판 인식 장치 및 교통 표지판 인식 방법
CN104700099B (zh) * 2015-03-31 2017-08-11 百度在线网络技术(北京)有限公司 识别交通标志的方法和装置
JP2017027227A (ja) * 2015-07-17 2017-02-02 日本電信電話株式会社 ラベル推定関数学習装置、方法、ラベル推定装置、方法及びプログラム
JP6924007B2 (ja) * 2016-08-29 2021-08-25 株式会社デンソーテン 運転支援装置および運転支援方法
CN111542860A (zh) * 2016-12-30 2020-08-14 迪普迈普有限公司 用于自主车辆的高清地图的标志和车道创建
CN106886755A (zh) * 2017-01-19 2017-06-23 北京航空航天大学 一种基于交通标志识别的交叉口车辆违章检测***
US11436539B2 (en) * 2017-05-26 2022-09-06 Google Llc Vehicle map service system
KR101834778B1 (ko) * 2017-05-30 2018-03-07 만도헬라일렉트로닉스(주) 교통 표지판 인식장치 및 방법

Also Published As

Publication number Publication date
US20190286917A1 (en) 2019-09-19
US10984256B2 (en) 2021-04-20
EP3543899A1 (en) 2019-09-25
KR20190116033A (ko) 2019-10-14
JP2019164512A (ja) 2019-09-26
CN110287756A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
JP6074553B1 (ja) 情報処理システム、情報処理方法、およびプログラム
US10627813B2 (en) Information processing system, information processing method, and program
JP6653343B2 (ja) 自動運転車両に用いる畳み込みニューラルネットワークモデルのコンボリューション/デコンボリューション層とバッチ正規化層のオフライン組み合わせ
CN110325935A (zh) 用于自动驾驶车辆的路径规划的基于驾驶场景的车道引导线
GB2592293A (en) Operation of a vehicle using motion planning with machine learning
CN108334073A (zh) 使用制动灯保持自动驾驶车辆与跟随车辆之间的距离的方法
CN108859938A (zh) 用于自动驾驶车辆的自动车辆应急灯控制的方法和***
US20220242453A1 (en) Detection System for Predicting Information on Pedestrian
US20210035443A1 (en) Navigation analysis for a multi-lane roadway
CN111645695B (zh) 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质
US20210370954A1 (en) Monitoring and scoring passenger attention
JP2019192234A (ja) 複数のキューを利用したオブジェクト追跡
JP6833750B2 (ja) 認識装置、車両システム及びプログラム
Galindo et al. Landmark based eye ratio estimation for driver fatigue detection
JP2018116553A (ja) 標識認識装置
US20210201670A1 (en) Information processing device, information processing method, and information processing system
WO2023230740A1 (zh) 一种异常驾驶行为识别的方法、装置和交通工具
Dawam et al. Smart city lane detection for autonomous vehicle
WO2014034779A1 (ja) 個人特性推定装置及び個人特性推定方法
JP6946456B2 (ja) 地図及び測位を必要としない自動運転車両のコーナネゴシエーション方法
Karunathilaka et al. Road sign identification application using image processing and augmented reality
JP2019153225A (ja) 物体識別装置
KR102221316B1 (ko) 자율 주행 기술 평가 방법 및 장치
US20230377351A1 (en) Systems and methods for detecting objects in an image of an environment
JP2021033529A (ja) 運転支援装置、運転支援システムおよび運転支援方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210203

R150 Certificate of patent or registration of utility model

Ref document number: 6833750

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150