JP6737906B2 - 視覚的且つ動的な運転シーンの知覚的負荷を決定する制御装置、システム及び方法 - Google Patents
視覚的且つ動的な運転シーンの知覚的負荷を決定する制御装置、システム及び方法 Download PDFInfo
- Publication number
- JP6737906B2 JP6737906B2 JP2018563860A JP2018563860A JP6737906B2 JP 6737906 B2 JP6737906 B2 JP 6737906B2 JP 2018563860 A JP2018563860 A JP 2018563860A JP 2018563860 A JP2018563860 A JP 2018563860A JP 6737906 B2 JP6737906 B2 JP 6737906B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- load
- perceptual
- model
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 73
- 230000000007 visual effect Effects 0.000 title claims description 61
- 238000013507 mapping Methods 0.000 claims description 50
- 239000013598 vector Substances 0.000 claims description 42
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000012417 linear regression Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 10
- 238000013145 classification model Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000000611 regression analysis Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 51
- 230000006399 behavior Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000001149 cognitive effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000003935 attention Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 201000004569 Blindness Diseases 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000010344 pupil dilation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000035582 behavioral recognition Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000012508 change request Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
- G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
自己報告及び自己評価尺度などによる主観的尺度、
脳の活動(例えば、EEGによって検知することができるタスク関連脳電位)、心臓の活動(例えば、心拍数)、眼の活動(例えば、瞳孔拡張及び瞬き速度)、並びにストレス活動(例えば、電気皮膚応答によるもの)の尺度を含む生理学的尺度、
反応時間及びエラー率などのタスク及び能力に基づく尺度、
言いよどみ(speech disfluencies)などの行動尺度
を含む、多くの手法が用いられている。
improved dense trajectoriesでは、ビデオは、原始的な関心点(primitive interest points)のトラジェクトリ(trajectories)周辺において抽出された視覚的特徴として表される。トラジェクトリは、経時的に追跡された「関心点」の画像位置(x, y)である。このような「関心点」は、物体の角のような、顕著な又ははっきりと分かる画像の部分であり得る。関心点は、SURF(「Speeded Up Robust Features」アルゴリズムを用いて検出されことができ、ビデオの高密度オプティカルフロー場(dense optical flow field)においてメディアンフィルタリングによって追跡され得る。
3D畳み込み(C3D)特徴は、ラベル付きデータから特徴が自動的に学習される「深層ニューラルネットワーク」学習特徴の一種である。局所的な外観情報及び動作情報を補足するビデオフィルタの階層が学習される。特徴抽出のためのC3Dネットワークは、それが使用可能となる前に最初に訓練されなければならない。予め訓練されたネットワークを用いることができる(すなわち、他のデータについて訓練され、一般的なビデオ記述子を抽出することを学習する。)。例えば、予め訓練されたモデルは、スポーツを分類するために、百万のスポーツビデオのセットから訓練されてもよい。これは、ビデオ回帰/分類タスクにおいて用いることができる一般的な動作特徴/外観特徴を学習する。訓練の代わりに又は訓練に加えて、C3Dネットワークを微調整するために、ラベル付き参照ビデオを用いてもよい。
図7は、本開示の実施形態に係る負荷モデルの訓練を示した概略図を示している。負荷モデルは、回帰モデルであることが望ましい。回帰モデルを訓練するためには、機械学習アルゴリズムがシーン特徴のセットから知覚的負荷値への写像関数を学習することができるように、種々の運転シナリオの例、すなわち、特に、参照ビデオシーン及び参照ビデオシーンの対応する負荷値が必要とされる。
f(x) = wTx + b、すなわち、f(x) = w1*x1 + w2*x2 + w3*x3 ... + b
f(x) = wTΦ(x) + b
本明細書に開示される発明は以下の態様を含む。
〔態様1〕
視覚的且つ動的な運転シーン(10)の知覚的負荷を決定する、乗り物(10)の制御装置(1)であって、
当該制御装置(1)が、
視覚的運転シーンを検知するセンサ(3)のセンサ出力(101)を受信し、
前記視覚的運転シーンの静的情報及び/又は動的情報を表すシーン特徴のセット(102)を前記センサ出力(101)から抽出し、
予め定められた負荷モデル(103)に基づいて、抽出されたシーン特徴のセット(102)の知覚的負荷(104)を決定するように構成され、
前記負荷モデル(103)が、それぞれ負荷値でラベル付けされた参照ビデオシーンに基づいて予め定められる、制御装置。
〔態様2〕
前記負荷モデル(103)が、前記参照ビデオシーンから抽出されたシーン特徴のセットと前記負荷値との間の写像関数を含む、態様1に記載の制御装置。
〔態様3〕
前記負荷モデル(103)がシーン特徴のセットを知覚的負荷値に写像するように構成される、態様1又は2に記載の制御装置。
〔態様4〕
前記負荷モデル(103)が、前記参照ビデオシーンから抽出されたシーン特徴のセットと前記負荷値との間の回帰モデル及び/又は分類モデルである、態様1から3の何れか一項に記載の制御装置。
〔態様5〕
前記参照ビデオシーンの負荷値の決定が、人間に基づき、特にクラウドソーシングに基づく、態様1から4の何れか一項に記載の制御装置。
〔態様6〕
前記負荷値の決定が、ペアワイズランク付け法に基づき、特にTrueSkillアルゴリズムに基づく、態様1から5の何れか一項に記載の制御装置。
〔態様7〕
当該制御装置が、運転シーン中に運転者を監視することによって前記負荷モデルを継続的に訓練するように構成され、決定された知覚的負荷(104)と一致しない、前記運転シーン中の前記運転者の監視された行動が、前記写像関数をオンラインで更新するように機能する、態様1から6の何れか一項に記載の制御装置。
〔態様8〕
前記シーン特徴のセット(102)が、ある範囲の時空間特徴を含み、前記シーン特徴のセットが特にベクトル形式により記述される、態様1から7の何れか一項に記載の制御装置。
〔態様9〕
前記シーン特徴のセットが、improved dense trajectory(iDT)特徴、及び/又は三次元畳み込みニューラルネットワーク(C3D)特徴を含む、態様1から8の何れか一項に記載の制御装置。
〔態様10〕
前記負荷モデルが線形回帰モデルであり、入力シーン特徴ベクトルxである前記シーン特徴のセットが、線形写像関数f(x) = w T x + b = w 1 *x 1 + w 2 *x 2 + w 3 *x 3 ... + bを介して、出力知覚的負荷値y=f(x)である前記知覚的負荷に写像され、前記線形写像関数が、前記入力シーン特徴ベクトルxの入力次元値の加重和であり、重みパラメータwが、前記入力シーン特徴ベクトルxのそれぞれの次元値に割り当てられ、バイアス項bが出力を特定の値にセンタリングし、又は
前記負荷モデルが多重チャネル非線形カーネル回帰モデルであり、写像関数がf(x) = w T Φ(x) + bであり、Φ(x)が、非線形カーネル空間への入力特徴ベクトルの変換関数である、態様1から9の何れか一項に記載の制御装置。
〔態様11〕
態様1から10の何れか一項に記載の制御装置(1)を備える、乗り物(10)。
〔態様12〕
前記視覚的運転シーンを検知するように構成されたセンサ(3)を更に備え、該センサ(3)が、特に光センサ、より詳細には少なくとも1つのデジタルカメラである、態様11に記載の乗り物(10)。
〔態様13〕
視覚的且つ動的な運転シーンの知覚的負荷を決定する、乗り物(10)のシステム(30)であって、
態様1から11の何れか一項に記載の制御装置(1)と、
前記負荷モデルを決定するように構成されたサーバ(20)と、
を備える、システム(30)。
〔態様14〕
前記サーバ(20)が、
複数の参照ビデオシーンを記憶し、
前記参照ビデオシーンを負荷値でラベル付けする手段を提供し、
それぞれの参照ビデオシーンからシーン特徴のセットを抽出し、
それぞれの参照ビデオシーンから抽出されたシーン特徴のセットと前記負荷値との間の写像関数を決定するように構成された回帰分析に基づいて前記負荷モデルを決定するように構成される、態様13に記載のシステム(30)。
〔態様15〕
前記サーバ(20)が、
前記参照ビデオシーンの人間に基づく負荷格付けの手段を提供するように構成され、特に、前記負荷格付けがクラウドソーシングに基づき、前記負荷値が前記人間に基づく負荷格付けに基づいて決定される、態様13又は14に記載のシステム(30)。
〔態様16〕
前記サーバ(20)は、前記負荷格付けが、ペアワイズランク付け法、特にTrueSkillアルゴリズムに基づくように構成される、態様13から15の何れか一項に記載のシステム(30)。
〔態様17〕
視覚的且つ動的な運転シーンの知覚的負荷を決定する方法であって、
視覚的運転シーンを検知するセンサ(3)のセンサ出力(101)を受信する段階と、
前記視覚的運転シーンの静的情報及び/又は動的情報を表すシーン特徴のセット(102)を前記センサ出力(101)から抽出する段階と、
予め定められた負荷モデル(103)に基づいて、抽出されたシーン特徴のセット(102)の知覚的負荷(104)を決定する段階と、
を含み、
前記負荷モデル(103)が、それぞれ負荷値でラベル付けされた参照ビデオシーンに基づいて予め定められる、方法。
〔態様18〕
前記負荷モデル(103)が、前記参照ビデオシーンから抽出されたシーン特徴のセットと前記負荷値との間の写像関数を含む、態様17に記載の方法。
〔態様19〕
前記負荷モデル(103)がシーン特徴のセットを知覚的負荷値に写像する、態様17又は18に記載の方法。
〔態様20〕
前記負荷モデル(103)が、前記参照ビデオシーンから抽出されたシーン特徴のセットと前記負荷値との間の回帰モデル又は分類モデルである、態様17から19の何れか一項に記載の方法。
〔態様21〕
前記参照ビデオシーンの負荷値の決定が、人間に基づき、特にクラウドソーシングに基づく、態様17から20の何れか一項に記載の方法。
〔態様22〕
前記負荷値の決定が、ペアワイズランク付け法、特にTrueSkillアルゴリズムに基づく、態様17から21の何れか一項に記載の方法。
〔態様23〕
前記負荷モデルが、運転シーン中に運転者を監視することによって継続的に訓練され、決定された知覚的負荷(104)と一致しない、前記運転シーン中の前記運転者の監視された行動が、前記写像関数をオンラインで更新するように機能する、態様17から22の何れか一項に記載の方法。
〔態様24〕
前記シーン特徴のセットが、ある範囲の時空間特徴を含み、前記シーン特徴のセットが特にベクトル形式により記述される、態様17から23の何れか一項に記載の方法。
〔態様25〕
前記シーン特徴のセットが、improved dense trajectory(iDT)特徴、及び/又は三次元畳み込みニューラルネットワーク(C3D)特徴を含む、態様17から24の何れか一項に記載の方法。
〔態様26〕
前記負荷モデルが線形回帰モデルであり、入力シーン特徴ベクトルxであるシーン特徴のセットが、線形写像関数f(x) = w T x + b = w 1 *x 1 + w 2 *x 2 + w 3 *x 3 ... + bを介して、出力知覚的負荷値y=f(x)である前記知覚的負荷に写像され、前記線形写像関数が、前記入力シーン特徴ベクトルxの入力次元値の加重和であり、重みパラメータwが、前記入力シーン特徴ベクトルxのそれぞれの次元値に割り当てられ、バイアス項bが出力を特定の値にセンタリングし、又は
前記負荷モデルが多重チャネル非線形カーネル回帰モデルであり、写像関数がf(x) = w T Φ(x) + bであり、Φ(x)が、非線形カーネル空間への入力特徴ベクトルの変換関数である、態様17から25の何れか一項に記載の方法。
〔態様27〕
前記センサ(3)が、光センサ、特に少なくとも1つのデジタルカメラである、態様17から26の何れか一項に記載の方法。
〔態様28〕
サーバが、
複数の参照ビデオシーンを記憶する段階、
前記参照ビデオシーンを負荷値でラベル付けする手段を提供する段階、
それぞれの参照ビデオシーンからシーン特徴のセットを抽出する段階、及び
それぞれの参照ビデオシーンから抽出されたシーン特徴のセットと前記負荷値との間の写像関数を決定する回帰分析に基づいて、前記負荷モデルを決定する段階を行う、態様17から27の何れか一項に記載の方法。
〔態様29〕
前記サーバが、前記参照ビデオシーンの人間に基づく負荷格付けの手段を提供し、特に、前記負荷格付けがクラウドソーシングに基づき、前記負荷値が前記人間に基づく負荷格付けに基づいて決定される、態様28に記載の方法。
〔態様30〕
前記負荷格付けが、ペアワイズランク付け法、特にTrueSkillアルゴリズムに基づく、態様28又は29に記載の方法。
Claims (40)
- 視覚的且つ動的な運転シーン(10)の知覚的負荷を決定する、乗り物(10)の制御装置(1)であって、
当該制御装置(1)が、
視覚的運転シーンを検知するセンサ(3)のセンサ出力(101)を受信し、
前記視覚的運転シーンの静的情報及び/又は動的情報を表すシーン特徴のセット(102)を前記センサ出力(101)から抽出し、
予め定められた負荷モデル(103)に基づいて、抽出されたシーン特徴のセット(102)の知覚的負荷(104)を決定するように構成され、
前記負荷モデル(103)が、それぞれ知覚的負荷値でラベル付けされた参照ビデオシーンに基づいて予め定められる、制御装置。 - 前記負荷モデル(103)が、前記参照ビデオシーンから抽出されたシーン特徴のセットと前記知覚的負荷値との間の写像関数を含む、請求項1に記載の制御装置。
- 前記負荷モデル(103)がシーン特徴のセットを知覚的負荷値に写像するように構成される、請求項1又は2に記載の制御装置。
- 前記負荷モデル(103)が、前記参照ビデオシーンから抽出されたシーン特徴のセットと前記知覚的負荷値との間の回帰モデル及び/又は分類モデルである、請求項1から3の何れか一項に記載の制御装置。
- 前記参照ビデオシーンの知覚的負荷値の決定が、人間に基づく、請求項1から4の何れか一項に記載の制御装置。
- 前記参照ビデオシーンの知覚的負荷値の決定が、クラウドソーシングに基づく、請求項5に記載の制御装置。
- 前記知覚的負荷値の決定が、ペアワイズランク付け法に基づく、請求項1から6の何れか一項に記載の制御装置。
- 前記知覚的負荷値の決定が、TrueSkillアルゴリズムに基づく、請求項7に記載の制御装置。
- 当該制御装置が、運転シーン中に運転者を監視することによって前記負荷モデルを継続的に訓練するように構成され、決定された知覚的負荷(104)と一致しない、前記運転シーン中の前記運転者の監視された行動に基づき、前記写像関数をオンラインで更新する、請求項2に記載の制御装置。
- 前記シーン特徴のセット(102)が、ある範囲の時空間特徴を含む、請求項1から9の何れか一項に記載の制御装置。
- 前記シーン特徴のセット(102)が、ベクトル形式により記述される、請求項10に記載の制御装置。
- 前記シーン特徴のセットが、improved dense trajectory(iDT)特徴、及び/又は三次元畳み込みニューラルネットワーク(C3D)特徴を含む、請求項1から11の何れか一項に記載の制御装置。
- 前記負荷モデルが線形回帰モデルであり、入力シーン特徴ベクトルxである前記シーン特徴のセットが、線形写像関数f(x) = w T x + b = w 1 *x 1 + w 2 *x 2 + w 3 *x 3 ... + bを介して、出力知覚的負荷値y=f(x)である前記知覚的負荷に写像され、前記線形写像関数が、前記入力シーン特徴ベクトルxの入力次元値の加重和であり、重みパラメータwが、前記入力シーン特徴ベクトルxのそれぞれの入力次元値に割り当てられ、バイアス項bが出力を特定の値にセンタリングし、又は
前記負荷モデルが多重チャネル非線形カーネル回帰モデルであり、写像関数がf(x) = w T Φ(x) + bであり、Φ(x)が、非線形カーネル空間への入力シーン特徴ベクトルの変換関数である、請求項1から12の何れか一項に記載の制御装置。 - 請求項1から13の何れか一項に記載の制御装置(1)を備える、乗り物(10)。
- 前記視覚的運転シーンを検知するように構成されたセンサ(3)を更に備える、請求項14に記載の乗り物(10)。
- 視覚的且つ動的な運転シーンの知覚的負荷を決定する、乗り物(10)のシステム(30)であって、
請求項1から13の何れか一項に記載の制御装置(1)と、
前記負荷モデルを決定するように構成されたサーバ(20)と、
を備える、システム(30)。 - 前記サーバ(20)が、
複数の参照ビデオシーンを記憶し、
前記参照ビデオシーンを知覚的負荷値でラベル付けする手段を提供し、
それぞれの参照ビデオシーンからシーン特徴のセットを抽出し、
それぞれの参照ビデオシーンから抽出されたシーン特徴のセットと前記知覚的負荷値との間の写像関数を決定するように構成された回帰分析に基づいて前記負荷モデルを決定するように構成される、請求項16に記載のシステム(30)。 - 前記サーバ(20)が、
前記参照ビデオシーンの人間に基づく負荷格付けの手段を提供するように構成され、前記知覚的負荷値が前記人間に基づく負荷格付けに基づいて決定される、請求項16又は17に記載のシステム(30)。 - 前記負荷格付けがクラウドソーシングに基づく、請求項18に記載のシステム(30)。
- 前記サーバ(20)は、前記負荷格付けが、ペアワイズランク付け法に基づくように構成される、請求項18に記載のシステム(30)。
- 前記サーバ(20)は、前記負荷格付けが、TrueSkillアルゴリズムに基づくように構成される、請求項20に記載のシステム(30)。
- 視覚的且つ動的な運転シーンの知覚的負荷を決定する方法であって、
視覚的運転シーンを検知するセンサ(3)のセンサ出力(101)を受信する段階と、
前記視覚的運転シーンの静的情報及び/又は動的情報を表すシーン特徴のセット(102)を前記センサ出力(101)から抽出する段階と、
予め定められた負荷モデル(103)に基づいて、抽出されたシーン特徴のセット(102)の知覚的負荷(104)を決定する段階と、
を含み、
前記負荷モデル(103)が、それぞれ知覚的負荷値でラベル付けされた参照ビデオシーンに基づいて予め定められる、方法。 - 前記負荷モデル(103)が、前記参照ビデオシーンから抽出されたシーン特徴のセットと前記知覚的負荷値との間の写像関数を含む、請求項22に記載の方法。
- 前記負荷モデル(103)がシーン特徴のセットを知覚的負荷値に写像する、請求項22又は23に記載の方法。
- 前記負荷モデル(103)が、前記参照ビデオシーンから抽出されたシーン特徴のセットと前記知覚的負荷値との間の回帰モデル又は分類モデルである、請求項22から24の何れか一項に記載の方法。
- 前記参照ビデオシーンの知覚的負荷値の決定が、人間に基づく、請求項22から25の何れか一項に記載の方法。
- 前記参照ビデオシーンの知覚的負荷値の決定が、クラウドソーシングに基づく、請求項26に記載の方法。
- 前記知覚的負荷値の決定が、ペアワイズランク付け法に基づく、請求項22から27の何れか一項に記載の方法。
- 前記知覚的負荷値の決定が、TrueSkillアルゴリズムに基づく、請求項28に記載の方法。
- 前記負荷モデルが、運転シーン中に運転者を監視することによって継続的に訓練され、決定された知覚的負荷(104)と一致しない、前記運転シーン中の前記運転者の監視された行動に基づき、前記写像関数をオンラインで更新する、請求項23に記載の方法。
- 前記シーン特徴のセットが、ある範囲の時空間特徴を含む、請求項22から30の何れか一項に記載の方法。
- 前記シーン特徴のセットが、ベクトル形式により記述される、請求項31に記載の方法。
- 前記シーン特徴のセットが、improved dense trajectory(iDT)特徴、及び/又は三次元畳み込みニューラルネットワーク(C3D)特徴を含む、請求項22から32の何れか一項に記載の方法。
- 前記負荷モデルが線形回帰モデルであり、入力シーン特徴ベクトルxであるシーン特徴のセットが、線形写像関数f(x) = w T x + b = w 1 *x 1 + w 2 *x 2 + w 3 *x 3 ... + bを介して、出力知覚的負荷値y=f(x)である前記知覚的負荷に写像され、前記線形写像関数が、前記入力シーン特徴ベクトルxの入力次元値の加重和であり、重みパラメータwが、前記入力シーン特徴ベクトルxのそれぞれの入力次元値に割り当てられ、バイアス項bが出力を特定の値にセンタリングし、又は
前記負荷モデルが多重チャネル非線形カーネル回帰モデルであり、写像関数がf(x) = w T Φ(x) + bであり、Φ(x)が、非線形カーネル空間への入力シーン特徴ベクトルの変換関数である、請求項22から33の何れか一項に記載の方法。 - 前記センサ(3)が、光センサである、請求項22から34の何れか一項に記載の方法。
- サーバが、
複数の参照ビデオシーンを記憶する段階、
前記参照ビデオシーンを知覚的負荷値でラベル付けする手段を提供する段階、
それぞれの参照ビデオシーンからシーン特徴のセットを抽出する段階、及び
それぞれの参照ビデオシーンから抽出されたシーン特徴のセットと前記知覚的負荷値との間の写像関数を決定する回帰分析に基づいて、前記負荷モデルを決定する段階を行う、請求項22から35の何れか一項に記載の方法。
- 前記サーバが、前記参照ビデオシーンの人間に基づく負荷格付けの手段を提供し、前記知覚的負荷値が前記人間に基づく負荷格付けに基づいて決定される、請求項36に記載の方法。
- 前記負荷格付けがクラウドソーシングに基づく、請求項37に記載の方法。
- 前記負荷格付けが、ペアワイズランク付け法に基づく、請求項37に記載の方法。
- 前記負荷格付けが、TrueSkillアルゴリズムに基づく、請求項39に記載の方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2016/062910 WO2017211395A1 (en) | 2016-06-07 | 2016-06-07 | Control device, system and method for determining the perceptual load of a visual and dynamic driving scene |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019523943A JP2019523943A (ja) | 2019-08-29 |
JP6737906B2 true JP6737906B2 (ja) | 2020-08-12 |
Family
ID=56116422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018563860A Active JP6737906B2 (ja) | 2016-06-07 | 2016-06-07 | 視覚的且つ動的な運転シーンの知覚的負荷を決定する制御装置、システム及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10963741B2 (ja) |
EP (1) | EP3465532A1 (ja) |
JP (1) | JP6737906B2 (ja) |
WO (1) | WO2017211395A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3465532A1 (en) * | 2016-06-07 | 2019-04-10 | Toyota Motor Europe | Control device, system and method for determining the perceptual load of a visual and dynamic driving scene |
CN108647599B (zh) * | 2018-04-27 | 2022-04-15 | 南京航空航天大学 | 结合3d跃层连接和循环神经网络的人体行为识别方法 |
CN113642633B (zh) * | 2018-06-11 | 2023-06-20 | 百度在线网络技术(北京)有限公司 | 用于对驾驶场景数据进行分类的方法、装置、设备和介质 |
CN109740424A (zh) * | 2018-11-23 | 2019-05-10 | 深圳市华尊科技股份有限公司 | 交通违规识别方法及相关产品 |
US11488399B2 (en) * | 2018-12-19 | 2022-11-01 | Magna Electronics Inc. | Vehicle driver monitoring system for determining driver workload |
WO2020182281A1 (en) | 2019-03-08 | 2020-09-17 | Toyota Motor Europe | Electronic device, system and method for determining the perceptual capacity of an individual human |
US20220225917A1 (en) | 2019-05-15 | 2022-07-21 | Toyota Motor Europe | Electronic device, system and method for predicting the performance of an individual human during a visual perception task |
US11364935B2 (en) * | 2019-07-22 | 2022-06-21 | Volvo Car Corporation | Robust autonomous drive design |
CN110781718B (zh) * | 2019-08-28 | 2023-10-10 | 浙江零跑科技股份有限公司 | 一种驾驶室红外视觉***及驾驶员注意力分析方法 |
CN111103477B (zh) * | 2019-10-31 | 2020-08-25 | 武汉旗云高科信息技术有限公司 | 一种基于3d卷积神经网络的电气负载监测方法和*** |
US11590977B2 (en) * | 2019-12-31 | 2023-02-28 | Rivian Ip Holdings, Llc | Systems and methods for providing a vehicle with a torque vectored K-turn mode |
CN111208818B (zh) * | 2020-01-07 | 2023-03-07 | 电子科技大学 | 基于视觉时空特征的智能车预测控制方法 |
JP7421948B2 (ja) * | 2020-02-21 | 2024-01-25 | 本田技研工業株式会社 | 情報処理システムおよび情報処理方法 |
DE102020123976A1 (de) * | 2020-09-15 | 2022-03-17 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren, System und Computerprogrammprodukt zur Bestimmung von sicherheitskritischen Verkehrsszenarien für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF) |
US20220363264A1 (en) * | 2021-05-14 | 2022-11-17 | International Business Machines Corporation | Assessing driver cognitive state |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3764494B2 (ja) * | 1993-10-25 | 2006-04-05 | ソニー株式会社 | 動画像分析合成装置 |
JP3848749B2 (ja) * | 1997-08-13 | 2006-11-22 | 松下電器産業株式会社 | 画像検索装置 |
DE10103401A1 (de) | 2001-01-26 | 2002-08-01 | Daimler Chrysler Ag | Gefahrenabwendungssystem für ein Fahrzeug |
US7394393B2 (en) | 2005-08-02 | 2008-07-01 | Gm Global Technology Operations, Inc. | Adaptive driver workload estimator |
DE602005017144D1 (de) | 2005-08-18 | 2009-11-26 | Honda Res Inst Europe Gmbh | Fahrerassistenzsystem |
US8487775B2 (en) * | 2006-06-11 | 2013-07-16 | Volvo Technology Corporation | Method and apparatus for determining and analyzing a location of visual interest |
JP4966945B2 (ja) * | 2008-10-08 | 2012-07-04 | 日本電信電話株式会社 | 時空間画像特徴量検出装置、時空間画像特徴量検出方法および時空間画像特徴量検出プログラム |
US8442309B2 (en) * | 2009-06-04 | 2013-05-14 | Honda Motor Co., Ltd. | Semantic scene segmentation using random multinomial logit (RML) |
EP2316705B1 (en) * | 2009-10-28 | 2012-06-20 | Honda Research Institute Europe GmbH | Behavior-based learning of visual characteristics from real-world traffic scenes for driver assistance systems |
JP5605187B2 (ja) * | 2010-11-24 | 2014-10-15 | 株式会社デンソー | 運転疲労度判定装置 |
JP5482737B2 (ja) * | 2011-06-29 | 2014-05-07 | 株式会社デンソー | 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム |
GB201305067D0 (en) * | 2013-03-19 | 2013-05-01 | Massive Analytic Ltd | Apparatus for controlling a land vehicle which is self-driving or partially self-driving |
US20150161877A1 (en) * | 2013-11-06 | 2015-06-11 | Vringo Labs Llc | Systems And Methods For Event-Based Reporting and Surveillance and Publishing Event Information |
US9771802B2 (en) * | 2014-02-25 | 2017-09-26 | Siemens Energy, Inc. | Thermal shields for gas turbine rotor |
EP3465532A1 (en) * | 2016-06-07 | 2019-04-10 | Toyota Motor Europe | Control device, system and method for determining the perceptual load of a visual and dynamic driving scene |
US11034357B2 (en) * | 2018-09-14 | 2021-06-15 | Honda Motor Co., Ltd. | Scene classification prediction |
-
2016
- 2016-06-07 EP EP16727998.3A patent/EP3465532A1/en active Pending
- 2016-06-07 WO PCT/EP2016/062910 patent/WO2017211395A1/en unknown
- 2016-06-07 US US16/307,813 patent/US10963741B2/en active Active
- 2016-06-07 JP JP2018563860A patent/JP6737906B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019523943A (ja) | 2019-08-29 |
US10963741B2 (en) | 2021-03-30 |
US20190272450A1 (en) | 2019-09-05 |
EP3465532A1 (en) | 2019-04-10 |
WO2017211395A1 (en) | 2017-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6737906B2 (ja) | 視覚的且つ動的な運転シーンの知覚的負荷を決定する制御装置、システム及び方法 | |
US11798297B2 (en) | Control device, system and method for determining the perceptual load of a visual and dynamic driving scene | |
US11449727B2 (en) | Method, storage medium and electronic device for detecting vehicle crashes | |
Xing et al. | Identification and analysis of driver postures for in-vehicle driving activities and secondary tasks recognition | |
Hoang Ngan Le et al. | Robust hand detection and classification in vehicles and in the wild | |
US20220327840A1 (en) | Control device, system and method for determining perceptual load of a visual and dynamic driving scene in real time | |
CN110765807B (zh) | 驾驶行为分析、处理方法、装置、设备和存储介质 | |
US10655978B2 (en) | Controlling an autonomous vehicle based on passenger behavior | |
Martin et al. | Understanding head and hand activities and coordination in naturalistic driving videos | |
KR102481817B1 (ko) | 전달 학습을 통한 운전자의 시선 응시영역 추정 방법 | |
US11854275B2 (en) | Systems and methods for detecting symptoms of occupant illness | |
García et al. | Driver monitoring based on low-cost 3-D sensors | |
Moslemi et al. | Computer vision‐based recognition of driver distraction: A review | |
Kumtepe et al. | Driver aggressiveness detection via multisensory data fusion | |
JP2020042785A (ja) | 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 | |
Das et al. | Multimodal detection of drivers drowsiness and distraction | |
Turki et al. | A sophisticated Drowsiness Detection System via Deep Transfer Learning for real time scenarios | |
Li et al. | Real-time driver drowsiness estimation by multi-source information fusion with Dempster–Shafer theory | |
JP2020194206A (ja) | 学習方法、運転支援方法、学習プログラム、運転支援プログラム、学習装置、運転支援システム及び学習システム | |
US20240046612A1 (en) | Fusion-based sensing intelligence and reporting | |
Vesselenyi et al. | Fuzzy Decision Algorithm for Driver Drowsiness Detection | |
Mridha et al. | Driver Drowsiness Alert System Using Real-Time Detection | |
Aghaomidi et al. | Recognition of driver's distraction based on facial thermal videos by deep learning | |
Chai et al. | Rethinking the Evaluation of Driver Behavior Analysis Approaches | |
CN111507192A (zh) | 一种仪容仪表监测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200716 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6737906 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |