JP7025123B2 - Emotion estimation device - Google Patents
Emotion estimation device Download PDFInfo
- Publication number
- JP7025123B2 JP7025123B2 JP2017055014A JP2017055014A JP7025123B2 JP 7025123 B2 JP7025123 B2 JP 7025123B2 JP 2017055014 A JP2017055014 A JP 2017055014A JP 2017055014 A JP2017055014 A JP 2017055014A JP 7025123 B2 JP7025123 B2 JP 7025123B2
- Authority
- JP
- Japan
- Prior art keywords
- emotional
- estimation
- information
- feature amount
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims description 56
- 230000002996 emotional effect Effects 0.000 claims description 77
- 238000004364 calculation method Methods 0.000 claims description 41
- 238000013500 data storage Methods 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 2
- 238000000611 regression analysis Methods 0.000 claims 2
- 238000001514 detection method Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 7
- 230000037007 arousal Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 230000003340 mental effect Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 206010041349 Somnolence Diseases 0.000 description 2
- 239000000090 biomarker Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
この発明は、心情推定装置に関する。 The present invention relates to a sentiment estimation device.
従来、車両の運転に関する各種の情報、乗員の生体情報、および乗員による入力項目などに基づいて乗員の心象を推定し、複数のコンテンツデータから乗員の心象に応じた再生候補を選択する再生装置が知られている(例えば、特許文献1参照)。この再生装置において、車両の運転に関する各種の情報は、例えば、日時情報、気象情報、位置情報、乗員構成、目的地、乗車目的、運転状況、交通状況、コンテンツデータの再生頻度、およびコンテンツデータに対する嗜好性などである。 Conventionally, a playback device that estimates the occupant's mental image based on various information related to vehicle driving, the occupant's biological information, input items by the occupant, etc., and selects a reproduction candidate according to the occupant's mental image from a plurality of content data. It is known (see, for example, Patent Document 1). In this playback device, various information related to vehicle driving is, for example, date and time information, weather information, position information, occupant composition, destination, boarding purpose, driving status, traffic status, content data playback frequency, and content data. Preference, etc.
ところで、上記従来技術に係る再生装置によれば、車両に搭載された各種のセンサなどによって検出される車両の運転に関する情報および生体情報に基づいて乗員の心象を推定するだけなので、車両の乗員が知覚する車両外部の情報および運転シーンの情報などに応じた推定を行うことはできない。これにより、乗員の心象の推定精度を向上させることは困難であるというという問題が生じる。 By the way, according to the reproduction device according to the above-mentioned prior art, the occupant of the vehicle only estimates the mental image of the occupant based on the information on the driving of the vehicle and the biological information detected by various sensors mounted on the vehicle. It is not possible to make an estimation according to the perceived information outside the vehicle and the information of the driving scene. This raises the problem that it is difficult to improve the estimation accuracy of the occupant's mental image.
本発明は上記事情に鑑みてなされたもので、車両の運転者が知覚する車両外部の情報および運転シーンの情報を心情推定に反映させることによって、心情の推定精度を向上させることが可能な心情推定装置を提供することを目的としている。 The present invention has been made in view of the above circumstances, and it is possible to improve the estimation accuracy of the emotion by reflecting the information outside the vehicle and the information of the driving scene perceived by the driver of the vehicle in the emotion estimation. It is intended to provide an estimation device.
上記課題を解決して係る目的を達成するために、本発明は以下の態様を採用した。
(1)本発明の一態様に係る心情推定装置は、画像の特徴量ベクトルと心情の情報とを関連付けるデータを記憶するデータ記憶部(例えば、実施形態でのモデルデータ記憶部26)と、画像を取得する画像取得部(例えば、実施形態での車外カメラ12)と、前記画像取得部によって取得される前記画像から特徴量ベクトルを算出する画像特徴量算出部(例えば、実施形態での画像特徴量算出部22)と、前記データ記憶部に記憶されている前記データを用いて、前記画像特徴量算出部によって算出される前記特徴量ベクトルに関連する心情の情報を推定する心情推定部(例えば、実施形態での心情推定部27)と、を備える。
In order to solve the above problems and achieve the above object, the present invention has adopted the following aspects.
(1) The emotion estimation device according to one aspect of the present invention includes a data storage unit (for example, a model
(2)上記(1)に記載の心情推定装置では、前記画像取得部は、移動体に搭載され、前記移動体の進行方向前方の画像を取得してもよい。 (2) In the emotion estimation device according to (1) above, the image acquisition unit may be mounted on a moving body and acquire an image in front of the moving body in the traveling direction.
(3)上記(1)または(2)に記載の心情推定装置では、操作者の心情の情報に関する入力操作を検出する入力デバイス(例えば、実施形態でのステアリングスイッチ11)と、前記入力デバイスによって検出される前記入力操作に応じて、前記操作者の心情データを生成する心情データ生成部(例えば、実施形態での心情データ生成部21)と、前記心情データ生成部によって生成される前記心情データと、前記画像特徴量算出部によって算出される前記特徴量ベクトルとを関連付ける推定モデルを作成し、前記推定モデルに関するデータを前記データ記憶部に格納する推定モデル作成部(例えば、実施形態での推定モデル作成部25)と、を備えてもよい。
(3) In the emotion estimation device according to (1) or (2) above, an input device (for example, a
(4)上記(3)に記載の心情推定装置は、前記操作者の生体情報を取得する生体情報取得部(例えば、実施形態での生体センサ15および生体指標算出部24)を備え、前記推定モデル作成部は、前記推定モデルにおいて、前記生体情報取得部によって取得される前記生体情報と、前記心情データおよび前記特徴量ベクトルの各々とを関連付けてもよい。
(4) The psychological estimation device according to (3) above includes a biological information acquisition unit (for example, a
上記(1)に記載の態様に係る心情推定装置によれば、画像の特徴量ベクトルと、画像に対応する実際のシーンを視認する人の心情とが関連付けられているので、生体情報を用いること無しに、心情の推定精度を向上させることができる。 According to the emotional estimation device according to the aspect (1) above, the feature amount vector of the image and the emotional condition of the person who visually recognizes the actual scene corresponding to the image are associated with each other, and therefore biometric information is used. Without it, the estimation accuracy of emotions can be improved.
さらに、上記(2)の場合、移動体の乗員が知覚する外部の情報を心情推定に反映させることによって、心情の推定精度を向上させることができる。 Further, in the case of (2) above, the accuracy of emotional estimation can be improved by reflecting the external information perceived by the occupants of the moving body in the emotional estimation.
さらに、上記(3)の場合、操作者自身による入力操作に応じて目的変数である心情データを生成するので、推定モデルを精度よく作成することができる。 Further, in the case of the above (3), since the emotional data which is the objective variable is generated according to the input operation by the operator himself, the estimation model can be created accurately.
さらに、上記(4)の場合、心情の情報との直接的な関連性が高い生体情報を用いることによって、推定精度を向上させることができる。 Further, in the case of the above (4), the estimation accuracy can be improved by using the biological information having a high direct relationship with the emotional information.
以下、本発明の一実施形態に係る心情推定装置について添付図面を参照しながら説明する。 Hereinafter, the emotion estimation device according to the embodiment of the present invention will be described with reference to the attached drawings.
本実施形態による心情推定装置10は、例えば車両1などの移動体に搭載され、移動体の乗員の心情を推定する。乗員の心情は、例えば、心理、気持ち、気分、快、および不快などの感情、並びに、眠い、および眠くない(覚醒)などの肉体的な状態を含む。
車両1は、図1に示すように、例えば、ステアリングスイッチ11と、車外カメラ12と、現在位置センサ13と、車両センサ14と、生体センサ15と、車載装置16と、処理ユニット17と、を備えている。
実施形態による心情推定装置10は、例えば、ステアリングスイッチ11と、車外カメラ12と、現在位置センサ13と、車両センサ14と、生体センサ15と、車載装置16と、を備えて構成されている。
The
As shown in FIG. 1, the vehicle 1 includes, for example, a
The
ステアリングスイッチ11は、図2に示すように、ステアリングホイール18に配置されている。ステアリングスイッチ11は、車両1を運転するためにステアリングホイール18を把持する運転者の手指により操作可能な位置に配置された入力デバイスである。ステアリングスイッチ11は、操作者の接触および操作を検出する。ステアリングスイッチ11は、例えば、操作者の手指による操作を受け付ける機械式スイッチとして、十字キー19を備えている。十字キー19は、第1キー19aと、第2キー19bと、第3キー19cと、第4キー19dと、を備えている。十字キー19は、操作者の手指による傾動操作を受け付けて、この傾動操作に応じて各キー19a,…,19dから操作信号を出力する。
The
ステアリングスイッチ11において、十字キー19の第1キー19aおよび第2キー19bは、例えば、操作者の心情のうち覚醒度の高低の情報に関する入力操作を受け付ける。第1キー19aは、覚醒度が高い状態であることを示す操作信号を出力し、第2キー19bは、覚醒度が低い状態であることを示す操作信号を出力する。十字キー19の第3キー19cおよび第4キー19dは、例えば、操作者の心情のうち快および不快の情報に関する入力操作を受け付ける。第3キー19cは、不快であることを示す操作信号を出力し、第4キー19dは、快であることを示す操作信号を出力する。
In the
車外カメラ12は、例えばCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子を備えるデジタルカメラである。車外カメラ12は、例えば、車両1の進行方向の前方領域を撮像し、撮像画像のデータを出力する。
The out-of-
現在位置センサ13は、例えばGPS(Global Positioning System)などの測位システムを含む航法衛星システム(例えば、GNSS:Global Navigation Satellite Systemなど)において人工衛星などから発信されている測位信号を受信し、測位信号を用いて現在位置を検出する。現在位置センサ13は、現在位置の検出値の信号を出力する。
The
車両センサ14は、車両1に搭載される各種のセンサであり、各種車両状態量の検出値の信号を出力する。車両センサ14は、例えば、車速センサ、エンジン回転センサ、加速度センサ、ヨーレートセンサ、アクセルセンサ、スロットル開度センサ、ブレーキ圧力センサ、ステアリングセンサなどである。車速センサは、車両1の速度(車速)を検出する。エンジン回転センサは、エンジン回転数を検出する。加速度センサは、車両1の加速度、例えば前後加速度および横加速度などを検出する。ヨーレートセンサは、車両1の上下方向軸周りの角速度を検出する。アクセルセンサは、アクセルペダルの変位量(アクセル開度)を検出する。スロットル開度センサは、スロットルバルブの開度を検出する。ブレーキ圧力センサは、マスターシリンダ、もしくはブレーキキャリパーまたはホイールシリンダーの油圧(ブレーキ圧力)を検出する。ステアリングセンサは、ステアリングホイールの操舵角または操舵トルクを検出する。
The
生体センサ15は、例えば、脳波(EEG)、心電(ECG)、皮膚コンダクタンスレベル(SCL)、皮膚コンダクタンス反応(SCR)、および皮膚電気反射(GSR)などの各々を検出する各センサである。生体センサ15は、各種生体データの検出値を出力する。
The
車載装置16は、車両1に搭載される各種装置である。車載装置16は、例えば、駆動力出力装置、ブレーキ装置、ステアリング装置、映像および音響機器、ナビゲーション装置、表示装置、並びに各種装置を制御する制御装置などである。
The in-
駆動力出力装置は、車両1が走行するための走行駆動力(トルク)を駆動輪に出力する。駆動力出力装置は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するECU(Electronic Control Unit)とを備える。ECUは、車両1の制御装置から入力される情報、または運転操作子から入力される情報に従って、走行駆動力を制御する。 The driving force output device outputs a traveling driving force (torque) for the vehicle 1 to travel to the driving wheels. The driving force output device includes, for example, a combination of an internal combustion engine, a motor, a transmission, and the like, and an ECU (Electronic Control Unit) that controls them. The ECU controls the traveling driving force according to the information input from the control device of the vehicle 1 or the information input from the driving operator.
ブレーキ装置は、例えば、ブレーキキャリパーまたはホイールシリンダーと、ブレーキキャリパーまたはホイールシリンダーに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、車両1の制御装置から入力される情報、または運転操作子から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクを各車輪に出力する。ブレーキ装置は、例えば、電動モータが発生させる油圧に加えて、運転操作子のブレーキペダルの操作によって発生する油圧を、マスターシリンダを介してシリンダに伝達する機構を備えている。なお、ブレーキ装置は、上記説明した構成に限らず、制御装置から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をブレーキキャリパーまたはホイールシリンダーに伝達してもよい。 The brake device includes, for example, a brake caliper or a wheel cylinder, an electric motor for generating hydraulic pressure in the brake caliper or the wheel cylinder, and a brake ECU. The brake ECU controls the electric motor according to the information input from the control device of the vehicle 1 or the information input from the driving operator, and outputs the brake torque corresponding to the braking operation to each wheel. The brake device includes, for example, a mechanism for transmitting the hydraulic pressure generated by the operation of the brake pedal of the operation operator to the cylinder via the master cylinder in addition to the hydraulic pressure generated by the electric motor. The brake device is not limited to the configuration described above, and the actuator may be controlled according to the information input from the control device to transmit the hydraulic pressure of the master cylinder to the brake caliper or the wheel cylinder.
ステアリング装置は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、制御装置から入力される情報、または運転操作子から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更する。 The steering device includes, for example, a steering ECU and an electric motor. The electric motor, for example, exerts a force on the rack and pinion mechanism to change the direction of the steering wheel. The steering ECU drives the electric motor according to the information input from the control device or the information input from the driving operator, and changes the direction of the steering wheel.
処理ユニット17は、例えばCPU(Central Processing Unit)などのプロセッサによって所定のプログラムが実行されることにより機能するソフトウェア機能部である。ソフトウェア機能部は、CPUなどのプロセッサ、プログラムを格納するROM(Read Only Memory)、データを一時的に記憶するRAM(Random Access Memory)、およびタイマーなどの電子回路を備えるECUである。なお、処理ユニット17の少なくとも一部は、LSI(Large Scale Integration)などの集積回路であってもよい。
The
処理ユニット17は、例えば、心情データ生成部21と、画像特徴量算出部22と、車両情報特徴量算出部23と、生体指標算出部24と、推定モデル作成部25と、モデルデータ記憶部26と、心情推定部27と、車両特性修正部28と、を備えている。
The
心情データ生成部21は、ステアリングスイッチ11の十字キー19から出力される操作信号に応じて操作者の心情データを生成して、操作者の心情データを目的変数として推定モデル作成部25に入力する。心情データ生成部21は、例えば図3に示すラッセルの円環感情マップなどのように心情の情報を示すマップデータを用いて、十字キー19から出力される操作信号に応じた操作者の心情を取得する。心情の情報を示すマップデータは、十字キー19から時系列的に出力される操作信号の累積と、心情の情報とを対応付けるマップデータである。例えば図3に示すラッセルの円環感情マップは、第1キー19aおよび第2キー19bに対応付けられている覚醒度の高低と、第3キー19cおよび第4キー19dに対応付けられている快および不快の情報とを、2次元直交座標系の2つの座標軸に設定している。ラッセルの円環感情マップの2次元直交座標系には、覚醒度の高低と快および不快の情報との組み合わせによって異なる複数種類の心情の領域が設定されている。心情データ生成部21は、十字キー19から出力される操作信号の累積に応じて、ラッセルの円環感情マップの2次元直交座標系における座標位置を変位させ、座標位置を含む領域に対応付けられている心情の情報を取得する。心情データ生成部21は、マップデータから取得する心情の情報を操作者の心情データとする。なお、十字キー19から出力される操作信号は、例えば、適宜の時間間隔における過去の時点に比べて現在の時点での覚醒度の高低または快および不快の情報に対する操作者の直感的な認識の変化を示している。
The emotional
画像特徴量算出部22は、車外カメラ12から出力される撮像画像のデータから画像特徴量ベクトルを算出して、画像特徴量ベクトルを説明変数として推定モデル作成部25に入力する。画像特徴量算出部22は、例えば畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)などの機械学習によって、画像特徴量ベクトルを算出する。画像特徴量算出部22は、例えば、既存の学習済みのCNNモデルを用いることによって、学習に必要なデータおよび時間を短縮してもよい。
The image feature
車両情報特徴量算出部23は、現在位置センサ13および車両センサ14から出力される各種車両状態量の検出値の信号を用いて車両情報特徴量を算出して、車両情報特徴量を説明変数として推定モデル作成部25に入力する。車両情報特徴量算出部23は、例えば、車両センサ14から出力される検出値自体を、または車両センサ14から出力される検出値を用いた所定の演算によって得られる二次的な情報を、車両情報特徴量とする。車両情報特徴量算出部23は、例えば、車両センサ14のステアリングセンサから出力されるステアリングホイールの操舵角の検出値を用いて、操舵角速度を算出する。
The vehicle information feature
生体指標算出部24は、生体センサ15から出力される各種生体データの検出値の信号を用いて生体指標を算出して、生体指標を説明変数として推定モデル作成部25に入力する。生体指標算出部24は、例えば、生体センサ15から出力される検出値自体を、または生体センサ15から出力される検出値を用いた所定の演算によって得られる二次的な情報を、生体指標とする。生体指標算出部24は、例えば、生体センサ15から出力される脳波(EEG)の検出値を用いて、特定周波数帯域(例えば、α波帯、β波帯、およびθ波帯など)の振幅を算出する。生体指標算出部24は、例えば、生体センサ15から出力される心電(ECG)の検出値を用いて、R波の間隔(RRI)を算出する。
The biometric
推定モデル作成部25は、推定モデル生成モードの実行が指示されている場合に、心情推定モデルを作成する。推定モデル作成部25は、心情データ生成部21から出力される操作者の心情データを目的変数とする。推定モデル作成部25は、画像特徴量算出部22から出力される画像特徴量ベクトル、車両情報特徴量算出部23から出力される車両情報特徴量、および生体指標算出部24から出力される生体指標を説明変数とする。推定モデル作成部25は、目的変数である操作者の心情データが、説明変数である画像特徴量ベクトル、車両情報特徴量、および生体指標の少なくとも何れかから一意に決まるように心情推定モデルを作成する。
推定モデル作成部25は、例えば、画像特徴量ベクトルを入力とするとともに、操作者の心情データを出力とする重回帰モデルにおいて、Lasso(Least absolute shrinkage and selection operator)正則化法に基づくスパース推定法を用いることによって、心情推定モデルを作成する。
推定モデル作成部25は、例えば、車両情報特徴量および生体指標を入力とするとともに、操作者の心情データを出力とする重回帰モデルにおいて、ステップワイズ法を用いることによって、心情推定モデルを作成する。
推定モデル作成部25は、例えば、操作者の生理反応および運転特性などの情報に関する類似性に基づいて複数のグループを設定して、複数のグループ毎に心情推定モデルを作成してもよい。
The estimation
The estimation
The estimation
The estimation
モデルデータ記憶部26は、推定モデル作成部25によって作成された心情推定モデル、または適宜の入力値と、この入力値に対して心情推定モデルによって推定される心情推定値との組み合わせによるモデルデータを記憶する。
The model
心情推定部27は、推定モデル生成モードの実行が指示されていない場合に、モデルデータ記憶部26に格納されている心情推定モデルまたはモデルデータを用いて、画像特徴量ベクトル、車両情報特徴量、および生体指標の少なくとも何れかに関連する心情の情報を推定する。心情推定部27は、画像特徴量ベクトル、車両情報特徴量、および生体指標の少なくとも何れかに関連する心情推定値を、心情推定モデルによる推定またはモデルデータの検索によって取得する。
心情推定部27は、モデルデータ記憶部26に複数の心情推定モデルまたはモデルデータがグループ毎に格納されている場合には、操作者による選択指示などに応じて適宜の心情推定モデルまたはモデルデータを選択してもよい。
When the execution of the estimation model generation mode is not instructed, the
When a plurality of emotion estimation models or model data are stored in the model
車両特性修正部28は、心情推定部27によって取得される心情推定値に応じて、車両特性を修正する。車両特性は、例えば、車載装置16の作動状態を特徴付ける情報である。
The vehicle
本実施形態による心情推定装置10は上記構成を備えており、次に、心情推定装置10の動作について、図4を参照して説明する。
The
先ず、ステップS01において、画像特徴量算出部22は、車外カメラ12によって撮像された撮像画像のデータを取得する。
次に、ステップS02において、画像特徴量算出部22は、撮像画像のデータから画像特徴量ベクトルを算出する。
次に、ステップS03において、車両情報特徴量算出部23は、現在位置センサ13によって検出された現在位置の検出値を取得する。
次に、ステップS04において、車両情報特徴量算出部23は、車両センサ14によって検出された各種車両状態量の検出値を取得する。
次に、ステップS05において、車両情報特徴量算出部23は、現在位置および各種車両状態量の検出値によって車両情報特徴量を算出する。
First, in step S01, the image feature
Next, in step S02, the image feature
Next, in step S03, the vehicle information feature
Next, in step S04, the vehicle information feature
Next, in step S05, the vehicle information feature
次に、ステップS06において、推定モデル作成部25は、推定モデル生成モードの実行が指示されているか否かを判定する。
この判定結果が「NO」の場合、推定モデル作成部25は、処理をステップS13に進める。
一方、この判定結果が「YES」の場合、推定モデル作成部25は、処理をステップS07に進める。
次に、ステップS07において、生体指標算出部24は、生体センサ15によって検出された各種生体データの検出値を取得する。
次に、ステップS08において、生体指標算出部24は、各種生体データの検出値によって生体指標を算出する。
次に、ステップS09において、心情データ生成部21は、ステアリングスイッチ11の十字キー19から出力される操作信号を取得する。
次に、ステップS10において、心情データ生成部21は、操作信号に応じて操作者の心情データを生成する。
Next, in step S06, the estimation
If the determination result is "NO", the estimation
On the other hand, if the determination result is "YES", the estimation
Next, in step S07, the biological
Next, in step S08, the biometric
Next, in step S09, the emotional
Next, in step S10, the emotional
次に、ステップS11において、推定モデル作成部25は、目的変数である操作者の心情データが、説明変数である画像特徴量ベクトル、車両情報特徴量、および生体指標の少なくとも何れかによって一意に決まるように、心情推定モデルを作成する。
次に、ステップS12において、モデルデータ記憶部26は、推定モデル作成部25によって作成された心情推定モデル、または適宜の入力値と、この入力値に対して心情推定モデルによって推定される心情推定値との組み合わせによるモデルデータを記憶する。そして、処理をエンドに進める。
Next, in step S11, the estimation
Next, in step S12, the model
また、ステップS13において、生体指標算出部24は、生体センサ15によって検出された各種生体データの検出値を取得したか否かを判定する。
この判定結果が「NO」の場合、生体指標算出部24は、処理をステップS15に進める。
一方、この判定結果が「YES」の場合、生体指標算出部24は、処理をステップS14に進める。
次に、ステップS14において、生体指標算出部24は、各種生体データの検出値から生体指標を算出する。
次に、ステップS15において、心情推定部27は、画像特徴量ベクトル、車両情報特徴量、および生体指標の少なくとも何れかに関連する心情推定値を、心情推定モデルによる推定またはモデルデータの検索によって取得する。
次に、ステップS16において、車両特性修正部28は、心情推定部27によって取得される心情推定値に応じて、車両特性を修正する。そして、処理をエンドに進める。
Further, in step S13, the biological
If the determination result is "NO", the biometric
On the other hand, when this determination result is "YES", the biometric
Next, in step S14, the biometric
Next, in step S15, the
Next, in step S16, the vehicle
以下に、車両1の実際の運転中に得られた所定の車両情報特徴量および生体指標のデータを用いて心情推定モデルを作成し、心情推定値(推定値)を推定した実施例について説明する。
この実施例において、説明変数とされる所定の車両情報特徴量および生体指標のデータは、RRI、GSR,車速、エンジン回転数、アクセル開度、ブレーキ圧力、ステアリング角度、ステアリング角速度、横加速度、前後加速度、ヨーレート、脳波シータ帯振幅、脳波アルファ帯振幅、および脳波ベータ帯振幅である。実施例では、所定の時間間隔(例えば、1秒など)で取得される各データの1分間に亘る平均値を1トライアル(試行)のデータとし、総トライアル数を126とすることによって、126分間に亘る126トライアル(試行)のデータを取得した。。実施例では、第1トライアルから第126トライアルまでの間の任意の第Nトライアル(1≦N≦126)のそれぞれにおいて、Leave one out法(1個抜き法)を用いながら、心情推定モデルによって心情推定値を推定した。図5は、126個の心情推定値と、各データの取得と同期した操作者の入力操作に応じた126個の心情実測値(実測値)とを、運転時間に応じて描画した図である。
図5によれば、心情推定値と心情実測値とは、よく一致しており、心情推定値の推定精度は高いことが認められる。
Hereinafter, an example in which a sentiment estimation model is created using predetermined vehicle information feature quantities and biometric index data obtained during actual driving of the vehicle 1 and the sentiment estimated value (estimated value) is estimated will be described. ..
In this embodiment, the predetermined vehicle information feature amount and bioindex data used as explanatory variables are RRI, GSR, vehicle speed, engine speed, accelerator opening, brake pressure, steering angle, steering angular velocity, lateral acceleration, front and rear. Acceleration, yaw rate, brain wave theta band amplitude, brain wave alpha band amplitude, and brain wave beta band amplitude. In the embodiment, the average value of each data acquired at a predetermined time interval (for example, 1 second) over 1 minute is set as 1 trial (trial) data, and the total number of trials is 126, so that the data is 126 minutes. Data of 126 trials (trials) were acquired. .. In the embodiment, in each of the arbitrary N trials (1 ≤ N ≤ 126) between the first trial and the 126th trial, the emotions are estimated by the emotion estimation model while using the Leave one out method. The estimated value was estimated. FIG. 5 is a diagram in which 126 emotional estimated values and 126 emotional measured values (measured values) corresponding to the input operation of the operator synchronized with the acquisition of each data are drawn according to the operating time. ..
According to FIG. 5, the estimated emotional value and the actually measured emotional value are in good agreement, and it is recognized that the estimated accuracy of the estimated emotional value is high.
上述したように、本実施の形態による心情推定装置10によれば、車両1の進行方向前方の撮像画像と、撮像画像に対応する実際のシーンを視認する乗員の心情とが関連付けられているので、生体情報を用いること無しに、心情の推定精度を向上させることができる。車両1の乗員が知覚する車両1の外部の情報および運転シーンの情報を心情推定に反映させることによって、心情の推定精度を向上させることができる。
さらに、ステアリングスイッチ11を用いた操作者自身の入力操作に応じて目的変数である心情データを生成するので、心情推定モデルを精度よく作成することができる。
さらに、心情の情報との直接的な関連性が高い各種の生体データを用いることによって、心情推定モデルの推定精度を向上させることができる。
As described above, according to the
Further, since the emotional data, which is the objective variable, is generated according to the input operation of the operator himself / herself using the
Furthermore, the estimation accuracy of the emotional estimation model can be improved by using various biological data having a high direct relationship with the emotional information.
以下、上述した実施形態の変形例について説明する。
上述した実施形態において、心情推定モデルの作成が完了している場合には、図6に示す変形例のように、心情データ生成部21、生体指標算出部24、および推定モデル作成部25は省略されてもよい。
この変形例において心情推定部27は、モデルデータ記憶部26に格納されている心情推定モデルまたはモデルデータを用いて、画像特徴量ベクトルまたは車両情報特徴量に関連する心情推定値を取得すればよい。
この変形例によれば、心情推定モデルの作成が完了していることに伴って、図7に示すように生体指標を省略したとしても、画像特徴量ベクトルまたは車両情報特徴量に関連する心情推定値を精度良く推定することができる。
Hereinafter, a modified example of the above-described embodiment will be described.
In the above-described embodiment, when the creation of the emotional estimation model is completed, the emotional
In this modification, the
According to this modification, as the creation of the emotion estimation model is completed, even if the biometric index is omitted as shown in FIG. 7, the emotion estimation related to the image feature vector or the vehicle information feature is estimated. The value can be estimated accurately.
なお、上述した実施形態または変形例において、推定モデル作成部25によって作成された心情推定モデルまたはモデルデータは、車両1の外部に設けられるサーバ装置に格納されてもよい。この場合、心情推定装置10は、サーバ装置と通信する通信機器を備え、サーバ装置から取得する心情推定モデルまたはモデルデータを用いて、心情推定値を取得してもよい。
In the above-described embodiment or modification, the emotion estimation model or model data created by the estimation
なお、上述した実施形態において、心情推定装置10はステアリングスイッチ11の代わりに他の入力デバイスを備えてもよい。他の入力デバイスは、例えば、スイッチ、タッチパネル、キーボード、および音声入力装置などでもよい。
In the above-described embodiment, the
本発明の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 The embodiments of the present invention are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and variations thereof are included in the scope of the invention described in the claims and the equivalent scope thereof, as are included in the scope and gist of the invention.
1…車両(移動体)、10…心情推定装置、11…ステアリングスイッチ(入力デバイス)、12…車外カメラ(画像取得部)、13…現在位置センサ、14…車両センサ、15…生体センサ(生体情報取得部)、16…車載装置、17…処理ユニット、19…十字キー、19a…第1キー、19b…第2キー、19c…第3キー、19d…第4キー、21…心情データ生成部、22…画像特徴量算出部、23…車両情報特徴量算出部、24…生体指標算出部(生体情報取得部)、25…推定モデル作成部、26…モデルデータ記憶部(データ記憶部)、27…心情推定部、28…車両特性修正部 1 ... Vehicle (moving body), 10 ... Psychological estimation device, 11 ... Steering switch (input device), 12 ... External camera (image acquisition unit), 13 ... Current position sensor, 14 ... Vehicle sensor, 15 ... Biological sensor (living body) Information acquisition unit), 16 ... In-vehicle device, 17 ... Processing unit, 19 ... Cross key, 19a ... 1st key, 19b ... 2nd key, 19c ... 3rd key, 19d ... 4th key, 21 ... Emotional data generation unit , 22 ... Image feature amount calculation unit, 23 ... Vehicle information feature amount calculation unit, 24 ... Biometric index calculation unit (biological information acquisition unit), 25 ... Estimated model creation unit, 26 ... Model data storage unit (data storage unit), 27 ... Emotion estimation department, 28 ... Vehicle characteristic correction department
Claims (4)
移動体の周辺の画像を取得する画像取得部と、
前記画像取得部によって取得される前記画像を前記機械学習モデルに入力することで前記特徴量ベクトルを算出する画像特徴量算出部と、
前記データ記憶部に記憶されている前記推定モデルに、前記画像特徴量算出部によって算出された前記特徴量ベクトルを入力することで、前記画像に関連する心情の情報を推定する心情推定部と、
を備え、
前記データ記憶部は、前記移動体の乗員の心情の情報に関する入力操作を検出する入力デバイスによって時系列的に検出される前記入力操作の累積に基づいて取得された、前記乗員の心情を前記推定モデルに関連付けて記憶することを特徴とする心情推定装置。 An estimation model that outputs emotional information when the feature quantity vector of the image output by the machine learning model is input, and a data storage unit that stores the information of the estimation model generated by multiple regression analysis.
An image acquisition unit that acquires an image of the surroundings of a moving object ,
An image feature amount calculation unit that calculates the feature amount vector by inputting the image acquired by the image acquisition unit into the machine learning model, and an image feature amount calculation unit.
An emotion estimation unit that estimates emotional information related to the image by inputting the feature amount vector calculated by the image feature amount calculation unit into the estimation model stored in the data storage unit.
Equipped with
The data storage unit estimates the emotions of the occupants acquired based on the accumulation of the input operations detected in time series by the input device that detects the input operations related to the emotional information of the occupants of the moving body. An emotional estimation device characterized in that it is associated with a model and stored .
請求項1に記載の心情推定装置。 The image acquisition unit is mounted on the moving body and acquires an image in front of the moving body in the traveling direction.
The emotional estimation device according to claim 1.
前記入力デバイスによって検出される前記入力操作に応じて、前記操作者の心情の情報を生成する心情データ生成部と、
前記心情の情報を出力とし、前記入力操作が行われたときに前記画像特徴量算出部によって算出された前記特徴量ベクトルを入力とするモデルに対して重回帰解析を行うことで前記推定モデルを作成し、前記推定モデルに関するデータを前記データ記憶部に格納する推定モデル作成部と、
を備える請求項1または請求項2に記載の心情推定装置。 An input device that detects input operations related to the operator's emotional information, and
An emotional data generation unit that generates emotional information of the operator in response to the input operation detected by the input device.
The estimation model is obtained by performing multiple regression analysis on a model that outputs the emotional information and inputs the feature amount vector calculated by the image feature amount calculation unit when the input operation is performed. An estimation model creation unit that is created and stores data related to the estimation model in the data storage unit,
The emotion estimation device according to claim 1 or 2.
前記モデルは、前記生体情報を更に入力とする、
請求項3に記載の心情推定装置。 A biometric information acquisition unit for acquiring the biometric information of the operator is provided.
The model further inputs the biometric information.
The emotional estimation device according to claim 3.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017055014A JP7025123B2 (en) | 2017-03-21 | 2017-03-21 | Emotion estimation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017055014A JP7025123B2 (en) | 2017-03-21 | 2017-03-21 | Emotion estimation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018153570A JP2018153570A (en) | 2018-10-04 |
JP7025123B2 true JP7025123B2 (en) | 2022-02-24 |
Family
ID=63715377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017055014A Active JP7025123B2 (en) | 2017-03-21 | 2017-03-21 | Emotion estimation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7025123B2 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007108134A (en) | 2005-10-17 | 2007-04-26 | Fujitsu Ten Ltd | Content data regeneration device |
JP2010152524A (en) | 2008-12-24 | 2010-07-08 | Toyota Motor Corp | Driver condition estimating device and vehicle |
JP2013228847A (en) | 2012-04-25 | 2013-11-07 | Nippon Hoso Kyokai <Nhk> | Facial expression analyzing device and facial expression analyzing program |
JP2016091166A (en) | 2014-10-31 | 2016-05-23 | カシオ計算機株式会社 | Machine learning apparatus, machine learning method, classification apparatus, classification method, and program |
JP2016146088A (en) | 2015-02-09 | 2016-08-12 | 富士ゼロックス株式会社 | Estimation device and program |
JP2016152033A (en) | 2015-02-19 | 2016-08-22 | 日本電信電話株式会社 | Difficulty estimation learning device, difficulty estimation model learning device, and device, method and program for estimating difficulty |
JP2016162109A (en) | 2015-02-27 | 2016-09-05 | パイオニア株式会社 | Mental condition guidance device, mental condition guidance method, mental condition guidance program, and recording medium |
-
2017
- 2017-03-21 JP JP2017055014A patent/JP7025123B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007108134A (en) | 2005-10-17 | 2007-04-26 | Fujitsu Ten Ltd | Content data regeneration device |
JP2010152524A (en) | 2008-12-24 | 2010-07-08 | Toyota Motor Corp | Driver condition estimating device and vehicle |
JP2013228847A (en) | 2012-04-25 | 2013-11-07 | Nippon Hoso Kyokai <Nhk> | Facial expression analyzing device and facial expression analyzing program |
JP2016091166A (en) | 2014-10-31 | 2016-05-23 | カシオ計算機株式会社 | Machine learning apparatus, machine learning method, classification apparatus, classification method, and program |
JP2016146088A (en) | 2015-02-09 | 2016-08-12 | 富士ゼロックス株式会社 | Estimation device and program |
JP2016152033A (en) | 2015-02-19 | 2016-08-22 | 日本電信電話株式会社 | Difficulty estimation learning device, difficulty estimation model learning device, and device, method and program for estimating difficulty |
JP2016162109A (en) | 2015-02-27 | 2016-09-05 | パイオニア株式会社 | Mental condition guidance device, mental condition guidance method, mental condition guidance program, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP2018153570A (en) | 2018-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6264495B1 (en) | Driver monitoring device, driver monitoring method, learning device, and learning method | |
CN106462027B (en) | Method for controlling a vehicle system in a motor vehicle | |
JP6287728B2 (en) | In-vehicle system, vehicle control device, and program for vehicle control device | |
JP7329755B2 (en) | Support method and support system and support device using the same | |
JP2017136922A (en) | Vehicle control device, on-vehicle device controller, map information generation device, vehicle control method, and on-vehicle device control method | |
JP2018060192A (en) | Speech production device and communication device | |
JP2016088497A (en) | Work capability control system | |
JP2020057139A (en) | Equipment controller | |
JP7116540B2 (en) | Driving advice device and driving advice method | |
JP7251392B2 (en) | emotion estimation device | |
JP7226197B2 (en) | vehicle controller | |
JP6552548B2 (en) | Point proposing device and point proposing method | |
US10748405B2 (en) | Driving assistance device | |
JP5380417B2 (en) | Braking device | |
JP7025123B2 (en) | Emotion estimation device | |
JP6820243B2 (en) | Vehicle, judgment method and judgment program | |
JP7068156B2 (en) | Information processing equipment and programs | |
JP7207099B2 (en) | Arithmetic device for automobile travel control and travel control system using the same | |
WO2020039994A1 (en) | Car sharing system, driving control adjustment device, and vehicle preference matching method | |
JP5688809B2 (en) | Driver state estimation device | |
JP7434715B2 (en) | Vehicle computing system | |
JP7311257B2 (en) | Eyeball information detection device, eyeball information detection method, and occupant monitoring device | |
KR20200040320A (en) | Vehicle, Control Method of the vehicle and Image tracking apparatus | |
JP2020052773A (en) | Occupant monitoring apparatus, occupant monitoring method, and occupant monitoring program | |
JP7434714B2 (en) | Vehicle computing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170510 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200127 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20200925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7025123 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |