JP2019185117A - Atmosphere estimating device - Google Patents
Atmosphere estimating device Download PDFInfo
- Publication number
- JP2019185117A JP2019185117A JP2018070978A JP2018070978A JP2019185117A JP 2019185117 A JP2019185117 A JP 2019185117A JP 2018070978 A JP2018070978 A JP 2018070978A JP 2018070978 A JP2018070978 A JP 2018070978A JP 2019185117 A JP2019185117 A JP 2019185117A
- Authority
- JP
- Japan
- Prior art keywords
- atmosphere
- unit
- place
- bad
- members
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 claims abstract description 66
- 238000004458 analytical method Methods 0.000 claims description 36
- 238000011156 evaluation Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 40
- 238000012545 processing Methods 0.000 description 35
- 239000010410 layer Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 230000006399 behavior Effects 0.000 description 16
- 230000001815 facial effect Effects 0.000 description 13
- 210000000214 mouth Anatomy 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 12
- 230000002996 emotional effect Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 9
- 230000036760 body temperature Effects 0.000 description 8
- 230000037007 arousal Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 210000001260 vocal cord Anatomy 0.000 description 3
- 206010048909 Boredom Diseases 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 206010016352 Feeling of relaxation Diseases 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、複数の人間によって醸成される場の雰囲気を推測する雰囲気推測装置に関する。 The present invention relates to an atmosphere estimation device that estimates the atmosphere of a place created by a plurality of people.
近年のＩＴ技術の進歩に伴って、コンピュータが各人を認識したり、各人が抱いている感情を推測することが行われるようになっている。これにより、従来は手作業で行っていたことがコンピュータで代替されるようになっている。 With the recent advancement of IT technology, computers recognize people and guess the feelings they have. As a result, what has been done manually is replaced by a computer.
特許文献１には、推定した感情に基づいて、よりユーザに適した情報を提示する発明が記載されている。特許文献１の要約の解決手段には、「情報提示装置の制御方法は、センサにより取得した物理量に基づいてユーザが抱いている感情を推定し（Ｓ１０２）、センサにより取得した物理量、又は、情報提示装置が備える提示部によりユーザに提示した情報に基づいて、ユーザに、推定した感情を引き起こした対象を特定する特定情報を生成し（Ｓ１０４）、推定した感情と、生成した特定情報とを用いた所定の処理を実行することで取得した情報を用いて、情報提示装置による提示を制御する（Ｓ１０５）。」と記載されている。 Patent Document 1 describes an invention that presents information more suitable for a user based on an estimated emotion. As a means for solving the summary of Patent Document 1, “the control method of the information presentation apparatus estimates the emotion held by the user based on the physical quantity acquired by the sensor (S102), and the physical quantity acquired by the sensor or information Based on the information presented to the user by the presentation unit provided in the presentation device, specific information for identifying the target that caused the estimated emotion is generated for the user (S104), and the estimated emotion and the generated specific information are used. "Presentation by the information presenting apparatus is controlled using information acquired by executing the predetermined processing (S105)."
特許文献１に記載されている発明は、一人の人間に適した情報を提示するには有効である。しかし、車両内や家庭内に複数の人間が居るときに、これら複数の人間によって醸成される場の雰囲気を推測したり、この場の雰囲気に応じた情報を提示することはできない。 The invention described in Patent Document 1 is effective for presenting information suitable for one person. However, when there are a plurality of persons in a vehicle or in a home, it is impossible to estimate the atmosphere of a place created by these persons or present information according to the atmosphere of the place.
そこで、本発明は、複数の人間によって醸成される場の雰囲気を推測することを課題とする。 Then, this invention makes it a subject to guess the atmosphere of the place fostered by several people.
本発明は、上記目的を達成するため、複数の構成員を含んだ場を撮影するカメラと、
前記場の音声を収録するマイクと、前記カメラで撮影した画像と前記マイクで収録した音声から、各構成員の行動と感情を分析する分析部と、一の構成員の行動後に他の構成員の不快度が上がった場合、および、前記複数の構成員の相互関係が希薄な場合に、前記場の雰囲気が悪いと推測する推測部と、前記推測部が推測した前記場の雰囲気が悪い場合には、当該場の雰囲気の悪さを解消するための推奨項目を提示する推奨部と、を備えることを特徴とする雰囲気推測装置である。
In order to achieve the above object, the present invention provides a camera for photographing a place including a plurality of members,
A microphone that records the sound of the field, an analysis unit that analyzes the behavior and emotion of each member from the image captured by the camera and the sound that is recorded by the microphone, and another member after the action of one member When the degree of discomfort increases, and when the interrelationship of the plurality of members is sparse, the estimation part that estimates that the atmosphere of the field is bad, and the atmosphere of the field that is estimated by the estimation part is poor Is an atmosphere estimation device comprising a recommendation unit that presents recommended items for eliminating the bad atmosphere of the place.
本発明によれば、複数の人間によって醸成される場の雰囲気を推測することが可能となる。 According to the present invention, it is possible to estimate the atmosphere of a place created by a plurality of people.
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
図１は、本実施形態におけるシステムの概略を示す構成図である。
このシステムは、車両３と自宅２に設置された各種機器が、クラウドサーバ１と相互に通信可能に接続されて構成される。
Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
FIG. 1 is a configuration diagram showing an outline of a system in the present embodiment.
This system is configured by connecting various devices installed in the vehicle 3 and the home 2 to the cloud server 1 so that they can communicate with each other.
車両３は、ナビゲーション装置３０が設置され、この車両３のエンジンなどを制御する電子制御ユニット４３とＣＡＮ（Controller Area Network）を介して接続されている。ナビゲーション装置３０は、スマートフォン５を介してネットワークＮ上のクラウドサーバ１と相互に通信可能である。このナビゲーション装置３０には、マイク３１、カメラ３２、ディスプレイモニタ３３、スピーカ３４が接続されている。
なお、ナビゲーション装置３０自体がネットワーク通信機能を持ち、ネットワークＮ上のクラウドサーバ１と相互に通信可能であってもよく、限定されない。
The vehicle 3 is provided with a navigation device 30 and is connected to an electronic control unit 43 that controls the engine of the vehicle 3 and the like via a CAN (Controller Area Network). The navigation device 30 can communicate with the cloud server 1 on the network N via the smartphone 5. A microphone 31, a camera 32, a display monitor 33, and a speaker 34 are connected to the navigation device 30.
The navigation device 30 itself may have a network communication function and can communicate with the cloud server 1 on the network N, and is not limited.
マイク３１は、音声を収録するものである。カメラ３２は、この車両３の各乗員を撮影するものである。ディスプレイモニタ３３には、視覚情報の表示手段であり、文字や図形や写真や映像などが表示される。スピーカ３４は、聴覚情報の報知手段であり、音声や音楽などが報知される。 The microphone 31 records audio. The camera 32 photographs each occupant of the vehicle 3. The display monitor 33 is a means for displaying visual information, and displays characters, figures, photos, videos, and the like. The speaker 34 is a means for notifying auditory information, and notifies voice, music, and the like.
車両３の各シートには、シート調整機構４１が設けられ、ナビゲーション装置３０により任意のシートポジションにセット可能である。各シートには更に心拍センサ３７１と体温センサ３７２が設けられ、各乗員のライフログとしての生体情報をセンシング可能である。車両３には、人感センサ３６１、温湿度センサ３６２、照度センサ３６３が設けられており、この車両３の内部環境をセンシングすることができる。車両３には、空調機４２が設けられており、車両３内部の温度と湿度を調和可能である。
この車両３において、ナビゲーション装置３０は、複数の人間によって醸成される場の雰囲気を推測する機能を有する。
Each seat of the vehicle 3 is provided with a seat adjustment mechanism 41 and can be set to an arbitrary seat position by the navigation device 30. Each seat is further provided with a heart rate sensor 371 and a body temperature sensor 372, and can sense biological information as a life log of each occupant. The vehicle 3 is provided with a human sensor 361, a temperature / humidity sensor 362, and an illuminance sensor 363. The internal environment of the vehicle 3 can be sensed. The vehicle 3 is provided with an air conditioner 42, and the temperature and humidity inside the vehicle 3 can be harmonized.
In the vehicle 3, the navigation device 30 has a function of estimating the atmosphere of a place created by a plurality of people.
自宅２にはゲートウェイ２０、テレビ２１、カメラ２２、スマートスピーカ２３が設置されている。自宅２には更に、空調機２４、人感センサ２６１、温湿度センサ２６２、照度センサ２６３が設置されている。テレビ２１やスマートスピーカ２３は、ゲートウェイ２０を介してクラウドサーバ１と相互に通信可能に接続される。この自宅２において、スマートスピーカ２３は、ナビゲーション装置３０と同様に、複数の人間によって醸成される場の雰囲気を推測する機能を有する。
以下、ナビゲーション装置３０を例に、雰囲気推測装置としての構成と動作を説明するが、自宅２におけるスマートスピーカ２３も同様に、雰囲気推測装置として動作可能である。
At home 2, a gateway 20, a television 21, a camera 22, and a smart speaker 23 are installed. The home 2 is further provided with an air conditioner 24, a human sensor 261, a temperature / humidity sensor 262, and an illuminance sensor 263. The television 21 and the smart speaker 23 are connected to the cloud server 1 via the gateway 20 so as to communicate with each other. In this home 2, the smart speaker 23 has a function of estimating the atmosphere of a place fostered by a plurality of people, like the navigation device 30.
Hereinafter, the configuration and operation of the atmosphere estimation device will be described by taking the navigation device 30 as an example, but the smart speaker 23 at home 2 can similarly operate as the atmosphere estimation device.
図２は、ルームミラー付近に設置されたカメラ３２で撮影された車両３の内部画像の一例を示す図である。
この内部画像には２名の乗員が撮影されている。これら２名の乗員は、それぞれ前部シート４に着座している。なお、図の左側の乗員は運転者である。このように、カメラ３２によれば、各前部シート４に着座している乗員を撮影することができる。しかし、これに限られず、カメラ３２は、後部シート４Ｂに着座する乗員も撮影可能である。
各前部シート４には、図１に示すシート調整機構４１が組み込まれている。更に前部シート４と後部シート４Ｂには、心拍センサ３７１と体温センサ３７２が設置されており、各乗員の生体情報をリアルタイムにセンシング可能である。
FIG. 2 is a diagram illustrating an example of an internal image of the vehicle 3 photographed by the camera 32 installed in the vicinity of the room mirror.
Two passengers are photographed in this internal image. These two passengers are each seated on the front seat 4. The passenger on the left side of the figure is a driver. Thus, according to the camera 32, the passenger | crew who seated on each front seat 4 can be image | photographed. However, the present invention is not limited to this, and the camera 32 can also photograph a passenger sitting on the rear seat 4B.
A seat adjustment mechanism 41 shown in FIG. 1 is incorporated in each front seat 4. Furthermore, a heart rate sensor 371 and a body temperature sensor 372 are installed on the front seat 4 and the rear seat 4B, and the biological information of each occupant can be sensed in real time.
図３は、車両３に設置されたカメラ３２とディスプレイモニタ３３の外観図である。
車両３のダッシュボードには、ナビゲーション装置３０が装着されており、その前面にディスプレイモニタ３３が張り出すように設置されている。
FIG. 3 is an external view of the camera 32 and the display monitor 33 installed in the vehicle 3.
A navigation device 30 is mounted on the dashboard of the vehicle 3, and a display monitor 33 is installed on the front surface of the navigation device 30.
図４は、ルームミラー付近に設置されたカメラ３２を示す図である。
ルームミラー３５は、車内の中心上部に設置されている。ルームミラー３５の中央下部には、カメラ３２が設置されている。このように、ルームミラー３５の付近にカメラ３２が設置されているので、ナビゲーション装置３０は、前部シート４と後部シート４Ｂに着座している乗員を容易に検知可能である。
FIG. 4 is a diagram showing the camera 32 installed in the vicinity of the room mirror.
The room mirror 35 is installed at the center upper part in the vehicle. A camera 32 is installed at the center lower part of the room mirror 35. Thus, since the camera 32 is installed in the vicinity of the room mirror 35, the navigation device 30 can easily detect the occupant seated on the front seat 4 and the rear seat 4B.
図５は、ナビゲーション装置３０の構成と動作を示す図である。
ナビゲーション装置３０は、マイク３１とカメラ３２、心拍センサ３７１と体温センサ３７２、人感センサ３６１と温湿度センサ３６２と照度センサ３６３に電気的に接続されている。
このナビゲーション装置３０は、各種センサ情報を取得して各乗員を個人認証し、この乗員の感情と行動とから雰囲気を推測する。更にナビゲーション装置３０は、場の雰囲気を推測して、推測した場の雰囲気が悪いときには、それを解消するような推奨情報を各乗員に提示する。
FIG. 5 is a diagram illustrating the configuration and operation of the navigation device 30.
The navigation device 30 is electrically connected to a microphone 31 and a camera 32, a heart rate sensor 371 and a body temperature sensor 372, a human sensor 361, a temperature and humidity sensor 362, and an illuminance sensor 363.
The navigation device 30 acquires various sensor information, personally authenticates each occupant, and estimates an atmosphere from the occupant's emotions and actions. Further, the navigation device 30 estimates the atmosphere of the place, and when the estimated atmosphere of the place is bad, the navigation apparatus 30 presents each occupant with recommended information for eliminating the situation.
ナビゲーション装置３０は、個人音声検出部６１１、音声特徴量算出部６１２、画像処理部６２１、画像特徴量算出部６２２、生体情報パターン算出部６９１、運転パターン算出部６９２を備えている。更にナビゲーション装置３０は、個人認証部６３、感情分析部６４、行動分析部６５、雰囲気推測部６６、推奨部６７、通信部６８、コンテンツ評価データベース６７１を備えている。 The navigation device 30 includes a personal voice detection unit 611, a voice feature amount calculation unit 612, an image processing unit 621, an image feature amount calculation unit 622, a biological information pattern calculation unit 691, and a driving pattern calculation unit 692. The navigation device 30 further includes a personal authentication unit 63, an emotion analysis unit 64, a behavior analysis unit 65, an atmosphere estimation unit 66, a recommendation unit 67, a communication unit 68, and a content evaluation database 671.
個人音声検出部６１１は、マイク３１が集音した音声データを取得して、この音声データに対してスペクトログラム（Spectrogram）の信号処理を行って声紋を得る。処理結果である声紋は、音声特徴量算出部６１２、個人認証部６３、感情分析部６４、行動分析部６５に出力される。音声特徴量算出部６１２は、声紋を機械学習して、この音声データに係る特徴量を算出する。この特徴量は、個人認証部６３と感情分析部６４に出力される。個人音声検出部６１１の処理結果である声紋の例を、後記する図９に示す。 The personal voice detection unit 611 obtains voice data collected by the microphone 31 and performs spectrogram signal processing on the voice data to obtain a voiceprint. The voice print as the processing result is output to the voice feature amount calculation unit 612, the personal authentication unit 63, the emotion analysis unit 64, and the behavior analysis unit 65. The voice feature amount calculation unit 612 performs machine learning on the voiceprint and calculates a feature amount related to the voice data. This feature amount is output to the personal authentication unit 63 and the emotion analysis unit 64. An example of a voice print which is a processing result of the personal voice detection unit 611 is shown in FIG.
画像処理部６２１は、カメラ３２が撮像した画像データを取得して、顔領域を検出する処理や、顔のうち両目、鼻、口の両端などの三次元座標を検出する処理を行い、画像データの処理結果を画像特徴量算出部６２２、個人認証部６３に出力する。画像特徴量算出部６２２は、処理結果である各部の三次元座標を機械学習して、この画像データに係る特徴量を算出し、この特徴量を個人認証部６３、感情分析部６４、行動分析部６５に出力する。画像処理部６２１の処理結果である各部の三次元座標の例を、後記する図１０に示す。画像処理部６２１は、顔領域を検出する機能だけではなく、視線を検出する機能や、顔の向きを検出する機能も有している。これにより、誰が誰に話し掛けたのかを容易に判定可能であり、場の雰囲気の推定に役立てることができる。 The image processing unit 621 acquires image data captured by the camera 32 and performs processing for detecting a face region and processing for detecting three-dimensional coordinates such as both eyes, nose, and both ends of the mouth of the face. Are output to the image feature amount calculation unit 622 and the personal authentication unit 63. The image feature quantity calculation unit 622 performs machine learning on the three-dimensional coordinates of each part, which is a processing result, and calculates a feature quantity related to the image data. The feature quantity is used as a personal authentication unit 63, an emotion analysis unit 64, and a behavior analysis. To the unit 65. An example of the three-dimensional coordinates of each unit, which is the processing result of the image processing unit 621, is shown in FIG. The image processing unit 621 has not only a function of detecting a face area but also a function of detecting a line of sight and a function of detecting a face direction. Thereby, it is possible to easily determine who talked to whom, and it can be used for estimating the atmosphere of the place.
生体情報パターン算出部６９１は、心拍センサ３７１がセンシングした心拍データ（生体情報の一例）と、体温センサ３７２がセンシングした体温データ（生体情報の一例）を取得して、これら生体情報のパターンを分析する。分析した生体情報パターンは、個人認証部６３と行動分析部６５と個人認証部６３に出力される。 The biological information pattern calculation unit 691 acquires heart rate data (an example of biological information) sensed by the heart rate sensor 371 and body temperature data (an example of biological information) sensed by the body temperature sensor 372, and analyzes the patterns of the biological information. To do. The analyzed biometric information pattern is output to the personal authentication unit 63, the behavior analysis unit 65, and the personal authentication unit 63.
運転パターン算出部６９２は、電子制御ユニット４３から出力されるＣＡＮデータから運転パターンを算出する。ＣＡＮデータは、例えば車速、ブレーキ、アクセル開度、ハンドル切れ角、ドア開閉などの操作情報を含んでいる。運転パターン算出部６９２が算出した運転パターンにより、運転手である乗員の行動や感情を知ることができる。 The operation pattern calculation unit 692 calculates an operation pattern from the CAN data output from the electronic control unit 43. The CAN data includes operation information such as vehicle speed, brake, accelerator opening, steering angle, and door opening / closing. Based on the driving pattern calculated by the driving pattern calculation unit 692, it is possible to know the behavior and emotion of the driver who is the driver.
感情分析部６４は、声紋およびこの声紋から算出した特徴量、顔の三次元像およびこの顔の三次元像から算出した特徴量、並びに生体情報パターンおよび運転パターンに基づいて、各乗員の感情を分析する。感情分析部６４は更に、温湿度センサ３６２や照度センサ３６３がセンシングした環境情報による感情の傾向を加味する。これにより、単一のセンサでセンシングしたデータから感情を分析するよりも次元数が多くなるので、感情の分析精度を向上させることができる。感情分析部６４は、分析した感情空間の座標値を雰囲気推測部６６に出力する。 The emotion analysis unit 64 analyzes the emotion of each occupant based on the voiceprint and the feature amount calculated from the voiceprint, the feature amount calculated from the three-dimensional image of the face and the three-dimensional image of the face, and the biological information pattern and the driving pattern. analyse. The emotion analysis unit 64 further considers the tendency of emotions based on the environmental information sensed by the temperature / humidity sensor 362 and the illuminance sensor 363. Thereby, since the number of dimensions is larger than that of analyzing emotion from data sensed by a single sensor, it is possible to improve emotion analysis accuracy. The emotion analysis unit 64 outputs the analyzed coordinate value of the emotion space to the atmosphere estimation unit 66.
行動分析部６５は、声紋およびこの声紋から算出した特徴量、顔の三次元像およびこの顔の三次元像から算出した特徴量、並びに生体情報パターンおよび運転パターンに基づいて、各乗員の行動を分析する。これにより、単一のセンサでセンシングしたデータから感情を分析するよりも次元数が多くなるので、行動の分析精度を向上させることができる。行動分析部６５は、分析結果として例えば「発声」、「ジェスチャ」、「急ブレーキ」などの行動を雰囲気推測部６６に出力する。 The behavior analysis unit 65 performs the behavior of each occupant based on the voiceprint and the feature amount calculated from the voiceprint, the feature amount calculated from the three-dimensional image of the face and the three-dimensional image of the face, and the biological information pattern and the driving pattern. analyse. This increases the number of dimensions compared to analyzing emotions from data sensed by a single sensor, thereby improving behavioral analysis accuracy. The behavior analysis unit 65 outputs behaviors such as “speech”, “gesture”, and “sudden braking” to the atmosphere estimation unit 66 as analysis results.
個人認証部６３は、音声データの処理結果、画像データの処理結果、生体情報パターン、分析した運転パターンをどのように組み合わせられるか判定し、この判定に基づいて音声の特徴量、画像の特徴量、生体データの特徴量、運転パターンを組み合わせる。個人認証部６３は更に、組み合わせた複数の特徴量を、不図示の記憶部に格納された各個人の特徴点と比較して、各センサによって捉えられた乗員が誰であるかを認証する。このように、乗員が誰であるかを認証する処理を、個人認証という。 The personal authentication unit 63 determines how the voice data processing result, the image data processing result, the biometric information pattern, and the analyzed driving pattern can be combined. Based on this determination, the voice feature amount and the image feature amount are combined. Combine biometric features and driving patterns. The personal authentication unit 63 further compares the combined feature quantities with the individual feature points stored in a storage unit (not shown) to authenticate who the occupant is captured by each sensor. Processing for authenticating who the occupant is in this way is called personal authentication.
雰囲気推測部６６は、個人認証部６３が判定した乗員と、感情分析部６４が分析した複数の乗員の感情によって形成される「場の雰囲気」を推測する。
推奨部６７は、場の雰囲気が悪い場合には、それを解消して場の雰囲気を良くするためにコンテンツを推奨する。
ナビゲーション装置３０は更に、通信部６８、コンテンツ評価データベース６７１を備えている。
The atmosphere estimation unit 66 estimates the “field atmosphere” formed by the passengers determined by the personal authentication unit 63 and the emotions of a plurality of passengers analyzed by the emotion analysis unit 64.
If the atmosphere of the place is bad, the recommendation unit 67 recommends the content in order to eliminate it and improve the atmosphere of the place.
The navigation device 30 further includes a communication unit 68 and a content evaluation database 671.
コンテンツ評価データベース６７１には、推奨部６７が推奨したコンテンツの選択結果を、このコンテンツの評価として格納するデータベースである。これにより推奨部６７は、より適切なコンテンツを推奨できるようになる。
推奨部６７は、例えば、ディスプレイモニタ３３やスピーカ３４により、推奨する音楽コンテンツや映像コンテンツのタイトルなどを報知したり、これら音楽／映像コンテンツの再生を開始したりする。推奨部６７は、シート調整機構４１を適宜調整するというコンテンツを推奨して、該当する乗員をリラックスさせる。また推奨部６７は、空調機４２を適宜運転させて、この車両３の乗員の快適度を向上させる。
The content evaluation database 671 is a database that stores the content selection result recommended by the recommendation unit 67 as an evaluation of this content. As a result, the recommendation unit 67 can recommend more appropriate content.
For example, the recommendation unit 67 notifies the recommended music content, the title of the video content, and the like through the display monitor 33 and the speaker 34, and starts the reproduction of the music / video content. The recommendation unit 67 recommends the content of appropriately adjusting the seat adjustment mechanism 41 and relaxes the corresponding occupant. Moreover, the recommendation part 67 operates the air conditioner 42 suitably, and improves the passenger | crew's comfort level of this vehicle 3. FIG.
通信部６８は、例えばWi-Fi方式で外部と通信するネットワーク・インタフェースであり、運転者である乗員が有するスマートフォン５との間で、相互に情報を通信するためのものである。通信部６８およびスマートフォン５上で実行されるアプリケーションにより、コンテンツ評価データベース６７１の内容をクラウドサーバ１と同期させることができる。
なお、これに限られず通信部６８は、例えばBluetooth（登録商標）など、任意の通信方式で通信してもよい。通信部６８は、例えば通信キャリアとの間で直接に通信を行い、コンテンツ評価データベース６７１の内容をクラウドサーバ１と同期させてもよい。
The communication unit 68 is a network interface that communicates with the outside using, for example, the Wi-Fi method, and is used for communicating information with the smartphone 5 of the occupant who is the driver. The contents of the content evaluation database 671 can be synchronized with the cloud server 1 by an application executed on the communication unit 68 and the smartphone 5.
Note that the communication unit 68 is not limited to this, and may communicate with any communication method such as Bluetooth (registered trademark). The communication unit 68 may directly communicate with a communication carrier, for example, and synchronize the contents of the content evaluation database 671 with the cloud server 1.
図６は、ナビゲーション装置３０による場の雰囲気の推測処理を示すフローチャートである。
ナビゲーション装置３０において、個人認証部６３は、カメラ３２で撮影した顔画像と、マイク３１で収録した音声の音紋に基づいて乗員であるメンバを認証する（ステップＳ１０）。ここで個人認証部６３は、顔画像の口の動きと音声の有無とを関連づけて、どの乗員が発話した音声であるかを検知する。
FIG. 6 is a flowchart showing a field atmosphere estimation process performed by the navigation device 30.
In the navigation device 30, the personal authentication unit 63 authenticates a member who is an occupant based on the face image photographed by the camera 32 and the sound pattern of the voice recorded by the microphone 31 (step S10). Here, the personal authentication unit 63 correlates the movement of the mouth of the face image with the presence or absence of sound, and detects which occupant spoke the sound.
次に感情分析部６４は、画像と音声に基づいて運転者と同乗者の感情を分析し、ＣＡＮデータに基づいて運転者の感情を分析する（ステップＳ１１）。運転者の感情分析のため、運転パターン算出部６９２は、この車両３の電子制御ユニット４３からＣＡＮデータを取得し、ＣＡＮデータに含まれる車速・ブレーキ・アクセル開度・ハンドル切れ角などから運転パターンを算出する。運転パターン算出部６９２が特に算出すべき運転パターンは、急ブレーキと急ハンドルである。これにより、他の乗員の不快度が増し、よって場の雰囲気が悪化することが考えられるためである。
雰囲気推測部６６は、メンバの動作に対する他のメンバの感情変化により、メンバ相互の関係性を推測する（ステップＳ１２）。ここでメンバ相互の関係性とは、例えば後記する図１９から図２１に示したものである。
Next, the emotion analysis unit 64 analyzes the driver's and passenger's emotions based on the images and sounds, and analyzes the driver's emotions based on the CAN data (step S11). In order to analyze the driver's feelings, the driving pattern calculation unit 692 acquires CAN data from the electronic control unit 43 of the vehicle 3 and determines the driving pattern from the vehicle speed, brake, accelerator opening, steering angle, etc. included in the CAN data. Is calculated. The driving patterns that the driving pattern calculation unit 692 should particularly calculate are sudden braking and sudden steering. This is because it is considered that the discomfort level of other passengers increases, and the atmosphere of the field deteriorates accordingly.
The atmosphere estimation unit 66 estimates the relationship between members based on the emotional change of other members with respect to the member's motion (step S12). Here, the relationship between members is, for example, that shown in FIGS. 19 to 21 described later.
雰囲気推測部６６は、メンバ相互の関係性から場の雰囲気を推測する。
ステップＳ１４において、推奨部６７は、場の雰囲気が良好であれば（Ｙｅｓ）、再生中のコンテンツにメンバと紐付けした正の評価値を付与したのち（ステップＳ１５）、ステップＳ１０の処理に戻る。推奨部６７は、場の雰囲気が良好でなければ（ステップＳ１４→Ｎｏ）、ステップＳ１６の処理に進む。
The atmosphere estimation unit 66 estimates the atmosphere of the place from the relationship between members.
In step S14, if the atmosphere of the place is good (Yes), the recommendation unit 67 assigns a positive evaluation value associated with the member to the content being played back (step S15), and then returns to the process of step S10. . If the atmosphere of the place is not good (step S14 → No), the recommendation unit 67 proceeds to the process of step S16.
ステップＳ１６において、推奨部６７は、コンテンツが中断されたならば（Ｎｏ）、中断したメンバとコンテンツを紐付けした負の評価値を付与し（ステップＳ１７）、ステップＳ１０の処理に戻る。推奨部６７は、コンテンツが中断されていないならば（ステップＳ１６→Ｎｏ）、ステップＳ１８の処理に進む。 In step S16, if the content is interrupted (No), the recommendation unit 67 assigns a negative evaluation value that links the interrupted member and the content (step S17), and returns to the process of step S10. If the content is not interrupted (step S16 → No), the recommendation unit 67 proceeds to the process of step S18.
推奨部６７は、場の雰囲気が悪くないならば（ステップＳ１８→Ｎｏ）、ステップＳ１０の処理に戻る。推奨部６７は、場の雰囲気が悪いならば（ステップＳ１８→Ｙｅｓ）、ステップＳ１９の処理に進む。 If the atmosphere of the place is not bad (step S18 → No), the recommendation unit 67 returns to the process of step S10. If the atmosphere of the place is bad (step S18 → Yes), the recommendation unit 67 proceeds to the process of step S19.
ステップＳ１９において、推奨部６７は、ディスプレイモニタ３３への視線を検知していないならば（Ｎｏ）、ステップＳ１０の処理に戻る。推奨部６７は、ディスプレイモニタ３３への視線を検知したならば（Ｙｅｓ）、ステップＳ２０の処理に進む。つまり推奨部６７は、場の雰囲気が悪く（ステップＳ１８→Ｙｅｓ）、かつディスプレイモニタ３３への視線を検知したならば（ステップＳ１９→Ｙｅｓ）、ステップＳ２０の処理に進む。 In step S19, if the recommendation unit 67 does not detect the line of sight to the display monitor 33 (No), the recommendation unit 67 returns to the process of step S10. If the recommendation unit 67 detects a line of sight to the display monitor 33 (Yes), the recommendation unit 67 proceeds to the process of step S20. That is, if the atmosphere of the place is bad (step S18 → Yes) and the line of sight to the display monitor 33 is detected (step S19 → Yes), the recommendation unit 67 proceeds to the process of step S20.
ステップＳ２０において、推奨部６７は、場の雰囲気が悪いことの主要因が、特定者の雰囲気が悪いことによるのか否かを判定する。
推奨部６７は、特定者の雰囲気が悪いならば（ステップＳ２０→Ｙｅｓ）、この特定者が好むコンテンツを推奨するか、またはこの特定者が好むシートポジションを推奨し（ステップＳ２２）、ステップＳ２３の処理に進む。推奨部６７は、コンテンツ評価データベース６７１を参照して、この特定者が好むコンテンツを特定する。
In step S <b> 20, the recommendation unit 67 determines whether or not the main factor that the atmosphere of the place is bad is due to the bad atmosphere of the specific person.
If the atmosphere of the specific person is bad (step S20 → Yes), the recommendation unit 67 recommends the content preferred by the specific person or recommends the sheet position preferred by the specific person (step S22). Proceed to processing. The recommendation unit 67 refers to the content evaluation database 671 and identifies content that the specific person likes.
推奨部６７は、特定者の雰囲気が悪いのではなかったならば（ステップＳ２０→Ｎｏ）、メンバ全体が好むコンテンツを推奨するか、またはメンバ全体に対して好みのシートポジションを推奨し（ステップＳ２１）、ステップＳ２３の処理に進む。推奨部６７は、コンテンツ評価データベース６７１を参照して、メンバ全体が好むコンテンツを特定する。なお、推奨部６７は、メンバ全体が好むコンテンツに限られず、メンバのいずれもが負の評価をしていないコンテンツを特定してもよく、限定されない。 If the atmosphere of the specific person is not bad (step S20 → No), the recommendation unit 67 recommends the content preferred by the whole member or recommends a preferred sheet position for the whole member (step S21). ), The process proceeds to step S23. The recommendation unit 67 refers to the content evaluation database 671 and identifies content that the entire member likes. Note that the recommendation unit 67 is not limited to content that is favored by all members, but may be content that is not negatively evaluated by any member, and is not limited.
ステップＳ２３において、推奨部６７は、選択または非選択の結果に応じた評価値をコンテンツに付与し、ステップＳ１０の処理に戻る。ここで推奨部６７は、コンテンツ評価データベース６７１の評価値を、選択または非選択の結果に応じた評価値に書き換える。 In step S23, the recommendation unit 67 gives an evaluation value corresponding to the result of selection or non-selection to the content, and returns to the process of step S10. Here, the recommendation unit 67 rewrites the evaluation value in the content evaluation database 671 to an evaluation value corresponding to the selection or non-selection result.
図７は、コンテンツ評価データベース６７１の一例を示す図である。
コンテンツ評価データベース６７１は、コンテンツ名欄と、メンバ欄と、評価値欄を含んでいる。コンテンツ評価データベース６７１が管理するコンテンツは、ここでは音楽と映画である。なお、コンテンツは音楽と映画に限定されず、静止画やテキスト情報などであってもよい。
FIG. 7 is a diagram illustrating an example of the content evaluation database 671.
The content evaluation database 671 includes a content name column, a member column, and an evaluation value column. The contents managed by the content evaluation database 671 are here music and movies. Note that the content is not limited to music and movies, and may be still images, text information, and the like.
コンテンツ名欄は、このコンテンツの名称を格納する欄である。メンバ欄は、このコンテンツを評価したメンバ情報を格納する欄である。評価値欄は、このコンテンツをこのメンバがどのように評価したかを示す欄である。 The content name column is a column for storing the name of this content. The member column is a column for storing member information for evaluating this content. The evaluation value column is a column indicating how this member has evaluated this content.
このコンテンツ評価データベース６７１によれば、音楽「Ｇ線上のアリア」は、ＡさんとＢさんが肯定的な評価をしている。Ｃさんの評価は存在しない。このとき推奨部６７は、ＡさんとＢさんとＣさんからなるグループに対して、このコンテンツを推奨する。
これに対して音楽「新世界より」は、Ａさんが否定的な評価をしているため、メンバ全体が好むコンテンツとはならない。このとき推奨部６７は、ＡさんとＢさんとＣさんからなるグループに対して、このコンテンツを推奨しない。
According to the content evaluation database 671, the music “Aria on the G line” is positively evaluated by Mr. A and Mr. B. There is no evaluation of Mr. C. At this time, the recommendation unit 67 recommends this content to the group including Mr. A, Mr. B, and Mr. C.
On the other hand, the music “From the New World” is not the content that the whole member likes because Mr. A has a negative evaluation. At this time, the recommendation unit 67 does not recommend this content to the group including Mr. A, Mr. B, and Mr. C.
また、映画「ローマの休日」は、ＡさんとＢさんが肯定的な評価をしている。Ｃさんの評価は存在しない。このとき推奨部６７は、ＡさんとＢさんとＣさんからなるグループに対して、このコンテンツを推奨する。
これに対して、映画「風と共に去りぬ」は、Ｂさんが否定的な評価をしているため、メンバ全体が好むコンテンツとはならない。このとき推奨部６７は、ＡさんとＢさんとＣさんからなるグループに対して、このコンテンツを推奨しない。
Also, the movie “Roman Holiday” is positively evaluated by Mr. A and Mr. B. There is no evaluation of Mr. C. At this time, the recommendation unit 67 recommends this content to the group including Mr. A, Mr. B, and Mr. C.
On the other hand, the movie “Gone with the Wind” is not the content preferred by the whole member because Mr. B has a negative evaluation. At this time, the recommendation unit 67 does not recommend this content to the group including Mr. A, Mr. B, and Mr. C.
このように、コンテンツ評価データベース６７１には、各コンテンツに対して、どのメンバがどのような評価をしているかが格納されているので、場を構成するメンバに好適なコンテンツを容易に選択可能である。 In this way, the content evaluation database 671 stores which member is evaluating what kind of content, so that it is possible to easily select content suitable for the members constituting the place. is there.
図８は、ナビゲーション装置３０が声紋特徴量と顔特徴量と運転パターンとを算出するためのフローチャートである。この処理は、図６に示したステップＳ１０の処理を詳細に説明したものである。
以下の個人認証処理において、ステップＳ３０〜Ｓ３４の音声に係る処理と、ステップＳ４０〜Ｓ４５の画像に係る処理とは、並行に行われる。
FIG. 8 is a flowchart for the navigation device 30 to calculate a voiceprint feature value, a face feature value, and a driving pattern. This process is a detailed description of the process in step S10 shown in FIG.
In the following personal authentication process, the process related to the sound in steps S30 to S34 and the process related to the image in steps S40 to S45 are performed in parallel.
《音声処理》
最初、個人音声検出部６１１は、マイク３１が集音した音声を取得する（ステップＳ３０）。個人音声検出部６１１は、カメラ３２が撮像した画像からメンバの口が動いていないときの音声を無音化する（ステップＳ３１）。カメラ３２が撮像した画像からメンバの口の動きを検出する処理は、後記する画像処理のステップＳ４３において行われる。次いで、個人音声検出部６１１は、音声信号にスペクトログラム信号処理を行い、声紋を算出する（ステップＳ３２）。
《Sound processing》
First, the personal voice detection unit 611 acquires the voice collected by the microphone 31 (step S30). The personal voice detection unit 611 silences the voice when the member's mouth is not moving from the image captured by the camera 32 (step S31). The process of detecting the movement of the member's mouth from the image captured by the camera 32 is performed in step S43 of the image process described later. Next, the personal voice detection unit 611 performs spectrogram signal processing on the voice signal to calculate a voiceprint (step S32).
次いで、個人音声検出部６１１は、声紋が人の声を含むか否かを判定する（ステップＳ３３）。声紋が人の声を含むか否かは、例えば声の大きさなどで判定できる。個人音声検出部６１１が声を検出できたならば、音声特徴量算出部６１２は、この声紋から特徴量を算出する（ステップＳ３４）。これにより、人の声ではない雑音から特徴量を算出してしまうことを抑止可能である。 Next, the personal voice detection unit 611 determines whether or not the voiceprint includes a human voice (step S33). Whether or not the voiceprint includes a human voice can be determined by, for example, the volume of the voice. If the personal voice detection unit 611 can detect a voice, the voice feature value calculation unit 612 calculates a feature value from this voiceprint (step S34). Thereby, it is possible to prevent the feature amount from being calculated from noise that is not a human voice.
音声特徴量算出部６１２が算出する特徴量とは、例えば各声の連続時間、各周波数における相対強度など、複数の次元によって構成される。 The feature amount calculated by the speech feature amount calculation unit 612 is configured by a plurality of dimensions such as the continuous time of each voice and the relative intensity at each frequency.
《画像処理》
最初、画像処理部６２１は、カメラ３２が撮像した画像を取得する（ステップＳ４０）。カメラ３２は１秒間６０フレームで撮像する。画像処理部６２１は、これら撮影された各フレームの画像を１／６０秒ごとに取得する。
画像処理部６２１は、取得した画像が顔画像を含むか否かを判定し（ステップＳ４１）、顔画像を検出する。次いで画像処理部６２１（画像特定手段）は、顔を構成する各部位の三次元相対座標を算出し（ステップＳ４２）、更に時間的に連続した画像から、口周辺の三次元相対座標の動きを算出し、よって口の動きを検出する（ステップＳ４３）。口の動きの情報は、個人音声検出部６１１に出力されると共に、後記する顔画像と声との対応づけに用いられる。更に画像処理部６２１は、皮膚のしわやしみの三次元相対座標を算出する（ステップＳ４４）。これにより画像処理部６２１は、特徴量の次元を増やして、個人を特定しやすくしている。
"Image processing"
First, the image processing unit 621 acquires an image captured by the camera 32 (step S40). The camera 32 captures images at 60 frames per second. The image processing unit 621 acquires the captured image of each frame every 1/60 seconds.
The image processing unit 621 determines whether or not the acquired image includes a face image (step S41), and detects the face image. Next, the image processing unit 621 (image specifying means) calculates the three-dimensional relative coordinates of each part constituting the face (step S42), and further calculates the movement of the three-dimensional relative coordinates around the mouth from the temporally continuous images. Thus, the mouth movement is detected (step S43). Mouth movement information is output to the personal voice detection unit 611 and used for associating a face image and a voice to be described later. Further, the image processing unit 621 calculates the three-dimensional relative coordinates of the skin wrinkles and spots (step S44). As a result, the image processing unit 621 increases the dimension of the feature amount to make it easier to identify an individual.
画像処理部６２１が顔画像を検出したならば、画像特徴量算出部６２２は、これら各部位の三次元相対座標で構成される顔の三次元像から、メンバの顔の特徴量を算出する（ステップＳ４５）。これにより、人の顔が撮影されていない画像から、顔の特徴量を算出してしまうことを抑止可能である。 When the image processing unit 621 detects a face image, the image feature amount calculation unit 622 calculates the feature amount of the member's face from the three-dimensional image of the face constituted by the three-dimensional relative coordinates of these parts ( Step S45). Thereby, it is possible to prevent the facial feature amount from being calculated from an image in which a human face is not photographed.
顔の特徴量は、例えば顔に対する目や鼻の大きさ、顔に対する目や鼻や口の高さなど、複数の次元によって構成される。 The feature amount of the face is composed of a plurality of dimensions, such as the size of the eyes and nose for the face, and the height of the eyes, nose and mouth for the face.
図９は、音声による個人認証動作の詳細を示す図である。
図９には、音声波形領域７１と声紋領域７２とが表示されている。音声波形領域７１には、マイク３１が集音した音声の波形が表示される。音声波形領域７１の横軸は時間を示し、縦軸は信号の大きさを示す。
声紋領域７２には、音声波形領域７１に示された音声と同時刻における声紋が表示される。この声紋は、音声信号をハミング・ウインドウに通して周波数スペクトルを計算した結果である。声紋領域７２の横軸は時間を示し、縦軸は周波数を示している。各点の明るさや色は、その時点のその周波数における強さを示している。
FIG. 9 is a diagram showing details of the voice personal authentication operation.
In FIG. 9, a speech waveform area 71 and a voiceprint area 72 are displayed. In the voice waveform area 71, the waveform of the voice collected by the microphone 31 is displayed. The horizontal axis of the speech waveform area 71 indicates time, and the vertical axis indicates the signal magnitude.
In the voiceprint area 72, a voiceprint at the same time as the voice shown in the voice waveform area 71 is displayed. This voiceprint is a result of calculating a frequency spectrum by passing an audio signal through a Hamming window. The horizontal axis of the voiceprint area 72 indicates time, and the vertical axis indicates frequency. The brightness and color of each point indicate the intensity at that frequency at that time.
人ごとの声の違いは、発声器官（口腔、鼻孔、声帯）や***、舌などの違いから生じる。特に声の音色に関しては、口腔や鼻孔の容積および構造によって規定される。声帯から口腔、鼻孔までの形や大きさも人それぞれの特徴を持つ。この特徴は、声紋に現れる。
更に、人の身長は、その人の声の高低と密接に関係している。一般的に身長の高い人ほど体の各部位も大きく、声帯も大きいことが多い。よって、身長が高い人ほど、声が低くなる。声の高低も、声紋に現れる。個人認証部６３は、声紋の機械学習により、音声に係る特徴量を算出でき、声紋の特徴量と各個人の特徴点とを比較することで、個人を認証できる。
Differences in voice among people arise from differences in vocal organs (oral cavity, nostrils, vocal cords), lips, and tongue. In particular, the voice tone is defined by the volume and structure of the oral cavity and nostril. The shape and size from the vocal cords to the mouth and nostrils also have their own characteristics. This feature appears in the voiceprint.
Furthermore, the height of a person is closely related to the height of the person's voice. In general, taller people have larger body parts and larger vocal cords. Therefore, the higher the height, the lower the voice. Voice pitch also appears in the voiceprint. The personal authentication unit 63 can calculate the feature amount related to the voice by machine learning of the voiceprint, and can authenticate the individual by comparing the feature amount of the voiceprint with the feature point of each individual.
図１０は、画像による個人認証動作の詳細を示す図である。
三次元像７３は、顔画像を各部位の三次元座標と、これら各部位（例えば目尻、口端、鼻の上端と下端、顎の下端など）を結ぶ三次元ワイヤーフレームで構成されている。
三次元像７３は、カメラ３２によって二次元で撮像された画像から顔領域を検出して、この顔領域を三次元像７３に変換することで求められる。
FIG. 10 is a diagram showing details of the personal authentication operation using images.
The three-dimensional image 73 is composed of a three-dimensional wire frame that connects the face image to the three-dimensional coordinates of each part and these parts (for example, the corner of the eye, the mouth end, the upper and lower ends of the nose, the lower end of the chin).
The three-dimensional image 73 is obtained by detecting a face area from an image captured two-dimensionally by the camera 32 and converting the face area into the three-dimensional image 73.
顔領域の検出には、主成分分析、線形判別分析、弾性パンチグラフマッチング、隠れマルコフモデル、ニューロン動機付けによるダイナミックリンク照合などを用いることができる。ここで顔の特徴量とは、例えば顔を構成する各部位の相対的な位置関係であり、各部位の三次元座標から求められる。個人認証部６３は、これら各部位の相対的な位置関係と時間的変化を機械学習して各個人の特徴点と幾何学的に比較することで、個人を認証する。 For detection of the face region, principal component analysis, linear discriminant analysis, elastic punch graph matching, hidden Markov model, dynamic link matching by neuron motivation, and the like can be used. Here, the feature amount of the face is, for example, a relative positional relationship between each part constituting the face, and is obtained from the three-dimensional coordinates of each part. The personal authentication unit 63 authenticates the individual by machine learning the relative positional relationship and temporal change of each part and geometrically comparing with the feature points of each individual.
図１１は、個人認証処理のフローチャートである。
この個人認証処理は、図６に示したステップＳ１０の処理を詳細に説明したものである。
以下のステップＳ６０〜Ｓ６６の処理は、個人特定識別処理である。この個人特定識別処理は、所定周期（例えば３秒）ごとに繰り返し行われる。
個人認証部６３は、当該周期に画像処理部６２１が検出した顔についてステップＳ６０〜Ｓ６６の処理を繰り返す。
FIG. 11 is a flowchart of the personal authentication process.
This personal authentication process is a detailed description of the process of step S10 shown in FIG.
The following steps S60 to S66 are personal identification processing. This personal identification processing is repeatedly performed every predetermined cycle (for example, 3 seconds).
The personal authentication unit 63 repeats the processes in steps S60 to S66 for the face detected by the image processing unit 621 in the cycle.
ステップＳ６１において、個人認証部６３は、この顔画像に声が対応しているか否かを判定する。個人認証部６３は、この顔画像に対応した声が有るならば（ステップＳ６１→Ｙｅｓ）、ステップＳ６２の処理に進み、顔と声紋による個人特定識別処理を行う。ここで個人認証部６３は、顔の特徴量、声紋の特徴量、生体情報パターンを組み合わせた多次元の特徴量を生成し、対応する次元である個人の特徴点（ラベル）と照合することにより、個人を特定して識別する。個人認証部６３は、特定した個人に対して、顔の特徴量、声紋の特徴量、および生体情報パターンを紐付けたのち（ステップＳ６３）、ステップＳ６６の処理に進む。 In step S61, the personal authentication unit 63 determines whether or not a voice corresponds to the face image. If there is a voice corresponding to the face image (step S61 → Yes), the personal authentication unit 63 proceeds to the process of step S62, and performs a personal identification process using a face and a voiceprint. Here, the personal authentication unit 63 generates a multi-dimensional feature value by combining the feature value of the face, the feature value of the voice print, and the biometric information pattern, and collates it with the feature point (label) of the individual that is the corresponding dimension. Identify and identify individuals. The personal authentication unit 63 associates the facial feature amount, the voiceprint feature amount, and the biometric information pattern with the identified individual (step S63), and then proceeds to the processing of step S66.
個人認証部６３は、この顔画像に対応した声がなかったならば（ステップＳ６１→Ｎｏ）、ステップＳ６４の処理に進み、顔と生体情報による個人特定識別処理を行う。ここで個人認証部６３は、顔の特徴量、生体情報パターンを組み合わせた多次元の特徴量を生成し、対応する次元である個人の特徴点（ラベル）と照合することにより、個人を特定して識別する。個人認証部６３は、特定した個人に対して、顔の特徴量と生体情報パターンを紐付けたのち（ステップＳ６５）、ステップＳ６６の処理に進む。 If there is no voice corresponding to the face image (step S61 → No), the personal authentication unit 63 proceeds to the process of step S64, and performs personal identification processing based on the face and biometric information. Here, the personal authentication unit 63 generates a multi-dimensional feature quantity that combines the facial feature quantity and the biometric information pattern, and identifies the individual by collating it with the individual feature point (label) that is the corresponding dimension. Identify. The personal authentication unit 63 associates the facial feature quantity and the biometric information pattern with the identified individual (step S65), and then proceeds to the process of step S66.
個人認証部６３は、撮影された顔画像の口の動きと各時刻の音量とを対応づけることによって、対象者の顔画像と、対象者が発している声の時刻とを対応づける。なお、指向性マイクにより、各時刻において声を発した者の位置を検知し、撮影された各個人の位置と対応づけてもよい。 The personal authentication unit 63 associates the movement of the mouth of the captured face image with the volume at each time, thereby associating the face image of the subject with the time of the voice uttered by the subject. It should be noted that the position of a person who speaks at each time may be detected by a directional microphone, and may be associated with the position of each photographed individual.
顔画像と生体情報との対応は、例えば心拍センサ３７１や体温センサ３７２が設置された位置（例えば、運転席）と、撮影された各個人の位置（運転席か助手席か）とを対応づけることで行われる。
単一のセンサから算出した特徴量と、このセンサに関する個人の特徴点（ラベル）とを照合するよりも、更に多次元の空間において照合しているので、個人認証の正解率を上げることができる。この処理が終了すると、ステップＳ６４の処理に進む。
The correspondence between the face image and the biological information associates, for example, the position where the heart rate sensor 371 and the body temperature sensor 372 are installed (for example, the driver's seat) and the position of each photographed individual (whether the driver's seat or the passenger's seat). Is done.
Compared with the feature quantity calculated from a single sensor and the individual feature points (labels) related to this sensor, since it is collated in a multidimensional space, the accuracy rate of personal authentication can be increased. . When this process ends, the process proceeds to step S64.
ステップＳ６６において、個人認証部６３は、当該周期に検出した全ての顔について処理を繰り返したか否かを判断する。 In step S66, the personal authentication unit 63 determines whether or not the processing has been repeated for all the faces detected in the cycle.
個人認証部６３は、顔画像に対応した声が無いときには声紋の特徴量を組み合わせない。このように、センシングデータが無効である場合には、このセンシングデータから算出した特徴量を組み合わせないようにしたので、個人認証部６３は、無効なセンシングデータによる認証の誤りを防ぐことができる。
個人認証部６３は、顔画像に対応した声が無いときには、ミュートした音声信号と組み合わせてもよい。これによっても個人認証部６３は、無効なセンシングデータによる認証の誤りを防ぐことができる。
ステップＳ６７において、個人認証部６３は、運転パターン算出部６９２によって算出した運転パターンを、運転者であるメンバに紐付け、図１１の個人認証処理を終了する。
The personal authentication unit 63 does not combine the features of the voiceprint when there is no voice corresponding to the face image. As described above, when the sensing data is invalid, the feature amount calculated from the sensing data is not combined. Therefore, the personal authentication unit 63 can prevent an authentication error due to invalid sensing data.
The personal authentication unit 63 may combine with a muted audio signal when there is no voice corresponding to the face image. This also allows the personal authentication unit 63 to prevent an authentication error due to invalid sensing data.
In step S67, the personal authentication unit 63 associates the driving pattern calculated by the driving pattern calculation unit 692 with the member who is the driver, and ends the personal authentication processing of FIG.
図１２は、疲労感、覚醒感、快適感の３軸からなる感情の多次元空間を示す概念図である。
本実施形態の多次元の感情特徴量空間８１は、３軸で構成されている。感情分析部６４は、顔の特徴量や声紋の特徴量や心拍パターンの特徴量や気温情報から感情特徴量を算出する。感情特徴量は、この多次元の感情特徴量空間８１のうち、この人の感情がどの座標に位置するかを示すものである。この感情特徴量の算出にあたり、例えば階層化ニューラルネットワークなどが用いられる。
FIG. 12 is a conceptual diagram showing a multi-dimensional space of emotions composed of three axes of fatigue, arousal, and comfort.
The multidimensional emotion feature amount space 81 of the present embodiment is composed of three axes. The emotion analysis unit 64 calculates the emotion feature amount from the facial feature amount, the voiceprint feature amount, the heart rate pattern feature amount, and the temperature information. The emotion feature amount indicates in which coordinates in the multi-dimensional emotion feature amount space 81 this person's emotion is located. In calculating the emotion feature quantity, for example, a hierarchical neural network is used.
図１３は、覚醒感と快適感の２軸における感情空間を示す概念図である。
この感情特徴量平面８２は、図１１に示した感情特徴量空間８１のうち、疲労感の値が所定値に設定された場合の切平面を示している。
感情特徴量平面８２の縦軸は覚醒感であり、上方向は興奮を示しており、下方向は沈静を示している。感情特徴量平面８２の横軸は快適感であり、右方向は快適を示しており、左方向は不快を示している。
FIG. 13 is a conceptual diagram showing an emotion space in two axes, arousal and comfort.
This emotion feature amount plane 82 shows a cut plane when the value of fatigue is set to a predetermined value in the emotion feature amount space 81 shown in FIG.
The vertical axis of the emotion feature amount plane 82 is a sense of arousal, the upward direction indicates excitement, and the downward direction indicates calmness. The horizontal axis of the emotion feature amount plane 82 is a feeling of comfort, the right direction indicates comfort, and the left direction indicates discomfort.
感情特徴量平面８２の第１象限はリフレッシュの感情を示しており、興奮、驚喜、喜び、幸福がラベリングされている。第２象限はイライラの感情を示しており、警戒、恐れ、怒り、緊張、不満、不愉快、抑圧がラベリングされている。第３象限は退屈の感情を示しており、悲しみ、悩み、退屈、憂鬱がラベリングされている。第４象限はリラックスの感情を示しており、眠気、平穏、くつろぎ、安心、満足がラベリングされている。
感情分析部６４が算出した感情特徴量と、上記の感情ラベルとを照合することにより、人の感情を分析することができる。
The first quadrant of the emotion feature plane 82 indicates refreshing emotions, and excitement, surprise, joy, and happiness are labeled. The second quadrant shows frustrating feelings, and is labeled with vigilance, fear, anger, tension, dissatisfaction, unpleasantness, and repression. The third quadrant shows feelings of boredom, labeled sadness, worries, boredom, and depression. The fourth quadrant shows the feeling of relaxation, and is labeled drowsiness, calmness, relaxation, security and satisfaction.
A person's emotion can be analyzed by collating the emotion feature amount calculated by the emotion analysis unit 64 with the emotion label.
図１４は、個人認証処理を行う階層型ニューラルネットワーク９を示す説明図である。
個人認証部６３を構成する階層型ニューラルネットワーク９は、複数のノード９８が、入力層９１、第１中間層９２、第２中間層９３、出力層９４の４層で階層化されている。各層のノード９８は、それぞれエッジ９９で接続されている。
入力層９１のノード９８は、それぞれ顔の特徴量、声紋の特徴量、生体情報の特徴量が入力される。出力層９４からは、個人認証した結果が出力される。
FIG. 14 is an explanatory diagram showing the hierarchical neural network 9 that performs personal authentication processing.
In the hierarchical neural network 9 constituting the personal authentication unit 63, a plurality of nodes 98 are hierarchized into four layers of an input layer 91, a first intermediate layer 92, a second intermediate layer 93, and an output layer 94. The nodes 98 of each layer are connected by an edge 99.
The node 98 of the input layer 91 receives a facial feature quantity, a voiceprint feature quantity, and biometric feature quantity, respectively. The output layer 94 outputs the result of personal authentication.
なお、本実施形態では、顔の特徴量と声紋の特徴量を組み合わせて学習した階層型ニューラルネットワーク、顔の特徴量と生体情報の特徴量を組み合わせて学習した階層型ニューラルネットワーク、顔の特徴量のみで学習した階層型ニューラルネットワークが、それぞれ用意されている。 In the present embodiment, a hierarchical neural network learned by combining facial feature quantities and voiceprint feature quantities, a hierarchical neural network learned by combining facial feature quantities and biometric feature quantities, facial feature quantities Hierarchical neural networks that are learned only by using the above are prepared.
図１５は、層間のインデックスとエッジ重みの一例を示す説明図である。
個人認証部６３を構成する階層型ニューラルネットワーク９は、複数のノード９８が、入力層９１、第１中間層９２、第２中間層９３、出力層９４の４層で階層化されている。各層のノード９８は、それぞれエッジ９９で接続されている。
入力層９１のノード９８は、それぞれ顔の特徴量、声紋の特徴量、心拍の特徴量が入力される。出力層９４からは、個人認証した結果が出力される。
FIG. 15 is an explanatory diagram illustrating an example of an interlayer index and an edge weight.
In the hierarchical neural network 9 constituting the personal authentication unit 63, a plurality of nodes 98 are hierarchized into four layers of an input layer 91, a first intermediate layer 92, a second intermediate layer 93, and an output layer 94. The nodes 98 of each layer are connected by an edge 99.
The node 98 of the input layer 91 receives a facial feature quantity, a voiceprint feature quantity, and a heartbeat feature quantity, respectively. The output layer 94 outputs the result of personal authentication.
なお、本実施形態では、顔の特徴量と声紋の特徴量を組み合わせて学習した階層型ニューラルネットワーク、顔の特徴量と生体情報の特徴量を組み合わせて学習した階層型ニューラルネットワーク、顔の特徴量のみで学習した階層型ニューラルネットワークが、それぞれ用意されている。 In the present embodiment, a hierarchical neural network learned by combining facial feature quantities and voiceprint feature quantities, a hierarchical neural network learned by combining facial feature quantities and biometric feature quantities, facial feature quantities Hierarchical neural networks that are learned only by using the above are prepared.
図１６は、場の雰囲気を推測する処理のフローチャートである。
以下のステップＳ７０〜Ｓ７８の処理は、場の雰囲気を推測する処理である。この処理は、図６のステップＳ１２，Ｓ１３を詳細に説明したものであり、所定周期（例えば３秒）ごとに繰り返し行われる。
FIG. 16 is a flowchart of a process for estimating the atmosphere of the place.
The following steps S70 to S78 are processes for estimating the atmosphere of the place. This process is a detailed description of steps S12 and S13 in FIG. 6, and is repeatedly performed at predetermined intervals (eg, 3 seconds).
最初、行動分析部６５は、いずれかのメンバの動作を検知したか否かを判定する（ステップＳ７０）。メンバの動作とは、例えば発声やジェスチャや、運転パターンのブレーキやハンドル操作などであり、他者が認知可能なものである。 First, the behavior analysis unit 65 determines whether or not any member's movement is detected (step S70). The movement of the member is, for example, utterance, gesture, driving pattern brake, steering wheel operation, etc., which can be recognized by others.
そしてステップＳ７１〜Ｓ７３について、動作後、所定期間が経過するまで処理を繰り返す。そして、以下のステップＳ７２ａ，Ｓ７２ｂなどを並行して実行する。
ステップＳ７２ａにおいて、感情分析部６４は、動作主体のメンバとは異なる他のメンバ（例えばＡさん）に紐付けられた各種情報に基づき、このメンバの感情を多次元量で分析する。
ステップＳ７２ｂにおいて、感情分析部６４は、動作主体のメンバとは異なる他のメンバ（例えばＢさん）に紐付けられた各種情報に基づき、このメンバの感情を多次元量で分析する。このように、動作主体のメンバ以外の感情分析を並行して実行する。以下、感情分析部６４は、動作主体のメンバとは異なる他のメンバ全てについて、このメンバの感情を分析する。
And about step S71-S73, a process is repeated until the predetermined period passes after an operation | movement. Then, the following steps S72a and S72b are executed in parallel.
In step S72a, the emotion analysis unit 64 analyzes the emotion of this member with a multidimensional amount based on various information associated with another member (for example, Mr. A) that is different from the member of the action subject.
In step S72b, the emotion analysis unit 64 analyzes the emotion of this member in a multidimensional amount based on various information associated with another member (for example, Mr. B) that is different from the member of the action subject. In this way, emotion analysis other than the members of the operation subject is executed in parallel. Hereinafter, the emotion analysis unit 64 analyzes the emotion of this member for all other members that are different from the member of the action subject.
そしてステップＳ７３において、感情分析部６４は、動作検知時から所定期間が経過していないならば、ステップＳ７１に戻って処理を繰り返す。感情分析部６４は、動作検知時から所定期間が経過したならば、ステップＳ７４に進む。 In step S73, if the predetermined period has not elapsed since the motion detection, the emotion analysis unit 64 returns to step S71 and repeats the process. The emotion analysis unit 64 proceeds to step S74 if a predetermined period has elapsed since the motion detection.
雰囲気推測部６６は、他の各メンバの感情変化から、他のメンバの動作主体メンバへの関係性を算出する（ステップＳ７４）。他のメンバの、動作主体メンバへの関係性とは、例えば動作主体メンバの動作により、他のメンバの快／不快の感情がどのように変化したかをいう。この快／不快の感情変化の例を、後記する図１７や図１８に示す。
雰囲気推測部６６は、メンバ相互の関係性を全て評価する（ステップＳ７５）。これにより場の雰囲気を推測することができる。
The atmosphere estimation unit 66 calculates the relationship of the other members to the action subject members from the emotional changes of the other members (step S74). The relationship of the other member to the action subject member refers to, for example, how the feeling of pleasure / discomfort of the other member is changed by the action of the action subject member. Examples of such pleasant / unpleasant emotional changes are shown in FIGS. 17 and 18 to be described later.
The atmosphere estimation unit 66 evaluates all the relationships among members (step S75). Thereby, the atmosphere of the place can be estimated.
雰囲気推測部６６は、メンバ相互の関係性が全体として希薄でないならば（ステップＳ７６→Ｎｏ）、メンバ相互の関係性のうち最も悪いものを場の雰囲気として推測し（ステップＳ７７）、図１６の処理を終了する。
雰囲気推測部６６は、メンバ相互の関係性が全体として希薄ならば（ステップＳ７６→Ｙｅｓ）、場の雰囲気が悪いと推測し（ステップＳ７８）、図１６の処理を終了する。
If the relationship between members is not sparse as a whole (step S76 → No), the atmosphere estimation unit 66 estimates the worst relationship among the members as the atmosphere of the place (step S77), and FIG. The process ends.
If the relationship between members is sparse as a whole (step S76 → Yes), the atmosphere estimation unit 66 estimates that the atmosphere of the place is bad (step S78), and ends the process of FIG.
図１７は、Ａさんの発声に伴う他の構成員の感情変化を示すタイムチャートである。
第１段目のグラフは、Ａさんの行動を示している。第２段目のグラフは、Ｂさんの快／不快の感情を示している。第３段目のグラフは、Ｃさんの快／不快の感情を示している。なお、ここでは車両３にＡさんとＢさんとＣさんの３名が乗っていることが前提である。
FIG. 17 is a time chart showing emotional changes of other members accompanying Mr. A's utterance.
The first graph shows the behavior of Mr. A. The graph in the second row shows Mr. B's feelings of pleasure / discomfort. The graph in the third row shows Mr. C's feelings of pleasure / discomfort. Here, it is assumed that three persons A, B and C are on the vehicle 3.
時刻ｔ0において、Ａさんが発声する。これに伴い、ＢさんとＣさんの感情が快の方向に変化する。
時刻ｔ1は、時刻ｔ0から時間Ｔが経過した後である。時刻ｔ1におけるＢさんの感情は、時刻ｔ0における感情よりも好転している。これによりＢさんにとってのＡさんへの関係性は、良好であることが判る。
時刻ｔ1におけるＣさんの感情も、時刻ｔ0における感情よりも好転している。これによりＣさんにとってのＡさんへの関係性は、良好であることが判る。
At time t0, Mr. A speaks. Along with this, the feelings of Mr. B and Mr. C change in a pleasant direction.
Time t1 is after time T has elapsed from time t0. Mr. B's emotion at time t1 is better than that at time t0. Accordingly, it can be seen that the relationship between Mr. B and Mr. A is good.
The feeling of Mr. C at time t1 is also better than that at time t0. Accordingly, it can be seen that the relationship between Mr. C and Mr. A is good.
図１８は、Ｂさんのブレーキ操作に伴う他の構成員の感情変化を示すタイムチャートである。
第１段目のグラフは、Ｂさんの行動を示している。第２段目のグラフは、Ａさんの快／不快の感情を示している。第３段目のグラフは、Ｃさんの快／不快の感情を示している。なお、ここでは車両３にＡさんとＢさんとＣさんの３名が乗っており、かつＢさんが運転していることが前提である。
FIG. 18 is a time chart showing emotional changes of other members accompanying Mr. B's brake operation.
The first graph shows the behavior of Mr. B. The graph in the second row shows Mr. A's feelings of comfort / discomfort. The graph in the third row shows Mr. C's feelings of pleasure / discomfort. Here, it is assumed that three people, A, B, and C, are on the vehicle 3 and that B is driving.
時刻ｔ10において、Ｂさんがブレーキを掛ける。これに伴い、ＡさんとＣさんの感情が不快の方向に変化する。
時刻ｔ11は、時刻ｔ10から時間Ｔが経過した後である。時刻ｔ11におけるＡさんの感情は、時刻ｔ10における感情より悪化している。これによりＢさんにとってのＡさんへの関係性は、良くないことが判る。
時刻ｔ1におけるＣさんの感情も、時刻ｔ0におけるＣさんの感情よりも悪化している。これによりＣさんにとってのＡさんへの関係性は、良くないことが判る。
At time t10, Mr. B applies the brakes. Along with this, the feelings of Mr. A and Mr. C change in an uncomfortable direction.
Time t11 is after time T has elapsed from time t10. Mr. A's emotion at time t11 is worse than that at time t10. This shows that Mr. B's relationship with Mr. A is not good.
The feeling of Mr. C at time t1 is also worse than that of Mr. C at time t0. This shows that Mr. C's relationship with Mr. A is not good.
以下に示す図１９から図２１は、メンバ相互の関係性を説明する図である。ここでは車両３にＡさんとＢさんとＣさんの３名が乗っていることと、Ｂさんが運転手であることが前提である。
図１９は、場の雰囲気が悪くない場合の一例を示す図である。
ＢさんからＡさんへの矢印は、ＢさんにとってのＡさんへの関係性を示しており、その関係性の値は“＋１０”であり、良好である。ＡさんからＢさんへの矢印は、ＡさんにとってのＢさんへの関係性を示しており、その関係性の値は“±０”である。
ＢさんからＣさんへの矢印は、ＢさんにとってのＣさんへの関係性を示しており、その関係性の値は“±０”である。ＣさんからＢさんへの矢印は、ＣさんにとってのＢさんへの関係性を示しており、その関係性の値は“±０”である。
ＡさんからＣさんへの矢印は、ＡさんにとってのＣさんへの関係性を示しており、その関係性の値は“±０”である。ＣさんからＡさんへの矢印は、ＣさんにとってのＡさんへの関係性を示しており、その関係性の値は“＋２０”であり、良好である。
場の雰囲気は、メンバ相互の最小の関係性によって推測可能である。この場における関係性の最小値は“±０”なので、場の雰囲気が悪くないことが推測可能である。
FIGS. 19 to 21 shown below are diagrams for explaining the relationship between members. Here, it is premised that three persons A, B and C are on the vehicle 3 and that B is a driver.
FIG. 19 is a diagram illustrating an example where the atmosphere of the place is not bad.
The arrow from Mr. B to Mr. A indicates the relationship of Mr. B to Mr. A, and the value of the relationship is “+10”, which is favorable. The arrow from Mr. A to Mr. B indicates the relationship of Mr. A to Mr. B, and the value of the relationship is “± 0”.
The arrow from Mr. B to Mr. C indicates the relationship of Mr. B to Mr. C, and the value of the relationship is “± 0”. The arrow from Mr. C to Mr. B indicates the relationship of Mr. C to Mr. B, and the value of the relationship is “± 0”.
The arrow from Mr. A to Mr. C indicates the relationship of Mr. A to Mr. C, and the value of the relationship is “± 0”. The arrow from Mr. C to Mr. A indicates the relationship of Mr. C to Mr. A. The value of the relationship is “+20”, which is favorable.
The atmosphere of the place can be inferred from the minimum relationship between members. Since the minimum value of the relationship in this field is “± 0”, it can be estimated that the field atmosphere is not bad.
図２０は、不快な感情により場の雰囲気が悪い場合の一例を示す図である。
ＢさんからＡさんへの矢印は、ＢさんにとってのＡさんへの関係性を示しており、その関係性の値は“−１０”であり悪い。ＡさんからＢさんへの矢印は、ＡさんにとってのＢさんへの関係性を示しており、その関係性の値は“−５”であり悪い。
FIG. 20 is a diagram illustrating an example where the atmosphere of the place is bad due to unpleasant emotions.
The arrow from Mr. B to Mr. A indicates the relationship of Mr. B to Mr. A, and the value of the relationship is “−10”, which is bad. The arrow from Mr. A to Mr. B indicates the relationship of Mr. A to Mr. B, and the value of the relationship is “−5”, which is bad.
ＢさんからＣさんへの矢印は、ＢさんにとってのＣさんへの関係性を示しており、その関係性の値は“−１０”であり悪い。ＣさんからＢさんへの矢印は、ＣさんにとってのＢさんへの関係性を示しており、その関係性の値は“−２０”であり悪い。 The arrow from Mr. B to Mr. C indicates the relationship of Mr. B to Mr. C, and the value of the relationship is “−10”, which is bad. The arrow from Mr. C to Mr. B indicates the relationship of Mr. C to Mr. B, and the value of the relationship is “−20”, which is bad.
ＡさんからＣさんへの矢印は、ＡさんにとってのＣさんへの関係性を示しており、その関係性の値は“−２０”であり悪い。ＣさんからＡさんへの矢印は、ＣさんにとってのＡさんへの関係性を示しており、その関係性の値は“−１５”であり悪い。
場の雰囲気は、メンバ相互の最小の関係性によって推測可能である。この場における関係性の最小値は“−２０”なので、場の雰囲気が悪くないことが推測可能である。
The arrow from Mr. A to Mr. C indicates the relationship of Mr. A to Mr. C, and the value of the relationship is “−20”, which is bad. The arrow from Mr. C to Mr. A indicates the relationship of Mr. C to Mr. A. The value of the relationship is “−15”, which is bad.
The atmosphere of the place can be inferred from the minimum relationship between members. Since the minimum value of the relationship in this field is “−20”, it can be estimated that the field atmosphere is not bad.
図２１は、相互に無関心なため場の雰囲気が悪い場合の一例を示す図である。
ＢさんからＡさんへの破線矢印は、ＢさんにとってのＡさんへの関係性が無いことを示している。つまり、Ａさんは、所定期間において何ら発声などの行動をしていないことを示している。ＡさんからＢさんへの矢印は、ＡさんにとってのＢさんへの関係性を示しており、その関係性の値は“０”である。
FIG. 21 is a diagram illustrating an example where the atmosphere of the place is bad because they are indifferent to each other.
The broken-line arrow from Mr. B to Mr. A indicates that Mr. B has no relationship to Mr. A. That is, Mr. A indicates that he / she does not act at all for a predetermined period. The arrow from Mr. A to Mr. B indicates the relationship of Mr. A to Mr. B, and the value of the relationship is “0”.
ＢさんからＣさんへの破線矢印は、ＢさんにとってのＣさんへの関係性が無いことを示している。つまり、Ｃさんは、所定期間において何ら発声などの行動をしていないことを示している。ＣさんからＢさんへの矢印は、ＣさんにとってのＢさんへの関係性を示しており、その関係性の値は“−５”であり悪い。 The broken line arrow from Mr. B to Mr. C indicates that Mr. B has no relationship to Mr. C. That is, Mr. C indicates that he / she does not act at all for a predetermined period. The arrow from Mr. C to Mr. B indicates the relationship of Mr. C to Mr. B, and the value of the relationship is “−5”, which is bad.
ＡさんからＣさんへの破線矢印は、ＡさんにとってのＣさんへの関係性が無いことを示している。つまり、Ｃさんは、所定期間において何ら発声などの行動をしていないことを示している。ＣさんからＡさんへの破線矢印は、ＣさんにとってのＡさんへの関係性が無いことを示している。つまり、Ａさんは、所定期間において何ら発声などの行動をしていないことを示している。
この場合、メンバ相互の関係性として有り得る６通りの組合せのうち、２通りしか関係性が存在していないため、関係性が希薄である。このように、メンバ相互の関係性が希薄であるとき、場の雰囲気が悪いと推測される。
The broken line arrow from Mr. A to Mr. C indicates that Mr. A has no relationship to Mr. C. That is, Mr. C indicates that he / she does not act at all for a predetermined period. The broken arrow from Mr. C to Mr. A indicates that Mr. C has no relationship to Mr. A. That is, Mr. A indicates that he / she does not act at all for a predetermined period.
In this case, since there are only two types of relationships among the six possible combinations among members, the relationship is sparse. Thus, when the relationship between members is sparse, it is assumed that the atmosphere of the place is bad.
このように、ナビゲーション装置３０は、メンバ相互の関係性が予め定められたパターンに該当するか否かを判定することにより、複数の人間によって醸成される場の雰囲気を推測することができる。
なお、メンバ相互の関係性を把握する上で、或るメンバの会話に伴う顔の向きや視線によって会話相手を特定して、その会話相手の感情変化から各人の関係性を算出してもよい。これにより、会話相手が限定されている呼び掛けについて、会話相手以外の感情変化の影響を排除して、より正確な場の雰囲気を推測可能である。
Thus, the navigation apparatus 30 can estimate the atmosphere of the place fostered by a plurality of persons by determining whether or not the relationship between members corresponds to a predetermined pattern.
In order to grasp the relationship between members, it is also possible to specify a conversation partner based on the face direction and line of sight associated with a conversation of a certain member and calculate the relationship of each person from the emotional change of the conversation partner. Good. As a result, it is possible to estimate the atmosphere of the place more accurately by excluding the influence of emotional changes other than the conversation partner for the call whose conversation partner is limited.
（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｆ）のようなものがある。
（ａ） メンバ相互の関係性は、快／不快の感情変化に限られず、覚醒感の感情変化や疲労感の感情変化に基づいて推測してもよい。
（ｂ） メンバ相互の関係性の有無は、一方のメンバの行動の有無に限られず、一方のメンバの行動の結果として他方のメンバが何ら感情変化していないとき、他方のメンバにとっての一方のメンバへの関係性が無いと推測してもよい。
（ｃ） 場の雰囲気を推測するのは、ナビゲーション装置に限定されない。例えばスマートスピーカとカメラの組合せによって、場の雰囲気を推測してもよい。
（ｄ） 各メンバの生体情報をセンシングするセンサは、心拍センサと体温センサに限定されず、血圧センサや血糖値センサや活動量センサ、姿勢センサなどであってもよい。
（ｅ） 環境情報をセンシングするセンサは、温湿度センサと照度センサに限定されず、気圧センサや紫外線センサや赤外線センサなどであってもよい。
（ｆ） メンバ相互の関係性は、各メンバの顔の向きや視線によっても推測することができる。例えばＡさんが、Ｃさんに頻繁に顔を向けたり、Ｃさんに頻繁に視線を向けたならば、ＡさんからＣさんへの関係性が高いことを示している。更に、その際のＡさんの感情の変化により、ＡさんにとってのＣさんへの関係性が良いか悪いかを、推測することができる。
(Modification)
The present invention is not limited to the above-described embodiment, and can be modified without departing from the spirit of the present invention. For example, there are the following (a) to (f).
(A) The relationship between members is not limited to pleasant / unpleasant emotional changes, but may be inferred based on emotional changes in arousal or fatigue.
(B) The presence / absence of the relationship between members is not limited to the presence / absence of one member's behavior. When the other member has no change in emotion as a result of the behavior of one member, It may be assumed that there is no relationship to the member.
(C) It is not limited to the navigation device to guess the atmosphere of the place. For example, the atmosphere of the place may be estimated by a combination of a smart speaker and a camera.
(D) The sensors for sensing the biological information of each member are not limited to the heart rate sensor and the body temperature sensor, and may be a blood pressure sensor, a blood glucose level sensor, an activity amount sensor, a posture sensor, or the like.
(E) Sensors that sense environmental information are not limited to temperature and humidity sensors and illuminance sensors, and may be atmospheric pressure sensors, ultraviolet sensors, infrared sensors, or the like.
(F) The relationship between members can also be estimated from the face direction and line of sight of each member. For example, if Mr. A frequently turns his face to Mr. C or frequently looks at Mr. C, this indicates that the relationship from Mr. A to Mr. C is high. Furthermore, it is possible to infer whether Mr. A's relationship to Mr. C is good or bad based on the change in the emotion of Mr. A.
１ クラウドサーバ
２ 自宅
２０ ゲートウェイ
２１ テレビ
２２ カメラ
２３ スマートスピーカ （雰囲気推測装置）
２４ 空調機
２６１ 人感センサ
２６２ 温湿度センサ
２６３ 照度センサ
３ 車両
３０ ナビゲーション装置 （雰囲気推測装置）
３１ マイク
３２ カメラ
３３ ディスプレイモニタ
３４ スピーカ
３６１ 人感センサ
３６２ 温湿度センサ
３６３ 照度センサ
３７１ 心拍センサ
３７２ 体温センサ
４ 前部シート
４Ｂ 後部シート
４１ シート調整機構
４２ 空調機
４３ 電子制御ユニット
６１１ 個人音声検出部
６１２ 音声特徴量算出部
６２１ 画像処理部
６２２ 画像特徴量算出部
６３ 個人認証部
６４ 感情分析部 （分析部）
６５ 行動分析部 （分析部）
６６ 雰囲気推測部 （推測部）
６７ 推奨部
６７１ コンテンツ評価データベース
６８ 通信部
６９１ 生体情報パターン算出部
６９２ 運転パターン算出部
７１ 音声波形領域
７２ 声紋領域
７３ 三次元像
８１ 感情特徴量空間
８２ 感情特徴量平面
９ 階層型ニューラルネットワーク
９１ 入力層
９２ 第１中間層
９３ 第２中間層
９４ 出力層
９８ ノード
９９ エッジ
Ｎ ネットワーク
1 Cloud Server 2 Home 20 Gateway 21 Television 22 Camera 23 Smart Speaker (Atmosphere Estimation Device)
24 Air conditioner 261 Human sensor 262 Temperature / humidity sensor 263 Illuminance sensor 3 Vehicle 30 Navigation device (atmosphere estimation device)
31 Microphone 32 Camera 33 Display monitor 34 Speaker 361 Human sensor 362 Temperature / humidity sensor 363 Illuminance sensor 371 Heart rate sensor 372 Body temperature sensor 4 Front seat 4B Rear seat 41 Seat adjustment mechanism 42 Air conditioner 43 Electronic control unit 611 Personal voice detector 612 Audio feature amount calculation unit 621 Image processing unit 622 Image feature amount calculation unit 63 Personal authentication unit 64 Emotion analysis unit (analysis unit)
65 Behavior Analysis Department (Analysis Department)
66 Atmosphere estimation section (estimation section)
67 recommendation section 671 content evaluation database 68 communication section 691 biological information pattern calculation section 692 driving pattern calculation section 71 voice waveform area 72 voiceprint area 73 three-dimensional image 81 emotion feature quantity space 82 emotion feature quantity plane 9 hierarchical neural network 91 input layer 92 first intermediate layer 93 second intermediate layer 94 output layer 98 node 99 edge N network
Claims (5)
前記場の音声を収録するマイクと、
前記カメラで撮影した画像と前記マイクで収録した音声から、各構成員の行動と感情を分析する分析部と、
一の構成員の行動後に他の構成員の不快度が上がった場合、および、前記複数の構成員の相互関係が希薄な場合に、前記場の雰囲気が悪いと推測する推測部と、
前記推測部が推測した前記場の雰囲気が悪い場合には、当該場の雰囲気の悪さを解消するための推奨項目を提示する推奨部と、
を備えることを特徴とする雰囲気推測装置。 A camera that shoots a place containing multiple members;
A microphone for recording the sound of the venue,
From the image captured by the camera and the sound recorded by the microphone, an analysis unit that analyzes the behavior and emotion of each member,
When the discomfort of other members increases after the behavior of one member, and when the mutual relationship between the plurality of members is sparse, an estimation unit that estimates that the atmosphere of the place is bad,
When the atmosphere of the place estimated by the estimation part is bad, a recommendation part that presents recommended items for eliminating the bad atmosphere of the place,
An atmosphere estimation device comprising:
前記推測部は更に、前記運転パターンがブレーキ操作またはハンドル操作であった後に、同乗者が不快になった場合、前記場の雰囲気が悪いと推測する、
ことを特徴とする請求項１に記載の雰囲気推測装置。 A calculation unit that calculates a driving pattern from vehicle operation information;
The estimation unit further estimates that the atmosphere of the place is bad when the passenger becomes uncomfortable after the driving pattern is a brake operation or a steering wheel operation.
The atmosphere estimation device according to claim 1.
ことを特徴とする請求項１に記載の雰囲気推測装置。 The recommendation unit determines the recommended item with reference to an item list that each member likes and an item list that deviates from the preference of each member.
The atmosphere estimation device according to claim 1.
ことを特徴とする請求項１に記載の雰囲気推測装置。 The recommendation unit reflects the result of selection of any one of the recommended items by the members in the evaluation value of each item.
The atmosphere estimation device according to claim 1.
前記推奨部は、いずれかの構成員が前記表示部を所定時間に亘って目視すると、前記場の雰囲気に応じた推奨項目を前記表示部に提示する、
ことを特徴とする請求項１から４のうちいずれか１項に記載の雰囲気推測装置。 A display unit for displaying information;
The recommended section presents recommended items according to the atmosphere of the place on the display section when any member visually observes the display section for a predetermined time.
The atmosphere estimation device according to any one of claims 1 to 4, wherein
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018070978A JP7204283B2 (en) | 2018-04-02 | 2018-04-02 | Atmosphere guessing device and content presentation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018070978A JP7204283B2 (en) | 2018-04-02 | 2018-04-02 | Atmosphere guessing device and content presentation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019185117A true JP2019185117A (en) | 2019-10-24 |
| JP7204283B2 JP7204283B2 (en) | 2023-01-16 |
Family
ID=68341121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018070978A Active JP7204283B2 (en) | 2018-04-02 | 2018-04-02 | Atmosphere guessing device and content presentation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7204283B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020154922A (en) * | 2019-03-22 | 2020-09-24 | 本田技研工業株式会社 | Service provision apparatus, settlement information processing apparatus and service provision method |
| JP7015408B1 (en) | 2021-10-07 | 2022-02-02 | 真旭 徳山 | Terminal devices, information processing methods, and programs |
| KR102418194B1 (en) * | 2021-02-25 | 2022-07-07 | 이화여자대학교 산학협력단 | Method for implementing theater mode in a car using stretchable display, recording medium and device for performing the method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012532366A (en) * | 2009-06-30 | 2012-12-13 | イーストマン コダック カンパニー | Method and apparatus for controlling image display according to viewer's factor and reaction |
| JP2017201479A (en) * | 2016-05-06 | 2017-11-09 | 日本ユニシス株式会社 | Communication supporting system |
| JP2018014991A (en) * | 2016-07-13 | 2018-02-01 | ソニー株式会社 | Information processor, information processing method, and information processing system |
-
2018
- 2018-04-02 JP JP2018070978A patent/JP7204283B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012532366A (en) * | 2009-06-30 | 2012-12-13 | イーストマン コダック カンパニー | Method and apparatus for controlling image display according to viewer's factor and reaction |
| JP2017201479A (en) * | 2016-05-06 | 2017-11-09 | 日本ユニシス株式会社 | Communication supporting system |
| JP2018014991A (en) * | 2016-07-13 | 2018-02-01 | ソニー株式会社 | Information processor, information processing method, and information processing system |
Non-Patent Citations (1)
| Title |
|---|
| 佐藤 直希 NAOKI SATO: "雰囲気推定を用いたロボットによる自発的行動を促す目配せ表出", 第７９回（平成２９年）全国大会講演論文集（３） ネットワーク セキュリティ, JPN6022002480, 16 March 2017 (2017-03-16), pages 509 - 510, ISSN: 0004688961 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020154922A (en) * | 2019-03-22 | 2020-09-24 | 本田技研工業株式会社 | Service provision apparatus, settlement information processing apparatus and service provision method |
| JP7364348B2 (en) | 2019-03-22 | 2023-10-18 | 本田技研工業株式会社 | Service providing device, service providing system, and service providing method |
| KR102418194B1 (en) * | 2021-02-25 | 2022-07-07 | 이화여자대학교 산학협력단 | Method for implementing theater mode in a car using stretchable display, recording medium and device for performing the method |
| JP7015408B1 (en) | 2021-10-07 | 2022-02-02 | 真旭 徳山 | Terminal devices, information processing methods, and programs |
| WO2023058424A1 (en) * | 2021-10-07 | 2023-04-13 | 真旭 徳山 | Terminal device, information processing method, and program |
| JP2023056179A (en) * | 2021-10-07 | 2023-04-19 | 真旭 徳山 | Terminal device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7204283B2 (en) | 2023-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11089985B2 (en) | Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders | |
| AU2019384515B2 (en) | Adapting a virtual reality experience for a user based on a mood improvement score | |
| JP4481682B2 (en) | Information processing apparatus and control method thereof | |
| CN105844072B (en) | Stimulation presentation system, stimulation presentation method, computer, and control method | |
| Vinola et al. | A survey on human emotion recognition approaches, databases and applications | |
| Joho et al. | Looking at the viewer: analysing facial activity to detect personal highlights of multimedia contents | |
| WO2018180134A1 (en) | Emotion recognition device and emotion recognition program | |
| JP2004310034A (en) | Interactive agent system | |
| JP2004112518A (en) | Information providing apparatus | |
| JP7204283B2 (en) | Atmosphere guessing device and content presentation method | |
| JP6930277B2 (en) | Presentation device, presentation method, communication control device, communication control method and communication control system | |
| JP2006034576A (en) | Motion sickness countermeasure device and motion sickness countermeasure method | |
| JP2016177483A (en) | Communication support device, communication support method, and program | |
| TW201835804A (en) | Personal authentication device and personal authentication program | |
| JP7120693B1 (en) | Video image analysis system | |
| JP7306152B2 (en) | Emotion estimation device, emotion estimation method, program, information presentation device, information presentation method, and emotion estimation system | |
| WO2021196751A1 (en) | Digital human-based vehicle cabin interaction method, apparatus and vehicle | |
| JP2004280673A (en) | Information providing device | |
| US11935140B2 (en) | Initiating communication between first and second users | |
| CN111736700A (en) | Digital person-based vehicle cabin interaction method and device and vehicle | |
| KR20200057810A (en) | Vehicle and control method for the same | |
| Zhang et al. | Semi-feature Level Fusion for Bimodal Affect Regression Based on Facial and Bodily Expressions. | |
| JP7197947B2 (en) | Video image analysis system | |
| JP7197955B1 (en) | Video meeting evaluation terminal | |
| WO2022201266A1 (en) | Video analysis program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190416 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220325 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220906 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221223 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221226 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7204283 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |