JP6436030B2 - ライフログ記録システム - Google Patents

ライフログ記録システム Download PDF

Info

Publication number
JP6436030B2
JP6436030B2 JP2015184246A JP2015184246A JP6436030B2 JP 6436030 B2 JP6436030 B2 JP 6436030B2 JP 2015184246 A JP2015184246 A JP 2015184246A JP 2015184246 A JP2015184246 A JP 2015184246A JP 6436030 B2 JP6436030 B2 JP 6436030B2
Authority
JP
Japan
Prior art keywords
life log
emotion level
data
driver
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015184246A
Other languages
English (en)
Other versions
JP2017059044A (ja
Inventor
榎本 高明
高明 榎本
俊 中川
俊 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2015184246A priority Critical patent/JP6436030B2/ja
Priority to US15/145,381 priority patent/US10133917B2/en
Priority to CN201610588005.XA priority patent/CN106548533B/zh
Priority to DE102016217297.2A priority patent/DE102016217297A1/de
Publication of JP2017059044A publication Critical patent/JP2017059044A/ja
Application granted granted Critical
Publication of JP6436030B2 publication Critical patent/JP6436030B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Educational Technology (AREA)
  • Medical Informatics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Veterinary Medicine (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、使用者の行動情報や生体情報等の生活情報をライフログデータとして記録するライフログ記録システムに関する。
例えば特許文献1には、操作キーの一種であるライフログキーを押すだけの簡単な操作で、そのときの動作関連情報や位置などの情報を時刻とともにライフログデータとして記録することを可能にした携帯端末装置が記載されている。
特開2014−7532号公報
ところで、上記文献に記載の装置のように、ライフログキーの操作をトリガーとしてライフログデータの記録を行っていったとしても、その都度のライフログデータに対して使用者が感じているデータの有用性の度合いは個々に異なるのが普通である。そのため、それらデータを、有用性の度合いを考慮せずに一律に記録してこれを記憶保持していくことは、記憶装置の記憶残量を管理する観点からは望ましくない。
本発明は、このような実情に鑑みてなされたものであり、その目的は、有用性の高いライフログデータが優先して記憶装置に残るように記憶残量を無駄なく管理することのできるライフログ記録システムを提供することにある。
以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決するライフログ記録システムは、使用者の生活情報をライフログデータとして記録するライフログ記録システムであって、前記使用者の行動から前記ライフログデータを取得するライフログデータ取得部と、前記使用者の行動を監視した監視結果と生体センサによる前記使用者の生体信号との少なくとも一方に基づき当該使用者の感情の状態をデータ化した感情レベルを推定する感情レベル推定部と、前記ライフログデータが記憶される記憶装置と、前記ライフログデータ取得部を通じて取得されるライフログデータに前記感情レベル推定部を通じて推定される前記使用者の感情レベルを関連付けして記録対象データを生成する記録対象データ生成部と、前記記録対象データの前記記憶装置への保存の可否を前記関連付けされた感情レベルに基づく選択性を持たせて管理するログ管理部とを備える。
ライフログデータの有用性は、そのデータ取得時における使用者の感情レベルに応じて異なる。例えば、喜怒哀楽といった特定の感情に関連性の高いライフログデータを活用するようなケースでは、感情レベルが比較的大きいライフログデータの有用性が相対的に高くなる傾向にある。一方、感情レベルによらない使用者の定常状態のライフログデータを活用するようなケースでは、逆に感情レベルの小さいライフログデータの有用性が相対的に高くなる傾向にある。
そこで、上記構成によるように、ライフログデータに関連付けられた感情レベルに応じて選択性を持たせて記録対象データの記憶装置への保存の可否を管理することにより、有用性の高いライフログデータを優先して記憶装置に残すことが可能になり、記憶装置の記憶残量を無駄なく管理することができるようになる。
上記ライフログ記録システムにおいて、前記ログ管理部は、前記関連付けされた感情レベルが記録の対象となる範囲にある記録対象データを選択的に前記記憶装置に記録することが好ましい。
記憶装置への保存の可否の管理の仕方として、上記構成によるように、例えば感情レベルが大きい側、あるいは逆に感情レベルが小さい側等、感情レベルが所望とされる記録の対象となる範囲にある記録対象データを選択的に記憶装置に記録していくようにすれば、自ずと有用性の高いライフログデータが優先して記憶装置に残るようになる。
上記ライフログ記録システムにおいて、前記ログ管理部は、前記記憶装置の記憶残量が所定値未満であるとき、前記関連付けされた感情レベルが消去の対象となる範囲にある記録対象データを前記記憶装置から消去することが好ましい。
上記構成によれば、記憶装置の記憶残量が少なくなったとき、有用性の低いライフログデータから優先して消去されることとなり、記憶装置の記憶残量の管理もより容易となる。なお、この管理の仕方は、上記選択的な記録の仕方と併合して行うようにしてもよいし、それとは別に、ここでいう消去の仕方だけを独立して行うようにしてもよい。また、ここでいう感情レベルの消去の対象となる範囲は、この消去の仕方だけを独立して行う場合には上記記録の対象となる範囲外と同一の範囲であってもよい。一方、ここでの消去の仕方と上記選択的な記録の仕方とを併合して行う場合には、上記記録の対象となる範囲の一部がここでいう消去の対象となる範囲となるようにそれら記録あるいは消去の対象を設定するようにすればよい。例えば、感情レベルがレベル「1」〜レベル「5」までの範囲に設定されるものとするとき、上記記録の対象となる範囲がレベル「4」以上の範囲であって、且つ、ここでいう消去の対象となる範囲がレベル「5」未満の範囲であれば、記録の対象となる範囲の一部であるレベル「4」が消去の対象となる範囲となる。
上記ライフログ記録システムにおいて、前記ログ管理部は、前記消去の候補となる記録対象データが複数あるときには、記録の時期の古い記録対象データから優先して消去することが好ましい。
上記構成によれば、記録対象データの消去を当該記録対象データに関連付けされている感情レベルに基づき一律に実行する場合と比較してより現状に近いデータが残るなど、よりきめ細やかなログデータの管理が可能となる。
上記ライフログ記録システムにおいて、前記使用者が、車両の運転者であり、前記ライフログデータ取得部は、車載機器の操作及び車両走行に関わる操作の少なくとも一つが含まれる車両の走行時における運転者の車両操作行動を前記ライフログデータとして取得するものであり、前記感情レベル推定部は、車両の走行時における運転者の感情レベルを推定するものであることが好ましい。
上記構成によるように、車両の走行時における運転者の感情レベルに応じて当該感情レベルを運転者のライフログデータに関連付けるようにすれば、例えば車両のある走行位置に併せて再生中の楽曲がライフログデータとして取得され、且つ、そのときの感情レベルが快い(喜ばしい)といった感情の種類の中で比較的大きい感情レベルとして推定されているような場合に、再びその走行位置を走行する際に該当する楽曲が自動再生される等、車両の運転者の感情に応じたサービスをタイムリーに提供するために有用なライフログデータを優先して記憶装置に残すことが可能となる。
ライフログ記録システムの一実施の形態の概略構成を示すブロック図。 感情レベル推定部による運転者の感情の推定方法を説明するための模式図。 車両の運転者のライフログデータと当該データ取得時における運転者の感情とを関連付けた記録対象データの時系列データの一例を示す模式図。 同実施の形態のライフログ記録システムにあって、車両が実行する処理の処理手順を示すフローチャート。 同実施の形態のライフログ記録システムにあって、センターが実行する処理の処理手順を示すフローチャート。 同実施の形態についてその変形例を示すブロック図。 同実施の形態についてその変形例を示すブロック図。
本実施の形態のライフログ記録システムは、車両の走行時における運転者の車両操作行動をライフログデータとして記録するものである。このシステムでは、ライフログデータの記録と併せて運転者の感情のレベルを推定しており、この推定した感情のレベルをライフログデータに関連付けして記録対象データとして記録している。ここで、ライフログデータの有用性は、その取得時における運転者の感情のレベルに応じて異なる。例えば車両の走行位置に併せて再生中の楽曲がライフログデータとして取得され、かつ、そのときの感情レベルが快い(喜ばしい)といった感情の種類の中で比較的大きい感情レベルとして推定されているような場合に、再びその走行位置を走行する際に該当する楽曲が自動再生される等、喜怒哀楽といった特定の感情に関連性の高いライフログデータを活用するようなケースでは、感情レベルが比較的大きいライフログデータの有用性が相対的に高くなる傾向にある。そのため、本実施の形態ではこうしたケースを想定して、ライフログデータに関連付けられた感情のレベルが所定値以上であることを条件に、複数の車両の走行情報を管理するセンターが備える記憶装置(ライフログデータベース)に記録対象データを記録して、複数の運転者のライフログデータをセンターにおいて一元管理するようにしている。
はじめに、本実施の形態のシステムの構成について図面を参照して説明する。
図1に示すように、車両100は、例えばCAN(コントローラエリアネットワーク)等の車両ネットワークNWを介して複数の電子制御装置が接続されている。これら電子制御装置には、車両100の走行時における運転者のライフログデータを取得するライフログデータ取得部110、車両100の走行時における運転者の感情レベルを推定する感情レベル推定部120、ライフログデータ取得部110を通じて取得したライフログデータと感情レベル推定部120を通じて取得した運転者の感情レベルとを関連付けて記録対象データを生成する記録対象データ生成部130が含まれる。
ライフログデータ取得部110は、例えば車両100のその都度の走行位置や車室内で再生されている楽曲の曲名等、車両100の走行時における運転者の車両操作行動をライフログデータとして周期的に取得するものである。ここで、ライフログデータ取得部110は、車両100のその都度の走行位置に関する情報については、例えば車両100の経路案内を行うカーナビゲーションシステム111が備えるGPS(グローバルポジショニングシステム)等を通じて取得する。また、ライフログデータ取得部110は、車室内で再生されている楽曲の曲名に関する情報については、車室内での楽曲の再生を行うオーディオシステム112等を通じて取得する。そして、こうして取得される運転者のライフログデータは、ライフログデータ取得部110から車両ネットワークNWを通じて記録対象データ生成部130に周期的に送られる。
一方、感情レベル推定部120は、車室内における運転者の顔を撮影するためのカメラとしての赤外線カメラ141に接続されている。この赤外線カメラ141は、運転者の顔の表情を評価する際に用いられる運転者の視線移動等に関する顔の表情の特徴量を求めるためのものである。そして、赤外線カメラ141が撮影した顔の表情の特徴量は感情レベル推定部120に送られ、感情レベル推定部120が備える第1の感情レベル演算部121による運転者の感情レベルの演算に用いられる。
また、感情レベル推定部120は、車室内における運転者の上半身を撮影するためのカメラとしての可視光カメラ142にも接続されている。この可視光カメラ142は、ジェスチャーや車両操作といった運転者の動作を評価する際に用いられる運転者の動作の特徴量を求めるためのものである。そして、可視光カメラ142が撮影した動作の特徴量は感情レベル推定部120に送られ、感情レベル推定部120が備える第2の感情レベル演算部122による運転者の感情レベルの演算に用いられる。
また、感情レベル推定部120は、例えば心拍、脈拍、血圧等、運転者の生体信号を検出するための生体センサ143にも接続されている。そして、生体センサ143によって検出された生体信号は感情レベル推定部120に送られ、感情レベル推定部120が備える第3の感情レベル演算部123による運転者の感情レベルの演算に用いられる。
各感情レベル演算部121〜123による運転者の感情の演算では、例えば「喜」、「怒」、「哀」、「楽」等、予め設定された感情の種類ごとに分類された教師データに対する統計処理を通じてそれらを識別する判断基準を定めておく。そして、各感情レベル演算部121〜123は、上述のように顔の表情の特徴量、動作の特徴量、及び生体信号が未知のデータとして新たに入力されたときには、上述のように定めておいた判断基準に基づいて各々の感情の種類に該当する確度(確率)を算出する。また、感情レベル推定部120は、こうしてデータの種類(顔の表情、動作、生体信号)ごとに算出した感情の種類の確度を感情レベル統合演算部124を通じて統合的に演算することにより、運転者の感情の種類及び感情レベルを推定する。なお、感情レベルとは、運転者の感情の度合いを階層化したものであり、本実施の形態では、感情の度合いが小さいものから順に、レベル「1」〜「5」の5段階に階層化している。
具体的には、図2に示す例のように、第1の感情レベル演算部121は、顔の表情の特徴量に基づいたときに感情の種類が「喜」、「怒」、「哀」、「楽」の各々に該当する確度を、「顔(喜)」、「顔(怒)」、「顔(哀)」、「顔(楽)」としてそれぞれ算出する。また、第2の感情レベル演算部122は、動作の特徴量に基づいたときに感情の種類が「喜」、「怒」、「哀」、「楽」の各々に該当する確度を、「動作(喜)」、「動作(怒)」、「動作(哀)」、「動作(楽)」としてそれぞれ算出する。また、第3の感情レベル演算部123は、生体信号に基づいたときに感情の種類が「喜」、「怒」、「哀」、「楽」の各々に該当する確度を、「生体(喜)」、「生体(怒)」、「生体(哀)」、「生体(楽)」としてそれぞれ算出する。
そして、感情レベル統合演算部124は、各感情レベル演算部121〜123によって算出された感情の種類の確度を足し合わせることにより、運転者の感情レベルの推定に用いる評価値を算出する。ここで、評価値を算出する際には、その根拠となるデータの種類(顔の表情、動作、生体信号)ごとに重み付けを行うようにしている。すなわち、顔の表情の特徴量に基づく確度に対する重み付け係数である「信頼度α」は、顔の表情の特徴量に基づく確度のデータの信頼性の指標値である。この「信頼度α」は、例えば赤外線カメラ141による撮影画像において運転者の顔がマスクやメガネ等により遮られていた場合や、直射日光等の影響により画素信号が白飛びした場合には、その値が小さく設定されることとなる。また、動作の特徴量に基づく確度に対して乗算される重み付け係数である「信頼度β」は、動作の特徴量に基づく確度のデータの信頼性の指標値である。この「信頼度β」は、例えば可視光カメラ142による撮影画像において運転者の上半身の一部がハンドル等により遮られていた場合や、直射日光等の影響により画素信号が白飛びした場合には、その値が小さく設定されることとなる。また、生体信号に基づく確度に対する重み付け係数である「信頼度γ」は、生体信号に基づく確度のデータの信頼性の指標値である。この「信頼度γ」は、例えば生体センサ143の検出精度に基づき予め固定値として設定されることとなる。そして、感情レベル統合演算部124は、「喜」、「怒」、「哀」、「楽」のうち、評価値が最大となる感情の種類を、そのときの運転者の感情の種類として推定するようにしている。図2に示す例では、「怒」に該当する評価値が最大値となっているとする。そして、そのときの運転者の感情の種類が「怒」に該当するものとして推定される。また、感情レベル統合演算部124は、上述のように算出した評価値を階層化して評価することにより、そのときの運転者の感情レベルも併せて推定するようにしている。そして、こうした運転者の感情の種類及び感情レベルの推定結果は、感情レベル推定部120から車両ネットワークNWを通じて記録対象データ生成部130に周期的に送られる。
記録対象データ生成部130は、感情レベル推定部120から取得した運転者の感情レベルの推定結果を、ライフログデータ取得部110から取得した運転者のライフログデータに関連付けて記録対象データを生成する部分である。そしてこの記録対象データ生成部130では、こうして生成した記録対象データを車両ネットワークNWに接続された車載通信機150を通じて車両100からセンター200に無線通信にて転送する。
センター200は、複数の車両100の走行情報を管理しており、それら車両100から各種の情報を無線通信にて受信するセンター通信機201を備えている。センター通信機201は、上述したように運転者の感情レベルとライフログデータとが関連付けられた記録対象データを車両100から受信したときには、その受信した記録対象データをログ管理部202に送る。
ログ管理部202は、センター通信機201から記録対象データを受信したときには、その受信した記録対象データに関連付けられた運転者の感情レベルが記録の対象となる範囲(本実施の形態では、レベル「4」以上)にあることを条件に、即ち運転者の感情レベルがレベル「4」もしくはレベル「5」であることを条件に、当該記録対象データを記憶装置(ライフログデータベース)203に記録する。その一方で、ログ管理部202は、受信した記録対象データにおける運転者の感情レベルの推定結果が上述した記録の対象となる範囲にないときには、即ち運転者の感情レベルがレベル「1」〜「3」の範囲内にあるときには、当該記録対象データを記憶装置203に記録することなく棄却する。これは、本実施の形態では、喜怒哀楽といった特定の感情に関連性の高いライフログデータを活用するようなケースを想定しており、こうしたケースでは、感情レベルが比較的大きいライフログデータの有用性が相対的に高くなる傾向にあるためである。また、ログ管理部202は、記録対象データを記憶装置203に記録したときには当該記憶装置203の記憶残量を確認する。そして、ログ管理部202は、記憶装置203の記憶残量が所定値未満であって新たなデータを格納する上で余裕がないと判断したときには、記憶装置203に既に記録されている記録対象データについて、当該記録対象データに関連付けられた運転者の感情レベル及びその記録日時を参照する。そして、ログ管理部202は、運転者の感情レベルが消去の対象となる範囲(本実施の形態では、レベル「5」未満)にあって相対的に小さい記録対象データを記録の時期の古い順に記憶装置203から消去する。こうしてログ管理部202は、記憶装置203の記憶残量を確保した上で、センター通信機201からの新たな記録対象データを受信するまで待機する。
図3には、車両100の運転者のライフログデータと当該データ取得時における運転者の感情レベルとを関連付けた記録対象データの時系列データの一例を示している。図3に示す例では、車両100のイグニッションスイッチがオンとされた時刻「T1」に対応する車両100のその都度の「位置座標」、及び車室内で再生した「楽曲の曲名」としてそれぞれ、「(Xa1、Ya1)」、「曲名A」がライフログデータとして記録されている。また、このライフログデータを取得した時刻「T1」における運転者の「感情の種類」、及び運転者の「感情レベル」としてそれぞれ、「怒」、「2」が記録されている。また、同図に示す例では、続く時刻「T2」に対応する車両100のその都度の「位置座標」が「(Xa2、Ya2)」に変化しているものの、同時刻「T2」に対応する「楽曲の曲名」は依然として「曲名A」のままである。また、このライフログデータを取得した時刻「T2」における運転者の「感情の種類」が「哀」に変化しているものの、運転者の「感情レベル」は「1」であり、依然として小さいままである。これら時刻「T1」及び「T2」におけるライフログデータは、その取得時における運転者の「感情レベル」が比較的小さい状況にあり、例えばこのような状況にふさわしい何らかのサービスを提供しようとしても、その有用性は限定的なものとなる可能性が高い。そこで本実施の形態では、こうした運転者の感情レベルが小さいときに取得されたライフログデータを記録の対象から除外することにより、記憶装置203の記憶容量を無駄なく管理するようにしている。
一方、図3に示す例では、その後の時刻「T101」に対応する車両のその都度の「位置座標」が「(Xa101、Ya101)」に変化するだけでなく、同時刻「T101」に対応する「楽曲の曲名」も「曲名B」に変化している。これは、時刻「T2」から「T101」の間に、車室内で再生されている「楽曲の曲名」が変更されたことを意味している。また、このライフログデータを取得した時刻「T101」における運転者の「感情の種類」が「楽」に変化しているとともに、その「感情レベル」もレベル「4」まで上昇している。また、続く時刻「T102」においても、対応する「楽曲の曲名」は「曲名B」から変化しておらず、同時刻「T102」における運転者の「感情の種類」は「喜」に、そして運転者の「感情レベル」はレベル「5」であって依然として大きい状態が維持されている。こうした時刻「T2」から「T101」にかけての運転者の「感情の種類」や「感情レベル」の変化は、例えば車両100が海沿いを走行しているときに爽やかな楽曲が流れる等、車両100のその都度の走行位置と車室内に流れる楽曲との組み合わせは運転者の感情に強く働き掛ける効果を有するものであることを示唆している。そのため、例えば車両100が再びその位置を走行するときには該当する楽曲を自動再生するようにすれば、運転者の感情に快く働きかけるようなサービスを提供する上でその有用性が高いものとなる可能性が高い。そこで本実施の形態では、このように大きな感情レベルに関連付けされた記録対象データを記録の対象とすることにより、有用性の高いライフログデータが優先して記憶装置203に残るようにしている。
次に、本実施の形態のライフログ記録システムにあって、車両100が実行する処理についてその具体的な処理手順を説明する。ここで、車両100は、イグニッションスイッチがオンとなっている条件で図4に示す処理を所定の周期で繰り返し実行する。
車両100はまず、例えば車両100のその都度の走行位置に関する情報や、車室内で再生されている楽曲の曲名等、車両100の走行時における運転者の車両操作行動をライフログデータとしてライフログデータ取得部110を通じて取得する(ステップS10)。
また、車両100は、先のステップS10においてライフログデータを取得したときの運転者の感情の種類及びその感情レベルの推定結果を感情レベル推定部120を通じて取得する(ステップS11)。
そして、車両100は、先のステップS10において取得した運転者のライフログデータに対し、先のステップS11において取得した運転者の感情の種類及びその感情レベルの推定結果を関連付けた記録対象データを記録対象データ生成部130を通じて生成する(ステップS12)。
その後、車両100は、先のステップS12において生成した記録対象データを車載通信機150を通じてセンター200に転送した上で(ステップS13)、図4に示す処理を終了する。
次に、本実施の形態のライフログ記録システムにあって、センター200が実行する処理についてその具体的な処理手順を説明する。ここで、センター200は、図5に示す処理を所定の周期で繰り返し実行する。
図5に示すように、センター200は、車両100からの記録対象データをセンター通信機201を通じて受信するまで待機している(ステップS20)。そして、センター200は、車両100からの記録対象データを受信したときには(ステップS20=YES)、その受信した記録対象データにおける運転者の感情レベルが記録の対象となる範囲(本実施の形態では、レベル「4」以上)であるか否かをログ管理部202を通じて判定する(ステップS21)。そして、センター200は、記録対象データにおける運転者の感情レベルが記録の対象となる範囲外(レベル「4」未満)であるときには(ステップS21=NO)、当該記録対象データを記憶装置203に記録することなく棄却して、図5に示す処理を終了する。一方、センター200は、記録対象データにおける運転者の感情レベルが記録の対象となる範囲(レベル「4」以上)であるときには(ステップS21=YES)、当該記録対象データを記憶装置203に記録する(ステップS22)。
続いて、センター200は、記憶装置203の記憶残量をログ管理部202を通じて確認する(ステップS23)。そして、センター200は、記憶装置203の記憶残量が所定値未満であって新たなライフログデータを格納する上で不足していると判断されるときには(ステップS23=YES)、記憶装置203に格納されている記録対象データにおける運転者の感情レベル及びその記録日時をログ管理部202を通じて参照する。また、センター200は、運転者の感情レベルが消去の対象となる範囲(本実施の形態では、レベル「5」未満)にあって相対的に小さい記録対象データを記録の時期の古い順にログ管理部202を通じて記憶装置203から消去する(ステップS24)。そして、センター200は、先のステップS24における記録対象データの消去により記憶装置203の記憶残量を確保すると、図5に示す処理を終了する。
一方、センター200は、記憶装置203の記憶残量が所定値以上であって新たな記録対象データを格納する上で何ら不足していないと判断されるときには(ステップS23=NO)、上記ステップS24の処理を経ることなく、図5に示す処理を終了する。
次に、本実施の形態のライフログ記録システムの作用について説明する。
一般に、車両の運転者のライフログデータとその取得時における運転者の感情レベルとを関連付けることは、ライフログデータの利用価値を高める上で有効である。例えば図3に示した例のように、車両100のその都度の位置座標及び車室内で再生した楽曲の曲名と当該データ取得時における運転者の感情レベルとを関連付けたような場合、車両100が再びその位置を走行するときに該当する楽曲を自動再生するようにすれば、運転者の感情に快く働きかけるようなサービスを提供することも可能となる。
しかしながら、こうした喜怒哀楽といった特定の感情に関連性の高いライフログデータを活用するようなケースでは、感情レベルが比較的大きいライフログデータの有用性が相対的に高くなる傾向にある。そのため、ライフログデータに関連付けられた運転者の感情レベルを何ら考慮せずに一律に記録して蓄積保存していくことは記憶装置203の記憶残量を管理する観点からは望ましくない。
この点、本実施の形態では、ライフログデータに関連付けられた運転者の感情レベルが記録の対象となる範囲(レベル「4」以上)であることを条件に、センター200が備える記憶装置203への記録対象データの記録を行うようにしている。そのため、センター200が備える記憶装置203には、運転者の感情レベルが記録の対象となる範囲(「レベル4」以上)であるときに取得された有用性の高いライフログデータが優先して残るようになり、結果として、記憶装置203の記憶残量が無駄なく管理されることとなる。
以上説明したように、上記実施の形態によれば、以下に示す効果を得ることができる。
(1)ログ管理部202は、ライフログデータに関連付けられた運転者の感情レベルに応じて選択性を持たせて記録対象データの記憶装置203への保存の可否を管理するようにしている。そのため、有用性の高いライフログデータを優先して記憶装置203に残すことが可能になり、記憶装置203の記憶残量を無駄なく管理することができるようになる。
(2)ログ管理部202は、関連付けされた感情レベルが記録の対象となる範囲にある記録対象データを選択的に記憶装置203に記録するようにしている。そのため、所望とされる記録の対象となる範囲にある記録対象データが記憶装置203に記録されていくこととなり、自ずと有用性の高いライフログデータが優先して記憶装置203に残るようになる。
(3)ログ管理部202は、記憶装置203の記憶残量が所定値未満であるとき、関連付けした感情レベルが消去の対象となる範囲にある記録対象データを記憶装置203から消去するようにしている。そのため、記憶装置203の記憶残量が少なくなったとき、有用性の低いライフログデータから優先して消去されることとなり、記憶装置203の記憶残量の管理もより容易となる。
(4)ログ管理部202は、消去の候補となる記録対象データが複数あるときには、記録の時期の古い記録対象データから優先して消去するようにしている。そのため、記録対象データの消去を当該記録対象データに関連付けされている感情レベルに基づき一律に実行する場合と比較してより現状に近いデータが残るなど、よりきめ細やかなログデータの管理が可能となる。
(5)ログ管理部202は、車両100の走行時における運転者の感情レベルに応じて当該感情レベルを運転者のライフログデータに関連付けるようにしている。そのため、例えば車両100のある走行位置に併せて再生中の楽曲がライフログデータとして取得され、かつ、そのときの感情のレベルが快い(喜ばしい)といった感情の種類の中で比較的大きい感情レベルとして推定されているような場合に、再びその走行位置を車両100が走行する際に該当する楽曲が自動再生される等、車両100の運転者の感情に応じたサービスをタイムリーに提供するために有用なライフログデータを優先して記憶装置203に残すことが可能となる。
なお、上記実施の形態は、以下のような形態にて実施することもできる。
・上記実施の形態においては、センター200が備える記憶装置203に記録対象データを記録するようにした。これに代えて、図6に示すように、こうした記録対象データを、車両ネットワークNWに接続されたログ管理部161を通じて車両100が備える記憶装置162に記録するようにしてもよい。上述したライフログデータの記録、管理手法によれば、記憶装置162の記憶残量を無駄なく管理することが可能となるため、このような構成への採用も意義有るものとなる。
・上記実施の形態においては、ライフログデータ取得部110は、車両100の運転者のライフログデータをカーナビゲーションシステム111やオーディオシステム112から取得するようにした。一方、ライフログデータの活用方法としてはその他にも、例えば車両100の運転操作履歴などもライフログデータとして収集して各種の支援やサービスにつなげることも想定される。すなわち、先の図1に対応する図として図7に示すように、ライフログデータ取得部110は、例えば車速センサ、加速度センサ、ステアリングセンサ等といった運転操作検知部113からの検知信号に基づき、運転操作履歴、すなわち車両走行に関わる操作に関するデータをライフログデータとして取得するようにしてもよい。これにより、特に車両100の走行時における運転者の車両操作行動をより広範に取得、収集することが可能になり、それに伴うサービス範囲の拡大等も期待できるようになる。もっとも、ライフログデータとして取得する車両100の走行時における運転者の車両操作行動としては、上述した車載機器の操作及びこれら車両走行に関わる操作の少なくとも一つが含まれるものであればよい。
・上記実施の形態においては、運転者の感情の推定は、運転者の行動の監視結果としての赤外線カメラ141や可視光カメラ142による運転者の撮影信号、及び生体センサ143による運転者の生体信号の両方に基づいて行うようにしたが、同推定をこれら運転者の行動の監視結果、及び運転者の生体信号のいずれか一方のみに基づいて行うようにしてもよい。また、マイク及び該マイクから入力される音声を認識処理する音声認識部を設け、運転者が発した会話の内容や、会話における音声の韻律等に関する声の表情の特徴量に基づいて運転者の行動を監視するようにしてもよい。これにより、運転者の感情レベルの推定に用いることのできる行動の種類が増し、その汎用性も高められるようになる。また、音声も含めて上記行動の監視結果を全て感情レベルの推定に用いるようにすれば、その推定精度の向上も期待できるようになる。
・上記実施の形態においては、ログ管理部202(または161)は、消去の候補となる記録対象データが複数あるときには、記録の時期の古い記録対象データから優先して消去するようにした。ただし、消去の候補となる記録対象データ同士の優先度が記録の時期に左右されにくいものであれば、これら記録対象データを一律に消去するようにしてもよい。
・上記実施の形態においては、ログ管理部202(または161)は、記憶装置203(または162)の記憶残量が所定値未満であるときには、関連付けした感情レベルが相対的に小さい記録対象データを記憶装置203(または162)から消去するようにした。ただし、例えば感情レベルによらない使用者の定常状態のライフログデータを活用するようなケースでは、逆に感情レベルの小さいライフログデータの有用性が相対的に高くなることもある。この場合、ログ管理部202(または161)は、関連付けした感情レベルが所定値以上の記録対象データを記憶装置203(または162)から消去するようにしてもよい。また、ログ管理部202(または161)は、関連付けした感情レベルが上限値と下限値の設定された消去の対象となる範囲内にある記録対象データを記憶装置203(または162)から消去するようにしてもよい。すなわち、ログ管理部202(または161)が消去の対象とする記録対象データを絞り込むときの感情レベルの条件は、そのライフログデータを活用するケースを考慮して適宜変更することが可能である。
・上記実施の形態においては、ログ管理部202(または161)は、関連付けした感情レベルが記録の対象となる範囲(この範囲は上述のように適宜変更可能)にある記録対象データのみを記憶装置203(または162)に記録するようにした。しかし、この処理、すなわち図5のステップS21にかかる処理を割愛して、受信された全ての記録対象データを記憶装置203(または162)に記録するようにしてもよい。すなわちこの場合、図5のステップS24にかかる消去処理のみを通じて記憶装置203に残されるライフログデータが管理されることとなる。
・また逆に、図5のステップS23、S24にかかる処理を割愛し、図5のステップS21の選択的な記録処理のみを通じて記憶装置203に残されるライフログデータの管理を行うようにしてもよい。要は、図5のこれらステップS21とステップS23、S24との少なくとも一方の処理を通じて記憶装置203(または162)に残されるライフログデータの管理を行えばよい。ただし、上記実施の形態のように、図5のステップS21とステップS24との両方の処理を行う場合には、ステップS21で肯定する感情レベルを「記録の対象となる範囲」、またステップS24で消去する感情レベルを「消去の対象となる範囲」とするとき、これら「記録の対象となる範囲」と「消去の対象となる範囲」との関係は、「記録の対象となる範囲」の一部が「消去の対象となる範囲」となるようにすればよい。すなわち、上記実施の形態によれば、感情レベルがレベル「1」〜レベル「5」までの範囲に設定されるものとするとき、上記「記録の対象となる範囲」がレベル「4」以上の範囲であって、且つ、ここでいう「消去の対象となる範囲」がレベル「5」未満の範囲であれば、「記録の対象となる範囲」の一部であるレベル「4」が「消去の対象となる範囲」となる。なお、上記いずれの場合であれ、記録対象データに、前述した「感情の種類」は含まれなくてもよい。
・上記実施の形態においては、車両100の走行時における運転者の車両操作行動をライフログデータとして取得し、この取得したライフログデータに運転者の感情レベルを関連付けして記憶装置に残されるライフログデータを管理するようにした。ただし、このようなライフログデータの管理手法は、車両100の運転者に限らず、例えば携帯情報端末や通話可能な携帯情報端末の使用者のライフログデータの管理にも同様に適用することができる。すなわちこの場合、携帯情報端末に内蔵されるGPS(グローバルポジショニングシステム)等をはじめとする各種センサやアプリケーション等を通じて使用者のライフログデータを取得するとともに、同じく内蔵される各種センサや場合によっては適宜のウェアラブル機器による生体情報等から使用者の感情レベルを推定して上記取得したライフログデータとの関連付けを行う。その後は上述の実施の形態に準じたかたちで感情レベルに基づき記憶装置へのライフログデータの保存の可否を管理するようにすれば、やはり上述の実施の形態に準じたかたちで記憶装置の記憶残量を無駄なく管理することが可能となる。このように感情レベルと関連付けされたライフログデータは、例えば過去に訪れたことのあるお気に入りの店舗に近づいたときにその旨を自動的にガイドする等のサービスに利用することができる。
100…車両、110…ライフログデータ取得部、111…カーナビゲーションシステム、112…オーディオシステム、120…感情レベル推定部、121…第1の感情レベル演算部、122…第2の感情レベル演算部、123…第3の感情レベル演算部、124…感情レベル統合演算部、130…記録対象データ生成部、141…赤外線カメラ、142…可視光カメラ、143…生体センサ、150…車載通信機、200…センター、201…センター通信機、161,202…ログ管理部、162,203…記憶装置、NW…車両ネットワーク。

Claims (5)

  1. 使用者の生活情報をライフログデータとして記録するライフログ記録システムであって、
    前記使用者の行動から前記ライフログデータを取得するライフログデータ取得部と、
    前記使用者の行動を監視した監視結果と生体センサによる前記使用者の生体信号との少なくとも一方に基づき当該使用者の感情の状態をデータ化した感情レベルを推定する感情レベル推定部と、
    前記ライフログデータが記憶される記憶装置と、
    前記ライフログデータ取得部を通じて取得されるライフログデータに前記感情レベル推定部を通じて推定される前記使用者の感情レベルを関連付けして記録対象データを生成する記録対象データ生成部と、
    前記記録対象データの前記記憶装置への保存の可否を前記関連付けされた感情レベルに基づく選択性を持たせて管理するログ管理部とを備える
    ことを特徴とするライフログ記録システム。
  2. 前記ログ管理部は、前記関連付けされた感情レベルが記録の対象となる範囲にある記録対象データを選択的に前記記憶装置に記録する
    請求項1に記載のライフログ記録システム。
  3. 前記ログ管理部は、前記記憶装置の記憶残量が所定値未満であるとき、前記関連付けされた感情レベルが消去の対象となる範囲にある記録対象データを前記記憶装置から消去する
    請求項1又は2に記載のライフログ記録システム。
  4. 前記ログ管理部は、前記消去の候補となる記録対象データが複数あるときには、記録の時期の古い記録対象データから優先して消去する
    請求項3に記載のライフログ記録システム。
  5. 前記使用者が、車両の運転者であり、
    前記ライフログデータ取得部は、車載機器の操作及び車両走行に関わる操作の少なくとも一つが含まれる車両の走行時における運転者の車両操作行動を前記ライフログデータとして取得するものであり、
    前記感情レベル推定部は、車両の走行時における運転者の感情レベルを推定するものである
    請求項1〜4のいずれか一項に記載のライフログ記録システム。
JP2015184246A 2015-09-17 2015-09-17 ライフログ記録システム Active JP6436030B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015184246A JP6436030B2 (ja) 2015-09-17 2015-09-17 ライフログ記録システム
US15/145,381 US10133917B2 (en) 2015-09-17 2016-05-03 Lifelog recording system
CN201610588005.XA CN106548533B (zh) 2015-09-17 2016-07-25 生活轨迹记录***
DE102016217297.2A DE102016217297A1 (de) 2015-09-17 2016-09-12 Lifelog-aufzeichnungssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015184246A JP6436030B2 (ja) 2015-09-17 2015-09-17 ライフログ記録システム

Publications (2)

Publication Number Publication Date
JP2017059044A JP2017059044A (ja) 2017-03-23
JP6436030B2 true JP6436030B2 (ja) 2018-12-12

Family

ID=58282516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015184246A Active JP6436030B2 (ja) 2015-09-17 2015-09-17 ライフログ記録システム

Country Status (4)

Country Link
US (1) US10133917B2 (ja)
JP (1) JP6436030B2 (ja)
CN (1) CN106548533B (ja)
DE (1) DE102016217297A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123057A1 (ja) * 2016-12-28 2018-07-05 本田技研工業株式会社 情報提供システム
US10860841B2 (en) 2016-12-29 2020-12-08 Samsung Electronics Co., Ltd. Facial expression image processing method and apparatus
DE102017200970B3 (de) * 2017-01-23 2018-04-05 Audi Ag Verfahren zum Dokumentieren einer Fahrt eines Kraftfahrzeugs
JP6499682B2 (ja) * 2017-01-31 2019-04-10 本田技研工業株式会社 情報提供システム
JP6841167B2 (ja) * 2017-06-14 2021-03-10 トヨタ自動車株式会社 コミュニケーション装置、コミュニケーションロボットおよびコミュニケーション制御プログラム
JP6517280B2 (ja) * 2017-07-10 2019-05-22 本田技研工業株式会社 ライフログ活用システム、方法及びプログラム
JP6522695B2 (ja) * 2017-07-13 2019-05-29 本田技研工業株式会社 ライフログ活用システム、方法及びプログラム
WO2019090106A1 (en) * 2017-11-03 2019-05-09 Sensormatic Electronics, LLC Methods and system for employee monitoring and business rule and quorum compliance monitoring
US10836403B2 (en) * 2017-12-04 2020-11-17 Lear Corporation Distractedness sensing system
JP6885858B2 (ja) * 2017-12-15 2021-06-16 ヤフー株式会社 推定装置、推定方法、及び推定プログラム
DE102018200133B4 (de) * 2018-01-08 2022-06-30 Audi Ag Unterhaltungssystem für ein Kraftfahrzeug und Verfahren zum Betreiben eines Unterhaltungssystems eines Kraftfahrzeugs
CN108710821A (zh) * 2018-03-30 2018-10-26 斑马网络技术有限公司 车辆用户状态识别***及其识别方法
US10867218B2 (en) * 2018-04-26 2020-12-15 Lear Corporation Biometric sensor fusion to classify vehicle passenger state
GB2579656A (en) * 2018-12-11 2020-07-01 Ge Aviat Systems Ltd Method of assessing a pilot emotional state
CN109815817A (zh) * 2018-12-24 2019-05-28 北京新能源汽车股份有限公司 一种驾驶员的情绪识别方法及音乐推送方法
CN109785861B (zh) * 2018-12-29 2021-07-30 惠州市德赛西威汽车电子股份有限公司 基于行车数据的多媒体播放控制方法、存储介质及终端
WO2020230458A1 (ja) * 2019-05-16 2020-11-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN110457174A (zh) * 2019-05-24 2019-11-15 深圳市金泰克半导体有限公司 日志管理方法、装置、电子设备及存储介质
US11524691B2 (en) 2019-07-29 2022-12-13 Lear Corporation System and method for controlling an interior environmental condition in a vehicle
JP7251392B2 (ja) * 2019-08-01 2023-04-04 株式会社デンソー 感情推定装置
EP4053792A4 (en) * 2019-10-30 2022-12-14 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND ARTIFICIAL INTELLIGENCE MODEL MAKING METHOD
US11532319B2 (en) * 2020-03-16 2022-12-20 Harman International Industries, Incorporated Techniques for separating driving emotion from media induced emotion using an additive/subtractive, conjunctive, disjunctive, or Bayesian technique in a driver monitoring system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002044609A (ja) * 2000-07-31 2002-02-08 Matsushita Electric Ind Co Ltd 映像記録装置および監視装置
JP2006080644A (ja) * 2004-09-07 2006-03-23 Toshiba Tec Corp カメラ
JP2009049951A (ja) * 2007-08-23 2009-03-05 Sony Corp 撮像装置、撮像方法
JP5217703B2 (ja) * 2008-07-04 2013-06-19 トヨタ自動車株式会社 運転者状態記録装置
JP5266476B2 (ja) * 2009-07-23 2013-08-21 日本電信電話株式会社 行動記録保存システム、サーバ装置、行動記録保存方法及びコンピュータプログラム
US20110172873A1 (en) * 2010-01-08 2011-07-14 Ford Global Technologies, Llc Emotive advisory system vehicle maintenance advisor
US8872640B2 (en) * 2011-07-05 2014-10-28 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring health and ergonomic status of drivers of vehicles
US9526455B2 (en) * 2011-07-05 2016-12-27 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees
WO2013030942A1 (ja) * 2011-08-30 2013-03-07 トヨタ自動車 株式会社 行動履歴の管理システム及び行動履歴の管理方法
US10459924B2 (en) 2011-09-26 2019-10-29 Nec Corporation Information processing system, information processing method, information processing device and communication terminal, and method and program for controlling same
KR101399601B1 (ko) * 2011-10-27 2014-05-27 허헌 사용자 데이터를 이용한 감정 표현 로봇
CN202619669U (zh) * 2012-04-27 2012-12-26 浙江吉利汽车研究院有限公司杭州分公司 驾驶员情绪监控装置
CN102874259B (zh) * 2012-06-15 2015-12-09 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制***
JP5668025B2 (ja) 2012-06-22 2015-02-12 シャープ株式会社 携帯端末装置
JP5755791B2 (ja) * 2013-12-05 2015-07-29 Pst株式会社 推定装置、プログラム、推定装置の作動方法および推定システム
CN104010132B (zh) * 2014-05-19 2017-02-22 深圳市点通数据有限公司 基于情绪控制的智能拍录装置及方法
JP6287728B2 (ja) * 2014-09-25 2018-03-07 株式会社デンソー 車載システム、車両制御装置、および車両制御装置用のプログラム
CN104409085A (zh) * 2014-11-24 2015-03-11 惠州Tcl移动通信有限公司 一种车载智能音乐播放器及其音乐播放方法
CN204600505U (zh) * 2015-04-27 2015-09-02 山东理工大学 一种驾驶员情绪监控装置
JP2017121286A (ja) * 2016-01-05 2017-07-13 富士通株式会社 情動推定システム、情動推定方法および情動推定プログラム

Also Published As

Publication number Publication date
JP2017059044A (ja) 2017-03-23
US20170083757A1 (en) 2017-03-23
US10133917B2 (en) 2018-11-20
CN106548533B (zh) 2019-04-26
CN106548533A (zh) 2017-03-29
DE102016217297A1 (de) 2017-05-04

Similar Documents

Publication Publication Date Title
JP6436030B2 (ja) ライフログ記録システム
US20200233637A1 (en) Machine-led mood change
Kashevnik et al. Driver distraction detection methods: A literature review and framework
US9507326B2 (en) System and method for using biometrics to predict and select music preferences
US9165280B2 (en) Predictive user modeling in user interface design
JP7074069B2 (ja) 情報処理装置および方法、並びにプログラム
JP2018100936A (ja) 車載装置及び経路情報提示システム
CN110740901A (zh) 多媒体信息推送方法、装置、存储介质及电子设备
JP2018179704A (ja) 車両用報知装置
JP2018055550A (ja) 施設満足度算出装置
JP6752901B2 (ja) 情報提供システムおよびサーバ
US20170147396A1 (en) Information presentation device, method, and program
JP2018200192A (ja) 地点提案装置及び地点提案方法
WO2018123057A1 (ja) 情報提供システム
JP2010033549A (ja) 情報提供装置、情報提供方法、プログラムおよび情報提供システム
JP6303795B2 (ja) 経路探索システム及び経路探索方法
JP2018059721A (ja) 駐車位置探索方法、駐車位置探索装置、駐車位置探索プログラム及び移動体
JP6962034B2 (ja) 情報提供装置および情報提供方法
KR102486161B1 (ko) 차량, 차량의 제어 방법 및 영상 탐색 장치
KR102675289B1 (ko) 차량 및 그 제어 방법
WO2023203725A1 (ja) 情報分析装置及び情報分析方法
US20230020786A1 (en) System for a motor vehicle and method for assessing the emotions of a driver of a motor vehicle
JP2021126250A (ja) 心理状態推定装置及び心理状態推定方法
KR20230081584A (ko) 자동 및 멀티 모달리티 정보 입력을 활용하는 일상 추적 시스템을 위한 인공지능 기반의 상황 추론 장치 및 방법
CN115631550A (zh) 一种用户反馈的方法和***

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181029

R151 Written notification of patent or utility model registration

Ref document number: 6436030

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151