JP6436030B2 - ライフログ記録システム - Google Patents
ライフログ記録システム Download PDFInfo
- Publication number
- JP6436030B2 JP6436030B2 JP2015184246A JP2015184246A JP6436030B2 JP 6436030 B2 JP6436030 B2 JP 6436030B2 JP 2015184246 A JP2015184246 A JP 2015184246A JP 2015184246 A JP2015184246 A JP 2015184246A JP 6436030 B2 JP6436030 B2 JP 6436030B2
- Authority
- JP
- Japan
- Prior art keywords
- life log
- emotion level
- data
- driver
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 claims description 181
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000007726 management method Methods 0.000 description 35
- 238000000034 method Methods 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 21
- 230000006399 behavior Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000008921 facial expression Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 239000002699 waste material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Psychiatry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Educational Technology (AREA)
- Medical Informatics (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Veterinary Medicine (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Developmental Disabilities (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Traffic Control Systems (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
Description
上記課題を解決するライフログ記録システムは、使用者の生活情報をライフログデータとして記録するライフログ記録システムであって、前記使用者の行動から前記ライフログデータを取得するライフログデータ取得部と、前記使用者の行動を監視した監視結果と生体センサによる前記使用者の生体信号との少なくとも一方に基づき当該使用者の感情の状態をデータ化した感情レベルを推定する感情レベル推定部と、前記ライフログデータが記憶される記憶装置と、前記ライフログデータ取得部を通じて取得されるライフログデータに前記感情レベル推定部を通じて推定される前記使用者の感情レベルを関連付けして記録対象データを生成する記録対象データ生成部と、前記記録対象データの前記記憶装置への保存の可否を前記関連付けされた感情レベルに基づく選択性を持たせて管理するログ管理部とを備える。
図1に示すように、車両100は、例えばCAN(コントローラエリアネットワーク)等の車両ネットワークNWを介して複数の電子制御装置が接続されている。これら電子制御装置には、車両100の走行時における運転者のライフログデータを取得するライフログデータ取得部110、車両100の走行時における運転者の感情レベルを推定する感情レベル推定部120、ライフログデータ取得部110を通じて取得したライフログデータと感情レベル推定部120を通じて取得した運転者の感情レベルとを関連付けて記録対象データを生成する記録対象データ生成部130が含まれる。
一般に、車両の運転者のライフログデータとその取得時における運転者の感情レベルとを関連付けることは、ライフログデータの利用価値を高める上で有効である。例えば図3に示した例のように、車両100のその都度の位置座標及び車室内で再生した楽曲の曲名と当該データ取得時における運転者の感情レベルとを関連付けたような場合、車両100が再びその位置を走行するときに該当する楽曲を自動再生するようにすれば、運転者の感情に快く働きかけるようなサービスを提供することも可能となる。
(1)ログ管理部202は、ライフログデータに関連付けられた運転者の感情レベルに応じて選択性を持たせて記録対象データの記憶装置203への保存の可否を管理するようにしている。そのため、有用性の高いライフログデータを優先して記憶装置203に残すことが可能になり、記憶装置203の記憶残量を無駄なく管理することができるようになる。
・上記実施の形態においては、センター200が備える記憶装置203に記録対象データを記録するようにした。これに代えて、図6に示すように、こうした記録対象データを、車両ネットワークNWに接続されたログ管理部161を通じて車両100が備える記憶装置162に記録するようにしてもよい。上述したライフログデータの記録、管理手法によれば、記憶装置162の記憶残量を無駄なく管理することが可能となるため、このような構成への採用も意義有るものとなる。
Claims (5)
- 使用者の生活情報をライフログデータとして記録するライフログ記録システムであって、
前記使用者の行動から前記ライフログデータを取得するライフログデータ取得部と、
前記使用者の行動を監視した監視結果と生体センサによる前記使用者の生体信号との少なくとも一方に基づき当該使用者の感情の状態をデータ化した感情レベルを推定する感情レベル推定部と、
前記ライフログデータが記憶される記憶装置と、
前記ライフログデータ取得部を通じて取得されるライフログデータに前記感情レベル推定部を通じて推定される前記使用者の感情レベルを関連付けして記録対象データを生成する記録対象データ生成部と、
前記記録対象データの前記記憶装置への保存の可否を前記関連付けされた感情レベルに基づく選択性を持たせて管理するログ管理部とを備える
ことを特徴とするライフログ記録システム。 - 前記ログ管理部は、前記関連付けされた感情レベルが記録の対象となる範囲にある記録対象データを選択的に前記記憶装置に記録する
請求項1に記載のライフログ記録システム。 - 前記ログ管理部は、前記記憶装置の記憶残量が所定値未満であるとき、前記関連付けされた感情レベルが消去の対象となる範囲にある記録対象データを前記記憶装置から消去する
請求項1又は2に記載のライフログ記録システム。 - 前記ログ管理部は、前記消去の候補となる記録対象データが複数あるときには、記録の時期の古い記録対象データから優先して消去する
請求項3に記載のライフログ記録システム。 - 前記使用者が、車両の運転者であり、
前記ライフログデータ取得部は、車載機器の操作及び車両走行に関わる操作の少なくとも一つが含まれる車両の走行時における運転者の車両操作行動を前記ライフログデータとして取得するものであり、
前記感情レベル推定部は、車両の走行時における運転者の感情レベルを推定するものである
請求項1〜4のいずれか一項に記載のライフログ記録システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015184246A JP6436030B2 (ja) | 2015-09-17 | 2015-09-17 | ライフログ記録システム |
US15/145,381 US10133917B2 (en) | 2015-09-17 | 2016-05-03 | Lifelog recording system |
CN201610588005.XA CN106548533B (zh) | 2015-09-17 | 2016-07-25 | 生活轨迹记录*** |
DE102016217297.2A DE102016217297A1 (de) | 2015-09-17 | 2016-09-12 | Lifelog-aufzeichnungssystem |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015184246A JP6436030B2 (ja) | 2015-09-17 | 2015-09-17 | ライフログ記録システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017059044A JP2017059044A (ja) | 2017-03-23 |
JP6436030B2 true JP6436030B2 (ja) | 2018-12-12 |
Family
ID=58282516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015184246A Active JP6436030B2 (ja) | 2015-09-17 | 2015-09-17 | ライフログ記録システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10133917B2 (ja) |
JP (1) | JP6436030B2 (ja) |
CN (1) | CN106548533B (ja) |
DE (1) | DE102016217297A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018123057A1 (ja) * | 2016-12-28 | 2018-07-05 | 本田技研工業株式会社 | 情報提供システム |
US10860841B2 (en) | 2016-12-29 | 2020-12-08 | Samsung Electronics Co., Ltd. | Facial expression image processing method and apparatus |
DE102017200970B3 (de) * | 2017-01-23 | 2018-04-05 | Audi Ag | Verfahren zum Dokumentieren einer Fahrt eines Kraftfahrzeugs |
JP6499682B2 (ja) * | 2017-01-31 | 2019-04-10 | 本田技研工業株式会社 | 情報提供システム |
JP6841167B2 (ja) * | 2017-06-14 | 2021-03-10 | トヨタ自動車株式会社 | コミュニケーション装置、コミュニケーションロボットおよびコミュニケーション制御プログラム |
JP6517280B2 (ja) * | 2017-07-10 | 2019-05-22 | 本田技研工業株式会社 | ライフログ活用システム、方法及びプログラム |
JP6522695B2 (ja) * | 2017-07-13 | 2019-05-29 | 本田技研工業株式会社 | ライフログ活用システム、方法及びプログラム |
WO2019090106A1 (en) * | 2017-11-03 | 2019-05-09 | Sensormatic Electronics, LLC | Methods and system for employee monitoring and business rule and quorum compliance monitoring |
US10836403B2 (en) * | 2017-12-04 | 2020-11-17 | Lear Corporation | Distractedness sensing system |
JP6885858B2 (ja) * | 2017-12-15 | 2021-06-16 | ヤフー株式会社 | 推定装置、推定方法、及び推定プログラム |
DE102018200133B4 (de) * | 2018-01-08 | 2022-06-30 | Audi Ag | Unterhaltungssystem für ein Kraftfahrzeug und Verfahren zum Betreiben eines Unterhaltungssystems eines Kraftfahrzeugs |
CN108710821A (zh) * | 2018-03-30 | 2018-10-26 | 斑马网络技术有限公司 | 车辆用户状态识别***及其识别方法 |
US10867218B2 (en) * | 2018-04-26 | 2020-12-15 | Lear Corporation | Biometric sensor fusion to classify vehicle passenger state |
GB2579656A (en) * | 2018-12-11 | 2020-07-01 | Ge Aviat Systems Ltd | Method of assessing a pilot emotional state |
CN109815817A (zh) * | 2018-12-24 | 2019-05-28 | 北京新能源汽车股份有限公司 | 一种驾驶员的情绪识别方法及音乐推送方法 |
CN109785861B (zh) * | 2018-12-29 | 2021-07-30 | 惠州市德赛西威汽车电子股份有限公司 | 基于行车数据的多媒体播放控制方法、存储介质及终端 |
WO2020230458A1 (ja) * | 2019-05-16 | 2020-11-19 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN110457174A (zh) * | 2019-05-24 | 2019-11-15 | 深圳市金泰克半导体有限公司 | 日志管理方法、装置、电子设备及存储介质 |
US11524691B2 (en) | 2019-07-29 | 2022-12-13 | Lear Corporation | System and method for controlling an interior environmental condition in a vehicle |
JP7251392B2 (ja) * | 2019-08-01 | 2023-04-04 | 株式会社デンソー | 感情推定装置 |
EP4053792A4 (en) * | 2019-10-30 | 2022-12-14 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND ARTIFICIAL INTELLIGENCE MODEL MAKING METHOD |
US11532319B2 (en) * | 2020-03-16 | 2022-12-20 | Harman International Industries, Incorporated | Techniques for separating driving emotion from media induced emotion using an additive/subtractive, conjunctive, disjunctive, or Bayesian technique in a driver monitoring system |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002044609A (ja) * | 2000-07-31 | 2002-02-08 | Matsushita Electric Ind Co Ltd | 映像記録装置および監視装置 |
JP2006080644A (ja) * | 2004-09-07 | 2006-03-23 | Toshiba Tec Corp | カメラ |
JP2009049951A (ja) * | 2007-08-23 | 2009-03-05 | Sony Corp | 撮像装置、撮像方法 |
JP5217703B2 (ja) * | 2008-07-04 | 2013-06-19 | トヨタ自動車株式会社 | 運転者状態記録装置 |
JP5266476B2 (ja) * | 2009-07-23 | 2013-08-21 | 日本電信電話株式会社 | 行動記録保存システム、サーバ装置、行動記録保存方法及びコンピュータプログラム |
US20110172873A1 (en) * | 2010-01-08 | 2011-07-14 | Ford Global Technologies, Llc | Emotive advisory system vehicle maintenance advisor |
US8872640B2 (en) * | 2011-07-05 | 2014-10-28 | Saudi Arabian Oil Company | Systems, computer medium and computer-implemented methods for monitoring health and ergonomic status of drivers of vehicles |
US9526455B2 (en) * | 2011-07-05 | 2016-12-27 | Saudi Arabian Oil Company | Systems, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees |
WO2013030942A1 (ja) * | 2011-08-30 | 2013-03-07 | トヨタ自動車 株式会社 | 行動履歴の管理システム及び行動履歴の管理方法 |
US10459924B2 (en) | 2011-09-26 | 2019-10-29 | Nec Corporation | Information processing system, information processing method, information processing device and communication terminal, and method and program for controlling same |
KR101399601B1 (ko) * | 2011-10-27 | 2014-05-27 | 허헌 | 사용자 데이터를 이용한 감정 표현 로봇 |
CN202619669U (zh) * | 2012-04-27 | 2012-12-26 | 浙江吉利汽车研究院有限公司杭州分公司 | 驾驶员情绪监控装置 |
CN102874259B (zh) * | 2012-06-15 | 2015-12-09 | 浙江吉利汽车研究院有限公司杭州分公司 | 一种汽车驾驶员情绪监视及车辆控制*** |
JP5668025B2 (ja) | 2012-06-22 | 2015-02-12 | シャープ株式会社 | 携帯端末装置 |
JP5755791B2 (ja) * | 2013-12-05 | 2015-07-29 | Pst株式会社 | 推定装置、プログラム、推定装置の作動方法および推定システム |
CN104010132B (zh) * | 2014-05-19 | 2017-02-22 | 深圳市点通数据有限公司 | 基于情绪控制的智能拍录装置及方法 |
JP6287728B2 (ja) * | 2014-09-25 | 2018-03-07 | 株式会社デンソー | 車載システム、車両制御装置、および車両制御装置用のプログラム |
CN104409085A (zh) * | 2014-11-24 | 2015-03-11 | 惠州Tcl移动通信有限公司 | 一种车载智能音乐播放器及其音乐播放方法 |
CN204600505U (zh) * | 2015-04-27 | 2015-09-02 | 山东理工大学 | 一种驾驶员情绪监控装置 |
JP2017121286A (ja) * | 2016-01-05 | 2017-07-13 | 富士通株式会社 | 情動推定システム、情動推定方法および情動推定プログラム |
-
2015
- 2015-09-17 JP JP2015184246A patent/JP6436030B2/ja active Active
-
2016
- 2016-05-03 US US15/145,381 patent/US10133917B2/en active Active
- 2016-07-25 CN CN201610588005.XA patent/CN106548533B/zh active Active
- 2016-09-12 DE DE102016217297.2A patent/DE102016217297A1/de not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
JP2017059044A (ja) | 2017-03-23 |
US20170083757A1 (en) | 2017-03-23 |
US10133917B2 (en) | 2018-11-20 |
CN106548533B (zh) | 2019-04-26 |
CN106548533A (zh) | 2017-03-29 |
DE102016217297A1 (de) | 2017-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6436030B2 (ja) | ライフログ記録システム | |
US20200233637A1 (en) | Machine-led mood change | |
Kashevnik et al. | Driver distraction detection methods: A literature review and framework | |
US9507326B2 (en) | System and method for using biometrics to predict and select music preferences | |
US9165280B2 (en) | Predictive user modeling in user interface design | |
JP7074069B2 (ja) | 情報処理装置および方法、並びにプログラム | |
JP2018100936A (ja) | 車載装置及び経路情報提示システム | |
CN110740901A (zh) | 多媒体信息推送方法、装置、存储介质及电子设备 | |
JP2018179704A (ja) | 車両用報知装置 | |
JP2018055550A (ja) | 施設満足度算出装置 | |
JP6752901B2 (ja) | 情報提供システムおよびサーバ | |
US20170147396A1 (en) | Information presentation device, method, and program | |
JP2018200192A (ja) | 地点提案装置及び地点提案方法 | |
WO2018123057A1 (ja) | 情報提供システム | |
JP2010033549A (ja) | 情報提供装置、情報提供方法、プログラムおよび情報提供システム | |
JP6303795B2 (ja) | 経路探索システム及び経路探索方法 | |
JP2018059721A (ja) | 駐車位置探索方法、駐車位置探索装置、駐車位置探索プログラム及び移動体 | |
JP6962034B2 (ja) | 情報提供装置および情報提供方法 | |
KR102486161B1 (ko) | 차량, 차량의 제어 방법 및 영상 탐색 장치 | |
KR102675289B1 (ko) | 차량 및 그 제어 방법 | |
WO2023203725A1 (ja) | 情報分析装置及び情報分析方法 | |
US20230020786A1 (en) | System for a motor vehicle and method for assessing the emotions of a driver of a motor vehicle | |
JP2021126250A (ja) | 心理状態推定装置及び心理状態推定方法 | |
KR20230081584A (ko) | 자동 및 멀티 모달리티 정보 입력을 활용하는 일상 추적 시스템을 위한 인공지능 기반의 상황 추론 장치 및 방법 | |
CN115631550A (zh) | 一种用户反馈的方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170623 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181029 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6436030 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |