JP2018055550A - 施設満足度算出装置 - Google Patents
施設満足度算出装置 Download PDFInfo
- Publication number
- JP2018055550A JP2018055550A JP2016193254A JP2016193254A JP2018055550A JP 2018055550 A JP2018055550 A JP 2018055550A JP 2016193254 A JP2016193254 A JP 2016193254A JP 2016193254 A JP2016193254 A JP 2016193254A JP 2018055550 A JP2018055550 A JP 2018055550A
- Authority
- JP
- Japan
- Prior art keywords
- facility
- vehicle
- unit
- occupant
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims description 30
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 230000008451 emotion Effects 0.000 claims description 66
- 230000008921 facial expression Effects 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 24
- 239000003795 chemical substances by application Substances 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
【課題】車両の乗員の施設に対する満足その推定精度の向上を図ることができる装置を提供する。
【解決手段】滞在判定部42により、車両Xの施設における滞在の有無が判定される。感情推定部43により、車両Xの乗員の状態に関する情報に基づき、当該一または複数の乗員の感情が推定される。滞在判定部42により車両Xが施設に滞在したと判定された場合、車両Xが施設から立ち去ってから指定時間内に感情推定部43により推定された乗員の感情に基づき、当該乗員の施設に対する満足度の指標値が指標値評価部44により評価される。
【選択図】図1
【解決手段】滞在判定部42により、車両Xの施設における滞在の有無が判定される。感情推定部43により、車両Xの乗員の状態に関する情報に基づき、当該一または複数の乗員の感情が推定される。滞在判定部42により車両Xが施設に滞在したと判定された場合、車両Xが施設から立ち去ってから指定時間内に感情推定部43により推定された乗員の感情に基づき、当該乗員の施設に対する満足度の指標値が指標値評価部44により評価される。
【選択図】図1
Description
本発明は、車両の運転者とのコミュニケーションを実行する装置に関する。
近年、人間から発せられる音声や表情をもとに、コンピュータが人間の感情を推定する技術が開発されている。このような感情推定技術は、例えばコンピュータと対話を行う際に、人間の感情に基づいて回答をおこなうことで円滑な対話を実現する等の応用が期待されている。感情推定技術としては、例えば、音声信号から感情に対応する特徴量を抽出し、基準となる音声信号とのズレ量を検出することで感情を判断する技術が提案されている(特許文献1参照)。また、人の表情の画像、特に眼および口の形状について、予め設定されている複数の基本感情に対する感情確定度を求めることにより、心理状態を推定する技術が提案されている(特許文献2参照)。
イベントまたはショッピングなどの特定地域を既に訪問した人から満足度に関する情報を収集し、それをネットワーク上に公開する情報システムが提案されている(特許文献3参照)。情報センタは車両の搭乗者の満足度に関する質問を送信する際、速度情報に基づいて停止している車両を選択して質問を送信する。情報センタが、車両が移動中だと判断した場合、搭乗者に関する情報に基づいて、運転者以外の搭乗者が存在する車両であると判断した場合に限り、質問を送信する。このようにすると、運転者以外に搭乗者が存在せず、かつ車両が移動中のときに質問の送付を防止することができ、その結果、回答者の安全を確保することができる。
しかし、車両の乗員への質問および当該乗員の回答からだけでは、乗員の施設に対する満足度の推定精度が低くなる場合がある。例えば、車両の乗員が滞在した施設に対して満足していても、乗員同士の会話をやめたくないまたは余韻を楽しんでいる雰囲気を損ねたくないと感じるなどの原因により、その意に反する言葉を口にする場合がある。
そこで、本発明は、車両の乗員の施設に対する満足度の推定精度の向上を図ることができる装置を提供することを目的とする。
本発明の施設満足度算出装置は、車両の施設における滞在の有無を判定する滞在判定部と、前記車両の一または複数の乗員の状態に関する情報に基づき、前記一または複数の乗員の感情を推定する感情推定部と、前記滞在判定部により前記車両が前記施設に滞在したと判定された場合、前記車両が前記施設から立ち去ってから指定時間内に前記感情推定部により推定された前記一または複数の乗員の感情に基づき、前記一または複数の乗員の前記施設に対する満足度の指標値を評価する指標値評価部と、前記車両の乗員の人数を推定する人数推定部と、前記人数推定部により前記車両の乗員が一人のみであると推定された場合、乗員に向けた質問を出力する質問部と、を備えている。
本発明の施設満足度算出装置において、前記滞在判定部により前記車両が前記施設に滞在したと判定され、かつ、前記人数推定部により前記車両の乗員が複数であると推定された場合、前記質問部が、前記指定時間内に前記感情推定部による前記乗員の感情の推定確度が所定値以上にならないことを要件として、前記乗員に向けた質問を出力することが好ましい。
本発明の施設満足度算出装置において、前記指標値評価部が、前記車両が前記施設から立ち去ってから前記指定時間内に前記感情推定部により推定された前記一または複数の乗員の感情に加えて、前記車両が前記施設に到着する前の所定時間内に前記感情推定部により推定された前記一または複数の乗員の感情に基づき、前記一または複数の乗員の前記施設に対する満足度の指標値を評価することが好ましい。
本発明の施設満足度算出装置において、前記車両の一または複数の乗員の状態に関する情報は、カメラで撮影された前記一または複数の乗員の表情および動作、ならびにマイクで集音された前記一または複数の乗員の音声のうち少なくともいずれか1つであることが好ましい。
本発明の施設満足度算出装置によれば、車両の乗員の施設に対する満足度の推定精度の向上を図ることができる。
(基本システムの構成)
本発明の一実施形態としての施設満足度算出装置4(図4参照)は、図1に示されている基本システムの構成要素のうち少なくとも一部により構成されている。基本システムは、車両X(移動体)に搭載されているエージェント装置1、乗員により車両Xの内部に持ち込み可能な携帯端末装置2(例えばスマートホン)およびサーバ3により構成されている。エージェント装置1、携帯端末装置2およびサーバ3は無線通信網(例えばインターネット)を通じて相互に無線通信する機能を備えている。エージェント装置1および携帯端末装置2は、同一の車両Xの空間内に共存するなど、物理的に近接している場合、近接無線方式(例えばBluetooth(「Bluetooth」は登録商標))により相互に無線通信する機能を備えている。
本発明の一実施形態としての施設満足度算出装置4(図4参照)は、図1に示されている基本システムの構成要素のうち少なくとも一部により構成されている。基本システムは、車両X(移動体)に搭載されているエージェント装置1、乗員により車両Xの内部に持ち込み可能な携帯端末装置2(例えばスマートホン)およびサーバ3により構成されている。エージェント装置1、携帯端末装置2およびサーバ3は無線通信網(例えばインターネット)を通じて相互に無線通信する機能を備えている。エージェント装置1および携帯端末装置2は、同一の車両Xの空間内に共存するなど、物理的に近接している場合、近接無線方式(例えばBluetooth(「Bluetooth」は登録商標))により相互に無線通信する機能を備えている。
(エージェント装置の構成)
エージェント装置1は、例えば図2に示されているように、制御部100、センサ部11(GPSセンサ111、車速センサ112およびジャイロセンサ113を備えている。)、車両情報部12、記憶部13、無線部14(近接無線通信部141および無線通信網通信部142を備えている。)、表示部15、操作入力部16、オーディオ部17(音声出力部)、ナビゲーション部18、撮像部191(車内カメラ)および音声入力部192(マイク)を備えている。
エージェント装置1は、例えば図2に示されているように、制御部100、センサ部11(GPSセンサ111、車速センサ112およびジャイロセンサ113を備えている。)、車両情報部12、記憶部13、無線部14(近接無線通信部141および無線通信網通信部142を備えている。)、表示部15、操作入力部16、オーディオ部17(音声出力部)、ナビゲーション部18、撮像部191(車内カメラ)および音声入力部192(マイク)を備えている。
センサ部11のGPSセンサ111はGPS(Global Positioning System)衛星からの信号を基に現在位置を算出する。車速センサ112は回転軸からのパルス信号を基に車両の速度を算出する。ジャイロセンサ113は角速度を検出する。これらGPSセンサ、車速センサ、ジャイロセンサにより、車両の現在位置や向きを正確に算出することが可能となっている。
車両情報部12は、CAN−BUSなどの車内ネットワークを通じて車両情報を取得する。車両情報には、例えばイグニッションSWのON/OFF、安全装置系の動作状況(ADAS、ABSおよびエアバッグなど)の情報が含まれている。操作入力部16は、スイッチ押下等の操作のほか、乗員の感情推定に利用可能なステアリング、アクセルペダルまたはブレーキペダルの操作量、窓およびエアコンの操作(温度設定など)などの入力を検知する。
無線部14の近接無線通信部141は、例えばWi−Fi: Wireless Fidelity(登録商標)、Bluetooth(登録商標)等の通信部であり、無線通信網通信部142は、3Gやセルラー、LTE通信等のいわゆる携帯電話網に代表される無線通信網に接続される通信部である。
(携帯端末装置の構成)
携帯端末装置2は、例えば図3に示されているように、制御部200、センサ部21(GPSセンサ211およびジャイロセンサ213を備えている。)、記憶部23(データ記憶部231およびアプリケーション記憶部232を備えている。)、無線部24(近接無線通信部241および無線通信網通信部242を備えている。)、表示部25、操作入力部26、音声出力部27、撮像部291(カメラ)および音声入力部292(マイク)を備えている。
携帯端末装置2は、例えば図3に示されているように、制御部200、センサ部21(GPSセンサ211およびジャイロセンサ213を備えている。)、記憶部23(データ記憶部231およびアプリケーション記憶部232を備えている。)、無線部24(近接無線通信部241および無線通信網通信部242を備えている。)、表示部25、操作入力部26、音声出力部27、撮像部291(カメラ)および音声入力部292(マイク)を備えている。
携帯端末装置2は、エージェント装置1と共通する構成要素を備えている。携帯端末装置2は、車両情報を取得する構成要素(図2/車両情報部12参照)を備えていないが、例えば近接無線通信部241を通じてエージェント装置1から車両情報を取得することが可能である。また、アプリケーション記憶部232に記憶されているアプリケーション(ソフトウェア)にしたがって、エージェント装置1のオーディオ部17およびナビゲーション部18のそれぞれと同様の機能を携帯端末装置2が備えていてもよい。
(施設満足度算出装置の構成)
図4に示されている本発明の一実施形態としての施設満足度算出装置4は、エージェント装置1および携帯端末装置2のうち一方または両方により構成されている。施設満足度算出装置4の一部の構成要素がエージェント装置1の構成要素であり、施設満足度算出装置4のその他の構成要素が携帯端末装置2の構成要素であり、相互の構成要素を補完し合うようにエージェント装置1および携帯端末装置2が連携してもよい。符号に関してN1(N2)という記載は、構成要素N1および構成要素N2のうち一方または両方により構成されていることまたは実行されていることを表わしている。
図4に示されている本発明の一実施形態としての施設満足度算出装置4は、エージェント装置1および携帯端末装置2のうち一方または両方により構成されている。施設満足度算出装置4の一部の構成要素がエージェント装置1の構成要素であり、施設満足度算出装置4のその他の構成要素が携帯端末装置2の構成要素であり、相互の構成要素を補完し合うようにエージェント装置1および携帯端末装置2が連携してもよい。符号に関してN1(N2)という記載は、構成要素N1および構成要素N2のうち一方または両方により構成されていることまたは実行されていることを表わしている。
施設満足度算出装置4は、記憶部13(23)、撮像部191(291)、音声入力部192(292)、音声出力部17(27)(またはオーディオ部)およびナビゲーション部18を備えている。施設満足度算出装置4は、情報取得部41と、滞在判定部42と、感情推定部43と、指標値評価部44と、人数推定部45と、を備えている。
情報取得部41は、撮像部191(291)、音声入力部192(292)、ナビゲーション部18および時計402からの出力信号に基づき、車両Xの運転者などの乗員の状態に関する情報を乗員状態情報として取得する。
撮像部191(291)により撮像された、乗員(特に車両Xの運転者または主乗員(第1乗員))がオーディオ部17から出力されている音楽のリズムに合わせて身体の一部(例えば頭部)を周期的に動かしている様子など、その所作を表わす動画が乗員状態情報として取得されてもよい。撮像部191(291)により撮像された、乗員(特に車両Xの運転者(第1乗員)の同乗者または副乗員(第2乗員))が、眼を閉じている様子、車外を眺めている様子、またはスマートホンの操作をしている様子など、その所作を表わす動画が乗員状態情報として取得されてもよい。撮像部191(291)により撮像された、ナビゲーション部18の出力画像変更または音声出力に応じた乗員(第1乗員)の視線の動きなどの反応を表わす動画が乗員状態情報として取得されてもよい。
音声入力部192(292)により検出された、乗員の鼻歌が乗員情報として取得されてもよい。オーディオ部17から出力されている音楽コンテンツに関する情報が乗員情報として取得されてもよい。音声入力部192(292)により検出された、第1乗員および第2乗員の会話または第2乗員の発話の内容が車内状況情報として取得されてもよい。
サーバ3から施設満足度算出装置4に対して送信された、ナビゲーションルートまたはこれを包含する領域に含まれる道路またはこれを構成するリンクの移動コスト(距離、移動所要時間、交通渋滞度またはエネルギー消費量)が乗員状態情報(交通状況情報)として取得されてもよい。ナビゲーションルートは、現在地点または出発地点から目的地点まで連続する複数のリンクにより構成され、ナビゲーション部18もしくは携帯端末装置2のナビゲーション機能、またはサーバ3によって計算される。施設満足度算出装置4の現在地点は、GPSセンサ111(211)によって測定される。出発地点および目的地点は、操作入力部16(26)または音声入力部192(292)を通じて乗員により設定される。
滞在判定部42は、車両Xの施設における滞在の有無を判定する。感情推定部43は、車両Xの一または複数の乗員の状態に関する情報に基づき、当該一または複数の乗員の感情を推定する。指標値評価部44は、滞在判定部42により車両Xが施設に滞在したと判定された場合、車両Xが施設から立ち去ってから指定時間内に感情推定部43により推定された一または複数の乗員の感情に基づき、当該一または複数の乗員の当該施設に対する満足度の指標値を評価する。指標値評価部44は、車両Xが施設から立ち去ってから第3指定時間内に感情推定部43により推定された一または複数の乗員の感情に加えて、車両Xが施設に到着する前の所定時間内に感情推定部43により推定された一または複数の乗員の感情に基づき、当該一または複数の乗員の施設に対する満足度の指標値を評価する。
人数推定部45は、車両Xの乗員の人数を推定する。人数の推定は、撮像部191(291)で撮影された画像から人を検出しても良いし、シートに装着された着座センサー(図示しない)や、シートベルトの装着を検出する装置(図示しない)によって検出しても良い。質問部46は、人数推定部45により車両Xの乗員が一人のみであると推定された場合、乗員に向けた質問を出力する。質問部46は、滞在判定部42により車両Xが施設に滞在したと判定され、かつ、人数推定部45により車両Xの乗員が複数であると推定された場合、指定時間内に感情推定部43による乗員の感情の推定確度が所定値以上にならないことを要件として、乗員に向けた質問を出力する。
(施設満足度算出装置の作用)
前記構成の施設満足度算出装置4の作用または機能について説明する。
前記構成の施設満足度算出装置4の作用または機能について説明する。
情報取得部41が、車両Xの乗員の状態を表わす情報を乗員状態情報として取得する(図5/STEP102)。例えば、撮像部191(291)により撮像された、車両Xのキャビンスペースにいる乗員の表情、または、複数の乗員が会話をしている様子を表わす画像が乗員状態として取得されてもよい。音声入力部192(292)により検出された、乗員の発話内容が乗員状態情報として取得されてもよい。乗員状態情報は、時計402により計測された時刻とともに記憶部13(23)に時系列的に記憶保持される。
感情推定部43が、情報取得部41により取得された乗員状態情報に基づき、車両Xの一または複数の乗員の感情を推定する(図5/STEP104)。具体的には、乗員状態情報を入力として、ディープラーニングまたはサポートベクターマシン等の機械学習により作成されたフィルターが用いられて、当該乗員の感情が推定される。例えば、複数の乗員が会話を楽しんでいる様子を示す動画または音声情報が乗員状態情報に含まれている場合、当該複数の乗員の感情が「好き」または「楽しい」などの肯定的な感情であると推定される。感情推定結果は、時計402により計測された時刻とともに記憶部13(23)に時系列的に記憶保持される。
滞在判定部42が、車両Xの施設への到着の有無を判定する(図5/STEP106)。例えば、車両情報部12からIGNスイッチがONからOFFに切り替えられてから一定時間が経過し、かつ、GPSセンサ111(211)によって測定される車両Xまたは施設満足度算出装置4の現在位置が、ナビゲーション部18が保持している地図における施設の近傍領域に含まれている場合、車両Xが当該施設に到着したと判定される。当該施設が、ナビゲーション部18において目的地点として設定されたことが、到着判定のためのさらなる要件とされてもよい。
車両Xが施設に到着していないと判定された場合(図5/STEP106‥NO)、乗員状態情報の取得以降の処理が繰り返される(図5/STEP102→STEP104→STEP106参照)。
車両Xが施設に到着したと判定された場合(図5/STEP106‥YES)、滞在判定部42が、車両Xの施設からの出発の有無を判定する(図5/STEP108(図5/STEP108‥NO→STEP108参照))。例えば、車両情報部102からIGNスイッチがOFFからONに切り替えられてから一定時間が経過し、かつ、GPSセンサ111(211)によって測定される車両Xまたは施設満足度算出装置4の現在位置が、施設の近傍領域から外れている場合、車両Xが当該施設から出発したと判定される。
車両Xが施設から出発したと判定された場合(図5/STEP108‥YES)、人数推定部45が車両Xの乗員の人数を推定する(図5/STEP110)。例えば、撮像部191(291)により撮像された、車両Xのキャビンスペースの様子を示す画像が解析処理されることにより、そこにいる乗員の人数が推定される。
乗員の推定人数が複数人である場合(図5/STEP110‥A)、情報取得部41が、車両Xの乗員の状態を表わす情報を乗員状態情報として取得する(図5/STEP112)。そして、感情推定部43が、情報取得部41により取得された、車両Xの施設からの出発以後の指定時間内の乗員状態情報に基づき、乗員の感情を推定する(図5/STEP114)。
感情推定部43が、乗員の感情の推定確度が所定値以上であるか否かを判定する(図5/STEP116)。
乗員の感情の推定確度が所定値以上であると判定された場合(図5/STEP116‥YES)、指標値評価部44が、記憶部13(23)に記憶されている、車両Xの施設出発以後における指定期間内の乗員の推定感情に加えて、車両Xの施設到着以前における所定期間内の乗員の推定感情に基づき、当該乗員の当該施設に対する満足度の指標値を評価する(図5/STEP118)。例えば、車両Xの施設到着以前における乗員の推定感情を基準として、車両Xの施設出発以後における乗員の推定感情が肯定側に変化する程度が大きいほど指標値が大きく評価される傾向がある。その一方、車両Xの施設到着以前における乗員の推定感情を基準として、車両Xの施設出発以後における乗員の推定感情が否定側に変化する程度が大きいほど指標値が小さく評価される傾向がある。指標値の算出結果は、施設に関する情報と関連付けられて記憶部13(23)に記憶され、適宜サーバ3に対して送信される。
「指定時間」および「所定時間」は同一であってもよく異なっていてもよい。「指定時間」は、車両Xの施設への到着以前の所定時間内の乗員の推定感情に基づき、適応的に設定されてもよい。
乗員の感情の推定確度が所定値未満であると判定された場合(図5/STEP116‥NO)、車両Xが施設を立ち去ってからまたは出発してから指定時間が経過したか否かが質問部46により判定される(図5/STEP120)。指定時間が経過していないと判定された場合(図5/STEP120‥NO)乗員状態情報の取得以降の処理が繰り返される(図5/STEP112→STEP114→‥参照)。
指定時間が経過したと判定された場合、質問部46が乗員に向けた質問を出力する(図5/STEP122)。これにより、音声出力部17(27)から「●●(施設名称)はいかがでしたか?」等の質問音声が出力され、代替的または付加的に、当該質問を表わすテキストが表示部15(25)に表示される。
情報取得部41が乗員状態情報を取得する(図5/STEP124)。乗員状態情報には、この質問に接した乗員の「はい」または「いいえ」などの音声情報のほか、首を縦に振るまたは横に振るなどの乗員の動作を表わす動画が含まれている。感情推定部43が、情報取得部41により取得された乗員状態情報に基づき、乗員の感情を推定する(図5/STEP126)。例えば、乗員の「はい」、「楽しかった」もしくは「また行きたい」などの肯定的な発話内容、または首を縦に振るもしくは微笑むなどの肯定的な動作または表情を表わす動画が乗員状態情報に含まれている場合、当該乗員の感情が肯定的な感情であると推定される可能性が高い。その一方、乗員の「いいえ」、「いまいち」もしくは「もう行かない」などの否定的な発話内容、または首を横に振るもしくは顔をしかめるなどの否定的な動作または表情を表わす動画が乗員状態情報に含まれている場合、当該乗員の感情が否定的な感情であると推定される可能性が高い。
そして、指標値評価部44が、乗員の推定感情に基づき、当該乗員の当該施設に対する満足度の指標値を評価する(図5/STEP118)。
乗員の推定人数が一人である場合(図5/STEP110‥B)、質問部46による乗員に向けた質問の出力、乗員状態情報の取得、乗員の感情推定および指標値評価が実行される(図5/STEP122→STEP124→STEP126→STEP118参照)。
(本発明の他の実施形態1)
前記実施形態では、人数推定結果に応じて、質問の出力の有無が区別された上で乗員の感情が推定されたが(図5/STEP110→‥→STEP118参照)、他の実施形態として、人数推定が省略され(図5/STEP110参照)、質問の出力を伴わない乗員状態情報の取得および乗員の感情推定以降の処理が実行されてもよく(図5/STEP112→STEP114→‥→STEP118参照)、または、質問の出力を伴う乗員状態情報の取得および乗員の感情推定以降の処理が実行されてもよい(図5/STEP122→STEP124→‥→STEP118参照)。
前記実施形態では、人数推定結果に応じて、質問の出力の有無が区別された上で乗員の感情が推定されたが(図5/STEP110→‥→STEP118参照)、他の実施形態として、人数推定が省略され(図5/STEP110参照)、質問の出力を伴わない乗員状態情報の取得および乗員の感情推定以降の処理が実行されてもよく(図5/STEP112→STEP114→‥→STEP118参照)、または、質問の出力を伴う乗員状態情報の取得および乗員の感情推定以降の処理が実行されてもよい(図5/STEP122→STEP124→‥→STEP118参照)。
前記実施形態では、人数推定部45により車両Xの乗員が複数であると推定された場合、指定時間内に感情推定部43による乗員の感情の推定確度が所定値以上にならないことを要件として、乗員に向けた質問が出力されたが(図5/STEP110‥A→STEP112→STEP114→STEP116‥NO→STEP120‥YES→STEP122参照)、他の実施形態として、人数推定部45により車両Xの乗員が複数であると推定された場合、乗員の感情の推定確度とは無関係に乗員に向けた質問が出力されてもよい。また、乗員の感情の推定確度とは無関係に、当該乗員の(施設に対する)満足度の指標値が評価されてもよい。
前記実施形態では、記憶部13(23)に記憶されている、車両Xの施設出発以後における指定期間内の乗員の推定感情に加えて、車両Xの施設到着以前における所定期間内の乗員の推定感情に基づき、当該乗員の当該施設に対する満足度の指標値が評価されたが(図5/STEP118参照)、他の実施形態として、記憶部13(23)に記憶されている、車両Xの施設出発以後における指定期間内の乗員の推定感情のみに基づき、当該乗員の当該施設に対する満足度の指標値が評価されてもよい。例えば、車両Xの施設出発以後における乗員の推定感情が肯定的であり、かつ、肯定の程度(感情値)が大きいほど指標値が大きく評価される傾向がある。その一方、車両Xの施設出発以後における乗員の推定感情が否定的であり、かつ、否定の程度(感情値)が大きいほど指標値が小さく評価される傾向がある。
(本発明の他の実施形態2)
さらに本発明の他の実施形態として、乗員人数が一人の場合に質問を出力したが(図5/STEP122)その質問を乗員人数が一人の場合でも複数人の場合でも出力する。
この場合、例えば得られた当該施設に対する満足度が通常の施設の平均値から乖離していた場合、何故良かった(満足した)のか、何故悪かった(満足しなかった)のかを質問をおこなうことで理由を収集する。質問は、他にも、乗員が過去に訪問した他施設との比較や、今後の提言内容をおこなっても良い。
さらに本発明の他の実施形態として、乗員人数が一人の場合に質問を出力したが(図5/STEP122)その質問を乗員人数が一人の場合でも複数人の場合でも出力する。
この場合、例えば得られた当該施設に対する満足度が通常の施設の平均値から乖離していた場合、何故良かった(満足した)のか、何故悪かった(満足しなかった)のかを質問をおこなうことで理由を収集する。質問は、他にも、乗員が過去に訪問した他施設との比較や、今後の提言内容をおこなっても良い。
(本発明の他の実施形態3)
さらに本発明の他の実施形態として、収集した施設の満足度の指標値に対して活用をおこなう。例えば、当該施設に対する満足度の指標値をサーバ3で複数回集計し、施設に対するユーザ評価、さらに改善内容として解析レポートを作成し、当該施設に販売することができる。販売した収益は、施設の満足度の指標値に協力する乗員に対して金銭で還元しても良いし、無線通信使用量や音楽や映像等のコンテンツ、さらにより詳細な施設情報の提供といった本来有料である情報を無償や安価に提供することで還元することもできる。
さらに本発明の他の実施形態として、収集した施設の満足度の指標値に対して活用をおこなう。例えば、当該施設に対する満足度の指標値をサーバ3で複数回集計し、施設に対するユーザ評価、さらに改善内容として解析レポートを作成し、当該施設に販売することができる。販売した収益は、施設の満足度の指標値に協力する乗員に対して金銭で還元しても良いし、無線通信使用量や音楽や映像等のコンテンツ、さらにより詳細な施設情報の提供といった本来有料である情報を無償や安価に提供することで還元することもできる。
(本発明の他の実施形態4)
さらに本発明の他の実施形態として、収集した施設の満足度の指標値に対して異なる活用をおこなう。例えば、当該施設に対する満足度の指標値をサーバ3で複数回集計し、指標値が高評価だった施設をナビゲーション部18がルート選択する際に優先的に目的地設定する。このように実施することで、複数人によって評価の高かった所謂「優良な施設」を簡単に目的地に設定することが可能となる。
さらに本発明の他の実施形態として、収集した施設の満足度の指標値に対して異なる活用をおこなう。例えば、当該施設に対する満足度の指標値をサーバ3で複数回集計し、指標値が高評価だった施設をナビゲーション部18がルート選択する際に優先的に目的地設定する。このように実施することで、複数人によって評価の高かった所謂「優良な施設」を簡単に目的地に設定することが可能となる。
(効果)
本発明の施設満足度算出装置によれば、車両Xの乗員の施設に対する満足度の推定精度の向上を図ることができる。
本発明の施設満足度算出装置によれば、車両Xの乗員の施設に対する満足度の推定精度の向上を図ることができる。
1‥エージェント装置、2‥携帯端末装置、3‥サーバ、4‥施設満足度算出装置、11‥センサ部、111‥GPSセンサ、112‥車速センサ、113‥ジャイロセンサ、12‥車両情報部、13‥記憶部、14‥無線部、141‥近接無線通信部、142‥無線通信網通信部、15‥表示部、16‥操作入力部、17‥オーディオ部、18‥ナビゲーション部、191‥撮像部(車内カメラ)、192‥音声入力部(マイク)、21‥センサ部、211‥GPSセンサ、213‥ジャイロセンサ、23‥記憶部、231‥データ記憶部、232‥アプリケーション記憶部、24‥無線部、241‥近接無線通信部、242‥無線通信網通信部、25‥表示部、26‥操作入力部、27‥音声出力部、291‥撮像部(カメラ)、292‥音声入力部(マイク)、41‥情報取得部、42‥滞在判定部、43‥感情推定部、44‥指標値評価部、45‥人数推定部、46‥質問部、X‥車両(移動体)。
Claims (5)
- 車両の施設における滞在の有無を判定する滞在判定部と、
前記車両の一または複数の乗員の状態に関する情報に基づき、前記一または複数の乗員の感情を推定する感情推定部と、
前記滞在判定部により前記車両が前記施設に滞在したと判定された場合、前記車両が前記施設から立ち去ってから指定時間内に前記感情推定部により推定された前記一または複数の乗員の感情に基づき、前記一または複数の乗員の前記施設に対する満足度の指標値を評価する指標値評価部と、
前記車両の乗員の人数を推定する人数推定部と、
前記人数推定部により前記車両の乗員が一人のみであると推定された場合、乗員に向けた質問を出力する質問部と、をさらに備えていることを特徴とする施設満足度算出装置。 - 請求項1記載の施設満足度算出装置において、前記滞在判定部により前記車両が前記施設に滞在したと判定され、かつ、前記人数推定部により前記車両の乗員が複数であると推定された場合、前記質問部が、前記指定時間内に前記感情推定部による前記乗員の感情の推定確度が所定値以上にならないことを要件として、前記乗員に向けた質問を出力することを特徴とする施設満足度算出装置。
- 請求項1又は2に記載の施設満足度算出装置において、前記指標値評価部が、前記車両が前記施設から立ち去ってから前記指定時間内に前記感情推定部により推定された前記一または複数の乗員の感情に加えて、前記車両が前記施設に到着する前の所定時間内に前記感情推定部により推定された前記一または複数の乗員の感情に基づき、前記一または複数の乗員の前記施設に対する満足度の指標値を評価することを特徴とする施設満足度算出装置。
- 請求項1〜3のうちいずれか1つに記載の施設満足度算出装置において、前記車両の一または複数の乗員の状態に関する情報は、カメラで撮影された前記一または複数の乗員の表情および動作、ならびにマイクで集音された前記一または複数の乗員の音声のうち少なくともいずれか1つであることを特徴とする施設満足度算出装置。
- 請求項1〜4のうちいずれか1つに記載の施設満足度算出装置を有することを特徴とする移動体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016193254A JP6382273B2 (ja) | 2016-09-30 | 2016-09-30 | 施設満足度算出装置 |
US15/715,448 US20180096403A1 (en) | 2016-09-30 | 2017-09-26 | Facility satisfaction rate calculating apparatus |
CN201710899703.6A CN107886045B (zh) | 2016-09-30 | 2017-09-28 | 设施满意度计算装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016193254A JP6382273B2 (ja) | 2016-09-30 | 2016-09-30 | 施設満足度算出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018055550A true JP2018055550A (ja) | 2018-04-05 |
JP6382273B2 JP6382273B2 (ja) | 2018-08-29 |
Family
ID=61758307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016193254A Active JP6382273B2 (ja) | 2016-09-30 | 2016-09-30 | 施設満足度算出装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180096403A1 (ja) |
JP (1) | JP6382273B2 (ja) |
CN (1) | CN107886045B (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111191869A (zh) * | 2018-11-14 | 2020-05-22 | 丰田自动车株式会社 | 信息处理***、存储有程序的非易失性存储介质及控制方法 |
CN111199334A (zh) * | 2018-11-19 | 2020-05-26 | 丰田自动车株式会社 | 信息处理***、记录介质以及信息处理方法 |
KR102382211B1 (ko) * | 2020-10-26 | 2022-04-01 | 재단법인 차세대융합기술연구원 | 스마트시티 구축을 위한 시민 만족도 예측시스템 및 이의 동작방법 |
WO2022264391A1 (ja) * | 2021-06-18 | 2022-12-22 | 日本電気株式会社 | サーバ装置、システム、サーバ装置の制御方法及び記憶媒体 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7066541B2 (ja) * | 2018-06-19 | 2022-05-13 | 本田技研工業株式会社 | 制御装置および制御方法 |
CN109242743A (zh) * | 2018-08-31 | 2019-01-18 | 王陆 | 一种网约车营运服务智能监管***及其方法 |
US11535262B2 (en) | 2018-09-10 | 2022-12-27 | Here Global B.V. | Method and apparatus for using a passenger-based driving profile |
US11358605B2 (en) * | 2018-09-10 | 2022-06-14 | Here Global B.V. | Method and apparatus for generating a passenger-based driving profile |
JP7100575B2 (ja) * | 2018-12-28 | 2022-07-13 | 本田技研工業株式会社 | 情報処理装置及びプログラム |
CN110838027A (zh) * | 2019-10-23 | 2020-02-25 | 上海能塔智能科技有限公司 | 车辆使用满意度的确定方法及装置、存储介质、计算设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4296411B2 (ja) * | 2004-02-04 | 2009-07-15 | 株式会社デンソー | 情報システム |
JP2009294790A (ja) * | 2008-06-03 | 2009-12-17 | Denso Corp | 自動車用情報提供システム |
JP2013134601A (ja) * | 2011-12-26 | 2013-07-08 | Nikon Corp | 電子機器 |
JP2014178835A (ja) * | 2013-03-14 | 2014-09-25 | Nissha Printing Co Ltd | 評価システム及び評価方法 |
JP2016136293A (ja) * | 2015-01-23 | 2016-07-28 | セイコーエプソン株式会社 | 情報処理システム、サーバーシステム、情報処理装置及び情報処理方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9177474B2 (en) * | 2010-03-15 | 2015-11-03 | GM Global Technology Operations LLC | Vehicle navigation system and method |
JP5782390B2 (ja) * | 2012-02-08 | 2015-09-24 | トヨタ自動車株式会社 | 情報通知装置 |
JP5729345B2 (ja) * | 2012-04-10 | 2015-06-03 | 株式会社デンソー | 感情モニタリングシステム |
US10636046B2 (en) * | 2013-03-13 | 2020-04-28 | Ford Global Technologies, Llc | System and method for conducting surveys inside vehicles |
US20140278910A1 (en) * | 2013-03-15 | 2014-09-18 | Ford Global Technologies, Llc | Method and apparatus for subjective advertisment effectiveness analysis |
-
2016
- 2016-09-30 JP JP2016193254A patent/JP6382273B2/ja active Active
-
2017
- 2017-09-26 US US15/715,448 patent/US20180096403A1/en not_active Abandoned
- 2017-09-28 CN CN201710899703.6A patent/CN107886045B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4296411B2 (ja) * | 2004-02-04 | 2009-07-15 | 株式会社デンソー | 情報システム |
JP2009294790A (ja) * | 2008-06-03 | 2009-12-17 | Denso Corp | 自動車用情報提供システム |
JP2013134601A (ja) * | 2011-12-26 | 2013-07-08 | Nikon Corp | 電子機器 |
JP2014178835A (ja) * | 2013-03-14 | 2014-09-25 | Nissha Printing Co Ltd | 評価システム及び評価方法 |
JP2016136293A (ja) * | 2015-01-23 | 2016-07-28 | セイコーエプソン株式会社 | 情報処理システム、サーバーシステム、情報処理装置及び情報処理方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111191869A (zh) * | 2018-11-14 | 2020-05-22 | 丰田自动车株式会社 | 信息处理***、存储有程序的非易失性存储介质及控制方法 |
JP2020080129A (ja) * | 2018-11-14 | 2020-05-28 | トヨタ自動車株式会社 | 情報処理システム、プログラム、及び制御方法 |
JP7151400B2 (ja) | 2018-11-14 | 2022-10-12 | トヨタ自動車株式会社 | 情報処理システム、プログラム、及び制御方法 |
CN111199334A (zh) * | 2018-11-19 | 2020-05-26 | 丰田自动车株式会社 | 信息处理***、记录介质以及信息处理方法 |
JP2020086656A (ja) * | 2018-11-19 | 2020-06-04 | トヨタ自動車株式会社 | 情報処理システム、プログラム、及び情報処理方法 |
JP7155927B2 (ja) | 2018-11-19 | 2022-10-19 | トヨタ自動車株式会社 | 情報処理システム、プログラム、及び情報処理方法 |
KR102382211B1 (ko) * | 2020-10-26 | 2022-04-01 | 재단법인 차세대융합기술연구원 | 스마트시티 구축을 위한 시민 만족도 예측시스템 및 이의 동작방법 |
WO2022264391A1 (ja) * | 2021-06-18 | 2022-12-22 | 日本電気株式会社 | サーバ装置、システム、サーバ装置の制御方法及び記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20180096403A1 (en) | 2018-04-05 |
CN107886045A (zh) | 2018-04-06 |
CN107886045B (zh) | 2021-07-20 |
JP6382273B2 (ja) | 2018-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6382273B2 (ja) | 施設満足度算出装置 | |
JP6639444B2 (ja) | 情報提供装置及び情報提供方法 | |
US9305317B2 (en) | Systems and methods for collecting and transmitting telematics data from a mobile device | |
JP2018060192A (ja) | 発話装置およびコミュニケーション装置 | |
JP7172321B2 (ja) | 運転評価装置、運転評価システム、運転評価方法、及び運転評価用コンピュータプログラム | |
US11040712B2 (en) | Information processing apparatus and information processing method | |
CN107918637B (zh) | 服务提供装置和服务提供方法 | |
JP6612707B2 (ja) | 情報提供装置 | |
JP6713490B2 (ja) | 情報提供装置及び情報提供方法 | |
US10773726B2 (en) | Information provision device, and moving body | |
JP7192222B2 (ja) | 発話システム | |
CN108932290B (zh) | 地点提案装置及地点提案方法 | |
WO2023071768A1 (zh) | 到站提醒方法、装置、终端、存储介质及程序产品 | |
JP2020095475A (ja) | マッチング方法、マッチングサーバ、マッチングシステム、およびプログラム | |
JP2024041746A (ja) | 情報処理装置 | |
JP6619316B2 (ja) | 駐車位置探索方法、駐車位置探索装置、駐車位置探索プログラム及び移動体 | |
CN113320537A (zh) | 一种车辆控制方法和*** | |
JP6657048B2 (ja) | 処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体 | |
JP6816247B2 (ja) | 情報提供装置 | |
JP2020130502A (ja) | 情報処理装置および情報処理方法 | |
JP6660863B2 (ja) | 移動体用出力生成装置、移動体用出力生成プログラム、移動体用出力生成方法及び移動体 | |
CN115631550A (zh) | 一种用户反馈的方法和*** | |
JP2023048887A (ja) | 画像抽出装置、車両、画像抽出システム、画像抽出方法、及び画像抽出プログラム | |
JP2024003296A (ja) | ナビゲーション装置 | |
JP2024102198A (ja) | 情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180710 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6382273 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |