JP6956225B2

JP6956225B2 - Control method, personal authentication device, and recording medium

Info

Publication number: JP6956225B2
Application number: JP2020069598A
Authority: JP
Inventors: 亜旗米田; 弘一楠亀; 式井　愼一; ナワットシラワン; 内田　真司; 達男伊藤
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2015-10-08
Filing date: 2020-04-08
Publication date: 2021-11-02
Anticipated expiration: 2036-09-27
Also published as: JP2020109709A

Description

本発明は、制御方法、個人認証装置、及び、記録媒体に関する。 The present invention relates to a control method, a personal authentication device, and a recording medium.

被験者に予め刺激を付与し、付与した刺激に対する被験者の生体情報の変化を学習し、学習した生体情報の変化に基づいて被験者の心理状態を推定する装置が開示されている（特許文献１参照）。 A device that gives a stimulus to a subject in advance, learns a change in the subject's biological information in response to the given stimulus, and estimates a subject's psychological state based on the learned change in the biological information is disclosed (see Patent Document 1). ..

特開２００９−１８０４７号公報Japanese Unexamined Patent Publication No. 2009-18047

しかしながら、特許文献１に開示される装置は、被験者の心理状態を推定するに留まる。被験者の心理状態を推定するだけでは、実際のユーザ等がその心理状態になった対象が不明であるので、ユーザ等に提供し得るサービスが限定されてしまうという問題がある。 However, the device disclosed in Patent Document 1 only estimates the psychological state of the subject. There is a problem that the services that can be provided to the user or the like are limited because the target in which the actual user or the like is in the psychological state is unknown only by estimating the psychological state of the subject.

そこで、本発明は、推定した感情に基づいて、よりユーザに適した情報を提示する制御方法等を提供する。 Therefore, the present invention provides a control method or the like that presents information more suitable for the user based on the estimated emotion.

本発明の一態様に係る制御方法は、予め決められたユーザの認証情報を格納した個人認証装置の制御方法であって、センサにより取得した物理量に基づいて対象ユーザが抱いている感情を推定し、センサにより取得した物理量、又は、提示部により前記対象ユーザに提示された提示情報に基づいて、前記対象ユーザに、推定した前記感情を引き起こした対象物を特定する特定情報を生成し、推定した前記感情と、生成した前記特定情報と、前記予め決められたユーザの認証情報に基づいて、前記対象ユーザが前記予め決められたユーザであるかどうかを判定する。 The control method according to one aspect of the present invention is a control method of a personal authentication device that stores a predetermined user authentication information, and estimates the emotion held by the target user based on the physical quantity acquired by the sensor. , Based on the physical quantity acquired by the sensor or the presentation information presented to the target user by the presentation unit, specific information for identifying the estimated object that caused the emotion is generated and estimated for the target user. Based on the emotion, the generated specific information, and the authentication information of the predetermined user, it is determined whether or not the target user is the predetermined user.

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。 It should be noted that these comprehensive or specific embodiments may be realized in a recording medium such as a system, method, integrated circuit, computer program or computer-readable CD-ROM, and the system, method, integrated circuit, computer program. And may be realized by any combination of recording media.

本発明の制御方法は、推定した感情に基づいて、よりユーザに適した情報を提示することができる。 The control method of the present invention can present information more suitable for the user based on the estimated emotion.

図１は、実施の形態１における情報提示装置の機能ブロックを示すブロック図である。FIG. 1 is a block diagram showing a functional block of the information presentation device according to the first embodiment. 図２は、実施の形態１における情報提示装置の制御方法を示すフロー図である。FIG. 2 is a flow chart showing a control method of the information presentation device according to the first embodiment. 図３は、実施の形態２における情報提示装置の利用場面を示す説明図である。FIG. 3 is an explanatory diagram showing a usage scene of the information presenting device according to the second embodiment. 図４は、実施の形態２における情報提示装置の機能ブロックを示すブロック図である。FIG. 4 is a block diagram showing a functional block of the information presenting device according to the second embodiment. 図５は、実施の形態２における情報提示装置の制御方法を示すフロー図である。FIG. 5 is a flow chart showing a control method of the information presenting device according to the second embodiment. 図６は、実施の形態２における情報提示装置の動作の決定に用いる動作決定テーブルを示す説明図である。FIG. 6 is an explanatory diagram showing an operation determination table used for determining the operation of the information presenting device according to the second embodiment. 図７は、実施の形態３における情報提示装置の利用場面を示す説明図である。FIG. 7 is an explanatory diagram showing a usage scene of the information presenting device according to the third embodiment. 図８は、実施の形態３における情報提示装置の機能ブロックを示すブロック図である。FIG. 8 is a block diagram showing a functional block of the information presentation device according to the third embodiment. 図９は、実施の形態３における情報提示装置の制御方法を示すフロー図である。FIG. 9 is a flow chart showing a control method of the information presenting device according to the third embodiment. 図１０は、実施の形態３における顧客状況の分析方法を示す説明図である。FIG. 10 is an explanatory diagram showing a method of analyzing a customer situation according to the third embodiment. 図１１は、実施の形態３における顧客状況テーブルを示す説明図である。FIG. 11 is an explanatory diagram showing a customer status table according to the third embodiment. 図１２は、実施の形態３における接客方針を示す説明図である。FIG. 12 is an explanatory diagram showing a customer service policy according to the third embodiment. 図１３は、実施の形態３における接客方針の提示の一例を示す説明図である。FIG. 13 is an explanatory diagram showing an example of presenting the customer service policy according to the third embodiment. 図１４は、実施の形態３における情報提示装置の利用場面の変形例を示す説明図である。FIG. 14 is an explanatory diagram showing a modified example of the usage scene of the information presenting device according to the third embodiment. 図１５は、実施の形態４における情報提示装置の利用場面を示す説明図である。FIG. 15 is an explanatory diagram showing a usage scene of the information presenting device according to the fourth embodiment. 図１６は、実施の形態４における情報提示装置の機能ブロックを示すブロック図である。FIG. 16 is a block diagram showing a functional block of the information presenting device according to the fourth embodiment. 図１７は、実施の形態４における情報提示装置の制御方法を示すフロー図である。FIG. 17 is a flow chart showing a control method of the information presentation device according to the fourth embodiment. 図１８は、実施の形態４における嗜好ベクトルの導出方法を示す説明図である。FIG. 18 is an explanatory diagram showing a method of deriving the preference vector according to the fourth embodiment. 図１９は、実施の形態４における料理の決定方法を示す説明図である。FIG. 19 is an explanatory diagram showing a method of determining a dish according to the fourth embodiment. 図２０は、実施の形態４における料理の提示の一例を示す説明図である。FIG. 20 is an explanatory diagram showing an example of the presentation of the dish according to the fourth embodiment. 図２１は、実施の形態５における情報提示装置の利用場面を示す説明図である。FIG. 21 is an explanatory diagram showing a usage scene of the information presenting device according to the fifth embodiment. 図２２は、実施の形態５における情報提示装置の機能ブロックを示すブロック図である。FIG. 22 is a block diagram showing a functional block of the information presentation device according to the fifth embodiment. 図２３は、実施の形態５における情報提示装置の制御方法を示すフロー図である。FIG. 23 is a flow chart showing a control method of the information presentation device according to the fifth embodiment. 図２４は、実施の形態５における言語選択テーブルの一例を示す説明図である。FIG. 24 is an explanatory diagram showing an example of the language selection table according to the fifth embodiment. 図２５は、実施の形態５における言語選択テーブルの変形例を示す説明図である。FIG. 25 is an explanatory diagram showing a modified example of the language selection table according to the fifth embodiment.

本発明の一態様に係る情報提示装置の制御方法は、センサにより取得した物理量に基づいてユーザが抱いている感情を推定し、センサにより取得した物理量、又は、前記情報提示装置が備える提示部により前記ユーザに提示した情報に基づいて、前記ユーザに、推定した前記感情を引き起こした対象を特定する特定情報を生成し、推定した前記感情と、生成した前記特定情報とを用いた所定の処理を実行することで取得した情報を用いて、前記情報提示装置による提示を制御する。 The control method of the information presenting device according to one aspect of the present invention estimates the emotion held by the user based on the physical quantity acquired by the sensor, and uses the physical quantity acquired by the sensor or the presenting unit provided in the information presenting device. Based on the information presented to the user, the user is generated specific information for identifying the estimated target that caused the emotion, and a predetermined process using the estimated emotion and the generated specific information is performed. The presentation by the information presenting device is controlled by using the information acquired by the execution.

上記態様によれば、情報提示装置は、ユーザの感情と、その感情をユーザが抱いた対象とを取得し、これらに基づいた情報の提示を行う。ここで、情報提示装置がユーザの感情だけでなく、その感情をユーザが抱いた対象を取得しているので、ユーザの感情だけを取得する場合に比べて、より適切な情報をユーザに提示することができる。このように、情報提示装置は、推定した感情に基づいて、よりユーザに適した情報を提示することができる。 According to the above aspect, the information presenting device acquires the user's emotion and the object that the user holds the emotion, and presents information based on these. Here, since the information presenting device acquires not only the user's emotion but also the object that the user holds the emotion, more appropriate information is presented to the user as compared with the case where only the user's emotion is acquired. be able to. In this way, the information presenting device can present information more suitable for the user based on the estimated emotion.

なお、予め定められた対象により引き起こされるユーザの感情を推定する装置も想定し得る。しかしながら、このような装置は、予め定められた対象についてのユーザの感情を推定するだけであり、つまり上記対象以外の対象についての感情を推定することがなく、提供できるサービスが限定されてしまうことに変わりはない。本発明に係る情報提示装置は、ユーザの感情を推定するとともに、その対象を特定する処理を行い、その感情と対象とに基づいて、より適切な情報をユーザに提示することができるのである。 It should be noted that a device for estimating the user's emotions caused by a predetermined target can also be assumed. However, such a device only estimates the user's emotions about a predetermined target, that is, it does not estimate the emotions about a target other than the above targets, and the services that can be provided are limited. There is no change. The information presenting device according to the present invention can estimate a user's emotion, perform a process of identifying the target, and present more appropriate information to the user based on the emotion and the target.

例えば、前記所定の処理の実行では、人が抱いている感情と当該人に前記感情を引き起こした対象との１以上の組それぞれが候補情報に対応付けられたテーブルから一の情報を選択する選択処理、又は、前記ユーザが抱いている感情と前記ユーザに前記感情を引き起こした前記対象とを用いて情報を生成する生成処理を実行することで、前記情報を取得してもよい。 For example, in the execution of the predetermined process, one or more pairs of the emotion held by the person and the target that caused the emotion to the person select one information from the table associated with the candidate information. The information may be acquired by performing a process or a generation process of generating information using the emotion held by the user and the target that caused the emotion to the user.

上記態様によれば、情報提示装置は、選択処理又は生成処理を用いて、より具体的に提示の制御のための情報を生成することができる。 According to the above aspect, the information presenting apparatus can generate information for controlling presentation more specifically by using the selection process or the generation process.

例えば、前記感情は、ポジティブな感情とネガティブな感情とを含み、前記所定の処理の実行では、推定した前記感情がネガティブな感情であるときには、前記対象を取り除くために前記ユーザに提示する提示情報を取得し、推定した前記感情がポジティブな感情であるときには、前記感情を維持するために前記ユーザに提示する提示情報を取得し、前記提示の制御では、取得した前記提示情報を前記情報提示装置により提示してもよい。 For example, the emotion includes a positive emotion and a negative emotion, and in the execution of the predetermined process, when the estimated emotion is a negative emotion, the presentation information presented to the user to remove the target. When the estimated emotion is a positive emotion, the presentation information to be presented to the user in order to maintain the emotion is acquired, and in the control of the presentation, the acquired presentation information is used by the information presentation device. May be presented by.

上記態様によれば、情報提示装置は、ユーザの感情とその対象とに基づいて、ユーザの感情を変化又は維持させるための情報をユーザに提示する。具体的には、ユーザの感情がネガティブであり、ユーザがその感情を維持するのが適当でないと考えられる場合には、ユーザにその感情を引き起こした対象を取り除くための情報をユーザに提示する。一方、ユーザの感情がポジティブであり、ユーザがその感情を維持するのが良いと考えられる場合には、ユーザの感情を維持させるための情報をユーザに提示する。このように、情報提示装置は、よりユーザに適した情報を提示することができる。 According to the above aspect, the information presenting device presents information to the user for changing or maintaining the user's emotion based on the user's emotion and its target. Specifically, when the user's emotions are negative and it is considered inappropriate for the user to maintain the emotions, the user is presented with information for removing the target that caused the emotions. On the other hand, when the user's emotions are positive and it is considered that the user should maintain the emotions, information for maintaining the user's emotions is presented to the user. In this way, the information presenting device can present information more suitable for the user.

例えば、前記情報提示装置は、車両のナビゲーション装置であり、前記ナビゲーション装置は、人が抱いている感情と、当該人の視線の向きを示す情報との１以上の組それぞれが、前記ナビゲーション装置による道案内又は音声出力についての制御情報に対応付けられたテーブルを記憶しているメモリを備え、前記特定情報の生成では、前記センサとしてのカメラにより取得した、前記物理量を提供する画像から得られる前記ユーザの視線の向きを示す情報に基づいて、前記特定情報を生成し、前記所定の処理の実行では、推定した前記感情と、生成した前記特定情報により特定される前記対象との組に前記テーブルにおいて対応付けられている前記制御情報を選択することで、前記情報を取得し、前記提示の制御では、選択した前記制御情報に従って前記ナビゲーション装置による道案内又は音声出力を制御してもよい。 For example, the information presenting device is a vehicle navigation device, and the navigation device is such that one or more sets of emotions held by a person and information indicating the direction of the person's line of sight are each based on the navigation device. A memory that stores a table associated with control information about directions or voice output is provided, and in the generation of the specific information, the said is obtained from an image that provides the physical quantity acquired by a camera as the sensor. The specific information is generated based on the information indicating the direction of the user's line of sight, and in the execution of the predetermined process, the table is set as a set of the estimated emotion and the target specified by the generated specific information. By selecting the control information associated with the above, the information may be acquired, and in the control of the presentation, the route guidance or the voice output by the navigation device may be controlled according to the selected control information.

上記態様によれば、情報提示装置は、車両のナビゲーション装置として、ユーザの感情と視線の向きとに基づいて取得される情報をユーザに提示する。一般に、ユーザの視線は、その感情を引き起こした対象である物事に向けられる。よって、ユーザの感情を推定するだけでなく、その感情をユーザが抱いた対象をユーザの視線の向きから特定することで、その感情の推定だけをする場合に比べて、より適切な情報を提示することができる。 According to the above aspect, the information presenting device presents to the user information acquired based on the user's emotions and the direction of the line of sight as a vehicle navigation device. In general, the user's gaze is directed at the thing that caused the emotion. Therefore, not only estimating the user's emotion, but also identifying the target that the user holds from the direction of the user's line of sight presents more appropriate information than when only estimating the emotion. can do.

例えば、前記テーブルでは、前記人が抱いている前記感情と、前記人の視線の向きを示す前記情報と、前記ナビゲーション装置により取得した道路状況に関する情報との組に、前記ナビゲーション装置の前記制御情報を対応付けており、前記所定の処理では、前記ナビゲーション装置により、道路状況に関する道路情報を取得し、推定した前記感情と、生成した前記特定情報により特定される前記対象と、取得した前記道路情報との組に、前記テーブルにおいて対応付けられている前記制御情報を選択することで、前記制御情報を取得してもよい。 For example, in the table, the control information of the navigation device is combined with a set of the emotion held by the person, the information indicating the direction of the line of sight of the person, and the information about the road condition acquired by the navigation device. In the predetermined process, the navigation device acquires road information related to the road condition, the estimated emotion, the target specified by the generated specific information, and the acquired road information. The control information may be acquired by selecting the control information associated with the table.

上記態様によれば、情報提示装置は、ユーザの感情及び視線の向きに加えて、道路状況にも基づいて、ユーザに適切な情報を提示することができる。 According to the above aspect, the information presenting device can present appropriate information to the user based on the road condition in addition to the user's emotion and the direction of the line of sight.

例えば、前記対象は、商品の性質、及び、前記商品の価格のいずれかであり、前記特定情報の生成では、前記センサとしてのカメラにより取得した、前記物理量を提供する画像から得られる前記ユーザの視線の延長上に前記商品があるか、又は、前記商品の価格表示があるかに基づいて、前記性質及び前記価格のうちの一方を示す前記特定情報を生成し、前記所定の処理の実行では、推定した前記感情と、生成した前記特定情報とに基づいて、前記ユーザの購入行動を促すための提示情報を生成することで、前記情報を取得し、前記提示の制御では、生成した前記提示情報を提示してもよい。 For example, the target is either the property of the product or the price of the product, and in the generation of the specific information, the user's image obtained from the image providing the physical quantity acquired by the camera as the sensor. In the execution of the predetermined process, the specific information indicating one of the property and the price is generated based on whether the product is on the extension of the line of sight or the price of the product is displayed. The information is acquired by generating presentation information for encouraging the purchase behavior of the user based on the estimated emotion and the generated specific information, and in the control of the presentation, the generated presentation is performed. Information may be presented.

上記態様によれば、情報提示装置は、接客方針を提示する装置として、商品の性質と価格表示についてのユーザの感情に基づいて取得される情報をユーザに提示する。一般に、商品の性質と価格とのそれぞれに対してのユーザの満足が得られる場合に購入行動が行われる。しかしながら、商品の性質と価格とのいずれか又は両方についての満足しない限り購入行動は行わない。そこで、商品の性質と価格とについてのユーザの感情を分析して、購入行動を促す情報を生成することで、ユーザの購入行動につなげることができる利点がある。 According to the above aspect, the information presenting device presents to the user information acquired based on the user's feelings about the nature of the product and the price display as a device for presenting the customer service policy. In general, a purchasing action is performed when the user is satisfied with each of the nature and price of the product. However, unless you are satisfied with the nature of the product and / or the price of the product, you will not make a purchase. Therefore, there is an advantage that it can be linked to the user's purchasing behavior by analyzing the user's feelings about the nature and price of the product and generating information that encourages the purchasing behavior.

例えば、前記感情の推定、及び、前記特定情報の生成では、（ａ）前記対象としての前記性質について前記ユーザが抱いている満足の度合いを前記感情として推定するとともに、前記性質を示す情報を前記特定情報として生成し、（ｂ）前記対象としての前記価格について前記ユーザが抱いている満足の度合いを前記感情として推定するとともに、前記価格を示す情報を前記特定情報として生成し、前記所定の処理の実行では、前記（ａ）及び前記（ｂ）それぞれにより推定した前記感情、及び、生成した前記特定情報に基づいて、前記ユーザの購入行動を促すために前記ユーザに提示すべき提示情報を生成してもよい。 For example, in the estimation of the emotion and the generation of the specific information, (a) the degree of satisfaction that the user has with respect to the property as the target is estimated as the emotion, and the information indicating the property is used. Generated as specific information, (b) the degree of satisfaction that the user has with respect to the price as the target is estimated as the emotion, and information indicating the price is generated as the specific information, and the predetermined processing is performed. In the execution of, based on the emotion estimated by each of the above (a) and (b) and the generated specific information, the presentation information to be presented to the user in order to promote the purchase behavior of the user is generated. You may.

上記態様によれば、情報提示装置は、商品の性質と価格表示についてのユーザの満足度に基づいて、満足が得られていないものについて満足が得られるような情報を取得して、ユーザに提供する。これにより、具体的に、ユーザの購入行動を起こさせることができる。 According to the above aspect, the information presenting device acquires and provides the information to the user based on the user's satisfaction with the property of the product and the price display, so as to obtain the information that the user is not satisfied with. do. As a result, it is possible to specifically cause the user to make a purchase behavior.

例えば、前記対象は、複数の第一料理のいずれかであり、前記感情の推定では、前記複数の第一料理のそれぞれについて前記ユーザが抱いている好意の度合いを前記感情として推定し、前記特定情報の生成では、前記センサとしてのカメラにより取得した、前記物理量を提供する画像から得られる情報であって、前記ユーザが前記複数の第一料理のうちのどれを口に入れたかを示す情報を、前記特定情報として生成し、前記所定の処理の実行では、前記ユーザに提供する料理の候補である複数の第二料理のうち、前記ユーザが抱いた好意の度合いから算定される前記ユーザの嗜好に属性が近い第二料理を、より優先的に含む提示情報を生成することで、前記情報を取得し、前記提示の制御では、生成した前記提示情報を提示してもよい。 For example, the target is one of a plurality of first dishes, and in the estimation of the emotion, the degree of favor that the user has for each of the plurality of first dishes is estimated as the emotion, and the identification is performed. In the generation of information, information obtained from an image providing the physical quantity acquired by the camera as the sensor and indicating which of the plurality of first dishes the user has eaten is used. , The user's preference calculated from the degree of favor held by the user among a plurality of second dishes that are candidates for the dish to be provided to the user in the execution of the predetermined process generated as the specific information. The information may be acquired by generating presentation information including the second dish having an attribute close to that of, and the generated presentation information may be presented in the control of the presentation.

上記態様によれば、情報提示装置は、ユーザに提供する料理を提示する装置として、ユーザの感情と、ユーザが口に運んだ料理とに基づいてユーザの嗜好を分析し、ユーザの嗜好に比較的近い料理を示す情報をユーザに提示する。これにより、情報提示装置は、ユーザの感情を良くすることができる。 According to the above aspect, the information presenting device analyzes the user's preference based on the user's emotion and the dish that the user has brought to the mouth as a device for presenting the dish to be provided to the user, and compares the user's preference with the user's preference. Present the user with information indicating a dish that is close to the target. As a result, the information presenting device can improve the user's emotions.

例えば、前記情報提示装置は、前記複数の第一料理それぞれの属性ごとの属性値を記憶しているメモリを備え、前記所定の処理の実行では、前記複数の第一料理それぞれについて前記ユーザが抱いた好意の度合いに基づいて、前記複数の第一料理それぞれの属性ごとのユーザの嗜好を各成分とする嗜好ベクトルを導出し、前記複数の第二料理のうち、当該第二料理の属性ごとの属性値を各成分とする属性ベクトルと前記嗜好ベクトルとの内積値が小さい第二料理を、より優先的に含む前記提示情報を生成してもよい。 For example, the information presenting device includes a memory that stores attribute values for each attribute of each of the plurality of first dishes, and in the execution of the predetermined process, the user holds each of the plurality of first dishes. Based on the degree of favor, a preference vector having the user's preference for each attribute of each of the plurality of first dishes is derived, and among the plurality of second dishes, each attribute of the second dish is derived. The presented information may be generated that more preferentially includes the second dish having a small internal product value of the attribute vector having the attribute value as each component and the preference vector.

上記態様によれば、情報提示装置は、料理の属性ごとの属性値を用いたベクトル演算により、具体的にユーザの嗜好を分析し、提供する料理を決定することができる。 According to the above aspect, the information presenting device can specifically analyze the user's taste and determine the dish to be provided by the vector calculation using the attribute value for each dish attribute.

例えば、前記対象は、前記提示部による音声出力により前記ユーザに提示した一の言語による音声データであり、前記感情の推定では、前記提示部が提示した前記音声データについて前記ユーザが示した理解の度合いを前記感情として推定し、前記特定情報の生成では、前記提示部が提示した前記音声データを特定する情報を、前記特定情報として生成し、前記所定の処理の実行では、推定した前記理解の度合いが所定より低い場合に、前記一の言語とは異なる言語による音声データを取得し、前記提示の制御では、取得した当該音声データを前記提示部による音声出力により提示してもよい。 For example, the target is voice data in one language presented to the user by voice output by the presentation unit, and in the estimation of emotions, the understanding of the voice data presented by the presentation unit is shown by the user. The degree is estimated as the emotion, and in the generation of the specific information, the information that identifies the voice data presented by the presentation unit is generated as the specific information, and in the execution of the predetermined process, the estimated understanding of the understanding. When the degree is lower than a predetermined value, voice data in a language different from the one language may be acquired, and in the control of the presentation, the acquired voice data may be presented by voice output by the presentation unit.

上記態様によれば、情報提示装置は、複数の言語による音声案内を行う装置として、言語に対するユーザの感情に基づいて、ユーザが理解できる言語を決定して音声案内を行うことができる。ここで、情報提示装置がユーザに提示した言語に対するユーザの推定される感情を用いることで、ユーザが理解できる言語をより適切に判定することができる。 According to the above aspect, the information presenting device can perform voice guidance by determining a language that the user can understand based on the user's feelings toward the language as a device that performs voice guidance in a plurality of languages. Here, by using the user's presumed feelings toward the language presented to the user by the information presenting device, it is possible to more appropriately determine the language that the user can understand.

例えば、前記情報提示装置は、それぞれが一の言語による音声案内データである複数の音声案内データを記憶しているメモリを備え、前記所定の処理の実行では、（ａ）推定した前記理解の度合いが所定より低い場合に、前記メモリに記憶された前記複数の音声案内データのうち、前記提示部が提示した前記音声案内データの前記一の言語とは異なる言語による音声案内データを選択することで取得し、（ｂ）推定した前記理解の度合いが所定以上である場合に、前記提示部が提示した前記一の言語が、前記ユーザが理解できる言語であると判定してもよい。 For example, the information presenting device includes a memory that stores a plurality of voice guidance data, each of which is voice guidance data in one language, and in executing the predetermined process, (a) the estimated degree of understanding is achieved. Is lower than a predetermined value, by selecting voice guidance data in a language different from the one language of the voice guidance data presented by the presentation unit from the plurality of voice guidance data stored in the memory. When the acquired and (b) estimated degree of understanding is equal to or higher than a predetermined level, it may be determined that the one language presented by the presenting unit is a language that the user can understand.

上記態様によれば、情報提示装置は、言語に対するユーザの理解度に基づいてユーザが理解できる言語を具体的に判定することができる。 According to the above aspect, the information presenting device can specifically determine a language that the user can understand based on the user's understanding of the language.

また、本発明の一態様に係る情報提示装置は、センサにより取得した物理量に基づいてユーザが抱いている感情を推定する感情推定部と、センサにより取得した物理量、又は、前記情報提示装置により前記ユーザに提示した情報に基づいて、推定した前記感情を前記ユーザに引き起こした対象を特定する特定情報を生成する対象特定部と、推定した前記感情と、生成した前記特定情報とを用いた所定の処理を実行することで取得した情報を用いて、前記情報提示装置による提示を制御する制御部とを備える。 Further, the information presenting device according to one aspect of the present invention includes an emotion estimation unit that estimates the emotion held by the user based on the physical quantity acquired by the sensor, the physical quantity acquired by the sensor, or the information presenting device. Based on the information presented to the user, a target specific unit that generates specific information that identifies the target that caused the estimated said emotion to the user, a predetermined target using the estimated said emotion, and the generated specific information. It is provided with a control unit that controls presentation by the information presenting device by using the information acquired by executing the process.

これにより、上記と同様の効果を奏する。 As a result, the same effect as described above is obtained.

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。 It should be noted that these comprehensive or specific embodiments may be realized in a recording medium such as a system, method, integrated circuit, computer program or computer-readable CD-ROM, and the system, method, integrated circuit, computer program. Alternatively, it may be realized by any combination of recording media.

以下、実施の形態について、図面を参照しながら具体的に説明する。 Hereinafter, embodiments will be specifically described with reference to the drawings.

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。 It should be noted that all of the embodiments described below show comprehensive or specific examples. The numerical values, shapes, materials, components, arrangement positions and connection forms of the components, steps, the order of steps, etc. shown in the following embodiments are examples, and are not intended to limit the present invention. Further, among the components in the following embodiments, the components not described in the independent claims indicating the highest level concept are described as arbitrary components.

（実施の形態１）
実施の形態１において、推定した感情に基づいて、よりユーザに適した情報を提示する情報提示装置等について説明する。 (Embodiment 1)
In the first embodiment, an information presenting device and the like that present information more suitable for the user based on the estimated emotions will be described.

図１は、本実施の形態における情報提示装置１の機能ブロックを示すブロック図である。 FIG. 1 is a block diagram showing a functional block of the information presentation device 1 according to the present embodiment.

図１に示されるように、情報提示装置１は、感情推定部１１と、対象特定部１３と、制御部１４と、提示部１６とを備える。また、情報提示装置１は、センサ１０及び１２を備えてもよい。 As shown in FIG. 1, the information presentation device 1 includes an emotion estimation unit 11, a target identification unit 13, a control unit 14, and a presentation unit 16. Further, the information presenting device 1 may include sensors 10 and 12.

センサ１０は、感情推定部１１が用いるセンサの一例であり、具体例は、可視光線又は赤外線による撮像により画像を取得するカメラ、心拍計、血圧計などである。なお、センサ１０は、情報提示装置１に必須の構成ではない。 The sensor 10 is an example of a sensor used by the emotion estimation unit 11, and specific examples thereof include a camera, a heart rate monitor, and a sphygmomanometer that acquire an image by imaging with visible light or infrared light. The sensor 10 is not an essential configuration for the information presenting device 1.

感情推定部１１は、センサにより取得した物理量に基づいてユーザＵが抱いている感情を推定する処理部である。感情推定部１１が上記で用いるセンサは、例えばセンサ１０であるが、これに限られない。感情推定部１１は、センサにより取得した物理量を情報提示装置１の外部から取得してもよい。感情推定部１１は、例えば、センサとしてのカメラによる撮像により取得した物理量を提供する画像におけるユーザＵの表情を分析することで、ユーザＵが抱いている感情を推定し得る。ここで、表情（より具体的には、目、口及び鼻などのパーツの特徴点の位置）を分析することで感情を得る方法は周知技術を採用し得る。 The emotion estimation unit 11 is a processing unit that estimates the emotion held by the user U based on the physical quantity acquired by the sensor. The sensor used by the emotion estimation unit 11 described above is, for example, the sensor 10, but is not limited thereto. The emotion estimation unit 11 may acquire the physical quantity acquired by the sensor from the outside of the information presenting device 1. The emotion estimation unit 11 can estimate the emotion held by the user U by analyzing the facial expression of the user U in the image providing the physical quantity acquired by the image pickup by the camera as a sensor, for example. Here, a well-known technique can be adopted as a method of obtaining emotions by analyzing facial expressions (more specifically, positions of feature points of parts such as eyes, mouth, and nose).

センサ１２は、対象特定部１３が用いるセンサの一例であり、具体例は、可視光線又は赤外線による撮像により画像を取得するカメラである。なお、センサ１２は、情報提示装置１に必須の構成ではない。 The sensor 12 is an example of a sensor used by the target identification unit 13, and a specific example is a camera that acquires an image by imaging with visible light or infrared rays. The sensor 12 is not an essential configuration for the information presenting device 1.

対象特定部１３は、センサにより取得した物理量、又は、情報提示装置１が備える提示部１６によりユーザＵに提示した情報に基づいて、ユーザＵに、感情推定部１１が推定した上記感情を引き起こした対象を特定する処理部である。なお、対象特定部１３が上記で用いるセンサは、例えばセンサ１２であるが、これに限られない。対象特定部１３は、センサにより取得した物理量を情報提示装置１の外部から取得してもよい。対象特定部１３は、例えば、センサとしてのカメラによる撮像により取得した物理量を提供する画像におけるユーザＵの視線の向きを分析することで、上記対象を特定する。ここで、画像に基づいてユーザＵの視線の向きを分析する方法は、周知技術を採用し得る。 The target identification unit 13 causes the user U to have the above-mentioned emotion estimated by the emotion estimation unit 11 based on the physical quantity acquired by the sensor or the information presented to the user U by the presentation unit 16 provided in the information presentation device 1. It is a processing unit that identifies the target. The sensor used by the target identification unit 13 described above is, for example, a sensor 12, but is not limited to this. The target identification unit 13 may acquire the physical quantity acquired by the sensor from the outside of the information presenting device 1. The target identification unit 13 identifies the target by, for example, analyzing the direction of the line of sight of the user U in an image that provides a physical quantity acquired by imaging with a camera as a sensor. Here, as a method of analyzing the direction of the line of sight of the user U based on the image, a well-known technique can be adopted.

制御部１４は、感情推定部１１が推定した上記感情と、対象特定部１３が生成した上記特定情報（以下で説明する）とを用いた所定の処理を実行することで取得した情報を用いて、情報提示装置１による提示、つまり提示部１６による提示を制御する処理部である。 The control unit 14 uses the information acquired by executing a predetermined process using the emotion estimated by the emotion estimation unit 11 and the specific information (described below) generated by the target identification unit 13. , The processing unit that controls the presentation by the information presentation device 1, that is, the presentation by the presentation unit 16.

提示部１６は、制御部１４による制御に基づいて、所定の情報の提示を行う出力インタフェースである。具体的には、提示部１６は、表示画面（不図示）による画像の表示、又は、スピーカによる音声の出力により提示を行う。 The presentation unit 16 is an output interface that presents predetermined information based on the control by the control unit 14. Specifically, the presentation unit 16 presents by displaying an image on a display screen (not shown) or outputting audio from a speaker.

なお、感情推定部１１、対象特定部１３、制御部１４及び提示部１６の一部又は全部は、情報提示装置１が備えるプロセッサ（不図示）がプログラムを実行することでソフトウェア的に実現されてもよいし、専用回路によりハードウェア的に実現されてもよい。また、上記構成要素が処理に用いる情報は、情報提示装置１が備えるメモリ（不図示）又はストレージ（不図示）に格納されているとする。 A part or all of the emotion estimation unit 11, the target identification unit 13, the control unit 14, and the presentation unit 16 are realized by software by executing a program by a processor (not shown) included in the information presentation device 1. Alternatively, it may be realized in terms of hardware by a dedicated circuit. Further, it is assumed that the information used for processing by the above components is stored in the memory (not shown) or the storage (not shown) included in the information presenting device 1.

図２は、本実施の形態における情報提示装置１の制御方法を示すフロー図である。 FIG. 2 is a flow chart showing a control method of the information presenting device 1 according to the present embodiment.

ステップＳ１０１において、センサ１０が物理量を取得する。なお、センサ１０の代わりに、情報提示装置１の外部のセンサを用いてもよく、その場合には、本ステップにおいて、情報提示装置１は、外部のセンサにより取得された物理量を取得する。 In step S101, the sensor 10 acquires a physical quantity. An external sensor of the information presenting device 1 may be used instead of the sensor 10. In this case, the information presenting device 1 acquires the physical quantity acquired by the external sensor in this step.

ステップＳ１０２において、感情推定部１１は、センサ１０（又は外部のセンサ）により取得した物理量に基づいてユーザが抱いている感情を推定する。 In step S102, the emotion estimation unit 11 estimates the emotion held by the user based on the physical quantity acquired by the sensor 10 (or an external sensor).

ステップＳ１０３において、センサ１２が物理量を取得する。なお、上記と同様、センサ１２の代わりに、情報提示装置１の外部のセンサを用いてもよく、その場合には、本ステップにおいて、情報提示装置１は、外部のセンサにより取得された物理量を取得する。 In step S103, the sensor 12 acquires a physical quantity. As in the above, instead of the sensor 12, an external sensor of the information presenting device 1 may be used. In that case, in this step, the information presenting device 1 uses the physical quantity acquired by the external sensor. get.

ステップＳ１０４において、対象特定部１３は、センサ１２（又は外部のセンサ）により取得した物理量、又は、提示部１６によりユーザＵに提示した情報に基づいて、ユーザＵに、ステップＳ１０２で推定した上記感情を引き起こした対象を特定する特定情報を生成する。 In step S104, the target identification unit 13 tells the user U the emotion estimated in step S102 based on the physical quantity acquired by the sensor 12 (or an external sensor) or the information presented to the user U by the presentation unit 16. Generates specific information that identifies the target that caused the problem.

ステップＳ１０５において、ステップＳ１０２で推定した上記感情と、ステップＳ１０４で生成した上記特定情報とを用いた所定の処理を実行することで取得した情報を用いて、情報提示装置１による提示を制御する。 In step S105, the presentation by the information presenting device 1 is controlled by using the information acquired by executing a predetermined process using the emotion estimated in step S102 and the specific information generated in step S104.

なお、上記所定の処理の実行では、ユーザＵの感情を、推定した感情から変化又は維持させるための提示情報を、上記情報として取得してもよい。その場合、上記提示の制御では、取得した提示情報を情報提示装置１（提示部１６）により提示する。 In the execution of the predetermined process, the presented information for changing or maintaining the emotion of the user U from the estimated emotion may be acquired as the information. In that case, in the above-mentioned presentation control, the acquired presentation information is presented by the information presentation device 1 (presentation unit 16).

また、上記所定の処理の実行では、人が抱いている感情と当該人に感情を引き起こした対象との１以上の組それぞれが候補情報に対応付けられたテーブルから一の情報を選択する選択処理、又は、ユーザＵが抱いている感情とユーザＵに上記感情を起こした対象とを用いて情報を生成する生成処理を実行することで、上記情報を取得してもよい。上記生成処理では、ユーザＵが抱いている感情と上記感情の対象とを用いて、所定のアルゴリズムにより情報を生成する。 Further, in the execution of the above-mentioned predetermined process, a selection process in which one or more pairs of the emotion held by the person and the target causing the emotion to the person select one information from the table associated with the candidate information. Alternatively, the information may be acquired by executing a generation process for generating information using the emotion held by the user U and the target that caused the emotion to the user U. In the generation process, information is generated by a predetermined algorithm using the emotion held by the user U and the target of the emotion.

また、上記感情は、ポジティブな感情とネガティブな感情とを含み、上記所定の処理の実行では、推定した感情がネガティブな感情であるときには、対象を取り除くためにユーザＵに提示する提示情報を取得し、推定した感情がポジティブな感情であるときには、感情を維持するためにユーザＵに提示する提示情報を取得してもよい。この場合、上記提示の制御では、取得した提示情報を情報提示装置１により提示してもよい。「対象を取り除くためにユーザＵに提示する提示情報」は、「ユーザＵのネガティブな感情をポジティブな感情に変化させるための情報」ということもできる。 Further, the emotion includes a positive emotion and a negative emotion, and in the execution of the predetermined process, when the estimated emotion is a negative emotion, the presentation information to be presented to the user U in order to remove the target is acquired. Then, when the estimated emotion is a positive emotion, the presentation information presented to the user U in order to maintain the emotion may be acquired. In this case, in the control of the presentation, the acquired presentation information may be presented by the information presentation device 1. The "presentation information presented to the user U in order to remove the target" can also be said to be "information for changing the negative emotion of the user U into a positive emotion".

以上のように、本実施の形態の情報提示装置１は、ユーザの感情と、その感情をユーザが抱いた対象とを取得し、これらに基づいた情報の提示を行う。ここで、情報提示装置１がユーザの感情だけでなく、その感情をユーザが抱いた対象を取得しているので、ユーザの感情だけを取得する場合に比べて、より適切な情報をユーザに提示することができる。このように、情報提示装置１は、推定した感情に基づいて、よりユーザに適した情報を提示することができる。 As described above, the information presenting device 1 of the present embodiment acquires the user's emotion and the object that the user holds the emotion, and presents the information based on these. Here, since the information presenting device 1 acquires not only the user's emotion but also the object that the user holds the emotion, more appropriate information is presented to the user as compared with the case where only the user's emotion is acquired. can do. In this way, the information presenting device 1 can present information more suitable for the user based on the estimated emotion.

また、情報提示装置１は、選択処理又は生成処理を用いて、より具体的に提示の制御のための情報を生成することができる。 In addition, the information presentation device 1 can generate information for controlling presentation more specifically by using the selection process or the generation process.

また、情報提示装置１は、ユーザの感情とその対象とに基づいて、ユーザの感情を変化又は維持させるための情報をユーザに提示する。具体的には、ユーザの感情がネガティブであり、ユーザがその感情を維持するのが適当でないと考えられる場合には、ユーザにその感情を引き起こした対象を取り除くための情報をユーザに提示する。一方、ユーザの感情がポジティブであり、ユーザがその感情を維持するのが良いと考えられる場合には、ユーザの感情を維持させるための情報をユーザに提示する。このように、情報提示装置１は、よりユーザに適した情報を提示することができる。 Further, the information presenting device 1 presents information to the user for changing or maintaining the user's emotion based on the user's emotion and its target. Specifically, when the user's emotions are negative and it is considered inappropriate for the user to maintain the emotions, the user is presented with information for removing the target that caused the emotions. On the other hand, when the user's emotions are positive and it is considered that the user should maintain the emotions, information for maintaining the user's emotions is presented to the user. In this way, the information presenting device 1 can present information more suitable for the user.

（実施の形態２）
実施の形態２において、推定した感情に基づいて、よりユーザに適した情報を提示する情報提示装置等について、より具体的に説明する。本実施の形態の情報提示装置２は、実施の形態１の情報提示装置１における構成及び処理を、車両のナビゲーション装置に適用する例である。 (Embodiment 2)
In the second embodiment, an information presenting device or the like that presents information more suitable for the user based on the estimated emotion will be described more specifically. The information presenting device 2 of the present embodiment is an example of applying the configuration and processing in the information presenting device 1 of the first embodiment to a vehicle navigation device.

図３は、本実施の形態における情報提示装置２の利用場面を示す説明図である。図４は、本実施の形態における情報提示装置２の機能ブロックを示すブロック図である。 FIG. 3 is an explanatory diagram showing a usage scene of the information presenting device 2 in the present embodiment. FIG. 4 is a block diagram showing a functional block of the information presentation device 2 according to the present embodiment.

情報提示装置２は、図３に示されるように運転者であるユーザＵの感情を推定するとともに、その感情をユーザＵに引き起こした対象をユーザＵの視線の向きに基づいて特定し、ユーザＵに適切な情報を提示する。この情報は、ユーザＵの感情がネガティブ感情であるときにはポジティブ感情に変化させるための情報であり、ユーザＵの感情がポジティブ感情であるときにはその感情を維持させるための情報であってもよい。 As shown in FIG. 3, the information presenting device 2 estimates the emotion of the user U who is the driver, identifies the target that caused the emotion to the user U based on the direction of the line of sight of the user U, and the user U Present appropriate information to. This information may be information for changing the emotion of the user U into a positive emotion when the emotion is a negative emotion, and may be information for maintaining the emotion when the emotion of the user U is a positive emotion.

図４に示されるように、情報提示装置２は、感情推定部１１Ａと、対象特定部１３Ａと、制御部１４Ａと、提示部１６と、カメラ２０と、道路状況取得部２２とを備える。なお、感情推定部１１Ａ、対象特定部１３Ａ、制御部１４Ａ及びカメラ２０は、それぞれ、情報提示装置１の感情推定部１１、対象特定部１３、制御部１４及びセンサ１０及び１２の具体例である。 As shown in FIG. 4, the information presentation device 2 includes an emotion estimation unit 11A, a target identification unit 13A, a control unit 14A, a presentation unit 16, a camera 20, and a road condition acquisition unit 22. The emotion estimation unit 11A, the target identification unit 13A, the control unit 14A, and the camera 20 are specific examples of the emotion estimation unit 11, the target identification unit 13, the control unit 14, and the sensors 10 and 12, respectively. ..

カメラ２０は、ユーザＵの顔を撮像する可視光線カメラ又は赤外線カメラである（図３参照）。カメラ２０は、物理量を提供する画像を取得するセンサとして機能する。 The camera 20 is a visible light camera or an infrared camera that captures the face of the user U (see FIG. 3). The camera 20 functions as a sensor that acquires an image that provides a physical quantity.

感情推定部１１Ａは、センサとしてのカメラ２０が取得した画像におけるユーザＵの表情に基づいて、ユーザＵが抱いている感情を推定する処理部である。ここで、ユーザＵが抱いている感情は、ポジティブ感情とネガティブ感情とを含むものとする。ポジティブ感情とは、元気で生き生きとした状態を示す感情であり、具体的には、覚醒、興奮、又は、幸福のような感情である。ネガティブ感情とは、ポジティブ感情の反対の感情であり、元気がなく消極的な状態を示す感情であり、具体的には、怒り、悲しみ、又は、恐れのような感情である。 The emotion estimation unit 11A is a processing unit that estimates the emotion held by the user U based on the facial expression of the user U in the image acquired by the camera 20 as a sensor. Here, it is assumed that the emotions held by the user U include positive emotions and negative emotions. Positive emotions are emotions that indicate a healthy and lively state, specifically emotions such as arousal, excitement, or happiness. Negative emotions are the opposite of positive emotions, emotions that indicate a dull and negative state, and specifically emotions such as anger, sadness, or fear.

対象特定部１３Ａは、センサとしてのカメラ２０が取得した画像に基づいて、ユーザＵに、感情推定部１１Ａが推定した感情を引き起こした対象を特定する処理部である。より具体的には、対象特定部１３Ａは、ユーザＵの視線の向きを上記対象として取得する。対象特定部１３Ａは、例えば、カメラにより取得した画像におけるユーザＵの顔を抽出したうえで、ユーザＵの顔の向き、及び、眼球の位置を分析することでユーザＵの視線の向きを特定する。この場合、ユーザＵの視線の先が指す物事が、上記対象として特定される。視線の向きは、例えば、下向きか、前向きか、又は、横向きかのいずれかに判定される。下向きは、ユーザＵがナビゲーション装置の表示パネルを見ている場合に相当し、前向きは、ユーザＵが車両の進行方向を見ている場合に相当し、横向きは、ユーザＵが景色又は助手席を見ている場合に相当する。ここで、画像における顔の向き、及び、眼球の位置から、視線の向きを得る方法は周知技術を採用し得る。 The target identification unit 13A is a processing unit that identifies the target that caused the emotion estimated by the emotion estimation unit 11A to the user U based on the image acquired by the camera 20 as a sensor. More specifically, the target identification unit 13A acquires the direction of the line of sight of the user U as the target. The target identification unit 13A identifies the direction of the user U's line of sight by, for example, extracting the user U's face in the image acquired by the camera and analyzing the direction of the user U's face and the position of the eyeball. .. In this case, the thing pointed to by the line of sight of the user U is specified as the above target. The direction of the line of sight is determined to be, for example, downward, forward, or sideways. Downward corresponds to the case where the user U is looking at the display panel of the navigation device, forwardward corresponds to the case where the user U is looking at the traveling direction of the vehicle, and sideways is the case where the user U is looking at the scenery or the passenger seat. Corresponds to when looking. Here, a well-known technique can be adopted as a method of obtaining the direction of the line of sight from the direction of the face and the position of the eyeball in the image.

制御部１４Ａは、感情推定部１１Ａが推定した感情と、対象特定部１３Ａが生成した特定情報とを用いた所定の処理を実行することで取得した情報を用いて、提示部１６による提示を制御する処理部である。制御部１４Ａは、その内部構成として、心情推定部２４と、動作決定部２６と、案内生成部２８とを備える。 The control unit 14A controls the presentation by the presentation unit 16 by using the information acquired by executing a predetermined process using the emotion estimated by the emotion estimation unit 11A and the specific information generated by the target identification unit 13A. It is a processing unit to be processed. The control unit 14A includes an emotion estimation unit 24, an operation determination unit 26, and a guidance generation unit 28 as its internal configuration.

心情推定部２４は、ユーザＵの心情を推定する処理部である。心情推定部２４は、感情推定部１１Ａが推定したユーザＵの感情と、対象特定部１３Ａが生成した特定情報と、道路状況取得部２２が取得した渋滞情報に基づいて、ユーザＵの心情を推定する。 The emotion estimation unit 24 is a processing unit that estimates the emotion of the user U. The emotion estimation unit 24 estimates the emotion of the user U based on the emotion of the user U estimated by the emotion estimation unit 11A, the specific information generated by the target identification unit 13A, and the traffic congestion information acquired by the road condition acquisition unit 22. do.

動作決定部２６は、心情推定部２４が推定したユーザＵの心情に基づいて、情報提示装置２（ナビゲーション装置）が行う動作を決定する処理部である。動作決定部２６は、メモリが保有している動作決定テーブルＴ１を用いて、例えば道案内、又は、音声出力などの動作を決定する。 The operation determination unit 26 is a processing unit that determines the operation to be performed by the information presenting device 2 (navigation device) based on the emotion of the user U estimated by the emotion estimation unit 24. The operation determination unit 26 determines an operation such as route guidance or voice output by using the operation determination table T1 held in the memory.

案内生成部２８は、動作決定部２６による制御に基づいて、車両の道案内情報を生成する処理部である。案内生成部２８は、情報提示装置２に保有している地図データ、及び、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）等により取得する現在位置情報に基づいて、車両が今後進行する道を案内する案内情報を生成する。 The guidance generation unit 28 is a processing unit that generates vehicle route guidance information based on control by the operation determination unit 26. The guidance generation unit 28 generates guidance information for guiding the road in which the vehicle will proceed in the future based on the map data held in the information presentation device 2 and the current position information acquired by GPS (Global Positioning System) or the like. do.

提示部１６は、制御部１４Ａによる制御に基づいて、所定の情報の表示又は音声出力を行う出力インタフェースである。提示部１６は、具体的には、ナビゲーション装置の表示パネルである液晶ディスプレイである。 The presentation unit 16 is an output interface that displays predetermined information or outputs audio based on the control by the control unit 14A. Specifically, the presentation unit 16 is a liquid crystal display which is a display panel of a navigation device.

道路状況取得部２２は、車両の周囲の道路の状況（道路状況ともいう）を示す情報を外部から取得する処理部である。車両の周囲の道路の状況は、具体的には、車両の周囲の道路の渋滞の有無、車両が現在走行している道路の幅、車両の周囲にあるランドマーク、及び、車両の周囲の街の種別（ビジネス街又はレストラン街など）などを含む情報である。道路状況取得部２２は、例えばＶＩＣＳ（登録商標）（ＶｅｈｉｃｌｅＩｎｆｏｒｍａｔｉｏｎａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎＳｙｓｔｅｍ）により渋滞情報を取得することができる。また、情報提示装置２に保有している地図データ、及び、ＧＰＳ等により取得する現在位置情報に基づいて道路の幅、ランドマーク、及び、街の種別などの情報を取得することができる。 The road condition acquisition unit 22 is a processing unit that acquires information indicating the condition of the road around the vehicle (also referred to as the road condition) from the outside. Specifically, the conditions of the roads around the vehicle are the presence or absence of traffic congestion on the roads around the vehicle, the width of the road on which the vehicle is currently traveling, the landmarks around the vehicle, and the city around the vehicle. Information including the type of vehicle (business district, restaurant district, etc.). The road condition acquisition unit 22 can acquire traffic congestion information by, for example, VICS (registered trademark) (Vehicle Information and Communication System). In addition, it is possible to acquire information such as the width of the road, landmarks, and the type of city based on the map data held in the information presenting device 2 and the current position information acquired by GPS or the like.

以上のように構成された情報提示装置２の処理を以下で説明する。 The processing of the information presentation device 2 configured as described above will be described below.

図５は、本実施の形態における情報提示装置２の制御方法を示すフロー図である。図６は、本実施の形態における情報提示装置２の動作の決定に用いる動作決定テーブルＴ１を示す説明図である。これらの図を参照しながら、情報提示装置２の動作を説明する。 FIG. 5 is a flow chart showing a control method of the information presenting device 2 according to the present embodiment. FIG. 6 is an explanatory diagram showing an operation determination table T1 used for determining the operation of the information presenting device 2 in the present embodiment. The operation of the information presenting device 2 will be described with reference to these figures.

ステップＳ２０１において、カメラ２０による撮像により、ユーザＵの顔を含む画像を取得する。 In step S201, an image including the face of the user U is acquired by imaging with the camera 20.

ステップＳ２０２において、感情推定部１１Ａは、カメラ２０が取得した画像におけるユーザＵの表情から、ユーザＵが抱いている感情を推定する。 In step S202, the emotion estimation unit 11A estimates the emotion held by the user U from the facial expression of the user U in the image acquired by the camera 20.

ステップＳ２０３において、対象特定部１３Ａは、カメラ２０が取得した画像におけるユーザＵの視線の向きに基づいて、ユーザＵの感情の対象を特定する特定情報を生成する。 In step S203, the target identification unit 13A generates specific information for identifying the target of the emotion of the user U based on the direction of the line of sight of the user U in the image acquired by the camera 20.

ステップＳ２０４において、道路状況取得部２２は、車両の周囲の道路の状況を取得する。 In step S204, the road condition acquisition unit 22 acquires the condition of the road around the vehicle.

ステップＳ２０５において、心情推定部２４は、ステップＳ２０２で推定したユーザＵの感情、ステップＳ２０３で生成した特定情報、及び、ステップＳ２０４で取得した道路状況に基づいて、動作決定テーブルＴ１を用いてユーザＵの心情を推定する（図６参照）。 In step S205, the emotion estimation unit 24 uses the operation determination table T1 based on the emotion of the user U estimated in step S202, the specific information generated in step S203, and the road condition acquired in step S204. Estimate the feelings of (see Fig. 6).

図６に示されるように、動作決定テーブルＴ１において、人である運転者の感情（ネガティブ、又は、ポジティブ）と、運転者の視線の向き（下向き、前向き、又は、横向き）と、道路状況との組に対して、当該運転者の推定される心情と動作決定部２６が決定する動作とが予め対応付けられている。運転者の視線の向きとしての下向き、前向き、又は、横向きは、それぞれ、運転者の感情を引き起こした対象としての、ナビゲーション装置の表示パネル（情報提示装置２の提示部１６）、進行方向の光景、又は、周囲の状況に対応している。 As shown in FIG. 6, in the motion determination table T1, the emotion (negative or positive) of the driver who is a person, the direction of the driver's line of sight (downward, forward, or sideways), and the road condition. The estimated emotions of the driver and the motion determined by the motion determining unit 26 are associated with the set in advance. The downward, forward, or sideways directions of the driver's line of sight are the display panel of the navigation device (presentation unit 16 of the information presentation device 2) and the view in the direction of travel, respectively, as the target that caused the driver's emotions. Or, it corresponds to the surrounding situation.

例えば、運転者がネガティブ感情を有しており、視線が下向きであり、道路が渋滞中であることが、「渋滞が嫌だ。他のルートはないか？」という心情と対応付けられており、また、「抜け道の探索」という動作に対応付けられている。 For example, the fact that the driver has negative emotions, the line of sight is downward, and the road is congested is associated with the feeling that "I hate traffic. Is there another route?" Also, it is associated with the operation of "searching for a loophole".

心情推定部２４は、感情推定部１１Ａが推定したユーザＵの感情と、対象特定部１３Ａが特定したユーザＵの視線の向き（下向き、前向き、又は、横向き）と、道路状況取得部２２が取得した道路状況との組を取得すると、当該組に動作決定テーブルＴ１において対応付けられている心情を選択することで、ユーザＵの心情を推定する。上記の例では、ユーザＵが「渋滞が嫌だ。他のルートはないか？」という心情を有していると推定される。 The emotion estimation unit 24 acquires the emotion of the user U estimated by the emotion estimation unit 11A, the direction of the line of sight of the user U specified by the target identification unit 13A (downward, forward, or sideways), and the road condition acquisition unit 22. When the set with the road condition is acquired, the sentiment of the user U is estimated by selecting the sentiment associated with the set in the operation determination table T1. In the above example, it is presumed that the user U has a feeling of "I don't like traffic jams. Is there another route?"

図５に戻り、ステップＳ２０６において、動作決定部２６は、ステップＳ２０５で推定したユーザＵの心情に基づいて、動作決定テーブルＴ１を用いて情報提示装置２の動作を決定する。動作決定部２６は、心情推定部２４がユーザＵの心情を推定すると、この心情に動作決定テーブルＴ１において対応付けられている動作を選択することで、情報提示装置２の動作を決定する。上記の例では、「抜け道の探索」という動作に決定され、情報提示装置２は、案内生成部２８により現在案内している行路とは異なる渋滞の少ない行路を探索し、道案内のための画像を生成する。 Returning to FIG. 5, in step S206, the operation determination unit 26 determines the operation of the information presenting device 2 using the operation determination table T1 based on the emotion of the user U estimated in step S205. When the emotion estimation unit 24 estimates the emotion of the user U, the motion determination unit 26 determines the operation of the information presenting device 2 by selecting the motion associated with the emotion in the motion determination table T1. In the above example, the operation of "searching for a loophole" is determined, and the information presenting device 2 searches for a route with less congestion different from the route currently being guided by the guidance generation unit 28, and an image for route guidance. To generate.

ステップＳ２０７において、提示部１６は、ステップＳ２０６で決定された動作に基づいて、情報提示装置２の動作として、道案内のための画像表示、又は、音声出力を制御する。 In step S207, the presentation unit 16 controls the image display for route guidance or the voice output as the operation of the information presentation device 2 based on the operation determined in step S206.

なお、動作決定テーブルＴ１は、運転者の感情と視線の向きとの組に対して、当該運転者の推定される心情と動作決定部２６が決定する動作とが予め対応付けられていてもよい。つまり、動作決定テーブルＴ１は、道路状況を含まないものであってもよい。この場合、心情推定部２４は、感情と視線の向きとの組に基づいて、動作を決定する。これにより、道路状況を取得できない場合であっても、ユーザＵに適切な情報を提示することができる。 In the motion determination table T1, the estimated emotion of the driver and the motion determined by the motion determination unit 26 may be associated with the pair of the driver's emotion and the direction of the line of sight in advance. .. That is, the operation determination table T1 may not include the road condition. In this case, the emotion estimation unit 24 determines the action based on the pair of the emotion and the direction of the line of sight. As a result, appropriate information can be presented to the user U even when the road condition cannot be acquired.

なお、心情推定部２４は、感情と視線の向きと道路情報との組に基づいて、動作を決定するとしたが、その組には、そのときの天気、再生されている楽曲などに関する運転者の好みを抽出した情報を含めてもよい。 The emotion estimation unit 24 decides the action based on the set of emotions, the direction of the line of sight, and the road information, but the set includes the driver's information on the weather at that time, the music being played, and the like. Information that extracts preferences may be included.

また、感情推定部１１Ａは、運転者だけでなく同乗者を含めて感情推定してもよい。特に助手席の同乗者が、運転者の異性であった場合で、運転者がポジティブな感情を有しており、意識（視線や会話）が助手席に向けられていたときには、動作決定部２６は、（ａ）助手席の同乗者がポジティブな感情を有している場合、回り道できるルートに誘導する、あるいは一緒に過ごせる施設（ホテル等）に誘導する、又は、（ｂ）助手席の同乗者がネガティブな感情を有している場合、まっすぐ帰る道を選ぶ、というように動作を決定してもよい。 Further, the emotion estimation unit 11A may estimate the emotion including not only the driver but also the passenger. Especially when the passenger in the passenger seat is of the opposite sex of the driver, the driver has positive emotions, and the consciousness (line of sight or conversation) is directed to the passenger seat, the action determination unit 26 (A) If the passenger in the passenger seat has positive emotions, guide them to a route that can be detoured, or to a facility (hotel, etc.) where they can spend time together, or (b) Passenger seat passengers. If the person has negative emotions, the action may be decided, such as choosing a way to return straight.

また、感情推定部１１Ａは、ポジティブ及びネガティブとは異なる感情を推定してもよい。例えば、感情として、覚醒及び眠気の度合いを判定した場合は、覚醒の度合いが大きければ学習によって判定した落ち着く曲を再生するようにし、眠気の度合いが大きければ学習によって判定したポジティブ感情になれる曲を再生するようにしてもよい。 In addition, the emotion estimation unit 11A may estimate emotions different from positive and negative. For example, when the degree of arousal and drowsiness is determined as emotions, if the degree of arousal is large, a calm song determined by learning is played, and if the degree of drowsiness is large, a song that can be a positive emotion determined by learning is played. You may try to play it.

また、車両が一定時間の停車状態から、運転状態になった直後の感情を推定し、停車時の施設と紐付けをして、施設の好みを学習したり、施設へ顧客満足度をフィードバックしたりするものであってもよい。例えば車両がガソリンスタンドから出てきたときの運転者の感情を推定し、ガソリンスタンドの満足度をガソリンスタンドにフィードバックしてもよい。 In addition, the emotions immediately after the vehicle is in the driving state are estimated from the stopped state for a certain period of time, linked with the facility at the time of the stop, the preference of the facility is learned, and the customer satisfaction is fed back to the facility. It may be something like that. For example, the driver's feelings when the vehicle comes out of the gas station may be estimated, and the satisfaction level of the gas station may be fed back to the gas station.

また、カーシェアリングしている車両で運転者の感情を推定し、車両の好みを学習したり、高い満足度が多く得られた車をより多くシェアしたりするなどのマーケティングに利用してもよい。 It may also be used for marketing such as estimating the driver's emotions with a car-sharing vehicle, learning vehicle preferences, and sharing more vehicles with high satisfaction. ..

以上のように、本実施の形態の情報提示装置は、車両のナビゲーション装置として、ユーザの感情と視線の向きとに基づいて取得される情報をユーザに提示する。一般に、ユーザの視線は、その感情を引き起こした対象である物事に向けられる。よって、ユーザの感情を推定するだけでなく、その感情をユーザが抱いた対象をユーザの視線の向きから特定することで、その感情の推定だけをする場合に比べて、より適切な情報を提示することができる。 As described above, the information presenting device of the present embodiment presents to the user information acquired based on the user's emotions and the direction of the line of sight as a vehicle navigation device. In general, the user's gaze is directed at the thing that caused the emotion. Therefore, not only estimating the user's emotion, but also identifying the target that the user holds from the direction of the user's line of sight presents more appropriate information than when only estimating the emotion. can do.

また、情報提示装置は、ユーザの感情及び視線の向きに加えて、道路状況にも基づいて、ユーザに適切な情報を提示することができる。 In addition, the information presenting device can present appropriate information to the user based on the road condition in addition to the user's emotion and the direction of the line of sight.

（実施の形態３）
実施の形態３において、推定した感情に基づいて、よりユーザに適した情報を提示する情報提示装置等について、より具体的に説明する。本実施の形態の情報提示装置３は、実施の形態１の情報提示装置１における構成及び処理を、商品を購入しようとするユーザに対する接客方針を提示する装置に適用する例である。 (Embodiment 3)
In the third embodiment, an information presenting device or the like that presents information more suitable for the user based on the estimated emotion will be described more specifically. The information presenting device 3 of the present embodiment is an example of applying the configuration and processing in the information presenting device 1 of the first embodiment to a device that presents a customer service policy to a user who intends to purchase a product.

図７は、本実施の形態における情報提示装置３の利用場面を示す説明図である。図８は、本実施の形態における情報提示装置３の機能ブロックを示すブロック図である。 FIG. 7 is an explanatory diagram showing a usage scene of the information presenting device 3 in the present embodiment. FIG. 8 is a block diagram showing a functional block of the information presentation device 3 according to the present embodiment.

情報提示装置３は、例えば店舗に配置され、図７に示されるような商品５１と、商品５１に取り付けられた価格表示５３とのそれぞれについてのユーザＵの満足度を、感情として推定する。そして、情報提示装置３は、推定した満足度に基づいて、ユーザＵの購入行動を促す情報を接客方針として販売員に提示する。つまり、情報提示装置３は、ユーザＵが商品５１の性質又は価格について満足していない感情を有するときには、満足に近づけるように感情を変化させる情報を提示し、ユーザＵが商品５１の性質及び価格について満足している感情を有するときには、その感情を維持させる情報を提示する。 The information presenting device 3 estimates, for example, the satisfaction level of the user U for each of the product 51 as shown in FIG. 7 and the price display 53 attached to the product 51 as emotions. Then, the information presenting device 3 presents the information prompting the user U's purchasing behavior to the salesperson as a customer service policy based on the estimated satisfaction level. That is, when the user U has an emotion that is not satisfied with the property or price of the product 51, the information presenting device 3 presents information that changes the emotion so as to approach satisfaction, and the user U presents the information that changes the emotion so that the user U approaches the property or price of the product 51. When you have a satisfying feeling about, present information that keeps that feeling.

図８に示されるように、情報提示装置３は、感情推定部１１Ｂと、対象特定部１３Ｂと、制御部１４Ｂと、提示部１６と、カメラ２０と、カメラ位置取得部４２とを備える。なお、感情推定部１１Ｂ、対象特定部１３Ｂ、制御部１４Ｂ及びカメラ２０は、それぞれ、情報提示装置１の感情推定部１１、対象特定部１３、制御部１４及びセンサ１０及び１２の具体例である。 As shown in FIG. 8, the information presentation device 3 includes an emotion estimation unit 11B, a target identification unit 13B, a control unit 14B, a presentation unit 16, a camera 20, and a camera position acquisition unit 42. The emotion estimation unit 11B, the target identification unit 13B, the control unit 14B, and the camera 20 are specific examples of the emotion estimation unit 11, the target identification unit 13, the control unit 14, and the sensors 10 and 12, respectively. ..

カメラ２０は、ユーザＵを撮像する可視光線カメラ又は赤外線カメラである（図７参照）。カメラ２０は、物理量を提供する画像を取得するセンサとして機能する。 The camera 20 is a visible light camera or an infrared camera that captures the user U (see FIG. 7). The camera 20 functions as a sensor that acquires an image that provides a physical quantity.

カメラ位置取得部４２は、カメラ２０が設置されている位置を示す情報を、メモリ又は外部から取得する処理部である。 The camera position acquisition unit 42 is a processing unit that acquires information indicating the position where the camera 20 is installed from the memory or the outside.

感情推定部１１Ｂは、センサとしてのカメラ２０が取得した画像におけるユーザＵの表情に基づいて、ユーザＵが抱いている感情を推定する処理部である。ここで、ユーザＵが抱いている感情は、商品の性質又は価格に満足している度合いである満足度を含む。満足度は、例えば、満足していることを１で示し、不満である（全く満足していない）ことを０で示し、満足と不満との間の満足度を０から１の間の数値で示すものである。表情から満足度を算定する方法は、周知技術を採用し得る。 The emotion estimation unit 11B is a processing unit that estimates the emotion held by the user U based on the facial expression of the user U in the image acquired by the camera 20 as a sensor. Here, the emotion held by the user U includes a degree of satisfaction, which is the degree of satisfaction with the nature or price of the product. Satisfaction is, for example, indicated by 1 for satisfaction, 0 for dissatisfaction (not satisfied at all), and a numerical value between 0 and 1 for satisfaction between satisfaction and dissatisfaction. It shows. A well-known technique can be adopted as a method for calculating satisfaction from facial expressions.

対象特定部１３Ｂは、センサとしてのカメラ２０が取得した画像に基づいて、ユーザＵに、感情推定部１１Ｂが推定した感情を引き起こした対象を特定する処理部である。より具体的には、対象特定部１３Ｂは、カメラ２０が取得した画像からユーザＵの視線の向きを取得し、取得したユーザＵの視線の延長上に商品５１があるか、又は、商品５１の価格表示５３があるかに基づいて、商品の性質及び価格のうちの一方を示す特定情報を生成する。また、対象特定部１３Ｂは、カメラ位置取得部４２からカメラ２０が設置されている位置の位置情報を取得し、ユーザＵが視線を向けている商品が、複数の商品（不図示）のうちのどの商品であるかを特定する。 The target identification unit 13B is a processing unit that identifies the target that caused the emotion estimated by the emotion estimation unit 11B to the user U based on the image acquired by the camera 20 as the sensor. More specifically, the target identification unit 13B acquires the direction of the line of sight of the user U from the image acquired by the camera 20, and the product 51 is on the extension of the acquired line of sight of the user U, or the product 51 Based on the presence of the price display 53, specific information indicating one of the nature of the product and the price is generated. Further, the target identification unit 13B acquires the position information of the position where the camera 20 is installed from the camera position acquisition unit 42, and the product to which the user U is looking is one of a plurality of products (not shown). Identify which product it is.

例えば、図７の（ａ）の場面では、感情推定部１１Ｂは、商品の性質についてユーザＵが満足していると推定し、１に比較的近い満足度を算定する。対象特定部１３Ｂは、商品の性質と価格とのうち、商品の性質を示す特定情報を生成する。 For example, in the scene (a) of FIG. 7, the emotion estimation unit 11B estimates that the user U is satisfied with the nature of the product, and calculates a satisfaction level relatively close to 1. The target identification unit 13B generates specific information indicating the property of the product among the property and the price of the product.

また、例えば、図７の（ｂ）の場面では、感情推定部１１Ｂは、商品の価格についてユーザＵが満足していないと推定し、０に比較的近い満足度を算定する。対象特定部１３Ｂは、商品の性質と価格とのうち、商品の価格を示す特定情報を生成する。 Further, for example, in the scene (b) of FIG. 7, the emotion estimation unit 11B estimates that the user U is not satisfied with the price of the product, and calculates the satisfaction level relatively close to 0. The target identification unit 13B generates specific information indicating the price of the product among the properties and the price of the product.

制御部１４Ｂは、感情推定部１１Ｂが推定した感情と、対象特定部１３Ｂが生成した特定情報とを用いた所定の処理を実行することで取得した情報を用いて、提示部１６による提示を制御する処理部である。制御部１４Ｂは、その内部構成として、心情推定部４４と、方針決定部４６とを備える。 The control unit 14B controls the presentation by the presentation unit 16 by using the information acquired by executing a predetermined process using the emotion estimated by the emotion estimation unit 11B and the specific information generated by the target identification unit 13B. It is a processing unit to be processed. The control unit 14B includes an emotion estimation unit 44 and a policy determination unit 46 as its internal configuration.

心情推定部４４は、ユーザＵの心情を推定する処理部である。心情推定部４４は、感情推定部１１Ｂ及び対象特定部１３Ｂから、商品の性質及び価格のそれぞれについてのユーザＵの満足度を取得し、メモリが保有している心情テーブルＴ２を用いてユーザＵの心情を推定する。 The emotion estimation unit 44 is a processing unit that estimates the emotion of the user U. The emotion estimation unit 44 acquires the satisfaction level of the user U for each of the property and price of the product from the emotion estimation unit 11B and the target identification unit 13B, and uses the emotion table T2 held in the memory to obtain the user U's satisfaction. Estimate emotions.

方針決定部４６は、心情推定部４４が推定したユーザＵの心情を取得し、メモリが保有している提示情報テーブルＴ３を用いて接客方針を決定する処理部である。 The policy determination unit 46 is a processing unit that acquires the emotions of the user U estimated by the emotion estimation unit 44 and determines the customer service policy using the presentation information table T3 held in the memory.

提示部１６は、制御部１４Ｂによる制御に基づいて、所定の情報の表示又は音声出力を行う出力インタフェースである。 The presentation unit 16 is an output interface that displays predetermined information or outputs audio based on the control by the control unit 14B.

以上のように構成された情報提示装置３の処理を以下で説明する。 The processing of the information presenting apparatus 3 configured as described above will be described below.

図９は、本実施の形態における情報提示装置３の制御方法を示すフロー図である。図１０は、本実施の形態における顧客状況の分析方法を示す説明図である。図１１は、本実施の形態における顧客状況テーブルを示す説明図である。図１２は、本実施の形態における接客方針を示す説明図である。図１３は、本実施の形態における接客方針の提示の一例を示す説明図である。これらの図を参照しながら、情報提示装置３の動作を説明する。 FIG. 9 is a flow chart showing a control method of the information presentation device 3 according to the present embodiment. FIG. 10 is an explanatory diagram showing a method of analyzing a customer situation in the present embodiment. FIG. 11 is an explanatory diagram showing a customer status table according to the present embodiment. FIG. 12 is an explanatory diagram showing a customer service policy according to the present embodiment. FIG. 13 is an explanatory diagram showing an example of presenting a customer service policy according to the present embodiment. The operation of the information presenting device 3 will be described with reference to these figures.

ステップＳ３０１において、カメラ２０による撮像により、ユーザＵの顔を含む画像を取得する。このとき、ユーザＵの視線が商品５１に向いているとする（図７の（ａ））。 In step S301, an image including the face of the user U is acquired by imaging with the camera 20. At this time, it is assumed that the line of sight of the user U is directed to the product 51 ((a) in FIG. 7).

ステップＳ３０２において、対象特定部１３Ｂは、ステップＳ３０１で取得した画像から、ユーザＵの視線が商品５１に向いていることを認識し、商品を示す特定情報を生成する。 In step S302, the target identification unit 13B recognizes that the line of sight of the user U is directed to the product 51 from the image acquired in step S301, and generates specific information indicating the product.

ステップＳ３０３において、感情推定部１１Ｂは、カメラ２０が取得した画像におけるユーザＵの表情から、ユーザＵが商品の品質について抱いている満足度を推定する。 In step S303, the emotion estimation unit 11B estimates the satisfaction level that the user U has about the quality of the product from the facial expression of the user U in the image acquired by the camera 20.

ステップＳ３０４において、カメラ２０による撮像により、ユーザＵの顔を含む画像を取得する。このとき、ユーザＵの視線が価格表示５３に向いているとする（図７の（ｂ））。 In step S304, an image including the face of the user U is acquired by imaging with the camera 20. At this time, it is assumed that the line of sight of the user U is directed to the price display 53 ((b) in FIG. 7).

ステップＳ３０５において、対象特定部１３Ｂは、ステップＳ３０４で取得した画像から、ユーザＵの視線が価格表示５３に向いていることを認識し、価格表示を示す特定情報を生成する。 In step S305, the target identification unit 13B recognizes that the line of sight of the user U is directed to the price display 53 from the image acquired in step S304, and generates specific information indicating the price display.

ステップＳ３０６において、感情推定部１１Ｂは、カメラ２０が取得した画像におけるユーザＵの表情から、ユーザＵが商品の価格について抱いている満足度を推定する。 In step S306, the emotion estimation unit 11B estimates the satisfaction level that the user U has about the price of the product from the facial expression of the user U in the image acquired by the camera 20.

ステップＳ３０７において、心情推定部４４は、ユーザＵの心情を推定する（図１０及び図１１参照）。 In step S307, the emotion estimation unit 44 estimates the emotion of the user U (see FIGS. 10 and 11).

図１０には、商品及び価格それぞれについてのユーザＵの満足度を座標軸に示すグラフである。ステップＳ３０３で取得した満足度を「商品」軸にとり、ステップＳ３０６で取得した満足度を「価格」軸にとることで示される点Ｐが、ユーザＵの商品５１についての満足度に対応付けられる。例えば、図７の（ａ）及び（ｂ）から推定されるユーザＵの満足度は、図１０の点Ｐで示される。 FIG. 10 is a graph showing the satisfaction level of the user U for each of the product and the price on the coordinate axes. The point P indicated by taking the satisfaction level acquired in step S303 on the "product" axis and the satisfaction level acquired in step S306 on the "price" axis is associated with the satisfaction level of the user U for the product 51. For example, the satisfaction level of the user U estimated from (a) and (b) of FIG. 7 is indicated by the point P of FIG.

図１１は、点Ｐが、図１０に示されるグラフの第１象限から第４象限のどれにあるかと、ユーザＵの心情とを予め対応付けて示す心情テーブルＴ２である。例えば、点Ｐが第２象限にあることは、ユーザＵは、商品の性質には満足しているが、商品の価格に不満がある、という心情を有していることに対応付けられている。 FIG. 11 is an emotion table T2 showing in advance which of the first to fourth quadrants the point P is in the graph shown in FIG. 10 and the emotion of the user U. For example, the fact that the point P is in the second quadrant is associated with the fact that the user U is satisfied with the nature of the product but is dissatisfied with the price of the product. ..

図９に戻り、ステップＳ３０８において、方針決定部４６は、ステップＳ３０７で心情推定部４４が推定した心情に基づいて接客方針の決定を行うことで、ユーザＵの購入行動を促すための提示情報を生成する（図１２参照）。 Returning to FIG. 9, in step S308, the policy determination unit 46 determines the customer service policy based on the emotion estimated by the emotion estimation unit 44 in step S307, thereby providing the presented information for encouraging the purchase behavior of the user U. Generate (see FIG. 12).

図１２は、点Ｐが、図１０に示されるグラフの第１象限から第４象限のどれにあるかと、ユーザＵの購入行動を促すための提示情報とを予め対応付けて示す提示情報テーブルＴ３である。例えば、点Ｐが第２象限にあることは、価格についての課題を解決すること、すなわち、ユーザＵが抱いている価格に対する不満を解消する接客方針に対応付けられている。この場合、具体的には、有効な接客方針として、商品の値引きをする、又は、クーポン（特典）を贈呈するなどの提案をすることが示されている。 FIG. 12 is a presentation information table T3 showing in advance which of the first to fourth quadrants of the graph shown in FIG. 10 the point P is, and the presentation information for encouraging the purchase behavior of the user U. Is. For example, the fact that the point P is in the second quadrant is associated with a customer service policy that solves the problem of price, that is, the dissatisfaction with the price that the user U has. In this case, specifically, as an effective customer service policy, it is indicated that a proposal such as discounting a product or presenting a coupon (privilege) is made.

方針決定部４６は、点Ｐが図１０に示されるグラフの第１象限から第４象限のどれにあるかに応じて、提示情報テーブルＴ３から接客方針（及びその具体例）を選択することで、提示情報を生成する。 The policy-determining unit 46 selects a customer service policy (and a specific example thereof) from the presentation information table T3 according to which of the first to fourth quadrants of the graph shown in FIG. 10 the point P is. , Generate presentation information.

図９に戻り、ステップＳ３０９において、提示部１６は、制御部１４Ｂによる制御に基づいて、提示情報を提示する（図１３参照）。 Returning to FIG. 9, in step S309, the presentation unit 16 presents the presentation information based on the control by the control unit 14B (see FIG. 13).

図１３には、提示部１６による提示情報の提示の一例が示されている。図１３に示される例は、ユーザＵを接客している販売員に対して示すための提示情報の例である。提示部１６は、ユーザＵの、商品の性質及び価格それぞれの満足度を示すグラフ５５と、接客方針を示す文字列５７とを提示している。販売員は、提示部１６に提示されたグラフ５５を視認することで、ユーザＵの商品の性質及び価格それぞれについての満足度を知ることができるとともに、文字列５７を視認することで、ユーザＵの購入行動を促すためにどのような方針で接客すればよいかを知ることができる利点がある。 FIG. 13 shows an example of presentation of the presentation information by the presentation unit 16. The example shown in FIG. 13 is an example of the presented information for showing the user U to the salesperson who is serving the customer. The presentation unit 16 presents a graph 55 showing the satisfaction level of each of the property and price of the product of the user U, and a character string 57 showing the customer service policy. The salesperson can know the satisfaction level of each of the product properties and the price of the user U by visually recognizing the graph 55 presented to the presentation unit 16, and by visually recognizing the character string 57, the salesperson can know the satisfaction level of each of the product properties and the price of the user U. It has the advantage of being able to know what kind of policy should be used to serve customers in order to encourage purchase behavior.

なお、上記では、ユーザＵが商品５１の実物を見ながら買い物をする場面を例として説明したが、情報端末を通じたオンラインショッピングにおいても同様の機能を奏する。 In the above description, the scene where the user U makes a purchase while looking at the actual product 51 has been described as an example, but the same function is also exhibited in the online shopping through the information terminal.

図１４は、本実施の形態における情報提示装置３の利用場面の変形例を示す説明図である。 FIG. 14 is an explanatory diagram showing a modified example of the usage scene of the information presenting device 3 in the present embodiment.

図１４に示される情報提示装置３Ａは、情報提示装置３の機能を備えるとともに、オンラインショッピングの機能をユーザＵに提供する装置である。 The information presenting device 3A shown in FIG. 14 is a device that includes the functions of the information presenting device 3 and provides the user U with an online shopping function.

情報提示装置３Ａは、提示部１６により商品５１の画像５１Ａ、及び、商品５１の価格表示の画像５３Ａを表示している。また、カメラ２０により、オンラインショッピングをしているユーザＵの顔を含む画像を取得する。 The information presenting device 3A displays the image 51A of the product 51 and the image 53A of the price display of the product 51 by the presenting unit 16. In addition, the camera 20 acquires an image including the face of the user U who is shopping online.

この場合においても、情報提示装置３Ａは、情報提示装置３と同様に、ユーザＵの商品の性質及び価格それぞれについての満足度を知ることができる。そして、これらの満足度に基づいてユーザＵの購入行動を促すための処理を行うことができる。 In this case as well, the information presenting device 3A can know the degree of satisfaction with each of the property and price of the product of the user U, similarly to the information presenting device 3. Then, based on these satisfaction levels, it is possible to perform a process for encouraging the purchase behavior of the user U.

なお、感情推定部１１Ｂによる表情判定は、画像における特徴点を用いるとしたがその限りではない。感情推定部１１Ｂは、鼻の表面温度を放射温度計で測定し、温度上昇により快の感情を、また、温度下降により不快の感情を推定してもよい。 The facial expression determination by the emotion estimation unit 11B uses the feature points in the image, but this is not the case. The emotion estimation unit 11B may measure the surface temperature of the nose with a radiation thermometer and estimate a pleasant feeling by increasing the temperature and an unpleasant feeling by decreasing the temperature.

また、対象特定部１３Ｂによる視線の向きの判定は可視光線カメラを用いた画像処理以外にも、赤外線カメラを用いた画像処理を用いてもよい。 Further, in the determination of the direction of the line of sight by the target identification unit 13B, image processing using an infrared camera may be used in addition to image processing using a visible light camera.

また、対象特定部１３Ｂによる対象の特定は、ユーザＵの視線の検出を用いるとしたが、ユーザＵの手を接触させる、又は、ユーザＵの顔を近づけさせるなどのジェスチャを用いてもよい。 Further, although the target identification unit 13B uses the detection of the line of sight of the user U, a gesture such as bringing the user U's hand into contact with the user U or bringing the user U's face closer may be used.

また、心情推定部４４は第１象限から第４象限の４つの象限による分類としたが、もっと細かい分類でもよく、また、もっと粗い分類でもよい。 Further, although the emotion estimation unit 44 classifies the classification according to the four quadrants from the first quadrant to the fourth quadrant, a finer classification or a coarser classification may be used.

また、方針決定部４６は、接客方針を決定する際に、商品情報を用いるものとしたが、商品情報によらずに、４象限に分類した顧客状況に応じた接客方針を決定してもよい。また、対象となる商品５１は、ある種別のジーンズのように個別の商品としてもよいし、商品カテゴリ（パンツ、シャツ若しくはジャケットなどの衣類分類、又は、商品、食品、食器若しくは家具などの商品分類）であってもよい。 Further, although the policy determination unit 46 uses the product information when determining the customer service policy, the policy determination unit 46 may determine the customer service policy according to the customer situation classified into four quadrants without depending on the product information. .. Further, the target product 51 may be an individual product such as a certain type of jeans, a product category (clothing classification such as pants, shirt or jacket, or a product classification such as product, food, tableware or furniture). ) May be.

また、顔画像認証と組み合わせ、ユーザＵを一の顧客として特定した上で、当該一の顧客の過去の購買履歴を用いてお勧め商品又はサービスを選択することで、接客方針を決定してもよい。 In addition, even if the customer service policy is determined by selecting the recommended product or service using the past purchase history of the customer after identifying the user U as one customer in combination with face image authentication. good.

また、顔画像認証でユーザＵを一の顧客を特定した上で、購買履歴と共に、特定した顧客の心情をネットワーク上のサーバで管理し、他の店舗に当該顧客が現れた場合に、同等の接客方針に基づく接客を提供できるようにすることも可能である。 In addition, after identifying one customer for user U by face image authentication, the purchase history and the sentiment of the specified customer are managed by a server on the network, and when the customer appears in another store, it is equivalent. It is also possible to provide customer service based on the customer service policy.

以上のように、本実施の形態の情報提示装置は、接客方針を提示する装置として、商品の性質と価格表示についてのユーザの感情に基づいて取得される情報をユーザに提示する。一般に、商品の性質と価格とのそれぞれに対してのユーザの満足が得られる場合に購入行動が行われる。しかしながら、商品の性質と価格とのいずれか又は両方についての満足しない限り購入行動は行われない。そこで、商品の性質と価格とについてのユーザの感情を分析して、購入行動を促す情報を生成することで、ユーザの購入行動につなげることができる利点がある。 As described above, the information presenting device of the present embodiment presents to the user information acquired based on the user's feelings about the nature of the product and the price display as a device for presenting the customer service policy. In general, a purchasing action is performed when the user is satisfied with each of the nature and price of the product. However, no purchase behavior is made unless one or both of the nature and price of the goods are satisfied. Therefore, there is an advantage that it can be linked to the user's purchasing behavior by analyzing the user's feelings about the nature and price of the product and generating information that encourages the purchasing behavior.

また、情報提示装置は、商品の性質と価格表示についてのユーザの満足度に基づいて、満足が得られていないものについて満足が得られるような情報を取得して、ユーザに提供する。これにより、具体的に、ユーザの購入行動を起こさせることができる。 In addition, the information presenting device acquires and provides the information to the user based on the user's satisfaction with the property of the product and the price display so as to obtain the satisfaction of the unsatisfied product. As a result, it is possible to specifically cause the user to make a purchase behavior.

（実施の形態４）
実施の形態４において、推定した感情に基づいて、よりユーザに適した情報を提示する情報提示装置等について、より具体的に説明する。本実施の形態の情報提示装置４は、実施の形態１の情報提示装置１における構成及び処理を、人に提供する料理を決定する装置に適用する例である。 (Embodiment 4)
In the fourth embodiment, an information presenting device or the like that presents information more suitable for the user based on the estimated emotion will be described more specifically. The information presenting device 4 of the present embodiment is an example of applying the configuration and processing in the information presenting device 1 of the first embodiment to an apparatus for determining a dish to be provided to a person.

図１５は、本実施の形態における情報提示装置４の利用場面を示す説明図である。図１６は、本実施の形態における情報提示装置４の機能ブロックを示すブロック図である。 FIG. 15 is an explanatory diagram showing a usage scene of the information presenting device 4 in the present embodiment. FIG. 16 is a block diagram showing a functional block of the information presentation device 4 according to the present embodiment.

情報提示装置４は、図１５に示されるような料理Ａ及び料理Ｂを提供されたユーザＵの食事行動の際のユーザＵの好意度を、感情として推定する。そして、情報提示装置４は、推定した好意度に基づいて、ユーザＵの食べ物の嗜好の分析、及び、次にユーザＵに提供することが推奨される料理を、料理提供者に提示する。つまり、情報提示装置４は、次にユーザＵに提供する料理によってユーザＵの好意度を上昇させる、又は、既に好意度が比較的高い場合には維持させる。 The information presenting device 4 estimates the degree of favorability of the user U during the eating behavior of the user U provided with the dishes A and B as shown in FIG. 15 as emotions. Then, the information presenting device 4 presents to the food provider an analysis of the food preference of the user U based on the estimated degree of favorability, and then a dish recommended to be provided to the user U. That is, the information presenting device 4 raises the favorability of the user U by the next dish to be provided to the user U, or maintains the favorability when the favorability is already relatively high.

図１６に示されるように、情報提示装置４は、感情推定部１１Ｃと、対象特定部１３Ｃと、制御部１４Ｃと、提示部１６と、カメラ２０とを備える。なお、感情推定部１１Ｃ、対象特定部１３Ｃ、制御部１４Ｃ及びカメラ２０は、それぞれ、情報提示装置１の感情推定部１１、対象特定部１３、制御部１４及びセンサ１０及び１２の具体例である。 As shown in FIG. 16, the information presentation device 4 includes an emotion estimation unit 11C, a target identification unit 13C, a control unit 14C, a presentation unit 16, and a camera 20. The emotion estimation unit 11C, the target identification unit 13C, the control unit 14C, and the camera 20 are specific examples of the emotion estimation unit 11, the target identification unit 13, the control unit 14, and the sensors 10 and 12, respectively. ..

カメラ２０は、ユーザＵを撮像する可視光線カメラ又は赤外線カメラである（図１５参照）。カメラ２０は、物理量を提供する画像を取得するセンサとして機能する。より具体的には、カメラ２０は、ユーザＵ、料理Ａ及びＢ、並びに、料理Ａ及びＢそれぞれが盛られた器ＤＡ及びＤＢを含む画像を撮像により取得する。 The camera 20 is a visible light camera or an infrared camera that captures the user U (see FIG. 15). The camera 20 functions as a sensor that acquires an image that provides a physical quantity. More specifically, the camera 20 acquires an image including the user U, the dishes A and B, and the vessels DA and DB in which the dishes A and B are served by imaging.

感情推定部１１Ｃは、センサとしてのカメラ２０が取得した画像におけるユーザＵの表情に基づいて、ユーザＵが抱いている感情を推定する処理部である。ここで、ユーザＵが抱いている感情は、料理が好きである、料理がおいしいと感じている、又は、料理に満足しているというような料理の対する好意の度合いである好意度を含むものである。表情から好意度を算定する方法は、周知技術を採用し得る。 The emotion estimation unit 11C is a processing unit that estimates the emotion held by the user U based on the facial expression of the user U in the image acquired by the camera 20 as a sensor. Here, the emotions held by the user U include the degree of liking, which is the degree of liking for the food, such as the fact that the user likes the food, feels that the food is delicious, or is satisfied with the food. .. A well-known technique can be adopted as a method for calculating the degree of favor from facial expressions.

対象特定部１３Ｃは、センサとしてのカメラ２０が取得した画像に基づいて、ユーザＵに、感情推定部１１Ｃが推定した感情を引き起こした対象を特定する処理部である。より具体的には、対象特定部１３Ｃは、カメラ２０が撮像により取得した画像に対する分析に基づいて、ユーザＵが、器ＤＡに盛られた料理Ａを口に運んだのか、又は、器ＤＢに盛られた料理Ｂを口に運んだのかを判別する。そして、ユーザＵが口に運んだ料理（料理Ａ及びＢのいずれか一方）を示す特定情報を生成する。画像の分析では、例えば、器ＤＡと器ＤＢとの色又は形、ユーザＵの口の位置を判別し、どちらの器からユーザＵの口に物体が運ばれたかに基づいて、ユーザＵが口に運んだ料理を特定する。 The target identification unit 13C is a processing unit that identifies the target that caused the emotion estimated by the emotion estimation unit 11C to the user U based on the image acquired by the camera 20 as a sensor. More specifically, in the target identification unit 13C, based on the analysis of the image acquired by the camera 20 by imaging, the user U carried the dish A served in the vessel DA to the mouth, or the vessel DB. It is determined whether or not the served dish B was brought to the mouth. Then, the user U generates specific information indicating the dish (either dish A or B) that the user U has brought to the mouth. In the image analysis, for example, the color or shape of the vessel DA and the vessel DB and the position of the mouth of the user U are determined, and the user U mouths based on which vessel the object is carried to the mouth of the user U. Identify the food you brought to.

上記により、感情推定部１１Ｃと対象特定部１３Ｃとは、料理Ａ及びＢそれぞれについてユーザＵが抱いている好意度を推定するとともに、その好意度を抱いた料理Ａ又はＢを示す特定情報を生成する。 Based on the above, the emotion estimation unit 11C and the target identification unit 13C estimate the degree of favor that the user U has for each of the dishes A and B, and generate specific information indicating the dish A or B having that degree of favor. do.

制御部１４Ｃは、感情推定部１１Ｃが推定した感情と、対象特定部１３Ｃが生成した特定情報とを用いた所定の処理を実行することで取得した情報を用いて、提示部１６による提示を制御する処理部である。制御部１４Ｃは、その内部構成として、嗜好判定部６２と、料理決定部６４とを備える。 The control unit 14C controls the presentation by the presentation unit 16 by using the information acquired by executing a predetermined process using the emotion estimated by the emotion estimation unit 11C and the specific information generated by the target identification unit 13C. It is a processing unit to be processed. The control unit 14C includes a taste determination unit 62 and a cooking determination unit 64 as its internal configuration.

嗜好判定部６２は、ユーザＵの食べ物の嗜好を判定する処理部である。嗜好判定部６２は、感情推定部１１Ｃ及び対象特定部１３Ｃから、ユーザＵの料理Ａ及びＢのそれぞれについての好意度を取得し、取得した好意度に基づいて所定の算定方法により、ユーザＵの食べ物の嗜好を判定する。 The preference determination unit 62 is a processing unit that determines the food preference of the user U. The preference determination unit 62 acquires the degree of favorability of each of the dishes A and B of the user U from the emotion estimation unit 11C and the target identification unit 13C, and based on the acquired degree of favorability, the preference determination unit 62 of the user U by a predetermined calculation method. Determine food preferences.

料理決定部６４は、嗜好判定部６２が判定したユーザＵの食べ物の嗜好に基づいて所定の算定方法により、ユーザＵに次に提供する料理を、メモリに保有している複数の候補から決定する処理部である。 The food determination unit 64 determines the next dish to be provided to the user U from a plurality of candidates held in the memory by a predetermined calculation method based on the food preference of the user U determined by the preference determination unit 62. It is a processing unit.

提示部１６は、制御部１４Ｃによる制御に基づいて、所定の情報の表示又は音声出力を行う出力インタフェースである。 The presentation unit 16 is an output interface that displays predetermined information or outputs audio based on the control by the control unit 14C.

以上のように構成された情報提示装置４の処理を以下で説明する。 The processing of the information presentation device 4 configured as described above will be described below.

図１７は、本実施の形態における情報提示装置４の制御方法を示すフロー図である。図１８は、本実施の形態における嗜好ベクトルの導出方法を示す説明図である。図１９は、本実施の形態における料理の決定方法を示す説明図である。図２０は、本実施の形態における料理の提示の一例を示す説明図である。 FIG. 17 is a flow chart showing a control method of the information presentation device 4 according to the present embodiment. FIG. 18 is an explanatory diagram showing a method of deriving the preference vector in the present embodiment. FIG. 19 is an explanatory diagram showing a method of determining a dish according to the present embodiment. FIG. 20 is an explanatory diagram showing an example of presenting a dish according to the present embodiment.

ステップＳ４０１において、カメラ２０がユーザＵ、料理Ａ及びＢ、並びに、器ＤＡ及びＤＢを含む画像を取得する。このとき、ユーザＵが器ＤＡから料理Ａを口に運ぶ場面（例えば図１５の（ａ））の画像が取得されたとする。 In step S401, the camera 20 acquires an image including the user U, dishes A and B, and the vessels DA and DB. At this time, it is assumed that an image of a scene in which the user U carries the dish A to his mouth from the vessel DA (for example, (a) in FIG. 15) is acquired.

ステップＳ４０２において、対象特定部１３Ｃは、ステップＳ４０１で取得した画像から、ユーザＵが料理Ａを口に運んだことを判別する。これにより、対象特定部１３Ｃは、ユーザＵが抱いている感情を引き起こした対象が料理Ａであることを特定し、料理Ａを示す特定情報を生成する。 In step S402, the target identification unit 13C determines from the image acquired in step S401 that the user U has brought the dish A to his mouth. As a result, the target identification unit 13C identifies that the target that caused the emotion held by the user U is the dish A, and generates specific information indicating the dish A.

ステップＳ４０３において、感情推定部１１Ｃは、ステップＳ４０１で取得した画像におけるユーザＵの表情から、ユーザＵが抱いている感情を推定する。ユーザＵが料理Ａを口に運ぶ場面であるので、感情推定部１１Ｃが推定する感情は、ユーザＵが料理Ａについて抱いている感情、より具体的には、料理Ａに対する好意度である。 In step S403, the emotion estimation unit 11C estimates the emotion held by the user U from the facial expression of the user U in the image acquired in step S401. Since the user U carries the dish A to his mouth, the emotion estimated by the emotion estimation unit 11C is the emotion that the user U has about the dish A, more specifically, the degree of favor for the dish A.

ステップＳ４０４、Ｓ４０５及びＳ４０６において、上記と同様に、カメラ２０により取得したユーザＵが器ＤＢから料理Ｂを口に運ぶ場面（例えば図１５の（ｂ））の画像に基づいて、対象特定部１３Ｃ及び感情推定部１１Ｃにより、ユーザＵの料理Ｂに対する好意度を取得する。 In steps S404, S405 and S406, similarly to the above, the target identification unit 13C is based on the image of the scene where the user U acquired by the camera 20 carries the dish B from the vessel DB to the mouth (for example, (b) of FIG. 15). And the emotion estimation unit 11C acquires the degree of favor of the user U for the dish B.

ステップＳ４０７において、嗜好判定部６２は、ユーザＵの食べ物の嗜好を示す嗜好ベクトルを生成する（図１８参照）。 In step S407, the preference determination unit 62 generates a preference vector indicating the food preference of the user U (see FIG. 18).

図１８には、料理Ａ及びＢについてのユーザＵの好意度からユーザＵの嗜好ベクトル（多次元ベクトル）を導出する導出方法が示されている。 FIG. 18 shows a derivation method for deriving the preference vector (multidimensional vector) of the user U from the favorability of the user U with respect to the dishes A and B.

前提として、料理Ａ及びＢそれぞれについて、属性ごとの属性値が予め定められているとする。属性には、例えば、肉又は野菜のように料理の材料に由来するものと、甘み又は辛味のように料理の味に由来するものとが含まれる。属性ごとの属性値とは、当該属性の大きさを示す指標であり、例えば、０以上１以下の値をとる。例えば、材料として肉が多く含まれている料理の「肉」の属性の属性値は相対的に高い値（例えば０．８）をとる。また、甘みが少ない料理の「甘み」の属性の属性値は相対的に低い値（例えば０．３）をとる。なお、各属性を各成分とするベクトルのことを属性ベクトルともいう。 As a premise, it is assumed that the attribute values for each attribute are predetermined for each of dishes A and B. Attributes include, for example, those derived from cooking ingredients such as meat or vegetables and those derived from the taste of cooking such as sweetness or pungent taste. The attribute value for each attribute is an index indicating the size of the attribute, and takes, for example, a value of 0 or more and 1 or less. For example, the attribute value of the "meat" attribute of a dish containing a large amount of meat as an ingredient takes a relatively high value (for example, 0.8). In addition, the attribute value of the "sweetness" attribute of a dish with less sweetness takes a relatively low value (for example, 0.3). A vector having each attribute as each component is also referred to as an attribute vector.

嗜好判定部６２は、ステップＳ４０３及びステップＳ４０６で推定された、料理Ａ及びＢそれぞれの好意度を重みとして、料理Ａ及びＢの属性値それぞれの加重平均をとることで嗜好ベクトルを生成する。生成される嗜好ベクトルは、属性の個数と同じ次元を有し、属性値の加重平均を各成分とするベクトルである。例えば、料理Ａ及びＢそれぞれの「肉」の属性の属性値がそれぞれ０．８及び０．２であり、ユーザＵの好意度が料理Ａについて０．９、料理Ｂについて０．１であるとき、嗜好ベクトルの「肉」の成分は、０．８×０．９＋０．２×０．１＝０．７４と算出される。他の属性及び成分についても同様である。嗜好ベクトルの成分のそれぞれは、ユーザＵが、各属性を有する料理に好意を抱く度合いを示しているので、嗜好ベクトルは、ユーザＵの嗜好を示しているといえる。 The preference determination unit 62 generates a preference vector by taking the weighted average of each of the attribute values of dishes A and B with the degree of favor of each of dishes A and B estimated in steps S403 and S406 as a weight. The generated preference vector is a vector having the same dimension as the number of attributes and having the weighted average of the attribute values as each component. For example, when the attribute values of the "meat" attributes of dishes A and B are 0.8 and 0.2, respectively, and the degree of favor of user U is 0.9 for dish A and 0.1 for dish B, respectively. , The component of "meat" of the preference vector is calculated as 0.8 × 0.9 + 0.2 × 0.1 = 0.74. The same applies to other attributes and components. Since each of the components of the preference vector indicates the degree to which the user U has a preference for the dish having each attribute, it can be said that the preference vector indicates the preference of the user U.

図１７に戻り、ステップＳ４０８において、料理決定部６４は、ユーザＵに次に提供する料理を決定する。具体的には、料理決定部６４は、複数の料理候補のそれぞれの属性ベクトルとステップＳ４０８で算出した嗜好ベクトルとの内積値に基づいて、次にユーザＵに提供する料理を決定する（図１９参照）。 Returning to FIG. 17, in step S408, the dish determination unit 64 determines the dish to be provided to the user U next. Specifically, the cooking determination unit 64 determines the next dish to be provided to the user U based on the inner product value of the attribute vector of each of the plurality of cooking candidates and the preference vector calculated in step S408 (FIG. 19). reference).

図１９には、属性ベクトルと嗜好ベクトルとの内積値に基づいて料理を決定する方法が示されている。 FIG. 19 shows a method of determining a dish based on the inner product value of the attribute vector and the preference vector.

前提として、情報提示装置４は、ユーザＵに提供する料理の候補である複数の料理候補（図１９における料理Ｃ及びＤ）を保有しているとする。料理Ｃ及びＤについては、料理Ａ及びＢと同様に、属性ごとの属性値が予め定められているとする。 As a premise, it is assumed that the information presenting device 4 has a plurality of cooking candidates (cooks C and D in FIG. 19) that are candidates for cooking to be provided to the user U. As for dishes C and D, it is assumed that the attribute values for each attribute are predetermined as in the case of dishes A and B.

料理決定部６４は、ユーザの嗜好に属性が近い料理を、より優先的に含む提示情報を生成する。より具体的には、料理決定部６４は、ステップＳ４０７で生成した嗜好ベクトルと、料理Ｃ及びＤの属性ベクトルとの内積値（この例ではそれぞれ１．８０１及び０．９９８）を算出する。そして、より大きな内積値を有する料理（この例では料理Ｃ）を、次にユーザＵに提供する料理として優先的に選択することで決定する。属性ベクトルと嗜好ベクトルとの内積値が大きいことは、各ベクトルの成分が比較的近い値をとっていることを示しているので、上記のように決定することで、複数の料理候補のうちからユーザＵの嗜好に近い料理が選択される。 The cooking determination unit 64 generates presentation information that includes dishes having attributes close to the user's taste with higher priority. More specifically, the cooking determination unit 64 calculates the inner product value (1.801 and 0.998 in this example, respectively) of the preference vector generated in step S407 and the attribute vectors of dishes C and D, respectively. Then, the dish having the larger inner product value (cook C in this example) is preferentially selected as the dish to be provided to the user U next. A large inner product value of the attribute vector and the preference vector indicates that the components of each vector have relatively close values. Therefore, by determining as described above, among a plurality of cooking candidates, A dish that is close to the taste of user U is selected.

図１７に戻り、ステップＳ４０９において、提示部１６は、制御部１４Ｃによる制御に基づいて、ステップＳ４０８で決定したユーザＵに次に提供する料理を提示する（図２０参照）。 Returning to FIG. 17, in step S409, the presenting unit 16 presents the next dish to be provided to the user U determined in step S408 based on the control by the control unit 14C (see FIG. 20).

図２０には、提示部１６により提示される提示情報の一例が示されている。図２０に示される例は、ユーザＵの嗜好が、料理候補である料理Ｃ及びＤのうち、料理Ｃに近いことを示す文字列７１と、料理Ｃのレシピを示す文字列７３とが示されている。これらの文字列を見た料理提供者は、ユーザＵに次に料理Ｃを提供するのが適切であると考えることができ、また、料理Ｃの提供にあたりそのレシピを知ることができる。なお、文字列７１及び文字列７３のいずれか一方のみが表示されてもよい。 FIG. 20 shows an example of the presentation information presented by the presentation unit 16. In the example shown in FIG. 20, a character string 71 indicating that the preference of the user U is close to the dish C among the dishes C and D which are cooking candidates, and a character string 73 indicating the recipe of the dish C are shown. ing. The food provider who sees these character strings can think that it is appropriate to serve the food C to the user U next, and can know the recipe when serving the food C. In addition, only one of the character string 71 and the character string 73 may be displayed.

なお、感情推定部１１Ｃによる表情判定は画像処理を用いるとしたがその限りではない。鼻の表面温度を放射温度計で測定し、温度上昇により快の感情を、また、温度下降により不快の感情を判定してもよい。 It should be noted that the facial expression determination by the emotion estimation unit 11C uses image processing, but this is not the case. The surface temperature of the nose may be measured with a radiation thermometer, and a pleasant feeling may be determined by a temperature rise, and an unpleasant feeling may be judged by a temperature decrease.

また、対象特定部１３Ｃによる視線の向きの判定は可視光線カメラを用いた画像処理以外にも、赤外線カメラを用いた画像処理を用いてもよい。 Further, in the determination of the direction of the line of sight by the target identification unit 13C, image processing using an infrared camera may be used in addition to image processing using a visible light camera.

また、対象特定部１３Ｃによる対象の特定は、ユーザＵの視線の検出を用いるとしたが、ユーザＵの手を接触させる、又は、ユーザＵの顔を近づけさせるなどのジェスチャを用いてもよい。 Further, although the target identification unit 13C uses the detection of the line of sight of the user U, a gesture such as bringing the user U's hand into contact with the user U or bringing the user U's face closer may be used.

また、対象特定部１３Ｃは、料理が入っている器を特定することで料理の判定をするとしたが、ユーザＵの口に運ばれる物体そのものを物体認識することで判定してもよい。例えば料理がラーメンである場合、構成物は、スープ、麺、チャーシュー、メンマ及びネギ等があり得るので、この５種を、口に運ばれる物体の形及び色に基づいて判定してもよい。 Further, although the target identification unit 13C determines the dish by identifying the vessel containing the dish, the target identification unit 13C may determine the dish by recognizing the object itself carried to the mouth of the user U. For example, when the dish is ramen, the constituents may be soup, noodles, char siu, menma, green onions, etc., and these five types may be determined based on the shape and color of the object carried in the mouth.

また、情報提示装置４は、次に提供する料理を決定するだけでなく、ユーザＵの嗜好を特定した上で、その嗜好に基づいて商品のレコメンドを行うシステムであれば、どんなものにも応用できる。情報提示装置４は、例えば、パソコン上で様々な商品をユーザＵに提示し、その時のユーザＵの感情を、パソコンに付属したカメラが取得した映像から判定することで、ユーザＵが本当に欲しいものを提示するシステムに応用できる。 Further, the information presenting device 4 is applied to any system as long as it not only determines the dish to be provided next, but also identifies the preference of the user U and recommends the product based on the preference. can. The information presenting device 4 presents various products to the user U on the personal computer, for example, and determines the emotion of the user U at that time from the image acquired by the camera attached to the personal computer, so that the user U really wants it. Can be applied to the system that presents.

また、上記では、好意度つまりポジティブ感情が相対的に高い対象物を重く評価する（対象物の多次元ベクトルの重み付けを大きくする）としたが、その反対に、好意度が低い、つまり、ネガティブ感情が相対的に高い対象物を重く評価してもよい。この場合、利用者が嫌悪する対象を判定できる。例えば、教室において、生徒がネガティブ感情を有する対象物としての勉強科目を重く評価することにすれば、生徒の苦手科目を判定することができ、その科目を繰り返し説明するなどのより効果的な教育を実現できる。この場合、対象特定部１３Ｃがプレゼンテーションソフトと連動しており、生徒に説明するプレゼンテーションのページから対象物を決定してもよい。このようにすると、プレゼンテーションのページと、生徒の感情との組み合わせにより、生徒の苦手科目を判定することができる利点がある。 Further, in the above, the object having a relatively high degree of favor, that is, positive emotion is evaluated heavily (the weighting of the multidimensional vector of the object is increased), but on the contrary, the degree of favor is low, that is, negative. Objects with relatively high emotions may be evaluated heavily. In this case, it is possible to determine the target that the user dislikes. For example, in a classroom, if a student's study subject as an object with negative emotions is evaluated heavily, it is possible to judge the subject that the student is not good at, and more effective education such as repeatedly explaining the subject. Can be realized. In this case, the target identification unit 13C is linked with the presentation software, and the target may be determined from the presentation page explained to the students. In this way, there is an advantage that the student's weak subject can be determined by the combination of the presentation page and the student's emotion.

以上のように、本実施の形態の情報提示装置は、ユーザに提供する料理を提示する装置として、ユーザの感情と、ユーザが口に運んだ料理とに基づいてユーザの嗜好を分析し、ユーザの嗜好に比較的近い料理を示す情報をユーザに提示する。これにより、情報提示装置は、ユーザの感情を良くすることができる。 As described above, the information presenting device of the present embodiment analyzes the user's taste based on the user's emotions and the food that the user has brought to the user as a device for presenting the food to be provided to the user. Presents to the user information indicating dishes that are relatively close to the taste of. As a result, the information presenting device can improve the user's emotions.

また、情報提示装置は、料理の属性ごとの属性値を用いたベクトル演算により、具体的にユーザの嗜好を分析し、提供する料理を決定することができる。 In addition, the information presenting device can specifically analyze the user's taste and determine the dish to be provided by the vector calculation using the attribute value for each dish attribute.

（実施の形態５）
実施の形態５において、推定した感情に基づいて、よりユーザに適した情報を提示する情報提示装置等について、より具体的に説明する。本実施の形態の情報提示装置５は、実施の形態１の情報提示装置１における構成及び処理を、複数の言語による情報提供（例えば観光案内）を行う装置に適用する例である。 (Embodiment 5)
In the fifth embodiment, an information presenting device or the like that presents information more suitable for the user based on the estimated emotion will be described more specifically. The information presentation device 5 of the present embodiment is an example of applying the configuration and processing of the information presentation device 1 of the first embodiment to a device that provides information in a plurality of languages (for example, tourist information).

図２１は、本実施の形態における情報提示装置５の利用場面を示す説明図である。図２２は、本実施の形態における情報提示装置５の機能ブロックを示すブロック図である。 FIG. 21 is an explanatory diagram showing a usage scene of the information presenting device 5 in the present embodiment. FIG. 22 is a block diagram showing a functional block of the information presentation device 5 according to the present embodiment.

情報提示装置５は、図２１に示されるように、複数の言語それぞれによる音声を提示されたユーザＵの理解度を、感情として推定する。そして、情報提示装置５は、推定した理解度に基づいて、ユーザＵが理解できる言語を決定し、ユーザＵが理解できる言語により情報提供を行う。つまり、情報提示装置５は、ユーザＵに提供する情報の言語によってユーザＵの理解度を上昇させる、又は、既に理解度が比較的高い場合には維持させる。 As shown in FIG. 21, the information presenting device 5 estimates the comprehension level of the user U who is presented with the voice in each of the plurality of languages as an emotion. Then, the information presenting device 5 determines a language that the user U can understand based on the estimated comprehension level, and provides information in the language that the user U can understand. That is, the information presenting device 5 raises the comprehension level of the user U depending on the language of the information provided to the user U, or maintains the comprehension level when the comprehension level is already relatively high.

図２２に示されるように、情報提示装置５は、感情推定部１１Ｄと、対象特定部１３Ｄと、制御部１４Ｄと、提示部１６と、カメラ２０と、人種特定部８０とを備える。なお、感情推定部１１Ｄ、対象特定部１３Ｄ、制御部１４Ｄ及びカメラ２０は、それぞれ、情報提示装置１の感情推定部１１、対象特定部１３、制御部１４及びセンサ１０の具体例である。 As shown in FIG. 22, the information presentation device 5 includes an emotion estimation unit 11D, a target identification unit 13D, a control unit 14D, a presentation unit 16, a camera 20, and a race identification unit 80. The emotion estimation unit 11D, the target identification unit 13D, the control unit 14D, and the camera 20 are specific examples of the emotion estimation unit 11, the target identification unit 13, the control unit 14, and the sensor 10 of the information presentation device 1, respectively.

カメラ２０は、ユーザＵを撮像する可視光線カメラ又は赤外線カメラである（図２１参照）。カメラ２０は、物理量を提供する画像を取得するセンサとして機能する。より具体的には、カメラ２０は、ユーザＵの顔を含む画像を撮像により取得する。 The camera 20 is a visible light camera or an infrared camera that captures the user U (see FIG. 21). The camera 20 functions as a sensor that acquires an image that provides a physical quantity. More specifically, the camera 20 acquires an image including the face of the user U by imaging.

感情推定部１１Ｄは、センサとしてのカメラ２０が取得した画像におけるユーザＵの表情に基づいて、ユーザＵが抱いている感情を推定する処理部である。ここで、ユーザＵが抱いている感情は、提示部１６が提示した言語が理解できる、又は、理解できないというような言語についての理解の度合いである理解度を含む。理解度は、例えば、理解している状態を１で示し、理解していない状態を０で示し、これらの間の理解度を０から１の間の数値で示すものである。表情から理解度を算定する方法は、周知技術を採用し得る。 The emotion estimation unit 11D is a processing unit that estimates the emotion held by the user U based on the facial expression of the user U in the image acquired by the camera 20 as a sensor. Here, the emotion held by the user U includes a degree of understanding, which is a degree of understanding of the language such that the language presented by the presentation unit 16 can be understood or cannot be understood. The comprehension level is, for example, a state in which the person understands is indicated by 1, a state in which the person does not understand is indicated by 0, and the degree of comprehension between them is indicated by a numerical value between 0 and 1. A well-known technique can be adopted as a method for calculating the degree of comprehension from facial expressions.

対象特定部１３Ｄは、提示部１６によりユーザＵに提示した情報に基づいて、ユーザＵに、感情推定部１１Ｄが推定した感情を引き起こした対象を特定する処理部である。より具体的には、対象特定部１３Ｄは、提示部１６が提示した音声の言語種別を上記対象として取得し、その言語種別を示す情報を生成する。 The target identification unit 13D is a processing unit that identifies the target that caused the emotion estimated by the emotion estimation unit 11D to the user U based on the information presented to the user U by the presentation unit 16. More specifically, the target identification unit 13D acquires the language type of the voice presented by the presentation unit 16 as the target, and generates information indicating the language type.

制御部１４Ｄは、感情推定部１１Ｄが推定した感情と、対象特定部１３Ｄが生成した特定情報とを用いた所定の処理を実行することで取得した情報を用いて、提示部１６による提示を制御する処理部である。制御部１４Ｄは、その内部構成として、理解度判定部８２と、言語決定部８４とを備える。 The control unit 14D controls the presentation by the presentation unit 16 by using the information acquired by executing a predetermined process using the emotion estimated by the emotion estimation unit 11D and the specific information generated by the target identification unit 13D. It is a processing unit to be processed. The control unit 14D includes a comprehension level determination unit 82 and a language determination unit 84 as its internal configuration.

理解度判定部８２は、提示部１６が提示した音声の言語についてのユーザＵの理解度を判定する処理部である。理解度判定部８２は、感情推定部１１Ｄが推定した理解度を取得し、また、対象特定部１３Ｄから言語種別を示す情報を取得する。そして、感情推定部１１Ｄが取得した理解度を、提示部１６が提示した音声の言語についてのユーザＵの理解度であると判定する。 The comprehension level determination unit 82 is a processing unit that determines the comprehension level of the user U regarding the language of the voice presented by the presentation unit 16. The comprehension level determination unit 82 acquires the comprehension level estimated by the emotion estimation unit 11D, and also acquires information indicating the language type from the target identification unit 13D. Then, the comprehension level acquired by the emotion estimation unit 11D is determined to be the comprehension level of the user U regarding the vocal language presented by the presentation unit 16.

言語決定部８４は、理解度判定部８２が判定したユーザＵの理解度と所定値との大小比較に基づいて、提示部１６が提示した言語をユーザＵが理解できるか否かを決定する処理部である。また、言語決定部８４は、提示部１６が提示した言語が、ユーザＵが理解できない言語であった場合には、次にユーザＵに提示する音声の言語を、メモリが保有している言語選択テーブルＴ４又はＴ５を用いて決定する。次にユーザＵに提示する音声の言語を決定する際には、人種特定部８０から得られる人種情報を用いてもよい。 The language determination unit 84 determines whether or not the user U can understand the language presented by the presentation unit 16 based on the magnitude comparison between the understanding level of the user U determined by the comprehension determination unit 82 and the predetermined value. It is a department. Further, when the language presented by the presentation unit 16 is a language that the user U cannot understand, the language determination unit 84 selects the language of the voice to be presented to the user U next in the memory. Determined using table T4 or T5. Next, when determining the language of the voice to be presented to the user U, the race information obtained from the race identification unit 80 may be used.

提示部１６は、制御部１４Ｄによる制御に基づいて、所定の言語による情報提供を音声により行う出力インタフェースである。 The presentation unit 16 is an output interface that provides information in a predetermined language by voice based on the control by the control unit 14D.

人種特定部８０は、ユーザＵの人種を特定する処理部である。人種特定部８０は、カメラ２０が取得した画像に含まれるユーザＵの顔、体格、肌の色などの特徴を抽出し、ユーザＵの人種（黄色人種、白色人種など）を特定する人種情報を生成する。人種特定部８０が生成した人種情報は、言語決定部８４に提供される。なお、人種特定部８０は、情報提示装置５に必須の構成要素ではない。 The race identification unit 80 is a processing unit that identifies the race of the user U. The race identification unit 80 extracts features such as the face, physique, and skin color of the user U included in the image acquired by the camera 20, and identifies the race of the user U (yellow race, white race, etc.). Generate racial information to do. The race information generated by the race identification unit 80 is provided to the language determination unit 84. The race identification unit 80 is not an essential component of the information presentation device 5.

以上のように構成された情報提示装置５の処理を以下で説明する。 The processing of the information presenting apparatus 5 configured as described above will be described below.

図２３は、本実施の形態における情報提示装置５の制御方法を示すフロー図である。図２４は、本実施の形態における言語選択テーブルＴ４を示す説明図である。 FIG. 23 is a flow chart showing a control method of the information presenting device 5 according to the present embodiment. FIG. 24 is an explanatory diagram showing the language selection table T4 in the present embodiment.

ステップＳ５０１において、カメラ２０によりユーザＵの顔を含む画像を取得する。 In step S501, the camera 20 acquires an image including the face of the user U.

ステップＳ５０２において、人種特定部８０は、カメラ２０が取得した画像に含まれるユーザＵの顔（より具体的には、目、口及び鼻などのパーツの特徴点の位置）、体格、並びに、肌の色等に基づいて、ユーザＵの人種を特定し、人種情報を生成する。ここでは、ユーザＵの人種が、白色人種であると特定されたとする。 In step S502, the race identification unit 80 includes the face (more specifically, the position of the feature points of parts such as eyes, mouth, and nose), physique, and the user U included in the image acquired by the camera 20. The race of the user U is specified based on the skin color and the like, and the race information is generated. Here, it is assumed that the race of the user U is identified as a Caucasian race.

ステップＳ５０３において、言語決定部８４は、人種特定部８０から人種情報を取得すると、人種情報により特定される人種の人が話す言語として予め定められた複数の言語のうちから一の言語を選択することで、ユーザＵに提供する情報の言語を決定する。言語の決定方法について、図２４を参照しながら詳しく説明する。 In step S503, when the language determination unit 84 acquires the race information from the race identification unit 80, the language determination unit 84 is one of a plurality of languages predetermined as the language spoken by the person of the race specified by the race information. By selecting the language, the language of the information to be provided to the user U is determined. The method of determining the language will be described in detail with reference to FIG. 24.

図２４には、複数の言語から言語を選択する際に用いる言語選択テーブルＴ４が示されている。言語選択テーブルＴ４には、人種別に、当該人種の人が理解できると推測される言語が所定の順序で示されている。この順序は、任意の順序であってよいが、例えば、当該人種の人が理解することができる言語が多い順に上から示される順序とすれば、ユーザＵが理解できる言語をより早く特定することができる利点がある。 FIG. 24 shows a language selection table T4 used when selecting a language from a plurality of languages. In the language selection table T4, the languages presumed to be understood by a person of the race are shown in a predetermined order for each race. This order may be any order, but for example, if the order is shown from the top in descending order of the languages that people of the race can understand, the language that the user U can understand is specified earlier. There are advantages that can be.

上記ステップＳ５０３では、言語決定部８４は、言語選択テーブルＴ４に記載された人種情報のうち、人種特定部８０から取得した人種情報に対応する言語を上から順に特定する。例えば、人種特定部８０から白色人種を示す人種情報を取得した場合には、言語決定部８４は、言語選択テーブルＴ４に記載された「英語」を選択する。 In step S503, the language determination unit 84 specifies, from the top, the language corresponding to the race information acquired from the race identification unit 80 among the race information listed in the language selection table T4. For example, when the race information indicating the Caucasian race is acquired from the race identification unit 80, the language determination unit 84 selects “English” listed in the language selection table T4.

ステップＳ５０４において、提示部１６は、ステップＳ５０３で決定した言語による音声データを音声出力により提示する。 In step S504, the presentation unit 16 presents the voice data in the language determined in step S503 by voice output.

ステップＳ５０５において、カメラ２０によりユーザＵの顔を含む画像を取得する。 In step S505, the camera 20 acquires an image including the face of the user U.

ステップＳ５０６において、感情推定部１１Ｄ及び対象特定部１３Ｄは、ステップＳ５０５でカメラ２０により取得した画像におけるユーザＵの表情から、ステップＳ５０４で提示した情報に対するユーザＵの理解度を推定する。 In step S506, the emotion estimation unit 11D and the target identification unit 13D estimate the user U's understanding of the information presented in step S504 from the facial expression of the user U in the image acquired by the camera 20 in step S505.

ステップＳ５０７において、言語決定部８４は、ステップＳ５０６で推定した理解度が所定値（例えば０．８）以上であるか否かを判定する。理解度が所定値以上である場合（ステップＳ５０７でＹｅｓ）にはステップＳ５０８へ、理解度が所定値未満である場合（ステップＳ５０７でＮｏ）にはステップＳ５０９に進む。 In step S507, the language determination unit 84 determines whether or not the comprehension level estimated in step S506 is equal to or higher than a predetermined value (for example, 0.8). If the comprehension level is equal to or higher than the predetermined value (Yes in step S507), the process proceeds to step S508, and if the comprehension level is less than the predetermined value (No in step S507), the process proceeds to step S509.

ステップＳ５０８において、言語決定部８４は、ステップＳ５０４でユーザＵに提示した情報の言語をユーザＵが理解できると判定する。言語決定部８４は、その後、この言語を用いてユーザＵへの情報提供を継続することができる。 In step S508, the language determination unit 84 determines that the user U can understand the language of the information presented to the user U in step S504. The language determination unit 84 can then continue to provide information to the user U using this language.

ステップＳ５０９において、言語決定部８４は、ユーザＵに提供する情報の言語を他の言語に決定する。他の言語の決定の際には、言語選択テーブルＴ４を用いる。ステップＳ５０３で白色人種に対して英語を選択した後であれば、言語決定部８４は、言語選択テーブルＴ４において英語の次に記載されたフランス語を、次にユーザＵに提供する情報の言語として決定することができる。この後、情報提示装置５は、ステップＳ５０４に戻り処理を続ける。 In step S509, the language determination unit 84 determines the language of the information to be provided to the user U to another language. When determining another language, the language selection table T4 is used. After selecting English for Caucasians in step S503, the language determination unit 84 uses French, which is listed next to English in the language selection table T4, as the next language of information to be provided to user U. Can be decided. After that, the information presenting device 5 returns to step S504 and continues the process.

以上のような一連の処理により、情報提示装置５は、ユーザＵが理解することができる言語を決定し、その後、決定した言語による情報提供を行うことができる。 Through the series of processes as described above, the information presenting device 5 can determine a language that the user U can understand, and then provide information in the determined language.

なお上記では、言語選択テーブルＴ４として人種ごとに言語が対応付けられたテーブルを用いる例を示したが、人種ごとの対応付けがない言語選択テーブルＴ５を用いてもよい（図２５参照）。言語選択テーブルＴ５を用いる場合、情報提示装置５は、ユーザＵの人種を特定することなく、言語の選択を行う。このようにすると、よりシンプルな言語選択テーブルＴ５を用いて、ユーザＵに提供する情報の言語を決定することができるので、処理量の削減、処理に係る消費電力の削減の効果がある。なお、この場合、人種特定部８０及び、ユーザＵの人種を特定する処理（ステップＳ５０１〜Ｓ５０２）は不要である。 In the above, an example of using a table in which languages are associated with each race is used as the language selection table T4, but a language selection table T5 without association with each race may be used (see FIG. 25). .. When the language selection table T5 is used, the information presentation device 5 selects the language without specifying the race of the user U. In this way, the language of the information to be provided to the user U can be determined by using the simpler language selection table T5, which has the effect of reducing the processing amount and the power consumption related to the processing. In this case, the race identification unit 80 and the process of identifying the race of the user U (steps S501 to S502) are unnecessary.

なお、上記では、情報提示装置５が起こしたイベントの後に変化したユーザＵの感情の変化を推定することで、ユーザＵの感情を引き起こした対象を特定している。特に、挨拶のような、特定の意味を持たない言葉を提示した後にユーザＵがネガティブな感情を有するときは、そもそも言語が理解できていない状況であると状況判定し、使用する言語を変えるものである。 In the above, the target that caused the emotion of the user U is specified by estimating the change in the emotion of the user U that has changed after the event caused by the information presenting device 5. In particular, when user U has negative emotions after presenting words that do not have a specific meaning, such as greetings, the situation is determined that the language is not understood in the first place, and the language used is changed. Is.

ここで、イベントは他のものであってもかまわない。例えば観光客に対し、お勧めの観光地を提示し、その後の観光客の表情を判定する。観光客がネガティブな感情を有していると、その観光地は観光客の好みではないと考えられるので、他の観光地をさらにお勧めする。観光客の観光についての嗜好を判定する方法には、実施の形態４の多次元ベクトルを用いる方法を適用可能である。 Here, the event may be something else. For example, a recommended tourist destination is presented to a tourist, and the facial expression of the tourist after that is judged. If a tourist has negative emotions, it is considered that the tourist destination is not a tourist's preference, so other tourist destinations are further recommended. As a method for determining a tourist's preference for tourism, a method using a multidimensional vector of the fourth embodiment can be applied.

また、イベントは発話だけではなく、動作でもかまわない。 In addition, the event may be an action as well as an utterance.

また、情報提示装置５の用途は、観光案内のための情報提供に限定されるものではない。学習型ロボットであって、ロボットが行った発話や動作の後のユーザＵの感情を推定し、その感情がネガティブであるか又はポジティブであるかを判定し、ユーザＵの嗜好に合わせて、ロボットの振舞い方を学習していくものであってもよい。 Further, the use of the information presenting device 5 is not limited to the provision of information for tourist information. It is a learning robot that estimates the emotions of the user U after the utterances and actions made by the robot, determines whether the emotions are negative or positive, and matches the preference of the user U to the robot. It may be something that learns how to behave.

また、情報提示装置５の用途は、生体認証システムであってもよい。この場合、情報提示装置５は、あらかじめユーザＵの嗜好を学習しておく。そして、その嗜好に基づく感情の変化をユーザＵの生体認証の一つの情報として用いる。例えば、まず、顔認証で、認証候補を絞り込む。その上で、本当に本人かどうか確認するために、本人の嗜好に合わせた画像の提示を行う。例えば、猫は好きだが犬は嫌い、といった嗜好を持つ人に対して猫のかわいい画像を見せて、そのタイミングでの感情を推定する。本人であれば、ポジティブな感情が推定されるはずである。また、犬の画像を見せたときは、ネガティブな感情が推定されるはずである。このように、対象物（猫又は犬）と感情との組み合わせによって、本人か否かを判定することができる。この方法は、顔だけではなく、その人物の心の内面まで踏み込んで判定する点で、従来の生体認証より優位である。この場合、利用者と生体認証システムとの間で、認証のための特殊な感情についての取り決めをしておいてもよい。例えば、犬の画像を提示したときは怒り出す、という、通常ではありえない感情の変化を、認証キーとして取り決めておいてもよい。 Further, the information presenting device 5 may be used for a biometric authentication system. In this case, the information presenting device 5 learns the preference of the user U in advance. Then, the change in emotion based on the preference is used as one piece of information for the biometric authentication of the user U. For example, first, face recognition is used to narrow down authentication candidates. Then, in order to confirm whether or not he / she is really the person himself / herself, he / she presents an image according to his / her taste. For example, a cute image of a cat is shown to a person who likes cats but dislikes dogs, and the emotions at that timing are estimated. If you are the person, you should be able to presume positive emotions. Also, when you show an image of a dog, negative emotions should be presumed. In this way, it is possible to determine whether or not the person is the person by the combination of the object (cat or dog) and the emotion. This method is superior to conventional biometric authentication in that it determines not only the face but also the inner surface of the person's mind. In this case, an agreement may be made between the user and the biometric authentication system regarding special emotions for authentication. For example, an unusual emotional change, such as getting angry when an image of a dog is presented, may be arranged as an authentication key.

また、情報提示装置５の用途は、税関における犯罪者の判定であってもよい。税関で犯罪者を発見する際に、質問と、当該質問を提示した後の感情の変化の組み合わせにより、ネガティブな感情がどのような質問で起こったかを集計することで、犯罪者の判定を行ってもよい。 Further, the information presenting device 5 may be used for determining a criminal at customs. When finding a criminal at customs, the criminal is judged by aggregating what kind of question the negative emotion occurred by combining the question and the change in emotion after presenting the question. You may.

また、情報提示装置５の用途は、ソーシャルゲームであってもよい。他のユーザのキャラクタと出会ったタイミングの後の感情がポジティブであった場合には、そのキャラクタに好意を持っているということだから、そのキャラクタと二人でのイベントが起こるようにゲーム内容を変更するものであってもよい。また、相手のキャラクタへの好意に応じて、自分のキャラクタの表示が変化するものであってもよい。また、ソーシャルゲームの戦闘イベントのタイミングの感情が非常にポジティブであった場合には、自分のキャラクタの能力が向上するものであってもよい。 Further, the information presenting device 5 may be used for a social game. If the emotions after the timing of meeting another user's character are positive, it means that you are in favor of that character, so change the game content so that an event with that character occurs. It may be something to do. In addition, the display of one's own character may change according to the favor of the other character. Also, if the emotions of the timing of the battle event of the social game are very positive, the ability of the character may be improved.

以上のように、本実施の形態の情報提示装置は、複数の言語による音声案内を行う装置として、言語に対するユーザの感情に基づいて、ユーザが理解できる言語を決定して音声案内を行うことができる。ここで、情報提示装置がユーザに提示した言語に対するユーザの推定される感情を用いることで、ユーザが理解できる言語をより適切に判定することができる。 As described above, the information presenting device of the present embodiment is a device that performs voice guidance in a plurality of languages, and can determine a language that the user can understand based on the user's emotions toward the language and perform voice guidance. can. Here, by using the user's presumed feelings toward the language presented to the user by the information presenting device, it is possible to more appropriately determine the language that the user can understand.

また、情報提示装置は、言語に対するユーザの理解度に基づいてユーザが理解できる言語を具体的に判定することができる。 In addition, the information presenting device can specifically determine a language that the user can understand based on the user's understanding of the language.

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報提示装置などを実現するソフトウェアは、次のようなプログラムである。 In each of the above embodiments, each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component. Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory. Here, the software that realizes the information presentation device and the like of each of the above embodiments is the following program.

すなわち、このプログラムは、コンピュータに、情報提示装置の制御方法であって、センサにより取得した物理量に基づいてユーザが抱いている感情を推定し、センサにより取得した物理量、又は、前記情報提示装置が備える提示部により前記ユーザに提示した情報に基づいて、前記ユーザに、推定した前記感情を引き起こした対象を特定する特定情報を生成し、推定した前記感情と、生成した前記特定情報とを用いた所定の処理を実行することで取得した情報を用いて、前記情報提示装置による提示を制御する制御方法を実行させる。 That is, this program is a control method of the information presenting device to the computer, estimates the emotion held by the user based on the physical quantity acquired by the sensor, and the physical quantity acquired by the sensor, or the information presenting device. Based on the information presented to the user by the presenting unit provided, the user is generated specific information for identifying the target that caused the estimated emotion, and the estimated emotion and the generated specific information are used. Using the information acquired by executing a predetermined process, the control method for controlling the presentation by the information presenting device is executed.

以上、一つまたは複数の態様に係る情報提示装置などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。 Although the information presentation device and the like according to one or more aspects have been described above based on the embodiment, the present invention is not limited to this embodiment. As long as the gist of the present invention is not deviated, various modifications that can be conceived by those skilled in the art are applied to the present embodiment, and a form constructed by combining components in different embodiments is also within the scope of one or more embodiments. May be included within.

本発明は、推定した感情に基づいて、よりユーザに適した情報を提示する情報提示装置に利用可能である。具体的には、車両のナビゲーション装置、顧客に対する接客方針を提示する装置、人に提供する料理を決定する装置、複数の言語により情報提供を行う装置などに利用可能である。 The present invention can be used as an information presenting device that presents information more suitable for the user based on the estimated emotion. Specifically, it can be used as a vehicle navigation device, a device for presenting a customer service policy to a customer, a device for determining a dish to be provided to a person, a device for providing information in a plurality of languages, and the like.

１、２、３、３Ａ、４、５情報提示装置
１０、１２センサ
１１、１１Ａ、１１Ｂ、１１Ｃ、１１Ｄ感情推定部
１３、１３Ａ、１３Ｂ、１３Ｃ、１３Ｄ対象特定部
１４、１４Ａ、１４Ｂ、１４Ｃ、１４Ｄ制御部
１６提示部
２０カメラ
２２道路状況取得部
２４、４４心情推定部
２６動作決定部
２８案内生成部
４２カメラ位置取得部
４６方針決定部
５１商品
５１Ａ、５３Ａ画像
５３価格表示
５５グラフ
５７、７１、７３文字列
６２嗜好判定部
６４料理決定部
８０人種特定部
８２理解度判定部
８４言語決定部
ＤＡ、ＤＢ器
Ｐ点
Ｔ１動作決定テーブル
Ｔ２心情テーブル
Ｔ３提示情報テーブル
Ｔ４、Ｔ５言語選択テーブル
Ｕユーザ 1, 2, 3, 3A, 4, 5 Information presentation device 10, 12 Sensor 11, 11A, 11B, 11C, 11D Emotion estimation unit 13, 13A, 13B, 13C, 13D Target identification unit 14, 14A, 14B, 14C, 14D control unit 16 presentation unit 20 camera 22 road condition acquisition unit 24, 44 emotion estimation unit 26 motion determination unit 28 guidance generation unit 42 camera position acquisition unit 46 policy determination unit 51 product 51A, 53A image 53 price display 55 graph 57, 71 , 73 Character string 62 Preference judgment unit 64 Cooking determination unit 80 Race identification unit 82 Comprehension determination unit 84 Language determination unit DA, DB device P point T1 Action determination table T2 Emotion table T3 Presentation information table T4, T5 Language selection table U A user

Claims

予め決められたユーザの認証情報を格納した個人認証装置の制御方法であって、
センサにより取得した物理量に基づいて対象ユーザが抱いている感情を推定し、
提示部により前記対象ユーザに提示された提示情報であって、前記対象ユーザに所定の感情を引き起こしうる対象物を含む提示情報に基づいて、前記対象ユーザに、推定した前記感情を引き起こした対象物を特定する特定情報を生成し、
推定した前記感情と、生成した前記特定情報との組み合わせが、前記予め決められたユーザの感情および対象物の組み合わせと一致するか否かに基づいて、前記対象ユーザが前記予め決められたユーザであるかどうかを判定する、
制御方法。 It is a control method of a personal authentication device that stores predetermined user authentication information.
Estimate the emotions that the target user has based on the physical quantity acquired by the sensor,
A Hisage radical 113 by the presentation information presented to the subject user based on the presentation information including the object capable of causing a predetermined emotion in said target user, the target user, caused the emotion estimated target Generates specific information that identifies an object,
Said emotion estimated, the combination of the generated the specific information, on the basis of whether or not to match the combination of the predetermined user's emotional and the object, the user of the target user is the predetermined Determine if there is,
Control method.

前記予め決められたユーザの感情および対象物の組み合わせは、前記予め決められたユーザの嗜好に基づく情報である、
請求項１に記載の制御方法。 The predetermined combination of user's emotions and objects is information based on the predetermined user's tastes.
The control method according to claim 1.

前記予め決められたユーザの嗜好に基づく前記情報は、（ｉ）第１感情と、（ｉｉ）前記ユーザである第１ユーザに前記第１感情を引き起こす第１対象物を含む第１情報を含み、
推定された前記感情が前記第１情報に含まれる前記第１感情であり、前記特定された対象物が、前記第１情報に含まれる前記第１対象物である場合、前記判定は、前記対象ユーザが前記予め決められたユーザであると判定する、
請求項２に記載の制御方法。 The information based on the predetermined user preference includes (i) a first emotion and (ii) first information including a first object that causes the first user who is the user to have the first emotion. ,
When the estimated emotion is the first emotion included in the first information and the specified object is the first object included in the first information, the determination is made. Determining that the user is the predetermined user,
The control method according to claim 2.

前記予め決められたユーザの嗜好は、あらかじめ学習されたものである、
請求項２に記載の制御方法。 The predetermined user preferences are pre-learned.
The control method according to claim 2.

前記予め決められたユーザの感情および対象物の組み合わせは、複数の予め決められたユーザの感情および対象物の複数の組み合わせであり、
前記制御方法は、さらに、
前記対象ユーザの顔を含む画像を用いて顔認証を行い、前記複数の予め決められたユーザの絞り込みを行い、
前記判定は、前記対象ユーザが絞り込まれた前記複数の予め決められたユーザの１人であるかどうかを判定する、
請求項１に記載の制御方法。 The predetermined combination of user emotions and objects is a plurality of combinations of a plurality of predetermined user emotions and objects .
The control method further
Face recognition is performed using an image including the face of the target user, and the plurality of predetermined users are narrowed down.
The determination determines whether the target user is one of the plurality of predetermined users narrowed down.
The control method according to claim 1.

前記提示部は、前記提示情報として、前記予め決められたユーザに前記第１感情を引き起こす前記第１対象物の第１画像を提示する、
請求項３に記載の制御方法。 The presenting unit presents, as the presenting information, a first image of the first object that causes the first emotion to the predetermined user.
The control method according to claim 3.

前記提示部が、前記第１対象物の第１画像を提示するとき、前記感情が推定される、
請求項６に記載の制御方法。 When the presenting unit presents the first image of the first object, the emotion is presumed.
The control method according to claim 6.

前記推定、前記生成および前記判定のうちの少なくとも１つは、個人認証装置のプロセッサにより行われる、
請求項１に記載の制御方法。 At least one of the estimation, the generation and the determination is performed by the processor of the personal authentication device.
The control method according to claim 1.

予め決められたユーザの個人情報を格納する個人認証装置であって、
センサにより取得した物理量に基づいて対象ユーザが抱いている感情を推定する推定部と、
提示部により前記対象ユーザに提示された提示情報であって、前記対象ユーザに所定の感情を引き起こしうる対象物を含む提示情報に基づいて、前記対象ユーザに、推定した前記感情を引き起こした対象物を特定する特定情報を生成する生成部と、
推定した前記感情と、生成した前記特定情報との組み合わせが、前記予め決められたユーザの感情および対象物の組み合わせと一致するか否かに基づいて、前記対象ユーザが前記予め決められたユーザであるかどうかを判定する判定部と、
を備える個人認証装置。 It is a personal authentication device that stores a predetermined user's personal information.
An estimation unit that estimates the emotions that the target user has based on the physical quantity acquired by the sensor,
A Hisage radical 113 by the presentation information presented to the subject user based on the presentation information including the object capable of causing a predetermined emotion in said target user, the target user, caused the emotion estimated target A generator that generates specific information that identifies an object,
Said emotion estimated, the combination of the generated the specific information, on the basis of whether or not to match the combination of the predetermined user's emotional and the object, the user of the target user is the predetermined A judgment unit that determines whether or not there is
A personal authentication device equipped with.

前記推定部、前記生成部および前記判定部のうちの少なくとも１つは、プロセッサを含む、
請求項９に記載の個人認証装置。 At least one of the estimation unit, the generation unit, and the determination unit includes a processor.
The personal authentication device according to claim 9.

プログラムを記録した記録媒体であって、前記プログラムは、予め決められたユーザの認証情報を格納したコンピュータが備えるプロセッサに、
センサにより取得した物理量に基づいて対象ユーザが抱いている感情を推定させ、
提示部により前記対象ユーザに提示された提示情報であって、前記対象ユーザに所定の感情を引き起こしうる対象物を含む提示情報に基づいて、前記対象ユーザに、推定した前記感情を引き起こした対象物を特定する特定情報を生成させ、
推定した前記感情と、生成した前記特定情報との組み合わせが、前記予め決められたユーザの感情および対象物の組み合わせと一致するか否かに基づいて、前記対象ユーザが前記予め決められたユーザであるかどうかを判定させる、
プログラムを記録した記録媒体。 A recording medium on which a program is recorded, wherein the program is stored in a processor included in a computer that stores predetermined user authentication information.
Estimate the emotions that the target user has based on the physical quantity acquired by the sensor,
A Hisage radical 113 by the presentation information presented to the subject user based on the presentation information including the object capable of causing a predetermined emotion in said target user, the target user, caused the emotion estimated target Generate specific information that identifies an object,
Said emotion estimated, the combination of the generated the specific information, on the basis of whether or not to match the combination of the predetermined user's emotional and the object, the user of the target user is the predetermined Let me judge if there is
A recording medium on which a program is recorded.