JP7501348B2 - Information output device and information output method - Google Patents
Information output device and information output method Download PDFInfo
- Publication number
- JP7501348B2 JP7501348B2 JP2020212181A JP2020212181A JP7501348B2 JP 7501348 B2 JP7501348 B2 JP 7501348B2 JP 2020212181 A JP2020212181 A JP 2020212181A JP 2020212181 A JP2020212181 A JP 2020212181A JP 7501348 B2 JP7501348 B2 JP 7501348B2
- Authority
- JP
- Japan
- Prior art keywords
- book
- user
- unit
- information
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 32
- 230000008451 emotion Effects 0.000 claims description 136
- 238000004458 analytical method Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 57
- 238000003384 imaging method Methods 0.000 description 22
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000036760 body temperature Effects 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000009118 appropriate response Effects 0.000 description 1
- 210000000467 autonomic pathway Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000001914 calming effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000883 ear external Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本発明は情報出力装置および情報出力方法に関し、特に詳しくは、電子書籍の内容に基づく適切な音声を出力することができる、情報出力装置および情報出力方法に関する。 The present invention relates to an information output device and an information output method, and more particularly to an information output device and an information output method that can output appropriate audio based on the contents of an electronic book.
電子書籍用端末や、スマートフォン等を用いて電子書籍を閲覧するアプリケーションなどが普及している。このような装置においては、電子書籍として、文字や画像を表示することに加えて、電子書籍の文字を音声として出力したり効果音を出力する装置もある。（例えば、特許文献１） E-book terminals and applications for viewing e-books using smartphones and the like are becoming widespread. In addition to displaying characters and images as e-books, some of these devices also output the characters of e-books as audio and sound effects. (For example, see Patent Document 1)
電子書籍において、ユーザが読んでいる位置に対応した効果音などの音声を出力する場合、ユーザによっては効果音などの音声の効果が感じられない場合や、同一の内容を繰り返し体験することで効果音に対する効果が薄れてくる場合もある。また、ユーザの気分によっても効果の有無は変わってくる。 When sound effects and other audio corresponding to the position where the user is reading are output in an e-book, some users may not feel the effect of the sound effects, or the effect of the sound effects may fade if they experience the same content repeatedly. In addition, the presence or absence of an effect may vary depending on the user's mood.
本発明は、上記問題に鑑み、ユーザに適した音声を出力することができる、情報出力装置および情報出力方法を提供することを目的とする。 In view of the above problems, the present invention aims to provide an information output device and an information output method that can output audio suitable for the user.
本発明に係る情報出力装置は、書籍を特定する書籍特定部と、前記書籍特定部が特定した書籍の内容を表示部に表示させる表示制御部と、前記書籍特定部が特定した書籍の内容および内容の前記表示部における表示位置を示す書籍情報を取得する書籍情報取得部と、前記表示部に対するユーザの視線位置を検出する視線検出部と、前記表示部に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を読んでいる箇所を特定する特定部と、前記ユーザの生体情報を取得して前記ユーザの感情を分析する感情分析部と、前記特定部で特定した前記ユーザが前記書籍を読んでいる箇所に対応する音声を、前記感情分析部が分析した前記ユーザの感情に基づいて選択する音声選択制御部と、前記音声選択制御部が選択した音声を出力する音声出力制御部と、を備える。 The information output device according to the present invention includes a book identification unit that identifies a book, a display control unit that causes the contents of the book identified by the book identification unit to be displayed on a display unit, a book information acquisition unit that acquires book information indicating the contents of the book identified by the book identification unit and the display position of the contents on the display unit, a gaze detection unit that detects the gaze position of a user relative to the display unit, an identification unit that identifies the part of the book where the user is reading based on the gaze position of the user relative to the display unit and the book information, a sentiment analysis unit that acquires biometric information of the user and analyzes the emotions of the user, a voice selection control unit that selects a voice corresponding to the part of the book where the user is reading identified by the identification unit based on the emotions of the user analyzed by the sentiment analysis unit, and a voice output control unit that outputs the voice selected by the voice selection control unit.
本発明に係る情報出力方法は、書籍を特定するステップと、特定した書籍の内容を表示部に表示させるステップと、特定した書籍の内容および内容の前記表示部における表示位置を示す書籍情報を取得するステップと、前記表示部に対するユーザの視線位置を検出するステップと、前記表示部に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を読んでいる箇所を特定するステップと、前記ユーザの生体情報を取得して前記ユーザの感情を分析するステップと、前記ユーザが前記書籍を読んでいる箇所に対応する音声を、前記ユーザの感情に基づいて選択するステップと、選択した音声を出力するステップと、を情報出力装置が実行する。 The information output method of the present invention includes a step of identifying a book, a step of displaying the contents of the identified book on a display unit, a step of acquiring book information indicating the contents of the identified book and the display position of the contents on the display unit, a step of detecting a user's gaze position with respect to the display unit, a step of identifying the part of the book where the user is reading based on the gaze position of the user with respect to the display unit and the book information, a step of acquiring biometric information of the user and analyzing the user's emotions, a step of selecting a sound corresponding to the part of the book where the user is reading based on the user's emotions, and a step of outputting the selected sound, performed by an information output device.
本発明によれば、ユーザに適した音声を出力することができる。 According to the present invention, it is possible to output audio suitable for the user.
以下、図面を参照して、本発明の実施の形態について説明する。本発明に係る情報出力装置は、電子書籍端末、スマートフォン、タブレット端末、パーソナルコンピュータなど、ユーザが電子書籍を閲覧できる任意の装置が対象である。また、本発明に係る情報出力システムは、情報出力装置に加えて、ユーザの生体情報を取得可能な装置が含まれる。具体例としては、図１に示すように、情報出力装置およびユーザの生体情報を取得可能であり、情報出力装置が出力する音声を出力可能なイヤフォンなどとの組み合わせで構成される。また、本発明は、情報出力装置がユーザの生体情報を取得可能であれば、情報出力装置のみの構成で成立する。また、本発明に係る情報出力システムは、ユーザの生体情報を取得するデバイスとして、スマートウォッチなどを組み合わせてもよい。本実施形態においては、スマートフォンとイヤフォンの組み合わせで実現される例として説明するが、以下の実施形態により本発明が限定されるものではない。 The following describes an embodiment of the present invention with reference to the drawings. The information output device according to the present invention is any device that allows a user to read an e-book, such as an e-book terminal, a smartphone, a tablet terminal, or a personal computer. The information output system according to the present invention includes a device capable of acquiring biometric information of a user in addition to the information output device. As a specific example, as shown in FIG. 1, the information output system is configured with a combination of an information output device and earphones capable of acquiring biometric information of a user and outputting the sound output by the information output device. The present invention can be realized with only the information output device as long as the information output device can acquire biometric information of a user. The information output system according to the present invention may also be combined with a smartwatch or the like as a device for acquiring biometric information of a user. In this embodiment, the present invention is described as an example realized by a combination of a smartphone and earphones, but the present invention is not limited to the following embodiment.
以下、図１から図３を参照して、本発明の第１実施形態を説明する。図１は、情報出力装置１０であるスマートフォンと、生体情報取得装置２０であるイヤフォンとの組み合わせによる情報出力システム１を示した概念図である。情報出力装置１０と生体情報取得装置２０は、有線または無線で接続されている。図１における情報出力装置１０は、書籍情報を提示する提示面としての表示部１３と、ユーザの視線検出を行うためにユーザの顔を撮影する撮像部１２が備えられている。生体情報取得装置２０であるイヤフォンは、一般的に右耳用と左耳用の一対で構成されるが、説明を容易とするために右耳用または左耳用のいずれか一方として説明する。
Below, a first embodiment of the present invention will be described with reference to Figs. 1 to 3. Fig. 1 is a conceptual diagram showing an
図２は、本発明の第１実施形態に係る情報出力システム１を構成する情報出力装置１０としてのスマートフォンの構成を示すブロック図であり、図３は、本発明の第１実施形態に係る情報出力システム１を構成する生体情報取得装置２０としてのイヤフォンの構成を示すブロック図である。
Figure 2 is a block diagram showing the configuration of a smartphone as the
図２および図３に図示した構成は、本発明の実現に必要な構成を中心に記載しており、図示している構成以外にも様々な構成要素を含む。 The configurations shown in Figures 2 and 3 are described with a focus on the configuration necessary to realize the present invention, and include various other components in addition to those shown.
図２において、情報出力装置１０であるスマートフォンは、制御部５０、書籍ＤＢ部１１、撮像部１２、表示部１３および通信部１４を備える。
In FIG. 2, the smartphone, which is the
書籍ＤＢ部１１は、情報出力装置１０で利用可能な書籍情報を記憶しているデータベースである。書籍ＤＢ部１１は、後述する通信部１４を介して通信可能な外部サーバに構築されているデータベースであってもよい。情報出力装置１０で利用可能な書籍情報とは、情報出力装置１０のユーザが購入した電子書籍、無料で利用可能な電子書籍などである。また、電子書籍は、文字情報としての書籍に限らず、画像で構成される電子書籍であってもよい。書籍ＤＢ部１１は、情報出力装置１０に備えられる記憶部、または情報出力装置１０が利用できる記憶部に備えられている。
The
書籍ＤＢ部１１に含まれる書籍情報は、電子書籍に対する内容および内容の表示位置が含まれる。電子書籍の内容の表示位置とは、電子書籍の内容を示す文字情報などが表示部１３に表示される位置であり、表示されるページ毎に、例えば表示部１３の表示画面におけるＸ－Ｙ座標が対応付けられている。電子書籍の内容の表示位置は、文字毎に表示される位置が対応付けられていてもよく、単語や画像毎に表示される位置が対応付けられていてもよい。
The book information contained in the
また、書籍ＤＢ部１１に含まれる書籍情報は、電子書籍の内容に対する音声情報が含まれる。電子書籍の内容に対応する音声情報とは、例えば、表示部１３に表示されている箇所の電子書籍の内容が、興奮するような内容や喜びに共感するような内容である場合、そのような感情に適した音楽や効果音などの音声情報である。音声情報には、悲しみや恐怖に対応する音声情報も含まれる。
The book information contained in the
さらに、書籍ＤＢ部１１に含まれる書籍情報は、電子書籍の内容に対する想定感情情報も含まれる。電子書籍の内容に対応する想定感情情報とは、例えば、表示部１３に表示されている箇所の電子書籍の内容が、興奮するような内容や喜びに共感するような内容である場合、その箇所を読んだユーザも同様な感情となることを想定することが示された情報である。想定感情情報には、悲しみや恐怖に対応する情報も含まれる。
Furthermore, the book information contained in the
撮像部１２は、例えば可視光カメラまたは赤外光カメラである。撮像部１２は、可視光カメラと赤外光カメラの双方を備えていてもよい。また、単一の撮像素子に、可視光と赤外光とを受光可能な構成であってもよい。撮像部１２は、表示部１３に表示される電子書籍を読んでいるユーザの顔を撮影する。このため、撮像部１２は、表示部１３に対向する方向を撮影可能な向きに配置されている。撮像部１２は、例えば、情報出力装置１０の表示部１３の上部に配置されており、情報出力装置１０であるスマートフォンの所謂インカメラである。撮像部１２は、撮影制御部５３により映像の撮影が制御され、撮影した映像データを撮影制御部５３に出力する。撮像部１２が赤外光カメラである場合は、撮像部１２の撮影方向に赤外光を照射する光源も含まれる。
The
表示部１３は、電子書籍を含む様々な情報を表示する。表示部１３は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、電子ペーパーなどで構成されるディスプレイである。表示部１３は、表示制御部５８によって情報の表示が制御される。
The
通信部１４は、情報出力装置１０が他の装置との間で無線通信を行う通信ユニットであり、通信制御部５９の制御によって通信を行う。通信部１４は、電話回線や、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの通信方式により、他の装置との間で無線通信を行う。情報出力装置１０がスマートフォンである場合は、通信部１４として、電話回線、Ｗｉ－ＦｉおよびＢｌｕｅｔｏｏｔｈの通信ユニットを各々備える。
The
制御部５０は、情報出力装置１０の各部の動作を制御する、所謂、情報出力制御装置である。制御部５０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、図示しない記憶部に記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより、各種機能が実現される。このため、制御部５０は、実施形態に係る情報出力方法を実行する。また、制御部５０は、本発明に係るプログラムを動作させるコンピュータである。制御部５０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。制御部５０は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
The
制御部５０は、その構成および機能として、書籍情報取得部５１、書籍特定部５２、撮影制御部５３、視線検出部５４、特定部５５、感情分析部５６、音声選択制御部５７、表示制御部５８、および通信制御部５９として機能する構成を少なくとも備える。
The
書籍情報取得部５１は、書籍ＤＢ部１１から書籍特定部５２が特定した電子書籍の書籍情報を取得する。書籍情報取得部５１は、取得した書籍情報を表示制御部５８に出力する。また、書籍情報取得部５１は、取得した書籍情報に電子書籍の内容に対応する音声情報を含む場合は、表示制御部５８が、音声情報が対応付けられている電子書籍の内容を表示する際に、対応する音声情報が選択されるように、音声選択制御部５７に出力する。また、書籍情報取得部５１は、取得した書籍情報に想定感情情報が含まれている場合は、感情分析部５６が分析したユーザの感情と比較するために、音声選択制御部５７に出力する。
The book
書籍特定部５２は、電子書籍を特定する。より詳しくは、書籍特定部５２は、ユーザが表示しようとしている電子書籍を特定する。または、書籍特定部５２は、表示部１３に表示されている電子書籍を特定する。書籍特定部５２は、例えば、図示しない操作部を介したユーザ操作に基づいて選択された電子書籍や表示された電子書籍を特定する。書籍特定部５２は、電子書籍を特定した情報を、書籍情報取得部５１に出力する。
The book identification unit 52 identifies an e-book. More specifically, the book identification unit 52 identifies an e-book that the user is trying to display. Or, the book identification unit 52 identifies an e-book that is displayed on the
撮影制御部５３は、撮像部１２による映像の撮影を制御し、撮像部１２が撮影した映像データを取得する。撮影制御部５３は、取得した映像データを視線検出部５４に出力する。また、撮像部１２が撮影した映像データを、ユーザの生体検出に用いる場合は、映像データを感情分析部５６に出力する。
The
視線検出部５４は、撮像部１２が撮影した映像データに基づいて、ユーザの視線の方向を検出する。視線を検出する方法は限定されないが、例えば、ユーザの顔、特に両目を赤外光で撮影した映像から角膜反射を検出することでユーザの視線を検出する。視線検出部５４は、ユーザの目の開閉を検出してもよい。視線検出部５４は、検出した視線の向きを示す情報を、特定部５５に出力する。
The
特定部５５は、ユーザの視線位置および書籍情報に基づき、表示部１３に表示されている電子書籍の内容に対する、ユーザが電子書籍を見ている箇所を特定する。特定部５５は、表示部１３に表示されている電子書籍の内容からページ番号を特定し、ユーザの視線位置に対応する電子書籍のページ番号、行数、行頭からの文字数、または、段落、文字、単語などを特定する。特定部５５は、ユーザの視線位置や目の開閉に基づき、ユーザが電子書籍を読んでいるか否かを判断してもよい。
The
感情分析部５６は、通信制御部５９が通信部１４を介して生体情報取得装置２０から取得した生体情報を取得して、ユーザの感情の分析を行う。感情分析部５６は、撮影制御部５３が取得した撮像部１２が撮影した映像データを生体情報として取得し、ユーザの感情の分析を行ってもよい。或いは、生体情報取得装置２０から取得した生体情報と、映像データとして取得した生体情報とを組み合わせて、ユーザの感情の分析を行ってもよい。感情分析部５６がイヤフォンとしての生体情報取得装置２０から取得する生体情報の例として、心拍情報、体温情報、肌導電率などがある。また、感情分析部５６が映像データとして取得する生体情報の例として、心拍情報、表情などがある。さらに、生体情報取得装置２０にスマートウォッチを用いた場合は、心拍情報に加えて、血圧情報などが取得可能である。これらの様々な生体情報も、ユーザの感情の分析に利用可能である。
The
感情分析部５６は、生体情報取得装置２０から取得する生体情報がユーザの心拍情報である場合、心拍変動に基づいて推定されるユーザの自律神経の活動状態から、ユーザが興奮や喜びの状態であるか、または、ストレスや憂鬱な状態であるか、さらには、リラックスしている状態であるかなどを分析する。感情分析部５６は、取得した生体情報を、通信制御部５９の制御によって通信部１４を介して、外部の感情分析用のサーバに送信し、感情分析用のサーバによる分析結果を取得してもよい。感情分析部５６によるユーザの感情の分析は、他のセンサによる測定結果や映像データに基づく分析を組み合わせてもよく、一般的には、ＡＩによる分析が行われる。
When the biometric information acquired from the biometric
音声選択制御部５７は、書籍情報取得部５１が取得した書籍情報としての音声情報を選択する。音声選択制御部５７は、特定部５５が特定したユーザが電子書籍を読んでいる箇所に対応する音声情報を選択する。また、音声選択制御部５７は、感情分析部５６が分析したユーザの感情に基づいて、音声を選択する。また、音声選択制御部５７は、感情分析部５６が分析したユーザの感情に基づいて、音声を変化させる。音声の変化とは、音声の種類、音量、音程などを変化させることである。
The audio selection control unit 57 selects audio information as book information acquired by the book
また、音声選択制御部５７は、書籍情報取得部５１が書籍情報としてさらに取得した想定感情情報と、感情分析部５６が分析したユーザの感情とを比較し、その差異などに基づいて、音声の選択し、音声を変化させる。音声選択制御部５７は、例えば、ユーザが電子書籍を読んでいる箇所に対応する想定感情情報が、興奮や喜びの状態となることが想定されることを示している場合に、ユーザの感情が想定感情情報に示されているような感情を示していない場合や、ユーザの感情が想定感情情報に示されているようなレベルの感情を示していない場合に、興奮や喜びの状態を喚起させるような音声を選択する。また、予めそのような音声が選択されている場合は、音量が大きくなるように変化させたり、さらに興奮や喜びの状態を喚起させるような音声を選択する。
The voice selection control unit 57 also compares the expected emotion information further acquired as book information by the book
また、音声選択制御部５７は、例えば、ユーザが電子書籍を読んでいる箇所に対応する想定感情情報が、恐怖感のある状態となることが想定されることを示している場合に、ユーザの感情が想定感情情報に示されているような感情を示していない場合や、ユーザの感情が想定感情情報に示されているようなレベルの感情を示していない場合に、恐怖感を喚起させるような音声を選択する。また、予めそのような音声が選択されている場合は、音量が大きくなるように変化させたり、さらに恐怖感を喚起させるような音声を選択する。 In addition, for example, when the expected emotion information corresponding to the part of the e-book where the user is reading indicates that the user is expected to be in a frightening state, if the user's emotion does not indicate the emotion indicated in the expected emotion information, or if the user's emotion does not indicate the level of emotion indicated in the expected emotion information, the voice selection control unit 57 selects a voice that evokes a sense of fear. In addition, if such a voice has been selected in advance, the volume is increased, or a voice that evokes even more fear is selected.
表示制御部５８は、書籍情報取得部５１が取得した電子書籍の書籍情報を表示部１３に表示させる。表示制御部５８は、書籍情報取得部５１が取得した書籍情報から、表示部１３に電子書籍の内容を表示させる。表示制御部５８は、図示しない操作部を介したユーザ操作に基づいて、表示部１３において書籍のページをめくったり、書籍を閉じたりするような表示を行う。
The
通信制御部５９は、情報出力装置１０が他の装置との間で無線通信を行い、様々なデータの送受信の制御を行う。通信制御部５９は、複数の通信方式を通信対象となる装置に合わせて使い分ける制御も行う。通信制御部５９は、Ｂｌｕｅｔｏｏｔｈ等の通信方式を用いて、生体情報取得装置２０との通信を確立し、生体情報取得装置２０に対してユーザの生体情報の要求を行い、生体情報取得装置２０からユーザの生体情報を取得する。また、通信制御部５９は、電話回線や、Ｗｉ－Ｆｉ等の通信方式を用いて、外部サーバ等の外部装置と情報の送受信を行う。通信制御部５９は、イヤフォンとしての生体情報取得装置２０に、音声情報を出力するため、情報出力装置１０における音声出力制御部としての機能を有する。
The communication control unit 59 controls the wireless communication between the
図３において、生体情報取得装置２０であるイヤフォンは、制御部７０、生体センサ２１、通信部２２および音声出力部２３を備える。
In FIG. 3, the earphones, which are the biometric
制御部７０は、各種データ処理を行う単数または複数のＣＰＵ（Central Processing Unit）、バッファメモリなどで構成され、プログラムによって様々な処理を実行する。制御部７０は、その構成および機能として、生体情報取得部７１、通信制御部７２、および音声出力制御部７３として機能する構成を少なくとも備える。
The
生体センサ２１は、ユーザの外耳など皮膚に接触するように配置された各種センサである。生体センサ２１は、例えば、心拍センサ、体温センサ、肌導電率センサなどである。生体センサ２１は、測定した生体情報を生体情報取得部７１に出力する。生体センサ２１は、イヤフォンを構成するイヤーピースなど、ユーザの肌に直接触れる位置に配置される。
The biosensor 21 is a variety of sensors that are arranged to come into contact with the skin, such as the user's outer ear. The biosensor 21 is, for example, a heart rate sensor, a body temperature sensor, a skin conductivity sensor, etc. The biosensor 21 outputs the measured bioinformation to the
通信部２２は、生体情報取得装置２０が情報出力装置１０などの他の装置との間で無線通信を行う通信ユニットであり、制御部７０の通信制御部７２の制御によって通信を行う。通信部２２は、Ｂｌｕｅｔｏｏｔｈなどの近距離の通信方式により、他の装置との間で無線通信を行う。
The
音声出力部２３は、音声出力制御部７３から出力された音声信号を増幅し、ユーザが音声を聴取できるように、空気振動に変換する。音声出力部２３は所謂アンプと振動ユニットである。
The
生体情報取得部７１は、生体センサ２１が検出した生体情報を示すデータを取得し、通信制御部７２に出力する。
The biometric
通信制御部７２は、情報出力装置１０との間で無線通信を行い、様々なデータを授受する制御を行う。通信制御部７２は、情報出力装置１０から音声情報を受信し、情報出力装置１０に生体情報を示すデータを送信する。
The
音声出力制御部７３は、通信部２２を介して取得した音声情報を音声出力部２３に出力する制御を行う。音声出力制御部７３は、通信部２２を介して取得したデジタル信号による音声情報をアナログ信号による音声情報に変換するＤ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換機能を備える。
The audio
次に、図４を用いて、本発明に係る情報出力装置１０が実行する処理の流れについて説明する。情報出力装置１０が実行する情報出力方法は、情報出力制御装置として動作するコンピュータとしての制御部５０、または制御部５０および制御部７０が、プログラムに基づき実行する。
Next, the flow of processing executed by the
図４における処理の開始は、ユーザが情報出力装置１０を操作して、所望の電子書籍を選択することや、選択された電子書籍を表示部１３に表示するためのアプリケーションが起動することで開始される。つまり、ユーザによる電子書籍の選択操作に基づき、書籍特定部５２は、書籍情報取得部５１が書籍情報を取得する電子書籍を特定する。
The process in FIG. 4 begins when the user operates the
図４の処理の開始に伴い、書籍情報取得部５１は、書籍ＤＢ部１１から選択された電子書籍の書籍情報を取得し、表示制御部５８は、書籍情報を表示部１３に表示させる。また、書籍情報の表示に伴い、視線検出部５４は、撮像部１２がユーザを撮影した映像データからユーザの視線を検出し、ユーザが表示部１３を見ている箇所、つまり電子書籍を読んでいる箇所の検出を開始する（ステップＳ１０１）。
When the process in FIG. 4 starts, the book
ステップＳ１０１の処理の開始後、音声選択制御部５７は、書籍情報取得部５１が取得した書籍情報における想定感情情報に基づき、特定部５５が特定したユーザが読んでいる箇所が、感情に訴える箇所であるか否かを判断する（ステップS１０２）。言い換えると、特定部５５が特定したユーザが読んでいる箇所に対応する想定感情情報があるか否かを判断する。つまり、電子書籍におけるユーザが読んでいる箇所が、興奮するような内容や喜びに共感するような内容である箇所や、悲しみや恐怖を感じる箇所などであることが判断される。
After the processing of step S101 starts, the voice selection control unit 57 judges whether the part the user is reading, identified by the
ステップＳ１０２において、ユーザが読んでいる箇所が、感情に訴える箇所であると判断された場合（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０３に推移し、ユーザがステップＳ１０２で判断された感情に対応する感情を示しているか否かを判断する（ステップＳ１０３）。ステップＳ１０２において、ユーザが読んでいる箇所が、感情に訴える箇所ではないと判断された場合（ステップＳ１０２：Ｎｏ）、ステップＳ１０５に推移する。 If it is determined in step S102 that the part the user is reading is an emotionally appealing part (step S102: Yes), the process proceeds to step S103, where it is determined whether the user is expressing an emotion corresponding to the emotion determined in step S102 (step S103). If it is determined in step S102 that the part the user is reading is not an emotionally appealing part (step S102: No), the process proceeds to step S105.
ステップＳ１０３においては、音声選択制御部５７は、感情分析部５６が分析したユーザの感情と想定感情情報とを比較し、ユーザは想定感情情報に示されているような感情を示しているか否かを判断する。ステップＳ１０３での判断は、例えば、ユーザが読んでいる箇所における想定感情情報が興奮や喜びの状態となることが想定されることを示している場合に、ユーザの感情が同様の感情を示しているか否かを判断する。また、ユーザが読んでいる箇所における想定感情情報が恐怖感のある状態となることが想定されることを示している場合に、ユーザの感情が同様の感情を示しているか否かを判断する。
In step S103, the voice selection control unit 57 compares the user's emotion analyzed by the
ステップＳ１０３による判断の他の例としては、例えば、ユーザが読んでいる箇所における想定感情情報がある程度のレベルの興奮や喜びの状態となることが想定されることを示している場合に、ユーザの感情が同様のレベルの感情を示しているか否かを判断する。このレベルは、数値化されていることが適切である。具体的には、第１レベルの興奮度や喜び度、第１レベルよりは高いレベルである第２レベルの興奮度や喜び度などが想定感情情報として示される。これに対し、感情分析部５６によるユーザの感情の分析は、例えば、第１レベルの興奮度や喜び度に相当する感情、第１レベルよりは高いレベルである第２レベルの興奮度や喜び度に相当する感情などが分析される。恐怖感に対応するレベルも同様である。
As another example of the judgment made by step S103, for example, when the expected emotion information in the section the user is reading indicates that a certain level of excitement or joy is expected, it is judged whether the user's emotion indicates a similar level of emotion. It is appropriate that this level is quantified. Specifically, a first level of excitement or joy, a second level of excitement or joy that is higher than the first level, etc. are indicated as expected emotion information. In contrast, the
ステップＳ１０３において、ユーザが、電子書籍を読んでいる箇所に対応する感情を示していると判断された場合（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４に推移する。ステップＳ１０３において、ユーザが、電子書籍を読んでいる箇所に対応する感情を示していないと判断された場合（ステップＳ１０３：Ｎｏ）、ステップＳ１０５に推移する。 If it is determined in step S103 that the user is showing emotion corresponding to the part of the e-book they are reading (step S103: Yes), the process proceeds to step S104. If it is determined in step S103 that the user is not showing emotion corresponding to the part of the e-book they are reading (step S103: No), the process proceeds to step S105.
ステップＳ１０４においては、電子書籍を読んでいるユーザが、電子書籍を読んでいる箇所における想定感情情報に示される感情を示していない場合に、音声選択制御部５７は、想定感情情報に示される感情を喚起するような音楽などの音声を選択し、通信制御部５９によってイヤフォンである生体情報取得装置２０に出力させる。つまり、音声選択制御部５７は、音声出力制御部である通信制御部５９に、選択した音声を出力させる。
In step S104, if the user reading the e-book is not showing the emotion indicated in the expected emotion information at the point where the e-book is being read, the sound selection control unit 57 selects sound such as music that evokes the emotion indicated in the expected emotion information, and causes the communication control unit 59 to output the sound to the biometric
また、ステップＳ１０４においては、電子書籍を読んでいるユーザが、電子書籍を読んでいる箇所における想定感情情報に示されるレベルの感情を示していない場合に、音声選択制御部５７は、想定感情情報に示される感情をさらに喚起するような音楽などの音声を選択し、通信制御部５９によってイヤフォンである生体情報取得装置２０に出力させる。
In addition, in step S104, if the user reading the electronic book does not show the level of emotion shown in the expected emotion information at the point where the electronic book is being read, the audio selection control unit 57 selects audio, such as music, that further evokes the emotion shown in the expected emotion information, and causes the communication control unit 59 to output the selected audio to the biometric
ステップＳ１０４で出力された音声は、ユーザが電子書籍を読み進めることで、想定感情情報が対応付けられていない箇所になった場合や、異なる想定感情情報が対応付けられている箇所になった場合に、出力が停止される。 The audio output in step S104 is stopped when the user continues reading the electronic book and reaches a point to which no expected emotion information is associated, or when the user reaches a point to which different expected emotion information is associated.
ステップＳ１０５においては、音声選択制御部５７は、ユーザによる電子書籍の利用が停止したか否かを判断する。電子書籍の利用が終了していないと判断された場合（ステップＳ１０５：Ｎｏ）、ステップＳ１０２に推移し、電子書籍の利用が終了したと判断された場合（ステップＳ１０５：Ｙｅｓ）、本処理を終了する。ステップＳ１０５においては、例えば、電子書籍を表示部１３に表示するためのアプリケーションが終了または待機状態となった場合や、ユーザが表示部１３を例えば６０秒以上などの所定時間見ていない場合などに、電子書籍の利用が終了したと判断される。
In step S105, the audio selection control unit 57 determines whether or not the user has stopped using the electronic book. If it is determined that the user has not finished using the electronic book (step S105: No), the process proceeds to step S102. If it is determined that the user has finished using the electronic book (step S105: Yes), the process ends. In step S105, it is determined that the user has finished using the electronic book, for example, when an application for displaying the electronic book on the
このような処理によって、情報出力装置１０または情報出力システム１は、電子書籍の内容に基づいて、電子書籍を読んでいるユーザに適した音声を出力することができる。例えば、ユーザが想定感情情報に示される感情を示さない場合や、示していてもレベルが低い場合に、感情を喚起する音楽等の音声が出力されるため、ユーザの感情も音声によって影響を受け、ユーザは電子書籍をさらに楽しむことができる。
Through such processing, the
次に、図５を用いて、本発明の第２実施形態に係る情報出力装置１０が実行する処理の流れについて説明する。第２実施形態における情報出力装置１０および情報出力システム１の構成は、第１実施形態と共通であるため、説明を省略する。図５の処理において、ステップＳ２０１、ステップＳ２０２およびステップＳ２０７は、図４におけるステップＳ１０１、ステップＳ１０２およびステップＳ１０５と共通するため、説明を省略する。
Next, the flow of processing executed by the
ステップＳ２０２において、ユーザが読んでいる箇所が、感情に訴える箇所であると判断された場合（ステップＳ２０２：Ｙｅｓ）、音声選択制御部５７は、ユーザが読んでいる箇所に対応する音声があるか否かを判断する（ステップＳ２０３）。ユーザが読んでいる箇所に対応する音声とは、書籍情報取得部５１が書籍情報として取得した、電子書籍の内容に対応した音楽や効果音などの音声情報である。ステップＳ２０３において、ユーザが読んでいる箇所に対応する音声があると判断された場合（ステップＳ２０３：Ｙｅｓ）、ステップＳ２０４に推移し、ユーザが読んでいる箇所に対応する音声がないと判断された場合（ステップＳ２０３：Ｎｏ）、ステップＳ２０７に推移する。
If it is determined in step S202 that the part the user is reading is an emotional part (step S202: Yes), the audio selection control unit 57 determines whether there is audio corresponding to the part the user is reading (step S203). The audio corresponding to the part the user is reading is audio information such as music or sound effects corresponding to the contents of the electronic book, which is acquired as book information by the book
ステップＳ２０４においては、音声選択制御部５７は、ステップＳ２０３で判断された音声を選択し、音声出力制御部である通信制御部５９に、選択した音声を通信制御部５９によってイヤフォンである生体情報取得装置２０に出力させる。つまり、音声選択制御部５７は、音声出力制御部である通信制御部５９に、選択した音声の出力を開始させる。
In step S204, the voice selection control unit 57 selects the voice determined in step S203, and causes the communication control unit 59, which is a voice output control unit, to output the selected voice to the biometric
ステップＳ２０４で、音声の出力を開始した後、ステップＳ２０５に推移し、ユーザがステップＳ２０２で判断された感情に対応する感情を示しているか否かを判断する。ステップＳ２０５におけるユーザの感情に対する判断は、第１実施形態におけるステップＳ１０３における判断と共通するが、ステップＳ２０５においては、ユーザが読んでいる箇所に対応する音声をユーザが聞いている状態での感情の判断である。 After starting audio output in step S204, the process proceeds to step S205, where it is determined whether the user is showing an emotion corresponding to the emotion determined in step S202. The determination of the user's emotion in step S205 is the same as the determination in step S103 in the first embodiment, but in step S205, the emotion is determined while the user is listening to the audio corresponding to the passage the user is reading.
ステップＳ２０５において、ユーザが、電子書籍を読んでいる箇所に対応する音声を聞いている状態で、その位置に対応する感情を示していると判断された場合（ステップＳ２０５：Ｙｅｓ）、ステップＳ２０７に推移する。ステップＳ２０５において、ユーザが、電子書籍を読んでいる箇所に対応する音声を聞いている状態で、その位置に対応する感情を示していない判断された場合（ステップＳ２０５：Ｎｏ）、ステップＳ２０６に推移する。 If it is determined in step S205 that the user is listening to the audio corresponding to the portion of the e-book he is reading and is showing an emotion corresponding to that position (step S205: Yes), the process proceeds to step S207. If it is determined in step S205 that the user is listening to the audio corresponding to the portion of the e-book he is reading and is not showing an emotion corresponding to that position (step S205: No), the process proceeds to step S206.
ステップＳ２０６においては、音声選択制御部５７は、ステップＳ２０４で出力を開始した音声の変更、または音量の変更等を行う。ステップＳ２０６においては、電子書籍を読んでいるユーザが、電子書籍を読んでいる箇所における想定感情情報に示される感情を示していない場合に、音声選択制御部５７は、ステップＳ２０４で出力が開始された音声に代えて、想定感情情報に示される感情をさらに喚起するような音楽などの音声を選択し、通信制御部５９によってイヤフォンである生体情報取得装置２０に出力させる。
In step S206, the audio selection control unit 57 changes the audio that started to be output in step S204, changes the volume, etc. In step S206, if the user reading the electronic book is not showing the emotion indicated in the expected emotion information at the point where the electronic book is being read, the audio selection control unit 57 selects audio such as music that further evokes the emotion indicated in the expected emotion information, instead of the audio that started to be output in step S204, and causes the communication control unit 59 to output the audio to the biometric
また、ステップＳ２０６においては、電子書籍を読んでいるユーザが、電子書籍を読んでいる箇所における想定感情情報に示される感情を示していない場合に、音声選択制御部５７は、ステップＳ２０４で出力が開始された音声の音量や音程が変化するように、通信制御部５９によってイヤフォンである生体情報取得装置２０に出力させる。
In addition, in step S206, if the user reading the electronic book is not showing the emotion indicated in the expected emotion information at the point where the electronic book is being read, the audio selection control unit 57 causes the communication control unit 59 to output the audio, which started to be output in step S204, to the biometric
例えば、想定感情情報が興奮や喜びの状態となることが想定されることを示している場合に、ユーザの感情が、想定感情情報に示されている感情を示していない場合や、想定感情情報に示されるレベルの感情を示していない場合、音声選択制御部５７は、ステップＳ２０４で出力が開始された音声の音量を、数％大きく変更したり、音程を数％上げる変更を行う。例えば、想定感情情報が恐怖感のある状態となることが想定されることを示している場合に、ユーザの感情が、想定感情情報に示されている感情を示していない場合や、想定感情情報に示されるレベルの感情を示していない場合、音声選択制御部５７は、ステップＳ２０４で出力が開始された音声の音量を、数％小さく変更したり、音程を数％下げる変更を行う。また、音声が突然中断するような変更を行ってもよい。 For example, when the expected emotion information indicates that a state of excitement or joy is expected, if the user's emotion does not indicate the emotion indicated in the expected emotion information, or does not indicate the level of emotion indicated in the expected emotion information, the voice selection control unit 57 increases the volume of the voice that started to be output in step S204 by a few percent, or raises the pitch by a few percent. For example, when the expected emotion information indicates that a state of fear is expected, if the user's emotion does not indicate the emotion indicated in the expected emotion information, or does not indicate the level of emotion indicated in the expected emotion information, the voice selection control unit 57 reduces the volume of the voice that started to be output in step S204 by a few percent, or lowers the pitch by a few percent. In addition, a change such as a sudden interruption of the voice may be made.
このような処理によって、情報出力装置１０または情報出力システム１は、電子書籍の内容に基づいて、電子書籍を読んでいるユーザに適したように変化させた音声を出力することができる。例えば、ユーザが想定感情情報に示される感情を示さない場合や、示していてもレベルが低い場合に、感情を喚起する音楽等の音声を変化させて出力されるため、ユーザの感情も音声によって影響を受け、ユーザは電子書籍をさらに楽しむことができる。
Through such processing, the
次に、図６を用いて、本発明の第３実施形態に係る情報出力装置１０が実行する処理の流れについて説明する。第３実施形態における情報出力装置１０および情報出力システム１の構成は、第１実施形態と共通であるため、説明を省略する。図６の処理において、ステップＳ３０１、ステップＳ３０２およびステップＳ３０５は、図４におけるステップＳ１０１、ステップＳ１０２およびステップＳ１０５と共通するため、説明を省略する。
Next, the flow of processing executed by the
ステップＳ３０２において、ユーザが読んでいる箇所が、感情に訴える箇所であると判断された場合（ステップＳ３０２：Ｙｅｓ）、ステップＳ３０３に推移し、ユーザがステップＳ１０２で判断された感情に対し、過剰反応を示しているか否かを判断する（ステップＳ３０３）。つまり、ステップＳ３０３においては、ユーザが想定感情情報に示される感情を超えるレベルの感情を示している否かを判断する。 In step S302, if it is determined that the part the user is reading is an emotional part (step S302: Yes), the process proceeds to step S303, where it is determined whether the user is overreacting to the emotion determined in step S102 (step S303). In other words, in step S303, it is determined whether the user is showing an emotion at a level that exceeds the emotion indicated in the expected emotion information.
ステップＳ３０２においては、特に、想定感情情報が恐怖感のある状態となることが想定されることを示している場合に、ユーザの心拍や体温などの生体情報が異常値を示す場合や、異常値を示す可能性が高くなるような推移を示している場合に、過剰反応を示していると判断する。 In step S302, it is determined that an overreaction is occurring, particularly when the expected emotion information indicates that a state of fear is expected, and when the user's biometric information, such as heart rate or body temperature, indicates abnormal values or shows a trend that indicates an increased likelihood of abnormal values.
ステップＳ３０３において、ユーザが、電子書籍を読んでいる箇所に対応する過剰反応を示していると判断された場合（ステップＳ３０３：Ｙｅｓ）、ステップＳ３０４に推移する。ステップＳ３０３において、ユーザが、電子書籍を読んでいる箇所に対応する過剰反応を示していないと判断された場合（ステップＳ３０３：Ｎｏ）、ステップＳ３０５に推移する。 If it is determined in step S303 that the user is overreacting to the part of the e-book they are reading (step S303: Yes), the process proceeds to step S304. If it is determined in step S303 that the user is not overreacting to the part of the e-book they are reading (step S303: No), the process proceeds to step S305.
ステップＳ３０４においては、想定感情情報が恐怖感のある状態となることが想定されることを示している場合、音声選択制御部５７は、音声の音量を低下させる変更や、気持ちを落ち着かせる音声に変更を行う。また、ステップＳ３０４においては、読んでいる電子書籍の表示を停止してもよく、他の電子書籍に変更することを促してもよい。 In step S304, if the expected emotion information indicates that a frightening state is expected, the audio selection control unit 57 changes the audio to a lower volume or changes the audio to a more calming one. Also, in step S304, the display of the electronic book being read may be stopped, or the user may be prompted to change to another electronic book.
このような処理によって、情報出力装置１０または情報出力システム１は、電子書籍の内容に基づいて、電子書籍を読んでいるユーザに適した音声の出力、または適した対応をすることができる。
By performing such processing, the
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、生体情報の取得は、生体情報取得装置２０を用いずに、情報出力装置１０で行ってもよい。さらには、音声の出力は、生体情報取得装置２０を用いずに、情報出力装置１０で行ってもよい。また、各実施形態は、各々の独立した実施に加えて、適宜組み合わせた実施や、並列処理的な実施などが可能である。
The present invention is not limited to the above-described embodiments, and can be modified as appropriate without departing from the spirit of the present invention. For example, acquisition of biometric information can be performed by the
また、上述した処理をコンピュータに実行させるためのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、または様々な通信回線を介して提供可能であり、情報出力装置として動作するコンピュータに供給することができる。 In addition, the program for causing a computer to execute the above-mentioned processes can be stored using various types of non-transitory computer-readable media or provided via various communication lines, and can be supplied to a computer operating as an information output device.
１ 情報出力システム
１０ 情報出力装置
１１ 書籍ＤＢ部
１２ 撮像部
１３ 表示部
１４ 通信部
２０ 生体情報取得装置
２１ 生体センサ
２２ 通信部
２３ 音声出力部
５０ 制御部
５１ 書籍情報取得部
５２ 書籍特定部
５３ 撮影制御部
５４ 視線検出部
５５ 特定部
５６ 感情分析部
５７ 音声選択制御部
５８ 表示制御部
５９ 通信制御部
７０ 制御部
７１ 生体情報取得部
７２ 通信制御部
７３ 音声出力制御部
REFERENCE SIGNS
Claims (5)
前記書籍特定部が特定した書籍の内容を表示部に表示させる表示制御部と、
前記書籍特定部が特定した書籍の内容および内容の前記表示部における表示位置を示す書籍情報を取得する書籍情報取得部と、
前記表示部に対するユーザの視線位置を検出する視線検出部と、
前記表示部に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を読んでいる箇所を特定する特定部と、
前記ユーザの生体情報を取得して前記ユーザの感情を分析する感情分析部と、
前記特定部で特定した前記ユーザが前記書籍を読んでいる箇所に対応する音声を、前記感情分析部が分析した前記ユーザの感情に基づいて選択する音声選択制御部と、
前記音声選択制御部が選択した音声を出力する音声出力制御部と、
を備える情報出力装置。 A book identification unit that identifies a book;
a display control unit that causes the contents of the book identified by the book identification unit to be displayed on a display unit;
a book information acquiring unit that acquires book information indicating the contents of the book identified by the book identifying unit and the display position of the contents on the display unit;
a gaze detection unit that detects a gaze position of a user with respect to the display unit;
an identification unit that identifies a portion of the book that the user is reading based on the gaze position of the user with respect to the display unit and the book information;
an emotion analysis unit that acquires biometric information of the user and analyzes emotions of the user;
a voice selection control unit that selects a voice corresponding to the part of the book that the user is reading, which is identified by the identification unit, based on the emotion of the user analyzed by the emotion analysis unit;
a sound output control unit that outputs the sound selected by the sound selection control unit;
An information output device comprising:
請求項１に記載の情報出力装置。 the voice selection control unit changes at least one of a type of voice, a volume of voice, or a pitch of voice corresponding to a part of the book being read by the user based on the emotion of the user;
2. The information output device according to claim 1.
前記音声選択制御部は、前記特定部で特定した、前記ユーザが前記書籍を読んでいる箇所に対応する想定感情情報と、前記ユーザの感情との比較結果に基づいて、前記ユーザが前記書籍を読んでいる箇所に対応する音声を選択する、
請求項１または２に記載の情報出力装置。 the book information acquisition unit further acquires expected emotion information corresponding to the content of the book identified by the book identification unit;
The voice selection control unit selects a voice corresponding to the portion of the book where the user is reading, based on a comparison result between expected emotion information corresponding to the portion of the book where the user is reading, identified by the identification unit, and the emotion of the user.
3. The information output device according to claim 1 or 2.
請求項１から３のいずれか１項に記載の情報出力装置。 When it is detected that the user's emotion is an overreaction to a part of the book that the user is reading, the voice selection control unit selects a voice that suppresses the user's emotion.
The information output device according to claim 1 .
特定した書籍の内容を表示部に表示させるステップと、
特定した書籍の内容および内容の前記表示部における表示位置を示す書籍情報を取得するステップと、
前記表示部に対するユーザの視線位置を検出するステップと、
前記表示部に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を読んでいる箇所を特定するステップと、
前記ユーザの生体情報を取得して前記ユーザの感情を分析するステップと、
前記ユーザが前記書籍を読んでいる箇所に対応する音声を、前記ユーザの感情に基づいて選択するステップと、
選択した音声を出力するステップと、
を情報出力装置が実行する情報出力方法。 Identifying a book;
A step of displaying the content of the identified book on a display unit;
acquiring book information indicating the content of the identified book and the display position of the content on the display unit;
Detecting a gaze position of a user with respect to the display unit;
identifying a part of the book being read by the user based on a gaze position of the user with respect to the display unit and the book information;
acquiring biometric information of the user and analyzing the emotion of the user;
selecting a sound corresponding to a portion of the book being read by the user based on an emotion of the user;
outputting the selected audio;
The information output method is executed by an information output device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020212181A JP7501348B2 (en) | 2020-12-22 | 2020-12-22 | Information output device and information output method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020212181A JP7501348B2 (en) | 2020-12-22 | 2020-12-22 | Information output device and information output method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022098662A JP2022098662A (en) | 2022-07-04 |
| JP7501348B2 true JP7501348B2 (en) | 2024-06-18 |
Family
ID=82261908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020212181A Active JP7501348B2 (en) | 2020-12-22 | 2020-12-22 | Information output device and information output method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7501348B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003509976A (en) | 1999-09-10 | 2003-03-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and apparatus for advising on receivable programs |
| JP2006201853A (en) | 2005-01-18 | 2006-08-03 | Fujitsu Ten Ltd | Content reproduction device |
| JP2007102360A (en) | 2005-09-30 | 2007-04-19 | Sharp Corp | Electronic book device |
| JP2007271655A (en) | 2006-03-30 | 2007-10-18 | Brother Ind Ltd | System for adding affective content, and method and program for adding affective content |
| US20140176813A1 (en) | 2012-12-21 | 2014-06-26 | United Video Properties, Inc. | Systems and methods for automatically adjusting audio based on gaze point |
| JP2018072876A (en) | 2016-10-24 | 2018-05-10 | 富士ゼロックス株式会社 | Emotion estimation system and emotion estimation model generation system |
| JP2020140178A (en) | 2019-03-01 | 2020-09-03 | 富士通クライアントコンピューティング株式会社 | Voice conversion device, voice conversion system and program |
-
2020
- 2020-12-22 JP JP2020212181A patent/JP7501348B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003509976A (en) | 1999-09-10 | 2003-03-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and apparatus for advising on receivable programs |
| JP2006201853A (en) | 2005-01-18 | 2006-08-03 | Fujitsu Ten Ltd | Content reproduction device |
| JP2007102360A (en) | 2005-09-30 | 2007-04-19 | Sharp Corp | Electronic book device |
| JP2007271655A (en) | 2006-03-30 | 2007-10-18 | Brother Ind Ltd | System for adding affective content, and method and program for adding affective content |
| US20140176813A1 (en) | 2012-12-21 | 2014-06-26 | United Video Properties, Inc. | Systems and methods for automatically adjusting audio based on gaze point |
| JP2018072876A (en) | 2016-10-24 | 2018-05-10 | 富士ゼロックス株式会社 | Emotion estimation system and emotion estimation model generation system |
| JP2020140178A (en) | 2019-03-01 | 2020-09-03 | 富士通クライアントコンピューティング株式会社 | Voice conversion device, voice conversion system and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022098662A (en) | 2022-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110874129B (en) | Display system | |
| EP2652578B1 (en) | Correlation of bio-signals with modes of operation of an apparatus | |
| US10366778B2 (en) | Method and device for processing content based on bio-signals | |
| WO2015072202A1 (en) | Information-processing device, method and program for detecting eye fatigue on basis of pupil diameter | |
| US20180285641A1 (en) | Electronic device and operation method thereof | |
| EP2591408B1 (en) | Using bio-signals for controlling a user alert | |
| US11861837B2 (en) | Utilization of luminance changes to determine user characteristics | |
| US11782508B2 (en) | Creation of optimal working, learning, and resting environments on electronic devices | |
| JP7501348B2 (en) | Information output device and information output method | |
| US10643636B2 (en) | Information processing apparatus, information processing method, and program | |
| KR20210075641A (en) | Providing Method for information and electronic device supporting the same | |
| KR20200046526A (en) | Screen control device and method for sight protection | |
| CN108600502B (en) | Electronic device, dialing method and related product | |
| JP2017059079A (en) | Information delivery device and information delivery program | |
| JP7435125B2 (en) | Information output control device, information output system, information output control method and program | |
| KR20200094436A (en) | Electronic device and method for providing image acquired through camera to a plurality of applications | |
| US20240233940A1 (en) | Interactive medical communication device | |
| US11762457B1 (en) | User comfort monitoring and notification | |
| US20230259203A1 (en) | Eye-gaze based biofeedback | |
| US11775673B1 (en) | Using physiological cues to measure data sensitivity and implement security on a user device | |
| JP2022034144A (en) | Information terminal, information terminal control program, and information terminal control method | |
| CN117120958A (en) | Pressure detection | |
| WO2022066476A1 (en) | Detecting unexpected user interface behavior using physiological data | |
| EP4216797A1 (en) | Retinal imaging-based eye accommodation detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230929 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240520 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7501348 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |