JP7435125B2

JP7435125B2 - Information output control device, information output system, information output control method and program

Info

Publication number: JP7435125B2
Application number: JP2020054852A
Authority: JP
Inventors: 建小林; 利一藤井; 一夫野村; 達弘 ▲鮭▼川; 真史上村; 丁珠崔
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2020-03-25
Filing date: 2020-03-25
Publication date: 2024-02-21
Anticipated expiration: 2040-03-25
Also published as: JP2021157315A

Description

本発明は、情報出力制御装置、情報出力システム、情報出力制御方法およびプログラムに関する。 The present invention relates to an information output control device, an information output system, an information output control method, and a program.

例えば、スマートフォンまたは電子書籍用端末などを用いた電子書籍が普及している。また、電子書籍等のテキストを音声出力する電子書籍端末が知られている（例えば、特許文献１参照）。視線検出を用いて、ユーザが表示画面を注視することで表示内容を音声出力することが開示されている（例えば、特許文献２参照）。 For example, electronic books using smartphones or electronic book terminals are becoming popular. Furthermore, electronic book terminals that output audio of text such as electronic books are known (for example, see Patent Document 1). It has been disclosed that a user gazes at a display screen using line of sight detection to output display content as voice (see, for example, Patent Document 2).

特開２０１４－０２１５６５号公報JP2014-021565A 特開２０１４－１０６３２９号公報Japanese Patent Application Publication No. 2014-106329

電子書籍の読書中に、目の疲労が発生したり眠くなったりすることもあるが、ユーザは、続きを知りたい欲求もある。ところが、音声出力可能な電子書籍端末は、音声出力させるための操作が必要になる。このため、目の疲労や眠気によって、音声出力を行わせたい場合の操作が煩わしい。また、音声出力を開始する箇所の設定も必要である。 While reading an e-book, the user may experience eye fatigue or become sleepy, but the user also has a desire to know what's next. However, electronic book terminals that can output audio require an operation to output audio. Therefore, when the user wants to output audio due to eye fatigue or drowsiness, the operation becomes cumbersome. It is also necessary to set the location where audio output starts.

本発明は、上記に鑑みてなされたものであって、電子書籍の音声出力を適切なタイミングで行うことを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to output audio of an electronic book at an appropriate timing.

上述した課題を解決し、目的を達成するために、本発明に係る情報出力制御装置は、書籍を特定する書籍特定部と、前記書籍特定部が特定した書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得部と、前記提示面に対するユーザの視線位置および前記ユーザが前記提示面を注視しているか否かを検出するユーザ検出部と、前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定部と、前記ユーザ検出部が、前記ユーザが前記提示面を注視している状態から注視していない状態となったことを検出した場合、前記ユーザが前記提示面を注視している状態から注視していない状態となった直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御部と、を備える。 In order to solve the above-mentioned problems and achieve the purpose, an information output control device according to the present invention includes a book specifying section that specifies a book, the content of the book specified by the book specifying section, and the book. a book information acquisition unit that acquires book information indicating a presentation position of the content of the book on a presentation surface; and a user detection unit that detects a user's line of sight position with respect to the presentation surface and whether or not the user is gazing at the presentation surface. a specifying unit that identifies a location where the user is viewing the book based on the user's line of sight position with respect to the presentation surface and the book information; and a user detection unit that determines whether the user is viewing the presentation surface. When it is detected that the state changes from a state of gazing to a state of not gazing, the user's line of sight is identified from the position of the user's line of sight immediately before the state of gazing at the presentation surface changes from the state of not gazing at the user. and an audio output control unit that outputs the contents of the book after the point where the book is viewed in audio form.

本発明に係る情報出力システムは、上記の情報出力制御装置と、前記書籍の内容を表示する表示部と、前記書籍の内容を音声で出力する音声出力部と、を備える。 An information output system according to the present invention includes the above information output control device, a display unit that displays the content of the book, and an audio output unit that outputs the content of the book in audio.

本発明に係る情報出力制御方法は、書籍を特定する書籍特定ステップと、前記書籍特定ステップによって特定された書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得ステップと、前記提示面に対するユーザの視線位置および前記ユーザが前記提示面を注視しているか否かを検出するユーザ検出ステップと、前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定ステップと、前記ユーザ検出ステップが、前記ユーザが前記提示面を注視している状態から注視していない状態となったことを検出した場合、前記ユーザが前記提示面を注視している状態から注視していない状態となった直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御ステップと、を含む。 The information output control method according to the present invention includes a book specifying step for specifying a book, a book specifying the content of the book specified in the book specifying step, and a presentation position of the content of the book on a presentation surface for presenting the book. a book information acquisition step of acquiring information; a user detection step of detecting a user's gaze position with respect to the presentation surface and whether or not the user is gazing at the presentation surface; a user detection step of detecting the user's gaze position with respect to the presentation surface; The identifying step of identifying a location where the user is viewing the book based on the book information and the user detecting step change the state in which the user is not gazing at the presentation surface from a state where the user is gazing at the presentation surface. If it is detected that the user is gazing at the presentation surface, the display screen after the location where the book is being viewed, as determined from the user's line of sight position immediately before the user changes from gazing at the presentation surface to not gazing at the presentation surface. and an audio output control step of outputting the content of the book in audio.

本発明に係るプログラムは、書籍を特定する書籍特定ステップと、前記書籍特定ステップによって特定された書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得ステップと、前記提示面に対するユーザの視線位置および前記ユーザが前記提示面を注視しているか否かを検出するユーザ検出ステップと、前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定ステップと、前記ユーザ検出ステップが、前記ユーザが前記提示面を注視している状態から注視していない状態となったことを検出した場合、前記ユーザが前記提示面を注視している状態から注視していない状態となった直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御ステップと、をコンピュータに実行させる。 A program according to the present invention includes a book specifying step for specifying a book, and acquiring book information indicating the content of the book specified in the book specifying step and the presentation position of the content of the book on a presentation surface that presents the book. a user detection step of detecting a user's line of sight position with respect to the presentation surface and whether or not the user is gazing at the presentation surface; and a user detection step of detecting the user's line of sight position with respect to the presentation surface and the book information. Based on this, the identifying step of identifying the location where the user is viewing the book, and the user detecting step detect that the user has changed from a state where he or she is gazing at the presentation surface to a state where the user is not gazing at the presentation surface. If detected, the content of the book after the point where the book is being viewed, which is identified from the user's gaze position immediately before the user changes from gazing at the presentation surface to not gazing at it. a voice output control step of outputting the voice as a voice.

本発明によれば、電子書籍の音声出力を適切なタイミングで行うことができるという効果を奏する。 According to the present invention, it is possible to output the audio of an electronic book at an appropriate timing.

図１は、第一実施形態に係る情報出力システムを示す概略図である。FIG. 1 is a schematic diagram showing an information output system according to the first embodiment. 図２は、第一実施形態に係る情報出力システムの構成例を示すブロック図である。FIG. 2 is a block diagram showing a configuration example of the information output system according to the first embodiment. 図３は、第一実施形態に係る情報出力システムにおける処理の流れの一例を示すフローチャートである。FIG. 3 is a flowchart showing an example of the flow of processing in the information output system according to the first embodiment. 図４は、第二実施形態に係る情報出力システムにおける処理の流れの一例を示すフローチャートである。FIG. 4 is a flowchart showing an example of the flow of processing in the information output system according to the second embodiment. 図５は、第三実施形態に係る情報出力システムにおける処理の流れの一例を示すフローチャートである。FIG. 5 is a flowchart showing an example of the flow of processing in the information output system according to the third embodiment. 図６は、第四実施形態に係る情報出力システムにおける処理の流れの一例を示すフローチャートである。FIG. 6 is a flowchart illustrating an example of the flow of processing in the information output system according to the fourth embodiment.

以下に添付図面を参照して、本発明に係る情報出力システム１の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。 DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of an information output system 1 according to the present invention will be described in detail below with reference to the accompanying drawings. Note that the present invention is not limited to the following embodiments.

［第一実施形態］
＜情報出力システム＞
図１は、第一実施形態に係る情報出力システム１を示す概略図である。図２は、第一実施形態に係る情報出力システム１の構成例を示すブロック図である。情報出力システム１は、例えば、電子書籍端末、スマートフォン、タブレット端末、および、携帯用ゲーム機などの、電磁的に記録された書籍である電子書籍（以下、「書籍」という）を閲覧可能な電子機器に適用される。以下の説明では、これらの電子機器を総称して、表示装置という。情報出力システム１は、音声出力装置の一例としてのヘッドホン１０と、書籍を閲覧する電子機器としての表示装置３０と、情報出力制御装置５０とを有する。 [First embodiment]
<Information output system>
FIG. 1 is a schematic diagram showing an information output system 1 according to the first embodiment. FIG. 2 is a block diagram showing a configuration example of the information output system 1 according to the first embodiment. The information output system 1 is an electronic device that can read electronic books (hereinafter referred to as "books") that are electromagnetically recorded books, such as electronic book terminals, smartphones, tablet terminals, and portable game machines. Applies to equipment. In the following description, these electronic devices are collectively referred to as a display device. The information output system 1 includes headphones 10 as an example of an audio output device, a display device 30 as an electronic device for viewing books, and an information output control device 50.

＜ヘッドホン＞
ヘッドホン１０は、書籍に対応した音声を出力する。ヘッドホン１０は、情報出力制御装置５０から出力される音声データに基づいて、音声を出力する。ヘッドホン１０は、情報出力制御装置５０と有線または無線でデータを送受信可能に接続されている。ヘッドホン１０は、左音声出力部１１と右音声出力部１２とを有する。 <Headphones>
Headphones 10 output audio corresponding to the book. The headphones 10 output audio based on audio data output from the information output control device 50. The headphones 10 are connected to the information output control device 50 so as to be able to transmit and receive data by wire or wirelessly. Headphones 10 include a left audio output section 11 and a right audio output section 12.

左音声出力部１１は、左耳用の音声出力部である。左音声出力部１１は、左耳において視聴させる音声を出力する。左音声出力部１１は、情報出力制御装置５０から音声データを取得する。左音声出力部１１は、音声データの左チャンネルデータを出力する。左音声出力部１１は、音声データの左チャンネルデータをＤ／Ａ変換して得られた電気信号を音に変換して出力する。 The left audio output unit 11 is an audio output unit for the left ear. The left audio output unit 11 outputs audio to be viewed in the left ear. The left audio output unit 11 acquires audio data from the information output control device 50. The left audio output unit 11 outputs left channel data of audio data. The left audio output section 11 converts the electrical signal obtained by D/A converting the left channel data of the audio data into sound and outputs the sound.

右音声出力部１２は、右耳用の音声出力部である。右音声出力部１２は、右耳において視聴させる音声を出力する。右音声出力部１２は、情報出力制御装置５０から音声データを取得する。右音声出力部１２は、音声データの右チャンネルデータを出力する。右音声出力部１２は、音声データの右チャンネルデータをＤ／Ａ変換して得られた電気信号を音に変換して出力する。 The right audio output unit 12 is an audio output unit for the right ear. The right audio output unit 12 outputs audio to be viewed in the right ear. The right audio output unit 12 acquires audio data from the information output control device 50. The right audio output unit 12 outputs right channel data of audio data. The right audio output unit 12 converts the electrical signal obtained by D/A converting the right channel data of the audio data into sound and outputs the sound.

＜表示装置＞
表示装置３０は、書籍を閲覧する装置である。より詳しくは、表示装置３０は、情報出力制御装置５０から出力される書籍の提示面のデータに基づいて、書籍の提示面を表示する。表示装置３０は、書籍データベース部（図２では「書籍ＤＢ部」）３１と、視線センサ３２と、表示部３４と、制御装置としての情報出力制御装置５０とを有する。 <Display device>
The display device 30 is a device for viewing books. More specifically, the display device 30 displays the presentation surface of the book based on the data of the presentation surface of the book output from the information output control device 50. The display device 30 includes a book database section ("book DB section" in FIG. 2) 31, a line of sight sensor 32, a display section 34, and an information output control device 50 as a control device.

書籍データベース部３１は、書籍のデータ、いわゆる、書籍情報を記憶するデータベースである。書籍のデータには、書籍の紙面を示す紙面データと、書籍の紙面に含まれる文字を音声で示す音声データとを含む。書籍データベース部３１は、図示しない通信部を介して外部のサーバ等から参照可能な構成であってもよい。 The book database unit 31 is a database that stores book data, so-called book information. The book data includes page data indicating the page of the book, and audio data indicating the characters included in the page of the book. The book database section 31 may be configured to be referenceable from an external server or the like via a communication section (not shown).

視線センサ３２は、表示部３４の表示画面と同じ方向を向いて配置されている。視線センサ３２は、表示部３４の表示画面と対面している人物の視線を検出するセンサである。視線センサ３２は、ユーザが書籍を閲覧している状態では、ユーザの顔と向かい合う位置に配置されている。視線センサ３２は、例えば、表示装置３０の表示画面の上部に配置されている。視線センサ３２は、撮影した映像データを情報出力制御装置５０のユーザ検出部５４へ出力する。 The line of sight sensor 32 is arranged facing the same direction as the display screen of the display unit 34. The line of sight sensor 32 is a sensor that detects the line of sight of a person facing the display screen of the display unit 34 . The line of sight sensor 32 is placed at a position facing the user's face when the user is viewing a book. The line of sight sensor 32 is arranged, for example, at the top of the display screen of the display device 30. The line of sight sensor 32 outputs captured video data to the user detection unit 54 of the information output control device 50.

視線センサ３２は、例えば、赤外ＬＥＤ群で構成された赤外光発光部と、一対の赤外線カメラとを含む。本実施形態では、視線センサ３２は、一対の赤外光発光部でユーザの顔方向に赤外光を照射し、赤外線カメラで撮影する。このようにして赤外線カメラで撮影した撮影映像から、後述するユーザ検出部５４が、ユーザの瞳孔と角膜反射の位置とに基づいて、ユーザの視線が表示部３４に表示された書籍の提示面を向いているか否かを判定する。さらに、ユーザの瞳孔と角膜反射の位置とに基づいて、表示部３４に表示された書籍の提示面におけるユーザの視線の位置が判定される。視線センサ３２は、同様の機能を有する他の構成であってもよい。視線センサ３２は、赤外発行部および赤外線カメラからなる構成に代えて、可視光を撮影する可視光カメラを用いてもよい。この場合、撮影部３３と同一の可視光カメラを視線センサ３２として用いてもよい。視線センサ３２は、撮影した映像データを情報出力制御装置５０のユーザ検出部５４に出力する。 The line-of-sight sensor 32 includes, for example, an infrared light emitting section composed of a group of infrared LEDs and a pair of infrared cameras. In this embodiment, the line-of-sight sensor 32 irradiates infrared light toward the user's face using a pair of infrared light emitting units, and photographs the user's face with an infrared camera. Based on the image taken by the infrared camera in this way, the user detection unit 54 (to be described later) determines whether the user's line of sight is on the presentation surface of the book displayed on the display unit 34 based on the position of the user's pupil and the corneal reflex. Determine whether it is suitable or not. Furthermore, the position of the user's line of sight on the presentation surface of the book displayed on the display unit 34 is determined based on the position of the user's pupil and corneal reflex. The line of sight sensor 32 may have other configurations having similar functions. The line-of-sight sensor 32 may use a visible light camera that photographs visible light instead of having an infrared emitting unit and an infrared camera. In this case, the same visible light camera as the imaging unit 33 may be used as the line of sight sensor 32. The line of sight sensor 32 outputs the captured video data to the user detection unit 54 of the information output control device 50.

撮影部３３は、表示部３４の表示画面と対面している人物を撮影する可視光カメラである。撮影部３３は、ユーザの顔を撮影する。撮影部３３は、表示部３４に対向する方向を撮影可能な向きに配置されているため、ユーザが書籍を閲覧している状態では、ユーザの顔を撮影可能である。撮影部３３は、例えば、表示装置３０の表示画面の上部に配置されている。撮影部３３は、撮影した映像データを情報出力制御装置５０のユーザ検出部５４へ出力する。 The photographing section 33 is a visible light camera that photographs a person facing the display screen of the display section 34. The photographing unit 33 photographs the user's face. Since the photographing section 33 is arranged in a direction that allows photographing in the direction facing the display section 34, it is possible to photograph the user's face while the user is viewing a book. The photographing unit 33 is arranged, for example, at the top of the display screen of the display device 30. The photographing section 33 outputs the photographed video data to the user detection section 54 of the information output control device 50.

表示部３４は、書籍データベース部３１に記憶された、書籍の提示面を表示する。表示部３４は、液晶ディスプレイ（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）または有機ＥＬ（ＯｒｇａｎｉｃＥｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、電子ペーパーなどを含むディスプレイである。表示部３４は、情報出力制御装置５０の表示制御部５３から出力された表示データに基づいて、書籍の提示面を表示する。 The display unit 34 displays the presentation surface of the book stored in the book database unit 31. The display unit 34 is a display including a liquid crystal display (LCD), an organic electro-luminescence (EL) display, electronic paper, or the like. The display section 34 displays the presentation surface of the book based on the display data output from the display control section 53 of the information output control device 50.

＜情報出力制御装置＞
情報出力制御装置５０は、表示部３４の表示画面を用いて書籍の内容を提示する。表示部３４の表示画面は、書籍を提示する提示面である。情報出力制御装置５０は、書籍情報の提示面を注視している状態から注視していない状態になったときに、書籍を閲覧していた箇所以降の書籍の内容を音声で出力する。情報出力制御装置５０は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）または映像処理用プロセッサなどで構成された演算処理装置（制御部）である。情報出力制御装置５０は、図示しない記憶部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。情報出力制御装置５０は、書籍情報取得部５１と、書籍特定部５２と、表示制御部５３と、ユーザ検出部５４と、特定部５６と、音声出力制御部５７と、内部メモリである記憶部とが含まれる。情報出力制御装置５０は、一または複数の装置で構成されていてもよい。 <Information output control device>
The information output control device 50 presents the content of the book using the display screen of the display unit 34. The display screen of the display unit 34 is a presentation surface that presents books. The information output control device 50 outputs the content of the book from the point where the book was being viewed in audio when the state changes from a state where the user is gazing at the presentation surface of the book information to a state where the user is not gazing at the presentation surface of the book information. The information output control device 50 is, for example, an arithmetic processing device (control unit) including a CPU (Central Processing Unit) or a video processing processor. The information output control device 50 loads a program stored in a storage unit (not shown) into memory and executes instructions included in the program. The information output control device 50 includes a book information acquisition section 51, a book specification section 52, a display control section 53, a user detection section 54, a specification section 56, an audio output control section 57, and a storage section that is an internal memory. and is included. The information output control device 50 may be composed of one or more devices.

書籍情報取得部５１は、書籍データベース部３１から書籍情報を取得する。より詳しくは、書籍情報取得部５１は、書籍特定部５２が特定した書籍の内容および内容の提示位置を示す書籍情報を取得する。書籍の内容の提示位置とは、書籍の内容を示すテキストが表示部３４の表示画面に表示されている位置であり、提示されるページ毎に、例えば表示部３４の表示部におけるＸ－Ｙ座標が対応付けられている。書籍の内容の提示位置は、文字毎に表示される位置が対応付けられていてもよく、単語毎に表示される位置が対応付けられていてもよい。 The book information acquisition unit 51 acquires book information from the book database unit 31. More specifically, the book information acquisition unit 51 acquires book information indicating the content of the book specified by the book identification unit 52 and the presentation position of the content. The presentation position of the content of the book is the position where the text indicating the content of the book is displayed on the display screen of the display unit 34, and for each page presented, for example, the XY coordinates on the display unit of the display unit 34 are displayed. are associated. The presentation position of the content of the book may be associated with a position where each character is displayed, or a position where each word is displayed.

書籍特定部５２は、書籍を特定する。より詳しくは、書籍特定部５２は、ユーザが表示しようとしている書籍を特定する。または、書籍特定部５２は、表示部３４に表示されている書籍を特定する。書籍特定部５２は、例えば、図示しない操作部を介したユーザ操作に基づいて選択された書籍や表示された書籍を特定する。 The book specifying unit 52 specifies a book. More specifically, the book identifying unit 52 identifies the book that the user is attempting to display. Alternatively, the book specifying unit 52 specifies the book displayed on the display unit 34. The book specifying unit 52 specifies, for example, a selected book or a displayed book based on a user operation via an operation unit (not shown).

表示制御部５３は、書籍情報取得部５１が取得した書籍情報を表示部３４に表示させる。表示制御部５３は、書籍情報取得部５１が取得した書籍情報から、表示部３４に書籍の提示面を表示させる。表示制御部５３は、図示しない操作部を介したユーザ操作に基づいて、提示面において書籍のページをめくったり、書籍を閉じたりするような表示を行う。 The display control unit 53 causes the display unit 34 to display the book information acquired by the book information acquisition unit 51. The display control unit 53 causes the display unit 34 to display the presentation surface of the book based on the book information acquired by the book information acquisition unit 51. The display control unit 53 performs a display such as turning a page of a book or closing a book on the presentation surface based on a user operation via an operation unit (not shown).

ユーザ検出部５４は、視線センサ３２が撮影した映像データに基づいて、ユーザの視線の方向を検出する。ユーザ検出部５４は、書籍の提示面に対するユーザの視線位置およびユーザが提示面を注視しているか否かを検出する。本実施形態では、ユーザ検出部５４は、ユーザの目の開閉に基づいてユーザが提示面を注視しているか否かを検出する。視線を検出する方法は限定されないが、本実施形態では、角膜反射によって視線を検出する。ユーザ検出部５４は、視線センサ３２が撮影した映像データに基づいて、ユーザの目の開閉を検出する。 The user detection unit 54 detects the direction of the user's line of sight based on the video data captured by the line of sight sensor 32. The user detection unit 54 detects the user's gaze position with respect to the presentation surface of the book and whether or not the user is gazing at the presentation surface. In this embodiment, the user detection unit 54 detects whether the user is gazing at the presentation surface based on the opening and closing of the user's eyes. Although the method of detecting the line of sight is not limited, in this embodiment, the line of sight is detected by corneal reflection. The user detection unit 54 detects the opening and closing of the user's eyes based on the video data captured by the line of sight sensor 32.

特定部５６は、書籍の提示面に対するユーザの視線位置および書籍情報に基づき、ユーザが書籍を閲覧している箇所を特定する。特定部５６は、書籍の提示面に提示されている内容からページ番号を特定し、書籍の提示面におけるユーザの視線位置を検出し、ユーザの視線位置に対応する行数、行頭からの文字数、または、段落、文字、単語などを特定する。 The specifying unit 56 specifies the location where the user is viewing the book based on the user's line of sight position with respect to the presentation surface of the book and the book information. The identification unit 56 identifies the page number from the content presented on the presentation surface of the book, detects the user's line of sight position on the presentation surface of the book, and determines the number of lines, number of characters from the beginning of the line, and the number of lines corresponding to the user's line of sight position. Or identify paragraphs, characters, words, etc.

音声出力制御部５７は、ヘッドホン１０から書籍の音声データを音として出力する制御を行う。より詳しくは、音声出力制御部５７は、音声データの左チャンネルデータをＤ／Ａ変換して増幅した信号を左音声出力部１１から出力させる。音声出力制御部５７は、音声データの右チャンネルデータをＤ／Ａ変換して増幅した信号を右音声出力部１２から出力させる。音声出力制御部５７は、ユーザ検出部５４が、ユーザが提示面を注視している状態から注視していない状態となったことを検出した場合、ユーザが提示面を注視している状態から注視していない状態となった直前におけるユーザの視線位置から特定された書籍を閲覧している箇所（以下、「閲覧箇所」という。）以降の書籍の内容を音声で出力する。本実施形態では、音声出力制御部５７は、ユーザ検出部５４が、ユーザが目を開いて提示面を注視している状態から目を閉じている状態となったことを検出した場合、ユーザの目が閉じられる直前の閲覧箇所以降の書籍の内容を音声で出力する。 The audio output control unit 57 performs control to output book audio data as sound from the headphones 10. More specifically, the audio output control section 57 causes the left audio output section 11 to output a signal obtained by D/A converting and amplifying the left channel data of the audio data. The audio output control section 57 causes the right audio output section 12 to output a signal obtained by D/A converting and amplifying the right channel data of the audio data. When the user detection unit 54 detects that the user has changed from a state in which the user is gazing at the presentation surface to a state in which the user is not gazing at the presentation surface, the audio output control section 57 changes the state in which the user is gazing at the presentation surface to a state in which the user is not gazing at the presentation surface. The content of the book from the point where the book is being viewed (hereinafter referred to as the "browsing point") specified from the user's line of sight position immediately before the state where the user is not reading the book is output as audio. In the present embodiment, when the user detection unit 54 detects that the user has changed from a state where the user's eyes are open and gazing at the presentation surface to a state where the user's eyes are closed, the audio output control unit 57 controls the user's The contents of the book after the viewing part immediately before the eyes are closed are output as audio.

音声出力制御部５７による書籍の音声データの出力方法は任意である。例えば、書籍データベース部３１に記憶された音声データの出力、外部に構成された書籍データベース部３１からのストリーミング出力、または書籍データベース部３１に記憶された書籍のテキストデータに基づく音声合成による出力などが適用可能である。 The method of outputting book audio data by the audio output control unit 57 is arbitrary. For example, output of audio data stored in the book database unit 31, streaming output from the book database unit 31 configured externally, output by voice synthesis based on text data of books stored in the book database unit 31, etc. Applicable.

閲覧箇所以降とは、閲覧箇所を含み、書籍の内容の区切りのよい箇所以降としてもよい。例えば、末尾位置を含む単語、語句、文、章、または、ページの先頭などの、区切りのよい箇所以降でもよい。ユーザの目が閉じたと判定された時点で閲覧していた内容と、音声出力する内容とが重複してもよい。 The term "after the viewed part" includes the viewed part, and may be a part after the part where the contents of the book are well separated. For example, it may be a word, phrase, sentence, chapter, or after a well-delimited point, such as the beginning of a page, including the last position. The content that was being viewed at the time when it was determined that the user's eyes were closed may overlap with the content that is output as audio.

音声出力制御部５７は、ユーザ検出部５４が書籍の提示面を注視していない状態から注視している状態となったことを検出した場合、書籍の内容の音声出力を停止し、表示部３４の表示画面に書籍の内容を音声出力した末尾位置を含む書籍の内容を表示する。 When the audio output control unit 57 detects that the user detection unit 54 changes from not gazing at the presentation surface of the book to a state where it is gazing at it, the audio output control unit 57 stops the audio output of the content of the book, and displays the content of the book on the display unit 34. The content of the book including the end position of the audio output of the content of the book is displayed on the display screen.

音声出力した末尾位置を含むとは、例えば、音声出力した末尾位置を含む単語、語句、文、章、または、ページの先頭などの区切りのよい箇所のことである。ユーザの目が開いたと判定された時点までに音声出力された内容と、表示の再開後に表示された紙面と
が重複してもよい。 "Including the end position of the audio output" refers to, for example, a well-defined part such as the beginning of a word, phrase, sentence, chapter, or page that includes the end position of the audio output. The contents of the audio output up to the time when it is determined that the user's eyes have opened may overlap with the page that is displayed after the display is restarted.

次に、図３を用いて、情報出力システム１における情報処理について説明する。図３は、第一実施形態に係る情報出力システム１における処理の流れの一例を示すフローチャートである。図３に示すフローチャートの処理は、表示装置３０の表示部３４に書籍が表示された状態で、ユーザ検出部５４によって、ユーザが書籍を閲覧していると判定される場合に実行される。ユーザが書籍を閲覧していることは、ユーザ検出部５４の検出結果から、ユーザの視線が表示部３４に向いているか否かによって判定可能である。 Next, information processing in the information output system 1 will be explained using FIG. 3. FIG. 3 is a flowchart showing an example of the flow of processing in the information output system 1 according to the first embodiment. The process of the flowchart shown in FIG. 3 is executed when the user detection unit 54 determines that the user is viewing the book while the book is displayed on the display unit 34 of the display device 30. Whether the user is viewing a book can be determined based on the detection result of the user detection unit 54, based on whether the user's line of sight is directed toward the display unit 34.

情報出力制御装置５０は、ユーザの目が開いているか否かを判定する（ステップＳ１０１）。より詳しくは、ユーザ検出部５４によって、視線センサ３２が撮影した映像データに基づいて、ユーザの目が閉じられているか否かを判定する。ユーザ検出部５４によって、ユーザの目が開いていると判定する場合（ステップＳ１０１でＹｅｓ）、ステップＳ１０２へ進む。ユーザ検出部５４によって、ユーザの目が開いていると判定しない場合（ステップＳ１０１でＮｏ）、ステップＳ１０５へ進む。 The information output control device 50 determines whether the user's eyes are open (step S101). More specifically, the user detection unit 54 determines whether the user's eyes are closed based on the video data captured by the line-of-sight sensor 32. If the user detection unit 54 determines that the user's eyes are open (Yes in step S101), the process advances to step S102. If the user detection unit 54 does not determine that the user's eyes are open (No in step S101), the process advances to step S105.

ユーザの目が開いていると判定する場合（ステップＳ１０１でＹｅｓ）、情報出力制御装置５０は、読んでいる箇所を特定する（ステップＳ１０２）。より詳しくは、特定部５６によって、書籍の提示面に対するユーザの視線位置および書籍情報に基づき、ユーザが書籍を閲覧している箇所を特定する。情報出力制御装置５０は、ステップＳ１０３へ進む。 If it is determined that the user's eyes are open (Yes in step S101), the information output control device 50 specifies the part that is being read (step S102). More specifically, the specifying unit 56 specifies the location where the user is viewing the book based on the user's line of sight position with respect to the presentation surface of the book and the book information. The information output control device 50 proceeds to step S103.

情報出力制御装置５０は、所定時間以上、ユーザが目を閉じたか否かを判定する（ステップＳ１０３）。より詳しくは、情報出力制御装置５０は、ユーザ検出部５４の検出結果から、ユーザが目を閉じていることが、例えば５秒間など所定時間以上継続されて検出されている場合、所定時間以上、ユーザが目を閉じたと判定して（ステップＳ１０３でＹｅｓ）、ステップＳ１０４へ進む。情報出力制御装置５０は、ユーザ検出部５４の検出結果から、ユーザが目を閉じていることが所定時間以上継続されて検出されていない場合、ユーザが目を閉じたと判定しないで（ステップＳ１０３でＮｏ）、ステップＳ１０５へ進む。 The information output control device 50 determines whether the user has closed his eyes for a predetermined period of time or more (step S103). More specifically, if it is detected from the detection result of the user detection unit 54 that the user's eyes are closed for a predetermined period of time or more, such as 5 seconds, the information output control device 50 closes the user's eyes for a predetermined period of time or more. It is determined that the user has closed his eyes (Yes in step S103), and the process advances to step S104. If it is not detected from the detection result of the user detection unit 54 that the user has closed his or her eyes for a predetermined period of time or more, the information output control device 50 does not determine that the user has closed his or her eyes (in step S103). No), proceed to step S105.

所定時間以上、ユーザが目を閉じたと判定した場合（ステップＳ１０３でＹｅｓ）、情報出力制御装置５０は、ユーザの目が閉じられる直前の閲覧箇所以降の内容を音声出力開始する（ステップＳ１０４）。より詳しくは、音声出力制御部５７によって、ユーザの目が閉じられる直前の閲覧箇所以降の内容に対応する音声のヘッドホン１０からの出力を開始する。情報出力制御装置５０は、ステップＳ１０５へ進む。 If it is determined that the user has closed his or her eyes for a predetermined period of time or more (Yes in step S103), the information output control device 50 starts audio outputting the content from the viewing location immediately before the user's eyes were closed (step S104). More specifically, the audio output control unit 57 starts outputting audio from the headphones 10 that corresponds to the content after the viewing location immediately before the user's eyes are closed. The information output control device 50 proceeds to step S105.

情報出力制御装置５０は、書籍情報の表示を終了するか否かを判定する（ステップＳ１０５）。情報出力制御装置５０は、図示しない操作部を介してユーザ操作に基づいて、書籍の表示を終了する操作がされた場合、または、表示装置３０の電源がＯＦＦされた場合、書籍情報の表示を終了すると判定して（ステップＳ１０５でＹｅｓ）、処理を終了する。情報出力制御装置５０は、上記に該当しない場合、書籍情報の表示を終了すると判定せずに（ステップＳ１０５でＮｏ）、ステップＳ１０６へ進む。 The information output control device 50 determines whether to end displaying the book information (step S105). The information output control device 50 stops displaying book information when an operation to end the display of a book is performed based on a user operation via an operation unit (not shown) or when the power of the display device 30 is turned off. It is determined that the process has ended (Yes in step S105), and the process ends. If the above does not apply, the information output control device 50 does not determine to end displaying the book information (No in step S105) and proceeds to step S106.

書籍情報の表示を終了していないと判定する場合（ステップＳ１０５でＮｏ）、情報出力制御装置５０は、ユーザの目が開いたか否かを判定する（ステップＳ１０６）。より詳しくは、ユーザ検出部５４によって、ユーザの目が開いているか否かを判定する。ユーザ検出部５４によって、ユーザの目が開いていると判定する場合（ステップＳ１０６でＹｅｓ）、ステップＳ１０７へ進む。ユーザ検出部５４によって、ユーザの目が開いていると判定しない場合（ステップＳ１０６でＮｏ）、ステップＳ１０９へ進む。 If it is determined that the display of the book information is not finished (No in step S105), the information output control device 50 determines whether the user's eyes are open (step S106). More specifically, the user detection unit 54 determines whether the user's eyes are open. If the user detection unit 54 determines that the user's eyes are open (Yes in step S106), the process advances to step S107. If the user detection unit 54 does not determine that the user's eyes are open (No in step S106), the process advances to step S109.

情報出力制御装置５０は、音声出力箇所を特定する（ステップＳ１０７）。より詳しくは、特定部５６によって、ユーザの目が開いたと判定された時点における、音声データの音声出力箇所を特定する。情報出力制御装置５０は、ステップＳ１０８へ進む。 The information output control device 50 specifies the audio output location (step S107). More specifically, the specifying unit 56 specifies the audio output location of the audio data at the time when it is determined that the user's eyes are open. The information output control device 50 proceeds to step S108.

情報出力制御装置５０は、音声出力した末尾を含む項の表示を開始する（ステップＳ１０８）。より詳しくは、音声出力制御部５７によって、ユーザの目が開いたと判定された時点で、音声出力されていた末尾を含む項に対応する書籍の内容の表示を開始する。情報出力制御装置５０は、ステップＳ１０９へ進む。 The information output control device 50 starts displaying the term including the end of the audio output (step S108). More specifically, when the audio output control unit 57 determines that the user's eyes are open, it starts displaying the content of the book corresponding to the section including the end that was being audio output. The information output control device 50 proceeds to step S109.

情報出力制御装置５０は、書籍情報の表示を終了するか否かを判定する（ステップＳ１０９）。情報出力制御装置５０は、図示しない操作部を介してユーザ操作に基づいて、書籍の表示を終了する操作がされた場合、または、表示装置３０の電源がＯＦＦされた場合、書籍情報の表示を終了すると判定して（ステップＳ１０９でＹｅｓ）、処理を終了する。情報出力制御装置５０は、上記に該当しない場合、書籍情報の表示を終了すると判定せずに（ステップＳ１０９でＮｏ）、ステップＳ１０１の処理を再度実行する。 The information output control device 50 determines whether to end displaying the book information (step S109). The information output control device 50 stops displaying book information when an operation to end the display of a book is performed based on a user operation via an operation unit (not shown) or when the power of the display device 30 is turned off. It is determined that the process has ended (Yes in step S109), and the process ends. If the above does not apply, the information output control device 50 does not determine to end displaying the book information (No in step S109) and executes the process in step S101 again.

このようにして、書籍の閲覧中に、所定時間以上、ユーザが目を閉じた場合、眼が閉じられた直前の閲覧箇所以降の内容を音声で出力する。 In this way, when the user closes his/her eyes for a predetermined period of time or longer while viewing a book, the content from the viewing location immediately before the user's eyes were closed is output as audio.

＜効果＞
上述したように、本実施形態は、書籍の閲覧中に、所定時間以上、ユーザが目を閉じた場合、眼が閉じられた直前の閲覧箇所以降の内容を音声で出力することができる。本実施形態は、書籍の音声出力を適切なタイミングで行うことができる。本実施形態は、書籍の読書を一時的に中断している期間に、シームレスに音声として書籍の続きの内容を聞くことができる。 <Effect>
As described above, in the present embodiment, when the user closes his/her eyes for a predetermined period of time or longer while viewing a book, the content from the viewing location immediately before the user's eyes were closed can be output as audio. In this embodiment, audio output of a book can be performed at an appropriate timing. In this embodiment, the user can seamlessly listen to the continuation of the book as audio while reading the book is temporarily suspended.

［第二実施形態］
図４を参照しながら、本実施形態に係る情報出力システム１について説明する。図４は、第二実施形態に係る情報出力システム１における処理の流れの一例を示すフローチャートである。情報出力システム１は、基本的な構成は第一実施形態の情報出力システム１と同様である。以下の説明においては、情報出力システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。 [Second embodiment]
The information output system 1 according to this embodiment will be described with reference to FIG. 4. FIG. 4 is a flowchart showing an example of the flow of processing in the information output system 1 according to the second embodiment. The information output system 1 has the same basic configuration as the information output system 1 of the first embodiment. In the following description, components similar to those in the information output system 1 are denoted by the same or corresponding symbols, and detailed description thereof will be omitted.

ユーザ検出部５４は、ユーザの視線に加えて、撮影部３３が撮影した映像データに基づいて、ユーザの顔の位置の変化を検出する。ユーザの顔の位置を検出する方法は、公知のいずれかの方法で検出すればよく、例えば、人物認識辞書を使用してもよいし、画像処理によって人物の輪郭を検出してもよい。さらに、ユーザ検出部５４は、ユーザの顔の位置の変化、言い換えると、撮影部３３が撮影した映像データにおいて、ユーザの顔が検出されている範囲の位置の変化を検出する。 The user detection unit 54 detects a change in the position of the user's face based on the user's line of sight as well as the video data captured by the imaging unit 33. The position of the user's face may be detected by any known method; for example, a person recognition dictionary may be used, or the outline of the person may be detected by image processing. Furthermore, the user detection unit 54 detects a change in the position of the user's face, in other words, a change in the position of the range in which the user's face is detected in the video data captured by the imaging unit 33.

ユーザの顔の位置の変化が小さい場合、ユーザの状態の姿勢の変化も小さい。このような状態とは、ユーザが書籍の閲覧中に、目の疲労を感じて目を閉じた状態である可能性が高い。ユーザの顔の位置の変化が小さいとは、読書中のユーザが、眼の疲労を軽減するために、眼を閉じる際に生じる顔の位置の変化である。ユーザの顔の位置の変化が小さいとは、顔の位置が、例えば、上下方向または左右方向に１０％から２０％程度未満の位置の変化程度とする。ユーザの顔の位置の変化が大きい場合、ユーザの状態の姿勢の変化も大きい。このような場合、ユーザが周辺に注意を移して、書籍の閲覧を中断する意思がある可能性があり、書籍の閲覧を再開する可能性が高い。 When the change in the position of the user's face is small, the change in the posture of the user's state is also small. It is highly likely that such a state is a state in which the user feels eye fatigue and closes his or her eyes while viewing a book. A small change in the position of the user's face refers to a change in the position of the user's face that occurs when the user closes his or her eyes while reading to reduce eye fatigue. A small change in the position of the user's face refers to a change in the position of the user's face of, for example, less than 10% to 20% in the vertical or horizontal direction. When the change in the position of the user's face is large, the change in the posture of the user's state is also large. In such a case, there is a possibility that the user will shift his attention to his surroundings and stop viewing the book, and there is a high possibility that he will resume viewing the book.

音声出力制御部５７は、ユーザ検出部５４が、ユーザが目を開いて提示面を注視している状態から目を閉じている状態となったことを検出した場合、ユーザの顔の位置の変化が少ない場合に、ユーザの目が閉じられる直前の閲覧箇所以降の書籍の内容を音声で出力する。 When the user detection unit 54 detects that the user has changed from a state in which the user's eyes are open and gazing at the presentation surface to a state in which the user's eyes are closed, the audio output control unit 57 detects a change in the position of the user's face. When there are few numbers, the contents of the book after the viewing part immediately before the user's eyes are closed are output as audio.

次に、図４を用いて、情報出力システム１における情報処理について説明する。図４に示すフローチャートの処理は、表示装置３０の表示部３４に書籍が生じされた状態で、ユーザ検出部５４の検出結果から、ユーザが書籍を閲覧していると判定される場合に実行される。ユーザが書籍を閲覧していることは、ユーザ検出部５４の検出結果から、撮影部３３が撮影した映像データに対して、ユーザの顔が占める面積の割合が、閾値以上であるか否かによって判定可能である。ユーザの顔が占める面積の割合が低い場合、ユーザの顔は表示部３４から離れている。このような場合、ユーザは書籍を閲覧してしない可能性が高い。ユーザの顔が占める面積の割合が高い場合、ユーザの顔は表示部３４に近づいている。このような場合、ユーザは書籍を閲覧している可能性が高い。図４に示すフローチャートのステップＳ１１１ないしステップＳ１１３、ステップＳ１１５ないしステップＳ１２０は、図３に示すフローチャートのステップＳ１０１ないしステップＳ１０３、ステップＳ１０４ないしステップＳ１０９と同様の処理を行う。 Next, information processing in the information output system 1 will be explained using FIG. 4. The process of the flowchart shown in FIG. 4 is executed when it is determined that the user is viewing a book from the detection result of the user detection unit 54 while the book is displayed on the display unit 34 of the display device 30. Ru. Whether the user is viewing a book can be determined from the detection result of the user detection unit 54 by determining whether the ratio of the area occupied by the user's face to the video data captured by the imaging unit 33 is greater than or equal to a threshold value. It is possible to judge. When the proportion of the area occupied by the user's face is low, the user's face is far from the display unit 34. In such a case, there is a high possibility that the user will not browse the book. If the proportion of the area occupied by the user's face is high, the user's face is close to the display unit 34. In such a case, there is a high possibility that the user is browsing a book. Steps S111 to S113 and S115 to S120 in the flowchart shown in FIG. 4 perform the same processing as steps S101 to S103 and steps S104 to S109 in the flowchart shown in FIG.

情報出力制御装置５０は、ユーザの顔の位置の変化が小さいか否かを判定する（ステップＳ１１４）。より詳しくは、ユーザ検出部５４の検出結果から、ユーザの顔の位置の変化が小さいと判定する場合（ステップＳ１１４でＹｅｓ）、ステップＳ１１５へ進む。ユーザ検出部５４の検出結果から、ユーザの顔の位置の変化が小さいと判定しない場合（ステップＳ１１４でＮｏ）、ステップＳ１１６へ進む。 The information output control device 50 determines whether the change in the position of the user's face is small (step S114). More specifically, if it is determined from the detection result of the user detection unit 54 that the change in the position of the user's face is small (Yes in step S114), the process advances to step S115. If it is determined from the detection result of the user detection unit 54 that the change in the position of the user's face is not small (No in step S114), the process advances to step S116.

このようにして、書籍の閲覧中に、所定時間以上、ユーザが目を閉じた場合であって、顔の位置の変化が小さい場合には、眼が閉じられた直前の閲覧箇所以降の内容を音声で出力する。 In this way, if the user closes his or her eyes for a predetermined period of time or longer while viewing a book, and the change in the position of the user's face is small, the content from the point viewed immediately before closing the user's eyes is displayed. Output as audio.

＜効果＞
上述したように、本実施形態は、書籍の閲覧中に、所定時間以上、ユーザが目を閉じた場合であって、顔の位置の変化が小さい場合には、眼が閉じられた直前の閲覧箇所以降の内容を音声で出力することができる。本実施形態によれば、書籍の読書中に、ユーザが眼の疲労のためなどの理由で目を閉じた際に、適切に音声出力することができる。 <Effect>
As described above, in this embodiment, when the user closes his/her eyes for a predetermined time or longer while viewing a book, and when the change in the position of the face is small, the browsing immediately before the eyes were closed is performed. The content after that point can be output as audio. According to this embodiment, when the user closes his eyes due to eye fatigue while reading a book, it is possible to appropriately output audio.

［第三実施形態］
図５を参照しながら、本実施形態に係る情報出力システム１について説明する。図５は、第三実施形態に係る情報出力システム１における処理の流れの一例を示すフローチャートである。情報出力システム１は、基本的な構成は第一実施形態の情報出力システム１と同様である。本実施形態では、撮影部３３を有していなくてもよい。 [Third embodiment]
The information output system 1 according to this embodiment will be described with reference to FIG. 5. FIG. 5 is a flowchart showing an example of the flow of processing in the information output system 1 according to the third embodiment. The information output system 1 has the same basic configuration as the information output system 1 of the first embodiment. In this embodiment, the imaging unit 33 may not be included.

ユーザ検出部５４は、ユーザの視線の向きに基づいて、ユーザが表示部３４に表示された書籍の提示面を注視しているか否かを判定する。 The user detection unit 54 determines whether the user is gazing at the presentation surface of the book displayed on the display unit 34 based on the direction of the user's line of sight.

音声出力制御部５７は、ユーザ検出部５４が、ユーザの視線向きが提示面を向いている状態から提示面を向いていない状態となったことを検出した場合、ユーザの視線向きが提示面を向いている状態から提示面を向いていない状態となった直前の閲覧箇所以降の書籍の内容を音声で出力する。 When the user detection unit 54 detects that the user's gaze direction changes from facing the presentation surface to not facing the presentation surface, the audio output control unit 57 detects that the user's gaze direction changes from facing the presentation surface. The contents of the book from the last viewing point onward when the state changes from facing to the presentation surface to not facing the presentation surface are outputted in audio.

次に、図５を用いて、情報出力システム１における情報処理について説明する。このような場合、ユーザは書籍を閲覧している可能性が高い。図５に示すフローチャートのステップＳ１２１、ステップＳ１２２、ステップＳ１２５、ステップＳ１２７ないしステップＳ１２９は、図３に示すフローチャートのステップＳ１０１、ステップＳ１０２、ステップＳ１０５、ステップＳ１０７ないしステップＳ１０９と同様の処理を行う。 Next, information processing in the information output system 1 will be explained using FIG. 5. In such a case, there is a high possibility that the user is browsing a book. Steps S121, S122, S125, and S127 to S129 in the flowchart shown in FIG. 5 perform the same processing as steps S101, S102, S105, and S107 to S109 in the flowchart shown in FIG.

情報出力制御装置５０は、所定時間以上、ユーザの視線向きが表示部３４に表示された書籍の提示面から逸れたか否かを判定する（ステップＳ１２３）。より詳しくは、情報出力制御装置５０は、ユーザ検出部５４の検出結果から、所定時間以上、継続してユーザの視線向きが表示部３４に表示された書籍の提示面から逸れている場合（ステップＳ１２３でＹｅｓ）、ステップＳ１２４へ進む。情報出力制御装置５０は、ユーザ検出部５４の検出結果から、所定時間以上、ユーザの視線向きが表示部３４に表示された書籍の提示面から逸れたと判定しない場合（ステップＳ１２３でＮｏ）、ステップＳ１２５へ進む。 The information output control device 50 determines whether the user's line of sight has deviated from the presentation surface of the book displayed on the display unit 34 for a predetermined period of time or more (step S123). More specifically, the information output control device 50 determines from the detection result of the user detection unit 54 that if the user's line of sight continues to deviate from the presentation surface of the book displayed on the display unit 34 for a predetermined period of time or more (step (Yes in S123), the process advances to step S124. If the information output control device 50 does not determine from the detection result of the user detection unit 54 that the user's line of sight has deviated from the presentation surface of the book displayed on the display unit 34 for a predetermined period of time or more (No in step S123), the information output control device 50 performs step Proceed to S125.

所定時間以上、ユーザの視線向きが表示部３４に表示された書籍の提示面から逸れたと判定する場合（ステップＳ１２３でＹｅｓ）、情報出力制御装置５０は、ユーザの視線向きが表示部３４に表示された書籍の提示面から逸れる直前の閲覧箇所以降の内容を音声出力開始する（ステップＳ１２４）。より詳しくは、音声出力制御部５７によって、ユーザの視線向きが表示部３４に表示された書籍の提示面から逸れたと判定された直前の閲覧以降の内容に対応する音声のヘッドホン１０からの出力を開始する。情報出力制御装置５０は、ステップＳ１２５へ進む。 If it is determined that the user's line of sight has deviated from the presentation surface of the book displayed on the display unit 34 for a predetermined period of time or more (Yes in step S123), the information output control device 50 displays the user's line of sight on the display unit 34. The audio output of the content after the viewing location immediately before the display screen of the book is deviated from the presentation screen of the book is started (step S124). More specifically, the audio output control unit 57 causes the headphones 10 to output audio corresponding to the content after the previous viewing when it was determined that the user's line of sight had deviated from the presentation surface of the book displayed on the display unit 34. Start. The information output control device 50 proceeds to step S125.

書籍情報の表示を終了すると判定する場合（ステップＳ１２５でＹｅｓ）、情報出力制御装置５０は、ユーザの視線向きが表示部３４に表示された書籍の提示面に戻ったか否かを判定する（ステップＳ１２６）。より詳しくは、ユーザ検出部５４によって、ユーザの視線向きが表示部３４に表示された書籍の提示面に戻ったか否かを判定する。ユーザ検出部５４によって、ユーザの視線向きが表示部３４に表示された書籍の提示面に戻ったと判定する場合（ステップＳ１２６でＹｅｓ）、ステップＳ１２７へ進む。ユーザ検出部５４によって、ユーザの視線向きが表示部３４に表示された書籍の提示面に戻ったと判定しない場合（ステップＳ１２６でＮｏ）、ステップＳ１２９へ進む。 When determining that the display of the book information is to be ended (Yes in step S125), the information output control device 50 determines whether the user's line of sight has returned to the presentation surface of the book displayed on the display unit 34 (step S125). S126). More specifically, the user detection unit 54 determines whether the user's line of sight has returned to the presentation surface of the book displayed on the display unit 34 or not. If the user detection unit 54 determines that the user's line of sight direction has returned to the presentation surface of the book displayed on the display unit 34 (Yes in step S126), the process advances to step S127. If the user detection unit 54 does not determine that the user's line of sight direction has returned to the presentation surface of the book displayed on the display unit 34 (No in step S126), the process advances to step S129.

このようにして、書籍の閲覧中に、所定時間以上、ユーザが提示面から視線を逸らした場合、視線が逸らされた直前の閲覧箇所以降の内容を音声で出力する。 In this way, when the user looks away from the presentation surface for a predetermined period of time or more while viewing a book, the content from the viewing location immediately before the user looks away is outputted in audio.

＜効果＞
上述したように、本実施形態は、書籍の閲覧中に、所定時間以上、ユーザが提示面から視線を逸らした場合、視線が逸らされた直前の閲覧箇所以降の内容を音声で出力することができる。本実施形態は、書籍音声出力を適切なタイミングで行うことができる。 <Effect>
As described above, in the present embodiment, when the user looks away from the presentation screen for a predetermined period of time or more while viewing a book, the content from the viewing point immediately before the user looked away from the book can be outputted in audio. can. In this embodiment, book audio output can be performed at appropriate timing.

［第四実施形態］
図６を参照しながら、本実施形態に係る情報出力システム１について説明する。図６は、第四実施形態に係る情報出力システム１における処理の流れの一例を示すフローチャートである。情報出力システム１は、基本的な構成は第一実施形態の情報出力システム１と同様である。 [Fourth embodiment]
The information output system 1 according to this embodiment will be described with reference to FIG. 6. FIG. 6 is a flowchart showing an example of the flow of processing in the information output system 1 according to the fourth embodiment. The information output system 1 has the same basic configuration as the information output system 1 of the first embodiment.

ユーザ検出部５４は、ユーザの視線に加えて、撮影部３３が撮影した映像データに基づいて、ユーザの顔の向きを検出する。ユーザの顔の向きを検出する方法は、公知のいずれかの方法で検出すればよく、例えば、認識したユーザの顔を構成する、目や口、鼻などのパーツの位置関係などから検出する。ユーザ検出部５４は、ユーザの顔の向きに基づいてユーザが提示面を注視しているか否かを検出する。ユーザ検出部５４は、ユーザが顔を提示面に向けて注視している状態からユーザの顔の向きが上下方向の変動によって提示面に対して顔を向けていない状態となったことを検出する。ユーザ検出部５４は、ユーザが顔を提示面に向けて注視している状態からユーザの顔の向きが左右方向の変動によって提示面に対して顔を向けていない状態となったことを検出する。 The user detection unit 54 detects the direction of the user's face based on the user's line of sight as well as the video data captured by the imaging unit 33. The orientation of the user's face may be detected using any known method, for example, based on the positional relationship of parts such as the eyes, mouth, and nose that make up the recognized user's face. The user detection unit 54 detects whether the user is gazing at the presentation surface based on the orientation of the user's face. The user detection unit 54 detects that the user's face direction changes from a state in which the user is gazing at the presentation surface to a state in which the user's face direction changes in the vertical direction so that the user's face is not directed toward the presentation surface. . The user detection unit 54 detects that the user's face direction changes from a state where the user is gazing at the presentation surface to a state where the user's face direction changes in the left-right direction and the user's face is not directed toward the presentation surface. .

また、ユーザ検出部５４は、ユーザが表示部３４に表示された書籍を閲覧可能な程度に、表示部３４に顔を近づけているか否かを、検出した顔の大きさによって判定可能である。 Further, the user detection unit 54 can determine whether the user has brought his or her face close enough to the display unit 34 to be able to view the book displayed on the display unit 34, based on the size of the detected face.

音声出力制御部５７は、ユーザ検出部５４が、ユーザが顔を提示面に向けて注視している状態から提示面に対して顔を向けていない状態となったことを検出した場合、ユーザが顔を提示面に向けて注視している状態から提示面に対して顔を向けていない状態となった直前の閲覧箇所以降の書籍の内容を音声で出力する。 When the user detection unit 54 detects that the user has changed from a state where the user is gazing at the presentation surface to a state where the user is not facing the presentation surface, the audio output control section 57 detects whether the user The content of the book from the last viewed part onward when the state of gazing with the face toward the presentation surface changes to the state where the face is not directed toward the presentation surface is outputted in the form of audio.

次に、図６を用いて、情報出力システム１における情報処理について説明する。このような場合、ユーザは書籍を閲覧している可能性が高い。図６に示すフローチャートのステップＳ１３１、ステップＳ１３２、ステップＳ１３５、ステップＳ１３７ないしステップＳ１３９は、図３に示すフローチャートのステップＳ１０１、ステップＳ１０２、ステップＳ１０５、ステップＳ１０７ないしステップＳ１０９と同様の処理を行う。 Next, information processing in the information output system 1 will be explained using FIG. 6. In such a case, there is a high possibility that the user is browsing a book. Steps S131, S132, S135, and S137 to S139 in the flowchart shown in FIG. 6 perform the same processing as steps S101, S102, S105, and S107 to S109 in the flowchart shown in FIG.

情報出力制御装置５０は、所定時間以上、ユーザの顔の向きが表示部３４に表示された書籍の提示面から逸れたか否かを判定する（ステップＳ１３３）。より詳しくは、情報出力制御装置５０は、ユーザ検出部５４の検出結果から、所定時間以上、継続してユーザの顔の向きが表示部３４に表示された書籍の提示面から逸れている場合（ステップＳ１３３でＹｅｓ）、ステップＳ１３４へ進む。情報出力制御装置５０は、ユーザ検出部５４の検出結果から、所定時間以上、ユーザの顔の向きが表示部３４に表示された書籍の提示面から逸れたと判定しない場合（ステップＳ１３３でＮｏ）、ステップＳ１３５へ進む。 The information output control device 50 determines whether the direction of the user's face has deviated from the presentation surface of the book displayed on the display unit 34 for a predetermined period of time or more (step S133). More specifically, the information output control device 50 determines, based on the detection result of the user detection unit 54, that if the orientation of the user's face continues to deviate from the presentation surface of the book displayed on the display unit 34 for a predetermined period of time or more ( (Yes in step S133), the process advances to step S134. If the information output control device 50 does not determine from the detection result of the user detection unit 54 that the orientation of the user's face has deviated from the presentation surface of the book displayed on the display unit 34 for a predetermined period of time or more (No in step S133), The process advances to step S135.

所定時間以上、ユーザの顔の向きが表示部３４に表示された書籍の提示面から逸れたと判定する場合（ステップＳ１３３でＹｅｓ）、情報出力制御装置５０は、ユーザの顔の向きが表示部３４に表示された書籍の提示面から逸れる直前の閲覧箇所以降の内容を音声出力開始する（ステップＳ１３４）。より詳しくは、音声出力制御部５７によって、ユーザの顔の向きが表示部３４に表示された書籍の提示面から逸れたと判定された直前の閲覧箇所以降の内容に対応する音声のヘッドホン１０からの出力を開始する。情報出力制御装置５０は、ステップＳ１３５へ進む。 If it is determined that the orientation of the user's face has deviated from the presentation surface of the book displayed on the display unit 34 for a predetermined period of time or more (Yes in step S133), the information output control device 50 controls the orientation of the user's face to have deviated from the presentation surface of the book displayed on the display unit The audio output of the content after the viewing location immediately before the display screen of the book deviates from the presentation screen of the book displayed is started (step S134). More specifically, the audio output control unit 57 outputs audio from the headphones 10 that corresponds to the content after the last viewed location where it was determined that the user's face direction had deviated from the presentation surface of the book displayed on the display unit 34. Start output. The information output control device 50 proceeds to step S135.

書籍情報の表示を終了すると判定する場合（ステップＳ１３５でＹｅｓ）、情報出力制御装置５０は、ユーザの顔の向きが表示部３４に表示された書籍の提示面に戻ったか否かを判定する（ステップＳ１３６）。より詳しくは、ユーザ検出部５４によって、ユーザの顔の向きが表示部３４に表示された書籍の提示面に戻ったか否かを判定する。ユーザ検出部５４によって、ユーザの顔の向きが表示部３４に表示された書籍の提示面に戻ったと判定する場合（ステップＳ１３６でＹｅｓ）、ステップＳ１３７へ進む。ユーザ検出部５４によって、ユーザの顔の向きが表示部３４に表示された書籍の提示面に戻ったと判定しない場合（ステップＳ１３６でＮｏ）、ステップＳ１３９へ進む。 If it is determined that the display of the book information is to be ended (Yes in step S135), the information output control device 50 determines whether the orientation of the user's face has returned to the presentation surface of the book displayed on the display unit 34 ( Step S136). More specifically, the user detection unit 54 determines whether the user's face direction has returned to the presentation surface of the book displayed on the display unit 34 or not. If the user detection unit 54 determines that the user's face direction has returned to the presentation surface of the book displayed on the display unit 34 (Yes in step S136), the process advances to step S137. If the user detection unit 54 does not determine that the orientation of the user's face has returned to the presentation surface of the book displayed on the display unit 34 (No in step S136), the process advances to step S139.

このようにして、書籍の閲覧中に、所定時間以上、ユーザが顔の向きを提示面から逸らした場合、顔の向きが逸らされた直前の閲覧箇所以降の内容を音声で出力する。 In this way, when the user turns his or her face away from the presentation surface for a predetermined period of time or more while viewing a book, the content from the viewing location immediately before the user turns his or her face away is output as audio.

＜効果＞
上述したように、本実施形態は、書籍の閲覧中に、所定時間以上、ユーザが顔の向きを提示面から逸らした場合、顔の向きが逸らされた直前の閲覧箇所以降の内容を音声で出力することができる。 <Effect>
As described above, in this embodiment, when the user turns his or her face away from the presentation surface for a predetermined period of time or more while viewing a book, the user can hear the content from the point of view immediately before the user turns his or her face away in audio. It can be output.

図示した情報出力システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。 Each component of the illustrated information output system 1 is functionally conceptual, and does not necessarily have to be physically configured as illustrated. In other words, the specific form of each device is not limited to what is shown in the diagram, and all or part of it may be functionally or physically distributed or integrated into arbitrary units depending on the processing load and usage status of each device. It's okay.

情報出力システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。 The configuration of the information output system 1 is realized by, for example, a program loaded into a memory as software. The above embodiments have been described as functional blocks realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms using only hardware, only software, or a combination thereof.

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。 The components described above include those that can be easily imagined by those skilled in the art and that are substantially the same. Furthermore, the configurations described above can be combined as appropriate. Furthermore, various omissions, substitutions, or changes in the configuration are possible without departing from the gist of the present invention.

上記では、音声出力装置の一例としてヘッドホン１０について説明したが、これに限定されない。音声出力装置は、例えば、イヤホン、首掛け式のスピーカ、および、据え置き式のスピーカなどであってもよい。 Although the headphones 10 have been described above as an example of the audio output device, the present invention is not limited thereto. The audio output device may be, for example, an earphone, a neck-mounted speaker, a stationary speaker, or the like.

上記において、音声出力をした後、書籍の内容の表示を再開する際に、数秒間程度、音声出力を継続してもよい。また、提示面には音声出力に体操する位置にハイライト表示してもよい。これにより、どこから書籍を閲覧すればよいかがわかりやすい。 In the above, after the audio output is performed, when restarting the display of the contents of the book, the audio output may be continued for about several seconds. Further, on the presentation screen, the position to be used for audio output may be highlighted. This makes it easy to understand where to start browsing the books.

１情報出力システム
１０ヘッドホン
１１左音声出力部
１２右音声出力部
３０表示装置
３１書籍データベース部
３２視線センサ
３３撮影部
３４表示部
５０情報出力制御装置
５１書籍情報取得部
５２書籍特定部
５３表示制御部
５４ユーザ検出部
５６特定部
５７音声出力制御部 1 Information output system 10 Headphones 11 Left audio output section 12 Right audio output section 30 Display device 31 Book database section 32 Line of sight sensor 33 Photographing section 34 Display section 50 Information output control device 51 Book information acquisition section 52 Book identification section 53 Display control section 54 User detection unit 56 Specification unit 57 Audio output control unit

Claims

書籍を特定する書籍特定部と、
前記書籍特定部が特定した書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得部と、
前記提示面に対するユーザの視線位置および前記ユーザの目の開閉に基づいて、前記ユーザが前記提示面を注視しているか否かを検出するとともに、前記ユーザの顔の向きを検出するユーザ検出部と、
前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定部と、
前記ユーザ検出部が、前記ユーザが目を開いて前記提示面を注視している状態から目を閉じている状態となったことを検出した場合、前記ユーザの顔の位置の変化が少ない場合に、前記ユーザの目が閉じられる直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御部と、
を備える、情報出力制御装置。 a book identification section that identifies books;
a book information acquisition unit that acquires book information indicating the content of the book specified by the book identification unit and a presentation position of the content of the book on a presentation surface that presents the book;
a user detection unit that detects whether the user is gazing at the presentation surface and detects the orientation of the user 's face based on the user's gaze position with respect to the presentation surface and the opening and closing of the user's eyes; ,
a specifying unit that specifies a location where the user is viewing the book based on the user's line of sight position with respect to the presentation surface and the book information;
When the user detecting unit detects that the user has changed from a state in which he opened his eyes and was gazing at the presentation surface to a state in which his eyes are closed , when there is little change in the position of the user's face, , an audio output control unit that outputs in audio the content of the book from the point where the book is being viewed, which is specified from the user's gaze position immediately before the user 's eyes are closed ;
An information output control device comprising:

書籍を特定する書籍特定部と、 a book identification section that identifies books;
前記書籍特定部が特定した書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得部と、 a book information acquisition unit that acquires book information indicating the content of the book specified by the book identification unit and a presentation position of the content of the book on a presentation surface that presents the book;
前記提示面に対するユーザの視線位置および前記ユーザの顔の向きに基づいて、前記ユーザが顔を前記提示面に向けて注視している状態から前記ユーザの顔の向きが上下方向の変動によって前記提示面に対して顔を向けていない状態となったことを検出するユーザ検出部と、 Based on the gaze position of the user with respect to the presentation surface and the orientation of the user's face, the orientation of the user's face changes in the vertical direction from a state in which the user is gazing at the face toward the presentation surface, thereby changing the presentation. a user detection unit that detects that the user is not facing the surface;
前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定部と、 a specifying unit that specifies a location where the user is viewing the book based on the user's line of sight position with respect to the presentation surface and the book information;
前記ユーザ検出部が、前記ユーザが顔を前記提示面に向けて前記提示面を注視している状態から前記提示面に対して顔を向けていない状態となることで注視していない状態となったことを検出した場合、前記ユーザが顔を前記提示面に向けて前記提示面を注視している状態から前記提示面に対して顔を向けていない状態となった直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御部と、 The user detecting unit changes the state in which the user is not gazing at the presentation surface by turning the user's face toward the presentation surface and gazing at the presentation surface to a state where the user is not facing the presentation surface. If it is detected that the user has turned his/her face toward the presentation surface and is gazing at the presentation surface, the user's gaze position immediately before the state changes from a state where the user is not facing the presentation surface; an audio output control unit that outputs in audio the content of the book after the point where the book is being viewed, which is specified by;
を備える、情報出力制御装置。 An information output control device comprising:

請求項１または２に記載の情報出力制御装置と、
前記書籍の内容を表示する表示部と、
前記書籍の内容を音声で出力する音声出力部と、
を備える、情報出力システム。 The information output control device according to claim 1 or 2 ;
a display unit that displays the content of the book;
an audio output unit that outputs the content of the book in audio;
An information output system equipped with.

書籍を特定する書籍特定ステップと、
前記書籍特定ステップによって特定された書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得ステップと、
前記提示面に対するユーザの視線位置および前記ユーザの目の開閉に基づいて、前記ユーザが前記提示面を注視しているか否かを検出するとともに、前記ユーザの顔の向きを検出するユーザ検出ステップと、
前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定ステップと、
前記ユーザ検出ステップで、前記ユーザが目を開いて前記提示面を注視している状態から目を閉じている状態となったことを検出した場合、前記ユーザの顔の位置の変化が少ない場合に、前記ユーザの目が閉じられる直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御ステップと、
を含む情報出力制御方法。 a book identification step for identifying a book;
a book information acquisition step of acquiring book information indicating the contents of the book specified in the book specifying step and a presentation position of the contents of the book on a presentation surface on which the book is presented;
a user detection step of detecting whether the user is gazing at the presentation surface and detecting the orientation of the user's face based on the user's line of sight position with respect to the presentation surface and the opening and closing of the user's eyes; ,
a specifying step of specifying a location where the user is viewing the book based on the user's line of sight position with respect to the presentation surface and the book information;
In the user detection step, if it is detected that the user has changed from a state in which the user opened his eyes and was gazing at the presentation surface to a state in which his eyes are closed , if there is little change in the position of the user's face, , an audio output control step of outputting in audio the content of the book from the point where the book is being viewed, which is specified from the user's gaze position immediately before the user 's eyes are closed ;
Information output control method including.

書籍を特定する書籍特定ステップと、
前記書籍特定ステップによって特定された書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得ステップと、
前記提示面に対するユーザの視線位置および前記ユーザの目の開閉に基づいて、前記ユーザが前記提示面を注視しているか否かを検出するとともに、前記ユーザの顔の向きを検出するユーザ検出ステップと、
前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定ステップと、
前記ユーザ検出ステップで、前記ユーザが目を開いて前記提示面を注視している状態から目を閉じている状態となったことを検出した場合、前記ユーザの顔の位置の変化が少ない場合に、前記ユーザの目が閉じられる直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御ステップと、
を情報出力制御装置として動作するコンピュータに実行させるためのプログラム。 a book identification step for identifying a book;
a book information acquisition step of acquiring book information indicating the contents of the book specified in the book specifying step and a presentation position of the contents of the book on a presentation surface on which the book is presented;
a user detection step of detecting whether the user is gazing at the presentation surface and detecting the orientation of the user's face based on the user's line of sight position with respect to the presentation surface and the opening and closing of the user's eyes; ,
a specifying step of specifying a location where the user is viewing the book based on the user's line of sight position with respect to the presentation surface and the book information;
In the user detection step, if it is detected that the user has changed from a state in which the user opened his eyes and was gazing at the presentation surface to a state in which his eyes are closed , if there is little change in the position of the user's face, , an audio output control step of outputting in audio the content of the book from the point where the book is being viewed, which is specified from the user's gaze position immediately before the user 's eyes are closed ;
A program that causes a computer that operates as an information output control device to execute.

書籍を特定する書籍特定ステップと、 a book identification step for identifying a book;
前記書籍特定ステップによって特定された書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得ステップと、 a book information acquisition step of acquiring book information indicating the contents of the book specified in the book specifying step and a presentation position of the contents of the book on a presentation surface on which the book is presented;
前記提示面に対するユーザの視線位置および前記ユーザの顔の向きに基づいて、前記ユーザが顔を前記提示面に向けて注視している状態から前記ユーザの顔の向きが上下方向の変動によって前記提示面に対して顔を向けていない状態となったことを検出するユーザ検出ステップと、 Based on the gaze position of the user with respect to the presentation surface and the orientation of the user's face, the orientation of the user's face changes in the vertical direction from a state in which the user is gazing at the face toward the presentation surface, thereby changing the presentation. a user detection step of detecting that the user is not facing the surface;
前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定ステップと、 a specifying step of specifying a location where the user is viewing the book based on the user's line of sight position with respect to the presentation surface and the book information;
前記ユーザ検出ステップが、前記ユーザが顔を前記提示面に向けて前記提示面を注視している状態から前記提示面に対して顔を向けていない状態となることで注視していない状態となったことを検出した場合、前記ユーザが顔を前記提示面に向けて前記提示面を注視している状態から前記提示面に対して顔を向けていない状態となった直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御ステップと、 In the user detection step, the user changes from a state in which the user is gazing at the presentation surface with his or her face directed toward the presentation surface to a state in which the user is not directing his or her face toward the presentation surface, resulting in a state in which the user is not gazing at the presentation surface. If it is detected that the user has turned his/her face toward the presentation surface and is gazing at the presentation surface, the user's gaze position immediately before the state changes from a state where the user is not facing the presentation surface; an audio output control step of outputting in audio the content of the book after the point where the book is being viewed, which is identified from;
を含む情報出力制御方法。 Information output control method including.

書籍を特定する書籍特定ステップと、 a book identification step for identifying a book;
前記書籍特定ステップによって特定された書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得ステップと、 a book information obtaining step of obtaining book information indicating the content of the book specified in the book specifying step and a presentation position of the content of the book on a presentation surface that presents the book;
前記提示面に対するユーザの視線位置および前記ユーザの顔の向きに基づいて、前記ユーザが顔を前記提示面に向けて注視している状態から前記ユーザの顔の向きが上下方向の変動によって前記提示面に対して顔を向けていない状態となったことを検出するユーザ検出ステップと、 Based on the gaze position of the user with respect to the presentation surface and the orientation of the user's face, the orientation of the user's face changes in the vertical direction from a state in which the user is gazing at the face toward the presentation surface, thereby changing the presentation. a user detection step of detecting that the user is not facing the surface;
前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定ステップと、 a specifying step of specifying a location where the user is viewing the book based on the user's line of sight position with respect to the presentation surface and the book information;
前記ユーザ検出ステップが、前記ユーザが顔を前記提示面に向けて前記提示面を注視している状態から前記提示面に対して顔を向けていない状態となることで注視していない状態となったことを検出した場合、前記ユーザが顔を前記提示面に向けて前記提示面を注視している状態から前記提示面に対して顔を向けていない状態となった直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御ステップと、 In the user detection step, the user changes from a state in which the user is gazing at the presentation surface with his or her face directed toward the presentation surface to a state in which the user is not directing his or her face toward the presentation surface, resulting in a state in which the user is not gazing at the presentation surface. If it is detected that the user has turned his/her face toward the presentation surface and is gazing at the presentation surface, the user's gaze position immediately before the state changes from a state where the user is not facing the presentation surface; an audio output control step of outputting in audio the content of the book after the point where the book is being viewed, which is identified from;
を情報出力制御装置として動作するコンピュータに実行させるためのプログラム。 A program that causes a computer that operates as an information output control device to execute.