JP2022187072A - Wearable device - Google Patents

Abstract

To provide a wearable device capable of properly assisting communication.SOLUTION: A wearable device 1 includes: a display body 10 capable of displaying information in a visual field of a wearer 100 while being worn on a head 102 of a human body 101; a voice input unit 60 that is provided in the display body 10 and is capable of inputting a voice of a dialogist; and a processing unit 80 that is provided in the display body 10, and can perform processing of converting a voice input by the voice input unit 60 into visual information and processing of causing the converted visual information to be displayed on the display body. As a result, the wearable device 1 has an effect of being able to appropriately assist communication.SELECTED DRAWING: Figure 1

Description

本発明は、ウェアラブル機器に関する。 The present invention relates to wearable devices.

従来のウェアラブル機器として、例えば、特許文献１には、視聴用のキャプションを表示するシステムが開示されている。このシステムは、異なるスペクトル範囲と実質的に相補的な偏光とによって、異なるカラーの少なくとも１つにより少なくとも２つのキャプションを表示するディスプレイを有する。 As a conventional wearable device, for example, Patent Literature 1 discloses a system for displaying captions for viewing. The system has a display displaying at least two captions with at least one of different colors with different spectral ranges and substantially complementary polarizations.

特表２０１４－５０８９６２号公報Japanese Patent Publication No. 2014-508962

ところで、このようなウェアラブル機器は、例えば、聴覚障害者のコミュニケーションの補助等の用途での使用も望まれている。 By the way, such wearable devices are also desired to be used for purposes such as assisting communication for hearing-impaired persons, for example.

本発明は、上記の事情に鑑みてなされたものであって、適正にコミュニケーションを補助することができるウェアラブル機器を提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a wearable device capable of appropriately assisting communication.

上記目的を達成するために、本発明のウェアラブル機器は、人体の頭部に装着された状態で、装着者の視界に情報を表示可能である表示器本体と、前記表示器本体に設けられ、対話者の音声を入力可能である音声入力部と、前記表示器本体に設けられ、前記音声入力部によって入力された前記音声を視覚情報に変換する処理、及び、変換した当該視覚情報を前記表示器本体に表示させる処理を実行可能である処理部とを備えることを特徴とする。 In order to achieve the above object, the wearable device of the present invention includes a display body capable of displaying information in the field of view of the wearer when worn on the head of a human body, and provided in the display body, a voice input unit capable of inputting the voice of the interlocutor; a process of converting the voice input by the voice input unit provided in the display body into visual information; and displaying the converted visual information. and a processing unit capable of executing processing for displaying on the device main body.

本発明に係るウェアラブル機器は、音声入力部によって入力された対話者の音声を、処理部による処理に応じて視覚情報に変換する。そして、ウェアラブル機器は、処理部による処理に応じて、頭部に装着された状態で装着者の視界に情報を表示可能である表示器本体に当該視覚情報を表示させる。この結果、ウェアラブル機器は、適正にコミュニケーションを補助することができる、という効果を奏する。 The wearable device according to the present invention converts the interlocutor's voice input by the voice input unit into visual information according to the processing by the processing unit. Then, the wearable device displays the visual information on the display main body, which is capable of displaying information in the field of view of the wearer when the wearable device is worn on the head, according to the processing by the processing unit. As a result, the wearable device has the effect of being able to properly assist communication.

図１は、実施形態に係るウェアラブル機器の概略構成を表す模式図である。FIG. 1 is a schematic diagram showing a schematic configuration of a wearable device according to an embodiment. 図２は、実施形態に係るウェアラブル機器の概略構成を表すブロック図である。FIG. 2 is a block diagram showing a schematic configuration of the wearable device according to the embodiment; 図３は、実施形態に係るウェアラブル機器における表示の一例を表す模式図である。FIG. 3 is a schematic diagram illustrating an example of display in the wearable device according to the embodiment; 図４は、実施形態に係るウェアラブル機器における視線検出について説明する模式図である。FIG. 4 is a schematic diagram illustrating line-of-sight detection in the wearable device according to the embodiment. 図５は、実施形態に係るウェアラブル機器における視線検出について説明する模式図である。FIG. 5 is a schematic diagram illustrating line-of-sight detection in the wearable device according to the embodiment. 図６は、実施形態に係るウェアラブル機器における輻輳角と距離との関係について説明する模式図である。FIG. 6 is a schematic diagram illustrating the relationship between the angle of convergence and the distance in the wearable device according to the embodiment. 図７は、実施形態に係るウェアラブル機器における輻輳角と距離との関係について説明する模式図である。FIG. 7 is a schematic diagram explaining the relationship between the convergence angle and the distance in the wearable device according to the embodiment. 図８は、実施形態に係るウェアラブル機器における輻輳角と距離との関係について説明する模式図である。FIG. 8 is a schematic diagram explaining the relationship between the convergence angle and the distance in the wearable device according to the embodiment. 図９は、対話者との距離とマイクの指向角との関係の傾向を説明する模式図である。FIG. 9 is a schematic diagram illustrating the tendency of the relationship between the distance to the interlocutor and the directivity angle of the microphone. 図１０は、対話者との距離とマイクの指向角との関係の傾向を説明する模式図である。FIG. 10 is a schematic diagram illustrating the tendency of the relationship between the distance to the interlocutor and the directivity angle of the microphone. 図１１は、実施形態に係るウェアラブル機器における対話者との距離とマイクの指向角との関係を説明する模式図である。FIG. 11 is a schematic diagram illustrating the relationship between the distance to the interlocutor and the directivity angle of the microphone in the wearable device according to the embodiment. 図１２は、実施形態に係るウェアラブル機器における対話者との距離とマイクの指向角との関係を説明する模式図である。FIG. 12 is a schematic diagram illustrating the relationship between the distance to the interlocutor and the directivity angle of the microphone in the wearable device according to the embodiment. 図１３は、実施形態に係るウェアラブル機器におけるマイクの指向角の算出方法の一例を説明する模式図である。FIG. 13 is a schematic diagram illustrating an example of a method of calculating the directivity angle of the microphone in the wearable device according to the embodiment; 図１４は、実施形態に係るウェアラブル機器における対話者との距離とマイクの指向角との関係を説明する表図である。FIG. 14 is a table for explaining the relationship between the distance to the interlocutor and the directivity angle of the microphone in the wearable device according to the embodiment. 図１５は、実施形態に係る実施形態に係るウェアラブル機器の処理部によって行われる処理の一例を示すフローチャートである。15 is a flowchart illustrating an example of processing performed by a processing unit of the wearable device according to the embodiment; FIG. 図１６は、実施形態に係る実施形態に係るウェアラブル機器の処理部によって行われる処理の一例を示すフローチャートである。16 is a flowchart illustrating an example of processing performed by a processing unit of the wearable device according to the embodiment; FIG. 図１７は、実施形態に係る実施形態に係るウェアラブル機器の処理部によって行われる処理の一例を示すフローチャートである。17 is a flowchart illustrating an example of processing performed by a processing unit of the wearable device according to the embodiment; FIG. 図１８は、変形例に係るウェアラブル機器の処理部によって行われる処理の一例を示すフローチャートである。18 is a flowchart illustrating an example of processing performed by the processing unit of the wearable device according to the modification; FIG. 図１９は、変形例に係るウェアラブル機器の処理部によって行われる処理の一例を示すフローチャートである。19 is a flowchart illustrating an example of processing performed by the processing unit of the wearable device according to the modification; FIG. 図２０は、変形例に係るウェアラブル機器における対話者との距離の算出方法の一例を説明する模式図である。FIG. 20 is a schematic diagram illustrating an example of a method of calculating the distance to the interlocutor in the wearable device according to the modification. 図２１は、変形例に係るウェアラブル機器における表示の一例を表す模式図である。FIG. 21 is a schematic diagram showing an example of display in the wearable device according to the modification.

以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。 EMBODIMENT OF THE INVENTION Below, embodiment which concerns on this invention is described in detail based on drawing. In addition, this invention is not limited by this embodiment. In addition, components in the following embodiments include components that can be easily replaced by those skilled in the art, or components that are substantially the same.

［実施形態］
図１、図２、図３に示す本実施形態のウェアラブル機器１は、人体１０１の頭部１０２に装着され、装着者１００の視界に種々の情報を表示するスマートグラスを構成するものである。本実施形態のウェアラブル機器１は、集音した音声を視覚情報ＶＩに変換し、当該変換した視覚情報ＶＩを装着者１００の視界に表示することで、聴覚障害者のコミュニケーションを適正に補助することができるツールを実現する。典型的には、本実施形態のウェアラブル機器１は、視線検出機能、音声認識機能、及び、情報表示機能を有し、装着者１００の視線を検出し、視線の方向に位置する対話者２００（図６等参照）の音声を認識して、スマートグラスの表面に字幕等による視覚情報ＶＩを表示させる。以下、図１を参照してウェアラブル機器１の各構成について詳細に説明する。 [Embodiment]
The wearable device 1 of the present embodiment shown in FIGS. 1, 2, and 3 constitutes smart glasses that are worn on the head 102 of the human body 101 and display various information in the visual field of the wearer 100. FIG. The wearable device 1 of the present embodiment converts the collected sound into visual information VI and displays the converted visual information VI in the field of view of the wearer 100, thereby appropriately assisting the communication of the hearing impaired. Realize a tool that can Typically, the wearable device 1 of this embodiment has a line-of-sight detection function, a voice recognition function, and an information display function, detects the line of sight of the wearer 100, and detects the line of sight of the interlocutor 200 ( 6, etc.), and displays visual information VI such as subtitles on the surface of the smart glasses. Hereinafter, each configuration of the wearable device 1 will be described in detail with reference to FIG.

具体的には、ウェアラブル機器１は、図１、図２に示すように、表示器本体１０と、電源２０と、装着センサ３０と、視線検出部としての視線検出センサ４０と、外向きカメラ５０と、音声入力部としてのマイク６０と、記憶部７０と、処理部８０とを備える。電源２０、装着センサ３０、視線検出センサ４０、外向きカメラ５０、マイク６０、記憶部７０、及び、処理部８０は、表示器本体１０に設けられ、相互に通信可能に接続されている。 Specifically, as shown in FIGS. 1 and 2, the wearable device 1 includes a display main body 10, a power supply 20, an attached sensor 30, a line-of-sight detection sensor 40 as a line-of-sight detection unit, and an outward facing camera 50. , a microphone 60 as an audio input unit, a storage unit 70 and a processing unit 80 . The power source 20, the mounting sensor 30, the line-of-sight detection sensor 40, the outward facing camera 50, the microphone 60, the storage section 70, and the processing section 80 are provided in the display main body 10 and connected so as to be able to communicate with each other.

表示器本体１０は、人体１０１の頭部１０２に装着可能なヘッドマウントディスプレイ（ＨＭＤ）方式のメガネ型表示デバイスである。表示器本体１０は、人体１０１の頭部１０２に装着された状態で、装着者１００の視界に情報を表示可能である。 The display main body 10 is a head-mounted display (HMD) type glasses type display device that can be worn on the head 102 of the human body 101 . The display main body 10 can display information in the visual field of the wearer 100 while being worn on the head 102 of the human body 101 .

具体的には、表示器本体１０は、透明ディスプレイ１１、及び、フレーム１２を含んで構成される。 Specifically, the display body 10 includes a transparent display 11 and a frame 12 .

透明ディスプレイ１１は、視覚情報ＶＩを表示可能であり、ウェアラブル機器１における視覚情報ＶＩの表示面を構成する。透明ディスプレイ１１は、当該透明ディスプレイ１１越しに背景を視認可能な程度に高い透明性を有している。透明ディスプレイ１１は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等によって構成される。ここでは、透明ディスプレイ１１は、装着者１００の右の眼球１０３Ｒに対応した右ディスプレイ１１Ｒ、及び、装着者１００の左の眼球１０３Ｌに対応した左ディスプレイ１１Ｌを含んで構成される。 The transparent display 11 can display the visual information VI, and constitutes the display surface of the visual information VI in the wearable device 1 . The transparent display 11 has such high transparency that the background can be seen through the transparent display 11 . The transparent display 11 is configured by, for example, a liquid crystal display, an organic EL display, or the like. Here, the transparent display 11 includes a right display 11R corresponding to the wearer's 100 right eyeball 103R and a left display 11L corresponding to the wearer's 100 left eyeball 103L.

フレーム１２は、人体１０１の頭部１０２に装着され、透明ディスプレイ１１を装着者１００の視界に支持する構造体であり、弦や枠等を含んで構成される。フレーム１２は、右ディスプレイ１１Ｒを装着者１００の右の眼球１０３Ｒと対向する位置に支持し、左ディスプレイ１１Ｌを装着者１００の左の眼球１０３Ｌと対向する位置に支持する。フレーム１２は、ウェアラブル機器１を構成する電源２０、装着センサ３０、視線検出センサ４０、外向きカメラ５０、マイク６０、記憶部７０、処理部８０等の各部が組み付けられる。 The frame 12 is a structure that is mounted on the head 102 of the human body 101 and supports the transparent display 11 in the visual field of the wearer 100, and includes strings, a frame, and the like. The frame 12 supports the right display 11R at a position facing the wearer's 100 right eyeball 103R, and supports the left display 11L at a position facing the wearer's 100 left eyeball 103L. The frame 12 is assembled with the power source 20 , the wearable sensor 30 , the line-of-sight sensor 40 , the outward camera 50 , the microphone 60 , the storage unit 70 , the processing unit 80 , etc., which constitute the wearable device 1 .

上記構成により、表示器本体１０は、フレーム１２が人体１０１の頭部１０２に装着された状態で、透明ディスプレイ１１越しの背景に重畳させて当該透明ディスプレイ１１上に視覚情報ＶＩを表示することで、当該視覚情報ＶＩを装着者１００の視界に表示可能である。図３に例示するように、透明ディスプレイ１１によって装着者１００の視界に表示する視覚情報ＶＩは、例えば、対話者２００（図６等参照）の音声に対応した文字列（テキスト）を表す文字画像情報ＶＩ１を含む。なお、透明ディスプレイ１１は、上記に限らず、例えば、網膜投射型のディスプレイ等によって構成されてもよい。 With the above configuration, the display main body 10 displays the visual information VI on the transparent display 11 in a state where the frame 12 is attached to the head 102 of the human body 101, superimposed on the background through the transparent display 11. , the visual information VI can be displayed in the field of view of the wearer 100 . As illustrated in FIG. 3, the visual information VI displayed in the visual field of the wearer 100 by the transparent display 11 is, for example, a character image representing a character string (text) corresponding to the voice of the interlocutor 200 (see FIG. 6, etc.). Contains information VI1. Note that the transparent display 11 is not limited to the above, and may be configured by, for example, a retinal projection type display or the like.

電源２０は、ウェアラブル機器１の電力源である。電源２０は、リチウムイオン電池等の充放電可能な二次電池等を含んで構成され、ウェアラブル機器１内の各部に対して電力を供給する。 A power source 20 is a power source for the wearable device 1 . The power supply 20 includes a chargeable/dischargeable secondary battery such as a lithium ion battery, and supplies power to each unit in the wearable device 1 .

装着センサ３０は、ウェアラブル機器１が人体１０１の頭部１０２に装着されていることを検出可能な検出器である。装着センサ３０は、例えば、温度検知や発汗検知を行う検出器によって構成される。装着センサ３０は、温度検知や発汗検知に基づいてフレーム１２が装着者１００の頭部１０２に触れていることを検出することで、ウェアラブル機器１が頭部１０２に装着されていることを検出する。 The wearing sensor 30 is a detector capable of detecting that the wearable device 1 is worn on the head 102 of the human body 101 . The wearing sensor 30 is configured by, for example, a detector that detects temperature and perspiration. The wearing sensor 30 detects that the wearable device 1 is worn on the head 102 of the wearer 100 by detecting that the frame 12 is in contact with the head 102 of the wearer 100 based on temperature detection and perspiration detection. .

視線検出センサ４０は、装着者１００の視線を検出可能な検出器である。視線検出センサ４０は、例えば、フレーム１２の中央の弦部分に設けられる。視線検出センサ４０は、例えば、図４に例示するように、内向きカメラ４１によって構成される。内向きカメラ４１は、装着者１００の眼球１０３Ｌ、１０３Ｒを撮像可能な撮像器である。視線検出センサ４０を構成する内向きカメラ４１は、図５に示すように、眼球１０３Ｌ、１０３Ｒの瞳孔１０３ａとプルキニエ像（角膜表面における反射光）１０３ｂを検出することで、瞳孔－角膜反射法により装着者１００の視線検出を可能とする。なお、視線検出センサ４０は、上記に限らず、例えば、フレーム１２の中央の弦部分に内蔵され眼球運動に伴う目の周りの電位差を検出することで、装着者１００の視線検出を行う眼電位センサによって構成されてもよい。 The line-of-sight detection sensor 40 is a detector capable of detecting the line of sight of the wearer 100 . The line-of-sight detection sensor 40 is provided, for example, on a string portion in the center of the frame 12 . The line-of-sight detection sensor 40 is configured by, for example, an inward camera 41 as illustrated in FIG. 4 . The inward facing camera 41 is an imaging device capable of imaging the eyeballs 103L and 103R of the wearer 100 . As shown in FIG. 5, the inward facing camera 41 that constitutes the line of sight detection sensor 40 detects the pupils 103a of the eyeballs 103L and 103R and the Purkinje image (reflected light on the corneal surface) 103b, thereby detecting the The line of sight of the wearer 100 can be detected. Note that the line-of-sight detection sensor 40 is not limited to the above. It may be configured by a sensor.

外向きカメラ５０は、装着者１００の眼球１０３Ｌ、１０３Ｒ側とは反対側を撮像可能な撮像器である。言い換えれば、外向きカメラ５０は、透明ディスプレイ１１越しに装着者１００の視線が向う側を撮像する。外向きカメラ５０は、例えば、フレーム１２の端部に設けられる。 The outward facing camera 50 is an imaging device capable of imaging the side opposite to the eyeballs 103L and 103R of the wearer 100 . In other words, the outward facing camera 50 captures the side of the wearer's 100 line of sight through the transparent display 11 . An outward facing camera 50 is provided, for example, at an end of the frame 12 .

マイク６０は、対話者２００の音声を入力可能な集音器である。マイク６０は、集音方向、及び、指向角α（図１１等参照）を変更可能な指向性マイクである。ここで、指向角αとは、集音可能な角度範囲を表し、小さいほど当該角度範囲が狭いことを表し、大きいほど当該角度範囲が広いことを表す。マイク６０は、例えば、２チャンネル話者追尾型マイクロホンアレーを用いることができる。 Microphone 60 is a sound collector capable of inputting voice of interlocutor 200 . The microphone 60 is a directional microphone that can change the sound collecting direction and the directivity angle α (see FIG. 11, etc.). Here, the directivity angle α represents an angle range in which sound can be collected. The microphone 60 can use, for example, a two-channel speaker-tracking microphone array.

記憶部７０は、各種データ（情報）を記憶する記憶回路である。記憶部７０は、例えば、ウェアラブル機器１が各種の機能を実現するためのプログラムを記憶する。記憶部７０に記憶されるプログラムには、透明ディスプレイ１１を機能させるプログラム、電源２０を機能させるプログラム、装着センサ３０を機能させるプログラム、視線検出センサ４０を機能させるプログラム、外向きカメラ５０を機能させるプログラム、マイク６０を機能させるプログラム、処理部８０を機能させるプログラム等が含まれる。また、記憶部７０は、処理部８０での各種処理に必要なデータ、透明ディスプレイ１１で表示するデータ等の各種データを記憶する。記憶部７０は、処理部８０等によってこれらの各種データが必要に応じて読み出される。なお、記憶部７０は、ネットワークを介してウェアラブル機器１に接続されたクラウドサーバ等により実現されてもよい。 The storage unit 70 is a storage circuit that stores various data (information). The storage unit 70 stores, for example, programs for the wearable device 1 to implement various functions. The programs stored in the storage unit 70 include a program that causes the transparent display 11 to function, a program that causes the power source 20 to function, a program that causes the mounting sensor 30 to function, a program that causes the line-of-sight detection sensor 40 to function, and a program that causes the outward facing camera 50 to function. A program, a program that causes the microphone 60 to function, a program that causes the processing section 80 to function, and the like are included. The storage unit 70 also stores various data such as data required for various processes in the processing unit 80 and data to be displayed on the transparent display 11 . These various data are read from the storage unit 70 by the processing unit 80 or the like as necessary. Note that the storage unit 70 may be realized by a cloud server or the like connected to the wearable device 1 via a network.

処理部８０は、ウェアラブル機器１における各種処理機能を実現する処理回路である。処理部８０は、例えば、プロセッサによって実現される。プロセッサとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の回路を意味する。処理部８０は、例えば、記憶部７０から読み込んだプログラムを実行することにより、各処理機能を実現する。 The processing unit 80 is a processing circuit that implements various processing functions in the wearable device 1 . The processing unit 80 is implemented by, for example, a processor. A processor means a circuit such as a CPU (Central Processing Unit), for example. The processing unit 80 implements each processing function by executing a program read from the storage unit 70, for example.

本実施形態に係る処理部８０は、マイク６０によって入力された音声を視覚情報ＶＩに変換し、変換した当該視覚情報ＶＩを表示器本体１０の透明ディスプレイ１１に表示させる各種処理を行うための機能を有している。また、本実施形態の処理部８０は、視線検出センサ４０によって検出された装着者１００の視線に基づいて対話者２００を特定し、特定された対話者２００の位置に基づいてマイク６０による集音における指向角αを可変とする各種処理を行うための機能を有している。 The processing unit 80 according to the present embodiment is a function for performing various kinds of processing for converting voice input by the microphone 60 into visual information VI and displaying the converted visual information VI on the transparent display 11 of the display main body 10. have. In addition, the processing unit 80 of the present embodiment identifies the interlocutor 200 based on the line of sight of the wearer 100 detected by the line of sight detection sensor 40, and collects sound with the microphone 60 based on the identified position of the interlocutor 200. It has a function for performing various processes for making the directivity angle α variable.

具体的には、本実施形態の処理部８０は、上記各種処理機能を実現するために、機能概念的に、装着検出処理部８１、電源制御処理部８２、視線検出処理部８３、対話者特定処理部８４、指向角設定処理部８５、音声入力処理部８６、変換処理部８７、及び、表示制御処理部８８を含んで構成される。処理部８０は、例えば、記憶部７０から読み込んだプログラムを実行することにより、これら装着検出処理部８１、電源制御処理部８２、視線検出処理部８３、対話者特定処理部８４、指向角設定処理部８５、音声入力処理部８６、変換処理部８７、及び、表示制御処理部８８の各処理機能を実現する。 Specifically, in order to realize the various processing functions described above, the processing unit 80 of the present embodiment functionally conceptually includes an attachment detection processing unit 81, a power supply control processing unit 82, a line-of-sight detection processing unit 83, and an interlocutor identification unit. It includes a processing unit 84 , a directivity angle setting processing unit 85 , a voice input processing unit 86 , a conversion processing unit 87 and a display control processing unit 88 . The processing unit 80 executes a program read from the storage unit 70, for example, to perform the wearing detection processing unit 81, the power supply control processing unit 82, the line-of-sight detection processing unit 83, the interlocutor identification processing unit 84, and the orientation angle setting processing. Each processing function of the unit 85, the voice input processing unit 86, the conversion processing unit 87, and the display control processing unit 88 is realized.

装着検出処理部８１は、ウェアラブル機器１が人体１０１の頭部１０２に装着されていることを判定する処理を実行可能な機能を有する部分である。装着検出処理部８１は、装着センサ３０による検出結果に基づいて、ウェアラブル機器１が頭部１０２に装着されていることを判定する。 The wearing detection processing unit 81 is a part having a function capable of executing processing for determining whether the wearable device 1 is worn on the head 102 of the human body 101 . The wearing detection processing unit 81 determines that the wearable device 1 is worn on the head 102 based on the detection result of the wearing sensor 30 .

電源制御処理部８２は、電源２０を制御する処理を実行可能な機能を有する部分である。電源制御処理部８２は、装着検出処理部８１によってウェアラブル機器１が頭部１０２に装着されていると判定された場合、ウェアラブル機器１の電源２０をＯＮとする。一方、電源制御処理部８２は、装着検出処理部８１によってウェアラブル機器１が頭部１０２に装着されていないと判定された場合、ウェアラブル機器１の電源２０をＯＦＦ（最小限の待機状態）とする。この処理により、ウェアラブル機器１は、消費電力を削減することができる。 The power control processing unit 82 is a part having a function capable of executing processing for controlling the power source 20 . When the wearing detection processing unit 81 determines that the wearable device 1 is worn on the head 102 , the power control processing unit 82 turns on the power source 20 of the wearable device 1 . On the other hand, when the wearing detection processing unit 81 determines that the wearable device 1 is not worn on the head 102, the power supply control processing unit 82 turns off the power supply 20 of the wearable device 1 (minimum standby state). . By this processing, the wearable device 1 can reduce power consumption.

視線検出処理部８３は、ウェアラブル機器１を装着した装着者１００の視線を検出する処理を実行可能な機能を有する部分である。視線検出処理部８３は、視線検出センサ４０による検出結果に基づいて、装着者１００の視線を検出する。ここでは、視線検出処理部８３は、視線検出センサ４０を構成する内向きカメラ４１によって撮像された眼球１０３Ｌ、１０３Ｒの画像から瞳孔１０３ａ、プルキニエ像１０３ｂの位置を検出する。そして、視線検出処理部８３は、これら瞳孔１０３ａ、プルキニエ像１０３ｂの位置に基づいて瞳孔－角膜反射法により装着者１００の視線の方向を検出する。 The line-of-sight detection processing unit 83 is a part having a function capable of executing processing for detecting the line of sight of the wearer 100 wearing the wearable device 1 . The line-of-sight detection processing unit 83 detects the line of sight of the wearer 100 based on the detection result of the line-of-sight detection sensor 40 . Here, the line-of-sight detection processing unit 83 detects the positions of the pupil 103a and the Purkinje image 103b from the images of the eyeballs 103L and 103R captured by the inward-looking camera 41 that constitutes the line-of-sight detection sensor 40 . Based on the positions of the pupil 103a and the Purkinje image 103b, the line-of-sight detection processing unit 83 detects the direction of the line of sight of the wearer 100 by the pupil-corneal reflection method.

対話者特定処理部８４は、視線検出センサ４０によって検出され視線検出処理部８３によって処理された装着者１００の視線に基づいて対話者２００を特定する処理を実行可能な機能を有する部分である。ここでは、対話者特定処理部８４は、例えば、人物が人物と話をする場合、一定時間、対話者２００を見る傾向を利用し、装着者１００の視線が所定時間（例えば、２秒以上）停留した人物を対話者２００として特定する。 The interlocutor identification processing unit 84 has a function capable of executing processing for identifying the interlocutor 200 based on the line of sight of the wearer 100 detected by the line of sight detection sensor 40 and processed by the line of sight detection processing unit 83 . Here, for example, when a person talks to a person, the interlocutor identification processing unit 84 utilizes the tendency of the person to look at the interlocutor 200 for a certain period of time, and the line of sight of the wearer 100 is maintained for a certain period of time (for example, two seconds or more). The stopped person is specified as the interlocutor 200 .

本実施形態の対話者特定処理部８４は、一例として、装着者１００の視線に加えて、外向きカメラ５０によって撮像された当該視線が向う側の画像に基づいて対話者２００を特定する。対話者特定処理部８４は、外向きカメラ５０によって撮像された画像から人物を検出し、検出した人物から装着者１００の視線の方向に位置する人物を特定する。そして、対話者特定処理部８４は、装着者１００の視線が当該特定した人物に所定時間（例えば、２秒以上）滞留した場合に、当該人物を対話者２００として特定する。 As an example, the interlocutor identification processing unit 84 of the present embodiment identifies the interlocutor 200 based on the line of sight of the wearer 100 and the image of the side to which the line of sight is captured by the outward facing camera 50 . The interlocutor identification processing unit 84 detects a person from the image captured by the outward facing camera 50 and identifies a person positioned in the line of sight of the wearer 100 from the detected person. Then, the interlocutor identification processing unit 84 identifies the person as the interlocutor 200 when the line of sight of the wearer 100 stays at the identified person for a predetermined time (for example, two seconds or longer).

また、本実施形態の対話者特定処理部８４は、特定した対話者２００の位置に基づいて当該対話者２００までの距離を推定する。ここでいう対話者２００までの距離とは、装着者１００と対話者２００との距離であり、概略的には、特定された対話者２００とマイク６０との距離にも相当する。 Further, the interlocutor identification processing unit 84 of the present embodiment estimates the distance to the interlocutor 200 based on the position of the identified interlocutor 200 . The distance to the interlocutor 200 here is the distance between the wearer 100 and the interlocutor 200 , and roughly corresponds to the distance between the identified interlocutor 200 and the microphone 60 .

ここでは、対話者特定処理部８４は、一例として、図６、図７、図８に示すように、視線検出センサ４０によって検出され視線検出処理部８３によって処理された装着者１００の視線に基づいて装着者１００の輻輳角θを算出し、算出した当該輻輳角θに基づいて対話者２００までの距離Ｄを推定する。 Here, as an example, the interlocutor identification processing unit 84 is based on the line of sight of the wearer 100 detected by the line of sight detection sensor 40 and processed by the line of sight detection processing unit 83, as shown in FIGS. of the wearer 100 is calculated, and the distance D to the interlocutor 200 is estimated based on the calculated convergence angle θ.

ここでいう装着者１００の輻輳角θとは、図６、図７、図８に示すように、装着者１００の左の眼球１０３Ｌの視線と右の眼球１０３Ｒの視線とがなす角度である。なお、この図６、図７、図８中には、瞳孔１０３ａと共に中心窩１０３ｃも図示している。対話者特定処理部８４は、視線検出センサ４０によって検出され視線検出処理部８３によって処理された左の眼球１０３Ｌの視線の方向と右の眼球１０３Ｒの視線の方向とに基づいて装着者１００の当該輻輳角θを算出する。なお、視線に基づいて算出される輻輳角θは、装着者１００によって個人差があるので、ウェアラブル機器１の使用にあたっては適宜キャリブレーションを実施しておくことが好ましい。 The angle of convergence θ of the wearer 100 referred to here is the angle between the line of sight of the left eyeball 103L and the line of sight of the right eyeball 103R of the wearer 100, as shown in FIGS. 6, 7 and 8 also show the pupil 103a and the central fovea 103c. The interlocutor identification processing unit 84 identifies the subject of the wearer 100 based on the direction of the line of sight of the left eyeball 103L and the direction of the line of sight of the right eyeball 103R detected by the line of sight detection sensor 40 and processed by the line of sight detection processing unit 83. Calculate the convergence angle θ. Note that since the convergence angle θ calculated based on the line of sight varies from person to person depending on the wearer 100, it is preferable to perform calibration as appropriate when using the wearable device 1 .

ここで、図６、図７、図８に示すように、人体は、近くの対話者（物体）２００を視る場合、すなわち、対話者２００までの距離Ｄが相対的に短い場合に輻輳角θが相対的に大きくなる傾向にある。逆に、人体は、遠くの対話者（物体）２００を視る場合、すなわち、対話者２００までの距離Ｄが相対的に長い場合に輻輳角θが相対的に小さくなる傾向にある。 Here, as shown in FIGS. 6, 7, and 8, when the human body sees a nearby interlocutor (object) 200, that is, when the distance D to the interlocutor 200 is relatively short, the convergence angle θ tends to be relatively large. Conversely, the human body tends to have a relatively small convergence angle θ when viewing a distant interlocutor (object) 200, that is, when the distance D to the interlocutor 200 is relatively long.

対話者特定処理部８４は、図６、図７、図８に示すような対話者２００までの距離Ｄと輻輳角θとの傾向を利用し、算出した輻輳角θに基づいて対話者２００までの距離Ｄを推定する。例えば、ウェアラブル機器１は、対話者２００までの距離Ｄと輻輳角θとの傾向を表す数式やテーブルを記憶部７０に予め記憶しておく。そして、対話者特定処理部８４は、当該数式や当該テーブルに基づいて、輻輳角θから対話者２００までの距離Ｄを算出する。 The interlocutor identification processing unit 84 uses the tendency of the distance D to the interlocutor 200 and the convergence angle θ as shown in FIGS. Estimate the distance D of For example, the wearable device 1 pre-stores in the storage unit 70 a mathematical expression or a table representing the tendency of the distance D to the interlocutor 200 and the convergence angle θ. Then, the interlocutor identification processing unit 84 calculates the distance D to the interlocutor 200 from the convergence angle θ based on the formula and the table.

指向角設定処理部８５は、対話者特定処理部８４によって特定された対話者２００の位置に基づいてマイク６０による集音における指向角αを可変とする処理を実行可能な機能を有する部分である。 The directivity angle setting processing unit 85 is a part having a function capable of executing processing for varying the directivity angle α in sound collection by the microphone 60 based on the position of the interlocutor 200 specified by the interlocutor specifying processing unit 84. .

ここで、図９、図１０を参照して、対話者２００の位置にかかわらず、マイク６０の指向角αを固定とした場合について説明する。例えば、マイク６０は、図９に例示するように、装着者１００からの距離Ｄが相対的に短く当該装着者１００の近くに位置する対話者２００Ａの肩幅（例えば４５～４６ｃｍ程度）にあわせて指向角αを相対的に大きな値に設定した場合を仮定する。この場合、マイク６０は、装着者１００からの距離Ｄが相対的に長く当該装着者１００から離れて位置する対話者２００Ｂの音声を集音するに際には、周囲のノイズ（例えば、周囲の人物の音声等）を拾い易い傾向となる。逆に、マイク６０は、図１０に例示するように、装着者１００からの距離Ｄが相対的に長く当該装着者１００から離れて位置する対話者２００Ｂの肩幅にあわせて指向角αを相対的に小さな値に設定した場合を仮定する。この場合、マイク６０は、装着者１００からの距離Ｄが相対的に短く当該装着者１００の近くに位置する対話者２００Ａの音声を集音するに際には、対話者２００Ａの音声を拾い難い傾向となる。 Here, a case where the directivity angle α of the microphone 60 is fixed regardless of the position of the interlocutor 200 will be described with reference to FIGS. 9 and 10. FIG. For example, as illustrated in FIG. 9, the microphone 60 is adapted to the shoulder width (for example, about 45 to 46 cm) of the interlocutor 200A located near the wearer 100 whose distance D from the wearer 100 is relatively short. Assume that the directivity angle α is set to a relatively large value. In this case, when the microphone 60 collects the voice of the interlocutor 200B, who is located away from the wearer 100 at a relatively long distance D from the wearer 100, ambient noise (for example, voice of a person, etc.). Conversely, as illustrated in FIG. 10, the microphone 60 has a relatively long directivity angle α according to the shoulder width of the interlocutor 200B, who is positioned away from the wearer 100 and whose distance D from the wearer 100 is relatively long. is set to a small value. In this case, when the microphone 60 collects the voice of the interlocutor 200A located near the wearer 100 at a relatively short distance D from the wearer 100, it is difficult for the microphone 60 to pick up the voice of the interlocutor 200A. become a trend.

本実施形態の指向角設定処理部８５は、マイク６０による集音において、対話者２００までの距離Ｄに応じてより好ましい指向角αが異なる、という上記のような傾向に基づいて、マイク６０の指向角αを変化させる。すなわちここでは、指向角設定処理部８５は、上記のような傾向に基づいて、対話者２００の位置に応じて、マイク６０の集音方向、及び、指向角αを設定する。この処理により、指向角設定処理部８５は、マイク６０を介した音声認識率を向上させる。 The directivity angle setting processing unit 85 of the present embodiment, in sound collection by the microphone 60, is based on the above-described tendency that the preferable directivity angle α differs depending on the distance D to the interlocutor 200. Change the directivity angle α. That is, here, the directivity angle setting processing unit 85 sets the sound collecting direction of the microphone 60 and the directivity angle α according to the position of the interlocutor 200 based on the above tendency. By this processing, the directivity angle setting processing unit 85 improves the speech recognition rate through the microphone 60 .

より具体的には、指向角設定処理部８５は、上記のような傾向に基づいて、対話者２００までの距離Ｄに応じてマイク６０の指向角αを設定する。指向角設定処理部８５は、図１１、図１２に示すように、特定された対話者２００とマイク６０との距離Ｄが相対的に長いほど、指向角αを相対的に小さくし、特定された対話者２００とマイク６０との距離Ｄが相対的に短いほど、指向角αを相対的に大きくする。 More specifically, the directivity angle setting processing unit 85 sets the directivity angle α of the microphone 60 according to the distance D to the interlocutor 200 based on the above tendency. As shown in FIGS. 11 and 12 , the directivity angle setting processing unit 85 relatively decreases the directivity angle α as the distance D between the identified interlocutor 200 and the microphone 60 is relatively long. The directivity angle α is relatively increased as the distance D between the interlocutor 200 and the microphone 60 is relatively shorter.

人物の肩幅の範囲を全て集音対象範囲に入れるとすると、必要となる指向角αは、上述したようにその人物（対話者２００）までの距離Ｄに応じて変わり、例えば、図１３に例示するように、下記の数式（１）を用いて距離Ｄに応じて定まる。

ｔａｎ（α／２)＝肩幅／２×１／Ｄ ・・・ （１）
Assuming that the entire shoulder width range of a person is included in the sound collection target range, the required directivity angle α varies according to the distance D to the person (interlocutor 200) as described above. is determined according to the distance D using the following formula (1).

tan(α/2)=shoulder width/2×1/D (1)

図１４は、対話者２００までの距離Ｄと、当該距離Ｄにおける好適な指向角αとの関係の一例を表した表図である。人物の肩幅は、４５～４６ｃｍ程度と略一定なので、例えば、肩幅を固定値＝４５ｃｍと仮定すると、指向角αは、距離Ｄが０．４５ｍである場合は５３．１度程度、距離Ｄが１．２ｍである場合は２１．２度程度、距離Ｄが３．５ｍである場合は７．３６度程度にとなる。 FIG. 14 is a table showing an example of the relationship between the distance D to the interlocutor 200 and the preferred directivity angle α at the distance D. As shown in FIG. Since the shoulder width of a person is approximately constant at about 45 to 46 cm, for example, assuming that the shoulder width is a fixed value of 45 cm, the directivity angle α is about 53.1 degrees when the distance D is 0.45 m, and the distance D is about 53.1 degrees. When the distance D is 1.2 m, it is about 21.2 degrees, and when the distance D is 3.5 m, it is about 7.36 degrees.

例えば、ウェアラブル機器１は、対話者２００までの距離Ｄと指向角αとの上記のような傾向を表す数式やテーブルを記憶部７０に予め記憶しておく。そして、指向角設定処理部８５は、当該数式や当該テーブルに基づいて、対話者２００までの距離Ｄから指向角αを算出、設定する。指向角設定処理部８５は、距離Ｄに応じて指向角αをリニアに変更して設定してもよいが、ここでは、距離Ｄに応じて上記の３つの指向角αを段階的に変更して設定する。 For example, the wearable device 1 pre-stores in the storage unit 70 mathematical formulas and tables representing the above tendencies of the distance D to the interlocutor 200 and the directivity angle α. Then, the directivity angle setting processing unit 85 calculates and sets the directivity angle α from the distance D to the interlocutor 200 based on the formula and the table. The directivity angle setting processing unit 85 may change and set the directivity angle α linearly according to the distance D, but here, the three directivity angles α are changed stepwise according to the distance D. to set.

そして、指向角設定処理部８５は、視線の方向、対話者２００の位置、距離Ｄ等に応じて集音方向、指向角αを設定し、当該設定した集音方向、指向角αに応じた動作指令をマイク６０に入力し、当該マイク６０を設定した集音方向、指向角αで集音させる。 Then, the directivity angle setting processing unit 85 sets the sound collection direction and the directivity angle α according to the direction of the line of sight, the position of the interlocutor 200, the distance D, etc., and sets the sound collection direction and the directivity angle α An operation command is input to the microphone 60, and the microphone 60 is caused to collect sound in the set sound collection direction and directivity angle α.

この処理により、ウェアラブル機器１は、図１１に示すように、装着者１００からの距離Ｄが相対的に短く当該装着者１００の近くに位置する対話者２００Ａの音声を集音するに際には、指向角αが相対的に大きく設定される。これにより、ウェアラブル機器１は、対話者２００Ａの音声を拾い易くすることができる。一方、ウェアラブル機器１は、図１２に示すように、装着者１００からの距離Ｄが相対的に長く当該装着者１００から離れて位置する対話者２００Ｂの音声を集音するに際には、指向角αが相対的に小さく設定される。これにより、ウェアラブル機器１は、対話者２００Ｂの周囲のノイズ（例えば、周囲の人物の音声等）を拾い難くすることができる。 As a result of this processing, the wearable device 1, as shown in FIG. , the directivity angle α is set relatively large. Thereby, the wearable device 1 can easily pick up the voice of the interlocutor 200A. On the other hand, as shown in FIG. 12 , when the wearable device 1 collects the voice of the interlocutor 200B who is located away from the wearer 100 at a relatively long distance D from the wearer 100, the directional The angle α is set relatively small. As a result, the wearable device 1 can make it difficult to pick up noise around the interlocutor 200B (for example, voices of people around).

音声入力処理部８６は、マイク６０を制御し当該マイク６０によって音声を入力する処理を実行可能な機能を有する部分である。音声入力処理部８６は、指向角設定処理部８５によって設定された集音方向、指向角αでマイク６０によって集音する。音声入力処理部８６は、マイク６０によって集音した集音データを一旦記憶回部７０に記憶させるようにしてもよい。 The voice input processing unit 86 is a part having a function capable of executing processing for controlling the microphone 60 and inputting voice through the microphone 60 . The voice input processing unit 86 collects sound with the microphone 60 in the sound collection direction and the directivity angle α set by the directivity angle setting processing unit 85 . The voice input processing unit 86 may temporarily store the collected sound data collected by the microphone 60 in the storage unit 70 .

変換処理部８７は、マイク６０によって入力された音声を視覚情報ＶＩに変換する処理を実行可能な機能を有する部分である。変換処理部８７は、指向角設定処理部８５によって設定された集音方向、指向角αでマイク６０によって集音された音から、音声認識機能（音声認識エンジン）によって対話者２００の音声を認識する。そして、変換処理部８７は、音声認識した対話者２００の音声を視覚情報ＶＩに変換する。ここでは、変換処理部８７は、音声認識した対話者２００の音声を、対話者２００の音声に対応した文字列（テキスト）に変換し、図３に例示したように、視覚情報ＶＩとして、当該文字列を表す文字画像情報ＶＩ１を生成する。変換処理部８７は、生成した視覚情報ＶＩ、ここでは、文字画像情報ＶＩ１を一旦記憶回部７０に記憶させるようにしてもよい。 The conversion processing unit 87 is a part having a function capable of executing a process of converting voice input by the microphone 60 into visual information VI. The conversion processing unit 87 recognizes the voice of the interlocutor 200 by a voice recognition function (voice recognition engine) from the sound collected by the microphone 60 at the sound collection direction and the directivity angle α set by the directivity angle setting processing unit 85. do. Then, the conversion processing unit 87 converts the recognized voice of the interlocutor 200 into visual information VI. Here, the conversion processing unit 87 converts the voice-recognized voice of the interlocutor 200 into a character string (text) corresponding to the voice of the interlocutor 200, and as illustrated in FIG. Character image information VI1 representing a character string is generated. The conversion processing unit 87 may cause the storage unit 70 to temporarily store the generated visual information VI, here, the character image information VI1.

表示制御処理部８８は、変換処理部８７によって変換した視覚情報ＶＩを表示器本体１０の透明ディスプレイ１１に表示させる処理を実行可能な機能を有する部分である。表示制御処理部８８は、図３に例示するように、対話者２００の音声に対応した視覚情報ＶＩとして、当該音声に対応した文字列を表す文字画像情報ＶＩ１を、透明ディスプレイ１１によって装着者１００の視界に表示させ、対話者２００の音声を字幕表示させる。 The display control processing section 88 is a section having a function capable of executing processing for displaying the visual information VI converted by the conversion processing section 87 on the transparent display 11 of the display main body 10 . As illustrated in FIG. 3, the display control processing unit 88 displays character image information VI1 representing a character string corresponding to the voice of the interlocutor 200 as visual information VI corresponding to the voice of the interlocutor 200 through the transparent display 11 to the wearer 100. , and the voice of the interlocutor 200 is subtitled.

次に、図１５、図１６、図１７のフローチャート図を参照して、ウェアラブル機器１おける処理手順について説明する。 Next, a processing procedure in the wearable device 1 will be described with reference to flowcharts of FIGS. 15, 16, and 17. FIG.

まず、図１５に示すように、処理部８０の装着検出処理部８１は、装着センサ３０による検出結果に基づいて、装着者１００がウェアラブル機器（スマートグラス）１を外したか否か、言い換えれば、ウェアラブル機器１が頭部１０２に装着されているか否かを判定する（ステップＳ１）。 First, as shown in FIG. 15, the wearing detection processing unit 81 of the processing unit 80 determines whether or not the wearer 100 has removed the wearable device (smart glasses) 1 based on the detection result of the wearing sensor 30. In other words, , determines whether or not the wearable device 1 is worn on the head 102 (step S1).

処理部８０の電源制御処理部８２は、装着検出処理部８１によって装着者１００がウェアラブル機器１を外したと判定された場合（ステップＳ１：Ｙｅｓ）、言い換えれば、ウェアラブル機器１が頭部１０２に装着されていないと判定された場合、電源２０をＯＦＦ（最小限の待機状態）とし、この処理を終了する。 When the wearing detection processing unit 81 determines that the wearer 100 has removed the wearable device 1 (step S1: Yes), in other words, the power control processing unit 82 of the processing unit 80 detects that the wearable device 1 is attached to the head 102. If it is determined that the device is not attached, the power supply 20 is turned off (minimum standby state), and this process ends.

処理部８０の視線検出処理部８３は、装着検出処理部８１によって装着者１００がウェアラブル機器１を外していないと判定された場合（ステップＳ１：Ｎｏ）、言い換えれば、ウェアラブル機器１が頭部１０２に装着されていると判定された場合、視線検出センサ４０による検出結果に基づいて、装着者１００の視線を検出したか否かを判定する（ステップＳ２）。 When the wearing detection processing unit 81 determines that the wearer 100 has not removed the wearable device 1 (step S1: No), in other words, the line-of-sight detection processing unit 83 of the processing unit 80 detects that the wearable device 1 is on the head 102 If it is determined that the wearer 100 has been worn, it is determined whether or not the line of sight of the wearer 100 has been detected based on the detection result of the line of sight detection sensor 40 (step S2).

処理部８０は、視線検出処理部８３によって装着者１００の視線を検出していないと判定された場合（ステップＳ２：Ｎｏ）、ステップＳ１に戻って以降の処理を繰り返し実行する。 When the line-of-sight detection processing unit 83 determines that the line-of-sight of the wearer 100 is not detected (step S2: No), the processing unit 80 returns to step S1 and repeats the subsequent processes.

視線検出処理部８３は、装着者１００の視線を検出したと判定された場合（ステップＳ２：Ｙｅｓ）、視線検出センサ４０による検出結果に基づいて、入力された視線から当該視線の方向を取得する（ステップＳ３）。 When it is determined that the line of sight of the wearer 100 is detected (step S2: Yes), the line of sight detection processing unit 83 acquires the direction of the line of sight from the input line of sight based on the detection result of the line of sight detection sensor 40. (Step S3).

次に、処理部８０の対話者特定処理部８４は、視線検出処理部８３によって処理された装着者１００の視線の方向と、外向きカメラ５０によって撮像された画像とに基づいて、当該画像から特定される人物に視線が２秒以上滞留したか否かを判定する（ステップＳ４）。 Next, the interlocutor identification processing unit 84 of the processing unit 80, based on the line-of-sight direction of the wearer 100 processed by the line-of-sight detection processing unit 83 and the image captured by the outward facing camera 50, It is determined whether or not the line of sight has stayed on the specified person for two seconds or more (step S4).

処理部８０は、対話者特定処理部８４によって画像から特定される人物に視線が２秒以上滞留していないと判定された場合（ステップＳ４：Ｎｏ）、ステップＳ２に戻って以降の処理を繰り返し実行する。 When the interlocutor identification processing unit 84 determines that the line of sight of the person identified from the image has not stayed for two seconds or more (step S4: No), the processing unit 80 returns to step S2 and repeats the subsequent processing. Run.

対話者特定処理部８４は、画像から特定される人物に視線が２秒以上滞留したと判定した場合（ステップＳ４：Ｙｅｓ）、当該人物を対話者２００として特定する（ステップＳ５）。 When the interlocutor identification processing unit 84 determines that the person identified from the image has been gazed at for two seconds or more (step S4: Yes), the interlocutor identification processing unit 84 identifies the person as the interlocutor 200 (step S5).

次に、対話者特定処理部８４は、視線検出センサ４０による検出結果に基づいて、入力された視線から装着者１００の輻輳角θを取得する（ステップＳ６）。対話者特定処理部８４は、左の眼球１０３Ｌの視線の方向と右の眼球１０３Ｒの視線の方向とに基づいて装着者１００の輻輳角θを算出、取得する。 Next, the interlocutor identification processing unit 84 acquires the convergence angle θ of the wearer 100 from the input line of sight based on the detection result of the line of sight detection sensor 40 (step S6). The interlocutor identification processing unit 84 calculates and acquires the convergence angle θ of the wearer 100 based on the direction of the line of sight of the left eyeball 103L and the direction of the line of sight of the right eyeball 103R.

次に、対話者特定処理部８４は、取得した装着者１００の輻輳角θに基づいて対話者２００までの距離Ｄを推定する（ステップＳ７）。対話者特定処理部８４は、例えば、記憶部７０に記憶されている数式やテーブルに基づいて、輻輳角θから対話者２００までの距離Ｄを算出、推定する。 Next, the interlocutor identification processing unit 84 estimates the distance D to the interlocutor 200 based on the obtained convergence angle θ of the wearer 100 (step S7). The interlocutor identification processing unit 84 calculates and estimates the distance D to the interlocutor 200 from the angle of convergence θ based on, for example, mathematical formulas and tables stored in the storage unit 70 .

次に、指向角設定処理部８５は、対話者特定処理部８４によって推定された対話者２００までの距離Ｄに基づいてマイク６０の指向角αを決定する（ステップＳ８）。指向角設定処理部８５は、例えば、記憶部７０に記憶されている数式やテーブルに基づいて、対話者２００までの距離Ｄからマイク６０の指向角αを決定する。なお、この指向角αの決定フローについては、図１７で一例を後述する。 Next, the directivity angle setting processing unit 85 determines the directivity angle α of the microphone 60 based on the distance D to the interlocutor 200 estimated by the interlocutor identification processing unit 84 (step S8). The directivity angle setting processing unit 85 determines the directivity angle α of the microphone 60 from the distance D to the interlocutor 200 based on, for example, mathematical formulas and tables stored in the storage unit 70 . An example of the flow for determining the directivity angle α will be described later with reference to FIG. 17 .

そして、指向角設定処理部８５は、視線の方向、対話者２００の位置、距離Ｄ等に基づいて取得した集音方向、指向角αに応じた動作指令をマイク６０に入力する（ステップＳ９）。 Then, the directivity angle setting processing unit 85 inputs to the microphone 60 an operation command corresponding to the sound collecting direction and the directivity angle α obtained based on the line-of-sight direction, the position of the interlocutor 200, the distance D, etc. (step S9). .

そして、処理部８０の音声入力処理部８６は、指向角設定処理部８５によって設定された集音方向にマイク６０を向け、指向角設定処理部８５によって設定された指向角αで集音させる（ステップＳ１０）。 Then, the voice input processing unit 86 of the processing unit 80 directs the microphone 60 in the sound collection direction set by the directivity angle setting processing unit 85, and collects sound at the directivity angle α set by the directivity angle setting processing unit 85 ( step S10).

次に、処理部８０の変換処理部８７は、マイク６０によって入力された音声を取得し、公知の音声認識エンジンに入力する（ステップＳ１１）。 Next, the conversion processing unit 87 of the processing unit 80 acquires the voice input by the microphone 60 and inputs it to a known voice recognition engine (step S11).

そして、変換処理部８７は、音声認識を実行して、集音された音から対話者２００の音声を認識し、音声認識した対話者２００の音声を文字列（テキスト）に変換し、視覚情報ＶＩとして、当該文字列を表す文字画像情報ＶＩ１を生成する（ステップＳ１２）。 Then, the conversion processing unit 87 performs speech recognition, recognizes the speech of the interlocutor 200 from the collected sound, converts the speech-recognized speech of the interlocutor 200 into a character string (text), and converts the speech into visual information. Character image information VI1 representing the character string is generated as VI (step S12).

次に、処理部８０の表示制御処理部８８は、変換処理部８７によって変換した視覚情報ＶＩ、ここでは、音声認識の結果として、文字列を表す文字画像情報ＶＩ１を表示器本体１０の透明ディスプレイ１１に出力し表示させる（ステップＳ１３）。 Next, the display control processing unit 88 of the processing unit 80 converts the visual information VI converted by the conversion processing unit 87, here, character image information VI1 representing a character string as a result of speech recognition, into the transparent display of the display main body 10. 11 for display (step S13).

ここでは、表示制御処理部８８は、図１６に示すように、出力する文字列を所定文字数、例えば、２０文字ごとに区切り（ステップＳ１４）、透明ディスプレイ１１上で当該文字列を出力する位置を決定する（ステップＳ１５）。 Here, as shown in FIG. 16, the display control processing unit 88 divides the character string to be output by a predetermined number of characters, for example, every 20 characters (step S14), and determines the output position of the character string on the transparent display 11. Determine (step S15).

そして、表示制御処理部８８は、現在、透明ディスプレイ１１上に出力されている２０文字を消し（ステップＳ１６）、次に２０文字に区切られた文字列を表す文字画像情報ＶＩ１を透明ディスプレイ１１上の決められた位置に出力する（ステップＳ１７）。 Then, the display control processing unit 88 erases the 20 characters currently being output on the transparent display 11 (step S16), and then displays the character image information VI1 representing the character string divided into 20 characters on the transparent display 11. is output to the determined position (step S17).

そして、表示制御処理部８８は、出力する文字がもうないか否かを判定し（ステップＳ１８）、出力する文字がまだあると判定した場合（ステップＳ１８：Ｎｏ）、ステップＳ１６に戻って以降の処理を繰り返し実行する。処理部８０は、表示制御処理部８８によって出力する文字がもうないと判定された場合（ステップＳ１８：Ｙｅｓ）、図１５のステップＳ１に戻って以降の処理を繰り返し実行する。 Then, the display control processing unit 88 determines whether or not there are any more characters to be output (step S18), and if it is determined that there are more characters to be output (step S18: No), the process returns to step S16 to perform subsequent operations. Execute the process repeatedly. When the display control processing unit 88 determines that there are no more characters to output (step S18: Yes), the processing unit 80 returns to step S1 in FIG. 15 and repeats the subsequent processing.

次に、図１７を参照して、ステップＳ８の指向角αの決定フローの一例について説明する。 Next, an example of the flow for determining the directivity angle α in step S8 will be described with reference to FIG.

この場合まず、指向角設定処理部８５は、ステップＳ７で対話者特定処理部８４によって輻輳角θに基づいて推定された対話者２００までの距離Ｄが３．５ｍ以上であるかを判定する（ステップＳ２１）。 In this case, the directivity angle setting processing unit 85 first determines whether the distance D to the interlocutor 200 estimated based on the convergence angle θ by the interlocutor identification processing unit 84 in step S7 is 3.5 m or more ( step S21).

指向角設定処理部８５は、対話者２００までの距離Ｄが３．５ｍ以上であると判定した場合（ステップＳ２１：Ｙｅｓ）、マイク６０の指向角αを７．３６度に決定し（ステップＳ２２）、当該決定フローを終了する。 When the directivity angle setting processing unit 85 determines that the distance D to the interlocutor 200 is 3.5 m or more (step S21: Yes), the directivity angle setting processing unit 85 determines the directivity angle α of the microphone 60 to be 7.36 degrees (step S22 ), ending the decision flow.

指向角設定処理部８５は、対話者２００までの距離Ｄが３．５ｍ未満であると判定した場合（ステップＳ２１：Ｎｏ）、対話者２００までの距離Ｄが１．２ｍ以上３．５ｍ未満であるかを判定する（ステップＳ２３）。 When the directivity angle setting processing unit 85 determines that the distance D to the interlocutor 200 is less than 3.5 m (step S21: No), the distance D to the interlocutor 200 is 1.2 m or more and less than 3.5 m. It is determined whether there is (step S23).

指向角設定処理部８５は、対話者２００までの距離Ｄが１．２ｍ以上３．５ｍ未満であると判定した場合（ステップＳ２３：Ｙｅｓ）、マイク６０の指向角αを２１．２度に決定し（ステップＳ２４）、当該決定フローを終了する。 When the directivity angle setting processing unit 85 determines that the distance D to the interlocutor 200 is 1.2 m or more and less than 3.5 m (step S23: Yes), the directivity angle α of the microphone 60 is set to 21.2 degrees. (step S24), and the determination flow ends.

指向角設定処理部８５は、対話者２００までの距離Ｄが１．２ｍ未満であると判定した場合（ステップＳ２４：Ｎｏ）、対話者２００までの距離Ｄが０．４５ｍ以上１．２ｍ未満であるかを判定する（ステップＳ２５）。 When the directivity angle setting processing unit 85 determines that the distance D to the interlocutor 200 is less than 1.2 m (step S24: No), the distance D to the interlocutor 200 is 0.45 m or more and less than 1.2 m. It is determined whether or not there is (step S25).

指向角設定処理部８５は、対話者２００までの距離Ｄが０．４５ｍ以上１．２ｍ未満であると判定した場合（ステップＳ２５：Ｙｅｓ）、マイク６０の指向角αを５３．１度に決定し（ステップＳ２６）、当該決定フローを終了する。 When the directivity angle setting processing unit 85 determines that the distance D to the interlocutor 200 is 0.45 m or more and less than 1.2 m (step S25: Yes), the directivity angle α of the microphone 60 is set to 53.1 degrees. (step S26), and the determination flow ends.

指向角設定処理部８５は、対話者２００までの距離Ｄが０．４５ｍ未満であると判定した場合（ステップＳ２５：Ｎｏ）、現状の指向角α（典型的には最大の指向角α）を維持したまま、当該決定フローを終了する。 When the orientation angle setting processing unit 85 determines that the distance D to the interlocutor 200 is less than 0.45 m (step S25: No), the orientation angle setting processing unit 85 sets the current orientation angle α (typically the maximum orientation angle α) to Terminate the decision flow while maintaining.

以上で説明したウェアラブル機器１は、マイク６０によって入力された対話者２００の音声を、処理部８０による処理に応じて視覚情報ＶＩに変換する。そして、ウェアラブル機器１は、処理部８０による処理に応じて、頭部１０２に装着された状態で装着者１００の視界に情報を表示可能である表示器本体１０に当該視覚情報ＶＩを表示させる。この結果、ウェアラブル機器１は、例えば、聴覚障害者が対話者２００の言葉を読み取るために当該対話者２００の口元に視線を集中させなくても、リアルタイムに対話者２００の会話内容を知ることができる。 The wearable device 1 described above converts the voice of the interlocutor 200 input by the microphone 60 into visual information VI according to the processing by the processing unit 80 . Then, the wearable device 1 displays the visual information VI on the display main body 10 that can display information in the field of view of the wearer 100 while being worn on the head 102 according to the processing by the processing unit 80 . As a result, the wearable device 1 can, for example, know the conversation content of the interlocutor 200 in real time without concentrating the line of sight on the mouth of the interlocutor 200 to read the words of the interlocutor 200. can.

以上のように、ウェアラブル機器１は、例えば、通訳者等によらずに、適正にコミュニケーションを補助することができる。この結果、ウェアラブル機器１は、例えば、聴覚障害者におけるコミュニケーションの負担を緩和することができ、聴覚障害者の生活福祉を向上させることができる。 As described above, the wearable device 1 can appropriately assist communication, for example, without relying on an interpreter or the like. As a result, the wearable device 1 can, for example, alleviate the burden of communication on the hearing-impaired person, and improve the welfare of the hearing-impaired person.

また、以上で説明したウェアラブル機器１は、処理部８０が視線検出センサ４０によって検出された装着者１００の視線に基づいて対話者２００を特定し、特定された対話者２００の位置に基づいてマイク６０による集音における指向角αを可変とする処理を実行する。この処理により、ウェアラブル機器１は、特定した対話者２００の位置に応じた適切な指向角αでマイク６０による集音を行うことができるので、対話者２００の位置にかかわらず音声認識率を向上させることができる。この結果、ウェアラブル機器１は、対話者２００の位置にかかわらずより適正にコミュニケーションを補助することができる。 Further, in the wearable device 1 described above, the processing unit 80 identifies the interlocutor 200 based on the line of sight of the wearer 100 detected by the line-of-sight detection sensor 40, and based on the identified position of the interlocutor 200, the microphone A process for making the directivity angle α variable in sound collection by 60 is executed. With this processing, the wearable device 1 can collect sound with the microphone 60 at an appropriate directivity angle α according to the position of the identified interlocutor 200, so the speech recognition rate is improved regardless of the position of the interlocutor 200. can be made As a result, wearable device 1 can assist communication more appropriately regardless of the position of interlocutor 200 .

より具体的には、以上で説明したウェアラブル機器１は、処理部８０が対話者２００とマイク６０との距離Ｄが相対的に長いほど、指向角αを相対的に小さくし、当該距離Ｄが相対的に短いほど、指向角αを相対的に大きくする。この処理により、ウェアラブル機器１は、装着者１００からの距離Ｄが相対的に短く当該装着者１００の近くに位置する対話者２００の音声を集音するに際には、当該対話者２００の音声を拾い易くすることができる。一方、ウェアラブル機器１は、装着者１００からの距離Ｄが相対的に長く当該装着者１００から離れて位置する対話者２００の音声を集音するに際には、当該対話者２００の周囲のノイズ（例えば、周囲の人物の音声等）を拾い難くすることができる。この結果、ウェアラブル機器１は、上記のように対話者２００がいずれの位置にいる場合であっても、周囲の他の人物の音声等のノイズを拾い難くし、当該対話者２００の音声を拾い易くすることができる。これにより、ウェアラブル機器１は、上記のように、対話者２００の位置にかかわらずより適正にコミュニケーションを補助することができる。 More specifically, in the wearable device 1 described above, the processing unit 80 relatively decreases the directivity angle α as the distance D between the interlocutor 200 and the microphone 60 becomes relatively longer, and the distance D becomes The relatively shorter the beam, the larger the directivity angle α. With this processing, when the wearable device 1 collects the voice of the interlocutor 200 located near the wearer 100 at a relatively short distance D from the wearer 100, the voice of the interlocutor 200 is can be made easier to pick up. On the other hand, when the wearable device 1 collects the voice of the interlocutor 200 who is located away from the wearer 100 at a relatively long distance D from the wearer 100, the noise around the interlocutor 200 (For example, voices of surrounding people, etc.) can be made difficult to pick up. As a result, the wearable device 1 makes it difficult for the wearable device 1 to pick up noise such as the voices of other people in the surroundings, regardless of the position of the interlocutor 200 as described above, and picks up the voice of the interlocutor 200. can be made easier. Thereby, the wearable device 1 can assist communication more appropriately regardless of the position of the interlocutor 200 as described above.

ここでは、以上で説明したウェアラブル機器１は、視覚情報ＶＩとして対話者２００の音声に対応した文字列（テキスト）を表す文字画像情報ＶＩ１を含む。これにより、ウェアラブル機器１は、対話者２００の音声に対応した文字列を表す文字画像情報ＶＩ１を、表示器本体１０によって装着者１００の視界に視覚情報ＶＩとして表示させ、対話者２００の音声を字幕表示させることができる。 Here, the wearable device 1 described above includes character image information VI1 representing a character string (text) corresponding to the voice of the interlocutor 200 as the visual information VI. As a result, the wearable device 1 causes the display body 10 to display the character image information VI1 representing the character string corresponding to the voice of the interlocutor 200 in the field of view of the wearer 100 as visual information VI, thereby reproducing the voice of the interlocutor 200. Subtitles can be displayed.

なお、上述した本発明の実施形態に係るウェアラブル機器は、上述した実施形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。 The wearable device according to the embodiment of the present invention described above is not limited to the embodiment described above, and various modifications are possible within the scope of the claims.

以上の説明では、対話者特定処理部８４は、視線検出センサ４０によって検出された装着者１００の視線に基づいて輻輳角θを算出し、算出した当該輻輳角θに基づいて対話者２００までの距離Ｄを推定するものとして説明したがこれ限らない。対話者特定処理部８４は、例えば、図１８、図１９、図２０に示すように、輻輳角θに基づかずに、外向きカメラ５０によって撮像された画像に基づいて人物の大きさ等から対話者２００までの距離Ｄを推定してもよい。 In the above description, the interlocutor identification processing unit 84 calculates the convergence angle θ based on the line of sight of the wearer 100 detected by the line of sight detection sensor 40, and based on the calculated convergence angle θ Although it has been described as estimating the distance D, the present invention is not limited to this. For example, as shown in FIGS. 18, 19, and 20, the interlocutor identification processing unit 84 is not based on the convergence angle θ, but based on the image captured by the outward facing camera 50. A distance D to the person 200 may be estimated.

この場合、対話者特定処理部８４は、図１８に示すように、対話者２００を特定した後（ステップＳ５）、外向きカメラ５０によって撮像された画像において、対話者２００の肩幅の画面上の大きさから当該対話者２００までの距離Ｄを算出、推定し、指向角設定処理部８５は、当該距離Ｄからマイク６０の指向角αを決定する（ステップＳ６Ａ）。 In this case, as shown in FIG. 18, after identifying the interlocutor 200 (step S5), the interlocutor identification processing unit 84, in the image captured by the outward facing camera 50, the shoulder width of the interlocutor 200 on the screen. The distance D to the interlocutor 200 is calculated and estimated from the size, and the directivity angle setting processing unit 85 determines the directivity angle α of the microphone 60 from the distance D (step S6A).

具体的には、対話者特定処理部８４は、図１９の指向角αの決定フローに例示するように、外向きカメラ５０によって撮像された画像から対話者２００に相当する人物を検出し、外向きカメラ５０のイメージセンサ上の肩幅Ｗの大きさに相当するｐｉｘｅｌ値Ｗ１を検出する（ステップＳ２０Ａ）。 Specifically, the interlocutor identification processing unit 84 detects a person corresponding to the interlocutor 200 from the image captured by the outward facing camera 50, as illustrated in the flow of determining the orientation angle α in FIG. A pixel value W1 corresponding to the size of the shoulder width W on the image sensor of the orientation camera 50 is detected (step S20A).

ここで、上述したように、人物の肩幅Ｗは、４５～４６ｃｍ程度と略一定なので、例えば、肩幅を固定値＝４５ｃｍと仮定すると、図２０に示すように、対話者特定処理部８４は、対話者２００の肩幅Ｗについて、外向きカメラ５０のイメージセンサ上のｐｉｘｅｌ値Ｗ１を検出することで、対話者２００までの距離Ｄを算出、推定することができる。 Here, as described above, since the shoulder width W of the person is approximately constant at about 45 to 46 cm, for example, assuming that the shoulder width is a fixed value of 45 cm, as shown in FIG. For the shoulder width W of the interlocutor 200, the distance D to the interlocutor 200 can be calculated and estimated by detecting the pixel value W1 on the image sensor of the outward facing camera 50. FIG.

例えば、外向きカメラ５０のイメージセンサのサイズを１／３インチ、画素数をＶＧＡ（６４０×４８０)、焦点距離Ｆ＝２ｍｍとすると、水平方向の撮影範囲Ｄ１は、対話者２００までの距離Ｄに応じて、下記の数式（２）により求まる。

Ｄ１＝４．８ｍｍ（イメージセンサの幅）×Ｄ／Ｆ ・・・ （２）
For example, if the size of the image sensor of the outward camera 50 is ⅓ inch, the number of pixels is VGA (640×480), and the focal length is F=2 mm, the horizontal shooting range D1 is the distance D to the interlocutor 200. is determined by the following formula (2).

D1=4.8 mm (width of image sensor)×D/F (2)

そして、対話者２００までの距離Ｄが０．４５ｍである場合、水平方向の撮影範囲Ｄ１は、上記の数式（２）より、Ｄ１＝４．８ｍｍ×０．４５ｍ／２ｍｍ＝１．０８ｍとなるので、ｐｉｘｅｌ値Ｗ１は、下記の比例式（３）の関係となる。

０．４５ｍ：１．０８ｍ＝Ｗ１：６４０ｐｉｘｅｌ ・・・ （３）

これにより、対話者２００までの距離Ｄが０．４５ｍである場合は、Ｗ１＝２６７ｐｉｘｅｌとなる。 When the distance D to the interlocutor 200 is 0.45 m, the horizontal shooting range D1 is D1=4.8 mm×0.45 m/2 mm=1.08 m according to the above formula (2). Therefore, the pixel value W1 has the relationship of the following proportional expression (3).

0.45m: 1.08m = W1: 640 pixels (3)

Accordingly, when the distance D to the interlocutor 200 is 0.45 m, W1=267 pixels.

同様にして、対話者２００までの距離Ｄが１．２ｍである場合、水平方向の撮影範囲Ｄ１は、上記の数式（２）より、Ｄ１＝４．８ｍｍ×１．２ｍ／２ｍｍ＝２．８８ｍとなるので、ｐｉｘｅｌ値Ｗ１は、下記の比例式（４）の関係となる。

０．４５ｍ：２．８８ｍ＝Ｗ１：６４０ｐｉｘｅｌ ・・・ （４）

これにより、対話者２００までの距離Ｄが１．２ｍである場合は、Ｗ１＝１００ｐｉｘｅｌとなる。 Similarly, when the distance D to the interlocutor 200 is 1.2 m, the horizontal shooting range D1 is D1=4.8 mm×1.2 m/2 mm=2.88 m from the above formula (2). Therefore, the pixel value W1 has the relationship of the following proportional expression (4).

0.45m: 2.88m = W1: 640 pixels (4)

Accordingly, when the distance D to the interlocutor 200 is 1.2 m, W1=100 pixels.

また、対話者２００までの距離Ｄが３．５ｍである場合、水平方向の撮影範囲Ｄ１は、上記の数式（２）より、Ｄ１＝４．８ｍｍ×３．５ｍ／２ｍｍ＝８．４ｍとなるので、ｐｉｘｅｌ値Ｗ１は、下記の比例式（５）の関係となる。

０．４５ｍ：８．４ｍ＝Ｗ１：６４０ｐｉｘｅｌ ・・・ （５）

これにより、対話者２００までの距離Ｄが３．５ｍである場合は、Ｗ１＝３４．３ｐｉｘｅｌとなる。 Further, when the distance D to the interlocutor 200 is 3.5 m, the horizontal shooting range D1 is D1=4.8 mm×3.5 m/2 mm=8.4 m according to the above formula (2). Therefore, the pixel value W1 has the relation of the following proportional expression (5).

0.45m: 8.4m = W1: 640 pixels (5)

Accordingly, when the distance D to the interlocutor 200 is 3.5 m, W1=34.3 pixels.

以上を用いて、対話者特定処理部８４は、外向きカメラ５０の画像認識結果から求めた画像上の肩幅Ｗの大きさから、距離Ｄを推定することが可能である。 Using the above, the interlocutor identification processing unit 84 can estimate the distance D from the size of the shoulder width W on the image obtained from the image recognition result of the outward facing camera 50 .

ここでは、対話者特定処理部８４は、ステップＳ２０Ａの後、ステップＳ２０Ａで検出した肩幅Ｗの大きさに相当するｐｉｘｅｌ値Ｗ１が３４．３ｐｉｘｅｌ以下であるか否かを判定する（ステップＳ２１Ａ）。 Here, after step S20A, the interlocutor identification processing unit 84 determines whether or not the pixel value W1 corresponding to the shoulder width W detected in step S20A is 34.3 pixels or less (step S21A).

対話者特定処理部８４は、ｐｉｘｅｌ値Ｗ１が３４．３ｐｉｘｅｌ以下であると判定した場合（ステップＳ２１Ａ：Ｙｅｓ）、対話者２００までの距離Ｄが３．５ｍ以上であるものと判定する。そして、指向角設定処理部８５は、マイク６０の指向角αを７．３６度に決定し（ステップＳ２２Ａ）、当該決定フローを終了する。 When determining that the pixel value W1 is 34.3 pixels or less (step S21A: Yes), the interlocutor identification processing unit 84 determines that the distance D to the interlocutor 200 is 3.5 m or more. The directivity angle setting processor 85 then determines the directivity angle α of the microphone 60 to be 7.36 degrees (step S22A), and terminates the determination flow.

対話者特定処理部８４は、ｐｉｘｅｌ値Ｗ１が３４．３ｐｉｘｅｌより大きいと判定した場合（ステップＳ２１Ａ：Ｎｏ）、当該ｐｉｘｅｌ値Ｗ１が３４．３ｐｉｘｅｌより大きく１００ｐｉｘｅｌ以下であるか否かを判定する（ステップＳ２３Ａ）。 When the interlocutor identification processing unit 84 determines that the pixel value W1 is greater than 34.3 pixels (step S21A: No), it determines whether the pixel value W1 is greater than 34.3 pixels and equal to or less than 100 pixels (step S23A).

対話者特定処理部８４は、ｐｉｘｅｌ値Ｗ１が３４．３ｐｉｘｅｌより大きく１００ｐｉｘｅｌ以下であると判定した場合（ステップＳ２３Ａ：Ｙｅｓ）、対話者２００までの距離Ｄが１．２ｍ以上３．５ｍ未満であるものと判定する。そして、指向角設定処理部８５は、マイク６０の指向角αを２１．２度に決定し（ステップＳ２４Ａ）、当該決定フローを終了する。 When the interlocutor identification processing unit 84 determines that the pixel value W1 is greater than 34.3 pixels and equal to or less than 100 pixels (step S23A: Yes), the distance D to the interlocutor 200 is 1.2 m or more and less than 3.5 m. judge as a thing. The directivity angle setting processor 85 then determines the directivity angle α of the microphone 60 to be 21.2 degrees (step S24A), and terminates the determination flow.

対話者特定処理部８４は、ｐｉｘｅｌ値Ｗ１が１００ｐｉｘｅｌより大きいと判定した場合（ステップＳ２３Ａ：Ｎｏ）、当該ｐｉｘｅｌ値Ｗ１が１００ｐｉｘｅｌより大きく２６７ｐｉｘｅｌ以下であるか否かを判定する（ステップＳ２５Ａ）。 When the interlocutor identification processing unit 84 determines that the pixel value W1 is greater than 100 pixels (step S23A: No), it determines whether the pixel value W1 is greater than 100 pixels and equal to or less than 267 pixels (step S25A).

対話者特定処理部８４は、ｐｉｘｅｌ値Ｗ１が１００ｐｉｘｅｌより大きく２６７ｐｉｘｅｌ以下であると判定した場合（ステップＳ２５Ａ：Ｙｅｓ）、対話者２００までの距離Ｄが０．４５ｍ以上１．２ｍ未満であるものと判定する。そして、指向角設定処理部８５は、マイク６０の指向角αを５３．１度に決定し（ステップＳ２６Ａ）、当該決定フローを終了する。 When the interlocutor identification processing unit 84 determines that the pixel value W1 is greater than 100 pixels and equal to or less than 267 pixels (step S25A: Yes), the interlocutor identification processing unit 84 determines that the distance D to the interlocutor 200 is 0.45 m or more and less than 1.2 m. judge. The directivity angle setting processing unit 85 then determines the directivity angle α of the microphone 60 to be 53.1 degrees (step S26A), and terminates the determination flow.

対話者特定処理部８４は、ｐｉｘｅｌ値Ｗ１が２６７ｐｉｘｅｌより大きいと判定した場合（ステップＳ２５Ａ：Ｎｏ）、対話者２００までの距離Ｄが０．４５ｍ未満であると判定し、指向角設定処理部８５は、現状の指向角α（典型的には最大の指向角α）を維持したまま、当該決定フローを終了する。 When the interlocutor identification processing unit 84 determines that the pixel value W1 is greater than 267 pixels (step S25A: No), the interlocutor identification processing unit 84 determines that the distance D to the interlocutor 200 is less than 0.45 m. terminates the decision flow while maintaining the current directivity angle α (typically the maximum directivity angle α).

以上のように、ウェアラブル機器１は、外向きカメラ５０によって撮像された画像に基づいて対話者２００までの距離Ｄを推定し、当該距離Ｄに基づいてマイク６０の指向角αを設定することもできる。この場合であっても、ウェアラブル機器１は、対話者２００の位置にかかわらず音声認識率を向上させることができ、より適正にコミュニケーションを補助することができる。 As described above, the wearable device 1 may estimate the distance D to the interlocutor 200 based on the image captured by the outward facing camera 50, and set the directivity angle α of the microphone 60 based on the distance D. can. Even in this case, the wearable device 1 can improve the speech recognition rate regardless of the position of the interlocutor 200, and can assist communication more appropriately.

また、以上の説明では、対話者特定処理部８４は、一例として、装着者１００の視線に加えて、外向きカメラ５０によって撮像された画像に基づいて対話者２００を特定するものとして説明したがこれに限らない。対話者特定処理部８４は、外向きカメラ５０によって撮像された画像を用いず、視線検出センサ４０を介して視線検出処理部８３によって検出された装着者１００の視線の方向や当該視線の方向に応じた輻輳角θに基づいて対話者２００の位置の特定や距離Ｄの推定を簡略化して行うようにしてもよい。例えば、対話者特定処理部８４は、視線の方向や輻輳角θが所定時間、変化しない場合に、このときの視線の方向や輻輳角θに基づいて対話者２００の位置の特定や距離Ｄの推定を行うことができる。この場合、ウェアラブル機器１は、外向きカメラ５０を備えない構成であってもよい。 Further, in the above description, as an example, the interlocutor identification processing unit 84 identifies the interlocutor 200 based on the image captured by the outward facing camera 50 in addition to the line of sight of the wearer 100. It is not limited to this. The interlocutor identification processing unit 84 detects the direction of the line of sight of the wearer 100 detected by the line of sight detection processing unit 83 via the line of sight detection sensor 40 without using the image captured by the outward facing camera 50, and determines the direction of the line of sight of the wearer 100. The identification of the position of the interlocutor 200 and the estimation of the distance D may be simplified based on the corresponding convergence angle θ. For example, when the line-of-sight direction and the convergence angle θ do not change for a predetermined time, the interlocutor identification processing unit 84 identifies the position of the interlocutor 200 and determines the distance D based on the line-of-sight direction and the convergence angle θ at this time. Estimates can be made. In this case, the wearable device 1 may be configured without the outward facing camera 50 .

また、以上の説明では、ウェアラブル機器１は、装着者１００の視線を検出して対話者２００の位置を特定するものとして説明したが、そもそも、装着者１００の視線検出を行わない構成であってもよい。この場合、ウェアラブル機器１は、視線検出センサ４０を備えない構成であってもよく、処理部８０は、対話者２００までの距離Ｄにかかわらずマイク６０の指向角αを固定してマイク６０による集音を行うようにしてもよい。 Further, in the above description, the wearable device 1 detects the line of sight of the wearer 100 and specifies the position of the interlocutor 200. good too. In this case, the wearable device 1 may be configured without the line-of-sight detection sensor 40, and the processing unit 80 fixes the directivity angle α of the microphone 60 regardless of the distance D to the interlocutor 200, and You may make it collect sound.

また、以上の説明では、透明ディスプレイ１１によって装着者１００の視界に表示する視覚情報ＶＩは、文字画像情報ＶＩ１を含むものとして説明したがこれ限らない。当該視覚情報ＶＩは、例えば、図２１に示すように、対話者２００の音声に対応した手話を表す手話動画像情報ＶＩ２を含むものであってもよい。この場合、変換処理部８７は、音声認識した対話者２００の音声を、対話者２００の音声に対応した手話に関する情報に変換し、視覚情報ＶＩとして、当該手話を表す手話動画像情報ＶＩ２を生成する。表示制御処理部８８は、対話者２００の音声に対応した視覚情報ＶＩとして、当該音声に対応した手話を表す手話動画像情報ＶＩ２を、透明ディスプレイ１１によって装着者１００の視界に表示させる。これにより、ウェアラブル機器１は、対話者２００の音声に対応した手話を表す手話動画像情報ＶＩ２を、表示器本体１０によって装着者１００の視界に視覚情報ＶＩとして表示させ、例えば、手話通訳ロボットをオーバーレイ表示させることができる。 Further, in the above description, the visual information VI displayed in the field of view of the wearer 100 by the transparent display 11 is described as including the character image information VI1, but is not limited to this. The visual information VI may include, for example, sign language moving image information VI2 representing sign language corresponding to the voice of the interlocutor 200, as shown in FIG. In this case, the conversion processing unit 87 converts the speech of the interlocutor 200 that has undergone speech recognition into information on sign language corresponding to the speech of the interlocutor 200, and generates sign language moving image information VI2 representing the sign language as visual information VI. do. The display control processing unit 88 causes the transparent display 11 to display the sign language video image information VI2 representing the sign language corresponding to the voice as the visual information VI corresponding to the voice of the interlocutor 200 in the visual field of the wearer 100 . As a result, the wearable device 1 causes the display body 10 to display the sign language moving image information VI2 representing the sign language corresponding to the voice of the interlocutor 200 as visual information VI in the field of vision of the wearer 100. For example, the sign language interpretation robot is displayed. Can be overlaid.

以上で説明した処理部８０は、単一のプロセッサによって各処理機能が実現されるものとして説明したがこれに限らない。処理部８０は、複数の独立したプロセッサを組み合わせて各プロセッサがプログラムを実行することにより各処理機能が実現されてもよい。また、処理部８０が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理部８０が有する処理機能は、その全部又は任意の一部をプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。 Although the processing unit 80 described above has been described as one in which each processing function is realized by a single processor, the processing unit 80 is not limited to this. The processing unit 80 may realize each processing function by combining a plurality of independent processors and having each processor execute a program. Also, the processing functions of the processing unit 80 may be appropriately distributed or integrated in a single or a plurality of processing circuits and implemented. Further, the processing functions of the processing unit 80 may be implemented entirely or in part by a program, or may be implemented by hardware such as wired logic.

本実施形態に係るウェアラブル機器は、以上で説明した実施形態、変形例の構成要素を適宜組み合わせることで構成してもよい。 The wearable device according to this embodiment may be configured by appropriately combining the constituent elements of the embodiments and modifications described above.

１ ウェアラブル機器
１０ 表示器本体
１１ 透明ディスプレイ
１１Ｌ 左ディスプレイ
１１Ｒ 右ディスプレイ
１２ フレーム
２０ 電源
３０ 装着センサ
４０ 視線検出センサ（視線検出部）
４１ 内向きカメラ
５０ 外向きカメラ
６０ マイク（音声入力部）
７０ 記憶部
８０ 処理部
８１ 装着検出処理部
８２ 電源制御処理部
８３ 視線検出処理部
８４ 対話者特定処理部
８５ 指向角設定処理部
８６ 音声入力処理部
８７ 変換処理部
８８ 表示制御処理部
１００ 装着者
１０１ 人体
１０２ 頭部
２００、２００Ａ、２００Ｂ 対話者
Ｄ 距離
ＶＩ 視覚情報
ＶＩ１ 文字画像情報
ＶＩ２ 手話動画像情報
α 指向角
θ 輻輳角 1 wearable device 10 display main body 11 transparent display 11L left display 11R right display 12 frame 20 power supply 30 wearing sensor 40 line-of-sight detection sensor (line-of-sight detection unit)
41 Inward camera 50 Outward camera 60 Microphone (audio input unit)
70 storage unit 80 processing unit 81 wearing detection processing unit 82 power supply control processing unit 83 line-of-sight detection processing unit 84 interlocutor identification processing unit 85 directional angle setting processing unit 86 voice input processing unit 87 conversion processing unit 88 display control processing unit 100 wearer 101 human body 102 head 200, 200A, 200B interlocutor D distance VI visual information VI1 character image information VI2 sign language video image information α orientation angle θ angle of convergence

Claims (5)

人体の頭部に装着された状態で、装着者の視界に情報を表示可能である表示器本体と、
前記表示器本体に設けられ、対話者の音声を入力可能である音声入力部と、
前記表示器本体に設けられ、前記音声入力部によって入力された前記音声を視覚情報に変換する処理、及び、変換した当該視覚情報を前記表示器本体に表示させる処理を実行可能である処理部とを備えることを特徴とする、
ウェアラブル機器。 a display body that can display information in the wearer's field of vision when worn on the head of the human body;
a voice input unit provided in the display body and capable of inputting voice of the interlocutor;
a processing unit provided in the display main body and capable of executing processing of converting the voice input by the voice input unit into visual information, and processing of displaying the converted visual information on the display main body; characterized by comprising
wearable devices. 前記表示器本体に設けられ、前記装着者の視線を検出可能である視線検出部を備え、
前記処理部は、前記視線検出部によって検出された前記装着者の視線に基づいて前記対話者を特定する処理、及び、特定された前記対話者の位置に基づいて前記音声入力部による集音における指向角を可変とする処理を実行可能である、
請求項１に記載のウェアラブル機器。 A line-of-sight detection unit provided in the display body and capable of detecting the line of sight of the wearer,
The processing unit performs a process of identifying the interlocutor based on the line of sight of the wearer detected by the line of sight detection unit, and performing sound collection by the voice input unit based on the identified position of the interlocutor. It is possible to execute processing that makes the directivity angle variable,
The wearable device according to claim 1. 前記処理部は、特定された前記対話者と前記音声入力部との距離が相対的に長いほど、前記指向角を相対的に小さくし、前記距離が相対的に短いほど、前記指向角を相対的に大きくする、
請求項２に記載のウェアラブル機器。 The processing unit relatively decreases the directivity angle as the distance between the identified interlocutor and the voice input unit is relatively longer, and decreases the directivity angle as the distance is relatively shorter. make it bigger
The wearable device according to claim 2. 前記視覚情報は、前記音声に対応した文字列を表す文字画像情報を含む、
請求項１乃至請求項３のいずれか１項に記載のウェアラブル機器。 The visual information includes character image information representing a character string corresponding to the voice,
The wearable device according to any one of claims 1 to 3. 前記視覚情報は、前記音声に対応した手話を表す手話動画像情報を含む、
請求項１乃至請求項４のいずれか１項に記載のウェアラブル機器。 wherein the visual information includes sign language moving image information representing sign language corresponding to the voice;
The wearable device according to any one of claims 1 to 4.

Images