JP2006154101A

JP2006154101A - Information terminal device and translation system

Info

Publication number: JP2006154101A
Application number: JP2004342513A
Authority: JP
Inventors: Masako Okazaki; 理子岡崎; Hideki Osada; 英喜長田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-11-26
Filing date: 2004-11-26
Publication date: 2006-06-15
Anticipated expiration: 2024-11-26
Also published as: JP4564344B2

Abstract

<P>PROBLEM TO BE SOLVED: To eliminate separation between an observed object and the state of the observed object and to inform a user of the state of an observed object so as to be easily understood by superposing the state of a living thing such as a plant and an animal on the living thing to be displayed. <P>SOLUTION: An information terminal device is equipped with an image display section 50 and a combiner 60 which transmits light from a real visual field in the gaze direction of the user and display information displayed at the image display section in the real visual field optically as a virtual image by superposition and when the observed object is present in the real visual field through the combiner 60, the state of the observed object is analyzed based upon the voice generated by the observed object to display display contents corresponding to the analysis result at the image display section. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

この発明は、植物、動物などの生物が発した音声からその生物の状態を解析し、その生物とともにその生物の状態を表示させる情報端末装置に関するものである。 The present invention relates to an information terminal device that analyzes the state of a living thing from sounds uttered by living things such as plants and animals, and displays the state of the living thing together with the living thing.

従来、赤ん坊、ペット、又は家畜などの動物の感情を人間が理解できるように翻訳し、この翻訳内容を文字や音声によりユーザに通知する翻訳装置が知られている。
例えば、特開２００２−２７８５８３号公報（特許文献１）には、犬の鳴き方の違いによる犬の感情を音声又は画像として出力することにより、犬とのコミュニケーションを図ることのできる技術が開示されている。
上記特許文献１には、飼い犬の首輪に取り付けられた犬側ケースから送信された犬の鳴き声をユーザが保有する飼い主側ケースにて受信し、受信した犬の鳴き声に基づいて犬の感情を解析し、この犬の感情を文字や音声により飼い主へ伝える技術が開示されている。
特開２００２−２７８５８３号公報（第１−３頁、第１−４図） 2. Description of the Related Art Conventionally, there is known a translation device that translates emotions of animals such as babies, pets, and domestic animals so that humans can understand them, and notifies the user of the translated contents by text or voice.
For example, Japanese Patent Application Laid-Open No. 2002-278583 (Patent Document 1) discloses a technique capable of communicating with a dog by outputting a dog's emotion as a sound or an image due to a difference in how the dog sounds. ing.
In the above-mentioned patent document 1, a dog's call transmitted from a dog-side case attached to a collar of the dog is received by the owner-side case owned by the user, and the emotion of the dog is analyzed based on the received dog's call. However, a technique for transmitting the emotion of the dog to the owner by text or voice is disclosed.
Japanese Patent Laid-Open No. 2002-278583 (page 1-3, FIG. 1-4)

しかしながら、上記特許文献１に示される技術によれば、犬の感情が、犬と乖離された状態で飼い主に通知されるため、犬の感情を把握しづらいという問題があった。 However, according to the technique disclosed in Patent Document 1, since the owner's emotion is notified to the owner in a state of being separated from the dog, there is a problem that it is difficult to grasp the dog's emotion.

この発明は上述した事情に鑑みてなされたものであって、植物、動物などの生物の状態をその生物に重畳させて表示することにより、観察対象とその観察対象の状態との乖離感を解消し、ユーザに対して、観察対象の状態をわかりやすく伝えることができる情報端末装置を提供することを目的とする。 The present invention has been made in view of the above-described circumstances, and by displaying the state of a living thing such as a plant or an animal superimposed on the living thing, the feeling of divergence between the observation target and the state of the observation target is eliminated. Then, it aims at providing the information terminal device which can tell a user the state of observation object in an easy-to-understand manner.

上記目的を達成するために、本発明は、以下の手段を提供する。
本発明は、画像表示部と、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子と、観察対象の音声を取得する音声取得部と、前記半透過光学素子を通して視認される実視野中に存在する前記観察対象を検出する検出部と、前記検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部により取得された前記音声に基づいて、前記観察対象の状態を解析する状態解析部と、前記状態解析部の解析結果を前記画像表示部に表示させる画像表示制御部とを備える情報端末装置を提供する。 In order to achieve the above object, the present invention provides the following means.
The present invention relates to an image display unit and a semi-transparent display unit for transmitting light from a real field of view in a user's line of sight and superimposing and displaying information displayed on the image display unit as a virtual image in the real field of view. Based on a transmission optical element, a sound acquisition unit that acquires sound of an observation target, a detection unit that detects the observation target present in an actual visual field visually recognized through the semi-transmission optical element, and a detection result of the detection unit Acquired by the sound acquisition unit when the determination unit determines whether or not the observation target exists in the real field of view. Provided is an information terminal device comprising: a state analysis unit that analyzes the state of the observation target based on the sound that has been performed; and an image display control unit that displays an analysis result of the state analysis unit on the image display unit.

上記構成によれば、画像表示部に表示された情報は、半透過光学素子により、半透過光学素子を透過して視認される実視野中に、光学的に虚像として重畳的に表示される。半透過光学素子を介した実視野中に存在する動物や植物などの観察対象は、検出部により検出され、この検出結果に基づいて、実視野中に観察対象が存在するか否かが判定部により判定される。この結果、実視野中に観察対象が存在していた場合には、その観察対象が発した音声が音声取得部により取得され、取得された音声に基づいて、その観察対象の状態が状態解析部により解析される。状態解析部の解析結果は、画像制御部により、画像表示部に表示されることとなる。
これにより、動物や植物などの観察対象の状態は、半透過光学素子により、実視野中に存在する観察対象に重畳的に表示される。これにより、植物、動物などの観察対象と、その観察対象の状態とを、一体性をもたせた形で表示させることができる。 According to the above configuration, the information displayed on the image display unit is optically superimposed and displayed as a virtual image by the semi-transmissive optical element in an actual visual field that is viewed through the semi-transmissive optical element. An observation target such as an animal or a plant that exists in the real field through the semi-transmissive optical element is detected by the detection unit, and based on the detection result, whether or not the observation target exists in the real field is determined. Is determined. As a result, when the observation target exists in the real field of view, the voice generated by the observation target is acquired by the voice acquisition unit, and the state of the observation target is based on the acquired voice. Is analyzed. The analysis result of the state analysis unit is displayed on the image display unit by the image control unit.
Thereby, the state of the observation target such as an animal or a plant is displayed in a superimposed manner on the observation target existing in the actual visual field by the semi-transmissive optical element. Thereby, it is possible to display an observation target such as a plant or an animal and a state of the observation target in a form having unity.

本発明の情報端末装置において、前記検出部が、前記実視野の方向を撮像する撮像部を備え、前記判定部が、前記撮像部から出力される画像情報と予め登録されている観察対象の画像情報とを照合することにより、前記観察対象が前記実視野中に存在するか否かを判定しても良い。 In the information terminal device according to the aspect of the invention, the detection unit includes an imaging unit that images the direction of the real field of view, and the determination unit includes image information output from the imaging unit and an image of an observation target registered in advance. You may determine whether the said observation object exists in the said real visual field by collating with information.

上記構成によれば、実視野の方向の風景が撮像部により撮像され、撮像された風景の画像に、予め登録されている観察対象の画像情報、例えば、輪郭画像が含まれているか否かが判定部により判定されることによって、実視野中に観察対象が存在するか否かが判定される。これにより、高い精度で、且つ、容易に判定を行うことが可能となる。 According to the above configuration, a landscape in the direction of the real field of view is captured by the imaging unit, and whether or not the captured landscape image includes pre-registered image information of an observation target, for example, a contour image. By determining by the determination unit, it is determined whether or not the observation target exists in the real field of view. This makes it possible to make a determination with high accuracy and with ease.

本発明の情報端末装置において、前記検出部が、当該本体及び前記観察対象の近傍に設置された一対の送信機及び受信機を備え、前記判定部が、前記送信機から発せられた信号が前記受信機により受信されたか否かにより、前記観察対象が前記実視野中に存在するか否かを判定しても良い。 In the information terminal device of the present invention, the detection unit includes a pair of transmitters and receivers installed in the vicinity of the main body and the observation target, and the determination unit receives the signal emitted from the transmitter. It may be determined whether or not the observation target exists in the real field of view based on whether or not the signal is received by a receiver.

上記構成によれば、検出部が備える一対の発振器及び受信機は、一方が観察対象の近傍に設置され、他方が当該本体に設置される。そして、上記発振機から発せられた信号が、受信機により受信されたか否かが判定部により判定されることによって、観察対象が実視野中に存在するか否かが判定される。これにより、非常に容易に判定を行うことが可能となる。 According to the above configuration, one of the pair of oscillators and receivers included in the detection unit is installed in the vicinity of the observation target, and the other is installed in the main body. And it is determined whether the observation object exists in a real visual field by determining by the determination part whether the signal emitted from the said oscillator was received by the receiver. This makes it possible to make a determination very easily.

本発明の情報端末装置において、前記検出部が、位置及び方向を特定する方位情報測定部を備え、前記判定部が、前記方位情報測定部により特定された位置及び方向に基づいて決定される所定の範囲内に、予め登録されている観察対象が存在するか否かを判定することにより、前記観察対象が前記実視野中に存在するか否かを判定しても良い。 In the information terminal device of the present invention, the detection unit includes an azimuth information measurement unit that specifies a position and a direction, and the determination unit is determined based on the position and direction specified by the azimuth information measurement unit. It may be determined whether or not the observation target exists in the real field of view by determining whether or not the observation target registered in advance exists.

上記構成によれば、実視野の位置及び方向が方位情報測定部により特定され、特定された位置及び方向に基づいて決定される所定の範囲内、例えば、方位情報測定部により特定された位置を中心として、方位情報測定部により特定された方向に描かれる扇状の範囲内に、予め登録されている観察対象が属するか否かが判定部により判定されることによって、実視野中に観察対象が存在するか否かが判定される。
これにより、植物などのように、一定の場所に固定されているような場合には、非常に容易に、且つ、高い精度で判定を行うことが可能となる。 According to the above configuration, the position and direction of the real field of view are specified by the azimuth information measurement unit, and within a predetermined range determined based on the specified position and direction, for example, the position specified by the azimuth information measurement unit As the center, the determination unit determines whether or not the observation object registered in advance is within the fan-shaped range drawn in the direction specified by the azimuth information measurement unit. It is determined whether or not it exists.
Thereby, when it is fixed to a certain place like a plant etc., it becomes possible to determine very easily and with high accuracy.

本発明の情報端末装置において、前記観察対象が前記実視野中に存在しない場合であって、前記音声取得部により前記観察対象の音声が取得された場合には、前記画像表示制御部は、前記観察対象が前記実視野中に存在する場合と異なる表示内容を前記画像表示部に表示させても良い。 In the information terminal device of the present invention, when the observation target does not exist in the real field of view, and the sound of the observation target is acquired by the sound acquisition unit, the image display control unit Display content different from the case where the observation target is present in the actual visual field may be displayed on the image display unit.

上記構成によれば、観察対象が実視野に存在しない場合であって、音声取得部により観察対象の音声が取得された場合には、観察対象が実視野中に存在する場合とは異なる表示内容が画像表示制御部によって画像表示部に表示される。これにより、観察対象が実視野中に存在しない場合であっても、観察対象が音声を発した場合には、半透過光学素子により、何らかの内容が実視野中に虚像として重畳されて表示されるので、ユーザと生物との間でのコミュニケーションをより一層図ることが可能となる。 According to the above configuration, when the observation target does not exist in the real field of view, and the sound of the observation target is acquired by the sound acquisition unit, the display content is different from the case where the observation target exists in the real field of view. Is displayed on the image display unit by the image display control unit. Thus, even when the observation target does not exist in the real field of view, if the observation target makes a sound, some content is superimposed and displayed as a virtual image in the real field of view by the transflective optical element. Therefore, communication between the user and the living thing can be further promoted.

本発明の情報端末装置において、前記状態解析部が、前記音声と観察対象の状態とが対応付けられたデータベースと、前記音声取得部により取得された音声に対応する前記観察対象の状態を前記データベースから抽出する抽出部とを備えていても良い。 In the information terminal device according to the present invention, the state analysis unit includes a database in which the sound and the state of the observation target are associated with each other, and the observation target state corresponding to the sound acquired by the sound acquisition unit in the database. And an extraction unit that extracts from the image.

上記構成によれば、データベースには、音声と観察対象の状態とが対応付けられて格納されている。そして、音声取得部により音声が取得された場合には、その取得された音声に対応する観察対象の状態が抽出部によりデータベースから抽出される。これにより、非常に容易に、且つ、速やかに生物の状態を解析することが可能となる。
例えば、植物や動物などの観察対象の状態は、音声の大小や周波数パターン等と、その状態とが対応付けられて、データベースに登録されている。 According to the above configuration, the voice and the state of the observation target are associated with each other and stored in the database. Then, when the voice is acquired by the voice acquisition unit, the state of the observation target corresponding to the acquired voice is extracted from the database by the extraction unit. Thereby, it becomes possible to analyze the state of a living organism very easily and quickly.
For example, the state of an observation target such as a plant or an animal is registered in the database in association with the state of the sound, the frequency pattern, and the like.

本発明の情報端末装置において、前記判定部により、前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部が起動しても良い。 In the information terminal device of the present invention, the sound acquisition unit may be activated when the determination unit determines that the observation target exists in the real field of view.

上記構成によれば、実視野中に観察対象が存在する場合に限って、音声取得部が起動するので、電力の消費を抑えることが可能となる。なお、音声取得部だけでなく、状態解析部、画像表示部、半透過光学素子についても同様とすることにより、電力消費を更に抑えることが可能となる。 According to the above configuration, since the sound acquisition unit is activated only when an observation target is present in the real field of view, it is possible to suppress power consumption. Note that it is possible to further reduce power consumption by making the same not only for the voice acquisition unit but also for the state analysis unit, the image display unit, and the transflective optical element.

本発明は、少なくとも画像表示部、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子を備えり情報端末装置と、前記半透過光学素子を介した実視野中に存在する前記観察対象を検出する検出部と、前記観察対象の音声を取得する音声取得部と、前記検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部により取得された前記音声に基づいて、前記観察対象の状態を解析する状態解析部とを備え、前記状態解析部の解析結果を前記情報端末装置の前記画像表示部に表示させる翻訳システムを提供する。 According to the present invention, at least an image display unit transmits light from a real field of view in a user's line of sight, and information displayed on the image display unit is optically displayed as a virtual image in a superimposed manner in the real field of view. An information terminal device comprising a transmission optical element, a detection unit for detecting the observation target existing in an actual field of view through the semi-transmission optical element, a voice acquisition unit for acquiring the voice of the observation target, and the detection A determination unit that determines whether the observation target is present in the real field based on a detection result of the part, and when the determination unit determines that the observation target is present in the real field, A state analysis unit that analyzes the state of the observation target based on the sound acquired by the sound acquisition unit, and displays the analysis result of the state analysis unit on the image display unit of the information terminal device system To provide.

本発明の情報端末装置又は翻訳システムによれば、半透過光学素子を通して視認される実視野中に存在する観察対象に対して、その観察対象の状態を重畳的に表示させるので、観察対象とその観察対象の状態との乖離を解消し、ユーザに対して、観察対象の状態をわかりやすく伝えることができるという効果を奏する。 According to the information terminal device or the translation system of the present invention, the state of the observation target is displayed in a superimposed manner on the observation target existing in the actual visual field viewed through the transflective optical element. There is an effect that the deviation from the state of the observation target is eliminated, and the state of the observation target can be easily communicated to the user.

以下に、本発明にかかる情報端末装置の一実施形態について、〔第１の実施形態〕、〔第２の実施形態〕の順に、図面を参照して説明する。
〔第１の実施形態〕
図１及び図２は、本発明の第１の実施形態に係る情報端末装置の構成例を示す外観斜視図である。図１は、使用状態における外観斜視図、図２は格納状態における外観斜視図を示している。
図１、図２に示すように、本実施形態に係る情報端末装置１０は、後述する各種制御機構及び制御基板等を内蔵した筐体（本体）２０の外部に、表示装置３０及び撮像装置（撮像部）４０を備えている。
上記表示装置３０は、画像表示部５０及びコンバイナー６０を備えている。これら画像表示部５０及びコンバイナー６０は、格納状態で、筐体２０を貫通する開口部２１の空間部に収納され（図２参照）、それぞれが矩形状とした短辺側の一辺を筐体２０に軸支されて揺動による開閉動作が可能とされる。 Hereinafter, an embodiment of an information terminal device according to the present invention will be described in the order of [First Embodiment] and [Second Embodiment] with reference to the drawings.
[First Embodiment]
1 and 2 are external perspective views showing a configuration example of the information terminal device according to the first embodiment of the present invention. FIG. 1 is an external perspective view in a use state, and FIG. 2 is an external perspective view in a storage state.
As shown in FIGS. 1 and 2, an information terminal device 10 according to the present embodiment includes a display device 30 and an imaging device (outside of a housing (main body) 20 including various control mechanisms and a control board described later. An imaging unit) 40 is provided.
The display device 30 includes an image display unit 50 and a combiner 60. The image display unit 50 and the combiner 60 are housed in a space part of the opening 21 that penetrates the housing 20 (see FIG. 2) in a retracted state, and each side of the short side that is rectangular is housing 20. Opening and closing operation by swinging is enabled.

画像表示部５０は、例えば、液晶表示パネル（ＬＣＤ）や有機ＥＬ表示パネル等のいわゆる薄型ディスプレイ（以下「表示面」という。）５１を備え、後述する画像表示制御部７５（図４参照）により選定された画像を表示面５１に表示する。この画像表示部５０は、例えば、筐体２０に軸支されている支持部材５２に固定され、その表示面５１は、後述するコンバイナー６０と格納状態で対向する面に、換言すれば、筐体２０の内側に向けられている。 The image display unit 50 includes, for example, a so-called thin display (hereinafter referred to as “display surface”) 51 such as a liquid crystal display panel (LCD) or an organic EL display panel, and an image display control unit 75 (see FIG. 4) described later. The selected image is displayed on the display surface 51. The image display unit 50 is fixed to, for example, a support member 52 that is pivotally supported by the housing 20, and the display surface 51 is a surface that faces the combiner 60 described later in a stored state, in other words, the housing 20 is directed to the inside.

コンバイナー６０は、画像表示部５０からの光、すなわち画像表示部５０の表示面５１に表示された情報の光を反射するとともに、使用者の視線方向の実視野からの光を透過する半透過型光学素子である。換言すると、コンバイナー６０は、実視野となる外界像を透過するとともに、画像表示部５０の表示面５１に表示された情報（例えば、画像や文字）を光学的に虚像として、実視野中の実像に重畳的に表示する半透過型光学素子である。
このコンバイナー６０としては、例えば、少なくとも１面に自由曲面（３次元非球面）を有する光学素子、ハーフミラー、ホログラムなどが挙げられる。
本実施形態において、コンバイナー６０は、例えば、アクリルやポリカーボネート等の透明な材質からなる略長方形板状の部材であり、その片面側に金属膜等の反射層が形成されている。この反射層の表面が、画像表示部５０から入射した光を表面で反射させる反射面６１となる。 The combiner 60 reflects the light from the image display unit 50, that is, the light of information displayed on the display surface 51 of the image display unit 50, and transmits the light from the real visual field in the user's line-of-sight direction. It is an optical element. In other words, the combiner 60 transmits an external field image that is a real field of view, and optically displays information (for example, images and characters) displayed on the display surface 51 of the image display unit 50 as a virtual image. It is a transflective optical element that displays in a superimposed manner.
Examples of the combiner 60 include an optical element having a free-form surface (three-dimensional aspheric surface) on at least one surface, a half mirror, and a hologram.
In the present embodiment, the combiner 60 is a substantially rectangular plate-like member made of a transparent material such as acrylic or polycarbonate, and a reflective layer such as a metal film is formed on one side thereof. The surface of the reflective layer becomes a reflective surface 61 that reflects the light incident from the image display unit 50 on the surface.

コンバイナー６０は、図２に示すように、格納状態では、画像表示部５０の表示面５１と凹曲面状の反射面６１とが対向するように配置される。
使用状態では、図１に示すように、この反射面６１と表示面５１とが略対向し、かつ、筐体２０とともに略Ｚ字状を形成するように開かれ、図３に示すように、筐体２０の後端部側となる側面２２が使用者の側頭部に押し当てられるように保持される。この状態において、画像表示部５０の表示面５１に表示された情報の光は、開口部２１を通じて斜め前方へ向けて出射され、反射面６１によって筐体２０の後端部側へ向けて反射される。これにより、使用者には、コンバイナー６０の前方に、すなわち、使用者から見てコンバイナー６０よりも遠方に、画像表示部５０に表示された情報が虚像として視認される。 As shown in FIG. 2, the combiner 60 is disposed so that the display surface 51 of the image display unit 50 and the concave curved reflection surface 61 face each other in the retracted state.
In the state of use, as shown in FIG. 1, the reflective surface 61 and the display surface 51 are substantially opposed to each other and opened together with the housing 20 so as to form a substantially Z shape, and as shown in FIG. The side surface 22 which is the rear end side of the housing 20 is held so as to be pressed against the user's temporal region. In this state, the information light displayed on the display surface 51 of the image display unit 50 is emitted obliquely forward through the opening 21, and reflected toward the rear end side of the housing 20 by the reflection surface 61. The Thereby, the information displayed on the image display unit 50 is visually recognized as a virtual image in front of the combiner 60, that is, farther than the combiner 60 as viewed from the user.

撮像装置４０は、コンバイナー６０を介した実視野中に存在する観察対象を検出する検出部として主に機能する。このため、撮像装置４０は、図３に示すように、上述した使用状態において、使用者の視線方向に広がるコンバイナー６０を介した実視野の風景を撮像可能な位置に設けられている。撮像装置４０は、使用状態において、使用者の視線方向の風景を撮像し、取得した画像を後述する処理部７２（図４参照）へ出力する。
撮像装置４０としては、例えば、感光フィルム等の感光体を用いたアナログ式撮像装置を用いてもよく、またＣＣＤ素子等の撮像素子を用いたデジタル式撮像装置を用いてもよい。本実施形態では、撮像装置４０として、デジタル式撮像装置が用いられている。 The imaging device 40 mainly functions as a detection unit that detects an observation target existing in the actual visual field via the combiner 60. For this reason, as shown in FIG. 3, the imaging device 40 is provided at a position where an actual visual field landscape can be captured via the combiner 60 that spreads in the user's line-of-sight direction in the above-described use state. In the use state, the imaging device 40 captures a landscape in the user's line of sight and outputs the acquired image to the processing unit 72 (see FIG. 4) described later.
As the imaging device 40, for example, an analog imaging device using a photosensitive member such as a photosensitive film may be used, or a digital imaging device using an imaging device such as a CCD element may be used. In the present embodiment, a digital imaging device is used as the imaging device 40.

次に、上述した筐体２０に内蔵される電気的構成について、図４を参照して説明する。
図４は、本実施形態に係る情報端末装置の電気的構成の概略を示したブロック図である。この図において、図１乃至図３と同様の構成要素には、同一の符号を付している。
図４に示すように、筐体２０には、通信部７１、各種処理を実行する処理部７２、第１のデータベース７３、第２のデータベース７４、及び画像表示部７５などが内蔵されている。これら各部は、いずれも処理部７２と電気的に接続されている。
通信部７１は、外部に設置された通信装置１０１と通信を行うことにより、観察対象が発した音声信号を取得する音声取得部として、主に機能する。例えば、本実施形態において、図５に示すように、観察対象である観葉植物２００の近傍には、観察対象が発した音を検出するマイク１００、及びマイク１００に接続される通信装置１０１が設置されている。
ここで、マイク１００は、観察対象が発した音声を取得し、取得した音声を電気信号（以下、変換後の音声を「音声信号」という。）に変換して出力するものである。例えば、観察対象が植物であれば、その植物の幹或いは根元などに設置され、植物が水を吸い上げる音などを取得する。また、観察対象が犬などの動物である場合には、動物の首輪などに設置されることにより、動物の鳴き声などを取得する。
通信装置１０１は、マイク１００から出力された音声信号を通信部７１へ送信するものである。通信部１０１と通信部７１との間の通信は、例えば、無線により行われる。また、観察対象が複数存在する場合には、観察対象毎に通信チャネルを設定し、通信チャネル毎に音声信号を受信できるような構成にしても良い。
通信部７１は、通信装置１０１から受信した音声信号を処理部７２に出力する。 Next, an electrical configuration built in the housing 20 will be described with reference to FIG.
FIG. 4 is a block diagram showing an outline of the electrical configuration of the information terminal device according to the present embodiment. In this figure, the same components as those in FIGS. 1 to 3 are denoted by the same reference numerals.
As shown in FIG. 4, the housing 20 includes a communication unit 71, a processing unit 72 that executes various processes, a first database 73, a second database 74, an image display unit 75, and the like. Each of these units is electrically connected to the processing unit 72.
The communication unit 71 mainly functions as a sound acquisition unit that acquires a sound signal emitted from the observation target by performing communication with the communication device 101 installed outside. For example, in the present embodiment, as shown in FIG. 5, a microphone 100 that detects sound emitted from the observation target and a communication device 101 connected to the microphone 100 are installed in the vicinity of the observational plant 200. Has been.
Here, the microphone 100 acquires the sound emitted from the observation target, converts the acquired sound into an electrical signal (hereinafter, the converted sound is referred to as “sound signal”), and outputs it. For example, if the observation target is a plant, it is installed on the trunk or root of the plant, and the sound of the plant sucking up water is acquired. In addition, when the observation target is an animal such as a dog, an animal call or the like is obtained by being placed on an animal collar or the like.
The communication device 101 transmits an audio signal output from the microphone 100 to the communication unit 71. Communication between the communication unit 101 and the communication unit 71 is performed, for example, wirelessly. In addition, when there are a plurality of observation targets, a configuration may be adopted in which a communication channel is set for each observation target and an audio signal can be received for each communication channel.
The communication unit 71 outputs the audio signal received from the communication device 101 to the processing unit 72.

処理部７２は、撮像装置４０により取得された画像に基づいて、コンバイナー６０を介した実視野中に、観察対象が存在するか否かを判定する判定機能（判定部）、通信部７１から入力された音声信号に基づいて、観察対象の状態を解析する状態解析機能（状態解析部）などの各種機能を実現させる。例えば、処理部７２は、図示しないＣＰＵ（中央演算装置）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されている。上述の各種機能を実現するための一連の処理手順は、プログラムの形式でＲＯＭ等に記録されており、このプログラムをＣＰＵがＲＡＭ等に読み出して、情報の加工・演算処理を実行することにより、上記各種機能が実現される。 The processing unit 72 is input from the communication unit 71, a determination function (determination unit) that determines whether or not an observation target exists in the actual visual field via the combiner 60 based on the image acquired by the imaging device 40. Various functions such as a state analysis function (state analysis unit) for analyzing the state of the observation target are realized based on the sound signal thus obtained. For example, the processing unit 72 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like (not shown). A series of processing procedures for realizing the various functions described above are recorded in a ROM or the like in the form of a program, and the CPU reads this program into the RAM or the like and executes information processing / arithmetic processing. The various functions described above are realized.

処理部７２は、第１のデータベース７３を参照することにより、上記判定機能を実現させる。第１のデータベース７３には、観察対象の画像が登録されている。なお、この観察対象の画像登録の詳細については、後述する。 The processing unit 72 implements the determination function by referring to the first database 73. In the first database 73, images to be observed are registered. Details of the image registration of the observation target will be described later.

また、処理部７２は、第２のデータベース７４を参照することにより、上記状態解析機能を実現させる。
第２のデータベース７４には、図６に示すように、観察対象の種別（例えば、犬、猫、観葉植物など）毎に、複数の音声テーブル３００が対応付けられて格納されている。音声テーブル３００は、音声信号の各種パラメータの状態に応じて、観察対象の状態を表す表示内容がそれぞれ対応付けられたテーブルである。
例えば、観察対象が植物である場合は、水を吸い上げる音が大きいほど、水やりが十分なされており、植物が水分を多く吸い上げている状態であると判断できる。この音量の大小は、音声信号の振幅により判断できる。従って、「振幅」をパラメータにした音声テーブルが第２のデータベース７４に登録されている。 The processing unit 72 realizes the state analysis function by referring to the second database 74.
As shown in FIG. 6, the second database 74 stores a plurality of audio tables 300 in association with each type of observation target (for example, dog, cat, houseplant, etc.). The audio table 300 is a table in which display contents representing the state of the observation target are associated with each other according to the state of various parameters of the audio signal.
For example, when the observation target is a plant, it can be determined that the larger the sound of sucking up water, the more watering is performed and the plant is sucking up more water. The magnitude of the volume can be determined from the amplitude of the audio signal. Therefore, an audio table with “amplitude” as a parameter is registered in the second database 74.

この音声テーブルには、図７に示すように、「振幅」を数段階のレベルに分け、レベル毎に、植物の状態を表す表示内容が設定されている。例えば、「振幅」が最小レベルである「レベル１」には、水分の吸い上げが行われていない状態にあるため、「のどがかわいたようー！」、「水がほしいなあ。」などの表示内容が登録される。また、「振幅」が最大レベルである「レベル５」には、「水を飲みすぎちゃった。」、「もう飲めないよ」などの表示内容が登録されている。 In this audio table, as shown in FIG. 7, “amplitude” is divided into several levels, and display contents representing the state of the plant are set for each level. For example, in “Level 1” where “Amplitude” is the minimum level, since the water has not been sucked up, the display contents such as “I feel like a throat!” And “I want water” are displayed. Is registered. Also, in “level 5” where “amplitude” is the maximum level, display contents such as “I have drunk too much water”, “I can no longer drink” are registered.

また、音声信号の周波数パターンなどにより、植物の状態をより詳細に解析することが可能となる。例えば、風により葉がそよいでいるときの音声信号の周波数パターンや、落葉の周波数パターンなどに対応して、それぞれ表示内容が設定された音声テーブルを登録する。例えば、図８に示すように、風が強く、木の幹や葉が大きく揺れている場合の周波数パターン、例えば、「周波数パターン５」には、「風が強くて大変だよー！」、「助けてー。」などの表示内容が登録され、葉が適度に当たっている状態での周波数パターン、例えば、「周波数パターン１」には、「風が気持ちいいよ。」などの表示内容が登録される。
このように、周波数パターンをパラメータとした音声テーブルが登録されていることにより、風が当たることによる植物の状態や、落葉の状態などを解析することが可能となる。
また、猫や犬、或いはその他の種別などにおいても、観察対象となる生物などが発する音に着目した音声テーブルが第２のデータベース７４（図４参照）にそれぞれ格納されている。 In addition, the state of the plant can be analyzed in more detail based on the frequency pattern of the audio signal. For example, an audio table in which display contents are set is registered corresponding to the frequency pattern of the audio signal when the leaves are deflated by the wind, the frequency pattern of the fallen leaves, and the like. For example, as shown in FIG. 8, the frequency pattern when the wind is strong and the trunk and leaves of the tree are greatly swaying, for example, “Frequency pattern 5”, is “The wind is strong and difficult!” Display contents such as “Help me.” Are registered, and display contents such as “The wind feels good” are registered in the frequency pattern in a state where the leaf is hitting moderately, for example, “Frequency pattern 1”.
Thus, by registering the voice table using the frequency pattern as a parameter, it becomes possible to analyze the state of the plant, the state of fallen leaves, and the like caused by the wind.
In addition, in the case of cats, dogs, or other types, voice tables focusing on sounds emitted by living organisms to be observed are stored in the second database 74 (see FIG. 4).

画像表示制御部７５は、処理部７２から出力される表示内容を画像表示部５０に表示させる。これにより、画像表示部５０に表示された表示内容は、図１に示すコンバイナー６０により、虚像として、実視野中の実像に重畳されることとなる。 The image display control unit 75 causes the display content output from the processing unit 72 to be displayed on the image display unit 50. Thereby, the display content displayed on the image display unit 50 is superimposed as a virtual image on the real image in the real field by the combiner 60 shown in FIG.

このように構成された本実施形態に係る情報端末装置１の作用について、以下に説明する。なお、以下においては、一例として、図５に示すように、観葉植物２００を観察対象とする場合について説明する。 The operation of the information terminal device 1 according to the present embodiment configured as described above will be described below. In the following, as an example, a case where the houseplant 200 is an observation object as illustrated in FIG. 5 will be described.

〔初期登録について〕
以下、観葉植物２００を観察対象として登録するための初期登録処理について説明する。
初期登録においては、図５に示すように、例えば、使用者は、使用状態の情報端末装置１０の筐体２０の側部２２を側頭部に押し当てるように保持する。次に、コンバイナー６０を介した実視野中に、観葉植物２００を確認できる状態において、筐体２０の側面に設けられた図示しないシャッタスイッチを押す。これにより、シャッタスイッチが押下された旨の電気信号が、筐体２０に内蔵されている処理部７２（図５参照）に入力される。
処理部７２は、シャッタスイッチが押下された旨の電気信号を取得すると、現時点において、撮像装置４０により撮像されている画像を取り込む。これにより、使用者の視線方向の風景、つまり、観葉植物２００が存在する風景が撮像装置４０により撮像されて、画像として処理部７２に取り込まれる。 [Initial registration]
Hereinafter, an initial registration process for registering the foliage plant 200 as an observation target will be described.
In the initial registration, as shown in FIG. 5, for example, the user holds the side portion 22 of the casing 20 of the information terminal device 10 in a used state so as to press against the temporal region. Next, a shutter switch (not shown) provided on the side surface of the housing 20 is pressed in a state where the foliage plant 200 can be confirmed in the real field of view through the combiner 60. Thus, an electrical signal indicating that the shutter switch has been pressed is input to the processing unit 72 (see FIG. 5) built in the housing 20.
When the processing unit 72 acquires an electrical signal indicating that the shutter switch has been pressed, the processing unit 72 captures an image currently captured by the imaging device 40. As a result, a landscape in the direction of the user's line of sight, that is, a landscape where the foliage plant 200 exists is captured by the imaging device 40 and captured as an image into the processing unit 72.

次に、処理部７２は、取り込まれた画像を画像表示制御部７５に出力することによって、画像表示部５０に表示させる。これにより、使用者に対して、取り込まれた画像を確認させることが可能となる。
使用者は、例えば、画像表示部５０の表示面５１を直接的に確認することにより、観察対象とした観葉植物２００が画像として確実に取り込まれたかを確認すると、図示しない登録ボタンを押下する。これにより、登録ボタンが押下された旨の電気信号が処理部７２に入力される。処理部７２は、登録ボタンが押下された旨の電気信号を取得すると、先ほどの画像を第１のデータベース７３に書き込む。これにより、当該観葉植物２００が観察対象として登録されることとなる。 Next, the processing unit 72 causes the image display unit 50 to display the captured image by outputting it to the image display control unit 75. This allows the user to check the captured image.
For example, when the user confirms whether the houseplant 200 to be observed is captured as an image by directly confirming the display surface 51 of the image display unit 50, the user presses a registration button (not shown). As a result, an electrical signal indicating that the registration button has been pressed is input to the processing unit 72. When the processing unit 72 acquires an electrical signal indicating that the registration button has been pressed, the processing unit 72 writes the previous image in the first database 73. Thereby, the houseplant 200 is registered as an observation target.

〔登録後について〕
次に、登録後における情報端末装置１０の通常時における作用について、図９を参照して説明する。
図５に示すように、使用状態にされた情報端末装置１０が使用者の側頭部に保持された状態において、撮像装置４０は、使用者の視野方向の風景を撮像し、取得した画像を処理部７２に出力する。
処理部７２は、撮像装置４０から画像を取得すると（図９のステップＳＡ１）、コンバイナー６０を介した実視野中に観察対象、つまり観葉植物２００が存在するか否かを判定する（ステップＳＡ２；判定機能）。
具体的には、撮像装置４０により取得された使用者の視線方向の風景画像と、第１のデータベース７３に登録されている観葉植物２００の画像とのパターンマッチングを行う。そして、撮像装置４０により取得された風景画像に、観葉植物２００の画像とマッチングする輪郭が認識できた場合には、コンバイナー６０を介した実視野中に観葉植物２００が存在すると判定する。 [After registration]
Next, the normal operation of the information terminal device 10 after registration will be described with reference to FIG.
As shown in FIG. 5, in a state where the information terminal device 10 that has been put into use is held in the user's temporal region, the imaging device 40 images a landscape in the direction of the user's field of view and displays the acquired image. The data is output to the processing unit 72.
When the processing unit 72 acquires an image from the imaging device 40 (step SA1 in FIG. 9), the processing unit 72 determines whether or not the observation target, that is, the houseplant 200 exists in the real field of view through the combiner 60 (step SA2; Judgment function).
Specifically, pattern matching is performed between the landscape image in the user's line of sight acquired by the imaging device 40 and the image of the houseplant 200 registered in the first database 73. And when the outline which matches the image of the foliage plant 200 is recognized in the landscape image acquired by the imaging device 40, it is determined that the foliage plant 200 exists in the real field of view through the combiner 60.

実視野中に観葉植物２００が存在すると判定した場合（ステップＳＡ２において「YES」）、処理部７２は、通信部７１を起動させる（ステップＳＡ３）。これにより、通信部７１は、外部に設置された通信装置１０１との通信が可能となる。この状態において、観葉植物２００が発する音声、例えば、水を吸い上げる音や風に葉がそよぐ音が、観葉植物２００に設置されているマイク１００により取得され、電気信号へ変換される。電気信号に変換された音声信号は、マイク１００から通信装置１０１へ出力され、通信装置１０１により、通信部７１へ送信される。
通信部７１は、通信装置１０１から音声信号を受信すると、受信した音声信号を処理部７２へ出力する。処理部７２は、通信部７１から音声信号を取得すると（ステップＳＡ４）、この音声信号に基づいて、観察対象の状態を解析し（ステップＳＡ５）、その解析結果に応じた表示内容を抽出して（ステップＳＡ６）、これを画像表示制御部７５へ出力する（ステップＳＡ７）。なお、上記ステップＳＡ４からステップＳＡ７の処理においては、処理部７１が予め保有している状態解析プログラムを実行することにより実現される。 When it is determined that the foliage plant 200 is present in the real field of view (“YES” in step SA2), the processing unit 72 activates the communication unit 71 (step SA3). Thereby, the communication unit 71 can communicate with the communication device 101 installed outside. In this state, the sound produced by the houseplant 200, for example, the sound of sucking up water or the sound of leaves blowing in the wind, is acquired by the microphone 100 installed in the houseplant 200 and converted into an electrical signal. The audio signal converted into the electrical signal is output from the microphone 100 to the communication device 101 and transmitted to the communication unit 71 by the communication device 101.
When the communication unit 71 receives an audio signal from the communication device 101, the communication unit 71 outputs the received audio signal to the processing unit 72. When the processing unit 72 acquires the audio signal from the communication unit 71 (step SA4), the processing unit 72 analyzes the state of the observation target based on the audio signal (step SA5), and extracts the display content according to the analysis result. (Step SA6), this is output to the image display control part 75 (step SA7). Note that the processing from step SA4 to step SA7 is realized by executing a state analysis program held in advance by the processing unit 71.

より具体的には、処理部７２は、通信部７１から入力された音声信号について、各種パラメータ（振幅、周波数パターンなど）を解析する。続いて、第２のデータベース７４内に格納されている植物に対応する複数の音声テーブルを参照することにより、上記音声信号に対応する表示内容を音声テーブル３００（図６乃至図８参照）から抽出する。
例えば、音声信号の振幅を解析し（例えば、平均値を算出する）、解析した振幅のレベルに応じた表示内容を「振幅」をパラメータとした音声テーブルから抽出する。また、音声信号の周波数パターンを解析し、解析した周波数パターンに該当する表示内容を「周波数パターン」をパラメータとして音声テーブルから抽出する。
このようにして、音声信号に対応する表示内容を抽出すると、この抽出した表示内容を画像表示制御部７５へ出力する。
画像表示制御部７５は、処理部７２から入力された表示内容を画像表示部５０に表示させる。これにより、図１０に示すように、観葉植物２００の状態を示す内容５００が、コンバイナー６０により、実視野中に存在する観葉植物２００に重畳的に表示されることとなる。 More specifically, the processing unit 72 analyzes various parameters (amplitude, frequency pattern, etc.) for the audio signal input from the communication unit 71. Subsequently, by referring to a plurality of sound tables corresponding to plants stored in the second database 74, display contents corresponding to the sound signals are extracted from the sound table 300 (see FIGS. 6 to 8). To do.
For example, the amplitude of the audio signal is analyzed (for example, an average value is calculated), and the display content corresponding to the analyzed amplitude level is extracted from the audio table using “amplitude” as a parameter. Also, the frequency pattern of the audio signal is analyzed, and the display content corresponding to the analyzed frequency pattern is extracted from the audio table using “frequency pattern” as a parameter.
When the display content corresponding to the audio signal is extracted in this way, the extracted display content is output to the image display control unit 75.
The image display control unit 75 causes the display content input from the processing unit 72 to be displayed on the image display unit 50. Thus, as shown in FIG. 10, the content 500 indicating the state of the houseplant 200 is displayed by the combiner 60 in a superimposed manner on the houseplant 200 existing in the real field of view.

以上説明してきたように、本実施形態に係る情報端末装置によれば、動物や植物などの観察対象の状態は、コンバイナー６０により、実視野中に存在する観察対象に重畳的に表示されるので、植物、動物などの観察対象と、その観察対象の状態とを、一体性をもたせた形で表示させることができる。これにより、観察対象とその観察対象の状態との乖離を解消し、ユーザに対して、観察対象の状態をわかりやすく伝えることができるという効果を奏する。 As described above, according to the information terminal device according to the present embodiment, the state of the observation target such as an animal or a plant is displayed by the combiner 60 in a superimposed manner on the observation target existing in the real field of view. It is possible to display an observation object such as a plant or an animal and a state of the observation object in a form having unity. Thereby, there is an effect that the difference between the observation target and the state of the observation target is resolved, and the state of the observation target can be easily communicated to the user.

〔第２の実施形態〕
次に、本発明の第２の実施形態に係る情報端末装置について説明する。なお、機械的な構造及び電気的な構造は、第１の実施形態に係る情報端末装置１０と同様である。
本実施形態においては、処理部７２が行う処理の内容が上述した第１の実施形態におけるものとは異なる。つまり、上述した第１の実施形態においては、実視野中に観葉植物２００が存在する場合に限って、通信部７１を起動させ、音声信号を取得することにより、観葉植物２００の状態に応じた内容を虚像として投影させていた。
本実施形態では、観葉植物２００が実視野中に存在するか否かに拘わらず、常に、通信部７１を起動させておき、観葉植物２００が発した音声信号を受信可能な状態とする。
更に、第２のデータベース７４には、実視野中に観葉植物２００が存在する場合と存在しない場合とに分けて、それぞれ音声テーブルを登録する。これにより、実視野中に観葉植物２００が存在しない場合であっても、観葉植物の状態に応じた所定の表示内容を画像表示部５０に表示可能な構成とする。このように、実視野中に観葉植物２００が存在する場合と存在しない場合とに応じて、音声テーブルをそれぞれ設け、表示内容を異ならせることにより、違和感のない内容を使用者に対して提供することができる。 [Second Embodiment]
Next, an information terminal device according to the second embodiment of the present invention will be described. Note that the mechanical structure and the electrical structure are the same as those of the information terminal device 10 according to the first embodiment.
In the present embodiment, the content of the processing performed by the processing unit 72 is different from that in the first embodiment described above. That is, in the above-described first embodiment, only when the houseplant 200 exists in the real field of view, the communication unit 71 is activated and an audio signal is acquired, so that the state of the houseplant 200 is determined. The contents were projected as a virtual image.
In the present embodiment, regardless of whether or not the foliage plant 200 exists in the real field of view, the communication unit 71 is always activated so that the audio signal emitted by the foliage plant 200 can be received.
Furthermore, in the second database 74, a voice table is registered for each of the cases where the foliage plant 200 is present and not present in the real field of view. Thereby, even if the foliage plant 200 does not exist in the real field of view, a predetermined display content corresponding to the state of the foliage plant can be displayed on the image display unit 50. Thus, according to the case where the foliage plant 200 is present in the real field of view and the case where it does not exist, the audio table is provided, and the display content is made different to provide the user with a content that does not feel strange. be able to.

例えば、観葉植物２００が実視野中に存在しない場合には、客観的に観葉植物の状態を示す内容を表示するようにする。例えば、観葉植物２００が実視野中に存在する場合では、「水がほしいよ。」と表示されるような場合において、観葉植物２００が実視野中に存在しない場合には、「観葉植物が呼んでいます。」などの表示内容を表示するような構成とする。 For example, when the foliage plant 200 does not exist in the real field of view, contents that objectively indicate the state of the foliage plant are displayed. For example, in the case where the houseplant 200 exists in the real field of view, in the case where “I want water” is displayed, if the houseplant 200 does not exist in the real field of view, “the houseplant calls It is configured to display the display content such as “

以上説明してきたように、本実施形態に係る情報端末装置によれば、観察対象が実視野に存在しない場合であって、通信部７１を介して音声信号が処理部７２に入力された場合には、観察対象が実視野中に存在する場合とは異なる表示内容を画像表示部５０に表示させる。これにより、観察対象が実視野中に存在しない場合であっても、観察対象が音声を発した場合には、コンバイナー６０により、音声に応じた内容が実視野中に虚像として重畳されて表示されることとなる。
これにより、ユーザと生物との間でのコミュニケーションをより一層図ることが可能となるとともに、特に、観葉植物２００などの観察対象が好ましくない状態にある場合に、使用者に注意を促すことができるので、観葉植物２００の状態を良好に保つことが可能となる。 As described above, according to the information terminal device according to the present embodiment, when the observation target does not exist in the real field of view and the audio signal is input to the processing unit 72 via the communication unit 71. Causes the image display unit 50 to display different display content than when the observation target is present in the real field of view. Thereby, even when the observation target does not exist in the real field of view, when the observation target makes a sound, the content corresponding to the sound is superimposed and displayed as a virtual image in the real field of view by the combiner 60. The Rukoto.
As a result, communication between the user and the living organism can be further promoted, and the user can be alerted particularly when the observation target such as the foliage plant 200 is in an unfavorable state. Therefore, the state of the houseplant 200 can be kept good.

以上、本実施形態に係る情報端末装置について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
第１に、上述した実施形態においては、撮像装置４０により取得された画像と予め登録されている観察対象の画像とをパターンマッチングすることにより、実視野中に観察対象が存在するか否かを判定していたが、このような態様に限らず、例えば、以下のような第１の他の態様、第２の他の態様などによっても判定を行うことが可能である。 The information terminal device according to the present embodiment has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and design changes and the like within a scope not departing from the gist of the present invention are possible. included.
First, in the above-described embodiment, it is determined whether or not the observation target exists in the real field of view by performing pattern matching between the image acquired by the imaging device 40 and the image of the observation target registered in advance. Although it was determined, the determination is not limited to such an aspect, and for example, the determination can be performed by the following first other aspect, second other aspect, and the like.

第１の他の態様としては、例えば、撮像装置４０に代わって、位置及び方向を特定する方位情報測定部を備えるとともに、第１のデータベース７３には、観察対象の画像に代わって、観察対象の配置位置、例えば、緯度及び経度からなる位置情報を登録する。
そして、処理部が備える判定機能において、方位情報測定部により特定された位置及び方向に基づいて決定される所定の範囲内、例えば、方位情報測定部により特定された位置を中心として、方位情報測定部により特定された方向に描かれる扇状の範囲内に、予め登録されている観察対象の配置位置が存在するか否かを判定することにより、前記観察対象が前記実視野中に存在するか否かを判定する。 As a first other aspect, for example, instead of the imaging device 40, an orientation information measurement unit that specifies a position and a direction is provided, and the first database 73 includes an observation target instead of the image to be observed. Position information consisting of latitude and longitude, for example, is registered.
In the determination function provided in the processing unit, the direction information measurement is performed within a predetermined range determined based on the position and direction specified by the direction information measurement unit, for example, the position specified by the direction information measurement unit. Whether or not the observation target exists in the real field of view by determining whether or not a pre-registered position of the observation target exists within the fan-shaped range drawn in the direction specified by the unit Determine whether.

第２の他の態様としては、例えば、観察対象の近傍に指向性の高い発振器を設置するとともに、情報端末装置１０の使用時における筐体２０の前方（例えば、撮像装置４０が設置されている付近）に、受信機を設ける。そして、処理部が備える判定機能において、発振器から発せられた信号が、受信機により受信されたか否かを判定することにより、観察対象が実視野中に存在するか否かを判定する。
上述したような、第１の他の態様、第２の他の態様によれば、パターンマッチングなどの煩雑な処理を行うことなく、判定を行うことが可能となる。 As a second other aspect, for example, an oscillator with high directivity is installed in the vicinity of the observation target, and the front of the housing 20 when the information terminal device 10 is used (for example, the imaging device 40 is installed). A receiver will be installed in the vicinity. And in the determination function with which a processing part is provided, it is determined whether the observation object exists in a real visual field by determining whether the signal emitted from the oscillator was received by the receiver.
According to the first other aspect and the second other aspect as described above, the determination can be performed without performing complicated processing such as pattern matching.

第２に、上述した実施形態においては、通信部７１は、通信装置１０１から受信した音声信号をそのままの状態で処理部７２に出力していたが、例えば、通信部７１が音声信号から雑音などを除去するためのフィルタを備えており、フィルタによってノイズが除去された後の音声信号を処理部７２に出力するような構成としても良い。
更に、観察対象が発する音声を直接的に取得するマイク１００に加えて、周囲の音声を取得する第２のマイクを観察対象の近傍に配置し、マイク１００により取得された音声信号と第２のマイクにより取得された音声信号との差分を最終的な音声信号として使用するようにしても良い。このように、音声信号の差分を用いることにより、マイク１００により取得された音声信号から雑音を除去することが可能となるので、より正確な音声信号に基づいて、観察対象の状態を解析することが可能となる。 Secondly, in the above-described embodiment, the communication unit 71 outputs the audio signal received from the communication device 101 to the processing unit 72 as it is. However, for example, the communication unit 71 generates noise from the audio signal. It is good also as a structure which outputs the audio | voice signal after the noise is removed by the filter to the process part 72 is provided.
Furthermore, in addition to the microphone 100 that directly acquires the sound emitted from the observation target, a second microphone that acquires the surrounding sound is arranged in the vicinity of the observation target, and the sound signal acquired by the microphone 100 and the second sound are acquired. You may make it use the difference with the audio | voice signal acquired with the microphone as a final audio | voice signal. As described above, since the noise can be removed from the sound signal acquired by the microphone 100 by using the difference between the sound signals, the state of the observation target is analyzed based on the more accurate sound signal. Is possible.

第３に、上述した実施形態においては、通信部７１がマイク１００に接続された通信装置１０１から音声信号を受信することにより、観察対象が発した音声を取得していた。つまり、上述した実施形態では、通信部７１が、音声を取得する音声取得部として機能している。
これに代わって、例えば、音声取得部をマイクにより構成することにより、図５に示したように、マイク１００、通信装置１０１を介すことなく、情報端末装置が備えるマイクなどの音声取得部により、直接的に音声を取得するような構成としても良い。 Thirdly, in the above-described embodiment, the communication unit 71 receives the audio signal from the communication device 101 connected to the microphone 100, thereby acquiring the sound emitted from the observation target. That is, in the above-described embodiment, the communication unit 71 functions as a sound acquisition unit that acquires sound.
Instead, for example, by configuring the voice acquisition unit with a microphone, as shown in FIG. 5, the voice acquisition unit such as a microphone included in the information terminal device does not pass through the microphone 100 and the communication device 101. A configuration may be adopted in which voice is directly acquired.

第４に、上述した実施形態においては、観察対象を観葉植物としたが、これに限られず、動物などの生物であっても良い。また、生物に限られることなく、観察対象は、機械などのように、人工的に作成されたものでも良い。例えば、機械などであれば、動作の音などを取得することにより、その機械が正常に動作しているか否かなどを表示内容として使用者に提供することが可能である。
第５に、上述した実施形態においては、処理部７２がソフトウェアによる処理を実行することにより、判定機能、状態解析機能を実現させていたが、この構成例に限られず、アナログ回路などにより、判定機能、状態解析機能を実現するようにしても良い。 Fourthly, in the above-described embodiment, the observation object is a foliage plant, but the present invention is not limited to this, and it may be a living organism such as an animal. Further, the observation target is not limited to living organisms, and an observation target may be an artificially created object such as a machine. For example, in the case of a machine or the like, it is possible to provide the user with display contents as to whether or not the machine is operating normally by acquiring operation sounds or the like.
Fifth, in the above-described embodiment, the determination function and the state analysis function are realized by the processing unit 72 executing the processing by software. However, the configuration is not limited to this configuration example, and the determination is performed by an analog circuit or the like. A function and a state analysis function may be realized.

次に、本発明にかかる翻訳システムの一実施形態について、図面を参照して説明する。
図１１は、本実施形態に係る翻訳システムの電気的構成の概略を示したブロック図である。この図において、図４と同様の構成要素には、同一の符号を付し、詳細な説明を省略する。 Next, an embodiment of a translation system according to the present invention will be described with reference to the drawings.
FIG. 11 is a block diagram showing an outline of the electrical configuration of the translation system according to the present embodiment. In this figure, the same components as those in FIG. 4 are denoted by the same reference numerals, and detailed description thereof is omitted.

図１１に示すように、翻訳システムは、情報端末装置１、サーバ２、及び観察対象に配置される音声取得装置３を備えて構成されている。
上記情報端末装置１は、機械構造的には、図１に示した第1の実施形態に係る情報端末装置１０と同じであるが、筐体２０に内蔵されている電気的構成要素が異なっている。
具体的には、情報端末装置１は、撮像装置４０、画像表示部５０、半透過型光学素子６０、通信部７１、画像表示制御部７５、及び処理部７２１を備えている。 As shown in FIG. 11, the translation system includes an information terminal device 1, a server 2, and a voice acquisition device 3 arranged on the observation target.
The information terminal device 1 is mechanically the same as the information terminal device 10 according to the first embodiment shown in FIG. 1 except for the electrical components built in the housing 20. Yes.
Specifically, the information terminal device 1 includes an imaging device 40, an image display unit 50, a transflective optical element 60, a communication unit 71, an image display control unit 75, and a processing unit 721.

サーバ２は、通信部６、処理部７２２、第１のデータベース７３、及び第2のデータベース７４を備えている。
音声取得装置３は、マイク１００、通信装置１０１を備えている。 The server 2 includes a communication unit 6, a processing unit 722, a first database 73, and a second database 74.
The voice acquisition device 3 includes a microphone 100 and a communication device 101.

以下、上記構成からなる翻訳システムの作用について、簡単に説明する。なお、以下の説明において、観葉植物２００（図５参照）を観察対象とする。
まず、撮像装置４０は、使用者の視野方向の風景を撮像し、取得した画像を処理部７２１に出力する。処理部７２１は、撮像装置４０から入力された画像を通信部７１を介してサーバ２へ送信する。
情報端末装置１から送信された画像は、サーバ２内の通信部６により受信され、処理部７２２に出力される。処理部７２２は、通信部６を介して当該画像を取得すると、この画像と、第１のデータベース７３に登録されている観葉植物２００の画像とのパターンマッチングを行い、コンバイナー６０を介した実視野中に観葉植物２００が存在するか否かを判定する。 The operation of the translation system having the above configuration will be briefly described below. In the following description, the foliage plant 200 (see FIG. 5) is the observation target.
First, the imaging device 40 images a landscape in the user's visual field direction and outputs the acquired image to the processing unit 721. The processing unit 721 transmits the image input from the imaging device 40 to the server 2 via the communication unit 71.
The image transmitted from the information terminal device 1 is received by the communication unit 6 in the server 2 and output to the processing unit 722. When the processing unit 722 acquires the image through the communication unit 6, the processing unit 722 performs pattern matching between the image and the image of the houseplant 200 registered in the first database 73, and the real field of view through the combiner 60. It is determined whether or not the foliage plant 200 exists therein.

この結果、実視野中に観察植物２００が存在すると判定した場合には、処理部７２２は、観葉植物２００の音声信号を音声取得装置３から通信部６を介して取得する。処理部７２２は、通信部６を介して取得した観葉植物２００の音声信号に基づいて観葉植物２００の状態を解析し、この解析結果に応じた表示内容を第２のデータベース７４から抽出する。そして、抽出した表示内容を通信部６を介して情報端末装置１へ送信する。 As a result, when it is determined that the observation plant 200 exists in the real field of view, the processing unit 722 acquires the audio signal of the houseplant 200 from the audio acquisition device 3 via the communication unit 6. The processing unit 722 analyzes the state of the houseplant 200 based on the sound signal of the houseplant 200 acquired via the communication unit 6, and extracts display contents corresponding to the analysis result from the second database 74. Then, the extracted display content is transmitted to the information terminal device 1 via the communication unit 6.

サーバ２から送信された表示内容は、情報端末装置１の通信部７１により受信され、処理部７２１に出力される。処理部７２１は、取得した表示内容を画像表示制御部７５に出力する。画像表示制御部７５は、処理部７２１から入力された表示内容を画像表示部５０に表示させる。これにより、例えば、図１０に示したように、観葉植物２００の状態を示す内容５００が、コンバイナー６０により、実視野中に存在する慣用直物２００に重畳的に表示されることとなる。 The display content transmitted from the server 2 is received by the communication unit 71 of the information terminal device 1 and output to the processing unit 721. The processing unit 721 outputs the acquired display content to the image display control unit 75. The image display control unit 75 causes the display content input from the processing unit 721 to be displayed on the image display unit 50. Thereby, for example, as shown in FIG. 10, the content 500 indicating the state of the houseplant 200 is displayed by the combiner 60 in a superimposed manner on the conventional spot 200 existing in the real field of view.

以上、説明してきたように、本実施形態に係る翻訳システムによれば、上述した本発明の第１の実施形態に係る情報端末装置１０が備えていた構成要素の一部をサーバ２に設けることにより、情報端末装置１０の処理負担の軽減、筐体２０の省スペース化、軽量化などを図ることができる。 As described above, according to the translation system according to the present embodiment, some of the components included in the information terminal device 10 according to the first embodiment of the present invention described above are provided in the server 2. As a result, the processing load on the information terminal device 10 can be reduced, the space of the housing 20 can be reduced, and the weight can be reduced.

以上、本実施形態に係る翻訳システムについて図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
第１に、上述した実施形態において、サーバ２が備える各構成要素や処理部７２２が実現させる各種機能は、一例であり、これらの一部が情報端末装置１に備えられていても良い。例えば、コンバイナー６０を介した実視野中に観察対象が存在するか否かを判定する判定機能、及び、観察対象が発した音声信号に基づいて観察対象の状態を解析し、この解析結果に応じ他表意内容を第２のデータベース７４から抽出する状態解析機能、又は、これらのいずれか一方が、情報端末装置１に備えられていても良い。 The translation system according to this embodiment has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like that do not depart from the gist of the present invention. It is.
1stly, in the embodiment mentioned above, each component with which the server 2 is provided, and the various functions which the process part 722 implement | achieve is an example, These may be provided in the information terminal device 1. FIG. For example, the state of the observation target is analyzed based on a determination function for determining whether or not the observation target exists in the real field of view via the combiner 60, and an audio signal emitted from the observation target, and according to the analysis result The information terminal device 1 may be provided with a state analysis function for extracting other ideographic contents from the second database 74 or any one of them.

第２に、第１のデータベース７３又は第2のデータベース７４は、処理部７２１及び７２２が実現させる機能に応じて、情報端末装置１に備えられていても良い。また、音声取得部３は、情報端末装置１に備えられていても良い。
第３に、上述した通信部７１、通信部６、及び通信装置１０１の間で行われるデータ通信の規格は、特に限定されるものではなく、例えば、ブルーツースなどの無線インターフェースにより直接的に行われても良い。また、各通信部及び通信装置間の通信経路についても適宜選択することができる。 Secondly, the first database 73 or the second database 74 may be provided in the information terminal device 1 according to the functions realized by the processing units 721 and 722. The voice acquisition unit 3 may be provided in the information terminal device 1.
Third, the standard of data communication performed between the communication unit 71, the communication unit 6, and the communication device 101 described above is not particularly limited, and is performed directly by a wireless interface such as Bluetooth. May be. In addition, a communication path between each communication unit and the communication device can be selected as appropriate.

本発明の第１の実施形態に係る情報端末装置の構成例を示す外観斜視図である。It is an external appearance perspective view which shows the structural example of the information terminal device which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る情報端末装置の構成例を示す外観斜視図である。It is an external appearance perspective view which shows the structural example of the information terminal device which concerns on the 1st Embodiment of this invention. 図１に示した画像表示部、コンバイナーの作用を説明するための図である。It is a figure for demonstrating the effect | action of the image display part shown in FIG. 1, and a combiner. 本発明の第１の実施形態に係る情報端末装置の電気的構成例を示すブロック図である。It is a block diagram which shows the electrical structural example of the information terminal device which concerns on the 1st Embodiment of this invention. 図１に示した情報端末装置の使用時の状態を示す斜視図である。It is a perspective view which shows the state at the time of use of the information terminal device shown in FIG. 図４に示した第２のデータベースに格納されている情報について説明するための図である。It is a figure for demonstrating the information stored in the 2nd database shown in FIG. 図４に示した第２のデータベースに格納されている音声テーブルの一例を示す図である。It is a figure which shows an example of the audio | voice table stored in the 2nd database shown in FIG. 図４に示した第２のデータベースに格納されている音声テーブルの一例を示す図である。It is a figure which shows an example of the audio | voice table stored in the 2nd database shown in FIG. 本発明の第１の実施形態に係る情報端末装置の作用を示すフローチャートである。It is a flowchart which shows the effect | action of the information terminal device which concerns on the 1st Embodiment of this invention. 実視野中に観察対象が存在した場合に、使用者により、コンバイナーを介して視認される画像の一例を示した図である。It is the figure which showed an example of the image visually recognized via a combiner by the user, when an observation target exists in a real visual field. 本発明の一実施形態に係る翻訳システムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the translation system which concerns on one Embodiment of this invention.

符号の説明Explanation of symbols

１、１０情報端末装置
２サーバ
３音声取得装置
２０筐体
３０表示装置
４０撮像装置
５０画像表示部
６０コンバイナー
６、７１通信部
７２、７２１、７２２処理部
７３第１のデータベース
７４第２のデータベース
７５画像表示制御部
１００マイク
１０１通信装置 1, 10 Information terminal device 2 Server 3 Voice acquisition device 20 Housing 30 Display device 40 Imaging device 50 Image display unit 60 Combiner 6, 71 Communication unit 72, 721, 722 Processing unit 73 First database 74 Second database 75 Image display control unit 100 Microphone 101 Communication device

Claims

画像表示部と、
使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子と、
観察対象の音声を取得する音声取得部と、
前記半透過光学素子を介した実視野中に存在する前記観察対象を検出する検出部と、
前記検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、
前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部により取得された前記音声に基づいて、前記観察対象の状態を解析する状態解析部と、
前記状態解析部の解析結果を前記画像表示部に表示させる画像表示制御部と
を備える情報端末装置。 An image display unit;
A transflective optical element that transmits light from the real field of view of the user's line of sight and displays the information displayed on the image display unit optically as a virtual image in a superimposed manner in the real field;
An audio acquisition unit for acquiring the audio of the observation target;
A detection unit for detecting the observation target existing in a real field of view through the transflective optical element;
Based on the detection result of the detection unit, a determination unit that determines whether the observation target exists in the real field of view,
A state analysis unit that analyzes the state of the observation target based on the sound acquired by the sound acquisition unit when the determination unit determines that the observation target is present in the real field of view;
An information terminal device comprising: an image display control unit that causes the image display unit to display an analysis result of the state analysis unit.

前記検出部が、前記実視野の方向を撮像する撮像部を備え、
前記判定部が、前記撮像部から出力される画像情報と予め登録されている観察対象の画像情報とを照合することにより、前記観察対象が前記実視野中に存在するか否かを判定する請求項１に記載の情報端末装置。 The detection unit includes an imaging unit that images the direction of the real field of view,
The determination unit determines whether or not the observation target exists in the real field of view by comparing image information output from the imaging unit with image information of the observation target registered in advance. Item 4. The information terminal device according to Item 1.

前記検出部が、当該本体及び前記観察対象の近傍に設置された一対の発振器及び受信機を備え、
前記判定部が、前記発振器から発せられた信号が前記受信機により受信されたか否かにより、前記観察対象が前記実視野中に存在するか否かを判定する請求項１に記載の情報端末装置。 The detection unit includes a pair of an oscillator and a receiver installed in the vicinity of the main body and the observation target,
The information terminal device according to claim 1, wherein the determination unit determines whether or not the observation target is present in the real field of view based on whether or not a signal generated from the oscillator is received by the receiver. .

前記検出部が、位置及び方向を特定する方位情報測定部を備え、
前記判定部が、前記方位情報測定部により特定された位置及び方向に基づいて決定される所定の範囲内に、予め登録されている観察対象が存在するか否かを判定することにより、前記観察対象が前記実視野中に存在するか否かを判定する請求項１に記載の情報端末装置。 The detection unit includes an orientation information measurement unit that specifies a position and a direction,
The determination unit determines whether or not a pre-registered observation target exists within a predetermined range determined based on the position and direction specified by the direction information measurement unit. The information terminal device according to claim 1, wherein it is determined whether a target exists in the real field of view.

前記観察対象が前記実視野中に存在しない場合であって、前記音声取得部により前記観察対象の音声が取得された場合には、前記画像表示制御部は、前記観察対象が前記実視野中に存在する場合と異なる表示内容を前記画像表示部に表示させる請求項１から請求項４のいずれかの項に記載の情報端末装置。 When the observation target does not exist in the real field of view and the sound of the observation target is acquired by the sound acquisition unit, the image display control unit is configured to display the observation target in the real field of view. The information terminal device according to any one of claims 1 to 4, wherein display content different from the case of being present is displayed on the image display unit.

前記状態解析部が、
前記音声と観察対象の状態とが対応付けられたデータベースと、
前記音声取得部により取得された音声に対応する前記観察対象の状態を前記データベースから抽出する抽出部と
を具備する請求項１から請求項５のいずれかの項に記載の情報端末装置。 The state analysis unit
A database in which the voice and the state of the observation target are associated;
The information terminal device according to any one of claims 1 to 5, further comprising: an extraction unit that extracts a state of the observation target corresponding to the voice acquired by the voice acquisition unit from the database.

前記判定部により、前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部が起動する請求項１から請求項４のいずれかの項に記載の情報端末装置。 The information terminal device according to any one of claims 1 to 4, wherein the sound acquisition unit is activated when the determination unit determines that the observation target is present in the real visual field.

少なくとも画像表示部、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子を備える情報端末装置と、
前記半透過光学素子を介した実視野中に存在する前記観察対象を検出する検出部と、
前記観察対象の音声を取得する音声取得部と、
前記検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、
前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部により取得された前記音声に基づいて、前記観察対象の状態を解析する状態解析部とを備え、
前記状態解析部の解析結果を前記情報端末装置の前記画像表示部に表示させる翻訳システム。 At least an image display unit, a transflective optical element that transmits light from a real field of view in the user's line of sight and displays the information displayed on the image display unit as an optical virtual image in a superimposed manner in the real field of view An information terminal device comprising:
A detection unit for detecting the observation target existing in a real field of view through the transflective optical element;
An audio acquisition unit for acquiring the observation target audio;
Based on the detection result of the detection unit, a determination unit that determines whether the observation target exists in the real field of view,
A state analysis unit that analyzes the state of the observation target based on the voice acquired by the voice acquisition unit when the determination unit determines that the observation target is present in the real field of view;
The translation system which displays the analysis result of the said state analysis part on the said image display part of the said information terminal device.