JP2018097437A - Wearable information display terminal and system including the same - Google Patents
Wearable information display terminal and system including the same Download PDFInfo
- Publication number
- JP2018097437A JP2018097437A JP2016238874A JP2016238874A JP2018097437A JP 2018097437 A JP2018097437 A JP 2018097437A JP 2016238874 A JP2016238874 A JP 2016238874A JP 2016238874 A JP2016238874 A JP 2016238874A JP 2018097437 A JP2018097437 A JP 2018097437A
- Authority
- JP
- Japan
- Prior art keywords
- information display
- user
- data
- display terminal
- wearable information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、ウェアラブル情報表示端末及びこれを備えるシステムに関し、より詳しくは、ウェアラブル情報表示端末に表示されたオブジェクトとの対話形式でユーザの行動を支援するシステムに関する。 The present invention relates to a wearable information display terminal and a system including the wearable information display terminal, and more particularly, to a system that supports user actions in an interactive manner with an object displayed on the wearable information display terminal.
近年、スマートフォンの普及に伴い、ユーザはいつでもどこでも情報を手軽に取得できるようになった。こうした状況に鑑みて、ユーザの所在位置に基づき近隣の公共施設や店舗情報、又ユーザ個人の興味や行動に関連する広告を提供するサービスの実用化が進んでいる。しかし、スマートフォンは、情報を検索するために、スマートフォン本体をポケットやカバンから取り出して、画面表示をオンにしたり、カメラやアプリケーションを起動させたりする等の操作が必要である。 In recent years, with the spread of smartphones, users can easily obtain information anytime and anywhere. In view of these circumstances, services that provide advertisements related to nearby public facilities and store information, and individual interests and actions of users based on the location of the user have been put into practical use. However, in order to search for information, the smartphone needs operations such as taking out the smartphone main body from the pocket or bag, turning on the screen display, or starting the camera or application.
一方、ユーザの身体に取り付けて使用することができる様々な形態のウェアラブルデバイスが実用化され、今後、広く利用されるようになると期待される。特に頭部に装着して常時使用できるヘッドマウントディスプレイ（ＨＭＤ）は、ユーザがＨＭＤを装着した状態で行動する際に、必要な情報を確認したり、他のユーザと情報交換を行ったりする利用形態をサポートし得る。このため、ユーザが外界の実像を認識しながら、画像データに基づく画像をユーザの眼に視認可能に表示するタイプのものが提案されている。 Meanwhile, various types of wearable devices that can be used by being attached to the user's body have been put into practical use and are expected to be widely used in the future. In particular, a head mounted display (HMD) that can be worn on the head and used at all times is used to check necessary information or exchange information with other users when the user acts with the HMD attached. Can support the form. For this reason, there has been proposed a type in which an image based on image data is displayed so as to be visible to the user's eyes while the user recognizes a real image of the outside world.
例えば、特許文献１には、画像表示部を眼鏡または他のヘッドギヤに取り付けることができる簡単な装着システムによって結合する頭部装着ディスプレイ・デバイスが開示されている。このディスプレイ・デバイスは、ユーザの目に細長い部材の延長方向を横切って周囲の光を通過することができるように構成された細長い部材からなるサポートを含み、このサポートに支持された液晶ディスプレイからの画像を、接眼レンズ組立体を介してユーザの眼に送るもので、接眼レンズは取付け具によりユーザの眼の前に装着される。
For example,
また、特許文献２には、コール機能を備えたデバイスに対する広告システムが記載されている。しかし、このシステムは、広告サービスを提供する事業者の観点からユーザの求めるドキュメントに、クライアントデバイスの所在位置に関する情報に基づく地域店舗や施設情報等の広告情報を付加して提供するものであって、ユーザが本来の目的である検索行動を支援し、クライアントデバイスの使い勝手を向上させるものではなかった。
このため、ユーザがどこでも簡単に有用な情報を取得でき、ユーザに様々なサービスを提供するウェアラブル情報表示端末を備えるシステム、特に、ユーザ毎に最適化された行動を支援する手段を備え、携行性及び即応性に優れたユーザフレンドリーなウェアラブル情報表示端末を備えるシステムが求められている。 For this reason, a system including a wearable information display terminal that allows a user to easily obtain useful information anywhere and provides various services to the user, in particular, a means for supporting an action optimized for each user, and portability In addition, there is a need for a system including a user-friendly wearable information display terminal having excellent responsiveness.
本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、ユーザごとにカスタマイズされて使用履歴に基づく学習機能を備え、利便性が継続的に向上可能なウェアラブル情報表示端末を用いる行動支援システムを提供することにある。 The present invention has been made in view of the above-described conventional problems, and an object of the present invention is to provide a wearable that is customized for each user and has a learning function based on a usage history, and the convenience can be continuously improved. The object is to provide an action support system using an information display terminal.
上記目的を達成するためになされた本発明の一態様によるウェアラブル情報表示端末は、ユーザの視界内に情報及びオブジェクトを表示するウェアラブル情報表示端末であって、前記ウェアラブル情報表示端末は、少なくともカメラ、マイク、並びにＸＹＺの３軸のそれぞれに対して加速度、角速度、及び地磁気を検出する複数の多軸センサを含む入力部と、前記オブジェクトの表現データを格納する記憶部と、前記オブジェクトを実空間の座標系に合わせて表示させる表示制御部と、前記オブジェクトをユーザの視界内に表示する情報表示部と、音声出力部と、通信部と、を備え、前記表示制御部は、前記オブジェクトの表現データを、前記複数の多軸センサで検出された前記ウェアラブル情報表示端末の向き、傾き、及び動きに応じて、質量、重力加速度、運動エネルギー保存則、及び慣性力を含む地球環境下における物理法則に従う変換規則に基づいて、前記オブジェクトの音声、サイズ、及び動きに変換し、ユーザの視線方向に前記変換されたオブジェクトの一部または全体を拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）で表示させることを特徴とする。 A wearable information display terminal according to an aspect of the present invention made to achieve the above object is a wearable information display terminal that displays information and objects in a user's field of view, and the wearable information display terminal includes at least a camera, A microphone and an input unit including a plurality of multi-axis sensors that detect acceleration, angular velocity, and geomagnetism for each of the three axes of XYZ, a storage unit that stores expression data of the object, and the object in real space A display control unit configured to display in accordance with a coordinate system; an information display unit that displays the object in a user's field of view; an audio output unit; and a communication unit, wherein the display control unit includes expression data of the object Depending on the orientation, inclination, and movement of the wearable information display terminal detected by the plurality of multi-axis sensors, Based on conversion rules according to physical laws in the global environment including quantity, gravitational acceleration, kinetic energy conservation law, and inertial force, the object is converted to voice, size, and movement, and the converted to the user's gaze direction A part or the whole of an object is displayed in augmented reality (AR: Augmented Reality).
前記オブジェクトは、前記複数の多軸センサで検出された前記ウェアラブル情報表示端末を装着したユーザの視線方向、移動方向、及び動作のセンシングデータに基づいて、現実の背景画像に重畳して実空間の座標系の所定の位置に視認されるように前記画像表示部に表示され得る。 The object is superimposed on an actual background image based on sensing data of a gaze direction, a moving direction, and a motion of a user wearing the wearable information display terminal detected by the plurality of multi-axis sensors. It can be displayed on the image display unit so as to be visually recognized at a predetermined position in the coordinate system.
上記目的を達成するためになされた本発明の他の態様によるウェアラブル情報表示端末は、ユーザの視界内に情報及びオブジェクトを表示するウェアラブル情報表示端末であって、少なくともカメラ、マイク、並びにＸＹＺの３軸のそれぞれに対して加速度、角速度、及び地磁気を検出する複数の多軸センサを含む入力部と、前記オブジェクトの表現データを格納する記憶部と、前記オブジェクトを実空間の座標系に合わせて表示させる表示制御部と、前記オブジェクトをユーザの視界内に表示する情報表示部と、音声出力部と、通信部と、を備え、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）機能を有して、ユーザ毎にカスタマイズされた、行動を支援する手段をさらに備え、前記行動を支援する手段は、使用履歴に基づく不要データの選別を通じて、ユーザの個人的選好に適合する支援項目及び支援方法を学習し、前記行動を支援する手段の人工知能の精度を継続的に向上させる手段を含み、前記人工知能の機能的な成長及び前記オブジェクトの外見上の変化は、前記ウェアラブル情報表示のカメラで撮影されたユーザ視線方向の画像から読み取られる実空間の環境情報または前記複数の多軸センサで検出されたユーザの運動情報、位置情報、及び前記使用履歴に対応する通信データ量に連動して外見上の表現データを変更するかまたは補間して生成された画像データへの変化を含み、ユーザの視線方向に前記画像データの一部または全てが拡張現実で表示されることを特徴とする。 A wearable information display terminal according to another aspect of the present invention made to achieve the above object is a wearable information display terminal that displays information and objects in a user's field of view, and includes at least a camera, a microphone, and XYZ 3 An input unit including a plurality of multi-axis sensors for detecting acceleration, angular velocity, and geomagnetism for each axis, a storage unit for storing expression data of the object, and displaying the object according to a coordinate system in real space A display control unit, an information display unit that displays the object in the user's field of view, an audio output unit, and a communication unit, and has an artificial intelligence (AI) function for each user. Customized means for supporting actions, the means for supporting actions being used Including means for continuously learning the support items and support methods adapted to the user's personal preference through the selection of unnecessary data based on the above, and continuously improving the accuracy of the artificial intelligence of the means for supporting the behavior, Functional growth and changes in the appearance of the object include real space environment information read from an image in the user's line of sight taken by the wearable information display camera or user's detected by the plurality of multi-axis sensors. Including movement information, position information, and change to image data generated by changing or interpolating apparent expression data in conjunction with the amount of communication data corresponding to the usage history, Part or all of the image data is displayed in augmented reality.
前記オブジェクトの外見上の変化は、通算の通信データ量Ｄが下記数式１に示す所定の通信データ量Ｄ１の倍数であるしきい値Ｄｔｍに到達する毎に、段階的に変化し得る。
［数１］
Ｄｔｍ＝ｍ×Ｄ１
（ここで、ｍは１以上の整数、Ｄ１は予め設定された所定の通信データ量である）
また、ユーザの周辺状況またはユーザ入力に基づいて、前記人工知能によりユーザの個人選好に適合する行動を支援する手段を判定し、前記判定に基づいて行動支援プログラムによる行動支援を実行するか、またはコンシェルジュサポートを行う外部の支援サイトに前記ウェアラブル情報表示端末を接続するかを選択する手段をさらに備え、前記選択する手段は、ユーザからの選択入力により接続先を切り替えるか、またはユーザのオーダー数が所定の数値を超えた場合もしくはシステムによる回答が一定数量以下に絞り込めない場合に、強制的に外部のコンシェルジュサポートに接続する手段を備え得る。
前記表示制御部は、人間の知覚視野角と、オブジェクトとの相対位置及び距離とに応じて、描画の停止または拡張現実で表示するための画像変換処理を停止して、画像データの演算処理に必要なメモリ使用量を制御するようにオブジェクトの表示制御を行い得る。
Change in appearance of the object, every time communication data amount D of total reaches the threshold Dt m is a multiple of a predetermined communication data amount D1 shown in
[Equation 1]
Dt m = m × D1
(Here, m is an integer of 1 or more, and D1 is a predetermined communication data amount set in advance)
Further, based on the user's surroundings or user input, determine means for supporting an action that matches the user's personal preference by the artificial intelligence, and based on the determination, execute action support by an action support program, or It further comprises means for selecting whether to connect the wearable information display terminal to an external support site that performs concierge support, and the means for selecting switches the connection destination by a selection input from the user, or the order number of the user is A means for forcibly connecting to an external concierge support may be provided when a predetermined numerical value is exceeded or when the number of responses by the system cannot be narrowed to a certain number or less.
The display control unit stops drawing conversion or image conversion processing for displaying in augmented reality according to a human perceived viewing angle and a relative position and distance to an object, and calculates image data. Object display control can be performed to control the required memory usage.
上記目的を達成するためになされた本発明の一態様によるウェアラブル情報表示端末を備えるシステムは、前記に記載のウェアラブル情報表示端末及び管理サーバで構成されるシステムであって、前記ウェアラブル情報表示端末は、ネットワークを介して通信可能に接続された管理サーバまたは前記ウェアラブル情報表示端末に含まれる所定の機能が実行されるように構成されることを特徴とする。 A system comprising a wearable information display terminal according to one aspect of the present invention made to achieve the above object is a system comprising the wearable information display terminal and the management server described above, wherein the wearable information display terminal is A predetermined function included in the management server or the wearable information display terminal that is communicably connected via a network is configured to be executed.
前記管理サーバまたは前記ウェアラブル情報表示端末は、ユーザ毎の個人識別データ、過去の利用履歴データ、個人選択された設定情報、及びオブジェクトの表現データを保管する情報記憶部と、前記ウェアラブル情報表示端末の入力部から受信した要求入力に基づいて所定の機能を実現させるための制御部と、前記ウェアラブル情報表示端末の入力部から受信したセンシングデータ、画像データに基づく当該端末の位置データ、及び視線方向の画像データを獲得する位置検出部と、所定のアルゴリズムを利用して前記獲得された位置データ及び視線方向の画像データ並びに前記情報記憶部に保管されたユーザ毎の過去の当該システム利用履歴データに基づき、前記ウェアラブル情報表示端末を装着しているユーザに提供する関連情報をネットワークサーバから収集するデータ検索部と、前記ウェアラブル情報表示端末上で作り出されて実空間のユーザと対話するオブジェクトをユーザに表示するための画像データを生成する拡張現実画像処理部と、前記所定の機能を実現させた結果またはユーザに提供する関連情報を前記オブジェクトの画像データとともに所定の表示形態で前記ウェアラブル情報表示端末に表示させるように制御する画像処理部と、を備え、前記管理サーバまたはウェアラブル情報表示端末は、各ユーザの過去の利用履歴データに基づいて前記所定の機能及びオブジェクトの構成データをユーザ毎に更新し得る。
前記ウェアラブル情報表示端末から前記管理サーバに送信されたデータ量等に基づいて、前記識別されたユーザ毎にシステム利用料の課金データを更新し得る。
前記ウェアラブル情報表示端末の入力部は、個人認証のための生体情報データを取得するセンサをさらに有し、前記管理サーバは、前記ウェアラブル情報表示端末の入力部から受信した前記生体情報データに基づき、前記ウェアラブル情報表示端末を装着しているユーザを認証して、前記認証されたユーザに前記情報記憶部へのアクセスを許可し得る。
前記オブジェクトの表現データは、前記オブジェクトの外観、表情、及び所作を表示する画像データと前記オブジェクトの音声データとを含み得る。
前記オブジェクトは、前記ウェアラブル情報表示端末を装着したユーザの視界内で等身大に視認されるように表示され得る。
前記ウェアラブル情報表示端末は、前記ウェアラブル情報表示端末を装着したユーザの使用状態に応じて、異なる動作モードに設定され、前記異なる動作モードには、前記入力部のカメラ、マイク、タッチパネル、または多軸センサが動作する状態である通常モード並びに前記入力部のカメラ、マイク、タッチパネル、または多軸センサが停止状態であるプライバシーモードを含み得る。
複数の前記ウェアラブル情報表示端末が前記システムを相互利用する場合、第１の使用者のウェアラブル情報表示端末に保有されて第１の使用者が視認しているオブジェクトデータを、第２の使用者のウェアラブル情報表示端末に表示する際に、第２の使用者のウェアラブル情報表示端末に表示されるオブジェクトデータを、前記第１及び第２の使用者のウェアラブル情報表示端末間の直接的なデータ交換か又はサーバを介したデータ交換によって転送し得る。
The management server or the wearable information display terminal includes an information storage unit for storing personal identification data for each user, past usage history data, personally selected setting information, and object expression data, and the wearable information display terminal. A control unit for realizing a predetermined function based on a request input received from the input unit; sensing data received from the input unit of the wearable information display terminal; position data of the terminal based on image data; Based on a position detection unit that acquires image data, the position data acquired using a predetermined algorithm, the image data in the line-of-sight direction, and the past system usage history data for each user stored in the information storage unit , Network related information to be provided to the user wearing the wearable information display terminal. A data search unit that collects data from a work server, an augmented reality image processing unit that generates image data for displaying to the user an object that is created on the wearable information display terminal and interacts with the user in the real space; An image processing unit for controlling the wearable information display terminal to display the result of realizing the function or the related information provided to the user together with the image data of the object in a predetermined display form, and the management server or the wearable The information display terminal can update the predetermined function and object configuration data for each user based on past usage history data of each user.
Based on the amount of data transmitted from the wearable information display terminal to the management server, the system usage fee billing data can be updated for each identified user.
The input unit of the wearable information display terminal further includes a sensor that acquires biometric information data for personal authentication, and the management server is based on the biometric information data received from the input unit of the wearable information display terminal, The user wearing the wearable information display terminal may be authenticated, and the authenticated user may be allowed to access the information storage unit.
The expression data of the object may include image data that displays the appearance, expression, and behavior of the object and audio data of the object.
The object may be displayed so as to be seen in a life-size manner within the field of view of the user wearing the wearable information display terminal.
The wearable information display terminal is set to a different operation mode according to a use state of a user wearing the wearable information display terminal, and the different operation mode includes a camera, a microphone, a touch panel, or a multi-axis of the input unit. It may include a normal mode in which the sensor operates and a privacy mode in which the camera, microphone, touch panel, or multi-axis sensor of the input unit is in a stopped state.
When a plurality of the wearable information display terminals mutually use the system, the object data held by the first user's wearable information display terminal and viewed by the first user is stored in the second user's wearable information display terminal. Whether the object data displayed on the wearable information display terminal of the second user is directly exchanged between the first and second wearable information display terminals when displayed on the wearable information display terminal. Alternatively, it can be transferred by data exchange through a server.
本発明のウェアラブル情報表示端末によれば、ユーザごとにカスタマイズされて親しみやすい擬人化オブジェクトがユーザ・インターフェースとして利用可能になる。これにより、ユーザが本ウェアラブル情報表示端末を装着して行動する期間中に、ユーザに有用な情報を対話形式で速やかに取得できるという効果を奏する。 According to the wearable information display terminal of the present invention, an anthropomorphic object that is customized for each user and is familiar can be used as a user interface. Thereby, during the period when the user wears the wearable information display terminal and acts, there is an effect that information useful to the user can be quickly acquired in an interactive manner.
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。 Hereinafter, specific examples of embodiments for carrying out the present invention will be described in detail with reference to the drawings.
本発明によるウェアラブル情報表示端末及びこれを備えるシステムは、仮想現実で作り出される擬人化されたオブジェクトとしてのキャラクタ画像、例えば、バーチャルな秘書を、ウェアラブル情報表示端末の表示画面上で、実空間の座標系に合わせてユーザの視界内に視認可能に表示し、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）機能を備えて、バーチャル秘書とユーザとの対話形式で、ユーザ毎にカスタマイズされた行動を支援する各種機能を実行し、ウェアラブル情報表示端末は、ユーザが外部の情報機器やサーバシステムにインターネットまたはコンピュータ・ネットワーク（以下、ネットワークと略称する）を介してアクセスし、所望のサービスを受ける際の携行性に優れたユーザ・インタフェースとなる。 The wearable information display terminal according to the present invention and a system including the same are used to display a character image as a personified object created in virtual reality, for example, a virtual secretary on the display screen of the wearable information display terminal in real space coordinates. Various functions that display in the user's field of view according to the system, have AI (Artificial Intelligence) function, and support customized actions for each user in the form of interaction between the virtual secretary and the user The wearable information display terminal is excellent in portability when a user accesses an external information device or server system via the Internet or a computer network (hereinafter abbreviated as a network) and receives a desired service. User interface and That.
本発明によるウェアラブル情報表示端末及びこれを備えるシステムは、ウェアラブル情報表示端末を装着したユーザの行動を支援する時に、ウェアラブル情報表示端末が備える各種センサ及びカメラによって取得されたユーザの状況を判断して、学習（状況の学習だけでなくユーザの応答や反応等も含む）を行い、各支援を実行する時点での周囲状況とそれまでの学習結果に基づいて、擬人化されたオブジェクトがユーザに対し、ユーザの意図に最も近い処理を多様な形態（行為＝動きと音声）で提供する。これによりユーザは、ユーザが親しみやすい個人ごとのバーチャルな秘書またはコンシェルジュを同伴する感覚で情報の検索、収集、及び提供を受けることが可能になり、利便性が高く快適な行動環境を具現することができる。 The wearable information display terminal and the system including the wearable information display terminal according to the present invention determine the user's situation acquired by various sensors and cameras included in the wearable information display terminal when supporting the behavior of the user wearing the wearable information display terminal. , Learning (including not only situation learning but also user responses and reactions), and based on the surrounding situation at the time of executing each support and the learning results so far, anthropomorphic objects are given to the user The processing closest to the user's intention is provided in various forms (action = motion and voice). This enables users to search, collect and provide information as if they were accompanied by a virtual secretary or concierge for each individual that the user is familiar with, and to realize a convenient and comfortable behavioral environment. Can do.
ここで、ウェアラブル情報表示端末に出現させるバーチャルな秘書またはコンシェルジュは、人間と同様に判断し学習する疑似人格化（仮想人格化）された客体である。従って、同一の周囲状況であっても過去の学習内容等に応じてバーチャル秘書のコミュニケーションの内容は異なる。例えば、ユーザに興味のない情報を提供するという判断ミスも有り、判断ミスによる不要な応答をすることもある。これらバーチャル秘書からの提供情報に対するユーザの応答により、判断ミスか否かを判定して学習する。バーチャル秘書として画像表示されるキャラクタ（容姿）は、写真やアニメ等から所望の人物像を設定可能であり、また人間的な容姿である必要はなく、例えば、犬、猫、サル等の動物の実物像や人間的に図案化（イラスト化）した容姿であってもよく、更にロボット的な容姿であってもよい。またバーチャル秘書の年齢も一定である必要はなく、バーチャル秘書の学習機能として、最初は子供の容姿で、利用経過と共に成長して容姿が変化していく（例えば、大人の容姿に変化し、更に老人の容姿に変化していく）ようにしてもよい。バーチャル秘書の容姿や音声については、複数の容姿、複数の音声の中から選択することが可能である。 Here, the virtual secretary or concierge that appears on the wearable information display terminal is a pseudo-personalized (virtual personalized) object that is judged and learned in the same manner as a human being. Therefore, even in the same surrounding situation, the contents of the virtual secretary communication differ depending on the past learning contents and the like. For example, there is a misjudgment of providing information that is not of interest to the user, and an unnecessary response due to a misjudgment may occur. Based on the response of the user to the information provided from these virtual secretaries, it is determined whether or not there is a determination error and learning is performed. The character (appearance) displayed as a virtual secretary can be set to a desired human figure from photographs, animations, etc., and does not have to be human-appearance. For example, the character of an animal such as a dog, cat, or monkey It may be a real image, a human figure (illustration), or a robot-like appearance. The age of the virtual secretary does not need to be constant. The learning function of the virtual secretary is that the child's appearance at first, and the appearance changes with the progress of use (for example, changes to the appearance of an adult, It may be changed to the appearance of an old man). The appearance and sound of the virtual secretary can be selected from a plurality of appearances and a plurality of sounds.
以下、ユーザが、ウェアラブル情報表示端末を装着して利用する本発明の一実施形態による行動支援システムの構成を詳細に説明する。 Hereinafter, the configuration of an action support system according to an embodiment of the present invention in which a user wears and uses a wearable information display terminal will be described in detail.
図１は、本発明の一実施形態によるウェアラブル情報表示端末を備える行動支援システムの全体構成を示す図である。 FIG. 1 is a diagram illustrating an overall configuration of an action support system including a wearable information display terminal according to an embodiment of the present invention.
本実施形態によるウェアラブル情報表示端末を備えるシステム１は、ウェアラブル情報表示端末１００、及びウェアラブル情報表示端末１００にネットワーク２を介して通信可能に接続される管理サーバ２００で構成される。ウェアラブル情報表示端末１００は、ユーザの視界内に画像データに基づく情報及びオブジェクトを表示する画像表示部がユーザの眼前に保持される機構又は部材を有するウェアラブル情報表示端末であり、管理サーバ２００は、少なくとも、システム全般を制御するシステム制御部２１０と、行動を支援する手段を実行して機能させるための各種プログラム及びデータを格納する記憶部２２０と、外部の複数のサーバ及び複数のウェアラブル情報表示端末とのネットワーク接続を制御する通信インターフェイス（Ｉ／Ｆ）部２３０を備えるコンピュータである。なお、ウェアラブル情報表示端末１００は、無線通信手段によりアクセスポイントＡＰ経由でネットワーク２に接続される。以下、それぞれの構成を具体的に説明する。
A
図２は、本発明の一実施形態によるウェアラブル情報表示端末の一例を示す全体図である。 FIG. 2 is an overall view showing an example of a wearable information display terminal according to an embodiment of the present invention.
ウェアラブル情報表示端末１００は、画像データの撮影、送受信、及び表示を行う頭部装着可能なコミュニケーション装置であって、画像表示ユニット１０、本体ユニット２０、及び連結部材（図示せず）を備える。ウェアラブル情報表示端末１００は、連結部材を介して、図示しないが別途のヘッドバンド又は眼鏡型フレームに、画像表示ユニット１０がユーザの眼前の観察位置に保持されるように固定される。
The wearable
図３は、図２に示す本発明の一実施形態によるウェアラブル情報表示端末の構成を示す概略図であり、（ａ）は平面図、（ｂ）は正面図である。 FIG. 3 is a schematic diagram showing the configuration of the wearable information display terminal according to the embodiment of the present invention shown in FIG. 2, wherein (a) is a plan view and (b) is a front view.
図３に示すように、ウェアラブル情報表示端末１００は、第１収納室１０ａ、第２収納室１０ｂ、及び支持部材１１で構成される画像表示ユニット１０と、画像表示ユニット１０に連結した筐体２０ａからなる本体ユニット２０とを備える。画像表示ユニット１０の第１収納室１０ａには、画像データを画像光に変換して出射する表示光学系３０、第２収納室１０ｂには、表示光学系３０で生成された画像光をユーザの眼Ｅに導く接眼光学系４０が収納され、本体ユニット２０の筐体２０ａ内には、ウェアラブル情報表示端末１００の動作全般を制御するための電子回路部品が搭載された印刷回路基板３４及びバッテリー３５などが収納される。また、本体ユニット２０の筐体２０ａの側面には、タッチバッド８７、及びウェアラブル情報表示端末１００をヘッドバンド又は眼鏡フレーム等に固定するための連結部材２０ｂが設けられる。
As shown in FIG. 3, the wearable
第１収納室１０ａに収納される表示光学系３０は、光源３１、集光レンズ３２、画像表示素子３３を備え、図示しないが、その他の光学素子及び画像表示素子の駆動回路などを含み、生成した画像光を接眼光学系４０に向かって出射する。また、第１収納室１０ａには、ビデオカメラ部８３が配備され、上述の構成部材を含んで画像光を生成する画像表示部３０Ｍ及びビデオカメラ部８３は、本体ユニット２０の筐体２０ａ内に収容された印刷回路基板３４及びバッテリー３５にフレキシブル配線（図示せず）により電気的に接続される。印刷回路基板３４には、ウェアラブル情報表示端末１００の制御及び各種機能を具現する各種電子デバイス及び部品が実装される。印刷回路基板３４に実装される各種電子デバイス及び部品の詳細は後述する。
The display
光源３１は、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の各色の光を放射するものであり、例えばＬＥＤ（発光ダイオード）からなる。なお、光源は、ＲＧＢ一体型のＬＥＤパネルで構成されることが好ましいが、単色光や白色光を放射するものであってもよい。光源３１からの光は、集光レンズ３２を介して集光されて画像表示素子３３に供給される。画像表示素子３３は、例えば、光が通過する領域となる各画素がマトリクス状に配置された液晶表示素子であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）で構成される。画像表示素子３３は、印刷回路基板３４に実装された所定の電子デバイスによって制御され、供給された光を変調して画像光を生成する。
The
なお、表示光学系３０は、上記の構成に限定されるものではなく、反射型液晶表示素子であるＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）、偏光ビームスプリッター（ＰＢＳ）、及び反射板等を組み合わせた構成にすることも可能である。
The display
第２収納室１０ｂ内に配置される接眼光学系４０は、プリズム４１及び接眼レンズ４２から構成される。プリズム４１は、表示光学系３０から入射した画像光の光路Ｌをユーザの眼Ｅの方向に反射する手段として機能する導光部材である。接眼レンズ４２は、正のパワー（屈折力）を持ち、画像光をユーザの眼Ｅに集光する。なお、プリズム４１は、単一のプリズムで構成されるか、または複数プリズムを組み合わせて構成される。本実施形態では、プリズム４１は、入射面に接合された接眼レンズ４２と一体に形成される。
The eyepiece
画像表示ユニット１０の支持部材１１は、上下方向（Ｚ軸方向）に互いに対面する２枚の支持板（１１ａ、１１ｂ）で構成され、両支持板の間には空間が存在する。したがって、支持部材１１によってユーザの視線は遮られない。なお、両支持板（１１ａ、１１ｂ）を補強するために支持部材１１を透明樹脂などの部材で覆うことも可能である。また、本実施形態では、支持部材１１は互いに対面する２枚の支持板（１１ａ、１１ｂ）で形成されるが、これに限定されない。例えば、単一の支持板または支柱で形成され得る。また、この場合、支持板または支柱は透明部材で形成してもよい。なお、第２収納室１０ｂのユーザの眼に対向する面には、ユーザの眼を保護するための透明な弾性部材からなるプロテクト板４４を配置してもよい。
The
図４は、図３に示すウェアラブル情報表示端末の本体ユニットの内部構成を示す概略図である。 FIG. 4 is a schematic diagram showing the internal configuration of the main unit of the wearable information display terminal shown in FIG.
図４に示すように、本体ユニット２０内には、中央処理装置（ＣＰＵ）７１、画像処理プロセッサ（ＧＰＵ）７３、フラッシュメモリチップ８１、ＳＲＡＭコンポーネント８２、オーディオ処理ＩＣ８４、無線通信用ＬＳＩモジュール８５、スピーカー８６、マイク８８、多軸センサ９２、及びウェアラブル情報表示端末の制御及び操作に必要なその他のコンポーネントが組み込まれた印刷回路基板３４が筐体２０ａ内に収納される。また、印刷回路基板３４の図示しない背面側には、音声認識、音声合成、及び画像認識を担う専用ＬＳＩが搭載される。さらに、筐体２０ａの側面に設けられたタッチバッド８７も、印刷回路基板３４に実装された所定のインターフェース部品に接続される。本体ユニット２０は、接続用フランジ１６を介して充電用又は通信用ケーブルを接続することも可能である。なお、図４において、筐体２０ａに対向する裏蓋は説明を簡潔にするため図示を省略している。
As shown in FIG. 4, the
一方、画像表示ユニット１０の第１収納室１０ａには、図示しないが、カメラを配置して、プリズム４１を介してユーザの瞳を撮影し、虹彩による個人認証を行うための画像データを取得する構成を備え得る。また、例えば、ＸＹＺの３軸のそれぞれに対応する３軸加速度センサ、３軸角速度センサ（ジャイロセンサ）、及び３軸地磁気センサを含む複数のセンサ（以下、多軸センサ９２と略記する）で構成され、ウェアラブル情報表示端末の向き、移動方向、及び動きを検出する。さらに、図示しないがＧＰＳチップを搭載するか又は無線基地局からの電波を利用した位置検出を行う構成を備える。
On the other hand, although not shown, a camera is disposed in the
本体ユニット２０の画像処理プロセッサ（ＧＰＵ）７３は、擬人化されたオブジェクトの画像データを、多軸センサ９２でリアルタイムに検出したウェアラブル情報表示端末の向き（ユーザの視線方向に対応）、移動方向、及び動きに関するセンシングデータに基づいて、自然法則に合わせた動きで、ユーザの視線方向の所定位置に所定の大きさ（例えば、等身大）で、オブジェクトの一部又は全体が視認されるようにデータ処理する。そして、中央処理装置（ＣＰＵ）７１は、表示光学系３０の画像表示部３０Ｍを制御して、画像処理プロセッサ（ＧＰＵ）７３でデータ処理されたオブジェクトの画像を、ビデオカメラ部８３で撮影した現実の背景画像に重畳して実空間の座標系に合わせて画面上に拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）で表示させる。
The image processing processor (GPU) 73 of the
図５は、拡張現実で表示されるオブジェクトをユーザが視認しているイメージを示す図である。ウェアラブル情報表示端末を装着したユーザには、実空間上の現実の風景に重ねて、ユーザの視線方向に擬人化されたオブジェクトの全体が等身大に視認される。 FIG. 5 is a diagram illustrating an image in which a user visually recognizes an object displayed in augmented reality. The user wearing the wearable information display terminal can see the entire object that is anthropomorphized in the direction of the user's line of sight over the actual landscape in real space.
また、本体ユニット２０の中央処理装置（ＣＰＵ）７１は、オーディオ処理ＩＣ８４を制御して、擬人化されたオブジェクトの音声データを、多軸センサ９２でリアルタイムで検出したウェアラブル情報表示端末の向き（ユーザの視線方向に対応）、移動方向、及び動きに関するセンシングデータに基づいて、ユーザが拡張現実で表示されたオブジェクトの画像を視認する距離に対応した音量でスピーカー８６から出力させる。なお、スピーカー８６は、外部騒音に影響されにくい骨伝導タイプのスピーカーを使用するのが望ましい。又、接続用フランジ１６を介して接続したイヤホン（図示せず）を使用することも可能である。この場合、両耳に対してステレオ若しくはサラウンド音声を出力し、ユーザが拡張現実で表示されたオブジェクトの画像を視認する方法及び距離に対応する音像定位を具現し得る。
Further, the central processing unit (CPU) 71 of the
ウェアラブル情報表示端末１００は、無線通信用ＬＳＩモジュール８５を駆動して、図１に示すように近隣のアクセスポイントＡＰを経由してネットワーク２を介して管理サーバ２００に通信可能に接続され、各種データ（例えば、音声データ、画像データ、センシングデータ）及び指令（要請及び／又は応答）を送受信し得る。また、無線通信用ＬＳＩモジュール８５を駆動して、他のウェアラブル情報表示端末に直接通信可能に接続され得る。無線通信の接続には、ＷｉＦｉ又はブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））を利用し得る。
The wearable
なお、本発明の一実施形態によるシステムに備えられるウェアラブル情報表示端末は、上述した形態に限定されず、例えば、単眼の虚像投影型ヘッドマウントディスプレイ、眼鏡の両レンズ位置に配置された導光板に画像を投影する透過型のヘッドマウントディスプレイの形態で構成することも可能である。 In addition, the wearable information display terminal provided in the system according to the embodiment of the present invention is not limited to the above-described form. For example, a monocular virtual image projection type head mounted display, a light guide plate disposed at both lens positions of glasses. It is also possible to configure in the form of a transmissive head-mounted display that projects an image.
以下、本発明の一実施形態によるウェアラブル情報表示端末のシステム構成について説明する。 Hereinafter, a system configuration of a wearable information display terminal according to an embodiment of the present invention will be described.
図６は、本発明の一実施形態によるウェアラブル情報表示端末のシステム構成を示すブロック図である。 FIG. 6 is a block diagram showing a system configuration of a wearable information display terminal according to an embodiment of the present invention.
本実施形態によるウェアラブル情報表示端末１００は、端末全体の制御を行う中央制御部１１０、本端末で実行される各種プログラム及びそれらに付随する各種データを格納する記憶部１２０、ユーザからの指令入力及びユーザへの応答出力を対話形式で処理する擬人対話処理部１１１、ユーザの指令に基づき所定の支援機能を実行させる支援機能制御部１１２、拡張現実画像処理部１１３、音声制御部１１４、位置情報処理部１１５、入力部１０Ｍに含まれる各構成要素及び画像表示部３０Ｍとの間で入出力データを制御する入出力Ｉ／Ｆ部１３０、及び入力部１０Ｍから受信した音声及び画像のデータを認識する音声画像認識部１４０を備える。音声画像認識部１４０は、音声合成機能を含む。入力部１０Ｍに含まれる各構成要素は、ビデオカメラ部８３、スピーカー８６、タッチバッド８７、マイク８８、多軸センサ９２である。また、ユーザの瞳を撮影するカメラ（インカメラと呼ぶ）９１を備え得る。
The wearable
中央制御部１１０は、ユーザからの指令入力に基づき、指定された機能を実行するように各部の制御を行う。記憶部１２０は、端末全般及び端末内の各部等が実行する各種プログラム及びそれらに付随する各種データを格納する情報記憶部１５０と、ユーザ個人の利用情報及び検索データを格納する検索データ記憶部１６０とを含む。情報記憶部１２０に格納されるプログラム及びデータの詳細は後述する。
The
音声画像認識部１４０は、入力部１０Ｍから受信した音声信号や画像信号を認識及び分析し、所定形式の入力データに変換して擬人対話処理部１１１及び支援機能制御部１１２に送信し、擬人対話処理部１１１及び支援機能制御部１１２からのテキスト出力データを受信して音声合成し、音声制御部１１４で調整された擬人化オブジェクトの音声データで変調して入出力Ｉ／Ｆ部１３０に送信する。
The voice
擬人対話処理部１１１は、ユーザからの指令入力及びユーザへの応答出力を対話形式で処理する。支援機能制御部１１２は、ユーザの周囲状況や過去の応答履歴等を学習して記憶部１２０に蓄積されたデータベースを参照して、ユーザ指示に基づく機能を実行させる。
The anthropomorphic
拡張現実画像処理部１１３は、ユーザと対話する擬人化オブジェクトの画像データを、ウェアラブル情報表示端末の姿勢及び向き情報（センシングデータ）に基づいて、実空間の座標に合わせて画像表示部３０Ｍの画面上に拡張現実で表示されるよう処理する。また、ビデオカメラ部８３で撮影した画像に検索情報を重畳させる処理を行う。例えば、中央制御部１１０は、ユーザが頭部を所定の方向に動かす動作を検知して、ユーザ視線に対応した所定の画面位置に擬人化オブジェクトの画像を表示するよう制御する。また、ユーザの視線軸とビデオカメラ部８３の光軸とが所定の時間保持された場合、これらの軸が一致した時の撮影画像を入力データと認識する。
The augmented reality
音声制御部１１４は、擬人化オブジェクトの音声データを、センシングデータに基づいて、ユーザが拡張現実で表示されたオブジェクトの画像を視認する位置に応じた音量でスピーカー８６から出力されるように制御する。位置情報処理部１１５は、ユーザが着用するウェアラブル情報表示端末の所在場所及周囲状況に関する各種の検出データを処理し、ウェアラブル情報表示端末の姿勢及び向きを特定するデータを生成する。
The
以下、本発明の一実施形態によるウェアラブル情報表示端末を備えるシステムの管理サーバを含むシステム構成について説明する。 Hereinafter, a system configuration including a management server of a system including a wearable information display terminal according to an embodiment of the present invention will be described.
図７は、本実施形態によるウェアラブル情報表示端末を備えるシステムの構成を示すブロック図である。 FIG. 7 is a block diagram illustrating a configuration of a system including the wearable information display terminal according to the present embodiment.
本実施形態によるシステムの管理サーバ２００は、システム全体を制御するシステム制御部２１０、ユーザに所定の情報を提供するデータ検索部２１１、ユーザの要請に基づき秘書機能等の所定の行動支援機能を提供する行動支援制御部２１２、オブジェクト画像処理部２１３、オブジェクト音声制御部２１４、位置情報管理部２１５、各種プログラム及びデータを格納する記憶部２２０、外部機器とのネットワーク接続を行って通信を制御する通信Ｉ／Ｆ部２３０、及びユーザとのデータ交換を対話形式に変換する擬人対話処理部２４０を備える。
The
システム制御部２１０は、各ユーザのウェアラブル情報表示端末（１００Ａ、１００Ｂ）から受信したユーザの要請入力に基づき、指定された行動支援機能を実行するように各部の制御を行う。
The
データ検索部２１１は、ネットワークサーバを探索して文字、音声、及び画像の情報データを提供する。行動支援制御部２１２は、各ユーザの周囲状況や過去の応答履歴等に基づく学習データベースを参照して所定の行動支援機能を実行する制御を行う。オブジェクト画像処理部２１３は、ユーザからの選択入力に基づき実空間でユーザと対話する擬人化オブジェクトの画像データを生成し、システム利用状況に応じてオブジェクト画像の更新処理を行う。オブジェクト音声制御部２１４は、ユーザからの選択入力に基づき擬人化オブジェクトの音声を設定し、システム利用状況に応じてオブジェクト音声の更新処理を行う。位置情報管理部２１５は、ユーザが着用するウェアラブル情報表示端末から送信された各種のセンシングデータ及び画像データに基づき、所在場所を特定し、位置情報データを各部に提供する。
The
記憶部２２０は、本システム全般及び各部等が利用する各種プログラム及びデータを格納する情報記憶部と、ユーザごとのシステム利用情報及び後述するユーザ興味リストを格納する検索データ記憶部２６０とを含む。通信Ｉ／Ｆ部２３０は、ネットワーク接続された各ウェアラブル情報表示端末及び外部サーバとの通信を制御する。擬人対話処理部２４０は、通信Ｉ／Ｆ部２３０とデータ検索部２１１及び行動支援制御部２１２との間に連結されて各ウェアラブル情報表示端末との応答を対話形式に変換する。
The
以下、管理サーバ２００の各構成要素の構成及び機能を詳しく説明する。
Hereinafter, the configuration and function of each component of the
データ検索部２１１及び行動支援制御部２１２は、個別に図示しないが、データ処理及び各処理部との連携動作を制御するプロセッサ（ＣＰＵ）及び当該ＣＰＵにデータバスや制御バス等のバスラインで接続されたＲＯＭ及びＲＡＭ等で構成される。データ検索部２１１及び行動支援制御部２１２は互いに接続されており、互いの処理データを取得することができる。ＲＯＭは、ＣＰＵで制御を行うための各種データやプログラムが予め格納されたリードオンリーメモリであり、ＲＡＭは、ＣＰＵがワーキングメモリとして使用するランダムアクセスメモリである。
Although not shown separately, the
データ検索部２１１及び行動支援制御部２１２を構成するＣＰＵ及びＣＰＵにバス接続されたＲＯＭ及びＲＡＭは、管理サーバ全体を共通に制御する一組の汎用プロセッサ（ＣＰＵ）及び汎用プロセッサにバス接続されたＲＯＭ及びＲＡＭで構成し得る。なお、汎用プロセッサは、マルチコアで構成されて、各コアにデータ検索部２１１及び行動支援制御部２１２のデータ処理を分担して実行させることも可能である。さらに、データ検索部２１１及び行動支援制御部２１２は、処理を高速化するため、それぞれの専用プロセッサ（ＣＰＵ）がＲＯＭに格納された各種プログラムを読み込んで各種処理を実行する構成とすることも可能である。
The CPU and ROM and RAM connected to the CPU constituting the
データ検索部２１１には、システム制御部２１０を介して検索データ記憶部２６０が接続され、各ユーザのウェアラブル情報表示端末（１００Ａ、１００Ｂ）から送信された位置検出データが通信Ｉ／Ｆ部２３０を介して入力される。行動支援制御部２１２には、システム制御部２１０を介して情報記憶部２５０が接続され、各ウェアラブル情報表示端末（１００Ａ、１００Ｂ）から送信された音声データ及び画像データが通信Ｉ／Ｆ部を介して入力される。
A search
管理サーバ２００は、記録媒体駆動装置２７０にセットされた外部記録媒体からコンピュータプログラムや各種データを読み込んで、情報記憶部２５０、検索データ記憶部２６０、及び図示しないハードディスク等のその他の記憶装置に格納し、それぞれの記憶部から必要なプログラム及びデータをＲＡＭに読み込んで（ロードして）実行する。また、必要なプログラム等を記録媒体駆動装置２７０からＲＡＭに直接読み込んで実行するようにしてもよい。
The
通信Ｉ／Ｆ部２３０には、ネットワークを介して複数のユーザのウェアラブル情報表示端末（１００Ａ、１００Ｂ）が接続される。また、入力装置２３５が接続される。オブジェクト画像処理部２１３は、データ検索部２１１及び行動支援制御部２１２に接続されて、所定の更新処理がされたオブジェクト画像データに両部で実行された処理の結果データを対応付けて、通信Ｉ／Ｆ部２３０を介して各ウェアラブル情報表示端末（１００Ａ、１００Ｂ）の画像表示部３０Ｍに送信する。
A plurality of wearable information display terminals (100A, 100B) of a plurality of users are connected to the communication I /
通信Ｉ／Ｆ部２３０は、各ウェアラブル情報表示端末からのネットワークを介したアクセス要求に応答して要請（指令）や各種データの送受信を含む通信を制御する。また、通信Ｉ／Ｆ部２３０は、各ユーザのウェアラブル情報表示端末からの通信の他に、地図、交通情報などの公共情報に関するデータなどを提供するネットワークサーバとの通信や、広告や店舗等の商業的情報を提供するネットワークサーバとの通信を行う。
The communication I /
入力装置２３５は、本発明のウェアラブル情報表示端末を備えるシステムの管理者が、管理サーバに指令や問い合わせなどを入力するための手段である。入力装置２３５には、タッチパネル、キーボード、マウス、ライトペン、ジョイスティックなどの各種の装置が使用可能である。
The
擬人対話処理部２４０は、音声認識、語彙解析、及び音声合成機能を有し、ウェアラブル情報表示端末から受信した音声データからユーザの要請（指令）を特定して、データ検索部２１１又は行動支援制御部２１２に送信する。また、データ検索部２１１又は行動支援制御部２１２による所定の処理結果のテキスト出力データを、擬人化オブジェクトの音声データに変換して通信Ｉ／Ｆ部２３０に送信する。
The anthropomorphic
情報記憶部２５０には、本実施形態による行動支援機能を実行するために必要な各種データ（プログラムを含む）が格納される。また、擬人対話処理部２４０を制御して、推論や知識表現等を含む人工知能機能を実行させるプログラムが格納される。情報記憶部２５０は、管理サーバの記憶部２２０内に配置されるか又は管理サーバとは別のデータサーバに設けられる。
The
記録媒体駆動装置２７０は、コンピュータプログラムを外部のコンピュータ読み取り可能な記録媒体から読み込むのに使用される。ここで、コンピュータ読み取り可能な記録媒体に記録されているコンピュータプログラムには、各種のプログラムやデータ等が含まれる。また、記録媒体駆動装置２７０は、各種コンピュータ読み取り可能な記録媒体からコンピュータプログラムを読み込む他に、記録媒体が書き込み可能な記録媒体である場合には、データ検索部２１１や行動支援制御部２１２のＲＡＭや記憶部２２０内に格納された各種データ等をその記録媒体に書き込むことが可能である。
The recording
以下で、情報記憶部２５０に格納されるプログラム及びデータの詳細を説明する。
The details of the program and data stored in the
図７に示すように、情報記憶部２５０には、行動支援プログラム２５１、プログラム選択テーブル２５２、学習項目データ２５３、応答データ２５４、オブジェクト表現データ２５５、及びその他のデータが格納される。学習項目データ２５３及び応答データ２５４は、ユーザの要請や応答によってバーチャル秘書が学習した結果を含むデータである。従って、学習項目データ２５３及び応答データ２５４は、ユーザ毎にそれぞれのデータが格納・更新（学習）される。オブジェクト表現データ２５５は、擬人化オブジェクトの容姿や音声を生成するためのデータであって、各種の画像データ並びに音源及び音声データが含まれる。
As shown in FIG. 7, the
オブジェクト表現データ２５５に格納されるオブジェクト画像データに設定される容姿は、一般化された人間（男性、女性）の容姿の他に、例えば、犬、猫、サル等の動物の実物像の容姿や人間的に図案化（イラスト化）した動物の容姿、またロボット的な容姿や、特定のキャラクタの容姿等がひな形として格納され、各ユーザのウェアラブル情報表示端末からの選択入力に基づき、ユーザの好みに応じて選択することができる。また、擬人化オブジェクトの年齢は、一定である必要はなく、行動支援システムの学習機能の一部として、最初は子供の容姿で設定し、利用経過と共に成長して容姿が変化していく（大人の容姿に変化していく）ように更新可能にプログラミングし得る。
Appearances set in the object image data stored in the
具体的に、擬人化オブジェクトの成長は、通算の通信データ量Ｄが下記数式１に示すしきい値Ｄｔｍ、すなわち、所定の通信データ量Ｄ１の整数倍に到達する毎に、段階的に変化する構成にすることで、使用履歴に基づく不要データの選別を通じて、ユーザーごとに最適な方法が学習され、人工知能による行動支援の機能的な成長に連動させることができる。
Specifically, the growth of the anthropomorphic object changes step by step every time the total communication data amount D reaches the threshold value Dt m shown in the following
［数１］
Ｄｔｍ＝ｍ×Ｄ１
（ここで、ｍは１以上の整数、Ｄ１は予め設定された所定の通信データ量である）
[Equation 1]
Dt m = m × D1
(Here, m is an integer of 1 or more, and D1 is a predetermined communication data amount set in advance)
例えば、使用開始時に小学生の姿の擬人化オブジェクトが設定された場合、通算の通信データ量Ｄが、ｍ＝１に対応するしきい値Ｄｔ１（＝Ｄ１）に到達する（Ｄ≧Ｄ１）と、擬人化オブジェクトの姿が、小学生から中学生に変化し、その後、通算の通信データ量Ｄが、ｍ＝２に対応するしきい値Ｄｔ２（＝２Ｄ１）に到達するまでの間、つまり、Ｄ１≦Ｄ＜２Ｄ１の区間は、中学生の姿が維持され、Ｄがしきい値Ｄｔ２に到達する（Ｄ≧２Ｄ１）と、中学生から高校生に変化し、以後、同様にして段階的に変化する。 For example, when an anthropomorphic object of an elementary school student is set at the start of use, the total communication data amount D reaches a threshold value Dt 1 (= D1) corresponding to m = 1 (D ≧ D1). The figure of the personified object changes from the elementary school student to the junior high school student, and then the total communication data amount D reaches the threshold value Dt 2 (= 2D1) corresponding to m = 2, that is, D1. In the section of ≦ D <2D1, the appearance of the junior high school student is maintained, and when D reaches the threshold value Dt 2 (D ≧ 2D1), the junior high school student changes to the high school student, and thereafter changes in a stepwise manner in the same manner.
なお、オブジェクトの画像データには、各ユーザがウェアラブル情報表示端末のカメラで撮影した画像を管理サーバに備えられた画像処理プログラムでアニメ化した画像データを使用することも可能である。 It should be noted that the image data of the object may be image data obtained by animating an image photographed by each user with the camera of the wearable information display terminal using an image processing program provided in the management server.
行動支援プログラム２５１には、秘書機能等のユーザの行動を支援するための各種処理プログラムや、擬人化されたオブジェクトとユーザとがコミュニケーションする場合の細かな行動を各ユーザのウェアラブル情報表示端末の画像表示部３０Ｍに画像表示させると共にその行動に対応した会話を各ユーザのウェアラブル情報表示端末のスピーカー８６から出力させるためのコミュニケーションプログラムが格納されている。
The
また、行動支援処理プログラムには、スケジュール管理、情報検索、経路案内、自発的情報提供などを実行するサブプログラムが含まれ、ユーザからの要請入力に対する処理実行結果のデータ出力は、コミュニケーションプログラムによって擬人化されたオブジェクトと対話する形態で各ユーザのウェアラブル情報表示端末に送信される。これらの処理は、管理サーバ全体を共通に制御する一組の汎用プロセッサ（ＣＰＵ）により実行される人工知能プログラムによって制御される。 In addition, the action support processing program includes subprograms for executing schedule management, information retrieval, route guidance, voluntary information provision, and the like. The information is transmitted to the wearable information display terminal of each user in a form of interacting with the converted object. These processes are controlled by an artificial intelligence program executed by a set of general-purpose processors (CPUs) that commonly control the entire management server.
コミュニケーションプログラムは、複数種類の音声が選択可能であり、ユーザは擬人化されたオブジェクトの容姿の選択と併せて、所望の音声を選択することができる。擬人化されたオブジェクトの音声には、男性の音声、女性の音声、子供の音声、機械的な音声、動物的な音声、特定の声優や俳優の音声、特定のキャラクタの音声等があり、ユーザは、これらの中から、ウェアラブル情報表示端末からの選択入力によって予め選択する。なお、これらの音声及び容姿の選択は、適時変更することが可能である。 The communication program can select a plurality of types of sounds, and the user can select a desired sound together with the selection of the appearance of the personified object. The voices of anthropomorphic objects include male voices, female voices, child voices, mechanical voices, animal voices, voices of specific voice actors and actors, voices of specific characters, etc. Are selected in advance by selection input from the wearable information display terminal. Note that the selection of these voices and appearances can be changed as needed.
上述した管理サーバ２００の情報記憶部２５０に格納される各種プログラム及びデータは、各個人のウェアラブル情報表示端末からのアクセスに応答して、認証された各個人のウェアラブル情報表示端末に送信され、それぞれのウェアラブル情報表示端末の記憶部１２０に格納してもよい。なお、ウェアラブル情報表示端末と管理サーバとの間でのデータ管理方法は、これに限定されるものではなく、管理サーバに格納した個人毎の各種データを利用に応じて各個人のウェアラブル情報表示端末にダウンロード、アップロード、又は更新する方法など、ウェアラブル情報表示端末の記憶部のメモリ容量に応じて多様に設定が可能である。
The various programs and data stored in the
図８は、行動支援プログラムのプログラム選択テーブルの一例を示す図である。 FIG. 8 is a diagram illustrating an example of a program selection table of an action support program.
ウェアラブル情報表示端末又は管理サーバの記憶部（１２０、２２０）に格納される個人別プログラム選択テーブル（１５２、２５２は）、行動支援プログラム（１５１、２５１）に格納されているサブプログラムをユーザ毎に選択するためのテーブルである。プログラム選択テーブル（１５２、２５２）は、個人毎のサブプログラム利用頻度、サブプログラムの起動方法、及び各サブプログラムに対応する個人の学習項目データ（１５３、２５３）と応答データ（１５４、２５４）のファイル識別子（ＩＤ）が登録される。 The individual program selection table (152, 252) stored in the storage unit (120, 220) of the wearable information display terminal or the management server, and the subprogram stored in the action support program (151, 251) for each user. It is a table for selecting. The program selection table (152, 252) includes subprogram usage frequency for each individual, a subprogram activation method, and individual learning item data (153, 253) and response data (154, 254) corresponding to each subprogram. A file identifier (ID) is registered.
ウェアラブル情報表示端末の中央制御部１１０は、ユーザからの要請入力に応答して、支援機能制御部１１２に要請入力に対応するサブプログラムを起動して実行するよう制御する。要請入力は、例えば、ユーザの発する音声によりウェアラブル情報表示端末のマイク８８を介して音声データとして入力され、ウェアラブル情報表示端末の支援機能制御部１１２は、擬人対話処理部１１１で処理された音声入力データの音声認識及び語彙解析結果に基づいて、対応するサブプログラムを選択して実行する。この際、中央制御部１１０は、ユーザの発する所定の音声又はウェアラブル情報表示端末の多軸センサ９２で検出した所定のユーザの動きをトリガーとして、拡張現実画像処理部１１３に、画像表示部３０Ｍに擬人化されたオブジェクトを表示するように制御する。言語や動作に基づくユーザからの要請入力に対応するサブプログラムの実行及び制御は、中央制御部１１０で実行されるウェアラブル情報表示端末に実装された人工知能プログラムによって、具現される。
In response to a request input from the user, the
また、音声画像認識部１４０によりウェアラブル情報表示端末のビデオカメラ部で撮影中の画像に予め設定された所定の対象物が認識されると、ウェアラブル情報表示端末は、自発的に該当するサブプログラム、例えば、検索プログラムを起動するよう設定することも可能である。具体的に、中央制御部１１０は、実行中の人工知能プログラムにより、ウェアラブル情報表示端末の多軸センサ９２で検出したユーザの頭部の動きに対応するセンシングデータを分析し、ユーザの視線が、特定の一地点を捉えて固定され、所定の時間、例えば、３秒間が経過した場合、ユーザの視線に対応するビデオカメラ部で撮影された対象物にユーザが興味を示していると判断し、当該対象物を興味リストとして、検索データ記憶部１６０に記憶する。そして、検索プログラムを起動して、当該対象物に関連する情報をインターネットで検索するよう制御する。なお、ユーザの視線が、動いている対象物を３秒以上注視した状態で追尾した場合、当該対象物が再びユーザの視線上に登場した場合、追尾を継続するよう制御することも可能である。
In addition, when a predetermined object preset in an image being captured by the video camera unit of the wearable information display terminal is recognized by the audio
一方、行動支援プログラムを管理サーバで実行させる構成とすることも可能である。すなわち、管理サーバ２００は、各ユーザのウェアラブル情報表示端末から受信した要請入力に応答して、該当するサブプログラムを起動する。要請入力は、例えば、ユーザの発する音声によりウェアラブル情報表示端末のマイクを介して音声データとして送信され、管理サーバは、受信した音声入力データの音声認識及び語彙解析結果に基づいて、対応するサブプログラムを選択して起動する。
On the other hand, it is also possible to adopt a configuration in which the action support program is executed by the management server. That is, the
また、各ユーザのウェアラブル情報表示端末から受信した位置データ又は画像データに基づいて、管理サーバは、人工知能プログラムにより自発的に該当するサブプログラムを起動し得る。この場合、高いコンピュータ処理能力が求められる音声認識やウェッブ検索などの行動支援プログラムを管理サーバ側で実行させるため、ウェアラブル情報表示端末のＣＰＵ性能が低くても、良好な応答性を具現し得る。 Moreover, based on the position data or image data received from each user's wearable information display terminal, the management server can start the corresponding subprogram voluntarily by the artificial intelligence program. In this case, since an action support program such as voice recognition or web search requiring high computer processing capability is executed on the management server side, good responsiveness can be realized even if the wearable information display terminal has low CPU performance.
管理サーバ２００は、ユーザのウェアラブル情報表示端末から受信したユーザの要請入力の支援内容を人工知能プログラムにより判断して、行動支援プログラムによる行動支援を実行するか、または人間によるコンシェルジュサポートを行う外部の支援サイトに接続するかを決定する。例えば、ユーザの要請入力の支援内容が、人との交渉を要する事項である場合は、人間によるコンシェルジュサポートを行う外部の支援サイトにユーザのウェアラブル情報表示端末を接続し、ユーザの個人スケジュールを照会する等の登録済の情報を検索して表示する場合は、本システムが保有する機能を実行してユーザの要請に対応する。
The
図９は、本実施形態の行動支援プログラムが利用する学習項目データの一例を示す図であり、図１０は、本実施形態の行動支援プログラムが利用する応答データの一例を示す図である。 FIG. 9 is a diagram illustrating an example of learning item data used by the behavior support program of the present embodiment, and FIG. 10 is a diagram illustrating an example of response data used by the behavior support program of the present embodiment.
学習項目データ２５３と応答データ２５４は共に行動支援プログラムの学習機能に基づき、格納又は更新される個人毎の履歴データであり、図９及び図１０は、それぞれの構成例を概念的に示すものである。
Both the learning
図９に示すように、学習項目データ２５３には、図７に示すプログラム選択テーブル２５２の各サブプログラムが参照する検索条件を決定する入力語が頻出順に格納され、検索条件により選択された入力語に関連性の高い言葉が対応付けられている。これにより、サブプログラムは、先行して検索を実行し、ユーザへの応答性を向上させることができる。
As shown in FIG. 9, in the
学習項目データ２５３に格納されるその他のデータとしては、例えば、ユーザやその関係者の誕生日（ユーザが入力する項目）、祝祭日とそのいわれ、ひな祭り、クリスマス、バレンタインデー等のイベント日などが格納される。各イベント日に応じた特別メニューのコミュニケーションプログラムも用意されており、例えば、行動支援プログラムは、注目情報紹介サブプログラムを自発的に起動して、クリスマスシーズンにはサンタクロースに変装した擬人化されたオブジェクトの容姿でユーザの関心度の高い情報を紹介する。
Other data stored in the
図１０に示すように、応答データ２５４には、擬人化されたオブジェクトの行為に対するユーザの応答の履歴が、ユーザ応答を学習項目とする各サブプログラム毎に格納される。例えば、あるユーザの応答データは、図７のサブプログラム番号Ｓ１を実行した場合、最新の応答日時と応答内容が格納され、図７に示すように、提供情報が、受容、無視、及び拒否された結果に基づいて、受容順位を更新し、ユーザに興味のある広告情報が提供されるように利用される。ユーザの応答内容については、ウェアラブル情報表示端末のマイク２６から入力されるユーザの音声に対する音声認識の結果や、同端末のセンサで検出されたユーザの動作による入力結果から判断され得る。なお、本実施形態ではユーザの応答を受容、無視、及び拒絶の３つのパターンに分類しているが、これに限定されない。
As shown in FIG. 10, the
また、応答データ２５４は、サブプログラムの実行する処理内容に応じて、ユーザの応答内容が設定される。擬人化されたオブジェクトの自発的提案や会話に対するユーザの応答が、拒否（いらない）や無視（又は無応答）であった場合、行動支援プログラムは、対応するサブプログラムを自発的に起動しない設定がなされる。
The
図１１は、図６に示す検索データ記憶部に格納されるデータファイルの構成を示す図である。 FIG. 11 is a diagram showing a configuration of a data file stored in the search data storage unit shown in FIG.
図１１に示すように、検索データ記憶部２６０には、ユーザのウェアラブル情報表示端末を予め提携した情報提供事業者のデータベースに接続するための事業者情報ファイル２６１、経路案内等で使用される各種データファイルとして、通信地域データファイル２６２、描画地図データファイル２６３、探索データファイル２６４、写真データファイル２６５が格納される。
As shown in FIG. 11, in the search
事業者情報ファイル２６１は、例えば、検索アシスタントを提供するサーバ、またナビゲーションサービス、辞書データベース、通販ウェブサイトなどを提供する予め提携した事業者のデータサーバ等に接続するための情報である。 The provider information file 261 is information for connecting to a server that provides a search assistant, a data server of a previously affiliated provider that provides a navigation service, a dictionary database, a mail order website, and the like.
通信地域データファイル２６２には、ウェアラブル情報表示端末が管理サーバと通信できる地域をウェアラブル情報表示端末の画像表示部３０Ｍに表示したり、その通信できる地域を経路探索の際に使用するための通信地域データが格納されている。通信地域データファイル２６２に格納される内容は、ウェアラブル情報表示端末の使用可能な地域の拡大や縮小に伴って、最新のデータに更新できるように構成される。
In the communication area data file 262, an area where the wearable information display terminal can communicate with the management server is displayed on the
描画地図データファイル２６３には、ウェアラブル情報表示端末の画像表示部３０Ｍに描画される描画地図データが格納されている。この描画地図データは、階層化された地図、例えば最上位層から日本、関東地方、東京、神田といった階層ごとの地図データが格納されている。最下位層の地図データは、実空間に近似可能な仮想３Ｄ形態の画像データで構成され得る。
The drawing map data file 263 stores drawing map data to be drawn on the
探索データファイル２６４には、ユーザが興味を有すると判断されたビデオカメラ部による撮影画像からなる興味リスト、経路探索により生成された経路を構成する交差点列データ、ノード列データなどが格納されている。交差点列データは、交差点名、交差点番号、その交差点の特徴的風景を写した写真番号、曲がる角、距離等の情報からなる。また、ノード列データは、そのノードの位置を表す東経、北緯などの情報からなる。 The search data file 264 stores an interest list made up of images taken by the video camera unit that the user is determined to be interested in, intersection sequence data constituting the route generated by the route search, node sequence data, and the like. . The intersection string data includes information such as an intersection name, an intersection number, a photo number showing a characteristic landscape of the intersection, a turning angle, and a distance. The node string data includes information such as east longitude and north latitude indicating the position of the node.
写真データファイル２６５には、各交差点や直進中に見える特徴的な風景等を撮影した写真が、その写真番号と対応してディジタル、アナログ、またはネガフィルムの形式で格納されている。なお、描画地図データファイル２６３、探索データファイル２６４、及び写真データファイル２６５は、予め提携した情報提供事業者のデータベースを利用することができる。 In the photo data file 265, photographs obtained by photographing characteristic intersections and the like seen at each intersection and straight ahead are stored in a digital, analog, or negative film format corresponding to the photograph number. Note that the drawing map data file 263, the search data file 264, and the photo data file 265 can use a database of information providers that have partnered in advance.
以下、本発明の一実施形態による行動支援システムの動作について説明する。この実施形態では、行動支援プログラムを管理サーバで実行させる構成の例について説明する。 Hereinafter, the operation of the action support system according to the embodiment of the present invention will be described. In this embodiment, an example of a configuration in which an action support program is executed by a management server will be described.
図１２は、本実施形態による行動支援処理のメイン動作を示すフローチャートである。管理サーバ２００のシステム制御部２１０は、各ウェアラブル情報表示端末からのアクセス要求を受信すると、アクセス要求とともに受信したユーザ識別データを、予め登録されて記憶部に格納された認証用データに基づいて認証する（ステップＳ３１０）。ユーザの認証に成功すると、認証されたユーザに対する初期設定を行う。初期設定としては、データ検索部２１１及び行動支援制御部２１２のそれぞれのＲＡＭ内に、各処理用のワークエリアを設定し、認証されたユーザ個人のプログラム選択テーブル２５２を記憶部２２０から読み出してＲＡＭにロードする（ステップＳ３２０）。
FIG. 12 is a flowchart showing the main operation of the action support process according to this embodiment. When receiving the access request from each wearable information display terminal, the
次に、システム制御部２１０は、位置情報管理部２１５に、ウェアラブル情報表示端末の多軸センサ９２から供給される検出データ及びビデオカメラ部８３で撮像した画像データから当該ウェアラブル情報表示端末の現在位置等を検出するように制御する。そして、検出したユーザの位置データをＲＡＭ内の所定エリアに格納する（ステップＳ３３０）。
Next, the
その後、人工知能プログラムを実行させて、ウェアラブル情報表示端末の音声入力を利用したユーザからの指示入力を受信する。システム制御部２１０は、受信した音声データ及び多軸センサのセンシングデータに基づき、擬人対話処理部２４０によりユーザの要請（指令）を特定し、特定されたユーザの要請（指令）を、データ検索部２１１又は行動支援制御部２１２で実行するよう制御する（ステップＳ３４０）。
Thereafter, the artificial intelligence program is executed to receive an instruction input from the user using the voice input of the wearable information display terminal. The
具体的に、ウェアラブル情報表示端末を装着したユーザが、周囲を見回す動作をした後、同端末のマイク８８に、「この辺にレストランは？」とつぶやくと、システム制御部２１０は、ユーザの動きと音声入力に基づいて、ユーザの要請を「周辺のレストランを探せ」の意と判定し、判定した要請内容を音声データに変換してユーザに送信し、確認を求める。これにユーザが、例えば、「はい」と応答すると、システム制御部２１０は、データ検索部２１１又は行動支援制御部２１２に、ユーザ位置情報に基づき、周辺のレストラン情報を検索して、該当するレストランを地図画像上に表示するように画像データを生成して、擬人化されたオブジェクトの画像データとともにウェアラブル情報表示端末に送信する。
Specifically, after the user wearing the wearable information display terminal performs an operation of looking around, the
そして、ユーザから実行結果に満足したことを示す指令を受信したかを判断する（ステップＳ３５０）。ユーザから実行結果に不満である又は別途の処理を実行する指令を受信すると、システム制御部２１０は、ステップＳ３４０に戻って、所定の行動支援機能を実行するよう制御し、ユーザから実行結果に満足したか又は当該処理の終了を指示する指令を受信するまで繰り返す。
Then, it is determined whether a command indicating that the execution result is satisfied is received from the user (step S350). Upon receiving a command from the user that is unsatisfactory about the execution result or to execute a separate process, the
システム制御部２１０は、ユーザから実行結果に満足したか又は当該処理の終了を指示する指令を受信すると、情報記憶部２５０の学習項目データ２５３と応答データ２５４をチェックして、擬人化されたオブジェクトがこれまでに学習してきた過去の状態（学習データ）を把握する。そして、実行した処理結果とチェックした過去の学習データとに基づき、学習項目データ２５３及び応答データ２５４を更新する（ステップＳ３６０）。システム制御部２１０は、今回のバーチャル秘書プログラムに関するデータを蓄積することで、擬人化されたオブジェクトに学習をさせる。
When the
上述したように、本発明によれば、ユーザは、動作と言語を組み合わせた入力形態を利用できるので、短い会話で指示や諾否の入力が可能となり、人前や公共の場で、秘書システムを利用しやすくなる。
また、本発明によるウェアラブル情報表示端末及びこれを備えるシステムは、ウェアラブル情報表示端末が備える各種センサ及びカメラを通して入力部から得られるユーザの生体情報、運動情報、位置情報を用い、これらの情報が予め設定された所定の条件を満たすとユーザの意図に最も近い処理を選択して実行する機能を有し、これを具現するための、ユーザの直感的動作をセンシングデータに変換し、当該センシングデータを分析し、分析結果に基づく処理を実行する手段を備えることで、ユーザに有用な情報を的確かつ速やかに提供できる。
As described above, according to the present invention, the user can use an input form that combines actions and languages, so it is possible to input instructions and acceptance / rejection in a short conversation, and the secretary system can be used in public or public places. It becomes easy to do.
In addition, the wearable information display terminal and the system including the wearable information display terminal according to the present invention use the biological information, exercise information, and position information of the user obtained from the input unit through various sensors and cameras provided in the wearable information display terminal. It has a function to select and execute the process closest to the user's intention when the set predetermined condition is satisfied, and converts the intuitive operation of the user for realizing this into sensing data. By providing means for analyzing and executing processing based on the analysis result, useful information can be provided to the user accurately and promptly.
以上のサブプログラム決定・対話型バーチャル秘書の利用・学習の各処理が終了すると、システム制御部２１０は、当該ウェアラブル情報表示端末からの送信データ量を求めて利用者情報記憶部２５０内のユーザ毎に準備された課金情報データ部に蓄積する。バーチャル秘書システムの管理者は、課金情報データ部に蓄積された送信データ量に基づいて、システム利用料を各ユーザに請求する。なお、課金の方法は、これに限定されず、管理サーバとのデータ送受信量又はアクセス回数など、バーチャル秘書システムの管理者とユーザとの間で所定の算出基準を設定することが可能である。
When the above processes for determining the subprogram and using / learning the interactive virtual secretary are completed, the
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。 As mentioned above, although embodiment of this invention was described in detail, referring drawings, this invention is not limited to the above-mentioned embodiment, In the range which does not deviate from the technical scope of this invention, it changes variously. It is possible to implement.
１ システム
２ ネットワーク
１０ 画像表示ユニット
１０ａ 第１収納室
１０ｂ 第２収納室
１０Ｍ 入力部
１１ 支持部材
１１ａ、１１ｂ 支持板
１５ 筐体
１６ 接続用フランジ
２０ 本体ユニット
２０ａ 筐体
２０ｂ 連結部材
３０ 表示光学系
３０Ｍ 画像表示部
３１ 光源
３２ 集光レンズ
３３ 画像表示素子
３４ 印刷回路基板
３５ バッテリー
４０ 接眼光学系
４０ａ 第１収納室
４０ｂ 第２収納室
４１ プリズム
４２ 接眼レンズ
４４ プロテクト板
７１ 中央処理装置（ＣＰＵ）
７３ 画像処理プロセッサ（ＧＰＵ）
８１ フラッシュメモリチップ
８２ ＳＲＡＭコンポーネント
８３ ビデオカメラ部
８４ オーディオ処理ＩＣ
８５ 無線通信用ＬＳＩモジュール
８６ スピーカー
８７ タッチバッド
８８ マイク
８９ 無線通信部
９１ カメラ（インカメラ）
９２ 多軸センサ
１００ ウェアラブル情報表示端末
１１０ 中央制御部
１１１、２４０ 擬人対話処理部
１１２ 支援機能制御部
１１３ 拡張現実画像処理部
１１４ 音声制御部
１１５ 位置情報処理部
１２０、２２０ 記憶部
１３０ 入出力Ｉ／Ｆ部
１４０ 音声画像認識部
１５０、２５０ 情報記憶部
１５１、２５１ 行動支援プログラム
１５２、２５２ プログラム選択テーブル
１５３、２５３ 学習項目データ
１５４、２５４ 応答データ
１５５、２５５ オブジェクト表現データ
１６０、２６０ 検索データ記憶部
２００ 管理サーバ
２１０ システム制御部
２１１ データ検索部
２１２ 行動支援制御部
２１３ オブジェクト画像処理部
２１４ オブジェクト音声制御部
２１５ 位置情報管理部
２３０ 通信インターフェイス（Ｉ／Ｆ）部
２３５ 入力装置
２６１ 事業者情報ファイル
２６２ 通信地域データファイル
２６３ 描画地図データファイル
２６４ 探索データファイル
２６５ 写真データファイル
２７０ 記録媒体駆動装置
DESCRIPTION OF
73 Image processor (GPU)
81
85 LSI module for
92
Claims (14)
少なくともカメラ、マイク、並びにＸＹＺの３軸のそれぞれに対して加速度、角速度、及び地磁気を検出する複数の多軸センサを含む入力部と、
前記オブジェクトの表現データを格納する記憶部と、
前記オブジェクトを実空間の座標系に合わせて表示させる表示制御部と、
前記オブジェクトをユーザの視界内に表示する情報表示部と、
音声出力部と、
通信部と、を備え、
前記表示制御部は、前記オブジェクトの表現データを、前記複数の多軸センサで検出された前記ウェアラブル情報表示端末の向き、傾き、及び動きに応じて、質量、重力加速度、運動エネルギー保存則、及び慣性力を含む地球環境下における物理法則に従う変換規則に基づいて、前記オブジェクトの音声、サイズ、及び動きに変換し、ユーザの視線方向に前記変換されたオブジェクトの一部または全体を拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）で表示させることを特徴とするウェアラブル情報表示端末。 A wearable information display terminal that displays information and objects in the user's field of view,
An input unit including a plurality of multi-axis sensors that detect acceleration, angular velocity, and geomagnetism for each of at least three axes of a camera, a microphone, and XYZ;
A storage unit for storing expression data of the object;
A display control unit for displaying the object in accordance with a coordinate system of real space;
An information display unit for displaying the object in the user's field of view;
An audio output unit;
A communication unit,
The display control unit is configured to display the representation data of the object according to the orientation, inclination, and movement of the wearable information display terminal detected by the plurality of multi-axis sensors. Based on the conversion rules according to the physical laws in the global environment including the inertial force, the object is converted into sound, size, and movement, and a part or the whole of the converted object in the user's line-of-sight direction is augmented reality (AR). : Wearable information display terminal characterized by displaying with Augmented Reality).
少なくともカメラ、マイク、並びにＸＹＺの３軸のそれぞれに対して加速度、角速度、及び地磁気を検出する複数の多軸センサを含む入力部と、
前記オブジェクトの表現データを格納する記憶部と、
前記オブジェクトを実空間の座標系に合わせて表示させる表示制御部と、
前記オブジェクトをユーザの視界内に表示する情報表示部と、
音声出力部と、
通信部と、を備え、
人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）機能を有して、ユーザ毎にカスタマイズされた、行動を支援する手段をさらに備え、
前記行動を支援する手段は、使用履歴に基づく不要データの選別を通じて、ユーザの個人的選好に適合する支援項目及び支援方法を学習し、前記行動を支援する手段の人工知能の精度を継続的に向上させる手段を含み、
前記人工知能の機能的な成長及び前記オブジェクトの外見上の変化は、前記ウェアラブル情報表示端末のカメラで撮影されたユーザ視線方向の画像から読み取られる実空間の環境情報または前記複数の多軸センサで検出されたユーザの運動情報、位置情報、及び前記使用履歴に対応する通信データ量に連動して外見上の表現データを変更するかまたは補間して生成された画像データへの変化を含み、ユーザの視線方向に前記画像データの一部または全てが拡張現実で表示されることを特徴とするウェアラブル情報表示端末。 A wearable information display terminal that displays information and objects in the user's field of view,
An input unit including a plurality of multi-axis sensors that detect acceleration, angular velocity, and geomagnetism for each of at least three axes of a camera, a microphone, and XYZ;
A storage unit for storing expression data of the object;
A display control unit for displaying the object in accordance with a coordinate system of real space;
An information display unit for displaying the object in the user's field of view;
An audio output unit;
A communication unit,
It further has a means for supporting behavior, which has an artificial intelligence (AI) function and is customized for each user,
The means for supporting the behavior learns the support items and the support method suitable for the user's personal preference through the selection of unnecessary data based on the usage history, and continuously improves the accuracy of the artificial intelligence of the means for supporting the behavior. Including means to improve,
The functional growth of the artificial intelligence and the change in the appearance of the object are detected by the environment information in the real space read from the image in the user's line-of-sight direction taken by the camera of the wearable information display terminal or the plurality of multi-axis sensors. Including changes to the image data generated by changing or interpolating the apparent expression data in conjunction with the detected user's exercise information, position information, and the amount of communication data corresponding to the usage history, A wearable information display terminal, wherein a part or all of the image data is displayed in augmented reality in the viewing direction.
［数１］
Ｄｔｍ＝ｍ×Ｄ１
（ここで、ｍは１以上の整数であり、Ｄ１は予め設定された所定の通信データ量である） Change in appearance of the object, every time communication data amount D of total reaches the threshold Dt m is a multiple of a predetermined communication data amount shown in the following Equation 1, and characterized in that changes stepwise The wearable information display terminal according to claim 1 or 3.
[Equation 1]
Dt m = m × D1
(Here, m is an integer of 1 or more, and D1 is a predetermined communication data amount set in advance)
前記選択する手段は、ユーザからの選択入力により接続先を切り替えるか、またはユーザのオーダー数が所定の数値を超えた場合もしくはシステムによる回答が一定数量以下に絞り込めない場合に、強制的に外部のコンシェルジュサポートに接続する手段を備えることを特徴とする請求項３に記載のウェアラブル情報表示端末。 Based on the user's surroundings or user input, the artificial intelligence determines a means for supporting the action that matches the user's personal preference, and based on the determination, action support by the action support program is executed, or concierge support Further comprising means for selecting whether to connect the wearable information display terminal to an external support site
The means for selecting is forcibly external when the connection destination is switched by a selection input from the user, or when the number of orders of the user exceeds a predetermined numerical value or when the answer by the system cannot be narrowed down to a certain number or less. The wearable information display terminal according to claim 3, further comprising means for connecting to the concierge support.
ユーザ毎の個人識別データ、過去の利用履歴データ、個人選択された設定情報、及びオブジェクトの表現データを保管する情報記憶部と、
前記ウェアラブル情報表示端末の入力部から受信した要求入力に基づいて所定の機能を実現させるための制御部と、
前記ウェアラブル情報表示端末の入力部から受信したセンシングデータ、画像データに基づく当該端末の位置データ、及び視線方向の画像データを獲得する位置検出部と、
所定のアルゴリズムを利用して前記獲得された位置データ及び視線方向の画像データ並びに前記情報記憶部に保管されたユーザ毎の過去の当該システム利用履歴データに基づき、前記ウェアラブル情報表示端末を装着しているユーザに提供する関連情報をネットワークサーバから収集するデータ検索部と、
前記ウェアラブル情報表示端末上で作り出されて実空間のユーザと対話するオブジェクトをユーザに表示するための画像データを生成する拡張現実画像処理部と、
前記所定の機能を実現させた結果またはユーザに提供する関連情報を前記オブジェクトの画像データとともに所定の表示形態で前記ウェアラブル情報表示端末に表示させるように制御する画像処理部とを備え、
前記管理サーバまたはウェアラブル情報表示端末は、各ユーザの過去の利用履歴データに基づいて前記所定の機能及びオブジェクトの構成データをユーザ毎に更新することを特徴とする請求項７に記載のウェアラブル情報表示端末を備えるシステム。 The management server or the wearable information display terminal is
An information storage unit for storing personal identification data for each user, past usage history data, personally selected setting information, and object expression data;
A control unit for realizing a predetermined function based on a request input received from the input unit of the wearable information display terminal;
Sensing data received from the input unit of the wearable information display terminal, position data of the terminal based on the image data, and a position detection unit for acquiring image data in the line-of-sight direction;
The wearable information display terminal is mounted based on the acquired position data and image data in the line-of-sight direction using a predetermined algorithm and the system usage history data for each user stored in the information storage unit. A data search unit that collects related information to be provided to existing users from a network server;
An augmented reality image processing unit that generates image data for displaying to the user an object that is created on the wearable information display terminal and interacts with the user in real space;
An image processing unit that controls the display of the result of realizing the predetermined function or the related information provided to the user together with the image data of the object on the wearable information display terminal in a predetermined display form;
The wearable information display according to claim 7, wherein the management server or the wearable information display terminal updates the predetermined function and object configuration data for each user based on past usage history data of each user. A system comprising a terminal.
前記管理サーバは、前記ウェアラブル情報表示端末の入力部から受信した前記生体情報データに基づき、前記ウェアラブル情報表示端末を装着しているユーザを認証して、前記認証されたユーザに前記情報記憶部へのアクセスを許可することを特徴とする請求項７に記載のウェアラブル情報表示端末を備えるシステム。 The input unit of the wearable information display terminal further includes a sensor that acquires biometric information data for personal authentication,
The management server authenticates a user wearing the wearable information display terminal based on the biological information data received from the input unit of the wearable information display terminal, and sends the authenticated user to the information storage unit. The system comprising the wearable information display terminal according to claim 7, wherein the access is permitted.
前記異なる動作モードは、前記入力部のカメラ、マイク、タッチパネル、または多軸センサが動作する状態である通常モード並びに前記入力部のカメラ、マイク、タッチパネル、または多軸センサが停止状態であるプライバシーモードを含むことを特徴とする請求項７に記載のウェアラブル情報表示端末を備えるシステム。 The wearable information display terminal is set to a different operation mode according to a use state of a user wearing the wearable information display terminal,
The different operation modes include a normal mode in which the camera, microphone, touch panel, or multi-axis sensor of the input unit operates, and a privacy mode in which the camera, microphone, touch panel, or multi-axis sensor of the input unit is in a stopped state. The system comprising the wearable information display terminal according to claim 7.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016238874A JP2018097437A (en) | 2016-12-08 | 2016-12-08 | Wearable information display terminal and system including the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016238874A JP2018097437A (en) | 2016-12-08 | 2016-12-08 | Wearable information display terminal and system including the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018097437A true JP2018097437A (en) | 2018-06-21 |
Family
ID=62633295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016238874A Pending JP2018097437A (en) | 2016-12-08 | 2016-12-08 | Wearable information display terminal and system including the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018097437A (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020026871A1 (en) * | 2018-07-31 | 2020-02-06 | 株式会社 情報システムエンジニアリング | Information providing system and information providing method |
| WO2020032239A1 (en) * | 2018-08-09 | 2020-02-13 | 株式会社ジオクリエイツ | Information output device, design assistance system, information output method, and information output program |
| WO2020059157A1 (en) * | 2018-09-20 | 2020-03-26 | 株式会社ソニー・インタラクティブエンタテインメント | Display system, program, display method, and head-mounted device |
| KR20200087332A (en) * | 2018-12-28 | 2020-07-21 | 주식회사 딥엑스 | Method for providing shopping information on each product and electronic device for executing the method |
| WO2020166372A1 (en) * | 2019-02-15 | 2020-08-20 | ソニー株式会社 | Data processing device and display control method |
| JP2021100231A (en) * | 2019-12-24 | 2021-07-01 | 湯田 秋夫 | Ai assistant in glasses and storage aid for image recognition function |
| CN114760440A (en) * | 2022-03-22 | 2022-07-15 | 浙江大学 | Visual monitoring glasses |
| US11520823B2 (en) | 2019-03-29 | 2022-12-06 | Information System Engineering Inc. | Information providing system and information providing method |
| US11520822B2 (en) | 2019-03-29 | 2022-12-06 | Information System Engineering Inc. | Information providing system and information providing method |
| US11651023B2 (en) | 2019-03-29 | 2023-05-16 | Information System Engineering Inc. | Information providing system |
| JP7360775B2 (en) | 2020-11-16 | 2023-10-13 | Kddi株式会社 | Smart glasses, program and display control method |
| WO2024034825A1 (en) * | 2022-08-08 | 2024-02-15 | 삼성전자주식회사 | Method and device for determining content to instruct ar device to display |
| JP7453192B2 (en) | 2021-09-27 | 2024-03-19 | Kddi株式会社 | Mobile device, program and method for presenting information based on object recognition according to user's dynamic state |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000276610A (en) * | 1999-03-26 | 2000-10-06 | Mr System Kenkyusho:Kk | User interface method, information processor and program storing medium |
| JP2002251236A (en) * | 2001-02-22 | 2002-09-06 | Mitsui & Co Ltd | Network service system |
| US20140015858A1 (en) * | 2012-07-13 | 2014-01-16 | ClearWorld Media | Augmented reality system |
| JP2014174589A (en) * | 2013-03-06 | 2014-09-22 | Mega Chips Corp | Augmented reality system, program and augmented reality provision method |
| JP2014203175A (en) * | 2013-04-02 | 2014-10-27 | キヤノン株式会社 | Information processing device, information processing method, and program |
| JP2015166816A (en) * | 2014-03-04 | 2015-09-24 | 富士通株式会社 | Display device, display control program, and display control method |
| US20160041388A1 (en) * | 2014-08-11 | 2016-02-11 | Seiko Epson Corporation | Head mounted display, information system, control method for head mounted display, and computer program |
| WO2016117061A1 (en) * | 2015-01-22 | 2016-07-28 | 株式会社野村総合研究所 | Wearable terminal and information processing system using same |
-
2016
- 2016-12-08 JP JP2016238874A patent/JP2018097437A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000276610A (en) * | 1999-03-26 | 2000-10-06 | Mr System Kenkyusho:Kk | User interface method, information processor and program storing medium |
| JP2002251236A (en) * | 2001-02-22 | 2002-09-06 | Mitsui & Co Ltd | Network service system |
| US20140015858A1 (en) * | 2012-07-13 | 2014-01-16 | ClearWorld Media | Augmented reality system |
| JP2014174589A (en) * | 2013-03-06 | 2014-09-22 | Mega Chips Corp | Augmented reality system, program and augmented reality provision method |
| JP2014203175A (en) * | 2013-04-02 | 2014-10-27 | キヤノン株式会社 | Information processing device, information processing method, and program |
| JP2015166816A (en) * | 2014-03-04 | 2015-09-24 | 富士通株式会社 | Display device, display control program, and display control method |
| US20160041388A1 (en) * | 2014-08-11 | 2016-02-11 | Seiko Epson Corporation | Head mounted display, information system, control method for head mounted display, and computer program |
| WO2016117061A1 (en) * | 2015-01-22 | 2016-07-28 | 株式会社野村総合研究所 | Wearable terminal and information processing system using same |
Non-Patent Citations (1)
| Title |
|---|
| 穴吹まほろ、外１名: ""複合現実空間に存在する擬人化エージェントの実現"", 情報処理学会論文誌, vol. 第４２巻，第７号, JPN6020037948, July 2001 (2001-07-01), JP, pages 1957 - 1966, ISSN: 0004362417 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020021287A (en) * | 2018-07-31 | 2020-02-06 | 株式会社 情報システムエンジニアリング | System and method for providing information |
| WO2020026871A1 (en) * | 2018-07-31 | 2020-02-06 | 株式会社 情報システムエンジニアリング | Information providing system and information providing method |
| US11341714B2 (en) | 2018-07-31 | 2022-05-24 | Information System Engineering Inc. | Information service system and information service method |
| US11798597B2 (en) | 2018-08-09 | 2023-10-24 | Geocreates, Inc. | Information output apparatus, information output method and design support system |
| WO2020032239A1 (en) * | 2018-08-09 | 2020-02-13 | 株式会社ジオクリエイツ | Information output device, design assistance system, information output method, and information output program |
| WO2020059157A1 (en) * | 2018-09-20 | 2020-03-26 | 株式会社ソニー・インタラクティブエンタテインメント | Display system, program, display method, and head-mounted device |
| US11906740B2 (en) | 2018-09-20 | 2024-02-20 | Sony Interactive Entertainment Inc. | Display system, program, display method, and head mounted device |
| KR20200087332A (en) * | 2018-12-28 | 2020-07-21 | 주식회사 딥엑스 | Method for providing shopping information on each product and electronic device for executing the method |
| KR102151006B1 (en) * | 2018-12-28 | 2020-09-02 | 주식회사 딥엑스 | Method for providing shopping information on each product and electronic device for executing the method |
| CN113316799A (en) * | 2018-12-28 | 2021-08-27 | 蒂普爱可斯有限公司 | Method for providing shopping information per individual product and electronic device for performing the same |
| WO2020166372A1 (en) * | 2019-02-15 | 2020-08-20 | ソニー株式会社 | Data processing device and display control method |
| US11520823B2 (en) | 2019-03-29 | 2022-12-06 | Information System Engineering Inc. | Information providing system and information providing method |
| US11520822B2 (en) | 2019-03-29 | 2022-12-06 | Information System Engineering Inc. | Information providing system and information providing method |
| US11651023B2 (en) | 2019-03-29 | 2023-05-16 | Information System Engineering Inc. | Information providing system |
| US11934446B2 (en) | 2019-03-29 | 2024-03-19 | Information System Engineering Inc. | Information providing system |
| JP2021100231A (en) * | 2019-12-24 | 2021-07-01 | 湯田 秋夫 | Ai assistant in glasses and storage aid for image recognition function |
| JP7360775B2 (en) | 2020-11-16 | 2023-10-13 | Kddi株式会社 | Smart glasses, program and display control method |
| JP7453192B2 (en) | 2021-09-27 | 2024-03-19 | Kddi株式会社 | Mobile device, program and method for presenting information based on object recognition according to user's dynamic state |
| CN114760440A (en) * | 2022-03-22 | 2022-07-15 | 浙江大学 | Visual monitoring glasses |
| WO2024034825A1 (en) * | 2022-08-08 | 2024-02-15 | 삼성전자주식회사 | Method and device for determining content to instruct ar device to display |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2018097437A (en) | Wearable information display terminal and system including the same | |
| US10132633B2 (en) | User controlled real object disappearance in a mixed reality display | |
| CN104919398B (en) | The vision system of wearable Behavior-based control | |
| US9285871B2 (en) | Personal audio/visual system for providing an adaptable augmented reality environment | |
| US9696547B2 (en) | Mixed reality system learned input and functions | |
| RU2670784C2 (en) | Orientation and visualization of virtual object | |
| US9229231B2 (en) | Updating printed content with personalized virtual data | |
| US20160086382A1 (en) | Providing location occupancy analysis via a mixed reality device | |
| US9182815B2 (en) | Making static printed content dynamic with virtual data | |
| US9035970B2 (en) | Constraint based information inference | |
| US9390561B2 (en) | Personal holographic billboard | |
| US20130083007A1 (en) | Changing experience using personal a/v system | |
| US20150220231A1 (en) | Synchronizing virtual actor's performances to a speaker's voice | |
| Manduchi et al. | (Computer) vision without sight | |
| CN105009039A (en) | Direct hologram manipulation using IMU | |
| JP5714855B2 (en) | Image generation system, program, and information storage medium | |
| US20130083008A1 (en) | Enriched experience using personal a/v system | |
| US20130307855A1 (en) | Holographic story telling | |
| JP2019535059A (en) | Sensory eyewear | |
| US20140160157A1 (en) | People-triggered holographic reminders | |
| US20130342564A1 (en) | Configured virtual environments | |
| US20140002495A1 (en) | Multi-node poster location | |
| CN103917913A (en) | Method to autofocus on near-eye display | |
| CN103076875A (en) | Personal audio/visual system with holographic objects | |
| JP2018082363A (en) | Head-mounted display device and method for controlling the same, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20180117 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200819 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20211019 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20211019 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220104 |