JP6442939B2 - Wearable terminal, program, information processing system, control method for information processing system, and interconnection system - Google Patents
Wearable terminal, program, information processing system, control method for information processing system, and interconnection system Download PDFInfo
- Publication number
- JP6442939B2 JP6442939B2 JP2014183573A JP2014183573A JP6442939B2 JP 6442939 B2 JP6442939 B2 JP 6442939B2 JP 2014183573 A JP2014183573 A JP 2014183573A JP 2014183573 A JP2014183573 A JP 2014183573A JP 6442939 B2 JP6442939 B2 JP 6442939B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- specific part
- wearable terminal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Facsimiles In General (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、ウェアラブル端末、プログラム、情報処理システム、情報処理システムの制御方法および相互接続システムに関する。 The present invention relates to a wearable terminal, a program, an information processing system, an information processing system control method, and an interconnection system.
近年、モバイル端末の普及に伴い、当該モバイル端末と他の電子機器とを相互接続して情報の送受を行ったり、モバイル端末を利用して電子機器を操作する等の技術が種々提案されている。例えば、モバイル端末で取得または作成したドキュメントを電子機器に転送したり、電子機器側で印刷したりする場合がある。このような場合、モバイル端末と電子機器との相互接続は、例えば無線ＬＡＮを利用して行われる場合がある。モバイル端末と電子機器を無線ＬＡＮで接続する場合、その設定作業は手動で行うこともあるが、無線ＬＡＮの設定情報等を予め電子機器側で準備しておき、その設定情報をモバイル端末側で取得することで容易に接続を確立する技術が提案されている。 In recent years, with the widespread use of mobile terminals, various technologies have been proposed, such as transmitting and receiving information by interconnecting the mobile terminals and other electronic devices, and operating electronic devices using mobile terminals. . For example, a document acquired or created by a mobile terminal may be transferred to an electronic device or printed on the electronic device side. In such a case, the interconnection between the mobile terminal and the electronic device may be performed using a wireless LAN, for example. When a mobile terminal and an electronic device are connected by a wireless LAN, the setting operation may be performed manually. However, wireless LAN setting information is prepared in advance on the electronic device side, and the setting information is stored on the mobile terminal side. A technique for easily establishing a connection by acquiring the information has been proposed.
例えば、特許文献１に開示された技術の場合、電子機器の一例である宅内通信機器の筐体には、モバイル端末としての携帯電話に無線ＬＡＮの設定を自動で行うための接続情報をマトリックス型の二次元コードの形態で装着している。そして、この二次元コードを携帯電話に設けられたコードリーダで読み取ることにより無線ＬＡＮの接続情報を取得する。例えば、携帯電話に設けられたカメラで二次元コードを撮影して、解析することにより接続情報を取得し、無線ＬＡＮの設定を自動で実行できるように構成している。 For example, in the case of the technique disclosed in Patent Document 1, in a housing of a home communication device which is an example of an electronic device, connection information for automatically setting a wireless LAN on a mobile phone as a mobile terminal is matrix type. It is installed in the form of a two-dimensional code. Then, the wireless LAN connection information is obtained by reading the two-dimensional code with a code reader provided in the mobile phone. For example, it is configured such that connection information is acquired by photographing and analyzing a two-dimensional code with a camera provided in a mobile phone, and wireless LAN settings can be automatically executed.
近年、モバイル端末の一例として、ウェアラブル端末の開発および実用化が行われている。そして、ウェアラブル端末は、主としてユーザの身体に装着した状態で使用する。例えば頭部装着タイプや手首装着タイプ等があり、さらにカメラ（撮影部）を搭載して周囲の状況を取得するタイプもある。このようなウェアラブル端末の場合、ユーザの見えている範囲とウェアラブル端末のカメラで撮影している範囲が異なる場合がある。また、ユーザには電子機器に表示された供給情報（例えば二次元コード）が目視できていても、カメラの撮影画像上で、二次元コード等の供給情報が有効な認識範囲から外れていたり、認識範囲内であっても小さすぎて内容が解析できない場合等がある。つまり、ユーザは供給情報が読み取れると思っていても、実際には読み取れない場合があり、無線ＬＡＮの接続情報等の各供給情報の取得等がスムーズにできない場合があるという問題があった。 In recent years, a wearable terminal has been developed and put into practical use as an example of a mobile terminal. And a wearable terminal is used in the state with which the user's body was mainly mounted | worn. For example, there are a head-mounted type, a wrist-mounted type, and the like, and a type in which a camera (photographing unit) is mounted to acquire the surrounding situation. In the case of such a wearable terminal, the range that the user can see may be different from the range captured by the camera of the wearable terminal. In addition, even if the user can visually check the supply information (for example, two-dimensional code) displayed on the electronic device, the supply information such as the two-dimensional code is out of the effective recognition range on the captured image of the camera. Even within the recognition range, it may be too small to analyze the contents. That is, even if the user thinks that the supply information can be read, there are cases where the user cannot actually read the supply information, and the supply information such as connection information of the wireless LAN may not be obtained smoothly.
本発明は、上述の課題に鑑みてなされたものであり、制御対象機器（電子機器）が提供する情報（供給情報）を利用できる状態で撮影できるように撮影部の位置を誘導することができるウェアラブル端末、プログラム、情報処理システム、情報処理システムの制御方法および相互接続システムを提供することを目的の１つとする。 The present invention has been made in view of the above-described problem, and can guide the position of the imaging unit so that the information (supply information) provided by the control target device (electronic device) can be used. An object is to provide a wearable terminal, a program, an information processing system, a control method for the information processing system, and an interconnection system.
上述した課題を解決し、目的を達成するために、本発明は、制御対象機器を撮影する撮影部と、撮影した前記制御対象機器に定められた特定部位の位置情報を取得する取得部と、前記位置情報に基づいて前記制御対象機器における前記特定部位に注目を促す案内情報を生成する情報生成部と、前記案内情報を前記制御対象機器の像に重畳表示する重畳部と、注目を促した前記特定部位の撮影によって得られた情報に基づく情報処理を実行する制御部と、を備えるウェアラブル端末である。 In order to solve the above-described problems and achieve the object, the present invention includes an imaging unit that images a control target device, an acquisition unit that acquires position information of a specific part that is defined in the captured control target device, Based on the position information, an information generation unit that generates guidance information that draws attention to the specific part of the control target device, a superimposition unit that displays the guidance information superimposed on an image of the control target device, And a control unit that executes information processing based on information obtained by imaging the specific part.
上述した課題を解決し、目的を達成するために、本発明は、ユーザに装着されるウェアラブル端末であって、制御対象機器を撮影する撮影部と、撮影した前記制御対象機器に定められた特定部位の位置情報を取得する取得部と、前記位置情報に基づいて前記制御対象機器における前記特定部位を該ウェアラブル端末を装着するユーザに目視させるように促す案内情報を生成する情報生成部と、前記案内情報を前記制御対象機器の像に重畳表示する重畳部と、目視を促した前記特定部位の撮影によって得られた情報に基づいて、前記制御対象機器との接続処理を行う制御部と、を備え、前記制御部は、注目を促した前記特定部位において所定の情報が非表示であると判定した場合、前記制御対象機器において前記所定の情報を表示させるための手順を示す案内情報を出力することを特徴とするウェアラブル端末である。 In order to solve the above-described problems and achieve the object, the present invention is a wearable terminal that is worn by a user, and includes a photographing unit that photographs a control target device and a specification that is defined for the captured control target device. An acquisition unit that acquires position information of a part, an information generation part that generates guidance information that prompts a user wearing the wearable terminal to visually check the specific part in the control target device based on the position information, a superimposing unit for superimposing displays guidance information to the image of the control target device, based on information obtained by photographing the specific part that prompted visually a control unit for performing connection processing with the control target device, the The control unit is configured to display the predetermined information on the control target device when it is determined that the predetermined information is not displayed in the specific part that has attracted attention. It is a wearable terminal and outputs the guidance information indicating an order.
以下に添付図面を参照して、ウェアラブル端末、プログラム、情報処理システム、情報処理システムの制御方法および相互接続システムの実施形態を詳細に説明する。 Exemplary embodiments of a wearable terminal, a program, an information processing system, a control method for the information processing system, and an interconnection system will be described below in detail with reference to the accompanying drawings.
本実施形態において、制御対象機器（電子機器）とウェアラブル端末とは、相互に無線接続されて、ウェアラブル端末側から制御対象機器の操作、制御を可能とする。本実施形態において、ウェアラブル端末は、一例として、制御対象機器と無線接続を実現するための設定情報を取得するために、制御対象機器を撮影する撮影部を含む。撮影部は、制御対象機器側が提供する情報(供給情報)としての設定情報、一例としてマトリックス型の二次元コードを撮影する。このとき、ウェアラブル端末は、制御対象機器が提供する二次元コードを利用できる状態で撮影できるように、案内を実現するために撮影した制御対象機器に定められた特定部位の位置情報を取得部が取得する。そして、取得した位置情報に基づいて制御対象機器における特定部位、例えば二次元コードの表示位置に注目を促す案内情報を情報生成部が生成する。生成した案内情報はユーザが認識し易いように、重畳部が制御対象機器の像に重畳表示する。案内情報によって注目を促すことにより撮影部の位置を変化させて、良好な特定部位の撮影を実現し、その撮影によって得られた情報（例えば二次元コード）に基づく情報処理を制御部が実行することで、無線接続処理をスムーズに実現する。 In the present embodiment, the control target device (electronic device) and the wearable terminal are wirelessly connected to each other so that the control target device can be operated and controlled from the wearable terminal side. In the present embodiment, as an example, the wearable terminal includes a photographing unit that photographs the control target device in order to acquire setting information for realizing wireless connection with the control target device. The imaging unit captures setting information as information (supply information) provided by the control target device, for example, a matrix type two-dimensional code. At this time, the wearable terminal obtains the position information of the specific part determined for the control target device photographed to realize the guidance so that the two-dimensional code provided by the control target device can be used. get. Then, based on the acquired position information, the information generation unit generates guidance information that draws attention to a specific part of the control target device, for example, the display position of the two-dimensional code. The superimposing unit superimposes and displays the generated guidance information on the image of the control target device so that the user can easily recognize it. The position of the imaging unit is changed by prompting attention by the guide information, and imaging of a good specific part is realized, and the control unit executes information processing based on information (for example, a two-dimensional code) obtained by the imaging. As a result, the wireless connection process can be realized smoothly.
図１は、本実施形態に係るウェアラブル端末と接続可能な制御対象機器（電子機器）の一例である画像処理装置１０のハードウエア構成を説明する説明図である。なお、図１は、後述するウェアラブル端末との無線接続に関連する構成を主として示し、画像処理装置の他の機能に関する構成は、簡略化または省略している。
FIG. 1 is an explanatory diagram illustrating a hardware configuration of an
画像処理装置１０は、例えば複写機、プリンター、イメージスキャナ、ファクシミリ等の機能を1つの筐体に収めたものであり、デジタル複合機と称される（ＭＦＰ；MultiFunction Printer/Product/Peripheral）。画像処理装置１０は、ネットワークＩ／Ｆ（インタフェース）や通信Ｉ／Ｆを介して印刷データや画像ファイルを受信可能である。そして、受け付けた印刷データや画像ファイルに対して所望の処理条件を設定して印刷出力処理を実行する。所望の処理条件は、当該画像処理装置１０のパネル装置からの入力操作やネットワークＩ／Ｆや通信Ｉ／Ｆを介して接続された他の制御機器、例えばホストＰＣ（コンピュータ）やモバイル端末等からの入力操作により設定可能である。
The
画像処理装置１０は、コントローラ１２、パネル装置１４およびプリンタエンジン１６を含んで構成される。
The
コントローラ１２は、その動作時点に設定されている動作モードおよびネットワークＩ／Ｆを介して接続されたホストコンピュータ１８や通信Ｉ／Ｆを介して接続された後述するウェアラブル端末からの印字制御データに従って印刷処理を実行する。画像処理装置１０は、ホストコンピュータ（ホストＰＣ）１８やウェアラブル端末からの印字制御データを画像データ（ビットマップデータ）に変換（レンダリング）しプリンタエンジン１６へ出力する。なお、コントローラ１２は、さらに後述する各種モジュールで構成される。
The
パネル装置１４は、画像処理装置１０の状態を示す液晶パネル等を用いた表示部と、ユーザが画像処理装置１０の動作モードやフォント等の切替えやパスワードの入力等を行うためのタッチパネル等を用いた入力部とから構成される。
The
プリンタエンジン１６は、プロセスカートリッジを備える。プロセスカートリッジは、感光体を内蔵すると共に、帯電部、露光部、現像部、転写部、クリーニング部、除電部等を含む一体化部品であり、画像処理装置１０に対し着脱可能となっている。プリンタエンジン１６は、コントローラ１２からの制御信号および画像データに従ってプロセスカートリッジの感光体上に静電潜像を生成してそれを現像する。さらに給紙部より転写紙を給紙して、現像した画像をこの転写紙に転写および定着することにより、転写紙上に画像を形成する。なお、プリンタエンジン１６は、プロセスカートリッジではなく、トナーカートリッジを用いる構成とすることもできる。その場合、感光体、帯電部、露光部、現像部、転写部、クリーニング部、除電部等は、トナーカートリッジとは別の部品としてプリンタエンジン１６が備える。
The printer engine 16 includes a process cartridge. The process cartridge is an integrated part including a photosensitive member, a charging unit, an exposure unit, a developing unit, a transfer unit, a cleaning unit, a charge removal unit, and the like, and is detachable from the
次に、画像処理装置１０のコントローラ１２に含まれる各種モジュールについて説明する。コントローラ１２は、ＣＰＵ２０、ＲＯＭ２２、ＲＡＭ２４、ＮＶＲＡＭ２６、ＨＤＤ２８、通信Ｉ／Ｆ３０、ネットワークＩ／Ｆ３２、エンジンＩ／Ｆ３４、パネルＩ／Ｆ３６等を含む。
Next, various modules included in the
ＣＰＵ２０は、ＲＯＭ２２に格納された制御プログラムに従ってホストコンピュータ１８やウェアラブル端末からの印刷データを処理する。
The
ＲＯＭ２２は、ＣＰＵ２０が、コントローラ１２内で実行するデータの管理や周辺モジュールを統括的に制御するための制御プログラム（ソフトウエア）を格納する。
The
ＲＡＭ２４は、ＣＰＵ２０が制御プログラムにしたがって作成するページメモリやソフトウエアが動作するために必要なワークメモリ等として使用される。またＲＡＭ２４は、ホストコンピュータ１８やウェアラブル端末からの印刷データをページ単位に管理して一時記憶するバッファとして使用される。またＲＡＭ２４は印字データから変換された画像データ（印字パターン）を記憶するビットマップメモリ（画像メモリ、展開メモリ）としても使用される。
The
ＮＶＲＡＭ２６は、電源を切っても保持したいデータ、例えば、印刷制御に用いられる、パネル装置１４を介して設定された所定の設定値や所定の印刷条件情報等の情報を格納しておくための不揮発性ＲＡＭである。
The
ＨＤＤ２８は、不揮発性記憶手段としての磁気ディスク等のハードディスクであり、ホストコンピュータ１８やウェアラブル端末等からの印刷データの蓄積や印字データから変換されたビットマップデータの蓄積に使用できる。またＨＤＤ２８は、それらのデータの保存のため、または一時記憶のためのバッファやワーク用領域等として、様々な用途で使用される。また、ＨＤＤ２８は印字に使用されるさまざまな種類のフォントデータの格納に使用されてもよい。
The
通信Ｉ／Ｆ３０は、ウェアラブル端末等の外部機器と無線通信（Ｗｉ−Ｆｉ通信）を行うためのインタフェースである。
The communication I /
ネットワークＩ／Ｆ３２は、ホストコンピュータ１８から画像処理装置１０への印刷ジョブとして送られる印刷データ（印字制御データおよび印字データを含む）およびホストコンピュータ１８から画像処理装置１０へのステータス信号を送受信するためのインタフェースである。
The network I /
エンジンＩ／Ｆ３４は、コントローラ１２からプリンタエンジン１６への制御信号およびプリンタエンジン１６からコントローラ１２へのステータス信号のやりとりをするためのインタフェースである。
The engine I /
パネルＩ／Ｆ３６は、パネル装置１４を介してユーザが画像処理装置１０の状態表示の切替えや動作モードおよびフォント等の切替え等を行えるように、コントローラ１２がパネル装置１４との間で信号のやりとりをするためのインタフェースである。
The panel I /
このように構成される画像処理装置１０において、通信Ｉ／Ｆ３０やネットワークＩ／Ｆ３２を通してウェアラブル端末やホストコンピュータ１８から送られてきた印刷データ（例えばＰＤＬデータ）は、ＣＰＵ２０により印字データおよび印字制御データとその他に分けられる。そして、印字データおよび印字制御データはそれぞれ画像データ（ビットマップデータ）および画像処理装置１０内部で使用される制御コードに変換されてＨＤＤ２８またはＲＡＭ２４に記憶される。その際、ホストコンピュータ１８やウェアラブル端末からの印刷ジョブまたはデータが１ページ分を超えた時、コントローラ１２は、まず印字データから生成した中間コードを画像データに変換する。それが終了すると、エンジンＩ／Ｆ３４を通してプリンタエンジン１６にプリントスタートの命令を出す。そして、この命令に応じてプリンタエンジン１６が印刷を開始する。
In the
図２は、一例としてメガネタイプのウェアラブル端末３８の外観構成を説明する概略構成図である。メガネタイプのウェアラブル端末３８は、一例として第１ユニット４０と第２ユニット４２を備える。第１ユニット４０は、一例としてメガネフレーム３８ａの一部に配置され、当該ウェアラブル端末３８の全体を制御するコントローラやバッテリ、マイク、スピーカ等が内蔵されている。また、第２ユニット４２もまたメガネフレーム３８ａの一部に配置され、表示部やカメラ、スイッチ、各種センサ等が内蔵されている。ユーザは、ウェアラブル端末３８をメガネをかけるが如く頭部に装着する。その結果、表示部に表示される画像がユーザの眼前に拡張現実を実現し、様々な情報を提供する。
FIG. 2 is a schematic configuration diagram illustrating an external configuration of a glasses-type
図３は、ウェアラブル端末３８のハードウエア構成を説明する説明図である。ウェアラブル端末３８は、コントローラ４４、表示部４６、カメラ４８、マイク５０、スピーカ５２、スイッチ５４等を含んで構成されている。
FIG. 3 is an explanatory diagram illustrating the hardware configuration of the
コントローラ４４は、ウェアラブル端末３８の全体を制御し、例えばインターネットを介して情報の検索、取得およびその表示、写真やビデオの撮影、再生およびその保存、メールの送受信、電話等の機能を実現する。また、それらの機能の実現にあたり表示部４６を介して適宜必要な情報をユーザの視界の一部に表示する。なお、コントローラ４４は、さらに後述する各種モジュールで構成される。
The controller 44 controls the
表示部４６は、図２に示すように、一例としてメガネフレーム３８ａの上部隅に配置され、インターネット等の通信手段を介して取得した情報やコントローラ４４で生成した情報等を示す映像をレンズ３８ｂに照射して表示する。また、別の例では、レンズ３８ｂ越しに表示部４６の表示内容が視認できるようにしてもよい。また、レンズ３８ｂを省略し表示部４６のみの構成で表示内容が視認できるようにしてもよい。この場合、所定の距離から所定の大きさのディスプレイを見るような感覚をユーザに与えるように表示部４６上に映像が表示される。
As shown in FIG. 2, the
カメラ４８（撮影部）は、図２に示すように、一例としてメガネフレーム３８ａの上部隅に配置される。そして、カメラ４８の画角は、ウェアラブル端末３８を頭部に装着したユーザの視野角と実質的に同じまたはカメラ４８の画角の方がユーザの視野角より大きく設定されることが望ましい。つまり、カメラ４８で撮影した映像とユーザが認識する風景とが実質的に同じになるように設定されている。なお、カメラ４８で撮影した映像内の像の位置と実風景内の像の位置が一致するように、カメラ４８の撮影角度の調整を行える機構を備えてもよい。なお、カメラ４８の解像度は適宜選択可能であるが、撮影した写真データやビデオデータが印刷やビデオ再生に十分に活用できる品質を得るレベルとすることが望ましい。カメラ４８の配置場所はメガネフレーム３８ａの中央部等他の部分でもよいし、複数のカメラを配置してステレオカメラとして機能させてもよい。
As shown in FIG. 2, the camera 48 (photographing unit) is disposed at the upper corner of the
マイク５０は、図２に示すように、メガネフレーム３８ａの一部に配置され、ユーザの発話による指示（コマンド）を集音したり、電話機能の実行時には会話の集音を行う。この他、周囲音の集音を行ってもよい。マイク５０は、集音の目的によって特性が変化するようにしてもよい。特性の切り替えはユーザの発話コマンドによって切り替わるようにしてもよいし、発話内容に応じて自動的に切り替わるようにしてもよい。
As shown in FIG. 2, the
スピーカ５２は、図２に示すように、メガネフレーム３８ａにおいてユーザの耳に近い部分に配置され、ウェアラブル端末３８の動作案内音の出力や通信手段を介して取得した音声の出力等を行う。スピーカ５２は開放型のスピーカでもよいし、骨伝導型のスピーカでもよい。また、イヤホーンとしてユーザの耳に装着するようにしてもよい。
As shown in FIG. 2, the
スイッチ５４は、図２に示すように、メガネフレーム３８ａの一部に配置され、音声コマンド以外のコマンド入力を行う場合に利用する。スイッチ５４は、操作音がマイク５０で集音されにくいように、マイク５０から離れた位置に配置されることが望ましい。スイッチ５４は、押下タイプの他、スライドタイプやダイヤルタイプでもよい。また、圧力スイッチや近接スイッチでもよい。
As shown in FIG. 2, the
次に、ウェアラブル端末３８のコントローラ４４に含まれる各種モジュールについて説明する。コントローラ４４は、ＣＰＵ５６、ＲＯＭ５８、ＲＡＭ６０、ＥＥＰＲＯＭ６２、通信Ｉ／Ｆ６４、入出力Ｉ／Ｆ６６等を含む。
Next, various modules included in the controller 44 of the
ＣＰＵ５６は、ＲＯＭ５８に格納された制御プログラムに従ってウェアラブル端末３８の動作を制御したり、ウェアラブル端末３８に無線接続された電子機器を制御するための処理を実行する。
The
ＲＯＭ５８は、ＣＰＵ５６が、コントローラ４４内で実行するデータの管理や周辺モジュールを統括的に制御するための制御プログラム（ソフトウエア）を格納する。
The
ＲＡＭ６０は、ＣＰＵ５６が制御プログラムを動作させるために必要なワークメモリ等として使用される。またＲＡＭ６０は、通信手段を介して取得した情報やカメラ４８やマイク５０を介して取得した情報を一時記憶するバッファとしても使用される。
The
ＥＥＰＲＯＭ６２は、電源を切っても保持したいデータ、例えば、ウェアラブル端末３８の設定情報等を格納しておくための不揮発性ＲＯＭである。
The
通信Ｉ／Ｆ６４は、画像処理装置１０等の外部機器と無線通信（Ｗｉ−Ｆｉ通信）を行うためのインタフェースである。
The communication I /
入出力Ｉ／Ｆ６６は、ウェアラブル端末３８に備えられる各種機器、例えば表示部４６、カメラ４８、マイク５０、スピーカ５２、スイッチ５４等との間で信号の送受信を行うインタフェースである。
The input / output I /
図４は、画像処理装置１０の一部の機能（二次元コードに関連する機能）を実現するためのソフトウエアブロック図である。図４に示される表示制御部６８、二次元コード生成部７０、通信制御部７２、設定実行部７４等は、ＣＰＵ２０がＲＯＭ２２に記憶された制御プログラムを読み出すことで実現する処理モジュールである。なお、図４に示された１つのブロックを複数のブロックによって実現してもよいし、図４に示された複数のブロックを１つのブロックとして実現してもよい。また、これらの一部または全部をハードウエアとして実現してもよい。
FIG. 4 is a software block diagram for realizing a part of the functions of the image processing apparatus 10 (functions related to the two-dimensional code). The
前述したように、本実施形態のウェアラブル端末３８は、画像処理装置１０の特定部位の撮影によって得られた情報に基づく情報処理を実行して、画像処理装置１０とウェアラブル端末３８との間で無線接続を実現する。そのため、画像処理装置１０は、一例として二次元コードをパネル装置１４上に表示する。表示制御部６８は、二次元コード生成部７０によって生成された二次元コード、またはＲＯＭ２２内の設定情報保存部７６に保存された二次元コードをウェアラブル端末３８で読み取れる状態でパネル装置１４に出力する。
As described above, the
二次元コード生成部７０は、例えば、設定情報保存部７６に無線接続の設定情報のみが保存され、二次元コードが保存されていない場合や二次元コードの表示タイミングにより表示内容（設定情報の内容）が変化する場合に、二次元コードを生成する。二次元コード生成部７０は、ユーザが操作する操作部７８からの生成コマンドを受け付けると設定情報保存部７６から無線接続の設定情報を読み出して二次元コードを生成する。二次元コードには、一例として図５に示すように、画像処理装置１０に固有の「ＩＰアドレス」、「ＳＳＩＤ」、「パスワード」等が含まれる。なお、ＩＰアドレスは静的ＩＰアドレスでもよいし、動的ＩＰアドレスでもよい。静的ＩＰアドレスの場合、ウェアラブル端末３８との間で一度接続設定をしてしまえば、以降はウェアラブル端末３８で設定情報の取得の必要がなくなり、処理の簡略化ができる。一方、動的ＩＰアドレスの場合、ウェアラブル端末３８は、ユーザがウェアラブル端末３８と画像処理装置１０との接続を行うたびに、設定情報を提供する。例えば、オフィス等で同機種の画像処理装置１０が複数台存在する場合は、ユーザが見ている画像処理装置１０との接続がスムーズに実現できる。なお、操作部７８は、パネル装置１４上でタッチパネルの形態で構成されてもよい。
For example, the two-dimensional code generation unit 70 stores only the wireless connection setting information in the setting
通信制御部７２は、通信Ｉ／Ｆ３０を介してウェアラブル端末３８等の電子機器と無線通信を実現する。
The communication control unit 72 implements wireless communication with an electronic device such as the
設定実行部７４は、ウェアラブル端末３８等の電子機器との間での無線接続を実現する。
The setting
図６は、ウェアラブル端末３８のソフトウエアブロック図である。図６に示される端末制御部８０、映像受信部８２、映像解析部８４、表示制御部８６、音声認識部８８、音声出力部９０、操作認識部９２、通信制御部９４、設定実行部９６等は、ＣＰＵ５６がＲＯＭ５８に記憶された制御プログラムを読み出すことで実現する処理モジュールである。なお、図６に示された１つのブロックを複数のブロックによって実現してもよいし、図６に示された複数のブロックを１つのブロックとして実現してもよい。また、これらの一部または全部をハードウエアとして実現してもよい。
FIG. 6 is a software block diagram of the
端末制御部８０は、ウェアラブル端末３８の全体を制御する。例えば、マイク５０やスイッチ５４を介して入力された指示コマンドに基づき、インターネット等の通信手段を利用して検索を行い必要な情報を取得したり、ＲＯＭ５８やＥＥＰＲＯＭ６２等の記憶手段から情報を取得したり、カメラ４８により映像情報を取得したりする。また、取得した各情報を表示部４６に表示したり、それに伴う音声をスピーカ５２から出力する制御等を行う。また、取得した情報をＲＡＭ６０（図３参照）やＥＥＰＲＯＭ６２等に保存する制御を行う。
The
映像受信部８２は、カメラ４８を制御して当該カメラ４８で映像情報を取得する。カメラ４８は、ウェアラブル端末３８の周辺映像を撮影すると共に、その中に含まれる情報、例えば二次元コード等を撮影することで取得する。なお、取得した映像情報は、一時的にＲＡＭ６０やＥＥＰＲＯＭ６２に記憶する。また、映像解析部８４は、取得した映像情報の映像解析を必要に応じて行う。例えば、取得した映像情報が二次元コードの場合、その二次元コードが含む情報の解析を行う。また、映像解析部８４は、解析結果をＲＡＭ６０やＥＥＰＲＯＭ６２等に記憶する。
The
表示制御部８６は、端末制御部８０がインターネット等の通信手段やＲＯＭ５８、ＥＥＰＲＯＭ６２、カメラ４８等を介して取得した画像情報や文字情報を表示部４６に表示する。本実施形態の表示部４６は、図２に示すように、レンズ３８ｂを通した視界の一部に配置され、視界内の適切な位置に画像情報や文字情報が表示される。表示される画像情報や文字情報は、例えば、半透明の態様で表示されてユーザがレンズ３８ｂを介して見ている像（現実風景）上に重畳される。その結果、ユーザが見ている像（現実風景）の視認性を損なうこと無く、取得した画像情報や文字情報をユーザに提供することができる。この場合、表示部４６に表示される情報は、オリジナル情報を表示してもよいし、情報内容に応じて、予め定めた規則にしたがい優先度の高い情報を選択的に表示するようにしてもよい。また、適宜情報を加工して表示するようにしてもよい。
The
表示制御部８６は、情報取得部９８（取得部）、案内画像生成部１００(情報生成部)、重畳部１０２を含む。本実施形態のウェアラブル端末３８は、効率的な利用を実現するために各種案内情報を生成する。例えば、カメラ４８によって周辺映像を撮影する際に、その画像の中に取得すべき情報が含まれている場合がある。しかし、その情報が必ずしも解析可能な状態で映り込んでいるとは限らない。例えば、二次元コードを解析しようとする場合、現状の撮影状態では、二次元コードの表示された位置が遠すぎて映像情報に二次元コードが存在するものの解析できない場合がある。そのような場合に、画像処理装置１０における特定部位、例えば二次元コードが表示されている位置にユーザの注目を促すような案内情報を生成する。例えば「ここを見てください。」や「もう少しパネルに近づいてください。」等の案内情報を提供する。
The
そこで、表示制御部８６は、まずカメラ４８が現在撮影している（ユーザの視野に入っている）電子機器を特定する。つまり、情報取得部９８は、カメラ４８が現在撮影している電子機器の特徴的な部分と一致する特徴点を有する電子機器をＲＯＭ５８の特徴点情報保存部５８ａに保持された情報から読み出す。特徴点情報保存部５８ａには、例えば画像処理装置１０を特定するための特徴点情報が機種ごとに保存されている。特徴点情報は画像処理装置１０の画像情報に付加した態様で保存されていてもよい。
Therefore, the
図７は、説明のために特徴点情報保存部５８ａに保持されている画像処理装置１０の特徴点（左側）とカメラ４８で撮影している画像処理装置１０の特徴部分（右側）の比較状態を示している。特徴点は、輝度差が大きいエッジ部分などで定義される。そして、カメラ４８で撮影した電子機器の輝度差が大きいエッジ部分を抽出し、輝度の変化を方向として表し、輝度差と方向が一致するものを同じ特徴点とする。そして、表示制御部８６は、カメラ４８で取得した画像情報の特徴点と比較して、一致する特徴点数が所定閾値以上になった場合に、画像処理装置１０が存在すると判定する。特徴点情報保存部５８ａに、複数の角度や距離から撮影した画像処理装置の画像の情報を保持することで、画像処理装置１０の検出精度を向上することができる。
FIG. 7 shows a comparison state between the feature points (left side) of the
また、特徴点情報保存部５８ａには、画像処理装置１０における特定部位、例えば二次元コードが表示されているパネル装置１４の相対的な位置情報が機種ごとに保持されている。情報取得部９８は、特定した画像処理装置１０におけるパネル装置１４の相対位置を示す位置情報を特徴点情報保存部５８ａから取得する。そして、この位置情報に基づいて、カメラ４８で撮影している画像処理装置１０におけるパネル装置１４の位置を特定する。図８は、説明のために特徴点情報保存部５８ａに保持されている画像処理装置１０の特徴点としてのパネル装置１４の位置（左側）に基づいて、カメラ４８で撮影している画像処理装置１０におけるパネル装置１４の位置を特定している状態例を示している。このように、画像処理装置１０の機種が特定できれば、カメラ４８で撮影している画像処理装置１０における特定部位、例えばパネル装置１４の撮影画像上の位置が特定できる。なお、二次元コードは、パネル装置１４上だけでなく、画像処理装置１０の側面（ハウジング側壁）等にシール等で貼られている場合がある。その場合はそのシール（二次元コード）の位置を特徴点情報保存部５８ａで保存してもよい。
The feature point
案内画像生成部１００は、カメラ４８で撮影している画像処理装置１０における特定部位、例えばパネル装置１４の撮影画像上の位置が特定できたら、その位置にユーザの注目を促すように案内情報を生成する。前述したように、ウェアラブル端末３８を頭部に装着したユーザの視野角とカメラ４８の画角が実質的に同じに設定されている。したがって、例えば図９に示すように、パネル装置１４の位置をカメラ４８の撮影画像の例えば左上隅を基準に、座標（Ｍ，Ｎ）として決めることができる。案内画像生成部１００は、座標（Ｍ，Ｎ）を基準に案内情報である「ここを見てください」というメッセージ１０４と、パネル装置１４の位置を強調する例えば強調枠１０６を生成する。そして、生成した案内情報（メッセージ１０４、強調枠１０６）を重畳部１０２がユーザが実際に見ている画像処理装置１０の像のパネル装置１４の位置に重畳表示する。ユーザが実際に見ている画像処理装置１０の像に案内画像を重畳した状態を図１０に示す。案内画像の表示態様は、例えば半透明として実風景（実像）の視認の妨げにならないようにすることが望ましい。このような、案内情報の表示を行うことによりウェアラブル端末３８を装着したユーザは、メッセージ１０４や強調枠１０６により注意喚起され、強調枠１０６で囲まれた部分を注目する。つまり、案内情報は、強調枠１０６で囲まれた部分を視野の真ん中に持ってくるような移動をユーザに促したり、さらに近づくような移動を促したりする効果を実現する。なお、メッセージ１０４や強調枠１０６はユーザの注目を喚起するような態様で、かつユーザの視認負担にならない態様で表示することが望ましい。例えば赤色表示等の際だち表示や点滅表示等にしてもよい。また、案内画像生成部１００は、強調枠１０６を撮影画像中の特定部位に示される情報の表示サイズ、例えば、パネル装置１４の表示サイズや二次元コードの表示サイズに対応する表示サイズとしてもよい。例えば、撮影画像中のパネル装置１４の表示サイズが小さい場合、すなわちパネル装置１４から遠い場合には、強調枠１０６の表示サイズも小さくする。逆に撮影画像中のパネル装置１４の表示サイズが十分に大きい場合、すなわちパネル装置１４から近い場合には、強調枠１０６の表示サイズもそれに対応させて大きくする。このように強調枠１０６等の案内情報の表示サイズを変化させることにより、ユーザが実際に見ている画像処理装置１０との距離感を認識させやすくすることができる。また、画像処理装置１０の何処を見たらよいのかを理解させやすくすることができる。
When the specific part of the
音声認識部８８は、マイク５０から入力される音声情報を取得、認識して端末制御部８０における制御を実行する。例えば音声コマンドや検索キーワードの入力、電話機能使用時の入力やテキスト作成時に文章入力を受け付ける。
The
音声出力部９０は、インターネット等の通信手段を利用して取得した情報や、ＲＯＭ５８やＥＥＰＲＯＭ６２等の記憶手段から取得した情報、カメラ４８で取得した映像情報等に付随する音声をスピーカ５２を介して出力して、ユーザに提供する。
The audio output unit 90 transmits information associated with information acquired by using communication means such as the Internet, information acquired from storage means such as the
操作認識部９２は、表示部４６に表示される選択コマンドの選択、決定等をスイッチ５４の操作を介して受け付け、端末制御部８０に操作に対応する処理を実行させる。
The
通信制御部９４は、通信Ｉ／Ｆ６４を介して画像処理装置１０をはじめとする他の電子機器やインターネット、ＬＡＮ等との無線接続を実現する。
The
設定実行部９６は、画像処理装置１０をはじめとする他の電子機器やインターネット、ＬＡＮ等との無線接続の設定を実行する。なお、設定実行部９６は、無線接続時の設定情報等をＥＥＰＲＯＭ６２の設定情報保存部６８ａに保存し、再接続を行う場合に利用してもよい。
The setting execution unit 96 executes wireless connection settings with other electronic devices such as the
このように構成されるウェアラブル端末３８と画像処理装置１０との無線接続の手順を図１１および図１２のフローチャートを用いて説明する。一例として、ウェアラブル端末３８を装着したユーザが、ウェアラブル端末３８の記憶部やクラウド上等に保持されたデータを画像処理装置１０で印刷処理を実行するにあたり、ウェアラブル端末３８と画像処理装置１０とを無線接続する例を説明する。
A procedure for wireless connection between the
まず、ユーザは、マイク５０やスイッチ５４を用いてカメラ４８によりユーザ周辺の風景の撮影を実行させて、映像受信部８２による撮影画像の取り込みを行う（Ｓ１００；撮影処理）。端末制御部８０は、映像解析部８４の撮影画像の解析結果に基づいて、撮影画像の中に画像処理装置１０（ＭＦＰ）が存在するか否か判定する（Ｓ１０２）。撮影画像に画像処理装置１０が存在しない場合（Ｓ１０２のＮｏ）、Ｓ１００に戻り、映像受信部８２は他の撮影画像の取得を行う。なお、この場合、音声出力部９０は、画像処理装置１０が確認できないことや他の方向の撮影を行う旨のメッセージをスピーカ５２から出力してもよい。また、表示制御部８６は、同様な内容のメッセージを表示部４６に表示してもよい。
First, the user causes the
撮影画像に画像処理装置１０が存在する場合（Ｓ１０２のＹｅｓ）、通信制御部９４は、その画像処理装置１０との無線接続が接続済みか否か判定する（Ｓ１０４）。既に無線接続済みの場合（Ｓ１０４のＹｅｓ）、端末制御部８０は、一旦このフローを終了し、接続されている画像処理装置１０を用いた印刷処理等を実行する。
When the
Ｓ１０４において、撮影画像中の画像処理装置１０とウェアラブル端末３８との無線接続が未接続の場合（Ｓ１０４のＮｏ）、端末制御部８０は、表示制御部８６により撮影画像中の画像処理装置１０の機種特定を実行する（Ｓ１０６）。この場合、図７に示すように表示制御部８６は、撮影画像中の画像処理装置１０の特徴点と情報取得部９８が特徴点情報保存部５８ａから取得する特徴点情報との比較により、機種特定を実行する。表示制御部８６は撮影画像中の画像処理装置１０の機種特定が完了したら、特定した画像処理装置１０において接続情報を示す二次元コードが表示されたパネル装置１４の位置を示す特定部位の位置情報を情報取得部９８に取得させる（Ｓ１０８；取得処理）。表示制御部８６は、特徴点情報保存部５８ａから取得したパネル装置１４の位置情報に基づき、現在の解析対象の撮影画像にパネル装置１４が存在するか否か判定する（Ｓ１１０）。例えば、ユーザが画像処理装置１０の側面や背面を見ていた場合には、画像処理装置１０の存在が確認できる場合でもパネル装置１４が確認できない場合がある（Ｓ１１０のＮｏ）。そのような場合は、Ｓ１００に戻り、他の撮影画像の取り込みを行い、Ｓ１００以降の処理を再度実行する。
In S104, when the wireless connection between the
Ｓ１１０において、表示制御部８６が撮影画像中にパネル装置１４が存在すると判定した場合（Ｓ１１０のＹｅｓ）、表示制御部８６は、案内画像生成部１００に図９に示すような案内情報を生成させる（Ｓ１１２；情報生成処理）。さらに、表示制御部８６は重畳部１０２を用いて、生成された案内情報をユーザの見ている画像処理装置１０の像に重畳させる（Ｓ１１４；重畳処理）。この時点で映像解析部８４が、撮影画像中で解析可能な二次元コードを取得できない場合（Ｓ１１６のＮｏ）、Ｓ１００に戻り、他の撮影画像を取り込み、Ｓ１００以降の処理を再度実行する。また、映像解析部８４が、撮影画像中に解析可能な二次元コードを取得できた場合（Ｓ１１６のＹｅｓ）、端末制御部８０は、取得した二次元コードに基づく無線接続処理を実行して（Ｓ１１８；情報処理）、このフローを一旦終了する。
In S110, when the
図１２には、端末制御部８０が設定実行部９６等に実行させる二次元コードに基づく無線接続処理の詳細が示されている。まず、端末制御部８０は、映像解析部８４に取得した二次元コードの解析を実行させる（Ｓ２００）。この解析では、二次元コードに含まれる例えばＩＰアドレス、ＳＳＩＤ、パスワード等が抽出される。端末制御部８０は解析結果を表示制御部８６を介して表示部４６に表示させてユーザに提供する（Ｓ２０２）。このような設定情報を表示することにより、制御対象の画像処理装置１０に関する多くの情報がユーザに提供可能となり、利用しようとする画像処理装置１０の管理が容易になる。なお、この表示処理は省略してもよい。
FIG. 12 shows details of the wireless connection process based on the two-dimensional code that the
続いて、端末制御部８０は、表示制御部８６を介して、解析結果に基づく処理を実行するか否かを問い合わせる確認情報を表示部４６に表示させる（Ｓ２０４；確認処理）。例えば、「画像処理装置に接続しますか？」等の実行確認を行う（Ｓ２０６）。このような接続確認を行うことで、ユーザが接続しようとしている画像処理装置１０以外の電子機器に対して誤って接続処理等を実施してしまうことが防止できる。また、解析した二次元コードの含む情報が無線接続の設定情報ではなく、他の制御を実行するための情報であった場合、その制御を実行するか否かを問い合わせてもよい。問い合わせ後、マイク５０から入力されるボイスコマンドやスイッチ５４から入力される操作コマンドにより、接続処理の実行指示を受け付けた場合（Ｓ２０６のＹｅｓ）、設定実行部９６はウェアラブル端末３８と画像処理装置１０との無線接続を実行する（Ｓ２０８）。また、Ｓ２０６において、ボイスコマンドや操作コマンドにより非実行指示が受け付けられた場合（Ｓ２０６のＮｏ）、Ｓ２０８の処理をスキップしてこのフローを一旦終了する。
Subsequently, the
このように、制御対象機器（画像処理装置１０）の特定部位に注目を促す案内情報を生成して、制御対象機器の像に重畳表示することにより、制御対象機器が提供する情報を利用できる状態で撮影できるようにカメラ４８の位置を誘導することができる。その結果、制御対象機器から供給された情報に基づく情報処理をスムーズに実行することができる。
In this way, the information provided by the control target device can be used by generating guidance information that draws attention to a specific part of the control target device (image processing apparatus 10) and displaying the guidance information superimposed on the image of the control target device. The position of the
図１３は、他の実施形態に係るウェアラブル端末３８の処理を説明するフローチャートである。他の実施形態では、ユーザから画像処理装置１０までの距離が遠すぎて、二次元コードの存在確認はできるものの内容が十分に解析できなかった場合や、画像処理装置１０側で二次元コードが非表示状態になっていた場合の対応について説明している。
FIG. 13 is a flowchart for explaining processing of the
ユーザは、マイク５０やスイッチ５４を用いたコマンド入力によりカメラ４８による撮影および映像受信部８２による撮影画像の取り込みを行う（Ｓ１００）。端末制御部８０は、映像解析部８４の解析結果に基づいて、撮影画像の中に画像処理装置１０（ＭＦＰ）が存在するか否か判定する（Ｓ１０２）。撮影画像に画像処理装置１０が存在しない場合（Ｓ１０２のＮｏ）、Ｓ１００に戻り、映像受信部８２は他の撮影画像の取得を行う。
The user performs shooting by the
撮影画像に画像処理装置１０が存在する場合（Ｓ１０２のＹｅｓ）、通信制御部９４は、その画像処理装置１０との無線接続が接続済みか否か判定する（Ｓ１０４）。そして、既に無線接続済みの場合（Ｓ１０４のＹｅｓ）、端末制御部８０は、一旦このフローを終了し、接続されている画像処理装置１０を用いた印刷処理等を実行する。
When the
Ｓ１０４において、撮影画像中の画像処理装置１０とウェアラブル端末３８との無線接続が未接続の場合（Ｓ１０４のＮｏ）、端末制御部８０は、表示制御部８６により撮影画像中の画像処理装置１０の機種特定を実行する（Ｓ１０６）。表示制御部８６は撮影画像中の画像処理装置１０の機種特定が完了したら、特定した画像処理装置１０において接続情報を示す二次元コードが表示されたパネル装置１４の位置を示す特定部位の位置情報を情報取得部９８に取得させる（Ｓ１０８）。表示制御部８６は、特徴点情報保存部５８ａから取得したパネル装置１４の位置情報に基づき、現在の解析対象の撮影画像にパネル装置１４が存在するか否か判定する（Ｓ１１０）。パネル装置１４の存在が確認できない場合（Ｓ１１０のＮｏ）、Ｓ１００に戻り、他の撮影画像の取り込みを行い、Ｓ１００以降の処理を再度実行する。
In S104, when the wireless connection between the
Ｓ１１０において、表示制御部８６が撮影画像中にパネル装置１４が存在すると判定した場合（Ｓ１１０のＹｅｓ）、表示制御部８６は、案内画像生成部１００に案内情報を生成させる（Ｓ１１２）。さらに、表示制御部８６は、重畳部１０２を介して生成された案内情報をユーザの見ている画像処理装置１０の像に重畳させる（Ｓ１１４）。この時点で、映像解析部８４が、撮影画像中に解析可能な二次元コードを取得できた場合（Ｓ１１６のＹｅｓ）、端末制御部８０は、取得した二次元コードに基づく無線接続処理を実行して（Ｓ１１８；情報処理）、このフローを一旦終了する。一方、Ｓ１１６において、映像解析部８４が、撮影画像中で解析可能な二次元コードを取得できない場合（Ｓ１１６のＮｏ）、映像解析部８４は、撮影画像の解析を二次元コードの解析モードから二次元コードの探索モードに切り替える。そして、映像解析部８４は、撮影画像中に二次元コード表示済みのパネル装置１４が存在するか否か判定する（Ｓ３００）。もし、撮影画像中に二次元コード表示済みのパネル装置１４が発見できた場合（Ｓ３００のＹｅｓ）、案内画像生成部１００は、ユーザに画像処理装置１０（パネル装置１４）に接近することを促す接近案内情報を生成する。例えば、パネル装置１４に二次元コードが表示されているものの、ユーザからパネル装置１４までの距離が遠すぎて二次元コードが小さく解析不能な場合に、パネル装置１４に接近することを促す案内情報を生成する。そして、重畳部１０２を介して、生成した接近案内情報をユーザが見ている画像処理装置１０の像に対応して重畳させて、表示部４６に表示する（Ｓ３０２）。図１４のイメージ図は、ユーザが見ている画像処理装置１０の像に接近案内情報１０８として「もう少しパネルに近づいてください」というメッセージを重畳した状態を示している。接近案内情報１０８の表示によりユーザは、パネル装置１４（画像処理装置１０）への接近を促される。その結果、カメラ４８により撮影される撮影画像中のパネル装置１４が実質的に拡大され、二次元コードの認識および解析を容易に実行できるようになる。表示制御部８６が接近案内情報１０８の表示を完了したら、Ｓ１１０に移行し（Ａ）、Ｓ１１０以降の処理を再度実行し、二次元コードの再確認および必要に応じて二次元コードの再撮影が実行される。
In S110, when the
Ｓ３００において、撮影画像中に二次元コード表示済みのパネル装置１４が存在しない場合がある（Ｓ３００のＮｏ）。例えば、画像処理装置１０のパネル装置１４において、二次元コードが通常時は非表示とされている場合が考えられる。また、パネル装置１４以外にシール貼附等により表示されている場合がある。この場合、案内画像生成部１００は、情報取得部９８を介して特徴点情報保存部５８ａから二次元コードの表示態様に関する情報を取得する。例えば、パネル装置１４に二次元コードが常時表示されているか否か、特定の操作を行ったときのみ表示されるか否か等の情報や、パネル装置１４以外の部分に二次元コードが表示（貼附）されている等の情報を取得する。二次元コードが特定の操作を行ったときのみパネル装置１４に表示される場合、案内画像生成部１００は、その操作手順を示す二次元コード表示案内を案内情報として生成する。そして、重畳部１０２が二次元コード表示案内情報をユーザが見ている画像処理装置１０の像に対応して重畳するように表示部４６に表示する（Ｓ３０４）。二次元コード表示案内情報として、例えば、「（１）パネル装置のキー操作が必要です」と表示する。続いて、「（２）ファンクションキープッシュ操作」、「（３）二次元コード生成キープッシュ操作」、「（４）二次元コード表示キープッシュ操作」、「（５）ウェアラブル端末で二次元コードを目視」等と表示する。
In S300, there is a case where the two-dimensional code displayed
図１５は、画像処理装置１０側のＣＰＵ２０における二次元コードの生成処理を説明するフローチャートである。図４のソフトウエアブロック図と共に、生成処理の詳細を説明する。ユーザによる操作部７８やパネル装置１４等の操作で、二次元コードの表示コマンドを二次元コード生成部７０が受け付けた場合（Ｓ４００のＹｅｓ）、二次元コード生成部７０はＲＯＭ２２の設定情報保存部７６に保存された設定情報を取得する（Ｓ４０２）。そして、二次元コード生成部７０は、二次元コード（二次元コード画像）を生成する（Ｓ４０４）。表示制御部６８は、生成した二次元コードをパネル装置１４の所定の位置に表示して（Ｓ４０６）、このフローを一旦終了する。Ｓ４００において、二次元コードの表示コマンドの入力がない場合（Ｓ４００のＮｏ）、表示コマンドの入力待ち状態となる。
FIG. 15 is a flowchart for describing a two-dimensional code generation process in the
なお、パネル装置１４に表示する二次元コードは、例えば、所定時間表示した後に非表示とするようにしてもよい。このように通常時は接続情報を含む二次元コードを非表示とすることで、セキュリティ性の向上に寄与できる。また、画像処理装置１０としての基本操作には関与しない二次元コードが通常時には表示されないので、パネル装置１４の表示レイアウトの自由度向上に寄与できる。また、意匠性の向上にも寄与できる。なお、二次元コードが常時表示される態様の場合で、設定情報に含まれるＩＰアドレスが動的ＩＰアドレスの場合、二次元コード生成部７０は、所定の周期で対応する動的ＩＰアドレスを含む二次元コードを作成するようにしてもよい。
The two-dimensional code displayed on the
図１３に戻り、Ｓ３０４で二次元コード表示案内情報を表示部４６に重畳して、ユーザに操作指示を行った後は、Ｓ１１０（Ａ）に移行してパネル装置１４に表示された二次元コードをウェアラブル端末３８で取得するための処理を再度実行する。
Returning to FIG. 13, after the two-dimensional code display guidance information is superimposed on the
なお、二次元コードがパネル装置１４以外の位置に貼附等により表示されている場合、二次元コード生成部７０で、その旨を示す二次元コードを生成して、ウェアラブル端末３８に通知してもよい。また、Ｓ１０６で画像処理装置１０の機種を特定した時点で、二次元コードの貼附位置を特徴点情報保存部５８ａから取得するようにしてもよい。このような場合、案内画像生成部１００は、二次元コード表示案内として「側面に貼附された二次元コードを見てください」等の案内情報を生成する。そして、重畳部１０２により、その案内情報を他の案内情報と同様に表示部４６に重畳表示して、二次元コードをウェアラブル端末３８で取得するための処理を実行する。
When the two-dimensional code is displayed at a position other than the
このように、二次元コードの表示態様に応じた案内情報を生成し、表示部４６に重畳表示することにより、二次元コードを解析可能な状態でスムーズに取得して、二次元コードが提供する情報に基づく処理が迅速に実行できる。
In this way, by generating guidance information according to the display mode of the two-dimensional code and displaying it superimposed on the
ところで、上述した実施形態において、ウェアラブル端末３８のカメラ４８で取得する情報の一例として二次元コードを示したが、他の形態の情報表示技術を用いてもよい。図１６は、一例として、パネル装置１４の表示画像１４ａに電子透かし１１０を埋め込んだ例である。電子透かし１１０は、一例として文字の特徴がある部分１１０ａ，１１０ｂ等にビット情報を埋め込み、この情報を解析することで埋め込まれている情報を取得することができる。このように、パネル装置１４の表示画像１４ａに電子透かし１１０を埋め込むことで、ウェアラブル端末３８のカメラ４８で二次元コードと同様に電子透かし１１０を読み取ることができる。その結果、二次元コードと同様の情報を容易にウェアラブル端末３８側で取得できる。このような電子透かし１１０を用いることで、接続情報等を通常の表示画面に表示してもその表示レイアウトを崩すことがなく、設定情報等を認識されにくい態様で常時表示しておくことができる。また、電子透かし１１０は表示上認識されにくいので、二次元コードを利用する場合のように、表示／非表示の切り替えを行う処理を省略することができる。
By the way, in the above-described embodiment, a two-dimensional code is shown as an example of information acquired by the
また、上述した実施形態では、ウェアラブル端末の一例としてメガネタイプのウェアラブル端末３８を示したが、他のタイプのウェアラブル端末にも本実施形態を適用できる。図１７は、ウェアラブル端末の他の例として、腕時計タイプのウェアラブル端末１１２を示している。ウェアラブル端末１１２は、本体部１１４の表面に配置された表示部１１６と、本体部１１４の側面に配置されたカメラ１１８と、本体部１１４を支持すると共にユーザの腕に固定するバンド１２０等を含む。なお、本体部１１４には、図示を省略しているが、メガネタイプのウェアラブル端末３８と同様に、マイク、スピーカ、スイッチ等が配置されている。また、スピーカの代わりにイヤホーン等を装着する接続ジャックが形成されていてもよい。また、本体部１１４の内部には、図３に示すコントローラ４４と同様の構成が納められ、ＣＰＵ５６上では図６と同様な各種モジュールが構成されて同様に機能する。
In the embodiment described above, the glasses-type
ウェアラブル端末１１２の場合、画像処理装置１０と無線接続しようとする場合には、接続しようとする画像処理装置１０に向かってウェアラブル端末１１２のカメラ１１８を翳す。この場合、表示部１１６には、画像処理装置１０の撮影画像が表示されると共に、ウェアラブル端末３８と同様に、その撮影画像に基づいて画像処理装置１０の特定、パネル装置１４の相対位置の検出等を行う。そして、案内画像生成部１００は、画像処理装置１０のパネル装置１４に表示された二次元コードや電子透かし１１０を読み取り可能な位置にカメラ１１８を移動させるように促す案内情報を生成する。案内情報の一例としては、図１７に示すように矢印メッセージ１２２とすることができる。ウェアラブル端末１１２の場合、表示部１１６が小さく、ユーザは腕を動かしながらカメラ１１８の位置を調整するため、案内内容の理解が容易でシンプルな矢印等のマーク表示が望ましい。なお、音声出力による案内や文字表示による案内を併用してもよく、ユーザの注目を促すことができる。
In the case of the
上述の各説明において、モバイル機器の一例として示したウェアラブル端末は、メガネタイプや腕時計タイプで、当該ウェアラブル端末に表示部、カメラ、マイク、スピーカ、スイッチ等が一体的に搭載された例を示した。別の例として、構成の一部や全てが別体構成とされていてもよい。例えば、カメラのみを別体構成としてもよく、同様の効果を得ることができる。また、ウェアラブル端末としてコンタクトレンズタイプにも本実施形態の技術は適用可能である。この場合、上述の構成の一部は別構成となる場合があるが、同様な効果が得られる。 In each of the above descriptions, the wearable terminal shown as an example of the mobile device is an eyeglass type or a wristwatch type, and an example in which a display unit, a camera, a microphone, a speaker, a switch, and the like are integrally mounted on the wearable terminal is shown. . As another example, a part or all of the configuration may be a separate configuration. For example, only the camera may be a separate configuration, and the same effect can be obtained. Further, the technique of the present embodiment can be applied to a contact lens type as a wearable terminal. In this case, a part of the above-described configuration may be a different configuration, but the same effect can be obtained.
また、別の実施形態として、撮影部、取得部、情報生成部、重畳部、制御部とを含む情報処理システムを構成してもよい。この場合、撮影部は、制御対象機器を撮影する。取得部は、撮影した制御対象機器に定められた特定部位の位置情報を取得する。情報生成部は、位置情報に基づいて制御対象機器における特定部位に注目を促す案内情報を生成する。重畳部は、案内情報を制御対象機器の像に重畳表示する。制御部は、注目を促した特定部位の撮影によって得られた情報に基づく処理を実行する。このような構成の情報処理システムにおいても、上述したようにウェアラブル端末に実施形態の技術を適用した場合と同様の効果を得ることができる。 As another embodiment, an information processing system including an imaging unit, an acquisition unit, an information generation unit, a superimposition unit, and a control unit may be configured. In this case, the photographing unit photographs the control target device. An acquisition part acquires the positional information on the specific site | part defined in the image | photographed control object apparatus. The information generation unit generates guidance information that prompts attention to a specific part in the control target device based on the position information. The superimposing unit superimposes and displays the guidance information on the image of the control target device. A control part performs the process based on the information obtained by imaging | photography of the specific site | part which attracted attention. Even in the information processing system having such a configuration, it is possible to obtain the same effect as when the technique of the embodiment is applied to the wearable terminal as described above.
また、別の実施形態として、ウェアラブル端末と、当該ウェアラブル端末と無線接続可能な画像処理装置と、からなる相互接続システムを構成してもよい。この場合、ウェアラブル端末は、撮影部と、取得部と、情報生成部と、重畳部と、端末制御部とを含む。撮影部は、制御対象機器を撮影する。取得部は、撮影した制御対象機器に定められた特定部位の位置情報を取得する。情報生成部は、位置情報に基づいて制御対象機器における特定部位に注目を促す案内情報を生成する。重畳部は、案内情報を制御対象機器の像に重畳表示する。端末制御部は、注目を促した特定部位の撮影によって得られた情報に基づき画像処理装置に対し無線接続処理を実行する。一方、画像処理装置は、表示部と、本体制御部とを含む。表示部は、ウェアラブル端末と無線接続するための情報を特定部位に表示する。本体制御部は、情報に基づきウェアラブル端末に対する無線接続処理を実行する。このような構成の相互接続システムにおいても、上述したように実施形態と同様な効果を得ることができる。 As another embodiment, an interconnection system including a wearable terminal and an image processing apparatus that can be wirelessly connected to the wearable terminal may be configured. In this case, the wearable terminal includes an imaging unit, an acquisition unit, an information generation unit, a superimposition unit, and a terminal control unit. The photographing unit photographs the control target device. An acquisition part acquires the positional information on the specific site | part defined in the image | photographed control object apparatus. The information generation unit generates guidance information that prompts attention to a specific part in the control target device based on the position information. The superimposing unit superimposes and displays the guidance information on the image of the control target device. The terminal control unit executes a wireless connection process on the image processing apparatus based on information obtained by photographing a specific part that has attracted attention. On the other hand, the image processing apparatus includes a display unit and a main body control unit. The display unit displays information for wireless connection with the wearable terminal on a specific part. The main body control unit executes a wireless connection process for the wearable terminal based on the information. Also in the interconnection system having such a configuration, the same effects as those of the embodiment can be obtained as described above.
また、上述した実施形態においては、ウェアラブル端末３８，１１２の制御対象機器を画像処理装置１０とする場合を示したが、制御対象機器は、適宜選択可能である。例えば、複写機、プリンター、イメージスキャナ、ファクシミリ等のいずれか一つの機能、またはそのうちの幾つかを組み合わせた機能を有する電子機器としてもよい。また、テレビや録画、録音装置等のオーディオ機器、家電機器、自動車、ロボット等を制御対象機器としてもよく、同様の効果を得ることができる。
Moreover, although the case where the control target device of the
また、上述した実施形態では、無線接続の一例として、Ｗｉ−Ｆｉ通信を示し、二次元コードに含まれる接続情報を提供、取得する場合を示したが、例えばブルートゥース（登録商標）のペアリング情報を接続情報として提供、取得してもよい。この場合も同様の効果を得ることができる。 In the above-described embodiment, Wi-Fi communication is shown as an example of wireless connection, and connection information included in a two-dimensional code is provided and acquired. For example, Bluetooth (registered trademark) pairing information May be provided and acquired as connection information. In this case, the same effect can be obtained.
また、上述した実施形態においては、一例としてウェアラブル端末３８，１１２の画像処理装置１０との無線接続を確立する際の設定情報を取得する場合を示したが、取得する情報は適宜選択可能である。制御対象機器の情報、例えば紙なし情報やトナー切れ情報等を二次元コード等に含ませて、接続前のウェアラブル端末に提供してもよい。この場合、接続機器の事前選択を行わせることが可能になり、制御対象機器の利用効率の向上に寄与できる。
In the above-described embodiment, as an example, the case where setting information for establishing a wireless connection with the
上述の実施形態の画像処理装置１０やウェアラブル端末３８，１１２等で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。別の実施形態としては、プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。この場合、画像処理装置１０やウェアラブル端末３８，１１２等にはそれぞれインタフェースを備えるようにすればよい。
The programs executed by the
さらに、上述の実施形態の画像処理装置１０やウェアラブル端末３８，１１２等で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述の実施形態の画像処理装置１０やウェアラブル端末３８，１１２等で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
Furthermore, the program executed by the
上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態およびその変形は、発明の範囲および要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 The above-described embodiments are presented as examples, and are not intended to limit the scope of the invention. The novel embodiment can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. This embodiment and its modifications are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
１０ 画像処理装置
１２，４４ コントローラ
１４ パネル装置
２０，５６ ＣＰＵ
２２，５８ ＲＯＭ
２４，６０ ＲＡＭ
２６ ＮＶＲＡＭ
２８ ＨＤＤ
３０，６４ 通信Ｉ／Ｆ
３２ ネットワークＩ／Ｆ
３６ パネルＩ／Ｆ
３８，１１２ ウェアラブル端末
４６，１１６ 表示部
４８，１１８ カメラ
５８ａ 特徴点情報保存部
６２ ＥＥＰＲＯＭ
６８ 表示制御部
７０ 二次元コード生成部
８０ 端末制御部
１００ 案内画像生成部
１０２ 重畳部
１０４ メッセージ
１０６ 強調枠
１０８ 接近案内情報
１２２ 矢印メッセージ
10
22, 58 ROM
24, 60 RAM
26 NVRAM
28 HDD
30,64 Communication I / F
32 Network I / F
36 Panel I / F
38, 112
68 Display control unit 70 Two-dimensional
Claims (15)
制御対象機器を撮影する撮影部と、
撮影した前記制御対象機器に定められた特定部位の位置情報を取得する取得部と、
前記位置情報に基づいて前記制御対象機器における前記特定部位を、該ウェアラブル端末を装着するユーザに目視させるように促す案内情報を生成する情報生成部と、
前記案内情報を前記制御対象機器の像に重畳表示する重畳部と、
目視を促した前記特定部位の撮影によって得られた情報に基づいて、前記制御対象機器との接続処理を行う制御部と、を備え、
前記制御部は、注目を促した前記特定部位において所定の情報が非表示であると判定した場合、前記制御対象機器において前記所定の情報を表示させるための手順を示す案内情報を出力すること
を特徴とするウェアラブル端末。 A wearable terminal worn by a user,
An imaging unit for imaging the control target device;
An acquisition unit that acquires position information of a specific part determined in the device to be imaged;
An information generation unit that generates guidance information that prompts the user wearing the wearable terminal to visually check the specific part of the control target device based on the position information;
A superimposing unit that superimposes and displays the guidance information on the image of the control target device;
A control unit that performs connection processing with the device to be controlled based on information obtained by imaging the specific part that prompted visual inspection ,
The control unit outputs guidance information indicating a procedure for displaying the predetermined information on the control target device when it is determined that the predetermined information is not displayed in the specific part that has attracted attention.
Wearable terminal characterized by .
制御対象機器を撮影部で撮影する撮影処理と、
撮影した前記制御対象機器に定められた特定部位の位置情報を取得する取得処理と、
前記位置情報に基づいて前記制御対象機器における前記特定部位を、該ウェアラブル端末を装着するユーザに目視させるように促す案内情報を生成する情報生成処理と、
前記案内情報を前記制御対象機器の像に重畳表示する重畳処理と、
目視を促した前記特定部位の撮影によって得られた情報に基づく、前記制御対象機器との接続処理と、を実行させ、
注目を促した前記特定部位において所定の情報が非表示である場合、前記制御対象機器において前記所定の情報を表示させるための手順を示す案内情報を出力するように、前記接続処理を実行させること
を特徴とするプログラム。 In the wearable terminal worn by the user,
Shooting processing for shooting the control target device with the shooting unit;
An acquisition process for acquiring position information of a specific part determined in the device to be imaged;
An information generation process for generating guidance information that prompts the user wearing the wearable terminal to visually check the specific part of the control target device based on the position information;
A superimposition process for superimposing and displaying the guidance information on the image of the control target device;
Based on information obtained by imaging the specific part that prompted visual inspection, the connection process with the device to be controlled is executed,
When the predetermined information is not displayed in the specific part that has attracted attention, the connection process is executed so that guidance information indicating a procedure for displaying the predetermined information on the control target device is output.
A program characterized by
制御対象機器を撮影する撮影部と、
撮影した前記制御対象機器に定められた特定部位の位置情報を取得する取得部と、
前記位置情報に基づいて前記制御対象機器における前記特定部位を、該情報処理システムのユーザに目視させるように促す案内情報を生成する情報生成部と、
前記案内情報を前記制御対象機器の像に重畳表示する重畳部と、
目視を促した前記特定部位の撮影によって得られた情報に基づいて、前記制御対象機器との接続処理を行う制御部と、を備え、
前記制御部は、注目を促した前記特定部位において所定の情報が非表示であると判定した場合、前記制御対象機器において前記所定の情報を表示させるための手順を示す案内情報を出力すること
を特徴とする情報処理システム。 An information processing system,
An imaging unit for imaging the control target device;
An acquisition unit that acquires position information of a specific part determined in the device to be imaged;
An information generation unit that generates guidance information that prompts the user of the information processing system to visually recognize the specific part of the control target device based on the position information;
A superimposing unit that superimposes and displays the guidance information on the image of the control target device;
A control unit that performs connection processing with the device to be controlled based on information obtained by imaging the specific part that prompted visual inspection ,
The control unit outputs guidance information indicating a procedure for displaying the predetermined information on the control target device when it is determined that the predetermined information is not displayed in the specific part that has attracted attention.
An information processing system characterized by
制御対象機器を撮影部で撮影し、
撮影した前記制御対象機器に定められた特定部位の位置情報を取得し、
前記位置情報に基づいて前記制御対象機器における前記特定部位を、該情報処理システムのユーザに目視させるように促す案内情報を生成し、
前記案内情報を前記制御対象機器の像に重畳表示し、
目視を促した前記特定部位の撮影によって得られた情報に基づいて、前記制御対象機器との接続処理を行い、注目を促した前記特定部位において所定の情報が非表示であると判定した場合、前記制御対象機器において前記所定の情報を表示させるための手順を示す案内情報を出力すること
を特徴とする情報処理システムの制御方法。 A control method for an information processing system,
Take a picture of the device to be controlled with the shooting unit,
Acquire position information of a specific part defined in the imaged device to be controlled,
Based on the position information, generating guidance information that prompts the user of the information processing system to visually check the specific part of the control target device,
The guidance information is superimposed on the image of the device to be controlled,
Based on the information obtained by imaging the specific part that prompted visual inspection, the connection process with the device to be controlled is performed, and when it is determined that the predetermined information is not displayed in the specific part that prompted attention, Outputting guidance information indicating a procedure for displaying the predetermined information in the control target device;
An information processing system control method characterized by the above .
前記ウェアラブル端末は、
前記画像処理装置を撮影する撮影部と、
撮影した前記画像処理装置に定められた特定部位の位置情報を取得する取得部と、
前記位置情報に基づいて前記画像処理装置における前記特定部位に注目を促す案内情報を生成する情報生成部と、
前記案内情報を前記画像処理装置の像に重畳表示する重畳部と、
注目を促した前記特定部位の撮影によって得られた情報に基づき前記画像処理装置に対し無線接続処理を実行し、注目を促した前記特定部位において所定の情報が非表示であると判定した場合、前記画像処理装置において前記所定の情報を表示させるための手順を示す案内情報を出力する端末制御部と、
を含み、
前記画像処理装置は、
前記ウェアラブル端末と無線接続するための情報を前記特定部位に表示する表示部と、
前記情報に基づき前記ウェアラブル端末に対する無線接続処理を実行する本体制御部と、
を含む相互接続システム。 An interconnection system comprising a wearable terminal and an image processing apparatus that can be wirelessly connected to the wearable terminal,
The wearable terminal is
A photographing unit for photographing the image processing device;
An acquisition unit that acquires position information of a specific part determined in the image processing device that has been imaged;
An information generating unit that generates guidance information that draws attention to the specific part in the image processing device based on the position information;
A superimposing unit that superimposes and displays the guidance information on the image of the image processing apparatus;
When performing wireless connection processing on the image processing device based on information obtained by imaging the specific part that has attracted attention, and when determining that the predetermined information is not displayed in the specific part that has attracted attention, A terminal control unit that outputs guidance information indicating a procedure for displaying the predetermined information in the image processing apparatus ;
Including
The image processing apparatus includes:
A display unit for displaying information for wireless connection with the wearable terminal on the specific part;
A main body control unit that executes wireless connection processing for the wearable terminal based on the information;
Including interconnection system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014183573A JP6442939B2 (en) | 2014-09-09 | 2014-09-09 | Wearable terminal, program, information processing system, control method for information processing system, and interconnection system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014183573A JP6442939B2 (en) | 2014-09-09 | 2014-09-09 | Wearable terminal, program, information processing system, control method for information processing system, and interconnection system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016057838A JP2016057838A (en) | 2016-04-21 |
| JP6442939B2 true JP6442939B2 (en) | 2018-12-26 |
Family
ID=55758614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014183573A Active JP6442939B2 (en) | 2014-09-09 | 2014-09-09 | Wearable terminal, program, information processing system, control method for information processing system, and interconnection system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6442939B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018077642A1 (en) * | 2016-10-27 | 2018-05-03 | Philips Lighting Holding B.V. | A method of providing information about an object |
| JP7035886B2 (en) * | 2018-07-30 | 2022-03-15 | トヨタ自動車株式会社 | Image processing device, image processing method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013080326A (en) * | 2011-10-03 | 2013-05-02 | Sony Corp | Image processing device, image processing method, and program |
| WO2014006758A1 (en) * | 2012-07-06 | 2014-01-09 | パイオニア株式会社 | Information processing method |
| JP2014030902A (en) * | 2012-08-01 | 2014-02-20 | Fujitsu Ltd | Data printing method, printing device, and portable terminal |
-
2014
- 2014-09-09 JP JP2014183573A patent/JP6442939B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016057838A (en) | 2016-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5049900B2 (en) | SETTING DEVICE, IMAGE OUTPUT DEVICE, CONTROL METHOD AND PROGRAM THEREOF | |
| KR102338576B1 (en) | Electronic device which stores depth information associating with image in accordance with Property of depth information acquired using image and the controlling method thereof | |
| KR20190032061A (en) | Electronic device performing image correction and operation method of thereof | |
| US20160269578A1 (en) | Head mounted display apparatus and method for connecting head mounted display apparatus to external device | |
| US20150269782A1 (en) | Augmented reality display system, augmented reality information generating apparatus, augmented reality display apparatus, and server | |
| JP6271917B2 (en) | Image recording apparatus and imaging apparatus | |
| KR102512839B1 (en) | Electronic device and method obtaining image using cameras through adjustment of position of external device | |
| CN110881097B (en) | Display control apparatus, control method, and computer-readable medium | |
| JP6442939B2 (en) | Wearable terminal, program, information processing system, control method for information processing system, and interconnection system | |
| KR102418852B1 (en) | Electronic device and method for controlling an image display | |
| JP6642316B2 (en) | Information processing system, electronic device, information processing device, information processing method, electronic device processing method, and program | |
| JP6136667B2 (en) | Image processing system, image forming apparatus, display apparatus, and control program | |
| EP3926942B1 (en) | Method for processing photographed image and electronic device therefor | |
| JP6439451B2 (en) | Operation system and image forming apparatus | |
| JP2013219421A (en) | Image processing device and image processing method | |
| JP6486077B2 (en) | Display device, server device, display system, control method therefor, control program, and storage medium | |
| JP2017147656A (en) | Image printing method, image printing device, image printing system, and program | |
| JP6953948B2 (en) | Information processing equipment, programs and information transmission systems | |
| JP2021069045A (en) | Display control device, display control method, program, and storage media | |
| KR102608127B1 (en) | Electronic device for performing image processing and method thereof | |
| JP6218615B2 (en) | Display device, display method, photographing apparatus, and photographing system | |
| EP3621025B1 (en) | Image processing apparatus, image processing method, program, and computer readable medium | |
| JP2019036849A (en) | Image forming system | |
| US11624924B2 (en) | Image capturing system including head-mount type display device, and display device and method of controlling the same | |
| JP2018067875A (en) | Spectacle type terminal and image formation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170907 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180413 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180508 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181030 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181112 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6442939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |