JP7357832B1 - Operating device, operating method and operating program - Google Patents
Operating device, operating method and operating program Download PDFInfo
- Publication number
- JP7357832B1 JP7357832B1 JP2023547593A JP2023547593A JP7357832B1 JP 7357832 B1 JP7357832 B1 JP 7357832B1 JP 2023547593 A JP2023547593 A JP 2023547593A JP 2023547593 A JP2023547593 A JP 2023547593A JP 7357832 B1 JP7357832 B1 JP 7357832B1
- Authority
- JP
- Japan
- Prior art keywords
- display
- glasses
- operating
- type device
- operation display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
操作装置（１０）は、メガネ型デバイス（２０）が表示装置（２４）表示する、選択肢といった情報を含む表示情報に、操作装置（１０）が表示する操作表示が重ねられることにより、メガネ型デバイス（２０）を操作するための装置である。操作装置（１０）は、メガネ型デバイス（２０）が表示装置（２２４）に表示する表示情報を特定する。操作装置（１０）は、特定された表示情報に応じて、操作表示のサイズ等を変更して、表示する。The operating device (10) displays the operating display displayed by the operating device (10) on display information including information such as options, which is displayed on the display device (24) of the glasses-shaped device (20), so that the operating device (10) This is a device for operating (20). The operating device (10) specifies the display information that the glasses-type device (20) displays on the display device (224). The operating device (10) changes the size of the operating display and displays it according to the specified display information.
Description
本開示は、メガネ型デバイスを操作する技術に関する。 The present disclosure relates to techniques for operating eyeglass-type devices.
５Ｇ等の無線通信技術が発展してきている。５Ｇは、５ｔｈ Ｇｅｎｅｒａｔｉｏｎの略である。これにより、産業用途で無線通信の活用が進むことが想定される。例えば、ＦＡ用途で無線通信の活用が進むことが想定される。ＦＡは、Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎの略である。 Wireless communication technologies such as 5G are developing. 5G is an abbreviation for 5th Generation. This is expected to lead to increased use of wireless communications in industrial applications. For example, it is expected that the use of wireless communication will increase in FA applications. FA is an abbreviation for Factory Automation.
無線通信を活用してモバイル端末がＦＡシステムに導入されることが考えられる。モバイル端末として、スマートグラスと呼ばれるメガネ型デバイスが用いられる可能性がある。例えば、メガネ型デバイスを着用した作業者がビデオ通話等で支援者と会話をしながら工場での作業を進めるといったことが考えられる。 It is conceivable that mobile terminals may be introduced into the FA system by utilizing wireless communication. Glass-type devices called smart glasses may be used as mobile terminals. For example, it is conceivable that a worker wearing a glasses-type device may proceed with work in a factory while conversing with a support person through a video call or the like.
特許文献１には、メガネ型デバイスとスマートフォンとを連携させることが記載されている。 Patent Document 1 describes that a glasses-type device and a smartphone are linked.
メガネ型デバイスは、有線又は無線で接続された物理的なボタンを有するコントローラを用いて操作される。あるいは、メガネ型デバイスは、音声によって操作される。しかし、工場では、手袋が着用されることが想定される。そのため、物理的なボタンの操作が困難な場合がある。また、工場では、騒音が発生することが想定される。そのため、音声での操作が困難な場合がある。 Glasses-type devices are operated using a controller that has physical buttons connected by wire or wirelessly. Alternatively, the glasses-type device is operated by voice. However, it is assumed that gloves will be worn in factories. Therefore, it may be difficult to operate the physical buttons. In addition, it is assumed that noise will be generated in the factory. Therefore, voice operations may be difficult.
特許文献１には、メガネ型デバイスとスマートフォンとを連携させることが記載されている。しかし、スマートフォンを用いて、メガネ型デバイスの操作を容易にする方法については記載されていない。 Patent Document 1 describes that a glasses-type device and a smartphone are linked. However, there is no description of a method for facilitating the operation of a glasses-type device using a smartphone.
本開示は、工場等において、メガネ型デバイスの操作を容易に行えるようにすることを目的とする。 The present disclosure aims to make it easier to operate a glasses-type device in a factory or the like.
本開示に係る操作装置は、
メガネ型デバイスを操作するための操作装置であり、
前記メガネ型デバイスが表示する表示情報を特定する表示特定部と、
前記表示特定部によって特定された前記表示情報に応じて、前記メガネ型デバイスを操作するための表示である操作表示を変更して表示する表示制御部と
を備える。The operating device according to the present disclosure includes:
An operating device for operating a glasses-type device,
a display specifying unit that specifies display information displayed by the glasses-type device;
and a display control section that changes and displays an operation display, which is a display for operating the glasses-type device, according to the display information specified by the display specifying section.
本開示では、メガネ型デバイスが表示する表示情報に応じて、メガネ型デバイスを操作するための表示である操作表示が変更される。これにより、メガネ型デバイスが表示する表示情報に応じて、操作し易い操作表示を行うことが可能になる。その結果、工場等において、メガネ型デバイスの操作を容易に行えるようにすることができる。 In the present disclosure, an operation display that is a display for operating the glasses-type device is changed according to display information displayed by the glasses-type device. This makes it possible to display an easy-to-operate operation display in accordance with the display information displayed by the glasses-type device. As a result, the glasses-type device can be easily operated in a factory or the like.
実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る連携システム１００の構成を説明する。
連携システム１００は、操作装置１０と、メガネ型デバイス２０とを備える。操作装置１０とメガネ型デバイス２０とは、伝送路９０を介して接続される。
操作装置１０は、スマートフォン及びタブレット端末といったコンピュータである。操作装置１０は、メガネ型デバイス２０を操作するためのコンピュータである。
メガネ型デバイス２０は、メガネのような形状をしており、使用者によって着用されるコンピュータである。使用者はメガネ型デバイス２０を着用すると、メガネ型デバイス２０の表示装置２４を介して、周辺を見る状態になる。図１では、メガネ型デバイス２０の表示装置２４は、使用者の両方の目を覆うような形状である。しかし、メガネ型デバイス２０の表示装置２４は、使用者の片方の目だけを覆うような形状であってもよい。Embodiment 1.
***Explanation of configuration***
With reference to FIG. 1, the configuration of a collaboration system 100 according to the first embodiment will be described.
The cooperation system 100 includes an
The
The glasses-
図２を参照して、実施の形態１に係る操作装置１０の構成を説明する。
操作装置１０は、プロセッサ１１と、メモリ１２と、通信インタフェース１３と、表示装置１４と、カメラ１５とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。With reference to FIG. 2, the configuration of the
The
操作装置１０は、機能構成要素として、表示特定部１１１と、表示制御部１１２とを備える。操作装置１０の各機能構成要素の機能はソフトウェアにより実現される。
メモリ１２には、操作装置１０の各機能構成要素の機能を実現するプログラムである操作アプリケーションが格納されている。このプログラムは、プロセッサ１１により読み込まれ、実行される。これにより、操作装置１０の各機能構成要素の機能が実現される。The
The
図３を参照して、実施の形態１に係るメガネ型デバイス２０の構成を説明する。
メガネ型デバイス２０は、プロセッサ２１と、メモリ２２と、通信インタフェース２３と、表示装置２４と、カメラ２５とのハードウェアを備える。プロセッサ２１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。With reference to FIG. 3, the configuration of the glasses-
The glasses-
メガネ型デバイス２０は、機能構成要素として、情報表示部２１１と、動作制御部２１２とを備える。メガネ型デバイス２０の各機能構成要素の機能はソフトウェアにより実現される。
メモリ２２には、メガネ型デバイス２０の各機能構成要素の機能を実現するプログラムであるメガネアプリケーションが格納されている。このプログラムは、プロセッサ２１により読み込まれ、実行される。これにより、メガネ型デバイス２０の各機能構成要素の機能が実現される。The glasses-
The
プロセッサ１１，１２は、プロセッシングを行うＩＣである。プロセッサ１１，１２は、ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。具体例としては、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略である。ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。
メモリ１２，２２は、データを一時的に記憶する記憶装置である。メモリ１２，２２は、具体例としては、ＳＲＡＭ、ＤＲＡＭである。ＳＲＡＭは、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＤＲＡＭは、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。
通信インタフェース１３，２３は、外部の装置と通信するためのインタフェースである。通信インタフェース１３，２３は、具体例としては、ＬＴＥ、４Ｇ、５Ｇ、Ｂｌｕｅｔｏｏｔｈ用のアンテナである。ＬＴＥは、Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎの略である。４Ｇは、４ｔｈ Ｇｅｎｅｒａｔｉｏｎの略である。 The communication interfaces 13 and 23 are interfaces for communicating with external devices. The communication interfaces 13 and 23 are, for example, antennas for LTE, 4G, 5G, and Bluetooth. LTE is an abbreviation for Long Term Evolution. 4G is an abbreviation for 4th Generation.
表示装置１４は、情報を表示する装置である。表示装置１４は、具体例としては、ＬＣＤである。ＬＣＤは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略である。
The
カメラ１５は、映像を撮影するための装置である。
The
図２では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。同様に、図３では、プロセッサ２１は、１つだけ示されていた。しかし、プロセッサ２１は、複数であってもよく、複数のプロセッサ２１が、各機能を実現するプログラムを連携して実行してもよい。
In FIG. 2, only one
＊＊＊動作の説明＊＊＊
図４から図８を参照して、実施の形態１に係る連携システム１００の動作を説明する。
実施の形態１に係る連携システム１００における操作装置１０の動作手順は、実施の形態１に係る操作方法に相当する。また、実施の形態１に係る連携システム１００の操作装置１０の動作を実現するプログラムは、実施の形態１に係る操作プログラムに相当する。***Operation explanation***
The operation of the cooperation system 100 according to the first embodiment will be described with reference to FIGS. 4 to 8.
The operation procedure of the operating
図４を参照して、実施の形態１に係るメガネ型デバイス２０の動作を説明する。
メガネ型デバイス２０は、操作装置１０との接続を行う（ステップＳ１１）。メガネ型デバイス２０は、アプリケーションプログラムであるメガネアプリケーションを起動する（ステップＳ１２）。メガネ型デバイス２０は、操作装置１０とのデータの連携を開始する（ステップＳ１３）。
その後、メガネ型デバイス２０は、定期的に、あるいは、何らかのイベント発生時に、メガネアプリケーションの動作を継続するか否かを判定する（ステップＳ１４）。継続すると判定された場合には、メガネ型デバイス２０は処理をステップＳ１４に戻す。一方、継続しないと判定された場合には、メガネ型デバイス２０は、メガネアプリケーションの動作を終了する（ステップＳ１５）。そして、メガネ型デバイス２０は、操作装置１０とのデータ連携を終了する（ステップＳ１６）。メガネ型デバイス２０は、操作装置１０との接続を解除する（ステップＳ１７）。Referring to FIG. 4, the operation of the glasses-
The glasses-
Thereafter, the glasses-
ステップＳ１３で操作装置１０とのデータの連携を開始されてから、ステップＳ１６で操作装置１０とのデータの連携が終了するまで、メガネ型デバイス２０は操作装置１０を用いて操作される状態になる。
The glasses-
メガネアプリケーションは、工場での作業等を支援するためのプログラムである。例えば、メガネアプリケーションは、指定された作業の手順を示すといったことを行う。情報表示部２１１及び動作制御部２１２は、メガネアプリケーションによって実現される機能である。
情報表示部２１１は、メガネアプリケーションの指示に従い、情報を表示装置２４に表示する。例えば、情報表示部２１１は、作業の指定画面を表示装置２４に表示する。動作制御部２１２は、操作装置１０を用いた操作に従い、メガネアプリケーションを動作させる。例えば、動作制御部２１２は、操作装置１０を用いて指定された作業の手順を読み出し、情報表示部２１１により表示装置２４に表示させる。The glasses application is a program to support factory work. For example, the glasses application shows instructions for a specified task. The
The
図５を参照して、実施の形態１に係る操作装置１０の動作を説明する。
操作装置１０は、メガネ型デバイス２０との接続を行う（ステップＳ２１）。操作装置１０は、メガネ型デバイス２０とのデータの連携を開始する（ステップＳ２２）。操作装置１０は、アプリケーションプログラムである操作アプリケーションを起動する（ステップＳ２３）。
その後、操作装置１０を用いたメガネ型デバイス２０の操作が行われる（ステップＳ２４）。そして、操作装置１０は、定期的に、あるいは、何らかのイベント発生時に、操作アプリケーションの動作を継続するか否かを判定する（ステップＳ２５）。継続すると判定された場合には、操作装置１０は処理をステップＳ２４に戻す。一方、継続しないと判定された場合には、操作装置１０は、操作装置１０とのデータ連携を終了する（ステップＳ２６）。操作装置１０は、操作アプリケーションの動作を終了する（ステップＳ２７）。そして、操作装置１０は、メガネ型デバイス２０との接続を解除する（ステップＳ２８）。Referring to FIG. 5, the operation of the operating
The operating
Thereafter, the glasses-
ステップＳ２２でメガネ型デバイス２０とのデータの連携を開始されてから、ステップＳ２６でメガネ型デバイス２０とのデータの連携が終了するまで、操作装置１０はメガネ型デバイス２０を操作可能な状態になる。
The operating
操作アプリケーションは、メガネ型デバイス２０を操作するためのプログラムである。具体的には、操作アプリケーションは、メガネ型デバイス２０を操作するための表示である操作表示３１を表示するプログラムである。表示特定部１１１及び表示制御部１１２は、操作アプリケーションによって実現される機能である。
The operation application is a program for operating the glasses-
図６を参照して、実施の形態１に係る操作アプリケーションの動作を説明する。
操作アプリケーションの動作は、図５のステップＳ２４において行われる。
（ステップＳ３１：表示特定処理）
表示特定部１１１は、メガネ型デバイス２０が表示する表示情報を特定する。
具体的には、表示特定部１１１は、情報表示部２１１によって表示装置２４に表示された表示情報を特定する。ここでは、表示特定部１１１は、情報表示部２１１から表示している表示情報を取得することにより、表示情報を特定する。The operation of the operation application according to the first embodiment will be described with reference to FIG. 6.
The operation of the operation application is performed in step S24 of FIG.
(Step S31: Display specification processing)
The
Specifically, the
（ステップＳ３２：要否判定処理）
表示制御部１１２は、操作装置１０に操作表示３１を表示する必要があるか否かを判定する。
具体的には、表示制御部１１２は、ステップＳ３１で特定された表示情報が操作情報を必要とするか否かを判定する。表示制御部１１２は、表示情報が操作情報を必要とする場合には、操作表示３１を表示する必要があると判定する。一方、表示制御部１１２は、表示情報が操作情報を必要としない場合には、操作表示３１を表示する必要がないと判定する。
表示制御部１１２は、操作表示３１を表示する必要がある場合には、処理をステップＳ３３に進める。一方、表示制御部１１２は、操作表示３１を表示する必要がない場合には、処理をステップＳ３１に戻す。(Step S32: Necessity determination process)
The
Specifically, the
If it is necessary to display the
（ステップＳ３３：表示制御処理）
表示制御部１１２は、ステップＳ３１で特定された表示情報に応じて、メガネ型デバイス２０を操作するための表示である操作表示３１を変更して表示する。(Step S33: Display control processing)
The
図７及び図８を参照して具体的に説明する。
実施の形態１では、メガネ型デバイス２０の視野に操作表示３１を重ね合わせることにより、メガネ型デバイス２０の操作がされる。つまり、メガネ型デバイス２０は、メガネ型デバイス２０が表示する表示情報に、操作装置１０が表示する操作表示３１が重ねられることで、操作される。メガネ型デバイス２０が表示する表示情報は、情報表示部２１１が表示装置２４に表示する情報である。例えば、メガネ型デバイス２０が表示する表示情報は、作業の指定画面である。
図７では、指定画面には、作業の選択肢として選択肢Ａと選択肢Ｂと選択肢Ｃとの３つの選択肢と、各選択肢の選択欄３２とが示されている。表示制御部１１２は、選択する選択肢を指定するための操作表示３１を表示装置１４に表示する。表示装置１４に表示された操作表示３１が、表示装置２４に表示されたいずれかの選択肢の選択欄３２に重ねられると、その選択肢が指定されたことになる。図７の例であれば、選択肢Ｂが指定されたことになる。
表示制御部１１２は、操作表示３１を表示する際、ステップＳ３１で特定された表示情報に応じて、操作表示３１のサイズを変更する。ここでは、表示制御部１１２は、選択肢の大きさと隣接する他の選択肢との間の距離との少なくともいずれかに応じて、操作表示３１のサイズを変更する。図８に示すように、表示制御部１１２は、選択肢の大きさが小さいほど、あるいは、隣接する他の選択肢との間の距離が近いほど、操作表示３１のサイズを小さくする。隣接する他の選択肢との間の距離が近いとは、選択肢の密度が高いと言い換えることも可能である。
図８では、指定画面には、６個の選択肢と、各選択肢の選択欄３２とが示されている。そのため、図７に比べて、図８では選択肢の大きさが小さい。したがって、図７に比べて、図８では、操作表示３１のサイズが小さい。This will be explained in detail with reference to FIGS. 7 and 8.
In the first embodiment, the glasses-
In FIG. 7, the specification screen shows three work options, option A, option B, and option C, and a
When displaying the
In FIG. 8, the specification screen shows six options and a
＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る連携システム１００では、メガネ型デバイス２０の視野に操作表示３１を重ね合わせることにより、メガネ型デバイス２０の操作がされる。これにより、手袋を着用した状態等であっても、メガネ型デバイス２０を操作することが可能になる。***Effects of Embodiment 1***
As described above, in the cooperation system 100 according to the first embodiment, the glasses-
特に、実施の形態１に係る連携システム１００では、操作装置１０が、メガネ型デバイス２０に表示される表示情報に応じて、操作装置１０に表示する操作表示３１を変更する。これにより、メガネ型デバイス２０が表示する表示情報に応じて、操作し易い操作表示３１を行うことが可能になる。その結果、工場等において、メガネ型デバイス２０の操作を容易に行えるようにすることができる。
In particular, in the cooperation system 100 according to the first embodiment, the operating
図７及び図８を用いて説明した例であれば、表示情報に応じて、操作表示３１のサイズが変更される。選択肢間の距離が近いにも関わらず、操作表示３１が大きいと、操作装置１０の位置が少しずれただけで、意図した選択肢でない選択肢に操作表示３１が重なってしまう。その結果、意図した選択肢でない選択肢が指定され、操作のやり直しが必要になってしまう。しかし、実施の形態１に係る連携システム１００では、選択肢間の距離が近いほど、操作表示３１が小さくなる。そのため、意図した選択肢でない選択肢が指定される可能性が低くなる。
In the example described using FIGS. 7 and 8, the size of the
なお、操作表示３１を変更する際、メガネ型デバイス２０の使用者の操作は必要ない。したがって、メガネ型デバイス２０の使用者の作業を妨げることはない。
Note that when changing the
＊＊＊他の構成＊＊＊ ***Other configurations***
＜変形例１＞
実施の形態１では、表示制御部１１２は、表示情報に応じて操作表示３１を変更した。表示制御部１１２は、表示画面毎に操作表示３１を示すテーブルを用意しておいてもよい。そして、表示特定部１１１によってどの表示画面が表示されているかが特定されると、表示制御部１１２は特定された表示画面に対応する操作表示３１を表示するようにしてもよい。<Modification 1>
In the first embodiment, the
＜変形例２＞
実施の形態１では、表示制御部１１２は、操作表示３１のサイズを変更した。しかし、表示制御部１１２は、操作表示３１の色又は形状を変更してもよい。
例えば、表示制御部１１２は、表示情報の色に応じて、操作表示３１の色を変更してもよい。具体例としては、表示制御部１１２は、表示情報の色とは異なる色に、操作表示３１の色を変更する。これにより、操作表示３１を表示情報に重ねたときに、操作表示３１を識別し易くできる。
また、例えば、表示制御部１１２は、表示情報の内容に応じて、操作表示３１の形状を変更してもよい。具体例としては、表示制御部１１２は、表示情報として選択肢が表示される場合には、図７及び図８のように操作表示３１としてチェックマークを表示する。また、表示制御部１１２は、表示情報としてボタンが表示される場合には、操作表示３１として指先のマークを表示する。これにより、操作内容が直感的に理解できるようになる。<Modification 2>
In the first embodiment, the
For example, the
Further, for example, the
＜変形例３＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例３として、各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。<Modification 3>
In the first embodiment, each functional component is realized by software. However, as a third modification, each functional component may be realized by hardware. Regarding this third modification, the differences from the first embodiment will be explained.
図９を参照して、変形例３に係る操作装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、操作装置１０は、プロセッサ１１とメモリ１２とに代えて、電子回路１６を備える。電子回路１６は、各機能構成要素と、メモリ１２との機能とを実現する専用の回路である。With reference to FIG. 9, the configuration of the operating
When each functional component is realized by hardware, the operating
図１０を参照して、変形例３に係るメガネ型デバイス２０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、メガネ型デバイス２０は、プロセッサ２１とメモリ２２とに代えて、電子回路２６を備える。電子回路２６は、各機能構成要素と、メモリ２２との機能とを実現する専用の回路である。With reference to FIG. 10, the configuration of a glasses-
When each functional component is realized by hardware, the glasses-
電子回路１６，２６としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡが想定される。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。
各機能構成要素を１つの電子回路１６，２６で実現してもよいし、各機能構成要素を複数の電子回路１６，２６に分散させて実現してもよい。The
Each functional component may be realized by one
＜変形例４＞
変形例４として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。<Modification 4>
As a fourth modification, some of the functional components may be realized by hardware, and other functional components may be realized by software.
プロセッサ１１とメモリ１２と電子回路１６とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
The
実施の形態２．
実施の形態２は、メガネ型デバイス２０を通して見える操作表示３１の状態に応じて操作表示３１を変更する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。Embodiment 2.
The second embodiment differs from the first embodiment in that the
＊＊＊構成の説明＊＊＊
図１１を参照して、実施の形態２に係る操作装置１０の構成を説明する。
操作装置１０は、機能構成要素として、画像取得部１１３を備える点が図２に示す操作装置１０と異なる。画像取得部１１３の機能は、他の機能と同様に、ソフトウェア又はハードウェアによって実現される。***Explanation of configuration***
The configuration of the operating
The operating
＊＊＊動作の説明＊＊＊
図１２を参照して、実施の形態２に係る操作アプリケーションの動作を説明する。
ステップＳ４１からステップＳ４３の処理は、図６のステップＳ３１からステップＳ３３の処理と同じである。***Operation explanation***
The operation of the operation application according to the second embodiment will be described with reference to FIG. 12.
The processing from step S41 to step S43 is the same as the processing from step S31 to step S33 in FIG.
（ステップＳ４４：画像取得処理）
画像取得部１１３は、メガネ型デバイス２０のカメラ２５によって操作表示３１が撮影された撮影画像を取得する。
具体的には、メガネ型デバイス２０のカメラ２５によって、ステップＳ４３で操作表示３１が表示された操作装置１０が撮影される。画像取得部１１３は、カメラ２５によって撮影され得られた撮影画像をメガネ型デバイス２０から取得する。(Step S44: Image acquisition process)
The
Specifically, the
（ステップＳ４５：画像抽出処理）
画像取得部１１３は、ステップＳ４４で取得された撮影画像から、操作装置１０が映った部分の部分画像を抽出する。
具体的には、画像取得部１１３は、メガネ型デバイス２０の使用者の目の位置に近い位置にカメラ２５があるか否かを判定する。目の位置に近い位置にカメラ２５がある場合には、撮影画像における操作表示３１は、メガネ型デバイス２０を通して見える操作表示３１を表している。そのため、画像取得部１１３は、撮影画像から、操作装置１０が映った部分の部分画像を抽出する。一方、目の位置に近い位置にカメラ２５がない場合には、撮影画像における操作表示３１は、メガネ型デバイス２０を通して見える操作表示３１を表していない。そのため、画像取得部１１３は、目の位置から撮影した画像に撮影画像を補正する。そして、画像取得部１１３は、補正された撮影画像から、操作装置１０が映った部分の部分画像を抽出する。(Step S45: Image extraction process)
The
Specifically, the
（ステップＳ４６：第２表示制御処理）
表示制御部１１２は、ステップＳ４５で抽出された部分画像における操作表示３１の状態に応じて、操作表示３１を変更する。
具体的には、表示制御部１１２は、部分画像における操作表示３１のサイズに応じて、操作表示３１のサイズを変更する。ここでは、表示制御部１１２は、部分画像における操作表示３１が小さいほど、操作表示３１を大きくする。(Step S46: Second display control process)
The
Specifically, the
＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る連携システム１００では、操作装置１０が、メガネ型デバイス２０を通して見える操作表示３１の状態に応じて操作表示３１を変更する。これにより、メガネ型デバイス２０が表示する表示情報に応じて、操作し易い操作表示３１を行うことが可能になる。その結果、工場等において、メガネ型デバイス２０の操作を容易に行えるようにすることができる。***Effects of Embodiment 2***
As described above, in the cooperation system 100 according to the second embodiment, the operating
操作装置１０とメガネ型デバイス２０との間の距離によって、部分画像における操作表示３１のサイズは変化する。そのため、想定されているよりも操作装置１０がメガネ型デバイス２０から離れた位置になる場合には、操作表示３１のサイズが想定されていたよりも小さくなってしまう。すると、操作表示３１による操作がし辛くなってしまう。
しかし、実施の形態２に係る連携システム１００では、操作装置１０とメガネ型デバイス２０との間の距離が変化しても、適切なサイズで操作表示３１が表示される。そのため、操作表示３１による操作がし辛くなることがない。The size of the
However, in the cooperation system 100 according to the second embodiment, even if the distance between the operating
＊＊＊他の構成＊＊＊
＜変形例５＞
変形例２と同様に、図１２のステップＳ４６でも、表示制御部１１２は、操作表示３１について、サイズに限らず、色又は形状を変更してもよい。***Other configurations***
<Modification 5>
Similarly to the second modification, in step S46 of FIG. 12, the
＜変形例６＞
実施の形態２では、実施の形態１で説明した操作表示３１の変更が行われることを前提としていた。しかし、実施の形態１で説明した操作表示３１の変更が行われる必要はない。つまり、表示情報に応じて操作表示３１は変更されなくてもよい。
この場合には、図１２のステップＳ４１からステップＳ４３の処理は行われず、初めに、決められた状態の操作表示３１が表示装置１４に表示される。そして、図１２のステップＳ４４で画像取得部１１３は、決められたサイズの操作表示３１が撮影された撮影画像を取得する。図１２のステップＳ４５で画像取得部１１３は、撮影画像から、操作装置１０が映った部分の部分画像を抽出する。図１２のステップＳ４６で表示制御部１１２は、部分画像における操作表示３１の状態に応じて操作表示３１を変更する。<Modification 6>
The second embodiment is based on the assumption that the
In this case, the processes from step S41 to step S43 in FIG. 12 are not performed, and the
実施の形態３．
実施の形態３は、操作装置１０と連携するための設定情報を二次元コードによりメガネ型デバイス２０に読み込ませる点が実施の形態１，２と異なる。実施の形態３では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態３では、実施の形態１に機能を追加した場合について説明する。しかし、実施の形態２に機能を追加することも可能である。Embodiment 3.
The third embodiment differs from the first and second embodiments in that setting information for cooperation with the operating
In the third embodiment, a case will be described in which functions are added to the first embodiment. However, it is also possible to add functions to the second embodiment.
＊＊＊構成の説明＊＊＊
図１３を参照して、実施の形態３に係る操作装置１０の構成を説明する。
操作装置１０は、機能構成要素として、コード表示部１１４を備える点が図２に示す操作装置１０と異なる。コード表示部１１４の機能は、他の機能と同様に、ソフトウェア又はハードウェアによって実現される。***Explanation of configuration***
The configuration of the operating
The operating
＊＊＊動作の説明＊＊＊
図４を参照して説明したメガネ型デバイス２０の動作と、図５を参照して説明した操作装置１０の動作との前に、以下の処理が行われる。
図１４に示すように、コード表示部１１４は、操作装置１０と連携するための設定情報を示す二次元コード３３を表示装置１４に表示する。メガネ型デバイス２０は、カメラ２５により、二次元コード３３を読み込む。メガネ型デバイス２０は、二次元コード３３が示す設定情報をメガネアプリケーションに設定して、メガネアプリケーションをセットアップする。設定情報としては、例えば、通信のルール等が含まれる。***Operation explanation***
Before the operation of the glasses-
As shown in FIG. 14, the
＊＊＊実施の形態３の効果＊＊＊
以上のように、実施の形態３に係る連携システム１００では、操作装置１０が設定情報を示す二次元コード３３を表示する。これにより、メガネ型デバイス２０は、容易に設定情報を取得することが可能である。そのため、初期設定を容易に行うことができる。***Effects of Embodiment 3***
As described above, in the cooperation system 100 according to the third embodiment, the operating
なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。 Note that "unit" in the above description may be read as "circuit", "step", "procedure", "process", or "processing circuit".
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。 The embodiments and modifications of the present disclosure have been described above. Some of these embodiments and modifications may be implemented in combination. Moreover, any one or some of them may be partially implemented. Note that the present disclosure is not limited to the above embodiments and modifications, and various changes can be made as necessary.
１００ 連携システム、１０ 操作装置、１１ プロセッサ、１２ メモリ、１３ 通信インタフェース、１４ 表示装置、１５ カメラ、１６ 電子回路、１１１ 表示特定部、１１２ 表示制御部、１１３ 画像取得部、１１４ コード表示部、２０ メガネ型デバイス、２１ プロセッサ、２２ メモリ、２３ 通信インタフェース、２４ 表示装置、２５ カメラ、２６ 電子回路、２１１ 情報表示部、２１２ 動作制御部、３１ 操作表示、３２ 選択欄、３３ 二次元コード、９０ 伝送路。 100 cooperation system, 10 operating device, 11 processor, 12 memory, 13 communication interface, 14 display device, 15 camera, 16 electronic circuit, 111 display specifying section, 112 display control section, 113 image acquisition section, 114 code display section, 20 Glasses type device, 21 processor, 22 memory, 23 communication interface, 24 display device, 25 camera, 26 electronic circuit, 211 information display section, 212 operation control section, 31 operation display, 32 selection field, 33 two-dimensional code, 90 transmission Road.
Claims (7)
前記メガネ型デバイスが表示する表示情報を特定する表示特定部と、
前記表示特定部によって特定された前記表示情報に応じて、前記メガネ型デバイスを操作するための表示である操作表示を変更して表示する表示制御部と、
前記カメラによって前記操作表示が撮影された撮影画像を取得する画像取得部と
を備え、
前記表示制御部は、前記画像取得部によって取得された前記撮影画像における前記操作表示の状態に応じて、前記操作表示を変更する操作装置。 An operating device for operating a glasses-type device equipped with a camera ,
a display specifying unit that specifies display information displayed by the glasses-type device;
a display control unit that changes and displays an operation display that is a display for operating the glasses-type device according to the display information specified by the display specification unit ;
an image acquisition unit that acquires a photographed image of the operation display taken by the camera;
Equipped with
The display control unit is an operating device that changes the operation display according to the state of the operation display in the captured image acquired by the image acquisition unit.
請求項１に記載の操作装置。 The operating device according to claim 1, wherein the glasses-type device is operated by superimposing the operation display on the display information.
請求項１又は２に記載の操作装置。 The operating device according to claim 1 or 2, wherein the display control section changes the size of the operation display according to the display information.
前記表示制御部は、前記選択肢の選択欄の大きさと隣接する他の選択肢との間の距離との少なくともいずれかに応じて、前記操作表示のサイズを変更する
請求項３に記載の操作装置。 The displayed information includes options,
The operating device according to claim 3, wherein the display control unit changes the size of the operation display depending on at least one of the size of the selection column of the option and the distance between the selection field and another adjacent option.
前記メガネ型デバイスと連携するための設定情報を前記メガネ型デバイスに取得させるための二次元コードを表示するコード表示部
を備える請求項１から４までのいずれか１項に記載の操作装置。 The operating device further includes:
The operating device according to any one of claims 1 to 4 , further comprising a code display unit that displays a two-dimensional code for causing the glasses-type device to acquire setting information for cooperation with the glasses-type device.
コンピュータが、前記メガネ型デバイスが表示する表示情報を特定し、
コンピュータが、前記表示情報に応じて、前記メガネ型デバイスを操作するための表示である操作表示を変更して表示し、
コンピュータが、前記カメラによって前記操作表示が撮影された撮影画像を取得し、
コンピュータが、前記撮影画像における前記操作表示の状態に応じて、前記操作表示を変更する操作方法。 An operation method for operating a glasses-type device equipped with a camera ,
a computer identifies display information displayed by the glasses-type device;
the computer changes and displays an operation display that is a display for operating the glasses-type device according to the display information ;
a computer obtains a captured image of the operation display captured by the camera;
An operation method in which a computer changes the operation display according to a state of the operation display in the photographed image .
前記メガネ型デバイスが表示する表示情報を特定する表示特定処理と、
前記表示特定処理によって特定された前記表示情報に応じて、前記メガネ型デバイスを操作するための表示である操作表示を変更して表示する表示制御処理と、
前記カメラによって前記操作表示が撮影された撮影画像を取得する画像取得処理と
を行う操作装置としてコンピュータを機能させ、
前記表示制御処理では、前記画像取得処理によって取得された前記撮影画像における前記操作表示の状態に応じて、前記操作表示を変更する操作プログラム。 It is an operation program for operating a glasses-type device equipped with a camera .
a display specifying process for specifying display information displayed by the glasses-type device;
a display control process that changes and displays an operation display that is a display for operating the glasses-type device according to the display information specified by the display specification process ;
an image acquisition process of acquiring a photographed image of the operation display taken by the camera;
The computer functions as an operating device that performs
In the display control process, the operation program changes the operation display according to the state of the operation display in the captured image acquired by the image acquisition process.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/042393 WO2023089728A1 (en) | 2021-11-18 | 2021-11-18 | Operation device, operation method, and operation program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2023089728A1 JPWO2023089728A1 (en) | 2023-05-25 |
| JP7357832B1 true JP7357832B1 (en) | 2023-10-06 |
| JPWO2023089728A5 JPWO2023089728A5 (en) | 2023-11-08 |
Family
ID=86396426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023547593A Active JP7357832B1 (en) | 2021-11-18 | 2021-11-18 | Operating device, operating method and operating program |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7357832B1 (en) |
| TW (1) | TW202321930A (en) |
| WO (1) | WO2023089728A1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016099702A (en) | 2014-11-19 | 2016-05-30 | キヤノン株式会社 | Authentication management method by means of device cooperation, information processing apparatus, wearable device, and computer program |
| WO2020031490A1 (en) | 2018-08-08 | 2020-02-13 | 株式会社Ｎｔｔドコモ | Terminal device and method for controlling terminal device |
| JP2021105783A (en) | 2019-12-26 | 2021-07-26 | セイコーエプソン株式会社 | Display system, display method, and program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0357011A (en) * | 1989-07-25 | 1991-03-12 | Brother Ind Ltd | Pointing device |
| JP3360913B2 (en) * | 1993-12-30 | 2003-01-07 | 株式会社トプコン | Optometry device |
-
2021
- 2021-11-18 JP JP2023547593A patent/JP7357832B1/en active Active
- 2021-11-18 WO PCT/JP2021/042393 patent/WO2023089728A1/en active Application Filing
-
2022
- 2022-05-06 TW TW111117118A patent/TW202321930A/en unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016099702A (en) | 2014-11-19 | 2016-05-30 | キヤノン株式会社 | Authentication management method by means of device cooperation, information processing apparatus, wearable device, and computer program |
| WO2020031490A1 (en) | 2018-08-08 | 2020-02-13 | 株式会社Ｎｔｔドコモ | Terminal device and method for controlling terminal device |
| JP2021105783A (en) | 2019-12-26 | 2021-07-26 | セイコーエプソン株式会社 | Display system, display method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2023089728A1 (en) | 2023-05-25 |
| WO2023089728A1 (en) | 2023-05-25 |
| TW202321930A (en) | 2023-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101748669B1 (en) | Watch type terminal and method for controlling the same | |
| KR20200101209A (en) | Method for determining watch face image and electronic device thereof | |
| KR20210063928A (en) | Electronic device for providing augmented reality service and operating method thereof | |
| US10205868B2 (en) | Live view control device, live view control method, live view system, and program | |
| US20130093661A1 (en) | Methods and apparatus for facilitating user interaction with a see-through display | |
| US20210216204A1 (en) | Electronic device including display on which execution screen for multiple applications is displayed, and method for operation of electronic device | |
| CN111078170B (en) | Display control method, display control device, and computer-readable storage medium | |
| JP2018180051A (en) | Electronic device and control method thereof | |
| JP2015176186A (en) | Information processing apparatus, information processing method and information processing system | |
| CN112348929A (en) | Rendering method and device of frame animation, computer equipment and storage medium | |
| JP7495459B2 (en) | Head-mounted display device and control method for head-mounted display device | |
| KR102354016B1 (en) | Method for changing the size of contents displayed on display and electronic device thereof | |
| CN113986072B (en) | Keyboard display method, folding screen device and computer readable storage medium | |
| JP7357832B1 (en) | Operating device, operating method and operating program | |
| CN108664300B (en) | Application interface display method and device in picture-in-picture mode | |
| JP2023147291A (en) | Cooperative display system and head-mounted display | |
| CN114449171B (en) | Method for controlling camera, terminal device, storage medium and program product | |
| US11341729B2 (en) | Method and electronic device for correcting external reality pixels and virtual content pixels within an augmented reality environment | |
| JP2022137622A (en) | Wearable terminal, control method for the same, and program | |
| JP2018180050A (en) | Electronic device and control method thereof | |
| CN116684516B (en) | Wallpaper setting method and electronic equipment | |
| CN108140357B (en) | Information processing apparatus | |
| JP2014160968A (en) | Portable information terminal | |
| CN116708931B (en) | Image processing method and electronic equipment | |
| CN116048686B (en) | Display method and folding screen device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230807 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230807 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230926 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7357832 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |