JP2020123396A - Eye pointing system operated by eyes - Google Patents
Eye pointing system operated by eyes Download PDFInfo
- Publication number
- JP2020123396A JP2020123396A JP2020081086A JP2020081086A JP2020123396A JP 2020123396 A JP2020123396 A JP 2020123396A JP 2020081086 A JP2020081086 A JP 2020081086A JP 2020081086 A JP2020081086 A JP 2020081086A JP 2020123396 A JP2020123396 A JP 2020123396A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- user
- image
- measurement
- pointing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、測定システムに関し、具体的には、測定作業を行いながら測定データの記録や編集を容易に行うための測定システムに関する。 The present invention relates to a measurement system, and more particularly to a measurement system for easily recording and editing measurement data while performing measurement work.
ワークを測定機で測定した結果はコンピュータ等の外部機器に転送され記録されるようになっている。そのための測定システムが種々提案されている（例えば、特許文献１、２、３）。例えば、図１に測定システムの一例を示す。
The result of measuring the work with the measuring machine is transferred to and recorded in an external device such as a computer. Various measurement systems for that have been proposed (for example,
図１においては、ワークＷをデジタルマイクロメータ１０で測定している。デジタルマイクロメータ１０とコンピュータ８０とは無線または有線で通信接続されている。
ユーザがマイクロメータ１０でワークＷを測定し、データ転送ボタン１１を押す。すると、測定値がマイクロメータ１０からコンピュータ８０に転送され、コンピュータ８０が測定値を記録していく。
なお、データ転送ボタン１１は、マイクロメータ１０上の押しやすいところにあってもよいし、あるいは、フットスイッチを利用してもよい。フットスイッチように足で操作できれば、手はワークＷとマイクロメータ１０をつかんだままでよいので、便利である。
In FIG. 1, the work W is measured by the
The user measures the work W with the
The
マイクロメータ１０からコンピュータ８０へ転送された測定値は自動的に記録されていくが、その測定値がどのワークのどの箇所に対応しているものであるか整理されていなければならない。
例えば図１のように５つの段差をもつワークＷの場合を考える。
太い方から順番に測定し、さらにひとつのワークＷにつき測定を５回繰り返すように測定手順が決まっているとする。この測定手順をコンピュータ８０に予め登録しておき、測定者は決められた順番通りに測定を進めていく。すると、自動的に整理された測定データが記録されていく。このような測定システムにより、極めて高い作業効率を実現できるし、測定者にとっては身体的にも精神的にも負担が軽い作業となる。
The measured values transferred from the
For example, consider the case of a work W having five steps as shown in FIG.
It is assumed that the measurement procedure is determined such that the measurement is performed in order from the thickest one, and the measurement is repeated five times for each work W. This measurement procedure is registered in the
実際の測定作業にあっては、誤操作が必ずあるのであり、データの取消しや再測定が必要になってくる。
測定手順や測定箇所を飛ばしてしまうこともあるし、データ転送ボタン１１の操作ミスもあり得る。このような場合、測定者がコンピュータ８０を操作して、データを取り消したり、編集したりすることになる。すなわち、一旦ワークＷとマイクロメータ１０から手を離し、コンピュータ８０のキーボードかマウスを操作しなければならない。コンピュータ８０が手元ではなく少し離れたところにある場合には、数歩歩くという動作も必要である。
In the actual measurement work, there is always an erroneous operation, and it is necessary to cancel or re-measure the data.
The measurement procedure and the measurement location may be skipped, and the
ワークＷやマイクロメータ１０から手を離したり、体を移動させたりという動作があると、作業の連続性が断たれてしまい、作業効率がとたんに悪くなる。そのため、想定したほどには作業効率のアップが図れないという問題がある。
また、測定者にとっても面倒な作業であり、身体的にも心理的にも負担が大きい。ちなみに、フットスイッチを利用してコンピュータ８０を操作することも考えられるが、これだけでは複雑な操作は難しい。
音声コマンドも考えられるが、工場などでは騒音が避けられないので、認識率が低く、むしろ誤操作が増えるおそれもある。フットスイッチや音声コマンドだけではコンピュータ８０の複雑な操作をハンズフリーで行うのは難しい。
If there is an operation such as releasing the hand from the work W or the
In addition, it is a troublesome work for the measurer, and is physically and psychologically burdensome. By the way, it is possible to operate the
Although voice commands can be considered, noise is unavoidable in factories and the like, so the recognition rate is low and there is a possibility that erroneous operations will increase. It is difficult to perform a complicated operation of the
そこで、本発明の目的は、コンピュータの複雑な操作をハンズフリーで行えるユーザインターフェースを提供することにある。
また、本発明の目的は、利便性が高く、高効率な測定作業を支援する測定システムを提供することにある。
Therefore, it is an object of the present invention to provide a user interface that allows hands-free operation of a complicated computer.
Another object of the present invention is to provide a measurement system that is highly convenient and supports highly efficient measurement work.
本発明のアイポインティングデバイスは、
ユーザの顔に装着され、ユーザの眼の動きでユーザの視界中のコマンドの選択を認識するアイポインティングデバイスであって、
ユーザの眼を撮像するように配置されたアイカメラと、
前記アイカメラで撮像された眼の画像であるアイ画像に基づいて、予め決められた眼の動きからコマンド入力操作を認識するアイ画像解析部と、を備える
ことを特徴とする。
The eye pointing device of the present invention is
An eye pointing device mounted on a user's face and recognizing a selection of a command in the user's field of view by the movement of the user's eyes,
An eye camera arranged to image the user's eyes,
An eye image analysis unit that recognizes a command input operation from a predetermined eye movement based on an eye image that is an eye image captured by the eye camera.
本発明では、
前記アイポインティングデバイスは、ユーザの前方であってユーザに見えている外界の実景を撮像する外部カメラを有し、
前記外部カメラで撮像した実景の画像と、前記アイ画像解析部で認識した眼の動きと、を対比し、実際の実物の任意の領域あるいは部位に対して予め割り当てられたコマンドを選択操作する
ことが好ましい。
In the present invention,
The eye pointing device has an external camera which is in front of the user and captures a real scene of the external world seen by the user,
Comparing the image of the real scene captured by the external camera with the eye movement recognized by the eye image analysis unit, and selecting and operating a command previously assigned to an arbitrary area or part of the actual object. Is preferred.
本発明では、
さらに、ユーザの視界に実景とオーバーレイするようにＧＵＩ（グラフィカルユーザインターフェース）画像を投影するプロジェクター部を備える
ことが好ましい。
In the present invention,
Further, it is preferable to include a projector unit that projects a GUI (Graphical User Interface) image so as to overlay the real scene in the field of view of the user.
本発明の測定システムは、
前記アイポインティングデバイスと、
測定データを外部出力できる測定機と、
測定データ管理用プログラムを実行することにより前記測定機の測定データの収集、記録、編集を行う測定データ管理装置として機能するととともに、測定データ管理用のＧＵＩ画像データをユーザに提供するホストコンピュータと、を具備し、
前記アイポインティングデバイスと前記ホストコンピュータとが通信接続され、
前記測定データ管理用のＧＵＩ画像データが前記プロジェクター部からユーザの視界に投射される
ことを特徴とする。
The measurement system of the present invention is
The eye pointing device;
A measuring device that can output measurement data externally,
A host computer that functions as a measurement data management device that collects, records, and edits measurement data of the measuring machine by executing a measurement data management program, and that provides a user with GUI image data for measurement data management, Equipped with,
The eye pointing device and the host computer are connected for communication,
The GUI image data for managing the measurement data is projected from the projector unit into the visual field of the user.
本発明では、
前記測定データ管理用のＧＵＩ画像データには、測定データの収集、記録、編集を行うツールのアイコン画像が複数含まれており、
前記アイコン画像は、ユーザの視界の周辺に配置される
ことが好ましい。
In the present invention,
The GUI image data for managing measurement data includes a plurality of icon images of tools for collecting, recording, and editing measurement data,
It is preferable that the icon image is arranged around the user's field of view.
本発明では、
前記測定データ管理用のＧＵＩ画像データには、測定データの収集、記録、編集を行うツールのアイコン画像が複数含まれており、
前記アイコン画像は、測定対象であるワークの周辺、または、測定プローブの周辺に配置される
ことが好ましい。
In the present invention,
The GUI image data for managing measurement data includes a plurality of icon images of tools for collecting, recording, and editing measurement data,
It is preferable that the icon image is arranged around a work to be measured or around a measurement probe.
本発明の実施形態を図示するとともに図中の各要素に付した符号を参照して説明する。
（第１実施形態）
本発明の測定システムに係る第１実施形態について説明する。
図２は、測定システムの全体構成を例示する図である。
測定システムは、測定工具１０と、コンピュータユニット１００と、を具備する。
測定工具１０としては、デジタル式の小型測定器であってもよい。デジタル式の小型測定器としては、デジタルマイクロメータ１０や、デジタルノギス、デジタルダイヤルゲージなどがある。図２中では、デジタルマイクロメータ１０を例示している。
Embodiments of the present invention will be described with reference to the drawings and reference numerals attached to respective elements in the drawings.
(First embodiment)
A first embodiment of the measurement system of the present invention will be described.
FIG. 2 is a diagram illustrating the overall configuration of the measurement system.
The measuring system includes a measuring
The measuring
デジタルマイクロメータ１０は、コンピュータユニット１００と無線接続されている。デジタルマイクロメータ１０は、データ転送ボタン１１を有し、データ転送ボタン１１が押されると、測定値をコンピュータユニット１００に送信する。
The
コンピュータユニット１００は、ホストコンピュータ１１０と、モニタ１２０と、アイポインティングデバイス２００と、を備える。
ホストコンピュータ１１０は、ＣＰＵ、ＲＯＭ、ＲＡＭを有するいわゆるコンピュータである。ホストコンピュータ１１０は、デジタルマイクロメータ１０、モニタ１２０およびアイポインティングデバイス２００と無線で通信接続されている。
ホストコンピュータ１１０は、測定データ管理用プログラムを実行することにより、測定データの収集、記録、編集を行う測定データ管理装置としての役割を果たす。このとき、ホストコンピュータ１１０は、測定データ管理用のＧＵＩ（グラフィカルユーザインターフェース）をモニタ１２０を介してユーザ（測定者）に提供する。ＧＵＩ画面の例としては、例えば図１を参照されたい。
ＧＵＩ画面の操作方法については後述する。
The
The
The
The method of operating the GUI screen will be described later.
モニタ１２０は、ホストコンピュータ１１０から与えられる表示データを画面に表示する。また、モニタ１２０はタッチディスプレイパネルであって、ユーザ（測定者）によるタッチ操作を受け付けて、ホストコンピュータ１１０に転送する。
The
アイポインティングデバイス２００について説明する。
アイポインティングデバイス２００は、大きく２つの機能を有している。
第１の機能は、小型画像投影機（プロジェクションディスプレー）としての機能である。
第２の機能は、視線トラッキングを利用するポインティングデバイスとしての機能である。
具体的に説明する。
The
The
The first function is a function as a small image projector (projection display).
The second function is a function as a pointing device that uses line-of-sight tracking.
This will be specifically described.
アイポインティングデバイス２００は、メガネ部２１０と、表示ユニット部２２０と、アイカメラ２３０と、外部カメラ２４０と、制御部２６０と、を有する。
メガネ部２１０は、略Ｕ字状のフレーム部２１１と、フレーム部２１１に取り付けられたレンズ部２１２と、を有する。フレーム部２１１の両端には、耳に引っ掛かるつる部２１３が設けられている。つる部２１３を耳に引っ掛けてメガネ部２１０を顔に装着すると、眼の真ん前にレンズ部２１２がくるようになっている。
The
The
表示ユニット部２２０は、支持アーム部２２１と、プロジェクター部２２２と、を有する。
支持アーム部２２１の一端はフレーム部２１１の端部に固定されている。支持アーム部２２１の他端は、ユーザ（測定者）の顔の前方に向けて延伸するとともに、ユーザ（測定者）の眼の前に位置するように湾曲している。
The
One end of the
そして、支持アーム部２２１の他端にプロジェクター部２２２が設けられている。プロジェクター部２２２は、画像を投射してユーザ（測定者）に情報を提示する。プロジェクター部２２２は、レンズ部２１２に画像を投影してもよいし、ユーザ（測定者）の網膜で結像するように画像を投射してもよい。
The
このようなプロジェクター部２２２は、例えば、レーザー光源と、マイクロミラーと、で構成できる。マイクロミラーを上下左右に往復駆動させ、レーザー光でフレームを描画する。
ユーザ（測定者）の眼（視界）には、外界の実物からの光と、プロジェクター部２２２からの投射光と、が同時に入ってくる。すると、ユーザ（測定者）の眼（視界）には、外界の実景と、プロジェクター部２２２からの画像情報と、がオーバーレイ（重畳）して見える。
プロジェクター部２２２は、ユーザ（測定者）の両方の眼に情報を提供してもよく、片方の眼だけに情報を提供してもよい。本実施形態では、測定者の片方の眼、ここでは、右眼に情報を提供するように設けられている。
Such a
The light (visual field) of the user (measuring person) simultaneously receives the light from the real world object and the projection light from the
The
アイカメラ２３０は、ユーザ（測定者）の眼を撮像するようにフレーム部２１１に取り付けられている。さらに、アイポインティングデバイス２００は、スイッチ２４２、マイク２４３、外部カメラ２４０を有する。
スイッチ２４２およびマイク２４３は、補助的な入力手段である。また外部カメラ２４０は、ユーザ（測定者）の前方を撮像し、すなわち、ユーザ（測定者）に見えている外界の実像を撮像する。
The
The
図３は、制御部２６０の機能ブロック図である。
制御部２６０は、通信回路部２６１と、画像データ生成部２６２と、アイ画像解析部２６３と、中央処理部２６４と、を有する。
通信回路部２６１は、アンテナを介して、ホストコンピュータ１１０とデータの送受信を行う。アイ画像解析部２６３は、アイカメラ２３０で撮像されるユーザ（測定者）の瞳の動きから、ユーザ（測定者）の視線がどこにあるか特定する。さらに、アイ画像解析部２６３は、アイカメラ２３０で撮像される瞳、眼、あるいはまぶたの動きから、選択操作の有無を判別する。
FIG. 3 is a functional block diagram of the
The
The
中央処理部２６４は、制御部２６０全体の動作を統合的に制御する。
アイポインティングデバイス２００の動作をフローチャートと画像例とを参照しながら説明する。
図４、図５は、アイポインティングデバイス２００の動作を説明するためのフローチャートである。
ユーザは、アイポインティングデバイス２００を使用するにあって、アイポインティングデバイス２００をメガネと同じように顔に装着する。すなわち、つる部２１３を耳に引っ掛けて、レンズ部２１２が眼を覆うようにする。
The
The operation of the
4 and 5 are flowcharts for explaining the operation of the
When using the
さて、アイポインティングデバイス２００の電源がオンになると（ＳＴ１０１）、アイポインティングデバイス２００は、ホストコンピュータ１１０と通信を確立し、ホストコンピュータ１１０からＡＲ−ＧＵＩ画像のデータを取得する（ＳＴ１１０）。本明細書では、アイポインティングデバイス２００によってユーザに提供される画像のことをＡＲ−ＧＵＩ（オーグメンティッドリアリティーグラフィカルユーザインターフェース）画像と称することにする。ＡＲ−ＧＵＩ画像データは、画像データ生成部２６２に一時バッファされる。
Now, when the power of the
画像データ生成部２６２は、ＡＲ−ＧＵＩ画像をプロジェクター部２２２で表示できるようにビデオ信号に変換し、ビデオ信号をプロジェクター部２２２に出力する。すると、プロジェクター部２２２がＡＲ−ＧＵＩ画像を投影し（ＳＴ１２０）、ユーザの眼にＡＲ−ＧＵＩ画像が見えるようになる。
The image
図６は、ユーザの視界の例であり、ＡＲ−ＧＵＩ画像の一例を示す。ユーザの視界には、自分の手、マイクロメータ１０、モニタ１２０といった実物が見えており、さらに、実物の実景に重畳してプロジェクター部２２２によって提供されるＡＲ−ＧＵＩ画像３００が見える。ＡＲ−ＧＵＩ画像３００として、例えば、データ編集用のツールのアイコン３０１−３０８が提供される。
FIG. 6 is an example of the field of view of the user and shows an example of the AR-GUI image. In the field of view of the user, the real thing such as one's hand, the
ここでは、上下左右方向の方向指示アイコン３０１−３０４、実行（エンター）指示アイコン３０５、削除（デリート）指示アイコン３０６、オプションアイコン３０７、データ収集アイコン３０８がある。
方向指示アイコン３０１−３０４でモニタ１２０内のカーソルや選択セルを移動させる。実行指示アイコン３０５、削除アイコン３０６は、データの入力あるいは削除を行う。
オプションアイコン３０７は、例えば、モード切替えやアイコンセットの切替えを指示する。データ収集アイコン３０８は、マイクロメータ１０から測定データの取得を指示する。
Here, there are up/down/left/right direction instruction icons 301-304, an execution (enter)
The cursor or the selected cell in the
The
図６においては、実物であるマイクロメータ１０あるいはモニタ１２０をユーザの顔の正面で捉えたとき、ＡＲ−ＧＵＩ画像３００は、視野の中央領域を避けて、視野の周辺に見えるように配置されている。ここではＡＲ−ＧＵＩ画像３００としての８つのアイコン３０１−３０８は、視野の周辺において円環状に配置されている。
In FIG. 6, when the
さて、アイポインティングデバイス２００は、ＡＲ−ＧＵＩ画像３００を表示したら（ＳＴ１２０）、続いて、アイカメラ２３０を起動してユーザの眼を撮像する（ＳＴ１３０）。
アイカメラ２３０の撮像データはアイ画像解析部２６３に入力される。そして、アイ画像解析部２６３は、アイカメラ２３０の画像からユーザの瞳の動きを解析し（ＳＴ１５０）、ユーザの視線がどこを見ているか特定する。
（なお、ステップＳＴ１４０の説明を飛ばしたが、これは変形例１で後述する。）
Now, after displaying the AR-GUI image 300 (ST120), the
The image data of the
(Note that the description of step ST140 was skipped, but this will be described later in Modification Example 1.)
中央処理部２６４は、ユーザの視線とＡＲ−ＧＵＩ画像３００の位置とを比べて、ユーザがＡＲ−ＧＵＩ画像３００を見ているか否かを判定する（ＳＴ１６０）。
ユーザの視線がＡＲ−ＧＵＩ画像３００から外れていてＡＲ−ＧＵＩ画像３００を見ていない場合（ＳＴ１６０：ＮＯ）、ユーザはＡＲ−ＧＵＩ画像３００以外の何か、例えばマイクロメータ１０やワークＷを見て測定しているということである。
この場合、ポインティングデバイスとしての役割はなく、フローの先頭（ＳＴ１１０）に戻ってＡＲ−ＧＵＩ画像３００の表示を継続する。
The
When the user's line of sight is outside the AR-
In this case, there is no role as a pointing device, and the process returns to the beginning of the flow (ST110) and continues to display the AR-
さて、ユーザの視線がＡＲ−ＧＵＩ画像３００に重なっていて、ユーザがＡＲ−ＧＵＩ画像３００を見ている場合について説明する（ＳＴ１６０：ＹＥＳ）。
ユーザがＡＲ−ＧＵＩ画像３００を見ているということは（ＳＴ１６０：ＹＥＳ）、測定ではなく、データの編集をしたいということである。
ユーザがＡＲ−ＧＵＩ画像３００を見ていると判定される場合（ＳＴ１６０：ＹＥＳ）、中央処理部２６４は、画像データ生成部２６２に視線の位置を通知する。すると、画像データ生成部２６２は、その視線の位置にアイポインタ３９０を表示する（ＳＴ２１０）。
Now, a case where the user's line of sight overlaps the AR-
The fact that the user is looking at the AR-GUI image 300 (ST160: YES) means that he wants to edit the data, not the measurement.
When it is determined that the user is looking at the AR-GUI image 300 (ST160: YES), the
図７にアイポインタ３９０の一例を図示する。
ここでは、アイポインタ３９０は目をモチーフにデザイン化されたものである。もちろん、アイポインタ３９０は、ただの矢印、単純な円や四角といったものでもよい。
ユーザは、選択したいツールのアイコン３０１−３０８を見るように眼球を視野の端の方へ動かす。するとアイポインタ３９０が現れるので、アイポインタ３９０が意図したアイコン３０１−３０８に重なるように眼を動かす。このとき、ユーザは眼球のみを動かせばよいのであって、図７に示すように両手はマイクロメータ１０とワークＷを掴んだままでよい。
FIG. 7 illustrates an example of the
Here, the
The user moves the eyeball toward the edge of the field of view to see the icons 301-308 of the tool that they want to select. Then, the
ユーザは、アイポインタ３９０を意図したアイコン３０１−３０８に重ねておいて、選択操作を行う。
選択操作としては例えばウインクが例として挙げられる。その他、数秒間同じ場所（アイコン）を見つめることを選択操作としてもよい。
ユーザの選択操作（ウインク）は、アイカメラ２３０を介してアイ画像解析部２６３で検出される（ＳＴ２２０：ＹＥＳ）．
アイコン３０１−３０８が選択されたことはアイ画像解析部２６３から中央処理部２６４に通知される。中央処理部２６４は、アイコン選択時（ウインク時）の視線とＡＲ−ＧＵＩ画像３００の各アイコン３０１−３０８の位置とを比べて、ユーザが選択した操作を特定する（ＳＴ２３０）。図７の例でいえば、選択された操作は、カーソル（あるいは選択セル）を下方向へ移動させる操作である。
The user places the
The selection operation may be, for example, wink. Alternatively, the selection operation may be staring at the same place (icon) for several seconds.
The user's selection operation (wink) is detected by the eye
The
中央制御部２６０は、選択された操作を通信回路部２６１を介してホストコンピュータ１１０に通知する（ＳＴ２４０）。すると、ホストコンピュータ１１０は通知された操作を実行する。今回の例でいえば、モニタ１２０の画面中においてカーソル（あるいは選択セル）が下方向に移動する。
The
続いて、例えば、データを削除したければ同じように視線でアイポインタ３９０を移動させて削除アイコン３０６を選択すればよい。
データを上書きしたいのであればマイクロメータ１０のデータ転送ボタン１１を押してもよく、あるいは、眼でデータ収集アイコン３０８を選択してもよい。
いずれにしても、ユーザは、データの記録や編集にあたって、手をマイクロメータ１０およびワークＷから離す必要はなく、目を動かすだけである。データ編集に手を使わなくてよいのであるから測定作業の効率化が図られるのはもちろんである。
さらに、目を使うユーザインターフェースは直観的に誰にでもわかりやすく、操作が簡単である。例えば、同じ操作を複数のフットスイッチの組み合わせで行うとすれば、かなりの訓練が必要になるだろう。
本実施形態の測定システムは、誰にでも使える素晴らしく便利な測定環境を提供できる。
Then, for example, if the user wants to delete the data, he or she may similarly move the
If it is desired to overwrite the data, the
In any case, the user does not have to take his or her hands away from the
In addition, the user interface with eyes is intuitive and easy for anyone to operate. For example, performing the same operation with a combination of multiple foot switches would require considerable training.
The measurement system of the present embodiment can provide a wonderful and convenient measurement environment that can be used by anyone.
（変形例１）
第１実施形態においては、アイポインティングデバイス２００が提供するＡＲ−ＧＵＩ画像３００のアイコン３０１−３０８を視線で操作（選択）する例を説明した。
アイポインティングデバイス２００は、自己が提供するＡＲ−ＧＵＩ画像３００の画像データを保有しているわけであるから、アイカメラ２３０で取得する視線の方向をＡＲ−ＧＵＩ画像データに対比すれば、ユーザが選択したい操作（アイコン３０１−３０８）をＡＲ−ＧＵＩ画像３００のなかから特定できる。
ここで、変形例１としては、アイポインティングデバイス２００のアイポインタ３９０を利用して、モニタ１２０に表示された情報やツールを操作する例を説明する。
(Modification 1)
In the first embodiment, an example has been described in which the
Since the
Here, as a first modified example, an example in which the
図８に例示するように、モニタ１２０画面にはワークＷのＣＡＤデータ、ワークＷ中の測定対象箇所、測定データなどが表示されている。そして、測定作業をしながら測定箇所の指定（あるいは指定の再設定）をしたいとする。
この場合、ユーザは、モニタ１２０の画面を見る。
図４のフローチャートに戻っていただいて、外部カメラ２４０により、ユーザの視界に相当する外界の画像が取り込まれている（ＳＴ１４０）。そして、視線解析（ＳＴ１５０）の結果、ユーザの視線がモニタ１２０画面上にあることが検出される（ＳＴ１７０：ＹＥＳ）。外部カメラ２４０により、ユーザの視界に相当する外界の画像が取り込まれているから（ＳＴ１４０）、中央処理部２６４は、画像認識により、モニタ１２０の位置を特定できる。
たとえば、太い黒枠の内側をモニタ１２０と認識させるようにしてもよい。
As illustrated in FIG. 8, CAD data of the work W, measurement target locations in the work W, measurement data, and the like are displayed on the screen of the
In this case, the user looks at the screen of the
Returning to the flowchart of FIG. 4, the
For example, the inside of the thick black frame may be recognized as the
ユーザの視線がモニタ１２０上にある場合の処理動作を図９のフローチャートを参照しながら説明する。
ユーザの視線がモニタ１２０画面上にあると判定される場合（図４のＳＴ１７０：ＹＥＳ）、中央処理部２６４は画像データ生成部２６２に視線の位置を通知し、画像データ生成部２６２は、その視線の位置にアイポインタ３９０を表示する（ＳＴ３１０）。
図８にアイポインタ３９０の一例を図示する。
ユーザは、意図した測定箇所にアイポインタ３９０が重なるように眼球を動かす。そして、モニタ１２０画面上で所望の測定箇所にアイポインタ３９０が重なったところで選択操作（たとえばウインク）を行う。ユーザの選択操作（ウインク）はアイカメラ２３０を介してアイ画像解析部２６３で検出される（ＳＴ３２０：ＹＥＳ）。
The processing operation when the user's line of sight is on the
When it is determined that the line of sight of the user is on the screen of the monitor 120 (ST170: YES in FIG. 4), the
FIG. 8 illustrates an example of the
The user moves the eyeball so that the
選択操作が検出されると（ＳＴ３２０：ＹＥＳ）、中央処理部２６４は、選択操作時（ウインク時）の視線とモニタ１２０画面との位置関係を解析する（ＳＴ３３０）。
図１０は、外部カメラ２４０画像のなかからモニタ１２０の部分だけを抜き出したものである。
例えば、図１０に示すように、モニタ画面の左下隅を原点とし、モニタ画面の横方向にＸ軸（横軸）をとり、モニタ画面の縦方向にＹ軸（縦軸）をとる。
（ユーザがモニタ１２０に正対していない場合には必要に応じて台形補正などを行えばよい。）モニタ画面中における視線の位置（アイポインタ３９０の位置）を（ｘ，ｙ）とする。また、モニタ画面の横軸をＬ、高さをＨとする。
このとき、モニタ画面中の視線の位置は、（ｘ／Ｌ，ｙ／Ｈ）で表される。
When the selection operation is detected (ST320: YES), the
In FIG. 10, only the portion of the
For example, as shown in FIG. 10, the lower left corner of the monitor screen is the origin, the horizontal direction of the monitor screen is the X axis (horizontal axis), and the vertical direction of the monitor screen is the Y axis (vertical axis).
(When the user is not directly facing the
At this time, the position of the line of sight on the monitor screen is represented by (x/L, y/H).
中央処理部２６４は、このように得られた視線の位置（ｘ／Ｌ，ｙ／Ｈ）をホストコンピュータ１１０に通知する（ＳＴ３４０）。すると、ホストコンピュータ１１０は視線の位置（ｘ／Ｌ，ｙ／Ｈ）と、モニタ画面の表示内容と、を対比して、ユーザが意図する操作（コマンド）を特定する。
今回の例でいえば、モニタ画面中のＣＡＤデータで測定箇所Ｄが選択されたことを特定する。そして、ホストコンピュータ１１０は、指示された操作を実行したり、モニタ１２０の表示を更新したりする。
The
In this example, the CAD data on the monitor screen specifies that the measurement point D is selected. Then, the
さらに、アイポインティングデバイス２００で選択する対象は、ＡＲ−ＧＵＩ画像３００やモニタ１２０上の画像だけに限らず、実際の実物の任意の領域や部位に割り当てられたコマンドであってもよい。
例えば、実際のワークＷ上に測定箇所コマンドを設定しておくとする。
ユーザが実際のワークＷ上の測定箇所を目で選択（見てからウインク）する。（外部カメラ２４０で撮像した画像を画像認識すれば、ワークＷのどの箇所が選択されたかわかる。コマンドが割り当てられた対象物については画像認識できるようにＣＡＤデータ（３ＤＣＡＤデータ）をホストコンピュータに予め記憶させておいてもよい。）
このように実際のワークＷ上で測定箇所を選択したうえで、データ転送ボタン１１を押す。あるいは、データ転送の操作もアイポインティングで行ってもよい。
このような測定作業の手順は自然であり、スムースで効率的な測定ができるようになる。
Furthermore, the target selected by the
For example, assume that a measurement point command is set on the actual work W.
The user visually selects (sees and winks) an actual measurement point on the work W. (By recognizing the image captured by the
In this way, the measurement point is selected on the actual work W, and then the
The procedure of such measurement work is natural, and smooth and efficient measurement can be performed.
（変形例２）
次に、図１１を参照して変形例２を説明する。
図１１は、ポータブルアーム型（可搬性多関節形）の三次元測定機２０でワークＷを測定する様子の一例である。このようなアーム形三次元測定機２０にあっては必然的に両手で測定機２０を保持しながら測定作業を行うことになる。この場合、アイポインティングデバイス２００によって提供されるＧＵＩ画像３００およびアイポインタ３９０により、ハンズフリーのデータ編集が可能になる。したがって、ユーザは両手を測定機２０から離す必要はなく、効率よく測定作業を進めることができる。
(Modification 2)
Next, a modified example 2 will be described with reference to FIG.
FIG. 11 shows an example of how the work W is measured by the portable arm type (portable multi-joint type) three-
ここで、第１実施形態においては視界の周辺寄りにＡＲ―ＧＵＩ画像３００が見えるようにしていた。
これに対し、変形例２においては、ワークＷの周囲にＡＲ−ＧＵＩ画像が見えるようにしている。例えば、外部カメラ２４０でユーザの視界を取り込み、画像認識によってワークＷの位置を特定する。そして、ワークＷの周辺にＧＵＩ画像３００を投影する。
これで、ユーザの視界には、ワークＷを囲むようにＧＵＩ画像が見えるようになる。
Here, in the first embodiment, the AR-
On the other hand, in the second modification, the AR-GUI image is visible around the work W. For example, the
With this, in the user's field of view, the GUI image can be seen so as to surround the work W.
測定作業中、ユーザの視線はワークＷに注がれていることが多い。そして、ワークＷから少しだけ視線をずらすとアイポインタ３９０でＡＲ―ＧＵＩ画像３００を用いたデータ編集が可能になる。
During the measurement work, the user's line of sight is often focused on the work W. Then, when the line of sight is slightly shifted from the work W, data editing using the AR-
また、図１１においては、編集ツールのアイコンだけではなくて、モニタ１２０に表示される表示データ、ここでは測定値のデータ（３０９）もＡＲ−ＧＵＩ画像３００として提供される。
これによりユーザはモニタ１２０の画面を見なくても測定作業を進行できるようになる。可搬性の中型測定機２０を使用するときには、ワークＷの測定箇所に応じてユーザ自身の立ち位置や姿勢も変わってくるため、いつもモニタ１２０が見えるとは限らない。
この点、モニタ画面の内容がＡＲ−ＧＵＩ画像３００として提供されれば、ユーザは、モニタ１２０やホストコンピュータ１１０の位置を気にすることなく、自由にポジションを変えながら測定作業を進めることができる。
Further, in FIG. 11, not only the icon of the editing tool, but also display data displayed on the
This allows the user to proceed with the measurement work without looking at the screen of the
In this respect, if the contents of the monitor screen are provided as the AR-
また、図１２に示すように、大型の三次元測定機３０を操作するような場合、ユーザは、ジョイスティック等の操作盤３２だけを持ってワークＷに近づいて操作することがある。この場合、ユーザの立ち位置からはモニタ１２０やホストコンピュータ１１０が見えにくいことがある。
この点、アイポインティングデバイス２００によってＡＲ−ＧＵＩ画像３００が提供されるので、ユーザは、モニタ１２０やホストコンピュータ１１０の位置を気にする必要はなくなる。
なお、大型の三次元測定機３０の場合、測定プローブ３１の周囲にＧＵＩ画像が表示されるようにしてもよい。大型の三次元測定機３０の場合、プローブ３１が大きく動くことが多い。そして、ユーザはプローブ３１を目で追いかける。プローブ３１から少しだけ視線を動かすだけでアイポインタ３９０でＧＵＩ画像３００を操作できるようになると極めて便利である。
Further, as shown in FIG. 12, when operating the large-sized coordinate measuring
In this regard, since the AR-
In the case of the large coordinate measuring
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
上記実施形態の説明では、ユーザが視線でアイポインタ３９０を動かし、アイポインタ３９０をアイコンに重ねてツールを選択するとした。
このほか、例えば、眼の動きのパターンとコマンドとを対応付けておき、ジェスチャコントロールのように眼の動きでダイレクトにコマンド入力するようにしてもよい。例えば、視線を上から下、あるいは、右から左に動かすと、選択セルが移動したり、見つめたらモニタの表示を拡大／縮小したり、モニタの端の方に視線を移動させたら上下左右にスクロールするなどが考えられる。
The present invention is not limited to the above-mentioned embodiments, but can be modified as appropriate without departing from the spirit of the present invention.
In the description of the above embodiment, it is assumed that the user moves the
In addition, for example, the eye movement pattern and the command may be associated with each other, and the command may be directly input by the eye movement like gesture control. For example, moving the line of sight from top to bottom or from right to left moves the selected cell, enlarges/reduces the display of the monitor when you gaze, or moves the line of sight toward the edge of the monitor to move up, down, left, or right. It is possible to scroll.
本発明は視線を使ってアイポインタを動かすのであるが、人の視線は非常に素早く揺らぐものである。そこで、アイ画像解析部２６３でユーザ（測定者）の視線がどこにあるか特定するにあたっては、眼の動き検出の感度を下げたり、瞬間的な動きは無視する等のためのフィルタなどを組み込んでもよい。
また、選択操作としてのウインクを"まばたき"と混同しないように、"選択"の意図を持った意図的なウインクと生理的な眼の開閉（まばたき）とを区別するようにする。例えば、ウインクとまばたきとを区別するための判定閾値となる時間を設定するなどの方策が考えられる。
The present invention uses the line of sight to move the eye pointer, but the line of sight of a person fluctuates very quickly. Therefore, in identifying where the eye of the user (measuring person) is in the eye
Also, in order not to confuse winking as a selecting operation with "blinking", an intentional winking with the intention of "selecting" is distinguished from physiological eye opening/closing (blinking). For example, it is conceivable to set a time as a determination threshold value for distinguishing wink from blinking.
１０…マイクロメータ（測定機）、１１…データ転送ボタン、
２０…アーム形三次元測定機、
３０…三次元測定機、３１…プローブ、３２…操作盤、
８０…コンピュータ、
１００…コンピュータユニット、
１１０…ホストコンピュータ、
１２０…モニタ、
２００…アイポインティングデバイス、
２１０…メガネ部、２１１…フレーム部、２１２…レンズ部、２１３…つる部、
２２０…表示ユニット部、２２１…支持アーム部、２２２…プロジェクター部、
２３０…アイカメラ、
２４０…外部カメラ、
２４２…スイッチ、２４３…マイク、
２６０…制御部、
２６１…通信回路部、２６２…画像データ生成部、２６３…アイ画像解析部、２６４…中央処理部、
３００…ＡＲ−ＧＵＩ画像、
３０１−３０８…アイコン、
３９０…アイポインタ。
10... Micrometer (measuring machine), 11... Data transfer button,
20... Arm type CMM,
30... three-dimensional measuring machine, 31... probe, 32... operation panel,
80... computer,
100... computer unit,
110... host computer,
120... monitor,
200... Eye pointing device,
210... Glasses section, 211... Frame section, 212... Lens section, 213... Vine section,
220... Display unit part, 221... Support arm part, 222... Projector part,
230... eye camera,
240... external camera,
242... switch, 243... microphone,
260... control unit,
261... Communication circuit unit, 262... Image data generation unit, 263... Eye image analysis unit, 264... Central processing unit,
300... AR-GUI image,
301-308... icon,
390... Eye pointer.
本発明は、測定システムに関し、具体的には、測定作業を行いながら測定データの記録や編集を容易に行うための測定システムに関する。 The present invention relates to a measurement system, and more particularly, to a measurement system for easily recording and editing measurement data while performing measurement work.
ワークを測定機で測定した結果はコンピュータ等の外部機器に転送され記録されるようになっている。そのための測定システムが種々提案されている（例えば、特許文献１、２、３）。例えば、図１に測定システムの一例を示す。
The result of measuring the work with the measuring machine is transferred to and recorded in an external device such as a computer. Various measurement systems for that have been proposed (for example,
図１においては、ワークＷをデジタルマイクロメータ１０で測定している。デジタルマイクロメータ１０とコンピュータ８０とは無線または有線で通信接続されている。
ユーザがマイクロメータ１０でワークＷを測定し、データ転送ボタン１１を押す。すると、測定値がマイクロメータ１０からコンピュータ８０に転送され、コンピュータ８０が測定値を記録していく。
なお、データ転送ボタン１１は、マイクロメータ１０上の押しやすいところにあってもよいし、あるいは、フットスイッチを利用してもよい。フットスイッチように足で操作できれば、手はワークＷとマイクロメータ１０をつかんだままでよいので、便利である。
In FIG. 1, the work W is measured by the
The user measures the work W with the
The
マイクロメータ１０からコンピュータ８０へ転送された測定値は自動的に記録されていくが、その測定値がどのワークのどの箇所に対応しているものであるか整理されていなければならない。
例えば図１のように５つの段差をもつワークＷの場合を考える。
太い方から順番に測定し、さらにひとつのワークＷにつき測定を５回繰り返すように測定手順が決まっているとする。この測定手順をコンピュータ８０に予め登録しておき、測定者は決められた順番通りに測定を進めていく。すると、自動的に整理された測定データが記録されていく。このような測定システムにより、極めて高い作業効率を実現できるし、測定者にとっては身体的にも精神的にも負担が軽い作業となる。
The measured values transferred from the
For example, consider the case of a work W having five steps as shown in FIG.
It is assumed that the measurement procedure is determined such that the measurement is performed in order from the thickest one, and the measurement is repeated five times for each work W. This measurement procedure is registered in the
実際の測定作業にあっては、誤操作が必ずあるのであり、データの取消しや再測定が必要になってくる。
測定手順や測定箇所を飛ばしてしまうこともあるし、データ転送ボタン１１の操作ミスもあり得る。このような場合、測定者がコンピュータ８０を操作して、データを取り消したり、編集したりすることになる。すなわち、一旦ワークＷとマイクロメータ１０から手を離し、コンピュータ８０のキーボードかマウスを操作しなければならない。コンピュータ８０が手元ではなく少し離れたところにある場合には、数歩歩くという動作も必要である。
In the actual measurement work, there is always an erroneous operation, and it is necessary to cancel or re-measure the data.
The measurement procedure and the measurement location may be skipped, and the
ワークＷやマイクロメータ１０から手を離したり、体を移動させたりという動作があると、作業の連続性が断たれてしまい、作業効率がとたんに悪くなる。そのため、想定したほどには作業効率のアップが図れないという問題がある。
また、測定者にとっても面倒な作業であり、身体的にも心理的にも負担が大きい。ちなみに、フットスイッチを利用してコンピュータ８０を操作することも考えられるが、これだけでは複雑な操作は難しい。
音声コマンドも考えられるが、工場などでは騒音が避けられないので、認識率が低く、むしろ誤操作が増えるおそれもある。フットスイッチや音声コマンドだけではコンピュータ８０の複雑な操作をハンズフリーで行うのは難しい。
If there is an action such as releasing the hand from the work W or the
In addition, it is a troublesome work for the measurer, and is physically and psychologically burdensome. By the way, it is conceivable to operate the
Although voice commands can be considered, noise is unavoidable in factories and the like, so the recognition rate is low, and there is a possibility that erroneous operations will increase. It is difficult to perform a complicated operation of the
そこで、本発明の目的は、コンピュータの複雑な操作をハンズフリーで行えるユーザインターフェースを提供することにある。
また、本発明の目的は、利便性が高く、高効率な測定作業を支援する測定システムを提供することにある。
Therefore, it is an object of the present invention to provide a user interface that allows hands-free operation of a complicated computer.
Another object of the present invention is to provide a measurement system that is highly convenient and supports highly efficient measurement work.
本発明のアイポインティングシステムは、
ユーザの顔に装着されてユーザの眼の動きでユーザの視界中のコマンドの選択を認識するアイポインティングデバイスと、
ＧＵＩ画像データをユーザに提供するホストコンピュータと、
前記ホストコンピュータから与えられるＧＵＩ画像を画面に表示するモニタと、を備えるアイポインティングシステムであって、
前記アイポインティングデバイスは、
ユーザの眼を撮像するように配置されたアイカメラと、
前記アイカメラで撮像された眼の画像であるアイ画像に基づいて、眼の動きからコマンド入力操作を認識するアイ画像解析部と、
ユーザの前方であってユーザに見えている外界の実景を撮像する外部カメラと、
ユーザの視界に実景とオーバーレイするようにＧＵＩ（グラフィカルユーザインターフェース）画像を投影するプロジェクター部と、を有し、前記外部カメラで撮像した実景の画像と、前記アイ画像解析部で認識した眼の動きと、を対比し、実際の実物の任意の領域あるいは部位に対して予め割り当てられたコマンドを選択操作するものであって、
前記アイポインティングデバイスと前記ホストコンピュータとが通信接続され、前記ＧＵＩ画像データが前記プロジェクター部からユーザの視界に投射され、
前記モニタには、対象物および／または前記対象物のうちの対象箇所が表示され、
ユーザが前記モニタの画面に表示された前記対象物および／または前記対象物のうちの対象箇所を眼の動きのコマンドで選択すると、前記ホストコンピュータは、視線の位置とモニタ画面の表示内容とを対比して、ユーザが意図する前記対象物および／または前記対象物のうちの対象箇所を特定する
ことを特徴とする。
The eye pointing system of the present invention,
An eye pointing device mounted on the user's face and recognizing the selection of a command in the user's field of view by the movement of the user's eyes;
A host computer for providing GUI image data to a user,
An eye pointing system comprising: a monitor for displaying a GUI image provided from the host computer on a screen,
The eye pointing device is
An eye camera arranged to image the user's eyes,
An eye image analysis unit that recognizes a command input operation from eye movements based on an eye image that is an image of the eye captured by the eye camera,
An external camera that captures a real world view in front of the user and visible to the user;
A projector unit that projects a GUI (Graphical User Interface) image so as to overlay the real scene on the user's field of view, and an image of the real scene captured by the external camera; and an eye movement recognized by the eye image analysis unit. , And to select and operate a command previously assigned to an arbitrary area or part of the actual object,
The eye pointing device and the host computer are communicatively connected, and the GUI image data is projected from the projector unit to a user's field of view.
On the monitor, an object and/or an object portion of the object is displayed,
When the user selects the target object and/or the target part of the target object displayed on the screen of the monitor with a command of eye movement, the host computer displays the position of the line of sight and the display content of the monitor screen. In contrast, the target object intended by the user and/or the target location of the target object is specified.
また、本発明のアイポインティングシステムは、
ユーザの顔に装着されてユーザの眼の動きでユーザの視界中のコマンドの選択を認識するアイポインティングデバイスと、
ＧＵＩ画像データをユーザに提供するホストコンピュータと、を備えるアイポインティングシステムであって、
前記アイポインティングデバイスは、
ユーザの眼を撮像するように配置されたアイカメラと、
前記アイカメラで撮像された眼の画像であるアイ画像に基づいて、眼の動きからコマンド入力操作を認識するアイ画像解析部と、
ユーザの前方であってユーザに見えている外界の実景を撮像する外部カメラと、
ユーザの視界に実景とオーバーレイするようにＧＵＩ（グラフィカルユーザインターフェース）画像を投影するプロジェクター部と、を有し、前記外部カメラで撮像した実景の画像と、前記アイ画像解析部で認識した眼の動きと、を対比し、実際の実物の任意の領域あるいは部位に対して予め割り当てられたコマンドを選択操作するものであって、
前記アイポインティングデバイスと前記ホストコンピュータとが通信接続され、前記ＧＵＩ画像データが前記プロジェクター部からユーザの視界に投射され、
さらに、
実際の対象物のなかの対象箇所に対して対象箇所コマンドが予め設定されており、
ユーザが実際の対象物のなかの対象箇所を眼の動きのコマンドで選択すると、前記ホストコンピュータは、前記外部カメラで撮像された画像の画像認識と視線の位置とを対比して、ユーザが意図する対象箇所を特定する
ことを特徴とする。
In addition, the eye pointing system of the present invention,
An eye pointing device mounted on the user's face and recognizing the selection of a command in the user's field of view by the movement of the user's eyes;
An eye pointing system comprising: a host computer that provides GUI image data to a user,
The eye pointing device is
An eye camera arranged to image the user's eyes,
An eye image analysis unit that recognizes a command input operation from eye movements based on an eye image that is an image of the eye captured by the eye camera,
An external camera that captures a real world view in front of the user and visible to the user;
A projector unit that projects a GUI (Graphical User Interface) image so as to overlay the real scene on the user's field of view, and an image of the real scene captured by the external camera; and an eye movement recognized by the eye image analysis unit. , And to select and operate a command previously assigned to an arbitrary area or part of the actual object,
The eye pointing device and the host computer are communicatively connected, and the GUI image data is projected from the projector unit to a user's field of view.
further,
Target location command is preset for the target location in the actual object,
When the user selects a target location in the actual target with an eye movement command, the host computer compares the image recognition of the image captured by the external camera with the position of the line of sight, and the user intends. The feature is that the target location to be specified is specified.
本発明の実施形態を図示するとともに図中の各要素に付した符号を参照して説明する。
（第１実施形態）
本発明の測定システムに係る第１実施形態について説明する。
図２は、測定システムの全体構成を例示する図である。
測定システムは、測定工具１０と、コンピュータユニット１００と、を具備する。
測定工具１０としては、デジタル式の小型測定器であってもよい。デジタル式の小型測定器としては、デジタルマイクロメータ１０や、デジタルノギス、デジタルダイヤルゲージなどがある。図２中では、デジタルマイクロメータ１０を例示している。
Embodiments of the present invention will be described with reference to the drawings and reference numerals attached to respective elements in the drawings.
(First embodiment)
A first embodiment of the measurement system of the present invention will be described.
FIG. 2 is a diagram illustrating the overall configuration of the measurement system.
The measuring system includes a measuring
The measuring
デジタルマイクロメータ１０は、コンピュータユニット１００と無線接続されている。デジタルマイクロメータ１０は、データ転送ボタン１１を有し、データ転送ボタン１１が押されると、測定値をコンピュータユニット１００に送信する。
The
コンピュータユニット１００は、ホストコンピュータ１１０と、モニタ１２０と、アイポインティングデバイス２００と、を備える。
ホストコンピュータ１１０は、ＣＰＵ、ＲＯＭ、ＲＡＭを有するいわゆるコンピュータである。ホストコンピュータ１１０は、デジタルマイクロメータ１０、モニタ１２０およびアイポインティングデバイス２００と無線で通信接続されている。
ホストコンピュータ１１０は、測定データ管理用プログラムを実行することにより、測定データの収集、記録、編集を行う測定データ管理装置としての役割を果たす。このとき、ホストコンピュータ１１０は、測定データ管理用のＧＵＩ（グラフィカルユーザインターフェース）をモニタ１２０を介してユーザ（測定者）に提供する。ＧＵＩ画面の例としては、例えば図１を参照されたい。
ＧＵＩ画面の操作方法については後述する。
The
The
The
The method of operating the GUI screen will be described later.
モニタ１２０は、ホストコンピュータ１１０から与えられる表示データを画面に表示する。また、モニタ１２０はタッチディスプレイパネルであって、ユーザ（測定者）によるタッチ操作を受け付けて、ホストコンピュータ１１０に転送する。
The
アイポインティングデバイス２００について説明する。
アイポインティングデバイス２００は、大きく２つの機能を有している。
第１の機能は、小型画像投影機（プロジェクションディスプレー）としての機能である。
第２の機能は、視線トラッキングを利用するポインティングデバイスとしての機能である。
具体的に説明する。
The
The
The first function is a function as a small image projector (projection display).
The second function is a function as a pointing device that uses line-of-sight tracking.
This will be specifically described.
アイポインティングデバイス２００は、メガネ部２１０と、表示ユニット部２２０と、アイカメラ２３０と、外部カメラ２４０と、制御部２６０と、を有する。
メガネ部２１０は、略Ｕ字状のフレーム部２１１と、フレーム部２１１に取り付けられたレンズ部２１２と、を有する。フレーム部２１１の両端には、耳に引っ掛かるつる部２１３が設けられている。つる部２１３を耳に引っ掛けてメガネ部２１０を顔に装着すると、眼の真ん前にレンズ部２１２がくるようになっている。
The
The
表示ユニット部２２０は、支持アーム部２２１と、プロジェクター部２２２と、を有する。
支持アーム部２２１の一端はフレーム部２１１の端部に固定されている。支持アーム部２２１の他端は、ユーザ（測定者）の顔の前方に向けて延伸するとともに、ユーザ（測定者）の眼の前に位置するように湾曲している。
The
One end of the
そして、支持アーム部２２１の他端にプロジェクター部２２２が設けられている。プロジェクター部２２２は、画像を投射してユーザ（測定者）に情報を提示する。プロジェクター部２２２は、レンズ部２１２に画像を投影してもよいし、ユーザ（測定者）の網膜で結像するように画像を投射してもよい。
The
このようなプロジェクター部２２２は、例えば、レーザー光源と、マイクロミラーと、で構成できる。マイクロミラーを上下左右に往復駆動させ、レーザー光でフレームを描画する。
ユーザ（測定者）の眼（視界）には、外界の実物からの光と、プロジェクター部２２２からの投射光と、が同時に入ってくる。すると、ユーザ（測定者）の眼（視界）には、外界の実景と、プロジェクター部２２２からの画像情報と、がオーバーレイ（重畳）して見える。
プロジェクター部２２２は、ユーザ（測定者）の両方の眼に情報を提供してもよく、片方の眼だけに情報を提供してもよい。本実施形態では、測定者の片方の眼、ここでは、右眼に情報を提供するように設けられている。
Such a
The light (visual field) of the user (measuring person) simultaneously receives the light from the real world object and the projection light from the
The
アイカメラ２３０は、ユーザ（測定者）の眼を撮像するようにフレーム部２１１に取り付けられている。さらに、アイポインティングデバイス２００は、スイッチ２４２、マイク２４３、外部カメラ２４０を有する。
スイッチ２４２およびマイク２４３は、補助的な入力手段である。また外部カメラ２４０は、ユーザ（測定者）の前方を撮像し、すなわち、ユーザ（測定者）に見えている外界の実像を撮像する。
The
The
図３は、制御部２６０の機能ブロック図である。
制御部２６０は、通信回路部２６１と、画像データ生成部２６２と、アイ画像解析部２６３と、中央処理部２６４と、を有する。
通信回路部２６１は、アンテナを介して、ホストコンピュータ１１０とデータの送受信を行う。アイ画像解析部２６３は、アイカメラ２３０で撮像されるユーザ（測定者）の瞳の動きから、ユーザ（測定者）の視線がどこにあるか特定する。さらに、アイ画像解析部２６３は、アイカメラ２３０で撮像される瞳、眼、あるいはまぶたの動きから、選択操作の有無を判別する。
FIG. 3 is a functional block diagram of the
The
The
中央処理部２６４は、制御部２６０全体の動作を統合的に制御する。
アイポインティングデバイス２００の動作をフローチャートと画像例とを参照しながら説明する。
図４、図５は、アイポインティングデバイス２００の動作を説明するためのフローチャートである。
ユーザは、アイポインティングデバイス２００を使用するにあって、アイポインティングデバイス２００をメガネと同じように顔に装着する。すなわち、つる部２１３を耳に引っ掛けて、レンズ部２１２が眼を覆うようにする。
The
The operation of the
4 and 5 are flowcharts for explaining the operation of the
When using the
さて、アイポインティングデバイス２００の電源がオンになると（ＳＴ１０１）、アイポインティングデバイス２００は、ホストコンピュータ１１０と通信を確立し、ホストコンピュータ１１０からＡＲ−ＧＵＩ画像のデータを取得する（ＳＴ１１０）。本明細書では、アイポインティングデバイス２００によってユーザに提供される画像のことをＡＲ−ＧＵＩ（オーグメンティッドリアリティーグラフィカルユーザインターフェース）画像と称することにする。ＡＲ−ＧＵＩ画像データは、画像データ生成部２６２に一時バッファされる。
Now, when the power of the
画像データ生成部２６２は、ＡＲ−ＧＵＩ画像をプロジェクター部２２２で表示できるようにビデオ信号に変換し、ビデオ信号をプロジェクター部２２２に出力する。すると、プロジェクター部２２２がＡＲ−ＧＵＩ画像を投影し（ＳＴ１２０）、ユーザの眼にＡＲ−ＧＵＩ画像が見えるようになる。
The image
図６は、ユーザの視界の例であり、ＡＲ−ＧＵＩ画像の一例を示す。ユーザの視界には、自分の手、マイクロメータ１０、モニタ１２０といった実物が見えており、さらに、実物の実景に重畳してプロジェクター部２２２によって提供されるＡＲ−ＧＵＩ画像３００が見える。ＡＲ−ＧＵＩ画像３００として、例えば、データ編集用のツールのアイコン３０１−３０８が提供される。
FIG. 6 is an example of the field of view of the user and shows an example of the AR-GUI image. In the field of view of the user, the real thing such as one's hand, the
ここでは、上下左右方向の方向指示アイコン３０１−３０４、実行（エンター）指示アイコン３０５、削除（デリート）指示アイコン３０６、オプションアイコン３０７、データ収集アイコン３０８がある。
方向指示アイコン３０１−３０４でモニタ１２０内のカーソルや選択セルを移動させる。実行指示アイコン３０５、削除アイコン３０６は、データの入力あるいは削除を行う。
オプションアイコン３０７は、例えば、モード切替えやアイコンセットの切替えを指示する。データ収集アイコン３０８は、マイクロメータ１０から測定データの取得を指示する。
Here, there are up/down/left/right direction instruction icons 301-304, an execution (enter)
The cursor or the selected cell in the
The
図６においては、実物であるマイクロメータ１０あるいはモニタ１２０をユーザの顔の正面で捉えたとき、ＡＲ−ＧＵＩ画像３００は、視野の中央領域を避けて、視野の周辺に見えるように配置されている。ここではＡＲ−ＧＵＩ画像３００としての８つのアイコン３０１−３０８は、視野の周辺において円環状に配置されている。
In FIG. 6, when the
さて、アイポインティングデバイス２００は、ＡＲ−ＧＵＩ画像３００を表示したら（ＳＴ１２０）、続いて、アイカメラ２３０を起動してユーザの眼を撮像する（ＳＴ１３０）。
アイカメラ２３０の撮像データはアイ画像解析部２６３に入力される。そして、アイ画像解析部２６３は、アイカメラ２３０の画像からユーザの瞳の動きを解析し（ＳＴ１５０）、ユーザの視線がどこを見ているか特定する。
（なお、ステップＳＴ１４０の説明を飛ばしたが、これは変形例１で後述する。）
After displaying the AR-GUI image 300 (ST120), the
The image data of the
(Note that the description of step ST140 was skipped, but this will be described later in Modification Example 1.)
中央処理部２６４は、ユーザの視線とＡＲ−ＧＵＩ画像３００の位置とを比べて、ユーザがＡＲ−ＧＵＩ画像３００を見ているか否かを判定する（ＳＴ１６０）。
ユーザの視線がＡＲ−ＧＵＩ画像３００から外れていてＡＲ−ＧＵＩ画像３００を見ていない場合（ＳＴ１６０：ＮＯ）、ユーザはＡＲ−ＧＵＩ画像３００以外の何か、例えばマイクロメータ１０やワークＷを見て測定しているということである。
この場合、ポインティングデバイスとしての役割はなく、フローの先頭（ＳＴ１１０）に戻ってＡＲ−ＧＵＩ画像３００の表示を継続する。
The
When the user's line of sight is outside the AR-
In this case, there is no role as a pointing device, and the process returns to the beginning of the flow (ST110) and continues to display the AR-
さて、ユーザの視線がＡＲ−ＧＵＩ画像３００に重なっていて、ユーザがＡＲ−ＧＵＩ画像３００を見ている場合について説明する（ＳＴ１６０：ＹＥＳ）。
ユーザがＡＲ−ＧＵＩ画像３００を見ているということは（ＳＴ１６０：ＹＥＳ）、測定ではなく、データの編集をしたいということである。
ユーザがＡＲ−ＧＵＩ画像３００を見ていると判定される場合（ＳＴ１６０：ＹＥＳ）、中央処理部２６４は、画像データ生成部２６２に視線の位置を通知する。すると、画像データ生成部２６２は、その視線の位置にアイポインタ３９０を表示する（ＳＴ２１０）。
Now, a case where the user's line of sight overlaps the AR-
The fact that the user is looking at the AR-GUI image 300 (ST160: YES) means that he wants to edit the data, not the measurement.
When it is determined that the user is looking at the AR-GUI image 300 (ST160: YES), the
図７にアイポインタ３９０の一例を図示する。
ここでは、アイポインタ３９０は目をモチーフにデザイン化されたものである。もちろん、アイポインタ３９０は、ただの矢印、単純な円や四角といったものでもよい。
ユーザは、選択したいツールのアイコン３０１−３０８を見るように眼球を視野の端の方へ動かす。するとアイポインタ３９０が現れるので、アイポインタ３９０が意図したアイコン３０１−３０８に重なるように眼を動かす。このとき、ユーザは眼球のみを動かせばよいのであって、図７に示すように両手はマイクロメータ１０とワークＷを掴んだままでよい。
FIG. 7 illustrates an example of the
Here, the
The user moves the eyeball toward the edge of the field of view to see the icons 301-308 of the tool that they want to select. Then, the
ユーザは、アイポインタ３９０を意図したアイコン３０１−３０８に重ねておいて、選択操作を行う。
選択操作としては例えばウインクが例として挙げられる。その他、数秒間同じ場所（アイコン）を見つめることを選択操作としてもよい。
ユーザの選択操作（ウインク）は、アイカメラ２３０を介してアイ画像解析部２６３で検出される（ＳＴ２２０：ＹＥＳ）．
アイコン３０１−３０８が選択されたことはアイ画像解析部２６３から中央処理部２６４に通知される。中央処理部２６４は、アイコン選択時（ウインク時）の視線とＡＲ−ＧＵＩ画像３００の各アイコン３０１−３０８の位置とを比べて、ユーザが選択した操作を特定する（ＳＴ２３０）。図７の例でいえば、選択された操作は、カーソル（あるいは選択セル）を下方向へ移動させる操作である。
The user places the
The selection operation may be, for example, wink. Alternatively, the selection operation may be staring at the same place (icon) for several seconds.
The user's selection operation (wink) is detected by the eye
The
中央制御部２６０は、選択された操作を通信回路部２６１を介してホストコンピュータ１１０に通知する（ＳＴ２４０）。すると、ホストコンピュータ１１０は通知された操作を実行する。今回の例でいえば、モニタ１２０の画面中においてカーソル（あるいは選択セル）が下方向に移動する。
The
続いて、例えば、データを削除したければ同じように視線でアイポインタ３９０を移動させて削除アイコン３０６を選択すればよい。
データを上書きしたいのであればマイクロメータ１０のデータ転送ボタン１１を押してもよく、あるいは、眼でデータ収集アイコン３０８を選択してもよい。
いずれにしても、ユーザは、データの記録や編集にあたって、手をマイクロメータ１０およびワークＷから離す必要はなく、目を動かすだけである。データ編集に手を使わなくてよいのであるから測定作業の効率化が図られるのはもちろんである。
さらに、目を使うユーザインターフェースは直観的に誰にでもわかりやすく、操作が簡単である。例えば、同じ操作を複数のフットスイッチの組み合わせで行うとすれば、かなりの訓練が必要になるだろう。
本実施形態の測定システムは、誰にでも使える素晴らしく便利な測定環境を提供できる。
Then, for example, if the user wants to delete the data, he or she may similarly move the
If it is desired to overwrite the data, the
In any case, the user does not have to take his or her hands away from the
In addition, the user interface with eyes is intuitive and easy for anyone to operate. For example, performing the same operation with a combination of multiple foot switches would require considerable training.
The measurement system of the present embodiment can provide a wonderful and convenient measurement environment that can be used by anyone.
（変形例１）
第１実施形態においては、アイポインティングデバイス２００が提供するＡＲ−ＧＵＩ画像３００のアイコン３０１−３０８を視線で操作（選択）する例を説明した。
アイポインティングデバイス２００は、自己が提供するＡＲ−ＧＵＩ画像３００の画像データを保有しているわけであるから、アイカメラ２３０で取得する視線の方向をＡＲ−ＧＵＩ画像データに対比すれば、ユーザが選択したい操作（アイコン３０１−３０８）をＡＲ−ＧＵＩ画像３００のなかから特定できる。
ここで、変形例１としては、アイポインティングデバイス２００のアイポインタ３９０を利用して、モニタ１２０に表示された情報やツールを操作する例を説明する。
(Modification 1)
In the first embodiment, an example has been described in which the
Since the
Here, as a first modified example, an example in which the
図８に例示するように、モニタ１２０画面にはワークＷのＣＡＤデータ、ワークＷ中の測定対象箇所、測定データなどが表示されている。そして、測定作業をしながら測定箇所の指定（あるいは指定の再設定）をしたいとする。
この場合、ユーザは、モニタ１２０の画面を見る。
図４のフローチャートに戻っていただいて、外部カメラ２４０により、ユーザの視界に相当する外界の画像が取り込まれている（ＳＴ１４０）。そして、視線解析（ＳＴ１５０）の結果、ユーザの視線がモニタ１２０画面上にあることが検出される（ＳＴ１７０：ＹＥＳ）。外部カメラ２４０により、ユーザの視界に相当する外界の画像が取り込まれているから（ＳＴ１４０）、中央処理部２６４は、画像認識により、モニタ１２０の位置を特定できる。
たとえば、太い黒枠の内側をモニタ１２０と認識させるようにしてもよい。
As illustrated in FIG. 8, CAD data of the work W, measurement target locations in the work W, measurement data, and the like are displayed on the screen of the
In this case, the user looks at the screen of the
Returning to the flowchart of FIG. 4, the
For example, the inside of the thick black frame may be recognized as the
ユーザの視線がモニタ１２０上にある場合の処理動作を図９のフローチャートを参照しながら説明する。
ユーザの視線がモニタ１２０画面上にあると判定される場合（図４のＳＴ１７０：ＹＥＳ）、中央処理部２６４は画像データ生成部２６２に視線の位置を通知し、画像データ生成部２６２は、その視線の位置にアイポインタ３９０を表示する（ＳＴ３１０）。
図８にアイポインタ３９０の一例を図示する。
ユーザは、意図した測定箇所にアイポインタ３９０が重なるように眼球を動かす。そして、モニタ１２０画面上で所望の測定箇所にアイポインタ３９０が重なったところで選択操作（たとえばウインク）を行う。ユーザの選択操作（ウインク）はアイカメラ２３０を介してアイ画像解析部２６３で検出される（ＳＴ３２０：ＹＥＳ）。
The processing operation when the user's line of sight is on the
When it is determined that the line of sight of the user is on the screen of the monitor 120 (ST170: YES in FIG. 4), the
FIG. 8 illustrates an example of the
The user moves the eyeball so that the
選択操作が検出されると（ＳＴ３２０：ＹＥＳ）、中央処理部２６４は、選択操作時（ウインク時）の視線とモニタ１２０画面との位置関係を解析する（ＳＴ３３０）。
図１０は、外部カメラ２４０画像のなかからモニタ１２０の部分だけを抜き出したものである。
例えば、図１０に示すように、モニタ画面の左下隅を原点とし、モニタ画面の横方向にＸ軸（横軸）をとり、モニタ画面の縦方向にＹ軸（縦軸）をとる。
（ユーザがモニタ１２０に正対していない場合には必要に応じて台形補正などを行えばよい。）モニタ画面中における視線の位置（アイポインタ３９０の位置）を（ｘ，ｙ）とする。また、モニタ画面の横軸をＬ、高さをＨとする。
このとき、モニタ画面中の視線の位置は、（ｘ／Ｌ，ｙ／Ｈ）で表される。
When the selection operation is detected (ST320: YES), the
In FIG. 10, only the portion of the
For example, as shown in FIG. 10, the lower left corner of the monitor screen is the origin, the horizontal direction of the monitor screen is the X axis (horizontal axis), and the vertical direction of the monitor screen is the Y axis (vertical axis).
(When the user is not directly facing the
At this time, the position of the line of sight on the monitor screen is represented by (x/L, y/H).
中央処理部２６４は、このように得られた視線の位置（ｘ／Ｌ，ｙ／Ｈ）をホストコンピュータ１１０に通知する（ＳＴ３４０）。すると、ホストコンピュータ１１０は視線の位置（ｘ／Ｌ，ｙ／Ｈ）と、モニタ画面の表示内容と、を対比して、ユーザが意図する操作（コマンド）を特定する。
今回の例でいえば、モニタ画面中のＣＡＤデータで測定箇所Ｄが選択されたことを特定する。そして、ホストコンピュータ１１０は、指示された操作を実行したり、モニタ１２０の表示を更新したりする。
The
In this example, the CAD data on the monitor screen specifies that the measurement point D is selected. Then, the
さらに、アイポインティングデバイス２００で選択する対象は、ＡＲ−ＧＵＩ画像３００やモニタ１２０上の画像だけに限らず、実際の実物の任意の領域や部位に割り当てられたコマンドであってもよい。
例えば、実際のワークＷ上に測定箇所コマンドを設定しておくとする。
ユーザが実際のワークＷ上の測定箇所を目で選択（見てからウインク）する。（外部カメラ２４０で撮像した画像を画像認識すれば、ワークＷのどの箇所が選択されたかわかる。コマンドが割り当てられた対象物については画像認識できるようにＣＡＤデータ（３ＤＣＡＤデータ）をホストコンピュータに予め記憶させておいてもよい。）
このように実際のワークＷ上で測定箇所を選択したうえで、データ転送ボタン１１を押す。あるいは、データ転送の操作もアイポインティングで行ってもよい。
このような測定作業の手順は自然であり、スムースで効率的な測定ができるようになる。
Furthermore, the target to be selected by the
For example, assume that a measurement point command is set on the actual work W.
The user visually selects (sees and winks) an actual measurement point on the work W. (By recognizing the image captured by the
In this way, the measurement point is selected on the actual work W, and then the
The procedure of such measurement work is natural, and smooth and efficient measurement can be performed.
（変形例２）
次に、図１１を参照して変形例２を説明する。
図１１は、ポータブルアーム型（可搬性多関節形）の三次元測定機２０でワークＷを測定する様子の一例である。このようなアーム形三次元測定機２０にあっては必然的に両手で測定機２０を保持しながら測定作業を行うことになる。この場合、アイポインティングデバイス２００によって提供されるＧＵＩ画像３００およびアイポインタ３９０により、ハンズフリーのデータ編集が可能になる。したがって、ユーザは両手を測定機２０から離す必要はなく、効率よく測定作業を進めることができる。
(Modification 2)
Next, a modified example 2 will be described with reference to FIG.
FIG. 11 shows an example of how the work W is measured by the portable arm type (portable multi-joint type) three-
ここで、第１実施形態においては視界の周辺寄りにＡＲ―ＧＵＩ画像３００が見えるようにしていた。
これに対し、変形例２においては、ワークＷの周囲にＡＲ−ＧＵＩ画像が見えるようにしている。例えば、外部カメラ２４０でユーザの視界を取り込み、画像認識によってワークＷの位置を特定する。そして、ワークＷの周辺にＧＵＩ画像３００を投影する。
これで、ユーザの視界には、ワークＷを囲むようにＧＵＩ画像が見えるようになる。
Here, in the first embodiment, the AR-
On the other hand, in the second modification, the AR-GUI image is visible around the work W. For example, the
With this, in the user's field of view, the GUI image can be seen so as to surround the work W.
測定作業中、ユーザの視線はワークＷに注がれていることが多い。そして、ワークＷから少しだけ視線をずらすとアイポインタ３９０でＡＲ―ＧＵＩ画像３００を用いたデータ編集が可能になる。
During the measurement work, the user's line of sight is often focused on the work W. Then, when the line of sight is slightly shifted from the work W, data editing using the AR-
また、図１１においては、編集ツールのアイコンだけではなくて、モニタ１２０に表示される表示データ、ここでは測定値のデータ（３０９）もＡＲ−ＧＵＩ画像３００として提供される。
これによりユーザはモニタ１２０の画面を見なくても測定作業を進行できるようになる。可搬性の中型測定機２０を使用するときには、ワークＷの測定箇所に応じてユーザ自身の立ち位置や姿勢も変わってくるため、いつもモニタ１２０が見えるとは限らない。
この点、モニタ画面の内容がＡＲ−ＧＵＩ画像３００として提供されれば、ユーザは、モニタ１２０やホストコンピュータ１１０の位置を気にすることなく、自由にポジションを変えながら測定作業を進めることができる。
Further, in FIG. 11, not only the icon of the editing tool but also display data displayed on the
This allows the user to proceed with the measurement work without looking at the screen of the
In this regard, if the contents of the monitor screen are provided as the AR-
また、図１２に示すように、大型の三次元測定機３０を操作するような場合、ユーザは、ジョイスティック等の操作盤３２だけを持ってワークＷに近づいて操作することがある。この場合、ユーザの立ち位置からはモニタ１２０やホストコンピュータ１１０が見えにくいことがある。
この点、アイポインティングデバイス２００によってＡＲ−ＧＵＩ画像３００が提供されるので、ユーザは、モニタ１２０やホストコンピュータ１１０の位置を気にする必要はなくなる。
なお、大型の三次元測定機３０の場合、測定プローブ３１の周囲にＧＵＩ画像が表示されるようにしてもよい。大型の三次元測定機３０の場合、プローブ３１が大きく動くことが多い。そして、ユーザはプローブ３１を目で追いかける。プローブ３１から少しだけ視線を動かすだけでアイポインタ３９０でＧＵＩ画像３００を操作できるようになると極めて便利である。
Further, as shown in FIG. 12, when operating the large-sized coordinate measuring
In this regard, since the AR-
In the case of the large coordinate measuring
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
上記実施形態の説明では、ユーザが視線でアイポインタ３９０を動かし、アイポインタ３９０をアイコンに重ねてツールを選択するとした。
このほか、例えば、眼の動きのパターンとコマンドとを対応付けておき、ジェスチャコントロールのように眼の動きでダイレクトにコマンド入力するようにしてもよい。例えば、視線を上から下、あるいは、右から左に動かすと、選択セルが移動したり、見つめたらモニタの表示を拡大／縮小したり、モニタの端の方に視線を移動させたら上下左右にスクロールするなどが考えられる。
The present invention is not limited to the above-mentioned embodiments, but can be modified as appropriate without departing from the spirit of the present invention.
In the description of the above embodiment, it is assumed that the user moves the
In addition, for example, the eye movement pattern and the command may be associated with each other, and the command may be directly input by the eye movement like gesture control. For example, moving the line of sight from top to bottom or from right to left moves the selected cell, enlarges/reduces the display of the monitor when you gaze, or moves the line of sight toward the edge of the monitor to move up, down, left, or right. It is possible to scroll.
本発明は視線を使ってアイポインタを動かすのであるが、人の視線は非常に素早く揺らぐものである。そこで、アイ画像解析部２６３でユーザ（測定者）の視線がどこにあるか特定するにあたっては、眼の動き検出の感度を下げたり、瞬間的な動きは無視する等のためのフィルタなどを組み込んでもよい。
また、選択操作としてのウインクを"まばたき"と混同しないように、"選択"の意図を持った意図的なウインクと生理的な眼の開閉（まばたき）とを区別するようにする。例えば、ウインクとまばたきとを区別するための判定閾値となる時間を設定するなどの方策が考えられる。
The present invention uses the line of sight to move the eye pointer, but the line of sight of a person fluctuates very quickly. Therefore, in identifying where the eye of the user (measuring person) is in the eye
Also, in order not to confuse winking as a selecting operation with "blinking", an intentional winking with the intention of "selecting" is distinguished from physiological eye opening/closing (blinking). For example, it is conceivable to set a time as a determination threshold value for distinguishing wink from blinking.
１０…マイクロメータ（測定機）、１１…データ転送ボタン、
２０…アーム形三次元測定機、
３０…三次元測定機、３１…プローブ、３２…操作盤、
８０…コンピュータ、
１００…コンピュータユニット、
１１０…ホストコンピュータ、
１２０…モニタ、
２００…アイポインティングデバイス、
２１０…メガネ部、２１１…フレーム部、２１２…レンズ部、２１３…つる部、
２２０…表示ユニット部、２２１…支持アーム部、２２２…プロジェクター部、
２３０…アイカメラ、
２４０…外部カメラ、
２４２…スイッチ、２４３…マイク、
２６０…制御部、
２６１…通信回路部、２６２…画像データ生成部、２６３…アイ画像解析部、２６４…中央処理部、
３００…ＡＲ−ＧＵＩ画像、
３０１−３０８…アイコン、
３９０…アイポインタ。
10... Micrometer (measuring machine), 11... Data transfer button,
20... Arm type CMM,
30... three-dimensional measuring machine, 31... probe, 32... operation panel,
80... computer,
100... computer unit,
110... host computer,
120... monitor,
200... Eye pointing device,
210... Glasses section, 211... Frame section, 212... Lens section, 213... Vine section,
220... Display unit part, 221... Support arm part, 222... Projector part,
230... eye camera,
240... external camera,
242... switch, 243... microphone,
260... control unit,
261... Communication circuit unit, 262... Image data generation unit, 263... Eye image analysis unit, 264... Central processing unit,
300... AR-GUI image,
301-308... icon,
390... Eye pointer.
Claims (6)
ユーザの眼を撮像するように配置されたアイカメラと、
前記アイカメラで撮像された眼の画像であるアイ画像に基づいて、予め決められた眼の動きからコマンド入力操作を認識するアイ画像解析部と、を備える
ことを特徴とするアイポインティングデバイス。 An eye pointing device mounted on a user's face and recognizing a selection of a command in the user's field of view by the movement of the user's eyes,
An eye camera arranged to image the user's eyes,
An eye image analyzing unit that recognizes a command input operation from a predetermined eye movement based on an eye image that is an eye image captured by the eye camera.
前記アイポインティングデバイスは、ユーザの前方であってユーザに見えている外界の実景を撮像する外部カメラを有し、
前記外部カメラで撮像した実景の画像と、前記アイ画像解析部で認識した眼の動きと、を対比し、実際の実物の任意の領域あるいは部位に対して予め割り当てられたコマンドを選択操作する
ことを特徴とするアイポインティングデバイス。 The eye pointing device according to claim 1,
The eye pointing device has an external camera which is in front of the user and captures a real scene of the external world seen by the user,
Comparing the image of the real scene captured by the external camera with the eye movement recognized by the eye image analysis unit, and selecting and operating a command previously assigned to an arbitrary area or site of the actual object. Eye pointing device characterized by.
さらに、ユーザの視界に実景とオーバーレイするようにＧＵＩ（グラフィカルユーザインターフェース）画像を投影するプロジェクター部を備える
ことを特徴とするアイポインティングデバイス。 The eye pointing device according to claim 1 or 2,
The eye pointing device further comprises a projector unit that projects a GUI (Graphical User Interface) image so as to overlay the real scene on the user's field of view.
測定データを外部出力できる測定機と、
測定データ管理用プログラムを実行することにより前記測定機の測定データの収集、記録、編集を行う測定データ管理装置として機能するととともに、測定データ管理用のＧＵＩ画像データをユーザに提供するホストコンピュータと、を具備し、
前記アイポインティングデバイスと前記ホストコンピュータとが通信接続され、
前記測定データ管理用のＧＵＩ画像データが前記プロジェクター部からユーザの視界に投射される
ことを特徴とする測定システム。 An eye pointing device according to claim 3;
A measuring device that can output measurement data externally,
A host computer that functions as a measurement data management device that collects, records, and edits measurement data of the measuring machine by executing a measurement data management program, and that provides a user with GUI image data for measurement data management, Equipped with,
The eye pointing device and the host computer are connected for communication,
The measurement system characterized in that the GUI image data for managing the measurement data is projected from the projector unit into the visual field of the user.
前記測定データ管理用のＧＵＩ画像データには、測定データの収集、記録、編集を行うツールのアイコン画像が複数含まれており、
前記アイコン画像は、ユーザの視界の周辺に配置される
ことを特徴とする測定システム。 The measurement system according to claim 4,
The GUI image data for managing measurement data includes a plurality of icon images of tools for collecting, recording, and editing measurement data,
The measurement system, wherein the icon image is arranged around a user's field of view.
前記測定データ管理用のＧＵＩ画像データには、測定データの収集、記録、編集を行うツールのアイコン画像が複数含まれており、
前記アイコン画像は、測定対象であるワークの周辺、または、測定プローブの周辺に配置される
ことを特徴とする測定システム。 The measurement system according to claim 4,
The GUI image data for managing measurement data includes a plurality of icon images of tools for collecting, recording, and editing measurement data,
The measurement system, wherein the icon image is arranged around a work to be measured or around a measurement probe.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020081086A JP6982656B2 (en) | 2016-02-24 | 2020-05-01 | Eye-pointing system operated by the eye |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016032874A JP6700849B2 (en) | 2016-02-24 | 2016-02-24 | Measuring system |
| JP2020081086A JP6982656B2 (en) | 2016-02-24 | 2020-05-01 | Eye-pointing system operated by the eye |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016032874A Division JP6700849B2 (en) | 2016-02-24 | 2016-02-24 | Measuring system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020123396A true JP2020123396A (en) | 2020-08-13 |
| JP6982656B2 JP6982656B2 (en) | 2021-12-17 |
Family
ID=79169998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020081086A Active JP6982656B2 (en) | 2016-02-24 | 2020-05-01 | Eye-pointing system operated by the eye |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6982656B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114285984A (en) * | 2020-09-27 | 2022-04-05 | 宇龙计算机通信科技(深圳)有限公司 | AR (augmented reality) -glasses-based camera switching method and device, storage medium and terminal |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004301869A (en) * | 2003-03-28 | 2004-10-28 | Takuya Shinkawa | Voice output device and pointing device |
| JP2012008290A (en) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | Spectacle type display device and server |
| US20140237366A1 (en) * | 2013-02-19 | 2014-08-21 | Adam Poulos | Context-aware augmented reality object commands |
-
2020
- 2020-05-01 JP JP2020081086A patent/JP6982656B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004301869A (en) * | 2003-03-28 | 2004-10-28 | Takuya Shinkawa | Voice output device and pointing device |
| JP2012008290A (en) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | Spectacle type display device and server |
| US20140237366A1 (en) * | 2013-02-19 | 2014-08-21 | Adam Poulos | Context-aware augmented reality object commands |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114285984A (en) * | 2020-09-27 | 2022-04-05 | 宇龙计算机通信科技(深圳)有限公司 | AR (augmented reality) -glasses-based camera switching method and device, storage medium and terminal |
| CN114285984B (en) * | 2020-09-27 | 2024-04-16 | 宇龙计算机通信科技(深圳)有限公司 | Camera switching method and device based on AR (augmented reality) glasses, storage medium and terminal |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6982656B2 (en) | 2021-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9323343B2 (en) | Information processing method and information processing apparatus | |
| US20180307396A1 (en) | Operation control device and operation control method | |
| JP6598617B2 (en) | Information processing apparatus, information processing method, and program | |
| US8139087B2 (en) | Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program | |
| US10429941B2 (en) | Control device of head mounted display, operation method and operation program thereof, and image display system | |
| JP4701424B2 (en) | Image recognition apparatus, operation determination method, and program | |
| JP5293154B2 (en) | Head mounted display | |
| EP2287708B1 (en) | Image recognizing apparatus, operation determination method, and program | |
| US10477090B2 (en) | Wearable device, control method and non-transitory storage medium | |
| EP2189835A1 (en) | Terminal apparatus, display control method, and display control program | |
| JP2013069224A (en) | Motion recognition apparatus, motion recognition method, operation apparatus, electronic apparatus, and program | |
| JP6390799B2 (en) | Input device, input method, and program | |
| KR101514170B1 (en) | Input device, input method and recording medium | |
| JP2016208370A (en) | Head mounted display and control method for head mounted display | |
| JP4968922B2 (en) | Device control apparatus and control method | |
| CN108369451B (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
| CN109558004B (en) | Control method and device for human body auxiliary robot | |
| JP2017016599A (en) | Display device, display device control method, and program | |
| JP2017134575A (en) | Display device, control method of display device, and program | |
| JP6638392B2 (en) | Display device, display system, display device control method, and program | |
| JP6982656B2 (en) | Eye-pointing system operated by the eye | |
| JP6700849B2 (en) | Measuring system | |
| KR100749033B1 (en) | A method for manipulating a terminal using user's glint, and an apparatus | |
| JP6740613B2 (en) | Display device, display device control method, and program | |
| CN109551489B (en) | Control method and device for human body auxiliary robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200526 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200526 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210521 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211021 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211119 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6982656 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |