JP2001350578A - Device and method for input control by visual line and recording medium with control program to be inputted by visual line recorded thereon - Google Patents
Device and method for input control by visual line and recording medium with control program to be inputted by visual line recorded thereonInfo
- Publication number
- JP2001350578A JP2001350578A JP2000168406A JP2000168406A JP2001350578A JP 2001350578 A JP2001350578 A JP 2001350578A JP 2000168406 A JP2000168406 A JP 2000168406A JP 2000168406 A JP2000168406 A JP 2000168406A JP 2001350578 A JP2001350578 A JP 2001350578A
- Authority
- JP
- Japan
- Prior art keywords
- user
- dictionary
- image data
- image
- monitor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Accommodation For Nursing Or Treatment Tables (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、プログラムされた
コンピュータによって重度障害者等が意思伝達装置を容
易且つ正確に制御する装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a device for a seriously handicapped person or the like to easily and accurately control a communication device using a programmed computer.
【0002】[0002]
【従来の技術】高齢者人口の増加に伴って病院・家庭で
は、多くの高年齢患者が入院、在宅介護を受けている。
その中でも、難病である筋萎縮性側索硬化症(ALS)
の患者や言語障害等で言葉の発声に障害のある人は、看
護婦、介護者等のコミュニケーションがうまくいかない
場合がよく見られ、双方に不快感・ストレスが残ってし
まうのが現状である。特に、末期のALS患者は、一般
的に目の近辺が一番遅くまで動くとされている。2. Description of the Related Art With the increase of the elderly population, many elderly patients in hospitals and homes are hospitalized and receive home care.
Among them, amyotrophic lateral sclerosis (ALS), which is an intractable disease
It is common to see that patients with speech impairment such as language disorders or the like often have trouble communicating with nurses, caregivers, etc., and at present, discomfort and stress remain on both sides. In particular, ALS patients at the end of life are generally said to move the area near their eyes until the latest.
【0003】従来、視線による意思伝達装置を制御する
装置においては、赤外線を利用して、眼球の注視位置を
検出し制御していた。しかし、使用者が意思伝達装置を
使用している間に、顔が動くことによって、眼球の注視
位置を検出できず、意思伝達装置を制御できないことが
ある。このため、意思伝達装置が誤操作するといった問
題がある。Conventionally, in a device for controlling a communication device based on a line of sight, a gaze position of an eyeball is detected and controlled using infrared rays. However, when the user moves the face while using the communication device, the gaze position of the eyeball may not be detected, and the communication device may not be controlled. For this reason, there is a problem that the intention communication device is erroneously operated.
【0004】また、従来の視線による意思伝達装置を制
御する装置は、比較的大型であり高価である。更に、視
線による意思伝達装置を制御する装置の調整方法と制御
方法が困難であり、ALS患者等が意思伝達装置を容易
且つ正確に制御できる装置が望まれている背景がある。Further, a conventional device for controlling a communication device based on a line of sight is relatively large and expensive. Furthermore, it is difficult to adjust and control a device that controls a communication device based on a line of sight, and there is a need for a device that allows an ALS patient or the like to easily and accurately control the communication device.
【0005】[0005]
【発明が解決しようとする課題】本発明は、ALS患者
等が意思伝達装置を使用している際、顔が動くことによ
って、眼球の注視位置が検出できない状況をなくし、意
思伝達装置が誤操作しないようにする。また、制御装置
の小型化と経済性の優れたものとする。SUMMARY OF THE INVENTION The present invention eliminates a situation in which an ALS patient or the like uses a communication device to detect a gaze position of an eyeball due to a movement of a face, and does not operate the communication device incorrectly. To do. Further, the control device is made smaller and more economical.
【0006】[0006]
【課題を解決するための手段】そこで、本発明では、視
線を利用して意思伝達装置を使用する際には誤操作せ
ず、容易且つ正確に制御できる装置とした。また、該装
置は小型で経済性の優れたものとした。Therefore, in the present invention, there is provided a device which can be easily and accurately controlled without erroneous operation when using a communication device utilizing a line of sight. Further, the apparatus was small in size and excellent in economy.
【0007】具体的には、使用者の顔をデータとして読
み込む際に使用する方法を赤外線からCCDカメラとし
た。また、顔の画像データ量(眼球の位置だけではなく
顔の位置、向き、視線方向などとした)を増やした。更
に、予めモニターを分割化して使用者がどの部分を見て
いたか認識させ画像としてデータ化(辞書)し、実際に
使用時には使用者がどのキーを見ているかを辞書から画
像データを選定させることで誤操作をなくし、小型化を
実現し、経済性の優れたものとする。More specifically, a CCD camera is used as a method for reading a user's face as data from infrared rays. In addition, the image data amount of the face (not only the position of the eyeball but also the position, orientation, gaze direction, etc. of the face) was increased. Furthermore, the monitor is divided in advance so that the user can see which part the user is looking at, and convert the data into an image (dictionary). At the time of actual use, the user can select the image data from the dictionary which key the user is looking at. In this way, erroneous operation is eliminated, miniaturization is realized, and excellent economy is achieved.
【0008】意思伝達装置を容易且つ正確に、視線によ
る指示入力し制御する具体的な手順は以下の通りであ
る。予め意思伝達装置のモニターを分割化し、使用者に
分割箇所の一つ一つの箇所を見てもらい、その都度CC
Dカメラによって使用者の画像(顔の位置、向き、視線
方向)を読み込み認識させデータ化(辞書)しておく。
意思伝達装置の使用時には、CCDカメラによって使用
者の画像データを読み取り、実際に使用者が操作する上
で前記モニター上のキーを見た画像と予め画像データ化
しておいた辞書とを比較して辞書の中から類似した画像
データを選出し、選出した画像データと対応した箇所に
録音されている会話の発声と操作手順を実行する。A specific procedure for easily and accurately inputting and controlling an instruction based on a line of sight of a communication device is as follows. Divide the monitor of the communication device in advance and ask the user to see each of the divisions, and
The user's image (face position, orientation, line-of-sight direction) is read and recognized by the D camera and converted into data (dictionary).
At the time of use of the communication device, the image data of the user is read by the CCD camera, and when the user actually operates, the image of the key on the monitor is compared with a dictionary which has been converted into image data. A similar image data is selected from the dictionary, and a conversation recorded in a location corresponding to the selected image data and an operation procedure are executed.
【0009】[0009]
【発明の実施の形態】発明の実施の形態を実施例に基づ
き説明する。図1に本発明における視線による入力制御
装置の概略を示す。1はコンピュータ、2は制御BO
X、3はCCDカメラである。意思伝達装置を操作する
際、CCDカメラ3で読み込んだ画像データは制御BO
X2を介し、コンピュータ1でデータ処理して該意思伝
達装置を操作する。DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the present invention will be described based on examples. FIG. 1 schematically shows an input control device based on a line of sight in the present invention. 1 is a computer, 2 is a control BO
X and 3 are CCD cameras. When operating the communication device, the image data read by the CCD camera 3 is controlled by the control BO.
Through X2, the computer 1 processes data to operate the communication device.
【0010】図2に意思伝達装置のモニター上の配列を
示す。モニターに表示される会話、操作手順等が入力さ
れてキーは、キー1からキー12まであり、この該キー
を見つめ(キーの移動)、ホールドもしくは瞬きをする
(キーの確定)ことによって音声が発生するようになっ
ている。また、前記意思伝達装置の操作をすることもで
きるようになっている。FIG. 2 shows an arrangement of a communication device on a monitor. Keys from keys 1 to 12 are input when a conversation, an operation procedure, and the like displayed on the monitor are input, and the sound is obtained by staring at the key (moving the key), holding or blinking (determining the key). Is to occur. Further, the user can operate the communication device.
【0011】実施例を具体的に説明する。初めに、事前
準備として使用者がモニターのどの箇所を見つめている
かをコンピュータ1が判定するために、画像のデータ化
(辞書)をしておく。手順としては、意思伝達装置モニ
ター上の任意の点を数秒間、使用者に順次見てもらい、
その都度、使用者が任意の点を見た時の画像(顔の位
置、向き、視線方向などの情報)をCCDカメラ3によ
って読み取り、制御BOX2を介し、前記コンピュータ
1に認識させて、使用者の画像を予め辞書として該コン
ピュータ1に保存する。図3には辞書を作成する際に使
用する画面の任意の点を示したものである。前記CCD
カメラ3からの読み取り方法の詳細は、次の通りであ
る。前記意思伝達装置のモニターを分割させ、使用者が
X方向、Y方向に分けた任意の点(27×17、任意の
点の数は変更することが可能となっている)を見た際の
画像を読み取る。An embodiment will be specifically described. First, as preparation, the computer 1 converts the image into a data dictionary (dictionary) so that the computer 1 determines which part of the monitor the user is looking at. The procedure is to have the user look at any point on the communication device monitor for several seconds,
In each case, an image (information on the face position, orientation, line-of-sight direction, etc.) when the user sees an arbitrary point is read by the CCD camera 3 and is recognized by the computer 1 via the control BOX 2, Are stored in the computer 1 as a dictionary in advance. FIG. 3 shows an arbitrary point on a screen used when creating a dictionary. The CCD
The details of the method of reading from the camera 3 are as follows. When the monitor of the communication device is divided and the user sees an arbitrary point (27 × 17, the number of arbitrary points can be changed) divided in the X direction and the Y direction. Read the image.
【0012】次いで、使用者がモニターのどの箇所を見
つめているか読み取る。手順としては、実際に意思伝達
装置を操作する時、使用者はモニターに表示されている
会話(絵模様、絵文字を含む)、操作するための手順等
が入力されているキーを見つめ、この該キーを使用者が
見つめた時の画像(顔の位置、向き、視線方向などの情
報)をCCDカメラ3によって読み取り、制御BOX2
を介し、コンピュータ1に認識させる。Next, the user reads which part of the monitor the user is looking at. As a procedure, when actually operating the communication device, the user looks at the conversation (including pictograms and pictograms) displayed on the monitor, and looks at the key on which the procedure for operation and the like have been input. An image (information on the face position, direction, line of sight, etc.) when the user looks at the key is read by the CCD camera 3 and the control box 2
Through the computer 1.
【0013】次いで、実際に使用者がどの箇所を見つめ
ているかを判定する。意思伝達装置を操作するために、
キーを見つめている使用者をCCDカメラ3によって読
み取り、コンピュータ1に認識させた画像と該コンピュ
ータ1に予め辞書として保存してある使用者の画像デー
タ(顔の位置、向き、視線方向などの情報)とを照合
し、類似した画像を辞書の中から選出する(判定)。Next, it is determined which part the user is actually looking at. To operate the communication device,
The user looking at the key is read by the CCD camera 3 and the image recognized by the computer 1 and the image data of the user stored in the computer 1 in advance as a dictionary (information on the face position, direction, line of sight, etc.) ) Is selected and a similar image is selected from the dictionary (determination).
【0014】次いで、使用者が見つめている箇所のキー
を操作する。予めコンピュータ1に保存された辞書から
選出した画像データと対応した箇所(意思伝達装置のモ
ニター上)のキーには、既に録音されている会話と操作
するための手順等が入力されている。前記キーの操作
は、該キーを見つめることで移動の動作、ホールドもし
くは瞬きをすることで確定の動作となっている。Next, the user operates the key at the position where the user is looking. Keys at locations (on the monitor of the communication device) corresponding to the image data selected from the dictionary stored in the computer 1 in advance are input with a procedure for operating a conversation that has already been recorded. The operation of the key is a movement operation by staring at the key, and a fixed operation by holding or blinking.
【0015】次いで、使用者が見つめている箇所のキー
を実行する。既に録音されている会話及び操作するため
の手順等が入力されている前記キーを移動動作と確定動
作によって実行する。会話キーを確定した場合には、使
用者が確定した会話の音声が発生し、操作手順等キーを
確定した場合には、使用者が確定した操作するうえで必
要な手順等の操作が進められる。Next, the key of the place where the user is staring is executed. The key in which the recorded conversation, the procedure for operation, and the like are input is executed by a moving operation and a fixing operation. When the conversation key is determined, the voice of the conversation determined by the user is generated, and when the key such as the operation procedure is determined, operations such as procedures necessary for the user to perform the determined operation are performed. .
【0016】移動は、意思伝達装置のモニター上のキー
を見つめることで、色のついたカーソル(例えば、キー
を囲んだ枠等)を自在に動かすことができる。確定は、
前記意思伝達装置のモニター上のキーを見つめ、数秒間
のホールドもしくは瞬きをすることで動作する。The user can move the colored cursor (for example, a frame surrounding the key) freely by looking at the key on the monitor of the communication device. Confirmation is
It operates by staring at a key on the monitor of the communication device and holding or blinking for several seconds.
【0017】使用者の顔が動いて眼球の注視位置が検出
できない状況から生じる誤操作を防ぐために、CCDカ
メラ3によって対象物(顔)の追跡するようになってい
る。これは前記CCDカメラ3によって顔等の情報を読
み取る過程で、対象物(顔)付近に毎回データ読み取り
の枠を設け、使用者の顔が動いて誤操作しないようにし
たものである。The object (face) is tracked by the CCD camera 3 in order to prevent an erroneous operation caused by a situation where the user's face moves and the gaze position of the eyeball cannot be detected. In the process of reading information such as a face by the CCD camera 3, a frame for reading data is provided every time near an object (face) so that the user's face moves and no erroneous operation is performed.
【0018】以上、本発明である視線による入力制御装
置及び方法並びに視線により入力させる制御プログラム
を記録した記録媒体について述べたが、ハード構成を新
しくして、介護・看護用のベッドスペースを従来に比較
して、有効に活用できることは勿論である。The input control apparatus and method based on the line of sight according to the present invention and the recording medium storing the control program to be input by the line of sight according to the present invention have been described above. Of course, it can of course be used more effectively.
【0019】[0019]
【発明の効果】本発明は上述の方法及び装置とすること
で、以下に記載されるような効果を奏する。The present invention has the following effects by using the above-described method and apparatus.
【0020】顔のデータを読み込む際に使用する方法を
赤外線からCCDカメラにしたことで、視線による入力
制御装置の小型化を実現した。更に、従来は高価で購入
し難かった前記装置を購入のし易い経済性の優れたもの
となった。The use of a CCD camera instead of infrared rays for reading face data has made it possible to reduce the size of the line-of-sight input control device. Furthermore, the above-mentioned apparatus which was conventionally expensive and was difficult to purchase has become excellent in economical efficiency and easy to purchase.
【0021】また、ALS患者を含む重度障害者は、視
線により意思伝達装置を制御する装置の調整方法、制御
方法が困難であったが、アルゴリズム及びハード構成を
新しくすることで、該意思伝達装置を容易且つ正確に制
御できる。In addition, it has been difficult for a severely disabled person including an ALS patient to adjust and control a device for controlling a communication device based on his / her line of sight. Can be controlled easily and accurately.
【0022】データ量は眼球の位置だけではなく、顔の
位置、向き、視線方向などとして増やし、更に、予め使
用者がどの部分を見ていたか認識させ画像としてデータ
化(辞書)し、実際に使用時には使用者がどのキーを見
ているかを辞書から画像データを選定させることによっ
て、従来は問題となっていた誤操作をなくすことができ
る。The amount of data is increased not only in the position of the eyeball but also in the position, orientation, line of sight, etc. of the face. Further, the user is made to recognize in advance what part the user is looking at, and the data is converted into an image (dictionary). At the time of use, by selecting image data from the dictionary to determine which key the user is looking at, it is possible to eliminate the erroneous operation which has conventionally been a problem.
【0023】また、従来は顔が動いて眼球の注視位置が
検出できない状況であったが、CCDカメラによって対
象物(顔等の情報)の追跡をする機能を付加させること
で、誤操作をなくすことができる。Conventionally, the face was moved and the gaze position of the eyeball could not be detected. However, by adding a function of tracking an object (information such as a face) by a CCD camera, erroneous operation can be eliminated. Can be.
【0024】即ち、視線により入力して意思伝達を正確
に、また、操作性を簡易ににすることは、障害者と看護
婦、介護者等のコミュニケーションが良好となり、従来
から双方に蓄積されていた不快感・ストレス(伝達され
ないというイライラ感)を軽減させ、看護介護業務の効
率化を手助けする効果も奏する。In other words, accurate communication and simple operability by inputting information through the line of sight improve communication between a disabled person, a nurse, a caregiver, and the like, and have been conventionally accumulated on both sides. It also has the effect of reducing discomfort and stress (irritation of not being transmitted) and helping to improve the efficiency of nursing and nursing work.
【図1】本発明の視線による入力制御装置を示す概略図
である。FIG. 1 is a schematic diagram showing an input control device based on a line of sight of the present invention.
【図2】本発明の視線による入力制御装置によって動作
させる意思伝達装置の画面の説明図である。FIG. 2 is an explanatory diagram of a screen of a communication device operated by the input control device based on the line of sight of the present invention.
【図3】本発明の視線による入力制御装置の辞書を作成
する際に使用する画面の任意の点を示した説明図であ
る。FIG. 3 is an explanatory diagram showing arbitrary points on a screen used when creating a dictionary of the input control device based on the line of sight of the present invention.
Claims (3)
重度障害者等が意思伝達装置を容易且つ正確に制御する
装置であって、予め使用者に該意思伝達装置のモニター
の任意の点を順次見てもらい、その都度、任意の点を見
た使用者の画像(顔の位置、向き、視線方向などの情
報)をCCDカメラによって読み取り認識させデータ化
(辞書)しておく手段と、操作する際の使用者の画像を
CCDカメラによって読み取る手段と、使用者が操作す
るために該モニターのキーを見つめた時の画像と予めデ
ータ化しておいた辞書の中の画像データを比較して辞書
の中から類似した画像データを選出する手段と、選出し
た画像データと対応した箇所に録音されている会話の発
声と操作手順を実行させる手段とを備えたことを特徴と
する視線による入力制御装置。An apparatus for a severely handicapped person or the like to easily and accurately control a communication device by using a programmed computer, in which a user previously views arbitrary points on a monitor of the communication device, Means for reading and recognizing a user's image (information on the face position, direction, line of sight, etc.) at any point by a CCD camera and converting the image into a dictionary (dictionary); Means for reading the image of the monitor by the CCD camera, and comparing the image when the user looks at the key of the monitor with the image data in the dictionary which has been previously converted to a similar one from the dictionary. An input control by gaze, comprising: means for selecting image data; and means for executing a speech and operating procedure recorded in a conversation corresponding to the selected image data. Control device.
重度障害者等が意思伝達装置を容易且つ正確に制御する
装置であって、予め使用者に該意思伝達装置のモニター
の任意の点を順次見てもらい、その都度、任意の点を見
た使用者の画像(顔の位置、向き、視線方向などの情
報)をCCDカメラによって読み取り認識させデータ化
(辞書)しておく工程と、操作する際の使用者の画像を
CCDカメラによって読み取る工程と、使用者が操作す
るために該モニターのキーを見つめた時の画像と予めデ
ータ化しておいた辞書の中の画像データを比較して辞書
の中から類似した画像データを選出する工程と、選出し
た画像データと対応した箇所に録音されている会話の発
声と操作手順を実行させる工程を含むことを特徴とする
視線による入力制御方法。2. A device for a severely disabled person or the like to easily and accurately control a communication device by using a programmed computer, wherein a user sequentially views arbitrary points on a monitor of the communication device in advance. In each case, a process of reading and recognizing a user's image (information on the face position, orientation, line-of-sight direction, etc.) looking at an arbitrary point with a CCD camera and converting the data into a dictionary (dictionary); Reading the image with a CCD camera, and comparing the image when the user stares at the key of the monitor with the image data in the dictionary that has been previously converted to a similar one from the dictionary. An input control method based on a line of sight including a step of selecting image data and a step of uttering a conversation recorded in a location corresponding to the selected image data and executing an operation procedure. Law.
思伝達装置を容易且つ正確に制御するための制御プログ
ラムを記録した記録媒体であって、該制御プログラム
は、予め使用者に該意思伝達装置モニターの任意の点を
順次見てもらい、その都度、任意の点を見た使用者の画
像(顔の位置、向き、視線方向などの情報)をCCDカ
メラによって読み取り認識させデータ化(辞書)してお
く。操作する際にはCCDカメラによって使用者の画像
データを読み取り、実際に使用者が操作する上で該モニ
ターのキーを見つめた時の画像と予めデータ化しておい
た辞書の中の画像データを比較して辞書の中から類似し
た画像データを選出し、選出した画像データと対応した
箇所に録音されている会話の発声と操作手順を実行させ
ることを特徴とする視線により指示入力できる制御プロ
グラムを記録した記録媒体。3. A recording medium storing a control program for a person with a serious disability or the like to easily and accurately control a communication device by a computer, wherein the control program is provided to a user in advance for monitoring the communication device monitor. Each point is sequentially viewed, and each time the user sees the arbitrary point (information on the face position, orientation, line-of-sight direction, etc.) is read and recognized by a CCD camera and is converted into data (dictionary). . At the time of operation, the image data of the user is read by the CCD camera, and the image when the user looks at the key of the monitor when the user actually operates is compared with the image data in the dictionary which has been converted into data in advance. A control program that allows the user to input instructions by line of sight, by selecting similar image data from the dictionary and executing the utterance and operation procedure of the conversation recorded at the location corresponding to the selected image data Recording medium.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000168406A JP2001350578A (en) | 2000-06-06 | 2000-06-06 | Device and method for input control by visual line and recording medium with control program to be inputted by visual line recorded thereon |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000168406A JP2001350578A (en) | 2000-06-06 | 2000-06-06 | Device and method for input control by visual line and recording medium with control program to be inputted by visual line recorded thereon |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001350578A true JP2001350578A (en) | 2001-12-21 |
Family
ID=18671414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000168406A Pending JP2001350578A (en) | 2000-06-06 | 2000-06-06 | Device and method for input control by visual line and recording medium with control program to be inputted by visual line recorded thereon |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001350578A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003260093A (en) * | 2002-03-11 | 2003-09-16 | Hitachi Electronics Service Co Ltd | Communicating system for nurse station by sight input |
JP2005100366A (en) * | 2003-08-18 | 2005-04-14 | Yamaguchi Univ | Visual line input communication method using eyeball motion |
JP2005327054A (en) * | 2004-05-13 | 2005-11-24 | Toshiba Corp | Display device with sound output |
JP2006095208A (en) * | 2004-09-30 | 2006-04-13 | Sophia Co Ltd | Game machine |
JP2006338493A (en) * | 2005-06-03 | 2006-12-14 | Nippon Telegr & Teleph Corp <Ntt> | Method, device, and program for detecting next speaker |
JP2013254470A (en) * | 2012-06-05 | 2013-12-19 | Utechzone Co Ltd | Two-way eye-motion communication system |
JP2014049109A (en) * | 2012-08-29 | 2014-03-17 | Utechzone Co Ltd | Eye control communication system |
WO2014061916A1 (en) * | 2012-10-19 | 2014-04-24 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
JP2015103152A (en) * | 2013-11-27 | 2015-06-04 | 京セラ株式会社 | Electronic apparatus and visual line input method |
JP2015156201A (en) * | 2014-01-17 | 2015-08-27 | カシオ計算機株式会社 | Electronic apparatus and system, method, and program |
-
2000
- 2000-06-06 JP JP2000168406A patent/JP2001350578A/en active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003260093A (en) * | 2002-03-11 | 2003-09-16 | Hitachi Electronics Service Co Ltd | Communicating system for nurse station by sight input |
JP2005100366A (en) * | 2003-08-18 | 2005-04-14 | Yamaguchi Univ | Visual line input communication method using eyeball motion |
JP2005327054A (en) * | 2004-05-13 | 2005-11-24 | Toshiba Corp | Display device with sound output |
JP4640926B2 (en) * | 2004-09-30 | 2011-03-02 | 株式会社ソフイア | Game machine |
JP2006095208A (en) * | 2004-09-30 | 2006-04-13 | Sophia Co Ltd | Game machine |
JP2006338493A (en) * | 2005-06-03 | 2006-12-14 | Nippon Telegr & Teleph Corp <Ntt> | Method, device, and program for detecting next speaker |
JP4585380B2 (en) * | 2005-06-03 | 2010-11-24 | 日本電信電話株式会社 | Next speaker detection method, apparatus, and program |
JP2013254470A (en) * | 2012-06-05 | 2013-12-19 | Utechzone Co Ltd | Two-way eye-motion communication system |
JP2014049109A (en) * | 2012-08-29 | 2014-03-17 | Utechzone Co Ltd | Eye control communication system |
WO2014061916A1 (en) * | 2012-10-19 | 2014-04-24 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
US9524023B2 (en) | 2012-10-19 | 2016-12-20 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
JP2015103152A (en) * | 2013-11-27 | 2015-06-04 | 京セラ株式会社 | Electronic apparatus and visual line input method |
JP2015156201A (en) * | 2014-01-17 | 2015-08-27 | カシオ計算機株式会社 | Electronic apparatus and system, method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3673834B2 (en) | Gaze input communication method using eye movement | |
JP3837505B2 (en) | Method of registering gesture of control device by gesture recognition | |
JP6904254B2 (en) | Surgical controls, surgical controls, and programs | |
JPH0476698A (en) | Picture monitoring device | |
US6426740B1 (en) | Visual-axis entry transmission apparatus and method therefor | |
JP2000138858A (en) | Electronic camera system | |
JP6291303B2 (en) | Communication support robot system | |
WO2017061293A1 (en) | Surgical operation system, surgical operation control device, and surgical operation control method | |
CN107910073A (en) | A kind of emergency treatment previewing triage method and device | |
JP2001350578A (en) | Device and method for input control by visual line and recording medium with control program to be inputted by visual line recorded thereon | |
KR20070029794A (en) | A method and a system for communication between a user and a system | |
JPH04372012A (en) | Input device | |
JP2018107603A (en) | Sensor information acquisition device, sensor information acquisition method, sensor information acquisition program and medical instrument | |
KR20210141197A (en) | Method, apparatur, computer program and computer readable recording medium for providing augmented reality interface for telemedicine | |
JP2019086858A (en) | Customer service system and customer service method | |
Battina et al. | Innovative study of an AI voice-based smart Device to assist deaf people in understanding and responding to their body language | |
Simionescu et al. | Prehospital cerebrovascular accident detection using artificial intelligence powered mobile devices | |
JP2006055388A (en) | Remote support system for nursing care | |
JP2002236957A (en) | Electronic voting device, and electronic voting system | |
JP2002269544A (en) | Character input device using shape recognition of eye movement and mouth | |
JPH1039995A (en) | Line-of-sight/voice input device | |
JPH1173273A (en) | Inputting device for physically handicapped person | |
JPH10145852A (en) | Portable information transmitter | |
US20240238983A1 (en) | Control device, control method, and non-transitory recording medium | |
EP3926642A1 (en) | Dynamic positioning for a virtual display |