JP2003108923A - Character information inputting device, character information inputting method, and recording medium - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a device capable of quickly, surely and easily inputting character information and suitably usable as a wearable or portable terminal device especially. SOLUTION: An image is photographed by an image inputting part 104, the positions of a hand and a finger and the posture of a user are recognized by a finger image recognition function 300, and an image area is found by a symbol position deciding function 301 and an area designation function 302. From an image inside the found image area, a character is recognized by a character recognition function 303, and if the character is recognized, the recognized character is confirmed, selected, and corrected. Character code data of the recognized character are stored in a storage part 101, and the stored character code data are transferred to an OS or application.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、コンピュータの文
字情報入力装置に関し、特に、着用型コンピュータ、携
帯型コンピュータ、携帯電話、ＰＤＡ、リモコン、デジ
タルカメラなどの装置のための文字情報入力装置および
文字情報入力方法並びに文字情報入力方法をコンピュー
タにより機能させるためのプログラムを記録した記録媒
体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a character information input device for a computer, and more particularly to a character information input device and characters for a wearable computer, a portable computer, a mobile phone, a PDA, a remote controller, a digital camera and the like. The present invention relates to a recording medium having recorded therein a program for causing a computer to perform the information input method and the character information input method.

【０００２】[0002]

【従来の技術】従来、コンピュータに文字や操作のため
のコマンドを入力するために、もっぱら、QWERTYキーボ
ードに代表されるキーボード装置や、マウス、トラック
ボール、タッチパッドなどのポインティング装置など卓
上で使用することを前提とした入力装置を用いた文字情
報入力方法や、文字を読み上げて、マイクで音声を録音
し、音声認識により文字情報を得ることを特徴とする文
字情報入力方法が用いられている。2. Description of the Related Art Conventionally, a keyboard device typified by a QWERTY keyboard or a pointing device such as a mouse, a trackball, or a touch pad is used exclusively on a desktop for inputting characters and commands for operation to a computer. There is used a character information input method using an input device that is premised on the above, or a character information input method characterized by reading a character, recording voice with a microphone, and obtaining character information by voice recognition.

【０００３】特に、着用型コンピュータ、携帯型コンピ
ュータ、携帯電話、ＰＤＡ、家電のリモコン、デジタル
カメラなどの携帯端末（携帯装置）に文字や操作のため
のコマンドを入力するためには、テンキーに代表される
十数個のキーからなる携帯キーボード装置、ボタン装
置、ジョグシャトル装置、ダイヤル装置、タブレット装
置、ペン装置など携帯して使用することを前提とした入
力装置を用いた文字情報入力方法が用いられている。In particular, in order to input characters and commands for operation to portable terminals (portable devices) such as wearable computers, portable computers, mobile phones, PDAs, remote controls for home appliances, and digital cameras, a numeric keypad is typical. A character information input method using an input device that is supposed to be carried around, such as a portable keyboard device, a button device, a jog shuttle device, a dial device, a tablet device, a pen device, etc. Has been.

【０００４】[0004]

【発明が解決しようとする課題】しかしながら、このよ
うに、前記卓上で使用することを前提とした入力装置を
用いた従来の文字情報入力方法を用いて文字や操作のた
めのコマンドを迅速にしかも確実にかつ簡単に入力する
ためには、該装置および該方法を長期間使用し使用技術
を習得する必要がある。However, as described above, the conventional character information input method using the input device premised to be used on the desk is used to promptly issue a command for a character or an operation. In order to input reliably and easily, it is necessary to use the apparatus and the method for a long period of time and to acquire a use technique.

【０００５】また、移動時、外出時、歩行と一時停止を
繰り返しながらの行動時、作業時などにおいては、前記
卓上で使用することを前提とした入力装置を携帯および
使用することは困難である。Further, it is difficult to carry and use the input device premised to be used on the table when moving, going out, acting while repeating walking and pausing, and working. .

【０００６】さらに、前記携帯して使用することを前提
とした入力装置を用いた文字情報入力方法では、その使
用技術を習得しても、キーの数の少なさや装置の持ちづ
らさなどが要因となる入力速度の物理的限界により、文
字や操作のためのコマンドを迅速にしかも確実にかつ簡
単に入力することは困難である。Further, in the character information inputting method using the input device which is supposed to be carried and used, the number of keys and the difficulty of holding the device are factors even if the use technique is learned. Due to the physical limitation of the input speed, it is difficult to input characters and commands for operations quickly, reliably and easily.

【０００７】さらに、前記携帯して使用することを前提
とした入力装置をポケットやかばんなどに収納してある
場合、例えば入力する文字数やコマンド数が少ないとし
ても、使用前に該入力装置を取り出す必要があるため、
それを迅速にしかも確実にかつ簡単に入力することは困
難である。Further, when the input device intended to be carried and used is stored in a pocket, a bag or the like, for example, even if the number of characters or commands to be input is small, the input device is taken out before use. Because you need
It is difficult to enter it quickly, reliably and easily.

【０００８】また、前期音声認識を用いた文字情報入力
方法は、周辺が騒がしい場合、または逆に周辺が静かで
声を出しづらい場合、または読み方がわからない場合に
文字を読み上げることができない。In the character information input method using the voice recognition in the previous term, the characters cannot be read aloud when the surroundings are noisy, on the contrary, when the surroundings are quiet and it is difficult to speak out, or when the reading is unknown.

【０００９】本発明は、上述の点に鑑みてなされたもの
で、その目的は、従来の卓上で使用または携帯して使用
することを前提とした入力装置または音声認識による文
字情報入力方法を用いるばかりではなく、カメラおよび
表示器および使用者の手と指を用いて、屋内や屋外に表
記の文字または手書きの文字を文字コードデータに変換
することで、文字情報を迅速にしかも確実にかつ簡単に
入力できるコンピュータの文字情報入力装置、特に、着
用型コンピュータ、携帯型コンピュータ、携帯電話、Ｐ
ＤＡ、リモコン、デジタルカメラなどの装置のための文
字情報入力装置および文字情報入力方法並びに文字情報
入力方法をコンピュータにより機能させるためのプログ
ラムを記録した記録媒体を提供することにある。The present invention has been made in view of the above points, and an object thereof is to use an input device or a character information input method by voice recognition, which is premised to be used on a desk or carried around. Not only that, by using the camera and display and the hands and fingers of the user to convert the characters written or handwritten indoors or outdoors into character code data, the character information can be quickly, reliably and easily. Character information input device for computer, especially wearable computer, portable computer, mobile phone, P
It is an object to provide a character information input device and a character information input method for a device such as a DA, a remote controller, and a digital camera, and a recording medium recording a program for causing the computer to perform the character information input method.

【００１０】[0010]

【課題を解決するための手段】上記目的を達成するため
に、請求項１の文字情報入力装置の発明は、カメラから
撮影画像を入力する画像入力手段と、表示器の画面に画
像を表示する画像表示手段と、前記撮影画像に写された
手と指の位置および指示姿勢および選択姿勢を認識する
手指画像認識手段と、該手指画像認識手段で認識された
手と指の位置および姿勢に基づいてカーソルやポインタ
などで表現される指示記号および選択記号の前記表示器
の画面上での位置を決定する記号位置決定手段と、該記
号位置決定手段で決定された前記表示器の画面上での位
置に前記指示記号を表示する指示記号表示手段と、前記
指示姿勢および前記選択姿勢により画像範囲を指定する
範囲指定手段と、該範囲指定手段で指定された範囲の画
像から文字を認識する文字認識手段と、該文字認識手段
で認識した文字を文字コードデータに変換する文字コー
ドデータ変換手段と、該文字コードデータ変換手段で変
換された文字コードデータを記憶媒体に記憶する文字コ
ードデータ記憶手段とを具備することを特徴とする。In order to achieve the above object, the invention of the character information input device according to claim 1 displays an image on a screen of a display and image input means for inputting a photographed image from a camera. An image display means, a finger image recognition means for recognizing the positions and pointing postures and selected postures of the hands and fingers shown in the photographed image, and based on the positions and postures of the hands and fingers recognized by the finger image recognition means. Symbol position determining means for determining the position on the screen of the display device of the indicator symbol and the selection symbol represented by a cursor or a pointer, and on the screen of the display device determined by the symbol position determining device. A pointing symbol display means for displaying the pointing symbol at a position, a range designating means for designating an image range by the pointing posture and the selection posture, and a character is recognized from an image in the range designated by the range designating means. Character recognition means, character code data conversion means for converting the characters recognized by the character recognition means into character code data, and character code data for storing the character code data converted by the character code data conversion means in a storage medium And a storage unit.

【００１１】さらに、前記画像入力手段で入力された前
記撮影画像を圧縮または非圧縮で無線または有線の通信
回路を介して送信する入力画像送信手段と、該圧縮また
は非圧縮画像を受信し圧縮画像の場合は展開する入力画
像受信手段とを有することができる。Further, an input image transmitting means for transmitting the photographed image input by the image input means in a compressed or non-compressed manner via a wireless or wired communication circuit, and a compressed image for receiving the compressed or non-compressed image. In this case, the input image receiving means for expanding may be provided.

【００１２】さらに、前記範囲指定手段で指定された範
囲の画像を圧縮または非圧縮で無線または有線の通信回
路を介して送信する範囲画像送信手段と、該圧縮または
非圧縮範囲画像を受信し圧縮画像の場合は展開する範囲
画像受信手段とを有することができる。Further, range image transmitting means for transmitting the image in the range designated by the range designating means via a wireless or wired communication circuit in a compressed or non-compressed state, and receiving and compressing the compressed or uncompressed range image. In the case of an image, it may have a range image receiving means for developing.

【００１３】さらに、前記画像入力手段で入力、または
無線や有線の通信回線を介して受信した画像を記憶媒体
に記憶する画像記憶手段と、該画像記憶手段で記憶した
画像を前記表示器に表示する画像表示手段とを有するこ
とができる。Further, an image storage means for storing in a storage medium an image input by the image input means or received via a wireless or wired communication line, and an image stored by the image storage means is displayed on the display. Image display means for displaying the image.

【００１４】さらに、前記文字コードデータ記憶手段で
記憶した文字コードデータに対応する文字を、文字フォ
ントデータを用いて前記表示器に表示する文字表示手段
を有することができる。Further, it is possible to have a character display means for displaying a character corresponding to the character code data stored in the character code data storage means on the display using character font data.

【００１５】さらに、前記文字コードデータ記憶手段で
記憶した文字コードデータを、インターネットやデータ
ベースの検索キーワードまたはオペレーションシステム
（ＯＳ）やアプリケーションのコマンドや入力文字また
は文字認識に使われた画像の付加情報として用いること
ができる。Further, the character code data stored in the character code data storage means is used as a search keyword on the Internet or a database, or as an additional command of an operation system (OS) or an application, an input character, or an image used for character recognition. Can be used.

【００１６】さらに、前記カメラに、使用者の身体の一
部に直接着用または身体の一部に着用するものに装備ま
たは携帯装置に装備したカメラを用いることができる。Further, as the camera, it is possible to use a camera which is directly worn on a part of a user's body or is equipped on a part of the body or a portable device.

【００１７】さらに、前記表示器に、使用者の視野に入
るように頭部に直接着用または頭部に着用するものに装
備または腕に直接着用または腕に着用するものに装備し
た表示器を用いることができる。Further, as the display, a display mounted on the head or worn on the head or worn on the arm or worn on the arm so as to be in the field of view of the user is used. be able to.

【００１８】さらに、前記範囲指定手段において、前記
指示姿勢を認識した後に前記選択姿勢を認識してから、
再び前記指示姿勢を認識するまでの間の前記選択記号の
位置の集合により表現される矩形または閉ループまたは
直線分または曲線分などの図形に基づいて画像範囲を指
定することができる。Further, in the range designating means, after recognizing the designated posture and then recognizing the selected posture,
The image range can be designated based on a figure such as a rectangle, a closed loop, a straight line segment, or a curved line segment, which is represented by a set of positions of the selection symbols until the designated posture is recognized again.

【００１９】さらに、前記文字認識手段で文字認識の結
果の候補が複数存在する場合は、前記文字コードデータ
変換手段で該候補それぞれを文字コードデータに変換す
る手段と、該文字コードデータに対応する文字を、文字
フォントデータを用いて前記表示器に表示する文字認識
候補表示手段と、表示された前記候補から１つを前記記
号位置決定手段で指示し前記選択姿勢で選択する文字認
識結果選択手段と、該文字認識結果選択手段で選択した
候補の文字コードデータを前記文字コードデータ記憶手
段により記憶媒体に記憶する手段とを有することができ
る。Further, when there are a plurality of candidates for the character recognition result by the character recognition means, the means for converting each of the candidates into the character code data by the character code data conversion means and the character code data are provided. Character recognition candidate display means for displaying characters on the display using character font data, and character recognition result selection means for selecting one of the displayed candidates by the symbol position determining means in the selected posture. And a means for storing the candidate character code data selected by the character recognition result selection means in the storage medium by the character code data storage means.

【００２０】さらに、前記文字認識手段で文字認識の結
果の候補に正解が含まれない場合は、前記表示器に仮想
キーボードを表示する仮想キーボード表示手段と、前記
指示姿勢および前記選択姿勢により仮想キーボードを操
作する仮想キーボード操作手段と、前記文字認識候補表
示手段および前記文字認識結果選択手段で前記候補から
１つを選択する手段と、該選択候補を前記文字表示手段
で表示し該仮想キーボード操作手段で修正する文字認識
結果修正手段と、該文字認識結果修正手段で修正した文
字の文字コードデータを前記文字コードデータ記憶手段
により記憶媒体に記憶する手段とを有することができ
る。Further, if the candidate of the result of character recognition by the character recognition means does not include a correct answer, the virtual keyboard display means for displaying a virtual keyboard on the display, and the virtual keyboard according to the pointing posture and the selection posture. Virtual keyboard operating means for operating, a means for selecting one of the candidates by the character recognition candidate displaying means and the character recognition result selecting means, and a virtual keyboard operating means for displaying the selection candidate on the character displaying means. It is possible to have a character recognition result correcting means for correcting the character recognition result and a means for storing the character code data of the character corrected by the character recognition result correcting means in the storage medium by the character code data storing means.

【００２１】上記目的を達成するために、請求項１２の
文字情報入力装置の文字情報入力方法の発明は、文字情
報入力装置の文字情報入力方法において、カメラから撮
影画像を入力するステップと、表示器の画面に画像を表
示するステップと、前記撮影画像に写された手と指の位
置および指示姿勢および選択姿勢を認識するステップ
と、認識された手と指の位置および姿勢に基づいてカー
ソルやポインタなどで表現される指示記号および選択記
号の前記表示器の画面上での位置を決定するステップ
と、決定された前記表示器の画面上での位置に前記記号
を表示するステップと、前記指示姿勢および前記選択姿
勢により画像範囲を指定するステップと、指定された範
囲の画像から文字を認識するステップと、認識した文字
を文字コードデータに変換するステップと、変換された
文字コードデータを記憶媒体に記憶するステップとを有
することを特徴とする。In order to achieve the above object, the invention of a character information input method of a character information input device according to a twelfth aspect of the invention is a character information input method of a character information input device, which comprises a step of inputting a photographed image from a camera and a display. Displaying an image on the screen of the instrument, recognizing the positions and pointing postures and selected postures of the hands and fingers shown in the captured image, and moving the cursor and the cursor based on the recognized positions and postures of the hands and fingers. Determining the position on the screen of the display of the indicator symbol and the selection symbol represented by a pointer, the step of displaying the symbol at the determined position on the screen of the indicator, the instruction The step of designating an image range by the posture and the selected posture, the step of recognizing a character from the image in the designated range, and the recognized character being converted into character code data. And having a step of conversion, and storing the converted character code data to the storage medium.

【００２２】さらに、前記撮影画像を圧縮または非圧縮
で無線または有線の通信回路を介して送信するステップ
と、該圧縮または非圧縮画像を受信し圧縮画像の場合は
展開するステップとを有することができる。Further, the method may include the steps of transmitting the photographed image in a compressed or non-compressed manner via a wireless or wired communication circuit, and receiving the compressed or non-compressed image and expanding the compressed image. it can.

【００２３】さらに、前記指定された範囲の画像を圧縮
または非圧縮で無線または有線の通信回路を介して送信
するステップと、該圧縮または非圧縮範囲画像を受信し
圧縮画像の場合は展開するステップとを有することがで
きる。Further, a step of transmitting the image in the designated range in a compressed or non-compressed manner via a wireless or wired communication circuit, and a step of receiving the compressed or non-compressed range image and expanding the compressed or uncompressed range image And can have.

【００２４】さらに、前記撮影画像、または無線や有線
の通信回線を介して受信した画像を記憶媒体に記憶する
ステップと、該記憶した画像を前記表示器に表示するス
テップとを有することができる。Further, the method may include the steps of storing the photographed image or an image received via a wireless or wired communication line in a storage medium, and displaying the stored image on the display.

【００２５】さらに、前記記憶した文字コードデータに
対応する文字を、文字フォントデータを用いて前記表示
器に表示するステップを有することができる。Further, the method may have a step of displaying a character corresponding to the stored character code data on the display using character font data.

【００２６】さらに、前記文字コードデータを、インタ
ーネットやデータベースの検索キーワードまたはＯＳや
アプリケーションのコマンドや入力文字または文字認識
に使われた画像の付加情報として用いることができる。Further, the character code data can be used as a search keyword on the Internet or a database, or as additional information of an OS or application command, an input character, or an image used for character recognition.

【００２７】さらに、前記カメラに、使用者の身体の一
部に直接着用または身体の一部に着用するものに装備ま
たは携帯装置に装備したカメラを用いることができる。Further, as the camera, it is possible to use a camera that is directly worn on a part of the user's body or is equipped on a part of the user's body or is equipped on a portable device.

【００２８】さらに、前記表示器に、使用者の視野に入
るように頭部に直接着用または頭部に着用するものに装
備または腕に直接着用または腕に着用するものに装備し
た表示器を用いることができる。Further, as the display, a display equipped on the head or worn on the head or worn on the arm or worn on the arm so as to be in the visual field of the user is used. be able to.

【００２９】さらに、前記画像範囲を指定するステップ
において、前記指示姿勢を認識した後に前記選択姿勢を
認識してから、再び前記指示姿勢を認識するまでの間の
前記選択記号の位置の集合により表現される矩形または
閉ループまたは直線分または曲線分などの図形に基づい
て画像範囲を指定することができる。Further, in the step of designating the image range, it is represented by a set of positions of the selection symbols from when the designated posture is recognized and then the selected posture is recognized until the designated posture is recognized again. The image range can be specified based on a rectangle or a closed loop or a graphic such as a straight line or a curved line.

【００３０】さらに、前記文字認識の結果の候補が複数
存在する場合は、該候補それぞれを文字コードデータに
変換するステップと、該文字コードデータに対応する文
字を、文字フォントデータを用いて前記表示器に表示す
るステップと、表示された前記候補から１つを前記指示
記号で指示し前記選択姿勢で選択するステップと、前記
文字コードデータを記憶するステップで選択した候補の
文字コードデータを記憶媒体に記憶するステップとを有
することができる。Further, when there are a plurality of candidates for the character recognition result, a step of converting each of the candidates into character code data and a character corresponding to the character code data is displayed by using the character font data. Storing the character code data of the candidate selected in the step of displaying on the display, the step of indicating one of the displayed candidates with the pointing symbol and selecting in the selection posture, and the step of storing the character code data. Can be stored in the memory.

【００３１】さらに、前記文字認識の結果の候補に正解
が含まれない場合は、前記表示器に仮想キーボードを表
示するステップと、前記指示姿勢および前記選択姿勢に
より仮想キーボードを操作するステップと、前記文字認
識の候補から１つを選択するステップと、該選択候補を
前記表示器で表示し前記仮想キーボードで修正するステ
ップと、修正した文字の文字コードデータを記憶媒体に
記憶するステップとを有することができる。Further, when the candidate of the result of the character recognition does not include a correct answer, the step of displaying the virtual keyboard on the display, the step of operating the virtual keyboard according to the pointing posture and the selection posture, The method includes the step of selecting one from the character recognition candidates, the step of displaying the selection candidate on the display unit and correcting it with the virtual keyboard, and the step of storing the character code data of the corrected character in a storage medium. You can

【００３２】上記目的を達成するため、請求項２３の記
録媒体の発明は、文字情報入力装置の文字情報入力方法
をコンピュータによって機能させるためのプログラムの
記録媒体であって、プログラムはコンピュータに、カメ
ラから撮影画像を入力させ、表示器の画面に画像を表示
させ、前記撮影画像に写された手と指の位置および指示
姿勢および選択姿勢を認識させ、認識された手と指の位
置および姿勢に基づいて、カーソルやポインタなどで表
現される指示記号および選択記号の前記表示器の画面上
での位置を決定させ、決定された前記表示器の画面上で
の位置に前記記号を表示させ、前記指示姿勢および前記
選択姿勢により画像範囲を指定させ、指定された範囲の
画像から文字を認識させ、認識した文字を文字コードデ
ータに変換させ、変換された文字コードデータを記憶媒
体に記憶させることを特徴とする。In order to achieve the above object, the invention of a recording medium according to claim 23 is a recording medium of a program for causing a computer to perform the character information input method of a character information input device, the program being stored in a computer and a camera. To input the photographed image, display the image on the screen of the display, recognize the position and the pointing posture and the selected posture of the hand and fingers in the photographed image, and recognize the position and posture of the recognized hand and finger. Based on, the position of the indicator and the selection symbol represented by a cursor or a pointer on the screen of the display unit is determined, and the symbol is displayed at the determined position on the screen of the display unit, An image range is designated by the designated posture and the selected posture, characters are recognized from the image of the designated range, and the recognized characters are converted into character code data, Wherein the storing the conversion is character code data to the storage medium.

【００３３】さらに、前記プログラムはコンピュータ
に、前記撮影画像を圧縮または非圧縮で無線または有線
の通信回路を介して送信させ、該圧縮または非圧縮画像
を受信し圧縮画像の場合は展開させることを特徴とす
る。Further, the program causes a computer to transmit the photographed image in a compressed or non-compressed manner via a wireless or wired communication circuit, receive the compressed or non-compressed image, and expand the compressed image. Characterize.

【００３４】さらに、前記プログラムはコンピュータ
に、前記指定された範囲の画像を圧縮または非圧縮で無
線または有線の通信回路を介して送信させ、該圧縮また
は非圧縮範囲画像を受信し圧縮画像の場合は展開させる
ことを特徴とする。Furthermore, the program causes the computer to transmit the image in the specified range in a compressed or non-compressed manner through a wireless or wired communication circuit, and receives the compressed or non-compressed range image to obtain a compressed image. Is characterized by being deployed.

【００３５】さらに、前記プログラムはコンピュータ
に、前記撮影画像、または無線や有線の通信回線を介し
て受信した画像を記憶媒体に記憶させ、該記憶した画像
を前記表示器に表示させることを特徴とする。Further, the program causes a computer to store the photographed image or an image received via a wireless or wired communication line in a storage medium, and display the stored image on the display. To do.

【００３６】さらに、前記プログラムはコンピュータ
に、前記記憶した文字コードデータに対応する文字を、
文字フォントデータを用いて前記表示器に表示させるこ
とを特徴とする。Further, the program causes the computer to store characters corresponding to the stored character code data,
It is characterized in that it is displayed on the display using character font data.

【００３７】さらに、前記プログラムはコンピュータ
に、前記文字コードデータを、インターネットやデータ
ベースの検索キーワードまたはＯＳやアプリケーション
のコマンドや入力文字または文字認識に使われた画像の
付加情報として使用させることを特徴とする。Further, the program causes the computer to use the character code data as a search keyword of the Internet or a database, a command of an OS or an application, or additional information of an input character or an image used for character recognition. To do.

【００３８】さらに、前記プログラムはコンピュータ
に、前記画像範囲を指定させる際に、前記指示姿勢を認
識した後に前記選択姿勢を認識してから、再び前記指示
姿勢を認識するまでの間の前記選択記号の位置の集合に
より表現される矩形または閉ループまたは直線分または
曲線分などの図形に基づいて画像範囲を指定させること
を特徴とする。Further, when the program causes the computer to specify the image range, the selection symbol from when the selected posture is recognized after the designated posture is recognized to when the designated posture is recognized again. It is characterized in that the image range is designated on the basis of a rectangle, a closed loop, a straight line segment, or a curved line segment represented by a set of positions.

【００３９】さらに、前記プログラムはコンピュータ
に、前記文字認識の結果の候補が複数存在する場合は、
該候補それぞれを文字コードデータに変換させ、該文字
コードデータに対応する文字を、文字フォントデータを
用いて前記表示器に表示させ、表示された前記候補から
１つを前記指示記号で指示させ前記選択姿勢で選択さ
せ、前記文字コードデータを記憶する際に選択された候
補の文字コードデータを記憶媒体に記憶させることを特
徴とする。Further, when there are a plurality of candidates for the character recognition result in the computer, the program is
Each of the candidates is converted into character code data, a character corresponding to the character code data is displayed on the display using character font data, and one of the displayed candidates is designated by the indicator symbol. It is characterized in that the character code data of the candidate selected when the character code data is stored is stored in a storage medium.

【００４０】さらに、前記プログラムはコンピュータ
に、前記文字認識の結果の候補に正解が含まれない場合
は、前記表示器に仮想キーボードを表示させ、前記指示
姿勢および前記選択姿勢により仮想キーボードを操作さ
せ、前記文字認識の候補から１つを選択させ、該選択候
補を前記表示器で表示し前記仮想キーボードで修正さ
せ、修正した文字の文字コードデータを記憶媒体に記憶
させることを特徴とする。Further, the program causes the computer to display a virtual keyboard on the display device when the candidate of the result of the character recognition does not include a correct answer, and operates the virtual keyboard according to the pointing posture and the selection posture. , One of the character recognition candidates is selected, the selected candidate is displayed on the display and corrected by the virtual keyboard, and the character code data of the corrected character is stored in a storage medium.

【００４１】[0041]

【発明の実施の形態】以下、本発明の実施形態につい
て、添付図面を参照して詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described in detail below with reference to the accompanying drawings.

【００４２】図１は、本発明の実施形態の文字情報入力
装置の構成を示すブロック図である。端末装置１０は、
例えばＣＣＤカメラやＣＭＯＳカメラなどからなる画像
入力部１０４と、例えば液晶パネルや有機ＥＬパネルや
フィールドエミッションディスプレイパネルやＬＥＤや
小型プロジェクタなどからなる表示部１０３と、例えば
無線ＬＡＮ装置や携帯電話装置やＰＨＳ装置や赤外線通
信装置などからなる通信部１０２と、画像データや文字
コードデータや文字フォントデータやプログラムや文字
認識用辞書や他のデータを記憶する、例えばＲＡＭやＲ
ＯＭ、可搬性記録媒体などからなる記憶部１０１と、手
指画像認識機能３００、記号位置決定機能３０１、範囲
指定機能３０２、文字認識機能手段３０３、文字コード
データ変換機能３０４、画像圧縮展開機能３０５を含む
画像処理、文字認識処理などの処理を行うとともに端末
装置１０全体の制御を行う、例えばプロセッサ（ＣＰＵ
やＭＰＵやＤＳＰなど）やキャッシュメモリなどからな
る情報処理制御部１００を備える。FIG. 1 is a block diagram showing the configuration of a character information input device according to an embodiment of the present invention. The terminal device 10
An image input unit 104 including, for example, a CCD camera or a CMOS camera, a display unit 103 including, for example, a liquid crystal panel, an organic EL panel, a field emission display panel, an LED, a small projector, and the like, a wireless LAN device, a mobile phone device, a PHS, and the like. A communication unit 102 including an apparatus, an infrared communication device, and the like, and image data, character code data, character font data, a program, a character recognition dictionary, and other data are stored, for example, a RAM or R
A storage unit 101 including an OM and a portable recording medium, a finger image recognition function 300, a symbol position determination function 301, a range designation function 302, a character recognition function means 303, a character code data conversion function 304, and an image compression / decompression function 305. For example, a processor (CPU) that performs processing such as image processing including character recognition processing and controls the entire terminal device 10.
Or MPU or DSP) and a cache memory.

【００４３】なお、手指画像認識機能３００および文字
認識機能３０３は、情報処理技術分野の当業者には周知
の機能を用いて、実現することができる。手指画像認識
機能３００では、例えば、事前に学習した色や輪郭形状
などの画像特徴と撮影された入力画像に含まれるそれら
の画像特徴とを確率統計的に組み合わせることで手と指
を認識することができるし、他の一般的な方法でもよ
い。文字認識機能３０３では、例えば、事前にいくつも
のフォントの文字を濃淡の勾配特徴などに基づいて学習
して文字の辞書を作るとともに単語辞書などの文字のつ
ながりに関する辞書を用意し、入力画像に含まれる画像
特徴をそれらの辞書に確率統計的に当てはめて文字を認
識することができるし、他の一般的な方法でもよい。ま
た、性能のよい文字認識ソフトも市販されているので、
それを使ってもよい。The finger image recognition function 300 and the character recognition function 303 can be realized by using functions known to those skilled in the information processing technology field. The hand / finger image recognition function 300 recognizes a hand and a finger by, for example, probabilistically combining image features such as colors and contour shapes learned in advance and those image features included in a captured input image. Or any other common method. In the character recognition function 303, for example, characters of several fonts are learned in advance based on the gradation characteristics of light and shade to create a dictionary of characters, and a dictionary regarding character connections such as a word dictionary is prepared and included in the input image. The image features can be stochastically applied to these dictionaries to recognize the characters, or any other common method can be used. Also, since good-performance character recognition software is commercially available,
You may use it.

【００４４】文字コードデータ変換機能３０４は、文字
認識機能で認識された文字を、一般的なコード、例え
ば、ＥＵＣコードやＪＩＳコードやＳ−ＪＩＳコードや
アスキーコードに変換することができる。もちろん、文
字認識機能で認識された文字が、後処理、例えば、文字
フォントデータを用いた表示器への文字の表示などで必
要とされる文字コードで表現されている場合、文字コー
ド変換機能は使わなくてもよい。The character code data conversion function 304 can convert the character recognized by the character recognition function into a general code such as EUC code, JIS code, S-JIS code or ASCII code. Of course, if the character recognized by the character recognition function is represented by the character code required for post-processing, for example, displaying the character on the display unit using the character font data, the character code conversion function is You don't have to use it.

【００４５】ところで、端末装置、特に、着用型コンピ
ュータ、携帯型コンピュータ、携帯電話、ＰＤＡ、リモ
コン、デジタルカメラなどの携帯端末装置を、小型化、
軽量化、省電力化、低コスト化する必要がある場合など
においては、情報処理制御部の処理性能や記憶部の記憶
容量を抑えることが有効である。端末装置と、例えば、
画像処理サーバ、ホームコンピュータ、家電などのホス
ト装置とで通信して画像データや処理結果などの送受信
することで、手指画像認識機能３００、記号位置決定機
能３０１、範囲指定機能３０２、文字認識機能手段３０
３、文字コードデータ変換機能３０４などの処理の一部
またはすべてをホスト装置に処理させることで、端末装
置の機能を省き、情報処理制御部の処理性能や記憶部の
記憶容量を抑えることができる。これは、携帯端末装置
を、小型化、軽量化、省電力化、低コスト化するのに有
効である。By the way, terminal devices, particularly portable terminal devices such as wearable computers, portable computers, mobile phones, PDAs, remote controllers, digital cameras, etc.
When it is necessary to reduce the weight, save the power, and reduce the cost, it is effective to suppress the processing performance of the information processing control unit and the storage capacity of the storage unit. A terminal device, for example,
A finger image recognition function 300, a symbol position determination function 301, a range designation function 302, a character recognition function means by communicating with a host device such as an image processing server, a home computer, or a home electric appliance to transmit and receive image data or processing results. Thirty
3. By causing the host device to perform a part or all of the processing such as the character code data conversion function 304, the function of the terminal device can be omitted, and the processing performance of the information processing control unit and the storage capacity of the storage unit can be suppressed. . This is effective in reducing the size, weight, power saving, and cost of the mobile terminal device.

【００４６】図２は、本発明の実施形態の文字情報入力
装置のホストの構成を示すブロック図である。ホスト装
置２０は、端末装置１０の通信部１０２と通信する、例
えば無線ＬＡＮ装置や携帯電話装置やＰＨＳ装置や赤外
線通信装置やイーサネット（登録商標）装置や有線ＬＡ
Ｎ装置などからなる通信部２０２と、例えばＲＡＭやＲ
ＯＭ、可搬性記録媒体などからなる記憶部２０１と、手
指画像認識機能４００、記号位置決定機能４０１、範囲
指定機能４０２、文字認識機能手段４０３、文字コード
データ変換機能４０４、画像圧縮展開機能４０５を含む
画像処理、文字認識処理などの処理を行うとともにホス
ト装置１０全体の制御を行う、例えばプロセッサ（ＣＰ
ＵやＭＰＵやＤＳＰなど）やキャッシュメモリなどから
なる情報処理制御部２００を備える。もちろん、ホスト
装置は並列コンピュータやＰＣクラスタなどの分散シス
テムであってもよい。FIG. 2 is a block diagram showing the configuration of the host of the character information input device according to the embodiment of the present invention. The host device 20 communicates with the communication unit 102 of the terminal device 10, for example, a wireless LAN device, a mobile phone device, a PHS device, an infrared communication device, an Ethernet (registered trademark) device, or a wired LA device.
A communication unit 202 including N devices, and a RAM or R, for example.
A storage unit 201 including an OM and a portable recording medium, a finger image recognition function 400, a symbol position determination function 401, a range designation function 402, a character recognition function means 403, a character code data conversion function 404, and an image compression / decompression function 405. For example, a processor (CP) that controls the entire host device 10 while performing processing including image processing and character recognition processing including
The information processing control unit 200 includes a U, an MPU, a DSP, etc.) and a cache memory. Of course, the host device may be a distributed system such as a parallel computer or a PC cluster.

【００４７】手指画像認識機能３００と手指画像認識機
能４００、記号位置決定機能３０１と記号位置決定機能
４０１、範囲指定機能３０２と範囲指定機能４０２、文
字認識機能手段３０３と文字認識機能手段４０３、文字
コードデータ変換機能３０４と文字コードデータ変換機
能４０４はそれぞれ同等の機能であるため、端末装置１
０またはホスト装置２０のどちらかにそれぞれの機能が
備わっていればよい。例えば、文字認識機能４０３がホ
スト装置に備わっていれば文字認識機能３０３を端末装
置に備える必要はないため、端末装置１０で必要とされ
る処理能力やプログラムの記憶容量を抑えることがで
き、情報処理制御部１００や記憶部１０１を、小型化、
軽量化、省電力化、低コスト化するのに有効である。Finger image recognition function 300 and finger image recognition function 400, symbol position determination function 301 and symbol position determination function 401, range designation function 302 and range designation function 402, character recognition function means 303 and character recognition function means 403, characters Since the code data conversion function 304 and the character code data conversion function 404 are equivalent functions, the terminal device 1
0 or the host device 20 may have the respective functions. For example, if the character recognition function 403 is provided in the host device, the character recognition function 303 does not need to be provided in the terminal device, so that the processing capacity and the program storage capacity required in the terminal device 10 can be suppressed, and Downsizing the processing control unit 100 and the storage unit 101,
It is effective for weight reduction, power saving, and cost reduction.

【００４８】図３は、本発明の実施形態の文字情報入力
装置の通信システムの構成を示すブロック図である。基
地局３０は例えば無線ＬＡＮ装置や携帯電話装置やＰＨ
Ｓ装置や赤外線通信装置などからなり、端末装置１０と
交換網３１を接続する。交換網３１は、公衆網、構内網
どちらでもよく、ホスト装置２０は端末装置１０の通信
相手となる。もちろん、現在のリモコンと家電のよう
に、端末装置１０とホスト装置２０とが赤外線通信や無
線通信などで直接通信してもよい。もちろん、有線で通
信してもよい。FIG. 3 is a block diagram showing the configuration of the communication system of the character information input device according to the embodiment of the present invention. The base station 30 is, for example, a wireless LAN device, a mobile phone device, or a PH.
The terminal device 10 and the switching network 31 are connected by an S device, an infrared communication device, and the like. The switching network 31 may be either a public network or a private network, and the host device 20 is a communication partner of the terminal device 10. Of course, the terminal device 10 and the host device 20 may directly communicate with each other by infrared communication, wireless communication, or the like, like the current remote control and home appliances. Of course, you may communicate by wire.

【００４９】なお、画像を端末装置１０とホスト装置２
０とで画像を送受信する場合、例えば、ＪＰＥＧやＭＯ
ＴＩＯＮ ＪＰＥＧやＭＰＥＧやＭＰＥＧ２やＭＰＥＧ
４やＭＰＥＧ７などＤＣＴ変換やウェーブレット変換や
動き補償などの技術を用いた画像圧縮展開機能３０５お
よび画像圧縮展開機能４０５により、画像を圧縮して通
信部１０２、通信部２０２を介して送受信することで、
伝送容量を抑えることができる。また、手指画像認識機
能、記号位置決定機能、範囲決定機能を端末装置１０に
備え、文字認識処理、文字コードデータ変換機能をホス
ト装置２０に備えた場合、指定された範囲の画像のみを
伝送することで、さらに伝送容量を抑えることができ
る。The image is displayed on the terminal device 10 and the host device 2.
When sending and receiving images with 0, for example, JPEG or MO
TION JPEG, MPEG, MPEG2, MPEG
By compressing an image by the image compression / expansion function 305 and the image compression / expansion function 405 using a technique such as DCT conversion, wavelet conversion, or motion compensation such as MPEG4 or MPEG7, and transmitting / receiving via the communication unit 102 or the communication unit 202. ,
The transmission capacity can be suppressed. When the terminal device 10 is provided with the finger image recognition function, the symbol position determination function, and the range determination function, and the host device 20 is provided with the character recognition processing and the character code data conversion function, only the image in the specified range is transmitted. Therefore, the transmission capacity can be further suppressed.

【００５０】図４は、画像入力部１０４を構成するカメ
ラの着用位置を示す模式図である。カメラ５０〜５３
は、それぞれ、肩、胸部、耳に着用補助器具などを用い
て着用、またはサングラスや眼鏡などのフレームに装備
することで着用したカメラの模式図である。FIG. 4 is a schematic view showing a wearing position of a camera which constitutes the image input section 104. Cameras 50-53
FIG. 3 is a schematic view of a camera worn on a shoulder, a chest, and an ear using a wear assisting device or the like, or worn on a frame such as sunglasses and glasses.

【００５１】カメラ５０は、ショルダーバッグやリュッ
クサックなどの鞄類の肩にかかる部分または服の肩にあ
たる部分に直接装備またはアタッチメントなどの補助器
具により着脱可能な状態で装備することで図４のような
位置に着用できる。As shown in FIG. 4, the camera 50 is directly attached to a shoulder portion of a bag such as a shoulder bag or a rucksack or a portion corresponding to the shoulder of clothes, or detachably attached by an auxiliary device such as an attachment. Can be worn in any position.

【００５２】カメラ５１は、ショルダーバッグやリュッ
クサックなどの鞄類の胸部にかかる部分または服の胸に
あたるの部分に直接装備またはアタッチメントなどの補
助器具により着脱可能な状態で装備することで図４のよ
うな位置に着用できる。例えば、ブローチやペンダント
などにカメラを装備し胸部に取り付けることなどが可能
である。The camera 51 shown in FIG. 4 is directly attached to a part of the bag such as a shoulder bag or a rucksack which is applied to the chest or a part corresponding to the chest of clothes, or is detachably attached by an auxiliary device such as an attachment. You can wear it in such a position. For example, a brooch, a pendant, or the like can be equipped with a camera and attached to the chest.

【００５３】カメラ５２は、アタッチメントなどの補助
器具により着脱可能な状態で装備することで図４のよう
な位置に着用できる。例えば、イヤリングやピアスなど
にカメラを装備し耳に取り付けることなどが可能であ
る。The camera 52 can be worn at the position shown in FIG. 4 by being detachably mounted by an auxiliary device such as an attachment. For example, earrings and earrings can be equipped with a camera and attached to the ear.

【００５４】カメラ５３は、眼鏡やサングラスのフレー
ムにカメラを装備することで図4のような位置に着用で
きる。The camera 53 can be worn at the position shown in FIG. 4 by mounting the camera on the frame of glasses or sunglasses.

【００５５】カメラ５０、５１は、体の前方に手と指が
存在する場合にそれらを撮影するのに有効である。カメ
ラ５２、５３は、顔の前方に手と指が存在する場合にそ
れらを撮影するのに有効である。もちろん、手と指が写
る位置であれば身体の上述以外の部分、例えば被写体と
なる手と指とは逆の腕に腕時計を着用しその腕時計にカ
メラを装備してもよいし、着用はせず携帯装置に装備し
たカメラを用いてもよい。The cameras 50 and 51 are effective for photographing the hands and fingers when they are present in front of the body. The cameras 52 and 53 are effective for photographing the hands and fingers when they are present in front of the face. Of course, if you can see the hands and fingers, you may wear a wristwatch on a part of the body other than the above, for example, the arm opposite to the subject's hand and fingers and equip the wristwatch with a camera, but do not wear it. Alternatively, a camera mounted on the mobile device may be used.

【００５６】図５は、表示部１０３を構成する表示器の
着用位置を示す模式図である。表示器６０〜６２は、そ
れぞれ、使用者の視野に入るように頭部に直接着用また
は頭部に着用するものに装備したものである。このよう
に着用することで、ハンズフリーで表示器を見ることが
でき、手と指で指示・選択しながら表示を確認すること
が容易になる。FIG. 5 is a schematic view showing the wearing position of the display device constituting the display unit 103. The indicators 60 to 62 are respectively worn on the head or worn on the head so as to be in the visual field of the user. Wearing in this way makes it possible to see the display device hands-free, and it becomes easy to confirm the display while pointing and selecting with the hands and fingers.

【００５７】表示器６０は、額と側頭部を支点とする留
め具に装着し着用する表示器であり、同様に着用できる
表示器はすでに市販されている。The indicator 60 is an indicator that is worn by being attached to a fastener having the forehead and the temporal region as fulcrums, and an indicator that can be worn similarly is already on the market.

【００５８】表示器６１は、耳と後頭部を支点とする留
め具に装着し着用する表示器である。ヘッドホンの留め
具に表示器を装着しても同様に着用できる。The display device 61 is a display device that is worn and attached to a fastener having ears and the back of the head as fulcrums. You can also wear it by attaching an indicator to the headphone fastener.

【００５９】表示器６２は、眼鏡やサングラスなどのレ
ンズ前面に固定されるように装備、またはレンズ内部に
装備した表示器であり、これと同様に装備できる表示器
はすでに市販されている。The display unit 62 is a display unit that is mounted on the front surface of a lens such as spectacles or sunglasses, or is mounted inside the lens, and a display unit that can be mounted similarly to this is already on the market.

【００６０】もちろん、使用者の視野に入るようにでき
るのであれば、身体の他の部分、例えば腕時計や腕時計
型の携帯情報端末の表示器を流用することで、その表示
器を腕に着用することができるし、着用はせず携帯装置
に装備した表示器を用いてもよい。Of course, if it can be put in the user's visual field, the display device of another part of the body, for example, a wristwatch or a wristwatch type portable information terminal is diverted so that the display device is worn on the arm. It is also possible to use an indicator equipped on a mobile device without wearing it.

【００６１】図６は、本発明の実施形態の文字情報入力
装置を使用する際に、画像入力部１０４で撮影する右手
と指の姿勢の例を示す模式図である。ここでは、手指画
像認識機能３００または４００で認識する手と指の姿勢
の例として、１本指を使用する姿勢５０２、５０３と、
２本指を使用する姿勢５００，５０１を例としてとりあ
げる。FIG. 6 is a schematic diagram showing an example of the postures of the right hand and the fingers photographed by the image input section 104 when the character information input device according to the embodiment of the present invention is used. Here, as examples of the postures of the hands and fingers recognized by the finger image recognition function 300 or 400, postures 502 and 503 using one finger,
The postures 500 and 501 using two fingers are taken as an example.

【００６２】もちろん、左手でもよいし、他の姿勢によ
り、指示と選択姿勢を認識してもよい。例えば、じゃん
けんのパー、チョキ、グーのような姿勢を認識し、それ
ぞれが指示姿勢なのか選択姿勢なのかを決めてもよい。Of course, the left hand may be used, or the instruction and the selected posture may be recognized by another posture. For example, it may be possible to recognize postures such as rock-paper-scissors, waistcoat, and goo of rock-paper-scissors and decide whether each is the designated posture or the selected posture.

【００６３】指示姿勢５００は、人差し指と親指を伸ば
して、それらの指先を離した姿勢を指示姿勢と決めた場
合の例である。この際、記号位置決定機能３０１または
記号位置決定機能４０１により決定される指示記号の位
置は、例えば認識された2本の指の先を結ぶ直線の中間
位置であってもよいし、人差し指の指先の位置でもよ
い。また、認識される指と記号位置との相対関係を使用
者が使用しやすいように設定してもよい。The pointing posture 500 is an example in which the pointing posture is defined as a posture in which the forefinger and thumb are extended and their fingertips are released. At this time, the position of the instruction symbol determined by the symbol position determination function 301 or the symbol position determination function 401 may be, for example, an intermediate position of a straight line connecting the recognized two fingers, or the tip of the index finger. May be in the position. Further, the relative relationship between the recognized finger and the symbol position may be set so that the user can easily use it.

【００６４】選択姿勢５０１は、選択姿勢５００の状態
から、人差し指と親指の指先をくっつけた姿勢を選択姿
勢と決めた場合の例である。この際、記号位置決定機能
３０１または記号位置決定機能４０１により決定される
選択記号の位置は、例えば認識された2本の指の接する
部分の中心であってもよいし、人差し指の指先の位置で
もよい。また、認識される指と記号位置との相対関係を
使用者が使用しやすいように設定してもよい。The selected posture 501 is an example in which the posture in which the forefinger and the fingertip of the thumb are attached is determined as the selected posture from the state of the selected posture 500. At this time, the position of the selected symbol determined by the symbol position determining function 301 or the symbol position determining function 401 may be, for example, the center of the part where the two recognized fingers touch, or the position of the tip of the index finger. Good. Further, the relative relationship between the recognized finger and the symbol position may be set so that the user can easily use it.

【００６５】指示姿勢５０２は、人差し指を伸ばした姿
勢を指示姿勢と決めた場合の例である。この際、記号位
置決定機能３０１または記号位置決定機能４０１により
決定される指示記号の位置は、例えば認識された人差し
指の指先の位置やそれに近い位置でもよい。また、認識
される指と記号位置との相対関係を使用者が使用しやす
いように設定してもよい。The designated posture 502 is an example in which the posture in which the forefinger is extended is determined as the designated posture. At this time, the position of the pointing symbol determined by the symbol position determining function 301 or the symbol position determining function 401 may be, for example, the position of the recognized fingertip of the index finger or a position close thereto. Further, the relative relationship between the recognized finger and the symbol position may be set so that the user can easily use it.

【００６６】選択姿勢５０３は、選択姿勢５００の状態
から、人差し指の第２関節を曲げた姿勢を選択姿勢と決
めた場合の例である。もちろん、第３関節を曲げた姿勢
を選択姿勢としてもよい。なお、第２関節を曲げる際
に、第１関節が曲がってもよいし、第３関節を曲げる際
に、第１、第２関節が曲がってもよい。この際、記号位
置決定機能３０１または記号位置決定機能４０１により
決定される選択記号の位置は、例えば認識された人差し
指の画像上における最も上の位置でもよい。また、認識
される指と記号位置との相対関係を使用者が使用しやす
いように設定してもよい。The selected posture 503 is an example in which the posture in which the second joint of the index finger is bent is determined as the selected posture from the state of the selected posture 500. Of course, the posture in which the third joint is bent may be the selected posture. The first joint may be bent when the second joint is bent, and the first and second joints may be bent when the third joint is bent. At this time, the position of the selected symbol determined by the symbol position determining function 301 or the symbol position determining function 401 may be, for example, the highest position of the recognized index finger on the image. Further, the relative relationship between the recognized finger and the symbol position may be set so that the user can easily use it.

【００６７】指示姿勢で指示した一点を選択姿勢で選択
する場合は、選択姿勢が認識された時点からもっとも近
い過去の時点で認識された指示姿勢に基づいて決定され
る指示記号位置を選択した位置とすることができる。も
ちろん、もっとも近い過去の時点ではなく、使用者が使
用しやすいように数十から数百ミリ秒前の指示記号位置
を選択した位置としてもよい。In the case of selecting one point designated by the designated posture by the selected posture, the position where the designated symbol position determined based on the designated posture recognized at the closest past time from the time when the selected posture is recognized is selected. Can be Of course, instead of the nearest past time point, the position of the instruction symbol several tens to several hundreds of milliseconds ago may be selected as a position so that the user can easily use it.

【００６８】図７は、範囲指定機能３０２または範囲指
定機能４０２により指定される矩形の例を示す模式図で
ある。図７（ａ）では、指示姿勢５００を認識した後に
選択姿勢５０１を認識してから、再び前記指示姿勢５０
０を認識するまでの間の選択記号位置の集合により表現
される閉ループに矩形を当てはめ、当てはまった矩形を
指定される画像範囲としている場合の例である。FIG. 7 is a schematic diagram showing an example of a rectangle designated by the range designation function 302 or the range designation function 402. In FIG. 7A, after recognizing the designated posture 500 and then the selected posture 501, the designated posture 50 is recognized again.
This is an example in which a rectangle is fitted to a closed loop represented by a set of selection symbol positions until 0 is recognized, and the fitted rectangle is set as a designated image range.

【００６９】閉ループは隣り合った記号位置同士を直線
で結んだり、記号位置の集合にベジェ曲線やスプライン
曲線を当てはめたりすることにより求められる。画像範
囲を示す矩形のあてはめは、例えば、閉ループに内接す
るもっとも面積の大きい矩形や、外接するもっとも面積
の小さい矩形を選ぶことにより可能である。もちろん、
使用者が使用しやすいように閉ループと矩形との相対関
係を設定してもよい。もちろん、画像範囲は矩形ではな
く閉ループのままでもよい。The closed loop is obtained by connecting adjacent symbol positions with a straight line or by fitting a Bezier curve or a spline curve to a set of symbol positions. The fitting of the rectangle indicating the image range can be performed by, for example, selecting the rectangle having the largest area inscribed in the closed loop or the rectangle having the smallest area inscribed in the closed loop. of course,
The relative relationship between the closed loop and the rectangle may be set so that the user can easily use it. Of course, the image range may remain a closed loop instead of a rectangle.

【００７０】また、上述のような閉ループ的な記号位置
の集合から実際には閉ループを求めず、いきなり矩形を
当てはめてもよい。例えば、記号位置の集合の重心位置
を求め、その重心位置より上にある記号位置のメディア
ン値を矩形の上側の辺とし、同様に下の辺、左右の辺と
し、それぞれが交わる位置を頂点とすることで矩形を求
めることができる。もちろん、他の方法、例えばハフ変
換などで当てはめてもよい。Alternatively, a rectangle may be fitted suddenly without actually obtaining the closed loop from the set of closed loop-like symbol positions. For example, the barycentric position of a set of symbol positions is determined, and the median value of the symbol position above the barycentric position is set as the upper side of the rectangle, and similarly, the lower side and the left and right sides are set, and the positions where they intersect are the vertices. By doing so, a rectangle can be obtained. Of course, other methods such as Hough transform may be applied.

【００７１】図７（ｂ）は、指示姿勢５００を認識した
後に選択姿勢５０１を認識してから、再び前記指示姿勢
５００を認識するまでの間の選択記号位置の集合により
表現される曲線分や折れ線の上に矩形を設定し、設定さ
れた矩形を指定される画像範囲としている場合の例であ
る。FIG. 7B shows a curve segment represented by a set of selected symbol positions from when the selected posture 501 is recognized after the designated posture 500 is recognized to when the designated posture 500 is recognized again. In this example, a rectangle is set on the polygonal line and the set rectangle is set as the designated image range.

【００７２】折れ線は、例えば、隣り合った記号位置同
士を直線で結ぶことで求めることができるし、曲線分は
記号位置の集合にベジェ曲線やスプライン曲線を当ては
めたりすることにより求められる。画像範囲を示す矩形
を決めるには、例えば、折れ線や曲線分の下側に接する
直線分を求め、それを下の辺（底辺）とし、決められた
長さの左右の辺を持つ矩形を求めることで実現できる。
左右の辺の長さは使用者が下の辺と左右の辺の長さの相
対関係を設定してもよい。The polygonal line can be obtained, for example, by connecting adjacent symbol positions with a straight line, and the curved line can be obtained by applying a Bezier curve or a spline curve to the set of symbol positions. To determine the rectangle that indicates the image range, for example, find the straight line that touches the lower side of the polygonal line or curved line, and use it as the bottom side (bottom), and then find the rectangle that has the left and right sides of the determined length. It can be realized.
As for the lengths of the left and right sides, the user may set the relative relationship between the lengths of the lower side and the left and right sides.

【００７３】なお、図７（ｂ）の例は横方向に書かれた
文字の下の部分を折れ線や曲線分で指定する場合であ
り、縦書きの文字の場合に右手によって指定するのであ
れば、例えば、折れ線や曲線分の右側に接する直線分を
求め、それを右の辺とし、決められた長さの上下の辺を
持つ矩形を求めることで画像範囲を示す矩形を求めるこ
とができる。上下の辺の長さは使用者が右の辺と上下の
辺の長さの相対関係を設定してもよい。もちろん、縦書
きの文字を左手の場合によって指定する場合は、矩形の
左の辺を指定してもよい。In the example of FIG. 7B, the lower part of the characters written in the horizontal direction is designated by a polygonal line or a curved line, and in the case of vertically written characters, it is designated by the right hand. For example, a rectangle showing the image range can be obtained by obtaining a straight line segment that is in contact with the right side of a polygonal line or a curved line segment, and using it as a right side, and obtaining a rectangle having upper and lower sides of a predetermined length. As for the lengths of the upper and lower sides, the user may set the relative relationship between the lengths of the right side and the upper and lower sides. Of course, when specifying vertically written characters depending on the case of the left hand, the left side of the rectangle may be specified.

【００７４】また、実際には曲線分や折れ線を求めず、
記号位置の集合にいきなり矩形を当てはめてもよい。例
えば、ハフ変換などの統計的な手法で記号位置の集合に
直線分を当てはめ、それを一辺とする矩形を上述と同様
の方法で求めればよい。Further, in reality, the curved line segment and the polygonal line are not obtained,
You may suddenly fit a rectangle to the set of symbol positions. For example, a straight line segment may be fitted to a set of symbol positions by a statistical method such as Hough transform, and a rectangle having one side as the straight line segment may be obtained by the same method as described above.

【００７５】 もちろん、指示姿勢５０２と選択姿勢５
０３によって、上述と同様に閉ループや折れ線や曲線分
などで画像範囲の指定をしてもよいし、他の姿勢を選択
姿勢、指示姿勢を用いてもよい。Of course, the designated posture 502 and the selected posture 5
With 03, the image range may be designated by a closed loop, a polygonal line, a curved line segment, or the like as described above, or another posture may be used as the selected posture or the designated posture.

【００７６】また、一点を指示姿勢で指示し、選択姿勢
でその点を選択し、その周辺の文字らしい部分を自動抽
出することで範囲を指定してもよい。文字らしさは、情
報処理技術分野の当業者に周知の機能を用いて実現する
ことができる。例えば、画像の高周波成分が規則的に現
れたり、輝度勾配が急であったりする部分が、横書きの
文字の場合は横方向に長く分布し、縦書きの文字の場合
は縦方向に長く分布するといった特性を利用して、抽出
することができる。また、この文字らしい部分の形状に
よって、上述の記号位置の集合に基づいて決定される画
像範囲を修正・調整してもよい。Alternatively, a range may be designated by designating one point in the designated posture, selecting that point in the selected posture, and automatically extracting a character-like portion around the point. The character-likeness can be realized by using a function known to those skilled in the information processing technical field. For example, the parts where the high-frequency components of the image appear regularly or the brightness gradient is steep are horizontally distributed in the case of horizontally written characters, and vertically distributed in the case of vertically written characters. It can be extracted by utilizing such characteristics. Further, the image range determined based on the above-described set of symbol positions may be corrected / adjusted depending on the shape of the character-like portion.

【００７７】次に、本発明装置の使用方法とその際の操
作手順および本装置の処理について説明する。ここで
は、本発明の使用方法として、実施形態１および実施形
態２の２つを説明する。実施形態１は、使用者が着用ま
たは携帯する画像入力部１０４のカメラによって撮影さ
れた手と指および文字を含む画像から、手と指の位置と
姿勢の情報および文字情報を獲得する場合であり、実施
形態２は、使用者が着用または携帯する画像入力部１０
４のカメラによって撮影された手と指を含む画像から手
と指の位置と姿勢を獲得し、記憶部１０１または２０１
に保存されている文字を含む画像から文字情報を獲得す
る場合である。Next, the method of using the device of the present invention, the operating procedure at that time, and the processing of the device will be described. Here, two methods of using the present invention, that is, Embodiment 1 and Embodiment 2, will be described. The first embodiment is a case in which information on the position and posture of a hand and a finger and character information are acquired from an image including a hand, a finger, and a character captured by a camera of the image input unit 104 worn or carried by a user. In the second embodiment, the image input unit 10 worn or carried by the user.
The position and posture of the hand and the finger are acquired from the image including the hand and the finger captured by the camera No. 4, and the storage unit 101 or 201
This is a case where character information is acquired from an image containing a character stored in.

【００７８】なお、以下の説明では、端末装置１０のみ
で処理した場合について説明するが、上述したように、
手指画像認識機能３００と手指画像認識機能４００、記
号位置決定機能３０１と記号位置決定機能４０１、範囲
指定機能３０２と範囲指定機能４０２、文字認識機能手
段３０３と文字認識機能手段４０３、文字コードデータ
変換機能３０４と文字コードデータ変換機能４０４はそ
れぞれ同等の機能であるため、端末装置１０またはホス
ト装置２０のどちらかにそれぞれの機能が備わってい
て、端末装置１０とホスト装置２０を組み合わせて処理
してもよい。In the following description, the case where the processing is performed only by the terminal device 10 will be described. However, as described above,
Finger image recognition function 300 and finger image recognition function 400, symbol position determination function 301 and symbol position determination function 401, range designation function 302 and range designation function 402, character recognition function means 303 and character recognition function means 403, character code data conversion Since the function 304 and the character code data conversion function 404 are equivalent functions, either the terminal device 10 or the host device 20 has the respective functions, and the terminal device 10 and the host device 20 are processed in combination. Good.

【００７９】図８は、本発明の実施形態１を示す模式図
である。この例では、使用者が着用または携帯する画像
入力部１０４のカメラによって手と指および文字を含む
画像が撮影され、使用者は表示部１０３の表示器に表示
されている撮影画像を見ながら、その撮影画像に含まれ
る「第１８会議室」という文字を、範囲指定機能３０２
を用いて選択している。FIG. 8 is a schematic diagram showing the first embodiment of the present invention. In this example, an image including a hand, a finger, and a character is photographed by the camera of the image input unit 104 worn or carried by the user, and the user looks at the photographed image displayed on the display unit 103, The text "18th conference room" included in the captured image is replaced by the range designation function 302
Is selected using.

【００８０】図８に示す例では、指示記号を矢印マーク
のポインタを用いて表示し、指示姿勢を認識した後に選
択姿勢を認識してから、再び前記指示姿勢を認識するま
での間の選択記号の軌跡を白丸で表示し、画像範囲を表
す矩形を点線矩形で表示しているが、もちろん、他の記
号や図形を用いてもよい。In the example shown in FIG. 8, the indication symbol is displayed using the pointer of the arrow mark, and the selection symbol from the time when the selected posture is recognized after the designation posture is recognized until the designation posture is recognized again. The locus of No. is displayed as a white circle and the rectangle representing the image range is shown as a dotted rectangle, but, of course, other symbols or figures may be used.

【００８１】図９は、本発明の実施形態１で本発明装置
が行う処理のフローである。また、図１０は、図９の処
理がＦ１１４まで到達する場合に、使用者が行う操作の
フローの例である。FIG. 9 is a flow chart of processing performed by the device of the present invention in the first embodiment of the present invention. Further, FIG. 10 is an example of a flow of an operation performed by the user when the process of FIG. 9 reaches F114.

【００８２】まず、本装置は、画像入力部１０４で画像
を撮影し、実施形態１を開始する仮想ボタン（またはメ
ニュー）や使用者への他の仮想ボタンおよびメニュー等
を含む提示情報を撮影画像に重畳して、グラフィカルユ
ーザーインターフェイス（ＧＵＩ）として表示部１０３
に表示する（Ｆ１００）。実施形態１を開始する仮想ボ
タンが表示されている部分を、指示姿勢で指示し、選択
姿勢で選択した（Ｓ１００）ことを認識、または他の仮
想ボタンやメニューを選んだことを認識するまで処理Ｆ
１００を繰り返す（Ｆ１０１）。実施形態１を開始する
仮想ボタン以外の仮想ボタンやメニューが選ばれたと認
識すれば他の処理に移る（Ｆ１１６）。First, the present apparatus captures an image with the image input unit 104 and captures presentation information including a virtual button (or menu) for starting the first embodiment and other virtual buttons and menus for the user. On the display unit 103 as a graphical user interface (GUI).
(F100). Processing is performed until the part in which the virtual button for starting the first embodiment is displayed is instructed in the instructed attitude and is selected in the selected attitude (S100), or that another virtual button or menu is selected. F
100 is repeated (F101). If it is recognized that a virtual button or menu other than the virtual button for starting the first embodiment is selected, the process moves to another process (F116).

【００８３】処理Ｆ１０１で実施形態１が選ばれたと認
識すると、画像を撮影し、実施形態１を開始する仮想ボ
タンを含まないＧＵＩを表示する（Ｆ１０２）。次に、
手指画像認識機能３００により、使用者の指示姿勢（Ｓ
１０１）を認識するまで処理Ｆ１０２を繰り返す（Ｆ１
０３）。When it is recognized that the first embodiment is selected in the process F101, an image is taken and a GUI not including the virtual button for starting the first embodiment is displayed (F102). next,
With the finger image recognition function 300, the user's pointing posture (S
The process F102 is repeated until (101) is recognized (F1
03).

【００８４】処理Ｆ１０３で指示姿勢を認識すると、記
号位置決定機能３０１により指示記号位置を決定し（Ｆ
１０４）、画像を撮影し、該指示記号を含むＧＵＩを表
示する（Ｆ１０５）。次に、手指画像認識機能３００に
より使用者の選択姿勢（Ｓ１０２）を認識するまで処理
Ｆ１０５を繰り返す（Ｆ１０６）。When the pointing posture is recognized in the process F103, the pointing position is determined by the symbol position determining function 301 (F
104), an image is taken, and a GUI including the instruction symbol is displayed (F105). Next, the process F105 is repeated until the user's finger image recognition function 300 recognizes the selected posture (S102) of the user (F106).

【００８５】処理Ｆ１０６で選択姿勢を認識すると、記
号位置決定機能３０１により選択記号位置を決定し、そ
の位置を範囲指定機能３０２のために蓄積し（Ｆ１０
７）、画像を撮影し、該選択記号および選択記号の軌跡
を示す記号（図８の例では白丸）を含むＧＵＩを表示す
る（Ｆ１０８）。次に、手指画像認識機能３００により
使用者の選択姿勢（Ｓ１０２）を認識し続ける間、処理
Ｆ１０７および処理Ｆ１０８を繰り返す（Ｆ１０９）。
処理Ｆ１０９で指示姿勢（Ｓ１０３）を認識すると、記
号位置決定機能３０１により指示記号位置を決定する
（Ｆ１１０）。なお、処理Ｆ１０９で指示姿勢も選択姿
勢も認識できなければ処理を終了し、文字コードデータ
は記憶されない。When the selected posture is recognized in the process F106, the selected symbol position is determined by the symbol position determination function 301, and the position is stored for the range designation function 302 (F10
7), an image is captured, and a GUI including the selection symbol and a symbol (white circle in the example of FIG. 8) indicating the locus of the selection symbol is displayed (F108). Next, while continuing to recognize the selected posture (S102) of the user by the finger image recognition function 300, the processing F107 and the processing F108 are repeated (F109).
When the pointing posture (S103) is recognized in the process F109, the pointing symbol position is determined by the symbol position determining function 301 (F110). If neither the designated posture nor the selected posture can be recognized in the process F109, the process ends and the character code data is not stored.

【００８６】処理Ｆ１１０で指示記号位置を決定した
後、範囲指定機能３０２により画像範囲を求めてその時
点の画像を保存し（Ｆ１１１）、画像を撮影し、指示記
号および画像範囲を表す図形（図８の例では点線矩形）
を含むＧＵＩを表示する（Ｆ１１２）。次に、処理Ｆ１
１１で保存した画像の画像範囲内の部分から文字認識機
能３０３により文字認識を行い、文字が認識できなけれ
ば処理は終了となり、文字コードデータは記憶されない
（Ｆ１１３）。After the instruction symbol position is determined in the process F110, the range designating function 302 determines the image range and saves the image at that time (F111). The image is photographed, and the figure representing the instruction symbol and the image range (Fig. (Dotted rectangle in example 8)
A GUI including is displayed (F112). Next, process F1
Character recognition is performed by the character recognition function 303 from the portion within the image range of the image stored in 11, and if the character cannot be recognized, the process ends and the character code data is not stored (F113).

【００８７】文字が認識できれば、認識した文字の確
認、選択、修正処理（Ｓ１０４、Ｆ１１４）を行い、最
終的に確認、選択、修正された文字があれば、その文字
コードデータを記憶部１０１に記憶し（Ｆ１１５）、処
理を終了する。なければ文字コードデータは記憶せず終
了する。If the character can be recognized, the recognized character is confirmed, selected, and corrected (S104, F114). If there is a finally confirmed, selected, and corrected character, the character code data is stored in the storage unit 101. The data is stored (F115), and the process ends. If not, the character code data is not stored and the process ends.

【００８８】図１１は、本発明の実施形態２を示す模式
図である。この例では、使用者が着用または携帯する画
像入力部１０４のカメラによって撮影された手と指を含
む画像とともに、記憶部１０１に保存されている文字認
識の対象画像が、表示部１０３の表示器に表示される。
使用者は表示部を見ながら、記憶部１０１に保存されて
いる対象画像に含まれる「実験室Ａ」という文字を、範
囲指定機能３０２を用いて選択している。FIG. 11 is a schematic diagram showing Embodiment 2 of the present invention. In this example, the target image for character recognition stored in the storage unit 101 is displayed on the display unit of the display unit 103 together with the image including the hands and fingers taken by the camera of the image input unit 104 worn or carried by the user. Is displayed in.
The user uses the range designation function 302 to select the character “Laboratory A” included in the target image stored in the storage unit 101 while looking at the display unit.

【００８９】図１１に示す例では、その時点での撮影画
像は表示器の画面の右下に対象画像に重畳して表示され
ているが、もちろん、他の位置でもよいし、重畳せず
に、例えば表示器の画面の左上に対象画像を、右上に撮
影画像を、下には他の情報を表示するなどしてもよい。In the example shown in FIG. 11, the picked-up image at that time is displayed in the lower right of the screen of the display device so as to be superimposed on the target image. For example, the target image may be displayed on the upper left of the screen of the display, the captured image may be displayed on the upper right, and other information may be displayed below.

【００９０】図１２は、本発明の実施形態２で本発明装
置が行う処理のフローである。また、図１３は、図１２
の処理がＦ２１６まで到達する場合に、使用者が行う操
作のフローである。FIG. 12 is a flow of processing performed by the device of the present invention in the second embodiment of the present invention. In addition, FIG.
This is a flow of the operation performed by the user when the process (1) reaches F216.

【００９１】まず、本装置は、画像入力部１０４で画像
を撮影し、実施形態２を開始する仮想ボタン（またはメ
ニュー）や使用者への他の仮想ボタンおよびメニュー等
を含む提示情報を撮影画像に重畳して、グラフィカルユ
ーザーインターフェイス（ＧＵＩ）として表示部１０３
に表示する（Ｆ２００）。実施形態２を開始する仮想ボ
タンが表示されている部分を、使用者が指示姿勢で指示
し、選択姿勢で選択した（Ｓ２００）ことを認識、また
は他の仮想ボタンやメニューを選んだことを認識するま
で処理Ｆ２００を繰り返す（Ｆ２０１）。実施形態２を
開始する仮想ボタン以外の仮想ボタンやメニューが選ば
れたと認識すれば他の処理に移る（Ｆ２１８）。First, the present apparatus captures an image with the image input unit 104 and captures presentation information including a virtual button (or menu) for starting the second embodiment and other virtual buttons and menus for the user. On the display unit 103 as a graphical user interface (GUI).
(F200). Recognizing that the user has instructed the position in which the virtual button for starting the second embodiment is displayed in the pointing posture and selected in the selected posture (S200), or that another virtual button or menu has been selected. The process F200 is repeated until it is performed (F201). If it is recognized that a virtual button or a menu other than the virtual button for starting the second embodiment is selected, the process moves to another process (F218).

【００９２】処理Ｆ２０１で実施形態２が選ばれたと認
識すると、画像を撮影し、記憶部１０１に保存されてい
る画像のサムネイル画像（縮小画像）、または通信部１
０２を介してインターネットやホスト装置などから受信
したサムネイル画像の一覧を表示する（Ｆ２０２）。When the processing F201 recognizes that the second embodiment is selected, an image is photographed and a thumbnail image (reduced image) of the image stored in the storage unit 101 or the communication unit 1 is taken.
A list of thumbnail images received from the Internet or the host device via 02 is displayed (F202).

【００９３】図１４は、文字認識の対象画像を選択する
ためのＧＵＩの例を示した模式図である。この例ではサ
ムネイル画像の一覧および、該一覧をスクロールさせる
上下のスクロール仮想ボタンが表示されている。この例
では、例えば、選択したい画像のサムネイル画像が表示
されている部分を、使用者が指示姿勢で指示し、選択姿
勢で選択した（Ｓ２０１）ことを認識する（Ｆ２０３）
ことで、対象画像を選択することができる。FIG. 14 is a schematic diagram showing an example of a GUI for selecting a target image for character recognition. In this example, a list of thumbnail images and up / down scroll virtual buttons for scrolling the list are displayed. In this example, for example, it is recognized that the user has designated the portion in which the thumbnail image of the image to be selected is displayed in the designated posture and selected the selected posture (S201) (F203).
Thus, the target image can be selected.

【００９４】処理Ｆ２０３で対象画像を選択すると、画
像を撮影し、図１１の例のように、撮影画像、対象画像
を含むＧＵＩを表示する（Ｆ２０４）。次に、手指画像
認識機能３００により使用者の選択姿勢（Ｓ２０２）を
認識するまで処理Ｆ２０４を繰り返す（Ｆ２０５）。When the target image is selected in the process F203, the image is captured and a GUI including the captured image and the target image is displayed as in the example of FIG. 11 (F204). Next, the process F204 is repeated until the user's finger image recognition function 300 recognizes the selected posture (S202) of the user (F205).

【００９５】処理Ｆ２０５で指示姿勢を認識すると、記
号位置決定機能３０１により指示記号位置を決定し（Ｆ
２０６）、画像を撮影し、該指示記号を含むＧＵＩを表
示する（Ｆ２０７）。次に、手指画像認識機能３００に
より使用者の選択姿勢（Ｓ２０３）を認識するまで処理
Ｆ２０７を繰り返す（Ｆ２０８）。When the pointing posture is recognized in the process F205, the pointing symbol position is determined by the symbol position determining function 301 (F
206), an image is taken, and a GUI including the instruction symbol is displayed (F207). Next, the process F207 is repeated until the user's finger image recognition function 300 recognizes the selected posture (S203) of the user (F208).

【００９６】処理Ｆ２０８で選択姿勢を認識すると、記
号位置決定機能３０１により選択記号位置を決定し、そ
の位置を範囲指定機能３０２のために蓄積し（Ｆ２０
９）、画像を撮影し、該選択記号および選択記号の軌跡
を示す記号（図１１の例では白丸）を含むＧＵＩを表示
する（Ｆ２１０）。次に、手指画像認識機能３００によ
り使用者の選択姿勢（Ｓ２０３）を認識し続ける間、処
理Ｆ２０９および処理Ｆ２１０を繰り返す（Ｆ２１
１）。処理Ｆ２１１で指示姿勢（Ｓ２０４）を認識する
と、記号位置決定機能３０１により指示記号位置を決定
する（Ｆ２１２）。なお、処理Ｆ２１１で指示姿勢も選
択姿勢も認識できなければ処理を終了し、文字コードデ
ータは記憶されない。When the selected posture is recognized in the process F208, the selected symbol position is determined by the symbol position determination function 301, and the position is stored for the range designation function 302 (F20
9), an image is taken, and a GUI including the selection symbol and a symbol (white circle in the example of FIG. 11) indicating the locus of the selection symbol is displayed (F210). Next, the process F209 and the process F210 are repeated while continuing to recognize the selected posture (S203) of the user by the finger image recognition function 300 (F21).
1). When the pointing posture (S204) is recognized in the process F211, the pointing symbol position is determined by the symbol position determining function 301 (F212). If neither the designated posture nor the selected posture can be recognized in the process F211, the process ends and the character code data is not stored.

【００９７】処理Ｆ２１２で指示記号位置を決定した
後、範囲指定機能３０２により画像範囲を求め（Ｆ２１
３）、画像を撮影し、指示記号および画像範囲を表す図
形（図１１の例では点線矩形）を含むＧＵＩを表示する
（Ｆ２１４）。次に、対象画像の画像範囲内の部分から
文字認識機能３０３により文字認識を行い、文字が認識
できなければ処理は終了となり、文字コードデータは記
憶されない（Ｆ２１５）。After the pointing symbol position is determined in the process F212, the image range is obtained by the range designation function 302 (F21
3), an image is taken, and a GUI including an instruction symbol and a graphic (dotted rectangle in the example of FIG. 11) representing the image range is displayed (F214). Next, character recognition is performed from the portion within the image range of the target image by the character recognition function 303, and if the character cannot be recognized, the process ends and the character code data is not stored (F215).

【００９８】文字が認識できれば、認識した文字の確
認、選択、修正処理（Ｓ２０５、Ｆ２１６）を行い、最
終的に確認、選択、修正された文字があれば、その文字
コードデータを記憶部１０１に記憶し（Ｆ２１７）、処
理を終了する。なければ文字コードデータは記憶せず終
了する。If the character can be recognized, the recognized character is confirmed, selected, and corrected (S205, F216). If there is a finally confirmed, selected, and corrected character, the character code data is stored in the storage unit 101. It is stored (F217), and the process ends. If not, the character code data is not stored and the process ends.

【００９９】もちろん、実施形態１、２が終了した時点
で記憶部１０２に記憶した文字コードデータは、インタ
ーネットやデータベースの検索キーワードまたはオペレ
ーションシステムやアプリケーションのコマンドや入力
文字または文字認識に使われた画像（この場合は撮影画
像）の付加情報などに用いることができる。例えば、記
憶部１０２に記憶された文字コードデータをキーボード
イベントとしてＧＵＩに送信したり、後処理として対象
画像のヘッダ情報などに文字コードデータを埋め込む処
理をしたりすることで、記憶された文字コードデータを
利用できる。Of course, the character code data stored in the storage unit 102 at the time when the first and second embodiments are completed is the search keyword of the Internet or the database, the command of the operation system or the application, the input character or the image used for character recognition. It can be used as additional information (in this case, a captured image). For example, the character code data stored in the storage unit 102 is transmitted to the GUI as a keyboard event, or the character code data stored in the header information of the target image is embedded as post-processing. Data available.

【０１００】ここで、処理Ｆ１１４、Ｆ２１６およびス
テップ１０４、２０５、つまり、認識した文字の確認、
選択、修正処理（操作）の詳細な説明をする。図１５
は、認識した文字の候補を選択するためのＧＵＩの例を
示した模式図である。この図の例では、認識した文字の
候補として４つが文字認識機能３０３から得られ、それ
らの文字コードデータに対応する文字を、文字フォント
データを用いてボタンのように並べて表示している。Here, processing F114, F216 and steps 104, 205, that is, confirmation of the recognized character,
A detailed description will be given of the selection / correction process (operation). Figure 15
FIG. 6 is a schematic diagram showing an example of a GUI for selecting a recognized character candidate. In the example of this figure, four recognized character candidates are obtained from the character recognition function 303, and the characters corresponding to those character code data are displayed side by side like buttons using character font data.

【０１０１】図１６は、認識した文字を修正するための
ＧＵＩの例を示した模式図である。この図の例では、編
集可能なテキストボックスが上部に、携帯電話などで広
く使われているテンキー型の仮想キーボードがその下に
表示されている。FIG. 16 is a schematic diagram showing an example of a GUI for correcting a recognized character. In the example of this figure, an editable text box is displayed at the top, and a numeric keypad type virtual keyboard widely used in mobile phones and the like is displayed below it.

【０１０２】図１７は、認識した文字の確認、選択、修
正のために本発明装置が行う処理のフローである。ま
た、図１８は、図１７の処理がＦ３０７に到達する場合
に、使用者が行う操作のフローである。FIG. 17 is a flow chart of processing performed by the device of the present invention for confirming, selecting and correcting the recognized character. Further, FIG. 18 is a flow of operations performed by the user when the process of FIG. 17 reaches F307.

【０１０３】まず、文字認識機能３０３で得られた認識
結果の候補の数を調べる（Ｆ３００）。候補が複数であ
れば、画像を撮影し、候補の一覧を含むＧＵＩを、図１
５のように表示する（Ｆ３０１）。使用者がそれを確認
し（Ｓ３００）、例えば、選択したい候補が表示されて
いる部分を、使用者が指示姿勢で指示し、選択姿勢で選
択した（Ｓ３０１）ことを認識する（Ｆ３０２）こと
で、候補を選択することができる。First, the number of recognition result candidates obtained by the character recognition function 303 is checked (F300). If there are multiple candidates, an image is taken and a GUI including a list of candidates is displayed in FIG.
It is displayed like 5 (F301). The user confirms it (S300), and, for example, recognizes that the user has designated the portion in which the candidate to be selected is displayed in the designated posture and selected the selected posture (S301) (F302). , Can select a candidate.

【０１０４】次に、画像を撮影し、候補が１つの場合は
その候補を、複数の場合は選択した候補、および決定仮
想ボタン、修正仮想ボタン、キャンセル仮想ボタンを含
むＧＵＩを表示する（Ｆ３０３）。いずれかの仮想ボタ
ンが選択されるまで、処理Ｆ３０３を繰り返す（Ｆ３０
４）。Next, an image is taken, and when there is one candidate, the candidate is displayed, and when there are a plurality of candidates, the selected candidate and the GUI including the decision virtual button, the correction virtual button, and the cancel virtual button are displayed (F303). . The process F303 is repeated until any virtual button is selected (F30
4).

【０１０５】使用者がキャンセル仮想ボタンを選択した
ことを認識した場合は、処理がキャンセルされる。決定
仮想ボタンを選択したと認識した場合は、処理Ｆ３０３
で表示されている候補の文字コードデータを後段の処
理、例えば、Ｆ１１５やＦ２１７に渡す。修正仮想ボタ
ンを選択した（Ｓ３０２）と認識した場合は、画像を撮
影し、処理Ｆ３０３で表示されている候補を表示したテ
キストボックス、および仮想キーボードを含むＧＵＩ
を、図１６のように表示する（Ｆ３０５）。When the user recognizes that the cancel virtual button has been selected, the process is canceled. If it is recognized that the decision virtual button has been selected, the process F303.
The candidate character code data displayed in is passed to the subsequent process, for example, F115 or F217. If it is recognized that the correction virtual button has been selected (S302), an image is taken, and a GUI including a virtual box and a text box displaying the candidates displayed in process F303 is displayed.
Is displayed as shown in FIG. 16 (F305).

【０１０６】テキストボックス内のカーソルは、指示姿
勢で指示し選択姿勢で選択することで、修正したい文字
の位置に移動することができる。例えば、消去したい文
字があればその文字を指示し選択した後、仮想キーボー
ドのクリアキーを選択すればよい。また、カーソル位置
に文字を入力したい場合は、仮想キーボードの各キーを
選択して入力すればよい（Ｆ３０６、Ｓ３０３）。The cursor in the text box can be moved to the position of the character to be corrected by pointing in the pointing posture and selecting in the selection posture. For example, if there is a character to be erased, the character may be designated and selected, and then the clear key of the virtual keyboard may be selected. Further, when it is desired to input a character at the cursor position, each key of the virtual keyboard may be selected and input (F306, S303).

【０１０７】修正中は、使用者が決定仮想ボタンを選択
した（Ｓ３０４）かどうかを認識し（Ｆ３０７）、選択
しない限り修正処理（操作）は続けられる。決定仮想ボ
タンが選択されれば、その時点でテキストボックスに表
示してある文字の文字コードデータを、後段の処理、例
えば、Ｆ１１５やＦ２１７に渡す。During the correction, it is recognized whether the user has selected the decision virtual button (S304) (F307), and the correction process (operation) is continued unless it is selected. If the decision virtual button is selected, the character code data of the character displayed in the text box at that time is passed to the subsequent process, for example, F115 or F217.

【０１０８】なお、文字認識の対象となる文字は、活字
や看板の文字だけではなく、手書きの文字も対象となる
ことは言うまでもない。例えば、紙やホワイトボードに
手書きで字を書き、それを撮影し、手と指で範囲指定す
ることで文字情報を入力することができる。さらに、コ
ンピュータの処理能力および文字認識の精度が向上すれ
ば、範囲指定せずに画像中のすべての文字を認識してか
ら、使いたい結果の候補だけを図１５のように手と指で
指示、選択して選んでもよい。It goes without saying that the character recognition target character is not only a character of a printed character or a signboard but also a handwritten character. For example, it is possible to input character information by writing a character on paper or a whiteboard by handwriting, photographing it, and designating a range with hands and fingers. Furthermore, if the processing power of the computer and the accuracy of character recognition are improved, all the characters in the image are recognized without specifying the range, and then only the desired result to be used is indicated with the hands and fingers as shown in FIG. , You may select and choose.

【０１０９】また、上述の仮想ボタンやメニューで行う
操作は、他の方法で操作することもできる。表示器の画
面のある部分、例えば、左上隅を指示し選択すると、処
理のキャンセルをすることができるなどが考えられる。
また、じゃんけんのパー、チョキ、グーのようなさまざ
まな姿勢を、指示姿勢や選択姿勢だけではなく、決定姿
勢、キャンセル姿勢などとして認識し操作できるように
してもよい。Further, the above-mentioned operations performed using the virtual buttons and menus can be performed by other methods. It is conceivable that the process can be canceled by instructing and selecting a certain part of the screen of the display, for example, the upper left corner.
In addition, various postures such as a rock-paper-scissor rock, rock, and goo may be recognized and operated not only as the designated posture and the selected posture but also as the determined posture, the cancel posture, and the like.

【０１１０】次に本発明に係る他の実施形態について述
べる。本発明の目的は、上述した実施形態の機能を実現
するプログラムを記録した記録媒体を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータやＣＰＵやＭＰＵが記録媒体に格納されたプログラ
ムを読み出し、実行することによっても、達成されるこ
とは言うまでもない。Next, another embodiment according to the present invention will be described. An object of the present invention is to supply a recording medium recording a program that realizes the functions of the above-described embodiments to a system or apparatus, and a computer, CPU, or MPU of the system or apparatus reads the program stored in the recording medium. Needless to say, it can be achieved by executing.

【０１１１】この場合、記録媒体から読み出されたプロ
グラム自体が上述した実施形態の機能を実現することに
なり、そのプログラムを記録した記録媒体は本発明を構
成することになる。In this case, the program itself read from the recording medium realizes the functions of the above-described embodiments, and the recording medium recording the program constitutes the present invention.

【０１１２】そのプログラムを記録し、またそのプログ
ラムで読み込まれるデータを記録する記録媒体として
は、例えば、磁気テープやカセットテープ等のテープ媒
体、フロッピー（登録商標）ディスクやハードディスク
等の磁気ディスクやＣＤ−ＲＯＭ／ＣＤ−Ｒ／ＣＤ−Ｒ
Ｗ／ＭＯ／ＭＤ／ＤＶＤ−ＲＯＭ／ＤＶＤ−Ｒ／ＤＶＤ
−ＲＷ／ＤＶＤ＋ＲＷ／ＤＶＤ−ＲＡＭ等の光（磁気）
ディスクを含むディスク媒体、不揮発性のメモリカード
／光カード等のカード媒体、ＲＯＭなどを用いことがで
きる。Recording media for recording the program and for recording data read by the program include, for example, tape media such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks and hard disks, and CDs. -ROM / CD-R / CD-R
W / MO / MD / DVD-ROM / DVD-R / DVD
-Light (magnetism) of RW / DVD + RW / DVD-RAM etc.
A disk medium including a disk, a card medium such as a non-volatile memory card / optical card, and a ROM can be used.

【０１１３】また、コンピュータが読み出したプログラ
ムを実行することにより、上述の実施形態の機能が実現
されるだけでなく、そのプログラムの指示に基づいて、
コンピュータ上で稼動しているＯＳなどが実際の処理の
一部または全部を行ない、その処理によって上述した実
施形態の機能が実現される場合も含まれることは言うま
でもない。Further, by executing the program read by the computer, not only the functions of the above-described embodiment are realized, but also based on the instruction of the program,
It goes without saying that this also includes the case where an OS or the like running on a computer performs a part or all of the actual processing and the processing realizes the functions of the above-described embodiments.

【０１１４】[0114]

【発明の効果】以上に説明したように、本発明によれ
ば、カメラおよび表示器および使用者の手と指を用い
て、屋内や屋外に表記の文字または手書きの文字を文字
コードデータに変換することで、文字情報を迅速にしか
も確実にかつ簡単に入力できる。特に、着用型コンピュ
ータ、携帯型コンピュータ、携帯電話、ＰＤＡ、リモコ
ン、デジタルカメラなどの着用、携帯型装置にとって有
効な文字情報入力インターフェイスを提供する。As described above, according to the present invention, characters written indoors or outdoors or handwritten characters are converted into character code data using the camera, the display, and the user's hands and fingers. By doing so, the character information can be input quickly, reliably and easily. In particular, the present invention provides a character information input interface effective for wearable and portable devices such as wearable computers, portable computers, mobile phones, PDAs, remote controllers, and digital cameras.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の実施形態の文字情報入力装置の構成を
示すブロック図である。FIG. 1 is a block diagram showing a configuration of a character information input device according to an embodiment of the present invention.

【図２】本発明の実施形態の文字情報入力装置のホスト
の構成を示すブロック図である。FIG. 2 is a block diagram showing a configuration of a host of the character information input device according to the embodiment of the present invention.

【図３】本発明の実施形態の文字情報入力装置の通信シ
ステムの構成を示す模式図である。FIG. 3 is a schematic diagram showing a configuration of a communication system of the character information input device according to the embodiment of the present invention.

【図４】画像入力部１０４を構成するカメラの着用位置
を示す模式図である。FIG. 4 is a schematic diagram showing a wearing position of a camera which constitutes the image input unit 104.

【図５】表示部１０３を構成する表示器の着用位置を示
す模式図である。FIG. 5 is a schematic diagram showing a wearing position of an indicator that constitutes the display unit 103.

【図６】本発明の実施形態の文字情報入力装置を使用す
る際に画像入力部１０４で撮影する手と指の姿勢の例を
示す模式図である。FIG. 6 is a schematic diagram showing an example of postures of a hand and a finger captured by the image input unit 104 when using the character information input device according to the embodiment of the present invention.

【図７】範囲指定機能３０２と範囲指定機能４０２によ
り指定される矩形の例を示す模式図である。7 is a schematic diagram showing an example of a rectangle designated by a range designating function 302 and a range designating function 402. FIG.

【図８】本発明の実施形態１を示す模式図である。FIG. 8 is a schematic diagram showing Embodiment 1 of the present invention.

【図９】本発明の実施形態１で本発明装置が行う処理の
フローである。FIG. 9 is a flow of processing performed by the device of the present invention in Embodiment 1 of the present invention.

【図１０】図９の処理がＦ１１４まで到達する場合に、
使用者が行う操作のフローの例である。FIG. 10 shows a case where the process of FIG. 9 reaches F114,
It is an example of a flow of operations performed by a user.

【図１１】本発明の実施形態２を示す模式図である。FIG. 11 is a schematic diagram showing Embodiment 2 of the present invention.

【図１２】本発明の実施形態２で本発明装置が行う処理
のフローである。FIG. 12 is a flow of processing performed by the device of the present invention in Embodiment 2 of the present invention.

【図１３】図１２の処理がＦ２１６まで到達する場合
に、使用者が行う操作のフローである。13 is a flow of operations performed by the user when the process of FIG. 12 reaches F216.

【図１４】文字認識の対象画像を選択するためのＧＵＩ
の例を示した模式図である。FIG. 14 is a GUI for selecting a target image for character recognition.
It is a schematic diagram showing an example of.

【図１５】認識した文字の候補を選択するためのＧＵＩ
の例を示した模式図である。FIG. 15 is a GUI for selecting a recognized character candidate.
It is a schematic diagram showing an example of.

【図１６】認識した文字を修正するためのＧＵＩの例を
示した模式図である。FIG. 16 is a schematic diagram showing an example of a GUI for correcting a recognized character.

【図１７】認識した文字の確認、選択、修正のために本
発明装置が行う処理のフローである。FIG. 17 is a flowchart of processing performed by the device of the present invention for confirming, selecting, and correcting a recognized character.

【図１８】図１７の処理がＦ３０７に到達する場合に、
使用者が行う操作のフローである。FIG. 18 shows a case where the processing of FIG. 17 reaches F307,
It is a flow of operations performed by the user.

【符号の説明】[Explanation of symbols]

１０ 端末装置 ２０ ホスト装置 ３０ 基地局 ３１ 交換網 ５０ 肩に着用したカメラ ５１ 胸部に着用したカメラ ５２ 耳に着用したカメラ ５３ 眼鏡やサングラスなどのフレームに装備したカメ
ラ ６０ 額と側頭部を支点とする留め具に装着された表示
器 ６１ 耳と後頭部を支点とする留め具に装着された表示
器 ６２ 眼鏡やサングラスなどのレンズ前面、または内部
に装着された表示器 １００ 情報処理制御部（端末装置１０に装備） １０１ 記憶部（端末装置１０に装備） １０２ 通信部（端末装置１０に装備） １０３ 表示部（端末装置１０に装備） １０４ 画像入力部（ホスト装置２０に装備） ２００ 情報処理制御部（ホスト装置２０に装備） ２０１ 記憶部（ホスト装置２０に装備） ２０２ 通信部（ホスト装置２０に装備） ３００ 手指画像認識機能（端末装置１０の機能） ３０１ 記号位置決定機能（端末装置１０の機能） ３０２ 範囲指定機能（端末装置１０の機能） ３０３ 文字認識機能（端末装置１０の機能） ３０４ 文字コードデータ変換機能（端末装置１０の機
能） ３０５ 画像圧縮展開機能（端末装置１０の機能） ４００ 手指画像認識機能（ホスト装置２０の機能） ４０１ 記号位置決定機能（ホスト装置２０の機能） ４０２ 範囲指定機能（ホスト装置２０の機能） ４０３ 文字認識機能（ホスト装置２０の機能） ４０４ 文字コードデータ変換機能（ホスト装置２０の
機能） ４０５ 画像圧縮展開機能（ホスト装置２０の機能） ５００ ２本指を使った指示姿勢 ５０１ ２本指を使った選択姿勢 ５０２ １本指を使った指示姿勢 ５０３ １本指を使った選択姿勢10 terminal device 20 host device 30 base station 31 exchange network 50 camera 51 worn on shoulder 51 camera worn on chest 52 camera worn on ear 53 camera 60 mounted on a frame such as glasses or sunglasses Display 61 mounted on a fastener 61 Display mounted on a fastener having ears and occipital regions as fulcrums 62 Display 100 mounted on the front surface of a lens such as glasses or sunglasses or an information processing control unit (terminal device) 10 equipped) 101 storage unit (equipped with terminal device 10) 102 communication unit (equipped with terminal device 10) 103 display unit (equipped with terminal device 10) 104 image input unit (equipped with host device 20) 200 information processing control unit (Equipped with host device 20) 201 Storage unit (equipped with host device 20) 202 Communication unit (equipped with host device 20) 300 Finger image recognition Function (function of terminal device 10) 301 Symbol position determination function (function of terminal device 10) 302 Range designation function (function of terminal device 10) 303 Character recognition function (function of terminal device 10) 304 Character code data conversion function (terminal Function of device 10 305 Image compression / decompression function (function of terminal device 10) 400 Finger image recognition function (function of host device 20) 401 Symbol position determination function (function of host device 20) 402 Range designation function (function of host device 20) Function) 403 Character recognition function (function of host device 20) 404 Character code data conversion function (function of host device 20) 405 Image compression / decompression function (function of host device 20) 500 Two-finger pointing posture 501 two Selection posture using fingers 502 Instruction posture using one finger 503 Selection posture using one finger

───────────────────────────────────────────────────── フロントページの続き (72)発明者 加藤 丈和 茨城県つくば市東１−１−１ 独立行政法 人産業技術総合研究所つくばセンター内 (72)発明者 坂上 勝彦 茨城県つくば市東１−１−１ 独立行政法 人産業技術総合研究所つくばセンター内 Ｆターム(参考） 5B064 AA07 CA08 EA12 EA13 FA04 FA13 FA18 5B087 AA07 AA09 AB02 AE06 BC06 CC33 DD03 DD14 DG02    ─────────────────────────────────────────────────── ─── Continued front page    (72) Inventor Takekazu Kato             1-1-1 Higashi 1-1-1 Tsukuba City, Ibaraki Prefecture             Inside the Tsukuba Center, National Institute of Advanced Industrial Science and Technology (72) Inventor Katsuhiko Sakagami             1-1-1 Higashi 1-1-1 Tsukuba City, Ibaraki Prefecture             Inside the Tsukuba Center, National Institute of Advanced Industrial Science and Technology F term (reference) 5B064 AA07 CA08 EA12 EA13 FA04                       FA13 FA18                 5B087 AA07 AA09 AB02 AE06 BC06                       CC33 DD03 DD14 DG02

Claims (31)

【特許請求の範囲】[Claims] 【請求項１】 カメラから撮影画像を入力する画像入力
手段と、表示器の画面に画像を表示する画像表示手段
と、前記撮影画像に写された手と指の位置および指示姿
勢および選択姿勢を認識する手指画像認識手段と、該手
指画像認識手段で認識された手と指の位置および前記姿
勢に基づいてカーソルやポインタなどの指示記号や選択
記号の前記表示器の画面上での位置を決定する記号位置
決定手段と、該記号位置決定手段で決定された前記表示
器の画面上での位置に前記記号を表示する記号表示手段
と、前記記号および前記姿勢により画像範囲を指定する
範囲指定手段と、該範囲指定手段で指定された範囲の画
像から文字を認識する文字認識手段と、該文字認識手段
で認識した文字を文字コードデータに変換する文字コー
ドデータ変換手段と、該文字コードデータ変換手段で変
換された文字コードデータを記憶媒体に記憶する文字コ
ードデータ記憶手段とを具備することを特徴とする文字
情報入力装置。1. An image inputting means for inputting a photographed image from a camera, an image displaying means for displaying an image on a screen of a display, a position of a hand and a finger, a pointing posture and a selection posture which are shown in the photographed image. A hand / finger image recognizing unit for recognizing, and a position on the screen of the display of an indication symbol or a selection symbol such as a cursor or a pointer is determined based on the positions and the postures of the hands and fingers recognized by the finger image recognizing unit. Symbol position determining means, symbol display means for displaying the symbol at the position on the screen of the display determined by the symbol position determining means, and range designating means for designating an image range by the symbol and the posture. A character recognition means for recognizing characters from the image in the range designated by the range designation means, and a character code data conversion means for converting the characters recognized by the character recognition means into character code data, And a character code data storage unit for storing the character code data converted by the character code data conversion unit in a storage medium. 【請求項２】 前記画像入力手段で入力された前記撮影
画像を圧縮または非圧縮で無線または有線の通信回路を
介して送信する入力画像送信手段と、該圧縮または非圧
縮画像を受信し圧縮画像の場合は展開する入力画像受信
手段とを有することを特徴とする請求項１に記載の文字
情報入力装置。2. An input image transmitting unit for transmitting the photographed image input by the image input unit in a compressed or non-compressed manner via a wireless or wired communication circuit, and a compressed image in which the compressed or uncompressed image is received. 2. The character information input device according to claim 1, further comprising an input image receiving means for expanding. 【請求項３】 前記範囲指定手段で指定された範囲の画
像を圧縮または非圧縮で無線または有線の通信回路を介
して送信する範囲画像送信手段と、該圧縮または非圧縮
範囲画像を受信し圧縮画像の場合は展開する範囲画像受
信手段とを有することを特徴とする請求項１または２に
記載の文字情報入力装置。3. A range image transmitting means for transmitting an image in the range designated by the range designating means via a wireless or wired communication circuit in a compressed or uncompressed state, and receiving and compressing the compressed or uncompressed range image. The character information input device according to claim 1 or 2, further comprising: a range image receiving unit for expanding an image. 【請求項４】 前記画像入力手段で入力、または無線や
有線の通信回線を介して受信した画像を記憶媒体に記憶
する画像記憶手段と、該画像記憶手段で記憶した画像を
前記表示器に表示する画像表示手段とを有することを特
徴とする請求項１ないし３のいずれかに記載の文字情報
入力装置。4. An image storage unit for storing in a storage medium an image input by the image input unit or received via a wireless or wired communication line, and an image stored in the image storage unit is displayed on the display. The character information input device according to any one of claims 1 to 3, further comprising: 【請求項５】 前記文字コードデータ記憶手段で記憶し
た文字コードデータに対応する文字を、文字フォントデ
ータを用いて前記表示器に表示する文字表示手段を有す
ることを特徴とする請求項１ないし４のいずれかに記載
の文字情報入力装置。5. The character display means for displaying a character corresponding to the character code data stored in the character code data storage means on the display using character font data. The character information input device described in any one of 1. 【請求項６】 前記文字コードデータ記憶手段で記憶し
た文字コードデータを、インターネットやデータベース
の検索キーワードまたはオペレーションシステムやアプ
リケーションのコマンドや入力文字または文字認識に使
われた画像の付加情報として用いることを特徴とする請
求項１ないし５のいずれかに記載の文字情報入力装置。6. Use of the character code data stored in the character code data storage means as a search keyword of the Internet or a database, a command of an operation system or an application, input characters, or additional information of an image used for character recognition. The character information input device according to claim 1, wherein the character information input device is a character information input device. 【請求項７】 前記カメラに、使用者の身体の一部に直
接着用または身体の一部に着用するものに装備または携
帯装置に装備したカメラを用いることを特徴とする請求
項１ないし６のいずれかに記載の文字情報入力装置。7. The camera according to claim 1, wherein the camera is a camera that is directly worn on a part of a user's body or is equipped on a part of the user's body or is equipped on a portable device. The character information input device described in any one. 【請求項８】 前記表示器に、使用者の視野に入るよう
に頭部に直接着用または頭部に着用するものに装備また
は腕に直接着用または腕に着用するものに装備した表示
器を用いることを特徴とする請求項１ないし７のいずれ
かに記載の文字情報入力装置。8. The display device includes a display device which is directly worn on the head or worn on the head or worn on the arm or worn on the arm so as to be in the visual field of the user. The character information input device according to any one of claims 1 to 7, characterized in that. 【請求項９】 前記範囲指定手段において、前記指示姿
勢を認識した後に前記選択姿勢を認識してから、再び前
記指示姿勢を認識するまでの間の前記選択記号の位置の
集合により表現される矩形または閉ループまたは直線分
または曲線分などの図形に基づいて画像範囲を指定する
ことを特徴とする請求項１ないし８のいずれかに記載の
文字情報入力装置。9. A rectangle represented by a set of positions of the selection symbols from when the range designating unit recognizes the designated posture and then recognizes the selected posture until the designated posture is recognized again. 9. The character information input device according to claim 1, wherein the image range is specified based on a closed loop, a straight line segment, or a curved line segment. 【請求項１０】 前記文字認識手段で文字認識の結果の
候補が複数存在する場合は、前記文字コードデータ変換
手段で該候補それぞれを文字コードデータに変換する手
段と、該文字コードデータに対応する文字を、文字フォ
ントデータを用いて前記表示器に表示する文字認識候補
表示手段と、表示された前記候補から１つを前記指示姿
勢で指示し前記選択姿勢で選択する文字認識結果選択手
段と、該文字認識結果選択手段で選択した候補の文字コ
ードデータを、前記文字コードデータ記憶手段によって
記憶媒体に記憶する手段とを有することを特徴とする請
求項１ないし９のいずれかに記載の文字情報入力装置。10. When there are a plurality of candidates for the result of character recognition by the character recognition means, a means for converting each of the candidates into character code data by the character code data conversion means, and a means corresponding to the character code data. Character recognition candidate display means for displaying a character on the display using character font data, and character recognition result selection means for indicating one of the displayed candidates in the designated attitude and selecting the selected attitude in the selected attitude. The character information according to any one of claims 1 to 9, further comprising means for storing the candidate character code data selected by the character recognition result selection means in the storage medium by the character code data storage means. Input device. 【請求項１１】 前記文字認識手段で文字認識の結果の
候補に正解が含まれない場合は、前記表示器に仮想キー
ボードを表示する仮想キーボード表示手段と、前記指示
姿勢および前記選択姿勢により仮想キーボードを操作す
る仮想キーボード操作手段と、前記文字認識候補表示手
段および前記文字認識結果選択手段で前記候補から１つ
を選択する手段と、該選択候補を前記文字表示手段で表
示し該仮想キーボード操作手段で修正する文字認識結果
修正手段と、該文字認識結果修正手段で修正した文字の
文字コードデータを、前記文字コードデータ記憶手段に
より記憶媒体に記憶する手段とを有することを特徴とす
る請求項１ないし１０のいずれかに記載の文字情報入力
装置。11. The virtual keyboard display means for displaying a virtual keyboard on the display unit when the candidate of the result of character recognition by the character recognition means does not include a correct answer, and the virtual keyboard according to the pointing posture and the selection posture. Virtual keyboard operating means for operating, a means for selecting one of the candidates by the character recognition candidate displaying means and the character recognition result selecting means, and a virtual keyboard operating means for displaying the selection candidate on the character displaying means. The character recognition result correcting means for correcting the character code result by the character recognition result correcting means, and the means for storing the character code data of the character corrected by the character recognition result correcting means in the storage medium by the character code data storing means. 10. The character information input device according to any one of 1 to 10. 【請求項１２】 文字情報入力装置の文字情報入力方法
において、カメラから撮影画像を入力するステップと、
表示器の画面に画像を表示する画像表示ステップと、前
記撮影画像に写された手と指の位置および指示姿勢およ
び選択姿勢を認識するステップと、該手指画像認識手段
で認識された手と指の位置および前記姿勢に基づいてカ
ーソルやポインタなどの指示記号や選択記号の前記表示
器の画面上での位置を決定するステップと、該記号位置
決定手段で決定された前記表示器の画面上での位置に前
記記号を表示するステップと、前記記号および前記姿勢
により画像範囲を指定するステップと、該範囲指定手段
で指定された範囲の画像から文字を認識するステップ
と、該文字認識手段で認識した文字を文字コードデータ
に変換するステップと、該文字コードデータ変換手段で
変換された文字コードデータを記憶媒体に記憶するステ
ップとを具備することを特徴とする文字情報入力方法。12. A method of inputting a photographed image from a camera in a character information input method of a character information input device,
An image display step of displaying an image on the screen of the display unit, a step of recognizing the positions of the hand and fingers, a pointing posture and a selected posture reflected in the photographed image, and a hand and finger recognized by the finger image recognition means. On the screen of the display device determined by the symbol position determining means, and the step of determining the position of the indication symbol or selection symbol such as a cursor or a pointer on the screen of the display device based on the position and the posture. The step of displaying the symbol at the position, the step of designating an image range by the symbol and the posture, the step of recognizing a character from the image of the range designated by the range designating means, and the recognition by the character recognizing means. And a step of storing the character code data converted by the character code data conversion means in a storage medium. Character information input method comprising. 【請求項１３】 前記撮影画像を圧縮または非圧縮で無
線または有線の通信回路を介して送信するステップと、
該圧縮または非圧縮画像を受信し圧縮画像の場合は展開
するステップとを有することを特徴とする請求項１２に
記載の文字情報入力方法。13. A step of transmitting the captured image in a compressed or non-compressed manner via a wireless or wired communication circuit,
13. The character information input method according to claim 12, further comprising the step of receiving the compressed or uncompressed image and expanding the compressed image. 【請求項１４】 前記指定された範囲の画像を圧縮また
は非圧縮で無線または有線の通信回路を介して送信する
ステップと、該圧縮または非圧縮範囲画像を受信し圧縮
画像の場合は展開するステップとを有することを特徴と
する請求項１２または１３に記載の文字情報入力方法。14. A step of transmitting an image in the specified range in a compressed or non-compressed manner via a wireless or wired communication circuit, and a step of receiving the compressed or non-compressed range image and expanding the compressed image in the case of a compressed image. 14. The character information input method according to claim 12, further comprising: 【請求項１５】 前記撮影画像、または無線や有線の通
信回線を介して受信した画像を記憶媒体に記憶するステ
ップと、該画像記憶手段で記憶した画像を前記表示器に
表示するステップとを有することを特徴とする請求項１
２ないし１４のいずれかに記載の文字情報入力方法。15. A step of storing the photographed image or an image received via a wireless or wired communication line in a storage medium, and a step of displaying the image stored in the image storage means on the display device. Claim 1 characterized by the above.
The method for inputting character information according to any one of 2 to 14. 【請求項１６】 前記文字コードデータに対応する文字
を、文字フォントデータを用いて前記表示器に表示する
ステップを有することを特徴とする請求項１２ないし１
５のいずれかに記載の文字情報入力方法。16. The method according to claim 12, further comprising the step of displaying a character corresponding to the character code data on the display using character font data.
5. The character information input method described in any one of 5. 【請求項１７】 前記文字コードデータを、インターネ
ットやデータベースの検索キーワードまたはオペレーシ
ョンシステムやアプリケーションのコマンドや入力文字
または文字認識に使われた画像の付加情報として用いる
ことを特徴とする請求項１２ないし１６のいずれかに記
載の文字情報入力方法。17. The character code data is used as a search keyword of the Internet or a database, a command of an operating system or an application, an input character, or additional information of an image used for character recognition. Text information input method described in any of. 【請求項１８】 前記カメラに、使用者の身体の一部に
直接着用または身体の一部に着用するものに装備または
携帯装置に装備したカメラを用いることを特徴とする請
求項１２ないし１７のいずれかに記載の文字情報入力方
法。18. The camera according to claim 12, wherein the camera is a camera that is directly worn on a part of the user's body or is worn on a part of the user's body or is equipped on a portable device. The text information input method described in either. 【請求項１９】 前記表示器に、使用者の視野に入るよ
うに頭部に直接着用または頭部に着用するものに装備ま
たは腕に直接着用または腕に着用するものに装備した表
示器を用いることを特徴とする請求項１２ないし１８の
いずれかに記載の文字情報入力方法。19. The display device comprises a display device which is directly worn on the head or worn on the head or worn on the arm or worn on the arm so as to be in the field of view of the user. The character information input method according to any one of claims 12 to 18, characterized in that. 【請求項２０】 前記画像範囲を指定するステップにお
いて、前記指示姿勢を認識した後に前記選択姿勢を認識
してから、再び前記指示姿勢を認識するまでの間の前記
選択記号の位置の集合により表現される矩形または閉ル
ープまたは直線分または曲線分などの図形に基づいて画
像範囲を指定することを特徴とする請求項１２ないし１
９のいずれかに記載の文字情報入力方法。20. In the step of designating the image range, expression is made by a set of positions of the selection symbols from when the selected posture is recognized after the designated posture is recognized to when the designated posture is recognized again. 12. The image range is specified based on a rectangle, a closed loop, or a figure such as a straight line segment or a curved line segment.
9. The character information input method described in any one of 9. 【請求項２１】 前記文字認識の結果の候補が複数存在
する場合は、前記文字コードデータ変換手段で該候補そ
れぞれを文字コードデータに変換するステップと、該文
字コードデータに対応する文字を、文字フォントデータ
を用いて前記表示器に表示するステップと、表示された
前記候補から１つを前記指示姿勢で指示し前記選択姿勢
で選択するステップと、該選択した候補の文字コードデ
ータを、前記文字コードデータを記憶するステップによ
って記憶媒体に記憶するステップとを有することを特徴
とする請求項１２ないし２０のいずれかに記載の文字情
報入力方法。21. When there are a plurality of candidates for the character recognition result, a step of converting each of the candidates into character code data by the character code data conversion means, and a character corresponding to the character code data Displaying on the display device using font data; pointing one of the displayed candidates in the pointing posture and selecting in the selected posture; and selecting the character code data of the selected candidate from the characters. 21. The character information input method according to claim 12, further comprising: storing the code data in a storage medium. 【請求項２２】 前記文字認識の結果の候補に正解が含
まれない場合は、前記表示器に仮想キーボードを表示す
るステップと、前記指示姿勢および前記選択姿勢により
仮想キーボードを操作するステップと、前記文字認識文
字認識の候補から１つを選択するステップと、該選択候
補を前記表示器に表示した前期仮想キーボードで修正す
るステップと、該修正した文字の文字コードデータを記
憶媒体に記憶するステップとを有することを特徴とする
請求項１２ないし２１のいずれかに記載の文字情報入力
方法。22. If the candidate of the character recognition result does not include a correct answer, displaying a virtual keyboard on the display, operating the virtual keyboard according to the pointing posture and the selection posture, Character recognition: a step of selecting one from the candidates for character recognition, a step of correcting the selection candidate by the previous term virtual keyboard displayed on the display, and a step of storing the character code data of the corrected character in a storage medium. 22. The character information input method according to claim 12, further comprising: 【請求項２３】 文字情報入力装置の文字情報入力方法
をコンピュータによって機能させるために、コンピュー
タに、カメラから撮影画像を入力させ、表示器の画面に
画像を表示させ、前記撮影画像に写された手と指の位置
および指示姿勢および選択姿勢を認識させ、認識された
手と指の位置および姿勢に基づいてカーソルやポインタ
などの記号の前記表示器の画面上での位置を決定させ、
決定された前記表示器の画面上での位置に前記記号を表
示させ、前記記号および前記姿勢により画像範囲を指定
させ、指定された範囲の画像から文字を認識させ、認識
した文字を文字コードデータに変換させ、変換された文
字コードデータを記憶媒体に記憶させることを特徴とす
るプログラムを記録したコンピュータで読み取り可能な
記録媒体。23. In order for the computer to function the character information inputting method of the character information input device, the computer is made to input a photographed image, the image is displayed on the screen of the display, and the photographed image is copied. Recognize the positions and pointing postures and selected postures of the hands and fingers, and determine the positions of symbols such as cursors and pointers on the screen of the display based on the recognized positions and postures of the hands and fingers,
The symbol is displayed at the determined position on the screen of the display, the image range is designated by the symbol and the posture, the character is recognized from the image of the designated range, and the recognized character is the character code data. And a computer-readable recording medium having a program recorded thereon, the converted character code data being stored in a storage medium. 【請求項２４】 コンピュータに、前記撮影画像を圧縮
または非圧縮で無線または有線の通信回路を介して送信
させ、該圧縮または非圧縮画像を受信し圧縮画像の場合
は展開させることを特徴とする請求項２３に記載のプロ
グラムを記録したコンピュータで読み取り可能な記録媒
体。24. The computer is made to transmit the photographed image in a compressed or non-compressed manner through a wireless or wired communication circuit, receive the compressed or non-compressed image, and expand the compressed image. A computer-readable recording medium in which the program according to claim 23 is recorded. 【請求項２５】 コンピュータに、前記指定された範囲
の画像を圧縮または非圧縮で無線または有線の通信回路
を介して送信させ、該圧縮または非圧縮範囲画像を受信
し圧縮画像の場合は展開させることを特徴とする請求項
２３または２４に記載のプログラムを記録したコンピュ
ータで読み取り可能な記録媒体。25. The computer is made to transmit the image of the specified range in a compressed or non-compressed manner via a wireless or wired communication circuit, and receive the compressed or non-compressed range image and expand the compressed image in the case of a compressed image. A computer-readable recording medium recording the program according to claim 23 or 24. 【請求項２６】 コンピュータに、前記撮影画像、また
は無線や有線の通信回線を介して受信した画像を記憶媒
体に記憶させ、該記憶した画像を前記表示器に表示させ
ることを特徴とする請求項２３ないし２５のいずれかに
記載のプログラムを記録したコンピュータで読み取り可
能な記録媒体。26. The computer causes a storage medium to store the photographed image or an image received via a wireless or wired communication line, and causes the display device to display the stored image. A computer-readable recording medium in which the program according to any one of 23 to 25 is recorded. 【請求項２７】 コンピュータに、前記記憶した文字コ
ードデータに対応する文字を、文字フォントデータを用
いて前記表示器に表示させることを特徴とする請求項２
３ないし２６のいずれかに記載のプログラムを記録した
コンピュータで読み取り可能な記録媒体。27. The computer causes a character corresponding to the stored character code data to be displayed on the display unit by using character font data.
A computer-readable recording medium in which the program according to any one of 3 to 26 is recorded. 【請求項２８】 コンピュータに、前記文字コードデー
タを、インターネットやデータベースの検索キーワード
またはオペレーションシステムやアプリケーションのコ
マンドや入力文字または文字認識に使われた画像の付加
情報として使用させることを特徴とする請求項２３ない
し２７のいずれかに記載のプログラムを記録したコンピ
ュータで読み取り可能な記録媒体。28. The computer is caused to use the character code data as a search keyword of the Internet or a database, a command of an operation system or an application, an input character, or additional information of an image used for character recognition. A computer-readable recording medium in which the program according to any one of items 23 to 27 is recorded. 【請求項２９】 コンピュータに、前記画像範囲を指定
させる際に、前記指示姿勢を認識した後に前記選択姿勢
を認識してから、再び前記指示姿勢を認識するまでの間
の前記選択記号の位置の集合により表現される矩形また
は閉ループまたは直線分または曲線分などの図形に基づ
いて画像範囲を指定させることを特徴とする請求項２３
ないし２８のいずれかに記載のプログラムを記録したコ
ンピュータで読み取り可能な記録媒体。29. When causing a computer to specify the image range, a position of the selection symbol from when the selected posture is recognized after the designated posture is recognized to when the designated posture is recognized again. 24. The image range is specified based on a figure such as a rectangle, a closed loop, a straight line segment, or a curved line segment represented by a set.
A computer-readable recording medium in which the program according to any one of items 1 to 28 is recorded. 【請求項３０】 コンピュータに、前記文字認識の結果
の候補が複数存在する場合は、該候補それぞれを文字コ
ードデータに変換させ、該文字コードデータに対応する
文字を、文字フォントデータを用いて前記表示器に表示
させ、表示された前記候補から１つを前記指示記号で指
示させ前記選択姿勢で選択させ、前記文字コードデータ
を記憶する際に選択された候補の文字コードデータを記
憶媒体に記憶させることを特徴とする請求項２３ないし
２９のいずれかに記載のプログラムを記録したコンピュ
ータで読み取り可能な記録媒体。30. When there are a plurality of candidates for the result of the character recognition in a computer, each of the candidates is converted into character code data, and the character corresponding to the character code data is converted into a character using the character font data. The candidate character code data displayed on the display device, selected from the displayed candidates by the indication symbol and selected in the selection posture, and the candidate character code data selected when the character code data is stored are stored in a storage medium. A computer-readable recording medium storing the program according to any one of claims 23 to 29. 【請求項３１】 コンピュータに、前記文字認識の結果
の候補に正解が含まれない場合は、前記表示器に仮想キ
ーボードを表示させ、前記指示姿勢および前記選択姿勢
により仮想キーボードを操作させ、前記文字認識の候補
から１つを選択させ、該選択候補を前記表示器で表示し
前記仮想キーボードで修正させ、修正した文字の文字コ
ードデータを記憶媒体に記憶させることを特徴とする請
求項２３ないし３０のいずれかに記載のプログラムを記
録したコンピュータで読み取り可能な記録媒体。31. When the computer does not include a correct answer as a result of the character recognition, a virtual keyboard is displayed on the display unit, and the virtual keyboard is operated according to the designated posture and the selected posture, and the character is displayed. 31. One of the recognition candidates is selected, the selected candidate is displayed on the display and corrected by the virtual keyboard, and the character code data of the corrected character is stored in a storage medium. A computer-readable recording medium recording the program according to any one of 1.