JP2012068792A - Compact electronic apparatus and program - Google Patents
Compact electronic apparatus and program Download PDFInfo
- Publication number
- JP2012068792A JP2012068792A JP2010211831A JP2010211831A JP2012068792A JP 2012068792 A JP2012068792 A JP 2012068792A JP 2010211831 A JP2010211831 A JP 2010211831A JP 2010211831 A JP2010211831 A JP 2010211831A JP 2012068792 A JP2012068792 A JP 2012068792A
- Authority
- JP
- Japan
- Prior art keywords
- character
- posture
- character string
- electronic device
- writing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、筺体が空中の任意の平面内で移動されながら行われた文字を書く動作を該加速度センサの計測結果に基づいて認識する小型電子機器及びプログラムに関する。 The present invention relates to a small electronic device and a program for recognizing an operation of writing a character performed while a casing is moved in an arbitrary plane in the air based on a measurement result of the acceleration sensor.
従来、人が文字を書く動作を慣性センサによって計測してコンピュータに取り込む技術としては、多々提案されている。例えば、ペン先に加速度センサを収容することによって、この加速度センサの計測結果をペン先の移動軌跡として抽出するようにした技術（特許文献１参照）が提案され、また、携帯電話装置において加速度センサの検出結果に応じた装置本体の移動情報に基づいて手書き動作により特定される入力情報を認識するようにした技術（特許文献２参照）が提案されるなど、色々な提案がなされている。 2. Description of the Related Art Conventionally, many techniques have been proposed for measuring the action of a person writing a character using an inertial sensor and taking it into a computer. For example, a technique (see Patent Document 1) has been proposed in which an acceleration sensor is accommodated in the pen tip so that the measurement result of the acceleration sensor is extracted as a movement locus of the pen tip. Various proposals have been made, such as a technique for recognizing input information specified by handwriting operation based on movement information of the apparatus main body corresponding to the detection result (see Patent Document 2).
しかしながら、加速度センサを使用して文字認識を行う技術の多くは、加速度センサの計測結果を２回積分することにより加速度から速度を算出すると共に、この速度から位置を算出し、この位置の移動軌跡を文字認識に利用するようにしているが、このような方法では、積分初期状態（書き始め位置）不明の問題や積分誤差の問題があり、さらには重力という強力な外乱を計測データから除去するために重力方向の変化の追跡に角速度センサの出力を積分する必要があり、その積分にも上述の積分初期状態不明の問題や積分誤差の問題が存在しているために確実な文字認識を実現することは極めて困難であった。一方、ユーザにあっても、いつでも筺体を同じ姿勢にしなければならず、文字を書く平面も同じにしなければならないなど、文字を手書き入力する際の操作に注意を払いながら行う必要があり、ユーザに大きな負担をかけることにもなる。 However, many of the technologies that perform character recognition using an acceleration sensor calculate the velocity from the acceleration by integrating the measurement result of the acceleration sensor twice, calculate the position from this velocity, and move the locus of this position. Is used for character recognition. However, in such a method, there are problems of unknown initial state of integration (writing start position) and integration error, and furthermore, a strong disturbance of gravity is removed from measurement data. Therefore, it is necessary to integrate the output of the angular velocity sensor to track the change in the direction of gravity, and since the above-mentioned problem of unknown initial state of integration and the problem of integration error exist in that integration, reliable character recognition is realized. It was extremely difficult to do. On the other hand, even if it is a user, it is necessary to pay attention to operations when inputting characters by handwriting, such as the body must always be in the same posture and the plane on which the characters are written must be the same. It will also put a heavy burden on.
そこで、本出願人は、先に、加速度センサを内蔵した機器を動かすことによって空中の平面内に書かれた文字を加速度センサの計測結果に基づいて認識できるようにした文字認識装置を提案した（特願２０１０−１６７１４３号、特願２０１０−１７１８３０号）。これらの文字認識装置にあっては、文字を手書き入力する際のユーザの負担を大幅に軽減しながら文字認識を円滑かつ確実に行うことができるようにしたものであるが、空中の平面内に書かれた文字を認識することのみを行い、各種のコマンドの発行は、キーボードなどの別の手段で行うようにしていた。 Therefore, the present applicant has previously proposed a character recognition device that can recognize characters written in a plane in the air based on the measurement result of the acceleration sensor by moving a device incorporating the acceleration sensor ( (Japanese Patent Application Nos. 2010-167143 and 2010-171830). In these character recognition devices, character recognition can be performed smoothly and surely while greatly reducing the burden on the user when inputting characters by handwriting. Only the written characters are recognized, and various commands are issued by another means such as a keyboard.
本発明の課題は、本出願人が先に提案した技術をさらに発展させるために、任意の平面内で書かれた文字を加速度センサの計測結果に基づいて認識する場合に、文字認識と共にその文字を書く動作に応じて各種のコマンドを発行できるようにすることである。 In order to further develop the technique previously proposed by the applicant of the present invention, when a character written in an arbitrary plane is recognized based on a measurement result of an acceleration sensor, the character recognition is performed together with the character recognition. It is possible to issue various commands according to the operation of writing.
上述した課題を解決するために請求項１記載の発明は、
加速度センサを内蔵した筺体が空中の任意の平面内で移動されながら行われた文字又は文字列を書く動作を該加速度センサの計測結果に基づいて認識する認識手段を備えた小型電子機器であって、
前記平面内に前記書く動作により書かれた文字又は文字列の姿勢とその文字又は文字列を書く動作の間の筐体の姿勢との相対姿勢、文字又は文字列を書く動作の間の筐体の姿勢、前記平面内に前記書く動作により書かれた文字又は文字列の姿勢のうち、少なくともいずれかの姿勢を算出する算出手段と、
前記算出手段により算出された文字又は文字列の姿勢と筐体の姿勢との相対姿勢、筐体の姿勢、文字又は文字列の姿勢、前記認識手段により認識された文字又は文字列の種類のうち、少なくともいずれかの組み合わせに応じて所定のコマンドを発行する発行手段と、
を具備したことを特徴とする。
In order to solve the above-described problem, the invention described in
A small electronic device having a recognition means for recognizing an operation of writing a character or a character string performed while a casing incorporating an acceleration sensor is moved in an arbitrary plane in the air based on a measurement result of the acceleration sensor. ,
Relative posture between the posture of the character or character string written by the writing operation in the plane and the posture of the housing during the operation of writing the character or character string, the housing during the operation of writing the character or character string Calculating means for calculating at least one of the posture of the character or the character string written by the writing operation in the plane;
Among the relative posture between the posture of the character or character string calculated by the calculation means and the posture of the housing, the posture of the housing, the posture of the character or character string, and the type of character or character string recognized by the recognition means Issuing means for issuing a predetermined command according to at least any combination;
It is characterized by comprising.
請求項１に従属する発明として、
前記算出手段は、前記加速度センサにより計測された重力方向に対する前記筐体の傾きをその姿勢として算出する、
ようにしたことを特徴とする、請求項２記載の発明であってもよい。
As an invention dependent on
The calculating means calculates the inclination of the housing with respect to the gravitational direction measured by the acceleration sensor as its posture;
The invention according to
請求項１に従属する発明として、
方位を計測する地磁気センサをさらに備え、
前記算出手段は、前記加速度センサにより計測された重力方向及び前記地磁気センサにより計測された方位に対する前記筐体の傾きをその姿勢として算出する、
ようにしたことを特徴とする、請求項３記載の発明であってもよい。
As an invention dependent on
Further equipped with a geomagnetic sensor for measuring the direction,
The calculation means calculates the inclination of the housing with respect to the direction of gravity measured by the acceleration sensor and the direction measured by the geomagnetic sensor as its posture.
The invention according to
請求項１〜請求項３のいずれかに従属する発明として、
前記算出手段は、前記加速度センサにより計測された重力方向に対する前記平面の傾きを前記文字の姿勢として算出する、
ようにしたことを特徴とする、請求項４記載の発明であってもよい。
As an invention dependent on any one of
The calculating means calculates the inclination of the plane with respect to the direction of gravity measured by the acceleration sensor as the posture of the character;
The invention according to
請求項１〜請求項３のいずれかに従属する発明として、
方位を計測する地磁気センサをさらに備え、
前記算出手段は、前記加速度センサにより計測された重力方向及び前記地磁気センサにより計測された方位に対する前記平面の傾きを前記文字の姿勢として算出する、
ようにしたことを特徴とする、請求項５記載の発明であってもよい。
As an invention dependent on any one of
Further equipped with a geomagnetic sensor for measuring the direction,
The calculating means calculates the inclination of the plane with respect to the direction of gravity measured by the acceleration sensor and the direction measured by the geomagnetic sensor as the posture of the character.
The invention according to
請求項４あるいは請求項５に従属する発明として、
前記算出手段は、前記平面内での文字又は文字列の上下方向、表裏方向のうち、少なくともそのいずれかの方向を含めて前記文字又は文字列の姿勢として算出する、
ようにしたことを特徴とする、請求項６記載の発明であってもよい。
As an invention dependent on
The calculation means calculates the posture of the character or character string including at least one of the vertical direction and front / back direction of the character or character string in the plane,
The invention according to
請求項１に従属する発明として、
前記発行手段により発行されたコマンドを外部に送信する送信手段をさらに備える、
ようにしたことを特徴とする、請求項７記載の発明であってもよい。
As an invention dependent on
Further comprising transmission means for transmitting the command issued by the issuing means to the outside,
The invention according to
請求項１あるいは請求項７に従属する発明として、
前記発行手段により発行されたコマンドに応じた処理を実行する処理手段をさらに備える、
ようにしたことを特徴とする、請求項８記載の発明であってもよい。
As an invention dependent on
Processing means for executing processing according to the command issued by the issuing means;
The invention according to
請求項１〜請求項８のいずれかに従属する発明として、
前記発行手段は、前記認識手段により認識された文字又は文字列の属性を指定するコマンドを発行する、
ようにしたことを特徴とする請求項９記載の発明であってもよい。
As an invention dependent on any one of
The issuing means issues a command for specifying an attribute of a character or a character string recognized by the recognition means;
The invention according to claim 9 is characterized by being configured as described above.
請求項１〜請求項８のいずれかに従属する発明として、
前記発行手段は、動作種を指定するコマンドを発行する、
ようにしたことを特徴とする、請求項１０記載の発明であってもよい。
As an invention dependent on any one of
The issuing means issues a command specifying an operation type;
The invention according to
請求項１〜請求項８のいずれかに従属する発明として、
前記発行手段は、動作モードを切り替えるコマンドを発行する、
ようにしたことを特徴とする、請求項１１記載の発明であってもよい。
As an invention dependent on any one of
The issuing means issues a command for switching the operation mode;
The invention according to
また、上述した課題を解決するために請求項１２記載の発明は、
コンピュータに対して、
加速度センサを内蔵した筺体が空中の任意の平面内で移動されながら行われた文字又は文字列を書く動作を該加速度センサの計測結果に基づいて認識する機能と、
前記平面内に前記書く動作により書かれた文字又は文字列の姿勢とその文字又は文字列を書く動作の間の筐体の姿勢との相対姿勢、文字又は文字列を書く動作の間の筐体の姿勢、前記平面内に前記書く動作により書かれた文字又は文字列の姿勢のうち、少なくともいずれかの姿勢を算出する機能と、
前記算出された文字又は文字列の姿勢と筐体の姿勢との相対姿勢、筐体の姿勢、文字又は文字列の姿勢、前記認識された文字又は文字列の種類のうち、少なくともいずれかの組み合わせに応じて所定のコマンドを発行する機能と、
を実現させるためのプログラム、であることを特徴とする。
In order to solve the above-mentioned problem, the invention according to
Against the computer,
A function of recognizing an action of writing a character or a character string performed while a casing incorporating an acceleration sensor is moved in an arbitrary plane in the air based on a measurement result of the acceleration sensor;
Relative posture between the posture of the character or character string written by the writing operation in the plane and the posture of the housing during the operation of writing the character or character string, the housing during the operation of writing the character or character string A function of calculating at least one of the posture of the character or the character string written by the writing operation in the plane,
A combination of at least one of the calculated posture of the character or character string and the posture of the housing, the posture of the housing, the posture of the character or character string, or the type of the recognized character or character string According to the function of issuing a predetermined command,
It is a program for realizing.
本発明によれば、任意の平面内で書かれた文字を加速度センサの計測結果に基づいて認識する場合に、文字認識と共にその文字を書く動作に応じて各種のコマンドを発行することができ、利便性に富んだものとなる。 According to the present invention, when a character written in an arbitrary plane is recognized based on the measurement result of the acceleration sensor, various commands can be issued according to the operation of writing the character together with the character recognition, It will be very convenient.
以下、図１〜図１０を参照して本発明の実施形態を説明する。
この実施形態は、小型電子機器としてテレビ受像機用のリモートコントローラ（テレビリモコン）に適用した場合を例示したもので、図１（１）は、テレビリモコンの外観図、（２）は、テレビリモコンの基本的な構成要素を示したブロック図である。
このテレビリモコンは、図１（１）に示すように、その全体は正立方体（サイコロ型）の筐体で、そのテレビリモコン（筐体）がユーザの指先で持たれている状態において、空中の任意の平面内で筺体が移動されながら行われた文字を書く動作を後述の加速度センサの計測結果に基づいて認識するようにした文字認識機能と、その手書き入力時の状況（筺体の姿勢や文字の姿勢など）に応じて各種のコマンドを発行するコマンド発行機能を有する構成となっている。すなわち、各種のリモコンボタンに代えて、上述の文字認識機能及びコマンド発行機能を有する構成となっている。そして、この実施形態においては、筺体のどの面をテレビ受像機側に向けてもよいようにテレビ受像機（図示省略）に対して電波によってリモートコントロール信号を送信するようにしている。
Hereinafter, embodiments of the present invention will be described with reference to FIGS.
This embodiment exemplifies a case where the present invention is applied to a remote controller (TV remote controller) for a television receiver as a small electronic device. FIG. 1 (1) is an external view of the TV remote controller, and (2) is a TV remote controller. It is the block diagram which showed the fundamental component of these.
As shown in FIG. 1 (1), this TV remote control is a regular cubic (dice type) casing, and the TV remote control (housing) is held in the air while being held by a user's fingertip. A character recognition function that recognizes the action of writing a character while the body is moved in an arbitrary plane based on the measurement results of the acceleration sensor described later, and the situation during handwriting input (the posture of the body and the character And a command issuing function for issuing various commands according to the attitude of the user. That is, instead of various remote control buttons, the above-described character recognition function and command issuing function are provided. In this embodiment, a remote control signal is transmitted by radio waves to a television receiver (not shown) so that any surface of the housing may face the television receiver side.
制御部１は、二次電池を備えた電源部２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのテレビリモコンの全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部３は、ＲＯＭ、ＲＡＭなどの内部メモリで、図示しないプログラム領域とデータ領域とを有し、この記憶部３内のプログラム領域には、後述する図１０に示す動作手順に応じて本実施形態を実現するためのプログラムが格納されている。また、記憶部３内のデータ領域には、文字認識用の基本文字データを記憶する認識辞書メモリＤＭ、コマンドを発行するコマンドテーブルＴＭのほか、各種の動作に必要な情報が記憶されている。
The
ＵＡＲＴ（Universal Asynchronous Receiver Transmitter）４は、ブルートゥース（Bluetooth：登録商標）通信されるデータに対してシリアル／パラレル変換などのデータ処理を行うもので、制御部１は、ＵＡＲＴ４を介してテレビ用のリモートコントロール信号をリモコン通信部５に与えると、リモコン通信部５は、テレビ用のリモートコントロール信号を近距離通信（ブルートゥース通信）により発信するようにしている。なお、ブルートゥース通信の通信可能エリアは、例えば、略半径５ｍ程度となっているが、その範囲は問わない。操作部６は、電源ボタン、モード切替ボタン、文字入力終了ボタンなどの操作ボタンを有しているが、チャンネルボタンやその他の各種コマンドボタンを省略した構成となっている。なお、上述した各ボタンは、筐体の６面に一つずつ配置した構成としてもよく、その配置の仕方は任意であり、また、後述するが、操作部６を一切有しない構成としてもよい。
A UART (Universal Asynchronous Receiver Transmitter) 4 performs data processing such as serial / parallel conversion on data communicated with Bluetooth (Bluetooth: registered trademark). When the control signal is given to the remote
加速度センサ７は、筐体に内蔵（固定）された３軸の加速度センサであり、上述の文字認識機能を構成する要素の一つで、制御部１は、筺体が空中の任意の平面内で移動されながら行われた文字を書く動作を加速度センサ７の計測結果、つまり、１文字の書き始めから書き終わりまでの間における１文字分の加速度センサ７の計測結果と認識辞書メモリＤＭの内容とを比較することにより文字認識を行うようにしている。その際、加速度ベクトルの集合状態などから文字が書かれた空中の２次元平面を文字平面として抽出すると共に、その文字平面内での文字の天地（上下）・表裏方向を抽出しながら文字認識を行うようにしている。
The
すなわち、制御部１は、加速度センサ７の計測結果、つまり、互いに直交する３軸方向（Ｘ・Ｙ・Ｚ方向）の加速度成分に基づいて文字認識を行うようにしたもので、加速度を積分して軌跡を出すものとは異なり、加速度をそのまま文字認識に使用するようにしている。その結果、文字入力の途中において筐体の姿勢が変化することによる重力方向の少々の変化や揺らぎに対して対応可能となり、文字認識のロバスト性もあるほか、ジャイロなど加速度センサ以外のセンサも不用となり、また、文字を構成する要素（画＝ストローク）の分離を必要とする文字認識の方法では無く、空中で文字を書くという状況においてペンアップやペンダウンに相当する面倒でやりづらい操作や動きを必要とせず、自然でスムーズで速やかな文字入力が可能となる。
That is, the
地磁気センサ８は、筐体に内蔵（固定）されていて、筐体の方位を計測する３軸の地磁気センサであり、加速度センサ７と共に上述のコマンド発行機能を構成する要素の一つとして利用される。制御部１は、加速度センサ７及び地磁気センサ８の計測結果に基づいて常時計測された筐体の加速度と地磁気の計測値から、例えば、重力方向に平行な軸をＺ軸とし、水平面における北向きをＸ軸とし、東向きをＹ軸とした基準座標系を決めて、この基準座標系内での筐体の姿勢をｚ−ｙ−ｘ系のオイラー角で算出するようにしている。
The
図２は、一般的なｚ−ｙ−ｘ系のオイラー角を説明するための図である。
ここで、図中、（Ｘｒ，Ｙｒ，Ｚｒ）は、基準座標系を示したもので、（Ｘｒ´，Ｙｒ´，Ｚｒ´）は、この（Ｘｒ，Ｙｒ，Ｚｒ）を角度α回転させたときの座標系を示している。また、（Ｘｒ´´，Ｙｒ´´，Ｚｒ´´）は、この（Ｘｒ´，Ｙｒ´，Ｚｒ´）を角度β回転させたときの座標系を示し、（Ｘｒ´´´，Ｙｒ´´´，Ｚｒ´´´）は、この（Ｘｒ´´，Ｙｒ´´，Ｚｒ´´）を角度γ回転させたときの座標系を示している。そして、（Ｘ，Ｙ，Ｚ）は、姿勢を求めたい対象座標系であり、上述の（Ｘｒ´´´，Ｙｒ´´´，Ｚｒ´´´）と同じである。なお、図２の例では、ｚ−ｙ−ｘ系を示したが、これに限らず、オイラー角において、どの軸の回りで回転させるかの順番により表現される１２通りの表現のうち、どの表現を用いてもかまわない。
FIG. 2 is a diagram for explaining a general yz-system Euler angle.
Here, (Xr, Yr, Zr) in the figure indicates a reference coordinate system, and (Xr ′, Yr ′, Zr ′) is obtained by rotating this (Xr, Yr, Zr) by an angle α. The coordinate system is shown. Further, (Xr ″, Yr ″, Zr ″) indicates a coordinate system when this (Xr ′, Yr ′, Zr ′) is rotated by an angle β, and (Xr ″, Yr ″). ', Zr "') indicates a coordinate system when (Xr", Yr ", Zr") is rotated by an angle [gamma]. (X, Y, Z) is a target coordinate system for which the posture is to be obtained, and is the same as (Xr ″ ″, Yr ″ ″, Zr ″ ″) described above. In the example of FIG. 2, the z-y-x system is shown. However, the present invention is not limited to this, and any of twelve expressions represented by the order of rotation around which axis in the Euler angle. Expression may be used.
ここで、この基準座標系が世界座標の場合には、姿勢を求めたい対象座標系の対象は、テレビリモコン（筐体）の姿勢となるが、基準座標系が筐体の場合には、姿勢を求めたい対象座標系の対象は、文字の姿勢となる。ここで、本実施形態においては、筐体の姿勢をオイラー角として算出しておき、空中の任意の平面内で筺体が移動されながら行われた文字を書く動作に応じて文字の認識を行うようにしているが、その認識の過程において文字が書かれた文字平面及びその平面内での文字の天地（上下）・表裏方向が抽出されるので、文字の姿勢として文字が書かれた文字平面の傾き及び文字平面内での文字の裏表・天地方向を求めることができるようになる。この場合、文字の姿勢は、筐体を基準座標系としたときのオイラー角として求められる。 Here, when this reference coordinate system is world coordinates, the target coordinate system target for which the attitude is to be obtained is the attitude of the TV remote control (housing), but when the reference coordinate system is the enclosure, the attitude The target of the target coordinate system for which is to be obtained is the posture of the character. Here, in this embodiment, the posture of the housing is calculated as the Euler angle, and the character is recognized according to the operation of writing the character while the casing is moved in an arbitrary plane in the air. However, the character plane in which the character was written in the process of recognition and the top and bottom (up / down) and front / back direction of the character in the plane are extracted, so the character plane in which the character was written as the posture of the character It becomes possible to determine the inclination and the front / back / top / bottom direction of the character in the character plane. In this case, the posture of the character is obtained as an Euler angle when the casing is a reference coordinate system.
図３は、コマンドテーブルＴＭを説明するための図である。
コマンドテーブルＴＭは、筐体の姿勢及び文字の姿勢に対応付けて、各種のコマンドを記憶する複数のコマンドテーブルを有する構成で、図３（１）は、文字の属性としての修飾種コマンドを記憶する修飾種コマンドテーブルＴＭ１を示し、図３（２）は、ボリューム調整や明度調整などの動作種コマンドを記憶する動作種コマンドテーブルＴＭ２を示している。ここで、筐体の姿勢のオイラー角を（αc，βc，γc）とし、筐体の姿勢に対する文字の相対的な姿勢のオイラー角を（αs，βs，γs）とすると、制御部１は、この２種類の回転を表すパラメータ（αc，βc，γc，αs，βs，γs）に基づいて修飾種コマンドテーブルＴＭ１を参照し、そのパラメータに対応する修飾種のコマンドを読み出してそのコマンドを発行するようにしている。また、このパラメータ（αc，βc，γc，αs，βs，γs）のほかに、認識結果（認識した文字又は文字列）に基づいて動作種コマンドテーブルＴＭ２を参照し、このパラメータ及び認識結果に対応する動作種のコマンドを読み出してそのコマンドを発行するようにしている。
FIG. 3 is a diagram for explaining the command table TM.
The command table TM has a plurality of command tables that store various commands in association with the posture of the casing and the posture of the character. FIG. 3A stores a modification type command as a character attribute. FIG. 3B shows an operation type command table TM2 for storing operation type commands such as volume adjustment and brightness adjustment. Here, if the Euler angles of the housing posture are (αc, βc, γc) and the Euler angles of the characters relative to the housing posture are (αs, βs, γs), the
ここで、上述の修飾種コマンドテーブルＴＭ１を使用してコマンドを発行するか、動作種コマンドテーブルＴＭ２を使用してコマンドを発行するかは、入力モードの切り替えに応じて決定するようにしている。この場合、入力モードとしては、修飾種コマンドテーブルＴＭ１を使用する文字修飾モードと、動作種コマンドテーブルＴＭ２を使用する動作制御モードとを有し、この実施形態では、上述した操作部６上のモード切替ボタンを操作することにより任意に切り替え可能としているが、これに限らず、後述するが、筐体の姿勢及び文字の姿勢に応じて入力モードの切り替えを行うようにしてもよい。
Here, whether the command is issued using the above-described modified type command table TM1 or the command is issued using the operation type command table TM2 is determined according to the switching of the input mode. In this case, the input mode includes a character modification mode using the modification type command table TM1 and an operation control mode using the operation type command table TM2. In this embodiment, the mode on the
修飾種コマンドテーブルＴＭ１は、図３（１）に示すように２種類の回転を表すパラメータ「αc、βc、γc」、「αs、βs、γs」に対応して「文字修飾種コマンド」の項目を有する構成となっている。なお、図示の例は、２種類の回転を表すパラメータ（αc，βc，γc，αs，βs，γs）のうち、（αc，βc，γc）を無視し（“Don’t care”）、（αs，βs，γs）だけを有効とした場合である。すなわち、筐体の姿勢（重力方向及び方位）を無視することにより操作者の筐体の持ち方に意味があり、操作者の姿勢、例えば、立って書いているのか、座って前かがみで書いているのか、仰向けに寝て書いているのか、横向きに寝て書いているのかなどを問わないようにした場合、つまり、筐体と文字の姿勢との相対姿勢の関係だけを有効とした場合である。また、ｚ−ｙ−ｘ系のオイラー角では、０≦α＜２π、−π／２≦β＜π／２、−π≦γ＜πの範囲となっている。 The modification type command table TM1 includes items of “character modification type command” corresponding to the parameters “αc, βc, γc”, “αs, βs, γs” representing two types of rotations as shown in FIG. It has composition which has. The illustrated example ignores (αc, βc, γc) among parameters (αc, βc, γc, αs, βs, γs) representing two types of rotation (“Don't care”), ( In this case, only αs, βs, and γs) are effective. In other words, ignoring the posture (gravity direction and orientation) of the case makes sense for the operator's way of holding the case, and the operator's posture, for example, standing or writing while sitting and leaning forward Whether you are lying on your back or writing on your side, that is, if you have only enabled the relative posture relationship between the case and the character posture. is there. Further, the Euler angles of the zyx system are in the ranges of 0 ≦ α <2π, −π / 2 ≦ β <π / 2, and −π ≦ γ <π.
さらに、文字の姿勢を表すパラメータ（αs，βs，γs）に関連付ける値をそれぞれ９０度刻みとするようにしている。図４は、この文字の姿勢を表すパラメータ（αs，βs，γs）を９０度刻みに制限した場合における文字の姿勢を説明するための図である。このような制限を行ったとしても、ある文字を書いたときの操作者の筐体の持ち方により、同じ姿勢の重複表現を除外することにより、２４種類に区別できることになり、このときの文字姿勢は、第４図の（１）〜（２４）で表される。 Furthermore, the values associated with the parameters (αs, βs, γs) representing the character posture are set in increments of 90 degrees. FIG. 4 is a diagram for explaining the character posture when the parameters (αs, βs, γs) representing the character posture are limited to 90 degrees. Even with this restriction, depending on how the operator's case is held when writing a certain character, it can be distinguished into 24 types by excluding duplicate expressions of the same posture. The posture is represented by (1) to (24) in FIG.
すなわち、（０，０，−π）、（０，０，−π／２）、（０，０，０）、（０，０，π／２）、…（３π／２，−π／２，０）、（３π／２，π／２，０）の２４種類となる。なお、β＝−π／２、又はβ＝π／２の点は、特異点であり、（０，π／２，π／２）、（π／４，π／２，π／４）、（π／２，π／２，０）などは同じ姿勢を表しているために、その重複表現は除外される。なお、図中、“文字上”とは、その文字の天方向で、その反対方向が文字の下方向（地方向）となる。また、“文字表”とは、その文字の表方向で、その反対方向が文字の裏方向となる。なお、文字の姿勢が９０度やその整数倍の角度の間の角度（例えば２３度、１５５度等）となったときには、算出された値が丁度その値ではなくても、近い値が算出された場合には、その値であるとみなすようにしている。 That is, (0,0, −π), (0,0, −π / 2), (0,0,0), (0,0, π / 2),... (3π / 2, −π / 2) , 0), (3π / 2, π / 2, 0). Note that the points where β = −π / 2 or β = π / 2 are singular points, and (0, π / 2, π / 2), (π / 4, π / 2, π / 4), Since (π / 2, π / 2, 0) and the like represent the same posture, the overlapping expression is excluded. In the figure, “upper character” is the top direction of the character, and the opposite direction is the lower direction (ground direction) of the character. The “character table” is the front direction of the character, and the opposite direction is the reverse direction of the character. When the character posture is 90 degrees or an angle between integer multiples thereof (for example, 23 degrees, 155 degrees, etc.), even if the calculated value is not exactly that value, a close value is calculated. If it is, it is assumed that it is the value.
また、図３（１）において、文字の座標系は、文字の右方向がＸ軸のプラス、文字の上方向がＹ軸のプラス、文字の表方向がＺ軸のプラスとなっている。また、オイラー角によるジンバルロック姿勢、つまり、β角がπ／２又はπ／２の値を持つ姿勢では、その姿勢を表す（α，β，γ）の値を、上述の範囲、０≦α＜２π、−π／２≦β＜π／２、−π≦γ＜πに制限したとしても、その値は無数に存在してしまうため、β角がπ／２又はπ／２の値のときには、角γ＝０となるようなαの値で姿勢を表現するものとしている。なお、「αs、βs、γs」は、算出された値が丁度その値ではなくても、近い値が算出された場合には、その値であるとみなすようにしている。 In FIG. 3A, the character coordinate system has a positive X-axis for the right direction of the character, a positive Y-axis for the upward direction of the character, and a positive Z-axis for the front direction of the character. Further, in the gimbal lock posture by Euler angle, that is, the posture in which the β angle has a value of π / 2 or π / 2, the value of (α, β, γ) representing the posture is set in the above range, 0 ≦ α <2π, −π / 2 ≦ β <π / 2, even if it is limited to −π ≦ γ <π, there are an infinite number of values, so the β angle is a value of π / 2 or π / 2. In some cases, the posture is expressed by a value of α such that the angle γ = 0. It should be noted that “αs, βs, γs” is regarded to be a value when a calculated value is not exactly that value but a close value is calculated.
「文字修飾種コマンド」は、認識された文字をどのように修飾するかを示す文字属性で、文字の大きさ・太さ・フォント種・色・変形加工などを指定するためのコマンドである。図３（１）に示すように「文字修飾種コマンド」には、例えば、文字の姿勢を表すパラメータ「αs、βs、γs」が（０，０，０）に対応して“細字の黒い色の文字”が記憶され、（π／４，０，０）に対応して“やや細字の黒い色の文字”が記憶されている。また、（π／２，０，０）に対応して“標準の黒い色の文字”が記憶され、（３π／４，０，０）に対応して“やや太字の黒い色の文字”が記憶され、（π，０，０）に対応して“太字の黒い色の文字”、…が記憶されている。 The “character modification type command” is a character attribute indicating how the recognized character is modified, and is a command for designating the size, thickness, font type, color, deformation processing, and the like of the character. As shown in FIG. 3A, in the “character modification type command”, for example, the parameters “αs, βs, γs” indicating the character posture correspond to (0, 0, 0) and “black color of fine characters”. Are stored, and “slightly black characters” are stored corresponding to (π / 4, 0, 0). Also, “standard black characters” are stored corresponding to (π / 2, 0, 0), and “slightly bold black characters” are stored corresponding to (3π / 4, 0, 0). “Bold and black characters”,... Are stored in correspondence with (π, 0, 0).
このように文字の姿勢に応じて対応する「文字修飾種コマンド」の内容を読み出してそのコマンドを発行するようにしている。そして、制御部１は、この発行コマンドに応じて認識文字を修飾する処理を行った後、この修飾文字をリモコン通信部５を介してテレビ受像機側に送信するようにしている。なお、認識文字を修飾する処理をテレビリモコン側で行う代わりに、テレビ受像機側で行うようにしてもよい。すなわち、制御部１は、発行コマンドを認識文字と共にリモコン通信部５を介してテレビ受像機側に送信すると、テレビ受信機側では、発行コマンドに応じて認識文字を修飾する処理を行った後、この修飾された認識文字をテレビ画面に表示させるようにしてもよい。
In this way, the content of the “character modification type command” corresponding to the character posture is read and the command is issued. The
図５〜図７は、文字認識時に文字の姿勢を変えながら文字“ａ”を書いたときに、認識された文字（入力文字）がどのように修飾されるかを説明するための図である。ここで、図５は、筐体座標系のＺ軸に垂直でその軸のプラス側に対向する面を文字を書く人の手前側にした状態で文字“ａ”を書いた場合にその文字が修飾される様子を具体的に示した図である。また、図６は、筐体座標系のＹ軸に垂直でその軸のマイナス側に対向する面を文字を書く人の手前側にして文字“ａ”を書いた場合にその文字が修飾される様子を具体的に示した図である。また、図７は、筐体座標系のＸ軸に垂直でその軸のプラス側に対向する面を文字を書く人の手前側にして文字“ａ”を書いた場合にその文字が修飾される様子を具体的に示した図である。 FIGS. 5 to 7 are diagrams for explaining how the recognized character (input character) is modified when the character “a” is written while changing the posture of the character during character recognition. . Here, FIG. 5 shows that when the character “a” is written in a state where the surface perpendicular to the Z-axis of the housing coordinate system and facing the positive side of the axis is in front of the character writer, It is the figure which showed a mode that it modified. Also, FIG. 6 shows that the character is modified when the character “a” is written with the surface perpendicular to the Y axis of the housing coordinate system and facing the minus side of the axis facing the character writer. It is the figure which showed the mode concretely. FIG. 7 shows that the character is modified when the character “a” is written with the surface perpendicular to the X axis of the housing coordinate system and facing the positive side of the axis facing the character writer. It is the figure which showed the mode concretely.
すなわち、図５に示すように、筐体座標系のＺ軸に垂直でプラス側の面を文字を書く人の手前側にしたとき、つまり、「αs、βs、γs」が（０，０，０）のときに、文字は黒色となり、筐体座標系のＹ軸のプラス方向を文字の上方向（天方向）に一致させたときに、文字は細字となる。この状態において、図中、筐体を右方向に回転させると、４５°回転毎に、つまり、「αs、βs、γs」が（π／４，０，０）、（π／２，０，０）、（３π／４，０，０）、（π，０，０）に変化する毎に、文字の太さは、“やや細字”、“太さ標準”、“やや太字”、“太字”のように徐々に太くなるように変化してゆく。 That is, as shown in FIG. 5, when the surface on the plus side perpendicular to the Z-axis of the housing coordinate system is set to the front side of the character writer, that is, “αs, βs, γs” is (0, 0, 0), the character is black, and the character is thin when the positive direction of the Y-axis of the housing coordinate system is matched with the upward direction (top direction) of the character. In this state, when the casing is rotated to the right in the figure, every 45 ° rotation, that is, “αs, βs, γs” is (π / 4, 0, 0), (π / 2, 0, 0), (3π / 4,0,0), (π, 0,0), the thickness of the character is changed to “slightly fine”, “standard thickness”, “slightly bold”, “bold” It will change gradually to become thicker.
同様に、図６に示すように、筐体座標系のＹ軸に垂直でその軸のマイナス側に対向する面を文字を書く人の手前側にしたときには、つまり、「αs、βs、γs」が（３π／２，π／２，０）のときに、文字は赤色となり、筐体座標系のＸ軸のプラス方向を文字の上方向に一致させたときに、文字は細字となる。この状態において、図中、筐体を右方向に回転させると、４５°回転毎に、つまり、「αs、βs、γs」が（０，π／４，π／２）、（０，０，π／２）、（０，−π／４，π／２）、（π／２，−π／２，０）に変化する毎に、文字の太さは、４５°回転毎に徐々に太くなる。 Similarly, as shown in FIG. 6, when the surface perpendicular to the Y-axis of the housing coordinate system and facing the minus side of the axis is on the front side of the character writer, that is, “αs, βs, γs”. When is (3π / 2, π / 2, 0), the character is red, and when the plus direction of the X-axis of the housing coordinate system is aligned with the upper direction of the character, the character is thin. In this state, when the casing is rotated to the right in the figure, “αs, βs, γs” is (0, π / 4, π / 2), (0, 0, Each time it changes to (π / 2), (0, −π / 4, π / 2), (π / 2, −π / 2, 0), the character thickness gradually increases with every 45 ° rotation. Become.
さらに図７に示すように、筐体座標系のＸ軸に垂直でその軸のプラス側に対向する面を文字を書く人の手前側にしたときに、つまり、「αs、βs、γs」が（０，π／２，０）のときに、文字は青色となり、筐体座標系のＹ軸のプラス方向を文字の上方向に一致させたときに、文字は細字となる。この状態において、図中、筐体を右方向に回転させると、４５°回転毎に、つまり、「αs、βs、γs」が（π／２，π／４，π／２）、（π／２，０，π／２）、（π／２，−π／４，π／２）、（π，−π／２，０）に変化する毎に、徐々に太くなる。 Further, as shown in FIG. 7, when the surface perpendicular to the X axis of the housing coordinate system and facing the positive side of the axis is on the near side of the character writer, that is, “αs, βs, γs” is When (0, π / 2, 0), the character is blue, and when the positive direction of the Y-axis of the housing coordinate system is aligned with the upward direction of the character, the character is thin. In this state, when the casing is rotated to the right in the figure, every 45 ° rotation, that is, “αs, βs, γs” is (π / 2, π / 4, π / 2), (π / 2,0, π / 2), (π / 2, −π / 4, π / 2), and (π, −π / 2,0), the thickness gradually increases.
なお、図３（１）に示すような修飾種コマンドテーブルＴＭ１の内容の場合に、筐体の３つの面を黒色、赤色、青色で着色したり、色の印を付加したりして、その色の面を文字を書く人の手前側にしたときにその色が現れるようにしている。また、各々の色において太さが標準となるときに、文字の上方向と筐体面の外向き法線方向が一致する筐体の面に印を付けるなどして、筐体の姿勢と文字修飾種の関係を明示するようにしている。また、修飾種コマンドテーブルＴＭ１の場合は、任意であり、「文字修飾種コマンド」としては、文字の加工などであってもよい。修飾種コマンドテーブルＴＭ１の内容は、認識された１文字を修飾するようにしたが、例えば、「Ｖｏｌ」又は「Ｂｒ」のように複数の文字を一括して認識させて、この複数の文字を一括して修飾するようにしてもよい。 In the case of the contents of the modification type command table TM1 as shown in FIG. 3 (1), the three surfaces of the casing are colored with black, red, blue, or a color mark is added. The color appears when the surface of the color is in front of the person writing the letter. In addition, when the thickness is standard for each color, mark the case surface and the character modification by marking the surface of the case where the upward direction of the character matches the outward normal direction of the case surface. The relationship between species is specified. Further, in the case of the modification type command table TM1, it is optional, and the “character modification type command” may be a character processing or the like. The content of the modification type command table TM1 is such that one recognized character is modified. For example, a plurality of characters such as “Vol” or “Br” are collectively recognized, and the plurality of characters are recognized. You may make it modify collectively.
動作種コマンドテーブルＴＭ２は、図３（２）に示すように「αc、βc、γc、」、「αs、βs、γs」に対応して、「認識された文字又は文字列」、「動作種コマンド」の項目を有する構成となっている。この場合においても（αc，βc，γc）を無視し（“Don’t care”）、（αs，βs，γs）だけを有効とし、また、文字の座標系は、文字の右方向がＸ軸のプラス、文字の上方向がＹ軸のプラス、文字の表方向がＺ軸のプラスとなっている。また、オイラー角によるジンバルロック姿勢についても同様であり、「αs、βs、γs」は、算出された値が丁度その値ではなくても、近い値が算出された場合には、その値であるとみなすようにしている。 As shown in FIG. 3B, the operation type command table TM2 corresponds to “αc, βc, γc,” “αs, βs, γs”, “recognized character or character string”, “operation type”. The command has an item “command”. Even in this case, (αc, βc, γc) is ignored (“Don't care”), and only (αs, βs, γs) is valid. Plus, the upward direction of the character is positive on the Y axis, and the front direction of the character is positive on the Z axis. The same applies to the gimbal lock posture by Euler angles, and “αs, βs, γs” is the value when the calculated value is not exactly that value, but a close value is calculated. It is considered to be.
「認識された文字又は文字列」は、文字認識機能により認識された文字又は文字列である。「動作種コマンド」は、チャンネル切り替え、ボリューム調整などの動作を指示するコマンドである。図３（２）に示すように「動作種コマンド」には、「αs、βs、γs」が（π−ａ，０，−π）で、「認識された文字又は文字列」が“Ｖｏ”に対応して“ａ÷（π／８）段階ボリュームを変化させる”が記憶され、（π−ａ，０，−π）、“Ｂｒ”に対応して“ａ÷（π／８）段階明度を変化させる”が記憶されている。また、（π−ａ，０，−π）、“Ｃｏｎ”に対応して“ａ÷（π／８）段階コントラストを変化させる”が記憶されている。 The “recognized character or character string” is a character or character string recognized by the character recognition function. The “operation type command” is a command for instructing operations such as channel switching and volume adjustment. As shown in FIG. 3B, in the “operation type command”, “αs, βs, γs” is (π−a, 0, −π) and “recognized character or character string” is “Vo”. “A ÷ (π / 8) step volume change” is stored corresponding to “π”, and “a ÷ (π / 8) step brightness corresponding to (π−a, 0, −π),“ Br ”. "Changes" is stored. In addition, “a / (π / 8) step contrast change” is stored corresponding to (π−a, 0, −π) and “Con”.
この場合、「βs、γs」及び「認識された文字又は文字列」がコマンドの種類を指定し、「αs」がパラメータとなっているが、「αs、βs、γs」及び「認識された文字又は文字列」の全体でコマンドの種類を指定したり、パラメータを含んでいたりすればよい。なお、図示の例においては、文字の姿勢が同一でも認識された文字又は文字列が異なる場合、つまり、「αs、βs、γs」が同一の（π−ａ，０，−π）で、「認識された文字又は文字列」が“Ｖｏ”、“Ｂｒ”、“Ｃｏｎ”のように異な場合に、「動作種コマンド」は、認識された文字又は文字列に応じて異なる内容となる。 In this case, “βs, γs” and “recognized character or character string” specify the type of command and “αs” is a parameter, but “αs, βs, γs” and “recognized character”. Alternatively, the type of command may be specified in the entire “string” or a parameter may be included. In the illustrated example, even if the posture of the character is the same, if the recognized character or character string is different, that is, “αs, βs, γs” is the same (π−a, 0, −π), and “ When the “recognized character or character string” is different such as “Vo”, “Br”, or “Con”, the “operation type command” has different contents depending on the recognized character or character string.
また、図３（２）に示すように、「動作種コマンド」には、「αs、βs、γs」が（０，０，−π／２）で、「認識された文字又は文字列」が“文字又は文字列”に対応して“地デジ（地上デジタル）放送の「文字又は文字列」のチャンネルを画面に映す”が記憶され、（π，０，−π／２）、“文字又は文字列”に対応して“ＢＳ放送の「文字又は文字列」のチャンネルを画面に映す”が記憶されている。また、（０，−π／２，０）、“文字又は文字列”に対応して“ＣＳ放送の「文字又は文字列」のチャンネルを画面に映す”が記憶されている。この場合、「αs、βs、γs」がコマンドの種類を指定し、「認識された文字又は文字列」がパラメータとなっているが、「αs、βs、γs」及び「認識された文字又は文字列」の全体でコマンドの種類を指定したり、パラメータを含んでいたりすればよい。 Further, as shown in FIG. 3B, the “action type command” has “αs, βs, γs” as (0, 0, −π / 2) and “recognized character or character string”. Corresponding to “character or character string”, “project the channel of“ character or character string ”of terrestrial digital broadcasting (terrestrial digital) broadcast” is stored, (π, 0, −π / 2), “character or Corresponding to “character string” is stored “showing the channel of“ character or character string ”of BS broadcast on the screen.” Also, (0, −π / 2, 0), “character or character string” Correspondingly, “project the CS broadcast“ character or character string ”channel on the screen” is stored.In this case, “αs, βs, γs” designates the type of command, and “recognized characters or "Character string" is a parameter, but "αs, βs, γs" and "recognized character or character string" are the command types. Or boss may be or contain a parameter.
図８は、文字認識時に文字の姿勢を変えながら、色々な文字又は文字列を書いたときに、その文字又は文字列によってどのような動作が行われるかを説明するための図である。図８（１）の場合には、「αs、βs、γs」が（５π／４，０，−π）の姿勢で文字列“Ｖｏ”を書いたときであり、パラメータ「αs」の“π−ａ”において、その“ａ”の値は−１π／４、従って“ａ÷（π／８）”の値は“２”となるためにボリュームを２段階ダウンすることを指示するコマンドが発行される。同様に、図８（２）の場合には、「αs、βs、γs」が（π／２，０，−π）の姿勢で文字列“Ｃｏｎ”を書いたときであり、“ａ”の値は−π／２、従って“ａ÷（π／８）”の値は“４”となるためにコントラストを４段階アップすることを指示するコマンドが発行される。 FIG. 8 is a diagram for explaining what operations are performed by various characters or character strings when various characters or character strings are written while changing the posture of the characters during character recognition. In the case of FIG. 8A, “αs, βs, γs” is when the character string “Vo” is written in an attitude of (5π / 4, 0, −π), and “π” of the parameter “αs” In -a, the value of “a” is −1π / 4, and therefore the value of “a ÷ (π / 8)” is “2”. Is done. Similarly, in the case of FIG. 8 (2), “αs, βs, γs” is when the character string “Con” is written in a posture of (π / 2, 0, −π), and “a” Since the value is −π / 2, and therefore the value of “a ÷ (π / 8)” is “4”, a command for instructing to increase the contrast by four steps is issued.
図８（３）の場合には、「αs、βs、γs」が（０，０，−π／２）の姿勢で文字“４”を書いたときであり、この文字“４”がそのままパラメータとなるために地デジ放送の「４」のチャンネルを画面に写すことを指示するコマンドが発行される。また、図８（４）の場合には、「αs、βs、γs」が（０，−π／２，０）の姿勢で文字“１２”を書いたときであり、この文字“１２”がそのままパラメータとなるためにＣＳ放送の「１２」のチャンネルを画面に写すことを指示するコマンドが発行される。 In the case of FIG. 8 (3), “αs, βs, γs” is when the character “4” is written in the posture of (0, 0, −π / 2), and this character “4” is directly used as the parameter. Therefore, a command for instructing to display the “4” channel of the terrestrial digital broadcasting on the screen is issued. In the case of FIG. 8 (4), “αs, βs, γs” is written when the character “12” is written in a posture of (0, −π / 2, 0). In order to use the parameters as they are, a command is issued to instruct the “12” channel of the CS broadcast to be displayed on the screen.
このようにして発行されたコマンドは、リモコン通信部５を介してテレビ受像機側に送信される結果、例えば、テレビリモコンを持って「４」と書いたら地デジの４チャンネルに変わり、リモコンを右に９０度回した状態で「４」と書いたらＢＳの４チャンネル、左に９０度回した状態で「４」と書いたらＣＳの４チャンネルに切り替えることができるようになる。
The command issued in this way is transmitted to the television receiver side via the remote
なお、「ボリューム」、「明度」、「コントラスト」などを変化させるときにユーザの手前を向く筐体の向きは、いつも同じであるためにその面に印を付けておくことにより、コマンドを発行する際に手前に向ける面を明示して、コマンド発行時の筐体の姿勢を分かり易くするようにしてもよい。これに合わせて、例えば、「αs、βs、γs」が（π，０，−π）の姿勢が分かるように印を付けておき、これを基準に右に回した位置で文字を書くと、パラメータが増加し、左に回すと、パラメータが減少するということが分かるようにしてもよい。同様に「地デジ」、「ＢＳ」、「ＣＳ」のときの姿勢が分かるように印を付けるようにしてもよい。 In addition, since the orientation of the housing facing the user when changing "Volume", "Brightness", "Contrast", etc. is always the same, issue a command by marking the surface. When this is done, the surface facing forward may be clearly indicated so that the posture of the housing at the time of issuing the command can be easily understood. In accordance with this, for example, if “αs, βs, γs” is marked so that the posture of (π, 0, −π) can be understood, and a character is written at a position rotated to the right based on this, You may make it understand that a parameter will decrease, if a parameter increases and it turns to the left. Similarly, a mark may be provided so that the posture at the time of “terrestrial digital”, “BS”, and “CS” can be understood.
次に、本実施形態におけるテレビリモコンの動作概念を図１０に示すフローチャートを参照して説明する。ここで、このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。 Next, the operation concept of the television remote controller in the present embodiment will be described with reference to the flowchart shown in FIG. Here, each function described in this flowchart is stored in the form of a readable program code, and operations according to the program code are sequentially executed. Further, it is possible to sequentially execute the operation according to the above-described program code transmitted via a transmission medium such as a network. In other words, the operation unique to the present embodiment can be executed using the program / data supplied from the outside via the transmission medium.
ここで、図１０に示すフローチャートを説明する前に、図９を参照して、ユーザが文字を手書き入力する際の操作手順や操作方法について簡単に説明しておく。
先ず、ユーザは、文字認識機能をオンさせた後、筺体を手に持って空中平面内を移動させながら文字を書くようにする。この場合、１文字を書き始める前には筐体を略静止させた後に（図９のステップＡ１）、文字の書き始め位置まで筐体をゆっくり滑らかに移動させる（ステップＡ２）。
Here, before explaining the flowchart shown in FIG. 10, an operation procedure and an operation method when the user inputs characters by handwriting will be briefly described with reference to FIG.
First, after turning on the character recognition function, the user writes a character while holding the frame in his hand and moving it in the air plane. In this case, after starting to write a single character, the case is substantially stationary (step A1 in FIG. 9), and then the case is slowly and smoothly moved to the character writing start position (step A2).
その後、文字を書き始める。その際、空中の任意の２次元平面内で文字を書くようにし、１文字の入力中は筺体の姿勢を大きく変化させないものとし、かつ、１画（ストローク）毎に筐体を移動させるが、この場合、１文字入力中は書く動きを止めずに一筆書きのように連続して滑らかに書くようにし、１つの画の終点から次の画の始点への移動も滑らに行う（ステップＡ３）。そして、１文字が書き終わった時点で再び、筐体を略静止させる（ステップＡ４）。その後、次の文字の書き始め位置までゆっくり滑らかに筐体を移動させた後（ステップＡ５）、次の文字を書き始める。以下、文字入力を終了させるまで（ステップＡ６でＮＯ）、上述のステップＡ３に戻り、手書き操作を繰り返すことにより複数の文字を順次手書き入力する。 Then start writing. At that time, it is assumed that characters are written in an arbitrary two-dimensional plane in the air, the posture of the housing is not greatly changed during the input of one character, and the housing is moved for each stroke (stroke). In this case, during the input of one character, the writing motion is not stopped and the writing is performed continuously and smoothly like a single stroke, and the movement from the end point of one image to the start point of the next image is also performed smoothly (step A3). . When the writing of one character is completed, the casing is again substantially stopped (step A4). Thereafter, the housing is moved slowly and smoothly to the next character writing start position (step A5), and then the next character is started to be written. Thereafter, until the character input is terminated (NO in step A6), the process returns to step A3 described above, and a plurality of characters are sequentially handwritten by repeating the handwriting operation.
図１０は、テレビリモコンの全体動作のうち、本実施形態の特徴部分の動作概要として、文字認識機能がオンされて文字入力処理が開始された場合の概要動作を示したフローチャートである。なお、この図１０のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。
先ず、制御部１は、予めテレビリモコン（筐体）を基準とした座標系を決めた後（ステップＢ１）、操作部６上のモード切替ボタンの操作に応じて入力モードの変更が指示されたかを調べ（ステップＢ２）、入力モードの変更が指示されたときには（ステップＢ２でＹＥＳ）、入力モードとしての文字修飾モードと動作制御モードとの切り替えを行う（ステップＢ３）。
FIG. 10 is a flowchart showing an outline operation when the character recognition function is turned on and a character input process is started as an outline of the operation of the characteristic part of the present embodiment, out of the entire operation of the TV remote controller. When the flow of FIG. 10 is exited, the flow returns to the main flow (not shown) of the overall operation.
First, after determining the coordinate system based on the TV remote controller (housing) in advance (Step B1), the
そして、加速度センサ７の計測結果に基づいて文字を書き始めたか否かを調べ（ステップＢ４）、文字が書き始められるまで待機状態となる。ここで、筐体が文字の書き始め位置まで滑らかに移動された後に文字が書き始められると、それに応じた加速度変化に基づいて文字が書き始められたことを判断することができる（ステップＢ４でＹＥＳ）。そして、加速度センサ７及び地磁気センサ８からその計測結果を取得しながらこの重力加速度と地磁気の計測値から重力方向に平行な軸をＺ軸、水平面における北向きをＸ軸、東向きをＹ軸とした座標系を世界座標とすると共に（ステップＢ５）、この世界座標の中での筐体の姿勢を表す回転行列を加速度と地磁気の計測値から求め、そのパラメータをｚ−ｙ−ｘ系のオイラー角（αc，βc，γc）として算出する（ステップＢ６）。
Then, based on the measurement result of the
そして、１文字入力中のデータを逐次蓄える処理を行った後（ステップＢ７）、１文字を書き終えたかを調べる（ステップＢ８）。この場合、ユーザは、文字を書き始めてから筐体の姿勢を保ったまま１文字を書き終わるまでは筐体を連続して移動させながら文字を書く手を止めずに一筆書きのようにして書き、１つの画の終点から次の画の始点へは滑らかな軌跡を描くように筐体を移動させ、１文字を書き終えたら筐体の移動を止めるようにしているために１文字の書き終えを判断することができる。いま、１文字の書き終えを検出したときには（ステップＢ８でＹＥＳ）、文字認識を行いながら文字の姿勢を表す回転行列を求め、そのパラメータをｚ−ｙ−ｘ系のオイラー角として（αs，βs，γs）を算出する（ステップＢ９）。 Then, after the process of sequentially storing data during the input of one character (step B7), it is checked whether one character has been written (step B8). In this case, the user writes the character in a single stroke without stopping the hand writing while continuously moving the casing until the writing of one character is completed while maintaining the posture of the casing after the start of writing. Move the housing to draw a smooth trajectory from the end point of one image to the start point of the next image, and finish writing one character because the movement of the housing is stopped when one character is written Can be judged. When it is detected that one character has been written (YES in step B8), a rotation matrix representing the posture of the character is obtained while performing character recognition, and its parameters are set as the Euler angles of the zyx system (αs, βs). , Γs) is calculated (step B9).
すなわち、手書きされた１文字分の入力データと認識辞書メモリＤＭの内容とを比較しながら文字認識処理を開始するが、その際、文字が書かれた文字平面を抽出すると共に、その平面内での文字の上下（天地）・表裏方向を抽出し、文字平面の法線方向をZ軸、文字平面の中で書かれた文字の上下方向をY軸、左右方向をX軸とした座標系が、筐体を基準とした座標系からどのように回転しているかを表す回転行列を求め、そのパラメータ（αs，βs，γs）を算出する。 That is, the character recognition process is started while comparing the handwritten input data for one character and the contents of the recognition dictionary memory DM. At this time, the character plane on which the character is written is extracted and The vertical and vertical (top and bottom) and front and back directions of the character are extracted, and the coordinate system with the normal direction of the character plane as the Z axis, the vertical direction of the character written in the character plane as the Y axis, and the horizontal direction as the X axis Then, a rotation matrix representing how the rotation is performed from the coordinate system with respect to the housing is obtained, and its parameters (αs, βs, γs) are calculated.
そして、現在の入力モードを判別し（ステップＢ１０）、文字修飾モードであれば、２種類の回転を表すパラメータ（αc，βc，γc，αs，βs，γs）に基づいて修飾種コマンドテーブルＴＭ１を参照し、対応する「文字修飾種コマンド」を読み出して（ステップＢ１１）、文字修飾種を指定するコマンドを発行する（ステップＢ１２）。これによって認識した文字をこの修飾種に応じた入力文字に生成する処理を行う（ステップＢ１３）。なお、
この時点でこの生成文字をリモコン通信部５を介してテレビ受像機側に送信するようにしてもよく、又は、図１０のフローから抜けた際に、この発行コマンドをリモコン通信部５を介してテレビ受像機側に送信するようにしてもよい。このようにして入力文字を生成した後は、文字入力終了ボタンの操作有無を調べ（ステップＢ１４）、その終了ボタンが操作されるまで（ステップＢ１４でＮＯ）、上述のステップＢ２に戻る。
Then, the current input mode is discriminated (step B10), and if it is the character modification mode, the modification type command table TM1 is determined based on parameters (αc, βc, γc, αs, βs, γs) representing two types of rotation. The corresponding “character modification type command” is read out (step B11), and a command for designating the character modification type is issued (step B12). A process of generating the recognized character as an input character corresponding to the modification type is performed (step B13). In addition,
At this time, the generated character may be transmitted to the television receiver side via the remote
また、現在の入力モードが動作制御モードであれば（ステップＢ１０）、認識された文字又は文字列及び２種類の回転を表すパラメータ（αc，βc，γc，αs，βs，γs）に基づいて動作種コマンドテーブルＴＭ２を参照し、対応する「動作種コマンド」を読み出して（ステップＢ１５）、動作種コマンドを発行する（ステップＢ１６）。なお、この時点でこの発行コマンドをリモコン通信部５を介してテレビ受像機側に送信して、チャンネル切り替えなどを遠隔制御するようにしてもよく、又は、図１０のフローから抜けた際に、この発行コマンドをリモコン通信部５を介してテレビ受像機側に送信するようにしてもよい。
そして、文字入力終了ボタンの操作有無を調べ（ステップＢ１４）、その終了ボタンが操作されるまで（ステップＢ１４でＮＯ）、上述のステップＢ２に戻るが、文字入力終了ボタンが操作されたときには（ステップＢ１４でＹＥＳ）、この図１０のフローから抜ける。
If the current input mode is the operation control mode (step B10), the operation is performed based on the recognized character or character string and two types of parameters (αc, βc, γc, αs, βs, γs) representing rotations. The corresponding “operation type command” is read with reference to the seed command table TM2 (step B15), and the operation type command is issued (step B16). At this time, this issuance command may be transmitted to the television receiver side via the remote
Then, whether or not the character input end button is operated is checked (step B14), and the process returns to the above-described step B2 until the end button is operated (NO in step B14), but when the character input end button is operated (step B14). B14: YES), the flow of FIG. 10 is exited.
以上のように、本実施形態において制御部１は、空中の任意の平面内で筺体が移動されながら行われた文字を書く動作によりその平面内で書かれた文字を認識する場合に、筐体の姿勢のオイラー角（αc，βc，γc）と、文字の姿勢のオイラー角（αs，βs，γs）の２種類の回転を表すパラメータ（αc，βc，γc，αs，βs，γs）を算出して、このパラメータ（αc，βc，γc，αs，βs，γs）に基づいて修飾種コマンドテーブルＴＭ１を参照し、又はパラメータ（αc，βc，γc，αs，βs，γs）及び認識された文字又は文字列に基づいて動作種コマンドテーブルＴＭ２を参照して、所定のコマンドを発行するようにしたので、任意の平面内で書かれた文字を認識する場合に、文字認識と共にその文字を書く動作に応じて各種のコマンドを発行することができ、特別なボタン操作（キー操作）を行うことなく、所定の処理を実行させることができ、利便性に富んだものとなる。さらに操作ボタン（操作キー）を一切不要又は大幅に削減することも可能となり、デザイン性、防水防塵性、小型薄型化などの促進効果も合わせ持つ。
As described above, in the present embodiment, the
加速度センサ７により計測された重力方向に対する筐体の傾きをその姿勢として算出するようにしたので、例えば、操作者が仰向けに寝て書いているのかなど、操作者の姿勢に応じてコマンドを発行することができる。
Since the inclination of the housing with respect to the direction of gravity measured by the
加速度センサ７により計測された重力方向及び地磁気センサ８により計測された方位に対する筐体の傾きをその姿勢として算出するようにしたので、筐体の向きに応じてコマンドを発行することができ、重力方向との組み合わせにより発行コマンド数も多くすることができる。
Since the orientation of the casing with respect to the direction of gravity measured by the
加速度センサ７により計測された重力方向に対する文字平面の傾きを文字の姿勢として算出するようにしたので、文字平面の傾きに応じてコマンドを発行することができる
Since the inclination of the character plane with respect to the direction of gravity measured by the
加速度センサ７により計測された重力方向及び地磁気センサ８により計測された方位に対する文字平面の傾きを文字の姿勢として算出するようにしたので、文字をどの向きに書いたかに応じてコマンドを発行することができ、重力方向との組み合わせにより発行コマンド数も多くすることができる。
Since the inclination of the character plane relative to the direction of gravity measured by the
文字平面内での文字又は文字列の上下方向、表裏方向を含めて文字又は文字列の姿勢として算出するようにしたので、文字平面内において文字の天地や表裏をどの方向に向けて書いたとしても文字を正確に認識することが可能となると共に、それだけ発行コマンド数も多くすることができる。 Since it was calculated as the posture of the character or character string including the vertical direction and front / back direction of the character or character string in the character plane, In addition, it is possible to accurately recognize characters and to increase the number of issued commands accordingly.
リモコン通信部５から発行コマンドを外部（テレビ受像機）に送信するようにしたので、文字認識と共にその文字を書く動作に応じてテレビ受像機を遠隔操作することができる。
Since the issuance command is transmitted from the remote
発行コマンドに応じた処理を実行するようにしたので、発行コマンドに応じて内部処理することができる。 Since processing according to the issued command is executed, internal processing can be performed according to the issued command.
認識文字の属性を指定するコマンドを発行するようにしたので、認識文字をどのように修飾するかを示す文字属性として、文字の大きさ・太さ・フォント種・色・変形加工などを文字を書く動作に応じて指定することができる。 Since the command to specify the recognition character attribute is issued, the character size, thickness, font type, color, deformation processing, etc. can be selected as the character attributes indicating how to modify the recognition character. It can be specified according to the writing action.
動作種を指定するコマンドを発行するようにしたので、文字を書く動作に応じた各種の動作としてテレビ受像機を遠隔操作することができる。 Since the command for specifying the operation type is issued, the television receiver can be remotely operated as various operations corresponding to the operation of writing characters.
なお、上述した実施形態においては、修飾種コマンドテーブルＴＭ１を使用する文字修飾モードと、動作種コマンドテーブルＴＭ２を使用する動作制御モードを、操作部６上のモード切替ボタンを操作することにより切り替えるようにしたが、入力モード切替用のコマンドテーブル（図示省略）を設け、文字を書く動作に応じて文字修飾モードと動作制御モードとを切り替えるようにしてもよい。これによってモード切替ボタンを不要とすることができる。同様に、電源ボタン、文字入力終了ボタンなどの操作ボタンも全て不要とするために、それらのボタンに対応するコマンドを発行するためのコマンドテーブル（図示省略）を設けるようにすれば、操作部６自体を不要とすることができる。
In the above-described embodiment, the character modification mode using the modification type command table TM1 and the operation control mode using the operation type command table TM2 are switched by operating the mode switching button on the
上述した実施形態においては、テレビリモコンに表示部を省略した場合を例示したが、表示情報をテレビ受像機に送信してそのテレビ画面に表示させるようにしてもよく、また、専用の外部表示装置を設け、この外部表示装置に表示情報を送信して表示させるようにしてもよい。 In the above-described embodiment, the case where the display unit is omitted from the TV remote controller is exemplified. However, display information may be transmitted to the TV receiver and displayed on the TV screen, or a dedicated external display device may be used. The display information may be transmitted and displayed on the external display device.
上述した実施形態においては、加速度センサ７に加えて地磁気センサ８も備えるようにしたが、加速度センサ７のみを備え、地磁気センサ８を省略するようにしてもよい。この場合、方位は関係がなくなるので、図２からも分かるように、世界座標から筐体の姿勢を求めるときの角度αは意味がなくなるので、この場合は算出される角度のパラメータは（βｃ，γｃ，αｓ，βｓ，γｓ）の５種類となる。それに伴い、図１０のステップＢ５の処理内容は、「加速度センサ７の計測結果を取得しながらこの重力加速度の計測値から重力方向に平行な軸をＺ軸とした座標系を世界座標とする」となり、また、ステップＢ６の処理内容は、「世界座標の中での筐体の姿勢を表すパラメータを二種類の角（βｃ，γｃ）として算出する」となる。また、ステップＢ１１は、「（βｃ，γｃ，αｓ，βｓ，γｓ）に基づいて修飾種コマンドテーブルＴＭ１を参照し、対応する「文字修飾種コマンド」を読み出す」となり、ステップＢ１５は、「認識された文字又は文字列及び（βｃ，γｃ，αｓ，βｓ，γｓ）に基づいて動作種コマンドテーブルＴＭ２を参照し、対応する「動作種コマンド」を読み出す」となる。
In the embodiment described above, the
また、上述した実施形態においては、２種類の回転を表すパラメータ（αｃ，βｃ，γｃ，αｓ，βｓ，γｓ）と各コマンドとを対応付けるようにしたが、その場合、例えば、（αｃ，βｃ，γｃ，αｓ，βｓ，γｓ）のいくつかのパラメータを無視するようにしてもよい。また、このパラメータ（αｃ，βｃ，γｃ，αｓ，βｓ，γｓ）の一つ一つにコマンドを一つずつ対応付けるのではなく、（αｃ，βｃ，γｃ，αｓ，βｓ，γｓ）を変数に持つ関数の値とコマンドとを対応付けるようにしてもよい。 In the above-described embodiment, parameters (αc, βc, γc, αs, βs, γs) representing two types of rotation are associated with each command. In this case, for example, (αc, βc, Some parameters of γc, αs, βs, γs) may be ignored. In addition, each parameter (αc, βc, γc, αs, βs, γs) is not associated with one command at a time, but has (αc, βc, γc, αs, βs, γs) as variables. A function value and a command may be associated with each other.
また、パラメータ（αｃ，βｃ，γｃ，αｓ，βｓ，γｓ）の値とコマンドを対応付ける際に、各パラメータのうちの離散的な値のみに対応付けて、実際に算出されたパラメータ（αｃ，βｃ，γｃ，αｓ，βｓ，γｓ）の値から対応付けられた最も近い離散値を取るようにしてもよい。さらにまた、パラメータ（αc，βc，γc，αs，βs，γs）、つまり、世界座標における筐体の姿勢とこの座標を基準とした文字の姿勢を条件にするのではなく、これらを合成して世界座標を基準とした文字の姿勢（α，β，γ）をパラメータとしてもよい。また、上述した実施形態においては、パラメータ（αs，βs，γs）に関連付ける値をそれぞれ９０度刻みとするようにしたが、４５度刻みなどというように他の角度にしてもよい。 Further, when the values of the parameters (αc, βc, γc, αs, βs, γs) are associated with the commands, the parameters (αc, βc) that are actually calculated are associated with only the discrete values of the parameters. , Γc, αs, βs, γs), the closest discrete value associated may be taken. Furthermore, the parameters (αc, βc, γc, αs, βs, γs), that is, the pose of the case in the world coordinates and the pose of the character with reference to these coordinates are combined as a condition. The character orientation (α, β, γ) based on the world coordinates may be used as a parameter. In the above-described embodiment, the values associated with the parameters (αs, βs, γs) are set in increments of 90 degrees, but may be set to other angles such as increments of 45 degrees.
上述した実施形態においては、筐体に対する文字の姿勢（相対姿勢）のみに着目した例示したが、例えば、（１）、重力方向に対する筐体の姿勢（βc，γc）、（２）、重力方向と方角に対する筐体の姿勢（αc，βc，γc）に適用するようにしてもよく、さらに、上述の（１）、（２）に筐体に対する文字の姿勢も組み合わせて種類を増やしてもよく、また、筐体の姿勢だけを除外して、重力方向に対する文字の姿勢、及び重力方向と方角に対する文字の姿勢に適用してもよい。 In the above-described embodiment, an example is given in which attention is paid only to the character posture (relative posture) with respect to the housing. However, for example, (1) the housing posture with respect to the gravity direction (βc, γc), (2), the gravity direction. And may be applied to the orientation of the housing relative to the direction (αc, βc, γc), and the number of types may be increased by combining the orientation of characters with respect to the housing in (1) and (2) above. In addition, it may be applied to the character posture with respect to the gravitational direction and the character posture with respect to the gravitational direction and direction, excluding only the housing posture.
さらに、（αc，γc，αs，βs，γs）を無視し、（βc）のみに適用してもよい。例えば、テレビリモコンを重力方向に対して右に２０度傾けて「Ｖ」と書けば、ボリュームを２段階アップ、左に３０度傾けて「Ｖ」と書けば、ボリュームを３段階ダウン、右に３０度傾けて「Ｂ」と書けば、ブライトネスを３段階アップ、などというように、書いた文字をコントロール種に意味づけさせて、角度量にそのコントロール種のパラメータを意味づけるようにしてもよい。すなわち、平面内に書かれた文字又は文字列の姿勢とその文字又は文字列を書いている間の筐体の姿勢との相対姿勢、文字又は文字列を書いている間の筐体の姿勢、平面内に書かれた文字又は文字列の姿勢のうち、少なくともいずれかの姿勢を算出するようにすればよい。 Furthermore, (αc, γc, αs, βs, γs) may be ignored and applied only to (βc). For example, if the TV remote control is tilted 20 degrees to the right and written “V”, the volume will be increased by 2 levels, if tilted 30 degrees to the left and written “V”, the volume will be decreased by 3 levels and turned to the right. If you write "B" by tilting it 30 degrees, you can make the written character to mean the control type, such as increasing the brightness by 3 levels, and the angle amount to mean the parameter of that control type. . That is, the relative posture between the posture of the character or character string written in the plane and the posture of the housing while writing the character or character string, the posture of the housing while writing the character or character string, It is only necessary to calculate at least one of the postures of characters or character strings written in the plane.
また、認識しようとする文字において、例えば「Ｖ」のような文字の場合、左右対象のため形の上では文字の表と裏を区別することはできないが、加速度によって文字を認識する場合は、文字の書き順も考慮して認識するようにすれば、文字の表と裏を区別することができる。しかし、数字の「１」のような文字の場合は、上から下へ書くという書き順を利用すれば上下を区別できるが、それでも左右の区別をつけることはできない。また、図４（１）の姿勢で「１」を書いた場合、図４（５）、（１２）、（１５）の姿勢で「１」を書いた場合と同じになる。同様に、記号「＞」と「＜」について、それぞれ片方の文字だけの場合は上下左右裏表の区別をつけることができるが、認識しようとする文字の中に双方の文字がある場合は、それぞれが裏表の関係となり、例えば図４（１）の「＞」と（５）の「＜」とを区別することができない。このように認識しようとする文字の中に、これらのような文字が含まれている場合には、区別できなくなる姿勢を除外するようにすればよい。 In addition, in the case of a character to be recognized, for example, a character such as “V”, the front and back of the character cannot be distinguished on the shape because of the left and right objects, but when the character is recognized by acceleration, By recognizing the character writing order, the front and back of the character can be distinguished. However, in the case of a character such as the number “1”, it is possible to distinguish the top and bottom by using the order of writing from top to bottom, but still it is not possible to distinguish left and right. Further, when “1” is written in the posture of FIG. 4A, it is the same as when “1” is written in the postures of FIG. 4 (5), (12), and (15). Similarly, for the symbols “>” and “<”, if only one character is used, the top, bottom, left and right sides can be distinguished, but if both characters are included in the characters to be recognized, Is a front-back relationship, and for example, “>” in FIG. 4A cannot be distinguished from “<” in (5). If characters such as these are included in the characters to be recognized in this way, the postures that cannot be distinguished may be excluded.
例えば、図４の場合において、認識させる文字の中に「１」がある場合は、図４（１）、（５）、（１２）、（１５）の姿勢、（２）、（６）、（１８）、（２２）の姿勢、（３）、（７）、（１０）、（１４）の姿勢、（４）、（８）、（２０）、（２４）の姿勢、（９）、（１３）、（１７）、（２１）の姿勢、（１１）、（１５）、（１９）、（２３）の姿勢の６種の姿勢に限定することにより、区別できなくなる不具合を回避するようにすればよい。また、記号「＞」「＜」のように、書き順を含めても表裏が区別できないものに対しては、機器に対する文字の姿勢のうちの半分、例えば、図４（５）〜（８）、（１３）〜（１６）、（２１）〜（２４）を操作者に禁止するようにして、区別できなくなる不具合を回避するようにすればよい。これにより、例えば、認識させようとする文字列の中に「１」、「＞」、「＜」の３文字があった場合で、かつ、（αc，βc，γc）を使用せず、かつ、（αs，βs，γs）を９０度刻みに限定したとしても、図４（１）、（１２）の姿勢、（２）、（１８）の姿勢、（３）、（１０）の姿勢、（４）、（２０）の姿勢、（９）、（１７）の姿勢、（１１）、（１９）の姿勢の６姿勢の区別をつけることが可能となる。 For example, in the case of FIG. 4, if there is “1” among the characters to be recognized, the postures of FIGS. 4 (1), (5), (12), (15), (2), (6), (18), (22) posture, (3), (7), (10), (14) posture, (4), (8), (20), (24) posture, (9), By limiting to the six postures of the postures (13), (17), (21) and (11), (15), (19), (23), it is possible to avoid problems that cannot be distinguished. You can do it. For symbols such as “>” and “<” that cannot be distinguished from each other even if they include the order of writing, half of the character posture with respect to the device, for example, FIGS. 4 (5) to (8). , (13) to (16) and (21) to (24) may be prohibited for the operator so as to avoid the problem of being indistinguishable. Thereby, for example, when there are three characters “1”, “>”, “<” in the character string to be recognized, and (αc, βc, γc) is not used, and Even if (αs, βs, γs) is limited to 90 degrees, the postures of FIGS. 4 (1) and (12), the postures of (2) and (18), the postures of (3) and (10), It is possible to distinguish six postures: (4), (20) posture, (9), (17) posture, and (11), (19) posture.
上述した実施形態においては、２種類の回転を表すパラメータ（αc，βc，γc，αs，βs，γs）を使用して筐体や文字の姿勢をオイラー角で算出するようにしたが、姿勢はオイラー角で表される回転表現に限らず、回転を表現できるものであれば、その他、回転行列、クォータニオンなど他の関数表現を用いるようにしてもよい。 In the embodiment described above, the posture of the case and the character is calculated by the Euler angle using the parameters (αc, βc, γc, αs, βs, γs) representing the two types of rotation. Other function expressions such as a rotation matrix and a quaternion may be used as long as the expression is not limited to the rotation expression represented by the Euler angle.
上述した実施形態においては、テレビリモコンに適用するようにしたが、これに限らず、例えば、電子黒板用の文字入力リモコンに適用してもよく、認識された文字を入力する場合に、文字を書くときの文字の姿勢により、その文字の色を変化させるようにしてもよい。つまり、上述と同様に９０度刻みで姿勢を判断して色を変化させるようにして、任意の２４色で文字が書けるようにしてもよい。また、文字姿勢によって色を変化させる場合に限らず、フォント種、大きさ、太さなどを変化させるようにしてもよい。すなわち、右に傾ければ傾けるほど太くしたり、左に傾けたらその分だけ細く表示したりできるほか、文字色やフォントの大きさ、文字の縦書き、横書き、斜め書きとその角度、大文字と小文字、全角半角などを変えるようにしてもよい。 In the above-described embodiment, the present invention is applied to the TV remote controller. However, the present invention is not limited to this. For example, the present invention may be applied to a character input remote controller for an electronic blackboard. You may make it change the color of the character according to the attitude | position of the character at the time of writing. That is, as described above, the posture may be determined in 90 degree increments and the color may be changed so that characters can be written in any 24 colors. In addition, the font type, size, thickness, and the like may be changed without being limited to changing the color depending on the character posture. In other words, if you tilt it to the right, you can make it thicker, or if you tilt it to the left, you can make it thinner, as well as the font color, font size, vertical writing, horizontal writing, diagonal writing and its angle, capital letters Lowercase letters, full-width half-width, etc. may be changed.
また、腕時計に適用して、ある姿勢で数字を入力したときは（例えば、時計の文字盤を上に向けて数字を書いたときは）、設定したい目覚まし時刻の入力、別のある姿勢で数字を入力したときは、タイマー時間の入力というように、入力する数字、文字の意味を姿勢によって変化させるようにしてもよい。 Also, when applied to a wristwatch and entering numbers in a certain posture (for example, when writing numbers with the clock face up), input the alarm time you want to set, numbers in another posture When the number is input, the meaning of the input numbers and characters may be changed depending on the posture, such as input of timer time.
その他、文字認識機能付きのデジタルカメラ・携帯電話機・卓上電子計算機・腕時計・パーソナルコンピュータ（ノートパソコン）・ＰＤＡ・音楽プレイヤー、楽器などのほか、それらのリモコンに適用するようにしてもよい。例えば、デジタルカメラに適用した場合に、文字を書いているときの筐体の姿勢により、画像ファイルに各種の情報を記録したり、単なるメモに文字を入力したりするようにしてもよい。 In addition, the present invention may be applied to a digital camera with a character recognition function, a mobile phone, a desktop electronic calculator, a wristwatch, a personal computer (notebook personal computer), a PDA, a music player, a musical instrument, etc. For example, when applied to a digital camera, various types of information may be recorded in an image file or characters may be input into a simple memo depending on the orientation of the casing when writing characters.
また、上述した各実施形態において示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。 Further, the “device” and “machine” shown in each of the above-described embodiments may be separated into a plurality of housings by function, and are not limited to a single housing. In addition, each step described in the above-described flowchart is not limited to time-series processing, and a plurality of steps may be processed in parallel or separately.
１ 制御部
３ 記憶部
５ リモコン通信部
７ 加速度センサ
８ 地磁気センサ
ＤＭ 認識辞書メモリ
ＴＭ コマンドテーブル
ＴＭ１ 修飾種コマンドテーブル
ＴＭ２ 動作種コマンドテーブル
DESCRIPTION OF
Claims (12)
前記平面内に前記書く動作により書かれた文字又は文字列の姿勢とその文字又は文字列を書く動作の間の筐体の姿勢との相対姿勢、文字又は文字列を書く動作の間の筐体の姿勢、前記平面内に前記書く動作により書かれた文字又は文字列の姿勢のうち、少なくともいずれかの姿勢を算出する算出手段と、
前記算出手段により算出された文字又は文字列の姿勢と筐体の姿勢との相対姿勢、筐体の姿勢、文字又は文字列の姿勢、前記認識手段により認識された文字又は文字列の種類のうち、少なくともいずれかの組み合わせに応じて所定のコマンドを発行する発行手段と、
を具備したことを特徴とする小型電子機器。 A small electronic device having a recognition means for recognizing an operation of writing a character or a character string performed while a casing incorporating an acceleration sensor is moved in an arbitrary plane in the air based on a measurement result of the acceleration sensor. ,
Relative posture between the posture of the character or character string written by the writing operation in the plane and the posture of the housing during the operation of writing the character or character string, the housing during the operation of writing the character or character string Calculating means for calculating at least one of the posture of the character or the character string written by the writing operation in the plane;
Among the relative posture between the posture of the character or character string calculated by the calculation means and the posture of the housing, the posture of the housing, the posture of the character or character string, and the type of character or character string recognized by the recognition means Issuing means for issuing a predetermined command according to at least any combination;
A small electronic device comprising:
ようにしたことを特徴とする請求項１記載の小型電子機器。 The calculating means calculates the inclination of the housing with respect to the gravitational direction measured by the acceleration sensor as its posture;
The small electronic device according to claim 1, which is configured as described above.
前記算出手段は、前記加速度センサにより計測された重力方向及び前記地磁気センサにより計測された方位に対する前記筐体の傾きをその姿勢として算出する、
ようにしたことを特徴とする請求項１記載の小型電子機器。 Further equipped with a geomagnetic sensor for measuring the direction,
The calculation means calculates the inclination of the housing with respect to the direction of gravity measured by the acceleration sensor and the direction measured by the geomagnetic sensor as its posture.
The small electronic device according to claim 1, which is configured as described above.
ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の小型電子機器。 The calculating means calculates the inclination of the plane with respect to the direction of gravity measured by the acceleration sensor as the posture of the character;
The small electronic device according to claim 1, wherein the small electronic device is configured as described above.
前記算出手段は、前記加速度センサにより計測された重力方向及び前記地磁気センサにより計測された方位に対する前記平面の傾きを前記文字の姿勢として算出する、
ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の小型電子機器。 Further equipped with a geomagnetic sensor for measuring the direction,
The calculating means calculates the inclination of the plane with respect to the direction of gravity measured by the acceleration sensor and the direction measured by the geomagnetic sensor as the posture of the character.
The small electronic device according to claim 1, wherein the small electronic device is configured as described above.
ようにしたことを特徴とする請求項４あるいは請求項５記載の小型電子機器。 The calculation means calculates the posture of the character or character string including at least one of the vertical direction and front / back direction of the character or character string in the plane,
6. The small electronic device according to claim 4, wherein the small electronic device is configured as described above.
ようにしたことを特徴とする請求項１記載の小型電子機器。 Further comprising transmission means for transmitting the command issued by the issuing means to the outside,
The small electronic device according to claim 1, which is configured as described above.
ようにしたことを特徴とする請求項１あるいは請求項７記載の小型電子機器。 Processing means for executing processing according to the command issued by the issuing means;
The small electronic device according to claim 1 or 7, characterized in that it is configured as described above.
ようにしたことを特徴とする請求項１〜請求項８のいずれかに記載の小型電子機器。 The issuing means issues a command for specifying an attribute of a character or a character string recognized by the recognition means;
The small electronic device according to any one of claims 1 to 8, wherein the electronic device is configured as described above.
ようにしたことを特徴とする請求項１〜請求項８のいずれかに記載の小型電子機器。 The issuing means issues a command specifying an operation type;
The small electronic device according to any one of claims 1 to 8, wherein the electronic device is configured as described above.
ようにしたことを特徴とする請求項１〜請求項８のいずれかに記載の小型電子機器。 The issuing means issues a command for switching the operation mode;
The small electronic device according to any one of claims 1 to 8, wherein the electronic device is configured as described above.
加速度センサを内蔵した筺体が空中の任意の平面内で移動されながら行われた文字又は文字列を書く動作を該加速度センサの計測結果に基づいて認識する機能と、
前記平面内に前記書く動作により書かれた文字又は文字列の姿勢とその文字又は文字列を書く動作の間の筐体の姿勢との相対姿勢、文字又は文字列を書く動作の間の筐体の姿勢、前記平面内に前記書く動作により書かれた文字又は文字列の姿勢のうち、少なくともいずれかの姿勢を算出する機能と、
前記算出された文字又は文字列の姿勢と筐体の姿勢との相対姿勢、筐体の姿勢、文字又は文字列の姿勢、前記認識された文字又は文字列の種類のうち、少なくともいずれかの組み合わせに応じて所定のコマンドを発行する機能と、
を実現させるためのプログラム。 Against the computer,
A function of recognizing an action of writing a character or a character string performed while a casing incorporating an acceleration sensor is moved in an arbitrary plane in the air based on a measurement result of the acceleration sensor;
Relative posture between the posture of the character or character string written by the writing operation in the plane and the posture of the housing during the operation of writing the character or character string, the housing during the operation of writing the character or character string A function of calculating at least one of the posture of the character or the character string written by the writing operation in the plane,
A combination of at least one of the calculated posture of the character or character string and the posture of the housing, the posture of the housing, the posture of the character or character string, or the type of the recognized character or character string According to the function of issuing a predetermined command,
A program to realize
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010211831A JP5652647B2 (en) | 2010-09-22 | 2010-09-22 | Small electronic device, processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010211831A JP5652647B2 (en) | 2010-09-22 | 2010-09-22 | Small electronic device, processing method and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2012068792A true JP2012068792A (en) | 2012-04-05 |
| JP2012068792A5 JP2012068792A5 (en) | 2013-10-17 |
| JP5652647B2 JP5652647B2 (en) | 2015-01-14 |
Family
ID=46166033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010211831A Expired - Fee Related JP5652647B2 (en) | 2010-09-22 | 2010-09-22 | Small electronic device, processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5652647B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015531947A (en) * | 2012-09-14 | 2015-11-05 | ワイドヴァンテージ インク | Electric device that uses a magnetic field sensor to determine user input |
| WO2016047598A1 (en) * | 2014-09-26 | 2016-03-31 | 京セラ株式会社 | Electronic apparatus and electronic apparatus system |
| JP2016118929A (en) * | 2014-12-19 | 2016-06-30 | 富士通株式会社 | Input support method, input support program and input support apparatus |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006079221A (en) * | 2004-09-08 | 2006-03-23 | Kddi Corp | Character input device |
| JP2008070920A (en) * | 2006-09-12 | 2008-03-27 | Ntt Docomo Inc | Mobile terminal device and authentication method using the same |
-
2010
- 2010-09-22 JP JP2010211831A patent/JP5652647B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006079221A (en) * | 2004-09-08 | 2006-03-23 | Kddi Corp | Character input device |
| JP2008070920A (en) * | 2006-09-12 | 2008-03-27 | Ntt Docomo Inc | Mobile terminal device and authentication method using the same |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015531947A (en) * | 2012-09-14 | 2015-11-05 | ワイドヴァンテージ インク | Electric device that uses a magnetic field sensor to determine user input |
| WO2016047598A1 (en) * | 2014-09-26 | 2016-03-31 | 京セラ株式会社 | Electronic apparatus and electronic apparatus system |
| JP2016070980A (en) * | 2014-09-26 | 2016-05-09 | 京セラ株式会社 | Electronic apparatus and electronic apparatus system |
| US20170193967A1 (en) * | 2014-09-26 | 2017-07-06 | Kyocera Corporation | Electronic apparatus, electronic apparatus system, and method for controlling electronic apparatus |
| US10235969B2 (en) | 2014-09-26 | 2019-03-19 | Kyocera Corporation | Electronic apparatus, electronic apparatus system, and method for controlling electronic apparatus |
| JP2016118929A (en) * | 2014-12-19 | 2016-06-30 | 富士通株式会社 | Input support method, input support program and input support apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5652647B2 (en) | 2015-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8619048B2 (en) | Method and device of stroke based user input | |
| US10147243B2 (en) | Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment | |
| JP5802667B2 (en) | Gesture input device and gesture input method | |
| US7952561B2 (en) | Method and apparatus for controlling application using motion of image pickup unit | |
| US8462109B2 (en) | Controlling and accessing content using motion processing on mobile devices | |
| JP5315857B2 (en) | Input device, control system, and control method | |
| CN103513894B (en) | Display device, remote control equipment and its control method | |
| US20090262074A1 (en) | Controlling and accessing content using motion processing on mobile devices | |
| US20140267019A1 (en) | Continuous directional input method with related system and apparatus | |
| US11385784B2 (en) | Systems and methods for configuring the user interface of a mobile device | |
| KR101609553B1 (en) | Apparatus and method for 3d motion recognition information input, and recording medium storing program for executing the same | |
| KR102207510B1 (en) | Electronic device for controlling host device using motion signals and mouse signals | |
| JP2014215752A (en) | Electronic equipment and method for processing handwritten data | |
| CN105094635A (en) | Apparatus and method for navigating through volume image | |
| JP5652647B2 (en) | Small electronic device, processing method and program | |
| CN204945943U (en) | For providing the remote control equipment of remote control signal for external display device | |
| KR20160143428A (en) | Pen terminal and method for controlling the same | |
| US20170199586A1 (en) | Gesture control method for interacting with a mobile or wearable device utilizing novel approach to formatting and interpreting orientation data | |
| JP2002082773A (en) | Input device and its method | |
| CN104076918A (en) | Display apparatus and remote control apparatus for controlling the display apparatus | |
| JP4675718B2 (en) | Operation determination device, operation determination program, and computer-readable recording medium | |
| US20220407550A1 (en) | Smart ring | |
| JP6270557B2 (en) | Information input / output device and information input / output method | |
| KR20230030472A (en) | Method for creating user defined gesture profile based on user's repetitive motion and recognizing gesture | |
| CN114816088A (en) | Online teaching method, electronic equipment and communication system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130830 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130830 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140401 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140410 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141105 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5652647 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |