JP5596574B2 - Information processing device - Google Patents
Information processing device Download PDFInfo
- Publication number
- JP5596574B2 JP5596574B2 JP2011010367A JP2011010367A JP5596574B2 JP 5596574 B2 JP5596574 B2 JP 5596574B2 JP 2011010367 A JP2011010367 A JP 2011010367A JP 2011010367 A JP2011010367 A JP 2011010367A JP 5596574 B2 JP5596574 B2 JP 5596574B2
- Authority
- JP
- Japan
- Prior art keywords
- detection area
- detection
- user
- area
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Details Of Television Systems (AREA)
- User Interface Of Digital Computer (AREA)
Description
技術分野は、電子機器の操作に関する。 The technical field relates to the operation of electronic devices.
近年の電子機器は、電子機器本体から離れたところでその電子機器を制御するためのリモートコントロール装置、いわゆるリモコンによって操作されるのが一般的な構成となっている。リモコンは電子機器本体から離れた場所における電子機器の操作に便利であるが、リモコンがユーザの手元にない場合、あるいはリモコンの電池が切れている場合など、リモコンが使えない状態にあるとユーザはストレスを感じることとなる。 In recent years, electronic devices are generally operated by a remote control device for controlling the electronic device at a distance from the electronic device body, a so-called remote controller. The remote control is convenient for operating the electronic device in a place away from the main body of the electronic device, but if the remote control is not in the user's hand or the remote control battery is dead, the user cannot use the remote control. You will feel stress.
特許文献1には、「リモコンを手元に置いていない場合やリモコンを紛失した場合でも機器をリモート操作することができ、操作途中でも操作が機器に受け入れられているかどうかを認識することができるリモート操作装置を提供する」ことを課題とし、その解決手段として「操作機器11を操作するユーザを撮影可能な場所に取り付けられたカメラ1、画像の動き及び/又は形状を認識する画像認識器5、6、操作内容を選択させる選択肢画像パターンからなる選択メニューを表示するメニュー表示器8を備え、画像認識結果と選択メニューで表示された選択肢画像パターンとが一致するとき、一致したメニュー項目を選択し、この選択結果に基づいて、例えば、次ニュー表示,表示切,入力切替などの選択メニュー表示のオン/オフ、あるいは操作機器インターフェース10を介して操作機器11の選局等の制御コマンドを実行する」ことが開示されている(特許文献1要約参照)。
また、テレビジョン受像機では、カメラ以外に人の動きを検知する手段として、焦電型赤外線センサを人感センサとして搭載する提案がされている。 In addition, in a television receiver, as a means for detecting a person's movement other than a camera, a proposal has been made to mount a pyroelectric infrared sensor as a human sensor.
特許文献2には、「テレビなどのAV機器に人感センサを取り付け、通常モードと節電モードを設定して、それぞれのモードで人感センサの機能を働かせることによって、きめ細かな節電効果を達成すること」を課題とし、その解決手段として「人の存在を感知する人感センサが設置され、手動で電源をオフし得る通常モードと節電効果を奏し得る節電モードとが設定された人感センサ機能付きAV機器であって、節電モードが設定された場合(S4、S11)、人感センサが規定された所定時間だけ人の存在を検知できないときには(S12、S13)、自動的に待機モードに切り替えられ(S14)、待機モードが規定された所定時間だけ経過すれば(S15)電源を自動的にオフすること(S16)。また、通常モードが設定された場合(S5)、人感センサが規定された所定時間だけ人の存在を検知できないときには自動的に節電モードに切り替えられる(S6、S7、S10)」ことが開示されている(特許文献2要約参照)。
しかしながら、特許文献1で開示された発明では、ユーザが操作する電子機器にカメラ等を搭載する必要があり、電子機器が高価格になるという問題があった。
However, in the invention disclosed in
また、カメラと比べて人感センサは安価であるが、特許文献2で開示された発明では、人感センサは人の存在の有無の判断に用いられているのみで、人感センサを電子機器の操作に用いることは考慮されていない。
The human sensor is less expensive than the camera. However, in the invention disclosed in
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。 In order to solve the above problems, for example, the configuration described in the claims is adopted.
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、ユーザの動作を判断する情報処理装置において、ユーザの動きを検知可能な複数の検知エリアを有する検知部と、検知手段からの出力に基づいてユーザの動作を解析する動作解析部と、動作解析部により解析されたユーザの動作に基づいて情報処理装置に対して所定の制御を行う制御部と、を有し、動作解析部は、ユーザの動きを検知した検知エリアの組合せに基づいてユーザの動作を解析することを特徴とする。 The present application includes a plurality of means for solving the above-mentioned problem. To give an example, in the information processing apparatus for determining the user's operation, a detection unit having a plurality of detection areas capable of detecting the user's movement; A motion analysis unit that analyzes a user's motion based on an output from the detection unit; and a control unit that performs predetermined control on the information processing device based on the user's motion analyzed by the motion analysis unit. The motion analysis unit analyzes the user's motion based on a combination of detection areas in which the user's motion is detected.
上記手段によれば、より安価で、ユーザにとって使い勝手の良い電子機器を提供することが可能となる。 According to the above means, it is possible to provide an electronic device that is less expensive and convenient for the user.
以下、実施例を、図面により詳細に説明する。なお、以下の実施例は電子機器としてテレビジョン受像機を例に説明を行うが、本発明はテレビジョン受像機以外の電子機器にも適用可能である。 Hereinafter, embodiments will be described in detail with reference to the drawings. In the following embodiments, a television receiver will be described as an example of an electronic device. However, the present invention can also be applied to an electronic device other than a television receiver.
図1に実施例1の概要を示す。本実施例では人感センサを用いてユーザの動作を認識し、簡易な動作によるテレビジョン受像機などの機器の操作を可能とするものである。 FIG. 1 shows an outline of the first embodiment. In the present embodiment, a human sensor is used to recognize a user's operation, and operation of a device such as a television receiver can be performed with a simple operation.
100はテレビジョン受像機、101は動き検知部、1はユーザである。ユーザ1が例えば手を振るなどの動作を行うと、動き検知部101がその動作を検知し、その検知結果に基づいてテレビジョン受像機100において所定の処理が行われる。動き検知部101は、例えばセンサとレンズから構成される。センサは周囲の人の動きを検知する役割を、レンズはセンサが人の動きを検知するエリアを分散させる役割をそれぞれ担う。本実施例で使用するセンサは人の動きを検知でき、かつ検知エリアを分散できるものであれば、種類を問わない。
図2に人の動きを検知する人感センサの一例である焦電型赤外線センサの作動原理を示す。焦電型赤外線センサでは、人などの熱源から放射される赤外線エネルギーの変化を検知すると該センサ内部の電荷200が移動し、出力電圧レベルが変化する。
FIG. 2 shows the operating principle of a pyroelectric infrared sensor, which is an example of a human sensor that detects the movement of a person. In a pyroelectric infrared sensor, when a change in infrared energy radiated from a heat source such as a person is detected, the
まず、赤外線エネルギーの変化を検知していない定常状態では、内部のプラス電荷とマイナス電荷が偏りなく分布している。この場合、出力電圧レベルは210に示すようにほぼ一定となる。 First, in a steady state in which a change in infrared energy is not detected, internal positive charges and negative charges are distributed evenly. In this case, the output voltage level is substantially constant as indicated by 210.
次に、人の移動などに伴う赤外線エネルギーの変化を検知するとこれらの電荷は決まった方向に移動し、起電力が生じる。例えば、熱源検知素子を2つ有するデュアル型の人感センサでは、該センサの検知エリア内を横断するように人が移動すると、出力電圧レベルは211に示すように変化する。 Next, when a change in infrared energy associated with the movement of a person is detected, these charges move in a fixed direction, generating an electromotive force. For example, in a dual-type human sensor having two heat source detection elements, when a person moves across the detection area of the sensor, the output voltage level changes as indicated by 211.
図2(b)に示すように、焦電型赤外線センサの出力電圧レベルの変化を解析すると、該センサの検知エリアにおいて人の動きを検知している「動き検知期間」を特定することができる。具体的には、出力電圧の絶対値がある閾値V以上、または出力電圧の傾きの絶対値がある閾値V’以上の期間を動き検知期間とするアルゴリズムなどが考えられる。 As shown in FIG. 2B, by analyzing the change in the output voltage level of the pyroelectric infrared sensor, it is possible to identify a “motion detection period” in which a person's movement is detected in the detection area of the sensor. . Specifically, an algorithm may be considered in which a period in which the absolute value of the output voltage is greater than or equal to a certain threshold value V or a period in which the absolute value of the output voltage gradient is greater than or equal to a certain threshold value V 'is a motion detection period.
図3に、レンズを使用して人感センサの検知エリアを分散させる一例を示す。201は人の動きを検知する人感センサ、202は人感センサ201の検知エリアを分散させるレンズである。
FIG. 3 shows an example in which the detection area of the human sensor is dispersed using lenses.
人感センサ201は、単体で使用すると検知エリアが限られて人の細かい動きを検知できないため、前面にレンズ202を設置し、検知エリアを分散させる。
When the
人感センサ201とレンズ202を組み合わせて使用すると、検知エリアは例えば図3に示すようになる。人感センサ201の上面、側面から見ると、検知エリアはそれぞれ図3(a)、図3(b)に示すように非検知エリアと交互に放射状に広がる。また、人感センサ201の正面から見ると、検知エリアは図3(c)に示すように広がる。さらに、検知エリアの断面ABCDにおける検知エリアは図3(d)に示すようになる。
When the
このように、分散させた検知エリアのいずれかの区画で人の動きがあった場合、人感センサ201は人の動きを検知する。
As described above, when a person moves in any of the divided detection areas, the
図4に本実施例の構成の一例を示す。図4では、図3と同じものには同じ番号を付す。
201は人感センサ、202はレンズであり、個数はそれぞれ少なくとも1つとする。個々の人感センサは少なくとも1つの素子を有し、素子ごとに独立して信号を出力、あるいは全素子分を混合して1つの信号を出力するものとする。
FIG. 4 shows an example of the configuration of this embodiment. In FIG. 4, the same components as those in FIG.
201 is a human sensor, 202 is a lens, and the number is at least one each. Each human sensor has at least one element and outputs a signal independently for each element, or outputs a signal by mixing all elements.
301は人感センサ201の出力信号に基づいて処理内容を決定する処理装置であり、動作解析部310、システム制御部311、映像処理部312、音声処理部313からなる。動作解析部310はセンサの出力信号をある一定時間間隔で取り込み、該信号の振幅や周期などを解析し、該解析結果からユーザが行っている動作を認識する。
システム制御部311は動作解析部310の解析結果からテレビジョン受像機100を制御する。映像処理部312はシステム制御部311に制御され、映像データを生成する。音声処理部313はシステム制御部311に制御され、音声データを生成する。処理装置301の構成は、1つの中央装置処理装置からなる構成でもよいし、中央処理装置とマイクロコンピュータを組み合わせるなど複数のチップセットからなる構成でもよい。
The system control unit 311 controls the
302は映像処理部312で生成した映像データを表示する表示装置であり、例えば液晶ディスプレイやプラズマディスプレイが該当する。303は音声処理部313で生成した音声データを出力する音声出力装置であり、例えばスピーカが該当する。
Reference numeral 302 denotes a display device that displays video data generated by the
図5に実施例1における検知エリアの断面の一例を示す。図5では、4種類の検知エリアA、B、C、Dをある一定の規則に従って並べた例を示している。このような検知エリアは少なくとも1つの人感センサ201と、少なくとも1つのレンズ202によって実現する。各エリアは独立して人の動きを検知し、エリアA、B、C、Dのいずれかで人の動きがあったかを判別可能である。各エリアにおいて人の動きがあったか否かは、動作解析部310で各エリアに対応する出力信号を解析することで判定する。
FIG. 5 shows an example of a cross section of the detection area in the first embodiment. FIG. 5 shows an example in which four types of detection areas A, B, C, and D are arranged according to a certain rule. Such a detection area is realized by at least one
図5におけるそれぞれのエリアは隣接しているが、エリア間に隙間や重なりがあっても良い。また、図5におけるそれぞれのエリアの断面の形状は正方形であるが、楕円、正方形以外の四角形、角に丸みを帯びた四角形などの類似した形状での代替も可能である。 Although the areas in FIG. 5 are adjacent to each other, there may be a gap or an overlap between the areas. In addition, although the cross-sectional shape of each area in FIG. 5 is a square, it can be replaced by a similar shape such as an ellipse, a quadrangle other than a square, or a quadrangle with rounded corners.
図6に本実施例における手振り動作と検知エリアとの関係の一例を示す。本実施例では、テレビジョン受像機などの機器の操作に利用できる動作を検知する。401は手を左右に複数回動かす手振り動作、402は手を上下に複数回動かす手振り動作、403は円を時計まわりに描く円動作、404は円を反時計まわりに描く円動作である。 FIG. 6 shows an example of the relationship between the hand movement operation and the detection area in the present embodiment. In this embodiment, an operation that can be used to operate a device such as a television receiver is detected. 401 is a hand motion that moves the hand a plurality of times left and right, 402 is a hand motion that moves the hand up and down a plurality of times, 403 is a circle motion that draws a circle clockwise, and 404 is a circle motion that draws a circle counterclockwise.
図7を用いて、実施例1における手振り動作を検知する方法の一例を示す。図7(a)に動き検知期間の遷移パターンを示す。動き検知期間とは、当該エリアにおいて人の動きを検知している期間、すなわち動作解析部310が人の動きがあると判定した期間であり、人感センサ201の出力電圧との対応は図2(b)に示す通りである。
An example of a method for detecting a hand movement in the first embodiment will be described with reference to FIG. FIG. 7A shows a transition pattern of the motion detection period. The motion detection period is a period in which a person's movement is detected in the area, that is, a period in which the
また、エリア1、エリア2とは、それぞれ図5に示すエリアA〜Dのうちの互いに異なるいずれか1つのエリアである。この場合、エリア1で人の動きを検知してからある一定期間Δt内に、エリア1とエリア2との間で人の動きの検知を繰り返している。
図7(b)に左右の手振り動作を検知する際の、各エリアの組み合わせ一覧を示す。エリア1、2の組み合わせが一覧に示すいずれかに該当する場合、例えばエリア1がエリアAに対応し、エリア2がエリアBに対応する場合、これを左右の手振り動作の遷移パターンとみなす。
FIG. 7B shows a list of combinations of areas when detecting left and right hand movements. When the combination of
図7(c)に上下の手振り動作を検知する際の、各エリアの組み合わせ一覧を示す。エリア1、2の組み合わせが一覧に示すいずれかに該当する場合、例えばエリア1がエリアAに対応し、エリア2がエリアCに対応する場合、これを上下の手振り動作の遷移パターンとみなす。
FIG. 7 (c) shows a list of combinations of areas when detecting up and down hand movements. When the combination of
なお、動き検知期間がエリア1とエリア2において遷移する順序が図7(a)と一致していれば、それぞれの動き検知期間が不均一であったり、エリア1とエリア2の間で遷移を繰り返す回数が異なったりしても、手振り動作の遷移パターンであるとみなすことが可能である。
If the order in which the motion detection periods transition in
また、エリア1で人の動きを検知してからΔt以内の期間で図7(a)に示す順序で動き検知エリアが遷移した場合であっても、ある動き検知期間とその次の動き検知期間の間隔がある一定期間Δs(<Δt)である場合は動作が途切れたと判断し、手振り動作の認識を取り消すようにしてもよい。
Further, even when the motion detection area transitions in the order shown in FIG. 7A within a period of Δt after detecting a human motion in the
図8に実施例1における円動作の動き検知期間遷移を示す。図8(a)に動き検知期間の遷移パターンを示す。エリア1〜4とは、それぞれ図5に示すエリアA〜Dのうちの互いに異なるいずれか1つのエリアである。この場合、エリア1で人の動きを検知してからある一定期間Δt’内に、順にエリア2、3、4で人の動きを検知している。
FIG. 8 shows the movement detection period transition of the circular motion in the first embodiment. FIG. 8A shows a transition pattern of the motion detection period. The
図8(b)に円動作を検知する際の、各エリアの組み合わせ一覧を示す。エリア1〜4の組み合わせが一覧に示すいずれかに該当する場合、例えばエリア1〜4がそれぞれエリアA、B、D、Cに対応する場合、これを円動作の遷移パターンとみなす。
FIG. 8B shows a list of combinations of areas when detecting a circular motion. When the combination of
実施例1では円動作が行われた場合、該動作が時計まわりなのか、反時計まわりなのかを判別することはできない。これは例えば動き検知期間がエリアA、B、D、Cの順に遷移した場合、図6の403、404に示すように、時計まわりと反時計まわりの双方の動作が考えられるからである。時計まわりと反時計まわりの円動作を区別して認識する実施例については、実施例3以降で述べる。 In the first embodiment, when a circular motion is performed, it cannot be determined whether the motion is clockwise or counterclockwise. This is because, for example, when the motion detection period transitions in the order of areas A, B, D, and C, both clockwise and counterclockwise operations can be considered, as indicated by 403 and 404 in FIG. Examples that recognize the clockwise and counterclockwise circular movements separately will be described in the third and subsequent examples.
なお、動き検知期間がエリア1〜4において遷移する順序が図8(a)と一致していれば、それぞれの動き検知期間が不均一であっても、円動作の遷移パターンであるとみなすことが可能である。
Note that if the order of transition of the motion detection periods in the
図9に動作認識の処理フローの一例を示す。S501〜S504の処理は動作解析部310、S505の処理はシステム制御部311で行う。まず、S501では各エリアに対応する出力信号を受信し、S502では該信号から各エリアの動き検知期間を導出する。
FIG. 9 shows an example of a process flow for motion recognition. The processing of S501 to S504 is performed by the
次に、S503では導出した動き検知期間の遷移を、図7に示した手振り動作や、図8に示した円動作の動き検知期間の遷移と比較する。さらに、S504では導出した動き検知期間の遷移が手振り動作や円動作などの所定の動作の遷移パターンと一致するか判定し、一致する場合はS505に進む。一方、一致しない場合は処理フローを終了する。 Next, in S503, the transition of the derived motion detection period is compared with the transition of the motion detection period of the hand movement illustrated in FIG. 7 or the circular motion illustrated in FIG. Furthermore, in S504, it is determined whether the transition of the derived motion detection period matches a transition pattern of a predetermined motion such as a hand gesture motion or a circular motion. If they match, the process proceeds to S505. On the other hand, if they do not match, the processing flow ends.
S505では遷移パターンが一致した手振り、円動作などの所定の動作に対応する制御を行う。所定の動作に対応する制御とは、例えば電源ON、電源OFF、音量変更、チャンネル切り替えなどの制御が考えられる。手振り動作を検知したときに電源をOFFにする制御を行う場合、図10に示すようにユーザに電源をOFFにすることを知らせるメッセージを表示させるようにしてもよい。 In step S505, control corresponding to a predetermined motion such as a hand gesture or a circular motion with matching transition patterns is performed. As the control corresponding to the predetermined operation, for example, control such as power ON, power OFF, volume change, and channel switching can be considered. When performing control to turn off the power when detecting a hand movement, a message notifying the user of turning off the power may be displayed as shown in FIG.
本実施例により、人感センサを用いてユーザの動作を認識し、ユーザの動作によるテレビジョン受像機などの機器の操作が可能となる。 According to the present embodiment, it is possible to recognize a user's operation using a human sensor and operate a device such as a television receiver by the user's operation.
実施例2について図11〜13を用いて説明する。実施例2では、3種類のエリアから形成される検知エリアを設けて、左右、上下の手振り動作や、円動作を認識する。 A second embodiment will be described with reference to FIGS. In the second embodiment, a detection area formed from three types of areas is provided to recognize left and right, up and down hand movements and a circular movement.
図11に実施例2における検知エリアの断面を示す。図11に示す検知エリアは、図5に示す実施例1における検知エリアからエリアDを除いたものである。いずれのエリアにも該当しない空白部分では、人の動きを検知できない。図11では図5からエリアDを除いているが、エリアDの代わりにエリアA〜Cのいずれか1種類のエリアを除いても良い。 FIG. 11 shows a cross section of the detection area in the second embodiment. The detection area shown in FIG. 11 is obtained by removing area D from the detection area in the first embodiment shown in FIG. A person's movement cannot be detected in a blank portion that does not correspond to any area. In FIG. 11, the area D is excluded from FIG. 5, but any one of the areas A to C may be excluded instead of the area D.
図12に実施例2における手振り動作の動き検知期間遷移を示す。実施例2における手振り動作の動き検知期間の遷移パターンは、図7(a)に示す実施例1におけるパターンと同様とする。図12(a)に左右の手振り動作、図12(b)に上下の手振り動作を認識する際の、各エリアの組み合わせ一覧をそれぞれ示す。 FIG. 12 shows the movement detection period transition of the hand movement operation in the second embodiment. The transition pattern of the motion detection period of the hand movement operation in the second embodiment is the same as the pattern in the first embodiment shown in FIG. FIG. 12A shows a list of combinations of areas when recognizing left and right hand gestures, and FIG.
ここで、図中の「‐」となっている箇所は、エリアA〜Cのいずれも該当しないことを意味する。このようにエリア1、2のいずれかが「‐」となっている組み合わせについては、「‐」となっていないエリアの動き検知期間の遷移の対応がとれていれば、手振り動作の遷移パターンであるとみなす。
Here, the location indicated by “-” in the figure means that none of the areas A to C corresponds. In this way, for a combination in which either of the
図13に実施例2における円動作の動き検知期間遷移を示す。実施例2における円動作の動き検知期間の遷移パターンは、図8(a)に示す実施例1におけるパターンと同様とする。図13(a)に円動作を認識する際の、各エリアの組み合わせ一覧を示す。 FIG. 13 shows the movement detection period transition of the circular motion in the second embodiment. The transition pattern of the motion detection period of the circular motion in the second embodiment is the same as the pattern in the first embodiment shown in FIG. FIG. 13A shows a list of combinations of areas when recognizing a circular motion.
ここで、図中の「‐」となっている箇所は、エリアA〜Cのいずれも該当しないことを意味する。このようにエリア1〜4のいずれかが「‐」となっている組み合わせについては、「‐」となっていないエリアの動き検知期間の遷移の対応がとれていれば、円動作の遷移パターンであるとみなす。
Here, the location indicated by “-” in the figure means that none of the areas A to C corresponds. As described above, for a combination in which any one of the
実施例2における動作認識の処理フローは、図9に示す実施例1におけるフローと同様とする。以上のように、実施例2では、実施例1よりも少ない種類のエリアから形成される検知エリアを設けてユーザの動作を認識し、ユーザの動作によるテレビジョン受像機などの機器の操作が可能となる。 The processing flow for motion recognition in the second embodiment is the same as the flow in the first embodiment shown in FIG. As described above, in the second embodiment, it is possible to recognize a user's operation by providing a detection area formed from a smaller number of types of areas than in the first embodiment and to operate a device such as a television receiver by the user's operation. It becomes.
実施例3について図14〜16を用いて説明する。実施例3では、5種類のエリアから形成される検知エリアを設けて、時計まわりと反時計まわりの円動作を区別できる構成について説明する。 Example 3 will be described with reference to FIGS. In the third embodiment, a description will be given of a configuration in which a detection area formed of five types of areas is provided to distinguish between clockwise and counterclockwise circular motions.
図14に実施例3における検知エリアの断面を示す。図14では、5種類の検知エリアA、B、C、D、Eについて、エリアEの上辺、左辺、下辺、右辺にそれぞれエリアA、B、C、Dが隣接するように構成されている。 FIG. 14 shows a cross section of the detection area in the third embodiment. In FIG. 14, five types of detection areas A, B, C, D, and E are configured such that areas A, B, C, and D are adjacent to the upper side, left side, lower side, and right side of area E, respectively.
図15に実施例3における手振り動作の動き検知期間遷移を示す。実施例3における手振り動作の動き検知期間の遷移パターンは、図7(a)に示す実施例1におけるパターンと同様とする。また、図15(a)に左右の手振り動作、図15(b)に上下の手振り動作を認識する際の、各エリアの組み合わせ一覧をそれぞれ示す。エリア1、2の組み合わせが一覧に示すいずれかに該当する場合、これを手振り動作の遷移パターンとみなす。
FIG. 15 shows the movement detection period transition of the hand movement operation in the third embodiment. The transition pattern of the motion detection period of the hand movement operation in the third embodiment is the same as the pattern in the first embodiment shown in FIG. FIG. 15 (a) shows a list of combinations of areas when recognizing left and right hand gestures, and FIG. When the combination of
図16に実施例3における円動作の動き検知期間遷移を示す。実施例3における円動作の動き検知期間の遷移パターンは、図8(a)に示す実施例1におけるパターンと同様とする。また、図16(a)に時計まわりの円動作、図16(b)に反時計まわりの円動作を認識する際の、各エリアの組み合わせ一覧をそれぞれ示す。エリア1〜4の組み合わせが一覧に示すいずれかに該当する場合、これを円動作の遷移パターンとみなす。
FIG. 16 shows the movement detection period transition of the circular motion in the third embodiment. The transition pattern of the motion detection period of the circular motion in the third embodiment is the same as the pattern in the first embodiment shown in FIG. FIG. 16A shows a list of combinations of areas when recognizing a clockwise circular motion, and FIG. 16B shows a counterclockwise circular motion. When the combination of the
ここで、図16(a)と図16(b)とに同じ組み合わせが存在しないことから、実施例3では時計まわりと反時計まわりの円動作の区別が可能となる。 Here, since the same combination does not exist in FIG. 16A and FIG. 16B, it is possible to distinguish between clockwise and counterclockwise circular motions in the third embodiment.
図17に実施例3における検知エリア境界の動作認識を示す。検知エリアの断面は、人感センサ201とレンズ202の構成によっては図17に示すような配置になり得る。このような検知エリアにおいて、特に境界付近で円動作を行うと、動き検知期間の遷移パターンは図16に示したものとは異なるが、この場合も時計回りおよび反時計回りの動作を認識することが可能となる。
FIG. 17 shows motion recognition at the detection area boundary in the third embodiment. The cross section of the detection area can be arranged as shown in FIG. 17 depending on the configuration of the
例えば601に示す軌跡上で円動作を行い、エリアA、エリアE、エリアBの順に動き検知期間が遷移した場合、これを時計まわりの円動作とみなす。逆にエリアB、エリアE、エリアAの順に動き検知期間が遷移した場合、これを反時計回りの円動作とみなす。 For example, when a circular motion is performed on the locus indicated by 601 and the motion detection period transitions in the order of area A, area E, and area B, this is regarded as a clockwise circular motion. Conversely, when the motion detection period transitions in the order of area B, area E, and area A, this is regarded as a counterclockwise circular motion.
すなわち、図16に示したエリア1〜4の4つのエリアの組合せに関して、4つのうち1つのエリアでA〜Eのいずれのエリアでも人の動きが検知できなかったとしても、他の3つのエリアにおける検知結果が図16に示す表と合致すれば、ユーザの動作が時計回りの円運動か半時計回りの円運動かを判別することが可能となる。
That is, regarding the combination of the four
なお、実施例3における動作認識の処理フローは、図9に示す実施例1におけるフローと同様とする。 The operation recognition process flow in the third embodiment is the same as the flow in the first embodiment shown in FIG.
以上のように、実施例3では、時計まわりと反時計まわりの円動作を区別して認識することにより、多様なユーザの動作によるテレビジョン受像機などの機器の操作が可能となる。 As described above, in the third embodiment, it is possible to operate a device such as a television receiver by various user operations by recognizing and recognizing clockwise and counterclockwise circular operations.
実施例4について図18〜20を用いて説明する。実施例4では、4種類のエリアから形成される検知エリアを設けて、時計まわりと反時計まわりの円動作を区別できる構成を説明する。 Example 4 will be described with reference to FIGS. In the fourth embodiment, a configuration will be described in which a detection area formed of four types of areas is provided to distinguish between clockwise and counterclockwise circular motions.
図18に実施例4における検知エリアの断面を示す。図18に示す検知エリアは、図14に示す実施例3における検知エリアからエリアEを除いたものである。いずれのエリアにも該当しない空白部分では、人の動きを検知できない。図18では図14からエリアEを除いているが、エリアEの代わりにエリアA〜Dのいずれか1種類のエリアを除いても良い。 FIG. 18 shows a cross section of the detection area in the fourth embodiment. The detection area shown in FIG. 18 is obtained by removing area E from the detection area in the third embodiment shown in FIG. A person's movement cannot be detected in a blank portion that does not correspond to any area. In FIG. 18, the area E is excluded from FIG. 14, but any one of the areas A to D may be excluded instead of the area E.
図19に実施例4における手振り動作の動き検知期間遷移を示す。実施例4における手振り動作の動き検知期間の遷移パターンは、図7(a)に示す実施例1におけるパターンと同様とする。図19(a)に左右の手振り動作、図19(b)に上下の手振り動作を認識する際の、各エリアの組み合わせ一覧をそれぞれ示す。 FIG. 19 shows the movement detection period transition of the hand movement operation in the fourth embodiment. The transition pattern of the motion detection period of the hand movement operation in the fourth embodiment is the same as the pattern in the first embodiment shown in FIG. FIG. 19A shows a list of combinations of areas when recognizing left and right hand movements, and FIG. 19B shows upper and lower hand movements.
ここで図中の「‐」となっている箇所は、エリアA〜Dのいずれも該当しないことを意味する。このようにエリア1、2のいずれかが「‐」となっている組み合わせについては、「‐」となっていないエリアの動き検知期間の遷移の対応がとれていれば、手振り動作の遷移パターンであるとみなす。
Here, “-” in the figure means that none of the areas A to D corresponds. In this way, for a combination in which either of the
図20に実施例4における円動作の動き検知期間遷移を示す。実施例4における円動作の動き検知期間の遷移パターンは、図8(a)に示す実施例1におけるパターンと同様とする。 FIG. 20 shows the movement detection period transition of the circular motion in the fourth embodiment. The transition pattern of the motion detection period of the circular motion in the fourth embodiment is the same as the pattern in the first embodiment shown in FIG.
図20(a)に円動作を認識する際の、各エリアの組み合わせ一覧を示す。ここで図中の「‐」となっている箇所は、エリアA〜Dのいずれも該当しないことを意味する。このようにエリア1〜4のいずれかが「‐」となっている組み合わせについては、「‐」となっていないエリアの動き検知期間の遷移の対応がとれていれば、円動作の遷移パターンであるとみなす。
FIG. 20A shows a list of combinations of areas when recognizing a circular motion. Here, “-” in the figure means that none of the areas A to D corresponds. As described above, for a combination in which any one of the
ここで、図20(a)と図20(b)に同じ組み合わせが存在しないことから、実施例4の構成では時計まわりと反時計まわりの円動作の区別が可能となる。 Here, since the same combination does not exist in FIG. 20A and FIG. 20B, in the configuration of the fourth embodiment, it is possible to distinguish between clockwise and counterclockwise circular motions.
図21に実施例4における検知エリア境界の動作認識を示す。検知エリアの断面は、人感センサ201とレンズ202の構成によっては図21(a)(b)に示すような配置になり得る。このような検知エリアにおいて、特に境界付近(603〜614に示す各軌跡上)で円動作を行うと、動き検知期間の遷移パターンは図20に示したものと同様となり、この場合も時計回りおよび反時計回りの動作を認識することが可能となる。
FIG. 21 shows motion recognition of the detection area boundary in the fourth embodiment. The cross section of the detection area can be arranged as shown in FIGS. 21A and 21B depending on the configuration of the
実施例4における動作認識の処理フローは、図9に示す実施例1におけるフローと同様とする。 The processing flow for motion recognition in the fourth embodiment is the same as the flow in the first embodiment shown in FIG.
以上のように、実施例4では、実施例3よりも少ない種類のエリアから形成される検知エリアを設けて時計まわりと反時計まわりの円動作を区別して認識し、実施例1より多様なユーザの動作によるテレビジョン受像機などの機器の操作が可能となる。 As described above, in the fourth embodiment, a detection area formed by a smaller number of types of areas than in the third embodiment is provided to recognize and recognize the clockwise and counterclockwise circular motions, and various users than the first embodiment. This makes it possible to operate a device such as a television receiver.
なお、上述した本実施形態は本発明の説明のための例示であり、本発明の範囲を実施形態にのみ限定する趣旨ではない。 In addition, this embodiment mentioned above is an illustration for description of this invention, and is not the meaning which limits the scope of the present invention only to embodiment.
Claims (7)
複数の分散した検知エリアからなる一群の検知エリアでユーザの動作を検知した場合に信号を出力するセンサであって、それぞれの一群の検知エリアの範囲が異なる複数のセンサと、
前記センサからの出力信号の組み合わせに基づいてユーザの動作を解析する動作解析部と、
前記動作解析部により解析されたユーザの動作に基づいて所定の制御を行う制御部と、
を備えることを特徴とする情報処理装置。 An information processing apparatus for determining a user's operation,
A plurality of sensors to a sensor for outputting a signal, the range of each group of detection area different when detecting the operation of the user in a group of detection area consisting of dispersed detection area of multiple,
An operation analysis unit for analyzing a user's operation based on a combination of output signals from the sensors ;
And a control unit for controlling the Jo Tokoro based on an operation of the user analyzed by the motion analysis unit,
The information processing apparatus according to claim Rukoto equipped with.
前記動作解析部は、所定の時間内における出力信号の組合せに基づいてユーザの動作を解析することを特徴とする情報処理装置。 An information processing apparatus according to claim 1,
The motion analysis unit, the information processing apparatus characterized by analyzing the operation of the user on the basis of the combination of the output signals definitive within a predetermined time.
前記複数のセンサは4つのセンサであり、
各センサに対応した一群の検知エリアを、第1の検知エリア、第2の検知エリア、第3の検知エリア、及び第4の検知エリアとすると、前記第2の検知エリアは前記第1の検知エリアの水平方向左右に、前記第3の検知エリアは前記第1の検知エリアの垂直方向上下に、前記第4の検知エリアは前記第2の検知エリアの垂直方向上下に配置され、
前記動作解析部は、所定の時間内に前記第1の検知エリアにおけるユーザの動作の検知と前記第2の検知エリアにおけるユーザの動作の検知とが交互に繰り返された場合、または前記第3の検知エリアにおけるユーザの動作の検知と前記第4の検知エリアにおけるユーザの動作の検知とが交互に繰り返された場合に、ユーザの動作の方向が水平方向左右であると解析することを特徴とする情報処理装置。 The information processing apparatus according to claim 1 or 2 ,
The plurality of sensors are four sensors,
Assuming that a group of detection areas corresponding to each sensor is a first detection area, a second detection area, a third detection area, and a fourth detection area, the second detection area is the first detection area. The third detection area is arranged vertically above and below the first detection area, and the fourth detection area is arranged vertically above and below the second detection area on the left and right in the horizontal direction of the area,
The motion analysis unit, when the detection of the user's operation in the detection and the second detection area of the user's operation in the first detection area within a predetermined time is repeated alternately, or the third in the case where the detection of the user's operation in the detection and the fourth detection area of the user's operation in the detection area are repeated alternately, the direction of the user's operation is characterized by analyzing that the horizontal lateral Information processing device.
前記複数のセンサは4つのセンサであり、
各センサに対応した一群の検知エリアを、第1の検知エリア、第2の検知エリア、第3の検知エリア、及び第4の検知エリアとすると、前記第2の検知エリアは前記第1の検知エリアの水平方向左右に、前記第3の検知エリアは前記第1の検知エリアの垂直方向上下に、前記第4の検知エリアは前記第2の検知エリアの垂直方向上下に配置され、
前記動作解析部は、所定の時間内に前記第1の検知エリアにおけるユーザの動作の検知と前記第3の検知エリアにおけるユーザの動作の検知とが交互に繰り返された場合、または前記第2の検知エリアにおけるユーザの動作の検知と前記第4の検知エリアにおけるユーザの動作の検知とが交互に繰り返された場合に、ユーザの動作の方向が垂直方向上下であると解析することを特徴とする情報処理装置。 The information processing apparatus according to claim 1 or 2 ,
The plurality of sensors are four sensors,
Assuming that a group of detection areas corresponding to each sensor is a first detection area, a second detection area, a third detection area, and a fourth detection area, the second detection area is the first detection area. The third detection area is arranged vertically above and below the first detection area, and the fourth detection area is arranged vertically above and below the second detection area on the left and right in the horizontal direction of the area,
The motion analysis unit, when the detection of the user's operation in the detection and the third detection area of the user's operation in the first detection area within a predetermined time is repeated alternately, or the second in the case where the detection of the user's operation in the detection and the fourth detection area of the user's operation in the detection area are repeated alternately, the direction of the user's operation is characterized by analyzing that the vertical up and down Information processing device.
前記複数のセンサは4つのセンサであり、
各センサに対応した一群の検知エリアを、第1の検知エリア、第2の検知エリア、第3の検知エリア、及び第4の検知エリアとすると、前記第2の検知エリアは前記第1の検知エリアの水平方向左右に、前記第3の検知エリアは前記第1の検知エリアの垂直方向上下に、前記第4の検知エリアは前記第2の検知エリアの垂直方向上下に配置され、
前記動作解析部は、所定の時間内に前記第1の検知エリア、前記第2の検知エリア、前記第4の検知エリア、前記第3の検知エリアの順番でユーザの動作を検知した場合、または前記第1の検知エリア、前記第3の検知エリア、前記第4の検知エリア、前記第2の検知エリアの順番でユーザの動作を検知した場合に、ユーザの動作が円運動であると解析することを特徴とする情報処理装置。 The information processing apparatus according to claim 1 or 2 ,
The plurality of sensors are four sensors,
Assuming that a group of detection areas corresponding to each sensor is a first detection area, a second detection area, a third detection area, and a fourth detection area, the second detection area is the first detection area. The third detection area is arranged vertically above and below the first detection area, and the fourth detection area is arranged vertically above and below the second detection area on the left and right in the horizontal direction of the area,
The motion analysis unit detects a user motion in the order of the first detection area, the second detection area, the fourth detection area, and the third detection area within a predetermined time, or When a user motion is detected in the order of the first detection area, the third detection area, the fourth detection area, and the second detection area, the user motion is analyzed as a circular motion. An information processing apparatus characterized by that.
前記複数のセンサは5つのセンサであり、
各センサに対応した一群の検知エリアを、第1の検知エリア、第2の検知エリア、第3の検知エリア、第4の検知エリア、及び第5の検知エリアとすると、前記第1の検知エリアは前記第5の検知エリアの垂直方向上に、前記第2の検知エリアは前記第5の検知エリアの水平方向左に、前記第3の検知エリアは前記第5の検知エリアの垂直方向下に、前記第4の検知エリアは前記第5の検知エリアの水平方向右に配置され、
前記動作解析部は、所定の時間内に前記第1の検知エリア、前記第2の検知エリア、前記第4の検知エリア、前記第5の検知エリアの順番でユーザの動作を検知した場合、前記第1の検知エリア、前記第3の検知エリア、前記第5の検知エリア、前記第4の検知エリアの順番でユーザの動作を検知した場合、前記第1の検知エリア、前記第4の検知エリア、前記第3の検知エリア、前記第2の検知エリアの順番でユーザの動作を検知した場合、前記第1の検知エリア、前記第5の検知エリア、前記第2の検知エリア、前記第3の検知エリアの順番でユーザの動作を検知した場合、または前記第2の検知エリア、前記第5の検知エリア、前記第3の検知エリア、前記第4の検知エリアの順番でユーザの動作を検知した場合に、ユーザの動作が時計回りの円運動であると解析することを特徴とする情報処理装置。 The information processing apparatus according to claim 1 or 2 ,
The plurality of sensors is five sensors;
Assuming that a group of detection areas corresponding to each sensor is a first detection area, a second detection area, a third detection area, a fourth detection area, and a fifth detection area, the first detection area Is vertically above the fifth detection area, the second detection area is horizontally left of the fifth detection area, and the third detection area is vertically below the fifth detection area. The fourth detection area is arranged on the right in the horizontal direction of the fifth detection area,
When the motion analysis unit detects a user motion in the order of the first detection area, the second detection area, the fourth detection area, and the fifth detection area within a predetermined time, When the user's action is detected in the order of the first detection area, the third detection area, the fifth detection area, and the fourth detection area, the first detection area and the fourth detection area When the user's action is detected in the order of the third detection area and the second detection area, the first detection area, the fifth detection area, the second detection area, and the third detection area when detecting the operation sequence in the user's detection area or the second detection area, the fifth detection area of the third detection area, detects the operation of the user in the order of the fourth detection area If the user's action is The information processing apparatus characterized by analyzing that the surrounding circular motion.
前記複数のセンサは5つのセンサであり、
各センサに対応した一群の検知エリアを、第1の検知エリア、第2の検知エリア、第3の検知エリア、第4の検知エリア、及び第5の検知エリアとすると、前記第1の検知エリアは前記第5の検知エリアの垂直方向上に、前記第2の検知エリアは前記第5の検知エリアの水平方向左に、前記第3の検知エリアは前記第5の検知エリアの垂直方向下に、前記第4の検知エリアは前記第5の検知エリアの水平方向右に配置され、
前記動作解析部は、所定の時間内に前記第1の検知エリア、前記第2の検知エリア、前記第3の検知エリア、前記第4の検知エリアの順番でユーザの動作を検知した場合、前記第1の検知エリア、前記第3の検知エリア、前記第2の検知エリア、前記第5の検知エリアの順番でユーザの動作を検知した場合、前記第1の検知エリア、前記第4の検知エリア、前記第5の検知エリア、前記第3の検知エリアの順番でユーザの動作を検知した場合、前記第1の検知エリア、前記第5の検知エリア、前記第4の検知エリア、前記第2の検知エリアの順番でユーザの動作を検知した場合、または前記第2の検知エリア、前記第4の検知エリア、前記第3の検知エリア、前記第5の検知エリアの順番でユーザの動作を検知した場合に、ユーザの動作が反時計回りの円運動であると解析することを特徴とする情報処理装置。 The information processing apparatus according to claim 1 or 2 ,
The plurality of sensors is five sensors;
Assuming that a group of detection areas corresponding to each sensor is a first detection area, a second detection area, a third detection area, a fourth detection area, and a fifth detection area, the first detection area Is vertically above the fifth detection area, the second detection area is horizontally left of the fifth detection area, and the third detection area is vertically below the fifth detection area. The fourth detection area is arranged on the right in the horizontal direction of the fifth detection area,
When the motion analysis unit detects a user motion in the order of the first detection area, the second detection area, the third detection area, and the fourth detection area within a predetermined time, When the user's action is detected in the order of the first detection area, the third detection area, the second detection area, and the fifth detection area, the first detection area and the fourth detection area When the user's action is detected in the order of the fifth detection area and the third detection area, the first detection area, the fifth detection area, the fourth detection area, and the second detection area are detected . when detecting the operation sequence in the user's detection area or the second detection area, the fourth detection area, the third detection area, it detects the operation of the user in the order of the fifth detection area of If the user's action is The information processing apparatus characterized by analyzing the total is about circular motion.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011010367A JP5596574B2 (en) | 2011-01-21 | 2011-01-21 | Information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011010367A JP5596574B2 (en) | 2011-01-21 | 2011-01-21 | Information processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012151777A JP2012151777A (en) | 2012-08-09 |
JP5596574B2 true JP5596574B2 (en) | 2014-09-24 |
Family
ID=46793593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011010367A Active JP5596574B2 (en) | 2011-01-21 | 2011-01-21 | Information processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5596574B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5048890B2 (en) * | 1998-10-13 | 2012-10-17 | ソニー エレクトロニクス インク | Motion detection interface |
JP2008140182A (en) * | 2006-12-01 | 2008-06-19 | Sharp Corp | Input device, transmission/reception system, input processing method and control program |
JP2011028529A (en) * | 2009-07-27 | 2011-02-10 | Hitachi Consumer Electronics Co Ltd | Information processing apparatus, information processing method and receiving apparatus |
-
2011
- 2011-01-21 JP JP2011010367A patent/JP5596574B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012151777A (en) | 2012-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210337260A1 (en) | Display apparatus and remote operation control apparatus | |
KR101412448B1 (en) | A Device Driving System using by touch input on low power mode being display-off | |
US9454271B2 (en) | Capacitance distribution detection method, capacitance distribution detection circuit, touch sensor system, and information input/output device | |
US9507420B2 (en) | System and method for providing haptic feedback to assist in capturing images | |
KR101541561B1 (en) | User interface device, user interface method, and recording medium | |
US9939958B2 (en) | Touch sensitive surface with recessed surface feature for an electronic device | |
US20160034019A1 (en) | Display apparatus and control method for controlling power consumption thereof | |
US10194124B2 (en) | Projection type video display device and projection type video display method | |
EP2978218A1 (en) | Computer display device mounted on eyeglasses | |
JP2011166332A (en) | Information processor | |
WO2013024526A1 (en) | Mobile electronic device and key display program | |
US10467949B2 (en) | Display apparatus, driving method thereof, and computer readable recording medium | |
JP5787238B2 (en) | Control device, operation control method, and operation control program | |
JP2014029565A (en) | Information processing device | |
WO2021253970A1 (en) | Application switching method and device, storage medium, and terminal | |
US20190292011A1 (en) | Elevator call input device | |
KR20170107987A (en) | Information processing apparatus, information processing method, program, and system | |
US20170300109A1 (en) | Method of blowable user interaction and an electronic device capable of blowable user interaction | |
US9946326B2 (en) | User interface device and electronic device including the same | |
JP5596574B2 (en) | Information processing device | |
JP2011048179A (en) | Display device | |
KR20130005548A (en) | Gesture recognition system based on vision | |
JP2016191854A (en) | Information processor, information processing method, and program | |
US20150205374A1 (en) | Information processing method and electronic device | |
JP2020187514A (en) | Digital signage system and video content display control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120521 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130828 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140310 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140317 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140318 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140430 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140722 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5596574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S631 | Written request for registration of reclamation of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313631 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |