JP2003131785A - Interface device, operation control method and program product - Google Patents
Interface device, operation control method and program productInfo
- Publication number
- JP2003131785A JP2003131785A JP2001323999A JP2001323999A JP2003131785A JP 2003131785 A JP2003131785 A JP 2003131785A JP 2001323999 A JP2001323999 A JP 2001323999A JP 2001323999 A JP2001323999 A JP 2001323999A JP 2003131785 A JP2003131785 A JP 2003131785A
- Authority
- JP
- Japan
- Prior art keywords
- menu
- gesture
- user
- instruction
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、例えば、車載情報
機器を始めとする各種の情報機器を操作するためのイン
タフェース装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an interface device for operating various types of information equipment such as in-vehicle information equipment.
【０００２】[0002]
【従来の技術】近年、自動車の中には、カー・ナビゲー
ションを始め、オーディオ装置、TV、ビデオ装置、携帯
電話、エアコンなど数多くの情報機器、電装機器が搭載
されるようになっている。車内で電話をかけるだけでな
く、電子メールを読み書きしたり、インターネットにア
クセスしたりすることさえ可能である。この傾向は今後
もますます進み、自動料金収受システムや安全走行支援
システムなども導入され、車はまさに走るコンピュータ
になろうとしている状況である。この様な状況では、様
々な機器の操作パネルが氾濫し、個々の機器を操作する
ために、それぞれの操作パネルを操作する必要がある。2. Description of the Related Art In recent years, a number of information devices and electrical equipment such as car navigation systems, audio devices, TVs, video devices, mobile phones and air conditioners have been installed in automobiles. Not only can you make phone calls in the car, you can read and write e-mail and even access the Internet. This trend is progressing even more in the future, and automatic fare collection systems and safe driving support systems have been introduced, and cars are about to become running computers. In such a situation, the operation panels of various devices are flooded, and it is necessary to operate each operation panel in order to operate each device.
【０００３】また、設置面積などの問題から、それらの
様々な機器の操作パネルを全て用意するのは困難で、操
作部を共有するようになりつつある。現在は、カー・オ
ーディオ用の操作ボタンがあり、エアコン用の操作ボタ
ンがあり、カー・ナビゲーション用の操作ボタンあるい
はリモコンがあり、それぞれを使って操作を行うという
状況が一般的である。しかし、一部の車載機器では、１
つのディスプレイに全ての機器の状態が表示され、ま
た，共通の入力装置によって操作を行うことができるよ
うになっている。例えば、ディスプレイにタッチパネル
機能が搭載されており、画面に表示されるメニューに触
れることで操作が行えるようになっている。ディスプレ
イには、状況に応じて異なった画面を表示できるため、
全ての機器の操作が可能である。例えば、ディスプレイ
に「エアコン」，「オーディオ」「カーナビ」などのメ
ニューアイコンがあり、「オーディオ」に触れると、オ
ーディオの操作パネルが表示され、その中の「音量を上
げる」ボタンに触れると音量が大きくなる、といった具
合である。また、表示されたメニュー画面に対し、タッ
チパネルではなくリモコンのような装置を使って操作を
行う製品も多い。その場合には、典型的にはリモコンに
４方向を指示するボタンが付いており、これを操作する
ことで、メニューを選択していくものである。Further, it is difficult to prepare all the operation panels for these various devices due to the problem of the installation area and the like, and the operation units are becoming common. Currently, there are operation buttons for car audio, operation buttons for air conditioner, operation buttons for car navigation or a remote controller, and it is common to operate using each of them. However, with some in-vehicle devices,
The status of all devices is displayed on one display, and operations can be performed using a common input device. For example, the display is equipped with a touch panel function, and the operation can be performed by touching a menu displayed on the screen. Since the display can display different screens depending on the situation,
Operation of all equipment is possible. For example, there are menu icons such as "air conditioner", "audio" and "car navigation" on the display. Touching "Audio" will display the audio operation panel, and touching the "Volume up" button will change the volume. It gets bigger and so on. In addition, many products operate the displayed menu screen by using a device such as a remote controller instead of a touch panel. In that case, the remote controller is typically equipped with buttons for instructing four directions, and the user operates the buttons to select a menu.
【０００４】このように、車載機器の種類が増えていく
中で、運転者が行う操作の種類は飛躍的に増大してい
る。特にカー・ナビゲーションの登場によって、操作の
種類は大幅に増えたと言って良い。そのことにより、運
転者が運転中に、あるいは信号待ちなどのわずかな時間
に操作を行うというケースが増えている。従来ならば、
オーディオ操作（音量調整、選曲）やエアコン操作（温
度調整、風量調整）程度しか行っていなかったが、近年
では、カー・ナビゲーションの表示画面を切り替えた
り、現在地近辺の施設を探すために地図をスクロールし
たり、携帯電話を使うこともある。このような操作が増
えることにより、運転中の注意力が散漫し、事故などの
原因になりやすい。事実、運転中の携帯電話の使用によ
って事故が急増し、道路交通法の改正により、運転中の
携帯電話の使用が禁止された。ただし、手に電話機を持
たずに通話できるハンズフリー装置を用いている場合
は、運転中でも使用することができる。この例に見られ
るように、運転者の視線を動かさずに他のこと（この場
合は電話）を行えることは安全上重要である。As described above, as the types of in-vehicle devices increase, the types of operations performed by the driver also increase dramatically. Especially with the advent of car navigation, it can be said that the types of operations have increased significantly. As a result, there are an increasing number of cases where the driver operates the vehicle while driving or at a short time such as waiting for a signal. Conventionally,
Only audio operations (volume adjustment, song selection) and air conditioning operations (temperature adjustment, air volume adjustment) were performed, but in recent years, the display screen of car navigation has been switched and the map has been scrolled to find facilities near the current location. I sometimes use a mobile phone. This increase in the number of operations distracts one's attention while driving, which may cause an accident. In fact, the use of mobile phones while driving drastically increased the number of accidents, and the revision of the Road Traffic Law prohibited the use of mobile phones while driving. However, if a hands-free device is used that allows a call without holding a telephone in the hand, it can be used even while driving. As seen in this example, it is important for safety to be able to do other things (telephone in this case) without moving the driver's line of sight.
【０００５】一方、車載機器の操作について述べると、
通常は操作パネルを見ながら操作を行うために、運転者
の注意が前方よりそれることになる。そのような操作が
増えると言うことは、運転中の危険が増大していること
を示している。しかも、操作機器の増加により、操作パ
ネルの種類が増加すると、目的の機器の操作パネルにア
クセスするため、それを探すことを目的としてまず視線
移動を行わなければならない。さらに、操作のためにボ
タンなどにアクセスするため、視線移動の時間は長くな
ってしまう。On the other hand, the operation of in-vehicle equipment will be described.
Normally, the driver's attention is deviated from the front because the operation is performed while looking at the operation panel. The increased number of such operations indicates an increased danger while driving. Moreover, when the number of operation devices increases due to the increase in the number of operation devices, the operation panel of the target device is accessed, and therefore the line of sight must first be moved for the purpose of searching for it. Furthermore, since the button or the like is accessed for the operation, the time for moving the line of sight becomes long.
【０００６】また、前述したひとつの例のように、機器
の操作がディスプレイと共通の入力装置に集約している
と、例えば、従来ならば、エアコンの温度を上げるのに
は、温度つまみを回すか、温度上昇ボタンを押せばよか
ったものが、メインメニューから「エアコン」を選び、
エアコンの操作パネルが表示されてから、「温度上昇」
ボタンを押すことになり、運転者の視線の動きが増え、
危険度が増してしまう。Further, if the operation of the equipment is concentrated on the input device common to the display as in the above-mentioned example, for example, in the conventional case, the temperature knob is turned to raise the temperature of the air conditioner. Or you could just press the temperature rise button, select "air conditioner" from the main menu,
After the operation panel of the air conditioner is displayed, "temperature rise"
By pushing the button, the movement of the driver's line of sight increases,
The risk increases.
【０００７】[0007]
【発明が解決しようとする課題】このように、従来は、
例えば自動車を運転する運転者が、前方を注視したまま
で（視線を動かすことなく）、効率よく車載機器などの
操作を行うことが困難であった。As described above, the prior art is as follows.
For example, it has been difficult for a driver driving an automobile to efficiently operate an in-vehicle device or the like while gazing ahead (without moving the line of sight).
【０００８】そこで、本発明は、上記問題点に鑑み、視
線を動かすことなく容易に、しかも正確に効率よく機器
を操作する事が可能な機器操作制御方法およびそれを用
いたインタフェース装置を提供することを目的とする。In view of the above-mentioned problems, the present invention provides a device operation control method and an interface device using the device operation control method, which can operate the device easily and accurately and efficiently without moving the line of sight. The purpose is to
【０００９】特に、車載機器のような特殊な環境下で操
作しなければならない機器を車の運転に支障ないように
操作することのできる機器操作制御方法およびそれを用
いたインタフェース装置を提供することを目的とする。In particular, the present invention provides a device operation control method and an interface device using the same, which can operate a device such as an on-vehicle device that must be operated in a special environment without hindering the driving of a vehicle. With the goal.
【００１０】[0010]
【課題を解決するための手段】本発明は、複数の操作項
目を有する機器を操作するためのものであって、前記複
数の操作項目のうち、ユーザが選択可能な操作項目を予
め定められた順序に従って所定間隔で１つずつ自装置の
操作対象として選択する選択手段と、前記操作対象を選
択する間隔に合わせて、現在操作対象となっている操作
項目をユーザに通知する通知手段と、ユーザからの各種
指示を入力する指示入力手段と、この指示入力手段で所
定の選択指示が入力されたときに前記操作対象となって
いる操作項目に基づき前記機器に対する操作を行う手段
とを具備したことを特徴とする。The present invention is for operating a device having a plurality of operation items, and among the plurality of operation items, an operation item selectable by a user is predetermined. Selection means for selecting one by one at a predetermined interval as an operation target of the device itself according to the order, notification means for notifying a user of an operation item that is currently an operation target in accordance with an interval for selecting the operation target, and a user An instruction input means for inputting various instructions from the device, and means for operating the device based on the operation item to be operated when a predetermined selection instruction is input by the instruction input means. Is characterized by.
【００１１】本発明によれば、現在操作対象であるとし
て通知されている操作項目に対しユーザが所定の選択指
示を入力するだけで、操作メニューや操作対象の機器に
対し操作が行えるので、ユーザは、視線を動かすことな
く容易に、しかも正確に効率よく操作対象機器を操作す
ることができる。According to the present invention, the user can operate the operation menu and the operation target device only by inputting a predetermined selection instruction to the operation item notified as the current operation target. Can easily and accurately operate the operation target device easily without moving the line of sight.
【００１２】好ましくは、前記指示入力手段で第１の操
作指示が入力されたとき、前記操作対象としての操作項
目を選択する間隔（操作対象の切替速度）を変更する。
上記インタフェース装置の操作に習熟度に応じて、ユー
ザは、操作対象としての操作項目を選択する間隔（操作
対象の切替速度）を短くしたり長くしたり（速くしたり
遅くしたり）することができるので、使い勝手がよい。
特に、上記インタフェース装置の操作に不慣れなユーザ
であっても、不便を感じることがない。[0012] Preferably, when a first operation instruction is input by the instruction input means, an interval (switching speed of the operation object) for selecting an operation item as the operation object is changed.
Depending on the level of proficiency in the operation of the interface device, the user can shorten or lengthen the interval (switching speed of the operation target) for selecting the operation item as the operation target (faster or slower). Because it is possible, it is easy to use.
In particular, even a user who is unfamiliar with the operation of the interface device will not feel inconvenience.
【００１３】好ましくは、前記通知手段は、現在該操作
対象となっている操作項目を音声でユーザに通知する。Preferably, the notifying means notifies the user of the operation item currently being operated by voice.
【００１４】好ましくは、前記通知手段は、現在操作対
象となっている操作項目に対応する音や旋律とともに、
該操作対象の操作項目を音声でユーザに通知する。[0014] Preferably, the notifying means, together with the sound or melody corresponding to the operation item currently being operated,
The user is notified by voice of the operation item to be operated.
【００１５】好ましくは、前記通知手段は、現在操作対
象となっている操作項目に対応する音や旋律で該操作対
象の操作項目をユーザに通知する。Preferably, the notifying means notifies the user of the operation item to be operated by a sound or melody corresponding to the operation item currently being operated.
【００１６】好ましくは、前記通知手段は、現在操作対
象となっている操作項目に対応する振動で該操作対象の
操作項目をユーザに通知する。[0016] Preferably, the notifying means notifies the user of the operation item of the operation target by the vibration corresponding to the operation item which is currently the operation target.
【００１７】好ましくは、前記指示入力手段で第２の操
作指示が入力されたとき、前記選択手段は、現在の操作
対象としての操作項目から所定個前に前記操作対象とし
て選択した操作項目から再び選択し直す。また、前記指
示入力手段で第３の操作指示が入力されたとき、前記選
択手段は、該選択指示が入力される前に選択していた操
作項目を再び選択し直して、直前に入力された前記選択
指示を取り消す。このような第２および第３の操作指示
を入力することにより、インタフェース装置自体の動作
をユーザ側から操作したり、先に入力した選択指示をキ
ャンセルすることができるので、使い勝手がよい。Preferably, when the second operation instruction is input by the instruction inputting means, the selecting means re-selects from the operation item selected as the operation object a predetermined number of times before the operation item as the current operation object. Select again. When the third operation instruction is input by the instruction input unit, the selection unit reselects the operation item selected before the selection instruction is input, and is input immediately before. Cancel the selection instruction. By inputting such second and third operation instructions, the operation of the interface device itself can be operated from the user side, and the previously input selection instruction can be canceled, which is convenient.
【００１８】好ましくは、前記指示入力手段は、ユーザ
のジェスチャから、そのジェスチャの種類に対応した指
示を認識する。[0018] Preferably, the instruction input means recognizes an instruction corresponding to the type of the gesture from the gesture of the user.
【００１９】好ましくは、前記指示入力手段は、ユーザ
のジェスチャから、そのジェスチャの種類に対応した指
示を認識するものであって、前記ジェスチャを行うユー
ザの身体の一部を撮像した画像を取得する画像取得手段
と、前記画像を基に、前記ジャスチャの種類に対応した
指示を認識する認識手段とを具備する。Preferably, the instruction input means recognizes an instruction corresponding to the type of the gesture from the gesture of the user, and acquires an image of a part of the body of the user who performs the gesture. The image acquisition means and the recognition means for recognizing an instruction corresponding to the type of the gesture based on the image.
【００２０】なお、前記画像取得手段で取得する画像は
距離画像であることが望ましい。The image acquired by the image acquisition means is preferably a distance image.
【００２１】好ましくは、前記指示入力手段は、ユーザ
のジェスチャから、そのジェスチャの種類に対応した指
示を認識するものであって、撮像対象として予め定めら
れた前記ジェスチャを行うユーザの身体の一部に対し所
定の光を照射したときに該撮像対象からの反射光を含む
光を受光し、その受光量から該撮像対象に該光を照射し
ていないときの受光量を差し引いた結果得られる、該撮
像対象からの反射光の強度分布で表された該撮像対象の
画像（例えば、距離画像）を取得する画像取得手段と、
前記画像を基に、前記ジャスチャの種類に対応した指示
を認識する認識手段とを具備する。[0021] Preferably, the instruction input means is for recognizing an instruction corresponding to the type of the gesture from the gesture of the user, and a part of the body of the user who performs the gesture predetermined as an imaging target. For receiving the light including reflected light from the imaging target when irradiated with a predetermined light, obtained by subtracting the received light amount when the light is not irradiated to the imaging target from the received light amount, Image acquisition means for acquiring an image (for example, a distance image) of the imaging target represented by the intensity distribution of reflected light from the imaging target;
A recognition unit that recognizes an instruction corresponding to the type of gesture based on the image.
【００２２】ユーザのジャスチャにより各種指示を入力
することにより、ユーザは、非接触的に、機器操作のた
めの視線移動を行わずに機器の操作が行える。また、ジ
ャスチャを上記距離画像で取得することにより、当該距
離画像を基に高速に各種指示を認識することができる。By inputting various instructions by the user's gesture, the user can operate the device in a contactless manner without moving the line of sight for operating the device. Further, by acquiring the gesture with the distance image, various instructions can be recognized at high speed based on the distance image.
【００２３】[0023]
【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the drawings.
【００２４】（第１の実施形態）まず、本発明の第１の
実施形態について説明する。(First Embodiment) First, a first embodiment of the present invention will be described.
【００２５】＜全体の構成＞本実施形態に係るインタフ
ェース装置は、操作メニューをもつ機器（操作対象機
器）を操作するためのインタフェース装置であって、図
１に示すように、指示入力部１と制御部２と操作メニュ
ー操作部３と通知部４と機器動作制御部５とから構成さ
れている。図１に示すような構成により、インタフェー
ス装置は、操作対象機器の操作メニューをユーザからの
指示に従って操作しながら、操作対象機器を操作するよ
うになっている。<Overall Configuration> The interface device according to the present embodiment is an interface device for operating a device having an operation menu (device to be operated), and as shown in FIG. The control unit 2, the operation menu operation unit 3, the notification unit 4, and the device operation control unit 5 are included. With the configuration as shown in FIG. 1, the interface device operates the operation target device while operating the operation menu of the operation target device according to an instruction from the user.
【００２６】図１において、指示入力部１は、ユーザに
よりなされた各種指示（選択指示、操作指示など）が入
力するようになっている。この指示入力部１は、例え
ば、予め設けられた複数個（３個ぐらいのできるだけ少
ない数の）ボタンから構成されていてもよいし、ユーザ
の行うジェスチャを認識して、各種指示入力を行うもの
であってもよいし、さらに、ユーザにより発声した言葉
を音声認識して各種指示入力を行うものであってもよい
し、これらを組み合わせて、各種指示入力を行うもので
あってもよい。In FIG. 1, the instruction input section 1 is adapted to input various instructions (selection instruction, operation instruction, etc.) given by the user. The instruction input unit 1 may be composed of, for example, a plurality of buttons (as few as possible) provided in advance, and recognizes a gesture made by the user to input various instructions. Further, it may be one in which the words uttered by the user are voice-recognized to input various instructions, or a combination of these may be used to input various instructions.
【００２７】制御部２は、指示入力部１から入力された
指示に従って、操作メニュー操作部３と通知部４を制御
するものである。The control unit 2 controls the operation menu operation unit 3 and the notification unit 4 according to the instruction input from the instruction input unit 1.
【００２８】通知部４は、操作メニューに含まれるメニ
ュー項目のうち、ユーザが選択可能であってしかも自装
置において操作対象となっているメニュー項目を所定間
隔で順番に１つずつユーザに通知するためのものであ
る。The notifying unit 4 notifies the user of the menu items that can be selected by the user and is the operation target in the device itself, one by one at predetermined intervals, among the menu items included in the operation menu. It is for.
【００２９】操作メニュー操作部３は、操作対象機器の
もつ操作メニューを予め記憶し、制御部２からの制御に
従って、この操作メニューから、ユーザが選択可能なメ
ニュー項目を選択したり、その選択されたメニュー項目
の中から所定間隔で順番に１つずつ操作対象としてのメ
ニュー項目を選択して、操作対象を所定間隔毎に切り替
えるようになっている。操作対象となっているメニュー
項目が選択されたときは（指示入力部１から選択指示が
入力されたときは）、当該メニュー項目対応の操作を操
作対象機器に対し行う（操作コマンドを機器動作制御部
５へ出力する）。The operation menu operation unit 3 stores the operation menu of the operation target device in advance and, under the control of the control unit 2, selects a menu item selectable by the user from the operation menu or selects the selected menu item. From the menu items, one menu item as an operation target is sequentially selected at predetermined intervals, and the operation target is switched at predetermined intervals. When the menu item that is the operation target is selected (when the selection instruction is input from the instruction input unit 1), the operation corresponding to the menu item is performed on the operation target device (the operation command is the device operation control). Output to part 5).
【００３０】通知部４は、操作メニュー操作部３で操作
対象となるメニュー項目を切り替える速度に同期して、
操作メニュー操作部３で現在操作対象となっているメニ
ュー項目をユーザに通知する。ここでは、例えば、音声
によりユーザに通知するようになっている。すなわち、
通知部４では、操作メニュー操作部３で現在操作対象と
なっているメニュー項目名の読み上げをおこなってい
る。The notification unit 4 synchronizes with the speed at which the menu items to be operated by the operation menu operation unit 3 are switched,
The operation menu operation unit 3 notifies the user of the menu item currently being operated. Here, for example, the user is notified by voice. That is,
The notification unit 4 reads out the menu item name currently operated by the operation menu operation unit 3.
【００３１】機器動作制御部５は、操作メニュー操作部
３から出力される操作コマンドに基づき、操作対象機器
を実際に動作させるためのものである。The device operation control unit 5 is for actually operating the operation target device based on the operation command output from the operation menu operation unit 3.
【００３２】ここで、インタフェース装置の操作対象機
器の有する操作メニューについて説明する。例えば、こ
こでは、操作対象機器として、車載機器を例にとり説明
する。すなわち、操作メニュー操作部３は、カー・オー
ディオ、カー・エアコン、カー・ナビゲーション・シス
テム、その他の車載機器などの各種機能を操作するため
の車載機器の持つ操作メニューを操作・管理を行うもの
であるとする。Here, the operation menu of the operation target device of the interface device will be described. For example, an in-vehicle device will be described as an example of the operation target device. That is, the operation menu operation unit 3 operates and manages the operation menu of the in-vehicle device for operating various functions such as car audio, car air conditioner, car navigation system, and other in-vehicle devices. Suppose there is.
【００３３】操作メニューの多くは、機能ごとに階層構
造のかたちを取っている。図３に車載機器における操作
メニューの階層構造の一例を示す。図３に示すように、
例えば、「トップ・メニュー」があり、その下位階層
に、「オーディオ・メニュー」、「エアコン・メニュ
ー」、「ナビゲーション・メニュー」などがあり、さら
に、例えば、「オーディオ・メニュー」の下には、「Ｃ
Ｄ」や「テープ」の再生機器に対する操作メニューや、
「ＦＭ」「ＡＭ」などのラジオに対する操作メニューな
どがある。そして、例えば、「ＣＤ」プレーヤに対する
操作メニューには、「再生操作・メニュー」、「停止操
作・メニュー」、「スキップ操作・メニュー」などがあ
る。図３では省略してあるが、「テープ」の再生機器
や、ラジオに対する操作メニューについても同様なメニ
ュー項目があり、さらに、「エアコン・メニュー」や
「ナビゲーション・メニュー」の下にも、それら対応の
操作メニューが存在する。Most of the operation menus have a hierarchical structure for each function. FIG. 3 shows an example of the hierarchical structure of the operation menu in the vehicle-mounted device. As shown in FIG.
For example, there is a "top menu", and there are "audio menu", "air conditioner menu", "navigation menu", etc. in the lower hierarchy, and further, for example, under "audio menu", "C
Operation menu for playback devices such as "D" and "tape",
There are operation menus for radio such as "FM" and "AM". Then, for example, the operation menus for the “CD” player include “playback operation / menu”, “stop operation / menu”, “skip operation / menu”, and the like. Although not shown in Fig. 3, there are similar menu items for the "tape" playback device and the operation menu for the radio, and they are also supported under the "air conditioner menu" and "navigation menu". There is an operation menu of.
【００３４】なお、便宜上、以降、操作メニューは階層
構造をしているとして説明するが、これに限定されるも
のではない。階層の概念の存在しない平面構造（例え
ば、メニュー項目の全てが同一階層にある）でも構わな
いし、各機能がループ形状などを含んで相互に複雑に接
続されているようなネットワーク構造でも構わない。ま
た、操作メニュー項目の数が少なく、例えば２つ、３つ
であってもかまわない。For the sake of convenience, the operation menu will be described below as having a hierarchical structure, but the operation menu is not limited to this. It may be a planar structure (for example, all menu items are in the same hierarchy) without the concept of hierarchy, or may be a network structure in which each function is connected to each other in a complicated manner including a loop shape. Further, the number of operation menu items is small, and it may be two or three, for example.
【００３５】ユーザ（インタフェース装置を操作する者
という意味で「操作者」とも呼ぶ）は、目的の操作を目
指して、このメニュー階層をたどっていき、目的の操作
にたどり着いたら、それを選択する。例えば、ＣＤに録
音されている音楽を再生したい場合には、「トップ・メ
ニュー」から「オーディオ・メニュー」を選択し、さら
に「オーディオ・メニュー」から「ＣＤ」を選択した
後、「再生操作・メニュー」を選択する。The user (also referred to as "operator" who means operating the interface device) traces this menu hierarchy aiming at the desired operation, and selects it when the desired operation is reached. For example, if you want to play back the music recorded on a CD, select "Audio Menu" from the "Top Menu", select "CD" from the "Audio Menu", and then click "Playback operation. Select "Menu".
【００３６】また、別の操作（例えば、カー・ナビゲー
ションにおける地図拡大）を行いたい場合、再び、「ト
ップ・メニュー」から「ナビゲーション・メニュー」を
選択し、さらに「ナビゲーション・メニュー」から「地
図拡大・メニュー」を選択する。When another operation (for example, map enlargement in car navigation) is desired, "Top menu"-"Navigation menu" is selected again, and "Navigation menu"-"Map enlargement" is selected.・ Select “Menu”.
【００３７】操作メニューは、必ずしも常に「トップ・
メニュー」から始まる訳ではなく、現在いる階層情報を
保持し、そこから始まることもある。The operation menu is always "top
It does not start with "menu", but it may hold the current hierarchical information and start from there.
【００３８】例えば、ＣＤに記録されている音楽を再生
したい場合には、「トップ・メニュー」から「オーディ
オ・メニュー」を選択し、さらに「オーディオ・メニュ
ー」から「ＣＤ」を経由して「再生操作・メニュー」を
選択する。現在いる階層は、「再生操作・メニュー」で
ある。続いて、カー・ナビゲーションにおける地図拡大
を行いたい場合、「再生操作・メニュー」から「ＣＤ」
に戻り、次に、「オーディオ・メニュー」に戻り、さら
に「トップ・メニュー」に戻った後、そこから「ナビゲ
ーション・メニュー」を選択し、さらに「ナビゲーショ
ン・メニュー」から「地図拡大・メニュー」を選択す
る。For example, to reproduce music recorded on a CD, select "Audio menu" from "Top menu", and then "Play" via "CD" from "Audio menu". Select “Operation / Menu”. The current layer is "playback operation / menu". Next, if you want to enlarge the map in car navigation, select "CD" from "Playback menu".
, Then go back to "Audio Menu" and then back to "Top Menu", select "Navigation Menu" from there, and then select "Map Expansion Menu" from "Navigation Menu" select.
【００３９】こうすることで、比較的同じ機能にアクセ
スする場合は、早く目的のメニューにたどり着くことが
可能である。例えば、図３で「ＣＤ」の下の階層の「再
生操作・メニュー」にいるとき、「スキップ操作・メニ
ュー」にいくには、１階層戻って、「ＣＤ」から、「ス
キップ操作・メニュー」を選択するだけでよい。By doing so, when accessing the relatively same function, it is possible to quickly reach the target menu. For example, in FIG. 3, when the player is in the "playback operation / menu" in the hierarchy below "CD", in order to go to the "skip operation / menu", go back one level and go from "CD" to "skip operation / menu". All you have to do is select.
【００４０】いずれの手法を取るとしても、目的の操作
にたどり着くまでの階層が深い場合、それにたどり着く
までに時間を要してしまう。そこで、図４に示したよう
に、ショートカット・メニューがあってもよい。これ
は、操作者が、自分がよく操作するメニューをショート
カット・メニューとして幾つか登録し、目的のメニュー
に迅速にたどり着くものである。例えば、「ＣＤ」操作
の各機能に迅速にたどり着きたい場合には、図４のよう
に、操作者は、「ショートカット・メニュー＃１」とし
て、「ＣＤ」の操作メニューを登録しておいて、「ショ
ートカット・メニュー＃１」を直接呼び出すことで、再
生、停止、スキップ、…、などといった操作メニューに
迅速にアクセスすることができる。ショートカット・メ
ニューは、「ショートカット・メニュー＃１」、「ショ
ートカット・メニュー＃２」、…、と任意数を定義して
使用することができる。Whichever method is used, if the hierarchy to reach the intended operation is deep, it takes time to reach it. Therefore, as shown in FIG. 4, there may be a shortcut menu. This is for the operator to register some of the menus he or she often operates as shortcut menus and quickly reach the target menu. For example, in order to quickly reach each function of the "CD" operation, the operator registers the operation menu of "CD" as "shortcut menu # 1" as shown in FIG. By directly calling "shortcut menu # 1", it is possible to quickly access operation menus such as play, stop, skip, .... The shortcut menu can be used by defining any number of "shortcut menu # 1", "shortcut menu # 2", ...
【００４１】また、図５に示したように、フェイバリッ
ト・メニュー（お気に入りメニュー）を持つ場合もあ
る。これは、操作者が、自分が必要なメニューだけを機
能や階層に捕らわれずに自由にピックアップして幾つか
登録し、お気に入りの機能のみを持つ自分独自のメニュ
ーに迅速にたどり着くものである。例えば、「再生操
作」、「スキップ操作」「ナビゲーション・メニュー」
だけを集めて、図５のように、「フェイバリット・メニ
ュー＃１」として登録する。そして、「フェイバリット
・メニュー＃１」を直接呼び出すことで、操作者自身が
必要な操作のみを集めたメニューに迅速にアクセスする
ことができる。フェイバリット・メニューも同様に、
「フェイバリット・メニュー＃１」、「フェイバリット
・メニュー＃２」、…、と任意数を定義して使用するこ
とができる。Further, as shown in FIG. 5, it may have a favorite menu (favorite menu). This is to allow an operator to freely pick up only a menu that he or she needs without being restricted by the function or hierarchy and register some of them, and quickly arrive at his or her own menu having only favorite functions. For example, "playback operation", "skip operation", "navigation menu"
Collect only and register as "Favorite Menu # 1" as shown in FIG. Then, by directly calling "Favorite Menu # 1", the operator himself can quickly access a menu in which only necessary operations are collected. Similarly for the favorite menu,
Any number of "favorite menu # 1", "favorite menu # 2", ... Can be defined and used.
【００４２】図２は、図１の操作メニュー操作部３の構
成例を示したもので、操作メニュー保持部１１と、メニ
ュー選択部１２と、操作メニュー状態管理部１３と、操
作対象切替え部１４と、操作コマンド出力部１５とから
構成されている。FIG. 2 shows an example of the configuration of the operation menu operation unit 3 shown in FIG. 1. The operation menu holding unit 11, the menu selection unit 12, the operation menu state management unit 13, and the operation target switching unit 14 are shown. And an operation command output unit 15.
【００４３】操作メニュー保持部１１は、操作対象機器
の有する操作メニューであって、例えば、図３に示した
ような階層的な構造を持つ操作メニューを保持する。図
３に示したような操作対象機器が本来持っている操作メ
ニューの他に、上記のようなショートカット・メニュ
ー、フェイバリット・メニューが登録されていてもよ
い。The operation menu holding unit 11 holds an operation menu which the operation target device has and has, for example, a hierarchical structure as shown in FIG. In addition to the operation menu originally possessed by the operation target device as shown in FIG. 3, the above-mentioned shortcut menu and favorite menu may be registered.
【００４４】メニュー選択部１２は、メニュー階層の変
更をして、ユーザが操作可能（選択可能）なメニュー項
目を選択する。例えば、図３で、操作者が「トップ・メ
ニュー」階層にいるとき、操作者が選択可能な項目は、
「オーディオ・メニュー」、「エアコン・メニュー」、
「ナビゲーション・メニュー」の３つであるので、この
３つを操作可能状態にする。このとき、操作者が、「オ
ーディオ・メニュー」を選択すると、メニュー階層は変
更され、選択可能なメニューは、「ＣＤ」「テープ」
「ＦＭ」「ＡＭ」となる。さらに、この状態から「Ｃ
Ｄ」が選択されると、選択可能なメニューは、「再生操
作・メニュー」、「停止操作・メニュー」、「スキップ
操作・メニュー」、…というように変更される。このよ
うに、操作者の選択指示により、ユーザが操作可能な
（選択可能な）メニュー項目を選択する。The menu selection unit 12 changes the menu hierarchy and selects a menu item that the user can operate (select). For example, in FIG. 3, when the operator is in the "top menu" hierarchy, the items that the operator can select are:
"Audio menu", "Air conditioner menu",
Since there are three "navigation menus", these three are made operable. At this time, when the operator selects "audio menu", the menu hierarchy is changed, and selectable menus are "CD" and "tape".
It becomes "FM" and "AM". Furthermore, from this state, "C
When "D" is selected, the selectable menus are changed to "reproduction operation / menu", "stop operation / menu", "skip operation / menu", .... In this way, the user selects (selectable) menu items that can be operated by the operator's selection instruction.
【００４５】また、操作メニューの構造は図３とは異な
るが、操作メニューによっては、同じメニュー項目であ
っても、ＣＤの再生中、ラジオの受信中との異なる状況
に応じて、異なる操作内容となる場合がある。例えば、
ＣＤの再生中に、「スキップ操作・メニュー」を選択し
た場合、通常、ＣＤの次の曲に変更する動作が行われる
が、ラジオの再生中に、「スキップ操作・メニュー」を
選択した場合、ＣＤの場合とは異なり、ラジオ局の変更
が行われる。このように、同じ操作メニュー項目名であ
っても、状況が異なった場合、その項目に対応する操作
対象機器に対する操作コマンドを、その状況に対応して
変更する。このような場合も、操作メニューの内容の変
更に含まれるものとする。Although the structure of the operation menu is different from that of FIG. 3, different operation contents may be obtained depending on the operation menu, even if the menu items are the same, depending on different situations such as during CD reproduction and radio reception. May be For example,
If "skip operation / menu" is selected during CD playback, the operation to change to the next song on the CD is normally performed, but if "skip operation / menu" is selected during radio playback, Unlike the case of CD, the radio station is changed. In this way, even if the operation menu item name is the same, if the situation is different, the operation command for the operation target device corresponding to the item is changed in accordance with the situation. Such a case is also included in the change of the contents of the operation menu.
【００４６】操作メニュー状態管理部１３は、操作者
が、例えば、図３に示した操作メニューの階層構造にお
いて、いまどの階層（状態）にいて、その階層で操作者
が現在選択可能な項目は何か、などといった操作メニュ
ーの現在の状態を保持するとともに、操作者がどの階層
にいたことがあるかなどの操作履歴を保持して、いつで
もその状態に復帰できるようにするものである。The operation menu state management section 13 indicates, for example, in which hierarchy (state) the operator is currently in the hierarchical structure of the operation menu shown in FIG. The current state of the operation menu such as something is held, and the operation history such as in which hierarchy the operator has been kept is held so that the operator can always return to that state.
【００４７】操作対象切替部１４は、操作メニュー状態
管理部１３において現在保持されているユーザが選択可
能なメニュー項目の中から、操作メニュー操作部３が操
作対象とする項目を順番に１つづつ選択して、操作メニ
ュー操作部３での操作対象を所定の間隔（速度）で切り
替えるようになっている。なお、この操作対象のメニュ
ー項目を切り替える速度は、ユーザからの指示（操作指
示）で変更可能である。The operation target switching unit 14 sequentially selects, from the menu items currently held in the operation menu state management unit 13 that can be selected by the user, the items to be operated by the operation menu operation unit 3 one by one. It is configured to select and switch the operation target on the operation menu operation unit 3 at a predetermined interval (speed). The speed at which the menu item to be operated is switched can be changed by an instruction (operation instruction) from the user.
【００４８】操作コマンド出力部１５は、例えば、操作
メニュー状態管理部１３において現在保持されている選
択可能な操作メニューの項目のうち、操作対象となって
いるメニュー項目が、操作者によって選択されたとき、
その項目に対応する操作対象機器に対する操作コマンド
を機器動作制御部５へ出力するようになっている。In the operation command output section 15, for example, among the selectable operation menu items currently held in the operation menu state management section 13, the menu item to be operated is selected by the operator. When
An operation command for the operation target device corresponding to the item is output to the device operation control unit 5.
【００４９】図１の機器動作制御部５は、操作メニュー
操作部３から出力された操作コマンドを受けて実際の操
作対象機器の動作を制御するためのものである。The equipment operation control section 5 in FIG. 1 is for receiving the operation command output from the operation menu operation section 3 and controlling the actual operation of the operation target equipment.
【００５０】例えば、ＣＤの「再生操作」というメニュ
ー項目の選択がなされたときは、操作メニュー操作部３
から、当該メニュー項目対応の操作コマンドが出力され
るので、これを受けて、操作対象機器であるカー・オー
ディオ・プレイヤーを制御し、ＣＤ再生を行わせる。For example, when the menu item "reproduction operation" of the CD is selected, the operation menu operation unit 3
From this, an operation command corresponding to the menu item is output, and in response to this, the car audio player, which is the operation target device, is controlled and CD reproduction is performed.
【００５１】ここで、１つ注意して頂きたいのは、通
常、「メニュー」という用語を用いたとき、画面に表示
されているメニュー（ＧＵＩとしてのメニュー）を想像
することが多いかもしれないが、ここで用いている操作
メニュー操作部３とは、画面表示は一切行わない。ここ
で扱っているのは、「メニュー操作」のための内部動作
部分であり、表示などの表現はこの範疇ではない。One point to note here is that when the term "menu" is used, it may be possible to imagine a menu (menu as a GUI) displayed on the screen. However, no screen display is performed with the operation menu operation unit 3 used here. What is handled here is the internal operation part for "menu operation", and expressions such as display are not in this category.
【００５２】次に、通知部４について説明する。Next, the notification unit 4 will be described.
【００５３】通知部４は、操作メニュー操作部３での操
作対象の切替え速度に同期して、現在操作対象となって
いるメニュー項目を操作者に通知するためのものであ
る。The notification unit 4 is for notifying the operator of the menu item currently being operated in synchronization with the switching speed of the operation target in the operation menu operating unit 3.
【００５４】本実施形態におけるインタフェース装置
は、運転者が車載機器を操作する際に、機器操作のため
の視線移動をなるべく減らし、運転中の機器操作におけ
る安全性の低下の問題を軽減することを目的としてい
る。従来の機器操作のためのインタフェースは、典型的
には、ＧＵＩなどを用いた画面中心のものであった。し
かし、画面上の操作を中心にしたインタフェースを採用
すると、どうしても、操作のために画面を見る必要が生
じ、視線移動を大幅に軽減することは困難である。The interface device according to the present embodiment reduces the line-of-sight movement for operating the device when the driver operates the in-vehicle device as much as possible, thereby alleviating the problem of reduced safety in operating the device during driving. Has an aim. A conventional interface for operating a device is typically a screen-centric interface using a GUI or the like. However, if an interface focusing on on-screen operations is adopted, it is necessary to look at the screen for the operation, and it is difficult to significantly reduce eye movement.
【００５５】そこで、本実施形態では、従来のような画
面表示に替えて、例えば音声による操作メニュー項目の
提示（通知）方法を用いる。つまり、通知部４では、操
作メニュー操作部３で現在操作対象としているメニュー
項目を、音声を用いて、操作者（＝運転者）に通知する
わけである。Therefore, in the present embodiment, a method of presenting (notifying) operation menu items by voice, for example, is used instead of the conventional screen display. In other words, the notification unit 4 notifies the operator (= driver) of the menu item currently operated by the operation menu operation unit 3 by using voice.
【００５６】以下、簡単に、図１に示したインタフェー
ス装置の動作を説明する。ここでは、例えば、図３に示
した操作メニューを保持したインタフェース装置を例に
とり説明する。The operation of the interface device shown in FIG. 1 will be briefly described below. Here, for example, an interface device holding the operation menu shown in FIG. 3 will be described as an example.
【００５７】現在の操作メニューの状態が「トップ・メ
ニュー」にあるとする。この状態でユーザが選択可能な
メニュー項目は「オーディオ・メニュー」、「エアコン
・メニュー」、「ナビゲーション・メニュー」であるの
で、操作対象切替部１４は、操作対象のメニュー項目を
「オーディオ」→「エアコン」→「ナビゲーション」→
「オーディオ」→…、というように、所定間隔（所定速
度）で切り替える。It is assumed that the current state of the operation menu is "top menu". In this state, the menu items that the user can select are “audio menu”, “air conditioner menu”, and “navigation menu”. Therefore, the operation target switching unit 14 selects the operation target menu item from “audio” → “audio”. "Air conditioner" → "Navigation" →
Switching is performed at a predetermined interval (predetermined speed), such as “audio” → ...
【００５８】この速度（切替速度）に同期して、通知部
４は、「オーディオ」→「エアコン」→「ナビゲーショ
ン」→「オーディオ」→…、とユーザが選択可能なメニ
ュー項目名を読み上げていく。In synchronism with this speed (switching speed), the notification unit 4 reads out the menu item names selectable by the user in the order of “audio” → “air conditioner” → “navigation” → “audio” → ... .
【００５９】そして、「ナビゲーション」が読み上げら
れているときに、指示入力部１から入力された選択指示
が制御部２で認識されると、操作メニュー操作部３で
は、「ナビゲーション・メニュー」を選択する。すなわ
ち、メニュー選択部１２は、「ナビゲーション・メニュ
ー」の下位の階層にあるメニュー項目を選択する。この
場合、選択可能なメニュー項目が、例えば、「地図拡
大」、「地図縮小」、「現在地表示」、「目的地表示」
であるとすると、操作対象切替部１４は、操作対象を
「地図拡大」→「地図縮小」→「現在地表示」→「目的
地表示」→…、というように切り替えていく。通知部４
は、この切替速度に同期してユーザが選択可能な上記項
目を読み上げていく。When the control section 2 recognizes the selection instruction input from the instruction input section 1 while "navigation" is being read aloud, the operation menu operation section 3 selects "navigation menu". To do. That is, the menu selection unit 12 selects a menu item in the lower hierarchy of the “navigation menu”. In this case, the selectable menu items are, for example, "map enlargement", "map reduction", "current location display", "destination display".
If so, the operation target switching unit 14 switches the operation target in the order of “map enlargement” → “map reduction” → “current position display” → “destination display” → ... Notification unit 4
Reads the above items selectable by the user in synchronization with the switching speed.
【００６０】例えば、「目的地表示」が読み上げられて
いるときに、指示入力部１から入力された選択指示が制
御部２で認識されると、操作メニュー操作部３では、
「目的地表示・メニュー」を選択する。「目的地表示・
メニュー」は、最下層のメニューであり、カー・ナビゲ
ーション機器の実際の目的地を表示する機能に対する操
作コマンドが、操作メニュー操作部３の操作コマンド出
力部１５から機器動作制御部６に出力され、機器動作制
御部６にて、当該操作コマンドを基に、実際のカー・ナ
ビゲーション機器に対し、目的地を表示するような操作
制御が行われる。For example, when the control unit 2 recognizes the selection instruction input from the instruction input unit 1 while reading the "destination display", the operation menu operation unit 3
Select "Destination Display / Menu". "Destination display
The “menu” is a menu at the bottom layer, and an operation command for the function of displaying the actual destination of the car navigation device is output from the operation command output unit 15 of the operation menu operation unit 3 to the device operation control unit 6. Based on the operation command, the device operation control unit 6 performs operation control for displaying the destination on the actual car navigation device.
【００６１】図６は、図１に示したインタフェース装置
の指示入力部１が、ジェスチャ取得部６とジェスチャ認
識部７に置き換えたもので、インタフェース装置への各
種指示をユーザのジェスチャで行う場合を示したもので
ある。なお、図６において、図１と同一部分には同一符
号を付している。FIG. 6 shows a case in which the instruction input unit 1 of the interface device shown in FIG. 1 is replaced with a gesture acquisition unit 6 and a gesture recognition unit 7, and various instructions to the interface device are given by user's gestures. It is shown. 6, the same parts as those in FIG. 1 are designated by the same reference numerals.
【００６２】以下、図６に示した構成のインタフェース
装置を用いて、より詳細に説明する。The interface device having the structure shown in FIG. 6 will be described below in more detail.
【００６３】図６に示したインタフェース装置におい
て、ジェスチャ取得部６は、操作者の手などの身体の部
位の動き、形状、位置、方向など、あるいは、その操作
者により保持または装着された物体の、動き、形状、位
置、方向などをジェスチャとして取得するためのもので
ある。In the interface device shown in FIG. 6, the gesture acquisition unit 6 detects the movement, shape, position, direction, etc. of a body part such as the operator's hand, or the object held or worn by the operator. , Motion, shape, position, direction, etc. as gestures.
【００６４】ジェスチャ認識部７は、ジェスチャ取得部
６で取得されたジェスチャがどのようなジェスチャであ
るのかを認識するためのものである。The gesture recognition section 7 is for recognizing what kind of gesture the gesture acquired by the gesture acquisition section 6 is.
【００６５】ジェスチャ認識部６で認識されたジェスチ
ャの種類をもとに、制御部２は、操作メニュー操作部３
と通知部４を制御するようになっている。Based on the type of gesture recognized by the gesture recognition unit 6, the control unit 2 controls the operation menu operation unit 3
And the notification unit 4 is controlled.
【００６６】＜ジェスチャ取得部の説明＞まず、ジェス
チャ取得部１について説明する。<Description of Gesture Acquisition Unit> First, the gesture acquisition unit 1 will be described.
【００６７】ジェスチャ取得部１は、操作対象機器の操
作者の手や顔などの身体の部位、あるいは、その操作者
により保持または装着された物体（例えば、手に持たれ
たペンなど）、によって行われるジェスチャを取得する
ものである。The gesture acquisition unit 1 uses a body part such as the hand or face of the operator of the operation target device, or an object held or worn by the operator (for example, a pen held in the hand). It is for acquiring the gesture to be performed.
【００６８】ここで、「ジェスチャ」とは、動き、形
状、位置、姿勢や向き、それらの組合せなどで表現され
る表現全般を指すとする。例えば、手のひらを振る、指
を動かす、「グー」、「チョキ」、「パー」といったじ
ゃんけんで提示するような手形状をする、足を動かす、
顔を動かす、顔の表情を変える、手に持ったペンでスト
ロークを描く、手に装着した指輪状や付け爪状の装置を
動かす、装着した眼鏡状や帽子状の装置を動かす、など
といった身振り・手振りによる表現や、保持または装着
物を用いた表現などをジェスチャとして扱う。Here, the "gesture" refers to all expressions expressed by movement, shape, position, posture, orientation, and combinations thereof. For example, shake your palm, move your finger, make a hand shape that is presented with rock-paper-scissors such as "Goo,""Ski," or "Par," move your feet,
Gestures such as moving the face, changing the facial expression, drawing strokes with a pen in the hand, moving a ring-shaped or artificial nail-shaped device attached to the hand, moving eyeglass-shaped or hat-shaped devices attached, etc.・ Hand gestures and expressions such as holding or wearing objects are treated as gestures.
【００６９】それでは、手指を例として具体的なジェス
チャの例を図７に示す。手指を使ったジェスチャの一例
として、図７（ａ）（ｄ）（ｈ）に示す様に、「グ
ー」，「チョキ」，「パー」といったじゃんけんで提示
するような手の形状や，図７（ｂ）（ｃ）（ｅ）（ｇ）
に示すような、５本の指のうちどの指を伸ばすか，ある
いは、図７（ｆ）に示すような、人差し指と親指で丸を
作る，など手によって表現されるさまざまな形状ジェス
チャがある。本来「ジェスチャ」とは動きを伴う意味を
含んでおり、必ずしも静止した手形状をジェスチャとは
呼ばないこともあるが、これらの形状を提示する際に
は、操作者は、他の形からこれらの形へ、手の形を変形
させているのであるから、その意味で広義のジェスチャ
として扱う。また、検出処理方法を考えると、これらを
静止形状として扱うのが比較的容易であるが、実際には
これらの形状の時系列的な組み合わせ、形状と動きを伴
うものなどもあり得る。ここでは、手指の形状ジェスチ
ャに焦点を当てて説明したが、上述の通り、ジェスチャ
は形状だけではなく、動き、位置、姿勢、それらの組合
せなどによるジェスチャでもよい。Now, FIG. 7 shows an example of a specific gesture by using fingers as an example. As an example of a gesture using a finger, as shown in FIGS. 7A, 7D, and 7H, the shape of a hand that is presented with rock-paper-scissors such as “goo”, “choki”, and “par”, and FIG. (B) (c) (e) (g)
There are various shape gestures expressed by the hand, such as which one of the five fingers is extended, as shown in FIG. 7, or a circle is made with the index finger and thumb as shown in FIG. Originally, “gesture” includes a meaning involving movement, and a stationary hand shape is not always called a gesture, but when presenting these shapes, the operator does not use these shapes from other shapes. Since the shape of the hand is transformed into the shape of, it is treated as a gesture in a broad sense in that sense. Considering the detection processing method, it is relatively easy to treat these as static shapes, but in reality, there may be a time-series combination of these shapes, or a shape and movement. Although the description has been given here focusing on the finger shape gesture, as described above, the gesture may be not only a shape but also a gesture based on a movement, a position, a posture, a combination thereof, or the like.
【００７０】次に、ジェスチャを取得するための具体的
な手段について説明する。Next, a concrete means for acquiring the gesture will be described.
【００７１】ジェスチャを取得するための手段として
は，小型ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅ
ｖｉｃｅ）カメラなどを用いて手を撮像する方法があ
る。これは、カメラを用いて物体を撮像し、そこからジ
ェスチャを取得しようというものである。例えば、手指
のジェスチャを取得する場合、カメラで得られた画像中
の肌色の領域を検出することで、その部分を手領域とみ
なして取得しようというものである。また、動きを伴う
ジェスチャの場合、カメラ画像の時間差分をとること
で、動きのある物体部分を取得することができる。この
部分を得ることで、ジェスチャを取得することができ
る。As a means for acquiring the gesture, a small CCD (Charge Coupled De) is used.
vice) There is a method of capturing an image of a hand using a camera or the like. In this technique, a camera is used to capture an image of an object and a gesture is acquired from the image. For example, when acquiring a gesture of a finger, by detecting a flesh-colored area in an image obtained by a camera, the part is regarded as a hand area and is acquired. Further, in the case of a gesture involving movement, it is possible to acquire a moving object portion by taking the time difference between camera images. By obtaining this part, the gesture can be obtained.
【００７２】しかし、特に車載機器応用を考えた場合、
車内は、昼は明るく、夜は暗いと外光状態の変動が大き
く、カメラで得られる画像が大きく変動してしまうた
め、検出精度が低下してしまうという問題がある。ま
た、カメラの前方を人やものが横切る毎に誤認識するお
それがある。However, especially when considering application to in-vehicle equipment,
When the interior of the vehicle is bright in the daytime and dark in the night, the external light state varies greatly, and the images obtained by the camera vary greatly, which lowers the detection accuracy. Moreover, there is a possibility that a person or thing may be erroneously recognized each time it crosses the front of the camera.
【００７３】本願の発明者らによる、特開平１０−１７
７４４９号公報において、発光手段と、これと同期して
動作するイメージセンサによって、ジェスチャを高速に
取得できる画像入力装置を発明している。これは、物体
に赤外光を照射し、これと同期した動作をするイメージ
センサを用いて、物体反射光のみを画像として取り出す
装置である。反射光の強さは一般的に物体までの距離の
２乗に反比例するため、近くの物体が遠くの背景から容
易に切り出されるという特徴を持つ。この装置を使う
と、装置自体が発光手段を持っているため、夜などの通
常のＣＣＤカメラでは撮像が難しい条件下でも、検出が
行える。また、基本的に発光手段から照射される光は人
間の目に見えない近赤外光であり、運転者の妨げになら
ない。また、距離のある背景の物体は、反射光が届かず
映らないため、関係ない動きなどによる誤動作は小さく
できる。さらに、反射光と距離の間には相関関係がある
ため、得られた反射光画像は、物体の３次元情報を包含
している（このことから、当該反射光画像を距離画像と
呼ぶ）。つまり、特開平１０−１７７４４９号公報に記
載の画像入力装置を本発明のジェスチャ取得部６に用い
ることで、ジェスチャを、３次元情報として、安定的に
かつ高精度で、取得することが可能である。The inventors of the present application, Japanese Patent Laid-Open No. 10-17
In Japanese Patent No. 7449, there is invented an image input device capable of acquiring a gesture at high speed by a light emitting means and an image sensor which operates in synchronization with the light emitting means. This is a device that irradiates an object with infrared light and uses an image sensor that operates in synchronization with the infrared light to extract only the light reflected by the object as an image. Since the intensity of reflected light is generally inversely proportional to the square of the distance to the object, it has a feature that a near object can be easily cut out from a distant background. When this device is used, since the device itself has a light emitting means, it can be detected even under conditions where it is difficult to take an image with an ordinary CCD camera such as at night. Further, basically, the light emitted from the light emitting means is near-infrared light which is invisible to human eyes and does not interfere with the driver. Further, since a reflected light does not reach an object in the background with a long distance and is not reflected, malfunctions due to unrelated movements can be reduced. Further, since there is a correlation between the reflected light and the distance, the obtained reflected light image includes three-dimensional information of the object (for this reason, the reflected light image is referred to as a distance image). That is, by using the image input device described in Japanese Patent Laid-Open No. 10-177449 in the gesture acquisition unit 6 of the present invention, it is possible to stably and accurately acquire a gesture as three-dimensional information. is there.
【００７４】なお、ジェスチャの取得方法は、上述した
ＣＣＤカメラを用いた方法や特開平１０−１７７４４９
号における方法に限定されるものではなく、これに準じ
る、あるいは別の手段を用いて取得するものでも構わな
い。The gesture acquisition method is the method using the above-mentioned CCD camera or Japanese Patent Laid-Open No. 10-177449.
The method is not limited to the method described in No. 1, but may be obtained according to this method or using another means.
【００７５】次に、ジェスチャ取得部６として用いる、
上記した画像入力装置（以下、画像入力装置１００とす
る）および当該画像入力装置１００にて取得される距離
画像について簡単に説明する。Next, the gesture acquisition unit 6 is used.
The above-described image input device (hereinafter referred to as the image input device 100) and the range image acquired by the image input device 100 will be briefly described.
【００７６】画像入力装置１００の外観を図８に示す。
中央部には円形レンズとその後部にあるイメージセンサ
（図示せず）から構成される受光部１０３が配置され、
円形レンズの周囲にはその輪郭に沿って、赤外線などの
光を照射するＬＥＤから構成される発光部１０１が複数
個（例えば６個）等間隔に配置されている。The external appearance of the image input device 100 is shown in FIG.
A light receiving unit 103 composed of a circular lens and an image sensor (not shown) at the rear is arranged in the central portion,
Around the circular lens, a plurality of light emitting portions 101 (for example, six), which are configured by LEDs that emit light such as infrared rays, are arranged at equal intervals along the contour thereof.
【００７７】発光部１０１から照射された光が物体に反
射され、受光部１０３のレンズにより集光され、レンズ
の後部にあるイメージセンサで受光される。イメージセ
ンサは、例えば２５６×２５６のマトリックス状に配列
されたセンサで、マトリックス中の各センサにて受光さ
れた反射光の強度がそれぞれ画素値となる。このように
して取得された画像が、図１０に示すような反射光の強
度分布としての距離画像である。The light emitted from the light emitting unit 101 is reflected by the object, condensed by the lens of the light receiving unit 103, and received by the image sensor at the rear of the lens. The image sensor is, for example, a sensor arranged in a matrix of 256 × 256, and the intensity of the reflected light received by each sensor in the matrix becomes a pixel value. The image acquired in this way is a distance image as the intensity distribution of reflected light as shown in FIG.
【００７８】図９は、画像入力装置の内部構成例を示し
たもので、主に、発光部１０２、受光部１０３、反射光
抽出部１０２、タイミング信号生成部１０４から構成さ
れる。FIG. 9 shows an example of the internal structure of the image input apparatus, which is mainly composed of a light emitting section 102, a light receiving section 103, a reflected light extracting section 102, and a timing signal generating section 104.
【００７９】発光部１０１は、タイミング信号生成部１
０４にて生成されたタイミング信号に従って時間的に強
度変動する光を発光する。この光は発光部前方にある対
象物体に照射される。The light emitting section 101 is the timing signal generating section 1
Light whose intensity fluctuates with time is emitted according to the timing signal generated at 04. This light is applied to the target object in front of the light emitting unit.
【００８０】受光部１０３は、発光部１０１が発した光
の対象物体による反射光の量を検出する。The light receiving unit 103 detects the amount of light reflected by the target object of the light emitted by the light emitting unit 101.
【００８１】反射光抽出部１０２は、受光部１０３にて
受光された反射光の空間的な強度分布を抽出する。この
反射光の空間的な強度分布は画像として捉えることがで
きるので、以下、これを距離画像と呼ぶ。The reflected light extracting section 102 extracts the spatial intensity distribution of the reflected light received by the light receiving section 103. Since the spatial intensity distribution of the reflected light can be captured as an image, this is hereinafter referred to as a distance image.
【００８２】受光部１０３は一般的に発光部１０１から
発せられる光の対象物による反射光だけでなく、照明光
や太陽光などの外光も同時に受光する。そこで、反射光
抽出部１０２は発光部１０１が発光しているときに受光
した光の量と、発光部１０１が発光していないときに受
光した光の量の差をとることによって、発光部１０１か
らの光の対象物体による反射光成分だけを取り出す。The light receiving section 103 generally receives not only the light emitted from the light emitting section 101 but also the reflected light from the object, and also external light such as illumination light and sunlight. Therefore, the reflected light extraction unit 102 obtains the difference between the amount of light received when the light emitting unit 101 is emitting light and the amount of light received when the light emitting unit 101 is not emitting light, thereby obtaining the light emitting unit 101. Only the reflected light component of the light from the target object is extracted.
【００８３】反射光抽出部１０２では、受光部１０３に
て受光された反射光から、その強度分布、すなわち、図
１０に示すような距離画像を抽出する。The reflected light extraction unit 102 extracts the intensity distribution of the reflected light received by the light receiving unit 103, that is, a distance image as shown in FIG.
【００８４】図１０では、簡単のため、２５６×２５６
画素の距離画像の一部である８×８画素の距離画像の場
合について示している。In FIG. 10, for the sake of simplicity, 256 × 256
It shows a case of an 8 × 8 pixel distance image which is a part of the pixel distance image.
【００８５】物体からの反射光は、物体の距離が大きく
なるにつれ大幅に減少する。物体の表面が一様に光を散
乱する場合、距離画像１画素あたりの受光量は物体まで
の距離の２乗に反比例して小さくなる。The reflected light from the object greatly decreases as the distance of the object increases. When the surface of the object scatters light uniformly, the amount of light received per pixel of the range image decreases in inverse proportion to the square of the distance to the object.
【００８６】図１０において、行列中のセルの値（画素
値）は、取得した反射光の強さを２５６階調（８ビッ
ト）で示したものである。例えば、「２５５」の値があ
るセルは、距離画像取得部１に最も接近した状態、
「０」の値があるセルは、距離画像取得部１から遠くに
あり、反射光が距離画像取得部１にまで到達しないこと
を示している。In FIG. 10, the cell values (pixel values) in the matrix represent the intensity of the acquired reflected light in 256 gradations (8 bits). For example, a cell having a value of “255” is in the state of being closest to the distance image acquisition unit 1,
A cell having a value of “0” is far from the range image acquisition unit 1 and indicates that the reflected light does not reach the range image acquisition unit 1.
【００８７】距離画像の各画素値は、その画素に対応す
る単位受光部で受光した反射光の量を表す。反射光は、
物体の性質（光を鏡面反射する、散乱する、吸収する、
など）、物体の方向、物体の距離などに影響されるが、
物体全体が一様に光を散乱する物体である場合、その反
射光量は物体までの距離と密接な関係を持つ。手など
は、このような性質をもつため、画像入力装置の前方に
手を差し出した場合の距離画像は、手までの距離、手の
傾き（部分的に距離が異なる）などを反映する図１１に
示したような３次元的なイメージを得ることができる。Each pixel value of the distance image represents the amount of reflected light received by the unit light receiving section corresponding to that pixel. The reflected light is
Properties of objects (specular reflection, scattering, absorption of light,
Etc.), the direction of the object, the distance of the object, etc.
When the entire object is an object that scatters light uniformly, the amount of reflected light has a close relationship with the distance to the object. Since a hand or the like has such a property, the distance image when the hand is extended out in front of the image input device reflects the distance to the hand, the inclination of the hand (the distance is partially different), and the like. It is possible to obtain a three-dimensional image as shown in.
【００８８】ジェスチャ認識部７では、撮像物体（予め
定められている）の反射係数の違いによる反射光の強度
と、認識対象（手）とそれ以外の撮像物体との位置関係
とから、例えば、図１２に示すような、当該距離画像内
にある認識対象の輪郭情報を抽出することができる。In the gesture recognition section 7, from the intensity of the reflected light due to the difference in the reflection coefficient of the imaged object (predetermined) and the positional relationship between the recognition target (hand) and the other imaged objects, for example, The contour information of the recognition target in the distance image as shown in FIG. 12 can be extracted.
【００８９】例えば、画像入力装置１００を、認識対象
である手をその間近から撮像できる位置に配置すれば、
画像入力装置１００で取得された距離画像中の、認識対
象としての手の映し出されている領域は予め推定できる
とともに、他の撮像体より画像入力装置１００との距離
が最も近くに存在することになる。すなわち、画像入力
装置１００との距離が短いほど、画像入力装置１００が
取得する反射光が強くなるので、画素値が大きくなる
（画素値が大きければより黒に近くなる）。一番近い部
分が最も黒く、画像入力装置１００から遠い位置にある
ものほど徐徐に画素値が小さくなり（白くなり）、背景
は最も遠いので、画素値はほぼ「０」となる。For example, if the image input device 100 is arranged at a position where the hand to be recognized can be imaged from the near side,
In the range image acquired by the image input apparatus 100, the area in which the hand as the recognition target is projected can be estimated in advance, and the distance to the image input apparatus 100 is closest to other image capturing objects. Become. That is, the shorter the distance from the image input device 100, the stronger the reflected light acquired by the image input device 100, and the larger the pixel value (the closer the pixel value, the closer to black). The pixel value becomes gradually smaller (whiter) as the closest part is the blackest and the position is farther from the image input apparatus 100, and the background is the farthest, so that the pixel value is almost “0”.
【００９０】画像入力装置１００から撮像物体までの距
離値は、例えば、２５６階調あるいはより高精度に測定
できる。The distance value from the image input device 100 to the image pickup object can be measured with 256 gradations or higher accuracy, for example.
【００９１】輪郭の抽出された物体までの距離ｄの算定
には、まず当該物体の重心位置近傍の画像の代表画素値
を求める。代表画素値としては、平均値、最近傍値など
いくつかあるが、ここでは、最近傍値を使うとする。当
該物体からの反射光の強さは物体までの距離の２乗に反
比例して小さくなる。すなわち、画素値をＰ（ｉ、ｊ）
とすると、その画素値と距離値ｗとの関係は、
Ｐ（ｉ、ｊ）＝Ｋ／ｗ２ …（１）
と表すことができる。ここで、Ｋは、撮像物体毎に定め
られるもので、例えば、ｗ＝０．５ｍのときに、当該撮
像物体の画素値Ｐ（ｉ、ｊ）の値が「２５５」になるよ
うに調整された係数であり、反射係数ともいう。式
（１）をｗについて解くことで、距離値ｗを求めること
ができる。To calculate the distance d to the object whose contour has been extracted, first, the representative pixel value of the image in the vicinity of the center of gravity of the object is obtained. There are several representative pixel values such as an average value and a nearest neighbor value, but the nearest neighbor value is used here. The intensity of the reflected light from the object decreases in inverse proportion to the square of the distance to the object. That is, the pixel value is set to P (i, j)
Then, the relationship between the pixel value and the distance value w can be expressed as P (i, j) = K / w 2 (1). Here, K is determined for each imaged object, and is adjusted so that the pixel value P (i, j) of the imaged object is “255” when w = 0.5 m, for example. It is also a coefficient and is also called a reflection coefficient. The distance value w can be obtained by solving the equation (1) for w.
【００９２】輪郭情報を抽出するには、隣合う画素の画
素値を比較し、画素値が一定値α以上のところだけに定
数値を入れて、同じ定数値が割り振られた連続した画像
領域の画素を抽出すればよい。In order to extract the contour information, the pixel values of adjacent pixels are compared, a constant value is entered only when the pixel value is a fixed value α or more, and the continuous image areas of the same constant value are allocated. Pixels may be extracted.
【００９３】すなわち、図１０のマトリックス上の座標
位置（ｉ、ｊ）にある画素値をＰ（ｉ、ｊ）とし、輪郭
情報の画素値をＱ（ｉ、ｊ）とすると、
・｛Ｐ（ｉ、ｊ）−Ｐ（ｉ−１、ｊ）｝＞α、かつ
｛Ｐ（ｉ、ｊ）−Ｐ（ｉ、ｊ−１）｝＞α、かつ
｛Ｐ（ｉ、ｊ）−Ｐ（ｉ＋１、ｊ）｝＞α、かつ
｛Ｐ（ｉ、ｊ）−Ｐ（ｉ、ｊ＋１）｝＞α
のとき、Ｑ（ｉ、ｊ）＝２５５
・ 上記以外のとき、Ｑ（ｉ、ｊ）＝０
とすることにより、図１２のような撮像物体の輪郭情報
を得ることができる。That is, if the pixel value at the coordinate position (i, j) on the matrix of FIG. 10 is P (i, j) and the pixel value of the contour information is Q (i, j), then {P ( i, j) -P (i-1, j)}> α, and {P (i, j) -P (i, j-1)}> α, and {P (i, j) -P (i + 1) , J)}> α, and {P (i, j) -P (i, j + 1)}> α, Q (i, j) = 255 ・ Other than the above, Q (i, j) = 0 Thus, the contour information of the imaged object as shown in FIG. 12 can be obtained.
【００９４】このような画像入力装置を用いてジェスチ
ャを取得する構成をとることで、非接触でジェスチャを
取得可能である。これを、操作者の立場で見ると、操作
対象機器の操作者は、ジェスチャを行うことで非接触に
機器の操作が行えるということである。By adopting a configuration for acquiring a gesture using such an image input device, it is possible to acquire the gesture without contact. From an operator's standpoint, this means that the operator of the operation target device can operate the device in a non-contact manner by making a gesture.
【００９５】車載機器応用を考えた場合、運転者が車載
機器を操作する場合、操作対象機器の操作者（つまり運
転者）は、車の運転中、あるいは、信号待ちなどのわず
かな間に機器を操作することとなる。このようなシチュ
エーションでは、機器操作のために機器やその操作パネ
ルの方に視線を移し、長期間、前方から視線を外すこと
は非常に危険であり、重大な事故を引き起こし兼ねな
い。Considering the application of on-vehicle equipment, when the driver operates the on-vehicle equipment, the operator (that is, the driver) of the operation-target equipment operates the equipment while driving the vehicle or while waiting for a signal. Will be operated. In such a situation, it is very dangerous to shift the line of sight to the device or its operation panel for operating the device, and to remove the line of sight from the front for a long period of time, which may cause a serious accident.
【００９６】しかし、ジェスチャを用いて非接触に機器
操作が可能となることで、例えば、カー・オーディオの
再生ボタンを探して押す、といったような、車載機器の
操作パネルの操作部分に視線を移して探すという手間が
必要なくなり、視線移動を行わずに機器操作が可能とな
る。However, since it becomes possible to operate the device in a non-contact manner by using a gesture, the line of sight is moved to the operation part of the operation panel of the in-vehicle device, such as searching for and pressing the play button of the car audio. This eliminates the need for searching and searching, and enables device operation without moving the line of sight.
【００９７】画像入力装置１００をジェスチャ取得部６
として用いて、本実施形態のインタフェース装置を構成
する場合，画像入力装置１００の設置位置というのは、
インタフェース装置の使い勝手、性能に大きく左右す
る。The image input device 100 is connected to the gesture acquisition unit 6
In the case of configuring the interface device of the present embodiment, the installation position of the image input device 100 is
It greatly affects the usability and performance of the interface device.
【００９８】運転者が運転中に安全に機器操作をするた
めには、運転者がハンドルに手を乗せたまま、あるいは
ほとんどハンドルから手を離さずに操作できるような場
所に、画像入力装置１００を配置するのがよい。例え
ば、図３（ａ）（ｂ）のように、ハンドルの中心部側
に、発光部１０１、受光部１０３がハンドルを持った手
の方を向くように配置するのが一例である。In order for the driver to operate the device safely while driving, the image input device 100 should be installed at a place where the driver can operate the device with his or her hand on the steering wheel or almost without removing the hand from the steering wheel. Should be placed. For example, as shown in FIGS. 3A and 3B, for example, the light emitting unit 101 and the light receiving unit 103 are arranged on the center side of the handle so as to face the hand holding the handle.
【００９９】また、カーブを切るときには通常操作はし
ないが、緩やかなカーブなど、わずかにハンドルを切っ
ているときに操作を行う場合はあり得る。すると、ハン
ドルの裏側で、直接ハンドルに取り付けてしまうことも
できる。そうすると、ハンドルの状態に関わらず、手と
カメラの位置関係（距離，向き）などに変化が無く、し
たがって、安定した検出性能を得ることができる。これ
らの場合、画像入力装置１００で取得する画像には、ハ
ンドルなどの部品が含まれていることが多いので、これ
らを省いて手の映し出されている領域のみを抽出する処
理を行う。また、このとき、画像を処理する場合、画像
の上下、左右方向の動きを求めるのは、斜め方向の動き
を検出するより、容易であるため、手の位置とその動き
方向に合わせて、カメラの向きを設置することが重要で
ある。Further, although the normal operation is not performed when turning the curve, there are cases where the operation is performed when the steering wheel is slightly turned, such as a gentle curve. Then, you can attach it directly to the handle behind the handle. Then, regardless of the state of the steering wheel, there is no change in the positional relationship (distance, orientation) between the hand and the camera, and therefore stable detection performance can be obtained. In these cases, since the image acquired by the image input apparatus 100 often includes components such as a handle, these are omitted and only the region where the hand is projected is extracted. Further, at this time, when the image is processed, it is easier to obtain vertical and horizontal movements of the image than to detect diagonal movements. It is important to set the orientation.
【０１００】以上説明したようにジェスチャ取得部６を
構成することで、図１４に示したように、運転者は、運
転姿勢を保ったまま（ハンドルに手を乗せたまま）、手
指などを用いたジェスチャ操作を行うことができる。従
来手法では、カー・オーディオなどを操作する際には、
中央のコンパネ部分にある操作ボタンなどにアクセスす
るために、運転姿勢を崩して身を乗り出す必要があった
が、本実施形態では、機器操作のために運転姿勢を崩す
ことなく機器操作が可能となる。これにより、運転中の
機器操作のための視線移動を無くすだけでなく、運転中
の姿勢移動も無くなるため、より運転中の機器操作にお
ける安全性が増すという効果がある。By configuring the gesture acquisition section 6 as described above, as shown in FIG. 14, the driver uses his / her fingers while keeping the driving posture (with his / her hand on the steering wheel). The gesture operation can be performed. In the conventional method, when operating car audio etc.,
In order to access the operation buttons and the like in the central control panel, it was necessary to collapse the driving posture and lean out, but in the present embodiment, it is possible to operate the device without disturbing the driving posture for operating the device. Become. This not only eliminates the movement of the line of sight for operating the device during driving, but also eliminates the movement of the posture during driving, which has the effect of further increasing the safety in operating the device during driving.
【０１０１】なお、ここで説明した設置位置はあくまで
一例であり、これに限定されるものではない。ハンドル
の中央から、運転者の方向を撮影するように設置しても
良いし、運転席と助手席の中央辺りのコンパネ部分や、
シフトレバー付近に設置しても構わない。The installation position described here is merely an example, and the present invention is not limited to this. It may be installed so that the direction of the driver is photographed from the center of the steering wheel, or the control panel part around the center of the driver's seat and the passenger seat,
It may be installed near the shift lever.
【０１０２】次に、ジェスチャ認識部７について説明す
る。Next, the gesture recognition section 7 will be described.
【０１０３】ジェスチャ認識部７は、ジェスチャ取得部
６で取得されたジェスチャがどのようなジェスチャであ
るのかを認識するものである。The gesture recognition section 7 recognizes what kind of gesture the gesture acquired by the gesture acquisition section 6 is.
【０１０４】具体的には、ジェスチャ取得部６で取得さ
れた手指などを撮像した画像（例えば、ここでは、画像
入力装置で取得した距離画像）をもとに、取得された手
指などの対象物がどのような形状としているのか、どの
ような位置にあるのか、どのような姿勢をしているか
（どちらを向いているか）、どのような動きをしたの
か、などの観点から認識・解析し、当該ジェスチャが、
あらかじめ決められたどのジェスチャに属するのかを認
識する。Specifically, based on an image obtained by picking up a finger or the like acquired by the gesture acquisition unit 6 (for example, here, a distance image acquired by an image input device), an object such as the acquired finger or the like is acquired. Recognize and analyze from the viewpoint of what kind of shape is, what position it is, what posture it is (which direction it is), what kind of movement it was made, etc. The gesture is
Recognize which gesture a predetermined gesture belongs to.
【０１０５】以下、車載応用における手指ジェスチャの
認識を例として、ジェスチャ認識部７の認識の方法の詳
細について述べる。Hereinafter, the recognition method of the gesture recognition unit 7 will be described in detail by taking recognition of a finger gesture in an in-vehicle application as an example.
【０１０６】図１３で示したように、ハンドルの奥側
に、ハンドルを持った手の画像をジェスチャ取得部６と
しての画像入力装置１００を用いて取得した場合、当該
取得した画像は、例えば、図１５、図１６で示すような
画像となる。As shown in FIG. 13, when an image of the hand holding the handle is obtained on the back side of the handle using the image input device 100 as the gesture obtaining section 6, the obtained image is, for example, The images are as shown in FIGS. 15 and 16.
【０１０７】図１５には、図１３のようにハンドルを握
った手であって、握りこぶしの部分が画像の右下部分に
撮像されている。また、図１６は、図１５の状態から、
人差し指を図１７で示すように伸ばすジェスチャを行っ
た際に撮像したもので、握りこぶしの部分から人差し指
が横方向に伸びていることが確認できる。In FIG. 15, the hand with the handle as shown in FIG. 13 and the fist portion is imaged in the lower right portion of the image. In addition, in FIG. 16, from the state of FIG.
The image is taken when the gesture of extending the index finger is performed as shown in FIG. 17, and it can be confirmed that the index finger extends laterally from the fist portion.
【０１０８】ジェスチャ認識部７では、図１５，図１６
に示したような画像から認識処理を行い、ハンドルを握
っている状態のジェスチャ（図１５）から、人差し指を
伸ばすジェスチャ（図１６）を行ったといったような認
識を行う。In the gesture recognition section 7, FIG. 15 and FIG.
The recognition processing is performed from the image as shown in FIG. 11, and the recognition as if the gesture of extending the index finger (FIG. 16) is performed from the gesture of holding the handle (FIG. 15).
【０１０９】次に、図１５、図１６のような画像から手
の形状を認識して、あらかじめ決められたジェスチャに
合致するかどうかを決定する方法の一例を説明する。Next, an example of a method of recognizing the shape of the hand from the images shown in FIGS. 15 and 16 and determining whether or not the gesture matches a predetermined gesture will be described.
【０１１０】この例のように、画像入力装置１００の設
置されている場所と、画像入力装置１００で撮像される
物体（この場合は、ハンドルに添えられた左手指による
ジェスチャ）が予め定められている場合は、手指のモデ
ル情報や、画像入力装置１００と撮像物体の位置関係な
どの知識を用いて、画像内に撮像された物体の特徴量を
幾つか求めることで、手指の形状や位置を認識すること
ができる。As in this example, the place where the image input device 100 is installed and the object imaged by the image input device 100 (in this case, the gesture by the left finger attached to the handle) are predetermined. If it is, the shape and position of the finger can be determined by obtaining some feature quantities of the object captured in the image using the model information of the finger and knowledge of the positional relationship between the image input device 100 and the imaged object. Can be recognized.
【０１１１】例えば、この例のような位置関係で対象物
を撮像した場合、撮像された物体は、ノイズ要素を除け
ば、「運転者の手」であると仮定することができる。し
かも、ハンドルを握っている時には、手がある場所は拘
束されているため、画像入力装置１００と手の位置関係
から、手が画像中のどの領域に撮像されるかを予め推測
することができる。For example, when the object is imaged in the positional relationship as in this example, it can be assumed that the imaged object is the "driver's hand" except for noise elements. Moreover, since the place where the hand is held is restrained when the handle is held, it is possible to preliminarily estimate in which region of the image the hand is imaged from the positional relationship between the image input device 100 and the hand. .
【０１１２】図１５では、ハンドルを握った際の手部分
を撮像したものだが、このようにハンドルを保持してい
る際には、画面の右下部分のみに手がくる。このような
知識が予め分かっているため、図１５のように、画面の
右下部分のみに特定の面積の物体が得られた場合は、図
１３に示したようなハンドルを握った手のこぶし部分が
存在すると認識することができる。In FIG. 15, the image of the hand portion when the handle is grasped is taken, but when the handle is held in this way, the hand comes only to the lower right portion of the screen. Since such knowledge is known in advance, when an object having a specific area is obtained only in the lower right part of the screen as shown in FIG. 15, the fist of the hand holding the handle as shown in FIG. It can be recognized that the part exists.
【０１１３】また、図１４のような手指ジェスチャが行
われることが分かっていれば、図１６のような画像が得
られた場合、先に得られた「ハンドルを握った手のこぶ
し」部分以外に物体が存在していることと、その際に、
画像入力装置１００と対象物である手指の位置関係が既
知であることから、存在しているものは、「指」である
ことが分かる。つまり、図１７のように、指が伸ばされ
た状態であると認識することが可能である。さらに、こ
の「指」部分の位置を見ることで、これが人差し指であ
るのか、あるいは、他の指であるのかといった細かな認
識や、「指」部分の幅を調べることで、伸ばされている
指が１本なのか、あるいは複数本なのか、といったこと
まで認識することも可能である。Further, if it is known that the finger gesture as shown in FIG. 14 is performed, when the image as shown in FIG. 16 is obtained, other than the previously obtained “fist of the hand holding the handle” portion. The existence of an object in the
Since the positional relationship between the image input device 100 and the finger as an object is known, it is known that the existing one is a “finger”. That is, it is possible to recognize that the finger is in a stretched state as shown in FIG. Furthermore, by looking at the position of this "finger" part, it is possible to make a detailed recognition as to whether this is the index finger or another finger, and by checking the width of the "finger" part, the extended finger It is also possible to recognize whether there is one or more than one.
【０１１４】さらに、図１８に示すように、図１６にお
ける指先点を特徴点として得ることで、指の出されてい
る位置を認識することができる。Further, as shown in FIG. 18, the fingertip point in FIG. 16 is obtained as a feature point, so that the position where the finger is extended can be recognized.
【０１１５】指先の特徴点の算出方法は、色々考えられ
るが、その処理動作の一例を、図１９に示すフローチャ
ートを参照しながら説明する。There are various methods for calculating the characteristic points of the fingertip, and an example of the processing operation will be described with reference to the flowchart shown in FIG.
【０１１６】まず、手指が伸ばされていない状態におけ
る「ハンドルを握った手のこぶし」部分の範囲を計算し
ておく（ステップＳ１）。具体的には、上で説明したよ
うに、例えば、画像内の右下部分にのみ撮像物が特定の
割合である場合に、それを「ハンドルを握った手のこぶ
し」部分であるとみなし、図２０に示すように、その物
体を囲む最小矩形を算出する。その矩形の範囲（Ｘ１，
Ｙ１）−（Ｘ２，Ｙ２）を「ハンドルを握った手のこぶ
し」部分の範囲とする。First, the range of the "fist of the hand holding the handle" in the state where the fingers are not extended is calculated (step S1). Specifically, as described above, for example, when the imaged object has a specific proportion only in the lower right part of the image, it is regarded as a “fist of the hand holding the handle”, As shown in FIG. 20, the minimum rectangle surrounding the object is calculated. The range of the rectangle (X1,
Let Y1)-(X2, Y2) be the range of the "fist of the hand holding the handle".
【０１１７】次に、現在の撮像画像における物体が、ス
テップＳ１で求めた範囲外に存在するか判定する（ステ
ップＳ２）。範囲外に存在する場合には、手指における
ジェスチャが行われているとみなす。具体的には、撮像
画像における物体を囲む最小矩形を算出し、その矩形の
範囲の一部が先に求めた範囲の外部に存在するかどうか
を認識する。この際、撮像系のノイズ要素を加味し、以
下のような方法を用いる。Next, it is determined whether the object in the current picked-up image exists outside the range obtained in step S1 (step S2). If it is out of the range, it is considered that the gesture with the finger is being performed. Specifically, the minimum rectangle surrounding the object in the captured image is calculated, and it is recognized whether or not a part of the range of the rectangle exists outside the previously obtained range. At this time, the following method is used in consideration of the noise element of the imaging system.
【０１１８】１） 撮像画像における物体を囲む最小矩
形を算出する。図２１のように、この矩形領域の左上座
標は（Ｘ１’，Ｙ１’）、右下座標が（Ｘ２’，Ｙ
２’）になったとする。1) The minimum rectangle surrounding the object in the captured image is calculated. As shown in FIG. 21, the upper left coordinates of this rectangular area are (X1 ′, Y1 ′), and the lower right coordinates are (X2 ′, Y).
2 ').
【０１１９】２） 閾値ＴＨ１（任意の正整数）を設定
する。2) Threshold TH1 (arbitrary positive integer) is set.
【０１２０】３） 以下の条件のうち、少なくとも１つ
を満たす場合、現在の撮像画像における物体が、ステッ
プＳ１で求めた範囲外に存在すると判断する。3) If at least one of the following conditions is satisfied, it is determined that the object in the current captured image exists outside the range obtained in step S1.
【０１２１】
(ア) Ｘ１−Ｘ１’＞ＴＨ１
(イ) Ｙ１―Ｙ１’＞ＴＨ１
現在の撮像画像における物体が、ステップＳ１で求めた
範囲外に存在すると判断された場合は、その部分が指部
分であるとみなして、図２１に示したように、その部分
の最左点を算出する（ステップＳ３）。(A) X1-X1 '> TH1 (b) Y1-Y1'> TH1 If it is determined that the object in the current captured image is outside the range obtained in step S1, that part is the finger part. 21 is calculated, the leftmost point of the portion is calculated (step S3).
【０１２２】ステップ３で算出した最左点から、閾値Ｔ
Ｈ２（任意の正整数）だけ右に移動した点を指先特徴点
とする（ステップＳ４）。この際、閾値ＴＨ１、ＴＨ２
の値は、指の大きさや動きの量などを考慮して予め定め
られたものである。From the leftmost point calculated in step 3, the threshold value T
A point moved to the right by H2 (an arbitrary positive integer) is set as a fingertip feature point (step S4). At this time, the thresholds TH1 and TH2
The value of is determined in advance in consideration of the size of the finger and the amount of movement.
【０１２３】以上のような流れで指先特徴点を算出する
ことが可能である。なお、ここで説明した手法はあくま
でも一例であり、これに限定されるものではない。この
算出方法に別手法を用いても、本発明の主旨にはなんら
影響はなく、色々な手法を取ることが可能である。可能
な方法の幾つかについては、後ほど簡単に説明する。The fingertip feature points can be calculated in the above-described flow. The method described here is merely an example, and the present invention is not limited to this. Even if another method is used for this calculation method, there is no influence on the gist of the present invention, and various methods can be adopted. Some of the possible methods are briefly described later.
【０１２４】また、ここでは、指先の特徴点を取る手法
に限定して説明したが、特徴点の算出は、指先に限られ
るものではなく、ジェスチャの認識に必要なあらゆる特
徴点を考えることができる。例えば、図２２で示された
ように、指の付け根の特徴点を合わせて得ることで、指
の差している方向を得ることが可能となる。このよう
に、複数の特徴点を効果的に取得することで、指の形状
や位置だけではなく、指先が向いている方向などの情報
をも得ることが可能である。Also, here, the description has been limited to the method of taking the feature point of the fingertip, but the calculation of the feature point is not limited to the fingertip, and any feature point necessary for recognition of the gesture may be considered. it can. For example, as shown in FIG. 22, by obtaining the feature points of the base of the finger together, it is possible to obtain the direction in which the finger is pointing. By effectively acquiring a plurality of feature points in this way, it is possible to obtain not only the shape and position of the finger, but also information such as the direction in which the fingertip is facing.
【０１２５】なお、ここで説明した指のジェスチャの認
識方法は一例でこれに限定されるものではない。例え
ば、指部分の上部のエッジ検出をして、ハフ変換などを
もちいることで、その傾きを検出することでもジェスチ
ャを認識することができる。The method of recognizing the finger gesture described here is an example, and the present invention is not limited to this. For example, by detecting the edge of the upper part of the finger portion and using Hough transform or the like, it is possible to recognize the gesture by detecting the inclination.
【０１２６】さらに、画像入力装置１００を使用した場
合、以上の説明で取得した形状、位置、向きなどは、２
次元的な情報に留まらず、３次元的な情報として得られ
るという特徴がある。Furthermore, when the image input device 100 is used, the shape, position, orientation, etc. acquired in the above description is 2
There is a feature that it is not limited to three-dimensional information and can be obtained as three-dimensional information.
【０１２７】ジェスチャ取得部６の説明のところで述べ
たが、画像入力装置１００は、従来のＣＣＤカメラなど
と異なり、距離情報を含む画像を取得することが可能で
ある。図１５、図１６、図２３などで示した画像は、画
像入力装置１００にて取得した画像の例である。このよ
うな画像は、通常のカメラの画像と異なり距離情報を含
んだ画像として得られるため、距離画像と呼ばれる。As described in the description of the gesture acquisition section 6, the image input device 100 can acquire an image including distance information, unlike a conventional CCD camera or the like. The images shown in FIGS. 15, 16, 23, etc. are examples of images acquired by the image input device 100. Such an image is referred to as a distance image because it is obtained as an image including distance information unlike an image captured by a normal camera.
【０１２８】距離画像は、奥行き情報を有する３次元画
像で、例えば、ｘ軸（横）方向６４画素、ｙ軸（縦）方
向６４画素、ｚ軸（奥行き）方向２５６階調の画像にな
っている。図１５、図１６、図２３などは、距離画像の
奥行き値、すなわちｚ軸方向の階調をグレースケールで
表現したもので、この場合、色が黒に近いほど距離が近
く、白に近くなるほど距離が遠いことを示している。ま
た、色が完全に白のところは、画像がない、あるいはあ
っても遠方でないのと同じであることを示している。な
お、距離画像の表現方法はこれに限定されるものではな
い。画像入力装置１００からの絶対的な距離値が格納さ
れていても構わないし、相対的な値の場合もある。ま
た、距離に準じる奥行き情報を表す別の値でも構わな
い。また、格納方法も、上述した２次元行列の形だけで
はなく、他の方法を取ることも可能である。The range image is a three-dimensional image having depth information, and is, for example, an image having 64 pixels in the x-axis (horizontal) direction, 64 pixels in the y-axis (vertical) direction, and 256 gradations in the z-axis (depth) direction. There is. 15, FIG. 16, FIG. 23, and the like represent depth values of the range image, that is, gray scales in the z-axis direction in gray scale. In this case, the closer the color is to black, the closer the distance is, and the closer to white the color is. It indicates that the distance is far. Also, where the color is completely white, it means that there is no image or even if there is no image, it is not far away. The method of expressing the distance image is not limited to this. The absolute distance value from the image input device 100 may be stored, or may be a relative value. Also, another value representing depth information according to the distance may be used. Further, the storage method is not limited to the above-described two-dimensional matrix shape, and other methods can be adopted.
【０１２９】図２３の説明に戻る。図２３は、図１６と
同様に、ハンドルに掛けた手から指を伸ばすジェスチャ
を行った際に撮像したものである。図１６と図２３の指
先部分を比較すると、図１６では、指先部分の濃淡値が
濃く、手のこぶし部分と濃淡値にあまり差が無いことが
分かる。一方、図２３では、指先部分の濃淡値は薄く、
手のこぶし部分と値が明らかに異なる。これらの情報か
ら、図１６と図２３では、指先と手のこぶし部分の相対
的な位置関係が異なり、図１６の場合では、指先が画像
入力装置１００から見て手のこぶし部分とほぼ同等の距
離にあるのに対し、図２３の場合には、指先が画像入力
装置１００から見て手のこぶし部分よりもかなり遠くの
距離にあるといえる。以上から、図２３の場合の方が、
図１６の場合よりも、画像入力装置１００から見て、よ
り遠くに指を伸ばしていると認識することができる。Returning to the explanation of FIG. Similar to FIG. 16, FIG. 23 is an image captured when a gesture of extending a finger from a hand hung on a handle is performed. Comparing the fingertip portions of FIG. 16 and FIG. 23, it can be seen that the gray value of the fingertip portion is high in FIG. On the other hand, in FIG. 23, the gray value of the fingertip portion is light,
The value is obviously different from the fist part of the hand. From these information, the relative positional relationship between the fingertip and the fist portion of the hand is different between FIG. 16 and FIG. 23, and in the case of FIG. In contrast to the distance, in the case of FIG. 23, it can be said that the fingertip is far from the fist part of the hand when viewed from the image input apparatus 100. From the above, in the case of FIG. 23,
As compared with the case of FIG. 16, it can be recognized that the finger is extended farther from the image input device 100.
【０１３０】以上のように、画像入力装置１００をジェ
スチャ取得部６として用いた場合、ジェスチャの３次元
的な情報が取得可能となり、従って、３次元的なジェス
チャの認識が可能となるという特徴がある。As described above, when the image input device 100 is used as the gesture acquisition unit 6, three-dimensional information of the gesture can be acquired, and thus the three-dimensional gesture can be recognized. is there.
【０１３１】以上で説明したジェスチャの認識手法は、
あくまで、一例である。この手法以外にも、例えば、指
をのばした本数による形状の違いを認識する場合、伸ば
した指が横切るであろう領域を設定し、横切っている指
の数を数えることによって形状の違いを認識することが
できる。別の方法として、手の形状の輪郭線を考える
と、指先は山状に出っ張っており、指の間は谷状にへこ
んでいる、それらの輪郭線形上を解析して、伸ばしてい
る指の数を知ることができる。指先がカメラに向いてい
るような場合は、指先はカメラへの距離が周りに比べ近
い点となり、反射光量が極大となる。その極大点の数を
カウントすることで、カメラに向いている指の数を検出
することができる。自由な手の形状を認識するために、
パタンマッチングという技術を使うことができる。これ
はあらかじめ認識したい形状をパタンとして登録してお
き、入力された形状との相違度を計算し、近い形状があ
ればそれが入力されたと判断するものである。相違度の
計算の仕方としては、単純にパタンを重ね合わせ、その
重なり具合を計算するものから、特徴空間へ写像し、そ
こでの距離で判断する方法もある。The gesture recognition method described above is
This is just an example. In addition to this method, for example, when recognizing the difference in shape depending on the number of fingers extended, set the area where the extended finger will cross and count the number of crossing fingers to determine the difference in shape. Can be recognized. As another method, considering the contour line of the shape of the hand, the fingertips are protruding in a mountain shape, and the valleys are dented between the fingers. You can know the number. When the fingertip is facing the camera, the fingertip is closer to the camera than the surroundings, and the amount of reflected light is maximum. By counting the number of the maximum points, the number of fingers facing the camera can be detected. In order to recognize the free hand shape,
A technique called pattern matching can be used. In this method, the shape to be recognized is registered in advance as a pattern, the degree of difference from the input shape is calculated, and if there is a close shape, it is determined that it has been input. As a method of calculating the dissimilarity, there is also a method of simply overlapping patterns and calculating the degree of overlap, mapping to a feature space, and making a determination based on the distance there.
【０１３２】形状の認識をする場合、精度よく行おうと
すればするほど、処理に時間がかかる。従って、入力さ
れる画像のフレーム毎に認識処理を行うと、処理コスト
が増大してしまう。そこで、形状を提示する場合は、操
作者が形状を提示して一定時間、画像がほぼ静止してい
る場合に、認識処理を開始するという方法を取ることも
可能である。これは操作者が意志を持って形状を出す場
合は、静止させるという動作は自然であるからである。
また、このことにより、静止状態を見つけたときのみ認
識処理を行えばよいから、計算コストを下げることがで
きる。また、ジェスチャを提示する意志無しに、動かし
た動作は、それが静止しない限り、ジェスチャ提示と誤
認識してしまうことがない。When recognizing a shape, the more accurate the shape, the longer the processing. Therefore, if the recognition process is performed for each frame of the input image, the processing cost increases. Therefore, in the case of presenting the shape, it is also possible to adopt a method of starting the recognition processing when the operator presents the shape and the image is almost stationary for a certain period of time. This is because, when the operator intentionally produces the shape, it is natural for the operator to make it stationary.
Further, this makes it possible to reduce the calculation cost because the recognition process only needs to be performed when the stationary state is found. Also, a motion that is moved without the intention to present a gesture will not be erroneously recognized as a gesture presentation unless it is stationary.
【０１３３】以上では、形状の認識について説明した。
次に、動きを伴ったジェスチャの認識に関して説明す
る。動きを伴ったジェスチャは、以上で説明した形状の
認識における認識結果の時系列的な変化を調べることで
認識することができる。例えば、ある時点で、図１５の
ような画像から、握りこぶしの手形状が存在する、つま
り、ハンドルを握っている手がある、と認識され、次の
時点で、図１６のような画像から、人差し指が伸びた手
形状があるという認識結果が得られた場合、人差し指を
伸ばす動きを伴ったジェスチャが行われたと認識するこ
とができる。また、図１６、図２３、図１６といった画
像が時系列的に得られた場合、その期間に、人差し指を
画面奥方向に伸ばして、戻すという、一連の動きを伴っ
たジェスチャが行われたと認識することができる。同様
に、図１６、図２４、図１６といった画像が時系列的に
得られた場合、その期間に、人差し指を画面上方向に上
げて、下げるという、一連の動きを伴ったジェスチャが
行われたと認識することができる。このように、動きを
伴ったジェスチャの認識についても、３次元的な動きと
して認識可能である。The shape recognition has been described above.
Next, recognition of gestures accompanied by movement will be described. The gesture accompanied by the movement can be recognized by examining the time series change of the recognition result in the shape recognition described above. For example, at some point, it is recognized from the image shown in FIG. 15 that there is a fisted hand shape, that is, there is a hand holding the handle, and at the next point in time, from the image shown in FIG. When the recognition result that the index finger has the extended hand shape is obtained, it can be recognized that the gesture involving the motion of extending the index finger is performed. In addition, when the images shown in FIGS. 16, 23, and 16 are obtained in time series, it is recognized that a gesture involving a series of movements of extending the forefinger in the depth direction of the screen and returning during that period was performed. can do. Similarly, when images such as FIGS. 16, 24, and 16 are obtained in time series, it is said that a gesture involving a series of movements of raising and lowering the index finger in the screen is performed during that period. Can be recognized. In this way, recognition of a gesture accompanied by a motion can be recognized as a three-dimensional motion.
【０１３４】また、動きの認識は、このように形状の認
識を伴わなくても可能である。先に説明したような特徴
点の時系列変化を追跡することでも得ることができる。
例えば、画像入力装置１００を用いた場合、画像には背
景は映らず、手の部分のみが映っているので、この画像
から手の輪郭を抽出して、さらに、その輪郭から重心計
算を行えば、手の位置が求められる。その重心の軌跡を
追跡することで基本的な動きを検出することが可能であ
る。手首付近はほとんど動かさず、指先だけを動かすよ
うな場合には、手全体の重心計算を行うと、検出される
動きの精度が悪いことがある。このような場合は、手の
形状を細かく考慮した処理を行うことが考えられる。例
えば、画像入力装置１００に向かって指を伸ばしている
場合、指の先端はカメラに最も近く、したがって反射光
が最も大きく、画像中で極大点となっていることが多
い。このような点を検出し、それらの最も近いもの、あ
るいは極大点の平均などを求めることで、手全体の重心
点を求めるのに比べ、実際の動きに対し感度のよい評価
値として、位置情報を得ることができる。この場合、複
数の極大点の画像フレーム間の対応関係などを求めてお
くと、画像の端のほうに存在していた極大点が画像外に
出てしまった場合などの位置の挙動がおかしくなるのを
防ぐことができる。いずれにしろ，得られた手形状デー
タから、位置の情報を取り出し，その軌跡を解析するこ
とによって動きジェスチャを検出することができる。通
常のＣＣＤカメラを使った場合でも色情報などにより、
手の形状がきちんと切り出すことができれば、そこから
位置情報を取り出すことが可能である。Further, the movement can be recognized without the shape recognition. It can also be obtained by tracking the time series change of the feature points as described above.
For example, when the image input device 100 is used, the background does not appear in the image, and only the hand portion appears. Therefore, if the contour of the hand is extracted from this image and the center of gravity is calculated from the contour, , The position of the hand is required. It is possible to detect a basic movement by tracing the locus of the center of gravity. When the center of gravity of the entire hand is calculated in the case where the fingertip is moved with little movement near the wrist, the accuracy of the detected movement may be poor. In such a case, it is conceivable to perform processing that takes the shape of the hand into consideration. For example, when the finger is extended toward the image input apparatus 100, the tip of the finger is closest to the camera, and therefore the reflected light is the largest, and is often the maximum point in the image. By detecting such points and finding the closest one of them, or the average of the maxima, etc. Can be obtained. In this case, if the correspondence between the image frames of a plurality of local maxima is obtained, the behavior of the position becomes strange when the local maxima existing at the edges of the image go out of the image. Can be prevented. In any case, the motion gesture can be detected by extracting the position information from the obtained hand shape data and analyzing the trajectory thereof. Depending on the color information, even when using a normal CCD camera,
If the shape of the hand can be cut out properly, it is possible to extract the position information from it.
【０１３５】また、時系列的に並んだ任意の２枚の画像
の差分画像を得ることでも動きの認識を行うことができ
る。差分画像を計算した場合、対象物に動きが無い部分
は差分画像では値が無くなり、動いている部分のみの値
が得られる。また、その差分画像内の値の正負によっ
て、動いている方向を得ることが可能である。この情報
を用いることで、どのような方向にジェスチャが行われ
たかを知ることができる。さらに細かい動き方向を知る
ためには、オプティカル・フローと呼ばれる手法を用い
ることができる。この手法は、基本的には、画像を複数
の領域に分割し、それら領域の時間変化による動きの軌
跡を得るものである。Also, the motion can be recognized by obtaining a difference image of arbitrary two images arranged in time series. When the difference image is calculated, the value does not exist in the difference image in the part where the object does not move, and the value of only the moving part is obtained. Further, it is possible to obtain the moving direction by the positive / negative of the value in the difference image. By using this information, it is possible to know in what direction the gesture was performed. In order to know the finer motion direction, a method called optical flow can be used. This method basically divides an image into a plurality of regions and obtains a locus of movement of the regions due to a temporal change.
【０１３６】以上で説明した動きの認識手法は、あくま
でも一例であり、これらに限定されるものではない。他
の手法をも自由に用いることができる。また、以上で
は、形状、位置、向き、動きの認識の手法について説明
したが、ジェスチャは、これらだけによるものではな
く、上記以外のジェスチャの認識を行う場合もある。The motion recognition method described above is merely an example, and the present invention is not limited to these. Other techniques can also be used freely. Further, although the method of recognizing the shape, the position, the direction, and the movement has been described above, the gesture is not limited to these, and a gesture other than the above may be recognized.
【０１３７】＜制御部の説明＞次に、制御部２につい
て、より詳細に説明する。<Description of Control Unit> Next, the control unit 2 will be described in more detail.
【０１３８】制御部２は、ジェスチャ認識部７で認識さ
れたジェスチャの内容をもとに、操作メニュー操作部３
と通知部４とを制御し、特に、操作メニュー操作部３で
現在どのメニュー項目を操作対象として選択しているか
をユーザに通知するために、操作メニュー操作部３での
操作対象の切替タイミングと通知部４の動作を同期させ
るよう制御を行う点に特徴がある。The control unit 2 operates the operation menu operation unit 3 based on the content of the gesture recognized by the gesture recognition unit 7.
And the notification unit 4 are controlled, and in particular, in order to notify the user which menu item is currently selected as the operation target in the operation menu operation unit 3, the switching timing of the operation target in the operation menu operation unit 3 and The feature is that control is performed so as to synchronize the operation of the notification unit 4.
【０１３９】１）制御部の状態遷移と動作
ジェスチャ認識部７で認識されたジェスチャの種類によ
り変化する制御部２の状態遷移を図２５に示す。1) State Transition of Control Unit and Action FIG. 25 shows the state transition of the control unit 2 which changes depending on the type of gesture recognized by the gesture recognizing unit 7.
【０１４０】ここでは、ユーザから入力される指示とし
て、操作開始、メニュー操作といった操作指示と、メニ
ュー選択といった選択指示があるものとする。Here, it is assumed that the user's instructions include operation instructions such as operation start and menu operation, and selection instructions such as menu selection.
【０１４１】まず、ジェスチャ認識部２でジェスチャが
認識されていない（取得ジェスチャ無しの）場合、また
は、操作開始ジェスチャとして登録されている以外のジ
ェスチャが得られた場合、制御部２の状態は、「スリー
プ状態」にある（初期状態）。「スリープ状態」では、
ユーザ（機器操作者）が機器操作の意志がないとみな
し、後述する操作メニュー操作部３に対し、機器を休止
状態にするような制御を行う。「スリープ状態」とは、
操作対象機器の電源がオフになっているときの状態とも
云える。First, if the gesture recognition unit 2 does not recognize the gesture (no acquisition gesture), or if a gesture other than the gesture registered as the operation start gesture is obtained, the state of the control unit 2 is as follows. It is in "sleep state" (initial state). In "sleep state",
Considering that the user (device operator) has no intention of operating the device, the operation menu operation unit 3 described later is controlled to put the device in the hibernation state. What is a "sleep state"?
It can also be said to be the state when the power of the operation target device is off.
【０１４２】「スリープ状態」において、操作開始ジェ
スチャが認識された場合、機器操作者が操作を開始した
とみなし、「メニュー準備状態」に状態を遷移する。When the operation start gesture is recognized in the "sleep state", it is considered that the device operator has started the operation, and the state is changed to the "menu preparation state".
【０１４３】「メニュー準備状態」では、操作メニュー
操作部３に、操作メニューの準備を行うように促す。ま
た、必要ならば、通知部４に、適宜制御情報を提供す
る。In the "menu preparation state", the operation menu operation section 3 is urged to prepare the operation menu. Further, if necessary, the notification unit 4 is appropriately provided with control information.
【０１４４】その際、操作開始ジェスチャは１種類とは
限らない。ジェスチャ認識部２によって認識されたジェ
スチャが、操作開始ジェスチャとして登録された複数種
類のジェスチャのどれかに含まれている場合に操作開始
ジェスチャであるとみなされる。At this time, the operation start gesture is not limited to one type. When the gesture recognized by the gesture recognition unit 2 is included in any of the plurality of types of gestures registered as the operation start gesture, it is considered to be the operation start gesture.
【０１４５】また、操作開始ジェスチャとみなされたジ
ェスチャの種類に応じて、「メニュー準備状態」に遷移
した際の動作が変化するようにしてもよい。すなわち、
操作開始ジェスチャとして、例えば、「ハンドルを握っ
た状態から手指の人差し指を伸ばす」ジェスチャ（以
降、ジェスチャＡと呼ぶ）と、「ハンドルを握った状態
から手指の４本の指を一斉に伸ばす」ジェスチャ（以
降、ジェスチャＢと呼ぶ）がジェスチャ認識部２によっ
て操作開始ジェスチャと認識されるべく登録されていた
とする。「メニュー準備状態」において、ジェスチャＡ
の認識が行われた場合、通常のメニュー（例えば、図３
に示すような操作対象機器が持つ操作メニュー）に基づ
き操作するための制御を、操作メニュー操作部３、通知
部４に対し行うが、ジェスチャＢが得られた場合、「シ
ョートカット・メニュー」（図４参照）に基づき操作す
るための制御を、操作メニュー操作部３、通知部４に対
し行う、といったようにである。Further, the operation at the time of transition to the "menu preparation state" may be changed according to the type of gesture regarded as the operation start gesture. That is,
As the operation start gesture, for example, a gesture of “extending the forefinger of the finger from the state of grasping the handle” (hereinafter referred to as gesture A) and a gesture of “extending all four fingers of the finger from the state of grasping the handle” It is assumed that (hereinafter, referred to as gesture B) is registered by the gesture recognition unit 2 so as to be recognized as an operation start gesture. Gesture A in "menu ready"
If the recognition is performed, the normal menu (for example, FIG.
The operation menu operation unit 3 and the notification unit 4 are controlled to operate based on the operation menu of the operation target device as shown in FIG. 2, but when the gesture B is obtained, the “shortcut menu” (FIG. 4), the operation menu operation unit 3 and the notification unit 4 are controlled.
【０１４６】「メニュー準備状態」において、操作者に
より操作開始ジェスチャが保たれている、あるいは、新
たに行われた場合、「メニュー準備状態」のまま状態を
保持する。In the "menu preparation state", when the operation start gesture is held by the operator or is newly performed, the state is kept as "menu preparation state".
【０１４７】メニュー操作ジェスチャが得られた場合に
は、状態を「メニュー操作状態」に移行する。その他の
ジェスチャが得られた場合には、状態を「スリープ状
態」に移行する。When the menu operation gesture is obtained, the state is shifted to the "menu operation state". When another gesture is obtained, the state is changed to the “sleep state”.
【０１４８】「メニュー操作状態」では、操作メニュー
操作部３に、取得したジェスチャの種類に対応した操作
メニューに対する各種操作を行うように促す。また、必
要ならば、通知部４に、適宜制御情報を提供する。この
際にも、前述したのと同様に、「メニュー操作状態」に
移行した際に使われたメニュー操作ジェスチャが複数あ
ることもあるし、その複数のジェスチャそれぞれで挙動
が変わることもある。In the "menu operation state", the operation menu operation unit 3 is urged to perform various operations on the operation menu corresponding to the acquired gesture type. Further, if necessary, the notification unit 4 is appropriately provided with control information. In this case as well, as described above, there may be a plurality of menu operation gestures used when shifting to the “menu operation state”, and the behavior may change for each of the plurality of gestures.
【０１４９】例えば、図２６（ａ）に示すように、「ハ
ンドルを握った状態から手指の人差し指を伸ばす」ジェ
スチャで、人差し指の位置（姿勢）が画像入力装置１０
０に近い場合のジェスチャ（以降、ジェスチャＣと呼
ぶ）、図２６（ｃ）に示すように、「ハンドルを握った
状態から手指の人差し指を伸ばす」ジェスチャで、人差
し指の位置（姿勢）が撮像系から遠い場合（以降、ジェ
スチャＤと呼ぶ）、図２６（ｂ）に示すように、ジェス
チャＣとジェスチャＤの中間位置に人差し指があるジェ
スチャ（以降、ジェスチャＥと呼ぶ）によって、操作対
象を切り替える速度（切替速度）を変えることができ
る。なお、操作対象の切替速度を変更する際には、通知
部４に対しても、通知部４での動作が当該切替速度に同
期するように制御を行う。For example, as shown in FIG. 26A, the position (posture) of the index finger is determined by the "stretch the index finger of the finger from the state of grasping the handle" gesture.
A gesture in the case of being close to 0 (hereinafter, referred to as gesture C), as shown in FIG. 26C, is a gesture of "extending the index finger of the finger from the state of grasping the handle", and the position (posture) of the index finger is the imaging system. 26 (b), the speed at which the operation target is switched depending on the gesture in which the index finger is located at an intermediate position between gesture C and gesture D (hereinafter referred to as gesture E), (Switching speed) can be changed. When the switching speed of the operation target is changed, the notification unit 4 is also controlled so that the operation of the notification unit 4 is synchronized with the switching speed.
【０１５０】例えば、いま、ユーザが選択可能なメニュ
ー項目として、「再生」、「停止」、「スキップ」、
「逆スキップ」の４項目があったとすると、ジェスチャ
Ｃが行われた際には、これらのメニュー項目から、操作
対象を「再生→停止→スキップ→逆スキップ→再生→・・
・」というように切り替える速度が遅くなるように制御
し、操作に不慣れな操作者でも操作しやすくする。ジェ
スチャＤが行われた際には、この切替速度が早くなるよ
う制御し、操作に慣れた操作者が操作に時間がかかり煩
わしく感じるのを防ぐ、ジェスチャＥの場合は、その中
間的な切替速度にする、というものである。For example, as the menu items that the user can select now, "play", "stop", "skip",
Assuming that there are four items of "reverse skip", when the gesture C is performed, the operation target is selected from these menu items as "play → stop → skip → reverse skip → play → ...
・ ”Is controlled so that the switching speed becomes slower so that even an operator unfamiliar with the operation can easily perform the operation. When the gesture D is performed, the switching speed is controlled so as to be fast to prevent an operator who is accustomed to the operation from feeling time-consuming and annoying. In the case of the gesture E, an intermediate switching speed. It is said to be.
【０１５１】「メニュー操作状態」において、操作者に
よりメニュー操作ジェスチャが保たれている、あるい
は、新たに行われた場合、「メニュー操作状態」のまま
状態を保持する。メニュー選択ジェスチャが得られた場
合には、状態を「メニュー選択状態」に移行する。その
他のジェスチャが得られた場合には、状態を「メニュー
準備状態」に移行する。In the "menu operation state", when the operator holds the menu operation gesture or when the gesture is newly performed, the state is kept as "menu operation state". When the menu selection gesture is obtained, the state is shifted to the “menu selection state”. When another gesture is obtained, the state is changed to the "menu preparation state".
【０１５２】「メニュー選択状態」では、操作メニュー
操作部３に、操作対象のメニュー項目に対し選択が行わ
れたことを通知し、当該選択された操作対象のメニュー
項目に対応する動作を行うように促す。また、必要なら
ば、通知部４に、適宜制御情報を提供する。これについ
ても同様に、認識ジェスチャの種類により制御方法が変
化することがあり得る。In the "menu selection state", the operation menu operation section 3 is notified that the menu item to be operated is selected, and the operation corresponding to the selected menu item to be operated is performed. Prompt to. Further, if necessary, the notification unit 4 is appropriately provided with control information. In this case as well, the control method may change depending on the type of recognition gesture.
【０１５３】「メニュー選択状態」において、メニュー
操作ジェスチャが得られた場合には、状態を「メニュー
操作状態」に移行する。その他のジェスチャが得られた
場合には、状態を「メニュー準備状態」に移行する。When the menu operation gesture is obtained in the "menu selection state", the state is shifted to the "menu operation state". When another gesture is obtained, the state is changed to the "menu preparation state".
【０１５４】以上が、制御部２における状態遷移と、各
状態における動作の説明である。The above is the description of the state transition in the control unit 2 and the operation in each state.
【０１５５】なお、以上では、遷移可能な状態を具体的
に４つ挙げて説明したが、これに限定されるものではな
い。必要ならば、遷移状態は自由に増やしたり減らした
りすることができる。また、各状態に遷移するためのジ
ェスチャ内容を、操作開始ジェスチャ、メニュー操作ジ
ェスチャ、メニュー選択ジェスチャの３通りのジェスチ
ャを例として説明したが、これに関しても、これに限定
されるものではない。自由に定義して用いることができ
る。さらに、状態遷移の仕方に関しても、図２５で説明
したもののみに限定されるものではない。これらは、あ
くまでも、説明のための一形態である。In the above description, four transitionable states are specifically described, but the present invention is not limited to this. The transition states can be increased or decreased as desired. Further, the gesture content for making a transition to each state has been described by taking the three types of gestures of the operation start gesture, the menu operation gesture, and the menu selection gesture as an example, but the present invention is not limited to this. It can be freely defined and used. Furthermore, the method of state transition is not limited to that described with reference to FIG. These are merely forms for explanation.
【０１５６】なお、上記実施形態では、指示入力部１と
してユーザのジェスチャから操作開始、メニュー操作、
メニュー操作の３種類の指示入力を行う場合を説明した
が、これら指示指示入力は、ジェスチャによるもものと
は限らない。例えば、指示入力部１が前述したように、
ボタンにより構成されているときは、操作開始、メニュ
ー操作、メニュー操作の３種類のボタンを予め設けてお
き、制御部２は、上記したような状態遷移を行うように
しても全く同様である。It should be noted that in the above embodiment, the operation input, menu operation, from the user's gesture is performed as the instruction input unit 1.
Although the case of performing three types of instruction input for menu operation has been described, these instruction input are not limited to gestures. For example, as the instruction input unit 1 described above,
When it is configured by buttons, three kinds of buttons of operation start, menu operation, and menu operation are provided in advance, and the control unit 2 performs the state transition as described above, which is exactly the same.
【０１５７】＜制御部・操作メニュー操作部・通知部の
動作＞それでは、制御部２、操作メニュー操作部３、通
知部４での一連の動作の様子を、図２７〜図２９に示し
たフローチャートを参照してより詳細に説明する。<Operations of Control Unit / Operation Menu Operation Unit / Notification Unit> Now, the flow of a series of operations in the control unit 2, the operation menu operation unit 3 and the notification unit 4 will be described with reference to the flow charts shown in FIGS. Will be described in more detail with reference to.
【０１５８】例えば、図３０に示すような、ハンドルの
所定の位置を（図３０（ａ））、手で握る動作（図３０
（ｂ））、すなわち、「操作者（＝運転者）がハンドル
を握るジェスチャ」（以降、ジェスチャＦと呼ぶ）が、
制御部２における操作開始ジェスチャの１つとして登録
されているとする。For example, as shown in FIG. 30, a predetermined position of the handle (FIG. 30 (a)) is grasped by a hand (FIG. 30).
(B)), that is, "the gesture in which the operator (= driver) holds the steering wheel" (hereinafter, referred to as gesture F) is
It is assumed that the gesture is registered as one of the operation start gestures in the control unit 2.
【０１５９】制御部２が「スリープ状態」であるとき、
上記操作開始ジェスチャ（例えば、ここでは、ジェスチ
ャＦ）を取得した場合（図２７のステップＳ１０２
ａ）、制御部２では、ステップＳ１０２の「メニュー準
備状態」に遷移する。この際、運転中の機器の誤動作防
止や、消費電力の低下などの理由から休止状態に入って
いた操作メニューが、休止状態から復帰し（アクティブ
状態にし）、操作メニュー操作部３，通知部４に対し、
各種の動作が可能となる状態にする旨の制御情報が出さ
れる（ステップＳ１０２ｃ）。メニュー準備状態は、操
作メニューが単にアクティブ状態になるだけであって、
操作メニュー操作部３，通知部４は、何ら動作を行わな
い。従って、例えば、メニュー操作状態であるときに所
定のジェスチャが入力されて、メニュー準備状態に遷移
したとき、メニュー選択状態から所定のジェスチャが入
力されてメニュー準備状態に遷移したときには、操作メ
ニュー操作部３，通知部４の動作は停止（休止）した状
態に等しい。When the control unit 2 is in the "sleep state",
When the operation start gesture (for example, the gesture F here) is acquired (step S102 in FIG. 27).
a) The control unit 2 makes a transition to the "menu preparation state" of step S102. At this time, the operation menu which has been in the hibernation state due to the prevention of malfunction of the device in operation and the reduction of power consumption is returned from the hibernation state (activated state), and the operation menu operation unit 3 and the notification unit 4 As opposed to
Control information indicating that various operations can be performed is issued (step S102c). In the menu ready state, the operation menu simply becomes the active state,
The operation menu operation unit 3 and the notification unit 4 do not perform any operation. Therefore, for example, when a predetermined gesture is input in the menu operation state and transitions to the menu preparation state, and when a predetermined gesture is input from the menu selection state and transitions to the menu preparation state, the operation menu operation unit 3. The operation of the notification unit 4 is equal to the stopped (paused) state.
【０１６０】例えば、「メニュー準備状態」において、
所定のメニュー操作指示の入力があったとき、「メニュ
ー操作状態」へ遷移し、操作対象のメニューの読み上げ
が開始される。For example, in the "menu preparation state",
When a predetermined menu operation instruction is input, a transition is made to the "menu operation state" and the reading of the operation target menu is started.
【０１６１】「ハンドルを握った状態から手指の人差し
指を伸ばす」ジェスチャ（ジェスチャＡ）と、「ハンド
ルを握った状態から手指の４本の指を一斉に伸ばす」ジ
ェスチャ（ジェスチャＢ）が、制御部２へのメニュー操
作指示のためのメニュー操作ジェスチャとして登録され
ているとする。ジェスチャＡ、ジェスチャＢは、操作メ
ニューの種類の変更を指示するためのメニュー操作ジェ
スチャであり、ジェスチャＡは、ショートカット・メニ
ューを選択するためのジェスチャとして制御部２に登録
され、ジェスチャＢは、フェイバリット・メニューを選
択するためのジェスチャとして制御部２に登録されてい
るものとする。The gesture of "extend the index finger of the hand from the state of grasping the handle" (gesture A) and the gesture "extend all four fingers of the hand from the state of grasping the handle" (gesture B) are control units. It is assumed that the gesture is registered as a menu operation gesture for instructing the menu operation to 2. Gestures A and B are menu operation gestures for instructing to change the type of operation menu, gesture A is registered in control unit 2 as a gesture for selecting a shortcut menu, and gesture B is a favorite. -It is assumed that the gesture is registered in the control unit 2 as a gesture for selecting a menu.
【０１６２】例えば、「メニュー準備状態」において、
ジェスチャＡやジェスチャＢなどのメニュー操作ジェス
チャが認識された場合（図２８のステップＳ１０３
ａ）、制御部２は、メニュー操作状態に遷移する（ステ
ップＳ１０３）。For example, in the "menu preparation state",
When a menu operation gesture such as gesture A or gesture B is recognized (step S103 in FIG. 28).
a), the control unit 2 transits to the menu operation state (step S103).
【０１６３】「メニュー準備状態」において、ジェスチ
ャＡの認識が行われた場合（ステップＳ１０３ｂ、ステ
ップＳ１０３ｃ）、ショートカット・メニュー（図４参
照）に基づき操作するための制御を、操作メニュー操作
部３、通知部４に対し行う。すなわち、これを受け、操
作メニュー操作部３では、休止前に保存しておいたショ
ートカット・メニューの状態を復帰する動作を行う（ス
テップＳ１０２ｄ）。通知部４は、当該メニューが操作
可能になった旨を音声により操作者にアナウンスするよ
うにしてもよい（ステップＳ１０２ｅ）。In the "menu preparation state", when the gesture A is recognized (steps S103b and S103c), the control for operating the shortcut menu (see FIG. 4) is performed by the operation menu operation unit 3, This is done for the notification unit 4. That is, in response to this, the operation menu operation unit 3 performs an operation to restore the state of the shortcut menu saved before the suspension (step S102d). The notification unit 4 may announce to the operator by voice that the menu is operable (step S102e).
【０１６４】「メニュー準備状態」において、ジェスチ
ャＢの認識が行われた場合（ステップＳ１０３ｂ、ステ
ップＳ１０３ｃ）、「フェイバリット・メニュー」（図
５参照）に基づき操作するための制御を、操作メニュー
操作部３、通知部４に対し行う。すなわち、これを受
け、操作メニュー操作部３では、休止前に保存しておい
たフェイバリット・メニューの状態を復帰する動作を行
う（ステップＳ１０３ｇ）。通知部４は、当該メニュー
が操作可能になった旨を音声により操作者にアナウンス
するようにしてもよい（ステップＳ１０３ｈ）。When the gesture B is recognized in the "menu preparation state" (steps S103b and S103c), the control for operating based on the "favorite menu" (see FIG. 5) is performed by the operation menu operation unit. 3, the notification unit 4 is performed. That is, in response to this, the operation menu operation unit 3 performs an operation to restore the state of the favorite menu stored before the suspension (step S103g). The notification unit 4 may announce to the operator by voice that the menu is operable (step S103h).
【０１６５】図２６に示したジェスチャＣ，Ｄ，Ｅが、
操作対象のメニュー項目の切替速度の変更指示のための
メニュー操作ジェスチャとして制御部２に登録されてい
るとする。The gestures C, D, and E shown in FIG. 26 are
It is assumed that the menu operation gesture for instructing the change of the switching speed of the menu item to be operated is registered in the control unit 2.
【０１６６】「メニュー準備状態」あるいは「メニュー
操作状態」あるいは「メニュー選択状態」にあるとき、
図２６に示したようなジェスチャＣ，Ｄ，Ｅといったメ
ニュー操作ジェスチャのいずれかが行われた際には（図
２８のステップＳ１０３ｋ）、そのとき「メニュー準備
状態」「メニュー選択状態」であるときは「メニュー操
作状態」に遷移し（既に「メニュー操作状態」であると
きは、そのままの状態にて）、当該入力されたジェスチ
ャに対応する切替速度となるように、操作メニュー操作
部３を制御し、操作メニュー操作部３では、この指示さ
れた切替速度で、操作対象を切り替える（ステップＳ１
０３ｌ）。制御部２は、通知部４に対しては、当該指示
された切替速度に同期して操作対象のメニュー項目をユ
ーザに通知できるように、例えば、読み上げ速度を制御
する。また、操作メニュー中の現在どの階層にいるの
か、などの操作メニュー状態管理部１３に記録されてい
る各種情報を通知させるようにしてもい（ステップＳ１
０３ｍ）。When in the "menu preparation state", "menu operation state" or "menu selection state",
When any one of the menu operation gestures such as the gestures C, D, and E shown in FIG. 26 is performed (step S103k in FIG. 28), at that time, the “menu preparation state” and the “menu selection state” Changes to the “menu operation state” (when it is already in the “menu operation state”, the state remains as it is) and controls the operation menu operation unit 3 so that the switching speed corresponds to the input gesture. Then, the operation menu operation unit 3 switches the operation target at the instructed switching speed (step S1).
03l). The control unit 2 controls, for example, the reading speed of the notification unit 4 so as to notify the user of the menu item to be operated in synchronization with the instructed switching speed. In addition, various kinds of information recorded in the operation menu state management unit 13, such as the current level in the operation menu, may be notified (step S1).
03m).
【０１６７】入力されたメニュー操作ジェスチャが、上
記したジェスチャＡ〜Ｅのいずれでもないメニュー操作
ジェスチャであるときは（ステップＳ１０３ｋ）、通常
の操作メニュー（例えば、図３に示すような操作対象機
器が持つ操作メニュー）に対しての操作を行うものと
し、この通常のメニューに基づき操作するための制御
を、操作メニュー操作部３、通知部４に対し行う。すな
わち、これを受け、操作メニュー操作部３では、通常の
操作メニューを休止前に保存しておいた前回の切替速度
で操作対象を切替え（ステップＳ１０３ｎ）、通知部４
は、前回の切替速度に対応する読み上げ速度でメニュー
項目を読み上げる（ステップＳ１０３ｏ）。When the input menu operation gesture is a menu operation gesture that is not any of the above-mentioned gestures A to E (step S103k), a normal operation menu (for example, an operation target device as shown in FIG. It is assumed that the operation menu) is operated, and the operation menu operation unit 3 and the notification unit 4 are controlled to operate based on this normal menu. That is, in response to this, the operation menu operation unit 3 switches the operation target at the previous switching speed at which the normal operation menu was stored before the suspension (step S103n), and the notification unit 4
Reads out the menu item at the reading speed corresponding to the previous switching speed (step S103o).
【０１６８】例えば、メニュー操作ジェスチャが行われ
た際に、「トップ・メニュー」にいたとすると、通知部
４からは「現在、トップ・メニューです。」という音声
とともに、操作者が選択可能なメニュー項目（操作対
象）が通知されてもよい。これにより、操作者は、これ
から操作可能なメニュー項目を知ることができる。For example, if the user is in the “top menu” when the menu operation gesture is performed, the notification section 4 gives a voice “currently the top menu.” And a menu selectable by the operator. The item (operation target) may be notified. This allows the operator to know the menu items that can be operated.
【０１６９】なお、既に「メニュー操作状態」であると
きもジェスチャＡやジェスチャＢ、ジェスチャＣ、Ｄ、
Ｅなどのメニュー操作ジェスチャが認識されれば、上記
同様に操作メニューの種類の変更や、操作対象の切替速
度の変更が行われる。また、「メニュー選択状態」であ
るときにも、ジェスチャＡやジェスチャＢ、ジェスチャ
Ｃ、Ｄ、Ｅなどのメニュー操作ジェスチャが認識されれ
ば、上記同様に操作メニューの種類の変更や、操作対象
の切替速度の変更が行われる。Even when the menu operation state is already set, the gesture A, the gesture B, the gestures C, D,
When a menu operation gesture such as E is recognized, the type of the operation menu is changed or the switching speed of the operation target is changed in the same manner as described above. Even in the “menu selection state”, if a menu operation gesture such as gesture A, gesture B, gesture C, D, or E is recognized, the operation menu type is changed or the operation target is changed in the same manner as above. The switching speed is changed.
【０１７０】メニュー操作状態では、通知部４からは、
「トップ・メニュー」において選択可能なメニュー項目
のうち、操作対象のメニュー項目が操作者に通知される
状態である。すなわち、「トップ・メニュー」で選択可
能なメニュー項目が「オーディオ・メニュー」、「エア
コン・メニュー」、「ナビゲーション・メニュー」であ
ったとすると、「オーディオ」→「エアコン」→「ナビ
ゲーション」→「オーディオ」→…、というように、操
作対象のメニュー項目が繰り返し、所定間隔で読み上げ
られる。In the menu operation state, from the notification section 4,
Among the selectable menu items in the “top menu”, the operator is notified of the menu item to be operated. That is, if the menu items that can be selected in the "top menu" are "audio menu", "air conditioner menu", and "navigation menu", then "audio" → "air conditioner" → "navigation" → "audio" “→ ...”, the menu item to be operated is repeatedly read at predetermined intervals.
【０１７１】そして、例えば、「ナビゲーション」が読
み上げられているときに、メニュー選択ジェスチャが行
われたら（図２９のステップＳ１０４ａ）、メニュー選
択状態に遷移して、その旨が制御部２から操作メニュー
操作部３に通知される。操作メニュー操作部３では、現
在アクティブになっている操作メニューの構造を基に、
選択された当該操作対象のメニュー項目、すなわち、
「ナビゲーション・メニュー」の下位の階層にあるメニ
ュー項目をユーザが選択可能なメニュー項目として選択
する（ステップＳ１０４ｂ）。このとき選択された当該
選択対象のメニュー項目に基づき操作対象機器を操作す
る必要があるときは、操作コマンド出力部１５を介して
操作コマンドを機器動作制御部５へ出力する（ステップ
Ｓ１０４ｃ）。Then, for example, if a menu selection gesture is performed while "navigation" is being read out (step S104a in FIG. 29), a transition is made to the menu selection state, and that effect is indicated by the control menu from the control unit 2. The operation unit 3 is notified. In the operation menu operation unit 3, based on the structure of the currently active operation menu,
The menu item of the selected operation target, that is,
A menu item in the lower hierarchy of the "navigation menu" is selected as a menu item that the user can select (step S104b). When it is necessary to operate the operation target device based on the selected menu item selected at this time, an operation command is output to the device operation control unit 5 via the operation command output unit 15 (step S104c).
【０１７２】その後、ステップＳ１０３のメニュー操作
状態に戻り、「ナビゲーション・メニュー」において、
ユーザが選択可能なメニュー項目が、「地図拡大」、
「地図縮小」、「現在地表示」、「目的地表示」である
ので、操作メニュー操作部３では、操作対象を「地図拡
大」→「地図縮小」→「現在地表示」→「目的地表示」
→「地図拡大」→…、と切り替えていき、これに同期し
て、通知部４では、「地図拡大」→「地図縮小」→「現
在地表示」→「目的地表示」→「地図拡大」→…、とい
うように操作対象が逐次読み上げられ、「目的地表示」
のときにメニュー選択ジェスチャが行われると、上記同
様にして、メニュー選択状態に遷移して、現在の操作対
象のメニュー項目が選択されたことが制御部２から操作
メニュー操作部３に通知される。After that, returning to the menu operation state of step S103, in the "navigation menu",
The menu items that the user can select are "Enlarge map",
Since "Map reduction", "Current location display", and "Destination display" are selected, the operation menu operation unit 3 selects "map enlargement" → "map reduction" → "current location display" → "destination display".
→ Switch to "map enlargement" → ..., and in synchronization with this, in the notification unit 4, "map enlargement" → "map reduction" → "current position display" → "destination display" → "map enlargement" → The operation target is read aloud one after another, and the "destination display" appears.
When the menu selection gesture is performed at the time of, the control unit 2 notifies the operation menu operation unit 3 that the menu item of the current operation target is selected in the same manner as above. .
【０１７３】操作メニュー操作部３では、現在アクティ
ブになっている操作メニューの構造を基に、選択された
当該操作対象のメニュー項目、すなわち、「目的地表示
・メニュー」の下位の階層にあるメニュー項目をユーザ
が選択可能なメニュー項目として選択する（ステップＳ
１０４ｂ）。このとき選択された当該選択対象のメニュ
ー項目に基づき操作対象機器を操作する必要があるとき
は、操作コマンド出力部１５を介して操作コマンドを機
器動作制御部５へ出力する（ステップＳ１０４ｃ）。す
なわち、当該操作対象のメニュー項目「目的地表示」
は、最下層のメニューであり、カー・ナビゲーション機
器の実際の目的地を表示する機能を担っているため、こ
の操作を行うための操作コマンドが、操作メニュー操作
部３の操作コマンド出力部１５から機器動作制御部６に
出力され、機器動作制御部６にて、実際のカー・ナビゲ
ーション機器に目的地を表示するような操作コマンドが
送られる。In the operation menu operation unit 3, based on the structure of the operation menu that is currently active, the selected menu item of the operation target, that is, the menu in the lower hierarchy of the "destination display / menu". Select an item as a menu item that the user can select (step S
104b). When it is necessary to operate the operation target device based on the selected menu item selected at this time, an operation command is output to the device operation control unit 5 via the operation command output unit 15 (step S104c). That is, the menu item "destination display" of the operation target
Is a menu at the bottom layer and has a function of displaying the actual destination of the car navigation device. Therefore, an operation command for performing this operation is output from the operation command output unit 15 of the operation menu operation unit 3. The operation command is output to the equipment operation control unit 6, and the equipment operation control unit 6 sends an operation command for displaying the destination on the actual car navigation equipment.
【０１７４】また、通知部４で操作対象のメニュー項目
が読み上げられているときに、例えば、手指を伸ばすの
を止める（ハンドルを握った状態に戻す）と、先に行っ
た指操作指示、選択指示入力（例えば、メニューの選
択）をキャンセルできるようにしてもよい。When the notification section 4 reads out the menu item to be operated, for example, if the extension of the finger is stopped (the handle is returned to the state in which the handle is grasped), the finger operation instruction and selection made earlier are performed. The instruction input (for example, menu selection) may be canceled.
【０１７５】以上が制御部２、操作メニュー操作部３、
通知部４が相互的に作用し、操作者が本インタフェース
装置を操作する基本的な一連の流れである。The above is the control section 2, the operation menu operation section 3,
This is a basic sequence of operations in which the notification unit 4 interacts and the operator operates the interface device.
【０１７６】この際、操作者が操作に不慣れな場合、通
知部４で操作対象のメニュー項目を読み上げる速度が速
いと、メニュー選択ジェスチャを行うタイミングを逃
し、目的のメニューを選択しようとして、誤って次のメ
ニューを選択してしまう、という問題がある。そこで、
メニュー操作ジェスチャの種類により、メニューの読み
上げ間隔（読み上げ速度）を制御することが好ましい。
図２６に示したように、ジェスチャＣ，Ｄ，Ｅといった
複数のメニュー操作ジェスチャを登録しておき、メニュ
ー操作ジェスチャとしてジェスチャＣが行われたときに
は、メニュー項目の読み上げ速度をゆっくりとして、操
作に不慣れな操作者でも、余裕をもって操作できるよう
にする。At this time, if the operator is unfamiliar with the operation and the speed at which the menu item to be operated is read aloud by the notification unit 4 is high, the timing for performing the menu selection gesture is missed, and the intended menu is selected by mistake. There is a problem of selecting the next menu. Therefore,
It is preferable to control the reading interval (reading speed) of the menu depending on the type of the menu operation gesture.
As shown in FIG. 26, when a plurality of menu operation gestures such as gestures C, D, and E are registered and the gesture C is performed as the menu operation gesture, the reading speed of the menu item is slowed down and the operator is unfamiliar with the operation. Even an inexperienced operator can operate with a margin.
【０１７７】しかし、操作者が次第に操作になれてくる
と、ゆっくりメニュー項目が読み上げられたのでは、目
的のメニューを選択するまで余計な時間がかかってしま
い、操作のスピードを低下させるだけでなく、操作者を
苛つかせる原因となる。そこで、本実施形態では、その
辺りを考慮し、図２６におけるジェスチャＥをメニュー
操作ジェスチャとして行った場合には、前述したより
も、読み上げ間隔を早く（または、読み上げ速度を早
く、早口で、など）、ジェスチャＤを行った場合にはさ
らに早く、などとすることで解決することができる。However, if the operator gradually became accustomed to the operation, and the menu items were read out slowly, it would take an extra time until the desired menu was selected, which not only slows down the operation. It causes annoyance to the operator. In view of this, in the present embodiment, when the gesture E in FIG. 26 is used as the menu operation gesture in consideration of the above, the reading interval is faster (or the reading speed is faster or faster than the above). ), If the gesture D is performed, the problem can be solved by setting it earlier.
【０１７８】これは、メニュー操作ジェスチャの選び方
にもよるが、本実施形態の場合、操作者にとって、指を
出す位置を微妙に変化させるだけで、操作者の習熟度に
よるメニュー選択を操作者が感覚的にコントロールする
ことができるという点で優れている。人間は、速度・速
い、速度・普通、速度・遅いといった３つのボタンがあ
って、それを用いてコントロールしなければならない場
合、ボタンの位置をまったく見ずにそれらを使い分ける
ことは非常に困難であるが、ジェスチャを用いて、指の
出す位置を微妙に変えるなどということは、人間の持っ
ている空間感覚から、非常に容易である。このような制
御方法は、ジェスチャを用いたインタフェースに非常に
むいている。This depends on how to select the menu operation gesture, but in the case of the present embodiment, the operator only needs to subtly change the position where the finger is put out, and the operator can select the menu depending on the skill level of the operator. It is excellent in that it can be controlled intuitively. Humans have three buttons, speed / fast, speed / normal, speed / slow, and if they have to be controlled, it is very difficult to use them without seeing the button position at all. However, it is very easy to slightly change the position of the finger by using a gesture, because of the sense of space that humans have. Such a control method is very suitable for an interface using gestures.
【０１７９】なお、以上では、速度変化のパラメータを
３種類、離散的に変更する例を説明したが、これに限定
されるものではない。指の位置関係などによって連続的
に変化する構成も取ることができる。Although an example in which three types of parameters for speed change are changed discretely has been described above, the present invention is not limited to this. A configuration that continuously changes depending on the positional relationship of fingers and the like can also be adopted.
【０１８０】ここで、キャンセルについて説明する。キ
ャンセルとは、ここでは、現在の動作を一時停止して、
選択などの指示がなされる前の状態、あるいは、過去の
ある時点の状態から再び動作を再開することである。Here, cancellation will be described. Cancel means here to pause the current operation,
The operation is restarted from the state before the instruction such as selection is given or the state at a certain point in the past.
【０１８１】通知部４で操作対象のメニュー項目の読み
上げ中に、例えば、手指を伸ばすのを止める（ハンドル
を握った状態に戻す）と、メニューの選択をキャンセル
できると述べた。これは、操作開始ジェスチャを止め
る、あるいはその他のジェスチャ（＝操作終了ジェスチ
ャと呼ぶこともできる）を行うと、即座にメニュー選択
などをキャンセルできることを意味している。例えば、
指を戻すだけでキャンセルできれば、操作者が、運転中
で切羽詰まった状態にあっても容易にキャンセルを行う
ことができる。It has been described that the menu selection can be canceled by stopping the extension of the fingers (returning to the state of grasping the handle) while reading out the menu item to be operated by the notification unit 4, for example. This means that when the operation start gesture is stopped or another gesture (= it can be called an operation end gesture) is performed, the menu selection or the like can be canceled immediately. For example,
If the operator can cancel by simply returning his / her finger, the operator can easily cancel even if he / she is in a clogged state while driving.
【０１８２】直前に行った選択指示をキャンセルするた
めの操作指示が入力されたときは、メニュー選択部１２
は、当該選択指示が入力される前に選択していたメニュ
ー項目を再び選択し直して、当該直前に行った選択指示
を取り消す。When an operation instruction for canceling the immediately preceding selection instruction is input, the menu selection unit 12
Reselects the menu item that was selected before the selection instruction was input, and cancels the selection instruction that was issued immediately before.
【０１８３】ユーザによるキャンセル指示に時間の概念
を入れることで、多機能なキャンセル機能を実現でき
る。例えば、上述のように、操作対象のメニュー項目を
読み上げている際に、読み上げ速度（切替速度）が速
く、目的のメニューを選択するタイミングを逃し、目的
のメニュー項目を過ぎてしまったとしよう。この際、再
び目的のメニュー項目にたどり着くためには、操作対象
のメニュー項目の読み上げが一巡し、２週目の読み上げ
に入った後、目的のメニュー項目が読み上げられる時を
待たなくてはならない。このような際に、先述したキャ
ンセル指示を行い、すぐに操作開始ジェスチャを行った
場合には、選択可能メニュー項目の先頭から再び読み上
げが開始されるなどというようにすれば、一巡するのを
待たなくて済む。By incorporating the concept of time in the cancel instruction from the user, a multifunctional cancel function can be realized. For example, as described above, when reading the menu item to be operated, it is assumed that the reading speed (switching speed) is high, the timing of selecting the target menu is missed, and the target menu item has passed. At this time, in order to reach the target menu item again, it is necessary to wait until the target menu item is read aloud after the operation target menu item has been read aloud and the second week has been read. In such a case, if the above-mentioned cancel instruction is given and the operation start gesture is immediately performed, the reading is restarted from the beginning of the selectable menu item, and so on, waiting for one cycle. You don't have to.
【０１８４】また、操作対象をユーザによる所定の操作
指示により変更することもできる。すなわち、操作対象
切替部１４で操作対象とするメニュー項目を変更するた
めの操作指示が入力されたときは、操作対象切替部１４
は、現在の操作対象としてのメニュー項目から所定個前
に操作対象として選択したメニュー項目から再び選択し
直す。このような操作が行えると、選択のタイミングを
逃して、目的のメニュー項目を過ぎてしまっても、上記
操作指示をすることで、すぐに目的のメニュー項目の数
個前ぐらいから読み上げられるため、すぐに目的のメニ
ュー項目に到達することができる。例えば、「地図拡
大」→「地図縮小」→「現在地表示」→「目的地表示」
→…、と読み上げられている際に、「現在地表示」が選
びたいときに、タイミングを逃して、「目的地表示」ま
でいってしまったら、上記のような操作指示を行うこと
で、「目的地表示」の２つ前の「地図縮小」から読み上
げが始まるというようにである。こうすると、すぐに、
目的の「現在地表示」メニューにたどり着ける。Also, the operation target can be changed by a predetermined operation instruction from the user. That is, when an operation instruction for changing the menu item to be operated by the operation target switching unit 14 is input, the operation target switching unit 14
Reselects from the menu item selected as the operation target a predetermined number of times before the menu item as the current operation target. If you can perform such an operation, even if you miss the timing of selection and past the target menu item, you can immediately read a few items before the target menu item by giving the above operation instruction, You can quickly reach the desired menu item. For example, "Enlarge map" → "Reduce map" → "Display current location" → "Display destination"
→… When you read aloud, and when you want to select “Display your current location”, if you miss the timing and go to “Display destination”, you can give the “Purpose” It is said that the reading starts from "Map reduction", which is two places before "ground display". This way, immediately,
You can reach the desired "Display your current location" menu.
【０１８５】複数のジェスチャを組み合わせることによ
り、操作メニュー操作部３と通知部４の動作を一時停止
した後、再び再開するまでの動作にバリエーションをつ
けることができる。By combining a plurality of gestures, it is possible to add variations to the operations of the operation menu operation section 3 and the notification section 4 after the operations are temporarily stopped and then restarted.
【０１８６】さて、通知部４では、音声により、操作対
象のメニュー項目をユーザに通知する場合について説明
したが、この場合に限らず、これに、各メニュー項目に
対応する音や旋律などを合わせて用いるとより効果的で
ある。The notification unit 4 has described the case of notifying the user of the menu item to be operated by voice, but the present invention is not limited to this case, and the sound or melody corresponding to each menu item is added to this. It is more effective when used as
【０１８７】例えば、「音色 操作対象のメニュー項
目」という組み合わせで、操作対象のメニュー項目を通
知する。「音色」のところには、「ギターのド」、「ピ
アノのレ」などといったように、楽器と音階の組み合わ
せによって得られる音色を用いることができる。先のメ
ニューの例で、「オーディオ」→「エアコン」→「ナビ
ゲーション」→「オーディオ」→…、の「オーディオ」
の前には、ピアノの音、「エアコン」の前にはギターの
音…とし、さらには、「オーディオ」の下位階層のメニ
ュー項目には、ピアノの音で統一し、「エアコン」のに
は、ギターの音で統一し、というようにすると、操作者
が現在アクセスしているメニューに対応する操作対象機
器は何なのかを瞬時に知ることができる。For example, the menu item to be operated is notified in the combination of "menu item to be operated by tone color". For "tone", a tone obtained by a combination of musical instrument and scale such as "guitar de" or "piano re" can be used. In the previous menu example, "Audio" → "Air conditioner" → "Navigation" → "Audio" →…, "Audio"
In front of, the sound of the piano, in front of the "air conditioner" is the sound of the guitar ... In addition, the menu items in the lower hierarchy of "Audio" are unified with the sound of the piano. By unifying with the sound of the guitar, the operator can instantly know what is the operation target device corresponding to the menu currently accessed by the operator.
【０１８８】さらに、下記のように、音階を同階層メニ
ュー内のメニュー項目（選択可能なメニュー項目）に、
音アイコンとして添付して、「ド 地図拡大」→「レ 地
図縮小」→「ミ 現在地表示」→「ファ 目的地表示」→
…、として操作対象のメニュー項目を通知することによ
り、現在の操作対象のメニュー項目の位置を直感的に知
ることができる。Further, as shown below, the scale is set as a menu item (selectable menu item) in the same hierarchical menu.
Attach it as a sound icon, and click “Enlarge map” → “Reduce map” → “Mi Display location” → “Display destination” →
By notifying the menu item of the operation target as ..., the position of the menu item of the current operation target can be intuitively known.
【０１８９】慣れてくれば、後ろのメニュー項目を聞か
なくても、「地図縮小」は、「レ」だったから、という
ようにアクセスも可能である。これを上述した操作対象
のメニュー項目の切替速度（読み上げ速度）の変化に応
用すれば、遅く読み上げる際には、遅い間隔で、「ド
地図拡大」→→→「レ 地図縮小」→→→「ミ 現在地表
示」→→→「ファ 目的地表示」→→→…と読み上げ、
普通の速度で読み上げる際には、読み上げ間隔を上記よ
よりは早めて、「ド 地図拡大」→→「レ 地図縮小」→
→「ミ 現在地表示」→→「ファ 目的地表示」→→…と
し、速い速度で読み上げる際には、さらに早口で読み上
げ、「ド （地図拡大）」→「レ （地図縮小）」→「ミ
（現在地表示）」→「ファ （目的地表示）」→…とす
る。ここで、括弧で括られているのは、早口で読み上げ
ていることを表している。また、「→」の数が多いほど
メニュー項目と次に読み上げるメニュー項目との時間間
隔が長いことを表している。If the user gets used to it, he / she can access the "map reduction" because it was "re" without even listening to the back menu item. If this is applied to the change of the switching speed (reading speed) of the menu item of the operation target described above, when reading out slowly, the
"Enlarge map" → → → "Reduce map" → → → "My current location" → → → "Fa destination display" → → → ...
When reading at a normal speed, make the reading interval faster than the above, and click "Map expansion" → → "Map reduction" →
→ "Mi present location display" → → "Fa destination display" → → ... When reading at a faster speed, read it out faster, and click "Do (enlarge map)" → "re (reduce map)" → "Mi (Display current location) → “Fa (display destination)” →. Here, what is enclosed in parentheses means that you are reading aloud. Also, the larger the number of “→”, the longer the time interval between the menu item and the menu item to be read next.
【０１９０】読み上げ速度をさらに速くしたい場合（そ
れに伴い操作対象の切替速度をさらに速くしたい場
合）、「ド」→「レ」→「ミ」→「ファ」→…というよ
うに、操作対象のメニュー項目の読み上げを省略して、
それに対応する音階のみで、現在操作対象となっている
メニュー項目を通知するようにしてもよい。感覚的に音
階でメニュー項目を覚えてしまえば十分に操作可能で、
本発明のインタフェース装置の操作に非常に習熟した操
作者にとって、非常に有効な手法である。When it is desired to further increase the reading speed (to increase the switching speed of the operation target accordingly), the menu of the operation target is displayed as follows: "do" → "re" → "mi" → "fa" → ... Omitting the reading of items,
You may make it notify about the menu item currently operated by only the scale corresponding to it. If you sensuously remember the menu items in the scale, you can operate it sufficiently,
This is a very effective method for an operator who is very familiar with the operation of the interface device of the present invention.
【０１９１】なお、ここでは、単音の音のみを用いて説
明してきたが、これに限定されるものではない。和音な
どを用いて、より直感的な音表現を行っても有効であ
る。また、ここでは、「ド」、「レ」、「ミ」、…と順
番に音を変える例を示したが、これに限定されるもので
はない。例えば、有名な楽曲の旋律を用いて、この旋律
に一部分を１つのメニュ項目に対応させるようにしても
よい。例えば、「ベートーベン」の「運命」などの音楽
を用いることで、あるメニュー項目は、「ジャジャジャ
ジャーン」の「ジャジャジャ」のタイミングで選択すれ
ばよいというように、操作者がより直感的に覚えること
が可能となる。Although the description has been given here using only a single note, the present invention is not limited to this. It is also effective to express sounds more intuitively using chords. Further, here, an example is shown in which the sound is changed in order of “do”, “re”, “mi”, ..., However, the present invention is not limited to this. For example, a famous melody of a musical piece may be used, and a part of this melody may correspond to one menu item. For example, by using music such as “Fate” of “Beethoven”, a menu item can be selected more intuitively by the operator, such as selecting a menu item at the timing of “Jajaja” of “Jajajajan”. It becomes possible.
【０１９２】さらに、操作メニューの内容を暗示させる
効果音を用いることも効果的である。例えば、エアコン
を操作するためのメニュー項目の１つである「風量操作
・メニュー」において、風の音などの効果音を上述した
音色の部分に用いることで、操作者は直感的にそのメニ
ュー内容を想像することができる。Furthermore, it is also effective to use a sound effect that implies the contents of the operation menu. For example, in “air volume operation / menu”, which is one of the menu items for operating the air conditioner, the operator can intuitively imagine the menu contents by using sound effects such as wind sound for the above-mentioned tone color portion. can do.
【０１９３】なお、以上では、現在操作対象となってい
るメニュー項目を音声で通知する場合、音や旋律などと
併せて現在操作対象となっているメニュー項目を音声で
通知する場合、現在操作対象となっているメニュー項目
に対応する音や旋律のみで通知する場合について説明し
たが、これに限定されるものではない。例えば、振動を
用いることも可能である。また、振動や、上述した音、
旋律、現在操作対象となっているメニュー項目を提示す
る音声などを組み合わせて用いることも可能である。In the above description, when notifying the menu item currently being operated by voice, when notifying the menu item currently being operated together with sound and melody by voice, the current operation target is selected. The case of notifying only the sound or melody corresponding to the menu item that has been described has been described, but the present invention is not limited to this. For example, it is possible to use vibration. In addition, vibration, the above-mentioned sound,
It is also possible to combine and use a melody, a voice that presents a menu item that is currently an operation target, and the like.
【０１９４】また、振動や、上述した音、旋律、現在操
作対象となっているメニュー項目を提示する音声などを
組み合わせて、現在操作対象となっているメニュー項目
を通知するとともに、画面表示を行うようにしてもよ
い。この場合、画面には、ＧＵＩなどを用いて、選択可
能なメニュー項目が表示される。このような画面表示を
併用する場合、その表示画面を設ける位置を工夫するこ
とは重要である。本実施形態では、運転者の機器操作の
ための視線移動を軽減することが目的である。そこで、
図３１に示すように、ハンドルの取り付けられている側
の、運転中の運転者のほぼ視線方向に表示画面を設ける
ことが好ましい。Also, vibration, the above-mentioned sound, melody, voice for presenting the menu item currently being operated, etc. are combined to notify the menu item currently being operated and to display the screen. You may do it. In this case, selectable menu items are displayed on the screen using a GUI or the like. When such a screen display is also used, it is important to devise the position where the display screen is provided. The purpose of this embodiment is to reduce the movement of the driver's line of sight when operating the device. Therefore,
As shown in FIG. 31, it is preferable to provide a display screen on the side where the steering wheel is attached in a direction substantially in the line of sight of the driver who is driving.
【０１９５】また、上記実施形態では、インタフェース
装置に対し指示を与えるために、操作開始、メニュー操
作、メニュー選択といった種類のジェスチャを用いた
が、ジェスチャの種類はこれらに限定されるものではな
い。例えば、メニュー操作ジェスチャとして、どの指が
出されるか、出された指先の向きなどによって、「メニ
ュー項目を１項目進めるジェスチャ」「メニュー項目を
１項目前に戻すジェスチャ」などを用意し、操作者がそ
れらのジェスチャを行うことで、自ら積極的に、操作対
象のメニュー項目の変更を行うような構成を取ることが
できる。Further, in the above embodiment, the gestures such as operation start, menu operation, and menu selection are used to give an instruction to the interface device, but the kind of gesture is not limited to these. For example, as the menu operation gesture, "gesture to advance the menu item by one item", "gesture to return the menu item to the previous item", etc. are prepared depending on which finger is ejected and the direction of the fingertip ejected. By making those gestures, the user can positively change the menu item to be operated.
【０１９６】また、この場合もジェスチャの種類に応じ
て、メニュー項目を進める項目数などを変えることで、
操作者の習熟度によってメニュー項目操作のための手段
を選べるようにすることもできる。Also in this case, by changing the number of items for advancing the menu item according to the type of gesture,
It is also possible to select a means for operating the menu item depending on the skill level of the operator.
【０１９７】さらに、画面表示を併用する場合、コンピ
ュータの画面などでよく見られるような２次元空間にア
イコンを配置して、それらを選択するといったような、
所謂ＧＵＩ的な手法をとることもできる。Furthermore, when screen display is also used, icons are arranged in a two-dimensional space which is often seen on computer screens, and they are selected.
A so-called GUI-like method can also be adopted.
【０１９８】以上説明したように、上記実施形態に係
る、操作メニューをもつ（複数の操作項目を有する）機
器を操作するためのインタフェース装置によれば、通知
部４で、操作メニューに含まれるメニュー項目のうち、
ユーザが選択可能であってしかも自装置において操作対
象となっているメニュー項目を所定間隔で順番に１つず
つユーザに通知し、指示入力部１でユーザからの所定の
選択指示（例えば、メニュー選択ジェスチャ）が入力さ
れたときには、操作メニュー操作部３は、当該選択指示
が入力されたときに操作対象となっているメニュー項目
と操作メニューの構造とに基づき、操作メニューからユ
ーザが選択可能なメニュー項目を選択するとともに、こ
の選択されたメニュー項目を予め定められた順序に従っ
て所定間隔で１つずつ操作対象として選択する。さら
に、操作メニュー操作部３は、指示入力部１で選択指示
が入力されたときに操作対象となっているメニュー項目
に基づき操作対象機器に対する操作を行う。通知部４
は、操作メニュー操作部３で操作対象を選択するタイミ
ングに同期して、現在操作対象となっているメニュー項
目をユーザに通知する。この通知部４で通知されている
操作対象のメニュー項目に対しユーザが指示入力部１か
ら所定の選択指示を入力するだけでよいので、ユーザ
は、視線を動かすことなく容易に、しかも正確に効率よ
く操作対象機器を操作することができる。As described above, according to the interface device for operating the device having the operation menu (having a plurality of operation items) according to the above embodiment, the notification unit 4 includes the menus included in the operation menu. Of the items
The user is informed of the menu items that can be selected by the user and is the operation target in the device one by one at predetermined intervals, and the instruction input unit 1 issues a predetermined selection instruction from the user (for example, menu selection). Gesture) is input, the operation menu operation unit 3 selects a menu that the user can select from the operation menu based on the menu item that is the operation target when the selection instruction is input and the structure of the operation menu. In addition to selecting an item, the selected menu item is selected as an operation target one by one at predetermined intervals in accordance with a predetermined order. Further, the operation menu operation unit 3 operates the operation target device based on the menu item which is the operation target when the selection instruction is input by the instruction input unit 1. Notification unit 4
Notifies the user of the menu item that is currently the operation target in synchronization with the timing of selecting the operation target on the operation menu operation unit 3. Since the user only needs to input a predetermined selection instruction from the instruction input unit 1 to the menu item of the operation target notified by the notification unit 4, the user can easily and accurately perform the operation without moving the line of sight. The target device can be operated well.
【０１９９】操作メニュー操作部３で操作対照を選択す
るタイミング（切替速度）は、指示入力部１から所定の
操作指示（例えば、メニュー操作ジェスチャ）を入力す
ることによりユーザ自身が変更することができる。上記
インタフェース装置の操作に習熟度に応じて、ユーザ
は、操作対象の切替速度を速くしたり、遅くしたりする
ことができるので、使い勝手がよい。特に、上記インタ
フェース装置の操作に不慣れなユーザであっても、不便
を感じることがない。The timing (switching speed) for selecting the operation contrast in the operation menu operation unit 3 can be changed by the user himself by inputting a predetermined operation instruction (for example, menu operation gesture) from the instruction input unit 1. . The user can increase or decrease the switching speed of the operation target depending on the proficiency level of the operation of the interface device, which is convenient. In particular, even a user who is unfamiliar with the operation of the interface device will not feel inconvenience.
【０２００】（第２の実施形態）上記第１の実施形態で
は、指示入力手段１としてジェスチャ取得部６とジェス
チャ認識部７を用いて、ＣＣＤカメラや、画像入力装置
１００を用いて非接触にジェスチャを取得・認識する方
法について説明したが、本発明のインタフェース装置に
各種指示を入力する方法としては、ジェスチャのような
非接触の手段に限定されるものではない。例えば、タッ
チパッドの特定の場所を指先を用いて触る、指先を縦に
動かすといったように、タッチパッドの上を触りながら
動かすことで任意のストロークを描く、タッチパッド上
の手の触れている分布を得るなどといったような、接触
型の指示入力も可能である。手にペンを持ってストロー
クを描いたりすることによっても上記同様な指示入力が
可能である。(Second Embodiment) In the first embodiment, the gesture acquisition section 6 and the gesture recognition section 7 are used as the instruction input means 1 in a non-contact manner using a CCD camera or an image input device 100. Although the method of acquiring and recognizing a gesture has been described, the method of inputting various instructions to the interface device of the present invention is not limited to non-contact means such as a gesture. For example, touching a specific location on the touchpad with your fingertip, or moving your fingertip vertically, such as touching the top of the touchpad to draw an arbitrary stroke, and the distribution of touches on the touchpad. It is also possible to input a contact-type instruction such as "to obtain". It is possible to input the same instruction as above by holding the pen in the hand and drawing a stroke.
【０２０１】また、ジョイスティックなどを用いること
で、方向により指示を入力することができる。この指示
された方向が前述のジェスチャの種類に対応する。すな
わち、各方向には、操作開始、メニュー操作、メニュー
選択などの指示を対応させるようにしてもよい。By using a joystick or the like, it is possible to input an instruction by the direction. This designated direction corresponds to the above-mentioned gesture type. That is, instructions such as operation start, menu operation, and menu selection may be associated with each direction.
【０２０２】さらに、押す圧力を複数段階で認識するこ
とができるボタン型のスイッチなどでも、指先などでボ
タンを押す圧力の強さに、操作開始、メニュー操作、メ
ニュー選択などの指示を対応させるようにしてもよい。Furthermore, even with a button type switch or the like that can recognize the pressure to be pressed in a plurality of steps, it is possible to make the instructions such as operation start, menu operation, and menu selection correspond to the strength of the pressure of pressing the button with a fingertip or the like. You may
【０２０３】このような接触型の指示入力方式を採用し
た場合、第１の実施形態の本文で説明した場合とは異な
り、ユーザ自身が触覚的に操作を行った結果として操作
対照機器や本実施形態のインタフェース装置が動作する
ので、実際にユーザが操作を行ったという実感を得るこ
とが可能となり、機器操作に対するユーザの安心感を増
すことが可能となる。When such a contact type instruction input method is adopted, unlike the case described in the text of the first embodiment, the operation contrast device or the present embodiment is obtained as a result of the user's tactile operation. Since the form of the interface device operates, it is possible to obtain a feeling that the user has actually performed an operation, and it is possible to increase the user's sense of security in operating the device.
【０２０４】ただし、このような接触型の指示入力を行
う場合、その手段や配置数、配置方法などを考慮するこ
とが重要である。例えば、タッチパッドやボタン、ジョ
イスティックなど多種の手段を同時に用意したり、むや
みにそれらを配置したりした場合、それらを探すため
に、視線をそちらに向ける必要がでてしまい、運転中の
視線移動に繋がってしまうため、本発明における大きな
主張点である安全性が低下してしまう。このため、車載
応用の場合、ハンドルの付近に少数の指示入力部を配置
し、手探りだけでもそれらに辿りつくような工夫が必要
である。このような工夫がなされた場合、運転中の視線
移動は最小限となり、あまり安全性を低下させることな
く、機器操作を行うことが可能である。However, when such contact-type instruction input is performed, it is important to consider the means, the number of arrangements, the arrangement method, and the like. For example, if you prepare various means such as a touch pad, buttons, and joystick at the same time, or if you arrange them unnecessarily, you need to direct your line of sight to search for them and move your line of sight while driving. Therefore, the safety, which is a major point in the present invention, is lowered. For this reason, in the case of in-vehicle application, it is necessary to arrange a small number of instruction input units near the steering wheel so that the user can reach them just by groping. When such a device is devised, the line-of-sight movement during driving is minimized, and the device can be operated without significantly lowering the safety.
【０２０５】（第３の実施形態）指示入力部１として、
ジェスチャ取得部６とジャスチャ認識部７を用いる以外
にも、運転者（ユーザ）が運転中に安全に操作ができる
ものとして、例えば、音声認識を用いた指示入力方式が
考えられる。これは、ユーザが発した音声を、マイクで
検出し、その音声データを解析し、ユーザの意図を判定
し、操作に結びつけるものである。(Third Embodiment) As the instruction input unit 1,
In addition to using the gesture acquisition unit 6 and the gesture recognition unit 7, a driver (user) can safely operate while driving, for example, an instruction input method using voice recognition is conceivable. This is to detect the voice uttered by the user with a microphone, analyze the voice data, determine the user's intention, and link it to the operation.
【０２０６】指示入力部１で音声認識により、ユーザが
発声した音声コマンドにより各種指示を入力する場合も
第１の実施形態と同様である。すなわち、この場合、第
１の実施形態で説明した操作開始、メニュー操作、メニ
ュー選択などに対応する各種音声コマンドをユーザが予
め登録しておけばよい。例えば、操作開始に対応する音
声コマンドを「カイシ」、メニュー選択に対応する音声
コマンドを「ＯＫ」などとしてもよい。The case where various instructions are input by the voice command uttered by the user by the voice recognition in the instruction input unit 1 is the same as in the first embodiment. That is, in this case, the user may previously register various voice commands corresponding to the operation start, menu operation, menu selection, and the like described in the first embodiment. For example, the voice command corresponding to the start of the operation may be “OK” and the voice command corresponding to the menu selection may be “OK”.
【０２０７】なお、音声認識を用いた場合、コマンドを
覚えるのが楽、しゃべるだけなので誰にでも使える、と
いったメリットがある反面、操作をする際にいつもしゃ
べらなければならない、誤認識が多い、といった問題点
がある。しかし、ジェスチャ取得部６とジャスチャ認識
部７と、音声認識を組み合わせることにより、より扱い
やすいシステムを構築することができる。When voice recognition is used, it is easy to remember a command and can be used by anyone because it can be spoken, but on the other hand, it is necessary to always speak when performing an operation, and there are many erroneous recognitions. There is a problem. However, by combining the gesture acquisition unit 6, the gesture recognition unit 7, and the voice recognition, it is possible to construct a system that is easier to handle.
【０２０８】例えば、操作メニューの階層を選択する際
には、音声を使うと階層を辿らずに即座に行えるので、
音声認識を用い、切替速度（読み上げ速度）や音量など
を調整するための指示は、直感的なので、ジェスチャを
用いた入力を行う。例えば、「音量」と発声した後、メ
ニュー操作ジェスチャを行うことで音量がダイナミック
に調整される。ちょうど良いと思ったところで、「Ｏ
Ｋ」と発声すると決定される。For example, when selecting the hierarchy of the operation menu, if voice is used, it can be performed immediately without following the hierarchy.
Since the instruction for adjusting the switching speed (reading speed), the volume, and the like using voice recognition is intuitive, input is performed using a gesture. For example, the volume is dynamically adjusted by performing a menu operation gesture after uttering "volume". When I thought it was just right, "O
It is decided to say "K".
【０２０９】ナビゲーション・メニュー内で、位置の決
定を指示する際に音声入力を用いることもできる。さら
には、ジェスチャによる指示入力により、ユーザが選択
可能となった複数の項目のうちのいずれかの項目をユー
ザが発声することにより当該項目の選択（決定）を指示
することができる。例えば、地図上に表示されているレ
ストランをジェスチャによって選択し、当該選択したレ
ストランの「電話」「情報」「経路」などのいずれかの
項目を音声コマンドで発行できる。「電話」と発声する
とそのレストランへ電話をかけてくれ、「情報」と発声
するとそのレストランに関する情報を表示し、「経路」
と発声すると、そのレストランへの経路探索を開始す
る。Voice input can also be used in the navigation menu to direct position determination. Furthermore, by inputting an instruction by a gesture, the user can instruct selection (determination) of the item by uttering any one of the plurality of items that the user can select. For example, a restaurant displayed on the map can be selected by a gesture, and any item such as “telephone”, “information”, and “route” of the selected restaurant can be issued by a voice command. If you say "telephone", call the restaurant. If you say "information", information about the restaurant is displayed and "route" is displayed.
, The route search to the restaurant will start.
【０２１０】（第４の実施形態）第４の実施形態とし
て、ここでは、本発明に係るインタフェース装置をＰＤ
Ａ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔ
ａｎｔ）の操作や携帯電話の操作、テレビ、ビデオ、情
報家電機器の操作などに適用した場合について説明す
る。(Fourth Embodiment) As a fourth embodiment, here, the interface device according to the present invention is used as a PD.
A (Personal Digital Assist)
ant) operation, mobile phone operation, television, video, information home appliance operation, and the like.
【０２１１】図３２、図３３は、本発明の第４の実施形
態におけるインタフェース装置の設置方法の一例を示し
た図である。例えば、ユーザのジェスチャにより操作を
行う場合、ＰＤＡや携帯電話端末、家電機器のリモコン
装置などの操作対象機器の裏面に、例えば、ユーザが右
手に持って、右手で行ったジェスチャが取得可能である
ように、インタフェース装置を配置する。32 and 33 are diagrams showing an example of a method of installing the interface device according to the fourth embodiment of the present invention. For example, when an operation is performed by the gesture of the user, the gesture made by the user with the right hand, for example, can be acquired on the back surface of the operation target device such as the PDA, the mobile phone terminal, and the remote control device of the home electric appliance. The interface device.
【０２１２】そして、図３３に示すように、操作対象機
器を右手で保持しながら、人差し指などの手指のジェス
チャを用いて操作対象機器を操作する。Then, as shown in FIG. 33, while holding the operation target device with the right hand, the operation target device is operated using the gesture of the finger such as the index finger.
【０２１３】このように、インタフェース装置の指示入
力部１でジャスチャ、音声などにより指示が入力し易い
ように、当該インタフェース装置を操作対象機器に設け
ることで、上述のような携帯電話などの機器の操作を、
直感的に、かつ視線移動なく、行うことが可能となる。As described above, by providing the interface device to the operation target device so that the instruction input unit 1 of the interface device can easily input an instruction by gesture, voice, etc., the device such as the mobile phone as described above is provided. Operation
It is possible to do it intuitively and without moving the line of sight.
【０２１４】現在、携帯電話は広く普及している。携帯
電話には、ｅ−ｍａｉｌやＷＷＷの閲覧、その他の各種
情報へのアクセスなど、従来の通話機能に加え、情報端
末としての数々の機能が付加されるようになった。特
に、ｅ−ｍａｉｌ機能は広く普及し、携帯電話を保持し
ている人の大部分がこの機能を使用しているといっても
過言ではない。At present, mobile phones are in widespread use. In addition to conventional call functions such as browsing e-mail and WWW and accessing various other information, mobile phones have come to have various functions as information terminals. In particular, it is no exaggeration to say that the e-mail function has become widespread, and that most people who have mobile phones use this function.
【０２１５】しかし、近年、この携帯電話を用いたｅ−
ｍａｉｌ等の使用に関して、安全性の問題がでてきてい
る。携帯電話は自由に持ち歩いて使用することができる
ため、路上で歩きながらｅ−ｍａｉｌで送る文章を作成
する若者が増えてきているという問題である。文章は、
携帯電話の番号ボタンを利用して入力するため、視線
は、どうしても携帯電話の画面に集中する。この動作を
行いながら公道を歩き、他の通行者にぶつかったり、文
章の作成に熱中するあまり、横断歩道の信号が赤である
のに気づかずに、そのまま赤信号を渡ってしまい、交通
事故にあってしまったりするといったような問題であ
る。このような場合に、視線を画面に集中させずに操作
が可能であれば、交通事故や無駄なもめ事などを起こす
ことがなく、安全である。However, in recent years, e-
There are safety issues regarding the use of mail and the like. Since mobile phones can be freely carried around and used, an increasing number of young people are creating sentences to be sent by e-mail while walking on the street. The sentence is
Since the input is performed using the number button of the mobile phone, the line of sight is inevitably concentrated on the screen of the mobile phone. While doing this action, walking on the public road, hitting other passersby, and enthusiastic about writing sentences, I did not notice that the traffic light at the pedestrian crossing was red, so I crossed the red traffic light as it was and caused a traffic accident. It is a problem that it happens. In such a case, if the operation can be performed without concentrating the line of sight on the screen, it is safe without causing a traffic accident or useless trouble.
【０２１６】そこで、図３３のように、携帯電話に本発
明のインタフェース装置を適用することにより、携帯電
話の画面に視線移動をすることなく、メールの入力やＷ
ＷＷの操作などの各種の操作が可能となり、上述したよ
うな問題が解決可能となる。Therefore, as shown in FIG. 33, by applying the interface device of the present invention to a mobile phone, mail input or W can be performed without moving the line of sight on the screen of the mobile phone.
Various operations such as WW operation can be performed, and the problems described above can be solved.
【０２１７】また、近年、ＣＡＴＶや、ＢＳ放送、ＣＳ
放送など、テレビのチャンネルは多チャンネル化してき
ており、数百チャンネル存在する場合もある。このよう
な多チャンネルの放送において、操作者が数百チャンネ
ルの中から、リモコンで目的のチャンネルを迅速に選ぶ
ことは困難である。In recent years, CATV, BS broadcasting, CS
Television channels such as broadcasting have become multi-channel, and there may be several hundred channels. In such multi-channel broadcasting, it is difficult for the operator to quickly select a target channel from the hundreds of channels with a remote controller.
【０２１８】従来のテレビ放送では、１０程度のチャン
ネル数しかなかったため、リモコンに全てのボタンを用
意することが可能であった。そこで、操作者は、目的の
チャンネルのボタンを直接押すだけで、チャンネルを選
ぶことができたが、チャンネル数が増えてしまったため
に、リモコンに全てのチャンネルのボタンを用意するこ
とができなくなった。そこで、１）目的のチャンネルの
番号を入力する方式、２）ＥＰＧ（Ｅｌｅｃｔｒｏｎｉ
ｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）とよばれる番組一覧
を表示して、そこから目的のチャンネルを選択する方
式、３）リモコンの上下ボタンを利用して、チャンネル
を逐次変更して、目的のチャンネルまで辿り着く方式、
の３つの方式がとられることが多い。しかし、１）の場
合、チャンネル番号を知っていないと使用できない。チ
ャンネル数が多くなればなるほど、目的の番組が放送さ
れるチャンネル番号を記憶しておくことは困難である。
２）の場合、非常に多チャンネルの番組表から目的の番
組を選ぶため、広大な番組表のなかを探索して、目的の
番組に辿り着かなくてはならない。これは、操作性に関
する問題がある。３）の場合、例えば、上ボタンで次の
チャンネルへ、下ボタンで前のチャンネルへ、と移動す
る訳だが、現在３００チャンネルにいて、７２１チャン
ネルに行きたいときに、上ボタンを何回も押さなければ
ならないという問題がある。いずれの方法にしても、目
的のチャンネルに迅速に辿り着くことは困難である。In conventional television broadcasting, since there are only about 10 channels, it is possible to prepare all buttons on the remote controller. Therefore, the operator could select the channel by directly pressing the button of the target channel, but because the number of channels increased, it became impossible to prepare buttons for all channels on the remote control. . Therefore, 1) a method of inputting the number of the target channel, 2) EPG (Electronic)
(c Program Guide) A method of displaying a program list called "Program Guide" and selecting a target channel from the program list. 3) A method of sequentially changing channels using the up and down buttons of the remote controller to reach the target channel,
The three methods are often adopted. However, in the case of 1), it cannot be used unless the channel number is known. The greater the number of channels, the more difficult it is to store the channel number on which the target program is broadcast.
In the case of 2), since the target program is selected from the program guide of very many channels, it is necessary to search the vast program guide and reach the target program. This has problems with operability. In the case of 3), for example, you can move to the next channel with the up button and to the previous channel with the down button, but if you are on channel 300 and want to go to channel 721, press the up button many times. There is a problem that has to be. Whichever method is used, it is difficult to quickly reach the target channel.
【０２１９】ここに本発明のインタフェース装置を用い
ることで、このような問題を解決可能である。例えば、
第１の実施形態でも説明したように、指先の位置によっ
て、チャンネルを変えるスピードを変化させることによ
って、目的のチャンネルまで距離がある場合には、早く
変え、目的のチャンネルが近づいてきた際には速度を落
とし、目的のチャンネルが来たら選択するというような
ことが可能となる。By using the interface device of the present invention here, such a problem can be solved. For example,
As described in the first embodiment, by changing the speed at which the channel is changed depending on the position of the fingertip, if there is a distance to the target channel, it is changed quickly, and when the target channel approaches. It is possible to slow down and select when the desired channel comes.
【０２２０】また、ジェスチャの種類によってチャンネ
ルの番号入力の方法を変えることもできる。例えば、図
２６に示したジェスチャＤでチャンネルの１００の位の
値を、ジェスチャＥでチャンネルの１０の位の値を、ジ
ェスチャＣでチャンネルの１の位の値を変更できる様に
することで、チャンネルの番号入力も迅速に可能とな
る。Also, the method of inputting the channel number can be changed depending on the type of gesture. For example, by making it possible to change the value of the hundreds of the channel with the gesture D, the value of the tens of the channel with the gesture E, and the value of the ones digit of the channel with the gesture C shown in FIG. 26, Channel numbers can be input quickly.
【０２２１】また、ビデオに本発明のインタフェース装
置を適用した場合、リモコンに視線を移動せずに、ビデ
オの早送りなどが可能となる。映画などを見ている際
に、リモコン操作のために視線を移動したため、大事な
場面を見逃してしまう、といった問題が解決できる。さ
らに、ジェスチャの種類によって早送りのスピードなど
を自由にコントロール可能なため、操作者が視線移動な
しで迅速操作可能なだけでなく、その操作方法も自由に
コントロールできるという利点もある。When the interface device of the present invention is applied to a video, the video can be fast-forwarded without moving the line of sight on the remote controller. When watching a movie, you can solve the problem of missing important scenes because you moved your line of sight to operate the remote control. Furthermore, since the fast-forward speed and the like can be freely controlled depending on the type of gesture, there is an advantage that not only the operator can perform a quick operation without moving the line of sight, but also the operation method can be freely controlled.
【０２２２】以上のように、本発明は、車載機器の操作
だけではなく、ＰＤＡ、携帯電話、家電機器などの汎用
的なインタフェースとして、効果的に適用可能である。As described above, the present invention can be effectively applied not only to the operation of in-vehicle equipment but also as a general-purpose interface for PDAs, mobile phones, home appliances and the like.
【０２２３】なお、上記第４の実施形態では、操作対象
機器の裏側にユーザ右手で操作可能なようにジェスチャ
の取得方向に向けて設置することに関して説明してきた
が、これに限定されるものではない。機器の表側に、操
作者の方を向くように設置してもよいし、裏側に、操作
者とは逆方向に向くように設置してもよいし、それ以外
の方法でも構わない。The fourth embodiment has been described with respect to installation on the back side of the operation target device so as to be operated by the user's right hand in the gesture acquisition direction. However, the present invention is not limited to this. Absent. The device may be installed on the front side of the device so as to face the operator, on the back side of the device so as to face in the opposite direction to the operator, or other methods may be used.
【０２２４】要は、インタフェース装置に対し、ユーザ
が指示を入力する際に、その指示がユーザによるジェス
チャによりなされるものであれば、そのジェスチャが取
得し易い位置に設けるようにすればよい。もちろんイン
タフェース装置に対しなされるは指示は、ジェスチャに
限らない。音声認識や操作ボタンにより指示入力を行う
ものであってもよい。そのような場合であっても、ユー
ザの発声音が正確に取得できるような所、操作ボタンが
操作し易い所に、指示入力部１（あるいはインタフェー
ス装置そのものを）を設けるようにすればよい。In short, when the user inputs an instruction to the interface device, if the instruction is made by a gesture by the user, the gesture may be provided at a position where the gesture can be easily obtained. Of course, the instruction given to the interface device is not limited to the gesture. Instruction input may be performed by voice recognition or operation buttons. Even in such a case, the instruction input unit 1 (or the interface device itself) may be provided at a place where the user's vocal sound can be accurately acquired or where the operation buttons are easy to operate.
【０２２５】なお、本発明の実施の形態に記載した本発
明の手法（特に、制御部２，操作メニュー操作部３、通
知部４、機器動作制御部５の図２７〜図２９に示した処
理機能）は、コンピュータに実行させることのできるプ
ログラムとして、磁気ディスク（フロッピー（登録商
標）ディスク、ハードディスクなど）、光ディスク（Ｃ
Ｄ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒
体に格納して頒布することもできる。The method of the present invention described in the embodiments of the present invention (in particular, the processing of the control unit 2, the operation menu operation unit 3, the notification unit 4, and the device operation control unit 5 shown in FIGS. 27 to 29). Function) is a program that can be executed by a computer, such as a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), optical disk (C
It can also be distributed by being stored in a recording medium such as a D-ROM, a DVD, etc.) or a semiconductor memory.
【０２２６】なお、本発明は、上記実施形態に限定され
るものではなく、実施段階ではその要旨を逸脱しない範
囲で種々に変形することが可能である。さらに、上記実
施形態には種々の段階の発明は含まれており、開示され
る複数の構成用件における適宜な組み合わせにより、種
々の発明が抽出され得る。例えば、実施形態に示される
全構成要件から幾つかの構成要件が削除されても、発明
が解決しようとする課題の欄で述べた課題（の少なくと
も１つ）が解決でき、発明の効果の欄で述べられている
効果（のなくとも１つ）が得られる場合には、この構成
要件が削除された構成が発明として抽出され得る。The present invention is not limited to the above-described embodiment, and can be variously modified at the stage of implementation without departing from the spirit of the invention. Further, the embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent requirements. For example, even if some constituent elements are deleted from all the constituent elements shown in the embodiment, the problem (at least one) described in the section of the problem to be solved by the invention can be solved, and the column of the effect of the invention. When the effect (or at least one) described in 1) is obtained, a configuration in which this constituent element is deleted can be extracted as an invention.
【０２２７】[0227]
【発明の効果】以上説明したように、本発明によれば、
視線を動かすことなく容易に、しかも正確に効率よく機
器を操作することが可能となる。As described above, according to the present invention,
It is possible to operate the device easily, accurately and efficiently without moving the line of sight.
【図１】本発明のインタフェース装置の構成例を概略的
に示す図。FIG. 1 is a diagram schematically showing a configuration example of an interface device of the present invention.
【図２】図１の操作メニュー操作部の機能構成を示した
図。FIG. 2 is a diagram showing a functional configuration of an operation menu operation unit in FIG.
【図３】操作対象機器の操作メニューの一例を示した
図。FIG. 3 is a diagram showing an example of an operation menu of an operation target device.
【図４】ショートカットメニューについて説明するため
の図。FIG. 4 is a diagram for explaining a shortcut menu.
【図５】フェイバリット・メニューについて説明するた
めの図。FIG. 5 is a diagram for explaining a favorite menu.
【図６】本発明の一実施形態に係るインタフェース装置
の構成例を示した図。FIG. 6 is a diagram showing a configuration example of an interface device according to an embodiment of the present invention.
【図７】ジェスチャの具体例を示した図。FIG. 7 is a diagram showing a specific example of a gesture.
【図８】画像入力装置の外観の一例を示した図。FIG. 8 is a diagram showing an example of an external appearance of an image input device.
【図９】画像入力装置の構成例を示した図。FIG. 9 is a diagram showing a configuration example of an image input device.
【図１０】反射光の強度を画素値とする距離画像の一例
を示した図。FIG. 10 is a diagram showing an example of a distance image having the intensity of reflected light as a pixel value.
【図１１】図１０に示した様なマトリックス形式の距離
画像を３次元的な表した図。FIG. 11 is a three-dimensional view of a matrix range image as shown in FIG.
【図１２】距離画像から抽出された物体の輪郭画像の一
例を示した図。FIG. 12 is a diagram showing an example of an outline image of an object extracted from a distance image.
【図１３】画像入力装置の取り付け位置について説明す
るための図。FIG. 13 is a diagram for explaining a mounting position of the image input device.
【図１４】手指を用いたジェスチャについて説明するた
めの図。FIG. 14 is a diagram for explaining a gesture using fingers.
【図１５】画像入力装置で取得されたジェスチャの表示
イメージを示した図。FIG. 15 is a diagram showing a display image of a gesture acquired by the image input device.
【図１６】画像入力装置で取得されたジェスチャの表示
イメージを示した図。FIG. 16 is a diagram showing a display image of a gesture acquired by the image input device.
【図１７】手指を用いたジェスチャについて説明するた
めの図。FIG. 17 is a diagram for explaining a gesture using fingers.
【図１８】指先の特徴点について説明するための図。FIG. 18 is a diagram for explaining characteristic points of a fingertip.
【図１９】指先の特徴点を算出する処理を説明するため
のフローチャート。FIG. 19 is a flowchart illustrating a process of calculating a feature point of a fingertip.
【図２０】距離画像から握りこぶし部分の領域の抽出方
法を説明するための図。FIG. 20 is a diagram for explaining a method of extracting a region of a fist part from a range image.
【図２１】距離画像から指先部分の領域の抽出方法を説
明するための図。FIG. 21 is a diagram for explaining a method of extracting a region of a fingertip portion from a distance image.
【図２２】指先の向きの認識方法について説明するため
の図。FIG. 22 is a diagram for explaining a method for recognizing the direction of a fingertip.
【図２３】画像入力装置で取得されたジェスチャの表示
イメージを示した図。FIG. 23 is a diagram showing a display image of a gesture acquired by the image input device.
【図２４】画像入力装置で取得されたジェスチャの表示
イメージを示した図。FIG. 24 is a diagram showing a display image of a gesture acquired by the image input device.
【図２５】制御部の状態遷移を説明するための図。FIG. 25 is a diagram for explaining state transition of the control unit.
【図２６】手指を用いたジェスチャについて説明するた
めの図。FIG. 26 is a diagram for explaining a gesture using fingers.
【図２７】制御部と操作メニュー操作部と通知部の動作
を説明するためのフローチャート。FIG. 27 is a flowchart for explaining operations of the control unit, the operation menu operation unit, and the notification unit.
【図２８】制御部と操作メニュー操作部と通知部の動作
を説明するためのフローチャート。FIG. 28 is a flowchart for explaining operations of the control unit, the operation menu operation unit, and the notification unit.
【図２９】制御部と操作メニュー操作部と通知部の動作
を説明するためのフローチャート。FIG. 29 is a flowchart for explaining operations of the control unit, the operation menu operation unit, and the notification unit.
【図３０】手指を用いたジェスチャについて説明するた
めの図。FIG. 30 is a diagram for explaining a gesture using fingers.
【図３１】表示画面を設置する位置を説明するための
図。FIG. 31 is a diagram for explaining a position where a display screen is installed.
【図３２】インタフェース装置の設置位置の一例につい
て説明するための図。FIG. 32 is a diagram for explaining an example of the installation position of the interface device.
【図３３】インタフェース装置の設置位置の他の例につ
いて説明するための図。FIG. 33 is a diagram for explaining another example of the installation position of the interface device.
１…指示入力部 ２…制御部 ３…操作メニュー操作部 ４…通知部 ５…機器動作制御部 ６…ジェスチャ取得部 ７…ジェスチャ認識部 １１…操作メニュー保持部 １２…メニュー選択部 １３…操作メニュー受胎管理部 １４…操作対象切替部 １５…操作コマンド出力部 1 ... Instruction input section 2 ... Control unit 3 ... Operation menu operation section 4 ... Notification section 5: Equipment operation control unit 6 ... Gesture acquisition unit 7 ... Gesture recognition unit 11 ... Operation menu holding unit 12 ... Menu selection section 13 ... Operation Menu Conception Management Department 14 ... Operation target switching unit 15 ... Operation command output section
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 13/00 Ｇ０１Ｃ 21/00 Ｈ ５Ｌ０９６ // Ｇ０１Ｃ 21/00 Ｇ０６Ｆ 3/03 ３３０Ｚ Ｇ０６Ｆ 3/03 ３３０ Ｇ０８Ｇ 1/0969 Ｇ０８Ｇ 1/0969 Ｇ１０Ｌ 3/00 Ｑ (72)発明者 原島 高広 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 2F029 AA02 AC02 AC12 AC18 5B068 AA05 BB18 CC19 5D045 AB03 AB17 5E501 AA04 AA20 AA22 AA23 AB03 BA05 BA13 CA08 CA10 CB03 CB04 CB05 CB14 CB15 CC11 EA21 EA33 EB05 FA04 FA05 FA32 5H180 AA01 BB02 BB04 BB05 CC02 CC04 CC11 EE18 FF05 FF12 FF13 FF22 FF25 FF27 FF32 5L096 AA03 AA06 CA02 CA14 DA02 FA06 FA24 FA66 HA08 JA11─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 7 Identification code FI theme code (reference) G10L 13/00 G01C 21/00 H 5L096 // G01C 21/00 G06F 3/03 330Z G06F 3/03 330 G08G 1/0969 G08G 1/0969 G10L 3/00 Q (72) Inventor Takahiro Harashima No. 1 Komukai Toshiba Town, Komukai-shi, Kawasaki City, Kanagawa Prefecture F-Term (Reference) 2F029 AA02 AC02 AC12 AC18 5B068 AA05 BB18 CC19 5D045 AB03 AB17 5E501 AA04 AA20 AA22 AA23 AB03 BA05 BA13 CA08 CA10 CB03 CB04 CB05 CB14 CB15 CC11 EA21 EA33 EB05 FA04 FA05 FA32 5H180 AA01 BB02 BB04 BB05 CC02 CC04 CC11 EE18 FF05 FF12 FF13 FF22 FF25 FF27 FF32 5L096 AA03 AA06 CA02 CA14 DA02 FA06 FA24 FA66 HA08 JA11
Claims (16)
めのインタフェース装置であって、 前記複数の操作項目のうち、ユーザが選択可能な操作項
目を予め定められた順序に従って所定間隔で１つずつ自
装置の操作対象として選択する選択手段と、 前記操作対象を選択する間隔に合わせて、現在操作対象
となっている操作項目をユーザに通知する通知手段と、 ユーザからの各種指示を入力する指示入力手段と、 この指示入力手段で所定の選択指示が入力されたときに
前記操作対象となっている操作項目に基づき前記機器に
対する操作を行う手段と、 を具備したことを特徴とするインタフェース装置。1. An interface device for operating a device having a plurality of operation items, wherein one operation item selectable by a user is selected from the plurality of operation items at a predetermined interval in a predetermined order. Selection means for selecting each as an operation target of its own device, notification means for notifying the user of the operation item that is currently the operation target according to the interval for selecting the operation target, and inputting various instructions from the user An interface device comprising: an instruction input unit; and a unit that operates the device based on an operation item that is an operation target when a predetermined selection instruction is input by the instruction input unit. .
されたとき、前記操作対象としての操作項目を選択する
間隔を変更することを特徴とする請求項１記載のインタ
フェース装置。2. The interface device according to claim 1, wherein when the first operation instruction is input by the instruction input means, an interval for selecting an operation item as the operation target is changed.
いる操作項目を音声でユーザに通知することを特徴とす
る請求項１記載のインタフェース装置。3. The interface device according to claim 1, wherein the notifying unit notifies the user of the operation item currently being operated by voice.
る操作項目に対応する音や旋律とともに、該操作対象の
操作項目を音声でユーザに通知することを特徴とする請
求項１記載のインタフェース装置。4. The notification means notifies the user of the operation item of the operation target by voice along with the sound or melody corresponding to the operation item of the current operation target. Interface device.
る操作項目に対応する音や旋律で該操作対象の操作項目
をユーザに通知することを特徴とする請求項１記載のイ
ンタフェース装置。5. The interface device according to claim 1, wherein the notifying unit notifies the user of the operation item of the operation target by a sound or melody corresponding to the operation item of the current operation target.
る操作項目に対応する振動で該操作対象の操作項目をユ
ーザに通知することを特徴とする請求項３〜５のいずれ
か１つに記載のインタフェース装置。6. The notification means notifies the user of the operation item of the operation target by the vibration corresponding to the operation item of the current operation target. The interface device according to.
されたとき、前記選択手段は、現在の操作対象としての
操作項目から所定個前に前記操作対象として選択した操
作項目から再び選択し直すことを特徴とする請求項１記
載のインタフェース装置。7. When the second operation instruction is input by the instruction input means, the selection means selects again from the operation item selected as the operation target a predetermined number of times before the operation item as the current operation target. The interface device according to claim 1, wherein the interface device is redone.
されたとき、前記選択手段は、該選択指示が入力される
前に選択していた操作項目を再び選択し直して、直前に
入力された前記選択指示を取り消すことを特徴とする請
求項１記載のインタフェース装置。8. When the third operation instruction is input by the instruction input means, the selection means reselects the operation item selected before the selection instruction is input, and immediately before the selection. The interface device according to claim 1, wherein the input selection instruction is canceled.
から、そのジェスチャの種類に対応した指示を認識する
ことを特徴とする請求項１記載のインタフェース装置。9. The interface device according to claim 1, wherein the instruction input unit recognizes an instruction corresponding to the type of the gesture from the gesture of the user.
ャから、そのジェスチャの種類に対応した指示を認識す
るものであって、 前記ジェスチャを行うユーザの身体の一部を撮像した画
像を取得する画像取得手段と、 前記画像を基に、前記ジャスチャの種類に対応した指示
を認識する認識手段と、を具備したことを特徴とする請
求項１記載のインタフェース装置。10. The instruction input means is for recognizing an instruction corresponding to the type of the gesture from a gesture of the user, and an image for acquiring an image of a part of the body of the user performing the gesture. The interface device according to claim 1, further comprising: an acquisition unit and a recognition unit that recognizes an instruction corresponding to the type of the gesture based on the image.
離画像であることを特徴とする請求項１０記載のインタ
フェース装置。11. The interface device according to claim 10, wherein the image acquired by the image acquisition means is a distance image.
ャから、そのジェスチャの種類に対応した指示を認識す
るものであって、 撮像対象として予め定められた前記ジェスチャを行うユ
ーザの身体の一部に対し所定の光を照射したときに該撮
像対象からの反射光を含む光を受光し、その受光量から
該撮像対象に該光を照射していないときの受光量を差し
引いた結果得られる、該撮像対象からの反射光の強度分
布で表された該撮像対象の画像を取得する画像取得手段
と、 前記画像を基に、前記ジャスチャの種類に対応した指示
を認識する認識手段と、 を具備したことを特徴とする請求項１記載のインタフェ
ース装置。12. The instruction input means recognizes an instruction corresponding to a type of the gesture from a gesture of the user, and a part of the body of the user who performs the gesture predetermined as an imaging target. On the other hand, when a predetermined light is irradiated, the light including the reflected light from the imaging target is received, and the light reception amount when the light is not radiated to the imaging target is subtracted from the received light amount. An image acquisition unit that acquires an image of the imaging target represented by the intensity distribution of reflected light from the imaging target, and a recognition unit that recognizes an instruction corresponding to the type of the gesture based on the image. The interface device according to claim 1, wherein:
ための操作制御方法であって、 前記複数の操作項目のうち、ユーザが選択可能な操作項
目を予め定められた順序に従って所定間隔で１つずつ操
作対象として選択し、前記操作対象を選択する間隔に合
わせて、現在操作対象となっている操作項目をユーザに
通知し、ユーザからの所定の選択指示が入力されたとき
に前記操作対象となっている操作項目に基づき前記機器
に対する操作を行うことを特徴とする操作制御方法。13. An operation control method for operating a device having a plurality of operation items, wherein among the plurality of operation items, operation items selectable by a user are set at predetermined intervals according to a predetermined order. Each of them is selected as an operation target, the operation item that is currently the operation target is notified to the user in accordance with the interval for selecting the operation target, and the operation target is input when a predetermined selection instruction is input from the user The operation control method is characterized in that the device is operated based on the operation item.
音声でユーザに通知することを特徴とする請求項１３記
載の操作制御方法。14. The operation control method according to claim 13, wherein the operation item currently being operated is notified to the user by voice.
ャの種類に対応した指示を認識し、該認識した指示に基
づき前記機器に対する操作を行うことを特徴とする請求
項１３記載の操作制御方法。15. The operation control method according to claim 13, wherein an instruction corresponding to the type of the gesture is recognized from the gesture of the user, and the device is operated based on the recognized instruction.
ためのプログラムであって、 前記複数の操作項目のうち、ユーザが選択可能な操作項
目を予め定められた順序に従って所定間隔で１つずつ操
作対象として選択し、前記操作対象を選択する間隔に合
わせて、現在操作対象となっている操作項目をユーザに
通知するステップと、 ユーザからの所定の選択指示が入力されたときに前記操
作対象となっている操作項目に基づき前記機器に対する
操作を行うステップと、 をコンピュータに実行させるためのプログラム。16. A program for operating a device having a plurality of operation items, wherein among the plurality of operation items, operation items selectable by a user are selected one by one in a predetermined order in a predetermined order. Selecting the operation target, and notifying the user of the operation item that is currently the operation target in accordance with the interval at which the operation target is selected; and the operation target when a predetermined selection instruction from the user is input. And a program for causing a computer to execute a step of operating the device based on the operation item.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001323999A JP2003131785A (en) | 2001-10-22 | 2001-10-22 | Interface device, operation control method and program product |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001323999A JP2003131785A (en) | 2001-10-22 | 2001-10-22 | Interface device, operation control method and program product |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007030862A Division JP2007164814A (en) | 2007-02-09 | 2007-02-09 | Interface device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003131785A true JP2003131785A (en) | 2003-05-09 |
Family
ID=19140807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001323999A Pending JP2003131785A (en) | 2001-10-22 | 2001-10-22 | Interface device, operation control method and program product |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003131785A (en) |
Cited By (72)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005050028A (en) * | 2003-07-31 | 2005-02-24 | Nissan Motor Co Ltd | Command input device and vehicle mounted with command input device |
| JP2005047329A (en) * | 2003-07-31 | 2005-02-24 | Nissan Motor Co Ltd | Input device for vehicle |
| JP2005047331A (en) * | 2003-07-31 | 2005-02-24 | Nissan Motor Co Ltd | Control device |
| JP2005047412A (en) * | 2003-07-30 | 2005-02-24 | Nissan Motor Co Ltd | Non-contact information input device |
| JP2005178473A (en) * | 2003-12-17 | 2005-07-07 | Denso Corp | Interface for in-vehicle equipment |
| JP2005250785A (en) * | 2004-03-03 | 2005-09-15 | Nissan Motor Co Ltd | Operation input device for vehicle and method thereof |
| WO2005091296A1 (en) * | 2004-03-19 | 2005-09-29 | Pioneer Corporation | Audio information output device, audio information output method, and audio information output program |
| JP2005278040A (en) * | 2004-03-26 | 2005-10-06 | Alpine Electronics Inc | Display device and method for indicating display direction |
| JP2005274180A (en) * | 2004-03-23 | 2005-10-06 | Alpine Electronics Inc | Data input apparatus |
| JP2005301693A (en) * | 2004-04-12 | 2005-10-27 | Japan Science & Technology Agency | Animation editing system |
| JP2005339444A (en) * | 2004-05-31 | 2005-12-08 | Toshiba Matsushita Display Technology Co Ltd | Display device |
| JP2006018780A (en) * | 2004-07-05 | 2006-01-19 | Nec Electronics Corp | Item selection device and program |
| JP2006099749A (en) * | 2004-08-31 | 2006-04-13 | Matsushita Electric Works Ltd | Gesture switch |
| JP2006155244A (en) * | 2004-11-29 | 2006-06-15 | Olympus Corp | Information display device |
| JP2006285370A (en) * | 2005-03-31 | 2006-10-19 | Mitsubishi Fuso Truck & Bus Corp | Hand pattern switch device and hand pattern operation method |
| JP2006335112A (en) * | 2005-05-31 | 2006-12-14 | Nissan Motor Co Ltd | Command input device |
| JP2007504565A (en) * | 2004-06-03 | 2007-03-01 | リープフロッグ エンタープライズィーズ，インコーポレイテッド | Interactive interface created by the user |
| JP2007087104A (en) * | 2005-09-22 | 2007-04-05 | Sony Corp | Voice output controller and voice output control method, recording medium and program |
| JP2007531141A (en) * | 2004-03-29 | 2007-11-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Driving multiple applications with a common dialog management system |
| WO2008139998A1 (en) * | 2007-05-10 | 2008-11-20 | Toyota Jidosha Kabushiki Kaisha | Information processing device |
| JP2008541256A (en) * | 2005-05-13 | 2008-11-20 | ノキア コーポレイション | Character input method for electronic devices |
| JP2009031981A (en) * | 2007-07-26 | 2009-02-12 | Mitsubishi Electric Corp | Interface device, interface method and interface program |
| JP2010500645A (en) * | 2006-08-08 | 2010-01-07 | マイクロソフト コーポレーション | Virtual controller for visual display |
| JP2010026099A (en) * | 2008-07-16 | 2010-02-04 | Nippon Hoso Kyokai <Nhk> | Voice control device, voice control method and voice control program |
| JP2010181981A (en) * | 2009-02-03 | 2010-08-19 | Panasonic Electric Works Co Ltd | Operation display device |
| JP2010257495A (en) * | 2010-08-20 | 2010-11-11 | Denso Corp | Operation input device |
| JP2011060337A (en) * | 2004-08-31 | 2011-03-24 | Panasonic Electric Works Co Ltd | Gesture switch |
| JP2011065652A (en) * | 2004-05-14 | 2011-03-31 | Honda Motor Co Ltd | Sign based man-machine interaction |
| JP2011517584A (en) * | 2008-03-18 | 2011-06-16 | エリプティック・ラボラトリーズ・アクシェルスカブ | Object and motion detection |
| JP2011163979A (en) * | 2010-02-10 | 2011-08-25 | Stanley Electric Co Ltd | Reception control device and reception control method of vehicle-mounted device |
| JP2011525283A (en) * | 2008-06-18 | 2011-09-15 | オブロング・インダストリーズ・インコーポレーテッド | Gesture reference control system for vehicle interface |
| JP2011215921A (en) * | 2010-03-31 | 2011-10-27 | Namco Bandai Games Inc | Program, information storage medium, and image generation system |
| JP2012506579A (en) * | 2008-10-23 | 2012-03-15 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | Apparatus, method, and computer program for recognizing gesture in image, and apparatus, method, and computer program for controlling device |
| JP2012162127A (en) * | 2011-02-04 | 2012-08-30 | Nissan Motor Co Ltd | Operation apparatus for vehicle-mounted device, and stimulus output method |
| JP2012191279A (en) * | 2011-03-09 | 2012-10-04 | Sadayuki Amiya | Television set |
| JP2013045416A (en) * | 2011-08-26 | 2013-03-04 | Toshiba Alpine Automotive Technology Corp | Driving support device |
| JP2013061858A (en) * | 2011-09-14 | 2013-04-04 | Denso Corp | Interface device |
| JP2013513179A (en) * | 2009-12-08 | 2013-04-18 | キネテイツク・リミテツド | Detection based on distance |
| CN103097989A (en) * | 2011-01-31 | 2013-05-08 | 松下电器产业株式会社 | Information processing device, processing control method, program, and recording medium |
| JP2013143082A (en) * | 2012-01-12 | 2013-07-22 | Fujitsu Ltd | Finger position detection device, finger position detection method and finger position detection computer program |
| JP2013164663A (en) * | 2012-02-09 | 2013-08-22 | Denso Corp | Inattentive driving determination device and inattentive driving determination method |
| WO2013175603A1 (en) * | 2012-05-24 | 2013-11-28 | パイオニア株式会社 | Operation input device, operation input method and operation input program |
| CN103732480A (en) * | 2011-06-17 | 2014-04-16 | 罗伯特·博世有限公司 | Method and device for assisting a driver in performing lateral guidance of a vehicle on a carriageway |
| KR20140064693A (en) * | 2012-11-20 | 2014-05-28 | 삼성전자주식회사 | User gesture input to wearable electronic device involving movement of device |
| JP2014115699A (en) * | 2012-12-06 | 2014-06-26 | Alpine Electronics Inc | In-vehicle system |
| JP2014119295A (en) * | 2012-12-14 | 2014-06-30 | Clarion Co Ltd | Control device and portable terminal |
| JP2015006821A (en) * | 2013-06-24 | 2015-01-15 | マツダ株式会社 | Vehicular information display device |
| JP2015059935A (en) * | 2013-09-17 | 2015-03-30 | ソニー株式会社 | Altering exercise routes based on device determined information |
| JP5709227B2 (en) * | 2011-04-28 | 2015-04-30 | Ｎｅｃソリューションイノベータ株式会社 | Information processing apparatus, information processing method, and program |
| JP2015133109A (en) * | 2013-12-20 | 2015-07-23 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | Gesture based input system in vehicle with haptic feedback |
| WO2016017250A1 (en) * | 2014-08-01 | 2016-02-04 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| US9269119B2 (en) | 2014-01-22 | 2016-02-23 | Sony Corporation | Devices and methods for health tracking and providing information for improving health |
| JP2016048588A (en) * | 2012-04-26 | 2016-04-07 | 株式会社三菱東京Ｕｆｊ銀行 | Information processing apparatus |
| JP2016157457A (en) * | 2016-03-31 | 2016-09-01 | パイオニア株式会社 | Operation input device, operation input method and operation input program |
| JP2016168958A (en) * | 2015-03-13 | 2016-09-23 | 矢崎総業株式会社 | Operation system for vehicle |
| WO2016185634A1 (en) * | 2015-05-21 | 2016-11-24 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device |
| JP2017142820A (en) * | 2017-03-16 | 2017-08-17 | パイオニア株式会社 | Operation input device, operation input method and operation input program |
| JP2018147500A (en) * | 2018-04-12 | 2018-09-20 | パイオニア株式会社 | Operation input device, operation input method and operation input program |
| US10194060B2 (en) | 2012-11-20 | 2019-01-29 | Samsung Electronics Company, Ltd. | Wearable electronic device |
| KR20190028572A (en) * | 2008-11-10 | 2019-03-18 | 구글 엘엘씨 | Multisensory speech detection |
| WO2019171635A1 (en) * | 2018-03-07 | 2019-09-12 | Ｎｅｃソリューションイノベータ株式会社 | Operation input device, operation input method, anc computer-readable recording medium |
| US10423214B2 (en) | 2012-11-20 | 2019-09-24 | Samsung Electronics Company, Ltd | Delegating processing from wearable electronic device |
| JP2019536673A (en) * | 2017-08-10 | 2019-12-19 | ペキン センスタイム テクノロジー ディベロップメント カンパニー リミテッド | Driving state monitoring method and device, driver monitoring system, and vehicle |
| US10551928B2 (en) | 2012-11-20 | 2020-02-04 | Samsung Electronics Company, Ltd. | GUI transitions on wearable electronic device |
| US10691332B2 (en) | 2014-02-28 | 2020-06-23 | Samsung Electronics Company, Ltd. | Text input on an interactive display |
| JP2020117184A (en) * | 2019-01-28 | 2020-08-06 | 株式会社東海理化電機製作所 | Operation recognition device, computer program, and storage medium |
| JP2020123369A (en) * | 2020-04-02 | 2020-08-13 | パイオニア株式会社 | Operation input device, operation input method and operation input program |
| US11157436B2 (en) | 2012-11-20 | 2021-10-26 | Samsung Electronics Company, Ltd. | Services associated with wearable electronic device |
| US11237719B2 (en) | 2012-11-20 | 2022-02-01 | Samsung Electronics Company, Ltd. | Controlling remote electronic device with wearable electronic device |
| CN114454814A (en) * | 2022-01-26 | 2022-05-10 | 深圳时空科技集团有限公司 | Human-computer interaction method and device for augmented reality |
| US11372536B2 (en) | 2012-11-20 | 2022-06-28 | Samsung Electronics Company, Ltd. | Transition and interaction model for wearable electronic device |
| US11947869B2 (en) | 2019-04-01 | 2024-04-02 | Sony Group Corporation | Information processing device, information processing method, and program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0436631U (en) * | 1990-07-17 | 1992-03-27 | ||
| JPH08315154A (en) * | 1995-02-21 | 1996-11-29 | Mitsubishi Electric Res Lab Inc | Gesture recognition system |
| JPH10177449A (en) * | 1996-10-18 | 1998-06-30 | Toshiba Corp | Information input device, information input method, corrected data generating device and solid-state image pickup device |
| JPH11262073A (en) * | 1998-03-13 | 1999-09-24 | Mitsubishi Electric Corp | Remote control system |
| JPH11338614A (en) * | 1998-05-27 | 1999-12-10 | Noritz Corp | Operation input device |
| JP2000075991A (en) * | 1998-08-28 | 2000-03-14 | Aqueous Research:Kk | Information input device |
| JP2001125767A (en) * | 1999-10-28 | 2001-05-11 | Sharp Corp | Device and method for presenting information and computer readable recording medium with recorded information presentation program |
| JP2001216069A (en) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | Operation inputting device and direction detecting method |
-
2001
- 2001-10-22 JP JP2001323999A patent/JP2003131785A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0436631U (en) * | 1990-07-17 | 1992-03-27 | ||
| JPH08315154A (en) * | 1995-02-21 | 1996-11-29 | Mitsubishi Electric Res Lab Inc | Gesture recognition system |
| JPH10177449A (en) * | 1996-10-18 | 1998-06-30 | Toshiba Corp | Information input device, information input method, corrected data generating device and solid-state image pickup device |
| JPH11262073A (en) * | 1998-03-13 | 1999-09-24 | Mitsubishi Electric Corp | Remote control system |
| JPH11338614A (en) * | 1998-05-27 | 1999-12-10 | Noritz Corp | Operation input device |
| JP2000075991A (en) * | 1998-08-28 | 2000-03-14 | Aqueous Research:Kk | Information input device |
| JP2001125767A (en) * | 1999-10-28 | 2001-05-11 | Sharp Corp | Device and method for presenting information and computer readable recording medium with recorded information presentation program |
| JP2001216069A (en) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | Operation inputting device and direction detecting method |
Cited By (99)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005047412A (en) * | 2003-07-30 | 2005-02-24 | Nissan Motor Co Ltd | Non-contact information input device |
| JP2005050028A (en) * | 2003-07-31 | 2005-02-24 | Nissan Motor Co Ltd | Command input device and vehicle mounted with command input device |
| JP2005047329A (en) * | 2003-07-31 | 2005-02-24 | Nissan Motor Co Ltd | Input device for vehicle |
| JP2005047331A (en) * | 2003-07-31 | 2005-02-24 | Nissan Motor Co Ltd | Control device |
| JP2005178473A (en) * | 2003-12-17 | 2005-07-07 | Denso Corp | Interface for in-vehicle equipment |
| JP2005250785A (en) * | 2004-03-03 | 2005-09-15 | Nissan Motor Co Ltd | Operation input device for vehicle and method thereof |
| WO2005091296A1 (en) * | 2004-03-19 | 2005-09-29 | Pioneer Corporation | Audio information output device, audio information output method, and audio information output program |
| JP2005274180A (en) * | 2004-03-23 | 2005-10-06 | Alpine Electronics Inc | Data input apparatus |
| JP2005278040A (en) * | 2004-03-26 | 2005-10-06 | Alpine Electronics Inc | Display device and method for indicating display direction |
| JP2007531141A (en) * | 2004-03-29 | 2007-11-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Driving multiple applications with a common dialog management system |
| JP2005301693A (en) * | 2004-04-12 | 2005-10-27 | Japan Science & Technology Agency | Animation editing system |
| JP2011065652A (en) * | 2004-05-14 | 2011-03-31 | Honda Motor Co Ltd | Sign based man-machine interaction |
| JP2005339444A (en) * | 2004-05-31 | 2005-12-08 | Toshiba Matsushita Display Technology Co Ltd | Display device |
| JP2007504565A (en) * | 2004-06-03 | 2007-03-01 | リープフロッグ エンタープライズィーズ，インコーポレイテッド | Interactive interface created by the user |
| JP2006018780A (en) * | 2004-07-05 | 2006-01-19 | Nec Electronics Corp | Item selection device and program |
| JP2006099749A (en) * | 2004-08-31 | 2006-04-13 | Matsushita Electric Works Ltd | Gesture switch |
| JP4692159B2 (en) * | 2004-08-31 | 2011-06-01 | パナソニック電工株式会社 | Gesture switch |
| JP2011060337A (en) * | 2004-08-31 | 2011-03-24 | Panasonic Electric Works Co Ltd | Gesture switch |
| JP2006155244A (en) * | 2004-11-29 | 2006-06-15 | Olympus Corp | Information display device |
| JP2006285370A (en) * | 2005-03-31 | 2006-10-19 | Mitsubishi Fuso Truck & Bus Corp | Hand pattern switch device and hand pattern operation method |
| JP2008541256A (en) * | 2005-05-13 | 2008-11-20 | ノキア コーポレイション | Character input method for electronic devices |
| JP2006335112A (en) * | 2005-05-31 | 2006-12-14 | Nissan Motor Co Ltd | Command input device |
| JP2007087104A (en) * | 2005-09-22 | 2007-04-05 | Sony Corp | Voice output controller and voice output control method, recording medium and program |
| JP2010500645A (en) * | 2006-08-08 | 2010-01-07 | マイクロソフト コーポレーション | Virtual controller for visual display |
| US8552976B2 (en) | 2006-08-08 | 2013-10-08 | Microsoft Corporation | Virtual controller for visual displays |
| WO2008139998A1 (en) * | 2007-05-10 | 2008-11-20 | Toyota Jidosha Kabushiki Kaisha | Information processing device |
| JP2009031981A (en) * | 2007-07-26 | 2009-02-12 | Mitsubishi Electric Corp | Interface device, interface method and interface program |
| JP2011517584A (en) * | 2008-03-18 | 2011-06-16 | エリプティック・ラボラトリーズ・アクシェルスカブ | Object and motion detection |
| JP2014221636A (en) * | 2008-06-18 | 2014-11-27 | オブロング・インダストリーズ・インコーポレーテッド | Gesture-based control system for vehicle interface |
| JP2011525283A (en) * | 2008-06-18 | 2011-09-15 | オブロング・インダストリーズ・インコーポレーテッド | Gesture reference control system for vehicle interface |
| JP2010026099A (en) * | 2008-07-16 | 2010-02-04 | Nippon Hoso Kyokai <Nhk> | Voice control device, voice control method and voice control program |
| JP2012506579A (en) * | 2008-10-23 | 2012-03-15 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | Apparatus, method, and computer program for recognizing gesture in image, and apparatus, method, and computer program for controlling device |
| KR20200078698A (en) * | 2008-11-10 | 2020-07-01 | 구글 엘엘씨 | Multisensory speech detection |
| KR102128562B1 (en) * | 2008-11-10 | 2020-06-30 | 구글 엘엘씨 | Multisensory speech detection |
| KR102339297B1 (en) * | 2008-11-10 | 2021-12-14 | 구글 엘엘씨 | Multisensory speech detection |
| US10720176B2 (en) | 2008-11-10 | 2020-07-21 | Google Llc | Multisensory speech detection |
| KR20190028572A (en) * | 2008-11-10 | 2019-03-18 | 구글 엘엘씨 | Multisensory speech detection |
| US10714120B2 (en) | 2008-11-10 | 2020-07-14 | Google Llc | Multisensory speech detection |
| JP2010181981A (en) * | 2009-02-03 | 2010-08-19 | Panasonic Electric Works Co Ltd | Operation display device |
| JP2013513179A (en) * | 2009-12-08 | 2013-04-18 | キネテイツク・リミテツド | Detection based on distance |
| JP2011163979A (en) * | 2010-02-10 | 2011-08-25 | Stanley Electric Co Ltd | Reception control device and reception control method of vehicle-mounted device |
| JP2011215921A (en) * | 2010-03-31 | 2011-10-27 | Namco Bandai Games Inc | Program, information storage medium, and image generation system |
| JP2010257495A (en) * | 2010-08-20 | 2010-11-11 | Denso Corp | Operation input device |
| CN103097989B (en) * | 2011-01-31 | 2016-03-16 | 松下电器产业株式会社 | Signal conditioning package and process control method |
| US9170606B2 (en) | 2011-01-31 | 2015-10-27 | Panasonic Intellectual Property Management Co., Ltd. | Information processing device, processing control method, program, and recording medium |
| CN103097989A (en) * | 2011-01-31 | 2013-05-08 | 松下电器产业株式会社 | Information processing device, processing control method, program, and recording medium |
| JP2012162127A (en) * | 2011-02-04 | 2012-08-30 | Nissan Motor Co Ltd | Operation apparatus for vehicle-mounted device, and stimulus output method |
| JP2012191279A (en) * | 2011-03-09 | 2012-10-04 | Sadayuki Amiya | Television set |
| US9329673B2 (en) | 2011-04-28 | 2016-05-03 | Nec Solution Innovators, Ltd. | Information processing device, information processing method, and recording medium |
| JP5709227B2 (en) * | 2011-04-28 | 2015-04-30 | Ｎｅｃソリューションイノベータ株式会社 | Information processing apparatus, information processing method, and program |
| CN103732480A (en) * | 2011-06-17 | 2014-04-16 | 罗伯特·博世有限公司 | Method and device for assisting a driver in performing lateral guidance of a vehicle on a carriageway |
| US9605971B2 (en) | 2011-06-17 | 2017-03-28 | Robert Bosch Gmbh | Method and device for assisting a driver in lane guidance of a vehicle on a roadway |
| CN103732480B (en) * | 2011-06-17 | 2017-05-17 | 罗伯特·博世有限公司 | Method and device for assisting a driver in performing lateral guidance of a vehicle on a carriageway |
| JP2015501455A (en) * | 2011-06-17 | 2015-01-15 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | Method and apparatus for assisting a driver in guiding a vehicle on a roadway |
| JP2013045416A (en) * | 2011-08-26 | 2013-03-04 | Toshiba Alpine Automotive Technology Corp | Driving support device |
| JP2013061858A (en) * | 2011-09-14 | 2013-04-04 | Denso Corp | Interface device |
| JP2013143082A (en) * | 2012-01-12 | 2013-07-22 | Fujitsu Ltd | Finger position detection device, finger position detection method and finger position detection computer program |
| US9041543B2 (en) | 2012-02-09 | 2015-05-26 | Denso Corporation | Inattentive state determination apparatus and method of determining inattentive state |
| JP2013164663A (en) * | 2012-02-09 | 2013-08-22 | Denso Corp | Inattentive driving determination device and inattentive driving determination method |
| JP2016048588A (en) * | 2012-04-26 | 2016-04-07 | 株式会社三菱東京Ｕｆｊ銀行 | Information processing apparatus |
| JPWO2013175603A1 (en) * | 2012-05-24 | 2016-01-12 | パイオニア株式会社 | Operation input device, operation input method, and operation input program |
| WO2013175603A1 (en) * | 2012-05-24 | 2013-11-28 | パイオニア株式会社 | Operation input device, operation input method and operation input program |
| KR20140064693A (en) * | 2012-11-20 | 2014-05-28 | 삼성전자주식회사 | User gesture input to wearable electronic device involving movement of device |
| US11157436B2 (en) | 2012-11-20 | 2021-10-26 | Samsung Electronics Company, Ltd. | Services associated with wearable electronic device |
| JP2014102842A (en) * | 2012-11-20 | 2014-06-05 | Samsung Electronics Co Ltd | User gesture input to wearable electronic device involving movement of device |
| US11372536B2 (en) | 2012-11-20 | 2022-06-28 | Samsung Electronics Company, Ltd. | Transition and interaction model for wearable electronic device |
| US10551928B2 (en) | 2012-11-20 | 2020-02-04 | Samsung Electronics Company, Ltd. | GUI transitions on wearable electronic device |
| US10423214B2 (en) | 2012-11-20 | 2019-09-24 | Samsung Electronics Company, Ltd | Delegating processing from wearable electronic device |
| US11237719B2 (en) | 2012-11-20 | 2022-02-01 | Samsung Electronics Company, Ltd. | Controlling remote electronic device with wearable electronic device |
| KR102186459B1 (en) * | 2012-11-20 | 2020-12-03 | 삼성전자주식회사 | User Gesture Input to Wearable Electronic Device Involving Movement of Device |
| US10185416B2 (en) | 2012-11-20 | 2019-01-22 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving movement of device |
| US10194060B2 (en) | 2012-11-20 | 2019-01-29 | Samsung Electronics Company, Ltd. | Wearable electronic device |
| JP2014115699A (en) * | 2012-12-06 | 2014-06-26 | Alpine Electronics Inc | In-vehicle system |
| JP2014119295A (en) * | 2012-12-14 | 2014-06-30 | Clarion Co Ltd | Control device and portable terminal |
| US9547792B2 (en) | 2012-12-14 | 2017-01-17 | Clarion Co., Ltd. | Control apparatus, vehicle, and portable terminal |
| JP2015006821A (en) * | 2013-06-24 | 2015-01-15 | マツダ株式会社 | Vehicular information display device |
| US9224311B2 (en) | 2013-09-17 | 2015-12-29 | Sony Corporation | Combining data sources to provide accurate effort monitoring |
| JP2015059935A (en) * | 2013-09-17 | 2015-03-30 | ソニー株式会社 | Altering exercise routes based on device determined information |
| JP2015133109A (en) * | 2013-12-20 | 2015-07-23 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | Gesture based input system in vehicle with haptic feedback |
| US10449972B2 (en) | 2013-12-20 | 2019-10-22 | Immersion Corporation | Gesture based input system in a vehicle with haptic feedback |
| US9269119B2 (en) | 2014-01-22 | 2016-02-23 | Sony Corporation | Devices and methods for health tracking and providing information for improving health |
| US10691332B2 (en) | 2014-02-28 | 2020-06-23 | Samsung Electronics Company, Ltd. | Text input on an interactive display |
| WO2016017250A1 (en) * | 2014-08-01 | 2016-02-04 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| JP2016168958A (en) * | 2015-03-13 | 2016-09-23 | 矢崎総業株式会社 | Operation system for vehicle |
| US10642349B2 (en) | 2015-05-21 | 2020-05-05 | Sony Interactive Entertainment Inc. | Information processing apparatus |
| WO2016185634A1 (en) * | 2015-05-21 | 2016-11-24 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device |
| JPWO2016185634A1 (en) * | 2015-05-21 | 2017-08-31 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device |
| JP2016157457A (en) * | 2016-03-31 | 2016-09-01 | パイオニア株式会社 | Operation input device, operation input method and operation input program |
| JP2017142820A (en) * | 2017-03-16 | 2017-08-17 | パイオニア株式会社 | Operation input device, operation input method and operation input program |
| JP2019536673A (en) * | 2017-08-10 | 2019-12-19 | ペキン センスタイム テクノロジー ディベロップメント カンパニー リミテッド | Driving state monitoring method and device, driver monitoring system, and vehicle |
| US10853675B2 (en) | 2017-08-10 | 2020-12-01 | Beijing Sensetime Technology Development Co., Ltd. | Driving state monitoring methods and apparatuses, driver monitoring systems, and vehicles |
| JPWO2019171635A1 (en) * | 2018-03-07 | 2021-02-12 | Ｎｅｃソリューションイノベータ株式会社 | Operation input device, operation input method, and program |
| WO2019171635A1 (en) * | 2018-03-07 | 2019-09-12 | Ｎｅｃソリューションイノベータ株式会社 | Operation input device, operation input method, anc computer-readable recording medium |
| JP2018147500A (en) * | 2018-04-12 | 2018-09-20 | パイオニア株式会社 | Operation input device, operation input method and operation input program |
| JP2020117184A (en) * | 2019-01-28 | 2020-08-06 | 株式会社東海理化電機製作所 | Operation recognition device, computer program, and storage medium |
| US11947869B2 (en) | 2019-04-01 | 2024-04-02 | Sony Group Corporation | Information processing device, information processing method, and program |
| JP2020123369A (en) * | 2020-04-02 | 2020-08-13 | パイオニア株式会社 | Operation input device, operation input method and operation input program |
| CN114454814A (en) * | 2022-01-26 | 2022-05-10 | 深圳时空科技集团有限公司 | Human-computer interaction method and device for augmented reality |
| CN114454814B (en) * | 2022-01-26 | 2023-08-11 | 深圳时空数字科技有限公司 | Human-computer interaction method and device for augmented reality |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003131785A (en) | Interface device, operation control method and program product | |
| JP2007164814A (en) | Interface device | |
| CN106406710B (en) | Screen recording method and mobile terminal | |
| US20130211843A1 (en) | Engagement-dependent gesture recognition | |
| KR101947034B1 (en) | Apparatus and method for inputting of portable device | |
| CN104660799B (en) | Mobile terminal and control method thereof | |
| CN109739361B (en) | Visibility improvement method based on eye tracking and electronic device | |
| CN105229582B (en) | Gesture detection based on proximity sensor and image sensor | |
| JP2001216069A (en) | Operation inputting device and direction detecting method | |
| US8627235B2 (en) | Mobile terminal and corresponding method for assigning user-drawn input gestures to functions | |
| US20190258319A1 (en) | Information processing device, information processing method, and program | |
| JP5172485B2 (en) | Input device and control method of input device | |
| JP2005174356A (en) | Direction detection method | |
| US20090146968A1 (en) | Input device, display device, input method, display method, and program | |
| US20120200494A1 (en) | Computer vision gesture based control of a device | |
| JP5750687B2 (en) | Gesture input device for car navigation | |
| KR101741691B1 (en) | Vehicle and method of controlling the same | |
| CN106105247B (en) | Display device and control method thereof | |
| CN105009033A (en) | Interactive inputs for background task | |
| JP2014119295A (en) | Control device and portable terminal | |
| WO2006036069A1 (en) | Information processing system and method | |
| JP5358548B2 (en) | Gesture recognition device | |
| JP2005135439A (en) | Operation input device | |
| US20200150794A1 (en) | Portable device and screen control method of portable device | |
| CN111638786B (en) | Display control method, device, equipment and storage medium of vehicle-mounted rear projection display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060206 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070209 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070410 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070907 |