WO2010095204A1 - インターフェース制御装置、及びその方法 - Google Patents

インターフェース制御装置、及びその方法 Download PDF

Info

Publication number
WO2010095204A1
WO2010095204A1 PCT/JP2009/006846 JP2009006846W WO2010095204A1 WO 2010095204 A1 WO2010095204 A1 WO 2010095204A1 JP 2009006846 W JP2009006846 W JP 2009006846W WO 2010095204 A1 WO2010095204 A1 WO 2010095204A1
Authority
WO
WIPO (PCT)
Prior art keywords
item
specific part
control unit
unit
control device
Prior art date
Application number
PCT/JP2009/006846
Other languages
English (en)
French (fr)
Inventor
岡田隆三
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to US13/201,643 priority Critical patent/US8593399B2/en
Priority to JP2011500374A priority patent/JP5318189B2/ja
Publication of WO2010095204A1 publication Critical patent/WO2010095204A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Definitions

  • the present invention relates to an interface control apparatus that operates a control target device by a movement of a specific part of a user, and a method thereof.
  • a specific area (icon) arranged in an operation screen for controlling the device is obtained by image processing.
  • a command associated with the icon is executed by overlapping the positions of specific parts of the body (for example, hands).
  • Patent Document 3 a specific hand shape is assigned to each icon, and a command assigned to the icon corresponding to the hand shape detected by image recognition is executed.
  • Japanese Patent No. 2941207 JP 2002-83302 A Japanese Patent No. 3777650
  • an object of the present invention is to provide an interface control apparatus and method for changing a control command with a simple operation of a user.
  • An interface control apparatus detects a moving speed and a moving direction of a specific part of a user's body from an input image, and the operation of the specific part is performed based on the moving speed and the moving direction.
  • a feed operation detecting unit that detects whether or not the feed operation is performed, and a main control unit that changes a control command of the device to be controlled when the feed operation is detected.
  • control command can be changed by a simple operation of the user.
  • FIG. 2 is a block diagram of a control device according to the first embodiment.
  • FIG. 3 is an explanatory diagram illustrating an example in which the control device according to the first embodiment is applied to a television receiver.
  • the block diagram which shows the structure of a feed operation
  • Explanatory drawing which shows the determination conditions in an operation
  • Explanatory drawing which shows the example of the item in the case of using a continuous numerical value.
  • FIG. 4 is a block diagram of a control device according to a second embodiment. Explanatory drawing in the case of performing the screen display which moves an item. Explanatory drawing which shows the method of the screen display in the case of using a some item group.
  • FIG. 6 is a block diagram of a control device according to a third embodiment.
  • FIG. 6 is a block
  • control apparatus an interface control apparatus (hereinafter simply referred to as “control apparatus”) according to an embodiment of the present invention will be described with reference to the drawings.
  • control apparatus an interface control apparatus (hereinafter simply referred to as “control apparatus”) according to an embodiment of the present invention will be described with reference to the drawings.
  • control apparatus an interface control apparatus (hereinafter simply referred to as “control apparatus”) according to an embodiment of the present invention will be described with reference to the drawings.
  • control apparatus an interface control apparatus (hereinafter simply referred to as “control apparatus”) according to an embodiment of the present invention will be described with reference to the drawings.
  • symbol is attached
  • FIG. 2 is a schematic diagram showing an example in which the channel is lowered by one when the user performs a feed operation in the left direction, and the channel is incremented by one when the feed operation is performed in the right direction. .
  • FIG. 1 is a block diagram illustrating a configuration of a control device according to the present embodiment.
  • the control device includes a feed operation detection unit 2 and a main control unit 3.
  • the image acquisition unit 1 may be provided inside the control device or may be provided outside.
  • the image acquisition unit 1 captures time-series images of the user by the imaging device 104 and acquires these images.
  • the imaging device 104 is attached to the television receiver 100 as shown in FIG.
  • the feeding motion detection unit 2 detects the movement of the user's hand 102 as a “feeding motion” by analyzing a time-series image.
  • the main control unit 3 changes the channel displayed on the screen 106 according to the detected direction of the feed operation.
  • FIG. 3 is a block diagram showing the feed operation detection unit 2.
  • the feeding motion detection unit 2 includes a tracking unit 21, a speed calculation unit 22, a current high speed motion detection unit 23, a previous high speed motion detection unit 24, and a motion determination unit 25.
  • the storage unit 26 may be provided inside the feeding operation detection unit 2 or may be connected to the outside.
  • the tracking unit 21 applies a pattern recognition method disclosed in Japanese Patent Laid-Open No. 2006-268825, a background difference method disclosed in Japanese Patent No. 3777650, to time-series images taken by the image acquisition unit 1, Alternatively, by applying a skin color extraction method, an inter-frame difference method, and a combination thereof, a specific part such as a user's hand or face is detected for each image and tracked in time series.
  • the speed calculation unit 22 calculates the speed of moving in the hand image from the tracking result corresponding to the time-series image. Examples of the hand speed calculation method performed by the speed calculation unit 22 include the following.
  • the velocity of a specific part is calculated from the differential value (difference value between frames) of the position in the hand image obtained by the tracking unit 21.
  • the speed (optical flow) of each pixel is calculated around the position in the image of the specific part obtained by the tracking unit 21, and the average value or mode value is used as the speed of the specific part.
  • the position in the hand image obtained by the tracking unit 21 is an observation value
  • the position and velocity of the hand are state variables
  • an optimal state is determined by a motion model of state variables such as the observation value and constant velocity motion.
  • the velocity of a specific part is calculated by a filter such as a Kalman filter that estimates As an observed value, an average value of the velocity (optical flow) of pixels around the position in the image of the specific part may be further used.
  • the current high-speed motion detection unit 23 detects the current high-speed motion vc indicated by a vector, which is the current motion of the specific part, based on the reference speed V0. That is, the current high speed motion detection unit 23 determines that the current high speed motion vc exists if the absolute value of the current speed of the specific part is higher than the reference speed V0, and if it is lower than the reference speed V0, It is determined that the high speed motion vc does not exist. Then, the speed and time information (frame number of the image), which is information on the current high speed motion vc, is stored in the storage unit 26 as the motion history A.
  • the immediately preceding high-speed motion detection unit 24 acquires, from the motion history A stored in the storage unit 26, a past current high-speed motion vc detected a predetermined time before the present time as the immediately preceding high-speed motion vp.
  • the predetermined time before is, for example, a time before 1 to 10 frames or a time before 0.01 to 0.1 seconds.
  • the motion determination unit 25 performs the determination shown in FIG. 4 from the information of the current high speed motion vc and the immediately preceding high speed motion vp, and detects the feed motion. That is, the determination of the operation determination unit 25 is divided into four determination patterns as shown in FIG.
  • the “feeding operation” is a high-speed operation of a specific part in a predetermined direction such as up / down / left / right and a combination of these directions
  • the “returning operation” is the direction of the original position after the feeding operation. Refers to the operation of returning a specific part.
  • the second determination pattern includes the current high speed motion vc and the immediately preceding high speed motion vp, the angle ⁇ formed by the direction of the current high speed motion vc and the direction of the immediately preceding high speed motion vp is greater than the first reference angle ⁇ 1, and immediately before When the state is a return operation, it is determined that the current state is a feed operation.
  • the third determination pattern is that the current high speed motion vc and the immediately preceding high speed motion vp exist, the angle ⁇ formed by the direction of the current high speed motion vc and the direction of the immediately preceding high speed motion vp is greater than the first reference angle ⁇ 1, and immediately before When the state is a feeding operation, it is determined that the current state is a return operation.
  • FIG. 5 shows a process flowchart of the feed operation detection unit 2.
  • step S1 the current high speed motion detection unit 23 sets the current state to no operation as an initialization process.
  • step S2 the image acquisition unit 1 captures the user and inputs it as the current image.
  • step S3 the tracking unit 21 detects a specific part of the user for the current image, and performs tracking processing in time series.
  • step S4 the speed calculation unit 22 calculates the speed of the specific part.
  • step S5 the current high speed motion detector 23 detects the current high speed motion vc with reference to the reference speed V0. Then, the speed and time information (frame number of the image), which is information on the current high speed motion vc, is stored in the storage unit 26 as the motion history A.
  • step S6 the immediately preceding high speed motion detection unit 24 acquires the immediately preceding high speed motion vp from the motion history A of the storage unit 26. If there is no immediately preceding high speed motion vp in the motion history A, it is assumed that there is no immediately preceding high speed motion vp.
  • step S7 the operation determination unit 25 performs the operation determination of FIG. Details will be described later.
  • step S8 the feed operation detection unit 2 changes the current state according to the determination result in step S7. These steps will be described later in detail.
  • step S11 when it is determined that the feeding operation has occurred, the operation determination unit 25 generates an arbitrary command and operates the target device.
  • step S71 the motion determination unit 25 determines whether or not the current high speed motion vc exists based on the detection status of the current high speed motion detection unit 23. If the current high speed motion vc exists, the process proceeds to step S72 (in the case of Y), and if not present, the process proceeds to step S75 (in the case of N).
  • step S72 since the current high speed motion vc exists, the motion determination unit 25 determines whether or not the immediately preceding high speed motion vp exists based on the acquisition status of the immediately preceding high speed motion detection unit 24. If the immediately preceding high speed motion vp exists, the process proceeds to step S73 (in the case of Y), and if not, the process proceeds to step S8 (in the case of N).
  • step S74 since the operation determination unit 25 satisfies ⁇ > ⁇ 1, the process proceeds to step S8 if the immediately preceding state is a return operation, and proceeds to step S9 if the immediately preceding state is a feed operation.
  • step S75 since the current high speed motion vc does not exist, the operation determination unit 25 proceeds to step S76 if the immediately preceding state is a feed operation or a return operation, and continues to operate if the immediately preceding state is no operation. If so, the process proceeds to step S11.
  • step S76 since the current high speed motion vc does not exist and the immediately preceding state is the feed operation or the return operation, the motion determination unit 25 determines whether or not the immediately preceding high speed motion vp exists. The determination is made based on the acquisition status of the detection unit 24. If the immediately preceding high speed motion vp exists, the process proceeds to step S10 (in the case of N), and if it does not exist, the operation continues and the process proceeds to step S11 (in the case of Y).
  • step S8 the operation determination unit 25 determines that the current state is a feed operation, and proceeds to step S11. Further, this current state is stored in the storage unit 26 as an exercise history A. This step is the first and second determination patterns in FIG.
  • step S9 the operation determination unit 25 determines that the current state is the return operation, and proceeds to step S11. Further, this current state is stored in the storage unit 26 as an exercise history A. This step is the third determination pattern of FIG.
  • step S10 the operation determination unit 25 determines that the current state is no operation, and proceeds to step S11. Further, this current state is stored in the storage unit 26 as an exercise history A. This step is the fourth determination pattern of FIG.
  • the feeding operation is detected when the specific part starts high-speed motion, and it is determined that the feeding operation is continued while maintaining the high-speed motion in the same direction.
  • the feed operation detection unit 2 outputs the presence / absence of the feed operation in the current image as the feed operation determination result, and the direction and the speed of the operation as attributes of the feed operation when there is a feed operation.
  • the main control unit 3 switches the currently selected channel to another channel according to the direction of the feed operation detected by the feed operation detection unit 2.
  • the main control unit 3 switches the currently selected channel 4 to the channel 5.
  • volume etc. may be adjusted in addition to the channel.
  • the channel of the television receiver 100 can be easily operated by the feeding operation of the user's hand 102.
  • FIG. 8 is a block diagram showing the configuration of the control device according to the present embodiment.
  • control device includes a feed operation detection unit 2 and a main control unit 3 as in the first embodiment, and further includes a display control unit 4.
  • the image acquisition unit 1 may be provided inside the control device or may be provided outside.
  • the display control unit 4 displays the item display area 112 and the cursor 108 indicating the currently selected item on the screen 106 of the display device 200 of the computer that the user is viewing,
  • An area wider than the item display area 112 is set as the recognition area 110.
  • the “item” is an area to which a control command for the control target device is assigned.
  • the item display area 112 is an area for displaying all or a part of items that can be selected by the user.
  • the recognition area 110 is a range in which the shape and movement state of a specific part of the user can be recognized by the control device, and is indicated by a dotted line in FIG. To do.
  • the main control unit 3 converts the position of the hand 102 in the image acquired by the tracking unit 21 into the coordinate system of the screen 106 viewed by the user. When the conversion position is within the recognition area 110, control relating to items included in the recognition area 110 is performed according to the feed operation.
  • the main control unit 3 switches the cursor 108 to an item on the right side of the currently selected item.
  • the items may be arranged in a two-dimensional plane on the screen 106 in the vertical and horizontal directions, or in a circular shape or a spherical shape.
  • the items may be items in which different control commands are displayed (for example, menus such as “file”, “edit”, and “display” of software executed on the computer).
  • control display can be fed back to the user by displaying the item display area 112 and the cursor 108 on the screen 106.
  • an item can be selected if the user's hand 102 is in the recognition area 110 wherever the hand 102 is.
  • the display method of the item display area 112 and the cursor 108 is changed as shown in FIG. That is, the cursor 108 is displayed at a fixed position, and the item display is moved in the direction of the feed operation.
  • the item display may be fixed and the cursor 108 may be moved in the direction of the feed operation.
  • the selected item may always be displayed in the center without displaying the item display area 112 and the cursor 108 as shown in the first modification. In this case, the item display is moved in the direction of the feed operation.
  • a scale image corresponding to the numerical value indicating the item is displayed, and control that requires a continuous value is performed.
  • the band-shaped scale image 109 scales indicating numerical values are displayed at arbitrary intervals, and the cursor 108 is fixed at the center. Then, the position corresponding to the numerical value to be selected is moved to the center portion by the feeding operation and selected.
  • the display control unit 4 has an item display area 112 for each item group, and sets a recognition area 110 wider than each item display area 112.
  • the main control unit 3 performs selection related to the corresponding item group. Thereby, the user can select the item group to be controlled by moving the hand 102, and can operate the corresponding item group wherever the user's hand 102 is in each recognition area 110.
  • the operation of the position of the user's hand 102 is simplified. That is, when the position obtained by converting the position of the hand 102 in the image into the coordinate system of the screen 106 approaches a certain item display area 112, the display control unit 4 corresponds to the corresponding item display area 112 or recognition area 110. Magnify and display. Thereby, when the user selects an item group, the amount of movement of the hand 102 can be reduced, and the item group can be easily selected.
  • FIG. 11 is a block diagram illustrating a configuration of a control device according to the present embodiment.
  • the control device includes a feed operation detection unit 2 and a main control unit 3, and further includes a first operation detection unit 5 and a determination control unit 6.
  • the image acquisition unit 1 may be provided inside the control device or may be provided outside.
  • the first motion detection unit 5 detects the determination operation regardless of the position of the specific part in the image by detecting the shape of the specific part determined in advance or the predetermined motion as the determination operation.
  • the determination control unit 6 sets the item currently selected by the main control unit 3 as a determination item, and generates a command assigned to the item.
  • the image acquisition unit 1, the feed operation detection unit 2, and the main control unit 3 are the same as those in the first embodiment, description thereof is omitted.
  • the configuration of the first motion detection unit 5 and the determination control unit 6 will be described with the user's specific part as the hand 102.
  • the first motion detection unit 5 uses an image recognition method such as a pattern recognition method (see Japanese Patent Application Laid-Open No. 2006-268825), a contour shape matching method (see Patent Document 1), and the user's hand 102 uses the first specific shape. Detect whether or not As the first specific shape, a state where the hand 102 is grasped, an OK sign, or the like can be used.
  • a pattern recognition method see Japanese Patent Application Laid-Open No. 2006-268825
  • Patent Document 1 a contour shape matching method
  • the determination control unit 6 sets the item currently selected by the main control unit 3 as a determination item, and controls associated with the determination item To the control target device.
  • the user moves items one after another by a feed operation, and makes the hand 102 a specific shape with the desired item selected, so that the hand 102 can be located anywhere on the screen.
  • Control commands can be easily determined regardless of position.
  • FIG. 12 is a block diagram illustrating the configuration of the control device according to the present embodiment.
  • the control device includes a feed operation detection unit 2 and a main control unit 3, and further includes a second operation detection unit 6 and a selection control unit 7.
  • the image acquisition unit 1 may be provided inside the control device or may be provided outside.
  • the second motion detection unit 6 detects that the hand 102 is moving in a state where the second specific shape is determined in advance as a drag motion.
  • the second specific shape is a state where a hand is held.
  • the selection control unit 7 changes the currently selected item to another item according to the movement amount, movement speed, and movement direction of the hand 102.
  • the item display area may be moved, or the cursor 108 may be moved.
  • the image acquisition unit 1, the feed operation detection unit 2, and the main control unit 3 are the same as those in the first embodiment, description thereof is omitted.
  • movement detection part 6 and the selection control part 7 are demonstrated for a user's specific site
  • the second motion detection unit 6 detects whether or not the user's hand 102 has a specific shape by using an image recognition method such as a pattern recognition method or a contour shape matching method in the same manner as the first motion detection unit 5. Tracking is performed, and the moving speed and moving direction are acquired by the same method as the speed calculating unit 22. If the user's hand 102 has a specific shape and is moving in the image, it is detected as a drag operation, and the moving speed and moving direction are output.
  • an image recognition method such as a pattern recognition method or a contour shape matching method in the same manner as the first motion detection unit 5. Tracking is performed, and the moving speed and moving direction are acquired by the same method as the speed calculating unit 22. If the user's hand 102 has a specific shape and is moving in the image, it is detected as a drag operation, and the moving speed and moving direction are output.
  • the second decision control unit 7 is arranged by listing items that can be selected by the user.
  • the second motion detection unit 6 detects a drag operation
  • the direction of the drag operation Depending on the size, the item next to the currently selected item is selected.
  • the item display area 112 may be moved by the drag operation or the cursor 108 may be moved as in the second embodiment. good.
  • the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the gist thereof.
  • the display control unit 4 having the configuration of the second embodiment may be added.
  • the hand 102 has been described as the specific part, but another part such as a head may be used.
  • the television receiver 100 and the computer 200 are described as examples of the control target of the control device.
  • the present invention is not limited to this, and the present invention is also applicable to, for example, medical devices and other electrical devices. May be.
  • the device to be controlled by the control device may not have the display unit.
  • the present invention can be applied to a case where volume or music selection is performed in an apparatus such as a radio that does not have a display unit.
  • the imaging apparatus 104 may be attached to the radio so that the volume and music selection can be performed by a user's sending operation.
  • the control device in each of the above embodiments can be realized, for example, by using a general-purpose computer as basic hardware. That is, the feed operation detection unit 2 and the main control unit 3 can be realized by causing a processor mounted on the computer to execute a program. At this time, the control device may be realized by installing the above program in a computer in advance, or may be stored in a storage medium such as a CD-ROM or distributed through the network, You may implement

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

入力された画像からユーザの身体の特定部位を検出し、前記特定部位の移動速度と移動方向に基づいて、前記特定部位が、任意の方向へ移動している動作である送り動作であるか否かを検出し、前記送り動作が検出されたときに、制御対象機器の制御命令を変更する。

Description

インターフェース制御装置、及びその方法
　本発明は、ユーザの特定部位の動きによって、制御対象機器を操作するインターフェース制御装置、及びその方法に関する。
　従来のインターフェース制御装置では、機器を操作する際、特許文献１に開示されているように、機器を制御するための操作画面内に配置された特定の領域（アイコン）に、画像処理によって得られた身体の特定部位（例えば手である）の位置を重ねることにより、そのアイコンに対応付けられたコマンドを実行する。
　また、特許文献２に開示されているように、ユーザを撮影した画像内の複数の狭い領域内の動きを観測し、その領域内で動きが観測された場合には、各領域に対応付けられたコマンドを実行する。
　また、特許文献３では、各アイコンに特定の手形状を割り当て、画像認識により検出された手形状に対応するアイコンに割り当てられたコマンドを実行する。
特許第２９４１２０７号公報 特開２００２－８３３０２号公報 特許第３７７７６５０号公報
　しかし、上記従来技術では、ユーザの特定部位による複雑な動作が必要であるという問題点があった。
　そこで本発明は、ユーザの簡単な動作で制御命令を変更できるインターフェース制御装置、その方法を提供することを目的とする。
　本発明の一態様に係るインターフェース制御装置は、入力された画像からユーザの身体の特定部位の移動速度と移動方向を検出し、前記移動速度と前記移動方向に基づいて、前記特定部位の動作が、送り動作であるか否かを検出する送り動作検出部と、前記送り動作が検出されたときに、制御対象機器の制御命令を変更する主制御部と、を備える。
　本発明によれば、ユーザの簡単な動作で制御命令を変化させることができる。
実施例１の制御装置のブロック図。 実施例１の制御装置に関して、テレビ受像機に応用した例を示す説明図。 送り動作検出部の構成を示すブロック図。 動作判定部での判定条件を示す説明図。 送り動作検出部のフローチャート。 連続的な数値を使用する場合の項目の例を示す説明図。 ユーザが閲覧する画面表示を用いてフィードバックを行う場合の制御装置の概要を示す説明図。 実施例２の制御装置のブロック図。 項目を移動させる画面表示を行う場合の説明図。 複数の項目グループを用いる場合の画面表示の方法を示す説明図。 実施例３の制御装置のブロック図。 実施例４の制御装置のブロック図。
　以下、本発明の一実施例のインターフェース制御装置（以下、単に「制御装置」という）について図面に基づいて説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。
　実施例１の制御装置について図１～図１０に基づいて説明する。
　本実施例では、テレビ受像機１００を制御対象機器として、このテレビ受像機１００のチャンネル操作を、ユーザの手１０２のジェスチャで行う制御装置の例を説明する。図２は、その概略図であり、ユーザが左方向への送り動作を行った場合はチャンネルを１つ下げ、右方向に送り動作を行った場合はチャンネルを１つ上げる例が示されている。
　図１は、本実施例に係わる制御装置の構成を示すブロック図である。
　制御装置は、送り動作検出部２、主制御部３を備えている。画像取得部１は、制御装置内部に設けられてもよいし、外部に設けられてもよい。
　画像取得部１は、撮像装置１０４によって、ユーザの時系列の画像を撮影して、これら画像を取得する。撮像装置１０４は、図２に示すようにテレビ受像機１００に取り付けられている。
　送り動作検出部２は、時系列の画像を解析することによって、ユーザの手１０２の動きを「送り動作」として検出する。
　主制御部３は、検出された送り動作の方向に応じて画面１０６に表示するチャンネルを変更する。
　次に、送り動作検出部２の構成について図３に基づいて説明する。図３は、送り動作検出部２を示すブロック図である。
　送り動作検出部２は、追跡部２１、速度計算部２２、現高速運動検出部２３、直前高速運動検出部２４及び動作判定部２５を備える。記憶部２６は、送り動作検出部２の内部に設けられても良いし、外部に接続されても良い。
　追跡部２１は、画像取得部１で撮影された時系列の画像に対して、特開２００６－２６８８２５公報で開示されているパターン認識法、特許第３７７７６５０号公報で開示されている背景差分法、又は、肌色抽出法、フレーム間差分法、及び、これらの組み合わせた方法を適用することにより、ユーザの手、顔などの特定部位を画像毎に検出して、時系列に追跡する。
　速度計算部２２は、時系列の画像に対応した追跡結果から、手の画像内を移動する速度を計算する。速度計算部２２が行う手の速度の計算方法としては、以下のようなものがある。
　第１の方法は、追跡部２１で得られた手の画像内の位置の微分値（フレーム間の差分値）により特定部位の速度を計算する。
　第２の方法は、追跡部２１で得られた特定部位の画像内の位置周辺で各画素の速度（オプティカルフロー）を計算し、その平均値や最頻値を特定部位の速度とする。
　第３の方法は、追跡部２１で得られた手の画像内の位置を観測値、手の位置と速度を状態変数とし、観測値と等速運動などの状態変数の運動モデルによって最適な状態を推定するカルマンフィルタなどのフィルタによって特定部位の速度を計算する。観測値として、特定部位の画像内の位置周辺の画素の速度（オプティカルフロー）の平均値をさらに用いても良い。
　現高速運動検出部２３は、特定部位の現在の運動であって、ベクトルで示される現高速運動ｖｃについて、基準速度Ｖ０を基準に検出する。すなわち、現高速運動検出部２３は、特定部位の現在の速度の絶対値が、基準速度Ｖ０より高速であれば、現高速運動ｖｃが存在すると判定し、基準速度Ｖ０より低速であれば、現高速運動ｖｃが存在しないと判定する。そして、現高速運動ｖｃの情報である、速度と時間情報（画像のフレーム番号）を記憶部２６に運動履歴Ａとして格納する。
　直前高速運動検出部２４は、記憶部２６に格納されている運動履歴Ａから、現在より一定時間前に検出された過去の現高速運動ｖｃを直前高速運動ｖｐとして取得する。前記一定時間前とは、例えば、１～１０フレーム前の時間、又は、０．０１～０．１秒前の時間である。
　動作判定部２５は、現高速運動ｖｃと直前高速運動ｖｐの情報から、図４に示す判定を行って、送り動作を検出する。すなわち、動作判定部２５の判定は、図４に示すように、４つの判定パターンに分けられる。なお、「送り動作」とは、上下左右及びこれらの方向の組合せなどの予め定められた方向への特定部位の高速動作であり、「復帰動作」とは、送り動作の後に元の位置の方向に特定部位を戻す動作をいう。
　第１の判定パターンは、現高速運動ｖｃが検出され、直前高速運動ｖｐが存在しない場合は、前記現在の状態が送り動作と判定する。
　第２の判定パターンは、現高速運動ｖｃと直前高速運動ｖｐが存在し、現高速運動ｖｃの方向と直前高速運動ｖｐの方向のなす角θが第１の基準角度θ１より大きく、かつ、直前の状態が復帰動作の場合に、前記現在の状態が送り動作と判定する。
　第３の判定パターンは、現高速運動ｖｃと直前高速運動ｖｐが存在し、現高速運動ｖｃの方向と直前高速運動ｖｐの方向のなす角θが第１の基準角度θ１より大きく、かつ、直前の状態が送り動作の場合に、前記現在の状態が復帰動作と判定する。
　第４の判定パターンは、現高速運動ｖｃも直前高速運動ｖｐも存在せず、直前の状態が送り動作又は復帰動作の場合に、前記現在の状態が動作終了と判定する。
　なお、上記いずれの判定パターンにも該当しない場合は、直前の動作状態が現在も継続していると判定する。
　送り動作検出部２の処理動作について図５に基づいて説明する。図５は、送り動作検出部２の処理フローチャートを示す。
　ステップＳ１において、現高速運動検出部２３は、初期化処理として現在の状態を無動作に設定する。
　ステップＳ２において、画像取得部１は、ユーザを撮影して、現在の画像として入力する。
　ステップＳ３において、追跡部２１は、現在の画像に対して、ユーザの特定部位を検出し、時系列に追跡処理を行う。
　ステップＳ４において、速度計算部２２は、特定部位の速度を計算する。
　ステップＳ５において、現高速運動検出部２３は、現高速運動ｖｃについて、基準速度Ｖ０を基準に検出する。そして、現高速運動ｖｃの情報である、速度と時間情報（画像のフレーム番号）を記憶部２６に運動履歴Ａとして格納する。
　ステップＳ６において、直前高速運動検出部２４は、直前高速運動ｖｐを記憶部２６の運動履歴Ａから取得する。なお、運動履歴Ａに直前高速運動ｖｐがなければ、直前高速運動ｖｐは存在しないとする。
　ステップＳ７において、動作判定部２５は、図４の動作判定を行う。詳しくは後述する。
　ステップＳ８、Ｓ９、Ｓ１０において、送り動作検出部２は、現在の状態をステップＳ７の判定結果に応じて遷移させる。これらのステップについても後から詳しく後述する。
　ステップＳ１１において、動作判定部２５は、送り動作が発生したと判定したときは、任意のコマンドを発生して対象の機器を操作する。
　次に、動作判定部２５の動作処理について図４と図５に基づいて説明する。
　ステップＳ７１において、動作判定部２５は、現高速運動ｖｃが存在するか否かを、現高速運動検出部２３の検出状況に基づいて判定する。そして、現高速運動ｖｃが存在すればステップＳ７２に進み（Ｙの場合）、存在しなければステップＳ７５に進む（Ｎの場合）。
　ステップＳ７２において、動作判定部２５は、現高速運動ｖｃが存在するため、直前高速運動ｖｐが存在するか否かを直前高速運動検出部２４の取得状況に基づいて判定する。直前高速運動ｖｐが存在すればステップＳ７３に進み（Ｙの場合）、存在しなければステップＳ８に進む（Ｎの場合）。
　ステップＳ７３において、動作判定部２５は、現高速運動ｖｃと直前高速運動ｖｐが存在するため、現高速運動ｖｃの方向と直前高速運動ｖｐの方向となす角θと第１の基準角度θ１とを比較する。θ＞θ１であればステップＳ７４に進み（Ｙの場合）、θ＜＝θ１であれば動作が継続しているとして、ステップＳ１１に進む（Ｎの場合）。
　ステップＳ７４において、動作判定部２５は、θ＞θ１であるので、直前の状態が復帰動作であればステップＳ８に進み、一方、直前の状態が送り動作であればステップＳ９に進む。
　ステップＳ７５において、動作判定部２５は、現高速運動ｖｃが存在しないため、直前の状態が送り動作、又は、復帰動作であればステップＳ７６に進み、直前の状態が動作なしであれば動作が継続しているとして、ステップＳ１１に進む。
　ステップＳ７６において、動作判定部２５は、現高速運動ｖｃが存在せず、また、直前の状態が送り動作、又は、復帰動作であるため、直前高速運動ｖｐが存在するか否かを直前高速運動検出部２４の取得状況に基づいて判定する。直前高速運動ｖｐが存在すればステップＳ１０に進み（Ｎの場合）、存在しなければ動作が継続しているとして、ステップＳ１１に進む（Ｙの場合）。
　ステップＳ８において、動作判定部２５は、現在の状態が送り動作であると判定して、ステップＳ１１に進む。また、この現在の状態を記憶部２６に運動履歴Ａとして格納する。このステップが、図４の第１、２の判定パターンである。
　ステップＳ９において、動作判定部２５は、現在の状態が復帰動作であると判定して、ステップＳ１１に進む。また、この現在の状態を記憶部２６に運動履歴Ａとして格納する。このステップが、図４の第３の判定パターンである。
　ステップＳ１０において、動作判定部２５は、現在の状態が動作なしであると判定して、ステップＳ１１に進む。また、この現在の状態を記憶部２６に運動履歴Ａとして格納する。このステップが、図４の第４の判定パターンである。
　送り動作検出部２の動作を順番に説明する。
　第１に、特定部位が高速運動を始めたときに送り動作が検出され、同じ方向の高速運動を保っている間は送り動作が継続していると判定される。
　第２に、高速運動を保ったまま方向が逆方向に変化（θ＞θ１）すれば復帰運動と判定され、同じ方向に高速運動を保っている間は復帰動作が継続していると判定される。
　第３に、復帰運動の状態から、さらに高速運動を保ったまま方向が逆方向に変化（θ＞θ１）すれば、再び送り動作として判定される。
　第４に、送り動作や復帰動作を行っていて、高速運動が観測されなくなり一定時間が経過するとする。この場合には、現在及び過去の一定時間内にも高速運動が観測されなくなったとして、動作終了したと判定される。
　第５に、そのまま高速運動が観測されなければ動作終了の状態が継続していると判定される。以上により、送り動作検出部２は、送り動作判定結果として現在の画像における送り動作の有無と、送り動作が存在した場合にその属性として方向や動作の速さなどを出力する。
　次に、主制御部３の構成について説明する。
　主制御部３は、送り動作検出部２で検出された送り動作の方向に応じて、現在選択されているチャンネルを他のチャンネルに切り替える。
　例えば、図２に示すように、送り動作検出部２で右向きの送り動作が検出された場合、主制御部３では現在選択されているチャンネル４をチャンネル５に切り替える。
　また、チャンネル以外に音量などを調整してもよい。
　本実施例によれば、ユーザの手１０２の送り動作によって、テレビ受像機１００のチャンネルを簡単に操作できる。
　実施例２の制御装置について図７～図１０に基づいて説明する。
　図８は、本実施例に係わる制御装置の構成を示すブロック図である。
　図８に示すように、制御装置は、実施例１と同様に、送り動作検出部２、主制御部３を備え、さらに、表示制御部４を備えている。画像取得部１は、制御装置内部に設けられてもよいし、外部に設けられてもよい。
　表示制御部４は、図７に示すように、項目表示領域１１２と、現在選択されている項目を示すカーソル１０８とを、ユーザが見ているコンピュータの表示装置２００の画面１０６に表示させると共に、項目表示領域１１２よりも広い領域を認識領域１１０として設定する。なお、「項目」とは、制御対象機器の制御命令が割り当てられた領域である。項目表示領域１１２とは、ユーザが選択可能な項目の全て、又は、一部を表示する領域である。認識領域１１０とは、ユーザの特定部位の形状や移動の状態を、制御装置が認識できる範囲であり、図７では点線で示しているが、実際にはユーザには見ることができない状態で設定する。
　主制御部３は、追跡部２１で取得した画像内の手１０２の位置を、ユーザが閲覧する画面１０６の座標系に変換する。その変換位置が、認識領域１１０内にあるときには、送り動作に応じて認識領域１１０に含まれる項目に関する制御を行う。
　すなわち、主制御部３では、画面１０６に項目が順番に左右方向に列挙されて表示されており、送り動作検出部２で検出された送り動作の方向に応じて、現在選択されている項目の隣の項目が選択される。例えば、送り動作検出部２で右向きの送り動作が検出された場合、主制御部３では現在選択されている項目の右隣の項目にカーソル１０８を切り替える。
　なお、項目の配置は、画面１０６における２次元平面で、上下左右に項目を並べても良いし、環状、又は、球状に配置してもよい。
　また、項目としては、異なる制御命令を表示した項目を並べたもの（例えば、コンピュータで実行されるソフトウェアの「ファイル」、「編集」、「表示」といったメニューなどである）でもよい。
　本実施例によれば、項目表示領域１１２とカーソル１０８を、画面１０６に表示することにより、制御命令をユーザにフィードバックすることができる。
　また、ユーザの手１０２が認識領域１１０内のどこにあっても、認識領域１１０内に入っていれば項目を選択できる。
　そのために、本実施例であれば、ユーザの操作をさらに簡単にできる。
　次に、本実施例の変更例について説明する。
　変更例１においては、図９に示すように、項目表示領域１１２とカーソル１０８の表示方法を変更する。すなわち、カーソル１０８を固定の位置に表示し、項目表示を送り動作の方向に移動させる。また、項目表示を固定しておいてカーソル１０８を送り動作の方向に移動させても良い。
　変更例２においては、変更例１に示すような項目表示領域１１２とカーソル１０８の表示しないで、選択された項目を常に中央部分に表示するようにしてもよい。この場合に、項目表示を送り動作の方向に移動させる。
　変更例３においては、図６に示すように、項目を示す数値に対応した目盛り画像の表示を行って、連続値を必要とする制御を行う。この場合には、帯状の目盛り画像１０９には、数値を示す目盛りを任意の間隔で表示し、カーソル１０８を中央に固定する。そして、送り動作によって、選択したい数値に対応した位置を中央部分に移動させて、選択する。
　変更例４においては、多数の項目を取り扱う場合のユーザの利便性を向上させるため、項目を複数の項目グループに分類する。表示制御部４は、項目グループ毎に項目表示領域１１２を持ち、それぞれ項目表示領域１１２よりも広い認識領域１１０を設定する。画像内の手１０２の位置を、画面１０６の座標系に変換した位置が、認識領域１１０内にあるとき、主制御部３は、対応する項目グループに関する選択を行う。これにより、ユーザは手１０２を移動させることによって、制御したい項目グループを選択し、ユーザの手１０２が各認識領域１１０の内のどこにあっても、対応する項目グループを操作できる。
　変更例５においては、図１０に示すように、項目グループの選択を行う場合、ユーザの手１０２の位置の操作を簡単にするものである。すなわち、表示制御部４は、画像内の手１０２の位置を、画面１０６の座標系に変換した位置が、ある項目表示領域１１２に近づいた場合には、対応する項目表示領域１１２又は認識領域１１０を拡大して表示する。これにより、ユーザが項目グループの選択を行うときに、手１０２の移動量を少なくすることができ、項目グループの選択を簡単に行うことができる。
　実施例３の制御装置について図１１に基づいて説明する。
　図１１は、本実施例に係わる制御装置の構成を示すブロック図である。
　本実施例の制御装置は、実施例１と同様に、送り動作検出部２、主制御部３を備え、さらに、第１動作検出部５、決定制御部６とを備えている。画像取得部１は、制御装置内部に設けられてもよいし、外部に設けられてもよい。
　第１動作検出部５は、特定部位が予め定められた形状、又は予め定められた運動を決定動作として検出することにより、特定部位の画像内の位置によらず決定動作を検出する。
　決定制御部６は、前記決定動作が検出されたら、主制御部３によって現在選択されている項目を決定項目とし、その項目に割り当てられた命令を発生させる。
　画像取得部１、送り動作検出部２、主制御部３については、実施例１と同様であるため説明を省略する。以下では、実施例１と同様に、ユーザの特定部位を手１０２として第１動作検出部５と決定制御部６の構成について説明する。
　第１動作検出部５は、パターン認識方法（特開２００６－２６８８２５号公報参照）、輪郭形状マッチング方法（特許文献１参照）等の画像認識方法を用いて、ユーザの手１０２が第１特定形状をしているかどうかを検出する。第１特定形状としては、手１０２を握った状態や、ＯＫサインなどを用いることができる。
　決定制御部６は、第１動作検出部５で手１０２の特定形状が検出されたとき、主制御部３で現在選択されている項目を決定項目とし、その決定項目に対応付けられている制御を制御対象機器に対して実行する。
　本実施例によれば、ユーザは送り動作により次々に項目を移動させ、所望の項目が選択された状態で手１０２を特定形状にすることにより、手１０２が画面内のどこにあっても、その位置に関係なく簡単に制御命令を決定できる。
　実施例４の制御装置について図１２に基づいて説明する。
　図１２は、本実施例に係わる制御装置の構成を示すブロック図である。
　本実施例に係わる制御装置は、実施例１と同様に、送り動作検出部２、主制御部３を備え、さらに、第２動作検出部６、選択制御部７を備えている。画像取得部１は、制御装置内部に設けられてもよいし、外部に設けられてもよい。
　第２動作検出部６は、手１０２が予め定められている第２特定形状を保った状態で移動していることをドラッグ動作として検出する。第２特定形状としては、手を握った状態などである。
　選択制御部７は、第２動作検出部６において前記ドラッグ動作が検出されると、手１０２の移動量、移動速度、移動方向に応じて現在選択されている項目を別の項目に変化させる。この場合には、項目表示領域を移動させてもよく、また、カーソル１０８を移動させてもよい。
　画像取得部１、送り動作検出部２、主制御部３については、実施例１と同様であるため説明を省略する。以下では、ユーザの特定部位を手１０２として、第２動作検出部６と選択制御部７について説明する。
　第２動作検出部６は、第１動作検出部５と同様にパターン認識方法や、輪郭形状マッチング方法等の画像認識方法を用いて、ユーザの手１０２が特定形状をしているかどうかを検出、追跡し、その移動速度や移動方向を速度計算部２２と同様の方法で取得する。ユーザの手１０２が特定形状をしており、さらに画像内を移動していれば、ドラッグ動作として検出すると共に、その移動速度、移動方向を出力する。
　第２の決定制御部７は、主制御部３と同様にユーザが選択可能な項目が列挙されて配置されており、第２動作検出部６でドラッグ動作が検出されたとき、ドラッグ動作の方向と大きさに応じて、現在選択されている項目の隣の項目が選択される。
　図７に示すようなコンピュータの表示装置の画面表示によってユーザにフィードバックを行う場合、実施例２と同様に、ドラッグ動作によって項目表示領域１１２を移動させても良いし、カーソル１０８を移動させても良い。
変更例
　本発明は上記各実施例に限らず、その主旨を逸脱しない限り種々に変更することができる。例えば、実施例３，４においても、実施例２の構成である表示制御部４を追加してもよい。また、上記各実施例では、特定部位として手１０２で説明したが、頭などの他の部位でもよい。また、上記各実施例では、制御装置の制御対象として、テレビ受像機１００、コンピュータ２００を例に挙げて説明したが、これに限定されず、例えば、医療機器その他の電気機器などにも適用されてもよい。
　また、制御装置の制御対象となる機器は、表示部を有していなくてもよい。例えば、表示部を持たないラジオなどの装置において音量や選曲などを行う場合にも適用でき、ラジオに撮像装置１０４を取り付け、ユーザの送り動作によって音量や選曲などをできるようにしてもよい。
　上記の各実施例における制御装置は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、送り動作検出部２、主制御部３は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、制御装置は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、ＣＤ－ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。
１・・・画像取得部、２・・・送り動作検出部、３・・・主制御部、４・・・表示制御部、５・・・第１動作検出部、６・・・決定制御部、７・・・第２動作検出部、８・・・選択制御部

Claims (9)

  1. 　入力された画像からユーザの身体の特定部位の移動速度と移動方向を検出し、前記移動速度と前記移動方向に基づいて、前記特定部位の動作が、送り動作であるか否かを検出する送り動作検出部と、
    　前記送り動作が検出されたときに、制御対象機器の制御命令を変更する主制御部と、
    　を備えたことを特徴とするインターフェース制御装置。
  2. 　表示部と、
    　前記制御命令が割り当てられた項目を、前記表示部の画面上に複数表示する表示制御部と、
    　をさらに備え、
    　前記主制御部は、前記送り動作に応じて前記項目を選択する、
    　ことを特徴とする請求項１に記載のインターフェース制御装置。
  3. 　前記表示制御部は、前記項目を表示する項目表示領域よりも広い領域を、前記画面上に認識領域として設定し、
    　前記主制御部は、前記画像内の前記特定部位の位置を前記画面の座標系に変換した位置が、前記認識領域内にあるとき、前記送り動作に応じて、前記認識領域に含まれる前記項目に関する制御を行う、
    　ことを特徴とする請求項２に記載のインターフェース制御装置。
  4. 　前記特定部位の予め定められた第１特定形状を検出することにより、前記制御命令に対する決定動作を検出する第１動作検出部と、
    　前記決定動作が検出されたときに、前記選択されている項目を決定項目とし、前記決定項目に割り当てられた前記制御命令を発生させる決定制御部と、
    　をさらに備えたことを特徴とする請求項２に記載のインターフェース制御装置。
  5. 　前記特定部位の予め定められた第２特定形状を保った状態で移動している状態を、ドラッグ動作として検出する第２動作検出部と、
    　前記ドラッグ動作が検出された場合に、前記特定部位の移動量、移動速度、又は、移動方向に応じて現在選択されている前記項目を、他の前記項目に変化させる選択制御部と、
    　をさらに備えたことを特徴とする請求項２に記載のインターフェース制御装置。
  6. 　前記複数の項目が項目グループに分類されている、
    　ことを特徴とする請求項２に記載のインターフェース制御装置。
  7. 　前記表示制御部は、前記画像内の前記特定部位の位置を前記画面の座標系に変換した位置が、前記項目表示領域に近づいた場合に、前記項目を拡大して表示する、
    　ことを特徴とする請求項３に記載のインターフェース制御装置。
  8. 　前記表示制御部は、前記項目に対応した数値を示す目盛り画像を表示し、
    　前記主制御部は、前記送り動作に応じて前記目盛り画像上の位置を選択することによって前記項目を選択する、
    　ことを特徴とする請求項３に記載のインターフェース制御装置。
  9. 　送り動作検出部が、入力された画像からユーザの身体の特定部位の移動速度と移動方向を検出し、前記移動速度と前記移動方向に基づいて、前記特定部位の動作が、送り動作であるか否かを検出する送り動作検出ステップと、
    　主制御部が、前記送り動作が検出されたときに、制御対象機器の制御命令を変更する主制御ステップと、
    　を備えたことを特徴とするインターフェース制御方法。
PCT/JP2009/006846 2009-02-18 2009-12-14 インターフェース制御装置、及びその方法 WO2010095204A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/201,643 US8593399B2 (en) 2009-02-18 2009-12-14 Interface apparatus and method for controlling a device
JP2011500374A JP5318189B2 (ja) 2009-02-18 2009-12-14 インターフェース制御装置、及びその方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009035578 2009-02-18
JP2009-035578 2009-02-18

Publications (1)

Publication Number Publication Date
WO2010095204A1 true WO2010095204A1 (ja) 2010-08-26

Family

ID=42633507

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/006846 WO2010095204A1 (ja) 2009-02-18 2009-12-14 インターフェース制御装置、及びその方法

Country Status (3)

Country Link
US (1) US8593399B2 (ja)
JP (1) JP5318189B2 (ja)
WO (1) WO2010095204A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012089112A (ja) * 2010-09-22 2012-05-10 Nikon Corp 画像表示装置
WO2012070161A1 (ja) * 2010-11-24 2012-05-31 パナソニック株式会社 情報処理装置
JP2013257762A (ja) * 2012-06-13 2013-12-26 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2014032502A (ja) * 2012-08-02 2014-02-20 Alpine Electronics Inc 操作入力装置、それを用いた車載機器及び操作入力処理方法
JP2014085964A (ja) * 2012-10-25 2014-05-12 Nec Personal Computers Ltd 情報処理方法、情報処理装置、及びプログラム
JP2017204294A (ja) * 2013-01-31 2017-11-16 株式会社Ｊｖｃケンウッド 入力表示装置
JP2018005464A (ja) * 2016-06-30 2018-01-11 アース環境サービス株式会社 クリーンルーム入室者の清浄度管理方法及び管理システム
US10156909B2 (en) 2015-04-17 2018-12-18 Mitsubishi Electric Corporation Gesture recognition device, gesture recognition method, and information processing device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101322465B1 (ko) 2011-11-17 2013-10-28 삼성전자주식회사 셀프 카메라 촬영을 위한 방법 및 장치
JP5509227B2 (ja) * 2012-01-31 2014-06-04 株式会社コナミデジタルエンタテインメント 移動制御装置、移動制御装置の制御方法、及びプログラム
GB2537734A (en) * 2013-08-15 2016-10-26 Selwa Richard Hydrocarbon production and storage facility

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007029393A1 (ja) * 2005-09-05 2007-03-15 Sony Computer Entertainment Inc. マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム
JP2008052590A (ja) * 2006-08-25 2008-03-06 Toshiba Corp インターフェース装置及びその方法
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP3777650B2 (ja) 1995-04-28 2006-05-24 松下電器産業株式会社 インターフェイス装置
JP2002083302A (ja) 2000-09-07 2002-03-22 Sony Corp 情報処理装置、動作認識処理方法及びプログラム格納媒体
TW200806029A (en) * 2006-07-14 2008-01-16 Asustek Comp Inc Display system and control method thereof
WO2010011929A1 (en) * 2008-07-25 2010-01-28 Gesturetek, Inc. Enhanced detection of waving engagement gesture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007029393A1 (ja) * 2005-09-05 2007-03-15 Sony Computer Entertainment Inc. マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム
JP2008052590A (ja) * 2006-08-25 2008-03-06 Toshiba Corp インターフェース装置及びその方法
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012089112A (ja) * 2010-09-22 2012-05-10 Nikon Corp 画像表示装置
JP2013232200A (ja) * 2010-09-22 2013-11-14 Nikon Corp 画像表示装置
WO2012070161A1 (ja) * 2010-11-24 2012-05-31 パナソニック株式会社 情報処理装置
US8891025B2 (en) 2010-11-24 2014-11-18 Panasonic Corporation Information processing device
JP2013257762A (ja) * 2012-06-13 2013-12-26 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US10073534B2 (en) 2012-06-13 2018-09-11 Sony Corporation Image processing apparatus, image processing method, and program to control a display to display an image generated based on a manipulation target image
US10671175B2 (en) 2012-06-13 2020-06-02 Sony Corporation Image processing apparatus, image processing method, and program product to control a display to display an image generated based on a manipulation target image
JP2014032502A (ja) * 2012-08-02 2014-02-20 Alpine Electronics Inc 操作入力装置、それを用いた車載機器及び操作入力処理方法
JP2014085964A (ja) * 2012-10-25 2014-05-12 Nec Personal Computers Ltd 情報処理方法、情報処理装置、及びプログラム
JP2017204294A (ja) * 2013-01-31 2017-11-16 株式会社Ｊｖｃケンウッド 入力表示装置
US10156909B2 (en) 2015-04-17 2018-12-18 Mitsubishi Electric Corporation Gesture recognition device, gesture recognition method, and information processing device
JP2018005464A (ja) * 2016-06-30 2018-01-11 アース環境サービス株式会社 クリーンルーム入室者の清浄度管理方法及び管理システム

Also Published As

Publication number Publication date
US20120026083A1 (en) 2012-02-02
JP5318189B2 (ja) 2013-10-16
US8593399B2 (en) 2013-11-26
JPWO2010095204A1 (ja) 2012-08-16

Similar Documents

Publication Publication Date Title
JP5318189B2 (ja) インターフェース制御装置、及びその方法
US11720181B2 (en) Cursor mode switching
US9405373B2 (en) Recognition apparatus
JP5175755B2 (ja) ジェスチャ認識装置、その方法及びそのプログラム
US8896535B2 (en) Image processing apparatus and method, and program therefor
JP4725526B2 (ja) 情報処理装置、撮像装置、情報処理システム、装置制御方法及びプログラム
US9141189B2 (en) Apparatus and method for controlling interface
JP4267648B2 (ja) インターフェース装置及びその方法
US8675916B2 (en) User interface apparatus and method using movement recognition
KR100899610B1 (ko) 전자 장치의 기능을 제어하기 위한 전자 장치 및 방법 및상기 방법을 구현하기 위한 프로그램 생성물
CN103797513A (zh) 对内容的基于计算机视觉的双手控制
JP5921981B2 (ja) 映像表示装置および映像表示方法
JP2011054117A (ja) 情報処理装置、表示制御方法及び表示制御プログラム
KR101747892B1 (ko) 제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치
JP2010079771A (ja) 入力装置
JP2004258837A (ja) カーソル操作装置、その方法およびそのプログラム
WO2015030264A1 (ja) クリック動作検出装置，方法およびプログラム
JP2016224686A5 (ja)
JP2016224686A (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP5932082B2 (ja) 認識装置
KR101654311B1 (ko) 사용자 모션 인식 방법 및 장치
JP5386645B2 (ja) 入力方法
Siam et al. Human computer interaction using marker based hand gesture recognition
JP2013109538A (ja) 入力方法及び入力装置
WO2016051521A1 (ja) 画面操作装置及び画面操作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09840311

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2011500374

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13201643

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 09840311

Country of ref document: EP

Kind code of ref document: A1