WO2016017250A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- WO2016017250A1 WO2016017250A1 PCT/JP2015/064501 JP2015064501W WO2016017250A1 WO 2016017250 A1 WO2016017250 A1 WO 2016017250A1 JP 2015064501 W JP2015064501 W JP 2015064501W WO 2016017250 A1 WO2016017250 A1 WO 2016017250A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- movement
- detection unit
- control unit
- hand
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Definitions
- the present disclosure relates to an information processing apparatus, an information processing method, and a program.
- Patent Document 1 discloses a technique in which a rod-like operation unit is provided in a temple part of a head mounted display (HMD). In this technique, the user manually operates the rod-shaped operation unit. That is, the user performs an operation around the ear.
- HMD head mounted display
- an information processing apparatus including a detection unit that remotely detects a motion of an object existing around a user's ear.
- an information processing method including remotely detecting a motion of an object existing around a user's ear by a detection unit.
- the computer recognizes the movement of the object based on the detection information output from the detection unit that remotely detects the movement of the object existing around the user's ear, and responds to the movement of the object.
- a program is provided that realizes a control function for performing the processing.
- a head-mounted display that includes an image sensor in the temple portion, and the image sensor detects a gesture in the user's temporal region.
- the movement of the object can be remotely detected by the detection unit.
- the movement of the object can be remotely detected by the detection unit, the movement of the object, for example, the movement of the user's hand can be remotely detected. Therefore, the operation around the ear can be easily performed.
- the technology according to the present disclosure may have any of the effects described in the present specification or other effects.
- the information processing apparatus 1 includes an image sensor (detection unit) 10 and an image analysis apparatus 20.
- the image sensor 10 and the image analysis device 20 are connected by a signal line 30. Further, the image analysis device 20 is connected to the operation target device 200 by a signal line 40.
- the image sensor 10 and the image analysis device 20 are mounted on the head mounting member 100.
- the head mounting member 100 shown in FIG. 1 is glasses and is mounted on the head of the user U (see FIG. 6 and the like). Of course, the head mounting member 100 is not limited to glasses.
- the image sensor 10 and the image analysis device 20 are mounted on a portion of the head mounting member 100 that is mounted on the ear U10 of the user U, that is, the temple unit 110.
- the temple part 110 may be comprised with a raw material (for example, metal) with high heat conductivity. Thereby, the heat generated in the image sensor 10 and the image analysis device 20 can be efficiently transmitted to the temple unit 110, so that the image sensor 10 and the image analysis device 20 are efficiently cooled.
- the image sensor 10 remotely detects an object existing around the user U's ear (right ear) U10.
- the remote detection means detecting an object that is not in contact with the image sensor 10.
- the image sensor 10 can also detect an object in contact with the image sensor 10.
- the object to be detected by the image sensor 10 is, for example, the hand (right hand) U1 of the user U.
- the image sensor 10 acquires a captured image by imaging the periphery of the ear U10 and outputs captured image information (detection information) regarding the captured image to the image analysis device 20.
- the image analysis device 20 analyzes (recognizes) the movement of the object based on the captured image information, and performs a process according to the movement of the object. For example, the image analysis device 20 generates instruction information corresponding to the movement of the object and outputs the instruction information to the operation target device 200.
- the operation target device 200 performs various processes based on the instruction information.
- the operation target device 200 is a device that receives instruction information from the image analysis apparatus 20 and executes processing according to the instruction information.
- the type of the operation target device 200 is not particularly limited.
- the operation target device 200 may be, for example, an audio device, a display, a personal computer (including a desktop type and a notebook type), a mobile phone, a smartphone, a smart tablet, a camera attached to the body of the user U, an in-vehicle device, and the like.
- the specific content of the instruction information differs depending on the operation target device 200.
- the instruction information is, for example, information for instructing fast forward, reproduction, rewind, and the like.
- the operation target device 200 when the operation target device 200 is a camera attached to the body of the user U (hereinafter also referred to as “motion imaging camera”), the operation target device 200 captures an image while the user U is performing any operation. Do. Therefore, the user U may have difficulty in accurately operating the operation target device 200. Therefore, when the operation target device 200 is a motion imaging camera and the user U skis, the information processing apparatus 1 is attached to goggles (head-mounted member 100). In this case, while enjoying skiing, the user U moves the hand U around the ear U10 and performs a hand gesture. In response to this, the image sensor 10 detects a hand gesture remotely. The image analysis apparatus recognizes the hand gesture and performs processing corresponding to the hand gesture (for example, recording start and recording end instruction to the operation target device 200). Therefore, the user U can easily operate the operation target device 200.
- goggles head-mounted member 100
- the image sensor 10 detects a hand gesture remotely.
- the image analysis apparatus recognizes the hand gesture and performs processing corresponding to the hand
- the user U moves the hand U1 to the periphery of the ear U10, and then performs some kind of hand gesture (gesture operation using the hand U1) to perform processing corresponding to the hand gesture on the operation target device 200.
- some kind of hand gesture gesture operation using the hand U1
- it does not take time to search for the operation unit. Therefore, in this embodiment, the user U can easily perform an operation around the ear U10.
- the image sensor 10 is mounted outwardly on the temple portion 110 of the head mounting member 100 (that is, the lens surface of the image sensor 10 faces the outside of the temple portion 110).
- the image sensor 10 may be fixed to the temple portion 110 or may be detachable.
- the image sensor 10 may be fixed to the temple part 110 using screws or clips.
- the image sensor 10 and the image analysis device 20 can be removed from the head mounting member 100 by removing the screw or the clip. Thereby, the head mounting member 100 can be used also as normal spectacles.
- the image sensor 10 is preferably provided on the front side of the temple portion 110 (side closer to the front portion 120) so that the hair of the user U is not captured in the captured image as much as possible.
- the installation position of the image sensor 10 is not limited to the temple part 110.
- the image sensor 10 may be provided at any position as long as it can capture the periphery of the user U's ear U10. Therefore, the image sensor 10 may be attached to the front part 120.
- the periphery of the ear U10 can be imaged by widening the angle of view of the image sensor 10 or by directing the optical axis toward the periphery of the ear U10.
- the image sensor 10 is installed in the temple unit 110 for the right ear. This is because it is assumed that the user U performs a hand gesture with the right hand. Therefore, the image sensor 10 may be provided in the temple part for the left ear. In this case, the user U performs a hand gesture with the left hand.
- the image sensor 10 includes an imaging unit (detection unit) 11 and a communication unit 12 as shown in FIG.
- the imaging unit 11 images the periphery of the user U's ear U10.
- the object to be detected by the imaging unit 11 is, for example, the hand U1 of the user U as described above.
- FIG. 6 shows an imageable range (detectable range) 10 ⁇ / b> A of the imaging unit 11.
- the imageable range 10A includes an area around the ear U10.
- the imageable range 10A includes a region facing the opening surface of the ear U10. Therefore, the imaging unit 11 can image an object present around the ear U10, particularly an object facing the opening surface of the ear U10. That is, the imaging unit 11 can remotely detect the movement of an object existing around the ear U10, particularly an object facing the opening surface of the ear U10.
- the imaging unit 11 can image the hand U1 when the user U moves the hand U1 from the front of the user U to the opening surface of the ear U10. That is, the imaging unit 11 can remotely detect the movement of the hand U1.
- the imageable range 10A is not limited to the example shown in FIG. That is, the imageable range 10A only needs to include at least the area around the ear U10 of the user U.
- the imaging unit 11 acquires a captured image by imaging, and outputs captured image information regarding the captured image to the communication unit 12.
- the captured image is a color image and includes a plurality of pixels. Each pixel is associated with position information (coordinate information).
- the communication unit 12 is connected to the image analysis device 20 via the signal line 30 and outputs captured image information to the image analysis device 20. Note that the communication unit 12 may output the captured image information to the image analysis device 20 by wireless communication. In this case, the signal line 30 becomes unnecessary.
- FIG. 3 shows a hardware configuration of the image sensor 10.
- the image sensor 10 includes an imaging mechanism 11a and a communication device 12a as a hardware configuration.
- the imaging mechanism 11a and the communication device 12a are connected by a bus or the like.
- the image sensor 10 implements the above-described imaging unit (detection unit) 11 and communication unit 12 with these hardware configurations.
- These hardware configurations are realized by various hardware configurations necessary for imaging, electronic circuits, and the like.
- Various hardware configurations necessary for imaging include, for example, a lens, an imaging device, and the like.
- the imaging mechanism 11a acquires a captured image by imaging an object that exists in the imageable range 10A. And the imaging mechanism 11a produces
- the imaging mechanism 11a is a substantial operation subject of the image sensor 10.
- the communication device 12 a is connected to the image analysis device 20 via the signal line 30 and outputs captured image information to the image analysis device 20.
- the communication device 12a may output the captured image information to the image analysis device 20 by wireless communication. In this case, the signal line 30 becomes unnecessary.
- the configuration of the image analysis device 20 will be described based on FIGS. 1, 4, and 5.
- the image analysis device 20 is installed in the temple portion 110 of the head mounting member 100.
- the image analysis apparatus 20 may be fixed to the temple unit 110 or may be detachable.
- the method for making the image analysis device 20 detachable from the temple unit 110 is the same as that of the image sensor 10.
- the image analysis device 20 may not be provided in the temple unit 110. That is, since the image analysis device 20 is a device that analyzes captured image information, the image analysis device 20 may be provided at any position as long as the captured image information can be analyzed. Modification examples regarding the installation position of the image analysis device 20 will be described later.
- the image analysis device 20 includes a storage unit 21, a communication unit 22, and a control unit 23.
- the storage unit 21 stores a program necessary for the image analysis apparatus 20 to realize the storage unit 21, the communication unit 22, and the control unit 23. Further, the storage unit 21 stores captured image information, intermediate data when image analysis is performed, a final result of image analysis, and the like.
- the communication unit 22 is connected to the image sensor 10 via the signal line 30 and acquires captured image information from the image sensor 10. Then, the communication unit 22 outputs the captured image information to the control unit 23.
- the communication unit 22 is connected to the operation target device 200 via the signal line 40, and outputs the instruction information given from the control unit 23 to the operation target device 200.
- the communication unit 22 may perform wireless communication with the image sensor 10 and the operation target device 200. In this case, the signal lines 30 and 40 are not necessary.
- the control unit 23 controls each component in the image analysis apparatus 20 and performs the following processing. That is, the control unit 23 analyzes (recognizes) the motion of the object based on the captured image information, and performs processing according to the motion of the object. For example, the control unit 23 generates instruction information corresponding to the movement of the object and outputs the instruction information to the operation target device 200. The operation target device 200 performs various processes based on the instruction information.
- the image analysis device 20 includes a memory 21a, a communication device 22a, and a CPU 23a as a hardware configuration. These hardware configurations are connected by, for example, a bus.
- the image analysis apparatus 20 implements the storage unit 21, the communication unit 22, and the control unit 23 described above with these hardware configurations. These hardware configurations are realized by an electronic circuit or the like.
- the memory 21a is composed of ROM, RAM, nonvolatile memory, and the like.
- the memory 21 a stores programs necessary for the image analysis apparatus 20 to realize the storage unit 21, the communication unit 22, and the control unit 23.
- the memory 21a stores captured image information, intermediate data when image analysis is performed, a final result of image analysis, and the like.
- the communication device 22 a is connected to the image sensor 10 through the signal line 30 and acquires captured image information from the image sensor 10. Further, the communication device 22 a is connected to the operation target device 200 via the signal line 40 and outputs instruction information to the operation target device 200. Note that the communication device 22a may perform wireless communication with the image sensor 10 and the operation target device 200. In this case, the signal lines 30 and 40 are unnecessary.
- the CPU 23a reads and executes the program stored in the memory 21a. Therefore, the CPU 23a is a substantial operation subject of the image analysis apparatus 20.
- the communication unit 22 and the communication device 22a may be omitted.
- the storage unit 21 and the control unit 23 that is, the memory 21a and the CPU 23a
- the image sensor 10, and the operation target device 200 are directly connected via the bus and the signal lines 30 and 40.
- the image sensor 10 images an area around the ear U10.
- the region around the ear U10 includes a region facing the opening surface of the ear U10. Accordingly, as shown in FIGS. 6 and 7, the user U moves the hand U1 from the front toward the opening surface with the hand U1 open, and temporarily stops at a position facing the opening surface (operation (1)). That is, the user U moves the hand U1 to the side of the user U's head.
- the direction (for example, “front”, “back”, “side”, etc.) of the present embodiment means a direction based on the gaze direction of the upright user.
- the direction in which the user's line of sight faces is the front
- the reverse direction of the front is the back
- the direction intersecting the user's line of sight is the side.
- the user U may move the hand U1 in a direction other than the front, for example, from the side toward the opening surface of the ear U1.
- the user U closes (holds) the hand U1. Thereafter, the user U performs any of the following operations (2) to (5). That is, the user U moves the hand horizontally and forward with the hand U1 closed (operation (2)). Or the user U moves a hand horizontally and back, with the hand U1 closed (operation (3)). Alternatively, the user U moves the hand vertically downward with the hand closed (operation (4)). Alternatively, the user U moves the hand vertically upward with the hand closed. As will be described later, the image analysis apparatus 20 performs processing according to operations (1) to (5).
- the user U performs a hand gesture on the side of the user U's head.
- the hand gesture is preferably performed with a posture as easy as possible for the user U.
- the hand gesture is preferably performed so as not to block the user U's line of sight as much as possible. Therefore, the present inventor conducted an experiment using a plurality of users U (subjects) in order to examine what kind of posture is easy for the user U. Specifically, each subject received the posture shown in FIG. 8 (posture A) and the posture shown in FIG. 9 (posture B). Posture A is a posture that projects the hand U1 forward, and posture B is a posture that holds the hand U1 on the side of the user U's head.
- posture B As a result, most subjects answered that posture B is more comfortable than posture A. Furthermore, in the posture A, the arm and the hand U1 block the line of sight ahead, but in the posture B, the arm and the hand U1 hardly block the line of sight. That is, the user U can perform a hand gesture while gazing at a front object (not shown). Therefore, in this embodiment, the hand gesture is performed on the side of the user U's head.
- step S ⁇ b> 1 the image sensor 10 acquires a captured image by imaging the periphery of the user U's ear U ⁇ b> 10. Then, the image sensor 10 transmits captured image information regarding the captured image to the image analysis device 20.
- the communication unit 22 of the image analysis apparatus 20 acquires the captured image information and outputs it to the control unit 23.
- the control unit 23 recognizes the movement of the user U's hand U1 by analyzing the captured image information. Then, based on the analysis result, the control unit 23 determines whether or not the hand U1 of the user U has moved from the front of the user U to the periphery of the ear U10 (that is, the imageable range 10A of the image sensor 10). That is, the control unit 23 determines whether or not the operation (1) described above has been performed. When it is determined that the operation (1) has been performed, the control unit 23 proceeds to step S2, and when it is determined that the operation (1) has not been performed, the control unit 23 returns to step S1.
- step S2 the image sensor 10 acquires a captured image by imaging the periphery of the user U's ear U10. Then, the image sensor 10 transmits captured image information regarding the captured image to the image analysis device 20.
- the communication unit 22 of the image analysis device 20 acquires captured image information and outputs it to the control unit 23.
- the control unit 23 recognizes the movement of the user U's hand U1 by analyzing the captured image information. Then, the control unit 23 determines whether or not the user's hand has moved far from the periphery of the ear U10 (that is, out of the imageable range 10A of the image sensor 10).
- control unit 23 When it is determined that the user's hand has moved far from the periphery of the ear U10, the control unit 23 returns to step S1, and when it is determined that the user's hand has remained around the ear U10, the control unit 23 Proceed to S3.
- step S3 the image sensor 10 acquires a captured image by imaging the periphery of the user U's ear U10. Then, the image sensor 10 transmits captured image information regarding the captured image to the image analysis device 20.
- the communication unit 22 of the image analysis device 20 acquires captured image information and outputs it to the control unit 23.
- the control unit 23 recognizes the movement of the user U's hand U1 by analyzing the captured image information. The control unit 23 performs processing according to the movement of the user U's hand U1. Then, the control part 23 complete
- step S10 the control unit 23 resets the time t indicated by the timer to zero.
- the timer is set in the storage unit 21.
- the value of t increases by 1 every time the image sensor 10 performs imaging. Further, the state (Mode) of the hand U1 is turned off.
- step S20 the image sensor 10 acquires a captured image by imaging the periphery of the user U's ear U10. Then, the image sensor 10 transmits captured image information regarding the captured image to the image analysis device 20.
- the communication unit 22 of the image analysis device 20 acquires captured image information and outputs it to the control unit 23.
- the control unit 23 analyzes the captured image information. Specifically, the control unit 23 detects a skin color area from the captured image. Specifically, the control unit 23 detects pixels whose pixel values are skin color from the captured image. Then, the control unit 23 sets the number (area) of the detected pixels as S (t) and sets the center of gravity position as M (t).
- S (t) is a scalar value
- M (t) is a two-dimensional vector.
- step S30 the control unit 23 checks the value of Mode.
- Mode is OFF
- the control unit 23 proceeds to step S40.
- the Mode is STANDBY
- the control unit 23 proceeds to Step S7.
- the Mode becomes READY
- the control unit 23 proceeds to Step S100 illustrated in FIG.
- step S40 the control unit 23 determines whether or not M (t) has entered the frame from the left end of the captured image as time passes (that is, time t increases).
- time t increases.
- the control unit 23 determines whether or not the user U's hand U1 has entered the imageable range 10A from the front.
- the control unit 23 acquires captured images for the past several frames (for example, 5 frames), and examines the value of M (t) in these captured images. That is, the control unit 23 checks whether M (t) has moved from the left end of the captured image to the center together with t.
- Hand image U1a shows user U's hand U1.
- M (t) of the hand image U1a moves from the left end of the captured image to the center as the time t increases.
- images other than the hand image U1a are omitted.
- control unit 23 proceeds to step S50 when the control unit 23 determines that M (t) has entered the frame from the left end of the captured image, and proceeds to step S90 otherwise.
- step S50 the control unit 23 sets Mode to STANDBY. Thereafter, the control unit 23 proceeds to step S90.
- step S60 the control unit 23 determines whether or not S (t) has decreased with the passage of time (that is, increase in time t).
- S (t) the skin color area in the captured image is narrowed, so S (t) is small. Therefore, in step S60, the control unit 23 determines whether or not the user U has closed the hand U1.
- the control unit 23 acquires captured images for several past frames, and examines the value of S (t) in these captured images. That is, the control unit 23 determines whether or not the scalar value of S (t) has decreased as time t increases. Note that it is possible that the value of S (t) gradually decreases as the hand U1 goes out of the frame. Therefore, the control unit 23 further determines whether or not M (t) is substantially constant (variation within a predetermined threshold value) regardless of an increase in time t when making a stricter determination. Also good.
- step S70 the control unit 23 sets Mode to READY. Thereafter, the control unit 23 proceeds to step S90.
- step S80 the control unit 23 determines whether or not M (t) is out of frame with the passage of time (ie, increase in time t). That is, the control unit 23 determines whether or not the hand U1 of the user U has moved outside the imageable range 10A of the image sensor 10 (that is, around the ear U10).
- control unit 23 acquires captured images for the past several frames, for example, and examines the value of M (t) in these captured images. That is, the control unit 23 determines whether or not M (t) has moved from the center of the image to the periphery with the increase of t, and finally moved out of the captured image. If the control unit 23 determines that M (t) is out of frame as time passes, the control unit 23 proceeds to step S190 shown in FIG. Otherwise, the control unit 23 proceeds to step S90.
- step S90 the control unit 23 waits for a unit time, and then increases the time t indicated by the timer by one. Thereafter, the control unit 23 returns to Step S20.
- step S100 shown in FIG. 12 the control unit 23 determines whether or not M (t) is out of the frame from the left end of the captured image as time elapses (that is, time t increases).
- time elapses that is, time t increases.
- the control unit 23 determines whether or not the user U has performed the operation (2).
- control unit 23 acquires captured images for the past several frames, for example, and examines the value of M (t) in these captured images. That is, the control unit 23 determines whether or not M (t) has moved from the center of the image to the left end with the increase of t, and finally moved out of the captured image.
- control unit 23 proceeds to step S110 if it is determined that the user U has performed the operation (2), and proceeds to step S120 otherwise.
- control unit 23 generates instruction information for instructing the operation target device 200 to perform the process D1.
- the communication unit 22 transmits instruction information to the operation target device 200.
- the content of the process D1 varies depending on the operation target device 200, but the process D1 is preferably associated with the content of the hand gesture. That is, since the operation (2) is a gesture operation for moving the hand forward, the user U imagines that some state quantity is displaced in the positive direction. Therefore, it is preferable that the process D1 is to shift the state quantity related to the operation target device 200 in the positive direction.
- the process D1 is preferably fast-forwarding or playback. The distinction between fast-forwarding and reproduction may be performed at a frame-out speed, for example.
- the process D1 is preferably image enlargement or the like.
- the frame-out speed and the image enlargement speed may be associated with each other. In this way, the user U can more intuitively operate the operation target device 200 by associating the process D1 with the content of the hand gesture. Thereafter, the control unit 23 proceeds to step S190.
- step S120 the control unit 23 determines whether or not M (t) is out of the frame from the right end of the captured image as time elapses (that is, time t increases).
- time elapses that is, time t increases.
- the control unit 23 determines whether or not the user U has performed the operation (3).
- control unit 23 acquires captured images for the past several frames, for example, and examines the value of M (t) in these captured images. That is, the control unit 23 determines whether or not M (t) has moved from the center of the image to the right end with the increase of t, and finally moved out of the captured image.
- step S130 the control unit 23 generates instruction information for instructing the operation target device 200 to perform the process D2.
- the communication unit 22 transmits instruction information to the operation target device 200.
- the content of the process D2 differs depending on the operation target device 200, but the process D2 is preferably associated with the content of the hand gesture. That is, since the operation (2) is a gesture operation for moving the hand backward, the user U imagines that some state quantity is displaced in the negative direction. Therefore, it is preferable that the process D2 is to displace the state quantity related to the operation target device 200 in the negative direction.
- the process D1 is preferably rewinding or reverse playback. The distinction between rewinding and reverse reproduction may be performed at a frame-out speed, for example.
- rewinding may be performed if the frame-out speed is equal to or higher than a predetermined value, and reverse playback is performed if the frame-out speed is lower than the predetermined value.
- the process D2 is preferably image reduction or the like.
- the frame-out speed and the image reduction speed may be associated with each other.
- the control unit 23 proceeds to step S190.
- step S140 the control unit 23 determines whether or not M (t) has been framed out from the lower end of the captured image with the passage of time (that is, increase in time t).
- M (t) frames out from the lower end of the captured image. Therefore, in step S100, the control unit 23 determines whether or not the user U has performed the operation (4).
- the control unit 23 acquires captured images for the past several frames, for example, and examines the value of M (t) in these captured images. That is, the control unit 23 determines whether or not M (t) moves from the center of the image to the lower end as t increases, and finally moves outside the captured image.
- Hand image U1a shows user U's hand U1.
- M (t) of the hand image U1a moves from the center of the captured image to the lower end as the time t increases.
- control unit 23 proceeds to step S150 when it is determined that the user U has performed the operation (4), and proceeds to step S160 in other cases.
- step S160 the control unit 23 generates instruction information for instructing the operation target device 200 to perform the process D3.
- the communication unit 22 transmits instruction information to the operation target device 200.
- the content of the process D3 differs depending on the operation target device 200, but the process D3 is preferably associated with the content of the hand gesture. That is, since the operation (4) is a gesture operation for moving the hand downward, the user U imagines that some state quantity is displaced in the negative direction. Therefore, it is preferable that the process D3 is to displace the state quantity related to the operation target device 200 in the negative direction.
- the process D3 is preferably volume down or the like.
- the process D2 is preferably image reduction or the like. In this way, the user U can more intuitively operate the operation target device 200 by associating the process D3 with the content of the hand gesture.
- step S160 the control unit 23 determines whether or not M (t) is out of the frame from the upper end of the captured image as time passes (that is, time t increases).
- time t increases.
- the control unit 23 determines whether or not the user U has performed the operation (5).
- control unit 23 acquires captured images for the past several frames, for example, and examines the value of M (t) in these captured images. That is, the control unit 23 determines whether or not M (t) moves from the center of the image to the upper end as t increases, and finally moves outside the captured image.
- step S170 the control unit 23 generates instruction information for instructing the operation target device 200 to perform the process D4.
- the communication unit 22 transmits instruction information to the operation target device 200.
- the content of the process D4 differs depending on the operation target device 200, but the process D4 is preferably associated with the content of the hand gesture. That is, since the operation (5) is a gesture operation for moving the hand upward, the user U imagines that some state quantity is displaced in the positive direction. Therefore, it is preferable that the process D4 is to shift the state quantity related to the operation target device 200 in the positive direction.
- the process D4 is preferably volume up.
- the process D2 is preferably image enlargement or the like. In this way, the user U can more intuitively operate the operation target device 200 by associating the process D4 with the contents of the hand gesture.
- step S180 the control unit 23 determines whether or not M (t) has been framed out of the captured image in a mode other than the operations (2) to (5) as time passes (that is, the time t increases). To do.
- M (t) moves in an oblique direction in the captured image.
- control unit 23 acquires captured images for the past several frames, for example, and examines the value of M (t) in these captured images. That is, the control unit 23 determines whether or not M (t) moves in the oblique direction as t increases and finally moves out of the captured image.
- step S190 is performed. Otherwise, the process returns to step S90 shown in FIG.
- step S190 the control unit 23 shifts (shifts) the state of the hand U1 to OFF. Thereafter, the process returns to step S90.
- FIG. 13 is a state transition diagram showing a state transition by the above processing.
- Mode When Mode is OFF, the control unit 23 stands by until M (t) enters the frame from the left end of the captured image.
- the control unit 23 changes the state of the hand U1 from OFF to STANDBY.
- the control unit 23 waits until S (t) decreases, that is, until the user U closes the hand U1. Note that the control unit 23 transitions the state of the hand U1 from STANDBY to OFF when M (t) is out of the captured image.
- the control unit 23 transitions the state of the hand U1 from STANDBY to READY when S (t) becomes small.
- the control unit 23 stands by until any one of the operations (2) to (5) is performed.
- any of the operations (2) to (5) is performed (that is, M (t) is out of the frame from any of the left end, the right end, the upper end, and the lower end of the captured image)
- the control unit 23 Instruction information corresponding to the operation is generated. Thereafter, the control unit 23 shifts the state of the hand U1 to OFF.
- M (t) is out of the captured image in a manner other than the operations (2) to (5)
- the control unit 23 shifts the state of the hand U1 to OFF without generating instruction information.
- the user U moves the hand U1 to the periphery of the ear U10, for example, a position facing the opening surface, and performs a hand gesture. Then, the information processing apparatus 1 causes the operation target device 200 to perform processing according to the content of the hand gesture. Therefore, since the user can cause the operation target device 200 to perform a desired process simply by moving the hand U1 around the ear U10 and performing a hand gesture, the user can easily perform the operation around the ear U10. Can be done.
- the information processing apparatus 1 includes the image sensor 10 that remotely detects the movement of an object existing around the ear U10 of the user U. Therefore, the image sensor 10 can remotely detect such a hand gesture when the user U moves the hand U1 around the ear U10 and performs a hand gesture. Therefore, the user U can easily perform an operation around the ear.
- the image sensor 10 remotely detects the movement of an object existing at a position facing the opening surface of the user U's ear U10.
- the opening surface of the ear U10 is a position that is easy for the user U to understand, the user U can easily move the hand U1 to this position. Therefore, the user U can easily perform an operation around the ear.
- the information processing apparatus 1 recognizes the movement of the object based on the captured image information output from the image sensor 10, and performs processing according to the movement of the object. Therefore, the user can cause the information processing apparatus 1 to perform processing according to the hand gesture.
- the information processing apparatus 1 recognizes the movement of the object based on the captured image information output from the image sensor 10, and the object is within the imageable range 10A from a specific direction (preferably in front of the user U). It is determined whether or not the vehicle has entered. If the information processing apparatus 1 determines that the object has entered the imageable range 10A from the front of the user U, the information processing apparatus 1 shifts the state of the object to the standby state. Then, the information processing apparatus 1 recognizes the movement of the object based on the captured image information output from the image sensor 10 after the state of the object has shifted to the standby state, and performs processing according to the movement of the object.
- a gesture recognition start trigger is that an object (hand) has moved around the ear U10 from a specific direction (preferably in front of the user U).
- the operation of moving the hand U1 from the front of the user U around the ear U10 is often a natural operation for the user U. That is, the user U can make the information processing apparatus 1 perform gesture recognition only by performing a natural operation.
- the information processing apparatus 1 determines whether the shape of the object is a specific shape (for example, a shape with a hand closed) based on the imageable information output from the image sensor 10 after the state of the object has shifted to the standby state. Determine whether. If the information processing apparatus 1 determines that the shape of the object is a specific shape, the information processing apparatus 1 shifts the state of the object to the ready state. Then, the information processing apparatus 1 recognizes the movement of the object based on the captured image information output from the image sensor 10 after the state of the object shifts to the ready state, and performs processing according to the movement of the object. . Thereby, the information processing apparatus 1 can perform gesture recognition more accurately.
- a specific shape for example, a shape with a hand closed
- the control unit 23 determines whether or not the hand U1 has performed a tap operation based on the captured image information.
- the control unit 23 generates instruction information for instructing the operation target device 200 to perform the process D5.
- the content of the process D5 is preferably different depending on the type of tap operation (the number of tap operations).
- the process D5 is playback, reverse playback, fast forward, rewind, or the like according to the number of taps.
- the process D5 is image enlargement, image reduction, or the like according to the number of taps. Note that the control unit 23 maintains the state of the hand U1 at STANDBY.
- the control unit 23 waits until S (t) becomes small. Then, when S (t) becomes small, the control unit 23 further determines whether or not S (t) has decreased to a predetermined threshold value or less. If the control unit 23 determines that S (t) has decreased to a predetermined threshold value or less, the control unit 23 changes the state of the hand U1 to the first READY state (READY state shown in FIG. 13). Thereafter, the control unit 23 performs the processes shown in FIGS. On the other hand, when determining that S (t) is larger than the predetermined threshold, the control unit 23 changes the state of the hand U1 to the second READY state shown in FIG.
- the second READY state is a state where the hand U1 is holding the virtual dial.
- An example of a captured image corresponding to the second READY state is shown in FIG.
- a hand image U1a holding the virtual dial 10C is drawn.
- S (t) of the hand image U1a is larger than S (t) of the hand image U1a shown in FIG.
- control part 23 determines whether the hand U1 rotated based on the captured image information.
- the control unit 23 generates instruction information for instructing the operation target device 200 to perform the process D6.
- the content of the process D6 is preferably different depending on the rotation content (rotation direction and speed).
- the process D6 is reproduction, reverse reproduction, fast forward, rewind, or the like according to the content of rotation.
- the rotation direction is right rotation
- the process D6 is reproduction or fast forward.
- the process D6 is image enlargement, image reduction, or the like according to the rotation content.
- the speed of rotation may be associated with the speed of image enlargement or reduction.
- the control unit 23 changes the state of the hand U1 to a different READY state according to the shape of the hand U1. Thereafter, the control unit 23 performs processing according to the movement of the hand U1 and the type of the READY state. In this case, the user U can perform more various hand gestures.
- the user U is caused to wear a specific color ring U2 on his / her finger and perform a hand gesture.
- the ring U2 moves in conjunction with the user U's hand.
- the image sensor 10 remotely senses the movement of the ring U2 by imaging the ring U2.
- the control unit 23 uses the movement of the ring U2 instead of the movement of the hand U1. Recognize as a hand gesture.
- the control unit 23 recognizes the hand as a hand of another person other than the user U. In this case, the control unit 23 does not recognize the hand gesture. Therefore, in the third modified example, it is difficult to mistake a hand gesture by another person's hand as a hand gesture by the user U. That is, more robust gesture recognition is possible.
- the object that can be remotely detected by the image sensor 10 is not limited to a hand or a ring.
- the image sensor 10 may remotely detect the movement of a stick, a pen, or the like.
- the user U may move a stick, pen, or the like within the imageable range 10 ⁇ / b> A of the image sensor 10.
- the control unit 23 recognizes two states of the hand, that is, an open state and a gripped state.
- the control unit 23 recognizes another shape.
- An example of the shape is shown in FIG. In the example shown in FIG. 29, the thumb and little finger of the hand U1 are extended, and the other three fingers are bent.
- the user U changes the shape of the hand U1 to the shape shown in FIG. Thereafter, the user U performs the operations (2) to (5) described above.
- the control unit 23 recognizes the hand gesture and performs the above-described processing (such as an instruction to the operation target device 200). Others who are not conscious of hand gestures rarely have their hands in the shape shown in FIG. Therefore, in the fourth modified example, it is difficult to mistake a hand gesture by another person's hand as a hand gesture by the user U. That is, more robust gesture recognition is possible.
- the fingerprint of the user U is registered in the storage unit 21 in advance. Then, the control unit 23 performs fingerprint recognition when recognizing a hand gesture (for example, when performing steps S40, S60, S80, S100, S120, S140, S160, and S180). That is, the control unit 23 compares a fingerprint drawn on the captured image with a pre-registered fingerprint, and recognizes a hand gesture when they match. Therefore, in the fifth modification, it is difficult to mistake a hand gesture by another person's hand as a hand gesture by the user U. That is, more robust gesture recognition is possible.
- a hand gesture for example, when performing steps S40, S60, S80, S100, S120, S140, S160, and S180. That is, the control unit 23 compares a fingerprint drawn on the captured image with a pre-registered fingerprint, and recognizes a hand gesture when they match. Therefore, in the fifth modification, it is difficult to mistake a hand gesture by another person's hand as a hand gesture by the user U. That
- the control unit 23 recognizes the orientation of the hand image in the captured image when recognizing the hand gesture (for example, when performing steps S40, S60, S80, S100, S120, S140, S160, and S180). Is analyzed. That is, as shown in FIGS. 30 and 31, if the hand image U1a of the user U is drawn on the captured image 1B, the wrist of the hand image U1a is directed to the lower left or the lower direction, and the fingertip is directed to the upper or the upper right direction. Should be facing. This is apparent from the position of the hand U1 shown in FIG. Conversely, as shown in FIGS. 32 and 33, when the hand image U20a of another person is depicted in the captured image 1B, the wrist of the hand image 20a faces in another direction (for example, right direction, upper left direction, etc.). There are many.
- the control unit 23 determines whether or not the hand image is the user U's hand image U1a based on the orientation of the hand image.
- the control unit 23 recognizes the hand gesture. Therefore, in the sixth modified example, it is difficult to mistake a hand gesture by another person's hand as a hand gesture by the user U. That is, more robust gesture recognition is possible.
- the image sensor 10 also performs distance measurement.
- Examples of such an image sensor 10 include a stereo camera (having two sets of the imaging mechanism 11a).
- Another specific example of the image sensor 10 is a camera that performs distance measurement using the phase difference of the image plane.
- the control unit 23 recognizes the hand gesture (for example, when performing steps S40, S60, S80, S100, S120, S140, S160, and S180), the hand is a predetermined distance (for example, 30 cm) from the image sensor 10. It is determined whether or not it exists inside. When the control unit 23 determines that the hand is within a predetermined distance from the image sensor 10, the control unit 23 recognizes the hand as the hand U1 of the user U and recognizes the hand gesture. On the other hand, when the control unit 23 determines that the distance from the hand to the image sensor 10 is greater than the predetermined distance, the control unit 23 recognizes the hand as a hand of another person. In this case, the control unit 23 does not recognize the hand gesture. Therefore, in the seventh modified example, it is difficult to mistake a hand gesture by another person's hand as a hand gesture by the user U. That is, more robust gesture recognition is possible.
- the hand gesture for example, when performing steps S40, S60, S80, S100, S120, S140, S160,
- the image sensor 10 images the side of the user U. Therefore, the image sensor 10 can image an object that exists in the blind spot of the user U (that is, it is difficult or invisible to the user U). Therefore, the control unit 23 recognizes an object that approaches the user U from the blind spot of the user U based on the captured image. For example, as shown in FIG. 34, when the automobile image 10D is drawn in the captured image 1B, the control unit 23 determines that there is an automobile in the blind spot. Furthermore, the control unit 23 determines whether or not the vehicle suddenly approaches the user U. For example, when the automobile image 10D is enlarged over time, the control unit 23 may determine that the automobile is rapidly approaching. This determination may be performed using the seventh modification.
- the control unit 23 When it is determined that there is an object that approaches the user U from the blind spot of the user U, the control unit 23 performs an emergency process.
- the emergency process include a process of turning off the operation target device 200 and notifying the user U that the danger is imminent.
- a method of notifying the user U there is a method of notifying using the operation target device 200 (for example, using the speaker if the operation target device 200 is an audio device).
- the control unit 23 turns on / off the power of the image sensor 10 and the image analysis device 20 in conjunction with turning on / off the power of the operation target device 200. That is, when the operation target device 200 is turned on, a command (signal) to turn on the power is sent from the operation target device 200 to the image analysis device 20 via the signal line 40. Upon receiving this command, the control unit 23 turns on the power of the image sensor 10 and the image analysis device 20. The same applies to OFF. Accordingly, when the operation target device 200 is not used, the image sensor 10 and the image analysis device 20 do not consume power. In this case, the signal line 40 is used for bidirectional communication.
- the control unit 23 turns on a portion corresponding to the left region 10B-1 of the captured image 10B in the image sensor of the image sensor 10, as shown in FIG.
- the other area 10B-2 is turned off. That is, the image sensor 10 captures an image using only the portion corresponding to the left region 10B-1 of the image sensor. That is, when the operation (1) serving as a trigger for hand gesture recognition is performed, as shown in FIGS. 14 to 19, the hand image U1a is first drawn in the left region 10B-1. Therefore, if only the left area 10B-1 can be imaged, it can be determined whether or not the user U has performed the operation (1). According to the tenth modification, the power consumption of the image sensor 10 is further reduced.
- the control unit 23 determines that the hair of the user U is applied to the image sensor 10 when a plurality of line images 10E extending in the vertical direction (vertical direction) are drawn on the captured image 10B. To do. In this case, since the imaging is disturbed by the hair of the user U, the control unit 23 performs an imaging disturbance process. Examples of the processing at the time of imaging disturbance include processing of turning off the power of the operation target device 200 and notifying the user U that the hair is applied to the image sensor 10. The method for notifying the user U may be the same method as in the above-described eighth modification. According to the eleventh modification, the user can recognize that appropriate imaging cannot be performed due to the hair.
- FIG. 37 shows the information processing apparatus 1 according to the twelfth modification.
- the information processing apparatus 1 is mounted on the head mounting member 300.
- the head mounting member 300 is a headphone.
- the information processing apparatus 1 is mounted on an ear-cup (ear cup) portion of the head mounting member 300.
- the manner of mounting is the same as that shown in FIG. Also according to this modification, the same effect as described above can be obtained.
- FIG. 33 shows an information processing apparatus 1 according to a thirteenth modification.
- the signal line 30 is extended and the image analysis device 20 is detached from the head-mounted member 100.
- the head mounting member 100 is reduced in weight.
- the user U1 may put the image analysis device 20 in a clothes pocket, for example.
- an object is remotely detected using the image sensor 10, but any sensor that can remotely detect an object is applicable to the information processing apparatus 1.
- the information processing apparatus 1 may use proximity sensors 51 to 54 as shown in FIG.
- Proximity sensors 51 to 54 are arranged in the case 50.
- Two proximity sensors 51 to 54 are arranged in the vertical direction (y direction) and in the horizontal direction (x direction).
- the case 50 is disposed at the same position as the image sensor 10 of FIG.
- the proximity sensors 51 to 54 are sensors that can detect that an object is approaching.
- the control unit 23 specifies the sensor that has reacted first and the sensor that has reacted last among the proximity sensors 51 to 54, so that the object (hand) of the sensor that has reacted last from the position of the sensor that reacted first. You can see that it has moved to the position.
- the control unit 23 may perform gesture recognition using this information.
- each of the above modifications may be arbitrarily combined.
- the first modification and the second modification may be combined.
- the control unit 23 performs processing according to the tap operation and the operation of rotating the virtual dial.
- the first or second modification and the third to seventh modifications may be combined.
- the user U performs a tap operation and an operation of rotating a virtual dial, and the control unit 23 performs processing corresponding to these.
- the control unit 23 performs the processing (processing for increasing robustness) according to the third to seventh modified examples together with the above.
- control unit 23 performs an emergency process when the object suddenly approaches from the blind spot of the user U while performing a process according to another modification. Moreover, you may combine a 9th modification and another modification. In this case, the control unit 23 performs processing according to another modification, and turns off the image sensor 10 and the image analysis device 20 in conjunction with the power source of the operation target device 200.
- control unit 23 performs the process according to another modification, and turns on the area drinking corresponding to the left area 10B-1 in the image sensor until the operation (1) is performed.
- control unit 23 performs the process according to another modification, while performing the imaging disturbance process when the image sensor 10 is covered with hair.
- any one of the twelfth to fourteenth modifications may be combined with another modification.
- the information processing apparatus 1 has the configuration shown in any of the 12th to 14th modifications.
- the control part 23 performs the process which concerns on another modification.
- An information processing apparatus comprising a detection unit that remotely detects a movement of an object existing around a user's ear.
- the information processing apparatus according to (1) wherein the detection unit remotely detects a movement of an object existing at a position facing an opening surface of the user's ear.
- the information processing apparatus according to (1) or (2) wherein the detection unit remotely detects at least one of the user's hand and an interlocking member that moves in conjunction with the user's hand.
- the control unit recognizes the movement of the object based on the detection information output from the detection unit, determines whether the object has entered the detectable range of the detection unit from a specific direction, When it is determined that the object has entered the detectable range of the detection unit from the specific direction, the state of the object is shifted to a standby state, The method according to (4), wherein the movement of the object is recognized based on detection information output from the detection unit after the state of the object has shifted to the standby state, and processing according to the movement of the object is performed. Information processing device.
- the control unit recognizes the movement of the object based on the detection information output from the detection unit, and determines whether the object has entered the detectable range of the detection unit from the front of the user.
- the information processing apparatus determines whether the shape of the object is a specific shape based on detection information output from the detection unit after the state of the object has shifted to the standby state, When it is determined that the shape of the object is the specific shape, the state of the object is shifted to the ready state, Recognizing the movement of the object based on detection information output from the detection unit after the state of the object has shifted to the ready state, and performing a process according to the movement of the object. 6) The information processing apparatus described. (8) There are a plurality of the specific shapes, The control unit matches the specific shape of the plurality of specific shapes based on detection information output from the detection unit after the state of the object has shifted to the standby state.
- the state of the object is shifted to a ready state according to the shape of the object, Based on detection information output from the detection unit after the state of the object has shifted to the ready state, the movement of the object is recognized, and processing according to the type of the movement of the object and the ready state is performed.
- the information processing apparatus according to (7).
- the information processing apparatus according to any one of (1) to (8), wherein the detection unit is mounted on a head mounting member that can be mounted on the head of the user.
- the detection unit is mounted on a portion of the head mounting member that is mounted on an ear of the user.
- the information processing apparatus according to any one of (1) to (10), wherein the detection unit is an image sensor capable of capturing an image around the user's ear.
- An information processing method including remotely detecting a motion of an object existing around a user's ear by a detection unit.
- the control function recognizes the movement of the object based on the detection information output from the detection unit and determines whether the object has entered the detectable range of the detection unit from the front of the user. And When it is determined that the object has entered the detectable range of the detection unit from the front of the user, transition to a standby state, The program according to (15), wherein the program recognizes the movement of the object based on detection information output from the detection unit after shifting to the standby state, and performs processing according to the movement of the object.
- the temple part has an image sensor, The image sensor is a head mounted display that detects a gesture in a user's temporal region. (18) The head mounted display according to (17), wherein the user is notified when it is determined that the image sensor is covered with hair.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
【課題】耳の周囲での操作を容易に行うことができる技術が求められていた。 【解決手段】本開示によれば、ユーザの耳の周囲に存在する物体の動きを遠隔検知する検知部を備えることを特徴とする、情報処理装置が提供される。本開示によれば、検知部によって物体の動きを遠隔検知することができるので、物体の動き、例えばユーザの手の動きを遠隔検知することができる。したがって、耳の周囲での操作を容易に行うことができる。もちろん、本開示による効果はこれに限られない。
Description
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
特許文献1は、ヘッドマウントディスプレイ(HMD)のテンプル部に棒状の操作部を設ける技術を開示する。この技術では、ユーザは、棒状の操作部を手で操作する。即ち、ユーザは、耳の周囲で操作を行う。
しかし、この技術では、操作部がユーザにとって見えにくい位置にあるので、ユーザは、テンプル部の周囲で手を動かしながら操作部を探し当てる必要がある。このため、耳の周囲での操作に手間がかかっていた。
このため、耳の周囲での操作を容易に行うことができる技術が求められていた。
本開示によれば、ユーザの耳の周囲に存在する物体の動きを遠隔検知する検知部を備えることを特徴とする、情報処理装置が提供される。
本開示によれば、ユーザの耳の周囲に存在する物体の動きを検知部によって遠隔検知することを含む、情報処理方法が提供される。
本開示によれば、コンピュータに、ユーザの耳の周囲に存在する物体の動きを遠隔検知する検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う制御機能を実現させる、プログラムが提供される。
本開示によれば、テンプル部にイメージセンサを備え、イメージセンサはユーザの側頭部におけるジェスチャを検知する、ヘッドマウントディスプレイが提供される。
本開示によれば、検知部によって物体の動きを遠隔検知することができる。
以上説明したように本開示によれば、検知部によって物体の動きを遠隔検知することができるので、物体の動き、例えばユーザの手の動きを遠隔検知することができる。したがって、耳の周囲での操作を容易に行うことができる。本開示に係る技術は、本明細書中に記載されたいずれかの効果、または他の効果を有するものであってもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.情報処理装置の構成
1-1.全体構成
1-2.イメージセンサの構成
1-3.画像解析装置の構成
2.ハンドジェスチャの概要
3.情報処理装置による処理の概要
4.情報処理装置による処理の手順
5.各種変形例
5-1.情報処理装置の第1変形例
5-2.情報処理装置の第2変形例
5-3.情報処理装置の第3変形例
5-4.情報処理装置の第4変形例
5-5.情報処理装置の第5変形例
5-6.情報処理装置の第6変形例
5-7.情報処理装置の第7変形例
5-8.情報処理装置の第8変形例
5-9.情報処理装置の第9変形例
5-10.情報処理装置の第10変形例
5-11.情報処理装置の第11変形例
5-12.情報処理装置の第12変形例
5-13.情報処理装置の第13変形例
5-14.情報処理装置の第14変形例
1.情報処理装置の構成
1-1.全体構成
1-2.イメージセンサの構成
1-3.画像解析装置の構成
2.ハンドジェスチャの概要
3.情報処理装置による処理の概要
4.情報処理装置による処理の手順
5.各種変形例
5-1.情報処理装置の第1変形例
5-2.情報処理装置の第2変形例
5-3.情報処理装置の第3変形例
5-4.情報処理装置の第4変形例
5-5.情報処理装置の第5変形例
5-6.情報処理装置の第6変形例
5-7.情報処理装置の第7変形例
5-8.情報処理装置の第8変形例
5-9.情報処理装置の第9変形例
5-10.情報処理装置の第10変形例
5-11.情報処理装置の第11変形例
5-12.情報処理装置の第12変形例
5-13.情報処理装置の第13変形例
5-14.情報処理装置の第14変形例
<1.情報処理装置の構成>
(1-1.全体構成)
まず、図1に基づいて、本実施形態に係る情報処理装置1の全体構成(概要)について説明する。図1に示すように、情報処理装置1は、イメージセンサ(検知部)10と、画像解析装置20とを備える。イメージセンサ10と画像解析装置20とは信号線30で連結される。また、画像解析装置20は操作対象機器200と信号線40で連結される。また、イメージセンサ10及び画像解析装置20は、頭部装着部材100に装着される。図1に示される頭部装着部材100はメガネとなっており、ユーザU(図6等参照)の頭部に装着される。もちろん、頭部装着部材100はメガネに限定されない。他の例としては、ヘッドフォン、ヘッドマウントディスプレイ、ゴーグル、イヤホン、ヘルメット、帽子等が挙げられる。イメージセンサ10及び画像解析装置20は、頭部装着部材100のうち、ユーザUの耳U10に装着される部分、即ちテンプル部110に装着される。テンプル部110は、熱伝導性の高い素材(例えば金属)で構成されてもよい。これにより、イメージセンサ10及び画像解析装置20で発生する熱がテンプル部110に効率的に伝ええられるので、イメージセンサ10及び画像解析装置20が効率的に冷却される。
(1-1.全体構成)
まず、図1に基づいて、本実施形態に係る情報処理装置1の全体構成(概要)について説明する。図1に示すように、情報処理装置1は、イメージセンサ(検知部)10と、画像解析装置20とを備える。イメージセンサ10と画像解析装置20とは信号線30で連結される。また、画像解析装置20は操作対象機器200と信号線40で連結される。また、イメージセンサ10及び画像解析装置20は、頭部装着部材100に装着される。図1に示される頭部装着部材100はメガネとなっており、ユーザU(図6等参照)の頭部に装着される。もちろん、頭部装着部材100はメガネに限定されない。他の例としては、ヘッドフォン、ヘッドマウントディスプレイ、ゴーグル、イヤホン、ヘルメット、帽子等が挙げられる。イメージセンサ10及び画像解析装置20は、頭部装着部材100のうち、ユーザUの耳U10に装着される部分、即ちテンプル部110に装着される。テンプル部110は、熱伝導性の高い素材(例えば金属)で構成されてもよい。これにより、イメージセンサ10及び画像解析装置20で発生する熱がテンプル部110に効率的に伝ええられるので、イメージセンサ10及び画像解析装置20が効率的に冷却される。
イメージセンサ10は、ユーザUの耳(右耳)U10の周囲に存在する物体を遠隔検知する。ここで、遠隔検知とは、イメージセンサ10に非接触の物体を検知することを意味する。イメージセンサ10は、イメージセンサ10に接触した物体を検知することもできる。イメージセンサ10による検知の対象となる物体は、例えばユーザUの手(右手)U1である。イメージセンサ10は、具体的には、耳U10の周囲を撮像することで撮像画像を取得し、撮像画像に関する撮像画像情報(検知情報)を画像解析装置20に出力する。
画像解析装置20は、撮像画像情報に基づいて、物体の動きを解析(認識)し、物体の動きに応じた処理を行う。例えば、画像解析装置20は、物体の動きに応じた指示情報を生成し、操作対象機器200に出力する。操作対象機器200は、指示情報に基づいて、各種の処理を行う。操作対象機器200は、画像解析装置20からの指示情報を受信し、指示情報に応じた処理を実行する装置である。操作対象機器200の種類は特に問われない。操作対象機器200は、例えば、オーディオ機器、ディスプレイ、パーソナルコンピュータ(デスクトップ型、ノート型含む)、携帯電話、スマートフォン、スマートタブレット、ユーザUの身体に取り付けるカメラ、車載器などであってもよい。指示情報の具体的な内容は操作対象機器200に応じて異なる。操作対象機器200がオーディオ機器となる場合、指示情報は、例えば、早送り、再生、巻き戻し等を指示する情報となる。
特に、操作対象機器200がユーザUの身体に取り付けるカメラ(以下、「動作撮像用カメラ」とも称する)となる場合、操作対象機器200は、ユーザUが何らの動作を行っている間に撮像を行う。したがって、ユーザUは、操作対象機器200の操作を正確に行いにくい場合がある。そこで、操作対象機器200が動作撮像用カメラとなり、かつ、ユーザUがスキーを行う場合、ゴーグル(頭部装着部材100)に情報処理装置1を取り付ける。この場合、ユーザUは、スキーを楽しみながら、手Uを耳U10の周囲に移動させて、ハンドジェスチャを行う。これに応じて、イメージセンサ10は、ハンドジェスチャを遠隔検知する。画像解析装置は、ハンドジェスチャを認識し、ハンドジェスチャに応じた処理(例えば、操作対象機器200への録画開始、録画終了指示等)を行う。したがって、ユーザUは、操作対象機器200を簡単に操作することができる。
したがって、ユーザUは、手U1を耳U10の周囲まで移動させ、その後、何らかのハンドジェスチャ(手U1を用いたジェスチャ操作)を行うことで、そのハンドジェスチャに応じた処理を操作対象機器200に行わせることができる。したがって、本実施形態では、特許文献1に開示された技術のように、操作部を探す手間がかからない。よって、本実施形態では、ユーザUは、耳U10の周囲での操作を容易に行うことができる。
(1-2.イメージセンサ10の構成)
次に、図1~図3、及び図6に基づいて、イメージセンサ10の構成について説明する。図1に示すように、イメージセンサ10は、頭部装着部材100のテンプル部110に外向きに(すなわち、イメージセンサ10のレンズ面がテンプル部110の外側を向くように)装着される。イメージセンサ10は、テンプル部110に固定されていてもよく、着脱可能であってもよい。ここで、イメージセンサ10をテンプル部110から着脱可能とするための方法としては、例えば、イメージセンサ10をテンプル部110にねじ止めやクリップ等を使って固定することが挙げられる。この場合、ねじを外す、あるいは、クリップを外すことで、頭部装着部材100から、イメージセンサ10と画像解析装置20とを取り外すことが出来る。これにより、頭部装着部材100は、通常の眼鏡としても使用できる。
次に、図1~図3、及び図6に基づいて、イメージセンサ10の構成について説明する。図1に示すように、イメージセンサ10は、頭部装着部材100のテンプル部110に外向きに(すなわち、イメージセンサ10のレンズ面がテンプル部110の外側を向くように)装着される。イメージセンサ10は、テンプル部110に固定されていてもよく、着脱可能であってもよい。ここで、イメージセンサ10をテンプル部110から着脱可能とするための方法としては、例えば、イメージセンサ10をテンプル部110にねじ止めやクリップ等を使って固定することが挙げられる。この場合、ねじを外す、あるいは、クリップを外すことで、頭部装着部材100から、イメージセンサ10と画像解析装置20とを取り外すことが出来る。これにより、頭部装着部材100は、通常の眼鏡としても使用できる。
また、イメージセンサ10は、ユーザUの髪の毛が撮像画像になるべく写らないように、テンプル部110の前側(フロント部120に近い側)に設けられることが好ましい。
イメージセンサ10の設置位置はテンプル部110に限定されない。すなわち、イメージセンサ10は、ユーザUの耳U10の周囲を撮像することができればどのような位置に設けられていてもよい。したがって、イメージセンサ10は、フロント部120に装着されてもよい。この場合、イメージセンサ10の画角を広くするか、あるいは、光軸を耳U10の周囲に向けることで、耳U10の周囲を撮像することができる。また、図1では、イメージセンサ10は右耳用のテンプル部110に設置される。これは、ユーザUが右手でハンドジェスチャを行うことを想定したためである。したがって、イメージセンサ10は、左耳用のテンプル部に設けられても良い。この場合、ユーザUは、左手でハンドジェスチャを行う。
イメージセンサ10は、図2に示すように、撮像部(検知部)11と、通信部12とを備える。撮像部11は、ユーザUの耳U10の周囲を撮像する。撮像部11による検知対象となる物体は、上述したように、例えばユーザUの手U1である。図6に撮像部11の撮像可能範囲(検知可能範囲)10Aを示す。撮像可能範囲10Aは、耳U10の周囲の領域が含まれる。特に、本実施形態では、撮像可能範囲10Aは、耳U10の開口面に対向する領域を含む。したがって、撮像部11は、耳U10の周囲に存在する物体、特に耳U10の開口面に対向する物体を撮像することができる。すなわち、撮像部11は、耳U10の周囲に存在する物体、特に耳U10の開口面に対向する物体の動きを遠隔検知することができる。
例えば、図6に示すように、撮像部11は、ユーザUが手U1をユーザUの前方から耳U10の開口面まで移動させた場合に、手U1を撮像することができる。すなわち、撮像部11は、手U1の動きを遠隔検知することができる。もちろん、撮像可能範囲10Aは図6に示す例に限られない。すなわち、撮像可能範囲10Aは、少なくともユーザUの耳U10の周囲の領域を含んでいればよい。撮像部11は、撮像によって撮像画像を取得し、撮像画像に関する撮像画像情報を通信部12に出力する。ここで、撮像画像はカラー画像であり、複数の画素で構成される。各画素には位置情報(座標情報)が関連付けられている。
通信部12は、信号線30を介して画像解析装置20と接続されており、撮像画像情報を画像解析装置20に出力する。なお、通信部12は、無線通信によって撮像画像情報を画像解析装置20に出力してもよい。この場合、信号線30は不要になる。
図3は、イメージセンサ10のハードウェア構成を示す。イメージセンサ10は、ハードウェア構成として、撮像機構11aと、通信装置12aとを備える。撮像機構11aと、通信装置12aとは、バス等で連結される。イメージセンサ10は、これらのハードウェア構成によって、上述した撮像部(検知部)11と、通信部12とを実現する。これらのハードウェア構成は、撮像に必要な各種ハードウェア構成、及び電子回路等によって実現される。撮像に必要な各種ハードウェア構成としては、例えばレンズ、撮像素子等で構成される。撮像機構11aは、撮像可能範囲10A内に存在する物体を撮像することで撮像画像を取得する。そして、撮像機構11aは、撮像画像に関する撮像画像情報を生成する。したがって、撮像機構11aは、イメージセンサ10の実質的な動作主体となるものである。通信装置12aは、信号線30を介して画像解析装置20と接続されており、撮像画像情報を画像解析装置20に出力する。なお、通信装置12aは、無線通信によって撮像画像情報を画像解析装置20に出力してもよい。この場合、信号線30は不要になる。
(1-3.画像解析装置20の構成)
次に、図1、図4、及び図5に基づいて、画像解析装置20の構成について説明する。図1に示すように、画像解析装置20は、頭部装着部材100のテンプル部110に装置される。画像解析装置20はテンプル部110に固定されていてもよく、着脱可能であってもよい。画像解析装置20をテンプル部110から着脱可能とするための方法は、イメージセンサ10と同様である。また、画像解析装置20は、テンプル部110に設けられなくてもよい。すなわち、画像解析装置20は、撮像画像情報を解析する装置なので、撮像画像情報を解析することができればどのような位置に設けられていてもよい。画像解析装置20の設置位置に関する変形例は後述する。
次に、図1、図4、及び図5に基づいて、画像解析装置20の構成について説明する。図1に示すように、画像解析装置20は、頭部装着部材100のテンプル部110に装置される。画像解析装置20はテンプル部110に固定されていてもよく、着脱可能であってもよい。画像解析装置20をテンプル部110から着脱可能とするための方法は、イメージセンサ10と同様である。また、画像解析装置20は、テンプル部110に設けられなくてもよい。すなわち、画像解析装置20は、撮像画像情報を解析する装置なので、撮像画像情報を解析することができればどのような位置に設けられていてもよい。画像解析装置20の設置位置に関する変形例は後述する。
画像解析装置20は、図4に示すように、記憶部21と、通信部22と、制御部23とを備える。記憶部21は、画像解析装置20が記憶部21と、通信部22と、制御部23とを実現するために必要なプログラムを記憶する。また、記憶部21は、撮像画像情報、画像解析が行われる際の中間データ、及び画像解析の最終結果等を記憶する。通信部22は、信号線30を介してイメージセンサ10を接続されており、撮像画像情報をイメージセンサ10から取得する。そして、通信部22は、撮像画像情報を制御部23に出力する。また、通信部22は、信号線40を介して操作対象機器200に接続されており、制御部23から与えられた指示情報を操作対象機器200に出力する。なお、通信部22は、イメージセンサ10及び操作対象機器200と無線通信を行ってもよく、この場合、信号線30、40は不要になる。
制御部23は、画像解析装置20内の各構成要素を制御する他、以下の処理を行う。すなわち、制御部23は、撮像画像情報に基づいて、物体の動きを解析(認識)し、物体の動きに応じた処理を行う。例えば、制御部23は、物体の動きに応じた指示情報を生成し、操作対象機器200に出力する。操作対象機器200は、指示情報に基づいて、各種の処理を行う。
画像解析装置20は、ハードウェア構成として、メモリ21a、通信装置22a、及びCPU23aを備える。これらのハードウェア構成は、例えばバス等で連結される。画像解析装置20は、これらのハードウェア構成により、上述した記憶部21、通信部22、及び制御部23を実現する。これらのハードウェア構成は、電子回路等によって実現される。
メモリ21aは、ROM、RAM、不揮発性メモリ等で構成される。メモリ21aは、画像解析装置20が記憶部21と、通信部22と、制御部23とを実現するために必要なプログラムを記憶する。また、メモリ21aは、撮像画像情報、画像解析が行われる際の中間データ、及び画像解析の最終結果等を記憶する。
通信装置22aは、信号線30を介してイメージセンサ10と接続されており、イメージセンサ10から撮像画像情報を取得する。また、通信装置22aは、信号線40を介して操作対象機器200に接続されており、指示情報を操作対象機器200に出力する。なお、通信装置22aは、イメージセンサ10及び操作対象機器200と無線通信を行ってもよく、この場合、信号線30、40は不要になる。CPU23aは、メモリ21aに記憶されたプログラムを読みだして実行する。したがって、CPU23aは画像解析装置20の実質的な動作主体となるものである。
なお、イメージセンサ10、画像解析装置20、及び操作対象機器200が信号線30、40で連結される場合、通信部22及び通信装置22aは省略されてもよい。この場合、記憶部21及び制御部23(すなわち、メモリ21a及びCPU23a)とイメージセンサ10及び操作対象機器200とがバス及び信号線30、40を介して直結される。
<2.ハンドジェスチャの概要>
次に、図6及び図7に基づいて、上記の情報処理装置1に対してユーザUが行うハンドジェスチャについて説明する。もちろん、以下に説明するハンドジェスチャは一例であり、ユーザUは、他の種類のハンドジェスチャを行っても良い。
次に、図6及び図7に基づいて、上記の情報処理装置1に対してユーザUが行うハンドジェスチャについて説明する。もちろん、以下に説明するハンドジェスチャは一例であり、ユーザUは、他の種類のハンドジェスチャを行っても良い。
図6に示すように、イメージセンサ10は、耳U10の周囲の領域を撮像する。耳U10の周囲の領域には、耳U10の開口面に対向する領域が含まれる。したがって、ユーザUは、図6及び図7に示すように、手U1を開いた状態で前方から開口面に向けて移動させ、開口面に対向する位置で一旦静止させる(動作(1))。すなわち、ユーザUは、手U1をユーザUの頭部の側方に移動させる。ここで、本実施形態の方向(例えば、「前方」、「後方」、「側方」等)は、直立したユーザの視線方向を基準とした方向を意味する。すなわち、ユーザの視線が向く方向を前方、前方の逆方向を後方、ユーザ視線と交差する方向を側方とする。また、ユーザUは、手U1を前方以外の方向、例えば側方から耳U1の開口面に向けて移動させても良い。
そして、ユーザUは、手U1を閉じる(握る)。その後、ユーザUは、以下の動作(2)~(5)のいずれかを行う。すなわち、ユーザUは、手U1を閉じたまま、水平かつ前方へ手を移動させる(動作(2))。または、ユーザUは、手U1を閉じたまま、水平かつ後方へ手を移動させる(動作(3))。または、ユーザUは、手を閉じたまま、鉛直下方へ手を移動させる(動作(4))。または、ユーザUは、手を閉じたまま、鉛直上方へ手を移動させる。後述するように、画像解析装置20は、動作(1)~(5)に応じた処理を行う。
このように、本実施形態では、ユーザUは、ハンドジェスチャをユーザUの頭部の側方で行う。この理由を図8及び図9に基づいて説明する。ハンドジェスチャは、ユーザUにとってなるべく楽な姿勢で行われることが好ましい。また、ハンドジェスチャは、なるべくユーザUの視線を遮らないように行われることが好ましい。そこで、本発明者は、ユーザUにとって楽な姿勢がどのようなものであるかを検討するために、複数人のユーザU(被験者)を使った実験を行った。具体的には、図8に示す姿勢(姿勢A)と図9に示す姿勢(姿勢B)を各被験者にとってもらった。姿勢Aは、手U1を前方に突き出す姿勢であり、姿勢Bは、手U1をユーザUの頭部の側方に保持する姿勢である。その結果、大半の被験者から、姿勢Aよりも姿勢Bの方が楽な姿勢であるという回答を得た。さらに、姿勢Aでは、腕および手U1が前方の視線を遮ることになるが、姿勢Bでは、腕および手U1は視線を遮りにくい。つまり、ユーザUは、前方の物体(図示省略)を注視しながらハンドジェスチャを行うことが出来る。そこで、本実施形態では、ハンドジェスチャをユーザUの頭部の側方で行うこととした。
<3.情報処理装置による処理の概要>
次に、図10に基づいて、画像解析装置20が行う処理の概要について説明する。ステップS1において、イメージセンサ10は、ユーザUの耳U10の周囲を撮像することで撮像画像を取得する。そして、イメージセンサ10は、撮像画像に関する撮像画像情報を画像解析装置20に送信する。
次に、図10に基づいて、画像解析装置20が行う処理の概要について説明する。ステップS1において、イメージセンサ10は、ユーザUの耳U10の周囲を撮像することで撮像画像を取得する。そして、イメージセンサ10は、撮像画像に関する撮像画像情報を画像解析装置20に送信する。
画像解析装置20の通信部22は、撮像画像情報を取得し、制御部23に出力する。制御部23は、撮像画像情報を解析することで、ユーザUの手U1の動きを認識する。そして、制御部23は、解析結果に基づいて、ユーザUの手U1がユーザUの前方から耳U10の周囲(すなわち、イメージセンサ10の撮像可能範囲10A)に移動してきたか否かを判定する。すなわち、制御部23は、上述した動作(1)が行われたか否かを判定する。制御部23は、動作(1)が行われたと判定した場合には、ステップS2に進み、動作(1)が行われなかったと判定した場合には、ステップS1に戻る。
ステップS2において、イメージセンサ10は、ユーザUの耳U10の周囲を撮像することで撮像画像を取得する。そして、イメージセンサ10は、撮像画像に関する撮像画像情報を画像解析装置20に送信する。画像解析装置20の通信部22は、撮像画像情報を取得し、制御部23に出力する。制御部23は、撮像画像情報を解析することで、ユーザUの手U1の動きを認識する。そして、制御部23は、ユーザの手が耳U10の周囲から遠くへ移動した(すなわち、イメージセンサ10の撮像可能範囲10Aからフレームアウトした)か否かを判定する。制御部23は、ユーザの手が耳U10の周囲から遠くへ移動したと判定した場合には、ステップS1に戻り、ユーザの手が耳U10の周囲にとどまっていると判定した場合には、ステップS3に進む。
ステップS3において、イメージセンサ10は、ユーザUの耳U10の周囲を撮像することで撮像画像を取得する。そして、イメージセンサ10は、撮像画像に関する撮像画像情報を画像解析装置20に送信する。画像解析装置20の通信部22は、撮像画像情報を取得し、制御部23に出力する。制御部23は、撮像画像情報を解析することで、ユーザUの手U1の動きを認識する。制御部23は、ユーザUの手U1の動きに応じた処理を行う。その後、制御部23は、本処理を終了する。
<4.情報処理装置による処理の手順>
次に、画像解析装置20による処理の手順を図11及び図12に示すフローチャートに沿って説明する。ステップS10において、制御部23は、タイマが示す時刻tをゼロにリセットする。ここで、タイマは記憶部21に設定される。また、tの値は、イメージセンサ10が撮像を行う毎に1増加する。また、手U1の状態(Mode)をオフ(OFF)にする。
次に、画像解析装置20による処理の手順を図11及び図12に示すフローチャートに沿って説明する。ステップS10において、制御部23は、タイマが示す時刻tをゼロにリセットする。ここで、タイマは記憶部21に設定される。また、tの値は、イメージセンサ10が撮像を行う毎に1増加する。また、手U1の状態(Mode)をオフ(OFF)にする。
ステップS20において、イメージセンサ10は、ユーザUの耳U10の周囲を撮像することで撮像画像を取得する。そして、イメージセンサ10は、撮像画像に関する撮像画像情報を画像解析装置20に送信する。画像解析装置20の通信部22は、撮像画像情報を取得し、制御部23に出力する。制御部23は、撮像画像情報を解析する。具体的には、制御部23は、撮像画像から肌色領域を検出する。具体的には、制御部23は、撮像画像から画素値が肌色である画素を検出する。そして、制御部23は、検出された画素の数(面積)をS(t)とし、重心位置をM(t)とする。S(t)はスカラー値であり、M(t)は2次元ベクトルである。肌色部分を検出することで、画像内に写っている手の大きさ(S(t))と、手の位置(M(t))を知ることが出来る。なお、手及びその動きの認識については、よりロバストな手法を適用してもよい。
ステップS30において、制御部23は、Modeの値を調べる。ModeがOFFである場合には、制御部23は、ステップS40に進む。ModeがSTANDBYであるの場合には、制御部23は、ステップS7に進む。制御部23は、ModeがREADYとなる場合には、図12に示すステップS100に進む。
ステップS40において、制御部23は、時間の経過(すなわち、時刻tの増加)とともにM(t)が撮像画像の左端からフレームインしたか否かを判定する。ここで、図6に示すように、ユーザUが前方から手U1を耳U10の周囲に移動させた場合、手U1は、平面視で撮像可能範囲10Aの左側から撮像可能範囲10Aに進入する。したがって、この場合、M(t)は、撮像画像の左端からフレームインする。したがって、ステップS40では、制御部23は、ユーザUの手U1が前方から撮像可能範囲10Aに進入したか否かを判定する。
具体的には、制御部23は、たとえば、過去数フレーム分(例えば5フレーム分)の撮像画像を取得し、これらの撮像画像中のM(t)の値を調べる。すなわち、制御部23は、M(t)がtとともに、撮像画像の左端から中心へ移動してきたかを調べる。ここで、M(t)が撮像画像の左端から中心へ移動する例を図14~図19に示す。図14~図19は、時刻t-5、t-4、t-3、t-2、t-1、t(=現在時刻)における撮像画像10Bを示す。手画像U1aは、ユーザUの手U1を示す。図14~図19に示す例では、手画像U1aのM(t)が時刻tの増加とともに撮像画像の左端から中心へ移動している。なお、図14~図19では、手画像U1a以外の画像を省略している。
制御部23は、制御部23は、M(t)が撮像画像の左端からフレームインしたと判定した場合には、ステップS50に進み、それ以外の場合には、ステップS90に進む。ステップS50において、制御部23は、ModeをSTANDBYに設定する。その後、制御部23は、ステップS90に進む。
ステップS60において、制御部23は時間の経過(すなわち、時刻tの増加)とともにS(t)が小さくなったか否かを判定する。ここで、ユーザUが手U1を閉じた場合、撮像画像中の肌色領域が狭くなるので、S(t)が小さくなる。したがって、ステップS60では、制御部23は、ユーザUが手U1を閉じたか否かを判定する。
制御部23は、具体的には、たとえば、過去の数フレーム分の撮像画像を取得し、これらの撮像画像中のS(t)の値を調べる。すなわち、制御部23は、S(t)のスカラー値が時刻tの増加とともに小さくなったか否かを判定する。なお、手U1がフレームアウトすることにより、S(t)の値が徐々に小さくなってしまうことも考えられる。そこで、制御部23は、より厳密な判断をしたい場合は、M(t)が時刻tの増加によらずほぼ一定(あらかじめ定められた閾値以内の変動)であるか否かをさらに判定してもよい。
制御部23は、S(t)が小さくなったと判定した場合には、ステップS70に進み、それ以外の場合には、ステップS90に進む。ステップS70において、制御部23は、ModeをREADYに設定する。その後、制御部23は、ステップS90に進む。
ステップS80において、制御部23は、時間の経過(すなわち、時刻tの増加)とともに、M(t)がフレームアウトしたか否かを判定する。すなわち、制御部23は、ユーザUの手U1がイメージセンサ10の撮像可能範囲10A(すなわち、耳U10の周囲)の外側に移動したか否かを判定する。
制御部23は、具体的には、たとえば、過去数フレーム分の撮像画像を取得し、これらの撮像画像中のM(t)の値を調べる。すなわち、制御部23は、M(t)がtの増加とともに、画像の中心から周辺へ移動し、最終的に撮像画像外に移動したか否かを判定する。制御部23は、時間の経過とともに、M(t)がフレームアウトしたと判定した場合には、図12に示すステップS190に進む。制御部23は、それ以外の場合には、ステップS90に進む。
ステップS90において、制御部23は、単位時間待機し、その後、タイマが示す時刻tを1増加させる。その後、制御部23は、ステップS20に戻る。
図12に示すステップS100において、制御部23は、時間の経過(すなわち、時刻tの増加)とともに、M(t)が撮像画像の左端からフレームアウトしたか否かを判定する。ここで、図6及び図7に示すように、ユーザUが動作(2)を行った場合、手U1は、平面視で撮像可能範囲10Aの中心から左側に移動し、その後、撮像可能範囲10Aから外れる。したがって、この場合、M(t)は、撮像画像の左端からフレームアウトする。したがって、ステップS100では、制御部23は、ユーザUが動作(2)を行ったか否かを判定する。
制御部23は、具体的には、たとえば、過去数フレーム分の撮像画像を取得し、これらの撮像画像中のM(t)の値を調べる。すなわち、制御部23は、M(t)がtの増加とともに、画像の中心から左端へ移動し、最終的に撮像画像外に移動したか否かを判定する。
制御部23は、ユーザUが動作(2)を行ったと判定した場合には、ステップS110に進み、それ以外の場合には、ステップS120に進む。ステップS120において、制御部23は、操作対象機器200に処理D1を行うことを指示する旨の指示情報を生成する。通信部22は、指示情報を操作対象機器200に送信する。
ここで、処理D1の内容は操作対象機器200に応じて異なるが、処理D1は、ハンドジェスチャの内容に関連付けられることが好ましい。すなわち、動作(2)は、手を前方に移動させるジェスチャ操作となるため、ユーザUは、何らかの状態量が正方向に変位することをイメージする。そこで、処理D1は、操作対象機器200に関連する状態量を正方向に変位させるものであることが好ましい。例えば、操作対象機器200がオーディオ機器となる場合、処理D1は早送り、または再生等であることが好ましい。早送り、再生の区別は、例えば、フレームアウトの速さで行われてもよい。すなわち、フレームアウトの速さが所定値以上であれば早送り、所定値未満であれば再生を行えばよい。また、操作対象機器200がディスプレイとなる場合、処理D1は、画像拡大等であることが好ましい。フレームアウトの速さと画像拡大の速さとを関連付けてもよい。このように、処理D1とハンドジェスチャの内容とを関連付けることで、ユーザUは、より直感的に操作対象機器200を操作することができる。その後、制御部23は、ステップS190に進む。
ステップS120において、制御部23は、時間の経過(すなわち、時刻tの増加)とともに、M(t)が撮像画像の右端からフレームアウトしたか否かを判定する。ここで、図6及び図7に示すように、ユーザUが動作(3)を行った場合、手U1は、平面視で撮像可能範囲10Aの中心から右側に移動し、その後、撮像可能範囲10Aから外れる。したがって、この場合、M(t)は、撮像画像の右端からフレームアウトする。したがって、ステップS100では、制御部23は、ユーザUが動作(3)を行ったか否かを判定する。
制御部23は、具体的には、たとえば、過去数フレーム分の撮像画像を取得し、これらの撮像画像中のM(t)の値を調べる。すなわち、制御部23は、M(t)がtの増加とともに、画像の中心から右端へ移動し、最終的に撮像画像外に移動したか否かを判定する。
制御部23は、ユーザUが動作(3)を行ったと判定した場合には、ステップS130に進み、それ以外の場合には、ステップS140に進む。ステップS130において、制御部23は、操作対象機器200に処理D2を行うことを指示する旨の指示情報を生成する。通信部22は、指示情報を操作対象機器200に送信する。
ここで、処理D2の内容は操作対象機器200に応じて異なるが、処理D2は、ハンドジェスチャの内容に関連付けられることが好ましい。すなわち、動作(2)は、手を後方に移動させるジェスチャ操作となるため、ユーザUは、何らかの状態量が負方向に変位することをイメージする。そこで、処理D2は、操作対象機器200に関連する状態量を負方向に変位させるものであることが好ましい。例えば、操作対象機器200がオーディオ機器となる場合、処理D1は巻き戻し、または逆転再生等であることが好ましい。巻き戻し、逆転再生の区別は、例えば、フレームアウトの速さで行われてもよい。すなわち、フレームアウトの速さが所定値以上であれば巻き戻し、所定値未満であれば逆転再生を行えばよい。また、操作対象機器200がディスプレイとなる場合、処理D2は、画像縮小等であることが好ましい。フレームアウトの速さと画像縮小の速さとを関連付けてもよい。このように、処理D2とハンドジェスチャの内容とを関連付けることで、ユーザUは、より直感的に操作対象機器200を操作することができる。その後、制御部23は、ステップS190に進む。
ステップS140において、制御部23は、時間の経過(すなわち、時刻tの増加)とともに、M(t)が撮像画像の下端からフレームアウトしたか否かを判定する。ここで、図7に示すように、ユーザUが動作(4)を行った場合、手U1は、側面視で撮像可能範囲10Aの中心から鉛直下方に移動し、その後、撮像可能範囲10Aから外れる。したがって、この場合、M(t)は、撮像画像の下端からフレームアウトする。したがって、ステップS100では、制御部23は、ユーザUが動作(4)を行ったか否かを判定する。
制御部23は、具体的には、たとえば、過去数フレーム分の撮像画像を取得し、これらの撮像画像中のM(t)の値を調べる。すなわち、制御部23は、M(t)がtの増加とともに、画像の中心から下端へ移動し、最終的に撮像画像外に移動したか否かを判定する。ここで、M(t)が撮像画像の中心から下端に移動する例を図20~図24、図14に示す。図20~図24、図14は、時刻t-5、t-4、t-3、t-2、t-1、t(=現在時刻)における撮像画像10Bを示す。手画像U1aは、ユーザUの手U1を示す。図20~図24、図14に示す例では、手画像U1aのM(t)が時刻tの増加とともに撮像画像の中心から下端へ移動している。
制御部23は、ユーザUが動作(4)を行ったと判定した場合には、ステップS150に進み、それ以外の場合には、ステップS160に進む。ステップS160において、制御部23は、操作対象機器200に処理D3を行うことを指示する旨の指示情報を生成する。通信部22は、指示情報を操作対象機器200に送信する。
ここで、処理D3の内容は操作対象機器200に応じて異なるが、処理D3は、ハンドジェスチャの内容に関連付けられることが好ましい。すなわち、動作(4)は、手を下方に移動させるジェスチャ操作となるため、ユーザUは、何らかの状態量が負方向に変位することをイメージする。そこで、処理D3は、操作対象機器200に関連する状態量を負方向に変位させるものであることが好ましい。例えば、操作対象機器200がオーディオ機器となる場合、処理D3は音量ダウン等であることが好ましい。また、操作対象機器200がディスプレイとなる場合、処理D2は、画像縮小等であることが好ましい。このように、処理D3とハンドジェスチャの内容とを関連付けることで、ユーザUは、より直感的に操作対象機器200を操作することができる。
ステップS160において、制御部23は、時間の経過(すなわち、時刻tの増加)とともに、M(t)が撮像画像の上端からフレームアウトしたか否かを判定する。ここで、図7に示すように、ユーザUが動作(5)を行った場合、手U1は、側面視で撮像可能範囲10Aの中心から鉛直上方に移動し、その後、撮像可能範囲10Aから外れる。したがって、この場合、M(t)は、撮像画像の上端からフレームアウトする。したがって、ステップS100では、制御部23は、ユーザUが動作(5)を行ったか否かを判定する。
制御部23は、具体的には、たとえば、過去数フレーム分の撮像画像を取得し、これらの撮像画像中のM(t)の値を調べる。すなわち、制御部23は、M(t)がtの増加とともに、画像の中心から上端へ移動し、最終的に撮像画像外に移動したか否かを判定する。
制御部23は、ユーザUが動作(5)を行ったと判定した場合には、ステップS170に進み、それ以外の場合には、ステップS180に進む。ステップS170において、制御部23は、操作対象機器200に処理D4を行うことを指示する旨の指示情報を生成する。通信部22は、指示情報を操作対象機器200に送信する。
ここで、処理D4の内容は操作対象機器200に応じて異なるが、処理D4は、ハンドジェスチャの内容に関連付けられることが好ましい。すなわち、動作(5)は、手を上方に移動させるジェスチャ操作となるため、ユーザUは、何らかの状態量が正方向に変位することをイメージする。そこで、処理D4は、操作対象機器200に関連する状態量を正方向に変位させるものであることが好ましい。例えば、操作対象機器200がオーディオ機器となる場合、処理D4は音量アップ等であることが好ましい。また、操作対象機器200がディスプレイとなる場合、処理D2は、画像拡大等であることが好ましい。このように、処理D4とハンドジェスチャの内容とを関連付けることで、ユーザUは、より直感的に操作対象機器200を操作することができる。
ステップS180において、制御部23は、時間の経過(すなわち、時刻tの増加)とともに、M(t)が動作(2)~(5)以外の態様で撮像画像からフレームアウトしたか否かを判定する。このような態様としては、例えば、M(t)が撮像画像中斜め方向に移動することが挙げられる。
制御部23は、具体的には、たとえば、過去数フレーム分の撮像画像を取得し、これらの撮像画像中のM(t)の値を調べる。すなわち、制御部23は、M(t)がtの増加とともに斜め方向に移動し、最終的に撮像画像外に移動したか否かを判定する。
制御部23は、時間の経過(すなわち、時刻tの増加)とともに、M(t)が動作(2)~(5)以外の態様で撮像画像からフレームアウトしたと判定した場合には、ステップS190に進み、それ以外の場合には、図11に示すステップS90に戻る。
ステップS190において、制御部23は、手U1の状態をOFFに遷移(移行)させる。その後、ステップS90に戻る。
図13は、上記の処理による状態(Mode)遷移を示す状態遷移図である。ModeがOFFとなる場合、制御部23は、M(t)が撮像画像の左端からフレームインするまで待機する。
制御部23は、M(t)が撮像画像の左端からフレームインした場合、手U1の状態をOFFからSTANDBYに遷移させる。制御部23は、S(t)が小さくなるまで、即ち、ユーザUが手U1を閉じるまで待機する。なお、制御部23は、M(t)が撮像画像からフレームアウトした場合、手U1の状態をSTANDBYからOFFに遷移させる。
制御部23は、S(t)が小さくなった場合には、手U1の状態をSTANDBYからREADYに遷移させる。制御部23は、動作(2)~(5)のいずれかが行われるまで待機する。制御部23は、動作(2)~(5)のいずれかが行われた(即ち、M(t)が撮像画像の左端、右端、上端、下端の何れかからフレームアウトした)場合には、動作に対応する指示情報を生成する。その後、制御部23は、手U1の状態をOFFに遷移させる。制御部23は、M(t)が動作(2)~(5)以外の態様で撮像画像からフレームアウトした場合、指示情報を生成せずに、手U1の状態をOFFに遷移させる。
このように、本実施形態によれば、ユーザUは、手U1を耳U10の周囲、例えば開口面に対向する位置に移動させ、ハンドジェスチャを行う。そして、情報処理装置1は、ハンドジェスチャの内容に応じた処理を操作対象機器200に行わせる。したがって、ユーザは、手U1を耳U10の周囲に手U1を移動させてハンドジェスチャを行うだけで操作対象機器200に所望の処理を行わせることができるので、耳U10の周囲での操作を容易に行うことができる。
すなわち、本実施形態によれば、情報処理装置1は、ユーザUの耳U10の周囲に存在する物体の動きを遠隔検知するイメージセンサ10を備える。したがって、イメージセンサ10は、ユーザUが手U1を耳U10の周囲に移動させ、ハンドジェスチャを行った場合、このようなハンドジェスチャを遠隔検知することができる。したがって、ユーザUは、耳の周囲での操作を容易に行うことができる。
ここで、イメージセンサ10は、ユーザUの耳U10の開口面に対向する位置に存在する物体の動きを遠隔検知する。ここで、耳U10の開口面は、ユーザUにとってわかりやすい位置なので、ユーザUは、手U1を容易にこの位置に移動させることができる。したがって、ユーザUは、耳の周囲での操作を容易に行うことができる。
また、情報処理装置1は、イメージセンサ10から出力された撮像画像情報に基づいて、物体の動きを認識し、物体の動きに応じた処理を行う。したがって、ユーザは、ハンドジェスチャに応じた処理を情報処理装置1に行わせることができる。
また、情報処理装置1は、イメージセンサ10から出力された撮像画像情報に基づいて、物体の動きを認識し、物体が特定方向(好適には、ユーザUの前方)から撮像可能範囲10A内に進入したか否かを判定する。そして、情報処理装置1は、物体がユーザUの前方から撮像可能範囲10A内に進入したと判定した場合には、物体の状態をスタンバイ状態に移行させる。そして、情報処理装置1は、物体の状態がスタンバイ状態に移行した後にイメージセンサ10から出力された撮像画像情報に基づいて、物体の動きを認識し、物体の動きに応じた処理を行う。
すなわち、本実施形態では、特定の方向(好適には、ユーザUの前方)から物体(手)が耳U10の周囲に移動してきたことをジェスチャ認識開始のトリガーとしている。手U1をユーザUの前方から耳U10の周囲に移動させる(動作(1))操作は、ユーザUにとって自然な操作となることが多い。つまり、ユーザUは、自然な動作を行うだけで、情報処理装置1にジェスチャ認識を行わせることができる。
さらに、情報処理装置1は、物体の状態がスタンバイ状態に移行した後にイメージセンサ10から出力された撮像可能情報に基づいて、物体の形状が特定形状(例えば手を閉じた形状)であるか否かを判定する。そして、情報処理装置1は、物体の形状が特定形状であると判定した場合には、物体の状態をレディ状態に移行させる。そして、情報処理装置1は、物体の状態がレディ状態に移行した後にイメージセンサ10から出力された撮像画像情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う。これにより、情報処理装置1は、ジェスチャ認識をより正確に行うことができる。
<5.各種変形例>
(5-1.情報処理装置の第1変形例)
次に、図25に基づいて、情報処理装置1の第1変形例を説明する。第1変形例では、制御部23は、手U1の状態がSTANDBYとなっている場合に、以下の処理を行う。
(5-1.情報処理装置の第1変形例)
次に、図25に基づいて、情報処理装置1の第1変形例を説明する。第1変形例では、制御部23は、手U1の状態がSTANDBYとなっている場合に、以下の処理を行う。
すなわち、制御部23は、撮像画像情報に基づいて、手U1がタップ動作を行ったか否かを判定する。制御部23は、タップ動作を行った場合には、操作対象機器200に処理D5を行うことを指示する旨の指示情報を生成する。処理D5の内容はタップ動作の種類(タップ動作の回数等)に応じて異なることが好ましい。例えば、操作対象機器200がオーディオ機器となる場合、タップ回数に応じて処理D5が再生、逆転再生、早送り、巻き戻し等になることが好ましい。また、操作対象機器200がディスプレイとなる場合、タップ回数に応じて処理D5が画像拡大、画像縮小等になることが好ましい。なお、制御部23は、手U1の状態をSTANDBYに維持する。
(5-2.情報処理装置の第2変形例)
次に、図26に基づいて、情報処理装置1の第2変形例を説明する。第2変形例は、図11~図13に示す処理に対してSTANDBY以降の処理が異なる。
次に、図26に基づいて、情報処理装置1の第2変形例を説明する。第2変形例は、図11~図13に示す処理に対してSTANDBY以降の処理が異なる。
具体的には、制御部23は、手U1の状態がSTANDBY状態に移行した場合には、S(t)が小さくなるまで待機する。そして、制御部23は、S(t)が小さくなった場合には、S(t)が所定の閾値以下まで低下したか否かをさらに判定する。そして、制御部23は、S(t)が所定の閾値以下まで低下したと判定した場合には、手U1の状態を第1のREADY状態(図13に示すREADY状態)に遷移させる。その後、制御部23は、図11~図13に示す処理を行う。一方、制御部23は、S(t)が所定の閾値より大きいと判定した場合には、手U1の状態を図26に示す第2のREADY状態に遷移させる。
第2のREADY状態は、手U1が仮想のダイヤルを握っている状態である。第2のREADY状態に対応する撮像画像の例を図27に示す。図27に示す撮像画像10Bには、仮想のダイヤル10Cを握っている手画像U1aが描かれている。この手画像U1aのS(t)は、図20等に示す手画像U1aのS(t)よりも大きい。
そして、制御部23は、撮像画像情報に基づいて、手U1が回転したか否かを判定する。制御部23は、手U1が回転した場合には、操作対象機器200に処理D6を行うことを指示する旨の指示情報を生成する。処理D6の内容は回転内容(回転方向及び速さ)に応じて異なることが好ましい。例えば、操作対象機器200がオーディオ機器となる場合、回転内容に応じて処理D6が再生、逆転再生、早送り、巻き戻し等になることが好ましい。例えば、回転方向が右回転であれば、処理D6が再生または早送りとなる。これらの区別は、回数の速さによって行われれば良い。また、操作対象機器200がディスプレイとなる場合、回転内容に応じて処理D6が画像拡大、画像縮小等になることが好ましい。回転の速さと画像拡大または縮小の速さとを関連付けてもよい。なお、制御部23は、手U1の状態を第2のREADY状態に維持する。制御部23は、M(t)がフレームアウトした場合には、手U1の状態をOFFに遷移させる。
このように、第2の変形例では、ユーザUが仮想のダイヤルを掴んで回すハンドジェスチャを行った場合に、当該ハンドジェスチャに対応する処理を行う。すなわち、第2の変形例では、制御部23は、手U1の状態を手U1の形状に応じて異なるREADY状態に遷移させる。その後、制御部23は、手U1の動きとREADY状態の種類とに応じた処理を行う。この場合、ユーザUは、より多様なハンドジェスチャを行うことができる。
(5-3.情報処理装置の第3変形例)
次に、図28に基づいて、情報処理装置1の第3変形例について説明する。第3変形例では、図28に示すように、ユーザUに、特定の色のついた指輪U2を指に装着させてハンドジェスチャさせる。指輪U2は、ユーザUの手に連動して動く。イメージセンサ10は、指輪U2を撮像することで、指輪U2の動きを遠隔検知する。制御部23は、ハンドジェスチャを認識する際(例えば、ステップS40、S60、S80、S100、S120、S140、S160、S180を行う際)には、手U1の動きの代わりに、指輪U2の動きをハンドジェスチャとして認識する。制御部23は、イメージセンサ10が指輪U2を装着していない手を撮像した場合には、その手をユーザU以外の他人の手と認識する。この場合、制御部23は、ハンドジェスチャの認識を行わない。したがって、第3の変形例では、他人の手によるハンドジェスチャをユーザUによるハンドジェスチャと誤認しにくくなる。すなわち、よりロバストなジェスチャ認識が可能となる。
次に、図28に基づいて、情報処理装置1の第3変形例について説明する。第3変形例では、図28に示すように、ユーザUに、特定の色のついた指輪U2を指に装着させてハンドジェスチャさせる。指輪U2は、ユーザUの手に連動して動く。イメージセンサ10は、指輪U2を撮像することで、指輪U2の動きを遠隔検知する。制御部23は、ハンドジェスチャを認識する際(例えば、ステップS40、S60、S80、S100、S120、S140、S160、S180を行う際)には、手U1の動きの代わりに、指輪U2の動きをハンドジェスチャとして認識する。制御部23は、イメージセンサ10が指輪U2を装着していない手を撮像した場合には、その手をユーザU以外の他人の手と認識する。この場合、制御部23は、ハンドジェスチャの認識を行わない。したがって、第3の変形例では、他人の手によるハンドジェスチャをユーザUによるハンドジェスチャと誤認しにくくなる。すなわち、よりロバストなジェスチャ認識が可能となる。
なお、イメージセンサ10が遠隔検知可能な物体は、手、指輪に限られないことはもちろんである。イメージセンサ10は、例えば、棒、ペン等の動きを遠隔検知してもよい。この場合、ユーザUは、棒、ペン等をイメージセンサ10の撮像可能範囲10A内で動かせばよい。
(5-4.情報処理装置の第4変形例)
上記実施形態においては、制御部23は、手の形状として、開いた状態と握った状態の2つの状態を認識する。第4変形例では、制御部23は、さらに別の形状を認識する。当該形状の例を図29に示す。図29に示す例では、手U1の親指と小指は伸ばされ、他の3本の指は折り曲げられている。ユーザUは、例えば上述した動作(1)を行った後、手U1の形状を図29に示す形状とする。その後、ユーザUは、上述した動作(2)~(5)を行う。制御部23は、当該ハンドジェスチャを認識し、上述した処理(操作対象機器200への指示等)を行う。ハンドジェスチャを意識しない他人は、手を図29に示す形状とすることは殆ど無い。したがって、第4の変形例では、他人の手によるハンドジェスチャをユーザUによるハンドジェスチャと誤認しにくくなる。すなわち、よりロバストなジェスチャ認識が可能となる。
上記実施形態においては、制御部23は、手の形状として、開いた状態と握った状態の2つの状態を認識する。第4変形例では、制御部23は、さらに別の形状を認識する。当該形状の例を図29に示す。図29に示す例では、手U1の親指と小指は伸ばされ、他の3本の指は折り曲げられている。ユーザUは、例えば上述した動作(1)を行った後、手U1の形状を図29に示す形状とする。その後、ユーザUは、上述した動作(2)~(5)を行う。制御部23は、当該ハンドジェスチャを認識し、上述した処理(操作対象機器200への指示等)を行う。ハンドジェスチャを意識しない他人は、手を図29に示す形状とすることは殆ど無い。したがって、第4の変形例では、他人の手によるハンドジェスチャをユーザUによるハンドジェスチャと誤認しにくくなる。すなわち、よりロバストなジェスチャ認識が可能となる。
(5-5.情報処理装置の第5変形例)
第5の変形例では、記憶部21に、予めユーザUの指紋を登録させておく。そして、制御部23は、ハンドジェスチャを認識する際(例えば、ステップS40、S60、S80、S100、S120、S140、S160、S180を行う際)に、指紋認識を行う。すなわち、制御部23は、撮像画像に描かれる指紋と事前登録された指紋とを対比し、これらが一致する場合に、ハンドジェスチャを認識する。したがって、第5の変形例では、他人の手によるハンドジェスチャをユーザUによるハンドジェスチャと誤認しにくくなる。すなわち、よりロバストなジェスチャ認識が可能となる。
第5の変形例では、記憶部21に、予めユーザUの指紋を登録させておく。そして、制御部23は、ハンドジェスチャを認識する際(例えば、ステップS40、S60、S80、S100、S120、S140、S160、S180を行う際)に、指紋認識を行う。すなわち、制御部23は、撮像画像に描かれる指紋と事前登録された指紋とを対比し、これらが一致する場合に、ハンドジェスチャを認識する。したがって、第5の変形例では、他人の手によるハンドジェスチャをユーザUによるハンドジェスチャと誤認しにくくなる。すなわち、よりロバストなジェスチャ認識が可能となる。
(5-6.情報処理装置の第6変形例)
第6変形例では、制御部23は、ハンドジェスチャを認識する際(例えば、ステップS40、S60、S80、S100、S120、S140、S160、S180を行う際)に、撮像画像中の手画像の向きを解析する。すなわち、図30及び図31に示すように、撮像画像1BにユーザUの手画像U1aが描かれていれば、その手画像U1aの手首は左下あるいは下方向に向き、指先は上あるいは右上方向に向いているはずである。このことは、図7に示された手U1の位置からも明らかである。逆に、図32及び図33に示すように、他人の手画像U20aが撮像画像1Bに描かれている場合、手画像20aの手首は他の方向(例えば右方向、左上方向等)を向くことが多い。
第6変形例では、制御部23は、ハンドジェスチャを認識する際(例えば、ステップS40、S60、S80、S100、S120、S140、S160、S180を行う際)に、撮像画像中の手画像の向きを解析する。すなわち、図30及び図31に示すように、撮像画像1BにユーザUの手画像U1aが描かれていれば、その手画像U1aの手首は左下あるいは下方向に向き、指先は上あるいは右上方向に向いているはずである。このことは、図7に示された手U1の位置からも明らかである。逆に、図32及び図33に示すように、他人の手画像U20aが撮像画像1Bに描かれている場合、手画像20aの手首は他の方向(例えば右方向、左上方向等)を向くことが多い。
そこで、制御部23は、手画像の向きに基づいて、その手画像がユーザUの手画像U1aであるか否かを判定する。そして、制御部23は、手画像がユーザUの手画像U1aであると判定した場合には、ハンドジェスチャを認識する。したがって、第6の変形例では、他人の手によるハンドジェスチャをユーザUによるハンドジェスチャと誤認しにくくなる。すなわち、よりロバストなジェスチャ認識が可能となる。
(5-7.情報処理装置の第7変形例)
第7変形例では、イメージセンサ10は、測距も行う。このようなイメージセンサ10としては、例えばステレオカメラ(上記撮像機構11aを2組有するもの)が挙げられる。また、イメージセンサ10の他の具体例としては、像面の位相差を用いて測距を行うカメラが挙げられる。
第7変形例では、イメージセンサ10は、測距も行う。このようなイメージセンサ10としては、例えばステレオカメラ(上記撮像機構11aを2組有するもの)が挙げられる。また、イメージセンサ10の他の具体例としては、像面の位相差を用いて測距を行うカメラが挙げられる。
そして、制御部23は、ハンドジェスチャを認識する際(例えば、ステップS40、S60、S80、S100、S120、S140、S160、S180を行う際)に、手がイメージセンサ10から所定距離(例えば30cm)内に存在するか否かを判定する。そして、制御部23は、手がイメージセンサ10から所定距離内に存在すると判定した場合には、その手をユーザUの手U1と認識し、ハンドジェスチャを認識する。一方、制御部23は、手からイメージセンサ10までの距離が所定距離よりも大きいと判定した場合には、その手を他人の手と認識する。この場合、制御部23は、ハンドジェスチャを認識しない。したがって、第7の変形例では、他人の手によるハンドジェスチャをユーザUによるハンドジェスチャと誤認しにくくなる。すなわち、よりロバストなジェスチャ認識が可能となる。
(5-8.情報処理装置の第8変形例)
上述したように、イメージセンサ10は、ユーザUの側方を撮像する。したがって、イメージセンサ10は、ユーザUの死角に存在する(すなわち、ユーザUにとって見えにくい、あるいは見えない)物体を撮像することができる。そこで、制御部23は、撮像画像に基づいて、ユーザUの死角からユーザUに急接近する物体を認識する。例えば、図34に示すように、撮像画像1Bに自動車画像10Dが描かれている場合、制御部23は、死角に自動車が存在すると判定する。さらに、制御部23は、自動車がユーザUに急接近するか否かを判定する。制御部23は、例えば自動車画像10Dが時間の経過とともに拡大される場合、自動車が急接近すると判定してもよい。この判定は、第7変形例を使用して行われてもよい。制御部23は、ユーザUの死角からユーザUに急接近する物体が存在すると判定した場合には、緊急処理を行う。緊急処理としては、操作対象機器200の電源をオフする、危険が迫っていることをユーザUに報知する等の処理が挙げられる。ユーザUに報知する方法としては、操作対象機器200を用いて(例えば、操作対象機器200がオーディオ機器ならスピーカを用いて)報知する方法が挙げられる。他の方法としては、画像解析装置20にスピーカ等を設置し、このスピーカを用いて報知する方法等が挙げられる。第8変形例によれば、ユーザUは、自己に急接近する物体が存在することを認識することが出来る。
上述したように、イメージセンサ10は、ユーザUの側方を撮像する。したがって、イメージセンサ10は、ユーザUの死角に存在する(すなわち、ユーザUにとって見えにくい、あるいは見えない)物体を撮像することができる。そこで、制御部23は、撮像画像に基づいて、ユーザUの死角からユーザUに急接近する物体を認識する。例えば、図34に示すように、撮像画像1Bに自動車画像10Dが描かれている場合、制御部23は、死角に自動車が存在すると判定する。さらに、制御部23は、自動車がユーザUに急接近するか否かを判定する。制御部23は、例えば自動車画像10Dが時間の経過とともに拡大される場合、自動車が急接近すると判定してもよい。この判定は、第7変形例を使用して行われてもよい。制御部23は、ユーザUの死角からユーザUに急接近する物体が存在すると判定した場合には、緊急処理を行う。緊急処理としては、操作対象機器200の電源をオフする、危険が迫っていることをユーザUに報知する等の処理が挙げられる。ユーザUに報知する方法としては、操作対象機器200を用いて(例えば、操作対象機器200がオーディオ機器ならスピーカを用いて)報知する方法が挙げられる。他の方法としては、画像解析装置20にスピーカ等を設置し、このスピーカを用いて報知する方法等が挙げられる。第8変形例によれば、ユーザUは、自己に急接近する物体が存在することを認識することが出来る。
(5-9.情報処理装置の第9変形例)
制御部23は、操作対象機器200の電源のオン/オフに連動して、イメージセンサ10及び画像解析装置20の電源のオン/オフを行う。すなわち、操作対象機器200の電源がオンされると、信号線40を介して、操作対象機器200から画像解析装置20へ、電源をオンする命令(信号)が送られる。この命令を受けて、制御部23は、イメージセンサ10及び画像解析装置20の電源をオンする。オフについても同様である。これにより、操作対象機器200を使わないときは、イメージセンサ10および画像解析装置20でも電力が消費されなくなる。なお、この場合、信号線40は、双方向の通信に使われる。
制御部23は、操作対象機器200の電源のオン/オフに連動して、イメージセンサ10及び画像解析装置20の電源のオン/オフを行う。すなわち、操作対象機器200の電源がオンされると、信号線40を介して、操作対象機器200から画像解析装置20へ、電源をオンする命令(信号)が送られる。この命令を受けて、制御部23は、イメージセンサ10及び画像解析装置20の電源をオンする。オフについても同様である。これにより、操作対象機器200を使わないときは、イメージセンサ10および画像解析装置20でも電力が消費されなくなる。なお、この場合、信号線40は、双方向の通信に使われる。
(5-10.情報処理装置の第10変形例)
制御部23は、手U1のModeがOFFとなる場合には、図35に示すように、イメージセンサ10の撮像素子のうち、撮像画像10Bの左側領域10B-1に対応する部分をオンとし、他の領域10B-2をオフとする。すなわち、イメージセンサ10は、撮像素子のうち、左側領域10B-1に相当する部分だけを用いて撮像を行う。すなわち、ハンドジェスチャ認識のトリガーとなる動作(1)が行われる場合、図14~図19に示すように、手画像U1aはまず左側領域10B-1に描かれる。したがって、この左側領域10B-1だけ撮像可能としておけば、ユーザUが動作(1)を行ったか否かがわかる。第10変形例によれば、イメージセンサ10の消費電力がさらに低減される。
制御部23は、手U1のModeがOFFとなる場合には、図35に示すように、イメージセンサ10の撮像素子のうち、撮像画像10Bの左側領域10B-1に対応する部分をオンとし、他の領域10B-2をオフとする。すなわち、イメージセンサ10は、撮像素子のうち、左側領域10B-1に相当する部分だけを用いて撮像を行う。すなわち、ハンドジェスチャ認識のトリガーとなる動作(1)が行われる場合、図14~図19に示すように、手画像U1aはまず左側領域10B-1に描かれる。したがって、この左側領域10B-1だけ撮像可能としておけば、ユーザUが動作(1)を行ったか否かがわかる。第10変形例によれば、イメージセンサ10の消費電力がさらに低減される。
(5-11.情報処理装置の第11変形例)
制御部23は、図36に示すように、撮像画像10Bに縦方向(上下方向)に伸びる複数の線画像10Eが描かれている場合、イメージセンサ10にユーザUの髪の毛がかかっていると判定する。この場合、ユーザUの髪の毛によって撮像が妨害されているので、制御部23は、撮像妨害時処理を行う。撮像妨害時処理としては、操作対象機器200の電源をオフする、髪の毛がイメージセンサ10にかかっていることをユーザUに報知する等の処理が挙げられる。ユーザUに報知する方法としては、上述した第8変形例と同様の方法であればよい。第11変形例によれば、ユーザは、髪の毛によって適切な撮像ができなくなっていることを認識することができる。
制御部23は、図36に示すように、撮像画像10Bに縦方向(上下方向)に伸びる複数の線画像10Eが描かれている場合、イメージセンサ10にユーザUの髪の毛がかかっていると判定する。この場合、ユーザUの髪の毛によって撮像が妨害されているので、制御部23は、撮像妨害時処理を行う。撮像妨害時処理としては、操作対象機器200の電源をオフする、髪の毛がイメージセンサ10にかかっていることをユーザUに報知する等の処理が挙げられる。ユーザUに報知する方法としては、上述した第8変形例と同様の方法であればよい。第11変形例によれば、ユーザは、髪の毛によって適切な撮像ができなくなっていることを認識することができる。
(5-12.情報処理装置の第12変形例)
図37は、第12変形例に係る情報処理装置1を示す。この変形例では、頭部装着部材300に情報処理装置1が装着されている。頭部装着部材300はヘッドフォンである。この例では、情報処理装置1は、頭部装着部材300の耳あて(イヤーカップ)部分に装着されている。装着の態様については図1に示すものと同様である。この変形例によっても、上述した効果と同様の効果が得られる。
図37は、第12変形例に係る情報処理装置1を示す。この変形例では、頭部装着部材300に情報処理装置1が装着されている。頭部装着部材300はヘッドフォンである。この例では、情報処理装置1は、頭部装着部材300の耳あて(イヤーカップ)部分に装着されている。装着の態様については図1に示すものと同様である。この変形例によっても、上述した効果と同様の効果が得られる。
(5-13.情報処理装置の第13変形例)
図33は、第13変形例に係る情報処理装置1を示す。この変形例では、信号線30が延長され、かつ、画像解析装置20が頭部装着部材100から取り外されている。この例では、頭部装着部材100が軽量化される。ユーザU1は、画像解析装置20を例えば服のポケットなどに入れておけば良い。
図33は、第13変形例に係る情報処理装置1を示す。この変形例では、信号線30が延長され、かつ、画像解析装置20が頭部装着部材100から取り外されている。この例では、頭部装着部材100が軽量化される。ユーザU1は、画像解析装置20を例えば服のポケットなどに入れておけば良い。
(5-14.情報処理装置の第14変形例)
上述した情報処理装置1では、イメージセンサ10を用いて物体を遠隔検知していたが、物体を遠隔検知できるセンサであればどのようなものであっても情報処理装置1に適用可能である。例えば、物体の移動だけを遠隔検知するのであれば、情報処理装置1は、図39に示すような近接センサ51~54を用いてもよい。
上述した情報処理装置1では、イメージセンサ10を用いて物体を遠隔検知していたが、物体を遠隔検知できるセンサであればどのようなものであっても情報処理装置1に適用可能である。例えば、物体の移動だけを遠隔検知するのであれば、情報処理装置1は、図39に示すような近接センサ51~54を用いてもよい。
近接センサ51~54は、ケース50内に配置される。近接センサ51~54は、鉛直方向(y方向)及び水平方向(x方向)にそれぞれ2つずつ配置される。ケース50は、図1のイメージセンサ10と同様の位置に配置される。近接センサ51~54は物体が近づいたことを検出できるセンサである。制御部23は、近接センサ51~54の中で最初に反応したセンサと最後に反応したセンサを特定することで、物体(手)が、最初に反応したセンサの位置から最後に反応したセンサの位置へと移動したことが分かる。制御部23は、この情報を使ってジェスチャ認識を行えばよい。
なお、上記の各変形例を任意に組み合わせてよいことはもちろんである。例えば、第1変形例と第2変形例とを組み合わせてもよい。この場合、制御部23は、タップ動作及び仮想のダイヤルを回転させる動作に応じて処理を行う。また、第1または第2変形例と第3変形例~第7変形例とを組み合わせてもよい。この場合、ユーザUは、タップ動作、仮想のダイヤルを回転させる動作を行い、制御部23は、これらに応じた処理を行う。また、制御部23は、第3変形例~第7変形例に係る処理(ロバスト性を上げる処理)を上記とともに行う。
また、第8変形例と他の変形例とを組み合わせてもよい。この場合、制御部23は、他の変形例に係る処理を行う一方で、ユーザUの死角から物体が急接近してきた場合には、緊急処理を行う。また、第9変形例と他の変形例とを組み合わせてもよい。この場合、制御部23は、他の変形例に係る処理を行う一方で、操作対象機器200の電源に連動してイメージセンサ10及び画像解析装置20をオフする。
また、第10変形例と他の変形例とを組み合わせてもよい。この場合、制御部23は、他の変形例に係る処理を行う一方で、動作(1)が行われるまでは、撮像素子のうち、左側領域10B-1に対応する領域飲みをオンにする。
また、第11変形例と他の変形例とを組み合わせてもよい。この場合、制御部23は、他の変形例に係る処理を行う一方で、イメージセンサ10に髪の毛がかかっている場合には、撮像妨害時処理を行う。
また、第12~第14変形例のいずれかと他の変形例とを組み合わせてもよい。この場合、情報処理装置1は、第12~第14変形例のいずれかに示す構成を有する。さらに制御部23は、他の変形例に係る処理を行う。
なお、上記効果はあくまで例示であって、本実施形態は、本明細書中に記載されたいずれかの効果、または他の効果を有するものであってもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザの耳の周囲に存在する物体の動きを遠隔検知する検知部を備えることを特徴とする、情報処理装置。
(2)
前記検知部は、前記ユーザの耳の開口面に対向する位置に存在する物体の動きを遠隔検知する、前記(1)記載の情報処理装置。
(3)
前記検知部は、前記ユーザの手及び前記ユーザの手に連動して動く連動部材のうち、少なくとも一方を遠隔検知する、前記(1)または(2)記載の情報処理装置。
(4)
前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う制御部を備える、前記(1)~(3)のいずれか1項に記載の情報処理装置。
(5)
前記制御部は、前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体が特定方向から前記検知部の検知可能範囲内に進入したか否かを判定し、
前記物体が前記特定方向から前記検知部の検知可能範囲内に進入したと判定した場合には、前記物体の状態をスタンバイ状態に移行させ、
前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、前記(4)記載の情報処理装置。
(6)
前記制御部は、前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体がユーザの前方から前記検知部の検知可能範囲内に進入したか否かを判定する、前記(5)記載の情報処理装置。
(7)
前記制御部は、前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の形状が特定形状であるか否かを判定し、
前記物体の形状が前記特定形状であると判定した場合には、前記物体の状態をレディ状態に移行させ、
前記物体の状態が前記レディ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、前記(5)または(6)記載の情報処理装置。
(8)
前記特定形状は複数存在し、
前記制御部は、前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の形状が前記複数の特定形状のうち、いずれかの特定形状に一致するか否かを判定し、
前記物体の形状が前記複数の特定形状のうち、いずれかの特定形状に一致すると判定した場合には、前記物体の状態を前記物体の形状に応じたレディ状態に移行し、
前記物体の状態が前記レディ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動き及び前記レディ状態の種類に応じた処理を行う、前記(7)記載の情報処理装置。
(9)
前記検知部は、前記ユーザの頭部に装着可能な頭部装着部材に装着される、前記(1)~(8)のいずれか1項に記載の情報処理装置。
(10)
前記検知部は、前記頭部装着部材のうち、前記ユーザの耳に装着される部分に装着される、前記(9)記載の情報処理装置。
(11)
前記検知部は、前記ユーザの耳の周囲を撮像可能なイメージセンサである、前記(1)~(10)のいずれか1項に記載の情報処理装置。
(12)
ユーザの耳の周囲に存在する物体の動きを検知部によって遠隔検知することを含む、情報処理方法。
(13)
前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行うことを含む、前記(12)記載の情報処理方法。
(14)
前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したか否かを判定し、
前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したと判定した場合には、スタンバイ状態に移行し、
前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、前記(13)記載の情報処理方法。
(15)
コンピュータに、
ユーザの耳の周囲に存在する物体の動きを遠隔検知する検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う制御機能を実現させる、プログラム。
(16)
前記制御機能は、前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したか否かを判定し、
前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したと判定した場合には、スタンバイ状態に移行し、
前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、前記(15)記載のプログラム。
(17)
テンプル部にイメージセンサを備え、
前記イメージセンサはユーザの側頭部におけるジェスチャを検知する、ヘッドマウントディスプレイ。
(18)
前記イメージセンサに髪の毛がかかっていると判定した際に前記ユーザに報知する、前記(17)記載のヘッドマウントディスプレイ。
(1)
ユーザの耳の周囲に存在する物体の動きを遠隔検知する検知部を備えることを特徴とする、情報処理装置。
(2)
前記検知部は、前記ユーザの耳の開口面に対向する位置に存在する物体の動きを遠隔検知する、前記(1)記載の情報処理装置。
(3)
前記検知部は、前記ユーザの手及び前記ユーザの手に連動して動く連動部材のうち、少なくとも一方を遠隔検知する、前記(1)または(2)記載の情報処理装置。
(4)
前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う制御部を備える、前記(1)~(3)のいずれか1項に記載の情報処理装置。
(5)
前記制御部は、前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体が特定方向から前記検知部の検知可能範囲内に進入したか否かを判定し、
前記物体が前記特定方向から前記検知部の検知可能範囲内に進入したと判定した場合には、前記物体の状態をスタンバイ状態に移行させ、
前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、前記(4)記載の情報処理装置。
(6)
前記制御部は、前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体がユーザの前方から前記検知部の検知可能範囲内に進入したか否かを判定する、前記(5)記載の情報処理装置。
(7)
前記制御部は、前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の形状が特定形状であるか否かを判定し、
前記物体の形状が前記特定形状であると判定した場合には、前記物体の状態をレディ状態に移行させ、
前記物体の状態が前記レディ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、前記(5)または(6)記載の情報処理装置。
(8)
前記特定形状は複数存在し、
前記制御部は、前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の形状が前記複数の特定形状のうち、いずれかの特定形状に一致するか否かを判定し、
前記物体の形状が前記複数の特定形状のうち、いずれかの特定形状に一致すると判定した場合には、前記物体の状態を前記物体の形状に応じたレディ状態に移行し、
前記物体の状態が前記レディ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動き及び前記レディ状態の種類に応じた処理を行う、前記(7)記載の情報処理装置。
(9)
前記検知部は、前記ユーザの頭部に装着可能な頭部装着部材に装着される、前記(1)~(8)のいずれか1項に記載の情報処理装置。
(10)
前記検知部は、前記頭部装着部材のうち、前記ユーザの耳に装着される部分に装着される、前記(9)記載の情報処理装置。
(11)
前記検知部は、前記ユーザの耳の周囲を撮像可能なイメージセンサである、前記(1)~(10)のいずれか1項に記載の情報処理装置。
(12)
ユーザの耳の周囲に存在する物体の動きを検知部によって遠隔検知することを含む、情報処理方法。
(13)
前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行うことを含む、前記(12)記載の情報処理方法。
(14)
前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したか否かを判定し、
前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したと判定した場合には、スタンバイ状態に移行し、
前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、前記(13)記載の情報処理方法。
(15)
コンピュータに、
ユーザの耳の周囲に存在する物体の動きを遠隔検知する検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う制御機能を実現させる、プログラム。
(16)
前記制御機能は、前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したか否かを判定し、
前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したと判定した場合には、スタンバイ状態に移行し、
前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、前記(15)記載のプログラム。
(17)
テンプル部にイメージセンサを備え、
前記イメージセンサはユーザの側頭部におけるジェスチャを検知する、ヘッドマウントディスプレイ。
(18)
前記イメージセンサに髪の毛がかかっていると判定した際に前記ユーザに報知する、前記(17)記載のヘッドマウントディスプレイ。
1 情報処理装置
10 イメージセンサ
20 画像解析装置
21 記憶部
22 通信部
23 制御部
10 イメージセンサ
20 画像解析装置
21 記憶部
22 通信部
23 制御部
Claims (18)
- ユーザの耳の周囲に存在する物体の動きを遠隔検知する検知部を備えることを特徴とする、情報処理装置。
- 前記検知部は、前記ユーザの耳の開口面に対向する位置に存在する物体の動きを遠隔検知する、請求項1記載の情報処理装置。
- 前記検知部は、前記ユーザの手及び前記ユーザの手に連動して動く連動部材のうち、少なくとも一方を遠隔検知する、請求項1記載の情報処理装置。
- 前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う制御部を備える、請求項1記載の情報処理装置。
- 前記制御部は、前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体が特定方向から前記検知部の検知可能範囲内に進入したか否かを判定し、
前記物体が前記特定方向から前記検知部の検知可能範囲内に進入したと判定した場合には、前記物体の状態をスタンバイ状態に移行させ、
前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、請求項4記載の情報処理装置。 - 前記制御部は、前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体がユーザの前方から前記検知部の検知可能範囲内に進入したか否かを判定する、請求項5記載の情報処理装置。
- 前記制御部は、前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の形状が特定形状であるか否かを判定し、
前記物体の形状が前記特定形状であると判定した場合には、前記物体の状態をレディ状態に移行させ、
前記物体の状態が前記レディ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、請求項5記載の情報処理装置。 - 前記特定形状は複数存在し、
前記制御部は、前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の形状が前記複数の特定形状のうち、いずれかの特定形状に一致するか否かを判定し、
前記物体の形状が前記複数の特定形状のうち、いずれかの特定形状に一致すると判定した場合には、前記物体の状態を前記物体の形状に応じたレディ状態に移行し、
前記物体の状態が前記レディ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動き及び前記レディ状態の種類に応じた処理を行う、請求項7記載の情報処理装置。 - 前記検知部は、前記ユーザの頭部に装着可能な頭部装着部材に装着される、請求項1記載の情報処理装置。
- 前記検知部は、前記頭部装着部材のうち、前記ユーザの耳に装着される部分に装着される、請求項9記載の情報処理装置。
- 前記検知部は、前記ユーザの耳の周囲を撮像可能なイメージセンサである、請求項1記載の情報処理装置。
- ユーザの耳の周囲に存在する物体の動きを検知部によって遠隔検知することを含む、情報処理方法。
- 前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行うことを含む、請求項12記載の情報処理方法。
- 前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したか否かを判定し、
前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したと判定した場合には、前記物体の状態をスタンバイ状態に移行させ、
前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、請求項13記載の情報処理方法。 - コンピュータに、
ユーザの耳の周囲に存在する物体の動きを遠隔検知する検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う制御機能を実現させる、プログラム。 - 前記制御機能は、前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したか否かを判定し、
前記物体が前記ユーザの前方から前記検知部の検知可能範囲内に進入したと判定した場合には、前記物体の状態をスタンバイ状態に移行させ、
前記物体の状態が前記スタンバイ状態に移行した後に前記検知部から出力された検知情報に基づいて、前記物体の動きを認識し、前記物体の動きに応じた処理を行う、請求項15記載のプログラム。 - テンプル部にイメージセンサを備え、
前記イメージセンサはユーザの側頭部におけるジェスチャを検知する、ヘッドマウントディスプレイ。 - 前記イメージセンサに髪の毛がかかっていると判定した際に前記ユーザに報知する、請求項17に記載のヘッドマウントディスプレイ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-157648 | 2014-08-01 | ||
JP2014157648A JP2016035625A (ja) | 2014-08-01 | 2014-08-01 | 情報処理装置、情報処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016017250A1 true WO2016017250A1 (ja) | 2016-02-04 |
Family
ID=55217155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/064501 WO2016017250A1 (ja) | 2014-08-01 | 2015-05-20 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2016035625A (ja) |
WO (1) | WO2016017250A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10890653B2 (en) | 2018-08-22 | 2021-01-12 | Google Llc | Radar-based gesture enhancement for voice interfaces |
US10698603B2 (en) * | 2018-08-24 | 2020-06-30 | Google Llc | Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000075991A (ja) * | 1998-08-28 | 2000-03-14 | Aqueous Research:Kk | 情報入力装置 |
JP2003131785A (ja) * | 2001-10-22 | 2003-05-09 | Toshiba Corp | インタフェース装置および操作制御方法およびプログラム製品 |
JP2004145723A (ja) * | 2002-10-25 | 2004-05-20 | Keio Gijuku | ハンドパターンスイッチ装置 |
JP2007302223A (ja) * | 2006-04-12 | 2007-11-22 | Hitachi Ltd | 車載装置の非接触入力操作装置 |
JP2010238145A (ja) * | 2009-03-31 | 2010-10-21 | Casio Computer Co Ltd | 情報出力装置、遠隔制御方法、及びプログラム |
WO2012001975A1 (ja) * | 2010-06-30 | 2012-01-05 | 富士フイルム株式会社 | 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム |
JP2012194626A (ja) * | 2011-03-15 | 2012-10-11 | Nikon Corp | 表示装置 |
-
2014
- 2014-08-01 JP JP2014157648A patent/JP2016035625A/ja active Pending
-
2015
- 2015-05-20 WO PCT/JP2015/064501 patent/WO2016017250A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000075991A (ja) * | 1998-08-28 | 2000-03-14 | Aqueous Research:Kk | 情報入力装置 |
JP2003131785A (ja) * | 2001-10-22 | 2003-05-09 | Toshiba Corp | インタフェース装置および操作制御方法およびプログラム製品 |
JP2004145723A (ja) * | 2002-10-25 | 2004-05-20 | Keio Gijuku | ハンドパターンスイッチ装置 |
JP2007302223A (ja) * | 2006-04-12 | 2007-11-22 | Hitachi Ltd | 車載装置の非接触入力操作装置 |
JP2010238145A (ja) * | 2009-03-31 | 2010-10-21 | Casio Computer Co Ltd | 情報出力装置、遠隔制御方法、及びプログラム |
WO2012001975A1 (ja) * | 2010-06-30 | 2012-01-05 | 富士フイルム株式会社 | 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム |
JP2012194626A (ja) * | 2011-03-15 | 2012-10-11 | Nikon Corp | 表示装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2016035625A (ja) | 2016-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101850035B1 (ko) | 이동 단말기 및 그 제어방법 | |
CN104115100B (zh) | 头戴式显示器、用于控制头戴式显示器的程序及控制头戴式显示器的方法 | |
KR101850034B1 (ko) | 이동 단말기 및 그 제어방법 | |
KR20220088660A (ko) | 디바이스를 이용한 화면 처리 방법 및 장치 | |
TWI498771B (zh) | 可辨識手勢動作的眼鏡 | |
US20160378176A1 (en) | Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display | |
US20150054730A1 (en) | Wristband type information processing apparatus and storage medium | |
WO2018072339A1 (zh) | 一种虚拟现实头盔和切换虚拟现实头盔显示信息的方法 | |
US20150143283A1 (en) | Information processing device, display control method, and program | |
US10885322B2 (en) | Hand-over-face input sensing for interaction with a device having a built-in camera | |
EP3370102B1 (en) | Hmd device and method for controlling same | |
US20150331486A1 (en) | Image processing device, image processing method and program | |
US9442571B2 (en) | Control method for generating control instruction based on motion parameter of hand and electronic device using the control method | |
JP6341755B2 (ja) | 情報処理装置、方法及びプログラム並びに記録媒体 | |
KR20150091322A (ko) | 아이웨어 상에서의 멀티 터치 상호작용 기법 | |
US20140118244A1 (en) | Control of a device by movement path of a hand | |
KR102110208B1 (ko) | 안경형 단말기 및 이의 제어방법 | |
KR102308201B1 (ko) | 사용자 단말 장치 및 그 제어 방법 | |
KR102361025B1 (ko) | 웨어러블 글래스 및 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법 | |
JP2014048937A (ja) | ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム | |
US20150253873A1 (en) | Electronic device, method, and computer readable medium | |
US10834304B2 (en) | Systems, devices, and methods for a wearable electronic device having a selfie camera | |
CN108369451B (zh) | 信息处理装置、信息处理方法及计算机可读存储介质 | |
JP6516464B2 (ja) | ウェアラブル検索システム | |
WO2016017250A1 (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15826749 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15826749 Country of ref document: EP Kind code of ref document: A1 |