WO2024101194A1 - ジェスチャ検出装置及びジェスチャ検出方法 - Google Patents
ジェスチャ検出装置及びジェスチャ検出方法 Download PDFInfo
- Publication number
- WO2024101194A1 WO2024101194A1 PCT/JP2023/038978 JP2023038978W WO2024101194A1 WO 2024101194 A1 WO2024101194 A1 WO 2024101194A1 JP 2023038978 W JP2023038978 W JP 2023038978W WO 2024101194 A1 WO2024101194 A1 WO 2024101194A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- gesture
- user
- opening
- door
- body part
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 claims description 82
- 230000008569 process Effects 0.000 description 78
- 230000009471 action Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
- E05B81/00—Power-actuated vehicle locks
- E05B81/54—Electrical circuits
- E05B81/64—Monitoring or sensing, e.g. by using switches or sensors
- E05B81/76—Detection of handle operation; Detection of a user approaching a handle; Electrical switching actions performed by door handles
- E05B81/78—Detection of handle operation; Detection of a user approaching a handle; Electrical switching actions performed by door handles as part of a hands-free locking or unlocking operation
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
- E05F15/00—Power-operated mechanisms for wings
- E05F15/70—Power-operated mechanisms for wings with automatic actuation
- E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
Definitions
- This disclosure relates to a gesture detection device and a gesture detection method.
- Patent document 1 describes a door control system that includes a drive unit that drives the rear door, a distance sensor that measures the distance to a user's hand that is located near the rear door, and a control unit that controls the drive unit.
- the door control system opens and closes the rear door when the user moves his or her hand close to the rear door in the opening or closing direction. At this time, the door control system performs tracking control to make the moving speed of the rear door follow the moving speed of the user's hand.
- a gesture detection device is applied to a vehicle including a vehicle body having an opening, a door configured to open and close the opening, a camera configured to capture an image of a user facing the opening, and a door drive unit configured to drive the door, and detects a gesture that triggers the operation of the door, the gesture using a predetermined body part of the user.
- a body part of the user different from the predetermined body part is a reference body part.
- the gesture detection device includes a position acquisition unit configured to acquire a predetermined position that is the position of the predetermined body part in an image captured by the camera and a reference position that is the position of the reference body part, a direction determination unit configured to determine whether or not the user is facing the opening based on the reference position in the image, and a gesture determination unit configured to determine whether or not the user has performed a gesture based on changes in the predetermined position and the reference position in multiple images captured at different times when the direction determination unit determines that the user is facing the opening.
- the gesture determination unit is further configured to determine that the user has performed at least a predetermined gesture for opening the door when the predetermined position moves in a predetermined direction corresponding to the opening direction of the door relative to the reference position.
- a gesture detection method is applied to a vehicle including a vehicle body having an opening, a door configured to open and close the opening, a camera configured to capture an image of a user facing the opening, and a door drive unit configured to drive the door, and detects a gesture that triggers the operation of the door, the gesture using a predetermined body part of the user.
- a body part of the user different from the predetermined body part is a reference body part.
- the gesture detection method includes a position acquisition step of acquiring a predetermined position that is the position of the predetermined body part in an image captured by the camera and a reference position that is the position of the reference body part, a direction determination step of determining whether or not the user is facing the opening based on the reference position in the image, and a gesture determination step of determining whether or not the user has performed a gesture based on changes in the predetermined position and the reference position in a plurality of images captured at different times when it is determined by the direction determination step that the user is facing the opening.
- the gesture determination process includes determining that the user has performed at least a predetermined gesture for opening the door when the predetermined position moves in a predetermined direction corresponding to the opening direction of the door relative to the reference position.
- FIG. 1 is a schematic diagram of a vehicle according to an embodiment.
- FIG. 2 is an example of an image captured by a camera provided in the vehicle of FIG.
- FIG. 3 is an example of an image captured by a camera provided in the vehicle of FIG. 1, showing a user making a gesture with his or her right hand.
- FIG. 4 is an example of an image captured by a camera provided in the vehicle of FIG. 1, showing a user making a gesture with his/her left hand.
- FIG. 5 is a flowchart showing the flow of a right outer gesture determination process performed by the gesture determination unit provided in the vehicle of FIG.
- FIG. 6 is a flowchart showing the flow of a right inner gesture determination process performed by the gesture determination unit provided in the vehicle of FIG.
- a vehicle 10 includes a vehicle body 20, a front door 31, a rear door 32, a front door drive unit 41, a rear door drive unit 42, a camera 50, a door control device 60, and a gesture detection device 70.
- the width direction of the vehicle 10, the front-rear direction of the vehicle 10, and the up-down direction of the vehicle 10 are also simply referred to as the width direction, the front-rear direction, and the up-down direction, respectively.
- the width direction away from the center of the vehicle 10 is also referred to as the outward direction
- the direction approaching the center of the vehicle 10 is also referred to as the inward direction.
- the vehicle body 20 has a front opening 21 and a rear opening 22 that open to the side.
- the vehicle body 20 also has a center pillar 23 that separates the front opening 21 and the rear opening 22 from each other.
- the front opening 21 and the rear opening 22 are adjacent to each other in the front-to-rear direction, with the center pillar 23 in between.
- the front opening 21 is located forward of the rear opening 22.
- the front opening 21 and the rear opening 22 are areas through which a user passes when getting on and off the vehicle 10.
- the front opening 21 corresponds to the "second opening” and the rear opening 22 corresponds to the "first opening”.
- the front door 31 has a shape corresponding to the front opening 21 when viewed from the width direction.
- the front door 31 slides in the front-rear direction with respect to the vehicle body 20, and is displaced between a fully closed position where the front opening 21 is fully closed and a fully open position where the front opening 21 is fully opened.
- the opening direction of the front door 31 is forward, and the closing direction of the front door 31 is backward. In other words, the opening direction of the front door 31 is the opposite direction to the closing direction of the front door 31.
- the front door drive unit 41 drives the front door 31.
- the front door drive unit 41 opens the front door 31 toward the fully open position, and closes the front door 31 toward the fully closed position.
- the front door 31 corresponds to a "second door”
- the front door drive unit 41 corresponds to a "door drive unit”.
- the rear door 32 has a shape corresponding to the rear opening 22 when viewed in the width direction.
- the rear door 32 slides in the front-rear direction relative to the vehicle body 20, and is displaced between a fully closed position where the rear opening 22 is fully closed and a fully open position where the rear opening 22 is fully opened.
- the opening direction of the rear door 32 is rearward, and the closing direction of the rear door 32 is forward. In other words, the opening direction of the rear door 32 is opposite to the closing direction of the rear door 32.
- the rear door drive unit 42 drives the rear door 32.
- the rear door drive unit 42 opens the rear door 32 toward the fully open position, and closes the rear door 32 toward the fully closed position.
- the rear door 32 corresponds to the "first door”
- the rear door drive unit 42 corresponds to the "door drive unit”.
- the camera 50 is installed above the center pillar 23 of the vehicle body 20 so as to face outward in the width direction. That is, in the front-rear direction, the camera 50 is installed between the front opening 21 and the rear opening 22.
- the camera 50 can capture an image of the area directly facing the front opening 21 and the rear opening 22 regardless of whether the front door 31 and the rear door 32 are open or closed.
- the camera 50 outputs the captured image to the gesture detection device 70 for each frame.
- the frame rate of the camera 50 may be, for example, about 30 fps.
- FIG. 2 is an example of an image captured by the camera 50 of a user directly facing the front opening 21 and the rear opening 22.
- facing the front opening 21 and the rear opening 22, in other words, facing the center pillar 23, is referred to as "facing the side of the vehicle 10".
- the right half of the user's body faces the rear opening 22 and the left half of the user's body faces the front opening 21.
- the door control device 60 is composed of, for example, a processing circuit including a CPU and a memory.
- the memory includes a RAM and a ROM, and stores a program or instruction configured to cause the CPU to execute a process.
- the memory i.e., a non-transitory computer-readable medium, includes any available medium accessible by a general-purpose or dedicated computer.
- the door control device 60 controls the front door drive unit 41 and the rear door drive unit 42 according to the program stored in the memory and the input command signal. In detail, when the door control device 60 receives an opening operation command signal for opening the front door 31, the door control device 60 opens the front door 31.
- the door control device 60 when the door control device 60 receives a closing operation command signal for closing the front door 31, the door control device 60 closes the front door 31. Also, when the door control device 60 receives an opening operation command signal for opening the rear door 32, the door control device 60 opens the rear door 32. On the other hand, when the door control device 60 receives a closing operation command signal for closing the rear door 32, the door control device 60 closes the rear door 32.
- the gesture detection device 70 is composed of, for example, a processing circuit including a CPU and a memory.
- the gesture detection device 70 determines whether or not the user has performed a gesture using a body part according to a program stored in the memory, and outputs a command signal according to the gesture to the door control device 60. In other words, the gesture triggers the operation of the front door 31 and the rear door 32.
- the gestures detected by the gesture detection device 70 are movements of the user's arm while facing the side of the vehicle 10.
- the user's face and upper body are facing the side of the vehicle 10.
- the gestures include movements of the user's right hand moving in the direction of opening or closing the rear door 32, and movements of the user's left hand moving in the direction of opening or closing the front door 31.
- gestures using the right hand include a right outer gesture that includes an action of the user moving the right hand outward from the body while the right hand is lowered, and a right inner gesture that includes an action of the user moving the right hand inward from the body while the right hand is lowered.
- the right outer gesture includes an action of the user moving the right hand from the position shown by the solid line to the position shown by the dashed line.
- the right inner gesture includes an action of the user moving the right hand from the position shown by the solid line to the position shown by the dashed line.
- the right outer gesture further includes a right outer flip gesture in which the right hand is moved outward from the body and then moved back to its original position, and a right outer hold gesture in which the right hand is moved outward from the body and then stopped.
- a right outer flip gesture When a user performs a right outer flip gesture, the user's right hand moves from the position shown by the solid line to the position shown by the dashed line and then moves back to the position shown by the solid line.
- a right outer hold gesture the user's right hand moves from the position shown by the solid line to the position shown by the dashed line and then remains at the position shown by the dashed line.
- the right outer gesture corresponds to the "first gesture (first open gesture)”
- the right outer flip gesture corresponds to the "third gesture”
- the right outer hold gesture corresponds to the "fourth gesture”.
- Right inward gestures further include a right inward flip gesture, in which the right hand is moved inward to the body and then moved back to its original position, and a right inward hold gesture, in which the right hand is moved inward to the body and then stopped.
- a right inward flip gesture the user's right hand moves from the position shown by the solid line to the position shown by the two-dot chain line and then moves back to the position shown by the solid line.
- a right inward hold gesture the user's right hand moves from the position shown by the solid line to the position shown by the two-dot chain line and then remains at the position shown by the two-dot chain line.
- the right inward gesture corresponds to a "first close gesture.”
- gestures using the left hand include a left outer gesture that includes an action of the user moving the left hand outward from the body while the left hand is lowered, and a left inner gesture that includes an action of the user moving the left hand inward from the body while the left hand is lowered.
- the left outer gesture includes an action of the user moving the left hand from the position shown by the solid line to the position shown by the dashed line.
- the left inner gesture includes an action of the user moving the left hand from the position shown by the solid line to the position shown by the dashed line.
- the left outer gesture further includes a left outer flip gesture in which the left hand is moved outward from the body and then moved back to its original position, and a left outer hold gesture in which the left hand is moved outward from the body and then stopped.
- a left outer flip gesture When a user performs a left outer flip gesture, the user's left hand moves from the position shown by the solid line to the position shown by the dashed line and then moves back to the position shown by the solid line.
- a left outer hold gesture the user's left hand moves from the position shown by the solid line to the position shown by the dashed line and then remains at the position shown by the dashed line.
- the left outer gesture corresponds to the "second gesture (second open gesture)”
- the left outer flip gesture corresponds to the "fifth gesture”
- the left outer hold gesture corresponds to the "sixth gesture”.
- Left inward gestures further include a left inward flip gesture, in which the left hand is moved inward to the body and then moved back to its original position, and a left inward hold gesture, in which the left hand is moved inward to the body and then stopped.
- a left inward flip gesture the user's left hand moves from the position shown by the solid line to the position shown by the two-dot chain line and then moves back to the position shown by the solid line.
- a left inward hold gesture the user's left hand moves from the position shown by the solid line to the position shown by the two-dot chain line and then remains at the position shown by the two-dot chain line.
- the left inward gesture corresponds to a "second close gesture.”
- a gesture using the user's right hand is a gesture for opening and closing at least the rear door 32
- a gesture using the user's left hand is a gesture for opening and closing at least the front door 31.
- a right outward flip gesture is a gesture for opening only the rear door 32 corresponding to the right hand
- a right outward hold gesture is a gesture for opening the front door 31 and the rear door 32.
- a left outward flip gesture is a gesture for opening only the front door 31 corresponding to the left hand
- a left outward hold gesture is a gesture for opening the front door 31 and the rear door 32.
- the right inward reversal gesture is a gesture for closing only the rear door 32 corresponding to the right hand
- the right inward holding gesture is a gesture for closing the front door 31 and the rear door 32.
- the left inward reversal gesture is a gesture for closing only the front door 31 corresponding to the left hand
- the left inward holding gesture is a gesture for closing the front door 31 and the rear door 32.
- a gesture made with the user's right hand is a gesture for opening or closing at least the front door 31
- a gesture made with the user's left hand is a gesture for opening or closing at least the rear door 32.
- the gesture detection device 70 detects gestures for opening and closing the front door 31 and rear door 32 located on the left side of the vehicle 10.
- the gesture detection device 70 includes a storage unit 71, an image acquisition unit 72, a position acquisition unit 73, a direction determination unit 74, a gesture determination unit 75, and an output unit 76.
- the storage unit 71 stores a trained model that has been machine-learned using teacher data that associates images captured in advance with the positions of the user's body parts.
- the trained model is a model that inputs an image captured by the camera 50 and outputs the positions of the user's body parts in the image.
- the trained model outputs the position PN of the user's neck, the position PRs of the right shoulder, the position PLs of the left shoulder, the position PRh of the right hand, the position PLh of the left hand, the position PRt of the right toe, and the position PLt of the left toe as shown in FIG. 2.
- the right hand corresponds to the "first body part”
- the left hand corresponds to the "second body part”
- the neck, the right shoulder, and the left shoulder correspond to the "reference body part”.
- the trained model is created, for example, when the vehicle 10 is designed, and written into the storage unit 71 when the gesture detection device 70 is manufactured.
- the method for generating a trained model includes a preparation step of preparing training data and a learning step of performing machine learning based on the training data.
- the preparation step includes an acquisition step of acquiring images of a user standing in an imaging area under various conditions, and a designation step of designating positions of body parts of the user in the multiple images acquired in the acquisition step.
- the acquisition process is carried out, for example, using an actual vehicle 10.
- the acquisition process preferably acquires many images taken by changing conditions related to the user and conditions related to the environment around the vehicle 10. This makes it possible to obtain a trained model that can adapt to various situations, in other words, a trained model with high versatility.
- the designation process designates the position of the user's body part in the acquired image.
- the position can be designated, for example, using coordinates using pixels in the image.
- the axis extending horizontally in the image is the X-axis
- the axis extending vertically in the image is the Y-axis.
- the learning process involves generating a model through machine learning using multiple training data as training data.
- Various machine learning methods can be selected, one example being the Convolutional Neural Network (CNN).
- CNN Convolutional Neural Network
- the trained model When a captured image is input, the trained model outputs the positions of the user's body parts that appear in the image. On the other hand, if an image that does not show the user's body parts is input, the trained model cannot output the positions of the user's body parts. Furthermore, if the accuracy of the trained model is insufficient, the trained model may output the incorrect positions of body parts.
- the image acquisition unit 72 acquires images captured by the camera 50 at each shooting cycle of the camera 50. For example, if the frame rate of the camera 50 is 30 fps, the image acquisition unit 72 acquires images captured by the camera 50 at every 1/30 seconds.
- the position acquisition unit 73 acquires the positions of the user's body parts shown in the image by inputting the image captured by the camera 50 into the trained model stored in the storage unit 71. That is, the position acquisition unit 73 acquires the user's neck position PN, right shoulder position PRs, left shoulder position PLs, right hand position PRh, left hand position PLh, right toe position PRt, and left toe position PLt.
- the right hand position PRh corresponds to the "first position”
- the left hand position PLh corresponds to the "second position”
- the user's neck position PN, right shoulder position PRs, and left shoulder position PLs correspond to the "reference positions”.
- the direction determination unit 74 determines whether or not the user in the image is facing the side of the vehicle 10. In detail, as shown in Fig. 2, the direction determination unit 74 determines whether or not the user is facing the side of the vehicle 10 based on the shoulder width Ls, which is the distance between the right shoulder position PRs and the left shoulder position PLs in the X direction.
- the shoulder width Ls calculated by the direction determination unit 74 is a relatively large value.
- the camera 50 captures the user from the front right or front left. Therefore, the shoulder width Ls calculated by the direction determination unit 74 is a relatively small value.
- the direction determination unit 74 therefore determines that the user is facing the side of the vehicle 10 when the calculated shoulder width Ls is equal to or greater than the shoulder width determination value Lsth set in advance. On the other hand, the direction determination unit 74 determines that the user is not facing the side of the vehicle 10 when the calculated shoulder width Ls is less than the shoulder width determination value Lsth.
- the shoulder width determination value Lsth is a value that is set in advance through experiments and simulations.
- the shoulder width determination value Lsth may be a variable value according to the distance from the camera 50 to the user.
- the shoulder width Ls also changes depending on the size of the user's physique. For this reason, when the direction determination unit 74 can determine the size of the user's physique based on the positions of multiple body parts, the shoulder width determination value Lsth may be a variable value according to the user's physique.
- the camera 50 captures the user from the side.
- the position acquisition unit 73 cannot acquire both the position of the user's right shoulder PRs and the position of the left shoulder PLs.
- the direction determination unit 74 cannot calculate the shoulder width Ls. Therefore, when the position acquisition unit 73 cannot acquire at least one of the position of the right shoulder PRs and the position of the left shoulder PLs, in other words, when the direction determination unit 74 cannot calculate the shoulder width Ls, the direction determination unit 74 determines that the user is not facing the side of the vehicle 10.
- the gesture determination unit 75 performs an approach determination process for determining whether or not the user is approaching the vehicle 10, and a gesture determination process for determining whether or not the user has performed a gesture.
- the gesture determination unit 75 determines whether the position PRt of the right toe and the position PLt of the left toe of the user acquired by the position acquisition unit 73 are within a determination area Ax as shown in FIG. 2.
- the determination area Ax is an area set within an image. In FIG. 2, the determination area Ax is an area below the line segment indicated by the dashed line in the image.
- the determination area Ax may be a rectangular area or a semicircular area. The length of the determination area Ax in the X direction and the Y direction can be changed as appropriate.
- the gesture determination unit 75 starts the gesture determination process.
- the gesture determination unit 75 may start the approach determination process only when a user who has a portable device linked to the vehicle 10 approaches the vehicle 10. This prevents the gesture determination process from being performed for a gesture of a person who is not a user of the vehicle 10.
- the gesture determination unit 75 determines whether or not the user has performed a gesture based on changes in the positions of body parts in multiple images captured consecutively at different times.
- the gesture determination process includes a right-outer gesture determination process, a right-inner gesture determination process, a left-outer gesture determination process, and a left-inner gesture determination process.
- the right-outer gesture determination process determines whether or not the user has performed a right-outer flip gesture or a right-outer hold gesture
- the right-inner gesture determination process determines whether or not the user has performed a right-inner flip gesture or a right-inner hold gesture.
- the left-outer gesture determination process determines whether or not the user has performed a left-outer flip gesture or a left-outer hold gesture, and the left-inner gesture determination process determines whether or not the user has performed a left-inner flip gesture or a left-inner hold gesture.
- the gesture determination unit 75 calculates a reference distance LR from the neck position PN to the right shoulder position PRs in the X direction based on the neck position PN and right shoulder position PRs acquired by the position acquisition unit 73. Then, as shown in FIG. 3, the gesture determination unit 75 sets a right reference area AR1, a right outer area AR2, and a right inner area AR3 in the image based on the neck position PN, the right shoulder position PRs, and the reference distance LR.
- the right reference area AR1 includes the right shoulder position PRs and is an area that spreads left and right from the right shoulder position PRs.
- the width of the right reference area AR1 is shorter than the reference distance LR.
- the right reference area AR1 may be an area that is centered on the right shoulder position PRs, and the width of the right reference area AR1 may be about 40% of the reference distance LR.
- the right outer area AR2 is an area that spreads left and right to the right of the right reference area AR1.
- the width of the right outer area AR2 is longer than the reference distance LR.
- the width of the right outer area AR2 may be about 140% of the reference distance LR.
- the right inner area AR3 includes the neck position PN and is an area that spreads left and right from the neck position PN.
- the width of the right inner area AR3 is equal to the reference distance LR.
- the right inner area AR3 may be an area that is centered on the neck position PN, and the width of the right inner area AR3 may be about 100% of the reference distance LR. It is preferable that a space that does not belong to either area is provided between the right reference area AR1 and the right outer area AR2, and between the right reference area AR1 and the right inner area AR3.
- the reference distance LR of the user as seen by the camera 50 changes over time.
- the neck position PN and right shoulder position PRs in the image change with the time of capture.
- the reference distance LR is calculated each time a new image is captured, and the area is set each time a new image is captured.
- the gesture determination unit 75 determines whether or not the user has performed a gesture using the right hand based on the movement of the position PRh of the user's right hand in the above area. This is explained in detail below.
- the gesture determination unit 75 determines that the user has performed a right outer flip gesture when the user's right hand position PRh moves from the right reference area AR1 to the right outer area AR2 over time and then returns to the right reference area AR1. In other words, the gesture determination unit 75 determines that the user has performed a right outer flip gesture when the user's right hand position PRh moves in the opening direction of the rear door 32 and then moves in the closing direction of the rear door 32. In addition, the gesture determination unit 75 determines that the user has performed a right outer hold gesture when the user's right hand position PRh moves from the right reference area AR1 to the right outer area AR2 over time and then remains in the right outer area AR2.
- the gesture determination unit 75 determines that the user has performed a right outer hold gesture when the user's right hand position PRh moves in the opening direction of the rear door 32 and then stops.
- the opening direction of the rear door 32 corresponds to the "first direction” that corresponds to the opening direction of the rear door 32.
- the gesture determination unit 75 determines that the user has performed a right inner flip gesture when the user's right hand position PRh moves from the right reference area AR1 to the right inner area AR3 over time and then returns to the right reference area AR1. In other words, the gesture determination unit 75 determines that the user has performed a right inner flip gesture when the user's right hand position PRh moves in the closing direction of the rear door 32 and then moves in the opening direction of the rear door 32. The gesture determination unit 75 also determines that the user has performed a right inner hold gesture when the user's right hand position PRh moves from the right reference area AR1 to the right inner area AR3 over time and then remains in the right inner area AR3. In other words, the gesture determination unit 75 determines that the user has performed a right inner hold gesture when the user's right hand position PRh moves in the closing direction of the rear door 32 and then stops.
- the right reference area AR1, the right outer area AR2, and the right inner area AR3 are set based on the neck position PN and the right shoulder position PRs. Therefore, the movement of the right hand position PRh to the adjacent area to the right is synonymous with the right hand position PRh moving in the opening direction of the rear door 32 relative to the neck position PN and the right shoulder position PRs. In addition, the movement of the right hand position PRh to the adjacent area to the left is synonymous with the right hand position PRh moving in the closing direction of the rear door 32 relative to the neck position PN and the right shoulder position PRs.
- the gesture determination unit 75 calculates a reference distance LL in the X direction from the neck position PN to the left shoulder position PLs based on the neck position PN and the left shoulder position PLs acquired by the position acquisition unit 73. Then, as shown in FIG. 4, the gesture determination unit 75 sets a left reference area AL1, a left outer area AL2, and a left inner area AL3 in the image based on the neck position PN, the left shoulder position PLs, and the reference distance LL.
- the left reference area AL1 includes the left shoulder position PLs and is an area that spreads left and right from the left shoulder position PLs.
- the width of the left reference area AL1 is shorter than the reference distance LL.
- the left reference area AL1 may be an area centered on the left shoulder position PLs, and the width of the left reference area AL1 may be about 40% of the reference distance LL.
- the left outer area AL2 is an area that spreads left and right to the left of the left reference area AL1.
- the width of the left outer area AL2 is longer than the reference distance LL.
- the width of the left outer area AL2 may be about 140% of the reference distance LL.
- the left inner area AL3 includes the neck position PN and is an area that spreads left and right from the neck position PN.
- the width of the left inner area AL3 is equal to the reference distance LL.
- the left inner area AL3 may be an area centered on the neck position PN, and the width of the left inner area AL3 may be about 100% of the reference distance LL.
- the left inner area AL3 overlaps with the right inner area AR3. It is preferable that there is a space that does not belong to either area between the left reference area AL1 and the left outer area AL2, and between the left reference area AL1 and the left inner area AL3.
- the reference distance LL of the user as seen by the camera 50 changes over time.
- the neck position PN and left shoulder position PLs in the image change with the time of capture.
- the reference distance LL is calculated each time a new image is captured, and the area is set each time a new image is captured.
- the gesture determination unit 75 determines whether or not the user has performed a gesture using the left hand based on the movement of the position PLh of the user's left hand in the above area. This is explained in detail below.
- the gesture determination unit 75 determines that the user has performed a left outer flip gesture when the position PLh of the user's left hand moves from the left reference area AL1 to the left outer area AL2 over time and then returns to the left reference area AL1. In other words, the gesture determination unit 75 determines that the user has performed a left outer flip gesture when the position PLh of the user's left hand moves in the opening direction of the front door 31 and then moves in the closing direction of the front door 31. The gesture determination unit 75 also determines that the user has performed a left outer hold gesture when the position PLh of the user's left hand moves from the left reference area AL1 to the left outer area AL2 over time and then remains in the left outer area AL2.
- the gesture determination unit 75 determines that the user has performed a left outer hold gesture when the position PLh of the user's left hand moves in the opening direction of the front door 31 and then stops.
- the opening direction of the front door 31 corresponds to the "second direction” that corresponds to the opening direction of the front door 31.
- the gesture determination unit 75 determines that the user has performed a left inner flip gesture when the position PLh of the user's left hand moves from the left reference area AL1 to the left inner area AL3 over time and then returns to the left reference area AL1. In other words, the gesture determination unit 75 determines that the user has performed a left inner flip gesture when the position PLh of the user's left hand moves in the closing direction of the front door 31 and then moves in the opening direction of the front door 31. The gesture determination unit 75 also determines that the user has performed a left inner hold gesture when the position PLh of the user's left hand moves from the left reference area AL1 to the left inner area AL3 over time and then remains in the left inner area AL3. In other words, the gesture determination unit 75 determines that the user has performed a left inner hold gesture when the position PLh of the user's left hand moves in the closing direction of the front door 31 and then stops.
- the left reference area AL1, the left outer area AL2, and the left inner area AL3 are set based on the neck position PN and the left shoulder position PLs. Therefore, the movement of the left hand position PLh to the adjacent area to the left is synonymous with the left hand position PLh moving in the opening direction of the front door 31 relative to the neck position PN and the left shoulder position PLs. In addition, the movement of the left hand position PLh to the adjacent area to the right is synonymous with the left hand position PLh moving in the closing direction of the front door 31 relative to the neck position PN and the left shoulder position PLs.
- ⁇ Output unit 76> When it is determined that the user has performed a right outward inversion gesture, the output unit 76 outputs an open operation command signal for opening the rear door 32 corresponding to the right hand. When it is determined that the user has performed a right outward holding gesture, the output unit 76 outputs an open operation command signal for opening the front door 31 and the rear door 32. On the other hand, when it is determined that the user has performed a right inward inversion gesture, the output unit 76 outputs a close operation command signal for closing the rear door 32 corresponding to the right hand. When it is determined that the user has performed a right inward holding gesture, the output unit 76 outputs a close operation command signal for closing the front door 31 and the rear door 32.
- the output unit 76 determines that the user has performed a left outward inversion gesture, it outputs an open operation command signal to open the front door 31 corresponding to the left hand. Also, when the output unit 76 determines that the user has performed a left outward holding gesture, it outputs an open operation command signal to open the front door 31 and the rear door 32. On the other hand, when the output unit 76 determines that the user has performed a left inward inversion gesture, it outputs a close operation command signal to close the front door 31 corresponding to the left hand. Also, when the output unit 76 determines that the user has performed a left inward holding gesture, it outputs a close operation command signal to close the front door 31 and the rear door 32.
- the output unit 76 when the gesture determination unit 75 determines that a right outer holding gesture and a left outer holding gesture have been performed, the output unit 76 outputs the same signal. Also, when the gesture determination unit 75 determines that a right inner holding gesture and a left inner holding gesture have been performed, the output unit 76 outputs the same signal.
- the right outer gesture determination process is a process that is performed at each predetermined control cycle when a user is present in the shooting area of the camera 50.
- the position of the body part is reacquired or the above areas are reset for a newly acquired image.
- the right outer gesture determination process is substantially the same as the left outer gesture determination process that determines whether a left outer flip gesture or a left outer hold gesture has been performed, except that the hand used for the gesture is different and the door that is the target of the opening operation is different. For this reason, a description of the left outer gesture determination process will be omitted.
- the gesture detection device 70 judges whether the right foot tip position PRt and the left foot tip position PLt in the newly captured image are present within the judgment area Ax (S11). If neither the right foot tip position PRt nor the left foot tip position PLt are present within the judgment area Ax (S11: NO), the gesture detection device 70 temporarily ends this process. On the other hand, if at least one of the right foot tip position PRt and the left foot tip position PLt is present within the judgment area Ax (S11: YES), the gesture detection device 70 judges whether the rear door 32 is located in the fully open position (S12). If the rear door 32 is located in the fully open position (S12: YES), in other words, if there is no need to open the rear door 32, the gesture detection device 70 temporarily ends this process.
- the gesture detection device 70 determines whether the user is facing the side of the vehicle 10 based on the shoulder width Ls, which is the distance between the right shoulder position PRs and the left shoulder position PLs (S13). If the user is not facing the side of the vehicle 10 (S13: NO), the gesture detection device 70 temporarily ends this process. On the other hand, if the user is facing the side of the vehicle 10 (S13: YES), the gesture detection device 70 determines whether the right hand position PRh is in the right reference area AR1 (S14).
- the gesture detection device 70 determines whether the right hand position PRh has moved to the outer right area AR2 within the first judgment time T1 (S15).
- the first judgment time T1 means that the elapsed time from the timing when step S14 is judged to be positive is within the first judgment time T1.
- the movement judgment of the right hand position PRh is repeatedly performed for newly captured images.
- step S15 If the right hand position PRh does not move to the right outer area AR2 within the first judgment time T1 (S15: NO), the gesture detection device 70 temporarily ends this process. On the other hand, if the right hand position PRh moves to the right outer area AR2 within the first judgment time T1 (S15: YES), the gesture detection device 70 judges whether the right hand position PRh has moved to the right reference area AR1 within the second judgment time T2 (S16).
- within the second judgment time T2 means that the time elapsed since the right hand position PRh moved to the right outer area AR2 is within the second judgment time T2.
- step S16 similar to step S15, the movement judgment of the right hand position PRh is repeatedly performed on the newly captured image.
- the gesture detection device 70 determines whether the right hand position PRh exists in the right outer area AR2 for the third judgment time T3 (S18).
- the third judgment time T3 means that the elapsed time from the timing when the right hand position PRh moves to the right outer area AR2 is the third judgment time T3. Therefore, the third judgment time T3 is longer than the second judgment time T2. Also, in step S18, similar to step S15, the movement determination of the right hand position PRh is repeatedly performed for each newly captured image.
- the gesture detection device 70 If the right hand position PRh is not present within the right outer area AR2 for the third judgment time T3 (S18: NO), that is, if the right hand position PRh moves outside the right outer area AR2 within the third judgment time T3, the gesture detection device 70 temporarily ends this process. On the other hand, if the right hand position PRh remains within the right outer area AR2 for the third judgment time T3 (S18: YES), the gesture detection device 70 outputs an opening operation command signal for the front door 31 and the rear door 32 (S19). A positive judgment in step S18 is made when it is judged that the user has performed a right outer holding gesture. The gesture detection device 70 then ends this process.
- steps S11, S14 to S16, and S18 comprise a "position acquisition process”
- step S13 corresponds to a "direction determination process”
- steps S14 to S16, and S18 correspond to a "gesture determination process”.
- the right inner gesture determination process is a process that is performed at each predetermined control cycle when a user is present in the shooting area of the camera 50.
- the position of the body part is reacquired or the above areas are reset for the newly acquired image.
- the right inner gesture determination process is substantially the same as the left inner gesture determination process, which determines whether a left inner flip gesture or a left inner hold gesture has been performed, except that the hand used for the gesture is different and the door that is the target of the closing operation is different. For this reason, a description of the left inner gesture determination process will be omitted.
- the gesture detection device 70 judges whether the right foot tip position PRt and the left foot tip position PLt in the newly captured image are present within the judgment area Ax (S21). If neither the right foot tip position PRt nor the left foot tip position PLt are present within the judgment area Ax (S21: NO), the gesture detection device 70 temporarily ends this process. On the other hand, if at least one of the right foot tip position PRt and the left foot tip position PLt is present within the judgment area Ax (S21: YES), the gesture detection device 70 judges whether the rear door 32 is located in the fully closed position (S22). If the rear door 32 is located in the fully closed position (S22: YES), in other words, if there is no need to close the rear door 32, the gesture detection device 70 temporarily ends this process.
- the gesture detection device 70 determines whether the user is facing the side of the vehicle 10 based on the shoulder width Ls, which is the distance between the right shoulder position PRs and the left shoulder position PLs (S23). If the user is not facing the side of the vehicle 10 (S23: NO), the gesture detection device 70 temporarily ends this process. On the other hand, if the user is facing the side of the vehicle 10 (S23: YES), the gesture detection device 70 determines whether the right hand position PRh is in the right reference area AR1 (S24).
- the gesture detection device 70 determines whether the right hand position PRh has moved to the right inner area AR3 within the first judgment time T1 (S25).
- “within the first judgment time T1” means that the time elapsed from the timing when step S24 is judged to be positive is within the first judgment time T1. Also, in step S25, the movement judgment of the right hand position PRh is repeatedly performed for newly captured images.
- the gesture detection device 70 determines whether the right hand position PRh has moved to the right reference area AR1 within the second judgment time T2 (S26).
- the second judgment time T2 means that the elapsed time from the time when the right hand position PRh moved to the right inner area AR3 is within the second judgment time T2.
- step S26 similar to step S25, the movement determination of the right hand position PRh is repeatedly performed on the newly captured image.
- the gesture detection device 70 determines whether the right hand position PRh exists in the right inner area AR3 for the third judgment time T3 (S28).
- the third judgment time T3 means that the elapsed time from the timing when the right hand position PRh moves to the right inner area AR3 is the third judgment time T3. Therefore, the third judgment time T3 is longer than the second judgment time T2. Also, in step S28, similar to step S25, the movement determination of the right hand position PRh is repeatedly performed for each newly captured image.
- the gesture detection device 70 If the right hand position PRh is not present within the right inner area AR3 for the third judgment time T3 (S28: NO), that is, if the right hand position PRh moves outside the right inner area AR3 within the third judgment time T3, the gesture detection device 70 temporarily ends this process. On the other hand, if the right hand position PRh remains within the right inner area AR3 for the third judgment time T3 (S28: YES), the gesture detection device 70 outputs a close operation command signal for the front door 31 and the rear door 32 (S29). A positive judgment in step S28 is made when it is judged that the user has performed a right inner holding gesture. The gesture detection device 70 then ends this process.
- steps S21, S24 to S26, and S28 comprise a "position acquisition process”
- step S23 corresponds to a "direction determination process”
- steps S24 to S26, and S28 correspond to a "gesture determination process”.
- the user if the user wishes to open both the front door 31 and the rear door 32 of the vehicle 10, the user performs a right outer holding gesture or a left outer holding gesture while walking toward the side of the vehicle 10. That is, the user moves his/her right hand in the direction to open the rear door 32 and then stops it, or moves his/her left hand in the direction to open the front door 31 and then stops it. Then, the front door 31 and the rear door 32 are opened.
- the gesture detection device 70 can improve the convenience of the user.
- the gesture detection device 70 starts to determine whether or not the user has performed a gesture. This reduces the risk of the gesture detection device 70 erroneously determining that the user has performed a gesture based on the movement of a person passing by the side of the vehicle 10 while waving their arms.
- the gesture detection device 70 determines whether or not the user has performed a gesture based on the change in the position PRh of the right hand and the position PLh of the left hand relative to the position PN of the neck, the position PRs of the right shoulder, and the position PLs of the left shoulder. Therefore, the gesture detection device 70 can accurately determine whether or not the user has performed a gesture, whether or not the user is performing a gesture while approaching the vehicle 10 or whether or not the user is performing a gesture while standing still.
- the gesture detection device 70 determines that the user has performed a right-outward flip gesture, it outputs an open operation command signal for the rear door 32. Furthermore, when the gesture detection device 70 determines that the user has performed a left-outward determination gesture, it outputs an open operation command signal for the front door 31.
- the right-outward flip gesture and the left-outward flip gesture include an action of moving the right or left hand in one direction and an action of returning the right or left hand to its original position. Therefore, the gesture detection device 70 is less likely to erroneously determine the gesture compared to a case in which the gesture for opening the front door 31 and the rear door 32 is only an action of moving the right or left hand in one direction.
- the gesture detection device 70 determines that the user has performed a right outer holding gesture or when the gesture detection device 70 determines that the user has performed a left outer holding gesture, it outputs an open operation command signal for the front door 31 and the rear door 32.
- the right outer holding gesture and the left outer holding gesture include an action of moving the right hand or the left hand in one direction and an action of stopping the right hand or the left hand. Therefore, the gesture detection device 70 is less likely to erroneously determine the gesture compared to a case where the gesture for opening the front door 31 and the rear door 32 is only an action of moving the right hand or the left hand in one direction.
- the gesture detection device 70 can further improve user convenience.
- the gesture detection device 70 determines whether or not the user is facing the side of the vehicle 10 based on the shoulder width Ls, which is the distance between the right shoulder position PRs and the left shoulder position PLs. Therefore, the gesture detection device 70 can accurately determine whether or not the user is facing the side of the vehicle 10.
- the effects are described when the user performs a right outward flip gesture, a right outward hold gesture, a left outward flip gesture, and a left outward hold gesture to open at least one of the front door 31 and the rear door 32. These effects are similarly achieved when the user performs a right inward flip gesture, a right inward hold gesture, a left inward flip gesture, and a left inward hold gesture to close at least one of the front door 31 and the rear door 32.
- the gesture detection device 70 can open or close the front door 31 and the rear door 32 depending on the direction in which the user's hand moves.
- the gesture detection device 70 To obtain the position of the right hand PRh, the position of the right shoulder PRs, the position of the right toe PRt, the position of the left hand PLh, the position of the left shoulder PLs, and the position of the left toe PLt.
- the user's body part used for the gesture can be changed as appropriate.
- the first body part is preferably a part of the user's right half of the body that is easy for the user to move alone.
- the first body part may be the toe of the user's right foot.
- the second body part is preferably a part of the user's left half of the body that is easy for the user to move alone.
- the second body part may be the toe of the user's left foot.
- the reference body part may be any body part on the center line of the user's body.
- the reference body part may be the user's face or the user's chest instead of the user's neck.
- the direction determination unit 74 may use other determination methods to determine whether the user is facing the side of the vehicle 10. Some examples will be described below. The direction determination unit 74 may determine that the user is facing the side of the vehicle 10 when the right shoulder position PRs is present on one side of the neck position PN and the left shoulder position PRs is present on the other side of the neck position PN in the X direction. On the other hand, the direction determination unit 74 may determine that the user is not facing the side of the vehicle 10 when the right shoulder position PRs or the left shoulder position PLs is present only on one side of the neck position PN in the X direction.
- the direction determination unit 74 may determine that the user is not facing the side of the vehicle 10.
- the direction determination unit 74 may determine whether or not the user is facing the side of the vehicle 10 based on the positions of body parts other than the right shoulder and left shoulder. For example, the direction determination unit 74 may determine whether or not the user is facing the side of the vehicle 10 based on the positions of the user's right eye and left eye. The direction determination unit 74 may also determine whether or not the user is facing the side of the vehicle 10 based on the positions of the user's right ear and left ear.
- the direction determination unit 74 may determine that the user is facing the side of the vehicle 10 when it has been able to obtain all of the positions of multiple body parts that the camera 50 can capture when the user faces the side of the vehicle 10. For example, the direction determination unit 74 may determine that the user is facing the side of the vehicle 10 when it has been able to obtain all of the position PN of the user's neck, position PRs of the right shoulder, position PLs of the left shoulder, position PRh of the right hand, position PLh of the left hand, position PRt of the right toe, and position PLt of the left toe.
- the gesture determination unit 75 does not need to set the right reference area AR1 and the right outer area AR2 in the right outer gesture determination process.
- the gesture determination unit 75 calculates a reference distance LR, which is the distance from the neck position PN to the right shoulder position PRs in the X direction, and a comparison distance, which is the distance from the neck position PN to the right hand position PRh in the X direction.
- the gesture determination unit 75 determines the state of the user's right hand based on the magnitude relationship between the reference distance LR and the comparison distance.
- the gesture determination unit 75 determines that the user's right hand has moved in the opening direction of the rear door 32 when the comparison distance changes from a state in which the comparison distance is approximately the same as the reference distance LR to a state in which the comparison distance is sufficiently larger than the reference distance LR. In this way, the gesture determination unit 75 can determine whether the user has performed a gesture by comparing the distances. The same applies to the right inner gesture determination process, the left outer gesture determination process, and the left inner gesture determination process.
- the gestures to be determined by the gesture determination unit 75 may include at least a right-outside flip gesture and a left-outside flip gesture.
- the output unit 76 may output an open operation command signal to open the front door 31 and the rear door 32.
- the output unit 76 may output an open operation command signal to open the rear door 32 corresponding to the right hand.
- the output unit 76 may output a close operation command signal to close the front door 31 and the rear door 32.
- the output unit 76 may output an open operation command signal to close the rear door 32 corresponding to the right hand.
- the user's gesture to open the rear door 32 may be a gesture in which the user simply moves the right hand, which is lowered downward, to the right.
- the gesture determination unit 75 may determine that the user has performed the above gesture when the position PRh of the user's right hand moves from the right reference area AR1 to the outer right area AR2. The same applies to the user's gesture to open the front door 31.
- the gesture by the user to open the rear door 32 may be a gesture in which the user simply moves the right hand, which is lowered downward, upward.
- the upward direction in which the user's right hand moves corresponds to the "first direction” that corresponds to the opening direction of the rear door 32.
- the "first direction” does not have to be the same direction as the opening direction of the rear door 32. The same applies to the gesture by the user to open the front door 31.
- the vehicle body 20 does not need to have a center pillar 23.
- the front opening 21 and the rear opening 22 may be integrated into one opening.
- the front portion of one opening corresponds to the front opening 21, and the rear portion of one opening corresponds to the rear opening 22.
- the gesture detection device 70 may be configured to detect only a gesture that triggers the operation of the rear door 32, for example.
- the front door 31 may not be able to be opened or closed by a gesture.
- the rear opening 22 corresponds to the "opening”
- the rear door 32 corresponds to the "door”.
- the right hand corresponds to the "predetermined body part”
- the position PRh of the right hand corresponds to the "predetermined position”
- the opening direction of the rear door 32 corresponds to the "predetermined direction” corresponding to the opening direction of the rear door 32
- the right outward gesture corresponds to the "predetermined gesture”.
- the gesture detection device 70 may be configured to detect only a gesture that triggers the operation of the front door 31, for example.
- the rear door 32 may not be able to be opened or closed by a gesture.
- the front opening 21 corresponds to the "opening”
- the front door 31 corresponds to the "door”.
- the left hand corresponds to the "predetermined body part”
- the position PLh of the left hand corresponds to the "predetermined position”
- the opening direction of the front door 31 corresponds to the "predetermined direction” corresponding to the opening direction of the front door 31
- the left outer gesture corresponds to the "predetermined gesture”.
- the vehicle body 20 may have only one of the front opening 21 and the rear opening 22, and the vehicle 10 may have only one of the front door 31 and the rear door 32 that opens and closes that one of the openings.
- the gesture detection device 70 only needs to be able to detect a gesture for opening the door that opens and closes at least that one of the openings.
- the position of the camera 50 may be changed as appropriate.
- the cameras 50 may be provided on both the front door 31 and the rear door 32.
- the vehicle 10 may be equipped with a back door and a rear camera that can capture images of the rear of the vehicle 10 regardless of whether the back door is open or closed.
- the vehicle body 20 may have an opening that opens to the rear and is opened and closed by the back door.
- the gesture detection device 70 may open and close the back door depending on the content of the gesture performed by the user. In this case, the opening that opens to the rear of the vehicle body 20 corresponds to the "opening" and the back door corresponds to the "door.”
- the back door may have a first door that opens and closes the first opening and a second door that opens and closes the second opening. Then, the gesture detection device 70 may open and close the first door or the second door depending on the content of the gesture performed by the user.
- the gesture detection device 70 is not limited to a processing circuit that includes a CPU and memory and executes software processing.
- the gesture detection device 70 may include a dedicated hardware circuit that executes at least some of the various processes executed in each of the above embodiments.
- An example of a dedicated hardware circuit is an ASIC.
- ASIC is an abbreviation for "Application Specific Integrated Circuit.”
- the gesture detection device 70 may have any of the following configurations (a) to (c).
- a processing circuit including a processing device that executes all of the above processes in accordance with a program, and a program storage device such as a ROM that stores the program.
- a processing circuit comprising a processing device and a program storage device for executing part of the above processing in accordance with a program, and a dedicated hardware circuit for executing the remaining processing.
- the gesture detection device (70) of the present embodiment is applied to a vehicle (10) including a vehicle body (20) having openings (21, 22), doors (31, 32) configured to open and close the openings (21, 22), a camera (50) configured to capture an image of a user facing the openings (21, 22), and a door drive unit (41, 42) configured to drive the doors (31, 32), and detects a gesture that triggers the operation of the doors (31, 32) using a predetermined body part of the user.
- a body part of the user that is different from the predetermined body part is a reference body part.
- the gesture detection device (70) includes a position acquisition unit (73) configured to acquire a predetermined position (PRh, PLh) which is the position of the predetermined body part in an image captured by the camera (50) and a reference position (PN, PRs, PLs) which is the position of the reference body part, a direction determination unit (74) configured to determine whether or not the user is facing the openings (21, 22) based on the reference position (PN, PRs, PLs) in the image, and a gesture determination unit (75) configured to determine whether or not the user has performed a gesture based on changes in the predetermined position (PRh, PLh) and the reference position (PN, PRs, PLs) in a plurality of the images captured at different times when the direction determination unit (74) determines that the user is facing the openings (21, 22).
- a position acquisition unit (73) configured to acquire a predetermined position (PRh, PLh) which is the position of the predetermined body part in an image captured by the camera (50) and
- the gesture determination unit (75) is further configured to determine that the user has performed a predetermined gesture for at least operating the door (31, 32) to open when the specified position (PRh, PLh) moves in a specified direction corresponding to the opening direction of the door (31, 32) relative to the reference position (PN, PRs, PLs).
- the gesture detection device determines whether or not the user has performed a gesture. In particular, when the user moves a specific body part in a specific direction, the gesture detection device determines that the user has performed a specific gesture. In this way, the user can at least open the door by moving the specific body part in a specific direction that corresponds to the door opening direction.
- the gesture detection device determines whether or not the user has performed a gesture based on the change in the predetermined position relative to a reference position. Therefore, the gesture detection device can accurately determine whether or not the user has performed a gesture, whether or not the user is performing a gesture while approaching a vehicle, or whether or not the user is performing a gesture while standing still. In this way, the gesture detection device can improve user convenience.
- the opening (21, 22) may be a first opening (22), the door (31, 32) may be a first door (32), the specified body part may be a first body part, the specified position (PRh, PLh) may be a first position (PRh), the specified direction may be a first direction, the specified gesture may be a first gesture, and the user's body part different from the first body part and the reference body part may be a second body part.
- the vehicle body (20) further has a second opening (21) adjacent to the first opening (22).
- the vehicle (10) further includes a second door (31) driven by the door drive unit (41, 42) and configured to open and close the second opening (21).
- the camera (50) is further configured to capture an image of the user facing the second opening (21).
- the position acquisition unit (73) is preferably further configured to acquire a second position (PLh) that is a position of the second body part in an image captured by the camera (50).
- the direction determination unit (74) is preferably further configured to determine whether or not the user is facing the second opening (21) based on the reference position (PN, PRs, PLs) in the image.
- the gesture determination unit (75) is preferably further configured to determine whether or not the user has performed a gesture based on changes in the second position (PLh) and the reference position (PN, PRs, PLs) in the multiple images captured at different times, and to determine that the user has performed at least a second gesture for opening the second door (31) when the second position (PLh) moves in a second direction corresponding to the opening direction of the second door (31) relative to the reference position (PN, PRs, PLs).
- the gesture detection device determines whether the user has performed a gesture. In particular, when the user moves a second body part in a second direction, the gesture detection device determines that the user has performed a second gesture. In this way, the user can at least open the second door by moving the second body part in the second direction corresponding to the opening direction of the second door.
- the gesture detection device determines whether or not the user has performed a gesture based on the changes in the first position and the second position relative to the reference position. Therefore, the gesture detection device can accurately determine whether or not the user has performed a gesture, whether or not the user performs a gesture while approaching a vehicle, or whether or not the user performs a gesture while standing still. In this way, the gesture detection device can improve user convenience.
- the first opening (22) faces the right half of the user's body and the second opening (21) faces the left half of the user's body
- the first body part is the user's right hand
- the second body part is the user's left hand
- the gesture detection device can further improve user convenience.
- the gesture determination unit (75) is further configured to determine that the user has performed the first gesture when the first position (PRh) moves in the first direction relative to the reference position (PN, PRs, PLs) and then moves in the opposite direction to the first direction, and to determine that the user has performed the second gesture when the second position (PLh) moves in the second direction relative to the reference position (PN, PRs, PLs) and then moves in the opposite direction to the second direction.
- the gesture detection device can determine with high accuracy whether or not the first gesture has been performed, compared to, for example, a case where it is determined that the user has performed the first gesture when the first position is merely moved in the first direction. Similarly, the gesture detection device can determine with high accuracy whether or not the second gesture has been performed, compared to, for example, a case where it is determined that the user has performed the second gesture when the second position is merely moved in the second direction. Thus, the gesture detection device is less likely to erroneously determine the first gesture and the second gesture.
- the device is further configured to determine that the user has performed the first gesture when the first position (PRh) moves in the first direction relative to the reference position (PN, PRs, PLs) and then stops, and to determine that the user has performed the second gesture when the second position (PLh) moves in the second direction relative to the reference position (PN, PRs, PLs) and then stops.
- the gesture detection device can determine with high accuracy whether or not the first gesture has been performed, compared to, for example, a case where it is determined that the user has performed the first gesture when the first position is merely moved in the first direction. Similarly, the gesture detection device can determine with high accuracy whether or not the second gesture has been performed, compared to, for example, a case where it is determined that the user has performed the second gesture when the second position is merely moved in the second direction. Thus, the gesture detection device is less likely to erroneously determine the first gesture and the second gesture.
- the first gesture preferably includes a third gesture for opening only the first door (32), and a fourth gesture that is different from the third gesture and is for opening the first door (32) and the second door (31).
- the second gesture preferably includes a fifth gesture for opening only the second door (31), and a sixth gesture that is different from the fifth gesture and is for opening the first door (32) and the second door (31).
- the gesture determination unit (75) is preferably further configured to determine that the user has performed the third gesture when the first position (PRh) moves in the first direction relative to the reference position (PN, PRs, PLs) and then moves in the opposite direction to the first direction, determine that the user has performed the fourth gesture when the first position (PRh) moves in the first direction relative to the reference position (PN, PRs, PLs) and then stops, determine that the user has performed the fifth gesture when the second position (PLh) moves in the second direction relative to the reference position (PN, PRs, PLs) and then moves in the opposite direction to the second direction, and determine that the user has performed the sixth gesture when the second position (PLh) moves in the second direction relative to the reference position (PN, PRs, PLs) and then stops.
- the user can select whether to open only the first door or both the first and second doors by selectively using the third and fourth gestures using the first body part.
- the user can select whether to open only the second door or both the first and second doors by selectively using the fifth and sixth gestures using the second body part.
- the gesture detection device can further improve user convenience.
- the reference body parts include the right and left shoulders of the user, and the reference positions (PN, PRs, PLs) include the position of the right shoulder (PRs) and the position of the left shoulder (PLs) of the user.
- the direction determination unit (74) is further configured to determine whether or not the user is facing the first opening (22) and the second opening (21) based on a shoulder width (Ls), which is the distance between the position of the right shoulder (PRs) and the position of the left shoulder (PLs) of the user in the image.
- the gesture detection device determines whether or not the user faces the first and second openings based on the shoulder width. Therefore, the gesture detection device can accurately determine whether or not the user faces the first and second openings.
- the first opening (22) opens on the side of the vehicle body (20), and the second opening (21) opens forward of the first opening (22) on the side of the vehicle body (20).
- the first door (32) is a rear door (32)
- the second door (31) is a front door (31)
- the first direction is the same as the opening direction of the first door (32)
- the second direction is the same as the opening direction of the second door (31).
- the first direction is the same as the opening direction of the first door
- the second direction is the same as the opening direction of the second door. This makes it easy for the user to intuitively understand the direction of movement of the first body part when performing the first gesture and the direction of movement of the second body part when performing the second gesture.
- the camera (50) and the position acquisition unit (73) are preferably installed between the first opening (22) and the second opening (21) in the vehicle body (20) in the arrangement direction of the first opening (22) and the second opening (21). It is preferable that the camera (50) is further configured to acquire the first position (PRh), the second position (PLh), and the reference position (PN, PRs, PLs) from the image captured by the camera (50).
- the right and left halves of the user's body tend to be captured evenly. This makes it easier for the gesture detection device to obtain the first and second positions when the first body part is selected from one of the right and left halves of the user's body and the second body part is selected from the other of the right and left halves of the user's body.
- the first gesture may be a first opening gesture
- the second gesture may be a second opening gesture.
- the gesture determination unit (75) is preferably further configured to determine that the user has performed at least a first closing gesture for closing the first door (32) when the first position (PRh) moves in the opposite direction to the first direction relative to the reference position (PN, PRs, PLs), and to determine that the user has performed at least a second closing gesture for closing the second door (31) when the second position (PLh) moves in the opposite direction to the second direction relative to the reference position (PN, PRs, PLs).
- the user can close at least the first door by moving the first body part in the opposite direction to the first direction.
- the user can close at least the second door by moving the second body part in the opposite direction to the second direction. In this way, the user can selectively open and close the first door and the second door by using different gestures.
- the gesture detection method of this embodiment is applied to a vehicle (10) including a vehicle body (20) having an opening (21, 22), doors (31, 32) configured to open and close the opening (21, 22), a camera (50) configured to photograph a user facing the opening (21, 22), and a door drive unit (41, 42) configured to drive the door (31, 32), and detects a gesture that triggers operation of the door (31, 32) using a specified body part of the user.
- a body part of the user that is different from the specified body part is a reference body part.
- the gesture detection method includes a position acquisition process for acquiring a predetermined position (PRh, PLh) which is the position of the predetermined body part in an image captured by the camera (50) and a reference position (PN, PRs, PLs) which is the position of the reference body part; a direction determination process for determining whether or not the user is facing the openings (21, 22) based on the reference position (PN, PRs, PLs) in the image; and a gesture determination process for determining whether or not the user has performed a gesture based on changes in the predetermined position (PRh, PLh) and the reference position (PN, PRs, PLs) in a plurality of images captured at different times when the direction determination process determines that the user is facing the openings (21, 22).
- a position acquisition process for acquiring a predetermined position (PRh, PLh) which is the position of the predetermined body part in an image captured by the camera (50) and a reference position (PN, PRs, PLs) which
- the gesture determination process includes determining that the user has performed at least a gesture for opening the doors (31, 32) when the predetermined positions (PRh, PLh) move in a predetermined direction corresponding to the opening direction of the doors (31, 32) relative to the reference positions (PN, PRs, PLs).
- the gesture detection method of this embodiment can achieve the same effects as the gesture detection device described above.
- the opening (21, 22) may be a first opening (22), the door (31, 32) may be a first door (32), the specified body part may be a first body part, the specified position (PRh, PLh) may be a first position (PRh), the specified direction may be a first direction, the specified gesture may be a first gesture, and the user's body part different from the first body part and the reference body part may be a second body part.
- the vehicle body (20) further has a second opening (21) adjacent to the first opening (22). It is preferable that the vehicle body (20) further includes a second door (31) driven by the door drive unit (41, 42) and configured to open and close the second opening (21).
- the camera (50) is further configured to capture an image of the user facing the second opening (21).
- the position acquisition step preferably includes acquiring a second position (PLh) that is the position of the second body part in an image captured by the camera (50).
- the direction determination step preferably includes determining whether or not the user is facing the second opening (21) based on the reference position (PN, PRs, PLs) in the image.
- the gesture determination step preferably includes, when it is determined that the user is facing the first opening (22) and the second opening (21), determining whether or not the user has performed a gesture based on changes in the second position (PLh) and the reference position (PN, PRs, PLs) in a plurality of images captured at different times, and determining that the user has performed at least a second gesture for opening the second door (31) when the second position (PLh) moves in a second direction corresponding to the opening direction of the second door (31) relative to the reference position (PN, PRs, PLs).
- the above configuration provides the same effects as the corresponding gesture detection device.
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
ジェスチャ検出装置(70)は、カメラ(50)が撮影した画像内におけるユーザの身体部位の位置である所定位置及び参照位置を取得するように構成される位置取得部(73)と、ユーザが車両(10)の開口部に正対しているか否かを判定するように構成される方向判定部(74)と、ユーザがジェスチャを実施したか否かを判定するように構成されるジェスチャ判定部(75)と、を備える。ジェスチャ判定部(75)は、参照位置に対し、所定位置がドアの開方向に対応する所定方向に移動した場合、ユーザが少なくともドアを開作動させるための所定ジェスチャを実施したと判定するように構成される。
Description
本開示は、ジェスチャ検出装置及びジェスチャ検出方法に関する。
特許文献1には、リアドアを駆動する駆動装置と、リアドアの近傍に位置するユーザの手までの距離を計測する距離センサと、駆動装置を制御する制御装置と、を備えるドア制御システムが記載されている。
ドア制御システムは、ユーザがリアドアに接近させた手を開方向又は閉方向に移動させる場合に、リアドアを開閉作動させる。このとき、ドア制御システムは、ユーザの手の移動速度にリアドアの移動速度を追従させる追従制御を実施する。
上記のようなドア制御システムにおいて、ユーザが早期に車両に乗車したい場合には、ユーザはドアハンドルに接近させた手を素早く移動させることで、リアドアを素早く開作動できる。ただし、ユーザは、車両に接近した後でなければリアドアを開作動できない。上記のようなドア制御システムは、ユーザの利便性を向上させる点で、改善の余地が残されていた。
本開示の一態様に係るジェスチャ検出装置は、開口部を有する車体と、前記開口部を開閉するように構成されるドアと、前記開口部に正対するユーザを撮影するように構成されるカメラと、前記ドアを駆動するように構成されるドア駆動部と、を備える車両に適用され、前記ドアを作動させるきっかけとなるジェスチャであって、前記ユーザの所定身体部位を用いたジェスチャを検出する。前記所定身体部位とは異なる前記ユーザの身体部位が参照身体部位である。前記ジェスチャ検出装置は、前記カメラが撮影した画像内における前記所定身体部位の位置である所定位置及び前記参照身体部位の位置である参照位置を取得するように構成される位置取得部と、前記画像内における前記参照位置に基づき、前記ユーザが前記開口部に正対しているか否かを判定するように構成される方向判定部と、前記方向判定部によって前記ユーザが前記開口部に正対していると判定する場合において、撮影時期の異なる複数の前記画像内における前記所定位置及び前記参照位置の変化に基づき、前記ユーザがジェスチャを実施したか否かを判定するように構成されるジェスチャ判定部と、を備える。前記ジェスチャ判定部は、前記参照位置に対し、前記所定位置が前記ドアの開方向に対応する所定方向に移動した場合、前記ユーザが少なくとも前記ドアを開作動させるための所定ジェスチャを実施したと判定するようにさらに構成される。
本開示の別の態様に係るジェスチャ検出方法は、開口部を有する車体と、前記開口部を開閉するように構成されるドアと、前記開口部に正対するユーザを撮影するように構成されるカメラと、前記ドアを駆動するように構成されるドア駆動部と、を備える車両に適用され、前記ドアを作動させるきっかけとなるジェスチャであって、前記ユーザの所定身体部位を用いたジェスチャを検出する。前記所定身体部位とは異なる前記ユーザの身体部位が参照身体部位である。前記ジェスチャ検出方法は、前記カメラが撮影した画像内における前記所定身体部位の位置である所定位置及び前記参照身体部位の位置である参照位置を取得する位置取得工程と、前記画像内における前記参照位置に基づき、前記ユーザが前記開口部に正対しているか否かを判定する方向判定工程と、前記方向判定工程によって前記ユーザが前記開口部に正対していると判定する場合において、撮影時期の異なる複数の前記画像内における前記所定位置及び前記参照位置の変化に基づき、前記ユーザがジェスチャを実施したか否かを判定するジェスチャ判定工程と、を備える。前記ジェスチャ判定工程は、前記参照位置に対し、前記所定位置が前記ドアの開方向に対応する所定方向に移動した場合、前記ユーザが少なくとも前記ドアを開作動させるための所定ジェスチャを実施したと判定することを含む。
以下、ジェスチャ検出装置及びジェスチャ検出方法を適用した車両の一実施形態について図面を参照しつつ説明する。
<本実施形態の構成>
図1に示すように、車両10は、車体20と、フロントドア31と、リアドア32と、フロントドア駆動部41と、リアドア駆動部42と、カメラ50と、ドア制御装置60と、ジェスチャ検出装置70と、を備える。以降の説明では、車両10の幅方向、車両10の前後方向及び車両10の上下方向を、それぞれ単に、幅方向、前後方向及び上下方向ともいう。また、幅方向において、車両10の中心から離れる方向を外方ともいい、車両10の中心に近付く方向を内方ともいう。
<本実施形態の構成>
図1に示すように、車両10は、車体20と、フロントドア31と、リアドア32と、フロントドア駆動部41と、リアドア駆動部42と、カメラ50と、ドア制御装置60と、ジェスチャ検出装置70と、を備える。以降の説明では、車両10の幅方向、車両10の前後方向及び車両10の上下方向を、それぞれ単に、幅方向、前後方向及び上下方向ともいう。また、幅方向において、車両10の中心から離れる方向を外方ともいい、車両10の中心に近付く方向を内方ともいう。
<車体20>
車体20は、側面に開口するフロント開口部21及びリア開口部22を有する。また、車体20は、フロント開口部21とリア開口部22とを互いから仕切るセンターピラー23を有する。フロント開口部21及びリア開口部22は、センターピラー23を挟んで、前後方向に隣接している。フロント開口部21はリア開口部22よりも前方に位置している。フロント開口部21及びリア開口部22は、ユーザが車両10に乗降する際に通過する部位である。本実施形態において、フロント開口部21は「第2開口部」に相当し、リア開口部22は「第1開口部」に相当している。
車体20は、側面に開口するフロント開口部21及びリア開口部22を有する。また、車体20は、フロント開口部21とリア開口部22とを互いから仕切るセンターピラー23を有する。フロント開口部21及びリア開口部22は、センターピラー23を挟んで、前後方向に隣接している。フロント開口部21はリア開口部22よりも前方に位置している。フロント開口部21及びリア開口部22は、ユーザが車両10に乗降する際に通過する部位である。本実施形態において、フロント開口部21は「第2開口部」に相当し、リア開口部22は「第1開口部」に相当している。
<フロントドア31及びフロントドア駆動部41>
フロントドア31は、幅方向から見て、フロント開口部21と対応する形状をなしている。フロントドア31は、車体20に対して、前後方向にスライドすることで、フロント開口部21を全閉する全閉位置及びフロント開口部21を全開する全開位置の間を変位する。フロントドア31の開方向は前方であり、フロントドア31の閉方向は後方である。つまり、フロントドア31の開方向は、フロントドア31の閉方向の逆方向である。フロントドア駆動部41は、フロントドア31を駆動する。フロントドア駆動部41は、フロントドア31を全開位置に向けて開作動させたり、フロントドア31を全閉位置に向けて閉作動させたりする。本実施形態において、フロントドア31は「第2ドア」に相当し、フロントドア駆動部41は「ドア駆動部」に相当している。
フロントドア31は、幅方向から見て、フロント開口部21と対応する形状をなしている。フロントドア31は、車体20に対して、前後方向にスライドすることで、フロント開口部21を全閉する全閉位置及びフロント開口部21を全開する全開位置の間を変位する。フロントドア31の開方向は前方であり、フロントドア31の閉方向は後方である。つまり、フロントドア31の開方向は、フロントドア31の閉方向の逆方向である。フロントドア駆動部41は、フロントドア31を駆動する。フロントドア駆動部41は、フロントドア31を全開位置に向けて開作動させたり、フロントドア31を全閉位置に向けて閉作動させたりする。本実施形態において、フロントドア31は「第2ドア」に相当し、フロントドア駆動部41は「ドア駆動部」に相当している。
<リアドア32及びリアドア駆動部42>
リアドア32は、幅方向から見て、リア開口部22と対応する形状をなしている。リアドア32は、車体20に対して、前後方向にスライドすることで、リア開口部22を全閉する全閉位置及びリア開口部22を全開する全開位置の間を変位する。リアドア32の開方向は後方であり、リアドア32の閉方向は前方である。つまり、リアドア32の開方向は、リアドア32の閉方向の逆方向である。リアドア駆動部42は、リアドア32を駆動する。リアドア駆動部42は、リアドア32を全開位置に向けて開作動させたり、リアドア32を全閉位置に向けて閉作動させたりする。本実施形態において、リアドア32は「第1ドア」に相当し、リアドア駆動部42は「ドア駆動部」に相当している。
リアドア32は、幅方向から見て、リア開口部22と対応する形状をなしている。リアドア32は、車体20に対して、前後方向にスライドすることで、リア開口部22を全閉する全閉位置及びリア開口部22を全開する全開位置の間を変位する。リアドア32の開方向は後方であり、リアドア32の閉方向は前方である。つまり、リアドア32の開方向は、リアドア32の閉方向の逆方向である。リアドア駆動部42は、リアドア32を駆動する。リアドア駆動部42は、リアドア32を全開位置に向けて開作動させたり、リアドア32を全閉位置に向けて閉作動させたりする。本実施形態において、リアドア32は「第1ドア」に相当し、リアドア駆動部42は「ドア駆動部」に相当している。
<カメラ50>
カメラ50は、幅方向における外方を向くように車体20のセンターピラー23の上方に設置されている。つまり、前後方向において、カメラ50は、フロント開口部21及びリア開口部22の間に設置されている。カメラ50は、フロントドア31及びリアドア32の開閉状況に関わらず、フロント開口部21及びリア開口部22と正対する領域を撮影可能である。カメラ50は、撮影した画像をフレーム毎にジェスチャ検出装置70に出力する。カメラ50のフレームレートは、一例として30fps程度であればよい。図2は、フロント開口部21及びリア開口部22と正対するユーザをカメラ50が撮影した画像の一例である。以降の説明では、フロント開口部21及びリア開口部22と正対すること、言い換えれば、センターピラー23と正対することを「車両10の側面と正対する」という。ユーザが車両10の左側面に正対する場合、ユーザの右半身はリア開口部22を向き、ユーザの左半身はフロント開口部21を向く。
カメラ50は、幅方向における外方を向くように車体20のセンターピラー23の上方に設置されている。つまり、前後方向において、カメラ50は、フロント開口部21及びリア開口部22の間に設置されている。カメラ50は、フロントドア31及びリアドア32の開閉状況に関わらず、フロント開口部21及びリア開口部22と正対する領域を撮影可能である。カメラ50は、撮影した画像をフレーム毎にジェスチャ検出装置70に出力する。カメラ50のフレームレートは、一例として30fps程度であればよい。図2は、フロント開口部21及びリア開口部22と正対するユーザをカメラ50が撮影した画像の一例である。以降の説明では、フロント開口部21及びリア開口部22と正対すること、言い換えれば、センターピラー23と正対することを「車両10の側面と正対する」という。ユーザが車両10の左側面に正対する場合、ユーザの右半身はリア開口部22を向き、ユーザの左半身はフロント開口部21を向く。
<ドア制御装置60>
ドア制御装置60は、例えば、CPU及びメモリを含む処理回路等から構成されている。メモリは、RAM及びROM等を含み、処理をCPUに実行させるように構成されたプログラム又は指令を格納している。メモリすなわち非一時的なコンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。ドア制御装置60は、メモリに記憶されたプログラムと入力される指令信号とに従って、フロントドア駆動部41及びリアドア駆動部42を制御する。詳しくは、ドア制御装置60は、フロントドア31を開作動させるための開作動指令信号を受信した場合、フロントドア31を開作動させる。一方、ドア制御装置60は、フロントドア31を閉作動させるための閉作動指令信号を受信した場合、フロントドア31を閉作動させる。また、ドア制御装置60は、リアドア32を開作動させるための開作動指令信号を受信した場合、リアドア32を開作動させる。一方、ドア制御装置60は、リアドア32を閉作動させるための閉作動指令信号を受信した場合、リアドア32を閉作動させる。
ドア制御装置60は、例えば、CPU及びメモリを含む処理回路等から構成されている。メモリは、RAM及びROM等を含み、処理をCPUに実行させるように構成されたプログラム又は指令を格納している。メモリすなわち非一時的なコンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。ドア制御装置60は、メモリに記憶されたプログラムと入力される指令信号とに従って、フロントドア駆動部41及びリアドア駆動部42を制御する。詳しくは、ドア制御装置60は、フロントドア31を開作動させるための開作動指令信号を受信した場合、フロントドア31を開作動させる。一方、ドア制御装置60は、フロントドア31を閉作動させるための閉作動指令信号を受信した場合、フロントドア31を閉作動させる。また、ドア制御装置60は、リアドア32を開作動させるための開作動指令信号を受信した場合、リアドア32を開作動させる。一方、ドア制御装置60は、リアドア32を閉作動させるための閉作動指令信号を受信した場合、リアドア32を閉作動させる。
<ジェスチャ検出装置70>
ジェスチャ検出装置70は、例えば、CPU及びメモリを含む処理回路等から構成されている。ジェスチャ検出装置70は、メモリに記憶されたプログラムに従って、ユーザが身体部位を用いたジェスチャを実施したか否かを判定したり、ドア制御装置60にジェスチャに応じた指令信号を出力したりする。つまり、ジェスチャは、フロントドア31及びリアドア32を作動させるきっかけとなる。
ジェスチャ検出装置70は、例えば、CPU及びメモリを含む処理回路等から構成されている。ジェスチャ検出装置70は、メモリに記憶されたプログラムに従って、ユーザが身体部位を用いたジェスチャを実施したか否かを判定したり、ドア制御装置60にジェスチャに応じた指令信号を出力したりする。つまり、ジェスチャは、フロントドア31及びリアドア32を作動させるきっかけとなる。
まず、ジェスチャ検出装置70の検出対象であるジェスチャについて説明する。
図2に示すように、ジェスチャ検出装置70によって検出されるジェスチャは、ユーザが車両10の側面に正対した状態で、腕部を動かす動作である。ユーザが車両10の側面に正対する状態では、ユーザの顔及び上体が車両10の側面を向いている。ジェスチャは、ユーザが右手をリアドア32の開閉方向に動かしたり、ユーザが左手をフロントドア31の開閉方向に動かしたりする動作を含む。
図2に示すように、ジェスチャ検出装置70によって検出されるジェスチャは、ユーザが車両10の側面に正対した状態で、腕部を動かす動作である。ユーザが車両10の側面に正対する状態では、ユーザの顔及び上体が車両10の側面を向いている。ジェスチャは、ユーザが右手をリアドア32の開閉方向に動かしたり、ユーザが左手をフロントドア31の開閉方向に動かしたりする動作を含む。
図3に示すように、右手を用いるジェスチャは、ユーザが右手を下げた状態から、右手を体の外方に移動させる動作を含む右外ジェスチャと、ユーザが右手を下げた状態から、右手を体の内方に移動させる動作を含む右内ジェスチャと、を含む。図3において、右外ジェスチャは、ユーザが右手を実線で示す位置から一点鎖線で示す位置まで移動させる動作を含んでいる。図3において、右内ジェスチャは、ユーザが右手を実線で示す位置から二点鎖線で示す位置まで移動させる動作を含んでいる。
右外ジェスチャは、右手を体の外方に移動させた後に、右手をもとの位置まで移動させる右外反転ジェスチャと、右手を体の外方に移動させた後に右手を停止させる右外保持ジェスチャと、をさらに含む。ユーザが右外反転ジェスチャを実施する場合には、ユーザの右手は、実線で示す位置から一点鎖線で示す位置まで移動した後に実線で示す位置まで移動する。ユーザが右外保持ジェスチャを実施する場合には、ユーザの右手は、実線で示す位置から一点鎖線で示す位置まで移動した後に一点鎖線で示す位置に留まる。本実施形態において、右外ジェスチャは「第1ジェスチャ(第1開ジェスチャ)」に相当し、右外反転ジェスチャは「第3ジェスチャ」に相当し、右外保持ジェスチャは「第4ジェスチャ」に相当している。
右内ジェスチャは、右手を体の内方に移動させた後に、右手をもとの位置まで移動させる右内反転ジェスチャと、右手を体の内方に移動させた後に右手を停止させる右内保持ジェスチャと、をさらに含む。ユーザが右内反転ジェスチャを実施する場合には、ユーザの右手は、実線で示す位置から二点鎖線で示す位置まで移動した後に実線で示す位置まで移動する。ユーザが右内保持ジェスチャを実施する場合には、ユーザの右手は、実線で示す位置から二点鎖線で示す位置まで移動した後に二点鎖線で示す位置に留まる。本実施形態において、右内ジェスチャは「第1閉ジェスチャ」に相当している。
図4に示すように、左手を用いるジェスチャは、ユーザが左手を下げた状態から、左手を体の外方に移動させる動作を含む左外ジェスチャと、ユーザが左手を下げた状態から、左手を体の内方に移動させる動作を含む左内ジェスチャと、を含む。図4において、左外ジェスチャは、ユーザが左手を実線で示す位置から一点鎖線で示す位置まで移動させる動作を含んでいる。図4において、左内ジェスチャは、ユーザが左手を実線で示す位置から二点鎖線で示す位置まで移動させる動作を含んでいる。
左外ジェスチャは、左手を体の外方に移動させた後に、左手をもとの位置まで移動させる左外反転ジェスチャと、左手を体の外方に移動させた後に左手を停止させる左外保持ジェスチャと、をさらに含む。ユーザが左外反転ジェスチャを実施する場合には、ユーザの左手は、実線で示す位置から一点鎖線で示す位置まで移動した後に実線で示す位置まで移動する。ユーザが左外保持ジェスチャを実施する場合には、ユーザの左手は、実線で示す位置から一点鎖線で示す位置まで移動した後に一点鎖線で示す位置に留まる。本実施形態において、左外ジェスチャは「第2ジェスチャ(第2開ジェスチャ)」に相当し、左外反転ジェスチャは「第5ジェスチャ」に相当し、左外保持ジェスチャは「第6ジェスチャ」に相当している。
左内ジェスチャは、左手を体の内方に移動させた後に、左手をもとの位置まで移動させる左内反転ジェスチャと、左手を体の内方に移動させた後に左手を停止させる左内保持ジェスチャと、をさらに含む。ユーザが左内反転ジェスチャを実施する場合には、ユーザの左手は、実線で示す位置から二点鎖線で示す位置まで移動した後に実線で示す位置まで移動する。ユーザが左内保持ジェスチャを実施する場合には、ユーザの左手は、実線で示す位置から二点鎖線で示す位置まで移動した後に二点鎖線で示す位置に留まる。本実施形態において、左内ジェスチャは「第2閉ジェスチャ」に相当している。
図1に示すように、ユーザが車両10の左側面に正対する場合には、ユーザの右手がリア開口部22を向くとともに、ユーザの左手がフロント開口部21を向く。この場合、ユーザの右手がリアドア32に対応するとともに、ユーザの左手がフロントドア31に対応している。よって、車両10の左側において、ユーザの右手を用いたジェスチャは、少なくともリアドア32を開閉作動させるためのジェスチャとなり、ユーザの左手を用いたジェスチャは、少なくともフロントドア31を開閉作動させるためのジェスチャとなる。具体的には、右外反転ジェスチャは、右手に対応するリアドア32のみを開作動させるためのジェスチャとなり、右外保持ジェスチャは、フロントドア31及びリアドア32を開作動させるためのジェスチャとなる。左外反転ジェスチャは、左手に対応するフロントドア31のみを開作動させるためのジェスチャとなり、左外保持ジェスチャは、フロントドア31及びリアドア32を開作動させるためのジェスチャとなる。一方、右内反転ジェスチャは、右手に対応するリアドア32のみを閉作動させるためのジェスチャとなり、右内保持ジェスチャは、フロントドア31及びリアドア32を閉作動させるためのジェスチャとなる。左内反転ジェスチャは、左手に対応するフロントドア31のみを閉作動させるためのジェスチャとなり、左内保持ジェスチャは、フロントドア31及びリアドア32を閉作動させるためのジェスチャとなる。
その一方で、ユーザが車両10の右側面に正対する場合には、ユーザの右手がフロント開口部21を向くとともに、ユーザの左手がリア開口部22を向く。この場合、ユーザの右手がフロントドア31に対応するとともに、ユーザの左手がリアドア32に対応している。よって、車両10の右側において、ユーザの右手を用いたジェスチャは、少なくともフロントドア31を開閉作動させるためのジェスチャとなり、ユーザの左手を用いたジェスチャは、少なくともリアドア32を開閉作動させるためのジェスチャとなる。
以降の説明では、説明理解の容易のために、ユーザは、車両10の左側面に正対した状態でジェスチャを実施するものとする。つまり、ジェスチャ検出装置70は、車両10の左側に位置するフロントドア31及びリアドア32を開閉作動させるためのジェスチャを検出する。
続いて、ジェスチャ検出装置70を機能ごとに説明する。
図1に示すように、ジェスチャ検出装置70は、記憶部71と、画像取得部72と、位置取得部73と、方向判定部74と、ジェスチャ判定部75と、出力部76と、を有する。
図1に示すように、ジェスチャ検出装置70は、記憶部71と、画像取得部72と、位置取得部73と、方向判定部74と、ジェスチャ判定部75と、出力部76と、を有する。
<記憶部71>
記憶部71は、事前に撮影された画像とユーザの身体部位の位置とを互いに対応付けた教師データを用いて機械学習した学習済みモデルを記憶している。つまり、学習済みモデルは、カメラ50が撮影した画像を入力とし、当該画像内におけるユーザの身体部位の位置を出力するモデルである。詳しくは、図2に示すようなユーザの首の位置PN、右肩の位置PRs、左肩の位置PLs、右手の位置PRh、左手の位置PLh、右足先の位置PRt及び左足先の位置PLtを出力するモデルである。本実施形態において、右手は「第1身体部位」に相当し、左手は「第2身体部位」に相当し、首、右肩及び左肩は「参照身体部位」に相当している。学習済みモデルは、例えば、車両10の設計時に作成され、ジェスチャ検出装置70の製造時に記憶部71に書き込まれる。
記憶部71は、事前に撮影された画像とユーザの身体部位の位置とを互いに対応付けた教師データを用いて機械学習した学習済みモデルを記憶している。つまり、学習済みモデルは、カメラ50が撮影した画像を入力とし、当該画像内におけるユーザの身体部位の位置を出力するモデルである。詳しくは、図2に示すようなユーザの首の位置PN、右肩の位置PRs、左肩の位置PLs、右手の位置PRh、左手の位置PLh、右足先の位置PRt及び左足先の位置PLtを出力するモデルである。本実施形態において、右手は「第1身体部位」に相当し、左手は「第2身体部位」に相当し、首、右肩及び左肩は「参照身体部位」に相当している。学習済みモデルは、例えば、車両10の設計時に作成され、ジェスチャ検出装置70の製造時に記憶部71に書き込まれる。
以下、学習済みモデルの生成方法について説明する。
学習済みモデルの生成方法は、教師データを準備する準備工程と、教師データに基づき機械学習を行う学習工程と、を有する。準備工程は、様々な条件下でユーザを撮影エリアに立たせた状態で撮影した画像を取得する取得工程と、取得工程で取得される複数の画像内のユーザの身体部位の位置を指定する指定工程と、を含む。
学習済みモデルの生成方法は、教師データを準備する準備工程と、教師データに基づき機械学習を行う学習工程と、を有する。準備工程は、様々な条件下でユーザを撮影エリアに立たせた状態で撮影した画像を取得する取得工程と、取得工程で取得される複数の画像内のユーザの身体部位の位置を指定する指定工程と、を含む。
取得工程は、例えば、実際の車両10を用いて実施される。取得工程は、ユーザに関する条件及び車両10の周囲の環境に関する条件を変更することで撮影される多くの画像を取得することが好ましい。これにより、様々な状況に適応可能な学習済みモデル、言い換えれば、汎用性の高い学習済みモデルを得ることが可能である。指定工程は、取得した画像に対して、ユーザの身体部位の位置を指定する。位置の指定には、例えば、画像におけるピクセルを用いた座標を使用すればよい。本実施形態では、画像中の横方向に延びる軸をX軸とし、画像中の縦方向に延びる軸をY軸とする。
学習工程は、複数の教師データを学習データとした機械学習によりモデルを生成する。機械学習の手法は、色々な手法を選択できるが、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)である。学習済みモデルは、撮影された画像が入力されることで、画像内に写るユーザの身体部位の位置を出力する。一方、学習済みモデルは、ユーザの身体部位が写っていない画像が入力される場合には、ユーザの身体部位の位置を出力できない。また、学習済みモデルの精度が十分でない場合には、学習済みモデルは誤った身体部位の位置を出力することもあり得る。
<画像取得部72>
画像取得部72は、カメラ50が撮影した画像をカメラ50の撮影周期ごとに取得する。例えば、カメラ50のフレームレートが30fpsであれば、画像取得部72は、1/30秒ごとにカメラ50が撮影した画像を取得する。
画像取得部72は、カメラ50が撮影した画像をカメラ50の撮影周期ごとに取得する。例えば、カメラ50のフレームレートが30fpsであれば、画像取得部72は、1/30秒ごとにカメラ50が撮影した画像を取得する。
<位置取得部73>
位置取得部73は、カメラ50が撮影した画像を記憶部71に記憶された学習済みモデルに入力することにより、画像内に写るユーザの身体部位の位置を取得する。すなわち、位置取得部73は、ユーザの首の位置PN、右肩の位置PRs、左肩の位置PLs、右手の位置PRh、左手の位置PLh、右足先の位置PRt及び左足先の位置PLtを取得する。本実施形態において、右手の位置PRhは「第1位置」に相当し、左手の位置PLhは「第2位置」に相当し、ユーザの首の位置PN、右肩の位置PRs及び左肩の位置PLsは「参照位置」に相当している。
位置取得部73は、カメラ50が撮影した画像を記憶部71に記憶された学習済みモデルに入力することにより、画像内に写るユーザの身体部位の位置を取得する。すなわち、位置取得部73は、ユーザの首の位置PN、右肩の位置PRs、左肩の位置PLs、右手の位置PRh、左手の位置PLh、右足先の位置PRt及び左足先の位置PLtを取得する。本実施形態において、右手の位置PRhは「第1位置」に相当し、左手の位置PLhは「第2位置」に相当し、ユーザの首の位置PN、右肩の位置PRs及び左肩の位置PLsは「参照位置」に相当している。
<方向判定部74>
方向判定部74は、右肩の位置PRs及び左肩の位置PLsに基づいて、画像に写るユーザが車両10の側面に正対しているか否かを判定する。詳しくは、図2に示すように、方向判定部74は、X方向における右肩の位置PRs及び左肩の位置PLsの間の距離である肩幅Lsに基づいて、ユーザが車両10の側面に正対しているか否かを判定する。
方向判定部74は、右肩の位置PRs及び左肩の位置PLsに基づいて、画像に写るユーザが車両10の側面に正対しているか否かを判定する。詳しくは、図2に示すように、方向判定部74は、X方向における右肩の位置PRs及び左肩の位置PLsの間の距離である肩幅Lsに基づいて、ユーザが車両10の側面に正対しているか否かを判定する。
ユーザが車両10の側方において、車両10の側面を向く場合には、カメラ50はユーザを正面から撮影する。このため、方向判定部74が算出する肩幅Lsは比較的大きな値となる。一方、ユーザが車両10の側方において、フロント開口部21よりもやや前方又はリア開口部22よりもやや後方を向く場合には、カメラ50はユーザを右前方又は左前方から撮影する。このため、方向判定部74が算出する肩幅Lsは比較的小さな値となる。
そこで、方向判定部74は、算出した肩幅Lsが事前に設定される肩幅判定値Lsth以上の場合、ユーザが車両10の側面に正対していると判定する。一方、方向判定部74は、算出した肩幅Lsが肩幅判定値Lsth未満の場合、ユーザが車両10の側面に正対していないと判定する。肩幅判定値Lsthは、実験及びシミュレーションを介して事前に設定される値である。
なお、カメラ50からユーザまでの距離が短い場合には、上記肩幅Lsは大きく算出されやすく、カメラ50からユーザまでの距離が遠い場合には、上記肩幅Lsは小さく算出されやすい。このため、肩幅判定値Lsthは、カメラ50からユーザまでの距離に応じた可変値であってもよい。また、ユーザの体格の大小に応じても、上記肩幅Lsは変化する。このため、方向判定部74が複数の身体部位の位置に基づいてユーザの体格の大小を判別できる場合には、肩幅判定値Lsthは、ユーザの体格に応じた可変値であってもよい。
ユーザが車両10の側方において、車両10の前方又は車両10の後方を向く場合には、カメラ50はユーザを横から撮影する。この場合、位置取得部73は、ユーザの右肩の位置PRs及び左肩の位置PLsの双方の位置を取得することができない。つまり、方向判定部74は、肩幅Lsを算出できない。したがって、位置取得部73が右肩の位置PRs及び左肩の位置PLsの少なくとも一方を取得できない場合、言い換えれば、方向判定部74が肩幅Lsを算出できない場合、方向判定部74は、ユーザが車両10の側面に正対していないと判定する。
<ジェスチャ判定部75>
ジェスチャ判定部75は、ユーザが車両10に接近しているか否かを判定する接近判定処理と、ユーザがジェスチャを実施したか否かを判定するジェスチャ判定処理と、を実施する。
ジェスチャ判定部75は、ユーザが車両10に接近しているか否かを判定する接近判定処理と、ユーザがジェスチャを実施したか否かを判定するジェスチャ判定処理と、を実施する。
ジェスチャ判定部75は、接近判定処理において、位置取得部73が取得したユーザの右足先の位置PRt及び左足先の位置PLtが図2に示すような判定エリアAx内に存在しているか否かを判定する。判定エリアAxは、画像内に設定されるエリアである。図2において、判定エリアAxは、画像内における一点鎖線で示す線分よりも下方のエリアである。判定エリアAxは、矩形のエリアであってもよいし、半円状のエリアであってもよい。判定エリアAxのX方向及びY方向における長さは適宜に変更可能である。そして、ユーザの右足先の位置PRt及び左足先の位置PLtの少なくとも一方が判定エリアAx内に存在している場合、ジェスチャ判定部75は、ジェスチャ判定処理を開始する。なお、ジェスチャ判定部75は、車両10と紐付けられた携帯機を所持しているユーザが車両10に接近する場合に限り、接近判定処理を開始してもよい。これによれば、車両10のユーザではない人物のジェスチャに対して、ジェスチャ判定処理が実施されることが抑制される。
ジェスチャ判定部75は、ジェスチャ判定処理において、撮影時期の異なる複数の画像であって続けて撮影された複数の画像内における身体部位の位置の変化に基づき、ユーザがジェスチャを実施したか否かを判定する。ジェスチャ判定処理は、右外ジェスチャ判定処理と、右内ジェスチャ判定処理と、左外ジェスチャ判定処理と、左内ジェスチャ判定処理と、を含む。右外ジェスチャ判定処理は、ユーザが右外反転ジェスチャ又は右外保持ジェスチャを実施したか否かを判定し、右内ジェスチャ判定処理は、ユーザが右内反転ジェスチャ又は右内保持ジェスチャを実施したか否かを判定する。左外ジェスチャ判定処理は、ユーザが左外反転ジェスチャ又は左外保持ジェスチャを実施したか否かを判定し、左内ジェスチャ判定処理は、ユーザが左内反転ジェスチャ又は左内保持ジェスチャを実施したか否かを判定する。
右外ジェスチャ判定処理及び右内ジェスチャ判定処理において、ジェスチャ判定部75は、位置取得部73が取得した首の位置PN及び右肩の位置PRsに基づき、X方向における首の位置PNから右肩の位置PRsまでの基準距離LRを演算する。そして、図3に示すように、ジェスチャ判定部75は、首の位置PN及び右肩の位置PRsと基準距離LRとに基づき、画像内に右基準エリアAR1、右外エリアAR2及び右内エリアAR3を設定する。
右基準エリアAR1は、右肩の位置PRsを含み、右肩の位置PRsから左右に広がるエリアである。右基準エリアAR1の幅は、基準距離LRよりも短くなっている。一例として、右基準エリアAR1は右肩の位置PRsを中心としたエリアであればよく、右基準エリアAR1の幅は基準距離LRの40%程度であればよい。右外エリアAR2は、右基準エリアAR1よりも右方において、左右に広がるエリアである。右外エリアAR2の幅は、基準距離LRよりも長くなっている。一例として、右外エリアAR2の幅は基準距離LRの140%程度であればよい。右内エリアAR3は、首の位置PNを含み、首の位置PNから左右に広がるエリアである。右内エリアAR3の幅は、基準距離LRと同等となっている。一例として、右内エリアAR3は首の位置PNを中心としたエリアであればよく、右内エリアAR3の幅は基準距離LRの100%程度であればよい。右基準エリアAR1及び右外エリアAR2の間と右基準エリアAR1及び右内エリアAR3の間とには、何れのエリアにも属さないスペースが設けられていることが好ましい。
なお、ユーザが接近しながらジェスチャを実施する場合には、時間経過とともにカメラ50から見たユーザの基準距離LRが変化する。つまり、撮影時期に対して、画像内における首の位置PN及び右肩の位置PRsは変化する。このため、上記基準距離LRは、新たな画像が撮影される度に演算され、上記エリアは、新たな画像が撮影される度に設定される。
上記エリアの設定が完了すると、ジェスチャ判定部75は、上記エリアにおけるユーザの右手の位置PRhの移動態様に基づき、ユーザが右手を用いたジェスチャを実施したか否かを判定する。以下、詳しく説明する。
ジェスチャ判定部75は、右外ジェスチャ判定処理において、時間経過に対して、ユーザの右手の位置PRhが右基準エリアAR1から右外エリアAR2に移動した後に、右基準エリアAR1に復帰した場合、ユーザが右外反転ジェスチャを実施したと判定する。言い換えれば、ジェスチャ判定部75は、ユーザの右手の位置PRhがリアドア32の開方向に移動した後にリアドア32の閉方向に移動した場合、ユーザが右外反転ジェスチャを実施したと判定する。また、ジェスチャ判定部75は、時間経過に対して、ユーザの右手の位置PRhが右基準エリアAR1から右外エリアAR2に移動した後に、右外エリアAR2に留まった場合、ユーザが右外保持ジェスチャを実施したと判定する。言い換えれば、ジェスチャ判定部75は、ユーザの右手の位置PRhがリアドア32の開方向に移動した後に停止する場合、ユーザが右外保持ジェスチャを実施したと判定する。こうした点で、本実施形態において、リアドア32の開方向は、リアドア32の開方向に対応する「第1方向」に相当している。
ジェスチャ判定部75は、右内ジェスチャ判定処理において、時間経過に対して、ユーザの右手の位置PRhが右基準エリアAR1から右内エリアAR3に移動した後に、右基準エリアAR1に復帰した場合、ユーザが右内反転ジェスチャを実施したと判定する。言い換えれば、ジェスチャ判定部75は、ユーザの右手の位置PRhがリアドア32の閉方向に移動した後にリアドア32の開方向に移動した場合、ユーザが右内反転ジェスチャを実施したと判定する。また、ジェスチャ判定部75は、時間経過に対して、ユーザの右手の位置PRhが右基準エリアAR1から右内エリアAR3に移動した後に、右内エリアAR3に留まった場合、ユーザが右内保持ジェスチャを実施したと判定する。言い換えれば、ジェスチャ判定部75は、ユーザの右手の位置PRhがリアドア32の閉方向に移動した後に停止する場合、ユーザが右内保持ジェスチャを実施したと判定する。
上述したように、本実施形態では、首の位置PN及び右肩の位置PRsに基づいて設定される右基準エリアAR1、右外エリアAR2及び右内エリアAR3が設定される。このため、右手の位置PRhが右隣のエリアに移動することは、右手の位置PRhが首の位置PN及び右肩の位置PRsに対してリアドア32の開方向に移動することと同義である。また、右手の位置PRhが左隣のエリアに移動することは、右手の位置PRhが首の位置PN及び右肩の位置PRsに対してリアドア32の閉方向に移動することと同義である。
左外ジェスチャ判定処理及び左内ジェスチャ判定処理において、ジェスチャ判定部75は、位置取得部73が取得した首の位置PN及び左肩の位置PLsに基づき、X方向における首の位置PNから左肩の位置PLsまでの基準距離LLを演算する。そして、図4に示すように、ジェスチャ判定部75は、首の位置PN及び左肩の位置PLsと基準距離LLとに基づき、画像内に左基準エリアAL1、左外エリアAL2及び左内エリアAL3を設定する。
左基準エリアAL1は、左肩の位置PLsを含み、左肩の位置PLsから左右に広がるエリアである。左基準エリアAL1の幅は、基準距離LLよりも短くなっている。一例として、左基準エリアAL1は左肩の位置PLsを中心としたエリアであればよく、左基準エリアAL1の幅は基準距離LLの40%程度であればよい。左外エリアAL2は、左基準エリアAL1よりも左方において、左右に広がるエリアである。左外エリアAL2の幅は、基準距離LLよりも長くなっている。一例として、左外エリアAL2の幅は基準距離LLの140%程度であればよい。左内エリアAL3は、首の位置PNを含み、首の位置PNから左右に広がるエリアである。左内エリアAL3の幅は、基準距離LLと同等となっている。一例として、左内エリアAL3は首の位置PNを中心としたエリアであればよく、左内エリアAL3の幅は基準距離LLの100%程度であればよい。画像内における基準距離LL及び基準距離LRが等しい場合、左内エリアAL3は右内エリアAR3と重なり合う。左基準エリアAL1及び左外エリアAL2の間と左基準エリアAL1及び左内エリアAL3の間とには、何れのエリアにも属さないスペースが設けられていることが好ましい。
なお、ユーザが接近しながらジェスチャを実施する場合には、時間経過とともにカメラ50から見たユーザの基準距離LLが変化する。つまり、撮影時期に対して、画像内における首の位置PN及び左肩の位置PLsは変化する。このため、上記基準距離LLは、新たな画像が撮影される度に演算され、上記エリアは、新たな画像が撮影される度に設定される。
上記エリアの設定が完了すると、ジェスチャ判定部75は、上記エリアにおけるユーザの左手の位置PLhの移動態様に基づき、ユーザが左手を用いたジェスチャを実施したか否かを判定する。以下、詳しく説明する。
ジェスチャ判定部75は、左外ジェスチャ判定処理において、時間経過に対して、ユーザの左手の位置PLhが左基準エリアAL1から左外エリアAL2に移動した後に、左基準エリアAL1に復帰した場合、ユーザが左外反転ジェスチャを実施したと判定する。言い換えれば、ジェスチャ判定部75は、ユーザの左手の位置PLhがフロントドア31の開方向に移動した後にフロントドア31の閉方向に移動した場合、ユーザが左外反転ジェスチャを実施したと判定する。また、ジェスチャ判定部75は、時間経過に対して、ユーザの左手の位置PLhが左基準エリアAL1から左外エリアAL2に移動した後に、左外エリアAL2に留まった場合、ユーザが左外保持ジェスチャを実施したと判定する。言い換えれば、ジェスチャ判定部75は、ユーザの左手の位置PLhがフロントドア31の開方向に移動した後に停止する場合、ユーザが左外保持ジェスチャを実施したと判定する。こうした点で、本実施形態において、フロントドア31の開方向は、フロントドア31の開方向に対応する「第2方向」に相当している。
ジェスチャ判定部75は、左内ジェスチャ判定処理において、時間経過に対して、ユーザの左手の位置PLhが左基準エリアAL1から左内エリアAL3に移動した後に、左基準エリアAL1に復帰した場合、ユーザが左内反転ジェスチャを実施したと判定する。言い換えれば、ジェスチャ判定部75は、ユーザの左手の位置PLhがフロントドア31の閉方向に移動した後にフロントドア31の開方向に移動した場合、ユーザが左内反転ジェスチャを実施したと判定する。また、ジェスチャ判定部75は、時間経過に対して、ユーザの左手の位置PLhが左基準エリアAL1から左内エリアAL3に移動した後に、左内エリアAL3に留まった場合、ユーザが左内保持ジェスチャを実施したと判定する。言い換えれば、ジェスチャ判定部75は、ユーザの左手の位置PLhがフロントドア31の閉方向に移動した後に停止する場合、ユーザが左内保持ジェスチャを実施したと判定する。
上述したように、本実施形態では、首の位置PN及び左肩の位置PLsに基づいて設定される左基準エリアAL1、左外エリアAL2及び左内エリアAL3が設定される。このため、左手の位置PLhが左隣のエリアに移動することは、左手の位置PLhが首の位置PN及び左肩の位置PLsに対してフロントドア31の開方向に移動することと同義である。また、左手の位置PLhが右隣のエリアに移動することは、左手の位置PLhが首の位置PN及び左肩の位置PLsに対してフロントドア31の閉方向に移動することと同義である。
<出力部76>
出力部76は、ユーザが右外反転ジェスチャを実施したと判定された場合、右手に対応するリアドア32を開作動させる開作動指令信号を出力する。また、出力部76は、ユーザが右外保持ジェスチャを実施したと判定された場合、フロントドア31及びリアドア32を開作動させる開作動指令信号を出力する。一方、出力部76は、ユーザが右内反転ジェスチャを実施したと判定された場合、右手に対応するリアドア32を閉作動させる閉作動指令信号を出力する。また、出力部76は、ユーザが右内保持ジェスチャを実施したと判定された場合、フロントドア31及びリアドア32を閉作動させる閉作動指令信号を出力する。
出力部76は、ユーザが右外反転ジェスチャを実施したと判定された場合、右手に対応するリアドア32を開作動させる開作動指令信号を出力する。また、出力部76は、ユーザが右外保持ジェスチャを実施したと判定された場合、フロントドア31及びリアドア32を開作動させる開作動指令信号を出力する。一方、出力部76は、ユーザが右内反転ジェスチャを実施したと判定された場合、右手に対応するリアドア32を閉作動させる閉作動指令信号を出力する。また、出力部76は、ユーザが右内保持ジェスチャを実施したと判定された場合、フロントドア31及びリアドア32を閉作動させる閉作動指令信号を出力する。
出力部76は、ユーザが左外反転ジェスチャを実施したと判定された場合、左手に対応するフロントドア31を開作動させる開作動指令信号を出力する。また、出力部76は、ユーザが左外保持ジェスチャを実施したと判定された場合、フロントドア31及びリアドア32を開作動させる開作動指令信号を出力する。一方、出力部76は、ユーザが左内反転ジェスチャを実施したと判定された場合、左手に対応するフロントドア31を閉作動させる閉作動指令信号を出力する。また、出力部76は、ユーザが左内保持ジェスチャを実施したと判定された場合、フロントドア31及びリアドア32を閉作動させる閉作動指令信号を出力する。
つまり、ジェスチャ判定部75によって右外保持ジェスチャ及び左外保持ジェスチャが実施されたと判定される場合には、出力部76は同じ信号を出力する。また、ジェスチャ判定部75によって右内保持ジェスチャ及び左内保持ジェスチャが実施されたと判定される場合には、出力部76は同じ信号を出力する。
<ジェスチャ検出装置70が実施する処理>
以下、図5に示すフローチャートを参照して、右外反転ジェスチャ又は右外保持ジェスチャが実施されたか否かを判定する右外ジェスチャ判定処理の流れについて説明する。右外ジェスチャ判定処理は、カメラ50の撮影エリアにユーザが存在している場合に所定の制御サイクル毎に実施される処理である。図5に示すフローチャートにおいて、身体部位の位置を用いた判定、又は右基準エリアAR1及び右外エリアAR2を用いた判定が実施されるステップでは、新たに取得される画像に対して、身体部位の位置が再取得されたり、上記エリアが再設定されたりする。
以下、図5に示すフローチャートを参照して、右外反転ジェスチャ又は右外保持ジェスチャが実施されたか否かを判定する右外ジェスチャ判定処理の流れについて説明する。右外ジェスチャ判定処理は、カメラ50の撮影エリアにユーザが存在している場合に所定の制御サイクル毎に実施される処理である。図5に示すフローチャートにおいて、身体部位の位置を用いた判定、又は右基準エリアAR1及び右外エリアAR2を用いた判定が実施されるステップでは、新たに取得される画像に対して、身体部位の位置が再取得されたり、上記エリアが再設定されたりする。
また、右外ジェスチャ判定処理は、左外反転ジェスチャ又は左外保持ジェスチャが実施されたか否かを判定する左外ジェスチャ判定処理と、ジェスチャに用いる手が異なる点と開作動させる対象となるドアが異なる点とを除き、略同様である。このため、左外ジェスチャ判定処理の説明を省略する。
図5に示すように、ジェスチャ検出装置70は、新たに撮影された画像内における右足先の位置PRt及び左足先の位置PLtが判定エリアAx内に存在しているか否かを判定する(S11)。右足先の位置PRtも左足先の位置PLtもが判定エリアAx内に存在していない場合(S11:NO)、ジェスチャ検出装置70は、本処理を一旦終了する。一方、右足先の位置PRt及び左足先の位置PLtの少なくとも一方の位置が判定エリアAx内に存在している場合(S11:YES)、ジェスチャ検出装置70は、リアドア32が全開位置に位置しているか否かを判定する(S12)。リアドア32が全開位置に位置している場合(S12:YES)、言い換えれば、リアドア32を開作動させる必要がない場合、ジェスチャ検出装置70は、本処理を一旦終了する。
一方、リアドア32が全開位置に位置していない場合(S12:NO)、ジェスチャ検出装置70は、右肩の位置PRs及び左肩の位置PLsの間隔である肩幅Lsに基づいて、ユーザが車両10の側面に正対しているか否かを判定する(S13)。ユーザが車両10の側面に正対していない場合(S13:NO)、ジェスチャ検出装置70は、本処理を一旦終了する。一方、ユーザが車両10の側面に正対している場合(S13:YES)、ジェスチャ検出装置70は、右手の位置PRhが右基準エリアAR1に存在しているか否かを判定する(S14)。
右手の位置PRhが右基準エリアAR1に存在していない場合(S14)、ジェスチャ検出装置70は、本処理を一旦終了する。一方、右手の位置PRhが右基準エリアAR1に存在している場合(S14:YES)、ジェスチャ検出装置70は、右手の位置PRhが第1判定時間T1内に右外エリアAR2に移動したか否かを判定する(S15)。ここで、第1判定時間T1内とは、ステップS14が肯定判定されるタイミングからの経過時間が第1判定時間T1内であることを意味している。また、ステップS15では、新たに撮影される画像に対して、右手の位置PRhの移動判定が繰り返し実施される。
右手の位置PRhが第1判定時間T1内に右外エリアAR2に移動しなかった場合(S15:NO)、ジェスチャ検出装置70は、本処理を一旦終了する。一方、右手の位置PRhが第1判定時間T1内に右外エリアAR2に移動した場合(S15:YES)、ジェスチャ検出装置70は、右手の位置PRhが第2判定時間T2内に右基準エリアAR1に移動したか否かを判定する(S16)。ここで、第2判定時間T2内とは、右手の位置PRhが右外エリアAR2に移動したタイミングからの経過時間が第2判定時間T2内であることを意味している。また、ステップS16では、ステップS15と同様に、新たに撮影される画像に対して、右手の位置PRhの移動判定が繰り返し実施される。
右手の位置PRhが第2判定時間T2内に右基準エリアAR1に移動した場合(S16:YES)、すなわち、ユーザが右外反転ジェスチャを実施した場合、ジェスチャ検出装置70は、リアドア32の開作動指令信号をドア制御装置60に出力する(S17)。その後、ジェスチャ検出装置70は、本処理を終了する。一方、右手の位置PRhが第2判定時間T2内に右基準エリアAR1に移動しない場合(S16:NO)、ジェスチャ検出装置70は、右手の位置PRhが右外エリアAR2内に第3判定時間T3にわたって存在しているか否かを判定する(S18)。ここで、第3判定時間T3とは、右手の位置PRhが右外エリアAR2に移動したタイミングからの経過時間が第3判定時間T3であることを意味している。このため、第3判定時間T3は、第2判定時間T2よりも長い時間である。また、ステップS18では、ステップS15と同様に、新たに撮影される画像に対して、右手の位置PRhの移動判定が繰り返し実施される。
右手の位置PRhが右外エリアAR2内に第3判定時間T3にわたって存在しなかった場合(S18:NO)、つまり、右手の位置PRhが第3判定時間T3内に右外エリアAR2外に移動した場合、ジェスチャ検出装置70は本処理を一旦終了する。一方、右手の位置PRhが右外エリアAR2内に第3判定時間T3にわたって留まった場合(S18:YES)、ジェスチャ検出装置70は、フロントドア31及びリアドア32の開作動指令信号を出力する(S19)。ステップS18が肯定判定される場合とは、ユーザが右外保持ジェスチャを実施したと判定される場合である。その後、ジェスチャ検出装置70は、本処理を終了する。
図5に示すフローチャートにおいて、ステップS11,S14~S16,S18は「位置取得工程」を含み、ステップS13は「方向判定工程」に相当し、ステップS14~S16,S18は「ジェスチャ判定工程」に相当している。
以下、図6に示すフローチャートを参照して、右内反転ジェスチャ又は右内保持ジェスチャが実施されたか否かを判定する右内ジェスチャ判定処理の流れについて説明する。右内ジェスチャ判定処理は、カメラ50の撮影エリアにユーザが存在している場合に所定の制御サイクル毎に実施される処理である。図6に示すフローチャートにおいて、身体部位の位置を用いた判定、又は右基準エリアAR1及び右内エリアAR3を用いた判定が実施されるステップでは、新たに取得される画像に対して、身体部位の位置が再取得されたり、上記エリアが再設定されたりする。
また、右内ジェスチャ判定処理は、左内反転ジェスチャ又は左内保持ジェスチャが実施されたか否かを判定する左内ジェスチャ判定処理と、ジェスチャに用いる手が異なる点と閉作動させる対象となるドアが異なる点とを除き、略同様である。このため、左内ジェスチャ判定処理の説明を省略する。
図6に示すように、ジェスチャ検出装置70は、新たに撮影された画像内における右足先の位置PRt及び左足先の位置PLtが判定エリアAx内に存在しているか否かを判定する(S21)。右足先の位置PRtも左足先の位置PLtも判定エリアAx内に存在していない場合(S21:NO)、ジェスチャ検出装置70は、本処理を一旦終了する。一方、右足先の位置PRt及び左足先の位置PLtの少なくとも一方の位置が判定エリアAx内に存在している場合(S21:YES)、ジェスチャ検出装置70は、リアドア32が全閉位置に位置しているか否かを判定する(S22)。リアドア32が全閉位置に位置している場合(S22:YES)、言い換えれば、リアドア32を閉作動させる必要がない場合、ジェスチャ検出装置70は、本処理を一旦終了する。
一方、リアドア32が全閉位置に位置していない場合(S22:NO)、ジェスチャ検出装置70は、右肩の位置PRs及び左肩の位置PLsの間隔である肩幅Lsに基づいて、ユーザが車両10の側面に正対しているか否かを判定する(S23)。ユーザが車両10の側面に正対していない場合(S23:NO)、ジェスチャ検出装置70は、本処理を一旦終了する。一方、ユーザが車両10の側面に正対している場合(S23:YES)、ジェスチャ検出装置70は、右手の位置PRhが右基準エリアAR1に存在しているか否かを判定する(S24)。
右手の位置PRhが右基準エリアAR1に存在していない場合(S24:NO)、ジェスチャ検出装置70は、本処理を一旦終了する。一方、右手の位置PRhが右基準エリアAR1に存在している場合(S24:YES)、ジェスチャ検出装置70は、右手の位置PRhが第1判定時間T1内に右内エリアAR3に移動したか否かを判定する(S25)。ここで、第1判定時間T1内とは、ステップS24が肯定判定されるタイミングからの経過時間が第1判定時間T1内であることを意味している。また、ステップS25では、新たに撮影される画像に対して、右手の位置PRhの移動判定が繰り返し実施される。
右手の位置PRhが第1判定時間T1内に右内エリアAR3に移動しなかった場合(S25:NO)、ジェスチャ検出装置70は、本処理を一旦終了する。一方、右手の位置PRhが第1判定時間T1内に右内エリアAR3に移動した場合(S25:YES)、ジェスチャ検出装置70は、右手の位置PRhが第2判定時間T2内に右基準エリアAR1に移動したか否かを判定する(S26)。ここで、第2判定時間T2内とは、右手の位置PRhが右内エリアAR3に移動したタイミングからの経過時間が第2判定時間T2内であることを意味している。また、ステップS26では、ステップS25と同様に、新たに撮影される画像に対して、右手の位置PRhの移動判定が繰り返し実施される。
右手の位置PRhが第2判定時間T2内に右基準エリアAR1に移動した場合(S26:YES)、すなわち、ユーザが右内反転ジェスチャを実施した場合、ジェスチャ検出装置70は、リアドア32の閉作動指令信号をドア制御装置60に出力する(S27)。その後、ジェスチャ検出装置70は、本処理を終了する。一方、右手の位置PRhが第2判定時間T2内に右基準エリアAR1に移動しない場合(S26:NO)、ジェスチャ検出装置70は、右手の位置PRhが右内エリアAR3内に第3判定時間T3にわたって存在しているか否かを判定する(S28)。ここで、第3判定時間T3とは、右手の位置PRhが右内エリアAR3に移動したタイミングからの経過時間が第3判定時間T3であることを意味している。このため、第3判定時間T3は、第2判定時間T2よりも長い時間である。また、ステップS28では、ステップS25と同様に、新たに撮影される画像に対して、右手の位置PRhの移動判定が繰り返し実施される。
右手の位置PRhが右内エリアAR3内に第3判定時間T3にわたって存在しなかった場合、(S28:NO)つまり、右手の位置PRhが第3判定時間T3内に右内エリアAR3外に移動した場合、ジェスチャ検出装置70は本処理を一旦終了する。一方、右手の位置PRhが右内エリアAR3内に第3判定時間T3にわたって留まった場合(S28:YES)、ジェスチャ検出装置70は、フロントドア31及びリアドア32の閉作動指令信号を出力する(S29)。ステップS28が肯定判定される場合とは、ユーザが右内保持ジェスチャを実施したと判定される場合である。その後、ジェスチャ検出装置70は、本処理を終了する。
図6に示すフローチャートにおいて、ステップS21,S24~S26,S28は「位置取得工程」を含み、ステップS23は「方向判定工程」に相当し、ステップS24~S26,S28は「ジェスチャ判定工程」に相当している。
<本実施形態の作用>
停車中の車両10のドアを開作動させるときの作用について説明する。
ユーザが車両10のリアドア32を開作動させたい場合には、ユーザは、車両10の左側面に向かって歩きながら、右外反転ジェスチャを実施する。つまり、ユーザは、リアドア32に近い方の右手をリアドア32の開方向に移動させた後に、右手をもとの位置に復帰させる。すると、リアドア32が開作動する。一方、ユーザが車両10のフロントドア31を開作動させたい場合には、ユーザは、車両10の左側面に向かって歩きながら、左外反転ジェスチャを実施する。つまり、ユーザは、フロントドア31に近い方の左手をフロントドア31の開方向に移動させた後に、左手をもとの位置に復帰させる。すると、フロントドア31が開作動する。
停車中の車両10のドアを開作動させるときの作用について説明する。
ユーザが車両10のリアドア32を開作動させたい場合には、ユーザは、車両10の左側面に向かって歩きながら、右外反転ジェスチャを実施する。つまり、ユーザは、リアドア32に近い方の右手をリアドア32の開方向に移動させた後に、右手をもとの位置に復帰させる。すると、リアドア32が開作動する。一方、ユーザが車両10のフロントドア31を開作動させたい場合には、ユーザは、車両10の左側面に向かって歩きながら、左外反転ジェスチャを実施する。つまり、ユーザは、フロントドア31に近い方の左手をフロントドア31の開方向に移動させた後に、左手をもとの位置に復帰させる。すると、フロントドア31が開作動する。
また、ユーザが車両10のフロントドア31及びリアドア32の双方を開作動させたい場合には、ユーザは、車両10の側面に向かって歩きながら、右外保持ジェスチャ又は左外保持ジェスチャを実施する。つまり、ユーザは、右手をリアドア32の開方向に移動させた後に停止させたり、左手をフロントドア31の開方向に移動させた後に停止させたりする。すると、フロントドア31及びリアドア32が開作動する。
<本実施形態の効果>
(1)ユーザは、リアドア32を開作動させる場合には、車両10の左側面を向いた状態で、右外反転ジェスチャを実施する。つまり、ユーザは、リアドア32を開作動させる場合には、リアドア32に近い方の右手をリアドア32の開方向に移動させる動作を含むジェスチャを実施する。また、ユーザは、フロントドア31を開作動させる場合には、車両10の左側面を向いた状態で、左外反転ジェスチャを実施する。つまり、ユーザは、フロントドア31を開作動させる場合には、フロントドア31に近い方の左手をフロントドア31の開方向に移動させる動作を含むジェスチャを実施する。このように、ユーザは、2つのドアのうちの一方のドアを開作動させたい場合には、当該一方のドアに近い手を用いてジェスチャを実施すればよく、当該一方のドアの開方向に手を動かすジェスチャを実施すればよい。したがって、ジェスチャ検出装置70は、ユーザの利便性を向上できる。
(1)ユーザは、リアドア32を開作動させる場合には、車両10の左側面を向いた状態で、右外反転ジェスチャを実施する。つまり、ユーザは、リアドア32を開作動させる場合には、リアドア32に近い方の右手をリアドア32の開方向に移動させる動作を含むジェスチャを実施する。また、ユーザは、フロントドア31を開作動させる場合には、車両10の左側面を向いた状態で、左外反転ジェスチャを実施する。つまり、ユーザは、フロントドア31を開作動させる場合には、フロントドア31に近い方の左手をフロントドア31の開方向に移動させる動作を含むジェスチャを実施する。このように、ユーザは、2つのドアのうちの一方のドアを開作動させたい場合には、当該一方のドアに近い手を用いてジェスチャを実施すればよく、当該一方のドアの開方向に手を動かすジェスチャを実施すればよい。したがって、ジェスチャ検出装置70は、ユーザの利便性を向上できる。
また、ジェスチャ検出装置70は、ユーザが車両10の側面に正対していると判定できた場合に、ユーザがジェスチャを実施したか否かの判定を開始する。このため、ジェスチャ検出装置70は、腕を振りながら車両10の側方を通過する人物の動きに基づき、ユーザがジェスチャを実施したと誤判定するおそれを低減できる。
(2)ユーザが車両10に接近しながらジェスチャを実施する場合には、ユーザがジェスチャを実施すること及びユーザが車両10に接近することの双方に起因して、画像内における右手の位置PRh及び左手の位置PLhが変化する。この点、ジェスチャ検出装置70は、首の位置PN、右肩の位置PRs及び左肩の位置PLsに対する右手の位置PRh及び左手の位置PLhの変化に基づき、ユーザがジェスチャを実施したか否かを判定する。このため、ジェスチャ検出装置70は、ユーザが車両10に接近しつつジェスチャを実施する場合であっても、ユーザが立ち止まってジェスチャを実施する場合であっても、ユーザがジェスチャを実施したか否かを精度良く判定できる。
(3)ジェスチャ検出装置70は、ユーザが右外反転ジェスチャを実施したと判定した場合に、リアドア32の開作動指令信号を出力する。また、ジェスチャ検出装置70は、ユーザが左外判定ジェスチャを実施したと判定した場合に、フロントドア31の開作動指令信号を出力する。右外反転ジェスチャ及び左外反転ジェスチャは、右手又は左手を一方向に移動させる動作と、右手又は左手をもとの位置に復帰させる動作と、を含む。このため、フロントドア31及びリアドア32を開作動させるためのジェスチャを、右手又は左手を一方向に移動させる動作のみとする場合に比較して、ジェスチャ検出装置70は、ジェスチャを誤判定しにくくなる。
(4)ジェスチャ検出装置70は、ユーザが右外保持ジェスチャを実施したと判定した場合又はユーザが左外保持ジェスチャを実施したと判定した場合に、フロントドア31及びリアドア32の開作動指令信号を出力する。右外保持ジェスチャ及び左外保持ジェスチャは、右手又は左手を一方向に移動させる動作と、右手又は左手を留める動作と、を含む。このため、フロントドア31及びリアドア32を開作動させるためのジェスチャを、右手又は左手を一方向に移動させる動作のみとする場合に比較して、ジェスチャ検出装置70は、ジェスチャを誤判定しにくくなる。
(5)ユーザは、右外反転ジェスチャ及び右外保持ジェスチャを使い分けることにより、リアドア32のみを開作動させるか、フロントドア31及びリアドア32の双方を開作動させるかを選択できる。また、ユーザは、左外反転ジェスチャ及び左外保持ジェスチャを使い分けることにより、フロントドア31のみを開作動させるか、フロントドア31及びリアドア32の双方を開作動させるかを選択できる。よって、ジェスチャ検出装置70は、ユーザの利便性をより向上できる。
(6)ジェスチャ検出装置70は、右肩の位置PRs及び左肩の位置PLsの間の距離である肩幅Lsに基づいて、ユーザが車両10の側面に正対しているか否かを判定する。よって、ジェスチャ検出装置70は、ユーザが車両10の側面に正対しているか否かを精度良く判定できる。
(7)以上の効果の説明では、ユーザが、フロントドア31及びリアドア32の少なくとも一方を開作動させるために、右外反転ジェスチャ、右外保持ジェスチャ、左外反転ジェスチャ及び左外保持ジェスチャを実施する場合の効果について説明した。こうした効果は、ユーザが、フロントドア31及びリアドア32の少なくとも一方を閉作動させるために、右内反転ジェスチャ、右内保持ジェスチャ、左内反転ジェスチャ及び左内保持ジェスチャを実施する場合にも同様に奏する。また、ジェスチャ検出装置70は、ユーザの手の動く方向に応じて、フロントドア31及びリアドア32を開作動させたり閉作動させたりできる。
(8)カメラ50がフロント開口部21及びリア開口部22の間に設置されているため、カメラ50が車両10の側面に正対するユーザを撮影したとき、ユーザの右半身及び左半身が画像に均等に映りやすい。このため、ジェスチャ検出装置70は、右手の位置PRh、右肩の位置PRs、右足先の位置PRt、左手の位置PLh、左肩の位置PLs及び左足先の位置PLtを取得しやすい。
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・ジェスチャに用いるユーザの身体部位は適宜に変更可能である。第1身体部位は、ユーザの右半身の部位であって、ユーザが単独で動かしやすい部位であることが好ましい。例えば、第1身体部位は、ユーザの右足爪先であってもよい。第2身体部位は、ユーザの左半身の部位であって、ユーザが単独で動かしやすい部位であることが好ましい。例えば、第2身体部位は、ユーザの左足爪先であってもよい。参照身体部位は、ユーザの体の中心線上の身体部位であればよい。例えば、参照身体部位は、ユーザの首に代えて、ユーザの顔であってもよいし、ユーザの胸部であってもよい。
・ジェスチャに用いるユーザの身体部位は適宜に変更可能である。第1身体部位は、ユーザの右半身の部位であって、ユーザが単独で動かしやすい部位であることが好ましい。例えば、第1身体部位は、ユーザの右足爪先であってもよい。第2身体部位は、ユーザの左半身の部位であって、ユーザが単独で動かしやすい部位であることが好ましい。例えば、第2身体部位は、ユーザの左足爪先であってもよい。参照身体部位は、ユーザの体の中心線上の身体部位であればよい。例えば、参照身体部位は、ユーザの首に代えて、ユーザの顔であってもよいし、ユーザの胸部であってもよい。
・方向判定部74は、他の判定方法により、ユーザが車両10の側面に正対しているか否かを判定してもよい。以下、いくつかの例について説明する。
・方向判定部74は、X方向において、首の位置PNの一方側に右肩の位置PRsが存在し、首の位置PNの他方側に左肩の位置PRsが存在している場合、ユーザが車両10の側面に正対していると判定してもよい。一方、方向判定部74は、X方向において、首の位置PNの片側にしか右肩の位置PRs又は左肩の位置PLsが存在しない場合、ユーザが車両10の側面に正対していないと判定してもよい。ただし、首の位置PNの両側に右肩の位置PRs及び左肩の位置PRsがそれぞれ存在している場合でも、X方向において、右肩の位置PRs及び左肩の位置PLsの中間位置が首の位置PNからずれている場合がある。この場合、方向判定部74は、ユーザが車両10の側面に正対していないと判定してもよい。
・方向判定部74は、X方向において、首の位置PNの一方側に右肩の位置PRsが存在し、首の位置PNの他方側に左肩の位置PRsが存在している場合、ユーザが車両10の側面に正対していると判定してもよい。一方、方向判定部74は、X方向において、首の位置PNの片側にしか右肩の位置PRs又は左肩の位置PLsが存在しない場合、ユーザが車両10の側面に正対していないと判定してもよい。ただし、首の位置PNの両側に右肩の位置PRs及び左肩の位置PRsがそれぞれ存在している場合でも、X方向において、右肩の位置PRs及び左肩の位置PLsの中間位置が首の位置PNからずれている場合がある。この場合、方向判定部74は、ユーザが車両10の側面に正対していないと判定してもよい。
・方向判定部74は、右肩及び左肩を除く身体部位の位置に基づいて、ユーザが車両10の側面に正対しているか否かを判定してもよい。例えば、方向判定部74は、ユーザの右目の位置及び左目の位置に基づいて、ユーザが車両10の側面に正対しているか否かを判定してもよい。また、方向判定部74は、ユーザの右耳の位置及び左耳の位置に基づいて、ユーザが車両10の側面に正対しているか否かを判定してもよい。
・方向判定部74は、ユーザが車両10の側面に正対することでカメラ50が撮影可能となる複数の身体部位の位置を全て取得できた場合に、ユーザが車両10の側面に正対していると判定してもよい。例えば、方向判定部74は、ユーザの首の位置PN、右肩の位置PRs、左肩の位置PLs、右手の位置PRh、左手の位置PLh、右足先の位置PRt及び左足先の位置PLtを全て取得できた場合に、ユーザが車両10の側面に正対していると判定してもよい。
・ジェスチャ判定部75は、右外ジェスチャ判定処理において、右基準エリアAR1及び右外エリアAR2を設定しなくてもよい。この場合、ジェスチャ判定部75は、X方向における首の位置PNから右肩の位置PRsまでの距離である基準距離LRと、X方向における首の位置PNから右手の位置PRhまでの距離である比較距離を演算する。そして、ジェスチャ判定部75は、基準距離LR及び比較距離の大小関係に基づき、ユーザの右手の状態を判定する。詳しくは、ジェスチャ判定部75は、比較距離が基準距離LRと同程度である状態から、比較距離が基準距離LRよりも十分に大きい状態となった場合に、ユーザの右手がリアドア32の開方向に移動したと判定する。こうして、ジェスチャ判定部75は、距離の比較により、ユーザがジェスチャを実施したか否かを判定すればよい。右内ジェスチャ判定処理、左外ジェスチャ判定処理及び左内ジェスチャ判定処理においても同様である。
・ジェスチャ判定部75の判定対象であるジェスチャは、少なくとも右外反転ジェスチャ及び左外反転ジェスチャを含んでいればよい。
・出力部76は、ユーザが右外反転ジェスチャを実施したと判定された場合、フロントドア31及びリアドア32を開作動させる開作動指令信号を出力してもよい。出力部76は、ユーザが右外保持ジェスチャを実施したと判定された場合、右手に対応するリアドア32を開作動させる開作動指令信号を出力してもよい。また、出力部76は、ユーザが右内反転ジェスチャを実施したと判定された場合、フロントドア31及びリアドア32を閉作動させる閉作動指令信号を出力してもよい。出力部76は、ユーザが右内保持ジェスチャを実施したと判定された場合、右手に対応するリアドア32を閉作動させる開作動指令信号を出力してもよい。ユーザが左外反転ジェスチャ、左外保持ジェスチャ、左内反転ジェスチャ及び左外保持ジェスチャを実施する場合についても同様である。
・出力部76は、ユーザが右外反転ジェスチャを実施したと判定された場合、フロントドア31及びリアドア32を開作動させる開作動指令信号を出力してもよい。出力部76は、ユーザが右外保持ジェスチャを実施したと判定された場合、右手に対応するリアドア32を開作動させる開作動指令信号を出力してもよい。また、出力部76は、ユーザが右内反転ジェスチャを実施したと判定された場合、フロントドア31及びリアドア32を閉作動させる閉作動指令信号を出力してもよい。出力部76は、ユーザが右内保持ジェスチャを実施したと判定された場合、右手に対応するリアドア32を閉作動させる開作動指令信号を出力してもよい。ユーザが左外反転ジェスチャ、左外保持ジェスチャ、左内反転ジェスチャ及び左外保持ジェスチャを実施する場合についても同様である。
・ユーザがリアドア32を開作動させるためのジェスチャは、ユーザが下方に下ろした右手を右方に移動させるだけのジェスチャであってもよい。この場合、ジェスチャ判定部75は、ユーザの右手の位置PRhが右基準エリアAR1から右外エリアAR2に移動した場合に、ユーザが上記ジェスチャを実施したと判定すればよい。ユーザがフロントドア31を開作動させるためのジェスチャについても同様である。
・ユーザがリアドア32を開作動させるためのジェスチャは、ユーザが下方に下ろした右手を上方に移動させるだけのジェスチャであってもよい。この場合、ユーザの右手の移動方向である上方がリアドア32の開方向に対応する「第1方向」に相当する。つまり、「第1方向」はリアドア32の開方向と同一方向である必要はない。ユーザがフロントドア31を開作動させるためのジェスチャについても同様である。
・車体20はセンターピラー23を備えなくてもよい。この場合、フロント開口部21及びリア開口部22は一体化して1つの開口部であってもよい。つまり、1つの開口部の前側部分がフロント開口部21に相当し、1つの開口部の後側部分がリア開口部22に相当する。
・ジェスチャ検出装置70は、例えば、リアドア32を作動させるきっかけとなるジェスチャのみを検出するように構成されてもよい。言い換えれば、上記実施形態において、フロントドア31をジェスチャによって開閉作動させることができなくてもよい。この場合、リア開口部22が「開口部」に相当し、リアドア32が「ドア」に相当する。また、この場合において、ユーザが車両10の左側面に正対した状態で、例えば、右手が「所定身体部位」に相当し、右手の位置PRhが「所定位置」に相当し、リアドア32の開方向がリアドア32の開方向に対応する「所定方向」に相当し、右外ジェスチャが「所定ジェスチャ」に相当する。
また、ジェスチャ検出装置70は、例えば、フロントドア31を作動させるきっかけとなるジェスチャのみを検出するように構成されてもよい。言い換えれば、上記実施形態において、リアドア32をジェスチャによって開閉作動させることができなくてもよい。この場合、フロント開口部21が「開口部」に相当し、フロントドア31が「ドア」に相当する。また、この場合において、ユーザが車両10の左側面に正対した状態で、例えば、左手が「所定身体部位」に相当し、左手の位置PLhが「所定位置」に相当し、フロントドア31の開方向がフロントドア31の開方向に対応する「所定方向」に相当し、左外ジェスチャが「所定ジェスチャ」に相当する。
・車体20は、フロント開口部21及びリア開口部22のうちの一方の開口部のみを有し、車両10は、フロントドア31及びリアドア32のうち、当該一方の開口部を開閉するドアのみを備えてもよい。この場合、ジェスチャ検出装置70は、少なくとも当該一方の開口部を開閉するドアを開作動させるためのジェスチャを検出することができればよい。
・カメラ50の位置は適宜に変更することができる。複数のカメラ50を用いる場合には、フロントドア31及びリアドア32の双方にカメラ50を設けてもよい。
・車両10は、バックドアと、バックドアの開閉状況に関わらず車両10の後方を撮影できるバックカメラと、を備えてもよい。また、車体20は、後方に開口し、バックドアに開閉される開口部を有してもよい。そして、ジェスチャ検出装置70は、ユーザの実施するジェスチャの内容に応じて、バックドアを開閉作動させてもよい。この場合、車体20の後方に開口する開口部が「開口部」に相当し、バックドアが「ドア」に相当する。
・車両10は、バックドアと、バックドアの開閉状況に関わらず車両10の後方を撮影できるバックカメラと、を備えてもよい。また、車体20は、後方に開口し、バックドアに開閉される開口部を有してもよい。そして、ジェスチャ検出装置70は、ユーザの実施するジェスチャの内容に応じて、バックドアを開閉作動させてもよい。この場合、車体20の後方に開口する開口部が「開口部」に相当し、バックドアが「ドア」に相当する。
また、上記構成において、開口部の右側を第1開口部と定義し、開口部の左側を第2開口部と定義したとき、バックドアは、第1開口部を開閉する第1ドアと、第2開口部を開閉する第2ドアと、を有してもよい。そして、ジェスチャ検出装置70は、ユーザの実施するジェスチャの内容に応じて、第1ドアを開閉作動させたり、第2ドアを開閉作動させたりしてもよい。
・ジェスチャ検出装置70は、CPUとメモリとを備えて、ソフトウェア処理を実行する処理回路に限らない。例えば、ジェスチャ検出装置70は、上記各実施形態において実行される各種処理の少なくとも一部を実行する専用のハードウェア回路を備えてもよい。専用のハードウェア回路としては、例えば、ASICを挙げることができる。ASICとは、「Application Specific Integrated Circuit」の略記である。すなわち、ジェスチャ検出装置70は、以下の(a)~(c)のいずれかの構成であればよい。
(a)上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するROMなどのプログラム格納装置とを備えている処理回路。
(b)上記処理の一部をプログラムに従って実行する処理装置及びプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備えている処理回路。
(b)上記処理の一部をプログラムに従って実行する処理装置及びプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備えている処理回路。
(c)上記処理の全てを実行する専用のハードウェア回路を備えている処理回路。
ここで、処理装置及びプログラム格納装置を備えたソフトウェア実行装置、及び、専用のハードウェア回路は複数であってもよい。ドア制御装置60についても、同様である。
ここで、処理装置及びプログラム格納装置を備えたソフトウェア実行装置、及び、専用のハードウェア回路は複数であってもよい。ドア制御装置60についても、同様である。
[本実施形態のまとめ]
本実施形態は以下の構成を少なくとも備える。
本実施形態のジェスチャ検出装置(70)は、開口部(21,22)を有する車体(20)と、前記開口部(21,22)を開閉するように構成されるドア(31,32)と、前記開口部(21,22)に正対するユーザを撮影するように構成されるカメラ(50)と、前記ドア(31,32)を駆動するように構成されるドア駆動部(41,42)と、を備える車両(10)に適用され、前記ドア(31,32)を作動させるきっかけとなるジェスチャであって、前記ユーザの所定身体部位を用いたジェスチャを検出する。前記所定身体部位とは異なる前記ユーザの身体部位が参照身体部位である。前記ジェスチャ検出装置(70)は、前記カメラ(50)が撮影した画像内における前記所定身体部位の位置である所定位置(PRh,PLh)及び前記参照身体部位の位置である参照位置(PN,PRs,PLs)を取得するように構成される位置取得部(73)と、前記画像内における前記参照位置(PN,PRs,PLs)に基づき、前記ユーザが前記開口部(21,22)に正対しているか否かを判定するように構成される方向判定部(74)と、前記方向判定部(74)によって前記ユーザが前記開口部(21,22)に正対していると判定する場合において、撮影時期の異なる複数の前記画像内における前記所定位置(PRh,PLh)及び前記参照位置(PN,PRs,PLs)の変化に基づき、前記ユーザがジェスチャを実施したか否かを判定するように構成されるジェスチャ判定部(75)と、を備える。前記ジェスチャ判定部(75)は、前記参照位置(PN,PRs,PLs)に対し、前記所定位置(PRh,PLh)が前記ドア(31,32)の開方向に対応する所定方向に移動した場合、前記ユーザが少なくとも前記ドア(31,32)を開作動させるための所定ジェスチャを実施したと判定するようにさらに構成される。
本実施形態は以下の構成を少なくとも備える。
本実施形態のジェスチャ検出装置(70)は、開口部(21,22)を有する車体(20)と、前記開口部(21,22)を開閉するように構成されるドア(31,32)と、前記開口部(21,22)に正対するユーザを撮影するように構成されるカメラ(50)と、前記ドア(31,32)を駆動するように構成されるドア駆動部(41,42)と、を備える車両(10)に適用され、前記ドア(31,32)を作動させるきっかけとなるジェスチャであって、前記ユーザの所定身体部位を用いたジェスチャを検出する。前記所定身体部位とは異なる前記ユーザの身体部位が参照身体部位である。前記ジェスチャ検出装置(70)は、前記カメラ(50)が撮影した画像内における前記所定身体部位の位置である所定位置(PRh,PLh)及び前記参照身体部位の位置である参照位置(PN,PRs,PLs)を取得するように構成される位置取得部(73)と、前記画像内における前記参照位置(PN,PRs,PLs)に基づき、前記ユーザが前記開口部(21,22)に正対しているか否かを判定するように構成される方向判定部(74)と、前記方向判定部(74)によって前記ユーザが前記開口部(21,22)に正対していると判定する場合において、撮影時期の異なる複数の前記画像内における前記所定位置(PRh,PLh)及び前記参照位置(PN,PRs,PLs)の変化に基づき、前記ユーザがジェスチャを実施したか否かを判定するように構成されるジェスチャ判定部(75)と、を備える。前記ジェスチャ判定部(75)は、前記参照位置(PN,PRs,PLs)に対し、前記所定位置(PRh,PLh)が前記ドア(31,32)の開方向に対応する所定方向に移動した場合、前記ユーザが少なくとも前記ドア(31,32)を開作動させるための所定ジェスチャを実施したと判定するようにさらに構成される。
ジェスチャ検出装置は、ユーザが開口部に正対していると判定できる場合に、ユーザがジェスチャを実施したか否かを判定する。詳しくは、ジェスチャ検出装置は、ユーザが所定身体部位を所定方向に移動させる場合、ユーザが所定ジェスチャを実施したと判定する。こうして、ユーザは、所定身体部位をドアの開方向に対応する所定方向に動かすことにより、少なくともドアを開作動できる。
ユーザが車両に接近しながらジェスチャを実施する場合には、ユーザがジェスチャを実施すること及びユーザが車両に接近することの双方に起因して、画像内における所定位置が変化する。この点、ジェスチャ検出装置は、参照位置に対する所定位置の変化に基づき、ユーザがジェスチャを実施したか否かを判定する。このため、ジェスチャ検出装置は、ユーザが車両に接近しつつジェスチャを実施する場合であっても、ユーザが立ち止まってジェスチャを実施する場合であっても、ユーザがジェスチャを実施したか否かを精度良く判定できる。このように、ジェスチャ検出装置は、ユーザの利便性を向上できる。
本実施形態において、前記開口部(21,22)が第1開口部(22)、前記ドア(31,32)が第1ドア(32)、前記所定身体部位が第1身体部位、前記所定位置(PRh,PLh)が第1位置(PRh)、前記所定方向が第1方向、前記所定ジェスチャが第1ジェスチャ、前記第1身体部位及び前記参照身体部位とは異なる前記ユーザの身体部位が第2身体部位であり得る。前記車体(20)は、前記第1開口部(22)に隣接する第2開口部(21)をさらに有することが好ましい。前記車両(10)は、前記ドア駆動部(41,42)により駆動される第2ドア(31)であって、前記第2開口部(21)を開閉するように構成される、第2ドア(31)をさらに備えることが好ましい。前記カメラ(50)は、前記第2開口部(21)に正対する前記ユーザを撮影するようにさらに構成されることが好ましい。前記位置取得部(73)は、前記カメラ(50)が撮影した画像内における前記第2身体部位の位置である第2位置(PLh)を取得するようにさらに構成されることが好ましい。前記方向判定部(74)は、前記画像内における前記参照位置(PN,PRs,PLs)に基づき、前記ユーザが前記第2開口部(21)に正対しているか否かを判定するようにさらに構成されることが好ましい。前記ジェスチャ判定部(75)は、前記方向判定部(74)によって前記ユーザが前記第1開口部(22)及び前記第2開口部(21)に正対していると判定する場合において、撮影時期の異なる複数の前記画像内における前記第2位置(PLh)及び前記参照位置(PN,PRs,PLs)の変化に基づき、前記ユーザがジェスチャを実施したか否かを判定し、前記参照位置(PN,PRs,PLs)に対し、前記第2位置(PLh)が前記第2ドア(31)の開方向に対応する第2方向に移動した場合、前記ユーザが少なくとも前記第2ドア(31)を開作動させるための第2ジェスチャを実施したと判定する、ようにさらに構成されることが好ましい。
ジェスチャ検出装置は、ユーザが第1及び第2開口部に正対していると判定できる場合に、ユーザがジェスチャを実施したか否かを判定する。詳しくは、ジェスチャ検出装置は、ユーザが第2身体部位を第2方向に移動させる場合、ユーザが第2ジェスチャを実施したと判定する。こうして、ユーザは、第2身体部位を第2ドアの開方向に対応する第2方向に動かすことにより、少なくとも第2ドアを開作動できる。
ユーザが車両に接近しながらジェスチャを実施する場合には、ユーザがジェスチャを実施すること及びユーザが車両に接近することの双方に起因して、画像内における第1位置及び第2位置が変化する。この点、ジェスチャ検出装置は、参照位置に対する第1位置及び第2位置の変化に基づき、ユーザがジェスチャを実施したか否かを判定する。このため、ジェスチャ検出装置は、ユーザが車両に接近しつつジェスチャを実施する場合であっても、ユーザが立ち止まってジェスチャを実施する場合であっても、ユーザがジェスチャを実施したか否かを精度良く判定できる。このように、ジェスチャ検出装置は、ユーザの利便性を向上できる。
本実施形態では、前記ユーザが前記第1開口部(22)及び前記第2開口部(21)に正対した状況下において、前記第1開口部(22)は前記ユーザの右半身を向き、前記第2開口部(21)は前記ユーザの左半身を向くものであり、前記第1身体部位は前記ユーザの右手であり、前記第2身体部位は前記ユーザの左手であることが好ましい。
ユーザは、第1開口部及び第2開口部に正対したときに、右前方に位置するドアを、右手を用いたジェスチャで開作動させることができる。また、ユーザは、左前方に位置するドアを、左手を用いたジェスチャで開作動させることができる。よって、ジェスチャ検出装置は、ユーザの利便性をより向上できる。
本実施形態において、前記ジェスチャ判定部(75)は、前記参照位置(PN,PRs,PLs)に対し、前記第1位置(PRh)が前記第1方向に移動した後に前記第1方向の逆方向に移動した場合、前記ユーザが前記第1ジェスチャを実施したと判定し、前記参照位置(PN,PRs,PLs)に対し、前記第2位置(PLh)が前記第2方向に移動した後に前記第2方向の逆方向に移動した場合、前記ユーザが前記第2ジェスチャを実施したと判定する、ようにさらに構成されることが好ましい。
ジェスチャ検出装置は、例えば、第1位置が第1方向に移動しただけでユーザが第1ジェスチャを実施したと判定する場合に比較して、第1ジェスチャを実施したか否かを精度良く判定できる。同様に、ジェスチャ検出装置は、例えば、第2位置が第2方向に移動しただけでユーザが第2ジェスチャを実施したと判定する場合に比較して、第2ジェスチャを実施したか否かを精度良く判定できる。よって、ジェスチャ検出装置は、第1ジェスチャ及び第2ジェスチャを誤判定しにくくなる。
本実施形態において、前記参照位置(PN,PRs,PLs)に対し、前記第1位置(PRh)が前記第1方向に移動した後に停止する場合、前記ユーザが前記第1ジェスチャを実施したと判定し、前記参照位置(PN,PRs,PLs)に対し、前記第2位置(PLh)が前記第2方向に移動した後に停止する場合、前記ユーザが前記第2ジェスチャを実施したと判定する、ようにさらに構成されることが好ましい。
ジェスチャ検出装置は、例えば、第1位置が第1方向に移動しただけでユーザが第1ジェスチャを実施したと判定する場合に比較して、第1ジェスチャを実施したか否かを精度良く判定できる。同様に、ジェスチャ検出装置は、例えば、第2位置が第2方向に移動しただけでユーザが第2ジェスチャを実施したと判定する場合に比較して、第2ジェスチャを実施したか否かを精度良く判定できる。よって、ジェスチャ検出装置は、第1ジェスチャ及び第2ジェスチャを誤判定しにくくなる。
本実施形態において、前記第1ジェスチャは、前記第1ドア(32)のみを開作動させるための第3ジェスチャと、前記第3ジェスチャと異なるジェスチャであって、前記第1ドア(32)及び前記第2ドア(31)を開作動させるための第4ジェスチャと、を含むことが好ましい。前記第2ジェスチャは、前記第2ドア(31)のみを開作動させるための第5ジェスチャと、前記第5ジェスチャと異なるジェスチャであって、前記第1ドア(32)及び前記第2ドア(31)を開作動させるための第6ジェスチャと、を含むことが好ましい。前記ジェスチャ判定部(75)は、前記参照位置(PN,PRs,PLs)に対し、前記第1位置(PRh)が前記第1方向に移動した後に前記第1方向の逆方向に移動した場合、前記ユーザが前記第3ジェスチャを実施したと判定し、前記参照位置(PN,PRs,PLs)に対し、前記第1位置(PRh)が前記第1方向に移動した後に停止する場合、前記ユーザが前記第4ジェスチャを実施したと判定し、前記参照位置(PN,PRs,PLs)に対し、前記第2位置(PLh)が前記第2方向に移動した後に前記第2方向の逆方向に移動した場合、前記ユーザが前記第5ジェスチャを実施したと判定し、前記参照位置(PN,PRs,PLs)に対し、前記第2位置(PLh)が前記第2方向に移動した後に停止する場合、前記ユーザが前記第6ジェスチャを実施したと判定する、ようにさらに構成されることが好ましい。
ユーザは、第1身体部位を用いた第3ジェスチャ及び第4ジェスチャを使い分けることにより、第1ドアのみを開作動させるか、第1ドア及び第2ドアの双方を開作動させるかを選択できる。また、ユーザは、第2身体部位を用いた第5ジェスチャ及び第6ジェスチャを使い分けることにより、第2ドアのみを開作動させるか、第1ドア及び第2ドアの双方を開作動させるかを選択できる。よって、ジェスチャ検出装置は、ユーザの利便性をより向上できる。
本実施形態において、前記参照身体部位は、前記ユーザの右肩及び左肩を含み、前記参照位置(PN,PRs,PLs)は、前記ユーザの右肩の位置(PRs)及び左肩の位置(PLs)を含むことが好ましい。前記方向判定部(74)は、前記画像内における前記ユーザの右肩の位置(PRs)及び左肩の位置(PLs)の間の距離である肩幅(Ls)に基づいて、前記ユーザが前記第1開口部(22)及び前記第2開口部(21)に正対しているか否かを判定するようにさらに構成されることが好ましい。
ユーザが第1開口部及び第2開口部に正対している場合には、肩幅が長くなる可能性が高い。一方、ユーザが第1開口部及び第2開口部に正対していない場合には、肩幅が短くなったり、肩幅が正しく算出されなかったりする可能性が高い。この点、ジェスチャ検出装置は、肩幅に基づいて、ユーザが第1開口部及び第2開口部に正対しているか否かを判定する。よって、ジェスチャ検出装置は、ユーザが第1開口部及び第2開口部に正対しているか否かを精度良く判定できる。
本実施形態において、前記第1開口部(22)は、前記車体(20)の側面に開口し、前記第2開口部(21)は、前記車体(20)の側面における前記第1開口部(22)よりも前方に開口することが好ましい。前記第1ドア(32)は、リアドア(32)であり、前記第2ドア(31)は、フロントドア(31)であり、前記第1方向は、前記第1ドア(32)の開方向と同方向であり、前記第2方向は、前記第2ドア(31)の開方向と同方向であることが好ましい。
ジェスチャ検出装置において、第1方向は第1ドアの開方向と同方向であり、第2方向は第2ドアの開方向と同方向である。このため、ユーザは、第1ジェスチャを実施するときの第1身体部位の移動方向及び第2ジェスチャを実施するときの第2身体部位の移動方向を直感的に理解しやすい。
本実施形態において、前記カメラ(50)は、前記位置取得部(73)は、前記第1開口部(22)及び前記第2開口部(21)の並び方向において、前記車体(20)における前記第1開口部(22)及び前記第2開口部(21)の間に設置されることが好ましい。前記カメラ(50)が撮影した前記画像から、前記第1位置(PRh)、前記第2位置(PLh)及び前記参照位置(PN,PRs,PLs)を取得するようにさらに構成されることが好ましい。
カメラが第1開口部及び第2開口部の間に設置されているため、カメラが第1開口部及び第2開口部に正対するユーザを撮影したとき、ユーザの右半身及び左半身が均等に映りやすい。このため、ジェスチャ検出装置は、第1身体部位をユーザの右半身及び左半身の一方から選択し、第2身体部位をユーザの右半身及び左半身の他方から選択する場合において、第1位置及び第2位置を取得しやすくなる。
本実施形態において、前記第1ジェスチャが第1開ジェスチャ、前記第2ジェスチャが第2開ジェスチャであり得る。前記ジェスチャ判定部(75)は、前記参照位置(PN,PRs,PLs)に対し、前記第1位置(PRh)が前記第1方向の逆方向に移動した場合、前記ユーザが少なくとも前記第1ドア(32)を閉作動させるための第1閉ジェスチャを実施したと判定し、前記参照位置(PN,PRs,PLs)に対し、前記第2位置(PLh)が前記第2方向の逆方向に移動した場合、前記ユーザが少なくとも前記第2ドア(31)を閉作動させるための第2閉ジェスチャを実施したと判定する、ようにさらに構成されることが好ましい。
ユーザは、第1身体部位を第1方向の逆方向に動かすことにより、少なくとも第1ドアを閉作動できる。また、ユーザは、第2身体部位を第2方向の逆方向に動かすことにより、少なくとも第2ドアを閉作動できる。こうして、ユーザは、ジェスチャを使い分けることにより、第1ドア及び第2ドアを選択的に開閉作動できる。
本実施形態のジェスチャ検出方法は、開口部(21,22)を有する車体(20)と、前記開口部(21,22)を開閉するように構成されるドア(31,32)と、前記開口部(21,22)に正対するユーザを撮影するように構成されるカメラ(50)と、前記ドア(31,32)を駆動するように構成されるドア駆動部(41,42)と、を備える車両(10)に適用され、前記ドア(31,32)を作動させるきっかけとなるジェスチャであって、前記ユーザの所定身体部位を用いたジェスチャを検出する。前記所定身体部位とは異なる前記ユーザの身体部位が参照身体部位である。前記ジェスチャ検出方法は、前記カメラ(50)が撮影した画像内における前記所定身体部位の位置である所定位置(PRh,PLh)及び前記参照身体部位の位置である参照位置(PN,PRs,PLs)を取得する位置取得工程と、前記画像内における前記参照位置(PN,PRs,PLs)に基づき、前記ユーザが前記開口部(21,22)に正対しているか否かを判定する方向判定工程と、前記方向判定工程によって前記ユーザが前記開口部(21,22)に正対していると判定する場合において、撮影時期の異なる複数の前記画像内における前記所定位置(PRh,PLh)及び前記参照位置(PN,PRs,PLs)の変化に基づき、前記ユーザがジェスチャを実施したか否かを判定するジェスチャ判定工程と、を備える。前記ジェスチャ判定工程は、前記参照位置(PN,PRs,PLs)に対し、前記所定位置(PRh,PLh)が前記ドア(31,32)の開方向に対応する所定方向に移動した場合、前記ユーザが少なくとも前記ドア(31,32)を開作動させるためのジェスチャを実施したと判定することを含む。
本実施形態のジェスチャ検出方法は、上述したジェスチャ検出装置と同等の作用効果を得ることができる。
本実施形態において、前記開口部(21,22)が第1開口部(22)、前記ドア(31,32)が第1ドア(32)、前記所定身体部位が第1身体部位、前記所定位置(PRh,PLh)が第1位置(PRh)、前記所定方向が第1方向、前記所定ジェスチャが第1ジェスチャ、前記第1身体部位及び前記参照身体部位とは異なる前記ユーザの身体部位が第2身体部位であり得る。前記車体(20)は、前記第1開口部(22)に隣接する第2開口部(21)をさらに有することが好ましい。前記車体(20)は、前記ドア駆動部(41,42)により駆動される第2ドア(31)であって、前記第2開口部(21)を開閉するように構成される、第2ドア(31)をさらに備えることが好ましい。前記カメラ(50)は、前記第2開口部(21)に正対する前記ユーザを撮影するようにさらに構成されることが好ましい。前記位置取得工程は、前記カメラ(50)が撮影した画像内における前記第2身体部位の位置である第2位置(PLh)を取得することを含むことが好ましい。前記方向判定工程は、前記画像内における前記参照位置(PN,PRs,PLs)に基づき、前記ユーザが前記第2開口部(21)に正対しているか否かを判定することを含むことが好ましい。前記ジェスチャ判定工程は、前記ユーザが前記第1開口部(22)及び前記第2開口部(21)に正対していると判定する場合において、撮影時期の異なる複数の前記画像内における前記第2位置(PLh)及び前記参照位置(PN,PRs,PLs)の変化に基づき、前記ユーザがジェスチャを実施したか否かを判定することと、前記参照位置(PN,PRs,PLs)に対し、前記第2位置(PLh)が前記第2ドア(31)の開方向に対応する第2方向に移動した場合、前記ユーザが少なくとも前記第2ドア(31)を開作動させるための第2ジェスチャを実施したと判定することと、を含むことが好ましい。
上記構成によれば、対応するジェスチャ検出装置と同等の作用効果を得ることができる。
10…車両、20…車体、21…フロント開口部(第2開口部)、22…リア開口部(第1開口部)、23…センターピラー、31…フロントドア(第2ドア)、32…リアドア(第1ドア)、41…フロントドア駆動部、42…リアドア駆動部、50…カメラ、60…ドア制御装置、70…ジェスチャ検出装置、71…記憶部、72…画像取得部、73…位置取得部、74…方向判定部、75…ジェスチャ判定部、76…出力部、PN…首の位置、PRh…右手の位置、PLh…左手の位置、PRs…右肩の位置、PLs…左肩の位置、PRt…右足先の位置、PLt…左足先の位置
Claims (12)
- 開口部を有する車体と、前記開口部を開閉するように構成されるドアと、前記開口部に正対するユーザを撮影するように構成されるカメラと、前記ドアを駆動するように構成されるドア駆動部と、を備える車両に適用され、前記ドアを作動させるきっかけとなるジェスチャであって、前記ユーザの所定身体部位を用いたジェスチャを検出するジェスチャ検出装置であって、
前記所定身体部位とは異なる前記ユーザの身体部位が参照身体部位であり、
前記ジェスチャ検出装置は、
前記カメラが撮影した画像内における前記所定身体部位の位置である所定位置及び前記参照身体部位の位置である参照位置を取得するように構成される位置取得部と、
前記画像内における前記参照位置に基づき、前記ユーザが前記開口部に正対しているか否かを判定するように構成される方向判定部と、
前記方向判定部によって前記ユーザが前記開口部に正対していると判定する場合において、撮影時期の異なる複数の前記画像内における前記所定位置及び前記参照位置の変化に基づき、前記ユーザがジェスチャを実施したか否かを判定するように構成されるジェスチャ判定部と、を備え、
前記ジェスチャ判定部は、前記参照位置に対し、前記所定位置が前記ドアの開方向に対応する所定方向に移動した場合、前記ユーザが少なくとも前記ドアを開作動させるための所定ジェスチャを実施したと判定するようにさらに構成される
ジェスチャ検出装置。 - 前記開口部が第1開口部、前記ドアが第1ドア、前記所定身体部位が第1身体部位、前記所定位置が第1位置、前記所定方向が第1方向、前記所定ジェスチャが第1ジェスチャ、前記第1身体部位及び前記参照身体部位とは異なる前記ユーザの身体部位が第2身体部位であり、
前記車体は、前記第1開口部に隣接する第2開口部をさらに有し、
前記車両は、前記ドア駆動部により駆動される第2ドアであって、前記第2開口部を開閉するように構成される、第2ドアをさらに備え、
前記カメラは、前記第2開口部に正対する前記ユーザを撮影するようにさらに構成され、
前記位置取得部は、前記カメラが撮影した画像内における前記第2身体部位の位置である第2位置を取得するようにさらに構成され、
前記方向判定部は、前記画像内における前記参照位置に基づき、前記ユーザが前記第2開口部に正対しているか否かを判定するようにさらに構成され、
前記ジェスチャ判定部は、
前記方向判定部によって前記ユーザが前記第1開口部及び前記第2開口部に正対していると判定する場合において、撮影時期の異なる複数の前記画像内における前記第2位置及び前記参照位置の変化に基づき、前記ユーザがジェスチャを実施したか否かを判定し、
前記参照位置に対し、前記第2位置が前記第2ドアの開方向に対応する第2方向に移動した場合、前記ユーザが少なくとも前記第2ドアを開作動させるための第2ジェスチャを実施したと判定する、ようにさらに構成される
請求項1に記載のジェスチャ検出装置。 - 前記ユーザが前記第1開口部及び前記第2開口部に正対した状況下において、
前記第1開口部は前記ユーザの右半身を向き、前記第2開口部は前記ユーザの左半身を向くものであり、
前記第1身体部位は前記ユーザの右手であり、前記第2身体部位は前記ユーザの左手である
請求項2に記載のジェスチャ検出装置。 - 前記ジェスチャ判定部は、
前記参照位置に対し、前記第1位置が前記第1方向に移動した後に前記第1方向の逆方向に移動した場合、前記ユーザが前記第1ジェスチャを実施したと判定し、
前記参照位置に対し、前記第2位置が前記第2方向に移動した後に前記第2方向の逆方向に移動した場合、前記ユーザが前記第2ジェスチャを実施したと判定する、ようにさらに構成される
請求項2又は請求項3に記載のジェスチャ検出装置。 - 前記ジェスチャ判定部は、
前記参照位置に対し、前記第1位置が前記第1方向に移動した後に停止する場合、前記ユーザが前記第1ジェスチャを実施したと判定し、
前記参照位置に対し、前記第2位置が前記第2方向に移動した後に停止する場合、前記ユーザが前記第2ジェスチャを実施したと判定する、ようにさらに構成される
請求項2又は請求項3に記載のジェスチャ検出装置。 - 前記第1ジェスチャは、前記第1ドアのみを開作動させるための第3ジェスチャと、前記第3ジェスチャと異なるジェスチャであって、前記第1ドア及び前記第2ドアを開作動させるための第4ジェスチャと、を含み、
前記第2ジェスチャは、前記第2ドアのみを開作動させるための第5ジェスチャと、前記第5ジェスチャと異なるジェスチャであって、前記第1ドア及び前記第2ドアを開作動させるための第6ジェスチャと、を含み、
前記ジェスチャ判定部は、
前記参照位置に対し、前記第1位置が前記第1方向に移動した後に前記第1方向の逆方向に移動した場合、前記ユーザが前記第3ジェスチャを実施したと判定し、
前記参照位置に対し、前記第1位置が前記第1方向に移動した後に停止する場合、前記ユーザが前記第4ジェスチャを実施したと判定し、
前記参照位置に対し、前記第2位置が前記第2方向に移動した後に前記第2方向の逆方向に移動した場合、前記ユーザが前記第5ジェスチャを実施したと判定し、
前記参照位置に対し、前記第2位置が前記第2方向に移動した後に停止する場合、前記ユーザが前記第6ジェスチャを実施したと判定する、ようにさらに構成される
請求項2又は請求項3に記載のジェスチャ検出装置。 - 前記参照身体部位は、前記ユーザの右肩及び左肩を含み、
前記参照位置は、前記ユーザの右肩の位置及び左肩の位置を含み、
前記方向判定部は、前記画像内における前記ユーザの右肩の位置及び左肩の位置の間の距離である肩幅に基づいて、前記ユーザが前記第1開口部及び前記第2開口部に正対しているか否かを判定するようにさらに構成される
請求項2又は請求項3に記載のジェスチャ検出装置。 - 前記第1開口部は、前記車体の側面に開口し、
前記第2開口部は、前記車体の側面における前記第1開口部よりも前方に開口し、
前記第1ドアは、リアドアであり、
前記第2ドアは、フロントドアであり、
前記第1方向は、前記第1ドアの開方向と同方向であり、
前記第2方向は、前記第2ドアの開方向と同方向である
請求項2又は請求項3に記載のジェスチャ検出装置。 - 前記カメラは、前記第1開口部及び前記第2開口部の並び方向において、前記車体における前記第1開口部及び前記第2開口部の間に設置され、
前記位置取得部は、前記カメラが撮影した前記画像から、前記第1位置、前記第2位置及び前記参照位置を取得するようにさらに構成される
請求項2又は請求項3に記載のジェスチャ検出装置。 - 前記第1ジェスチャが第1開ジェスチャ、前記第2ジェスチャが第2開ジェスチャであり、
前記ジェスチャ判定部は、
前記参照位置に対し、前記第1位置が前記第1方向の逆方向に移動した場合、前記ユーザが少なくとも前記第1ドアを閉作動させるための第1閉ジェスチャを実施したと判定し、
前記参照位置に対し、前記第2位置が前記第2方向の逆方向に移動した場合、前記ユーザが少なくとも前記第2ドアを閉作動させるための第2閉ジェスチャを実施したと判定する、ようにさらに構成される
請求項2又は請求項3に記載のジェスチャ検出装置。 - 開口部を有する車体と、前記開口部を開閉するように構成されるドアと、前記開口部に正対するユーザを撮影するように構成されるカメラと、前記ドアを駆動するように構成されるドア駆動部と、を備える車両に適用され、前記ドアを作動させるきっかけとなるジェスチャであって、前記ユーザの所定身体部位を用いたジェスチャを検出するジェスチャ検出方法であって、
前記所定身体部位とは異なる前記ユーザの身体部位が参照身体部位であり、
前記ジェスチャ検出方法は、
前記カメラが撮影した画像内における前記所定身体部位の位置である所定位置及び前記参照身体部位の位置である参照位置を取得する位置取得工程と、
前記画像内における前記参照位置に基づき、前記ユーザが前記開口部に正対しているか否かを判定する方向判定工程と、
前記方向判定工程によって前記ユーザが前記開口部に正対していると判定する場合において、撮影時期の異なる複数の前記画像内における前記所定位置及び前記参照位置の変化に基づき、前記ユーザがジェスチャを実施したか否かを判定するジェスチャ判定工程と、を備え、
前記ジェスチャ判定工程は、前記参照位置に対し、前記所定位置が前記ドアの開方向に対応する所定方向に移動した場合、前記ユーザが少なくとも前記ドアを開作動させるための所定ジェスチャを実施したと判定することを含む
ジェスチャ検出方法。 - 前記開口部が第1開口部、前記ドアが第1ドア、前記所定身体部位が第1身体部位、前記所定位置が第1位置、前記所定方向が第1方向、前記所定ジェスチャが第1ジェスチャ、前記第1身体部位及び前記参照身体部位とは異なる前記ユーザの身体部位が第2身体部位であり、
前記車体は、前記第1開口部に隣接する第2開口部をさらに有し、
前記車体は、前記ドア駆動部により駆動される第2ドアであって、前記第2開口部を開閉するように構成される、第2ドアをさらに備え、
前記カメラは、前記第2開口部に正対する前記ユーザを撮影するようにさらに構成され、
前記位置取得工程は、前記カメラが撮影した画像内における前記第2身体部位の位置である第2位置を取得することを含み、
前記方向判定工程は、前記画像内における前記参照位置に基づき、前記ユーザが前記第2開口部に正対しているか否かを判定することを含み、
前記ジェスチャ判定工程は、
前記ユーザが前記第1開口部及び前記第2開口部に正対していると判定する場合において、撮影時期の異なる複数の前記画像内における前記第2位置及び前記参照位置の変化に基づき、前記ユーザがジェスチャを実施したか否かを判定することと、
前記参照位置に対し、前記第2位置が前記第2ドアの開方向に対応する第2方向に移動した場合、前記ユーザが少なくとも前記第2ドアを開作動させるための第2ジェスチャを実施したと判定することと、を含む
請求項11に記載のジェスチャ検出方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022178155 | 2022-11-07 | ||
JP2022-178155 | 2022-11-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024101194A1 true WO2024101194A1 (ja) | 2024-05-16 |
Family
ID=91032888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/038978 WO2024101194A1 (ja) | 2022-11-07 | 2023-10-27 | ジェスチャ検出装置及びジェスチャ検出方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024101194A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010013824A (ja) * | 2008-07-02 | 2010-01-21 | Omron Corp | ドア制御装置および方法、並びに、プログラム |
JP2017141640A (ja) * | 2016-02-12 | 2017-08-17 | オムロンオートモーティブエレクトロニクス株式会社 | 車両制御システム |
JP2018084122A (ja) * | 2016-11-25 | 2018-05-31 | 株式会社ユーシン | ドア開閉装置 |
JP2021156154A (ja) * | 2020-03-25 | 2021-10-07 | 株式会社アイシン | 車両用操作検出装置及び車両用操作検出方法 |
JP2022134315A (ja) * | 2021-03-03 | 2022-09-15 | 株式会社東海理化電機製作所 | 制御装置およびプログラム |
JP2022158211A (ja) * | 2021-04-01 | 2022-10-17 | 株式会社Soken | 対象物制御装置 |
-
2023
- 2023-10-27 WO PCT/JP2023/038978 patent/WO2024101194A1/ja unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010013824A (ja) * | 2008-07-02 | 2010-01-21 | Omron Corp | ドア制御装置および方法、並びに、プログラム |
JP2017141640A (ja) * | 2016-02-12 | 2017-08-17 | オムロンオートモーティブエレクトロニクス株式会社 | 車両制御システム |
JP2018084122A (ja) * | 2016-11-25 | 2018-05-31 | 株式会社ユーシン | ドア開閉装置 |
JP2021156154A (ja) * | 2020-03-25 | 2021-10-07 | 株式会社アイシン | 車両用操作検出装置及び車両用操作検出方法 |
JP2022134315A (ja) * | 2021-03-03 | 2022-09-15 | 株式会社東海理化電機製作所 | 制御装置およびプログラム |
JP2022158211A (ja) * | 2021-04-01 | 2022-10-17 | 株式会社Soken | 対象物制御装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6195713B2 (ja) | 奥行きセンサーの使用によるアブレーターワークステーションのタッチフリー操作 | |
KR102012254B1 (ko) | 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치 | |
JP5944287B2 (ja) | 動作予測装置及びそれを用いた入力装置 | |
KR20150076627A (ko) | 차량 운전 학습 시스템 및 방법 | |
Uhlin et al. | Towards an active visual observer | |
JP2007514211A5 (ja) | ||
JP2000163196A (ja) | ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置 | |
JP5001930B2 (ja) | 動作認識装置及び方法 | |
KR20200091988A (ko) | 장치를 제어하기 위한 방법 및 그 전자 장치 | |
JP7062930B2 (ja) | 制御装置およびプログラム | |
WO2024101194A1 (ja) | ジェスチャ検出装置及びジェスチャ検出方法 | |
JP2014059803A (ja) | 入力装置 | |
JP2019093152A5 (ja) | ||
US20210103736A1 (en) | Control apparatus, control system, control method, and storage medium | |
JP2021156154A (ja) | 車両用操作検出装置及び車両用操作検出方法 | |
WO2024014182A1 (ja) | 車両用ジェスチャ検出装置及び車両用ジェスチャ検出方法 | |
KR101374316B1 (ko) | 시스루 디스플레이를 이용한 동작인식 장치 및 그 방법 | |
WO2019142523A1 (ja) | 先端アタッチメント判別装置 | |
JP2021091067A (ja) | 情報処理装置、方法およびプログラム | |
JP2023004045A (ja) | 車両用操作検出装置及び車両用操作検出方法 | |
JP2023170577A (ja) | 車両用ジェスチャ検出装置及び車両用ジェスチャ検出方法 | |
KR20230031410A (ko) | 사용자 제스쳐 인식 기반의 자동문 제어 시스템 및 그 방법 | |
US20210301580A1 (en) | Vehicle operation detection device and vehicle operation detection method | |
JP2024050203A (ja) | ジェスチャ検出装置及びジェスチャ検出方法 | |
US20230193684A1 (en) | Operation detection device for vehicle and operation detection method for vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23888542 Country of ref document: EP Kind code of ref document: A1 |