WO2023176034A1 - 制御装置および制御方法 - Google Patents
制御装置および制御方法 Download PDFInfo
- Publication number
- WO2023176034A1 WO2023176034A1 PCT/JP2022/039533 JP2022039533W WO2023176034A1 WO 2023176034 A1 WO2023176034 A1 WO 2023176034A1 JP 2022039533 W JP2022039533 W JP 2022039533W WO 2023176034 A1 WO2023176034 A1 WO 2023176034A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- reference point
- control device
- fingertip
- display
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
Definitions
- the present disclosure relates to a control device and a control method.
- a virtual touch device for remotely controlling an electronic device having a display surface is known (for example, see Patent Document 1).
- the present inventor has developed a technology that detects the movement of two fingertips in the air by a user in front of a display, and enlarges, reduces, rotates, etc. the image according to the detected movement. It has been recognized that if the center is enlarged, it may give the user a sense of discomfort.
- An object of the present disclosure is to provide a technique that does not cause a user to feel uncomfortable in a technique that processes an image according to the movement of a part of the user's body.
- a control device acquires spatial coordinates of each of a first part, a second part, and a third part of a user's body located in front of a display, A midpoint between the spatial coordinates of the first part and the spatial coordinates of the second part is specified, and a point on the display where a virtual straight line passing through the identified midpoint and the spatial coordinates of the third part intersects is set as a reference point.
- the image forming apparatus includes a reference point setting section and a function execution section that executes processing on the image displayed on the display in accordance with the movements of the first portion and the second portion with reference to the set reference point.
- the method includes the steps of obtaining spatial coordinates of each of a first part, a second part, and a third part of a user's body located in front of a display, and the spatial coordinates of the first part and the spatial coordinates of the second part. and setting a point on the display where a virtual straight line passing through the identified midpoint and the spatial coordinates of the third portion intersects as a reference point, and with the set reference point as a reference,
- the method includes the step of performing processing on the image displayed on the display in accordance with the movements of the first portion and the second portion.
- FIG. 1 is a block diagram of a display system according to an embodiment.
- FIG. 2 is a perspective view showing a situation where a user inputs an operation to the display system of FIG. 1;
- FIG. 3 is a diagram illustrating an example in which a user performs a rotational motion.
- FIG. 2 is a diagram showing a situation in which the display system of FIG. 1 recognizes two fingertips of a user.
- 5 is a diagram following FIG. 4 and showing a situation in which the user holds two fingertips still for a predetermined period of time;
- FIG. FIG. 3 is a diagram illustrating an example in which two users each perform multiple operations.
- FIG. 6 is a diagram illustrating an example in which a user performs a multi-operation and another user performs a single operation.
- 2 is a flowchart showing processing of the display system of FIG. 1.
- FIG. 9 is a flowchart showing processing for one user in S14 of FIG. 8.
- FIG. 1 is a block diagram of a display system 1 according to an embodiment.
- FIG. 2 is a perspective view showing a situation in which the user U1 inputs an operation to the display system 1 of FIG.
- the display system 1 includes a sensor 10, a control device 12, and a display 14. In FIG. 2, illustration of the control device 12 is omitted.
- the display system 1 may be installed indoors or the like, or may be mounted on a vehicle such as an automobile, and its use is not particularly limited.
- the user U1 By moving a fingertip in the air without touching the display 14, the user U1 can input an operation corresponding to the movement to the control device 12, and the control device 12 executes a process according to the input operation.
- An operation in which the user U1 moves a fingertip in the air can also be called an air touch operation or a gesture operation.
- the sensor 10 is, for example, a depth camera, and is installed at a position where it can image the user U1 located in front of the display surface of the display 14.
- the sensor 10 periodically images the user U ⁇ b>1 and outputs the captured time-series distance images to the control device 12 .
- the frequency of imaging can be determined as appropriate through experiment or simulation, and may be, for example, multiple times per second.
- the distance image includes information on the spatial coordinates of each position within the image. These spatial coordinates are coordinates in a three-dimensional orthogonal coordinate system specific to the sensor 10.
- the control device 12 recognizes the movement of the fingertip of the user U1 based on the time-series distance images supplied from the sensor 10, receives an operation input according to the movement of the fingertip, and displays information on the display 14 according to the operation. control the images that are displayed.
- the display 14 displays images under the control of the control device 12.
- the display 14 may have, for example, a screen size of several tens of inches or more for indoor installation, or a smaller screen size for in-vehicle use.
- the number of fingertips that can be used for operation input is, for example, one or two for one user. An example of operation using one fingertip will also be described later.
- the control device 12 displays the screen of the display 14.
- the image is reduced around the reference point P5.
- the midpoint between the position P1 of the fingertip 50 and the position P2 of the fingertip 52 is set as P4, and the reference point P5 is the screen of the display 14 where a virtual straight line passing through the position P3 of one eye 54 of the user U1 and the midpoint P4 intersects. This is the point above.
- the control device 12 may or may not display an image indicating the reference point P5 on the display 14.
- control device 12 enlarges the image centered on the reference point P5 on the screen.
- the image can be reduced or enlarged centering on the user U1's viewpoint on the image when the user U1's line of sight passes through the midpoint P4 between the two fingertips, making it less likely that the user U1 will feel uncomfortable.
- the image in a comparative example in which the image is reduced or enlarged around a position far away from the viewpoint of the user U1 on the image when the line of sight of the user U1 passes through the intermediate point P4, the image differs from the intention of the user U1. There is a possibility that a reduced image or an enlarged image will be obtained, which may give a feeling of discomfort to the user U1.
- FIG. 3 shows an example in which the user U1 performs a rotating motion.
- FIG. 3 shows the X-axis, Y-axis, and Z-axis of the three-dimensional orthogonal coordinate system of the display system 1.
- the control device 12 rotates the image around a reference point P5 on the screen and around an axis parallel to the Y axis on the screen.
- the user U1 performs a rotational motion in which the fingertips 50 of the right hand and the fingertips 52 in the left hand are rotated in the direction of arrow A3 around the intermediate point P4, that is, a rotational motion in which the two fingertips are rotated around an axis parallel to the X-axis.
- the control device 12 rotates the image around the reference point P5 on the screen and around an axis parallel to the X axis on the screen.
- the control device 12 rotates the fingertips parallel to the virtual axis on the screen, centering on the reference point P5 on the screen. Rotate the image around an axis.
- the image can be rotated around the user U1's viewpoint on the image when the user U1's line of sight passes through the midpoint P4 between the two fingertips.
- Multi-operations may include other operations.
- the two fingertips used for multi-operation may be any two fingertips of one hand, for example, the thumb and index finger of one hand.
- the two fingertips 50 and 52 used for operation are just an example, and may be the first and second parts of the user's body.
- the first part and the second part may be parts that can be moved individually to perform multiple operations, and may be, for example, two wrists, two clenched fists, or two palms.
- the eye 54 is also an example, and may be a third part of the user's body that is different from the first part and the second part.
- the third portion may be, for example, a part of the face, such as a nose, a mouth, a midpoint between two eyes, or a midpoint between two ears.
- the first part and the second part are two fingertips, and the third part is an eye.
- the control device 12 includes a control section 20 and a storage section 22.
- the control unit 20 includes an image acquisition unit 24, a coordinate calculation unit 26, a determination unit 28, a reference point setting unit 30, a function execution unit 32, and a display output unit 34.
- the configuration of the control unit 20 can be realized in terms of hardware by the CPU, memory, or other LSI of any computer, and in terms of software, it can be realized by a program loaded into the memory, but here, we will explain them. It depicts functional blocks realized through collaboration. Therefore, those skilled in the art will understand that these functional blocks can be implemented in various ways using only hardware, only software, or a combination thereof.
- the control device 12 includes, for example, a processor and a memory, and the processor executes a program loaded into the memory, thereby realizing the functions of the control unit 20 and each functional block included in the control unit 20.
- the storage unit 22 stores various information.
- the storage unit 22 is realized by hardware for storing information (in other words, data), such as memory or storage.
- the storage unit 22 holds coordinate information, pairing information, and command information.
- the coordinate information includes the spatial coordinates of the installation position of the sensor 10, the installation angle of the sensor 10, and the spatial coordinates of the installation position of the display 14.
- the storage unit 22 also stores reference point information. Details of the coordinate information, pairing information, command information, and reference point information will be described later.
- the image acquisition unit 24 acquires from the sensor 10 time-series distance images of one or more users located in front of the display 14, and performs image recognition on each of the acquired distance images.
- a first fingertip, a second fingertip, and an eye are detected.
- Known image recognition technology can be used to detect fingertips and eyes.
- the image acquisition unit 24 detects one of the two eyes located within a predetermined distance in the distance image.
- the predetermined distance is, for example, several centimeters, and two eyes located within the predetermined distance can be considered to be the eyes of the same user. This process corresponds to the image acquisition unit 24 detecting the eyes of each user. If multiple users are present in the range image, multiple eyes are detected. The number of eyes detected represents the number of users in front of the display 14.
- the image acquisition unit 24 acquires the spatial coordinates of the detected first fingertip, second fingertip, and eye in time series, and outputs them to the coordinate calculation unit 26.
- the coordinate calculation unit 26 calculates the spatial coordinates of the user's first fingertip, second fingertip, and eye in the coordinate system of the sensor 10 supplied from the image acquisition unit 24 and the coordinates stored in the storage unit 22. Based on the spatial coordinates of the installation position of the sensor 10 and the installation angle of the sensor 10 included in the information, each of the user's first fingertip, second fingertip, and eye in the three-dimensional orthogonal coordinate system of the display system 1 Compute the spatial coordinates of in time series. The coordinate calculation unit 26 outputs the calculated spatial coordinates to the determination unit 28.
- the determination unit 28 determines an operation to be accepted for each of the one or more detected eyes, that is, for each user.
- the type of information is determined and the determined information is output to the function execution unit 32.
- the pairing information includes a first distance, a second distance, and a predetermined time shown below.
- the determination unit 28 instructs the reference point setting unit 30 to set the reference point. do.
- the reference point setting process will be described later.
- the determination unit 28 For each of the detected one or more eyes, when the first fingertip and the second fingertip are located within a first distance from the eye, the determination unit 28 performs the multi-operation if a predetermined multi-operation condition is satisfied. Decide whether to accept. Deciding to accept multiple operations corresponds to pairing a first fingertip and a second fingertip located within a first distance from the eyes.
- the multi-operation condition is that the distance between the first fingertip and the second fingertip is less than or equal to the second distance, and the first fingertip and the second fingertip are not stationary for a predetermined period of time or more.
- the first distance may be, for example, several tens of cm, a value in the range of 40 cm to 60 cm, or 50 cm.
- the second distance may be, for example, several tens of cm, a value in the range of 40 cm to 60 cm, or 50 cm.
- the first distance and the second distance may be equal or different.
- the predetermined time may be, for example, several seconds or 2 seconds. The first distance, the second distance, and the predetermined time can be determined as appropriate through experiment or simulation. The first distance, the second distance, and the predetermined time may be set by the user.
- the determination unit 28 accepts a single operation based on the movement of the fingertip that is within the first distance from the eye.
- the determination unit 28 determines whether the first fingertip and determines processing according to the movement of the second fingertip.
- the command information is information that associates the movements of the first fingertip and the second fingertip with a predetermined process.
- the determination unit 28 determines not to perform the process if the first fingertip and the second fingertip are not located within a first distance from the eye. In this case, a situation is assumed in which the user's eyes are detected but the user's fingertips are not detected, that is, the user does not show his or her fingertips and is not attempting to perform a gesture operation.
- the reference point setting unit 30 acquires the spatial coordinates of the first fingertip, the second fingertip, and the eye from the determining unit 28 for each of the one or more detected eyes according to the instruction from the determining unit 28. , specify the midpoint between the spatial coordinates of the first fingertip and the spatial coordinate of the second fingertip, and set the point on the display 14 where the virtual straight line passing through the specified midpoint and the spatial coordinate of the eye intersects as the reference point. Set as .
- the reference point setting unit 30 sets a reference point based on the spatial coordinates of the installation position of the display 14 included in the coordinate information stored in the storage unit 22.
- the reference point is a coordinate in a two-dimensional orthogonal coordinate system on the display surface of the display 14.
- the reference point setting unit 30 causes the storage unit 22 to store coordinate information of the set reference point as reference point information.
- the set reference point is maintained, for example, until it is switched to accepting a single operation.
- the function execution unit 32 executes a process based on the content of the process determined by the determination unit 28 and the reference point information stored in the storage unit 22 regarding the user. , executes processing on the image displayed on the display 14 according to the movements of the first fingertip and the second fingertip using the set reference point as a reference.
- the function execution section 32 generates image data that has been processed in accordance with the operation, and supplies it to the display output section 34 .
- the function execution unit 32 performs a process of reducing an image around a reference point in response to a pinch-in motion that brings the first and second fingertips closer together, as a process that corresponds to the movement of the first and second fingertips. Execute. The function execution unit 32 reduces the image to a degree corresponding to the moving distance of the first fingertip and the second fingertip.
- the function execution unit 32 enlarges the image around the reference point in response to a pinch-out operation that moves the first fingertip and the second fingertip away from each other. Execute processing.
- the function execution unit 32 enlarges the image to a degree corresponding to the moving distance of the first fingertip and the second fingertip.
- the function execution unit 32 rotates the first fingertip and the second fingertip around the reference point in response to a rotation operation of rotating the first fingertip and the second fingertip around the intermediate point. Execute the process of rotating the image as .
- the image to be rotated may be a target image such as a partial stereoscopic image within the screen.
- the function execution unit 32 rotates the image by an angle corresponding to the rotation angle of the virtual straight line connecting the first fingertip and the second fingertip.
- the function execution unit 32 When the determination unit 28 determines to accept the single operation, the function execution unit 32 performs a first single operation based on the process determined by the determination unit 28 for the user. , a second single operation by the movement of the second fingertip.
- the function execution unit 32 does not execute the process if the first fingertip and the second fingertip are not located within the first distance from the eye.
- the display output unit 34 outputs the image data supplied from the function execution unit 32 to the display 14, and causes the display 14 to display the image.
- FIG. 4 shows a situation in which the display system 1 of FIG. 1 recognizes two fingertips of the user U1. It is assumed that the distance between the two fingertips is less than or equal to a second distance.
- the control device 12 sets a reference point P5. In this state, the control device 12 can accept multiple operations.
- FIG. 5 shows, following FIG. 4, a situation in which the user U1 keeps his two fingertips still for a predetermined period of time.
- the control device 12 switches to accepting a single operation. Therefore, the user U1 performs a single operation using the operation point P5a on the screen corresponding to the spatial coordinates of the position P1 of the fingertip 50 and the operation point P5b on the screen corresponding to the spatial coordinates of the position P2 of the fingertip 52. can be done.
- control device 12 sets a point on the display 14 where a virtual straight line passing through the eye position P3 and the fingertip 50 position P1 intersects as the operating point P5a, and sets the eye position P3 and the fingertip 52 position P2 as the operating point P5a.
- a point on the display 14 where the virtual straight line intersects may be set as the operating point P5b.
- the control device 12 may or may not display images such as a cursor indicating each of the operating points P5a and P5b on the display 14.
- the user U1 can move the operating point P5a within the screen by moving the fingertip 50 in the air, can move the operating point P5b within the screen by moving the fingertip 52 in the air, and can move the operating point P5a and the operating point P5b can be used to perform various known operations that are different from multi-operations. For example, by sandwiching the image of the object displayed on the display 14 from both sides between the operating points P5a and P5b, and moving the operating points P5a and P5b in this state, the image of the object can be moved. .
- control device 12 decides to accept the multi-operation again. Therefore, it is possible to easily switch between multi-operation and single-operation in a short time.
- FIG. 6 shows an example in which two users U1 and U2 each perform multi-operation.
- the distance d1 between the eye position P3 and the fingertip position P1 of the user U1, and the distance d2 between the eye position P3 and the fingertip position P2 are each less than or equal to the first distance.
- the control device 12 pairs two fingertips of the user U1 within a first distance from the eye position P3 of the user U1, and receives multiple operations using these fingertips.
- the distance d11 between the eye position P13 and the fingertip position P11 of the user U2 and the distance d12 between the eye position P13 and the fingertip position P12 are also each less than or equal to the first distance.
- the control device 12 pairs two fingertips of the user U2 within a first distance from the eye position P13 of the user U2, and receives multi-operations using these fingertips.
- the control device 12 specifies the midpoint P14 between the fingertip position P11 and the fingertip position P12 for the user U2, and sets the point on the display 14 where the virtual straight line passing through the midpoint P14 and the eye position P13 intersects as a reference point. Set as point P15.
- the control device 12 executes processing on the image based on the movements of the two fingertips around the reference point P15.
- the user U1 can perform multiple operations on one image, and the user U2 can perform multiple operations on the other image, which is highly convenient. At least one user can similarly perform multiple operations using two fingertips of one hand.
- FIG. 7 shows an example in which a user U1 performs a multi-operation and another user U2 performs a single operation.
- the control device 12 pairs two fingertips of the user U1 within a first distance from the eye position P3 of the user U1, and receives multiple operations using these fingertips. Since the distance d3 between the position P3 and the position P11 of one fingertip of the right hand of the user U2 is larger than the first distance, the control device 12 does not pair the fingertip at the position P11 with the fingertip at the position P2.
- the control device 12 accepts a single operation using this fingertip.
- the user U2 can perform a single operation using an operation point P15a on the screen that corresponds to the spatial coordinates of the fingertip position P11.
- the user U2 may perform the single operation using the fingertips of the left hand instead of the fingertips of the right hand.
- control device 12 does not pair these two fingertips and accepts a single operation from each user. .
- control device 12 detects the eyes of that user U2, but does not execute the process regarding the user U2.
- FIG. 8 is a flowchart showing the processing of the display system 1 of FIG.
- the image acquisition unit 24 determines whether the eyes and fingertips are detected (S10), and if not detected (N in S10), the process returns to S10. If the eyes and fingertips are detected (Y in S10), the coordinate calculation unit 26 calculates the three-dimensional coordinates of the eyes and fingertips (S12).
- the determination unit 28 determines the type of operation to be accepted for each user (S14), and the function execution unit 32 executes a process corresponding to the operation for each user (S16), and ends the process.
- the function execution unit 32 may execute the process according to the operation in order from the user whose operation type was determined in S14.
- FIG. 9 is a flowchart showing the processing for one user in S14 of FIG. If there are multiple users, in S14 of FIG. 8, the process of FIG. 9 is executed for each user.
- the determination unit 28 determines not to perform the process (S34) and ends the process. If the number of fingertips within the first distance from the eye is "1" ("1" in S20), the determination unit 28 determines to accept the single operation (S32), and ends the process.
- the reference point setting unit 30 derives the three-dimensional coordinates of the midpoint between the two fingertips (S24), and sets a reference point on the display 14 from the three-dimensional coordinates of the midpoint and the three-dimensional coordinates of the eyes (S26). If the fingertip does not remain stationary for a predetermined period of time or more (N in S28), the determination unit 28 determines to accept the multi-operation (S30), and ends the process.
- the process moves to S32. If the fingertip remains stationary for a predetermined period of time or more in S28 (Y in S28), the process moves to S32.
- the image can be reduced, enlarged, rotated, etc. using the user's viewpoint on the image when the user's line of sight passes through the midpoint between two fingertips as a reference point, so that the user does not feel uncomfortable. It can be difficult to give.
- a control device includes: Obtain the spatial coordinates of each of a first part, a second part, and a third part of the user's body located in front of the display, and obtain the midpoint between the spatial coordinates of the first part and the spatial coordinates of the second part.
- a reference point setting unit that specifies a point on the display where a virtual straight line passing through the specified intermediate point and the spatial coordinates of the third portion intersects as a reference point;
- a function execution unit that executes processing on the image displayed on the display in accordance with movements of the first portion and the second portion with reference to the set reference point; Equipped with.
- processing can be performed on the image using a position close to the viewpoint on the image as the reference point when the user's line of sight passes through the midpoint between the first part and the second part. Therefore, it is possible to prevent the user from feeling uncomfortable.
- the first portion is a first fingertip of the user; the second portion is a second fingertip of the user;
- the third portion may be a portion of the user's face.
- the image can be easily manipulated based on the movements of the two fingertips. Furthermore, since the third portion is a part of the user's face, a position closer to the viewpoint on the image when the user's line of sight passes through the midpoint between the first and second portions can be set as the reference point. Therefore, it is possible to make the user feel less uncomfortable.
- the third portion may be the user's eyes.
- the viewpoint on the image when the user's line of sight passes through the midpoint between the first fingertip and the second fingertip can be used as the reference point. Therefore, it is possible to further reduce the feeling of discomfort to the user.
- the control device further includes an image acquisition unit that acquires images of one or more of the users and detects the third portion of each of the users based on the acquired images,
- the reference point setting unit sets the reference point for each of the detected one or more third parts when the first part and the second part are located within a first distance from the third part. May be set.
- a reference point can be set for each of the one or more users who satisfy the conditions.
- the function execution unit performs a predetermined multi-operation when the first part and the second part are located within the first distance from the third part. If the conditions are met, processing may be performed on the image based on the movement of the first portion and the second portion using the reference point as a reference.
- processing can be performed on the image using the reference point as a reference for each of the one or more users who satisfy the conditions. Therefore, operations by multiple users can be supported.
- the function execution unit is configured to determine, with respect to each of the one or more detected third portions, that the first portion and the second portion are located within the first distance from the third portion, but the multi-operation condition is met. If not satisfied, or if only one of the first part and the second part is located within the first distance from the third part, processing according to the movement of the first part; At least one of the processes depending on the movement of the second portion may be executed.
- At least one of a process according to the movement of the first part and a process according to the movement of the second part can be executed for each of the one or more users who satisfy the condition. Therefore, it is possible to support various operations by a plurality of users.
- the multi-operation condition may be that the distance between the first portion and the second portion is less than or equal to a second distance, and the first portion and the second portion are not stationary for a predetermined period of time or more.
- the user can easily satisfy the multi-operation conditions.
- the function execution unit performs processing according to the movement of the first part and the second part, A process of reducing the image around the reference point in response to a pinch-in operation that brings the first part and the second part closer together; A process of enlarging the image around the reference point may be performed in response to a pinch-out operation that moves the first portion and the second portion away from each other.
- the image can be enlarged or reduced around the reference point according to the operations performed by the first part and the second part.
- the function execution unit is configured to perform a rotation operation that rotates the first portion and the second portion around the intermediate point as a process corresponding to the movement of the first portion and the second portion.
- the image may be rotated around .
- the image can be rotated around the reference point according to the operations performed by the first part and the second part.
- a control method includes: obtaining spatial coordinates of each of a first part, a second part, and a third part of the user's body located in front of the display; specifying a midpoint between the spatial coordinates of the first portion and the spatial coordinates of the second portion, and a point on the display where a virtual straight line passing through the specified midpoint and the spatial coordinates of the third portion intersects; a step of setting as a reference point; performing processing on the image displayed on the display in accordance with movements of the first portion and the second portion with reference to the set reference point; Equipped with.
- the present disclosure can be used in a control device and a control method.
- SYMBOLS 1 Display system, 10... Sensor, 12... Control device, 14... Display, 20... Control part, 22... Storage part, 24... Image acquisition part, 26... Coordinate calculation part, 28... Judgment part, 30... Reference point setting Section, 32...Function execution section, 34...Display output section, 50...Fingertip, 52...Fingertip, 54...Eye, P4...Intermediate point, P5...Reference point.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
制御装置12において、基準点設定部30は、ディスプレイ14の前に位置するユーザの身体の第1部分、第2部分、および第3部分のそれぞれの空間座標を取得し、第1部分の空間座標と第2部分の空間座標との中間点を特定し、特定された中間点と第3部分の空間座標とを通る仮想直線が交差するディスプレイ14上の点を基準点として設定する。機能実行部32は、設定された基準点を基準として、第1部分と第2部分の動きに応じた処理をディスプレイ14に表示された画像に対して実行する。
Description
本開示は、制御装置および制御方法に関する。
表示面を有する電子機器を遠隔操作するための仮想タッチ装置が知られている(たとえば特許文献1参照)。
本発明者は、ディスプレイの前のユーザが空中で2つの指先を動かしたことを検出し、検出した動きに応じて画像を拡大、縮小、回転等させる技術において、ユーザが意図していない位置を中心として拡大等がなされると、ユーザに違和感を与える可能性があることを認識した。
本開示の目的は、ユーザの身体の一部の動きに応じて画像を処理する技術において、ユーザに違和感を与えにくい技術を提供することにある。
上記課題を解決するために、本開示のある態様の制御装置は、ディスプレイの前に位置するユーザの身体の第1部分、第2部分、および第3部分のそれぞれの空間座標を取得し、第1部分の空間座標と第2部分の空間座標との中間点を特定し、特定された中間点と第3部分の空間座標とを通る仮想直線が交差するディスプレイ上の点を基準点として設定する基準点設定部と、設定された基準点を基準として、第1部分と第2部分の動きに応じた処理をディスプレイに表示された画像に対して実行する機能実行部と、を備える。
本開示の別の態様は、制御方法である。この方法は、ディスプレイの前に位置するユーザの身体の第1部分、第2部分、および第3部分のそれぞれの空間座標を取得するステップと、第1部分の空間座標と第2部分の空間座標との中間点を特定し、特定された中間点と第3部分の空間座標とを通る仮想直線が交差するディスプレイ上の点を基準点として設定するステップと、設定された基準点を基準として、第1部分と第2部分の動きに応じた処理をディスプレイに表示された画像に対して実行するステップと、を備える。
本開示によれば、ユーザの身体の一部の動きに応じて画像を処理する技術において、ユーザに違和感を与えにくくできる。
以下、各図面に示される同一または同等の構成要素、部材、工程には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示される。
図1は、実施の形態の表示システム1のブロック図である。図2は、図1の表示システム1にユーザU1が操作を入力する状況を示す斜視図である。表示システム1は、センサ10、制御装置12、およびディスプレイ14を備える。図2では、制御装置12の図示を省略する。
表示システム1は、室内等に設置されてもよく、自動車などの車両に搭載されてもよく、用途は特に限定されない。ユーザU1がディスプレイ14に触れず空中で指先を動かすことで、動きに応じた操作を制御装置12に対して入力でき、制御装置12は入力された操作に応じた処理を実行する。ユーザU1が空中で指先を動かす操作は、空中タッチ操作またはジェスチャー操作とも呼べる。
センサ10は、例えば深度カメラであり、ディスプレイ14の表示面の前に位置するユーザU1を撮像可能な位置に設置される。センサ10は、ユーザU1を定期的に撮像し、撮像した時系列の距離画像を制御装置12に出力する。撮像する頻度は、実験やシミュレーションにより適宜定めることができ、例えば、1秒間に複数回であってよい。距離画像は、画像内の各位置の空間座標の情報を含む。この空間座標は、センサ10に固有の3次元直交座標系における座標である。
制御装置12は、センサ10から供給された時系列の距離画像に基づいて、ユーザU1の指先の動きを認識し、指先の動きに応じた操作入力を受け付け、その操作に応じてディスプレイ14に表示される画像を制御する。
ディスプレイ14は、制御装置12の制御に従い画像を表示する。ディスプレイ14は、例えば、室内設置用の数十インチ以上の画面サイズでもよいし、車載用のより小さい画面サイズでもよい。
ユーザは、1人以上であってよい。2人のユーザによる操作例は後述する。操作入力に利用できる指先の数は、1人のユーザについて、例えば1つまたは2つである。1つの指先による操作例も後述する。
図2に示すように、例えば、ユーザU1が矢印A1の方向に右手の指先50と左手の指先52を動かし、2つの指先を近づけるピンチイン動作を行うと、制御装置12は、ディスプレイ14の画面上において基準点P5を中心として画像を縮小させる。指先50の位置P1と指先52の位置P2との中間点をP4として、基準点P5は、ユーザU1の一方の目54の位置P3と中間点P4とを通る仮想直線が交差するディスプレイ14の画面上の点である。制御装置12は、基準点P5を示す画像をディスプレイ14に表示させてもよいし、表示させなくてもよい。
また、ユーザが矢印A1の反対方向に2つの指先を動かし、2つの指先を遠ざけるピンチアウト動作を行うと、制御装置12は、画面上の基準点P5を中心として画像を拡大させる。
このように、ユーザU1の視線が2つの指先の中間点P4を通るときの画像上のユーザU1の視点を中心に画像の縮小または拡大を実行できるので、ユーザU1に違和感を与えにくくできる。これに対して、ユーザU1の視線が中間点P4を通るときの画像上のユーザU1の視点から大きく離れた位置を中心に画像が縮小または拡大される比較例では、ユーザU1の意図とは異なる縮小画像または拡大画像が得られる可能性があり、ユーザU1に違和感を与える可能性がある。
図3は、ユーザU1が回転動作を行う例を示す。図3では、表示システム1の3次元直交座標系のX軸、Y軸、Z軸を示す。ユーザU1が右手の指先50と左手の指先52を矢印A2の方向に中間点P4の周りで回転させる回転動作、すなわち2つの指先をY軸に平行な軸の周りで回転させる回転動作を行うと、制御装置12は、画面上の基準点P5を中心として、画面上のY軸に平行な軸の周りで画像を回転させる。
また、ユーザU1が右手の指先50と左手の指先52を矢印A3の方向に中間点P4の周りで回転させる回転動作、すなわち2つの指先をX軸に平行な軸の周りで回転させる回転動作を行うと、制御装置12は、画面上の基準点P5を中心として、画面上のX軸に平行な軸の周りで画像を回転させる。
図示しないが、ユーザU1が2つの指先を任意の仮想軸の周りで回転させる回転動作を行うと、制御装置12は、画面上の基準点P5を中心として、画面上の当該仮想軸に平行な軸の周りで画像を回転させる。
よって、ユーザU1の視線が2つの指先の中間点P4を通るときの画像上のユーザU1の視点を中心に、画像の回転を実行できる。
1人のユーザの2つの指先を用いたピンチイン動作、ピンチアウト動作、および回転動作による操作をマルチ操作と呼ぶ。マルチ操作は、他の操作を含んでもよい。マルチ操作に用いられる2つの指先は、片手の任意の2つの指先であってもよく、例えば片手の親指と人差し指の指先であってもよい。
操作に利用する2つの指先50と指先52は一例であり、ユーザの身体の第1部分と第2部分であってよい。第1部分と第2部分は、個別に動かしてマルチ操作を実行できる部分であればよく、例えば、2つの手首、2つの握り拳、または2つの手のひらなどでもよい。また、目54も一例であり、第1部分および第2部分とは異なるユーザの身体の第3部分であってよい。第3部分は、例えば、顔の一部分であってもよく、鼻、口、2つの目の中間点、または2つの耳の中間点などであってもよい。第3部分は、目に近いほど、ユーザの視線が中間点P4を通るときの画像上の視点に近い基準点P5を設定できる。実施の形態では、第1部分と第2部分は2つの指先であり、第3部分は目である一例について説明する。
図1に示すように、制御装置12は、制御部20および記憶部22を備える。制御部20は、画像取得部24、座標演算部26、判定部28、基準点設定部30、機能実行部32、および表示出力部34を有する。
制御部20の構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。制御装置12は、例えばプロセッサとメモリとを備え、プロセッサがメモリにロードされたプログラムを実行することによって、制御部20および制御部20が有する各機能ブロックの機能を実現する。
記憶部22は、各種情報を記憶する。記憶部22は、メモリまたはストレージのような、情報(言い換えるとデータ)を記憶するためのハードウェアにより実現される。記憶部22は、座標情報、ペアリング情報、コマンド情報、を保持する。座標情報は、センサ10の設置位置の空間座標、センサ10の取り付け角度、およびディスプレイ14の設置位置の空間座標を含む。また、記憶部22は、基準点情報を記憶する。座標情報、ペアリング情報、コマンド情報、および基準点情報の詳細は後述する。
画像取得部24は、ディスプレイ14の前に位置する1以上のユーザを撮像した時系列の距離画像をセンサ10から取得し、取得したそれぞれの距離画像を画像認識することで、1以上のユーザの第1の指先、第2の指先、および目を検出する。指先と目の検出には公知の画像認識技術を利用できる。
画像取得部24は、距離画像において所定距離内に位置する2つの目のうち一方を検出する。所定距離は、例えば数cmであり、所定距離内に位置する2つの目は、同一ユーザの目であるとみなせる。この処理は、画像取得部24が、それぞれのユーザの目を検出することに相当する。距離画像内に複数のユーザが存在する場合、複数の目が検出される。検出された目の数は、ディスプレイ14の前のユーザの数を表す。
画像取得部24は、検出した第1の指先、第2の指先、および目のそれぞれの空間座標を時系列に取得し、座標演算部26に出力する。
座標演算部26は、画像取得部24から供給されたセンサ10の座標系でのユーザの第1の指先、第2の指先、および目のそれぞれの空間座標と、記憶部22に記憶された座標情報に含まれるセンサ10の設置位置の空間座標およびセンサ10の取り付け角度とに基づいて、表示システム1の3次元直交座標系でのユーザの第1の指先、第2の指先、および目のそれぞれの空間座標を時系列に演算する。座標演算部26は、演算した空間座標を判定部28に出力する。
判定部28は、座標演算部26から供給された空間座標と、記憶部22に記憶されたペアリング情報とに基づいて、検出された1以上の目のそれぞれに関して、すなわち各ユーザに関して、受け付ける操作の種類を決定し、決定した情報を機能実行部32に出力する。ペアリング情報は、以下に示す第1距離、第2距離、および所定時間を含む。
判定部28は、検出された1以上の目のそれぞれに関して、目から第1距離の範囲に第1の指先と第2の指先が位置する場合、基準点設定部30に基準点の設定を指示する。基準点の設定処理は後述する。
判定部28は、検出された1以上の目のそれぞれに関して、目から第1距離の範囲に第1の指先と第2の指先が位置する場合、所定のマルチ操作条件が満たされれば、マルチ操作の受け付けを決定する。マルチ操作の受け付けを決定することは、目から第1距離の範囲に位置する第1の指先と第2の指先をペアリングすることに相当する。
マルチ操作条件は、第1の指先と第2の指先の距離が第2距離以下であり、かつ、第1の指先と第2の指先が所定時間以上にわたり静止していないことである。
第1距離は、例えば、数十cmであってよく、40cm~60cmの範囲の値であってもよく、50cmであってもよい。第2距離は、例えば、数十cmであってよく、40cm~60cmの範囲の値であってもよく、50cmであってもよい。第1距離と第2距離は、等しくてもよいし、異なってもよい。所定時間は、例えば、数秒であってよく、2秒であってもよい。第1距離、第2距離、および所定時間は、実験やシミュレーションにより適宜定めることができる。第1距離、第2距離、および所定時間は、ユーザが設定できてもよい。
判定部28は、検出された1以上の目のそれぞれに関して、目から第1距離の範囲に第1の指先と第2の指先が位置するがマルチ操作条件が満たされない場合、または、目から第1距離の範囲に第1の指先と第2の指先のいずれか一方のみが位置する場合、シングル操作の受け付けを決定する。シングル操作は、1つまたは2つの指先のそれぞれに対応する画面上の操作点を用いた操作であり、その具体例は後述する。目から第1距離の範囲に第1の指先および第2の指先の一方のみが位置する場合、判定部28は、目から第1距離の範囲に存在する指先の動きによるシングル操作を受け付ける。
判定部28は、マルチ操作またはシングル操作の受け付けを決定すると、第1の指先の空間座標、第2の指先の空間座標、および記憶部22に記憶されたコマンド情報に基づいて、第1の指先と第2の指先の動きに応じた処理を決定する。コマンド情報は、第1の指先と第2の指先の動きを所定の処理に関連付けた情報である。
判定部28は、検出された1以上の目のそれぞれに関して、目から第1距離の範囲に第1の指先と第2の指先が位置しない場合、処理を実行しないことを決定する。この場合、ユーザの目が検出されたが、そのユーザの指先は検出されていない状況、すなわちそのユーザは指先を出しておらずジェスチャー操作を行おうとしていない状況が想定される。
基準点設定部30は、判定部28からの指示に従い、検出された1以上の目のそれぞれに関して、判定部28から第1の指先、第2の指先、および目のそれぞれの空間座標を取得し、第1の指先の空間座標と第2の指先の空間座標との中間点を特定し、特定された中間点と目の空間座標とを通る仮想直線が交差するディスプレイ14上の点を基準点として設定する。
基準点設定部30は、記憶部22に記憶された座標情報に含まれるディスプレイ14の設置位置の空間座標に基づいて、基準点を設定する。基準点は、ディスプレイ14の表示面上の二次元直交座標系における座標である。
基準点設定部30は、設定した基準点の座標情報を基準点情報として記憶部22に記憶させる。設定された基準点は、例えば、シングル操作の受け付けに切り替えられるまで維持される。
機能実行部32は、判定部28でマルチ操作の受け付けが決定された場合、そのユーザに関して、判定部28で決定された処理の内容、および、記憶部22に記憶された基準点情報に基づいて、設定された基準点を基準として、第1の指先と第2の指先の動きに応じた処理をディスプレイ14に表示された画像に対して実行する。機能実行部32は、操作に応じた処理が実行された画像データを生成し、表示出力部34に供給する。
機能実行部32は、第1の指先と第2の指先の動きに応じた処理として、第1の指先と第2の指先を近づけるピンチイン動作に応じて、基準点を中心として画像を縮小させる処理を実行する。機能実行部32は、第1の指先と第2の指先の移動距離に応じた度合いで画像を縮小させる。
機能実行部32は、第1の指先と第2の指先の動きに応じた処理として、第1の指先と第2の指先を遠ざけるピンチアウト動作に応じて、基準点を中心として画像を拡大させる処理を実行する。機能実行部32は、第1の指先と第2の指先の移動距離に応じた度合いで画像を拡大させる。
機能実行部32は、第1の指先と第2の指先の動きに応じた処理として、第1の指先と第2の指先を中間点の周りで回転させる回転動作に応じて、基準点を中心として画像を回転させる処理を実行する。回転させる画像は、画面内の一部の立体画像などの対象画像でもよい。機能実行部32は、第1の指先と第2の指先を結ぶ仮想直線の回転角度に応じた角度だけ画像を回転させる。
機能実行部32は、判定部28でシングル操作の受け付けが決定された場合、そのユーザに関して、判定部28で決定された処理の内容に基づいて、第1の指先の動きによる第1シングル操作と、第2の指先の動きによる第2シングル操作との少なくともいずれかに応じた処理を実行する。
機能実行部32は、検出された目のそれぞれに関して、目から第1距離の範囲に第1の指先と第2の指先が位置しない場合、処理を実行しない。
表示出力部34は、機能実行部32から供給された画像データをディスプレイ14に出力し、ディスプレイ14に画像を表示させる。
次に、図4から図7を参照して様々な操作の例を示す。
図4は、図1の表示システム1がユーザU1の2つの指先を認識した状況を示す。2つの指先の距離は、第2距離以下であるとする。制御装置12は、基準点P5を設定する。この状態では、制御装置12は、マルチ操作を受け付け可能である。
図4は、図1の表示システム1がユーザU1の2つの指先を認識した状況を示す。2つの指先の距離は、第2距離以下であるとする。制御装置12は、基準点P5を設定する。この状態では、制御装置12は、マルチ操作を受け付け可能である。
図5は、図4に続く、ユーザU1が2つの指先を所定時間静止させた状況を示す。図4の状態で2つの指先が所定時間静止したことで、制御装置12は、シングル操作の受け付けに切り替える。そのため、ユーザU1は、指先50の位置P1の空間座標に対応する画面上の操作点P5aと、指先52の位置P2の空間座標に対応する画面上の操作点P5bとのそれぞれを用いたシングル操作を行える。
例えば、制御装置12は、目の位置P3と指先50の位置P1とを通る仮想直線が交差するディスプレイ14上の点を操作点P5aとして設定し、目の位置P3と指先52の位置P2とを通る仮想直線が交差するディスプレイ14上の点を操作点P5bとして設定してもよい。制御装置12は、操作点P5aと操作点P5bのそれぞれを示すカーソルなどの画像をディスプレイ14に表示させてもよいし、表示させなくてもよい。
ユーザU1は、指先50を空中で動かすことで操作点P5aを画面内で動かすことができ、指先52を空中で動かすことで操作点P5bを画面内で動かすことができ、操作点P5aと操作点P5bを用いて、マルチ操作とは異なる公知の各種操作を実行できる。例えば、操作点P5aと操作点P5bでディスプレイ14に表示された対象物の画像を両側から挟み、その状態で操作点P5aと操作点P5bを移動させることで対象物の画像を移動させることができる。
シングル操作を受け付けている図5の状態で、指先50と指先52を再び所定時間静止させると、図4の状態に戻り、制御装置12はマルチ操作を受け付ける。よって、2つの指先を用いてマルチ操作とシングル操作を短時間で容易に切り替えでき、便利である。
また、図4に示す2つの指先の距離が第2距離以下である状態から、2つの指先の距離を第2距離より大きくした場合にも、制御装置12は、シングル操作の受け付けを決定してもよい。2つの指先の距離を第2距離以下に小さくすれば、制御装置12は、再びマルチ操作の受け付けを決定する。よって、マルチ操作とシングル操作を短時間で容易に切り替えできる。
次に、2人のユーザの場合の処理の具体例を説明する。
図6は、2人のユーザU1とユーザU2のそれぞれがマルチ操作を行う例を示す。ユーザU1の目の位置P3と指先の位置P1との距離d1、および、目の位置P3と指先の位置P2との距離d2は、それぞれ第1距離以下である。制御装置12は、ユーザU1の目の位置P3から第1距離の範囲にあるユーザU1の2つの指先をペアリングし、これらの指先によるマルチ操作を受け付ける。
図6は、2人のユーザU1とユーザU2のそれぞれがマルチ操作を行う例を示す。ユーザU1の目の位置P3と指先の位置P1との距離d1、および、目の位置P3と指先の位置P2との距離d2は、それぞれ第1距離以下である。制御装置12は、ユーザU1の目の位置P3から第1距離の範囲にあるユーザU1の2つの指先をペアリングし、これらの指先によるマルチ操作を受け付ける。
ユーザU2の目の位置P13と指先の位置P11との距離d11、および、目の位置P13と指先の位置P12との距離d12も、それぞれ第1距離以下である。制御装置12は、ユーザU2の目の位置P13から第1距離の範囲にあるユーザU2の2つの指先をペアリングし、これらの指先によるマルチ操作を受け付ける。制御装置12は、ユーザU2に関して、指先の位置P11と指先の位置P12との中間点P14を特定し、中間点P14と目の位置P13とを通る仮想直線が交差するディスプレイ14上の点を基準点P15として設定する。制御装置12は、ユーザU2に関して、基準点P15を中心として、2つの指先の動きに応じた処理を画像に対して実行する。
例えば、ディスプレイ14が2画面表示している状態で、ユーザU1は一方の画像に対してマルチ操作を行い、ユーザU2は他方の画像に対してマルチ操作を行うことができ、利便性が高い。少なくとも一方のユーザは、片手の2つの指先を用いても同様にマルチ操作できる。
図7は、ユーザU1がマルチ操作を行い、別のユーザU2がシングル操作を行う例を示す。図6と同様に、制御装置12は、ユーザU1の目の位置P3から第1距離の範囲にあるユーザU1の2つの指先をペアリングし、これらの指先によるマルチ操作を受け付ける。位置P3と、ユーザU2の右手の1つの指先の位置P11との距離d3は、第1距離より大きいため、制御装置12は、位置P11の指先を位置P2の指先とペアリングしない。
ユーザU2の目の位置P13から第1距離の範囲にユーザU2の右手の1つの指先のみが存在するため、制御装置12は、この指先を用いたシングル操作を受け付ける。ユーザU2は、指先の位置P11の空間座標に対応する画面上の操作点P15aを用いたシングル操作を行える。ユーザU2は、右手の指先に替えて、左手の指先を用いてシングル操作を行ってもよい。
図示しないが、ユーザU1が1本の指を立て、ユーザU2が1本の指を立てた場合、制御装置12は、これらの2つの指先をペアリングせず、それぞれのユーザのシングル操作を受け付ける。
図示しないが、例えば、一方のユーザU2が指を出さない場合、制御装置12は、そのユーザU2の目を検出するが、ユーザU2に関して処理を実行しない。
次に、以上の構成による表示システム1の全体的な動作を説明する。図8は、図1の表示システム1の処理を示すフローチャートである。画像取得部24は、目と指先が検出されたか判定し(S10)、検出されなければ(S10のN)、S10に戻る。目と指先が検出された場合(S10のY)、座標演算部26は、目と指先の3次元座標を演算する(S12)。判定部28は、各ユーザに関して受け付ける操作の種類を決定し(S14)、機能実行部32は、各ユーザに関して操作に応じた処理を実行し(S16)、処理を終了する。
なお、ユーザの数が複数の場合、機能実行部32は、S14で操作の種類が決定したユーザから順に、操作に応じた処理を実行してもよい。
図9は、図8のS14における1人のユーザに対する処理を示すフローチャートである。複数のユーザが存在する場合、図8のS14において、各ユーザに対して図9の処理が実行される。
判定部28は、目から第1距離の範囲にある指先の数が「0」であれば(S20の「0」)、処理を実行しないことを決定し(S34)、処理を終了する。判定部28は、目から第1距離の範囲にある指先の数が「1」であれば(S20の「1」)、シングル操作の受け付けを決定し(S32)、処理を終了する。
目から第1距離の範囲にある指先の数が「2」であり(S20の「2」)、2本の指先の距離が第2距離以下であれば(S22のY)、基準点設定部30は、2本の指先の中間点の3次元座標を導出し(S24)、中間点の3次元座標と目の3次元座標から、ディスプレイ14上の基準点を設定する(S26)。指先が所定時間以上、静止していなければ(S28のN)、判定部28は、マルチ操作の受け付けを決定し(S30)、処理を終了する。
S22において2本の指先の距離が第2距離以下でなければ(S22のN)、S32に移る。S28において指先が所定時間以上、静止していれば(S28のY)、S32に移る。
本実施の形態によれば、ユーザの視線が2つの指先の中間点を通るときの画像上のユーザの視点を基準点として、画像の縮小、拡大、または回転等を実行できるので、ユーザに違和感を与えにくくできる。
以上、本開示について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、また、そうした変形例も本開示の範囲にあることは当業者に理解されるところである。
本開示の一態様に係る制御装置は、
ディスプレイの前に位置するユーザの身体の第1部分、第2部分、および第3部分のそれぞれの空間座標を取得し、前記第1部分の空間座標と前記第2部分の空間座標との中間点を特定し、特定された前記中間点と前記第3部分の空間座標とを通る仮想直線が交差する前記ディスプレイ上の点を基準点として設定する基準点設定部と、
設定された前記基準点を基準として、前記第1部分と前記第2部分の動きに応じた処理を前記ディスプレイに表示された画像に対して実行する機能実行部と、
を備える。
ディスプレイの前に位置するユーザの身体の第1部分、第2部分、および第3部分のそれぞれの空間座標を取得し、前記第1部分の空間座標と前記第2部分の空間座標との中間点を特定し、特定された前記中間点と前記第3部分の空間座標とを通る仮想直線が交差する前記ディスプレイ上の点を基準点として設定する基準点設定部と、
設定された前記基準点を基準として、前記第1部分と前記第2部分の動きに応じた処理を前記ディスプレイに表示された画像に対して実行する機能実行部と、
を備える。
この態様によると、ユーザの視線が第1部分と第2部分の中間点を通るときの画像上の視点に近い位置を基準点として、画像に対して処理を実行できる。よって、ユーザに違和感を与えにくくできる。
前記第1部分は、前記ユーザの第1の指先であり、
前記第2部分は、前記ユーザの第2の指先であり、
前記第3部分は、前記ユーザの顔の一部分であってもよい。
前記第2部分は、前記ユーザの第2の指先であり、
前記第3部分は、前記ユーザの顔の一部分であってもよい。
この場合、2つの指先の動きに基づいて画像を容易に操作できる。また、第3部分がユーザの顔の一部分であるため、ユーザの視線が第1部分と第2部分の中間点を通るときの画像上の視点により近い位置を基準点にできる。よって、よりユーザに違和感を与えにくくできる。
前記第3部分は、前記ユーザの目であってもよい。
この場合、ユーザの視線が第1の指先と第2の指先の中間点を通るときの画像上の視点を基準点にできる。よって、さらにユーザに違和感を与えにくくできる。
前記制御装置は、1以上の前記ユーザを撮像した画像を取得し、取得した画像に基づいて、それぞれの前記ユーザの前記第3部分を検出する画像取得部をさらに備え、
前記基準点設定部は、検出された1以上の前記第3部分のそれぞれに関して、前記第3部分から第1距離の範囲に前記第1部分と前記第2部分が位置する場合、前記基準点を設定してもよい。
前記基準点設定部は、検出された1以上の前記第3部分のそれぞれに関して、前記第3部分から第1距離の範囲に前記第1部分と前記第2部分が位置する場合、前記基準点を設定してもよい。
この場合、1以上のユーザのうち条件を満たすユーザのそれぞれに関して、基準点を設定できる。
前記機能実行部は、検出された1以上の前記第3部分のそれぞれに関して、前記第3部分から前記第1距離の範囲に前記第1部分と前記第2部分が位置する場合、所定のマルチ操作条件が満たされれば、前記基準点を基準として、前記第1部分と前記第2部分の動きに応じた処理を前記画像に対して実行してもよい。
この場合、1以上のユーザのうち条件を満たすユーザのそれぞれに関して、基準点を基準として画像に対する処理を実行できる。よって、複数のユーザによる操作にも対応できる。
前記機能実行部は、検出された1以上の前記第3部分のそれぞれに関して、前記第3部分から前記第1距離の範囲に前記第1部分と前記第2部分が位置するが前記マルチ操作条件が満たされない場合、または、前記第3部分から前記第1距離の範囲に前記第1部分と前記第2部分のいずれか一方のみが位置する場合、前記第1部分の動きに応じた処理と、前記第2部分の動きに応じた処理との少なくともいずれかを実行してもよい。
この場合、1以上のユーザのうち条件を満たすユーザのそれぞれに関して、第1部分の動きに応じた処理と、第2部分の動きに応じた処理との少なくともいずれかを実行できる。よって、複数のユーザによる様々な操作にも対応できる。
前記マルチ操作条件は、前記第1部分と前記第2部分の距離が第2距離以下であり、かつ、前記第1部分と前記第2部分が所定時間以上にわたり静止していないことでもよい。
この場合、ユーザは容易にマルチ操作条件を満たすことができる。
前記機能実行部は、前記第1部分と前記第2部分の動きに応じた処理として、
前記第1部分と前記第2部分を近づけるピンチイン動作に応じて、前記基準点を中心として前記画像を縮小させる処理と、
前記第1部分と前記第2部分を遠ざけるピンチアウト動作に応じて、前記基準点を中心として前記画像を拡大させる処理と、を実行してもよい。
前記第1部分と前記第2部分を近づけるピンチイン動作に応じて、前記基準点を中心として前記画像を縮小させる処理と、
前記第1部分と前記第2部分を遠ざけるピンチアウト動作に応じて、前記基準点を中心として前記画像を拡大させる処理と、を実行してもよい。
この場合、第1部分と第2部分による動作に応じて、基準点を中心として画像の拡大または縮小を実行できる。
前記機能実行部は、前記第1部分と前記第2部分の動きに応じた処理として、前記第1部分と前記第2部分を前記中間点の周りで回転させる回転動作に応じて、前記基準点を中心として前記画像を回転させる処理を実行してもよい。
この場合、第1部分と第2部分による動作に応じて、基準点を中心として画像の回転を実行できる。
本開示の一態様に係る制御方法は、
ディスプレイの前に位置するユーザの身体の第1部分、第2部分、および第3部分のそれぞれの空間座標を取得するステップと、
前記第1部分の空間座標と前記第2部分の空間座標との中間点を特定し、特定された前記中間点と前記第3部分の空間座標とを通る仮想直線が交差する前記ディスプレイ上の点を基準点として設定するステップと、
設定された前記基準点を基準として、前記第1部分と前記第2部分の動きに応じた処理を前記ディスプレイに表示された画像に対して実行するステップと、
を備える。
ディスプレイの前に位置するユーザの身体の第1部分、第2部分、および第3部分のそれぞれの空間座標を取得するステップと、
前記第1部分の空間座標と前記第2部分の空間座標との中間点を特定し、特定された前記中間点と前記第3部分の空間座標とを通る仮想直線が交差する前記ディスプレイ上の点を基準点として設定するステップと、
設定された前記基準点を基準として、前記第1部分と前記第2部分の動きに応じた処理を前記ディスプレイに表示された画像に対して実行するステップと、
を備える。
この態様によると、ユーザに違和感を与えにくくできる。
本開示は、制御装置および制御方法に利用できる。
1…表示システム、10…センサ、12…制御装置、14…ディスプレイ、20…制御部、22…記憶部、24…画像取得部、26…座標演算部、28…判定部、30…基準点設定部、32…機能実行部、34…表示出力部、50…指先、52…指先、54…目、P4…中間点、P5…基準点。
Claims (10)
- ディスプレイの前に位置するユーザの身体の第1部分、第2部分、および第3部分のそれぞれの空間座標を取得し、前記第1部分の空間座標と前記第2部分の空間座標との中間点を特定し、特定された前記中間点と前記第3部分の空間座標とを通る仮想直線が交差する前記ディスプレイ上の点を基準点として設定する基準点設定部と、
設定された前記基準点を基準として、前記第1部分と前記第2部分の動きに応じた処理を前記ディスプレイに表示された画像に対して実行する機能実行部と、
を備える制御装置。 - 前記第1部分は、前記ユーザの第1の指先であり、
前記第2部分は、前記ユーザの第2の指先であり、
前記第3部分は、前記ユーザの顔の一部分である、
請求項1に記載の制御装置。 - 前記第3部分は、前記ユーザの目である、
請求項2に記載の制御装置。 - 1以上の前記ユーザを撮像した画像を取得し、取得した画像に基づいて、それぞれの前記ユーザの前記第3部分を検出する画像取得部をさらに備え、
前記基準点設定部は、検出された1以上の前記第3部分のそれぞれに関して、前記第3部分から第1距離の範囲に前記第1部分と前記第2部分が位置する場合、前記基準点を設定する、
請求項1から3のいずれかに記載の制御装置。 - 前記機能実行部は、検出された1以上の前記第3部分のそれぞれに関して、前記第3部分から前記第1距離の範囲に前記第1部分と前記第2部分が位置する場合、所定のマルチ操作条件が満たされれば、前記基準点を基準として、前記第1部分と前記第2部分の動きに応じた処理を前記画像に対して実行する、
請求項4に記載の制御装置。 - 前記機能実行部は、検出された1以上の前記第3部分のそれぞれに関して、前記第3部分から前記第1距離の範囲に前記第1部分と前記第2部分が位置するが前記マルチ操作条件が満たされない場合、または、前記第3部分から前記第1距離の範囲に前記第1部分と前記第2部分のいずれか一方のみが位置する場合、前記第1部分の動きに応じた処理と、前記第2部分の動きに応じた処理との少なくともいずれかを実行する、
請求項5に記載の制御装置。 - 前記マルチ操作条件は、前記第1部分と前記第2部分の距離が第2距離以下であり、かつ、前記第1部分と前記第2部分が所定時間以上にわたり静止していないことである、
請求項5または6に記載の制御装置。 - 前記機能実行部は、前記第1部分と前記第2部分の動きに応じた処理として、
前記第1部分と前記第2部分を近づけるピンチイン動作に応じて、前記基準点を中心として前記画像を縮小させる処理と、
前記第1部分と前記第2部分を遠ざけるピンチアウト動作に応じて、前記基準点を中心として前記画像を拡大させる処理と、を実行する、
請求項1から7のいずれかに記載の制御装置。 - 前記機能実行部は、前記第1部分と前記第2部分の動きに応じた処理として、前記第1部分と前記第2部分を前記中間点の周りで回転させる回転動作に応じて、前記基準点を中心として前記画像を回転させる処理を実行する、
請求項1から8のいずれかに記載の制御装置。 - ディスプレイの前に位置するユーザの身体の第1部分、第2部分、および第3部分のそれぞれの空間座標を取得するステップと、
前記第1部分の空間座標と前記第2部分の空間座標との中間点を特定し、特定された前記中間点と前記第3部分の空間座標とを通る仮想直線が交差する前記ディスプレイ上の点を基準点として設定するステップと、
設定された前記基準点を基準として、前記第1部分と前記第2部分の動きに応じた処理を前記ディスプレイに表示された画像に対して実行するステップと、
を備える制御方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022041251A JP2023135920A (ja) | 2022-03-16 | 2022-03-16 | 制御装置および制御方法 |
JP2022-041251 | 2022-03-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023176034A1 true WO2023176034A1 (ja) | 2023-09-21 |
Family
ID=88023196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/039533 WO2023176034A1 (ja) | 2022-03-16 | 2022-10-24 | 制御装置および制御方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023135920A (ja) |
WO (1) | WO2023176034A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017539035A (ja) * | 2015-04-16 | 2017-12-28 | 楽天株式会社 | ジェスチャインタフェース |
JP2019087279A (ja) * | 2013-06-27 | 2019-06-06 | アイサイト モバイル テクノロジーズ リミテッド | デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法 |
JP2021015637A (ja) * | 2020-11-05 | 2021-02-12 | マクセル株式会社 | 表示装置 |
-
2022
- 2022-03-16 JP JP2022041251A patent/JP2023135920A/ja active Pending
- 2022-10-24 WO PCT/JP2022/039533 patent/WO2023176034A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019087279A (ja) * | 2013-06-27 | 2019-06-06 | アイサイト モバイル テクノロジーズ リミテッド | デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法 |
JP2017539035A (ja) * | 2015-04-16 | 2017-12-28 | 楽天株式会社 | ジェスチャインタフェース |
JP2021015637A (ja) * | 2020-11-05 | 2021-02-12 | マクセル株式会社 | 表示装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2023135920A (ja) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106975219B (zh) | 游戏画面的显示控制方法及装置、存储介质、电子设备 | |
US10949057B2 (en) | Position-dependent modification of descriptive content in a virtual reality environment | |
JP5981591B1 (ja) | 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム | |
JP6046729B2 (ja) | 全方向ジェスチャー入力 | |
CN107213643B (zh) | 游戏画面的显示控制方法及装置、存储介质、电子设备 | |
KR100899610B1 (ko) | 전자 장치의 기능을 제어하기 위한 전자 장치 및 방법 및상기 방법을 구현하기 위한 프로그램 생성물 | |
WO2007053116A1 (en) | Virtual interface system | |
JP2016224686A (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
KR102170638B1 (ko) | 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템 | |
JP6874149B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6774060B2 (ja) | プログラムおよび情報処理装置 | |
JP4364861B2 (ja) | 情報表示装置 | |
JP2021176104A (ja) | プログラム、画像処理方法及び画像処理システム | |
CN113658249A (zh) | 虚拟现实场景的渲染方法、装置、设备和存储介质 | |
WO2023176034A1 (ja) | 制御装置および制御方法 | |
JP6549066B2 (ja) | 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム | |
JP7513262B2 (ja) | 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム | |
CN113760085A (zh) | 虚拟环境构建和应用方法、vr设备及虚拟现实交互*** | |
KR102448108B1 (ko) | 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 | |
WO2023181549A1 (ja) | 制御装置、制御方法、プログラム | |
WO2023238663A1 (ja) | 情報処理装置および情報処理方法 | |
US20220415094A1 (en) | Method and system for estimating gesture of user from two-dimensional image, and non-transitory computer-readable recording medium | |
CN115657844A (zh) | 用于与头戴显示设备进行交互的方法、装置和交互*** | |
JP2023143634A (ja) | 制御装置、制御方法、プログラム | |
JP6255525B1 (ja) | 電子ゲーム装置及び電子ゲームプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22932297 Country of ref document: EP Kind code of ref document: A1 |