WO2017065126A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- WO2017065126A1 WO2017065126A1 PCT/JP2016/080083 JP2016080083W WO2017065126A1 WO 2017065126 A1 WO2017065126 A1 WO 2017065126A1 JP 2016080083 W JP2016080083 W JP 2016080083W WO 2017065126 A1 WO2017065126 A1 WO 2017065126A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- virtual
- actual
- representative position
- image processing
- representative
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/008—Cut plane or projection plane definition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Definitions
- the present invention relates to an image processing apparatus, an image processing method, and a program.
- the present invention has been made in view of the above problems, and its purpose is different from a method of inputting a direction to be advanced by an operation of a button or a stick, and an operation method for moving a viewpoint in an intuitive virtual space. Is to provide.
- an image processing apparatus includes an actual position acquisition unit that acquires an actual position instructed by a user in real space, and the acquired actual position while performing a predetermined input.
- a representative position determining means for determining a virtual representative position that is a position representing the person in the virtual space based on the movement of the position; and a drawing means for drawing a three-dimensional image based on the determined virtual representative position.
- the image processing method includes a step of acquiring a real position instructed by a user in a real space, and a virtual space based on the movement of the acquired real position during a predetermined input. And a step of determining a virtual representative position that is a position representing the user at the same time and a step of drawing a three-dimensional image based on the determined virtual representative position.
- the program according to the present invention includes a real position acquisition unit that acquires a real position instructed by a user in the real space, and a virtual space based on the movement of the acquired real position during a predetermined input.
- the computer is caused to function as representative position determining means for determining a virtual representative position, which is a position representing itself, and drawing means for drawing a three-dimensional image based on the determined virtual representative position.
- the viewpoint in the virtual space can be intuitively changed by an operation method different from the method of inputting the advancing direction by operating a button or a stick.
- the representative position determining means may move the virtual representative position so that the movement amount of the virtual representative position is determined according to the movement amount of the actual position.
- the said representative position determination means WHEREIN When the said real position approaches the real representative position which represents the said user, the virtual representative position which is a position which represents self in virtual space is in the said virtual space.
- the virtual representative position may be determined so as to approach a virtual position corresponding to the actual position.
- the said representative position determination means moves to the realization position which is the present position instruct
- the virtual representative position may be determined based on a first direction component of the vector.
- the first direction may be a direction of a straight line connecting the actual reference position and the actual representative position projected onto a horizontal plane.
- the said representative position determination means determines the direction of the said user in virtual space based on the component of the 2nd direction of the said movement vector in real space, and the said 2nd direction is the said 1st direction.
- the direction may be different.
- the said representative position determination means is the component of the said 1st direction of the movement vector from the said real reference position to the said realization present position, when the said real reference position exists in a 1st area
- the first area may be in front of the actual representative position, and the second area may be lateral to the first area.
- FIG. 1 is a diagram illustrating an example of a hardware configuration of an image processing apparatus 1 according to an embodiment of the present invention.
- the image processing apparatus 1 is a personal computer, a home game machine, or a portable information terminal.
- the image processing apparatus 1 includes a processor 11, a storage unit 12, a communication unit 13, an operation input unit 14, and a display control unit 15.
- the processor 11 operates according to a program stored in the storage unit 12, and controls the communication unit 13, the operation input unit 14, the display control unit 15, and the like.
- the program may be provided by being stored in a computer-readable storage medium such as a flash memory, or may be provided via a network such as the Internet.
- the storage unit 12 is composed of a memory element such as a DRAM or a flash memory.
- the storage unit 12 stores the program.
- the storage unit 12 stores information and calculation results input from the processor 11, the communication unit 13, and the like.
- the communication unit 13 includes an integrated circuit, a connector, an antenna, and the like that constitute a wired LAN or a wireless LAN.
- the communication unit 13 has a function of communicating with other devices via a network. Based on the control of the processor 11, the communication unit 13 inputs information received from another device to the processor 11 or the storage unit 12 and transmits the information to the other device.
- the operation input unit 14 is a circuit that acquires an input from hardware that detects a user operation.
- the operation input unit 14 acquires an input from an input device such as a position input device or a keyboard by which a user inputs a position, and inputs detected information to the processor 11 or the storage unit 12.
- the display control unit 15 includes a circuit that controls a display output device such as a display.
- the display control unit 15 displays an image on the display output device based on the control of the processor 11.
- FIG. 2 is a diagram for explaining an example of a method of using an input device or the like when the user 61 uses the image processing apparatus 1.
- the example of FIG. 2 is a view of the user 61 as seen from above.
- the motion controllers 62 and 63 and the camera 64 are used as input devices, and the head mounted display 65 is used as a display output device.
- Each of the motion controllers 62 and 63 has a ball part for causing the camera to recognize the position and a grip part for causing the user 61 to grasp it.
- the grip unit is provided with a button.
- the motion controllers 62 and 63 transmit information on the operation of the button to the operation input unit 14 via wireless, and the operation input unit 14 Get that information.
- the camera 64 captures an image including the ball portion of the motion controllers 62 and 63, and based on the position and size of the ball portion in the captured image, the motion controller 62 and 63 instructs in real space.
- the indicated position is detected.
- the operation input unit 14 acquires the actually indicated positions of the detected motion controllers 62 and 63.
- the head mounted display 65 is a display worn on the head of the user 61 and displays an image in front of the user 61. In the case where the displayed image takes parallax into consideration, the user 61 can recognize the object included in the image in a three-dimensional manner.
- the head mounted display 65 can display an image that is highly realistic for the user 61.
- FIG. 3 is a diagram showing an example of the displayed image.
- the image displayed in the present embodiment is a three-dimensional image with respect to the orientation of the viewpoint at the position of the user 61 in the virtual space (hereinafter referred to as “virtual representative position”).
- the motion controllers 62 and 63 are displayed.
- the pointing objects 72 and 73 are displayed at positions in the virtual space (hereinafter also referred to as “virtual pointing positions”) corresponding to the actual pointing positions indicated by.
- the virtual representative position is moved by the operation of the motion controllers 62 and 63, the direction of the viewpoint of the user 61 in the virtual space (hereinafter referred to as “virtual viewpoint direction”) is changed, and an image is displayed in the virtual space.
- the image processing apparatus 1 draws an image in which those changes are reflected, and displays the image on the head mounted display 65.
- the image processing apparatus 1 uses the horizontal component of the movement of either one of the motion controllers 62 and 63 during a predetermined operation (for example, from when the user 61 presses the button until it is released). Based on this, the virtual representative position is moved.
- FIG. 4 is a diagram schematically illustrating the movement of the virtual representative position when the actual designated position is moved forward
- FIG. 5 is a diagram schematically illustrating the movement of the virtual representative position when the actual designated position is moved far away.
- FIG. For example, when the user 61 moves the motion controllers 62 and 63 forward, the virtual representative position moves forward (see the arrow drawn with a broken line in FIG. 4), and when the user moves the motion controllers 62 and 63 forward, the virtual representative position moves backward.
- FIG. 6 is a diagram schematically showing the movement of the virtual representative position when the actual designated position moves to the right.
- the virtual representative direction rotates in the direction opposite to the moving direction (left direction) (see the arrow drawn with a broken line in FIG. 6).
- the movement of the virtual instruction position of the motion controller 62 or 63 while the user keeps pressing the button is restricted, and the movement of the motion controller 62 or 63 thereafter is limited to the motion controller 62 or 63 and the user 61.
- the virtual representative position and the virtual viewpoint direction are determined so that the horizontal positional relationship is maintained. Such an operation is similar to an operation of grasping and moving an object such as a handrail on a wall, and is an operation that is easy to understand intuitively.
- image processing is performed based on the movement from the user 61 pressing the button to the next pressing, instead of any movement of the motion controllers 62, 63 from the user 61 pressing the button to releasing it.
- the device 1 may move the virtual representative position.
- FIG. 7 is a block diagram showing functions realized by the image processing apparatus 1 according to the embodiment of the present invention.
- the image processing apparatus 1 functionally includes an actual position acquisition unit 51, a mode determination unit 52, a reference position setting unit 53, a virtual position determination unit 54, an object position determination unit 55, and an image drawing unit 56.
- the actual position acquisition unit 51 mainly executes information stored in the storage unit 12 by the processor 11 and processes information from the operation input unit 14 that acquires information from the motion controller 62 or 63 or the camera 64. This is realized by storing the processing result in the storage unit 12.
- the mode determination unit 52, the reference position setting unit 53, the virtual position determination unit 54, and the object position determination unit 55 are mainly stored in the storage unit 12 by the processor 11 executing a program stored in the storage unit 12. This is realized by processing the information and storing the processing result in the storage unit 12.
- the image drawing unit 56 mainly executes the program stored in the storage unit 12 by the processor 11, processes information stored in the storage unit 12, and the display control unit 15 so that the display output device displays an image. This is realized by controlling
- the real position acquisition unit 51 acquires the actual designated position designated by the user 61 in the real space.
- the real position acquisition unit 51 acquires the position of the user 61 in real space (referred to as “real representative position”).
- the actual designated position and the actual representative position acquired by the actual position acquisition unit 51 are positions in the three-dimensional space.
- the actual designated position is a position designated by the motion controllers 62 and 63, and the actual representative position is, for example, the position of the head mounted display 65.
- the mode determination unit 52 determines whether the current mode is the navigation mode based on the operation of the user 61.
- the navigation mode is a mode for moving the virtual representative position
- the period during which the navigation mode is set is a period during which the user 61 performs a predetermined operation such as pressing a button.
- Whether the mode determination unit 52 can change the virtual representative position in the navigation mode based on whether or not the actual position operated by the user 61 is included in the first area or the second area.
- a flag indicating whether or not (movement flag) and a flag indicating whether or not the virtual viewpoint direction can be changed (rotation flag) are set.
- the reference position setting unit 53 serves as a reference when determining the virtual representative position and the virtual viewpoint direction, the actual indication position (reference position) when the button is pressed, and the actual representative when the button is pressed.
- the storage unit 12 stores the position (reference actual representative position), virtual representative position (reference virtual representative position), and virtual viewpoint direction (reference viewpoint direction).
- the virtual viewpoint direction is represented by an angle with the height direction as an axis, and does not include the vertical component.
- the virtual position determining unit 54 determines the virtual representative position and the virtual representative direction of the user 61 in the virtual space based on the movement of the actual designated position while performing a predetermined input. From another viewpoint, the virtual position determination unit 54 moves the virtual representative position so that the movement amount of the virtual representative position is determined according to the movement amount of the actual designated position. More specifically, the virtual position determination unit 54 determines a virtual representative position and a virtual viewpoint direction based on the acquired actual designated position and the reference position. When the actual designated position approaches the actual representative position, the virtual position determination unit 54 determines the virtual representative position so that the virtual representative position approaches the virtual designated position.
- the virtual position determination unit 54 determines the virtual representative position so that the virtual representative position moves away from the virtual designated position. Further, the virtual position determination unit 54 causes the current virtual representative position to be closer to the virtual instruction position corresponding to the actual instruction position than the reference virtual representative position when the current actual instruction position is closer to the actual representative position than the reference position. Next, a virtual representative position is determined. The virtual position determination unit 54 determines the virtual representative position so that the movement amount of the virtual representative position increases as the movement amount of the actual designated position increases.
- the object position determination unit 55 determines the position and orientation of the object in the virtual space at the current time based on the data defining the movement of the object and the presence or absence of a collision with another object.
- the image drawing unit 56 draws a three-dimensional image of the object in the virtual space based on the determined virtual representative position and virtual viewpoint direction, and the determined position and orientation of the object.
- FIG. 8 is a diagram illustrating an example of a processing flow of the image processing apparatus 1.
- the actual position acquisition unit 51 acquires the actual instruction position and button operation (step S101).
- the actual position acquisition unit 51 detects, for example, whether the button is currently pressed, whether the button is newly pressed, or whether the button is released.
- the actual position acquisition unit 51 also acquires the current actual designated position and actual representative position.
- the mode determination unit 52 determines the current operation mode based on the button operation of the user 61 and the actual designated position (step S102). Specifically, the mode determination unit 52 determines whether or not the current operation mode is the navigation mode, and in the case of the navigation mode, the virtual representative position or the virtual viewpoint direction of the motion controllers 62 and 63 is changed. The target controller information, the movement flag, and the rotation flag indicating what is used (described as “target controller”) are set.
- the reference position setting unit 53 determines the actual designated position (reference position), actual representative position (reference actual representative position), virtual representative position ( The reference virtual representative position) and the virtual viewpoint direction (reference viewpoint direction) are stored in the storage unit 12.
- FIG. 9 is a diagram illustrating an example of a processing flow of the mode determination unit 52 and the reference position setting unit 53.
- the mode determination unit 52 detects whether or not the user 61 has newly pressed a button included in one of the motion controllers 62 and 63 based on the input from the motion controllers 62 and 63 (step S201). .
- the mode determination unit 52 determines the motion controller in which the button is pressed as the target controller, and in which region the actual designated position of the target controller is located. Determine if there is.
- the mode determination unit 52 sets the navigation mode as the operation mode and sets the movement flag to ON (Step S202). S203) Further, target controller information indicating the target controller is stored in the storage unit 12.
- the mode determination unit 52 sets the navigation mode as the operation mode and sets the rotation flag to ON (step S205), and further, the target controller. Is stored in the storage unit 12.
- FIG. 10 is a diagram for explaining the movement determination area 81 and the rotation determination area 82 in the real space.
- the movement determination area 81 is an area that is in front of the actual representative position d of the user 61 and the distance from the actual representative position d is within a predetermined range.
- the rotation determination area 82 is an area that is lateral to the movement determination area 81 and that has a distance from the actual representative position d within a predetermined range. More specifically, in the movement determination area 81, an angle formed with a straight line extending from the actual representative position d to the front of the user 61 is equal to or less than a first threshold, and the distance from the actual representative position d is within a predetermined range. It is a certain area.
- the rotation determination area 82 is an area whose corner is greater than the first threshold and less than or equal to the second threshold and whose distance from the actual representative position d is within a predetermined range.
- the movement determination area 81 and the rotation determination area 82 may overlap.
- the virtual position determination unit 54 may change both the virtual representative position and the virtual viewpoint direction.
- the reference position setting unit 53 stores the actual designated position when the button is newly pressed as a reference position. 12 and the real representative position, the virtual representative position, and the virtual viewpoint direction at the time when the button is newly pressed are stored in the storage unit 12 as the reference real representative position, the reference virtual representative position, and the reference viewpoint direction, respectively (step S12). S206).
- the reference position, reference actual representative position, and reference virtual representative position stored in the storage unit 12 are used when the virtual position determination unit 54 determines the virtual representative position and the virtual viewpoint direction.
- the process of step S206 may be performed only when the navigation mode is set.
- step S201 when the user 61 has not newly pressed the button (N in step S201) and the user 61 releases the button of the target controller indicated by the target controller information (Y in step S207).
- the mode determination unit 52 sets the operation mode to a mode different from the navigation mode, and cancels the navigation mode (step S208).
- the mode determination unit 52 does not change the operation mode.
- the virtual position determination unit 54 determines whether or not the current operation mode is the navigation mode (step S103).
- the operation mode is the navigation mode (Y in Step S103)
- the virtual position determination unit 54 calculates the movement of the virtual representative position or the virtual viewpoint direction (Step S104).
- the process in step S104 is skipped. Thereafter, the virtual position determination unit 54 determines the virtual instruction position based on the actual instruction positions of the motion controllers 62 and 63 (step S105).
- FIG. 11 is a diagram illustrating an example of a processing flow for determining the virtual representative position and the virtual viewpoint direction.
- FIG. 11 shows details of the processing in step S104.
- the virtual position determination unit 54 includes the current actual designated position c of the target controller acquired by the actual position acquisition unit 51 and the reference stored in the storage unit 12 by the reference position setting unit 53.
- the position b, the reference actual representative position p, and the reference viewpoint direction are acquired (step S301). Since only the horizontal component is used in the following processing, the virtual position determination unit 54, for example, when the actual indication position c, the reference position b, and the reference actual representative position p are represented by three values in a three-dimensional orthogonal coordinate system.
- the virtual position determination unit 54 may acquire only two values of coordinates excluding the height direction of the actual designated position c, the reference position b, and the reference actual representative position p.
- the virtual position determination unit 54 calculates the distance direction component R and the rotation angle ⁇ of the horizontal component of the movement vector V from the reference position b to the actual designated position c (step S302).
- FIG. 12 is a diagram illustrating a relationship among the reference position b, the actual indication position c, and the reference actual representative position p in the real space.
- FIG. 12 is a view from above, showing only the horizontal component.
- the horizontal component of the vector from the reference position b to the actual designated position c is the movement vector V.
- the virtual position determination unit 54 acquires, as the distance direction component R of the movement vector V, a vector obtained by projecting the horizontal component of the movement vector V onto the horizontal component of the straight line from the reference actual representative position p to the reference position b.
- the virtual position determination unit 54 sets an angle formed by a vector from the reference actual representative position p to the reference position b and a vector from the reference actual representative position p to the actual designated position c as a rotation angle ⁇ related to the movement vector V. get.
- the rotation angle ⁇ is determined according to a component in a direction different from the distance direction component R of the movement vector V (for example, a component in a direction orthogonal to the distance direction).
- the reference actual representative position p the current actual representative position may be used instead of the actual representative position at the time when the button is newly pressed.
- the virtual position determination unit 54 calculates the current direction from the virtual representative position stored in the storage unit 12 and the distance direction component R of the movement vector V.
- a new virtual representative position is calculated (step S304). More specifically, for example, in step S304, the virtual position determination unit 54 has been moved from the reference actual representative position p stored in the storage unit 12 by the opposite vector of the distance direction component R of the movement vector V. A temporary position in the real space is obtained, and the temporary position is coordinate-transformed. As a result, the virtual position determination unit 54 acquires a position in the virtual space corresponding to the provisional position as a new virtual representative position (strictly speaking, a horizontal component of the virtual representative position).
- the virtual position determination unit 54 performs coordinate transformation on the opposite vector of the distance direction component R of the movement vector V to acquire the opposite vector of the distance direction component R in the virtual space, and acquires the virtual representative position at the reference time.
- a new virtual representative position (horizontal component of the virtual representative position) may be obtained by obtaining a position moved by the opposite vector.
- the virtual position determination unit 54 acquires the height component of the virtual representative position based on the height of the ground 74 at the horizontal position of the acquired new virtual representative position.
- FIG. 13 is a diagram illustrating an example of the proxy 71 indicating the user 61 in the virtual space.
- FIG. 14 is a diagram illustrating an example of the relationship between the proxy 71 and the ground 74 in the virtual space.
- the center of the proxy 71 exists at the virtual representative position.
- the proxy 71 is slightly lifted from the ground 74 and can only rotate along the height axis and recognized on the horizontal plane.
- the center of the proxy 71 is separated from the ground at the horizontal position by a certain distance.
- the virtual position determination unit 54 acquires the height of the new virtual representative position, for example, by adding a certain value to the height of the ground 74 at the horizontal position of the calculated new virtual representative position. Note that the virtual position determination unit 54 may acquire the height of the virtual representative position in consideration of a change in posture accompanying horizontal movement.
- the virtual position determination unit 54 calculates the moving speed of the virtual representative position based on the new virtual representative position (step S304).
- the virtual position determining unit 54 may simply calculate the difference between the new virtual representative position and the virtual representative position in the previous frame as the moving speed, or move based on other factors such as posture change. The speed may be calculated.
- step S306 determines whether or not the rotation flag is set. If the rotation flag is not set (N in step S306), step S307 is skipped.
- the virtual position determination unit 54 calculates a new virtual viewpoint direction from the reference viewpoint direction and the rotation angle ⁇ (Step S307). More specifically, the virtual position determination unit 54 calculates a new virtual viewpoint direction by rotating the reference viewpoint direction by the rotation angle ( ⁇ ) (rotating in the reverse direction).
- the virtual position determination unit 54 may calculate the virtual viewpoint direction by further using the difference between the viewpoint direction at the time when the reference representative position is stored in the real space and the current viewpoint direction. That is, the virtual position determination unit 54 may calculate the virtual viewpoint direction by rotating the reference viewpoint direction by the rotation angle ( ⁇ ) and further rotating the reference viewpoint direction by the above-described difference in the rotation direction of the real space.
- step S301 in the processing from step S301 to step S307, as the reference position b, the reference actual representative position p, the reference virtual representative position, and the reference viewpoint direction, the actual designated position, the actual representative position, the virtual representative position, and the virtual viewpoint in the previous frame. Direction may be used.
- step S103 when the operation mode is not the navigation mode (N in step S103), this process is skipped.
- the virtual position determination unit 54 determines a virtual instruction position corresponding to the actual instruction position of the motion controllers 62 and 63 based on the determined virtual representative position and virtual viewpoint direction (step S105).
- the object position determination unit 55 determines the position and orientation of the object in the virtual space at the current time (step S106), and the image drawing unit 56 determines the object tertiary based on the moved virtual representative position and virtual viewpoint direction.
- An original image is drawn (step S107).
- a component in a certain direction is used for determining a virtual representative position to which the virtual representative position moves, and based on a component in a direction different from that direction.
- the rotation angle in the virtual viewpoint direction it is possible not only to move the virtual representative position but also to change the direction of the viewpoint only by moving the actual designated position.
- the virtual representative position is obtained when the reference position b is in the movement determination area 81, and the virtual viewpoint direction is obtained when the reference position b is in the rotation determination area 82. Therefore, it is possible to suppress the occurrence of the phenomenon of rotating by the operation or the phenomenon of moving by an operation not intended to move, and the user 61 can easily adjust the virtual representative position and the virtual viewpoint direction.
- FIG. 15 is a diagram schematically illustrating movement of the virtual representative position by alternately moving both hands. For example, while moving the motion controller 62 grasped with the right hand forward and moving the motion controller 62 forward in the navigation mode, the position of the user 61 in the virtual space is moved forward, so that the user grasps with the left hand. The motion controller 63 is moved forward, and immediately after the movement by the motion controller 62 ends and the navigation mode is canceled, the motion controller 63 is moved forward in the navigation mode.
- the image processing apparatus 1 By enabling the image processing apparatus 1 according to the present embodiment to perform such operations, the time during which the position of the user 61 is stopped in the virtual space is minimized, and the user 61 moves intuitively and smoothly in the virtual space. It becomes possible to do.
- the image drawing unit 56 may draw an image of an operation guide serving as a guide for the operation of the user 61 in addition to the three-dimensional image of the object.
- FIG. 16 is a diagram illustrating an example of an operation guide displayed in the virtual space.
- FIG. 17 is a diagram illustrating an operation using an operation guide displayed in the virtual space.
- an annular rotation guide 83 centered on the position of the user 61 and a movement guide 84 having an arrow shape toward the front of the user 61 are displayed as operation guides in the virtual space.
- an annular rotation guide 83 centered on the position of the user 61 and a movement guide 84 having an arrow shape toward the front of the user 61 are displayed as operation guides in the virtual space.
- the user 61 moves such that the actual designated position indicated by the motion controllers 62 and 63 moves around the movement guide 84 as shown in FIG.
- the virtual position determination unit 54 moves the virtual representative position. Also good. At this time, the method for determining the virtual representative position may be the same as described above. Further, in the navigation mode, the virtual position determination unit 54 may rotate the virtual viewpoint direction according to the movement of the actual designated position along the rotation guide 83 by the user 61.
- the user 61 can more intuitively perform operations for rotation and movement by moving the actual instruction positions of the motion controllers 62 and 63 along the operation guide.
- FIG. 18 is a diagram illustrating another example of the operation guide displayed in the virtual space.
- the rotation guide 83 displayed by the image drawing unit 56 is the same as that of the example of FIG. 16, but the movement guide 84 faces in the vertical direction.
- the image drawing unit 56 draws a movement guide 84 that extends in the vertical direction, and the virtual position determination unit 54
- the virtual position determination unit 54 determines the virtual representative position in the direction of the movement guide 84 (the actual designated position It may be moved in the direction opposite to the moving direction.
- the virtual position determination unit 54 determines the virtual representative position so that the movement amount of the virtual representative position increases as the movement amount of the actual designated position along the direction of the movement guide 84 increases.
- the virtual position determination unit 54 may determine the virtual representative position according to the movement pattern of the actual designated position by the user 61 in the navigation mode.
- FIG. 19 is a diagram illustrating another example of the relationship between the movement of the actual designated position and the virtual representative position.
- FIG. 20 is a diagram of the movement of the actual designated position in the example of FIG. 19 viewed from the side.
- 19 and 20 are examples where the virtual representative position is in water, for example. 19 and 20, the solid line indicates the movement of the actual designated position, and the broken line indicates the movement of the virtual representative position.
- the virtual position determination unit 54 may move the virtual representative position according to the movement amount and direction of the movement. 19 and 20, the virtual position determination unit 54 determines the virtual representative position so that the movement amount of the virtual representative position increases as the movement amount of the actual designated position increases.
- FIGS. 21 and 22 are diagrams illustrating the relationship between the movement of the actual designated position using the virtual wheels 85 and 86 and the virtual representative position.
- the virtual position determination unit 54 moves the actual designated position by turning the virtual wheels 85 and 86 located at the left and right of the user 61 and below the waist in the navigation mode (see the solid line in FIG. 21).
- the virtual representative position is determined according to the above.
- the virtual position determination unit 54 determines the virtual representative position so that the virtual representative position moves by an amount corresponding to the movement amount of the actual designated position.
- the virtual wheels 85 and 86 are like wheels of a wheelchair.
- the virtual position determination unit 54 moves the virtual representative position according to the virtual rotation of the virtual wheels 85 and 86 due to the movement.
- the virtual position determination unit 54 determines the virtual representative position so that the movement amount of the virtual representative position increases as the movement amount of the actual designated position increases.
- the virtual position determination unit 54 rotates the virtual viewpoint direction.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Radar, Positioning & Navigation (AREA)
- Architecture (AREA)
- Remote Sensing (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
ボタンやスティックの操作により進む方向を入力する方法とは異なりかつ直観的に仮想空間内の視点を移動させる操作方法を提供すること。 画像処理装置は、実空間においてユーザにより指示された実位置を取得する実位置取得手段と、所定の入力をしている間における前記取得された実位置の動きに基づいて、仮想空間において自分を代表する位置である仮想代表位置を決定する代表位置決定手段と、前記決定された仮想代表位置に基づく3次元画像を描画する描画手段と、を含む。
Description
本発明は画像処理装置、画像処理方法およびプログラムに関する。
ユーザが、コントローラのボタンやスティックの操作により進む方向を入力すると、その入力された方向に仮想空間内の自分の位置を移動し、その移動された自分の位置からみた3次元画像を表示させる技術がある。
仮想空間における3次元画像を表示する場合、その視点をコントローラのボタンやスティックの操作で変化させることは、少なくとも一部のユーザにとって直観的な操作ではなかった。
本発明は上記課題を鑑みてなされたものであって、その目的は、ボタンやスティックの操作により進む方向を入力する方法とは異なりかつ、直観的な仮想空間内の視点移動のための操作方法を提供することにある。
上記課題を解決するために、本発明にかかる画像処理装置は、実空間においてユーザにより指示された実位置を取得する実位置取得手段と、所定の入力をしている間における前記取得された実位置の動きに基づいて、仮想空間において自分を代表する位置である仮想代表位置を決定する代表位置決定手段と、前記決定された仮想代表位置に基づく3次元画像を描画する描画手段と、を含む。
また、本発明にかかる画像処理方法は、実空間においてユーザにより指示された実位置を取得するステップと、所定の入力をしている間における前記取得された実位置の動きに基づいて、仮想空間において自分を代表する位置である仮想代表位置を決定するステップと、前記決定された仮想代表位置に基づく3次元画像を描画するステップと、を含む。
また、本発明にかかるプログラムは、実空間においてユーザにより指示された実位置を取得する実位置取得手段、所定の入力をしている間における前記取得された実位置の動きに基づいて、仮想空間において自分を代表する位置である仮想代表位置を決定する代表位置決定手段、および、前記決定された仮想代表位置に基づく3次元画像を描画する描画手段、としてコンピュータを機能させる。
本発明によれば、ボタンやスティックの操作により進む方向を入力する方法とは異なる操作方法で直観的に仮想空間内の視点を変化させることができる。
本発明の一形態では、前記代表位置決定手段は、前記実位置の移動量に応じて前記仮想代表位置の移動量が定まるように前記仮想代表位置を移動させてもよい。
本発明の一形態では、前記代表位置決定手段は、前記実位置が前記ユーザを代表する実代表位置へ近づいた場合に、仮想空間において自分を代表する位置である仮想代表位置が前記仮想空間における前記実位置に対応する仮想位置に近づくように、前記仮想代表位置を決定してもよい。
本発明の一形態では、前記代表位置決定手段は、所与の時点に前記ユーザにより指示された実位置である実基準位置から前記ユーザにより指示された現在の位置である実現在位置への移動ベクトルの第1の方向の成分に基づいて前記仮想代表位置を決定してもよい。
本発明の一形態では、前記第1の方向は、水平面に投影された前記実基準位置および前記実代表位置を結ぶ直線の方向であってもよい。
本発明の一形態では、前記代表位置決定手段は、実空間における前記移動ベクトルの第2の方向の成分に基づいて仮想空間における前記ユーザの向きを決定し、前記第2の方向は前記第1の方向と異ってもよい。
本発明の一形態では、前記代表位置決定手段は、前記実基準位置が第1の領域にある場合に、前記実基準位置から前記実現在位置への移動ベクトルの前記第1の方向の成分に基づいて前記仮想代表位置を決定し、前記実基準位置が第1の領域と異なる第2の領域にある場合に、前記移動ベクトルの前記第2の方向の成分に基づいて仮想空間における前記ユーザの向きを決定してもよい。
本発明の一形態では、前記第1の領域は前記実代表位置の前方にあり、前記第2の領域は、前記第1の領域の側方にあってもよい。
以下では、本発明の実施形態について図面に基づいて説明する。出現する構成要素のうち同一機能を有するものには同じ符号を付し、その説明を省略する。
図1は、本発明の実施形態にかかる画像処理装置1のハードウェア構成の一例を示す図である。画像処理装置1は、パーソナルコンピュータや家庭用ゲーム機、または携帯情報端末である。画像処理装置1は、プロセッサ11、記憶部12、通信部13、操作入力部14、表示制御部15を含む。
プロセッサ11は、記憶部12に格納されているプログラムに従って動作し、通信部13や操作入力部14、表示制御部15等を制御する。なお、上記プログラムは、フラッシュメモリ等のコンピュータで読み取り可能な記憶媒体に格納されて提供されるものであってもよいし、インターネット等のネットワークを介して提供されるものであってもよい。
記憶部12は、DRAMやフラッシュメモリ等のメモリ素子によって構成されている。記憶部12は、上記プログラムを格納する。また、記憶部12は、プロセッサ11や通信部13等から入力される情報や演算結果を格納する。
通信部13は有線LANや無線LANを構成する集積回路やコネクタ、アンテナなどにより構成されている。通信部13は、ネットワークを介して他の装置と通信する機能を有する。通信部13は、プロセッサ11の制御に基づいて、他の装置から受信した情報をプロセッサ11や記憶部12に入力し、他の装置に情報を送信する。
操作入力部14は、ユーザの操作を検出するハードウェアからの入力を取得する回路である。操作入力部14は、例えばユーザが位置を入力する位置入力デバイスやキーボード等の入力デバイスから入力を取得し、検出された情報をプロセッサ11や記憶部12に入力する。
表示制御部15はディスプレイ等の表示出力デバイスを制御する回路を含んでいる。表示制御部15は、プロセッサ11の制御に基づいて、表示出力デバイスに画像を表示させる。
図2は、ユーザ61が画像処理装置1を使用する際の入力デバイス等の使用方法の一例を説明する図である。図2の例は、ユーザ61を上からみた図である。本実施形態の例では、入力デバイスとしてモーションコントローラ62,63、カメラ64を用い、表示出力デバイスとしてヘッドマウントディスプレイ65を用いる。
モーションコントローラ62,63のそれぞれは、カメラに位置を認識させるためのボール部と、ユーザ61に握らせるための把持部とを有する。把持部には、ボタンが設けられており、ユーザ61がボタンを操作すると、モーションコントローラ62,63は無線を介して操作入力部14へそのボタンの操作の情報を送信し、操作入力部14はその情報を取得する。カメラ64は、モーションコントローラ62,63のボール部を含む画像を撮影し、その撮影された画像内でのボール部の位置および大きさに基づいて、モーションコントローラ62,63が実空間において指示する実指示位置を検出する。操作入力部14は、その検出されたモーションコントローラ62,63の実指示位置を取得する。
ヘッドマウントディスプレイ65は、ユーザ61の頭部に装着するディスプレイであり、ユーザ61の目前に画像を表示する。その表示された画像が視差を考慮したものである場合は、ユーザ61は画像に含まれる物体を立体的に認識することができる。ヘッドマウントディスプレイ65は、ユーザ61にとって臨場感が高い画像を表示することができる。
図3は、表示される画像の一例を示す図である。本実施形態で表示される画像は、仮想空間内のユーザ61の位置(以下では「仮想代表位置」と記載する)における視点の向きに対する3次元画像である、この画像において、モーションコントローラ62,63が指示する実指示位置に相当する仮想空間内の位置(以下では「仮想指示位置」とも呼ぶ)に指示オブジェクト72,73が表示されている。また、モーションコントローラ62,63の操作により仮想代表位置が移動したり、仮想空間におけるユーザ61の視点の向き(以下では「仮想視点方向」と記載する)が変化したり、仮想空間内で画像が描画される範囲内にあるオブジェクトの位置や向きが変化すると、画像処理装置1はそれらの変化が反映された画像を描画し、その画像をヘッドマウントディスプレイ65に表示させる。
本実施形態にかかる画像処理装置1は、所定の操作をしている間(例えばユーザ61がボタンを押してから離すまでの間)の、モーションコントローラ62,63のうちいずれかの動きの水平成分に基づいて、仮想代表位置を移動させている。図4は、実指示位置が手前に動く場合の仮想代表位置の動きを模式的に示す図であり、図5は、実指示位置が遠方へ動く場合の仮想代表位置の動きを模式的に示す図である。例えば、ユーザ61が、モーションコントローラ62,63を手前に動かすと仮想代表位置が前進し(図4の破線で描かれた矢印参照)、モーションコントローラ62,63を前方へ動かすと仮想代表位置が後退する(図5の破線で描かれた矢印参照)。また、図6は実指示位置が右へ動く場合の仮想代表位置の動きを模式的に示す図である。例えば、ユーザ61がモーションコントローラ62,63を右方向に動かすと、仮想代表方向はその動いた向きと反対の方向(左方向)へ向けて回転する(図6の破線で描かれた矢印参照)。
別の言い方をすると、ユーザがボタンを押し続けている間のモーションコントローラ62または63の仮想指示位置の移動を制限し、その後のモーションコントローラ62または63の移動では、モーションコントローラ62または63とユーザ61との水平的な位置関係が維持されるように仮想代表位置や仮想視点方向を決定している。このような動作は壁の手すり等の物体を掴んで移動する動作にも似ており、直観的に理解しやすい動作である。
なお、ユーザ61がボタンを押下してから離すまでのモーションコントローラ62,63のうちいずれかの動きの代わりに、ユーザ61がボタンを押下してから次に押下するまでの動きに基づいて画像処理装置1が仮想代表位置を移動させてもよい。
以下では実指示位置の動きから仮想代表位置の動きを決定し画像を描画する処理について説明する。図7は、本発明の実施形態にかかる画像処理装置1が実現する機能を示すブロック図である。画像処理装置1は機能的に、実位置取得部51、モード決定部52、基準位置設定部53、仮想位置決定部54、オブジェクト位置決定部55、画像描画部56を含む。
実位置取得部51は、主に、プロセッサ11が記憶部12に記憶されるプログラムを実行し、モーションコントローラ62または63やカメラ64からの情報を取得する操作入力部14からの情報を処理し、処理結果を記憶部12に格納することにより実現される。モード決定部52、基準位置設定部53、仮想位置決定部54、オブジェクト位置決定部55は、主に、プロセッサ11が記憶部12に記憶されるプログラムを実行し、記憶部12等に格納された情報を処理し、処理結果を記憶部12に格納することにより実現される。画像描画部56は、主に、プロセッサ11が記憶部12に記憶されるプログラムを実行し、記憶部12等に格納された情報を処理し、表示出力デバイスが画像を表示するよう表示制御部15を制御することにより実現される。
実位置取得部51は、実空間においてユーザ61により指示された実指示位置を取得する。また、実位置取得部51は、実空間におけるユーザ61の位置(「実代表位置」と呼ぶ)を取得する。実位置取得部51が取得する実指示位置および実代表位置は、3次元空間における位置である。実指示位置はモーションコントローラ62,63が指示する位置であり、実代表位置は例えばヘッドマウントディスプレイ65の位置である。
モード決定部52は、ユーザ61の操作に基づいて、現在のモードが、ナビゲーションモードであるか否かを決定する。ナビゲーションモードは、仮想代表位置を移動させるモードであり、ナビゲーションモードが設定されている期間は、ユーザ61がボタンの押下などの所定の操作をしている期間である。また、モード決定部52は、ユーザ61の操作がされた実位置が第1の領域または第2の領域に含まれるか否かに基づいて、ナビゲーションモードにおいて、仮想代表位置を変更可能とするか否かのフラグ(移動フラグ)と、仮想視点方向を変更可能とするか否かのフラグ(回転フラグ)とを設定する。
基準位置設定部53は、ユーザ61の操作に基づいて、仮想代表位置や仮想視点方向を決定する際に基準となる、ボタン押下時の実指示位置(基準位置)と、ボタン押下時の実代表位置(基準実代表位置)、仮想代表位置(基準仮想代表位置)および仮想視点方向(基準視点方向)とを記憶部12に記憶させる。なお、本実施形態では、仮想視点方向は高さ方向を軸とした角度で表され、上下方向の成分は含まない。
仮想位置決定部54は、所定の入力をしている間におけるた実指示位置の動きに基づいて、仮想代表位置や仮想空間におけるユーザ61の仮想代表方向を決定する。別の見方では、仮想位置決定部54は実指示位置の移動量に応じて仮想代表位置の移動量が定まるように仮想代表位置を移動させる。より具体的には、仮想位置決定部54は、取得された実指示位置と、基準位置とに基づいて仮想代表位置や仮想視点方向を決定する。実指示位置が実代表位置に近づいた場合には、仮想位置決定部54は仮想代表位置が仮想指示位置に近づくように仮想代表位置を決定する。一方、実指示位置が実代表位置から遠ざかる場合には、仮想位置決定部54は仮想代表位置が仮想指示位置から遠ざかるように仮想代表位置を決定する。また、仮想位置決定部54は、現在の実指示位置が基準位置より実代表位置に近い場合に、現在の仮想代表位置が、基準仮想代表位置より実指示位置に対応する仮想指示位置に近づくように、仮想代表位置を決定する。仮想位置決定部54は、実指示位置の移動量が大きいほど、仮想代表位置の移動量も大きくなるように仮想代表位置を決定する。
オブジェクト位置決定部55は、オブジェクトの動作を定義するデータや他のオブジェクトとの衝突の有無に基づいて、現時点における仮想空間内のオブジェクトの位置や向きを決定する。
画像描画部56は、決定された仮想代表位置や仮想視点方向と、決定されたオブジェクトの位置や向きとに基づいて、仮想空間におけるオブジェクトの3次元画像を描画する。
図8は、画像処理装置1の処理フローの一例を示す図である。はじめに、実位置取得部51は、実指示位置やボタン操作を取得する(ステップS101)。実位置取得部51は、そのボタン操作として、例えば、現時点でボタンが押されているか、ボタンが新たに押下されたか、ボタンが離されたか、のそれぞれを検出する。また、実位置取得部51は現在の実指示位置および実代表位置も取得する。
次に、モード決定部52は、ユーザ61のボタン操作や実指示位置に基づいて、現在の動作モードを決定する(ステップS102)。具体的には、モード決定部52は、現在の動作モードがナビゲーションモードであるか否かを決定するとともに、ナビゲーションモードの場合にはモーションコントローラ62,63のうち仮想代表位置や仮想視点方向の変更に用いられるもの(「対象コントローラ」と記載する)を示す対象コントローラ情報、移動フラグおよび回転フラグを設定する。なお、現在のモードが新たに、ナビゲーションモードに決定されると、基準位置設定部53は、その時点における、実指示位置(基準位置)、実代表位置(基準実代表位置)、仮想代表位置(基準仮想代表位置)、仮想視点方向(基準視点方向)を記憶部12に記憶させる。
以下では、ステップS102およびこれに関連する処理について説明する。図9は、モード決定部52および基準位置設定部53の処理フローの一例を示す図である。モード決定部52は、はじめに、モーションコントローラ62,63からの入力に基づいて、ユーザ61がモーションコントローラ62,63のいずれかに含まれるボタンを新たに押下したか否かを検出する(ステップS201)。ここで、ボタンが新たに押下された場合には(ステップS201のY)、モード決定部52はボタンが押下されたモーションコントローラを対象コントローラとして決定し、さらに対象コントローラの実指示位置がどの領域にあるかを判定する。より具体的には、モード決定部52は、その実指示位置が移動判定領域81にある場合(ステップS202のY)には、動作モードにナビゲーションモードを設定するとともに移動フラグをONに設定し(ステップS203)さらに対象コントローラを示す対象コントローラ情報を記憶部12に記憶させる。またその実指示位置が回転判定領域82にある場合には(ステップS204のY)、モード決定部52は動作モードにナビゲーションモードを設定するとともに回転フラグをONに設定し(ステップS205)、さらに対象コントローラを示す対象コントローラ情報を記憶部12に記憶させる。
図10は、実空間における移動判定領域81と回転判定領域82とを説明する図である。図10の例では、移動判定領域81はユーザ61の実代表位置dの前方にありかつ実代表位置dからの距離が所定の範囲にある領域である。また、回転判定領域82は、移動判定領域81の側方にありかつ実代表位置dからの距離が所定の範囲にある領域である。より具体的には、移動判定領域81は、実代表位置dからユーザ61の前方に延びる直線とのなす角が第1の閾値以下であり、かつ実代表位置dからの距離が所定の範囲にある領域である。回転判定領域82は、その角が第1の閾値より大きく第2の閾値以下でありかつ実代表位置dからの距離が所定の範囲にある領域である。なお、移動判定領域81と回転判定領域82とが重なっていてもよい。重なっている領域に実指示位置があった場合、仮想位置決定部54は仮想代表位置と仮想視点方向との両方の変更を行ってよい。
ステップS204で実指示位置が回転判定領域82にない場合、またはステップS205の処理がなされた後に、基準位置設定部53は、新たにボタンが押下された時点の実指示位置を基準位置として記憶部12に記憶させ、また新たにボタンが押下された時点の実代表位置、仮想代表位置、仮想視点方向をそれぞれ基準実代表位置、基準仮想代表位置、基準視点方向として記憶部12に記憶させる(ステップS206)。記憶部12に記憶された基準位置、基準実代表位置、基準仮想代表位置は仮想位置決定部54にて仮想代表位置や仮想視点方向を決定する際に用いられる。ステップS206の処理は、ナビゲーションモードに設定された場合のみ行われてもよい。
ここで、ステップS201においてユーザ61がボタンを新たに押下しておらず(ステップS201のN)、かつ、ユーザ61が対象コントローラ情報が示す対象コントローラのボタンを離した場合には(ステップS207のY)、モード決定部52は動作モードをナビゲーションモードと異なるモードに設定し、ナビゲーションモードを解除する(ステップS208)。ユーザ61がそのボタンを離していない場合には(ステップS207のN)、モード決定部52は動作モードを変更しない。
ステップS102のモード決定部52の処理等が行われると、仮想位置決定部54は、現在の動作モードがナビゲーションモードか否かを判定する(ステップS103)。動作モードがナビゲーションモードである場合には(ステップS103のY)、仮想位置決定部54は仮想代表位置の移動または仮想視点方向を算出する(ステップS104)。動作モードがナビゲーションモードでない場合には(ステップS103のN)、ステップS104の処理をスキップする。その後、仮想位置決定部54はモーションコントローラ62,63の実指示位置に基づいて仮想指示位置を決定する(ステップS105)。
図11は、仮想代表位置および仮想視点方向の決定についての処理フローの一例を示す図である。図11は、ステップS104の処理の詳細を示す。図11に示す処理において、はじめに、仮想位置決定部54は、実位置取得部51により取得された対象コントローラの現在の実指示位置cと、基準位置設定部53により記憶部12に格納された基準位置b、基準実代表位置p、基準視点方向とを取得する(ステップS301)。以下の処理では水平成分のみを利用するため、仮想位置決定部54は、例えば実指示位置c、基準位置b、基準実代表位置pが3次元の直交座標系の3つの値で表される場合は、仮想位置決定部54は実指示位置c、基準位置b、基準実代表位置pの高さ方向を除く座標の2つの値のみを取得してよい。
次に、仮想位置決定部54は、基準位置bから実指示位置cへの移動ベクトルVの水平成分の距離方向成分Rと回転角θとを算出する(ステップS302)。
図12は、実空間における基準位置bと実指示位置cと基準実代表位置pとの関係を示す図である。図12は上から見た図であり、水平成分のみを示している。基準位置bから実指示位置cへ向かうベクトルの水平成分が、移動ベクトルVである。仮想位置決定部54は、基準実代表位置pから基準位置bへ向かう直線の水平成分へ、この移動ベクトルVの水平成分を射影したベクトルを、移動ベクトルVの距離方向成分Rとして取得する。また、仮想位置決定部54は、基準実代表位置pから基準位置bへ向かうベクトルと、基準実代表位置pから実指示位置cへ向かうベクトルとのなす角を、移動ベクトルVに関する回転角θとして取得する。ここで、回転角θは、移動ベクトルVの距離方向成分Rと異なる方向の成分(例えば距離方向に直交する方向の成分)に応じて定まる。なお、基準実代表位置pとして、新たにボタンが押下された時点の実代表位置の代わりに現在の実代表位置を用いてもよい。
そして、仮想位置決定部54は、移動フラグが設定されている場合には(ステップS303のY)、記憶部12に記憶された仮想代表位置と移動ベクトルVの距離方向成分Rとから、現在の新たな仮想代表位置を算出する(ステップS304)。より具体的には、例えば、ステップS304において、仮想位置決定部54は、記憶部12に記憶された基準実代表位置pから、移動ベクトルVの距離方向成分Rの反対ベクトルの分だけ移動された実空間上の仮の位置を求め、その仮の位置を座標変換する。これにより、仮想位置決定部54はその仮の位置に相当する仮想空間内の位置を、新たな仮想代表位置(厳密には仮想代表位置のうち水平成分)として取得する。また、仮想位置決定部54は移動ベクトルVの距離方向成分Rの反対ベクトルに対して座標変換を行って仮想空間内の距離方向成分Rの反対ベクトルを取得し、基準時の仮想代表位置を取得された反対ベクトルだけ動かした位置を求めることで新たな仮想代表位置(仮想代表位置の水平成分)を取得してもよい。
また、仮想位置決定部54は仮想代表位置の高さ成分を、取得された新たな仮想代表位置の水平位置における地面74の高さに基づいて取得する。図13は、仮想空間におけるユーザ61を示すプロキシ71の一例を説明する図である。また、図14は、仮想空間におけるプロキシ71と地面74との関係の一例を示す図である。プロキシ71の中心は、仮想代表位置に存在する。プロキシ71は、地面74からわずかに浮いており、高さ方向の軸に沿った回転であって水平面上で認識される回転のみが可能である。またプロキシ71の中心は、その水平位置における地面から一定の距離だけ離れている。仮想位置決定部54は、例えば、求められた新たな仮想代表位置の水平位置における地面74の高さに一定の値を加算することで、新たな仮想代表位置の高さを取得する。なお、仮想位置決定部54は、水平移動に伴う姿勢の変化等も考慮して仮想代表位置の高さを取得してもよい。
新たな仮想代表位置が算出されると、仮想位置決定部54は、新たな仮想代表位置に基づいて、仮想代表位置の移動速度を算出する(ステップS304)。仮想位置決定部54は、単に新たな仮想代表位置と1つ前のフレームにおける仮想代表位置との差を移動速度として算出してもよいし、さらに姿勢変化等の他の要因にも基づいて移動速度を算出してもよい。
なお、ステップS303において移動フラグが設定されていない場合(ステップS303のN)には、ステップS304とステップS305の処理はスキップされる。そして、仮想位置決定部54は、回転フラグが設定されているか否かを判定する(ステップS306)。回転フラグが設定されていない場合には(ステップS306のN)、ステップS307をスキップする。回転フラグが設定されている場合には(ステップS306のY)、仮想位置決定部54は、基準視点方向と回転角θとから、新たな仮想視点方向を算出する(ステップS307)。より具体的には、仮想位置決定部54は、基準視点方向を回転角(-θ)だけ回転させる(逆方向に回転させる)ことで、新たな仮想視点方向を算出する。なお、仮想位置決定部54は、実空間における、基準代表位置が記憶された時点の視点の向きと、現在における視点の向きとの差をさらに用いて仮想視点方向を算出してもよい。つまり、仮想位置決定部54は、基準視点方向を回転角(-θ)だけ回転させ、さらに実空間の回転方向に前述の差だけ回転させることにより、仮想視点方向を算出してよい。
ステップS301からステップS307の処理等では、基準位置b、基準実代表位置p、基準仮想代表位置、基準視点方向として、1つ前のフレームにおける実指示位置、実代表位置、仮想代表位置、仮想視点方向を用いてもよい。
これまでは、動作モードがナビゲーションモードの場合について説明した。一方、ステップS103において、動作モードがナビゲーションモードでない場合には(ステップS103のN)、この処理をスキップする。そして、仮想位置決定部54は決定された仮想代表位置や仮想視点方向に基づいて、モーションコントローラ62,63の実指示位置に対応する仮想指示位置を決定する(ステップS105)。そして、オブジェクト位置決定部55は現時点における仮想空間内のオブジェクトの位置や向きを決定し(ステップS106)、画像描画部56は、移動された仮想代表位置や仮想視点方向に基づいて、オブジェクトの三次元画像を描画する(ステップS107)。
本実施形態では、基準位置から実指示位置までの移動のうち、ある方向の成分を仮想代表位置が移動する先の仮想代表位置の決定のために用い、その方向と異なる方向の成分に基づいて仮想視点方向の回転角を求めることで、実指示位置の移動だけで仮想代表位置の移動だけでなく視点の向きの変更も行うことが可能になる。また、基準位置bが移動判定領域81にある場合に仮想代表位置を求め、基準位置bが回転判定領域82にある場合に仮想視点方向を求めるようにすることで、回転を意図していない操作で回転してしまう現象や、移動を意図していない操作で移動してしまう現象の発生を抑え、ユーザ61が仮想代表位置や仮想視点方向を容易に調整することが可能になる。
また、この画像処理装置1において、ユーザ61が左右のモーションコントローラ62,63を交互に仮想代表位置および仮想視点方向の変更に用いることで、ユーザ61が連続的かつ容易に仮想空間内を移動または回転することが可能になる。図15は、両手を交互に動かすことによる仮想代表位置の移動を模式的に示す図である。例えば、右手で掴んでいるモーションコントローラ62を前に出した上でナビゲーションモードにてそのモーションコントローラ62を手前に動かすことで仮想空間内のユーザ61の位置を前方に動かす間に、左手で掴んでいるモーションコントローラ63を前に出し、モーションコントローラ62による移動が終わりナビゲーションモードを解除したらすぐに、ナビゲーションモードにてモーションコントローラ63を手前に動かす。本実施形態にかかる画像処理装置1がこういった動作を可能にすることで、仮想空間におけるユーザ61の位置が止まっている時間を最小化し、ユーザ61が直観的かつスムーズに仮想空間内を移動することが可能になる。
ここで、動作モードがナビゲーションモードの場合に、画像描画部56がオブジェクトの三次元画像に加えて、ユーザ61の操作の目安となる操作ガイドの画像を描画してもよい。図16は仮想空間に表示される操作ガイドの一例を示す図である。また、図17は、仮想空間に表示される操作ガイドを用いた操作を説明する図である。図16および図17の例では、仮想空間において操作ガイドとして、ユーザ61の位置を中心とする環状の回転ガイド83と、ユーザ61の前方に向かう矢印の形を有する移動ガイド84とが表示されている。ユーザ61は、例えば図17に示されるようにモーションコントローラ62,63が示す実指示位置が移動ガイド84をたぐり寄せるような動きをした場合に、仮想位置決定部54が仮想代表位置を移動させてもよい。この際、仮想代表位置の決定の手法は、これまでに説明したものと同じであってもよい。また、ナビゲーションモードにおいて仮想位置決定部54は、ユーザ61による回転ガイド83に沿った実指示位置の移動に応じて仮想視点方向を回転させてよい。
ユーザ61が、モーションコントローラ62,63の実指示位置を操作ガイドに沿って動かすことをより、回転や移動のための操作をより直感的に行うことができる。
また、移動ガイド84は必ずしも水平方向でなくてもよい。図18は、仮想空間に表示される操作ガイドの他の一例を示す図である。図18の例では、画像描画部56により表示される回転ガイド83は図16の例と同様であるが、移動ガイド84は上下方向を向いている。例えば、仮想空間内で上下移動が可能な領域に仮想代表位置が存在しかつナビゲーションモードである場合に、画像描画部56が上下方向に延びる移動ガイド84を描画し、仮想位置決定部54はモーションコントローラ62,63のうち少なくとも一方の実指示位置が移動ガイド84に相当する仮想線に沿って移動した場合に、仮想位置決定部54は仮想代表位置をその移動ガイド84の方向(実指示位置の移動方向の逆方向)に移動させてよい。また、仮想位置決定部54は、実指示位置の移動ガイド84の方向に沿った移動量が大きくなるほどその仮想代表位置の移動量が大きくなるように仮想代表位置を決定する。
また、仮想位置決定部54がナビゲーションモードにおけるユーザ61による実指示位置の移動のパターンに応じて仮想代表位置を決定してもよい。図19は実指示位置の動きと仮想代表位置との関係の他の一例を示す図である。図20は図19の例における実指示位置の動きを側方から見た図である。図19や20は、例えば仮想代表位置が水中にあるような場合の例である。図19,20の実線は実指示位置の動きを示し、破線は仮想代表位置の動きを示す。実指示位置が水をかくような動きをした場合、仮想位置決定部54はその動きの移動量や向きに応じて仮想代表位置を移動させてよい。図19,20の例においても、仮想位置決定部54は実指示位置の移動量が大きいほど、仮想代表位置の移動量が大きくなるように仮想代表位置を決定する。
実指示位置の移動のパターンとして図19と異なるものが用いられてもよい。図21,22は、仮想ホイール85,86を用いた実指示位置の動きと仮想代表位置との関係を説明する図である。図21,22の例では、仮想位置決定部54は、ナビゲーションモードにおける、ユーザ61の左右かつ腰から下の位置にある仮想ホイール85,86を回す実指示位置の動き(図21の実線参照)に応じて仮想代表位置を決定する。その際、仮想位置決定部54は、実指示位置の移動量に応じた量だけ仮想代表位置が移動するように仮想代表位置を決定する。仮想ホイール85,86は、車いすの車輪のようなものである。ユーザ61がナビゲーションモードにおいて仮想ホイール85,86を回すように実指示位置を動かすと、仮想位置決定部54は、その動きによる仮想ホイール85,86の仮想的な回転に応じて仮想代表位置を移動させる。例えば、図21のように、仮想ホイール85,86の両方について左右のモーションコントローラ62,63の実指示位置が同じ方向に回転する動きをした場合に、仮想位置決定部54は前方または後方に仮想代表位置を移動させる。この場合、仮想位置決定部54は実指示位置の移動量が大きいほど、仮想代表位置の移動量が大きくなるように仮想代表位置を決定する。また、図22のように実指示位置の移動が示す仮想ホイール85,86の回転の向きが反対である場合には、仮想位置決定部54は仮想視点方向を回転させる。
Claims (10)
- 実空間においてユーザにより指示された実位置を取得する実位置取得手段と、
所定の入力をしている間における前記取得された実位置の動きに基づいて、仮想空間において自分を代表する位置である仮想代表位置を決定する代表位置決定手段と、
前記決定された仮想代表位置に基づく3次元画像を描画する描画手段と、
を含む画像処理装置。 - 請求項1に記載の画像処理装置において、
前記代表位置決定手段は、前記実位置の移動量に応じて前記仮想代表位置の移動量が定まるように前記仮想代表位置を移動させる、
画像処理装置。 - 請求項1または2に記載の画像処理装置において、
前記代表位置決定手段は、前記実位置が前記ユーザを代表する実代表位置へ近づいた場合に、仮想空間において自分を代表する位置である仮想代表位置が前記仮想空間における前記実位置に対応する仮想位置に近づくように、前記仮想代表位置を決定する、
画像処理装置。 - 請求項3に記載の画像処理装置において、
前記代表位置決定手段は、所与の時点に前記ユーザにより指示された実位置である実基準位置から前記ユーザにより指示された現在の位置である実現在位置への移動ベクトルの第1の方向の成分に基づいて前記仮想代表位置を決定する、
画像処理装置。 - 請求項4に記載の画像処理装置において、
前記第1の方向は、水平面に投影された前記実基準位置および前記実代表位置を結ぶ直線の方向である、
画像処理装置。 - 請求項4または5に記載の画像処理装置において、
前記代表位置決定手段は、実空間における前記移動ベクトルの第2の方向の成分に基づいて仮想空間における前記ユーザの向きを決定し、
前記第2の方向は前記第1の方向と異なる、
画像処理装置。 - 請求項6に記載の画像処理装置において、
前記代表位置決定手段は、前記実基準位置が第1の領域にある場合に、前記実基準位置から前記実現在位置への移動ベクトルの前記第1の方向の成分に基づいて前記仮想代表位置を決定し、前記実基準位置が第1の領域と異なる第2の領域にある場合に、前記移動ベクトルの前記第2の方向の成分に基づいて仮想空間における前記ユーザの向きを決定する、
画像処理装置。 - 請求項7に記載の画像処理装置において、
前記第1の領域は前記実代表位置の前方にあり、前記第2の領域は、前記第1の領域の側方にある、
画像処理装置。 - 実空間においてユーザにより指示された実位置を取得するステップと、
所定の入力をしている間における前記取得された実位置の動きに基づいて、仮想空間において自分を代表する位置である仮想代表位置を決定するステップと、
前記決定された仮想代表位置に基づく3次元画像を描画するステップと、
を含む画像処理方法。 - 実空間においてユーザにより指示された実位置を取得する実位置取得手段、
所定の入力をしている間における前記取得された実位置の動きに基づいて、仮想空間において自分を代表する位置である仮想代表位置を決定する代表位置決定手段、および、
前記決定された仮想代表位置に基づく3次元画像を描画する描画手段、
としてコンピュータを機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017545193A JP6620163B2 (ja) | 2015-10-15 | 2016-10-11 | 画像処理装置、画像処理方法およびプログラム |
US15/757,686 US10761596B2 (en) | 2015-10-15 | 2016-10-11 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015203959 | 2015-10-15 | ||
JP2015-203959 | 2015-10-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017065126A1 true WO2017065126A1 (ja) | 2017-04-20 |
Family
ID=58518335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/080083 WO2017065126A1 (ja) | 2015-10-15 | 2016-10-11 | 画像処理装置、画像処理方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10761596B2 (ja) |
JP (1) | JP6620163B2 (ja) |
WO (1) | WO2017065126A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018195172A (ja) * | 2017-05-19 | 2018-12-06 | 株式会社コロプラ | 情報処理方法、情報処理プログラム及び情報処理装置 |
JP6723417B1 (ja) * | 2019-06-28 | 2020-07-15 | 株式会社Five for | 仮想現実システム、プログラム、およびコンピュータ読み取り可能な記憶媒体 |
JP2020526831A (ja) * | 2017-07-05 | 2020-08-31 | 株式会社ソニー・インタラクティブエンタテインメント | シミュレーションされた三次元(3d)環境におけるインタラクティブな入力制御 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7341674B2 (ja) * | 2019-02-27 | 2023-09-11 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2021163418A1 (en) * | 2020-02-12 | 2021-08-19 | University Of Florida Research Foundation | Human eyes design: first person vr characters for testing inclusive design solutions |
US20220189103A1 (en) * | 2020-12-15 | 2022-06-16 | Canon Kabushiki Kaisha | Generation apparatus, generation method, and storage medium |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013029958A (ja) * | 2011-07-28 | 2013-02-07 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5294442B2 (ja) * | 2006-09-13 | 2013-09-18 | 任天堂株式会社 | ゲーム装置およびゲームプログラム |
US20090079745A1 (en) * | 2007-09-24 | 2009-03-26 | Wey Fun | System and method for intuitive interactive navigational control in virtual environments |
US9067097B2 (en) * | 2009-04-10 | 2015-06-30 | Sovoz, Inc. | Virtual locomotion controller apparatus and methods |
US8226484B2 (en) * | 2009-08-27 | 2012-07-24 | Nintendo Of America Inc. | Simulated handlebar twist-grip control of a simulated vehicle using a hand-held inertial sensing remote controller |
US8882597B2 (en) * | 2011-05-25 | 2014-11-11 | Sony Computer Entertainment America Llc | Hybrid separable motion controller |
US20130104086A1 (en) * | 2011-10-21 | 2013-04-25 | Digital Artforms, Inc. | Systems and methods for human-computer interaction using a two handed interface |
US20130104085A1 (en) * | 2011-10-21 | 2013-04-25 | Digital Artforms, Inc. | Systems and methods for human-computer interaction using a two handed interface |
-
2016
- 2016-10-11 US US15/757,686 patent/US10761596B2/en active Active
- 2016-10-11 JP JP2017545193A patent/JP6620163B2/ja active Active
- 2016-10-11 WO PCT/JP2016/080083 patent/WO2017065126A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013029958A (ja) * | 2011-07-28 | 2013-02-07 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
Non-Patent Citations (1)
Title |
---|
KOICHI MATSUDA ET AL., 3D USER INTERFACES, 30 September 2005 (2005-09-30), pages 171 - 175 , 216 , 231 to 232 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018195172A (ja) * | 2017-05-19 | 2018-12-06 | 株式会社コロプラ | 情報処理方法、情報処理プログラム及び情報処理装置 |
JP2020526831A (ja) * | 2017-07-05 | 2020-08-31 | 株式会社ソニー・インタラクティブエンタテインメント | シミュレーションされた三次元(3d)環境におけるインタラクティブな入力制御 |
JP7127107B2 (ja) | 2017-07-05 | 2022-08-29 | 株式会社ソニー・インタラクティブエンタテインメント | シミュレーションされた三次元(3d)環境におけるインタラクティブな入力制御 |
JP6723417B1 (ja) * | 2019-06-28 | 2020-07-15 | 株式会社Five for | 仮想現実システム、プログラム、およびコンピュータ読み取り可能な記憶媒体 |
WO2020261595A1 (ja) * | 2019-06-28 | 2020-12-30 | 株式会社Five for | 仮想現実システム、プログラム、およびコンピュータ読み取り可能な記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20190041974A1 (en) | 2019-02-07 |
US10761596B2 (en) | 2020-09-01 |
JPWO2017065126A1 (ja) | 2018-05-24 |
JP6620163B2 (ja) | 2019-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6620163B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US9527214B2 (en) | Robot apparatus, method for controlling the same, and computer program | |
US9857962B2 (en) | Robot operation apparatus and robot operation program product | |
US9098130B2 (en) | Computer-readable storage medium having stored thereon input processing program, input processing apparatus, input processing method, and input processing system | |
CN107890664A (zh) | 信息处理方法及装置、存储介质、电子设备 | |
EP2371434B1 (en) | Image generation system, image generation method, and information storage medium | |
US20160229052A1 (en) | Robot operation apparatus, robot system, and robot operation program | |
US20120154311A1 (en) | Information storage medium, terminal, and input determination method | |
US20160354692A1 (en) | Image processing program, image processing device and image processing method | |
JP2009011362A (ja) | 情報処理システム、ロボット装置及びその制御方法 | |
JP2014235596A (ja) | 情報処理プログラム、情報処理システム、情報処理装置、および情報処理方法 | |
US11609428B2 (en) | Information processing apparatus and information processing method | |
JP6240135B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2014044455A (ja) | 操作端末、操作制御方法、操作制御プログラム | |
JP6239164B2 (ja) | 空気調和システム | |
WO2013061672A1 (ja) | 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体 | |
CN103200304A (zh) | 一种移动终端智能光标控制***及方法 | |
WO2019082853A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN109155081B (zh) | 三维数据显示装置、三维数据显示方法以及程序 | |
JP2019185363A (ja) | 表示制御装置、表示制御方法、及びプログラム | |
JP2013178645A (ja) | 電子機器の入力装置 | |
Seo et al. | Remote data acquisition and touch-based control of a mobile robot using a smart phone | |
JP7451084B2 (ja) | 情報処理装置および情報処理方法 | |
JP2013109538A (ja) | 入力方法及び入力装置 | |
WO2016051521A1 (ja) | 画面操作装置及び画面操作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16855380 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017545193 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16855380 Country of ref document: EP Kind code of ref document: A1 |