WO2017065126A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2017065126A1
WO2017065126A1 PCT/JP2016/080083 JP2016080083W WO2017065126A1 WO 2017065126 A1 WO2017065126 A1 WO 2017065126A1 JP 2016080083 W JP2016080083 W JP 2016080083W WO 2017065126 A1 WO2017065126 A1 WO 2017065126A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
actual
representative position
image processing
representative
Prior art date
Application number
PCT/JP2016/080083
Other languages
English (en)
French (fr)
Inventor
裕史 松生
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to JP2017545193A priority Critical patent/JP6620163B2/ja
Priority to US15/757,686 priority patent/US10761596B2/en
Publication of WO2017065126A1 publication Critical patent/WO2017065126A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program.
  • the present invention has been made in view of the above problems, and its purpose is different from a method of inputting a direction to be advanced by an operation of a button or a stick, and an operation method for moving a viewpoint in an intuitive virtual space. Is to provide.
  • an image processing apparatus includes an actual position acquisition unit that acquires an actual position instructed by a user in real space, and the acquired actual position while performing a predetermined input.
  • a representative position determining means for determining a virtual representative position that is a position representing the person in the virtual space based on the movement of the position; and a drawing means for drawing a three-dimensional image based on the determined virtual representative position.
  • the image processing method includes a step of acquiring a real position instructed by a user in a real space, and a virtual space based on the movement of the acquired real position during a predetermined input. And a step of determining a virtual representative position that is a position representing the user at the same time and a step of drawing a three-dimensional image based on the determined virtual representative position.
  • the program according to the present invention includes a real position acquisition unit that acquires a real position instructed by a user in the real space, and a virtual space based on the movement of the acquired real position during a predetermined input.
  • the computer is caused to function as representative position determining means for determining a virtual representative position, which is a position representing itself, and drawing means for drawing a three-dimensional image based on the determined virtual representative position.
  • the viewpoint in the virtual space can be intuitively changed by an operation method different from the method of inputting the advancing direction by operating a button or a stick.
  • the representative position determining means may move the virtual representative position so that the movement amount of the virtual representative position is determined according to the movement amount of the actual position.
  • the said representative position determination means WHEREIN When the said real position approaches the real representative position which represents the said user, the virtual representative position which is a position which represents self in virtual space is in the said virtual space.
  • the virtual representative position may be determined so as to approach a virtual position corresponding to the actual position.
  • the said representative position determination means moves to the realization position which is the present position instruct
  • the virtual representative position may be determined based on a first direction component of the vector.
  • the first direction may be a direction of a straight line connecting the actual reference position and the actual representative position projected onto a horizontal plane.
  • the said representative position determination means determines the direction of the said user in virtual space based on the component of the 2nd direction of the said movement vector in real space, and the said 2nd direction is the said 1st direction.
  • the direction may be different.
  • the said representative position determination means is the component of the said 1st direction of the movement vector from the said real reference position to the said realization present position, when the said real reference position exists in a 1st area
  • the first area may be in front of the actual representative position, and the second area may be lateral to the first area.
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of an image processing apparatus 1 according to an embodiment of the present invention.
  • the image processing apparatus 1 is a personal computer, a home game machine, or a portable information terminal.
  • the image processing apparatus 1 includes a processor 11, a storage unit 12, a communication unit 13, an operation input unit 14, and a display control unit 15.
  • the processor 11 operates according to a program stored in the storage unit 12, and controls the communication unit 13, the operation input unit 14, the display control unit 15, and the like.
  • the program may be provided by being stored in a computer-readable storage medium such as a flash memory, or may be provided via a network such as the Internet.
  • the storage unit 12 is composed of a memory element such as a DRAM or a flash memory.
  • the storage unit 12 stores the program.
  • the storage unit 12 stores information and calculation results input from the processor 11, the communication unit 13, and the like.
  • the communication unit 13 includes an integrated circuit, a connector, an antenna, and the like that constitute a wired LAN or a wireless LAN.
  • the communication unit 13 has a function of communicating with other devices via a network. Based on the control of the processor 11, the communication unit 13 inputs information received from another device to the processor 11 or the storage unit 12 and transmits the information to the other device.
  • the operation input unit 14 is a circuit that acquires an input from hardware that detects a user operation.
  • the operation input unit 14 acquires an input from an input device such as a position input device or a keyboard by which a user inputs a position, and inputs detected information to the processor 11 or the storage unit 12.
  • the display control unit 15 includes a circuit that controls a display output device such as a display.
  • the display control unit 15 displays an image on the display output device based on the control of the processor 11.
  • FIG. 2 is a diagram for explaining an example of a method of using an input device or the like when the user 61 uses the image processing apparatus 1.
  • the example of FIG. 2 is a view of the user 61 as seen from above.
  • the motion controllers 62 and 63 and the camera 64 are used as input devices, and the head mounted display 65 is used as a display output device.
  • Each of the motion controllers 62 and 63 has a ball part for causing the camera to recognize the position and a grip part for causing the user 61 to grasp it.
  • the grip unit is provided with a button.
  • the motion controllers 62 and 63 transmit information on the operation of the button to the operation input unit 14 via wireless, and the operation input unit 14 Get that information.
  • the camera 64 captures an image including the ball portion of the motion controllers 62 and 63, and based on the position and size of the ball portion in the captured image, the motion controller 62 and 63 instructs in real space.
  • the indicated position is detected.
  • the operation input unit 14 acquires the actually indicated positions of the detected motion controllers 62 and 63.
  • the head mounted display 65 is a display worn on the head of the user 61 and displays an image in front of the user 61. In the case where the displayed image takes parallax into consideration, the user 61 can recognize the object included in the image in a three-dimensional manner.
  • the head mounted display 65 can display an image that is highly realistic for the user 61.
  • FIG. 3 is a diagram showing an example of the displayed image.
  • the image displayed in the present embodiment is a three-dimensional image with respect to the orientation of the viewpoint at the position of the user 61 in the virtual space (hereinafter referred to as “virtual representative position”).
  • the motion controllers 62 and 63 are displayed.
  • the pointing objects 72 and 73 are displayed at positions in the virtual space (hereinafter also referred to as “virtual pointing positions”) corresponding to the actual pointing positions indicated by.
  • the virtual representative position is moved by the operation of the motion controllers 62 and 63, the direction of the viewpoint of the user 61 in the virtual space (hereinafter referred to as “virtual viewpoint direction”) is changed, and an image is displayed in the virtual space.
  • the image processing apparatus 1 draws an image in which those changes are reflected, and displays the image on the head mounted display 65.
  • the image processing apparatus 1 uses the horizontal component of the movement of either one of the motion controllers 62 and 63 during a predetermined operation (for example, from when the user 61 presses the button until it is released). Based on this, the virtual representative position is moved.
  • FIG. 4 is a diagram schematically illustrating the movement of the virtual representative position when the actual designated position is moved forward
  • FIG. 5 is a diagram schematically illustrating the movement of the virtual representative position when the actual designated position is moved far away.
  • FIG. For example, when the user 61 moves the motion controllers 62 and 63 forward, the virtual representative position moves forward (see the arrow drawn with a broken line in FIG. 4), and when the user moves the motion controllers 62 and 63 forward, the virtual representative position moves backward.
  • FIG. 6 is a diagram schematically showing the movement of the virtual representative position when the actual designated position moves to the right.
  • the virtual representative direction rotates in the direction opposite to the moving direction (left direction) (see the arrow drawn with a broken line in FIG. 6).
  • the movement of the virtual instruction position of the motion controller 62 or 63 while the user keeps pressing the button is restricted, and the movement of the motion controller 62 or 63 thereafter is limited to the motion controller 62 or 63 and the user 61.
  • the virtual representative position and the virtual viewpoint direction are determined so that the horizontal positional relationship is maintained. Such an operation is similar to an operation of grasping and moving an object such as a handrail on a wall, and is an operation that is easy to understand intuitively.
  • image processing is performed based on the movement from the user 61 pressing the button to the next pressing, instead of any movement of the motion controllers 62, 63 from the user 61 pressing the button to releasing it.
  • the device 1 may move the virtual representative position.
  • FIG. 7 is a block diagram showing functions realized by the image processing apparatus 1 according to the embodiment of the present invention.
  • the image processing apparatus 1 functionally includes an actual position acquisition unit 51, a mode determination unit 52, a reference position setting unit 53, a virtual position determination unit 54, an object position determination unit 55, and an image drawing unit 56.
  • the actual position acquisition unit 51 mainly executes information stored in the storage unit 12 by the processor 11 and processes information from the operation input unit 14 that acquires information from the motion controller 62 or 63 or the camera 64. This is realized by storing the processing result in the storage unit 12.
  • the mode determination unit 52, the reference position setting unit 53, the virtual position determination unit 54, and the object position determination unit 55 are mainly stored in the storage unit 12 by the processor 11 executing a program stored in the storage unit 12. This is realized by processing the information and storing the processing result in the storage unit 12.
  • the image drawing unit 56 mainly executes the program stored in the storage unit 12 by the processor 11, processes information stored in the storage unit 12, and the display control unit 15 so that the display output device displays an image. This is realized by controlling
  • the real position acquisition unit 51 acquires the actual designated position designated by the user 61 in the real space.
  • the real position acquisition unit 51 acquires the position of the user 61 in real space (referred to as “real representative position”).
  • the actual designated position and the actual representative position acquired by the actual position acquisition unit 51 are positions in the three-dimensional space.
  • the actual designated position is a position designated by the motion controllers 62 and 63, and the actual representative position is, for example, the position of the head mounted display 65.
  • the mode determination unit 52 determines whether the current mode is the navigation mode based on the operation of the user 61.
  • the navigation mode is a mode for moving the virtual representative position
  • the period during which the navigation mode is set is a period during which the user 61 performs a predetermined operation such as pressing a button.
  • Whether the mode determination unit 52 can change the virtual representative position in the navigation mode based on whether or not the actual position operated by the user 61 is included in the first area or the second area.
  • a flag indicating whether or not (movement flag) and a flag indicating whether or not the virtual viewpoint direction can be changed (rotation flag) are set.
  • the reference position setting unit 53 serves as a reference when determining the virtual representative position and the virtual viewpoint direction, the actual indication position (reference position) when the button is pressed, and the actual representative when the button is pressed.
  • the storage unit 12 stores the position (reference actual representative position), virtual representative position (reference virtual representative position), and virtual viewpoint direction (reference viewpoint direction).
  • the virtual viewpoint direction is represented by an angle with the height direction as an axis, and does not include the vertical component.
  • the virtual position determining unit 54 determines the virtual representative position and the virtual representative direction of the user 61 in the virtual space based on the movement of the actual designated position while performing a predetermined input. From another viewpoint, the virtual position determination unit 54 moves the virtual representative position so that the movement amount of the virtual representative position is determined according to the movement amount of the actual designated position. More specifically, the virtual position determination unit 54 determines a virtual representative position and a virtual viewpoint direction based on the acquired actual designated position and the reference position. When the actual designated position approaches the actual representative position, the virtual position determination unit 54 determines the virtual representative position so that the virtual representative position approaches the virtual designated position.
  • the virtual position determination unit 54 determines the virtual representative position so that the virtual representative position moves away from the virtual designated position. Further, the virtual position determination unit 54 causes the current virtual representative position to be closer to the virtual instruction position corresponding to the actual instruction position than the reference virtual representative position when the current actual instruction position is closer to the actual representative position than the reference position. Next, a virtual representative position is determined. The virtual position determination unit 54 determines the virtual representative position so that the movement amount of the virtual representative position increases as the movement amount of the actual designated position increases.
  • the object position determination unit 55 determines the position and orientation of the object in the virtual space at the current time based on the data defining the movement of the object and the presence or absence of a collision with another object.
  • the image drawing unit 56 draws a three-dimensional image of the object in the virtual space based on the determined virtual representative position and virtual viewpoint direction, and the determined position and orientation of the object.
  • FIG. 8 is a diagram illustrating an example of a processing flow of the image processing apparatus 1.
  • the actual position acquisition unit 51 acquires the actual instruction position and button operation (step S101).
  • the actual position acquisition unit 51 detects, for example, whether the button is currently pressed, whether the button is newly pressed, or whether the button is released.
  • the actual position acquisition unit 51 also acquires the current actual designated position and actual representative position.
  • the mode determination unit 52 determines the current operation mode based on the button operation of the user 61 and the actual designated position (step S102). Specifically, the mode determination unit 52 determines whether or not the current operation mode is the navigation mode, and in the case of the navigation mode, the virtual representative position or the virtual viewpoint direction of the motion controllers 62 and 63 is changed. The target controller information, the movement flag, and the rotation flag indicating what is used (described as “target controller”) are set.
  • the reference position setting unit 53 determines the actual designated position (reference position), actual representative position (reference actual representative position), virtual representative position ( The reference virtual representative position) and the virtual viewpoint direction (reference viewpoint direction) are stored in the storage unit 12.
  • FIG. 9 is a diagram illustrating an example of a processing flow of the mode determination unit 52 and the reference position setting unit 53.
  • the mode determination unit 52 detects whether or not the user 61 has newly pressed a button included in one of the motion controllers 62 and 63 based on the input from the motion controllers 62 and 63 (step S201). .
  • the mode determination unit 52 determines the motion controller in which the button is pressed as the target controller, and in which region the actual designated position of the target controller is located. Determine if there is.
  • the mode determination unit 52 sets the navigation mode as the operation mode and sets the movement flag to ON (Step S202). S203) Further, target controller information indicating the target controller is stored in the storage unit 12.
  • the mode determination unit 52 sets the navigation mode as the operation mode and sets the rotation flag to ON (step S205), and further, the target controller. Is stored in the storage unit 12.
  • FIG. 10 is a diagram for explaining the movement determination area 81 and the rotation determination area 82 in the real space.
  • the movement determination area 81 is an area that is in front of the actual representative position d of the user 61 and the distance from the actual representative position d is within a predetermined range.
  • the rotation determination area 82 is an area that is lateral to the movement determination area 81 and that has a distance from the actual representative position d within a predetermined range. More specifically, in the movement determination area 81, an angle formed with a straight line extending from the actual representative position d to the front of the user 61 is equal to or less than a first threshold, and the distance from the actual representative position d is within a predetermined range. It is a certain area.
  • the rotation determination area 82 is an area whose corner is greater than the first threshold and less than or equal to the second threshold and whose distance from the actual representative position d is within a predetermined range.
  • the movement determination area 81 and the rotation determination area 82 may overlap.
  • the virtual position determination unit 54 may change both the virtual representative position and the virtual viewpoint direction.
  • the reference position setting unit 53 stores the actual designated position when the button is newly pressed as a reference position. 12 and the real representative position, the virtual representative position, and the virtual viewpoint direction at the time when the button is newly pressed are stored in the storage unit 12 as the reference real representative position, the reference virtual representative position, and the reference viewpoint direction, respectively (step S12). S206).
  • the reference position, reference actual representative position, and reference virtual representative position stored in the storage unit 12 are used when the virtual position determination unit 54 determines the virtual representative position and the virtual viewpoint direction.
  • the process of step S206 may be performed only when the navigation mode is set.
  • step S201 when the user 61 has not newly pressed the button (N in step S201) and the user 61 releases the button of the target controller indicated by the target controller information (Y in step S207).
  • the mode determination unit 52 sets the operation mode to a mode different from the navigation mode, and cancels the navigation mode (step S208).
  • the mode determination unit 52 does not change the operation mode.
  • the virtual position determination unit 54 determines whether or not the current operation mode is the navigation mode (step S103).
  • the operation mode is the navigation mode (Y in Step S103)
  • the virtual position determination unit 54 calculates the movement of the virtual representative position or the virtual viewpoint direction (Step S104).
  • the process in step S104 is skipped. Thereafter, the virtual position determination unit 54 determines the virtual instruction position based on the actual instruction positions of the motion controllers 62 and 63 (step S105).
  • FIG. 11 is a diagram illustrating an example of a processing flow for determining the virtual representative position and the virtual viewpoint direction.
  • FIG. 11 shows details of the processing in step S104.
  • the virtual position determination unit 54 includes the current actual designated position c of the target controller acquired by the actual position acquisition unit 51 and the reference stored in the storage unit 12 by the reference position setting unit 53.
  • the position b, the reference actual representative position p, and the reference viewpoint direction are acquired (step S301). Since only the horizontal component is used in the following processing, the virtual position determination unit 54, for example, when the actual indication position c, the reference position b, and the reference actual representative position p are represented by three values in a three-dimensional orthogonal coordinate system.
  • the virtual position determination unit 54 may acquire only two values of coordinates excluding the height direction of the actual designated position c, the reference position b, and the reference actual representative position p.
  • the virtual position determination unit 54 calculates the distance direction component R and the rotation angle ⁇ of the horizontal component of the movement vector V from the reference position b to the actual designated position c (step S302).
  • FIG. 12 is a diagram illustrating a relationship among the reference position b, the actual indication position c, and the reference actual representative position p in the real space.
  • FIG. 12 is a view from above, showing only the horizontal component.
  • the horizontal component of the vector from the reference position b to the actual designated position c is the movement vector V.
  • the virtual position determination unit 54 acquires, as the distance direction component R of the movement vector V, a vector obtained by projecting the horizontal component of the movement vector V onto the horizontal component of the straight line from the reference actual representative position p to the reference position b.
  • the virtual position determination unit 54 sets an angle formed by a vector from the reference actual representative position p to the reference position b and a vector from the reference actual representative position p to the actual designated position c as a rotation angle ⁇ related to the movement vector V. get.
  • the rotation angle ⁇ is determined according to a component in a direction different from the distance direction component R of the movement vector V (for example, a component in a direction orthogonal to the distance direction).
  • the reference actual representative position p the current actual representative position may be used instead of the actual representative position at the time when the button is newly pressed.
  • the virtual position determination unit 54 calculates the current direction from the virtual representative position stored in the storage unit 12 and the distance direction component R of the movement vector V.
  • a new virtual representative position is calculated (step S304). More specifically, for example, in step S304, the virtual position determination unit 54 has been moved from the reference actual representative position p stored in the storage unit 12 by the opposite vector of the distance direction component R of the movement vector V. A temporary position in the real space is obtained, and the temporary position is coordinate-transformed. As a result, the virtual position determination unit 54 acquires a position in the virtual space corresponding to the provisional position as a new virtual representative position (strictly speaking, a horizontal component of the virtual representative position).
  • the virtual position determination unit 54 performs coordinate transformation on the opposite vector of the distance direction component R of the movement vector V to acquire the opposite vector of the distance direction component R in the virtual space, and acquires the virtual representative position at the reference time.
  • a new virtual representative position (horizontal component of the virtual representative position) may be obtained by obtaining a position moved by the opposite vector.
  • the virtual position determination unit 54 acquires the height component of the virtual representative position based on the height of the ground 74 at the horizontal position of the acquired new virtual representative position.
  • FIG. 13 is a diagram illustrating an example of the proxy 71 indicating the user 61 in the virtual space.
  • FIG. 14 is a diagram illustrating an example of the relationship between the proxy 71 and the ground 74 in the virtual space.
  • the center of the proxy 71 exists at the virtual representative position.
  • the proxy 71 is slightly lifted from the ground 74 and can only rotate along the height axis and recognized on the horizontal plane.
  • the center of the proxy 71 is separated from the ground at the horizontal position by a certain distance.
  • the virtual position determination unit 54 acquires the height of the new virtual representative position, for example, by adding a certain value to the height of the ground 74 at the horizontal position of the calculated new virtual representative position. Note that the virtual position determination unit 54 may acquire the height of the virtual representative position in consideration of a change in posture accompanying horizontal movement.
  • the virtual position determination unit 54 calculates the moving speed of the virtual representative position based on the new virtual representative position (step S304).
  • the virtual position determining unit 54 may simply calculate the difference between the new virtual representative position and the virtual representative position in the previous frame as the moving speed, or move based on other factors such as posture change. The speed may be calculated.
  • step S306 determines whether or not the rotation flag is set. If the rotation flag is not set (N in step S306), step S307 is skipped.
  • the virtual position determination unit 54 calculates a new virtual viewpoint direction from the reference viewpoint direction and the rotation angle ⁇ (Step S307). More specifically, the virtual position determination unit 54 calculates a new virtual viewpoint direction by rotating the reference viewpoint direction by the rotation angle ( ⁇ ) (rotating in the reverse direction).
  • the virtual position determination unit 54 may calculate the virtual viewpoint direction by further using the difference between the viewpoint direction at the time when the reference representative position is stored in the real space and the current viewpoint direction. That is, the virtual position determination unit 54 may calculate the virtual viewpoint direction by rotating the reference viewpoint direction by the rotation angle ( ⁇ ) and further rotating the reference viewpoint direction by the above-described difference in the rotation direction of the real space.
  • step S301 in the processing from step S301 to step S307, as the reference position b, the reference actual representative position p, the reference virtual representative position, and the reference viewpoint direction, the actual designated position, the actual representative position, the virtual representative position, and the virtual viewpoint in the previous frame. Direction may be used.
  • step S103 when the operation mode is not the navigation mode (N in step S103), this process is skipped.
  • the virtual position determination unit 54 determines a virtual instruction position corresponding to the actual instruction position of the motion controllers 62 and 63 based on the determined virtual representative position and virtual viewpoint direction (step S105).
  • the object position determination unit 55 determines the position and orientation of the object in the virtual space at the current time (step S106), and the image drawing unit 56 determines the object tertiary based on the moved virtual representative position and virtual viewpoint direction.
  • An original image is drawn (step S107).
  • a component in a certain direction is used for determining a virtual representative position to which the virtual representative position moves, and based on a component in a direction different from that direction.
  • the rotation angle in the virtual viewpoint direction it is possible not only to move the virtual representative position but also to change the direction of the viewpoint only by moving the actual designated position.
  • the virtual representative position is obtained when the reference position b is in the movement determination area 81, and the virtual viewpoint direction is obtained when the reference position b is in the rotation determination area 82. Therefore, it is possible to suppress the occurrence of the phenomenon of rotating by the operation or the phenomenon of moving by an operation not intended to move, and the user 61 can easily adjust the virtual representative position and the virtual viewpoint direction.
  • FIG. 15 is a diagram schematically illustrating movement of the virtual representative position by alternately moving both hands. For example, while moving the motion controller 62 grasped with the right hand forward and moving the motion controller 62 forward in the navigation mode, the position of the user 61 in the virtual space is moved forward, so that the user grasps with the left hand. The motion controller 63 is moved forward, and immediately after the movement by the motion controller 62 ends and the navigation mode is canceled, the motion controller 63 is moved forward in the navigation mode.
  • the image processing apparatus 1 By enabling the image processing apparatus 1 according to the present embodiment to perform such operations, the time during which the position of the user 61 is stopped in the virtual space is minimized, and the user 61 moves intuitively and smoothly in the virtual space. It becomes possible to do.
  • the image drawing unit 56 may draw an image of an operation guide serving as a guide for the operation of the user 61 in addition to the three-dimensional image of the object.
  • FIG. 16 is a diagram illustrating an example of an operation guide displayed in the virtual space.
  • FIG. 17 is a diagram illustrating an operation using an operation guide displayed in the virtual space.
  • an annular rotation guide 83 centered on the position of the user 61 and a movement guide 84 having an arrow shape toward the front of the user 61 are displayed as operation guides in the virtual space.
  • an annular rotation guide 83 centered on the position of the user 61 and a movement guide 84 having an arrow shape toward the front of the user 61 are displayed as operation guides in the virtual space.
  • the user 61 moves such that the actual designated position indicated by the motion controllers 62 and 63 moves around the movement guide 84 as shown in FIG.
  • the virtual position determination unit 54 moves the virtual representative position. Also good. At this time, the method for determining the virtual representative position may be the same as described above. Further, in the navigation mode, the virtual position determination unit 54 may rotate the virtual viewpoint direction according to the movement of the actual designated position along the rotation guide 83 by the user 61.
  • the user 61 can more intuitively perform operations for rotation and movement by moving the actual instruction positions of the motion controllers 62 and 63 along the operation guide.
  • FIG. 18 is a diagram illustrating another example of the operation guide displayed in the virtual space.
  • the rotation guide 83 displayed by the image drawing unit 56 is the same as that of the example of FIG. 16, but the movement guide 84 faces in the vertical direction.
  • the image drawing unit 56 draws a movement guide 84 that extends in the vertical direction, and the virtual position determination unit 54
  • the virtual position determination unit 54 determines the virtual representative position in the direction of the movement guide 84 (the actual designated position It may be moved in the direction opposite to the moving direction.
  • the virtual position determination unit 54 determines the virtual representative position so that the movement amount of the virtual representative position increases as the movement amount of the actual designated position along the direction of the movement guide 84 increases.
  • the virtual position determination unit 54 may determine the virtual representative position according to the movement pattern of the actual designated position by the user 61 in the navigation mode.
  • FIG. 19 is a diagram illustrating another example of the relationship between the movement of the actual designated position and the virtual representative position.
  • FIG. 20 is a diagram of the movement of the actual designated position in the example of FIG. 19 viewed from the side.
  • 19 and 20 are examples where the virtual representative position is in water, for example. 19 and 20, the solid line indicates the movement of the actual designated position, and the broken line indicates the movement of the virtual representative position.
  • the virtual position determination unit 54 may move the virtual representative position according to the movement amount and direction of the movement. 19 and 20, the virtual position determination unit 54 determines the virtual representative position so that the movement amount of the virtual representative position increases as the movement amount of the actual designated position increases.
  • FIGS. 21 and 22 are diagrams illustrating the relationship between the movement of the actual designated position using the virtual wheels 85 and 86 and the virtual representative position.
  • the virtual position determination unit 54 moves the actual designated position by turning the virtual wheels 85 and 86 located at the left and right of the user 61 and below the waist in the navigation mode (see the solid line in FIG. 21).
  • the virtual representative position is determined according to the above.
  • the virtual position determination unit 54 determines the virtual representative position so that the virtual representative position moves by an amount corresponding to the movement amount of the actual designated position.
  • the virtual wheels 85 and 86 are like wheels of a wheelchair.
  • the virtual position determination unit 54 moves the virtual representative position according to the virtual rotation of the virtual wheels 85 and 86 due to the movement.
  • the virtual position determination unit 54 determines the virtual representative position so that the movement amount of the virtual representative position increases as the movement amount of the actual designated position increases.
  • the virtual position determination unit 54 rotates the virtual viewpoint direction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

ボタンやスティックの操作により進む方向を入力する方法とは異なりかつ直観的に仮想空間内の視点を移動させる操作方法を提供すること。　画像処理装置は、実空間においてユーザにより指示された実位置を取得する実位置取得手段と、所定の入力をしている間における前記取得された実位置の動きに基づいて、仮想空間において自分を代表する位置である仮想代表位置を決定する代表位置決定手段と、前記決定された仮想代表位置に基づく３次元画像を描画する描画手段と、を含む。

Description

画像処理装置、画像処理方法およびプログラム
　本発明は画像処理装置、画像処理方法およびプログラムに関する。
　ユーザが、コントローラのボタンやスティックの操作により進む方向を入力すると、その入力された方向に仮想空間内の自分の位置を移動し、その移動された自分の位置からみた３次元画像を表示させる技術がある。
　仮想空間における３次元画像を表示する場合、その視点をコントローラのボタンやスティックの操作で変化させることは、少なくとも一部のユーザにとって直観的な操作ではなかった。
　本発明は上記課題を鑑みてなされたものであって、その目的は、ボタンやスティックの操作により進む方向を入力する方法とは異なりかつ、直観的な仮想空間内の視点移動のための操作方法を提供することにある。
　上記課題を解決するために、本発明にかかる画像処理装置は、実空間においてユーザにより指示された実位置を取得する実位置取得手段と、所定の入力をしている間における前記取得された実位置の動きに基づいて、仮想空間において自分を代表する位置である仮想代表位置を決定する代表位置決定手段と、前記決定された仮想代表位置に基づく３次元画像を描画する描画手段と、を含む。
　また、本発明にかかる画像処理方法は、実空間においてユーザにより指示された実位置を取得するステップと、所定の入力をしている間における前記取得された実位置の動きに基づいて、仮想空間において自分を代表する位置である仮想代表位置を決定するステップと、前記決定された仮想代表位置に基づく３次元画像を描画するステップと、を含む。
　また、本発明にかかるプログラムは、実空間においてユーザにより指示された実位置を取得する実位置取得手段、所定の入力をしている間における前記取得された実位置の動きに基づいて、仮想空間において自分を代表する位置である仮想代表位置を決定する代表位置決定手段、および、前記決定された仮想代表位置に基づく３次元画像を描画する描画手段、としてコンピュータを機能させる。
　本発明によれば、ボタンやスティックの操作により進む方向を入力する方法とは異なる操作方法で直観的に仮想空間内の視点を変化させることができる。
　本発明の一形態では、前記代表位置決定手段は、前記実位置の移動量に応じて前記仮想代表位置の移動量が定まるように前記仮想代表位置を移動させてもよい。
　本発明の一形態では、前記代表位置決定手段は、前記実位置が前記ユーザを代表する実代表位置へ近づいた場合に、仮想空間において自分を代表する位置である仮想代表位置が前記仮想空間における前記実位置に対応する仮想位置に近づくように、前記仮想代表位置を決定してもよい。
　本発明の一形態では、前記代表位置決定手段は、所与の時点に前記ユーザにより指示された実位置である実基準位置から前記ユーザにより指示された現在の位置である実現在位置への移動ベクトルの第１の方向の成分に基づいて前記仮想代表位置を決定してもよい。
　本発明の一形態では、前記第１の方向は、水平面に投影された前記実基準位置および前記実代表位置を結ぶ直線の方向であってもよい。
　本発明の一形態では、前記代表位置決定手段は、実空間における前記移動ベクトルの第２の方向の成分に基づいて仮想空間における前記ユーザの向きを決定し、前記第２の方向は前記第１の方向と異ってもよい。
　本発明の一形態では、前記代表位置決定手段は、前記実基準位置が第１の領域にある場合に、前記実基準位置から前記実現在位置への移動ベクトルの前記第１の方向の成分に基づいて前記仮想代表位置を決定し、前記実基準位置が第１の領域と異なる第２の領域にある場合に、前記移動ベクトルの前記第２の方向の成分に基づいて仮想空間における前記ユーザの向きを決定してもよい。
　本発明の一形態では、前記第１の領域は前記実代表位置の前方にあり、前記第２の領域は、前記第１の領域の側方にあってもよい。
本発明の実施形態にかかる画像処理装置のハードウェア構成の一例を示す図である。 ユーザが画像処理装置を使用する際の入出力デバイスの使用方法を説明する図である。 表示される画像の一例を示す図である。 実指示位置が手前に動く場合の仮想代表位置の動きを模式的に示す図である。 実指示位置が遠方に動く場合の仮想代表位置の動きを模式的に示す図である。 実指示位置が右へ動く場合の仮想代表位置の動きを模式的に示す図である。 画像処理装置が実現する機能を示すブロック図である。 画像処理装置の処理フローの一例を示す図である。 モード決定部および基準位置設定部の処理フローの一例を示す図である。 実空間における移動判定領域と回転判定領域とを説明する図である。 仮想代表位置および視点の向きの決定についての処理フローの一例を示す図である。 実空間における基準位置と実指示位置と実代表位置との関係を示す図である。 プロキシの一例を示す図である。 仮想空間におけるプロキシと地面との関係の一例を示す図である。 両手を交互に動かすことによる仮想代表位置の移動を模式的に示す図である。 仮想空間に表示される操作ガイドの一例を示す図である。 仮想空間に表示される操作ガイドを用いた操作を説明する図である。 仮想空間に表示される操作ガイドの他の一例を示す図である。 実指示位置の動きと仮想代表位置との関係の他の一例を説明する図である。 図１９の例における実指示位置の動きを側方から見た図である。 仮想ホイールを用いた実指示位置の動きと仮想代表位置との関係を説明する図である。 仮想ホイールを用いた実指示位置の動きと仮想代表位置との関係を説明する図である。
　以下では、本発明の実施形態について図面に基づいて説明する。出現する構成要素のうち同一機能を有するものには同じ符号を付し、その説明を省略する。
　図１は、本発明の実施形態にかかる画像処理装置１のハードウェア構成の一例を示す図である。画像処理装置１は、パーソナルコンピュータや家庭用ゲーム機、または携帯情報端末である。画像処理装置１は、プロセッサ１１、記憶部１２、通信部１３、操作入力部１４、表示制御部１５を含む。
　プロセッサ１１は、記憶部１２に格納されているプログラムに従って動作し、通信部１３や操作入力部１４、表示制御部１５等を制御する。なお、上記プログラムは、フラッシュメモリ等のコンピュータで読み取り可能な記憶媒体に格納されて提供されるものであってもよいし、インターネット等のネットワークを介して提供されるものであってもよい。
　記憶部１２は、ＤＲＡＭやフラッシュメモリ等のメモリ素子によって構成されている。記憶部１２は、上記プログラムを格納する。また、記憶部１２は、プロセッサ１１や通信部１３等から入力される情報や演算結果を格納する。
　通信部１３は有線ＬＡＮや無線ＬＡＮを構成する集積回路やコネクタ、アンテナなどにより構成されている。通信部１３は、ネットワークを介して他の装置と通信する機能を有する。通信部１３は、プロセッサ１１の制御に基づいて、他の装置から受信した情報をプロセッサ１１や記憶部１２に入力し、他の装置に情報を送信する。
　操作入力部１４は、ユーザの操作を検出するハードウェアからの入力を取得する回路である。操作入力部１４は、例えばユーザが位置を入力する位置入力デバイスやキーボード等の入力デバイスから入力を取得し、検出された情報をプロセッサ１１や記憶部１２に入力する。
　表示制御部１５はディスプレイ等の表示出力デバイスを制御する回路を含んでいる。表示制御部１５は、プロセッサ１１の制御に基づいて、表示出力デバイスに画像を表示させる。
　図２は、ユーザ６１が画像処理装置１を使用する際の入力デバイス等の使用方法の一例を説明する図である。図２の例は、ユーザ６１を上からみた図である。本実施形態の例では、入力デバイスとしてモーションコントローラ６２，６３、カメラ６４を用い、表示出力デバイスとしてヘッドマウントディスプレイ６５を用いる。
　モーションコントローラ６２，６３のそれぞれは、カメラに位置を認識させるためのボール部と、ユーザ６１に握らせるための把持部とを有する。把持部には、ボタンが設けられており、ユーザ６１がボタンを操作すると、モーションコントローラ６２，６３は無線を介して操作入力部１４へそのボタンの操作の情報を送信し、操作入力部１４はその情報を取得する。カメラ６４は、モーションコントローラ６２，６３のボール部を含む画像を撮影し、その撮影された画像内でのボール部の位置および大きさに基づいて、モーションコントローラ６２，６３が実空間において指示する実指示位置を検出する。操作入力部１４は、その検出されたモーションコントローラ６２，６３の実指示位置を取得する。
　ヘッドマウントディスプレイ６５は、ユーザ６１の頭部に装着するディスプレイであり、ユーザ６１の目前に画像を表示する。その表示された画像が視差を考慮したものである場合は、ユーザ６１は画像に含まれる物体を立体的に認識することができる。ヘッドマウントディスプレイ６５は、ユーザ６１にとって臨場感が高い画像を表示することができる。
　図３は、表示される画像の一例を示す図である。本実施形態で表示される画像は、仮想空間内のユーザ６１の位置（以下では「仮想代表位置」と記載する）における視点の向きに対する３次元画像である、この画像において、モーションコントローラ６２，６３が指示する実指示位置に相当する仮想空間内の位置（以下では「仮想指示位置」とも呼ぶ）に指示オブジェクト７２，７３が表示されている。また、モーションコントローラ６２，６３の操作により仮想代表位置が移動したり、仮想空間におけるユーザ６１の視点の向き（以下では「仮想視点方向」と記載する）が変化したり、仮想空間内で画像が描画される範囲内にあるオブジェクトの位置や向きが変化すると、画像処理装置１はそれらの変化が反映された画像を描画し、その画像をヘッドマウントディスプレイ６５に表示させる。
　本実施形態にかかる画像処理装置１は、所定の操作をしている間（例えばユーザ６１がボタンを押してから離すまでの間）の、モーションコントローラ６２，６３のうちいずれかの動きの水平成分に基づいて、仮想代表位置を移動させている。図４は、実指示位置が手前に動く場合の仮想代表位置の動きを模式的に示す図であり、図５は、実指示位置が遠方へ動く場合の仮想代表位置の動きを模式的に示す図である。例えば、ユーザ６１が、モーションコントローラ６２，６３を手前に動かすと仮想代表位置が前進し（図４の破線で描かれた矢印参照）、モーションコントローラ６２，６３を前方へ動かすと仮想代表位置が後退する（図５の破線で描かれた矢印参照）。また、図６は実指示位置が右へ動く場合の仮想代表位置の動きを模式的に示す図である。例えば、ユーザ６１がモーションコントローラ６２，６３を右方向に動かすと、仮想代表方向はその動いた向きと反対の方向（左方向）へ向けて回転する（図６の破線で描かれた矢印参照）。
　別の言い方をすると、ユーザがボタンを押し続けている間のモーションコントローラ６２または６３の仮想指示位置の移動を制限し、その後のモーションコントローラ６２または６３の移動では、モーションコントローラ６２または６３とユーザ６１との水平的な位置関係が維持されるように仮想代表位置や仮想視点方向を決定している。このような動作は壁の手すり等の物体を掴んで移動する動作にも似ており、直観的に理解しやすい動作である。
　なお、ユーザ６１がボタンを押下してから離すまでのモーションコントローラ６２，６３のうちいずれかの動きの代わりに、ユーザ６１がボタンを押下してから次に押下するまでの動きに基づいて画像処理装置１が仮想代表位置を移動させてもよい。
　以下では実指示位置の動きから仮想代表位置の動きを決定し画像を描画する処理について説明する。図７は、本発明の実施形態にかかる画像処理装置１が実現する機能を示すブロック図である。画像処理装置１は機能的に、実位置取得部５１、モード決定部５２、基準位置設定部５３、仮想位置決定部５４、オブジェクト位置決定部５５、画像描画部５６を含む。
　実位置取得部５１は、主に、プロセッサ１１が記憶部１２に記憶されるプログラムを実行し、モーションコントローラ６２または６３やカメラ６４からの情報を取得する操作入力部１４からの情報を処理し、処理結果を記憶部１２に格納することにより実現される。モード決定部５２、基準位置設定部５３、仮想位置決定部５４、オブジェクト位置決定部５５は、主に、プロセッサ１１が記憶部１２に記憶されるプログラムを実行し、記憶部１２等に格納された情報を処理し、処理結果を記憶部１２に格納することにより実現される。画像描画部５６は、主に、プロセッサ１１が記憶部１２に記憶されるプログラムを実行し、記憶部１２等に格納された情報を処理し、表示出力デバイスが画像を表示するよう表示制御部１５を制御することにより実現される。
　実位置取得部５１は、実空間においてユーザ６１により指示された実指示位置を取得する。また、実位置取得部５１は、実空間におけるユーザ６１の位置（「実代表位置」と呼ぶ）を取得する。実位置取得部５１が取得する実指示位置および実代表位置は、３次元空間における位置である。実指示位置はモーションコントローラ６２，６３が指示する位置であり、実代表位置は例えばヘッドマウントディスプレイ６５の位置である。
　モード決定部５２は、ユーザ６１の操作に基づいて、現在のモードが、ナビゲーションモードであるか否かを決定する。ナビゲーションモードは、仮想代表位置を移動させるモードであり、ナビゲーションモードが設定されている期間は、ユーザ６１がボタンの押下などの所定の操作をしている期間である。また、モード決定部５２は、ユーザ６１の操作がされた実位置が第１の領域または第２の領域に含まれるか否かに基づいて、ナビゲーションモードにおいて、仮想代表位置を変更可能とするか否かのフラグ（移動フラグ）と、仮想視点方向を変更可能とするか否かのフラグ（回転フラグ）とを設定する。
　基準位置設定部５３は、ユーザ６１の操作に基づいて、仮想代表位置や仮想視点方向を決定する際に基準となる、ボタン押下時の実指示位置（基準位置）と、ボタン押下時の実代表位置（基準実代表位置）、仮想代表位置（基準仮想代表位置）および仮想視点方向（基準視点方向）とを記憶部１２に記憶させる。なお、本実施形態では、仮想視点方向は高さ方向を軸とした角度で表され、上下方向の成分は含まない。
　仮想位置決定部５４は、所定の入力をしている間におけるた実指示位置の動きに基づいて、仮想代表位置や仮想空間におけるユーザ６１の仮想代表方向を決定する。別の見方では、仮想位置決定部５４は実指示位置の移動量に応じて仮想代表位置の移動量が定まるように仮想代表位置を移動させる。より具体的には、仮想位置決定部５４は、取得された実指示位置と、基準位置とに基づいて仮想代表位置や仮想視点方向を決定する。実指示位置が実代表位置に近づいた場合には、仮想位置決定部５４は仮想代表位置が仮想指示位置に近づくように仮想代表位置を決定する。一方、実指示位置が実代表位置から遠ざかる場合には、仮想位置決定部５４は仮想代表位置が仮想指示位置から遠ざかるように仮想代表位置を決定する。また、仮想位置決定部５４は、現在の実指示位置が基準位置より実代表位置に近い場合に、現在の仮想代表位置が、基準仮想代表位置より実指示位置に対応する仮想指示位置に近づくように、仮想代表位置を決定する。仮想位置決定部５４は、実指示位置の移動量が大きいほど、仮想代表位置の移動量も大きくなるように仮想代表位置を決定する。
　オブジェクト位置決定部５５は、オブジェクトの動作を定義するデータや他のオブジェクトとの衝突の有無に基づいて、現時点における仮想空間内のオブジェクトの位置や向きを決定する。
　画像描画部５６は、決定された仮想代表位置や仮想視点方向と、決定されたオブジェクトの位置や向きとに基づいて、仮想空間におけるオブジェクトの３次元画像を描画する。
　図８は、画像処理装置１の処理フローの一例を示す図である。はじめに、実位置取得部５１は、実指示位置やボタン操作を取得する（ステップＳ１０１）。実位置取得部５１は、そのボタン操作として、例えば、現時点でボタンが押されているか、ボタンが新たに押下されたか、ボタンが離されたか、のそれぞれを検出する。また、実位置取得部５１は現在の実指示位置および実代表位置も取得する。
　次に、モード決定部５２は、ユーザ６１のボタン操作や実指示位置に基づいて、現在の動作モードを決定する（ステップＳ１０２）。具体的には、モード決定部５２は、現在の動作モードがナビゲーションモードであるか否かを決定するとともに、ナビゲーションモードの場合にはモーションコントローラ６２，６３のうち仮想代表位置や仮想視点方向の変更に用いられるもの（「対象コントローラ」と記載する）を示す対象コントローラ情報、移動フラグおよび回転フラグを設定する。なお、現在のモードが新たに、ナビゲーションモードに決定されると、基準位置設定部５３は、その時点における、実指示位置（基準位置）、実代表位置（基準実代表位置）、仮想代表位置（基準仮想代表位置）、仮想視点方向（基準視点方向）を記憶部１２に記憶させる。
　以下では、ステップＳ１０２およびこれに関連する処理について説明する。図９は、モード決定部５２および基準位置設定部５３の処理フローの一例を示す図である。モード決定部５２は、はじめに、モーションコントローラ６２，６３からの入力に基づいて、ユーザ６１がモーションコントローラ６２，６３のいずれかに含まれるボタンを新たに押下したか否かを検出する（ステップＳ２０１）。ここで、ボタンが新たに押下された場合には（ステップＳ２０１のＹ）、モード決定部５２はボタンが押下されたモーションコントローラを対象コントローラとして決定し、さらに対象コントローラの実指示位置がどの領域にあるかを判定する。より具体的には、モード決定部５２は、その実指示位置が移動判定領域８１にある場合（ステップＳ２０２のＹ）には、動作モードにナビゲーションモードを設定するとともに移動フラグをＯＮに設定し（ステップＳ２０３）さらに対象コントローラを示す対象コントローラ情報を記憶部１２に記憶させる。またその実指示位置が回転判定領域８２にある場合には（ステップＳ２０４のＹ）、モード決定部５２は動作モードにナビゲーションモードを設定するとともに回転フラグをＯＮに設定し（ステップＳ２０５）、さらに対象コントローラを示す対象コントローラ情報を記憶部１２に記憶させる。
　図１０は、実空間における移動判定領域８１と回転判定領域８２とを説明する図である。図１０の例では、移動判定領域８１はユーザ６１の実代表位置ｄの前方にありかつ実代表位置ｄからの距離が所定の範囲にある領域である。また、回転判定領域８２は、移動判定領域８１の側方にありかつ実代表位置ｄからの距離が所定の範囲にある領域である。より具体的には、移動判定領域８１は、実代表位置ｄからユーザ６１の前方に延びる直線とのなす角が第１の閾値以下であり、かつ実代表位置ｄからの距離が所定の範囲にある領域である。回転判定領域８２は、その角が第１の閾値より大きく第２の閾値以下でありかつ実代表位置ｄからの距離が所定の範囲にある領域である。なお、移動判定領域８１と回転判定領域８２とが重なっていてもよい。重なっている領域に実指示位置があった場合、仮想位置決定部５４は仮想代表位置と仮想視点方向との両方の変更を行ってよい。
　ステップＳ２０４で実指示位置が回転判定領域８２にない場合、またはステップＳ２０５の処理がなされた後に、基準位置設定部５３は、新たにボタンが押下された時点の実指示位置を基準位置として記憶部１２に記憶させ、また新たにボタンが押下された時点の実代表位置、仮想代表位置、仮想視点方向をそれぞれ基準実代表位置、基準仮想代表位置、基準視点方向として記憶部１２に記憶させる（ステップＳ２０６）。記憶部１２に記憶された基準位置、基準実代表位置、基準仮想代表位置は仮想位置決定部５４にて仮想代表位置や仮想視点方向を決定する際に用いられる。ステップＳ２０６の処理は、ナビゲーションモードに設定された場合のみ行われてもよい。
　ここで、ステップＳ２０１においてユーザ６１がボタンを新たに押下しておらず（ステップＳ２０１のＮ）、かつ、ユーザ６１が対象コントローラ情報が示す対象コントローラのボタンを離した場合には（ステップＳ２０７のＹ）、モード決定部５２は動作モードをナビゲーションモードと異なるモードに設定し、ナビゲーションモードを解除する（ステップＳ２０８）。ユーザ６１がそのボタンを離していない場合には（ステップＳ２０７のＮ）、モード決定部５２は動作モードを変更しない。
　ステップＳ１０２のモード決定部５２の処理等が行われると、仮想位置決定部５４は、現在の動作モードがナビゲーションモードか否かを判定する（ステップＳ１０３）。動作モードがナビゲーションモードである場合には（ステップＳ１０３のＹ）、仮想位置決定部５４は仮想代表位置の移動または仮想視点方向を算出する（ステップＳ１０４）。動作モードがナビゲーションモードでない場合には（ステップＳ１０３のＮ）、ステップＳ１０４の処理をスキップする。その後、仮想位置決定部５４はモーションコントローラ６２，６３の実指示位置に基づいて仮想指示位置を決定する（ステップＳ１０５）。
　図１１は、仮想代表位置および仮想視点方向の決定についての処理フローの一例を示す図である。図１１は、ステップＳ１０４の処理の詳細を示す。図１１に示す処理において、はじめに、仮想位置決定部５４は、実位置取得部５１により取得された対象コントローラの現在の実指示位置ｃと、基準位置設定部５３により記憶部１２に格納された基準位置ｂ、基準実代表位置ｐ、基準視点方向とを取得する（ステップＳ３０１）。以下の処理では水平成分のみを利用するため、仮想位置決定部５４は、例えば実指示位置ｃ、基準位置ｂ、基準実代表位置ｐが３次元の直交座標系の３つの値で表される場合は、仮想位置決定部５４は実指示位置ｃ、基準位置ｂ、基準実代表位置ｐの高さ方向を除く座標の２つの値のみを取得してよい。
　次に、仮想位置決定部５４は、基準位置ｂから実指示位置ｃへの移動ベクトルＶの水平成分の距離方向成分Ｒと回転角θとを算出する（ステップＳ３０２）。
　図１２は、実空間における基準位置ｂと実指示位置ｃと基準実代表位置ｐとの関係を示す図である。図１２は上から見た図であり、水平成分のみを示している。基準位置ｂから実指示位置ｃへ向かうベクトルの水平成分が、移動ベクトルＶである。仮想位置決定部５４は、基準実代表位置ｐから基準位置ｂへ向かう直線の水平成分へ、この移動ベクトルＶの水平成分を射影したベクトルを、移動ベクトルＶの距離方向成分Ｒとして取得する。また、仮想位置決定部５４は、基準実代表位置ｐから基準位置ｂへ向かうベクトルと、基準実代表位置ｐから実指示位置ｃへ向かうベクトルとのなす角を、移動ベクトルＶに関する回転角θとして取得する。ここで、回転角θは、移動ベクトルＶの距離方向成分Ｒと異なる方向の成分（例えば距離方向に直交する方向の成分）に応じて定まる。なお、基準実代表位置ｐとして、新たにボタンが押下された時点の実代表位置の代わりに現在の実代表位置を用いてもよい。
　そして、仮想位置決定部５４は、移動フラグが設定されている場合には（ステップＳ３０３のＹ）、記憶部１２に記憶された仮想代表位置と移動ベクトルＶの距離方向成分Ｒとから、現在の新たな仮想代表位置を算出する（ステップＳ３０４）。より具体的には、例えば、ステップＳ３０４において、仮想位置決定部５４は、記憶部１２に記憶された基準実代表位置ｐから、移動ベクトルＶの距離方向成分Ｒの反対ベクトルの分だけ移動された実空間上の仮の位置を求め、その仮の位置を座標変換する。これにより、仮想位置決定部５４はその仮の位置に相当する仮想空間内の位置を、新たな仮想代表位置（厳密には仮想代表位置のうち水平成分）として取得する。また、仮想位置決定部５４は移動ベクトルＶの距離方向成分Ｒの反対ベクトルに対して座標変換を行って仮想空間内の距離方向成分Ｒの反対ベクトルを取得し、基準時の仮想代表位置を取得された反対ベクトルだけ動かした位置を求めることで新たな仮想代表位置（仮想代表位置の水平成分）を取得してもよい。
　また、仮想位置決定部５４は仮想代表位置の高さ成分を、取得された新たな仮想代表位置の水平位置における地面７４の高さに基づいて取得する。図１３は、仮想空間におけるユーザ６１を示すプロキシ７１の一例を説明する図である。また、図１４は、仮想空間におけるプロキシ７１と地面７４との関係の一例を示す図である。プロキシ７１の中心は、仮想代表位置に存在する。プロキシ７１は、地面７４からわずかに浮いており、高さ方向の軸に沿った回転であって水平面上で認識される回転のみが可能である。またプロキシ７１の中心は、その水平位置における地面から一定の距離だけ離れている。仮想位置決定部５４は、例えば、求められた新たな仮想代表位置の水平位置における地面７４の高さに一定の値を加算することで、新たな仮想代表位置の高さを取得する。なお、仮想位置決定部５４は、水平移動に伴う姿勢の変化等も考慮して仮想代表位置の高さを取得してもよい。
　新たな仮想代表位置が算出されると、仮想位置決定部５４は、新たな仮想代表位置に基づいて、仮想代表位置の移動速度を算出する（ステップＳ３０４）。仮想位置決定部５４は、単に新たな仮想代表位置と１つ前のフレームにおける仮想代表位置との差を移動速度として算出してもよいし、さらに姿勢変化等の他の要因にも基づいて移動速度を算出してもよい。
　なお、ステップＳ３０３において移動フラグが設定されていない場合（ステップＳ３０３のＮ）には、ステップＳ３０４とステップＳ３０５の処理はスキップされる。そして、仮想位置決定部５４は、回転フラグが設定されているか否かを判定する（ステップＳ３０６）。回転フラグが設定されていない場合には（ステップＳ３０６のＮ）、ステップＳ３０７をスキップする。回転フラグが設定されている場合には（ステップＳ３０６のＹ）、仮想位置決定部５４は、基準視点方向と回転角θとから、新たな仮想視点方向を算出する（ステップＳ３０７）。より具体的には、仮想位置決定部５４は、基準視点方向を回転角（－θ）だけ回転させる（逆方向に回転させる）ことで、新たな仮想視点方向を算出する。なお、仮想位置決定部５４は、実空間における、基準代表位置が記憶された時点の視点の向きと、現在における視点の向きとの差をさらに用いて仮想視点方向を算出してもよい。つまり、仮想位置決定部５４は、基準視点方向を回転角（－θ）だけ回転させ、さらに実空間の回転方向に前述の差だけ回転させることにより、仮想視点方向を算出してよい。
　ステップＳ３０１からステップＳ３０７の処理等では、基準位置ｂ、基準実代表位置ｐ、基準仮想代表位置、基準視点方向として、１つ前のフレームにおける実指示位置、実代表位置、仮想代表位置、仮想視点方向を用いてもよい。
　これまでは、動作モードがナビゲーションモードの場合について説明した。一方、ステップＳ１０３において、動作モードがナビゲーションモードでない場合には（ステップＳ１０３のＮ）、この処理をスキップする。そして、仮想位置決定部５４は決定された仮想代表位置や仮想視点方向に基づいて、モーションコントローラ６２，６３の実指示位置に対応する仮想指示位置を決定する（ステップＳ１０５）。そして、オブジェクト位置決定部５５は現時点における仮想空間内のオブジェクトの位置や向きを決定し（ステップＳ１０６）、画像描画部５６は、移動された仮想代表位置や仮想視点方向に基づいて、オブジェクトの三次元画像を描画する（ステップＳ１０７）。
　本実施形態では、基準位置から実指示位置までの移動のうち、ある方向の成分を仮想代表位置が移動する先の仮想代表位置の決定のために用い、その方向と異なる方向の成分に基づいて仮想視点方向の回転角を求めることで、実指示位置の移動だけで仮想代表位置の移動だけでなく視点の向きの変更も行うことが可能になる。また、基準位置ｂが移動判定領域８１にある場合に仮想代表位置を求め、基準位置ｂが回転判定領域８２にある場合に仮想視点方向を求めるようにすることで、回転を意図していない操作で回転してしまう現象や、移動を意図していない操作で移動してしまう現象の発生を抑え、ユーザ６１が仮想代表位置や仮想視点方向を容易に調整することが可能になる。
　また、この画像処理装置１において、ユーザ６１が左右のモーションコントローラ６２，６３を交互に仮想代表位置および仮想視点方向の変更に用いることで、ユーザ６１が連続的かつ容易に仮想空間内を移動または回転することが可能になる。図１５は、両手を交互に動かすことによる仮想代表位置の移動を模式的に示す図である。例えば、右手で掴んでいるモーションコントローラ６２を前に出した上でナビゲーションモードにてそのモーションコントローラ６２を手前に動かすことで仮想空間内のユーザ６１の位置を前方に動かす間に、左手で掴んでいるモーションコントローラ６３を前に出し、モーションコントローラ６２による移動が終わりナビゲーションモードを解除したらすぐに、ナビゲーションモードにてモーションコントローラ６３を手前に動かす。本実施形態にかかる画像処理装置１がこういった動作を可能にすることで、仮想空間におけるユーザ６１の位置が止まっている時間を最小化し、ユーザ６１が直観的かつスムーズに仮想空間内を移動することが可能になる。
　ここで、動作モードがナビゲーションモードの場合に、画像描画部５６がオブジェクトの三次元画像に加えて、ユーザ６１の操作の目安となる操作ガイドの画像を描画してもよい。図１６は仮想空間に表示される操作ガイドの一例を示す図である。また、図１７は、仮想空間に表示される操作ガイドを用いた操作を説明する図である。図１６および図１７の例では、仮想空間において操作ガイドとして、ユーザ６１の位置を中心とする環状の回転ガイド８３と、ユーザ６１の前方に向かう矢印の形を有する移動ガイド８４とが表示されている。ユーザ６１は、例えば図１７に示されるようにモーションコントローラ６２，６３が示す実指示位置が移動ガイド８４をたぐり寄せるような動きをした場合に、仮想位置決定部５４が仮想代表位置を移動させてもよい。この際、仮想代表位置の決定の手法は、これまでに説明したものと同じであってもよい。また、ナビゲーションモードにおいて仮想位置決定部５４は、ユーザ６１による回転ガイド８３に沿った実指示位置の移動に応じて仮想視点方向を回転させてよい。
　ユーザ６１が、モーションコントローラ６２，６３の実指示位置を操作ガイドに沿って動かすことをより、回転や移動のための操作をより直感的に行うことができる。
　また、移動ガイド８４は必ずしも水平方向でなくてもよい。図１８は、仮想空間に表示される操作ガイドの他の一例を示す図である。図１８の例では、画像描画部５６により表示される回転ガイド８３は図１６の例と同様であるが、移動ガイド８４は上下方向を向いている。例えば、仮想空間内で上下移動が可能な領域に仮想代表位置が存在しかつナビゲーションモードである場合に、画像描画部５６が上下方向に延びる移動ガイド８４を描画し、仮想位置決定部５４はモーションコントローラ６２，６３のうち少なくとも一方の実指示位置が移動ガイド８４に相当する仮想線に沿って移動した場合に、仮想位置決定部５４は仮想代表位置をその移動ガイド８４の方向（実指示位置の移動方向の逆方向）に移動させてよい。また、仮想位置決定部５４は、実指示位置の移動ガイド８４の方向に沿った移動量が大きくなるほどその仮想代表位置の移動量が大きくなるように仮想代表位置を決定する。
　また、仮想位置決定部５４がナビゲーションモードにおけるユーザ６１による実指示位置の移動のパターンに応じて仮想代表位置を決定してもよい。図１９は実指示位置の動きと仮想代表位置との関係の他の一例を示す図である。図２０は図１９の例における実指示位置の動きを側方から見た図である。図１９や２０は、例えば仮想代表位置が水中にあるような場合の例である。図１９，２０の実線は実指示位置の動きを示し、破線は仮想代表位置の動きを示す。実指示位置が水をかくような動きをした場合、仮想位置決定部５４はその動きの移動量や向きに応じて仮想代表位置を移動させてよい。図１９，２０の例においても、仮想位置決定部５４は実指示位置の移動量が大きいほど、仮想代表位置の移動量が大きくなるように仮想代表位置を決定する。
　実指示位置の移動のパターンとして図１９と異なるものが用いられてもよい。図２１，２２は、仮想ホイール８５，８６を用いた実指示位置の動きと仮想代表位置との関係を説明する図である。図２１，２２の例では、仮想位置決定部５４は、ナビゲーションモードにおける、ユーザ６１の左右かつ腰から下の位置にある仮想ホイール８５，８６を回す実指示位置の動き（図２１の実線参照）に応じて仮想代表位置を決定する。その際、仮想位置決定部５４は、実指示位置の移動量に応じた量だけ仮想代表位置が移動するように仮想代表位置を決定する。仮想ホイール８５，８６は、車いすの車輪のようなものである。ユーザ６１がナビゲーションモードにおいて仮想ホイール８５，８６を回すように実指示位置を動かすと、仮想位置決定部５４は、その動きによる仮想ホイール８５，８６の仮想的な回転に応じて仮想代表位置を移動させる。例えば、図２１のように、仮想ホイール８５，８６の両方について左右のモーションコントローラ６２，６３の実指示位置が同じ方向に回転する動きをした場合に、仮想位置決定部５４は前方または後方に仮想代表位置を移動させる。この場合、仮想位置決定部５４は実指示位置の移動量が大きいほど、仮想代表位置の移動量が大きくなるように仮想代表位置を決定する。また、図２２のように実指示位置の移動が示す仮想ホイール８５，８６の回転の向きが反対である場合には、仮想位置決定部５４は仮想視点方向を回転させる。

Claims (10)

  1. 　実空間においてユーザにより指示された実位置を取得する実位置取得手段と、
    　所定の入力をしている間における前記取得された実位置の動きに基づいて、仮想空間において自分を代表する位置である仮想代表位置を決定する代表位置決定手段と、
    　前記決定された仮想代表位置に基づく３次元画像を描画する描画手段と、
    　を含む画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記代表位置決定手段は、前記実位置の移動量に応じて前記仮想代表位置の移動量が定まるように前記仮想代表位置を移動させる、
    　画像処理装置。
  3. 　請求項１または２に記載の画像処理装置において、
    　前記代表位置決定手段は、前記実位置が前記ユーザを代表する実代表位置へ近づいた場合に、仮想空間において自分を代表する位置である仮想代表位置が前記仮想空間における前記実位置に対応する仮想位置に近づくように、前記仮想代表位置を決定する、
    　画像処理装置。
  4. 　請求項３に記載の画像処理装置において、
    　前記代表位置決定手段は、所与の時点に前記ユーザにより指示された実位置である実基準位置から前記ユーザにより指示された現在の位置である実現在位置への移動ベクトルの第１の方向の成分に基づいて前記仮想代表位置を決定する、
    　画像処理装置。
  5. 　請求項４に記載の画像処理装置において、
    　前記第１の方向は、水平面に投影された前記実基準位置および前記実代表位置を結ぶ直線の方向である、
    　画像処理装置。
  6. 　請求項４または５に記載の画像処理装置において、
    　前記代表位置決定手段は、実空間における前記移動ベクトルの第２の方向の成分に基づいて仮想空間における前記ユーザの向きを決定し、
    　前記第２の方向は前記第１の方向と異なる、
    　画像処理装置。
  7. 　請求項６に記載の画像処理装置において、
    　前記代表位置決定手段は、前記実基準位置が第１の領域にある場合に、前記実基準位置から前記実現在位置への移動ベクトルの前記第１の方向の成分に基づいて前記仮想代表位置を決定し、前記実基準位置が第１の領域と異なる第２の領域にある場合に、前記移動ベクトルの前記第２の方向の成分に基づいて仮想空間における前記ユーザの向きを決定する、
    　画像処理装置。
  8. 　請求項７に記載の画像処理装置において、
    　前記第１の領域は前記実代表位置の前方にあり、前記第２の領域は、前記第１の領域の側方にある、
    　画像処理装置。
  9. 　実空間においてユーザにより指示された実位置を取得するステップと、
    　所定の入力をしている間における前記取得された実位置の動きに基づいて、仮想空間において自分を代表する位置である仮想代表位置を決定するステップと、
    　前記決定された仮想代表位置に基づく３次元画像を描画するステップと、
    　を含む画像処理方法。
  10. 　実空間においてユーザにより指示された実位置を取得する実位置取得手段、
    　所定の入力をしている間における前記取得された実位置の動きに基づいて、仮想空間において自分を代表する位置である仮想代表位置を決定する代表位置決定手段、および、
    　前記決定された仮想代表位置に基づく３次元画像を描画する描画手段、
    　としてコンピュータを機能させるためのプログラム。
PCT/JP2016/080083 2015-10-15 2016-10-11 画像処理装置、画像処理方法およびプログラム WO2017065126A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017545193A JP6620163B2 (ja) 2015-10-15 2016-10-11 画像処理装置、画像処理方法およびプログラム
US15/757,686 US10761596B2 (en) 2015-10-15 2016-10-11 Image processing apparatus, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015203959 2015-10-15
JP2015-203959 2015-10-15

Publications (1)

Publication Number Publication Date
WO2017065126A1 true WO2017065126A1 (ja) 2017-04-20

Family

ID=58518335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/080083 WO2017065126A1 (ja) 2015-10-15 2016-10-11 画像処理装置、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US10761596B2 (ja)
JP (1) JP6620163B2 (ja)
WO (1) WO2017065126A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195172A (ja) * 2017-05-19 2018-12-06 株式会社コロプラ 情報処理方法、情報処理プログラム及び情報処理装置
JP6723417B1 (ja) * 2019-06-28 2020-07-15 株式会社Ｆｉｖｅ ｆｏｒ 仮想現実システム、プログラム、およびコンピュータ読み取り可能な記憶媒体
JP2020526831A (ja) * 2017-07-05 2020-08-31 株式会社ソニー・インタラクティブエンタテインメント シミュレーションされた三次元（３ｄ）環境におけるインタラクティブな入力制御

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7341674B2 (ja) * 2019-02-27 2023-09-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2021163418A1 (en) * 2020-02-12 2021-08-19 University Of Florida Research Foundation Human eyes design: first person vr characters for testing inclusive design solutions
US20220189103A1 (en) * 2020-12-15 2022-06-16 Canon Kabushiki Kaisha Generation apparatus, generation method, and storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013029958A (ja) * 2011-07-28 2013-02-07 Sony Corp 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5294442B2 (ja) * 2006-09-13 2013-09-18 任天堂株式会社 ゲーム装置およびゲームプログラム
US20090079745A1 (en) * 2007-09-24 2009-03-26 Wey Fun System and method for intuitive interactive navigational control in virtual environments
US9067097B2 (en) * 2009-04-10 2015-06-30 Sovoz, Inc. Virtual locomotion controller apparatus and methods
US8226484B2 (en) * 2009-08-27 2012-07-24 Nintendo Of America Inc. Simulated handlebar twist-grip control of a simulated vehicle using a hand-held inertial sensing remote controller
US8882597B2 (en) * 2011-05-25 2014-11-11 Sony Computer Entertainment America Llc Hybrid separable motion controller
US20130104086A1 (en) * 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface
US20130104085A1 (en) * 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013029958A (ja) * 2011-07-28 2013-02-07 Sony Corp 情報処理装置、情報処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KOICHI MATSUDA ET AL., 3D USER INTERFACES, 30 September 2005 (2005-09-30), pages 171 - 175 , 216 , 231 to 232 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195172A (ja) * 2017-05-19 2018-12-06 株式会社コロプラ 情報処理方法、情報処理プログラム及び情報処理装置
JP2020526831A (ja) * 2017-07-05 2020-08-31 株式会社ソニー・インタラクティブエンタテインメント シミュレーションされた三次元（３ｄ）環境におけるインタラクティブな入力制御
JP7127107B2 (ja) 2017-07-05 2022-08-29 株式会社ソニー・インタラクティブエンタテインメント シミュレーションされた三次元（３ｄ）環境におけるインタラクティブな入力制御
JP6723417B1 (ja) * 2019-06-28 2020-07-15 株式会社Ｆｉｖｅ ｆｏｒ 仮想現実システム、プログラム、およびコンピュータ読み取り可能な記憶媒体
WO2020261595A1 (ja) * 2019-06-28 2020-12-30 株式会社Ｆｉｖｅ ｆｏｒ 仮想現実システム、プログラム、およびコンピュータ読み取り可能な記憶媒体

Also Published As

Publication number Publication date
US20190041974A1 (en) 2019-02-07
US10761596B2 (en) 2020-09-01
JPWO2017065126A1 (ja) 2018-05-24
JP6620163B2 (ja) 2019-12-11

Similar Documents

Publication Publication Date Title
JP6620163B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9527214B2 (en) Robot apparatus, method for controlling the same, and computer program
US9857962B2 (en) Robot operation apparatus and robot operation program product
US9098130B2 (en) Computer-readable storage medium having stored thereon input processing program, input processing apparatus, input processing method, and input processing system
CN107890664A (zh) 信息处理方法及装置、存储介质、电子设备
EP2371434B1 (en) Image generation system, image generation method, and information storage medium
US20160229052A1 (en) Robot operation apparatus, robot system, and robot operation program
US20120154311A1 (en) Information storage medium, terminal, and input determination method
US20160354692A1 (en) Image processing program, image processing device and image processing method
JP2009011362A (ja) 情報処理システム、ロボット装置及びその制御方法
JP2014235596A (ja) 情報処理プログラム、情報処理システム、情報処理装置、および情報処理方法
US11609428B2 (en) Information processing apparatus and information processing method
JP6240135B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2014044455A (ja) 操作端末、操作制御方法、操作制御プログラム
JP6239164B2 (ja) 空気調和システム
WO2013061672A1 (ja) 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体
CN103200304A (zh) 一种移动终端智能光标控制***及方法
WO2019082853A1 (ja) 画像処理装置、画像処理方法およびプログラム
CN109155081B (zh) 三维数据显示装置、三维数据显示方法以及程序
JP2019185363A (ja) 表示制御装置、表示制御方法、及びプログラム
JP2013178645A (ja) 電子機器の入力装置
Seo et al. Remote data acquisition and touch-based control of a mobile robot using a smart phone
JP7451084B2 (ja) 情報処理装置および情報処理方法
JP2013109538A (ja) 入力方法及び入力装置
WO2016051521A1 (ja) 画面操作装置及び画面操作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16855380

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017545193

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16855380

Country of ref document: EP

Kind code of ref document: A1