WO2021020143A1 - 画像処理装置、画像処理方法、及び記録媒体 - Google Patents

画像処理装置、画像処理方法、及び記録媒体 Download PDF

Info

Publication number
WO2021020143A1
WO2021020143A1 PCT/JP2020/027632 JP2020027632W WO2021020143A1 WO 2021020143 A1 WO2021020143 A1 WO 2021020143A1 JP 2020027632 W JP2020027632 W JP 2020027632W WO 2021020143 A1 WO2021020143 A1 WO 2021020143A1
Authority
WO
WIPO (PCT)
Prior art keywords
display terminal
image processing
virtual
virtual camera
rotation
Prior art date
Application number
PCT/JP2020/027632
Other languages
English (en)
French (fr)
Inventor
石川　毅
智博 大井
喬輔 山崎
康 池田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202080052990.7A priority Critical patent/CN114144753A/zh
Priority to US17/627,954 priority patent/US20220253198A1/en
Publication of WO2021020143A1 publication Critical patent/WO2021020143A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications

Definitions

  • the present technology relates to an image processing device, an image processing method, and a recording medium, and more particularly to an image processing device, an image processing method, and a recording medium capable of improving user operability.
  • a technique is known in which a virtual three-dimensional space is generated, a viewpoint (position of a virtual camera) is set in the three-dimensional space, and the three-dimensional space viewed from the position of the virtual camera is displayed as a 3D image. (See Patent Documents 1 to 3).
  • This technology was made in view of such a situation, and makes it possible to improve the operability of the user.
  • a virtual camera that specifies a range displayed by a display terminal in a three-dimensional virtual space is arranged in the virtual space, and a background image representing the virtual space and the above-mentioned
  • the virtual object arranged in the background image is controlled to be displayed by the display terminal, the pitch rotation of the display terminal is determined based on the measurement signal measured by the display terminal, and the pitch of the display terminal is determined.
  • the virtual camera is rotated in the pitch direction around the virtual object, the touch operation on the touch panel of the display terminal is determined, and the virtual camera is determined based on the determination result of the touch operation.
  • An image processing device including an image processing unit that rotates a camera in the yaw direction in the virtual space around the virtual object.
  • the image processing device arranges a virtual camera in the virtual space that specifies the range displayed by the display terminal in the three-dimensional virtual space, and represents the virtual space.
  • the background image and the virtual object arranged in the background image are controlled to be displayed by the display terminal, and the pitch rotation of the display terminal is determined based on the measurement signal measured by the display terminal.
  • the virtual camera is rotated in the pitch direction around the virtual object, the touch operation on the touch panel of the display terminal is determined, and the determination result of the touch operation is obtained. Based on this, it is an image processing method in which the virtual camera is rotated in the yaw direction in the virtual space around the virtual object.
  • the recording medium of one aspect of the present technology includes a computer, a virtual camera that specifies a range displayed by a display terminal in a three-dimensional virtual space, arranged in the virtual space, and a background image representing the virtual space. , The virtual object arranged in the background image is controlled to be displayed by the display terminal, the pitch rotation of the display terminal is determined based on the measurement signal measured by the display terminal, and the display terminal is determined.
  • the virtual camera is rotated in the pitch direction around the virtual object based on the determination result of the pitch rotation of the above, the touch operation on the touch panel of the display terminal is determined, and based on the determination result of the touch operation, A recording medium on which a program for causing the virtual camera to function as an image processing unit that rotates the virtual camera in the yaw direction in the virtual space around the virtual object is recorded.
  • a virtual camera that specifies a range displayed by a display terminal in a three-dimensional virtual space is arranged in the virtual space, and the above-mentioned
  • the background image representing the virtual space and the virtual object arranged in the background image are controlled so that the display terminal is displayed, and the pitch of the display terminal is based on the measurement signal measured by the display terminal.
  • the rotation is determined, and based on the determination result of the pitch rotation of the display terminal, the virtual camera is rotated in the pitch direction around the virtual object, a touch operation on the touch panel of the display terminal is determined, and the touch is performed. Based on the determination result of the operation, the virtual camera is rotated in the yaw direction in the virtual space around the virtual object.
  • the image processing device on one side of the present technology may be an independent device or an internal block constituting one device.
  • FIG. 1 It is a figure which shows the example of the hardware composition of the display terminal of FIG. It is a figure which shows the example of the functional configuration of the display terminal of FIG. It is a flowchart explaining the flow of display processing. It is a flowchart explaining the flow of image processing according to a user operation. It is a figure which shows the relationship between the world coordinate system and virtual camera coordinates. It is a figure which shows the correspondence between the screen touch operation and screen tilt operation in the new method, and the movement of a virtual camera. It is a figure which shows the example of the configuration of a computer.
  • UI User Interface
  • a method of moving a virtual camera around an observation target there are a screen tilt method and a screen touch method.
  • the screen tilt method is a method in which the virtual camera revolves around the observation target by tilting the screen of a display terminal such as a smartphone.
  • the screen touch method is a method of moving the position of the virtual camera by touching the screen of the display terminal. Further, there is also a hybrid method that combines a screen tilt method and a screen touch method.
  • the pitch rotation of the display terminal corresponds to the pitch rotation of the hand holding the display terminal by the user (wrist pitch rotation).
  • the posture of the virtual camera is basically linked to the posture of the display terminal.
  • the screen tilt method the posture of the virtual camera can be intuitively recognized, and erroneous recognition (erroneous operation) of the rotation direction as in the case of using the screen touch method is less likely to occur. Therefore, the screen tilt method can provide a more intuitive operation to the user than the case where the screen touch method is used from the viewpoint of observing the virtual object arranged in the virtual space.
  • the virtual camera rotates in the pitch direction (revolution around the virtual object) according to the pitch rotation signal output from the terminal tilt detector (IMU (Inertial Measurement Unit), etc.). Will be.
  • IMU Inertial Measurement Unit
  • the screen is turned upward or downward by the pitch rotation of the display terminal, the user faces the screen directly to himself / herself (face) in the same manner as the daily operation of looking into or looking up at a real object. So, I try to adjust my posture naturally.
  • the display terminal is pitch-rotated by the movement of the user's wrist, the user adjusts the position of the hand itself by the pitch rotation of the arm, and also adjusts the pitch rotation of the head.
  • the screen of the display terminal tries to keep facing itself.
  • the difficulty of seeing the screen due to the pitch rotation of the display terminal can be suppressed by the user's natural daily activities.
  • the user can maintain the face-to-face state of the screen by adjusting the position of his / her hand by the yaw rotation of the arm and also adjusting the yaw rotation of the head.
  • the pitch rotation is a rotation for looking into the observation target (virtual object) from above or looking up from below. Therefore, the maximum value of the angle at which the observation target is desired to be rotated is +90 degrees, and the minimum value is -90 degrees. Therefore, the user only needs to be able to operate the virtual camera 50 within a range of 180 degrees with respect to the pitch rotation angle of the wrist (A in FIG. 1).
  • the vertical drag operation of the touch panel of the display terminal is converted into the rotation in the pitch direction of the virtual camera, and the horizontal drag operation is converted into the rotation in the yaw direction.
  • the position of the virtual camera is always changed to reflect the tilt of the screen, and the position of the virtual camera is not fixed. Further, in the screen tilt method, the accuracy of position designation is often lower than that of the screen touch method performed by a fingertip.
  • the position of the virtual camera cannot be changed unless the user touches the screen with his or her fingertips. This may not be a problem depending on the intended use, but if you are in a train, holding a display terminal such as a smartphone with one hand and holding the handrail with the other hand, move the virtual camera. It's difficult to do.
  • the yaw rotation and pitch rotation operations by tilting the screen of the display terminal and the yaw rotation and pitch rotation operations by touching the screen are currently effective.
  • FIG. 2 when the user's viewpoint exists at the position of the virtual camera in the virtual space represented by the circle in the figure, the user who is looking at the screen of the display terminal 10 in the real space is in the virtual space. It schematically shows how the upper image V2 (sky, etc.) is visible instead of the image V1 to be viewed.
  • the good side (Pros) of the screen tilt method is, for example, the following points. First, it is possible to intuitively perform an operation similar to the operation of looking into or looking up at a real object that the user performs on a daily basis. Secondly, since the user can operate the display terminal with only one hand, the physical load is low when the rotation angle of pitch rotation or yaw rotation is shallow.
  • the bad aspect (Cons) of the screen tilt method is that as the rotation angle of pitch rotation and yaw rotation increases, the physical load during viewing by the user increases.
  • the good aspect (Pros) of the screen touch method is that the position of the virtual camera can be accurately moved from the current position to the desired position in the virtual space.
  • the bad side (Cons) of the screen touch method is that the user cannot move the virtual camera unless he / she touches the screen of the display terminal with his / her fingertip, so that the touch operation is physically burdensome. Is.
  • the good aspects (Pros) of the hybrid method are, for example, the following points.
  • the position of the virtual camera can be accurately moved from the current position to the desired position in the virtual space.
  • the user can perform an intuitive operation in the same operation as the daily operation of looking into or looking up at a real object. There is.
  • the bad side (Cons) of the hybrid method is that not only screen tilt operation but also screen touch operation is possible, so there is a possibility that an image different from the screen tilt of the display terminal will be displayed.
  • Fig. 2 There is a point (Fig. 2).
  • the new method when the screen is touched, the screen is rotated in the yaw direction by touching the screen, and when the screen is tilted, the screen is tilted in the pitch direction and the yaw direction. Rotate to change the position of the virtual camera with respect to the virtual object.
  • the screen display is different from the tilt of the screen of the display terminal, so that the user is not confused due to the upside down, etc., and the virtual camera centering on the observation target (virtual object) It is possible to move with a more intuitive operation. As a result, the operability of the user can be improved.
  • the "virtual camera” specifies the range displayed by the display terminal (screen) in the three-dimensional virtual space.
  • the position of the virtual camera in the virtual space corresponds to the position of the viewpoint of the user who is looking at the screen of the display terminal.
  • the "background image” is an image representing a three-dimensional virtual space.
  • the background image includes a wide-angle image having a viewing angle of at least 180 degrees or more.
  • a “virtual object” is an object (object) arranged in a background image.
  • the virtual object is an observation target observed by the user.
  • the virtual object differs depending on the service provided, but the athlete or talent that the user wants to pay attention to is the observation target.
  • the virtual object to be observed is not limited to a person, but may be a living thing (dog, cat, insect, etc.) or an object (art work, etc.). Further, the virtual object to be observed is not limited to one, may be a plurality, and is not limited to a stationary object, and may be moving.
  • the real space as opposed to the "virtual space” is called the "real space”. Further, a real object with respect to a “virtual object” is referred to as a "real object”.
  • FIG. 3 shows a case where the screen of the display terminal 10 is turned sideways.
  • Fingertip X direction movement is an operation of moving the user's finger in the horizontal direction (X direction) while the user's finger is touching the screen of the touch panel 110 of the display terminal 10 (horizontal arrow in FIG. 3).
  • Fingertip Y direction movement is an operation of moving the user's finger in the vertical direction (Y direction) while the user's finger is touching the screen of the touch panel 110 (vertical arrow in FIG. 3).
  • fingertip X direction movement and “fingertip Y direction movement” include not only the movement of the fingertip of one finger of the user on the screen shown in FIG. 3, but also the movement of two or more fingers that are in contact with the screen at the same time. It may be the movement of the fingertips (index finger and middle finger, etc.).
  • FIG. 3 the operation from the left side to the right side in the figure is shown as the horizontal movement, but the operation may be from the right side to the left side in the figure.
  • the operation from the lower side to the upper side in the figure is shown as the vertical movement, but the operation may be from the upper side to the lower side in the figure.
  • FIG. 4 shows a case where the screen of the display terminal 10 is turned sideways.
  • the “distance between two fingertips” is the distance between the two fingertips of the user who touched the screen of the touch panel 110 (arrow in FIG. 4).
  • the “center of two fingertips” is the position of the center between the two fingertips of the user who touches the screen of the touch panel 110. In other words, it can be said that the "center of two fingertips” is an intermediate position (cross mark on the arrow in FIG. 4) of the "distance between the two fingertips”.
  • the distance between two fingertips is the distance between the index fingers of the left and right hands of the user is illustrated, but the two fingers of one hand (the index finger and the middle finger) are illustrated. Etc.) may be the distance between the fingertips.
  • FIG. 5 shows a case where the screen of the display terminal 10 is turned sideways.
  • Pitch rotation means rotating in the vertical direction with the left and right axes in the figure (the axis is the broken line in the horizontal direction) (Fig. 5). Specifically, as shown in FIG. 5, when the screen of the display terminal 10 such as a smartphone is turned sideways, the rotation in the vertical direction about the longitudinal direction is called pitch rotation.
  • Yaw rotation means rotation in the left-right direction with the top and bottom in the figure as the axis (the axis is the broken line in the vertical direction) (Fig. 5). Specifically, as shown in FIG. 5, when the screen of the display terminal 10 is turned sideways, the yaw rotation means that the display terminal 10 rotates in the left-right direction about the direction perpendicular to the longitudinal direction (short direction). That is.
  • “Rotation of the virtual camera in the pitch direction” indicates that the virtual camera moves on the YZ plane along the surface (spherical surface) of the sphere centered on the virtual object 60 (FIG. 6).
  • rotation of the virtual camera in the pitch direction and “rotation of the virtual camera in the yaw direction” represent the revolution of the virtual camera centered on the virtual object 60.
  • the virtual camera can move the viewpoint so as to rotate around the virtual object 60 as the position of the user's viewpoint.
  • the center (center of gravity, etc.) of the virtual object 60 is defined as the “center of rotation (center of rotation)” of the virtual camera, and the distance from the center of rotation to the virtual camera is defined as the “radius of gyration (R)”.
  • the "drag operation” is an operation of moving a finger to a target place and then releasing the screen while touching the screen of the display terminal 10.
  • the “pinch-in operation” is an operation of reducing the size of the screen by moving two fingers on the screen of the display terminal 10 as if pinching them.
  • the “pinch-out operation” is an operation of enlarging the screen by moving two fingers on the screen of the display terminal 10 so as to spread them.
  • FIG. 7 shows an example of the configuration of the 3D image display system 1 corresponding to the new method.
  • the 3D image display system 1 is composed of display terminals 10-1 to 10-N (integer of N: 1 or more) and a distribution server 20.
  • the network 30 includes communication networks such as the Internet, an intranet, and a mobile phone network.
  • the display terminal 10-1 is a mobile terminal having a display such as a smartphone, a tablet terminal, a wearable device, or a portable game machine.
  • the display terminal 10-1 transmits an application distribution request to the distribution server 20 via the network 30 in response to a user operation or the like.
  • the display terminal 10-1 receives the application distributed from the distribution server 20 via the network 30.
  • the application is software for viewing 3D images of athletes, talents, computer graphics characters (Abata), etc. taken with free-viewpoint images based on 3D data.
  • the application is also referred to as a "3D application”.
  • the 3D data may be distributed in a state of being included in the 3D application, or the display terminal 10-1 receives the data from an external server such as the distribution server 20 via the network 30 when the 3D application is executed. May (may be dynamically loaded).
  • the 3D application distributed from the distribution server 20 is executed, and the 3D image is displayed based on the 3D data.
  • the display terminals 10-2 to 10-N are configured as mobile terminals such as smartphones, similarly to the display terminals 10-1. On each of the display terminals 10-2 to 10-N, the 3D image is displayed by executing the 3D application distributed from the distribution server 20.
  • display terminal 10 when it is not necessary to distinguish the display terminals 10-1 to 10-N, they are simply referred to as "display terminal 10".
  • the distribution server 20 is composed of one or a plurality of servers for distributing a 3D application, and is installed in a data center or the like.
  • the distribution server 20 is provided by a business operator or the like that provides a content service such as a 3D image distribution service as a business.
  • the distribution server 20 transmits (distributes) a 3D application via the network 30 in response to a distribution request from the display terminal 10. Further, when the 3D application does not include the 3D data, the distribution server 20 transmits (distributes) the 3D data via the network 30 in response to the distribution request from the display terminal 10.
  • FIG. 8 shows an example of the hardware configuration of the display terminal 10 of FIG.
  • the display terminal 10 is composed of a control unit 101, a memory 102, a sensor 103, an image processing unit 104, a storage unit 105, a display unit 106, an input unit 107, and a communication unit 108.
  • the touch panel 110 is configured by the display unit 106 and the input unit 107.
  • the control unit 101 is composed of a processor such as a CPU (Central Processing Unit).
  • the control unit 101 is a central control device (processing device) that controls the operation of each unit and performs various arithmetic processes, and controls the operation of each unit of the display terminal 10.
  • the memory 102 is composed of a semiconductor memory such as RAM (Random Access Memory).
  • the memory 102 temporarily stores various data processed by the control unit 101.
  • the sensor 103 is composed of various sensor devices.
  • the sensor 103 senses the user and its surroundings, and supplies the sensor data obtained as a result of the sensing to the control unit 101.
  • the control unit 101 performs various processes based on the sensor data supplied from the sensor 103.
  • the sensor 103 includes an inertial measurement unit (IMU: Inertial Measurement Unit) that measures three-dimensional angular velocity and acceleration.
  • IMU Inertial Measurement Unit
  • the inertial measurement unit (IMU) can obtain three-dimensional angular velocity and acceleration with a three-axis gyroscope and a three-way accelerometer.
  • the sensor 103 includes a proximity sensor that measures close objects, a biological sensor that measures information such as the heart rate, body temperature, or posture of an organism, and a magnetic sensor that measures the magnitude and direction of a magnetic field. You may.
  • the image processing unit 104 is composed of a processor such as a GPU (Graphics Processing Unit).
  • the image processing unit 104 performs predetermined image processing on 3D data and the like according to the control from the control unit 101.
  • the display data obtained by this image processing is supplied to the display unit 106.
  • the storage unit 105 is an auxiliary storage device including a semiconductor memory such as a non-volatile memory.
  • the storage unit 105 may be configured as an internal storage, or may be an external storage such as a memory card.
  • the storage unit 105 records various data such as a 3D application and 3D data according to the control from the control unit 101.
  • the control unit 101 can read and execute the 3D application (data) recorded in the storage unit 105.
  • the touch panel 110 is composed of the display unit 106 and the input unit 107.
  • the display unit 106 is a display device such as a liquid crystal panel or an OLED (Organic Light Emitting Diode) panel.
  • the input unit 107 is a position input device installed on the surface of the display unit 106.
  • the display unit 106 displays a 3D image and various types of information according to the display data from the image processing unit 104 in accordance with the control from the control unit 101.
  • the input unit 107 supplies operation data corresponding to the contact position (position of a predetermined point) to the control unit 101.
  • the control unit 101 performs various processes based on the operation data supplied from the input unit 107.
  • the communication unit 108 is configured as a communication device (communication module) that supports wireless communication such as wireless LAN (Local Area Network) and cellular communication (for example, LTE-Advanced, 5G, etc.) or wired communication.
  • the communication unit 108 communicates with other devices via the network 30 in accordance with the control from the control unit 101.
  • the communication unit 108 transmits a 3D application or 3D data distribution request to the distribution server 20 via the network 30.
  • the communication unit 108 receives the 3D application or 3D data distributed from the distribution server 20 via the network 30.
  • the 3D application or 3D data is supplied to the image processing unit 104 for processing, or is supplied to the storage unit 105 for recording.
  • FIG. 9 shows an example of the functional configuration of the display terminal 10 (FIG. 8) configured as an image processing device to which the present technology is applied.
  • the display terminal 10 includes a terminal tilt detection unit 121, a screen touch detection unit 122, an image processing unit 123, and a display control unit 124.
  • the terminal tilt detection unit 121 corresponds to the sensor 103 (FIG. 8) including the inertial measurement unit (IMU) and the like.
  • the terminal tilt detection unit 121 detects the tilt of the screen of the display terminal 10 and supplies the detection result to the image processing unit 123.
  • the screen touch detection unit 122 corresponds to the input unit 107 (FIG. 8) constituting the touch panel 110.
  • the screen touch detection unit 122 detects contact (touch) on the surface of the display unit 106 by the user's finger, and supplies the detection result to the image processing unit 123.
  • the image processing unit 123 corresponds to the control unit 101 (FIG. 8) and the image processing unit 104 (FIG. 8).
  • the image processing unit 123 performs predetermined image processing based on the 3D data received by the communication unit 108, and supplies the display data obtained by this image processing to the display control unit 124.
  • the display control unit 124 corresponds to the control unit 101 (FIG. 8).
  • the display control unit 124 controls the display unit 106 to display a 3D image according to the display data supplied from the image processing unit 123.
  • the background image and the virtual object are displayed on the screen of the display unit 106.
  • a 3D image containing is displayed.
  • the image processing unit 123 is supplied with the screen tilt detection result from the terminal tilt detection unit 121 and the screen touch detection result from the screen touch detection unit 122.
  • the image processing unit 123 sets parameters for moving the virtual camera arranged in the virtual space based on the detection result of at least one of the screen tilt detection result and the screen touch detection result. By setting this parameter, the virtual camera is moved in the virtual space.
  • the 3D image display system 1 is configured as described above.
  • the above-mentioned configuration is an example of the configuration of the 3D image display system 1 and the display terminal 10, and other components (devices, functions, etc.) may be added, or the above-mentioned components (devices, functions, etc.) may be added. May be removed.
  • a configuration in which a distribution server 20 is provided as a distribution-side device in the 3D image display system 1 (FIG. 7) is shown, but a server for image processing is separately provided and image processing is performed by the server.
  • 3D data with the above may be distributed by the distribution server 20.
  • the display terminal 10 is not limited to the 3D application or 3D data distributed from the distribution server 20, and may display a 3D image based on the 3D application or 3D data recorded in the storage unit 105.
  • the display terminal 10 (FIG. 8) is provided with the image processing unit 104 in addition to the control unit 101, but the control unit 101 and the image processing unit 104 are integrated.
  • the function of the image processing unit 104 (configured as a system-on-chip or the like) may be included in the function of the control unit 101.
  • a speaker, a camera, a short-range wireless communication unit, and the like may be included as a component of the display terminal 10 (FIG. 8). Specifically, in the display terminal 10, the speaker outputs the sound (sound) related to the 3D image according to the 3D data according to the control from the control unit 101.
  • the camera is composed of an optical system, an image sensor, a signal processing circuit, and the like, and supplies imaging data obtained by imaging a subject such as a user to the control unit 101.
  • the control unit 101 performs various processes based on the image pickup data from the camera.
  • the short-range wireless communication unit is configured as a communication device that supports short-range wireless communication such as Bluetooth (registered trademark).
  • the short-range wireless communication unit performs short-range wireless communication with other devices according to the control from the control unit 101.
  • step S1 the image processing unit 123 performs predetermined image processing based on the 3D data, and arranges the virtual camera in the three-dimensional virtual space.
  • step S2 the display control unit 124 controls the display of the background image representing the three-dimensional virtual space and the virtual object arranged in the background image based on the result of the image processing.
  • the screen of the display unit 106 displays a 3D image including a virtual object with the background image as the background when viewed from the position of the virtual camera according to the position of the user's viewpoint. ..
  • step S3 the image processing unit 123 performs image processing according to the user operation.
  • a parameter for moving the position of the virtual camera in the virtual space is set to a position corresponding to the screen touch operation or the screen tilt operation by the user, and the position of the virtual camera is moved according to the parameter.
  • the coordinate system used in this image processing includes world coordinates, which are coordinates representing the world itself in the three-dimensional space in the virtual space, and virtual camera coordinates, which are coordinates unique to the virtual camera.
  • FIG. 12 shows the relationship between the world coordinates and the virtual camera coordinates.
  • FIG. 12 a case where the virtual camera 50 rotates in the pitch direction on a virtual camera YZ plane including the virtual camera coordinate Y axis and the virtual camera coordinate Z axis with the origin of the XYZ axis of the virtual camera coordinates as the center of rotation.
  • the Y axis of the world coordinates is represented by the axis of the broken line in the direction from the lower side to the upper side in the figure.
  • the world coordinates serve as an index of the display position (coordinates) of a virtual object or the like as absolute coordinates (coordinates that do not depend on the position of the virtual camera (position of the user's viewpoint)) that exists only once in the virtual space. It is a thing. Therefore, the world coordinates do not always match the virtual camera coordinates peculiar to the virtual camera, and in the example of FIG. 12, the orientations of the world coordinate Y-axis and the virtual camera coordinate Y-axis are different.
  • the screen touch operation according to the number of fingers of the user touching the screen of the display unit 106 based on the detection result detected by the screen touch detection unit 122. Processing is done.
  • step S11 If it is determined in the determination process of step S11 that the number of fingers detected by the screen touch detection unit 122 is one, the processes of steps S12 and S13 are executed.
  • the image processing unit 123 sets the amount of rotation in the yaw direction (hereinafter, referred to as “Yaw1”) according to the amount of movement of the fingertip X direction during ⁇ t (S12).
  • the image processing unit 123 sets the amount of movement in the Y-axis direction of the world coordinate system (hereinafter, referred to as "Y1") according to the amount of movement of the fingertip in the Y-direction between ⁇ t (S13).
  • step S11 If it is determined in the determination process of step S11 that the number of fingers detected by the screen touch detection unit 122 is two, the processes of steps S14 to S16 are executed.
  • the image processing unit 123 sets the amount of movement of the virtual camera coordinates in the X direction (hereinafter, referred to as “X2”) according to the amount of movement of the center of the two fingertips in the X direction between ⁇ t (S14). ).
  • the image processing unit 123 sets the amount of movement of the virtual camera coordinates in the Y direction (hereinafter, referred to as “Y2”) according to the amount of movement of the center of the two fingertips in the Y direction between ⁇ t (S15). ).
  • the image processing unit 123 sets the amount of change in the radius of gyration (hereinafter referred to as "R2") by increasing or decreasing the distance between the two fingertips between ⁇ t (S16).
  • step S13 or S16 When the process of step S13 or S16 is completed, the process proceeds to step S17. Further, when it is determined in the determination process of step S11 that the number of detected fingers is 0, the screen touch operation process according to the number of fingertips is unnecessary, so the process is performed in step S17. It can be advanced.
  • the image processing unit 123 performs screen tilt operation processing according to the screen tilt of the current display terminal 10 based on the detection result detected by the terminal tilt detection unit 121.
  • the image processing unit 123 sets the amount of rotation in the yaw direction (hereinafter referred to as "Yaw3") according to the current inclination of the display terminal 10 in the yaw direction (S17).
  • the image processing unit 123 sets the amount of rotation in the pitch direction (hereinafter referred to as "Pitch3") according to the inclination of the current display terminal 10 in the pitch direction (S18).
  • the image processing unit 123 sets the turning radius of the virtual camera 50 to R2 (S19). Further, the image processing unit 123 sets the amount of rotation of the virtual camera 50 centered on the virtual object in the yaw direction and the amount of rotation in the pitch direction to Yaw1 + Yaw3 and Pitch3, respectively (S20).
  • the image processing unit 123 sets the amount of movement to move the rotation center of the virtual camera 50 from the current position by X2, Y1 + Y2 (S21). However, at this time, the virtual camera coordinates (X2, Y2) are converted into world coordinates, and Y1 and the coordinate system are matched before adding up.
  • the image processing unit 123 uses the rotation radius and rotation center of the virtual camera, parameters related to rotation in the pitch direction and yaw direction of the virtual camera (rotation radius R2, rotation center (X2, Y1 + Y2), rotation amount in the pitch direction). (Pitch3), the amount of rotation in the yaw direction (Yaw1 + Yaw3)) is set, and the position of the virtual camera is moved according to the parameter.
  • step S21 When the process of step S21 is completed, the process returns to step S3 of FIG. 10, and the subsequent processes are executed.
  • the virtual camera 50 is rotated in the yaw direction when the screen touch operation is performed by the user, and the virtual camera 50 is rotated in the pitch direction and the yaw direction when the screen tilt operation is performed. By rotating it, the position of the virtual camera 50 is changed according to the user operation. At this time, the actual position of the display terminal 10 in the real space is not reflected in the movement of the virtual camera 50.
  • the screen display is different from the tilt of the screen of the display terminal 10, so that the user is not confused due to the upside down and the like, and the virtual camera is moved around the virtual object. It can be done with a more intuitive operation.
  • the virtual camera 50 arranged in the virtual space rotates in the yaw direction around the virtual object according to the screen tilt (the screen tilt operation). S17 and S20 in FIG. 11).
  • the virtual camera 50 rotates in the pitch direction around the virtual object according to the screen tilt (S18, FIG. 11). S20).
  • the virtual camera 50 rotates in the yaw direction around the virtual object according to the amount of movement of the fingertip (FIG. 11 S12, S20).
  • the rotation center of the virtual camera 50 is moved in the Y-axis direction of the world coordinates according to the amount of movement of the fingertip. It moves (S13, S21 in FIG. 11).
  • the communication unit 108 transmits the detection result by the terminal tilt detection unit 121 and the screen touch detection unit 122 to an external server such as the distribution server 20 via the network 30, thereby externally.
  • the server generates display data (or 3D data) that takes into account the detection result.
  • the external server transmits (delivers) the display data (or 3D data), so that the display terminal 10 can display a 3D image according to the user operation based on the display data (or 3D data). it can.
  • the display terminal 10 exemplifies the case where the distributed 3D application is executed to display the 3D image corresponding to the 3D data, but the display terminal 10 displays the 3D data or the display. It suffices if the data can be obtained by some means, and a 3D application is not always required.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in individual housings and connected via the network 30 and one device in which a plurality of modules are housed in one housing are all systems. ..
  • Example of input interface In the above description, the case where an inertial measurement unit (IMU) for measuring three-dimensional angular velocity and acceleration is used as an input interface for screen tilt operation has been described, but another input interface such as a pressure sensor is used. May be good.
  • IMU inertial measurement unit
  • the pressure sensor is used to turn on / off the detection of the screen tilt, and when the pressure sensor is pushed by the pressure corresponding to the contact by the user's finger, the virtual camera 50 May be rotated in the yaw direction or the pitch direction.
  • the touch panel 110 is used as the input interface for the screen touch operation to detect the drag operation in the left-right direction or the up-down direction by the user has been described, but other than the controller, the remote controller, etc. You may use the input interface of.
  • the controller or the like is connected to the display terminal 10, and the virtual camera is rotated in the yaw direction according to the user operation (left / right key operation, up / down key operation, etc.) of the controller or the like, or the world coordinate system.
  • the center of rotation of the virtual camera may be moved in the Y-axis direction.
  • the input interface may be switched from the touch panel 110 to a controller or the like when the screen touch becomes unstable due to the touch panel 110 being broken during the screen touch operation.
  • initial values and restrictions examples of initial values and restrictions
  • initial values and restrictions regarding the virtual camera 50 are not particularly described, but initial values can be set or restricted for the radius of gyration of the virtual camera 50, the movement area at the center of rotation, the amount of rotation, the rotation speed, and the like. You may set it.
  • the rotation radius and the movement area and the amount of rotation at the center of rotation can be used by the user. It is possible to set the range in advance.
  • the display of a predetermined area for example, the left and right edges or the upper and lower edges of the screen
  • Feedback may be provided in a display form different from that during normal operation, such as (displayed in red).
  • the feedback is not limited to the display, and feedback may be given by sound, vibration, or the like.
  • the display terminal 10 detects a sudden screen shake or tilt that is not intended during normal operation, it is regarded as not an operation input by the user, and the detection result is displayed. You can ignore it. Specifically, it is assumed that the display terminal 10 detects a certain vibration when a user who uses the display terminal 10 such as a smartphone gets on a vehicle such as a car or a train. , The vibration can be canceled.
  • Example of screen touch operation As the screen touch operation described above, when the vertical drag operation is performed with two fingers and the rotation center of the virtual camera is moved in the Y-axis direction of the virtual camera according to the amount of movement of the fingertip, the virtual camera The angle in the pitch direction of the camera may be set to 0 degrees (a state facing the front) or ⁇ 90 degrees (a state facing directly below) to forcibly transition to a predetermined state.
  • the Y-axis direction of the virtual camera coordinates coincides with the Y-axis direction of the world coordinates and moves in the vertical direction of the world coordinates, or parallel to the XZ plane and moves in the horizontal direction of the world coordinates. Therefore, the user can easily understand the moving direction of the rotation center of the virtual camera.
  • Whether the angle in the pitch direction of the virtual camera is 0 degrees or -90 degrees is determined by, for example, whether the angle in the pitch direction of the virtual camera at that time is closer to 0 degrees or -90 degrees. Can be determined by.
  • the virtual camera when a drag operation in the vertical direction is performed with one finger, the virtual camera is (temporarily) rotated in the pitch direction, and the moment the user releases the finger from the screen after the drag operation.
  • the rotation in the pitch direction generated by the drag operation may be returned to the original state at a predetermined timing such as. As a result, it is possible to substantially suppress the rotation of the virtual camera in the pitch direction due to the vertical drag operation with one finger.
  • a button UI for changing the virtual object (center of rotation) to be observed by the user is provided on the screen of the display terminal 10, and when this button UI is pressed, a predetermined button UI is provided.
  • the virtual object at the position of may be selected as the observation target and the center of rotation may be moved. Specifically, when the user's viewpoint is paying attention to a certain athlete and the button UI is pressed, the viewpoint moves to the position of another athlete.
  • the measurement signal (three-dimensional angular velocity) measured by the display terminal 10 is used.
  • the pitch rotation and yaw rotation of the display terminal 10 are determined based on the IMU signal that measures the acceleration, etc.), and the virtual camera centers on the virtual object based on the determination results of the pitch rotation and yaw rotation of the display terminal 10. It is rotated in at least one of the pitch direction and the yaw direction, and the touch operation on the touch panel 110 of the display terminal 10 is determined, and based on the determination result of the touch operation (for example, the drag operation of one finger in the horizontal direction). , The virtual camera is rotated in the yaw direction in the virtual space around the virtual object.
  • the judgment result of the touch operation (for example, the drag operation of one finger in the vertical direction) is not reflected in the rotation of the virtual camera in the pitch direction in the virtual space. .. Further, at this time, the actual position of the display terminal 10 in the real space is not reflected in the movement of the virtual camera.
  • the display terminal 10 when the screen is touched, the screen is rotated in the yaw direction by the touch operation of the screen, and when the screen is tilted, the display terminal 10 is rotated in the pitch direction and the yaw direction by the screen tilt. The position is changed. Therefore, it is possible to suppress the screen display from being tilted differently from the screen tilt, avoid the user being confused due to the upside down, etc., and move the virtual camera around the observation target (virtual object). , It becomes possible to perform with more intuitive operation.
  • the operability of the user can be improved.
  • the user can move the virtual camera by an intuitive operation such as tilting the display terminal 10 or touching the screen to observe and enjoy the virtual object to be observed.
  • Patent Document 1 discloses a technique for moving a virtual camera when the acceleration and each speed exceed a predetermined threshold value.
  • Patent Document 2 described above discloses a game system that displays a camera viewpoint image corresponding to a tilted housing.
  • Patent Documents 1 and 2 do not disclose the technique related to the touch operation of the screen.
  • Patent Document 3 described above discloses a technique for moving a virtual camera according to a displacement (IMU signal) of the XYZ axes.
  • IMU signal a displacement of the XYZ axes.
  • Patent Document 3 discloses that the virtual camera is moved by using the displacement of the XYZ axes, it does not disclose the operation method combined with the touch operation of the screen.
  • the virtual camera rotates in the yaw direction or pitch direction according to the screen tilt. ..
  • the virtual camera moves in the yaw direction or the pitch direction according to the amount of movement of the fingertip. Rotate to.
  • the series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed on the computer of each device.
  • FIG. 14 is a block diagram showing an example of the hardware configuration of a computer that executes the above-mentioned series of processes programmatically.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a storage unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes a microphone, a keyboard, a mouse, and the like.
  • the output unit 1007 includes a speaker, a display, and the like.
  • the storage unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable recording medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program recorded in the ROM 1002 and the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the above-mentioned series. Is processed.
  • the program executed by the computer (CPU1001) can be recorded and provided on the removable recording medium 1011 as a package medium or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by mounting the removable recording medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be pre-installed in the ROM 1002 or the storage unit 1008.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object). Further, the program may be processed by one computer (processor) or may be distributed by a plurality of computers.
  • each step of the display processing (FIG. 10) and the image processing (FIG. 11) can be executed by one device or shared by a plurality of devices. Further, when one step includes a plurality of processes, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a virtual camera that specifies the range displayed by the display terminal in the three-dimensional virtual space is arranged in the virtual space.
  • the background image representing the virtual space and the virtual object arranged in the background image are controlled so as to be displayed by the display terminal.
  • the pitch rotation of the display terminal is determined.
  • the virtual camera is rotated in the pitch direction around the virtual object.
  • An image processing device including an image processing unit that rotates the virtual camera in the yaw direction in the virtual space around the virtual object based on the determination result of the touch operation.
  • the image processing device (2) The image processing device according to (1), wherein the image processing unit does not reflect the determination result of the touch operation on the rotation of the virtual camera in the pitch direction in the virtual space.
  • the background image includes a wide-angle image having a viewing angle of at least 180 degrees.
  • the image processing device according to (1) or (2), wherein the image processing unit does not reflect the actual position of the display terminal in the real space in the movement of the virtual camera.
  • the image processing unit Based on the measurement signal measured by the display terminal, the pitch rotation and yaw rotation of the display terminal are determined.
  • the image processing device described in. (6) When a predetermined operation in the horizontal direction is performed on the touch panel as the touch operation, the image processing unit rotates the virtual camera in the yaw direction in the virtual space around the virtual object.
  • the image processing unit does not reflect the rotation of the virtual camera in the virtual space in the pitch direction when a predetermined operation in the vertical direction is performed on the touch panel as the touch operation according to the above (6).
  • the image processing device according to any one of (1) to (11) above, wherein the display terminal includes a mobile terminal.
  • the image processing device A virtual camera that specifies the range displayed by the display terminal in the three-dimensional virtual space is arranged in the virtual space.
  • the background image representing the virtual space and the virtual object arranged in the background image are controlled so as to be displayed by the display terminal.
  • the pitch rotation of the display terminal is determined.
  • the virtual camera is rotated in the pitch direction around the virtual object. Judging the touch operation on the touch panel of the display terminal, An image processing method in which the virtual camera is rotated in the yaw direction in the virtual space around the virtual object based on the determination result of the touch operation.
  • a virtual camera that specifies the range displayed by the display terminal in the three-dimensional virtual space is arranged in the virtual space.
  • the background image representing the virtual space and the virtual object arranged in the background image are controlled so as to be displayed by the display terminal.
  • the pitch rotation of the display terminal is determined.
  • the virtual camera is rotated in the pitch direction around the virtual object.
  • a program for causing the virtual camera to function as an image processing device including an image processing unit that rotates the virtual camera in the yaw direction in the virtual space around the virtual object based on the determination result of the touch operation.
  • a virtual camera that specifies the range displayed by the display terminal in the three-dimensional virtual space is arranged in the virtual space.
  • the background image representing the virtual space and the virtual object arranged in the background image are controlled so as to be displayed by the display terminal.
  • the pitch rotation of the display terminal is determined.
  • the virtual camera is rotated in the pitch direction around the virtual object.
  • a recording medium recording a program for causing the virtual camera to function as an image processing unit that rotates the virtual camera in the yaw direction in the virtual space around the virtual object based on the determination result of the touch operation.
  • 1 3D image display system 10, 10-1 to 10-N display terminal, 20 distribution server, 30 network, 50 virtual camera, 60 virtual object, 101 control unit, 102 memory, 103 sensor, 104 image processing unit, 105 memory Unit, 106 display unit, 107 input unit, 108 communication unit, 110 touch panel, 121 terminal tilt detection unit, 122 screen touch detection unit, 123 image processing unit, 124 display control unit, 1001 CPU

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、ユーザの操作性を向上させることができるようにする画像処理装置、画像処理方法、及び記録媒体に関する。 ３次元的な仮想空間の仮想カメラを仮想空間内に配置し、仮想空間を表す背景画像と、背景画像内に配置された仮想オブジェクトを、表示端末が表示するように制御し、表示端末により測定された測定信号に基づいて、表示端末のピッチ回転を判定し、表示端末のピッチ回転の判定結果に基づいて、仮想カメラを、仮想オブジェクトを中心としてピッチ方向に回転させ、表示端末のタッチパネル上におけるタッチ操作を判定し、タッチ操作の判定結果に基づいて、仮想カメラを、仮想オブジェクトを中心として仮想空間内でヨー方向に回転させる画像処理部を備える画像処理装置が提供される。本技術は、例えば、モバイル端末に適用することができる。

Description

画像処理装置、画像処理方法、及び記録媒体
　本技術は、画像処理装置、画像処理方法、及び記録媒体に関し、特に、ユーザの操作性を向上させることができるようにした画像処理装置、画像処理方法、及び記録媒体に関する。
　仮想的な３次元空間を生成して、この３次元空間内に視点（仮想カメラの位置）を設定し、当該仮想カメラの位置から見た３次元空間を、３Ｄ画像として表示する技術が知られている（特許文献１乃至３参照）。
国際公開第2009/084213号 特開2003-334379号公報 特開2002-298160号公報
　ところで、３次元的な仮想空間内の観察対象を観察するに際しては、当該観察対象に対する仮想カメラの移動が直感的に行われるようにして、ユーザの操作性を高めることが求められる。
　本技術はこのような状況に鑑みてなされたものであり、ユーザの操作性を向上させることができるようにするものである。
　本技術の一側面の画像処理装置は、３次元的な仮想空間の、表示端末により表示される範囲を特定する仮想カメラを前記仮想空間内に配置し、前記仮想空間を表す背景画像と、前記背景画像内に配置された仮想オブジェクトを、前記表示端末が表示するように制御し、前記表示端末により測定された測定信号に基づいて、前記表示端末のピッチ回転を判定し、前記表示端末のピッチ回転の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心としてピッチ方向に回転させ、前記表示端末のタッチパネル上におけるタッチ操作を判定し、前記タッチ操作の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心として前記仮想空間内でヨー方向に回転させる画像処理部を備える画像処理装置である。
　本技術の一側面の画像処理方法は、画像処理装置が、３次元的な仮想空間の、表示端末により表示される範囲を特定する仮想カメラを前記仮想空間内に配置し、前記仮想空間を表す背景画像と、前記背景画像内に配置された仮想オブジェクトを、前記表示端末が表示するように制御し、前記表示端末により測定された測定信号に基づいて、前記表示端末のピッチ回転を判定し、前記表示端末のピッチ回転の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心としてピッチ方向に回転させ、前記表示端末のタッチパネル上におけるタッチ操作を判定し、前記タッチ操作の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心として前記仮想空間内でヨー方向に回転させる画像処理方法である。
　本技術の一側面の記録媒体は、コンピュータを、３次元的な仮想空間の、表示端末により表示される範囲を特定する仮想カメラを前記仮想空間内に配置し、前記仮想空間を表す背景画像と、前記背景画像内に配置された仮想オブジェクトを、前記表示端末が表示するように制御し、前記表示端末により測定された測定信号に基づいて、前記表示端末のピッチ回転を判定し、前記表示端末のピッチ回転の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心としてピッチ方向に回転させ、前記表示端末のタッチパネル上におけるタッチ操作を判定し、前記タッチ操作の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心として前記仮想空間内でヨー方向に回転させる画像処理部として機能させるためのプログラムを記録した記録媒体である。
　本技術の一側面の画像処理装置、画像処理方法、及び記録媒体においては、３次元的な仮想空間の、表示端末により表示される範囲を特定する仮想カメラが前記仮想空間内に配置され、前記仮想空間を表す背景画像と、前記背景画像内に配置された仮想オブジェクトが、前記表示端末が表示されるように制御され、前記表示端末により測定された測定信号に基づいて、前記表示端末のピッチ回転が判定され、前記表示端末のピッチ回転の判定結果に基づいて、前記仮想カメラが、前記仮想オブジェクトを中心としてピッチ方向に回転され、前記表示端末のタッチパネル上におけるタッチ操作が判定され、前記タッチ操作の判定結果に基づいて、前記仮想カメラが、前記仮想オブジェクトを中心として前記仮想空間内でヨー方向に回転される。
　なお、本技術の一側面の画像処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
画面傾け方式におけるピッチ回転とヨー回転を説明する図である。 ハイブリッド方式における視点を説明する図である。 画面タッチ操作時における指先のＸ，Ｙ方向の移動を示す図である。 画面タッチ操作時における指先２点間の中心と距離を示す図である。 画面傾き操作時におけるピッチ回転とヨー回転を示す図である。 仮想空間内に配置される仮想カメラと、仮想オブジェクトを中心としたピッチ方向の回転とヨー方向の回転の関係を示す図である。 本技術を適用した３Ｄ画像表示システムの構成の例を示す図である。 図７の表示端末のハードウェア構成の例を示す図である。 図８の表示端末の機能的構成の例を示す図である。 表示処理の流れを説明するフローチャートである。 ユーザ操作に応じた画像処理の流れを説明するフローチャートである。 ワールド座標系と仮想カメラ座標の関係を示す図である。 新方式における画面タッチ操作及び画面傾き操作と、仮想カメラの移動との対応を示す図である。 コンピュータの構成の例を示す図である。
　以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
１．本技術の実施の形態
２．変形例
３．コンピュータの構成
＜１．本技術の実施の形態＞
　３次元的な仮想空間内に、背景画像とともに表示される仮想オブジェクトを観察するためのユーザインターフェース（UI：User Interface）として、観察対象を中心として仮想カメラを移動させる方式がある。この方式としては、画面傾け方式と、画面タッチ方式がある。
　画面傾け方式は、スマートフォン等の表示端末の画面の傾きにより、観察対象を中心に仮想カメラを公転させる方式である。画面タッチ方式は、表示端末の画面に対するタッチ操作により、仮想カメラの位置を移動させる方式である。さらに、画面傾け方式と画面タッチ方式とを組み合わせたハイブリッド方式もある。
　画面傾け方式では、表示端末のピッチ回転は、ユーザが表示端末を持つ手のピッチ回転（手首のピッチ回転）に対応している。画面傾け方式を用いる場合、画面タッチ方式を用いる場合とは異なり、基本的に仮想カメラの姿勢が、表示端末の姿勢に連動している。
　このため、画面傾け方式では、仮想カメラの姿勢を直感的に認識可能で、画面タッチ方式を用いた場合のような回転方向の誤認識（誤操作）が発生しにくくなる。したがって、画面傾け方式では、仮想空間に配置された仮想オブジェクトの観察という観点で、画面タッチ方式を用いた場合と比べて、ユーザに対し、より直感的な操作を提供することができる。
　また、画面傾け方式では、端末傾き検出器（IMU(Inertial Measurement Unit)等）から出力されるピッチ回転の信号に応じて、仮想カメラのピッチ方向の回転（仮想オブジェクトを中心とした公転）が行われる。このとき、仮に、ユーザが手首のみを動かしたのであれば、手に持った表示端末のピッチ回転により、当該表示端末の画面は、ユーザに対して非正対の状態となる。
　表示端末のピッチ回転によって、画面が上方又は下方を向いたのであれば、日常的に行われる実オブジェクトを覗き込む又は仰ぎ見る動作と同様に、ユーザは、自身（の顔）に画面が正対するように、自身の姿勢を自然に調整しようとする。
　より具体的には、ユーザの手首の動きで表示端末がピッチ回転されたのであれば、ユーザは、手の位置自体を腕のピッチ回転で調整し、さらに頭部のピッチ回転も合わせて行い、表示端末の画面が自身に正対した状態を維持しようとする。
　すなわち、表示端末のピッチ回転に伴う画面の見え難さは、ユーザの自然な日常動作によって抑制され得る。
　表示端末のヨー回転に関しても、ユーザは、自身の手の位置自体を腕のヨー回転で調整し、さらに、頭部のヨー回転も合わせて行えば、画面の正対状態の維持を実現できる。
　ここで、画面傾け方式において、ピッチ回転とヨー回転による回転量について考える。ピッチ回転は、観察対象（仮想オブジェクト）を上の方から覗き込む、又は下から見上げるための回転となる。そのため、観察対象を回転させたい角度の最大値は＋90度で、最小値は－90度となる。よって、ユーザは、手首のピッチ回転角度に対して、仮想カメラ５０を180度の範囲内で操作できればよい（図１のＡ）。
　一方で、ヨー回転は観察対象を前からも後ろからも見るためには、最大値は＋180度で、最小値は－180度、計360度回転させる必要がある。よって、ユーザの手首のヨー回転角度に対して、仮想カメラ５０が360度の回転を行えればよい（図１のＢ）。
　しかしながら、このような回転を表示端末で行おうとした場合、ユーザは完全に後ろを向くことになり、身体的な負荷が高くなる。また、他の人が見ている環境では、ユーザのこのような動きは、不審な動きとみなされる恐れもある。
　実際には、ユーザの手首のヨー回転量に、所定の係数をかけることで、少しの手首のヨー回転で、仮想カメラのヨー回転を実現することも可能である。しかしながら、少しの手首の動きで仮想カメラが移動するため、仮想カメラを安定させることが困難となる。そのため、次に述べる画面タッチ方式と組み合わせて利用するのが通常である。
　画面タッチ方式では、表示端末のタッチパネルの上下方向のドラッグ操作を仮想カメラのピッチ方向の回転に、左右方向のドラッグ操作をヨー方向の回転にそれぞれ変換する。ここでは、回転させたい量だけドラッグすればよく、その位置に固定されるため、仮想カメラを、移動させたい位置に正確に移動させることができる。
　なお、画面傾け方式では、常に、画面の傾きを反映して仮想カメラの位置を変更しており、仮想カメラの位置が固定されることはない。また、画面傾け方式は、指先で行う画面タッチ方式と比べて、位置指定の精度が低くなる場合が多い。
　当然ながら画面タッチ方式では、ユーザが指先で画面をタッチしなければ、仮想カメラの位置を変更することはできない。これは、利用用途によっては問題とならない場合もあるが、電車の車内で、一方の手でスマートフォン等の表示端末を持ち、他方の手で手すりをつかんでいる状況などでは、仮想カメラの移動を行うことは困難である。
　よって、ユーザが極力手を動かすことなく、つまり、ユーザの身体の負荷を低くして操作できる操作方式が提供できると、両手を使えない状況での視聴体験を向上させることができる。
　ハイブリッド方式では、表示端末の画面の傾けによるヨー回転及びピッチ回転の操作と、画面のタッチによるヨー回転及びピッチ回転の操作が有効になっているのが現状である。
　しかしながら、表示端末の画面に対するタッチ操作として、上下方向のドラッグ操作で仮想カメラのピッチ方向の位置を変更した場合、ユーザは、表示端末の画面を目の前に水平方向に構えても、上方の空や下方の地面などが見えてしまい、視点がどちらに向いているのか混乱してしまう恐れがある（図２）。
　図２においては、図中の円で表した仮想空間内の仮想カメラの位置に、ユーザの視点が存在する場合に、実空間で表示端末１０の画面を見ているユーザに、仮想空間内で見たい画像Ｖ１ではなく、上方の画像Ｖ２（空など）が見えている様子を模式的に表している。
　ここで、上述した画面傾け方式と、画面タッチ方式と、ハイブリッド方式の特徴をまとめると、次のようになる。
　画面傾け方式の良い面（Pros）としては、例えば、次のような点が挙げられる。第１に、ユーザが日常に行う実オブジェクトを覗き込む、又は仰ぎ見る動作と同様の動作で直感的に操作を行うことができる点である。第２に、ユーザは、表示端末を片手のみで操作できるため、ピッチ回転やヨー回転の回転角度が浅い場合には、身体的な負荷が低い点である。
　一方で、画面傾け方式の悪い面（Cons）としては、ピッチ回転やヨー回転の回転角度が大きくなると、ユーザの視聴時の身体的な負荷が大きくなる点がある。
　画面タッチ方式の良い面（Pros）としては、仮想空間内で、仮想カメラの位置を、現在位置から移動させたい位置に、正確に移動させることができる点が挙げられる。
　一方で、画面タッチ方式の悪い面（Cons）としては、ユーザは、表示端末の画面に指先をタッチしないと、仮想カメラを移動させられないため、そのタッチ操作に関しては身体的に負荷がかかる点である。
　ハイブリッド方式の良い面（Pros）としては、例えば、次のような点が挙げられる。第１に、画面傾け方式と同様に、表示端末を片手のみで操作できるため、回転角度が浅い場合には、ユーザの身体的な負荷が低い点がある。
　第２に、画面タッチ方式と同様に、仮想空間内で、仮想カメラの位置を、現在位置から移動させたい位置に、正確に移動させることができる点がある。第３に、ユーザは、画面タッチによるピッチ回転の変更を行わない限りは、日常に行われる実オブジェクトを覗き込む又は仰ぎ見る動作と同様の動作で直感的な操作を行うことが可能である点がある。
　一方で、ハイブリッド方式の悪い面（Cons）としては、画面傾き操作だけでなく、画面のタッチ操作も可能であるため、表示端末の画面の傾きとは、異なった画像が表示される可能性がある点である（図２）。
　そこで、本技術を適用した方式（以下、新方式という）では、画面タッチ操作時には、画面のタッチ操作でヨー方向に回転させるとともに、画面傾き操作時には、画面の傾きで、ピッチ方向とヨー方向に回転させて、仮想オブジェクトに対する仮想カメラの位置が変更されるようにする。
　これにより、表示端末の画面の傾きとは異なった画面表示となることで、天地逆転などが発生してユーザが混乱することを回避して、観察対象（仮想オブジェクト）を中心とした仮想カメラの移動を、より直感的な操作で行うことが可能となる。その結果として、ユーザの操作性を向上させることができる。
（用語の定義）
　ここで、新方式の詳細な内容を説明する前に、本開示で使用される用語の定義をする。
　「仮想カメラ」とは、３次元的な仮想空間における表示端末（の画面）によって表示される範囲を特定するものである。仮想空間内における仮想カメラの位置は、表示端末の画面を見ているユーザの視点の位置に対応している。
　「背景画像」は、３次元的な仮想空間を表す画像である。この背景画像としては、少なくとも180度以上の視野角を有する広角画像を含む。「仮想オブジェクト」は、背景画像内に配置されるオブジェクト（物体）である。
　仮想オブジェクトは、ユーザにより観察される観察対象となる。仮想オブジェクトは、提供されるサービスによっても異なるが、ユーザが注目したいスポーツ選手やタレントなどが観察対象となる。観察対象となる仮想オブジェクトは、人物に限らず、生き物（犬、猫、昆虫等）や、物体（美術品等）などでもよい。また、観察対象となる仮想オブジェクトは、１つに限らず、複数であってもよく、さらには、静止しているものに限らず、動いていてもよい。
　なお、「仮想空間」に対する現実の空間を、「実空間」と称する。また、「仮想オブジェクト」に対する現実のオブジェクトを、「実オブジェクト」と称する。
　画面タッチ操作時における「指先Ｘ方向移動」と、「指先Ｙ方向移動」は、図３に示すような操作を表している。ただし、図３では、表示端末１０の画面を横向きにした場合を示している。
　「指先Ｘ方向移動」は、表示端末１０のタッチパネル１１０の画面に、ユーザの指が触れた状態で、その指を水平方向（Ｘ方向）に移動させる操作である（図３の水平方向の矢印）。「指先Ｙ方向移動」は、タッチパネル１１０の画面に、ユーザの指が触れた状態で、その指を垂直方向（Ｙ方向）に移動させる操作である（図３の垂直方向の矢印）。
　なお、「指先Ｘ方向移動」及び「指先Ｙ方向移動」は、図３に示した画面上のユーザの１本の指の指先の移動は勿論、画面に同時に接触している２本以上の指（人差し指と中指など）の指先の移動であっても構わない。
　また、図３では、水平方向の移動として、図中の左側から右側に向かう操作を示したが、図中の右側から左側に向かう操作であっても構わない。また、図３では、垂直方向の移動として、図中の下側から上側に向かう操作を示したが、図中の上側から下側に向かう操作であっても構わない。
　また、画面タッチ操作時における「指先２点間の距離」と、「指先２点の中心」は、図４に示すような操作を表している。ただし、図４では、表示端末１０の画面を横向きにした場合を示している。
　「指先２点間の距離」は、タッチパネル１１０の画面に触れたユーザの２本の指先の間の距離である（図４の矢印）。「指先２点中心」は、タッチパネル１１０の画面に触れたユーザの２本の指先の間の中心の位置である。換言すれば、「指先２点中心」は、「指先２点間の距離」の中間位置（図４の矢印上のバツ印）であるとも言える。
　なお、図４においては、「指先２点間の距離」が、ユーザの左右の手の人差し指の指先の間の距離となる場合を例示したが、一方の手の２本の指（人差し指と中指など）の指先間の距離などとしても構わない。
　画面傾き操作における「ピッチ回転」と、「ヨー回転」は、図５に示すような回転を表している。ただし、図５では、表示端末１０の画面を横向きにした場合を示している。
　「ピッチ回転」は、図中の左右を軸（水平方向の破線を軸）として、上下方向に回転することを表す（図５）。具体的には、図５に示すように、スマートフォン等の表示端末１０の画面を横向きにした場合には、長手方向を軸に、上下方向に回転することを、ピッチ回転という。
　「ヨー回転」は、図中の上下を軸（垂直方向の破線を軸）として、左右方向に回転することを表す（図５）。具体的には、図５に示すように、表示端末１０の画面を横向きにした場合には、長手方向と垂直な方向（短手方向）を軸に、左右方向に回転することを、ヨー回転という。
　なお、図示はしていないが、表示端末１０の画面を縦向きにした場合には、短手方向を軸に上下方向に回転することを、「ピッチ回転」といい、長手方向を軸に左右方向に回転することを、「ヨー回転」という。
　仮想空間内における仮想カメラの「ピッチ方向の回転」と、「ヨー方向の回転」は、図６に示すような回転を表している。
　「仮想カメラのピッチ方向の回転」は、仮想オブジェクト６０を中心とした球体の表面（球面）に沿って、仮想カメラがＹＺ平面上を移動することを表している（図６）。
　「仮想カメラのヨー方向の回転」は、仮想オブジェクト６０を中心とした球面に沿って、仮想カメラがＸＺ平面上を移動することを表している（図６）。
　すなわち、「仮想カメラのピッチ方向の回転」と「仮想カメラのヨー方向の回転」は、仮想オブジェクト６０を中心とした仮想カメラの公転を表しているとも言える。この仮想カメラが、観察対象としての仮想オブジェクト６０を中心に公転することで、ユーザの視点の位置として、仮想オブジェクト６０を見つつ、その周囲を回るような視点移動が可能とされる。
　図６においては、仮想オブジェクト６０の中心（重心等）が、仮想カメラの「回転中心（回転中心位置）」とされ、その回転中心から仮想カメラまでの距離が「回転半径（R）」とされる。
　なお、本開示において、「ドラッグ操作」とは、表示端末１０の画面を触れたまま、指を目的の場所まで移動してから離す操作である。「ピンチイン操作」とは、表示端末１０の画面上で２本の指をつまむように動かすことで画面を縮小させる操作である。「ピンチアウト操作」とは、表示端末１０の画面上で２本の指を広げるように動かすことで画面を拡大させる操作である。
　以下、図７乃至図１３を参照しながら、新方式の詳細な内容について説明する。
（システムの構成）
　図７は、新方式に対応した３Ｄ画像表示システム１の構成の例を示している。
　３Ｄ画像表示システム１は、表示端末１０－１乃至１０－Ｎ（Ｎ：１以上の整数）、及び配信サーバ２０から構成される。
　３Ｄ画像表示システム１において、表示端末１０－１乃至１０－Ｎと、配信サーバ２０は、ネットワーク３０を介して相互に接続されている。ネットワーク３０は、インターネット、イントラネット、携帯電話網などの通信網を含む。
　表示端末１０－１は、スマートフォン、タブレット端末、ウェアラブル機器、携帯型のゲーム機などのディスプレイを有するモバイル端末である。
　表示端末１０－１は、ユーザの操作等に応じて、アプリケーションの配信要求を、ネットワーク３０を介して配信サーバ２０に送信する。表示端末１０－１は、配信サーバ２０から配信されるアプリケーションを、ネットワーク３０を介して受信する。
　アプリケーションは、３Ｄデータに基づき、自由視点映像をして撮影したスポーツ選手やタレント、コンピュータグラフィックスのキャラクタ（アバタ）などの３Ｄ画像を視聴するためのソフトウェアである。以下、当該アプリケーションを、「３Ｄアプリ」とも称する。
　３Ｄデータは、３Ｄアプリに包含した状態で配信されてもよいし、あるいは、表示端末１０－１が、３Ｄアプリの実行時に、配信サーバ２０等の外部サーバから、ネットワーク３０を介して受信してもよい（動的にロードしてもよい）。
　表示端末１０－１では、配信サーバ２０から配信された３Ｄアプリが実行されることで、３Ｄデータに基づき、３Ｄ画像が表示される。
　表示端末１０－２乃至１０－Ｎは、表示端末１０－１と同様に、スマートフォン等のモバイル端末として構成される。表示端末１０－２乃至１０－Ｎのそれぞれでは、配信サーバ２０から配信される３Ｄアプリが実行されることで、３Ｄ画像が表示される。
　なお、以下の説明では、表示端末１０－１乃至１０－Ｎを特に区別する必要がない場合には、単に「表示端末１０」と称する。
　配信サーバ２０は、３Ｄアプリを配信するための１又は複数のサーバから構成され、データセンタ等に設置される。配信サーバ２０は、３Ｄ画像配信サービス等のコンテンツサービスを事業として行う事業者などにより提供される。
　配信サーバ２０は、表示端末１０からの配信要求に応じて、ネットワーク３０を介して３Ｄアプリを送信（配信）する。また、配信サーバ２０は、３Ｄアプリに３Ｄデータが包含されていない場合、表示端末１０からの配信要求に応じて、ネットワーク３０を介して３Ｄデータを送信（配信）する。
（表示端末の構成）
　図８は、図７の表示端末１０のハードウェア構成の例を示している。
　図８において、表示端末１０は、制御部１０１、メモリ１０２、センサ１０３、画像処理部１０４、記憶部１０５、表示部１０６、入力部１０７、及び通信部１０８から構成される。表示端末１０では、表示部１０６と入力部１０７により、タッチパネル１１０が構成される。
　制御部１０１は、CPU(Central Processing Unit)等のプロセッサから構成される。制御部１０１は、各部の動作の制御や各種の演算処理を行う中心的な制御装置（処理装置）であり、表示端末１０の各部の動作を制御する。
　メモリ１０２は、RAM(Random Access Memory)等の半導体メモリから構成される。メモリ１０２は、制御部１０１により処理される各種のデータを一時的に記憶する。
　センサ１０３は、各種のセンサデバイスから構成される。センサ１０３は、ユーザやその周辺などのセンシングを行い、そのセンシングの結果得られるセンサデータを、制御部１０１に供給する。制御部１０１は、センサ１０３から供給されるセンサデータに基づき、各種の処理を行う。
　センサ１０３としては、３次元の角速度と加速度を測定する慣性計測装置（IMU：Inertial Measurement Unit）などを含む。慣性計測装置（IMU）は、３軸のジャイロスコープと３方向の加速度計により、３次元の角速度と加速度を求めることができる。
　なお、センサ１０３には、近接するものを測定する近接センサ、生物の持つ心拍数、体温、又は姿勢といった情報を測定する生体センサ、磁場（磁界）の大きさや方向を測定する磁気センサなどを含めてもよい。
　画像処理部１０４は、GPU(Graphics Processing Unit)等のプロセッサから構成される。画像処理部１０４は、制御部１０１からの制御に従い、３Ｄデータ等に対する所定の画像処理を行う。この画像処理で得られた表示データは、表示部１０６に供給される。
　記憶部１０５は、不揮発性メモリ等の半導体メモリを含む補助記憶装置である。記憶部１０５は、内部ストレージとして構成されてもよいし、メモリカード等の外部ストレージであってもよい。
　記憶部１０５は、制御部１０１からの制御に従い、３Ｄアプリや３Ｄデータ等の各種のデータを記録する。制御部１０１は、記憶部１０５に記録された３Ｄアプリ（のデータ）を読み出して実行することができる。
　表示部１０６と入力部１０７からタッチパネル１１０が構成される。表示部１０６は、液晶パネルやOLED(Organic Light Emitting Diode)パネル等の表示装置である。入力部１０７は、表示部１０６の表面に設置された位置入力装置である。
　表示部１０６は、制御部１０１からの制御に従い、画像処理部１０４からの表示データに応じた３Ｄ画像や、各種の情報を表示する。
　入力部１０７は、ユーザの指が、表示部１０６の表面に接触（タッチ）したとき、その接触位置（所定の点の位置）に応じた操作データを、制御部１０１に供給する。制御部１０１は、入力部１０７から供給される操作データに基づき、各種の処理を行う。
　通信部１０８は、無線LAN(Local Area Network)や、セルラー方式の通信（例えばLTE-Advancedや5G等）などの無線通信又は有線通信に対応した通信装置（通信モジュール）として構成される。通信部１０８は、制御部１０１からの制御に従い、ネットワーク３０を介して他の機器と通信を行う。
　通信部１０８は、３Ｄアプリ又は３Ｄデータの配信要求を、ネットワーク３０を介して、配信サーバ２０に送信する。通信部１０８は、配信サーバ２０からネットワーク３０を介して配信される３Ｄアプリ又は３Ｄデータを受信する。３Ｄアプリ又は３Ｄデータは、画像処理部１０４に供給されて処理されるか、あるいは記憶部１０５に供給されて記録される。
　図９は、本技術を適用した画像処理装置として構成される表示端末１０（図８）の機能的構成の例を示している。
　図９において、表示端末１０は、端末傾き検出部１２１、画面タッチ検出部１２２、画像処理部１２３、及び表示制御部１２４を含む。
　端末傾き検出部１２１は、慣性計測装置（IMU）等を含むセンサ１０３（図８）に対応している。端末傾き検出部１２１は、表示端末１０の画面の傾きを検出し、その検出結果を、画像処理部１２３に供給する。
　画面タッチ検出部１２２は、タッチパネル１１０を構成する入力部１０７（図８）に対応している。画面タッチ検出部１２２は、ユーザの指による表示部１０６の表面に接触（タッチ）を検出し、その検出結果を、画像処理部１２３に供給する。
　画像処理部１２３は、制御部１０１（図８）及び画像処理部１０４（図８）に対応している。画像処理部１２３は、通信部１０８により受信された３Ｄデータに基づいて、所定の画像処理を行い、この画像処理で得られる表示データを、表示制御部１２４に供給する。
　表示制御部１２４は、制御部１０１（図８）に対応している。表示制御部１２４は、画像処理部１２３から供給される表示データに応じた３Ｄ画像を、表示部１０６に表示する制御を行う。
　ここでは、仮想空間内に仮想カメラを配置するとともに、背景画像と仮想オブジェクトに応じた表示データを生成するための画像処理が行われることで、表示部１０６の画面には、背景画像と仮想オブジェクトを含む３Ｄ画像が表示される。
　また、画像処理部１２３には、端末傾き検出部１２１からの画面傾きの検出結果と、画面タッチ検出部１２２からの画面タッチの検出結果が供給される。
　画像処理部１２３は、画面傾きの検出結果及び画面タッチの検出結果の少なくとも一方の検出結果に基づいて、仮想空間内に配置された仮想カメラを、移動させるためのパラメータを設定する。このパラメータの設定によって、仮想空間内で仮想カメラが移動される。
　３Ｄ画像表示システム１は、以上のように構成される。
　なお、上述した構成は、３Ｄ画像表示システム１や表示端末１０の構成の一例であって、他の構成要素（機器や機能等）を追加したり、あるいは上述の構成要素（機器や機能等）を取り除いたりしてもよい。
　例えば、上述した構成では、３Ｄ画像表示システム１（図７）における配信側の機器として、配信サーバ２０を設けた構成を示したが、画像処理用のサーバを別途設けて、当該サーバにより画像処理が施された３Ｄデータが、配信サーバ２０により配信されてもよい。また、表示端末１０では、配信サーバ２０から配信された３Ｄアプリ又は３Ｄデータに限らず、記憶部１０５に記録された３Ｄアプリ又は３Ｄデータに基づき、３Ｄ画像を表示してもよい。
　また、例えば、上述した構成では、表示端末１０（図８）として、制御部１０１のほかに、画像処理部１０４を設けた構成を示したが、制御部１０１と画像処理部１０４を一体化して（システムオンチップ等として構成して）、画像処理部１０４の機能を、制御部１０１の機能に含めてもよい。
　また、例えば、表示端末１０（図８）の構成要素として、スピーカやカメラ、近距離無線通信部などを含めてもよい。具体的には、表示端末１０において、スピーカは、制御部１０１からの制御に従い、３Ｄデータに応じた３Ｄ画像に関する音声（音）を出力する。
　カメラは、光学系やイメージセンサ、信号処理回路などから構成され、ユーザ等の被写体を撮像して得られる撮像データを制御部１０１に供給する。制御部１０１は、カメラからの撮像データに基づき、各種の処理を行う。近距離無線通信部は、Bluetooth（登録商標）等の近距離無線通信に対応した通信装置として構成される。近距離無線通信部は、制御部１０１からの制御に従い、他の機器との間で近距離無線通信を行う。
（表示処理の流れ）
　次に、図１０のフローチャートを参照して、表示端末１０により実行される、新方式に対応した表示処理の流れを説明する。
　ステップＳ１において、画像処理部１２３は、３Ｄデータに基づいて、所定の画像処理を行い、３次元的な仮想空間内に、仮想カメラを配置する。
　ステップＳ２において、表示制御部１２４は、画像処理の結果に基づいて、３次元的な仮想空間を表す背景画像と、その背景画像内に配置された仮想オブジェクトの表示を制御する。
　これにより、表示端末１０において、表示部１０６の画面には、ユーザの視点の位置に応じた仮想カメラの位置から見たときの、背景画像を背景とした仮想オブジェクトを含む３Ｄ画像が表示される。
　ステップＳ３において、画像処理部１２３は、ユーザ操作に応じた画像処理を行う。この画像処理では、ユーザによる画面タッチ操作や画面傾き操作に応じた位置に、仮想空間内で仮想カメラの位置を移動させるためのパラメータが設定され、当該パラメータに応じて仮想カメラの位置が移動される。
　ここで、図１１のフローチャートを参照して、図１０のステップＳ３の処理に対応する、ユーザ操作に応じた画像処理の流れを説明する。
　なお、この画像処理で用いられる座標系としては、仮想空間内で３次元空間の世界そのものを表す座標であるワールド座標と、仮想カメラ固有の座標である仮想カメラ座標がある。図１２は、ワールド座標と仮想カメラ座標の関係を示している。
　図１２では、仮想カメラ５０が、仮想カメラ座標のＸＹＺ軸の原点を回転の中心として、仮想カメラ座標Ｙ軸と仮想カメラ座標Ｚ軸を含む仮想カメラＹＺ平面上を、ピッチ方向に回転する場合を想定している。この場合において、ワールド座標のＸＹＺ軸のうち、ワールド座標Ｙ軸を、図中の下側から上側に向かう方向の破線の軸で表している。
　すなわち、ワールド座標は、仮想空間内で１つだけ存在する絶対的な座標（仮想カメラの位置（ユーザの視点の位置）に左右されない座標）として仮想オブジェクト等の表示位置（座標）の指標となるものである。そのため、ワールド座標は、仮想カメラ固有の仮想カメラ座標と一致するとは限らず、図１２の例では、ワールド座標Ｙ軸と、仮想カメラ座標Ｙ軸とは、軸の向きが異なっている。
　図１１の説明に戻り、まず、画像処理部１２３では、画面タッチ検出部１２２により検出された検出結果に基づき、表示部１０６の画面にタッチしているユーザの指の数に応じた画面タッチ操作処理が行われる。
　ステップＳ１１の判定処理で、画面タッチ検出部１２２により検出された指の数が１本であると判定された場合、ステップＳ１２，Ｓ１３の処理が実行される。
　すなわち、画像処理部１２３は、Δtの間における指先Ｘ方向移動の移動量により、ヨー方向への回転量（以下、「Yaw1」と記述する）を設定する（Ｓ１２）。
　また、画像処理部１２３は、Δtの間における指先Ｙ方向移動の移動量により、ワールド座標系のＹ軸方向への移動量（以下、「Y1」と記述する）を設定する（Ｓ１３）。
　ステップＳ１１の判定処理で、画面タッチ検出部１２２により検出された指の数が２本であると判定された場合、ステップＳ１４乃至Ｓ１６の処理が実行される。
　すなわち、画像処理部１２３は、Δtの間における指先２点中心のＸ方向移動の移動量により、仮想カメラ座標のＸ方向への移動量（以下、「X2」と記述する）を設定する（Ｓ１４）。
　また、画像処理部１２３は、Δtの間における指先２点中心のＹ方向移動の移動量により、仮想カメラ座標のＹ方向への移動量（以下、「Y2」と記述する）を設定する（Ｓ１５）。
　また、画像処理部１２３は、Δtの間における指先２点間の距離の増減により、回転半径の変化量（以下、「R2」と記述する）を設定する（Ｓ１６）。
　ステップＳ１３、又はＳ１６の処理が終了すると、処理は、ステップＳ１７に進められる。また、ステップＳ１１の判定処理で、検出された指の数が0本であると判定された場合には、指先の数に応じた画面タッチ操作処理は不要であるため、処理は、ステップＳ１７に進められる。
　次に、画像処理部１２３では、端末傾き検出部１２１により検出された検出結果に基づき、現在の表示端末１０の画面の傾きに応じた画面傾き操作処理が行われる。
　すなわち、画像処理部１２３は、現在の表示端末１０のヨー方向への傾きにより、ヨー方向への回転量（以下、「Yaw3」と記述する）を設定する（Ｓ１７）。
　また、画像処理部１２３は、現在の表示端末１０のピッチ方向への傾きにより、ピッチ方向への回転量（以下、「Pitch3」という）を設定する（Ｓ１８）。
　画像処理部１２３は、仮想カメラ５０の回転半径を、R2に設定する（Ｓ１９）。また、画像処理部１２３は、仮想オブジェクトを中心とした仮想カメラ５０のヨー方向の回転量と、ピッチ方向の回転量をそれぞれ、Yaw1＋Yaw3と、Pitch3に設定する（Ｓ２０）。
　画像処理部１２３は、仮想カメラ５０の回転中心を、現在位置から、X2，Y1＋Y2だけ移動させる移動量を設定する（Ｓ２１）。ただし、このとき、仮想カメラ座標（X2，Y2）は、ワールド座標に変換して、Y1と座標系を一致させてから合算する。
　このようにして、画像処理部１２３によって、仮想カメラの回転半径や回転中心、仮想カメラのピッチ方向とヨー方向の回転に関するパラメータ（回転半径R2，回転中心（X2，Y1＋Y2），ピッチ方向の回転量（Pitch3），ヨー方向への回転量（Yaw1＋Yaw3））が設定されることで、当該パラメータに応じて仮想カメラの位置が移動される。
　ステップＳ２１の処理が終了すると、処理は、図１０のステップＳ３に戻り、それ以降の処理が実行される。
　以上、新方式に対応した表示処理の流れを説明した。この表示処理では、ユーザにより画面タッチ操作が行われた場合には、仮想カメラ５０をヨー方向に回転させるとともに、画面傾き操作が行われた場合には、仮想カメラ５０をピッチ方向とヨー方向に回転させることで、ユーザ操作に応じて仮想カメラ５０の位置を変更させている。なお、このとき、実空間における表示端末１０の実位置は、仮想カメラ５０の移動に反映されていない。
　これにより、表示端末１０の画面の傾きとは異なった画面表示となることで、天地逆転などが発生してユーザが混乱することを回避して、仮想オブジェクトを中心とした仮想カメラの移動を、より直感的な操作で行うことができる。
　ここで、上述した新方式における画面タッチ操作及び画面傾き操作と、仮想カメラ５０の移動との対応をまとめれば、図１３に示すようになる。
　画面傾き操作により、表示端末１０の画面の傾きがヨー回転となる場合、仮想空間内に配置される仮想カメラ５０は、当該画面の傾きに応じて、仮想オブジェクトを中心としてヨー方向に回転する（図１１のＳ１７，Ｓ２０）。
　また、画面傾き操作により、表示端末１０の画面の傾きがピッチ回転となる場合、仮想カメラ５０は、当該画面の傾きに応じて、仮想オブジェクトを中心としてピッチ方向に回転する（図１１のＳ１８，Ｓ２０）。
　画面タッチ操作により、１本指で画面の左右方向（水平方向）のドラッグ操作がなされた場合、仮想カメラ５０は、指先の移動量に応じて、仮想オブジェクトを中心としてヨー方向に回転する（図１１のＳ１２，Ｓ２０）。
　また、画面タッチ操作により、１本指で画面の上下方向（垂直方向）のドラッグ操作がなされた場合、指先の移動量に応じて、ワールド座標のＹ軸方向に、仮想カメラ５０の回転中心を移動する（図１１のＳ１３，Ｓ２１）。
　画面タッチ操作により、２本指で左右方向（水平方向）のドラッグ操作がなされた場合、指先の移動量に応じて、仮想カメラ座標のＸ軸方向に、仮想カメラ５０の回転中心を移動する（図１１のＳ１４，Ｓ２１）。
　また、画面タッチ操作により、２本指で上下方向（垂直方向）のドラッグ操作がなされた場合、指先の移動量に応じて、仮想カメラ座標のＹ軸方向に、仮想カメラ５０の回転中心を移動する（図１１のＳ１５，Ｓ２１）。
　画面タッチ操作により、２本指で、ピンチイン操作がなされた場合、仮想カメラの５０回転半径が大きくなる（図１１のＳ１６，Ｓ１９）。一方で、画面タッチ操作により、２本指で、ピンチアウト操作がなされた場合、仮想カメラ５０の回転半径が小さくなる（図１１のＳ１６，Ｓ１９）。
＜２．変形例＞
（他の構成の例）
　上述した説明では、表示端末１０が、ユーザ操作に応じた画像処理（図１１）を実行することで、新方式における画面タッチ操作及び画面傾き操作に応じた仮想カメラ５０の移動が実現される場合を説明したが、配信サーバ２０等の他の機器により、ユーザ操作に応じた画像処理（図１１）が実行されてもよい。
　具体的には、表示端末１０では、通信部１０８が、端末傾き検出部１２１及び画面タッチ検出部１２２による検出結果を、ネットワーク３０を介して配信サーバ２０等の外部サーバに送信することで、外部サーバでは、当該検出結果を加味した表示データ（又は３Ｄデータ）が生成される。そして、外部サーバが、表示データ（又は３Ｄデータ）を送信（配信）することで、表示端末１０では、当該表示データ（又は３Ｄデータ）に基づき、ユーザ操作に応じた３Ｄ画像を表示することができる。
　また、上述した説明では、表示端末１０では、配信された３Ｄアプリが実行されることで、３Ｄデータに応じた３Ｄ画像が表示される場合を例示したが、表示端末１０が、３Ｄデータ又は表示データが何らかの手段で取得できればよく、必ずしも、３Ｄアプリが必要となるわけではない。
　なお、本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、個別の筐体に収納され、ネットワーク３０を介して接続されている複数の装置、及び１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
（入力インターフェースの例）
　上述した説明では、画面傾き操作のための入力インターフェースとして、３次元の角速度と加速度を測定する慣性計測装置（IMU）を用いる場合を説明したが、感圧センサ等の他の入力インターフェースを用いてもよい。
　具体的には、感圧センサを、画面傾きの検出のオン／オフに利用して、当該感圧センサが、ユーザの指による接触に応じた圧力などによって押し込まれているときに、仮想カメラ５０をヨー方向又はピッチ方向に回転させるようにしてもよい。
　また、上述した説明では、画面タッチ操作のための入力インターフェースとして、タッチパネル１１０を用いて、ユーザによる左右方向又は上下方向のドラッグ操作などを検出する場合を説明したが、コントローラやリモートコントローラ等の他の入力インターフェースを用いてもよい。
　具体的には、コントローラ等を表示端末１０と接続して、当該コントローラ等のユーザ操作（左右キー操作や上下キー操作など）に応じて、仮想カメラをヨー方向に回転させたり、ワールド座標系のＹ軸方向に仮想カメラの回転中心を移動したりしてもよい。
　なお、画面タッチ操作時に、タッチパネル１１０が壊れるなどして、画面タッチが不安定な状態となったときに、入力インターフェースを、タッチパネル１１０から、コントローラ等に切り替えるようにしてもよい。
（初期値や制限の例）
　上述した説明では、仮想カメラ５０に関する初期値や制限については特に述べていないが、仮想カメラ５０の回転半径や回転中心における移動領域、回転量、回転速度などに初期値を設定したり、制限を設定したりしてもよい。
　具体的には、回転半径や回転中心における移動領域と回転量については、観察対象である仮想オブジェクトの大きさや動く領域、３次元データが取得可能な範囲、のぞき込み禁止角度など、ユーザが利用可能な範囲を事前に設定しておくことが可能である。
　また、回転半径や回転中心、回転量などが、所定の制限値を超えたとき、表示部１０６の画面における所定の領域（例えば画面の左右の端又は上下の端）の表示を変化させる（例えば赤色で表示する）などして、通常の操作時とは異なる表示形態でのフィードバックを行ってもよい。なお、ここでは、表示に限らず、音や振動などにより、フィードバックを行ってもよい。
　また、表示端末１０においては、通常の操作時では意図していないような急激な画面の揺れや、傾きなどが検出された場合には、ユーザによる操作入力ではないとみなして、当該検出結果を無視してもよい。具体的には、スマートフォン等の表示端末１０を使用するユーザが、自動車や電車などの車両に乗った場合に、表示端末１０が一定の振動を検出することが想定されるが、表示端末１０では、その振動をキャンセルすることができる。
（画面タッチ操作の例）
　上述した画面タッチ操作として、２本指で上下方向のドラッグ操作を行い、その指先の移動量に応じて、仮想カメラのＹ軸方向に、仮想カメラの回転中心を移動させる場合には、仮想カメラのピッチ方向の角度を、0度（正面を向いた状態）としたり、あるいは－90度（真下を向いた状態）としたりして、強制的に所定の状態に遷移させてもよい。
　これにより、仮想カメラ座標のＹ軸方向が、ワールド座標のＹ軸方向と一致してワールド座標の上下方向の移動となったり、あるいはＸＺ平面と平行となってワールド座標の水平方向の移動となったりするため、ユーザは、仮想カメラの回転中心の移動方向を容易に理解することができる。なお、仮想カメラのピッチ方向の角度を、0度と－90度のどちらにするかは、例えば、その時点での仮想カメラのピッチ方向の角度が、0度と－90度のどちらに近いかによって決定することができる。
　また、上述した画面タッチ操作として、１本指で上下方向のドラッグ操作が行われた際に、仮想カメラをピッチ方向の回転を（仮に）行い、ドラッグ操作後にユーザが指を画面から離した瞬間などの所定のタイミングで、当該ドラッグ操作で発生したピッチ方向の回転を元の状態に戻してもよい。これにより、実質的に、１本指での上下方向のドラッグ操作による、仮想カメラのピッチ方向の回転を抑制することが可能となる。
　また、表示端末１０の画面上に、ユーザが観察する観察対象の仮想オブジェクト（回転中心）を変更するためのボタンUIを設けて、このボタンUIが押下されたときに、あらかじめ決められている別の位置の仮想オブジェクトを観察対象に選択して、回転中心を移動させてもよい。具体的には、ユーザの視点が、あるスポーツ選手を注目している場合に、ボタンUIが押下されたときには、他のスポーツ選手の位置に視点が移動することになる。
　以上のように、新方式に対応した画像処理装置（表示端末１０又は配信サーバ２０等）の画像処理部（画像処理部１２３）では、表示端末１０により測定された測定信号（３次元の角速度と加速度を測定したIMU信号等）に基づいて、表示端末１０のピッチ回転及びヨー回転が判定され、表示端末１０のピッチ回転及びヨー回転の判定結果に基づいて、仮想カメラが、仮想オブジェクトを中心としてピッチ方向及びヨー方向の少なくとも一方の方向に回転されるとともに、表示端末１０のタッチパネル１１０上におけるタッチ操作が判定され、タッチ操作（例えば水平方向の１本指のドラッグ操作）の判定結果に基づいて、仮想カメラが、仮想オブジェクトを中心として仮想空間内でヨー方向に回転される。
　すなわち、新方式に対応した画像処理装置の画像処理部では、タッチ操作（例えば垂直方向の１本指のドラッグ操作）の判定結果を、仮想空間内における仮想カメラのピッチ方向の回転には反映しない。また、このとき、実空間における表示端末１０の実位置は、仮想カメラの移動に反映されていない。
　これにより、表示端末１０では、画面タッチ操作時には、画面のタッチ操作でヨー方向に回転され、画面傾き操作時には、画面の傾きで、ピッチ方向とヨー方向に回転されて、仮想オブジェクトに対する仮想カメラの位置が変更される。そのため、画面の傾きとは異なった画面表示となることを抑制し、天地逆転などが発生してユーザが混乱することを回避して、観察対象（仮想オブジェクト）を中心とした仮想カメラの移動を、より直感的な操作で行うことが可能となる。
　その結果として、ユーザの操作性を向上させることができる。また、ユーザは、表示端末１０を傾けたり、画面にタッチしたりするなどの直感的な操作によって仮想カメラを移動させて、観察対象の仮想オブジェクトを観察して楽しむことができる。
　なお、上述した特許文献１では、加速度と各速度が所定の閾値を超えた場合に、仮想カメラを動かす技術が開示されている。また、上述した特許文献２では、筐体を傾けた場合にそれに応じたカメラ視点映像を表示するゲームシステムが開示されている。しかしながら、特許文献１，２には、画面のタッチ操作に関する技術は開示されていない。
　また、上述した特許文献３では、ＸＹＺ軸の変位（IMU信号）に従い、仮想カメラを動かす技術が開示されている。しかしながら、特許文献３には、ＸＹＺ軸の変位を用いて、仮想カメラを動かすことは開示されているものの、画面のタッチ操作と組み合わせた操作方法については、開示されていない。
　一方で、画面傾き操作と画面タッチ操作を組み合わせたハイブリッドな操作方法は、全天球映像視聴用のアプリケーション（既存のハイブリッド方式アプリ）などで実装されているものがある。
　しかしながら、既存のハイブリッド方式アプリでは、画面タッチ操作時に、上下方向のドラッグ操作で、仮想カメラをピッチ方向に回転させた場合に、ユーザが表示端末（スマートフォン等）を水平方向に構えても、上方の空や下方の地面が見えてしまう場合がある。そのため、ユーザは、視点がどちらに向いているのかで混乱する恐れがある。
　なお、既存のハイブリッド方式アプリでは、画面傾き操作により、表示端末の画面の傾きがヨー回転又はピッチ回転となる場合、仮想カメラは、当該画面の傾きに応じて、ヨー方向又はピッチ方向に回転する。また、既存のハイブリッド方式アプリでは、画面タッチ操作により、１本指で画面の左右方向又は上下方向にドラッグ操作がなされた場合、仮想カメラは、指先の移動量に応じて、ヨー方向又はピッチ方向に回転する。
＜３．コンピュータの構成＞
　上述した一連の処理（図１０の表示処理等）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。
　図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成の例を示すブロック図である。
　コンピュータにおいて、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。
　入力部１００６は、マイクロフォン、キーボード、マウスなどよりなる。出力部１００７は、スピーカ、ディスプレイなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
　以上のように構成されるコンピュータでは、CPU１００１が、ROM１００２や記憶部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。また、プログラムは、１のコンピュータ（プロセッサ）により処理されてもよいし、複数のコンピュータによって分散処理されてもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　また、表示処理（図１０）や画像処理（図１１）の各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本技術は、以下のような構成をとることができる。
（１）
　３次元的な仮想空間の、表示端末により表示される範囲を特定する仮想カメラを前記仮想空間内に配置し、
　前記仮想空間を表す背景画像と、前記背景画像内に配置された仮想オブジェクトを、前記表示端末が表示するように制御し、
　前記表示端末により測定された測定信号に基づいて、前記表示端末のピッチ回転を判定し、
　前記表示端末のピッチ回転の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心としてピッチ方向に回転させ、
　前記表示端末のタッチパネル上におけるタッチ操作を判定し、
　前記タッチ操作の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心として前記仮想空間内でヨー方向に回転させる
　画像処理部を備える
　画像処理装置。
（２）
　前記画像処理部は、前記タッチ操作の判定結果を、前記仮想空間内における前記仮想カメラのピッチ方向の回転に反映しない
　前記（１）に記載の画像処理装置。
（３）
　前記背景画像は、少なくとも180度以上の視野角を有する広角画像を含み、
　前記画像処理部は、実空間における前記表示端末の実位置を、前記仮想カメラの移動に反映しない
　前記（１）又は（２）に記載の画像処理装置。
（４）
　前記仮想カメラのピッチ方向及びヨー方向の回転は、前記仮想オブジェクトを中心とした前記仮想カメラの公転である
　前記（１）に記載の画像処理装置。
（５）
　前記画像処理部は、
　　前記表示端末により測定された測定信号に基づいて、前記表示端末のピッチ回転及びヨー回転を判定し、
　　前記表示端末のピッチ回転及びヨー回転の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心としてピッチ方向及びヨー方向の少なくとも一方の方向に回転させる
　前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
　前記画像処理部は、前記タッチ操作として、前記タッチパネル上で水平方向の所定の操作が行われた場合、前記仮想カメラを、前記仮想オブジェクトを中心として前記仮想空間内でヨー方向に回転させる
　前記（２）に記載の画像処理装置。
（７）
　前記画像処理部は、前記タッチ操作として、前記タッチパネル上で垂直方向の所定の操作が行われた場合、前記仮想空間内における前記仮想カメラのピッチ方向の回転に反映しない
　前記（６）に記載の画像処理装置。
（８）
　前記画像処理部は、前記タッチパネル上で垂直方向の所定の操作が行われた場合、前記仮想カメラの回転中心を、現在位置からワールド座標のＹ軸方向に移動する
　前記（７）に記載の画像処理装置。
（９）
　前記所定の操作は、ユーザの指によるドラッグ操作を含む
　前記（７）又は（８）に記載の画像処理装置。
（１０）
　前記測定信号は、ユーザが前記表示端末を傾ける操作を行った際に測定される３次元の角速度と加速度に関する信号を含む
　前記（１）乃至（３）のいずれかに記載の画像処理装置。
（１１）
　前記表示端末として構成される
　前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
　前記表示端末は、モバイル端末を含む
　前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
　画像処理装置が、
　３次元的な仮想空間の、表示端末により表示される範囲を特定する仮想カメラを前記仮想空間内に配置し、
　前記仮想空間を表す背景画像と、前記背景画像内に配置された仮想オブジェクトを、前記表示端末が表示するように制御し、
　前記表示端末により測定された測定信号に基づいて、前記表示端末のピッチ回転を判定し、
　前記表示端末のピッチ回転の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心としてピッチ方向に回転させ、
　前記表示端末のタッチパネル上におけるタッチ操作を判定し、
　前記タッチ操作の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心として前記仮想空間内でヨー方向に回転させる
　画像処理方法。
（１４）
　コンピュータを、
　３次元的な仮想空間の、表示端末により表示される範囲を特定する仮想カメラを前記仮想空間内に配置し、
　前記仮想空間を表す背景画像と、前記背景画像内に配置された仮想オブジェクトを、前記表示端末が表示するように制御し、
　前記表示端末により測定された測定信号に基づいて、前記表示端末のピッチ回転を判定し、
　前記表示端末のピッチ回転の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心としてピッチ方向に回転させ、
　前記表示端末のタッチパネル上におけるタッチ操作を判定し、
　前記タッチ操作の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心として前記仮想空間内でヨー方向に回転させる
　画像処理部を備える
　画像処理装置として機能させるためのプログラム。
（１５）
　コンピュータを、
　３次元的な仮想空間の、表示端末により表示される範囲を特定する仮想カメラを前記仮想空間内に配置し、
　前記仮想空間を表す背景画像と、前記背景画像内に配置された仮想オブジェクトを、前記表示端末が表示するように制御し、
　前記表示端末により測定された測定信号に基づいて、前記表示端末のピッチ回転を判定し、
　前記表示端末のピッチ回転の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心としてピッチ方向に回転させ、
　前記表示端末のタッチパネル上におけるタッチ操作を判定し、
　前記タッチ操作の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心として前記仮想空間内でヨー方向に回転させる
　画像処理部として機能させるためのプログラムを記録した記録媒体。
　１　３Ｄ画像表示システム，　１０，１０－１乃至１０－Ｎ　表示端末，　２０　配信サーバ，　３０　ネットワーク，　５０　仮想カメラ，　６０　仮想オブジェクト，　１０１　制御部，　１０２　メモリ，　１０３　センサ，　１０４　画像処理部，　１０５　記憶部，　１０６　表示部，　１０７　入力部，　１０８　通信部，　１１０　タッチパネル，　１２１　端末傾き検出部，　１２２　画面タッチ検出部，　１２３　画像処理部，　１２４　表示制御部，　１００１　CPU

Claims (14)

  1. 　３次元的な仮想空間の、表示端末により表示される範囲を特定する仮想カメラを前記仮想空間内に配置し、
    　前記仮想空間を表す背景画像と、前記背景画像内に配置された仮想オブジェクトを、前記表示端末が表示するように制御し、
    　前記表示端末により測定された測定信号に基づいて、前記表示端末のピッチ回転を判定し、
    　前記表示端末のピッチ回転の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心としてピッチ方向に回転させ、
    　前記表示端末のタッチパネル上におけるタッチ操作を判定し、
    　前記タッチ操作の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心として前記仮想空間内でヨー方向に回転させる
    　画像処理部を備える
    　画像処理装置。
  2. 　前記画像処理部は、前記タッチ操作の判定結果を、前記仮想空間内における前記仮想カメラのピッチ方向の回転に反映しない
    　請求項１に記載の画像処理装置。
  3. 　前記背景画像は、少なくとも180度以上の視野角を有する広角画像を含み、
    　前記画像処理部は、実空間における前記表示端末の実位置を、前記仮想カメラの移動に反映しない
    　請求項２に記載の画像処理装置。
  4. 　前記仮想カメラのピッチ方向及びヨー方向の回転は、前記仮想オブジェクトを中心とした前記仮想カメラの公転である
    　請求項１に記載の画像処理装置。
  5. 　前記画像処理部は、
    　　前記表示端末により測定された測定信号に基づいて、前記表示端末のピッチ回転及びヨー回転を判定し、
    　　前記表示端末のピッチ回転及びヨー回転の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心としてピッチ方向及びヨー方向の少なくとも一方の方向に回転させる
    　請求項１に記載の画像処理装置。
  6. 　前記画像処理部は、前記タッチ操作として、前記タッチパネル上で水平方向の所定の操作が行われた場合、前記仮想カメラを、前記仮想オブジェクトを中心として前記仮想空間内でヨー方向に回転させる
    　請求項２に記載の画像処理装置。
  7. 　前記画像処理部は、前記タッチ操作として、前記タッチパネル上で垂直方向の所定の操作が行われた場合、前記仮想空間内における前記仮想カメラのピッチ方向の回転に反映しない
    　請求項６に記載の画像処理装置。
  8. 　前記画像処理部は、前記タッチパネル上で垂直方向の所定の操作が行われた場合、前記仮想カメラの回転中心を、現在位置からワールド座標のＹ軸方向に移動する
    　請求項７に記載の画像処理装置。
  9. 　前記所定の操作は、ユーザの指によるドラッグ操作を含む
    　請求項７に記載の画像処理装置。
  10. 　前記測定信号は、ユーザが前記表示端末を傾ける操作を行った際に測定される３次元の角速度と加速度に関する信号を含む
    　請求項２に記載の画像処理装置。
  11. 　前記表示端末として構成される
    　請求項１に記載の画像処理装置。
  12. 　前記表示端末は、モバイル端末を含む
    　請求項１に記載の画像処理装置。
  13. 　画像処理装置が、
    　３次元的な仮想空間の、表示端末により表示される範囲を特定する仮想カメラを前記仮想空間内に配置し、
    　前記仮想空間を表す背景画像と、前記背景画像内に配置された仮想オブジェクトを、前記表示端末が表示するように制御し、
    　前記表示端末により測定された測定信号に基づいて、前記表示端末のピッチ回転を判定し、
    　前記表示端末のピッチ回転の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心としてピッチ方向に回転させ、
    　前記表示端末のタッチパネル上におけるタッチ操作を判定し、
    　前記タッチ操作の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心として前記仮想空間内でヨー方向に回転させる
    　画像処理方法。
  14. 　コンピュータを、
    　３次元的な仮想空間の、表示端末により表示される範囲を特定する仮想カメラを前記仮想空間内に配置し、
    　前記仮想空間を表す背景画像と、前記背景画像内に配置された仮想オブジェクトを、前記表示端末が表示するように制御し、
    　前記表示端末により測定された測定信号に基づいて、前記表示端末のピッチ回転を判定し、
    　前記表示端末のピッチ回転の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心としてピッチ方向に回転させ、
    　前記表示端末のタッチパネル上におけるタッチ操作を判定し、
    　前記タッチ操作の判定結果に基づいて、前記仮想カメラを、前記仮想オブジェクトを中心として前記仮想空間内でヨー方向に回転させる
    　画像処理部として機能させるためのプログラムを記録した記録媒体。
PCT/JP2020/027632 2019-07-30 2020-07-16 画像処理装置、画像処理方法、及び記録媒体 WO2021020143A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080052990.7A CN114144753A (zh) 2019-07-30 2020-07-16 图像处理装置、图像处理方法和记录介质
US17/627,954 US20220253198A1 (en) 2019-07-30 2020-07-16 Image processing device, image processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-139687 2019-07-30
JP2019139687 2019-07-30

Publications (1)

Publication Number Publication Date
WO2021020143A1 true WO2021020143A1 (ja) 2021-02-04

Family

ID=74228288

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027632 WO2021020143A1 (ja) 2019-07-30 2020-07-16 画像処理装置、画像処理方法、及び記録媒体

Country Status (3)

Country Link
US (1) US20220253198A1 (ja)
CN (1) CN114144753A (ja)
WO (1) WO2021020143A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7492497B2 (ja) 2021-12-27 2024-05-29 株式会社コロプラ プログラム、情報処理方法、及び情報処理装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115904158A (zh) * 2022-11-04 2023-04-04 中科星图数字地球合肥有限公司 一种三维模型的手势控制方法、装置及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011135757A1 (ja) * 2010-04-30 2011-11-03 株式会社ソニー・コンピュータエンタテインメント 情報記憶媒体、情報入力装置、及びその制御方法
JP2012501016A (ja) * 2008-08-22 2012-01-12 グーグル インコーポレイテッド モバイルデバイス上の３次元環境内でのナビゲーション
JP2017501516A (ja) * 2013-11-12 2017-01-12 ファイユージョン，インコーポレイテッド サラウンドビュー内のオブジェクト及び階層の解析及び操作
WO2018174295A1 (ja) * 2017-03-24 2018-09-27 望月玲於奈 姿勢算出プログラム、装置、姿勢情報を用いたプログラム、装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3653431B2 (ja) * 1999-12-22 2005-05-25 日本電信電話株式会社 仮想空間表示方法およびその表示プログラムを記録した記録媒体
US10063848B2 (en) * 2007-08-24 2018-08-28 John G. Posa Perspective altering display system
JP5111312B2 (ja) * 2008-09-16 2013-01-09 任天堂株式会社 ３次元画像処理プログラム、３次元画像処理装置、３次元画像処理システムおよび３次元画像処理方法
JP6038440B2 (ja) * 2011-10-17 2016-12-07 任天堂株式会社 ゲームシステム、ゲーム処理方法、ゲーム装置、携帯ゲーム機およびゲームプログラム
US11006095B2 (en) * 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10750161B2 (en) * 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
WO2017033777A1 (ja) * 2015-08-27 2017-03-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御するプログラム
US10318128B2 (en) * 2015-09-30 2019-06-11 Adobe Inc. Image manipulation based on touch gestures
CN109069927A (zh) * 2016-06-10 2018-12-21 Colopl株式会社 用于提供虚拟空间的方法、用于使计算机实现该方法的程序以及用于提供虚拟空间的***
US10198855B2 (en) * 2016-07-20 2019-02-05 Colopl, Inc. Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
CN207179084U (zh) * 2017-02-15 2018-04-03 中山市紫科智能科技有限公司 一种自行式虚拟现实相机拍摄稳定云台
CN106909221B (zh) * 2017-02-21 2020-06-02 北京小米移动软件有限公司 基于vr***的图像处理方法及装置
JP7086522B2 (ja) * 2017-02-28 2022-06-20 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US11069147B2 (en) * 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012501016A (ja) * 2008-08-22 2012-01-12 グーグル インコーポレイテッド モバイルデバイス上の３次元環境内でのナビゲーション
WO2011135757A1 (ja) * 2010-04-30 2011-11-03 株式会社ソニー・コンピュータエンタテインメント 情報記憶媒体、情報入力装置、及びその制御方法
JP2017501516A (ja) * 2013-11-12 2017-01-12 ファイユージョン，インコーポレイテッド サラウンドビュー内のオブジェクト及び階層の解析及び操作
WO2018174295A1 (ja) * 2017-03-24 2018-09-27 望月玲於奈 姿勢算出プログラム、装置、姿勢情報を用いたプログラム、装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7492497B2 (ja) 2021-12-27 2024-05-29 株式会社コロプラ プログラム、情報処理方法、及び情報処理装置

Also Published As

Publication number Publication date
CN114144753A (zh) 2022-03-04
US20220253198A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
US10339723B2 (en) Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment
US10545584B2 (en) Virtual/augmented reality input device
US20200357163A1 (en) Method and apparatus for adjusting viewing angle in virtual environment, and readable storage medium
US10642344B2 (en) Manipulating virtual objects with six degree-of-freedom controllers in an augmented and/or virtual reality environment
US10359863B2 (en) Dragging virtual elements of an augmented and/or virtual reality environment
JP6046729B2 (ja) 全方向ジェスチャー入力
US10353478B2 (en) Hover touch input compensation in augmented and/or virtual reality
KR20220030294A (ko) 인공 현실 환경들에서 주변 디바이스를 사용하는 가상 사용자 인터페이스
US20180024623A1 (en) Detecting user range of motion for virtual reality user interfaces
US20170329419A1 (en) Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
CN111771180B (zh) 增强现实环境中对象的混合放置
EP3814876B1 (en) Placement and manipulation of objects in augmented reality environment
US10649616B2 (en) Volumetric multi-selection interface for selecting multiple objects in 3D space
WO2016199736A1 (ja) 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
WO2021020143A1 (ja) 画像処理装置、画像処理方法、及び記録媒体
US9471154B1 (en) Determining which hand is holding a device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20847514

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20847514

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP