WO2019059020A1 - 制御装置、制御方法、及びプログラム - Google Patents

制御装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2019059020A1
WO2019059020A1 PCT/JP2018/033398 JP2018033398W WO2019059020A1 WO 2019059020 A1 WO2019059020 A1 WO 2019059020A1 JP 2018033398 W JP2018033398 W JP 2018033398W WO 2019059020 A1 WO2019059020 A1 WO 2019059020A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinates
virtual viewpoint
control device
touch operation
display surface
Prior art date
Application number
PCT/JP2018/033398
Other languages
English (en)
French (fr)
Inventor
祐二 加藤
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to CA3072999A priority Critical patent/CA3072999C/en
Priority to RU2019130044A priority patent/RU2720356C1/ru
Priority to BR112019019526A priority patent/BR112019019526A2/pt
Priority to KR1020217000259A priority patent/KR20210006005A/ko
Priority to CN201880037599.2A priority patent/CN110720086A/zh
Priority to KR1020197033018A priority patent/KR20200002025A/ko
Priority to EP18857883.5A priority patent/EP3605295A4/en
Priority to AU2018336341A priority patent/AU2018336341B2/en
Publication of WO2019059020A1 publication Critical patent/WO2019059020A1/ja
Priority to US16/576,540 priority patent/US11003350B2/en
Priority to US17/230,344 priority patent/US11586349B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to a method of controlling a virtual viewpoint.
  • a virtual viewpoint video generation technology for generating a video of an arbitrary viewpoint from a plurality of photographed videos obtained by photographing with a plurality of cameras with different viewpoints.
  • a virtual viewpoint video generation method rendering method
  • a method of generating a virtual viewpoint video is known.
  • Patent Document 1 one is selected by the user from among a plurality of viewpoint coordinate data and a plurality of rotation starting point data, and then, the viewpoint is set by inputting the rotation angle and movement amount of the viewpoint. Is described.
  • Patent Document 1 has many operation procedures for setting a virtual viewpoint.
  • An object of the present invention is to enable setting of a virtual viewpoint more easily.
  • a control device concerning the present invention has the following composition. That is, the control device detects the user operation on the display surface displaying the virtual viewpoint video, and the position and the orientation of the virtual viewpoint related to the generation of the virtual viewpoint video according to the user operation detected by the detection unit. And control means for controlling at least one of them.
  • setting of a virtual viewpoint can be performed more easily.
  • FIG. 2 is a block diagram showing a hardware configuration of a control device 100.
  • FIG. 2 is a block diagram showing a functional configuration of a control device 100.
  • FIG. 6 is a view showing an example of virtual viewpoint control in a sliding operation of one finger according to the first embodiment.
  • FIG. 6 is a view showing an example of virtual viewpoint control in a sliding operation of three fingers according to the first embodiment.
  • FIG. 7 is a view showing an example of virtual viewpoint control in a sliding operation of two fingers according to the first embodiment.
  • FIG. 7 is a view showing an example of virtual viewpoint control in pinch-out operation of two fingers according to the first embodiment.
  • 5 is a flowchart showing the flow of processing in the control device 100 of the first embodiment. 5 is a flowchart showing a flow of virtual viewpoint control according to user operation.
  • a virtual viewpoint video is a video generated based on a plurality of captured videos obtained by a plurality of cameras capturing a field (shooting target area) from different directions, and a virtual viewpoint (virtual camera The image is generated according to the position and attitude of Further, the virtual viewpoint video of the present embodiment may be video data in which each image frame is compressed by a predetermined moving image compression method, or an image in which each image frame is compressed by a predetermined still image compression method It may be data or uncompressed video data.
  • the CPU 101 executes a program stored in the ROM 103 and / or the hard disk drive (HDD) 105 using the RAM 102 as a work memory, and controls each configuration described later via the system bus 112. Thereby, various processes to be described later are executed.
  • the HDD interface (I / F) 104 is an interface such as serial ATA (SATA) that connects the control device 100 and a secondary storage device such as the HDD 105 or an optical disk drive.
  • the CPU 101 can read data from the HDD 105 and write data to the HDD 105 via the HDD interface (I / F) 104.
  • the CPU 101 further develops the data stored in the HDD 105 in the RAM 102. Further, the CPU 101 can store various data on the RAM 102 obtained by execution of the program in the HDD 105.
  • An input interface (I / F) 106 connects the control device 100 with an input device 107 such as a touch panel for inputting one or more coordinates, a keyboard, a mouse, a digital camera, a scanner, and the like.
  • the input interface (I / F) 106 is a serial bus interface such as USB or IEEE 1394.
  • the CPU 101 can read data from the input device 107 via the input I / F 106.
  • the output interface (I / F) 108 is an image output interface such as DVI or HDMI (registered trademark) that connects the output device 109 such as a display and the control device 100.
  • the CPU 101 can execute display of a virtual viewpoint video by sending data related to the virtual viewpoint video to the output device 109 via the output I / F 108.
  • the network interface (I / F) 110 is a network card, such as a LAN card, for connecting the control device 100 and the external server 111.
  • the CPU 101 can read data from the external server 111 via the network I / F 110.
  • the input device 107 is a touch panel of the control device 100
  • the control device 100 may be a smart phone or a tablet terminal, and in this case, the input device 107 (touch panel) and the output device 109 (display screen) are integrated with the control device 100.
  • the external server 111 is unnecessary.
  • the HDD 105 is unnecessary.
  • the control device 100 may have a plurality of CPUs 101.
  • one or a plurality of dedicated hardware or a GPU (Graphics Processing Unit) different from the CPU 101 may be provided, and at least a part of the processing by the CPU 101 may be performed by the GPU or the dedicated hardware.
  • dedicated hardware include ASICs (application specific integrated circuits), FPGAs (field programmable gate arrays), and DSPs (digital signal processors).
  • the user operation in the present embodiment includes at least a tap operation, one to three slide operations, and a pinch in / pinch out operation.
  • FIG. 3 shows how the position and the attitude of the virtual camera are changed by the sliding operation of one finger.
  • a slide operation is performed in the left direction with one finger on the image 301 before the user operation, the position and orientation of the virtual camera are changed, and the image 302 is displayed.
  • the position and the attitude of the virtual camera change from the virtual viewpoint 305 to the virtual viewpoint 306 turning rightward around the point 304 in the three-dimensional space drawn at the center of the overhead image 303.
  • the viewpoint control unit 204 determines the virtual camera according to the movement of the coordinates. Is pivoted about a predetermined notable coordinate. In other words, when the number of coordinates on the display surface simultaneously designated by the user operation is the first number (one), the viewpoint control unit 204 causes the virtual camera to respond to the movement of the coordinates. Control is made to move while paying attention to a predetermined target coordinate.
  • the movement range of the virtual camera is limited on the circle 307, and the movement direction is limited in the horizontal direction.
  • the virtual camera can be moved close to the user's intention. Therefore, it is possible to easily generate a virtual viewpoint image such as a bullet time without blurring.
  • FIG. 4 shows how the position of the virtual camera is changed by the slide operation of three fingers.
  • a slide operation is performed in the right direction with three fingers on the image 401 before the user operation, the position of the virtual camera is changed, and the image 402 is displayed.
  • the position of the virtual camera moves from the virtual viewpoint 404 to the virtual viewpoint 405 as shown in the overhead image 403. That is, when the number of coordinates on the display screen simultaneously designated by the user operation is the third number (three), the viewpoint control unit 204 determines that the virtual camera is in the three-dimensional space according to the change of the coordinates. Control the position of the virtual camera so as to move in parallel at.
  • three coordinates are designated at the same time is not limited to the case where three fingers simultaneously touch the display screen. For example, when the third finger touches the display screen while holding the two fingers touching the display screen, it is determined that the three fingers touch the display screen simultaneously. . As described above, even if the timing to start touch on the display screen is different for each finger, a plurality of coordinates may be designated simultaneously.
  • the viewpoint control unit 204 is configured such that the movement amount of the finger on the display screen is equal to the movement amount of the drawing position in the virtual viewpoint video of the three-dimensional point 406 specified according to the user operation. Move the virtual camera.
  • the movement amount of the finger may be controlled to be different from the movement amount of the drawing position of the three-dimensional point 406 in the virtual viewpoint video.
  • an average value of the movement amounts of the three fingers may be used, or a median may be used, and the representative value may be used.
  • the viewpoint control unit 204 changes the position of the virtual viewpoint according to the change of the coordinates. , Does not change the direction of the virtual viewpoint.
  • FIG. 5 shows that the position and the orientation of the virtual camera are changed by the slide operation of two fingers.
  • a slide operation is performed on the image 501 before the user operation with two fingers in the lower left direction, the position and orientation of the virtual camera are changed, and the image 502 is displayed.
  • the position and orientation of the virtual camera change from the virtual viewpoint 505 to the virtual viewpoint 506 around the three-dimensional point 504 determined based on the position of the user's finger.
  • the movement range of the virtual camera is limited to the spherical surface 507.
  • the viewpoint control unit 204 sets the position of the virtual camera to the first position according to the movement of the coordinates. Change direction and second direction.
  • the control device 100 performs more complicated control of the virtual camera when the slide operation is performed with two fingers than when the slide operation is performed with one finger. Do. By performing a sliding operation with two fingers, it is possible to generate a virtual viewpoint video in which an arbitrary object is viewed from an arbitrary direction.
  • FIG. 6 shows how the position of the virtual camera is changed by the pinch-out operation of two fingers.
  • the position of the virtual camera is changed, and the image 602 is displayed.
  • the position of the virtual camera moves from the virtual viewpoint 604 to the virtual viewpoint 605 as shown in the overhead image 603.
  • the virtual viewpoint 605 is moved in the direction of the virtual viewpoint 604. That is, when the number of coordinates on the display screen simultaneously designated by the user operation is the second number (two), the viewpoint control unit 204 responds to the change in the coordinates according to the gaze direction of the virtual camera. Move the virtual camera in the other direction.
  • the position of the virtual camera moves back and forth as shown by a dotted line 606.
  • the subject for example, an object such as a player
  • the subject can be displayed smaller as the finger is narrowed, and intuitive operation becomes possible.
  • by performing back and forth movement and rotation of the virtual camera according to the user's operation of two fingers it is possible to realize control of the virtual camera with a high degree of freedom. Note that instead of changing the position of the virtual camera in accordance with the pinch in operation and the pinch out operation, parameters relating to the zoom value of the virtual camera may be changed.
  • the first number is “1”, the second number is “2”, and the third number is “3” will be mainly described, but the present invention is not limited to this.
  • the first number may be “3”
  • the second number may be “2”
  • the third number may be “1”
  • the first number may be “1”
  • the second number may be “1”.
  • the second number may be "4".
  • FIG. 2 is a block diagram showing a functional configuration of the control device 100 in the present embodiment.
  • the CPU 101 reads a program stored in the ROM 103 and / or the HDD 104 and executes the RAM 102 as a work area to play a role of each functional block in the control device 100 shown in FIG.
  • the operation unit 201 and the display unit 206 in FIG. 2 correspond to the input device 107 and the output device 109 in FIG. 1, respectively. Further, the CPU 101 does not have to play the role of all functional blocks in the control device 100, and a dedicated processing circuit corresponding to each functional block may be provided.
  • FIG. 7 is a flowchart showing the flow of processing performed by the control device 100 of the present embodiment. Each process described with reference to FIG. 7 is realized by the CPU 101 included in the control device 100 reading a program stored in the ROM 103 and / or the HDD 104 and executing the RAM 102 as a work area.
  • the acquired data control unit 202 stands by until a tap operation on the operation unit 201 is detected.
  • the tap operation is an operation of touching the display screen with a finger for a short time.
  • the threshold value of the contact time used to determine the tap operation can be set to any value.
  • the viewpoint control unit 204 outputs camera parameters relating to the position and orientation of the virtual camera to the drawing unit 205 based on the detection result of the user operation on the operation unit 201. Details of step S702 will be described later with reference to FIG.
  • the data acquisition unit 203 acquires data (polygon data and texture data) necessary for rendering from the HDD 105 or the external server 111, and outputs the data to the rendering unit 205.
  • the data acquisition unit 203 acquires data necessary for rendering of the next image frame if the virtual viewpoint video is being reproduced as a moving image.
  • the reproduction of the virtual viewpoint video is paused, data necessary for rendering the image frame currently being reproduced is acquired. In the case of the pause state, it is not necessary to acquire data again.
  • step S704 the drawing unit 205 generates a virtual viewpoint video based on the data acquired from the data acquisition unit 203 and the camera parameters acquired from the viewpoint control unit 204, and outputs the generated virtual viewpoint video to the display unit 206.
  • the display unit 206 displays the virtual viewpoint video acquired from the drawing unit 205.
  • the rendering will not be described in detail here because it can use existing techniques.
  • Camera parameters can be classified into external parameters and internal parameters of a virtual camera.
  • the external parameters of the virtual camera are parameters representing the position and attitude of the virtual camera.
  • the internal parameters of the virtual camera are parameters representing the optical characteristics of the virtual camera. The external parameters and internal parameters will be described more specifically. Assuming that a vector representing the position of the virtual camera is t and a matrix representing rotation is R, external parameters of the virtual camera can be expressed as follows.
  • the coordinate system is described as a left-hand coordinate system, and in the virtual viewpoint, the right is the + x direction, the top is the + y direction, and the front is the + z direction.
  • the internal parameter K of the virtual camera can be expressed as follows.
  • the camera parameter may be represented by something other than a matrix.
  • the position of the virtual camera may be represented by three-dimensional coordinates, and the attitude of the virtual camera may be represented by a list of yaw, roll, and pitch values.
  • the external parameters and internal parameters are not limited to those described above.
  • information representing the zoom value of the virtual camera may be acquired as an internal parameter of the virtual camera.
  • the viewpoint control unit 204 acquires the detection result of the user operation on the operation unit 201, and outputs the camera parameters of the virtual camera used for drawing the virtual viewpoint video to the drawing unit 205.
  • the viewpoint control unit 204 acquires the detection result of the user operation on the operation unit 201.
  • the two-dimensional screen coordinates xi and the two-dimensional screen coordinates x ′ of the representative point are the same, and either one can be omitted.
  • the coordinate system of the two-dimensional screen has the upper left as the origin, the right as + x, and the lower as + y.
  • the representative point is a coordinate located at the center of gravity of two-dimensional screen coordinates x i of a plurality of touched points.
  • the representative point is not limited to the center of gravity, may be the coordinates of the position to the average of the two-dimensional screen coordinates x i, as one point of a plurality of 2-dimensional screen coordinates x i are selected randomly Alternatively, the point touched for the longest time may be selected.
  • a three-dimensional point is a point at which a ray virtually travels (ray cast) in the photographing direction of the virtual camera from a three-dimensional coordinate according to the position of the virtual camera as a starting point, and is a point where it collides with the subject.
  • the three-dimensional point is used as a rotation base point or a movement reference point in the operation of the virtual camera. Further, this three-dimensional point is determined only when the number of touches changes from the previous image frame, and when it does not change, the three-dimensional vector T determined in the processing of the previous image frame is used as it is.
  • the three-dimensional point may not necessarily be indicated in the form of a vector.
  • step S802 the viewpoint control unit 204 determines whether to perform viewpoint reset in accordance with a user operation on the operation unit 201.
  • a specific area on the display screen for example, an area where the viewpoint reset button is displayed
  • the viewpoint control unit 204 resets the position, orientation, and the like of the virtual camera. That is, the viewpoint control unit 204 changes the position and the orientation of the virtual viewpoint to a predetermined position and orientation in response to the user operation being detected at the predetermined position on the display screen. Then, the viewpoint control unit 204 outputs the camera parameters of the virtual camera at the time of reset to the drawing unit 205.
  • the position of the virtual camera at the time of reset is [0 0 0]
  • the attitude of the virtual camera is a unit matrix.
  • the viewpoint information at the time of reset is not limited to the above. For example, a value set in advance by the user may be used, or recommended viewpoint information embedded in image data may be read and used.
  • the viewpoint control unit 204 determines the control method of the virtual camera based on the touched point n. By varying the control method of the virtual camera in accordance with the number of fingers touched, more versatile control can be realized. If the number of touch points is 0, the process advances to step S805 to output the current position and orientation of the virtual camera to the drawing unit 205.
  • a three-dimensional point is a point at which a ray virtually travels (ray cast) in the shooting direction of the virtual camera starting from three-dimensional coordinates (for example, center coordinates of the virtual camera) corresponding to the position of the virtual camera .
  • the three-dimensional point is a coordinate in the three-dimensional space corresponding to the center position of the virtual viewpoint video displayed at the time of touch.
  • three-dimensional points are not limited to this example. Details of S806 to S808 will be described later.
  • step S809 the process advances to step S809, and the viewpoint control unit 204 causes both the height direction and the horizontal direction of the virtual camera to correspond to the slide operation by the user. Control to change the position of.
  • step S811 the viewpoint control unit 204 performs control to move the position of the virtual camera in the front-rear direction in accordance with the pinch-in operation and / or the pinch-out operation. Details of S809 to S812 will be described later.
  • step S813 If the number of touch points is three (that is, if an operation of three fingers is detected), the process advances to step S813, and the viewpoint control unit 204 performs control to move the virtual camera in parallel according to the slide operation. Details of S813 and S814 will be described later.
  • the viewpoint control unit 204 determines the coordinates of the three-dimensional point that is the rotation center when the virtual camera is rotated.
  • the viewpoint control unit 204 virtually flies a ray to a three-dimensional space virtually from the center of the virtual camera as a viewpoint in response to the detection of a touch of one finger, and sets a point where it collides with a subject as a three-dimensional point.
  • a three-dimensional point is represented as a three-dimensional vector A and is used as a rotation center. Note that, once the three-dimensional point is determined once, it is not necessary to re-determine while the touch state continues.
  • the viewpoint control unit 204 acquires the movement amount d of the representative point, and determines the movement amount of the virtual camera.
  • the moving direction of the virtual camera is only the rotation direction centering on the three-dimensional point.
  • the virtual camera does not move in the vertical direction, but moves only in the horizontal direction. By doing this, the virtual camera can be moved smoothly without being affected by camera shake in the slide operation.
  • viewpoint control unit 204 of the present embodiment determines a movement amount of the virtual camera (the rotation amount in the horizontal direction theta) by multiplying the scale factor s to the movement amount d x of the representative point.
  • the scale s for determining the amount of rotation ⁇ [degree] from the amount of movement d x is It can be expressed by a formula.
  • the amount of rotation of the virtual camera can be expressed by the following equation using this scale factor.
  • the moving direction of the virtual camera based on the user's operation of one finger is mainly described as an example in which only the horizontal direction is used, but the moving direction may be only the vertical direction. Further, depending on the content of the user operation, it may be determined whether to move only in the horizontal direction or to move only in the vertical direction. Specifically, the moving direction may be determined according to the direction of the slide operation of a predetermined number of image frames after a touch is detected. For example, the amount of movement in the x direction and the direction of y in the predetermined number of image frames is compared, and if the amount of movement in the x direction is large, only movement in the horizontal direction is made. You may move it. Further, the method of determining the scale factor s is not limited to the one described above. For example, the user may specify an arbitrary value, or the user may arbitrarily select a plurality of options.
  • the viewpoint control unit 204 determines the position and orientation of the virtual camera according to the slide operation of the user, and outputs the result to the drawing unit 205.
  • the position R n-1 and the orientation t n-1 of the virtual camera, the position R n and orientation t n of the virtual camera when rotated by ⁇ in the horizontal direction about the coordinate A can be expressed by the following equation.
  • R ( ⁇ , ⁇ ) is a rotation matrix that rotates by ⁇ in the horizontal direction and by ⁇ in the vertical direction. Further, the equation for obtaining the position and orientation of the current rotated virtual camera is not limited to this.
  • the viewpoint control unit 204 acquires the movement amount d of the representative point, and determines the movement amount of the virtual camera.
  • the virtual camera can be rotated in both the horizontal direction and the vertical direction centering on the three-dimensional point.
  • the horizontal rotation amount ⁇ and the scale s are obtained in the same manner as in S807.
  • step S810 the viewpoint control unit 204 determines the position and orientation of the virtual camera according to the slide operation of the user, and outputs the result to the drawing unit 205.
  • the position R n-1 and the orientation t n-1 of the virtual camera, rotated by ⁇ in the horizontal direction about the three-dimensional point T, the position R n of the virtual camera when rotated by ⁇ in the vertical direction, attitude t ' n can be represented by the following formula.
  • the equation for obtaining the position and orientation of the virtual camera when rotated around the three-dimensional point T is not limited to this.
  • the movement amount of the virtual camera is determined according to the pinch-in operation and the movement amount of the finger per unit time by the pinch-out operation.
  • the method of determining the amount of movement is not limited to the method described above. For example, based on the distance from the virtual camera to the three-dimensional point T, the movement amount in the three-dimensional space may be determined so as to match the movement amount of the finger on the display screen.
  • the viewpoint control unit 204 determines the position of the virtual camera according to the user's pinch in operation and pinch out operation, and outputs the result to the drawing unit 205.
  • the position of the virtual camera moved by ⁇ z in the front-rear direction is expressed by the following equation.
  • the viewpoint control unit 204 determines the movement amount of the virtual camera in the vertical and horizontal directions according to the slide operation of the user.
  • the amount of movement is determined so that the three-dimensional point moves on the display screen by a distance equal to the amount of movement of the finger on the display screen. That is, when the display position of an object (for example, a soccer player) is touched with three fingers and the three fingers are slid on the display screen, the positional relationship between the display position of the object and the three fingers does not change Thus, the position of the virtual camera changes.
  • the movement amounts ⁇ x and ⁇ y can be expressed by the following equation, where r is the distance from the virtual camera to the touched three-dimensional point.
  • the viewpoint control unit 204 determines the position and orientation of the virtual camera according to the slide operation of the user, and outputs the result to the drawing unit 205.
  • the position and orientation of the virtual camera when it is moved by ⁇ x in the left and right direction and ⁇ y in the top and bottom direction is expressed by the following equation.
  • the correspondence between the number of fingers and the contents of processing is not limited to the example described above.
  • the control of the position and orientation of the virtual camera by the slide operation of one finger and the slide operation of three fingers can be interchanged. That is, the virtual camera may be moved in parallel up and down and left and right based on the slide operation of one finger, and rotational movement of the virtual camera centering on a three-dimensional point may be performed based on the slide operation of three fingers.
  • the user may arbitrarily set the relationship between the number of fingers and the control method. This makes it possible to provide an operation function that matches the user's skill, the display environment of the virtual viewpoint video, and the like.
  • the process in the case where the number of touch points is 0 (S805), the process in the case of 1 point (S806 to S808), the process in the case of 2 points (S809 to S812), the process in the case of 3 points
  • the description has been made centering on an example in which (S813 and S814) are all performed.
  • it is not limited to this example.
  • only the process (S809 to S812) when the number of touch points is 2 and the process (S813, S814) for 3 points may be executed, or the process when the number of touch points is 1 ( Only the steps S806 to S808) may be executed.
  • which process is to be enabled may be switched according to the user setting in advance.
  • the control device 100 controls at least one of the position and the orientation of the virtual viewpoint in accordance with the user operation on the display surface (display screen) for displaying the virtual viewpoint video. .
  • the user can perform control regarding the virtual viewpoint more easily than in the related art.
  • the control device 100 according to the present embodiment switches the control method of the virtual viewpoint according to the user operation according to the number of fingers detected from the display surface (the number of coordinates simultaneously designated by the user operation).
  • the control device 100 of the present embodiment there is an effect that it is possible to generate a virtual viewpoint video image more in line with the user's intention.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
  • a circuit eg, an ASIC

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

視点制御部２０４は、仮想視点映像を表示する表示面に対するユーザ操作を検出し（Ｓ８０１）、そのユーザ操作に応じて、仮想視点映像の生成に係る仮想視点の位置及び向きのうち少なくとも何れか一方を制御する（Ｓ８０３、Ｓ８０８、Ｓ８１２、Ｓ８１４）。

Description

制御装置、制御方法、及びプログラム
　本発明は仮想視点の制御方法に関する。
　視点の異なる複数のカメラで撮影して得られる複数の撮影映像から任意の視点の映像を生成する仮想視点映像生成技術が知られている。仮想視点映像の生成方法（レンダリング方法）として、予め定められた仮想視点の移動経路に基づいて仮想視点映像を生成しておく方法や、視聴者等により指定された仮想視点の位置及び姿勢等に従って仮想視点映像を生成する方法が知られている。
　仮想視点映像の生成技術によれば、インタラクティブ性の高い映像の視聴を行うことが可能である。一方で、タッチパネルを主要なインタフェイスとするタブレットやスマートフォンなどの機器では、望み通りに視点を操作することが困難である。特許文献１には、複数の視点座標データと、複数の回転起点データのうちから、それぞれ１つずつをユーザに選択させ、その後、視点の回転角度と移動量を入力して視点を設定することが記載されている。
特開２０１５－１８７７９７号公報
　特許文献１の方法は、仮想視点の設定のための操作手順が多い。本発明は、仮想視点の設定をより簡易に行えるようにすることを目的とする。
　上記課題を解決するために、本発明に係る制御装置は、以下の構成を有する。すなわち、制御装置は、仮想視点映像を表示する表示面に対するユーザ操作を検出する検出手段と、前記検出手段により検出されたユーザ操作に応じて、仮想視点映像の生成に係る仮想視点の位置及び向きのうち少なくとも何れか一方を制御する制御手段とを有する。
　本発明によれば、仮想視点の設定をより簡易に行うことができるようになる。
制御装置１００のハードウェア構成を示すブロック図。 制御装置１００の機能構成を示すブロック図。 実施形態１の１本指のスライド操作における仮想視点制御の例を示す図。 実施形態１の３本指のスライド操作における仮想視点制御の例を示す図。 実施形態１の２本指のスライド操作における仮想視点制御の例を示す図。 実施形態１の２本指のピンチアウト操作における仮想視点制御の例を示す図。 実施形態１の制御装置１００における処理の流れを示すフローチャート。 ユーザ操作に応じた仮想視点制御の流れを示すフローチャート。
　以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
　＜実施形態１＞
　実施形態１は、ユーザが表示スクリーン（タッチパネル）を操作することにより、仮想視点の位置及び向き等を制御し、それに応じた仮想視点映像を生成する例について説明する。なお、本実施形態では、「仮想カメラの位置を変更する」と「仮想視点の位置を変更する」は同様の意味として用いる。また、「仮想カメラの姿勢を変更する」と「仮想視点の向きを変更する」は同様の意味として用いる。
　また、本実施形態において仮想視点映像とは、フィールド（撮影対象領域）を異なる方向から撮影する複数のカメラにより得られた複数の撮影映像に基づいて生成される映像であり、仮想視点（仮想カメラ）の位置及び姿勢等に従って生成される映像である。また、本実施形態の仮想視点映像は、各画像フレームが所定の動画圧縮の方式により圧縮された映像データであっても良いし、各画像フレームが所定の静止画圧縮の方式により圧縮された映像データであっても良いし、非圧縮の映像データであっても良い。
　本実施形態における制御装置１００のシステム構成例について、図１を用いて説明する。同図において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及び／又はハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１２を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。ＨＤＤインタフェイス（Ｉ／Ｆ）１０４は、制御装置１００と、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置とを接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスである。ＣＰＵ１０１は、ＨＤＤインタフェイス（Ｉ／Ｆ）１０４を介した、ＨＤＤ１０５からのデータ読み出し、およびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開する。また、ＣＰＵ１０１は、プログラムの実行により得られたＲＡＭ１０２上の各種データをＨＤＤ１０５に保存することが可能である。入力インタフェイス（Ｉ／Ｆ）１０６は、１又は複数の座標を入力するためのタッチパネル、キーボード、マウス、デジタルカメラ、スキャナなどの入力デバイス１０７と制御装置１００とを接続する。入力インタフェイス（Ｉ／Ｆ）１０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことが可能である。出力インタフェイス（Ｉ／Ｆ）１０８は、ディスプレイなどの出力デバイス１０９と制御装置１００とを接続する、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して出力デバイス１０９に仮想視点映像に係るデータを送ることで、仮想視点映像の表示を実行させることができる。ネットワークインタフェイス（Ｉ／Ｆ）１１０は、制御装置１００と外部サーバ１１１とを接続する、例えばＬＡＮカードなどのネットワークカードである。ＣＰＵ１０１は、ネットワークＩ／Ｆ１１０を介して外部サーバ１１１からデータを読み込むことが可能である。
　なお、本実施形態では、入力デバイス１０７が制御装置１００のタッチパネルである場合の例を中心に説明する。つまり、制御装置１００はスマートフォンやタブレット端末などであっても良く、この場合は、入力デバイス１０７（タッチパネル）や出力デバイス１０９（表示スクリーン）は、制御装置１００と一体である。また、図１にて示した構成のすべてが必須の構成とは限らない。例えば、ＨＤＤ１０５に記憶された仮想視点映像を再生する場合、外部サーバ１１１は不要である。逆に、外部サーバ１１１から取得した仮想視点映像を生成する場合、ＨＤＤ１０５は不要である。また、制御装置１００が複数のＣＰＵ１０１を有してもよい。また、ＣＰＵ１０１とは異なる専用の１又は複数のハードウェアやＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を有し、ＣＰＵ１０１による処理の少なくとも一部をＧＰＵや専用のハードウェアが行うようにしてもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。
　本実施形態では、タッチパネルに対するユーザ操作によってユーザの意図に沿った仮想カメラの制御を行う方法について述べる。本実施形態におけるユーザ操作には、タップ操作、指１本～３本のスライド操作、ピンチイン・ピンチアウト操作が少なくとも含まれるものとする。
　指１本のユーザ操作は初心者でも行いやすい反面、複雑な情報を入力することが難しく、指３本のユーザ操作は細かい操作が難しい。よって、指１本と指３本のユーザ操作（スライド操作）には単純な仮想カメラの制御処理を割り当てる。そして、指２本の操作に複雑な仮想カメラの制御処理を割り当てる。
　図３から図６を用いて具体的なユーザ操作と仮想カメラの動作の関係について説明する。図３は、１本指のスライド操作によって、仮想カメラの位置及び姿勢が変化する様子を示している。ユーザ操作前の画像３０１に対して指１本で左方向にスライド操作を行うと、仮想カメラの位置及び姿勢が変更され、画像３０２が表示される。このとき、仮想カメラの位置及び姿勢は俯瞰画像３０３の中心に描画された３次元空間上の点３０４を中心として仮想視点３０５から右側に回り込んだ仮想視点３０６へ変化する。すなわち、ユーザ操作により同時に指定される表示スクリーン上（表示面上）の座標の数が第１の数（１つ）である場合、視点制御部２０４は、その座標の移動に応じて、仮想カメラを所定の注目座標を中心に旋回させる。別の言い方をすると、ユーザ操作により同時に指定される表示面上の座標の数が第１の数（１つ）である場合、視点制御部２０４は、その座標の移動に応じて、仮想カメラが所定の注目座標を注目したまま移動するように制御する。
　図３に示すように、１本指のスライド操作が検出された場合は、仮想カメラの移動範囲を円３０７上に限定し、移動方向を水平方向に制限する。これにより、例えば、タッチ操作に不慣れなユーザや、タッチの軌道がぶれやすい利用シーンにおいても、ユーザの意図に近い仮想カメラの移動が行える。したがって、簡易にブレのないバレットタイムのような仮想視点映像を生成することができる。
　図４は、３本指のスライド操作によって、仮想カメラの位置が変化する様子を示している。ユーザ操作前の画像４０１に対して指３本で右方向にスライド操作を行うと、仮想カメラの位置が変更され、画像４０２が表示される。このとき、仮想カメラの位置は俯瞰画像４０３において示される通り仮想視点４０４から仮想視点４０５へ移動する。すなわち、ユーザ操作により同時に指定される表示スクリーン上の座標の数が第３の数（３つ）である場合、視点制御部２０４は、その座標の変化に応じて、仮想カメラが３次元空間内において並行移動するように、仮想カメラの位置を制御する。
　なお、「３つの座標が同時に指定される」とは、３本の指が同時に表示スクリーンにタッチした場合に限らない。例えば、２本の指が表示スクリーンにタッチしている状態を保持しつつ、３本目の指が表示スクリーンにタッチした場合、３本の指が同時に表示スクリーンにタッチしている状態として判定される。このように、指ごとに表示スクリーンにタッチ開始するタイミングが異なっていたとしても、複数の座標が同時に指定されることがありうる。
　また、本実施形態の視点制御部２０４は、表示スクリーン上での指の移動量と、ユーザ操作に応じて特定される３次元点４０６の仮想視点映像における描画位置の移動量が等しくなるように仮想カメラを移動する。このように、指の移動量と３次元点４０６の移動量とを一致させることで、ユーザは、より直感的に仮想カメラの制御を行うことができる。ただし、指の移動量と、仮想視点映像における３次元点４０６の描画位置の移動量とが異なるように制御しても良い。また、３本指によるユーザ操作においては、指の移動量は、３本指のそれぞれの移動量の平均値を用いるようにしても良いし、中央値を用いるようにしても良いし、代表値を用いるようにしても良いし、その他の値を用いるようにしても良い。また、本実施形態においては、３本指のスライド操作が行われた場合は、仮想カメラの位置を変更するが、仮想カメラの姿勢は変更しない。つまり、ユーザ操作により同時に指定される表示スクリーン上の座標の数が第３の数（３つ）である場合、視点制御部２０４は、その座標の変化に応じて、仮想視点の位置を変更し、仮想視点の向きは変更しない。
　図５は、２本指のスライド操作によって、仮想カメラの位置及び向きが変化する様子を示している。ユーザ操作前の画像５０１に対して指２本で左下方向にスライド操作を行うと、仮想カメラの位置及び姿勢が変更され、画像５０２が表示される。このとき、仮想カメラの位置及び姿勢は俯瞰画像５０３において示される通り、ユーザの指の位置に基づいて決定された３次元上の点５０４を中心として仮想視点５０５から仮想視点５０６へと変化する。仮想カメラの移動範囲は球面５０７に限定する。つまり、１本指のスライド操作を行った場合は、仮想カメラの高さ方向の位置を変更せず、水平方向の位置を変更したのに対し、２本指のスライド操作を行った場合は、仮想カメラの高さ方向と水平方向の両方の位置を変更する。すなわち、ユーザ操作により同時に指定される表示スクリーン上の座標の数が第２の数（２つ）である場合、視点制御部２０４は、その座標の移動に応じて、仮想カメラの位置を第１方向及び第２方向に変更する。このように、本実施形態の制御装置１００は、１本指でスライド操作が行われた場合よりも、２本指でスライド操作が行われた場合のほうが、より複雑な仮想カメラの制御を実行する。２本指のスライド操作を行うことにより、任意のオブジェクトを任意の方向から見た仮想視点映像を生成できる。
　図６は、２本指のピンチアウト操作によって、仮想カメラの位置が変化する様子を示している。ユーザ操作前の画像６０１に対してピンチアウト操作を行うと、仮想カメラの位置が変更され、画像６０２が表示される。このとき、仮想カメラの位置は俯瞰画像６０３において示される通り、仮想視点６０４から仮想視点６０５へ移動する。なお、２本指のピンチイン操作が行われた場合は、仮想視点６０５から仮想視点６０４の方向へ移動する。すなわち、ユーザ操作により同時に指定される表示スクリーン上の座標の数が第２の数（２つ）である場合、視点制御部２０４は、その座標の変化に応じて、仮想カメラの視線方向に応じた方向に仮想カメラを移動させる。
　ピンチイン操作及びピンチアウト操作により、仮想カメラの位置は点線６０６で示すように前後に移動する。指を広げた分だけ被写体（例えば選手等のオブジェクト）が大きく表示され、指を狭めた分だけ被写体が小さく表示でき、直感的な操作が可能となる。このように、２本指のユーザ操作に応じて仮想カメラの前後移動と回転が行われるようにすることで、自由度の高い仮想カメラの制御を実現できる。なお、ピンチイン操作とピンチアウト操作に応じて仮想カメラの位置を変更する代わりに、仮想カメラのズーム値に関するパラメータを変更するようにしても良い。
　また、本実施形態では、第１の数が「１」、第２の数が「２」、第３の数が「３」である場合の例を中心に説明するが、これに限らない。例えば、第１の数が「３」、第２の数が「２」、第３の数が「１」であっても良いし、第１の数が「１」、第２の数が「２」、第３の数が「４」であっても良い。
　本実施形態の制御装置１００が行う処理の流れについて、図２と図７とを参照して説明する。図２は、本実施形態における制御装置１００の機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＯＭ１０３及び／又はＨＤＤ１０４に格納されたプログラムを読み出してＲＡＭ１０２をワークエリアとして実行することで、図２に示す制御装置１００内部の各機能ブロックの役割を果たす。なお、図２の操作部２０１及び表示部２０６は、図１の入力デバイス１０７及び出力デバイス１０９にそれぞれ対応する。また、ＣＰＵ１０１が制御装置１００内部の全ての機能ブロックの役割を果たす必要はなく、各機能ブロックに対応する専用の処理回路を設けるようにしてもよい。
　図７は本実施形態の制御装置１００で行われる処理の流れを示すフローチャートである。図７を用いて説明する各処理は、制御装置１００が備えるＣＰＵ１０１が、ＲＯＭ１０３及び／又はＨＤＤ１０４に格納されたプログラムを読み出してＲＡＭ１０２をワークエリアとして実行することで実現される。
　Ｓ７０１では、取得データ制御部２０２が、操作部２０１に対するタップ操作を検出するまで待機する。タップ操作は、短時間指で表示スクリーンをタッチする操作である。タップ操作の判定に利用される接触時間の閾値は任意の値を設定可能である。タップ操作が検出された場合、表示部２０６における現在の仮想視点映像の再生状態が一時停止状態であれば再生状態に変更する。一方、タップ操作が検出されたときに仮想視点映像の再生状態であれば、取得データ制御部２０２は、仮想視点映像の一時停止状態に変更する。このように、取得データ制御部２０２は、表示スクリーンに対するタップ操作に応じて、仮想視点映像の再生状態を変更するので、ユーザは直観的な操作で再生状態を切り替えることができる。ただし、Ｓ７０１は必須の処理ではない。
　Ｓ７０２では、視点制御部２０４が、操作部２０１に対するユーザ操作の検出結果に基づいて、仮想カメラの位置及び姿勢に関するカメラパラメータを描画部２０５へ出力する。Ｓ７０２の詳細は図８を用いて後述する。
　Ｓ７０３では、データ取得部２０３が、ＨＤＤ１０５又は外部サーバ１１１からレンダリングに必要なデータ（ポリゴンデータやテクスチャデータ）を取得し、描画部２０５に出力する。データ取得部２０３は、仮想視点映像を動画として再生している状態であれば、次の画像フレームのレンダリングに必要なデータを取得する。一方、仮想視点映像の再生が一時停止状態であれば、すでに現在再生中の画像フレームのレンダリングに必要なデータを取得する。なお、一時停止状態の場合は、改めてデータを取得しなくても良い。
　Ｓ７０４では、描画部２０５が、データ取得部２０３から取得したデータと視点制御部２０４から取得したカメラパラメータとを基に仮想視点映像を生成し、当該生成された仮想視点映像を表示部２０６に出力する。表示部２０６は描画部２０５から取得した仮想視点映像を表示する。レンダリングに関しては既存の技術を使用できるためここでは詳しく説明を行わない。カメラパラメータとは、仮想カメラの外部パラメータと内部パラメータに分類できる。仮想カメラの外部パラメータとは、仮想カメラの位置及び姿勢を表すパラメータである。また、仮想カメラの内部パラメータとは、仮想カメラの光学的な特性を表すパラメータである。外部パラメータと内部パラメータについてより具体的に説明する。仮想カメラの位置を表すベクトルをｔ，回転を表す行列をＲとすると、仮想カメラの外部パラメータは以下のように表すことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、座標系は左手座標系として記載し、仮想視点において右を＋ｘ方向、上を＋ｙ方向、前を＋ｚ方向とする。
　また、仮想視点映像の主点位置を（ｃｘ，ｃｙ）、仮想カメラの焦点距離をｆとすると、仮想カメラの内部パラメータＫは以下のように表すことができる。
Figure JPOXMLDOC01-appb-M000002
　なお、カメラパラメータの表現方法は行列以外の表現であってもかまわない。例えば、仮想カメラの位置を３次元座標で表し、仮想カメラの姿勢をｙａｗ、ｒｏｌｌ、及びｐｉｔｃｈの値の羅列によって表すようにしてもよい。また、外部パラメータと内部パラメータは上述のものに限るわけではない。例えば、仮想カメラのズーム値を表す情報が仮想カメラの内部パラメータとして取得されるようにしてもよい。このように、仮想視点映像の生成のために用いられる仮想カメラのパラメータには種々のバリエーションが存在する。以上が本実施形態の制御装置１００で行われる処理の流れである。
　＜ユーザ操作に応じた仮想カメラの制御＞
　図７のＳ７０２の処理の詳細を、図８を参照して説明する。Ｓ７０２においては、視点制御部２０４は、操作部２０１に対するユーザ操作の検出結果を取得し、仮想視点映像の描画に用いられる仮想カメラのカメラパラメータを描画部２０５に出力する。
　Ｓ８０１では、視点制御部２０４は、操作部２０１に対するユーザ操作の検出結果を取得する。ユーザ操作の検出結果には、表示スクリーン上におけるタッチされた点の数ｎ、タッチされた点の２次元スクリーン座標ｘｉ（ｉ＝１～ｎ）、及びタッチされた点の代表点の２次元スクリーン座標ｘ’が含まれるものとする。また、ユーザ操作の検出結果には、前の画像フレームにおける代表点からの移動量を表す２次元ベクトルｄ＝（ｄｘ，ｄｙ）、及び、上記代表点に基づいて特定される３次元点の位置を表す３次元ベクトルＴが含まれるものとする。ただし、必ずしも上記すべての情報を検出結果として取得しなければならないわけではない。例えば、１本指の操作が行われた場合、２次元スクリーン座標ｘｉと代表点の２次元スクリーン座標ｘ’は同じであるため何れか一方は省略可能である。
　２次元スクリーンの座標系は左上を原点とし、右を＋ｘ、下を＋ｙとする。代表点はタッチされた複数の点の２次元スクリーン座標ｘｉの重心に位置する座標とする。しかしながら、代表点は重心に限らず、２次元スクリーン座標ｘｉの平均に位置する座標であっても良いし、複数の２次元スクリーン座標ｘｉのうちの１点がランダムに選択されるようにしても良いし、最も長い時間タッチされた点が選択されるようにしても良い。
　また、３次元点は、仮想カメラの位置に応じた３次元座標を始点として仮想カメラの撮影方向へ仮想的に光線を飛ばし（レイキャスト）、被写体と衝突した点とする。この３次元点は、仮想カメラの操作において回転基点や移動の基準点として利用される。また、この３次元点は、タッチの数が前の画像フレームから変化した場合のみ決定し、変化していない場合は前の画像フレームの処理において決定済みの３次元ベクトルＴをそのまま利用する。なお、本実施形態では３次元点は３次元ベクトルＴにより表される例を説明するが、必ずしもベクトルの形式で示さなくても良い。
　Ｓ８０２では、視点制御部２０４は、操作部２０１に対するユーザ操作に応じて視点リセットを行うか否かを判定する。本実施形態では、表示スクリーン上の特定の領域（例えば視点リセットボタンが表示されている領域）がタップされた場合に、視点リセットを行うと判定される。
　Ｓ８０３では、視点制御部２０４が、仮想カメラの位置及び姿勢等をリセットする。すなわち視点制御部２０４は、表示スクリーン上の所定位置に対してユーザ操作が検出されたことに応じて、仮想視点の位置及び向きを予め定められた位置及び向きに変更する。そして、視点制御部２０４は、リセット時の仮想カメラのカメラパラメータを描画部２０５に出力する。本実施形態においてリセット時の仮想カメラの位置は［０　０　０］であり、仮想カメラの姿勢は単位行列であるものとする。しかしながら、リセット時の視点情報は上述のものに限るわけではない。例えば、予めユーザが設定した値を利用してもよいし、画像データに埋め込まれた推奨の視点情報を読出して利用しても良い。
　Ｓ８０４では、視点制御部２０４が、タッチされた点数ｎに基づいて、仮想カメラの制御方法を決定する。タッチされた指の本数に合わせて仮想カメラの制御方法を異ならせることで、より多彩な制御が実現できるようになる。タッチ点数が０点の場合、Ｓ８０５に進み、現在の仮想カメラの位置及び姿勢を描画部２０５へ出力する。
　タッチ点数が１点の場合（つまり１本指の操作が検出された場合）、Ｓ８０６に進み、視点制御部２０４は、上述の３次元点を回転中心として仮想カメラを回転させる。３次元点は、仮想カメラの位置に応じた３次元座標（例えば仮想カメラの中心座標）を始点として仮想カメラの撮影方向へ仮想的に光線を飛ばし（レイキャスト）、被写体と衝突した点とする。別の言い方をすると、３次元点とは、タッチ時に表示される仮想視点映像の中心位置に対応する３次元空間上の座標である。ただし、３次元点はこの例に限るものではない。Ｓ８０６～Ｓ８０８の詳細は後述する。
　タッチ点数が２点の場合（つまり２本指の操作が検出された場合）、Ｓ８０９に進み、視点制御部２０４は、ユーザによるスライド操作に応じて、仮想カメラの高さ方向と水平方向の両方の位置を変更する制御を行う。また、Ｓ８１１においては、視点制御部２０４は、ピンチイン操作及び／又はピンチアウト操作に応じて仮想カメラの位置を前後方向に移動させる制御を行う。Ｓ８０９～Ｓ８１２の詳細は後述する。
　タッチ点数が３点の場合（つまり３本指の操作が検出された場合）、Ｓ８１３に進み、視点制御部２０４は、仮想カメラをスライド操作に応じて並行移動させる制御を行う。Ｓ８１３及びＳ８１４の詳細は後述する。
　Ｓ８０６では、視点制御部２０４が仮想カメラを回転する際の回転中心となる３次元点の座標を決定する。視点制御部２０４は、１本指のタッチの検出に応じて、例えば、仮想カメラの中心を視点として仮想的に３次元空間へ光線を飛ばし、被写体と衝突した点を３次元点とする。３次元点は３次元ベクトルＡとして表され、回転中心として利用される。なお、１度３次元点を決定した後は、タッチ状態が継続している間は再決定しなくて良い。
　Ｓ８０７では、視点制御部２０４が代表点の移動量ｄを取得し、仮想カメラの移動量を決定する。なお１本指のユーザ操作の場合は、仮想カメラの移動方向は、３次元点を中心とする回転方向のみである。また、１本指のユーザ操作の場合、仮想カメラは垂直方向には移動せず、水平方向のみ移動する。このようにすることで、スライド操作における手ぶれの影響を受けにくく、仮想カメラの移動をスムーズに行うことができる。なお、本実施形態の視点制御部２０４は、代表点の移動量ｄｘにスケール係数ｓを乗算することで仮想カメラの移動量（水平方向の回転量θ）を決定する。表示スクリーンの解像度を幅ｗ画素とし、表示スクリーンの端から端までスライド操作した時の回転量を３６０度とすると移動量ｄｘから回転量θ［ｄｅｇｒｅｅ］を決定するためのスケールｓは以下の式で表せる。
Figure JPOXMLDOC01-appb-M000003
　このスケール係数を用いて仮想カメラの回転量は以下の式で表せる。
Figure JPOXMLDOC01-appb-M000004
　なお本実施形態では指１本のユーザ操作に基づく仮想カメラの移動方向は水平方向のみとする例を中心に説明するが、垂直方向のみの移動として良い。また、ユーザ操作の内容に応じて、水平方向のみの移動にするか、垂直方向のみの移動にするかが決定されるようにしても良い。具体的には、タッチが検出されてから所定数の画像フレームのスライド操作の方向に応じて移動方向を決定してもよい。例えば、所定数の画像フレームにおけるスライド操作によるｘ方向とｙ方向の移動量を比較し、ｘ方向の移動量が大きければ水平方向のみの移動とし、ｙ方向の移動量が大きければ垂直方向のみの移動としても良い。また、スケール係数ｓの決定方法は上述のものに限らない。例えばユーザが任意の値を指定するようにしても良いし、複数の選択肢の中からユーザが任意に選択できるようにしても良い。
　Ｓ８０８では、視点制御部２０４がユーザのスライド操作に応じた仮想カメラの位置及び姿勢の決定を行い、その結果を描画部２０５に出力する。仮想カメラの位置Ｒｎ－１及び姿勢ｔｎ－１を、座標Ａを中心に水平方向にθだけ回転した場合の仮想カメラの位置Ｒｎ及び姿勢ｔｎは以下の式で表すことができる。
Figure JPOXMLDOC01-appb-M000005
　ただし、Ｒ（θ、φ）は水平方向にθ、垂直方向にφだけ回転する回転行列である。また、回転させた現在の仮想カメラの位置及び姿勢を求める式はこれに限らない。
　Ｓ８０９では、視点制御部２０４が代表点の移動量ｄを取得し、仮想カメラの移動量を決定する。なお２本指のユーザ操作の場合は、自由度の高い制御を実現するため、Ｓ８０７とは異なり、３次元点を中心として、水平方向と垂直方向の両方向に仮想カメラの回転させることができる。水平方向の回転量θとスケールｓはＳ８０７と同様にして求める。垂直方向の回転量φは、以下の式で表すことができる。
φ＝ｓ×ｄｙ
　Ｓ８１０では、視点制御部２０４がユーザのスライド操作に応じた仮想カメラの位置及び姿勢の決定を行い、その結果を描画部２０５に出力する。仮想カメラの位置Ｒｎ－１及び姿勢ｔｎ－１を、３次元点Ｔを中心に水平方向にθだけ回転し、垂直方向にφだけ回転した場合の仮想カメラの位置Ｒｎ、姿勢ｔ’ｎは以下の式で表すことができる。
Figure JPOXMLDOC01-appb-M000006
　ただし、３次元点Ｔを中心に回転させた場合の仮想カメラの位置及び姿勢を求める式はこれに限らない。例えば、所定の係数等を用いることで、指の移動量に対する仮想カメラの移動量を大きくすることも可能であるし、逆に、指の移動量に対する仮想カメラの移動量を小さくすることも可能である。
　Ｓ８１１では、視点制御部２０４がユーザのピンチイン操作、及びピンチアウト操作に応じた仮想カメラの前後方向の移動量の決定を行う。現在の画像フレームが表示されているときの２本指の距離をｄｎとし、直前の画像フレームが表示されているときの２本指の距離をｄｎ－１とすると、その変化量ΔｄはΔｄ＝ｄｎ－ｄｎ－１である。その変化量に比例して仮想カメラを前後に移動する。移動の敏感度をｍとすると、仮想カメラの移動量ΔｚはΔｚ＝ｍ×Δｄで表すことができる。つまり、ピンチイン操作、及びピンチアウト操作による単位時間当たりの指の移動量に応じて、仮想カメラの移動量が決定される。なお、移動量を決定する方法は上述の方法に限らない。例えば、仮想カメラから３次元点Ｔまでの距離に基づいて表示スクリーン上での指の移動量に合うように３次元空間上での移動量が決定されるようにしても良い。
　Ｓ８１２では、視点制御部２０４がユーザのピンチイン操作、及びピンチアウト操作に応じた仮想カメラの位置の決定を行い、その結果を描画部２０５に出力する。前後方向にΔｚだけ移動した仮想カメラの位置は以下の式で表される。
Figure JPOXMLDOC01-appb-M000007
　Ｓ８１３では、視点制御部２０４がユーザのスライド操作に応じた仮想カメラの上下左右方向の移動量の決定を行う。本実施形態では、表示スクリーン上における指の移動量と等しい距離だけ３次元点が表示スクリーン上で移動するように移動量が決定される。つまり、あるオブジェクト（例えばサッカー選手）の表示位置に３本指でタッチして、その３本指を表示スクリーン上でスライド移動させると、そのオブジェクトの表示位置と３本指の位置関係が変化しないように、仮想カメラの位置が変化する。移動量Δｘ，Δｙは、仮想カメラからタッチした３次元点までの距離をｒとすると以下の式で表すことができる。
Figure JPOXMLDOC01-appb-M000008
　Ｓ８１４では、視点制御部２０４がユーザのスライド操作に応じた仮想カメラの位置及び姿勢の決定を行い、その結果を描画部２０５に出力する。左右方向にΔｘ、上下方向にΔｙだけ移動した場合の仮想カメラの位置及び姿勢は以下の式で表される。
Figure JPOXMLDOC01-appb-M000009
　なお、指の本数と処理の内容の対応関係は、上述に示した例に限らない。例えば、指１本のスライド操作と指３本のスライド操作による仮想カメラの位置及び姿勢の制御は入れ替えることも可能である。つまり、指１本のスライド操作に基づいて仮想カメラを上下左右に平行移動させ、指３本のスライド操作に基づいて３次元点を中心とする仮想カメラの回転移動を実行するようにしても良い。また、指の本数と制御方法の関係を、ユーザが任意に設定できるようにしても良い。このようにすれば、ユーザのスキルや、仮想視点映像の表示環境等によりマッチした操作機能を提供できるようになる。また、本実施形態では、タッチ点数が０点の場合の処理（Ｓ８０５）、１点の場合の処理（Ｓ８０６～Ｓ８０８）、２点の場合の処理（Ｓ８０９～Ｓ８１２）、３点の場合の処理（Ｓ８１３、Ｓ８１４）をすべて行う倍の例を中心に説明した。しかしこの例に限らない。例えば、タッチ点数が２点の場合の処理（Ｓ８０９～Ｓ８１２）と、３点の場合の処理（Ｓ８１３、Ｓ８１４）のみを実行するようにしても良いし、タッチ点数が１点の場合の処理（Ｓ８０６～Ｓ８０８）のみを実行するようにしても良い。また、事前のユーザ設定に応じて、どの処理を有効にするかが切り替わるようにしても良い。
　以上説明した通り、本実施形態の制御装置１００は、仮想視点映像を表示するための表示面（表示スクリーン）に対するユーザ操作に応じて、仮想視点の位置及び向きのうち少なくとも何れか一方を制御する。このような構成によれば、ユーザは、従来よりも簡易に仮想視点に関する制御を行うことができるようになる。また、本実施形態の制御装置１００は、表示面から検出された指の本数（ユーザ操作により同時に指定される座標の数）に応じて、ユーザ操作に応じた仮想視点の制御方法を切り替える。このような構成を採用することにより、ユーザは、その意図に応じた仮想視点の制御を、より直観的な操作で行うことができるようになる。言い換えれば、本実施形態の制御装置１００によれば、よりユーザの意図に沿った仮想視点映像を生成することができるようになるという効果がある。
　＜その他の実施形態＞
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１７年９月１９日提出の日本国特許出願特願２０１７－１７９５８１を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (17)

  1. 　複数のカメラが所定の撮影対象領域を異なる方向から撮影することで得られる画像データを用いて生成される仮想視点映像に係る仮想視点の位置及び向きを制御する制御装置であって、
    　前記仮想視点映像を表示するための表示面に対するタッチ操作を検出する検出手段と、
    　前記検出手段が検出するタッチ操作により同時に指定される座標の数と、当該座標の変化量とに基づいて、前記仮想視点の位置及び向きのうち少なくともいずれかの変更量を決定する決定手段と、
    　前記決定手段により決定された変更量に従って、前記仮想視点の位置及び向きのうち少なくとも何れか一方を制御する制御手段とを有することを特徴とする制御装置。
  2. 　前記タッチ操作により同時に指定される前記表示面上の座標の数が第１の数である場合、前記制御手段は、前記第１の数の座標の移動に応じて、前記仮想視点が所定の注目座標を中心に旋回するように前記仮想視点の位置及び向きを制御することを特徴とする請求項１に記載の制御装置。
  3. 　前記所定の注目座標は、前記タッチ操作により前記表示面上の座標が指定されたときに前記表示面上に表示される仮想視点映像の中心位置に基づいて決定される座標であることを特徴とする請求項２に記載の制御装置。
  4. 　前記タッチ操作により同時に指定される前記表示面上の座標の数が第１の数である場合、前記制御手段は、前記第１の数の座標の移動に応じて、前記仮想視点が所定の注目座標を注目したまま前記仮想視点の位置及び向きが変化するように制御することを特徴とする請求項１に記載の制御装置。
  5. 　前記タッチ操作により同時に指定される前記表示面上の座標の数が第１の数である場合、前記制御手段は、前記第１の数の座標の移動に応じて、前記仮想視点の位置を第１方向に変更し且つ第２方向には変更せず、
    　前記タッチ操作により同時に指定される前記表示面上の座標の数が第２の数である場合、前記制御手段は、前記第２の数の座標の移動に応じて、前記仮想視点の位置を第１方向及び第２方向に変更することを特徴とする請求項１乃至４のうち、何れか１項に記載の制御装置。
  6. 　前記所定の注目座標は、前記タッチ操作により指定される前記第２の数の座標のうち、少なくとも１つに基づいて決定されることを特徴とする請求項５に記載の制御装置。
  7. 　前記タッチ操作により同時に指定される前記表示面上の座標の数が第３の数である場合、前記制御手段は、前記第３の数の座標の変化に応じて、前記仮想視点が３次元空間内において直線的に移動するように、前記仮想視点の位置を制御することを特徴とする請求項１乃至６のうち、何れか１項に記載の制御装置。
  8. 　前記タッチ操作により同時に指定される前記表示面上の座標の数が第３の数である場合、前記制御手段は、前記第３の数の座標の変化に応じて、前記仮想視点の位置を変更し、且つ、前記仮想視点の向きを変更しないことを特徴とする請求項１乃至６のうち、何れか１項に記載の制御装置。
  9. 　前記タッチ操作により同時に指定される前記表示面上の座標の数が第２の数である場合、前記制御手段は、前記第２の数の座標の変化に応じて、前記第２の数の座標の指定前における前記仮想視点の向きに応じた方向に前記仮想視点を移動させることを特徴とする請求項１乃至８のうち、何れか１項に記載の制御装置。
  10. 　前記表示面における仮想視点映像の再生が一時停止状態になっている間に前記検出手段により前記表示面に対する所定のタッチ操作が検出された場合、前記制御手段は、前記一時停止状態から再生状態に変更することを特徴とする請求項１乃至９のうち、何れか１項に記載の制御装置。
  11. 　前記表示面上の所定位置に対してタッチ操作が検出されたことに応じて、前記制御手段は、前記仮想視点の位置及び向きを予め定められた位置及び向きに変更することを特徴とする請求項１乃至１０のうち、何れか１項に記載の制御装置。
  12. 　前記所定の撮影対象領域には、１以上のオブジェクトが存在することを特徴とする請求項１乃至１１のうち、何れか１項に記載の制御装置。
  13. 　前記オブジェクトの少なくとも１つはスポーツ選手であることを特徴とする請求項１２に記載の制御装置。
  14. 　複数のカメラが所定の撮影対象領域を異なる方向から撮影することで得られる画像データを用いて生成される仮想視点映像に係る仮想視点の位置及び向きを制御するための制御方法であって、
    　前記仮想視点映像を表示するための表示面に対するタッチ操作を検出し、
    　前記検出されるタッチ操作により同時に指定される座標の数と、当該座標の変化量とに基づいて、前記仮想視点の位置及び向きのうち少なくともいずれかの変更量を決定し、
    　前記決定された変更量に従って、前記仮想視点の位置及び向きのうち少なくとも何れか一方を制御することを特徴とする制御方法。
  15. 　前記タッチ操作により同時に指定される前記表示面上の座標の数が第１の数である場合、前記第１の数の座標の移動に応じて、前記仮想視点が所定の注目座標を中心に旋回するように制御されることを特徴とする請求項１４に記載の制御方法。
  16. 　前記タッチ操作により同時に指定される前記表示面上の座標の数が第１の数である場合、前記第１の数の座標の移動に応じて、前記仮想視点の位置が第１方向に変更され且つ第２方向には変更されず、
    　前記タッチ操作により同時に指定される前記表示面上の座標の数が第２の数である場合、前記第２の数の座標の移動に応じて、前記仮想視点の位置が第１方向及び第２方向に変更されることを特徴とする請求項１４又は１５に記載の制御装置。
  17. 　コンピュータを請求項１乃至１３のうち、何れか１項に記載の制御装置の各手段として動作させるためのプログラム。
PCT/JP2018/033398 2017-09-19 2018-09-10 制御装置、制御方法、及びプログラム WO2019059020A1 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CA3072999A CA3072999C (en) 2017-09-19 2018-09-10 Control apparatus, control method, and program
RU2019130044A RU2720356C1 (ru) 2017-09-19 2018-09-10 Устройство управления, способ управления и носитель хранения
BR112019019526A BR112019019526A2 (pt) 2017-09-19 2018-09-10 aparelho de controle, método de controle, e meio de armazenamento
KR1020217000259A KR20210006005A (ko) 2017-09-19 2018-09-10 제어 장치, 제어 방법 및 컴퓨터 프로그램
CN201880037599.2A CN110720086A (zh) 2017-09-19 2018-09-10 控制设备、控制方法和程序
KR1020197033018A KR20200002025A (ko) 2017-09-19 2018-09-10 제어 장치, 제어 방법 및 저장 매체
EP18857883.5A EP3605295A4 (en) 2017-09-19 2018-09-10 CONTROL DEVICE, CONTROL METHOD AND PROGRAM
AU2018336341A AU2018336341B2 (en) 2017-09-19 2018-09-10 Control device, control method and program
US16/576,540 US11003350B2 (en) 2017-09-19 2019-09-19 Control apparatus, control method, and storage medium
US17/230,344 US11586349B2 (en) 2017-09-19 2021-04-14 Control apparatus, control method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017179581A JP6419278B1 (ja) 2017-09-19 2017-09-19 制御装置、制御方法、及びプログラム
JP2017-179581 2017-09-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/576,540 Continuation US11003350B2 (en) 2017-09-19 2019-09-19 Control apparatus, control method, and storage medium

Publications (1)

Publication Number Publication Date
WO2019059020A1 true WO2019059020A1 (ja) 2019-03-28

Family

ID=64098693

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/033398 WO2019059020A1 (ja) 2017-09-19 2018-09-10 制御装置、制御方法、及びプログラム

Country Status (10)

Country Link
US (2) US11003350B2 (ja)
EP (1) EP3605295A4 (ja)
JP (1) JP6419278B1 (ja)
KR (2) KR20200002025A (ja)
CN (1) CN110720086A (ja)
AU (1) AU2018336341B2 (ja)
BR (1) BR112019019526A2 (ja)
CA (1) CA3072999C (ja)
RU (1) RU2720356C1 (ja)
WO (1) WO2019059020A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003350B2 (en) 2017-09-19 2021-05-11 Canon Kabushiki Kaisha Control apparatus, control method, and storage medium
EP4075392A4 (en) * 2019-12-10 2023-02-22 Sony Group Corporation INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND PROGRAM

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US10712836B2 (en) * 2016-10-04 2020-07-14 Hewlett-Packard Development Company, L.P. Three-dimensional input device
JP7174397B2 (ja) * 2018-06-18 2022-11-17 チームラボ株式会社 映像表示システム，映像表示方法，及びコンピュータプログラム
CN111669569A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 一种视频生成方法及装置、介质、终端
CN111669518A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角交互方法及装置、介质、终端、设备
JP7335335B2 (ja) 2019-06-28 2023-08-29 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
WO2021232329A1 (en) * 2020-05-21 2021-11-25 Intel Corporation Virtual camera friendly optical tracking
EP4300950A1 (en) * 2021-02-25 2024-01-03 Sony Group Corporation Information processing device, information processing method, program, and display system
KR102435789B1 (ko) * 2021-12-16 2022-08-24 주식회사 카펜스트리트 3차원 객체 영상을 처리하기 위한 기법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014127735A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 表示制御装置、表示制御システム、表示制御方法及びプログラム
JP2014215828A (ja) * 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
JP2015076062A (ja) * 2013-10-11 2015-04-20 富士通テン株式会社 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP2015187797A (ja) 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
JP2016096449A (ja) * 2014-11-14 2016-05-26 富士通テン株式会社 画像表示装置、明るさ変更方法、及び、プログラム
JP2017179581A (ja) 2016-03-24 2017-10-05 Ntn株式会社 焼結拡散接合部品およびその製造方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59124800A (ja) 1982-12-30 1984-07-18 アルプス電気株式会社 ステイツクマガジン供給装置
JP2004005272A (ja) * 2002-05-31 2004-01-08 Cad Center:Kk 仮想空間移動制御装置及び制御方法並びに制御プログラム
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
RU2406150C2 (ru) * 2005-09-15 2010-12-10 Олег Станиславович Рурин Способ и система для визуализации виртуальных трехмерных объектов
JP4640456B2 (ja) * 2008-06-25 2011-03-02 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
KR101665034B1 (ko) * 2008-08-22 2016-10-24 구글 인코포레이티드 이동 장치 상의 삼차원 환경에서의 네비게이션
KR101531363B1 (ko) * 2008-12-10 2015-07-06 삼성전자주식회사 이차원 인터랙티브 디스플레이에서 가상 객체 또는 시점을 제어하는 방법
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
JP6074894B2 (ja) 2012-02-24 2017-02-08 株式会社ニコン 情報表示装置
US9311750B2 (en) * 2012-06-05 2016-04-12 Apple Inc. Rotation operations in a mapping application
US9367959B2 (en) * 2012-06-05 2016-06-14 Apple Inc. Mapping application with 3D presentation
JP6271858B2 (ja) * 2012-07-04 2018-01-31 キヤノン株式会社 表示装置及びその制御方法
KR20150034255A (ko) * 2012-07-15 2015-04-02 애플 인크. 3d 상호작용을 위한 멀티터치 제스처 인식의 명확화
CN103634584B (zh) * 2012-08-29 2015-10-21 广州市朗辰电子科技有限公司 一种多视点3d视频合成方法
US20150040073A1 (en) * 2012-09-24 2015-02-05 Google Inc. Zoom, Rotate, and Translate or Pan In A Single Gesture
JP2014238731A (ja) * 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理システム、および画像処理方法
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US10176625B2 (en) 2014-09-25 2019-01-08 Faro Technologies, Inc. Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
US20160140733A1 (en) 2014-11-13 2016-05-19 Futurewei Technologies, Inc. Method and systems for multi-view high-speed motion capture
KR101835434B1 (ko) 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
CN107851334A (zh) * 2015-08-06 2018-03-27 索尼互动娱乐股份有限公司 信息处理装置
KR20170079198A (ko) 2015-12-30 2017-07-10 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
JP6074525B1 (ja) * 2016-02-12 2017-02-01 株式会社コロプラ 仮想空間における視界領域調整方法、およびプログラム
US10824320B2 (en) * 2016-03-07 2020-11-03 Facebook, Inc. Systems and methods for presenting content
JP6419278B1 (ja) 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014127735A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 表示制御装置、表示制御システム、表示制御方法及びプログラム
JP2014215828A (ja) * 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
JP2015076062A (ja) * 2013-10-11 2015-04-20 富士通テン株式会社 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP2015187797A (ja) 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
JP2016096449A (ja) * 2014-11-14 2016-05-26 富士通テン株式会社 画像表示装置、明るさ変更方法、及び、プログラム
JP2017179581A (ja) 2016-03-24 2017-10-05 Ntn株式会社 焼結拡散接合部品およびその製造方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ENKHBAYAR, MUNGUNBAT ET AL.: "Study on 3D Space navigation Methods for Tablets", PROCEEDINGS OF THE 17TH ANNUAL CONFERENCE OF THE VIRTUAL REALITY SOCIETY OF JAPAN, 14 September 2012 (2012-09-14), pages 37 - 38, XP009517848, ISSN: 1349-5062 *
KASHIWAKUMA, JUNYA ET AL.: "A 3D Free-Viewpoint Video Browsing Interface with Multi-Touch Manipulation", PROCEEDINGS OF THE 16TH ANNUAL CONFERENCE OF THE VIRTUAL REALITY SOCIETY OF JAPAN, vol. 16, 20 September 2011 (2011-09-20), pages 674 - 677, XP009517083, ISSN: 1349-5062 *
See also references of EP3605295A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003350B2 (en) 2017-09-19 2021-05-11 Canon Kabushiki Kaisha Control apparatus, control method, and storage medium
EP4075392A4 (en) * 2019-12-10 2023-02-22 Sony Group Corporation INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND PROGRAM

Also Published As

Publication number Publication date
CA3072999A1 (en) 2019-03-28
EP3605295A4 (en) 2020-05-13
KR20200002025A (ko) 2020-01-07
US11003350B2 (en) 2021-05-11
EP3605295A1 (en) 2020-02-05
AU2018336341B2 (en) 2020-05-07
KR20210006005A (ko) 2021-01-15
JP2019056978A (ja) 2019-04-11
US20210232307A1 (en) 2021-07-29
BR112019019526A2 (pt) 2020-04-22
JP6419278B1 (ja) 2018-11-07
US20200012421A1 (en) 2020-01-09
CN110720086A (zh) 2020-01-21
AU2018336341A1 (en) 2019-10-10
CA3072999C (en) 2021-08-31
US11586349B2 (en) 2023-02-21
RU2720356C1 (ru) 2020-04-29

Similar Documents

Publication Publication Date Title
WO2019059020A1 (ja) 制御装置、制御方法、及びプログラム
US10948993B2 (en) Picture-taking within virtual reality
US9690388B2 (en) Identification of a gesture
JP6632681B2 (ja) 制御装置、制御方法、及びプログラム
JP7267753B2 (ja) 制御装置、制御方法、及びプログラム
US20210390721A1 (en) Display control apparatus, display control method, and storage medium
US9275275B2 (en) Object tracking in a video stream
US20200329227A1 (en) Information processing apparatus, information processing method and storage medium
EP3702008A1 (en) Displaying a viewport of a virtual space
JP7434385B2 (ja) 制御装置、制御方法、及びプログラム
US20240203012A1 (en) Electronic device for generating three-dimensional photo based on images acquired from plurality of cameras, and method therefor
US11036287B2 (en) Electronic device, control method for electronic device, and non-transitory computer readable medium
JP2023161493A (ja) 表示システム、表示方法、及び表示プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18857883

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112019019526

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 2018336341

Country of ref document: AU

Date of ref document: 20180910

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018857883

Country of ref document: EP

Effective date: 20191028

ENP Entry into the national phase

Ref document number: 20197033018

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3072999

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 112019019526

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20190919