WO2021215246A1 - 画像処理装置、画像処理方法、および、プログラム - Google Patents

画像処理装置、画像処理方法、および、プログラム Download PDF

Info

Publication number
WO2021215246A1
WO2021215246A1 PCT/JP2021/014705 JP2021014705W WO2021215246A1 WO 2021215246 A1 WO2021215246 A1 WO 2021215246A1 JP 2021014705 W JP2021014705 W JP 2021014705W WO 2021215246 A1 WO2021215246 A1 WO 2021215246A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
obstacle
virtual
space
virtual camera
Prior art date
Application number
PCT/JP2021/014705
Other languages
English (en)
French (fr)
Inventor
嵩明 加藤
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/908,771 priority Critical patent/US20230130815A1/en
Priority to CN202180017228.XA priority patent/CN115176286A/zh
Priority to JP2022516945A priority patent/JPWO2021215246A1/ja
Publication of WO2021215246A1 publication Critical patent/WO2021215246A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/573—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using trajectories of game objects, e.g. of a golf ball according to the point of impact
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present technology relates to an image processing device, an image processing method, and a program, and in particular, an image processing device, an image processing method, and a program capable of detecting an obstacle in a virtual space that does not exist in the real space. Regarding.
  • the cameraman shoots a three-dimensional object that does not exist in the real space. Therefore, for example, the cameraman in the real space moves to a place where a wall exists and cannot move in the virtual space. It is possible that the situation will end.
  • This technology was made in view of such a situation, and makes it possible to detect obstacles in a virtual space that does not exist in the real space.
  • the image processing device of one aspect of the present technology is a virtual space in a virtual space associated with the real space, which is specified based on device position / orientation information indicating the position and orientation of the photographing device for photographing the virtual space in the real space.
  • a detection unit that detects an obstacle in the virtual space with respect to the virtual camera is provided based on the camera position / posture information indicating the position and posture of the camera.
  • the image processing method of one aspect of the present technology is associated with the real space in which the image processing device is specified based on the device position / orientation information indicating the position and orientation of the photographing device for photographing the virtual space in the real space. Based on the camera position / orientation information indicating the position and orientation of the virtual camera in the virtual space, an obstacle in the virtual space with respect to the virtual camera is detected.
  • the program of one aspect of the present technology is specified in the virtual space associated with the real space, which is specified by the computer based on the device position / orientation information indicating the position and orientation of the photographing device for photographing the virtual space in the real space. This is for executing a process of detecting an obstacle in the virtual space with respect to the virtual camera based on the camera position / posture information indicating the position and posture of the virtual camera.
  • the position of the virtual camera in the virtual space associated with the real space is specified based on the device position / orientation information indicating the position and orientation of the photographing device for photographing the virtual space in the real space. And, based on the camera position / posture information indicating the posture, an obstacle in the virtual space with respect to the virtual camera is detected.
  • the image processing device of one aspect of the present technology can be realized by causing a computer to execute a program.
  • the program to be executed by the computer can be provided by transmitting via a transmission medium or by recording on a recording medium.
  • the image processing device may be an independent device or an internal block constituting one device.
  • the cameraman OP actually operates the shooting device VC to shoot the three-dimensional object OBJ in the virtual space VS.
  • a person OBJ1 and a bookshelf OBJ2 are arranged as three-dimensional object OBJs in the virtual space VS.
  • the three-dimensional object OBJ including the person OBJ1 and the bookshelf OBJ2 is constructed by 3D model data in which each object is represented by a 3D model.
  • the person OBJ1 is a subject of interest that the cameraman OP pays attention to in the virtual space VS
  • the bookshelf OBJ2 is a surrounding subject other than the subject of interest, which is a background image of the person OBJ1.
  • a shooting device (not shown) shoots a plurality of marker MKs mounted on the shooting device VC.
  • the position and orientation of the imaging device VC are detected.
  • the shooting range of the shooting device VC is calculated according to the position and orientation of the shooting device VC, and the two-dimensional image obtained by rendering the three-dimensional object OBJ on the virtual space VS corresponding to the shooting range of the shooting device VC is shot. It is displayed on the display 21 of the device VC.
  • the movement of the photographing device VC actually operated by the cameraman OP is captured as the movement of the virtual camera, and a two-dimensional image of the three-dimensional object OBJ viewed from the virtual camera is displayed on the display 21.
  • the cameraman OP determines the angle and the like of the subject of interest while checking the two-dimensional image of the three-dimensional object OBJ displayed on the display 21 and shoots.
  • the cameraman OP can operate the operation switch 22 provided on the photographing device VC to perform zoom operation, white balance (WB) adjustment, exposure adjustment, and the like.
  • WB white balance
  • a in FIG. 3 is a top view of the state in which the cameraman OP in FIG. 1 is shooting the virtual space VS from above.
  • the cameraman OP in the real space RS moved from the state of shooting the person OBJ1 who is the subject of interest in the position POS1 on the virtual space VS to the position POS2 on the virtual space VS using the shooting device VC. do. It is assumed that the position of the cameraman OP and the position of the shooting device VC are the same.
  • the cameraman OP can easily move from the position POS1 to the position POS2 on the virtual space VS.
  • the two-dimensional image displayed on the display 21 based on the position and orientation of the photographing device VC is as shown in B of FIG.
  • the image is not the person OBJ1 that you originally wanted to shoot, but the wall WA.
  • the rendered image of the virtual space VS based on the position and orientation of the photographing device VC, which is generated as an image photographed by the photographing device VC is also referred to as a VC image.
  • the image processing system of the present technology (image processing system 1 in FIG. 5) described below is a system incorporating a technology for preventing such shooting failures.
  • the example of the wall WA will be described as an obstacle that the cameraman OP cannot originally pass through or move in the virtual space VS according to the example of FIG. 3, but the obstacle is not limited to the wall. ..
  • FIG. 4 shows an example of processing (function) provided in the image processing system 1 of FIG. 5 in order to avoid a shooting failure as described in FIG.
  • the image processing system 1 can arbitrarily select and execute the three avoidance modes A to C in FIG.
  • a in FIG. 4 shows an example of the first avoidance process provided by the image processing system 1 as the first avoidance mode.
  • the image processing system 1 collides with the cameraman OP when it is predicted from the position POS1 of the cameraman OP on the real space RS that it collides with an obstacle in the virtual space VS. Notify by any means that there is a possibility of doing so.
  • various methods such as displaying a message on the display 21, outputting a sound such as an alarm sound, and vibrating the photographing device VC can be considered.
  • the cameraman OP can take evasive action so as not to hit the wall WA by the alert notification from the image processing system 1.
  • FIG. 4 shows an example of the second avoidance process provided by the image processing system 1 as the second avoidance mode.
  • the image processing system 1 interferes with the wall WA when the position of the cameraman OP on the real space RS moves from the position POS1 in the virtual space VS to the position POS2 outside the wall WA. Assuming that there is no such thing, a transparency process is performed to temporarily make the wall WA transparent. This makes it possible to take a picture of the person OBJ1 at the end of the wall WA.
  • C in FIG. 4 shows an example of a third avoidance process provided by the image processing system 1 as a third avoidance mode.
  • the image processing system 1 sets the image processing system 1 in the real space RS. Change the movement amount of the virtual camera in the virtual space VS corresponding to the movement amount of the cameraman OP. That is, in the image processing system 1, in the real space RS, the cameraman OP moves from the position POS1 to the position POS2, but in the virtual space VS, the cameraman OP moves to the position POS3 inside the wall WA. Change the ratio of the amount of movement between the space RS and the virtual space VS. As a result, the position of the virtual camera is inside the wall WA, so that the person OBJ1 can be photographed.
  • FIG. 5 is a block diagram showing a configuration example of an image processing system to which the present technology is applied, which is an image processing system that performs the first to third avoidance processes described above.
  • the image processing system 1 of FIG. 5 is composed of a photographing device VC, two photographing devices 11 (11-1, 11-2), a device position estimation device 12, and an image processing device 13.
  • the photographing device VC is a device that photographs the virtual space VS shown in FIG. 1 and the like, and has a marker MK, a display 21 with a touch panel, an operation switch 22, and a communication unit 23.
  • a plurality of marker MKs are provided in the photographing device VC and are targeted for photographing by the two photographing devices 11.
  • the marker MK is provided for detecting the position and orientation of the photographing device VC in the real space RS.
  • the display 21 with a touch panel is composed of an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display on which a touch panel is superimposed, detects a touch operation on the screen of the photographer OP, and displays a 3D object on the virtual space VS. A predetermined image such as a rendered two-dimensional image is displayed.
  • the display 21 is a display with a touch panel, and hereinafter, the display 21 with a touch panel is simply referred to as a display 21.
  • FIG. 6 shows an example of a screen displayed on the display 21 of the shooting device VC while the cameraman OP is shooting the virtual space VS.
  • the screen 41 of FIG. 6 includes a rendered image display unit 42, a top surface display unit 43, an avoidance mode on / off button 44, and an avoidance mode switching button 45.
  • the rendered image display unit 42 displays a two-dimensional image (VC image) obtained by shooting the virtual space VS by the shooting device VC as a virtual camera according to the position and orientation of the shooting device VC.
  • VC image two-dimensional image
  • the top surface display unit 43 displays a top surface image corresponding to the top view of the virtual space VS viewed from above.
  • the top image also shows the position of the cameraman OP in the real space RS in the virtual space VS and the shooting direction of the shooting device VC.
  • the avoidance mode on / off button 44 is a button for switching between enabling and disabling the first to third avoidance modes described above.
  • the avoidance mode switching button 45 is a button for switching the first to third avoidance modes described above.
  • the avoidance mode switching button 45 switches in the order of the first avoidance mode, the second avoidance mode, and the third avoidance mode each time the button is touched, for example.
  • the avoidance mode switching button 45 functions as a selection unit for selecting an obstacle avoidance method.
  • the cameraman OP who is a user of the shooting device VC, can switch the avoidance mode on / off by touching the avoidance mode on / off button 44, and touches the avoidance mode switching button 45 to perform the first to third avoidance. You can switch modes.
  • the avoidance mode on / off button 44 and the avoidance mode switching button 45 may be provided on the photographing device VC as hardware buttons instead of on the screen.
  • the operation switch 22 is composed of various hardware switches such as an operation button, a direction indicator key, a joystick, a handle, a pedal or a lever, and generates an operation signal corresponding to the operation of the photographer OP. Then, it is supplied to the image processing device 13 via the communication unit 23.
  • the operation switch 22 is a switch capable of performing image adjustment such as zoom operation, white balance (WB) adjustment, and exposure adjustment.
  • the communication unit 23 is composed of a communication interface for performing wired communication such as LAN (Local Area Network) and HDMI (registered trademark) or wireless communication such as wireless LAN and Bluetooth (registered trademark), and includes an image processing device 13 and an image processing device 13. Send and receive predetermined data.
  • the communication unit 23 receives the image data of the two-dimensional image obtained by rendering the 3D object supplied from the image processing device 13 and supplies the image data to the display 21. Further, for example, the communication unit 23 transmits an operation signal corresponding to the on / off operation of the avoidance mode, the switching operation of the first to third avoidance modes, and the adjustment operation operated by the operation switch 22 to the image processing device 13. ..
  • the photographing device VC is provided with an operation unit that performs image adjustment similar to that of an actual photographing device, and the image to be adjusted is a rendered image displayed on the display 21.
  • Each of the two photographing devices 11 (11-1, 11-2) is arranged at a different position in the real space RS, and photographs the real space RS from different directions.
  • the photographing device 11 supplies the photographed image obtained as a result of photographing to the device position estimation device 12.
  • the captured image captured by the photographing device 11 includes, for example, a plurality of marker MKs of the photographing device VC.
  • the image processing system 1 is configured to include two photographing devices 11, but the number of photographing devices 11 may be one or three or more.
  • the photographing device 11 may have a distance measuring function for measuring the distance to the subject in addition to the photographing function, or may be provided with a distance measuring device different from the photographing device 11.
  • the device position estimation device 12 is a device that tracks the marker MK of the photographing device VC and estimates the position and orientation of the photographing device VC.
  • the device position estimation device 12 recognizes the marker MK included in the captured images supplied from each of the two photographing devices 11, and detects the position and orientation of the photographing device VC from the position of the marker MK.
  • the device position estimation device 12 supplies the device position / orientation information indicating the position and orientation of the detected photographing device VC to the image processing device 13.
  • the image processing device 13 includes an avoidance mode selection control unit 31, an obstacle detection unit 32, a virtual camera position control unit 33, an image generation unit 34, a camera log recording unit 35, a storage unit 36, and a communication unit 37. Will be done.
  • the avoidance mode selection control unit 31 relates to the enable / disable of the avoidance mode and the first to third avoidance modes set by the cameraman OP by operating the avoidance mode on / off button 44 and the avoidance mode switching button 45 of the shooting device VC.
  • Information is acquired via the communication unit 37, and each unit of the image processing device 13 is controlled according to the acquired avoidance mode setting information.
  • the avoidance mode selection control unit 31 controls each part of the image processing device 13 so as not to execute the avoidance process when the avoidance mode is set to invalid.
  • the avoidance mode selection control unit 31 causes the image generation unit 34 to generate an alert screen according to the obstacle detection result.
  • the avoidance mode selection control unit 31 when the avoidance mode is effective and the second avoidance mode is selected, the avoidance mode selection control unit 31 generates an image of a VC image in which the obstacle is transparently processed according to the detection result of the obstacle. It is generated in the part 34.
  • the avoidance mode selection control unit 31 tells the virtual camera position control unit 33 in the real space RS according to the obstacle detection result. Change the position of the virtual camera corresponding to the position of the shooting device VC.
  • the obstacle detection unit 32 is supplied with camera position / orientation information indicating the position and orientation of the virtual camera from the virtual camera position control unit 33, and the position of the three-dimensional object OBJ of the virtual space VS is supplied from the image generation unit 34. Position information indicating is supplied.
  • the obstacle detection unit 32 detects obstacles in the virtual space VS with respect to the virtual camera based on the position and orientation of the virtual camera and the position of the three-dimensional object OBJ of the virtual space VS. The specific method of obstacle detection will be described later with reference to FIGS. 9 and 10.
  • the obstacle detection unit 32 supplies information indicating that the obstacle has been detected to the virtual camera position control unit 33 or the image generation unit 34 according to the avoidance mode.
  • the obstacle detection unit 32 Under the control of the avoidance mode selection control unit 31, the obstacle detection unit 32 performs obstacle detection processing when the avoidance mode is valid, and does not perform obstacle detection processing when the avoidance mode is invalid.
  • the virtual camera position control unit 33 identifies the position and orientation of the virtual camera based on the device position / orientation information indicating the position and orientation of the photographing device VC supplied from the device position estimation device 12.
  • the virtual camera position control unit 33 basically generates camera position / orientation information using the position and orientation of the photographing device VC supplied from the device position estimation device 12 as the position and orientation of the virtual camera. It supplies the obstacle detection unit 32, the image generation unit 34, and the camera log recording unit 35.
  • the virtual camera position control unit 33 changes the position of the photographing device VC in the real space RS when an obstacle is detected. Change the change in the position of the virtual camera corresponding to.
  • the image generation unit 34 generates a display image to be displayed on the display 21 of the photographing device VC, for example, the screen 41 shown in FIG.
  • the image generation unit 34 generates a VC image displayed on the rendered image display unit 42 of the screen 41 of FIG. 6, a top surface image displayed on the top surface display unit 43, and the like.
  • the image generation unit 34 is supplied with 3D object data, which is the data of the three-dimensional object OBJ, from the storage unit 36, and the virtual camera position control unit 33 receives camera position / orientation information indicating the position and orientation of the virtual camera. Be supplied.
  • 3D object data which is the data of the three-dimensional object OBJ
  • the virtual camera position control unit 33 receives camera position / orientation information indicating the position and orientation of the virtual camera. Be supplied.
  • which 3D object data is to be reproduced is determined by the user specifying it with an operation unit (not shown).
  • the image generation unit 34 generates a VC image that is a part corresponding to the shooting range of the virtual camera of the 3D object OBJ based on the 3D object data. Further, when the first avoidance mode is selected and executed as the avoidance mode, the image generation unit 34 generates an alert screen when an obstacle is detected according to the control of the avoidance mode selection control unit 31.
  • the alert screen may be a screen whose display method has been changed, for example, by changing the generated VC image to red, or a screen in which a message dialog such as "There is an obstacle" is superimposed and displayed on the generated VC image. But it may be.
  • the image generation unit 34 also generates a top image displayed on the top display unit 43 of the screen 41 of FIG.
  • the generated VC image and top surface image are supplied to the photographing device VC via the communication unit 37.
  • the image generation unit 34 generates position information indicating the position of the three-dimensional object OBJ in the virtual space VS and supplies it to the obstacle detection unit 32.
  • the camera log recording unit 35 records the camera position / orientation information indicating the position and orientation of the virtual camera supplied from the virtual camera position control unit 33 in the storage unit 36 as log information indicating the trajectory of the virtual camera (storage). Let).
  • the storage unit 36 stores a plurality of 3D object data, and supplies the 3D object data specified by the user in an operation unit (not shown) to the image generation unit 34. Further, the storage unit 36 stores the log information of the virtual camera supplied from the camera log recording unit 35.
  • the communication unit 37 communicates by a method corresponding to the communication method performed by the communication unit 23 of the photographing device VC.
  • the communication unit 37 transmits the VC image and the top surface image generated by the image generation unit 34 to the photographing device VC, and from the photographing device VC, the operation signals of the avoidance mode on / off button 44 and the avoidance mode switching button 45, and the operation. Receives the operation signal of the switch 22.
  • the image processing system 1 configured as described above generates a two-dimensional image of the virtual space VS taken by the cameraman OP on the real space RS with the shooting device VC, and displays a rendered image of the display 21 of the shooting device VC.
  • the virtual space shooting process to be displayed in the part 42) is executed.
  • This process is started, for example, when the operation unit of the image processing device 13 performs an operation to start shooting of the virtual space VS by the image processing system 1.
  • the operation unit of the image processing device 13 performs an operation to start shooting of the virtual space VS by the image processing system 1.
  • which 3D object data is read to form the virtual space VS is determined by the operation before the start of the process of FIG. 7.
  • step S1 each of the plurality of photographing devices 11 photographs the photographing device VC operated by the cameraman OP in the real space RS, and supplies the photographed image obtained as a result to the device position estimation device 12.
  • the device position estimation device 12 estimates the position and orientation of the photographing device VC based on the captured images supplied from each of the plurality of photographing devices 11. More specifically, the device position estimation device 12 recognizes a plurality of marker MKs appearing in captured images supplied from each of the plurality of photographing devices 11, and detects the position and orientation of the marker MKs in the real space RS. , Estimate the position and orientation of the imaging device VC. The estimated position and orientation of the photographing device VC are supplied to the image processing device 13 as device position / orientation information.
  • step S3 the virtual camera position control unit 33 determines the position and orientation of the virtual camera based on the position and orientation of the photographing device VC supplied from the device position estimation device 12. Specifically, the virtual camera position control unit 33 uses the position and orientation of the photographing device VC supplied from the device position estimation device 12 as the position and orientation of the virtual camera, and the camera position and orientation indicating the position and orientation of the virtual camera. Information is supplied to the obstacle detection unit 32, the image generation unit 34, and the camera log recording unit 35.
  • step S4 the image generation unit 34 executes a VC image generation process for generating a two-dimensional image (VC image) of the virtual space VS corresponding to the shooting range of the virtual camera.
  • step S5 the communication unit 37 transmits the two-dimensional image of the virtual space VS generated by the image generation unit 34 to the photographing device VC.
  • step S6 the camera log recording unit 35 stores the camera position / orientation information indicating the position and orientation of the virtual camera supplied from the virtual camera position control unit 33 as log information indicating the trajectory of the virtual camera in the storage unit 36. Record.
  • steps S5 and S6 may be performed in the reverse order or may be executed in parallel.
  • step S7 the display 21 of the photographing device VC acquires and displays the two-dimensional image of the virtual space VS transmitted from the image processing device 13 via the communication unit 23.
  • step S4 of the flowchart of the virtual space shooting process in FIG. 7 is changed to the obstacle-compatible VC image generation process in FIG.
  • the other processes of steps S1 to S3 and S5 to S7 are the same. Therefore, the flowchart of FIG. 8 will be described with respect to the obstacle-corresponding VC image generation process executed as the process of step S4 of the virtual space shooting process of FIG. 7 when the avoidance mode is effectively set.
  • step S21 the obstacle detection unit 32 determines the camera position / orientation information supplied from the virtual camera position control unit 33 and the position of the three-dimensional object OBJ of the virtual space VS supplied from the image generation unit 34. Acquire the indicated position information. Then, the obstacle detection unit 32 detects an obstacle in the virtual space VS with respect to the virtual camera based on the position and posture of the virtual camera and the position of the three-dimensional object OBJ of the virtual space VS.
  • the obstacle detection determination method in step S21 will be described.
  • the "posture” is omitted, for example, the "position” of the virtual camera.
  • the determination of obstacle detection of course, only the position of the virtual camera is used. It is judged by considering the posture as well.
  • the obstacle detection unit 32 determines whether or not an obstacle exists for the virtual camera in the virtual space VS by executing the four types of obstacle determination processes shown in FIGS. 9 and 10, for example. Detect. Since the states A to C in FIG. 9 are states before the avoidance process for avoiding obstacles is executed, the position of the photographing device VC directly corresponds to the position of the virtual camera. Also, the position of the cameraman OP and the position of the shooting device VC are the same.
  • FIG. 9A is a diagram for explaining the first obstacle determination process.
  • the obstacle detection unit 32 collides with an obstacle based on the relationship between the position of the virtual camera (shooting device VC) and the position of the three-dimensional object OBJ in the virtual space VS. To judge.
  • the obstacle detection unit 32 sets a predetermined range as the collision range VCa with the obstacle based on the position of the virtual camera (shooting device VC), and determines the virtual space VS within the collision range VCa.
  • the 3D object OBJ is included, the 3D object OBJ is detected as an obstacle.
  • the virtual camera exists at the position POS11 on the virtual space VS, and the wall WA, which is a three-dimensional object OBJ, exists in the collision range VCa, so that the wall WA is detected as an obstacle. ..
  • FIG. 9B is a diagram for explaining the second obstacle determination process.
  • the obstacle detection unit 32 determines the obstacle based on the relationship between the position of the virtual camera (shooting device VC) and the predicted movement position and the position of the three-dimensional object OBJ in the virtual space VS. Determine the collision with an object.
  • the obstacle detection unit 32 is a position (movement prediction) in which the virtual camera moves after a predetermined time from the current position based on the movement path from the virtual camera (shooting device VC) before the predetermined time to the present. Position) is predicted. Then, when the predetermined three-dimensional object OBJ of the virtual space VS is included in the collision range VCa of the predicted movement prediction position, the obstacle detection unit 32 detects the three-dimensional object OBJ as an obstacle.
  • the virtual camera is predicted to move from the current position POS12 to the position POS13 after a predetermined time, and the wall WA, which is a three-dimensional object OBJ, is within the collision range VCa of the position POS13. Since it is present, the wall WA is detected as an obstacle.
  • FIG. 9C is a diagram for explaining the third obstacle determination process.
  • the obstacle detection unit 32 determines an obstacle based on the relationship between the position of the virtual camera (shooting device VC) and the predicted movement position of the three-dimensional object OBJ moving in the virtual space VS. Determine the collision with an object.
  • the obstacle detection unit 32 predicts the movement path of the moving object when the three-dimensional object OBJ moving in the virtual space VS exists as a moving object. Then, the obstacle detection unit 32 detects the three-dimensional object OBJ as an obstacle when the predicted movement path of the moving object is included in the collision range VCa of the virtual camera.
  • the person OBJ1 is an obstacle. Is detected as.
  • FIG. 10 is a diagram illustrating a fourth obstacle determination process.
  • an object that does not collide with an obstacle but interferes with the shooting of the subject of interest is detected as an obstacle.
  • a virtual camera (shooting device VC) passes through the doorway of an indoor room provided in the virtual space VS from the current position POS21 to the outdoor position POS22 after a predetermined time.
  • the virtual camera moves, when the virtual camera captures the person OBJ1 which is the subject of interest from the position POS22, the VC image as shown in B of FIG. 3 is generated because the wall WA exists.
  • the obstacle detection unit 32 detects an obstacle based on the position of the virtual camera and the positional relationship between the subject of interest of the photographing device VC in the virtual space VS and the surrounding subject which is the subject around the subject.
  • the obstacle detection unit 32 includes a predetermined three-dimensional object OBJ outside the area of the viewing frustum RG, which is the shooting range of the virtual camera, and between the virtual camera and the subject of interest.
  • the three-dimensional object OBJ is detected as an obstacle.
  • the virtual camera exists at the position POS22 on the virtual space VS, is outside the area of the viewing frustum RG that is the shooting range of the virtual camera, and is between the virtual camera and the person OBJ1 that is the subject of interest. Since the wall WA exists, the wall WA is detected as an obstacle.
  • step S21 the obstacle detection unit 32 detects obstacles in the virtual space VS with respect to the virtual camera by executing the above first to fourth obstacle determination processes.
  • step S22 the obstacle detection unit 32 determines whether or not an obstacle has been detected.
  • step S22 If it is determined in step S22 that no obstacle is detected, the process proceeds to step S23, and the image generation unit 34 generates a two-dimensional image (VC image) of the virtual space VS corresponding to the shooting range of the virtual camera. Perform VC image generation processing.
  • This VC image generation process is the same process as in step S4 of FIG.
  • step S22 determines whether an obstacle has been detected. If it is determined in step S22 that an obstacle has been detected, the process proceeds to step S24, and the avoidance mode selection control unit 31 selects any of the first to third avoidance modes as the avoidance mode. Is determined.
  • step S24 If it is determined in step S24 that the first avoidance mode is selected as the avoidance mode, the process proceeds to step S25, and if it is determined that the second avoidance mode is selected as the avoidance mode, the process proceeds. Proceeds to step S27, and when it is determined that the third avoidance mode is selected as the avoidance mode, the process proceeds to step S29.
  • the avoidance mode selection control unit 31 causes the image generation unit 34 to generate an obstacle collision alert screen.
  • the image generation unit 34 generates an alert screen according to the control of the avoidance mode selection control unit 31, and transmits the alert screen to the photographing device VC via the communication unit 37.
  • the alert screen may be, for example, a screen that does not include characters such as changing the generated VC image to red, or a screen that superimposes a message dialog such as "There is an obstacle" on the generated VC image. good.
  • step S26 the image generation unit 34 executes the same VC image generation process as in step S4 of FIG.
  • step S27 when the second avoidance mode is selected as the avoidance mode the avoidance mode selection control unit 31 registers the detected obstacle as an avoidance target and notifies the image generation unit 34.
  • step S28 the image generation unit 34 performs transparent processing on the avoidance target object notified from the avoidance mode selection control unit 31, and performs a two-dimensional image (VC image) of the virtual space VS corresponding to the shooting range of the virtual camera. ) Is generated.
  • VC image two-dimensional image
  • FIG. 11 is a horizontal view of the cameraman OP moving from the indoor position POS21 shown in FIG. 10 to the outdoor position POS22.
  • the wall WA exists between the virtual camera (shooting device VC) and the person OBJ1 who is the subject of interest, the wall WA is detected as an obstacle and the wall WA is transparent as an avoidance target. It is subject to processing.
  • the wall WA is simply transparently processed, the virtual camera is outdoors, so the indoor brightness may be affected by the outdoor brightness (for example, the indoor brightness may appear bright), or the outdoor ground or The sky may be reflected in the shooting range.
  • the image generation unit 34 performs the transmission processing of the avoidance object.
  • a VC image is generated under the shooting conditions (for example, white balance) and environment (for example, floor surface, ceiling, etc.) of the first space in which the subject of interest is present. More specifically, the image generation unit 34 changes the outdoor image to an image in which the floor or ceiling is extended indoors, changes the white balance to the indoor brightness instead of the outdoor brightness, and the like.
  • the environment that makes the virtual space VS environment continuous The VC image is generated by performing continuous environment processing.
  • step S29 when the third avoidance mode is selected as the avoidance mode the avoidance mode selection control unit 31 is positioned at the position of the photographing device VC in the real space RS so as not to come into contact with an obstacle.
  • the position of the corresponding virtual camera is changed by the virtual camera position control unit 33.
  • FIG. 13 shows an example of control for changing the position of the virtual camera corresponding to the position of the photographing device VC, which is performed by the virtual camera position control unit 33 as the process of step S29.
  • the movement path or prediction path of the photographing device VC estimated by the device position estimation device 12 is the locus 61, and the photographing device VC collides with the wall WA which is an obstacle.
  • the virtual camera position control unit 33 virtually does not change the position of the virtual camera in response to a change in the position in the direction in which the obstacle exists, as in the locus 62.
  • Control the position of the camera Assuming that the horizontal direction is the X direction and the vertical direction is the Y direction in FIG. 13, the locus 62 coincides with the position of the photographing device VC (trajectory 61) and the position of the virtual camera until it reaches the wall WA. After reaching the wall WA, the position of the virtual camera does not change in the Y direction.
  • the virtual camera position control unit 33 changes the movement amount of the virtual camera corresponding to the movement amount of the photographing device VC in the real space RS, as in the locus 63.
  • the ratio of the movement amount of the virtual camera to the movement amount of the shooting device VC in the Y direction is changed.
  • the movement amount of the virtual camera is set to 1/2 with respect to the movement amount of the shooting device VC, and in the Y direction, the movement amount of the virtual camera is set to "5" with respect to the movement amount of "10" of the shooting device VC. ".
  • the virtual camera position control unit 33 is the first change control corresponding to the locus 62 or the second change control corresponding to the locus 63 described with reference to FIG. Change control of.
  • the image generation unit 34 is a two-dimensional image (VC) of the virtual space VS corresponding to the shooting range of the virtual camera based on the position of the virtual camera after the position of the virtual camera is changed and controlled. Execute the VC image generation process to generate the image).
  • This VC image generation process is the same process as in step S4 of FIG.
  • steps S23, S26, S28, or S30 are executed.
  • the obstacle detection unit 32 of the image processing device 13 is based on the device position / orientation information indicating the position and orientation of the photographing device VC that shoots the virtual space VS in the real space RS. Based on the camera position / orientation information indicating the position and orientation of the virtual camera in the virtual space VS associated with the real space RS, the obstacle in the virtual space VS with respect to the virtual camera is detected.
  • the image processing device 13 executes the first to third avoidance processes according to the first to third avoidance modes selected by the avoidance mode switching button 45.
  • the image processing device 13 displays an alert screen notifying the collision with an obstacle.
  • the image processing device 13 generates and displays a VC image in which obstacles are transparently processed.
  • the image processing device 13 changes the position of the virtual camera corresponding to the position of the photographing device VC so that the virtual camera does not collide with an obstacle.
  • the cameraman OP can detect obstacles in the virtual space VS that do not exist in the real space RS, and can prevent the cameraman OP from shooting something different from the object originally intended to be shot.
  • the cameraman OP can freely switch between enabling and disabling the first to third avoidance modes by operating the avoidance mode on / off button 44 displayed on the display 21 of the shooting device VC. Further, by operating the avoidance mode switching button 45, the first to third avoidance modes can be freely selected.
  • the obstacle is detected by displaying the alert screen notifying the collision with the obstacle on the display 21 of the photographing device VC. It was decided to notify the cameraman OP who is the user of the shooting device VC, but the notification method for obstacle detection is not limited to this.
  • the cameraman OP is notified that an obstacle has been detected, or by outputting an alarm sound from the shooting device VC, the obstacle has been detected. You may notify the cameraman OP. Further, two or more of displaying the alert screen, vibrating the photographing device VC, and outputting the alarm sound may be performed at the same time.
  • the handle or the like of the photographing device VC is vibrated as a notification method for notifying the detection of an obstacle
  • the photographing device VC is provided with a vibrating element or the like.
  • the photographing device VC is provided with a speaker or the like.
  • the image generation unit 34 of the image processing device 13 sets the "second".
  • the display 21 may be displayed to indicate that a predetermined avoidance process is being executed, such as "Avoidance process is being executed.” As a result, the cameraman OP can recognize that the avoidance process is being executed.
  • FIG. 14 is a block diagram showing a modified example of the image processing system shown in FIG.
  • the image processing system 1 of FIG. 14 is composed of a photographing device VC, two photographing devices 11 (11-1, 11-2), and an image processing device 13, and is a device position estimation device shown in FIG. 12 is incorporated as a device position estimation unit 12A as a part of the image processing device 13.
  • the image processing device 13 can be provided with a function of estimating the position and orientation of the photographing device VC based on the captured images supplied from each of the two photographing devices 11.
  • the first to third avoidance processes can be executed according to the first to third avoidance modes selected by the cameraman OP, and the cameraman OP can perform an obstacle in the virtual space VS that does not exist in the real space RS. It can detect objects. As a result, it is possible to prevent shooting an object different from the object to be originally shot.
  • the image processing system 1 of FIGS. 5 and 14 employs a so-called outside-in type position estimation in which the position and orientation of the photographing device VC are estimated based on the photographed image photographed by the photographing device 11. In the case of the outside-in method, it is necessary to prepare a sensor for trucking outside the photographing device VC.
  • the photographing device VC itself is equipped with a sensor for position / orientation estimation and the device itself estimates its own position / orientation.
  • the function realized by the image processing system 1 described above can be configured by only one photographing device VC.
  • FIG. 15 is a block diagram showing a configuration example of the photographing device VC when the function realized by the image processing system 1 is realized by one photographing device VC.
  • FIG. 15 the parts corresponding to the image processing system 1 shown in FIG. 5 are designated by the same reference numerals, and the description of the parts will be omitted as appropriate.
  • the photographing device VC includes a display 21 with a touch panel, an operation switch 22, a tracking sensor 81, a self-position estimation unit 82, and an image processing unit 83.
  • the image processing unit 83 includes an avoidance mode selection control unit 31, an obstacle detection unit 32, a virtual camera position control unit 33, an image generation unit 34, a camera log recording unit 35, and a storage unit 36.
  • the imaging device VC of FIG. 15 Comparing the configuration of the imaging device VC of FIG. 15 with the configuration of the image processing system 1 of FIG. 5, the imaging device VC of FIG. 15 is provided with the configuration of the image processing device 13 of FIG. 5 as the image processing unit 83. ing. Further, in the photographing device VC of FIG. 15, the marker MK, the communication unit 23, and the communication unit 37 of FIG. 5 are omitted.
  • the tracking sensor 81 corresponds to the photographing devices 11-2 and 11-2 of FIG. 5, and the self-position estimation unit 82 corresponds to the device position estimation device 12 of FIG.
  • the display 21 displays the display image generated by the image generation unit 34, and supplies an operation signal corresponding to the touch operation of the cameraman OP detected on the touch panel to the image processing unit 83.
  • the operation switch 22 supplies an operation signal corresponding to the operation of the cameraman OP to the image processing unit 83.
  • the tracking sensor 81 is composed of at least one sensor such as an image pickup sensor and an inertial sensor.
  • the image sensor as the tracking sensor 81 photographs the surroundings of the photographing device VC, and supplies the photographed image obtained as a result to the self-position estimation unit 82 as sensor information.
  • a plurality of image pickup sensors can be provided so that images can be taken in all directions. Further, the image sensor may be a stereo camera composed of two image sensors.
  • the inertial sensor as the tracking sensor 81 is composed of sensors such as a gyro sensor, an acceleration sensor, a magnetic sensor, and a pressure sensor, measures angular velocity, acceleration, and the like, and supplies the sensor information to the self-position estimation unit 82.
  • the self-position estimation unit 82 estimates (detects) the position and orientation of itself (photographing device VC) based on the sensor information from the tracking sensor 81. For example, the self-position estimation unit 82 estimates its own position and posture by Visual-SLAM (Simultaneous Localization and Mapping) using the feature points of the captured image taken by the imaging sensor as the tracking sensor 81. Further, when inertial sensors such as a gyro sensor, an acceleration sensor, a magnetic sensor, and a pressure sensor are provided, the self-position and orientation can be estimated with high accuracy by using the sensor information.
  • the self-position estimation unit 82 supplies the device position / orientation information indicating the estimated own position and orientation to the virtual camera position control unit 33 of the image processing unit 83.
  • the photographing device VC having the above configuration can realize the function realized by the image processing system 1 of FIG. 5 only by internal processing. That is, the first to third avoidance processes can be executed according to the first to third avoidance modes selected by the cameraman OP, and the cameraman OP can perform an obstacle in the virtual space VS that does not exist in the real space RS. It can detect objects. As a result, it is possible to prevent shooting an object different from the object to be originally shot.
  • a predetermined one is selected from the first to third avoidance modes, and the avoidance process corresponding to the selected avoidance mode is executed.
  • the avoidance mode may be selected and executed at the same time as the second avoidance mode or the third avoidance mode.
  • the image processing device 13 (or the image processing unit 83) generates a VC image in which the wall WA is transparently processed and displays it on the display 21.
  • an alert screen is displayed on the display 21 when an obstacle is detected, and further, when the cameraman OP approaches the wall WA, an image is displayed.
  • the processing device 13 (or the image processing unit 83) changes the ratio between the movement amount of the photographing device VC in the Y direction and the movement amount of the virtual camera, and controls the position of the virtual camera so that it does not reach the wall WA.
  • the series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed on the computer.
  • the computer includes a microcomputer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 16 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • a CPU Central Processing Unit
  • ROM ReadOnly Memory
  • RAM RandomAccessMemory
  • An input / output interface 105 is further connected to the bus 104.
  • An input unit 106, an output unit 107, a storage unit 108, a communication unit 109, and a drive 110 are connected to the input / output interface 105.
  • the input unit 106 includes a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 107 includes a display, a speaker, an output terminal, and the like.
  • the storage unit 108 includes a hard disk, a RAM disk, a non-volatile memory, and the like.
  • the communication unit 109 includes a network interface and the like.
  • the drive 110 drives a removable recording medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 101 loads the program stored in the storage unit 108 into the RAM 103 via the input / output interface 105 and the bus 104 and executes the above-described series. Is processed.
  • the RAM 103 also appropriately stores data and the like necessary for the CPU 101 to execute various processes.
  • the program executed by the computer (CPU101) can be recorded and provided on the removable recording medium 111 as a package medium or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 108 via the input / output interface 105 by mounting the removable recording medium 111 in the drive 110. Further, the program can be received by the communication unit 109 and installed in the storage unit 108 via a wired or wireless transmission medium. In addition, the program can be installed in the ROM 102 or the storage unit 108 in advance.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can have the following configurations.
  • Camera position / orientation information indicating the position and orientation of the virtual camera in the virtual space associated with the real space, which is specified based on the device position / orientation information indicating the position and orientation of the photographing device for photographing the virtual space in the real space.
  • An image processing device including a detection unit that detects an obstacle in the virtual space with respect to the virtual camera based on the above.
  • the detection unit detects an obstacle in the virtual space based on the relationship between the camera position / orientation information, the movement prediction position information of the virtual camera, and the position of an object in the virtual space (1). Or the image processing apparatus according to (2).
  • the detection unit detects obstacles in the virtual space based on the relationship between the camera position / orientation information and the predicted movement position information of an object moving in the virtual space (1) to (3).
  • the image processing apparatus according to any one of.
  • the detection unit detects an obstacle in the virtual space based on the camera position / orientation information and the positional relationship between the subject of interest of the virtual camera in the virtual space and the surrounding subject which is a subject around the camera.
  • the image processing apparatus according to any one of (1) to (4) above.
  • the image processing device according to any one of (6) to (9), wherein the notification unit notifies the user of the photographing device that an obstacle has been detected by outputting a sound from the photographing device. ..
  • the image processing apparatus according to any one of (1) to (10), further comprising an image generation unit that generates an image of the virtual space corresponding to the shooting range of the virtual camera.
  • the image generation unit generates an image of the virtual space in which the obstacle is transparently processed when the obstacle is detected by the detection unit.
  • the image generation unit may use the shooting conditions of the first space.
  • the image processing apparatus which generates an image of a virtual space.
  • the image generation unit generates an image of the virtual space in the first space when the first space in which the object to be photographed by the virtual camera exists and the second space in which the virtual camera exists are different.
  • the image processing apparatus according to any one of (11) to (13) above.
  • a virtual camera position control unit for specifying the position of the virtual camera corresponding to the position of the photographing device in the real space is provided.
  • the virtual camera position control unit changes the change in the position of the virtual camera corresponding to the change in the position of the photographing device in the real space when the obstacle is detected by the detection unit (1).
  • the image processing apparatus according to any one of (14).
  • the virtual camera position control unit does not change the position of the virtual camera in response to a change in the position of the photographing device in a predetermined direction in the real space.
  • the image processing apparatus according to (15) above.
  • the virtual camera position control unit changes the movement amount of the virtual camera corresponding to the movement amount of the photographing device in the real space when the obstacle is detected by the detection unit (15).
  • Image processing equipment (18) The image processing apparatus according to any one of (1) to (17), further comprising a selection unit for selecting a method of avoiding the obstacle detected by the detection unit.
  • the image processing device Camera position / orientation information indicating the position and orientation of the virtual camera in the virtual space associated with the real space, which is specified based on the device position / orientation information indicating the position and orientation of the photographing device for photographing the virtual space in the real space.
  • On the computer Camera position / orientation information indicating the position and orientation of the virtual camera in the virtual space associated with the real space, which is specified based on the device position / orientation information indicating the position and orientation of the photographing device for photographing the virtual space in the real space.
  • VC shooting device VS virtual space, RS real space, WA wall, OBJ 3D object, OP cameraman, VCa collision range, 1 image processing system, 11 shooting device, 12 device position estimation device, 13 image processing device, 21 display, 22 Operation switch, 31 Avoidance mode selection control unit, 32 Obstacle detection unit, 33 Virtual camera position control unit, 34 Image generation unit, 35 Camera log recording unit, 36 Storage unit, 42 Rendered image display unit, 43 Top surface display unit, 44 Avoidance mode on / off button, 45 Avoidance mode switching button, 81 Tracking sensor, 82 Self-position estimation unit, 83 Image processing unit, 101 CPU, 102 ROM, 103 RAM, 106 Input unit, 107 Output unit, 108 Storage unit, 109 Communication Department, 110 drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本技術は、現実空間では存在しない仮想空間内の障害物を検知することができるようにする画像処理装置、画像処理方法、および、プログラムに関する。 画像処理装置は、仮想空間を撮影する撮影デバイスの現実空間における位置及び姿勢を示すデバイス位置姿勢情報に基づいて特定される、現実空間に対応付けられた仮想空間における仮想カメラの位置及び姿勢を示すカメラ位置姿勢情報に基づいて、仮想カメラに対する仮想空間内の障害物を検知する検知部を備える。本技術は、例えば、バーチャルカメラシステムの画像処理等に適用できる。

Description

画像処理装置、画像処理方法、および、プログラム
　本技術は、画像処理装置、画像処理方法、および、プログラムに関し、特に、現実空間では存在しない仮想空間内の障害物を検知することができるようにした画像処理装置、画像処理方法、および、プログラムに関する。
　バーチャルリアリティー（VR）の世界を体感できるシステムでは、視聴者の視聴範囲が撮影範囲となるような仮想カメラを想定し、その仮想カメラから、仮想空間内の３次元オブジェクトを見た２次元画像を、HMD（ヘッドマウントディスプレイ）等の表示装置で視聴する（例えば、特許文献１参照）。
　近年、仮想カメラに相当する撮影デバイスをカメラマンが実際に操作して仮想空間内の３次元オブジェクトを撮影し、撮影デバイスから仮想空間内の３次元オブジェクトを見た２次元映像を生成するシステムが開発されている。このシステムは、バーチャルカメラシステムなどとも呼ばれる。バーチャルカメラシステムによれば、カメラマンが実際の撮影デバイスを持って操作を行うため、リアリティの高いカメラワークの映像を生成することができる。
特開２０１８－４５４５８号公報
　しかしながら、バーチャルカメラシステムでは、カメラマンは、現実空間上では存在しない３次元オブジェクトを撮影するため、例えば、仮想空間内では壁が存在して移動できないような場所へ、現実空間のカメラマンが移動してしまう、などの状況が考えられる。
　本技術は、このような状況に鑑みてなされたものであり、現実空間では存在しない仮想空間内の障害物を検知することができるようにするものである。
　本技術の一側面の画像処理装置は、仮想空間を撮影する撮影デバイスの現実空間における位置及び姿勢を示すデバイス位置姿勢情報に基づいて特定される、前記現実空間に対応付けられた仮想空間における仮想カメラの位置及び姿勢を示すカメラ位置姿勢情報に基づいて、前記仮想カメラに対する前記仮想空間内の障害物を検知する検知部を備える。
　本技術の一側面の画像処理方法は、画像処理装置が、仮想空間を撮影する撮影デバイスの現実空間における位置及び姿勢を示すデバイス位置姿勢情報に基づいて特定される、前記現実空間に対応付けられた仮想空間における仮想カメラの位置及び姿勢を示すカメラ位置姿勢情報に基づいて、前記仮想カメラに対する前記仮想空間内の障害物を検知する。
　本技術の一側面のプログラムは、コンピュータに、仮想空間を撮影する撮影デバイスの現実空間における位置及び姿勢を示すデバイス位置姿勢情報に基づいて特定される、前記現実空間に対応付けられた仮想空間における仮想カメラの位置及び姿勢を示すカメラ位置姿勢情報に基づいて、前記仮想カメラに対する前記仮想空間内の障害物を検知する処理を実行させるためのものである。
　本技術の一側面においては、仮想空間を撮影する撮影デバイスの現実空間における位置及び姿勢を示すデバイス位置姿勢情報に基づいて特定される、前記現実空間に対応付けられた仮想空間における仮想カメラの位置及び姿勢を示すカメラ位置姿勢情報に基づいて、前記仮想カメラに対する前記仮想空間内の障害物が検知される。
　なお、本技術の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
バーチャルカメラシステムの概要を説明する図である。 バーチャルカメラシステムの概要を説明する図である。 バーチャルカメラシステムにおいて想定される問題を説明する図である。 図５の画像処理システムが備える処理の例を説明する図である。 本技術を適用した画像処理システムの構成例を示すブロック図である。 図５の撮影デバイスのディスプレイに表示される画面例を示す図である。 図５の画像処理システムによる仮想空間撮影処理を説明するフローチャートである。 障害物対応VC画像生成処理を説明するフローチャートである。 第１乃至第３の障害物判定処理を説明する図である。 第４の障害物判定処理を説明する図である。 透過処理を行ったVC画像生成処理を説明する図である。 透過処理を行ったVC画像生成処理を説明する図である。 第３の回避モードの位置変更制御を説明する図である。 図５の画像処理システムの変形例を示すブロック図である。 撮影デバイスのその他の構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、添付図面を参照しながら、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．バーチャルカメラシステムの概要
２．画像処理システムの構成例
３．画像処理システムの仮想空間撮影処理
４．画像処理システムの変形例
５．撮影デバイスのみによる構成例
６．コンピュータ構成例
＜１．バーチャルカメラシステムの概要＞
　初めに、図１および図２を参照して、本技術の画像処理システムが利用されるバーチャルカメラシステムの概要について説明する。
　図１に示されるように、カメラマンOPは、撮影デバイスVCを実際に操作して、仮想空間VS内の３次元オブジェクトOBJを撮影する。図１の例では、仮想空間VSに、３次元オブジェクトOBJとして、人物OBJ１と、本棚OBJ２とが配置されている。人物OBJ１および本棚OBJ２を含む３次元オブジェクトOBJは、各オブジェクトを３Dモデルで表現した３Dモデルデータによって構築されている。人物OBJ１は、カメラマンOPが仮想空間VS上で注目して撮影する注目対象被写体であり、本棚OBJ２は、注目対象被写体以外の周囲の被写体であり、人物OBJ１の背景画像となる。
　カメラマンOPが、撮影デバイスVCを操作して、注目対象被写体である人物OBJ１を様々な角度から撮影すると、不図示の撮影装置が、撮影デバイスVCに装着されている複数のマーカMKを撮影し、撮影デバイスVCの位置および姿勢が検出される。そして、撮影デバイスVCの位置および姿勢に応じて、撮影デバイスVCの撮影範囲が計算され、撮影デバイスVCの撮影範囲に対応する仮想空間VS上の３次元オブジェクトOBJをレンダリングした２次元画像が、撮影デバイスVCのディスプレイ２１に表示される。すなわち、カメラマンOPが実際に操作する撮影デバイスVCの動きを、仮想カメラの動きとして捉え、仮想カメラから３次元オブジェクトOBJを見た２次元画像がディスプレイ２１に表示される。カメラマンOPは、ディスプレイ２１に表示された３次元オブジェクトOBJの２次元画像を確認しながら、注目対象被写体のアングル等を判断して撮影を行う。カメラマンOPは、撮影デバイスVCに設けられた操作スイッチ２２を操作して、ズーム操作、ホワイトバランス（WB）の調整、露出の調整などを行うことができる。
　このようなバーチャルカメラシステムによれば、カメラマンOPが実際の撮影デバイスVCを持って操作を行うため、リアリティの高いカメラワークの映像を生成することができる。
＜想定される問題＞
　しかしながら、カメラマンOPは、実際には、図２に示されるような、何も存在しない現実空間RSで撮影を行っている。そのため、現実空間RSと仮想空間VSとの違いに起因して、次のような状況が起こり得る。
　図３のAは、図１のカメラマンOPが仮想空間VSを撮影している状態を上から見た上面図である。
　仮想空間VSには、人物OBJ１や本棚OBJ２の外側に、四方を囲む壁WAが存在している。
　現実空間RSにいるカメラマンOPは、撮影デバイスVCを用いて、仮想空間VS上の位置POS1において注目対象被写体である人物OBJ１を撮影している状態から、仮想空間VS上の位置POS2へ移動したとする。なお、カメラマンOPの位置と撮影デバイスVCの位置は、同一であるとする。
　図２に示したように、現実空間RSには、特に障害となる物体は存在しないので、カメラマンOPは、仮想空間VS上の位置POS1から位置POS2へ、容易に移動することができる。
　しかしながら、仮想空間VSでは、位置POS2は、壁WAの外側であるので、撮影デバイスVCの位置および姿勢に基づいてディスプレイ２１に表示される２次元画像は、図３のBに示されるような、本来撮影したい人物OBJ１ではなく、壁WAを撮影した画像となってしまう。以下では、撮影デバイスVCで撮影した画像として生成される、撮影デバイスVCの位置および姿勢に基づく仮想空間VSのレンダリング画像を、VC画像とも称する。
　このように、現実空間RSと仮想空間VSとの違いに起因して、カメラマンOPが、本来、撮影したい対象と異なるものを撮影してしまう状況が起こり得る。
　以下で説明する本技術の画像処理システム（図５の画像処理システム１）は、このような撮影の失敗を防止する技術を組み込んだシステムである。
　なお、以下では、図３の例に即して、仮想空間VSにおいて、カメラマンOPが本来通過したり、移動できない障害物として、壁WAの例について説明するが、障害物は壁に限られない。
　図４は、図３で説明したような撮影の失敗を回避するために、図５の画像処理システム１が備える処理（機能）の例を示している。
　画像処理システム１は、図４のA乃至Cの３通りの回避モードを任意に選択して実行することができる。
　図４のAは、画像処理システム１が第１の回避モードとして備える第１の回避処理の例を示している。
　第１の回避モードでは、画像処理システム１は、現実空間RS上のカメラマンOPの位置POS1から、仮想空間VSの障害物に衝突することが予測される場合に、カメラマンOPに、障害物に衝突する可能性があることを、何らかの手段で通知する。通知する手段は、例えば、ディスプレイ２１へのメッセージ表示、アラーム音等の音出力、撮影デバイスVCの振動など、様々な方法が考えられる。カメラマンOPは、画像処理システム１からのアラート通知により、壁WAにぶつからないような回避行動をとることができる。
　図４のBは、画像処理システム１が第２の回避モードとして備える第２の回避処理の例を示している。
　第２の回避モードでは、画像処理システム１は、現実空間RS上のカメラマンOPの位置が、仮想空間VSにおける位置POS1から、壁WAの外側の位置POS2へ移動した場合に、障害となる壁WAがないものとして、壁WAを一時的に透過させる透過処理を行う。これにより、壁WAの先にいる人物OBJ１の撮影が可能となる。
　図４のCは、画像処理システム１が第３の回避モードとして備える第３の回避処理の例を示している。
　第３の回避モードでは、現実空間RS上のカメラマンOPの位置が、仮想空間VS上の位置POS1から、壁WAの外側の位置POS2へ移動した場合に、画像処理システム１は、現実空間RSにおけるカメラマンOPの移動量に対応する仮想空間VSにおける仮想カメラの移動量を変更する。すなわち、画像処理システム１は、現実空間RSでは、カメラマンOPは位置POS1から位置POS2へ移動しているが、仮想空間VSでは、カメラマンOPは壁WAより内側の位置POS3へ移動したように、現実空間RSと仮想空間VSとの移動量の比率を変更する。これにより、仮想カメラの位置が壁WAよりも内側となるので、人物OBJ１の撮影が可能となる。
＜２．画像処理システムの構成例＞
　図５は、上述した第１乃至第３の回避処理を行う画像処理システムであって、本技術を適用した画像処理システムの構成例を示すブロック図である。
　図５の画像処理システム１は、撮影デバイスVC、２台の撮影装置１１（１１－１，１１－２）、デバイス位置推定装置１２、および、画像処理装置１３により構成される。
　撮影デバイスVCは、図１等で示した仮想空間VSを撮影するデバイスであり、マーカMK、タッチパネル付きディスプレイ２１、操作スイッチ２２、および、通信部２３を有する。
　マーカMKは、図１に示したように、撮影デバイスVCに複数設けられ、２台の撮影装置１１の撮影対象とされる。マーカMKは、現実空間RSにおける撮影デバイスVCの位置および姿勢の検出のため、設けられている。
　タッチパネル付きディスプレイ２１は、タッチパネルが重畳されたLCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等で構成され、カメラマンOPの画面に対するタッチ操作を検出するとともに、仮想空間VS上の３Dオブジェクトをレンダリングした２次元画像等の所定の画像を表示する。図１では詳細を説明しなかったが、ディスプレイ２１とは、このタッチパネル付きのディスプレイであり、以下、タッチパネル付きディスプレイ２１を、単に、ディスプレイ２１と称する。
　図６は、カメラマンOPが仮想空間VSを撮影中に、撮影デバイスVCのディスプレイ２１に表示される画面例を示している。
　図６の画面４１には、レンダリング画像表示部４２、上面表示部４３、回避モードオンオフボタン４４、および、回避モード切替ボタン４５が含まれる。
　レンダリング画像表示部４２には、撮影デバイスVCの位置および姿勢に応じて、仮想カメラとしての撮影デバイスVCが仮想空間VSを撮影した２次元画像（VC画像）が表示される。
　上面表示部４３には、仮想空間VSを上から見た上面図に相当する上面画像が表示される。上面画像には、現実空間RSのカメラマンOPの仮想空間VSにおける位置と、撮影デバイスVCの撮影方向も表示されている。
　回避モードオンオフボタン４４は、上述した第１乃至第３の回避モードの有効または無効を切り替えるボタンである。
　回避モード切替ボタン４５は、上述した第１乃至第３の回避モードを切り替えるボタンである。回避モード切替ボタン４５は、例えば、ボタンをタッチするごとに、第１の回避モード、第２の回避モード、第３の回避モード、の順番で切り替わる。回避モード切替ボタン４５は、障害物の回避方法を選択する選択部として機能する。
　撮影デバイスVCのユーザであるカメラマンOPは、回避モードオンオフボタン４４をタッチして回避モードのオンオフを切り替えることができ、また、回避モード切替ボタン４５をタッチすることで、第１乃至第３の回避モードを切り替えることができる。なお、回避モードオンオフボタン４４および回避モード切替ボタン４５は、画面上ではなく、ハードウエアボタンとして、撮影デバイスVCに設けられてもよい。
　図５の説明に戻り、操作スイッチ２２は、例えば、操作ボタン、方向指示キー、ジョイスティック、ハンドル、ペダル又はレバー等の種々のハードウエアスイッチで構成され、カメラマンOPの操作に対応する操作信号を生成して、通信部２３を介して、画像処理装置１３に供給する。操作スイッチ２２は、ズーム操作、ホワイトバランス（WB）の調整、露出の調整などの、画像の調整を行うことができるスイッチである。
　通信部２３は、LAN（Local Area Network）、HDMI（登録商標）等の有線通信、または、無線LAN、Bluetooth（登録商標）等の無線通信を行う通信インタフェースで構成され、画像処理装置１３と、所定のデータを送受信する。例えば、通信部２３は、画像処理装置１３から供給される、３Dオブジェクトをレンダリングした２次元画像の画像データを受信して、ディスプレイ２１に供給する。また例えば、通信部２３は、回避モードのオンオフ操作や、第１乃至第３の回避モードの切り替え操作、操作スイッチ２２で操作された調整操作に対応する操作信号を、画像処理装置１３に送信する。
　以上のように、撮影デバイスVCは、実際の撮影装置と同様の画像調整を行う操作部を備えており、調整対象の画像は、ディスプレイ２１に表示されるレンダリング画像である。
　２台の撮影装置１１（１１－１，１１－２）それぞれは、現実空間RSの異なる位置に配置され、異なる方向から現実空間RSを撮影する。撮影装置１１は、撮影の結果得られる撮影画像をデバイス位置推定装置１２に供給する。撮影装置１１が撮影した撮影画像には、例えば、撮影デバイスVCの複数のマーカMKが含まれる。
　なお、図５の構成例では、画像処理システム１は、２台の撮影装置１１を含む構成とされているが、撮影装置１１の台数は、１台または３台以上であってもよい。現実空間RSを撮影する撮影装置１１の台数は多い方が、様々な方向から撮影デバイスVCのマーカMKを捉えることができ、撮影デバイスVCの位置および姿勢の検出精度が向上する。また、撮影装置１１が、撮影機能の他に、被写体までの距離を測定する測距機能を備えたり、撮影装置１１とは別の測距装置を設けてもよい。
　デバイス位置推定装置１２は、撮影デバイスVCのマーカMKをトラッキングし、撮影デバイスVCの位置および姿勢を推定する装置である。デバイス位置推定装置１２は、２台の撮影装置１１それぞれから供給される撮影画像に含まれるマーカMKを認識し、マーカMKの位置から、撮影デバイスVCの位置および姿勢を検出する。デバイス位置推定装置１２は、検出した撮影デバイスVCの位置および姿勢を示すデバイス位置姿勢情報を、画像処理装置１３に供給する。
　画像処理装置１３は、回避モード選択制御部３１、障害物検知部３２、仮想カメラ位置制御部３３、画像生成部３４、カメラログ記録部３５、記憶部３６、および、通信部３７を含んで構成される。
　回避モード選択制御部３１は、カメラマンOPが撮影デバイスVCの回避モードオンオフボタン４４および回避モード切替ボタン４５を操作して設定した、回避モードの有効無効、および、第１乃至第３の回避モードに関する情報を、通信部３７を介して取得し、取得された回避モードの設定情報に応じて、画像処理装置１３の各部を制御する。
　具体的には、回避モード選択制御部３１は、回避モードが無効に設定されている場合、回避処理を実行しないように、画像処理装置１３の各部を制御する。
　また、回避モード選択制御部３１は、回避モードが有効であり、第１の回避モードが選択されている場合、障害物の検知結果に応じて、画像生成部３４にアラート画面を生成させる。
　さらに、回避モード選択制御部３１は、回避モードが有効であり、第２の回避モードが選択されている場合、障害物の検知結果に応じて、障害物を透過処理させたVC画像を画像生成部３４に生成させる。
　また、回避モード選択制御部３１は、回避モードが有効であり、第３の回避モードが選択されている場合、障害物の検知結果に応じて、仮想カメラ位置制御部３３に、現実空間RSにおける撮影デバイスVCの位置に対応する仮想カメラの位置を変更させる。
　障害物検知部３２には、仮想カメラ位置制御部３３から、仮想カメラの位置および姿勢を示すカメラ位置姿勢情報が供給されるとともに、画像生成部３４から、仮想空間VSの３次元オブジェクトOBJの位置を示す位置情報が供給される。
　障害物検知部３２は、仮想カメラの位置および姿勢と、仮想空間VSの３次元オブジェクトOBJの位置とに基づいて、仮想カメラに対する仮想空間VS内の障害物を検知する。障害物検知の具体的方法については、図９および図１０を参照して後述する。障害物検知部３２は、障害物が検知された場合、障害物が検知されたことを示す情報を、回避モードに応じて、仮想カメラ位置制御部３３または画像生成部３４に供給する。
　障害物検知部３２は、回避モード選択制御部３１の制御の下、回避モードが有効の場合に障害物検知処理を行い、回避モードが無効の場合には障害物検知処理を行わない。
　仮想カメラ位置制御部３３は、デバイス位置推定装置１２から供給される、撮影デバイスVCの位置および姿勢を示すデバイス位置姿勢情報に基づいて、仮想カメラの位置および姿勢を特定する。
　仮想カメラ位置制御部３３は、基本的には、デバイス位置推定装置１２から供給される、撮影デバイスVCの位置および姿勢を、そのまま、仮想カメラの位置および姿勢とするカメラ位置姿勢情報を生成し、障害物検知部３２、画像生成部３４、および、カメラログ記録部３５に供給する。
　ただし、回避モード選択制御部３１によって、第３の回避モードが選択制御されている場合、仮想カメラ位置制御部３３は、障害物が検知されたとき、現実空間RSにおける撮影デバイスVCの位置の変化に対応する仮想カメラの位置の変化を変更する。
　画像生成部３４は、例えば図６に示した画面４１のような、撮影デバイスVCのディスプレイ２１に表示させる表示画像を生成する。例えば、画像生成部３４は、図６の画面４１のレンダリング画像表示部４２に表示されるVC画像、上面表示部４３に表示される上面画像などを生成する。
　画像生成部３４には、３次元オブジェクトOBJのデータである３Dオブジェクトデータが、記憶部３６から供給されるとともに、仮想カメラ位置制御部３３から、仮想カメラの位置および姿勢を示すカメラ位置姿勢情報が供給される。なお、記憶部３６に記憶されている複数の３Dオブジェクトデータのうち、どの３Dオブジェクトデータを再生するかは、ユーザが不図示の操作部で指定することにより決定される。
　画像生成部３４は、３Dオブジェクトデータに基づく３次元オブジェクトOBJの、仮想カメラの撮影範囲に対応する部分となるVC画像を生成する。また、回避モードとして第１の回避モードが選択実行されている場合、画像生成部３４は、回避モード選択制御部３１の制御にしたがい、障害物が検知されたとき、アラート画面を生成する。アラート画面は、例えば、生成したVC画像を赤色に変更するなど、表示方法を変更した画面でもよいし、生成したVC画像の上に、「障害物あり」のようなメッセージダイアログを重畳表示する画面でもよい。
　画像生成部３４は、図６の画面４１の上面表示部４３に表示される上面画像も生成する。生成されたVC画像と上面画像は、通信部３７を介して、撮影デバイスVCへ供給される。
　さらに、画像生成部３４は、仮想空間VS内の３次元オブジェクトOBJの位置を示す位置情報を生成し、障害物検知部３２へ供給する。
　カメラログ記録部３５は、仮想カメラ位置制御部３３から供給される、仮想カメラの位置および姿勢を示すカメラ位置姿勢情報を、仮想カメラの軌跡を示すログ情報として、記憶部３６に記録する（記憶させる）。
　記憶部３６は、複数の３Dオブジェクトデータを記憶し、不図示の操作部においてユーザによって指定された３Dオブジェクトデータを画像生成部３４に供給する。また、記憶部３６は、カメラログ記録部３５から供給される仮想カメラのログ情報を記憶する。
　通信部３７は、撮影デバイスVCの通信部２３が行う通信方式と対応する方式による通信を行う。通信部３７は、画像生成部３４で生成されたVC画像や上面画像を撮影デバイスVCへ送信するとともに、撮影デバイスVCから、回避モードオンオフボタン４４および回避モード切替ボタン４５の操作信号、並びに、操作スイッチ２２の操作信号を受信する。
　以上のように構成される画像処理システム１は、現実空間RS上のカメラマンOPが撮影デバイスVCで撮影した仮想空間VSの２次元画像を生成して、撮影デバイスVCのディスプレイ２１（のレンダリング画像表示部４２）に表示させる仮想空間撮影処理を実行する。
　以下、画像処理システム１が実行する仮想空間撮影処理について、さらに詳しく説明する。
＜３．画像処理システムの仮想空間撮影処理＞
＜回避モードが無効の場合＞
　初めに、図７のフローチャートを参照して、回避モードオンオフボタン４４により回避モードが無効に設定されている場合、換言すれば、仮想カメラと障害物との衝突を考慮しない場合の、仮想空間撮影処理について説明する。
　この処理は、例えば、画像処理装置１３の操作部において、画像処理システム１による仮想空間VSの撮影を開始する操作が行われた場合に開始される。なお、記憶部３６に記憶されている複数の３Dオブジェクトデータのうち、どの３Dオブジェクトデータを読み込み、仮想空間VSを形成するかは、図７の処理開始前の操作により決定されている。
　初めに、ステップＳ１において、複数の撮影装置１１それぞれは、現実空間RSにおいてカメラマンOPが操作している撮影デバイスVCを撮影し、その結果得られる撮影画像をデバイス位置推定装置１２へ供給する。
　ステップＳ２において、デバイス位置推定装置１２は、複数の撮影装置１１それぞれから供給された撮影画像に基づいて、撮影デバイスVCの位置および姿勢を推定する。より具体的には、デバイス位置推定装置１２は、複数の撮影装置１１それぞれから供給された撮影画像に写る複数のマーカMKを認識し、現実空間RSにおけるマーカMKの位置および姿勢を検出することにより、撮影デバイスVCの位置および姿勢を推定する。推定された撮影デバイスVCの位置および姿勢は、デバイス位置姿勢情報として、画像処理装置１３に供給される。
　ステップＳ３において、仮想カメラ位置制御部３３は、デバイス位置推定装置１２から供給された撮影デバイスVCの位置および姿勢に基づいて、仮想カメラの位置および姿勢を決定する。具体的には、仮想カメラ位置制御部３３は、デバイス位置推定装置１２から供給された撮影デバイスVCの位置および姿勢を、仮想カメラの位置および姿勢とし、仮想カメラの位置および姿勢を示すカメラ位置姿勢情報を、障害物検知部３２、画像生成部３４、および、カメラログ記録部３５に供給する。
　ステップＳ４において、画像生成部３４は、仮想カメラの撮影範囲に対応する仮想空間VSの２次元画像（VC画像）を生成するVC画像生成処理を実行する。
　ステップＳ５において、通信部３７は、画像生成部３４が生成した仮想空間VSの２次元画像を、撮影デバイスVCに送信する。
　ステップＳ６において、カメラログ記録部３５は、仮想カメラ位置制御部３３から供給された、仮想カメラの位置および姿勢を示すカメラ位置姿勢情報を、仮想カメラの軌跡を示すログ情報として、記憶部３６に記録する。
　ステップＳ５とＳ６の処理は、順番が逆でもよいし、並行して実行することもできる。
　ステップＳ７において、撮影デバイスVCのディスプレイ２１は、画像処理装置１３から送信されてきた仮想空間VSの２次元画像を、通信部２３を介して取得し、表示する。
　以上のステップＳ１乃至Ｓ７の一連の処理が、仮想空間VSの撮影を終了する操作が行われるまで、継続的に実行される。
＜回避モードが有効の場合＞
　次に、回避モードオンオフボタン４４により回避モードが有効に設定されている場合の仮想空間撮影処理について説明する。
　回避モードが有効に設定されている場合の仮想空間撮影処理は、図７の仮想空間撮影処理のフローチャートのステップＳ４で実行されるVC画像生成処理が、図８の障害物対応VC画像生成処理に置き換えられ、その他のステップＳ１乃至Ｓ３，Ｓ５乃至Ｓ７の処理は同じである。そこで、回避モードが有効に設定されている場合の図７の仮想空間撮影処理のステップＳ４の処理として実行される障害物対応VC画像生成処理について、図８のフローチャートを説明する。
　初めに、ステップＳ２１において、障害物検知部３２は、仮想カメラ位置制御部３３から供給されたカメラ位置姿勢情報と、画像生成部３４から供給された、仮想空間VSの３次元オブジェクトOBJの位置を示す位置情報を取得する。そして、障害物検知部３２は、仮想カメラの位置および姿勢と、仮想空間VSの３次元オブジェクトOBJの位置とに基づいて、仮想カメラに対する仮想空間VS内の障害物を検知する。
　ここで、図９および図１０を参照して、ステップＳ２１における障害物検知の判定方法について説明する。図９および図１０の説明では、簡単のため、例えば仮想カメラの「位置」のように「姿勢」を省略して説明するが、障害物検知の判定では、当然ながら、仮想カメラの位置だけでなく、姿勢も合わせて考慮して判定されている。
　障害物検知部３２は、例えば、図９および図１０に示される４通りの障害物判定処理を実行することにより、仮想空間VS内の仮想カメラに対して、障害物が存在するか否かを検知する。図９のA乃至Cの状態は、障害物を回避する回避処理を実行する前の状態であるので、撮影デバイスVCの位置が、そのまま、仮想カメラの位置に相当する。また、カメラマンOPの位置と撮影デバイスVCの位置は同一である。
　図９のAは、第１の障害物判定処理を説明する図である。
　第１の障害物判定処理では、障害物検知部３２は、仮想カメラ（撮影デバイスVC）の位置と、仮想空間VS内の３次元オブジェクトOBJの位置との関係に基づいて、障害物との衝突を判定する。
　具体的には、障害物検知部３２は、仮想カメラ（撮影デバイスVC）の位置を基準に所定範囲を、障害物との衝突範囲VCaとして設定し、衝突範囲VCa内に、仮想空間VSの所定の３次元オブジェクトOBJが含まれた場合に、その３次元オブジェクトOBJを障害物として検出する。
　図９のAの例では、仮想カメラが仮想空間VS上の位置POS11に存在し、衝突範囲VCa内に、３次元オブジェクトOBJである壁WAが存在するので、壁WAが障害物として検出される。
　図９のBは、第２の障害物判定処理を説明する図である。
　第２の障害物判定処理では、障害物検知部３２は、仮想カメラ（撮影デバイスVC）の位置および移動予測位置と、仮想空間VS内の３次元オブジェクトOBJの位置との関係に基づいて、障害物との衝突を判定する。
　具体的には、障害物検知部３２は、仮想カメラ（撮影デバイスVC）の所定時間前から現在までの移動経路に基づいて、仮想カメラが、現在の位置から所定時間後に移動する位置（移動予測位置）を予測する。そして、障害物検知部３２は、予測した移動予測位置の衝突範囲VCa内に、仮想空間VSの所定の３次元オブジェクトOBJが含まれた場合に、その３次元オブジェクトOBJを障害物として検出する。
　図９のBの例では、仮想カメラが、現在の位置POS12から、所定時間後に、位置POS13に移動することが予測され、位置POS13の衝突範囲VCa内に、３次元オブジェクトOBJである壁WAが存在するので、壁WAが障害物として検出される。
　図９のCは、第３の障害物判定処理を説明する図である。
　第３の障害物判定処理では、障害物検知部３２は、仮想カメラ（撮影デバイスVC）の位置と、仮想空間VS内で移動する３次元オブジェクトOBJの移動予測位置との関係に基づいて、障害物との衝突を判定する。
　具体的には、障害物検知部３２は、仮想空間VS内で移動する３次元オブジェクトOBJが移動物体として存在する場合に、移動物体の移動経路を予測する。そして、障害物検知部３２は、仮想カメラの衝突範囲VCa内に、予測した移動物体の移動経路が含まれた場合に、その３次元オブジェクトOBJを障害物として検出する。
　図９のCの例では、仮想カメラが仮想空間VS上の位置POS14に存在し、仮想カメラの衝突範囲VCa内に、移動物体としての人物OBJ１の移動経路が含まれるので、人物OBJ１が障害物として検出される。
　図１０は、第４の障害物判定処理を説明する図である。
　第４の障害物判定処理では、障害物との衝突はないが、注目対象被写体の撮影に障害となる物体を、障害物として検出する。
　例えば、図１０に示されるように、仮想カメラ（撮影デバイスVC）が、仮想空間VSに設けられた屋内の部屋の出入り口を通って、現在の位置POS21から、所定時間後に、屋外の位置POS22に移動した場合、仮想カメラが、位置POS22から、注目対象被写体である人物OBJ１を撮影すると、壁WAが存在するために、図３のBに示したようなVC画像が生成される。
　そこで、障害物検知部３２は、仮想カメラの位置、および、仮想空間VS内の撮影デバイスVCの注目対象被写体とその周囲の被写体である周囲被写体の位置関係に基づいて、障害物を検出する。
　具体的には、障害物検知部３２は、仮想カメラの撮影範囲となる視錐台RGの領域外、かつ、仮想カメラと注目対象被写体との間に、所定の３次元オブジェクトOBJが含まれた場合に、その３次元オブジェクトOBJを障害物として検出する。
　図１０の例では、仮想カメラが仮想空間VS上の位置POS22に存在し、仮想カメラの撮影範囲となる視錐台RGの領域外、かつ、仮想カメラと注目対象被写体である人物OBJ１との間に、壁WAが存在するので、壁WAが障害物として検出される。
　図８のフローチャートに戻り、ステップＳ２１において、障害物検知部３２は、以上の第１乃至第４の障害物判定処理を実行することにより、仮想カメラに対する仮想空間VS内の障害物を検知する。
　そして、ステップＳ２２において、障害物検知部３２は、障害物が検出されたかを判定する。
　ステップＳ２２で、障害物が検出されなかったと判定された場合、処理はステップＳ２３に進み、画像生成部３４は、仮想カメラの撮影範囲に対応する仮想空間VSの２次元画像（VC画像）を生成するVC画像生成処理を実行する。このVC画像生成処理は、図７のステップＳ４と同じ処理である。
　一方、ステップＳ２２で、障害物が検出されたと判定された場合、処理はステップＳ２４に進み、回避モード選択制御部３１は、回避モードとして、第１乃至第３の回避モードのいずれが選択されているかを判定する。
　ステップＳ２４で、回避モードとして第１の回避モードが選択されていると判定された場合、処理はステップＳ２５に進み、回避モードとして第２の回避モードが選択されていると判定された場合、処理はステップＳ２７に進み、回避モードとして第３の回避モードが選択されていると判定された場合、処理はステップＳ２９に進む。
　回避モードとして第１の回避モードが選択されている場合のステップＳ２５では、回避モード選択制御部３１は、障害物衝突のアラート画面を画像生成部３４に生成させる。画像生成部３４は、回避モード選択制御部３１の制御にしたがい、アラート画面を生成し、通信部３７を介して撮影デバイスVCへ送信する。アラート画面は、例えば、生成したVC画像を赤色に変更するなど文字等を含まない画面でもよいし、生成したVC画像の上に、「障害物あり」のようなメッセージダイアログを重畳表示する画面でもよい。
　ステップＳ２６において、画像生成部３４は、図７のステップＳ４と同じVC画像生成処理を実行する。
　一方、回避モードとして第２の回避モードが選択されている場合のステップＳ２７では、回避モード選択制御部３１は、検出された障害物を回避対象物として登録し、画像生成部３４に通知する。
　ステップＳ２８において、画像生成部３４は、回避モード選択制御部３１から通知された回避対象物に対しては透過処理を行い、仮想カメラの撮影範囲に対応する仮想空間VSの２次元画像（VC画像）を生成するVC画像生成処理を実行する。
　図１１および図１２を参照して、ステップＳ２８の処理である、透過処理を行ったVC画像生成処理について説明する。
　図１１は、カメラマンOPが、図１０で示した屋内の位置POS21から、屋外の位置POS22に移動した場合を水平方向から見た図である。
　屋外の位置POS22では、仮想カメラ（撮影デバイスVC）と注目対象被写体である人物OBJ１との間に、壁WAが存在するので、壁WAが障害物として検出され、壁WAが回避対象物として透過処理の対象とされる。この場合、壁WAを単純に透過処理するだけでは、仮想カメラは屋外にいるので、屋内の明るさが屋外の明るさに影響されたり（例えば、屋内が明るく写ってしまう）、屋外の地面や空が撮影範囲に写るなどの影響が起こり得る。
　このように、注目対象被写体が存在する第１の空間（屋内）と、仮想カメラが存在する第２の空間（屋外）とが異なる場合に、画像生成部３４は、回避対象物の透過処理に加えて、図１２に示されるように、注目対象被写体が存在する第１の空間の撮影条件（例えば、ホワイトバランスなど）および環境（例えば、床面や天井など）で、VC画像を生成する。より具体的には、画像生成部３４は、屋外の画像を、屋内の床面や天井を延長した画像に変更したり、ホワイトバランスを屋外の明るさではなく、屋内の明るさに変更するなど、仮想空間VSの環境を連続させる環境連続処理を行って、VC画像を生成する。
　図８に戻り、回避モードとして第３の回避モードが選択されている場合のステップＳ２９では、回避モード選択制御部３１は、障害物と接触しないように、現実空間RSにおける撮影デバイスVCの位置に対応する仮想カメラの位置を、仮想カメラ位置制御部３３に変更させる。
　図１３は、ステップＳ２９の処理として、仮想カメラ位置制御部３３が行う、撮影デバイスVCの位置に対応する仮想カメラの位置の変更制御の例を示している。
　例えば、デバイス位置推定装置１２によって推定された撮影デバイスVCの移動経路または予測経路が軌跡６１であり、撮影デバイスVCが障害物である壁WAに衝突する場面を想定する。
　仮想カメラ位置の第１の変更制御として、仮想カメラ位置制御部３３は、軌跡６２のように、障害物がある方向の位置の変化に対しては、仮想カメラの位置を変更しないように、仮想カメラの位置を制御する。図１３における横方向をX方向、縦方向をY方向とすると、軌跡６２は、壁WAに到達するまでは、撮影デバイスVCの位置（軌跡６１）と、仮想カメラの位置が一致しているが、壁WAに到達した後は、Y方向については、仮想カメラの位置は変更しない。
　あるいはまた、仮想カメラ位置の第２の変更制御として、仮想カメラ位置制御部３３は、軌跡６３のように、現実空間RSにおける撮影デバイスVCの移動量に対応する仮想カメラの移動量を変更する。具体的には、壁WAのある方向はY方向になるので、Y方向の撮影デバイスVCの移動量に対する、仮想カメラの移動量の比率が変更される。例えば、撮影デバイスVCの移動量に対する、仮想カメラの移動量を１／２に設定し、Y方向については、撮影デバイスVCの「１０」の移動量に対して、仮想カメラの移動量を「５」とする。
　図８のステップＳ２９における仮想カメラの位置の変更制御では、仮想カメラ位置制御部３３は、図１３で説明した、軌跡６２に対応する第１の変更制御か、または、軌跡６３に対応する第２の変更制御を行う。
　そして、図８のステップＳ３０において、画像生成部３４は、仮想カメラの位置が変更制御された後の仮想カメラの位置に基づく、仮想カメラの撮影範囲に対応する仮想空間VSの２次元画像（VC画像）を生成するVC画像生成処理を実行する。このVC画像生成処理は、図７のステップＳ４と同じ処理である。
　ステップＳ２３、Ｓ２６，Ｓ２８、または、Ｓ３０のVC画像生成処理が終了すると、図７のステップＳ５乃至Ｓ７が実行される。
　以上の障害物対応VC画像生成処理によれば、画像処理装置１３の障害物検知部３２が、仮想空間VSを撮影する撮影デバイスVCの現実空間RSにおける位置および姿勢を示すデバイス位置姿勢情報に基づいて特定される、現実空間RSに対応付けられた仮想空間VSにおける仮想カメラの位置及び姿勢を示すカメラ位置姿勢情報に基づいて、仮想カメラに対する仮想空間VS内の障害物を検知する。
　そして、障害物が検知された場合に、画像処理装置１３は、回避モード切替ボタン４５で選択された第１乃至第３の回避モードに応じて、第１乃至第３の回避処理を実行する。第１の回避モードが選択された場合には、画像処理装置１３は、障害物との衝突を通知するアラート画面を表示させる。第２の回避モードが選択された場合には、画像処理装置１３は、障害物を透過処理させたVC画像を生成し、表示させる。第３の回避モードが選択された場合には、画像処理装置１３は、撮影デバイスVCの位置に対応する仮想カメラの位置を変更し、仮想カメラが障害物に衝突しないようにする。
　これにより、カメラマンOPが、現実空間RSでは存在しない仮想空間VS内の障害物を検知することができ、本来、撮影したい対象と異なるものを撮影してしまうことを防止することができる。
　カメラマンOPは、撮影デバイスVCのディスプレイ２１に表示される回避モードオンオフボタン４４を操作することにより、第１乃至第３の回避モードの有効または無効を自由に切り替えることができる。また、回避モード切替ボタン４５を操作することにより、第１乃至第３の回避モードを自由に選択することができる。
　なお、上述した例では、第１の回避モードが選択された場合に、障害物との衝突を通知するアラート画面を撮影デバイスVCのディスプレイ２１に表示することにより、障害物が検知されたことを撮影デバイスVCのユーザであるカメラマンOPに通知することとしたが、障害物検知の通知方法は、これに限定されない。
　例えば、撮影デバイスVCの持ち手等を振動させることにより、障害物が検知されたことをカメラマンOPに通知したり、撮影デバイスVCからアラーム音を出力させることにより、障害物が検知されたことをカメラマンOPに通知してもよい。また、アラート画面の表示、撮影デバイスVCの振動、および、アラーム音の出力の２つ以上を同時に行ってもよい。障害物の検知を通知する通知方法として、撮影デバイスVCの持ち手等を振動させる場合には、撮影デバイスVCに、振動素子等が設けられる。また、障害物の検知を通知する通知方法として、アラーム音等を出力する場合には、撮影デバイスVCに、スピーカ等が設けられる。
　なお、回避モードが有効に設定され、障害物が検知されて、第１乃至第３の回避処理のいずれかが実行されているタイミングにおいて、画像処理装置１３の画像生成部３４は、「第２の回避処理を実行中」のように、所定の回避処理を実行中であることをディスプレイ２１に表示させるようにしてもよい。これにより、カメラマンOPが、回避処理が実行されていることを認識することができる。
＜４．画像処理システムの変形例＞
　図１４は、図５に示した画像処理システムの変形例を示すブロック図である。
　図１４の変形例において、図５に示した画像処理システム１と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　図１４の画像処理システム１は、撮影デバイスVC、２台の撮影装置１１（１１－１，１１－２）、および、画像処理装置１３により構成されており、図５に示したデバイス位置推定装置１２が、デバイス位置推定部１２Aとして、画像処理装置１３の一部として組み込まれている。
　このように、２台の撮影装置１１それぞれから供給される撮影画像に基づいて、撮影デバイスVCの位置および姿勢を推定する機能は、画像処理装置１３が備えるようにすることができる。
　この場合も、図５に示した画像処理システム１と同様の効果を奏することができる。すなわち、カメラマンOPにより選択された第１乃至第３の回避モードに応じて第１乃至第３の回避処理を実行することができ、カメラマンOPが、現実空間RSでは存在しない仮想空間VS内の障害物を検知することができる。これにより、本来、撮影したい対象と異なるものを撮影してしまうことを防止することができる。
＜５．撮影デバイスのみによる構成例＞
　図５および図１４の画像処理システム１は、撮影デバイスVCの位置および姿勢を、撮影装置１１で撮影した撮影画像に基づいて推定する、いわゆるアウトサイドイン方式の位置推定を採用した構成である。アウトサイドイン方式の場合には、トラキッキング用のセンサを、撮影デバイスVCの外部に用意する必要がある。
　これに対して、撮影デバイスVC自身が位置姿勢推定用のセンサを備え、デバイス自身が自分の位置姿勢を推定する、いわゆるインサイドアウト方式の位置推定を採用することもできる。この場合、画像処理装置１３の機能も撮影デバイスVC自身が備えるようにすることにより、上述した画像処理システム１で実現される機能を、１台の撮影デバイスVCのみで構成することができる。
　図１５は、画像処理システム１で実現される機能を、１台の撮影デバイスVCで実現する場合の、撮影デバイスVCの構成例を示すブロック図である。
　図１５において、図５に示した画像処理システム１と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　撮影デバイスVCは、タッチパネル付きディスプレイ２１、操作スイッチ２２、トラッキングセンサ８１、自己位置推定部８２、および、画像処理部８３を備える。
　画像処理部８３は、回避モード選択制御部３１、障害物検知部３２、仮想カメラ位置制御部３３、画像生成部３４、カメラログ記録部３５、および、記憶部３６を含んで構成される。
　図１５の撮影デバイスVCの構成を、図５の画像処理システム１の構成と比較すると、図１５の撮影デバイスVCには、図５の画像処理装置１３の構成が、画像処理部８３として設けられている。また、図１５の撮影デバイスVCでは、図５のマーカMK、通信部２３、および、通信部３７が省略されている。トラッキングセンサ８１は、図５の撮影装置１１－２および１１－２に対応し、自己位置推定部８２は、図５のデバイス位置推定装置１２に対応する。
　ディスプレイ２１は、画像生成部３４によって生成された表示画像を表示し、タッチパネルで検出されたカメラマンOPのタッチ操作に対応する操作信号を画像処理部８３に供給する。操作スイッチ２２は、カメラマンOPの操作に対応する操作信号を、画像処理部８３に供給する。
　トラッキングセンサ８１は、例えば、撮像センサ、慣性センサ等の少なくとも一つのセンサで構成される。トラッキングセンサ８１としての撮像センサは、撮影デバイスVCの周囲を撮影し、その結果得られる撮影画像を、センサ情報として、自己位置推定部８２に供給する。撮像センサは、全方位を撮像可能に複数設けることができる。また、撮像センサは、２つの撮像センサからなるステレオカメラでもよい。
　トラッキングセンサ８１としての慣性センサは、例えば、ジャイロセンサ、加速度センサ、磁気センサ、圧力センサ等のセンサで構成され、角速度、加速度等を計測し、センサ情報として、自己位置推定部８２に供給する。
　自己位置推定部８２は、トラッキングセンサ８１からのセンサ情報に基づいて、自身（撮影デバイスVC）の位置および姿勢を推定（検出）する。例えば、自己位置推定部８２は、トラッキングセンサ８１としての撮像センサが撮影した撮影画像の特徴点を用いて、Visual-SLAM（Simultaneous Localization and Mapping）により、自身の位置および姿勢を推定する。さらに、ジャイロセンサ、加速度センサ、磁気センサ、圧力センサ等の慣性センサが設けられている場合には、それらのセンサ情報も用いることで、高精度に自己位置および姿勢を推定することができる。自己位置推定部８２は、推定した自身の位置および姿勢を示すデバイス位置姿勢情報を、画像処理部８３の仮想カメラ位置制御部３３に供給する。
　以上のような構成を有する撮影デバイスVCは、図５の画像処理システム１で実現される機能を、内部処理のみで実現することができる。すなわち、カメラマンOPにより選択された第１乃至第３の回避モードに応じて第１乃至第３の回避処理を実行することができ、カメラマンOPが、現実空間RSでは存在しない仮想空間VS内の障害物を検知することができる。これにより、本来、撮影したい対象と異なるものを撮影してしまうことを防止することができる。
　なお、上述した例では、第１乃至第３の回避モードのなかから、所定の１つを選択し、選択された１つの回避モードに対応する回避処理を実行する例としたが、第１の回避モードは、第２の回避モードまたは第３の回避モードと同時に選択、実行できるようにしてもよい。
　例えば、第１の回避モードと第２の回避モードの両方が選択された場合、障害物が検知されると、アラート画面がディスプレイ２１に表示され、さらに、カメラマンOPが壁WAの外側に移動すると、画像処理装置１３（または画像処理部８３）は、壁WAを透過処理させたVC画像を生成し、ディスプレイ２１に表示させる。
　例えば、第１の回避モードと第３の回避モードの両方が選択された場合、障害物が検知されると、アラート画面がディスプレイ２１に表示され、さらに、カメラマンOPが壁WAに近づくと、画像処理装置１３（または画像処理部８３）は、Y方向の撮影デバイスVCの移動量と、仮想カメラの移動量との比率を変更し、仮想カメラの位置が壁WAに到達しないように制御する。
＜６．コンピュータ構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
　入力部１０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部１０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部１０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
　以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
　本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した実施の形態の全てまたは一部を適宜組み合わせた形態を採用することができる。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は、以下の構成を取ることができる。
（１）
　仮想空間を撮影する撮影デバイスの現実空間における位置及び姿勢を示すデバイス位置姿勢情報に基づいて特定される、前記現実空間に対応付けられた仮想空間における仮想カメラの位置及び姿勢を示すカメラ位置姿勢情報に基づいて、前記仮想カメラに対する前記仮想空間内の障害物を検知する検知部を備える
　画像処理装置。
（２）
　前記検知部は、前記カメラ位置姿勢情報と、前記仮想空間内の物体の位置との関係に基づいて、前記仮想空間内の障害物を検知する
　前記（１）に記載の画像処理装置。
（３）
　前記検知部は、前記カメラ位置姿勢情報および前記仮想カメラの移動予測位置情報と、前記仮想空間内の物体の位置との関係に基づいて、前記仮想空間内の障害物を検知する
　前記（１）または（２）に記載の画像処理装置。
（４）
　前記検知部は、前記カメラ位置姿勢情報と、前記仮想空間内で移動する物体の移動予測位置情報との関係に基づいて、前記仮想空間内の障害物を検知する
　前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
　前記検知部は、前記カメラ位置姿勢情報、および、前記仮想空間内の前記仮想カメラの注目対象被写体とその周囲の被写体である周囲被写体の位置関係に基づいて、前記仮想空間内の障害物を検知する
　前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
　前記検知部により前記障害物が検知されたことを前記撮影デバイスのユーザに通知する通知部をさらに備える
　前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
　前記通知部は、前記撮影デバイスを振動させることにより、前記障害物が検知されたことを前記撮影デバイスのユーザに通知する
　前記（６）に記載の画像処理装置。
（８）
　前記通知部は、前記撮影デバイスの表示部の表示方法を変更することにより、前記障害物が検知されたことを前記撮影デバイスのユーザに通知する
　前記（６）または（７）に記載の画像処理装置。
（９）
　前記通知部は、前記撮影デバイスの表示部にメッセージを表示させることにより、前記障害物が検知されたことを前記撮影デバイスのユーザに通知する
　前記（６）乃至（８）のいずれかに記載の画像処理装置。
（１０）
　前記通知部は、前記撮影デバイスから音を出力させることにより、前記障害物が検知されたことを前記撮影デバイスのユーザに通知する
　前記（６）乃至（９）のいずれかに記載の画像処理装置。
（１１）
　前記仮想カメラの撮影範囲に対応する前記仮想空間の画像を生成する画像生成部をさらに備える
　前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
　前記画像生成部は、前記検知部により前記障害物が検知された場合に、前記障害物を透過処理した前記仮想空間の画像を生成する
　前記（１１）に記載の画像処理装置。
（１３）
　前記画像生成部は、前記仮想カメラの撮影対象物体が存在する第１の空間と、前記仮想カメラが存在する第２の空間の撮影条件が異なる場合に、前記第１の空間の撮影条件で前記仮想空間の画像を生成する
　前記（１１）または（１２）に記載の画像処理装置。
（１４）
　前記画像生成部は、前記仮想カメラの撮影対象物体が存在する第１の空間と、前記仮想カメラが存在する第２の空間が異なる場合に、前記第１の空間で前記仮想空間の画像を生成する
　前記（１１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
　前記撮影デバイスの現実空間における位置に対応する前記仮想カメラの位置を特定する仮想カメラ位置制御部をさらに備え、
　前記仮想カメラ位置制御部は、前記検知部により前記障害物が検知された場合に、前記現実空間における前記撮影デバイスの位置の変化に対応する前記仮想カメラの位置の変化を変更する
　前記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）
　前記仮想カメラ位置制御部は、前記検知部により前記障害物が検知された場合に、前記現実空間における前記撮影デバイスの所定方向の位置の変化に対して、前記仮想カメラの位置を変化させないように制御する
　前記（１５）に記載の画像処理装置。
（１７）
　前記仮想カメラ位置制御部は、前記検知部により前記障害物が検知された場合に、前記現実空間における前記撮影デバイスの移動量に対応する前記仮想カメラの移動量を変更する
　前記（１５）に記載の画像処理装置。
（１８）
　前記検知部により検知された前記障害物の回避方法を選択する選択部をさらに備える
　前記（１）乃至（１７）のいずれかに記載の画像処理装置。
（１９）
　画像処理装置が、
　仮想空間を撮影する撮影デバイスの現実空間における位置及び姿勢を示すデバイス位置姿勢情報に基づいて特定される、前記現実空間に対応付けられた仮想空間における仮想カメラの位置及び姿勢を示すカメラ位置姿勢情報に基づいて、前記仮想カメラに対する前記仮想空間内の障害物を検知する
　画像処理方法。
（２０）
　コンピュータに、
　仮想空間を撮影する撮影デバイスの現実空間における位置及び姿勢を示すデバイス位置姿勢情報に基づいて特定される、前記現実空間に対応付けられた仮想空間における仮想カメラの位置及び姿勢を示すカメラ位置姿勢情報に基づいて、前記仮想カメラに対する前記仮想空間内の障害物を検知する処理
　を実行させるためのプログラム。
（２１）
　仮想空間を撮影する撮影デバイスの現実空間における位置及び姿勢を示すデバイス位置姿勢情報に基づいて特定される、前記現実空間に対応付けられた仮想空間における仮想カメラの位置及び姿勢を示すカメラ位置姿勢情報に基づいて、前記仮想空間内の前記仮想カメラに対する障害物を検知したときの前記障害物の回避方法を選択する選択部と、
　前記仮想カメラの撮影範囲に対応する前記仮想空間の画像を表示する表示部と、
　前記仮想カメラの画像の調整操作を行う操作部と
　を備える撮影デバイス。
　VC　撮影デバイス，　VS　仮想空間，　RS　現実空間，　WA　壁，　OBJ　３次元オブジェクト，　OP　カメラマン，　VCa　衝突範囲，　１　画像処理システム，　１１　撮影装置，　１２　デバイス位置推定装置，　１３　画像処理装置，　２１　ディスプレイ，　２２　操作スイッチ，　３１　回避モード選択制御部，　３２　障害物検知部，　３３　仮想カメラ位置制御部，　３４　画像生成部，　３５　カメラログ記録部，　３６　記憶部，　４２　レンダリング画像表示部，　４３　上面表示部，　４４　回避モードオンオフボタン，　４５　回避モード切替ボタン，　８１　トラッキングセンサ，　８２　自己位置推定部，　８３　画像処理部，　１０１　CPU，　１０２　ROM，　１０３　RAM，　１０６　入力部，　１０７　出力部，　１０８　記憶部，　１０９　通信部，　１１０　ドライブ

Claims (20)

  1. 　仮想空間を撮影する撮影デバイスの現実空間における位置及び姿勢を示すデバイス位置姿勢情報に基づいて特定される、前記現実空間に対応付けられた仮想空間における仮想カメラの位置及び姿勢を示すカメラ位置姿勢情報に基づいて、前記仮想カメラに対する前記仮想空間内の障害物を検知する検知部を備える
    　画像処理装置。
  2. 　前記検知部は、前記カメラ位置姿勢情報と、前記仮想空間内の物体の位置との関係に基づいて、前記仮想空間内の障害物を検知する
    　請求項１に記載の画像処理装置。
  3. 　前記検知部は、前記カメラ位置姿勢情報および前記仮想カメラの移動予測位置情報と、前記仮想空間内の物体の位置との関係に基づいて、前記仮想空間内の障害物を検知する
    　請求項１に記載の画像処理装置。
  4. 　前記検知部は、前記カメラ位置姿勢情報と、前記仮想空間内で移動する物体の移動予測位置情報との関係に基づいて、前記仮想空間内の障害物を検知する
    　請求項１に記載の画像処理装置。
  5. 　前記検知部は、前記カメラ位置姿勢情報、および、前記仮想空間内の前記仮想カメラの注目対象被写体とその周囲の被写体である周囲被写体の位置関係に基づいて、前記仮想空間内の障害物を検知する
    　請求項１に記載の画像処理装置。
  6. 　前記検知部により前記障害物が検知されたことを前記撮影デバイスのユーザに通知する通知部をさらに備える
    　請求項１に記載の画像処理装置。
  7. 　前記通知部は、前記撮影デバイスを振動させることにより、前記障害物が検知されたことを前記撮影デバイスのユーザに通知する
    　請求項６に記載の画像処理装置。
  8. 　前記通知部は、前記撮影デバイスの表示部の表示方法を変更することにより、前記障害物が検知されたことを前記撮影デバイスのユーザに通知する
    　請求項６に記載の画像処理装置。
  9. 　前記通知部は、前記撮影デバイスの表示部にメッセージを表示させることにより、前記障害物が検知されたことを前記撮影デバイスのユーザに通知する
    　請求項６に記載の画像処理装置。
  10. 　前記通知部は、前記撮影デバイスから音を出力させることにより、前記障害物が検知されたことを前記撮影デバイスのユーザに通知する
    　請求項６に記載の画像処理装置。
  11. 　前記仮想カメラの撮影範囲に対応する前記仮想空間の画像を生成する画像生成部をさらに備える
    　請求項１に記載の画像処理装置。
  12. 　前記画像生成部は、前記検知部により前記障害物が検知された場合に、前記障害物を透過処理した前記仮想空間の画像を生成する
    　請求項１１に記載の画像処理装置。
  13. 　前記画像生成部は、前記仮想カメラの撮影対象物体が存在する第１の空間と、前記仮想カメラが存在する第２の空間の撮影条件が異なる場合に、前記第１の空間の撮影条件で前記仮想空間の画像を生成する
    　請求項１２に記載の画像処理装置。
  14. 　前記画像生成部は、前記仮想カメラの撮影対象物体が存在する第１の空間と、前記仮想カメラが存在する第２の空間が異なる場合に、前記第１の空間で前記仮想空間の画像を生成する
    　請求項１２に記載の画像処理装置。
  15. 　前記撮影デバイスの現実空間における位置に対応する前記仮想カメラの位置を特定する仮想カメラ位置制御部をさらに備え、
    　前記仮想カメラ位置制御部は、前記検知部により前記障害物が検知された場合に、前記現実空間における前記撮影デバイスの位置の変化に対応する前記仮想カメラの位置の変化を変更する
    　請求項１に記載の画像処理装置。
  16. 　前記仮想カメラ位置制御部は、前記検知部により前記障害物が検知された場合に、前記現実空間における前記撮影デバイスの所定方向の位置の変化に対して、前記仮想カメラの位置を変化させないように制御する
    　請求項１５に記載の画像処理装置。
  17. 　前記仮想カメラ位置制御部は、前記検知部により前記障害物が検知された場合に、前記現実空間における前記撮影デバイスの移動量に対応する前記仮想カメラの移動量を変更する
    　請求項１５に記載の画像処理装置。
  18. 　前記検知部により検知された前記障害物の回避方法を選択する選択部をさらに備える
    　請求項１に記載の画像処理装置。
  19. 　画像処理装置が、
    　仮想空間を撮影する撮影デバイスの現実空間における位置及び姿勢を示すデバイス位置姿勢情報に基づいて特定される、前記現実空間に対応付けられた仮想空間における仮想カメラの位置及び姿勢を示すカメラ位置姿勢情報に基づいて、前記仮想カメラに対する前記仮想空間内の障害物を検知する
    　画像処理方法。
  20. 　コンピュータに、
    　仮想空間を撮影する撮影デバイスの現実空間における位置及び姿勢を示すデバイス位置姿勢情報に基づいて特定される、前記現実空間に対応付けられた仮想空間における仮想カメラの位置及び姿勢を示すカメラ位置姿勢情報に基づいて、前記仮想カメラに対する前記仮想空間内の障害物を検知する処理
    　を実行させるためのプログラム。
PCT/JP2021/014705 2020-04-21 2021-04-07 画像処理装置、画像処理方法、および、プログラム WO2021215246A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/908,771 US20230130815A1 (en) 2020-04-21 2021-04-07 Image processing apparatus, image processing method, and program
CN202180017228.XA CN115176286A (zh) 2020-04-21 2021-04-07 图像处理装置、图像处理方法和程序
JP2022516945A JPWO2021215246A1 (ja) 2020-04-21 2021-04-07

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020075333 2020-04-21
JP2020-075333 2020-04-21

Publications (1)

Publication Number Publication Date
WO2021215246A1 true WO2021215246A1 (ja) 2021-10-28

Family

ID=78269155

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/014705 WO2021215246A1 (ja) 2020-04-21 2021-04-07 画像処理装置、画像処理方法、および、プログラム

Country Status (4)

Country Link
US (1) US20230130815A1 (ja)
JP (1) JPWO2021215246A1 (ja)
CN (1) CN115176286A (ja)
WO (1) WO2021215246A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3141737B2 (ja) * 1995-08-10 2001-03-05 株式会社セガ 仮想画像生成装置及びその方法
JP2012063958A (ja) * 2010-09-15 2012-03-29 Copcom Co Ltd ゲームプログラム、及びゲーム装置
JP2017211912A (ja) * 2016-05-27 2017-11-30 株式会社コロプラ 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP2018171309A (ja) * 2017-03-31 2018-11-08 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3141737B2 (ja) * 1995-08-10 2001-03-05 株式会社セガ 仮想画像生成装置及びその方法
JP2012063958A (ja) * 2010-09-15 2012-03-29 Copcom Co Ltd ゲームプログラム、及びゲーム装置
JP2017211912A (ja) * 2016-05-27 2017-11-30 株式会社コロプラ 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP2018171309A (ja) * 2017-03-31 2018-11-08 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム

Also Published As

Publication number Publication date
CN115176286A (zh) 2022-10-11
JPWO2021215246A1 (ja) 2021-10-28
US20230130815A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
US11989826B2 (en) Generating a three-dimensional model using a portable electronic device recording
JP6062039B2 (ja) 画像処理システムおよび画像処理用プログラム
US20100188397A1 (en) Three dimensional navigation using deterministic movement of an electronic device
JP6788845B2 (ja) 遠隔通信方法、遠隔通信システム及び自律移動装置
US10978019B2 (en) Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
EP3528024B1 (en) Information processing device, information processing method, and program
JP6939801B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5013398B2 (ja) 複合現実感システムとそのイベント入力方法
JP2019211337A (ja) 情報処理装置、システム、情報処理方法及びプログラム
JP6593922B2 (ja) 画像監視システム
JPWO2009119288A1 (ja) コミュニケーションシステム及びコミュニケーションプログラム
WO2021215246A1 (ja) 画像処理装置、画像処理方法、および、プログラム
JPWO2014102995A1 (ja) モニタリングシステム、方法およびプログラムを記憶した情報記録媒体
WO2021002116A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2008041013A (ja) 画像表示制御装置、画像表示方法及びプログラム
JP2004336569A (ja) 移動体監視システム、及び移動体監視方法
US10182206B2 (en) Image display system and image display method
JP2021022075A (ja) 映像表示制御装置、方法およびプログラム
CN106856558B (zh) 具有摄影机自动调派功能的3d影像监控***及其监控方法
WO2022196069A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2024147194A1 (ja) 情報処理装置および情報処理方法
US20240020927A1 (en) Method and system for optimum positioning of cameras for accurate rendering of a virtual scene
JP2018036847A (ja) 情報処理システム
KR102096883B1 (ko) 광고 제공방법 및 이를 수행하는 시스템
JP2010182138A (ja) システム設計支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21792098

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022516945

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202217053512

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21792098

Country of ref document: EP

Kind code of ref document: A1