WO2019012817A1 - 画像処理装置、画像処理装置の画像処理方法、プログラム - Google Patents
画像処理装置、画像処理装置の画像処理方法、プログラム Download PDFInfo
- Publication number
- WO2019012817A1 WO2019012817A1 PCT/JP2018/020129 JP2018020129W WO2019012817A1 WO 2019012817 A1 WO2019012817 A1 WO 2019012817A1 JP 2018020129 W JP2018020129 W JP 2018020129W WO 2019012817 A1 WO2019012817 A1 WO 2019012817A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- viewpoint
- subject
- image
- virtual viewpoint
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5258—Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
Definitions
- the present technology is an image processing apparatus that generates an observation image from a viewpoint in a three-dimensional space as a virtual viewpoint image based on three-dimensional information representing the imaged subject in a three-dimensional space, a method thereof, and a virtual
- the present invention relates to the technical field of a program for generating a viewpoint image.
- a technology for generating a virtual viewpoint image (also referred to as a free viewpoint image or a free viewpoint image) corresponding to an observation image from an arbitrary viewpoint in a three-dimensional space based on three-dimensional information representing the imaged subject in a three-dimensional space It has been known.
- Patent Document 1 a 3D model is generated based on images captured by a plurality of imaging devices, a viewpoint is set so that a portion of interest of a subject (person) can be seen on the image, and a virtual viewpoint image is generated by the set viewpoint.
- a viewpoint is set so that a portion of interest of a subject (person) can be seen on the image
- a virtual viewpoint image is generated by the set viewpoint.
- a virtual viewpoint image it is possible to freely move the viewpoint, and in particular, in a virtual viewpoint image as a moving image, it is possible to provide a highly realistic image in which the viewpoint dynamically changes with the passage of time.
- an image editor or the like generally manually performs viewpoint setting of a virtual viewpoint image. This increases the work load for generating a virtual viewpoint image and is not desirable.
- the present technology has been made in view of the above-described circumstances, and aims to reduce the work load involved in generating a virtual viewpoint image.
- An image processing apparatus generates a virtual viewpoint image generation unit that generates an observation image from a viewpoint in the three-dimensional space as a virtual viewpoint image based on three-dimensional information representing the imaged subject in three-dimensional space.
- the virtual viewpoint image generation unit sets the viewpoint following the movement of the subject.
- the image processing apparatus includes a subject analysis unit that acquires analysis information of the subject based on the three-dimensional information, and the virtual viewpoint image generation unit is configured to calculate the virtual viewpoint based on the analysis information. It is desirable to set a reference position used to set the viewpoint of the image.
- the image processing apparatus includes a three-dimensional information generation unit that generates the three-dimensional information based on imaging information including imaging images of a plurality of imaging devices and imaging conditions corresponding to the imaging images. Is desirable.
- imaging information including imaging images of a plurality of imaging devices and imaging conditions as described above, appropriate three-dimensional information can be obtained.
- the virtual viewpoint image generation unit sets the reference position to the physical center of the person.
- the physical center means, for example, the physical center of the person, such as the center between the shoulders of the person, the upper and lower center of the torso, the center of the face, or the center of the foot.
- the virtual viewpoint image generation unit set the viewpoint based on position information of the subject.
- the virtual viewpoint image generation unit sets the viewpoint based on attribute information of the subject.
- the virtual viewpoint image generation unit set the viewpoint based on area information designated in the three-dimensional space.
- the virtual viewpoint image generation unit set the viewpoint based on an operation input.
- the image processing apparatus includes a display unit that displays the virtual viewpoint image, and the display unit sequentially displays a plurality of the virtual viewpoint images different in setting method of the viewpoint as candidate viewpoint images.
- the virtual viewpoint image generation unit sets the viewpoint based on a selection operation for the candidate viewpoint image.
- the image processing apparatus includes a display unit that displays the virtual viewpoint image, and the display unit arranges and displays a plurality of virtual viewpoint images different in setting method of the viewpoint as candidate viewpoint images.
- the virtual viewpoint image generation unit sets the viewpoint based on a selection operation for the candidate viewpoint image.
- the virtual viewpoint image generation unit can switch between the viewpoint for observing the object and the viewpoint for observing the object from the object as the viewpoint. .
- the virtual viewpoint image generation unit set the viewpoint along a spherical surface that covers the periphery of the subject according to an operation.
- the virtual viewpoint image generation unit sets, as the viewpoint, a first-person viewpoint that is a viewpoint for observing the outside from the subject.
- the virtual viewpoint image generation unit select the setting method of the gaze direction based on the acquisition situation and the change speed of the direction of the subject.
- the gaze direction is set without using the analysis information, etc. It is possible to set the gaze direction according to the change speed of the direction of the subject.
- the virtual viewpoint image generation unit set the gaze direction based on the acquisition situation and the traveling direction of the subject.
- a person is targeted as the subject, and the virtual viewpoint image generation unit sets, as the viewpoint, a first-person viewpoint that is a viewpoint for observing the outside from the subject. And setting a line of sight direction from the viewpoint based on analysis information on the direction of the subject, and performing a process for notifying the user of information according to a deviation between the line of sight direction and the direction of the line of sight of the subject It is desirable to include a processing unit.
- the notification of the information according to the deviation between the line of sight direction and the direction of the line of sight of the subject as described above makes it easy for the user to align the line of sight direction of the virtual viewpoint image with the direction of the line of sight of the subject.
- the notification processing unit displays, along with the virtual viewpoint image, gaze matching guide information for causing the gaze direction of the virtual viewpoint image to coincide with the direction of the gaze of the subject. It is desirable to carry out
- the user can easily adjust the line-of-sight direction of the virtual viewpoint image to the direction of the line of sight of the subject.
- the notification processing unit estimates the field of view of the subject based on the direction of the line of sight of the subject, and the overlapping portion with the field of view of the subject in the virtual viewpoint image does not overlap It is desirable to perform processing to display both parts in different display modes for the parts.
- three-dimensional information representing the imaged subject in three-dimensional space is acquired, and based on the three-dimensional information, the observation image from the viewpoint in the three-dimensional space is virtualized. It is an image processing method of an image processing apparatus that generates a viewpoint image and sets the viewpoint following the movement of the subject when generating the virtual viewpoint image.
- a program acquires three-dimensional information representing the imaged subject in three-dimensional space, and based on the three-dimensional information, a virtual viewpoint image of an observation image from a viewpoint in the three-dimensional space
- the program causes the computer device to execute setting of the viewpoint following the movement of the subject when generating the virtual viewpoint image.
- the image processing apparatus is realized by such a program.
- the present technology it is possible to reduce the work load involved in generating a virtual viewpoint image.
- the effect described here is not necessarily limited, and may be any effect described in the present disclosure.
- FIG. 1 It is a figure for demonstrating the setting example of the viewpoint and the gaze direction corresponding to "the viewpoint which observes outward from a to-be-photographed object" in embodiment. It is explanatory drawing about the display method of several candidate viewpoint images. It is explanatory drawing about the easy setting mode in embodiment. It is the flowchart which showed the procedure of the concrete processing for realizing the viewpoint setting method as an embodiment. It is explanatory drawing of the example of a setting corresponding to, when acquiring the image which tracks a several player's motion as a virtual viewpoint image. It is a figure for demonstrating the modification about the viewpoint setting with respect to one attention object. It is explanatory drawing about the setting method of the gaze direction in a 2nd modification. FIG.
- FIG. 14 is a diagram showing an example of a setting method of the gaze direction when the subject is in a moving state when only the direction of the face can be acquired. It is an explanatory view about a subject's body direction.
- FIG. 14 is a diagram showing an example of a method of setting a gaze direction when the subject is in a moving state when both of the face orientation and the posture can be acquired. It is the flowchart which showed the procedure of the concrete processing which should be performed in order to realize setting of the direction of gaze as the 2nd modification. It is explanatory drawing about the structure of the image processing system as a 3rd modification.
- FIG. 7 is a diagram illustrating the relationship between the visual field of the subject and the visual field of the user in the case where a shift between the gaze direction and the direction of the gaze occurs. It is explanatory drawing about an example of the information alerting
- FIG. 1 schematically shows an overall configuration of an operating room system.
- FIG. 33 It is a figure which shows the example of a display of the operation screen in a concentration operation panel. It is a figure which shows an example of the mode of the surgery to which the operating room system was applied. It is a block diagram which shows an example of a function structure of the camera head shown in FIG. 33, and CCU. It is a block diagram showing an example of rough composition of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part.
- FIG. 1 shows a configuration example of an image processing system 100 including an image processing apparatus 1 as an embodiment according to the present technology.
- the image processing system 100 includes, in addition to the image processing device 1, a plurality of imaging devices 2, an image recording device 3, a parameter recording device 4, a calibration device 5, an input device 6, a display device 7, and an image recording
- a virtual viewpoint image also referred to as a free viewpoint image or a free viewpoint image
- Each imaging device 2 is configured as a digital camera device having an imaging element such as, for example, a CCD (Charge Coupled Devices) sensor or a CMOS (Complementary Metal-Oxide-Semiconductor) sensor, and a captured image as captured digital data (captured image data) Get
- each imaging device 2 obtains a captured image by a moving image.
- each imaging device 2 images a state in which a ball game such as basketball or soccer is being performed, and each image pickup device 2 is arranged in a predetermined direction at a predetermined position in a competition hall where the ball game is held.
- the number of imaging devices 2 is three or more, but the number of imaging devices 2 may be at least two or more in order to enable generation of virtual viewpoint images.
- the accuracy of three-dimensional restoration of the subject can be improved, and the image quality of the virtual viewpoint image can be improved.
- the image recording apparatus 3 includes, for example, a data recording unit such as a solid state drive (SSD) or a hard disk drive (HDD), and a control unit that controls data recording and reproduction with respect to the data recording unit.
- a data recording unit such as a solid state drive (SSD) or a hard disk drive (HDD)
- HDD hard disk drive
- a captured image is recorded, and the recorded captured image is transmitted to an external device (image processing device 1 in this example) in response to a request.
- the generation process of the virtual viewpoint image based on the captured image does not necessarily need to be performed at the imaging site (the competition venue in this example). It becomes possible to browse the image at any timing.
- this recording is not necessarily essential when the generation processing of the virtual viewpoint image is performed at the imaging site, and the captured image of each imaging device 2 may be directly transmitted to the image processing device 1. In that case, it is possible to speed up the generation of the virtual viewpoint image as the recording process in the image recording device 3 is omitted.
- a time code is attached to an image captured by each imaging device 2, and frame synchronization can be performed in post-stage processing in the image processing device 1.
- the parameter recording device 4 includes, for example, a data recording unit such as an SSD or an HDD, and a control unit that performs data recording / reproduction control for the data recording unit, records internal camera parameters acquired from each imaging device 2, and records The internal camera parameters are transmitted to the external device (in this example, the calibration device 5) in response to a request.
- the external device in this example, the calibration device 5
- information such as the focal length of the camera, the aspect ratio of the pixel, and the lens distortion is acquired as the camera internal parameters.
- the parameter recording device 4 associates the camera internal parameters with the identification information of the acquisition source imaging device 2 and the time code, and records them.
- the calibration device 5 performs calibration on the basis of camera internal parameters acquired from the parameter storage device 4.
- the 3D model generation unit 11 described later detects a point that is commonly observed among the plurality of imaging devices 2 and restores the three-dimensional structure of the subject based on the principle of triangulation.
- the calibration here is a process of obtaining camera parameters for enhancing the accuracy of such three-dimensional restoration of the subject.
- the calibration device 5 extracts camera parameters representing the position and imaging direction (line of sight direction) of each imaging device 2 based on the acquired camera internal parameters.
- the extracted camera parameter is transferred to the image processing apparatus 1 in a state in which it can be identified as to which imaging device 2 it is.
- the above-described camera parameters correspond to information representing “the imaging condition corresponding to the captured image” in the present technology, and the position and the imaging direction of each of the above-described imaging devices 2 “the imaging corresponding to the captured image “Condition” is an example of “condition”.
- the parameter recording device 4 by recording the camera internal parameters by the parameter recording device 4 as described above, it becomes possible to perform viewing of the virtual viewpoint image at an arbitrary timing as in the case of the image recording device 3 described above.
- the provision of the parameter recording device 4 is not essential, and the camera internal parameters may be directly transmitted from the imaging devices 2 to the calibration device 5.
- the input device 6 is a device for performing an operation input to the image processing device 1 (virtual viewpoint image generation unit 13), for example, an operation unit 61 having necessary operators such as various keys and buttons, and an image display And a display unit 62 having a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display.
- the operation unit 61 in the present example has a touch panel 61 a that enables a user to perform a touch operation as an operation element.
- the touch panel 61a is formed on the display screen of the display unit 62, and the user can input various information by a touch operation on the display screen.
- the display unit 62 displays various types of information generated by the input device 6 and information input from the image processing apparatus 1.
- the input device 6 transmits the operation information by the user obtained by the operation unit 61 to the image processing apparatus 1.
- the image processing apparatus 1 includes a 3D model generation unit 11, a subject analysis unit 12, and a virtual viewpoint image generation unit 13.
- the 3D model generation unit 11, the subject analysis unit 12, and the virtual viewpoint image generation unit 13 are configured as an image processing processor such as a DSP (Digital Signal Processor) that the image processing apparatus 1 has.
- DSP Digital Signal Processor
- the 3D model generation unit 11 represents the subject in a three-dimensional space based on the captured image by each imaging device 2 input from the image recording device 3 and the camera parameter for each imaging device 2 input from the calibration device 5.
- 3D model data is generated (that is, the three-dimensional structure of the subject is restored from the two-dimensional image).
- 3D model data includes data representing an object in a three-dimensional coordinate system by (X, Y, Z).
- the 3D model data generated by the 3D model generation unit 11 is input to the subject analysis unit 12 and the virtual viewpoint image generation unit 13.
- a captured image by each imaging device 2 input by the 3D model generation unit 11 to generate 3D model data and a camera parameter for each imaging device 2 correspond to an example of “imaging information” in the present technology.
- the 3D model data described above corresponds to an example of “three-dimensional information” representing the imaged subject in three-dimensional space.
- the subject analysis unit 12 analyzes the position, orientation, and posture of a subject as a person (player) based on 3D model data. Specifically, the subject analysis unit 12 estimates the position of the subject, generates a simple model of the subject, and estimates the direction of the subject (in this example, the direction of the face). Further, the subject analysis unit 12 of the present example also performs subject identification processing. Specifically, player identification and competition ball identification are performed. In addition, the process for the production
- the competition ball can be identified, for example, by matching processing with a reference template based on the shape, size, etc. of the subject.
- the virtual viewpoint image generation unit 13 generates a virtual viewpoint image based on 3D model data input from the 3D model generation unit 11 and subject analysis information (hereinafter referred to as “subject analysis information Ia”) by the subject analysis unit 12.
- subject analysis information Ia subject analysis information
- the virtual viewpoint image generation unit 13 changes (sets) the position of the viewpoint of the virtual viewpoint image following the movement of the subject, for example, for a moving subject as a player.
- the virtual viewpoint image generation unit 13 changes the position of the viewpoint of the virtual viewpoint image while maintaining the tracking of the movement of the subject as described above.
- the viewpoint position of the virtual viewpoint image is set, for example, at fixed time intervals (frame rate).
- the viewpoint position set at the point in time is different from the viewpoint position set immediately before (different point in time). That is, as the viewpoint position changes following the movement of the subject, as a result, the virtual viewpoint image generated based on the viewpoint position also follows the movement of the subject (the subject is displayed in the image frame). It will be a continuing image).
- images captured by the plurality of imaging devices 2 are recorded in the image recording device 3, but at this time, in order to reduce the recording capacity, for example, Only the image portion (moving image portion) of may be recorded.
- the subject analysis unit 12 For example, as a method of identifying a scene of interest, the goal scene is identified based on the position information of the competition ball and the position information of the goal, or the competition ball is intercepted based on the position information of the competition ball and the position information of the player. It is conceivable to identify a scene.
- FIG. 2 is a functional block diagram of the virtual viewpoint image generation unit 13.
- the virtual viewpoint image generation unit 13 has functions as a viewpoint setting processing unit 13a and a rendering processing unit 13b.
- the viewpoint setting processing unit 13 a sets the viewpoint of the virtual viewpoint image based on the subject analysis information Ia by the subject analysis unit 12 and the operation information from the input device 6.
- FIG. 3A shows an image of a virtual viewpoint image obtained by capturing an object from a required viewpoint set in a three-dimensional space.
- the subject S1 is viewed substantially in front, and the subject S2 is viewed substantially in the back.
- FIG. 3B shows an image of a virtual viewpoint image in the case where the viewpoint position where the viewpoint is approximately the rear surface of the subject S1 is set by changing the position of the viewpoint in the direction of arrow C in FIG. 3A.
- the subject S2 is substantially viewed from the front, and in FIG. 3A, the subject S3 and a basketball goal that are not shown are shown.
- viewpoint Pv the viewpoint in the virtual viewpoint image
- viewpoint Pv the viewpoint in the virtual viewpoint image
- the method of setting the viewpoint Pv according to the present embodiment will be described later again.
- the rendering processing unit 13b generates a virtual viewpoint image, which is an observation image (two-dimensional image) from the viewpoint Pv, based on the viewpoint Pv and 3D model data set by the viewpoint setting processing unit 13a.
- a virtual viewpoint image which is an observation image (two-dimensional image) from the viewpoint Pv
- 3D model data set by the viewpoint setting processing unit 13a.
- the viewing direction from such a viewpoint Pv will be referred to as “line of sight direction Dv”.
- the virtual viewpoint image obtained by the virtual viewpoint image generation unit 13 is transmitted to the display device 7 and the image recording device 8.
- the display device 7 includes a display unit having a display device such as an LCD or an organic EL display, for example, and displays a virtual viewpoint image.
- the image recording apparatus 8 includes, for example, a data recording unit such as an SSD or an HDD, and a control unit that controls recording and reproduction of data with respect to the data recording unit, and records a virtual viewpoint image in the data recording unit. By recording the virtual viewpoint image in the image recording device 8, it is possible to allow the user to view the virtual viewpoint image at an arbitrary timing.
- FIG. 1 [1-2. Viewpoint setting method of the embodiment]
- setting of a viewpoint Pv that follows a moving subject as a player is performed.
- the subject as the tracking target is set in advance as the "focused subject”.
- the setting of the subject of interest is performed by the viewpoint setting processing unit 13 a in the virtual viewpoint image generation unit 13.
- the subject of attention may be a person other than the player, or a part of a part of a person or something other than a person It can also be set as
- a setting method of a subject of interest (1) Based on the subject analysis information Ia by the subject analysis unit 12, a player having a competition ball is set as a subject of interest. (2) A player with a predetermined profile number or name is set as a subject of interest. (3) A player located in a predetermined area in a three-dimensional space is set as a subject of interest.
- the above (1) can be performed using the position information of the object as the competition ball identified by the object analysis unit 12 and the position information of the object as a player.
- the player closest to the position of the competition ball is set as the target subject.
- the player identification processing result by the subject analysis unit 12 is used.
- the subject analysis unit 12 detects a subject of interest by image analysis, specifically, a subject as a player in this example and a subject as a competition ball. At this time, an identifier (hereinafter referred to as "subject ID”) is assigned to the detected subject.
- subject ID an identifier
- the subject analysis unit 12 detects the direction of the subject for the subject as a player.
- the orientation of the subject is detected as the orientation of the face of the subject using face detection technology in this example.
- a simple model capable of grasping the posture of the subject is generated.
- the simplified model is a model in which a subject as a player is simplified mainly by information of a line connecting detection points (black circles in the figure) such as joints and detection points as illustrated in FIG. 4, for example. For example, locations that are displaced mainly according to the posture, such as the waist, head, neck, and joints of limbs, are used as detection points.
- Each detection point is connected to a specific other detection point by a line.
- Each detection point defines a detection point connected by a line, thereby forming a simplified model representing a human body by the point and the line.
- the viewpoint Pv based on the detection point represented by such a simple model, that is, information indicating the position of the main part of the player.
- the subject analysis unit 12 performs a player identification process on a subject as a player.
- the player identification process is performed based on the detection result of the model number.
- player attribute management information Ib as shown in FIG. 5 is stored.
- the player attribute management information Ib is information in which information representing the attributes of the player, such as a player name, a team, a number, etc., is associated as player attribute information for each player ID which is a player identifier. Ru.
- the subject analysis unit 12 performs a player identification process based on such player attribute management information Ib. Specifically, with regard to the subject as a detected player, the image analysis determines the belonging team and the identification number, and in the player attribute management information Ib, the player associated with the information of the belonging team and the identification number Identify the ID.
- the determination of the team to which the user belongs can be performed, for example, based on the color of the wearing object of the player such as a uniform or a hat or the difference in color arrangement pattern.
- the player identification method is not limited to the above method.
- various methods may be considered such as matching with a template for physical characteristic information of the subject (for example, height, shoulder width, running style, etc.) .
- FIG. 6 shows an example of subject analysis information Ia which the subject analysis unit 12 outputs to the virtual viewpoint image generation unit 13 (viewpoint setting processing unit 13a).
- the subject analysis information Ia is specified for each subject ID by the position of the subject, the type of the subject (in this example, a player or a competition ball), the direction of the subject (only a player), the simplified model (only a player), and the identification process described above
- the information of the player ID is set as the associated information.
- the subject analysis unit 12 generates the above-described subject analysis information Ia for each frame and outputs the frame to the viewpoint setting processing unit 13a.
- a time code is associated with the subject analysis information Ia so that frame synchronization with the 3D model data can be achieved, and the subject analysis information Ia is output to the viewpoint setting processing unit 13a.
- the viewpoint setting processing unit 13a performs setting of the object of interest as the above (2) based on such object analysis information Ia.
- player attribute management information Ib in which player attribute information is associated with each player ID is stored in the viewpoint setting processing unit 13a similarly to that shown in FIG. Then, the viewpoint setting processing unit 13a identifies the player ID to which the predetermined team belonging to the player attribute management information Ib and the back number are correlated or the player ID to which the predetermined name is correlated, and the subject analysis information Ia.
- the subject associated with the player ID is set as the subject of interest.
- a player located in a predetermined area in a three-dimensional space for example, a predetermined area near the goal or a predetermined area near the center circle of the competition court is set as the target subject.
- a predetermined setting condition such as setting a player closest to the predetermined position as a target subject.
- area information is information representing a region in a three-dimensional space.
- the viewpoint setting processing unit 13a it is possible to switch between a mode in which "viewpoint Pv for observing the subject of interest” is set as “viewpoint mode” and a mode in which "viewpoint Pv for observing the outside from the subject of interest” is set. It is assumed. Furthermore, as the “viewpoint setting mode”, the “automatic setting mode” in which the setting of the viewpoint Pv is automatically performed without the user performing the setting operation of the viewpoint Pv; It is possible to switch to the "simple setting mode” in which Dv can be freely set. The switching between the viewpoint mode and the viewpoint setting mode is performed, for example, according to the user's operation input via the input device 6 (the operation unit 61).
- FIG. 7 is an explanatory diagram of a setting example of the viewpoint Pv and the gaze direction Dv corresponding to the “viewpoint Pv of observing the subject of interest”.
- two setting examples shown in FIGS. 7A and 7B will be described.
- the symbols of the subject of interest and the subject as the competition ball are respectively “St” and “sb”.
- the reference position Pr of the subject of interest St is set in setting the viewpoint Pv regardless of "viewpoint Pv for observing the subject of interest" and "viewpoint Pv for observing the outside from the subject of interest".
- the reference position Pr is set to the physical center of the object of interest St.
- the physical center means, for example, the physical center of the subject as a person, such as the center between both shoulders, the upper and lower left and right center of the body (for example, the intersection of the upper and lower centerline and the left and right centerline), the center between both feet.
- setting the reference position Pr to the physical center of the subject is merely an example, and the reference position Pr can be set to any position based at least on the position of the subject.
- the setting example of FIG. 7A shows an example in which the reference position Pr is set at the center between both shoulders.
- the information on each shoulder position of the subject of interest St can be acquired from the information on the simplified model in the subject analysis information Ia.
- the viewpoint is at the same height as the reference position Pr centered on such both shoulders and at a position separated from the reference position Pr by a predetermined distance in the direction of “subject direction” of the object of interest St.
- the line-of-sight direction Dv in this case is set to a direction from the viewpoint Pv toward the reference position Pr. Set the direction).
- FIG. 7A shows an example in which the reference position Pr is set at the center between both shoulders.
- the information on each shoulder position of the subject of interest St can be acquired from the information on the simplified model in the subject analysis information Ia.
- the viewpoint is at the same height as the reference position Pr centered on such both shoulders and at a position separated from the reference position Pr by a predetermined distance in the direction of “subject direction” of the object of interest
- the separation distance between the reference position Pr and the viewpoint Pv is set, for example, to such a distance that at least the upper part of the target subject St falls within the angle of view in the virtual viewpoint image.
- the upper body portion of the “40 cm” fits within the angle of view at a distance of approximately 24 cm. It is based on things.
- a virtual viewpoint image a highly realistic image capturing the upper body portion of a player while following the movement (movement) of the player in play.
- a virtual viewpoint image suitable for analysis and study of the movement of a player in a competition using a hand such as basketball.
- the setting example of FIG. 7B is an example corresponding to the case where the focused subject St has a competition ball.
- the direction of the “subject direction” of the subject of interest St from the reference position Pr The viewpoint Pv is set at a position separated by a predetermined distance.
- the position of the subject Sb is the central position of the subject Sb.
- the viewing direction Dv is set in a direction from the viewpoint Pv toward the reference position Pr.
- the reference position Pr is set to the face center of the target subject St.
- the separation distance between the reference position Pr and the viewpoint Pv is set to a distance greater than at least the separation distance between the reference position Pr and the position of the subject Sb.
- the separation distance between the reference position Pr and the viewpoint Pv is, for example, about 80 cm. Is desirable.
- FIG. 8 is an explanatory diagram of a setting example of the viewpoint Pv and the gaze direction Dv corresponding to “the viewpoint Pv for observing the outside from the object of interest”.
- the reference position Pr is set to the physical center of the subject St of interest. Specifically, in the setting example of FIG. 8A, the reference position Pr is set at the center between the shoulders of the subject of interest St.
- the viewpoint Pv is set to the same position as the reference position Pr because it is “the viewpoint Pv for observing the outside from the object of interest”.
- the line-of-sight direction Dv is set to the direction of the “subject direction” of the target subject St.
- the setting example of FIG. 8B is an example corresponding to the case where the target object has a competition ball.
- the reference position Pr is set at the face center of the target subject St. Since “the viewpoint Pv is for observing the outside from the object of interest”, also in this case, the viewpoint Pv is set to the same position as the reference position Pr.
- the line-of-sight direction Dv is set as a direction from the viewpoint Pv toward the position (for example, the center position) of the subject Sb.
- FIG. 8A it is possible to provide a virtual viewpoint image suitable for analysis and study of the movement of a player in a game using a hand such as a basketball game.
- FIG. 8B it is possible to provide a highly realistic virtual viewpoint image which shows the situation seen from the player's eyes during the game every moment.
- another player with a virtual viewpoint image that shows the behavior of the player against the competition ball in a scene passing a competition ball or a shot scene, etc., which is suitable for analysis and research of the player's movement.
- viewpoint Pv for observing the subject of interest may be simply described as “inward view”.
- viewpoint Pv for observing the outside from the object of interest may be simply described as “outside viewpoint”.
- the automatic setting mode is a mode in which the viewpoint setting processing unit 13a automatically sets the viewpoint Pv, so to speak, according to, for example, the method shown in FIG.
- the viewpoint setting processing unit 13a sequentially switches the method of setting the viewpoint Pv. Specifically, in this example, by sequentially switching the setting method of the subject of interest St, a virtual viewpoint image in which the viewpoint Pv based on the subject S different in order is displayed is displayed to the user. Do.
- FIG. 9A shows an image of a virtual viewpoint image viewed by the user by switching the subject of interest St in such an automatic setting mode.
- the virtual viewpoint image generated by the virtual viewpoint image generation unit 13 is displayed on the display screen of the display device 7 and the display screen of the display unit 62 in the input device 6, it is displayed on these screens here.
- Image of the virtual viewpoint image exemplifies the case where the viewpoint mode is “inward viewpoint” (viewpoint Pv for observing the object of interest), the same switching is performed in the case of the outward viewpoint.
- the switching of the setting method of the viewpoint Pv is stopped. Specifically, the switching of the setting method of the object of interest St is stopped in response to the operation of selecting an arbitrary virtual viewpoint image from among the virtual viewpoint images to be switched and displayed.
- the selection operation described above is performed as an operation on the touch panel 61 a in the operation unit 61. That is, for example, according to a predetermined touch operation performed on the touch panel 61a, such as tap or double tap, a method of setting the viewpoint Pv of the virtual viewpoint image displayed at that time (in the present embodiment, the method of setting the target subject St Keep the
- the behavior as described above causes the user to sequentially display a plurality of virtual viewpoint images different in the setting method of the viewpoint Pv as candidate viewpoint images to the user, and sets the viewpoint Pv based on the selection operation for the candidate viewpoint image.
- the viewpoint Pv based on the selection operation for the candidate viewpoint image.
- the virtual viewpoint image generation unit 13 generates virtual viewpoint images in which the viewpoints Pv are set in parallel by different setting methods for the target subject St. That is, the viewpoint setting processing unit 13a sets the viewpoints Pv of the target subject St set by different methods, and the rendering processing unit 13b generates virtual viewpoint images in parallel based on the set viewpoints Pv. Then, the generated virtual viewpoint images are output to the display unit 62 of the display device 7 or the input device 6. The display device 7 and the display unit 62 respectively display the plurality of virtual viewpoint images in predetermined areas in the display screen.
- the operation unit 61 of the input device 6 transmits, to the virtual viewpoint image generation unit 13, information on the screen area where the touch operation has been performed.
- the virtual viewpoint image generation unit 13 specifies the virtual viewpoint image selected by the touch operation based on the information of the screen area, and thereafter, the method of setting the viewpoint Pv of the virtual viewpoint image specified by the viewpoint setting processing unit 13a
- the viewpoint Pv is set, the rendering processing unit 13b stops generation of a plurality of candidate viewpoint images, and generates and outputs a virtual viewpoint image based on the set viewpoint Pv.
- the simple setting mode of this example is a mode in which the position of the viewpoint Pv or the line-of-sight direction Dv can be changed by the operation of the user based on the reference position Pr of the subject of interest St.
- FIG. 10 is an explanatory diagram of the simple setting mode.
- the viewpoint mode when the viewpoint mode is the “inward viewpoint” mode, the viewpoint Pv is changed along the spherical surface Ss centered on the reference position Pr as shown in the figure according to the user's operation.
- the gaze direction Dv since it is a mode of "inward viewpoint”, the gaze direction Dv in this case is set in a direction from the viewpoint Pv to the reference position Pr.
- the change operation of the viewpoint Pv in this case is, for example, an operation of the touch panel 61a (for example, an operation of tracing a finger in a direction to move the viewpoint Pv) or a multidirectional operator such as a cross key or joystick provided on the operation unit 61 Operation etc. can be performed.
- the form of the input device 6 using the touch panel 61a can be realized as a device such as a tablet terminal, for example, and an operation unit can be provided integrally with a panel for viewing a virtual viewpoint image. There is an advantage that the equipment cost for introduction can be reduced.
- a game controller type such as a joystick
- a dedicated device is required for operation input, but since finer input is possible, there is an advantage that operability can be improved.
- the distance between the reference position Pr and the viewpoint Pv (that is, the radius of the spherical surface Ss) is fixed.
- the separation distance may be variable according to the operation.
- the spherical surface Ss does not necessarily have to have the center coincident with the reference position Pr, and it is set as a spherical surface covering at least the periphery of the object of interest St in the viewpoint of "viewpoint Pv for observing the object of interest". Just do it.
- the viewpoint mode is the mode of “outside viewpoint” (viewpoint Pv for observing the outside from the object of interest)
- the viewpoint Pv is set to the same position as the reference position Pr and then operated. Accordingly, the sight line direction Dv is changed.
- the line of sight direction Dv in this case is the outward direction from the viewpoint Pv, contrary to that shown in FIG.
- FIG. 11 exemplifies a process corresponding to the case where the sequential display method as shown in FIG. 9A is adopted as a method of displaying candidate viewpoint images in the automatic setting mode.
- step S101 the virtual viewpoint image generation unit 13 determines whether the current viewpoint mode is “inward viewpoint” or “outward viewpoint” as the viewpoint mode confirmation process, and “inward viewpoint If it is “mode”, it will progress to step S102, and if it is a mode of "outside viewpoint", it will progress to step S113 mentioned later.
- step S102 the virtual viewpoint image generation unit 13 determines whether the current viewpoint setting mode is the “automatic setting mode” or the “simple setting mode” as the confirmation processing of the viewpoint setting mode, and the “automatic setting mode” If it exists, the process proceeds to step S103, and if it is the "simple setting mode", the process proceeds to step S107 described later.
- step S103 the virtual viewpoint image generation unit 13 performs setting processing of the object of interest St. That is, the subject of interest St is set, for example, by the methods (1), (2), (3) and the like described above. As described above, in this example, since a plurality of candidate viewpoint images different in the setting method of the subject of interest St are sequentially displayed, the process of step S103 changes the method for each execution, for example, and performs setting of the target subject St.
- the virtual viewpoint image generation unit 13 starts generation of a candidate viewpoint image. Specifically, for the subject of interest St set in step S103, setting of the viewpoint Pv based on the reference position Pr of the subject of interest St as illustrated in FIG. 7 and setting of the sight line direction Dv are performed. Generation of a virtual viewpoint image by Pv and the gaze direction Dv is started.
- the setting method of the viewpoint Pv exemplified in FIG. 7B in step S104 it is a condition that the target subject St is set by the method (1) described above in the setting processing of step S103.
- the setting of the reference position Pr is performed by the virtual viewpoint image generation unit 13, but the configuration is also adopted in which the virtual viewpoint image generation unit 13 acquires information of the reference position Pr set by the subject analysis unit 12. obtain.
- step S104 When generation of the candidate viewpoint image is started in step S104, display of the candidate viewpoint image is started on the display unit 62 of the input device 6.
- the virtual viewpoint image generation unit 13 waits for the image selection operation or the arrival of the display switching timing by the processes of steps S105 and S106. That is, it waits for any of the predetermined operation on the touch panel 61 a of the input device 6 and the arrival of the display switching timing of the candidate viewpoint image. Note that the display switching of the candidate viewpoint image is performed in a constant cycle in this example. Therefore, the virtual viewpoint image generation unit 13 determines that the display switching timing has arrived in step S106 in response to the elapse of a predetermined time since the generation of the candidate viewpoint image in step S104.
- step S106 If it is determined in step S106 that the display switching timing has come, the virtual viewpoint image generation unit 13 returns to step S103. As a result, the setting method of the subject of interest St is switched, and generation of a new candidate viewpoint image by the viewpoint Pv set for different subjects is started, and display on the display unit 62 is started. Such switching display of candidate viewpoint images is repeated until an image selection operation is performed in step S105.
- step S105 If it is determined in step S105 that an image selection operation has been performed, the virtual viewpoint image generation unit 13 ends the series of processes shown in this figure. As a result, the subject of interest St is maintained at the subject of interest St set in the process of step S103 performed most recently.
- step S107 the virtual viewpoint image generation unit 13 performs setting processing of the object of interest as in step S103, and starts generation of a virtual viewpoint image based on the initial viewpoint in step S108.
- the initial viewpoint is a viewpoint Pv that is initially set when the setting operation (change operation) of the viewpoint Pv in the simple setting mode is received.
- the initial viewpoint may be at least the viewpoint Pv based on the reference position Pr set for the target subject St set in step S107. For example, it may be set by the method described in FIG. 7A.
- the setting can also be performed by the method described in FIG. 7B.
- the virtual viewpoint image generation unit 13 waits for a viewpoint change operation in step S109. That is, it waits for a predetermined operation input from the operation unit 61 of the input device 6, specifically, a predetermined operation input that instructs the change direction of the viewpoint Pv.
- the virtual viewpoint image generation unit 13 changes the viewpoint Pv according to the operation as the viewpoint change process of step S110. Specifically, in the present embodiment, the viewpoint Pv is changed along the spherical surface Ss centered on the reference position Pr of the subject of interest St according to the operation.
- the virtual viewpoint image generation unit 13 starts generation of a virtual viewpoint image based on the changed viewpoint.
- the viewpoint Pv of the virtual viewpoint image being displayed is changed according to the operation.
- step S112 subsequent to step S111 the virtual viewpoint image generation unit 13 determines whether an end condition of the process is satisfied.
- the end condition for example, a predetermined operation input for instructing stop of generation of a virtual viewpoint image can be mentioned. If it is determined that the end condition is not satisfied, the virtual viewpoint image generation unit 13 returns to step S109 and waits for a viewpoint change operation. Thereby, the viewpoint Pv is changed according to the viewpoint changing operation until the end condition is satisfied.
- step S112 If it is determined in step S112 that the end condition is satisfied, the virtual viewpoint image generation unit 13 ends the series of processes shown in this figure.
- the viewpoint mode is the mode of "outside viewpoint”
- the viewpoint Pv is set to the reference position Pr in comparison with the mode of “inwardly facing viewpoint”
- the gaze direction Dv is outward from the viewpoint Pv.
- the overall processing flow is the same as in the above-mentioned "inward-looking point" mode.
- step S113 the virtual viewpoint image generation unit 13 confirms that the viewpoint setting mode is different as in step S102, and in the case of the "automatic setting mode", executes the processing of step S114 and subsequent steps, and the "simple setting mode". If it is, the process after step S118 is performed.
- steps S114 to S117 corresponding to the "automatic setting mode" are the same as the processes of the previous steps S103 to S106 except that the setting method of the viewpoint Pv and the sight line direction Dv is different as described above. .
- step S118 the virtual viewpoint image generation unit 13 performs setting processing of the object of interest in the same manner as in the previous steps S103 and S107, and starts generation of a virtual viewpoint image from the initial viewpoint in subsequent step S119.
- the process of step S119 is the same as the process of the previous step S108 except that the viewpoint Pv and the viewpoint direction Dv correspond to the mode of the outward viewpoint.
- the virtual viewpoint image generation unit 13 stands by for the gaze direction changing operation. That is, it waits for a predetermined operation input from the operation unit 61 of the input device 6, specifically, a predetermined operation input for instructing a change direction of the sight line direction Dv. Then, when there is a gaze direction changing operation, the virtual viewpoint image generation unit 13 changes the gaze direction Dv in step S121, and starts generation of a virtual viewpoint image according to the changed gaze direction Dv in step S122.
- step S123 subsequent to step S122 the virtual viewpoint image generation unit 13 determines whether the end condition is satisfied as in the previous step S112, and if the end condition is not satisfied, the process returns to step S120 and the eye direction change operation is performed again. The process waits and if the end condition is satisfied, the series of processes shown in this figure are ended.
- the virtual viewpoint image generation unit 13 automatically sets the target subject St.
- the virtual viewpoint image generation unit 13 can also set the target subject St based on an operation. For example, it is possible to receive an input of predetermined player attribute information such as a back number and a name, and set a subject as a player specified from the input player attribute information as the target subject St. Alternatively, it is possible to display (or simultaneously display) images in which different players are shown on the display unit 62 sequentially as candidate images as candidate images, and set the player of the candidate image selected by the operation as the target subject St.
- the image of the player is sequentially displayed (or simultaneously displayed) in order of proximity to the position (target position) designated on the three-dimensional space by the user by operation, and the player of the selected image is set as the target subject St.
- the player's turn may be made in order of the player's back number (or name), the order close to the position of the competition ball, or the like.
- basketball was mainly mentioned as an example of a competition ball, but the competition ball is not limited to a substantially spherical ball used in basketball competitions, soccer, baseball, etc.
- the setting of the viewpoint Pv may be performed for all the frames or may be performed for only a part of necessary frames.
- the setting of the viewpoint Pv is performed for each frame, and the rendering of the virtual viewpoint image can be considered to be performed only at frames at regular intervals based on the information of the viewpoint Pv set for each frame.
- the first modification is a modification relating to the setting of the viewpoint Pv, and gives setting examples of FIG. 12 and FIG.
- the setting examples of FIGS. 12 and 13 are setting examples of the viewpoint Pv corresponding to the mode of the above-mentioned “inward viewpoint”.
- the setting example of FIG. 12 is a setting example corresponding to the case of obtaining images that follow the movements of a plurality of players as virtual viewpoint images.
- the case of following the movements of three players is illustrated.
- FIG. 12A With respect to subjects S1, S2 and S3 as three players, reference is made to positions extrapolated from each subject S on straight lines L12, L13 and L23 passing the positions of the respective subjects S.
- the positions Pr12, Pr21, Pr13, Pr31, Pr23 and Pr32 are set.
- the setting is performed by, for example, the virtual viewpoint image generation unit 13.
- a straight line L12 is a straight line passing each position of the subjects S1 and S2
- a straight line L13 is a straight line passing each position of the subjects S1 and S3
- a straight line L23 is a straight line passing each position of the subjects S2 and S3.
- the reference position Pr12 is on the straight line L12, and is positioned behind the subject S1 when viewed from the midpoint between the subject S1 and the subject S2.
- the reference position Pr21 is on the straight line L12, and is positioned behind the subject S2 when viewed from the midpoint between the subject S1 and the subject S2.
- the reference position Pr13 is located on the straight line L13 and is positioned behind the subject S1 when viewed from the midpoint between the subject S1 and the subject S3.
- the reference position Pr31 is located on the straight line L13 and the subjects S1 and S3 are located. Viewed from the middle point of the subject S3 on the far side.
- the reference position Pr23 is located on the straight line L23 and is positioned behind the subject S2 when viewed from the midpoint between the subject S2 and the subject S3, and the reference position Pr32 is located on the straight line L23. It is positioned behind the subject S3 as viewed from the middle point with the subject S3.
- the virtual viewpoint image generation unit 13 After setting the reference positions Pr as described above, the virtual viewpoint image generation unit 13 obtains the angles ⁇ 1, ⁇ 2, ⁇ 3 formed by the straight lines L12, L13, L23 as shown in FIG. 12B. . That is, an angle ⁇ 1 which is an angle between the straight line L12 and the straight line L13, an angle ⁇ 2 which is an angle between the straight line L12 and the straight line L23, and an angle ⁇ 3 which is an angle between the straight line L13 and the straight line L23 are obtained. Then, the smallest angle among these angles ⁇ 1, ⁇ 2, ⁇ 3 is specified, and a set of straight lines L forming the minimum angle is specified. That is, in the example of the figure, a set of straight line L13 and straight line L23 is specified.
- the virtual viewpoint image generation unit 13 determines by the intersection of the straight lines L among the four reference positions Pr set on the straight lines L.
- the two reference positions Pr on the near side are identified. That is, in the example of the figure, among the reference positions Pr13 and Pr31 set on the straight line L13 and the reference positions Pr23 and Pr32 set on the straight line L23, the intersection point of the straight line L13 and the straight line L23 (ie, the object S3 Reference positions Pr31 and Pr32 closer to the position are identified.
- the virtual viewpoint image generation unit 13 sets the middle point of the two reference positions Pr thus specified as a viewpoint Pv (FIG. 12C).
- the line-of-sight direction Dv is set to a direction from the viewpoint Pv toward the position of the closest subject (the subject S3 in the example of the figure).
- the viewpoint Pv is set after setting two reference positions Pr to all the straight lines L, but only two of the reference positions Pr can be used directly for setting the viewpoint Pv (see FIG. In the example of 12, at least the reference positions Pr31, Pr32) may be set.
- viewpoint Pv By setting the viewpoint Pv as described above, it is possible to provide, as a virtual viewpoint image, an image that projects a plurality of subjects in the center of the image frame as much as possible. That is, it is possible to provide a virtual viewpoint image that facilitates simultaneous observation of a plurality of subjects.
- the viewpoint Pv can be set in the same manner as the above method.
- two players for example, it is conceivable to adopt a method of setting the viewpoint Pv on a straight line that forms a predetermined angle with a straight line passing through two subjects as players.
- the setting method of the viewpoint Pv described in FIG. 12 is, for example, when the method of (3) described above is adopted as the setting method of the object of interest St, three or more players located in a predetermined area are detected It is suitable for the case etc.
- FIG. 13 is a diagram for explaining a modification of setting of the viewpoint Pv for one target subject St.
- the modified example of FIG. 13 is a setting example of the viewpoint Pv for the target subject St having a competition ball, and in this case, the virtual viewpoint image generation unit 13 determines the destination of the competition ball, for example, the position of the goal.
- the viewpoint Pv is set to, and the gaze direction Dv is set from the viewpoint Pv to the position direction of the subject Sb as the competition ball.
- the position of the goal may be analyzed by, for example, the subject analysis unit 12, and the result may be acquired by the virtual viewpoint image generation unit 13. Alternatively, position information of the goal can be stored in advance in the virtual viewpoint image generation unit 13.
- the second modification is to set the line-of-sight direction Dv at the time of the “outgoing viewpoint” based on analysis information on the direction of the subject.
- the “outgoing viewpoint”, that is, the viewpoint for observing the outside of the subject is also referred to as the “first person viewpoint”.
- the line-of-sight direction Dv of the virtual viewpoint image from the first person viewpoint is set based on the analysis information related to the direction of the object of interest St.
- FIG. 14 is an explanatory view of a setting method of the gaze direction Dv in the second modified example.
- information on the orientation and posture of the face is used as analysis information related to the orientation of the subject of interest St.
- the subject analysis unit 12 in the present example estimates the direction and posture of the face of the subject as a person based on the 3D model data generated by the 3D model generation unit 11.
- the direction of the face is the direction in which the face of the subject faces, and is estimated, for example, based on information such as the position of each part of the face of the subject, such as the eyes, nose, and mouth.
- various methods are proposed about the specific estimation method of the direction of a face, and it is not limited to a specific method.
- the posture corresponds to the above-described simplified model of the subject (see FIG. 4).
- the body orientation of the object of interest St is estimated from such a simple model.
- loss of data occurs due to some factor such as the influence of the processing equipment of the imaging device 2 or the like and the object analysis unit 12 It is not something that can be obtained at all times.
- a method of setting the line-of-sight direction Dv is selected for the virtual viewpoint image from the first-person viewpoint according to the acquisition status of the analysis information related to the orientation of the target subject St.
- the situation where neither of the face direction and the posture of the attention subject St can be obtained the situation where only the face direction is obtained, and the face direction and posture It divides roughly into three cases of the situation where both sides can acquire.
- the cases are further divided according to the state of the object of interest St, specifically, the cases of stop (initial state), stop (steady state), and movement are performed,
- the gaze direction Dv is set by a method corresponding to the case.
- the initial state means the start timing of a virtual viewpoint image (moving image) in which the viewpoint Pv as the first person viewpoint is set for the object of interest St. That is, the stop (initial state) means that the target subject St is stopped in the initial state.
- the stop (steady state) means a state in which the object of interest St is stopped except for the above-described initial state. In the present example, it is assumed that information on the position of the object of interest St can be obtained at all times.
- the gaze direction Dv is set to a predetermined direction when the target subject St is in a stop (initial state) state.
- the line-of-sight direction Dv in this case is set to a predetermined direction according to the type of content.
- the predetermined direction is the goal direction of the opponent (the direction of the goal serving as the score source of the player).
- the direction determined in advance is the direction of the court side of the opposing team, as viewed from the court side of the subject of interest St. Further, in the case where the target subject St is walking in the passage, the direction determined in advance is the exit direction of the passage.
- the sight line direction Dv is taken as the traveling direction of the focused subject St.
- the traveling direction of the subject of interest St is determined as the change direction of the position of the subject of interest St. Note that the above-mentioned traveling direction means a direction in which the position of the target subject St changes, and corresponds to analysis information related to the position, not analysis information related to the direction of the target subject St.
- the gaze direction Dv holds the immediately preceding result when the target subject St is in a stop (steady state) state. That is, when transitioning from the stop (initial state) state to the stop (steady state) state, the line-of-sight direction Dv is maintained in the above-mentioned "predetermined direction", and stop from the movement state (stop state) When transitioning to the state of, the line of sight direction Dv is maintained in the direction of travel to that point. In addition, when the state of a stop (steady state) continues more than predetermined time, you may change the gaze direction Dv into "predetermined direction.”
- the gaze direction Dv is the direction estimated from the face direction when the focused subject St is in the stop state, that is, in the stop state regardless of the initial state or the steady state.
- the line-of-sight direction Dv at this time is taken as a representative value of the direction of the face within a specific period including the processing target time.
- processing target time means a frame to be processed in this example, and a specific period including the processing target time means a period of a plurality of frames including a frame to be processed.
- the specific period including the processing target time is not only the period on the past side from the processing target time but also the period including the future side from the processing target time.
- a representative value of the direction of the face for example, an average value of the direction of the face in the specific period is used. That is, for example, assuming that the specific period is a period of a total of 7 frames of 3 frames on the past side and 3 frames on the future side with reference to the frame to be processed, the average value of the face direction is each of these 7 It is an average value of face orientation values obtained for the frame.
- the representative value of the face orientation the median value of the face orientation within the specific period may be used.
- the median means a value located at the center when a finite number of data are arranged in the ascending order. For example, assuming that the above specific period is a period based on the seven frames described above, the time of each frame is extended from the past to the future [t-3] [t-2] [t-1] [t] [t + 1] [t + 2] If it is assumed that the face orientation value at each of these times is “5” “7” “6” “10” “5” “9” “8” when [t + 3], then the median value of the face orientation is The central value when the respective values are arranged in ascending order, that is, “7” which is the value located at the center of “5” “5” “6” “7” “8” “9” “10”. In addition, when the number of limited number of data is even and the value located in the center is two, the median is taken as the average value of the two values.
- the sight line direction Dv is the traveling direction and the traveling speed, the face direction, and the face direction.
- the direction is based on the rate of change of
- the viewing direction Dv in the state of the movement is set as shown in FIG.
- the progress speed of the object of interest St and the change speed of the face direction are divided into four cases in combination of “fast” and “slow”. And about each of these four cases, when the direction of movement of attention object St and direction of a face are the same, two cases of different cases are divided, and it divides into a total of eight cases.
- the traveling speed of the subject of interest St for example, the unit is obtained as km / h (hour), and for the change speed of the direction of the face, for example, the unit is calculated as deg / s (seconds). Then, the threshold THs for the traveling speed and the threshold THf for the change speed of the face direction are set, respectively, and "slow" of each speed based on the result of comparing the magnitude relation between the threshold THs and the threshold THf "Fast" is determined.
- the determination results of "slow” are obtained, and if the thresholds are more than the threshold THf, the determination results of "fast” are obtained.
- the traveling speed for example, about 5 km / h which is an average walking speed can be mentioned as a standard of “slow”, and for example, a speed of around 12 km / h which is about jogging speed is mentioned as a standard of “fast”.
- an indication of "slow” can be, for example, about 50 deg / s, and an indication of "fast” can be, for example, about 90 deg / s.
- the threshold value THs and the threshold value THf may be variable according to, for example, the type of content.
- “same” and “different” of the direction of movement and the direction of the face are determined based on their representative values (representative values in a specific period).
- the sight line direction Dv is set to the traveling direction.
- the line-of-sight direction Dv is set to a representative value of the direction of the face.
- the sight line direction Dv is set to the traveling direction.
- the line-of-sight direction Dv is set to the traveling direction if the traveling direction and the face direction are the same regardless of the change speed of the face direction. If different, the sight line direction Dv is set to the representative value of the face direction.
- the gaze direction Dv is set to the traveling direction when the traveling direction and the face direction are the same.
- the line-of-sight direction Dv is set to the representative value of the direction of the face.
- the traveling speed and the change speed of the direction of the face are both “fast”, the line-of-sight direction Dv is set to the traveling direction regardless of whether or not the traveling direction is the same as the face direction.
- the sight line direction Dv is set to the direction estimated from the posture.
- the sight line direction Dv is set to the direction estimated from the posture, the change speed of the direction, and the direction based on the traveling direction.
- the orientation of the body of the subject St of interest is estimated as the direction estimated from the attitude of the subject of interest St.
- This body orientation is estimated from a simple model of the subject of interest St obtained by the subject analysis unit 12, and specifically, as shown in FIG. 16, the normal direction of the body (for example, a quadrilateral) in the simple model Is required.
- the normal directions there are two directions in which the normal directions are opposite to each other, but as the body direction, the direction in which the nose of the subject of interest St exists is selected among the normal directions.
- the body orientation here can be said to be the orientation of the front of the noted subject St.
- a simple model of the subject of interest St is generated using information on the direction of the face of the subject of interest St. That is, the simplified model is generated when information on the orientation of the face is obtained. Therefore, in the present example, the acquisition situation of analysis information related to the direction of the subject of interest St is divided into the cases as shown in FIG.
- FIG. 17 is an explanatory view of a setting method of the line-of-sight direction Dv in the case where both of the face direction and the posture can be acquired and the target subject St is in a moving state.
- the cases are classified into “slow” and “fast” cases of change in body direction, and “same” as the direction of movement and body direction for cases in which the change rate in body is “fast”. Cases are divided according to "different”.
- the unit is determined as deg / s for the rate of change in body orientation.
- the threshold THb for the change speed is determined, and the determination is performed based on the comparison result with the threshold THb. For example, if the change speed is less than the threshold THb, a determination result of “slow” is obtained, and if it is equal to or greater than the threshold THb, “fast” is obtained.
- the rotation speed of the lower limbs and the trunk is also added in comparison with the face orientation described above, and faster rotation is possible, so that the threshold THb is a value larger than the threshold THf described above in consideration of that point. It is possible to do.
- the threshold value THb can also be variable according to the type of content and the like.
- both of the traveling direction and the body orientation use a representative value within a specific period.
- the line-of-sight direction Dv is taken as a representative value of the body direction for the case where the change speed of the body direction is "slow".
- the change direction of the body direction is "fast”
- the traveling direction and the body direction are "same”
- the line of sight direction Dv is taken as a representative value of the body direction
- the traveling direction and the body direction are "different”
- the line of sight direction Dv is the traveling direction.
- the sight line direction Dv is not made to follow the change in the direction.
- step S201 the virtual viewpoint image generation unit 13 determines whether the orientation of the face can be acquired. That is, it is determined whether or not the information of the direction of the face of the object of interest St can be acquired from the object analysis unit 12. If the face orientation has been acquired, the virtual viewpoint image generation unit 13 proceeds to step S202, and whether or not posture information can be acquired, that is, information of a simplified model of the object of interest St can be acquired from the object analysis unit 12 It is determined whether the If neither the orientation of the face nor the orientation can be acquired as analysis information related to the orientation of the object of interest St by the processing of steps S201 and S202, if only the orientation of the face can be acquired, or the orientation and orientation of the face It is determined in which case of the case where both are obtained.
- step S201 If it is determined in step S201 that the orientation of the face can not be acquired, that is, if neither the orientation nor the orientation of the face can be acquired, the virtual viewpoint image generation unit 13 proceeds to step S203, and the state of interest object St moves It is determined whether the Then, if it is determined that it is not in the state of movement, the virtual viewpoint image generation unit 13 proceeds to step S204 and determines whether or not it is in the initial state.
- step S203 and S204 it is determined which of the stop (initial state) state, the stop (steady state) state, and the movement state the state of the subject of interest St corresponds to. Note that the determination regarding the movement / stop of the subject of interest St is performed based on the information of the position of the subject of interest St obtained by the subject analysis unit 12.
- step S204 When it is determined in step S204 that the initial state is determined (that is, in the case of the stop (initial state) state), the virtual viewpoint image generation unit 13 proceeds to step S205 and sets the sight line direction Dv to a predetermined direction.
- the process shown in 18 is completed.
- the “predetermined direction” has already been described, and therefore redundant description will be avoided.
- step S204 If it is determined in step S204 that the virtual viewpoint image generation unit 13 determines that it is not in the initial state, the virtual viewpoint image generation unit 13 proceeds to step S206, performs processing for holding the immediately preceding result as the gaze direction Dv, and ends the processing illustrated in FIG.
- step S207 sets the sight line direction Dv as the traveling direction of the subject of interest St, as shown in FIG. Finish the process.
- the representative value within a specific period can also be used as an advancing direction.
- step S202 If it is determined in step S202 that the posture of the object of interest St can not be acquired, that is, if only the direction of the face is acquired, the virtual viewpoint image generation unit 13 proceeds to step S208 and the object of interest It is determined whether St is in a moving state. If it is not in the state of movement, the virtual viewpoint image generation unit 13 proceeds to step S210 and sets the sight line direction Dv as the direction estimated from the face direction, that is, sets the sight line direction Dv as a representative value within the specified period of the face direction. The process is performed to end the process shown in FIG.
- step S208 if it is determined in step S208 that the virtual viewpoint image generation unit 13 determines that it is in a moving state, the virtual viewpoint image generation unit 13 proceeds to step S211, and the sight line direction Dv
- the process of setting the direction based on the change speed is performed, and the process illustrated in FIG.
- a specific setting method of the direction based on the traveling direction and the traveling speed of the object of interest St, the face direction, and the change speed of the face direction has already been described with reference to FIG. avoid.
- step S202 when it is determined that the posture can be acquired (when both the face orientation and the posture can be acquired), the virtual viewpoint image generation unit 13 proceeds to step S209, and the subject of interest St moves. It is determined whether or not If it is not in the state of movement, the virtual viewpoint image generation unit 13 proceeds to step S212 and performs processing of setting the sight line direction Dv to the body direction, that is, setting the sight line direction Dv as a representative value within the specific period of the body direction. The process shown in 18 is completed.
- step S209 determines whether it is in a moving state. If it is determined in step S209 that it is in a moving state, the virtual viewpoint image generation unit 13 proceeds to step S213, and the gaze direction Dv is based on the body direction of the object of interest St, the change speed of the body direction, and the direction based on the traveling direction.
- the process shown in FIG. 18 is completed.
- the specific setting method of the direction based on the moving direction and the moving speed of the object of interest St, the body direction, and the change speed of the body direction is the same method as the method described with reference to FIG. Avoid.
- the virtual viewpoint image generation unit 13 selects the setting method of the line-of-sight direction Dv from the first-person viewpoint based on the acquisition status of analysis information related to the direction of the object of interest St.
- the virtual viewpoint image generation unit 13 selects the setting method of the line-of-sight direction Dv from the first-person viewpoint based on the acquisition status of analysis information related to the direction of the object of interest St.
- FIG. 19 is an explanatory diagram of the configuration of an image processing system 100 ′ as a third modification.
- the difference from the image processing system 100 shown in FIG. 1 is that an image processing device 1 ′ is provided instead of the image processing device 1, and an HMD (head mounted display) 51 is provided instead of the display device 7. It is a point.
- the image processing system 100 ′ shown in FIG. 19 also includes a plurality of imaging devices 2 and a parameter recording device 4 as in the image processing system 100 shown in FIG. Further, also in the image processing system 100 ′, the image recording device 8 shown in FIG. 1 may be provided.
- the image processing device 1 ′ differs from the image processing device 1 in that a virtual viewpoint image generation unit 13 ′ is provided instead of the virtual viewpoint image generation unit 13.
- the virtual viewpoint image generation unit 13 ′ sets the gaze direction Dv from the first person viewpoint described in the second modification, and notifies the user of notification according to the difference between the gaze direction Dv and the direction of the gaze of the subject. It has the alerting
- a virtual viewpoint image based on the first person viewpoint generated by the virtual viewpoint image generation unit 13 ′ is presented to the user wearing the HMD 51.
- the image processing system 100 'of this example has a function of changing the line-of-sight direction Dv of the virtual viewpoint image displayed on the screen of the HMD 51 in accordance with the movement (rotation) of the head of the user wearing the HMD 51.
- the HMD 51 is mounted with a motion detection device such as a gyro sensor for detecting the motion of the head of the user.
- the virtual viewpoint image generation unit 13 ′ is configured to be able to change the line-of-sight direction Dv of the virtual viewpoint image to be output to the HMD 51 based on a detection signal from the motion detection device of the HMD 51.
- the gaze direction Dv of the virtual viewpoint image when displaying the virtual viewpoint image by the first person viewpoint on the HMD 51, as the gaze direction Dv of the virtual viewpoint image, the direction based on the body direction or face direction of the noted subject St as described in the second modification. It is conceivable to set.
- the body orientation and the face orientation of the attention subject St do not necessarily correspond to the gaze direction of the attention subject St, and when the body orientation and the face orientation do not coincide with the gaze direction, As a virtual viewpoint image to be displayed to the user, it is not possible to provide an image that appropriately reproduces the field of view of the subject of interest St.
- the gaze direction of the attention subject St is referred to as “line direction Drv”.
- the line-of-sight direction Dv is one of the factors that determine the field of view of the virtual viewpoint image, and is a parameter for determining which direction to view from the line of sight Pv.
- the “line-of-sight direction Dv” may be described as the “observation direction” of the virtual viewpoint image.
- the user wearing the HMD 51 and the object of interest St are shown in comparison.
- the user wearing the HMD 51 can not always think that the head is shaken from side to side constantly, and basically, it can be premised that the face is facing the front side. Therefore, it is desirable to make the line-of-sight direction Dv of the virtual viewpoint image coincide with the body direction of the target subject St.
- the line-of-sight direction Dv By matching the line-of-sight direction Dv to the body direction of the target subject St in this manner, it is possible to align the body direction between the user and the target subject St.
- the line-of-sight direction Dv based on the direction of the face is set if information on body direction can not be acquired, and the process proceeds if the direction of face is also not acquired.
- the direction is set as the gaze direction Dv.
- the subject of interest St shown on the upper side of the user wearing the HMD 51 has a body orientation that matches the direction Drv of the line of sight. That is, in the virtual viewpoint image in this case, the gaze direction Dv matches the direction Drv of the gaze of the target subject St, and when the virtual viewpoint image by the first person viewpoint for the target subject St is displayed to the user, the target subject St It is possible to display a virtual viewpoint image with a field of view that matches the field of view.
- the virtual viewpoint image in this case does not match the gaze direction Drv of the gaze target Dt with the gaze direction Dv of the gazed subject St, and displays the gazed gazed gaze of the gazed object St on the user. Can not reproduce.
- the body orientation and the direction Drv of the line of sight may not match, and depending on the virtual viewpoint image generated in that case, the field of view of the subject of interest St is not appropriately reproduced.
- the direction of the line of sight Drv of the subject of interest St is estimated, and information according to the deviation between the estimated direction of line of sight Drv and the line of sight direction Dv, specifically, guidance for matching these directions Present the information to the user.
- the setting method is selected based on the acquisition status of the analysis information related to the direction of the subject of interest St.
- the setting method of the direction Drv of the line of sight is selected based on the acquisition conditions of the direction of the face and the direction of the pupil.
- the subject analysis unit 12 estimates the direction of the pupil of the subject of interest St.
- the term "pupil” as used herein is intended to include not only the meaning in a narrow sense pointing only to the pupil, but also the meaning in a broad sense pointing to the combined portion of the pupil and the iris.
- the pupil orientation is estimated based on face orientation information and detection information about the pupil. In other words, the orientation of the pupil is information that can be acquired when the orientation of the face is acquired.
- the direction Drv of the line of sight is estimated based on the face direction.
- a direction obtained by adding a predetermined rotation to the direction of the face is used as the estimated value of the direction Drv of the line of sight.
- the representative value in the specific period of such estimated value is acquired as the direction Drv of the line of sight.
- the position of the viewpoint Pv may be offset.
- FIG. 22 shows an example thereof, in which an offset is added to the viewpoint Pv so that the position of the viewpoint Pv is set near the position of the eye of the object of interest St.
- the direction Drv of the line of sight is set based on the direction of the pupil. Specifically, in this example, a representative value within a specific period of the pupil orientation is set as the gaze direction Drv.
- the direction Drv of the line of sight of the focused subject St is set corresponding to the case where only the direction of the face or both the direction of the face and the direction of the pupil are acquired as described above, the line of sight direction of the virtual viewpoint image ( A deviation between the observation direction Dv and the direction Drv of the line of sight is detected, and information corresponding to the deviation is reported to the user.
- FIG. 23 illustrates the relationship between the visual field of the object of interest St and the visual field of the user in the case where a shift between the line of sight direction Dv and the direction Drv of the line of sight occurs.
- An image Ga in the drawing represents a virtual viewpoint image based on an omnidirectional image when the viewpoint Pv is the first-person viewpoint of the target subject St. It can be said that the virtual viewpoint image to be displayed on the HMD 51, which is shown as the display image Gt in the drawing, corresponds to a partially cut-off image Ga as illustrated. The field of view of the user is determined by this display image Gt.
- a point pg in the drawing schematically represents the line-of-sight direction Dv from the viewpoint Pv (first-person viewpoint), and a point ps schematically represents the direction Drv of the line of sight of the object of interest St.
- the view of the object of interest St is not properly reproduced in the display image Ga .
- FIG. 24 is an explanatory diagram of an example of the information notification according to the deviation between the gaze direction Dv and the direction Drv of the gaze.
- gaze matching guidance information for making the gaze direction Dv coincide with the gaze direction Drv is presented as information according to the deviation between the gaze direction Dv and the gaze direction Drv.
- direction indication information H1 in the present example, shown as an arrow-like figure
- FIG. 24B is a diagram extracting and showing the display image Gt shown in FIG. 24A.
- the line of sight direction Dv should be changed to either left or right direction (in this example, the head The user can accurately and intuitively recognize which direction should be moved.
- the target direction information H2 as information representing the direction Drv of the line of sight of the object of interest St is presented.
- FIG. 25 shows a display image Gt in the case where the sight line direction Dv is changed from the state of FIG. 24B to the side that matches the direction of the sight line.
- the target direction information H2 is presented in the display image Gt in a state in which the direction Drv of the line of sight is within the field of view of the display image Gt.
- the presentation mode of the target direction information H2 is not limited to this. By presenting such target direction information H2, it is possible to make the user accurately and intuitively recognize the target of direction alignment.
- FIG. 26 is an explanatory diagram of another example of the information notification according to the deviation between the gaze direction Dv and the direction Drv of the gaze.
- both portions of the display image Gt are displayed in different display modes for the overlapping portion and the non-overlapping portion with the field of view of the subject of interest St. That is, as shown in FIG. 26A, when a portion overlapping the field of view of the subject of interest St in the display image Gt is an overlapping portion Ai, and a non-overlapping portion is a non-overlapping portion Ao, these overlapping portions Ai and non-overlapping portions Ao Display in different display modes.
- the overlapping portion Ai is displayed in color
- the non-overlapping portion Ao is displayed such as monochrome display in which the saturation is lower than that of the overlapping portion Ai.
- the display of the overlapping portion Ai and the non-overlapping portion Ao it is indicated in which of the left and right directions the line of sight direction Drv is present. That is, the presentation of the information by the overlap part Ai and the non-overlap part Ao corresponds to the presentation of the gaze adjustment guide information described above.
- FIG. 26 illustrates an example in which the direction indication information H1 and the target direction information H2 are also presented, it is not essential to present the direction indication information H1 and the target direction information H2 in the present notification example.
- the process relating to the notification of the gaze alignment guide information as described above is performed by the notification processing unit 52 shown in FIG.
- FIG. 27 is a flow chart of the process of selecting the setting method of the direction Drv of the line of sight based on the acquisition status of the analysis information related to the direction of the focused subject St among the processes as the third modification described above.
- the virtual viewpoint image generation unit 13 'executes the process shown in FIG.
- step S301 the virtual viewpoint image generation unit 13 'determines whether the orientation of the face has been acquired. If the face orientation can not be acquired, the virtual viewpoint image generation unit 13 'ends the process illustrated in FIG. That is, in this case, the direction Drv of the line of sight is not set, and the notification of the information according to the deviation between the direction Dv of the line of sight and the direction Drv of the line of sight is not performed.
- the processing shown in FIG. 27 is completed. That is, in this example, a direction obtained by adding a predetermined rotation to the face direction is set as an estimated value of the direction Drv of the line of sight, and a representative value of the estimated value within a specific period is set as the direction Drv of the line of sight.
- the virtual viewpoint image generation unit 13 'proceeds to step S304 and the direction Drv of the sight line is Processing for setting the direction of the pupil is performed, and the processing illustrated in FIG. Specifically, the direction of sight line Drv in this case is a representative value within a specific period of the direction of the pupil.
- FIG. 28 is a flowchart of processing relating to display of gaze matching guide information.
- the process shown in FIG. 28 is executed as the process of the notification processing unit 52 described above.
- step S401 the virtual viewpoint image generation unit 13 'determines in step S401 whether or not the sight line direction (observation direction) Dv matches the sight line direction Drv, and the sight line direction Dv and the sight line direction Drv If they match, the process shown in FIG. 28 is ended, and if they do not match, the process proceeds to step S402.
- step S402 the virtual viewpoint image generation unit 13 'executes display processing of the gaze matching guidance information. Specifically, first, a deviation between the line-of-sight direction Dv and the direction Drv of the line of sight is detected, and processing is performed to display line-of-sight alignment guidance information according to the detected deviation in the display screen Gt. For example, with regard to the direction indication information H1 described above, a virtual viewpoint image that generates a right-pointing arrow if the direction Drv of the sight line is shifted to the right with respect to the sight line direction Dv; A process for superimposing on the display image Gt) is performed.
- the target direction information H2 is superimposed and displayed in a state in which the direction Drv of the line of sight is within the field of view of the display image Gt. Further, in the case of the notification example of FIG. 26, the visual field of the focused subject St is estimated based on the direction Drv of the sight line, and the overlapping portion Ai and non-overlapping portion in the virtual viewpoint image (display image Gt) are based on the estimated visual field. Ao is specified, and for example, a virtual viewpoint image in which the overlapping portion Ai is colored and the non-overlapping portion Ao is low saturation is generated.
- step S402 the virtual viewpoint image generation unit 13 'completes the process illustrated in FIG.
- the information to be notified is not limited to visual information, but may be auditory information as sound or tactile information such as vibration.
- auditory information it is conceivable that the direction instruction is performed by outputting a sound from only one of the Lch and Rch speakers.
- tactile stimulation devices for example, devices for applying tactile stimulation such as vibration or wind pressure
- the direction instruction may be performed by applying a tactile stimulation from only one of the left and right devices.
- the fourth modification relates to switching between a first person viewpoint and a third person viewpoint.
- the third person viewpoint is synonymous with the “inward viewpoint” described above, that is, the viewpoint for observing the subject.
- the content provided by the virtual viewpoint image is sports.
- Switching between the third person viewpoint and the first person viewpoint can be performed according to the type of content. For example, for a game that moves in a large space with a large number of people, such as soccer, it is conceivable to automatically set the third person viewpoint by giving priority to the overall game grasp. In addition, for competitions that move in a small space and a small number of people such as boxing, it is conceivable to automatically set a first-person viewpoint by giving priority to realism. In addition, it is possible to switch between the third person viewpoint and the first person viewpoint depending on the state difference between the subject of interest St being in play or out play.
- the focused subject St may be considered to switch to a first-person viewpoint if the focused subject St has a ball, and switches to a third-person viewpoint if it does not have a ball.
- the focused subject St when the focused subject St is a batter of baseball, it may be considered to switch to a first person viewpoint until hitting a ball and a third person viewpoint after hitting.
- switching between the third person viewpoint and the first person viewpoint may be performed according to the presence or absence of the information of the posture of the attention subject St. Specifically, if there is information on posture, switching is made to a first person viewpoint, and if there is no information on posture, switching is made to a third person viewpoint.
- switching between the third person viewpoint and the first person viewpoint can be performed according to the type of display device.
- the display device of the virtual viewpoint image is a specific display device such as the HMD 51
- switching is performed to a first person viewpoint, and switching to a third person viewpoint in cases other than the specific display device.
- switching between the third person viewpoint and the first person viewpoint can be performed according to the number of times of reproduction of the content. For example, it is conceivable to switch to the third person viewpoint (or first person viewpoint) at the time of the first reproduction, and to the first person viewpoint (or the third person viewpoint) at the second and subsequent reproduction.
- switching between the third person viewpoint and the first person viewpoint can be performed in conjunction with operations other than the viewpoint switching operation.
- a rewinding operation is performed during playback, it is conceivable to switch from the third person viewpoint to the first person viewpoint or from the first person viewpoint to the third person viewpoint at the time of playback after rewinding.
- Such switching in accordance with the rewinding operation is suitable, for example, when it is desired to change the point of view again, such as cross play.
- information for proposing the switching may be presented to the user.
- a method of displaying a pop-up screen for selecting "Yes” or “No” for switching, waiting for a user's instruction, and determining "Yes” when there is no response for a certain period may be considered in which a notification about performing switching is given by voice, a user's instruction is waited, and if there is no response by the user's voice for a certain period, it is determined that there is no intention to switch.
- the above-mentioned predetermined period is short, for example, about 2 seconds.
- FIG. 29 shows a configuration example of an image processing system 100A in the fifth modified example.
- parts that are the same as the parts already described are given the same reference numerals and descriptions thereof will be omitted.
- the fifth modified example is an example in which the processing by the image processing apparatus 1 is realized by cloud computing.
- the image processing system 100A compared with the image processing system 100 shown in FIG. 1, the data recording device 9 is added, and the data recording device 9, the image processing device 1, the input device 6, and the display device 7 are added.
- the image recording apparatus 8 are communicably connected via the network 50.
- the network 50 is, for example, the Internet.
- the data recording device 9 includes, for example, a data recording unit such as an SSD or an HDD, and a control unit that performs data recording / reproduction control for the data recording unit, and an image captured by each imaging device 2 recorded in the image recording device 3 And information of camera parameters obtained by the calibration device 5 is obtained and recorded.
- a data recording unit such as an SSD or an HDD
- a control unit that performs data recording / reproduction control for the data recording unit, and an image captured by each imaging device 2 recorded in the image recording device 3 And information of camera parameters obtained by the calibration device 5 is obtained and recorded.
- the image processing device 1 acquires the captured image by each imaging device 2 and the information of the camera parameter from the data recording device 9 via the network 50.
- the process performed by the image processing apparatus 1 based on the information of the captured image and the camera parameter is the same as that described above, and thus the description thereof will not be repeated.
- the input device 6 may be directly communicably connected to the image processing apparatus 1 without the network 50.
- FIG. 30 shows a configuration example of an image processing system 100B in the sixth modified example.
- the sixth modification provides the same data recording device 9 as the fifth modification, and can realize generation of a virtual viewpoint image as offline processing.
- 3D model data and object analysis information Ia are recorded in the data recording device 9, and the display device 7A acquires the recorded 3D model data and object analysis information Ia and the virtual viewpoint image Illustrate the case of generating.
- the image processing system 100B As compared with the image processing system 100A, in the image processing system 100B, while the image processing device 1, the input device 6, and the image recording device 8 are omitted, a 3D model generation device 11 'and a subject analysis device 12' are provided. And the display 7A is provided instead of the display 7. The data recording device 9 and the display device 7A can perform data communication with each other via the network 50.
- the captured image by each imaging device 2 recorded in the image recording device 3 and the information of the camera parameter obtained by the calibration device 5 are input to the 3D model generation device 11 ′.
- the 3D model generation device 11 ′ generates 3D model data in the same manner as the 3D model generation unit 11, based on the captured image recorded in the image recording device 3 and the information of the camera parameters.
- the subject analysis device 12 'performs subject analysis processing similar to that of the subject analysis unit 12 based on the 3D model data generated by the 3D model generation device 11' to obtain subject analysis information Ia.
- the 3D model data generated by the 3D model generation device 11 ′ and the subject analysis information Ia are recorded in the data recording device 9.
- the display device 7A includes the operation unit 61 and the display unit 62, and includes the virtual viewpoint image generation unit 13.
- the virtual viewpoint image generation unit 13 includes 3D model data and object analysis information recorded in the data recording device 9. Ia is acquired via the network 50 to generate a virtual viewpoint image. Then, the display unit 62 displays the generated virtual viewpoint image. Also in this case, the virtual viewpoint image generation unit 13 sets the viewpoint Pv and the gaze direction Dv based on an operation input via the operation unit 61. Further, similarly to the case of the image processing apparatus 1, processing (see FIG. 11) corresponding to the set "viewpoint mode" or "viewpoint setting mode" is performed.
- Such a display device 7A can be realized as an information processing apparatus having portability, such as a laptop personal computer, a mobile phone, a tablet terminal, and the like.
- the display device 7A acquires from the data recording device 9 only the data of the required partial scenes. It is also possible to generate a virtual viewpoint image. In this case, the required scene selection can be performed based on the operation input via the operation unit 61.
- the recording of the 3D model data and the subject analysis information Ia in the data recording device 9 may be performed only on the image portion of a partial section in the captured image by each imaging device 2.
- the virtual viewpoint image generated by the display device 7A can also be recorded in a required recording device.
- the virtual viewpoint image generation unit 13 in the display device 7A sets the viewpoint Pv.
- the display device 7A acquires information of the viewpoint Pv set in the external device and acquires the information
- the virtual viewpoint image generation unit 13 to generate a virtual viewpoint image based on the information of the selected viewpoint Pv.
- the setting of the viewpoint Pv based on the position of the subject is performed based on at least the 3D model data and the subject analysis information Ia.
- the virtual viewpoint image generation unit 13 in the display device 7A generates a virtual viewpoint image based on the information of the viewpoint Pv set as described above.
- the virtual viewpoint image generation unit 13 generates the virtual viewpoint image in which the viewpoint Pv is changed following the movement of the subject.
- the technology according to the present disclosure can be applied to various products.
- the technology according to the present disclosure may be applied to an operating room system.
- FIG. 31 is a diagram schematically showing an overall configuration of an operating room system 5100 to which the technology according to the present disclosure can be applied.
- the operating room system 5100 is configured such that devices installed in the operating room are connected to be able to cooperate with each other via an audiovisual controller (AV controller) 5107 and an operating room controller 5109.
- AV controller audiovisual controller
- FIG. 31 various devices may be installed in the operating room.
- various device groups 5101 for endoscopic surgery a sealing camera 5187 provided on the ceiling of the operating room for imaging the hand of the operator, and an operating room provided on the ceiling of the operating room
- a surgical field camera 5189 for imaging the entire situation a plurality of display devices 5103A to 5103D, a recorder 5105, a patient bed 5183 and an illumination 5191 are shown.
- a device group 5101 belongs to an endoscopic surgery system 5113 described later, and includes an endoscope, a display device that displays an image captured by the endoscope, and the like.
- Each device belonging to the endoscopic surgery system 5113 is also referred to as a medical device.
- the display devices 5103A to 5103D, the recorder 5105, the patient bed 5183 and the illumination 5191 are devices provided, for example, in the operating room separately from the endoscopic surgery system 5113.
- Each device which does not belong to the endoscopic surgery system 5113 is also referred to as a non-medical device.
- the audiovisual controller 5107 and / or the operating room controller 5109 cooperate with each other to control the operation of the medical device and the non-medical device.
- the audio-visual controller 5107 centrally controls processing relating to image display in medical devices and non-medical devices.
- the device group 5101, the ceiling camera 5187, and the operation room camera 5189 have a function of transmitting information to be displayed during surgery (hereinafter also referred to as display information).
- It may be a device (hereinafter also referred to as a source device).
- the display devices 5103A to 5103D can be devices to which display information is output (hereinafter, also referred to as a device of an output destination).
- the recorder 5105 may be a device that corresponds to both a source device and an output device.
- the audiovisual controller 5107 controls the operation of the transmission source device and the output destination device, acquires display information from the transmission source device, transmits the display information to the output destination device, and displays or records the function.
- the display information is various images captured during the operation, various information related to the operation (for example, physical information of the patient, information on a past examination result, information on the operation method, etc.).
- information about an image of a surgical site in a patient's body cavity captured by the endoscope may be transmitted from the device group 5101 as display information to the audiovisual controller 5107.
- information on the image of the operator's hand captured by the ceiling camera 5187 can be transmitted as display information.
- information on an image indicating the appearance of the entire operating room captured by the surgery site camera 5189 may be transmitted from the surgery site camera 5189 as display information.
- the audiovisual controller 5107 acquires information on an image captured by the other device from the other device as display information. You may
- the recorder 5105 information about these images captured in the past is recorded by the audiovisual controller 5107.
- the audiovisual controller 5107 can acquire information on an image captured in the past from the recorder 5105 as display information.
- the recorder 5105 may also record various types of information regarding surgery in advance.
- the audiovisual controller 5107 causes the acquired display information (that is, the image taken during the operation and various information related to the operation) to be displayed on at least one of the display devices 5103A to 5103D which are output destination devices.
- the display device 5103A is a display device suspended and installed from the ceiling of the operating room
- the display device 5103B is a display device installed on the wall of the operating room
- the display device 5103C is in the operating room
- the display device 5103D is a display device installed on a desk
- the display device 5103D is a mobile device (for example, a tablet PC (Personal Computer)) having a display function.
- the operating room system 5100 may include devices outside the operating room.
- the apparatus outside the operating room may be, for example, a server connected to a network built inside or outside a hospital, a PC used by medical staff, a projector installed in a conference room of a hospital, or the like.
- the audiovisual controller 5107 can also display the display information on the display device of another hospital via a video conference system or the like for telemedicine.
- the operating room control device 5109 centrally controls processing other than processing related to image display in non-medical devices.
- the operating room controller 5109 controls the driving of the patient bed 5183, the ceiling camera 5187, the operation room camera 5189, and the illumination 5191.
- the operating room system 5100 is provided with a centralized operation panel 5111, and the user gives an instruction for image display to the audiovisual controller 5107 through the centralized operation panel 5111, and the operating room control device 5109. Instructions can be given to the operation of the non-medical device.
- the centralized operation panel 5111 is configured by providing a touch panel on the display surface of the display device.
- FIG. 32 is a view showing a display example of the operation screen on the centralized operation panel 5111.
- FIG. 32 shows, as an example, an operation screen corresponding to a case where two display devices are provided as an output destination device in the operating room system 5100.
- the operation screen 5193 is provided with a source selection area 5195, a preview area 5197, and a control area 5201.
- a transmission source device provided in the operating room system 5100 and a thumbnail screen representing display information of the transmission source device are displayed in association with each other. The user can select display information to be displayed on the display device from any of the transmission source devices displayed in the transmission source selection area 5195.
- a preview of a screen displayed on two display devices which are output destination devices is displayed.
- four images are displayed in PinP on one display device.
- the four images correspond to the display information transmitted from the transmission source device selected in the transmission source selection area 5195.
- one is displayed relatively large as a main image, and the remaining three are displayed relatively small as sub-images.
- the user can replace the main image and the sub-image by appropriately selecting the area in which the four images are displayed.
- a status display area 5199 is provided below the area where the four images are displayed, and the status regarding surgery (for example, elapsed time of surgery, physical information of patient, etc.) is appropriately displayed in the area. obtain.
- a control area 5201 includes a transmission source operation area 5203 in which a GUI (Graphical User Interface) component for performing an operation on a transmission source device is displayed, and a GUI component for performing an operation on an output destination device And an output destination operation area 5205 in which is displayed.
- the transmission source operation area 5203 is provided with GUI components for performing various operations (pan, tilt, and zoom) on the camera in the transmission source apparatus having an imaging function. The user can operate the operation of the camera in the source device by appropriately selecting these GUI components.
- the transmission source operation area 5203 may be provided with a GUI component for performing an operation such as reproduction, reproduction stop, rewind, fast forward, etc. of the image.
- a GUI component for performing various operations (swap, flip, color adjustment, contrast adjustment, switching between 2D display and 3D display) on the display in the display device which is the output destination device It is provided.
- the user can operate the display on the display device by appropriately selecting these GUI components.
- the operation screen displayed on the centralized operation panel 5111 is not limited to the illustrated example, and the user can use the audiovisual controller 5107 and the operating room control device 5109 provided in the operating room system 5100 via the centralized operation panel 5111. Operation input to each device that can be controlled may be possible.
- FIG. 33 is a diagram showing an example of a state of surgery to which the operating room system described above is applied.
- a ceiling camera 5187 and an operation room camera 5189 are provided on the ceiling of the operating room, and can capture a picture of the hand of the operator (doctor) 5181 who performs treatment on the affected part of the patient 5185 on the patient bed 5183 and the entire operating room It is.
- the ceiling camera 5187 and the operation room camera 5189 may be provided with a magnification adjustment function, a focal length adjustment function, an imaging direction adjustment function, and the like.
- the illumination 5191 is provided on the ceiling of the operating room and illuminates at least the hand of the operator 5181.
- the illumination 5191 may be capable of appropriately adjusting the irradiation light amount, the wavelength (color) of the irradiation light, the irradiation direction of the light, and the like.
- the endoscopic surgery system 5113, the patient bed 5183, the ceiling camera 5187, the operation room camera 5189 and the illumination 5191 are connected via the audiovisual controller 5107 and the operating room controller 5109 (not shown in FIG. 33) as shown in FIG. Are connected to each other so that they can cooperate with each other.
- a centralized operation panel 5111 is provided in the operating room, and as described above, the user can appropriately operate these devices present in the operating room via the centralized operation panel 5111.
- the endoscopic surgery system 5113 includes an endoscope 5115, other surgical instruments 5131, a support arm device 5141 for supporting the endoscope 5115, and various devices for endoscopic surgery. And a cart 5151 mounted thereon.
- trocars 5139a to 5139d are punctured in the abdominal wall. Then, the barrel 5117 of the endoscope 5115 and other surgical tools 5131 are inserted into the body cavity of the patient 5185 from the trocars 5139 a to 5139 d.
- an insufflation tube 5133, an energy treatment instrument 5135, and a forceps 5137 are inserted into the body cavity of the patient 5185 as other surgical instruments 5131.
- the energy treatment tool 5135 is a treatment tool that performs incision and peeling of tissue, sealing of a blood vessel, and the like by high-frequency current or ultrasonic vibration.
- the illustrated surgical tool 5131 is merely an example, and various surgical tools generally used in endoscopic surgery, such as forceps and retractors, may be used as the surgical tool 5131, for example.
- An image of the operation site in the body cavity of the patient 5185 taken by the endoscope 5115 is displayed on the display device 5155.
- the operator 5181 performs a treatment such as excision of the affected area using the energy treatment tool 5135 and the forceps 5137 while viewing the image of the operative part displayed on the display device 5155 in real time.
- a treatment such as excision of the affected area using the energy treatment tool 5135 and the forceps 5137
- the insufflation tube 5133, the energy treatment tool 5135 and the forceps 5137 are supported by the operator 5181 or an assistant during the operation.
- the support arm device 5141 includes an arm 5145 extending from the base 5143.
- the arm 5145 includes joints 5147a, 5147b, 5147c, and links 5149a, 5149b, and is driven by control from the arm controller 5159.
- the endoscope 5115 is supported by the arm 5145, and its position and posture are controlled. In this way, stable position fixation of the endoscope 5115 can be realized.
- the endoscope 5115 includes a lens barrel 5117 whose region of a predetermined length from the tip is inserted into the body cavity of the patient 5185, and a camera head 5119 connected to the proximal end of the lens barrel 5117.
- the endoscope 5115 configured as a so-called rigid endoscope having a rigid barrel 5117 is illustrated.
- the endoscope 5115 is configured as a so-called flexible mirror having a flexible barrel 5117 It is also good.
- a light source device 5157 is connected to the endoscope 5115, and light generated by the light source device 5157 is guided to the tip of the lens barrel by a light guide extended inside the lens barrel 5117, and an objective The light is emitted toward the observation target in the body cavity of the patient 5185 through the lens.
- the endoscope 5115 may be a straight endoscope, or may be a oblique endoscope or a side endoscope.
- An optical system and an imaging device are provided inside the camera head 5119, and reflected light (observation light) from the observation target is condensed on the imaging device by the optical system.
- the observation light is photoelectrically converted by the imaging element to generate an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image.
- the image signal is transmitted to a camera control unit (CCU: Camera Control Unit) 5153 as RAW data.
- the camera head 5119 has a function of adjusting the magnification and the focal length by appropriately driving the optical system.
- a plurality of imaging devices may be provided in the camera head 5119 in order to cope with, for example, stereoscopic vision (3D display).
- a plurality of relay optical systems are provided inside the lens barrel 5117 in order to guide observation light to each of the plurality of imaging elements.
- the CCU 5153 is constituted by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and controls the operation of the endoscope 5115 and the display device 5155 in a centralized manner. Specifically, the CCU 5153 subjects the image signal received from the camera head 5119 to various types of image processing, such as development processing (demosaicing processing), for displaying an image based on the image signal. The CCU 5153 provides the display device 5155 with the image signal subjected to the image processing. Further, an audiovisual controller 5107 shown in FIG. 31 is connected to the CCU 5153. The CCU 5153 also provides the audiovisual controller 5107 with the image signal subjected to the image processing.
- a CPU Central Processing Unit
- GPU Graphics Processing Unit
- the CCU 5153 transmits a control signal to the camera head 5119 to control the driving thereof.
- the control signal may include information on imaging conditions such as magnification and focal length.
- the information related to the imaging condition may be input through the input device 5161 or may be input through the above-described centralized operation panel 5111.
- the display device 5155 displays an image based on the image signal subjected to the image processing by the CCU 5153 under the control of the CCU 5153.
- the endoscope 5115 corresponds to high-resolution imaging such as 4K (3840 horizontal pixels ⁇ 2160 vertical pixels) or 8K (7680 horizontal pixels ⁇ 4320 vertical pixels), and / or 3D display, for example
- the display device 5155 corresponds to each of the display devices 5155
- a device capable of high-resolution display and / or a 3D display device can be used.
- high-resolution imaging such as 4K or 8K
- by using a display device 5155 having a size of 55 inches or more a further immersive feeling can be obtained.
- a plurality of display devices 5155 having different resolutions and sizes may be provided depending on the application.
- the light source device 5157 is configured of a light source such as an LED (light emitting diode), for example, and supplies illumination light at the time of imaging the surgical site to the endoscope 5115.
- a light source such as an LED (light emitting diode)
- the arm control device 5159 is constituted by a processor such as a CPU, for example, and operates in accordance with a predetermined program to control the driving of the arm 5145 of the support arm device 5141 according to a predetermined control method.
- the input device 5161 is an input interface to the endoscopic surgery system 5113.
- the user can input various information and input instructions to the endoscopic surgery system 5113 through the input device 5161.
- the user inputs, via the input device 5161, various types of information related to surgery, such as physical information of a patient and information on a surgery procedure.
- the user instructs, via the input device 5161, an instruction to drive the arm unit 5145, and an instruction to change the imaging conditions (type of irradiated light, magnification, focal length, etc.) by the endoscope 5115.
- An instruction to drive the energy treatment tool 5135, etc. are input.
- the type of the input device 5161 is not limited, and the input device 5161 may be various known input devices.
- a mouse, a keyboard, a touch panel, a switch, a foot switch 5171, and / or a lever may be applied as the input device 5161.
- the touch panel may be provided on the display surface of the display device 5155.
- the input device 5161 is a device mounted by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display), for example, and various types of input according to the user's gesture or line of sight detected by these devices. Is done. Further, the input device 5161 includes a camera capable of detecting the motion of the user, and various inputs are performed in accordance with the user's gesture and line of sight detected from the image captured by the camera. Furthermore, the input device 5161 includes a microphone capable of picking up the user's voice, and various inputs are performed by voice via the microphone.
- a glasses-type wearable device or an HMD Head Mounted Display
- the user for example, the operator 5181
- the input device 5161 being configured to be able to input various information in a non-contact manner. Is possible.
- the user can operate the device without releasing his / her hand from the operating tool, the convenience of the user is improved.
- the treatment instrument control device 5163 controls the drive of the energy treatment instrument 5135 for ablation of tissue, incision, sealing of a blood vessel or the like.
- the insufflation apparatus 5165 is provided with a gas in the body cavity via the insufflation tube 5133 in order to expand the body cavity of the patient 5185 for the purpose of securing a visual field by the endoscope 5115 and securing a working space of the operator.
- Send The recorder 5167 is a device capable of recording various types of information regarding surgery.
- the printer 5169 is a device capable of printing various types of information related to surgery in various types such as text, images, and graphs.
- the support arm device 5141 includes a base 5143 which is a base and an arm 5145 extending from the base 5143.
- the arm 5145 includes a plurality of joints 5147a, 5147b, and 5147c, and a plurality of links 5149a and 5149b connected by the joints 5147b.
- FIG. The structure of the arm 5145 is shown in a simplified manner. In practice, the shape, number and arrangement of the joints 5147a to 5147c and the links 5149a and 5149b, and the direction of the rotation axis of the joints 5147a to 5147c are appropriately set so that the arm 5145 has a desired degree of freedom. obtain.
- the arm 5145 may be preferably configured to have six or more degrees of freedom.
- the endoscope 5115 can be freely moved within the movable range of the arm 5145, so that the lens barrel 5117 of the endoscope 5115 can be inserted into the body cavity of the patient 5185 from a desired direction. It will be possible.
- the joints 5147a to 5147c are provided with an actuator, and the joints 5147a to 5147c are configured to be rotatable around a predetermined rotation axis by driving the actuators.
- the driving of the actuator is controlled by the arm control device 5159 to control the rotation angles of the joint portions 5147a to 5147c, and the driving of the arm portion 5145 is controlled. Thereby, control of the position and posture of the endoscope 5115 can be realized.
- the arm control device 5159 can control the driving of the arm unit 5145 by various known control methods such as force control or position control.
- the drive of the arm 5145 is appropriately controlled by the arm control device 5159 according to the operation input, and
- the position and attitude of the endoscope 5115 may be controlled.
- the endoscope 5115 at the tip of the arm 5145 is moved from any position to any position, the endoscope 5115 can be fixedly supported at the position after the movement.
- the arm 5145 may be operated by a so-called master slave method. In this case, the arm 5145 can be remotely controlled by the user via the input device 5161 installed at a location distant from the operating room.
- the arm control device 5159 receives the external force from the user and moves the actuator of each joint 5147 a to 5147 c so that the arm 5145 moves smoothly following the external force. So-called power assist control may be performed.
- the arm 5145 can be moved with a relatively light force. Therefore, it is possible to move the endoscope 5115 more intuitively and with a simpler operation, and the convenience of the user can be improved.
- the endoscope 5115 is supported by a doctor called scopist.
- the position of the endoscope 5115 can be more reliably fixed without manual operation, so that it is possible to stably obtain an image of the operative site. , Can be performed smoothly.
- the arm control device 5159 may not necessarily be provided in the cart 5151. Also, the arm control device 5159 may not necessarily be one device. For example, the arm control device 5159 may be provided at each joint 5147 a to 5147 c of the arm 5145 of the support arm device 5141, and the arm control devices 5159 cooperate with one another to drive the arm 5145. Control may be realized.
- the light source device 5157 supplies the endoscope 5115 with illumination light for imaging the operative part.
- the light source device 5157 is configured of, for example, a white light source configured by an LED, a laser light source, or a combination thereof.
- a white light source is configured by a combination of RGB laser light sources
- the output intensity and output timing of each color can be controlled with high accuracy. Adjustments can be made.
- the laser light from each of the RGB laser light sources is irradiated on the observation target in time division, and the drive of the imaging device of the camera head 5119 is controlled in synchronization with the irradiation timing to cope with each of RGB. It is also possible to capture a shot image in time division. According to the method, a color image can be obtained without providing a color filter in the imaging device.
- the drive of the light source device 5157 may be controlled to change the intensity of the light to be output at predetermined time intervals.
- the drive of the imaging element of the camera head 5119 is controlled in synchronization with the timing of the change of the light intensity to acquire images in time division, and by combining the images, high dynamic without so-called blackout and whiteout is obtained. An image of the range can be generated.
- the light source device 5157 may be configured to be able to supply light of a predetermined wavelength band corresponding to special light observation.
- special light observation for example, the mucous membrane surface layer is irradiated by irradiating narrow band light as compared with irradiation light (that is, white light) at the time of normal observation using the wavelength dependency of light absorption in body tissue.
- the so-called narrow band imaging is performed to image a predetermined tissue such as a blood vessel with high contrast.
- fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiation with excitation light.
- a body tissue is irradiated with excitation light and fluorescence from the body tissue is observed (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue while being locally injected. What irradiates the excitation light corresponding to the fluorescence wavelength of the reagent, and obtains a fluorescence image etc. can be performed.
- the light source device 5157 can be configured to be able to supply narrow band light and / or excitation light corresponding to such special light observation.
- FIG. 34 is a block diagram showing an example of a functional configuration of the camera head 5119 and the CCU 5153 shown in FIG.
- the camera head 5119 has a lens unit 5121, an imaging unit 5123, a drive unit 5125, a communication unit 5127, and a camera head control unit 5129 as its functions.
- the CCU 5153 also includes a communication unit 5173, an image processing unit 5175, and a control unit 5177 as its functions.
- the camera head 5119 and the CCU 5153 are communicably connected in both directions by a transmission cable 5179.
- the lens unit 5121 is an optical system provided at the connection with the lens barrel 5117.
- the observation light taken in from the tip of the lens barrel 5117 is guided to the camera head 5119 and is incident on the lens unit 5121.
- the lens unit 5121 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
- the optical characteristic of the lens unit 5121 is adjusted so as to condense the observation light on the light receiving surface of the imaging element of the imaging unit 5123.
- the zoom lens and the focus lens are configured such that the position on the optical axis can be moved in order to adjust the magnification and the focus of the captured image.
- the imaging unit 5123 is configured by an imaging element, and is disposed downstream of the lens unit 5121.
- the observation light which has passed through the lens unit 5121 is condensed on the light receiving surface of the imaging device, and an image signal corresponding to the observation image is generated by photoelectric conversion.
- the image signal generated by the imaging unit 5123 is provided to the communication unit 5127.
- an imaging element which comprises the imaging part 5123 it is an image sensor of a CMOS (Complementary Metal Oxide Semiconductor) type, for example, and a color imaging
- CMOS Complementary Metal Oxide Semiconductor
- photography of the high resolution image of 4K or more may be used, for example.
- the imaging device constituting the imaging unit 5123 is configured to have a pair of imaging devices for acquiring image signals for the right eye and for the left eye corresponding to 3D display.
- the 3D display enables the operator 5181 to more accurately grasp the depth of the living tissue in the operation site.
- the imaging unit 5123 is configured as a multi-plate type, a plurality of lens units 5121 are also provided corresponding to each imaging element.
- the imaging unit 5123 may not necessarily be provided in the camera head 5119.
- the imaging unit 5123 may be provided inside the lens barrel 5117 immediately after the objective lens.
- the drive unit 5125 is constituted by an actuator, and moves the zoom lens and the focus lens of the lens unit 5121 by a predetermined distance along the optical axis under the control of the camera head control unit 5129. Thereby, the magnification and the focus of the captured image by the imaging unit 5123 may be appropriately adjusted.
- the communication unit 5127 is configured of a communication device for transmitting and receiving various types of information to and from the CCU 5153.
- the communication unit 5127 transmits the image signal obtained from the imaging unit 5123 to the CCU 5153 via the transmission cable 5179 as RAW data.
- the image signal be transmitted by optical communication in order to display the captured image of the surgical site with low latency.
- the operator 5181 performs the operation while observing the condition of the affected area by the captured image, and for safer and more reliable operation, the moving image of the operation site is displayed in real time as much as possible It is because that is required.
- the communication unit 5127 is provided with a photoelectric conversion module which converts an electrical signal into an optical signal.
- the image signal is converted into an optical signal by the photoelectric conversion module, and then transmitted to the CCU 5153 via the transmission cable 5179.
- the communication unit 5127 also receives, from the CCU 5153, a control signal for controlling the drive of the camera head 5119.
- the the control signal for example, information that specifies the frame rate of the captured image, information that specifies the exposure value at the time of imaging, and / or magnification and information, etc. indicating that specifies the focal point of the captured image, captured Contains information about the condition.
- the communication unit 5127 provides the received control signal to the camera head control unit 5129.
- the control signal from the CCU 5153 may also be transmitted by optical communication.
- the communication unit 5127 is provided with a photoelectric conversion module that converts an optical signal into an electric signal, and the control signal is converted into an electric signal by the photoelectric conversion module and is then provided to the camera head control unit 5129.
- imaging conditions such as the frame rate, the exposure value, the magnification, and the focus described above are automatically set by the control unit 5177 of the CCU 5153 based on the acquired image signal. That is, so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are installed in the endoscope 5115.
- AE Auto Exposure
- AF Automatic Focus
- AWB Automatic White Balance
- the camera head control unit 5129 controls the drive of the camera head 5119 based on the control signal from the CCU 5153 received via the communication unit 5127. For example, the camera head control unit 5129 controls the drive of the imaging element of the imaging unit 5123 based on the information to specify the frame rate of the captured image and / or the information to specify the exposure at the time of imaging. In addition, for example, the camera head control unit 5129 appropriately moves the zoom lens and the focus lens of the lens unit 5121 via the drive unit 5125 based on the information indicating that the magnification and the focus of the captured image are designated.
- the camera head control unit 5129 may further have a function of storing information for identifying the lens barrel 5117 and the camera head 5119.
- the camera head 5119 can have resistance to autoclave sterilization.
- the communication unit 5173 is configured of a communication device for transmitting and receiving various information to and from the camera head 5119.
- the communication unit 5173 receives an image signal transmitted from the camera head 5119 via the transmission cable 5179.
- the image signal can be suitably transmitted by optical communication.
- the communication unit 5173 is provided with a photoelectric conversion module which converts an optical signal into an electrical signal.
- the communication unit 5173 provides the image processing unit 5175 with the image signal converted into the electrical signal.
- the communication unit 5173 transmits, to the camera head 5119, a control signal for controlling the drive of the camera head 5119.
- the control signal may also be transmitted by optical communication.
- the image processing unit 5175 performs various types of image processing on an image signal that is RAW data transmitted from the camera head 5119.
- image processing for example, development processing, high image quality processing (band emphasis processing, super-resolution processing, NR (noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing (electronic zoom processing) And various other known signal processings.
- the image processing unit 5175 also performs detection processing on the image signal to perform AE, AF, and AWB.
- the image processing unit 5175 is configured by a processor such as a CPU or a GPU, and the image processing and the detection processing described above can be performed by the processor operating according to a predetermined program.
- the image processing unit 5175 is configured by a plurality of GPUs, the image processing unit 5175 appropriately divides the information related to the image signal, and performs image processing in parallel by the plurality of GPUs.
- the control unit 5177 performs various types of control regarding imaging of the surgical site by the endoscope 5115 and display of the imaged image. For example, the control unit 5177 generates a control signal for controlling the drive of the camera head 5119. At this time, when the imaging condition is input by the user, the control unit 5177 generates a control signal based on the input by the user. Alternatively, when the endoscope 5115 is equipped with the AE function, the AF function, and the AWB function, the control unit 5177 determines the optimum exposure value, focal length, and the like according to the result of the detection processing by the image processing unit 5175. The white balance is appropriately calculated to generate a control signal.
- control unit 5177 causes the display device 5155 to display an image of the operative site based on the image signal subjected to the image processing by the image processing unit 5175.
- the control unit 5177 recognizes various objects in the operation site image using various image recognition techniques. For example, the control unit 5177 detects a shape, a color, and the like of an edge of an object included in an operation part image, thereby enabling a surgical tool such as forceps, a specific living body region, bleeding, mist when using the energy treatment tool 5135, etc. It can be recognized.
- the control unit 5177 uses the recognition result to superimpose various operation support information on the image of the operation unit. The operation support information is superimposed and presented to the operator 5181, which makes it possible to proceed with the operation more safely and reliably.
- a transmission cable 5179 connecting the camera head 5119 and the CCU 5153 is an electric signal cable corresponding to communication of an electric signal, an optical fiber corresponding to optical communication, or a composite cable of these.
- communication is performed by wire communication using the transmission cable 5179, but communication between the camera head 5119 and the CCU 5153 may be performed wirelessly.
- the communication between the two is performed wirelessly, it is not necessary to lay the transmission cable 5179 in the operating room, so that the movement of the medical staff in the operating room can be eliminated by the transmission cable 5179.
- the operating room system 5100 to which the technology according to the present disclosure can be applied has been described.
- the medical treatment system to which the operating room system 5100 is applied is the endoscopic surgery system 5113
- the configuration of the operating room system 5100 is not limited to such an example.
- the operating room system 5100 may be applied to a flexible endoscopic system for examination or a microsurgery system instead of the endoscopic surgery system 5113.
- the technology according to the present disclosure can be suitably applied to the case of generating a virtual viewpoint image based on an image captured by an imaging device such as a surgical field camera 5189 or a ceiling camera 5187.
- an imaging device such as a surgical field camera 5189 or a ceiling camera 5187.
- a plurality of imaging devices such as a surgery site camera 5189 and a ceiling camera 5187 are provided, and three-dimensional information representing a subject in a three-dimensional space is acquired based on images captured by the plurality of imaging devices. Based on three-dimensional information, it is possible to generate an observation image from a viewpoint in three-dimensional space as a virtual viewpoint image.
- the subject in the case of generating a virtual viewpoint image using the surgery site camera 5189, the subject is an operator (operator, assistant, nurse, etc.), a patient, a surgical instrument, and the like.
- the subject may be a surgical instrument, an organ of a patient, or the like.
- the technology according to the present disclosure is, for example, any type of movement such as a car, an electric car, a hybrid electric car, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, an agricultural machine (tractor) It may be realized as a device mounted on the body.
- FIG. 35 is a block diagram showing a schematic configuration example of a vehicle control system 7000 which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
- Vehicle control system 7000 comprises a plurality of electronic control units connected via communication network 7010.
- the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. .
- the communication network 7010 connecting the plurality of control units is, for example, an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
- CAN Controller Area Network
- LIN Local Interconnect Network
- LAN Local Area Network
- FlexRay registered trademark
- Each control unit includes a microcomputer that performs arithmetic processing in accordance with various programs, a storage unit that stores programs executed by the microcomputer or parameters used in various arithmetic operations, and drive circuits that drive devices to be controlled. Equipped with Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and by wired communication or wireless communication with an apparatus or sensor inside or outside the vehicle. A communication I / F for performing communication is provided. In FIG.
- the integrated control unit 7600 As a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
- the other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
- Drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
- drive system control unit 7100 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, and a steering angle of the vehicle. It functions as a control mechanism such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
- the drive system control unit 7100 may have a function as a control device such as an ABS (Antilock Brake System) or an ESC (Electronic Stability Control).
- Vehicle state detection unit 7110 is connected to drive system control unit 7100.
- the vehicle state detection unit 7110 may be, for example, a gyro sensor that detects an angular velocity of an axial rotational movement of a vehicle body, an acceleration sensor that detects an acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of the sensors for detecting the angle, the engine speed, the rotational speed of the wheel, etc. is included.
- Drive system control unit 7100 performs arithmetic processing using a signal input from vehicle state detection unit 7110 to control an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
- Body system control unit 7200 controls the operation of various devices equipped on the vehicle body according to various programs.
- the body control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device of various lamps such as a head lamp, a back lamp, a brake lamp, a blinker or a fog lamp.
- the body system control unit 7200 may receive radio waves or signals of various switches transmitted from a portable device substituting a key.
- Body system control unit 7200 receives the input of these radio waves or signals, and controls a door lock device, a power window device, a lamp and the like of the vehicle.
- the battery control unit 7300 controls the secondary battery 7310 which is a power supply source of the drive motor according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device provided with the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and performs temperature adjustment control of the secondary battery 7310 or control of a cooling device or the like provided in the battery device.
- Outside-vehicle information detection unit 7400 detects information outside the vehicle equipped with vehicle control system 7000.
- the imaging unit 7410 and the external information detection unit 7420 is connected to the external information detection unit 7400.
- the imaging unit 7410 includes at least one of a time-of-flight (ToF) camera, a stereo camera, a monocular camera, an infrared camera, and another camera.
- ToF time-of-flight
- an environment sensor for detecting the current weather or weather, or another vehicle, an obstacle or a pedestrian around the vehicle equipped with the vehicle control system 7000 is detected in the outside-vehicle information detection unit 7420, for example.
- the ambient information detection sensors at least one of the ambient information detection sensors.
- the environment sensor may be, for example, at least one of a raindrop sensor that detects wet weather, a fog sensor that detects fog, a sunshine sensor that detects sunshine intensity, and a snow sensor that detects snowfall.
- the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a light detection and ranging (LIDAR) device.
- the imaging unit 7410 and the external information detection unit 7420 may be provided as independent sensors or devices, or may be provided as an integrated device of a plurality of sensors or devices.
- FIG. 36 shows an example of installation positions of the imaging unit 7410 and the external information detection unit 7420.
- the imaging units 7910, 7912, 7914, 7916, 7918 are provided at, for example, at least one of the front nose of the vehicle 7900, the side mirror, the rear bumper, the back door, and the upper portion of the windshield of the vehicle interior.
- An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle cabin mainly acquire an image in front of the vehicle 7900.
- the imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
- An imaging unit 7916 provided in the rear bumper or back door mainly acquires an image behind the vehicle 7900.
- the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used to detect a leading vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
- FIG. 36 illustrates an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
- the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
- the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors
- the imaging range d indicates The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown.
- a bird's-eye view of the vehicle 7900 as viewed from above can be obtained.
- the external information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, and corners of the vehicle 7900 and above the windshield of the vehicle interior may be, for example, ultrasonic sensors or radar devices.
- the external information detection units 7920, 7926, 7930 provided on the front nose of the vehicle 7900, the rear bumper, the back door, and the upper part of the windshield of the vehicle interior may be, for example, a LIDAR device.
- These outside-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle or the like.
- the out-of-vehicle information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle, and receives the captured image data. Further, the external information detection unit 7400 receives detection information from the external information detection unit 7420 connected. When the out-of-vehicle information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the out-of-vehicle information detection unit 7400 transmits ultrasonic waves or electromagnetic waves and receives information on the received reflected waves.
- the external information detection unit 7400 may perform object detection processing or distance detection processing of a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received information.
- the external information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions and the like based on the received information.
- the external information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
- the external information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
- the external information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by different imaging units 7410 to generate an overhead image or a panoramic image. It is also good.
- the external information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
- An in-vehicle information detection unit 7500 detects information in the vehicle.
- a driver state detection unit 7510 that detects a state of a driver is connected to the in-vehicle information detection unit 7500.
- the driver state detection unit 7510 may include a camera for imaging the driver, a biometric sensor for detecting the driver's biological information, a microphone for collecting sound in the vehicle interior, and the like.
- the biological sensor is provided, for example, on a seat or a steering wheel, and detects biological information of an occupant sitting on a seat or a driver who grips the steering wheel.
- the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or determine whether the driver does not go to sleep You may The in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
- the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 in accordance with various programs.
- An input unit 7800 is connected to the integrated control unit 7600.
- the input unit 7800 is realized by, for example, a device such as a touch panel, a button, a microphone, a switch or a lever, which can be input operated by the passenger.
- the integrated control unit 7600 may receive data obtained by speech recognition of speech input by the microphone.
- the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) corresponding to the operation of the vehicle control system 7000.
- PDA Personal Digital Assistant
- the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Furthermore, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the above-described input unit 7800 and outputs the generated signal to the integrated control unit 7600. The passenger or the like operates the input unit 7800 to input various data to the vehicle control system 7000 and instruct processing operations.
- the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
- the storage unit 7690 may be realized by a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
- HDD hard disk drive
- semiconductor storage device an optical storage device
- magneto-optical storage device or the like.
- the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
- General-purpose communication I / F 7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced).
- GSM Global System of Mobile communications
- WiMAX registered trademark
- LTE registered trademark
- LTE-A Long Term Evolution-Advanced
- other wireless communication protocols such as wireless LAN (also referred to as Wi-Fi (registered trademark)), Bluetooth (registered trademark), etc. may be implemented.
- the general-purpose communication I / F 7620 is connected to, for example, an apparatus (for example, an application server or control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or access point
- an apparatus for example, an application server or control server
- an external network for example, the Internet, a cloud network, or an operator-specific network
- the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal) existing near the vehicle using, for example, P2P (Peer To Peer) technology. It may be connected with
- the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol designed for use in a vehicle.
- the dedicated communication I / F 7630 may be a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of lower layer IEEE 802.11p and upper layer IEEE 1609, for example. May be implemented.
- the dedicated communication I / F 7630 is typically used for Vehicle to Vehicle communication, Vehicle to Infrastructure communication, Vehicle to Home communication, and Vehicle to Pedestrian. 2.) Perform V2X communication, a concept that includes one or more of the communication.
- the positioning unit 7640 receives a GNSS signal (for example, a GPS signal from a Global Positioning System (GPS) satellite) from, for example, a Global Navigation Satellite System (GNSS) satellite and executes positioning, thereby performing latitude, longitude, and altitude of the vehicle.
- Generate location information including Positioning section 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone having a positioning function, a PHS, or a smartphone.
- the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station or the like installed on a road, and acquires information such as the current position, traffic jams, closing times or required time.
- the function of the beacon reception unit 7650 may be included in the above-described dedicated communication I / F 7630.
- An in-vehicle apparatus I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle apparatuses 7760 existing in the vehicle.
- the in-car device I / F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB). Further, the in-car device I / F 7660 can be connected via a connection terminal (and a cable, if necessary) (not shown) via USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High). A wired connection may be established, such as a definition link, etc.
- the in-vehicle device 7760 includes, for example, at least one of a mobile device or wearable device that the passenger has, or an information device carried in or attached to the vehicle.
- the in-vehicle device 7760 may include a navigation device for performing route search to any destination
- the in-vehicle device I / F 7660 controls signals with these in-vehicle devices 7760 Or exchange data signals.
- the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
- the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
- the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon reception unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
- the vehicle control system 7000 is controlled in accordance with various programs based on the information acquired. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the driving system control unit 7100. It is also good.
- the microcomputer 7610 realizes the function of an advanced driver assistance system (ADAS) including collision avoidance or shock mitigation of a vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, vehicle lane departure warning, etc. Cooperative control for the purpose of In addition, the microcomputer 7610 automatically runs without using the driver's operation by controlling the driving force generating device, the steering mechanism, the braking device, etc. based on the acquired information of the surroundings of the vehicle. Coordinated control may be performed for the purpose of driving and the like.
- ADAS advanced driver assistance system
- the microcomputer 7610 is information acquired via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon reception unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict a danger such as a collision of a vehicle or a pedestrian or the like approaching a road or the like on the basis of the acquired information, and may generate a signal for warning.
- the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
- the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or aurally notifying information to a passenger or the outside of a vehicle.
- an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
- the display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
- the display portion 7720 may have an AR (Augmented Reality) display function.
- the output device may be another device such as a headphone, a wearable device such as a glasses-type display worn by a passenger, a projector, or a lamp other than these devices.
- the display device may obtain information obtained from various processes performed by the microcomputer 7610 or information received from another control unit in various formats such as text, images, tables, graphs, etc. Display visually.
- the audio output device converts an audio signal composed of reproduced audio data or audio data into an analog signal and outputs it in an auditory manner.
- At least two control units connected via communication network 7010 may be integrated as one control unit.
- each control unit may be configured by a plurality of control units.
- the vehicle control system 7000 may comprise another control unit not shown.
- part or all of the functions of any control unit may be provided to another control unit. That is, as long as transmission and reception of information are performed via the communication network 7010, predetermined arithmetic processing may be performed by any control unit.
- a sensor or device connected to any control unit is connected to another control unit, a plurality of control units may mutually transmit and receive detection information via the communication network 7010. .
- the image processing apparatus (1 or 1 ′ of the embodiment or the display device 7A) of the embodiment is based on three-dimensional information representing the imaged subject in three-dimensional space, from the viewpoint in three-dimensional space
- the virtual viewpoint image generation unit (13 or 13 ') generates the observation image of the virtual viewpoint image as a virtual viewpoint image, and the virtual viewpoint image generation unit sets the viewpoint following the movement of the subject.
- the viewpoint By setting the viewpoint to follow the movement of the subject as described above, it is possible to reduce the operation burden associated with the setting of the viewpoint. For example, conventionally, it has been generally accepted that the operator manually performs the setting operation of the viewpoint every frame, but compared with this, it is possible to significantly reduce the operation of setting the viewpoint. Therefore, it is possible to reduce the work load relating to the generation of the virtual viewpoint image.
- the image processing apparatus (1 or 1 of the embodiment) includes a subject analysis unit (12) for acquiring analysis information of a subject based on three-dimensional information, and the virtual viewpoint image generation unit Based on the information, the reference position used to set the viewpoint of the virtual viewpoint image is set.
- three-dimensional information is acquired based on imaging information including captured images of a plurality of imaging devices (2) and imaging conditions corresponding to the captured image.
- a three-dimensional information generation unit (3D model generation unit 11) to generate is provided.
- imaging information including imaging images of a plurality of imaging devices and imaging conditions as described above
- appropriate three-dimensional information can be obtained.
- the image quality of the virtual viewpoint image can be improved.
- the virtual viewpoint image generation unit sets the reference position to the physical center of the person.
- the physical center means, for example, the physical center of the person, such as the center between the shoulders of the person, the upper and lower center of the torso, the center of the face, or the center of the foot.
- the reference position to be centered on the shoulders of a person, it is possible to set a viewpoint that makes it easy to capture the player's skill particularly in a game using a hand, such as a basketball game.
- the reference position to, for example, the face of a person, an image showing the facial expression of the player's face as a virtual viewpoint image or an image with a high sense of reality showing the situation seen from the player's eyes every moment Is made possible. Therefore, it is possible to provide a virtual viewpoint image suitable for analysis and study of the movement of a person such as an athlete.
- the virtual viewpoint image generation unit sets the viewpoint based on the position information of the subject.
- the virtual viewpoint image generation unit sets the viewpoint based on the attribute information of the subject.
- the attribute information of the subject means information related to the attribute of the subject, such as an ID and a name.
- the virtual viewpoint image generation unit sets the viewpoint based on the area information designated in the three-dimensional space.
- the virtual viewpoint image generation unit sets the viewpoint based on the operation input.
- the image processing apparatus includes a display unit (62) that displays a virtual viewpoint image, and the display unit can select a plurality of virtual viewpoint images having different viewpoint setting methods.
- the virtual viewpoint image generation unit sets the viewpoint based on the selection operation on the candidate viewpoint image.
- the image processing apparatus includes a display unit (62) that displays a virtual viewpoint image, and the display unit is a candidate viewpoint for a plurality of virtual viewpoint images different in viewpoint setting method.
- the virtual viewpoint image generation unit sets the viewpoint based on the selection operation on the candidate viewpoint image.
- the virtual viewpoint image generation unit can switch between the viewpoint for observing the subject and the viewpoint for observing the outside of the subject as the viewpoint.
- the virtual viewpoint image generation unit changes the viewpoint along the spherical surface that covers the periphery of the subject according to the operation.
- the degree of freedom of the viewpoint position which can be set by the user is increased. Therefore, it is possible to improve the degree of freedom of the viewpoint setting position while reducing the work load relating to the generation of the virtual viewpoint image.
- the virtual viewpoint image generation unit (13 ′) is a viewpoint from which the outside of the object is observed as a viewpoint. While setting the first-person viewpoint which is, the setting method of the gaze direction from the first-person viewpoint is selected based on the acquisition situation of the analysis information related to the direction of the subject (see second and third modifications).
- the virtual viewpoint image generation unit selects the setting method of the gaze direction based on the acquisition situation and the change speed of the direction of the subject.
- the gaze direction is set without using the analysis information, etc. It is possible to set the gaze direction according to the change speed of the direction of the subject. Therefore, it is possible to prevent the occurrence of image sickness of the user due to the fact that the visual line direction of the virtual viewpoint image frequently changes is shown.
- the virtual viewpoint image generation unit sets the gaze direction based on the acquisition situation and the traveling direction of the subject.
- the sight line direction based on the traveling direction of the subject (the change direction of the position of the subject). For example, when a player or the like is in progress (moving), it is highly likely that the person is facing the traveling direction. Therefore, by setting the line of sight direction based on the traveling direction, an appropriate virtual viewpoint image can be provided in which the line of sight direction in which the subject is likely to face is the line of sight direction even if analysis information related to the direction of the subject is not obtained. be able to.
- the virtual viewpoint image generation unit (13 ′) is a viewpoint from which the outside of the object is observed as a viewpoint.
- a process for setting a first-person viewpoint, which is the above, a viewing direction from the viewing point based on analysis information relating to the direction of the subject, and informing the user of information according to the difference between the viewing direction and the direction of the viewing line of the subject A notification processing unit (step 52) is provided (refer to the third modification).
- the notification of the information according to the deviation between the line of sight direction and the direction of the line of sight of the subject as described above makes it easy for the user to align the line of sight direction of the virtual viewpoint image with the direction of the line of sight of the subject. Therefore, it is possible to enhance the convenience when the user aligns the viewing direction of the virtual viewpoint image with the direction of the viewing of the subject.
- the line of sight direction of the virtual viewpoint image is not (automatically) changed in conjunction with the change in the direction of the line of sight of the subject. Then, since the method is changed according to the movement of the head), it is possible to prevent the eye gaze direction from being linked with the eye gaze direction when the eye gaze direction of the subject changes rapidly, thereby preventing image sickness.
- the notification processing unit performs processing for displaying, along with the virtual viewpoint image, gaze matching guide information for causing the gaze direction of the virtual viewpoint image to coincide with the direction of the subject's gaze. ing.
- the user can easily adjust the line-of-sight direction of the virtual viewpoint image to the direction of the line of sight of the subject. Therefore, it is possible to enhance the convenience when the user aligns the viewing direction of the virtual viewpoint image with the direction of the viewing of the subject.
- the notification processing unit estimates the field of view of the subject based on the direction of the line of sight of the subject, and overlaps and non-overlaps with the field of view of the subject in the virtual viewpoint image. A process of displaying both parts in different display modes is performed.
- the display mode is different between the overlapping portion and the non-overlapping portion with the field of view of the subject in the virtual viewpoint image, and the user is made to recognize in which direction the line of sight direction should be changed to align the subject with the line of sight. It will be easier. Therefore, it is possible to enhance the convenience when the user aligns the viewing direction of the virtual viewpoint image with the direction of the viewing of the subject.
- processing relating to subject analysis, setting of a viewpoint, and generation of a virtual viewpoint image is performed by an image processing processor by a DSP
- processing is software by a CPU or GPU It can also be realized as a process.
- the software processing is executed based on a program, and the program is stored in a storage device readable by a computer device such as the above-mentioned CPU or GPU.
- the present technology can be suitably applied to cases in which other competitions other than the competition using a competition ball are to be imaged, and furthermore, it is also suitable to cases in which other events other than competition are to be imaged. It can apply.
- the captured image includes not only a captured image by R (red) G (green) B (blue) but also a captured image obtained by receiving near infrared light, infrared light or polarized light. It is what you get.
- the present technology can also adopt the following configuration.
- a virtual viewpoint image generation unit configured to generate an observation image from a viewpoint in the three-dimensional space as a virtual viewpoint image based on three-dimensional information representing the imaged subject in the three-dimensional space;
- the virtual viewpoint image generation unit An image processing apparatus that sets the viewpoint following the movement of the subject.
- a subject analysis unit that acquires analysis information of the subject based on the three-dimensional information;
- the image according to (1) or (2) including: a three-dimensional information generation unit that generates the three-dimensional information based on imaging information including captured images of a plurality of imaging devices and imaging conditions corresponding to the captured image. Processing unit.
- a person is targeted as the subject, The image processing apparatus according to (2) or (3), wherein the virtual viewpoint image generation unit sets the reference position at a physical center of the person.
- a person is targeted as the subject, The image processing apparatus according to any one of (1) to (4), wherein the virtual viewpoint image generation unit sets the viewpoint based on attribute information of the subject.
- the image processing apparatus sets the viewpoint based on area information designated in the three-dimensional space.
- the image processing apparatus sets the viewpoint based on an operation input.
- a display unit for displaying the virtual viewpoint image The display unit sequentially displays a plurality of the virtual viewpoint images different in setting method of the viewpoint as candidate viewpoint images, The image processing apparatus according to (8), wherein the virtual viewpoint image generation unit sets the viewpoint based on a selection operation on the candidate viewpoint image.
- the image processing apparatus according to (8), wherein the virtual viewpoint image generation unit sets the viewpoint based on a selection operation on the candidate viewpoint image.
- the virtual viewpoint image generation unit enables switching between a viewpoint for observing the subject and a viewpoint for observing the outside of the subject as the viewpoint, the image according to any one of (1) to (10). Processing unit.
- a person is targeted as the subject,
- the virtual viewpoint image generation unit As the viewpoint, a first person viewpoint which is a viewpoint for observing the outside of the subject is set, and The image processing apparatus according to any one of (1) to (12), wherein the setting method of the gaze direction from the first person viewpoint is selected based on an acquisition state of analysis information related to the direction of the subject.
- the virtual viewpoint image generation unit The image processing apparatus according to (13), wherein the setting method of the gaze direction is selected based on the acquisition situation and a change speed of the direction of the subject.
- the virtual viewpoint image generation unit The image processing apparatus according to (13) or (14), wherein the line-of-sight direction is set based on the acquisition situation and the traveling direction of the subject.
- a person is targeted as the subject,
- the virtual viewpoint image generation unit As the viewpoint, a first-person viewpoint, which is a viewpoint for observing the outside of the subject, is set, and a gaze direction from the viewpoint is set based on analysis information on the orientation of the subject,
- the image processing apparatus according to any one of (1) to (15), further including: a notification processing unit configured to notify a user of information according to a deviation between the gaze direction and the gaze direction of the subject.
- the notification processing unit The image processing apparatus according to (16), performing processing for displaying gaze guidance information for making the gaze direction of the virtual viewpoint image coincide with the gaze direction of the subject with the virtual viewpoint image.
- the notification processing unit The field of view of the subject is estimated based on the direction of the line of sight of the subject, and processing is performed to display both parts in the display mode different from each other in the overlapping portion and the nonoverlapping portion with the field of view of the subject in the virtual viewpoint image.
- the image processing apparatus according to (17).
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
仮想視点画像の生成に係る作業負担の軽減を図る。 撮像された被写体を三次元空間上で表した三次元情報に基づき、三次元空間上の視点からの観察画像を仮想視点画像として生成する仮想視点画像生成部を備え、仮想視点画像生成部は、被写体の動きに追従して前記視点を設定する。これにより、視点の設定に係る操作負担を軽減することが可能とされる。
Description
本技術は、撮像された被写体を三次元空間上で表した三次元情報に基づき、三次元空間上の視点からの観察画像を仮想視点画像として生成する画像処理装置、及びその方法、さらには仮想視点画像を生成するためのプログラムの技術分野に関する。
撮像された被写体を三次元空間上で表した三次元情報に基づき、三次元空間上の任意視点からの観察画像に相当する仮想視点画像(自由視点画像又は自由視点映像とも呼ばれる)を生成する技術が知られている。
なお、関連する従来技術については下記特許文献1を挙げることができる。
該特許文献1では、複数の撮像装置による撮像画像に基づいて3Dモデルを生成し、被写体(人物)の注目部位が画像上見えるように視点を設定し、設定した視点による仮想視点画像を生成することが開示されている。本文献では、被写体としての人物が移動することを前提としておらず、一度視点を設定すると、視点は固定されたままであり、仮に、対象としている被写体が移動したときには視点が追従しないものとなる。
該特許文献1では、複数の撮像装置による撮像画像に基づいて3Dモデルを生成し、被写体(人物)の注目部位が画像上見えるように視点を設定し、設定した視点による仮想視点画像を生成することが開示されている。本文献では、被写体としての人物が移動することを前提としておらず、一度視点を設定すると、視点は固定されたままであり、仮に、対象としている被写体が移動したときには視点が追従しないものとなる。
仮想視点画像では、視点を自由に動かすことが可能であり、特に動画像としての仮想視点画像では時間経過と共に視点がダイナミックに変化する臨場感の高い画像を提供可能となる。
しかしながら、従来、仮想視点画像の視点設定は、一般的に画像編集者等が手動により行っている。これは、仮想視点画像の生成に係る作業負担を増大させており、望ましくない。
本技術は上記の事情に鑑み為されたものであり、仮想視点画像の生成に係る作業負担の軽減を図ることを目的とする。
本技術に係る画像処理装置は、撮像された被写体を三次元空間上で表した三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成する仮想視点画像生成部を備え、前記仮想視点画像生成部は、前記被写体の動きに追従して前記視点を設定するものである。
上記のように被写体の動きに追従した視点設定とすることで、視点の設定に係る操作負担を軽減することが可能とされる。
上記した本技術に係る画像処理装置においては、前記三次元情報に基づいて前記被写体の解析情報を取得する被写体解析部を備え、前記仮想視点画像生成部は、前記解析情報に基づき、前記仮想視点画像の視点設定に用いられる基準位置を設定することが望ましい。
これにより、基準位置に基づいた多様な視点設定が可能とされると共に、視点の被写体への追従が容易化される。
上記した本技術に係る画像処理装置においては、複数の撮像装置の撮像画像と前記撮像画像に対応する撮像条件とを含む撮像情報に基づいて前記三次元情報を生成する三次元情報生成部を備えることが望ましい。
このように複数の撮像装置の撮像画像と撮像条件とを含む撮像情報を用いることで、適切な三次元情報が得られるようにする。
上記した本技術に係る画像処理装置においては、前記被写体として人物が対象とされており、前記仮想視点画像生成部は、前記基準位置を前記人物の身体的中心に設定することが望ましい。
身体的中心は、例えば人物の両肩間の中心、胴体の上下左右中心、顔中心、或いは足下中心等、人物の身体的な中心を意味する。
上記した本技術に係る画像処理装置においては、前記仮想視点画像生成部は、前記視点を前記被写体の位置情報に基づき設定することが望ましい。
これにより、被写体を捉え易い視点設定が可能とされる。
上記した本技術に係る画像処理装置においては、前記被写体として人物が対象とされており、前記仮想視点画像生成部は、前記視点を前記被写体の属性情報に基づき設定することが望ましい。
これにより、被写体の属性情報から特定される被写体の位置に基づいて視点を自動設定することが可能とされる。
上記した本技術に係る画像処理装置においては、前記仮想視点画像生成部は、前記視点を前記三次元空間上に指定されたエリア情報に基づき設定することが望ましい。
これにより、三次元空間上の特定エリア内に存在する被写体の位置に基づいて視点を自動設定することが可能とされる。
上記した本技術に係る画像処理装置においては、前記仮想視点画像生成部は、前記視点を操作入力に基づき設定することが望ましい。
これにより、視点設定の操作負担軽減を図りながら、使用者の意図を反映した視点設定が可能となる。
上記した本技術に係る画像処理装置においては、前記仮想視点画像を表示する表示部を備え、前記表示部は、前記視点の設定手法が異なる複数の前記仮想視点画像を候補視点画像として順送りに表示し、前記仮想視点画像生成部は、前記候補視点画像についての選択操作に基づき前記視点を設定することが望ましい。
これにより、使用者に対して実際に画像内容を確認させながら好みの視点を選択させることが可能とされる。また、順送り表示であるため比較的大きな候補視点画像の表示ができ、使用者に画像細部まで確認させながらの視点選択を行わせることが可能とされる。
上記した本技術に係る画像処理装置においては、前記仮想視点画像を表示する表示部を備え、前記表示部は、前記視点の設定手法が異なる複数の前記仮想視点画像を候補視点画像として並べて表示し、前記仮想視点画像生成部は、前記候補視点画像についての選択操作に基づき前記視点を設定することが望ましい。
これにより、使用者に対して実際に画像内容を確認させながら好みの視点を選択させることが可能とされる。また、候補視点画像を並べて表示するため使用者に複数の候補視点画像を同時比較させながらの視点選択を行わせることが可能とされる。
上記した本技術に係る画像処理装置においては、前記仮想視点画像生成部は、前記視点として、前記被写体を観察する視点と前記被写体から外方を観察する視点との切り替えを可能とすることが望ましい。
これにより、設定可能な視点の多様化が図られる。
上記した本技術に係る画像処理装置においては、前記仮想視点画像生成部は、前記視点を、操作に応じて前記被写体の周囲を覆う球面に沿って設定することが望ましい。
これにより、使用者が操作により設定可能な視点位置の自由度が高まる。
上記した本技術に係る画像処理装置においては、前記被写体として人物が対象とされており、前記仮想視点画像生成部は、前記視点として、前記被写体から外方を観察する視点である一人称視点を設定すると共に、前記一人称視点からの視線方向の設定手法を、前記被写体の向きに係る解析情報の取得状況に基づき選択することが望ましい。
これにより、例えば被写体の顔の向きや身体向き等、被写体の向きに係る解析情報の取得状況に応じた適切な視線方向の設定を行うことが可能とされる。
上記した本技術に係る画像処理装置においては、前記仮想視点画像生成部は、前記視線方向の設定手法を、前記取得状況と前記被写体の向きの変化速度とに基づき選択することが望ましい。
これにより、例えば被写体の顔の向きや身体向き等、被写体の向きに係る解析情報が取得されていても、その変化速度が速い場合には該解析情報を用いずに視線方向を設定する等、被写体の向きの変化速度に応じた視線方向の設定を行うことが可能とされる。
上記した本技術に係る画像処理装置においては、前記仮想視点画像生成部は、前記視線方向を、前記取得状況と前記被写体の進行方向とに基づき設定することが望ましい。
これにより、被写体の向きに係る解析情報が取得できないときは被写体の進行方向(被写体の位置の変化方向)に基づき視線方向を設定することが可能とされる。
上記した本技術に係る画像処理装置においては、前記被写体として人物が対象とされており、前記仮想視点画像生成部は、前記視点として、前記被写体から外方を観察する視点である一人称視点を設定し、前記視点からの視線方向を前記被写体の向きに係る解析情報に基づき設定し、前記視線方向と前記被写体の視線の向きとのずれに応じた情報をユーザに報知するための処理を行う報知処理部を備えることが望ましい。
上記のような視線方向と被写体の視線の向きとのずれに応じた情報の報知が行われることで、ユーザは、仮想視点画像の視線方向を被写体の視線の向きに合わせ易くなる。
上記した本技術に係る画像処理装置においては、前記報知処理部は、前記仮想視点画像の視線方向を前記被写体の視線の向きに一致させるための視線合わせ案内情報を前記仮想視点画像と共に表示させるための処理を行うことが望ましい。
上記のような視線合わせ案内情報が仮想視点画像と共に表示されることで、ユーザは、仮想視点画像の視線方向を被写体の視線の向きに合わせ易くなる。
上記した本技術に係る画像処理装置においては、前記報知処理部は、前記被写体の視線の向きに基づき前記被写体の視野を推定し、前記仮想視点画像における前記被写体の視野との重複部分と非重複部分とについて、両部分を異なる表示態様で表示させる処理を行うことが望ましい。
仮想視点画像における被写体の視野との重複部分と非重複部分とで表示態様が異なることで、被写体の視線との向き合わせのために視線方向を何れの方向に変化させるべきかをユーザに理解させ易くなる。
また、本技術に係る画像処理方法は、撮像された被写体を三次元空間上で表した三次元情報を取得し、前記三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成し、前記仮想視点画像を生成するときに前記被写体の動きに追従して前記視点を設定する画像処理装置の画像処理方法である。
このような画像処理方法によっても、上記した本技術に係る画像処理装置と同様の作用が得られる。
また、本技術に係るプログラムは、撮像された被写体を三次元空間上で表した三次元情報を取得し、前記三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成し、前記仮想視点画像を生成するときに前記被写体の動きに追従して前記視点を設定することをコンピュータ装置に実行させるプログラムである。
このようなプログラムにより、上記した本技術に係る画像処理装置が実現される。
本技術によれば、仮想視点画像の生成に係る作業負担の軽減を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
<1.実施形態の画像処理システム>
[1-1.画像処理システムの構成]
[1-2.実施形態の視点設定手法]
[1-3.処理手順]
<2.変形例>
[2-1.第一変形例]
[2-2.第二変形例]
[2-3.第三変形例]
[2-4.第四変形例]
[2-5.第五変形例]
[2-6.第六変形例]
[2-7.第七変形例]
[2-8.第八変形例]
<3.実施形態のまとめ>
<4.その他変形例>
<5.本技術>
<1.実施形態の画像処理システム>
[1-1.画像処理システムの構成]
[1-2.実施形態の視点設定手法]
[1-3.処理手順]
<2.変形例>
[2-1.第一変形例]
[2-2.第二変形例]
[2-3.第三変形例]
[2-4.第四変形例]
[2-5.第五変形例]
[2-6.第六変形例]
[2-7.第七変形例]
[2-8.第八変形例]
<3.実施形態のまとめ>
<4.その他変形例>
<5.本技術>
<1.実施形態の画像処理システム>
[1-1.画像処理システムの構成]
図1に、本技術に係る実施形態としての画像処理装置1を備えた画像処理システム100の構成例を示す。
画像処理システム100は、画像処理装置1に加え、複数の撮像装置2と、画像記録装置3と、パラメータ記録装置4と、キャリブレーション装置5と、入力装置6と、表示装置7と、画像記録装置8とを備え、複数の撮像装置2から取得される撮像情報に基づき、三次元空間上の任意視点からの観察画像に相当する仮想視点画像(自由視点画像又は自由視点映像とも呼ばれる)を生成する。
[1-1.画像処理システムの構成]
図1に、本技術に係る実施形態としての画像処理装置1を備えた画像処理システム100の構成例を示す。
画像処理システム100は、画像処理装置1に加え、複数の撮像装置2と、画像記録装置3と、パラメータ記録装置4と、キャリブレーション装置5と、入力装置6と、表示装置7と、画像記録装置8とを備え、複数の撮像装置2から取得される撮像情報に基づき、三次元空間上の任意視点からの観察画像に相当する仮想視点画像(自由視点画像又は自由視点映像とも呼ばれる)を生成する。
各撮像装置2は、例えばCCD(Charge Coupled Devices)センサやCMOS(Complementary Metal-Oxide-Semiconductor)センサ等による撮像素子を有したデジタルカメラ装置として構成され、デジタルデータとしての撮像画像(撮像画像データ)を得る。本例では、各撮像装置2は動画像による撮像画像を得る。
各撮像装置2は、本例ではバスケットボールやサッカー等の球技が行われている様子を撮像するものとされ、それぞれが球技の開催される競技会場における所定位置において所定の向きに配置されている。本例では、撮像装置2の数は3以上としているが、仮想視点画像の生成を可能とする上では撮像装置2の数は少なくとも2以上あればよい。撮像装置2の数を多くし、対象とする被写体をより多くの角度から撮像することで、被写体の三次元復元の精度向上が図られ、仮想視点画像の画質向上を図ることができる。
各撮像装置2は、本例ではバスケットボールやサッカー等の球技が行われている様子を撮像するものとされ、それぞれが球技の開催される競技会場における所定位置において所定の向きに配置されている。本例では、撮像装置2の数は3以上としているが、仮想視点画像の生成を可能とする上では撮像装置2の数は少なくとも2以上あればよい。撮像装置2の数を多くし、対象とする被写体をより多くの角度から撮像することで、被写体の三次元復元の精度向上が図られ、仮想視点画像の画質向上を図ることができる。
画像記録装置3は、例えばSSD(Solid State Drive)やHDD(Hard Disk Drive)等のデータ記録部と、該データ記録部についてデータの記録再生制御を行う制御部とを備え、各撮像装置2による撮像画像を記録し、また記録した撮像画像を要求に応じて外部装置(本例では画像処理装置1)に送信する。
なお、各撮像装置2による撮像画像を画像記録装置3に記録することで、それら撮像画像に基づく仮想視点画像の生成処理を撮像現場(本例では競技会場)で必ずしも行う必要がなくなり、仮想視点画像の閲覧を任意タイミングで行うことが可能となる。但し、この記録は撮像現場で仮想視点画像の生成処理が実施される場合には必ずしも必須ではなく、各撮像装置2の撮像画像を画像処理装置1へ直接的に送信させてもよい。その場合、画像記録装置3での記録処理が省略される分、仮想視点画像の生成を高速化することが可能となる。
本例において、各撮像装置2による撮像画像にはタイムコードが付され、画像処理装置1における後段処理においてフレーム同期をとることが可能とされている。
パラメータ記録装置4は、例えばSSDやHDD等のデータ記録部と、該データ記録部についてデータの記録再生制御を行う制御部とを備え、各撮像装置2から取得したカメラ内部パラメータを記録し、記録したカメラ内部パラメータを要求に応じて外部装置(本例ではキャリブレーション装置5)に送信する。
仮想視点画像の生成において、カメラ内部パラメータとしては、カメラの焦点距離、画素のアスペクト比、レンズ歪等の情報を取得する。パラメータ記録装置4は、カメラ内部パラメータを取得元の撮像装置2の識別情報とタイムコードとに対応づけて記録する。
仮想視点画像の生成において、カメラ内部パラメータとしては、カメラの焦点距離、画素のアスペクト比、レンズ歪等の情報を取得する。パラメータ記録装置4は、カメラ内部パラメータを取得元の撮像装置2の識別情報とタイムコードとに対応づけて記録する。
キャリブレーション装置5は、パラメータ記録装置4から取得したカメラ内部パラメータに基づいて、キャリブレーションを実施する。ここで、後述する3Dモデル生成部11では、複数の撮像装置2間で共通に観測される点を検出し、三角測量の原理に基づいて被写体の三次元構造を復元する。ここでのキャリブレーションは、そのような被写体の三次元復元の精度を高めるためのカメラパラメータを求める処理を行う。具体的に、キャリブレーション装置5は、取得したカメラ内部パラメータに基づいて各撮像装置2の位置や撮像方向(視線方向)を表すカメラパラメータを抽出する。抽出したカメラパラメータは、何れの撮像装置2についてのパラメータであるかを識別可能な状態で画像処理装置1に転送される。
ここで、上記のカメラパラメータは、本技術における「撮像画像に対応する撮像条件」を表す情報に相当するものであり、上記した各撮像装置2の位置や撮像方向は「撮像画像に対応する撮像条件」の一例である。
なお、上記のようにパラメータ記録装置4でカメラ内部パラメータを記録することで、上記の画像記録装置3の場合と同様に仮想視点画像の閲覧を任意タイミングで行うことが可能となる。但し、パラメータ記録装置4を設けることは必須でなく、各撮像装置2からカメラ内部パラメータを直接的にキャリブレーション装置5へ送信させてもよい。
入力装置6は、画像処理装置1(仮想視点画像生成部13)に対する操作入力を行うための装置とされ、例えば各種のキーやボタン等の所要の操作子を有する操作部61と、画像表示が可能な例えばLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスを有した表示部62とを備えている。
本例における操作部61は、操作子として、使用者によるタッチ操作を可能とするタッチパネル61aを有している。タッチパネル61aは、表示部62における表示画面上に形成され、使用者は表示画面に対するタッチ操作によって各種の情報入力を行うことができる。
本例における操作部61は、操作子として、使用者によるタッチ操作を可能とするタッチパネル61aを有している。タッチパネル61aは、表示部62における表示画面上に形成され、使用者は表示画面に対するタッチ操作によって各種の情報入力を行うことができる。
表示部62は、入力装置6で生成された各種の情報や、画像処理装置1から入力された情報の表示を行う。
入力装置6は、操作部61で得られた使用者による操作情報を画像処理装置1に送信する。
画像処理装置1は、3Dモデル生成部11、被写体解析部12、及び仮想視点画像生成部13とを有している。
これら3Dモデル生成部11、被写体解析部12、及び仮想視点画像生成部13は、画像処理装置1が有する例えばDSP(Digital Signal Processor)等による画像処理プロセッサとして構成されている。
これら3Dモデル生成部11、被写体解析部12、及び仮想視点画像生成部13は、画像処理装置1が有する例えばDSP(Digital Signal Processor)等による画像処理プロセッサとして構成されている。
3Dモデル生成部11は、画像記録装置3より入力した各撮像装置2による撮像画像とキャリブレーション装置5より入力した撮像装置2ごとのカメラパラメータとに基づいて、被写体を三次元空間上で表した(つまり二次元画像から被写体の三次元構造を復元した)3Dモデルデータを生成する。具体的に、3Dモデルデータは、被写体を(X,Y,Z)による三次元座標系で表したデータを含む。
3Dモデル生成部11が生成した3Dモデルデータは、被写体解析部12と仮想視点画像生成部13とに入力される。
3Dモデル生成部11が生成した3Dモデルデータは、被写体解析部12と仮想視点画像生成部13とに入力される。
ここで、3Dモデル生成部11が3Dモデルデータを生成するために入力する各撮像装置2による撮像画像、及び撮像装置2ごとのカメラパラメータは、本技術における「撮像情報」の一例に相当する。
また、上記の3Dモデルデータは、撮像された被写体を三次元空間上で表した「三次元情報」の一例に相当する。
また、上記の3Dモデルデータは、撮像された被写体を三次元空間上で表した「三次元情報」の一例に相当する。
被写体解析部12は、3Dモデルデータに基づき、人物(選手)としての被写体について位置や向き、姿勢についての解析を行う。具体的に、被写体解析部12は、被写体の位置の推定、被写体の簡易モデルの生成、被写体の向き(本例では顔の向き)の推定を行う。また、本例の被写体解析部12は、被写体の同定処理も行う。具体的には、選手の同定、及び競技ボールの同定を行う。
なお、被写体解析部12が行う簡易モデルの生成や選手の同定のための処理については後述する。競技ボールの同定は、例えば被写体の形状、サイズ等に基づく基準テンプレートとのマッチング処理等により行うことができる。
なお、被写体解析部12が行う簡易モデルの生成や選手の同定のための処理については後述する。競技ボールの同定は、例えば被写体の形状、サイズ等に基づく基準テンプレートとのマッチング処理等により行うことができる。
仮想視点画像生成部13は、3Dモデル生成部11より入力した3Dモデルデータと被写体解析部12による被写体解析情報(以下「被写体解析情報Ia」と表記)とに基づき、仮想視点画像を生成する。特に、本実施形態の仮想視点画像生成部13は、例えば選手としての動く被写体を対象として、該被写体の動きに追従して仮想視点画像の視点の位置を変化させる(設定する)。
また、仮想視点画像生成部13は、入力装置6からの操作情報に基づいて、仮想視点画像の視点の位置を、上記のような被写体の動きへの追従を維持させつつ変化させる。
ここで、被写体の動きに伴い変化する該被写体の三次元情報と該被写体の解析情報とに基づき、例えば一定の時間間隔(フレームレート)ごとに仮想視点画像の視点位置を設定することにより、ある時点に設定された視点位置は、その直前(異なる時点)に設定された視点位置と異なる。すなわち、被写体の動きに追従して視点位置が変化することにより、結果としてこの視点位置に基づいて生成される仮想視点画像も被写体の動きに追従することになる(画枠内に該被写体を映し続ける画像となる)。
また、仮想視点画像生成部13は、入力装置6からの操作情報に基づいて、仮想視点画像の視点の位置を、上記のような被写体の動きへの追従を維持させつつ変化させる。
ここで、被写体の動きに伴い変化する該被写体の三次元情報と該被写体の解析情報とに基づき、例えば一定の時間間隔(フレームレート)ごとに仮想視点画像の視点位置を設定することにより、ある時点に設定された視点位置は、その直前(異なる時点)に設定された視点位置と異なる。すなわち、被写体の動きに追従して視点位置が変化することにより、結果としてこの視点位置に基づいて生成される仮想視点画像も被写体の動きに追従することになる(画枠内に該被写体を映し続ける画像となる)。
なお、図1に示した画像処理システム10では、複数の撮像装置2による撮像画像を画像記録装置3において記録するが、この際、記録容量の削減を図るため、例えば注目シーン等としての一部の画像部分(動画部分)のみを記録するようにしてもよい。具体的には、被写体解析部12による被写体解析の情報を利用して、注目シーンを特定して記録することが考えられる。例えば、注目シーンの特定手法としては、競技ボールの位置情報とゴールの位置情報とに基づきゴールシーンを特定したり、競技ボールの位置情報と選手の位置情報とに基づいて競技ボールがインターセプトされたシーンを特定したりすることが考えられる。
図2は、仮想視点画像生成部13の機能ブロック図である。
図示のように仮想視点画像生成部13は、視点設定処理部13a、及びレンダリング処理部13bとしての機能を有している。
視点設定処理部13aは、被写体解析部12による被写体解析情報Iaと入力装置6からの操作情報に基づいて、仮想視点画像の視点を設定する。
図示のように仮想視点画像生成部13は、視点設定処理部13a、及びレンダリング処理部13bとしての機能を有している。
視点設定処理部13aは、被写体解析部12による被写体解析情報Iaと入力装置6からの操作情報に基づいて、仮想視点画像の視点を設定する。
確認のため、図3を参照して仮想視点画像の視点について述べておく。
図3Aでは、三次元空間上に設定した所要の視点から被写体を捉えた仮想視点画像のイメージを示している。この場合の仮想視点画像では、被写体S1が略正面視され、被写体S2が略背面視されている。
図3Bでは、視点の位置を図3Aの矢印C方向に変化させ、被写体S1を略背面視する視点が設定された場合の仮想視点画像のイメージを示している。この図3Bの仮想視点画像では、被写体S2が略正面視され、また図3Aでは映し出されていなかった被写体S3やバスケットゴールが映し出されている。
図3Aでは、三次元空間上に設定した所要の視点から被写体を捉えた仮想視点画像のイメージを示している。この場合の仮想視点画像では、被写体S1が略正面視され、被写体S2が略背面視されている。
図3Bでは、視点の位置を図3Aの矢印C方向に変化させ、被写体S1を略背面視する視点が設定された場合の仮想視点画像のイメージを示している。この図3Bの仮想視点画像では、被写体S2が略正面視され、また図3Aでは映し出されていなかった被写体S3やバスケットゴールが映し出されている。
ここで、以下、仮想視点画像における視点を「視点Pv」と表記する。
本実施形態としての視点Pvの設定手法については後に改めて説明する。
本実施形態としての視点Pvの設定手法については後に改めて説明する。
図2において、レンダリング処理部13bは、視点設定処理部13aが設定した視点Pvと3Dモデルデータとに基づき、視点Pvからの観察画像(二次元画像)である仮想視点画像を生成する。
後述するように、本例では、仮想視点画像として視点Pvから三次元空間上の何れの方向を観察した画像を生成すべきかを使用者の操作に基づき設定可能としている(後述する「内向き」「外向き」の視点モード)。以下、このような視点Pvからの観察方向については、「視線方向Dv」と表記する。
後述するように、本例では、仮想視点画像として視点Pvから三次元空間上の何れの方向を観察した画像を生成すべきかを使用者の操作に基づき設定可能としている(後述する「内向き」「外向き」の視点モード)。以下、このような視点Pvからの観察方向については、「視線方向Dv」と表記する。
図1において、仮想視点画像生成部13(レンダリング処理部13b)で得られた仮想視点画像は、表示装置7、及び画像記録装置8に送信される。
表示装置7は、例えばLCDや有機ELディスプレイ等のディスプレイデバイスを有した表示部を備え、仮想視点画像の表示を行う。
画像記録装置8は、例えばSSDやHDD等のデータ記録部と、該データ記録部についてデータの記録再生制御を行う制御部とを備え、仮想視点画像をデータ記録部に記録する。仮想視点画像を画像記録装置8に記録することで、使用者に任意のタイミングで仮想視点画像を閲覧させることが可能となる。
表示装置7は、例えばLCDや有機ELディスプレイ等のディスプレイデバイスを有した表示部を備え、仮想視点画像の表示を行う。
画像記録装置8は、例えばSSDやHDD等のデータ記録部と、該データ記録部についてデータの記録再生制御を行う制御部とを備え、仮想視点画像をデータ記録部に記録する。仮想視点画像を画像記録装置8に記録することで、使用者に任意のタイミングで仮想視点画像を閲覧させることが可能となる。
[1-2.実施形態の視点設定手法]
本実施形態では、選手としての動く被写体に追従した視点Pvの設定を行う。このとき、追従対象としての被写体が「注目被写体」として予め設定される。注目被写体の設定は、仮想視点画像生成部13における視点設定処理部13aが行う。
なお、本例では注目被写体が選手としての人とされる場合を例示するが、注目被写体は選手以外の人とされてもよいし、また人の部位の一部や人以外のものを注目被写体として設定することもできる。
本実施形態では、選手としての動く被写体に追従した視点Pvの設定を行う。このとき、追従対象としての被写体が「注目被写体」として予め設定される。注目被写体の設定は、仮想視点画像生成部13における視点設定処理部13aが行う。
なお、本例では注目被写体が選手としての人とされる場合を例示するが、注目被写体は選手以外の人とされてもよいし、また人の部位の一部や人以外のものを注目被写体として設定することもできる。
注目被写体の設定手法としては下記を挙げることができる。
(1)被写体解析部12による被写体解析情報Iaに基づき、競技ボールを持っている選手を注目被写体として設定する。
(2)所定の背番号又は名前の選手を注目被写体として設定する。
(3)三次元空間上の所定のエリアに位置する選手を注目被写体として設定する。
(1)被写体解析部12による被写体解析情報Iaに基づき、競技ボールを持っている選手を注目被写体として設定する。
(2)所定の背番号又は名前の選手を注目被写体として設定する。
(3)三次元空間上の所定のエリアに位置する選手を注目被写体として設定する。
上記(1)については、被写体解析部12により同定された競技ボールとしての被写体の位置情報、及び、選手としての被写体の位置情報を用いて行うことができる。例えば、競技ボールの位置に対して最も近い位置の選手を注目被写体として設定する。
上記(2)については、被写体解析部12による選手の同定処理結果を用いる。
ここで、選手の同定処理を含めた、被写体解析部12による解析処理について説明しておく。
被写体解析部12においては、画像解析により対象の被写体、具体的に本例では選手としての被写体及び競技ボールとしての被写体を検出する。この際、検出した被写体に対しては識別子(以下「被写体ID」と表記)を割り振る。
被写体解析部12においては、画像解析により対象の被写体、具体的に本例では選手としての被写体及び競技ボールとしての被写体を検出する。この際、検出した被写体に対しては識別子(以下「被写体ID」と表記)を割り振る。
被写体解析部12は、選手としての被写体については、被写体の向きを検出する。被写体の向きは、本例では顔検出技術を利用して被写体の顔の向きとして検出する。
また、選手としての被写体については、被写体の姿勢を把握可能な簡易モデルを生成する。簡易モデルは、例えば図4に例示するように、選手としての被写体を、主に関節等の検出点(図中の黒丸部)と検出点を結ぶ線の情報で簡易化したモデルである。
例えば、腰部、頭部、首、手足の関節部分など、主に姿勢に応じて変位する箇所を検出点とする。各検出点は、それぞれ特定の他の検出点と線で結ばれる。各検出点は、それぞれ線で結ばれている検出点が規定されていることで、点と線により人体を表現する簡易モデルが形成される。
また、選手としての被写体については、被写体の姿勢を把握可能な簡易モデルを生成する。簡易モデルは、例えば図4に例示するように、選手としての被写体を、主に関節等の検出点(図中の黒丸部)と検出点を結ぶ線の情報で簡易化したモデルである。
例えば、腰部、頭部、首、手足の関節部分など、主に姿勢に応じて変位する箇所を検出点とする。各検出点は、それぞれ特定の他の検出点と線で結ばれる。各検出点は、それぞれ線で結ばれている検出点が規定されていることで、点と線により人体を表現する簡易モデルが形成される。
後述するように、本例では、このような簡易モデルが表す検出点、すなわち選手の要部位置を表す情報に基づいて視点Pvの設定を行うことが可能とされる。
さらに、被写体解析部12は、選手としての被写体について、選手の同定処理を行う。
本例では、選手の同定処理は背番号の検出結果に基づき行う。
被写体解析部12には、例えば図5に示すような選手属性管理情報Ibが記憶されている。図示のように選手属性管理情報Ibは、選手の識別子である選手IDごとに、選手属性情報として例えば選手名、所属チーム、背番号等、選手の属性を表す情報が対応づけられた情報とされる。
本例では、選手の同定処理は背番号の検出結果に基づき行う。
被写体解析部12には、例えば図5に示すような選手属性管理情報Ibが記憶されている。図示のように選手属性管理情報Ibは、選手の識別子である選手IDごとに、選手属性情報として例えば選手名、所属チーム、背番号等、選手の属性を表す情報が対応づけられた情報とされる。
被写体解析部12は、このような選手属性管理情報Ibに基づいて選手の同定処理を行う。具体的には、検出した選手としての被写体について、画像解析により所属チームの判定、及び背番号の識別を行い、選手属性管理情報Ibにおいてこれら所属チーム及び背番号の情報が対応づけられている選手IDを特定する。
ここで、所属チームの判定は、例えばユニフォームや帽子等の選手の装着物の色や配色パターンの差違等に基づいて行うことができる。
ここで、所属チームの判定は、例えばユニフォームや帽子等の選手の装着物の色や配色パターンの差違等に基づいて行うことができる。
なお、選手の同定手法については上記手法に限定されるものではなく、例えば被写体の身体的特徴情報(例えば身長や肩幅、走り方等)についてテンプレートとのマッチングを行う等、多様な手法が考えられる。
図6は、被写体解析部12が仮想視点画像生成部13(視点設定処理部13a)に出力する被写体解析情報Iaの例を示している。
被写体解析情報Iaは、被写体IDごとに、被写体の位置、被写体の種別(本例では選手又は競技ボール)、被写体の向き(選手のみ)、簡易モデル(選手のみ)、及び上記の同定処理で特定した選手IDの情報が対応づけられた情報とされる。
被写体解析情報Iaは、被写体IDごとに、被写体の位置、被写体の種別(本例では選手又は競技ボール)、被写体の向き(選手のみ)、簡易モデル(選手のみ)、及び上記の同定処理で特定した選手IDの情報が対応づけられた情報とされる。
被写体解析部12は、上記のような被写体解析情報Iaを毎フレーム生成し、視点設定処理部13aに出力する。このとき、被写体解析情報Iaは、3Dモデルデータとのフレーム同期が図られるように、例えばタイムコードが対応づけられて視点設定処理部13aに出力される。
視点設定処理部13aは、上記(2)としての注目被写体の設定をこのような被写体解析情報Iaに基づいて行う。
本例においては、視点設定処理部13aには、図5に示したものと同様に選手IDごとに選手属性情報が対応づけられた選手属性管理情報Ibが記憶されている。そして、視点設定処理部13aは、選手属性管理情報Ibにおける所定の所属チーム及び背番号が対応づけられた選手ID、又は所定の名前が対応づけられた選手IDを特定し、被写体解析情報Iaにおいて該選手IDが対応づけられた被写体を注目被写体として設定する。
本例においては、視点設定処理部13aには、図5に示したものと同様に選手IDごとに選手属性情報が対応づけられた選手属性管理情報Ibが記憶されている。そして、視点設定処理部13aは、選手属性管理情報Ibにおける所定の所属チーム及び背番号が対応づけられた選手ID、又は所定の名前が対応づけられた選手IDを特定し、被写体解析情報Iaにおいて該選手IDが対応づけられた被写体を注目被写体として設定する。
上述した(3)については、三次元空間上の所定のエリア、例えば、ゴール近傍となる所定エリアや競技コートのセンターサークル近傍となる所定エリアに位置する選手を注目被写体として設定する。なお、所定エリア内に複数の選手が位置する場合には、予め定められた位置に最も近い選手を注目被写体として設定する等、所定の設定条件に従って一つの注目被写体を設定する。
ここで、(3)について、エリア情報とは、三次元空間上の領域を表す情報である。
ここで、(3)について、エリア情報とは、三次元空間上の領域を表す情報である。
続いて、視点設定処理部13aによる視点Pvの設定手法について説明する。
先ず、本例では、「視点モード」として、「注目被写体を観察する視点Pv」が設定されるモードと、「注目被写体から外方を観察する視点Pv」が設定されるモードとの切り替えが可能とされている。
さらに、「視点設定モード」として、使用者が視点Pvの設定操作を行わずとも自動的に視点Pvの設定が行われる「自動設定モード」と、使用者が簡易な操作により視点Pv又は視線方向Dvを自由に設定可能な「簡易設定モード」との切り替えが可能とされる。
これら視点モード、視点設定モードの切り替えは、例えば入力装置6(操作部61)を介した使用者の操作入力に応じて行われる。
先ず、本例では、「視点モード」として、「注目被写体を観察する視点Pv」が設定されるモードと、「注目被写体から外方を観察する視点Pv」が設定されるモードとの切り替えが可能とされている。
さらに、「視点設定モード」として、使用者が視点Pvの設定操作を行わずとも自動的に視点Pvの設定が行われる「自動設定モード」と、使用者が簡易な操作により視点Pv又は視線方向Dvを自由に設定可能な「簡易設定モード」との切り替えが可能とされる。
これら視点モード、視点設定モードの切り替えは、例えば入力装置6(操作部61)を介した使用者の操作入力に応じて行われる。
先ず、図7及び図8を参照し、「注目被写体を観察する視点Pv」「注目被写体から外方を観察する視点Pv」のそれぞれについて、視点Pv及び視線方向Dvの設定例を説明する。
図7は、「注目被写体を観察する視点Pv」に対応した視点Pv及び視線方向Dvの設定例の説明図である。ここでは、図7A、図7Bに示す二つの設定例を挙げる。なお、図7及び図8では、注目被写体、競技ボールとしての被写体の符号をそれぞれ「St」「sb」としている。
先ず、本例では、「注目被写体を観察する視点Pv」「注目被写体から外方を観察する視点Pv」に拘わらず、視点Pvの設定にあたっては注目被写体Stの基準位置Prを設定する。ここでは、基準位置Prは、注目被写体Stの身体的中心に設定する。身体的中心は、例えば両肩間の中心や胴体の上下左右中心(例えば上下中心線と左右中心線の交点)、両足下間の中心等、人物としての被写体の身体的な中心を意味する。
なお、基準位置Prを被写体の身体的中心に設定することはあくまで一例であり、基準位置Prとしては、少なくとも被写体の位置に基づいた任意の位置に設定することができる。
なお、基準位置Prを被写体の身体的中心に設定することはあくまで一例であり、基準位置Prとしては、少なくとも被写体の位置に基づいた任意の位置に設定することができる。
図7Aの設定例は、基準位置Prを両肩間の中心に設定した例を示している。注目被写体Stの各肩位置の情報は、被写体解析情報Iaにおける簡易モデルの情報から取得することができる。
図7Aの設定例では、このような両肩間の中心とされた基準位置Prと同じ高さで、基準位置Prから注目被写体Stの「被写体の向き」の方向に所定距離離間した位置に視点Pvを設定する。そして、「注目被写体を観察する視点Pv」であるため、この場合の視線方向Dvとしては視点Pvから基準位置Prに向かう方向に設定する(注目被写体Stの「被写体の向き」の方向とは逆方向に設定する)。
図7Aの場合、基準位置Prと視点Pvとの離間距離は、例えば仮想視点画像において注目被写体Stの少なくとも上半身部が画角内に収まる距離に設定する。例えば、「40cm」程度の距離に設定することが望ましい。なお、この「40cm」は、撮像素子がAPS-Cサイズであり焦点距離が35mm程度である場合の画角を想定した場合に、「24cm」程度の距離で上半身部分が該画角内に収まることに基づいたものである。
図7Aの設定例では、このような両肩間の中心とされた基準位置Prと同じ高さで、基準位置Prから注目被写体Stの「被写体の向き」の方向に所定距離離間した位置に視点Pvを設定する。そして、「注目被写体を観察する視点Pv」であるため、この場合の視線方向Dvとしては視点Pvから基準位置Prに向かう方向に設定する(注目被写体Stの「被写体の向き」の方向とは逆方向に設定する)。
図7Aの場合、基準位置Prと視点Pvとの離間距離は、例えば仮想視点画像において注目被写体Stの少なくとも上半身部が画角内に収まる距離に設定する。例えば、「40cm」程度の距離に設定することが望ましい。なお、この「40cm」は、撮像素子がAPS-Cサイズであり焦点距離が35mm程度である場合の画角を想定した場合に、「24cm」程度の距離で上半身部分が該画角内に収まることに基づいたものである。
この図7Aの設定例によれば、仮想視点画像として、プレー中の選手の動き(移動)に追従しながら選手の上半身部を捉えた臨場感の高い画像を提供することができる。特に、バスケットボール等、手を使用する競技について選手の動きの分析や研究に好適な仮想視点画像を提供することができる。
図7Bの設定例は、注目被写体Stが競技ボールを持っている場合に対応した例である。
本設定例では、注目被写体Stの身体的中心として設定した基準位置Prと、競技ボールとしての被写体Sbの位置とを結ぶ直線上で、基準位置Prから注目被写体Stの「被写体の向き」の方向に所定距離離間した位置に視点Pvを設定する。なお、ここでは、被写体Sbの位置は、被写体Sbの中心位置としている。この場合も「注目被写体を観察する視点Pv」であるため、視線方向Dvとしては視点Pvから基準位置Prに向かう方向に設定する。
図7Bの例では、基準位置Prは注目被写体Stの顔中心に設定している。
図7Bの例において、基準位置Prと視点Pvとの離間距離は、少なくとも基準位置Prと被写体Sbの位置までの離間距離よりも大きな距離に設定する。例えば、仮想視点画像において注目被写体の全身が画角内に収まる距離に設定することが考えられ、その場合、基準位置Prと視点Pvとの離間距離は、例えば「80cm」程度の距離とすることが望ましい。
本設定例では、注目被写体Stの身体的中心として設定した基準位置Prと、競技ボールとしての被写体Sbの位置とを結ぶ直線上で、基準位置Prから注目被写体Stの「被写体の向き」の方向に所定距離離間した位置に視点Pvを設定する。なお、ここでは、被写体Sbの位置は、被写体Sbの中心位置としている。この場合も「注目被写体を観察する視点Pv」であるため、視線方向Dvとしては視点Pvから基準位置Prに向かう方向に設定する。
図7Bの例では、基準位置Prは注目被写体Stの顔中心に設定している。
図7Bの例において、基準位置Prと視点Pvとの離間距離は、少なくとも基準位置Prと被写体Sbの位置までの離間距離よりも大きな距離に設定する。例えば、仮想視点画像において注目被写体の全身が画角内に収まる距離に設定することが考えられ、その場合、基準位置Prと視点Pvとの離間距離は、例えば「80cm」程度の距離とすることが望ましい。
図7Bの設定例によれば、プレー中の選手の動きに追従しながら競技ボール越しに注目被写体Stの顔の表情を捉えた臨場感の高い仮想視点画像を提供することができる。
図8は、「注目被写体から外方を観察する視点Pv」に対応した視点Pv及び視線方向Dvの設定例の説明図である。
図8A及び図8Bの設定例としても、基準位置Prを注目被写体Stの身体的中心に設定する例となる。具体的に、図8Aの設定例では基準位置Prを注目被写体Stの両肩間の中心に設定している。この場合、「注目被写体から外方を観察する視点Pv」であるため、視点Pvは基準位置Prと同一位置に設定する。そして、視線方向Dvは、注目被写体Stの「被写体の向き」の方向に設定する。
図8A及び図8Bの設定例としても、基準位置Prを注目被写体Stの身体的中心に設定する例となる。具体的に、図8Aの設定例では基準位置Prを注目被写体Stの両肩間の中心に設定している。この場合、「注目被写体から外方を観察する視点Pv」であるため、視点Pvは基準位置Prと同一位置に設定する。そして、視線方向Dvは、注目被写体Stの「被写体の向き」の方向に設定する。
図8Bの設定例は、注目被写体が競技ボールを持っている場合に対応した例である。
この場合、基準位置Prは注目被写体Stの顔中心に設定している。「注目被写体から外方を観察する視点Pv」であるため、この場合も視点Pvは基準位置Prと同一位置に設定する。
本例では、視線方向Dvは、視点Pvから被写体Sbの位置(例えば中心位置)に向かう方向として設定する。
この場合、基準位置Prは注目被写体Stの顔中心に設定している。「注目被写体から外方を観察する視点Pv」であるため、この場合も視点Pvは基準位置Prと同一位置に設定する。
本例では、視線方向Dvは、視点Pvから被写体Sbの位置(例えば中心位置)に向かう方向として設定する。
図8Aの設定例によれば、バスケットボール競技等、手を使用する競技について選手の動きの分析や研究に好適な仮想視点画像を提供することができる。
また、図8Bの設定例によれば、プレー中の選手の目から見える状況を刻々と映し出した臨場感の高い仮想視点画像を提供することができる。特に、他選手に競技ボールをパスするシーンやシュートシーンなどにおいて、競技ボールに対する選手の挙動を映し出した仮想視点画像を提供でき、選手の動きの分析や研究に好適である。
また、図8Bの設定例によれば、プレー中の選手の目から見える状況を刻々と映し出した臨場感の高い仮想視点画像を提供することができる。特に、他選手に競技ボールをパスするシーンやシュートシーンなどにおいて、競技ボールに対する選手の挙動を映し出した仮想視点画像を提供でき、選手の動きの分析や研究に好適である。
なお以下、「注目被写体を観察する視点Pv」については簡略的に「内向き視点」と表記することもある。また「注目被写体から外方を観察する視点Pv」については簡略的に「外向き視点」と表記することもある。
続いて、「視点設定モード」としての「自動設定モード」と「簡易設定モード」について説明する。
自動設定モードは、例えば上記した図7や図8などの手法によって視点設定処理部13aが視点Pvをいわば自動的に設定するモードである。
本例の場合、自動設定モードでは、視点設定処理部13aが視点Pvの設定手法を順時切り替えることとしている。具体的に、本例では、注目被写体Stの設定手法を順時切り替えることで、使用者に対し、順時異なる被写体Sを基準とする視点Pvの設定された仮想視点画像が表示されるようにする。
自動設定モードは、例えば上記した図7や図8などの手法によって視点設定処理部13aが視点Pvをいわば自動的に設定するモードである。
本例の場合、自動設定モードでは、視点設定処理部13aが視点Pvの設定手法を順時切り替えることとしている。具体的に、本例では、注目被写体Stの設定手法を順時切り替えることで、使用者に対し、順時異なる被写体Sを基準とする視点Pvの設定された仮想視点画像が表示されるようにする。
図9Aは、このような自動設定モード中における注目被写体Stの切り替えによって使用者に閲覧される仮想視点画像のイメージを示している。
本例では、仮想視点画像生成部13が生成した仮想視点画像は表示装置7の表示画面、及び入力装置6における表示部62の表示画面に表示されるため、ここではそれらの画面上に表示される仮想視点画像のイメージを示している。なお、図9Aでは視点モードが「内向き視点」(注目被写体を観察する視点Pv)の場合を例示しているが、外向き視点の場合も同様の切り替えが行われる。
本例では、仮想視点画像生成部13が生成した仮想視点画像は表示装置7の表示画面、及び入力装置6における表示部62の表示画面に表示されるため、ここではそれらの画面上に表示される仮想視点画像のイメージを示している。なお、図9Aでは視点モードが「内向き視点」(注目被写体を観察する視点Pv)の場合を例示しているが、外向き視点の場合も同様の切り替えが行われる。
本例の自動設定モードでは、上記のように仮想視点画像が順時切り替えて表示される下で、入力装置6に対する所定の入力操作があった場合には、視点Pvの設定手法切り替えを停止する。具体的には、切り替え表示される仮想視点画像のうちから任意の仮想視点画像を選択する操作が行われたことに応じ、注目被写体Stの設定手法の切り替えを停止する。
本例では、上記の選択操作は、操作部61におけるタッチパネル61aに対する操作として行われる。すなわち、例えばタップやダブルタップ等、タッチパネル61aに対する所定のタッチ操作が行われたことに応じ、その時点で表示されている仮想視点画像の視点Pvの設定手法(本例では注目被写体Stの設定手法)を維持する。
ここで、上記のような挙動は、視点Pvの設定手法が異なる複数の仮想視点画像を候補視点画像として使用者に対して順送りに表示させ、候補視点画像についての選択操作に基づき視点Pvを設定するものと換言することができる。
なお、上記のような候補視点画像の順送り表示手法に代えて、例えば図9Bに示すように、複数の候補視点画像を使用者に同時表示させる手法を採ることもできる。
この場合、仮想視点画像生成部13においては、注目被写体Stについてそれぞれ異なる設定手法で視点Pvを設定した仮想視点画像を並行して生成する。すなわち、視点設定処理部13aがそれぞれ異なる手法で設定した注目被写体Stについての視点Pvをそれぞれ設定し、レンダリング処理部13bがそれら設定された視点Pvによる仮想視点画像を並行して生成する。そして、これら生成した仮想視点画像を表示装置7や入力装置6の表示部62に出力する。
表示装置7や表示部62では、それら複数の仮想視点画像をそれぞれ表示画面内の所定領域に表示する。
この場合、入力装置6の操作部61は、タッチパネル61aに対する所定のタッチ操作が検知された場合には、該タッチ操作が行われた画面領域の情報を仮想視点画像生成部13に送信する。
仮想視点画像生成部13は、該画面領域の情報に基づき、タッチ操作により選択された仮想視点画像を特定し、以降は、視点設定処理部13aにおいて該特定した仮想視点画像の視点Pvの設定手法により視点Pvの設定を行い、レンダリング処理部13bは、複数の候補視点画像の生成を停止し、該設定された視点Pvによる仮想視点画像を生成、出力する。
この場合、仮想視点画像生成部13においては、注目被写体Stについてそれぞれ異なる設定手法で視点Pvを設定した仮想視点画像を並行して生成する。すなわち、視点設定処理部13aがそれぞれ異なる手法で設定した注目被写体Stについての視点Pvをそれぞれ設定し、レンダリング処理部13bがそれら設定された視点Pvによる仮想視点画像を並行して生成する。そして、これら生成した仮想視点画像を表示装置7や入力装置6の表示部62に出力する。
表示装置7や表示部62では、それら複数の仮想視点画像をそれぞれ表示画面内の所定領域に表示する。
この場合、入力装置6の操作部61は、タッチパネル61aに対する所定のタッチ操作が検知された場合には、該タッチ操作が行われた画面領域の情報を仮想視点画像生成部13に送信する。
仮想視点画像生成部13は、該画面領域の情報に基づき、タッチ操作により選択された仮想視点画像を特定し、以降は、視点設定処理部13aにおいて該特定した仮想視点画像の視点Pvの設定手法により視点Pvの設定を行い、レンダリング処理部13bは、複数の候補視点画像の生成を停止し、該設定された視点Pvによる仮想視点画像を生成、出力する。
次に、「簡易設定モード」について説明する。
本例の簡易設定モードは、注目被写体Stの基準位置Prに基づいて、視点Pvの位置又は視線方向Dvを使用者が操作により変更可能とされたモードとされる。
本例の簡易設定モードは、注目被写体Stの基準位置Prに基づいて、視点Pvの位置又は視線方向Dvを使用者が操作により変更可能とされたモードとされる。
図10は、簡易設定モードについての説明図である。
簡易設定モードでは、視点モードが「内向き視点」のモードである場合には、使用者の操作に応じ、図示のように基準位置Prを中心とした球面Ssに沿って視点Pvを変化させる。なお、「内向き視点」のモードであるため、この場合における視線方向Dvは視点Pvから基準位置Prに向かう方向に設定される。
簡易設定モードでは、視点モードが「内向き視点」のモードである場合には、使用者の操作に応じ、図示のように基準位置Prを中心とした球面Ssに沿って視点Pvを変化させる。なお、「内向き視点」のモードであるため、この場合における視線方向Dvは視点Pvから基準位置Prに向かう方向に設定される。
この場合の視点Pvの変更操作は、例えばタッチパネル61aの操作(例えば、視点Pvを移動させたい方向に指をなぞる操作等)、或いは操作部61に設けた十字キーやジョイスティック等の多方向操作子による操作等とすることができる。
なお、タッチパネル61aを用いた入力装置6の形態は、例えばタブレット端末のような装置として実現可能であり、仮想視点画像を閲覧するためのパネルと一体に操作部を設けることが可能であるため、導入のための機材コストを削減できるというメリットがある。
一方、ジョイスティック等のゲームコントローラ式の形態を採る場合には、操作入力のために専用機器を要するが、より細かな入力が可能であるため操作性の向上が図られるメリットがある。
なお、タッチパネル61aを用いた入力装置6の形態は、例えばタブレット端末のような装置として実現可能であり、仮想視点画像を閲覧するためのパネルと一体に操作部を設けることが可能であるため、導入のための機材コストを削減できるというメリットがある。
一方、ジョイスティック等のゲームコントローラ式の形態を採る場合には、操作入力のために専用機器を要するが、より細かな入力が可能であるため操作性の向上が図られるメリットがある。
上記のような「内向き視点」の場合に対応した視点Pvの簡易設定について、本例では、基準位置Prと視点Pvとの離間距離(つまり球面Ssの半径)は固定とする例を挙げるが、該離間距離は操作に応じて可変としてもよい。
また、球面Ssは、必ずしも中心が基準位置Prと一致するものである必要はなく、「注目被写体を観察する視点Pv」の観点においては、少なくとも注目被写体Stの周囲を覆う球面として設定されていればよい。
また、球面Ssは、必ずしも中心が基準位置Prと一致するものである必要はなく、「注目被写体を観察する視点Pv」の観点においては、少なくとも注目被写体Stの周囲を覆う球面として設定されていればよい。
簡易設定モードにおいて、視点モードが「外向き視点」(注目被写体から外方を観察する視点Pv)のモードである場合には、視点Pvを基準位置Prと同一位置に設定した上で、操作に応じて視線方向Dvを変化させる。この場合の視線方向Dvは、図10に示すものとは逆に、視点Pvから外向き方向となる。
なお、「外向き視点」のモード時における簡易設定モードにおいて、視線方向Dvのみでなく、視点Pvの位置も操作に応じて変化させるようにすることもできる。
上記のような簡易設定モードでは、視点Pvの設定に注目被写体Stの基準位置Prを用いるため、使用者が三次元空間上の任意位置に視点Pvを設定する場合と比べて、視点Pvの設定にあたっての操作負担(作業負担)軽減が図られる。
[1-3.処理手順]
図11のフローチャートを参照し、上記により説明した実施形態としての視点設定手法を実現するための具体的な処理の手順を説明する。
本例では、図11に示す処理は、DSPで構成された仮想視点画像生成部13が実行する。
なお、図11では自動設定モード時における候補視点画像の表示手法として、図9Aのような順送り表示手法が採られる場合に対応した処理を例示する。
図11のフローチャートを参照し、上記により説明した実施形態としての視点設定手法を実現するための具体的な処理の手順を説明する。
本例では、図11に示す処理は、DSPで構成された仮想視点画像生成部13が実行する。
なお、図11では自動設定モード時における候補視点画像の表示手法として、図9Aのような順送り表示手法が採られる場合に対応した処理を例示する。
先ず、ステップS101で仮想視点画像生成部13は、視点モードの確認処理として、現在の視点モードが「内向き視点」「外向き視点」の何れのモードであるかを判定し、「内向き視点」のモードであればステップS102に進み、「外向き視点」のモードであれば後述するステップS113に進む。
ステップS102で仮想視点画像生成部13は、視点設定モードの確認処理として、現在の視点設定モードが「自動設定モード」「簡易設定モード」の何れであるかを判定し、「自動設定モード」であればステップS103に進み、「簡易設定モード」であれば後述するステップS107に進む。
ステップS103で仮想視点画像生成部13は、注目被写体Stの設定処理を行う。すなわち、例えば前述した(1)(2)(3)等の手法により注目被写体Stを設定する。前述のように、本例では注目被写体Stの設定手法が異なる複数の候補視点画像を順送り表示するため、ステップS103の処理は、例えば実行ごとに手法を変えて注目被写体Stの設定を行う。
続くステップS104で仮想視点画像生成部13は、候補視点画像の生成を開始する。具体的には、ステップS103で設定された注目被写体Stについて、図7で例示したような注目被写体Stの基準位置Prに基づいた視点Pvの設定、及び視線方向Dvの設定を行い、設定した視点Pv及び視線方向Dvによる仮想視点画像の生成を開始する。
なお、ステップS104で先の図7Bで例示した視点Pvの設定手法を採る場合は、ステップS103の設定処理で前述した(1)の手法により注目被写体Stが設定されることが条件となる。
また、本例では、基準位置Prの設定は仮想視点画像生成部13が行うものとしているが、被写体解析部12が設定した基準位置Prの情報を仮想視点画像生成部13が取得する構成も採り得る。
なお、ステップS104で先の図7Bで例示した視点Pvの設定手法を採る場合は、ステップS103の設定処理で前述した(1)の手法により注目被写体Stが設定されることが条件となる。
また、本例では、基準位置Prの設定は仮想視点画像生成部13が行うものとしているが、被写体解析部12が設定した基準位置Prの情報を仮想視点画像生成部13が取得する構成も採り得る。
ステップS104で候補視点画像の生成が開始されることで、入力装置6における表示部62において該候補視点画像の表示が開始される。
仮想視点画像生成部13は、上記のように候補視点画像の生成を開始したことに応じ、ステップS105及びS106の処理により、画像選択操作、表示切替タイミングの到来の何れかを待機する。すなわち、入力装置6のタッチパネル61aに対する所定操作、候補視点画像の表示切替タイミングの到来の何れかを待機する。なお、候補視点画像の表示切替は、本例では一定の周期で行われる。このため仮想視点画像生成部13は、ステップS104で候補視点画像の生成を開始してから一定時間が経過したことに応じ、ステップS106で表示切替タイミングが到来したと判定する。
ステップS106において、表示切替タイミングが到来したと判定した場合、仮想視点画像生成部13はステップS103に戻る。これにより、注目被写体Stの設定手法が切り替えられ、異なる被写体を対象として設定された視点Pvによる新たな候補視点画像の生成、及び表示部62での表示が開始される。
このような候補視点画像の切り替え表示は、ステップS105で画像選択操作が行われるまで繰り返される。
このような候補視点画像の切り替え表示は、ステップS105で画像選択操作が行われるまで繰り返される。
ステップS105において、画像選択操作があったと判定した場合、仮想視点画像生成部13はこの図に示す一連の処理を終える。
これにより、注目被写体Stが、最新に行われたステップS103の処理で設定された注目被写体Stで維持される。
これにより、注目被写体Stが、最新に行われたステップS103の処理で設定された注目被写体Stで維持される。
続いて、ステップS102で「簡易設定モード」と判定した場合の処理を説明する。
ステップS107で仮想視点画像生成部13は、ステップS103と同様に注目被写体の設定処理を行い、続くステップS108で初期視点による仮想視点画像の生成を開始する。初期視点は、簡易設定モードにおける視点Pvの設定操作(変更操作)を受け付けるにあたって初期的に設定される視点Pvである。初期視点としては、少なくともステップS107で設定した注目被写体Stを対象に設定した基準位置Prに基づく視点Pvであればよい。例えば、図7Aで説明した手法等により設定すればよい。注目被写体Stが前述した(1)の手法で設定された場合には、図7Bで説明した手法で設定することもできる。
ステップS107で仮想視点画像生成部13は、ステップS103と同様に注目被写体の設定処理を行い、続くステップS108で初期視点による仮想視点画像の生成を開始する。初期視点は、簡易設定モードにおける視点Pvの設定操作(変更操作)を受け付けるにあたって初期的に設定される視点Pvである。初期視点としては、少なくともステップS107で設定した注目被写体Stを対象に設定した基準位置Prに基づく視点Pvであればよい。例えば、図7Aで説明した手法等により設定すればよい。注目被写体Stが前述した(1)の手法で設定された場合には、図7Bで説明した手法で設定することもできる。
初期視点による仮想視点画像の生成を開始したことに応じ、仮想視点画像生成部13はステップS109で視点変更操作を待機する。すなわち、入力装置6の操作部61からの所定の操作入力、具体的には、視点Pvの変更方向を指示する所定の操作入力を待機する。
視点変更操作があった場合、仮想視点画像生成部13はステップS110の視点変更処理として、該操作に応じた視点Pvの変更を行う。具体的に本例では、該操作に応じて、注目被写体Stの基準位置Prを中心とした球面Ssに沿って視点Pvを変化させる。
視点変更操作があった場合、仮想視点画像生成部13はステップS110の視点変更処理として、該操作に応じた視点Pvの変更を行う。具体的に本例では、該操作に応じて、注目被写体Stの基準位置Prを中心とした球面Ssに沿って視点Pvを変化させる。
続くステップS111で仮想視点画像生成部13は、変更後の視点による仮想視点画像の生成を開始する。これにより、表示部62や表示装置7において、表示中の仮想視点画像の視点Pvが操作に応じて変更される。
ステップS111に続くステップS112で仮想視点画像生成部13は、処理の終了条件が成立したか否かを判定する。該終了条件としては、例えば仮想視点画像の生成停止を指示する所定の操作入力等を挙げることができる。
終了条件が成立していないと判定した場合、仮想視点画像生成部13はステップS109に戻って視点変更操作を待機する。これにより、終了条件が成立するまでの間、視点変更操作に応じて視点Pvの変更が行われる。
終了条件が成立していないと判定した場合、仮想視点画像生成部13はステップS109に戻って視点変更操作を待機する。これにより、終了条件が成立するまでの間、視点変更操作に応じて視点Pvの変更が行われる。
ステップS112において終了条件が成立したと判定した場合、仮想視点画像生成部13はこの図に示す一連の処理を終える。
続いて、視点モードが「外向き視点」のモードであった場合について説明する。
先の説明から理解されるように、「外向き視点」のモードでは、「内向き視点」のモードと比較して視点Pvが基準位置Prに設定され、視線方向Dvが視点Pvから外向きとされる点を除き、全体的な処理の流れは上記した「内向き視点」のモード時と同様となる。
先の説明から理解されるように、「外向き視点」のモードでは、「内向き視点」のモードと比較して視点Pvが基準位置Prに設定され、視線方向Dvが視点Pvから外向きとされる点を除き、全体的な処理の流れは上記した「内向き視点」のモード時と同様となる。
先ず、ステップS113で仮想視点画像生成部13は、ステップS102と同様に視点設定モードの別を確認し、「自動設定モード」であれば、ステップS114以降の処理を実行し、「簡易設定モード」であればステップS118以降の処理を実行する。
「自動設定モード」時に対応したステップS114~S117の処理は、上記のように視点Pvや視線方向Dvの設定手法が異なる以外、先のステップS103~S106の処理と同様となるため重複説明は避ける。
簡易設定モード時において、仮想視点画像生成部13はステップS118で、先のステップS103やS107と同様に注目被写体の設定処理を行い、続くステップS119で、初期視点による仮想視点画像の生成を開始する。ステップS119の処理は、視点Pvや視点方向Dvを外向き視点のモードに対応したものとすること以外は先のステップS108の処理と同様となる。
続くステップS120で仮想視点画像生成部13は、視線方向変更操作を待機する。すなわち、入力装置6の操作部61からの所定の操作入力、具体的には、視線方向Dvの変更方向を指示する所定の操作入力を待機する。
そして、仮想視点画像生成部13は、視線方向変更操作があった場合は、ステップS121で視線方向Dvの変更を行い、ステップS122で変更後の視線方向Dvによる仮想視点画像の生成を開始する。
そして、仮想視点画像生成部13は、視線方向変更操作があった場合は、ステップS121で視線方向Dvの変更を行い、ステップS122で変更後の視線方向Dvによる仮想視点画像の生成を開始する。
ステップS122に続くステップS123で仮想視点画像生成部13は、先のステップS112と同様に終了条件の成立有無を判定し、終了条件が成立していなければステップS120に戻って再び視線方向変更操作を待機し、終了条件が成立していればこの図に示す一連の処理を終える。
なお、上記説明では、仮想視点画像生成部13が注目被写体Stを自動設定する例を挙げたが、注目被写体Stは仮想視点画像生成部13が操作に基づき設定することもできる。
例えば、背番号や名前等、所定の選手属性情報の入力を受け付け、入力された選手属性情報から特定される選手としての被写体を注目被写体Stとして設定することができる。
或いは、それぞれに異なる選手が映し出された画像を候補画像として表示部62に順送りで表示(或いは同時表示)させ、操作により選択された候補画像の選手を注目被写体Stとして設定することもできる。
さらには、使用者が操作により三次元空間上に指定した位置(ターゲット位置)から近い順に選手の画像を順送りで表示(或いは同時表示)させ、選択された画像の選手を注目被写体Stとして設定することもできる。或いは、この際の選手の順送りは、選手の背番号(又は名前)の順番や、競技ボールの位置に近い順番等とすることもできる。
例えば、背番号や名前等、所定の選手属性情報の入力を受け付け、入力された選手属性情報から特定される選手としての被写体を注目被写体Stとして設定することができる。
或いは、それぞれに異なる選手が映し出された画像を候補画像として表示部62に順送りで表示(或いは同時表示)させ、操作により選択された候補画像の選手を注目被写体Stとして設定することもできる。
さらには、使用者が操作により三次元空間上に指定した位置(ターゲット位置)から近い順に選手の画像を順送りで表示(或いは同時表示)させ、選択された画像の選手を注目被写体Stとして設定することもできる。或いは、この際の選手の順送りは、選手の背番号(又は名前)の順番や、競技ボールの位置に近い順番等とすることもできる。
また、上記では、競技ボールの例として主にバスケットボールを挙げたが、競技ボールとしては、バスケットボール競技やサッカー、野球等で用いられる略球状のボールに限らず、ラグビーやアメリカンフットボール等で用いられる略回転楕円体状のボールや、ホッケーで用いられるパック、バドミントンで用いられるシャトル等も広く含むものとする。
また、上記では、「外向き視点」「内向き視点」による「視点モード」を設ける例を挙げたが、このような「視点モード」を設けることは必須でない。「視点モード」を設けない場合、例えば、上述した順送り表示や同時表示による候補視点画像の表示について、外向き視点による候補視点画像と内向き視点による候補視点画像とを混在させて表示することもできる。
なお、仮想視点画像は、撮像装置2による撮像画像の全フレームについて生成することは必須ではなく、一部のフレームを間引いて生成することもできる。このとき、視点Pvの設定は、全フレームについて行ってもよいし必要な一部のフレームについてのみ行ってもよい。例えば、視点Pvの設定は毎フレーム行い、仮想視点画像のレンダリングは、各フレームに設定された視点Pvの情報に基づき一定間隔のフレームでのみ行うとった例が考えられる。
<2.変形例>
[2-1.第一変形例]
以下、実施形態の変形例について説明する。
第一変形例は、視点Pvの設定に係る変形例であり、図12と図13の設定例を挙げる。これら図12、図13の設定例は、上述した「内向き視点」のモードに対応した視点Pvの設定例となる。
[2-1.第一変形例]
以下、実施形態の変形例について説明する。
第一変形例は、視点Pvの設定に係る変形例であり、図12と図13の設定例を挙げる。これら図12、図13の設定例は、上述した「内向き視点」のモードに対応した視点Pvの設定例となる。
図12の設定例は、仮想視点画像として複数の選手の動きに追従する画像を得る場合に対応した設定例である。ここでは、3人の選手の動きに追従する場合を例示する。
先ず、図12Aに示すように、3人の選手としての被写体S1、S2、S3について、各被写体S同士の位置を通る直線L12、L13、L23上で、各被写体Sから外挿される位置に基準位置Pr12、Pr21、Pr13、Pr31、Pr23、Pr32を設定する。なお、この設定は、例えば仮想視点画像生成部13が行う。
図示のように、直線L12は被写体S1、S2の各位置を通る直線、直線L13は被写体S1、S3の各位置を通る直線、直線L23は被写体S2、S3の各位置を通る直線である。
基準位置Pr12は、直線L12上にあって、被写体S1と被写体S2との中点から見て被写体S1の奥側に位置されている。基準位置Pr21は、直線L12上にあって、被写体S1と被写体S2との中点から見て被写体S2の奥側に位置されている。
基準位置Pr13は、直線L13上にあって、被写体S1と被写体S3との中点から見て被写体S1の奥側に位置され、基準位置Pr31は、直線L13上にあって、被写体S1と被写体S3との中点から見て被写体S3の奥側に位置されている。
また、基準位置Pr23は、直線L23上にあって、被写体S2と被写体S3との中点から見て被写体S2の奥側に位置され、基準位置Pr32は、直線L23上にあって、被写体S2と被写体S3との中点から見て被写体S3の奥側に位置されている。
先ず、図12Aに示すように、3人の選手としての被写体S1、S2、S3について、各被写体S同士の位置を通る直線L12、L13、L23上で、各被写体Sから外挿される位置に基準位置Pr12、Pr21、Pr13、Pr31、Pr23、Pr32を設定する。なお、この設定は、例えば仮想視点画像生成部13が行う。
図示のように、直線L12は被写体S1、S2の各位置を通る直線、直線L13は被写体S1、S3の各位置を通る直線、直線L23は被写体S2、S3の各位置を通る直線である。
基準位置Pr12は、直線L12上にあって、被写体S1と被写体S2との中点から見て被写体S1の奥側に位置されている。基準位置Pr21は、直線L12上にあって、被写体S1と被写体S2との中点から見て被写体S2の奥側に位置されている。
基準位置Pr13は、直線L13上にあって、被写体S1と被写体S3との中点から見て被写体S1の奥側に位置され、基準位置Pr31は、直線L13上にあって、被写体S1と被写体S3との中点から見て被写体S3の奥側に位置されている。
また、基準位置Pr23は、直線L23上にあって、被写体S2と被写体S3との中点から見て被写体S2の奥側に位置され、基準位置Pr32は、直線L23上にあって、被写体S2と被写体S3との中点から見て被写体S3の奥側に位置されている。
上記のような各基準位置Prを設定した上で、仮想視点画像生成部13は、図12Bに示すように直線L12、L13、L23の各直線L同士がなす角度α1、α2、α3をそれぞれ求める。すなわち、直線L12と直線L13とがなす角度である角度α1、直線L12と直線L23とがなす角度である角度α2、直線L13と直線L23とがなす角度である角度α3を求める。
そして、これら角度α1、α2、α3のうち最小の角度を特定し、該最小の角度をなす直線Lの組を特定する。つまり図の例では直線L13と直線L23の組が特定される。
そして、これら角度α1、α2、α3のうち最小の角度を特定し、該最小の角度をなす直線Lの組を特定する。つまり図の例では直線L13と直線L23の組が特定される。
さらに、仮想視点画像生成部13は、上記のように最小の角度をなす二つの直線Lについて、それら直線L上に設定されている合計四つの基準位置Prのうち、それら直線L同士の交点により近い側の二つの基準位置Prを特定する。つまり、図の例では、直線L13上に設定されている基準位置Pr13、Pr31と、直線L23上に設定されている基準位置Pr23、Pr32のうち、直線L13と直線L23の交点(つまり被写体S3の位置)により近い基準位置Pr31、Pr32が特定される。
その上で仮想視点画像生成部13は、このように特定した二つの基準位置Prの中点を視点Pvとして設定する(図12C)。このとき、視線方向Dvとしては、視点Pvから直近の被写体(図の例では被写体S3)の位置に向かう方向に設定する。
その上で仮想視点画像生成部13は、このように特定した二つの基準位置Prの中点を視点Pvとして設定する(図12C)。このとき、視線方向Dvとしては、視点Pvから直近の被写体(図の例では被写体S3)の位置に向かう方向に設定する。
なお、上記では、全ての直線Lに二つの基準位置Prを設定した上で視点Pvを設定する例としたが、基準位置Prは、視点Pvの設定に直接的に用いられる二つのみ(図12の例では基準位置Pr31、Pr32)を少なくとも設定すればよい。
上記のような視点Pvの設定により、仮想視点画像として、複数の被写体を画枠内のできる限り中央部に映し出す画像を提供することができる。すなわち、複数の被写体を同時観察し易い仮想視点画像を提供することができる。
なお、4人以上の選手に追従する場合も上記手法と同様の要領で視点Pvを設定することができる。
また、2人の選手に追従する場合には、例えば、選手としての二つの被写体を通る直線に対し所定角度をなす直線上に視点Pvを設定する等の手法を採ることが考えられる。
また、2人の選手に追従する場合には、例えば、選手としての二つの被写体を通る直線に対し所定角度をなす直線上に視点Pvを設定する等の手法を採ることが考えられる。
ここで、図12で説明した視点Pvの設定手法は、例えば、注目被写体Stの設定手法として前述した(3)の手法が採られた場合で、所定のエリアに位置する選手が3人以上検出されたケース等に好適である。
図13は、一つの注目被写体Stに対する視点Pvの設定についての変形例を説明するための図である。
具体的に、図13の変形例は、競技ボールを持っている注目被写体Stに対する視点Pvの設定例であり、この場合の仮想視点画像生成部13は、競技ボールの到達先、例えばゴールの位置に視点Pvを設定し、視線方向Dvは視点Pvから競技ボールとしての被写体Sbの位置方向に設定する。
なお、ゴールの位置は、例えば被写体解析部12で解析し、その結果を仮想視点画像生成部13が取得するものとすればよい。或いは、仮想視点画像生成部13にゴールの位置情報を予め記憶させておくこともできる。
具体的に、図13の変形例は、競技ボールを持っている注目被写体Stに対する視点Pvの設定例であり、この場合の仮想視点画像生成部13は、競技ボールの到達先、例えばゴールの位置に視点Pvを設定し、視線方向Dvは視点Pvから競技ボールとしての被写体Sbの位置方向に設定する。
なお、ゴールの位置は、例えば被写体解析部12で解析し、その結果を仮想視点画像生成部13が取得するものとすればよい。或いは、仮想視点画像生成部13にゴールの位置情報を予め記憶させておくこともできる。
[2-2.第二変形例]
第二変形例は、「外向き視点」時における視線方向Dvを被写体の向きに係る解析情報に基づき設定するものである。
ここで、以下の説明において、「外向き視点」、すなわち被写体から外方を観察する視点のことを「一人称視点」とも表記する。
第二変形例は、「外向き視点」時における視線方向Dvを被写体の向きに係る解析情報に基づき設定するものである。
ここで、以下の説明において、「外向き視点」、すなわち被写体から外方を観察する視点のことを「一人称視点」とも表記する。
一人称視点による仮想視点画像を生成する上では、注目被写体Stとしての人物が目にしている視覚情報を再現すること、すなわち注目被写体Stの視野を再現することが望ましい。このため、第二変形例では、一人称視点による仮想視点画像について、その視線方向Dvを注目被写体Stの向きに係る解析情報に基づいて設定する。
図14は、第二変形例における視線方向Dvの設定手法についての説明図である。
先ず前提として、本例では、注目被写体Stの向きに係る解析情報として、顔の向きと姿勢の情報とを用いる。本例における被写体解析部12は、3Dモデル生成部11が生成した3Dモデルデータに基づき、人物としての被写体についてこれら顔の向き、姿勢の推定を行う。
先ず前提として、本例では、注目被写体Stの向きに係る解析情報として、顔の向きと姿勢の情報とを用いる。本例における被写体解析部12は、3Dモデル生成部11が生成した3Dモデルデータに基づき、人物としての被写体についてこれら顔の向き、姿勢の推定を行う。
顔の向きは、被写体の顔が向く方向であり、例えば、被写体の顔における目や鼻、口等の各パーツの位置等の情報に基づき推定する。なお、顔の向きの具体的な推定手法については種々の手法が提案されており、特定の手法に限定されない。
姿勢は、前述した被写体の簡易モデルが該当する(図4参照)。後述するように本例では、このような簡易モデルから注目被写体Stの身体向きを推定する。
姿勢は、前述した被写体の簡易モデルが該当する(図4参照)。後述するように本例では、このような簡易モデルから注目被写体Stの身体向きを推定する。
ここで、これら顔の向きや姿勢等、被写体の向きに係る解析情報については、例えば撮像装置2等の撮影機材や被写体解析部12の演算処理能力による影響等、何らかの要因でデータの欠損が生じ得るもので、常時取得できることが保証されるものではない。
このため本例では、注目被写体Stの向きに係る解析情報の取得状況に応じて、一人称視点による仮想視点画像について視線方向Dvの設定手法を選択する。
具体的には、図14に示すように、注目被写体Stの顔の向きと姿勢について、何れも取得できていない状況と、顔の向きのみが取得できている状況と、顔の向きと姿勢の双方が取得できている状況の三つの場合に大別する。そして本例では、これらの各場合について、さらに注目被写体Stの状態に応じた場合分け、具体的には停止(初期状態)、停止(定常状態)、及び移動の場合分けを行って、それぞれの場合に対応した手法によって視線方向Dvの設定を行う。
ここで、停止(初期状態)について、初期状態とは、注目被写体Stについて一人称視点としての視点Pvを設定した仮想視点画像(動画像)の開始タイミングを意味する。すなわち、停止(初期状態)とは、該初期状態において注目被写体Stが停止していることを意味する。
停止(定常状態)は、上記の初期状態以外で、注目被写体Stが停止している状態を意味する。
なお本例では、注目被写体Stの位置の情報については常時取得できる前提としている。
具体的には、図14に示すように、注目被写体Stの顔の向きと姿勢について、何れも取得できていない状況と、顔の向きのみが取得できている状況と、顔の向きと姿勢の双方が取得できている状況の三つの場合に大別する。そして本例では、これらの各場合について、さらに注目被写体Stの状態に応じた場合分け、具体的には停止(初期状態)、停止(定常状態)、及び移動の場合分けを行って、それぞれの場合に対応した手法によって視線方向Dvの設定を行う。
ここで、停止(初期状態)について、初期状態とは、注目被写体Stについて一人称視点としての視点Pvを設定した仮想視点画像(動画像)の開始タイミングを意味する。すなわち、停止(初期状態)とは、該初期状態において注目被写体Stが停止していることを意味する。
停止(定常状態)は、上記の初期状態以外で、注目被写体Stが停止している状態を意味する。
なお本例では、注目被写体Stの位置の情報については常時取得できる前提としている。
先ず、顔の向きと姿勢の何れも取得できない場合について説明する。
顔の向きと姿勢の何れも取得できない場合において、注目被写体Stが停止(初期状態)の状態のときは、視線方向Dvは予め定めた向きに設定する。具体的に、この場合の視線方向Dvは、コンテンツの種類に応じて予め定めた向きに設定する。例えば、被写体が競技選手でありコンテンツの種類がサッカーやバスケットボール等のゴール競技である場合には、予め定めた向きは、相手陣のゴール方向(自陣の得点源となるゴールの方向)とする。また、コンテンツがテニスやバドミントン等のコート競技である場合には、予め定めた向きは、注目被写体Stの自陣のコート側から見て相手陣のコート側の方向とする。また、注目被写体Stが通路を歩いているシーンであれば、予め定めた向きは通路の出口方向とする。
顔の向きと姿勢の何れも取得できない場合において、注目被写体Stが停止(初期状態)の状態のときは、視線方向Dvは予め定めた向きに設定する。具体的に、この場合の視線方向Dvは、コンテンツの種類に応じて予め定めた向きに設定する。例えば、被写体が競技選手でありコンテンツの種類がサッカーやバスケットボール等のゴール競技である場合には、予め定めた向きは、相手陣のゴール方向(自陣の得点源となるゴールの方向)とする。また、コンテンツがテニスやバドミントン等のコート競技である場合には、予め定めた向きは、注目被写体Stの自陣のコート側から見て相手陣のコート側の方向とする。また、注目被写体Stが通路を歩いているシーンであれば、予め定めた向きは通路の出口方向とする。
次いで、顔の向きと姿勢の何れも取得できない場合において、注目被写体Stが移動状態のときは、視線方向Dvは、注目被写体Stの進行方向とする。注目被写体Stの進行方向は、注目被写体Stの位置の変化方向として求める。
なお、上記の進行方向は、注目被写体Stの位置が変化する方向を意味するものであり、注目被写体Stの向きに係る解析情報ではなく、位置に係る解析情報に該当する。
なお、上記の進行方向は、注目被写体Stの位置が変化する方向を意味するものであり、注目被写体Stの向きに係る解析情報ではなく、位置に係る解析情報に該当する。
さらに、顔の向きと姿勢の何れも取得できない場合において、注目被写体Stが停止(定常状態)の状態のときは、視線方向Dvは直前結果を保持する。すなわち、停止(初期状態)の状態から停止(定常状態)の状態に遷移した際には、視線方向Dvは上述した「予め定めた向き」で維持され、また移動の状態から停止(定常状態)の状態に遷移した際には、視線方向Dvはそれまでの進行方向で維持される。
なお、停止(定常状態)の状態が所定時間以上継続した際には、視線方向Dvは「予め定めた向き」に変更してもよい。
なお、停止(定常状態)の状態が所定時間以上継続した際には、視線方向Dvは「予め定めた向き」に変更してもよい。
続いて、顔の向きと姿勢のうち顔の向きのみが取得できた場合について説明する。
顔の向きのみが取得できた場合においては、注目被写体Stが停止の状態であるとき、つまり初期状態、定常状態を問わず停止の状態のとき、視線方向Dvは顔の向きから推定した向きとする。具体的に、この際の視線方向Dvは、処理対象時刻を含む特定期間内における顔の向きの代表値とする。
ここで、「処理対象時刻」は、本例では処理対象としているフレームを意味し、処理対象時刻を含む特定期間とは、処理対象のフレームを含む複数フレームの期間を意味する。本例では、処理対象時刻を含む特定期間としては、処理対象時刻から過去側の期間のみでなく、処理対象時刻から未来側の期間を含む期間としている。
顔の向きの代表値としては、例えば上記特定期間内における顔の向きの平均値を用いる。すなわち、例えば上記特定期間が、処理対象のフレームを基準とした過去側3フレーム、及び未来側3フレームの計7フレームの期間であるとしたとき、顔の向きの平均値は、これら7つの各フレームについて得られた顔の向きの値の平均値とする。
或いは、顔の向きの代表値としては、上記特定期間内における顔の向きの中央値とすることもできる。ここで、中央値は、有限個のデータを小さい順に並べたとき中央に位置する値を意味する。例えば、上記特定期間を上記した7つのフレームによる期間として、各フレームの時刻を過去から未来側にかけて時刻[t-3][t-2][t-1][t][t+1][t+2][t+3]としたとき、これら時刻ごとの顔の向きの値が仮に「5」「7」「6」「10」「5」「9」「8」であれば、顔の向きの中央値は、各値を小さい順に並べたときの中央の値、すなわち「5」「5」「6」「7」「8」「9」「10」の中央に位置する値である「7」となる。なお、有限個のデータの数が偶数であり、中央に位置する値が二つとなる場合、中央値は該二つの値の平均値とする。
顔の向きのみが取得できた場合においては、注目被写体Stが停止の状態であるとき、つまり初期状態、定常状態を問わず停止の状態のとき、視線方向Dvは顔の向きから推定した向きとする。具体的に、この際の視線方向Dvは、処理対象時刻を含む特定期間内における顔の向きの代表値とする。
ここで、「処理対象時刻」は、本例では処理対象としているフレームを意味し、処理対象時刻を含む特定期間とは、処理対象のフレームを含む複数フレームの期間を意味する。本例では、処理対象時刻を含む特定期間としては、処理対象時刻から過去側の期間のみでなく、処理対象時刻から未来側の期間を含む期間としている。
顔の向きの代表値としては、例えば上記特定期間内における顔の向きの平均値を用いる。すなわち、例えば上記特定期間が、処理対象のフレームを基準とした過去側3フレーム、及び未来側3フレームの計7フレームの期間であるとしたとき、顔の向きの平均値は、これら7つの各フレームについて得られた顔の向きの値の平均値とする。
或いは、顔の向きの代表値としては、上記特定期間内における顔の向きの中央値とすることもできる。ここで、中央値は、有限個のデータを小さい順に並べたとき中央に位置する値を意味する。例えば、上記特定期間を上記した7つのフレームによる期間として、各フレームの時刻を過去から未来側にかけて時刻[t-3][t-2][t-1][t][t+1][t+2][t+3]としたとき、これら時刻ごとの顔の向きの値が仮に「5」「7」「6」「10」「5」「9」「8」であれば、顔の向きの中央値は、各値を小さい順に並べたときの中央の値、すなわち「5」「5」「6」「7」「8」「9」「10」の中央に位置する値である「7」となる。なお、有限個のデータの数が偶数であり、中央に位置する値が二つとなる場合、中央値は該二つの値の平均値とする。
また、顔の向きと姿勢のうち顔の向きのみが取得できた場合について、注目被写体Stが移動の状態であるときは、視線方向Dvは進行方向と進行速度、顔の向き、及び顔の向きの変化速度に基づく向きとする。
具体的に、該移動の状態であるときの視線方向Dvは、図15に示すように設定する。
先ず、注目被写体Stの進行速度と顔の向きの変化速度について、それぞれ「速い」「遅い」の組合わせによる計4通りの場合分けを行う。そして、これら4通りの各場合について、さらに注目被写体Stの進行方向と顔の向きが同じ場合、異なる場合の2通りの場合分けを行い、合計で8通りの場合に分ける。
先ず、注目被写体Stの進行速度と顔の向きの変化速度について、それぞれ「速い」「遅い」の組合わせによる計4通りの場合分けを行う。そして、これら4通りの各場合について、さらに注目被写体Stの進行方向と顔の向きが同じ場合、異なる場合の2通りの場合分けを行い、合計で8通りの場合に分ける。
ここで、注目被写体Stの進行速度については、例えば単位をkm/h(時)として求め、また顔の向きの変化速度については、例えば単位をdeg/s(秒)として求める。そして、進行速度についての閾値THs、及び顔の向きの変化速度についての閾値THfをそれぞれ定めておき、これら閾値THs、閾値THfとの大小関係を比較した結果に基づきそれぞれの速度の「遅い」「速い」を判定する。例えば、進行速度、顔の向きの変化速度が閾値THs未満、閾値THf未満であればそれぞれ「遅い」の判定結果を、閾値THs以上、閾値THf以上であればそれぞれ「速い」の判定結果を得る。
進行速度について、「遅い」の目安としては、例えば平均的な歩行速度である5km/h程度を挙げることができ、「速い」の目安として例えばジョギング程度の速度である12km/h程度を挙げることができる。
また、顔の向きの変化速度について、「遅い」の目安は例えば50deg/s程度を挙げることができ、「速い」の目安は例えば90deg/s程度を挙げることができる。
なお、閾値THs、閾値THfについては、例えばコンテンツの種類等に応じて可変とすることもできる。
進行速度について、「遅い」の目安としては、例えば平均的な歩行速度である5km/h程度を挙げることができ、「速い」の目安として例えばジョギング程度の速度である12km/h程度を挙げることができる。
また、顔の向きの変化速度について、「遅い」の目安は例えば50deg/s程度を挙げることができ、「速い」の目安は例えば90deg/s程度を挙げることができる。
なお、閾値THs、閾値THfについては、例えばコンテンツの種類等に応じて可変とすることもできる。
また、進行方向と顔の向きの「同じ」「異なる」については、それぞれの代表値(特定期間内での代表値)を基準として判定する。
図15に示す通り、本例では、進行速度と顔の向きの変化速度が共に「遅い」場合において、進行方向と顔の向きが同じであるときは、視線方向Dvは進行方向に設定し、また同場合において、進行方向と顔の向きが異なるときは、視線方向Dvは顔の向きの代表値に設定する。
また、進行速度が「遅い」、顔の向きの変化速度が「速い」場合において、進行方向と顔の向きが同じであるときは、視線方向Dvは進行方向に設定し、また同場合において、進行方向と顔の向きが異なるときは、視線方向Dvは顔の向きの代表値に設定する。
すなわち、進行速度が「遅い」場合には、顔の向きの変化速度に拘わらず、進行方向と顔の向きが同じであれば視線方向Dvを進行方向に設定し、進行方向と顔の向きが異なれば視線方向Dvを顔の向きの代表値に設定する。
また、進行速度が「遅い」、顔の向きの変化速度が「速い」場合において、進行方向と顔の向きが同じであるときは、視線方向Dvは進行方向に設定し、また同場合において、進行方向と顔の向きが異なるときは、視線方向Dvは顔の向きの代表値に設定する。
すなわち、進行速度が「遅い」場合には、顔の向きの変化速度に拘わらず、進行方向と顔の向きが同じであれば視線方向Dvを進行方向に設定し、進行方向と顔の向きが異なれば視線方向Dvを顔の向きの代表値に設定する。
次いで、進行速度が「速い」、顔の向きの変化速度が「遅い」場合において、進行方向と顔の向きが同じであるときは、視線方向Dvは進行方向に設定し、また同場合において、進行方向と顔の向きが異なるときは、視線方向Dvは顔の向きの代表値に設定する。
また、進行速度と顔の向きの変化速度が共に「速い」場合においては、進行方向と顔の向きが同じであるか否かに拘わらず、視線方向Dvは進行方向に設定する。
すなわち、進行速度が「速い」状況においては、顔の向きの変化速度が遅ければ視線方向Dvを顔の向きに追従させ、顔の向きの変化速度が速ければ視線方向Dvを顔の向きに追従させず、進行方向に設定するものとしている。これにより、仮想視点画像の表示内容が目まぐるしく変化することの防止が図られ、仮想視点画像を観察するユーザの違和感や疲労(例えば目の疲れ等)の緩和を図ることができる。
また、進行速度と顔の向きの変化速度が共に「速い」場合においては、進行方向と顔の向きが同じであるか否かに拘わらず、視線方向Dvは進行方向に設定する。
すなわち、進行速度が「速い」状況においては、顔の向きの変化速度が遅ければ視線方向Dvを顔の向きに追従させ、顔の向きの変化速度が速ければ視線方向Dvを顔の向きに追従させず、進行方向に設定するものとしている。これにより、仮想視点画像の表示内容が目まぐるしく変化することの防止が図られ、仮想視点画像を観察するユーザの違和感や疲労(例えば目の疲れ等)の緩和を図ることができる。
続いて、図14において、顔の向きと姿勢の双方が取得できた場合における視線方向Dvの設定手法を説明する。
該場合において、注目被写体Stが停止の状態(この場合も初期状態、定常状態を問わず)であるときは、視線方向Dvは姿勢から推定した向きに設定する。
また、注目被写体Stが移動の状態であれば、視線方向Dvは姿勢から推定した向き、該向きの変化速度、及び進行方向に基づく向きに設定する。
該場合において、注目被写体Stが停止の状態(この場合も初期状態、定常状態を問わず)であるときは、視線方向Dvは姿勢から推定した向きに設定する。
また、注目被写体Stが移動の状態であれば、視線方向Dvは姿勢から推定した向き、該向きの変化速度、及び進行方向に基づく向きに設定する。
本例では、注目被写体Stの姿勢から推定される向きとして、注目被写体Stの身体向きの推定を行う。
この身体向きは、被写体解析部12で得られる注目被写体Stの簡易モデルから推定されるもので、具体的には、図16に示すように、簡易モデルにおける胴体部(例えば四角形)の法線方向として求められる。ここで、該法線方向としては互いが逆方向の関係となる二つの方向が存在するが、身体向きとしては、該法線方向のうち、注目被写体Stの鼻が存在する側の方向を選択する。すなわち、ここでの身体向きとは、注目被写体Stの正面の向きと換言できるものである。
この身体向きは、被写体解析部12で得られる注目被写体Stの簡易モデルから推定されるもので、具体的には、図16に示すように、簡易モデルにおける胴体部(例えば四角形)の法線方向として求められる。ここで、該法線方向としては互いが逆方向の関係となる二つの方向が存在するが、身体向きとしては、該法線方向のうち、注目被写体Stの鼻が存在する側の方向を選択する。すなわち、ここでの身体向きとは、注目被写体Stの正面の向きと換言できるものである。
ここで、本例では、注目被写体Stの簡易モデルは、注目被写体Stの顔の向きの情報を用いて生成される。すなわち、該簡易モデルは顔の向きの情報が得られる場合に生成されるものである。
このため本例では、注目被写体Stの向きに係る解析情報の取得状況について、図14に示したような場合分けを行っている。
このため本例では、注目被写体Stの向きに係る解析情報の取得状況について、図14に示したような場合分けを行っている。
図17は、顔の向きと姿勢の双方が取得でき、注目被写体Stが移動の状態であった場合における視線方向Dvの設定手法についての説明図である。
図示のように該場合については、身体向きの変化速度の「遅い」「速い」による場合分けを行うと共に、身体向きの変化速度が「速い」場合について、さらに進行方向と身体向きの「同じ」「異なる」による場合分けを行っている。
図示のように該場合については、身体向きの変化速度の「遅い」「速い」による場合分けを行うと共に、身体向きの変化速度が「速い」場合について、さらに進行方向と身体向きの「同じ」「異なる」による場合分けを行っている。
身体向きの変化速度については、例えば単位をdeg/sとして求める。身体向きの変化速度の「遅い」「速い」の判定については、該変化速度についての閾値THbを定めておき、該閾値THbとの比較結果に基づき行う。例えば、該変化速度が閾値THb未満であれば「遅い」、閾値THb以上であれば「速い」の判定結果を得る。
身体向きについては、上述した顔の向きとの比較で下肢や体幹の旋回速度も加わりより速い回転が可能となるので、その点を考慮して閾値THbは上述した閾値THfよりも大きな値とすることが考えられる。
なお、閾値THbについてもコンテンツの種類等に応じて可変とすることもできる。
身体向きについては、上述した顔の向きとの比較で下肢や体幹の旋回速度も加わりより速い回転が可能となるので、その点を考慮して閾値THbは上述した閾値THfよりも大きな値とすることが考えられる。
なお、閾値THbについてもコンテンツの種類等に応じて可変とすることもできる。
また、進行方向と身体向きの「同じ」「異なる」の判定において、進行方向及び身体向きは共に特定期間内における代表値を用いる。
上記した場合ごとの視線方向Dvの設定については、先ず、身体向きの変化速度が「遅い」場合については、視線方向Dvは身体向きの代表値とする。
一方、身体向きの変化速度が「速い」場合において、進行方向と身体向きとが「同じ」場合は、視線方向Dvは身体向きの代表値とし、進行方向と身体向きとが「異なる」場合は、視線方向Dvは進行方向とする。
このように身体向きについても、変化速度が「速い」場合には、視線方向Dvを向きの変化に追従させないようにしている。
一方、身体向きの変化速度が「速い」場合において、進行方向と身体向きとが「同じ」場合は、視線方向Dvは身体向きの代表値とし、進行方向と身体向きとが「異なる」場合は、視線方向Dvは進行方向とする。
このように身体向きについても、変化速度が「速い」場合には、視線方向Dvを向きの変化に追従させないようにしている。
図18のフローチャートを参照し、上記により説明した視線方向Dvの設定を実現するために行われるべき具体的な処理の手順を説明する。
なお、本例において、図18に示す処理の実行主体は仮想視点画像生成部13である。
なお、本例において、図18に示す処理の実行主体は仮想視点画像生成部13である。
先ず、仮想視点画像生成部13はステップS201で、顔の向きが取得できているか否かを判定する。すなわち、被写体解析部12より注目被写体Stの顔の向きの情報が取得できているか否かを判定する。
顔の向きが取得できていれば、仮想視点画像生成部13はステップS202に進み、姿勢の情報が取得できているか否か、すなわち被写体解析部12より注目被写体Stの簡易モデルの情報が取得できているか否かを判定する。
これらステップS201及びS202の処理により、注目被写体Stの向きに係る解析情報として顔の向き、姿勢の何れも取得できていない場合、顔の向きのみが取得できている場合、又は顔の向きと姿勢の双方が取得できている場合の何れの場合に該当するかが判定される。
顔の向きが取得できていれば、仮想視点画像生成部13はステップS202に進み、姿勢の情報が取得できているか否か、すなわち被写体解析部12より注目被写体Stの簡易モデルの情報が取得できているか否かを判定する。
これらステップS201及びS202の処理により、注目被写体Stの向きに係る解析情報として顔の向き、姿勢の何れも取得できていない場合、顔の向きのみが取得できている場合、又は顔の向きと姿勢の双方が取得できている場合の何れの場合に該当するかが判定される。
ステップS201で顔の向きが取得できていないと判定した場合、すなわち顔の向き、姿勢の何れも取得できていない場合、仮想視点画像生成部13はステップS203に進み、注目被写体Stが移動の状態であるか否かを判定する。そして、移動の状態でないと判定した場合、仮想視点画像生成部13はステップS204に進んで初期状態であるか否かを判定する。
これらステップS203及びS204の処理により、注目被写体Stの状態が、停止(初期状態)の状態、停止(定常状態)の状態、移動の状態の何れの状態に該当するかが判定される。
なお、注目被写体Stの移動/停止に係る判定は、被写体解析部12で得られる注目被写体Stの位置の情報に基づいて行う。
これらステップS203及びS204の処理により、注目被写体Stの状態が、停止(初期状態)の状態、停止(定常状態)の状態、移動の状態の何れの状態に該当するかが判定される。
なお、注目被写体Stの移動/停止に係る判定は、被写体解析部12で得られる注目被写体Stの位置の情報に基づいて行う。
ステップS204において、初期状態であると判定した場合(つまり停止(初期状態)の状態の場合)、仮想視点画像生成部13はステップS205に進み、視線方向Dvを予め定めた向きに設定して図18に示す処理を終える。なお、「予め定めた向き」については既に説明済みであるため重複説明は避ける。
また、ステップS204において、初期状態ではないと判定した場合、仮想視点画像生成部13はステップS206に進み、視線方向Dvとして直前結果を保持する処理を行って、図18に示す処理を終える。
また、先のステップS203において、注目被写体Stが移動の状態であると判定した場合、仮想視点画像生成部13はステップS207に進み、視線方向Dvを注目被写体Stの進行方向とし、図18に示す処理を終える。
なお、視線方向Dvを進行方向とする際、進行方向としては、特定期間内の代表値を用いることもできる。
なお、視線方向Dvを進行方向とする際、進行方向としては、特定期間内の代表値を用いることもできる。
また、先のステップS202において、注目被写体Stの姿勢が取得できていないと判定した場合、すなわち、顔の向きのみが取得できている場合、仮想視点画像生成部13はステップS208に進み、注目被写体Stが移動の状態であるか否かを判定する。
移動の状態でなければ、仮想視点画像生成部13はステップS210に進み、視線方向Dvを顔の向きから推定した向きとする、すなわち視線方向Dvを顔の向きの特定期間内における代表値とする処理を行って、図18に示す処理を終える。
移動の状態でなければ、仮想視点画像生成部13はステップS210に進み、視線方向Dvを顔の向きから推定した向きとする、すなわち視線方向Dvを顔の向きの特定期間内における代表値とする処理を行って、図18に示す処理を終える。
一方ステップS208で移動の状態であると判定した場合、仮想視点画像生成部13はステップS211に進み、視線方向Dvを、注目被写体Stの進行方向と進行速度、顔の向き、及び顔の向きの変化速度に基づく向きに設定する処理を行い、図18に示す処理を終える。
なお、注目被写体Stの進行方向と進行速度、顔の向き、及び顔の向きの変化速度に基づく向きの具体的な設定手法については、既に図14を参照して説明済みであるため重複説明は避ける。
なお、注目被写体Stの進行方向と進行速度、顔の向き、及び顔の向きの変化速度に基づく向きの具体的な設定手法については、既に図14を参照して説明済みであるため重複説明は避ける。
続いて、ステップS202において、姿勢を取得できていると判定した場合(顔の向きと姿勢の双方を取得できている場合)、仮想視点画像生成部13はステップS209に進み、注目被写体Stが移動の状態であるか否かを判定する。
移動の状態でなければ、仮想視点画像生成部13はステップS212に進み、視線方向Dvを身体向きとする、すなわち視線方向Dvを身体向きの特定期間内における代表値とする処理を行って、図18に示す処理を終える。
移動の状態でなければ、仮想視点画像生成部13はステップS212に進み、視線方向Dvを身体向きとする、すなわち視線方向Dvを身体向きの特定期間内における代表値とする処理を行って、図18に示す処理を終える。
一方ステップS209で移動の状態であると判定した場合、仮想視点画像生成部13はステップS213に進み、視線方向Dvを、注目被写体Stの身体向き、身体向きの変化速度、及び進行方向に基づく向きに設定する処理を行い、図18に示す処理を終える。
なお、注目被写体Stの進行方向と進行速度、身体向き、及び身体向きの変化速度に基づく向きの具体的な設定手法は、図17を参照して説明した手法と同様の手法であり、重複説明は避ける。
なお、注目被写体Stの進行方向と進行速度、身体向き、及び身体向きの変化速度に基づく向きの具体的な設定手法は、図17を参照して説明した手法と同様の手法であり、重複説明は避ける。
上記のように第二変形例においては、仮想視点画像生成部13は、一人称視点からの視線方向Dvの設定手法を、注目被写体Stの向きに係る解析情報の取得状況に基づき選択している。
これにより、例えば注目被写体Stの顔の向きや身体向き等、被写体の向きに係る解析情報の取得状況に応じた適切な視線方向Dvの設定を行うことが可能とされる。従って、一人称視点の仮想視点画像として、適切な視線方向Dvによる画像を提供することができる。
これにより、例えば注目被写体Stの顔の向きや身体向き等、被写体の向きに係る解析情報の取得状況に応じた適切な視線方向Dvの設定を行うことが可能とされる。従って、一人称視点の仮想視点画像として、適切な視線方向Dvによる画像を提供することができる。
[2-3.第三変形例]
第三変形例は、仮想視点画像の視線方向Dvと被写体の視線の向きとのずれに応じた情報をユーザに報知するものである。
図19は、第三変形例としての画像処理システム100’の構成についての説明図である。
図1に示した画像処理システム100との差異点は、画像処理装置1に代えて画像処理装置1’が設けられた点と、表示装置7に代えてHMD(ヘッドマウントディスプレイ)51が設けられた点である。
なお図示は省略したが、図19に示す画像処理システム100’としても、図1に示した画像処理システム100と同様に、複数の撮像装置2とパラメータ記録装置4とを備えている。また、画像処理システム100’においても、図1に示した画像記録装置8が設けられてもよい。
第三変形例は、仮想視点画像の視線方向Dvと被写体の視線の向きとのずれに応じた情報をユーザに報知するものである。
図19は、第三変形例としての画像処理システム100’の構成についての説明図である。
図1に示した画像処理システム100との差異点は、画像処理装置1に代えて画像処理装置1’が設けられた点と、表示装置7に代えてHMD(ヘッドマウントディスプレイ)51が設けられた点である。
なお図示は省略したが、図19に示す画像処理システム100’としても、図1に示した画像処理システム100と同様に、複数の撮像装置2とパラメータ記録装置4とを備えている。また、画像処理システム100’においても、図1に示した画像記録装置8が設けられてもよい。
画像処理装置1’は、画像処理装置1と比較して、仮想視点画像生成部13に代えて仮想視点画像生成部13’が設けられた点が異なる。仮想視点画像生成部13’は、第二変形例で説明した一人称視点からの視線方向Dvの設定を行うと共に、視線方向Dvと被写体の視線の向きとのずれに応じた報知をユーザに対して行うための報知処理部52を有している。
画像処理システム100’においては、HMD51を装着したユーザに、仮想視点画像生成部13’が生成した一人称視点による仮想視点画像を提示する。
本例の画像処理システム100’は、HMD51の画面上に表示される仮想視点画像の視線方向Dvを、HMD51が装着されたユーザの頭部の動き(回動)に応じて変更する機能を有する。このために、HMD51には、ユーザの頭部の動きを検出するための例えばジャイロセンサ等の動き検出デバイスが搭載されている。仮想視点画像生成部13’は、HMD51の動き検出デバイスによる検出信号に基づき、HMD51に出力する仮想視点画像の視線方向Dvを変更可能に構成されている。
本例の画像処理システム100’は、HMD51の画面上に表示される仮想視点画像の視線方向Dvを、HMD51が装着されたユーザの頭部の動き(回動)に応じて変更する機能を有する。このために、HMD51には、ユーザの頭部の動きを検出するための例えばジャイロセンサ等の動き検出デバイスが搭載されている。仮想視点画像生成部13’は、HMD51の動き検出デバイスによる検出信号に基づき、HMD51に出力する仮想視点画像の視線方向Dvを変更可能に構成されている。
ここで、HMD51に一人称視点による仮想視点画像を表示する場合、該仮想視点画像の視線方向Dvとしては、第二変形例で説明したような注目被写体Stの身体向きや顔の向きに基づく向きに設定することが考えられる。
しかしながら、注目被写体Stの身体向きや顔の向きは、必ずしも注目被写体Stの視線の向きと一致するものとは言えず、これら身体向きや顔の向きと視線の向きとが一致しない場合には、ユーザに表示する仮想視点画像として、注目被写体Stの視野を適切に再現した画像を提供することができない。
しかしながら、注目被写体Stの身体向きや顔の向きは、必ずしも注目被写体Stの視線の向きと一致するものとは言えず、これら身体向きや顔の向きと視線の向きとが一致しない場合には、ユーザに表示する仮想視点画像として、注目被写体Stの視野を適切に再現した画像を提供することができない。
図20に具体例を示す。
先ず、以下の説明では、仮想視点画像の視線方向Dvと注目被写体Stの視線の向きとの混同防止のため、注目被写体Stの視線の向きは「視線の向きDrv」と表記する。
なお確認しておくと、視線方向Dvは、仮想視点画像の視野を決定づける要素の一つであって、視線Pvから何れの方向を観察した画像とするかを定めるためのパラメータである。この意味で、「視線方向Dv」については、仮想視点画像の「観察方向」と表記することもある。
先ず、以下の説明では、仮想視点画像の視線方向Dvと注目被写体Stの視線の向きとの混同防止のため、注目被写体Stの視線の向きは「視線の向きDrv」と表記する。
なお確認しておくと、視線方向Dvは、仮想視点画像の視野を決定づける要素の一つであって、視線Pvから何れの方向を観察した画像とするかを定めるためのパラメータである。この意味で、「視線方向Dv」については、仮想視点画像の「観察方向」と表記することもある。
図20では、HMD51を装着したユーザと、注目被写体Stとを対比して示している。
HMD51を装着したユーザは、常に頭部を左右に振るということは考え難く、基本的には、顔が正面側を向いていることを前提とすることができる。そのため、仮想視点画像の視線方向Dvは、注目被写体Stの身体向きと一致させることが望ましい。このように視線方向Dvを注目被写体Stの身体向きと一致させることで、ユーザと注目被写体Stとの間で身体向きを揃えることができる。
なお、第二変形例で説明した視線方向Dvの設定手法によると、身体向きの情報が取得できない場合には顔の向きに基づく視線方向Dvが設定され、顔の向きも取得できない場合には進行方向が視線方向Dvとして設定される。
HMD51を装着したユーザは、常に頭部を左右に振るということは考え難く、基本的には、顔が正面側を向いていることを前提とすることができる。そのため、仮想視点画像の視線方向Dvは、注目被写体Stの身体向きと一致させることが望ましい。このように視線方向Dvを注目被写体Stの身体向きと一致させることで、ユーザと注目被写体Stとの間で身体向きを揃えることができる。
なお、第二変形例で説明した視線方向Dvの設定手法によると、身体向きの情報が取得できない場合には顔の向きに基づく視線方向Dvが設定され、顔の向きも取得できない場合には進行方向が視線方向Dvとして設定される。
図20において、HMD51を装着したユーザの上側に示した注目被写体Stは、身体向きと視線の向きDrvが一致している。すなわち、この場合における仮想視点画像は、視線方向Dvが注目被写体Stの視線の向きDrvと一致することになり、注目被写体Stについての一人称視点による仮想視点画像をユーザに表示した場合、注目被写体Stの視野と一致した視野による仮想視点画像を表示できる。
一方、ユーザの下側に示した注目被写体Stは、身体向きと視線の向きDrvが一致していない。従って、この場合における仮想視点画像は、視線方向Dvが注目被写体Stの視線の向きDrvと一致せず、注目被写体Stについての一人称視点による仮想視点画像をユーザに表示した場合、注目被写体Stの視野を再現することができない。
上記のように注目被写体Stについては、身体向きと視線の向きDrvが不一致の場合もあり、その場合に生成される仮想視点画像によっては、注目被写体Stの視野が適切に再現されない。
そこで、本例では、注目被写体Stの視線の向きDrvを推定し、推定した視線の向きDrvと視線方向Dvとのずれに応じた情報、具体的には、これらの方向を一致させるための案内情報をユーザに提示する。
先ず、注目被写体Stの視線の向きDrvの推定について説明する。
本例では、視線の向きDrvについても、第二変形例の場合と同様に注目被写体Stの向きに係る解析情報の取得状況に基づき、設定手法を選択するものとしている。
本例では、視線の向きDrvについても、第二変形例の場合と同様に注目被写体Stの向きに係る解析情報の取得状況に基づき、設定手法を選択するものとしている。
具体的には、図21に示すように、顔の向き、瞳の向きの取得状況に基づき、視線の向きDrvの設定手法を選択する。
ここで、注目被写体Stの瞳の向きは、被写体解析部12により推定する。
ここでの「瞳」とは、瞳孔のみを指す狭義の意味だけでなく、瞳孔と虹彩とを合わせた部分を指す広義の意味も含むものとする。本例では、瞳の向きは、顔の向きの情報と瞳についての検出情報とに基づいて推定される。換言すれば、瞳の向きは顔の向きが取得されている場合に取得可能な情報とされる。
ここで、注目被写体Stの瞳の向きは、被写体解析部12により推定する。
ここでの「瞳」とは、瞳孔のみを指す狭義の意味だけでなく、瞳孔と虹彩とを合わせた部分を指す広義の意味も含むものとする。本例では、瞳の向きは、顔の向きの情報と瞳についての検出情報とに基づいて推定される。換言すれば、瞳の向きは顔の向きが取得されている場合に取得可能な情報とされる。
図示のように、本例では、顔の向きと瞳の向きの何れも取得できない場合には、視線の向きDrvについての提示を行わないものとする。すなわち、視線方向Dvと視線の向きDrvとのずれに応じた情報報知は行わない。
また、顔の向きと瞳の向きのうち顔の向きのみが取得できている場合には、顔の向きに基づき視線の向きDrvを推定する。
本例では、顔の向きに対して所定の回転を加えた方向を視線の向きDrvの推定値とする。このような推定値の特定期間内における代表値を視線の向きDrvとして取得する。
本例では、顔の向きに対して所定の回転を加えた方向を視線の向きDrvの推定値とする。このような推定値の特定期間内における代表値を視線の向きDrvとして取得する。
なお、顔の向きから視線の向きDrvを推定するにあたっては、視点Pvの位置をオフセットさせてもよい。
図22は、その一例を示しており、視点Pvの位置が注目被写体Stの目の位置付近に設定されるように視点Pvにオフセットを加えている。
図22は、その一例を示しており、視点Pvの位置が注目被写体Stの目の位置付近に設定されるように視点Pvにオフセットを加えている。
図21において、顔の向きと瞳の向きの双方が取得できている場合は、瞳の向きに基づき視線の向きDrvを設定する。具体的に本例では、瞳の向きの特定期間内における代表値を視線の向きDrvとして設定する。
上記のように顔の向きのみ、又は顔の向きと瞳の向きの双方が取得された場合に対応して注目被写体Stの視線の向きDrvが設定された場合は、仮想視点画像の視線方向(観察方向)Dvと視線の向きDrvのずれを検出し、該ずれに応じた情報をユーザに報知する。
図23乃至図26を参照して、視線方向Dvと視線の向きDrvとのずれに応じた情報の報知例を説明する。
図23は、視線方向Dvと視線の向きDrvとのずれが生じている場合における注目被写体Stの視野とユーザの視野との関係を例示している。
図中の画像Gaは、視点Pvを注目被写体Stの一人称視点とした場合における全天球画像による仮想視点画像を表している。図中に表示画像Gtとして示す、HMD51に表示させる仮想視点画像は、図示のように画像Gaの一部を切り取ったものに相当すると言うことができる。ユーザの視野は、この表示画像Gtにより定まる。
図23は、視線方向Dvと視線の向きDrvとのずれが生じている場合における注目被写体Stの視野とユーザの視野との関係を例示している。
図中の画像Gaは、視点Pvを注目被写体Stの一人称視点とした場合における全天球画像による仮想視点画像を表している。図中に表示画像Gtとして示す、HMD51に表示させる仮想視点画像は、図示のように画像Gaの一部を切り取ったものに相当すると言うことができる。ユーザの視野は、この表示画像Gtにより定まる。
図中の点pgは、視点Pv(一人称視点)からの視線方向Dvを模式的に表したもので、点psは注目被写体Stの視線の向きDrvを模式的に表したものである。これら点pgと点psとのずれとして表されるように、視線方向Dvと視線の向きDrvとの間にずれが生じていると、表示画像Gaにおいて、注目被写体Stの視野が適切に再現されない。
図24は、視線方向Dvと視線の向きDrvとのずれに応じた情報報知の一例についての説明図である。
本報知例では、視線方向Dvと視線の向きDrvとのずれに応じた情報として、視線方向Dvを視線の向きDrvに一致させるための視線合わせ案内情報を提示する。具体的には、図24Aに示すように、視線方向Dvを視線の向きDrvに一致させるための方向指示情報H1(本例では矢印状の図形としている)が表示画像Gaにおいて提示されるようにする。
図24Bは、図24Aに示す表示画像Gtを抽出して示した図である。
本報知例では、視線方向Dvと視線の向きDrvとのずれに応じた情報として、視線方向Dvを視線の向きDrvに一致させるための視線合わせ案内情報を提示する。具体的には、図24Aに示すように、視線方向Dvを視線の向きDrvに一致させるための方向指示情報H1(本例では矢印状の図形としている)が表示画像Gaにおいて提示されるようにする。
図24Bは、図24Aに示す表示画像Gtを抽出して示した図である。
このような方向指示情報H1を提示することで、視線方向Dvと視線の向きDrvとの方向合わせのために視線方向Dvを左右何れの方向に変化させればよいか(本例では頭部を何れの方向に動かせばよいか)をユーザに的確且つ直感的に認識させることができる。
また、本報知例では、上記の方向指示情報H1と併せて、注目被写体Stの視線の向きDrvを表す情報としての目標方向情報H2の提示を行う。
図25は、図24Bの状態から視線方向Dvが視線の向きに一致する側に変化された場合の表示画像Gtを示している。目標方向情報H2は、視線の向きDrvが表示画像Gtの視野内にある状態において、表示画像Gt内に提示する。なお、図中では目標方向情報H2として十字形状の図形を提示する例を示しているが、目標方向情報H2の提示態様はこれに限定されるものではない。
このような目標方向情報H2の提示により、方向合わせの目標をユーザに的確且つ直感的に認識させることができる。
図25は、図24Bの状態から視線方向Dvが視線の向きに一致する側に変化された場合の表示画像Gtを示している。目標方向情報H2は、視線の向きDrvが表示画像Gtの視野内にある状態において、表示画像Gt内に提示する。なお、図中では目標方向情報H2として十字形状の図形を提示する例を示しているが、目標方向情報H2の提示態様はこれに限定されるものではない。
このような目標方向情報H2の提示により、方向合わせの目標をユーザに的確且つ直感的に認識させることができる。
図26は、視線方向Dvと視線の向きDrvとのずれに応じた情報報知の別例の説明図である。
本報知例では、表示画像Gtにおける注目被写体Stの視野との重複部分と非重複部分とについて、両部分を異なる表示態様で表示させる。すなわち、図26Aに示すように、表示画像Gtにおける注目被写体Stの視野と重複する部分を重複部分Ai、重複しない部分を非重複部分Aoとしたとき、これら重複部分Aiと非重複部分Aoとを異なる表示態様で表示させる。具体的に、本例では、重複部分Aiをカラー表示し、非重複部分Aoはモノクロ表示等、重複部分Aiよりも彩度を落とした表示とする。
このような重複部分Aiと非重複部分Aoの表示によると、視線の向きDrvが左右何れの方向に存在しているかが示される。すなわち、これら重複部分Aiと非重複部分Aoとによる情報の提示は前述した視線合わせ案内情報の提示に該当する。
本報知例では、表示画像Gtにおける注目被写体Stの視野との重複部分と非重複部分とについて、両部分を異なる表示態様で表示させる。すなわち、図26Aに示すように、表示画像Gtにおける注目被写体Stの視野と重複する部分を重複部分Ai、重複しない部分を非重複部分Aoとしたとき、これら重複部分Aiと非重複部分Aoとを異なる表示態様で表示させる。具体的に、本例では、重複部分Aiをカラー表示し、非重複部分Aoはモノクロ表示等、重複部分Aiよりも彩度を落とした表示とする。
このような重複部分Aiと非重複部分Aoの表示によると、視線の向きDrvが左右何れの方向に存在しているかが示される。すなわち、これら重複部分Aiと非重複部分Aoとによる情報の提示は前述した視線合わせ案内情報の提示に該当する。
なお、図26では方向指示情報H1や目標方向情報H2の提示も併せて行う例としたが、本報知例において、これら方向指示情報H1や目標方向情報H2の提示を行うことは必須ではない。
上記のような視線合わせ案内情報の報知に係る処理は、図19に示した報知処理部52が行う。
図27は、上記で説明した第三変形例としての処理のうち、注目被写体Stの向きに係る解析情報の取得状況に基づき視線の向きDrvの設定手法を選択する処理についてのフローチャートである。
本例では、図27に示す処理は仮想視点画像生成部13’が実行する。
本例では、図27に示す処理は仮想視点画像生成部13’が実行する。
先ず、仮想視点画像生成部13’はステップS301で、顔の向きが取得できているか否かを判定する。顔の向きが取得できていない場合、仮想視点画像生成部13’は図27に示す処理を終える。つまりこの場合は、視線の向きDrvは設定されず、視線方向Dvと視線の向きDrvとのずれに応じた情報の報知は行われない。
一方、顔の向きが取得できていれば、仮想視点画像生成部13’はステップS302に進み、瞳の向きが取得できているか否かを判定する。
瞳の向きが取得できていない場合(つまり顔の向きのみが取得できている場合)、仮想視点画像生成部13’はステップS303に進み、視線の向きDrvを、顔の向きに基づき推定した向きとする処理を行って図27に示す処理を終える。つまり本例では、顔の向きに対して所定の回転を加えた方向を視線の向きDrvの推定値とし、該推定値の特定期間内における代表値を視線の向きDrvとする処理を行う。
瞳の向きが取得できていない場合(つまり顔の向きのみが取得できている場合)、仮想視点画像生成部13’はステップS303に進み、視線の向きDrvを、顔の向きに基づき推定した向きとする処理を行って図27に示す処理を終える。つまり本例では、顔の向きに対して所定の回転を加えた方向を視線の向きDrvの推定値とし、該推定値の特定期間内における代表値を視線の向きDrvとする処理を行う。
また、ステップS302で瞳の向きが取得できている場合(顔の向きと瞳の向きの双方が取得できている場合)、仮想視点画像生成部13’はステップS304に進み、視線の向きDrvを瞳の向きとする処理を行って図27に示す処理を終える。具体的に、この場合の視線の向きDrvは、瞳の向きの特定期間内における代表値とする。
図28は、視線合わせ案内情報の表示に係る処理のフローチャートである。
なお、図28に示す処理は、本例では仮想視点画像生成部13’が前述した報知処理部52の処理として実行する。
なお、図28に示す処理は、本例では仮想視点画像生成部13’が前述した報知処理部52の処理として実行する。
図28において、仮想視点画像生成部13’はステップS401で、視線方向(観察方向)Dvと視線の向きDrvとが一致しているか否かを判定し、視線方向Dvと視線の向きDrvとが一致していれば図28に示す処理を終え、一致していなければステップS402に処理を進める。
ステップS402で仮想視点画像生成部13’は、視線合わせ案内情報の表示処理を実行する。具体的には、先ず、視線方向Dvと視線の向きDrvとのずれを検出し、検出したずれに応じた視線合わせ案内情報を表示画面Gt内に表示させるための処理を行う。例えば、前述した方向指示情報H1については、視線方向Dvに対して視線の向きDrvが右方向にずれていれば右向きの矢印、左方向にずれていれば左向きの矢印を生成した仮想視点画像(表示画像Gt)に重畳表示させるための処理を行う。なお、目標方向情報H2については、視線の向きDrvが表示画像Gtの視野内にある状態において重畳表示させる。
また、図26の報知例の場合には、視線の向きDrvに基づいて注目被写体Stの視野を推定し、推定した視野に基づいて仮想視点画像(表示画像Gt)における重複部分Aiと非重複部分Aoとを特定し、例えば重複部分Aiをカラー、非重複部分Aoを低彩度とした仮想視点画像を生成する。
また、図26の報知例の場合には、視線の向きDrvに基づいて注目被写体Stの視野を推定し、推定した視野に基づいて仮想視点画像(表示画像Gt)における重複部分Aiと非重複部分Aoとを特定し、例えば重複部分Aiをカラー、非重複部分Aoを低彩度とした仮想視点画像を生成する。
仮想視点画像生成部13’は、ステップS402の表示処理を実行したことに応じ、図28に示す処理を終える。
なお、第三変形例において、報知する情報は視覚的な情報に限らず、音としての聴覚的情報や、振動等の触覚的情報とすることもできる。例えば、聴覚的情報とする場合、方向指示は、Lch、Rchのスピーカのうち片側のchのスピーカのみから音を出力して行うことが考えられる。また、触覚的情報とする場合には、特にHMD51等、ユーザが装着する表示デバイスの場合には、左右に触覚刺激デバイス(例えば振動や風圧等、触覚刺激を与えるデバイス)を設けた構成としておき、方向指示は、左右何れかのデバイスのみから触覚刺激を与えることで行う等が考えられる。
[2-4.第四変形例]
第四変形例は、一人称視点と三人称視点の切り替えに係るものである。
ここで、三人称視点は、前述した「内向き視点」、すなわち被写体を観察する視点と同義である。
第四変形例において、仮想視点画像により提供するコンテンツはスポーツであるとする。
第四変形例は、一人称視点と三人称視点の切り替えに係るものである。
ここで、三人称視点は、前述した「内向き視点」、すなわち被写体を観察する視点と同義である。
第四変形例において、仮想視点画像により提供するコンテンツはスポーツであるとする。
三人称視点と一人称視点との切り替えは、コンテンツの種類に応じて行うことができる。
例えば、サッカー等の多人数且つ広い空間を移動する競技については、全体的な競技の把握を優先させて三人称視点を自動設定することが考えられる。また、ボクシング等の少人数且つ狭い空間を移動する競技については、臨場感を優先させて一人称視点を自動設定することが考えられる。
また、注目被写体Stがインプレイかアウトプレイかの状態差違に応じて三人称視点と一人称視点の切り替えを行うこともできる。例えば、バスケットボール競技であれば、注目被写体Stがボールを持っていれば一人称視点、ボールをもっていなければ三人称視点に切り替えることが考えられる。
また、注目被写体Stが野球のバッターであるとき、ボールを打つまでは一人称視点、打った後は三人称視点に切り替えることも考えられる。
例えば、サッカー等の多人数且つ広い空間を移動する競技については、全体的な競技の把握を優先させて三人称視点を自動設定することが考えられる。また、ボクシング等の少人数且つ狭い空間を移動する競技については、臨場感を優先させて一人称視点を自動設定することが考えられる。
また、注目被写体Stがインプレイかアウトプレイかの状態差違に応じて三人称視点と一人称視点の切り替えを行うこともできる。例えば、バスケットボール競技であれば、注目被写体Stがボールを持っていれば一人称視点、ボールをもっていなければ三人称視点に切り替えることが考えられる。
また、注目被写体Stが野球のバッターであるとき、ボールを打つまでは一人称視点、打った後は三人称視点に切り替えることも考えられる。
また、三人称視点と一人称視点との切り替えは、注目被写体Stの姿勢の情報の有無に応じて行ってもよい。具体的には、姿勢の情報があれば一人称視点、姿勢の情報がなければ三人称視点に切り替えを行う。
さらに、三人称視点と一人称視点との切り替えは、表示デバイスの種類に応じて行うこともできる。
例えば、仮想視点画像の表示デバイスがHMD51等の特定表示デバイスであれば一人称視点、特定表示デバイス以外の場合には三人称視点に切り替えを行う等である。
例えば、仮想視点画像の表示デバイスがHMD51等の特定表示デバイスであれば一人称視点、特定表示デバイス以外の場合には三人称視点に切り替えを行う等である。
或いは、三人称視点と一人称視点との切り替えは、コンテンツの再生回数に応じて行うこともできる。例えば、一回目の再生時は三人称視点(又は一人称視点)、2回目以降の再生時には一人称視点(又は三人称視点)に切り替えることが考えられる。
また、三人称視点と一人称視点との切り替えは、視点切替操作以外の操作に連動して行うこともできる。
例えば、再生中に巻き戻し操作が行われたとき、巻き戻し後の再生時に三人称視点から一人称視点、又は一人称視点から三人称視点への切り替えを行うことが考えられる。このような巻き戻し操作に応じた切り替えは、例えばクロスプレーなどもう一度視点を変えて見たい場合等に好適である。
例えば、再生中に巻き戻し操作が行われたとき、巻き戻し後の再生時に三人称視点から一人称視点、又は一人称視点から三人称視点への切り替えを行うことが考えられる。このような巻き戻し操作に応じた切り替えは、例えばクロスプレーなどもう一度視点を変えて見たい場合等に好適である。
また、実際に視点切り替えを行うのではなく、ユーザに切り替えを提案するための情報を提示してもよい。一例としては、切り替えについての「はい」「いいえ」を選択するポップアップ画面を表示し、ユーザの指示を待ち、一定期間応答が無い場合は「はい」と判定する等の手法がある。或いは、切り替えを行うことについての報知を音声により行い、ユーザの指示を待ち、一定期間、ユーザの音声による応答が無い場合は切り替えを行う意思がないと判定する等の手法も考えられる。なお、上記の一定期間は、スポーツコンテンツであることから短いことが望まれ、例えば2秒程度とすることが考えられる。
[2-5.第五変形例]
第五変形例は、システム構成に係る変形例である。
図29は、第五変形例における画像処理システム100Aの構成例を示している。
なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
第五変形例は、システム構成に係る変形例である。
図29は、第五変形例における画像処理システム100Aの構成例を示している。
なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
第五変形例は、画像処理装置1による処理をクラウドコンピューティングにより実現するようにした例である。
画像処理システム100Aにおいては、先の図1に示した画像処理システム100と比較して、データ記録装置9が追加され、またこのデータ記録装置9と画像処理装置1、入力装置6、表示装置7、及び画像記録装置8がそれぞれネットワーク50を介して通信可能に接続されている点が異なる。
なお、ネットワーク50は、例えばインターネットとされる。
画像処理システム100Aにおいては、先の図1に示した画像処理システム100と比較して、データ記録装置9が追加され、またこのデータ記録装置9と画像処理装置1、入力装置6、表示装置7、及び画像記録装置8がそれぞれネットワーク50を介して通信可能に接続されている点が異なる。
なお、ネットワーク50は、例えばインターネットとされる。
データ記録装置9は、例えばSSDやHDD等のデータ記録部と、該データ記録部についてデータの記録再生制御を行う制御部とを備え、画像記録装置3に記録された各撮像装置2による撮像画像、及びキャリブレーション装置5で得られたカメラパラメータの情報を取得して記録する。
この場合、画像処理装置1は、ネットワーク50を介して、データ記録装置9から各撮像装置2による撮像画像とカメラパラメータの情報とを取得する。なお、これら撮像画像とカメラパラメータの情報に基づき画像処理装置1が行う処理についてはこれまでで説明したものと同様となるため重複説明は避ける。
なお、画像処理システム100Aにおいて、入力装置6は、ネットワーク50を介さず、画像処理装置1と直接的に通信可能に接続されてもよい。
[2-6.第六変形例]
図30は、第六変形例における画像処理システム100Bの構成例を示している。
第六変形例は、第五変形例と同様のデータ記録装置9を設けて、仮想視点画像の生成をオフライン処理として実現可能とするものである。
図30では、一例として、3Dモデルデータと被写体解析情報Iaとをデータ記録装置9に記録しておき、これら記録された3Dモデルデータと被写体解析情報Iaを表示装置7Aが取得して仮想視点画像の生成を行う場合を例示する。
図30は、第六変形例における画像処理システム100Bの構成例を示している。
第六変形例は、第五変形例と同様のデータ記録装置9を設けて、仮想視点画像の生成をオフライン処理として実現可能とするものである。
図30では、一例として、3Dモデルデータと被写体解析情報Iaとをデータ記録装置9に記録しておき、これら記録された3Dモデルデータと被写体解析情報Iaを表示装置7Aが取得して仮想視点画像の生成を行う場合を例示する。
画像処理システム100Bは、画像処理システム100Aと比較して、画像処理装置1、入力装置6、画像記録装置8が省略される一方で、3Dモデル生成装置11’、被写体解析装置12’が設けられると共に、表示装置7に代えて表示装置7Aが設けられた点が異なる。
データ記録装置9と表示装置7Aは、ネットワーク50を介して相互にデータ通信を行うことが可能とされている。
データ記録装置9と表示装置7Aは、ネットワーク50を介して相互にデータ通信を行うことが可能とされている。
この場合、画像記録装置3に記録された各撮像装置2による撮像画像、及びキャリブレーション装置5で得られたカメラパラメータの情報は3Dモデル生成装置11’に入力される。3Dモデル生成装置11’は、これら画像記録装置3に記録された撮像画像とカメラパラメータの情報に基づいて、3Dモデル生成部11と同様に3Dモデルデータを生成する。
被写体解析装置12’は、3Dモデル生成装置11’が生成した3Dモデルデータに基づいて被写体解析部12と同様の被写体解析処理を行って被写体解析情報Iaを得る。
3Dモデル生成装置11’が生成した3Dモデルデータ、及び被写体解析情報Iaはデータ記録装置9に記録される。
被写体解析装置12’は、3Dモデル生成装置11’が生成した3Dモデルデータに基づいて被写体解析部12と同様の被写体解析処理を行って被写体解析情報Iaを得る。
3Dモデル生成装置11’が生成した3Dモデルデータ、及び被写体解析情報Iaはデータ記録装置9に記録される。
表示装置7Aは、操作部61、表示部62を備えると共に、仮想視点画像生成部13を備えており、仮想視点画像生成部13は、データ記録装置9に記録された3Dモデルデータ及び被写体解析情報Iaをネットワーク50を介して取得し、仮想視点画像を生成する。そして、生成した仮想視点画像を表示部62が表示する。この場合も仮想視点画像生成部13は、操作部61を介した操作入力に基づいて視点Pvや視線方向Dvの設定を行う。また、画像処理装置1の場合と同様に、設定された「視点モード」や「視点設定モード」の別に応じた処理(図11参照)を行う。
このような表示装置7Aは、例えばノート型のパーソナルコンピュータや携帯電話機、タブレット端末等、可搬性を有する情報処理装置として実現することが可能である。
このような表示装置7Aは、例えばノート型のパーソナルコンピュータや携帯電話機、タブレット端末等、可搬性を有する情報処理装置として実現することが可能である。
ここで、画像処理システム100Bにおいて、例えばネットワーク50の通信トラフィックや表示装置7Aの処理負担等を考慮し、表示装置7Aは、必要とされる一部シーンのデータのみをデータ記録装置9から取得して仮想視点画像の生成を行うこともできる。この場合、必要とされるシーンの選択は操作部61を介した操作入力に基づき行うことができる。
また、データ記録装置9における3Dモデルデータ及び被写体解析情報Iaの記録は、各撮像装置2による撮像画像における一部区間の画像部分についてのみ行うようにしてもよい。
なお、画像処理システム100Bにおいて、表示装置7Aが生成した仮想視点画像は所要の記録装置に記録することもできる。
また、上記では、表示装置7Aにおける仮想視点画像生成部13が視点Pvの設定を行うことを前提としたが、例えば外部装置において設定された視点Pvの情報を表示装置7Aが取得し、該取得した視点Pvの情報に基づいて仮想視点画像生成部13が仮想視点画像の生成を行うことも可能である。
この場合、被写体の位置に基づいた視点Pvの設定は、例えば上記の外部装置が少なくとも3Dモデルデータと被写体解析情報Iaに基づいて行う。そして、表示装置7Aにおける仮想視点画像生成部13は、このように設定された視点Pvの情報に基づいて仮想視点画像の生成を行う。なお、この場合も仮想視点画像生成部13としては、被写体の動きに追従して視点Pvが変化される仮想視点画像を生成していることに変わりはない。
この場合、被写体の位置に基づいた視点Pvの設定は、例えば上記の外部装置が少なくとも3Dモデルデータと被写体解析情報Iaに基づいて行う。そして、表示装置7Aにおける仮想視点画像生成部13は、このように設定された視点Pvの情報に基づいて仮想視点画像の生成を行う。なお、この場合も仮想視点画像生成部13としては、被写体の動きに追従して視点Pvが変化される仮想視点画像を生成していることに変わりはない。
[2-7.第七変形例]
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
図31は、本開示に係る技術が適用され得る手術室システム5100の全体構成を概略的に示す図である。図31を参照すると、手術室システム5100は、手術室内に設置される装置群が視聴覚コントローラ(AV Controller)5107及び手術室制御装置5109を介して互いに連携可能に接続されることにより構成される。
手術室には、様々な装置が設置され得る。図31では、一例として、内視鏡下手術のための各種の装置群5101と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ5187と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ5189と、複数の表示装置5103A~5103Dと、レコーダ5105と、患者ベッド5183と、照明5191と、を図示している。
ここで、これらの装置のうち、装置群5101は、後述する内視鏡手術システム5113に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム5113に属する各装置は医療用機器とも呼称される。一方、表示装置5103A~5103D、レコーダ5105、患者ベッド5183及び照明5191は、内視鏡手術システム5113とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム5113に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ5107及び/又は手術室制御装置5109は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
視聴覚コントローラ5107は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム5100が備える装置のうち、装置群5101、シーリングカメラ5187及び術場カメラ5189は、手術中に表示すべき情報(以下、表示情報ともいう)を発信する機能を有する装置(以下、発信元の装置とも呼称する)であり得る。また、表示装置5103A~5103Dは、表示情報が出力される装置(以下、出力先の装置とも呼称する)であり得る。また、レコーダ5105は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ5107は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報(例えば、患者の身体情報や、過去の検査結果、術式についての情報等)等である。
具体的には、視聴覚コントローラ5107には、装置群5101から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ5187から、表示情報として、当該シーリングカメラ5187によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ5189から、表示情報として、当該術場カメラ5189によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム5100に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ5107は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
あるいは、例えば、レコーダ5105には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ5107によって記録されている。視聴覚コントローラ5107は、表示情報として、レコーダ5105から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ5105には、手術に関する各種の情報も事前に記録されていてもよい。
視聴覚コントローラ5107は、出力先の装置である表示装置5103A~5103Dの少なくともいずれかに、取得した表示情報(すなわち、手術中に撮影された画像や、手術に関する各種の情報)を表示させる。図示する例では、表示装置5103Aは手術室の天井から吊り下げられて設置される表示装置であり、表示装置5103Bは手術室の壁面に設置される表示装置であり、表示装置5103Cは手術室内の机上に設置される表示装置であり、表示装置5103Dは表示機能を有するモバイル機器(例えば、タブレットPC(Personal Computer))である。
また、図31では図示を省略しているが、手術室システム5100には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ5107は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
手術室制御装置5109は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置5109は、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191の駆動を制御する。
手術室システム5100には、集中操作パネル5111が設けられており、ユーザは、当該集中操作パネル5111を介して、視聴覚コントローラ5107に対して画像表示についての指示を与えたり、手術室制御装置5109に対して非医療機器の動作についての指示を与えることができる。集中操作パネル5111は、表示装置の表示面上にタッチパネルが設けられて構成される。
図32は、集中操作パネル5111における操作画面の表示例を示す図である。図32では、一例として、手術室システム5100に、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図32を参照すると、操作画面5193には、発信元選択領域5195と、プレビュー領域5197と、コントロール領域5201と、が設けられる。
発信元選択領域5195には、手術室システム5100に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域5195に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域5197には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面のプレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域5195において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、4つの画像が表示される領域の下部には、ステータス表示領域5199が設けられており、当該領域に手術に関するステータス(例えば、手術の経過時間や、患者の身体情報等)が適宜表示され得る。
コントロール領域5201には、発信元の装置に対して操作を行うためのGUI(Graphical User Interface)部品が表示される発信元操作領域5203と、出力先の装置に対して操作を行うためのGUI部品が表示される出力先操作領域5205と、が設けられる。図示する例では、発信元操作領域5203には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作(パン、チルト及びズーム)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域5195において選択されている発信元の装置がレコーダである場合(すなわち、プレビュー領域5197において、レコーダに過去に記録された画像が表示されている場合)には、発信元操作領域5203には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのGUI部品が設けられ得る。
また、出力先操作領域5205には、出力先の装置である表示装置における表示に対する各種の操作(スワップ、フリップ、色調整、コントラスト調整、2D表示と3D表示の切り替え)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、表示装置における表示を操作することができる。
なお、集中操作パネル5111に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル5111を介して、手術室システム5100に備えられる、視聴覚コントローラ5107及び手術室制御装置5109によって制御され得る各装置に対する操作入力が可能であってよい。
図33は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ5187及び術場カメラ5189は、手術室の天井に設けられ、患者ベッド5183上の患者5185の患部に対して処置を行う術者(医者)5181の手元及び手術室全体の様子を撮影可能である。シーリングカメラ5187及び術場カメラ5189には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明5191は、手術室の天井に設けられ、少なくとも術者5181の手元を照射する。照明5191は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム5113、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191は、図31に示すように、視聴覚コントローラ5107及び手術室制御装置5109(図33では図示せず)を介して互いに連携可能に接続されている。手術室内には、集中操作パネル5111が設けられており、上述したように、ユーザは、当該集中操作パネル5111を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術システム5113の構成について詳細に説明する。図示するように、内視鏡手術システム5113は、内視鏡5115と、その他の術具5131と、内視鏡5115を支持する支持アーム装置5141と、内視鏡下手術のための各種の装置が搭載されたカート5151と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5139a~5139dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5139a~5139dから、内視鏡5115の鏡筒5117や、その他の術具5131が患者5185の体腔内に挿入される。図示する例では、その他の術具5131として、気腹チューブ5133、エネルギー処置具5135及び鉗子5137が、患者5185の体腔内に挿入されている。また、エネルギー処置具5135は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5131はあくまで一例であり、術具5131としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡5115によって撮影された患者5185の体腔内の術部の画像が、表示装置5155に表示される。術者5181は、表示装置5155に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5135や鉗子5137を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5133、エネルギー処置具5135及び鉗子5137は、手術中に、術者5181又は助手等によって支持される。
(支持アーム装置)
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
鏡筒5117の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5115には光源装置5157が接続されており、当該光源装置5157によって生成された光が、鏡筒5117の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5185の体腔内の観察対象に向かって照射される。なお、内視鏡5115は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド5119の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5153に送信される。なお、カメラヘッド5119には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5119には撮像素子が複数設けられてもよい。この場合、鏡筒5117の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図31に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図31に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
表示装置5155は、CCU5153からの制御により、当該CCU5153によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5115が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5155としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5155として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5155が設けられてもよい。
光源装置5157は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5115に供給する。
アーム制御装置5159は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5141のアーム部5145の駆動を制御する。
入力装置5161は、内視鏡手術システム5113に対する入力インタフェースである。ユーザは、入力装置5161を介して、内視鏡手術システム5113に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5161を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5161を介して、アーム部5145を駆動させる旨の指示や、内視鏡5115による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5135を駆動させる旨の指示等を入力する。
入力装置5161の種類は限定されず、入力装置5161は各種の公知の入力装置であってよい。入力装置5161としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5171及び/又はレバー等が適用され得る。入力装置5161としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5155の表示面上に設けられてもよい。
あるいは、入力装置5161は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5161は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5161は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5161が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5181)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置5163は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5135の駆動を制御する。気腹装置5165は、内視鏡5115による視野の確保及び術者の作業空間の確保の目的で、患者5185の体腔を膨らめるために、気腹チューブ5133を介して当該体腔内にガスを送り込む。レコーダ5167は、手術に関する各種の情報を記録可能な装置である。プリンタ5169は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム5113において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図33では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a~5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a~5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図33では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a~5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a~5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
関節部5147a~5147cにはアクチュエータが設けられており、関節部5147a~5147cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5159によって制御されることにより、各関節部5147a~5147cの回転角度が制御され、アーム部5145の駆動が制御される。これにより、内視鏡5115の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5159は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5145の駆動を制御することができる。
例えば、術者5181が、入力装置5161(フットスイッチ5171を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5159によってアーム部5145の駆動が適宜制御され、内視鏡5115の位置及び姿勢が制御されてよい。当該制御により、アーム部5145の先端の内視鏡5115を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5145は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5145は、手術室から離れた場所に設置される入力装置5161を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置5159は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5145が移動するように、各関節部5147a~5147cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5145に触れながらアーム部5145を移動させる際に、比較的軽い力で当該アーム部5145を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5115を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5115が支持されていた。これに対して、支持アーム装置5141を用いることにより、人手によらずに内視鏡5115の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5159は必ずしもカート5151に設けられなくてもよい。また、アーム制御装置5159は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5159は、支持アーム装置5141のアーム部5145の各関節部5147a~5147cにそれぞれ設けられてもよく、複数のアーム制御装置5159が互いに協働することにより、アーム部5145の駆動制御が実現されてもよい。
(光源装置)
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置5157は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5119の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置5157は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5157は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図34を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図34は、図33に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
図34を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図34は、図33に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
図34を参照すると、カメラヘッド5119は、その機能として、レンズユニット5121と、撮像部5123と、駆動部5125と、通信部5127と、カメラヘッド制御部5129と、を有する。また、CCU5153は、その機能として、通信部5173と、画像処理部5175と、制御部5177と、を有する。カメラヘッド5119とCCU5153とは、伝送ケーブル5179によって双方向に通信可能に接続されている。
まず、カメラヘッド5119の機能構成について説明する。レンズユニット5121は、鏡筒5117との接続部に設けられる光学系である。鏡筒5117の先端から取り込まれた観察光は、カメラヘッド5119まで導光され、当該レンズユニット5121に入射する。レンズユニット5121は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5121は、撮像部5123の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部5123は撮像素子によって構成され、レンズユニット5121の後段に配置される。レンズユニット5121を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5123によって生成された画像信号は、通信部5127に提供される。
撮像部5123を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5181は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部5123を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5181は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5123が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5121も複数系統設けられる。
また、撮像部5123は、必ずしもカメラヘッド5119に設けられなくてもよい。例えば、撮像部5123は、鏡筒5117の内部に、対物レンズの直後に設けられてもよい。
駆動部5125は、アクチュエータによって構成され、カメラヘッド制御部5129からの制御により、レンズユニット5121のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5123による撮像画像の倍率及び焦点が適宜調整され得る。
通信部5127は、CCU5153との間で各種の情報を送受信するための通信装置によって構成される。通信部5127は、撮像部5123から得た画像信号をRAWデータとして伝送ケーブル5179を介してCCU5153に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5181が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5127には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5179を介してCCU5153に送信される。
また、通信部5127は、CCU5153から、カメラヘッド5119の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5127は、受信した制御信号をカメラヘッド制御部5129に提供する。なお、CCU5153からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5127には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5129に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5153の制御部5177によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5115に搭載される。
カメラヘッド制御部5129は、通信部5127を介して受信したCCU5153からの制御信号に基づいて、カメラヘッド5119の駆動を制御する。例えば、カメラヘッド制御部5129は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5123の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5129は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5125を介してレンズユニット5121のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5129は、更に、鏡筒5117やカメラヘッド5119を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット5121や撮像部5123等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5119について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5153の機能構成について説明する。通信部5173は、カメラヘッド5119との間で各種の情報を送受信するための通信装置によって構成される。通信部5173は、カメラヘッド5119から、伝送ケーブル5179を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5173には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5173は、電気信号に変換した画像信号を画像処理部5175に提供する。
また、通信部5173は、カメラヘッド5119に対して、カメラヘッド5119の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部5175は、カメラヘッド5119から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5175は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部5175は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5175が複数のGPUによって構成される場合には、画像処理部5175は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部5177は、内視鏡5115による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5177は、カメラヘッド5119の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5177は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5115にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5177は、画像処理部5175による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部5177は、画像処理部5175によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5155に表示させる。この際、制御部5177は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5177は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5135使用時のミスト等を認識することができる。制御部5177は、表示装置5155に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド5119及びCCU5153を接続する伝送ケーブル5179は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル5179を用いて有線で通信が行われていたが、カメラヘッド5119とCCU5153との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5179を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5179によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る手術室システム5100の一例について説明した。なお、ここでは、一例として手術室システム5100が適用される医療用システムが内視鏡手術システム5113である場合について説明したが、手術室システム5100の構成はかかる例に限定されない。例えば、手術室システム5100は、内視鏡手術システム5113に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
本開示に係る技術は、以上説明した構成のうち、術場カメラ5189やシーリングカメラ5187等の撮像装置による撮像画像に基づいて仮想視点画像を生成する場合に好適に適用され得る。具体的には、例えば術場カメラ5189やシーリングカメラ5187等の撮像装置を複数設け、それら複数の撮像装置による撮像画像に基づいて被写体を三次元空間上で表した三次元情報を取得し、該三次元情報に基づき、三次元空間上の視点からの観察画像を仮想視点画像として生成することが可能である。
例えば、術場カメラ5189を用いて仮想視点画像を生成する場合、被写体は術者(執刀医、助手、看護師等)、患者、術器具等が対象となる。シーリングカメラ5187を用いて仮想視点画像を生成する場合、被写体は術器具や患者の臓器等が対象となり得る。
例えば、術場カメラ5189を用いて仮想視点画像を生成する場合、被写体は術者(執刀医、助手、看護師等)、患者、術器具等が対象となる。シーリングカメラ5187を用いて仮想視点画像を生成する場合、被写体は術器具や患者の臓器等が対象となり得る。
[2-8.第八変形例]
本開示に係る技術は、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術は、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図35は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図35に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図35では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図36は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図36には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図35に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図35の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図35に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
<3.実施形態のまとめ>
以上説明してきたように実施形態の画像処理装置(同1又は1’又は表示装置7A)は、撮像された被写体を三次元空間上で表した三次元情報に基づき、三次元空間上の視点からの観察画像を仮想視点画像として生成する仮想視点画像生成部(同13又は13’)を備え、仮想視点画像生成部は、被写体の動きに追従して前記視点を設定している。
以上説明してきたように実施形態の画像処理装置(同1又は1’又は表示装置7A)は、撮像された被写体を三次元空間上で表した三次元情報に基づき、三次元空間上の視点からの観察画像を仮想視点画像として生成する仮想視点画像生成部(同13又は13’)を備え、仮想視点画像生成部は、被写体の動きに追従して前記視点を設定している。
上記のように被写体の動きに追従した視点設定とすることで、視点の設定に係る操作負担を軽減することが可能とされる。例えば、従来では、視点の設定操作は作業者が毎フレーム手動で行うことが一般的とされていたが、これと比較して視点の設定操作負担は大幅に軽減することが可能となる。
従って、仮想視点画像の生成に係る作業負担の軽減を図ることができる。
従って、仮想視点画像の生成に係る作業負担の軽減を図ることができる。
また、実施形態としての画像処理装置(同1又は1’)においては、三次元情報に基づいて被写体の解析情報を取得する被写体解析部(同12)を備え、仮想視点画像生成部は、解析情報に基づき、仮想視点画像の視点設定に用いられる基準位置を設定している。
これにより、基準位置に基づいた多様な視点設定が可能とされると共に、視点の被写体への追従が容易化される。
従って、視点の設定自由度の向上を図りつつ、視点の被写体への追従精度の向上を図ることができる。
従って、視点の設定自由度の向上を図りつつ、視点の被写体への追従精度の向上を図ることができる。
また、実施形態としての画像処理装置(同1又は1’)においては、複数の撮像装置(同2)の撮像画像と撮像画像に対応する撮像条件とを含む撮像情報に基づいて三次元情報を生成する三次元情報生成部(3Dモデル生成部11)を備えている。
このように複数の撮像装置の撮像画像と撮像条件とを含む撮像情報を用いることで、適切な三次元情報が得られるようにする。
適切な三次元情報が得られることで、仮想視点画像の画質向上を図ることができる。
適切な三次元情報が得られることで、仮想視点画像の画質向上を図ることができる。
さらに、実施形態としての画像処理装置においては、被写体として人物が対象とされており、仮想視点画像生成部は、基準位置を人物の身体的中心に設定している。
身体的中心は、例えば人物の両肩間の中心、胴体の上下左右中心、顔中心、或いは足下中心等、人物の身体的な中心を意味する。
例えば、基準位置が人物の両肩中心に設定されることで、例えばバスケットボール競技等、手を使用する競技について特に選手の技能を捉えやすい視点設定が可能とされる。また、基準位置が例えば人物の顔中心に設定されることで、仮想視点画像として選手の顔の表情を映し出す画像や、選手の目から見える状況を刻々と映し出した臨場感の高い画像を得ることが可能とされる。
従って、競技選手等の人物の動きの分析や研究に好適な仮想視点画像を提供することができる。
例えば、基準位置が人物の両肩中心に設定されることで、例えばバスケットボール競技等、手を使用する競技について特に選手の技能を捉えやすい視点設定が可能とされる。また、基準位置が例えば人物の顔中心に設定されることで、仮想視点画像として選手の顔の表情を映し出す画像や、選手の目から見える状況を刻々と映し出した臨場感の高い画像を得ることが可能とされる。
従って、競技選手等の人物の動きの分析や研究に好適な仮想視点画像を提供することができる。
さらに、実施形態としての画像処理装置においては、仮想視点画像生成部は、視点を被写体の位置情報に基づき設定している。
これにより、被写体を捉え易い視点設定が可能とされる。
従って、選手の動きについての分析や研究に好適な仮想視点画像を提供することができる。
従って、選手の動きについての分析や研究に好適な仮想視点画像を提供することができる。
さらにまた、実施形態としての画像処理装置においては、被写体として人物が対象とされており、仮想視点画像生成部は、視点を被写体の属性情報に基づき設定している。
これにより、被写体の属性情報から特定される被写体の位置に基づいて視点を自動設定することが可能とされる。
従って、仮想視点画像の生成に係る作業負担の軽減を図ることができる。
なお、被写体の属性情報は、例えばIDや名前等、被写体の属性に関する情報を意味する。
従って、仮想視点画像の生成に係る作業負担の軽減を図ることができる。
なお、被写体の属性情報は、例えばIDや名前等、被写体の属性に関する情報を意味する。
また、実施形態としての画像処理装置においては、仮想視点画像生成部は、視点を三次元空間上に指定されたエリア情報に基づき設定している。
これにより、三次元空間上の特定エリア内に存在する被写体の位置に基づいて視点を自動設定することが可能とされる。
従って、仮想視点画像の生成に係る作業負担の軽減を図ることができる。
従って、仮想視点画像の生成に係る作業負担の軽減を図ることができる。
さらに、実施形態としての画像処理装置においては、仮想視点画像生成部は、視点を操作入力に基づき設定している。
これにより、視点設定の操作負担軽減を図りながら、使用者の意図を反映した視点設定が可能となる。
従って、視点の設定自由度の向上を図りつつ、仮想視点画像の生成に係る作業負担の軽減を図ることができる。
従って、視点の設定自由度の向上を図りつつ、仮想視点画像の生成に係る作業負担の軽減を図ることができる。
さらにまた、実施形態としての画像処理装置(表示装置7A)においては、仮想視点画像を表示する表示部(同62)を備え、表示部は、視点の設定手法が異なる複数の仮想視点画像を候補視点画像として順送りに表示し、仮想視点画像生成部は、候補視点画像についての選択操作に基づき視点を設定している。
これにより、使用者に対して実際に画像内容を確認させながら好みの視点を選択させることが可能とされる。また、順送り表示であるため比較的大きな候補視点画像の表示ができ、使用者に画像細部まで確認させながらの視点選択を行わせることが可能とされる。
従って、仮想視点画像の生成に係る作業負担の軽減を図る上で、使用者が視点選択を行い易い優れたユーザインタフェースを実現することができる。
従って、仮想視点画像の生成に係る作業負担の軽減を図る上で、使用者が視点選択を行い易い優れたユーザインタフェースを実現することができる。
また、実施形態としての画像処理装置(表示装置7A)においては、仮想視点画像を表示する表示部(同62)を備え、表示部は、視点の設定手法が異なる複数の仮想視点画像を候補視点画像として並べて表示し、仮想視点画像生成部は、候補視点画像についての選択操作に基づき視点を設定している。
これにより、使用者に対して実際に画像内容を確認させながら好みの視点を選択させることが可能とされる。また、候補視点画像を並べて表示するため使用者に複数の候補視点画像を同時比較させながらの視点選択を行わせることが可能とされる。
従って、仮想視点画像の生成に係る作業負担の軽減を図る上で、使用者が視点選択を行い易い優れたユーザインタフェースを実現することができる。
従って、仮想視点画像の生成に係る作業負担の軽減を図る上で、使用者が視点選択を行い易い優れたユーザインタフェースを実現することができる。
さらに、実施形態としての画像処理装置においては、仮想視点画像生成部は、視点として、被写体を観察する視点と被写体から外方を観察する視点との切り替えを可能としている。
これにより、設定可能な視点の多様化が図られる。
従って、選手等の被写体の動きを多角的に捉える仮想視点画像を生成することができ、被写体の動きの分析や研究に好適である。
従って、選手等の被写体の動きを多角的に捉える仮想視点画像を生成することができ、被写体の動きの分析や研究に好適である。
さらにまた、実施形態としての画像処理装置においては、仮想視点画像生成部は、視点を、操作に応じて被写体の周囲を覆う球面に沿って変化させている。
これにより、使用者が操作により設定可能な視点位置の自由度が高まる。
従って、仮想視点画像の生成に係る作業負担の軽減を図りつつ、視点設定位置の自由度向上を図ることができる。
従って、仮想視点画像の生成に係る作業負担の軽減を図りつつ、視点設定位置の自由度向上を図ることができる。
また、実施形態としての画像処理装置(同1’)においては、被写体として人物が対象とされており、仮想視点画像生成部(同13’)は、視点として、被写体から外方を観察する視点である一人称視点を設定すると共に、一人称視点からの視線方向の設定手法を、被写体の向きに係る解析情報の取得状況に基づき選択している(第二、第三変形例を参照)。
これにより、例えば被写体の顔の向きや身体向き等、被写体の向きに係る解析情報の取得状況に応じた適切な視線方向の設定を行うことが可能とされる。
従って、一人称視点の仮想視点画像として、適切な視線方向による画像を提供することができる。
従って、一人称視点の仮想視点画像として、適切な視線方向による画像を提供することができる。
さらに、実施形態としての画像処理装置においては、仮想視点画像生成部は、視線方向の設定手法を、取得状況と被写体の向きの変化速度とに基づき選択している。
これにより、例えば被写体の顔の向きや身体向き等、被写体の向きに係る解析情報が取得されていても、その変化速度が速い場合には該解析情報を用いずに視線方向を設定する等、被写体の向きの変化速度に応じた視線方向の設定を行うことが可能とされる。
従って、仮想視点画像の視線方向が頻繁に変化する画像を見せられることによるユーザの画像酔いの発生防止を図ることができる。
従って、仮想視点画像の視線方向が頻繁に変化する画像を見せられることによるユーザの画像酔いの発生防止を図ることができる。
さらにまた、実施形態としての画像処理装置においては、仮想視点画像生成部は、視線方向を、取得状況と被写体の進行方向とに基づき設定している。
これにより、被写体の向きに係る解析情報が取得できないときは被写体の進行方向(被写体の位置の変化方向)に基づき視線方向を設定することが可能とされる。
例えば競技選手等の人物が進行中(移動中)である場合、該人物は進行方向を向いている可能性が高い。従って、進行方向に基づき視線方向を設定することで、被写体の向きに係る解析情報が得られなくとも、被写体が向いている可能性の高い方向を視線方向とした適切な仮想視点画像を提供することができる。
例えば競技選手等の人物が進行中(移動中)である場合、該人物は進行方向を向いている可能性が高い。従って、進行方向に基づき視線方向を設定することで、被写体の向きに係る解析情報が得られなくとも、被写体が向いている可能性の高い方向を視線方向とした適切な仮想視点画像を提供することができる。
また、実施形態としての画像処理装置(同1’)においては、被写体として人物が対象とされており、仮想視点画像生成部(同13’)は、視点として、被写体から外方を観察する視点である一人称視点を設定し、視点からの視線方向を被写体の向きに係る解析情報に基づき設定し、視線方向と被写体の視線の向きとのずれに応じた情報をユーザに報知するための処理を行う報知処理部(同52)を備えている(第三変形例を参照)。
上記のような視線方向と被写体の視線の向きとのずれに応じた情報の報知が行われることで、ユーザは、仮想視点画像の視線方向を被写体の視線の向きに合わせ易くなる。
従って、ユーザが仮想視点画像の視線方向を被写体の視線の向きに合わせる際の利便性を高めることができる。
また、上述した第三変形例では、被写体の視線の向きの変化に連動して仮想視点画像の視線方向を(自動的に)変化させるものとはせず、視線方向はユーザの操作(本例では頭部の動き)によって変化させる手法としているので、被写体の視線の向きが目まぐるしく変わる場合に視線方向も連動して目まぐるしく変わるといったことの防止が図られ、画像酔いの防止を図ることができる。
従って、ユーザが仮想視点画像の視線方向を被写体の視線の向きに合わせる際の利便性を高めることができる。
また、上述した第三変形例では、被写体の視線の向きの変化に連動して仮想視点画像の視線方向を(自動的に)変化させるものとはせず、視線方向はユーザの操作(本例では頭部の動き)によって変化させる手法としているので、被写体の視線の向きが目まぐるしく変わる場合に視線方向も連動して目まぐるしく変わるといったことの防止が図られ、画像酔いの防止を図ることができる。
さらに、実施形態としての画像処理装置においては、報知処理部は、仮想視点画像の視線方向を被写体の視線の向きに一致させるための視線合わせ案内情報を仮想視点画像と共に表示させるための処理を行っている。
上記のような視線合わせ案内情報が仮想視点画像と共に表示されることで、ユーザは、仮想視点画像の視線方向を被写体の視線の向きに合わせ易くなる。
従って、ユーザが仮想視点画像の視線方向を被写体の視線の向きに合わせる際の利便性を高めることができる。
従って、ユーザが仮想視点画像の視線方向を被写体の視線の向きに合わせる際の利便性を高めることができる。
さらにまた、実施形態としての画像処理装置においては、報知処理部は、被写体の視線の向きに基づき被写体の視野を推定し、仮想視点画像における被写体の視野との重複部分と非重複部分とについて、両部分を異なる表示態様で表示させる処理を行っている。
仮想視点画像における被写体の視野との重複部分と非重複部分とで表示態様が異なることで、被写体の視線との向き合わせのために視線方向を何れの方向に変化させるべきかをユーザに認識させ易くなる。
従って、ユーザが仮想視点画像の視線方向を被写体の視線の向きに合わせる際の利便性を高めることができる。
従って、ユーザが仮想視点画像の視線方向を被写体の視線の向きに合わせる際の利便性を高めることができる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
<4.その他変形例>
本技術は上記した具体例に限定されるものではなく、多様な変形例が考えられる。
例えば、上記では、被写体解析や視点の設定、仮想視点画像の生成に係る処理がDSPによる画像処理プロセッサにより行われる例としたが、これらの処理のうち少なくとも一部については、CPUやGPUによるソフトウェア処理として実現することもできる。該ソフトウェア処理は、プログラムに基づき実行され、該プログラムは、上記のCPUやGPU等のコンピュータ装置が読み出し可能な記憶装置に記憶される。
本技術は上記した具体例に限定されるものではなく、多様な変形例が考えられる。
例えば、上記では、被写体解析や視点の設定、仮想視点画像の生成に係る処理がDSPによる画像処理プロセッサにより行われる例としたが、これらの処理のうち少なくとも一部については、CPUやGPUによるソフトウェア処理として実現することもできる。該ソフトウェア処理は、プログラムに基づき実行され、該プログラムは、上記のCPUやGPU等のコンピュータ装置が読み出し可能な記憶装置に記憶される。
また、本技術は、競技ボールを用いる競技以外の他の競技が撮像対象とされる場合にも好適に適用でき、さらには、競技以外の他のイベントが撮像対象とされる場合にも好適に適用することができる。
さらに、本技術において、撮像画像としてはR(赤)G(緑)B(青)による撮像画像のみでなく、近赤外光や赤外光、或いは偏光を受光して得られる撮像画像も含み得るものである。
さらに、本技術において、撮像画像としてはR(赤)G(緑)B(青)による撮像画像のみでなく、近赤外光や赤外光、或いは偏光を受光して得られる撮像画像も含み得るものである。
<5.本技術>
なお本技術は以下のような構成も採ることができる。
(1)
撮像された被写体を三次元空間上で表した三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成する仮想視点画像生成部を備え、
前記仮想視点画像生成部は、
前記被写体の動きに追従して前記視点を設定する
画像処理装置。
(2)
前記三次元情報に基づいて前記被写体の解析情報を取得する被写体解析部を備え、
前記仮想視点画像生成部は、前記解析情報に基づき、前記仮想視点画像の視点設定に用いられる基準位置を設定する
前記(1)に記載の画像処理装置。
(3)
複数の撮像装置の撮像画像と前記撮像画像に対応する撮像条件とを含む撮像情報に基づいて前記三次元情報を生成する三次元情報生成部を備える
前記(1)又は(2)に記載の画像処理装置。
(4)
前記被写体として人物が対象とされており、
前記仮想視点画像生成部は、前記基準位置を前記人物の身体的中心に設定する
前記(2)又は(3)に記載の画像処理装置。
(5)
前記仮想視点画像生成部は、前記視点を前記被写体の位置情報に基づき設定する
前記(1)乃至(4)の何れかに記載の画像処理装置。
(6)
前記被写体として人物が対象とされており、
前記仮想視点画像生成部は、前記視点を前記被写体の属性情報に基づき設定する
前記(1)乃至(4)の何れかに記載の画像処理装置。
(7)
前記仮想視点画像生成部は、前記視点を前記三次元空間上に指定されたエリア情報に基づき設定する
前記(1)乃至(4)の何れかに記載の画像処理装置。
(8)
前記仮想視点画像生成部は、前記視点を操作入力に基づき設定する
前記(1)乃至(7)の何れかに記載の画像処理装置。
(9)
前記仮想視点画像を表示する表示部を備え、
前記表示部は、前記視点の設定手法が異なる複数の前記仮想視点画像を候補視点画像として順送りに表示し、
前記仮想視点画像生成部は、前記候補視点画像についての選択操作に基づき前記視点を設定する
前記(8)に記載の画像処理装置。
(10)
前記仮想視点画像を表示する表示部を備え、
前記表示部は、前記視点の設定手法が異なる複数の前記仮想視点画像を候補視点画像として並べて表示し、
前記仮想視点画像生成部は、前記候補視点画像についての選択操作に基づき前記視点を設定する
前記(8)に記載の画像処理装置。
(11)
前記仮想視点画像生成部は、前記視点として、前記被写体を観察する視点と前記被写体から外方を観察する視点との切り替えを可能とする
前記(1)乃至(10)の何れかに記載の画像処理装置。
(12)
前記仮想視点画像生成部は、前記視点を、操作に応じて前記被写体の周囲を覆う球面に沿って設定する
前記(1)乃至(11)の何れかに記載の画像処理装置。
(13)
前記被写体として人物が対象とされており、
前記仮想視点画像生成部は、
前記視点として、前記被写体から外方を観察する視点である一人称視点を設定すると共に、
前記一人称視点からの視線方向の設定手法を、前記被写体の向きに係る解析情報の取得状況に基づき選択する
前記(1)乃至(12)の何れかに記載の画像処理装置。
(14)
前記仮想視点画像生成部は、
前記視線方向の設定手法を、前記取得状況と前記被写体の向きの変化速度とに基づき選択する
前記(13)に記載の画像処理装置。
(15)
前記仮想視点画像生成部は、
前記視線方向を、前記取得状況と前記被写体の進行方向とに基づき設定する
前記(13)又は(14)に記載の画像処理装置。
(16)
前記被写体として人物が対象とされており、
前記仮想視点画像生成部は、
前記視点として、前記被写体から外方を観察する視点である一人称視点を設定し、前記視点からの視線方向を前記被写体の向きに係る解析情報に基づき設定し、
前記視線方向と前記被写体の視線の向きとのずれに応じた情報をユーザに報知するための処理を行う報知処理部を備える
前記(1)乃至(15)の何れかに記載の画像処理装置。
(17)
前記報知処理部は、
前記仮想視点画像の視線方向を前記被写体の視線の向きに一致させるための視線合わせ案内情報を前記仮想視点画像と共に表示させるための処理を行う
前記(16)に記載の画像処理装置。
(18)
前記報知処理部は、
前記被写体の視線の向きに基づき前記被写体の視野を推定し、前記仮想視点画像における前記被写体の視野との重複部分と非重複部分とについて、両部分を異なる表示態様で表示させる処理を行う
前記(16)又は(17)に記載の画像処理装置。
なお本技術は以下のような構成も採ることができる。
(1)
撮像された被写体を三次元空間上で表した三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成する仮想視点画像生成部を備え、
前記仮想視点画像生成部は、
前記被写体の動きに追従して前記視点を設定する
画像処理装置。
(2)
前記三次元情報に基づいて前記被写体の解析情報を取得する被写体解析部を備え、
前記仮想視点画像生成部は、前記解析情報に基づき、前記仮想視点画像の視点設定に用いられる基準位置を設定する
前記(1)に記載の画像処理装置。
(3)
複数の撮像装置の撮像画像と前記撮像画像に対応する撮像条件とを含む撮像情報に基づいて前記三次元情報を生成する三次元情報生成部を備える
前記(1)又は(2)に記載の画像処理装置。
(4)
前記被写体として人物が対象とされており、
前記仮想視点画像生成部は、前記基準位置を前記人物の身体的中心に設定する
前記(2)又は(3)に記載の画像処理装置。
(5)
前記仮想視点画像生成部は、前記視点を前記被写体の位置情報に基づき設定する
前記(1)乃至(4)の何れかに記載の画像処理装置。
(6)
前記被写体として人物が対象とされており、
前記仮想視点画像生成部は、前記視点を前記被写体の属性情報に基づき設定する
前記(1)乃至(4)の何れかに記載の画像処理装置。
(7)
前記仮想視点画像生成部は、前記視点を前記三次元空間上に指定されたエリア情報に基づき設定する
前記(1)乃至(4)の何れかに記載の画像処理装置。
(8)
前記仮想視点画像生成部は、前記視点を操作入力に基づき設定する
前記(1)乃至(7)の何れかに記載の画像処理装置。
(9)
前記仮想視点画像を表示する表示部を備え、
前記表示部は、前記視点の設定手法が異なる複数の前記仮想視点画像を候補視点画像として順送りに表示し、
前記仮想視点画像生成部は、前記候補視点画像についての選択操作に基づき前記視点を設定する
前記(8)に記載の画像処理装置。
(10)
前記仮想視点画像を表示する表示部を備え、
前記表示部は、前記視点の設定手法が異なる複数の前記仮想視点画像を候補視点画像として並べて表示し、
前記仮想視点画像生成部は、前記候補視点画像についての選択操作に基づき前記視点を設定する
前記(8)に記載の画像処理装置。
(11)
前記仮想視点画像生成部は、前記視点として、前記被写体を観察する視点と前記被写体から外方を観察する視点との切り替えを可能とする
前記(1)乃至(10)の何れかに記載の画像処理装置。
(12)
前記仮想視点画像生成部は、前記視点を、操作に応じて前記被写体の周囲を覆う球面に沿って設定する
前記(1)乃至(11)の何れかに記載の画像処理装置。
(13)
前記被写体として人物が対象とされており、
前記仮想視点画像生成部は、
前記視点として、前記被写体から外方を観察する視点である一人称視点を設定すると共に、
前記一人称視点からの視線方向の設定手法を、前記被写体の向きに係る解析情報の取得状況に基づき選択する
前記(1)乃至(12)の何れかに記載の画像処理装置。
(14)
前記仮想視点画像生成部は、
前記視線方向の設定手法を、前記取得状況と前記被写体の向きの変化速度とに基づき選択する
前記(13)に記載の画像処理装置。
(15)
前記仮想視点画像生成部は、
前記視線方向を、前記取得状況と前記被写体の進行方向とに基づき設定する
前記(13)又は(14)に記載の画像処理装置。
(16)
前記被写体として人物が対象とされており、
前記仮想視点画像生成部は、
前記視点として、前記被写体から外方を観察する視点である一人称視点を設定し、前記視点からの視線方向を前記被写体の向きに係る解析情報に基づき設定し、
前記視線方向と前記被写体の視線の向きとのずれに応じた情報をユーザに報知するための処理を行う報知処理部を備える
前記(1)乃至(15)の何れかに記載の画像処理装置。
(17)
前記報知処理部は、
前記仮想視点画像の視線方向を前記被写体の視線の向きに一致させるための視線合わせ案内情報を前記仮想視点画像と共に表示させるための処理を行う
前記(16)に記載の画像処理装置。
(18)
前記報知処理部は、
前記被写体の視線の向きに基づき前記被写体の視野を推定し、前記仮想視点画像における前記被写体の視野との重複部分と非重複部分とについて、両部分を異なる表示態様で表示させる処理を行う
前記(16)又は(17)に記載の画像処理装置。
100、100A、100B 画像処理システム、1,1’ 画像処理装置、11 3Dモデル生成部、11’ 3Dモデル生成装置、12 被写体解析部、12’ 被写体解析装置、13、13’ 仮想視点画像生成部、13a 視点設定処理部、13b レンダリング処理部、2 撮像装置、6 入力装置、61 操作部、61a タッチパネル、62 表示部、7、7A 表示装置、50 ネットワーク、51 HMD(ヘッドマウントディスプレイ)、52 報知処理部、Pv 視点、Dv 視線方向、Pr 基準位置、Drv 視線の向き、H1 方向指示情報、H2 目標方向情報、Ai 重複部分、Ao 非重複部分
Claims (20)
- 撮像された被写体を三次元空間上で表した三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成する仮想視点画像生成部を備え、
前記仮想視点画像生成部は、
前記被写体の動きに追従して前記視点を設定する
画像処理装置。 - 前記三次元情報に基づいて前記被写体の解析情報を取得する被写体解析部を備え、
前記仮想視点画像生成部は、前記解析情報に基づき、前記仮想視点画像の視点設定に用いられる基準位置を設定する
請求項1に記載の画像処理装置。 - 複数の撮像装置の撮像画像と前記撮像画像に対応する撮像条件とを含む撮像情報に基づいて前記三次元情報を生成する三次元情報生成部を備える
請求項1に記載の画像処理装置。 - 前記被写体として人物が対象とされており、
前記仮想視点画像生成部は、前記基準位置を前記人物の身体的中心に設定する
請求項2に記載の画像処理装置。 - 前記仮想視点画像生成部は、前記視点を前記被写体の位置情報に基づき設定する
請求項1に記載の画像処理装置。 - 前記被写体として人物が対象とされており、
前記仮想視点画像生成部は、前記視点を前記被写体の属性情報に基づき設定する
請求項1に記載の画像処理装置。 - 前記仮想視点画像生成部は、前記視点を前記三次元空間上に指定されたエリア情報に基づき設定する
請求項1に記載の画像処理装置。 - 前記仮想視点画像生成部は、前記視点を操作入力に基づき設定する
請求項1に記載の画像処理装置。 - 前記仮想視点画像を表示する表示部を備え、
前記表示部は、前記視点の設定手法が異なる複数の前記仮想視点画像を候補視点画像として順送りに表示し、
前記仮想視点画像生成部は、前記候補視点画像についての選択操作に基づき前記視点を設定する
請求項8に記載の画像処理装置。 - 前記仮想視点画像を表示する表示部を備え、
前記表示部は、前記視点の設定手法が異なる複数の前記仮想視点画像を候補視点画像として並べて表示し、
前記仮想視点画像生成部は、前記候補視点画像についての選択操作に基づき前記視点を設定する
請求項8に記載の画像処理装置。 - 前記仮想視点画像生成部は、前記視点として、前記被写体を観察する視点と前記被写体から外方を観察する視点との切り替えを可能とする
請求項1に記載の画像処理装置。 - 前記仮想視点画像生成部は、前記視点を、操作に応じて前記被写体の周囲を覆う球面に沿って設定する
請求項1に記載の画像処理装置。 - 前記被写体として人物が対象とされており、
前記仮想視点画像生成部は、
前記視点として、前記被写体から外方を観察する視点である一人称視点を設定すると共に、
前記一人称視点からの視線方向の設定手法を、前記被写体の向きに係る解析情報の取得状況に基づき選択する
請求項1に記載の画像処理装置。 - 前記仮想視点画像生成部は、
前記視線方向の設定手法を、前記取得状況と前記被写体の向きの変化速度とに基づき選択する
請求項13に記載の画像処理装置。 - 前記仮想視点画像生成部は、
前記視線方向を、前記取得状況と前記被写体の進行方向とに基づき設定する
請求項13に記載の画像処理装置。 - 前記被写体として人物が対象とされており、
前記仮想視点画像生成部は、
前記視点として、前記被写体から外方を観察する視点である一人称視点を設定し、前記視点からの視線方向を前記被写体の向きに係る解析情報に基づき設定し、
前記視線方向と前記被写体の視線の向きとのずれに応じた情報をユーザに報知するための処理を行う報知処理部を備える
請求項1に記載の画像処理装置。 - 前記報知処理部は、
前記仮想視点画像の視線方向を前記被写体の視線の向きに一致させるための視線合わせ案内情報を前記仮想視点画像と共に表示させるための処理を行う
請求項16に記載の画像処理装置。 - 前記報知処理部は、
前記被写体の視線の向きに基づき前記被写体の視野を推定し、前記仮想視点画像における前記被写体の視野との重複部分と非重複部分とについて、両部分を異なる表示態様で表示させる処理を行う
請求項16に記載の画像処理装置。 - 撮像された被写体を三次元空間上で表した三次元情報を取得し、
前記三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成し、
前記仮想視点画像を生成するときに前記被写体の動きに追従して前記視点を設定する
画像処理装置の画像処理方法。 - 撮像された被写体を三次元空間上で表した三次元情報を取得し、
前記三次元情報に基づき、前記三次元空間上の視点からの観察画像を仮想視点画像として生成し、
前記仮想視点画像を生成するときに前記被写体の動きに追従して前記視点を設定する
ことをコンピュータ装置に実行させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/628,892 US11727642B2 (en) | 2017-07-14 | 2018-05-25 | Image processing apparatus, image processing method for image processing apparatus, and program |
CN201880045529.1A CN110892455A (zh) | 2017-07-14 | 2018-05-25 | 图像处理装置、用于图像处理装置的图像处理方法和程序 |
JP2019528962A JP7322703B2 (ja) | 2017-07-14 | 2018-05-25 | 画像処理装置、画像処理装置の画像処理方法、プログラム |
EP18831999.0A EP3654294A4 (en) | 2017-07-14 | 2018-05-25 | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD FOR IMAGE PROCESSING DEVICE, AND PROGRAM |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017138039 | 2017-07-14 | ||
JP2017-138039 | 2017-07-14 | ||
JP2018-079061 | 2018-04-17 | ||
JP2018079061 | 2018-04-17 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019012817A1 true WO2019012817A1 (ja) | 2019-01-17 |
Family
ID=65002380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/020129 WO2019012817A1 (ja) | 2017-07-14 | 2018-05-25 | 画像処理装置、画像処理装置の画像処理方法、プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11727642B2 (ja) |
EP (1) | EP3654294A4 (ja) |
JP (1) | JP7322703B2 (ja) |
CN (1) | CN110892455A (ja) |
WO (1) | WO2019012817A1 (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102161306B1 (ko) * | 2019-09-17 | 2020-10-05 | 주식회사 영국전자 | 이동형 ptz카메라의 영상에서의 팬 각도 보정방법 |
EP3734415A1 (en) * | 2019-04-30 | 2020-11-04 | XRSpace CO., LTD. | Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium |
WO2021020200A1 (ja) * | 2019-07-26 | 2021-02-04 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2021015440A (ja) * | 2019-07-11 | 2021-02-12 | キヤノン株式会社 | 情報処理装置、設定方法、及びプログラム |
JP2021022135A (ja) * | 2019-07-26 | 2021-02-18 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10978019B2 (en) | 2019-04-15 | 2021-04-13 | XRSpace CO., LTD. | Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium |
JP2021071794A (ja) * | 2019-10-29 | 2021-05-06 | キヤノン株式会社 | 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム |
JP2021082954A (ja) * | 2019-11-19 | 2021-05-27 | 日本放送協会 | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム |
JPWO2021152758A1 (ja) * | 2020-01-30 | 2021-08-05 | ||
CN113348487A (zh) * | 2019-01-29 | 2021-09-03 | 埃韦视觉有限公司 | 眼睛跟踪设备及其方法 |
WO2021220891A1 (ja) * | 2020-04-27 | 2021-11-04 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US20210369351A1 (en) * | 2017-11-01 | 2021-12-02 | Sony Corporation | Surgical arm system and surgical arm control system |
US11214386B2 (en) * | 2018-08-02 | 2022-01-04 | Hapsmobile Inc. | System, control device and light aircraft |
JP7011364B1 (ja) | 2021-10-15 | 2022-01-26 | シンメトリー・ディメンションズ・インク | 体験装置、体験システム、及び、表示方法 |
WO2023026519A1 (ja) * | 2021-08-27 | 2023-03-02 | ソニーグループ株式会社 | 情報処理装置、情報処理端末、情報処理方法、および記憶媒体 |
JP7525990B2 (ja) | 2019-10-29 | 2024-07-31 | キヤノン株式会社 | 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10600245B1 (en) * | 2014-05-28 | 2020-03-24 | Lucasfilm Entertainment Company Ltd. | Navigating a virtual environment of a media content item |
JP7218105B2 (ja) * | 2018-06-20 | 2023-02-06 | キヤノン株式会社 | ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム |
JP7233867B2 (ja) * | 2018-07-20 | 2023-03-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7267753B2 (ja) * | 2019-01-21 | 2023-05-02 | キヤノン株式会社 | 制御装置、制御方法、及びプログラム |
JP2020126208A (ja) * | 2019-02-06 | 2020-08-20 | オリンパス株式会社 | 3次元画像表示方法、3次元画像表示装置、およびプログラム |
JP7353782B2 (ja) * | 2019-04-09 | 2023-10-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
EP3901919A4 (en) * | 2019-04-17 | 2022-06-08 | Rakuten Group, Inc. | DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD, PROGRAM, AND COMPUTER READABLE NON-TRANSITORY INFORMATION RECORDING MEDIA |
GB2584276B (en) * | 2019-05-22 | 2023-06-07 | Sony Interactive Entertainment Inc | Capture of a three-dimensional representation of a scene |
CN110798673B (zh) * | 2019-11-13 | 2021-03-19 | 南京大学 | 基于深度卷积神经网络的自由视点视频生成及交互方法 |
JP7517410B2 (ja) * | 2020-03-30 | 2024-07-17 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、および、3dモデルデータ生成方法 |
EP3902244B1 (en) * | 2020-04-23 | 2022-03-23 | Axis AB | Controlling a pan-tilt-zoom camera |
US11463555B2 (en) * | 2020-08-04 | 2022-10-04 | Nxp B.V. | Local interconnect network (LIN) messaging between LIN partitions separated by a backbone communication network |
JP2022073651A (ja) * | 2020-11-02 | 2022-05-17 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2022077380A (ja) * | 2020-11-11 | 2022-05-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2022090786A (ja) * | 2020-12-08 | 2022-06-20 | キヤノン株式会社 | 情報処理装置、画像生成装置、画像処理システム、情報処理方法、画像生成方法及びプログラム |
US20220189103A1 (en) * | 2020-12-15 | 2022-06-16 | Canon Kabushiki Kaisha | Generation apparatus, generation method, and storage medium |
CN112833816A (zh) * | 2020-12-31 | 2021-05-25 | 武汉中观自动化科技有限公司 | 一种标志点定位与智能反向定位混合的定位方法和*** |
JP7228614B2 (ja) * | 2021-03-24 | 2023-02-24 | 本田技研工業株式会社 | 画像表示システム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016077346A (ja) | 2014-10-10 | 2016-05-16 | セイコーエプソン株式会社 | 運動支援システム、運動支援方法、及び運動支援プログラム |
JP2017012397A (ja) * | 2015-06-30 | 2017-01-19 | 株式会社セガゲームス | プログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5729471A (en) * | 1995-03-31 | 1998-03-17 | The Regents Of The University Of California | Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene |
US6124862A (en) * | 1997-06-13 | 2000-09-26 | Anivision, Inc. | Method and apparatus for generating virtual views of sporting events |
JP2001269482A (ja) * | 2000-03-24 | 2001-10-02 | Konami Computer Entertainment Japan Inc | ゲームシステム、ゲーム用プログラムを記録したコンピュータ読み取り可能な記録媒体及び画像表示方法 |
US20040219980A1 (en) * | 2003-04-30 | 2004-11-04 | Nintendo Co., Ltd. | Method and apparatus for dynamically controlling camera parameters based on game play events |
JP4180065B2 (ja) * | 2005-05-13 | 2008-11-12 | 株式会社スクウェア・エニックス | 画像生成方法、画像生成装置、および画像生成プログラム |
EP2383696A1 (en) * | 2010-04-30 | 2011-11-02 | LiberoVision AG | Method for estimating a pose of an articulated object model |
EP2413286A1 (en) * | 2010-07-29 | 2012-02-01 | LiberoVision AG | Image processing method and device for instant replay |
JP5839220B2 (ja) * | 2011-07-28 | 2016-01-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2015026172A (ja) * | 2013-07-25 | 2015-02-05 | 株式会社スクウェア・エニックス | 画像処理プログラムおよび画像処理装置 |
WO2015011741A1 (ja) * | 2013-07-25 | 2015-01-29 | 株式会社スクウェア・エニックス・ホールディングス | 画像処理プログラム、サーバ装置、画像処理システムおよび画像処理方法 |
JP2015187797A (ja) | 2014-03-27 | 2015-10-29 | シャープ株式会社 | 画像データ生成装置および画像データ再生装置 |
AU2017204099A1 (en) * | 2017-06-16 | 2019-01-17 | Canon Kabushiki Kaisha | System and method of configuring a virtual camera |
-
2018
- 2018-05-25 CN CN201880045529.1A patent/CN110892455A/zh active Pending
- 2018-05-25 JP JP2019528962A patent/JP7322703B2/ja active Active
- 2018-05-25 EP EP18831999.0A patent/EP3654294A4/en active Pending
- 2018-05-25 US US16/628,892 patent/US11727642B2/en active Active
- 2018-05-25 WO PCT/JP2018/020129 patent/WO2019012817A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016077346A (ja) | 2014-10-10 | 2016-05-16 | セイコーエプソン株式会社 | 運動支援システム、運動支援方法、及び運動支援プログラム |
JP2017012397A (ja) * | 2015-06-30 | 2017-01-19 | 株式会社セガゲームス | プログラム |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11612306B2 (en) * | 2017-11-01 | 2023-03-28 | Sony Corporation | Surgical arm system and surgical arm control system |
US20210369351A1 (en) * | 2017-11-01 | 2021-12-02 | Sony Corporation | Surgical arm system and surgical arm control system |
US11214386B2 (en) * | 2018-08-02 | 2022-01-04 | Hapsmobile Inc. | System, control device and light aircraft |
CN113348487A (zh) * | 2019-01-29 | 2021-09-03 | 埃韦视觉有限公司 | 眼睛跟踪设备及其方法 |
US10978019B2 (en) | 2019-04-15 | 2021-04-13 | XRSpace CO., LTD. | Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium |
EP3734415A1 (en) * | 2019-04-30 | 2020-11-04 | XRSpace CO., LTD. | Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium |
JP2021015440A (ja) * | 2019-07-11 | 2021-02-12 | キヤノン株式会社 | 情報処理装置、設定方法、及びプログラム |
JP7455524B2 (ja) | 2019-07-11 | 2024-03-26 | キヤノン株式会社 | 情報処理装置、設定方法、及びプログラム |
JP2021022135A (ja) * | 2019-07-26 | 2021-02-18 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JPWO2021020200A1 (ja) * | 2019-07-26 | 2021-02-04 | ||
JP7418101B2 (ja) | 2019-07-26 | 2024-01-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7291224B2 (ja) | 2019-07-26 | 2023-06-14 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2021020200A1 (ja) * | 2019-07-26 | 2021-02-04 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR102161306B1 (ko) * | 2019-09-17 | 2020-10-05 | 주식회사 영국전자 | 이동형 ptz카메라의 영상에서의 팬 각도 보정방법 |
JP7525990B2 (ja) | 2019-10-29 | 2024-07-31 | キヤノン株式会社 | 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム |
JP2021071794A (ja) * | 2019-10-29 | 2021-05-06 | キヤノン株式会社 | 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム |
JP7344096B2 (ja) | 2019-11-19 | 2023-09-13 | 日本放送協会 | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム |
JP2021082954A (ja) * | 2019-11-19 | 2021-05-27 | 日本放送協会 | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム |
JP7054287B2 (ja) | 2020-01-30 | 2022-04-13 | Amatelus株式会社 | 映像配信装置、映像配信システム、映像配信方法、及びプログラム |
JP2022075940A (ja) * | 2020-01-30 | 2022-05-18 | Amatelus株式会社 | 映像配信装置、映像配信システム、映像配信方法、及びプログラム |
JP7365076B2 (ja) | 2020-01-30 | 2023-10-19 | Amatelus株式会社 | 映像配信装置、映像配信システム、映像配信方法、及びプログラム |
JPWO2021152758A1 (ja) * | 2020-01-30 | 2021-08-05 | ||
WO2021220891A1 (ja) * | 2020-04-27 | 2021-11-04 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7467612B2 (ja) | 2020-04-27 | 2024-04-15 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2023026519A1 (ja) * | 2021-08-27 | 2023-03-02 | ソニーグループ株式会社 | 情報処理装置、情報処理端末、情報処理方法、および記憶媒体 |
JP2023059553A (ja) * | 2021-10-15 | 2023-04-27 | シンメトリー・ディメンションズ・インク | 体験装置、体験システム、及び、表示方法 |
JP7011364B1 (ja) | 2021-10-15 | 2022-01-26 | シンメトリー・ディメンションズ・インク | 体験装置、体験システム、及び、表示方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200234495A1 (en) | 2020-07-23 |
CN110892455A (zh) | 2020-03-17 |
JP7322703B2 (ja) | 2023-08-08 |
JPWO2019012817A1 (ja) | 2020-05-07 |
EP3654294A1 (en) | 2020-05-20 |
US11727642B2 (en) | 2023-08-15 |
EP3654294A4 (en) | 2020-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7322703B2 (ja) | 画像処理装置、画像処理装置の画像処理方法、プログラム | |
US10834315B2 (en) | Image transfer apparatus and moving image generating system for transferring moving image data | |
JP7248037B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US11119633B2 (en) | Information processing device and method | |
JP2019083501A (ja) | 撮像装置 | |
JP2018007035A (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
JP2018019191A (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
JP2018014630A (ja) | 固体撮像装置および電子機器 | |
JP7306269B2 (ja) | 制御装置と制御方法およびプログラム | |
US20200382823A1 (en) | Display control apparatus, display control method, and video output apparatus | |
WO2018037680A1 (ja) | 撮像装置、撮像システム、及び、信号処理方法 | |
US11482159B2 (en) | Display control device, display control method, and display control program | |
JP7098526B2 (ja) | 電子機器および電子機器のレーン状態制御方法 | |
EP3761636B1 (en) | Signal processing device, signal processing method, and imaging device | |
JP7484892B2 (ja) | 駆動モーター、像ぶれ補正装置及び撮像装置 | |
JP7347499B2 (ja) | 撮像装置、撮像信号処理装置、撮像信号処理方法 | |
WO2019082686A1 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18831999 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019528962 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2018831999 Country of ref document: EP Effective date: 20200214 |