WO2021200185A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents
情報処理装置、情報処理方法、及び、プログラム Download PDFInfo
- Publication number
- WO2021200185A1 WO2021200185A1 PCT/JP2021/010977 JP2021010977W WO2021200185A1 WO 2021200185 A1 WO2021200185 A1 WO 2021200185A1 JP 2021010977 W JP2021010977 W JP 2021010977W WO 2021200185 A1 WO2021200185 A1 WO 2021200185A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- shooting
- angle
- view
- information processing
- target
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
- G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Definitions
- the present technology relates to an information processing device, an information processing method, and a program, and more particularly to an information processing device, an information processing method, and a program that enable an image to be easily photographed at an appropriate angle of view.
- the PTZ (pan, tilt, and zoom) of the secondary camera is controlled so that a subject different from the subject selected by the cameraman in the captured image captured by the main camera is located near the center of the captured image.
- Patent Document 1 has been proposed (see, for example, Patent Document 1).
- This technology was made in view of such a situation, and makes it possible to easily shoot a shooting target with an appropriate angle of view.
- the information processing device on one aspect of the present technology sets a shooting angle of view in which the first shooting device sets a shooting angle of view for shooting the shooting target based on the position of a feature point of the shooting target in a three-dimensional shooting space. It has a part.
- the information processing device sets the shooting angle at which the shooting device shoots the shooting target based on the position of the feature point of the shooting target in the three-dimensional shooting space.
- the program of one aspect of the present technology sets the shooting angle of view at which the shooting device shoots the shooting target based on the position of the feature point of the shooting target in the three-dimensional shooting space.
- the shooting angle of view at which the shooting device shoots the shooting target is set based on the position of the feature point of the shooting target in the three-dimensional shooting space.
- FIG. 1 shows a configuration example of an embodiment of the information processing system 101 to which the present technology is applied.
- the information processing system 101 includes a camera 111-1, a camera 111-2, a microphone 112, a PTZ camera 113, an information processing device 114, and a switcher 115.
- the camera 111-1, the camera 111-2, the microphone 112, the PTZ camera 113, the information processing device 114, and the switcher 115 are connected to each other via a network configured by wire or / and wireless, and are connected to each other to obtain various data. Give and receive.
- the camera 111 when it is not necessary to distinguish the camera 111-1 and the camera 111-2 individually, they are simply referred to as the camera 111.
- Each camera 111 is composed of, for example, a shooting device capable of wide-angle shooting. Each camera 111 shoots a predetermined three-dimensional shooting space at a wide angle from different angles (directions). Each camera 111 transmits the photographed image data (hereinafter referred to as the photographed space image data) corresponding to the photographed image (hereinafter referred to as the photographed space image) obtained by the photographing to the information processing device 114.
- the photographed space image data the photographed image data corresponding to the photographed image obtained by the photographing to the information processing device 114.
- the shooting space is a three-dimensional space in which the information processing system 101 is shot (targeted for shooting), and for example, an event (for example, program production, sports game, etc.) to be shot is performed. It is a space to be called.
- the PTZ and position of each camera 111 are usually fixed.
- FIG. 1 shows an example in which two cameras 111 are provided, the present technology can also be applied to a case where three or more cameras 111 are provided.
- each camera 111 does not necessarily have to be of the same type, but may be of a different type.
- the microphone 112 collects the voice in the shooting space and transmits the voice data corresponding to the collected voice to the information processing device 114.
- FIG. 1 shows an example in which one microphone 112 is provided, the present technology can also be applied to the case where two or more microphones 112 are provided.
- the PTZ camera 113 is composed of, for example, a photographing device capable of remotely controlling PTZ (pan, tilt, and zoom). Under the control of the information processing device 114, the PTZ camera 113 mainly shoots a specific subject (hereinafter, referred to as a shooting target) in the shooting space. The PTZ camera 113 transmits the photographed image data (hereinafter referred to as the photographed image data) corresponding to the photographed image (hereinafter referred to as the photographed image) obtained by the photographing to the information processing apparatus 114.
- the photographed image data hereinafter referred to as the photographed image data
- the position of the PTZ camera 113 is usually fixed.
- FIG. 1 shows an example in which one PTZ camera 113 is provided, the present technology can be applied to the case where two or more PTZ cameras 113 are provided.
- the information processing device 114 is composed of, for example, a computer or the like.
- the information processing device 114 calibrates each camera 111 and the PTZ camera 113. Further, the information processing device 114 recognizes the situation of the shooting space based on the shooting space image data from each camera 111, the audio data from the microphone 112, and the shooting target image data from the PTZ camera 113.
- the situation of the shooting space for example, the state of the subject in the shooting space, the content of the scene in the shooting space (hereinafter referred to as the shooting scene), the content of the sound in the shooting space and the position of the sound source, in the shooting space.
- the status of the event being held is recognized.
- the state of the subject in the shooting space for example, the type, size, shape, position, posture, movement, feature point, etc. of the subject are recognized.
- the information processing device 114 controls the angle of view of the PTZ camera 113 by driving the PTZ of the PTZ camera 113 according to the situation of the shooting space. Further, the information processing device 114 transmits the shooting space image data and the shooting target image data to the switcher 115.
- the switcher 115 selects a necessary shot image from each shooting space image and a shot target image, and transmits the shot image data corresponding to the selected shot image to the subsequent stage.
- FIG. 2 shows a configuration example of the hardware of the information processing device 114.
- the CPU 201 the ROM (Read Only Memory) 202, and the RAM (Random Access Memory) 203 are connected to each other by the bus 204.
- An input / output interface 205 is further connected to the bus 204.
- An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
- the input unit 206 includes, for example, a keyboard, a mouse, a microphone, and the like.
- the output unit 207 includes, for example, a display, a speaker, and the like.
- the storage unit 208 includes, for example, a non-volatile memory such as a hard disk.
- the communication unit 209 communicates with each camera 111, the microphone 112, the PTZ camera 113, and the switcher 115 by a predetermined communication method.
- the drive 210 drives a removable recording medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
- the program executed by the information processing device 114 can be recorded and provided on the removable recording medium 211 as a package media or the like, for example.
- the program recorded on the removable recording medium 211 is installed in the storage unit 208 via the input / output interface 205, for example, by mounting the removable recording medium 211 on the drive 210.
- the program is received by the communication unit 209 via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting, and is installed in the storage unit 208.
- a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting
- the program can be pre-installed in, for example, the ROM 202 or the storage unit 208.
- the CPU 201 loads the program stored in the ROM 202 or the storage unit 208 into the RAM 203 via the input / output interface 205 and the bus 204 and executes the series of processing. Is done.
- the description of the bus 204 and the input / output interface 205 when each part exchanges data via the bus 204 and the input / output interface 205 will be omitted.
- the description of the bus 204 and the input / output interface 205 is omitted, and it is described that the CPU 201 and the communication unit 209 simply communicate with each other. ..
- FIG. 3 shows a configuration example of the information processing unit 251 which is a function realized by the CPU 201 executing a program.
- the information processing unit 251 includes a calibration unit 261 and an imaging control unit 262.
- the calibration unit 261 calibrates each camera 111 and PTZ camera 113.
- the calibration unit 261 obtains the position and orientation of each camera 111 and PTZ camera 113 in the world coordinate system common to each camera 111 and PTZ camera 113.
- the calibration unit 261 obtains a transformation matrix that converts the world coordinate system into a camera coordinate system unique to each camera 111 and PTZ camera 113.
- the camera coordinate system is a coordinate system based on the optical axis of each camera 111 and PTZ camera 113, respectively.
- the calibration unit 261 supplies information regarding the transformation matrix of each camera 111 and the PTZ camera 113 to the photographing control unit 262.
- the shooting control unit 262 controls the angle of view of the PTZ camera 113 by controlling the PTZ of the PTZ camera 113.
- the shooting control unit 262 includes a recognition unit 271, a shooting target setting unit 272, a shooting angle of view setting unit 273, and an angle of view control unit 274.
- the recognition unit 271 recognizes the situation of the shooting space based on the shooting space image data from each camera 111, the audio data from the microphone 112, and the shooting target image data from the PTZ camera 113.
- the recognition unit 271 supplies information regarding the recognized status of the shooting space to the shooting target setting unit 272.
- the shooting target setting unit 272 sets a shooting target from the subjects in the shooting space based on the user's instruction or the situation of the shooting space.
- the shooting target setting unit 272 supplies information on the shooting target to the shooting angle of view setting unit 273.
- the shooting angle of view setting unit 273 sets the angle of view (hereinafter referred to as the shooting angle of view) at which the PTZ camera 113 shoots the shooting space based on the user's instruction or the posture and movement of the shooting target.
- the shooting angle of view setting unit 273 supplies information on the shooting angle of view to the angle of view control unit 274.
- the angle of view control unit 274 controls the angle of view of the PTZ camera 113 by driving the PTZ of the PTZ camera 113.
- This process starts, for example, when shooting in the shooting space starts, and ends when shooting in the shooting space ends.
- the calibration unit 261 calibrates each camera 111 and PTZ camera 113, and it is assumed that the conversion matrix of each camera 111 and PTZ camera 113 is known. That is, it is assumed that the positions and orientations of the cameras 111 and the PTZ camera 113 in the world coordinate system are known.
- step S1 the recognition unit 271 recognizes the situation of the shooting space.
- the recognition unit 271 acquires the shooting space image data from each camera 111, the voice data from the microphone 112, and the shooting target image data from the PTZ camera 113 via the communication unit 209.
- the recognition unit 271 recognizes the situation of the shooting space by performing image recognition on each shot image data and voice recognition on the voice data.
- the recognition unit 271 performs recognition processing of a person in each captured image.
- the recognition unit 271 detects the feature points of the recognized person.
- the type of feature point to be detected and the detection method are arbitrary.
- a characteristic part such as a human joint is set as a feature point detection target.
- FIG. 6 shows an example of feature points to be detected.
- the feature point Pf1L corresponds to the left eye, and the feature point Pf1R corresponds to the right eye.
- the feature point Pf2L corresponds to the left ear and the feature point Pf2R corresponds to the right ear.
- Feature point Pf3 corresponds to the nose.
- Feature point Pf4 corresponds to the neck joint.
- the feature point Pf5L corresponds to the left shoulder joint, and the feature point Pf5R corresponds to the right shoulder joint.
- the feature point Pf6L corresponds to the left elbow joint, and the feature point Pf6R corresponds to the right elbow joint.
- the feature point Pf7L corresponds to the left wrist joint, and the feature point Pf7R corresponds to the right wrist joint.
- the feature point Pf8L corresponds to the left hip joint, and the feature point Pf8R corresponds to the right hip joint.
- the feature point Pf9L corresponds to the left knee joint, and the feature point Pf9R corresponds to the right knee joint.
- the feature point Pf10L corresponds to the left ankle joint, and the feature point Pf10R corresponds to the right ankle joint.
- the recognition unit 271 is based on the recognition result of each person's feature points in each shooting space image, and the position in the three-dimensional shooting space represented by the world coordinate system of each person's feature points (hereinafter, three-dimensional). Detects the position). In addition, the recognition unit 271 estimates the posture and movement of each person based on the three-dimensional position of each person's feature point and its change. Further, the recognition unit 271 recognizes each person's facial expression.
- the recognition unit 271 performs recognition processing for objects other than humans in each captured image, if necessary. For example, the recognition unit 271 recognizes the type, size, shape, position, posture, movement, and the like of each object.
- the recognition unit 271 recognizes the content of the voice in the shooting space, the position of the sound source, and the like based on the voice data.
- the recognition unit 271 recognizes the content of the shooting scene by using a technique such as scene recognition.
- the recognition unit 271 recognizes the state of the event taking place in the shooting space based on, for example, the state of the subject, the content of the shooting scene, the content of the sound in the shooting space, the position of the sound source, and the like. ..
- the recognition unit 271 supplies information regarding the status of the recognized shooting space to the shooting target setting unit 272.
- step S2 the shooting target setting unit 272 sets the shooting target.
- the shooting target setting unit 272 sets a subject selected by the user as a shooting target.
- the user specifies a desired subject from the subjects in the shooting space image displayed on the display included in the output unit 207 via the input unit 206.
- the shooting target setting unit 272 sets the subject specified by the user as the shooting target.
- the shooting target setting unit 272 automatically sets the shooting target regardless of the user's selection.
- the shooting target setting unit 272 sets a main subject (for example, a main person) presumed to be the most main subject as a shooting target based on the characteristics of a person recognized in the shooting space.
- the shooting target setting unit 272 estimates that a person having a characteristic posture or movement is the main person, and sets the shooting target. For example, the shooting target setting unit 272 sets a person raising his / her hand, a person standing up, or the like as a shooting target.
- the shooting target setting unit 272 estimates a main person based on features other than posture and movement, and sets it as a shooting target.
- the shooting target setting unit 272 is a person who is speaking, a person who is talking about a conversation, a person whose emotions are exposed (for example, a person who is laughing, a person who is crying, a person who is angry). ) Etc. are set as shooting targets.
- the shooting target setting unit 272 sets a person who is presumed to be the main person in the recognized shooting scene as the shooting target.
- the shooting target setting unit 272 sets a person who is presumed to be the main person in the sport as the shooting target.
- the shooting target in the case of ball games, the person holding the ball is set as the shooting target.
- the shooting target in the case of a time trial such as a marathon or swimming, the top athlete is set as the shooting target.
- the shooting target setting unit 272 targets a vocalist, a person playing a solo musical instrument (for example, a guitarist playing a guitar solo), or the like as a shooting target. Set.
- the shooting target setting unit 272 supplies information regarding the set shooting target to the shooting angle of view setting unit 273.
- step S3 the shooting angle of view setting unit 273 sets the shooting angle of view.
- the shooting angle of view setting unit 273 sets the shooting angle of view based on the user input. For example, the user inputs a desired shooting angle of view via the input unit 206 while looking at the shooting space image or the shooting target image displayed on the display included in the output unit 207. On the other hand, the shooting angle of view setting unit 273 sets the shooting angle of view of the PTZ camera 113 based on the user input.
- the shooting angle of view setting unit 273 automatically sets the shooting angle of view regardless of the user setting.
- the shooting angle of view setting unit 273 selects a composition for shooting the shooting target based on the state of the shooting target.
- FIG. 8 shows an example of the types of composition. Here, five types of composition examples of composition C1 to composition C5 are shown.
- Composition C1 is a composition called up shot (US), in which the human face is fully up.
- Composition C2 is a composition called a bust shot (BS), which includes a part above the vicinity of a person's chest.
- BS bust shot
- Composition C3 is a composition called a waist shot (WS), which includes a portion above the vicinity of a person's waist.
- WS waist shot
- Composition C4 is a composition called knee shot (KS), which includes a portion above the vicinity of a person's knee.
- KS knee shot
- Composition C5 is a composition called a full figure (FF), which includes the whole body of a person.
- the shooting angle of view setting unit 273 selects a composition for shooting a shooting target from the compositions shown in FIG. 8 according to the conditions shown in FIG. That is, the shooting angle of view setting unit 273 selects the composition based on the range in which the shooting target is visible (shootable range), the posture, and the movement. By selecting the composition, the range of the shooting target included in the shooting angle of view is set.
- the range in which the shooting target is visible is, for example, the range of the shooting target that can be seen from the PTZ camera 113 and can be shot by the PTZ camera 113 based on the shooting space image.
- the knee shot is selected.
- the person 311 does not move much while standing, it is not necessary to look at the feet of the person 311 so much that the composition C11 including the part above the knee of the person 311 Be selected.
- the full figure is selected.
- the composition C12 including the whole body of the person 312 is selected so that the movement of the whole body of the person 312 can be clearly seen.
- the bust shot is selected.
- the case where the shooting target is sitting is also included.
- the composition C13 including the part above the chest of the person 313 is selected so that the facial expression of the person 313 can be seen as well as possible. Will be done.
- the waist shot is selected.
- the waist shot is selected.
- the movement of the upper body of the person 314 can be clearly seen above the waist of the person 314.
- Composition C14 including the portion is selected.
- the shooting angle of view setting unit 273 selects an up shot so that the facial expression of the shooting target can be clearly seen regardless of the above-mentioned conditions, for example, when the facial expression of the shooting target is rich.
- the composition C21 with the face of the person 321 up is selected.
- the composition C22 with the face of the person 322 up is selected.
- the composition C23 with the face of the person 323 up is selected.
- the shooting angle of view setting unit 273 sets the shooting angle of view based on the selected composition.
- a in FIG. 12 shows an example of a shooting angle of view A1 when a waist shot is selected for composition.
- the shooting angle of view setting unit 273 sets, for example, the center Ca1 of the shooting angle of view A1 at the position of the feature point Pf4 (neck) of the shooting target. Further, the shooting angle of view setting unit 273 sets the height Ha1 of the shooting angle of view A1 to twice the height between the feature point Pf4 (neck) and the feature point Pf7L or the feature point Pf7R (left or right butt). Set to.
- the shooting angle of view setting unit 273 sets, for example, the center Ca2 of the shooting angle of view A2 at a position between the feature point Pf3 (nose) and the feature point Pf4 (neck) of the shooting target. Further, the shooting angle of view setting unit 273 sets the height Ha2 of the shooting angle of view A2 to the same height as the height between the feature point Pf4 (neck) and the feature point Pf7L or the feature point Pf7R (left or right butt). Set to.
- the shooting angle of view setting unit 273 corrects the shooting angle of view as necessary.
- the shooting angle of view setting unit 273 corrects the shooting angle of view based on the object related to the shooting target.
- the object related to the object to be photographed is, for example, an object possessed by the object to be photographed, an object attached to the object to be photographed, an object to be noticed by the object to be photographed, or the like.
- the shooting angle of view A11 is widened so that the entire flip 332 can be inserted.
- the tip of the bat 342 has come out of the shooting angle of view A12.
- the shooting angle of view A12 is widened so that the entire bat 342 can be inserted.
- the tip of the guitar 352 has come out of the shooting angle of view A13.
- the shooting angle of view A13 is widened so that the entire guitar 352 can be accommodated.
- the cooking utensil 362 and the cooking utensil 363 went out of the shooting angle of view A14. ing.
- the photographing angle of view A14 is widened so that the cooking utensil 362 and the cooking utensil 363 can be inserted.
- the shooting angle of view setting unit 273 corrects the shooting angle of view by adjusting the position of the shooting target within the shooting angle of view based on the orientation of the shooting target, for example, according to the conditions shown in FIG.
- the shooting angle of view setting unit 273 performs spacing so as to widen the direction in which the shooting target is facing within the shooting angle of view. That is, the shooting angle of view setting unit 273 arranges the shooting target at a position shifted from the center of the shooting angle of view in the direction opposite to the direction in which the shooting target is facing.
- the person 381 is facing the right direction within the shooting angle of view A21.
- the person 381 is arranged at a position shifted to the left from the center of the shooting angle of view A21 so as to widen the right side of the shooting angle of view A21.
- the person 382 is facing the right direction within the shooting angle of view A22.
- the person 382 is arranged at a position shifted to the left from the center of the shooting angle of view A22 so as to widen the right side of the shooting angle of view A22.
- the shooting target is facing the front or not facing a specific direction, the position of the shooting target within the shooting angle of view is not corrected and remains placed in the center of the shooting angle of view.
- the person 383 to be photographed faces the front, the person 383 remains arranged at the center of the shooting angle of view A23.
- the method of determining whether or not the shooting target is facing a specific direction is arbitrary. For example, when at least one of the line of sight, face, or body of the photographing target is continuously facing in one direction for a predetermined time or longer, it is determined that the photographing target is facing a specific direction. On the other hand, in other cases, it is determined that the shooting target is not facing a specific direction.
- the shooting angle of view setting unit 273 supplies information regarding the set shooting angle of view to the angle of view control unit 274.
- step S4 the angle of view control unit 274 calculates the PTZ value. Specifically, the angle of view control unit 274 calculates the PTZ value, which is the control amount of the PTZ camera 113, based on the height and center position of the shooting angle of view set by the shooting angle of view setting unit 273. That is, the angle of view control unit 274 calculates the zoom magnification of the PTZ camera 113, the rotation angle in the pan direction (hereinafter referred to as pan angle), and the rotation angle in the tilt direction (hereinafter referred to as tilt angle).
- pan angle the rotation angle in the pan direction
- tilt angle the rotation angle in the tilt direction
- the height of the image sensor 401 of the PTZ camera 113 will be Hs, and the focal length of the PTZ camera 113 will be Fc.
- the height of the shooting angle of view A31 is defined as Ha
- the distance between the PTZ camera 113 and the shooting target 301 is defined as Da.
- the angle of view control unit 274 calculates the distance Da based on the position of the PTZ camera 113 and the position of the shooting target 301 in the world coordinate system.
- the position of the shooting target 301 is, for example, one of the feature points of the shooting target 301 or a point on the shooting target corresponding to the center of the shooting angle of view (this point is also one of the feature points). Represented by the position in the world coordinate system of.
- the angle of view control unit 274 calculates the focal length Fc by the following equation (1).
- the height Ha of the shooting angle of view A31 has already been set by the above-mentioned processing, and the distance Da has already been calculated by the above-mentioned processing. Further, the height Hs of the image sensor 401 is determined by the specifications.
- the angle of view control unit 274 calculates the zoom magnification Zc of the PTZ camera 113 by the following equation (2).
- Fw is the focal length at the wide end of the PTZ camera 113.
- positions Pt in FIGS. 21 to 23 indicate the positions (hereinafter, referred to as target positions) of the points in the real world corresponding to the center of the shooting angle of view A31 in the three-dimensional shooting space.
- the target position Pt is normally set on the shooting target, but is set on the shooting target, for example, when the shooting target is arranged at a position shifted from the center of the shooting angle of view A31 by spacing. It may not be done.
- the angle of view control unit 274 converts the coordinates of the target position Pt from the world coordinate system to the camera coordinate system of the PTZ camera 113 by using the transformation matrix calculated at the time of calibration of the PTZ camera 113.
- the angle of view control unit 274 calculates the coordinates of the target position in the camera coordinate system (hereinafter referred to as the home coordinate system) in the home position of the PTZ camera 113. Specifically, the image angle control unit 274 rotates the coordinates of the target position using a rotation matrix in the order of tilt angle and pan angle obtained by rotating the PTZ camera 113 from a predetermined home position at the time of calibration. , The coordinates of the target position in the home coordinate system of the PTZ camera 113 are calculated.
- each axis representing the home coordinate system is referred to as an Xc axis, a Yc axis, and a Zc axis.
- the Xc axis coincides with the horizontal direction of the image sensor 401 of the PTZ camera 113 in the home position
- the Yc axis coincides with the vertical direction of the image sensor 401 of the PTZ camera 113 in the home position
- the Zc axis coincides with the PTZ in the home position. It coincides with the optical axis of the camera 113.
- the coordinates of the target position Pt in the home coordinate system will be referred to as (Xt, Yt, Zt).
- the angle of view control unit 274 calculates the pan angle ⁇ p of the PTZ camera 113 by the following equation (3).
- FIG. 22 shows an example of the pan angle ⁇ p when the target position Pt is viewed from the Yc axis direction. That is, FIG. 22 shows the position where the target position Pt is projected onto the Xc-Zc plane and the pan angle ⁇ p.
- the angle of view control unit 274 calculates the tilt angle ⁇ t of the PTZ camera 113 by the following equation (4).
- FIG. 23 shows an example of a tilt angle ⁇ t.
- step S5 the angle of view control unit 274 determines whether or not it is within the PTZ driveable range.
- the angle of view control unit 274 determines that the calculated pan angle ⁇ p, tilt angle ⁇ t, and zoom magnification Zc are all within the settable range of the PTZ camera 113, and processes the PTZ driveable range. Proceeds to step S6.
- step S6 the angle of view control unit 274 controls the PTZ camera 113 so that the shooting angle of view is set. Specifically, the angle of view control unit 274 rotates the PTZ camera 113 from the home position in the pan direction and the tilt direction by the pan angle ⁇ p and the tilt angle ⁇ t. Further, the angle of view control unit 274 drives the zoom of the PTZ camera 113 so as to have a zoom magnification of Zc. As a result, the angle of view of the PTZ camera 113 is adjusted to the shooting angle of view set by the shooting angle of view setting unit 273.
- the angle of view control unit 274 controls the driving speed of the PTZ camera 113 depending on whether or not the image to be photographed taken by the PTZ camera 113 is in use.
- the angle of view control unit 274 takes a picture when a predetermined role is given to the image to be taken, for example, when the image to be taken is output from the switcher 115 as an image for broadcasting or preview. It is determined that the target image is in use. In this case, the angle of view control unit 274 drives the PTZ of the PTZ camera 113 so that the quality of the image to be photographed is maintained.
- the angle of view control unit 274 reduces the driving speed of the PTZ so that the movement blur is within the permissible amount. Further, for example, the angle of view control unit 274 drives the PTZ camera 113 so as to pan and tilt while taking a picture of a person other than the object to be photographed. Further, for example, the angle of view control unit 274 drives the zoom of the PTZ camera 113 after the object to be photographed enters the image frame of the PTZ camera 113.
- the angle of view control unit 274 drives the PTZ of the PTZ camera 113 at high speed so that the angle of view of the PTZ camera 113 becomes the set shooting angle of view at the shortest.
- the PTZ is driven at the maximum speed allowed by the mechanical constraints of the PTZ camera 113.
- step S1 After that, the process returns to step S1, and the processes after step S1 are executed.
- step S5 the angle of view control unit 274 can drive the PTZ when at least one of the calculated pan angle ⁇ p, tilt angle ⁇ t, and zoom magnification Zc is outside the settable range of the PTZ camera 113. It is determined that the range is out of range, and the process returns to step S1. That is, the angle of view of the PTZ camera 113 is not changed. After that, the processes after step S1 are executed.
- the shooting target can be set appropriately, and the shooting target can be easily shot with an appropriate angle of view (composition) and focus.
- the accuracy of the PTZ value is compared with the case where the PTZ value is calculated based on the two-dimensional shot image of the conventional wide-angle camera. Is improved.
- the user does not need to operate the PTZ camera 113 with a remote controller or the like while viewing the captured image of the PTZ camera 113, and the appropriate angle of view is automatically set quickly and easily.
- ⁇ Modification example of the configuration of the information processing system 101> a part or all of the functions of the information processing device 114 (particularly, the functions of the information processing unit 251 of FIG. 3) may be provided in each camera 111, PTZ camera 113, or switcher 115. It is possible.
- each camera 111 and PTZ camera 113 may also perform a process of recognizing the situation of the shooting space. Further, for example, each camera 111 and PTZ camera 113 may be equipped with a device or the like for recognizing the situation of the shooting space.
- the PTZ camera 113 may set the shooting target and the shooting angle of view, and control the angle of view.
- the switcher 115 may have all the functions of the information processing device 114.
- the information processing device 114 may be applied to a server in cloud computing or the like so that the server provides a service for controlling the angle of view of the PTZ camera 113.
- the camera 111 may be configured by one depth camera, and the three-dimensional position of the subject in the shooting space may be detected based on the captured image taken by one depth camera.
- ⁇ Modification example of setting method of shooting target> For example, in the shooting target setting unit 272, when the subject presumed to be the main subject is set as the shooting target of another third shooting device (for example, a camera other than the camera 111 and the PTZ camera 113), or the first shooting target setting unit 272.
- another subject related to the main subject may be set as the photographing target.
- a person who is talking with a main subject for example, a main person
- a person who has taken a reaction to the main subject, and the like are set as shooting targets.
- the presumed main subject which is the most important subject, is set as the shooting target is shown.
- a plurality of main subjects presumed to be the main subject are set as shooting targets. It is also possible to set.
- the object to be photographed is not necessarily limited to humans, but may be an animal body other than humans (for example, animals, vehicles, robots, etc.) or a stationary object (for example, a building, etc.).
- the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
- the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
- the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
- this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
- each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
- one step includes a plurality of processes
- the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
- the present technology can also have the following configurations.
- An information processing device including a shooting angle of view setting unit in which a first shooting device sets a shooting angle of view for shooting the shooting target based on the position of a feature point of the shooting target in a three-dimensional shooting space.
- the shooting angle of view setting unit further sets the shooting angle of view based on the state of the shooting target.
- the state of the shooting target includes at least one of a range in which the shooting target can be shot, a posture of the shooting target, a movement of the shooting target, and a facial expression of the shooting target. Processing equipment.
- the shooting angle of view setting unit is within the shooting angle of view based on at least one of a range in which the shooting target can be shot, a posture of the shooting target, a movement of the shooting target, and a facial expression of the shooting target.
- the information processing apparatus according to (3) above which sets the range of the object to be photographed included in the above.
- the shooting angle of view setting unit arranges the shooting target at a position shifted from the center of the shooting angle of view in the direction opposite to the specific direction (3).
- the information processing apparatus according to (4) (6) The information processing device according to any one of (2) to (5) above, wherein the shooting angle of view setting unit further sets the shooting angle of view based on an object related to the shooting target.
- the information processing device further including a recognition unit that recognizes the state of the image shooting target based on the image captured in the image capture space photographed by the second image pickup device. .. (8) The recognition unit recognizes the state of the subject in the shooting space based on the shot image, and recognizes the state of the subject in the shooting space.
- the information processing device further comprising a shooting target setting unit for setting the shooting target from the subject based on the state of the subject in the shooting space.
- the shooting target setting unit estimates a main subject, which is a main subject, based on the state of the subject, and sets the main subject as the shooting target.
- the recognition unit recognizes the contents of the scene in the shooting space based on the shot image.
- (11) The information processing device according to (9) above, wherein when the main subject is set as a shooting target of the third shooting device, the recognition unit sets another subject related to the main subject as the shooting target. .. (12) Any of the above (1) to (6) including a recognition unit that recognizes the position of the feature point of the shooting target in the shooting space based on the shot images taken from different angles by the plurality of second shooting devices.
- (1) to (12) further include an angle of view control unit that calculates the pan, tilt, and zoom control amounts of the first imaging device based on the positions of the feature points of the imaging target in the imaging space. ) Is described in any of the information processing devices.
- the information processing device according to (13) or (14), wherein the angle of view control unit controls pan, tilt, and zoom of the first photographing device based on the controlled amount.
- the angle of view control unit pans, tilts, and zooms the first photographing device based on whether or not a predetermined role is given to the captured image photographed by the first photographing device.
- the information processing apparatus according to any one of (13) to (15) above, which controls the driving speed of the device.
- Information processing device An information processing method in which a photographing device sets a shooting angle of view for shooting the shooting target based on the position of a feature point of the shooting target in a three-dimensional shooting space.
- 101 Information processing system 111-1, 111-2 camera, 112 microphone, 113 PTZ camera, 114 information processing device, 115 switcher, 201 CPU, 251 information processing unit, 261 calibration unit, 262 shooting control unit, 271 recognition unit , 272 shooting target setting unit, 273 shooting angle of view setting unit, 274 angle of view control unit
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
Abstract
本技術は、撮影対象を容易に適切な画角で撮影することができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 情報処理装置は、3次元の撮影空間における撮影対象の特徴点の位置に基づいて、第1の撮影装置が前記撮影対象を撮影する撮影画角を設定する撮影画角設定部を備える。本技術は、例えば、テレビジョン放送の番組等の撮影を行うシステムに適用できる。
Description
本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、撮影対象を容易に適切な画角で撮影できるようにした情報処理装置、情報処理方法、及び、プログラムに関する。
従来、主カメラにより撮影された撮影画像内においてカメラマンにより選択された被写体と異なる被写体が撮影画像の中央付近に位置するように、従カメラのPTZ(パン、チルト、及び、ズーム)を制御することが提案されている(例えば、特許文献1参照)。
しかしながら、特許文献1に記載の発明では、主カメラの撮影対象である主となる被写体に対する画角はカメラマンが調整する必要がある。
本技術は、このような状況に鑑みてなされたものであり、撮影対象を容易に適切な画角で撮影できるようにするものである。
本技術の一側面の情報処理装置は、3次元の撮影空間における撮影対象の特徴点の位置に基づいて、第1の撮影装置が前記撮影対象を撮影する撮影画角を設定する撮影画角設定部を備える。
本技術の一側面の情報処理方法は、情報処理装置が、3次元の撮影空間における撮影対象の特徴点の位置に基づいて、撮影装置が前記撮影対象を撮影する撮影画角を設定する。
本技術の一側面のプログラムは、3次元の撮影空間における撮影対象の特徴点の位置に基づいて、撮影装置が前記撮影対象を撮影する撮影画角を設定する。
本技術の一側面においては、3次元の撮影空間における撮影対象の特徴点の位置に基づいて、撮影装置が前記撮影対象を撮影する撮影画角が設定される。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序で行う。
1.実施の形態
2.変形例
3.その他
1.実施の形態
2.変形例
3.その他
<<1.実施の形態>>
<情報処理システム101の構成>
図1は、本技術を適用した情報処理システム101の一実施の形態の構成例を示している。
<情報処理システム101の構成>
図1は、本技術を適用した情報処理システム101の一実施の形態の構成例を示している。
情報処理システム101は、カメラ111-1、カメラ111-2、マイクロフォン112、PTZカメラ113、情報処理装置114、及び、スイッチャ115を備える。カメラ111-1、カメラ111-2、マイクロフォン112、PTZカメラ113、情報処理装置114、及び、スイッチャ115は、有線又は/及び無線で構成されたネットワークを介して、互いに接続され、各種のデータの授受を行う。
なお、以下、カメラ111-1及びカメラ111-2を個々に区別する必要がない場合、単にカメラ111と称する。
各カメラ111は、例えば、広角撮影が可能な撮影装置により構成される。各カメラ111は、所定の3次元の撮影空間を、それぞれ異なるアングル(方向)から広角で撮影する。各カメラ111は、撮影により得られた撮影画像(以下、撮影空間画像と称する)に対応する撮影画像データ(以下、撮影空間画像データと称する)を情報処理装置114に送信する。
ここで、撮影空間とは、情報処理システム101の撮影が行われる(撮影対象となる)3次元の空間であり、例えば、撮影対象となるイベント(例えば、番組制作、スポーツの試合等)が行われる空間である。
なお、各カメラ111のPTZ及び位置は、通常は固定されている。
また、図1では、2台のカメラ111を備える例が示されているが、本技術は、3台以上のカメラ111を備える場合にも適用できる。
さらに、各カメラ111は、必ずしも同じ種類である必要はなく、異なる種類であってもよい。
マイクロフォン112は、撮影空間内の音声を収集し、収集した音声に対応する音声データを情報処理装置114に送信する。
なお、図1では、1台のマイクロフォン112を備える例が示されているが、本技術は、2台以上のマイクロフォン112を備える場合にも適用できる。
PTZカメラ113は、例えば、PTZ(パン、チルト、及び、ズーム)を遠隔で制御可能な撮影装置により構成される。PTZカメラ113は、情報処理装置114の制御の下に、撮影空間内の特定の被写体(以下、撮影対象と称する)を中心に撮影を行う。PTZカメラ113は、撮影により得られた撮影画像(以下、撮影対象画像と称する)に対応する撮影画像データ(以下、撮影対象画像データと称する)を情報処理装置114に送信する。
なお、PTZカメラ113の位置は、通常は固定されている。
また、図1では、1台のPTZカメラ113を備える例が示されているが、本技術は、2台以上のPTZカメラ113を備える場合にも適用できる。
情報処理装置114は、例えば、コンピュータ等により構成される。情報処理装置114は、各カメラ111及びPTZカメラ113のキャリブレーションを行う。また、情報処理装置114は、各カメラ111からの撮影空間画像データ、マイクロフォン112からの音声データ、及び、PTZカメラ113からの撮影対象画像データに基づいて、撮影空間の状況を認識する。例えば、撮影空間の状況として、例えば、撮影空間内の被写体の状態、撮影空間内のシーン(以下、撮影シーンと称する)の内容、撮影空間内の音声の内容及び音源の位置、撮影空間内で行われているイベントの状態等が認識される。また、例えば、撮影空間内の被写体の状態として、例えば、被写体の種類、大きさ、形、位置、姿勢、動き、特徴点等が認識される。
情報処理装置114は、撮影空間の状況に応じて、PTZカメラ113のPTZを駆動することにより、PTZカメラ113の画角を制御する。また、情報処理装置114は、撮影空間画像データ及び撮影対象画像データをスイッチャ115に送信する。
スイッチャ115は、各撮影空間画像及び撮影対象画像の中から必要な撮影画像を選択し、選択した撮影画像に対応する撮影画像データを後段に送信する。
<情報処理装置114の構成例>
図2は、情報処理装置114のハードウエアの構成例を示している。
図2は、情報処理装置114のハードウエアの構成例を示している。
情報処理装置114においては、CPU201、ROM(Read Only Memory)202、RAM(Random Access Memory)203が、バス204により相互に接続されている。バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、及び、ドライブ210が接続されている。
入力部206は、例えば、キーボード、マウス、マイクロフォン等を備える。
出力部207は、例えば、ディスプレイ、スピーカ等を備える。
記憶部208は、例えば、ハードディスク等の不揮発性のメモリを備える。
通信部209は、各カメラ111、マイクロフォン112、PTZカメラ113、及び、スイッチャ115と所定の通信方式で通信を行う。
ドライブ210は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体211を駆動する。
なお、情報処理装置114(CPU201)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体211に記録して提供することができる。リムーバブル記録媒体211に記録されているプログラムは、例えば、リムーバブル記録媒体211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールされる。
また、プログラムは、例えば、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して、通信部209で受信され、記憶部208にインストールされる。
さらに、プログラムは、例えば、ROM202や記憶部208に、あらかじめインストールしておくことができる。
そして、情報処理装置114では、例えば、CPU201が、ROM202又は記憶部208に記憶されているプログラムを、入出力インタフェース205及びバス204を介して、RAM203にロードして実行することにより、一連の処理が行われる。
なお、以下、情報処理装置114において、各部がバス204及び入出力インタフェース205を介してデータの授受等を行う場合のバス204及び入出力インタフェース205の記載を省略する。例えば、CPU201と通信部209がバス204及び入出力インタフェース205を介して通信を行う場合、バス204及び入出力インタフェース205の記載を省略して、単にCPU201と通信部209が通信を行うと記載する。
<情報処理部251の構成例>
図3は、CPU201がプログラムを実行することにより実現される機能である情報処理部251の構成例を示している。
図3は、CPU201がプログラムを実行することにより実現される機能である情報処理部251の構成例を示している。
情報処理部251は、キャリブレーション部261、及び、撮影制御部262を備える。
キャリブレーション部261は、各カメラ111及びPTZカメラ113のキャリブレーションを行う。例えば、キャリブレーション部261は、各カメラ111及びPTZカメラ113に共通のワールド座標系における各カメラ111及びPTZカメラ113の位置及び向きを求める。具体的には、キャリブレーション部261は、ワールド座標系を、各カメラ111及びPTZカメラ113にそれぞれ固有のカメラ座標系に変換する変換行列を求める。カメラ座標系は、各カメラ111及びPTZカメラ113の光軸をそれぞれ基準とする座標系である。キャリブレーション部261は、各カメラ111及びPTZカメラ113の変換行列に関する情報を撮影制御部262に供給する。
撮影制御部262は、PTZカメラ113のPTZを制御することにより、PTZカメラ113の画角を制御する。撮影制御部262は、認識部271、撮影対象設定部272、撮影画角設定部273、及び、画角制御部274を備える。
認識部271は、各カメラ111からの撮影空間画像データ、マイクロフォン112からの音声データ、及び、PTZカメラ113からの撮影対象画像データに基づいて、撮影空間の状況を認識する。認識部271は、認識した撮影空間の状況に関する情報を撮影対象設定部272に供給する。
撮影対象設定部272は、ユーザの指示、又は、撮影空間の状況に基づいて、撮影空間内の被写体の中から撮影対象を設定する。撮影対象設定部272は、撮影対象に関する情報を撮影画角設定部273に供給する。
撮影画角設定部273は、ユーザの指示、又は、撮影対象の姿勢や動き等に基づいて、PTZカメラ113が撮影空間を撮影する画角(以下、撮影画角と称する)を設定する。撮影画角設定部273は、撮影画角に関する情報を画角制御部274に供給する。
画角制御部274は、PTZカメラ113のPTZを駆動することにより、PTZカメラ113の画角を制御する。
<画角制御処理>
次に、図4のフローチャートを参照して、情報処理装置114により実行される画角制御処理について説明する。
次に、図4のフローチャートを参照して、情報処理装置114により実行される画角制御処理について説明する。
この処理は、例えば、撮影空間の撮影が開始されたとき開始され、撮影空間の撮影が終了したとき終了する。
また、この処理の前に、キャリブレーション部261により、各カメラ111及びPTZカメラ113のキャリブレーションが行われ、各カメラ111及びPTZカメラ113の変換行列が既知であるものとする。すなわち、各カメラ111及びPTZカメラ113のワールド座標系における位置及び向きが既知であるものとする。
なお、以下、図5に示されるように、撮影空間内に人301乃至人303が存在する場合を、適宜例に挙げながら説明する。
ステップS1において、認識部271は、撮影空間の状況を認識する。
具体的には、認識部271は、通信部209を介して、各カメラ111から撮影空間画像データを取得し、マイクロフォン112から音声データを取得し、PTZカメラ113から撮影対象画像データを取得する。認識部271は、各撮影画像データに対して画像認識を行い、音声データに対して音声認識を行うことにより、撮影空間の状況を認識する。
例えば、認識部271は、各撮影画像内の人の認識処理を行う。また、認識部271は、認識した人の特徴点を検出する。検出対象となる特徴点の種類、及び、検出方法は、任意である。例えば、人の関節等の特徴的な部位が、特徴点の検出対象に設定される。
図6は、検出対象となる特徴点の例を示している。
特徴点Pf1Lは左目に対応し、特徴点Pf1Rは右目に対応する。特徴点Pf2Lは左耳に対応し、特徴点Pf2Rは右耳に対応する。特徴点Pf3は鼻に対応する。特徴点Pf4は首の関節に対応する。特徴点Pf5Lは左肩の関節に対応し、特徴点Pf5Rは右肩の関節に対応する。特徴点Pf6Lは左肘の関節に対応し、特徴点Pf6Rは右肘の関節に対応する。特徴点Pf7Lは左手首の関節に対応し、特徴点Pf7Rは右手首の関節に対応する。特徴点Pf8Lは左尻の関節に対応し、特徴点Pf8Rは右尻の関節に対応する。特徴点Pf9Lは左膝の関節に対応し、特徴点Pf9Rは右膝の関節に対応する。特徴点Pf10Lは左足首の関節に対応し、特徴点Pf10Rは右足首の関節に対応する。
さらに、認識部271は、各撮影空間画像における各人の特徴点の認識結果に基づいて、各人の特徴点のワールド座標系により表される3次元の撮影空間内の位置(以下、3次元位置と称する)を検出する。また、認識部271は、各人の特徴点の3次元位置、及び、その変化に基づいて、各人の姿勢及び動きを推定する。さらに、認識部271は、各人の表情を認識する。
また、認識部271は、必要に応じて、各撮影画像内の人以外の物体の認識処理を行う。例えば、認識部271は、各物体の種類、大きさ、形、位置、姿勢、動き等を認識する。
さらに、認識部271は、音声データに基づいて、撮影空間内の音声の内容、及び、音源の位置等を認識する。
また、認識部271は、シーン認識等の手法を用いて、撮影シーンの内容を認識する。
さらに、認識部271は、例えば、被写体の状態、撮影シーンの内容、撮影空間内の音声の内容、及び、音源の位置等に基づいて、撮影空間内で行われているイベントの状態を認識する。
認識部271は、認識した撮影空間の状況に関する情報を撮影対象設定部272に供給する。
ステップS2において、撮影対象設定部272は、撮影対象を設定する。
例えば、撮影対象設定部272は、ユーザにより選択された被写体を撮影対象に設定する。例えば、ユーザは、入力部206を介して、出力部207が備えるディスプレイに表示されている撮影空間画像内の被写体の中から所望の被写体を指定する。これに対して、撮影対象設定部272は、ユーザにより指定された被写体を撮影対象に設定する。
又は、例えば、撮影対象設定部272は、ユーザの選択によらずに自動的に撮影対象を設定する。例えば、撮影対象設定部272は、撮影空間において認識された人の特徴等に基づいて、最も主要な被写体であると推定される主要被写体(例えば、主要人物)を撮影対象に設定する。
例えば、撮影対象設定部272は、特徴的な姿勢や動きをしている人を主要人物であると推定し、撮影対象に設定する。例えば、撮影対象設定部272は、手を挙げている人、起立している人等を撮影対象に設定する。
例えば、撮影対象設定部272は、姿勢や動き以外の特徴に基づいて、主要人物を推定し、撮影対象に設定する。例えば、撮影対象設定部272は、発言している人、会話の話題に上っている人、感情が表に出ている人(例えば、笑っている人、泣いている人、怒っている人)等を撮影対象に設定する。
例えば、撮影対象設定部272は、認識された撮影シーンにおいて主要人物であると推定される人を撮影対象に設定する。例えば、撮影対象設定部272は、撮影シーンがスポーツ中継である場合、当該スポーツにおいて主要人物であると推定される人を撮影対象に設定する。例えば、球技の場合、ボールを持っている人が撮影対象に設定される。例えば、マラソン、水泳等のタイムトライアルの場合、首位の選手が撮影対象に設定される。また、例えば、撮影対象設定部272は、撮影シーンが音楽の演奏シーンである場合、ボーカリスト、楽器のソロ演奏をしている人(例えば、ギターソロを演奏しているギタリスト)等を、撮影対象に設定する。
撮影対象設定部272は、設定した撮影対象に関する情報を撮影画角設定部273に供給する。
なお、以下、図7に示されるように、撮影空間内の人301乃至人303の中から、人301が撮影対象に設定されたものとする。
ステップS3において、撮影画角設定部273は、撮影画角を設定する。
例えば、撮影画角設定部273は、ユーザ入力に基づいて、撮影画角を設定する。例えば、ユーザは、出力部207が備えるディスプレイに表示されている撮影空間画像又は撮影対象画像を見ながら、入力部206を介して、所望の撮影画角を入力する。これに対して、撮影画角設定部273は、ユーザ入力に基づいて、PTZカメラ113の撮影画角を設定する。
又は、例えば、撮影画角設定部273は、ユーザ設定によらずに自動的に撮影画角を設定する。
例えば、撮影画角設定部273は、撮影対象の状態に基づいて、撮影対象を撮影する構図を選択する。
ここで、図8乃至図11を参照して、構図の選択方法について説明する。
図8は、構図の種類の例を示している。ここでは、構図C1乃至構図C5の5種類の構図の例が示されている。
構図C1は、アップショット(US)と呼ばれる構図で、人の顔を全面にアップした構図である。
構図C2は、バストショット(BS)と呼ばれる構図で、人の胸付近より上の部分を含む構図である。
構図C3は、ウエストショット(WS)と呼ばれる構図であり、人のウエスト付近より上の部分を含む構図である。
構図C4は、ニーショット(KS)と呼ばれる構図であり、人の膝付近より上の部分を含む構図である。
構図C5は、フルフィギュア(FF)と呼ばれる構図であり、人の全身を含む構図である。
例えば、撮影画角設定部273は、図9に示される条件に従って、図8に示される構図の中から、撮影対象を撮影する構図を選択する。すなわち、撮影画角設定部273は、撮影対象が見えている範囲(撮影可能な範囲)、姿勢、及び、動きに基づいて、構図を選択する。構図が選択されることにより、撮影画角内に含まれる撮影対象の範囲が設定される。
ここで、撮影対象が見えている範囲とは、例えば、撮影空間画像に基づいて、PTZカメラ113から見え、PTZカメラ113により撮影可能であると推定される撮影対象の範囲である。
例えば、撮影対象の全身が見えている場合、撮影対象の動きが小さいとき、ニーショットが選択される。例えば、図10のAに示されるように、人311が立った状態であまり動かない場合、人311の足元を見る必要があまりないため、人311の膝付近より上の部分を含む構図C11が選択される。
例えば、撮影対象の全身が見えている場合、撮影対象の動きが大きいとき、フルフィギュアが選択される。例えば、図10のBに示されるように、人312がダンスしている場合、人312の全身の動きがよく見えるように、人312の全身を含む構図C12が選択される。
例えば、撮影対象の下半身が見えていない場合、撮影対象の動きが小さいとき、バストショットが選択される。なお、撮影対象の下半身が見えていない場合には、撮影対象が座っている場合も含む。例えば、図10のCに示されるように、人313が座った状態であまり動かない場合、人313の表情ができるだけよく見えるように、人313の胸付近より上の部分を含む構図C13が選択される。
例えば、撮影対象の下半身が見えていない場合、撮影対象の動きが大きいとき、ウエストショットが選択される。例えば、図10のDに示されるように、人314の下半身が隠れている状態で上半身がよく動いている場合、人314の上半身の動きがよく見えるように、人314のウエスト付近より上の部分を含む構図C14が選択される。
また、撮影画角設定部273は、例えば、撮影対象の表情が豊かである場合、上述した条件に関わらず、撮影対象の表情がよく見えるように、アップショットを選択する。例えば、図11のAに示されるように、人321が笑っている場合、人321の顔をアップにした構図C21が選択される。例えば、図11のBに示されるように、人322が怒っている場合、人322の顔をアップにした構図C22が選択される。例えば、図11のCに示されるように、人323が泣いている場合、人323の顔をアップにした構図C23が選択される。
次に、撮影画角設定部273は、選択した構図に基づいて、撮影画角を設定する。
ここで、図12を参照して、撮影画角の設定方法の例について説明する。
図12のAは、ウエストショットが構図に選択された場合の撮影画角A1の例を示している。この場合、撮影画角設定部273は、例えば、撮影画角A1の中心Ca1を、撮影対象の特徴点Pf4(首)の位置に設定する。また、撮影画角設定部273は、撮影画角A1の高さHa1を、特徴点Pf4(首)と特徴点Pf7L又は特徴点Pf7R(左尻又は右尻)との間の高さの2倍に設定する。
図12のBは、バストショットが構図に選択された場合の撮影画角A2の例を示している。この場合、撮影画角設定部273は、例えば、撮影画角A2の中心Ca2を、撮影対象の特徴点Pf3(鼻)と特徴点Pf4(首)との間の位置に設定する。また、撮影画角設定部273は、撮影画角A2の高さHa2を、特徴点Pf4(首)と特徴点Pf7L又は特徴点Pf7R(左尻又は右尻)との間の高さと同じ高さに設定する。
さらに、撮影画角設定部273は、必要に応じて撮影画角を補正する。
例えば、撮影画角設定部273は、撮影対象と関連する物体に基づいて、撮影画角を補正する。撮影対象と関連する物体とは、例えば、撮影対象が持っている物体、撮影対象に付随している物体、撮影対象が注目している物体等である。
例えば、図13のAの例では、フリップ332を持つ人331に対してバストショットが選択された結果、フリップ332の下部が撮影画角A11の外に出てしまっている。これに対して、図13のBに示されるように、フリップ332全体が入るように撮影画角A11が広げられる。
例えば、図14のAの例では、バット342を持つ人341に対してフルフィギュアが選択された結果、バット342の先端部が撮影画角A12の外に出てしまっている。この場合、図14のBに示されるように、バット342全体が入るように撮影画角A12が広げられる。
例えば、図15のAの例では、ギター352を持つ人351に対してウエストショットが選択された結果、ギター352の先端部が撮影画角A13の外に出てしまっている。この場合、図15のBに示されるように、ギター352全体が入るように撮影画角A13が広げられる。
例えば、図16のAの例では、調理器具362及び調理器具363を持つ人361に対してアップショットが選択された結果、調理器具362及び調理器具363が撮影画角A14の外に出てしまっている。この場合、図16のBに示されるように、調理器具362及び調理器具363が入るように撮影画角A14が広げられる。
また、撮影画角設定部273は、例えば、図17に示される条件に従って、撮影対象の向きに基づいて、撮影画角内の撮影対象の位置を調整することにより、撮影画角を補正する。
例えば、撮影画角設定部273は、撮影対象が正面以外の特定の方向を向いている場合、撮影画角内で撮影対象が向いている方向を広く空けるスペーシングを行う。すなわち、撮影画角設定部273は、撮影画角の中央から撮影対象が向いている方向と逆方向にシフトした位置に撮影対象を配置する。
例えば、図18のAの例では、人381が撮影画角A21内の右方向を向いている。この場合、撮影画角A21の右側を広く空けるように、撮影画角A21の中央から左方向にシフトした位置に人381が配置される。
例えば、図18のBの例では、人382が撮影画角A22内の右方向を向いている。この場合、撮影画角A22の右側を広く空けるように、撮影画角A22の中央から左方向にシフトした位置に人382が配置される。
これにより、撮影対象である人381や人382が注目している方向の情報が、より多く撮影画角に含まれるようになる。
一方、撮影対象が正面を向いている場合、又は、特定の方向を向いていない場合、撮影画角内の撮影対象の位置は補正されず、撮影画角の中央に配置されたままとなる。
例えば、図19の例では、撮影対象である人383が正面を向いているため、人383は、撮影画角A23の中央に配置されたままとなる。
なお、撮影対象が特定の方向を向いているか否かの判定方法は、任意である。例えば、撮影対象の視線、顔、又は、体のうち少なくとも1つが、所定の時間以上連続して一方向を向いていた場合、撮影対象が特定の方向を向いていると判定される。一方、それ以外の場合は、撮影対象が特定の方向を向いていないと判定される。
撮影画角設定部273は、設定した撮影画角に関する情報を画角制御部274に供給する。
ステップS4において、画角制御部274は、PTZ値を計算する。具体的には、画角制御部274は、撮影画角設定部273により設定された撮影画角の高さ及び中心位置に基づいて、PTZカメラ113の制御量であるPTZ値を計算する。すなわち、画角制御部274は、PTZカメラ113のズーム倍率、パン方向の回転角(以下、パン角と称する)、及び、チルト方向の回転角(以下、チルト角と称する)を計算する。
ここで、図20及び図23を参照して、PTZ値の計算方法の例について説明する。
まず、図20を参照して、PTZカメラ113のズーム倍率Zcの計算方法の例について説明する。
以下、PTZカメラ113のイメージセンサ401の高さをHsとし、PTZカメラ113の焦点距離をFcとする。また、以下、撮影画角A31の高さをHaとし、PTZカメラ113と撮影対象301の間の距離をDaとする。
画角制御部274は、ワールド座標系におけるPTZカメラ113の位置、及び、撮影対象301の位置に基づいて、距離Daを計算する。なお、撮影対象301の位置は、例えば、撮影対象301の特徴点のうちの1つ、又は、撮影画角の中心に対応する撮影対象上の点(この点も特徴点の1つである)のワールド座標系における位置により表される。
次に、画角制御部274は、次式(1)により、焦点距離Fcを計算する。
Fc=Da×Hs/Ha ・・・(1)
なお、撮影画角A31の高さHaは、上述した処理により設定済みであり、距離Daは、上述した処理により計算済みである。また、イメージセンサ401の高さHsは、仕様で決まっている。
そして、画角制御部274は、次式(2)により、PTZカメラ113のズーム倍率Zcを計算する。
Zc=Fc/Fw ・・・(2)
なお、Fwは、PTZカメラ113のワイド端での焦点距離である。
次に、図21乃至図23を参照して、PTZカメラ113のパン角θp及びチルト角θtの計算方法の例について説明する。
なお、図21乃至図23の位置Ptは、撮影画角A31の中心に対応する現実世界の点の、3次元の撮影空間における位置(以下、ターゲット位置と称する)を示している。
なお、ターゲット位置Ptは、通常は撮影対象上に設定されるが、例えば、スペーシングにより撮影対象が撮影画角A31の中央からシフトした位置に配置されている場合等において、撮影対象上に設定されない場合もある。
例えば、画角制御部274は、PTZカメラ113のキャリブレーション時に算出された変換行列を用いて、ターゲット位置Ptの座標をワールド座標系からPTZカメラ113のカメラ座標系に変換する。
次に、画角制御部274は、PTZカメラ113のホームポジションにおけるカメラ座標系(以下、ホーム座標系と称する)におけるターゲット位置の座標を算出する。具体的には、画角制御部274は、ターゲット位置の座標を、キャリブレーション時にPTZカメラ113を所定のホームポジションから回転したチルト角、パン角の順で、回転行列を用いて回転させることにより、PTZカメラ113のホーム座標系におけるターゲット位置の座標を算出する。
なお、以下、図21に示されるように、ホーム座標系を表す各軸をXc軸、Yc軸、及び、Zc軸とする。Xc軸は、ホームポジションにおけるPTZカメラ113のイメージセンサ401の水平方向と一致し、Yc軸は、ホームポジションにおけるPTZカメラ113のイメージセンサ401の垂直方向と一致し、Zc軸は、ホームポジションにおけるPTZカメラ113の光軸と一致する。また、以下、ターゲット位置Ptのホーム座標系における座標を(Xt,Yt,Zt)とする。
画角制御部274は、次式(3)により、PTZカメラ113のパン角θpを算出する。
θp=arctan(Xt/Zt) ・・・(3)
図22は、ターゲット位置PtをYc軸方向から見た場合のパン角θpの例を示している。すなわち、図22は、ターゲット位置PtをXc-Zc平面に射影した位置、及び、パン角θpを示している。
次に、画角制御部274は、次式(4)により、PTZカメラ113のチルト角θtを算出する。
θt=arctan(Yt/sqrt(Xt2+Zt2)) ・・・(4)
図23は、チルト角θtの例を示している。
ステップS5において、画角制御部274は、PTZ駆動可能範囲内であるか否かを判定する。画角制御部274は、計算したパン角θp、チルト角θt、及び、ズーム倍率Zcが、全てPTZカメラ113の設定可能な範囲内である場合、PTZ駆動可能範囲内であると判定し、処理はステップS6に進む。
ステップS6において、画角制御部274は、設定した撮影画角になるようにPTZカメラ113を制御する。具体的には、画角制御部274は、PTZカメラ113をホームポジションからパン方向及びチルト方向にパン角θp及びチルト角θtだけ回転させる。また、画角制御部274は、ズーム倍率ZcになるようにPTZカメラ113のズームを駆動する。これにより、PTZカメラ113の画角が、撮影画角設定部273により設定された撮影画角に調整される。
このとき、画角制御部274は、PTZカメラ113により撮影された撮影対象画像を使用中であるか否かにより、PTZカメラ113の駆動速度を制御する。
例えば、画角制御部274は、撮影対象画像に対して所定の役割が付与されている場合、例えば、撮影対象画像が放送用又はプレビュー用等の画像としてスイッチャ115から出力されている場合、撮影対象画像を使用中であると判定する。この場合、画角制御部274は、撮影対象画像の品質が保たれるように、PTZカメラ113のPTZを駆動する。
例えば、画角制御部274は、動きボケが許容量以内になるように、PTZの駆動速度を落とす。また、例えば、画角制御部274は、撮影対象以外の人も写しながらパン及びチルトするように、PTZカメラ113を駆動する。さらに、例えば、画角制御部274は、撮影対象がPTZカメラ113の画枠に入ってから、PTZカメラ113のズームを駆動する。
一方、例えば、画角制御部274は、撮影対象画像に対して所定の役割が付与されていない場合、例えば、撮影対象画像が放送用又はプレビュー用等の画像としてスイッチャ115から出力されていない場合、撮影対象画像を使用中でないと判定する。この場合、画角制御部274は、PTZカメラ113の画角が最短で設定された撮影画角になるように、PTZカメラ113のPTZを高速駆動する。例えば、PTZカメラ113の機械的な制約が許す最大の速度でPTZが駆動される。
その後、処理はステップS1に戻り、ステップS1以降の処理が実行される。
一方、ステップS5において、画角制御部274は、計算したパン角θp、チルト角θt、及び、ズーム倍率Zcのうち少なくとも1つが、PTZカメラ113の設定可能な範囲外である場合、PTZ駆動可能範囲外であると判定し、処理はステップS1に戻る。すなわち、PTZカメラ113の画角は変更されない。その後、ステップS1以降の処理が実行される。
以上のようにして、撮影対象を適切に設定し、容易に適切な画角(構図)及びフォーカスで撮影対象を撮影することができる。
例えば、撮影対象の3次元の撮影空間における位置に基づいてPTZ値を計算するので、従来の広角カメラの2次元の撮影画像に基づいてPTZ値を計算する場合と比較して、PTZ値の精度が向上する。
また、ユーザがPTZカメラ113の撮影画像を見ながらリモコン等によりPTZカメラ113を操作する必要がなく、自動的に迅速かつ容易に適切な画角に設定される。
<<2.変形例>>
以下、上述した本技術の実施の形態の変形例について説明する。
以下、上述した本技術の実施の形態の変形例について説明する。
<情報処理システム101の構成に関する変形例>
例えば、情報処理システム101において、情報処理装置114の機能(特に、図3の情報処理部251の機能)の一部又は全部を、各カメラ111、PTZカメラ113、又は、スイッチャ115に設けることが可能である。
例えば、情報処理システム101において、情報処理装置114の機能(特に、図3の情報処理部251の機能)の一部又は全部を、各カメラ111、PTZカメラ113、又は、スイッチャ115に設けることが可能である。
例えば、各カメラ111及びPTZカメラ113が、撮影空間の状況の認識処理も行うようにしてもよい。また、例えば、各カメラ111及びPTZカメラ113に、撮影空間の状況の認識処理を行う装置等を装着するようにしてもよい。
例えば、PTZカメラ113が、撮影対象及び撮影画角の設定、並びに、画角の制御を行うようにしてもよい。また、例えば、スイッチャ115が、情報処理装置114の機能を全て備えるようにしてもよい。
例えば、クラウドコンピューティング等におけるサーバに情報処理装置114を適用し、サーバがPTZカメラ113の画角を制御するサービスを提供するようにしてもよい。
例えば、カメラ111を1台のデプスカメラにより構成し、1台のデプスカメラにより撮影された撮影画像に基づいて、撮影空間内の被写体の3次元位置等を検出するようにしてもよい。
<撮影対象の設定方法に関する変形例>
例えば、撮影対象設定部272は、主要被写体と推定される被写体が他の第3の撮影装置(例えば、カメラ111およびPTZカメラ113以外のカメラ)の撮影対象に設定されている場合、又は、第3の撮影装置により適切な画角で撮影されている場合、主要被写体と関連する他の被写体を撮影対象に設定するようにしてもよい。この場合、例えば、主要被写体(例えば、主要人物)と会話している相手、主要被写体に対してリアクションをとった人等が、撮影対象に設定される。
例えば、撮影対象設定部272は、主要被写体と推定される被写体が他の第3の撮影装置(例えば、カメラ111およびPTZカメラ113以外のカメラ)の撮影対象に設定されている場合、又は、第3の撮影装置により適切な画角で撮影されている場合、主要被写体と関連する他の被写体を撮影対象に設定するようにしてもよい。この場合、例えば、主要被写体(例えば、主要人物)と会話している相手、主要被写体に対してリアクションをとった人等が、撮影対象に設定される。
また、以上の説明では、最も主要な被写体である推定される主要被写体を撮影対象に設定する例を示したが、例えば、主要な被写体であると推定される複数の主要被写体をそれぞれ撮影対象に設定することも可能である。
さらに、撮影対象は、必ずしも人に限定されるものではなく、人以外の動物体(例えば、動物、車両、ロボット等)又は静止物体(例えば、建築物等)でもよい。
<<3.その他>>
<コンピュータの構成例>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
<コンピュータの構成例>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
本技術は、以下のような構成をとることもできる。
(1)
3次元の撮影空間における撮影対象の特徴点の位置に基づいて、第1の撮影装置が前記撮影対象を撮影する撮影画角を設定する撮影画角設定部を
備える情報処理装置。
(2)
前記撮影画角設定部は、さらに前記撮影対象の状態に基づいて、前記撮影画角を設定する
前記(1)に記載の情報処理装置。
(3)
前記撮影対象の状態は、前記撮影対象を撮影可能な範囲、前記撮影対象の姿勢、前記撮影対象の動き、及び、前記撮影対象の表情のうち少なくとも1つを含む
前記(2)に記載の情報処理装置。
(4)
前記撮影画角設定部は、前記撮影対象を撮影可能な範囲、前記撮影対象の姿勢、前記撮影対象の動き、及び、前記撮影対象の表情のうち少なくとも1つに基づいて、前記撮影画角内に含まれる前記撮影対象の範囲を設定する
前記(3)に記載の情報処理装置。
(5)
前記撮影画角設定部は、前記撮影対象が特定の方向を向いている場合、前記撮影対象を前記撮影画角の中央から前記特定の方向と逆方向にシフトした位置に配置する
前記(3)又は(4)に記載の情報処理装置。
(6)
前記撮影画角設定部は、さらに前記撮影対象と関連する物体に基づいて、前記撮影画角を設定する
前記(2)乃至(5)のいずれかに記載の情報処理装置。
(7)
第2の撮影装置により撮影された前記撮影空間内の撮影画像に基づいて、前記撮影対象の状態を認識する認識部を
さらに備える前記(2)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記認識部は、前記撮影画像に基づいて、前記撮影空間内の被写体の状態を認識し、
前記撮影空間内の前記被写体の状態に基づいて、前記被写体の中から前記撮影対象を設定する撮影対象設定部を
をさらに備える前記(7)に記載の情報処理装置。
(9)
前記撮影対象設定部は、前記被写体の状態に基づいて、主要な被写体である主要被写体を推定し、前記主要被写体を前記撮影対象に設定する
前記(8)に記載の情報処理装置。
(10)
前記認識部は、前記撮影画像に基づいて、前記撮影空間内のシーンの内容を認識し、
前記撮影対象設定部は、さらに前記シーンの内容に基づいて、前記主要被写体を推定する
前記(9)に記載の情報処理装置。
(11)
前記認識部は、前記主要被写体が第3の撮影装置の撮影対象に設定されている場合、前記主要被写体と関連する他の被写体を前記撮影対象に設定する
前記(9)に記載の情報処理装置。
(12)
複数の第2の撮影装置により異なるアングルから撮影された撮影画像に基づいて、前記撮影空間における前記撮影対象の特徴点の位置を認識する認識部を
備える前記(1)乃至(6)のいずれかに記載の情報処理装置。
(13)
前記撮影空間における前記撮影対象の特徴点の位置に基づいて、前記第1の撮影装置のパン、チルト、及び、ズームの制御量を計算する画角制御部を
さらに備える前記(1)乃至(12)のいずれかに記載の情報処理装置。
(14)
前記画角制御部は、さらに前記撮影画角の中心に対応する点の前記撮影空間における位置に基づいて、前記制御量を計算する
前記(13)に記載の情報処理装置。
(15)
前記画角制御部は、前記制御量に基づいて、前記第1の撮影装置のパン、チルト、及び、ズームを制御する
前記(13)又は(14)に記載の情報処理装置。
(16)
前記画角制御部は、前記第1の撮影装置により撮影された撮影画像に対して所定の役割が付与されているか否かに基づいて、前記第1の撮影装置のパン、チルト、及び、ズームの駆動速度を制御する
前記(13)乃至(15)のいずれかに記載の情報処理装置。
(17)
前記第1の撮影装置に設けられる
前記(1)乃至(16)のいずれかに記載の情報処理装置。
(18)
情報処理装置が、
3次元の撮影空間における撮影対象の特徴点の位置に基づいて、撮影装置が前記撮影対象を撮影する撮影画角を設定する
情報処理方法。
(19)
3次元の撮影空間における撮影対象の特徴点の位置に基づいて、撮影装置が前記撮影対象を撮影する撮影画角を設定する
処理をコンピュータに実行させるためのプログラム。
3次元の撮影空間における撮影対象の特徴点の位置に基づいて、第1の撮影装置が前記撮影対象を撮影する撮影画角を設定する撮影画角設定部を
備える情報処理装置。
(2)
前記撮影画角設定部は、さらに前記撮影対象の状態に基づいて、前記撮影画角を設定する
前記(1)に記載の情報処理装置。
(3)
前記撮影対象の状態は、前記撮影対象を撮影可能な範囲、前記撮影対象の姿勢、前記撮影対象の動き、及び、前記撮影対象の表情のうち少なくとも1つを含む
前記(2)に記載の情報処理装置。
(4)
前記撮影画角設定部は、前記撮影対象を撮影可能な範囲、前記撮影対象の姿勢、前記撮影対象の動き、及び、前記撮影対象の表情のうち少なくとも1つに基づいて、前記撮影画角内に含まれる前記撮影対象の範囲を設定する
前記(3)に記載の情報処理装置。
(5)
前記撮影画角設定部は、前記撮影対象が特定の方向を向いている場合、前記撮影対象を前記撮影画角の中央から前記特定の方向と逆方向にシフトした位置に配置する
前記(3)又は(4)に記載の情報処理装置。
(6)
前記撮影画角設定部は、さらに前記撮影対象と関連する物体に基づいて、前記撮影画角を設定する
前記(2)乃至(5)のいずれかに記載の情報処理装置。
(7)
第2の撮影装置により撮影された前記撮影空間内の撮影画像に基づいて、前記撮影対象の状態を認識する認識部を
さらに備える前記(2)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記認識部は、前記撮影画像に基づいて、前記撮影空間内の被写体の状態を認識し、
前記撮影空間内の前記被写体の状態に基づいて、前記被写体の中から前記撮影対象を設定する撮影対象設定部を
をさらに備える前記(7)に記載の情報処理装置。
(9)
前記撮影対象設定部は、前記被写体の状態に基づいて、主要な被写体である主要被写体を推定し、前記主要被写体を前記撮影対象に設定する
前記(8)に記載の情報処理装置。
(10)
前記認識部は、前記撮影画像に基づいて、前記撮影空間内のシーンの内容を認識し、
前記撮影対象設定部は、さらに前記シーンの内容に基づいて、前記主要被写体を推定する
前記(9)に記載の情報処理装置。
(11)
前記認識部は、前記主要被写体が第3の撮影装置の撮影対象に設定されている場合、前記主要被写体と関連する他の被写体を前記撮影対象に設定する
前記(9)に記載の情報処理装置。
(12)
複数の第2の撮影装置により異なるアングルから撮影された撮影画像に基づいて、前記撮影空間における前記撮影対象の特徴点の位置を認識する認識部を
備える前記(1)乃至(6)のいずれかに記載の情報処理装置。
(13)
前記撮影空間における前記撮影対象の特徴点の位置に基づいて、前記第1の撮影装置のパン、チルト、及び、ズームの制御量を計算する画角制御部を
さらに備える前記(1)乃至(12)のいずれかに記載の情報処理装置。
(14)
前記画角制御部は、さらに前記撮影画角の中心に対応する点の前記撮影空間における位置に基づいて、前記制御量を計算する
前記(13)に記載の情報処理装置。
(15)
前記画角制御部は、前記制御量に基づいて、前記第1の撮影装置のパン、チルト、及び、ズームを制御する
前記(13)又は(14)に記載の情報処理装置。
(16)
前記画角制御部は、前記第1の撮影装置により撮影された撮影画像に対して所定の役割が付与されているか否かに基づいて、前記第1の撮影装置のパン、チルト、及び、ズームの駆動速度を制御する
前記(13)乃至(15)のいずれかに記載の情報処理装置。
(17)
前記第1の撮影装置に設けられる
前記(1)乃至(16)のいずれかに記載の情報処理装置。
(18)
情報処理装置が、
3次元の撮影空間における撮影対象の特徴点の位置に基づいて、撮影装置が前記撮影対象を撮影する撮影画角を設定する
情報処理方法。
(19)
3次元の撮影空間における撮影対象の特徴点の位置に基づいて、撮影装置が前記撮影対象を撮影する撮影画角を設定する
処理をコンピュータに実行させるためのプログラム。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
101 情報処理システム, 111-1,111-2 カメラ, 112 マイクロフォン, 113 PTZカメラ, 114 情報処理装置, 115 スイッチャ, 201 CPU, 251 情報処理部, 261 キャリブレーション部, 262 撮影制御部, 271 認識部, 272 撮影対象設定部, 273 撮影画角設定部, 274 画角制御部
Claims (19)
- 3次元の撮影空間における撮影対象の特徴点の位置に基づいて、第1の撮影装置が前記撮影対象を撮影する撮影画角を設定する撮影画角設定部を
備える情報処理装置。 - 前記撮影画角設定部は、さらに前記撮影対象の状態に基づいて、前記撮影画角を設定する
請求項1に記載の情報処理装置。 - 前記撮影対象の状態は、前記撮影対象を撮影可能な範囲、前記撮影対象の姿勢、前記撮影対象の動き、及び、前記撮影対象の表情のうち少なくとも1つを含む
請求項2に記載の情報処理装置。 - 前記撮影画角設定部は、前記撮影対象を撮影可能な範囲、前記撮影対象の姿勢、前記撮影対象の動き、及び、前記撮影対象の表情のうち少なくとも1つに基づいて、前記撮影画角内に含まれる前記撮影対象の範囲を設定する
請求項3に記載の情報処理装置。 - 前記撮影画角設定部は、前記撮影対象が特定の方向を向いている場合、前記撮影対象を前記撮影画角の中央から前記特定の方向と逆方向にシフトした位置に配置する
請求項3に記載の情報処理装置。 - 前記撮影画角設定部は、さらに前記撮影対象と関連する物体に基づいて、前記撮影画角を設定する
請求項2に記載の情報処理装置。 - 第2の撮影装置により撮影された前記撮影空間内の撮影画像に基づいて、前記撮影対象の状態を認識する認識部を
さらに備える請求項2に記載の情報処理装置。 - 前記認識部は、前記撮影画像に基づいて、前記撮影空間内の被写体の状態を認識し、
前記撮影空間内の前記被写体の状態に基づいて、前記被写体の中から前記撮影対象を設定する撮影対象設定部を
をさらに備える請求項7に記載の情報処理装置。 - 前記撮影対象設定部は、前記被写体の状態に基づいて、主要な被写体である主要被写体を推定し、前記主要被写体を前記撮影対象に設定する
請求項8に記載の情報処理装置。 - 前記認識部は、前記撮影画像に基づいて、前記撮影空間内のシーンの内容を認識し、
前記撮影対象設定部は、さらに前記シーンの内容に基づいて、前記主要被写体を推定する
請求項9に記載の情報処理装置。 - 前記認識部は、前記主要被写体が第3の撮影装置の撮影対象に設定されている場合、前記主要被写体と関連する他の被写体を前記撮影対象に設定する
請求項9に記載の情報処理装置。 - 複数の第2の撮影装置により異なるアングルから撮影された撮影画像に基づいて、前記撮影空間における前記撮影対象の特徴点の位置を認識する認識部を
備える請求項1に記載の情報処理装置。 - 前記撮影空間における前記撮影対象の特徴点の位置に基づいて、前記第1の撮影装置のパン、チルト、及び、ズームの制御量を計算する画角制御部を
さらに備える請求項1に記載の情報処理装置。 - 前記画角制御部は、さらに前記撮影画角の中心に対応する点の前記撮影空間における位置に基づいて、前記制御量を計算する
請求項13に記載の情報処理装置。 - 前記画角制御部は、前記制御量に基づいて、前記第1の撮影装置のパン、チルト、及び、ズームを制御する
請求項13に記載の情報処理装置。 - 前記画角制御部は、前記第1の撮影装置により撮影された撮影画像に対して所定の役割が付与されているか否かに基づいて、前記第1の撮影装置のパン、チルト、及び、ズームの駆動速度を制御する
請求項13に記載の情報処理装置。 - 前記第1の撮影装置に設けられる
請求項1に記載の情報処理装置。 - 情報処理装置が、
3次元の撮影空間における撮影対象の特徴点の位置に基づいて、撮影装置が前記撮影対象を撮影する撮影画角を設定する
情報処理方法。 - 3次元の撮影空間における撮影対象の特徴点の位置に基づいて、撮影装置が前記撮影対象を撮影する撮影画角を設定する
処理をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-062197 | 2020-03-31 | ||
JP2020062197 | 2020-03-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021200185A1 true WO2021200185A1 (ja) | 2021-10-07 |
Family
ID=77929327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/010977 WO2021200185A1 (ja) | 2020-03-31 | 2021-03-18 | 情報処理装置、情報処理方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2021200185A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09322052A (ja) * | 1996-05-24 | 1997-12-12 | Nippon Hoso Kyokai <Nhk> | 自動撮影カメラシステム |
JP2006229322A (ja) * | 2005-02-15 | 2006-08-31 | Matsushita Electric Ind Co Ltd | 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム |
JP2011101165A (ja) * | 2009-11-05 | 2011-05-19 | Canon Inc | 連動撮影システム |
JP2012103859A (ja) * | 2010-11-09 | 2012-05-31 | Olympus Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2019125946A (ja) * | 2018-01-17 | 2019-07-25 | キヤノン株式会社 | 制御装置、撮像装置、制御方法、及びプログラム |
-
2021
- 2021-03-18 WO PCT/JP2021/010977 patent/WO2021200185A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09322052A (ja) * | 1996-05-24 | 1997-12-12 | Nippon Hoso Kyokai <Nhk> | 自動撮影カメラシステム |
JP2006229322A (ja) * | 2005-02-15 | 2006-08-31 | Matsushita Electric Ind Co Ltd | 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム |
JP2011101165A (ja) * | 2009-11-05 | 2011-05-19 | Canon Inc | 連動撮影システム |
JP2012103859A (ja) * | 2010-11-09 | 2012-05-31 | Olympus Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2019125946A (ja) * | 2018-01-17 | 2019-07-25 | キヤノン株式会社 | 制御装置、撮像装置、制御方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018051815A1 (ja) | 情報処理装置および方法、並びにプログラム | |
JP6192940B2 (ja) | 撮影機器及び連携撮影方法 | |
WO2014103094A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
JP2001094857A (ja) | バーチャル・カメラの制御方法、カメラアレイ、及びカメラアレイの整合方法 | |
US10063773B2 (en) | Photographing apparatus, photographing method and computer-readable storage medium storing photographing program of photographing apparatus | |
WO2003036565A2 (en) | System and method for obtaining video of multiple moving fixation points within a dynamic scene | |
JP5477777B2 (ja) | 画像取得装置 | |
KR20220128585A (ko) | 웨어러블 촬상장치, 촬상장치와 통신하는 휴대 기기 및 캘리브레이터, 이들의 제어방법과 이들의 제어 프로그램을 기억한 기억매체 | |
WO2021200184A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2010034652A (ja) | 多方位カメラ搭載型携帯端末装置 | |
CN113112407B (zh) | 基于电视的照镜视野生成方法、***、设备及介质 | |
JP2024061729A (ja) | 複合入出射装置 | |
TWI488503B (zh) | 會議攝錄裝置及其方法 | |
Fiala et al. | A panoramic video and acoustic beamforming sensor for videoconferencing | |
KR20140116014A (ko) | 화상 취득 장치, 화상 취득 방법 및 기록매체 | |
WO2021200185A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP7487464B2 (ja) | 画像処理装置、撮像装置、動画再生システム、方法およびプログラム | |
WO2020095648A1 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 | |
CN114625468B (zh) | 增强现实画面的展示方法、装置、计算机设备及存储介质 | |
KR101843336B1 (ko) | 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치 | |
JP2020031332A (ja) | 電子機器、電子機器の制御装置、制御プログラムおよび制御方法 | |
WO2020095647A1 (ja) | 画像処理装置、画像処理サーバー、画像処理方法、コンピュータプログラム及び記憶媒体 | |
JP7233886B2 (ja) | 画像処理装置 | |
WO2022226745A1 (zh) | 拍摄方法、控制装置、拍摄设备及存储介质 | |
JP7054437B2 (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21780212 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21780212 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |