WO2024048069A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- WO2024048069A1 WO2024048069A1 PCT/JP2023/024971 JP2023024971W WO2024048069A1 WO 2024048069 A1 WO2024048069 A1 WO 2024048069A1 JP 2023024971 W JP2023024971 W JP 2023024971W WO 2024048069 A1 WO2024048069 A1 WO 2024048069A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- blur correction
- information processing
- amount
- shutter speed
- correction amount
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 86
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000012937 correction Methods 0.000 claims abstract description 290
- 238000003384 imaging method Methods 0.000 claims abstract description 161
- 238000012545 processing Methods 0.000 claims description 83
- 238000013459 approach Methods 0.000 claims description 14
- 238000005520 cutting process Methods 0.000 claims description 10
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 31
- 238000000034 method Methods 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 24
- 230000006641 stabilisation Effects 0.000 description 15
- 238000011105 stabilization Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004091 panning Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
Definitions
- the present technology relates to an information processing device, an information processing method, and a program.
- a first image stabilization unit performs image stabilization processing on the image data
- a second image stabilization unit uses the image stabilization process output from the first image stabilization unit.
- the image corrected by the electronic blur correction function will be an image with motion blur when the imaging device is moving, and will be an image without motion blur when the imaging device is stationary, resulting in an output result.
- the larger the amount of movement of the imaging device the more unnatural the image becomes.
- the present technology has been developed in view of these points, and aims to provide an information processing device, an information processing method, and a program that can suppress the sense of discomfort that occurs in captured images during electronic blur correction.
- a first technique is to use one of a value related to blur correction and a shutter speed in an imaging device that is equipped with an electronic blur correction function that corrects blur in image data and a shutter speed control function.
- This is an information processing device including an adjustment section that adjusts.
- the second technology is an information processing method for adjusting either a value related to blur correction or a shutter speed in an imaging device equipped with an electronic blur correction function for correcting blur in image data and a shutter speed control function. be.
- a third technology provides an information processing method for adjusting either a value related to blur correction or a shutter speed in an imaging device equipped with an electronic blur correction function for correcting blur in image data and a shutter speed control function. It is a program that is executed by a computer.
- FIG. 2 is a diagram showing a first example for explaining the problem of the present technology. It is a figure which shows the 2nd example for demonstrating the problem of this technique. It is a figure which shows the 3rd example for demonstrating the problem of this technique. It is a figure which shows the 4th example for demonstrating the problem of this technique.
- FIG. 1 is a block diagram showing the configurations of an imaging device 10 and an information processing device 300 in a first embodiment. 1 is an external view showing the configuration of a lens head 100.
- FIG. FIG. 3 is an explanatory diagram of a blur correction method. 3 is a flowchart showing processing of the information processing device 300. It is a graph showing adjustment data in a 1st embodiment.
- FIG. 1 is a block diagram showing the configurations of an imaging device 10 and an information processing device 300 in a first embodiment. 1 is an external view showing the configuration of a lens head 100.
- FIG. FIG. 3 is an explanatory diagram of a blur correction method. 3 is a flowchart showing
- FIG. 3 is an explanatory diagram when an image is captured by an imaging device 10 that performs processing by an information processing device 300.
- FIG. FIG. 2 is a block diagram showing the configurations of an imaging device 10 and an information processing device 300 in a second embodiment. It is a graph which shows the adjustment data in 2nd Embodiment.
- FIG. 3 is a block diagram showing the configurations of an imaging device 10 and an information processing device 300 in a third embodiment. It is a graph which shows the adjustment data in 3rd Embodiment. It is a block diagram showing the composition of imaging device 10 and information processing device 300 in a modification. It is a graph which shows the modification of the data for correction.
- FIG. 1 is a first example for explaining the problem of imaging a stationary subject P with an imaging device CAM without functioning a blur correction function (or without a blur correction function).
- Motion blur refers to the movement of the subject P or the imaging device CAM, which causes the subject P in the captured image to blur in a flowing manner, or to cause an afterimage.
- FIG. 1B when imaging is performed while the imaging device CAM is panning clockwise from the state of FIG. 1A, the blur caused by the movement of the imaging device CAM is not corrected and compared to the state of FIG. 1A.
- the subject P is located on the left side in the captured image, and the composition has changed. Furthermore, even if the subject P is stationary, motion blur of the subject P occurs in the captured image due to the movement of the imaging device CAM.
- the subject P when the imaging device CAM is panned clockwise by 90 degrees, the subject P will be located on the left side of the imaging device CAM in the imaging direction of the imaging device CAM (the direction in which the lens faces).
- the imaging direction of the imaging device CAM the direction in which the lens faces.
- the composition of the captured image will change if the image capture device CAM moves, and furthermore, motion blur will occur in the subject P due to the movement of the image capture device CAM. Therefore, there is no sense of discomfort in the captured image.
- FIG. 2 is a second example for explaining the problem of imaging a stationary subject P with the imaging device CAM using blur correction. Note that the imaging conditions such as the positions of the imaging device CAM and the subject P are the same as in the first example.
- FIG. 2B when imaging is performed while the imaging device CAM is panning clockwise from the state of FIG. 2A, motion blur of the subject P occurs in the captured image due to the movement of the imaging device CAM.
- changes in the composition are suppressed by performing blur correction to cancel the movement of the imaging device CAM, and the subject P is located on the right side in the captured image, as in FIG. 2A.
- the length of the arrow b in FIG. 2B indicates the amount of movement of the position of the subject P due to suppressing changes in the composition of the captured image due to blur correction.
- the subject P when the imaging device CAM is panned clockwise by 90 degrees, the subject P will be located on the left side of the imaging device CAM in the imaging direction of the imaging device CAM (the direction in which the lens faces). If you capture an image after panning the image capturing device CAM clockwise to 90 degrees, shake correction is applied to cancel the movement of the image capturing device CAM, suppressing changes in the composition, and subject P in the captured image. is located on the right side as in FIG. 2A.
- the length of the arrow c in FIG. 2C indicates the amount of movement of the position of the subject P due to suppressing changes in the composition of the captured image due to blur correction.
- FIG. 3 is a third example for explaining the problem in which blur correction is performed to eliminate the discomfort caused by the blur correction shown in FIG. 2, and the shutter is released at a faster shutter speed to capture an image.
- the imaging conditions such as the positions of the imaging device 10 and the subject P are the same as in the first and second examples.
- FIG. 3B if an image is captured while the imaging device CAM is panning clockwise from the state shown in FIG.
- the motion blur of the subject P that occurs due to this can be suppressed.
- shake correction is performed to cancel the movement of the imaging device CAM, thereby suppressing changes in the composition, and the subject P is located on the right side in the captured image, as in FIG. 3A.
- the length of the arrow b in FIG. 3B indicates the amount of movement of the position of the subject P due to suppressing changes in the composition of the captured image due to blur correction.
- the subject P when the imaging device CAM is panned clockwise by 90 degrees, the subject P will be located on the left side of the imaging device CAM in the imaging direction of the imaging device CAM (the direction in which the lens faces). If you capture an image after panning the image capturing device CAM clockwise to 90 degrees, shake correction is applied to cancel the movement of the image capturing device CAM, suppressing changes in the composition, and subject P in the captured image. is located on the right side as in FIG. 3A.
- the length of the arrow c in FIG. 3C indicates the amount of movement of the position of the subject P due to suppressing changes in the composition of the captured image due to blur correction.
- the brightness of the captured image can be corrected by adjusting the ND (Neutral Density), iris, gain, etc.
- ND Neutral Density
- iris iris
- gain etc.
- these image processes affect not only the brightness but also the image quality, there is a problem in that increasing the gain increases noise and deteriorates the image quality, as shown in FIG.
- the image quality desired by the user is not achieved.
- adjusting the ND or iris is not effective in adjusting the image quality, so it is necessary to increase the gain, but there is also the problem that increasing the gain increases noise in the captured image.
- the imaging device 10 includes a lens head 100, a camera body 200, and an information processing device 300.
- the lens head 100 includes a lens 101 including an optical lens for condensing light from a subject onto an image sensor and a focus lens for adjusting the focus, and a lens information storage section that holds information regarding the lens 101. 102, a lens drive driver (not shown) for moving the lens 101, and the like.
- An optical image of the subject obtained through the lens 101 is formed on an image sensor in the imaging unit 201.
- the lens head 100 is constructed as a separate member from the camera body 200 and is attached to the camera body 200. Therefore, as shown in FIG. 6, it is possible to replace the lens head 100 attached to the camera body 200 with another lens head 100B.
- the lens head 100 is fixed to the camera body 200 by, for example, screws. Since the lens head 100 is replaceable, it can be traded alone as a product. If the lens head 100 is to be traded, it may be traded as a set with a coaxial cable and a board.
- the lens information storage unit 102 is composed of, for example, an EPROM (Erasable Programmable Read Only Memory).
- the lens information storage unit 102 stores in advance various information regarding the lens 101, such as a lens center deviation value which is a unique value of each lens, lens shading correction data which is a fixed value of the lens type, distortion correction data, and lens type information. ing.
- the camera body 200 Since information regarding lenses is stored in the lens information storage section 102, the camera body 200 reads information regarding the lenses from the lens information storage section 102 after replacing the lens head 100 or when starting up the imaging device 10. Then, the camera body 200 recognizes the attached lens 101 based on the information, automatically changes to an operation mode suitable for the lens 101, and performs imaging.
- FIG. 6 shows an example in which the lens 101 and the lens 101C attached to the lens head 100 are interchangeable, and furthermore, the lens 101B and the lens 101C attached to the lens head 100B are interchangeable.
- Various lenses such as a wide-angle lens, a narrow-angle lens, and a fisheye lens can be attached to the lens head 100.
- a user can rewrite the information stored in the lens information storage section 102 by connecting the lens head 100 to a device such as a personal computer. Therefore, when the user replaces the lens 101, the user connects the lens head 100 to a personal computer or the like and rewrites the information in the lens information storage section 102 with information about the newly attached lens. Thereby, the camera body 200 can recognize a newly attached lens, automatically change to an operation mode suitable for the lens, and perform imaging.
- the camera body 200 includes an imaging section 201, a sensor section 202, an exposure control section 203, a blur correction amount generation section 204, a blur correction amount adjustment section 205, a blur correction processing section 206, a development processing section 207, an output processing section 208, and a communication section. 209.
- An information processing device 300 is configured by an exposure control section 203, a blur correction amount generation section 204, a blur correction amount adjustment section 205, and a blur correction processing section 206.
- the imaging unit 201 includes an imaging element and a shutter mechanism that photoelectrically converts incident light from a subject obtained through the lens 101 into an amount of charge to generate image data.
- the imaging unit 201 outputs the generated image data to the exposure control unit 203 and the blur correction processing unit 206.
- As the image sensor a CCD (Charge Coupled Device), CMOS (Complementary Metal Oxide Semiconductor), or the like is used.
- the shutter mechanism drives the shutter based on the shutter speed acquired from the exposure control unit 203 and adjusts the exposure time.
- the shutter mechanism may be of any type, such as a mechanical shutter type or an electronic shutter type.
- the sensor unit 202 is a variety of sensors that detect the angular velocity and acceleration of the movement of the imaging device 10. Examples of the sensor include an IMU (Inertial Measurement Unit), an inertial sensor (an acceleration sensor in two or three axis directions, an angular velocity sensor, a gyro sensor), and the like. A plurality of sensors may be used together as the sensor unit 202.
- the sensor unit 202 outputs sensing results to the blur correction amount generation unit 204. Note that the sensor unit 202 may not be included in the camera body 200 but may be configured as an external device and transmit sensing results to the camera body 200 by wired or wireless communication.
- the exposure control unit 203 sets the shutter speed to adjust the exposure time based on user input and functions provided in the imaging device 10 in advance. In this way, the camera body 200 has a shutter speed control function.
- the exposure control unit 203 outputs the set shutter speed to the imaging unit 201 and the blur correction amount adjustment unit 205.
- the blur correction amount generation unit 204 uses the sensing results obtained from the sensor unit 202 to generate a blur correction amount based on a general blur correction algorithm.
- the blur correction amount generation unit 204 outputs the blur correction amount to the blur correction amount adjustment unit 205.
- the amount of blur correction is the amount of movement of the cutting position of image data in electronic blur correction that corrects blur by cutting out image data of a predetermined size from the image data output from the imaging unit 201 according to the degree of blur. It is.
- the blur correction amount corresponds to the value related to blur correction in the claims.
- the blur correction amount adjustment unit 205 holds adjustment data prepared in advance, and adjusts the blur correction amount based on the adjustment data and the shutter speed obtained from the exposure control unit 203.
- the blur correction amount adjustment unit 205 outputs the adjusted blur correction amount (referred to as an adjusted blur correction amount) to the blur correction processing unit 206.
- the blur correction processing unit 206 performs blur correction processing using an electronic blur correction method that cuts out an image of a predetermined size from the image data based on the adjusted blur correction amount. As shown in FIG. 7, the blur correction processing unit 206 performs lens distortion removal and rotation processing on the input image data and rotation vector mesh, respectively, and pastes the image data onto the rotation vector mesh, for example, 4K ( Blurring is corrected by cutting out full HD (horizontal 1920 x vertical 1080) image data from image data (horizontal 3840 x vertical 2160). Note that the blur correction process may be performed using a general method, such as a method using sensing results from a gyro sensor or IMU as the sensor unit 202, or a method in which alignment with past frames is performed by image processing.
- a general method such as a method using sensing results from a gyro sensor or IMU as the sensor unit 202, or a method in which alignment with past frames is performed by image processing.
- the development processing unit 207 performs predetermined image processing, such as gain correction processing, white balance processing, color adjustment processing, Debayer processing, and aspect conversion processing, on the image data subjected to blur correction processing by the blur correction processing unit 206. etc.
- the output processing unit 208 performs output processing such as compression encoding and output format conversion on the image data output from the development processing unit 207.
- output processing such as compression encoding and output format conversion on the image data output from the development processing unit 207.
- MPEG Motion Picture Experts Group
- JPEG Joint Photographic Experts Group
- the output format include MDMI (High-Definition Multimedia Interface) and SDI (Serial Digital Interface).
- the communication unit 209 is a communication module that performs communication with other external devices, the Internet, and the like.
- the communication method may be either wired or wireless, and specifically, cellular communication, 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), Wi-Fi, Bluetooth (registered trademark), NFC (Near Field Communication), Ethernet (registered trademark), HDMI (registered trademark) (High-Definition Multimedia Interface), USB (Universal Serial Bus), etc.
- the image data output from the output processing unit 208 is transmitted as a captured image to an external device such as a personal computer via the communication unit 209 and a network.
- the imaging device 10 can also transmit captured images to an external device in real time. Note that the imaging device 10 does not need to include the communication unit 209.
- the imaging device 10 may include a storage medium, a display section, a control section, an input section, and the like.
- the storage medium stores captured images, and is composed of a drive device for a portable recording medium such as a magnetic tape or an optical disk, an HDD (Hard Disk Drive), an SSD (Solid State Drive), etc.
- the storage medium may be an external device connected to imaging device 10 via a wired or wireless connection.
- the image data output from the output processing unit 208 may be stored as a captured image in a storage medium.
- the display unit displays captured images, through images, GUI (Graphical User Interface), and the like.
- the display unit is realized by, for example, a monitor display composed of an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro Luminescence) panel, or an EVF (Electronic View Finder).
- the display unit may be an external device connected to the imaging device 10 through a wired or wireless connection.
- the control unit is composed of a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
- the CPU controls the entire imaging device 10 and each part by executing various processes and issuing commands according to programs stored in the ROM.
- the input unit is for the user to input various instructions and the like to the imaging device 10.
- a control signal corresponding to the input is generated, and the imaging device 10 performs various processes corresponding to the control signal.
- Input units include a release button for issuing a release instruction, physical buttons for various operations, a touch panel, a touch screen integrated with a display unit, and the like.
- the imaging device 10 and the information processing device 300 are configured as described above.
- the information processing device 300 may be configured as a dedicated device using hardware having that function, or the imaging device 10 may have the function as the information processing device 300 by executing a program, and the information processing method may be realized.
- the program may be installed in the imaging device 10 in advance, or may be downloaded or distributed on a storage medium, and installed by the user in the imaging device 10.
- the information processing device 300 may include the imaging unit 201.
- the blur correction amount adjustment unit 205 adjusts the blur correction amount based on the shutter speed.
- the blur correction amount generation unit 204 generates a target amount of blur correction based on the sensing results received from the sensor unit 202.
- the blur correction amount generation unit 204 outputs the target amount of the blur correction amount to the blur correction amount adjustment unit 205.
- the target amount of blur correction amount is a value of 100% (maximum amount) of the blur correction amount calculated based on the sensing results.
- step S12 the exposure control unit 203 sets the shutter speed.
- the exposure control section 203 outputs the shutter speed to the blur correction amount adjustment section 205.
- step S11 and step S12 may be performed in the reverse order, or may be performed simultaneously or almost simultaneously.
- the blur correction amount adjustment unit 205 calculates the minimum amount of the blur correction amount by multiplying the target amount of the blur correction amount by a predetermined magnification (0x to 1x).
- the predetermined magnification may be set in advance, for example, at the time of designing or manufacturing the imaging device 10 or the information processing device 300, or may be set by the user.
- the blur correction amount adjustment unit 205 adjusts the blur correction amount according to the shutter speed based on the blur correction amount (target amount and minimum amount), shutter speed, and adjustment data shown in FIG. 9 prepared in advance. adjust.
- the blur correction amount adjustment unit 205 outputs the adjusted blur correction amount to the blur correction processing unit 206.
- the blur correction amount when the shutter speed is equal to or higher than the first speed, the blur correction amount is increased to reach the target amount than when the shutter speed is less than the first speed. Adjust to. Further, when the shutter speed is less than or equal to a second speed that is smaller than the first speed, the blur correction amount is adjusted to be smaller than when the shutter speed is larger than the second speed so that it becomes the minimum amount. Furthermore, when the shutter speed is higher than the second speed and lower than the first speed, the blur correction amount is adjusted so as to approach the target amount as the shutter speed becomes faster. Note that the characteristics of the adjustment data shown in FIG. 9 may change not linearly but exponentially or quadratically, and may be adjusted according to the use case.
- the shutter speed is increased, and in order to weakly suppress the motion blur of the subject, the shutter speed is slowed. Further, in order to strongly suppress changes in the composition, the adjusted blur correction amount is increased, and in order to weakly suppress changes in the composition, the adjusted blur correction amount is decreased.
- the first speed of the shutter speed is "1/250" and the second speed is "1/200", but this is just an example, and the present technology is limited to these values. It's not a thing.
- the blur correction amount adjustment unit 205 adjusts the blur correction amount according to the shutter speed set by the exposure control unit 203, and determines the adjusted blur correction amount.
- step S14 the blur correction processing unit 206 performs blur correction processing on the image data based on the adjusted blur correction amount.
- the image data that has been subjected to blur correction processing is processed by a development processing section 207 and an output processing section 208, and is output as a captured image.
- the processing of the information processing device 300 in the first embodiment is performed as described above.
- the composition does not change due to blur correction, the captured image will feel unnatural.
- the adjusted blur correction amount approaches the minimum amount and becomes small, and changes in the composition are also suppressed weakly. Therefore, the sense of discomfort in the captured image can be suppressed.
- imaging is performed without moving the imaging device 10 in a state where the subject P is located on the right side of the imaging device 10 in the imaging direction of the imaging device 10 (the direction in which the lens faces). Then, the subject P is located on the right side in the captured image. This is similar to FIG. 2A.
- the subject P since blur correction is performed to cancel the movement of the imaging device 10, the subject P, whose composition has changed due to the movement of the imaging device 10 and has moved to the left, is corrected so that it moves to the right. Change is suppressed.
- the adjusted blur correction amount approaches the minimum amount and becomes smaller, so the change in composition is weakly suppressed, and the position of the subject P after blur correction in FIG. 10B is located on the left side compared to FIG. 2B. become.
- the length of the arrow b' in FIG. 10B indicates the amount of movement of the position of the subject P due to suppressing changes in the composition of the captured image by blur correction.
- the amount of movement of the subject P indicated by the length of the arrow b' is shorter than the amount of movement of the subject P due to suppressed changes in the composition in FIG. 2B, which is indicated by the arrow b. That is, in FIG. 10B, changes in the composition are suppressed weaker than in FIG. 2B.
- the subject P when the imaging device 10 is panned clockwise by 90 degrees, the subject P will be located on the left side of the imaging device 10 in the imaging direction of the imaging device 10 (the direction in which the lens faces).
- blur correction is performed to cancel the movement of the imaging device 10.
- the shutter speed is slowed down, the adjusted blur correction amount approaches the minimum amount and becomes smaller, so the change in composition is weakly suppressed, and the position of the subject P after blur correction in FIG. 10C is on the left side compared to FIG. 2C. become.
- the length of the arrow c' in FIG. 10C indicates the amount of movement of the position of the subject P due to suppressing changes in the composition of the captured image by blur correction.
- the amount of movement of the subject P indicated by the length of the arrow c' is shorter than the amount of movement of the subject P due to suppressed changes in the composition in FIG. 2C, which is indicated by the arrow c. That is, in FIG. 10C, changes in the composition are suppressed weaker than in FIG. 2C.
- the adjusted blur correction amount approaches the minimum amount and becomes small, so changes in the composition are also suppressed. Therefore, the sense of discomfort in the captured image can be suppressed.
- the adjusted blur correction amount will approach the target amount and increase, which will also strongly suppress changes in the composition. Therefore, in this case as well, the sense of discomfort in the captured image can be suppressed.
- the shutter speed is brought closer to the second speed.
- the adjusted blur correction amount approaches the minimum amount. Further, when the shutter speed is lower than the second speed, the adjusted blur correction amount becomes the minimum value.
- the present technology is useful when the movement or vibration of the imaging device 10 is large because it can correct blur caused by movement of the imaging device 10 and suppress changes in composition while suppressing the sense of discomfort in the captured image.
- the present technology is useful when mounted on a moving motorcycle to capture images of the front and rear of the moving motorcycle, the driver's face, etc.
- the moving object may be other than a motorcycle, such as a bicycle, a car, a drone, a ship, or a person.
- the imaging device 10 is not limited to one that is mounted on a moving object, but may be a digital camera, a single-lens reflex camera, a camcorder, a professional camera, a professional imaging device, etc. that is held and used by a person.
- Second embodiment> [2-1. Configuration of imaging device 10 and information processing device 300 and processing by information processing device 300] Next, a second embodiment of the present technology will be described with reference to FIG. 11. Regarding the configurations of the imaging device 10 and the information processing device 300, only the processing units that perform processing different from those in the first embodiment will be described.
- the blur correction amount generation unit 204 uses the sensing results obtained from the sensor unit 202 to generate a blur correction amount based on a general blur correction algorithm.
- the blur correction amount generation unit 204 outputs the blur correction amount to the exposure adjustment unit 210 and the blur correction processing unit 206.
- the exposure adjustment unit 210 determines the adjusted shutter speed by adjusting the shutter speed based on the blur correction amount obtained from the blur correction amount generation unit 204 and the adjustment data shown in FIG. 12 prepared in advance.
- the exposure adjustment section 210 outputs the adjusted shutter speed to the imaging section 201.
- the imaging unit 201 performs shutter control based on the adjusted shutter speed.
- the second embodiment is characterized in that the exposure adjustment section 210 adjusts the shutter speed based on the amount of blur correction in this way.
- the lower limit value of the shutter speed (that is, the maximum exposure time) is determined according to the amount of blur correction, thereby placing constraints on the exposure control circuit.
- the lower limit value of the shutter speed is calculated from the blur correction amount based on the adjustment data shown in FIG.
- the shutter speed is adjusted using this lower limit value as the shutter speed limit value.
- the limit on the vertical axis (lower limit of shutter speed) is determined by the capability value of the imaging device 10. In the case of videos, the speed is usually determined by the frame rate.
- the lower limit value is basically a value determined in advance by the camera designer, but may be determined by the user.
- the shutter speed is made slower than when the amount of blur correction is less than the first threshold to reach the lower limit value. Adjust as follows. Further, when the amount of blur correction is less than or equal to a second threshold value which is smaller than the first threshold value, the shutter speed is adjusted to be faster than when the amount of blur correction is greater than the second threshold value so that it is unlimited. Further, when the amount of blur correction is greater than or equal to the second threshold and less than or equal to the first threshold, the shutter speed is adjusted so as to approach the lower limit as the amount of blur correction increases. Note that the characteristics of the adjustment data shown in FIG. 12 may change not linearly but exponentially or quadratically, and may be adjusted according to the use case.
- the blur correction processing unit 206 performs blur correction processing using an electronic blur correction method that cuts out an image of a predetermined size from the image data based on the blur correction amount obtained from the blur correction amount generation unit 204.
- the blur correction method is the same as in the first embodiment.
- the image data that has been subjected to blur correction processing is processed by a development processing section 207 and an output processing section 208, and is output as a captured image.
- imaging device 10 and the information processing device 300 are the same as in the first embodiment.
- the processing of the information processing device 300 in the second embodiment is performed as described above.
- the second embodiment for example, when the amount of blur correction is made small in order to weakly suppress changes in composition, the shutter speed is slowed and motion blur is suppressed weakly. Therefore, similar to the first embodiment, it is possible to suppress the sense of discomfort in the captured image.
- the shutter speed will become faster and motion blur will be strongly suppressed. Therefore, similar to the first embodiment, it is possible to suppress the sense of discomfort in the captured image. In this way, prioritize the amount of image stabilization, and if a large amount of image stabilization is required, increase the shutter speed and shorten the exposure time, and if a small amount of image stabilization is required, slow the shutter speed and take the necessary amount of exposure. It is also possible to set the time to be reserved. In this case, when the imaging device 10 moves, the exposure time changes and the brightness changes, so it is desirable to adjust the captured image to a constant brightness using ND, iris, gain, etc.
- the exposure control unit 203 sets the shutter speed to adjust the exposure time based on user input and functions provided in the imaging device 10 in advance.
- the exposure control unit 203 outputs the set shutter speed to the imaging unit 201 and the blur correction setting value adjustment unit 211.
- the blur correction setting value adjustment unit 211 allows the blur correction amount generation unit 204 to generate the blur correction amount based on the shutter speed acquired from the exposure control unit 203 and adjustment data shown in FIG. 14 prepared in advance. Adjust the blur correction settings used for calculations.
- the blur correction setting value corresponds to the value related to blur correction in the claims. Examples of the blur correction setting value include a correction tracking speed and a cutoff frequency. However, the blur correction setting value is not limited to these, and may be any value as long as it is used in calculations for generating the blur correction amount.
- the third embodiment is characterized in that the blur correction setting value adjustment section 211 adjusts the blur correction setting value based on the shutter speed in this way.
- the blur correction setting value when the shutter speed is equal to or higher than the first speed, the blur correction setting value is increased and adjusted to the target amount. Furthermore, when the shutter speed is equal to or lower than the second speed, which is smaller than the first speed, the blur correction setting value is decreased and adjusted to the minimum amount. Furthermore, when the shutter speed is equal to or higher than the second speed, the camera shake correction setting value is adjusted so as to approach the target amount as the shutter speed becomes faster. Note that the characteristics of the adjustment data shown in FIG. 14 may change not linearly but exponentially or quadratically, and may be adjusted according to the use case.
- the blur correction amount generation unit 204 uses the sensing result obtained from the sensor unit 202 and the blur correction setting value obtained from the blur correction setting value adjustment unit 211 to generate a blur correction amount based on a general blur correction algorithm. generate. When the blur correction setting value is adjusted to a low value, the correction amount generated by the blur correction amount generation unit 204 also becomes small, and when the blur correction setting value is adjusted to a high value, the blur correction amount also becomes large. . The blur correction amount generation unit 204 outputs the blur correction amount to the blur correction processing unit 206.
- the blur correction processing unit 206 performs blur correction processing using an electronic blur correction method that cuts out an image of a predetermined size from the image data based on the amount of blur correction.
- the blur correction method is the same as in the first embodiment.
- the image data that has been subjected to blur correction processing is processed by a development processing section 207 and an output processing section 208, and is output as a captured image.
- the other configurations of the imaging device 10 and the information processing device 300 are the same as in the first embodiment.
- the processing of the information processing device 300 in the third embodiment is performed as described above.
- the present technology can be applied not only to the amount of camera shake correction itself but also to adjustment of various setting values for generating the amount of camera shake correction.
- By adjusting the blur correction setting value based on the shutter speed and determining the adjusted blur correction amount based on the blur correction setting value it is possible to suppress the sense of discomfort in the captured image as in the first embodiment. .
- the imaging device 10 has the function of the information processing device 300, and all processing is performed within the imaging device 10. Not limited.
- the processing by the information processing device 300 may be divided between the imaging device 10 and the external device 20.
- the imaging device 10 includes an exposure control section 203 and a blur correction amount generation section 204, as shown in FIG. 15A.
- the external device 20 includes a blur correction amount adjustment section 205 and a blur correction processing section 206.
- Examples of the external device 20 include a server, a personal computer, a smartphone, a tablet terminal, and a camera.
- the imaging device 10 superimposes the shutter speed set by the exposure control unit 203 and the blur correction amount generated by the blur correction amount generation unit 204 on image data as metadata, and transmits the metadata to the external device 20. Setting the shutter speed and generating the blur correction amount are the same as in the first embodiment.
- the external device 20 that has received the image data through the communication unit 21 outputs the image data to the blur correction processing unit 206. Further, the shutter speed and the blur correction amount as metadata superimposed on the image data are output to the blur correction amount adjustment unit 205.
- the blur correction amount adjustment unit 205 adjusts the blur correction amount in the same manner as in the first embodiment, and outputs the adjusted blur correction amount to the blur correction processing unit 206. Then, the blur correction processing unit 206 performs blur correction processing on the image data based on the adjusted blur correction amount.
- the image data subjected to the blur correction process is stored in, for example, the storage medium 22 as a captured image. Note that the captured image may be transmitted from the external device 20 to another device.
- the blur correction amount generation unit 204 is configured to be included in the external device 20, and the imaging device 10 superimposes the sensing result acquired by the sensor unit 202 on image data as metadata and transmits it to the external device 20. You may also do so. In this case, the blur correction amount generation unit 204 in the external device 20 generates the blur correction amount.
- the blur correction processing unit 206 performs blur correction processing by cutting out a predetermined range based on the center of the image data as a fail-safe measure. I do. Thereby, even if there is an abnormality in the sensing result, the output of the captured image will not be interrupted, and for example, it is possible to avoid problems with broadcasting using the captured image.
- Cutting out a predetermined range based on the center of the image data can be realized, for example, by generating the blur correction amount as 0 in the blur correction amount generation unit 204.
- the blur correction amount By setting the blur correction amount to 0, even if the blur correction amount is adjusted by the blur correction amount adjustment unit 205, the result is 0 even if 0 is multiplied by the magnification (0 to 1 times).As a result, the center is used as the reference. It will be cut out.
- the determination as to whether or not to execute failsafe may be made by the blur correction amount generation unit 204 that receives the sensing results from the sensor unit 202, or may be made by a control unit included in the imaging device 10.
- a processing unit dedicated to the determination may perform the determination.
- the adjustment data for adjusting the blur correction amount is not limited to that shown in FIG. 9, and may have a characteristic having hysteresis, for example, as shown in FIG. 16.
- a plurality of adjustment data may be prepared for each imaging environment (indoor, outdoor, etc.), and the adjustment data to be used may be selected depending on the imaging environment.
- a plurality of adjustment data may be prepared for each type of subject P, and the adjustment data to be used may be selected depending on the subject P.
- adjustment data preselected by the user from a plurality of adjustment data may be used, or the control unit (not shown) of the imaging device 10 may use the image data transmitted from the imaging unit 201 to create an imaged scene ( Alternatively, the adjustment data may be selected based on the recognition result.
- the lens head 100 including the lens 101 is described as being replaceable with respect to the camera body 200, but the present technology relates to an imaging device in which the lens 101 and the camera body 200 are integrally configured. is also applicable.
- this technology can be applied to any device that has a camera function, such as a smartphone, personal computer, tablet terminal, portable game machine, or wearable device.
- the present technology is not limited to still images, but can also be applied to frame images that make up a moving image.
- the present technology can also have the following configuration.
- An information processing device that includes an adjustment unit that adjusts either a value related to blur correction or the shutter speed in an imaging device that has an electronic blur correction function that corrects blur in image data and a shutter speed control function.
- the value related to blur correction is a blur correction amount indicating a movement amount of a cutting position of image data in electronic blur correction.
- the adjustment section is a blur correction amount adjustment section that adjusts the blur correction amount based on the shutter speed.
- the information processing device determines the minimum amount of the blur correction amount based on the target amount of the blur correction amount.
- the blur correction amount adjustment unit adjusts the blur correction amount to the minimum amount when the shutter speed is less than or equal to a second speed that is a smaller value than the first speed (5) or (5) 6)
- the information processing device according to item 6).
- the blur correction amount adjustment unit adjusts the blur correction amount from the minimum amount to approach the target amount as the shutter speed approaches the second speed from the first speed (5) to (7). ).
- the information processing device is an exposure adjustment section that adjusts the shutter speed based on the blur correction amount.
- the value related to blur correction is a blur correction setting value used to calculate the blur correction amount.
- the blur correction setting value is a tracking speed of blur correction.
- the blur correction setting value is a cutoff frequency.
- the adjustment section is a blur correction setting value adjustment section that adjusts the blur correction setting value based on the shutter speed.
- the information processing device according to any one of (10) to (13), including a blur correction amount generation unit that generates a blur correction amount based on the blur correction setting value.
- the information processing device according to any one of (1) to (14), including a blur correction processing section that performs blur correction processing on the image data.
- the information processing device according to any one of (1) to (15), including an imaging unit that generates the image data.
- the blur correction processing unit performs blur correction processing by cutting out a predetermined range based on the center of the image data. .
- Imaging device 201 Imaging section 204... Shake correction amount generation section 205... Shake correction amount adjustment section 206... Shake correction processing section 210... Exposure adjustment section 211... Blur correction setting value adjustment unit 300...information processing device
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
画像データのぶれを補正する電子式のぶれ補正機能とシャッター速度の制御機能を備える撮像装置におけるぶれ補正に関する値とシャッター速度を調整する調整部を備える情報処理装置である。
Description
本技術は、情報処理装置、情報処理方法およびプログラムに関する。
近年、カメラにはカメラを持つユーザの手の動きやカメラを搭載した各種機器の揺れなどにより撮像画像に生じるぶれを補正する機能が備わっている。このぶれ補正機能は撮像装置が動く場合でもぶれの少ない画像が取得できるため有用である。ぶれ補正の方式としては、機械式、光学式、出力より広い画角が撮れる光学系及びイメージセンサの出力からぶれ量に応じた切り出しを行うことで補正する電子式などがある。昨今では、ジャイロセンサや加速度センサの情報を用い、水平維持機能を持つ撮像装置も実現されている。
ぶれ補正には様々な手法があり、例えば、第1の防振部で画像データに対して防振処理を実行し、第2の防振部が、第1の防振部が出力した防振処理の内容に関する補助情報に基づいて、第1の防振部による防振処理の影響を除去する制御処理を行いつつ、再度防振処理を実行することで精度の高いぶれ補正を実現する技術が提案されている(特許文献1)。
特許文献1で示すように、ぶれ補正機能についてはさらなる精度の向上のために様々な方式が提案されている。また、電子式のぶれ補正機能によって補正された画像は、撮像装置が動いているときは動きボケを含んだ画となり、撮像装置が静止しているときは動きボケを含まない画となり、出力結果に差が生じ、撮像装置の動き量が多ければ多いほど違和感を覚える画像になるという問題もある。
本技術はこのような点に鑑みなされたものであり、電子式のぶれ補正において撮像画像に生じる違和感を抑えることができる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。
上述した課題を解決するために、第1の技術は、画像データのぶれを補正する電子式のぶれ補正機能とシャッター速度の制御機能を備える撮像装置におけるぶれ補正に関する値とシャッター速度のいずれか一方を調整する調整部を備える情報処理装置である。
また、第2の技術は、画像データのぶれを補正する電子式のぶれ補正機能とシャッター速度の制御機能を備える撮像装置におけるぶれ補正に関する値とシャッター速度のいずれか一方を調整する情報処理方法である。
さらに、第3の技術は、画像データのぶれを補正する電子式のぶれ補正機能とシャッター速度の制御機能を備える撮像装置におけるぶれ補正に関する値とシャッター速度のいずれか一方を調整する情報処理方法をコンピュータに実行させるプログラムである。
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<1.第1の実施の形態>
[1-1.本技術が解決する課題]
[1-2.撮像装置10と情報処理装置300の構成]
[1-3.情報処理装置300による処理]
<2.第2の実施の形態>
[2-1.撮像装置10と情報処理装置300の構成および情報処理装置300による処理]
<3.第3の実施の形態>
[3-1.撮像装置10と情報処理装置300の構成および情報処理装置300による処理]
<4.変形例>
<1.第1の実施の形態>
[1-1.本技術が解決する課題]
[1-2.撮像装置10と情報処理装置300の構成]
[1-3.情報処理装置300による処理]
<2.第2の実施の形態>
[2-1.撮像装置10と情報処理装置300の構成および情報処理装置300による処理]
<3.第3の実施の形態>
[3-1.撮像装置10と情報処理装置300の構成および情報処理装置300による処理]
<4.変形例>
<1.第1の実施の形態>
[1-1.本技術が解決する課題]
まず、本技術が解決する課題について説明する。図1はぶれ補正を機能させずに(またはぶれ補正機能を備えない)撮像装置CAMで静止している被写体Pを撮像する、課題を説明するための第1の例である。
[1-1.本技術が解決する課題]
まず、本技術が解決する課題について説明する。図1はぶれ補正を機能させずに(またはぶれ補正機能を備えない)撮像装置CAMで静止している被写体Pを撮像する、課題を説明するための第1の例である。
まず図1Aに示すように、撮像装置CAMの撮像方向(レンズが向く方向)において被写体Pが撮像装置CAMの右側に位置している状態で撮像装置CAMを動かすことなく撮像を行う。そうすると、撮像画像において被写体Pは右側に位置しており、動きボケは発生していない。動きボケとは、被写体Pまたは撮像装置CAMが動くことで撮像画像内の被写体Pが流れるようにぶれたり、残像が発生することである。
また図1Bに示すように、撮像装置CAMを図1Aの状態から右回りにパンさせている最中に撮像を行うと、撮像装置CAMの動きによるぶれは補正されずに図1Aの状態に比べて被写体Pは撮像画像において左側に位置し、構図が変化している。さらに、被写体Pが静止していても撮像装置CAMの動きにより撮像画像において被写体Pの動きボケが発生している。
さらに図1Cに示すように、撮像装置CAMを右回りに90度パンさせると撮像装置CAMの撮像方向(レンズが向く方向)において被写体Pは撮像装置CAMの左側に位置することになる。撮像装置CAMを右回りに90度にパンさせた時点で撮像を行うと、撮像画像において被写体Pの動きボケは発生していない。しかし、撮像装置CAMの動きによるぶれは補正されていないため、被写体Pは撮像画像において左側に位置することになり、図1Aの撮像画像とは構図が変化している。
このようにぶれ補正を機能させない(またはぶれ補正機能を備えない)場合、撮像装置CAMが動くと撮像画像の構図の変化し、さらに、被写体Pには撮像装置CAMの動きのよる動きボケが発生するため、撮像画像に違和感が生じることはない。
図2はぶれ補正を機能させて撮像装置CAMで静止している被写体Pを撮像する、課題を説明するための第2の例である。なお、撮像装置CAMと被写体Pの位置などの撮像条件は第1の例と同じである。
まず図2Aに示すように、撮像装置CAMの撮像方向(レンズが向く方向)において被写体Pが撮像装置CAMの右側に位置している状態で撮像装置CAMを動かすことなく撮像を行う。そうすると、撮像画像において被写体Pは右側に位置している。
また図2Bに示すように、撮像装置CAMを図2Aの状態から右回りにパンさせている最中に撮像を行うと、撮像装置CAMの動きにより撮像画像において被写体Pの動きボケが発生する。また、撮像装置CAMの動きをキャンセルするようにぶれ補正が施されることにより構図の変化が抑えられ、撮像画像において被写体Pは図2Aと同様に右側に位置している。図2Bにおける矢印bの長さはぶれ補正により撮像画像の構図の変化が抑えられたことによる被写体Pの位置の移動量を示している。
さらに図2Cに示すように、撮像装置CAMを右回りに90度パンさせると撮像装置CAMの撮像方向(レンズが向く方向)において被写体Pは撮像装置CAMの左側に位置することになる。撮像装置CAMを右回りに90度にパンさせた時点で撮像を行うと、撮像装置CAMの動きをキャンセルするようにぶれ補正が施されることで構図の変化が抑えられ、撮像画像において被写体Pは図2Aと同様に右側に位置している。図2Cにおける矢印cの長さはぶれ補正により撮像画像の構図の変化が抑えられたことによる被写体Pの位置の移動量を示している。
このようにぶれ補正を行う場合、撮像装置CAMの動きによる撮像画像の構図の変化がぶれ補正により抑えられるにも関わらず、撮像装置CAMの動きによる被写体Pの動きボケが残るため、撮像画像に違和感が生じることになる。
図3は、図2で示したぶれ補正により生じる違和感を解消するためにぶれ補正を行い、さらに速いシャッター速度でシャッターを切って撮像する、課題を説明するための第3の例である。なお、撮像装置10と被写体Pの位置などの撮像条件は第1および第2の例と同じである。
まず図3Aに示すように、撮像装置CAMの撮像方向(レンズが向く方向)において被写体Pが撮像装置CAMの右側に位置している状態で撮像装置CAMを動かすことなく撮像を行う。そうすると撮像画像において被写体Pは右側に位置しており、動きボケは発生していない。
また図3Bに示すように、撮像装置CAMを図3Aの状態から右回りにパンさせている最中に撮像を行うと、シャッターを切って露光時間が短くなったことにより、撮像装置CAMの動きにより発生する被写体Pの動きボケが抑えられる。さらに、撮像装置CAMの動きをキャンセルするようにぶれ補正が施されることにより構図の変化が抑えられ、撮像画像において被写体Pは図3Aと同様に右側に位置している。図3Bにおける矢印bの長さはぶれ補正により撮像画像の構図の変化が抑えられたことによる被写体Pの位置の移動量を示している。
さらに図3Cに示すように、撮像装置CAMを右回りに90度パンさせると撮像装置CAMの撮像方向(レンズが向く方向)において被写体Pは撮像装置CAMの左側に位置することになる。撮像装置CAMを右回りに90度にパンさせた時点で撮像を行うと、撮像装置CAMの動きをキャンセルするようにぶれ補正が施されることで構図の変化が抑えられ、撮像画像において被写体Pは図3Aと同様に右側に位置している。図3Cにおける矢印cの長さはぶれ補正により撮像画像の構図の変化が抑えられたことによる被写体Pの位置の移動量を示している。
このように速いシャッター速度でシャッターを切ることにより動きボケを抑え、さらに、ぶれ補正により構図の変化も抑えることができ、撮像画像における違和感を解消することはできる。しかし、シャッターを切って露光時間が短くなったことによりシャッターを切らない場合に比べて撮像画像が暗くなるという問題がある。
また、シャッターを切ることにより撮像画像が暗くなるという問題を解決するためにND(Neutral Density)、アイリス、ゲインなどを調整することで撮像画像の明るさを補正することができる。しかし、これらの画像処理は明るさだけでなく画質にも影響を与えてしまうため、図4に示すようにゲインを上げることによりノイズが増えて、画質が劣化してしまうという問題がある。また、ユーザが望む画質にならない場合もある。さらに、夜のように撮像環境が暗い場合、NDやアイリスの調整は画質調整に有効ではないためゲインを上げる必要があるが、ゲインを上げることにより撮像画像のノイズが増えるという問題もある。
[1-2.撮像装置10と情報処理装置300の構成]
次に図5を参照して本技術の撮像装置10と情報処理装置300の構成について説明する。撮像装置10は、レンズヘッド100、カメラ本体200、情報処理装置300により構成されている。
次に図5を参照して本技術の撮像装置10と情報処理装置300の構成について説明する。撮像装置10は、レンズヘッド100、カメラ本体200、情報処理装置300により構成されている。
図6に示すようにレンズヘッド100は、被写体からの光を撮像素子に集光するための光学レンズやフォーカスを合わせるためのフォーカスレンズを含むレンズ101、レンズ101に関する情報を保持するレンズ情報記憶部102、レンズ101を動かすためのレンズ駆動ドライバ(図示せず)などを備えて構成されている。レンズ101を介して得られた被写体の光画像は、撮像部201における撮像素子上に結像される。
レンズヘッド100はカメラ本体200とは別体の部材として構成され、カメラ本体200に装着するものである。よって図6に示すように、カメラ本体200に装着されているレンズヘッド100を他のレンズヘッド100Bに交換することが可能である。レンズヘッド100は例えばネジ止めなどによりカメラ本体200に固着される。レンズヘッド100は交換可能であるため、それ単体で製品として取引対象とすることができる。レンズヘッド100を取引対象とする場合、同軸ケーブルおよび基板とセットにして取引するようにしてもよい。
レンズ情報記憶部102は、例えばEPROM(Erasable Programmable Read Only Memory)により構成されている。レンズ情報記憶部102にはレンズ個体の固有値であるレンズ中心ズレ値、レンズ種別の固定値であるレンズシェーディング補正データ、歪み補正データ、レンズの種別情報などのレンズ101に関する各種の情報が予め格納されている。
レンズ情報記憶部102にはレンズに関する情報が格納されているため、レンズヘッド100の交換後や撮像装置10の起動時にカメラ本体200はレンズ情報記憶部102からレンズに関する情報を読み出す。そして、カメラ本体200は装着されたレンズ101に関する情報に基づいて認識して、そのレンズ101に合った動作モードに自動で遷移して撮像を行う。
さらに、図6に示すようにレンズヘッド100に装着されているレンズ101を別のレンズに交換することも可能である。図6では、レンズヘッド100に装着されているレンズ101とレンズ101Cが交換可能であり、さらに、レンズヘッド100Bに装着されているレンズ101Bとレンズ101Cが交換可能である例を示している。レンズヘッド100には広角レンズ、狭角レンズ、魚眼レンズなど様々なレンズを装着することができる。
ユーザはレンズヘッド100をパーソナルコンピュータなどのデバイスに接続することによりレンズ情報記憶部102に格納されている情報を書き換えることができる。よって、ユーザはレンズ101を交換した場合にはレンズヘッド100をパーソナルコンピュータなどに接続してレンズ情報記憶部102の情報を新たに装着されたレンズの情報に書き換える。これにより、カメラ本体200が新たに装着されたレンズを認識してそのレンズに合った動作モードに自動で遷移して撮像を行うことができる。
カメラ本体200は、撮像部201、センサ部202、露出制御部203、ぶれ補正量生成部204、ぶれ補正量調整部205、ぶれ補正処理部206、現像処理部207、出力処理部208、通信部209を備えて構成されている。露出制御部203、ぶれ補正量生成部204、ぶれ補正量調整部205、ぶれ補正処理部206により情報処理装置300が構成されている。
撮像部201は、レンズ101を通して得られた被写体からの入射光を光電変換して電荷量に変換して画像データを生成する撮像素子とシャッター機構とを含むものである。撮像部201は生成した画像データを露出制御部203とぶれ補正処理部206に出力する。撮像素子としては、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などが用いられる。シャッター機構は露出制御部203から取得したシャッター速度に基づいてシャッターを駆動させて露光時間を調整する。シャッター機構はメカシャッター方式、電子シャッター方式など方式は問わずどのような方式でもよい。
センサ部202は、撮像装置10の動きの角速度や加速度を検出する各種のセンサである。センサとしてはIMU(Inertial Measurement Unit)、慣性センサ(2軸または3軸方向に対する加速度センサ、角速度センサ、ジャイロセンサ)などがある。センサ部202として複数のセンサを併用してもよい。センサ部202はセンシング結果をぶれ補正量生成部204に出力する。なお、センサ部202はカメラ本体200が備えるものではなく外部装置として構成され、センシング結果を有線または無線の通信でカメラ本体200に送信するものでもよい。
露出制御部203はユーザの入力や撮像装置10が予め備える機能などに基づいて露光時間の調整のためにシャッター速度を設定する。このようにカメラ本体200はシャッター速度の制御機能を有する。露出制御部203は設定したシャッター速度を撮像部201とぶれ補正量調整部205に出力する。
ぶれ補正量生成部204は、センサ部202から取得したセンシング結果を用いて一般的なぶれ補正のアルゴリズムなどに基づいてぶれ補正量を生成する。ぶれ補正量生成部204はぶれ補正量をぶれ補正量調整部205に出力する。ぶれ補正量とは、撮像部201から出力された画像データから所定サイズの画像データをぶれの度合いに応じて切り出すことでぶれを補正する電子式のぶれ補正における、画像データの切り出し位置の移動量である。ぶれ補正量は請求の範囲におけるぶれ補正に関する値に相当するものである。
ぶれ補正量調整部205は、予め用意された調整用データを保持しており、その調整用データと、露出制御部203から取得したシャッター速度とに基づいてぶれ補正量を調整する。ぶれ補正量調整部205は調整したぶれ補正量(調整済ぶれ補正量と称する)をぶれ補正処理部206に出力する。
ぶれ補正処理部206は調整済ぶれ補正量に基づいて画像データから所定サイズの画像を切り出す電子式のぶれ補正方法でぶれ補正処理を行う。ぶれ補正処理部206は、図7に示すように、入力された画像データと回転ベクトルのメッシュにそれぞれレンズ歪み除去と回転処理を施し、画像データを回転ベクトルのメッシュに貼り付け、例えば、4K(水平3840×垂直2160)の画像データからフルHD(水平1920×垂直1080)の画像データを切り出すことでぶれを補正する。なお、ぶれ補正処理は一般的な手法でよく、センサ部202としてのジャイロセンサやIMUなどからのセンシング結果を用いる手法や過去フレームとの位置合わせを画像処理で行う方法などでもよい。
現像処理部207は、ぶれ補正処理部206によりぶれ補正処理が施された画像データに対して、所定の画像処理、例えば、ゲイン補正処理、ホワイトバランス処理、色調整処理、Debayer処理、アスペクト変換処理などを行う。
出力処理部208は、現像処理部207から出力された画像データに対して圧縮符号化、出力形式の変換などの出力用の処理を行う。符号化方式としては例えば、MPEG(Moving Picture Experts Group)、JPEG(Joint Photographic Experts Group)などが適用される。非圧縮RAWのまま保存する場合には圧縮符号化しなくてもよい。出力形式としては例えば、MDMI(High-Definition Multimedia Interface)、SDI(Serial Digital Interface)などがある。
通信部209は、他の外部装置やインターネットなどとの間の通信を行う通信モジュールである。通信方式は有線、無線のどちらでもよく、具体的には、セルラー通信、4G(第4世代移動通信システム)、5G(第5世代移動通信システム)、Wi-Fi、Bluetooth(登録商標)、NFC(Near Field Communication)、イーサネット(登録商標)、HDMI(登録商標)(High-Definition Multimedia Interface)、USB(Universal Serial Bus)などがある。出力処理部208から出力された画像データは撮像画像として通信部209およびネットワークを介してパーソナルコンピュータなどの外部装置に送信される。撮像装置10はリアルタイムで撮像画像を外部装置に送信することも可能である。尚、撮像装置10は通信部209を備えなくても構わない。
また、図示は省略するが撮像装置10は、記憶媒体、表示部、制御部、入力部などを備えていてもよい。
記憶媒体は、撮像画像を保存するものであり、磁気テープ、光ディスクなどの可搬型記録媒体のドライブ装置、HDD(Hard Disk Drive)、SSD(Solid State Drive)等などにより構成されている。記憶媒体は有線または無線接続により撮像装置10に接続された外部装置でもよい。出力処理部208から出力された画像データは記憶媒体に撮像画像として保存してもよい。
表示部は、撮像画像、スルー画、GUI(Graphical User Interface)などを表示するものである。表示部は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)パネルなどにより構成されるモニタディスプレイや、EVF(Electronic View Finder:電子ビューファインダー)で実現される。なお、表示部は有線または無線接続により撮像装置10に接続された外部装置でもよい。
制御部は、CPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)などから構成されている。CPUがROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置10の全体および各部の制御を行う。
入力部は、撮像装置10に対してユーザが各種指示などの入力を行うためのものである。入力部に対してユーザから入力がなされると、その入力に応じた制御信号が生成されて撮像装置10はその制御信号に対応した各種処理を行う。入力部としてはレリーズ指示のためのレリーズボタン、各種操作のための物理ボタンの他、タッチパネル、表示部と一体に構成されたタッチスクリーンなどがある。
撮像装置10と情報処理装置300は以上のようにして構成されている。情報処理装置300はその機能を有するハードウェアによる専用の装置として構成されてもよいし、プログラムの実行により撮像装置10が情報処理装置300として機能を備え、情報処理方法が実現されてもよい。そのプログラムは予め撮像装置10にインストールされていてもよいし、ダウンロードや記憶媒体などで配布されて、ユーザが撮像装置10にインストールするようにしてもよい。また、情報処理装置300が撮像部201を備えている構成でもよい。
[1-3.情報処理装置300による処理]
次に図8を参照して第1の実施の形態における情報処理装置300の処理について説明する。上述の課題を解決するために、第1の実施の形態では電子式のぶれ補正機能を備える撮像装置10において、ぶれ補正量調整部205がシャッター速度に基づいてぶれ補正量を調整する。
次に図8を参照して第1の実施の形態における情報処理装置300の処理について説明する。上述の課題を解決するために、第1の実施の形態では電子式のぶれ補正機能を備える撮像装置10において、ぶれ補正量調整部205がシャッター速度に基づいてぶれ補正量を調整する。
まずステップS11で、ぶれ補正量生成部204がセンサ部202から受信したセンシング結果に基づいてぶれ補正量の目標量を生成する。ぶれ補正量生成部204はぶれ補正量の目標量をぶれ補正量調整部205に出力する。ぶれ補正量の目標量とはセンシング結果に基づいて算出されるぶれ補正量の100%の値(最大量)である。
次にステップS12で、露出制御部203がシャッター速度を設定する。露出制御部203はシャッター速度をぶれ補正量調整部205に出力する。
なお、ステップS11とステップS12は逆の順序で行ってもよいし、同時またはほぼ同時に行ってもよい。
次にステップS13で、ぶれ補正量調整部205は、ぶれ補正量の目標量に対して所定の倍率(0倍~1倍)を乗ずることでぶれ補正量の最小量を算出する。所定の倍率は例えば撮像装置10や情報処理装置300の設計時や製造時などにおいて予め設定しておいてもよいし、ユーザが設定できるようにしてもよい。
さらに、ぶれ補正量調整部205はぶれ補正量(目標量と最小量)と、シャッター速度と、予め用意されている図9に示す調整用データに基づいて、シャッター速度に応じてぶれ補正量を調整する。ぶれ補正量調整部205は調整済ぶれ補正量をぶれ補正処理部206に出力する。
具体的には図9に示すように、シャッター速度が第1の速度以上である場合には、シャッター速度が第1の速度未満である場合よりもぶれ補正量を大きくして目標量になるように調整する。また、シャッター速度が第1の速度より小さい第2の速度以下である場合には、シャッター速度が第2の速度より大きい場合よりもぶれ補正量を小さくして最小量になるように調整する。さらに、シャッター速度が第2の速度以上であり、かつ、第1の速度以下である場合には、シャッター速度が速くなるに従いぶれ補正量が目標量に近づくように調整する。なお、図9に示す調整用データの特性は線形的ではなく指数関数的に変化するものでもよいし、二次関数的に変化するものでもよく、ユースケースに応じて調整するとよい。
撮像画像における被写体の動きボケを強く抑えるためにはシャッター速度を速くし、被写体の動きボケを弱く抑えるためにはシャッター速度を遅くする。また、構図の変化を強く抑えるためには調整済ぶれ補正量を大きくし、構図の変化を弱く抑えるためには調整済ぶれ補正量を小さくする。
なお、図9においてはシャッター速度の第1の速度を「1/250」とし、第2の速度を「1/200」としているがこれはあくまで一例であり、本技術がこの値に限定されるものではない。
このようにしてぶれ補正量調整部205は露出制御部203が設定するシャッター速度に応じてぶれ補正量を調整して調整済ぶれ補正量を決定する。
そしてステップS14で、ぶれ補正処理部206が調整済ぶれ補正量に基づいて画像データに対してぶれ補正処理を施す。ぶれ補正処理が施された画像データは現像処理部207および出力処理部208による処理が施されることにより撮像画像として出力される。
以上のようにして第1の実施の形態における情報処理装置300の処理が行われる。上述したように、撮像画像中において被写体の動きボケがあるにも関わらず、ぶれ補正により構図の変化がないと撮像画像に違和感が生じることになる。しかし、第1の実施の形態によれば、動きボケを弱く抑えるためにシャッター速度を遅くすると調整済ぶれ補正量が最小量に近づいて小さくなり構図の変化も弱く抑えることになる。よって、撮像画像における違和感を抑制することができる。
この点について図10を参照して説明する。なお、撮像装置10と被写体Pの位置などの撮像条件は図1乃至図4の例と同じである。
まず図10Aに示すように、撮像装置10の撮像方向(レンズが向く方向)において被写体Pが撮像装置10の右側に位置している状態で撮像装置10を動かすことなく撮像を行う。そうすると、撮像画像において被写体Pは右側に位置している。これは図2Aと同様である。
また図10Bに示すように撮像装置10を図10Aの状態から右回りにパンさせている最中に撮像を行うと、シャッターを切ったことで露光時間が短くなり、撮像装置10の動きにより発生する被写体Pの動きボケが抑えられている。しかし、シャッター速度が遅く設定されているため動きボケは弱く抑えられるので、図2Bに比べて動きボケは抑えられてはいるが残っている。
また、撮像装置10の動きをキャンセルするようにぶれ補正が施されるため、撮像装置10の動きにより構図が変化して左側に移動した被写体Pが右側に移動するようにぶれ補正されて構図の変化が抑えられている。しかし、シャッター速度を遅くすると調整済ぶれ補正量が最小量に近づき小さくなるため構図の変化は弱く抑えられ、図10Bにおけるぶれ補正後の被写体Pの位置は図2Bに比べて左側に位置することになる。
図10Bにおける矢印b’の長さはぶれ補正により撮像画像の構図の変化が抑えられたことによる被写体Pの位置の移動量を示している。矢印b’の長さが示す被写体Pの移動量は、矢印bが示す図2Bにおける構図の変化が抑えられたことによる被写体Pの移動量よりも短くなっている。すなわち、図10Bは図2Bに比べて構図の変化が弱く抑えられている。
さらに図10Cに示すように、撮像装置10を右回りに90度パンさせると撮像装置10の撮像方向(レンズが向く方向)において被写体Pは撮像装置10の左側に位置することになる。撮像装置10を右回りに90度にパンさせた時点で撮像を行うと、撮像装置10の動きをキャンセルするようにぶれ補正が施される。しかし、シャッター速度を遅くすると調整済ぶれ補正量が最小量に近づき小さくなるため構図の変化は弱く抑えられ、図10Cにおけるぶれ補正後の被写体Pの位置は図2Cに比べて左側に位置することになる。
図10Cにおける矢印c’の長さはぶれ補正により撮像画像の構図の変化が抑えられたことによる被写体Pの位置の移動量を示している。矢印c’の長さが示す被写体Pの移動量は、矢印cが示す図2Cにおける構図の変化が抑えられたことによる被写体Pの移動量よりも短くなっている。すなわち、図10Cは図2Cに比べて構図の変化が弱く抑えられている。
このように、動きボケを弱く抑えるためにシャッター速度を遅くすると調整済ぶれ補正量が最小量に近づき小さくなるため、構図の変化も弱く抑えることになる。よって、撮像画像における違和感を抑制することができる。
一方、動きボケを強く抑えるためにシャッター速度を速くすると調整済ぶれ補正量は目標量に近づき大きくなるため、構図の変化も強く抑えることになる。したがって、この場合も撮像画像における違和感を抑制することができる。
また、第1の実施の形態によれば、例えば撮像画像が暗くなることを防ぐためにユーザが露光時間を短くしたくない(露光時間を長くしたい)場合にはシャッター速度を第2の速度に近づけると調整済ぶれ補正量は最小量に近づく。さらにシャッター速度を第2の速度以下にすると調整済ぶれ補正量は最小値になる。これにより、電子式手ぶれ補正機能がない通常の撮像装置10の動作に近づくため違和感の少ない撮像画像が撮れるようになる。
このように、ぶれ補正機能を備える撮像装置10を用いた撮像において撮像装置10の動きによる「動きボケ」と「構図の変化」との両方が現れる画像を適切な明るさや画質で取得することができる。
本技術は撮像画像における違和感を抑えながら、撮像装置10の動きによるぶれを補正して構図の変化を抑えることができるため、撮像装置10の動きや振動が大きい場合に有用である。例えば、本技術は移動体であるバイクに搭載して走行中のバイクの前方や後方、運転手の顔などを撮像する場合に有用である。なお、移動体はバイク以外、例えば自転車、自動車、ドローン、船舶、人などでもよい。また、撮像装置10は移動体に搭載するものに限られず、人が手に持って使用するデジタルカメラ、一眼レフカメラ、カムコーダー、業務用カメラ、プロ仕様撮像機器などでもよい。
<2.第2の実施の形態>
[2-1.撮像装置10と情報処理装置300の構成および情報処理装置300による処理]
次に図11を参照して本技術の第2の実施の形態について説明する。撮像装置10と情報処理装置300の構成については第1の実施の形態と異なる処理を行う処理部についてのみ説明する。
[2-1.撮像装置10と情報処理装置300の構成および情報処理装置300による処理]
次に図11を参照して本技術の第2の実施の形態について説明する。撮像装置10と情報処理装置300の構成については第1の実施の形態と異なる処理を行う処理部についてのみ説明する。
ぶれ補正量生成部204は、センサ部202から取得したセンシング結果を用いて一般的なぶれ補正のアルゴリズムなどに基づいてぶれ補正量を生成する。ぶれ補正量生成部204はぶれ補正量を露出調整部210とぶれ補正処理部206に出力する。
露出調整部210は、ぶれ補正量生成部204から取得したぶれ補正量と予め用意されている図12に示す調整用データに基づいてシャッター速度を調整して調整済シャッター速度を決定する。露出調整部210は調整済シャッター速度を撮像部201に出力する。撮像部201は調整済シャッター速度に基づいてシャッター制御を行う。このように、露出調整部210がぶれ補正量に基づいてシャッター速度を調整する点が第2の実施の形態の特徴である。
第2の実施の形態では、ぶれ補正量に応じてシャッター速度の下限値(つまり最大露光時間)を求め、これにより露光制御回路に制約を設ける。まず、図12の調整用データに基づいてぶれ補正量からシャッター速度の下限値を算出する。この下限値をシャッター速度の制限値としてシャッター速度を調整する。縦軸(シャッター速度下限)の無制限は撮像装置10の能力値により決まる。動画の場合、通常フレームレートに律速される。一方、下限値は基本的にカメラ設計者が予め決めておく値であるが、ユーザが決定できるようにしてもよい。
具体的には図12に示すように、ぶれ補正量が第1の閾値以上である場合には、ぶれ補正量が第1の閾値未満である場合よりもシャッター速度を遅くして下限値になるように調整する。また、ぶれ補正量が第1の閾値より小さい第2の閾値以下である場合には、ぶれ補正量が第2の閾値より大きい場合よりもシャッター速度を速くして無制限になるように調整する。さらに、ぶれ補正量が第2の閾値以上であり、かつ、第1の閾値以下である場合には、ぶれ補正量が大きくなるに従いシャッター速度が下限値に近づくように調整する。なお、図12に示す調整用データの特性は、線形的ではなく指数関数的に変化するものでもよいし、二次関数的に変化するものでもよく、ユースケースに応じて調整するとよい。
ぶれ補正処理部206はぶれ補正量生成部204から取得したぶれ補正量に基づいて画像データから所定サイズの画像を切り出す電子式のぶれ補正方法でぶれ補正処理を行う。ぶれ補正の手法は第1の実施の形態と同様である。ぶれ補正処理が施された画像データは現像処理部207および出力処理部208による処理が施されることにより撮像画像として出力される。
撮像装置10および情報処理装置300のその他の構成および処理は第1の実施の形態と同様である。
以上のようにして第2の実施の形態における情報処理装置300の処理が行われる。第2の実施の形態によれば、例えば、構図の変化を弱く抑えるためにぶれ補正量を小さくするとシャッター速度は遅くなり動きボケを弱く抑えることになる。よって、第1の実施の形態と同様に撮像画像における違和感を抑制することができる。
また、構図の変化を強く抑えるためにぶれ補正量を大きくするとシャッター速度は速くなり動きボケを強く抑えることになる。よって、第1の実施の形態と同様に撮像画像における違和感を抑制することができる。このようにぶれ補正量を優先し、大きなぶれ補正量が必要な場合はシャッター速度を速くして露光時間を短くし、小さなぶれ補正量で済む場合はシャッター速度を遅くして必要な分の露光時間を確保するという設定も可能である。この場合、撮像装置10が動くと露光時間が変化して明るさが変わるため、ND、アイリス、ゲインなどで撮像画像は一定の明るさになるよう調整されるのが望ましい。
<3.第3の実施の形態>
[3-1.撮像装置10と情報処理装置300の構成および情報処理装置300による処理]
次に図13を参照して本技術の第3の実施の形態について説明する。撮像装置10と情報処理装置300の構成については第1の実施の形態と異なる処理を行う処理部についてのみ説明する。
[3-1.撮像装置10と情報処理装置300の構成および情報処理装置300による処理]
次に図13を参照して本技術の第3の実施の形態について説明する。撮像装置10と情報処理装置300の構成については第1の実施の形態と異なる処理を行う処理部についてのみ説明する。
露出制御部203はユーザの入力や撮像装置10が予め備える機能などに基づいて露光時間の調整のためにシャッター速度を設定する。露出制御部203は設定したシャッター速度を撮像部201とぶれ補正設定値調整部211に出力する。
ぶれ補正設定値調整部211は、露出制御部203から取得したシャッター速度と予め用意されている図14に示す調整用データに基づいて、ぶれ補正量生成部204がぶれ補正量を生成するための演算に使用するぶれ補正設定値を調整する。ぶれ補正設定値は請求の範囲におけるぶれ補正に関する値に相当するものである。ぶれ補正設定値としては例えば、補正追従速度やカットオフ周波数などがある。ただし、ぶれ補正設定値はこれらに限られず、ぶれ補正量を生成するための演算に使用する値であればどのような値でもよい。このように、ぶれ補正設定値調整部211がシャッター速度に基づいてぶれ補正設定値を調整する点が第3の実施の形態の特徴である。
具体的には図14に示すように、シャッター速度が第1の速度以上である場合にはぶれ補正設定値を大きくして目標量になるように調整する。また、シャッター速度が第1の速度より小さい第2の速度以下である場合にはぶれ補正設定値を小さくして最小量になるように調整する。さらに、シャッター速度が第2の速度以上である場合には、シャッター速度が速くなるに従いぶれ補正設定値が目標量に近づくように調整する。なお、図14に示す調整用データの特性は、線形的ではなく指数関数的に変化するものでもよいし、二次関数的に変化するものでもよく、ユースケースに応じて調整するとよい。
ぶれ補正量生成部204は、センサ部202から取得したセンシング結果と、ぶれ補正設定値調整部211から取得したぶれ補正設定値を用いて一般的なぶれ補正のアルゴリズムなどに基づいてぶれ補正量を生成する。ぶれ補正設定値が低い値に調整された場合にはぶれ補正量生成部204により生成される補正量も小さくなり、ぶれ補正設定値が高い値に調整された場合にはぶれ補正量も大きくなる。ぶれ補正量生成部204はぶれ補正量をぶれ補正処理部206に出力する。
ぶれ補正処理部206はぶれ補正量に基づいて画像データから所定サイズの画像を切り出す電子式のぶれ補正方法でぶれ補正処理を行う。ぶれ補正の手法は第1の実施の形態と同様である。ぶれ補正処理が施された画像データは現像処理部207および出力処理部208による処理が施されることにより撮像画像として出力される。
撮像装置10および情報処理装置300のその他の構成は第1の実施の形態と同様である。
以上のようにして第3の実施の形態における情報処理装置300の処理が行われる。第3の実施の形態によれば、手ぶれ補正量そのものではなく、手ぶれ補正量を生成するための各種の設定値の調整にも本技術を適用することができる。シャッター速度に基づいてぶれ補正設定値を調整し、ぶれ補正設定値に基づいて調整済ぶれ補正量を決定することにより、第1の実施の形態と同様に撮像画像における違和感を抑制することができる。
<4.変形例>
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
上述の第1乃至第3の実施の形態では撮像装置10が情報処理装置300としての機能を備え、撮像装置10内で全ての処理が行われるとして説明を行ったが、本技術はその構成に限られない。
図15に示すように、情報処理装置300による処理を撮像装置10と外部装置20で分けるようにしてもよい。図15の例では、図15Aに示すように撮像装置10は露出制御部203とぶれ補正量生成部204を備える。また、図15Bに示すように外部装置20はぶれ補正量調整部205、ぶれ補正処理部206を備える。外部装置20としては例えば、サーバ、パーソナルコンピュータ、スマートフォン、タブレット端末、カメラなどがある。
撮像装置10は露出制御部203が設定したシャッター速度と、ぶれ補正量生成部204が生成したぶれ補正量とを画像データにメタデータとして重畳して外部装置20に送信する。シャッター速度の設定とぶれ補正量の生成は第1の実施の形態と同様である。
そして通信部21で画像データを受信した外部装置20は画像データをぶれ補正処理部206に出力する。また、画像データに重畳されているメタデータとしてのシャッター速度とぶれ補正量をぶれ補正量調整部205に出力する。
ぶれ補正量調整部205は第1の実施の形態と同様にしてぶれ補正量を調整して調整済ぶれ補正量をぶれ補正処理部206に出力する。そしてぶれ補正処理部206が調整済ぶれ補正量に基づいて画像データに対してぶれ補正処理を施す。ぶれ補正処理が施された画像データは撮像画像として例えば記憶媒体22に保存される。なお、撮像画像を外部装置20から他の装置に送信するようにしてもよい。
なお、この変形例ではぶれ補正量生成部204を外部装置20が備えるように構成し、撮像装置10はセンサ部202が取得したセンシング結果を画像データにメタデータとして重畳して外部装置20に送信するようにしてもよい。この場合、外部装置20においてぶれ補正量生成部204がぶれ補正量の生成を行う。
次にフェイルセーフを実行する第2の変形例について説明する。センサ部202から出力されたセンシング結果に何らかの異常がある場合やセンサ部202が故障した場合、ぶれ補正処理部206はフェイルセーフとして画像データの中心を基準とした所定範囲を切り出すことでぶれ補正処理を行う。これにより、センシング結果に異常があっても撮像画像の出力を途切れさせることがなく、例えば撮像画像を使用する放送に支障がでることを回避できる。
画像データの中心を基準とした所定範囲を切り出しは、例えば、ぶれ補正量生成部204においてぶれ補正量を0として生成することにより実現できる。ぶれ補正量を0とすることにより、ぶれ補正量調整部205でぶれ補正量を調整しても0に倍率(0~1倍)を乗じても0であるため、結果として中心を基準とした切り出しになる。
このようにフェイルセーフを実行するか否かの判定はセンサ部202からセンシング結果を受信するぶれ補正量生成部204が行ってもよいし、撮像装置10が備える制御部などで行うようにしてもよいし、判定専用の処理部が行うようにしてもよい。
また、ぶれ補正量を調整するための調整用データは、図9に示すものに限られず、例えば図16に示すようにヒステリシスを持つ特性でもよい。例えば、撮像環境(屋内、屋外など)ごとに複数の調整用データを用意して、撮像環境に応じて使用する調整用データを選択してもよい。また、被写体Pの種類ごとに複数の調整用データを用意して、被写体Pに応じて使用する調整用データを選択してもよい。例えば、複数の調整用データからユーザによって予め選択された調整用データを用いてもいいし、撮像装置10の制御部(不図示)が撮像部201から送信された画像データを用いて撮像シーン(撮像環境や被写体)を認識し、認識結果に基づいて調整用データを選択するようにしてもよい。
また、実施の形態ではレンズ101を含むレンズヘッド100がカメラ本体200に対して交換可能であるとして説明を行ったが、本技術はレンズ101とカメラ本体200が一体的に構成された撮像装置についても適用可能である。
また、本技術はスマートフォン、パーソナルコンピュータ、タブレット端末、携帯ゲーム機、ウェアラブルデバイスなどカメラ機能を備える装置であればどのような装置についても適用可能である。
また、本技術は静止画像に限られず、動画を構成するフレーム画像に対しても適用可能である。
本技術は以下のような構成も取ることができる。
(1)
画像データのぶれを補正する電子式のぶれ補正機能とシャッター速度の制御機能を備える撮像装置におけるぶれ補正に関する値と前記シャッター速度のいずれか一方を調整する調整部を備える
情報処理装置。
(2)
前記ぶれ補正に関する値は、電子式のぶれ補正における画像データの切り出し位置の移動量を示すぶれ補正量である(1)に記載の情報処理装置。
(3)
前記調整部は、前記シャッター速度に基づいて前記ぶれ補正量を調整するぶれ補正量調整部である(2)に記載の情報処理装置。
(4)
前記撮像装置の動きのセンシング結果に基づいて前記ぶれ補正量の目標量を生成するぶれ補正量生成部を備える(3)に記載の情報処理装置。
(5)
前記ぶれ補正量調整部は、前記ぶれ補正量の目標量に基づいて前記ぶれ補正量の最小量を決定する(4)に記載の情報処理装置。
(6)
前記ぶれ補正量調整部は、前記シャッター速度が第1の速度以上である場合、前記ぶれ補正量を前記目標量になるように調整する(4)または(5)に記載の情報処理装置。
(7)
前記ぶれ補正量調整部は、前記シャッター速度が前記第1の速度より小さい値である第2の速度以下である場合、前記ぶれ補正量を前記最小量となるように調整する(5)または(6)に記載の情報処理装置。
(8)
前記ぶれ補正量調整部は、前記シャッター速度が前記第1の速度から前記第2の速度に近づくにつれて前記ぶれ補正量を前記最小量から前記目標量に近づくように調整する(5)から(7)のいずれかに記載の情報処理装置。
(9)
前記調整部は、前記ぶれ補正量に基づいて前記シャッター速度を調整する露出調整部である(2)に記載の情報処理装置。
(10)
前記ぶれ補正に関する値は、前記ぶれ補正量の演算に使用するぶれ補正設定値である(1)から(9)のいずれかに記載の情報処理装置。
(11)
前記ぶれ補正設定値は、ぶれ補正の追従速度である(10)に記載の情報処理装置。
(12)
前記ぶれ補正設定値は、カットオフ周波数である(10)に記載の情報処理装置。
(13)
前記調整部は、前記シャッター速度に基づいて前記ぶれ補正設定値を調整するぶれ補正設定値調整部である(10)から(12)のいずれかに記載の情報処理装置。
(14)
前記ぶれ補正設定値に基づいてぶれ補正量を生成するぶれ補正量生成部を備える(10)から(13)のいずれかに記載の情報処理装置。
(15)
前記画像データにぶれ補正処理を施すぶれ補正処理部を備える(1)から(14)のいずれかに記載の情報処理装置。
(16)
前記画像データを生成する撮像部を備える(1)から(15)のいずれかに記載の情報処理装置。
(17)
前記撮像装置の動きのセンシング結果に異常がある場合、前記ぶれ補正処理部は、前記画像データの中心を基準とした所定範囲を切り出すことでぶれ補正処理を行う(15)に記載の情報処理装置。
(18)
前記調整部は、複数の調整用データから選択された前記調整用データに基づき前記ぶれ補正に関する値と前記シャッター速度のいずれか一方を調整する(1)から(17)のいずれかに記載の情報処理装置。
(19)
画像データのぶれを補正する電子式のぶれ補正機能とシャッター速度の制御機能を備える撮像装置における前記ぶれ補正に関する値と前記シャッター速度のいずれか一方を調整する
情報処理方法。
(20)
画像データのぶれを補正する電子式のぶれ補正機能とシャッター速度の制御機能を備える撮像装置における前記ぶれ補正に関する値と前記シャッター速度のいずれか一方を調整する
情報処理方法をコンピュータに実行させるプログラム。
(1)
画像データのぶれを補正する電子式のぶれ補正機能とシャッター速度の制御機能を備える撮像装置におけるぶれ補正に関する値と前記シャッター速度のいずれか一方を調整する調整部を備える
情報処理装置。
(2)
前記ぶれ補正に関する値は、電子式のぶれ補正における画像データの切り出し位置の移動量を示すぶれ補正量である(1)に記載の情報処理装置。
(3)
前記調整部は、前記シャッター速度に基づいて前記ぶれ補正量を調整するぶれ補正量調整部である(2)に記載の情報処理装置。
(4)
前記撮像装置の動きのセンシング結果に基づいて前記ぶれ補正量の目標量を生成するぶれ補正量生成部を備える(3)に記載の情報処理装置。
(5)
前記ぶれ補正量調整部は、前記ぶれ補正量の目標量に基づいて前記ぶれ補正量の最小量を決定する(4)に記載の情報処理装置。
(6)
前記ぶれ補正量調整部は、前記シャッター速度が第1の速度以上である場合、前記ぶれ補正量を前記目標量になるように調整する(4)または(5)に記載の情報処理装置。
(7)
前記ぶれ補正量調整部は、前記シャッター速度が前記第1の速度より小さい値である第2の速度以下である場合、前記ぶれ補正量を前記最小量となるように調整する(5)または(6)に記載の情報処理装置。
(8)
前記ぶれ補正量調整部は、前記シャッター速度が前記第1の速度から前記第2の速度に近づくにつれて前記ぶれ補正量を前記最小量から前記目標量に近づくように調整する(5)から(7)のいずれかに記載の情報処理装置。
(9)
前記調整部は、前記ぶれ補正量に基づいて前記シャッター速度を調整する露出調整部である(2)に記載の情報処理装置。
(10)
前記ぶれ補正に関する値は、前記ぶれ補正量の演算に使用するぶれ補正設定値である(1)から(9)のいずれかに記載の情報処理装置。
(11)
前記ぶれ補正設定値は、ぶれ補正の追従速度である(10)に記載の情報処理装置。
(12)
前記ぶれ補正設定値は、カットオフ周波数である(10)に記載の情報処理装置。
(13)
前記調整部は、前記シャッター速度に基づいて前記ぶれ補正設定値を調整するぶれ補正設定値調整部である(10)から(12)のいずれかに記載の情報処理装置。
(14)
前記ぶれ補正設定値に基づいてぶれ補正量を生成するぶれ補正量生成部を備える(10)から(13)のいずれかに記載の情報処理装置。
(15)
前記画像データにぶれ補正処理を施すぶれ補正処理部を備える(1)から(14)のいずれかに記載の情報処理装置。
(16)
前記画像データを生成する撮像部を備える(1)から(15)のいずれかに記載の情報処理装置。
(17)
前記撮像装置の動きのセンシング結果に異常がある場合、前記ぶれ補正処理部は、前記画像データの中心を基準とした所定範囲を切り出すことでぶれ補正処理を行う(15)に記載の情報処理装置。
(18)
前記調整部は、複数の調整用データから選択された前記調整用データに基づき前記ぶれ補正に関する値と前記シャッター速度のいずれか一方を調整する(1)から(17)のいずれかに記載の情報処理装置。
(19)
画像データのぶれを補正する電子式のぶれ補正機能とシャッター速度の制御機能を備える撮像装置における前記ぶれ補正に関する値と前記シャッター速度のいずれか一方を調整する
情報処理方法。
(20)
画像データのぶれを補正する電子式のぶれ補正機能とシャッター速度の制御機能を備える撮像装置における前記ぶれ補正に関する値と前記シャッター速度のいずれか一方を調整する
情報処理方法をコンピュータに実行させるプログラム。
10・・・・撮像装置
201・・・撮像部
204・・・ぶれ補正量生成部
205・・・ぶれ補正量調整部
206・・・ぶれ補正処理部
210・・・露出調整部
211・・・ぶれ補正設定値調整部
300・・・情報処理装置
201・・・撮像部
204・・・ぶれ補正量生成部
205・・・ぶれ補正量調整部
206・・・ぶれ補正処理部
210・・・露出調整部
211・・・ぶれ補正設定値調整部
300・・・情報処理装置
Claims (20)
- 画像データのぶれを補正する電子式のぶれ補正機能とシャッター速度の制御機能を備える撮像装置におけるぶれ補正に関する値と前記シャッター速度のいずれか一方を調整する調整部を備える
情報処理装置。 - 前記ぶれ補正に関する値は、電子式のぶれ補正における画像データの切り出し位置の移動量を示すぶれ補正量である
請求項1に記載の情報処理装置。 - 前記調整部は、前記シャッター速度に基づいて前記ぶれ補正量を調整するぶれ補正量調整部である
請求項2に記載の情報処理装置。 - 前記撮像装置の動きのセンシング結果に基づいて前記ぶれ補正量の目標量を生成するぶれ補正量生成部を備える
請求項3に記載の情報処理装置。 - 前記ぶれ補正量調整部は、前記ぶれ補正量の目標量に基づいて前記ぶれ補正量の最小量を決定する
請求項4に記載の情報処理装置。 - 前記ぶれ補正量調整部は、前記シャッター速度が第1の速度以上である場合、前記ぶれ補正量を前記目標量になるように調整する
請求項4に記載の情報処理装置。 - 前記ぶれ補正量調整部は、前記シャッター速度が前記第1の速度より小さい値である第2の速度以下である場合、前記ぶれ補正量を前記最小量となるように調整する
請求項5に記載の情報処理装置。 - 前記ぶれ補正量調整部は、前記シャッター速度が前記第1の速度から前記第2の速度に近づくにつれて前記ぶれ補正量を前記最小量から前記目標量に近づくように調整する
請求項5に記載の情報処理装置。 - 前記調整部は、前記ぶれ補正量に基づいて前記シャッター速度を調整する露出調整部である
請求項2に記載の情報処理装置。 - 前記ぶれ補正に関する値は、前記ぶれ補正量の演算に使用するぶれ補正設定値である
請求項1に記載の情報処理装置。 - 前記ぶれ補正設定値は、ぶれ補正の追従速度である
請求項10に記載の情報処理装置。 - 前記ぶれ補正設定値は、カットオフ周波数である
請求項10に記載の情報処理装置。 - 前記調整部は、前記シャッター速度に基づいて前記ぶれ補正設定値を調整するぶれ補正設定値調整部である
請求項10に記載の情報処理装置。 - 前記ぶれ補正設定値に基づいてぶれ補正量を生成するぶれ補正量生成部を備える
請求項10に記載の情報処理装置。 - 前記画像データにぶれ補正処理を施すぶれ補正処理部を備える
請求項1に記載の情報処理装置。 - 前記画像データを生成する撮像部を備える
請求項1に記載の情報処理装置。 - 前記撮像装置の動きのセンシング結果に異常がある場合、前記ぶれ補正処理部は、前記画像データの中心を基準とした所定範囲を切り出すことでぶれ補正処理を行う
請求項15に記載の情報処理装置。 - 前記調整部は、複数の調整用データから選択された前記調整用データに基づき前記ぶれ補正に関する値と前記シャッター速度のいずれか一方を調整する
請求項1に記載の情報処理装置。 - 画像データのぶれを補正する電子式のぶれ補正機能とシャッター速度の制御機能を備える撮像装置における前記ぶれ補正に関する値と前記シャッター速度のいずれか一方を調整する
情報処理方法。 - 画像データのぶれを補正する電子式のぶれ補正機能とシャッター速度の制御機能を備える撮像装置における前記ぶれ補正に関する値と前記シャッター速度のいずれか一方を調整する
情報処理方法をコンピュータに実行させるプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-136500 | 2022-08-30 | ||
JP2022136500 | 2022-08-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024048069A1 true WO2024048069A1 (ja) | 2024-03-07 |
Family
ID=90099425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/024971 WO2024048069A1 (ja) | 2022-08-30 | 2023-07-05 | 情報処理装置、情報処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024048069A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011050048A (ja) * | 2009-07-27 | 2011-03-10 | Panasonic Corp | 撮像装置 |
JP2017181717A (ja) * | 2016-03-30 | 2017-10-05 | リコーイメージング株式会社 | 防振制御装置 |
JP2018072540A (ja) * | 2016-10-28 | 2018-05-10 | キヤノン株式会社 | 画像処理装置、その画像処理方法および光学機器 |
-
2023
- 2023-07-05 WO PCT/JP2023/024971 patent/WO2024048069A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011050048A (ja) * | 2009-07-27 | 2011-03-10 | Panasonic Corp | 撮像装置 |
JP2017181717A (ja) * | 2016-03-30 | 2017-10-05 | リコーイメージング株式会社 | 防振制御装置 |
JP2018072540A (ja) * | 2016-10-28 | 2018-05-10 | キヤノン株式会社 | 画像処理装置、その画像処理方法および光学機器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110035222B (zh) | 半导体装置和电子设备 | |
EP3614661B1 (en) | Image processing method, image processing apparatus, electronic device and storage medium | |
US8345109B2 (en) | Imaging device and its shutter drive mode selection method | |
CN109951638B (zh) | 摄像头防抖***、方法、电子设备和计算机可读存储介质 | |
JP6135848B2 (ja) | 撮像装置、画像処理装置および画像処理方法 | |
US9111129B2 (en) | Subject detecting method and apparatus, and digital photographing apparatus | |
JP2017058660A (ja) | 像振れ補正装置、傾き補正装置、像振れ補正装置の制御方法、傾き補正装置の制御方法 | |
KR20100067406A (ko) | 디지털 촬영 장치의 흔들림 보정 방법 및 장치 | |
JP6721084B2 (ja) | ズーム制御装置、ズーム制御方法およびプログラム | |
JP6529533B2 (ja) | 撮像装置、撮像装置の制御方法、及び、プログラム | |
JP2007243335A (ja) | 手振れ補正方法、手振れ補正装置および撮像装置 | |
JP2014068335A (ja) | 撮像装置および画像処理方法 | |
CN105210362B (zh) | 图像调整设备、图像调整方法和图像捕获设备 | |
WO2017104102A1 (ja) | 撮像装置 | |
JP7131541B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP5393877B2 (ja) | 撮像装置および集積回路 | |
WO2024048069A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
TW202044819A (zh) | 嚴格同步光學影像穩定化中之滾動補償及模糊減少 | |
JP4844220B2 (ja) | 露出補正装置、撮影装置、露出値設定装置、露出補正値算出方法および制御プログラム | |
EP3836540B1 (en) | Image processing apparatus and image capturing apparatus | |
JP2017183983A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2015118147A (ja) | 撮像装置およびその制御方法 | |
JP6053422B2 (ja) | 撮像装置および撮像方法 | |
JP6257715B2 (ja) | 表示装置および表示装置の作動方法 | |
CN116194831A (zh) | 成像设备和成像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23859839 Country of ref document: EP Kind code of ref document: A1 |