WO2014156731A1 - 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法 - Google Patents

撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法 Download PDF

Info

Publication number
WO2014156731A1
WO2014156731A1 PCT/JP2014/056929 JP2014056929W WO2014156731A1 WO 2014156731 A1 WO2014156731 A1 WO 2014156731A1 JP 2014056929 W JP2014056929 W JP 2014056929W WO 2014156731 A1 WO2014156731 A1 WO 2014156731A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
imaging
subject
distance
Prior art date
Application number
PCT/JP2014/056929
Other languages
English (en)
French (fr)
Inventor
米田　正人
桑原　宗市
弘之 平出
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP14774235.7A priority Critical patent/EP2981062B1/en
Priority to CN201480016625.5A priority patent/CN105191283B/zh
Priority to JP2015508304A priority patent/JP6327245B2/ja
Priority to KR1020157024158A priority patent/KR102179731B1/ko
Priority to US14/778,709 priority patent/US10051183B2/en
Publication of WO2014156731A1 publication Critical patent/WO2014156731A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection

Definitions

  • the present disclosure relates to an imaging device, a solid-state imaging device, a camera module, an electronic device, and an imaging method, and in particular, an imaging device, a solid-state imaging device, a camera module, and an electronic device that can perform more effective camera shake correction. And an imaging method.
  • Electronic camera shake correction corrects camera shake by detecting image blurring of a captured subject from successive images and performing image processing that moves the position of the image according to the amount of blurring.
  • Such electronic camera shake correction does not require a mechanical mechanism and can reduce the size of the structure.
  • blur since blur is detected from an image, it is difficult to detect blur when the image is not clear in a dark place. Further, in order to compare with the previous image, a memory area for storing all the previous images is required.
  • the amount of camera shake is detected from two frames (images), so it is possible to determine whether the object is a moving object (moving object) in the image or the image is shifted due to camera shake in any scene. It is extremely difficult to do reliably.
  • Many algorithms including the distinction between moving objects and camera shake have been proposed, but at present, improvements are still being made.
  • optical camera shake correction how the image sensor is shaken is detected by a gyro etc., and the camera shake is corrected by operating the lens or the image sensor for the reverse correction.
  • optical camera shake correction physical shake is detected, so that there is no erroneous recognition of moving objects and camera shake as in electronic camera shake correction.
  • a frame memory for storing the previous image is not necessary.
  • the optical camera shake correction not only the structure of the operating part becomes large, but also the power consumption increases because the structure is moved.
  • CMOS Complementary Metal Oxide Semiconductor
  • Patent Document 1 a camera shake correction process for correcting a subject image for each line based on a correction amount calculated from a vibration amount when a predetermined line in a subject image is captured is proposed. (See Patent Document 1).
  • the present disclosure has been made in view of such a situation, and makes it possible to perform more effective camera shake correction.
  • An imaging device, a solid-state imaging device, a camera module, or an electronic device physically detects an imaging unit that captures an image of a subject and outputs the image, and a blur angle when the imaging unit shakes.
  • a detection unit; and a correction processing unit that calculates a correction amount based on a position of a pixel constituting an image output from the imaging unit and a blur angle detected by the detection unit, and corrects the image according to the correction amount.
  • An imaging method is an imaging method of an imaging apparatus including an imaging unit that captures an image of a subject and outputs an image, and a detection unit that physically detects a blur angle when the imaging unit is shaken.
  • the imaging unit outputs an image
  • the detection unit outputs a blur angle
  • a correction amount is calculated based on the positions of pixels constituting the image output by the imaging unit and the blur angle detected by the detection unit. And correcting the image according to the correction amount.
  • An aspect of the present disclosure includes an imaging unit that captures an image of a subject and outputs an image, and a detection unit that physically detects a blur angle when the imaging unit is shaken, and configures an image output by the imaging unit A correction amount is calculated based on the position of the pixel to be detected and the blur angle detected by the detection unit, and the image is corrected according to the correction amount.
  • more effective camera shake correction can be performed.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of an imaging apparatus to which the present technology is applied.
  • the imaging device 11 is an electronic device whose main function is imaging, such as a digital still camera or a digital video camera, and includes an optical system 12, a recording medium 13, a display 14, and a camera module 15. It is configured with.
  • an electronic device having an imaging function such as a mobile phone device or a multi-function mobile terminal called a so-called smartphone or tablet, in addition to an electronic device whose main function is imaging. Can be adapted.
  • the optical system 12 is configured to include one or a plurality of lenses, collects light from the subject, and forms an image of the subject on the sensor surface of the image sensor 21 included in the camera module 15.
  • the recording medium 13 is a removable memory (for example, EEPROM (Electronically Erasable and Programmable Read Only Memory)) that is built into the imaging device 11 or detachable from the imaging device 11 and is output from the camera module 15. Record.
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the display 14 is configured to include a display unit such as a liquid crystal panel or an organic EL (Electro Luminescence) panel, and displays an image output from the camera module 15.
  • a display unit such as a liquid crystal panel or an organic EL (Electro Luminescence) panel, and displays an image output from the camera module 15.
  • the camera module 15 includes an image sensor 21, a gyro sensor 22, a signal synchronization unit 23, a parameter holding unit 24, and a camera shake correction processing unit 25.
  • the image sensor 21 includes an XY type image sensor that captures an optical image of a subject and converts it into an electrical signal, and a signal processing unit that performs signal processing on a signal output from the image sensor.
  • the captured image signal is output.
  • the image sensor 21 is configured by an integrated chip in which an imaging element and a signal processing unit are stacked, or is configured by a unit in which an imaging element chip and a signal processing unit chip are combined.
  • the signal processing unit performs preprocessing such as AGC (Automatic Gain Control) for amplifying the output of the image sensor and AD (Analog Digital) conversion, and the preprocessed digital signal in an appropriate image signal format ( Bayer, YUV, RGB, etc.).
  • the gyro sensor 22 is mounted in the vicinity of the image sensor 21 and physically (not in terms of image processing) detects a blur angle when the image sensor 21 swings.
  • the gyro sensor 22 is a detection unit that detects an angular velocity, and outputs gyro data (hereinafter also referred to as hand shake amount information as appropriate) indicating a blur angle obtained from the detected angular velocity at a certain timing.
  • the signal synchronizer 23 performs a synchronization process for synchronizing the image signal output from the image sensor 21 and the camera shake amount information output from the gyro sensor 22 at a constant timing, and shakes the image signal and the camera shake information.
  • the data is output to the correction processing unit 25.
  • the synchronization processing by the signal synchronization unit 23 will be described later with reference to FIGS. 13 and 14.
  • the parameter holding unit 24 holds geometric optical characteristic parameters (for example, an angle of view, a module pupil distance, etc.) of the module constituted by the optical system 12 and the image sensor 21.
  • the camera shake correction processing unit 25 Based on the image signal output from the signal synchronization unit 23, camera shake amount information synchronized with the image signal, and the intrinsic parameter held in the parameter holding unit 24, the camera shake correction processing unit 25 A correction amount is calculated. Then, the camera shake correction processing unit 25 performs a camera shake correction process for correcting the camera shake of the image signal according to the calculated correction amount, and converts the image signal into an image signal that suppresses the occurrence of camera shake (hereinafter referred to as a camera shake correction image as appropriate). And supplied to the recording medium 13 and the display 14. Detailed camera shake correction processing by the camera shake correction processing unit 25 will be described later with reference to FIGS. 15 to 20.
  • the relationship between the sensor surface S of the image sensor 21 and the subject surface is defined.
  • Each point on the subject surface passes through the pupil position I of the lens of the optical system 12 (FIG. 1) (not shown) and forms an image on the sensor surface S.
  • the point C on the subject surface that intersects the optical axis of the optical system 12 passes through the pupil position I and is approximately the center of the sensor surface S (here, the approximately center is the center of the sensor surface S on the image, Alternatively, an image is formed on the optical center of the sensor surface S, or on the image of the sensor surface S or in the vicinity of the optical center, and hereinafter appropriately referred to as a center point), and the optical axis of the optical system 12
  • the point A on the subject surface at the elevation angle ⁇ is imaged at a point on the sensor surface S that intersects the light ray L1 passing from the point A through the pupil position I.
  • the optical distance from the center point of the sensor surface S to the pupil position I is the module pupil distance d
  • the optical distance from the point C on the subject surface to the pupil position I is the subject distance D.
  • an axis that is orthogonal to the drawing and that faces forward is an X axis
  • an axis that is from the bottom to the top of the drawing is a Y axis
  • an axis that is from the left to the right of the drawing is a Z axis.
  • the image pickup apparatus 11 is shaken by camera shake at the time of image pickup, and the sensor surface S rotates around the X axis with a blur angle ⁇ around a predetermined rotation center.
  • the sensor surface S moves to the sensor surface S ′, and the pupil position I moves to the pupil position I ′.
  • the point A on the subject surface that was at the position of the elevation angle ⁇ before the imaging device 11 is shaken forms an image at a point on the sensor surface S ′ that intersects the light ray LR that passes through the pupil position I ′ from the point A.
  • the light from the point A on the subject surface is not along the light beam L1 that passes through the pupil position I before the imaging device 11 shakes, but along the light beam LR that passes through the pupil position I ′ after the imaging device 11 shakes.
  • an image is formed on a point on the sensor surface S ′.
  • the image height A ′ on the sensor surface of the point A ′ on the subject surface that intersects with is expressed by the following equation (2).
  • the change amount ⁇ A of the image height when the sensor surface S rotates at the blur angle ⁇ is expressed by the following equation ( 3).
  • the image height change amount ⁇ A can be obtained only by the module pupil distance d, the blur angle ⁇ , and the elevation angle ⁇ , and these values are all known amounts. . Therefore, if the module pupil distance d, the shake angle ⁇ , and the elevation angle ⁇ can be practically used, for example, camera shake correction can be performed extremely accurately. Therefore, in order to evaluate whether the module pupil distance d, the blur angle ⁇ , and the elevation angle ⁇ are practically usable, the distance difference between the points A and A ′ on the object surface can be ignored. When considered, it is necessary to consider the amount of error that occurs.
  • a point on the sensor surface S that intersects the light beam L1 passing through the pupil position I from the point A on the subject surface is defined as a point a
  • the point A ′ on the subject surface is converted into the pupil position I ′.
  • a point on a plane including the sensor surface S intersecting with the light ray L2 passing through is assumed as a point a ′.
  • the distance difference (AA ′) between the points A and A ′ on the subject surface in the Y direction is geometrically optically determined in the Y direction between the points a and a ′ on the plane including the sensor surface S. It is equal to the distance difference (aa ′) and is expressed by the following equation (4).
  • the error distance ⁇ ( ⁇ of the number of pixels on the sensor surface for evaluating whether or not the point A ′ on the subject surface can be regarded as the point A. , ⁇ , D). That is, the error distance ⁇ ( ⁇ , ⁇ , D) is the distance difference (AA ′), the number of pixels Ny on one side of the image sensor 21 in the Y-axis direction, and the maximum field angle of the image sensor 21 in the Y-axis direction.
  • FIG. 5 shows an example in which the error distance ⁇ ( ⁇ , ⁇ , D) thus obtained is obtained using the elevation angle ⁇ in the Y-axis direction and the subject distance D as parameters.
  • the elevation angle ⁇ (0.00 °, 5.00 °, 10.00 °, 15.00 °, 20.00 °, 25.00 °) in the Y-axis direction is used as the parameter in the column direction, and the subject distance D (25 cm, 50 cm) is used as the parameter in the row direction.
  • the error distance ⁇ ( ⁇ , ⁇ , D) obtained using the above is shown.
  • FIG. 5 shows the error distance ⁇ ( ⁇ , ⁇ , where the maximum angle of view ⁇ of the image sensor 21 is 25 ° in the vertical direction, the number of pixels Ny in the Y direction of the image sensor 21 is 3000 pixels, and the rotation radius r is 50 mm.
  • ( ⁇ , D) is an example.
  • Each numerical value of the error distance ⁇ ( ⁇ , ⁇ , D) shown in FIG. 5 is the difference in distance (AA ′) between the point A and the point A ′ on the subject surface in the Y direction. It represents how much the pixel appears as an image at a different position.
  • the distance difference is conspicuous when the distance difference between two predetermined points on the subject surface is two pixels or more on the sensor surface.
  • the error distance ⁇ ( ⁇ , ⁇ , D) is in a range of less than two pixels, that is, the distance difference (AA ′) between the points A and A ′ on the subject surface in the Y direction is on the sensor surface S.
  • the range of less than 2 pixels is surrounded by a bold frame line.
  • the error distance ⁇ ( ⁇ , ⁇ , D) is less than 2 pixels in most ranges, and the distance difference (AA ′) is sufficient. ) Does not stand out, and can withstand practical use.
  • the error distance ⁇ ( ⁇ , ⁇ , D) is an error (number of error pixels) at a certain moment. It moves during the accumulation time in normal imaging, and all the movement amounts are integrated. Things are expressed as pictures. Therefore, the error shown in FIG. 5 does not cause any problem in the range used in normal imaging.
  • the correction amount ⁇ y in the Y direction (vertical axis direction) It can be obtained by equation (6). As shown in this equation (6), the correction amount ⁇ y becomes a different value depending on the elevation angle ⁇ . Further, since the image height of the point A on the subject surface on the sensor surface is obtained from the elevation angle ⁇ , the correction amount ⁇ y is calculated based on the image height (the point A on the subject surface at the position of the elevation angle ⁇ on the sensor surface S). The value varies depending on the distance in the Y direction from the approximate center of the sensor surface S on which the image is formed.
  • FIG. 6 a rod-like subject B arranged along the X-axis direction is used in order to easily show how the image formed on the image surface of the sensor surface S looks. For simplification, it is illustrated that the pupil position i does not shift due to the shaking of the imaging device 11.
  • FIG. 6A shows a view from the X-axis direction along the rod-shaped subject B
  • FIG. 6B shows the view from the direction of the white arrow in FIG. The figure seen from the Y-axis direction is shown.
  • the light L0 incident on the pupil position i from one end b0 of the rod-shaped subject B due to the blur angle ⁇ reaches the sensor center point C of the sensor surface S before the imaging device 11 shakes.
  • An image is formed and an image is formed on the sensor center point C ′ of the sensor surface S ′ after the imaging device 11 is shaken.
  • the distance from the pupil position i to the sensor center point C is d / COS ⁇
  • the distance from the pupil position i to the sensor center point C ′ is d / COS ( ⁇ + ⁇ ). It becomes.
  • the light L1 incident on the pupil position i from the other end b1 of the rod-shaped subject B due to the blur angle ⁇ forms an image at a point P on the sensor surface S before the imaging device 11 shakes, and the imaging device 11. Is imaged at a point P ′ on the sensor surface S ′ after the vibration has occurred.
  • the triangle composed of the pupil position i, the sensor center point C, and the point P is similar to the triangle composed of the pupil position i, the sensor center point C ′, and the point P ′.
  • the ratio between the value Px from the sensor center point C to the point P before the imaging device 11 shakes and the value P′x from the sensor center point C ′ to the point P ′ after the imaging device 11 shakes is It is represented by the following formula (7).
  • the correction amount ⁇ x in the X direction can be obtained by the following equation (8).
  • the correction amount ⁇ x has different values depending on the elevation angle ⁇ and the distance X from the sensor center point C to the point P.
  • the pupil position i changes depending on the blur angle ⁇ . Therefore, the position where the end b1 of the rod-shaped subject B is imaged does not become a point P 'on the sensor surface S' as shown in FIG.
  • FIG. 7 is a diagram for explaining the position at which the end b1 of the rod-shaped subject B is imaged when the change of the pupil position i due to the blur angle ⁇ is taken into consideration.
  • the error distance ⁇ x in the X direction is obtained in the same manner as the error distance ⁇ ( ⁇ , ⁇ , D) in the Y direction shown in FIG.
  • -It is represented by the following formula (11) using TAN ⁇ ).
  • FIG. 8 shows an example in which the error distance ⁇ x obtained in this way is obtained using the elevation angle ⁇ in the X-axis direction and the subject distance D as parameters.
  • the elevation angle ⁇ (0.00 °, 5.00 °, 10.00 °, 15.00 °, 20.00 °, 25.00 °, 30.00 °, 35.00 °) in the X-axis direction is used as the parameter in the column direction, and the subject is used as the parameter in the row direction.
  • the error distance ⁇ x obtained using the distance D (25 cm, 50 cm, 1 m, 2 m, 3 m, 5 m) is shown. Further, this is an example of the error distance ⁇ x that is obtained when the maximum angle of view ⁇ of the image sensor 21 is 35 ° on the left and right, the number of pixels Nx in the X direction of the image sensor 21 is 4000 pixels, and the rotation radius r is 50 mm.
  • Each numerical value of the error distance ⁇ x shown in FIG. 8 indicates how much the difference in the X direction distance between the end b1 and the end b1 ′ of the subject B appears as an image in the pixel of the image sensor 21. Represents.
  • the distance difference between two predetermined points on the subject surface is conspicuous when there are two or more pixels. It has been broken.
  • the range in which the error distance ⁇ x is less than 2 pixels that is, the range in which the distance difference in the X direction between the end b1 and the end b1 ′ of the subject B is less than 2 pixels on the sensor surface S It is surrounded by a line.
  • the error distance ⁇ x is less than 2 pixels in most ranges, and is sufficiently practical.
  • the error distance ⁇ x is an error (number of error pixels) at a certain moment, and moves during the accumulation time in normal imaging, and an image obtained by integrating all the movement amounts is represented as an image. . Therefore, the error shown in FIG. 8 does not cause any problem in the daily use range.
  • FIG. 9B shows an example of the correction amount when the module configured to include the optical system 12 and the image sensor 21 of FIG. 1 is swung at the blur angle ⁇ as shown in FIG. 9A. ing.
  • the correction amount is obtained using the image sensor 21 having 13 million pixels and one side of each pixel being 1.12 ⁇ m.
  • the horizontal axis indicates the image height in the Y-axis direction
  • the vertical axis indicates the correction amount in the Y-axis direction.
  • FIG. 9 shows that the correction amount increases as the image height in the Y-axis direction increases.
  • FIG. 9 shows 1.0 ° and 0.3 ° as the blur angle ⁇ , and shows that the correction amount increases as the blur angle increases.
  • the barrel shift optical camera shake correction the entire image is corrected uniformly according to the correction amount at the center point of the image sensor, that is, the point whose horizontal axis is 0 in FIG.
  • the camera shake correction processing unit 25 of the imaging device 11 obtains a correction amount according to the image height in the Y-axis direction, and varies according to the image height in the Y-axis direction by correcting the camera shake using the correction amount.
  • distortion generated in the image can be effectively corrected.
  • correction at the edge of the image can be effectively performed.
  • FIGS. 10 to 12 show a comparison between an image that has been subjected to camera shake correction processing by the imaging apparatus 11 to which the present technology is applied and an image that has been subjected to conventional barrel shift optical camera shake correction. Yes.
  • FIG. 10 shows a lattice pattern panel in which an original image without camera shake and an image tilted by 0.5 ° are superimposed
  • FIG. 10A shows a camera shake correction process performed by the imaging apparatus 11 to which the present technology is applied
  • FIG. 10B shows an image that has been subjected to conventional barrel shift optical camera shake correction. As shown in FIG. 10, it is difficult to recognize the difference between the images in the distant images.
  • FIG. 11 shows an image cut out near the center of the image in FIG. 10
  • FIG. 12 shows an image cut out near the end of the image in FIG. 11A and FIG. 12A are images that have been subjected to camera shake correction processing by the imaging apparatus 11 to which the present technology is applied
  • FIG. 11B and FIG. 12B are conventional barrel shift optical hands. This is an image that has undergone blur correction.
  • the difference between the images can be clearly recognized in the vicinity of the edge of the image. That is, in the image that has been subjected to the camera shake correction process by the imaging apparatus 11 to which the present technology is applied, the original image and the image that has been corrected for the 0.5 ° blur match in the vicinity of the end portion. However, in the image subjected to the conventional barrel shift type optical image stabilization, the original image and the image corrected by 0.5 ° blur appear to be double.
  • the camera shake correction processing unit 25 corrects how much and in which direction the image captured by the image sensor 21 is shaken during which accumulation period. Therefore, the signal synchronization unit 23 needs to synchronize the gyro data (camera shake amount information) output from the gyro sensor 22 and the image data output from the image sensor 21.
  • the right side of FIG. 13 shows the readout of the signal from the image sensor 21.
  • the image sensor 21 has a structure in which all the pixels in the horizontal direction are read at a time with respect to one vertical address with the vertical direction as the vertical address. That is, the readout time is constant for one horizontal line, and the accumulation time is constant.
  • the accumulation time which is the time during which signal charges are accumulated in each pixel of the image sensor 21, is constant for all pixels. Then, it is necessary to acquire gyro data corresponding to the timing of the accumulation time in each horizontal line. That is, camera shake amount information indicating how much shake amount has occurred during the accumulation time is required.
  • FIG. 13 shows an example of processing in which the gyro data output from the gyro sensor 22 is used as the gyro data of the horizontal line at the intermediate timing of the accumulation time T of a certain horizontal line.
  • the present invention is not limited to such a process, and for example, an average value of gyro data output during a certain horizontal line accumulation time T may be used as the gyro data of the horizontal line. That is, it is only necessary to obtain synchronized gyro data corresponding to each accumulation time for each horizontal line.
  • gyro data output from the gyro sensor 22 is received outside the gyro sensor 22 such as a baseband chip and synchronized.
  • a means for transmitting the command issuance timing to the image sensor 21 and the delay of the image data output according to the command to the baseband chip is used. That is, since the image sensor 21 is generally driven according to the vertical synchronization signal, a command for changing the exposure time from the outside cannot be immediately reflected at any timing. Therefore, the image sensor 21 performs control according to a vertical synchronization signal that starts a frame after receiving a command from the outside. Such control is for making the imaging conditions in the frame the same. On the other hand, since the command is given from the outside of the image sensor 21, it is issued at a timing unrelated to the vertical synchronization signal.
  • the timing at which the baseband chip can be known is the timing of issuing a command to the image sensor 21 and issuing a command to the gyro sensor 22.
  • a command to the image sensor 21 is output at the timing of time T1, and the image sensor 21 receiving the command synchronizes with the vertical synchronization signal therein.
  • Image data is output after n ⁇ FT time (frame image output time FT, integer n: 1, 2,8) After a synchronization time ⁇ T. Accordingly, the synchronization time ⁇ T varies depending on the timing of inputting a command to the image sensor 21.
  • the command for requesting data output to the gyro sensor 22 is output at the timing T0 before the command to the image sensor 21 is requested, and the gyro sensor 22 side receives the command T0.
  • T0 time stamps
  • gyro data is sequentially output. Therefore, when viewed from the baseband processing, it is possible to know the timing at which all gyro data is output.
  • image data and gyro data are output and supplied to the signal synchronizer 23, and the signal synchronizer 23 synchronizes the image data and gyro data and outputs it to the camera shake correction processor 25. Then, a camera shake correction process is performed in the camera shake correction processing unit 25.
  • camera shake correction processing in a configuration in which the image sensor used in the image sensor 21 adopts the global shutter method will be described.
  • the entire captured image is recorded as an image at substantially the same time. Therefore, unlike the rolling shutter method described later, a set of correction angles (a correction amount in the Y-axis direction and an X-axis) for one image.
  • the camera shake correction process can be performed using the direction correction amount). That is, by using a set of correction angles, an image whose position is shifted due to camera shake can be corrected to an image whose position is not shifted.
  • a set of correction angles using the average value of the plurality of camera shake information. can be determined.
  • the camera shake amount information acquired at the center timing of the exposure time or the camera shake amount information at a necessary timing may be acquired by interpolation from a plurality of pieces of camera shake amount information, and a set of correction angles may be determined.
  • the shake of the image pickup apparatus 11 (that is, the shake of the image sensor 21 built in the image pickup apparatus 11) is defined by a pitch angle, a yaw angle, and a roll angle.
  • FIG. 16 shows the influence of the blur angle on the image in the global shutter type image sensor 21.
  • FIG. 16A shows the position of the image when the image sensor 21 is stationary. In this case, the image is located at the center of the image sensor 21.
  • FIG. 16B shows the effect of the shake angle on the image when the image sensor 21 shakes in the minus direction of the pitch angle.
  • the vertical direction Y Direction
  • FIG. 16C shows the effect of the shake angle on the image when the image sensor 21 shakes in the plus direction of the yaw angle.
  • the horizontal direction X Direction
  • FIG. 16D shows the effect of the blur angle on the image when the image sensor 21 blurs in the minus direction of the pitch angle and the plus direction of the yaw angle.
  • hand shake of the roll angle is affected as image rotation. If the camera shake angle of the image sensor 21 is ⁇ , an influence of ⁇ is given on the image.
  • FIG. 17A shows the effect of the blur angle on the image when the image sensor 21 blurs in the minus direction of the pitch angle.
  • different influences are given depending on the pixel position on the image. For example, in the vicinity of the upper end of the image, it moves larger than the vicinity of the center in the vertical direction, and further spreads in the horizontal direction.
  • the amount of movement in the vertical direction is deformed so as to narrow in the horizontal direction unlike the vicinity of the upper end and the vicinity of the center. That is, the amount of movement in the Y direction differs depending on the position of each pixel, and further, the amount of movement also varies in the X direction.
  • FIG. 17B shows the effect of the blur angle on the image when the image sensor 21 blurs in the positive direction of the yaw angle.
  • different influences are given depending on the pixel position on the image. For example, in the vicinity of the left end of the image, the image moves larger than the vicinity of the center in the horizontal direction, and further spreads in the vertical direction.
  • the amount of movement in the horizontal direction is deformed so as to narrow in the vertical direction unlike the vicinity of the left end and the vicinity of the center. That is, the amount of movement in the X direction differs depending on the position of each pixel, and further, the amount of movement also varies in the Y direction.
  • FIG. 17C shows the effect of the shake angle on the image when the image sensor 21 shakes in the minus direction of the pitch angle and the plus direction of the yaw angle. As shown in FIG. 17C, the influence of blurring in two directions is superimposed, so that the image is deformed more complicated than A in FIG. 17 and B in FIG.
  • the image is further complicatedly deformed by the roll angle blurring.
  • the influence of the roll angle is small and correction processing is not performed in many cases. Therefore, in the following description, mainly the pitch angle and yaw angle blur will be described.
  • the position of each pixel of the output image of the image sensor 21 is set to the center of the lower left pixel (0, 0), and the x pixel from the left and the y pixel from the bottom.
  • the center of the pixel is expressed as coordinates A (x, y).
  • the coordinates A are blurred by the pitch angle ⁇ p, the yaw angle ⁇ y, and the roll angle ⁇ r.
  • a ′ is the pixel value of the coordinate A ′ in the input image is the pixel value of the coordinate A of the output image
  • the pixel value is corrected for camera shake. Therefore, by using this pixel value as the value of the coordinate A and using the image obtained for all the pixels of the image sensor 21 as an output image, an image with corrected camera shake is output.
  • the effective pixel of the image sensor 21 is set to W as the number of pixels in the horizontal direction and H as the number of pixels in the vertical direction, and the image sensor of the image sensor 21 from the lens center of the optical system 12. Is the distance L (corresponding to the number of pixels), and 1 ⁇ 2 of the horizontal field angle is the angle ⁇ . If the coordinate O (x0, y0) is the center of the effective pixel of the image sensor 21, then the angle ⁇ , which is 1 ⁇ 2 of the horizontal field angle, is obtained by the following equation (12).
  • the distance L (corresponding to the number of pixels) from the lens center of the optical system 12 to the image sensor of the image sensor 21 is obtained by the following equation (13).
  • the angle ⁇ and the distance L (corresponding to the number of pixels) that are 1 ⁇ 2 of the horizontal field angle are the imaging modes of the imaging device 11 (for example, the imaging mode that outputs all pixels, the imaging that outputs by thinning out pixels) Mode, an imaging mode in which a part of a pixel is cut out and output), an image sensor of the image sensor 21, and a lens of the optical system 12.
  • the influence of camera shake can be calculated individually for each of the three angles of pitch angle ⁇ p, yaw angle ⁇ y, and roll angle ⁇ r.
  • it is necessary to simultaneously determine the influence of the hand shake of the pitch angle ⁇ p, the yaw angle ⁇ y, and the roll angle ⁇ r. It can be corrected with no level.
  • the movement amount due to the influence of the yaw angle ⁇ y is obtained in turn based on the movement amount due to the influence of the pitch angle ⁇ p, and the movement amount due to the influence of the roll angle ⁇ r is further obtained based on the obtained movement amount. Good.
  • the order of the pitch angle ⁇ p, the yaw angle ⁇ y, and the roll angle ⁇ r may be different. Further, the results of individually calculating the influence of camera shake for the three angles of the pitch angle ⁇ p, the yaw angle ⁇ y, and the roll angle ⁇ r may be added together.
  • the X coordinate X ′ of the coordinate A ′ to be obtained can be obtained by the following equation (28), and the Y coordinate Y ′ of the coordinate A ′ to be obtained can be obtained by the following equation (29).
  • the output image coordinate A ′ (x ′, Y ′) is based on the following equation (32).
  • the value of y ′) can be read.
  • a corrected image in which camera shake is corrected can be acquired by performing processing for obtaining the coordinates A ′ (x ′, y ′) of the output image for all pixels.
  • a set of correction angles is used for one image.
  • the camera shake correction process can be performed, and the camera shake correction can be effectively performed with a small processing load.
  • the imaging timing is different for each horizontal line in the captured image, so that the deformation of the image is more complicated than that of the global shutter. This is influenced by the fact that the blur angle changes with time in addition to the distortion of the image due to the blur angle.
  • FIGS. 18 and 19 show the influence of the blur angle on the image in the image sensor 21 of the rolling shutter system.
  • FIG. 18A shows the position of the image when the image sensor 21 is stationary. In this case, the image is located at the center of the image sensor 21.
  • FIG. 18B shows the effect of the shake angle on the image when the image sensor 21 shakes in the minus direction of the pitch angle.
  • FIG. 18C shows the effect that the image sensor 21 has a positive pitch angle. The effect of the blur angle on the image when the camera shakes in the direction is shown.
  • 19A shows the effect of the blur angle on the image when the image sensor 21 shakes in the positive direction of the yaw angle.
  • FIG. 19B shows the image sensor 21 having the yaw angle. This shows the effect of the blur angle on the image when the camera shakes in the negative direction.
  • FIG. 19C shows the effect of the blur angle on the image when the image sensor 21 blurs in the plus direction of the pitch angle and the minus direction of the yaw angle.
  • FIG. 20A shows the effect of the blur angle on the image when the image sensor 21 blurs in the minus direction of the pitch angle and the plus direction of the yaw angle.
  • FIG. 20A an image from which a solid line is obtained is represented, and a dotted line represents an image in which the position of the original image is shifted. In this way, when two blurs occur simultaneously, a more complicated deformation occurs.
  • FIG. 20B shows a case where the image sensor 21 blurs in the minus direction of the pitch angle and the plus direction of the yaw angle when only the influence of the focal plane is corrected without considering the pixel position dependency.
  • the effect of the blur angle on the image is shown.
  • FIG. 20B an image from which a solid line is obtained is represented, and a dotted line represents an image obtained by shifting the position of the original image. Even when such correction is performed, the distortion of the image cannot be completely corrected as shown in the figure. Note that although the distortion of the image shown in FIG. 20B appears to be small, the distortion becomes large around the periphery of the image, and depending on the condition of camera shake, an influence as shown in FIG. 17 appears.
  • the signal synchronization unit 23 synchronizes the camera shake amount information for each line per image.
  • the current gyro sensor 22 can only detect shake information about once in a plurality of lines.
  • the time shifts when calculating the correction angle is used for multiple lines.
  • a method of calculating the correction angle in consideration of the minutes can be employed.
  • a correction angle for each line is obtained by any one of these methods or other methods, and the calculation is performed in the same manner as the above-described method for obtaining the coordinate A ′ in the input image using the angle.
  • the corrected coordinate image can be constructed by acquiring the desired coordinate position. In this case, the pitch angle ⁇ p, yaw angle ⁇ y, and roll angle ⁇ r are synchronized with the line.
  • FIG. 21 shows an image pickup apparatus 11A having barrel shift type optical camera shake correction.
  • the same reference numerals are given to the same components as those in the imaging apparatus 11 in FIG. 1, and detailed descriptions thereof are omitted.
  • the imaging device 11A includes a drive unit 26 in addition to the configuration of the imaging device 11 of FIG.
  • the drive unit 26 drives the lens of the optical system 12 in parallel with the sensor surface of the image sensor of the image sensor 21 in a direction in which the image on the image sensor does not move based on the camera shake amount information from the gyro sensor 22. Optically correct camera shake.
  • the lens of the optical system 12 is moved by a fixed amount according to the camera shake amount, so that the dependency on the pixel position is not taken into consideration. For this reason, the image becomes substantially the same image as the position shift at the center of the image is corrected uniformly over the entire image. Therefore, using the camera shake information used for barrel shift control, the amount of movement of each pixel (dependent on the pixel position) obtained by subtracting the position shift at the center of the image from the amount of movement of each pixel at the time of camera shake. By correcting the pixel, it is possible to correct distortion around the corrected image of the barrel shift.
  • the effective pixel of the image sensor 21 is set to W as the number of pixels in the horizontal direction and H as the number of pixels in the vertical direction, and the image sensor of the image sensor 21 from the lens center of the optical system 12. Is the distance L (corresponding to the number of pixels), and 1 ⁇ 2 of the horizontal angle of view is ⁇ . If the coordinate O (x0, y0) is the center of the effective pixel of the image sensor 21, then the angle ⁇ , which is 1 ⁇ 2 of the horizontal field angle, is obtained by the above-described equation (12).
  • the distance L (corresponding to the number of pixels) from the lens center of the optical system 12 to the image sensor of the image sensor 21 can be obtained by the above-described equation (13).
  • the angle ⁇ and the distance L (corresponding to the number of pixels) that are 1 ⁇ 2 of the horizontal field angle are the imaging modes of the imaging device 11 (for example, the imaging mode that outputs all pixels, the imaging that outputs by thinning out pixels) Mode, an imaging mode in which a part of a pixel is cut out and output), an image sensor of the image sensor 21, and a lens of the optical system 12.
  • the pixel position moves in the Y direction by L ⁇ tan ( ⁇ p) pixels at the center position of the image. Then, at the position of the coordinate A, the pixel position moves in the Y direction by the Y-direction movement amount ⁇ Yp represented by the above-described equation (15).
  • the total amount of movement in the X direction is calculated by the following equation (35) by adding the results of calculating the effects of hand shake individually for the two angles of the pitch angle ⁇ p and the yaw angle ⁇ y, which is the simplest method. Let ⁇ X and Y-direction movement amount ⁇ Y be obtained.
  • the X coordinate X ′ of the coordinate A ′ to be obtained can be obtained by the following equation (36), and the Y coordinate Y ′ of the coordinate A ′ to be obtained can be obtained by the following equation (37).
  • the output image coordinate A ′ (x ′, Y ′) is based on the above equation (32).
  • the value of y ′) can be read.
  • a corrected image in which camera shake is corrected can be acquired by performing processing for obtaining the coordinates A ′ (x ′, y ′) of the output image for all pixels.
  • the correction in the pitch direction and the yaw direction of the barrel shift method has been described, but correction in the roll direction can also be added.
  • the coordinates A ′ (x ′, y ′) of the output image do not always coincide with the center position of the pixel on the input image. It is necessary to interpolate from this pixel to obtain the pixel value. That is, the pixel position of each pixel constituting the corrected image (output image) does not always match the pixel position of each pixel constituting the image before correction (input image).
  • the pixel values of the predetermined pixels are obtained by interpolating from a plurality of pixels around the predetermined pixels constituting the corrected image so that the pixel positions match.
  • interpolation method various interpolation techniques such as nearest neighbor method, bilinear method, and bicubic method can be used.
  • the format of the input image and the output image for example, a Bayer image whose color is determined by the pixel position, an image of the same color (RGB 3 colors or single color), a YUV image, etc.
  • the calculation method is different, the calculation of the pixel value calculated in each format is not different.
  • correction positions are calculated and corrected for all pixels.
  • the entire image is divided into a plurality of blocks, and each divided block is divided.
  • a method may be used in which a correction position of a representative point is obtained and the correction position of each pixel is obtained by interpolation from the value of the correction position of the representative point.
  • the numerical calculation may be simplified using approximate calculation or the like.
  • FIG. 22 is a flowchart for explaining an imaging method by the imaging device 11 of FIG.
  • step S ⁇ b> 11 the gyro sensor 22 starts outputting a camera shake amount signal (gyro data) at a constant timing, and the signal synchronization unit 23 sequentially acquires the camera shake amount signal from the gyro sensor 22.
  • step S12 the image sensor 21 outputs an image signal at a timing according to the horizontal synchronization signal, and the signal synchronization unit 23 sequentially acquires the image signal from the image sensor 21.
  • step S13 the signal synchronization unit 23 synchronizes the camera shake amount signal with the image signal and supplies the image stabilization signal to the camera shake correction processing unit 25.
  • step S14 the camera shake correction processing unit 25 calculates a shift amount for each pixel position.
  • the camera shake correction processing unit 25 calculates the above-described formula (15), formula (19), formula (20), formula (24), and formula (26), and formulas ( The total X-direction movement amount ⁇ X and Y-direction movement amount ⁇ Y obtained from (27) are calculated for each pixel position.
  • step S15 the camera shake correction processing unit 25 corrects the image based on the shift amount for each pixel position calculated in step S14. For example, the camera shake correction processing unit 25 corrects the image by calculating the above-described equation (31) for each coordinate A (X, Y) to obtain the coordinate A ′ (X ′, Y ′). After the process of step S15, the process returns to step S11, and the same process is repeated thereafter with the next frame as a processing target.
  • the error distance ⁇ ( ⁇ , ⁇ , D) is in a range of less than 2 pixels, the distance difference between the point A and the point A ′ on the subject surface is conspicuous. Absent. Therefore, by performing the camera shake correction process using the correction amount ⁇ y of Expression (6) and the correction amount ⁇ x of Expression (8), an image in which the occurrence of camera shake is sufficiently suppressed can be obtained.
  • the error distance ⁇ ( ⁇ , ⁇ , D) may be two or more pixels, and even if the camera shake correction process is performed, an image with noticeable camera shake may be obtained. was there.
  • subject distance D is obtained by performing a camera shake correction process in which an additional correction amount using subject distance D is added to correction amount ⁇ y in Expression (6) and correction amount ⁇ x in Expression (8). Therefore, it is possible to suppress camera shake with respect to a close subject.
  • the subject distance D to the subject to be focused is estimated using an AF (Auto-Focus) function, and a camera shake correction process corresponding to the subject distance D is performed so that the hand shake in the subject is most suppressed.
  • AF Auto-Focus
  • FIG. 23 is a block diagram illustrating a configuration example of another embodiment of an imaging apparatus to which the present technology is applied.
  • FIG. 23 shows an imaging device 11B that performs a camera shake correction process according to the subject distance D to the subject to be focused.
  • symbol is attached
  • the imaging device 11B includes an AF sensor 31, an AF control unit 32, an AF driving unit 33, and a distance estimation unit 34 in addition to the configuration of the imaging device 11 of FIG.
  • the AF sensor 31 includes, for example, a plurality of phase difference detection pixels embedded in the sensor surface of the image sensor 21.
  • the phase difference detection pixel is configured by combining a pixel whose right half is shielded from light and a pixel whose left half is shielded from light, and is arranged at a predetermined position on the sensor surface.
  • the AF control unit 32 calculates the distance to the subject to be focused based on the deviation of the subject position on the two images supplied from the AF sensor 31. Then, the AF control unit 32 determines the lens position of the focus adjustment lens of the optical system 12 so that the distance is in focus, and AF driving the AF control signal having a current value corresponding to the determined lens position. To the unit 33.
  • the AF drive unit 33 is configured to include an actuator for driving a focus adjustment lens included in the optical system 12, and the focus adjustment lens is provided according to the current value of the AF control signal supplied from the AF control unit 32. Drive to focus on the subject.
  • the distance estimation unit 34 is supplied with an AF control signal output from the AF control unit 32 to the AF drive unit 33.
  • the distance estimation unit 34 determines the subject distance D from the current value of the AF control signal to the subject to be focused. Is estimated.
  • the distance estimation unit 34 then supplies the subject distance D estimated from the current value of the AF control signal to the camera shake correction processing unit 25.
  • the relationship between the object side distance a and the image side distance b is In accordance with the focal length f of the lens.
  • the horizontal axis represents the object-side distance a
  • the vertical axis represents the image-side distance b.
  • the image-side distance b increases.
  • the subject to be focused is at a short distance, that is, when the object-side distance a is extremely short, the image-side distance b increases rapidly.
  • the AF drive unit 33 linearly drives the focus adjustment lens of the optical system 12 according to the current value of the AF control signal supplied from the AF control unit 32.
  • the horizontal axis represents the current value of the AF control signal
  • the vertical axis represents the lens position of the focus adjustment lens
  • the lens position of the focus adjustment lens represents the current value of the AF control signal. Changes substantially linearly.
  • the distance estimation unit 34 determines the lens position of the focus adjustment lens driven by the AF drive unit 33 from the current value of the AF control signal supplied to the AF drive unit 33 based on a substantially linear relationship. Can be sought. Then, by determining the object side distance a according to the lens position of the focus adjustment lens, the distance estimation unit 34 obtains the image side distance b from the Gaussian imaging formula shown in B of FIG. The subject distance D to the subject to be focused can be estimated.
  • the distance estimation unit 34 supplies the subject distance D estimated in this way to the camera shake correction processing unit 25, and the camera shake correction processing unit 25 can perform the camera shake correction processing according to the subject distance D.
  • the camera shake correction processing unit 25 uses the above formula ( An additional correction amount to be added to the correction amount ⁇ y of 6) and the correction amount ⁇ x of Expression (8) is obtained using the subject distance D, and the camera shake correction process is performed with the correction amount obtained by adding the additional correction amount. Can do.
  • the error distance ⁇ ( ⁇ , ⁇ , D) in the subject to be focused can be suppressed to 2 pixels or less.
  • FIG. 25 shows an example of the relationship between the predetermined subject distance D and the error distance ⁇ x in the X direction, which is obtained when the imaging device 11B shakes in the roll direction.
  • the movement amount r ⁇ sin ⁇ in the X direction is found to be 872.7 ⁇ m.
  • the amount of movement r ⁇ (1-cos ⁇ ) in the Y direction is determined to be 3.8 ⁇ m.
  • the range that can be imaged in the X direction is obtained as 1.44 m, and the error distance ⁇ x in the X direction is obtained as 2.5.
  • the subject distance D is 0.35 m, the range that can be imaged in the X direction is obtained as 0.36 m, and the error distance ⁇ x in the X direction is obtained as 10.1.
  • the camera shake correction processing unit 25 adds the error distance ⁇ x in the X direction as an additional correction amount (the number of pixels to be additionally corrected) to be added to the correction amount ⁇ x of the above-described equation (8). Process.
  • the camera shake correction processing unit 25 similarly adds the error distance ⁇ y in the Y direction to the correction amount ⁇ y in the above-described equation (6) in the correction in the Y direction.
  • the camera shake correction process added as the correction amount is performed.
  • the correction amount ⁇ y in the Y direction when performing the camera shake correction process according to the subject distance D to the subject to be focused is calculated by adding the error distance ⁇ y in the Y direction to the above equation (6) ( 40).
  • d represents the optical pupil distance from the center point of the sensor surface S to the pupil position I
  • ⁇ represents the elevation angle from the pupil position I to the point A on the subject surface
  • ⁇ represents a blur angle around the rotation center O.
  • r represents a rotation radius that is a distance from the rotation center O to the center point of the sensor surface S
  • D represents a subject distance to a subject to be focused
  • Ny represents the image sensor 21 in the Y-axis direction. This represents the number of pixels on one side
  • ⁇ represents the maximum angle of view of the image sensor 21 in the Y-axis direction.
  • the correction amount ⁇ x in the X direction when performing the camera shake correction processing according to the subject distance D to the subject to be focused is the following equation obtained by adding the error distance ⁇ x in the X direction to the above equation (8). (41).
  • d represents the optical pupil distance from the center point of the sensor surface S to the pupil position I
  • ⁇ represents the elevation angle from the pupil position I to the point A on the subject surface
  • ⁇ represents a blur angle around the rotation center O.
  • r represents a rotation radius that is a distance from the rotation center O to the center point of the sensor surface S
  • D represents a subject distance to a subject to be focused
  • Nx represents an X-axis direction of the image sensor 21. The number of pixels on one side is indicated, and ⁇ indicates the maximum angle of view of the image sensor 21 in the X-axis direction.
  • a subject distance with an error distance ⁇ ( ⁇ , ⁇ , D) of 2 pixels or more can be obtained in advance and set as a threshold value. Then, when the subject distance D estimated by the distance estimation unit 34 is less than the threshold value, the camera shake correction processing unit 25 performs the camera shake correction processing according to the subject distance D to the subject to be focused. Can do.
  • the imaging device 11B can perform the camera shake correction process so that the camera shake is most suppressed in the subject to be focused. Therefore, the occurrence of camera shake can be more reliably suppressed even when the subject is at a short distance, and the image quality can be improved. Further, in the imaging device 11B, only when the subject distance at which the error distance ⁇ ( ⁇ , ⁇ , D) is 2 pixels or more is obtained in advance and less than the threshold value, the camera shake correction process corresponding to the subject distance D is performed. Well, the processing load can be reduced.
  • FIG. 26 is a diagram for comparing and explaining the effect of the camera shake correction processing according to the subject distance D.
  • FIG. 26 shows an image captured by placing the ruler on the front side and the lattice pattern panel on the back side.
  • FIG. 26A shows an image that has not been subjected to camera shake correction processing
  • FIG. 26B shows that the subject distance D is set at the position where the ruler is placed and the camera shake correction processing is performed.
  • FIG. 26C shows an image that has been subjected to camera shake correction processing by setting the subject distance D at the position where the lattice pattern is arranged.
  • the lens position of the focus adjustment lens has a relationship that changes substantially linearly with respect to the current value of the AF control signal. Depending on the posture, the relationship may not be substantially linear. That is, for example, the lens position of the focus adjustment lens differs depending on the gravity acting on the focus adjustment lens when the imaging device 11 faces upward and when the imaging device 11 faces downward. It will be.
  • the imaging device 11B can obtain a more accurate correction amount by correcting the subject distance D based on the attitude of the imaging device 11.
  • the imaging device 11 may be configured such that the gyro sensor 22 measures the direction of gravity (that is, the attitude of the imaging device 11), and the gyro sensor 22 supplies the gravity direction to the distance estimation unit 34. it can.
  • the distance estimation unit 34 holds the correspondence between the gravity direction obtained in advance and the correction amount of the subject distance D, and can correct the subject distance D according to the gravity direction supplied from the gyro sensor 22. it can. Accordingly, it is possible to perform the camera shake correction process more accurately regardless of the posture of the imaging device 11.
  • the AF sensor 31 is not limited to the configuration in which the phase difference detection pixels are embedded in the sensor surface of the image sensor 21.
  • a configuration in which a part of light traveling toward the image sensor 21 is divided to obtain the distance to the subject a configuration in which the distance to the subject is obtained based on the contrast of the image output from the image sensor 21, and the like. Can be adopted.
  • the AF control unit 32 may be configured to directly supply a signal indicating the distance to the subject to the camera shake correction processing unit 25 without providing the distance estimation unit 34.
  • the AF drive unit 33 may be configured to drive the focus adjustment lens according to the pulse signal.
  • the AF control unit 32 outputs a pulse signal as the AF control signal, and the distance estimation unit 34 The distance to the subject can be estimated by counting the pulses.
  • FIG. 27 is a block diagram illustrating a configuration example of an embodiment of a solid-state imaging device to which the present technology is applied.
  • the solid-state imaging device 51 includes a pixel array unit 52, a row scanning unit 53, a column processing unit 54, a column scanning unit 55, an output unit 56, a control unit 57, and a logic circuit 58.
  • the pixel array unit 52 includes a plurality of pixels 61 arranged in an array.
  • the pixel 61 is driven for each row in accordance with the control from the row scanning unit 53, and pixel signals corresponding to charges generated by photoelectric conversion are arranged in columns. Output to the column processing unit 54 in parallel.
  • the row scanning unit 53 supplies a drive signal (for example, a transfer signal, a selection signal, a reset signal) for driving the pixels 61 of the pixel array unit 52 for each row.
  • a drive signal for example, a transfer signal, a selection signal, a reset signal
  • the column processing unit 54 performs A / D (Analog / Digital) conversion on the pixel signals supplied from the pixels 61 of the pixel array unit 52 in parallel for each column of the pixels 61, and in order according to control from the column scanning unit 55. To the output unit 56.
  • a / D Analog / Digital
  • the column scanning unit 55 controls the column processing unit 54 to sequentially output pixel signals at a predetermined timing.
  • the output unit 56 amplifies the pixel signal supplied from the column processing unit 54 with a predetermined gain, for example, and outputs the amplified signal.
  • the control unit 57 supplies a clock signal serving as a reference for driving the row scanning unit 53, the column processing unit 54, the column scanning unit 55, and the output unit 56, and a control signal for controlling the driving.
  • the logic circuit 58 is configured to include the gyro sensor 22, the signal synchronization unit 23, the parameter holding unit 24, and the camera shake correction processing unit 25.
  • the configurations of the gyro sensor 22, the signal synchronization unit 23, the parameter holding unit 24, and the camera shake correction processing unit 25 are the same as those in FIG. 1, and detailed descriptions thereof are omitted.
  • the solid-state imaging device 51 is configured so that camera shake correction processing similar to that of the camera module 15 of FIG. 1 can be performed therein.
  • the logic circuit 58 is provided as a peripheral circuit of the pixel array unit 52 on the same substrate as the pixel array unit 52, for example.
  • the logic circuit 58 may be provided on a substrate different from the substrate of the pixel array unit 52 and the bases thereof may be stacked.
  • the solid-state imaging device 51 can output an image subjected to the camera shake correction process.
  • the present technology is applied to a device that acquires image data that has already been captured and gyro data that is synchronized with the image data and provides camera shake correction processing later, such as a personal computer. May be.
  • this technique can also take the following structures.
  • An imaging unit that images a subject and outputs an image;
  • a detection unit that physically detects a blur angle when the imaging unit shakes;
  • An imaging apparatus comprising: a correction processing unit that calculates a correction amount based on a position of a pixel constituting an image output by the imaging unit and a blur angle detected by the detection unit, and corrects the image according to the correction amount.
  • the correction processing unit uses different correction amounts depending on a distance between a vertical direction and a horizontal direction from a substantially center of the image.
  • the correction processing unit is supplied from the imaging unit and a pupil distance that is an optical distance from a pupil position of an optical system that forms an image of a subject on the sensor surface of the imaging unit to the sensor surface of the imaging unit.
  • the imaging device according to (1) or (2), wherein the correction amount is calculated by performing an operation according to an equation.
  • the correction amount is expressed by the above-described equations (6) and (8).
  • ⁇ x indicates the correction amount in the horizontal direction of the image
  • ⁇ y is , Indicates a vertical correction amount of the image
  • d indicates the pupil distance
  • ⁇ indicates the elevation angle
  • ⁇ indicates the blur angle
  • X indicates the image of the pixel to be corrected.
  • the imaging device according to (3) wherein a distance in a horizontal direction from a substantially center of the imaging device.
  • the correction processing unit reads the corrected image so that the pixel position of each pixel constituting the corrected image corrected according to the correction amount matches the pixel position of each pixel constituting the uncorrected image.
  • the imaging apparatus according to any one of (1) to (4), wherein the pixel value of the predetermined pixel is obtained by interpolation from a predetermined number of the pixels around the predetermined pixel.
  • a synchronization unit that synchronizes the image output from the imaging unit and the blur angle output from the detection unit and supplies the image to the correction processing unit The imaging device described in 1.
  • the imaging unit synchronizes with the blur angle output from the detection unit for each horizontal line of an image output from the imaging unit. apparatus.
  • the correction processing unit when the imaging unit shakes, In addition to the correction amount for correcting the influence of the blur angle at which the image moves in the vertical direction on the vertical direction of the image, the correction for correcting the influence on the horizontal direction of the image by the blur angle at which the image moves in the vertical direction Calculate the quantity, In addition to the correction amount for correcting the influence of the blur angle at which the image moves in the left-right direction on the left-right direction of the image, the correction for correcting the effect of the blur angle at which the image moves in the left-right direction on the vertical direction of the image.
  • the imaging device according to any one of (1) to (7), wherein an amount is calculated.
  • the imaging apparatus performs imaging by a global shutter method in which the entire image is recorded substantially simultaneously.
  • the imaging device performs imaging by a rolling shutter system having different imaging timing for each horizontal line in the image.
  • the sensor of the imaging unit includes a lens included in an optical system that forms an image of a subject on the sensor surface of the imaging unit in a direction in which the image on the imaging unit does not move based on the blur angle detected by the detection unit.
  • a drive unit that is driven substantially parallel to the surface;
  • the imaging apparatus according to any one of (1) to (10), wherein a portion that does not depend on an arrangement position of the pixel on the image plane is corrected by parallel driving.
  • the correction processing unit further uses a subject distance that is an optical distance from the pupil position to a subject to be focused, calculates an additional correction amount for performing additional correction on the correction amount, and calculates the subject
  • the imaging apparatus according to (3) wherein a camera shake correction process corresponding to the distance is performed.
  • the correction amount when performing the camera shake correction process according to the subject distance is expressed by the above-described formula (40) and formula (41).
  • ⁇ x is the A horizontal direction correction amount of the image is indicated
  • ⁇ y indicates a vertical correction amount of the image
  • d indicates the pupil distance
  • ⁇ indicates the elevation angle
  • ⁇ indicates the blur angle
  • X represents the distance in the horizontal direction from the approximate center of the image of the pixel to be corrected
  • r is the rotation from the rotation center when the imaging unit is shaken to the center point of the sensor surface.
  • D represents the subject distance to the subject to be focused
  • Ny represents the number of pixels on one side in the vertical direction of the imaging unit
  • ⁇ represents the maximum field angle in the vertical direction of the imaging unit.
  • Nx represents the number of pixels on one side in the horizontal direction of the imaging unit
  • ⁇ represents the imaging unit
  • the correction processing unit performs a camera shake correction process according to the subject distance when the subject distance to the subject to be focused is equal to or less than a predetermined threshold set in advance.
  • the imaging device described in 1. A focus drive unit that drives a focus adjustment lens of the optical system to focus on a desired subject; (12) to (14) above, further comprising: a subject distance estimation unit that estimates the subject distance to the subject to be focused based on a control signal that controls driving of the focus adjustment lens by the focus driving unit.
  • the imaging device according to any one of the above.
  • the detection unit detects the direction of gravitational acceleration and supplies it to the subject distance estimation unit, The imaging apparatus according to (15), wherein the subject distance estimation unit corrects the estimated subject distance according to a direction of gravity acceleration.
  • An imaging unit that images a subject and outputs an image; A detection unit that physically detects a blur angle when the imaging unit shakes; A solid-state imaging device comprising: a correction processing unit that calculates a correction amount based on an arrangement position of pixels constituting an image output from the imaging unit and a blur angle detected by the detection unit, and corrects the image according to the correction amount. element.
  • an imaging method of an imaging apparatus comprising: an imaging unit that images a subject and outputs an image; and a detection unit that physically detects a blur angle when the imaging unit is shaken.
  • the imaging unit outputs an image
  • the detection unit outputs a blur angle
  • An imaging method comprising: calculating a correction amount based on an arrangement position of pixels constituting an image output from the imaging unit and a blur angle detected by the detection unit, and correcting the image according to the correction amount.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Optics & Photonics (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

　本開示は、より効果的な手振れ補正を行うことができるようにする撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法に関する。 被写体を撮像して画像を出力する撮像部と、撮像部が振れた際のブレ角を物理的に検出する検出部と、撮像部が出力する画像を構成する画素の配置位置に依存して異なり、検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って画像を補正する補正処理部と、撮像部から出力される画像と、検出部から出力されるブレ角との同期をとって補正処理部に供給する同期部とを備える。本技術は、例えば、撮像機能を備えた電子機器に適用できる。

Description

撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
　本開示は、撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法に関し、特に、より効果的な手振れ補正を行うことができるようにした撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法に関する。
　従来、デジタルスチルカメラやデジタルビデオカメラなどの撮像機能を備えた電子機器においては、撮像時の手振れを補正してブレのない画像を出力する手振れ補正システムが採用されている。従来の手振れ補正システムには、電子式の手振れ補正と、光学式の手振れ補正との２種類がある。
　電子式の手振れ補正は、連続する画像の間で、写されている被写体のブレを画像から検出し、そのブレ量に応じて画像の位置を移動させる画像処理を行うことで手振れを補正する。このような電子式の手振れ補正は、メカニカルな機構が不要であり、構造体を小型化することができる。しかしながら、画像からブレを検出するため、暗所で画像が明確でないときにはブレを検出することが困難であった。また、前の画像と比較するために、前の画像を全て保存するメモリ領域が必要となる。
　さらに、電子式の手振れ補正では、手振れ量を２つのフレーム（画）から検出するため、画像中の動きのある物体（動体）なのか、あるいは手振れによる画像のズレなのかの判定をあらゆるシーンで確実に行うことは極めて困難である。この動体と手振れの区別も含めたアルゴリズムは数多く提案されているが、現状では、いまだに改善が行われている。
　また、光学式の手振れ補正は、イメージセンサがどのように振れたかをジャイロなどで検出し、その逆補正の分をレンズもしくはイメージセンサを稼働させることによって手振れを補正する。光学式の手振れ補正では、物理的な振れを検出するため、電子式の手振れ補正のような動体と手振れとの誤認識は発生しない。また、前の画との比較も必要ないので、前の画を蓄積するためのフレームメモリが不要である。しかしながら、光学式の手振れ補正では、その稼働部の構造体が大きくなってしまうだけでなく、構造体を動かすために消費電力が大きくなってしまう。
　また、従来、撮像素子としてCMOS（Complementary Metal Oxide Semiconductor）イメージセンサを採用した撮像装置では、撮像素子のラインごとに露光期間のずれ（撮像タイミングのずれ）が生じるため、手振れの影響を完全に除去することは困難であった。
　そこで、特許文献１に開示されているように、被写体画像における所定のラインが撮像されたときの振動量から算出された補正量に基づいて、被写体画像をラインごとに補正する手振れ補正処理が提案されている（特許文献１参照）。
特開２００６－３０４３１３号公報
　ところで、従来の電子式および光学式の手振れ補正のどちらにおいても、画像全体を一様に補正することはできるが、例えば、手振れにより画像に発生する歪みまでは効果的に補正することは困難であった。
　本開示は、このような状況に鑑みてなされたものであり、より効果的な手振れ補正を行うことができるようにするものである。
　本開示の一側面の撮像装置、固体撮像素子、カメラモジュール、または電子機器は、被写体を撮像して画像を出力する撮像部と、前記撮像部が振れた際のブレ角を物理的に検出する検出部と、前記撮像部が出力する画像を構成する画素の位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部とを備える。
　本開示の一側面の撮像方法は、被写体を撮像して画像を出力する撮像部と、前記撮像部が振れた際のブレ角を物理的に検出する検出部とを有する撮像装置の撮像方法において、前記撮像部が画像を出力し、前記検出部がブレ角を出力し、前記撮像部が出力する画像を構成する画素の位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正するステップを含む。
　本開示の一側面においては、被写体を撮像して画像が出力する撮像部と、撮像部が振れた際のブレ角を物理的に検出する検出部とを備え、撮像部が出力する画像を構成する画素の位置と検出部により検出されたブレ角に基づいた補正量が算出され、この補正量に従って画像が補正される。
　本開示の一側面によれば、より効果的な手振れ補正を行うことができる。
本技術を適用した撮像装置の一実施の形態の構成例を示すブロック図である。 撮像素子のセンサ面と被写体面との関係を説明する図である。 センサ面が振れる前後の関係を示す図である。 振れによるＹ方向の距離差を説明する図である。 Ｙ軸方向の仰角と被写体距離とをパラメータとして求めた誤差距離δｙの一例を示す図である。 ブレ角θで回転移動したときにおけるＸ方向の補正について説明する図である。 ブレ角θによる瞳位置の変化を説明する図である。 Ｘ軸方向の仰角と被写体距離とをパラメータとして求めた誤差距離δｘの一例を示す図である。 像高と補正量の関係を示す図である。 手振れ補正処理の効果を比較して説明する図である。 手振れ補正処理の効果を比較して説明する図である。 手振れ補正処理の効果を比較して説明する図である。 ジャイロデータと画像データの同期について説明する図である。 ジャイロデータと画像データの同期について説明する図である。 ピッチ角、ヨー角、およびロール角の定義を示す図である。 グローバルシャッター方式のイメージセンサにおいてブレ角が画像に与える影響を示す図である。 グローバルシャッター方式のイメージセンサにおいてブレ角が画像に与える影響を示す図である。 ローリングシャッター方式のイメージセンサにおいてブレ角が画像に与える影響を示す図である。 ローリングシャッター方式のイメージセンサにおいてブレ角が画像に与える影響を示す図である。 ローリングシャッター方式のイメージセンサにおいてブレ角が画像に与える影響を示す図である。 バレルシフト方式による手振れ補正機能を備えた撮像装置の構成例を示す図である。 撮像方法を説明するフローチャートである。 本技術を適用した撮像装置の他の実施の形態の構成例を示すブロック図である。 ＡＦ制御信号の電流値と被写体距離との関係について説明する図である。 所定の被写体距離とＸ方向の誤差距離δｘとの関係の一例を示す図である。 手振れ補正処理の効果を比較して説明する図である。 本技術を適用した固体撮像素子の一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　図１は、本技術を適用した撮像装置の一実施の形態の構成例を示すブロック図である。
　図１に示すように、撮像装置１１は、デジタルスチルカメラやデジタルビデオカメラなどのように撮像を主な機能とする電子機器であり、光学系１２、記録媒体１３、ディスプレイ１４、およびカメラモジュール１５を備えて構成される。また、例えば、撮像装置１１としては、撮像を主な機能とする電子機器の他、携帯電話機器、または、いわゆるスマートフォンやタブレットなどと呼ばれる多機能型携帯端末のように撮像機能を備えた電子機器が適応可能とされる。
　光学系１２は、１枚または複数枚のレンズを有して構成され、被写体からの光を集光して、カメラモジュール１５が有するイメージセンサ２１のセンサ面に被写体の像を結像する。
　記録媒体１３は、撮像装置１１に内蔵型、または、撮像装置１１に着脱可能なリムーバブル型のメモリ（例えば、EEPROM（Electronically Erasable and Programmable Read Only Memory））であり、カメラモジュール１５から出力される画像を記録する。
　ディスプレイ１４は、例えば、液晶パネルや有機EL（Electro Luminescence）パネルなどの表示部を有して構成され、カメラモジュール１５から出力される画像を表示する。
　カメラモジュール１５は、イメージセンサ２１、ジャイロセンサ２２、信号同期部２３、パラメータ保持部２４、および、手振れ補正処理部２５を備えて構成される。
　イメージセンサ２１は、被写体の光学像を撮像して電気信号に変換するX-Y型の撮像素子と、撮像素子から出力される信号に対する信号処理を施す信号処理部とを有して構成され、被写体が撮像された画像信号を出力する。例えば、イメージセンサ２１は、撮像素子および信号処理部が積層された一体のチップにより構成され、または、撮像素子のチップと信号処理部のチップとが組み合わされたユニットにより構成される。また、信号処理部は、撮像素子の出力を増幅するAGC（Automatic Gain Control：オートゲインコントロール）や、AD（Analog Digital）変換などの前処理、前処理されたディジタル信号を適切な画像信号フォーマット（Bayer、YUV、RGBなど）に変換する処理などを行う。
　ジャイロセンサ２２は、イメージセンサ２１の近傍に実装され、イメージセンサ２１が振れた際のブレ角を物理的に（画像処理的にではなく）検出する。例えば、ジャイロセンサ２２は、角速度を検出する検出部であり、一定のタイミングで、検出した角速度から求められるブレ角を示すジャイロデータ（以下、適宜、手振れ量情報とも称する）を出力する。
　信号同期部２３は、イメージセンサ２１から出力される画像信号と、ジャイロセンサ２２から一定のタイミングで出力される手振れ量情報との同期をとる同期処理を行って、画像信号および手振れ量情報を手振れ補正処理部２５に出力する。なお、信号同期部２３による同期処理については、図１３および図１４を参照して後述する。
　パラメータ保持部２４は、光学系１２およびイメージセンサ２１から構成されるモジュールの幾何光学的な固有パラメータ（例えば、画角やモジュール瞳距離など）を保持する。
　手振れ補正処理部２５は、信号同期部２３から出力される画像信号、その画像信号と同期のとれた手振れ量情報、および、パラメータ保持部２４に保持されている固有パラメータに基づいて、画像信号に対する補正量を算出する。そして、手振れ補正処理部２５は、算出した補正量に従って画像信号の手振れを補正する手振れ補正処理を行い、手振れの発生を抑制した画像信号（以下、適宜、手振れ補正画像と称する）に変換して、記録媒体１３およびディスプレイ１４に供給する。なお、手振れ補正処理部２５による詳細な手振れ補正処理については、図１５乃至図２０を参照して後述する。
　まず、図２乃至図１２を参照して、手振れ補正処理部２５における手振れ補正処理の原理および評価について説明する。
　まず、図２に示すように、イメージセンサ２１のセンサ面Ｓと被写体面との関係を定義する。
　被写体面上の各点は、図示しない光学系１２（図１）のレンズの瞳位置Ｉを通過して、センサ面Ｓ上に結像する。例えば、光学系１２の光軸と交差する被写体面上の点Ｃは、瞳位置Ｉを通過してセンサ面Ｓの略中心（ここで、略中心とは、センサ面Ｓの画像上の中心、あるいはセンサ面Ｓの光学的な中心、または、センサ面Ｓの画像上あるいは光学的な中心の近傍を含み、以下、適宜、中心点と称する）に結像し、光学系１２の光軸に対して仰角αの位置にある被写体面上の点Ａは、点Ａから瞳位置Ｉを通過する光線Ｌ１と交差するセンサ面Ｓ上の点に結像する。
　また、図示するように、センサ面Ｓの中心点から瞳位置Ｉまでの光学的な距離をモジュール瞳距離ｄとし、被写体面上の点Ｃから瞳位置Ｉまでの光学的な距離を被写体距離Ｄとする。また、図面に対して直交し手前に向かう軸をＸ軸とし、図面の下から上に向かう軸をＹ軸とし、図面の左から右に向かう軸をＺ軸とする。
　そして、撮像時の手振れにより撮像装置１１が振れ、センサ面Ｓが所定の回転中心を中心にしてＸ軸周りにブレ角θで回転移動したとする。
　即ち、図３に示すように、回転中心Ｏを中心にしてブレ角θで回転移動したとき、センサ面Ｓはセンサ面Ｓ’に移動し、瞳位置Ｉは瞳位置Ｉ’に移動する。このとき、撮像装置１１が振れる前に仰角αの位置にあった被写体面上の点Ａは、点Ａから瞳位置Ｉ’を通過する光線ＬＲと交差するセンサ面Ｓ’上の点に結像する。即ち、被写体面上の点Ａからの光は、撮像装置１１が振れる前の瞳位置Ｉを通過する光線Ｌ１ではなく、撮像装置１１が振れた後の瞳位置Ｉ’を通過する光線ＬＲに沿って、センサ面Ｓ’上の点に結像する。
　このとき、撮像装置１１が振れた後の光学系１２の光軸に対する光線ＬＲの仰角は未知であり、直接的に評価することはできない。そこで、撮像装置１１が振れた後の瞳位置Ｉ’を通過して光線Ｌ１と平行な光線Ｌ２が被写体面と交差する被写体面上の点Ａ’が、被写体面上の点Ａであると仮定した場合に、これらの位置関係について検討する。
　まず、回転中心Ｏからセンサ面Ｓの中心点までの距離を回転半径ｒとすると、ブレ角θで回転移動したとき、センサ面Ｓの中心点がＺ軸方向に移動する移動量ΔＣｚ、および、センサ面Ｓの中心点がＹ軸方向に移動する移動量ΔＣｙは、次の式（１）で表される。
Figure JPOXMLDOC01-appb-M000005
　また、撮像装置１１が振れる前における仰角αの光線Ｌ１と交差する被写体面上の点Ａのセンサ面上での像高Ａ、および、撮像装置１１が振れた後において光線Ｌ１と平行な光線Ｌ２と交差する被写体面上の点Ａ’のセンサ面上での像高Ａ’は、次の式（２）で表される。
Figure JPOXMLDOC01-appb-M000006
　従って、被写体面上の点Ａおよび点Ａ’の距離差がセンサ面上で無視できるときに、センサ面Ｓがブレ角θで回転移動したときの像高の変化量ΔＡは、次の式（３）で表される。
Figure JPOXMLDOC01-appb-M000007
　このように、式（３）に示すように、像高の変化量ΔＡは、モジュール瞳距離ｄ、ブレ角θ、および仰角αのみで求めることができ、これらの値は、すべて既知量である。従って、モジュール瞳距離ｄ、ブレ角θ、および仰角αが、例えば、実用に耐え得るものであれば、極めて正確に手振れ補正を行うことができる。そこで、モジュール瞳距離ｄ、ブレ角θ、および仰角αが、実用に耐え得るものであるか否かを評価するためには、被写体面上の点Ａおよび点Ａ’の距離差が無視できるとみなしたときに、発生する誤差量を検討する必要がある。
　例えば、図４に示すように、被写体面上の点Ａから瞳位置Ｉを通過する光線Ｌ１と交差するセンサ面Ｓ上の点を点ａとし、被写体面上の点Ａ’から瞳位置Ｉ’を通過する光線Ｌ２と交差するセンサ面Ｓを含む平面上の点を点ａ’とする。このとき、被写体面上の点Ａおよび点Ａ’のＹ方向の距離差（Ａ－Ａ’）は、幾何光学的に、センサ面Ｓを含む平面上の点ａおよび点ａ’のＹ方向の距離差（ａ－ａ’）と等しく、次の式（４）で表される。
Figure JPOXMLDOC01-appb-M000008
　このように求められる距離差（Ａ－Ａ’）から、被写体面上の点Ａ’を点Ａとみなすことができるかどうかを評価するためのセンサ面上での画素数の誤差距離δ（θ,α,Ｄ）を求めることができる。即ち、誤差距離δ（θ,α,Ｄ）は、距離差（Ａ－Ａ’）、イメージセンサ２１のＹ軸方向の一辺の画素数Ｎｙ、および、イメージセンサ２１のＹ軸方向の最大画角βにおける被写体面上においてＹ方向に撮像可能な範囲（＝２・Ｄ・ＴＡＮβ）を用いて、次の式（５）で表される。
Figure JPOXMLDOC01-appb-M000009
　このように求められる誤差距離δ（θ,α,Ｄ）について、Ｙ軸方向の仰角αと被写体距離Ｄとをパラメータとして求めた一例を図５に示す。
　図５には、列方向のパラメータとしてＹ軸方向の仰角α（0.00°，5.00°，10.00°，15.00°，20.00°，25.00°）を用い、行方向のパラメータとして被写体距離Ｄ（25ｃｍ，50ｃｍ，１ｍ，２ｍ，３ｍ，５ｍ）を用いて求められた誤差距離δ（θ,α,Ｄ）が示されている。また、図５は、イメージセンサ２１の最大画角βを上下２５°とし、イメージセンサ２１のＹ方向の画素数Ｎｙを３０００画素とし、回転半径ｒを５０ｍｍとして求められた誤差距離δ（θ,α,Ｄ）の一例である。
　図５に示されている誤差距離δ（θ,α,Ｄ）の各数値は、被写体面上の点Ａおよび点Ａ’のＹ方向の距離差（Ａ－Ａ’）が、イメージセンサ２１の画素において、どの程度異なる位置に画として現れるのかを表している。
　一般的に、被写体面上の所定の２箇所の点の距離差がセンサ面上で２画素以上あると、その距離差が目立つと言われている。図５では、誤差距離δ（θ,α,Ｄ）が２画素未満の範囲、即ち、被写体面上の点Ａおよび点Ａ’のＹ方向の距離差（Ａ－Ａ’）がセンサ面Ｓ上で２画素未満となる範囲が、太線の枠線で囲われている。このように、図５に示されている仰角αおよび被写体距離Ｄについて、ほとんどの範囲において、誤差距離δ（θ,α,Ｄ）は２画素未満であり、十分、距離差（Ａ－Ａ’）が目立つことはなく、実用に耐え得るものである。
　また、誤差距離δ（θ,α,Ｄ）は、あくまでもある瞬間での誤差（誤差画素数）であり、通常の撮像において、その蓄積時間の中で動いており、その動き量を全て積分したものが画として表現される。このことより、図５に示されている程度の誤差は、通常の撮像において使用する範囲では全く問題となることはない。
　つまり、被写体面上の点Ａおよび点Ａ’の距離差が無視できるとみなすことができる。従って、撮像時の手振れにより撮像装置１１が振れ、センサ面Ｓが所定の回転中心を中心にしてブレ角θで回転移動したとき、そのＹ方向（縦軸方向）の補正量Δｙは、次の式（６）で求めることができる。この式（６）に示されるように、補正量Δｙは、仰角αに依存して異なる値となる。また、被写体面上の点Ａのセンサ面上での像高は仰角αより求まることより、補正量Δｙは、その像高（仰角αの位置にある被写体面上の点Ａがセンサ面Ｓ上で結像するセンサ面Ｓの略中心からＹ方向の距離）に依存して異なる値となる。
Figure JPOXMLDOC01-appb-M000010
　ここで、図６を参照して、このようにブレ角θで回転移動したときにおけるＸ方向（横軸方向）の補正について説明する。
　図６では、センサ面Ｓの像面に結像される画がどのようになるのかを分かり易く示すために、Ｘ軸方向に沿って配置される棒状の被写体Ｂが用いられており、説明を簡易化するために撮像装置１１が振れることによる瞳位置ｉがズレないものとして図示されている。
　図６のＡには、棒状の被写体Ｂに沿ってＸ軸方向から見た図が示されており、図６のＢには、図６のＡの白抜きの矢印の方向から見た、即ち、Ｙ軸方向から見た図が示されている。
　図６に示すように、ブレ角θによって、棒状の被写体Ｂの一方の端部ｂ０から瞳位置ｉに入射される光Ｌ０は、撮像装置１１が振れる前のセンサ面Ｓのセンサ中心点Ｃに結像し、撮像装置１１が振れた後のセンサ面Ｓ’のセンサ中心点Ｃ’に結像する。従って、センサ面Ｓおよびセンサ面Ｓ’それぞれにおいて、瞳位置ｉからセンサ中心点Ｃまでの距離は、ｄ／ＣＯＳαとなり、瞳位置ｉからセンサ中心点Ｃ’までの距離はｄ／ＣＯＳ（α＋θ）となる。
　また、ブレ角θによって、棒状の被写体Ｂの他方の端部ｂ１から瞳位置ｉに入射される光Ｌ１は、撮像装置１１が振れる前のセンサ面Ｓの点Ｐに結像し、撮像装置１１が振れた後のセンサ面Ｓ’の点Ｐ’に結像する。このとき、瞳位置ｉ、センサ中心点Ｃ、および点Ｐからなる三角形と、瞳位置ｉ、センサ中心点Ｃ’、および点Ｐ’からなる三角形とは相似となる。従って、撮像装置１１が振れる前のセンサ中心点Ｃから点Ｐまでの値Ｐｘと、撮像装置１１が振れた後のセンサ中心点Ｃ’から点Ｐ’までの値Ｐ’ｘとの比は、次の式（７）で表される。
Figure JPOXMLDOC01-appb-M000011
　従って、式（７）より、撮像時の手振れにより撮像装置１１が振れ、センサ面Ｓが所定の回転中心を中心にしてブレ角θで回転移動したとき、点Ｐの位置にある画素を補正の対象とし、センサ中心点Ｃから点Ｐまでの距離をＸとすると、そのＸ方向（横軸方向）の補正量Δｘは、次の式（８）で求めることができる。この式（８）に示されるように、補正量Δｘは、仰角αと、センサ中心点Ｃから点Ｐまでの距離Ｘとに依存して異なる値となる。
Figure JPOXMLDOC01-appb-M000012
　ところで、実際には、ブレ角θによって、瞳位置ｉは変化する。そのため、棒状の被写体Ｂの端部ｂ１が結像する位置は、図６に示すようなセンサ面Ｓ’の点Ｐ’とはならない。
　ここで、図７は、ブレ角θによる瞳位置ｉの変化を考慮したときの棒状の被写体Ｂの端部ｂ１が結像する位置を説明する図である。
　図７に示すように、撮像装置１１がブレ角θで振れたとき、瞳位置ｉは、次の式（９）に示す瞳位置移動量Δｉだけ被写体Ｂに近づくことになる。
Figure JPOXMLDOC01-appb-M000013
　従って、撮像装置１１がブレ角θで振れたとき、被写体Ｂの端部ｂ１’の位置が、本来の端部ｂ１の位置として、センサ面Ｓ’’の点Ｐ’’に結像される。このときの被写体ＢでのＸ軸方向の被写体誤差δｘは、次の式（１０）で表される。
Figure JPOXMLDOC01-appb-M000014
　但し、式（１０）において、ＴＡＮｑ＝Ｘ／Ｄである。
　ここで、上述の図５に示したＹ方向の誤差距離δ（θ,α,Ｄ）と同様に、Ｘ方向の誤差距離δｘを求める。誤差距離δｘは、イメージセンサ２１のＸ軸方向の一辺の画素数Ｎｘ、および、イメージセンサ２１のＸ軸方向の最大画角βにおける被写体面上においてＸ方向に撮像可能な範囲（＝２・Ｄ・ＴＡＮβ）を用いて、次の式（１１）で表される。
Figure JPOXMLDOC01-appb-M000015
　但し、式（１１）において、ＴＡＮｑ＝Ｘ／Ｄである。
　このように求められる誤差距離δｘについて、Ｘ軸方向の仰角αと被写体距離Ｄとをパラメータとして求めた一例を図８に示す。
　図８には、列方向のパラメータとしてＸ軸方向の仰角α（0.00°，5.00°，10.00°，15.00°，20.00°，25.00°，30.00°，35.00°）を用い、行方向のパラメータとして被写体距離Ｄ（25ｃｍ，50ｃｍ，１ｍ，２ｍ，３ｍ，５ｍ）を用いて求められた誤差距離δｘが示されている。また、イメージセンサ２１の最大画角βを左右３５°とし、イメージセンサ２１のＸ方向の画素数Ｎｘを４０００画素とし、回転半径ｒを５０ｍｍとして求められる誤差距離δｘの一例である。
　図８に示されている誤差距離δｘの各数値は、被写体Ｂの端部ｂ１および端部ｂ１’のＸ方向の距離差が、イメージセンサ２１の画素において、どの程度異なる位置に画として現れるのかを表している。
　上述したＹ方向の誤差距離δ（θ,α,Ｄ）と同様に、一般的に、被写体面上の所定の２箇所の点の距離差が２画素以上あると、その距離差が目立つと言われている。図８では、誤差距離δｘが２画素未満の範囲、即ち、被写体Ｂの端部ｂ１および端部ｂ１’のＸ方向の距離差がセンサ面Ｓ上で２画素未満となる範囲が、太線の枠線で囲われている。このように、図８に示されている仰角αおよび被写体距離Ｄについて、ほとんどの範囲において、誤差距離δｘは２画素未満であり、十分、実用に耐え得るものである。
　また、誤差距離δｘは、あくまでもある瞬間での誤差（誤差画素数）であり、通常の撮像において、その蓄積時間の中で動いており、その動き量を全て積分したものが画として表現される。このことより、図８に示されている程度の誤差は、日常的に使用する範囲では全く問題となることはない。
　なお、以上の説明では、Ｘ軸周りに前方に傾くブレ（ピッチ）に関して説明したが、Ｙ軸方向に左右に傾くブレ（ヨー）に関しても同様に、求めることができる。
　ここで、図１の光学系１２およびイメージセンサ２１を備えて構成されるモジュールが、図９のＡに示すようにブレ角Δθで振れたときの補正量の一例が図９のＢに示されている。また、この補正量は、画素数が１３００万画素であり、１画素の一辺が1.12μｍであるイメージセンサ２１を用いて求められたものである。
　図９のＢにおいて、横軸はＹ軸方向の像高を示し、縦軸はＹ軸方向の補正量を示している。図９には、Ｙ軸方向の像高が高くなるのに伴って、補正量が増加していることが示されている。また、図９には、ブレ角Δθとして、1.0°および0.3°が示されており、ブレ角が大きくなるのに伴って、補正量が増加することが示されている。なお、バレルシフト方式の光学手ブレ補正では、撮像素子の中心点、即ち、図９において横軸が０の点の補正量に従って一様に画像全体が補正されている。
　従って、撮像装置１１の手振れ補正処理部２５は、Ｙ軸方向の像高に応じて補正量を求め、その補正量を用いて手振れを補正することにより、Ｙ軸方向の像高に応じて異なって画像に発生する歪を効果的に補正することができる。撮像装置１１の手振れ補正処理部２５では、特に、画像の端部における補正を効果的に行うことができる。
　ここで、図１０乃至図１２は、本技術を適用した撮像装置１１による手振れ補正処理が施された画像と、従来のバレルシフト方式の光学手ブレ補正が施された画像を比較して示している。
　図１０には、格子パターンのパネルを手振れなしの原画と0.5°傾けた画像を重ねたものが示されており、図１０のＡは、本技術を適用した撮像装置１１による手振れ補正処理が施された画像であり、図１０のＢは、従来のバレルシフト方式の光学手ブレ補正が施された画像である。図１０のように遠目の画像では、それぞれの画像の差異を認識することは困難である。
　そこで、図１１には、図１０の画像の中央付近を切り出した画像が示されており、図１２には、図１０の画像の端部近傍を切り出した画像が示されている。図１１のＡおよび図１２のＡは、本技術を適用した撮像装置１１による手振れ補正処理が施された画像であり、図１１のＢおよび図１２のＢは、従来のバレルシフト方式の光学手ブレ補正が施された画像である。
　図１１に示されるように、画像の中央付近では、それぞれの画像の差異を認識することは困難である。これに対し、図１２に示されるように、画像の端部近傍では、それぞれの画像の差異を明確に認識することができる。即ち、本技術を適用した撮像装置１１による手振れ補正処理が施された画像では、端部近傍でも原画と0.5°ブレを補正した画は一致している。しかしながら、従来のバレルシフト方式の光学手ブレ補正が施された画像では、原画と0.5°ブレを補正した画は二重に見えている。
　このように、図１０乃至図１２に示す画像から、本技術を適用することにより、より効果的に手振れを補正することができることが示されている。特に、近年、スマートフォンの普及は目覚ましいものがあり、その機能として、小型ゆえに避けて通れない手振れを、構造的なディメリットがなく撮像し、しかも品質の良い画を簡単に撮像することができるという本技術は、極めて工業的価値が高いといえる。
　ところで、撮像装置１１では、イメージセンサ２１により撮像される画像の、どの部分の蓄積期間中に、どれくらいどの方向に振れたのかということを、手振れ補正処理部２５が補正することになる。そのために、信号同期部２３が、ジャイロセンサ２２から出力されるジャイロデータ（手振れ量情報）と、イメージセンサ２１から出力される画像データとを同期する必要がある。
　次に、図１３を参照して、ジャイロデータと画像データとの同期について説明する。
　図１３の右側には、イメージセンサ２１からの信号の読み出しが示されている。イメージセンサ２１は、縦方向を垂直アドレスとして、１つの垂直アドレスに対して、水平方向の全ての画素が一度に読み出される構造となっている。即ち、１つの水平ラインで読み出し時間が一定であり、蓄積時間が一定となるということである。
　従って、イメージセンサ２１では、異なる垂直アドレスで指定される水平ラインが時々刻々読み出され、水平ラインごとの蓄積時間は異なるタイミングとなる。但し、イメージセンサ２１の各画素に信号電荷が蓄積される時間である蓄積時間は、全ての画素で一定である。そして、各水平ラインにおける蓄積時間のタイミングに対応したジャイロデータを取得する必要がある。つまり、蓄積時間において、どの程度の振れ量が発生したのかを示す手振れ量情報が必要となる。
　図１３の左側には、ある水平ラインの蓄積時間Ｔの中間のタイミングにおいて、ジャイロセンサ２２から出力されるジャイロデータを、その水平ラインのジャイロデータとする処理例が示されている。なお、このような処理に限定されることなく、例えば、ある水平ラインの蓄積時間Ｔの間において出力されたジャイロデータの平均値を、その水平ラインのジャイロデータとする処理を行ってもよい。つまり、各水平ラインに対して、それぞれの蓄積時間に対応する同期のとれたジャイロデータを取得できればよい。
　例えば、イメージセンサ２１から画像データが出力されるタイミングと、ジャイロセンサ２２からジャイロデータが出力されるタイミングとで同期をとる方法がある。また、ジャイロセンサ２２から出力されるジャイロデータを、ベースバンドチップなどのジャイロセンサ２２外で受けて同期をとる方法がある。
　具体的には、イメージセンサ２１へのコマンド発行タイミングと、そのコマンドに従って出力される画像データの遅延を、ベースバンドチップに伝達する手段を用いる。即ち、イメージセンサ２１は、一般的に、垂直同期信号に従って駆動しているため、外部から露光時間を変更するコマンドを、どのタイミングで受けても即座に反映することはできない。そのため、イメージセンサ２１では、外部からコマンドを受けた以降のフレームが開始する垂直同期信号に従って制御が行われる。このような制御は、フレーム内での撮像条件を同一にするためである。一方、コマンドはイメージセンサ２１の外部から与えられるため、垂直同期信号とは無関係のタイミングで発行される。また、ベースバンドチップの知り得るタイミングは、イメージセンサ２１へのコマンド発行と、ジャイロセンサ２２へのコマンド発行のタイミングである。
　つまり、図１４に示すように、ベースバンド処理からみたとき、イメージセンサ２１へのコマンドが時刻Ｔ１のタイミングで出力され、そのコマンドを受け取ったイメージセンサ２１は、その内部で垂直同期信号と同期するための同期時間ΔＴを経て、さらにｎ×ＦＴ時間後（フレーム画像出力時間ＦＴ、整数ｎ：１，２、・・・）に、画像データを出力する。従って、この同期時間ΔＴが、イメージセンサ２１へのコマンドを入力するタイミングによって異なるものとなる。
　一方、ジャイロセンサ２２へのデータ出力を要求するコマンドは、イメージセンサ２１へのコマンドが要求される前の時刻Ｔ０のタイミングで出力されており、ジャイロセンサ２２側では、そのコマンドを受け取った時刻Ｔ０をタイムスタンプとして記録し、順次、ジャイロデータを出力する。従って、ベースバンド処理からみれば、全てのジャイロデータが出力されるタイミングを知ることができる。
　このようなタイミングで、画像データおよびジャイロデータが出力されて信号同期部２３に供給され、信号同期部２３は、画像データおよびジャイロデータの同期をとって、手振れ補正処理部２５に出力する。そして、手振れ補正処理部２５において手振れ補正処理が行われる。
　以下では、手振れ補正処理部２５において行われる手振れ補正処理について説明する。なお、以下の説明で示される数式において、一部、これまでの説明と同一の対象に対して異なる記号が用いられていることがある。
　まず、手振れ補正処理の第１の処理例として、イメージセンサ２１で用いられる撮像素子が、グローバルシャッター方式を採用している構成における手振れ補正処理について説明する。
　グローバルシャッター方式では、撮像画像の全体が、略同時にイメージとして記録されるので、後述するローリングシャッター方式と異なり、１枚の画像に対して一組の補正角（Ｙ軸方向の補正量とＸ軸方向の補正量）を用いて手振れ補正処理を行うことができる。即ち、一組の補正角を用いて、手振れにより位置がずれた画像を、位置がずれていない画像に補正することができる。
　なお、仮に、露光時間が長時間であり、露光中に複数の手振れ量情報（ジャイロデータ）が取得された場合には、それらの複数の手振れ量情報の平均値を用いて一組の補正角を決定することができる。または、露光時間の中央のタイミングにおいて取得された手振れ量情報や、複数の手振れ量情報から補間して必要なタイミングにおける手振れ量情報を取得し、一組の補正角を決定してもよい。
　まず、図１５に示すように、撮像装置１１のブレ（つまり、撮像装置１１に内蔵されるイメージセンサ２１のブレ）は、ピッチ角、ヨー角、およびロール角で定義される。
　図１６は、グローバルシャッター方式のイメージセンサ２１においてブレ角が画像に与える影響を示している。
　図１６のＡには、イメージセンサ２１が静止している場合における画像の位置が示されており、この場合には、イメージセンサ２１の中央に画像が位置している。
　図１６のＢには、イメージセンサ２１がピッチ角のマイナス方向にブレた場合おいてブレ角が画像に与える影響が示されており、この場合には、主にイメージセンサ２１の垂直方向（Ｙ方向）の上側に向かう影響が与えられる。
　図１６のＣには、イメージセンサ２１がヨー角のプラス方向にブレた場合おいてブレ角が画像に与える影響が示されており、この場合には、主にイメージセンサ２１の水平方向（Ｘ方向）の左側に向かう影響が与えられる。
　図１６のＤには、イメージセンサ２１がピッチ角のマイナス方向およびヨー角のプラス方向にブレた場合おいてブレ角が画像に与える影響が示されている。この場合には、イメージセンサ２１の垂直方向（Ｙ方向）の上側と、イメージセンサ２１の水平方向（Ｘ方向）の左側とを足し合わせた方向に向かう影響が与えられる。
　また、ロール角の手振れは、画像の回転として影響が与えられる。なお、イメージセンサ２１の手振れ角をθとすると、画像上では、－θの影響が与えられる。
　とろこで、従来の手振れ補正処理では、ピッチ角のブレに関して、画像全体が一様にＹ方向にＹ１画素分ズレているとして、－Ｙ１画素分の画像を移動させたり、画像の読み出し位置をＹ１画素分ずらしたりするなどの処理が行われていた。同様に、ヨー角のブレに対しても、従来の手振れ補正処理では、画像全体が一様にＸ方向にＸ１画素分ずれているとして、－Ｘ１画素分の画像を移動させたり、画像の読み出し位置をＸ１画素分ずらしたりするなどの処理が行われていた。
　しかしながら、図１７に示すように、ブレ角に対して、画像全体が一様にズレるのではない。図１７では、実線が得られる画像を表しており、点線が元の画像の位置をずらした画像を表している。
　図１７のＡには、イメージセンサ２１が、ピッチ角のマイナス方向にブレた場合おいてブレ角が画像に与える影響が示されている。図１７のＡに示すように、画像上の画素位置により異なる影響が与えられる。例えば、画像の上端近傍では、垂直方向に関して中央付近より大きく移動し、さらに水平方向に広がっている。一方、画像の下端近傍では、垂直方向の移動量が上端近傍および中央付近と異なり水平方向には狭まるような変形をしている。即ち、各画素の位置により、Ｙ方向の移動量は異なっており、さらに、Ｘ方向にも異なる移動をしている。
　図１７のＢには、イメージセンサ２１が、ヨー角のプラス方向にブレた場合おいてブレ角が画像に与える影響が示されている。図１７のＢに示すように、画像上の画素位置により異なる影響が与えられる。例えば、画像の左端近傍では、水平方向に関して中央付近より大きく移動し、さらに垂直方向に広がっている。一方、画像の右端近傍では、水平方向の移動量が左端近傍および中央付近と異なり垂直方向には狭まるような変形をしている。即ち、各画素の位置により、Ｘ方向の移動量は異なっており、さらに、Ｙ方向にも異なる移動をしている。
　図１７のＣには、イメージセンサ２１が、ピッチ角のマイナス方向およびヨー角のプラス方向にブレた場合おいてブレ角が画像に与える影響が示されている。図１７のＣに示すように、二つの方向へのブレの影響が重畳することにより、図１７のＡおよび図１７のＢよりも複雑に画像が変形をしている。
　さらに、図示しないが、ロール角のブレが加わることによって、画像は、さらに複雑な変形をする。なお、一般的な手振れにおいて、ロール角の影響は少なく補正処理を行わないことが多いため、以下では、主にピッチ角およびヨー角のブレに関して説明を行う。
　以下、グローバルシャッター方式における手振れ補正処理の手順について説明する。
　ここで、説明を簡略化するために、イメージセンサ２１の出力画像の各画素の位置を左下の画素の中央を（０，０）として、左からｘ画素目、かつ、下からｙ画素目の画素の中央を座標A（ｘ，ｙ）と表すこととする。
　まず、出力画像の座標Ａ（ｘ，ｙ）について、図１の光学系１２のレンズの光軸中心がイメージセンサ２１の撮像素子に像を結ぶ点の座標Ｏ（ｘ０，ｙ０）からの相対位置（Ｘ，Ｘ）を求めると座標Ａ（Ｘ＝ｘ－ｘ０，Ｙ＝ｙ－ｙ０）となる。なお、座標Ｏ（ｘ０，ｙ０）については、イメージセンサ２１の撮像素子の画像の中央で代用してもよい。
　この画像の撮像時の手振れ量が、ピッチ角θｐ、ヨー角θｙ、およびロール角θｒであるとき、座標Ａを、ピッチ角－θｐ、ヨー角－θｙ、およびロール角－θｒでブレさせた座標Ａ’とすると、入力画像中の座標Ａ’の画素値を、出力画像の座標Ａの画素値とすれば手振れを補正した画素の値となる。従って、この画素値を座標Ａの値として、イメージセンサ２１の全ての画素について求めた画像を出力画像とすることで、手振れの補正された画像が出力される。
　入力画像中の座標Ａ’を求めるにあたり、イメージセンサ２１の有効画素について、水平方向の画素数をＷとし、垂直方向の画素数をＨとし、光学系１２のレンズ中心からイメージセンサ２１の撮像素子までの距離をＬ（画素数相当）とし、水平方向の画角の１／２を角度βとする。そして、仮に、座標Ｏ（ｘ０，ｙ０）を、イメージセンサ２１の有効画素の中央とすると、水平方向の画角の１／２である角度βは、次の式（１２）で求められる。
Figure JPOXMLDOC01-appb-M000016
　従って、光学系１２のレンズ中心からイメージセンサ２１の撮像素子までの距離Ｌ（画素数相当）は、次の式（１３）で求められる。
Figure JPOXMLDOC01-appb-M000017
　なお、水平方向の画角の１／２である角度βおよび距離Ｌ（画素数相当）は、撮像装置１１の撮像モード（例えば、全ての画素で出力する撮像モード、画素を間引いて出力する撮像モード、画素の一部を切り出して出力する撮像モードなど）と、イメージセンサ２１の撮像素子、および、光学系１２のレンズによって固有の値である。
　このとき、座標Ａの位置におけるピッチ方向の角度αｐ、および、座標Ａの位置におけるヨー方向の角度αｙは、次の式（１４）となる。
Figure JPOXMLDOC01-appb-M000018
　従って、ピッチ角θｐで手振れたとき、画像の中心位置では、Ｌ・ｔａｎ（－θｐ）画素だけ画素位置がＹ方向に移動する。そして、座標Ａの位置では、次の式（１５）で表されるＹ方向移動量ΔＹｐだけ画素位置がＹ方向に移動する。
Figure JPOXMLDOC01-appb-M000019
　このとき、図６および図７を参照して上述したように、Ｙ方向だけでなくＸ方向にも移動する。その移動先のＸ座標は、次の式（１６）に示す関係があるとすると、Ｘ方向にＬ２／Ｌ１倍した座標になり、次の式（１７）で表される。
Figure JPOXMLDOC01-appb-M000020
Figure JPOXMLDOC01-appb-M000021
　従って、Ｘ座標は、次の式（１８）で示される位置に移動し、Ｘ座標移動量ΔＸｐは、次の式（１９）で求められる。
Figure JPOXMLDOC01-appb-M000022
Figure JPOXMLDOC01-appb-M000023
　このようなピッチ角θｐで手振れたときと同様に、ヨー角θｙで手振れたとき、画像の中心位置では、Ｌ・ｔａｎ（－θｙ）画素だけ画素位置がＸ方向に移動する。そして、座標Ａの位置では、次の式（２０）で表されるＸ方向移動量ΔＸｙだけ画素位置がＸ方向に移動する。
Figure JPOXMLDOC01-appb-M000024
　また、同様に、Ｘ方向だけでなくＹ方向にも移動する。その移動先のＹ座標は、次の式（２１）に示す関係があるとすると、Ｙ方向にＬ４／Ｌ３倍した座標になり、次の式（２２）で表される。
Figure JPOXMLDOC01-appb-M000025
Figure JPOXMLDOC01-appb-M000026
　従って、Ｙ座標は、次の式（２３）で示される位置に移動し、Ｙ座標移動量ΔＹｙは、次の式（２４）で求められる。
Figure JPOXMLDOC01-appb-M000027
Figure JPOXMLDOC01-appb-M000028
　また、ロール角θｒで手振れたとき、回転中心が画像中央の場合は、次の式（２５）で示される位置に移動し、Ｘ方向移動量ΔＸｒおよびＹ座標移動量ΔＹｒは、次の式（２６）で求められる。
Figure JPOXMLDOC01-appb-M000029
Figure JPOXMLDOC01-appb-M000030
　このように、ピッチ角θｐ、ヨー角θｙ、およびロール角θｒそれぞれ３方向の角度について手振れの影響を個別に算出することができる。ところで、それらは互いに影響しあうため、本来は、ピッチ角θｐ、ヨー角θｙ、およびロール角θｒの手振れの影響を同時に求める必要があるが、次のように簡略化して求めても実用上問題ないレベルで補正できる。例えば、順番に、ピッチ角θｐの影響による移動量に基づいてヨー角θｙの影響による移動量を求め、さらに、その求められた移動量に基づいてロール角θｒの影響による移動量を求めてもよい。なお、移動量を求める際、ピッチ角θｐ、ヨー角θｙ、およびロール角θｒの順番は異なっていてもよい。また、ピッチ角θｐ、ヨー角θｙ、およびロール角θｒそれぞれ３方向の角度について手振れの影響を個別に算出した結果を足し合わせてもよい。
　ところで、手振れによるピッチ角θｐ、ヨー角θｙ、およびロール角θｒは、プラスマイナス１度以内の程度の小さな角度であるので、これらの計算結果の差は非常に微小な値であり、無視することができる程度のものである。
　ここでは、最も簡単な方法である、ピッチ角θｐ、ヨー角θｙ、およびロール角θｒそれぞれ３方向の角度について手振れの影響を個別に算出した結果を足し合わせて、次の式（２７）で総合的なＸ方向移動量ΔＸおよびＹ方向移動量ΔＹを求めることとする。
Figure JPOXMLDOC01-appb-M000031
　従って、求めるべき座標Ａ’のＸ座標Ｘ’は、次の式（２８）により求めることができ、求めるべき座標Ａ’のＹ座標Ｙ’は、次の式（２９）により求めることができる。
Figure JPOXMLDOC01-appb-M000032
Figure JPOXMLDOC01-appb-M000033
　また、座標Ａ（Ｘ，Ｙ）は、次の式（３０）の関係があることより、座標Ａ’のＸ座標Ｘ’およびＹ座標Ｙ’は、次の式（３１）となる。
Figure JPOXMLDOC01-appb-M000034
Figure JPOXMLDOC01-appb-M000035
　ここで、座標Ａ’（Ｘ’，Ｙ’）は、座標Ｏ（ｘ０，ｙ０）からの相対位置であるため、次の式（３２）に基づいて、出力画像の座標Ａ’（ｘ’，ｙ’）の値を読み込むことができる。
Figure JPOXMLDOC01-appb-M000036
　そして、全ての画素に対して、出力画像の座標Ａ’（ｘ’，ｙ’）を求める処理を行うことで、手振れが補正された補正画像を取得することができる。このように、グローバルシャッター方式を採用した撮像素子により撮像された画像に対して、本実施の形態の手振れ補正処理を適用することで、１枚の画像に対して一組の補正角を用いて手振れ補正処理を行うことができ、少ない処理負担で効果的に手振れ補正を行うことができる。
　次に、手振れ補正処理の第２の処理例として、イメージセンサ２１で用いられる撮像素子が、ローリングシャッター方式を採用している構成における手振れ補正処理について説明する。
　ローリングシャッター方式の撮像素子では、撮像画像内で水平ラインごとに撮像タイミングが異なるため、グローバルシャッターのものより画像の変形が複雑になる。これは、ブレ角による画像のゆがみに加えて、時間変化によりブレ角が変わることに影響されている。
　例えば、図１８および図１９は、ローリングシャッター方式のイメージセンサ２１においてブレ角が画像に与える影響を示している。
　図１８のＡには、イメージセンサ２１が静止している場合における画像の位置が示されており、この場合には、イメージセンサ２１の中央に画像が位置している。
　図１８のＢには、イメージセンサ２１がピッチ角のマイナス方向にブレた場合おいてブレ角が画像に与える影響が示されており、図１８のＣには、イメージセンサ２１がピッチ角のプラス方向にブレた場合おいてブレ角が画像に与える影響が示されている。また、図１９のＡには、イメージセンサ２１がヨー角のプラス方向にブレた場合おいてブレ角が画像に与える影響が示されており、図１９のＢには、イメージセンサ２１がヨー角のマイナス方向にブレた場合おいてブレ角が画像に与える影響が示されている。さらに、図１９のＣには、イメージセンサ２１がピッチ角のプラス方向およびヨー角のマイナス方向にブレた場合おいてブレ角が画像に与える影響が示されている。
　図１８および図１９に示されているように、ローリングシャッター方式では、グローバルシャッター方式と比較して、ピッチ角のマイナス方向にぶれる際は、画像がＹ方向に縮む変化が加わり、ピッチ角のプラス方向にぶれる際は、画像がＹ方向に延びる変形が加わる。また、ヨー角にぶれた場合は、画像の下方に向かうに従い、ブレと反対側に、より大きくぶれていく変形が加わる。
　図２０のＡには、イメージセンサ２１が、ピッチ角のマイナス方向およびヨー角のプラス方向にブレた場合おいてブレ角が画像に与える影響が示されている。図２０のＡでは、実線が得られる画像を表しており、点線が元の画像の位置をずらした画像を表している。このように、２つのブレが同時し発生した場合、さらに複雑な変形となる。
　また、図２０のＢには、画素位置依存性を考慮せずにフォーカルプレーン影響のみを補正した場合において、イメージセンサ２１が、ピッチ角のマイナス方向およびヨー角のプラス方向にブレた場合おいてブレ角が画像に与える影響が示されている。図２０のＢでは、実線が得られる画像を表しており、点線が元の画像の位置をずらした画像を表している。このような補正をした場合でも、図示するように、画像の歪みを完全に補正することはできない。なお、図２０のＢに示す画像の歪は小さく見えるが、画像の周辺になると歪が大きくなり、手振れの条件によっては、図１７に示したような影響が表れることになる。
　以下、ローリングシャッター方式における手振れ補正処理の手順について説明する。
　ローリングシャッターの影響を補正するためには、ラインごとに、そのラインの撮像時のブレ角を用いて手振れ補正処理を行う必要がある。従って、信号同期部２３では、手振れ量情報を１画像につきラインごとに同期させることが望ましい。しかしながら、現状のジャイロセンサ２２では、複数ラインで１回程度の手振れ量情報を検出することしかできない。
　従って、複数ラインで同一の手振れ量情報を使用したり、ラインごとに補間した手振れ量情報を使用したり、複数ラインで同一の手振れ量情報を使用するものの、補正角度を計算する際に時間ずれ分を考慮して補正角度を算出したりする方法を採用することができる。また、これらの方法のいずれか、または、その他の方法でラインごとの補正角を求めて、その角度を用いて、上述した入力画像中の座標Ａ’の求め方と同様の計算をして、求める座標位置を取得して補正後の画像を構築することができる。この場合、ピッチ角θｐ、ヨー角θｙ、およびロール角θｒは、そのラインに同期したものを用いる。
　次に、手振れ補正処理の第３の処理例として、バレルシフト方式の光学手ブレ補正と併用する処理について説明する。上述したような手振れ補正処理と、バレルシフト方式と併用することにより、バレルシフト方式において画像の周辺のゆがみ（周辺の補正残り）を補正することができる。
　図２１には、バレルシフト方式の光学手ブレ補正を備える撮像装置１１Ａが示されている。なお、図２１の撮像装置１１Ａにおいて、図１の撮像装置１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。
　図２１に示すように、撮像装置１１Ａは、図１の撮像装置１１の構成に加えて駆動部２６を備える。駆動部２６は、ジャイロセンサ２２からの手振れ量情報に基づいて、撮像素子上の画像が動かない方向に、光学系１２のレンズをイメージセンサ２１の撮像素子のセンサ面と平行に駆動することにより手ブレを光学的に補正する。
　とろこで、バレルシフト方式の光学手ブレ補正では、光学系１２のレンズを手ブレ量に応じて決まった量で動かすので、画素位置の依存性は考慮されていない。このため、画像中央の位置ズレ分を画像全体に一様に補正しているのと略同一の画像になる。従って、バレルシフトの制御に用いている手ブレ情報を用いて手ブレ時の各画素の移動量から、画像中央の位置ズレ分をひいた残りの分（画素位置依存分）の移動量を各画素に対して補正することにより、バレルシフトの補正画像の周辺の歪みを補正することができる。
　入力画像中の座標Ａ’を求めるにあたり、イメージセンサ２１の有効画素について、水平方向の画素数をＷとし、垂直方向の画素数をＨとし、光学系１２のレンズ中心からイメージセンサ２１の撮像素子までの距離をＬ（画素数相当）とし、水平方向の画角の１／２をβとする。そして、仮に、座標Ｏ（ｘ０，ｙ０）を、イメージセンサ２１の有効画素の中央とすると、水平方向の画角の１／２である角度βは、上述した式（１２）で求められる。
　従って、光学系１２のレンズ中心からイメージセンサ２１の撮像素子までの距離Ｌ（画素数相当）は、上述した式（１３）で求められる。
　なお、水平方向の画角の１／２である角度βおよび距離Ｌ（画素数相当）は、撮像装置１１の撮像モード（例えば、全ての画素で出力する撮像モード、画素を間引いて出力する撮像モード、画素の一部を切り出して出力する撮像モードなど）と、イメージセンサ２１の撮像素子、および、光学系１２のレンズによって固有の値である。
　このとき、座標Ａの位置におけるピッチ方向の角度αｐ、および、座標Ａの位置におけるヨー方向の角度αｙは、上述した式（１４）となる。
　従って、ピッチ角θｐで手振れたとき、画像の中心位置では、Ｌ・ｔａｎ（－θｐ）画素だけ画素位置がＹ方向に移動する。そして、座標Ａの位置では、上述した式（１５）で表されるＹ方向移動量ΔＹｐだけ画素位置がＹ方向に移動する。
　このとき、図６および図７を参照して上述したように、Ｙ方向だけでなくＸ方向にも移動する。その移動先のＸ座標は、上述した式（１６）に示す関係があるとすると、Ｘ方向にＬ２／Ｌ１倍した座標になり、上述した式（１７）で表される。
　従って、Ｘ座標は、上述した式（１８）で示される位置に移動し、Ｘ座標移動量ΔＸｐは、上述した式（１９）で求められる。
　ここで、バレルシフト方式では、光学系１２のレンズを駆動することのより中央のブレ分は画像全体に対して補正しているので、Ｙ方向移動量ΔＹｐは、次の式（３３）で求められる。
Figure JPOXMLDOC01-appb-M000037
　また、Ｘ方向のズレに関してバレルシフト方式は考慮していないため、Ｘ方向移動量ΔＸｐはそのまま、上述した式（１９）となる。
　このようなピッチ角θｐで手振れたときと同様に、ヨー角θｙで手振れたとき、画像の中心位置では、Ｌ・ｔａｎ（－θｙ）画素だけ画素位置がＸ方向に移動する。そして、座標Ａの位置では、上述した式（２０）で表されるＸ方向移動量ΔＸｙだけ画素位置がＸ方向に移動する。
　また、同様に、Ｘ方向だけでなくＹ方向にも移動する。その移動先のＹ座標は、上述した式（２１）に示す関係があるとすると、Ｙ方向にＬ４／Ｌ３倍した座標になり、上述した式（２２）で表される。
　従って、Ｙ座標は、上述した式（２３）で示される位置に移動し、Ｙ座標移動量ΔＹｙは、上述した式（２４）で求められる。
　ここで、バレルシフト方式では、光学系１２のレンズを駆動することのより中央のブレ分は画像全体に対して補正しているので、Ｙ方向移動量ΔＹｙは、次の式（３４）で求められる。
Figure JPOXMLDOC01-appb-M000038
　また、Ｘ方向のズレに関してバレルシフト方式は考慮していないため、Ｘ方向移動量ΔＸｙはそのまま、上述した式（２０）となる。
　なお、バレルシフト方式では、ロール角θｒの補正を行うことはできないため、ロール角θｒの補正は行われない。
　従って、最も簡単な方法である、ピッチ角θｐおよびヨー角θｙそれぞれ２方向の角度について手振れの影響を個別に算出した結果を足し合わせて、次の式（３５）で総合的なＸ方向移動量ΔＸおよびＹ方向移動量ΔＹを求めることとする。
Figure JPOXMLDOC01-appb-M000039
　従って、求めるべき座標Ａ’のＸ座標Ｘ’は、次の式（３６）により求めることができ、求めるべき座標Ａ’のＹ座標Ｙ’は、次の式（３７）により求めることができる。
Figure JPOXMLDOC01-appb-M000040
Figure JPOXMLDOC01-appb-M000041
　また、座標Ａ（Ｘ，Ｙ）は、次の式（３８）の関係があることより、座標Ａ’のＸ座標Ｘ’およびＹ座標Ｙ’は、次の式（３９）となる。
Figure JPOXMLDOC01-appb-M000042
Figure JPOXMLDOC01-appb-M000043
　ここで、座標Ａ’（Ｘ’，Ｙ’）は、座標Ｏ（ｘ０，ｙ０）からの相対位置であるため、上述した式（３２）に基づいて、出力画像の座標Ａ’（ｘ’，ｙ’）の値を読み込むことができる。
　そして、全ての画素に対して、出力画像の座標Ａ'（ｘ'，ｙ'）を求める処理を行うことで、手振れが補正された補正画像を取得することができる。なお、ここでは、バレルシフト方式のピッチ方向およびヨー方向の補正に関して記述したが、ロール方向の補正を加えることも可能である。
　ところで、上述した手振れ補正処理の第１乃至第３の処理例において、出力画像の座標Ａ’（ｘ’，ｙ’）は、入力画像上の画素の中央位置に一致するとは限らないため、周辺の画素より補間して画素値を求める必要がある。即ち、補正された後の画像（出力画像）を構成する各画素の画素位置が、補正前の画像（入力画像）を構成する各画素の画素位置に一致するとは限らないため、補正の前後で画素位置が一致するように、補正後の画像を構成する所定の画素の周辺にある複数の画素より補間して、所定の画素の画素値を求める。
　この補間方法には、最近傍法、バイリニア法、バイキュービック法など様々な補間技術を用いることができる。また、入力画像および出力画像の形式（例えば、画素位置により色が決まっているベイヤ画像や、各画素とも同じ色（RGB3色または単色）の画像、YUV画像など）により補間に用いる近傍の画素や求め方が異なるものとなるが、それぞれの形式で計算された画素の値を求めることは異なることはない。
　また、上述した手振れ補正処理の第１乃至第３の処理例において、求めるべき画素の位置が画像外などとなった場合には、画素値としてゼロ等を返したり、画像外とならないように補正量に制限を加えたりするなどの処理が必要となる。ここで、画素値としてゼロ等を返す場合には、出力画像の周辺に本来の画像と異なるものが書き込まれることになるが、最終的な出力画像を、本来の画像のある範囲から切り出したり、切り出した後に拡大したりする処理を施すことができる。一般的には、入力画像として、補正したい角度を補える範囲で、最終出力画像より一回り大きめのものを用意することで、このような影響が最終出力結果に与えられないようにすることができる。
　また、本実施の形態では、説明を分かり易くするために、全画素に関して補正位置を計算して補正する例を説明したが、画像全体を複数のブロックに分割して、分割されたブロックごとに代表点の補正位置を求め、その代表点の補正位置の値から補間して各画素の補正位置を求める等の方法を用いてもよい。また、数値計算に関しては、近似計算等を用いて簡略化してもよい。
　なお、バレルシフト方式（第３の処理例）の場合には、画像のセンターのブレ分はレンズの移動で補正されているため手振れ補正処理の第１および第２の処理例と比較して、同じ角度のブレ量に対して求めるべき画素の位置が、画像外になる量は少なくなる。
　また、特に動画撮影時において、従来、画像の周辺近傍において歪が大きく表れるため、そのような歪の影響の少ない画像の中央のみを切り出したり、イメージセンサユニットの画角を狭くしたりする処理が行われていた。これに対し、本技術を適用した撮像装置１１による手振れ補正処理では、画像の周辺近傍における歪を補正することができるので、撮像装置１１の画角を広くすることができる。
　次に、図２２は、図１の撮像装置１１による撮像方法を説明するフローチャートである。
　例えば、撮像装置１１の電源が投入されて手振れ補正処理が有効となるように設定されると処理が開始される。ステップＳ１１において、ジャイロセンサ２２は一定のタイミングで手振れ量信号（ジャイロデータ）の出力を開始し、信号同期部２３は、順次、ジャイロセンサ２２から手振れ量信号を取得する。
　ステップＳ１２において、イメージセンサ２１は、水平同期信号に従ったタイミングで、画像信号を出力し、信号同期部２３は、順次、イメージセンサ２１から画像信号を取得する。
　ステップＳ１３において、信号同期部２３は、手振れ量信号と画像信号との同期をとって手振れ補正処理部２５に供給する。
　ステップＳ１４において、手振れ補正処理部２５は、画素位置ごとにずれ量を算出する。例えば、手振れ補正処理部２５は、上述した式（１５）、式（１９）、式（２０）、式（２４）、および式（２６）を演算して、それらの演算結果に基づいて式（２７）から求められる総合的なＸ方向移動量ΔＸおよびＹ方向移動量ΔＹを、画素位置ごとに算出する。
　ステップＳ１５において、手振れ補正処理部２５は、ステップＳ１４で算出した画素位置ごとのずれ量に基づいて、画像を補正する。例えば、手振れ補正処理部２５は、座標Ａ（Ｘ，Ｙ）ごとに、上述した式（３１）を演算して座標Ａ’（Ｘ’，Ｙ’）を求めることにより画像を補正する。ステップＳ１５の処理後、処理はステップＳ１１に戻り、次のフレームを処理の対象として、以下、同様の処理が繰り返される。
　ところで、図５を参照して上述したように、誤差距離δ（θ,α,Ｄ）が２画素未満の範囲であれば、被写体面上の点Ａおよび点Ａ’の距離差が目立つことはない。従って、上述した式（６）の補正量Δｙおよび式（８）の補正量Δｘによる手振れ補正処理を行うことで、手振れの発生を十分に抑制した画像を得ることができる。しかしながら、例えば、被写体距離Ｄが近い被写体に対しては、誤差距離δ（θ,α,Ｄ）が２画素以上となることがあり、手振れ補正処理を行っても、手振れが目立つ画像になることがあった。
　そこで、例えば、上述した式（６）の補正量Δｙおよび式（８）の補正量Δｘに、被写体距離Ｄを用いた追加的な補正量を追加した手振れ補正処理を行うことで、被写体距離Ｄが近い被写体に対する手振れを抑制することができる。例えば、ＡＦ（Auto Focus）機能を利用してフォーカスを合わせる被写体までの被写体距離Ｄを推定し、その被写体における手振れが最も抑制されるように、被写体距離Ｄに応じた手振れ補正処理が行われる。
　次に、図２３は、本技術を適用した撮像装置の他の実施の形態の構成例を示すブロック図である。
　図２３には、フォーカスを合わせる被写体までの被写体距離Ｄに応じた手振れ補正処理を行う撮像装置１１Ｂが示されている。なお、図２３の撮像装置１１Ｂにおいて、図１の撮像装置１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。
　図２３に示すように、撮像装置１１Ｂは、図１の撮像装置１１の構成に加えて、ＡＦセンサ３１、ＡＦ制御部３２、ＡＦ駆動部３３、および距離推定部３４を備えて構成される。
　ＡＦセンサ３１は、例えば、イメージセンサ２１のセンサ面に埋め込まれた複数の位相差検出画素を有して構成される。位相差検出画素は、右側半分が遮光された画素と左側半分が遮光された画素とが組み合わされて構成され、センサ面の所定箇所に配置される。そして、右側半分が遮光された画素から出力される画素信号から構築される画像と、左側半分が遮光された画素から出力される画素信号から構築される画像とが、ＡＦセンサ３１からＡＦ制御部３２に供給される。
　ＡＦ制御部３２は、ＡＦセンサ３１から供給される２枚の画像上における被写体の位置のズレに基づいて、フォーカスを合わせる被写体までの距離を算出する。そして、ＡＦ制御部３２は、その距離にフォーカスが合うように、光学系１２が有するフォーカス調整用のレンズのレンズ位置を決定し、決定したレンズ位置に対応する電流値のＡＦ制御信号をＡＦ駆動部３３に供給する。
　ＡＦ駆動部３３は、光学系１２が有するフォーカス調整用のレンズを駆動するためのアクチュエータを有して構成され、ＡＦ制御部３２から供給されるＡＦ制御信号の電流値に従ってフォーカス調整用のレンズを駆動して、被写体にフォーカスを合わせる。
　距離推定部３４には、ＡＦ制御部３２からＡＦ駆動部３３に出力されるＡＦ制御信号が供給され、距離推定部３４は、ＡＦ制御信号の電流値から、フォーカスを合わせる被写体までの被写体距離Ｄを推定する。そして、距離推定部３４は、ＡＦ制御信号の電流値から推定した被写体距離Ｄを、手振れ補正処理部２５に供給する。
　ここで、図２４を参照して、ＡＦ制御信号の電流値と被写体距離Ｄとの関係について説明する。
　図２４のＡに示すように、レンズから被写体までの距離を物側距離ａとし、レンズからセンサ面までの距離を像側距離ｂとしたとき、物側距離ａおよび像側距離ｂの関係は、レンズの焦点距離ｆに従ったものとなる。
　即ち、物側距離ａおよび像側距離ｂの関係は、図２４のＢに示すように、ガウスの結像公式（１／ｆ＝１／ａ＋１／ｂ）により求められる。図２４のＢでは、横軸が物側距離ａを表し、縦軸が像側距離ｂを表しており、物側距離ａが短くなるのに伴って像側距離ｂが長くなる。特に、フォーカスを合わせる被写体が近距離にあるとき、即ち、物側距離ａが極端に短いときには、像側距離ｂは急激に長くなる。
　また、ＡＦ駆動部３３は、光学系１２が有するフォーカス調整用のレンズを、ＡＦ制御部３２から供給されるＡＦ制御信号の電流値に応じてリニアに駆動する。図２４のＣでは、横軸がＡＦ制御信号の電流値を表し、縦軸がフォーカス調整用のレンズのレンズ位置を表しており、フォーカス調整用のレンズのレンズ位置は、ＡＦ制御信号の電流値に対して略線形に変化する。
　従って、距離推定部３４は、略線形的な関係に基づいて、ＡＦ駆動部３３に供給されるＡＦ制御信号の電流値から、ＡＦ駆動部３３により駆動されるフォーカス調整用のレンズのレンズ位置を求めることができる。そして、フォーカス調整用のレンズのレンズ位置に従って物側距離ａが決定されることより、距離推定部３４は、図２４のＢに示したガウスの結像公式から像側距離ｂを求めることで、フォーカスを合わせる被写体までの被写体距離Ｄを推定することができる。
　距離推定部３４は、このようにして推定した被写体距離Ｄを手振れ補正処理部２５に供給し、手振れ補正処理部２５は、被写体距離Ｄに応じた手振れ補正処理を行うことができる。例えば、上述したように、誤差距離δ（θ,α,Ｄ）が２画素以上となる程度に、フォーカスを合わせる被写体までの被写体距離Ｄが近い場合、手振れ補正処理部２５は、上述した式（６）の補正量Δｙおよび式（８）の補正量Δｘに追加する追加補正量を、被写体距離Ｄを用いて求め、その追加補正量を追加した補正量で手振れ補正処理を行うようにすることができる。これにより、フォーカスを合わせる被写体における誤差距離δ（θ,α,Ｄ）を２画素以下に抑制することができる。
　図２５には、撮像装置１１Ｂがロール方向に手振れしたときに求められる、所定の被写体距離ＤとＸ方向の誤差距離δｘとの関係の一例が示されている。
　図２５に示すように、例えば、撮像装置１１Ｂのロール方向の回転中心までの距離ｒを100ｍｍとし、ブレ角θを0.5°としたとき、Ｘ方向の移動量ｒ・ｓｉｎθは872.7μｍと求められ、Ｙ方向の移動量ｒ・（１－ｃｏｓθ）は3.8μｍと求められる。
　そして、被写体距離Ｄが2.4ｍであるとき、Ｘ方向に撮像可能な範囲（＝２・Ｄ・ＴＡＮβ）は2.47ｍとして求められ、上述の式（５）よりＸ方向の誤差距離δｘは1.5と求められる。同様に、被写体距離Ｄが1.4ｍであるとき、Ｘ方向に撮像可能な範囲は1.44ｍとして求められ、Ｘ方向の誤差距離δｘは2.5と求められる。さらに、被写体距離Ｄが0.35ｍであるとき、Ｘ方向に撮像可能な範囲は0.36ｍとして求められ、Ｘ方向の誤差距離δｘは10.1と求められる。
　このように、フォーカスを合わせる被写体までの被写体距離Ｄが近く、Ｘ方向の誤差距離δｘが２画素以上となるとき、被写体にはＸ方向の誤差距離δｘで手振れが発生することになる。従って、そのＸ方向の誤差距離δｘを補正値に加算して手振れ補正処理を行うことで、フォーカスを合わせる被写体における手振れを抑制することができる。つまり、手振れ補正処理部２５は、このＸ方向の誤差距離δｘを、上述した式（８）の補正量Δｘに対して追加する追加補正量（追加的に修正する画素数）として追加した手振れ補正処理を行う。
　ここでは、Ｘ方向の補正について説明したが、手振れ補正処理部２５は、Ｙ方向の補正についても同様に、上述した式（６）の補正量Δｙに対して、Ｙ方向の誤差距離δｙを追加補正量として追加した手振れ補正処理を行う。
　つまり、フォーカスを合わせる被写体までの被写体距離Ｄに応じた手振れ補正処理を行うときのＹ方向の補正量Δｙは、上述した式（６）に、Ｙ方向の誤差距離δｙを加算した次の式（４０）で求められる。
Figure JPOXMLDOC01-appb-M000044
　但し、式（４０）において、ｄは、センサ面Ｓの中心点から瞳位置Ｉまでの光学的な瞳距離を示し、αは、瞳位置Ｉから被写体面上の点Ａへの仰角を示し、θは、回転中心Ｏを中心としたブレ角を示している。また、ｒは、回転中心Ｏからセンサ面Ｓの中心点までの距離である回転半径を示し、Ｄは、フォーカスを合わせる被写体までの被写体距離を示し、Ｎｙは、イメージセンサ２１のＹ軸方向の一辺の画素数を示し、βは、イメージセンサ２１のＹ軸方向の最大画角を示している。
　同様に、フォーカスを合わせる被写体までの被写体距離Ｄに応じた手振れ補正処理を行うときのＸ方向の補正量Δｘは、上述した式（８）に、Ｘ方向の誤差距離δｘを加算した次の式（４１）で求められる。
Figure JPOXMLDOC01-appb-M000045
　但し、式（４１）において、ｄは、センサ面Ｓの中心点から瞳位置Ｉまでの光学的な瞳距離を示し、αは、瞳位置Ｉから被写体面上の点Ａへの仰角を示し、θは、回転中心Ｏを中心としたブレ角を示している。また、ｒは、回転中心Ｏからセンサ面Ｓの中心点までの距離である回転半径を示し、Ｄは、フォーカスを合わせる被写体までの被写体距離を示し、Ｎｘは、イメージセンサ２１のＸ軸方向の一辺の画素数を示し、γは、イメージセンサ２１のＸ軸方向の最大画角を示している。
　例えば、手振れ補正処理部２５には、誤差距離δ（θ,α,Ｄ）が２画素以上となる被写体距離が予め求められて閾値として設定することができる。そして、手振れ補正処理部２５は、距離推定部３４により推定された被写体距離Ｄが、その閾値未満である場合、フォーカスを合わせる被写体までの被写体距離Ｄに応じた手振れ補正処理を行うようにすることができる。
　これにより、撮像装置１１Ｂは、フォーカスを合わせる被写体において、手振れが最も抑制されるように手振れ補正処理を行うようことができる。従って、被写体が近距離であっても手振れの発生をより確実に抑制することができ、画質の向上を図ることができる。また、撮像装置１１Ｂでは、誤差距離δ（θ,α,Ｄ）が２画素以上となる被写体距離が予め求められて閾値未満である場合にだけ、被写体距離Ｄに応じた手振れ補正処理を行えばよく、処理負荷を低減することができる。
　図２６は、被写体距離Ｄに応じた手振れ補正処理の効果を比較して説明する図である。
　図２６には、定規を手前側に配置し、格子パターンのパネルを奥側に配置して撮像された画像が示されている。図２６のＡには、手振れ補正処理が施されていない画像が示されており、図２６のＢには、定規が配置されている位置に被写体距離Ｄを設定して手振れ補正処理が施された画像が示されており、図２６のＣには、格子パターンが配置されている位置に被写体距離Ｄを設定して手振れ補正処理が施された画像が示されている。
　図２６のＡに示す画像のように、手振れ補正処理が施されていない場合には、定規および格子パターンの両方に手振れが発生している。また、図２６のＢに示す画像のように、定規が配置されている位置に被写体距離Ｄを設定して手振れ補正処理を施した場合には、定規に対する手振れが抑制され、奥側にある格子パターンに手振れが発生している。また、図２６のＣに示す画像のように、格子パターンが配置されている位置に被写体距離Ｄを設定して手振れ補正処理を施した場合には、格子パターンに対する手振れが抑制され、手前側にある定規に手振れが発生している。
　このように、被写体距離Ｄに応じた手振れ補正処理を行うことにより、フォーカスを合わせる被写体に対する手振れを、より効果的に抑制することができる。
　なお、図２４のＣを参照して説明したように、フォーカス調整用のレンズのレンズ位置は、ＡＦ制御信号の電流値に対して略線形に変化する関係を有するが、例えば、撮像装置１１の姿勢によって、その関係が略線形にならないことがある。即ち、例えば、撮像装置１１が上を向いているときと、撮像装置１１が下を向いているときとで、フォーカス調整用のレンズに作用する重力によって、フォーカス調整用のレンズのレンズ位置は異なることになる。
　そこで、撮像装置１１Ｂでは、撮像装置１１の姿勢に基づいて、被写体距離Ｄを補正することで、より正確な補正量を求めることができる。
　即ち、例えば、撮像装置１１では、ジャイロセンサ２２により重力方向（即ち、撮像装置１１の姿勢）を測定し、ジャイロセンサ２２が、その重力方向を距離推定部３４に供給するように構成することができる。そして、距離推定部３４は、予め求められた重力方向と被写体距離Ｄの補正量との対応関係を保持しており、ジャイロセンサ２２から供給される重力方向に従い、被写体距離Ｄを補正することができる。これにより、撮像装置１１がどのような姿勢であっても、より正確に手振れ補正処理を行うことができる。
　なお、撮像装置１１Ｂにおいて、ＡＦセンサ３１は、位相差検出画素をイメージセンサ２１のセンサ面に埋め込む構成に限定されることはない。例えば、撮像装置１１Ｂでは、イメージセンサ２１に向かう光の一部を分割して被写体までの距離を求める構成や、イメージセンサ２１から出力される画像のコントラストに基づいて被写体までの距離を求める構成などを採用することができる。
　また、撮像装置１１Ｂにおいて、距離推定部３４を設けずに、ＡＦ制御部３２が、被写体までの距離を示す信号を手振れ補正処理部２５に直接的に供給するように構成してもよい。さらに、ＡＦ駆動部３３が、パルス信号に従ってフォーカス調整用のレンズを駆動する構成としてもよく、この場合、ＡＦ制御部３２が、ＡＦ制御信号としてパルス信号を出力し、距離推定部３４は、そのパルスをカウントすることにより被写体までの距離を推定することができる。
　次に、図２７は、本技術を適用した固体撮像素子の一実施の形態の構成例を示すブロック図である。
　図２７に示すように、固体撮像素子５１は、画素アレイ部５２、行走査部５３、カラム処理部５４、列走査部５５、出力部５６、制御部５７、およびロジック回路５８を備えて構成される。
　画素アレイ部５２は、複数の画素６１がアレイ状に配置されており、画素６１は、行走査部５３からの制御に従って行ごとに駆動し、光電変換により発生した電荷に応じた画素信号を列ごとに並列的にカラム処理部５４に出力する。
　行走査部５３は、画素アレイ部５２の画素６１を行ごとに駆動するための駆動信号（例えば、転送信号、選択信号、リセット信号）を供給する。
　カラム処理部５４は、画素アレイ部５２の画素６１から供給される画素信号を、画素６１の列ごとに並列的にA/D（Analog/Digital）変換し、列走査部５５からの制御に従って順番に出力部５６に供給する。
　列走査部５５は、カラム処理部５４に対して所定のタイミングで順次、画素信号を出力するように制御する。
　出力部５６は、カラム処理部５４から供給される画素信号を、例えば、所定のゲインで増幅して出力する。
　制御部５７は、行走査部５３、カラム処理部５４、列走査部５５、および出力部５６の駆動の基準となるクロック信号や、駆動を制御するための制御信号を供給する。
　ロジック回路５８は、ジャイロセンサ２２、信号同期部２３、パラメータ保持部２４、および、手振れ補正処理部２５を有するように構成される。ジャイロセンサ２２、信号同期部２３、パラメータ保持部２４、および、手振れ補正処理部２５の構成については、図１と同様であり、その詳細な説明は省略する。
　つまり、固体撮像素子５１は、図１のカメラモジュール１５と同様の手振れ補正処理を、その内部で行うことができるように構成されている。なお、ロジック回路５８は、例えば、画素アレイ部５２と同一の基板において画素アレイ部５２の周辺回路として設けられる。または、ロジック回路５８は、画素アレイ部５２の基板とは異なる基板に設けられ、それらの基盤が積層される構成とすることができる。
　このように、固体撮像素子５１は、手振れ補正処理を施した画像を出力することができる。
　なお、本技術は、撮像装置の他、例えば、パーソナルコンピュータのように、撮像済みの画像データと画像データに同期したジャイロデータとを取得して、事後的に手振れ補正処理を提供する装置に適用してもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　被写体を撮像して画像を出力する撮像部と、
　前記撮像部が振れた際のブレ角を物理的に検出する検出部と、
　前記撮像部が出力する画像を構成する画素の位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部と
　を備える撮像装置。
（２）
　前記補正処理部は、前記画像の略中心からの縦方向と横方向との距離に依存して異なる補正量を用いる
　上記（１）に記載の撮像装置。
（３）
　前記補正処理部は、前記撮像部のセンサ面に被写体の像を結像する光学系の瞳位置から前記撮像部のセンサ面までの光学的な距離である瞳距離と、前記撮像部から供給される画像の所定の画素の配置位置と、この配置位置に対応する前記センサ面上の点に対する前記瞳位置からの仰角と、前記ブレ角とを用いて、前記画素ごとに、幾何光学的な計算式に従った演算を行って前記補正量を算出する
　上記（１）または（２）に記載の撮像装置。
（４）
　前記補正量は、上述した式（６）および式（８）で表される
　但し、前記式（６）および式（８）において、Δｘは、前記画像の横方向の補正量を示し、Δｙは、前記画像の縦方向の補正量を示し、ｄは、前記瞳距離を示し、αは、前記仰角を示し、θは、前記ブレ角を示し、Ｘは、補正の対象となる画素の前記画像の略中心から横方向への距離を示す
　上記（３）に記載の撮像装置。
（５）
　前記補正処理部は、前記補正量に従って補正された補正後の画像を構成する各画素の画素位置が、補正前の画像を構成する各画素の画素位置に一致するように、補正後の画像を構成する所定の前記画素の周辺にある所定数の前記画素より補間して、所定の前記画素の画素値を求める
　上記（１）から（４）までのいずれかに記載の撮像装置。
（６）
　前記撮像部から出力される画像と、前記検出部から出力される前記ブレ角との同期をとって前記補正処理部に供給する同期部
　をさらに備える
　上記（１）から（５）までのいずれかに記載の撮像装置。
（７）
　前記同期部は、前記撮像部から出力される画像の水平ラインごとに、前記検出部から出力される前記ブレ角との同期をとる
　上記（１）から（６）までのいずれかに記載の撮像装置。
（８）
　前記補正処理部は、前記撮像部が振れることによって、
　　前記画像が上下方向に移動するブレ角が前記画像の上下方向に与える影響を補正する補正量に加え、前記画像が上下方向に移動するブレ角が前記画像の左右方向に与える影響を補正する補正量を算出し、
　　前記画像が左右方向に移動するブレ角が前記画像の左右方向に与える影響を補正する補正量に加え、前記画像が左右方向に移動するブレ角が前記画像の上下方向に与える影響を補正する補正量を算出する
　上記（１）から（７）までのいずれかに記載の撮像装置。
（９）
　前記撮像部は、前記画像の全体が略同時に記録されるグローバルシャッター方式で撮像を行う
　上記（１）から（７）までのいずれかに記載の撮像装置。
（１０）
　前記撮像部は、前記画像内で水平ラインごとに撮像タイミングの異なるローリングシャッター方式で撮像を行う
　上記（１）から（７）までのいずれかに記載の撮像装置。
（１１）
　前記検出部により検出されるブレ角に基づいて、前記撮像部上の画像が動かない方向に、前記撮像部のセンサ面に被写体の像を結像する光学系が有するレンズを前記撮像部のセンサ面と略平行に駆動する駆動部
　をさらに備え、
　前記画像面上における前記画素の配置位置に依存しない部分を平行駆動により補正する
　上記（１）から（１０）までのいずれかに記載の撮像装置。
（１２）
　前記補正処理部は、前記瞳位置からフォーカスを合わせる被写体までの光学的な距離である被写体距離をさらに用い、前記補正量に対して追加的な補正を行う追加補正量を算出して、前記被写体距離に応じた手振れ補正処理を行う
　上記（３）に記載の撮像装置。
（１３）
　前記被写体距離に応じた手振れ補正処理を行う際の補正量は、上述した式（４０）および式（４１）で表される
　但し、前記式（４０）または式（４１）において、Δｘは、前記画像の横方向の補正量を示し、Δｙは、前記画像の縦方向の補正量を示し、ｄは、前記瞳距離を示し、αは、前記仰角を示し、θは、前記ブレ角を示し、Ｘは、補正の対象となる画素の前記画像の略中心から横方向への距離を示し、ｒは、前記撮像部が振れた際の回転中心から前記センサ面の中心点までの距離である回転半径を示し、Ｄは、フォーカスを合わせる被写体までの被写体距離を示し、Ｎｙは、前記撮像部の縦方向の一辺の画素数を示し、βは、前記撮像部の縦方向の最大画角を示し、Ｎｘは、前記撮像部の横方向の一辺の画素数を示し、γは、前記撮像部の横方向の最大画角を示す
　上記（１２）に記載の撮像装置。
（１４）
　前記補正処理部は、フォーカスを合わせる被写体までの前記被写体距離が、予め設定されている所定の閾値以下である場合に、前記被写体距離に応じた手振れ補正処理を行う
　上記（１２）または（１３）に記載の撮像装置。
（１５）
　前記光学系が有するフォーカス調整用のレンズを駆動して、所望の被写体にフォーカスを合わせるフォーカス駆動部と、
　前記フォーカス駆動部による前記フォーカス調整用のレンズの駆動を制御する制御信号に基づいて、フォーカスを合わせる被写体までの前記被写体距離を推定する被写体距離推定部と
　をさらに備える上記（１２）から（１４）までのいずれかに記載の撮像装置。
（１６）
　前記検出部は、重力加速度の方向を検出して前記被写体距離推定部に供給し、
　前記被写体距離推定部は、重力加速度の方向に従い、推定した前記被写体距離を補正する
　上記（１５）に記載の撮像装置。
（１７）
　被写体を撮像して画像を出力する撮像部と、
　前記撮像部が振れた際のブレ角を物理的に検出する検出部と、
　前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部と
　を備える固体撮像素子。
（１８）
　被写体を撮像して画像を出力する撮像部と、
　前記撮像部が振れた際のブレ角を物理的に検出する検出部と、
　前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部と
　を備えるカメラモジュール。
（１９）
　被写体を撮像して画像を出力する撮像部と、
　前記撮像部が振れた際のブレ角を物理的に検出する検出部と、
　前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部と
　を備える電子機器。
（２０）
　被写体を撮像して画像を出力する撮像部と、前記撮像部が振れた際のブレ角を物理的に検出する検出部とを有する撮像装置の撮像方法において、
　前記撮像部が画像を出力し、
　前記検出部がブレ角を出力し、
　前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する
　ステップを含む撮像方法。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　１１　撮像装置，　１２　光学系，　１３　記録媒体，　１４　ディスプレイ，　１５　カメラモジュール，　２１　撮像素子，　２２　ジャイロセンサ，　２３　信号同期部，　２４　パラメータ保持部，　２５　手振れ補正処理部，　２６　駆動部，　５１　固体撮像素子，　５２　画素アレイ，　５３　行走査部，　５４　カラム処理部，　５５　列走査部，　５６　出力部，　５７　制御部，　５８　ロジック回路

Claims (20)

  1. 　被写体を撮像して画像を出力する撮像部と、
    　前記撮像部が振れた際のブレ角を物理的に検出する検出部と、
    　前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部と
    　を備える撮像装置。
  2. 　前記補正処理部は、前記画像の略中心からの縦方向と横方向との距離に依存して異なる補正量を用いる
    　請求項１に記載の撮像装置。
  3. 　前記補正処理部は、前記撮像部のセンサ面に被写体の像を結像する光学系の瞳位置から前記撮像部のセンサ面までの光学的な距離である瞳距離と、前記撮像部から供給される画像の所定の画素の配置位置と、この配置位置に対応する前記センサ面上の点に対する前記瞳位置からの仰角と、前記ブレ角とを用いて、前記画素ごとに、幾何光学的な計算式に従った演算を行って前記補正量を算出する
    　請求項１に記載の撮像装置。
  4. 　前記補正量は、以下の式（１）および式（２）で表される
    Figure JPOXMLDOC01-appb-M000001
    Figure JPOXMLDOC01-appb-M000002
     　但し、前記式（１）または式（２）において、Δｘは、前記画像の横方向の補正量を示し、Δｙは、前記画像の縦方向の補正量を示し、ｄは、前記瞳距離を示し、αは、前記仰角を示し、θは、前記ブレ角を示し、Ｘは、補正の対象となる画素の前記画像の略中心から横方向への距離を示す
    　請求項３に記載の撮像装置。
  5. 　前記補正処理部は、前記補正量に従って補正された補正後の画像を構成する各画素の画素位置が、補正前の画像を構成する各画素の画素位置に一致するように、補正後の画像を構成する所定の前記画素の周辺にある所定数の前記画素より補間して、所定の前記画素の画素値を求める
    　請求項１に記載の撮像装置。
  6. 　前記撮像部から出力される画像と、前記検出部から出力される前記ブレ角との同期をとって前記補正処理部に供給する同期部
    　をさらに備える請求項１に記載の撮像装置。
  7. 　前記同期部は、前記撮像部から出力される画像の水平ラインごとに、前記検出部から出力される前記ブレ角との同期をとる
    　請求項６に記載の撮像装置。
  8. 　前記補正処理部は、前記撮像部が振れることによって、
    　　前記画像が上下方向に移動するブレ角が前記画像の上下方向に与える影響を補正する補正量に加え、前記画像が上下方向に移動するブレ角が前記画像の左右方向に与える影響を補正する補正量を算出し、
    　　前記画像が左右方向に移動するブレ角が前記画像の左右方向に与える影響を補正する補正量に加え、前記画像が左右方向に移動するブレ角が前記画像の上下方向に与える影響を補正する補正量を算出する
    　請求項１に記載の撮像装置。
  9. 　前記撮像部は、前記画像の全体が略同時に記録されるグローバルシャッター方式で撮像を行う
    　請求項１に記載の撮像装置。
  10. 　前記撮像部は、前記画像内で水平ラインごとに撮像タイミングの異なるローリングシャッター方式で撮像を行う
    　請求項１に記載の撮像装置。
  11. 　前記検出部により検出されるブレ角に基づいて、前記撮像部上の画像が動かない方向に、前記撮像部のセンサ面に被写体の像を結像する光学系が有するレンズを前記撮像部のセンサ面と略平行に駆動する駆動部
    　をさらに備え、
    　前記画像面上における前記画素の配置位置に依存しない部分を平行駆動により補正する
    　請求項１に記載の撮像装置。
  12. 　前記補正処理部は、前記瞳位置からフォーカスを合わせる被写体までの光学的な距離である被写体距離をさらに用い、前記補正量に対して追加的な補正を行う追加補正量を算出して、前記被写体距離に応じた手振れ補正処理を行う
    　請求項３に記載の撮像装置。
  13. 　前記被写体距離に応じた手振れ補正処理を行う際の補正量は、以下の式（３）および式（４）で表される
    Figure JPOXMLDOC01-appb-M000003
    Figure JPOXMLDOC01-appb-M000004
     　但し、前記式（３）または式（４）において、Δｘは、前記画像の横方向の補正量を示し、Δｙは、前記画像の縦方向の補正量を示し、ｄは、前記瞳距離を示し、αは、前記仰角を示し、θは、前記ブレ角を示し、Ｘは、補正の対象となる画素の前記画像の略中心から横方向への距離を示し、ｒは、前記撮像部が振れた際の回転中心から前記センサ面の中心点までの距離である回転半径を示し、Ｄは、フォーカスを合わせる被写体までの被写体距離を示し、Ｎｙは、前記撮像部の縦方向の一辺の画素数を示し、βは、前記撮像部の縦方向の最大画角を示し、Ｎｘは、前記撮像部の横方向の一辺の画素数を示し、γは、前記撮像部の横方向の最大画角を示す
    　請求項１２に記載の撮像装置。
  14. 　前記補正処理部は、フォーカスを合わせる被写体までの前記被写体距離が、予め設定されている所定の閾値以下である場合に、前記被写体距離に応じた手振れ補正処理を行う
    　請求項１２に記載の撮像装置。
  15. 　前記光学系が有するフォーカス調整用のレンズを駆動して、所望の被写体にフォーカスを合わせるフォーカス駆動部と、
    　前記フォーカス駆動部による前記フォーカス調整用のレンズの駆動を制御する制御信号に基づいて、フォーカスを合わせる被写体までの前記被写体距離を推定する被写体距離推定部と
    　をさらに備える請求項１２に記載の撮像装置。
  16. 　前記検出部は、重力加速度の方向を検出して前記被写体距離推定部に供給し、
    　前記被写体距離推定部は、重力加速度の方向に従い、推定した前記被写体距離を補正する
    　請求項１５に記載の撮像装置。
  17. 　被写体を撮像して画像を出力する撮像部と、
    　前記撮像部が振れた際のブレ角を物理的に検出する検出部と、
    　前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部と
    　を備える固体撮像素子。
  18. 　被写体を撮像して画像を出力する撮像部と、
    　前記撮像部が振れた際のブレ角を物理的に検出する検出部と、
    　前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部と
    　を備えるカメラモジュール。
  19. 　被写体を撮像して画像を出力する撮像部と、
    　前記撮像部が振れた際のブレ角を物理的に検出する検出部と、
    　前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する補正処理部と
    　を備える電子機器。
  20. 　被写体を撮像して画像を出力する撮像部と、前記撮像部が振れた際のブレ角を物理的に検出する検出部とを有する撮像装置の撮像方法において、
    　前記撮像部が画像を出力し、
    　前記検出部がブレ角を出力し、
    　前記撮像部が出力する画像を構成する画素の配置位置と前記検出部により検出されたブレ角に基づいた補正量を算出し、この補正量に従って前記画像を補正する
    　ステップを含む撮像方法。
PCT/JP2014/056929 2013-03-29 2014-03-14 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法 WO2014156731A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP14774235.7A EP2981062B1 (en) 2013-03-29 2014-03-14 Image-capturing device, solid-state image-capturing element, camera module, electronic device, and image-capturing method
CN201480016625.5A CN105191283B (zh) 2013-03-29 2014-03-14 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法
JP2015508304A JP6327245B2 (ja) 2013-03-29 2014-03-14 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
KR1020157024158A KR102179731B1 (ko) 2013-03-29 2014-03-14 촬상 장치, 고체 촬상 소자, 카메라 모듈, 전자 기기, 및 촬상 방법
US14/778,709 US10051183B2 (en) 2013-03-29 2014-03-14 Image-capturing device, solid-state image-capturing element, camera module, electronic device, and image-capturing method for shake correction using shake angle

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013074760 2013-03-29
JP2013-074760 2013-03-29
JP2014034958 2014-02-26
JP2014-034958 2014-02-26

Publications (1)

Publication Number Publication Date
WO2014156731A1 true WO2014156731A1 (ja) 2014-10-02

Family

ID=51623712

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/056929 WO2014156731A1 (ja) 2013-03-29 2014-03-14 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法

Country Status (7)

Country Link
US (1) US10051183B2 (ja)
EP (1) EP2981062B1 (ja)
JP (1) JP6327245B2 (ja)
KR (1) KR102179731B1 (ja)
CN (1) CN105191283B (ja)
TW (1) TWI655869B (ja)
WO (1) WO2014156731A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018025659A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
KR20180032529A (ko) 2015-07-22 2018-03-30 소니 주식회사 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법
WO2018180908A1 (ja) * 2017-03-31 2018-10-04 株式会社ニコン ブレ補正装置、交換レンズおよび撮像装置
JP2018205678A (ja) * 2017-06-06 2018-12-27 米田　正人 Ｇｙｒｏデバイスを用いた手振れ補正システムおよびＧｙｒｏセンサデバイスおよびイメージセンサデバイス
KR20190089855A (ko) 2016-12-02 2019-07-31 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 소자 및 촬상 방법, 및 전자 기기
WO2019151030A1 (ja) * 2018-02-05 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
JPWO2020170904A1 (ja) * 2019-02-18 2020-08-27
US10782119B2 (en) 2015-02-11 2020-09-22 Huawei Technologies Co., Ltd. Object dimension measurement method and apparatus
US11196929B2 (en) 2018-08-20 2021-12-07 Sony Semiconductor Solutions Corporation Signal processing device, imaging device, and signal processing method
US11388340B2 (en) 2018-01-09 2022-07-12 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and image processing system for image stabilization
JP2022542079A (ja) * 2019-07-23 2022-09-29 影石創新科技股▲ふん▼有限公司 カメラレンズの平滑化処理方法及び携帯端末

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6448218B2 (ja) * 2014-05-12 2019-01-09 キヤノン株式会社 撮像装置、その制御方法および情報処理システム
KR102449354B1 (ko) * 2016-02-04 2022-09-30 삼성전기주식회사 이미지 안정화 모듈 및 카메라 모듈
KR101850363B1 (ko) * 2016-02-16 2018-04-20 주식회사 이오테크닉스 촬영장치 및 촬영방법
US9934559B2 (en) * 2016-02-19 2018-04-03 Fotonation Limited Method for correcting an acquired image
KR101993670B1 (ko) * 2016-03-17 2019-06-27 주식회사 이오테크닉스 촬영 방법 및 촬영 방법을 이용한 대상물 정렬 방법
CN105915803B (zh) * 2016-06-15 2020-06-02 惠州Tcl移动通信有限公司 一种基于传感器的拍照方法及***
JP6740052B2 (ja) * 2016-08-02 2020-08-12 キヤノン株式会社 撮像装置およびその制御方法
US10728453B2 (en) 2016-08-03 2020-07-28 Samsung Electronics Co., Ltd. Motion stabilized image sensor, camera module and apparatus comprising same
CN108431869A (zh) * 2016-08-06 2018-08-21 深圳市大疆创新科技有限公司 用于移动平台成像的***和方法
JP6559366B2 (ja) * 2016-10-13 2019-08-14 富士フイルム株式会社 ブレ補正装置、撮像装置、及びブレ補正方法
WO2018072353A1 (zh) * 2016-10-17 2018-04-26 华为技术有限公司 获取图像的方法和终端设备
CN110463187B (zh) * 2017-03-28 2021-09-21 富士胶片株式会社 摄像装置、摄像方法及存储介质
JP2020095069A (ja) 2017-03-31 2020-06-18 株式会社ニコン 撮像装置
KR102385360B1 (ko) * 2017-09-19 2022-04-12 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
CN108366243B (zh) * 2018-01-23 2019-10-29 微幻科技(北京)有限公司 一种视频去抖方法及装置
CN110830707B (zh) * 2018-08-10 2022-01-14 华为技术有限公司 镜头控制方法、装置及终端
CN108989606B (zh) * 2018-08-22 2021-02-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109698906B (zh) * 2018-11-24 2021-01-26 四川鸿景润科技有限公司 基于图像的抖动处理方法及装置、视频监控***
KR102581210B1 (ko) * 2019-01-10 2023-09-22 에스케이하이닉스 주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서 및 이미지 센서 칩
WO2020189224A1 (ja) * 2019-03-15 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
JP7325308B2 (ja) * 2019-11-19 2023-08-14 ルネサスエレクトロニクス株式会社 画像処理装置及び画像処理方法
CN111158107B (zh) * 2020-01-03 2021-07-06 支付宝(杭州)信息技术有限公司 一种镜头模组的对焦方法、装置及设备
CN111536968B (zh) * 2020-04-15 2022-08-30 阿波罗智能技术(北京)有限公司 确定路侧感知设备的动态姿态的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224462A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP2001358999A (ja) * 2000-06-12 2001-12-26 Sharp Corp 画像入力装置
JP2006304313A (ja) 2006-04-21 2006-11-02 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2010252123A (ja) * 2009-04-16 2010-11-04 Canon Inc 画像処理装置およびその方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006234545A (ja) * 2005-02-24 2006-09-07 Seiko Epson Corp 静止画像撮像装置
JP4845817B2 (ja) * 2007-06-14 2011-12-28 富士フイルム株式会社 撮像装置，レンズユニット，撮像方法及び制御プログラム
US8395672B2 (en) * 2007-07-13 2013-03-12 Panasonic Corporation Imaging device that detects inclination of image and apparatus in a rolling direction
US8896712B2 (en) * 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
JP4926920B2 (ja) 2007-11-16 2012-05-09 キヤノン株式会社 防振画像処理装置及び防振画像処理方法
JP4618370B2 (ja) * 2008-12-08 2011-01-26 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP5487722B2 (ja) * 2009-05-25 2014-05-07 ソニー株式会社 撮像装置と振れ補正方法
WO2012054846A2 (en) * 2010-10-21 2012-04-26 Openpeak Inc. Multi-media device containing a plurality of image capturing devices
JP6071545B2 (ja) * 2012-12-27 2017-02-01 キヤノン株式会社 撮像装置、画像処理装置及びその制御方法、プログラム、記憶媒体
JP6151930B2 (ja) * 2013-02-19 2017-06-21 キヤノン株式会社 撮像装置およびその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224462A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP2001358999A (ja) * 2000-06-12 2001-12-26 Sharp Corp 画像入力装置
JP2006304313A (ja) 2006-04-21 2006-11-02 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2010252123A (ja) * 2009-04-16 2010-11-04 Canon Inc 画像処理装置およびその方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2981062A4

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10782119B2 (en) 2015-02-11 2020-09-22 Huawei Technologies Co., Ltd. Object dimension measurement method and apparatus
EP3246659B1 (en) * 2015-02-11 2022-04-06 Huawei Technologies Co., Ltd. Method and device for measuring size of object
KR20180032529A (ko) 2015-07-22 2018-03-30 소니 주식회사 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법
US10498962B2 (en) 2015-07-22 2019-12-03 Sony Corporation Camera module that corrects for camera shake and optical-system distortion
JP7166920B2 (ja) 2016-08-05 2022-11-08 ソニーグループ株式会社 撮像装置、固体撮像素子、カメラモジュール、および撮像方法
US10868961B2 (en) 2016-08-05 2020-12-15 Sony Corporation Imaging device, solid-state image sensor, camera module, drive control unit, and imaging method
JPWO2018025659A1 (ja) * 2016-08-05 2019-05-30 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
WO2018025659A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
KR102423991B1 (ko) 2016-12-02 2022-07-25 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 소자 및 촬상 방법, 및 전자 기기
KR20190089855A (ko) 2016-12-02 2019-07-31 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 소자 및 촬상 방법, 및 전자 기기
US11095816B2 (en) 2016-12-02 2021-08-17 Sony Semiconductor Solutions Corporation Image pickup element, image pickup method, and electronic device for image stabilization
WO2018180908A1 (ja) * 2017-03-31 2018-10-04 株式会社ニコン ブレ補正装置、交換レンズおよび撮像装置
JP2018205678A (ja) * 2017-06-06 2018-12-27 米田　正人 Ｇｙｒｏデバイスを用いた手振れ補正システムおよびＧｙｒｏセンサデバイスおよびイメージセンサデバイス
US11388340B2 (en) 2018-01-09 2022-07-12 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and image processing system for image stabilization
WO2019151030A1 (ja) * 2018-02-05 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
US11445114B2 (en) 2018-02-05 2022-09-13 Sony Semiconductor Solutions Corporation Imaging device, solid-state imaging element, camera module, drive control unit, and imaging method
US11196929B2 (en) 2018-08-20 2021-12-07 Sony Semiconductor Solutions Corporation Signal processing device, imaging device, and signal processing method
JP7087187B2 (ja) 2019-02-18 2022-06-20 富士フイルム株式会社 ぶれ補正装置、撮像装置、監視システム、及びプログラム
WO2020170904A1 (ja) * 2019-02-18 2020-08-27 富士フイルム株式会社 ぶれ補正装置、撮像装置、監視システム、及びプログラム
US11490011B2 (en) 2019-02-18 2022-11-01 Fujifilm Corporation Blur correction device, imaging apparatus, monitoring system, and program
JPWO2020170904A1 (ja) * 2019-02-18 2020-08-27
US11706529B2 (en) 2019-02-18 2023-07-18 Fujifilm Corporation Blur correction device, imaging apparatus, monitoring system, and non-transitory computer-readable storage medium
JP2022542079A (ja) * 2019-07-23 2022-09-29 影石創新科技股▲ふん▼有限公司 カメラレンズの平滑化処理方法及び携帯端末
JP7224526B2 (ja) 2019-07-23 2023-02-17 影石創新科技股▲ふん▼有限公司 カメラレンズの平滑化処理方法及び携帯端末

Also Published As

Publication number Publication date
TWI655869B (zh) 2019-04-01
EP2981062B1 (en) 2019-11-20
JP6327245B2 (ja) 2018-05-23
EP2981062A4 (en) 2016-10-26
US20160057352A1 (en) 2016-02-25
KR20150135771A (ko) 2015-12-03
EP2981062A1 (en) 2016-02-03
CN105191283A (zh) 2015-12-23
TW201448594A (zh) 2014-12-16
JPWO2014156731A1 (ja) 2017-02-16
CN105191283B (zh) 2019-10-22
KR102179731B1 (ko) 2020-11-17
US10051183B2 (en) 2018-08-14

Similar Documents

Publication Publication Date Title
JP6327245B2 (ja) 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
CN109194876B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
WO2017120771A1 (zh) 一种深度信息获取方法、装置及图像采集设备
US8760526B2 (en) Information processing apparatus and method for correcting vibration
CN109660718B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2020095069A (ja) 撮像装置
JP2022017401A (ja) ブレ補正装置、交換レンズ及び撮像装置
WO2013069292A1 (ja) 画ブレ補正装置
CN108260360B (zh) 场景深度计算方法、装置及终端
JP2011205284A (ja) 画像処理方法および画像処理装置
JP6250446B2 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP7387713B2 (ja) 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
JP2017044876A (ja) 撮像装置及び像ブレ補正方法
JP2019135818A (ja) 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
JP5393877B2 (ja) 撮像装置および集積回路
US20150168739A1 (en) Image stabilizer, camera system, and imaging method
JP2016208483A (ja) 映像システムおよびそれを用いた空撮システム
JP6257289B2 (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
US8619149B2 (en) Camera with an image sensor that doubles as a motion sensor
WO2018180909A1 (ja) 交換レンズおよびカメラボディ
JP6439412B2 (ja) 画像処理装置および画像処理方法
JP2020095070A (ja) 撮像装置
JP2018205678A (ja) Ｇｙｒｏデバイスを用いた手振れ補正システムおよびＧｙｒｏセンサデバイスおよびイメージセンサデバイス
US9380211B2 (en) Image stabilization using light sensors

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480016625.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14774235

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015508304

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20157024158

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014774235

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14778709

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE