WO2023188044A1 - 撮像装置およびその制御方法、および画像処理装置および方法 - Google Patents

撮像装置およびその制御方法、および画像処理装置および方法 Download PDF

Info

Publication number
WO2023188044A1
WO2023188044A1 PCT/JP2022/015719 JP2022015719W WO2023188044A1 WO 2023188044 A1 WO2023188044 A1 WO 2023188044A1 JP 2022015719 W JP2022015719 W JP 2022015719W WO 2023188044 A1 WO2023188044 A1 WO 2023188044A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
imaging
timing
imaging device
Prior art date
Application number
PCT/JP2022/015719
Other languages
English (en)
French (fr)
Inventor
優 成田
正史 木村
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to PCT/JP2022/015719 priority Critical patent/WO2023188044A1/ja
Publication of WO2023188044A1 publication Critical patent/WO2023188044A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing

Definitions

  • the present invention relates to an imaging device, a control method thereof, and an image processing device and method, and particularly relates to image stabilization technology in an imaging device.
  • imaging devices are equipped with a technology (image plane stabilization) that corrects camera shake by moving the imaging element.
  • image plane image stabilization In this image plane image stabilization technology, many image plane image stabilization mechanisms have been proposed that are capable of rotational movement around the optical axis direction in addition to translational movement within a plane perpendicular to the optical axis.
  • image stabilization that corrects camera shake by electronically aligning the captured image so that it overlaps with a reference image.
  • image synthesis image stabilization a technique that obtains an image equivalent to a long exposure by aligning and composing a plurality of images.
  • Electronic image stabilization does not require image compositing and is often used for videos that require real-time performance.
  • image synthesis image stabilization is generally used for still images because it requires compositing processing and assumes long exposure.
  • Patent Document 1 discloses a technique for correcting camera shake by coordinating electronic image stabilization with electronic image stabilization, which corrects rotational shake by rotating an image sensor.
  • the present invention has been made in view of the above problems, and an object of the present invention is to perform image plane image stabilization control suitable for both moving images and still images.
  • a second purpose is to improve the image quality of the combined image.
  • an imaging device of the present invention includes: an imaging means for photoelectrically converting light incident through a photographing optical system and outputting an image; a shake detection means for detecting shake of the imaging device; a drive means for driving the imaging means translationally and rotationally in a plane perpendicular to the optical axis of the photographing optical system so as to correct the blur detected by the blur detection means;
  • the driving means is characterized in that the driving means performs the rotational driving with priority over the translational driving.
  • image plane image stabilization control suitable for both moving images and still images can be performed. Furthermore, when a plurality of images are combined, the image quality of the combined image can be improved.
  • FIG. 1 is a central sectional view of an imaging system according to a first embodiment of the present invention.
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging system according to a first embodiment of the present invention.
  • FIG. 2 is an exploded perspective view of the vibration isolation mechanism in the first embodiment.
  • 5 is a flowchart illustrating processing in the first embodiment.
  • FIG. 3 is a diagram illustrating the relationship between rotation and translation of the vibration isolation mechanism in the first embodiment.
  • FIG. 7 is a diagram illustrating tilting blur according to the second embodiment.
  • FIG. 7 is a diagram illustrating tilting blur according to the second embodiment.
  • FIG. 7 is a flowchart illustrating processing in the second embodiment.
  • FIG. 7 is a diagram illustrating the relationship between the amount of rotational blurring and tilting blurring and the focal length according to the second embodiment.
  • FIG. 3 is a block diagram showing a schematic configuration of an imaging system in a third embodiment.
  • FIG. 7 is a diagram illustrating the structure of an image sensor in a third embodiment.
  • FIG. 7 is a diagram illustrating the structure of an image sensor in a third embodiment.
  • FIG. 7 is a diagram illustrating processing performed by an image shift calculator and a reliability detector in a third embodiment.
  • FIG. 7 is a diagram illustrating processing performed by an image shift calculator and a reliability detector in a third embodiment.
  • FIG. 7 is a diagram illustrating processing performed by an image shift calculator and a reliability detector in a third embodiment.
  • FIG. 7 is a diagram illustrating processing performed by an image shift calculator and a reliability detector in a third embodiment.
  • FIG. 7 is a diagram illustrating processing performed by an image shift calculator and a reliability detector in a third embodiment.
  • FIG. 7 is a schematic external view of an imaging device according to a fourth embodiment.
  • FIG. 7 is a block diagram showing the configuration of an image processing unit of an imaging device in a fourth embodiment.
  • FIG. 1A and FIG. 1B show an imaging device according to an embodiment of the present invention.
  • FIG. 1A is a central sectional view of an imaging system as an imaging device according to an embodiment of the present invention
  • FIG. 1B is a block diagram showing a schematic configuration of the imaging system.
  • the imaging system of this embodiment mainly includes a camera body 1 and a lens unit 2 that is detachable from the camera body 1.
  • the camera body 1 and the lens unit 2 are electrically connected via an electrical contact 11.
  • the imaging device of the present invention is not limited to this configuration, and may be an imaging device in which a camera body and a lens unit are integrally configured.
  • the lens unit 2 includes a photographing optical system 3 arranged on an optical axis 4 and consisting of a plurality of lenses including lenses such as a focus lens, a zoom lens, and an anti-shake lens, and an aperture, a lens system control circuit 12, and a lens memory. 17.
  • the camera body 1 also includes an image sensor 6, a rear display device 9a, an EVF 9b, an anti-vibration mechanism 14, a shake detection section 15, and a shutter mechanism 16.
  • FIG. 1B is a diagram showing the electrical configuration of the imaging system, and the lens unit 2 further includes a lens drive mechanism 13 that drives a focus lens, a zoom lens, an anti-vibration lens, an aperture, etc. included in the imaging optical system 3. .
  • the camera body 1 further includes a camera system control circuit 5, an image processing section 7, a memory 8, a display section 9, and an operation detection section 10. Note that the display section includes a rear display device 9a and an EVF 9b.
  • the imaging system having the above configuration, light from the subject that enters through the imaging optical system 3 is imaged on the imaging surface of the imaging element 6.
  • the image sensor 6 photoelectrically converts the incident light and outputs an electrical signal (image signal) according to the amount of light.
  • the image sensor 6 can output image signals of images in various formats such as so-called still images and moving images, and can output moving images in a plurality of formats by changing the aspect ratio, the resolution of recorded images, etc.
  • the imaging system of this embodiment has a mode (dynamic range expansion, noise reduction, etc.) that acquires and synthesizes a group of temporally continuous still images, so that it can be used to capture images regardless of whether they are still images or moving images. There are cases where groups are acquired sequentially in time.
  • the image processing unit 7 has an A/D converter, a white balance adjustment circuit, a gamma correction circuit, an interpolation calculation circuit, etc. inside, and processes the image signal output from the image sensor 6 to create an image for recording. Generate data.
  • the image processing section 7 is connected to the camera system control circuit 5.
  • the camera system control circuit 5 calculates the focus evaluation value and exposure amount based on the image signal from the image sensor 6 processed by the image processing unit 7, and determines the focus position and exposure condition (F number) based on these values. , shutter speed, etc.). Then, the camera system control circuit 5 issues a command to the lens system control circuit 12 via the electric contact 11 based on the determined focus position and exposure conditions, and the lens system control circuit 12 operates the lens drive mechanism based on the command. 13.
  • the shutter mechanism 16 controls incident/blocking of the subject image onto the image sensor 6 by running a shutter curtain. Through the above control, the image sensor 6 is exposed to an appropriate amount of light, and a subject image is formed near the image sensor 6.
  • the image processing unit 7 in this embodiment also includes a positioning unit 71 that performs electronic image stabilization, which performs image stabilization by shifting and aligning the positions of multiple images, and an image combining unit 72 that combines multiple images. Be prepared. Note that specific operations of the alignment section 71 and the image composition section 72 will be described later.
  • the image processing unit 7 also compresses data such as images, moving images, and audio using a predetermined method.
  • the memory 8 includes an image storage section, and the camera system control circuit 5 outputs to the recording section of the memory 8.
  • the display unit 9 turns off the rear display device 9a and presents images and information on the EVF 9b when the user is looking into the EVF 9b, and displays images and information on the EVF 9b when the user is not looking into the EVF 9b. Images and information are presented on the display device 9a.
  • the rear display device 9a is a touch panel and is connected to the operation detection section 10.
  • the shake detection unit 15 is capable of detecting translational shake in a translational direction on a plane perpendicular to the optical axis 4 and rotational shake of the device in a rotational direction around the optical axis 4, and may use a vibrating gyro, an acceleration sensor, or the like. I can do it. Furthermore, blurring may be detected by comparing images between each frame based on the image signal output from the image sensor 6.
  • the vibration isolation mechanism 14 is a mechanism that drives the image sensor 6 translationally in a plane orthogonal to the optical axis 4 and rotates around the optical axis 4. For the specific structure of this mechanism, refer to FIG. 2. This will be explained later.
  • the camera system control circuit 5 generates and outputs timing signals and the like during imaging. Further, in response to an external operation detected by the operation detection unit 10, the imaging processing, image processing, and recording/reproduction processing are controlled, respectively. For example, when the operation detection unit 10 detects that a shutter release button (not shown) is pressed, the camera system control circuit 5 controls the drive of the image sensor 6, the operation of the image processing unit 7, the operation of compression processing, etc. Control.
  • the camera system control circuit 5 also includes an alignment on/off unit 51 and an image synthesis on/off unit 52 for turning on/off the respective operations of the alignment unit 71 and image synthesis unit 72 included in the image processing unit 7; An anti-vibration control section 53 is provided.
  • the image stabilization control unit 53 determines a target value for the drive amount of the image sensor 6 by the image stabilization mechanism 14 from the signal from the shake detection unit 15 based on on/off of alignment and on/off of image composition, as described later. and performs anti-shake drive (image plane anti-shake) control.
  • the camera system control circuit 5 operates the anti-shake lens included in the photographic optical system 3 via the lens drive mechanism 13 based on the signal obtained from the image sensor 6. By controlling this, it is also possible to perform known optical image stabilization.
  • Image plane image stabilization control in this embodiment is performed using a shake detection unit 15 that detects shake, an image stabilization mechanism 14 that performs image plane image stabilization, and an image stabilization control system provided in the camera system control circuit 5.
  • a so-called composition-setting operation in which the operation detection unit 10 detects an operation (SW1) of pressing a shutter release button (not shown) halfway down to enter a pre-photographing operation, an anti-vibration mechanism is installed to facilitate composition determination. 14 to perform image stabilization. That is, image plane image stabilization is performed by controlling the image stabilization mechanism 14 based on the signal from the blur detection section 15.
  • the image stabilization mechanism 14 is used to suppress blurring of the subject image obtained by exposure. Perform image stabilization. When a certain period of time has elapsed after exposure, the image plane anti-vibration operation is stopped.
  • FIG. 2 is an exploded perspective view of a mechanism that performs shake correction in the vibration isolation mechanism 14. Note that although there is a separate electrical mechanism for control, it is not included in the diagram shown in FIG. In FIG. 2, the vertical lines are parallel to the optical axis. In FIG. 2, members that do not move (fixed parts) are numbered in the 100s. Moving members (movable parts) are numbered in the 200s. Furthermore, the balls held between the fixed part and the movable part are numbered in the 300s.
  • 101 is an upper yoke
  • 102a, 102b, 102c are screws
  • 103a, 103b, 103c, 103d, 103e, 103f are upper magnets
  • 104a, 104b are auxiliary spacers
  • 105a, 105b, 105c are main spacers.
  • 106a, 106b, 106c are fixed portion rolling plates
  • 107a, 107b, 107c, 107d, 107e, 107f are lower magnets
  • 108 is a lower yoke
  • 109a, 109b, 109c are screws
  • 110 is a base plate.
  • 201 is an FPC
  • 202a, 202b, 202c are position detection element mounting positions
  • 203 is a movable PCB
  • 204a, 204b, 204c are movable rolling plates
  • 205a, 205b, 205c are coils
  • 206 is a movable frame
  • 301a, 301b, 301c is a ball.
  • the upper yoke 101, the upper magnets 103a, 103b, 103c, 103d, 103e, 103f, the lower magnets 107a, 107b, 107c, 107d, 107e, 107f, and the lower yoke 108 form a magnetic circuit, which is a so-called closed magnetic path. ing.
  • the upper magnets 103a, 103b, 103c, 103d, 103e, and 103f are adhesively fixed to the upper yoke 101 in a attracted state.
  • lower magnets 107a, 107b, 107c, 107d, 107e, and 107f are adhesively fixed to lower yoke 108 in a attracted state.
  • the upper magnets 103a, 103b, 103c, 103d, 103e, 103f and the lower magnets 107a, 107b, 107c, 107d, 107e, 107f are each magnetized in the optical axis direction (vertical direction in FIG. 2). Furthermore, adjacent magnets (those in the positional relationship of magnets 103a and 103b) are magnetized in different directions. Moreover, opposing magnets (those in the positional relationship of magnets 103a and 107a) are magnetized in the same direction. By doing so, a strong magnetic flux density is generated between the upper yoke 101 and the lower yoke 108 in the optical axis direction.
  • the appropriate spacing here means that the coils 205a, 205b, 205c and the FPC 201 are arranged between the upper magnets 103a, 103b, 103c, 103d, 103e, 103f and the lower magnets 107a, 107b, 107c, 107d, 107e, 107f. At the same time, the spacing is such that an appropriate gap can be secured.
  • the main spacers 105a, 105b, 105c are provided with screw holes, and the upper yoke 101 is fixed to the main spacers 105a, 105b, 105c by screws 102a, 102b, 102c.
  • Rubber is installed on the bodies of the main spacers 105a, 105b, and 105c, forming mechanical ends (so-called stoppers) of the movable parts.
  • Holes are provided in the base plate 110 so as to avoid the lower magnets 107a, 107b, 107c, 107d, 107e, and 107f, and the surfaces of the magnets are configured to protrude from the holes. That is, the base plate 110 and the lower yoke 108 are fixed by the screws 109a, 109b, and 109c, and the lower magnets 107a, 107b, 107c, 107d, 107e, and 107f, which are larger in thickness than the base plate 110, protrude from the base plate 110. It is fixed as follows.
  • the movable PCB 203 is made of die-cast magnesium or die-cast aluminum, and is lightweight and highly rigid. Each element of the movable part is fixed to the movable PCB 203 to form a movable part.
  • Position detection elements are attached to the FPC 201 on the side that is not visible from FIG. 2 at positions indicated by position detection element attachment positions 202a, 202b, and 202c.
  • a Hall element or the like can be used so that the position can be detected using the magnetic circuit described above. Since the Hall elements are small, they are nested inside the windings of the coils 205a, 205b, and 205c.
  • An image sensor 6, coils 205a, 205b, 205c, and a Hall element (not shown) are connected to the movable PCB 203. Electrical communication with the outside is performed via a connector on the movable PCB 203.
  • Fixed part rolling plates 106a, 106b, 106c are adhesively fixed to the base plate 110, and movable part rolling plates 204a, 204b, 204c are adhesively fixed to the movable PCB 203, forming the rolling surfaces of the balls 301a, 301b, 301c. do.
  • movable part rolling plates 204a, 204b, 204c are adhesively fixed to the movable PCB 203, forming the rolling surfaces of the balls 301a, 301b, 301c. do.
  • What is detected at the position detection element mounting positions 202a, 202b, and 202c is the magnetic flux density in the optical axis direction.
  • the characteristics of a magnetic circuit including upper magnets 103a, 103b, 103c, 103d, 103e, 103f and lower magnets 107a, 107b, 107c, 107d, 107e, 107f, etc. are generally nonlinear. Therefore, the magnetic flux density detected at the position detection element mounting positions 202a, 202b, and 202c does not necessarily have a constant resolution over the entire drive range, so the detection resolution changes.
  • the change in magnetic flux density is steep and places where it is gentle, and the steeper the position, the higher the detection resolution is, that is, the change in magnetic flux density with respect to the amount of movement is larger.
  • the change in magnetic flux density is greatest at the boundary position of the magnets (for example, the boundary position between upper magnets 103a and 103b), and the detection resolution is high.
  • the image synthesis on/off unit 52 in the camera system control circuit 5 controls whether or not to perform image synthesis.
  • the user may be able to directly instruct whether or not to perform image synthesis, or it may be automatically switched depending on camera settings such as shooting mode, and shooting conditions such as shutter speed. For example, perform image compositing when the shutter speed is slower than the threshold in still image shooting mode, but not perform image compositing when the shutter speed is faster than the threshold in still image shooting mode or in video shooting mode. .
  • image synthesis is performed after alignment is performed by the alignment section 71, so when performing image synthesis, the alignment on/off section 51 is also turned on. If image synthesis is to be performed, the process moves to S302, and if image synthesis is not to be performed, the process moves to S303.
  • the image stabilization control unit 53 of the camera system control circuit 5 controls image plane stabilization so as to preferentially correct rotational blur out of translational blur and rotational blur (roll blur).
  • rotational blur correction priority control The reason why rotational blur is preferentially corrected is to suppress image quality deterioration caused by image alignment in S304 and image composition in S305, which will be described later.
  • This control is suitable for image synthesis and image stabilization accompanied by image positioning in still image shooting where image quality is important.
  • FIG. 4 is a diagram of the vibration isolation mechanism 14 shown in FIG. 3 viewed from the optical axis 4 direction (Z-axis direction of the lower right coordinate system). Note that the coordinate system at the bottom right of FIG. 4 is common in FIGS. 440A, 40B, and 40C.
  • 40A indicates a state in which the movable frame 206 is not moving
  • 40B indicates a state in which the movable frame 206 moves in the positive direction of X without rotation
  • 40C indicates a state in which the movable frame 206 moves in the positive direction of X with rotation. The state of movement in each direction is shown.
  • a dashed-dotted line 400 drawn in common in 40A, 40B, and 40C in FIG. 4 indicates a reference line indicating the reference in the X direction of the fixing part, and a broken line 401 indicates a reference line indicating the reference in the Y direction of the fixing part.
  • a dashed line 402 indicates a reference line after the movable frame 206 has moved in the positive direction of X.
  • a broken line 403 indicates the reference line after the movable frame 206 has rotated
  • a dashed line 404 indicates the reference line after the movable frame 206 has moved in the positive direction of X.
  • the reference line of the movable part 206 is in a state where it overlaps with the reference line of the fixed part. In other words, it is not moving.
  • 40B shows a state in which the movable frame 206 is moved in the positive direction of X until it contacts the main spacer 105a without rotating the movable frame 206. That is, the movable frame 206 can move in the positive direction of X by an amount corresponding to the distance between the reference line 400 and the reference line 402.
  • 40C shows a state in which the movable frame 206 is rotated and moved in the positive direction of X until it contacts the main spacer 105a.
  • the amount of rotation is indicated by the angle between the reference line 401 and the reference line 403. Further, the amount of movement of the movable frame 206 in the X direction at this time corresponds to the distance between the reference line 400 and the reference line 404.
  • 40B and 40C do not show a specific relationship between the amount of rotation and the amount of translation, it is clear from 40C that in general, as the amount of rotation increases, the amount of translation that can be moved decreases. Further, when determining a specific relationship, it is sufficient to determine the position of the mechanical end of the movable part and perform numerical calculations. In order to have a margin for the amount of rotation and translation, the main spacers 105a, 105b, and 105c may be designed to be moved away from the movable frame 206, but this leads to an increase in the size of the device. Since the camera body 1 is carried and used by the user, it is of great significance not to increase the size of the device.
  • the upper limit value of the rotational shake correction amount (rotational drive amount) is set higher than the upper limit value of the translational shake correction amount (translational drive amount). By doing this, rotational blur is corrected preferentially.
  • the alignment unit 71 of the image processing unit 7 detects the positional deviation between the plurality of images input from the image sensor 6, and geometrically deforms the images to correct the positional deviation.
  • a positional shift between images can be detected by determining the degree of similarity between images using a known template matching method or the like.
  • geometric transformation an image is subjected to affine transformation or projective transformation to correct displacement in the translational or rotational direction of the image. This alignment realizes electronic image stabilization.
  • the image synthesis unit 72 of the image processing unit 7 synthesizes the plurality of images aligned in S304 by adding them together. This achieves image synthesis and image stabilization. Note that when each of a plurality of images is photographed with proper exposure, it is necessary to average the images after adding them together.
  • the image stabilization control unit 53 controls image plane stabilization so as to correct translational blur and rotational blur in a well-balanced manner.
  • this control will be referred to as "standard shake correction control.” This control is suitable for image stabilization in video shooting where chronological stability is important. It is also suitable when image positioning is not performed in still image shooting, that is, when image synthesis and image stabilization is not performed.
  • the upper limit value of the rotational image blur correction amount is set lower and is about the same as the upper limit value of the translational image blur correction amount, thereby reducing translational and rotational image blur. Correct it in a well-balanced manner.
  • the alignment on/off unit 51 of the camera system control circuit 5 controls whether or not to perform image alignment. Whether or not to perform image position alignment may be directly set by the user, or may be automatically switched depending on camera settings and shooting conditions. For example, image positioning is performed in video shooting mode, and image positioning is not performed in still image shooting mode when the shutter speed is faster than a threshold value.
  • image plane image stabilization is given priority control for rotational shake correction, thereby performing image stabilization suitable for still images where image quality is important. I can do it. Further, when image synthesis image stabilization is not performed, image plane image stabilization is performed using standard image stabilization control, thereby making it possible to perform image stabilization suitable for moving images where stability is important.
  • the upper limit value of the rotational shake correction amount (rotational drive amount) is set higher than the upper limit value of the translational shake correction amount (translational drive amount).
  • rotational shake correction amount may be calculated first, and then the translational shake may be corrected within the remaining movable range.
  • the gain used when obtaining the rotational shake correction amount based on the detected rotational shake is changed based on the translational shake correction amount based on the detected translational shake.
  • Rotational blur may be preferentially corrected by making the gain larger than the gain used when obtaining the correction amount.
  • a correction amount can be set such that when the gain is 1, the blur detected is 100% corrected.
  • the vibration isolation mechanism 14 is a mechanism for translating the image sensor 6 in a plane perpendicular to the optical axis 4 and rotating it around the optical axis 4.
  • the vibration isolation mechanism 14 in addition to the configuration shown in FIG. 4, the vibration isolation mechanism 14 further includes a mechanism for rotating around two axes orthogonal to the optical axis 4.
  • image plane image stabilization can correct not only translational shake and rotational shake, but also tilt components (hereinafter referred to as "tilt shake") caused by shake in the yaw and pitch directions.
  • tilt shake tilt components
  • FIGS. 5A and 5B are diagrams for explaining tilt shake.
  • FIG. 5A shows what happens when shake in the yaw direction occurs.
  • 501 represents the original image
  • 502 represents the image after blurring in the yaw direction.
  • tilt shake ⁇ occurs in addition to translational shake Tx, and the image is distorted into a trapezoidal shape.
  • FIG. 5B shows the situation when pitch direction blur occurs.
  • 501 represents the original image
  • 503 represents the image after blurring in the yaw direction.
  • the image is distorted into a trapezoidal shape due to tilt shake ⁇ in addition to translational shake Ty.
  • the image stabilization control unit 53 of the camera system control circuit 5 preferentially corrects a specific blur among translational blur, rotational blur, and tilt blur. to control image plane image stabilization.
  • this control will be referred to as "specific blur correction priority control.”
  • FIG. 7 shows the relationship between the amount of rotation blur and tilt blur and the focal length. In areas where the focal length is shorter than ft, tilting blur becomes dominant, and in areas where the focal length is longer than ft, rotational blur becomes dominant. Therefore, when the focal length is shorter than a predetermined focal length, priority is given to correcting tilt shake > rotational shake > translational shake, and when the focal length is longer than the predetermined focal length, rotational shake > tilt shake > Prioritize correction in order of translational blur.
  • FIG. 8 is a diagram showing a schematic configuration of an imaging system in the third embodiment.
  • the image processing section 7' further includes an image shift calculator 74 and a reliability detector 75.
  • the other configurations are the same as those described with reference to FIG. 1A, FIG. 1B, and FIG. 2, so description thereof will be omitted.
  • FIGS. 9A and 9B are diagrams showing the configuration of the image sensor 6 in the third embodiment.
  • 9A is an enlarged view of some pixels 20 (4x4 pixels) of the image sensor 6 viewed from the optical axis 4 direction
  • FIG. 9B is a cross-sectional view (lower row) of one pixel 20 and the exit pupil of the photographing lens. It is a diagram showing correspondence. Note that although the projection directions are different in the lower and upper stages of FIG. 9B, this method of illustration is used to make it easier to understand the corresponding state on the pupil plane.
  • the image sensor 6 is covered with a so-called Bayer array color filter, and R, G, and B indicate the colors of the color filters, red, green, and blue, respectively.
  • R, G, and B indicate the colors of the color filters, red, green, and blue, respectively.
  • a circle inside each pixel 20 indicates a microlens 25, and a vertical line inside each pixel 20 indicates that the light receiving section of each pixel 20 is connected to two light receiving sections 22a and 22b (photoelectric conversion section) in the X direction. ).
  • Arrows 21 indicate the distance between pixels covered by filters of the same color.
  • 23a and 23b indicate regions corresponding to the light receiving sections 22a and 22b, respectively, on the pupil plane of the photographing optical system 3, and 24 indicates the exit pupil of the photographing optical system 3.
  • the light receiving sections 22a and 22b of the pixel 20 are conjugated with regions 23a and 23b of a part of the pupil plane of the photographing optical system 3, respectively, by the microlens 25, and different pupils of the exit pupil 24 are formed. It is configured to receive each of the light beams that have passed through the area.
  • a image an image in which pixel signals obtained from the light receiving section 22a of each pixel 20 are collected
  • B image an image in which pixel signals obtained from the light receiving section 22b of each pixel 20 are collected
  • FIGS. 10A to 10D The horizontal axis in FIG. 10A indicates time.
  • the time when acquisition is started is t 1 , and thereafter images A and B are acquired continuously at t 2 and t 3 at predetermined intervals.
  • the A image acquired at time t is denoted as A 1 and the B image is denoted as B 1 s.
  • the A image acquired at time t n is assumed to be A n and the B image is assumed to be B n .
  • FIGS. 10B and 10C show an example in which a circulation path is formed between the A image and B image obtained after time t 2 and the A image and B image obtained before that time.
  • FIG. 10D shows an example in which a circulation path is not formed between images A and B acquired after time t 2 and images A and B acquired earlier. It shows.
  • FIGS. 10B to 10D consider images A and B acquired at times t n-1 and t n . Note that in FIGS. 10B to 10D, images A and B acquired at time t n-1 are used as templates for calculating the movement vector. However, if the previous image at time t n-1 is rejected as a template, the image before time t n-1 may become the template. Note that template rejection will be described later.
  • a movement vector 30 from A n to B n at time t n , a movement vector 30 from A n to B n , a movement vector 31 from B n to B n-1 , and a movement vector 33 from A n-1 to A n are determined.
  • the movement vector 32 from B n-1 to A n-1 becomes the movement vector in the opposite direction at time t n-1. Since it has been calculated, it can be used by reversing the sign. What is important here is that the four movement vectors 30, 31, 32, and 33 form a path that starts from An and returns to An without following the same route. In this embodiment, this is referred to as "forming a circulation route.”
  • FIG. 10B it is clear that the image group (A n , B n ) acquired after time t 2 is different from the image group (A n-1 , B n-1 ) acquired at the previous time. A circulation path is formed between them.
  • a movement vector 30 from A n to B n a movement vector 34 from B n to A n-1 , a movement vector 34 from B n-1 to A n Find vector 56.
  • the movement vector 35 is calculated at time t n-1 .
  • these four movement vectors 30, 34, 35, 36 form a circular path.
  • the image shift detector 54 of this embodiment operates in this manner to form a circulation path.
  • a plurality of methods can be considered for forming the circulation path, and the method may be set as convenient.
  • comparisons between A images, B images, and images acquired at the same time are convenient because they are stable with respect to vignetting conditions and subject conditions. That is, the example shown in FIG. 10B can be said to be a more preferable example.
  • FIG. 10D shows an image shift detection operation that is normally performed. Unlike this embodiment, in the example of FIG. 10D, an image (A n +B n ) is generated by adding An and B n at time t n . Then, a movement vector is calculated between the template image A n-1 +B n-1 . As is clear from FIG. 10D, no path for circulation is formed.
  • the reliability detector 75 circulates and integrates the movement vectors again to the original image. If there is no detection error, this integration result will be zero because it will return to its original position. On the other hand, if detection fails for some reason, such as movement of the subject, a mistake in a repeating pattern, or a change in ambient light, the value will not be zero.
  • the reliability detector 75 determines whether the movement vector obtained at time t n is good or bad.
  • the template needs to be updated based on a comparison with a threshold value. If it is less than the threshold, the image at time t n is used as a template for the image to be acquired at the next time, and if it is greater than the threshold, the template is not updated. As a result, even if only one frame contains an image with different characteristics (positioning fails due to flickering, etc.), it is possible to exclude that frame image and perform stable compositing processing.
  • each pixel 20 is divided into two light receiving sections 22a and 22b in the X direction, but the present invention is not limited to this.
  • it may be divided in the Y direction, or the directions of division may be mixed.
  • the number of divisions is not limited to two, and may be divided into three or more. In either case, as described above, the reliability of alignment can be determined using a method using movement vectors between images.
  • the present invention is not limited to this.
  • an optical system such as that shown in this embodiment may be used to store the A image group and the B image group and process them later.
  • the image shift calculator 74 and the reliability detector 75 are realized in the form of a computer program or the like, and process the above-mentioned saved A image group and B image group.
  • the processing content is to calculate the amount of image shift for the image group after time t2 so as to form a circulation path between it and the image group before that, and to create the above-mentioned circulation path. It is sufficient to integrate the detected amount along the lines.
  • the reliability of alignment can be determined with a simple configuration.
  • FIG. 11A is a schematic external view showing a smartphone 41 as an imaging device in the fourth embodiment
  • FIG. 11B is a block diagram mainly showing the configuration of an image processing unit 7''.
  • the smartphone 41 in the fourth embodiment a so-called multi-lens camera having two photographing optical systems 3a, 3b and two image sensors 6a, 6b will be described.
  • the photographing optical systems 3a, 3b have different focal lengths and can produce different images.
  • the photographing optical system 3b has a shorter focal length.Also, since the photographing optical systems 3a and 3b are separated from each other, a group of images can be obtained from multiple viewpoints at the same time. 4a and 4b indicate the optical axes of the photographing optical systems 3a and 3b, respectively.
  • circuit configuration other than the above has the same configuration as that shown in FIG. 1B, but since the processing in the image processing section 7'' is different, it will be explained below.
  • a magnification adjuster 73 is included in addition to the configuration of the image processing section 7' of 8, a magnification adjuster 73 is included.
  • the image obtained from the image sensor 6a is referred to as the A image.
  • the image obtained from the image sensor 6b is sent to a magnification adjuster 73 and converted into a state that can be compared with the image sensor 6a. Specifically, a part of the image obtained at a wider angle is cut out and processing is performed to match the pixel pitch.
  • the output image of this magnification adjuster 73 is assumed to be a B image.
  • the image shift calculation unit 74 calculates the amount of image shift so that a circulation path is formed between the second and subsequent image groups and the previous image group. Then, the reliability detector 75 integrates the detection amount along the circulation route. As a result, effects similar to those of the third embodiment can be obtained.
  • the smartphone 41 having two imaging optical systems 3a, 3b and two imaging devices 6a, 6b has been described, but the number of imaging systems may be three or more, and in that case, A necessary number of magnification adjusters 73 may be provided.
  • this embodiment is not limited to smartphones, but can be applied to electronic devices that can process images.
  • the present invention may be applied to a system composed of a plurality of devices, or to a device composed of a single device.
  • the present invention provides a system or device with a program that implements one or more functions of the above-described embodiments via a network or a storage medium, and one or more processors in a computer of the system or device executes the program.
  • This can also be realized by reading and executing processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置は、撮影光学系を介して入射した光を光電変換して画像を出力する撮像手段と、撮像装置のブレを検知するブレ検知手段と、前記ブレ検知手段により検知されたブレを補正するように、前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進方向に並進駆動すると共に、光軸周りの回転方向に回転駆動する駆動手段と、を有する。そして、前記撮像手段から得られた複数の画像が合成される場合に、前記駆動手段は、前記回転駆動を前記並進駆動より優先して行う。

Description

撮像装置およびその制御方法、および画像処理装置および方法
　本発明は、撮像装置およびその制御方法、および画像処理装置および方法に関し、特に、撮像装置における防振技術に関する。
　近年、撮像装置の高性能化により、多くの撮像装置に、撮像素子を移動させることで手ブレを補正する技術（像面防振）が搭載されている。この像面防振技術では、光軸に垂直な平面内での並進移動に加えて、光軸方向を中心とした回転移動が可能な像面防振機構が多く提案されている。
　また手ブレ補正には、撮影した画像を、基準となる画像に重なるよう電子的に位置合わせすることで補正する技術（電子防振）がある。さらに、複数の画像を位置合わせして合成することで、長秒露光と等しい画像を得る技術（以下、「画像合成防振」と呼ぶ。）がある。電子防振は画像を合成する必要がなく、リアルタイム性の求められる動画で利用されることが多い。一方、画像合成防振は合成処理が必要なことや、長秒露光を想定していることから、一般的に静止画で利用される。
　また、特許文献１では、撮像センサを回転して回転ブレを補正する像面防振と、電子防振とを協調させて、手ブレ補正を行う技術が開示されている。
特開２０１２－２４２５６３号公報
　一般に、静止画の防振では、各画像の画質が重視され、動画の防振では画像の時系列的な安定性が重視される。そのため、静止画向けの画像合成防振と、動画向けの電子防振とでは求められるものが異なるため、同じ方法により像面防振と電子防振とを行った場合、静止画と動画のいずれかの画像で所望の画質が得られない場合がある。
　本発明は上記問題点を鑑みてなされたものであり、動画と静止画のそれぞれに適した像面防振制御を行うことを目的とする。
　また、複数の画像を合成する場合に、合成された画像の画質を向上することを第２の目的とする。
　上記目的を達成するために、本発明の撮像装置は、撮影光学系を介して入射した光を光電変換して画像を出力する撮像手段と、撮像装置のブレを検知するブレ検知手段と、前記ブレ検知手段により検知されたブレを補正するように、前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進駆動および回転駆動する駆動手段と、を有し、前記撮像手段から出力された複数の画像が合成される場合に、前記駆動手段は、前記回転駆動を前記並進駆動より優先して行うことを特徴とする。
　本発明によれば、動画と静止画のそれぞれに適した像面防振制御を行うことができる。また、複数の画像を合成する場合に、合成された画像の画質を向上することができる。
　本発明のその他の特徴および利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の第１の実施形態における撮像システムの中央断面図。 本発明の第１の実施形態における撮像システムの概略構成を示すブロック図。 第１の実施形態における防振機構の分解斜視図。 第１の実施形態における処理を説明するフローチャート。 第１の実施形態における防振機構の回転と並進の関係を説明する図。 第２の実施形態に係るあおりブレを説明する図。 第２の実施形態に係るあおりブレを説明する図。 第２の実施形態における処理を説明するフローチャート。 第２の実施形態に係る回転ブレおよびあおりブレのブレ量と、焦点距離との関係を説明する図。 第３の実施形態における撮像システムの概略構成を示すブロック図。 第３の実施形態における撮像素子の構造を説明する図。 第３の実施形態における撮像素子の構造を説明する図。 第３の実施形態における像ずれ演算器および信頼性検知器が行う処理を説明する図。 第３の実施形態における像ずれ演算器および信頼性検知器が行う処理を説明する図。 第３の実施形態における像ずれ演算器および信頼性検知器が行う処理を説明する図。 第３の実施形態における像ずれ演算器および信頼性検知器が行う処理を説明する図。 第４の実施形態における撮像装置の概略外観図。 第４の実施形態における撮像装置の画像処理部の構成を示すブロック図。
　以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
＜第１の実施形態＞
　図１Ａおよび図１Ｂは、本発明の実施形態における撮像装置である。図１Ａは、本発明の実施形態における撮像装置としての撮像システムの中央断面図、図１Ｂは、撮像システムの概略構成を示すブロック図である。
　図１Ａに示すように、本実施形態の撮像システムは、主に、カメラ本体１と、カメラ本体１に着脱可能なレンズユニット２とからなる。カメラ本体１とレンズユニット２は、電気接点１１を介して電気的に接続される。なお、本発明の撮像装置はこの構成に限られるものでは無く、カメラ本体とレンズユニットが一体的に構成された撮像装置であってもよい。
　レンズユニット２は、光軸４上に配された、フォーカスレンズ、ズームレンズ、防振レンズ等といったレンズを含む複数のレンズおよび絞りからなる撮影光学系３と、レンズシステム制御回路１２と、レンズメモリ１７とを含む。また、カメラ本体１は、撮像素子６、背面表示装置９ａ、ＥＶＦ９ｂ、防振機構１４、ブレ検知部１５、シャッタ機構１６を含む。
　図１Ｂは、撮像システムの電気的構成を示す図であり、レンズユニット２は更に、撮影光学系３に含まれるフォーカスレンズ、ズームレンズ、防振レンズ、絞り等を駆動するレンズ駆動機構１３を備える。また、カメラ本体１は、更に、カメラシステム制御回路５、画像処理部７、メモリ８、表示部９、操作検出部１０を含む。なお、表示部は、背面表示装置９ａおよびＥＶＦ９ｂを含む。
　上記構成を有する撮像システムにおいて、撮影光学系３を介して入射した被写体からの光は、撮像素子６の撮像面に結像される。撮像素子６は、入射した光を光電変換し、光量に応じた電気信号（画像信号）を出力する。撮像素子６はいわゆる静止画、動画等様々なフォーマットの画像の画像信号を出力可能であり、複数のフォーマットの動画を、アスペクト比や記録画像の解像度等を変更して出力することができる。また、本実施形態の撮像システムは、静止画において時間的に連続した画像群を取得して合成するモード（ダイナミックレンジ拡張、ノイズリダクション等）を備えており、静止画、動画によらず、画像群を時間的に連続して取得する場合がある。
　画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有し、撮像素子６から出力された画像信号を処理することで、記録用の画像データを生成する。
　また、画像処理部７はカメラシステム制御回路５に接続されている。カメラシステム制御回路５は、画像処理部７により処理された撮像素子６からの画像信号に基づいて、焦点評価値や露光量を求め、これらの値に基づいて合焦位置および露出条件（Ｆナンバーやシャッタ速度等）を求めることができる。そして、カメラシステム制御回路５は、求めた合焦位置および露出条件に基づいて電気接点１１を介してレンズシステム制御回路１２に指令を出し、レンズシステム制御回路１２は当該指令に基づいてレンズ駆動機構１３を制御する。シャッタ機構１６は、シャッタ幕を走行させることで撮像素子６への被写体像の入射／遮光を制御する。上記制御により、適切な光量で撮像素子６を露光するとともに、撮像素子６近傍で被写体像が結像する。
　また、本実施形態における画像処理部７は、複数の画像間の位置をシフトして合わせることで防振する電子防振を行う位置合わせ部７１と、複数の画像を合成する画像合成部７２を備える。なお、位置合わせ部７１および画像合成部７２の具体的な動作については後述する。また、画像処理部７は、予め定められた方法を用いて、画像、動画、音声等のデータの圧縮を行う。
　メモリ８は、画像の記憶部を備え、カメラシステム制御回路５は、メモリ８の記録部へ出力を行う。
　表示部９は、カメラシステム制御回路５による制御により、ユーザがＥＶＦ９ｂを覗き込んでいる場合は、背面表示装置９ａを消灯してＥＶＦ９ｂに画像や情報の提示を行い、覗き込んでいない場合は背面表示装置９ａに画像や情報の情報提示を行う。なお、背面表示装置９ａはタッチパネルになっており、操作検出部１０に接続されている。
　ブレ検知部１５は、光軸４に垂直な面での並進方向の並進ぶれおよび光軸４を中心とした回転方向の装置の回転ブレを検知可能であり、振動ジャイロや加速度センサ等を用いることができる。また、撮像素子６から出力される画像信号に基づき、各フレーム間の画像を比較することでぶれを検知してもよい。防振機構１４は、撮像素子６を光軸４に直交する平面内で並進駆動するとともに光軸４を中心として回転駆動する機構であり、この具体的な構造については、図２を参照して後述する。
　カメラシステム制御回路５は、撮像の際のタイミング信号等を生成して出力する。また、操作検出部１０によって検出された外部操作に応動して、撮像処理、画像処理、記録再生処理をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部１０が検出すると、これに応じて、カメラシステム制御回路５は、撮像素子６の駆動、画像処理部７の動作、圧縮処理の動作等を制御する。また、カメラシステム制御回路５は、画像処理部７に含まれる位置合わせ部７１および画像合成部７２のそれぞれの動作をオン／オフするための位置合わせオンオフ部５１および画像合成オンオフ部５２、更に、防振制御部５３を備えている。防振制御部５３は、後述するように位置合わせのオン／オフ、画像合成のオン／オフに基づいて、ブレ検知部１５の信号から防振機構１４による撮像素子６の駆動量の目標値を生成し、防振駆動（像面防振）制御を行う。
　また、通常の手ブレ補正を行うモードにおいては、カメラシステム制御回路５は、撮像素子６から得られた信号に基づいて、レンズ駆動機構１３を介して撮影光学系３に含まれる防振レンズを制御することで、公知の光学防振を行うこともできる。
　ここで、上記構成を有する撮像システムにおける像面防振制御の流れについて簡単に説明する。
　本実施形態における像面防振制御は、ブレを検知するブレ検知部１５、像面防振を行う防振機構１４、および、カメラシステム制御回路５に備わる防振制御系を用いて行われる。そして、不図示のシャッターレリーズ釦を半分押し下げて撮影予備動作に入る操作（ＳＷ１）を操作検出部１０で検出する、いわゆる構図を定める動作中に、構図決めを容易にするために、防振機構１４を使って像面防振を行う。すなわち、ブレ検知部１５からの信号に基づいて防振機構１４を制御することで像面防振を実施する。その後、シャッターレリーズ釦を完全に押し下げて撮影動作に入る操作（ＳＷ２）を操作検出部１０で検出すると、露光して取得される被写体像のブレを抑制するために、防振機構１４を使って像面防振を行う。露光後一定時間が経過すると、像面防振動作を停止する。
　次に、図２を用いて本実施形態の防振機構１４について説明する。図２は、防振機構１４のうち、ブレ補正を行う機構の分解斜視図である。なお、別途、制御を行う電気的な仕組みがあるが、図２に示す図にはそれは含まれていない。図２において縦の線は光軸と平行な方向である。図２において、移動しない部材（固定部）には１００番台の番号を付した。移動する部材（可動部）には２００番台の番号を付している。さらに、固定部と可動部で挟持されるボールは３００番台の番号を付している。
　図２において、１０１は上部ヨーク、１０２ａ，１０２ｂ，１０２ｃはビス、１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆは上部磁石、１０４ａ，１０４ｂは補助スペーサ、１０５ａ，１０５ｂ，１０５ｃはメインスペーサである。また、１０６ａ，１０６ｂ，１０６ｃは固定部転動板、１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆは下部磁石、１０８は下部ヨーク、１０９ａ，１０９ｂ，１０９ｃはビス、１１０はベース板である。
　２０１はＦＰＣ、２０２ａ，２０２ｂ，２０２ｃは位置検出素子取り付け位置、２０３は可動ＰＣＢ、２０４ａ，２０４ｂ，２０４ｃは可動部転動板、２０５ａ，２０５ｂ，２０５ｃはコイル、２０６は可動枠、３０１ａ，３０１ｂ，３０１ｃはボールである。
　上部ヨーク１０１、上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆ、下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆ、下部ヨーク１０８が磁気回路を形成しており、いわゆる閉磁路を為している。上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆは上部ヨーク１０１に吸着した状態で接着固定されている。同様に、下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆは下部ヨーク１０８に吸着した状態で接着固定されている。上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆおよび下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆはそれぞれ光軸方向（図２の上下方向）に着磁されている。更に、隣接する磁石（磁石１０３ａと１０３ｂの位置関係にあるもの）は互いに異なる向きに着磁されている。また、対抗する磁石（磁石１０３ａと１０７ａの位置関係にあるもの）は互いに同じ向きに着磁されている。このようにすることで、上部ヨーク１０１と下部ヨーク１０８の間に光軸方向に強い磁束密度が生じる。
　上部ヨーク１０１と下部ヨーク１０８の間には強い吸引力が生じるのでメインスペーサ１０５ａ，１０５ｂ，１０５ｃおよび補助スペーサ１０４ａ，１０４ｂで適当な間隔を保つように構成されている。ここでいう適当な間隔とは、上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆと下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆの間にコイル２０５ａ，２０５ｂ，２０５ｃおよびＦＰＣ２０１を配置するとともに、適当な空隙を確保できるような間隔である。メインスペーサ１０５ａ，１０５ｂ，１０５ｃにはネジ穴が設けられており、ビス１０２ａ，１０２ｂ，１０２ｃによって上部ヨーク１０１がメインスペーサ１０５ａ，１０５ｂ，１０５ｃに固定される。
　メインスペーサ１０５ａ，１０５ｂ，１０５ｃの胴部にはゴムが設置されており、可動部の機械的端部（いわゆるストッパー）を形成している。
　ベース板１１０には下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆをよけるように穴が設けられており、この穴から磁石の面が突出するように構成される。すなわち、ビス１０９ａ，１０９ｂ，１０９ｃによってベース板１１０と下部ヨーク１０８が固定され、ベース板１１０よりも厚み方向の寸法が大きい下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆがベース板１１０から突出するように固定される。
　可動ＰＣＢ２０３は、マグネシウムダイキャスト若しくはアルミダイキャストで形成されており、軽量で剛性が高い。可動ＰＣＢ２０３に対して可動部の各要素が固定されて可動部を為している。ＦＰＣ２０１には、位置検出素子取り付け位置２０２ａ，２０２ｂ，２０２ｃで示した位置で図２から見えない側の面に位置検出素子が取り付けられている。前述した磁気回路を利用して位置を検出できるように、例えばホール素子等を用いることができる。ホール素子は小型なので、コイル２０５ａ，２０５ｂ，２０５ｃの巻き線の内側に入れ子になるように配置される。
　可動ＰＣＢ２０３には、不図示の撮像素子６、コイル２０５ａ，２０５ｂ，２０５ｃおよびホール素子が接続されている。可動ＰＣＢ２０３上のコネクタを介して外部との電気的なやり取りを行う。
　ベース板１１０には固定部転動板１０６ａ，１０６ｂ，１０６ｃが、可動ＰＣＢ２０３には可動部転動板２０４ａ，２０４ｂ，２０４ｃが接着固定されており、ボール３０１ａ，３０１ｂ，３０１ｃの転動面を形成する。転動板を別途設けることで表面粗さや硬さ等を好ましい状態に設計することが容易となる。
　上述した構成でコイル２０５ａ，２０５ｂ，２０５ｃに電流を流すことで、フレミング左手の法則に従った力が発生し可動枠２０６を動かすことができる。また、前述した位置検出素子であるホール素子の信号を用いることでフィードバック制御を行うことができる。ホール素子信号の値を適切に制御することで光軸に直交する平面内で並進運動するとともに光軸周りに回転することができる。
　位置検出素子取り付け位置２０２ａにあるホール素子の信号を一定に保ったまま、位置検出素子取り付け位置２０２ｂ，２０２ｃのホール素子信号を逆位相で駆動することで、おおよそ光軸４周りの回転運動を生み出すことができる。
　位置検出素子取り付け位置２０２ａ，２０２ｂ，２０２ｃで検出されるのは、光軸方向の磁束密度である。上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆと下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆ等からなる磁気回路の特性は一般的に非線形である。そのため、位置検出素子取り付け位置２０２ａ，２０２ｂ，２０２ｃで検出される磁束密度は、必ずしも駆動範囲のすべてで一定の分解能を持っていないため、検出分解能が変化する。これは磁束密度の変化が急峻な位置となだらかな位置があり、急峻な位置ほど検出分解能が高い、すなわち、移動量に対する磁束密度変化が大きい。図２に示した磁気回路では、磁石の境界位置（例えば、上部磁石１０３ａと１０３ｂとの境界位置）でもっとも磁束密度の変化が大きく、検出分解能が高い。
　なお、防振機構１４の制御方法に関しては多くの提案がなされているので、ここでは詳細説明は省略する。
　次に、上記構成を有するカメラ本体１における処理について、図３に示すフローチャートを用いて説明する。
　Ｓ３０１では、カメラシステム制御回路５内の画像合成オンオフ部５２が、画像合成を行うか否かを制御する。なお、画像合成を行うか否かはユーザが直接指示できるようにしても良く、撮影モード等のカメラの設定や、シャッタスピード等の撮影条件に応じて自動で切り替えるようにしても良い。例えば、静止画撮影モードでシャッタスピードが閾値よりも遅い場合に画像合成を行い、静止画撮影モードでシャッタスピードが閾値よりも早い場合や、動画撮影モードの場合に画像合成を行わないようにする。なお、画像合成は、位置合わせ部７１により位置合わせを行ってから行われるため、画像合成を行う場合、位置合わせオンオフ部５１もオンとなる。
　画像合成を行う場合はＳ３０２に移行し、画像合成を行わない場合はＳ３０３に移行する。
　Ｓ３０２では、カメラシステム制御回路５の防振制御部５３が、並進ブレと回転ブレ（ロールブレ）のうち、回転ブレを優先的に補正するように像面防振を制御する。以下、この制御を「回転ブレ補正優先制御」と呼ぶ。回転ブレを優先的に補正するのは、後述するＳ３０４における画像位置合わせおよびＳ３０５における画像合成で生じる画質劣化を抑制するためである。この制御は、画質が重視される静止画撮影において、画像位置合わせを伴う画像合成防振を行う場合に適している。
　ここで、図４を用いて、本実施形態における防振機構１４の回転と並進の関係について説明する。図４は、図３に示す防振機構１４を光軸４方向（右下の座標系のＺ軸方向）から見た図である。なお、図４右下の座標系は図４４０Ａ、４０Ｂ、４０Ｃにおいて共通している。４０Ａは、可動枠２０６が移動していない状態を、４０Ｂは、可動枠２０６が回転を伴わずにＸの正方向に移動した状態を、４０Ｃは、可動枠２０６が回転を伴ってＸの正方向に移動した状態をそれぞれ示している。
　図４の４０Ａ、４０Ｂ、４０Ｃに共通して引かれている一点鎖線４００は、固定部のＸ方向の基準を示す基準線、破線４０１は、固定部のＹ方向の基準を示す基準線を示している。また、４０Ｂにおいて、一点鎖線４０２は、Ｘの正方向に可動枠２０６が移動したのちの基準線を示している。また、４０Ｃにおいて、破線４０３は、可動枠２０６の回転後の基準線を、一点鎖線４０４は、可動枠２０６のＸの正方向に移動したのちの基準線をそれぞれ示している。４０Ａにおいて、可動部２０６の基準線は固定部の基準線と重なった状態にある。すなわち、移動していない状態である。
　４０Ｂは、可動枠２０６を回転させることなくメインスペーサ１０５ａに接触するまで可動枠２０６をＸの正方向に移動させた状態を示している。すなわち、基準線４００と基準線４０２の間隔に相当する量、可動枠２０６はＸの正方向に移動することができる。
　４０Ｃは、メインスペーサ１０５ａに接触するまで、可動枠２０６を回転させると共にＸの正方向に移動させた状態を示している。回転量は基準線４０１と基準線４０３がなす角度で示されている。また、この時の可動枠２０６のＸ方向の移動量は、基準線４００と基準線４０４の間隔に相当する量となっている。
　４０Ｂと４０Ｃを比較すると明らかなように、回転を伴うと、Ｘ方向に並進可能な量が変化する。この変化を抑えるためには、光軸４上に可動部２０６の機械的端部を設ければよいが、撮像素子６やその背後の処理基板等があり容易ではない。そのため一般的には、光軸４とは異なる位置に可動部の機械的端部（図２および図４の例ではメインスペーサ１０５ａ，１０５ｂ，１０５ｃ）が設けられている。
　また、４０Ｃから明らかなように、メインスペーサ１０５ｃと可動枠２０６のＹ方向の隙間を見ると、回転しない場合に比べて変化していることが分かる。すなわち回転することでＹの正方向に移動可能な量も減少することが分かる。
　４０Ｂ、４０Ｃでは具体的な回転量と並進量の関係は示していないが、一般的に回転量が増加すると移動可能な並進量は減少する関係にあることは、４０Ｃからも明らかである。また、具体的な関係を求める場合は、可動部の機械的端部の位置を決定して数値計算すればよい。回転量と並進量に対して余裕を持つためには、メインスペーサ１０５ａ，１０５ｂ，１０５ｃを可動枠２０６から遠ざけて設計を行えばよいが、装置の大型化につながる。カメラ本体１はユーザが携帯して使用するものなので、装置を大型化しない意義は大きい。
　以上のように、回転量と並進量は相反の関係にあるため、Ｓ３０２では、並進ブレ補正量（並進駆動量）の上限値よりも回転ブレ補正量（回転駆動量）の上限値を高く設定することで、回転ブレを優先的に補正する。
　Ｓ３０４では、画像処理部７の位置合わせ部７１が、撮像素子６より入力される複数の画像間の位置ずれを検出し、位置ずれを補正するよう画像を幾何変形する。
　画像間の位置ずれは、公知のテンプレートマッチング法等を用いて、画像間の類似度を求めることで検出できる。幾何変形では、画像をアフィン変換または射影変換することで、画像の並進や回転方向の位置ずれを補正する。この位置合わせによって電子防振が実現される。
　なお、幾何変形では、変形前と変形後の画像の各画素を対応付ける必要がある。画像をサブ画素単位で並進移動する場合や、回転移動する場合には、各画素が一対一で対応付かないため、周辺の複数の画素で補間した画素を用いて対応付けを行うことが一般的である。
　しかし、この画素補間を行うと、画像の解像度が損なわれ、画質劣化が生じる。そのため、画質劣化を防ぐにはサブ画素単位での並進移動や、回転移動を極力行わないことが望ましい。並進移動に関しては、整数画素単位での移動に制限することで、位置合わせ精度は低下するものの、画素補間による画質劣化を避けることができる。またＳ３０２の回転ブレ補正優先制御を用いれば、回転ブレが防振機構１４で十分補正されるため、回転移動が不要になり、画質劣化を避けることができる。
　Ｓ３０５では、画像処理部７の画像合成部７２が、Ｓ３０４で位置合わせされた複数の画像を加算することで合成する。これによって画像合成防振が実現される。なお、複数の画像の一枚一枚を適正露出で撮影する場合、画像を加算した後に平均を取る必要がある。
　一方、画像合成を行わない場合、Ｓ３０３では、防振制御部５３が、並進ブレと回転ブレをバランスよく補正するように像面防振を制御する。以下、この制御を「標準ブレ補正制御」と呼ぶ。この制御は、時系列的な安定性が重視される動画撮影での防振に適している。また静止画撮影において、画像位置合わせを行わない場合、すなわち、画像合成防振を行わない場合にも適している。
　標準ブレ補正制御では、Ｓ３０２における回転ブレ補正優先制御と比べて、回転ブレ補正量の上限値を低く設定し、並進ブレ補正量の上限値と同程度とすることで、並進ブレと回転ブレをバランスよく補正する。
　次にＳ３０６において、カメラシステム制御回路５の位置合わせオンオフ部５１が、画像位置合わせを行うか否かを制御する。画像位置合わせを行うか否かは、ユーザが直接設定できるようにしても良し、カメラの設定や撮影条件に応じて自動で切り替えるようにしても良い。例えば、動画撮影モードのときに画像位置合わせを行い、静止画撮影モードでシャッタスピードが閾値よりも早い場合に画像位置合わせを行わないようにする。
　画像位置合わせ、すなわち電子防振を行う場合はＳ３０７に移行し、電子防振を行わない場合は処理を終了する。
　Ｓ３０７では、Ｓ３０４と同様の画像位置合わせの処理を行い、処理を終了する。
　上記の通り第１の実施形態によれば、画像合成防振を行う場合には、像面防振を回転ブレ補正優先制御とすることで画質を重視する静止画に適した防振を行うことができる。また、画像合成防振を行わない場合には、像面防振を標準ブレ補正制御とすることで安定性を重視する動画に適した防振を行うことができる。
　なお、上述の実施形態では、回転ブレ補正優先制御において、並進ブレ補正量（並進駆動量）の上限値よりも回転ブレ補正量（回転駆動量）の上限値を高く設定することで、回転ブレを優先的に補正する例について説明をした。しかしながら、回転ブレを並進ブレよりも優先して補正をする方法はこれに限定されない。例えば、回転ブレ補正量を先に算出して、残りの可動範囲内で並進ブレを補正するようにしてもよい。また、回転ブレ補正量と並進ブレ補正量合計が、駆動可能範囲を超える場合、検知した回転ブレに基づいて回転ブレ補正量を取得する際に用いるゲインを、検知した並進ブレに基づいて並進ブレ補正量を取得する際に用いるゲインよりも大きくすることで回転ブレを優先的に補正してもよい。ゲインは１のときに検知したブレを１００％補正するような補正量が設定されるものとすることができる。
＜第２の実施形態＞
　次に、本発明の第２の実施形態について説明する。
　第１の実施形態では、防振機構１４は撮像素子６を光軸４に直交する平面内に並進させるとともに光軸４周りに回転させる機構とした。第２の実施形態では、図４に示す構成に加え、防振機構１４は、さらに光軸４と直交する２軸周りに回転させる機構を有するものとする。この機構により、像面防振では並進ブレと回転ブレに加えて、ヨー方向およびピッチ方向のブレにより生じるあおり成分（以下、「あおりブレ」と呼ぶ。）を補正することができる。なお、撮像システムの全体構成は図１Ａおよび図１Ｂと同様であるため、説明を省略する。
　図５Ａおよび図５Ｂは、あおりブレについて説明するための図である。図５Ａは、ヨー方向のブレが生じたときの様子を示している。５０１は元の画像、５０２はヨー方向にブレた後の画像を表している。このようにカメラにヨー方向のブレが生じると、画像には並進ブレＴｘに加えてあおりブレαが生じて、台形状に歪む。
　同様に、図５Ｂは、ピッチ方向のブレが生じたときの様子を示している。５０１は元の画像、５０３はヨー方向にブレた後の画像を表している。このようにカメラにピッチ方向のブレが生じると、画像には並進ブレＴｙに加えてあおりブレβが生じて台形状に歪む。
　次に、第２の実施形態に係る像面防振動作について、図６に示すフローチャートを用いて説明する。なお、図６において図３に示す処理と同様の処理には同じステップ番号を付し、適宜説明を割愛する。
　本第２の実施形態では、画像合成を行う場合、Ｓ６０１において、カメラシステム制御回路５の防振制御部５３が、並進ブレ、回転ブレ、あおりブレのうち、特定のブレを優先的に補正するよう像面防振を制御する。以下、この制御を「特定ブレ補正優先制御」と呼ぶ。
　画像位置合わせの際、あおりブレを補正しようとすると、回転ブレの場合と同様に画素補間が発生するため画質劣化が生じる。そのため、画像合成防振を行う場合には、像面防振で回転ブレに加えてあおりブレを補正しておくことが好ましい。
　回転ブレとあおりブレの補正の優先度は、焦点距離によって異なる。図７に回転ブレとあおりブレのブレ量と、焦点距離との関係を示す。焦点距離がｆｔよりも短い領域ではあおりブレが支配的になり、焦点距離ｆｔよりも長い領域では回転ブレが支配的になる。そのため、焦点距離が予め決められた焦点距離よりも短い場合はあおりブレ＞回転ブレ＞並進ブレの順に補正を優先し、焦点距離が予め決められた焦点距離以上の場合は回転ブレ＞あおりブレ＞並進ブレの順に補正を優先する。
　以上説明したように第２の実施形態によれば、像面防振によって回転ブレに加えてあおりブレも補正することで、より画質劣化の少ない画像合成防振を行うことができる。
＜第３の実施形態＞
　次に、本発明の第３の実施形態について説明する。
　第１および第２の実施形態のように、複数の画像を合成して手ブレを補正する場合、合成前の位置合わせで位置合わせしきらず、画像同士がズレていると、２重像のような画像を生成してしまう。そこで本実施形態では、位置合わせの信頼性の判定を行う場合について説明をする。
　図８は、第３の実施形態における撮像システムの概略構成を示す図である。図１Ｂに示す撮像システムの構成と比較して、画像処理部７’が、像ずれ演算器７４および信頼性検知器７５を更に備えている点が異なる。それ以外の構成については、図１Ａおよび図１Ｂおよび図２を参照して説明したものと同様であるため、説明を省略する。
　図９Ａおよび図９Ｂは、第３の実施形態における撮像素子６の構成を示す図である。図９Ａは撮像素子６の一部の画素２０（４ｘ４画素）を光軸４方向から見て拡大した図、図９Ｂは１つの画素２０の断面図（下段）と、撮影レンズの射出瞳との対応を示した図である。なお、図９Ｂの下段と上段では投影方向が異なるが、瞳面での対応状態を分かりやすくするためにこのような図示方法としている。
　図９Ａに示す例では、撮像素子６はいわゆるベイヤー配列のカラーフィルタにより覆われており、Ｒ，Ｇ，Ｂはそれぞれカラーフィルタの色である赤、緑、青を示している。また、各画素２０内の丸は、マイクロレンズ２５を示しており、また、各画素２０内の縦線は、各画素２０の受光部がＸ方向に２つの受光部２２ａ，２２ｂ（光電変換部）に分割されていること示している。矢印２１は、同色のフィルタにより覆われた画素間の距離を示している。
　また、図９Ｂにおいて、２３ａ，２３ｂは撮影光学系３の瞳面でそれぞれ受光部２２ａ，２２ｂと対応する領域を、２４は撮影光学系３の射出瞳を示している。
　図９Ｂに示すように、画素２０の受光部２２ａ，２２ｂは、マイクロレンズ２５によってそれぞれ撮影光学系３の瞳面の一部の領域２３ａ，２３ｂと共役となっており、射出瞳２４の異なる瞳領域を通過した光束を、それぞれ受光するように構成されている。
　上記構成を有する撮像素子６からは、受光部２２ａ，２２ｂそれぞれで得られた視差を有する信号（または、視点の異なる信号）をそれぞれ取得し、位相差演算を行うことで、公知の位相差ＡＦを行うことができる。なお、位相差ＡＦの演算はカメラシステム制御回路５が行う。また、受光部２２ａ，２２ｂで得られた信号を画素２０ごとに加算して出力することで、通常の画素信号を得ることができる。なお、図９Ｂでは、領域２３ａ，２３ｂが異なる領域であることを明示するために隙間をあけて示しているが、実際には接しても良いし、重複した領域を持つようにしても良い。以下、各画素２０の受光部２２ａから得られた画素信号を集めた画像を「Ａ像」、また、各画素２０の受光部２２ｂから得られた画素信号を集めた画像を「Ｂ像」と呼ぶ。
　次に、図１０Ａ～図１０Ｄを用いて、第３の実施形態における像ずれ演算器７４および信頼性検知器７５が行う処理について説明する。
　図１０Ａの横軸は時間を示す。取得を開始した時刻をｔ1として、以降予め決められた周期でｔ2，ｔ3と連続的に、Ａ像およびＢ像を取得する。時刻ｔで取得されたＡ像をＡ1、Ｂ像をＢ1とs記す。同様に、時刻ｔnで取得されたＡ像をＡn、Ｂ像をＢnとする。
　図１０Ｂおよび図１０Ｃは、時刻ｔ2以降に取得したＡ像、Ｂ像に対して、それ以前に取得したＡ像、Ｂ像との間に循環経路を形成した例を示す。図１０Ｄは、図１０Ｂおよび図１０Ｃとの比較として、時刻ｔ2以降に取得したＡ像、Ｂ像に対して、それ以前に取得したＡ像、Ｂ像との間に循環経路を形成しない例を示している。
　図１０Ｂから図１０Ｄでは、時刻ｔn-1とｔnで取得したＡ像、Ｂ像について考える。なお、図１０Ｂから図１０Ｄでは時刻ｔn-1で取得したＡ像、Ｂ像を移動ベクトル算出のテンプレートとする。ただし、前の時刻で時刻ｔn-1の画像がテンプレートとしては棄却された場合は、時刻ｔn-1以前の画像がテンプレートになる場合もある。なお、テンプレートの棄却については後述する。
　図１０Ｂでは、時刻ｔnのタイミングで、ＡnからＢnに向かう移動ベクトル３０、ＢnからＢn-1に向かう移動ベクトル３１、Ａn-1からAnに向かう移動ベクトル３３を求める。なお、図から分かるように、上記の移動ベクトルの計算を繰り返していると、Ｂn-1からＡn-1に向かう移動ベクトル３２は、時刻ｔn-1の時点で反対方向の移動ベクトルが計算されているので、符号を反転して利用することができる。ここで重要なのは、４つの移動ベクトル３０，３１，３２，３３によって、Ａnを発して同じ経路を辿ることなくＡnに戻る経路が形成されていることである。このことを本実施形態では「循環経路を形成する」と言う。図１０Ｂの例では明らかに、時刻ｔ2以降に取得した画像群（Ａn、Ｂn）に対して、それ以前の時刻に取得した画像群（Ａn-1、Ｂn-1）との間に循環経路が形成されている。
　同様に、図１０Ｃの例では、時刻ｔnのタイミングで、ＡnからＢnに向かう移動ベクトル３０、ＢnからＡn-1に向かう移動ベクトル３４、Ｂn-1からＡnに向かう移動ベクトル５６を求める。なお、移動ベクトル３５は時刻ｔn-1で計算されている。図から分かるように、これら４つの移動ベクトル３０，３４，３５，３６は循環経路を形成している。本実施形態の像ずれ検出器５４は、このように循環経路を形成するように動作する。
　図１０Ｂおよび図１０Ｃの例に示すように、循環経路の形成方法は複数の方法が考えられ、都合が良いように設定すればよい。ただし、Ａ像同士、Ｂ像同士の比較や、同一時刻に取得した画像間の比較は、それぞれケラレ状態や被写体の状態に対して安定しているので都合が良い。すなわち、図１０Ｂに示す例は、より好ましい例と言える。
　図１０Ｄは、通常行われる像ずれ検出の動作である。本実施形態と異なり、図１０Ｄの例では、時刻ｔnのタイミングでＡnとＢnを加算した像（Ａn＋Ｂn）を生成する。そして、テンプレート画像であるＡn-1＋Ｂn-1との間で移動ベクトルを算出する。図１０Ｄから明らかなように、循環できるような経路が形成されていない。
　次に循環経路の利用方法について説明する。本実施形態では、信頼性検知器７５で、循環して再び元の像までの移動ベクトルを積算する。この積算結果は、検出の誤差が無ければ、元の位置に戻るのでゼロになる。一方、被写体の移動、繰り返しパターンでのミス、環境光の変化等、何らかの原因で検出が失敗すると、ゼロではなくなる。
　そこで、信頼性検知器７５の結果が閾値よりも大きい場合は、検出ミスが起きたと判断でする。これにより時刻ｔnのタイミングで、時刻ｔnで求めた移動ベクトルの良否が判定できる。画像を位置合わせ合成するような場合は、この時点で良否判定に基づき、加算するか否かを判断できるのでメモリを節約できる。
　また、閾値との比較判定に基づき、テンプレートの更新の有無を判断することができる。閾値以下の場合は、時刻ｔnの像を次の時刻で取得する画像に対するテンプレートとして利用し、閾値よりも大きい場合は、テンプレートの更新をしない。これによって１フレームだけ特性が異なる画像が入った場合（明滅で位置決めが失敗する等）でも、当該フレーム画像を排除して、安定した合成処理を行うことが可能となる。
　なお、上述した例では、各画素２０の受光部をＸ方向に２つの受光部２２ａ，２２ｂに分割した場合について説明したが、本発明はこれに限られるものでは無い。例えば、Ｙ方向に分割しても、分割方向が混在していてもよい。また、分割数も２つに限られるものでは無く、３つ以上に分割しても構わない。いずれの場合にも、上述したように、画像相互間の移動ベクトル用いる方法を利用して、位置合わせの信頼性を判定することができる。
　なお、本実施形態は、撮像装置に像ずれ演算器７４および信頼性検知器７５を備えた場合を示したが、本発明はこれに限られるものではない。他の構成として、例えば、本実施形態に示したような光学系を利用して、Ａ像群およびＢ像群を保存しておき、後から処理するようにしても良い。その場合は、像ずれ演算器７４および信頼性検知器７５はコンピュータプログラムの形等で実現され、前述の保存されたＡ像群およびＢ像群を処理する。処理する内容は本実施形態に例示した通りに、時刻ｔ2以降の画像群に対して、それ以前の画像群との間に循環経路を形成するように像ずれ量を求め、上述した循環経路に沿った検出量を積算すればよい。この結果を利用することで、時刻ｔnのタイミングで、時刻ｔnで求めた移動ベクトルの良否を判定することができる。この場合も、撮像装置の例と同様に、メモリを節約すると共に、メモリアクセスを削減して高速に演算できる。
　上記の通り第３の実施形態によれば、簡単な構成で位置合わせの信頼性の判定を行うことができる。
＜第４の実施形態＞
　次に、本発明の第４の実施形態について説明する。
　図１１Ａは、第４の実施形態における撮像装置として、スマートフォン４１を示す概略外観図、図１１Ｂは、主に画像処理部７”の構成を示すブロック図である。第４の実施形態におけるスマートフォン４１として、２つの撮影光学系３ａ，３ｂと、２つの撮像素子６ａ，６ｂとを有する、いわゆる多眼カメラを含むものについて説明する。撮影光学系３ａ，３ｂは焦点距離が異なっており、異なる画角の画像を取得することができ、ここでは、撮影光学系３ｂの方が焦点距離が短いものとする。また、撮影光学系３ａと３ｂが離間しているので、同時に複数の視点から画像群を取得することができる。４ａ，４ｂは、撮影光学系３ａ，３ｂの光軸をそれぞれ示している。
　なお、上記以外の回路構成は、図１Ｂに示すものと同様の構成を有するが、画像処理部７”における処理が異なるため、以下に説明する。本実施形態における画像処理部７”は、図８の画像処理部７’の構成に加え、倍率調整器７３を含む。
　本実施形態では、撮像素子６ａから得られた画像をＡ像とする。一方、撮像素子６ｂから得られた画像は倍率調整器７３に送られ、撮像素子６ａと比較可能な状態に変換される。具体的には、より広角に取得された画像の一部を切り取ると共に、画素ピッチを一致させるための処理を施す。この倍率調整器７３の出力画像をＢ像とする。
　以下、取得したＡ像およびＢ像を利用して、第３の実施形態で図１０Ａ～図１０Ｄを参照して説明したようにして、Ａ像、Ｂ像に対して処理を施す。すなわち像ずれ演算器７４においては、２つ目以降の画像群に対してそれ以前の画像群との間に循環経路を形成するように像ずれ量を求める。そして、信頼性検知器７５において、循環経路に沿った検出量を積算する。結果として第３の実施形態と同様の効果を得ることができる。
　なお、本実施形態では、２つの撮影光学系３ａ，３ｂと、２つの撮像素子６ａ，６ｂを有するスマートフォン４１について説明したが、撮像系統は３系統以上であってもよく、その場合には、必要な数の倍率調整器７３を備えるようにすればよい。
　また、本実施形態はスマートフォンに限られるものでは無く、画像を処理することのできる電子機器に適用することが可能である。
　また、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
＜他の実施形態＞
　また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　発明は上記実施形態に制限されるものではなく、発明の精神および範囲から離脱することなく、様々な変更および変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

Claims (20)

  1. 　撮影光学系を介して入射した光を光電変換して画像を出力する撮像手段と、
    　撮像装置のブレを検知するブレ検知手段と、
    　前記ブレ検知手段により検知されたブレを補正するように、前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進駆動および回転駆動する駆動手段と、を有し、
    　前記撮像手段から出力された複数の画像が合成される場合に、前記駆動手段は、前記回転駆動を前記並進駆動より優先して行うことを特徴とする撮像装置。
  2. 　前記複数の画像が合成される場合に、前記駆動手段は前記回転駆動の上限値を、前記並進駆動の上限値よりも高く設定することを特徴とする請求項１に記載の撮像装置。
  3. 　前記駆動手段は、前記複数の画像が合成される場合に、前記合成が行われない場合よりも前記回転駆動の上限値を高く設定することを特徴とする請求項１または２に記載の撮像装置。
  4. 　撮影光学系を介して入射した光を光電変換して画像を出力する撮像手段と、
    　撮像装置のブレを検知するブレ検知手段と、
    　前記ブレ検知手段により検知されたブレを補正するように、前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進駆動および回転駆動する駆動手段と、を有し、
    　前記駆動手段は、複数の画像が合成される場合に、前記合成が行われない場合よりも前記回転駆動の上限値を高く設定することを特徴とする撮像装置。
  5. 　前記複数の画像を合成するか否かを設定する設定手段を有し、
    　前記設定手段は、ユーザが画像の合成を指示した場合、または、静止画撮影モードでシャッタスピードが閾値よりも遅い場合に、前記複数の画像を合成すると設定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
  6. 　前記複数の画像を合成するか否かを設定する設定手段を有し、
    前記設定手段は、ユーザが画像の合成を指示しない場合、静止画撮影モードでシャッタスピードが閾値よりも速い場合、または動画撮影モードの場合に、画像の合成を行わないと設定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
  7. 　前記駆動手段は、更に、前記光軸と垂直な軸周りの回転方向にあおり駆動し、
    　前記複数の画像を合成する場合に、前記駆動手段は、前記回転駆動および前記あおり駆動を前記並進駆動より優先して行うと共に、前記撮影光学系の焦点距離が予め決められた焦点距離よりも短い場合に、前記あおり駆動を前記回転駆動より優先して行い、前記焦点距離が前記予め決められた焦点距離以上の場合に、前記回転駆動を前記あおり駆動より優先して行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
  8. 　前記複数の画像を合成する場合に、前記撮像手段から出力された前記複数の画像間の位置合わせを行う位置合わせ手段と、
    　前記位置合わせ手段により位置合わせされた前記複数の画像を合成する合成手段と、
    を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
  9. 　前記撮像手段は、撮影光学系を介して入射した光に基づいて、視点が異なる第１の画像と第２の画像とを出力可能であって、
    　前記位置合わせ手段により位置合わせされた、第１のタイミングおよび当該第１のタイミングよりも前の第２のタイミングで得られた複数の前記第１の画像、および、前記第１のタイミングおよび前記第２のタイミングで得られた複数の前記第２の画像の、相互間のずれ量を示す移動ベクトルを演算する演算手段と、
    　前記演算手段により得られた移動ベクトルを積算することにより、前記位置合わせ手段による位置合わせの信頼性を検知する信頼性検知手段と、を更に有し、
    　前記信頼性検知手段により前記信頼性が予め決められた閾値よりも低い場合、前記第１のタイミングで得られた前記第１の画像および前記第２の画像を、前記合成手段による合成に用いないことを特徴とする請求項８に記載の撮像装置。
  10. 　前記演算手段は、前記位置合わせ手段により位置合わせされた、複数の前記第１の画像および複数の前記第２の画像の間で、前記移動ベクトルの循環経路を形成することを特徴とする請求項９に記載の撮像装置。
  11. 　前記演算手段は、前記位置合わせ手段により位置合わせされた後の、前記第１のタイミングで得られた前記第１の画像から前記第２の画像への第１の移動ベクトルと、前記第１のタイミングで得られた前記第２の画像から前記第２のタイミングで得られた前記第２の画像への第２の移動ベクトルと、前記第２のタイミングで得られた前記第２の画像から前記第１の画像への第３の移動ベクトルと、前記第２のタイミングで得られた前記第１の画像から前記第１のタイミングで得られた前記第１の画像への第４の移動ベクトルを求め、
    　前記信頼性検知手段は、前記第１乃至第４の移動ベクトルを積算することにより、前記信頼性を検知することを特徴とする請求項１０に記載の撮像装置。
  12. 　前記演算手段は、前記位置合わせ手段により位置合わせされた後の、前記第１のタイミングで得られた前記第１の画像から前記第２の画像への第１の移動ベクトルと、前記第１のタイミングで得られた前記第２の画像から前記第２のタイミングで得られた前記第１の画像への第２の移動ベクトルと、前記第２のタイミングで得られた前記第１の画像から前記第２の画像への第３の移動ベクトルと、前記第２のタイミングで得られた前記第２の画像から前記第１のタイミングで得られた前記第１の画像への第４の移動ベクトルを求め、
    　前記信頼性検知手段は、前記第１乃至第４の移動ベクトルを積算することにより、前記信頼性を検知することを特徴とする請求項９に記載の撮像装置。
  13. 　前記撮像手段は、前記撮影光学系の異なる瞳領域を通過した光を光電変換する第１の光電変換部と第２の光電変換部とを含む画素を複数、有する撮像素子を含み、
    　前記第１の画像は、前記第１の光電変換部により光電変換された画像信号に対応し、前記第２の画像は、前記第２の光電変換部により光電変換された画像信号に対応することを特徴とする請求項９乃至１２のいずれか１項に記載の撮像装置。
  14. 　前記撮像手段は、複数の撮影光学系をそれぞれ介して入射した光を光電変換する第１の撮像素子と第２の撮像素子とを含み、
    　前記第１の画像は、前記第１の撮像素子により光電変換された画像信号に対応し、前記第２の画像は、前記第２の撮像素子により光電変換された画像信号に対応することを特徴とする請求項９乃至１２のいずれか１項に記載の撮像装置。
  15. 　撮像手段から、撮影光学系を介して入射した光に基づいて得られた視点が異なる第１の画像と第２の画像とを取得する取得手段と、
    　前記取得手段により、第１のタイミングおよび当該第１のタイミングよりも前の第２のタイミングで得られた複数の前記第１の画像間の位置合わせを行うと共に、前記第１のタイミングおよび前記第２のタイミングで得られた複数の前記第２の画像間の位置合わせを行う位置合わせ手段と、
    　前記位置合わせ手段により位置合わせされた、複数の前記第１の画像および複数の前記第２の画像を合成する合成手段と、
    　前記位置合わせ手段により位置合わせされた、複数の前記第１の画像および複数の前記第２の画像の、相互間のずれ量を示す移動ベクトルを演算する演算手段と、
    　前記演算手段により得られた移動ベクトルを積算することにより、前記位置合わせ手段による位置合わせの信頼性を検知する信頼性検知手段と、を更に有し、
    　前記信頼性検知手段により検知された前記信頼性が予め決められた閾値よりも低い場合、前記第１のタイミングで得られた前記第１の画像および前記第２の画像を、前記合成手段による合成に用いないことを特徴とする画像処理装置。
  16. 　撮像手段が、撮影光学系を介して入射した光を光電変換して画像を出力する撮像工程と、
    　撮像装置のブレを検知するブレ検知工程と、
    　駆動手段が、前記ブレ検知工程で検知されたブレを補正するように、前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進方向に並進駆動すると共に、光軸周りの回転方向に回転駆動する駆動工程と、を有し、
    　前記撮像工程で出力された複数の画像を合成する場合に、前記駆動工程では、前記回転駆動を前記並進駆動より優先して行うことを特徴とする撮像装置の制御方法。
  17. 　撮像手段が、撮影光学系を介して入射した光を光電変換して画像を出力する撮像工程と、
    　撮像装置のブレを検知するブレ検知工程と、
    　前記ブレ検知工程で検知されたブレを補正するように、前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進方向に並進駆動すると共に、光軸周りの回転方向に回転駆動する駆動工程と、を有し、
    　前記駆動工程にける前記回転駆動の上限値は、複数の画像が合成される場合、前記合成が行われない場合よりも高く設定されることを特徴とする撮像装置の制御方法。
  18. 　取得手段が、撮像手段から、撮影光学系を介して入射した光に基づいて得られた視点が異なる第１の画像と第２の画像とを取得する取得工程と、
    　前記撮像手段から得られた複数の前記第１の画像および前記第２の画像を合成する場合に、位置合わせ手段が、前記取得工程で、第１のタイミングおよび当該第１のタイミングよりも前の第２のタイミングで得られた複数の前記第１の画像間の位置合わせを行うと共に、前記第１のタイミングおよび前記第２のタイミングで得られた複数の前記第２の画像間の位置合わせを行う位置合わせ工程と、
    　合成手段が、複数の前記第１の画像および複数の前記第２の画像を合成する場合に、前記位置合わせ工程で位置合わせされた、複数の前記第１の画像および複数の前記第２の画像を合成する合成工程と、
    　演算手段が、前記位置合わせ工程で位置合わせされた、複数の前記第１の画像および複数の前記第２の画像の、相互間のずれ量を示す移動ベクトルを演算する演算工程と、
    　信頼性検知手段が、前記演算工程で得られた移動ベクトルを積算することにより、前記位置合わせ手段による位置合わせの信頼性を検知する信頼性検知工程と、を更に有し、
    　前記信頼性検知工程で検知された前記信頼性が予め決められた閾値よりも低い場合、前記第１のタイミングで得られた前記第１の画像および前記第２の画像を、前記合成工程における合成に用いないことを特徴とする画像処理方法。
  19. 　コンピュータを、請求項１５に記載の画像処理装置の各手段として機能させるためのプログラム。
  20. 　コンピュータに、請求項１６または１７に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
PCT/JP2022/015719 2022-03-29 2022-03-29 撮像装置およびその制御方法、および画像処理装置および方法 WO2023188044A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/015719 WO2023188044A1 (ja) 2022-03-29 2022-03-29 撮像装置およびその制御方法、および画像処理装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/015719 WO2023188044A1 (ja) 2022-03-29 2022-03-29 撮像装置およびその制御方法、および画像処理装置および方法

Publications (1)

Publication Number Publication Date
WO2023188044A1 true WO2023188044A1 (ja) 2023-10-05

Family

ID=88200259

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/015719 WO2023188044A1 (ja) 2022-03-29 2022-03-29 撮像装置およびその制御方法、および画像処理装置および方法

Country Status (1)

Country Link
WO (1) WO2023188044A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272459A (ja) * 2006-03-30 2007-10-18 Canon Inc 画像処理装置及び方法、及び撮像装置
JP2017046301A (ja) * 2015-08-28 2017-03-02 オリンパス株式会社 撮像装置
JP2017129785A (ja) * 2016-01-21 2017-07-27 オリンパス株式会社 撮像装置、像ブレ補正方法
JP2022052532A (ja) * 2020-09-23 2022-04-04 キヤノン株式会社 画像処理装置、撮像装置、撮像制御装置及びそれらの制御方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272459A (ja) * 2006-03-30 2007-10-18 Canon Inc 画像処理装置及び方法、及び撮像装置
JP2017046301A (ja) * 2015-08-28 2017-03-02 オリンパス株式会社 撮像装置
JP2017129785A (ja) * 2016-01-21 2017-07-27 オリンパス株式会社 撮像装置、像ブレ補正方法
JP2022052532A (ja) * 2020-09-23 2022-04-04 キヤノン株式会社 画像処理装置、撮像装置、撮像制御装置及びそれらの制御方法、プログラム

Similar Documents

Publication Publication Date Title
JP4522207B2 (ja) カメラシステム、カメラ本体及び交換レンズ
JP5104918B2 (ja) 撮像装置及び撮像方法
US5416557A (en) Camera apparatus having drift detecting unit
US8345107B2 (en) Display control device, imaging device, and printing device
US11012633B2 (en) Image capturing apparatus, image capturing method, and image processing apparatus
WO2018051629A1 (ja) 撮像装置及び撮像制御方法
JP2007019571A (ja) 光学機器およびその制御プログラム
US9871964B2 (en) Photographing apparatus, photographing controller, photographing control method, and photographing control program
JP2019109426A (ja) 撮像装置およびその制御方法
JP2007043584A (ja) 撮像装置およびその制御方法
KR20090015251A (ko) 이미지 센서를 구비한 카메라 모듈
CN112135037B (zh) 稳定控制设备、摄像设备和稳定控制方法
JPH0787385A (ja) 撮像装置
JP3503655B2 (ja) 画像合成装置
WO2023188044A1 (ja) 撮像装置およびその制御方法、および画像処理装置および方法
JP6606838B2 (ja) 撮像装置および撮像方法
WO2011129036A1 (ja) 撮像装置および集積回路
JP2007049266A (ja) 画像撮像装置
JP2022108625A (ja) 撮像装置およびその制御方法、および画像処理装置および方法
JP2000078467A (ja) 画像合成方法
JP2000069353A (ja) 手ぶれ検出装置および手ぶれ補正装置
JP7378260B2 (ja) 防振装置及び方法、及び撮像装置
JPH07240932A (ja) 撮像装置
JP4575022B2 (ja) 撮像装置
JP2005064749A (ja) カメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22935192

Country of ref document: EP

Kind code of ref document: A1