WO2018159069A1 - 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

撮像装置、画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2018159069A1
WO2018159069A1 PCT/JP2017/045026 JP2017045026W WO2018159069A1 WO 2018159069 A1 WO2018159069 A1 WO 2018159069A1 JP 2017045026 W JP2017045026 W JP 2017045026W WO 2018159069 A1 WO2018159069 A1 WO 2018159069A1
Authority
WO
WIPO (PCT)
Prior art keywords
distortion
image data
image
focus
correcting
Prior art date
Application number
PCT/JP2017/045026
Other languages
English (en)
French (fr)
Inventor
林　健吉
洋介 成瀬
慶延 岸根
大樹 小松
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019502471A priority Critical patent/JP6603825B2/ja
Priority to CN201780086572.8A priority patent/CN110337805B/zh
Publication of WO2018159069A1 publication Critical patent/WO2018159069A1/ja
Priority to US16/527,898 priority patent/US11061200B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an imaging apparatus, an image processing apparatus, an image processing method, and an image processing program, and more particularly to an imaging apparatus, an image processing apparatus, an image processing method, and an image processing program that correct focus breathing and distortion by image processing.
  • Patent Documents 1 and 2 propose techniques for correcting focus breathing by image processing.
  • Patent Documents 3 and 4 propose techniques for correcting distortion by image processing.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an imaging apparatus, an image processing apparatus, an image processing method, and an image processing program capable of appropriately correcting both focus breathing and distortion.
  • An imaging lens having a focusing lens, an image sensor that captures an image formed by the imaging lens, an image data generation unit that processes a signal output from the image sensor and generates image data, and a focus position
  • a focus breathing correction unit that corrects the focus breathing by scaling the image data at an enlargement / reduction ratio determined for each, and a distortion correction unit that corrects distortion appearing in the image data after correcting the focus breathing by image processing
  • both focus breathing and distortion are corrected by image processing.
  • Focus breathing is corrected by enlarging / reducing the image data at an enlargement / reduction ratio determined for each focus position.
  • distortion distortion appearing in image data after correcting focus breathing is corrected by image processing. Distortion appears in image data due to the imaging lens, but its appearance changes by correcting focus breathing by image processing.
  • distortion appearing in the image data after correcting the focus breathing is corrected by image processing.
  • the enlargement / reduction ratio of the image data when correcting the focus breathing is set to a value that reduces the distortion generated in the image data due to the imaging lens by a predetermined amount. Therefore, the amount of distortion correction can be reduced.
  • the enlargement / reduction ratio of the image data when correcting the focus breathing is set to a value that minimizes the distortion generated in the image data due to the imaging lens. Therefore, the amount of distortion correction can be reduced.
  • the enlargement / reduction ratio of the image data when correcting the focus breathing is set to a value that reduces the distortion at the image height at which the distortion is maximized by a predetermined amount. Therefore, the amount of distortion correction can be reduced.
  • the enlargement / reduction ratio of the image data when correcting the focus breathing is set to a value that reduces the distortion at the center of the image by a predetermined amount. Therefore, the amount of distortion correction can be reduced.
  • the distortion correction unit divides the image data into a plurality of regions and performs correction processing for each region, the enlargement / reduction ratio is set to a value that can be corrected by the distortion correction unit.
  • the enlargement / reduction ratio of the image data when correcting the focus breathing is set to a value that can be corrected by the distortion correction unit. Therefore, distortion can be corrected reliably.
  • the imaging lens is configured such that distortion appears only in one of positive and negative. Therefore, when setting the correction amount (enlargement / reduction ratio) of focus breathing from the viewpoint of distortion correction, the enlargement / reduction direction can be kept constant.
  • the distortion that appears in the image data after correcting the focus breathing with a specific enlargement / reduction ratio is corrected by image processing. That is, focus breathing is corrected for each focus position, but distortion is corrected with a fixed correction amount. Thereby, the distortion correction load can be reduced.
  • An image data acquisition unit that acquires image data obtained by imaging, a focus position information acquisition unit that acquires information on the focus position of the imaging lens when the image data was captured, and a focus position that is determined for each focus position
  • An image provided with a focus breathing correction unit that corrects focus breathing by enlarging and reducing the image data according to an enlargement / reduction ratio, and a distortion correction unit that corrects distortion appearing in the image data after correcting the focus breathing by image processing. Processing equipment.
  • both focus breathing and distortion are corrected by image processing.
  • Focus breathing is corrected by enlarging / reducing the image data at an enlargement / reduction ratio determined for each focus position.
  • distortion distortion appearing in image data after correcting focus breathing is corrected by image processing.
  • a step of acquiring image data obtained by imaging, a step of acquiring the focus position information of the imaging lens at the time of imaging the image data, and the image data by an enlargement / reduction ratio determined for each focus position An image processing method including a step of correcting focus breathing by performing an enlargement / reduction process, and a step of correcting distortion appearing in image data after correcting the focus breathing by image processing.
  • both focus breathing and distortion are corrected by image processing.
  • Focus breathing is corrected by enlarging / reducing the image data at an enlargement / reduction ratio determined for each focus position.
  • distortion distortion appearing in image data after correcting focus breathing is corrected by image processing.
  • both focus breathing and distortion are corrected by image processing.
  • Focus breathing is corrected by enlarging / reducing the image data at an enlargement / reduction ratio determined for each focus position.
  • distortion distortion appearing in image data after correcting focus breathing is corrected by image processing.
  • both focus breathing and distortion can be corrected appropriately.
  • FIG. 1 is a schematic configuration diagram showing an embodiment of an imaging apparatus to which the present invention is applied.
  • Block diagram of functions provided by the image signal processor Graph showing the relationship between focus position and angle of view Explanatory drawing of image cutout and enlargement / reduction processing
  • the figure which shows an example of the distortion which appears in image data The figure which shows the relationship (distortion curve) between image height and the amount of distortion Explanatory drawing of the processing order of the correction process in a distortion correction part Explanatory drawing of another example of the processing order of correction processing in the distortion correction unit Explanatory drawing when the correction amount of focus breathing is set to a value that reduces the distortion at the image height at which the distortion is maximized by a predetermined amount.
  • Explanatory drawing when the correction amount of focus breathing is set to a value that reduces the distortion in the center of the image by a predetermined amount Explanatory drawing when the correction amount of focus breathing is set to a value that minimizes distortion caused in the image data due to the imaging lens
  • Graph showing the relationship between the focus position and the angle of view when the focus position is changed in stages
  • the graph which shows the measurement result of the distortion of the image data which is imaged with a certain imaging lens Distortion curve of image data after correcting focus breathing by image processing
  • FIG. 1 is a schematic configuration diagram showing an embodiment of an imaging apparatus to which the present invention is applied.
  • the imaging apparatus 1 mainly includes an imaging lens 10, a lens driving unit 20, a detection unit 30, an image sensor 40, an analog front end 50, an image signal processing unit 60, and an operation unit. 70 and a control unit 80.
  • the imaging lens 10 includes four groups of zoom lenses having a focusing function, and includes a focusing lens 12, a variator lens 14A, a compensator lens 14B, a diaphragm 16, and a relay lens 18.
  • the imaging lens 10 is focused by moving the focusing lens 12 along the optical axis. Further, zooming is performed by moving the zoom lens 14 including the variator lens 14A and the compensator lens 14B along the optical axis. Further, the amount of light is adjusted by operating the diaphragm 16.
  • the lens driving unit 20 includes a focusing lens driving unit 22 that drives the focusing lens 12, a zoom lens driving unit 24 that drives the zoom lens 14, and a diaphragm driving unit 26 that drives the diaphragm 16.
  • the focusing lens drive unit 22 includes a focusing motor and its drive circuit.
  • the focusing lens driving unit 22 moves the focusing lens 12 along the optical axis by driving a focusing motor in accordance with a command from the control unit 80.
  • the zoom lens driving unit 24 includes a zoom motor and a driving circuit thereof.
  • the zoom lens drive unit 24 moves the variator lens 14A and the compensator lens 14B along the optical axis by driving a zoom motor in accordance with a command from the control unit 80.
  • the aperture drive unit 26 includes an aperture motor and its drive circuit.
  • the aperture drive unit 26 drives the aperture motor in response to a command from the control unit 80, thereby rotating the drive ring of the aperture 16 and expanding and contracting the aperture blades.
  • the detection unit 30 includes a focusing lens position detection unit 32 that detects the position of the focusing lens 12, a zoom lens position detection unit 34 that detects the position of the zoom lens 14, and an opening amount detection unit 36 that detects the opening amount of the diaphragm 16. And comprising.
  • the focusing lens position detection unit 32 detects the position of the focusing lens 12 as a focus position, and outputs the result to the control unit 80.
  • the positions of the zoom lens position detection unit 34 and the variator lens 14A are detected as zoom positions, and the results are output to the control unit 80.
  • the opening amount detection unit 36 detects the rotational position of the drive ring that drives the diaphragm 16, detects the opening amount of the diaphragm 16, and outputs the result to the control unit 80.
  • the image sensor 40 captures an image formed by the imaging lens 10.
  • the image sensor 40 is configured by a solid-state imaging device such as a CMOS (Complementary Metal Oxide Semiconductor) having a predetermined color filter array and a CCD (CCD: Charged Coupled Device).
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charged Coupled Device
  • Analog Front End 50 performs CDS processing (CDS: Correlated Double Sampling), AGC processing (AGC: Automatic Gain Control) on the analog image signal output from the image sensor 40, Predetermined analog signal processing such as clamping processing is performed, and the processed analog image signal is converted into a digital image signal and output.
  • CDS processing Correlated Double Sampling
  • AGC processing AGC: Automatic Gain Control
  • Predetermined analog signal processing such as clamping processing is performed, and the processed analog image signal is converted into a digital image signal and output.
  • the image signal processing unit 60 takes in a digital image signal output from the analog front end 50 and performs predetermined signal processing to generate image data.
  • the image signal processing unit 60 performs focus breathing correction processing and distortion correction processing on the generated image data and outputs the result.
  • FIG. 2 is a block diagram of functions provided by the image signal processing unit.
  • the image signal processing unit 60 includes an image data generation unit 62, a focus breathing correction unit 64, and a distortion correction unit 66.
  • the image data generation unit 62 performs various correction processes such as white balance adjustment, gamma correction, and sharpness correction on the input digital image signal, and synchronization processing (color interpolation processing on R, G, and B image signals).
  • various correction processes such as white balance adjustment, gamma correction, and sharpness correction on the input digital image signal, and synchronization processing (color interpolation processing on R, G, and B image signals).
  • a set of image signals R signal, G signal, B signal
  • YCrCb conversion processing R, G for each pixel subjected to synchronization processing
  • B signal is converted into a luminance signal Y and color difference signals Cr and Cb) to generate image data.
  • the focus breathing correction unit 64 corrects focus breathing by enlarging / reducing the image data with an enlargement / reduction ratio determined for each focus position.
  • Focus breathing is a phenomenon in which the angle of view fluctuates with focusing.
  • FIG. 3 is a graph showing the relationship between the focus position and the angle of view.
  • the vertical axis represents the focus position (the position of the focusing lens), and the horizontal axis represents the angle of view.
  • the relationship between the focus position and the angle of view is shown by a straight line for the sake of simplicity.
  • how the angle of view changes when the focus position is changed.
  • the imaging lens Even with the same imaging lens, the way of changing the angle of view varies depending on the zoom position.
  • the focus breathing is performed by enlarging / reducing the image data (also referred to as electronic zoom or digital zoom) at a predetermined enlargement / reduction ratio for each focus position. Can be corrected.
  • the position of the point FP2 is set as a reference focus position. Assume that the focus position has moved from the point FP2 to the point FP1 on the closest end side. In this case, the angle of view changes from FA2 to FA1, and is enlarged by the difference. That is, the imaged range is enlarged. Therefore, in this case, fluctuations in the angle of view can be offset by enlarging the image data by the amount that the angle of view is enlarged. Further, it is assumed that the focus position has moved from the point FP2 to the point FP3 on the infinity side. In this case, the angle of view changes from FA2 to FA3, and is reduced by the difference. That is, the imaged range is reduced. Therefore, in this case, the fluctuation of the angle of view can be offset by reducing the image data by the amount that the angle of view is reduced.
  • focus breathing can be corrected by scaling the image data at a predetermined scaling ratio for each focus position.
  • the focus breathing correction unit 64 corrects focus breathing by enlarging / reducing the image data at an enlargement / reduction ratio determined for each focus position.
  • the focus breathing correction amount (enlargement / reduction ratio determined for each focus position) is set for each zoom position.
  • FIG. 4 is an explanatory diagram of image cutout and enlargement / reduction processing.
  • FIG. 2A shows an example of an image captured at a reference angle of view.
  • FIG. 5B shows an example of an image output as a captured image.
  • FIG. 3C shows an example in which the angle of view of an image captured by focus breathing is reduced from the reference angle of view.
  • FIG. 4D shows an example in which the angle of view of an image captured by focus breathing is enlarged from the reference angle of view.
  • a frame F indicated by a broken line is a range of an image to be cut out.
  • the image in the frame F is output as it is.
  • the focus position and the angle of view used as a reference when correcting the focus breathing are set in consideration of the relationship with the distortion correction.
  • the focus breathing correction unit 64 acquires image data obtained by imaging from the image data generation unit 62, and thus the focus breathing correction unit 64 functions as an image data acquisition unit. .
  • the distortion correction unit 66 corrects the distortion appearing in the image data by performing a pixel position conversion process and an interpolation process for interpolating the missing pixel as the pixel position moves.
  • FIG. 5 is a diagram showing an example of distortion appearing in the image data.
  • FIG. 5A shows an example of a pincushion type distortion.
  • FIG. 5B shows an example of barrel distortion.
  • the size of the distortion is defined by a percentage with respect to the distance (image height) from the center of the image.
  • FIG. 6 is a diagram showing the relationship (distortion curve) between the image height and the amount of distortion.
  • a negative distortion is a pincushion type distortion, and an image is formed at a distance from any point in the image that is further away from the center.
  • a positive distortion is a barrel-shaped distortion, and an image is formed at a distance that any point in the image is closer to the center.
  • FIG. 6A shows an example of a pincushion type distortion.
  • FIG. 6B shows an example of barrel distortion.
  • the distortion curve shown in FIG. 6 can be approximated by a multidimensional function of the distance (image height) from the center of the image.
  • the distortion amount of barrel distortion can be expressed by the following equation (1).
  • the coordinates (X, Y) of the image before correction obtained by the above equation (2) are not integer values, and the corresponding pixel data does not exist in the image before correction. Therefore, the pixel data P corresponding to the obtained coordinates (X, Y) of the image before correction is obtained by interpolation from the existing pixel data in the vicinity of the coordinates (X, Y) of the image before correction.
  • the interpolation method in this case include a nearest neighbor interpolation method (nearest neighbor interpolation) and a linear interpolation method (bi-linear interpolation).
  • the coordinates (X, Y) of the image before correction corresponding to the coordinates (x, y) in the corrected image are obtained by calculation, and the vicinity of the obtained coordinates (X, Y) is obtained.
  • pixel data P is obtained according to the interpolation method. Distortion can be corrected by using the obtained pixel data P as pixel data of coordinates (x, y) in the corrected image.
  • the distortion correction unit 66 divides the image data into a plurality of areas and performs correction processing for each area.
  • FIG. 7 is an explanatory diagram of the processing order of the correction processing in the distortion correction unit.
  • the distortion correction unit 66 divides the image data into a plurality of blocks along the X-axis direction (horizontal direction), and performs correction processing for each block. That is, the image data in block units is read and corrected. At this time, the distortion correction unit 66 scans the inside of the block in the X-axis direction, reads the pixel value of each pixel for each line, and performs correction processing.
  • FIG. 8 is an explanatory diagram of another example of the processing order of the correction processing in the distortion correction unit 66.
  • the image data can be divided into four quadrants Q1 to Q4 and correction processing can be performed for each quadrant Q1 to Q4.
  • Each quadrant Q1 to Q4 passes through the center O of the image and is divided by an X axis and a Y axis that are orthogonal to each other.
  • the distortion correction unit 66 further divides each divided quadrant Q1 to Q4 into a plurality of blocks, and performs correction processing for each block. That is, each quadrant Q1-Q4 is divided into a plurality of blocks along the X-axis direction, and correction processing is performed for each block.
  • each block is processed in order from the outside to the inside of the image data, as indicated by the solid arrow a.
  • the pixel value of each pixel is read for each line in order from the side closer to the X axis, and correction processing is performed.
  • the capacity of the buffer memory used in the processing can be reduced.
  • the distortion appears in the image data due to the imaging lens 10, but the appearance changes when the focus breathing is corrected by image processing.
  • the distortion correction correction parameters are set so as to correct the distortion appearing in the image data after correcting the focus breathing.
  • the amount of distortion appearing in the image data can be reduced by correcting the focus breathing by image processing. Therefore, the distortion correction load can be reduced by correcting the focus breathing by image processing. That is, since the amount of distortion can be reduced, the number of correction parameters can be reduced, so that the processing load can be reduced.
  • the distortion caused by the imaging lens 10 can be obtained in advance.
  • distortion that appears when focus breathing is corrected for image data in which distortion has occurred can also be obtained in advance.
  • the distortion correction unit 66 corrects the distortion of the image data after the focus breathing correction, using the correction parameter set so as to correct the distortion appearing in the image data after the focus breathing is corrected.
  • correction parameters are prepared for each zoom position and focus position.
  • the image data after distortion correction is output from the output terminal as a captured image.
  • the output image is displayed on a monitor (not shown) or recorded in the storage.
  • the operation unit 70 includes various operation members such as a focus demand and a zoom demand, and an operation circuit that outputs an operation signal to the control unit.
  • the control unit 80 controls the overall operation of the imaging apparatus 1 based on the operation of the operation unit 70.
  • the control unit 80 provides necessary information to each unit when each unit of the image signal processing unit 60 processes image data. That is, when the focus breathing correction unit 64 performs focus breathing correction, the focus breathing correction unit 64 acquires information on the focus position and the zoom position detected by the focusing lens position detection unit 32 and the zoom lens position detection unit 34 and provides the information to the focus breathing correction unit 64. . Further, when the distortion correction unit 66 corrects the distortion, the information of the focus position and the zoom position detected by the focusing lens position detection unit 32 and the zoom lens position detection unit 34 is acquired and provided to the distortion correction unit 66. Therefore, in the imaging device 1 of the present embodiment, the control unit 80 functions as a focus position information acquisition unit.
  • an image formed by the imaging lens 10 is captured by the image sensor 40.
  • the image signal output from the image sensor 40 is first applied to the analog front end 50, subjected to predetermined analog signal processing, converted to a digital image signal, and output.
  • the image signal output from the analog front end 50 is input to the image signal processing unit 60.
  • the image signal input to the image signal processing unit 60 is first subjected to predetermined signal processing by the image data generation unit 62 to generate image data.
  • the generated image data is added to the focus breathing correction unit 64, and the focus breathing is corrected.
  • the focus breathing correction unit 64 acquires information on the focus position and the zoom position of the imaging lens 10 at the time when the image data is captured via the control unit 80, and an enlargement / reduction ratio determined for each focus position and zoom position.
  • the image data is enlarged or reduced to correct focus breathing.
  • the image data in which the focus breathing is corrected is added to the distortion correction unit 66, and the distortion is corrected.
  • the distortion correction unit 66 corrects the distortion appearing in the image data after correcting the focus breathing by image processing.
  • the distortion correction unit 66 acquires information on the focus position and the zoom position of the imaging lens 10 at the time when the image data is imaged, performs image processing on the image data with correction parameters determined for each focus position and zoom position, and Corrects distortion that appears in image data after focus breathing correction.
  • the image data after distortion correction is output from the output terminal as a captured image.
  • the output image is displayed on a monitor (not shown) or recorded in the storage.
  • both focus breathing and distortion are corrected by image processing.
  • the distortion appearing in the image data after the focus breathing correction is corrected.
  • both focus breathing and distortion can be appropriately corrected by image processing.
  • the amount of distortion appearing in the image data can be reduced. Therefore, the processing load of distortion correction can be reduced.
  • Second embodiment As described above, by correcting focus breathing by image processing, the amount of distortion can be reduced, and the processing load for distortion correction can be reduced.
  • the processing load for correcting the distortion can be further reduced. That is, by setting the focus breathing correction amount so as to reduce the distortion generated in the image data due to the imaging lens by a predetermined amount, the processing load for correcting the distortion can be further reduced.
  • a value at which the distortion at the image height at which the distortion is maximized is reduced by a predetermined amount is set;
  • B Set a value that reduces the distortion in the center of the image by a predetermined amount;
  • C A value that minimizes distortion caused in image data due to the imaging lens is set.
  • FIG. 9 sets the correction amount for focus breathing to a value that reduces the distortion at the image height at which the distortion is maximized by a certain amount. It is explanatory drawing in the case.
  • FIG. 4A shows the distortion of the image data before correcting the focus breathing
  • FIG. 4B shows the distortion of the image data after correcting the focus breathing.
  • the distortion amount is maximized at a point where the image height (distance from the center of the image) is usually 1. This point is the diagonal end of the four corners of the image.
  • the correction amount of focus breathing that is, the enlargement / reduction ratio of the image is set so that the distortion at the image height at which the distortion is maximized as a result of correcting the focus breathing is reduced by a predetermined amount.
  • FIG. 10 is an explanatory diagram for setting the focus breathing correction amount to a value that reduces the distortion at the center of the image by a certain amount.
  • FIG. 4A shows the distortion of the image data before correcting the focus breathing
  • FIG. 4B shows the distortion of the image data after correcting the focus breathing.
  • the focus breathing correction amount so as to reduce the distortion in the center portion of the image by a predetermined amount, the image quality in the center portion of the image can be improved.
  • the focus breathing correction amount is set based on the rising slope of the distortion curve.
  • FIG. 11 shows the focus breathing correction amount as a value that minimizes the distortion generated in the image data due to the imaging lens. It is explanatory drawing in the case of setting.
  • FIG. 4A shows the distortion of the image data before correcting the focus breathing
  • FIG. 4B shows the distortion of the image data after correcting the focus breathing.
  • Minimizing distortion is synonymous with minimizing the amount of pixel movement when correcting the distortion.
  • the focus breathing correction amount is set so that the integral amount of the absolute value of the distortion correction amount is minimized.
  • the distortion correction unit divides the image data into a plurality of areas and corrects the image data
  • the focus breathing correction amount is set so that the distortion appearing in the image data after correcting the focus breathing is within the range in the X-axis width of the block, which is a processing unit in the distortion correction unit.
  • the image data can be appropriately corrected by the distortion correction unit.
  • the imaging lens is configured so that distortion caused by the imaging lens appears only in one of positive and negative. That is, the appearance of distortion is adjusted by optical design.
  • ⁇ Correction of focus breathing is performed for each focus position. Therefore, in order to appropriately correct the distortion, it is preferable to set and correct the distortion correction parameter for each focus position.
  • the distortion correction is performed with the same correction parameter regardless of the focus position.
  • the distortion correction parameter at each zoom position is set so as to correct the distortion appearing in the image data after correcting the focus breathing with a specific enlargement / reduction ratio.
  • the distortion correction unit performs distortion correction processing using the correction parameters set for each zoom position, regardless of the focus position.
  • the distortion correction can be performed with the same correction parameter regardless of the focus position, thereby reducing the data amount of the correction parameter to be held.
  • the processing load for distortion correction can be reduced.
  • the imaging lens may be composed of a single-focus imaging lens without an optical zoom lens function.
  • the imaging lens may be fixed or may be configured to be replaceable. In the case of a replaceable configuration, correction parameters for breathing correction and distortion correction are prepared for each imaging lens.
  • the distortion is corrected after correcting the focus breathing.
  • the focus breathing may be corrected after correcting the distortion.
  • a method of changing the focus position in stages can be adopted.
  • FIG. 12 is a graph showing the relationship between the focus position and the angle of view when the focus position is changed stepwise.
  • the focus breathing correction unit 64 corrects focus breathing by enlarging / reducing the image data with an enlargement / reduction ratio determined for each focus position.
  • the image processing device can also be configured to acquire and process image data obtained by imaging.
  • the image processing apparatus is configured by the focus breathing correction unit 64, the distortion correction unit 66, and the control unit 80 in the imaging apparatus 1 of the above embodiment.
  • the hardware of the processing unit that executes various processes such as the image signal processing unit 60 (the image data generation unit 62, the focus breathing correction unit 64, and the distortion correction unit 66), and the control unit 80.
  • the various structures are various processors as shown below.
  • the various processors execute software (programs), and circuit after the manufacture of a CPU (Central Processing Unit) or FPGA (FPGA: Field Programmable Gate Array) that is a general-purpose processor that functions as various processing units.
  • a processor having a circuit configuration designed exclusively for executing specific processing such as a programmable logic device (PLD) and an ASIC (ASIC: Application Specific Integrated Circuit), which are processors whose configuration can be changed. Includes dedicated electrical circuits.
  • PLD programmable logic device
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be configured by one of the various processors described above, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). Good.
  • a plurality of processing units may be configured with one processor.
  • a processor As an example of configuring a plurality of processing units by one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units.
  • SoC system-on-chip
  • various processing units are configured using one or more of the various processors as a hardware structure.
  • the hardware structure of these various processors is more specifically an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the CPU executes a predetermined image processing program, thereby causing the image signal processing unit 60 (the image data generation unit 62, the focus breathing correction unit 64, and the distortion correction unit 66), and the control unit 80.
  • a memory for example, a RAM (RAM: Random Access Memory)
  • a memory for example, a ROM (ROM: ROM: ROM) that stores data (such as correction parameters) necessary for various processes. Read Only Memory)).
  • FIG. 13 is a graph (distortion curve) showing the measurement result of distortion of image data captured using a certain imaging lens (imaging lens A).
  • This figure shows distortions when the object distance indicating the focus position is infinity (INF), 500 mm, and 100 mm. This distortion occurs due to the imaging lens A.
  • FIG. 14 is a distortion curve of the image data after the focus breathing is corrected by the image processing.
  • the focus breathing was corrected under the following conditions. That is, the focus breathing was corrected by setting the enlargement / reduction ratio to 5.8% at any object distance.
  • the distortion appearing in the image data varies by correcting the focus breathing by the image processing. Further, as can be seen from the comparison between FIGS. 13 and 14, the distortion fluctuates in a decreasing direction.
  • FIG. 15 is a graph (distortion curve) showing a distortion measurement result of image data captured using a certain imaging lens (imaging lens B).
  • This figure shows distortions when the object distance indicating the focus position is at infinity (INF), 500 mm, and 120 mm. This distortion occurs due to the imaging lens B.
  • FIG. 16 is a distortion curve of the image data after correcting the focus breathing by image processing.
  • the focus breathing was corrected under the following conditions.
  • the enlargement / reduction ratio is set to 0.01%
  • the enlargement / reduction ratio is set to 0.3%
  • the enlargement / reduction ratio is set.
  • the distortion appearing in the image data varies by performing the focus breathing correction by the image processing. Further, as can be seen from the comparison between FIGS. 15 and 16, the distortion fluctuates in a decreasing direction.
  • Distortion correction sets correction parameters so as to correct distortion that appears in the image data after correcting this focus breathing, and performs correction processing.
  • Imaging device 10 Imaging lens 12 Focusing lens 14 Zoom lens 14A Variator lens 14B Compensator lens 16 Aperture 18 Relay lens 20 Lens drive part 22 Focusing lens drive part 24 Zoom lens drive part 26 Aperture drive part 30 Detection part 32 Focusing lens position detection part 34 Zoom lens position detector 36 Aperture detector 40 Image sensor 50 Analog front end (AFE) Reference Signs List 60 Image signal processing unit 62 Image data generation unit 64 Focus breathing correction unit 66 Distortion correction unit 70 Operation unit 80 Control unit F Frame indicating the range of image cutout O Image center (optical axis) Q1 Quadrant Q2 Quadrant Q3 Quadrant Q4 Quadrant

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

フォーカスブリージング及びディストーションの双方を適切に補正できる撮像装置、画像処理装置、画像処理方法及び画像処理プログラムを提供する。フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理して、フォーカスブリージングを補正する。フォーカスブリージングを補正した画像データに対して、画像処理によりディストーションを補正する。ディストーションを補正する際、フォーカスブリージングを補正した後の画像データに現れるディストーションを補正する。

Description

撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
　本発明は、撮像装置、画像処理装置、画像処理方法及び画像処理プログラムに係り、特にフォーカスブリージング及びディストーションを画像処理により補正する撮像装置、画像処理装置、画像処理方法及び画像処理プログラムに関する。
　撮像レンズには、フォーカスブリージングが発生することが知られている。フォーカスブリージングとは、フォーカシングに伴い画角が変動する現象のことである。特許文献１、２には、画像処理によって、フォーカスブリージングを補正する技術が提案されている。
　また、撮像レンズには、ディストーション（歪曲収差）が発生することが知られている。ディストーションとは、結像した像が歪む現象のことである。特許文献３、４には、画像処理によって、ディストーションを補正する技術が提案されている。
　従来、画像処理によってフォーカスブリージング及びディストーションを補正する場合、その処理は各々独立して行われていた。
特開平１１－２３９４９号公報 特開２００８－１６０６２２号公報 特開２００３－３３３５８８号公報 特開２００４－６４７１０号公報
　しかしながら、フォーカスブリージング及びディストーションの両方を画像処理によって補正する場合において、各々の処理を独立して実施すると、双方の補正の影響が相互に現れ、適切な補正ができない、という欠点がある。
　本発明は、このような事情に鑑みてなされたもので、フォーカスブリージング及びディストーションの双方を適切に補正できる撮像装置、画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
　上記課題を解決するための手段は、次のとおりである。
　（１）フォーカシングレンズを有する撮像レンズと、撮像レンズにより結像された像を撮像するイメージセンサと、イメージセンサから出力される信号を処理して画像データを生成する画像データ生成部と、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理して、フォーカスブリージングを補正するフォーカスブリージング補正部と、フォーカスブリージングを補正した後の画像データに現れるディストーションを画像処理により補正するディストーション補正部と、を備えた撮像装置。
　本態様によれば、フォーカスブリージング及びディストーションの両方が画像処理によって補正される。フォーカスブリージングについては、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理することにより補正される。ディストーションについては、フォーカスブリージングを補正した後の画像データに現れるディストーションが画像処理によって補正される。ディストーションは、撮像レンズに起因して画像データに現れるが、画像処理によってフォーカスブリージングを補正することにより、その現れ方が変化する。本態様では、フォーカスブリージングを補正した後の画像データに現れるディストーションを画像処理によって補正する。これにより、フォーカスブリージング及びディストーションの両方を画像処理によって適切に補正できる。
　（２）拡大縮小率が、撮像レンズに起因して画像データに生じるディストーションを所定量低減させる値に設定される、上記（１）の撮像装置。
　本態様によれば、フォーカスブリージングを補正する際の画像データの拡大縮小率が、撮像レンズに起因して画像データに生じるディストーションを所定量低減させる値に設定される。これにより、ディストーションの補正量を低減できる。
　（３）拡大縮小率が、撮像レンズに起因して画像データに生じるディストーションを最小化させる値に設定される、上記（２）の撮像装置。
　本態様によれば、フォーカスブリージングを補正する際の画像データの拡大縮小率が、撮像レンズに起因して画像データに生じるディストーションを最小化させる値に設定される。これにより、ディストーションの補正量を低減できる。
　（４）拡大縮小率が、ディストーションが最大となる像高におけるディストーションを所定量低減させる値に設定される、上記（２）の撮像装置。
　本態様によれば、フォーカスブリージングを補正する際の画像データの拡大縮小率が、ディストーションが最大となる像高におけるディストーションを所定量低減させる値に設定される。これにより、ディストーションの補正量を低減できる。
　（５）拡大縮小率が、画像中央部分のディストーションを所定量低減させる値に設定される、上記（２）の撮像装置。
　本態様によれば、フォーカスブリージングを補正する際の画像データの拡大縮小率が、画像中央部分のディストーションを所定量低減させる値に設定される。これにより、ディストーションの補正量を低減できる。
　（６）ディストーション補正部が、画像データを複数の領域に分割し、領域ごとに補正処理する場合において、拡大縮小率が、ディストーション補正部において補正可能な値に設定される、上記（１）の撮像装置。
　本態様によれば、フォーカスブリージングを補正する際の画像データの拡大縮小率が、ディストーション補正部において補正可能な値に設定される。これにより、確実にディストーションを補正できる。
　（７）撮像レンズに起因して画像データに生じるディストーションが、正又は負のいずれか一方のみである、上記（１）から（６）のいずれか一の撮像装置。
　本態様によれば、ディストーションが、正又は負のいずれか一方のみに現れるように、撮像レンズが構成される。これにより、ディストーション補正の観点からフォーカスブリージングの補正量（拡大縮小率）を設定する際、その拡縮方向を一定に収めることができる。
　（８）ディストーション補正部は、特定の拡大縮小率によってフォーカスブリージングを補正した後の画像データに現れるディストーションを画像処理により補正する、上記（１）から（７）のいずれか一の撮像装置。
　本態様によれば、特定の拡大縮小率によってフォーカスブリージングを補正した後の画像データに現れるディストーションを画像処理により補正する構成とされる。すなわち、フォーカスブリージングは、フォーカスポジションごとに補正されるが、ディストーションは、一定の補正量で補正される。これにより、ディストーションの補正の負荷を低減できる。
　（９）撮像により得られた画像データを取得する画像データ取得部と、画像データを撮像した時点の撮像レンズのフォーカスポジションの情報を取得するフォーカスポジション情報取得部と、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理して、フォーカスブリージングを補正するフォーカスブリージング補正部と、フォーカスブリージングを補正した後の画像データに現れるディストーションを画像処理により補正するディストーション補正部と、を備えた画像処理装置。
　本態様によれば、フォーカスブリージング及びディストーションの両方が画像処理によって補正される。フォーカスブリージングについては、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理することにより補正される。ディストーションについては、フォーカスブリージングを補正した後の画像データに現れるディストーションが画像処理によって補正される。これにより、フォーカスブリージング及びディストーションの両方を画像処理によって適切に補正できる。
　（１０）撮像により得られた画像データを取得するステップと、画像データを撮像した時点の撮像レンズのフォーカスポジションの情報を取得するステップと、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理して、フォーカスブリージングを補正するステップと、フォーカスブリージングを補正した後の画像データに現れるディストーションを画像処理により補正するステップと、を含む画像処理方法。
　本態様によれば、フォーカスブリージング及びディストーションの両方が画像処理によって補正される。フォーカスブリージングについては、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理することにより補正される。ディストーションについては、フォーカスブリージングを補正した後の画像データに現れるディストーションが画像処理によって補正される。これにより、フォーカスブリージング及びディストーションの両方を画像処理によって適切に補正できる。
　（１１）撮像により得られた画像データを取得する機能と、画像データを撮像した時点の撮像レンズのフォーカスポジションの情報を取得する機能と、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理して、フォーカスブリージングを補正する機能と、フォーカスブリージングを補正した後の画像データに現れるディストーションを画像処理により補正する機能と、をコンピュータに実現させる画像処理プログラム。
　本態様によれば、フォーカスブリージング及びディストーションの両方が画像処理によって補正される。フォーカスブリージングについては、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理することにより補正される。ディストーションについては、フォーカスブリージングを補正した後の画像データに現れるディストーションが画像処理によって補正される。これにより、フォーカスブリージング及びディストーションの両方を画像処理によって適切に補正できる。
　本発明によれば、フォーカスブリージング及びディストーションの双方を適切に補正できる。
本発明が適用された撮像装置の一実施形態を示す概略構成図 画像信号処理部が提供する機能のブロック図 フォーカスポジションと画角との関係を示すグラフ 画像の切り出し及び拡縮処理の説明図 画像データに現れるディストーションの一例を示す図 像高とディストーション量との関係（ディストーションカーブ）を示す図 ディストーション補正部における補正処理の処理順序の説明図 ディストーション補正部における補正処理の処理順序の他の一例の説明図 ディストーションが最大となる像高におけるディストーションを所定量低減させる値にフォーカスブリージングの補正量を設定する場合の説明図 画像中央部分のディストーションを所定量低減させる値にフォーカスブリージングの補正量を設定する場合の説明図 撮像レンズに起因して画像データに生じるディストーションを最小化させる値にフォーカスブリージングの補正量を設定する場合の説明図 フォーカスポジションを段階的に変化させる場合のフォーカスポジションと画角との関係を示すグラフ ある撮像レンズを用いて撮像した画像データのディストーションの測定結果を示すグラフ 画像処理によってフォーカスブリージングを補正した後の画像データのディストーションカーブ ある撮像レンズを用いて撮像した画像データのディストーションの測定結果を示すグラフ 画像処理によってフォーカスブリージングを補正した後の画像データのディストーションカーブ
　以下、添付図面に従って本発明を実施するための好ましい形態について詳説する。
　◆◆第１の実施の形態◆◆
　［装置構成］
　図１は、本発明が適用された撮像装置の一実施形態を示す概略構成図である。
　同図に示すように、撮像装置１は、主として、撮像レンズ１０と、レンズ駆動部２０と、検出部３０と、イメージセンサ４０と、アナログフロントエンド５０と、画像信号処理部６０と、操作部７０と、制御部８０と、を備えて構成される。
　《撮像レンズ》
　撮像レンズ１０は、フォーカシング機能を有する４群のズームレンズによって構成され、フォーカシングレンズ１２と、バリエーターレンズ１４Ａと、コンペンセータレンズ１４Ｂと、絞り１６と、リレーレンズ１８と、を備えて構成される。
　撮像レンズ１０は、フォーカシングレンズ１２を光軸に沿って移動させることにより、フォーカシングされる。また、バリエーターレンズ１４Ａ及びコンペンセータレンズ１４Ｂによって構成されるズームレンズ１４を光軸に沿って移動させることにより、ズーミングされる。更に、絞り１６を動作させることにより、光量が調整される。
　《レンズ駆動部》
　レンズ駆動部２０は、フォーカシングレンズ１２を駆動するフォーカシングレンズ駆動部２２と、ズームレンズ１４を駆動するズームレンズ駆動部２４と、絞り１６を駆動する絞り駆動部２６と、を備える。
　フォーカシングレンズ駆動部２２は、フォーカシングモータと、その駆動回路と、を備える。フォーカシングレンズ駆動部２２は、制御部８０の指令に応じてフォーカシングモータを駆動することにより、フォーカシングレンズ１２を光軸に沿って移動させる。
　ズームレンズ駆動部２４は、ズームモータと、その駆動回路と、を備える。ズームレンズ駆動部２４は、制御部８０の指令に応じてズームモータを駆動することにより、バリエーターレンズ１４Ａ及びコンペンセータレンズ１４Ｂを光軸に沿って移動させる。
　絞り駆動部２６は、絞りモータと、その駆動回路と、を備える。絞り駆動部２６は、制御部８０の指令に応じて絞りモータを駆動することにより、絞り１６の駆動環を回転駆動し、絞り羽根を拡縮させる。
　《検出部》
　検出部３０は、フォーカシングレンズ１２の位置を検出するフォーカシングレンズ位置検出部３２と、ズームレンズ１４の位置を検出するズームレンズ位置検出部３４と、絞り１６の開口量を検出する開口量検出部３６と、を備える。
　フォーカシングレンズ位置検出部３２は、フォーカシングレンズ１２の位置をフォーカスポジションとして検出し、その結果を制御部８０に出力する。
　ズームレンズ位置検出部３４と、バリエーターレンズ１４Ａの位置をズームポジションとして検出し、その結果を制御部８０に出力する。
　開口量検出部３６は、絞り１６を駆動する駆動環の回転位置を検出して、絞り１６の開口量を検出し、その結果を制御部８０に出力する。
　《イメージセンサ》
　イメージセンサ４０は、撮像レンズ１０により結像された像を撮像する。イメージセンサ４０は、たとえば、所定のカラーフィルタ配列を有するＣＭＯＳ（CMOS: Complementary Metal Oxide Semiconductor）、ＣＣＤ（CCD: Charged Coupled Device）等の固体撮像素子で構成される。
　《アナログフロントエンド（ＡＦＥ）》
　アナログフロントエンド５０は、イメージセンサ４０から出力されるアナログの画像信号に対して、ＣＤＳ処理（CDS：Correlated Double Sampling／相関二重サンプリング）、ＡＧＣ処理（AGC：Automatic Gain Control／オートゲインコントロール）、クランプ処理等の所定のアナログの信号処理を施し、処理されたアナログの画像信号をデジタルの画像信号に変換して出力する。
　《画像信号処理部》
　画像信号処理部６０は、アナログフロントエンド５０から出力されるデジタルの画像信号を取り込み、所定の信号処理を施して画像データを生成する。画像信号処理部６０は、生成した画像データにフォーカスブリージング補正処理及びディストーション補正処理を施して出力する。
　図２は、画像信号処理部が提供する機能のブロック図である。
　画像信号処理部６０は、画像データ生成部６２、フォーカスブリージング補正部６４及びディストーション補正部６６を備える。
　〈画像データ生成部〉
　画像データ生成部６２は、入力されたデジタルの画像信号に対して、ホワイトバランス調整、ガンマ補正、シャープネス補正等の各種補正処理、同時化処理（Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、イメージセンサ４０の各画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する処理）、ＹＣｒＣｂ変換処理（同時化処理された画素ごとのＲ、Ｇ、Ｂ信号を輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換する処理）等の所定の信号処理を施し、画像データを生成する。
　〈フォーカスブリージング補正部〉
　フォーカスブリージング補正部６４は、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理して、フォーカスブリージングを補正する。フォーカスブリージングとは、フォーカシングに伴い画角が変動する現象のことである。
　図３は、フォーカスポジションと画角との関係を示すグラフである。同図において、縦軸はフォーカスポジション（フォーカシングレンズの位置）、横軸は画角である。
　同図に示すように、フォーカスポジションが変化すると、それに連動して画角が変化する。
　なお、図３に示す例では、説明を簡単にするため、フォーカスポジションと画角との関係を直線によって示しているが、フォーカスポジションを変化させた場合に、どのように画角が変化するかは、撮像レンズによって異なる。また、同じ撮像レンズであっても、ズームポジションによって、画角の変化の仕方は異なる。
　図３に示すように、画角はフォーカスポジションに応じて変化するので、フォーカスポジションごとに所定の拡大縮小率によって画像データを拡縮処理（電子ズーム、デジタルズームともいう。）することにより、フォーカスブリージングを補正できる。
　たとえば、図３に示す例において、点ＦＰ２の位置を基準のフォーカスポジションとする。いま、フォーカスポジションが点ＦＰ２から至近端側の点ＦＰ１に移動したとする。この場合、画角は、ＦＡ２からＦＡ１に変化し、その差分だけ拡大する。すなわち、撮像される範囲が拡大する。したがって、この場合は画角が拡大した分だけ画像データを拡大処理することにより、画角の変動を相殺できる。また、フォーカスポジションが点ＦＰ２から無限遠側の点ＦＰ３に移動したとする。この場合、画角は、ＦＡ２からＦＡ３に変化し、その差分だけ縮小する。すなわち、撮像される範囲が縮小する。したがって、この場合は画角が縮小した分だけ画像データを縮小処理することにより、画角の変動を相殺できる。
　このように、フォーカスポジションごとに所定の拡大縮小率によって画像データを拡縮処理することにより、フォーカスブリージングを補正できる。フォーカスブリージング補正部６４は、フォーカスポジションごとに定められた拡大縮小率で画像データを拡縮処理して、フォーカスブリージングを補正する。
　なお、フォーカスブリージングは、ズームポジションによって変わるので、フォーカスブリージングの補正量（フォーカスポジションごとに定められる拡大縮小率）は、ズームポジションごとに設定される。
　また、画像データを縮小処理してフォーカスブリージングを補正する場合は、イメージセンサ４０により撮像される画像の一部を切り出して出力することが前提となる。すなわち、基準とする画角以上の画角の画像が存在しなければ、縮小処理することはできないので、画像データを縮小処理してフォーカスブリージングを補正する場合は、画像の一部を切り出して出力することが前提となる。
　図４は、画像の切り出し及び拡縮処理の説明図である。同図（Ａ）は、基準となる画角において撮像された画像の例を示している。同図（Ｂ）は、撮像画像として出力される画像の例を示している。同図（Ｃ）は、フォーカスブリージングにより撮像される画像の画角が基準となる画角から縮小した場合の例を示している。同図（Ｄ）は、フォーカスブリージングにより撮像される画像の画角が基準となる画角から拡大した場合の例を示している。
　図４（Ａ）、（Ｃ）及び（Ｄ）において、破線によって示す枠Ｆが切り出す画像の範囲である。
　図４（Ａ）及び（Ｂ）に示すように、基準となる画角において撮像された画像の場合、枠Ｆ内の画像が、そのまま出力される。
　一方、図４（Ｃ）に示すように、フォーカスブリージングにより、撮像される画像の画角が、基準となる画角から縮小した場合（テレ側にズームした場合）、縮小処理によって画像が縮小されて出力される。
　また、図４（Ｄ）に示すように、フォーカスブリージングにより、撮像される画像の画角が、基準となる画角から拡大した場合（ワイド側にズームした場合）、拡大処理によって画像が拡大されて出力される。
　なお、フォーカスブリージングを補正する際に基準とするフォーカスポジション、及び、その画角は、ディストーション補正との関係を考慮して設定される。
　なお、本実施の形態の撮像装置１では、フォーカスブリージング補正部６４が、撮像により得られた画像データを画像データ生成部６２から取得するので、フォーカスブリージング補正部６４が画像データ取得部として機能する。
　〈ディストーション補正部〉
　ディストーション補正部６６は、画像データに対して、画素位置の変換処理、及び、画素位置の移動に伴って欠落した画素を補間する補間処理を行って、画像データに現れるディストーションを補正する。
　図５は、画像データに現れるディストーションの一例を示す図である。
　画像に現れるディストーションは、画像の角部が外側に伸びる糸巻型と、画像の角部が内側に縮む樽型の２種類に分けられる。図５（Ａ）は、糸巻型のディストーションの例を示している。また、図５（Ｂ）は、樽型のディストーションの例を示している。
　ディストーションの大きさ（ディストーション量）は、画像の中心からの距離（像高）に対する百分率によって規定される。
　図６は、像高とディストーション量との関係（ディストーションカーブ）を示す図である。
　ディストーションには、正と負の2種類がある。負値となるディストーションは、糸巻型のディストーションであり、画像内のどのポイントも中心部からより遠ざかる距離に像を結ぶ。正値となるディストーションは、樽型のディストーションであり、画像内のどのポイントも中心部により近づく距離で像を結ぶ。図６（Ａ）は、糸巻型のディストーションの例を示している。また、図６（Ｂ）は、樽型のディストーションの例を示している。
　図６に示すディストーションカーブは、画像の中心からの距離（像高）の多次元関数によって近似表現できる。たとえば、樽型のディストーションのディストーション量は次式（１）によって表現できる。
　[数１]
　 Ｆ（ｄ）＝α+β×ｄ＋γ×ｄ2＋…　　　（１）
　ただし、ｄは画像の中心からの距離であり、α、β、γは係数である。
　ディストーションがない状態、すなわち、ディストーション補正後の画像における画素の座標を（ｘ、ｙ）とした場合（ｘ、ｙは整数）、これに対応するディストーション補正前の画像の座標（Ｘ，Ｙ）は、次式（２）で表される。
　［数２］
　（Ｘ，Ｙ）＝（ｘ×Ｆ（ｄ）、ｙ×Ｆ（ｄ））、ｄ＝（ｘ2＋ｙ2）1/2　　　（２）
　ディストーション補正は、補正後の画像の座標（ｘ、ｙ）に対応する補正前の画像の座標（Ｘ、Ｙ）を求め、その補正前の画像における座標（Ｘ、Ｙ）にある画素データＰを補正後の画像の座標（ｘ、ｙ）に移動することにより行われる。
　しかし、通常、上記式（２）により求めた補正前の画像の座標（Ｘ、Ｙ）は整数値にならず、補正前の画像には、対応する画素データが存在しない。このため、求めた補正前の画像の座標（Ｘ、Ｙ）に対応する画素データＰを、補正前の画像の座標（Ｘ、Ｙ）の近傍の実在する画素データから内挿によって求めて補間する必要がある。この場合の補間方法（内挿方法）としては、最近傍補間法（nearest neighbor interpolation）、線形補間法（bi-linear interpolation）を挙げることができる。
　いずれの補間方法であっても、補正後の画像における座標（ｘ、ｙ）に対応する補正前の画像の座標（Ｘ，Ｙ）を演算により求め、求めた座標（Ｘ，Ｙ）の近傍の補正前の画像の画素データを用いて、上記補間方法に従って画素データＰを求める。求めた画素データＰを補正後の画像における座標（ｘ、ｙ）の画素データとすることで、ディストーションを補正できる。
　本実施の形態の撮像装置１では、ディストーション補正部６６が、画像データを複数の領域に分割し、領域ごとに補正処理する。
　図７は、ディストーション補正部における補正処理の処理順序の説明図である。
　同図に示すように、ディストーション補正部６６は、画像データをＸ軸方向（水平方向）に沿って複数のブロックに分割し、ブロックごとに補正処理を実施する。すなわち、ブロック単位における画像データを読み出し、補正処理する。この際、ディストーション補正部６６は、ブロック内をＸ軸方向にスキャンして、ラインごとに各画素の画素値を読み出し、補正処理する。
　図８は、ディストーション補正部６６における補正処理の処理順序の他の一例の説明図である。
　画像データを複数の領域に分割し、領域ごとに補正処理する場合、図８に示すように、画像データを４つの象限Ｑ１～Ｑ４に分割し、象限Ｑ１～Ｑ４ごとに補正処理することもできる。各象限Ｑ１～Ｑ４は、画像の中心Ｏを通り、互いに直交するＸ軸及びＹ軸によって分割される。ディストーション補正部６６は、分割した各象限Ｑ１～Ｑ４を更に複数のブロックに分割し、ブロックごとに補正処理する。すなわち、各象限Ｑ１～Ｑ４内をＸ軸方向に沿って複数のブロックに分割し、ブロックごとに補正処理する。この際、実線の矢印ａによって示すように、各ブロックを画像データの外側から内側に向かって順番に処理する。また、各ブロックにおいて、破線の矢印ｂによって示すように、Ｘ軸に近い方から順に各画素の画素値をラインごとに読み出し、補正処理する。
　このように、画像データを複数の領域に分割し、領域ごとに補正処理することにより、処理の際使用するバッファメモリの容量を小さくできる。
　ところで、ディストーションは、撮像レンズ１０に起因して画像データに現れるが、フォーカスブリージングを画像処理によって補正すると、その現れ方が変化する。
　このため、本実施の形態の撮像装置１では、フォーカスブリージングを補正した後の画像データに現れるディストーションを補正するように、ディストーション補正の補正パラメータが設定される。
　なお、フォーカスブリージングを画像処理によって補正することにより、画像データに現れるディストーション量を低減できる。したがって、フォーカスブリージングを画像処理によって補正することにより、ディストーション補正の負荷も低減できる。すなわち、ディストーション量を低減できることにより、補正のパラメータ数を低減できるので、その処理負荷を低減できる。
　撮像レンズ１０に起因して発生するディストーションは事前に求めることができる。また、ディストーションが発生した画像データに対して、フォーカスブリージングを補正した場合に現れるディストーションも事前に求めることができる。
　ディストーション補正部６６は、フォーカスブリージングを補正した後の画像データに現れるディストーションを補正するように設定された補正パラメータを使用して、フォーカスブリージング補正後の画像データのディストーションを補正する。
　なお、フォーカスブリージングは、ズームポジション及びフォーカスポジションに応じて補正されるので、ディストーション補正もズームポジション及びフォーカスポジションに応じて実施される。したがって、ズームポジション及びフォーカスポジションごとに補正パラメータが用意される。
　ディストーション補正後の画像データが、撮像画像として、出力端子から出力される。出力された画像が、図示しないモニターに表示されたり、ストレージに記録されたりする。
　《操作部》
　操作部７０は、フォーカスデマンド、ズームデマンド等の各種操作部材と、その操作信号を制御部に出力する操作回路と、を含んで構成される。
　《制御部》
　制御部８０は、操作部７０の操作に基づいて、撮像装置１の全体の動作を統括制御する。制御部８０は、画像信号処理部６０の各部が画像データを処理する際、必要な情報を各部に提供する。すなわち、フォーカスブリージング補正部６４が、フォーカスブリージング補正する際、フォーカシングレンズ位置検出部３２及びズームレンズ位置検出部３４が検出したフォーカスポジション及びズームポジションの情報を取得し、フォーカスブリージング補正部６４に提供する。また、ディストーション補正部６６が、ディストーション補正する際、フォーカシングレンズ位置検出部３２及びズームレンズ位置検出部３４が検出したフォーカスポジション及びズームポジションの情報を取得し、ディストーション補正部６６に提供する。したがって、本実施の形態の撮像装置１では、制御部８０は、フォーカスポジション情報取得部として機能する。
　［作用］
　次に、上記のように構成される本実施の形態の撮像装置１の作用（画像処理方法）について説明する。
　操作部７０によって撮像が指示されると、撮像レンズ１０によって結像された像がイメージセンサ４０によって撮像される。
　イメージセンサ４０から出力された画像信号は、まず、アナログフロントエンド５０に加えられ、所定のアナログの信号処理が施された後、デジタルの画像信号に変換されて出力される。アナログフロントエンド５０から出力された画像信号は、画像信号処理部６０に入力される。
　画像信号処理部６０に入力された画像信号は、まず、画像データ生成部６２にて所定の信号処理が施され、画像データが生成される。
　生成された画像データは、フォーカスブリージング補正部６４に加えられ、フォーカスブリージングが補正される。フォーカスブリージング補正部６４は、制御部８０を介して、画像データが撮像された時点の撮像レンズ１０のフォーカスポジション及びズームポジションの情報を取得し、フォーカスポジション及びズームポジションごとに定められた拡大縮小率によって画像データを拡縮処理して、フォーカスブリージングを補正する。
　フォーカスブリージングが補正された画像データは、ディストーション補正部６６に加えられ、ディストーションが補正される。ディストーション補正部６６は、フォーカスブリージングを補正した後の画像データに現れるディストーションを画像処理により補正する。ディストーション補正部６６は、画像データが撮像された時点の撮像レンズ１０のフォーカスポジション及びズームポジションの情報を取得し、フォーカスポジション及びズームポジションごとに定められた補正パラメータで画像データを画像処理して、フォーカスブリージング補正後の画像データに現れるディストーションを補正する。
　ディストーション補正後の画像データが、撮像画像として出力端子から出力される。出力された画像が、図示しないモニターに表示されたり、ストレージに記録されたりする。
　このように、本実施の形態の撮像装置１では、フォーカスブリージング及びディストーションの両方が画像処理によって補正される。ディストーションを補正する際には、フォーカスブリージング補正後の画像データに現れるディストーションが補正される。これにより、フォーカスブリージング及びディストーションの両方を画像処理によって適切に補正できる。
　また、フォーカスブリージングを画像処理によって補正することにより、画像データに現れるディストーション量を低減できる。これにより、ディストーション補正の処理負荷を低減できる。
　◆◆第２の実施の形態◆◆
　上記のように、フォーカスブリージングを画像処理によって補正することによりディストーション量を低減でき、ディストーション補正の処理負荷を低減できる。
　したがって、ディストーション補正の観点からフォーカスブリージングの補正量（拡大縮小率）を決定すれば、ディストーション補正する際の処理負荷をより低減できる。すなわち、撮像レンズに起因して画像データに生じるディストーションを所定量低減させるように、フォーカスブリージングの補正量を設定することにより、ディストーション補正する際の処理負荷をより低減できる。
　ディストーション補正の観点からフォーカスブリージングの補正量を決定する方法としては、次の３通りの方法が考えられる。
　（Ａ）ディストーションが最大となる像高におけるディストーションを所定量低減させる値に設定する；
　（Ｂ）画像中央部分のディストーションを所定量低減させる値に設定する；
　（Ｃ）撮像レンズに起因して画像データに生じるディストーションを最小化させる値に設定する。
　以下、各方法によって設定例について説明する。
　（Ａ）ディストーションが最大となる像高におけるディストーションを所定量低減させる値に設定する場合
　図９は、ディストーションが最大となる像高におけるディストーションを所定量低減させる値にフォーカスブリージングの補正量を設定する場合の説明図である。同図（Ａ）は、フォーカスブリージングを補正する前の画像データのディストーションを示しており、同図（Ｂ）は、フォーカスブリージングを補正した後の画像データのディストーションを示している。
　図９（Ａ）に示すように、ディストーション量が最大となるのは、通常、像高（画像の中心からの距離）が１の点である。この点は画像の四隅の対角端である。
　図９（Ｂ）に示すように、フォーカスブリージングを補正した結果、ディストーションが最大となる像高におけるディストーションが、所定量低減するように、フォーカスブリージングの補正量、すなわち、画像の拡大縮小率を設定する。
　これにより、ディストーションを大幅に低減でき、ディストーション補正時の処理負荷を大幅に低減できる。
　（Ｂ）画像中央部分のディストーションを所定量低減させる値に設定する場合
　図１０は、画像中央部分のディストーションを所定量低減させる値にフォーカスブリージングの補正量を設定する場合の説明図である。同図（Ａ）は、フォーカスブリージングを補正する前の画像データのディストーションを示しており、同図（Ｂ）は、フォーカスブリージングを補正した後の画像データのディストーションを示している。
　一般に画像中央部分には重要な被写体が配置される。したがって、画像中央部分のディストーションを所定量低減させるように、フォーカスブリージングの補正量を設定することにより、画像中央部分の画像品質を向上できる。
　本方法の場合、ディストーションカーブの立ち上がりの傾きを基準にフォーカスブリージングの補正量を設定する。
　（Ｃ）撮像レンズに起因して画像データに生じるディストーションを最小化させる値に設定する場合
　図１１は、撮像レンズに起因して画像データに生じるディストーションを最小化させる値にフォーカスブリージングの補正量を設定する場合の説明図である。同図（Ａ）は、フォーカスブリージングを補正する前の画像データのディストーションを示しており、同図（Ｂ）は、フォーカスブリージングを補正した後の画像データのディストーションを示している。
　ディストーションを最小化させるとは、ディストーションを補正する際の画素の移動量を最小化させることと同義である。
　この場合、ディストーション補正量の絶対値の積分量が最小になるように、フォーカスブリージングの補正量を設定する。
　これにより、フォーカスブリージング補正後の画像データをディストーション補正する際、その処理負荷を低減できる。
　いずれの方法を採用するかは、フォーカスブリージングの補正とディストーションの補正のバランスを考慮して決定する。すなわち、ディストーションの低減効果を高めすぎると、フォーカスブリージングの補正効果が低減する場合があるので、両者のバランスを考慮して、フォーカスブリージングの補正量を決定する。
　（Ｄ）その他の設定方法
　画像データを複数の領域に分割してディストーションを補正する場合、分割した各領域を超えてディストーションが発生していると、その補正は適切に実施することができない。すなわち、処理単位であるブロックのＸ軸方向の幅を超えてディストーションが発生している場合、その補正はできない。
　よって、ディストーション補正部が、画像データを複数の領域に分割して補正処理する場合は、ディストーション補正部が補正可能な値に設定することが好ましい。すなわち、フォーカスブリージングを補正した後の画像データに現れるディストーションが、ディストーション補正部での処理単位であるブロックのＸ軸方向の幅以内の範囲に収まるように、フォーカスブリージングの補正量を設定する。これにより、画像データをディストーション補正部で適切に補正処理できる。
　なお、ディストーション補正の観点からフォーカスブリージングの補正量を設定する場合、その拡縮の方向が一定に収まることが望ましい。このためには、撮像レンズに起因するディストーションが、正又は負のいずれか一方のみに現れるように撮像レンズを構成する。すなわち、光学設計によって、ディストーションの現れ方を調整する。
　◆◆第３の実施の形態◆◆
　上記のように、画像処理によってフォーカスブリージングを補正することにより、画像データに現れるディストーションが変化する。
　したがって、適切にディストーションを補正するためには、画像データに施したフォーカスブリージングの補正に応じて、ディストーションを補正することが好ましい。
　フォーカスブリージングの補正は、フォーカスポジションごとに実施される。したがって、適切にディストーションを補正するためには、フォーカスポジションごとにディストーションの補正パラメータを設定し、補正することが好ましい。
　しかし、フォーカスポジションごとにディストーションの補正パラメータを設定すると、保持すべき補正パラメータのデータ量が大きくなり、また、補正の処理負荷を大きくなる。ズームレンズの場合は、ズームポジションごとに補正パラメータを設定する必要があるので、更にデータ量が大きくなる。
　このため、ディストーション補正については、フォーカスポジションによらずに同一の補正パラメータで補正処理する構成にする。この場合、特定の拡大縮小率によってフォーカスブリージングを補正した後の画像データに現れるディストーションを補正するように、各ズームポジションでのディストーションの補正パラメータを設定する。
　ディストーション補正部は、フォーカスポジションによらずに、各ズームポジションに設定された補正パラメータでディストーションの補正処理を実施する。
　このように、ディストーション補正については、フォーカスポジションによらずに同一の補正パラメータで補正処理することにより、保持すべき補正パラメータのデータ量を削減できる。また、ディストーション補正の処理負荷も低減できる。
　◆◆その他の実施の形態◆◆
　《撮像レンズの構成》
　撮像レンズは、光学的なズームレンズ機能のない単焦点の撮像レンズで構成されていてもよい。また、撮像レンズは、固定されていてもよいし、交換可能な構成としてもよい。交換可能な構成の場合は、撮像レンズごとにブリージング補正及びディストーション補正の補正パラメータが用意される。
　《画像信号処理部における処理の順番》
　上記実施の形態では、フォーカスブリージングを補正した後にディストーションを補正する構成としているが、補正量は既知なので、ディストーションを補正した後にフォーカスブリージングを補正する構成とすることもできる。
　《フォーカスブリージング補正及びディストーション補正》
　フォーカスブリージング及びディストーションの補正は、上記以外の他の公知の手法を採用して実施することもできる。
　《フォーカシング》
　フォーカシングの方式として、フォーカスポジションを段階的に変化させる方式を採用することもできる。
　図１２は、フォーカスポジションを段階的に変化させる場合のフォーカスポジションと画角との関係を示すグラフである。
　フォーカスポジションを段階的に変化させる場合、画角も段階的に変化する。フォーカスブリージング補正部６４は、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理して、フォーカスブリージングを補正する。
　《画像処理装置としての構成》
　上記実施の形態では、撮像装置としての例で説明したが、撮像により得られた画像データを取得して処理する画像処理装置として構成することもできる。この場合、上記実施の形態の撮像装置１におけるフォーカスブリージング補正部６４、ディストーション補正部６６及び制御部８０によって、画像処理装置が構成される。また、この場合、コンピュータに所定の画像処理プログラムを実行させて、画像処理装置としての機能を提供させることもできる。すなわち、コンピュータにフォーカスブリージング補正部６４、ディストーション補正部６６及び制御部８０としての機能を実現させて、画像処理装置として機能させることもできる。
　《処理部の構成》
　上記実施の形態において、画像信号処理部６０（画像データ生成部６２、フォーカスブリージング補正部６４及びディストーション補正部６６）、制御部８０といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して、各種処理部として機能する汎用的なプロセッサであるＣＰＵ（CPU：Central Processing Unit）、ＦＰＧＡ（FPGA：Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（PLD：Programmable Logic Device）、ＡＳＩＣ（ASIC：Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、上記各種プロセッサのうちの１つによって構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（たとえば、複数のＦＰＧＡあるいはＣＰＵとＦＰＧＡの組み合わせ）によって構成されてもよい。
　また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントまたはサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せによって１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（SoC：System On Chip）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（IC：Integrated Circuit）チップによって実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　ＣＰＵによって処理部を構成する場合、ＣＰＵは、所定の画像処理プログラムを実行することにより、画像信号処理部６０（画像データ生成部６２、フォーカスブリージング補正部６４及びディストーション補正部６６）、制御部８０として機能する。この際、作業領域としてのメモリ（たとえば、ＲＡＭ（RAM：Random Access Memory））、及び、各種の処理に必要なデータ（補正パラメータ等）を記憶する記憶部としてのメモリ（たとえば、ＲＯＭ（ROM：Read Only Memory））が備えられる。
　フォーカスブリージングを画像処理で補正することによって、画像データに現れるディストーションが変動することを確認する実験を行った。
　《実施例１》
　図１３は、ある撮像レンズ（撮像レンズＡ）を用いて撮像した画像データのディストーションの測定結果を示すグラフ（ディストーションカーブ）である。
　同図は、フォーカスポジションを示す物体距離が、無限遠端（ＩＮＦ：infinity）の場合、５００ｍｍの場合、及び、１００ｍｍの場合のディストーションを示している。このディストーションは、撮像レンズＡに起因して発生する。
　図１４は、画像処理によってフォーカスブリージングを補正した後の画像データのディストーションカーブである。
　なお、フォーカスブリージングは、次の条件によって補正した。すなわち、いずれの物体距離においても拡大縮小率を５．８％に設定して、フォーカスブリージングを補正した。
　図１３及び図１４の対比によって分かるように、画像処理によってフォーカスブリージングを補正することにより、画像データに現れるディストーションが変動する。また、図１３及び図１４の対比によって分かるように、ディストーションは減少する方向に変動する。
　《実施例２》
　図１５は、ある撮像レンズ（撮像レンズＢ）を用いて撮像した画像データのディストーションの測定結果を示すグラフ（ディストーションカーブ）である。
　同図は、フォーカスポジションを示す物体距離が、無限遠端（ＩＮＦ）の場合、５００ｍｍの場合、及び、１２０ｍｍの場合のディストーションを示している。このディストーションは、撮像レンズＢに起因して発生する。
　図１６は、画像処理によってフォーカスブリージングを補正した後の画像データのディストーションカーブである。
　なお、フォーカスブリージングは、次の条件によって補正した。物体距離が無限遠端の場合、拡大縮小率を０．０１％に設定し、物体距離が５００ｍｍの場合、拡大縮小率を０．３％に設定し、物体距離が１２０ｍｍの場合、拡大縮小率を０．７％に設定して、フォーカスブリージングを補正した。
　図１５及び図１６の対比によって分かるように、画像処理によってフォーカスブリージング補正することにより、画像データに現れるディストーションが変動する。また、図１５及び図１６の対比によって分かるように、ディストーションは減少する方向に変動する。
　このように、ディストーションを含む画像データに対して、画像処理によってフォーカスブリージングを補正すると、ディストーションが減少する方向に変動することが確認できる。
　ディストーション補正は、このフォーカスブリージングを補正した後の画像データに現れるディストーションを補正するように、補正パラメータを設定し、補正処理を実施する。
１　撮像装置
１０　撮像レンズ
１２　フォーカシングレンズ
１４　ズームレンズ
１４Ａ　バリエーターレンズ
１４Ｂ　コンペンセータレンズ
１６　絞り
１８　リレーレンズ
２０　レンズ駆動部
２２　フォーカシングレンズ駆動部
２４　ズームレンズ駆動部
２６　絞り駆動部
３０　検出部
３２　フォーカシングレンズ位置検出部
３４　ズームレンズ位置検出部
３６　開口量検出部
４０　イメージセンサ
５０　アナログフロントエンド（ＡＦＥ）
６０　画像信号処理部
６２　画像データ生成部
６４　フォーカスブリージング補正部
６６　ディストーション補正部
７０　操作部
８０　制御部
Ｆ　画像を切り出す範囲を示す枠
Ｏ　画像の中心（光軸）
Ｑ１　象限
Ｑ２　象限
Ｑ３　象限
Ｑ４　象限

Claims (11)

  1. 　フォーカシングレンズを有する撮像レンズと、
    　前記撮像レンズにより結像された像を撮像するイメージセンサと、
    　前記イメージセンサから出力される信号を処理して画像データを生成する画像データ生成部と、
    　フォーカスポジションごとに定められた拡大縮小率によって前記画像データを拡縮処理して、フォーカスブリージングを補正するフォーカスブリージング補正部と、
    　フォーカスブリージングを補正した後の前記画像データに現れるディストーションを画像処理により補正するディストーション補正部と、
    　を備えた撮像装置。
  2. 　前記拡大縮小率が、前記撮像レンズに起因して前記画像データに生じるディストーションを所定量低減させる値に設定される、
    　請求項１に記載の撮像装置。
  3. 　前記拡大縮小率が、前記撮像レンズに起因して前記画像データに生じるディストーションを最小化させる値に設定される、
    　請求項２に記載の撮像装置。
  4. 　前記拡大縮小率が、ディストーションが最大となる像高におけるディストーションを所定量低減させる値に設定される、
    　請求項２に記載の撮像装置。
  5. 　前記拡大縮小率が、画像中央部分のディストーションを所定量低減させる値に設定される、
    　請求項２に記載の撮像装置。
  6. 　前記ディストーション補正部が、前記画像データを複数の領域に分割し、領域ごとに補正処理する場合において、
    　前記拡大縮小率が、前記ディストーション補正部において補正可能な値に設定される、
    　請求項１に記載の撮像装置。
  7. 　前記撮像レンズに起因して前記画像データに生じるディストーションが、正又は負のいずれか一方のみである、
    　請求項１から６のいずれか１項に記載の撮像装置。
  8. 　前記ディストーション補正部は、特定の拡大縮小率によってフォーカスブリージングを補正した後の前記画像データに現れるディストーションを画像処理により補正する、
    　請求項１から７のいずれか１項に記載の撮像装置。
  9. 　撮像により得られた画像データを取得する画像データ取得部と、
    　前記画像データを撮像した時点の撮像レンズのフォーカスポジションの情報を取得するフォーカスポジション情報取得部と、
    　フォーカスポジションごとに定められた拡大縮小率によって前記画像データを拡縮処理して、フォーカスブリージングを補正するフォーカスブリージング補正部と、
    　フォーカスブリージングを補正した後の前記画像データに現れるディストーションを画像処理により補正するディストーション補正部と、
    　を備えた画像処理装置。
  10. 　撮像により得られた画像データを取得するステップと、
    　前記画像データを撮像した時点の撮像レンズのフォーカスポジションの情報を取得するステップと、
    　フォーカスポジションごとに定められた拡大縮小率によって前記画像データを拡縮処理して、フォーカスブリージングを補正するステップと、
    　フォーカスブリージングを補正した後の前記画像データに現れるディストーションを画像処理により補正するステップと、
    　を含む画像処理方法。
  11. 　撮像により得られた画像データを取得する機能と、
    　前記画像データを撮像した時点の撮像レンズのフォーカスポジションの情報を取得する機能と、
    　フォーカスポジションごとに定められた拡大縮小率によって前記画像データを拡縮処理して、フォーカスブリージングを補正する機能と、
    　フォーカスブリージングを補正した後の前記画像データに現れるディストーションを画像処理により補正する機能と、
    　をコンピュータに実現させる画像処理プログラム。
PCT/JP2017/045026 2017-03-01 2017-12-15 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム WO2018159069A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019502471A JP6603825B2 (ja) 2017-03-01 2017-12-15 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
CN201780086572.8A CN110337805B (zh) 2017-03-01 2017-12-15 摄像装置、图像处理装置、图像处理方法及存储介质
US16/527,898 US11061200B2 (en) 2017-03-01 2019-07-31 Imaging apparatus, image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017038445 2017-03-01
JP2017-038445 2017-03-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/527,898 Continuation US11061200B2 (en) 2017-03-01 2019-07-31 Imaging apparatus, image processing apparatus, image processing method, and image processing program

Publications (1)

Publication Number Publication Date
WO2018159069A1 true WO2018159069A1 (ja) 2018-09-07

Family

ID=63370697

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/045026 WO2018159069A1 (ja) 2017-03-01 2017-12-15 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム

Country Status (4)

Country Link
US (1) US11061200B2 (ja)
JP (1) JP6603825B2 (ja)
CN (1) CN110337805B (ja)
WO (1) WO2018159069A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123897A (ja) * 2019-01-31 2020-08-13 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像処理装置、撮像装置、無人航空機、画像処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000069343A (ja) * 1998-06-11 2000-03-03 Fuji Photo Film Co Ltd デジタル撮像装置
JP2007037176A (ja) * 2006-09-11 2007-02-08 Olympus Corp 撮像装置
JP2012142885A (ja) * 2011-01-06 2012-07-26 Panasonic Corp カメラ、歪み補正装置、及び歪み補正方法
JP2013131848A (ja) * 2011-12-20 2013-07-04 Canon Inc 撮像装置およびその制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3925751B2 (ja) 1997-06-30 2007-06-06 フジノン株式会社 撮影レンズの画角補正装置
US7245319B1 (en) 1998-06-11 2007-07-17 Fujifilm Corporation Digital image shooting device with lens characteristic correction unit
JP3897247B2 (ja) 2002-05-16 2007-03-22 富士フイルム株式会社 光学歪みの補正方法及び補正装置
JP4004346B2 (ja) 2002-07-31 2007-11-07 富士フイルム株式会社 撮像装置及びディストーション補正方法
JP5013852B2 (ja) 2006-12-26 2012-08-29 三洋電機株式会社 画角補正装置及び方法並びに撮像装置
JP2008172321A (ja) * 2007-01-09 2008-07-24 Olympus Imaging Corp 電気的画像回復処理を行う撮像装置
FR2982678B1 (fr) * 2011-11-14 2014-01-03 Dxo Labs Procede et systeme de capture de sequence d'images avec compensation des variations de grandissement
JP5844940B2 (ja) * 2013-03-18 2016-01-20 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体
JP6146241B2 (ja) * 2013-09-26 2017-06-14 ソニー株式会社 収差補正装置と撮像装置および収差補正方法
JP6373145B2 (ja) * 2014-09-25 2018-08-15 キヤノン株式会社 撮像装置および電子補正方法
EP3076657B1 (en) * 2015-04-02 2017-05-24 Axis AB Method for determination of focal length for a zoom lens
US10127474B2 (en) * 2015-11-10 2018-11-13 Semiconductor Components Industries, Llc Image breathing correction systems and related methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000069343A (ja) * 1998-06-11 2000-03-03 Fuji Photo Film Co Ltd デジタル撮像装置
JP2007037176A (ja) * 2006-09-11 2007-02-08 Olympus Corp 撮像装置
JP2012142885A (ja) * 2011-01-06 2012-07-26 Panasonic Corp カメラ、歪み補正装置、及び歪み補正方法
JP2013131848A (ja) * 2011-12-20 2013-07-04 Canon Inc 撮像装置およびその制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123897A (ja) * 2019-01-31 2020-08-13 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像処理装置、撮像装置、無人航空機、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US11061200B2 (en) 2021-07-13
CN110337805B (zh) 2021-03-23
CN110337805A (zh) 2019-10-15
JPWO2018159069A1 (ja) 2020-01-23
JP6603825B2 (ja) 2019-11-06
US20190353871A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
US8466969B2 (en) Imaging apparatus and shake correcting method
JP5914813B2 (ja) カメラ、歪み補正装置、及び歪み補正方法
US8964043B2 (en) Imaging apparatus and control method thereof
CN108737726B (zh) 图像处理设备和方法、摄像设备和计算机可读存储介质
JP2010087672A (ja) 画像処理方法、画像処理装置及び撮像装置
GB2479229A (en) Aberration correction in image processing apparatus
US8610801B2 (en) Image processing apparatus including chromatic aberration correcting circuit and image processing method
RU2394388C1 (ru) Устройство формирования изображения и способ его управления
US8648936B2 (en) Image processing apparatus and image processing method
JP4608436B2 (ja) 画像撮影装置
JP6603825B2 (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
CN108335273B (zh) 大广角鱼眼全景镜头相机的畸变的实时消除方法
TWI766206B (zh) 影像的修正方法及其裝置
EP3474532B1 (en) Image processing apparatus, image processing method, and program
CN107979715B (zh) 摄像装置
JP2006166108A (ja) 撮像装置および撮像制御方法
JP5641127B2 (ja) 撮像装置と振れ補正方法
KR20120069543A (ko) 화상 처리 장치, 화상 처리 방법 및 촬상 장치
JP5001717B2 (ja) 輪郭強調装置
JP7262940B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP6245847B2 (ja) 画像処理装置および画像処理方法
JP4996330B2 (ja) 画像歪み補正装置
JP2006157344A (ja) 撮像装置
JP2023009374A (ja) 撮像装置、制御方法、プログラムおよび記憶媒体
KR100936354B1 (ko) 디지털 줌을 제공하는 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898780

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019502471

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17898780

Country of ref document: EP

Kind code of ref document: A1