WO2011161746A1 - 画像処理方法、プログラム、画像処理装置及び撮像装置 - Google Patents

画像処理方法、プログラム、画像処理装置及び撮像装置 Download PDF

Info

Publication number
WO2011161746A1
WO2011161746A1 PCT/JP2010/060441 JP2010060441W WO2011161746A1 WO 2011161746 A1 WO2011161746 A1 WO 2011161746A1 JP 2010060441 W JP2010060441 W JP 2010060441W WO 2011161746 A1 WO2011161746 A1 WO 2011161746A1
Authority
WO
WIPO (PCT)
Prior art keywords
correction coefficient
image
correction
virtual projection
image data
Prior art date
Application number
PCT/JP2010/060441
Other languages
English (en)
French (fr)
Inventor
上田　滋之
央樹 坪井
Original Assignee
コニカミノルタオプト株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタオプト株式会社 filed Critical コニカミノルタオプト株式会社
Priority to PCT/JP2010/060441 priority Critical patent/WO2011161746A1/ja
Priority to JP2012521185A priority patent/JPWO2011161746A1/ja
Publication of WO2011161746A1 publication Critical patent/WO2011161746A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Definitions

  • the present invention relates to an image processing method, a program, an image processing apparatus, and an imaging apparatus that perform distortion correction processing on an image captured by an imaging element via an optical system including a condenser lens.
  • Patent Document 1 discloses a correction method of the prior art that corrects distortion generated in a captured image captured using a lens with a short focal length using a lens correction parameter.
  • Patent Document 2 it is necessary to use an external information processing device to calculate the optical distortion correction parameter for each lens position from the wide end to the tele end of the optical zoom mechanism by using an interpolation operation.
  • the optical distortion correction parameter for the discrete lens position within the range to perform the optical zoom the lens position at the time of zooming is limited to the lens position having the optical distortion correction parameter.
  • the optical zoom between the positions is connected by electronic zoom.
  • Patent Document 1 there is a problem that when a captured image obtained by a lens is hardwareized as an image processing device, the processing time becomes long, the circuit scale increases, and the cost increases. .
  • the lens position at the time of zooming is limited to a position corresponding to the discrete distortion correction parameter, and the zoom operation is omitted by interpolating the distortion correction parameter by connecting between them with an electronic zoom.
  • the zoom operation of the image pickup device alone is realized.
  • it can be applied only to a one-dimensional lens movement such as a zoom operation, and is difficult to apply to various movements such as panning and tilting.
  • the image after distortion correction processing has a narrow viewing angle, so it is difficult to recognize a wide area at once.
  • An image that is not subjected to distortion correction processing has a wide viewing angle, but on the other hand, the subject is distorted, making it difficult to recognize the sense of distance and size.
  • the present invention provides an image processing method, a program, an image processing apparatus, and an image processing method capable of accurately recognizing an object and shortening the processing time with a relatively small circuit.
  • An object is to provide an imaging device.
  • the coordinates in the world coordinate system of each pixel of the virtual projection plane set in the first step are converted into a camera coordinate system using the distortion correction coefficient of the optical system, the coordinates in the converted camera coordinate system, and the plurality of the plurality of coordinates
  • the distortion correction coefficient in the second step is a correction coefficient having a higher distortion correction rate than the first correction coefficient from the first correction coefficient and calculated based on the physical characteristics of the lens of the optical system. Up to 2 correction coefficients, the distortion correction rate is changed to multiple stages of correction coefficients, The display image is sequentially switched and output using the image data calculated
  • the position of the virtual projection plane of the world coordinate system in the first step is set to the first position, and the image data in the second step is calculated based on the first correction coefficient and the first position.
  • the position of the virtual projection plane of the world coordinate system in the first step is set to a second position different from the first position, and the image data in the second step has a distortion correction rate higher than the first correction coefficient. 2 based on the correction coefficient and the second position, and sequentially outputting the display image in the third step using the calculated image data, and using the correction coefficient having a gradually high distortion correction rate. 3.
  • the image processing method according to 1 or 2 wherein the display image is switched and output using the calculated image data.
  • the first position and the second position of the virtual projection plane of the world coordinate system are set
  • the second step from the first position in which the correction coefficient and the position of the virtual projection plane are associated with the initial correction coefficient and the first correction coefficient, the second correction coefficient of the final value and To the second position corresponding to the second correction coefficient, both the correction factor and the position are changed and changed in a plurality of stages, 3.
  • the image processing method according to 1 or 2 wherein in the third step, a display image is switched and output using a plurality of changed correction coefficients and image data calculated based on the position.
  • An image processing apparatus for obtaining image data that has been subjected to distortion correction processing using a plurality of pixel data obtained by receiving an image sensor having a plurality of pixels via an optical system, The coordinates in the world coordinate system of each pixel of the virtual projection plane for which the position and size are set are converted into the camera coordinate system using the distortion correction coefficient of the optical system, the coordinates converted into the camera coordinate system, and the plurality of pixel data Based on the image processing unit for calculating the image data of the virtual projection plane, An image signal output unit for outputting an image signal for display of the image data calculated by the image processing unit; Have The distortion correction coefficient is from a first correction coefficient to a second correction coefficient having a distortion correction rate higher than the first correction coefficient and calculated based on physical characteristics of the lens of the optical system. A plurality of correction factors with different distortion correction rates, The image processing apparatus, wherein the image signal output unit sequentially outputs image signals for display of image data respectively calculated by a plurality of the correction coefficients.
  • the virtual projection plane has a first position and a second position, A plurality of virtual projection planes corresponding to a plurality of correction coefficients from the first position corresponding to the first correction coefficient having an initial value to the second position corresponding to the second correction coefficient having a final value. Is set, 8.
  • An image processing apparatus for obtaining image data that has been subjected to distortion correction processing using a plurality of pixel data obtained by receiving an image sensor having a plurality of pixels via an optical system,
  • a setting unit capable of setting the position and size of the virtual projection plane in the world coordinate system;
  • the coordinates in the world coordinate system of each pixel of the virtual projection plane set by the setting unit are converted into a camera coordinate system using the distortion correction coefficient of the optical system, the coordinates converted into the camera coordinate system, and the plurality of pixels
  • An image processing unit that calculates image data of the virtual projection plane based on the data;
  • Have The distortion correction coefficient is from a first correction coefficient to a second correction coefficient having a distortion correction rate higher than the first correction coefficient and calculated based on physical characteristics of the lens of the optical system.
  • a plurality of correction factors with different distortion correction rates The image processing apparatus, wherein the display unit sequentially displays image signals for display of image data respectively calculated by the plurality of correction
  • a first position and a second position of the virtual projection plane are set by the setting unit, A plurality of virtual projection planes corresponding to a plurality of correction coefficients from the first position corresponding to the first correction coefficient having an initial value to the second position corresponding to the second correction coefficient having a final value. Is set, 11.
  • the image according to item 9 or 10 wherein the display unit sequentially displays a plurality of correction coefficients and image signals for display of image data respectively calculated by the positions corresponding to the correction coefficients. Processing equipment.
  • An image processing apparatus program for obtaining image data obtained by performing distortion correction processing using a plurality of pixel data obtained by receiving an image sensor having a plurality of pixels via an optical system, comprising: The coordinates in the world coordinate system of each pixel on the virtual projection plane are converted into the camera coordinate system using the distortion correction coefficient of the optical system, and the virtual projection is performed based on the coordinates converted into the camera coordinate system and the plurality of pixel data.
  • An image processing unit for calculating image data of the surface;
  • An image signal output unit for outputting an image signal for display of the image data calculated by the image processing unit;
  • Function as The distortion correction coefficient is from a first correction coefficient to a second correction coefficient having a distortion correction rate higher than the first correction coefficient and calculated based on physical characteristics of the lens of the optical system.
  • a plurality of correction factors with different distortion correction rates The image signal output unit sequentially outputs image signals for display of image data respectively calculated by a plurality of the correction coefficients.
  • the virtual projection plane has a first position and a second position, A plurality of virtual projection planes corresponding to a plurality of correction coefficients from the first position corresponding to the first correction coefficient having an initial value to the second position corresponding to the second correction coefficient having a final value. Is set, 14.
  • An imaging device having a plurality of pixels; A coordinate in the world coordinate system of each pixel of the virtual projection plane is converted into a camera coordinate system using the distortion correction coefficient of the optical system, and the coordinates converted into the camera coordinate system and a plurality of light received by the imaging element are received.
  • An image processing unit that calculates image data of the virtual projection plane based on pixel data; An image signal output unit for outputting an image signal for display of the image data calculated by the image processing unit;
  • Have The distortion correction coefficient is from a first correction coefficient to a second correction coefficient having a distortion correction rate higher than the first correction coefficient and calculated based on physical characteristics of the lens of the optical system.
  • a plurality of correction factors with different distortion correction rates The image signal output unit sequentially outputs image signals for display of image data respectively calculated by a plurality of the correction coefficients.
  • the virtual projection plane has a first position and a second position, A plurality of virtual projection planes corresponding to a plurality of correction coefficients from the first position corresponding to the first correction coefficient having an initial value to the second position corresponding to the second correction coefficient having a final value. Is set, The image signal output unit sequentially outputs a plurality of correction coefficients and image signals for display of image data respectively calculated by the positions corresponding to the correction coefficients. Imaging device.
  • the virtual projection plane is converted into a camera coordinate system using a distortion correction coefficient, and the image data of the virtual projection plane is calculated based on the converted coordinates of the camera coordinate system and the pixel data of the image sensor.
  • the distortion correction coefficient is corrected from the first correction coefficient to the second correction coefficient having a distortion correction rate higher than the first correction coefficient and calculated based on the physical characteristics of the lens of the optical system.
  • An example in which the position of the virtual projection plane VP is moved is shown.
  • a display image correction rate 0%, position movement 0%. It is an example of a display image (correction rate 20%, position movement 20%). It is an example of a display image (correction rate 40%, position movement 40%). It is an example of a display image (correction rate 65%, position movement 65%). It is an example of a display image (correction rate 90%, position movement 90%). It is an example of a display image (correction rate 100%, position movement 100%).
  • FIG. 1 is a schematic diagram for explaining distortion correction according to the present embodiment.
  • X, Y, and Z are world coordinate systems, and the origin O is the lens center.
  • Z includes the optical axis, and the XY plane includes the lens center plane LC passing through the lens center O.
  • Point P is an object point of the object in the world coordinate system XYZ.
  • ⁇ is an incident angle with respect to the optical axis (coincident with the Z axis).
  • X and y are camera coordinate systems, and the xy plane corresponds to the image sensor surface IA.
  • o is the center of the image and is the intersection of the optical axis Z and the image sensor surface.
  • the point p is a point on the image sensor surface in the camera coordinate system, and the object point P is converted into the camera coordinate system using a distortion correction coefficient based on a parameter based on the physical characteristics of the lens (hereinafter referred to as “lens parameter”). It is a thing.
  • the VP is a virtual projection plane.
  • the virtual projection plane VP is set on the opposite side of the imaging element (and imaging element surface IA) with respect to the lens position (lens center plane LC) of the optical system.
  • the virtual projection plane VP can be moved and changed in size based on an instruction from the user to the operation unit 130 (see FIG. 3).
  • position change is a concept that includes not only the case where the virtual projection plane VP is translated on the XY plane, but also an angle change (also referred to as an attitude change) with respect to the XY plane.
  • the virtual projection plane VP is arranged at a predetermined position (Z direction) parallel to the lens center plane LC (XY direction) with a predetermined size, and the center of the virtual projection plane VP.
  • ov is located on the Z axis.
  • Gv is a point where the object point P is projected onto the virtual projection plane VP, and is an intersection of the object point P and a straight line passing through the lens center O and the virtual projection plane VP.
  • a virtual projection plane VP1 in FIG. 2 shows a state in which the virtual projection plane VP0 is rotated on the XZ plane based on the input of the operation unit 130.
  • FIG. 3 is a block diagram illustrating a schematic configuration of the imaging apparatus.
  • the imaging apparatus includes an imaging unit 110, a control device 100, a display unit 120, and an operation unit 130.
  • the imaging unit 110 includes a short-focus lens, an imaging element, and the like.
  • examples of the lens include a wide-angle lens and a fisheye lens.
  • the control device 100 includes an image processing unit 101, a setting unit 102, and a storage unit 103.
  • the setting unit 102 sets the position and size of the virtual projection plane VP based on an input instruction to the operation unit 130.
  • the image processing unit 101 creates a conversion table of each coordinate on the virtual projection plane into the camera coordinate system based on the set position and size of the virtual projection plane VP, and shoots with the imaging unit 110 using the conversion table.
  • the processed pixel data is processed to create image data to be displayed on the display unit 120.
  • the image processing unit also functions as an image signal output unit that outputs an image signal for display.
  • the storage unit 103 stores a second correction coefficient calculated based on lens parameters based on physical characteristics of the lens (real lens) of the imaging unit 110 and a first correction coefficient that does not perform distortion correction. Also, the position and size of the virtual projection plane VP and the created conversion table are stored.
  • the distortion correction coefficient can be obtained by obtaining lens calibration data, calculating based on the f ⁇ characteristic of the lens, or the like.
  • the display unit 120 includes a display screen such as a liquid crystal display, and sequentially displays a display image based on the image data created by the image processing unit 101 based on the pixel data captured by the imaging unit 110 on the display screen.
  • a display screen such as a liquid crystal display
  • the operation unit 130 includes a keyboard, a mouse, or a touch panel arranged so as to be superimposed on the liquid crystal display of the display unit, and receives a user's input operation.
  • FIG. 4 is a diagram showing a control flow of the present embodiment.
  • FIG. 4 is a diagram showing a main control flow
  • FIG. 5 is a diagram showing a subroutine of step S30.
  • step S10 the virtual projection plane VP is converted (set).
  • the position and size of the virtual projection plane VP in the world coordinate system are set by the setting unit 102 according to an input instruction to the operation unit 130 by the user.
  • the camera viewpoint displayed on the display unit 120 is changed by changing the position as shown in FIG. 2 (corresponding to pan and tilt). Further, if the distance from the lens center O is changed with the change of the position of the virtual projection plane VP, the zoom-in / zoom-out is performed. Zooming in and zooming out can also be performed by changing the size of the virtual projection plane VP.
  • a specific example regarding the position change of the virtual projection plane VP will be described later.
  • the virtual projection plane VP is divided into the number of pixels n based on the input size setting (or the default size value).
  • the number of pixels is preferably equal to or greater than the total number of display pixels (screen resolution) of the display unit 120.
  • both the number of pixels n and the total number of display pixels of the display unit 120 will be described under a fixed condition of 640 ⁇ 480 pixels (total number of pixels 307,000).
  • the size of the virtual projection plane VP is fixed when the number of pixels n is fixed.
  • step S20 the distortion correction coefficient is changed.
  • the distortion correction coefficient is changed from an initial value of the first correction coefficient to a final value of the second correction coefficient.
  • the first correction coefficient and the second correction coefficient are stored in the storage unit 103, and the first correction coefficient is a correction coefficient obtained by subtracting the distortion correction rate from the second coefficient.
  • the correction value for which distortion correction is not performed. Is set.
  • the second correction coefficient is a correction coefficient calculated using lens parameters based on the physical characteristics of the lens of the imaging unit 110.
  • the distortion correction rate is changed in multiple steps at a predetermined step size from the first correction coefficient to the second correction coefficient.
  • a plurality of correction coefficients may be set and calculated in advance between the first correction coefficient and the second correction coefficient, and stored in the storage unit 103.
  • the predetermined step size (and the number of correction coefficients between the first correction coefficient and the second correction coefficient) may be appropriately changed according to the display period (see FIG. 9) on the display unit 120. Further, the first correction coefficient may be changed by an input instruction to the operation unit 130.
  • step S30 (corresponding to “second and third steps”), distortion correction is mainly performed by the image processing unit 101 based on the state of the virtual projection plane VP set in step S10 and the correction coefficient set in step S20. Process. The distortion correction process will be described with reference to FIG.
  • FIG. 5 is a diagram for explaining the subroutine of step S30.
  • step S31 the coordinates Gv (X, Y, Z) of the world coordinate system of each pixel Gv on the virtual projection plane VP are acquired.
  • FIG. 6 is a schematic diagram for explaining a coordinate system. As shown in FIG. 6, point A (0, 0, Za), point B (0, 479, Zb), point C (639, 479, Zc), point D (639, 0) at the four corners of the virtual projection plane VP. , Zd) is divided into 640 ⁇ 480 pixel pixels Gv (total number of pixels: 307,000) at equal intervals, and the coordinates of all the pixels Gv in the world coordinate system are obtained. Note that the values of the X and Y coordinates in the figure are examples, and the X and Y coordinates of the point A are displayed as zero for easy understanding.
  • step S32 coordinates Gi (x, y) in the corresponding camera coordinate system on the image sensor surface IA are calculated from the coordinates of the pixel Gv in the world coordinate system and the distortion correction coefficient set in step S20. Specifically, it is calculated from the incident angle ⁇ with respect to the optical axis Z obtained from the distortion correction coefficient and the coordinates of each pixel Gv (reference document: International Publication No. 2010/032720).
  • FIG. 7 is a diagram showing a correspondence relationship between the camera coordinate system xy and the imaging element surface IA.
  • points a to d are obtained by converting the points A to D in FIG. 6 into the camera coordinate system.
  • the virtual projection plane VP surrounded by the points A to D is a rectangular plane.
  • the area surrounded by the points a to d after the coordinate conversion to the camera coordinate system is (the virtual projection plane VP
  • the shape is distorted (corresponding to the position).
  • the figure shows an example of distortion in a barrel shape, but the case may be a pincushion type or a Jinkasa type (a shape that changes into a barrel type at the center and straight or pincushion at the end) due to the characteristics of the optical system. There is also.
  • step S33 the pixel of the image sensor to be referred to is determined from the coordinates Gi (x ', y').
  • x and y in the coordinates (x, y) of each pixel of the image sensor are integers, but x ′ and y ′ in the coordinates Gi (x ′, y ′) calculated in step S32 are not necessarily integers. Can take a real value with a fractional part.
  • x ′ and y ′ are integers as in the former and the coordinates Gi (x ′, y ′) coincide with the pixel position of the image sensor, the pixel data of the pixel of the corresponding image sensor is used as the virtual projection plane.
  • the pixel data of the pixel Gv is calculated as the pixel data around the calculated coordinate Gi (x ′, y ′).
  • the pixel data of the pixels for example, the top four pixels close to the position of the coordinate Gi (x ′, y ′), they are closer to these simple average values or the distance to the coordinate Gi (x ′, y ′).
  • Pixel data calculated by weighting four pixels may be used.
  • the peripheral locations are not limited to 4 locations, and may be 1 location, 16 locations or more.
  • Steps S31 to S33 are moved from the point A (0, 0, Za), which is the starting point of FIG. 6, by one pixel (pixel) at a time to each pixel (up to the lower right end point C (639, 479, Zc)).
  • Pixel image data in which distortion correction has been performed for all pixels can be acquired. This is the control related to the subroutine of step S30 shown in FIG.
  • step S40 (corresponding to “fourth step”), the image data acquired in step S30 is displayed on the display screen of the display unit 120.
  • Steps S20 to S40 are sequentially executed, and a display image of image data after distortion processing based on the captured pixel data is input to the display unit 120 until an end instruction is input (step S50: Yes). Output and display in real time.
  • FIG. 8 is a diagram corresponding to FIG. 1, and different lens data is used in FIGS. 8A, 8B, and 8C.
  • a lens Lens3 shown in FIG. 8C indicates a lens (real lens) of the imaging unit 110 corresponding to the second correction coefficient.
  • Lens 1 represents a virtual lens corresponding to the first correction coefficient
  • Lens 2 represents a virtual lens corresponding to a correction coefficient between the first correction coefficient and the second correction coefficient (hereinafter also referred to as “interpolation correction coefficient”). Show.
  • the correction coefficient (Lens)
  • the coordinates of the point p obtained by converting the object point P into the camera coordinate system also change.
  • FIGS. 8C, 8B, and 8A corresponds to lowering the correction factor in FIGS. 8C, 8B, and 8A even though the position of the virtual projection plane VP and the position of the object point P do not change. Accordingly, the corresponding position of the image sensor surface IA also moves outward. At this time, the actual actual lens is not changed, only the lens parameters (and the distortion correction coefficient corresponding thereto) used for internal processing are changed, and FIG. 8B and FIG. The subject incident on the position of the point p in a) is not actually located at the position of the object point P shown in these drawings, but is present on the end side of the angle of view. That is, by changing the lens parameter, not only the distortion correction factor corresponding to this but also the angle of view is changed.
  • FIG. 9 to 14 are examples of display images displayed on the display unit 120.
  • FIG. 9 shows a first correction coefficient with a correction rate of 0% (no correction is performed), and
  • FIG. 14 shows a second correction coefficient.
  • the correction rate is 100%
  • FIGS. 10 to 13 are examples in which image data calculated under the conditions of the correction rates of 20%, 40%, 65%, and 90% are displayed as the interpolation correction coefficients.
  • the display unit 120 displays the initial image as shown in FIG. 9 while sequentially updating the display image at a constant speed until the final image shown in FIG. For example, if the frame rate is 30 fps, the image data with the correction rate gradually increased at a rate of 1% / 2 frames is displayed on the display unit 120 while being updated, and this is repeated at a variable cycle.
  • the virtual projection plane VP is set and the distortion correction rate is changed in comparison with the conventional morphing image in which the initial image and the final image are synthesized and image data that is gradually changed is generated.
  • the image data is calculated, it is possible to obtain image data that gradually changes in one image processing. As a result, even with a relatively small circuit, image data can be calculated at high speed, so that high-speed frame image data can be displayed without increasing the circuit scale.
  • the single image of FIG. 9 has a wide viewing angle, but it is difficult to recognize the distance and size due to the distortion of the subject.
  • the period for displaying from FIG. 9 to FIG. 14 is set to several seconds, it may be changed as appropriate by an instruction to the operation unit 130.
  • the initial image and the final image may be set to arbitrary correction factors between the first correction coefficient and the second correction coefficient, respectively.
  • the combination of the distortion correction rates of the initial image and the final image is 0% and 40%, or 40% and 60%.
  • the display order may be reversed.
  • the display unit 120 displays the image data calculated based on the second correction coefficient having a high final distortion correction rate as an initial image, and subsequently displays the image data whose distortion correction rate gradually decreases.
  • the image data corresponding to the first correction coefficient having the initial value is displayed as the final image. This is repeated at a variable period.
  • two positions of the first position and the second position are set as the positions of the virtual projection plane in step S15.
  • the same processing as in step S10 shown in FIG. 4 is performed.
  • step S25 the initial value (1) first correction coefficient and first position are gradually changed to the final value (2) second correction coefficient and second position.
  • the correction coefficient and the position change are changed to correspond.
  • the initial values of the correction coefficient and the position are set to 0% and the final value is set to 100%, and both are changed at the same ratio.
  • step S30 image data that has been subjected to distortion correction processing based on the correction coefficient set in step S25 and the position of the virtual projection plane VP is acquired.
  • a specific example of the position change will be described with reference to FIGS.
  • FIG. 16 shows an example in which the position of the virtual projection plane VP0 is changed with the image center o in the camera coordinate system as the rotation center (or movement center).
  • rotation about the x-axis with the image center o as the rotation center is pitch (also referred to as tilt)
  • rotation about the y-axis is yaw (also referred to as pan)
  • rotation about the Z-axis Is roll.
  • FIG. 17 shows an example in which the position of the virtual projection plane VP is changed with the center ov of the virtual projection plane VP0 as the center of rotation based on the input rotation amount setting value.
  • One of two axes that are orthogonal to each other on the virtual projection plane VP0 is set as Yaw-axis, and the other is set as P-axis. Both are axes passing through the center ov, and rotation around the Yaw-axis with the center ov as the rotation center is called virtual yaw rotation, and rotation around the P-axis is called virtual pitch rotation.
  • viewpoint conversion corresponding to rotating or changing the position of the virtual camera Ca0 is performed.
  • FIG. 18 shows an example in which the virtual pitch is rotated, and the virtual projection plane VP1 is obtained by changing the position of the virtual projection plane VP0 and rotating the virtual pitch, and the virtual camera Ca1 is positioned upward after the position change.
  • the viewpoint cav becomes a direction to look down.
  • FIG. 19 shows an example in which the virtual projection plane VP0 is offset-moved (translated) in the x-direction, y-direction, and Z-direction based on the input offset movement amount setting value.
  • the offset movement in the Z direction is the same movement as zooming in and zooming out.
  • the offset movement in each direction is effective when moving the dark part outside the imaging area of the optical system outside the image area.
  • the 20 to 25 are examples of display images displayed on the display unit 120.
  • the first position and the second position of the virtual projection plane are set.
  • the first position is the initial position (arranged parallel to the lens center plane LC, and the center ov of the virtual projection plane VP is on the Z axis).
  • Position is a pitch rotation (hereinafter also referred to as an actual pitch) of ⁇ 45 deg (see FIG. 16) and a virtual pitch rotation of ⁇ 45 deg (see FIGS. 17 and 18) with respect to the initial position.
  • the correction rate and the position of the virtual projection plane VP are the correction rate 0% (first correction coefficient) and the first position, respectively.
  • the correction factor and the position are the correction factor 100% (second correction factor) and the second position, respectively.
  • the first position of the initial value is described as a position movement rate of 0%
  • the second position of the final value is described as a position movement rate of 100%.
  • the positional movement rate and the correction rate have a correspondence relationship that changes with the same change width. For example, when the correction rate is 10%, the position movement rate is also set to 10%.
  • the correction rate and the position variation rate do not need to be limited to the same change width, and the position variation rate may be changed in two stages of 0% and 100%.
  • FIG. 20 is an example in which image data calculated under the conditions of a correction rate of 0% (first correction coefficient) and a position movement rate of 0% (first position) are displayed as initial values.
  • FIG. 21 shows an example in which image data calculated under conditions where both the correction rate and the position movement rate are 20% are displayed.
  • 22, 23, 24, and 25 are examples in which image data calculated under conditions where both the correction rate and the position movement rate are 40%, 65%, 90%, and 100% are displayed.
  • the distortion of the image is eliminated by setting the distortion correction rate to 100%, and the virtual pitch and the real pitch are both changed by ⁇ 45 degrees due to the movement of the position, and the viewpoint is changed so as to look down on the subject. Yes.
  • the display unit 120 displays the initial image as shown in FIG. 20 while sequentially updating the display image at a constant speed until the final image shown in FIG. For example, when the frame rate is 30 fps, the image data in which both the correction rate and the position movement rate are gradually changed at a rate of 1% / 2 frames are shown in FIGS. 20, 21, 22, 23, 24, and 25. An image having a low correction rate and a low position movement rate is displayed in order from a low image to a high image, and this is repeated at a constant cycle.
  • the virtual projection plane whose position is set is converted into a camera coordinate system using a correction coefficient, and the image data of the virtual projection plane is converted based on the coordinates of the converted camera coordinate system and the pixel data of the pixel.
  • the position of the virtual projection plane (camera viewpoint change) is changed in parallel with the distortion correction rate change by calculating the image data while changing the correction coefficient and the position data.
  • the optical system including a single lens is exemplified as the optical system including the condensing lens.
  • the condensing lens may be composed of a plurality of lenses.
  • an optical element other than the condenser lens may be provided, and the invention of the present application can be applied.
  • the distortion correction coefficient may be a value for the entire optical system.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

　被写体の正確な認識を図ること、及び、比較的小規模な回路で、処理時間の短縮化を図ることを目的とする。　設定された仮想投影面を歪み補正率を複数段階に変更した補正係数によりカメラ座標系に変換し、変換したカメラ座標系の座標及び前記画素の画素データに基づいて前記仮想投影面の画像データの算出を行うステップと、前記ステップで算出した画像データを表示部に順次切り替えて表示させるステップと、を有する画像処理方法とする。

Description

画像処理方法、プログラム、画像処理装置及び撮像装置
　本願発明は、集光レンズを含む光学系を介して撮像素子により撮像された画像の歪み補正処理を行う、画像処理方法、プログラム、画像処理装置及び撮像装置に関するものである。
　一般に、広角レンズあるいは魚眼レンズのような焦点距離の短いレンズや画角の大きなレンズを備えた光学系により撮影した画像は歪曲を伴うので、歪曲を補正する画像処理を行う。特許文献１には従来技術の補正方法として、焦点距離の短いレンズを使用して撮像された撮像画像に生じる歪曲を、レンズの補正用のパラメータを用いて補正する方法が開示されている。
　特許文献２では、光学ズーム機構のワイド端からテレ端までレンズ位置毎の光学歪み補正パラメータの算出を補間演算により行うことは、外部情報処理機器を必要とし、撮像装置単体では処理能力的に難しいという問題に対して、光学ズームを行う範囲内で離散的なレンズ位置に対する光学歪み補正パラメータを備え、そしてズームを行う際のレンズ位置を光学歪み補正パラメータを備えるレンズ位置に制限し、制限された位置間の光学ズームを電子ズームでつないでいる。
特開２００９－１４００６６号公報 特開２００９－１０５５４６号公報
　特許文献１に開示されたように、レンズで得た撮像画像を画像処理装置としてハード化した場合に処理時間が長くなり、回路規模が増大してしまい、コストが嵩んでしまうという問題があった。
　特許文献２では、ズームの際のレンズ位置を離散的な歪み補正パラメータと対応する位置に制限することと、その間を電子ズームで繋ぐことにより、ズーム動作を歪み補正パラメータの補間処理を省略することで撮像装置単体でのズーム動作を実現している。しかし、ズーム動作のような一次元のレンズの動きにのみ適用できることであり、パン、チルト等の多様な動きには適用し難い。
　また歪み補正処理をした後の画像は、視野角が狭くなるので広い領域を一度に認識することは難しくなる。歪み補正処理をおこなわない画像では、視野角は広くなるがその反面、被写体が歪むことにより距離感や大きさの認識が難しくなる。
　本願発明はこのような問題に鑑み被写体の正確な認識を図ること、及び、比較的小規模な回路で、処理時間の短縮化を図ることが可能な、画像処理方法、プログラム、画像処理装置及び撮像装置を提供することを目的とする。
　上記の目的は、下記に記載する発明により達成される。
　１．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理方法において、
　ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
　前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第２ステップと、
　前記第２ステップで算出された画像データを用いて表示用画像を出力する第３ステップと、
　を有し、
　前記第２ステップにおける前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数段階の補正係数に変更され、
　前記第２ステップ及び前記第３ステップにより前記複数段階のぞれぞれの段階における補正係数を用いて算出された画像データを用いて、前記表示用画像を順次切り替えて出力させることを特徴とする画像処理方法。
　２．前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする前記１に記載の画像処理方法。
　３．前記第１ステップにおけるワールド座標系の仮想投影面の位置を第１位置に設定し、前記第２ステップにおける画像データを、前記第１補正係数及び前記第１位置に基づいて算出して、算出した画像データを用いて前記第３ステップにおいて表示用画像を出力した後に、
　前記第１ステップにおけるワールド座標系の仮想投影面の位置を前記第１位置と異なる第２位置に設定し、前記第２ステップにおける画像データを、前記第１補正係数よりも歪み補正率が高い第２補正係数及び前記第２位置に基づいて算出して、算出した画像データを用いて前記第３ステップにおいて表示用画像を出力させることを順次行い、徐々に歪み補正率が高い補正係数を用いて算出された画像データを用いて、表示用画像を切り替えて出力させることを特徴とする前記１又は２に記載の画像処理方法。
　４．前記第１ステップでは、ワールド座標系の仮想投影面の第１位置と第２位置を設定し、
　前記第２ステップでは、前記補正係数と前記仮想投影面の位置を初期値の前記第１補正係数及び該第１補正係数に対応させた前記第１位置から、最終値の前記第２補正係数及び該第２補正係数に対応させた前記第２位置まで、補正率と位置をともに変えて複数段階に変更し、
　前記第３ステップでは変更した複数の前記補正係数及び前記位置により算出した画像データを用いて、表示用画像を切り替えて出力させることを特徴とする前記１又は２に記載の画像処理方法。
　５．前記第１ステップにおける仮想投影面の位置及びサイズは、ユーザの指示に基づいて設定されることを特徴とする前記１から４のいずれか一項に記載の画像処理方法。
　６．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置であって、
　位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
　前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、
　を有し、
　前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数の補正係数であり、
　前記画像信号出力部では、複数の前記補正係数によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする画像処理装置。
　７．前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする前記６に記載の画像処理装置。
　８．前記仮想投影面は、第１位置と第２位置が設定されており、
　前記仮想投影面は、初期値の前記第１補正係数に対応する前記第１位置から、最終値の前記第２補正係数に対応する前記第２位置まで、複数の前記補正係数に対応させて複数の位置が設定され、
　前記画像信号出力部では、複数の前記補正係数及び該補正係数に対応する前記位置によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする前記６又は７に記載の画像処理装置。
　９．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置であって、
　ワールド座標系における仮想投影面の位置及びサイズを設定可能な設定部と、
　前記設定部で設定された前記仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
　画像処理部で算出した画像データを表示する表示部と、
　を有し、
　前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数の補正係数であり、
　前記表示部では、複数の前記補正係数によりそれぞれ算出された画像データの表示用の画像信号を順次、表示することを特徴とする画像処理装置。
　１０．前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする前記９に記載の画像処理装置。
　１１．前記設定部により前記仮想投影面は第１位置と第２位置が設定されており、
　前記仮想投影面は、初期値の前記第１補正係数に対応する前記第１位置から、最終値の前記第２補正係数に対応する前記第２位置まで、複数の前記補正係数に対応させて複数の位置が設定され、
　前記表示部では、複数の前記補正係数及び該補正係数に対応する前記位置によりそれぞれ算出された画像データの表示用の画像信号を順次、表示することを特徴とする前記９又は１０に記載の画像処理装置。
　１２．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置のプログラムであって、コンピュータを、
　仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
　前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部、
　として機能させ、
　前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数の補正係数であり、
　前記画像信号出力部では、複数の前記補正係数によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とするプログラム。
　１３．前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする前記１２に記載のプログラム。
　１４．前記仮想投影面は第１位置と第２位置が設定されており、
　前記仮想投影面は、初期値の前記第１補正係数に対応する前記第１位置から、最終値の前記第２補正係数に対応する前記第２位置まで、複数の前記補正係数に対応させて複数の位置が設定され、
　前記画像信号出力部では、複数の前記補正係数及び該補正係数に対応する前記位置によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする前記１２又は１３に記載のプログラム。
　１５．光学系と、
　複数の画素を有する撮像素子と、
　仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
　前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、
　を有し、
　前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数の補正係数であり、
　前記画像信号出力部では、複数の前記補正係数によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする撮像装置。
　１６．前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする前記１５に記載の撮像装置。
　１７．前記仮想投影面は、第１位置と第２位置が設定されており、
　前記仮想投影面は、初期値の前記第１補正係数に対応する前記第１位置から、最終値の前記第２補正係数に対応する前記第２位置まで、複数の前記補正係数に対応させて複数の位置が設定され、
　前記画像信号出力部では、複数の前記補正係数及び該補正係数に対応する前記位置によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする前記１５又は１６に記載の撮像装置。
　本願発明によれば、仮想投影面を歪み補正係数を用いてカメラ座標系に変換し、変換したカメラ座標系の座標及び撮像素子の画素データに基づいて前記仮想投影面の画像データを算出し、前記歪み補正係数を第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって光学系のレンズの物理的特性に基づいて算出された前記第２補正係数まで、補正率が異なる複数段階の補正係数に変更し、前記複数段階の補正係数を用いて算出した画像データを順次、表示させることにより、被写体の正確な認識を図ること、及び、比較的小規模な回路で、高速に処理することが可能となる。
本実施形態に係る歪曲補正を説明する模式図である。 仮想投影面ＶＰの位置を移動させた例を示している。 撮像装置の概略構成を示すブロック図である。 メインの制御フローを示す図である。 ステップＳ３０のサブルーチンを示す図である。 仮想投影面ＶＰの座標を説明する図である。 カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。 異なるレンズデータを用いた場合での歪曲補正を説明する模式図である。 表示画像（補正率０％）の例である。 表示画像（補正率２０％）の例である。 表示画像（補正率４０％）の例である。 表示画像（補正率６５％）の例である。 表示画像（補正率９０％）の例である。 表示画像（補正率１００％）の例である。 第２の実施形態におけるメインの制御フローを示す図である。 カメラ座標系の画像中心ｏを回転中心として仮想投影面ＶＰの位置を変更する例である。 仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。 仮想投影面ＶＰ０を仮想ｐｉｔｃｈ回転させた例を示すものである。 カメラ座標系の画像中心ｏを移動中心として仮想投影面ＶＰの位置をオフセット移動する例である。 表示画像（補正率０％、位置移動０％）の例である。 表示画像（補正率２０％、位置移動２０％）の例である。 表示画像（補正率４０％、位置移動４０％）の例である。 表示画像（補正率６５％、位置移動６５％）の例である。 表示画像（補正率９０％、位置移動９０％）の例である。 表示画像（補正率１００％、位置移動１００％）の例である。
　本発明を実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。
　図１は、本実施形態に係る歪曲補正を説明する模式図である。図１において、Ｘ、Ｙ、Ｚはワールド座標系であり、原点Ｏはレンズ中心である。Ｚは光軸、ＸＹ平面はレンズ中心Ｏを通るレンズ中心面ＬＣを含んでいる。点Ｐはワールド座標系ＸＹＺにおける対象物の物点である。θは光軸（Ｚ軸に一致）に対する入射角度である。
　ｘ、ｙはカメラ座標系であり、ｘｙ平面は撮像素子面ＩＡに対応する。ｏは画像中心であり光軸Ｚと撮像素子面との交点である。点ｐはカメラ座標系における撮像素子面上の点であり、物点Ｐをレンズの物理的特性に基づくパラメータ（以下、「レンズパラメータ」という）に基づく歪み補正係数を用いてカメラ座標系に変換したものである。
　ＶＰは仮想投影面である。仮想投影面ＶＰは光学系のレンズ位置（レンズ中心面ＬＣ）に対して撮像素子（及び撮像素子面ＩＡ）とは反対側に設定される。仮想投影面ＶＰは、ユーザによる操作部１３０（図３参照）への指示に基づいて、位置の移動及びサイズの変更を行うことが可能である。本願において「位置変更」とは、仮想投影面ＶＰをＸＹ平面上で平行移動させる場合のみならず、ＸＹ平面に対する角度変更（姿勢変更ともいう）をも含む概念である。
　初期状態（初期の位置設定のこと、以下同様）において仮想投影面ＶＰは、所定サイズでレンズ中心面ＬＣと平行（ＸＹ方向）の所定位置（Ｚ方向）に配置され、仮想投影面ＶＰの中心ｏｖはＺ軸上に位置している。Ｇｖは物点Ｐが仮想投影面ＶＰ上に投影された点であり、物点Ｐとレンズ中心Ｏを通る直線と仮想投影面ＶＰとの交点である。図２における仮想投影面ＶＰ１は、仮想投影面ＶＰ０を操作部１３０の入力に基づいてＸＺ平面上で回転させた状態を示している。
　［ブロック図］
　図３は、撮像装置の概略構成を示すブロック図である。撮影装置は、撮像ユニット１１０、制御装置１００、表示部１２０、操作部１３０を備えている。
　撮像ユニット１１０は、短焦点のレンズ、撮像素子等から構成される。本実施形態においては、レンズとしては例えば広角レンズ、魚眼レンズがある。
　制御装置１００は、画像処理部１０１、設定部１０２、記憶部１０３から構成される。
　設定部１０２では、操作部１３０への入力指示に基づいて仮想投影面ＶＰの位置、サイズの設定を行う。
　画像処理部１０１では、設定された仮想投影面ＶＰの位置、サイズに基づいて仮想投影面上の各座標のカメラ座標系への変換テーブルを作成し、当該変換テーブルを用いて撮像ユニット１１０で撮影した画素データを処理して表示部１２０に表示させる画像データの作成を行う。また画像処理部は、表示用の画像信号の出力を行う画像信号出力部としても機能する。
　記憶部１０３には、撮像ユニット１１０のレンズ（実レンズ）の物理的特性に基づくレンズパラメータにより算出された第２補正係数、歪み補正を行わない第１補正係数が記憶されている。また仮想投影面ＶＰの位置、サイズ及び作成した変換テーブルの記憶も行う。なお歪み補正係数は、レンズのキャリブレーションデータの取得やレンズのｆθ特性に基づく計算等により求めることができる。
　表示部１２０は、液晶ディスプレイ等の表示画面を備え、撮像ユニット１１０で撮影した画素データに基づいて画像処理部１０１で作成した画像データに基づく表示用画像を逐次、表示画面に表示させる。
　操作部１３０は、キーボード、マウス、あるいは表示部の液晶ディスプレイに重畳して配置したタッチパネルを備え、ユーザの入力操作を受け付ける。
　［制御フロー］
　図４は、本実施形態の制御フローを示す図である。図４はメインの制御フローを示す図であり、図５はステップＳ３０のサブルーチンを示す図である。
　ステップＳ１０（「第１ステップ」に相当）では、仮想投影面ＶＰの変換（設定）を行う。これは前述の様にユーザによる操作部１３０への入力指示により、設定部１０２により仮想投影面ＶＰのワールド座標系における位置、サイズの設定が行われる。図２に示すように位置を変更することにより表示部１２０に表示されるカメラ視点が変更される（パン、チルトに相当）。また仮想投影面ＶＰの位置の変更に伴いレンズ中心Ｏとの距離が変更されればズームイン、ズームアウトされることになる。またズームイン、ズームアウトは仮想投影面ＶＰのサイズを変更することによっても行うことができる。仮想投影面ＶＰの位置変更に関しての具体例は後述する。
　またステップＳ１０では、入力されたサイズ設定（あるいはデフォルト設定のサイズ値）に基づいて仮想投影面ＶＰを画素数ｎに分割する。当該画素数は表示部１２０の表示総画素数（画面解像度）と同等かこれ以上であることが好ましい。以下においては例として、当該画素数ｎ及び表示部１２０の表示総画素数はともに６４０×４８０ｐｉｘｅｌ（総画素数３０．７万）の固定条件で説明する。なお本実施形態においては仮想投影面ＶＰ上において隣接する画素との間隔は等間隔に設定しているので、画素数ｎが固定の場合には仮想投影面ＶＰのサイズは固定となる。
　ステップＳ２０では、歪み補正係数の変更を行う。歪み補正係数は、初期値の第１補正係数から最終値の第２補正係数まで変更する。第１補正係数及び第２補正係数は記憶部１０３に記憶されており、第１補正係数は第２係数よりも歪み補正率が引く補正係数であり、本実施形態では歪み補正を行わない補正値に設定している。第２補正係数は撮像ユニット１１０のレンズの物理的特性に基づくレンズパラメータにより算出された補正係数である。第１補正係数から第２補正係数まで所定の刻み幅で歪み補正率を多段階で変更してゆく。なお第１補正係数と第２補正係数の間で複数の補正係数を予め設定しておき算出しておき、これを記憶部１０３に記憶しておくようにしてもよい。また所定の刻み幅（及び第１補正係数と第２補正係数の間で補正係数の個数）は、表示部１２０への表示周期（図９参照）に応じて適宜変更するようにしてもよい。更に、第１補正係数は操作部１３０への入力指示により変更可能な構成としてもよい。
　ステップＳ３０（「第２、第３ステップ」に相当）では、ステップＳ１０で設定された仮想投影面ＶＰの状態及びステップＳ２０で設定された補正係数に基づいて、主に画像処理部１０１により歪み補正処理を行う。歪み補正処理について図５を参照して説明する。
　図５はステップＳ３０のサブルーチンを説明する図である。ステップＳ３１では、仮想投影面ＶＰ上での各々の画素Ｇｖのワールド座標系の座標Ｇｖ（Ｘ，Ｙ，Ｚ）を取得する。図６は、座標系を説明する模式図である。図６に示すように仮想投影面ＶＰの４隅の点Ａ（０，０，Ｚａ）、点Ｂ（０，４７９，Ｚｂ）、点Ｃ（６３９，４７９，Ｚｃ）、点Ｄ（６３９，０，Ｚｄ）で囲まれる平面を等間隔で６４０×４８０ｐｉｘｅｌの画素Ｇｖ（総画素数３０．７万）に分割し、全ての画素Ｇｖそれぞれのワールド座標系における座標を取得する。なお同図におけるＸ、Ｙ座標の値は例示であり、理解を容易にするために、Ａ点のＸ、Ｙ座標をゼロとして表示している。
　ステップＳ３２では、画素Ｇｖのワールド座標系での座標とステップＳ２０で設定された歪み補正係数から、撮像素子面ＩＡでの対応するカメラ座標系での座標Ｇｉ（ｘ，ｙ）を算出する。具体的には、当該歪み補正係数と各画素Ｇｖの座標から得られる、光軸Ｚに対する入射角度θにより算出している（参考文献：国際公開第２０１０／０３２７２０号）。
　図７はカメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。図７において点ａ～ｄは、図６の点Ａ～Ｄをカメラ座標系に変換したものである。なお図６では点Ａ～Ｄで囲まれる仮想投影面ＶＰは矩形の平面であるが、図７においてカメラ座標系に座標変換した後の点ａ～ｄで囲まれる領域は（仮想投影面ＶＰの位置に対応して）歪んだ形状となる。同図においては樽型形状に歪んだ例を示しているが、光学系の特性により糸巻型、陣笠型（中央では樽型で端部では直線あるいは糸巻型に変化する形状）の歪みとなる場合もある。
　ステップＳ３３では、座標Ｇｉ（ｘ’，ｙ’）から参照する撮像素子の画素を決定する。なお撮像素子の各画素の座標（ｘ，ｙ）におけるｘ、ｙは整数であるが、ステップＳ３２で算出される座標Ｇｉ（ｘ’，ｙ’）のｘ’、ｙ’は整数とは限らず小数部分を持つ実数値を取り得る。前者のようにｘ’、ｙ’が整数で、座標Ｇｉ（ｘ’，ｙ’）と撮像素子の画素の位置とが一致する場合には、対応する撮像素子の画素の画素データを仮想投影面ＶＰ上の画素Ｇｖ（Ｘ，Ｙ，Ｚ）の画素データとして用いる。後者のようにｘ’、ｙ’が整数でなくｘ’、ｙ’とｘ、ｙとが一致しない場合には画素Ｇｖの画素データとして、算出された座標Ｇｉ（ｘ’，ｙ’）周辺の画素、例えば座標Ｇｉ（ｘ’，ｙ’）の位置に近接する上位４箇所の画素の画素データを用いて、これらの単純平均値あるいは、座標Ｇｉ（ｘ’，ｙ’）に対する距離により近接する４箇所の画素に対して重み付けをして算出した画素データを用いたりしてもよい。なお周辺の箇所としては４箇所には限られず１箇所、又は１６箇所若しくはそれ以上であってもよい。
　当該ステップＳ３１からステップＳ３３を、図６の起点となる点Ａ（０，０，Ｚａ）から１画素（ピクセル）ずつ移動させて右下の終点Ｃ（６３９，４７９，Ｚｃ）までの各画素（ピクセル）について実行することで全画素について歪み補正が行われた画像データを取得することができる。ここまでが図５に示したステップＳ３０のサブルーチンに関する制御である。
　図５の制御フローの説明に戻る。ステップＳ４０（「第４ステップ」に相当）では、ステップＳ３０で取得した画像データを表示部１２０の表示画面に表示させる。なおステップＳ２０からＳ４０は逐次実行されるものであり、終了の指示が入力されるまで（ステップＳ５０：Ｙｅｓ）撮影された画素データに基づく歪み処理後の画像データの表示用画像を表示部１２０に出力してリアルタイムで表示させる。
　図８、図９に基づいて本実施形態の表示例について説明する。図８は図１に対応する図であり、図８（ａ）、図８（ｂ）、図８（ｃ）ではそれぞれ異なるレンズデータを用いている。図８（ｃ）に示すレＬｅｎｓ３は第２補正係数に対応する撮像ユニット１１０のレンズ（実レンズ）を示している。Ｌｅｎｓ１は第１補正係数に対応する仮想レンズを示しておりＬｅｎｓ２は、第１補正係数と第２補正係数との間の補正係数（以下、「補間補正係数」ともいう）に対応する仮想レンズを示している。補正係数（Ｌｅｎｓ）が変更されることにより物点Ｐをカメラ座標系に変換した点ｐの座標も変化することになる。
　補足すると、仮想投影面ＶＰの位置及び物点Ｐの位置が変化しないにも拘わらず、図８（ｃ）、図８（ｂ）、図８（ａ）と補正率を低くすることに対応して撮像素子面ＩＡの対応する位置も、より外側に移動してゆく。このときには、実際の実レンズは変更しておらず、内部の処理に用いるレンズのパラメータ（及びこれに対応する歪み補正係数）を変更しているだけであり、図８（ｂ）、図８（ａ）の点ｐの位置に入射される被写体は実際にはこれらの図に示す物点Ｐの位置にはなく、これよりも画角の端部側に存在することになる。つまり、レンズパラメータを変更することにより、これに対応する歪み補正率の変更のみならず画角の変更も行われることになる。
　図９から図１４は、表示部１２０に表示させた表示画像の例であり、図９は第１補正係数として補正率が０％（補正を行わない）で、図１４は第２補正係数として補正率１００％、図１０から図１３はその補間補正係数として、それぞれ補正率２０％、４０％、６５％、９０％の条件下で算出された画像データを表示させた例である。表示部１２０には、図９を初期画像として、最終画像の図１４まで一定の速度で表示画像を順次更新しながら表示させている。例えばフレームレート３０ｆｐｓであれば、１％／２フレームの割合で補正率を除々に高くした画像データを更新しながら表示部１２０に表示させ、これを可変可能な一定の周期で繰り返している。
　従来のモーフィング画像のように初期画像と最終画像を合成して除々に変化させる画像データを生成するのに比べて、本実施形態においては仮想投影面ＶＰを設定して、歪み補正率を変化させながら画像データを算出しているので、一回の画像処理で除々に変化する画像データを得ることができる。これにより比較的小規模な回路であっても高速に画像データを算出できるので、回路規模を増強せずに高速フレームの画像データの表示が可能となる。
　図９の画像単体では視野角が広いが被写体の歪みにより距離や大きさを認識し難い、これに対して図９～図１４の様に除々に補正率を変化させた画像を表示させることにより歪みが解消され距離や大きさを正しく認識することができる。なお図９から図１４まで表示させる周期としては数秒に設定しているが、操作部１３０への指示により適宜変更するようにしてもよい。またこれらの説明においては、初期画像として第１補正係数に対応する画像データ、次に補間補正係数、そして最終画像として第２補正係数に対応する画像データとする順でそれぞれに基づいて算出した画像データを表示する例について説明したが、初期画像と最終画像はそれぞれ第１補正係数、第２補正係数の間の任意の補正率に設定してもよい。例えば、初期画像と最終画像の歪み補正率の組み合わせを、０％と４０％、あるいは４０％と６０％とする場合である。
　更に、表示順をその逆に設定してもよい。この場合は、表示部１２０には、最終値の歪み補正率が高い第２補正係数に基づいて算出された画像データを初期画像として表示され、続いて歪み補正率が徐々に低くなる画像データを表示し、最終画像として初期値の第１補正係数に対応する画像データが表示される。これを可変可能な一定の周期で繰り返す。
　［第２の実施形態］
　次に、第２の実施形態について図１５の制御フローに基づいて説明する。第２の実施形態においては図４に示した実施形態と異なり補正係数を変更するのに併せて仮想投影面の位置も変更する。
　図４に示した制御フローと同じ処理については同じ符号を示しており説明を省略する。また図１５に示す制御以外の構成は、図１から図８で説明した構成と同一である。
　第２の実施形態においては、ステップＳ１５において、仮想投影面の位置は、第１位置と第２位置の２箇所の位置が設定される。その他の設定は、図４に示したステップＳ１０と同じ処理を行う。
　ステップＳ２５では、初期値の（１）第１補正係数及び第１位置から、最終値の（２）第２補正係数及び第２位置まで除々に、これらを変更してゆく。補正係数と位置の変更は対応するように変更してゆく。例えば、補正係数と位置のそれぞれの初期値を０％と最終値を１００％として両者を同じ比率で変更する。変更の具体例については後述する。ステップＳ３０では、ステップＳ２５で設定された補正係数及び仮想投影面ＶＰの位置に基づいて歪み補正処理した画像データを取得する。ここで、位置変更の具体例について図１６から図１９に基づいて説明する。
　［仮想投影面ＶＰの位置の変更の具体例］
　図１６は、カメラ座標系の画像中心ｏを回転中心（若しくは移動中心）として仮想投影面ＶＰ０の位置を変更する例である。図１６に示すように画像中心ｏを回転中心としてｘ軸回りの回転がｐｉｔｃｈ（ｔｉｌｔ：チルトともいう）であり、ｙ軸回りの回転がｙａｗ（ｐａｎ：パンともいう）、Ｚ軸回りの回転がｒｏｌｌである。
　図１７は、入力された回転量の設定値に基づいて仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。仮想投影面ＶＰ０上の直交する関係となる２軸の一方をＹａｗ－ａｘｉｓ、他方をＰ－ａｘｉｓとして設定する。両者は中心ｏｖを通る軸であり、中心ｏｖを回転中心としてＹａｗ－ａｘｉｓ回りの回転を仮想ｙａｗ回転、Ｐ－ａｘｉｓ回りの回転を仮想ｐｉｔｃｈ回転という。以下においては仮想カメラＣａ０を回転あるいは位置変更させたことに相当する視点変換が行われる。
　図１８は、仮想ｐｉｔｃｈ回転させた例であり、仮想投影面ＶＰ０を位置変更して仮想ｐｉｔｃｈ回転させたものが仮想投影面ＶＰ１であり、位置変更後において仮想カメラＣａ１は上方に位置し、カメラ視点ｃａｖは見下げる方向となる。
　図１９は、入力されたオフセット移動量の設定値に基づいて仮想投影面ＶＰ０をｘ方向、ｙ方向、Ｚ方向にそれぞれオフセット移動（平行移動）させた例を示すものである。初期状態においては、Ｚ方向へのオフセット移動は、ズームイン、ズームアウトと同様の動きとなる。初期状態以外においては、各方向へのオフセット移動は光学系の撮影領域外の暗部を画像領域外に移動させる際に有効である。
　図２０から図２５は、表示部１２０に表示させた表示画像の例である。これらの図の例では、補正率を変化に対応させて仮想投影面ＶＰの位置も変化させている。仮想投影面は第１位置と第２位置が設定されており、同図の例では第１位置は初期位置（レンズ中心面ＬＣと平行に配置され、仮想投影面ＶＰの中心ｏｖはＺ軸上に位置）である。第２位置は、初期位置に対してｐｉｔｃｈ回転（以下実ｐｉｔｃｈともいう）を－４５ｄｅｇ（図１６参照）及び仮想ｐｉｔｃｈ回転を－４５ｄｅｇ（図１７、図１８参照）させたものである。
　初期値では補正率と仮想投影面ＶＰの位置はそれぞれ補正率０％（第１補正係数）と第１位置である。最終値では補正率と位置はそれぞれ補正率１００％（第２補正係数）と第２位置である。以下の説明においては初期値の第１位置は位置移動率０％、最終値の第２位置は位置移動率１００％として説明する。また以下に説明する実施形態では、位置移動率と補正率は同じ変化幅で変化するような対応関係としている。例えば補正率が１０％の場合には、位置移動率も同じ１０％に設定している。なお、補正率と位置変動率は同じ変化幅に限定する必要はなく、位置変動率は、０％と１００％の２段階で変更するようにしてもよい。
　図２０は、初期値として補正率０％（第１補正係数）で位置移動率０％（第１位置）の条件で算出した画像データを表示させた例である。図２１は補正率、位置移動率がともに２０％の条件下で算出された画像データを表示させた例である。図２２、図２３、図２４、図２５は同様に、補正率、位置移動率がともに４０％、６５％、９０％、１００％の条件下で算出した画像データを表示させた例である。図２５では歪み補正率が１００％とすることにより画像の歪みは解消されており、また位置の移動により仮想ｐｉｔｃｈ及び実ｐｉｔｃｈがともに－４５ｄｅｇ変更されており被写体を見下ろすように視点変更がなされている。
　表示部１２０には、図２０を初期画像として、最終画像の図２５まで一定の速度で表示画像を順次更新しながら表示させている。例えばフレームレート３０ｆｐｓであれば、補正率及び位置移動率をともに１％／２フレームの割合で除々に変更した画像データを図２０、図２１、図２２、図２３、図２４、図２５のような補正率及び位置移動率が低い画像から高い画像まで順に表示させ、これを一定周期で繰り返している。
　本実施形態によれば、位置が設定された前記仮想投影面を補正係数によりカメラ座標系に変換し、変換したカメラ座標系の座標及び前記画素の画素データに基づいて前記仮想投影面の画像データの算出を行うに際し、補正係数及び位置のデータを変更させながら画像データの算出を行うことにより、歪補正率変更とともに仮想投影面の位置変更（カメラ視点の変更）を並行して行う場合であっても、別なプロセスを設ける必要がない。これにより図４に示した実施形態と同じ処理方式や装置に対して新たなリソースの増強を必要とせずに位置変更と歪補正率変更を同時に行うことが可能となる。
　以上に説明した実施の形態では、集光レンズを含む光学系として、単玉レンズからなる光学系を例示して説明したが、集光レンズは複数枚のレンズで構成されてもよく、光学系には集光レンズ以外の光学素子を備えていてもよいことは勿論であり、本願の発明を適用できるものである。その場合には、歪み補正係数は、光学系全体としての値を利用すればよい。しかしながら、撮像装置の小型化や低コスト化の上では、以上の実施の形態で例示したように、単玉のレンズを用いることが最も好ましく、単玉のレンズとしては単玉の広角レンズ、魚眼レンズ等が挙げられる。
　１００　制御装置
　１０１　画像処理部
　１０２　設定部
　１０３　記憶部
　１１０　撮像ユニット
　１２０　表示部
　１３０　操作部
　ＶＰ　仮想投影面
　ＬＣ　レンズ中心面
　ＩＡ　撮像素子面
　Ｏ　レンズ中心
　ｏ　画像中心
　ｏｖ　仮想投影面の中心

Claims (17)

  1. 　光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理方法において、
    　ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
    　前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第２ステップと、
    　前記第２ステップで算出された画像データを用いて表示用画像を出力する第３ステップと、
    　を有し、
    　前記第２ステップにおける前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数段階の補正係数に変更され、
    　前記第２ステップ及び前記第３ステップにより前記複数段階のぞれぞれの段階における補正係数を用いて算出された画像データを用いて、前記表示用画像を順次切り替えて出力させることを特徴とする画像処理方法。
  2. 　前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする請求項１に記載の画像処理方法。
  3. 　前記第１ステップにおけるワールド座標系の仮想投影面の位置を第１位置に設定し、前記第２ステップにおける画像データを、前記第１補正係数及び前記第１位置に基づいて算出して、算出した画像データを用いて前記第３ステップにおいて表示用画像を出力した後に、
    　前記第１ステップにおけるワールド座標系の仮想投影面の位置を前記第１位置と異なる第２位置に設定し、前記第２ステップにおける画像データを、前記第１補正係数よりも歪み補正率が高い第２補正係数及び前記第２位置に基づいて算出して、算出した画像データを用いて前記第３ステップにおいて表示用画像を出力させることを順次行い、徐々に歪み補正率が高い補正係数を用いて算出された画像データを用いて、表示用画像を切り替えて出力させることを特徴とする請求項１又は２に記載の画像処理方法。
  4. 　前記第１ステップでは、ワールド座標系の仮想投影面の第１位置と第２位置を設定し、
    　前記第２ステップでは、前記補正係数と前記仮想投影面の位置を初期値の前記第１補正係数及び該第１補正係数に対応させた前記第１位置から、最終値の前記第２補正係数及び該第２補正係数に対応させた前記第２位置まで、補正率と位置をともに変えて複数段階に変更し、
    　前記第３ステップでは変更した複数の前記補正係数及び前記位置により算出した画像データを用いて、表示用画像を切り替えて出力させることを特徴とする請求項１又は２に記載の画像処理方法。
  5. 　前記第１ステップにおける仮想投影面の位置及びサイズは、ユーザの指示に基づいて設定されることを特徴とする請求項１から４のいずれか一項に記載の画像処理方法。
  6. 　光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置であって、
    　位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
    　前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、
    　を有し、
    　前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数の補正係数であり、
    　前記画像信号出力部では、複数の前記補正係数によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする画像処理装置。
  7. 　前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする請求項６に記載の画像処理装置。
  8. 　前記仮想投影面は、第１位置と第２位置が設定されており、
    　前記仮想投影面は、初期値の前記第１補正係数に対応する前記第１位置から、最終値の前記第２補正係数に対応する前記第２位置まで、複数の前記補正係数に対応させて複数の位置が設定され、
    　前記画像信号出力部では、複数の前記補正係数及び該補正係数に対応する前記位置によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする請求項６又は７に記載の画像処理装置。
  9. 　光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置であって、
    　ワールド座標系における仮想投影面の位置及びサイズを設定可能な設定部と、
    　前記設定部で設定された前記仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
    　画像処理部で算出した画像データを表示する表示部と、
    　を有し、
    　前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数の補正係数であり、
    　前記表示部では、複数の前記補正係数によりそれぞれ算出された画像データの表示用の画像信号を順次、表示することを特徴とする画像処理装置。
  10. 　前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする請求項９に記載の画像処理装置。
  11. 　前記設定部により前記仮想投影面は第１位置と第２位置が設定されており、
    　前記仮想投影面は、初期値の前記第１補正係数に対応する前記第１位置から、最終値の前記第２補正係数に対応する前記第２位置まで、複数の前記補正係数に対応させて複数の位置が設定され、
    　前記表示部では、複数の前記補正係数及び該補正係数に対応する前記位置によりそれぞれ算出された画像データの表示用の画像信号を順次、表示することを特徴とする請求項９又は１０に記載の画像処理装置。
  12. 　光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置のプログラムであって、コンピュータを、
    　仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
    　前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部、
    　として機能させ、
    　前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数の補正係数であり、
    　前記画像信号出力部では、複数の前記補正係数によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とするプログラム。
  13. 　前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする請求項１２に記載のプログラム。
  14. 　前記仮想投影面は第１位置と第２位置が設定されており、
    　前記仮想投影面は、初期値の前記第１補正係数に対応する前記第１位置から、最終値の前記第２補正係数に対応する前記第２位置まで、複数の前記補正係数に対応させて複数の位置が設定され、
    　前記画像信号出力部では、複数の前記補正係数及び該補正係数に対応する前記位置によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする請求項１２又は１３に記載のプログラム。
  15. 　光学系と、
    　複数の画素を有する撮像素子と、
    　仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
    　前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、
    　を有し、
    　前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数の補正係数であり、
    　前記画像信号出力部では、複数の前記補正係数によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする撮像装置。
  16. 　前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする請求項１５に記載の撮像装置。
  17. 　前記仮想投影面は、第１位置と第２位置が設定されており、
    　前記仮想投影面は、初期値の前記第１補正係数に対応する前記第１位置から、最終値の前記第２補正係数に対応する前記第２位置まで、複数の前記補正係数に対応させて複数の位置が設定され、
    　前記画像信号出力部では、複数の前記補正係数及び該補正係数に対応する前記位置によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする請求項１５又は１６に記載の撮像装置。
PCT/JP2010/060441 2010-06-21 2010-06-21 画像処理方法、プログラム、画像処理装置及び撮像装置 WO2011161746A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2010/060441 WO2011161746A1 (ja) 2010-06-21 2010-06-21 画像処理方法、プログラム、画像処理装置及び撮像装置
JP2012521185A JPWO2011161746A1 (ja) 2010-06-21 2010-06-21 画像処理方法、プログラム、画像処理装置及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/060441 WO2011161746A1 (ja) 2010-06-21 2010-06-21 画像処理方法、プログラム、画像処理装置及び撮像装置

Publications (1)

Publication Number Publication Date
WO2011161746A1 true WO2011161746A1 (ja) 2011-12-29

Family

ID=45370960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/060441 WO2011161746A1 (ja) 2010-06-21 2010-06-21 画像処理方法、プログラム、画像処理装置及び撮像装置

Country Status (2)

Country Link
JP (1) JPWO2011161746A1 (ja)
WO (1) WO2011161746A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016535911A (ja) * 2014-09-24 2016-11-17 チュンアン ユニバーシティー インダストリー アカデミック コアポレイション ファウンデイション 魚眼レンズ画像補正方法及びその装置
KR20210132590A (ko) * 2020-04-27 2021-11-04 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 영상 프레임 처리 방법 및 장치, 전자 기기, 저장 매체 그리고 프로그램
CN116342435A (zh) * 2023-05-30 2023-06-27 合肥埃科光电科技股份有限公司 一种线扫描相机畸变校正方法、计算设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261868A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
JP2000083242A (ja) * 1993-02-08 2000-03-21 Interactive Pictures Corp 全視野静止カメラとサ―ベイランスシステム
JP2000242773A (ja) * 1999-02-19 2000-09-08 Fitto:Kk 画像データ変換装置
JP2006148767A (ja) * 2004-11-24 2006-06-08 Canon Inc 映像配信システム、映像配信装置、映像受信装置、映像配信装置の通信方法、映像受信装置の表示方法、プログラム、及び記憶媒体
JP2007228531A (ja) * 2006-02-27 2007-09-06 Sony Corp カメラ装置及び監視システム
JP2008052589A (ja) * 2006-08-25 2008-03-06 Konica Minolta Holdings Inc 広角画像の歪み補正方法
JP2008311890A (ja) * 2007-06-14 2008-12-25 Fujitsu General Ltd 画像データ変換装置、及びこれを備えたカメラ装置
WO2009014075A1 (ja) * 2007-07-20 2009-01-29 Techwell Japan K.K. 画像処理装置及びカメラシステム
JP2009043060A (ja) * 2007-08-09 2009-02-26 Canon Inc 画像データに歪曲収差補正を施す画像処理方法、プログラム、および、記録媒体

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083242A (ja) * 1993-02-08 2000-03-21 Interactive Pictures Corp 全視野静止カメラとサ―ベイランスシステム
JPH11261868A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
JP2000242773A (ja) * 1999-02-19 2000-09-08 Fitto:Kk 画像データ変換装置
JP2006148767A (ja) * 2004-11-24 2006-06-08 Canon Inc 映像配信システム、映像配信装置、映像受信装置、映像配信装置の通信方法、映像受信装置の表示方法、プログラム、及び記憶媒体
JP2007228531A (ja) * 2006-02-27 2007-09-06 Sony Corp カメラ装置及び監視システム
JP2008052589A (ja) * 2006-08-25 2008-03-06 Konica Minolta Holdings Inc 広角画像の歪み補正方法
JP2008311890A (ja) * 2007-06-14 2008-12-25 Fujitsu General Ltd 画像データ変換装置、及びこれを備えたカメラ装置
WO2009014075A1 (ja) * 2007-07-20 2009-01-29 Techwell Japan K.K. 画像処理装置及びカメラシステム
JP2009043060A (ja) * 2007-08-09 2009-02-26 Canon Inc 画像データに歪曲収差補正を施す画像処理方法、プログラム、および、記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016535911A (ja) * 2014-09-24 2016-11-17 チュンアン ユニバーシティー インダストリー アカデミック コアポレイション ファウンデイション 魚眼レンズ画像補正方法及びその装置
KR20210132590A (ko) * 2020-04-27 2021-11-04 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 영상 프레임 처리 방법 및 장치, 전자 기기, 저장 매체 그리고 프로그램
KR102451197B1 (ko) 2020-04-27 2022-10-06 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 영상 프레임 처리 방법 및 장치, 전자 기기, 저장 매체 그리고 프로그램
US11557062B2 (en) 2020-04-27 2023-01-17 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for processing video frame
CN116342435A (zh) * 2023-05-30 2023-06-27 合肥埃科光电科技股份有限公司 一种线扫描相机畸变校正方法、计算设备及存储介质
CN116342435B (zh) * 2023-05-30 2023-08-22 合肥埃科光电科技股份有限公司 一种线扫描相机畸变校正方法、计算设备及存储介质

Also Published As

Publication number Publication date
JPWO2011161746A1 (ja) 2013-08-19

Similar Documents

Publication Publication Date Title
JP6702323B2 (ja) カメラモジュール、固体撮像素子、電子機器、および撮像方法
CN107770433B (zh) 影像获取装置及其影像平顺缩放方法
JP6821339B2 (ja) 像振れ補正装置、傾き補正装置、像振れ補正装置の制御方法、傾き補正装置の制御方法
US8134608B2 (en) Imaging apparatus
JP6253280B2 (ja) 撮像装置およびその制御方法
US9313411B2 (en) Camera, distortion correction device and distortion correction method
US8913162B2 (en) Image processing method, image processing apparatus and image capturing apparatus
WO2014012946A1 (en) Correction of image distortion in ir imaging
JP6236908B2 (ja) 撮像装置、撮像システムおよび撮像方法
WO2011161746A1 (ja) 画像処理方法、プログラム、画像処理装置及び撮像装置
WO2012056982A1 (ja) 画像処理方法、画像処理装置及び撮像装置
TWI693828B (zh) 顯示擷取裝置與其操作方法
JP2013005393A (ja) 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置
JP5682473B2 (ja) 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置
JP5393877B2 (ja) 撮像装置および集積回路
JP4977556B2 (ja) 半導体集積回路装置および描画処理表示システム
WO2011158344A1 (ja) 画像処理方法、プログラム、画像処理装置及び撮像装置
WO2012060271A1 (ja) 画像処理方法、画像処理装置及び撮像装置
WO2011158343A1 (ja) 画像処理方法、プログラム、画像処理装置及び撮像装置
JP7510264B2 (ja) 画像処理装置および画像処理方法、撮像装置
JP2013005392A (ja) 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置
TWI639338B (zh) 影像擷取裝置及其影像平順縮放方法
JP6291795B2 (ja) 撮像システムおよび撮像方法
WO2012081400A1 (ja) 画像処理方法、画像処理装置及び撮像装置
WO2012077544A1 (ja) 画像処理方法及び撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10853606

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012521185

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10853606

Country of ref document: EP

Kind code of ref document: A1