WO2012081400A1 - 画像処理方法、画像処理装置及び撮像装置 - Google Patents
画像処理方法、画像処理装置及び撮像装置 Download PDFInfo
- Publication number
- WO2012081400A1 WO2012081400A1 PCT/JP2011/077618 JP2011077618W WO2012081400A1 WO 2012081400 A1 WO2012081400 A1 WO 2012081400A1 JP 2011077618 W JP2011077618 W JP 2011077618W WO 2012081400 A1 WO2012081400 A1 WO 2012081400A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- distortion
- distortion coefficient
- image processing
- image
- image data
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 85
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims abstract description 45
- 238000003860 storage Methods 0.000 claims abstract description 13
- 238000012937 correction Methods 0.000 claims description 62
- 238000003384 imaging method Methods 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 12
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 241000226585 Antennaria plantaginifolia Species 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3877—Image rotation
- H04N1/3878—Skew detection or correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Definitions
- the present invention relates to an image processing method, an image processing apparatus, and an imaging apparatus that perform distortion correction processing on an image captured by an imaging element via an optical system including a condenser lens.
- Patent Document 1 discloses a correction method of the prior art that corrects distortion generated in a captured image captured using a lens with a short focal length using a lens correction parameter.
- Patent Document 2 it is necessary to use an external information processing device to calculate the optical distortion correction parameter for each lens position from the wide end to the tele end of the optical zoom mechanism by using an interpolation operation.
- the optical distortion correction parameter for the discrete lens position within the range to perform the optical zoom the lens position at the time of zooming is limited to the lens position having the optical distortion correction parameter.
- the optical zoom between the positions is connected by electronic zoom.
- distortion correction is performed depending on the difference in the angle of view switched by the angle-of-view switching means, such as performing distortion correction in the case of the angle of view on the wide angle side, and not performing distortion correction in the case of the angle of view other than the wide angle side.
- a video processing apparatus for changing the above is disclosed.
- Patent Document 1 there is a problem that when a captured image obtained by a lens is hardwareized as an image processing device, the processing time becomes long, the circuit scale increases, and the cost increases. .
- the lens position at the time of zooming is limited to a position corresponding to the discrete distortion correction parameter, and the zoom operation is omitted by interpolating the distortion correction parameter by connecting between them with an electronic zoom.
- the zoom operation of the image pickup device alone is realized.
- it can be applied only to a one-dimensional lens movement such as a zoom operation, and is difficult to apply to various movements such as panning and tilting.
- the image after distortion correction processing has a narrow viewing angle, so it is difficult to recognize a wide area at once.
- An image that is not subjected to distortion correction processing has a wide viewing angle, but on the other hand, the subject is distorted, making it difficult to recognize the sense of distance and size.
- the present invention provides an image processing method, an image processing apparatus, and an imaging apparatus capable of accurately recognizing a subject and shortening the processing time with a relatively small circuit.
- the purpose is to provide.
- the coordinates in the world coordinate system of each pixel of the virtual projection plane set in the first step are converted into a camera coordinate system using a distortion coefficient, and based on the converted coordinates in the camera coordinate system and the plurality of pixel data
- a second step of calculating image data of the virtual projection plane set in the first step is converted into a camera coordinate system using a distortion coefficient, and based on the converted coordinates in the camera coordinate system and the plurality of pixel data
- a second step of calculating image data of the virtual projection plane set in the first step A third step of displaying a display screen based on the image data calculated in the second step;
- Have In the second step, one distortion correction rate from a first distortion coefficient for correcting distortion caused by the optical system to a second distortion coefficient not correcting distortion is set within a range of 100% to 0%.
- a plurality of image data is calculated using the above distortion coefficient and a plurality of distortion coefficients of the second distortion
- the number of divisions of the display screen is two, and of the two areas,
- the calculation of the image data of one area is performed using the second distortion coefficient
- the calculation of the other area image data is a distortion coefficient calculated by an interpolation process from the second distortion coefficient to the first distortion coefficient, and is continuously changed from the second distortion coefficient to the first distortion coefficient.
- the number of divisions of the display screen is two, and the screen ratio of one of the two areas in the initial stage is set higher than the screen ratio of the other area, 3.
- the image processing method according to 1 or 2 wherein a screen ratio of two regions obtained by dividing the display screen is continuously changed by increasing the other region.
- the coordinates in the world coordinate system of each pixel of the virtual projection plane set in the first step are converted into a camera coordinate system using a distortion coefficient, and based on the converted coordinates in the camera coordinate system and the plurality of pixel data
- a second step of calculating image data of each virtual projection plane set in the first step A third step of displaying the plurality of image data calculated in the second step in each of a plurality of regions obtained by dividing the display screen; Based on a user's selection instruction for any one of the plurality of areas displayed in the third step, the screen ratio of the selected area to the entire area of the display screen is continuously increased or selected.
- a fourth step of continuously changing the position and size of the virtual projection plane corresponding to the set area.
- An image processing apparatus that obtains image data processed using a plurality of pixel data obtained by receiving an image sensor having a plurality of pixels via an optical system, A storage unit for storing a distortion coefficient; The coordinates in the world coordinate system of each pixel of the virtual projection plane for which the position and size are set are converted into the camera coordinate system using the distortion coefficient stored in the storage unit, the coordinates converted into the camera coordinate system, and the plurality of coordinates An image processing unit that calculates image data of the virtual projection plane based on pixel data; An image signal output unit for outputting an image signal for a display screen of the image data calculated by the image processing unit; Have In the image processing unit, a distortion correction rate from a first distortion coefficient for correcting distortion caused by the optical system to a second distortion coefficient not correcting distortion is set within a range of 100% to 0%.
- An image processing apparatus wherein a plurality of image data calculated using two or more distortion coefficients and a plurality of distortion coefficients of the second distortion coefficient are displayed in each of a plurality of regions obtained by
- the number of divisions of the display screen is two, and of the two areas,
- the calculation of the image data of one area is performed using the second distortion coefficient
- the calculation of the other area image data is a distortion coefficient calculated by an interpolation process from the second distortion coefficient to the first distortion coefficient, and is continuously changed from the second distortion coefficient to the first distortion coefficient.
- the number of divisions of the display screen is two, and the screen ratio of one of the two areas in the initial stage is set higher than the screen ratio of the other area, 8.
- the virtual projection plane is plural,
- the image processing unit calculates a plurality of the image data by applying the distortion coefficient having a different distortion correction rate to each of the plurality of virtual projection planes.
- the image processing apparatus according to item.
- An image processing apparatus that obtains image data processed using a plurality of pixel data obtained by receiving an image sensor having a plurality of pixels via an optical system, A storage unit for storing a distortion coefficient; The coordinates in the world coordinate system of each pixel of the plurality of virtual projection planes whose positions and sizes are set are converted into the camera coordinate system using the distortion coefficient stored in the previous storage unit, the coordinates converted into the camera coordinate system, An image processing unit that calculates image data of each of the virtual projection planes based on a plurality of pixel data; An image signal output unit that divides a display region into a plurality of regions and outputs an image signal for a display screen in which a plurality of image data calculated by the image processing unit is arranged for the divided regions; Have In the image processing unit, the screen ratio of the selected area to the whole area of the display screen is continuously increased or selected based on a user selection instruction for any one of the plurality of areas.
- An image processing apparatus characterized by continuously changing the position and size of the virtual projection plane corresponding to
- Optical system An imaging device having a plurality of pixels; A storage unit for storing a distortion coefficient of the optical system; The coordinates in the world coordinate system of each pixel of the virtual projection plane whose position and size are set are converted into the camera coordinate system using the distortion coefficient of the optical system, and the coordinates converted into the camera coordinate system and the image sensor are received.
- An image processing unit that calculates image data of the virtual projection plane based on a plurality of pixel data obtained in the above-described manner; An image signal output unit for outputting an image signal for a display screen of the image data calculated by the image processing unit; A display unit for displaying the image signal; Have In the image processing unit, a distortion correction rate from a first distortion coefficient for correcting distortion caused by the optical system to a second distortion coefficient not correcting distortion is set within a range of 100% to 0%.
- An imaging apparatus wherein a plurality of image data calculated using at least two distortion coefficients and a plurality of distortion coefficients of the second distortion coefficient are displayed in each of a plurality of regions obtained by dividing the display screen.
- the number of divisions of the display screen is two, and of the two areas,
- the calculation of the image data of one area is performed using the second distortion coefficient
- the calculation of the other area image data is a distortion coefficient calculated by an interpolation process from the second distortion coefficient to the first distortion coefficient, and is continuously changed from the second distortion coefficient to the first distortion coefficient.
- the number of divisions of the display screen is two, and the screen ratio of one of the two areas in the initial stage is set higher than the screen ratio of the other area, 13.
- the virtual projection plane is plural,
- the image processing unit calculates a plurality of the image data by applying the distortion coefficient having a different distortion correction rate to each of the plurality of virtual projection planes.
- the imaging device according to item.
- An imaging device having a plurality of pixels; A storage unit for storing a distortion coefficient of the optical system; The coordinates in the world coordinate system of each pixel of the plurality of virtual projection planes whose positions and sizes are set are converted into the camera coordinate system using the distortion coefficient of the optical system, and the coordinates converted into the camera coordinate system and the image sensor; An image processing unit that calculates image data of each of the virtual projection planes based on a plurality of pixel data obtained by receiving light; An image signal output unit that divides a display region into a plurality of regions and outputs an image signal for a display screen in which a plurality of image data calculated by the image processing unit is arranged for the divided regions; A display unit for displaying the image signal; Have In the image processing unit, the screen ratio of the selected region to the entire region of the display screen is continuously increased based on a user selection instruction for any one of the plurality of regions displayed on the display unit.
- An image pickup apparatus characterized by causing the position and size of the virtual projection plane corresponding to
- one or more distortion coefficients set within a range from the first distortion coefficient to the second distortion coefficient that does not correct the distortion, and the second distortion coefficient By displaying a plurality of image data calculated using a plurality of distortion coefficients in each of a plurality of areas obtained by dividing the display screen, it becomes possible to accurately recognize a subject, and distortion using a virtual projection plane By calculating the image data subjected to the correction process, the processing time can be shortened with a relatively small circuit.
- FIG. 1 It is a schematic diagram explaining the distortion correction which concerns on this embodiment.
- An example in which the position of the virtual projection plane VP is moved is shown.
- (a) is a figure which shows the setting of the screen ratio of the screen 2 with respect to the whole display screen
- (b) is a figure which shows the screen which sets the direction of the slide-in of the screen 2. is there.
- FIG. It is a schematic diagram which shows the change (a), (b), (c), (d) of the display screen displayed on the display part 120.
- FIG. It is a time chart explaining switching of RAM109 to refer in the setting which changes screen ratio from 0% to 50%. It is a time chart explaining switching of RAM109 to be referred to when the screen ratio is fixed to 50%.
- FIG. 1 It is a display example of an initial screen in which the screen ratio of screen 2 is 0%. This is an example in which the screen ratio of screen 2 is changed every 10% from 10% to 100%.
- A) And (b) is a figure which shows the control flow in 2nd Embodiment.
- (A) And (b) is an example of the input screen of the user operation part 130.
- FIG. In this example, the screen ratio of the screen A is increased from 25% to 100% (b1 to b5).
- (c1) to (c3) is an example in which the upper left image (screen A) is “moved right”, and (d1) to (d3) is “right rotation”. This is an example.
- FIG. 1 is a schematic diagram for explaining distortion correction according to the present embodiment.
- X, Y, and Z are world coordinate systems, and the origin O is the lens center.
- Z includes the optical axis, and the XY plane includes the lens center plane LC passing through the lens center O.
- Point P is an object point of the subject in the world coordinate system XYZ.
- ⁇ is an incident angle with respect to the optical axis (coincident with the Z axis).
- X and y are camera coordinate systems, and the xy plane corresponds to the image sensor surface IA.
- o is the optical center, which is the intersection of the optical axis Z and the image sensor surface.
- a point p is a point on the image sensor surface in the camera coordinate system, and an LUT (also referred to as a “distortion coefficient”) generated by using an object point P using a parameter based on physical characteristics of the lens (hereinafter referred to as “lens parameter”). And converted into the camera coordinate system.
- LUT also referred to as a “distortion coefficient”
- the VP is a virtual projection plane.
- the virtual projection plane VP is set on the opposite side of the imaging element (and imaging element surface IA) with respect to the lens position (lens center plane LC) of the optical system.
- the virtual projection plane VP can be moved and changed in size based on an instruction from the user to the operation unit 130 (see FIG. 3).
- position change is a concept that includes not only the case where the virtual projection plane VP is translated on the XY plane, but also an angle change (also referred to as an attitude change) with respect to the XY plane.
- the virtual projection plane VP is arranged at a predetermined position (Z direction) parallel to the lens center plane LC (XY direction) with a predetermined size, and the center of the virtual projection plane VP.
- ov is located on the Z axis.
- Gv is a point where the object point P is projected onto the virtual projection plane VP, and is an intersection of the object point P and a straight line passing through the lens center O and the virtual projection plane VP.
- a virtual projection plane VP1 in FIG. 2 shows a state in which the virtual projection plane VP0 is rotated on the XZ plane based on the input of the operation unit 130.
- FIG. 3 is a block diagram illustrating a schematic configuration of the imaging apparatus.
- the imaging apparatus includes an imaging unit 110, an image processing unit 100, a display unit 120, a user operation unit 130, and a synchronization signal generation circuit 150.
- the imaging unit 110 includes a short-focus lens, an imaging element, and the like.
- examples of the lens include a wide-angle lens and a fisheye lens.
- the image processing unit 100 based on an input instruction to the user operation unit 130, the position and size of the virtual projection plane VP are set, distortion correction strength, distortion correction change speed and change upper and lower limit settings, and display screen display. Settings can be made.
- the image processing unit also functions as an image signal output unit that outputs an image signal for display.
- a horizontal synchronization signal (Hsy), a vertical synchronization signal (Vsy), and a reference clock (clk) are generated. These signals are generated by the imaging unit 110 and the distortion correction processing unit 101 of the image processing unit 100. , The distortion correction parameter generation unit 102, the LUT generation unit 103, and the video memory 104.
- the viewpoint of the camera is changed, such as punching, tilting, zooming in, and zooming out.
- These settings are converted by the distortion correction parameter generation unit 102. Is sent to the distortion correction processing unit 101 as a distortion correction parameter.
- the setting information of the distortion correction change speed and change width is sent to the LUT generation unit 103, and the LUT is generated from these information and the lens parameter information stored in the ROM.
- the ROM 108 stores at least two lens parameters. One is a lens parameter based on the physical characteristics of the actual lens of the imaging unit 110, and the other is a lens parameter when distortion correction is not performed (corresponding to a pinhole lens).
- the LUT generated by each lens parameter is the first LUT and the second LUT (also referred to as “first distortion coefficient” and “second distortion coefficient”, respectively).
- the LUT generated by the LUT generation unit 103 is written into the RAM 109a or the RAM 109b (hereinafter collectively referred to as the RAM 109). Writing is performed at a timing synchronized with the vertical synchronization signal (Vsy) sent from the synchronization signal generation circuit 150.
- Vsy vertical synchronization signal
- the distortion correction processing unit 101 performs distortion correction processing on the input image from the imaging unit using the distortion correction parameters sent from the distortion correction parameter generation unit and the LUT stored in the RAM 109, and generates an output image. To do.
- the output image is written in the video memory 104 and sent to the display unit 120 frame by frame in accordance with the synchronization signal from the synchronization signal generation circuit 150.
- the display unit 120 includes a display screen such as a liquid crystal display, and sequentially displays the output image sent on the display screen.
- the user operation unit 130 includes a keyboard, a mouse, or a touch panel arranged on a liquid crystal display for display, and accepts a user input operation.
- FIG. 4 is a diagram showing a control flow of the present embodiment. Hereinafter, the distortion correction processing will be described with reference to FIGS.
- step S10 distortion correction parameters are set.
- the distortion correction parameter includes lens parameter setting and virtual projection plane VP position setting. These settings are performed by the distortion correction parameter generation unit in response to an input from the user operation unit 130.
- FIG. 5 is an example of an input screen of the user operation unit 130.
- the initial and final distortion coefficients are set for each of the two screens.
- the screen appears to change continuously from the beginning to the end (except when the initial and end settings are the same), and the end is the end of the continuous interval. Immediately after the end, it becomes an initial state, and it seems to change discontinuously between the end and the initial stage. The image from the initial stage to the final stage is changed at a cycle set on the setting screen described later, and this is repeated.
- the initial and periodic distortion coefficients are set by specifying one of the areas a51, and a numerical input screen (not shown) is displayed.
- the distortion correction rate of 0% is a second distortion coefficient that is not subjected to distortion correction.
- the correction rate of 100% is a first distortion coefficient for performing distortion correction.
- the distortion coefficient corresponding to the distortion correction ratio between 100% and 0% is a distortion coefficient calculated from the first distortion coefficient to the second distortion coefficient by interpolation processing such as linear interpolation.
- the time (cycle) from the initial stage to the final stage can be set by the area a52 shown in FIG. In the example of the figure, it is set to 5 sec, and this is repeated by changing from the initial stage to the final stage in a period of 5 sec.
- FIG. 5 shows another example in FIG.
- the distortion coefficient can be set by the area a51 and the viewpoint conversion can be performed by the area a54.
- “front” is an example in which the virtual projection plane VP is provided at the initial position as shown in FIG. 1, and “downward ⁇ 45 deg” is a pitch, This is to rotate the position of the virtual projection plane VP 45 degrees downward about the x axis with the image center o (see FIG. 1) as the rotation center (or movement center).
- the viewpoint position is changed from an initial front to an overhead viewpoint that looks down on the lower part of the final stage.
- two virtual projection planes VP are set. Only in the initial stage, the two virtual projection planes VP have the same position and size, but the positions of the virtual projection planes VP corresponding to the screen 2 gradually move.
- step S11 display screen setting is performed.
- FIG. A screen for setting the direction of is shown.
- the third from the top is selected, which indicates that the screen ratio of the screen 2 is changed from the initial 0% to the final 50% in the cycle set in step S10.
- FIG. 7B an upward arrow is selected, and in this setting, the screen 2 is slid upward from the lower end of the display screen.
- the screen 2 occupies a screen ratio of 25% and 50% from the initial stage.
- the setting screen in FIG. Functions as a screen for setting the initial arrangement position of the screen 2.
- FIG. 8 is a schematic diagram showing changes in the display screen displayed on the display unit 120 in the settings of FIGS. 7A and 7B.
- FIG. 8A is an initial display screen
- FIG. d) shows the display screen at the end
- FIGS. 8B and 8C show the display screen when the screen ratio of the screen 2 is 10% and 30% during the change from the initial stage to the final stage.
- step S21 an image signal is input from the imaging unit 110, and an input image is obtained at a frame rate of 30 fps, for example.
- step S22 the coordinates of each pixel on the virtual projection plane VP are converted from the world coordinate system to the camera coordinate system (w2c conversion).
- the transformation of the coordinate system is a coordinate transformation that applies to which coordinate position of the camera coordinates the world coordinate position corresponds to based on the distortion coefficient.
- the distortion correction and the virtual projection plane VP Viewpoint transformations such as rotation, translation, enlargement, reduction, etc. are performed together with the calculation of the position.
- two distortion coefficients are set as the distortion coefficient (A1) between the second distortion coefficient and the distortion coefficient between the second distortion coefficient and the first distortion coefficient by setting in step S10.
- step S22 coordinate conversion is performed in accordance with the set distortion parameter.
- the two or more distortion coefficients used in step S22 are performed by referring to the distortion coefficients stored in the RAMs 109a and 109b.
- the distortion coefficient stored in the RAM 109b is written and updated for each frame.
- a vertical synchronizing signal Vsy is a synchronizing signal from the synchronizing signal generating circuit 150, and each frame image signal VD indicates a frame number (f1, f2, etc.).
- the period of the vertical synchronization signal Vsy is, for example, 30 Hz or 60 Hz. In the former case, image data is processed at a frame rate of 30 fps.
- FIG. 9 shows an example in which the screen ratio of the screen 2 is changed from 0% to 50% at a change rate of 10% / 1 frame, and f0 to f5 correspond to the screen ratio of 0% to 50%.
- FIG. 10 shows an example in which the screen ratio is fixed to 50%. All of f0 to f5 have a screen ratio of 50%.
- the example shown in the figure is an extreme example for making the illustration easy to understand. Actually, it is changed at a speed of about 1% / 3 frames (50% in 5 sec).
- LutSel is a switch for selecting a RAM to be used for reading.
- the RAM 10a is selected.
- the RAM 109b is selected.
- the RAM 109a applies a fixed distortion coefficient (for example, the second distortion coefficient), and the RAM 109b changes the distortion coefficient (for example, the second distortion coefficient to the first distortion coefficient) for each frame. Yes.
- a dark shaded area wr indicates a writing period
- a thin shaded area rd indicates a reading period.
- a delay is added to the synchronization signal from the synchronization signal generation circuit 150 using the reference clock (clk).
- the LUT is updated for each frame by changing the LUT to the RAM 109b during the V blanking period (reference: Vblank) when the signal of the vertical synchronization signal Vsy is L level. Then, the image processing unit 100 generates image data of the screen 1 (SC1) using the distortion coefficient read from the RAM 109a and image data of the screen 2 (SC2) using the distortion coefficient read from the RAM 109b.
- SC1 screen 1
- SC2 image data of the screen 2
- a configuration may be provided that includes a number of RAMs corresponding to the upper limit number of distortion coefficients.
- the RAM may be divided into a plurality of fixed memory areas so as to correspond to a plurality of distortion coefficients.
- FIG. 11 is a schematic diagram illustrating a coordinate system.
- point A (0, 0, Za), point B (0, 479, Zb), point C (639, 479, Zc), point D of the virtual projection plane VP in the world coordinate system.
- a plane G surrounded by (639, 0, Zd) is a pixel G of 640 ⁇ 480 pixels at equal intervals. Dividing into v (total number of pixels: 307,000), the coordinates of all the pixels Gv in the world coordinate system are acquired. Note that the values of the X and Y coordinates in the figure are examples, and the X and Y coordinates of the point A are displayed as zero for easy understanding.
- the coordinate Gi (x ′, y ′) in the corresponding camera coordinate system on the image sensor surface IA. ) Is calculated. Specifically, it is calculated from the incident angle ⁇ with respect to the optical axis Z obtained from the distortion coefficient and the coordinates of each pixel Gv (reference document: International Publication No. 2010/032720).
- FIG. 12 is a diagram illustrating a correspondence relationship between the camera coordinate system xy and the imaging element surface IA.
- points a to d are obtained by converting the points A to D in FIG. 11 into the camera coordinate system based on the distortion coefficient (first distortion coefficient) corresponding to the lens parameter.
- the virtual projection plane VP surrounded by the points A to D is a rectangular plane, but in FIG. 12, the region ra surrounded by the points a to d after the coordinate conversion to the camera coordinate system is (virtual projection plane VP). (Corresponding to the position of).
- the figure shows an example in which the barrel shape is distorted, but due to the characteristics of the optical system, it becomes a pincushion type and a Jinkasa type (a barrel shape at the center and a shape that changes to a straight line or a pincushion at the end). In some cases.
- FIG. 13 is a schematic diagram showing the relationship between the image height h and the incident angle ⁇ .
- the image height (distance from the optical axis Z) of the subject (object point P) on the image sensor surface IA is determined by the incident angle ⁇ and the distortion coefficient.
- pi is the imaging position of the object point P on the image sensor surface IA determined by the lens parameter for which distortion correction is not performed, and the distance (image height) from the optical axis is the incident angle ⁇ as in a pinhole camera.
- Gi is the image position after distortion correction calculated using the distortion coefficient determined by the lens parameter based on the physical characteristics of the actual lens, and the image height at that time is h.
- the coordinates of the camera coordinate system on the imaging element surface IA are determined by the distortion coefficient based on the lens parameters and the position of the virtual projection plane VP in the world coordinate system.
- step S23 image processing is performed using the pixel data of the coordinates Gi of the image sensor by performing the processing in step S22 on the image signal input in step S21.
- image generation method there is a four-point interpolation as described below.
- the pixel of the image sensor to be referenced is determined from the coordinates Gi (x ′, y ′) determined by the w2c conversion.
- the coordinates (x, y) of each pixel of the image sensor are determined.
- x and y are integers, but x ′ and y ′ of the coordinates Gi (x ′, y ′) after w2c conversion are not limited to integers and can take real values having a decimal part.
- the pixel data of the pixel of the corresponding image sensor is used as a pixel on the virtual projection plane VP. It can be used as pixel data of an output image corresponding to Gv (X, Y, Z).
- the calculated coordinates Gi are used as pixel data of the output image corresponding to the pixel Gv as four-point interpolation.
- step S24 output processing is performed based on the generated image.
- an output process in the demosaic process, an output image can be obtained by calculating BGR data of each pixel from a signal of a peripheral pixel.
- the demosaic process is, for example, an image sensor composed of pixels arranged in a Bayer array, so that each pixel has only color information for one color, and interpolation processing is performed from information on neighboring pixels to obtain the color for three colors. It is to calculate color information.
- step S25 the image processing unit 100 functioning as an “image output unit” sends the output image obtained in step S24 to the video memory 104 and causes the display unit 120 to display the output image in synchronization with the synchronization signal. By performing this continuously, a moving image of 30 fps is displayed on the display unit 120.
- FIG. 14 to 16 are examples of display screens displayed on the display unit 120 in the present embodiment.
- FIG. 14 shows an example in which an image processed with the second distortion coefficient is displayed as a full screen as an initial image (see FIG. 8A). At this time, the screen ratio of the screen 2 is 0%.
- FIG. 15 shows an example in which the screen ratio of screen 2 is displayed at 50% as the final image.
- the screen 2 displays an image processed with the first distortion coefficient.
- FIG. 16 shows an example in which the screen ratio of screen 2 is displayed at 50% as the final image.
- the screen 2 displays an image processed with the first distortion coefficient. Furthermore, the viewpoint conversion to “ ⁇ 45 deg (downward)” is also performed.
- FIG. 17 and 18 are examples in which the screen ratio of the screen 2 is changed from 0% to 100% on the display unit 120 display screen.
- the distortion correction rate for screen 1 is 0% and the distortion correction rate for screen 2 is 100%, both of which are fixed settings.
- the virtual projection plane VP corresponding to the screen 1 is located in front, and the position of the virtual projection plane VP corresponding to the screen 2 corresponds to the position of the red frame in FIG.
- FIG. 17 shows an initial screen
- FIG. 18 shows screens a1 (10%) to a10 (100%) displayed in time series in which the screen ratio and the distortion correction rate are both changed from 10% to 100%. ing.
- one or more distortion coefficients set in the range from the first distortion coefficient to the second distortion coefficient that does not correct the distortion as described above and a plurality of distortion coefficients of the second distortion coefficient are used.
- FIG. 19A and FIG. 19B are diagrams showing a control flow in the second embodiment.
- the flow in the figure corresponds to steps S10 and S11 in FIG. These flows are set using the input screen of the user operation unit 130 shown in FIG.
- step S101 the number of virtual projection planes VP (number of planes) and the position and size of each set virtual projection plane VP are set as distortion correction parameter settings.
- Setting is performed on the input screen of FIG.
- the number of screen divisions (the number of virtual projection planes) can be set by moving the cursor CS to the selection button a91.
- a state in which four virtual projection planes VP are set is shown.
- the position and size of the virtual projection plane VP are set by changing the positions and sizes of the square frames A to D shown in the setting area a80.
- the positions of the square frames A to D can be moved and the size can be changed by operating the cursor CS.
- the area a90 shows the arrangement of the display screen, and a moving image is displayed on the display unit 120 with the arrangement shown in FIG. In the figure, it is shown that the image data obtained by the respective virtual projection planes VP corresponding to the square frames A to D of the area a80 are arranged as the screens A to D.
- the default setting of the position of the virtual projection plane VP in the selection condition where the number of virtual projection planes VP is four is the entire (square frame A), left side (square frame B), front ( Square frame C), right side (square frame D).
- FIG. 20B shows a state in which the positions and sizes of the four virtual projection planes VP are changed.
- step S102 screen layout and screen selection are performed as display screen settings.
- the size of each screen can be changed by moving the position of the intersection point a92 of the area shown in the area a90. Further, by operating the cursor CS, any screen displayed in the area a90 can be selected.
- the screen A is selected, and as a result, the virtual projection plane VP corresponding to the screen A is selected for control.
- step S103 the screen ratio with respect to the entire area of the display screen of the selection screen (screen A) selected in step S102 is continuously increased. This is executed by selecting the “enlarge screen area” button a93 as shown in FIG.
- step S103 the control flow after step S21 in FIG. 4 is executed. By executing this for each frame of the moving image, the moving image in which the screen ratio is continuously changed is displayed on the display unit 120.
- FIG. 21 is an example of the display screen of the display unit 120 when the screen ratio for the entire area of the display screen of the selection screen (screen A) is set to be continuously increased.
- FIG. 21 shows a screen ratio of 25% (b1) to 100 for the entire area of the display screen of screen A shown in the upper left in order of time series from (b1) to (b5) based on the setting example of FIG. It shows an example of continuously increasing up to% (b5).
- step S104 is executed instead of step S103 in FIG.
- the above-described button group a94 shown in FIG. 20 is used for inputting a viewpoint conversion instruction, and can perform zooming, horizontal movement, and horizontal rotation.
- the left / right movement is to translate the virtual projection plane VP corresponding to the selected screen in the direction of the spread of the virtual projection plane VP at that position in the world coordinate system.
- the viewpoint conversion shown in the figure is an example, and as another example of the viewpoint conversion, movement of pitch and yaw may be selected.
- step S104 the control flow after step S21 in FIG. 4 is executed. By executing this for each frame of the moving image, the moving image on which the viewpoint conversion has been continuously performed is displayed on the display unit 120.
- FIG. 22 is an example of an image obtained by continuously performing viewpoint conversion.
- (C1) to (c3) are examples in which the upper left image (screen A) is “moved right”, and (d1) to (d3) are examples in which “right rotation” is performed.
- the recognizability of each image is improved.
- the recognizability is improved, and by gradually changing to the enlarged display continuously, the user can accurately recognize the subject without being confused. Become.
- Image Processing Unit 101 Distortion Correction Processing Unit 102 Distortion Correction Parameter Generation Unit 103 LUT Generation Unit 104 Video Memory 108 ROM 109a, 109b RAM DESCRIPTION OF SYMBOLS 110 Imaging unit 120 Display part 130 User operation part 150 Synchronization signal generation circuit VP Virtual projection surface LC Lens center plane IA Image sensor surface O Lens center o Optical center
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
被写体の正確な認識を図ること、および、比較的小規模な回路で処理時間の短縮化を図ることが可能な画像処理方法、画像処理装置及び撮像装置を提供する。位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、前記画像処理部で算出した画像データの表示画面用の画像信号を出力する画像信号出力部と、を有し、前記画像処理部では、前記光学系により生ずる歪みを補正するための第1歪み係数から歪みを補正しない第2歪み係数までの、歪み補正率が100%から0%までの範囲内で設定された1つ以上の歪み係数と、前記第2歪み係数の複数の歪み係数を用いて算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させる。
Description
本願発明は、集光レンズを含む光学系を介して撮像素子により撮像された画像の歪み補正処理を行う、画像処理方法、画像処理装置及び撮像装置に関する。
一般に、広角レンズあるいは魚眼レンズのような焦点距離の短いレンズや画角の大きなレンズを備えた光学系により撮影した画像は歪曲を伴うので、歪曲を補正する画像処理を行う。特許文献1には従来技術の補正方法として、焦点距離の短いレンズを使用して撮像された撮像画像に生じる歪曲を、レンズの補正用のパラメータを用いて補正する方法が開示されている。
特許文献2では、光学ズーム機構のワイド端からテレ端までレンズ位置毎の光学歪み補正パラメータの算出を補間演算により行うことは、外部情報処理機器を必要とし、撮像装置単体では処理能力的に難しいという問題に対して、光学ズームを行う範囲内で離散的なレンズ位置に対する光学歪み補正パラメータを備え、そしてズームを行う際のレンズ位置を光学歪み補正パラメータを備えるレンズ位置に制限し、制限された位置間の光学ズームを電子ズームでつないでいる。
特許文献3では、広角側の画角の場合には歪み補正を行い、広角側でない画角の場合には歪み補正を行わない等、画角切り換え手段により切り換えた画角の違いによって歪み補正量を変更する映像処理装置が開示されている。
特許文献1に開示されたように、レンズで得た撮像画像を画像処理装置としてハード化した場合に処理時間が長くなり、回路規模が増大してしまい、コストが嵩んでしまうという問題があった。
特許文献2では、ズームの際のレンズ位置を離散的な歪み補正パラメータと対応する位置に制限することと、その間を電子ズームで繋ぐことにより、ズーム動作を歪み補正パラメータの補間処理を省略することで撮像装置単体でのズーム動作を実現している。しかし、ズーム動作のような一次元のレンズの動きにのみ適用できることであり、パン、チルト等の多様な動きには適用し難い。
また歪み補正処理をした後の画像は、視野角が狭くなるので広い領域を一度に認識することは難しくなる。歪み補正処理をおこなわない画像では、視野角は広くなるがその反面、被写体が歪むことにより距離感や大きさの認識が難しくなる。
特許文献3では、このような問題に対して画角に応じて歪み補正量を異ならせているが、歪み補正量を逐次変更するものではなく、被写体の歪みの改善と、距離感や大きさの正確な認識という2つの問題の双方を解決するものではない。
本願発明はこのような問題に鑑み被写体の正確な認識を図ること、及び、比較的小規模な回路で、処理時間の短縮化を図ることが可能な、画像処理方法、画像処理装置及び撮像装置を提供することを目的とする。
上記の目的は、下記に記載する発明により達成される。
1.光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法において、
ワールド座標系の仮想投影面の位置及びサイズを設定する第1ステップと、
前記第1ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第1ステップで設定された仮想投影面の画像データを算出する第2ステップと、
前記第2ステップで算出された画像データによる表示画面を表示させる第3ステップと、
を有し、
前記第2ステップでは、前記光学系により生ずる歪みを補正するための第1歪み係数から歪みを補正しない第2歪み係数までの、歪み補正率が100%から0%範囲内で設定された1つ以上の歪み係数と、前記第2歪み係数の複数の歪み係数を用いて複数の画像データを算出し、
前記第3ステップでは、前記第2ステップで算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させることを特徴とする画像処理方法。
ワールド座標系の仮想投影面の位置及びサイズを設定する第1ステップと、
前記第1ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第1ステップで設定された仮想投影面の画像データを算出する第2ステップと、
前記第2ステップで算出された画像データによる表示画面を表示させる第3ステップと、
を有し、
前記第2ステップでは、前記光学系により生ずる歪みを補正するための第1歪み係数から歪みを補正しない第2歪み係数までの、歪み補正率が100%から0%範囲内で設定された1つ以上の歪み係数と、前記第2歪み係数の複数の歪み係数を用いて複数の画像データを算出し、
前記第3ステップでは、前記第2ステップで算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させることを特徴とする画像処理方法。
2.前記表示画面の分割数は2つであり、2つの前記領域のうちで、
一方の領域の画像データの算出は、前記第2歪み係数を用いて行い、
他方の領域画像データの算出は、前記第2歪み係数から前記第1歪み係数まで補間処理により算出した歪み係数であって、前記第2歪み係数から前記第1歪み係数までを連続的に変更した歪み係数を用いて行うことを特徴とする前記1に記載の画像処理方法。
一方の領域の画像データの算出は、前記第2歪み係数を用いて行い、
他方の領域画像データの算出は、前記第2歪み係数から前記第1歪み係数まで補間処理により算出した歪み係数であって、前記第2歪み係数から前記第1歪み係数までを連続的に変更した歪み係数を用いて行うことを特徴とする前記1に記載の画像処理方法。
3.前記表示画面の分割数は2つであり、初期における2つの領域のうちの一方の領域の画面比率を他方の領域の画面比率よりも高くし、
前記他方の領域を増加させることにより、前記表示画面を分割した2つの領域の画面比率を連続的に変更することを特徴とする前記1又は2に記載の画像処理方法。
前記他方の領域を増加させることにより、前記表示画面を分割した2つの領域の画面比率を連続的に変更することを特徴とする前記1又は2に記載の画像処理方法。
4.前記第1ステップで設定される仮想投影面は複数であり、
前記第2ステップでは複数の前記仮想投影面それぞれに歪み補正率を異ならせた前記歪み係数を適用して、複数の前記画像データを算出することを特徴とする前記1から3の何れか一項に記載の画像処理方法。
前記第2ステップでは複数の前記仮想投影面それぞれに歪み補正率を異ならせた前記歪み係数を適用して、複数の前記画像データを算出することを特徴とする前記1から3の何れか一項に記載の画像処理方法。
5.光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法において、
ワールド座標系における複数の仮想投影面の位置及びサイズを設定する第1ステップと、
前記第1ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第1ステップで設定されたそれぞれの仮想投影面の画像データを算出する第2ステップと、
表示画面を分割した複数の領域それぞれに前記第2ステップで算出された複数の画像データを表示させる第3ステップと、
前記第3ステップで表示された複数の領域のうちの何れかの領域に対するユーザの選択指示に基づいて、選択された領域の前記表示画面の全領域に対する画面比率を連続的に増加させる、又は選択された領域に対応する前記仮想投影面の位置及びサイズを連続的に変更させる第4ステップと、を有することを特徴とする画像処理方法。
ワールド座標系における複数の仮想投影面の位置及びサイズを設定する第1ステップと、
前記第1ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第1ステップで設定されたそれぞれの仮想投影面の画像データを算出する第2ステップと、
表示画面を分割した複数の領域それぞれに前記第2ステップで算出された複数の画像データを表示させる第3ステップと、
前記第3ステップで表示された複数の領域のうちの何れかの領域に対するユーザの選択指示に基づいて、選択された領域の前記表示画面の全領域に対する画面比率を連続的に増加させる、又は選択された領域に対応する前記仮想投影面の位置及びサイズを連続的に変更させる第4ステップと、を有することを特徴とする画像処理方法。
6.光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置であって、
歪み係数を記憶する記憶部と、
位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
前記画像処理部で算出した画像データの表示画面用の画像信号を出力する画像信号出力部と、
を有し、
前記画像処理部では、前記光学系により生ずる歪みを補正するための第1歪み係数から歪みを補正しない第2歪み係数までの、歪み補正率が100%から0%の範囲内で設定された1つ以上の歪み係数と、前記第2歪み係数の複数の歪み係数を用いて算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させることを特徴とする画像処理装置。
歪み係数を記憶する記憶部と、
位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
前記画像処理部で算出した画像データの表示画面用の画像信号を出力する画像信号出力部と、
を有し、
前記画像処理部では、前記光学系により生ずる歪みを補正するための第1歪み係数から歪みを補正しない第2歪み係数までの、歪み補正率が100%から0%の範囲内で設定された1つ以上の歪み係数と、前記第2歪み係数の複数の歪み係数を用いて算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させることを特徴とする画像処理装置。
7.前記表示画面の分割数は2つであり、2つの前記領域のうちで、
一方の領域の画像データの算出は、前記第2歪み係数を用いて行い、
他方の領域画像データの算出は、前記第2歪み係数から前記第1歪み係数まで補間処理により算出した歪み係数であって、前記第2歪み係数から前記第1歪み係数までを連続的に変更した歪み係数を用いて行うことを特徴とする前記6に記載の画像処理装置。
一方の領域の画像データの算出は、前記第2歪み係数を用いて行い、
他方の領域画像データの算出は、前記第2歪み係数から前記第1歪み係数まで補間処理により算出した歪み係数であって、前記第2歪み係数から前記第1歪み係数までを連続的に変更した歪み係数を用いて行うことを特徴とする前記6に記載の画像処理装置。
8.前記表示画面の分割数は2つであり、初期における2つの領域のうちの一方の領域の画面比率を他方の領域の画面比率よりも高くし、
前記他方の領域を増加させることにより、前記表示画面を分割した2つの領域の画面比率を連続的に変更することを特徴とする前記6又は7に記載の画像処理装置。
前記他方の領域を増加させることにより、前記表示画面を分割した2つの領域の画面比率を連続的に変更することを特徴とする前記6又は7に記載の画像処理装置。
9.前記仮想投影面は複数であり、
前記画像処理部は、複数の前記仮想投影面それぞれに歪み補正率を異ならせた前記歪み係数を適用して、複数の前記画像データを算出することを特徴とする前記6から8の何れか一項に記載の画像処理装置。
前記画像処理部は、複数の前記仮想投影面それぞれに歪み補正率を異ならせた前記歪み係数を適用して、複数の前記画像データを算出することを特徴とする前記6から8の何れか一項に記載の画像処理装置。
10.光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置であって、
歪み係数を記憶する記憶部と、
位置及びサイズが設定された複数の仮想投影面の各画素のワールド座標系における座標を前記憶部に記憶された歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面それぞれの画像データを算出する画像処理部と、
表示領域を複数領域に分割し、分割した領域に対して前記画像処理部で算出した複数の画像データを配置した表示画面用の画像信号を出力する画像信号出力部と、
を有し、
前記画像処理部では、前記複数の領域のうちの何れかの領域に対するユーザの選択指示に基づいて、選択された領域の前記表示画面の全領域に対する画面比率を連続的に増加させる、又は選択された領域に対応する前記仮想投影面の位置及びサイズを連続的に変更させることを特徴とする画像処理装置。
歪み係数を記憶する記憶部と、
位置及びサイズが設定された複数の仮想投影面の各画素のワールド座標系における座標を前記憶部に記憶された歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面それぞれの画像データを算出する画像処理部と、
表示領域を複数領域に分割し、分割した領域に対して前記画像処理部で算出した複数の画像データを配置した表示画面用の画像信号を出力する画像信号出力部と、
を有し、
前記画像処理部では、前記複数の領域のうちの何れかの領域に対するユーザの選択指示に基づいて、選択された領域の前記表示画面の全領域に対する画面比率を連続的に増加させる、又は選択された領域に対応する前記仮想投影面の位置及びサイズを連続的に変更させることを特徴とする画像処理装置。
11.光学系と、
複数の画素を有する撮像素子と、
前記光学系の歪み係数を記憶する記憶部と、
位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
前記画像処理部で算出した画像データの表示画面用の画像信号を出力する画像信号出力部と、
前記画像信号を表示する表示部と、
を有し、
前記画像処理部では、前記光学系により生ずる歪みを補正するための第1歪み係数から歪みを補正しない第2歪み係数までの、歪み補正率が100%から0%の範囲内で設定された1つ以上の歪み係数と、前記第2歪み係数の複数の歪み係数を用いて算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させることを特徴とする撮像装置。
複数の画素を有する撮像素子と、
前記光学系の歪み係数を記憶する記憶部と、
位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
前記画像処理部で算出した画像データの表示画面用の画像信号を出力する画像信号出力部と、
前記画像信号を表示する表示部と、
を有し、
前記画像処理部では、前記光学系により生ずる歪みを補正するための第1歪み係数から歪みを補正しない第2歪み係数までの、歪み補正率が100%から0%の範囲内で設定された1つ以上の歪み係数と、前記第2歪み係数の複数の歪み係数を用いて算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させることを特徴とする撮像装置。
12.前記表示画面の分割数は2つであり、2つの前記領域のうちで、
一方の領域の画像データの算出は、前記第2歪み係数を用いて行い、
他方の領域画像データの算出は、前記第2歪み係数から前記第1歪み係数まで補間処理により算出した歪み係数であって、前記第2歪み係数から前記第1歪み係数までを連続的に変更した歪み係数を用いて行うことを特徴とする前記11に記載の撮像装置。
一方の領域の画像データの算出は、前記第2歪み係数を用いて行い、
他方の領域画像データの算出は、前記第2歪み係数から前記第1歪み係数まで補間処理により算出した歪み係数であって、前記第2歪み係数から前記第1歪み係数までを連続的に変更した歪み係数を用いて行うことを特徴とする前記11に記載の撮像装置。
13.前記表示画面の分割数は2つであり、初期における2つの領域のうちの一方の領域の画面比率を他方の領域の画面比率よりも高くし、
前記他方の領域を増加させることにより、前記表示画面を分割した2つの領域の画面比率を連続的に変更することを特徴とする前記11又は12に記載の撮像装置。
前記他方の領域を増加させることにより、前記表示画面を分割した2つの領域の画面比率を連続的に変更することを特徴とする前記11又は12に記載の撮像装置。
14.前記仮想投影面は複数であり、
前記画像処理部は、複数の前記仮想投影面それぞれに歪み補正率を異ならせた前記歪み係数を適用して、複数の前記画像データを算出することを特徴とする前記11から13の何れか一項に記載の撮像装置。
前記画像処理部は、複数の前記仮想投影面それぞれに歪み補正率を異ならせた前記歪み係数を適用して、複数の前記画像データを算出することを特徴とする前記11から13の何れか一項に記載の撮像装置。
15.光学系と、
複数の画素を有する撮像素子と、
前記光学系の歪み係数を記憶する記憶部と、
位置及びサイズが設定された複数の仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面それぞれの画像データを算出する画像処理部と、
表示領域を複数領域に分割し、分割した領域に対して前記画像処理部で算出した複数の画像データを配置した表示画面用の画像信号を出力する画像信号出力部と、
前記画像信号を表示する表示部と、
を有し、
前記画像処理部では、前記表示部に表示した複数の領域のうちの何れかの領域に対するユーザの選択指示に基づいて、選択された領域の前記表示画面の全領域に対する画面比率を連続的に増加させる、又は選択された領域に対応する前記仮想投影面の位置及びサイズを連続的に変更させることを特徴とする撮像装置。
複数の画素を有する撮像素子と、
前記光学系の歪み係数を記憶する記憶部と、
位置及びサイズが設定された複数の仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面それぞれの画像データを算出する画像処理部と、
表示領域を複数領域に分割し、分割した領域に対して前記画像処理部で算出した複数の画像データを配置した表示画面用の画像信号を出力する画像信号出力部と、
前記画像信号を表示する表示部と、
を有し、
前記画像処理部では、前記表示部に表示した複数の領域のうちの何れかの領域に対するユーザの選択指示に基づいて、選択された領域の前記表示画面の全領域に対する画面比率を連続的に増加させる、又は選択された領域に対応する前記仮想投影面の位置及びサイズを連続的に変更させることを特徴とする撮像装置。
本願発明の画像処理方法、画像処理装置及び撮像装置によれば、第1歪み係数から歪みを補正しない第2歪み係数までの範囲内で設定された1つ以上の歪み係数と、第2歪み係数の複数の歪み係数を用いて算出した複数の画像データを、表示画面を分割した複数の領域それぞれに表示させることにより、被写体の正確な認識を図ることが可能となり、仮想投影面を用いて歪み補正処理を行った画像データの算出を行うことにより比較的小規模な回路で、処理時間の短縮化を図ることができる。
本発明を実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。
図1は、本実施形態に係る歪み補正を説明する模式図である。図1において、X、Y、Zはワールド座標系であり、原点Oはレンズ中心である。Zは光軸、XY平面はレンズ中心Oを通るレンズ中心面LCを含んでいる。点Pはワールド座標系XYZにおける被写体の物点である。θは光軸(Z軸に一致)に対する入射角である。
x、yはカメラ座標系であり、xy平面は撮像素子面IAに対応する。oは光学中心であり光軸Zと撮像素子面との交点である。点pはカメラ座標系における撮像素子面上の点であり、物点Pをレンズの物理的特性に基づくパラメータ(以下、「レンズパラメータ」という)を用いて生成したLUT(歪み係数ともいう)を用いてカメラ座標系に変換したものである。
VPは仮想投影面である。仮想投影面VPは光学系のレンズ位置(レンズ中心面LC)に対して撮像素子(及び撮像素子面IA)とは反対側に設定される。仮想投影面VPは、ユーザによる操作部130(図3参照)への指示に基づいて、位置の移動及びサイズの変更を行うことが可能である。本願において「位置変更」とは、仮想投影面VPをXY平面上で平行移動させる場合のみならず、XY平面に対する角度変更(姿勢変更ともいう)をも含む概念である。
初期状態(初期の位置設定のこと、以下同様)において仮想投影面VPは、所定サイズでレンズ中心面LCと平行(XY方向)の所定位置(Z方向)に配置され、仮想投影面VPの中心ovはZ軸上に位置している。Gvは物点Pが仮想投影面VP上に投影された点であり、物点Pとレンズ中心Oを通る直線と仮想投影面VPとの交点である。図2における仮想投影面VP1は、仮想投影面VP0を操作部130の入力に基づいてXZ平面上で回転させた状態を示している。
[ブロック図]
図3は、撮像装置の概略構成を示すブロック図である。撮影装置は、撮像ユニット110、画像処理部100、表示部120、ユーザ操作部130、同期信号生成回路150を備えている。
図3は、撮像装置の概略構成を示すブロック図である。撮影装置は、撮像ユニット110、画像処理部100、表示部120、ユーザ操作部130、同期信号生成回路150を備えている。
撮像ユニット110は、短焦点のレンズ、撮像素子等から構成される。本実施形態においては、レンズとしては例えば広角レンズ、魚眼レンズがある。
画像処理部100では、ユーザ操作部130への入力指示に基づいて仮想投影面VPの位置、サイズの設定、及び歪み補正強度、歪み補正の変化速度及び変化の上下限の設定、表示画面の表示設定、等を行うことができる。また画像処理部は、表示用の画像信号の出力を行う画像信号出力部としても機能する。
同期信号生成回路150では、水平同期信号(Hsy)、垂直同期信号(Vsy)、基準クロック(clk)が生成され、これらの信号は、撮像ユニット110、及び画像処理部100の歪補正処理部101、歪補正パラメータ生成部102、LUT生成部103、ビデオメモリ104の各部に送られる。
仮想投影面VPの位置、サイズの設定をすることにより、パンチ、チルトや、ズームイン、ズームアウト等のカメラの視点変更が行われることになり、これらの設定は歪補正パラメータ生成部102により変換されて歪補正パラメータとして歪補正処理部101に送られる。
歪み補正の変化速度、変化幅の設定情報はLUT生成部103に送られ、これらの情報とROM108に記憶されているレンズパラメータの情報によりLUTが生成される。ROM108には、少なくとも2つレンズパラメータが記憶されている。一つは、撮像ユニット110の実レンズの物理特性に基づくレンズパラメータであり、もう一つは歪み補正を行わない場合(ピンホールレンズに相当する)のレンズパラメータである。それぞれのレンズパラメータにより生成されるLUTは第1LUT、第2LUT(それぞれ「第1歪み係数」、「第2歪み係数」ともいう)である。
LUT生成部103で生成したLUTは、RAM109a又はRAM109b(以下、これらを総称してRAM109ともいう)に書き込まれる。書き込みは、同期信号生成回路150から送られた垂直同期信号(Vsy)に同期したタイミングで行われる。
歪補正処理部101では、撮像ユニットからの入力画像に対して、歪補正パラメータ生成部から送られた歪補正パラメータ、RAM109に保存されているLUTを用いて歪み補正処理を行い、出力画像を生成する。出力画像は、ビデオメモリ104に書き込まれ、同期信号生成回路150からの同期信号に合わせて1フレーム毎に表示部120に送られる。
表示部120は、液晶ディスプレイ等の表示画面を備え、送られた出力画像を逐次、表示画面に表示させる。
ユーザ操作部130は、キーボード、マウス、あるいは表示用の液晶ディスプレイに重畳して配置したタッチパネルを備え、ユーザの入力操作を受け付ける。
[制御フロー]
図4は、本実施形態の制御フローを示す図である。以下、図4から図10に基づいて歪補正処理について説明する。
図4は、本実施形態の制御フローを示す図である。以下、図4から図10に基づいて歪補正処理について説明する。
ステップS10では、歪補正パラメータの設定を行う。歪補正パラメータは、レンズパラメータの設定と仮想投影面VPの位置設定とからなる。これらの設定はユーザ操作部130の入力により歪補正パラメータ生成部により行われる。
図5は、ユーザ操作部130の入力画面の例である。入力画面の領域a51を設定することにより、2つの画面それぞれについて初期と終期の歪み係数の設定を行う。本実施形態においては(初期と終期の設定が同一の場合を除いて)初期から終期までは画面が連続して変化するように見えるものであり、終期はその連続する区間の最後である。終期の直後は初期の状態となりその終期と初期との間は不連続に変化するように見える。後述する設定画面により設定した周期で初期から終期までの画像を変化させこれを繰り返す。
初期と周期の歪み係数の設定は、領域a51の何れかを指定することにより不図示の数値入力画面が表示されるので、その数値入力画面により行う。図5において歪み補正率0%とは歪補正を行わない第2歪み係数のことである。補正率100%とは歪補正を行う第1歪み係数のことである。歪み補正率100%から0%の間の歪み補正率に対応する歪み係数は、第1歪み係数から第2歪み係数までを線形補間等の補間処理により算出した歪み係数である。
図5に示す領域a52により初期から終期までの時間(周期)を設定することができる。同図の例では5secに設定されており、5sec周期で初期から終期まで変化させこれを繰り返す。
次に他の例を図6に示す。図5に示す例では歪み係数のみを設定していたが、図6では歪み係数とともに視点変換を行う例であり、歪み係数の設定は領域a51により、視点変換は領域a54により行うことができる。
図6に示す例において「正面」とは図1に示すように仮想投影面VPが初期状態の位置に設けた例であり、「下方-45deg」とはpitchのことであり、カメラ座標系の画像中心o(図1参照)を回転中心(若しくは移動中心)として仮想投影面VPの位置をx軸回りに45deg下方に回転させることである。この場合、視点位置は、初期の正面から、終期の下方を見下ろす俯瞰視点に変化させることになる。なお、同図に示す例では、仮想投影面VPは2つ設定することになる。初期にのみ2つの仮想投影面VPは位置、大きさが一致しているが、画面2に対応する仮想投影面VPの位置は除々に移動することになる。また同図の例では画面2に対応する仮想投影面VPの位置を変更する例を示しているが、両方の位置を独立に変更させるようにしてもよく、また位置変更とともにサイズ(ズームに相当)を変更するように設定してもよい。
図4の説明に戻る。ステップS11では、表示画面設定を行う。表示画面設定は、図7に示す様なユーザ操作部130の入力画面により行う。図7(a)では、画面1と画面2からなる表示画面全体に対する画面2の画面比率(=画面2/(画面1+画面2))の設定を、図7(b)では画面2のスライドインの方向を設定する画面を示している。図7(a)に示す例では上から3番目が選択されており、これにより画面2の画面比率は初期0%から終期50%までステップS10で設定した周期で変更することを示している。図7(b)では上向き矢印が選択されており、この設定では画面2は表示画面の下端から上方に向かってスライドインさせる。
なお、図7(a)の上から4番目と5番目の設定では、画面2は初期から25%、50%の画面比率を占めることになり、この場合には図7(b)の設定画面は、画面2の初期の配置位置を設定する画面として機能することになる。
図8は、図7(a)、図7(b)の設定における表示部120に表示される表示画面の変化を示す模式図であり、図8(a)は初期の表示画面、図8(d)は終期の表示画面、図8(b)、図8(c)は初期から終期に変更する間の画面2の画面比率が10%、30%での表示画面を示している。
なお、図5から図8に示す例においては、2つの画面を表示する例を示したが、2つに限られず3つ以上の画面を表示するようにしても良い。
図4の説明に戻る。ステップS21では、撮像ユニット110から画像信号が入力され、例えばフレームレート30fpsで入力画像が得られる。
ステップS22では、仮想投影面VPの各画素の座標をワールド座標系からカメラ座標系に変換する(w2c変換)。座標系の変換とはすなわち、歪み係数に基づいてワールド座標の位置がカメラ座標のどの座標位置に対応するかを当てはめる座標変換を行うものであり、この際に歪み補正及び、仮想投影面VPの位置の計算にともなう回転、平行移動、拡大、縮小等の視点変換が併せて行われる。なお、本実施形態においてはステップS10の設定により、歪み係数としては、(A1)第2歪み係数及び第2歪み係数と第1歪み係数の間の歪み係数の2つの歪み係数(図5参照)、(A2)1つの第2歪み係数及び第2歪み係数と第1歪み係数の間の複数の歪み係数の3つ以上の歪み係数の2態様があり、仮想投影面VPの面数としては(B1)1つ、(B2)2つ以上(図6参照は2つの例)があり、歪みパラメータの設定としてはこれらを組み合わせが考えられる。ステップS22では設定された歪みパラメータの設定に対応して座標変換を行う。
ステップS22で用いる2つあるいは3つ以上の歪み係数はRAM109a、109bに記憶されている歪み係数を参照することにより行う。そしてRAM109bに記憶されている歪み係数はフレーム毎に書き込まれ、更新されるものである。
図9、図10は、参照するRAM109の切り替えを説明するタイムチャートである。これらの図の上段は、撮像ユニット110の撮像素子の動作を、下段は画像処理部100の動作を示している。同図において、垂直同期信号Vsyは同期信号生成回路150からの同期信号であり、1フレームの画像信号VDにはそれぞれフレームの番号(f1、f2等)を示している。垂直同期信号Vsyの周期としては例えば30Hzあるいは60Hzであり、前者であればフレームレート30fpsで画像データの処理を行っている。
図9は、全体に対する画面2の画面比率を0%から50%まで10%/1フレームの変化率で変化させた例でありf0~f5は、画面比率0%~50%に対応する。図10は同画面比率を50%固定した例である。f0~f5の何れも画面比率は50%である。なお同図に示す例は図示をわかり易くするための極端な例であり実際には、1%/3フレーム(5secで50%)程度の速度で変更している。
LutSelは、読み込みに使用するRAMを選択するスイッチであり、HレベルのときはRAM10aを、LレベルのときはRAM109bを選択する。同図に示す例では、RAM109aは固定の歪み係数(例えば第2歪み係数)を適用しており、RAM109bにはフレーム毎に歪み係数(例えば第2歪み係数から第1歪み係数)を変更させている。RAM109において、濃い網掛け部のwrは書き込みを、薄い網掛け部のrdは読み出しを行う期間を示している。画像処理部100では、基準クロック(clk)を用いて同期信号生成回路150からの同期信号に対してディレイを加えている。垂直同期信号Vsyの信号がLレベルのVブランキング期間(符号:Vblank)にRAM109bへのLUTの変更を行うことにより、1フレーム毎に、LUTの更新を行っている。そして画像処理部100では、RAM109aから読み出した歪み係数により画面1(SC1)を、RAM109bから読み出した歪み係数により画面2(SC2)の画像データの生成を行う。なお、3画面以上に対応した画像データの生成を行うために3つ以上の歪み係数を並行して用いるような場合には、歪み係数の上限数に対応した個数のRAMを備える構成としても良く、RAMの内部を複数の固定メモリ領域に分割することにより複数の歪み係数に対応するようにしても良い。
次に図11から図13を参照して、座標変換について説明する。図11は、座標系を説明する模式図である。図11に示すようにワールド座標系における仮想投影面VPの4隅の点A(0,0,Za)、点B(0,479,Zb)、点C(639,479,Zc)、点D(639,0,Zd)で囲まれる平面を等間隔で640×480pixelの画素G
v(総画素数30.7万)に分割し、全ての画素Gvそれぞれのワールド座標系における座標を取得する。なお同図におけるX、Y座標の値は例示であり、理解を容易にするために、A点のX、Y座標をゼロとして表示している。
v(総画素数30.7万)に分割し、全ての画素Gvそれぞれのワールド座標系における座標を取得する。なお同図におけるX、Y座標の値は例示であり、理解を容易にするために、A点のX、Y座標をゼロとして表示している。
画素Gvのワールド座標系での座標と、後述する歪補正パラメータ設定で設定されたレンズパラメータに基づく歪み係数から、撮像素子面IAでの対応するカメラ座標系での座標Gi(x’,y’)を算出する。具体的には、当該歪み係数と各画素Gvの座標から得られる、光軸Zに対する入射角度θにより算出している(参考文献:国際公開第2010/032720号)。
図12は、カメラ座標系xyと撮像素子面IAとの対応関係を示す図である。図12において点a~dは、図11の点A~Dを、レンズパラメータに対応した歪み係数(第1歪み係数)に基づいてカメラ座標系に変換したものである。なお図11では点A~Dで囲まれる仮想投影面VPは矩形の平面であるが、図12においてカメラ座標系に座標変換した後の点a~dで囲まれる領域raは(仮想投影面VPの位置に対応して)歪んだ形状となる。なお同図においては樽型形状に歪んだ例を示しているが、光学系の特性により糸巻型、陣笠型(中央では樽型で端部では直線あるいは糸巻型に変化する形状)の歪みとなる場合もある。
図13は、像高hと入射角θとの関係を示す模式図である。被写体(物点P)の撮像素子面IA上の像高(光軸Zからの距離)は、入射角θと歪み係数で決定される。piは歪み補正を行わないレンズパラメータにより決定される撮像素子面IA上の物点Pの結像位置であり、光軸からの距離(像高)はピンホールカメラのように、入射角θの正接関数に比例する。Giは実レンズの物理特性に基づくレンズパラメータにより決定された歪み係数を用いて算出される歪み補正後の結像位置であり、その際の像高はhである。
このようにして撮影素子面IA上におけるカメラ座標系の座標は、レンズパラメータに基づく歪み係数、及びワールド座標系における仮想投影面VPの位置により決定される。
ステップS23では、ステップS21で入力された画像信号に対して、ステップS22での処理を行うことにより撮像素子の座標Giの画素データを用いて画像生成が行われる。画像生成の方法としては以下に説明するように4点補間がある。
図11に示したようにw2c変換により決定される座標Gi(x’,y’)から参照する撮像素子の画素を決定するが、この際に撮像素子の各画素の座標(x,y)におけるx、yは整数であるが、w2c変換後の座標Gi(x’,y’)のx’、y’は整数とは限らず小数部分を持つ実数値を取り得る。x’、y’が整数で、座標Gi(x’,y’)と撮像素子の画素の位置とが一致する場合には、対応する撮像素子の画素の画素データを仮想投影面VP上の画素Gv(X,Y,Z)に対応する出力画像の画素データとして用いることが可能である。一方で、x’、y’が整数でなくx’、y’とx、yとが一致しない場合には4点補間として、画素Gvに対応する出力画像の画素データとして、算出された座標Gi(x’,y’)周辺の画素、座標Gi(x’,y’)の位置に近接する上位4箇所の画素の画素データを用いて、これらの単純平均値あるいは、座標Gi(x’,y’)に対する距離により近接する4箇所の画素に対して重み付けをして算出した画素データを用いる。なお4点補間に限られず、周辺の箇所としては1箇所の単純補間や、16箇所若しくはそれ以上を用いる多点補間であってもよい。
ステップS24では生成された画像に基づいて出力処理を行う。出力処理としてはデモザイク処理において、周辺画素の信号から各画素のBGRデータの演算を行って出力画像を得ることができる。デモザイク処理とは、例えば撮像素子がベイヤー配列で並んだ画素で構成されることにより各画素が1色分の色情報しか持たない場合に、周辺画素の情報から補間処理することにより3色分の色情報を算出することである。
ステップS25では、「画像出力部」として機能する画像処理部100は、ステップS24で得られた出力画像をビデオメモリ104に送り、同期信号に同期させて表示部120に表示させる。これを連続して行うことにより表示部120には、30fpsの動画像が表示される。
図14から図16は、本実施形態における表示部120に表示させた表示画面の例である。図14は、初期の画像として、第2歪み係数により処理した画像を画面1として全画面表示させた例である(図8(a)参照)。この際の画面2の画面比率は0%である。
図15は、終期の画像として画面2の画面比率を50%で表示させた例である。画面2は、第1歪み係数により処理した画像を表示させている。
図16は、終期の画像として同じく画面2の画面比率を50%で表示させた例である。画面2は、第1歪み係数により処理した画像を表示させている。そして更に、「-45deg(下方)」への視点変換も併せて行っている。
図17、図18は、表示部120表示画面において、画面2の画面比率を0%から100%まで変更する例である。画面1の歪み補正率は0%、画面2の歪み補正率は100%で共に固定設定である。また画面1に対応する仮想投影面VPは正面に位置し、画面2に対応する仮想投影面VPの位置は、図17の赤枠の位置に対応している。図17は初期の画面を示しており、図18は画面比率及び歪み補正率が共に10%~100%まで変更した、時系列順に表示した画面a1(10%)~a10(100%)を示している。
本実施形態によれば、このように第1歪み係数から歪みを補正しない第2歪み係数までの範囲内で設定された1つ以上の歪み係数と、第2歪み係数の複数の歪み係数を用いて算出した複数の画像データを、複数画面表示することにより、被写体の正確な認識を図ることが可能となる。
[第2の実施形態]
図19(a)、図19(b)は、第2の実施形態での制御フローを示す図である。同図のフローは図4のステップS10、S11に対応するものである。これらのフローは、図20に示すユーザ操作部130の入力画面を用いて設定するものである。
図19(a)、図19(b)は、第2の実施形態での制御フローを示す図である。同図のフローは図4のステップS10、S11に対応するものである。これらのフローは、図20に示すユーザ操作部130の入力画面を用いて設定するものである。
まずは図19(a)を参照して説明する。ステップS101では、歪補正パラメータ設定として仮想投影面VPの個数(面数)及び、設定した各仮想投影面VPの位置、サイズを設定する。設定は図20の入力画面において行う。同図において選択ボタンa91にカーソルCSを合わせることにより画面分割数(仮想投影面数)を設定することができる。同図に示す例では、4面の仮想投影面VPが設定されている状態を示している。仮想投影面VPの位置、及びサイズの設定は、設定領域a80に示す四角枠A~Dの位置、サイズを変更することにより行う。四角枠A~Dの位置の移動、サイズの変更はカーソルCSを操作することにより行うことができる。
領域a90は表示画面の配置を示すものであり、同図の配置で表示部120に動画像が表示される。同図においては、領域a80の四角枠A~Dに対応したそれぞれの仮想投影面VPにより得られた画像データが、画面A~Dのように配置されることを示している。仮想投影面VPの面数が4面の選択条件における仮想投影面VPの位置のデフォルト設定は図20(a)に示すように全体(四角枠A)、左側方(四角枠B)、正面(四角枠C)、右側方(四角枠D)である。図20(b)は、4面の仮想投影面VPの位置、サイズを変更した状態を示している。
ステップS102では、表示画面設定として画面の配置、及び画面の選択を行う。図20(a)に示す例では、領域a90に示す領域の交点a92の位置を移動することにより、各画面の大きさを変更することができる。またカーソルCSを操作することにより、領域a90に表示しているいずれかの画面を選択することができる。図20(b)に示す例では、画面Aが選択されており、これにより制御上は画面Aに対応する仮想投影面VPが選択されたことになる。
ステップS103では、ステップS102で選択された選択画面(画面A)の表示画面の全領域に対する画面比率を連続的に増加させる。これは、図20(b)に示す様に「画面領域拡大」ボタンa93を選択することにより実行されるものである。ステップS103以降は、図4のステップS21以降の制御フローを実行する。これを動画像の1フレーム毎に実行することにより画面比率の変更を連続的に行った動画像を表示部120に表示させる。
図21は、選択画面(画面A)の表示画面の全領域に対する画面比率を連続的に増加させる設定となっていた場合の、表示部120の表示画面の例である。
図21は、図20(b)の設定例に基づいて、(b1)から(b5)まで時系列順に、左上に示す画面Aの表示画面の全領域に対する画面比率を25%(b1)から100%(b5)まで連続的に増加させた例を示している。
このように、本実施形態によれば、設定した複数の仮想投影面に基づいて生成した複数の画像データを、4画面等の複数の分割領域にそれぞれ表示させた際に、各画像の認識性を向上させるために拡大表示することにより認識性が向上する、そして拡大表示への遷移を連続して除々に行うことにより、ユーザは混乱せずに、被写体の正確な認識を図ることが可能となる。
[第2の実施形態の変形例]
続いて、図19(b)の制御フローについて説明する。同図においては図19(a)のステップS103に代えてステップS104の制御を実行するものである。
続いて、図19(b)の制御フローについて説明する。同図においては図19(a)のステップS103に代えてステップS104の制御を実行するものである。
前述した図20に示すボタン群a94は、視点変換の指示を入力するものでありズームや、左右移動、左右回転を行うことができる。ここで左右移動とは選択した画面に対応する仮想投影面VPをワールド座標系のその位置での仮想投影面VPの面の広がり方向に平行移動することであり、左右回転とは当該位置において仮想投影面VPの中心を回転中心として回転させることである。仮想投影面VPが正面位置(初期状態)であれば前者はワールド座標系でのX軸方向の移動に相当し、後者はrollに相当する。なお同図に示す視点変換は例示であり、この他の視点変換の例として、pitchやyawの移動を選択できる様にしても良い。
ボタン群a94の何れかを選択することにより、領域a90で選択されている選択画面(図20(b)の例では画面A)に対応する仮想投影面VPに対して選択した視点変換を連続的に行う。ステップS104以降は、図4のステップS21以降の制御フローを実行する。これを動画像の1フレーム毎に実行することにより、視点変換を連続的に行った動画像を表示部120に表示させる。
図22は、視点変換を連続的に行った画像の例である。(c1)から(c3)は左上の画像(画面A)を「右移動」させた例であり、(d1)から(d3)は「右回転」させた例である。
本実施形態によれば、設定した複数の仮想投影面に基づいて生成した複数の画像データを、4画面等の複数の分割領域にそれぞれ表示させた際に、各画像の認識性を向上させるために視点変換を連続的に行うことにより認識性が向上する、そして拡大表示への遷移を連続して除々に行うことにより、ユーザは混乱せずに、被写体の正確な認識を図ることが可能となる。
なお、本発明は、本明細書に記載の実施の形態に限定されるものではなく、他の実施の形態や変形例を含むことは、本明細書に記載された実施の形態や技術的思想から本分野の当業者にとって明らかである。
100 画像処理部
101 歪補正処理部
102 歪補正パラメータ生成部
103 LUT生成部
104 ビデオメモリ
108 ROM
109a、109b RAM
110 撮像ユニット
120 表示部
130 ユーザ操作部
150 同期信号生成回路
VP 仮想投影面
LC レンズ中心面
IA 撮像素子面
O レンズ中心
o 光学中心
101 歪補正処理部
102 歪補正パラメータ生成部
103 LUT生成部
104 ビデオメモリ
108 ROM
109a、109b RAM
110 撮像ユニット
120 表示部
130 ユーザ操作部
150 同期信号生成回路
VP 仮想投影面
LC レンズ中心面
IA 撮像素子面
O レンズ中心
o 光学中心
Claims (15)
- 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法において、
ワールド座標系の仮想投影面の位置及びサイズを設定する第1ステップと、
前記第1ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第1ステップで設定された仮想投影面の画像データを算出する第2ステップと、
前記第2ステップで算出された画像データによる表示画面を表示させる第3ステップと、
を有し、
前記第2ステップでは、前記光学系により生ずる歪みを補正するための第1歪み係数から歪みを補正しない第2歪み係数までの、歪み補正率が100%から0%範囲内で設定された1つ以上の歪み係数と、前記第2歪み係数の複数の歪み係数を用いて複数の画像データを算出し、
前記第3ステップでは、前記第2ステップで算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させることを特徴とする画像処理方法。 - 前記表示画面の分割数は2つであり、2つの前記領域のうちで、
一方の領域の画像データの算出は、前記第2歪み係数を用いて行い、
他方の領域画像データの算出は、前記第2歪み係数から前記第1歪み係数まで補間処理により算出した歪み係数であって、前記第2歪み係数から前記第1歪み係数までを連続的に変更した歪み係数を用いて行うことを特徴とする請求項1に記載の画像処理方法。 - 前記表示画面の分割数は2つであり、初期における2つの領域のうちの一方の領域の画面比率を他方の領域の画面比率よりも高くし、
前記他方の領域を増加させることにより、前記表示画面を分割した2つの領域の画面比率を連続的に変更することを特徴とする請求項1又は2に記載の画像処理方法。 - 前記第1ステップで設定される仮想投影面は複数であり、
前記第2ステップでは複数の前記仮想投影面それぞれに歪み補正率を異ならせた前記歪み係数を適用して、複数の前記画像データを算出することを特徴とする請求項1から3の何れか一項に記載の画像処理方法。 - 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法において、
ワールド座標系における複数の仮想投影面の位置及びサイズを設定する第1ステップと、
前記第1ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第1ステップで設定されたそれぞれの仮想投影面の画像データを算出する第2ステップと、
表示画面を分割した複数の領域それぞれに前記第2ステップで算出された複数の画像データを表示させる第3ステップと、
前記第3ステップで表示された複数の領域のうちの何れかの領域に対するユーザの選択指示に基づいて、選択された領域の前記表示画面の全領域に対する画面比率を連続的に増加させる、又は選択された領域に対応する前記仮想投影面の位置及びサイズを連続的に変更させる第4ステップと、を有することを特徴とする画像処理方法。 - 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置であって、
歪み係数を記憶する記憶部と、
位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
前記画像処理部で算出した画像データの表示画面用の画像信号を出力する画像信号出力部と、
を有し、
前記画像処理部では、前記光学系により生ずる歪みを補正するための第1歪み係数から歪みを補正しない第2歪み係数までの、歪み補正率が100%から0%の範囲内で設定された1つ以上の歪み係数と、前記第2歪み係数の複数の歪み係数を用いて算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させることを特徴とする画像処理装置。 - 前記表示画面の分割数は2つであり、2つの前記領域のうちで、
一方の領域の画像データの算出は、前記第2歪み係数を用いて行い、
他方の領域画像データの算出は、前記第2歪み係数から前記第1歪み係数まで補間処理により算出した歪み係数であって、前記第2歪み係数から前記第1歪み係数までを連続的に変更した歪み係数を用いて行うことを特徴とする請求項6に記載の画像処理装置。 - 前記表示画面の分割数は2つであり、初期における2つの領域のうちの一方の領域の画面比率を他方の領域の画面比率よりも高くし、
前記他方の領域を増加させることにより、前記表示画面を分割した2つの領域の画面比率を連続的に変更することを特徴とする請求項6又は7に記載の画像処理装置。 - 前記仮想投影面は複数であり、
前記画像処理部は、複数の前記仮想投影面それぞれに歪み補正率を異ならせた前記歪み係数を適用して、複数の前記画像データを算出することを特徴とする請求項6から8の何れか一項に記載の画像処理装置。 - 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置であって、
歪み係数を記憶する記憶部と、
位置及びサイズが設定された複数の仮想投影面の各画素のワールド座標系における座標を前記憶部に記憶された歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面それぞれの画像データを算出する画像処理部と、
表示領域を複数領域に分割し、分割した領域に対して前記画像処理部で算出した複数の画像データを配置した表示画面用の画像信号を出力する画像信号出力部と、
を有し、
前記画像処理部では、前記複数の領域のうちの何れかの領域に対するユーザの選択指示に基づいて、選択された領域の前記表示画面の全領域に対する画面比率を連続的に増加させる、又は選択された領域に対応する前記仮想投影面の位置及びサイズを連続的に変更させることを特徴とする画像処理装置。 - 光学系と、
複数の画素を有する撮像素子と、
前記光学系の歪み係数を記憶する記憶部と、
位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
前記画像処理部で算出した画像データの表示画面用の画像信号を出力する画像信号出力部と、
前記画像信号を表示する表示部と、
を有し、
前記画像処理部では、前記光学系により生ずる歪みを補正するための第1歪み係数から歪みを補正しない第2歪み係数までの、歪み補正率が100%から0%の範囲内で設定された1つ以上の歪み係数と、前記第2歪み係数の複数の歪み係数を用いて算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させることを特徴とする撮像装置。 - 前記表示画面の分割数は2つであり、2つの前記領域のうちで、
一方の領域の画像データの算出は、前記第2歪み係数を用いて行い、
他方の領域画像データの算出は、前記第2歪み係数から前記第1歪み係数まで補間処理により算出した歪み係数であって、前記第2歪み係数から前記第1歪み係数までを連続的に変更した歪み係数を用いて行うことを特徴とする請求項11に記載の撮像装置。 - 前記表示画面の分割数は2つであり、初期における2つの領域のうちの一方の領域の画面比率を他方の領域の画面比率よりも高くし、
前記他方の領域を増加させることにより、前記表示画面を分割した2つの領域の画面比率を連続的に変更することを特徴とする請求項11又は12に記載の撮像装置。 - 前記仮想投影面は複数であり、
前記画像処理部は、複数の前記仮想投影面それぞれに歪み補正率を異ならせた前記歪み係数を適用して、複数の前記画像データを算出することを特徴とする請求項11から13の何れか一項に記載の撮像装置。 - 光学系と、
複数の画素を有する撮像素子と、
前記光学系の歪み係数を記憶する記憶部と、
位置及びサイズが設定された複数の仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面それぞれの画像データを算出する画像処理部と、
表示領域を複数領域に分割し、分割した領域に対して前記画像処理部で算出した複数の画像データを配置した表示画面用の画像信号を出力する画像信号出力部と、
前記画像信号を表示する表示部と、
を有し、
前記画像処理部では、前記表示部に表示した複数の領域のうちの何れかの領域に対するユーザの選択指示に基づいて、選択された領域の前記表示画面の全領域に対する画面比率を連続的に増加させる、又は選択された領域に対応する前記仮想投影面の位置及びサイズを連続的に変更させることを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012548720A JPWO2012081400A1 (ja) | 2010-12-14 | 2011-11-30 | 画像処理方法、画像処理装置及び撮像装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010277843 | 2010-12-14 | ||
JP2010-277843 | 2010-12-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012081400A1 true WO2012081400A1 (ja) | 2012-06-21 |
Family
ID=46244509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/077618 WO2012081400A1 (ja) | 2010-12-14 | 2011-11-30 | 画像処理方法、画像処理装置及び撮像装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2012081400A1 (ja) |
WO (1) | WO2012081400A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007055336A1 (ja) * | 2005-11-11 | 2007-05-18 | Sony Corporation | 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体と撮像装置 |
JP2007295335A (ja) * | 2006-04-26 | 2007-11-08 | Opt Kk | カメラ装置および画像記録再生方法 |
JP2011061511A (ja) * | 2009-09-10 | 2011-03-24 | Dainippon Printing Co Ltd | 魚眼監視システム |
-
2011
- 2011-11-30 JP JP2012548720A patent/JPWO2012081400A1/ja active Pending
- 2011-11-30 WO PCT/JP2011/077618 patent/WO2012081400A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007055336A1 (ja) * | 2005-11-11 | 2007-05-18 | Sony Corporation | 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体と撮像装置 |
JP2007295335A (ja) * | 2006-04-26 | 2007-11-08 | Opt Kk | カメラ装置および画像記録再生方法 |
JP2011061511A (ja) * | 2009-09-10 | 2011-03-24 | Dainippon Printing Co Ltd | 魚眼監視システム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2012081400A1 (ja) | 2014-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5353393B2 (ja) | 画像処理装置及び画像処理方法等 | |
US20070046804A1 (en) | Image capturing apparatus and image display apparatus | |
WO2012060269A1 (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
WO2017122500A1 (ja) | 投影システム、画像処理装置、投影方法およびプログラム | |
US8774495B2 (en) | Image synthesizing apparatus and method of synthesizing images | |
US20130265468A1 (en) | Camera, distortion correction device and distortion correction method | |
JP6041651B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4935440B2 (ja) | 画像処理装置およびカメラ装置 | |
WO2012056982A1 (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
JP2013005393A (ja) | 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置 | |
WO2011161746A1 (ja) | 画像処理方法、プログラム、画像処理装置及び撮像装置 | |
WO2012060271A1 (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
JP6565326B2 (ja) | 撮像表示装置及びその制御方法 | |
JP5682473B2 (ja) | 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置 | |
WO2012081400A1 (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
JP5503497B2 (ja) | 画像信号処理装置、画像信号処理方法およびプログラム | |
US20220224852A1 (en) | Image sensor, camera module, and optical device comprising camera module | |
WO2012077544A1 (ja) | 画像処理方法及び撮像装置 | |
WO2011158344A1 (ja) | 画像処理方法、プログラム、画像処理装置及び撮像装置 | |
CN102065253A (zh) | 一种软硬件协同的图像水平缩放方法及装置 | |
JP2013005392A (ja) | 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置 | |
JP6291795B2 (ja) | 撮像システムおよび撮像方法 | |
WO2011158343A1 (ja) | 画像処理方法、プログラム、画像処理装置及び撮像装置 | |
JP4211653B2 (ja) | 映像生成システム | |
JP2015126293A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11848435 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2012548720 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11848435 Country of ref document: EP Kind code of ref document: A1 |