WO2018179040A1 - カメラパラメータ推定装置、方法およびプログラム - Google Patents

カメラパラメータ推定装置、方法およびプログラム Download PDF

Info

Publication number
WO2018179040A1
WO2018179040A1 PCT/JP2017/012327 JP2017012327W WO2018179040A1 WO 2018179040 A1 WO2018179040 A1 WO 2018179040A1 JP 2017012327 W JP2017012327 W JP 2017012327W WO 2018179040 A1 WO2018179040 A1 WO 2018179040A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
image
straight line
camera
fisheye lens
Prior art date
Application number
PCT/JP2017/012327
Other languages
English (en)
French (fr)
Inventor
浩雄 池田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2019508341A priority Critical patent/JP6721112B2/ja
Priority to PCT/JP2017/012327 priority patent/WO2018179040A1/ja
Priority to US16/497,126 priority patent/US11122195B2/en
Publication of WO2018179040A1 publication Critical patent/WO2018179040A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Definitions

  • the present invention relates to a camera parameter estimation device, a camera parameter estimation method, and a camera parameter estimation program, and more particularly to a camera parameter estimation device, a camera parameter estimation method, and a camera parameter estimation program for estimating internal parameters of a fisheye lens camera.
  • the internal parameters of the fisheye lens camera are parameters that can convert a camera coordinate system that indicates three-dimensional coordinates with reference to the camera optical axis and an image coordinate system that indicates two-dimensional coordinates on the image. This is a parameter indicating lens distortion (that is, projection method + related parameter).
  • a point in an arbitrary coordinate system is known, it can be converted to a point in each coordinate system.
  • Patent Document 1 A method for estimating the internal parameters of a fisheye lens camera is described in Patent Document 1, for example.
  • a special calibration pattern in which three chess patterns are orthogonal to each other is photographed.
  • the internal parameters are provisionally estimated from the elliptical fitting of the visual field boundary, the prior knowledge of the projection method and the condition without tangential distortion, and the points in the real space indicating the lattice points of the calibration pattern are used using the external parameters and the internal parameters. Project onto the image.
  • the internal parameters are estimated by minimizing the projection error between the coordinates of the projected grid points and the coordinates of the grid points obtained directly from the image.
  • the estimation method described in Patent Document 1 has some problems.
  • the first problem is that the internal parameters cannot be estimated unless a special calibration pattern, an object, a space, or the like in which a known point at a three-dimensional position is present, and the estimation becomes complicated. This is because the internal parameters are estimated while simultaneously estimating the external parameters and the internal parameters from the correspondence between the points on the real space and the points on the image that are three-dimensional positions.
  • the second problem is that it is necessary to obtain in advance a projection method that shows the lens distortion of the internal parameter for the fish-eye lens camera to be estimated. This is because the initial value of the parameter indicating the lens distortion of the internal parameter, that is, the initial value of the internal parameter is determined based on the projection method.
  • an object of the present invention is to provide a camera parameter estimation device, a camera parameter estimation method, and a camera parameter estimation program that can easily estimate internal parameters without requiring knowledge of the projection method.
  • the camera parameter estimation apparatus applies a plurality of projection methods using a radius of a field of view in a fisheye lens camera to an image obtained by imaging a target including a straight line by a fisheye lens camera, and generates a plurality of projection images.
  • an output unit for outputting the internal parameters of the fisheye lens camera according to the projection method.
  • the camera parameter estimation program applies a plurality of projection methods using a radius of a field of view in a fisheye lens camera to an image in which a target including a straight line is captured by a fisheye lens camera on a computer, thereby obtaining a plurality of projection images.
  • the output processing for outputting the internal parameters of the fisheye lens camera according to the determined projection method is executed.
  • FIG. FIG. 1 is a block diagram showing a configuration example of a first embodiment of a camera parameter estimation apparatus according to the present invention.
  • the camera parameter estimation device 100 of this embodiment includes an image acquisition device 11, an ellipse estimation unit 12, a perspective projection image generation unit 13, a focal length calculation unit 14, a perspective projection image size storage unit 15, and a maximum incident angle.
  • a storage unit 16, a projection method selection unit 17, a perspective projection image display device 18, and a projection method instruction unit 19 are provided.
  • the image acquisition device 11 acquires an image used for estimation. Specifically, the image acquisition device 11 acquires a landscape image including a straight line imaged by a fisheye lens.
  • a landscape image including a straight line for example, a landscape image including a pattern of a building, a power pole, a desk, a column, a floor, and the like can be given.
  • the acquired image is not limited to a landscape image as long as a straight line is included, and may be a special lattice pattern described in Patent Document 1, for example.
  • the camera parameter estimation apparatus 100 uses the process described later to set internal parameters without using a special lattice pattern. It can be easily estimated.
  • the image acquisition device 11 may acquire an image captured by an imaging unit (not shown), may read an image from an arbitrary storage unit (not shown), and obtains an image via a communication network. You may receive it.
  • the ellipse estimation means 12 acquires a part of the internal parameters of the fisheye lens that captured the image from the captured image.
  • the ellipse estimation means 12 estimates the image center (C u , C v ), the distortion ⁇ of the image sensor, and the radius R of the visual field region of the fisheye lens from the captured image.
  • the field of view of the fisheye lens is a perfect circle with a radius R.
  • the ellipse estimation means 12 performs, for example, ellipse fitting on the field boundary of the image obtained from the fisheye lens camera, and calculates the image center (C u , C v ) and the image sensor distortion ⁇ , which are part of the internal parameters. get. Moreover, the ellipse estimation means 12 acquires the radius R when the visual field boundary is a perfect circle as a plurality of typical projection method parameters. However, the method for obtaining the radius R is not limited to elliptical fitting.
  • FIG. 2 is an explanatory diagram showing an example of a method for acquiring a part of the internal parameters.
  • the captured image 110 can be represented by an image coordinate system in which the upper left of the image is the origin, the horizontal axis direction is u, and the vertical axis direction is v. Since the image picked up by the fisheye lens has an elliptical shape, when the lengths of the major axis and the minor axis are 2a and 2b, respectively, the ellipse is expressed by the following formula using the image center (C u , C v ). It is represented by 1.
  • the ellipse estimation means 12 calculates an internal parameter for returning the field boundary to a perfect circle.
  • R a.
  • each point in the image coordinate system is expressed as Can be converted.
  • the ellipse estimation means 12 calculates polar coordinates in the fish-eye coordinate system using Equation 3 shown below.
  • r and R it is possible to calculate the incident angle in a typical projection method.
  • four types are exemplified as typical projection methods.
  • the projection method used by the camera parameter estimation apparatus of the present embodiment is not limited to these four types.
  • the incident angle ⁇ in the equidistant projection method is calculated by Expression 4 shown below.
  • the incident angle ⁇ in the orthographic projection method is calculated by Equation 5 shown below.
  • the incident angle ⁇ in the three-dimensional projection method is calculated by Expression 6 shown below.
  • the incident angle ⁇ in the equal solid angle projection method is calculated by Expression 7 shown below.
  • the perspective projection image size storage means 15 stores the size s of the generated perspective projection image. Specifically, the perspective projection image size storage unit 15 may store the size represented by the width w and the height h of the image. The size s of the generated perspective projection image is predetermined by a user or the like and is stored in the perspective projection image size storage unit 15.
  • the maximum incident angle storage unit 16 stores the maximum incident angle used in the generated perspective projection image.
  • the maximum incident angle ⁇ max is determined in advance and stored in the maximum incident angle storage unit 16.
  • the perspective projection image size storage unit 15 and the maximum incident angle storage unit 16 are realized by a memory, a magnetic disk, or the like.
  • the focal length calculation means 14 calculates a focal length used for generating a perspective projection image.
  • the focal length f ′ is a distance from the focal point of the fisheye lens camera to a plane (perspective projection plane) that displays an image captured by the fisheye lens camera as a general image (perspective projection image).
  • the focal length calculation unit 14 acquires the size s of the perspective projection image from the perspective projection image size storage unit 15. Specifically, the focal length calculation unit 14 acquires the width w or the height h from the perspective projection image size storage unit 15. The value acquired here is denoted as s. Further, the focal length calculation unit 14 acquires the maximum incident angle ⁇ max from the maximum incident angle storage unit 16. At this time, the focal length calculation means 14 calculates the focal length f ′ by the following formula 8.
  • the perspective projection image generation means 13 is obtained by performing perspective projection from the camera onto a plane at the focal distance f ′ (perspective projection plane) using the internal parameters acquired by the ellipse estimation means 12 for each predetermined projection method.
  • General image ie, a perspective projection image
  • the perspective projection image generation means 13 generates a plurality of projection images by applying a plurality of projection methods.
  • the radius of the field of view in the fisheye lens camera is used.
  • the radius R of the field of view in the fisheye lens camera is estimated from the image captured by the ellipse estimation means 12. Therefore, the perspective projection image generation means 13 generates a plurality of projection images by applying a plurality of projection methods using the radius of the field of view in the fisheye lens camera.
  • FIG. 3 is an explanatory diagram showing the relationship between the coordinate systems.
  • An arbitrary point m of the image 210 illustrated in FIG. 3 represented in the image coordinate system can be converted into a point m ′ of the fish-eye coordinate system represented by r and ⁇ by the above formulas 2 and 3. Further, the point m ′ in the fish-eye coordinate system can be converted to a point p on the virtual sphere in the camera coordinate system by obtaining the incident angle ⁇ based on the designated projection method and performing projective transformation.
  • the point p on the virtual spherical surface can be calculated by the following equation (9).
  • the perspective projection image generation unit 13 generates a plurality of projection images by applying a plurality of projection methods to an image acquired by the image acquisition device 11 (that is, an image captured by a fisheye lens camera). .
  • the projection method selection means 17 displays the generated projection image on the perspective projection image display device 18.
  • the perspective projection image display device 18 is realized by, for example, a touch panel or a display device.
  • FIG. 4 is an explanatory view showing an example of an image generated by a plurality of projection methods from an image photographed by a fisheye lens camera.
  • the example shown in FIG. 4 shows that there is a difference in the degree of distortion between images generated by different projection methods.
  • the projection method selection means 17 determines a projection method based on the selected perspective projection image. The selection of the perspective projection image is instructed by the projection method instruction means 19 described later.
  • the projection method selection means 17 outputs the internal parameters of the fisheye lens camera corresponding to the determined projection method. Specifically, the projection method selection means 17 determines and outputs a projection method, a parameter (radius R) corresponding to the projection method, an internal parameter representing the distortion of the image center and the imaging pixel.
  • the projection method instruction means 19 accepts selection of a projection image by the user from among the plurality of displayed projection images. Specifically, when the user refers to a plurality of projection images and determines a projection image including a straight line having the highest linearity, the projection method instruction unit 19 accepts the selection of the projection image based on the user's determination.
  • “High linearity” means a small shift compared to a straight line. That is, it can be said that the smaller the deviation from the straight line, the higher the linearity. Since the image converted based on the appropriate projection method approaches the original projection image, the portion representing the straight line in the original image is converted so as to be close to the straight line. On the other hand, an image converted based on a different projection method cannot be appropriately converted, and as a result, distortion occurs in a portion representing a straight line in the original image.
  • the perspective projection image generation unit 13 generates a plurality of projection images by applying a plurality of projection methods, so that the user can select an appropriate image, so that an appropriate projection method can be determined. become.
  • the projection method instruction unit 19 may notify the projection method selection unit 17 of, for example, a projection image present at a designated position among a plurality of projection images displayed on the touch panel. Further, the projection method instruction unit 19 may notify the projection method selection unit 17 of the projection image existing at the position designated by the pointing device.
  • the ellipse estimation means 12, the perspective projection image generation means 13, the focal length calculation means 14, the projection method selection means 17, and the projection method instruction means 19 are executed by a CPU of a computer that operates according to a program (camera parameter estimation program). Realized.
  • the program is stored in a storage unit (not shown) included in the camera parameter estimation device 100, and the CPU reads the program, and according to the program, the ellipse estimation unit 12, the perspective projection image generation unit 13, and the focal length calculation unit. 14, the projection method selection unit 17 and the projection method instruction unit 19 may be operated.
  • the ellipse estimation unit 12, the perspective projection image generation unit 13, the focal length calculation unit 14, the projection method selection unit 17, and the projection method instruction unit 19 may be realized by dedicated hardware.
  • the fish-eye camera itself that captures an image functions as a so-called intelligent camera, and may be provided with each of these means.
  • the fish-eye camera may include an image acquisition device 11, an ellipse estimation device 12, and a perspective projection image generation unit 13 (and, if necessary, a focal length calculation unit 14, a perspective projection image size storage unit 15, and a maximum incident angle storage unit). 16) may be provided. Then, the fisheye camera may transmit the generated perspective projection image to the projection method selection unit 17 and accept the selection of the projection image by the user.
  • FIG. 5 is a flowchart illustrating an operation example of the camera parameter estimation apparatus 100 according to the first embodiment.
  • the image acquisition device 11 acquires an image captured by the fisheye lens camera (step S11).
  • the ellipse estimation means 12 estimates a part of the internal parameters from the acquired image (step S12). Specifically, the ellipse estimation means 12 estimates the center of the image, the distortion of the image sensor, and the radius of the field of view of the fisheye lens camera as internal parameters.
  • the perspective projection image generation means 13 generates a plurality of projection images by applying a plurality of projection methods to the acquired image (step S13).
  • the projection method selection means 17 displays the generated projection image on the perspective projection image display device 18 (step S14).
  • the projection method instruction means 19 accepts a selection of a projection image by the user from among a plurality of projection images displayed on the perspective projection image display device 18 (step S15).
  • the projection method selection unit 17 determines a projection method based on the selected projection image (step S16). Then, the projection method selection means 17 outputs the internal parameters of the fisheye lens camera corresponding to the determined projection method (step S17).
  • the perspective projection image generation unit 13 applies a plurality of projection methods using the radius of the field of view of the fisheye lens camera to an image captured by the fisheye lens camera, thereby producing a plurality of projection images. Is generated.
  • the perspective projection image display device 18 displays a plurality of projection images, and the projection method instruction means 19 accepts selection of the projection image by the user from among the plurality of displayed projection images.
  • the projection method selection unit 17 determines a projection method based on the selected projection image, and outputs an internal parameter of the fisheye lens camera corresponding to the determined projection method. Therefore, the internal parameters can be easily estimated without requiring special calibration patterns or prerequisite knowledge of the projection method.
  • the projection method instruction unit 19 accepts selection of a projection image by the user from among a plurality of projection images displayed on the perspective projection image display device 18. At that time, the user refers to the plurality of projection images and determines a projection image including a straight line having the highest linearity.
  • FIG. 6 is a block diagram showing a configuration example of the second embodiment of the camera parameter estimation apparatus according to the present invention.
  • the camera parameter estimation device 200 includes an image acquisition device 11, an ellipse estimation unit 12, a perspective projection image generation unit 13, a focal length calculation unit 14, a perspective projection image size storage unit 15, and a maximum incident angle.
  • a storage unit 16, a projection method selection unit 17, a perspective projection image display device 18, a projection method instruction unit 19, a maximum incident angle calculation unit 21, and a perspective projection range input device 22 are provided.
  • the camera parameter estimation device of the present embodiment further includes a maximum incident angle calculation means 21 and a perspective projection range input device 22 as compared with the camera parameter estimation device of the first embodiment.
  • the perspective projection range input device 22 inputs a range in which a projection image is generated from the acquired images (that is, images captured by a fisheye lens camera). Specifically, the perspective projection range input device 22 receives an input of a range for generating a projection image from the user.
  • the perspective projection image is an image in which the range from the radial distance determined by the maximum incident angle ⁇ max to the image center is enlarged with respect to the acquired image.
  • the perspective projection range input device 22 inputs the radial distance from the image center.
  • the method for specifying the range is arbitrary.
  • the maximum incident angle calculation means 21 displays, for example, an image captured by a fisheye lens camera on the screen, acquires a point (u 0 , v 0 ) of the image clicked on the displayed screen, and starts from the image center. You may enter the radius.
  • the maximum incident angle calculation unit 21 may acquire a point having the shortest radial distance among the points and input the radial distance.
  • the maximum incident angle calculation means 21 calculates the maximum incident angle for each projection method based on the input range.
  • FIG. 7 is an explanatory diagram for explaining an example of a method for calculating the maximum incident angle.
  • the maximum incident angle calculation means 21 uses some of the internal parameters obtained by the ellipse estimation means 12, Is converted into a point (u ′, v ′) in the fish-eye coordinate system. Further, the maximum incident angle calculation means 21 calculates r and ⁇ from the converted point (u ′, v ′) of the fish-eye coordinate system based on the above equation 3.
  • the maximum incident angle calculation means 21 changes, for example, from Equation 4 to Equation 7 according to the projection method.
  • the incident angle is calculated based on the equation shown.
  • the incident angle calculated here is treated as the maximum incident angle.
  • FIG. 8 is an explanatory diagram illustrating an example of a method for calculating the focal length.
  • FIG. 8A is a perspective view showing the relationship between the camera coordinate system and the perspective projection plane
  • FIG. 8B shows the relationship between the camera coordinate system and the perspective projection plane in the Y-axis direction (v ′ ′′ Axis direction).
  • the u ′′ axis direction on the perspective projection plane is the width w of the perspective projection image
  • the v ′′ axis direction on the perspective projection plane is the height h of the perspective projection image.
  • the focal length calculation unit 14 uses the smaller value s of w and h in the calculated maximum incident angle ⁇ max and the perspective projection image size (w ⁇ h),
  • the focal length f ′ is calculated using the following formula 11.
  • FIG. 8B shows an example in which the focal length f ′ is calculated based on the width w.
  • the perspective projection image generation unit 13 generates a projection image in a range determined by the maximum incident angle. Specifically, the perspective projection image generation unit 13 generates an image (perspective projection image) to be projected onto a plane having a focal length f ′ determined by the maximum incident angle ⁇ max calculated by the maximum incident angle calculation unit 21. To do.
  • the ellipse estimation means 12, the perspective projection image generation means 13, the focal length calculation means 14, the projection method selection means 17, the projection method instruction means 19, and the maximum incident angle calculation means 21 are a program (camera parameter estimation program). This is realized by a CPU of a computer that operates in accordance with (1).
  • the perspective projection range input device 22 is realized by an input / output device such as a touch panel, for example. Further, the perspective projection range input device 22 may be realized by, for example, an output device such as a display device and a pointing device for selecting contents output to the output device. Note that, as in the first embodiment, the fisheye camera itself may function as a so-called intelligent camera and may include each means included in the camera parameter estimation device 200.
  • FIG. 9 is a flowchart illustrating an operation example of the camera parameter estimation apparatus 200 according to the second embodiment.
  • the image acquisition device 11 acquires an image captured by the fisheye lens camera (step S11).
  • the perspective projection range input device 22 receives an input of a range for generating a projection image from the user (step S21).
  • the ellipse estimation means 12 estimates a part of the internal parameters from the acquired image (step S12).
  • the maximum incident angle calculation means 21 calculates the maximum incident angle corresponding to the received range for each projection method (step S22).
  • the perspective projection image generation means 13 generates a plurality of projection images by applying a plurality of projection methods to the acquired image (step S13).
  • step S17 the process from step S14 to step S17 is performed in which the generated projection image is displayed, the selection by the user is accepted, the projection method is determined, and the internal parameters are calculated.
  • the perspective projection range input device 22 receives an input of a range for generating a projection image, and the maximum incident angle calculation unit 21 calculates the maximum incident angle corresponding to the range for each projection method. To do. Then, the perspective projection image generation means 13 generates a projection image in a range determined by the maximum incident angle for each projection method.
  • the generated projection image is easy to see, and the user can easily select the projection image generated by an appropriate projection method.
  • FIG. 10 is a block diagram showing a configuration example of the third embodiment of the camera parameter estimation apparatus according to the present invention.
  • the camera parameter estimation device 300 includes an image acquisition device 11, an ellipse estimation unit 12, a guide generation display unit 31, a perspective projection image generation unit 13, a focal length calculation unit 14, and a perspective projection image size storage. Means 15, maximum incident angle storage means 16, projection method selection means 17, perspective projection image display device 18, and projection method instruction means 19 are provided.
  • the camera parameter estimation device of the present embodiment further includes guide generation display means 31 as compared with the camera parameter estimation device of the first embodiment.
  • the camera parameter estimation device 300 may include the maximum incident angle calculation unit 21 and the perspective projection range input device 22 described in the second embodiment.
  • the guide generation / display unit 31 generates a guide for guiding a straight line to a position for assisting in the estimation of the internal parameter for the image captured by the fisheye lens camera, and displays the guide superimposed on the image. Specifically, the guide generation display unit 31 generates a guide that guides to the position of the straight line on the image picked up by the fisheye camera so that the distortion of the straight line when converted into the projection image looks large. ,indicate.
  • the guide generation / display unit 31 displays a guide indicating a circle at a predetermined distance from the center of the image or a radial guide from the center of the image, superimposed on the acquired image.
  • the center position estimated by the ellipse estimation means 12 may be used.
  • the guide generation display unit 31 may display a guide having a predetermined length superimposed on the acquired image.
  • the length of the guide may be determined in consideration of a length that is easy for the user to determine when converted to a projected image. Since the radius R of the field of view of the fisheye lens can be calculated by the ellipse estimation means 12, the length of the guide can be calculated based on the radius R.
  • FIG. 11 is an explanatory diagram showing an example in which a guide is superimposed on an image captured by a fisheye lens camera.
  • a circular guide is displayed at a distance of a predetermined radius from the center, so that a straight line is projected outside the displayed circle.
  • eight guides are displayed radially from the center to guide the straight line of the image so as not to follow the guides.
  • the sample S of the straight line length is displayed as a guide, and the straight line length is guided so as to be a predetermined value or more.
  • the guide generation display unit 31 may display not only one circle but also multiple circles. By aligning the straight lines obtained from the images so as to touch the multiple circles, the same effect as when a radial straight line is displayed can be obtained.
  • the guide generation / display unit 31 may receive a determination as to whether or not to use this image from the user. When it is determined not to use the image, the image acquisition device 11 acquires another image and the ellipse estimation unit 12 estimates the internal parameters, and then the guide generation display unit 31 performs the same process. These processes are repeated until an appropriate image is determined. *
  • the guide generation display means 31 is realized by a CPU of a computer that operates according to a program (camera parameter estimation program) and a display device (for example, a display device) that displays a generation result.
  • a program camera parameter estimation program
  • a display device for example, a display device
  • the fisheye camera itself may function as a so-called intelligent camera and may include each means included in the camera parameter estimation device 300.
  • FIG. 12 is a flowchart illustrating an operation example of the camera parameter estimation apparatus 300 according to the third embodiment.
  • the image acquisition device 11 acquires an image captured by the fisheye lens camera (step S11).
  • the ellipse estimation means 12 estimates a part of the internal parameters from the acquired image (step S12).
  • the guide generation / display unit 31 generates and displays a guide for guiding a straight line to a position for assisting in the estimation of the internal parameter for the image captured by the fisheye lens camera (step S31).
  • step S32 As a result of displaying the guide, when it is determined that the user is not suitable for generating a projection image (No in step S32), the processing from step S11 for acquiring an image is repeated. On the other hand, when it is determined that the user is suitable for generating a projection image (Yes in step S32), the processing from step S13 onward to generate a plurality of projection images is performed. The subsequent processing is the same as the processing after step S13 illustrated in FIG. In the loop of step S11, step S12, step S31, and step S32, some of the internal parameters are not changed, so step S12 may be omitted from the second time.
  • the guide generation display unit 31 generates a guide for guiding a straight line to a position that assists in estimation of internal parameters for an image captured by a fisheye lens camera, and displays the image on the image. Overlay and display. Therefore, in addition to the effects of the first embodiment, it is possible to appropriately include a straight line to be determined in the converted projection image.
  • Embodiment 4 a fourth embodiment of the camera parameter estimation apparatus according to the present invention will be described.
  • the projection method is determined by allowing the user to select a perspective projection image.
  • a method for determining a projection method without obtaining an explicit designation from the user and outputting an internal parameter will be described.
  • FIG. 13 is a block diagram showing a configuration example of the fourth embodiment of the camera parameter estimation apparatus according to the present invention.
  • the camera parameter estimation device 400 of the present embodiment includes an image acquisition device 41, an ellipse estimation unit 12, a perspective projection image generation unit 13, a focal length calculation unit 14, a perspective projection image size storage unit 15, and a maximum incident angle.
  • Storage means 16 and projection method selection means 42 are provided.
  • the camera parameter estimation device of the present embodiment is different from the camera parameter estimation device of the first embodiment in that the perspective projection image display device 18 and the projection method instruction means 19 are not provided.
  • the contents of the ellipse estimation means 12, the perspective projection image generation means 13, the focal length calculation means 14, the perspective projection image size storage means 15 and the maximum incident angle storage means 16 are the same as those in the first embodiment.
  • the image acquisition device 41 acquires an image in which an object including a straight line is captured by a fisheye lens camera. Specifically, the image acquisition device 41 acquires an image obtained by capturing an object whose line included in the image can be recognized as a straight line. For example, the image acquisition device 41 acquires an image obtained by capturing an object that can automatically acquire feature points, lattice points, and the like whose straight line structure is known from the image. In the present embodiment, the image acquisition device 41 acquires an image obtained by capturing a planar chess pattern as a target including a straight line. A planar chess pattern is a black and white checkered pattern.
  • the image acquired by the image acquisition device 41 is not limited to an image obtained by capturing a planar chess pattern.
  • the content of the image is arbitrary as long as it is a target that can recognize that the line in the image is a straight line (more specifically, a target that can automatically acquire a feature that shows the structure of the straight line from the image).
  • the perspective projection image generation unit 13 generates a plurality of projection images by applying a plurality of projection methods, as in the first embodiment.
  • the projection method selection means 42 selects one projection image from a plurality of projection images based on the linearity of the straight line included in the generated projection image. Then, the projection method selection means 42 identifies the projection method that generated the selected projection image. The projection method selection means 42 determines the linearity by calculating the degree of distortion of the line from the feature that allows the straight line structure in the image captured in the present embodiment to be understood.
  • FIG. 14 is an explanatory diagram showing an example in which a planar chess pattern is returned to a perspective projection image.
  • an image 400 captured by a fisheye lens camera is converted into projected images indicated by images 410 to 413 by a plurality of projection methods.
  • the lines constituting the planar chess pattern are all straight lines, and the projection method selection means 42 automatically acquires chess lattice points from the image and determines linearity based on the chess lattice points.
  • FIG. 15 is an explanatory diagram illustrating an example of processing for determining linearity. As illustrated in FIG. 15, attention is paid to the linearity in the vertical direction and the horizontal direction, starting from a lattice point of chess.
  • the projection method selection means 42 generates a vector (grid point vector) from the starting point to the lattice point.
  • Projection method selection means 42 arbitrarily determines vertical and horizontal reference lattice point vectors, and calculates the inner product of the reference lattice point vector and another lattice point vector.
  • Projection method selection means 42 quantifies the linearity by averaging all inner products. The closer this number is to 1, the higher the linearity. Therefore, the projection method selection unit 42 selects a projection image whose value is closest to 1 from the projection images converted by the respective projection methods, and specifies the projection method that generated the selected projection image. Then, the projection method selection means 42 outputs the internal parameters of the fisheye lens camera corresponding to the determined projection method.
  • the projection method selection means 42 determines a vector from each point to an adjacent point using a plurality of points that specify the position of the straight line, and calculates a vector determined as a reference and another vector. You may judge that linearity is so high that the average of an inner product is near one. Then, the projection method selection means 42 may select the projection method whose value is closest to 1.
  • the ellipse estimation means 12, the perspective projection image generation means 13, the focal length calculation means 14, and the projection method selection means 42 are realized by a CPU of a computer that operates according to a program (camera parameter estimation program).
  • the fisheye camera itself may function as a so-called intelligent camera and include each means included in the camera parameter estimation device 400.
  • the fish-eye camera includes an image acquisition device 41, an ellipse estimation device 12, a perspective projection image generation unit 13, and a projection method selection unit 42 (and, if necessary, a focal length calculation unit 14, a perspective projection image size storage unit 15). And a maximum incident angle storage means 16).
  • FIG. 16 is a flowchart illustrating an operation example of the camera parameter estimation apparatus 400 according to the fourth embodiment.
  • the image acquisition device 41 acquires an image in which a target including a straight line is captured by the fisheye lens camera (step S41). Thereafter, the processes from step S12 to step S13 for estimating the internal parameters and generating a plurality of projection images are performed.
  • the projection method selection means 42 selects one of the plurality of projection images based on the linearity of the straight line included in the projection image (step S42).
  • the projection method selection unit 42 determines a projection method based on the selected projection image (step S43). Then, the projection method selection unit 42 outputs the internal parameters of the fisheye lens camera corresponding to the determined projection method (step S44).
  • the perspective projection image generation unit 13 applies a plurality of projection methods using the radius of the field of view of the fisheye lens camera to an image obtained by capturing an object including a straight line with the fisheye lens camera.
  • a plurality of projection images are generated.
  • the projection method selection unit 42 selects one of the plurality of projection images based on the linearity of the straight line included in the projection image, and determines the projection method based on the selected projection image. Then, the projection method selection means 42 outputs the internal parameters of the fisheye lens camera corresponding to the determined projection method. Therefore, it is possible to easily estimate the internal parameters without requiring user's operation or knowledge of the projection method.
  • linearity is determined using an image obtained by capturing an object that can be recognized as a straight line in the image.
  • a method of determining a projection method using an image obtained by capturing an object including a straight line, such as a landscape image, and outputting an internal parameter will be described.
  • FIG. 17 is a block diagram showing a configuration example of the fifth embodiment of the camera parameter estimation apparatus according to the present invention.
  • the camera parameter estimation device 500 of this embodiment includes an image acquisition device 51, a straight line instruction unit 52, an ellipse estimation unit 12, a perspective projection image generation unit 13, a focal length calculation unit 14, and a perspective projection image size storage unit. 15, maximum incident angle storage means 16, and projection method selection means 53.
  • the camera parameter estimation device of this embodiment differs from the camera parameter estimation device of the fourth embodiment in the contents of the image acquisition device 51 and the projection method selection means 53, and further includes a straight line instruction means 52. .
  • the other configuration is the same as that of the fourth embodiment.
  • the image acquisition device 51 acquires an image obtained by capturing an object including at least a part of a straight line with a fisheye lens camera.
  • the image acquisition device 51 may acquire an image in which a target that can automatically acquire a feature that shows the structure of a straight line from an image is captured, such as the planar chess pattern described in the fourth embodiment. .
  • the straight line instructing unit 52 receives an instruction of a part that the user determines to be a straight line from the image captured by the fisheye lens camera. That is, in the present embodiment, an instruction for determining the linearity is received from the user before conversion into a perspective projection image.
  • the straight line instructing means 52 may receive, for example, the position of a line that is determined as a straight line from the user at a plurality of points. Moreover, the straight line instruction
  • FIG. 18 is an explanatory diagram showing an example in which the straight line instruction unit 52 receives an instruction of a place determined as a straight line.
  • the straight line instructing unit 52 may accept the position of the line at a plurality of points P.
  • the straight line instruction unit 52 may accept an instruction for tracing and specifying the position of the line.
  • the straight line designating unit 52 may specify the position of the line by a plurality of points, assuming that the point is specified at a position obtained by dividing the line at a predetermined interval (see FIG. 18 (c)).
  • the straight line instruction means 52 is realized by an input / output device such as a touch panel, for example. Further, the straight line instruction unit 52 may be realized by, for example, an output device such as a display device and a pointing device that specifies the position of an image output to the output device.
  • the projection method selection unit 53 selects one of the plurality of projection images based on the linearity of the straight line indicated by the portion received by the straight line instruction unit 52. Specifically, since the instructed position is also converted into a projected image by the perspective projection image generation unit 13, the projection method selection unit 53 determines linearity based on the position.
  • the method for judging linearity is arbitrary.
  • the projection method selection unit 53 generates a vector from each designated point to the next point, calculates the average of the inner product of each vector, and determines the linearity. Good.
  • the ellipse estimation means 12, the perspective projection image generation means 13, the focal length calculation means 14, and the projection method selection means 53 are realized by a CPU of a computer that operates according to a program (camera parameter estimation program).
  • the fisheye camera itself may function as a so-called intelligent camera and include each means included in the camera parameter estimation device 500.
  • FIG. 19 is a flowchart illustrating an operation example of the camera parameter estimation apparatus 500 according to the fifth embodiment.
  • the image acquisition device 51 acquires an image obtained by capturing an object including at least a part of a straight line with a fisheye lens camera (step S51).
  • the straight line instructing unit 52 receives an instruction of a location that the user determines to be a straight line from the acquired images (step S52). Thereafter, the processes from step S12 to step S13 for estimating the internal parameters and generating a plurality of projection images are performed.
  • Projection method selection means 53 selects one of a plurality of projection images based on the linearity of the straight line indicated by the received location (step S53). Thereafter, the processes from step S43 to step S44 for determining the projection method and outputting the internal parameters are performed.
  • the straight line instruction unit 52 receives an instruction of a location that the user determines to be a straight line from the image captured by the fisheye lens camera. Then, the projection method selection unit 53 selects one of the plurality of projection images based on the linearity of the straight line indicated by the received location. Therefore, the internal parameters can be easily estimated without requiring special knowledge about the image and the projection method.
  • FIG. 20 is a block diagram showing an outline of a camera parameter estimation apparatus according to the present invention.
  • the camera parameter estimation device 80 (for example, the camera parameter estimation device 400) according to the present invention uses a radius (for example, a radius R) of a visual field region in a fisheye lens camera for an image in which an object including a straight line is captured by a fisheye lens camera.
  • a projection method determination unit 82 (for example, a projection method selection unit 42) that selects one of a plurality of projection images and determines a projection method based on the selected projection image, and according to the determined projection method
  • An output unit 83 (for example, projection method selection means 42) that outputs internal parameters of the fisheye lens camera is provided.
  • the internal parameters can be easily estimated without the need for knowledge of the projection method.
  • the internal parameters can be estimated without estimating the external parameters representing the three-axis posture of the camera and the position from the ground as described in Patent Document 1.
  • the camera parameter estimation device 80 may include a straight line instruction unit (for example, a straight line instruction unit 52) that receives an instruction of a location that the user determines to be a straight line from an image captured by the fisheye lens camera. Then, the projection method determination unit 82 (for example, the projection method selection unit 53) may select one of a plurality of projection images based on the linearity of the straight line indicated by the received location.
  • a straight line instruction unit for example, a straight line instruction unit 52
  • the projection method determination unit 82 for example, the projection method selection unit 53
  • the projection method determination unit 82 determines a vector from each point to the adjacent point using a plurality of points that specify the position of the straight line, and calculates the inner product of the vector determined as the reference and another vector. It may be determined that the linearity is higher as the average is closer to 1, and the projection method having the highest linearity may be determined.
  • the straight line instruction unit may accept the position of a line determined to be a straight line at a plurality of points.
  • the straight line instructing unit may receive an instruction to specify a straight line by tracing the position of the line, and may determine that a point is specified at a position obtained by dividing the line indicated by the received position at a predetermined interval.
  • the projection image generation unit 81 may generate a projection image by applying a projection method to an image obtained by capturing a planar chess pattern as an object including a straight line.
  • the camera parameter estimation device 80 estimates a view area radius in the fisheye lens camera (e.g., estimated by ellipse fitting) from an image picked up by the fisheye lens camera (e.g., ellipse estimation means 12). You may have.
  • the projection image generation unit 81 applies a plurality of projection images by applying at least two projection methods of an equidistant projection method, an orthographic projection method, a stereoscopic projection method, and an equal stereoscopic projection method as a projection method. May be generated.
  • the output unit 83 uses, as internal parameters of the fisheye lens camera, the image center (for example, (C u , C v )) of the image captured by the fisheye lens camera, and distortion (for example, ⁇ ) of the image sensor of the fisheye lens camera. And the radius (for example, R) of the view field and the projection method may be output.
  • a projection image generation unit that generates a plurality of projection images by applying a plurality of projection methods using a radius of a field of view in the fisheye lens camera to an image in which an object including a straight line is captured by a fisheye lens camera
  • a projection method determining unit that selects one of the plurality of projection images based on linearity of the straight line included in the projection image and determines a projection method based on the selected projection image
  • An apparatus for estimating a camera parameter comprising: an output unit that outputs an internal parameter of the fisheye lens camera according to a projection method.
  • a linear instruction unit that receives an instruction of a location that the user determines to be a straight line from an image captured by the fisheye lens camera, and the projection method determination unit includes a plurality of linearity based on the linearity of the straight line indicated by the received location.
  • the camera parameter estimation apparatus according to appendix 1, wherein one of the projected images is selected.
  • the projection method determination unit determines a vector from each point to an adjacent point using a plurality of points that specify the position of the straight line, and the inner product of the vector determined as the reference and another vector.
  • the camera parameter estimation apparatus according to Supplementary Note 1 or Supplementary Note 2, wherein the linearity is determined to be higher as the average of 1 is closer to 1, and the projection method having the highest linearity is determined.
  • indication part receives the instruction
  • Camera parameter estimation device receives the instruction
  • the camera parameter estimation device according to any one of supplementary notes 1 to 6, further comprising a visual field region estimation unit that estimates a radius of a visual field region in the fisheye lens camera from an image captured by the fisheye lens camera.
  • the projection image generation unit generates a plurality of projection images by applying at least two projection methods of an equidistant projection method, an orthographic projection method, a stereoscopic projection method, and an equal stereoscopic projection method as a projection method.
  • the camera parameter estimation device according to any one of supplementary notes 1 to 7.
  • the output unit outputs the image center of the image photographed by the fisheye lens camera, the distortion of the imaging element of the fisheye lens camera, the radius of the field of view, and the projection method as internal parameters of the fisheye lens camera.
  • the camera parameter estimation apparatus according to any one of 8.
  • a plurality of projection methods using a radius of a field of view in the fisheye lens camera are applied to an image obtained by capturing an object including a straight line with a fisheye lens camera, and a plurality of projection images are generated. Selecting one of the plurality of projection images based on linearity of the included straight line, determining a projection method based on the selected projection image, and internal parameters of the fisheye lens camera according to the determined projection method.
  • the camera parameter estimation method characterized by outputting.
  • generates a several projection image by applying the some projection system which uses the radius of the visual field area in the said fisheye lens camera to the image which imaged the object containing a straight line with the fisheye lens camera to a computer Generating process, selecting one of the plurality of projection images based on linearity of the straight line included in the projection image, and determining a projection method based on the selected projection image; and The camera parameter estimation program for performing the output process which outputs the internal parameter of the said fisheye lens camera according to the determined projection system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

投影画像生成部８１は、魚眼レンズカメラによって直線を含む対象が撮像された画像に対し、魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する。射影方式決定部８２は、投影画像に含まれる直線の直線性に基づいて複数の投影画像の一つを選択し、その選択された投影画像に基づいて射影方式を決定する。出力部８３は、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する。

Description

カメラパラメータ推定装置、方法およびプログラム
　本発明は、カメラパラメータ推定装置、カメラパラメータ推定方法およびカメラパラメータ推定プログラムに関し、特に、魚眼レンズカメラの内部パラメータを推定するカメラパラメータ推定装置、カメラパラメータ推定方法およびカメラパラメータ推定プログラムに関する。
　魚眼レンズカメラの内部パラメータとは、カメラ光軸を基準とした３次元座標を示すカメラ座標系と画像上の２次元座標を示す画像座標系を変換できるパラメータであり、画像中心、撮像素子の歪み、レンズ歪み（すなわち、射影方式＋関連パラメータ）を示すパラメータである。内部パラメータを用いることで、任意の座標系の点が分かると、各座標系の点に変換することができる。
　魚眼レンズカメラの内部パラメータを推定する方法が、例えば、特許文献１に記載されている。特許文献１に記載された方法では、まず、３枚のチェスパターンが互いに直交する特殊な校正パターンを撮影する。次に、視野境界の楕円フィッティングと、射影方式の事前知識及び接線歪みなしの条件から内部パラメータを仮推定し、校正パターンの格子点を示す実空間上の点を外部パラメータと内部パラメータを用いて画像上に投影する。そして、投影された格子点の座標と画像から直接取得した格子点の座標の投影誤差を最小化することで、内部パラメータを推定する。
特開２００７－１９２８３２号公報
　一方、特許文献１に記載された推定方法にはいくつかの問題点が存在する。第一の問題点は、３次元位置の既知な点が存在する特殊な校正パターン、物体、空間などを撮影しないと内部パラメータを推定できず、推定が複雑になることである。その理由は、３次元位置である実空間上の点と画像上の点の対応から、外部パラメータと内部パラメータを同時に推定しながら、内部パラメータを推定しているためである。
　第二の問題点は、推定したい魚眼レンズカメラに対し、内部パラメータのレンズ歪みを示す射影方式を事前に入手しておく必要があることである。その理由は、射影方式に基づいて、内部パラメータのレンズ歪みを示すパラメータの初期値、つまり、内部パラメータの初期値を決定しているためである。
　そこで、本発明は、射影方式の前提知識を必要とせずに、内部パラメータを容易に推定できるカメラパラメータ推定装置、カメラパラメータ推定方法およびカメラパラメータ推定プログラムを提供することを目的とする。
　本発明によるカメラパラメータ推定装置は、魚眼レンズカメラによって直線を含む対象が撮像された画像に対し、魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する投影画像生成部と、投影画像に含まれる直線の直線性に基づいて複数の投影画像の一つを選択し、その選択された投影画像に基づいて射影方式を決定する射影方式決定部と、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する出力部とを備えたことを特徴とする。
　本発明によるカメラパラメータ推定方法は、魚眼レンズカメラによって直線を含む対象が撮像された画像に対し、魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成し、投影画像に含まれる直線の直線性に基づいて複数の投影画像の一つを選択し、選択された投影画像に基づいて射影方式を決定し、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力することを特徴とする。
　本発明によるカメラパラメータ推定プログラムは、コンピュータに、魚眼レンズカメラによって直線を含む対象が撮像された画像に対し、魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する投影画像生成処理、投影画像に含まれる直線の直線性に基づいて複数の投影画像の一つを選択し、その選択された投影画像に基づいて射影方式を決定する射影方式決定処理、および、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する出力処理を実行させることを特徴とする。
　本発明によれば、射影方式の前提知識を必要とせずに、内部パラメータを容易に推定できる。
本発明によるカメラパラメータ推定装置の第１の実施形態の構成例を示すブロック図である。 内部パラメータの一部を取得する方法の一例を示す説明図である。 各座標系の関係を示す説明図である。 魚眼レンズカメラで撮影された画像から複数の射影方式により生成された画像の例を示す説明図である。 第１の実施形態のカメラパラメータ推定装置１００の動作例を示すフローチャートである。 本発明によるカメラパラメータ推定装置の第２の実施形態の構成例を示すブロック図である。 最大入射角を算出する方法の例を説明する説明図である。 焦点距離を算出する方法の例を説明する説明図である。 第２の実施形態のカメラパラメータ推定装置２００の動作例を示すフローチャートである。 本発明によるカメラパラメータ推定装置の第３の実施形態の構成例を示すブロック図である。 魚眼レンズカメラで撮像された画像にガイドを重畳した例を示す説明図である。 第３の実施形態のカメラパラメータ推定装置３００の動作例を示すフローチャートである。 本発明によるカメラパラメータ推定装置の第４の実施形態の構成例を示すブロック図である。 平面チェスパターンを透視投影画像に戻した例を示す説明図である。 直線性を判断する処理の例を示す説明図である。 第４の実施形態のカメラパラメータ推定装置４００の動作例を示すフローチャートである。 本発明によるカメラパラメータ推定装置の第５の実施形態の構成例を示すブロック図である。 直線と判断する箇所の指示を受け付ける例を示す説明図である。 第５の実施形態のカメラパラメータ推定装置５００の動作例を示すフローチャートである。 本発明によるカメラパラメータ推定装置の概要を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図１は、本発明によるカメラパラメータ推定装置の第１の実施形態の構成例を示すブロック図である。本実施形態のカメラパラメータ推定装置１００は、画像取得装置１１と、楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、透視投影画像サイズ記憶手段１５と、最大入射角記憶手段１６と、射影方式選択手段１７と、透視投影画像表示装置１８と、射影方式指示手段１９とを備えている。
　画像取得装置１１は、推定に用いられる画像を取得する。具体的には、画像取得装置１１は、魚眼レンズで撮像された直線が含まれる風景画像を取得する。直線が含まれる風景画像として、例えば、ビル、電柱、机、柱、床のパターンなどを含む風景画像があげられる。
　なお、取得される画像は、直線が含まれていれば、風景画像に限定されず、例えば、上記特許文献１に記載された特殊な格子パターンであってもよい。ただし、特殊な格子パターンを推定ごとに準備し、撮像することは煩雑であるが、本実施形態のカメラパラメータ推定装置１００は、後述する処理により、特殊な格子パターンを用いなくても内部パラメータを容易に推定することが可能である。
　画像取得装置１１は、撮像手段（図示せず）によって撮像された画像を取得してもよく、任意の記憶部（図示せず）から画像を読み取ってもよく、通信ネットワーク網を介して画像を受信してもよい。
　楕円推定手段１２は、撮像された画像から、その画像を撮像した魚眼レンズの内部パラメータの一部を取得する。ここでは、楕円推定手段１２は、撮像された画像から、画像中心（Ｃｕ，Ｃｖ）、撮像素子の歪みαおよび魚眼レンズの視界領域の半径Ｒを推定する。理論的には、魚眼レンズの視界領域は、半径Ｒの真円になる。
　楕円推定手段１２は、魚眼レンズカメラから得られた画像の視野境界に対して、例えば、楕円フィッティングを行い、内部パラメータの一部である画像中心（Ｃｕ，Ｃｖ）と撮像素子の歪みαを取得する。また、楕円推定手段１２は、複数の典型的な射影方式のパラメータとして、視野境界が真円である場合の半径Ｒを取得する。ただし、半径Ｒを取得する方法は、楕円フィッティングに限定されない。
　図２は、内部パラメータの一部を取得する方法の一例を示す説明図である。撮像された画像１１０は、画像の左上を原点とし、横軸方向をｕ、縦軸方向をｖとする画像座標系で表すことができる。魚眼レンズで撮像された画像は楕円状になることから、長径および短径の長さをそれぞれ２ａおよび２ｂとしたとき、その楕円は、画像中心（Ｃｕ，Ｃｖ）を用いて、以下の式１で表される。
Figure JPOXMLDOC01-appb-M000001
　次に、魚眼レンズカメラの光軸を中心とする極座標系（以下、魚眼座標系と記す。）を考える。楕円推定手段１２は、図２の画像１２０に示すように、視野境界が真円になるように戻すための内部パラメータを算出する。ここでは、楕円推定手段１２は、短軸の長さ２ｂの半分の長さを真円の半径Ｒとするように内部パラメータを算出する。すなわち、Ｒ＝ｂである。ただし、Ｒ＝ａとしてもよい。
　魚眼座標系において、円の中心を原点とし、ｕ´およびｖ´を直交座標としたとき、画像座標系の各点は、以下に示す式２を用いて、魚眼座標系の各点に変換できる。式２において、αは撮像素子の歪みであり、α＝ｂ／ａで算出される。
Figure JPOXMLDOC01-appb-M000002
　また、楕円推定手段１２は、魚眼座標系における極座標を、以下に示す式３で算出する。
Figure JPOXMLDOC01-appb-M000003
　ｒおよびＲを算出することで、典型的な射影方式における入射角を算出することが可能である。以下の説明では、典型的な射影方式として４種類（等距離射影方式、正射影方式、立体射影方式および等立体角射影方式）を例示する。ただし、本実施形態のカメラパラメータ推定装置が用いる射影方式は、これら４種類に限定されない。
　等距離射影方式における入射角θは、以下に示す式４で算出される。正射影方式における入射角θは、以下に示す式５で算出される。立体射影方式における入射角θは、以下に示す式６で算出される。等立体角射影方式における入射角θは、以下に示す式７で算出される。
Figure JPOXMLDOC01-appb-M000004
　透視投影画像サイズ記憶手段１５は、生成される透視投影画像のサイズｓを記憶する。具体的には、透視投影画像サイズ記憶手段１５は、画像の幅ｗと高さｈで表されるサイズを記憶してもよい。生成される透視投影画像のサイズｓは、ユーザ等により予め定められ、透視投影画像サイズ記憶手段１５に記憶される。
　最大入射角記憶手段１６は、生成される透視投影画像で用いられる最大入射角を記憶する。本実施形態では、最大入射角θｍａｘは予め定められ、最大入射角記憶手段１６に記憶されているものとする。
　透視投影画像サイズ記憶手段１５および最大入射角記憶手段１６は、メモリや磁気ディスク等により実現される。
　焦点距離算出手段１４は、透視投影画像の生成に用いられる焦点距離を算出する。焦点距離ｆ´は、魚眼レンズカメラの焦点から、魚眼レンズカメラで撮像された画像を一般的な画像（透視投影画像）として表示する平面（透視投影平面）までの距離である。
　焦点距離算出手段１４は、透視投影画像サイズ記憶手段１５から透視投影画像のサイズｓを取得する。具体的には、焦点距離算出手段１４は、透視投影画像サイズ記憶手段１５から幅ｗまたは高さｈを取得する。ここで取得された値をｓと記す。また、焦点距離算出手段１４は、最大入射角記憶手段１６から最大入射角θｍａｘを取得する。このとき、焦点距離算出手段１４は、焦点距離ｆ´を以下の式８により算出する。
　ｆ´＝ｓ／２ｔａｎθｍａｘ　　（式８）
　透視投影画像生成手段１３は、予め定めた射影方式ごとに、楕円推定手段１２が取得した内部パラメータを用いて、カメラから焦点距離ｆ´にある平面（透視投影平面）に透視投影することで得られる一般的な画像（すなわち、透視投影画像）を生成する。
　具体的には、透視投影画像生成手段１３は、複数の射影方式を適用して、複数の投影画像を生成する。なお、上述する射影方式では、魚眼レンズカメラにおける視界領域の半径が用いられる。また、魚眼レンズカメラにおける視界領域の半径Ｒは、楕円推定手段１２によって撮像された画像から推定されている。そこで、透視投影画像生成手段１３は、魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する。
　図３は、各座標系の関係を示す説明図である。画像座標系で表された図３に例示する画像２１０の任意の点ｍは、上記式２および式３により、ｒおよびφで表される魚眼座標系の点ｍ´に変換できる。また、魚眼座標系における点ｍ´は、指定された射影方式に基づき入射角θを求めて射影変換することにより、カメラ座標系における仮想球面上の点ｐに変換できる。
　仮想球面を半径１の球とし、入射角θ、方位角φとすると、仮想球面上の点ｐは、以下に示す式９で算出できる。
　ｐ＝（λ，μ，ν）＝（ｓｉｎθｃｏｓφ，ｓｉｎθｓｉｎφ，ｃｏｓθ）　（式９）
　そして、カメラ座標系の点ｐから透視投影平面上の点（ｕ´´´，ｖ´´´）へは、以下に示す式１０を用いて変換できる。式１０におけるｆ´は、焦点距離算出手段１４によって算出された焦点距離ｆ´である。
Figure JPOXMLDOC01-appb-M000005
　本実施形態では、透視投影画像生成手段１３は、画像取得装置１１が取得した画像（すなわち、魚眼レンズカメラにより撮像される画像）に対し、複数の射影方式を適用して複数の投影画像を生成する。
　射影方式選択手段１７は、生成された投影画像を透視投影画像表示装置１８に表示する。透視投影画像表示装置１８は、例えば、タッチパネルやディスプレイ装置により実現される。
　図４は、魚眼レンズカメラで撮影された画像から複数の射影方式により生成された画像の例を示す説明図である。図４に示す例では、異なる射影方式で生成された画像間で、歪みの程度に違いがあることを示す。
　射影方式選択手段１７は、選択された透視投影画像に基づいて射影方式を決定する。透視投影画像の選択は、後述する射影方式指示手段１９によって指示される。
　そして、射影方式選択手段１７は、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する。具体的には、射影方式選択手段１７は、射影方式、並びに、射影方式に応じたパラメータ（半径Ｒ）、画像中心および撮像画素の歪みを表す内部パラメータを決定し、出力する。
　射影方式指示手段１９は、表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付ける。具体的には、ユーザが、複数の投影画像を参照し、最も直線性の高い直線を含む投影画像を判断すると、射影方式指示手段１９が、ユーザの判断による投影画像の選択を受け付ける。
　直線性が高いとは、直線と比較した場合のズレの小ささである。すなわち、直線と比較した場合のズレがより小さいほど直線性が高いと言える。適切な射影方式に基づいて変換された画像は、元の投影画像に近づくため、元の画像で直線を表している部分は、直線に近くなるように変換される。一方、異なる射影方式に基づいて変換された画像は、適切に変換を行えない結果、元の画像で直線を表している部分にも歪みが発生する。
　このように、透視投影画像生成手段１３が、複数の射影方式を適用して複数の投影画像を生成することで、ユーザが適切な画像を選択できる結果、適切な射影方式を決定することが可能になる。
　射影方式指示手段１９は、例えば、タッチパネルに表示された複数の投影画像のうち、指定された位置に存在する投影画像を射影方式選択手段１７に通知してもよい。また、射影方式指示手段１９は、ポインティングデバイスによって指定された位置に存在する投影画像を射影方式選択手段１７に通知してもよい。
　楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、射影方式選択手段１７と、射影方式指示手段１９とは、プログラム（カメラパラメータ推定プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
　例えば、プログラムは、カメラパラメータ推定装置１００が備える記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、楕円推定手段１２、透視投影画像生成手段１３、焦点距離算出手段１４、射影方式選択手段１７および射影方式指示手段１９として動作してもよい。
　また、楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、射影方式選択手段１７と、射影方式指示手段１９とは、それぞれが専用のハードウェアで実現されていてもよい。また、画像を撮影する魚眼カメラ自体が、いわゆるインテリジェントカメラとして機能し、これらの各手段を備えていてもよい。例えば、魚眼カメラが、画像取得装置１１、楕円推定装置１２および透視投影画像生成手段１３（さらに、必要に応じて、焦点距離算出手段１４、透視投影画像サイズ記憶手段１５および最大入射角記憶手段１６）を備えていてもよい。そして、魚眼カメラが、生成された透視投影画像を射影方式選択手段１７に送信して、ユーザによる投影画像の選択を受け付けさせてもよい。
　次に、本実施形態のカメラパラメータ推定装置１００の動作例を説明する。図５は、第１の実施形態のカメラパラメータ推定装置１００の動作例を示すフローチャートである。
　画像取得装置１１は、魚眼レンズカメラにより撮像される画像を取得する（ステップＳ１１）。楕円推定手段１２は、取得した画像から内部パラメータの一部を推定する（ステップＳ１２）。具体的には、楕円推定手段１２は、内部パラメータとして、画像中心、撮像素子の歪みおよび魚眼レンズカメラの視界領域の半径を推定する。
　透視投影画像生成手段１３は、取得した画像に対して複数の射影方式を適用することで、複数の投影画像を生成する（ステップＳ１３）。射影方式選択手段１７は、生成された投影画像を透視投影画像表示装置１８に表示する（ステップＳ１４）。射影方式指示手段１９は、透視投影画像表示装置１８に表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付ける（ステップＳ１５）。射影方式選択手段１７は、選択された投影画像に基づいて射影方式を決定する（ステップＳ１６）。そして、射影方式選択手段１７は、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する（ステップＳ１７）。
　以上のように、本実施形態では、透視投影画像生成手段１３は、魚眼レンズカメラにより撮像される画像に対し、魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する。透視投影画像表示装置１８は、複数の投影画像を表示し、射影方式指示手段１９は、表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付ける。そして、射影方式選択手段１７は、選択された投影画像に基づいて射影方式を決定し、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する。よって、特殊な校正パターンや射影方式の前提知識を必要とせずに、内部パラメータを容易に推定できる。
実施形態２．
　次に、本発明によるカメラパラメータ推定装置の第２の実施形態を説明する。第１の実施形態では、射影方式指示手段１９が、透視投影画像表示装置１８に表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付ける。その際、ユーザは、複数の投影画像を参照し、最も直線性の高い直線を含む投影画像を判断する。
　直線性の高い直線を含む投影画像を判断させるためには、ユーザが着目する直線を適切に表示できることが好ましい。そこで、本実施形態では、透視投影画像の範囲を調整できる構成を説明する。
　図６は、本発明によるカメラパラメータ推定装置の第２の実施形態の構成例を示すブロック図である。本実施形態のカメラパラメータ推定装置２００は、画像取得装置１１と、楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、透視投影画像サイズ記憶手段１５と、最大入射角記憶手段１６と、射影方式選択手段１７と、透視投影画像表示装置１８と、射影方式指示手段１９と、最大入射角算出手段２１と、透視投影範囲入力装置２２とを備えている。
　すなわち、本実施形態のカメラパラメータ推定装置は、第１の実施形態のカメラパラメータ推定装置と比較し、最大入射角算出手段２１と、透視投影範囲入力装置２２とをさらに備えている。
　透視投影範囲入力装置２２は、取得した画像（すなわち、魚眼レンズカメラで撮像された画像）のうち、投影画像を生成する範囲を入力する。具体的には、透視投影範囲入力装置２２は、ユーザから投影画像を生成する範囲の入力を受け付ける。
　上記図３に示すように、透視投影画像は、取得された画像に対し最大入射角θｍａｘで決定される半径距離から画像中心までの範囲が拡大された画像である。ユーザが透視投影画像で直線の直線性を確認するためには、直線を大きく写す必要がある。そこで、取得した画像の中心からの距離（半径距離）を短くして、表示させる画像を拡大するため、透視投影範囲入力装置２２は、画像中心からの半径距離を入力する。
　範囲の指定方法は任意である。最大入射角算出手段２１は、例えば、魚眼レンズカメラで撮像された画像を画面に表示し、表示された画面上でクリックされた画像の点（ｕ０，ｖ０）を取得して、画像中心からの半径を入力してもよい。また、最大入射角算出手段２１は、画面上で複数の点がクリックされた場合、その点のうち最も半径距離が短くなる点を取得して、その半径距離を入力してもよい。
　最大入射角算出手段２１は、入力された範囲に基づいて、射影方式ごとに最大入射角を算出する。図７は、最大入射角を算出する方法の例を説明する説明図である。魚眼レンズカメラで撮像された画像上の点（ｕ０，ｖ０）が指定されると、最大入射角算出手段２１は、例えば、楕円推定手段１２で求めた内部パラメータの一部と上記式２とに基づいて、その点を魚眼座標系の点（ｕ´，ｖ´）に変換する。さらに、最大入射角算出手段２１は、上記式３に基づいて、変換された魚眼座標系の点（ｕ´，ｖ´）から、ｒおよびφを算出する。
　上記処理により算出されたｒと、楕円推定手段１２で求めた内部パラメータの一部であるＲを用い、最大入射角算出手段２１は、射影方式に応じて、例えば、上記式４から式７に示す式に基づいて、入射角を算出する。ここで算出された入射角が最大入射角として扱われる。
　焦点距離算出手段１４は、最大入射角算出手段２１により決定された最大入射角を用いて焦点距離を算出する。図８は、焦点距離を算出する方法の例を説明する説明図である。図８（ａ）は、カメラ座標系と透視投影平面との関係を斜視図で表したものであり、図８（ｂ）は、カメラ座標系と透視投影平面との関係をＹ軸方向（ｖ´´´軸方向）から表したものである。図８では、透視投影平面上のｕ´´´軸方向を透視投影画像の幅ｗとし、透視投影平面上のｖ´´´軸方向を透視投影画像の高さｈとしている。
　図８（ｂ）に示すように、焦点距離算出手段１４は、算出された最大入射角θｍａｘおよび透視投影画像サイズ（ｗ×ｈ）におけるｗとｈのうち小さい方の値ｓを用いて、以下の式１１を用いて焦点距離ｆ´を算出する。図８（ｂ）は、幅ｗを基準に焦点距離ｆ´を算出する例である。
Figure JPOXMLDOC01-appb-M000006
　透視投影画像生成手段１３は、最大入射角により決定される範囲の投影画像を生成する。具体的には、透視投影画像生成手段１３は、最大入射角算出手段２１により算出された最大入射角θｍａｘにより決定される焦点距離ｆ´の平面に投影される画像（透視投影画像）を生成する。
　楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、射影方式選択手段１７と、射影方式指示手段１９と、最大入射角算出手段２１とは、プログラム（カメラパラメータ推定プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
　また、透視投影範囲入力装置２２は、例えば、タッチパネル等などの入出力装置により実現される。また、透視投影範囲入力装置２２は、例えば、ディスプレイ装置などの出力装置及びその出力装置に出力された内容を選択するポインティングデバイスなどにより実現されてもよい。なお、第１の実施形態と同様、魚眼カメラ自体が、いわゆるインテリジェントカメラとして機能し、カメラパラメータ推定装置２００に含まれる各手段を備えていてもよい。
　次に、本実施形態のカメラパラメータ推定装置２００の動作例を説明する。図９は、第２の実施形態のカメラパラメータ推定装置２００の動作例を示すフローチャートである。画像取得装置１１は、魚眼レンズカメラにより撮像される画像を取得する（ステップＳ１１）。透視投影範囲入力装置２２は、ユーザから投影画像を生成する範囲の入力を受け付ける（ステップＳ２１）。楕円推定手段１２は、取得した画像から内部パラメータの一部を推定する（ステップＳ１２）。最大入射角算出手段２１は、受け付けた範囲に応じた最大入射角を射影方式ごとに算出する（ステップＳ２２）。透視投影画像生成手段１３は、取得した画像に対して複数の射影方式を適用することで、複数の投影画像を生成する（ステップＳ１３）。
　以降、生成された投影画像を表示してユーザによる選択を受け付け、射影方式を決定して内部パラメータを算出するステップＳ１４からステップＳ１７までの処理が行われる。
　以上のように、本実施形態では、透視投影範囲入力装置２２が、投影画像を生成する範囲の入力を受け付け、最大入射角算出手段２１が、範囲に応じた最大入射角を射影方式ごとに算出する。そして、透視投影画像生成手段１３が、最大入射角により決定される範囲の投影画像を射影方式ごとに生成する。
　よって、第１の実施形態の効果に加え、生成される投影画像が見やすいものになり、ユーザが適切な射影方式で生成された投影画像を選択しやすくなる。
実施形態３．
　次に、本発明によるカメラパラメータ推定装置の第３の実施形態を説明する。第１の実施形態および第２の実施形態で示すように、ユーザに直線性の高い直線を含む投影画像を判断させるためには、投影画像に変換する前の画像に、判断に適した直線が含まれていることが好ましい。
　そこで、本実施形態では、投影画像に変換する前の画像（すなわち、魚眼レンズカメラで撮影された画像）が適切か否かを判断し易くする方法を説明する。
　図１０は、本発明によるカメラパラメータ推定装置の第３の実施形態の構成例を示すブロック図である。本実施形態のカメラパラメータ推定装置３００は、画像取得装置１１と、楕円推定手段１２と、ガイド生成表示手段３１と、透視投影画像生成手段１３と、焦点距離算出手段１４と、透視投影画像サイズ記憶手段１５と、最大入射角記憶手段１６と、射影方式選択手段１７と、透視投影画像表示装置１８と、射影方式指示手段１９とを備えている。
　すなわち、本実施形態のカメラパラメータ推定装置は、第１の実施形態のカメラパラメータ推定装置と比較し、ガイド生成表示手段３１をさらに備えている。なお、カメラパラメータ推定装置３００は、第２の実施形態で説明した最大入射角算出手段２１および透視投影範囲入力装置２２を備えていてもよい。
　ガイド生成表示手段３１は、魚眼レンズカメラで撮像された画像に対し、内部パラメータの推定を補助する位置に直線を案内するためのガイドを生成し、画像に重畳させて表示する。具体的には、ガイド生成表示手段３１は、投影画像に変換したときの直線の歪みが大きく見えるように、魚眼カメラで撮像された画像上の直線の位置に誘導するようなガイドを生成し、表示する。
　内部パラメータの推定を補助する位置について、魚眼レンズカメラで撮像された画像のうち、中心部分に近い画像ほど歪みが小さく、また中心から放射状の方向と平行なほど歪みが小さい。そこで、ガイド生成表示手段３１は、画像中心から所定距離の円を示すガイドまたは画像中心から放射状のガイドを、取得した画像に重畳させて表示する。円の中心は、楕円推定手段１２によって推定された中心位置が用いられれば良い。
　また、歪みを判定するためには、直線の長さが一定以上存在することが好ましい。そこで、ガイド生成表示手段３１は、予め定めた長さのガイドを取得した画像に重畳させて表示してもよい。ガイドの長さは、投影画像に変換したときにユーザが判断し易い長さを考慮して決定されればよい。楕円推定手段１２によって魚眼レンズの視界領域の半径Ｒは算出できているため、半径Ｒを基準にガイドの長さを算出することもできる。
　図１１は、魚眼レンズカメラで撮像された画像にガイドを重畳した例を示す説明図である。図１１に示す例では、中心から所定半径の距離に円状のガイドを表示することで、表示された円より外側に直線が写るよう案内している。また、図１１に示す例では、中心から放射状に８本のガイドを表示することで、画像の直線がこのガイドに沿わないように案内している。さらに図１１に示す例では、直線長さのサンプルＳをガイドとして表示し、直線の長さが所定以上になるように案内している。
　他にも、ガイド生成表示手段３１は、一つの円だけでなく多重の円を表示してもよい。多重の円に接するように画像から得られた直線を合わせることで、放射状の直線を表示した場合と同様の効果を得ることができる。
　ガイド生成表示手段３１は、この画像を利用するか否かの判断をユーザから受け付けてもよい。利用しないと判断された場合、画像取得装置１１が別の画像を取得し、楕円推定手段１２が内部パラメータを推定した後、ガイド生成表示手段３１が同様の処理を行う。適切な画像と判断されるまで、これらの処理が繰り返される。　
　ガイド生成表示手段３１は、プログラム（カメラパラメータ推定プログラム）に従って動作するコンピュータのＣＰＵおよび生成結果を表示する表示装置（例えば、ディスプレイ装置等）によって実現される。なお、第１の実施形態と同様、魚眼カメラ自体が、いわゆるインテリジェントカメラとして機能し、カメラパラメータ推定装置３００に含まれる各手段を備えていてもよい。
　次に、本実施形態のカメラパラメータ推定装置３００の動作例を説明する。図１２は、第３の実施形態のカメラパラメータ推定装置３００の動作例を示すフローチャートである。
　画像取得装置１１は、魚眼レンズカメラにより撮像される画像を取得する（ステップＳ１１）。楕円推定手段１２は、取得した画像から内部パラメータの一部を推定する（ステップＳ１２）。ガイド生成表示手段３１は、魚眼レンズカメラで撮像された画像に対し、内部パラメータの推定を補助する位置に直線を案内するためのガイドを生成し、表示する（ステップＳ３１）。
　ガイドを表示した結果、ユーザが投影画像の生成に適してないと判断した場合（ステップＳ３２におけるＮｏ）、画像を取得するステップＳ１１からの処理が繰り返される。一方、ユーザが投影画像の生成に適している判断した場合（ステップＳ３２におけるＹｅｓ）、複数の投影画像を生成するステップＳ１３以降の処理が行われる。以後の処理は、図５に例示するステップＳ１３以降の処理と同様である。なお、ステップＳ１１、ステップＳ１２、ステップＳ３１およびステップＳ３２のループにおいて、内部パラメータの一部は変更されないので、２回目からステップＳ１２は省略されてもよい。
　以上のように、本実施形態では、ガイド生成表示手段３１が、魚眼レンズカメラで撮像された画像に対し、内部パラメータの推定を補助する位置に直線を案内するためのガイドを生成し、その画像に重畳させて表示する。よって、第１の実施形態の効果に加え、変換された投影画像中に判断の対象とする直線を適切に含めることが可能になる。
実施形態４．
　次に、本発明によるカメラパラメータ推定装置の第４の実施形態を説明する。第１の実施形態から第３の実施形態では、透視投影画像をユーザに選択させて、射影方式を決定した。本実施形態では、ユーザからの明示の指定を得ずに射影方式を決定して、内部パラメータを出力する方法を説明する。
　図１３は、本発明によるカメラパラメータ推定装置の第４の実施形態の構成例を示すブロック図である。本実施形態のカメラパラメータ推定装置４００は、画像取得装置４１と、楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、透視投影画像サイズ記憶手段１５と、最大入射角記憶手段１６と、射影方式選択手段４２とを備えている。
　すなわち、本実施形態のカメラパラメータ推定装置は、第１の実施形態のカメラパラメータ推定装置と比較し、透視投影画像表示装置１８および射影方式指示手段１９を備えていない点において異なる。また、楕円推定手段１２、透視投影画像生成手段１３、焦点距離算出手段１４、透視投影画像サイズ記憶手段１５および最大入射角記憶手段１６の内容は、第１の実施形態と同様である。
　本実施形態の画像取得装置４１は、魚眼レンズカメラによって直線を含む対象が撮像された画像を取得する。具体的には、画像取得装置４１は、画像中に含まれる線が直線と認識できる対象を撮像した画像を取得する。例えば、画像取得装置４１は、画像から直線の構造が分かる特徴点や格子点などを自動的に取得できる対象を撮像した画像を取得する。本実施形態では、画像取得装置４１は、直線を含む対象として平面チェスパターンを撮像した画像を取得する。平面チェスパターンとは、白と黒の市松模様のことである。
　ただし、画像取得装置４１が取得する画像は、平面チェスパターンを撮像した画像に限定されない。画像中の線が直線であることが認識できる対象（より具体的には、画像から直線の構造が分かる特徴を自動的に取得できる対象）であれば、その画像の内容は任意である。そして、透視投影画像生成手段１３は、第１の実施形態と同様に、複数の射影方式を適用して、複数の投影画像を生成する。
　射影方式選択手段４２は、生成された投影画像に含まれる直線の直線性に基づいて、複数の投影画像の中から一つの投影画像を選択する。そして、射影方式選択手段４２は、選択された投影画像を生成した射影方式を特定する。本実施形態で撮像された画像中の直線の構造が分かる特徴から、射影方式選択手段４２は、その線の歪みの程度を算出して、直線性を判断する。
　図１４は、平面チェスパターンを透視投影画像に戻した例を示す説明図である。図１４に示すように、魚眼レンズカメラで撮像された画像４００は、複数の射影方式により、画像４１０～４１３で示す投影画像に変換される。平面チェスパターンを構成する線は全て直線で、射影方式選択手段４２は、画像から自動的にチェスの格子点を取得し、チェスの格子点を基準として直線性を判断する。
　図１５は、直線性を判断する処理の例を示す説明図である。図１５に例示するように、チェスの格子点を起点とし、縦方向および横方向の直線性に着目する。まず、射影方式選択手段４２は、起点から格子点へのベクトル（格子点ベクトル）を生成する。射影方式選択手段４２は、縦方向および横方向の基準の格子点ベクトルをそれぞれ任意に決定し、基準の格子点ベクトルと他の格子点ベクトルとの内積を算出する。
　射影方式選択手段４２は、全ての内積を平均することで、直線性を数値化する。この数値が１に近いほど直線性が高い。そのため、射影方式選択手段４２は、各射影方式によって変換された投影画像の中から、この値が最も１に近い投影画像を選択し、選択された投影画像を生成した射影方式を特定する。そして、射影方式選択手段４２は、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する。
　このように、射影方式選択手段４２は、直線の位置を特定する複数の点を用いて、各点を起点とし隣接する点までのベクトルを決定し、基準として定めたベクトルと他のベクトルとの内積の平均が１に近いほど直線性が高いと判断してもよい。そして、射影方式選択手段４２は、この値が最も１に近い射影方式を選択してもよい。
　楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、射影方式選択手段４２とは、プログラム（カメラパラメータ推定プログラム）に従って動作するコンピュータのＣＰＵによって実現される。なお、第１の実施形態と同様、魚眼カメラ自体が、いわゆるインテリジェントカメラとして機能し、カメラパラメータ推定装置４００に含まれる各手段を備えていてもよい。例えば、魚眼カメラが、画像取得装置４１、楕円推定装置１２、透視投影画像生成手段１３および射影方式選択手段４２（さらに、必要に応じて、焦点距離算出手段１４、透視投影画像サイズ記憶手段１５および最大入射角記憶手段１６）を備えていてもよい。
　次に、本実施形態のカメラパラメータ推定装置４００の動作例を説明する。図１６は、第４の実施形態のカメラパラメータ推定装置４００の動作例を示すフローチャートである。画像取得装置４１は、魚眼レンズカメラによって直線を含む対象が撮像された画像を取得する（ステップＳ４１）。以降、内部パラメータの推定および複数の投影画像を生成するステップＳ１２からステップＳ１３の処理が行われる。
　射影方式選択手段４２は、投影画像に含まれる直線の直線性に基づいて複数の投影画像の一つを選択する（ステップＳ４２）。射影方式選択手段４２は、選択された投影画像に基づいて射影方式を決定する（ステップＳ４３）。そして、射影方式選択手段４２は、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する（ステップＳ４４）。
　以上のように、本実施形態では、透視投影画像生成手段１３が、魚眼レンズカメラによって直線を含む対象が撮像された画像に対し、魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する。射影方式選択手段４２は、投影画像に含まれる直線の直線性に基づいて複数の投影画像の一つを選択し、その選択された投影画像に基づいて射影方式を決定する。そして、射影方式選択手段４２は、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する。よって、ユーザの操作や射影方式の前提知識を必要とせずに、内部パラメータを容易に推定できる。
実施形態５．
　次に、本発明によるカメラパラメータ推定装置の第５の実施形態を説明する。第４の実施形態では、画像中の線が直線であることを認識できる対象を撮像した画像を用いて、直線性の判断が行われた。本実施形態では、風景画像など、直線を一部に含むような対象を撮像した画像を用いて射影方式を決定し、内部パラメータを出力する方法を説明する。
　図１７は、本発明によるカメラパラメータ推定装置の第５の実施形態の構成例を示すブロック図である。本実施形態のカメラパラメータ推定装置５００は、画像取得装置５１と、直線指示手段５２と、楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、透視投影画像サイズ記憶手段１５と、最大入射角記憶手段１６と、射影方式選択手段５３とを備えている。
　すなわち、本実施形態のカメラパラメータ推定装置は、第４の実施形態のカメラパラメータ推定装置と比較し、画像取得装置５１および射影方式選択手段５３の内容が異なり、直線指示手段５２をさらに備えている。それ以外の構成は、第４の実施形態と同様である。
　画像取得装置５１は、第１の実施形態と同様に、魚眼レンズカメラによって直線を少なくとも一部に含む対象が撮像された画像を取得する。なお、画像取得装置５１は、第４の実施形態に記載された平面チェスパターンのように、画像から直線の構造が分かる特徴を自動的に取得できる対象が撮影された画像を取得してもよい。
　直線指示手段５２は、魚眼レンズカメラによって撮像された画像から、ユーザが直線と判断する箇所の指示を受け付ける。すなわち、本実施形態では、透視投影画像に変換する前に、直線性を判断する対象の指示をユーザから受け付ける。
　直線指示手段５２は、例えば、ユーザから直線と判断する線の位置を複数の点で受け付けてもよい。また、直線指示手段５２は、ユーザから直線と判断する線をなぞって特定する指示を受け付けてもよい。
　図１８は、直線指示手段５２が直線と判断する箇所の指示を受け付ける例を示す説明図である。図１８（ａ）に示すように、直線指示手段５２は、線の位置を複数の点Ｐで受け付けてもよい。また、図１８（ｂ）に示すように、直線指示手段５２は、線の位置をなぞって特定する指示を受け付けてもよい。線の位置がなぞって特定された場合、直線指示手段５２は、その線を所定間隔で区切った位置に点が指定されたものとして、線の位置を複数の点で特定してもよい（図１８（ｃ）参照）。
　直線指示手段５２は、例えば、タッチパネル等などの入出力装置により実現される。また、直線指示手段５２は、例えば、ディスプレイ装置などの出力装置及びその出力装置に出力された画像の位置を特定するポインティングデバイスなどにより実現されてもよい。
　射影方式選択手段５３は、直線指示手段５２が受け付けた箇所が示す直線の直線性に基づいて、複数の投影画像の一つを選択する。具体的には、透視投影画像生成手段１３によって、指示された位置も投影画像に変換されるため、射影方式選択手段５３は、その位置に基づいて直線性を判断する。
　直線性を判断する方法は任意である。射影方式選択手段５３は、第４の実施形態と同様に、指定された各点から次の点へのベクトルを生成し、各ベクトルの内積の平均を算出して、直線性を判断してもよい。
　楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、射影方式選択手段５３とは、プログラム（カメラパラメータ推定プログラム）に従って動作するコンピュータのＣＰＵによって実現される。なお、第４の実施形態と同様、魚眼カメラ自体が、いわゆるインテリジェントカメラとして機能し、カメラパラメータ推定装置５００に含まれる各手段を備えていてもよい。
　次に、本実施形態のカメラパラメータ推定装置５００の動作例を説明する。図１９は、第５の実施形態のカメラパラメータ推定装置５００の動作例を示すフローチャートである。画像取得装置５１は、魚眼レンズカメラによって直線を少なくとも一部に含む対象が撮像された画像を取得する（ステップＳ５１）。直線指示手段５２は、取得した画像の中から、ユーザが直線と判断する箇所の指示を受け付ける（ステップＳ５２）。以降、内部パラメータの推定および複数の投影画像を生成するステップＳ１２からステップＳ１３の処理が行われる。
　射影方式選択手段５３は、受け付けた箇所が示す直線の直線性に基づいて、複数の投影画像の一つを選択する（ステップＳ５３）。以降、射影方式を決定して内部パラメータを出力するステップＳ４３からステップＳ４４の処理が行われる。
　以上のように、本実施形態では、直線指示手段５２が、魚眼レンズカメラによって撮像された画像から、ユーザが直線と判断する箇所の指示を受け付ける。そして、射影方式選択手段５３が、受け付けた箇所が示す直線の直線性に基づいて、複数の投影画像の一つを選択する。よって、特殊な画像や射影方式の前提知識を必要とせずに、内部パラメータを容易に推定できる。
　次に、本発明の概要を説明する。図２０は、本発明によるカメラパラメータ推定装置の概要を示すブロック図である。本発明によるカメラパラメータ推定装置８０（例えば、カメラパラメータ推定装置４００）は、魚眼レンズカメラによって直線を含む対象が撮像された画像に対し、魚眼レンズカメラにおける視界領域の半径（例えば、半径Ｒ）を用いる複数の射影方式を適用して、複数の投影画像（例えば、透視投影画像）を生成する投影画像生成部８１（例えば、透視投影画像生成手段１３）と、投影画像に含まれる直線の直線性に基づいて複数の投影画像の一つを選択し、その選択された投影画像に基づいて射影方式を決定する射影方式決定部８２（例えば、射影方式選択手段４２）と、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する出力部８３（例えば、射影方式選択手段４２）とを備えている。
　そのような構成により、射影方式の前提知識を必要とせずに、内部パラメータを容易に推定できる。
　また、本発明では、特許文献１に記載されているような、カメラの三軸の姿勢や地面からの位置などを表す外部パラメータを推定しなくても、内部パラメータを推定できる。
　また、カメラパラメータ推定装置８０は、魚眼レンズカメラによって撮像された画像から、ユーザが直線と判断する箇所の指示を受け付ける直線指示部（例えば、直線指示手段５２）を備えていてもよい。そして、射影方式決定部８２（例えば、射影方式選択手段５３）は、受け付けた箇所が示す直線の直線性に基づいて、複数の投影画像の一つを選択してもよい。
　また、射影方式決定部８２は、直線の位置を特定する複数の点を用いて、各点を起点とし隣接する点までのベクトルを決定し、基準として定めたベクトルと他のベクトルとの内積の平均が１に近いほど直線性が高いと判断し、最も直線性が高い射影方式を決定してもよい。
　具体的には、直線指示部は、直線と判断される線の位置を複数の点で受け付けてもよい。また、直線指示部は、線の位置をなぞって直線を特定する指示を受け付け、受け付けた位置が示す線を所定間隔で区切った位置に点が指定されたと判断してもよい。
　また、投影画像生成部８１は、直線を含む対象として、平面チェスパターンが撮像された画像に射影方式を適用して投影画像を生成してもよい。
　また、カメラパラメータ推定装置８０は、魚眼レンズカメラにより撮像される画像からその魚眼レンズカメラにおける視界領域の半径を推定する（例えば、楕円フィッティングで推定する）視界領域推定部（例えば、楕円推定手段１２）を備えていてもよい。
　具体的には、投影画像生成部８１は、射影方式として、等距離射影方式、正射影方式、立体射影方式および等立体射影方式の少なくとも２つ以上の射影方式を適用して、複数の投影画像を生成してもよい。
　また、出力部８３は、魚眼レンズカメラの内部パラメータとして、その魚眼レンズカメラで撮影された画像の画像中心（例えば、（Ｃｕ，Ｃｖ））、その魚眼レンズカメラの撮像素子の歪み（例えば、α）および視界領域の半径（例えば、Ｒ）並びに射影方式を出力してもよい。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）魚眼レンズカメラによって直線を含む対象が撮像された画像に対し、前記魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する投影画像生成部と、前記投影画像に含まれる前記直線の直線性に基づいて前記複数の投影画像の一つを選択し、当該選択された投影画像に基づいて射影方式を決定する射影方式決定部と、決定された射影方式に応じた前記魚眼レンズカメラの内部パラメータを出力する出力部とを備えたことを特徴とするカメラパラメータ推定装置。
（付記２）魚眼レンズカメラによって撮像された画像から、ユーザが直線と判断する箇所の指示を受け付ける直線指示部を備え、射影方式決定部は、受け付けた箇所が示す直線の直線性に基づいて、複数の投影画像の一つを選択する付記１記載のカメラパラメータ推定装置。
（付記３）射影方式決定部は、直線の位置を特定する複数の点を用いて、各点を起点とし隣接する点までのベクトルを決定し、基準として定めたベクトルと他のベクトルとの内積の平均が１に近いほど直線性が高いと判断し、最も直線性が高い射影方式を決定する付記１または付記２記載のカメラパラメータ推定装置。
（付記４）直線指示部は、直線と判断される線の位置を複数の点で受け付ける付記２または付記３記載のカメラパラメータ推定装置。
（付記５）直線指示部は、線の位置をなぞって直線を特定する指示を受け付け、受け付けた位置が示す線を所定間隔で区切った位置に点が指定されたと判断する付記２または付記３記載のカメラパラメータ推定装置。
（付記６）投影画像生成部は、直線を含む対象として、平面チェスパターンが撮像された画像に射影方式を適用して投影画像を生成する付記１記載のカメラパラメータ推定装置。
（付記７）魚眼レンズカメラにより撮像される画像から当該魚眼レンズカメラにおける視界領域の半径を推定する視界領域推定部を備えた付記１から付記６のうちのいずれか１つに記載のカメラパラメータ推定装置。
（付記８）投影画像生成部は、射影方式として、等距離射影方式、正射影方式、立体射影方式および等立体射影方式の少なくとも２つ以上の射影方式を適用して、複数の投影画像を生成する付記１から付記７のうちのいずれか１つに記載のカメラパラメータ推定装置。
（付記９）出力部は、魚眼レンズカメラの内部パラメータとして、当該魚眼レンズカメラで撮影された画像の画像中心、当該魚眼レンズカメラの撮像素子の歪みおよび視界領域の半径並びに射影方式を出力する付記１から付記８のうちのいずれか１つに記載のカメラパラメータ推定装置。
（付記１０）魚眼レンズカメラによって直線を含む対象が撮像された画像に対し、前記魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成し、前記投影画像に含まれる前記直線の直線性に基づいて前記複数の投影画像の一つを選択し、選択された投影画像に基づいて射影方式を決定し、決定された射影方式に応じた前記魚眼レンズカメラの内部パラメータを出力することを特徴とするカメラパラメータ推定方法。
（付記１１）魚眼レンズカメラによって撮像された画像から、ユーザが直線と判断する箇所の指示を受け付け、受け付けた箇所が示す直線の直線性に基づいて、複数の投影画像の一つを選択する付記１０記載のカメラパラメータ推定方法。
（付記１２）コンピュータに、魚眼レンズカメラによって直線を含む対象が撮像された画像に対し、前記魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する投影画像生成処理、前記投影画像に含まれる前記直線の直線性に基づいて前記複数の投影画像の一つを選択し、当該選択された投影画像に基づいて射影方式を決定する射影方式決定処理、および、決定された射影方式に応じた前記魚眼レンズカメラの内部パラメータを出力する出力処理を実行させるためのカメラパラメータ推定プログラム。
（付記１３）コンピュータに、魚眼レンズカメラによって撮像された画像から、ユーザが直線と判断する箇所の指示を受け付ける直線指示処理を実行させ、射影方式決定処理で、受け付けた箇所が示す直線の直線性に基づいて、複数の投影画像の一つを選択させる付記１２記載のカメラパラメータ推定プログラム。
　１１，４１，５１　画像取得装置
　１２　楕円推定手段
　１３　透視投影画像生成手段
　１４　焦点距離算出手段
　１５　透視投影画像サイズ記憶手段
　１６　最大入射角記憶手段
　１７，４２，５３　射影方式選択手段
　１８　透視投影画像表示装置
　１９　射影方式指示手段
　２１　最大入射角算出手段
　２２　透視投影範囲入力装置
　３１　ガイド生成表示手段
　５２　直線指示手段
　１００，２００，３００，４００，５００　カメラパラメータ推定装置

Claims (13)

  1. 　魚眼レンズカメラによって直線を含む対象が撮像された画像に対し、前記魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する投影画像生成部と、
    　前記投影画像に含まれる前記直線の直線性に基づいて前記複数の投影画像の一つを選択し、当該選択された投影画像に基づいて射影方式を決定する射影方式決定部と、
    　決定された射影方式に応じた前記魚眼レンズカメラの内部パラメータを出力する出力部とを備えた
    　ことを特徴とするカメラパラメータ推定装置。
  2. 　魚眼レンズカメラによって撮像された画像から、ユーザが直線と判断する箇所の指示を受け付ける直線指示部を備え、
    　射影方式決定部は、受け付けた箇所が示す直線の直線性に基づいて、複数の投影画像の一つを選択する
    　請求項１記載のカメラパラメータ推定装置。
  3. 　射影方式決定部は、直線の位置を特定する複数の点を用いて、各点を起点とし隣接する点までのベクトルを決定し、基準として定めたベクトルと他のベクトルとの内積の平均が１に近いほど直線性が高いと判断し、最も直線性が高い射影方式を決定する
    　請求項１または請求項２記載のカメラパラメータ推定装置。
  4. 　直線指示部は、直線と判断される線の位置を複数の点で受け付ける
    　請求項２または請求項３記載のカメラパラメータ推定装置。
  5. 　直線指示部は、線の位置をなぞって直線を特定する指示を受け付け、受け付けた位置が示す線を所定間隔で区切った位置に点が指定されたと判断する
    　請求項２または請求項３記載のカメラパラメータ推定装置。
  6. 　投影画像生成部は、直線を含む対象として、平面チェスパターンが撮像された画像に射影方式を適用して投影画像を生成する
    　請求項１記載のカメラパラメータ推定装置。
  7. 　魚眼レンズカメラにより撮像される画像から当該魚眼レンズカメラにおける視界領域の半径を推定する視界領域推定部を備えた
    　請求項１から請求項６のうちのいずれか１項に記載のカメラパラメータ推定装置。
  8. 　投影画像生成部は、射影方式として、等距離射影方式、正射影方式、立体射影方式および等立体射影方式の少なくとも２つ以上の射影方式を適用して、複数の投影画像を生成する
    　請求項１から請求項７のうちのいずれか１項に記載のカメラパラメータ推定装置。
  9. 　出力部は、魚眼レンズカメラの内部パラメータとして、当該魚眼レンズカメラで撮影された画像の画像中心、当該魚眼レンズカメラの撮像素子の歪みおよび視界領域の半径並びに射影方式を出力する
    　請求項１から請求項８のうちのいずれか１項に記載のカメラパラメータ推定装置。
  10. 　魚眼レンズカメラによって直線を含む対象が撮像された画像に対し、前記魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成し、
    　前記投影画像に含まれる前記直線の直線性に基づいて前記複数の投影画像の一つを選択し、
    　選択された投影画像に基づいて射影方式を決定し、
    　決定された射影方式に応じた前記魚眼レンズカメラの内部パラメータを出力する
    　ことを特徴とするカメラパラメータ推定方法。
  11. 　魚眼レンズカメラによって撮像された画像から、ユーザが直線と判断する箇所の指示を受け付け、
    　受け付けた箇所が示す直線の直線性に基づいて、複数の投影画像の一つを選択する
    　請求項１０記載のカメラパラメータ推定方法。
  12. 　コンピュータに、
    　魚眼レンズカメラによって直線を含む対象が撮像された画像に対し、前記魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する投影画像生成処理、
    　前記投影画像に含まれる前記直線の直線性に基づいて前記複数の投影画像の一つを選択し、当該選択された投影画像に基づいて射影方式を決定する射影方式決定処理、および、
    　決定された射影方式に応じた前記魚眼レンズカメラの内部パラメータを出力する出力処理
    　を実行させるためのカメラパラメータ推定プログラム。
  13. 　コンピュータに、
    　魚眼レンズカメラによって撮像された画像から、ユーザが直線と判断する箇所の指示を受け付ける直線指示処理を実行させ、
    　射影方式決定処理で、受け付けた箇所が示す直線の直線性に基づいて、複数の投影画像の一つを選択させる
    　請求項１２記載のカメラパラメータ推定プログラム。
PCT/JP2017/012327 2017-03-27 2017-03-27 カメラパラメータ推定装置、方法およびプログラム WO2018179040A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019508341A JP6721112B2 (ja) 2017-03-27 2017-03-27 カメラパラメータ推定装置、方法およびプログラム
PCT/JP2017/012327 WO2018179040A1 (ja) 2017-03-27 2017-03-27 カメラパラメータ推定装置、方法およびプログラム
US16/497,126 US11122195B2 (en) 2017-03-27 2017-03-27 Camera parameter estimation device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/012327 WO2018179040A1 (ja) 2017-03-27 2017-03-27 カメラパラメータ推定装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2018179040A1 true WO2018179040A1 (ja) 2018-10-04

Family

ID=63677374

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/012327 WO2018179040A1 (ja) 2017-03-27 2017-03-27 カメラパラメータ推定装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US11122195B2 (ja)
JP (1) JP6721112B2 (ja)
WO (1) WO2018179040A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009686A (zh) * 2019-03-13 2019-07-12 北京小马智行科技有限公司 相机标定方法、装置、平台和应用于标定平台的相机标定方法
CN110793544A (zh) * 2019-10-29 2020-02-14 北京百度网讯科技有限公司 感知传感器参数标定方法、装置、设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3676802B1 (en) * 2017-08-31 2022-07-13 Sony Group Corporation Image processing device that utilizes built-in dynamic camera models to support rapid determination of camera intrinsics and method of operating same
JP2019168967A (ja) * 2018-03-23 2019-10-03 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法及びプログラム
US11250540B2 (en) * 2018-12-28 2022-02-15 Ricoh Company, Ltd. Image processing apparatus, image capturing system, image processing method, and recording medium
US11153481B2 (en) * 2019-03-15 2021-10-19 STX Financing, LLC Capturing and transforming wide-angle video information
JP2021135133A (ja) * 2020-02-26 2021-09-13 セイコーエプソン株式会社 電子機器の制御方法および電子機器
CN111507924B (zh) * 2020-04-27 2023-09-29 北京百度网讯科技有限公司 视频帧的处理方法和装置
CN112565730B (zh) * 2020-12-03 2023-07-25 阿波罗智联(北京)科技有限公司 路侧感知方法、装置、电子设备、存储介质及路侧设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007192832A (ja) * 2007-03-06 2007-08-02 Iwate Univ 魚眼カメラの校正方法。
JP2009176273A (ja) * 2007-12-26 2009-08-06 Dainippon Printing Co Ltd 画像変換装置および画像変換方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007049266A1 (en) * 2005-10-28 2007-05-03 Hi-Key Limited A method and apparatus for calibrating an image capturing device, and a method and apparatus for outputting image frames from sequentially captured image frames with compensation for image capture device offset
JP4126323B2 (ja) 2007-03-12 2008-07-30 富士通株式会社 Ｌｓｉフロアプラン決定装置及び方法並びにプログラム記録媒体
JP5558973B2 (ja) * 2010-08-31 2014-07-23 株式会社日立情報通信エンジニアリング 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム
US10178314B2 (en) * 2011-03-08 2019-01-08 Mitsubishi Electric Corporation Moving object periphery image correction apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007192832A (ja) * 2007-03-06 2007-08-02 Iwate Univ 魚眼カメラの校正方法。
JP2009176273A (ja) * 2007-12-26 2009-08-06 Dainippon Printing Co Ltd 画像変換装置および画像変換方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009686A (zh) * 2019-03-13 2019-07-12 北京小马智行科技有限公司 相机标定方法、装置、平台和应用于标定平台的相机标定方法
CN110009686B (zh) * 2019-03-13 2022-02-18 北京小马智行科技有限公司 相机标定方法、装置、平台和应用于标定平台的相机标定方法
CN110793544A (zh) * 2019-10-29 2020-02-14 北京百度网讯科技有限公司 感知传感器参数标定方法、装置、设备及存储介质
CN110793544B (zh) * 2019-10-29 2021-12-14 北京百度网讯科技有限公司 路侧感知传感器参数标定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP6721112B2 (ja) 2020-07-08
US20200021727A1 (en) 2020-01-16
JPWO2018179040A1 (ja) 2020-01-23
US11122195B2 (en) 2021-09-14

Similar Documents

Publication Publication Date Title
WO2018179040A1 (ja) カメラパラメータ推定装置、方法およびプログラム
WO2018179039A1 (ja) カメラパラメータ推定装置、方法およびプログラム
JP6223169B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5825256B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
JP4737763B2 (ja) 多視点画像を用いた自由視点画像生成方法、装置及びプログラム
JPWO2013187204A1 (ja) ３次元計測装置のための合成パラメータの生成装置
JP2011174799A (ja) 撮影経路計算装置
JP6579727B1 (ja) 動体検出装置、動体検出方法、動体検出プログラム
JP4775903B2 (ja) 多視点画像を用いた自由視点画像生成方法、装置及びプログラム
US9197882B2 (en) Mobile communication terminal having image conversion function and method
US9811943B2 (en) Processing device for label information for multi-viewpoint images and processing method for label information
JP2015179432A (ja) 投影位置決定装置及び投影位置決定プログラム
JP4985213B2 (ja) ３次元形状計測方法および装置ならびにプログラム
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP2013148467A (ja) 計測装置、方法及びプログラム
JP6624880B2 (ja) 画像処理方法および画像処理装置
JP6292785B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2008217547A (ja) 自由視点画像の生成方法
JP5351591B2 (ja) 距離計測装置、合成画像生成装置及び距離計測プログラム
JP5168313B2 (ja) 画像表示装置
WO2013105205A1 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
KR20190118281A (ko) 풀-패럴랙스 지원 영상의 깊이 정보 획득 방법 및 장치
KR20190118804A (ko) 3차원 영상 생성 장치
JP2007213161A (ja) 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17903144

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508341

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17903144

Country of ref document: EP

Kind code of ref document: A1