WO2018123639A1 - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
WO2018123639A1
WO2018123639A1 PCT/JP2017/045030 JP2017045030W WO2018123639A1 WO 2018123639 A1 WO2018123639 A1 WO 2018123639A1 JP 2017045030 W JP2017045030 W JP 2017045030W WO 2018123639 A1 WO2018123639 A1 WO 2018123639A1
Authority
WO
WIPO (PCT)
Prior art keywords
lens
image
image sensor
vignetting
imaging
Prior art date
Application number
PCT/JP2017/045030
Other languages
English (en)
French (fr)
Inventor
賢一 竹内
秀則 篠原
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP17886079.7A priority Critical patent/EP3564747B1/en
Priority to JP2018559041A priority patent/JP6727670B2/ja
Publication of WO2018123639A1 publication Critical patent/WO2018123639A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • the present invention relates to an imaging apparatus and an imaging method.
  • a driving support system using an image obtained by a vehicle-mounted camera device has attracted attention as one of the technologies that contribute to safe driving and automatic driving.
  • a vehicle-mounted camera device having a pair of imaging devices (stereo cameras).
  • a technique for specifying a horizontal shift (parallax) related to an object projected in two captured images and calculating a distance to the object by the principle of triangulation based on the specified parallax is used. It has been.
  • the outside of the image circle is used as a vignetting area, and an image sensor that captures an image in the imaging area of the captured image and a plurality of scanning lines that are parallel to each other in the imaging area are scanned, and pixels on the scanning line are scanned from the pixels in the imaging area.
  • an image sensor that captures an image in the imaging area of the captured image and a plurality of scanning lines that are parallel to each other in the imaging area are scanned, and pixels on the scanning line are scanned from the pixels in the imaging area.
  • the boundary points between the vignetting area and the non-vignetting area three boundary points that are not substantially linear with each other are extracted, and as the estimation result of the image circle, the extracted boundary points of the three points are respectively on the circumference.
  • An estimated image circle as a point of the image is calculated, and the imaging element is set so that the imaging center of the imaging element matches the estimated center of the estimated image circle.
  • the in-vehicle camera device needs to be adapted for use in a high / low sound environment or a high humidity environment, and it is also necessary to suppress the positional deviation between the lens and the image sensor due to aging.
  • the present invention has been made in view of the above, and an object of the present invention is to provide an imaging apparatus and an imaging method capable of more accurately grasping the amount of displacement between the position of the lens and the imaging element.
  • the present invention provides a lens facing an imaging object, and a range in which incident light incident through the lens is imaged on the opposite side of the imaging object with respect to the lens. And an image sensor arranged to have a vignetting region located outside the image circle.
  • FIG. 1 is a diagram schematically illustrating an overall configuration of an imaging apparatus. It is a figure which shows typically the relative positional relationship in the initial position of the lens of an imaging device, and an image pick-up element. It is a figure which shows the case where the shift
  • FIG. 1 is a diagram schematically showing an overall configuration of an imaging apparatus according to the present embodiment.
  • an imaging apparatus 100 performs a lens 1 that faces an imaging target, an imaging element 2 that is disposed on the opposite side of the imaging target with respect to the lens, and various processes related to an image that is captured by the imaging element 2.
  • An image processing unit 101 to be performed, a table such as various images and affine tables as a result of processing performed by the image processing unit 101, and a storage unit 102 that stores various variables and other information are roughly configured.
  • FIG. 8 and 9 are diagrams for explaining the optical distortion correction process in the image processing unit.
  • FIG. 8 shows the state of the affine table creation process used for the optical distortion correction process
  • FIG. 9 shows the state of the optical distortion correction process. Show.
  • the affine table creation process first, for example, when a lattice chart 10 created at a known interval is imaged as a reference imaging object, an image 10a including optical distortion due to the lens 1 is obtained.
  • the image processing unit 101 creates an affine table by obtaining an image 10b obtained by performing affine transformation on the image 10a of the lattice chart 10 including optical distortion to correct the optical distortion.
  • the affine table created by the image processing unit 101 is stored in the storage unit 102.
  • the imaging object 11 is imaged, and an image 11 a including optical distortion due to the lens 1 is acquired.
  • the image processing unit 101 reads out the affine table from the storage unit 102 and performs optical distortion correction processing using the affine table on the image 10a of the lattice chart 10 including optical distortion, thereby significantly reducing distortion.
  • An image 11b of the object 11 can be obtained.
  • a good image 11b can be obtained.
  • FIG. 2 is a diagram schematically showing a relative positional relationship between the initial position of the lens and the imaging element of the imaging apparatus according to the present embodiment.
  • the imaging device 2 is located outside the image circle 3, which is a range in which incident light incident through the lens 1 is imaged on the opposite side of the imaging target with respect to the lens 1 at the initial position.
  • the image circle 3 is a circular range centering on the optical axis 1 a on which the light passing through the lens 1 forms an image, and is determined by the focal length and the angle of view of the lens 1.
  • the vignetting areas 4a to 4d are areas located outside the image circle 3 on the image sensor 2, and are areas where light incident through the lens 1 cannot reach.
  • the vignetting regions 4a to 4d at the relative initial positions of the lens 1 and the image sensor 2 are four corners of the image sensor 2 formed in a square shape.
  • initial positions are four corners of the image sensor 2 formed in a square shape.
  • the lens 1 and the image sensor 2 are configured such that the diameter of the image circle 3 formed by the lens 1 is smaller than the diagonal length of the image sensor 2 formed in a square shape.
  • the position where the optical axis 1a of the lens 1 passes on the image sensor 2 at the initial position is defined as a reference position 2a on the image sensor 2. That is, at the initial position, the reference position 2a of the image sensor 2 and the optical axis 1a of the lens 1 coincide. Note that the center of the image sensor 2 and the reference position 2a do not necessarily coincide.
  • the reference position 2 a is calculated by an optical axis position calculation process (detailed later) performed in the image processing unit 101 and stored in the storage unit 102.
  • the optical axis position calculation process is a process of calculating the position of the optical axis 1a of the lens 1 on the image sensor 2 based on the shape of the vignetting areas 4a to 4d.
  • FIG. 3 is a diagram illustrating a case where the relative position between the lens of the imaging device and the imaging element is displaced.
  • the optical axis position calculation process is performed at the misalignment position to calculate the position of the optical axis 1a on the image sensor 2, and by comparing with the position of the optical axis 1a at the initial position, the lens 1 and the image sensor 2 is calculated (an optical axis shift amount calculation process).
  • FIG. 4 and 5 are diagrams for explaining an example of the optical axis position calculation process in the image processing unit.
  • FIG. 4 illustrates a virtual circle used for the optical axis position calculation process
  • FIG. 5 illustrates the optical axis position calculation process.
  • Each state is shown. 4 and 5 exemplify the case where the vignetting region 41 is formed at one of the corners of the image sensor 2.
  • the optical axis position calculation process in the image processing unit 101 is a process for calculating the position of the optical axis 1a of the lens 1 on the image sensor 2 based on the shape of the vignetting areas 4a to 4g. That is, in the optical axis position calculation process, a virtual circle 31 having the same diameter as the image circle 3 of the lens 1 is assumed (FIG. 4), and a matching portion between the virtual circle 31 and the arc shape of the outer periphery of the vignetting region 41 is detected ( 5), the position of the center 31a of the virtual circle 31 in that state is calculated as the position on the image sensor 2 of the optical axis 1a of the lens 1 at the shift position, and stored in the storage unit 102.
  • the reference position 2a at the initial position of the lens 1 and the image sensor 2 is read from the storage unit 102, and the optical axis 1a at the deviation position of the lens 1 and the image sensor 2 is read.
  • the position the center position of the image circle 3
  • the shift amount of the relative position between the lens 1 and the image sensor 2 at the shift position with respect to the initial position is calculated.
  • the in-vehicle camera device used in the driving support system needs to be compatible with use in a high / low sound environment or a high humidity environment, and it is also necessary to suppress misalignment between the lens and the image sensor due to aging. However, it has been impossible to completely eliminate the positional deviation between the lens and the image sensor due to temperature and humidity changes and aging.
  • the lens has a considerable amount of optical distortion.
  • a horizontal shift (parallax) related to an object displayed in two captured images captured by a pair of imaging devices (stereo cameras) is identified and identified.
  • the distance to the object cannot be calculated accurately if there is a bias in the optical distortion of the left and right lenses.
  • the lens 1 facing the imaging object and the range in which incident light incident on the lens 1 on the opposite side of the imaging object from the lens 1 forms an image.
  • the image pickup device is arranged so as to have the vignetting regions 4a to 4d located outside the image circle 3, it is possible to grasp the displacement amount between the lens 1 and the image pickup device 2 more accurately. it can. That is, based on the shape of the vignetting regions 4a to 4g at the relative initial positions of the lens 1 and the image pickup device 2 and the shift positions after the shift between the relative positions of the lens 1 and the image pickup device 2 occurs.
  • the optical axis shift between the lens 1 and the image sensor 2 at the time of manufacturing the imaging device 100 can be allowed, and the magnitude of optical distortion and variation can be allowed, thereby suppressing the manufacturing cost of the imaging device 100. can do.
  • the present invention is not limited to this.
  • another example of the optical axis position calculation process and another example will be described with reference to FIGS. 6 and 7.
  • FIG. 6 is a diagram for explaining another example of the optical axis position calculation process in the image processing unit.
  • the lens 1 and the image sensor 2 are positioned at at least two of the four corners of the image sensor in which the vignetting regions 42 a and 42 b at the relative initial positions of the lens 1 and the image sensor 2 are formed in a square shape.
  • the image processing unit 101 determines a matching portion between the virtual circle 32 having the same diameter as the image circle 3 of the lens 1 and the arc shape of the outer periphery of at least two vignetting regions 42a and 42b.
  • the average position of the respective center positions of the virtual circle 32 corresponding to the at least two vignetting areas 42a and 42b (here, two center positions are shown as one center position 32a for the sake of simplicity) is detected. It is calculated as the position on the image sensor 2 of the optical axis 1a of the lens 1.
  • FIG. 7 is a diagram for explaining still another example of the optical axis position calculating process in the image processing unit.
  • the lens 1 and the image pickup device 2 are positioned at at least three of the four corners of the image pickup device 2 in which the vignetting regions 43a to 43d at the relative initial positions of the lens 1 and the image pickup device 2 are formed in a square shape.
  • the image processing unit 101 makes an inscribed circle 33 with approximate straight lines 5a to 5c obtained by linear approximation of the arc shape of the outer periphery of three vignetting areas (for example, the vignetting areas 43a to 43c) of the vignetting areas 43a to 43d.
  • the center position 33a of the inscribed circle 33 is calculated as the position on the image sensor 2 of the optical axis 1a of the lens 1.
  • the optical axis position calculation process is performed using the vignetting regions 43a to 43d located at the four corners of the image sensor 2, four combinations are selected from the number of combinations (4C3) for selecting three from the approximate lines 5a to 5d. Since the inscribed circle 33 is obtained, the more accurate position of the optical axis 1a can be calculated by taking the average position of the center position 33a of the inscribed circle 33.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Lens Barrels (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

本発明は、レンズと撮像素子の位置のズレ量をより正確に把握することができる撮像装置および撮像方法を提供する。本発明は、撮像対象物に対向するレンズ１と、レンズ１に対して撮像対象物と反対側に、レンズ１を介して入射される入射光が結像する範囲であるイメージサークル３の外側に位置するケラレ領域４ａ～４ｄを有するように配置された撮像素子とを備える。レンズ１と撮像素子２の相対的な初期位置とレンズ１と撮像素子２の相対的な位置にズレが生じた後のズレ位置とのそれぞれの位置におけるケラレ領域４ｅ～４ｇの形状に基づいてレンズ１の光軸１ａの撮像素子２上の位置を算出することにより、レンズ１と撮像素子２の初期位置に対するズレ量を算出する。

Description

撮像装置および撮像方法
　本発明は、撮像装置および撮像方法に関する。
　近年、安全運転や自動運転に貢献する技術の一つとして車載カメラ装置により得られた画像を用いる運転支援システムが注目されており、例えば、一対の撮像装置（ステレオカメラ）を有する車載カメラ装置で撮像された２つの撮像画像に映し出された対象物に関する水平方向のずれ（視差）を特定し、この特定された視差に基づいて三角測量の原理により対象物までの距離を算出する技術などが用いられている。
　このような技術に用いられる車載カメラ装置においては、レンズの光軸と撮像素子の位置の精度が算出される距離やそれを用いる運転支援システムの精度に大きく影響するため、レンズと撮像素子の位置の調整が非常に重要である。そこで、レンズと撮像素子の位置調整に関する技術として、例えば、特許文献１（特開２０１４－１３５５６７号公報）には、レンズからの入射光が結像する範囲であるイメージサークル内を非ケラレ領域とし、前記イメージサークル外をケラレ領域として、撮像画像の撮像領域内に撮像する撮像素子と、前記撮像領域内において互いに平行である複数本の走査線上を走査し、走査線上の画素から前記撮像領域内の前記ケラレ領域と前記非ケラレ領域との境界点として、互いに略直線上にない境界点を３点抽出し、前記イメージサークルの推定結果として、前記抽出した３点の境界点をそれぞれ円周上の点とする推定イメージサークルを計算し、前記撮像素子の撮像中心が前記推定イメージサークルの推定中心と一致するように、前記撮像素子を移動させるデジタル信号処理部とを有する撮像装置が開示されている。
特開２０１４－１３５５６７号公報
　ところで、車載カメラ装置は高低音環境下や高湿度環境下などでの使用に対応する必要があり、また、経年によるレンズと撮像素子の位置のズレについても抑制する必要がある。しかしながら、温湿度変化や経年によるレンズと撮像素子の位置のズレを完全に無くすことは不可能であった。
　本発明は上記に鑑みてなされたものであり、レンズと撮像素子の位置のズレ量をより正確に把握することができる撮像装置および撮像方法を提供することを目的とする。
　上記目的を達成するために、本発明は、撮像対象物に対向するレンズと、前記レンズに対して前記撮像対象物と反対側に、前記レンズを介して入射される入射光が結像する範囲であるイメージサークルの外側に位置するケラレ領域を有するように配置された撮像素子とを備えたものとする。
　本発明によれば、レンズと撮像素子の位置のズレ量をより正確に把握することができる。
撮像装置の全体構成を概略的に示す図である。 撮像装置のレンズと撮像素子の初期位置における相対的な位置関係を模式的に示す図である。 撮像装置のレンズと撮像素子の相対位置にズレが生じた場合を示す図である。 画像処理部における光軸位置算出処理の一例を説明する図であり、光軸位置算出処理に用いる仮想円の様子を示す図である。 画像処理部における光軸位置算出処理の一例を説明する図であり、光軸位置算出処理の様子を示す図である。 画像処理部における光軸位置算出処理の他の例を説明する図である。 画像処理部にける光軸位置算出処理のさらに他の例を説明する図である。 画像処理部における光学歪み補正処理を説明する図であり、光学歪み補正処理に用いるアフィンテーブル作成処理の様子を示す図である。 画像処理部における光学歪み補正処理を説明する図であり、光学歪み補正処理の様子を示す図である。
　以下、本発明の実施の形態を図面を参照しつつ説明する。
　図１は、本実施の形態に係る撮像装置の全体構成を概略的に示す図である。
　図１において、撮像装置１００は、撮像対象物に対向するレンズ１と、レンズに対して撮像対象物と反対側に配置された撮像素子２と、撮像素子２で撮像された画像に関する各種処理を行う画像処理部１０１と、画像処理部１０１で処理を施された結果としての各種画像やアフィンテーブル等のテーブル、各種変数やその他の情報を記憶する記憶部１０２とから概略構成されている。
　図８及び図９は、画像処理部における光学歪み補正処理を説明する図であり、図８は光学歪み補正処理に用いるアフィンテーブル作成処理の様子を、図９は光学歪み補正処理の様子をそれぞれ示している。
　図８において、アフィンテーブル作成処理では、まず、基準の撮像対象物として例えば既知の間隔で作成された格子チャート１０を撮像すると、レンズ１による光学歪みを含む画像１０ａが得られる。画像処理部１０１では、光学歪みを含む格子チャート１０の画像１０ａに対してアフィン変換を行って光学歪みを補正した画像１０ｂを得ることによりアフィンテーブルを作成する。画像処理部１０１で作成したアフィンテーブルは記憶部１０２に記憶される。
　図９において、光学歪み補正処理では、まず、撮像対象物１１を撮像し、レンズ１による光学歪みを含む画像１１ａを取得する。画像処理部１０１では、記憶部１０２からアフィンテーブルを読み出し、光学歪みを含む格子チャート１０の画像１０ａに対してアフィンテーブルを使用した光学歪みの補正処理を実施することにより、歪みを大きく低減した撮像対象物１１の画像１１ｂを得ることができる。このとき、後述する光軸ズレ量算出処理により得られたレンズ１と撮像素子２の相対位置のズレ量を光学歪み補正処理に適用する（アフィンテーブルをズレ量分オフセットする）ことにより、さらに精度の良い画像１１ｂを得ることができる。
　図２は、本実施の形態に係る撮像装置のレンズと撮像素子の初期位置における相対的な位置関係を模式的に示す図である。
　図２に示すように、撮像素子２は初期位置において、レンズ１に対して撮像対象物と反対側に、レンズ１を介して入射される入射光が結像する範囲であるイメージサークル３の外側に位置するケラレ領域４ａ～４ｄを有するように配置されている。ここで、イメージサークル３とは、レンズ１を通った光が結像する光軸１ａを中心とする円形の範囲であり、レンズ１の焦点距離や画角により決定される。また、ケラレ領域４ａ～４ｄとは、撮像素子２上におけるイメージサークル３よりも外側に位置する領域であり、レンズ１を介して入射される光が届かない領域である。
　なお、本実施の形態においては、レンズ１と撮像素子２の相対的な初期位置（以下、単に初期位置と称する）におけるケラレ領域４ａ～４ｄが、方形に形成された撮像素子２の４つの角部にそれぞれ位置するように配置される場合を例示している。すなわち、本実施の形態においては、レンズ１により形成されるイメージサークル３の直径が方形に形成された撮像素子２の対角線長よりも小さくなるように、レンズ１及び撮像素子２を構成しており、イメージサークル３と撮像素子２の中心がほぼ一致するように初期位置を設定すると、撮像素子２の４つの角部にケラレ領域４ａ～４ｄが形成される。
　初期位置において、レンズ１の光軸１ａが撮像素子２上を通る位置を撮像素子２上の基準位置２ａとする。すなわち、初期位置において、撮像素子２の基準位置２ａとレンズ１の光軸１ａは一致する。なお、撮像素子２の中心と基準位置２ａとは必ずしも一致するわけではない。
　基準位置２ａは、画像処理部１０１において行われる光軸位置算出処理（後に詳述）により算出され、記憶部１０２に記憶される。光軸位置算出処理は、ケラレ領域４ａ～４ｄの形状に基づいてレンズ１の光軸１ａの撮像素子２上の位置を算出する処理である。
　図３は、撮像装置のレンズと撮像素子の相対位置にズレが生じた場合を示す図である。
　図３に示すように、レンズ１と撮像素子２に相対位置のズレが発生した場合、撮像素子２上の基準位置２ａとレンズ１の光軸１ａの位置、すなわち、イメージサークル３の中心位置とにズレ（光軸ズレ）が生じる。このように、レンズ１と撮像素子２の相対的な位置にズレが生じた後のズレ位置（以下、単にズレ位置と称する）となった場合、撮像素子２上のケラレ領域４ｅ～４ｇの形状（場合によっては個数も含む）が初期位置の場合と比較して変化する。本実施の形態では、ズレ位置において光軸位置算出処理を行って撮像素子２上における光軸１ａの位置を算出し、初期位置における光軸１ａの位置と比較することにより、レンズ１と撮像素子２の相対的な位置のズレ量を算出する（光軸ズレ量算出処理）。
　図４及び図５は、画像処理部における光軸位置算出処理の一例を説明する図であり、図４は光軸位置算出処理に用いる仮想円の様子を、図５は光軸位置算出処理の様子をそれぞれ示している。なお、図４及び図５においては、撮像素子２の角部の１つにケラレ領域４１が形成された場合を例示して示している。
　画像処理部１０１での光軸位置算出処理は、ケラレ領域４ａ～４ｇの形状に基づいてレンズ１の光軸１ａの撮像素子２上の位置を算出する処理である。すなわち、光軸位置算出処理では、レンズ１のイメージサークル３と同径の仮想円３１を想定し（図４）、仮想円３１とケラレ領域４１の外周の円弧形状との一致部分を検出し（図５）、その状態での仮想円３１の中心３１ａ位置をズレ位置におけるレンズ１の光軸１ａの撮像素子２上の位置として算出され、記憶部１０２に記憶される。
　また、画像処理部１０１での光軸ズレ量算出処理では、レンズ１と撮像素子２の初期位置における基準位置２ａを記憶部１０２から読み出し、レンズ１と撮像素子２のズレ位置における光軸１ａの位置（イメージサークル３の中心位置）と比較することにより、初期位置に対するズレ位置におけるレンズ１と撮像素子２の相対位置のズレ量を算出する。
　以上のように構成した本実施の形態の効果を説明する。
　運転支援システムに用いられる車載カメラ装置は高低音環境下や高湿度環境下などでの使用に対応する必要があり、また、経年によるレンズと撮像素子の位置のズレについても抑制する必要がある。しかしながら、温湿度変化や経年によるレンズと撮像素子の位置のズレを完全に無くすことは不可能であった。
　また、レンズには少なからず光学歪みがあり、例えば、一対の撮像装置（ステレオカメラ）で撮像された２つの撮像画像に映し出された対象物に関する水平方向のずれ（視差）を特定し、この特定された視差に基づいて三角測量の原理により対象物までの距離を算出するような技術においては、左右のレンズの光学歪みに偏りが発生していると、対象物までの距離を正確に算出できないばかりか、結果として各撮像装置で撮像した対象物が同一対象物と認識されない状況も考えられる。このため、レンズによる光学歪みを補正する処理を行うが、温湿度変化や経年によってレンズと撮像素子の位置のズレが生じている場合、光学歪みの補正を正確に行うことがでないため、これらの画像を用いた処理の精度が低下してしまうことが考えられる。
　これに対して本実施の形態においては、撮像対象物に対向するレンズ１と、レンズ１に対して撮像対象物と反対側に、レンズ１を介して入射される入射光が結像する範囲であるイメージサークル３の外側に位置するケラレ領域４ａ～４ｄを有するように配置された撮像素子とを備えて構成したので、レンズ１と撮像素子２の位置のズレ量をより正確に把握することができる。すなわち、レンズ１と撮像素子２の相対的な初期位置とレンズ１と撮像素子２の相対的な位置にズレが生じた後のズレ位置とのそれぞれの位置におけるケラレ領域４ａ～４ｇの形状に基づいてレンズ１の光軸の撮像素子２上の位置を算出し、それらの位置を比較することにより、レンズ１と撮像素子２の位置のズレ量をより正確に把握することができる。また、レンズ１と撮像素子２の位置のズレ量をより正確に把握することができるので、光学歪みの補正を正確に行うことができる。また、撮像装置１００の作製時におけるレンズ１と撮像素子２との光軸ズレを許容できるとともに、光学歪みの大きさやバラつきの大きさについても許容することができ、撮像装置１００の作製コストを抑制することができる。
　なお、本実施の形態においては、撮像素子２の角部の１つに形成されたケラレ領域４１に対して光軸位置算出処理を行う例を示したが、これに限られない。ここで、光軸位置算出処理の他の例及びさらに他の例を図６及び図７を参照しつつ説明する。
　図６は、画像処理部における光軸位置算出処理の他の例を説明する図である。
　図６において、レンズ１と撮像素子２は、レンズ１と撮像素子２の相対的な初期位置におけるケラレ領域４２ａ，４２ｂが方形に形成された撮像素子の４つの角部の少なくとも２つに位置するように配置されている。この場合、画像処理部１０１は、光軸位置算出処理において、レンズ１のイメージサークル３と同径の仮想円３２と、少なくとも２つのケラレ領域４２ａ，４２ｂの外周の円弧形状との一致部分をそれぞれ検出し、少なくとも２つのケラレ領域４２ａ，４２ｂに対応する仮想円３２のそれぞれの中心位置（ここでは、説明の簡単のため２つの中心位置を１つの中心位置３２ａで示している）の平均位置をレンズ１の光軸１ａの撮像素子２上の位置として算出する。
　図７は、画像処理部にける光軸位置算出処理のさらに他の例を説明する図である。
　図７において、レンズ１と撮像素子２は、レンズ１と撮像素子２の相対的な初期位置におけるケラレ領域４３ａ～４３ｄが方形に形成された撮像素子２の４つの角部の少なくとも３つに位置するように配置さている。この場合、画像処理部１０１は、ケラレ領域４３ａ～４３ｄのうちの３つのケラレ領域（例えば、ケラレ領域４３ａ～４３ｃ）の外周の円弧形状を直線近似した近似直線５ａ～５ｃとの内接円３３を検出し、内接円３３の中心位置３３ａをレンズ１の光軸１ａの撮像素子２上の位置として算出する。
　なお、撮像素子２の４つの角部に位置するケラレ領域４３ａ～４３ｄを用いて光軸位置算出処理を行う場合は、近似直線５ａ～５ｄから３つを選ぶ組合せ数（４Ｃ３）から４通りの内接円３３が求められるので、こられの内接円３３の中心位置３３ａの平均位置をとれば、さらに正確な光軸１ａの位置を算出することができる。
　また、本発明は上記した各実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本願発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
１　レンズ、１ａ　光軸、２　撮像素子、２ａ　基準位置、３　イメージサークル、４ａ～４ｇ　ケラレ領域、５ａ～５ｄ　近似直線、１０　格子チャート、１０ａ，１０ｂ　画像、１１　撮像対象物、１１ａ，１１ｂ　画像、３１，３２　仮想円、３１ａ　中心、３２ａ，３３ａ　中心位置、３３　内接円、４１，４２ａ，４２ｂ，４３ａ～４３ｄ　ケラレ領域、１００　撮像装置、１０１　画像処理部、１０２　記憶部

Claims (8)

  1. 　撮像対象物に対向するレンズと、
    　前記レンズに対して前記撮像対象物と反対側に、前記レンズを介して入射される入射光が結像する範囲であるイメージサークルの外側に位置するケラレ領域を有するように配置された撮像素子とを備えたことを特徴とする撮像装置。
  2. 　請求項１記載の撮像装置において、
    　前記ケラレ領域の形状に基づいて前記レンズの光軸の前記撮像素子上の位置を算出する画像処理部を備えたことを特徴とする撮像装置。
  3. 　請求項１記載の撮像装置において、
    　前記レンズと前記撮像素子の相対的な初期位置と前記レンズと前記撮像素子の相対的な位置にズレが生じた後のズレ位置とのそれぞれの位置における前記ケラレ領域の形状に基づいて前記レンズの光軸の前記撮像素子上の位置を算出することにより、前記レンズと前記撮像素子の前記初期位置に対するズレ量を算出する画像処理部を備えたことを特徴とする撮像装置。
  4. 　請求項３記載の撮像装置において、
    　前記レンズと前記撮像素子は、前記レンズと前記撮像素子の相対的な初期位置における前記ケラレ領域が方形に形成された前記撮像素子の４つの角部に位置するように配置されることを特徴とする撮像装置。
  5. 　請求項２又は３記載の撮像装置において、
    　前記画像処理部は、前記レンズのイメージサークルと同径の仮想円と前記ケラレ領域の外周の円弧形状との一致部分を検出することにより、前記仮想円の中心位置を前記レンズの光軸の前記撮像素子上の位置として算出することを特徴とする撮像素子。
  6. 　請求項３記載の撮像装置において、
    　前記レンズと前記撮像素子は、前記レンズと前記撮像素子の相対的な初期位置における前記ケラレ領域が方形に形成された前記撮像素子の４つの角部の少なくとも２つに位置するように配置され、
    　前記画像処理部は、前記レンズのイメージサークルと同径の仮想円と、前記少なくとも２つの前記ケラレ領域の外周の円弧形状との一致部分をそれぞれ検出し、前記少なくとも２つの前記ケラレ領域に対応する前記仮想円のそれぞれの中心位置の平均位置を前記レンズの光軸の前記撮像素子上の位置として算出することを特徴とする撮像素子。
  7. 　請求項３記載の撮像装置において、
    　前記レンズと前記撮像素子は、前記レンズと前記撮像素子の相対的な初期位置における前記ケラレ領域が方形に形成された前記撮像素子の４つの角部の少なくとも３つに位置するように配置され、
    　前記画像処理部は、前記ケラレ領域のうちの３つのケラレ領域の外周の円弧形状を直線近似した直線との内接円を検出し、前記内接円の中心位置を前記レンズの光軸の前記撮像素子上の位置として算出することを特徴とする撮像素子。
  8. 　撮像対象物に対向するレンズに対して前記撮像対象物と反対側に、前記レンズを介して入射される入射光が結像する範囲であるイメージサークルの外側に位置するケラレ領域を有するように撮像素子を配置する手順と、
    　前記ケラレ領域の形状に基づいて前記レンズの光軸の前記撮像素子上の位置を算出する手順とを有することを特徴とする撮像方法。
PCT/JP2017/045030 2016-12-27 2017-12-15 撮像装置および撮像方法 WO2018123639A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17886079.7A EP3564747B1 (en) 2016-12-27 2017-12-15 Imaging device and imaging method
JP2018559041A JP6727670B2 (ja) 2016-12-27 2017-12-15 撮像装置および撮像方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-253015 2016-12-27
JP2016253015 2016-12-27

Publications (1)

Publication Number Publication Date
WO2018123639A1 true WO2018123639A1 (ja) 2018-07-05

Family

ID=62708068

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/045030 WO2018123639A1 (ja) 2016-12-27 2017-12-15 撮像装置および撮像方法

Country Status (3)

Country Link
EP (1) EP3564747B1 (ja)
JP (1) JP6727670B2 (ja)
WO (1) WO2018123639A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021006287A1 (ja) * 2019-07-10 2021-01-14 ソニーセミコンダクタソリューションズ株式会社 異常検出装置と異常検出方法およびプログラムと情報処理システム
US11336827B2 (en) * 2017-11-09 2022-05-17 Canon Kabushiki Kaisha Imaging apparatus and interchangeable lens apparatus that utilize image circle information of an imaging optical system in the interchangeable lens apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012165206A (ja) * 2011-02-07 2012-08-30 Jvc Kenwood Corp 固体撮像素子の有効画素領域の設定方法及び撮像装置の製造方法
JP2013038620A (ja) * 2011-08-09 2013-02-21 Ricoh Co Ltd エリアセンサの位置調整方法
JP2014135567A (ja) 2013-01-08 2014-07-24 Hitachi Ltd 撮像装置、および、撮像方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005122549A1 (en) * 2004-06-07 2005-12-22 Nokia Corporation Method, apparatus, imaging module and program for improving image quality in a digital imaging device
US20070211154A1 (en) * 2006-03-13 2007-09-13 Hesham Mahmoud Lens vignetting correction algorithm in digital cameras

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012165206A (ja) * 2011-02-07 2012-08-30 Jvc Kenwood Corp 固体撮像素子の有効画素領域の設定方法及び撮像装置の製造方法
JP2013038620A (ja) * 2011-08-09 2013-02-21 Ricoh Co Ltd エリアセンサの位置調整方法
JP2014135567A (ja) 2013-01-08 2014-07-24 Hitachi Ltd 撮像装置、および、撮像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3564747A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11336827B2 (en) * 2017-11-09 2022-05-17 Canon Kabushiki Kaisha Imaging apparatus and interchangeable lens apparatus that utilize image circle information of an imaging optical system in the interchangeable lens apparatus
US11516393B2 (en) 2017-11-09 2022-11-29 Canon Kabushiki Kaisha Imaging apparatus to which an interchangeable lens apparatus is attached that utilize image circle information of an imaging optical system in the interchangeable lens apparatus
WO2021006287A1 (ja) * 2019-07-10 2021-01-14 ソニーセミコンダクタソリューションズ株式会社 異常検出装置と異常検出方法およびプログラムと情報処理システム
JP7441839B2 (ja) 2019-07-10 2024-03-01 ソニーセミコンダクタソリューションズ株式会社 異常検出装置と異常検出方法およびプログラムと情報処理システム
US12017585B2 (en) 2019-07-10 2024-06-25 Sony Semiconductor Solutions Corporation Abnormality detection device, abnormality detection method, program, and information processing system

Also Published As

Publication number Publication date
JPWO2018123639A1 (ja) 2019-10-31
EP3564747A1 (en) 2019-11-06
EP3564747A4 (en) 2020-08-05
EP3564747B1 (en) 2021-10-27
JP6727670B2 (ja) 2020-07-22

Similar Documents

Publication Publication Date Title
JP6701101B2 (ja) 複数の光チャネルを備えるマルチアパーチャ光学系を画像センサに対して相対的に位置決めするためのデバイス及び方法
US8619144B1 (en) Automatic camera calibration
US9348111B2 (en) Automatic detection of lens deviations
US8593536B2 (en) Image pickup apparatus with calibration function
JP5365387B2 (ja) 位置検出装置
JP2011145115A (ja) 測距装置、測距用モジュール及びこれを用いた撮像装置
CN109297680B (zh) 光轴偏移误差值的检测方法及装置
US10821911B2 (en) Method and system of camera focus for advanced driver assistance system (ADAS)
JP2004317245A (ja) 距離検出装置、距離検出方法、及び距離検出プログラム
WO2018123639A1 (ja) 撮像装置および撮像方法
JP2011149931A (ja) 距離画像取得装置
JP5493900B2 (ja) 撮像装置
KR20180002227A (ko) 반도체 소자 검사 방법
JP2008288869A (ja) キャリブレーション装置、キャリブレーション方法及びプログラム
JP2016200551A (ja) 画像測定装置、画像測定方法、情報処理装置、情報処理方法、及びプログラム
JP2008241609A (ja) 距離計測システム及び距離計測方法
JP6155924B2 (ja) 寸法測定装置、及び寸法測定方法
JP2014095631A (ja) ３次元計測装置および３次元計測方法
WO2021145280A1 (ja) ロボットシステム
JP2005136743A (ja) 撮像素子の位置調整装置及び位置調整方法
JP7173825B2 (ja) カメラシステム、その制御方法およびプログラム
JP5981353B2 (ja) ３次元計測装置
JP5064265B2 (ja) 画像処理システム及び画像処理方法
JP6072511B2 (ja) 位置調整装置、および位置調整方法
Kumar et al. Non-frontal camera calibration using focal stack imagery

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17886079

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018559041

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017886079

Country of ref document: EP

Effective date: 20190729