JP6234335B2 - IMAGING DEVICE AND MOBILE BODY WITH IMAGING DEVICE - Google Patents

IMAGING DEVICE AND MOBILE BODY WITH IMAGING DEVICE Download PDF

Info

Publication number
JP6234335B2
JP6234335B2 JP2014131919A JP2014131919A JP6234335B2 JP 6234335 B2 JP6234335 B2 JP 6234335B2 JP 2014131919 A JP2014131919 A JP 2014131919A JP 2014131919 A JP2014131919 A JP 2014131919A JP 6234335 B2 JP6234335 B2 JP 6234335B2
Authority
JP
Japan
Prior art keywords
calibration object
control unit
imaging
captured image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014131919A
Other languages
Japanese (ja)
Other versions
JP2016010142A (en
Inventor
圭俊 中田
圭俊 中田
安史 小柴
安史 小柴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2014131919A priority Critical patent/JP6234335B2/en
Publication of JP2016010142A publication Critical patent/JP2016010142A/en
Application granted granted Critical
Publication of JP6234335B2 publication Critical patent/JP6234335B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置及び撮像装置を設置した移動体に関する。   The present invention relates to an imaging device and a moving body in which the imaging device is installed.

従来、車両に搭載される撮像手段により撮像された実画像に、重畳画像を重畳し、実画像と重畳画像とが一致するようにパラメータを調整する方法が知られている（例えば、特許文献１）。また、車両に取り付けられたカメラによって撮影された実画像に所定の重畳画像を重ねた合成画像を表示し、取り付け位置の調整をユーザに行わせることによってカメラの位置合わせを行う方法が知られている（例えば、特許文献２）。   2. Description of the Related Art Conventionally, a method is known in which a superimposed image is superimposed on an actual image captured by an imaging unit mounted on a vehicle, and parameters are adjusted so that the actual image matches the superimposed image (for example, Patent Document 1). ). Also known is a method of aligning a camera by displaying a composite image in which a predetermined superimposed image is superimposed on an actual image taken by a camera attached to a vehicle and allowing the user to adjust the attachment position. (For example, Patent Document 2).

特開２０００−２０９５７７号公報JP 2000-209577 A 特開平１０−１８１４４７号公報Japanese Patent Laid-Open No. 10-181447

特許文献１及び特許文献２の手法においては、実画像と重畳画像とのずれ量を調整するために、重畳画像を移動させて重畳画像を実画像に一致させる操作が必要となる。しかしながら、車両に設置されたカメラのように、広い範囲を撮像する必要があるカメラには、例えば魚眼レンズのような広角レンズが用いられることが多い。広角レンズによって撮像された実画像は、広角レンズの光学特性及び設置条件により、その周辺部の領域ほど大きな歪曲を生じる。このため、実画像と重畳画像とを一致させることは困難である。   In the methods of Patent Document 1 and Patent Document 2, in order to adjust the shift amount between the actual image and the superimposed image, an operation of moving the superimposed image to match the superimposed image with the actual image is required. However, a wide-angle lens such as a fisheye lens is often used for a camera that needs to capture a wide range, such as a camera installed in a vehicle. The actual image captured by the wide-angle lens is more distorted in the peripheral area depending on the optical characteristics and installation conditions of the wide-angle lens. For this reason, it is difficult to match the actual image and the superimposed image.

かかる事情に鑑みてなされた本発明の目的は、実画像と重畳画像とを一致させることを容易にする撮像装置及び撮像装置を設置した移動体を提供することである。   An object of the present invention made in view of such circumstances is to provide an imaging device that facilitates matching an actual image and a superimposed image, and a moving body in which the imaging device is installed.

上記課題を解決するため、本発明に係る撮像装置は、移動体の所定位置に設置され、被写体像を結像する光学系を有し、前記光学系が結像する被写体像を撮像する撮像部と、前記移動体の外部に設けられた指標を撮像した撮像画像に、該撮像画像上で移動可能な較正用オブジェクトを重畳し、前記撮像画像上における指標の位置と前記撮像画像上において確定した前記較正用オブジェクトの位置とに基づいて、前記撮像部の設置位置及び設置姿勢の少なくとも一方のずれを較正するパラメータを算出する制御部とを備え、前記制御部は、前記撮像部の光学系の歪特性及び設置条件に基づいて、前記較正用オブジェクトの形状を変化させる。
また、上記課題を解決するため、本発明に係る撮像装置において、前記制御部は、前記較正用オブジェクトの形状を前記撮像画像上における位置に応じた形状に変化させる。 In order to solve the above-described problem, an imaging apparatus according to the present invention includes an optical system that is installed at a predetermined position of a moving body and forms a subject image, and that captures the subject image formed by the optical system. And a calibration object that can be moved on the captured image is superimposed on the captured image obtained by capturing the index provided outside the moving body, and the position of the index on the captured image and the position on the captured image are determined. A control unit that calculates a parameter for calibrating at least one of the installation position and the installation posture of the imaging unit based on the position of the calibration object, and the control unit includes an optical system of the imaging unit. Based on distortion characteristics and installation conditions, the shape of the calibration object is changed.
In order to solve the above problem, in the imaging apparatus according to the present invention, the control unit changes the shape of the calibration object to a shape corresponding to the position on the captured image.

また、上記課題を解決するため、本発明に係る撮像装置において、前記制御部は、前記撮像画像上における重畳位置又は光軸位置に対する向きの少なくとも一方に応じて前記較正用オブジェクトの形状の変化の変位量を変更する。   In order to solve the above problem, in the imaging apparatus according to the present invention, the control unit may change the shape of the calibration object in accordance with at least one of a superposition position or an optical axis position on the captured image. Change the displacement.

また、上記課題を解決するため、本発明に係る撮像装置において、前記光学系は魚眼レンズである。   In order to solve the above problem, in the imaging apparatus according to the present invention, the optical system is a fisheye lens.

また、上記課題を解決するため、本発明に係る撮像装置において、前記制御部は、前記撮像画像上における前記指標が有する線状部位を該線の長手方向に沿って延長可能である。   In order to solve the above-described problem, in the imaging apparatus according to the present invention, the control unit can extend a linear part of the index on the captured image along the longitudinal direction of the line.

また、上記課題を解決するため、本発明に係る撮像装置において、前記制御部は更に、前記撮像画像上に重畳した前記較正用オブジェクトが有する線状部位を該線の長手方向に沿って延長可能である。   In order to solve the above-described problem, in the imaging apparatus according to the present invention, the control unit can further extend a linear portion of the calibration object superimposed on the captured image along the longitudinal direction of the line. It is.

また、上記課題を解決するため、本発明に係る撮像装置において、前記較正用オブジェクトは基準点を含み、当該基準点を中心として回転可能である。   In order to solve the above-described problem, in the imaging apparatus according to the present invention, the calibration object includes a reference point and is rotatable around the reference point.

更に、上記課題を解決するため、本発明に係る移動体には、上記の撮像装置が設置される。   Furthermore, in order to solve the said subject, said imaging device is installed in the mobile body which concerns on this invention.

実画像と重畳画像とを一致させることを容易にする撮像装置及び撮像装置を設置した移動体を提供することができる。   It is possible to provide an imaging device that makes it easy to match a real image and a superimposed image, and a moving body in which the imaging device is installed.

本発明の一実施形態に係る撮像システムの機能ブロック図である。1 is a functional block diagram of an imaging system according to an embodiment of the present invention. 図１の撮像装置を設置した移動体を示す図である。It is a figure which shows the mobile body which installed the imaging device of FIG. 図１の撮像装置が生成した合成画像を示す図である。It is a figure which shows the synthesized image which the imaging device of FIG. 1 produced | generated. 図１の指示装置の外観を示す図である。It is a figure which shows the external appearance of the instruction | indication apparatus of FIG. 図１の撮像装置が生成した、較正用オブジェクトが回転している様子を示す合成画像の図である。It is a figure of the synthesized image which shows a mode that the object for a calibration which the imaging device of FIG. 1 produced | generated is rotating. 図１の撮像装置が生成した、較正用オブジェクトがユーザ操作によって移動すると共に歪曲する様子を示す合成画像の図である。It is a figure of the synthesized image which shows a mode that the object for a calibration which the imaging device of FIG. 1 produced | generated moves and is distorted by user operation. 図１の撮像装置が生成した、較正用オブジェクト及び指標が延長する様子を示す合成画像の図である。It is a figure of the synthesized image which shows a mode that the object for a calibration and parameter | index produced | generated by the imaging device of FIG. 図１の撮像装置による較正パラメータの算出方法を示す図である。It is a figure which shows the calculation method of the calibration parameter by the imaging device of FIG. （ａ）は、ワールド座標系の回転移動（パン）を示す図である。（ｂ）は、ワールド座標系の回転移動（ロール）を示す図である。（ｃ）は、ワールド座標系の回転移動（チルト）を示す図である。(A) is a figure which shows the rotational movement (pan) of a world coordinate system. (B) is a figure which shows the rotational movement (roll) of a world coordinate system. (C) is a figure which shows the rotational movement (tilt) of a world coordinate system. 図１の撮像装置１が撮像した撮像画像を示す図である。It is a figure which shows the picked-up image which the imaging device 1 of FIG. 1 imaged. カメラ座標系における指標の両端の座標を示す図である。It is a figure which shows the coordinate of the both ends of the parameter | index in a camera coordinate system. 図１の撮像装置の動作フローを示す図である。It is a figure which shows the operation | movement flow of the imaging device of FIG. 図１の撮像装置が行う指標の長さ調整処理のサブルーチンを示す図である。It is a figure which shows the subroutine of the length adjustment process of the parameter | index which the imaging device of FIG. 1 performs. 図１の撮像装置が行う合成画像生成処理のサブルーチンを示す図である。FIG. 3 is a diagram illustrating a subroutine of composite image generation processing performed by the imaging device of FIG. 1.

以下、本発明の一実施形態を図面に基づいて説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

図１は、一実施形態に係る撮像装置を備える撮像システムの機能ブロック図である。撮像システムは、撮像装置１、表示装置２、指示装置３及び伝送路４を備える。   FIG. 1 is a functional block diagram of an imaging system including an imaging apparatus according to an embodiment. The imaging system includes an imaging device 1, a display device 2, an instruction device 3, and a transmission path 4.

本発明に係る撮像装置１、表示装置２及び指示装置３の各機能を説明するが、撮像装置１、表示装置２及び指示装置３が備える他の機能を排除することを意図したものではないことに留意されたい。本実施形態に係る撮像装置１、表示装置２及び指示装置３は例えば車両等の移動体の所定位置に設置される。特に、撮像装置１の設置位置及び設置姿勢は、予め厳密に定められる。撮像装置１は電子機器関連の要素と通信する。以下の説明においては、他の機能部を構成する要素の図示及び説明は省略する。   The functions of the imaging device 1, the display device 2, and the pointing device 3 according to the present invention will be described. However, the functions of the imaging device 1, the display device 2, and the pointing device 3 are not intended to be excluded. Please note that. The imaging device 1, the display device 2, and the pointing device 3 according to the present embodiment are installed at a predetermined position of a moving body such as a vehicle. In particular, the installation position and installation posture of the imaging apparatus 1 are determined strictly in advance. The imaging device 1 communicates with an electronic device related element. In the following description, illustration and description of elements constituting other functional units are omitted.

撮像装置１は、撮像部１１及び制御部１２を備える。   The imaging device 1 includes an imaging unit 11 and a control unit 12.

撮像部１１は、光学系及び撮像素子を有する。光学系は例えば魚眼レンズ等の光学素子によって構成され、撮像装置１が設置される移動体の例えば後方の被写体像を結像する。撮像素子は、例えばＣＭＯＳ又はＣＣＤ撮像素子であり、光学系が結像する被写体像を、カラー画像又はモノクロ画像として撮像する。   The imaging unit 11 includes an optical system and an imaging element. The optical system is configured by an optical element such as a fish-eye lens, and forms a subject image, for example, behind the moving body on which the imaging device 1 is installed. The image pickup device is, for example, a CMOS or CCD image pickup device, and picks up a subject image formed by the optical system as a color image or a monochrome image.

制御部１２は、撮像装置１の各種動作を制御するコンピュータである。制御部１２は、カメラを較正するモードがユーザ（例えば、車両の運転手）によって選択されたとき、撮像部１１が撮像した実画像（以下、「撮像画像」とする）に較正用オブジェクトを重畳する。制御部１２は、較正用オブジェクトを重畳して生成した合成画像を表示装置に出力する。更に、制御部１２は、ユーザなどによる較正用オブジェクトの位置の調整などが終了し、その位置が確定したことを示す確定情報を取得すると、撮像部１１の設置位置及び設置姿勢の少なくとも一方のずれを較正しうるパラメータを算出する。詳細は後述する。   The control unit 12 is a computer that controls various operations of the imaging apparatus 1. When the mode for calibrating the camera is selected by a user (for example, a vehicle driver), the control unit 12 superimposes a calibration object on a real image captured by the imaging unit 11 (hereinafter referred to as “captured image”). To do. The control unit 12 outputs a composite image generated by superimposing the calibration object to the display device. Further, when the control unit 12 finishes the adjustment of the position of the calibration object by the user or the like and acquires confirmation information indicating that the position is fixed, the control unit 12 shifts at least one of the installation position and the installation posture of the imaging unit 11. The parameter which can calibrate is calculated. Details will be described later.

表示装置２は、撮像装置１から取得した合成画像を表示する、例えば、液晶ディスプレイである。表示装置２は、例えばタッチパネルで構成され、ユーザから入力を受付ける、後述する指示装置３として機能してもよい。   The display device 2 is, for example, a liquid crystal display that displays the composite image acquired from the imaging device 1. The display device 2 may be configured as, for example, a touch panel, and may function as an instruction device 3 described later that receives an input from a user.

指示装置３は、表示装置２に表示された較正用オブジェクトの位置を調整するためのユーザインタフェースである。ユーザは、指示装置３を操作することにより、撮像画像に重畳された較正用オブジェクトの位置を上下左右方向に移動させ又は較正用オブジェクトを回転させることができる。指示装置３は、ユーザによる入力操作により取得した、較正用オブジェクトの位置を調整する調整情報を、伝送路４を介して撮像装置１に出力する。指示装置３は、調整が終了したことを示す入力操作を検出したときは、確定情報を撮像装置１に出力する。   The pointing device 3 is a user interface for adjusting the position of the calibration object displayed on the display device 2. By operating the pointing device 3, the user can move the position of the calibration object superimposed on the captured image in the vertical and horizontal directions or rotate the calibration object. The instruction device 3 outputs adjustment information for adjusting the position of the calibration object acquired by the input operation by the user to the imaging device 1 via the transmission path 4. When the instruction device 3 detects an input operation indicating that the adjustment has been completed, the instruction device 3 outputs confirmation information to the imaging device 1.

伝送路４は、例えばバスである。伝送路４は、撮像装置１、表示装置２及び指示装置３の間の情報を伝送する。   The transmission line 4 is, for example, a bus. The transmission path 4 transmits information among the imaging device 1, the display device 2, and the instruction device 3.

図２は、図１の撮像装置１を設置した移動体５を示す図である。撮像装置１は、路面及び路面上の物体等を撮像する。図２に示す領域Ａは、撮像部１１によって撮像される被写体領域である。   FIG. 2 is a diagram illustrating the moving body 5 in which the imaging device 1 of FIG. 1 is installed. The imaging device 1 images a road surface and an object on the road surface. A region A illustrated in FIG. 2 is a subject region imaged by the imaging unit 11.

撮像装置１の較正には、移動体５の外部に設けられた指標を用いる。指標は、予め任意の形状が定められた、例えば、長方形状の板や、路面上に描かれた白線等である。指標は、予め定められた位置及び姿勢で設けられる。予め定められた位置及び姿勢とは任意の位置及び姿勢であるが、本実施形態では、指標は、移動体５の後端から所定の距離の位置で、移動体５の後端と平行になる姿勢で設けるものとして説明する。また、本実施形態では、指標の厚みは一定であるとして説明する。   For calibration of the imaging apparatus 1, an index provided outside the moving body 5 is used. The index is an arbitrary shape, for example, a rectangular plate, a white line drawn on the road surface, or the like. The index is provided at a predetermined position and posture. The predetermined position and posture are arbitrary positions and postures. However, in this embodiment, the index is parallel to the rear end of the moving body 5 at a predetermined distance from the rear end of the moving body 5. It demonstrates as what is provided with a attitude | position. In the present embodiment, the thickness of the index is assumed to be constant.

撮像部１１は、指標を撮像すると、撮像画像を制御部１２に出力する。制御部１２は、撮像画像に、撮像画像上で移動可能な較正用オブジェクトを重畳して合成画像を生成する。較正用オブジェクトの形状は任意である。しかしながら、本実施形態では、較正用オブジェクトは、円状部位及び線状部位を有するものとして説明する。   When the imaging unit 11 captures the index, the imaging unit 11 outputs the captured image to the control unit 12. The control unit 12 generates a composite image by superimposing a calibration object movable on the captured image on the captured image. The shape of the calibration object is arbitrary. However, in this embodiment, the calibration object is described as having a circular part and a linear part.

図３は、図１の撮像装置１が生成した合成画像３０を示す図である。図３に示す通り、指標３１は、合成画像上において撮像部１１の光学系の歪特性及び現実に設けられた指標の光軸からの距離の影響を受けて歪曲する。   FIG. 3 is a diagram illustrating the composite image 30 generated by the imaging device 1 of FIG. As shown in FIG. 3, the index 31 is distorted on the composite image under the influence of the distortion characteristics of the optical system of the imaging unit 11 and the distance of the index actually provided from the optical axis.

制御部１２は、撮像画像上において指標３１が歪曲するのと同様に、較正用オブジェクト３２を歪曲させる。図３に示す通り、制御部１２は、撮像部１１の光学系の歪特性及び設置条件に基づいて、較正用オブジェクト３２の形状の変化の変位量を決定する。例えば、制御部１２は、歪特性である、光学系の画角が広いほど、較正用オブジェクト３２を大きく歪曲させる。また、制御部１２は、光学系の光学特性、例えば像倍率などが大きいほど、較正用オブジェクト３２を大きく歪曲させる。さらに、制御部１２は、合成画像上におけるその重畳位置が合成画像上の光軸に対応する点Ｏから遠いほど、較正用オブジェクト３２をより大きく歪曲させる。歪曲は例えば、較正用オブジェクト３２の円状部位３３が楕円形に変形し、線状部位３４が弧形又は折れ線等に変形することである。制御部１２は、歪特性、設置条件、および重畳位置に対応する較正用オブジェクト３２の変形量を撮像装置の記憶部から読出し、較正用オブジェクト３２を変形させる。   The control unit 12 distorts the calibration object 32 in the same manner as the index 31 is distorted on the captured image. As illustrated in FIG. 3, the control unit 12 determines the displacement amount of the change in the shape of the calibration object 32 based on the distortion characteristics and installation conditions of the optical system of the imaging unit 11. For example, the control unit 12 distorts the calibration object 32 more greatly as the angle of view of the optical system, which is the distortion characteristic, is wider. In addition, the control unit 12 distorts the calibration object 32 to a greater extent as the optical characteristics of the optical system, such as the image magnification, are increased. Furthermore, the control unit 12 distorts the calibration object 32 more greatly as the overlapping position on the synthesized image is farther from the point O corresponding to the optical axis on the synthesized image. The distortion is, for example, that the circular portion 33 of the calibration object 32 is deformed into an ellipse and the linear portion 34 is deformed into an arc shape or a broken line. The control unit 12 reads out the deformation amount of the calibration object 32 corresponding to the distortion characteristics, the installation conditions, and the superimposed position from the storage unit of the imaging apparatus, and deforms the calibration object 32.

制御部１２は、撮像画像に較正用オブジェクト３２を重畳して生成した合成画像を、伝送路４を介して表示装置２に出力する。   The control unit 12 outputs a composite image generated by superimposing the calibration object 32 on the captured image to the display device 2 via the transmission path 4.

表示装置２は、合成画像を取得し、表示する。   The display device 2 acquires and displays the composite image.

較正用オブジェクト３２は、合成画像上において移動可能である。指示装置３は、合成画像上における較正用オブジェクト３２の移動を示す入力を受付けることができる。どのように指示装置３が入力を受付けるかを以下で説明する。   The calibration object 32 is movable on the composite image. The pointing device 3 can accept an input indicating the movement of the calibration object 32 on the composite image. How the pointing device 3 accepts input will be described below.

図４は、図１の指示装置３の外観を示す図である。図４に示すように、指示装置３は、上指示部４１、左指示部４２、下指示部４３、右指示部４４、右回転指示部４５、左回転指示部４６及び確定指示部４７を有する指示部からなる。指示部は、車両内の表示装置２近傍に設けた機械スイッチであってもよい。他方、指示部は、表示装置２のタッチパネル上に表示されるオブジェクトであってもよい。   FIG. 4 is a view showing an appearance of the pointing device 3 of FIG. As shown in FIG. 4, the instruction device 3 includes an upper instruction unit 41, a left instruction unit 42, a lower instruction unit 43, a right instruction unit 44, a right rotation instruction unit 45, a left rotation instruction unit 46, and a confirmation instruction unit 47. It consists of an instruction unit. The instruction unit may be a mechanical switch provided in the vicinity of the display device 2 in the vehicle. On the other hand, the instruction unit may be an object displayed on the touch panel of the display device 2.

上指示部４１、左指示部４２、下指示部４３及び右指示部４４は、指標をそれぞれ上、左、下及び右に移動させるための指示部である。また、右回転指示部４５及び左回転指示部４６は、指標をそれぞれ時計回り及び反時計回りに回転させるための指示部である。確定指示部４７は、後述する通り、撮像画像上における較正用オブジェクト３２の移動を完了して位置を確定させるための指示部である。   The upper instruction unit 41, the left instruction unit 42, the lower instruction unit 43, and the right instruction unit 44 are instruction units for moving the index upward, left, down, and right, respectively. The right rotation instruction unit 45 and the left rotation instruction unit 46 are instruction units for rotating the indicator clockwise and counterclockwise, respectively. As will be described later, the confirmation instructing unit 47 is an instruction unit for completing the movement of the calibration object 32 on the captured image and confirming the position.

確定指示部４７以外の指示部に対する入力操作によって較正用オブジェクトが変化する変位量は調整可能である。例えば、左指示部４２及び右指示部４４の１回の押下に対して例えば０．５度のオフセットを対応付けた場合を考慮する。この場合、左指示部４２又は右指示部４４を１回押下すると、較正用オブジェクトは、撮像部１１の撮像方向をパン（左右）方向に０．５度向きを変えたときに生じる撮像画像の変位量に等しい画素数分だけ移動する。上下（チルト）方向、ロール（回転）方向においても同様である。   The amount of displacement by which the calibration object is changed by an input operation to an instruction unit other than the confirmation instruction unit 47 can be adjusted. For example, consider a case where an offset of 0.5 degrees, for example, is associated with one press of the left instruction unit 42 and the right instruction unit 44. In this case, when the left instruction unit 42 or the right instruction unit 44 is pressed once, the calibration object is a captured image generated when the image capturing direction of the image capturing unit 11 is changed by 0.5 degrees in the pan (left / right) direction. Move by the number of pixels equal to the displacement. The same applies to the vertical (tilt) direction and the roll (rotation) direction.

ロール操作においては、較正用オブジェクト３２は任意の基準点を中心に回転する。図５は、図１の撮像装置１が生成した、較正用オブジェクト３２が矢印の方向に回転している様子を示す合成画像３０の図である。図５に示す通り、本実施形態における回転の中心となる基準点は、較正用オブジェクト３２が有する円状部位３３の中心Ｃである。   In the roll operation, the calibration object 32 rotates around an arbitrary reference point. FIG. 5 is a diagram of a composite image 30 that is generated by the imaging device 1 of FIG. 1 and shows a state in which the calibration object 32 is rotated in the direction of the arrow. As shown in FIG. 5, the reference point serving as the center of rotation in the present embodiment is the center C of the circular portion 33 of the calibration object 32.

指示装置３は、上記のような入力操作を受け付け、較正用オブジェクトの位置を調整する調整情報として撮像装置１に出力する。   The instruction device 3 receives the input operation as described above and outputs it to the imaging device 1 as adjustment information for adjusting the position of the calibration object.

制御部１２は、調整情報を指示装置３から取得すると、較正用オブジェクトが調整情報に対応する位置へ移動した後の新たな合成画像を生成する。生成過程において、制御部１２は、撮像部１１の光学系の歪特性及び設置条件に基づいて較正用オブジェクトの形状を変化させる。以下で具体的に説明する。   When acquiring the adjustment information from the pointing device 3, the control unit 12 generates a new composite image after the calibration object has moved to the position corresponding to the adjustment information. In the generation process, the control unit 12 changes the shape of the calibration object based on the distortion characteristics and installation conditions of the optical system of the imaging unit 11. This will be specifically described below.

図６は、図１の撮像装置１が生成した、撮像画像に重畳された較正用オブジェクト３２が入力操作によって移動すると共に歪曲する様子を示す合成画像３０の図である。合成画像上の光軸に対応する点をＯで示す。較正用オブジェクト３２が点Ｏを通る場合（すなわち、位置６１にある場合）、較正用オブジェクト３２は撮像部１１の光学系の歪特性の影響を受けて歪曲しない。そのため、較正用オブジェクト３２は直線状のままである。   FIG. 6 is a diagram of a composite image 30 that shows a state in which the calibration object 32 superimposed on the captured image generated by the imaging device 1 of FIG. 1 is moved and distorted by an input operation. A point corresponding to the optical axis on the composite image is indicated by O. When the calibration object 32 passes through the point O (that is, at the position 61), the calibration object 32 is not distorted due to the influence of the distortion characteristics of the optical system of the imaging unit 11. Therefore, the calibration object 32 remains linear.

また、入力操作によって較正用オブジェクト３２が、点Ｏから離れた位置６２に移動した場合、制御部１２は、較正用オブジェクト３２（円状部位３３及び線状部位３４）を歪曲させる。   When the calibration object 32 is moved to the position 62 away from the point O by the input operation, the control unit 12 distorts the calibration object 32 (the circular portion 33 and the linear portion 34).

また、入力操作によって較正用オブジェクト３２が、位置６２よりも点Ｏから更に離れた位置６３に移動した場合、撮像部１１の光学系の歪みはより大きくなる。従って、制御部１２は、較正用オブジェクト３２を更に歪曲させる。   Further, when the calibration object 32 is moved to the position 63 further away from the point O than the position 62 by the input operation, the distortion of the optical system of the imaging unit 11 becomes larger. Therefore, the control unit 12 further distorts the calibration object 32.

入力操作によって較正用オブジェクト３２の線状部位３４が位置６４、すなわち、合成画像３０上の点Ｏを通る直線に実質的に重なる位置に移動したとする。この場合、制御部１２は較正用オブジェクト３２を歪曲させない。   It is assumed that the linear portion 34 of the calibration object 32 has moved to a position 64, that is, a position that substantially overlaps a straight line passing through the point O on the composite image 30 by the input operation. In this case, the control unit 12 does not distort the calibration object 32.

さらに、制御部１２は、合成画像３０上における指標３１が有する線状部位を、該線の長手方向に沿って延長することができる。制御部１２は、所定の条件が満たされたと判定したときに延長を行う。所定の条件とは例えば、合成画像上における指標３１が有する線状部位が所定の長さより短いことである。   Furthermore, the control unit 12 can extend the linear portion of the index 31 on the composite image 30 along the longitudinal direction of the line. The control unit 12 performs extension when it is determined that a predetermined condition is satisfied. The predetermined condition is, for example, that the linear portion of the index 31 on the composite image is shorter than a predetermined length.

例えば、図７に示すように、制御部１２は、指標３１が有する線状部位７１を、指標３１の長手方向に沿って延長部分７２の分だけ延長することができる。図７において、制御部１２は、延長前の線状部位７１の歪みから推定される方向に該線を延長している。制御部１２は、線状部位７１の端における該線の（接線）方向に該線を延長してもよいし、撮像部１１の光学系の歪特性及び設置条件に基づいて該線を延長してもよい。   For example, as illustrated in FIG. 7, the control unit 12 can extend the linear portion 71 of the index 31 by an extension portion 72 along the longitudinal direction of the index 31. In FIG. 7, the control unit 12 extends the line in the direction estimated from the distortion of the linear portion 71 before extension. The control unit 12 may extend the line in the (tangential) direction of the line at the end of the linear part 71, or extend the line based on the distortion characteristics and installation conditions of the optical system of the imaging unit 11. May be.

また、制御部１２は、較正用オブジェクト３２の線状部位３４を、線状部位３４の長手方向に沿って延長部分７３の分だけ延長することができる。制御部１２は、所定の条件が満たされたと判定したときに延長を行う。所定の条件とは例えば、制御部１２が、指標３１が有する線状部位７１を延長したことである。   Further, the control unit 12 can extend the linear portion 34 of the calibration object 32 by the extension portion 73 along the longitudinal direction of the linear portion 34. The control unit 12 performs extension when it is determined that a predetermined condition is satisfied. The predetermined condition is, for example, that the control unit 12 extends the linear portion 71 included in the index 31.

合成画像の生成が完了すると、制御部１２は、生成した合成画像を表示装置２に出力する。制御部１２が指示装置３から調整情報を取得する限りにおいては、制御部１２が行う処理は上述した処理を繰り返す処理であるため説明を省略する。   When the generation of the composite image is completed, the control unit 12 outputs the generated composite image to the display device 2. As long as the control unit 12 acquires the adjustment information from the instruction device 3, the process performed by the control unit 12 is a process that repeats the above-described process, and a description thereof will be omitted.

指示装置３は、撮像画像上に重畳された較正用オブジェクト３２の移動を示す入力だけでなく、その移動が完了し位置が確定したことを示す入力を受付けることができる。指示装置３は、位置が確定したことを示す入力を受付けると、確定情報として撮像装置１に出力する。確定情報を取得した撮像装置１の制御部１２は、撮像画像上における指標の位置と撮像画像上において確定した較正用オブジェクト３２の位置とに基づいて、パラメータを算出する。   The instruction device 3 can accept not only an input indicating the movement of the calibration object 32 superimposed on the captured image but also an input indicating that the movement is completed and the position is fixed. When the instruction device 3 receives an input indicating that the position has been confirmed, the instruction device 3 outputs the input to the imaging device 1 as confirmed information. The control unit 12 of the imaging apparatus 1 that has acquired the determination information calculates a parameter based on the position of the index on the captured image and the position of the calibration object 32 determined on the captured image.

上述のように、指示装置３は、ユーザから、較正用オブジェクト３２が指標３１に重なるように較正用オブジェクト３２を移動させ、その位置を確定させる入力操作を受付け可能である。このような入力操作を受付けることにより、制御部１２は、撮像部１１の設置位置及び設置姿勢の少なくとも一方のずれの較正を行いうる、実際に必要となるパラメータを算出することができる。本実施形態において「重なる」とは、一致する関係のみならず、一方が他方を含む関係をも包含することに留意されたい。   As described above, the pointing device 3 can accept an input operation from the user to move the calibration object 32 so that the calibration object 32 overlaps the index 31 and determine the position thereof. By accepting such an input operation, the control unit 12 can calculate a parameter that is actually necessary, which can calibrate the deviation of at least one of the installation position and installation posture of the imaging unit 11. It should be noted that “overlapping” in this embodiment includes not only a matching relationship but also a relationship in which one includes the other.

較正パラメータの算出方法について説明する。図８は、図１の撮像装置１による較正パラメータの算出方法を示す図であり、移動体５に設置される撮像装置１と指標３１との位置関係を示している。指標３１の両端の点をそれぞれＰ1、Ｐ2とする。撮像装置１の位置（カメラ座標の原点）は、ワールド座標で（ｔｘ、ｔｙ、ｔｚ）と表される。また、撮像装置１の位置を基準として、撮像装置１から見た相対的な位置関係はカメラ座標系で表現することができる。カメラ座標系は、ワールド座標系に対する平行移動及び回転移動で表すことができる。 A method for calculating the calibration parameter will be described. FIG. 8 is a diagram showing a calibration parameter calculation method by the imaging apparatus 1 of FIG. 1, and shows the positional relationship between the imaging apparatus 1 installed on the moving body 5 and the index 31. The points at both ends of the index 31 are P 1 and P 2 , respectively. The position of the imaging device 1 (the origin of camera coordinates) is expressed as (tx, ty, tz) in world coordinates. The relative positional relationship seen from the imaging device 1 can be expressed by a camera coordinate system with the position of the imaging device 1 as a reference. The camera coordinate system can be expressed by translation and rotation with respect to the world coordinate system.

図９は、ワールド座標系の回転移動を示す図である。図９（ａ）に示すようにＺｗを軸とする回転をパン、図９（ｂ）に示すようにＹｗを軸とする回転をロール、図９（ｃ）に示すようにＸｗを軸とする回転をチルトとする。パンの回転角度（パン角）α、ロールの回転角度（ロール角）β、チルトの回転角度（チルト角）γとする。このとき、ワールド座標系の座標（ｘｗ1、ｙｗ1、ｚｗ1）で表される点Ｐ1は、カメラ座標系では式（１）で表すことができる。

Figure 0006234335
FIG. 9 is a diagram showing the rotational movement of the world coordinate system. As shown in FIG. 9A, the rotation around Zw is the pan, the rotation around Yw is the roll as shown in FIG. 9B, and the Xw is the axis as shown in FIG. 9C. Let rotation be tilt. A pan rotation angle (pan angle) α, a roll rotation angle (roll angle) β, and a tilt rotation angle (tilt angle) γ. At this time, the point P 1 represented by the coordinates (xw 1 , yw 1 , zw 1 ) of the world coordinate system can be represented by Expression (1) in the camera coordinate system.
Figure 0006234335

図１０は、図１の撮像装置１が撮像した撮像画像１００を示す図である。図１０においては、説明のために、画像変換により歪を除去した指標３１を用いて説明する。ただし、歪が生じたままの画像を用いてパラメータを算出することも可能である。指標３１の座標は、上述したように較正オブジェクトを移動させることで得られる。指標３１の一端Ｐ1の位置を、カメラ画像の中心点を原点とする座標で（ｘi、ｚi）としたとき、撮像装置１の撮像素子のセンサ面上の像高ｈは、センサのピクセルピッチｄを用いて式（２）で表される。

Figure 0006234335
FIG. 10 is a diagram illustrating a captured image 100 captured by the imaging device 1 of FIG. For the sake of explanation, FIG. 10 will be described using an index 31 from which distortion has been removed by image conversion. However, it is also possible to calculate parameters using an image with distortion occurring. The coordinates of the index 31 are obtained by moving the calibration object as described above. When the position of the one end P 1 of the index 31 is set to (x i , z i ) with the center point of the camera image as the origin, the image height h on the sensor surface of the image sensor of the imaging device 1 is the sensor height. It is expressed by equation (2) using the pixel pitch d.
Figure 0006234335

さらに、レンズの入射角θiとセンサ面上の像高ｈの関係は、レンズの焦点距離ｆ、及びレンズのディストーションｄｉｓｔを用いて、式（３）で表すことができる。

Figure 0006234335
Further, the relationship between the incident angle θ i of the lens and the image height h on the sensor surface can be expressed by Expression (3) using the focal length f of the lens and the distortion dist of the lens.
Figure 0006234335

図１１は、カメラ座標系における指標３１の両端Ｐ1、Ｐ2の座標を示す図である。点Ｐ1に対する撮像装置１の入射角θiは、式（４）で表される。

Figure 0006234335
FIG. 11 is a diagram showing the coordinates of both ends P 1 and P 2 of the index 31 in the camera coordinate system. An incident angle θ i of the imaging device 1 with respect to the point P 1 is expressed by Expression (4).
Figure 0006234335

撮像装置１から点Ｐ1までの距離ｓ、すなわちカメラ座標原点から指標３１の点Ｐ1までの距離は既知であるので、式（２），（３）から求まる角度θiと、式（５）で表される角度φiとを用いて、（ｘｃ1、ｙｃ1、ｚｃ1）を式（６），（７），（８）により算出することができる。

Figure 0006234335
Since the distance s from the imaging device 1 to the point P 1 , that is, the distance from the camera coordinate origin to the point P 1 of the index 31 is known, the angle θ i obtained from the equations (2) and (3) and the equation (5) (Xc 1 , yc 1 , zc 1 ) can be calculated by equations (6), (7), and (8) using the angle φ i represented by
Figure 0006234335

同様に、点Ｐ2についても式（９）の関係が算出される。

Figure 0006234335
Similarly, the relationship of formula (9) is also calculated point P 2.
Figure 0006234335

指標３１を、上述の通り、移動体５の後端から所定の距離に移動体５の後端と平行になるように設け、指標３１の厚みを一定とすることにより、以下の式（１０）及び（１１）が成立する。   As described above, the index 31 is provided at a predetermined distance from the rear end of the moving body 5 so as to be parallel to the rear end of the moving body 5, and the thickness of the index 31 is made constant. And (11) holds.

ｙｗ1＝ｙｗ2 （１０）
ｚｗ1＝ｚｗ2 （１１） yw 1 = yw 2 (10)
zw 1 = zw 2 (11)

較正点のワールド座標系での座標は既知である。従って、指示装置３により入力した２つの較正点の画像上の座標が決まれば、制御部１２は、式（１）、（９）、（１０）及び（１１）より、パン角α，ロール角β，及びチルト角γを算出することができる。すなわち、式（１０）及び（１１）の条件を満たすことにより、制御部１２は、２点の較正用オブジェクトの座標を取得して較正パラメータを算出することができる。   The coordinates of the calibration point in the world coordinate system are known. Therefore, when the coordinates on the image of the two calibration points input by the pointing device 3 are determined, the control unit 12 can determine the pan angle α and the roll angle from the equations (1), (9), (10), and (11). β and tilt angle γ can be calculated. That is, by satisfying the conditions of Expressions (10) and (11), the control unit 12 can obtain the coordinates of the two calibration objects and calculate the calibration parameters.

［動作フロー］
図１２は、図１の撮像装置１の動作フローを示す図である。撮像装置１は、移動体５の外部に設けられた指標を撮像する（ステップＳ１）。撮像装置１は、撮像画像上における指標の長さを調整する（ステップＳ２）。ステップＳ２は図１３を用いて、後に詳述する。撮像装置１は、ステップＳ１で撮像した撮像画像に、較正用オブジェクトが歪みを生じない初期位置に該撮像画像上で移動可能な較正用オブジェクトを重畳して、合成画像を生成する（ステップＳ３）。撮像装置１は、合成画像を表示装置２に出力する（ステップＳ４）。次いで撮像装置１は、較正用オブジェクトの位置が確定した旨の確定情報と、較正用オブジェクトの位置を調整する調整情報とのどちらを指示装置３から取得したかを判定する（ステップＳ５）。撮像装置１が調整情報を取得したとき、撮像装置１は、較正用オブジェクトが調整情報に対応する位置へ移動して形状が変化した後の新たな合成画像を生成する（ステップＳ６）。ステップＳ６は図１４を用いて、後に詳述する。撮像装置１は、ステップＳ６の後、ステップＳ４に戻って、新たな合成画像を表示装置２に出力する。一方撮像装置１が確定情報を取得したとき、撮像装置１は、撮像部１１の設置位置及び設置姿勢の少なくとも一方のずれを較正するパラメータを算出する（ステップＳ７）。 [Operation flow]
FIG. 12 is a diagram illustrating an operation flow of the imaging apparatus 1 of FIG. The imaging device 1 images an index provided outside the moving body 5 (step S1). The imaging device 1 adjusts the length of the index on the captured image (step S2). Step S2 will be described later in detail with reference to FIG. The imaging apparatus 1 superimposes a calibration object that can be moved on the captured image on the captured image captured in step S1 at an initial position where the calibration object does not cause distortion, thereby generating a composite image (step S3). . The imaging device 1 outputs the composite image to the display device 2 (step S4). Next, the imaging apparatus 1 determines which one of the confirmation information that the position of the calibration object is confirmed and the adjustment information that adjusts the position of the calibration object is acquired from the instruction device 3 (step S5). When the imaging apparatus 1 acquires the adjustment information, the imaging apparatus 1 generates a new composite image after the calibration object has moved to the position corresponding to the adjustment information and the shape has changed (step S6). Step S6 will be described later in detail with reference to FIG. The imaging device 1 returns to step S4 after step S6, and outputs a new composite image to the display device 2. On the other hand, when the imaging apparatus 1 acquires the definite information, the imaging apparatus 1 calculates a parameter for calibrating at least one deviation between the installation position and the installation posture of the imaging unit 11 (step S7).

図１３は、図１の撮像装置１が行う指標の長さ調整処理のサブルーチンを示す図である。撮像装置１は、ステップＳ１で撮像した撮像画像を取得する（ステップＳ１１）。撮像装置１は、従来公知の物体認識方法を用いて、撮像画像上において指標を検出する（ステップＳ１２）。次いで撮像装置１は、撮像画像上において指標の長さを検出する（ステップＳ１３）。次いで撮像装置１は、所定の条件が満たされたか否かを判定する（ステップＳ１４）。所定の条件とは例えば、ステップＳ１３で検出した指標の線状部位の長さが所定の長さよりも短いことである。所定の条件が満たされたと撮像装置１が判定したとき（ステップＳ１４のＹｅｓ）、撮像装置１は、撮像画像上における指標が有する線状部位を該線の長手方向に沿って延長する（ステップＳ１５）。一方、所定の条件が満たされていないと撮像装置１が判定したとき（ステップＳ１４のＮｏ）、撮像装置１は、ステップＳ１５の処理を行わない。   FIG. 13 is a diagram illustrating a subroutine of index length adjustment processing performed by the imaging apparatus 1 of FIG. The imaging device 1 acquires the captured image captured in step S1 (step S11). The imaging device 1 detects an index on the captured image using a conventionally known object recognition method (step S12). Next, the imaging device 1 detects the length of the index on the captured image (step S13). Next, the imaging apparatus 1 determines whether or not a predetermined condition is satisfied (step S14). The predetermined condition is, for example, that the length of the linear portion of the index detected in step S13 is shorter than the predetermined length. When the imaging apparatus 1 determines that the predetermined condition is satisfied (Yes in step S14), the imaging apparatus 1 extends the linear portion of the index on the captured image along the longitudinal direction of the line (step S15). ). On the other hand, when the imaging apparatus 1 determines that the predetermined condition is not satisfied (No in step S14), the imaging apparatus 1 does not perform the process in step S15.

図１４は、図１の撮像装置１が行う合成画像生成処理のサブルーチンを示す図である。撮像装置１は、ステップＳ５で取得した調整情報に基づいて、合成画像上における較正用オブジェクトを移動させる（ステップＳ２１）。ステップＳ２１において更に、撮像装置１は、撮像装置１の撮像部１１の光学系の歪特性及び設置条件に基づいて、較正用オブジェクトの形状を変化させる。ステップＳ２１においては更に、撮像装置１は、撮像撮像上における重畳位置又は光軸位置に対する向きの少なくとも一方に応じて較正用オブジェクトの形状の変化の変位量を変更する。次いで撮像装置１は、所定の条件が満たされたか否かを判定する（ステップＳ２２）。所定の条件とは、例えば撮像装置１が、ステップＳ１５において、指標が有する線状部位を延長したことである。所定の条件が満たされたと撮像装置１が判定したとき（ステップＳ２２のＹｅｓ）、撮像装置１は、合成画像上における較正用オブジェクトが有する線状部位を該線の長手方向に沿って延長する（ステップＳ２３）。次いで撮像装置１は、新たな合成画像を生成する（ステップＳ２４）。一方、所定の条件が満たされていないと撮像装置１が判定したとき（ステップＳ２２のＮｏ）、撮像装置１は、ステップＳ２３の処理を行わずに新たな合成画像を生成する（ステップＳ２４）。   FIG. 14 is a diagram illustrating a subroutine of composite image generation processing performed by the imaging device 1 of FIG. The imaging device 1 moves the calibration object on the composite image based on the adjustment information acquired in step S5 (step S21). Further, in step S <b> 21, the imaging device 1 changes the shape of the calibration object based on the distortion characteristics and installation conditions of the optical system of the imaging unit 11 of the imaging device 1. Further, in step S21, the imaging apparatus 1 changes the displacement amount of the change in the shape of the calibration object in accordance with at least one of the orientation with respect to the superimposed position or the optical axis position on the imaging. Next, the imaging apparatus 1 determines whether or not a predetermined condition is satisfied (step S22). The predetermined condition is, for example, that the imaging apparatus 1 has extended the linear portion of the index in step S15. When the imaging apparatus 1 determines that the predetermined condition is satisfied (Yes in step S22), the imaging apparatus 1 extends the linear portion of the calibration object on the composite image along the longitudinal direction of the line ( Step S23). Next, the imaging device 1 generates a new composite image (step S24). On the other hand, when the imaging device 1 determines that the predetermined condition is not satisfied (No in step S22), the imaging device 1 generates a new composite image without performing the process of step S23 (step S24).

上記実施形態の通り、制御部１２は、較正用オブジェクトの形状を、撮像部１１の光学系の歪特性及び設置条件に基づいて変化させるので、指標と較正用オブジェクトとを一致させることが容易となる。   As described in the above embodiment, the control unit 12 changes the shape of the calibration object based on the distortion characteristics of the optical system of the imaging unit 11 and the installation conditions, so that it is easy to match the index and the calibration object. Become.

また、制御部１２は、撮像画像上における重畳位置又は光軸位置に対する向きの少なくとも一方に応じて較正用オブジェクトの形状の変形の変位量を変更する。このため、合成画像上の指標の位置が何処であっても、較正用オブジェクトの形状が指標の形状に近付くので、指標と較正用オブジェクトとを一致させることがより容易となる。   Further, the control unit 12 changes the displacement amount of the deformation of the shape of the calibration object in accordance with at least one of the orientation with respect to the superimposed position or the optical axis position on the captured image. For this reason, since the shape of the calibration object approaches the shape of the index regardless of the position of the index on the composite image, it is easier to match the index and the calibration object.

また、制御部１２は、撮像画像上における指標が有する線状部位を該線の長手方向に沿って延長可能である。このため、例えば、撮像画像上において指標が短く表示されたときでも、ユーザは、撮像画像と較正用オブジェクトとをより容易に一致させることができる。   Moreover, the control part 12 can extend the linear site | part which the parameter | index on a captured image has along the longitudinal direction of this line. For this reason, for example, even when the index is displayed short on the captured image, the user can more easily match the captured image and the calibration object.

また、制御部１２は、撮像画像に重畳した較正用オブジェクトが有する線状部位を該線の長手方向に沿って延長可能である。このため、例えば、合成画像上において較正用オブジェクトが短く表示されたときでも、ユーザは、撮像画像と較正用オブジェクトとをより容易に一致させることができる。   Further, the control unit 12 can extend the linear portion of the calibration object superimposed on the captured image along the longitudinal direction of the line. For this reason, for example, even when the calibration object is displayed short on the composite image, the user can more easily match the captured image and the calibration object.

更に、較正用オブジェクトは基準点を含み、当該基準点を中心として回転可能である。このため、回転移動によって指標と較正用オブジェクトとがずれることを防止することができる。従って、ユーザは、回転移動後に更に、較正用オブジェクトを移動させて微調整する必要がなくなるため、調整時間を短縮することができる。   Further, the calibration object includes a reference point and can be rotated around the reference point. For this reason, it is possible to prevent the index and the calibration object from being shifted due to the rotational movement. Therefore, the user does not need to move the calibration object and perform fine adjustment after the rotational movement, so that the adjustment time can be shortened.

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能である。また、本発明を方法の発明として実施する場合にも、複数の部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。   Although the present invention has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications and corrections based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, functions included in each member, each part, each step, and the like can be rearranged so as not to be logically contradictory. Even when the present invention is implemented as a method invention, it is possible to combine or divide a plurality of parts, steps, and the like into one.

また、本発明に係る撮像装置１の制御部１２をコンピュータで構成した場合、各機能を実現する処理内容を記述したプログラムを、そのコンピュータの内部又は外部の記憶部に格納しておき、そのコンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。また、このようなプログラムは、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。   Further, when the control unit 12 of the imaging apparatus 1 according to the present invention is configured by a computer, a program describing processing contents for realizing each function is stored in an internal or external storage unit of the computer, and the computer This central processing unit (CPU) can read out and execute this program. In addition, such a program can be distributed by selling, transferring, or lending a portable recording medium such as a DVD or a CD-ROM, and such a program is stored in a storage unit of a server on a network, for example. And the program can be distributed by transferring the program from the server to another computer via the network. In addition, a computer that executes such a program can temporarily store, for example, a program recorded on a portable recording medium or a program transferred from a server in its own storage unit. As another embodiment of the program, the computer may directly read the program from a portable recording medium and execute processing according to the program, and each time the program is transferred from the server to the computer. In addition, the processing according to the received program may be executed sequentially.

１ 撮像装置
２ 表示装置
３ 指示装置
４ 伝送路
５ 移動体
１１ 撮像部
１２ 制御部 DESCRIPTION OF SYMBOLS 1 Imaging device 2 Display device 3 Instruction device 4 Transmission path 5 Moving body 11 Imaging unit 12 Control unit

Claims (8)

移動体の所定位置に設置され、被写体像を結像する光学系を有し、前記光学系が結像する被写体像を撮像する撮像部と、
前記移動体の外部に設けられた指標を撮像した撮像画像に、該撮像画像上で移動可能な較正用オブジェクトを重畳し、前記撮像画像上における指標の位置と前記撮像画像上において確定した前記較正用オブジェクトの位置とに基づいて、前記撮像部の設置位置及び設置姿勢の少なくとも一方のずれを較正するパラメータを算出する制御部とを備え、
前記制御部は、前記撮像部の光学系の歪特性及び設置条件に基づいて、前記較正用オブジェクトの形状を変化させる
撮像装置。 An imaging unit that is installed at a predetermined position of the moving body, has an optical system that forms a subject image, and that captures a subject image formed by the optical system;
A calibration object movable on the captured image is superimposed on a captured image obtained by capturing an index provided outside the moving body, and the position of the index on the captured image and the calibration determined on the captured image And a control unit that calculates a parameter for calibrating a deviation of at least one of the installation position and the installation posture of the imaging unit based on the position of the object for use,
The control unit changes the shape of the calibration object based on distortion characteristics and installation conditions of an optical system of the imaging unit. 前記制御部は、前記較正用オブジェクトの形状を前記撮像画像上における位置に応じた形状に変化させる、請求項１に記載の撮像装置。  The imaging apparatus according to claim 1, wherein the control unit changes the shape of the calibration object to a shape corresponding to a position on the captured image. 前記制御部は、前記撮像画像上における重畳位置又は光軸位置に対する向きの少なくとも一方に応じて前記較正用オブジェクトの形状の変化の変位量を変更する、請求項１又は２に記載の撮像装置。 Wherein the control unit changes the amount of displacement of the change in shape of the calibration object in accordance with at least one orientation relative to the superimposed position or optical axis position on the captured image, the imaging apparatus according to claim 1 or 2. 前記光学系は魚眼レンズである、請求項１から３のいずれか１項に記載の撮像装置。 The imaging device according to claim 1, wherein the optical system is a fisheye lens. 前記制御部は、前記撮像画像上における前記指標が有する線状部位を該線の長手方向に沿って延長可能である、請求項１から４のいずれか１項に記載の撮像装置。 The control unit can extend the linear portion having the indices on the captured image along the longitudinal direction of the該線, imaging apparatus according to any one of claims 1 to 4. 前記制御部は更に、前記撮像画像上に重畳した前記較正用オブジェクトが有する線状部位を該線の長手方向に沿って延長可能である、請求項５に記載の撮像装置。 The imaging apparatus according to claim 5 , wherein the control unit is further capable of extending a linear portion of the calibration object superimposed on the captured image along a longitudinal direction of the line. 前記較正用オブジェクトは基準点を含み、当該基準点を中心として回転可能である、請求項１から６のいずれか１項に記載の撮像装置。 The calibration object comprises a reference point, which is rotatable about the reference point, the image pickup apparatus according to any one of claims 1 to 6. 請求項１から７のいずれか１項に記載の撮像装置を設置した移動体。 A moving body installed imaging apparatus according to any one of claims 1 to 7.
JP2014131919A 2014-06-26 2014-06-26 IMAGING DEVICE AND MOBILE BODY WITH IMAGING DEVICE Active JP6234335B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014131919A JP6234335B2 (en) 2014-06-26 2014-06-26 IMAGING DEVICE AND MOBILE BODY WITH IMAGING DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014131919A JP6234335B2 (en) 2014-06-26 2014-06-26 IMAGING DEVICE AND MOBILE BODY WITH IMAGING DEVICE

Publications (2)

Publication Number Publication Date
JP2016010142A JP2016010142A (en) 2016-01-18
JP6234335B2 true JP6234335B2 (en) 2017-11-22

Family

ID=55227389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014131919A Active JP6234335B2 (en) 2014-06-26 2014-06-26 IMAGING DEVICE AND MOBILE BODY WITH IMAGING DEVICE

Country Status (1)

Country Link
JP (1) JP6234335B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7037413B2 (en) * 2018-03-28 2022-03-16 京セラ株式会社 Imaging device, moving object, and imaging method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3649428B2 (en) * 1999-01-18 2005-05-18 矢崎総業株式会社 Vehicle periphery monitoring device and parameter adjustment method for vehicle periphery monitoring device
JP6025365B2 (en) * 2012-04-04 2016-11-16 京セラ株式会社 Calibration processing apparatus, camera calibration apparatus, camera system, and camera calibration method

Also Published As

Publication number Publication date
JP2016010142A (en) 2016-01-18

Similar Documents

Publication Publication Date Title
JP5316805B2 (en) In-vehicle camera device image adjustment device and in-vehicle camera device
JP6012982B2 (en) Calibration processing apparatus, camera calibration apparatus, camera system, and camera calibration method
JP5491235B2 (en) Camera calibration device
JP4975592B2 (en) Imaging device
JP6025365B2 (en) Calibration processing apparatus, camera calibration apparatus, camera system, and camera calibration method
US8441541B2 (en) Control apparatus and control method therefor
CN108700408B (en) Three-dimensional shape data and texture information generation system, method and shooting control method
JP4758481B2 (en) VEHICLE IMAGE PROCESSING DEVICE AND VEHICLE IMAGE PROCESSING PROGRAM
JP6223685B2 (en) Image processing apparatus and image processing method
WO2015045329A1 (en) Vehicle periphery image display device, and camera adjustment method
JP2008269139A (en) Drive support system and vehicle
JP2009288152A (en) Calibration method of on-vehicle camera
JP2011066788A (en) Projection display device, and keystone correction method
JP2009241247A (en) Stereo-image type detection movement device
JP2015070328A (en) Imaging apparatus and control method for the same
JP2015022027A (en) Image pickup device and method for controlling the same
JP5959311B2 (en) Data deriving apparatus and data deriving method
WO2013038681A1 (en) Camera calibration device, camera, and camera calibration method
JP5173551B2 (en) Vehicle perimeter monitoring apparatus and camera mounting position / posture information setting correction method applied thereto
JP4682830B2 (en) In-vehicle image processing device
JP6234335B2 (en) IMAGING DEVICE AND MOBILE BODY WITH IMAGING DEVICE
JP2009123131A (en) Imaging apparatus
JP2013062692A (en) Calibration device and method for on-vehicle camera
JP5279453B2 (en) Image shake correction apparatus, imaging apparatus, and image shake correction method
WO2016157666A1 (en) Camera attitude estimating device, operation supporting device and camera attitude estimating method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171024

R150 Certificate of patent or registration of utility model

Ref document number: 6234335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150