JP6624383B2

JP6624383B2 - Calibration device and in-vehicle camera system

Info

Publication number: JP6624383B2
Application number: JP2016020053A
Authority: JP
Inventors: 崇桑原; 一広森下; 金谷　昌宣; 昌宣金谷
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-02-04
Filing date: 2016-02-04
Publication date: 2019-12-25
Anticipated expiration: 2036-02-04
Also published as: JP2017139654A

Description

本発明は、キャリブレーション装置及び車載カメラシステムに関する。 The present invention relates to a calibration device and a vehicle camera system.

近年、車輌に可視光カメラを設置し、バックミラーやサイドミラーに代えて、この可視光カメラで車外を撮影した画像をディスプレイに表示して運転を支援する電子ミラーが用いられるようになってきている。電子ミラーにおいては、一般に、カメラの撮影方向や焦点合わせ等のキャリブレーションが必要である。例えば、特許文献１には、撮影範囲に赤外光を遮蔽する視標を配置し、この視標を近赤外線カメラで撮影することによってキャリブレーションすることが記載されている。 In recent years, a visible light camera is installed in a vehicle, and instead of a rear-view mirror and a side mirror, an electronic mirror that displays an image of the outside of the vehicle with the visible light camera on a display and assists driving has been used. I have. In an electronic mirror, calibration such as a photographing direction of a camera and focusing is generally required. For example, Patent Literature 1 discloses that a target for shielding infrared light is arranged in a shooting range, and calibration is performed by shooting the target with a near-infrared camera.

特開２０１５−１８６０２６号公報JP-A-2015-186026

電子ミラーは、バックミラーやサイドミラーとして用いられることから、電子ミラーを構成するディスプレイは、一般に、比較的小さなディスプレイが用いられる。そして、このディスプレイには、可視光カメラで撮影した撮影領域のうち、運転者に必要な領域のみを切り出して表示する構成がとられる。 Since the electronic mirror is used as a rearview mirror or a side mirror, a relatively small display is generally used as a display constituting the electronic mirror. The display is configured to cut out and display only a region necessary for the driver from the photographing region photographed by the visible light camera.

しかしながら、この可視光カメラは、車輌内に設置されるため、走行時の振動を受けて、カメラを固定する固定部品が緩んだり、カメラの撮影方向を調整する調整機構の連結部分が緩んだりして、撮影方向にずれが生じる場合がある。又、かかる固定部品や連結部分が、経年劣化した場合には、カメラの撮影方向が少しずつ下方向にずれる場合がある。このように、カメラの撮影方向に僅か（例えば、０．５度程度）でもずれが生じた場合、電子ミラーは、上記のごとく車外の遠方（例えば、数１００ｍ後方）まで撮影して、比較的小さなディスプレイに表示させるものであるため、運転者が当該ディスプレイで視認し得る領域を大きく変化させることとなる。このようなカメラの撮影方向の微調整を運転者が手で行うことは、運転者にとって煩雑であり、困難である場合も多い。 However, since this visible light camera is installed in a vehicle, the fixed parts for fixing the camera are loosened due to the vibration during traveling, and the connecting part of the adjustment mechanism for adjusting the shooting direction of the camera is loosened. As a result, a shift may occur in the shooting direction. Further, when the fixed parts and the connecting parts deteriorate over time, the photographing direction of the camera may shift slightly downward. As described above, when the camera shooting direction is slightly deviated (for example, about 0.5 degrees), the electronic mirror takes a picture to the far side (for example, several hundred meters behind) outside the vehicle as described above, and relatively. Since the information is displayed on a small display, a region that the driver can visually recognize on the display is largely changed. It is complicated and often difficult for the driver to manually adjust the photographing direction of the camera by hand.

この点、特許文献１では、視標（ターゲット）を用いてカメラのキャリブレーションを行っているため、運転者が手で行う煩雑さを解消することができる。しかし、特許文献１は、近赤外線カメラを用いてキャリブレーションを行う必要があるため、電子ミラーに用いる場合、近赤外線カメラを装備しなければならず、装置の小型化やコスト面において問題となる。 In this regard, in Patent Literature 1, since the camera is calibrated using the optotype (target), it is possible to eliminate the complexity that the driver performs by hand. However, in Patent Document 1, since it is necessary to perform calibration using a near-infrared camera, when using it for an electronic mirror, a near-infrared camera must be provided, which is problematic in terms of miniaturization and cost of the apparatus. .

そこで、本発明は、電子ミラーにおける上記問題点を踏まえて、カメラの撮影方向のずれを補正し得る、より好適なキャリブレーション装置及び車載カメラシステムを提供することを目的とする。 Accordingly, it is an object of the present invention to provide a more suitable calibration device and in-vehicle camera system that can correct a shift in a shooting direction of a camera based on the above-described problems in an electronic mirror.

前述した課題を解決する主たる本発明は、視標と、車外を撮影する可視光カメラと、を装備する車輌の車載カメラシステムに用いられるキャリブレーション装置であって、前記可視光カメラが撮影した画像データを取得して、当該画像データに基づいて、前記可視光カメラの撮影範囲のうち、表示部に表示させる所定の領域の外側に設けられた前記視標の位置を検出する視標検出部と、前記視標の位置に基づいて、前記可視光カメラの撮影範囲のうち、表示部に表示させる領域を設定する制御部と、を備えるキャリブレーション装置である。 The main invention for solving the above-mentioned problems is a calibration device used in a vehicle-mounted camera system of a vehicle equipped with a target and a visible light camera for photographing the outside of the vehicle, and an image captured by the visible light camera. Acquiring data, based on the image data, a target detection unit that detects a position of the target provided outside a predetermined area to be displayed on a display unit in a shooting range of the visible light camera; A control unit configured to set an area to be displayed on a display unit in an imaging range of the visible light camera based on the position of the target.

本発明に係るキャリブレーション装置によれば、カメラの撮影方向にずれが生じた場合であっても、表示部に表示させる領域が運転者に適した領域となるように補正することができる。 ADVANTAGE OF THE INVENTION According to the calibration apparatus which concerns on this invention, it can correct so that the area | region displayed on a display part may become the area | region suitable for a driver | operator, even when the imaging | photography direction of a camera shifts.

第１の実施形態に係るカメラシステムを搭載する車輌の一例を示す図である。FIG. 1 is a diagram illustrating an example of a vehicle on which a camera system according to a first embodiment is mounted. 第１の実施形態に係るカメラシステムの構成の一例を機能ブロックとして示す図である。It is a figure showing an example of composition of a camera system concerning a 1st embodiment as a functional block. 第１の実施形態に係るカメラシステムのキャリブレーションについて説明するための図である。FIG. 2 is a diagram for describing calibration of the camera system according to the first embodiment. 第１の実施形態に係るカメラシステムの動作の一例をフローチャートにより表した図である。FIG. 5 is a flowchart illustrating an example of an operation of the camera system according to the first embodiment. 第１の実施形態における表示部に表示する領域の導出方法について説明するための図である。FIG. 5 is a diagram for describing a method for deriving an area to be displayed on a display unit according to the first embodiment. 第１の実施形態（変形例１）における視標の他の態様を示す図である。It is a figure showing other modes of an optotype in a 1st embodiment (the modification 1). 第１の実施形態（変形例２）における表示部に表示する領域の他の導出方法について説明するための図である。FIG. 14 is a diagram for describing another method for deriving an area displayed on the display unit according to the first embodiment (Modification 2). 可視光カメラが魚眼レンズを用いている場合に撮影される画像の一例を示す図である。FIG. 3 is a diagram illustrating an example of an image captured when a visible light camera uses a fisheye lens. 第２の実施形態に係るカメラシステムの構成の一例を機能ブロックとして示す図である。It is a figure showing an example of composition of a camera system concerning a 2nd embodiment as a functional block. 第２の実施形態に係るカメラシステムの動作の一例をフローチャートにより表した図である。It is a figure showing an example of operation of the camera system concerning a 2nd embodiment by a flow chart. 第２の実施形態に係るカメラシステムの画像特徴量検出部の動作を説明するための図である。It is a figure for explaining operation of an image feature quantity detection part of a camera system concerning a 2nd embodiment. 第２の実施形態（変形例）に係るカメラシステムの構成の一例を機能ブロックとして示す図である。It is a figure showing an example of composition of a camera system concerning a 2nd embodiment (modification) as a functional block. 第２の実施形態（変形例）に係るカメラシステムの動作の一例をフローチャートにより表した図である。FIG. 11 is a flowchart illustrating an example of an operation of the camera system according to the second embodiment (modification). 第３の実施形態に係るカメラシステムのパターン補助部の態様を示す図である。It is a figure showing the mode of the pattern auxiliary part of the camera system concerning a 3rd embodiment.

（第１の実施形態）
以下、図１〜図３を参照して、本実施形態に係るカメラシステムの構成について説明する。本実施形態では、カメラシステムが車輌のバックミラーとして用いられる態様を示す。 (1st Embodiment)
Hereinafter, the configuration of the camera system according to the present embodiment will be described with reference to FIGS. In the present embodiment, an aspect in which the camera system is used as a rearview mirror of a vehicle will be described.

図１は、本実施形態に係るカメラシステムを搭載する車輌の一例を示す図である。又、図２は、本実施形態に係るカメラシステムの構成の一例を機能ブロックとして示す図である。又、図３は、本実施形態に係るカメラシステムのキャリブレーション（以下、「補正」とも言う）について説明するための図である。 FIG. 1 is a diagram illustrating an example of a vehicle equipped with the camera system according to the present embodiment. FIG. 2 is a diagram illustrating an example of the configuration of the camera system according to the present embodiment as functional blocks. FIG. 3 is a diagram for describing calibration (hereinafter, also referred to as “correction”) of the camera system according to the present embodiment.

本実施形態に係るカメラシステムを搭載する車輌には、リアガラスＣ１と可視光カメラＣ２とディスプレイＣ３とが装備されている。 A vehicle equipped with the camera system according to the present embodiment is equipped with a rear glass C1, a visible light camera C2, and a display C3.

リアガラスＣ１は、車輌の後部の窓ガラスであり、水平方向に延在する直線状の電熱線Ｃ１１が設けられている。尚、電熱線Ｃ１１は、ガラスの曇り止め等を目的として、リアガラスＣ１上に貼り付けられる既存設備である。本実施形態に係るカメラシステムでは、キャリブレーションの際の視標として当該電熱線Ｃ１１を用いている（以下、「視標Ｃ１１」とも言う）。 The rear glass C1 is a window glass at the rear of the vehicle, and is provided with a linear heating wire C11 extending in the horizontal direction. The heating wire C11 is an existing facility that is attached on the rear glass C1 for the purpose of preventing fogging of the glass and the like. In the camera system according to the present embodiment, the heating wire C11 is used as an optotype at the time of calibration (hereinafter, also referred to as “optotype C11”).

可視光カメラＣ２は、車外の後方を撮影するためのカメラである。そして、可視光カメラＣ２で撮影された画像は、ディスプレイＣ３に表示される。可視光カメラＣ２は、車輌内のリアガラスＣ１近傍に、固定部材（図示せず）によって車輌に固定された状態で設置されている。そして、可視光カメラＣ２は、リアガラスＣ１越しに、電熱線Ｃ１１が撮像範囲に含まれるように車外の後方を撮影している。尚、可視光カメラＣ２としては、ＣＣＤカメラ等、可視光に対して感度を有する撮像素子を用いたカメラが用いられる。 The visible light camera C2 is a camera for photographing the outside outside the vehicle. Then, an image captured by the visible light camera C2 is displayed on the display C3. The visible light camera C2 is installed near the rear glass C1 in the vehicle while being fixed to the vehicle by a fixing member (not shown). The visible light camera C2 captures an image of the rear of the vehicle outside the rear glass C1 so that the heating wire C11 is included in the imaging range. In addition, as the visible light camera C2, a camera using an image sensor having sensitivity to visible light, such as a CCD camera, is used.

ディスプレイＣ３は、可視光カメラＣ２が撮影した画像を表示する表示部であって、例えば、液晶ディスプレイである。ディスプレイＣ３は、車輌内の前方の、運転者が画像を視認できる位置に設置されている。ここでは、ディスプレイＣ３は、車輌に装備されるバックミラーとして設置されている。そして、ディスプレイＣ３は、可視光カメラＣ２の撮影範囲のうち、運転者が車輌後方を確認するために必要な所定領域を表示する。 The display C3 is a display unit that displays an image captured by the visible light camera C2, and is, for example, a liquid crystal display. The display C3 is installed at a position in front of the vehicle where a driver can visually recognize an image. Here, the display C3 is installed as a rearview mirror mounted on the vehicle. Then, the display C3 displays a predetermined area necessary for the driver to confirm the rear of the vehicle, in the photographing range of the visible light camera C2.

次に、本実施形態に係るカメラシステムの機能について説明する。 Next, functions of the camera system according to the present embodiment will be described.

車輌内に設置された可視光カメラＣ２の撮影方向は、上記したとおり、固定部品の緩み等によって、ずれが生じる場合がある。図３Ａは、可視光カメラＣ２で撮影する撮影範囲Ｒ１と、表示部（ディスプレイＣ３）に表示する領域Ｒ２との関係の一例を示しており、図３Ｂは、図３Ａの状態から可視光カメラＣ２の撮影方向が下向きにずれた時の撮影範囲Ｒ１と、表示部に表示する領域Ｒ２ａ、Ｒ２ｂとの関係の一例を示している。図３Ｂでは、領域Ｒ２ａが補正前の表示領域を示し、領域Ｒ２ｂが補正後の表示領域を示している。 As described above, the shooting direction of the visible light camera C2 installed in the vehicle may be shifted due to looseness of the fixed component or the like. FIG. 3A shows an example of the relationship between a photographing range R1 photographed by the visible light camera C2 and a region R2 displayed on the display unit (display C3). FIG. 3B shows the visible light camera C2 from the state of FIG. 4 shows an example of the relationship between the photographing range R1 when the photographing direction is shifted downward and the regions R2a and R2b displayed on the display unit. In FIG. 3B, a region R2a shows a display region before correction, and a region R2b shows a display region after correction.

表示部に表示する領域Ｒ２（点線で囲む領域）は、可視光カメラＣ２が撮影する撮影範囲Ｒ１（実線で囲む領域）の一部の領域であり、運転者にとって視認する必要がある領域が切り出されたものとなっている（図３Ａ）。このとき、可視光カメラＣ２の撮影方向が下向きにずれた場合には、撮影範囲Ｒ１がずれるため、表示部３に表示する領域Ｒ２もずれることになる（図３ＢのＲ２ａ）。しかし、本実施形態に係るカメラシステムでは、後述する視標検出部４と制御部５の機能により、電熱線Ｃ１１を視標として可視光カメラＣ２の撮影範囲Ｒ１のずれを検知し、表示部３に表示する領域Ｒ２を補正することを可能としている（図３ＢのＲ２ｂ）。尚、電熱線Ｃ１１は、可視光カメラＣ２の撮影方向の初期位置が調整されることによって、当該可視光カメラＣ２が撮影する撮影範囲Ｒ１に含まれ、表示部に表示する領域Ｒ２の外側に位置するような状態となっている。 A region R2 (region surrounded by a dotted line) displayed on the display unit is a partial region of a photographing range R1 (region surrounded by a solid line) photographed by the visible light camera C2, and a region that needs to be visually recognized by the driver is cut out. (FIG. 3A). At this time, if the shooting direction of the visible light camera C2 shifts downward, the shooting range R1 shifts, so that the region R2 displayed on the display unit 3 also shifts (R2a in FIG. 3B). However, in the camera system according to the present embodiment, the shift of the shooting range R1 of the visible light camera C2 using the heating wire C11 as a target is detected by the functions of the target detection unit 4 and the control unit 5 described below, and the display unit 3 Can be corrected (R2b in FIG. 3B). The heating wire C11 is included in the photographing range R1 photographed by the visible light camera C2 by adjusting the initial position in the photographing direction of the visible light camera C2, and is positioned outside the region R2 displayed on the display unit. It is in such a state as to do.

図２に示すように、本実施形態に係るカメラシステムは、撮像部１、画像処理部２、表示部３、視標検出部４及び制御部５を備えている。尚、具体的処理の一例は、図４、図５を参照して後述する。 As shown in FIG. 2, the camera system according to the present embodiment includes an imaging unit 1, an image processing unit 2, a display unit 3, an optotype detection unit 4, and a control unit 5. An example of the specific processing will be described later with reference to FIGS.

撮像部１は、上記可視光カメラＣ２に相当する構成であり、シャッター機構等を制御することで、当該可視光カメラＣ２の撮影範囲の画像データＤ１を生成する。この画像データＤ１は、撮像素子から取得した画像信号をＡＤ変換して得られるものであり、画素ごとの色度情報及び輝度情報（例えば、ＲＧＢ夫々についての２５６階調の輝度値）を含んでいる。撮像部１が生成した画像データＤ１は、画像処理部２及び視標検出部４に入力される。尚、撮像部１が行う画像データＤ１を生成する処理は、可視光カメラにおける既存の処理と同様である。 The imaging unit 1 has a configuration corresponding to the above-described visible light camera C2, and generates image data D1 of a shooting range of the visible light camera C2 by controlling a shutter mechanism and the like. The image data D1 is obtained by AD-converting an image signal obtained from the image sensor, and includes chromaticity information and luminance information for each pixel (for example, luminance values of 256 gradations for each of RGB). I have. The image data D1 generated by the imaging unit 1 is input to the image processing unit 2 and the optotype detection unit 4. The process of generating the image data D1 performed by the imaging unit 1 is the same as the existing process in the visible light camera.

画像処理部２は、撮像部１が生成した画像データＤ１に対して、所定の画像処理を施して、表示部３に表示させる形式の画像データＤ２に変換する。このとき、画像処理部２は、制御部５から表示部３に表示させる領域Ｒ２を指定するデータＤ４（以下、「設定データＤ４」と言う）を取得して、当該設定データＤ４に基づいて、撮像部１が生成した画像データＤ１を補正する。尚、画像処理部２は、例えば、画像処理プロセッサによって構成されている。 The image processing unit 2 performs predetermined image processing on the image data D1 generated by the imaging unit 1 and converts the image data into image data D2 to be displayed on the display unit 3. At this time, the image processing unit 2 acquires data D4 (hereinafter, referred to as “setting data D4”) specifying the region R2 to be displayed on the display unit 3 from the control unit 5, and based on the setting data D4, The image data D1 generated by the imaging unit 1 is corrected. Note that the image processing unit 2 is configured by, for example, an image processing processor.

表示部３は、上記ディスプレイＣ３に相当する構成であり、画像処理部２から出力される画像データＤ２に基づいて、可視光カメラＣ２が撮影した画像を表示する。尚、表示部３の行う処理は、液晶ディスプレイ等における既存の処理と同様であり、画像処理部２から取得した画像データＤ２に基づいて、例えば、デコーダ処理等を行って、各フレームの画素ごとのＲＧＢ夫々について２５６階調の輝度値が導出されることになる。 The display unit 3 has a configuration corresponding to the display C3, and displays an image captured by the visible light camera C2 based on the image data D2 output from the image processing unit 2. The processing performed by the display unit 3 is the same as the existing processing in a liquid crystal display or the like. For example, based on the image data D2 acquired from the image processing unit 2, for example, a decoder process or the like is performed, and each pixel of each frame is The luminance value of 256 gradations is derived for each of the RGB.

視標検出部４は、撮像部１が生成した画像データＤ１に基づいて、可視光カメラＣ２の撮影範囲内に撮影される視標Ｃ１１の位置を検出する。より詳細には、視標検出部４は、画像データＤ１の色度情報又は輝度情報の少なくとも一方と、記憶部（図示せず）に予め記憶された視標Ｃ１１のパターンのデータを用いて、テンプレートマッチング法等のパターン認識方法によって、撮影範囲内における視標Ｃ１１のパターンを抽出する。ここでは、視標検出部４は、可視光カメラＣ２の撮影範囲内における視標Ｃ１１の位置を示すデータＤ３（以下、「視標位置データＤ３」と言う）を、抽出された視標Ｃ１１のパターンの座標データとして検出する。尚、視標検出部４は、視標Ｃ１１のパターンを抽出しやすくするため、コントラスト調整、空間周波数成分検出、エッジ検出を行ってもよい。 The optotype detection unit 4 detects the position of the optotype C11 imaged within the imaging range of the visible light camera C2 based on the image data D1 generated by the imaging unit 1. More specifically, the optotype detecting unit 4 uses at least one of the chromaticity information or the luminance information of the image data D1 and the pattern data of the optotype C11 stored in advance in a storage unit (not shown). The pattern of the optotype C11 within the shooting range is extracted by a pattern recognition method such as a template matching method. Here, the optotype detecting unit 4 converts data D3 (hereinafter, referred to as “optotype position data D3”) indicating the position of the optotype C11 within the imaging range of the visible light camera C2 into the extracted optotype C11. Detected as pattern coordinate data. Note that the target detection unit 4 may perform contrast adjustment, spatial frequency component detection, and edge detection in order to easily extract the pattern of the target C11.

ここで、視標検出部４が検出する視標Ｃ１１の位置とは、例えば、撮影範囲内に映る視標Ｃ１１の全領域の輪郭（エッジ部分）の座標であるが、基準位置からの可視光カメラＣ２の撮影方向のずれ量を算出するために必要な点数の座標であればよい。例えば、直線状の電熱線Ｃ１１であれば、少なくとも２地点の座標があれば、可視光カメラＣ２の撮影範囲の水平方向からの傾度、及び高さ方向へのずれ量を検出することができる。 Here, the position of the optotype C11 detected by the optotype detecting section 4 is, for example, the coordinates of the outline (edge portion) of the entire area of the optotype C11 reflected in the photographing range, but is visible light from the reference position. Any coordinates may be used as long as the coordinates are necessary for calculating the amount of displacement of the camera C2 in the shooting direction. For example, in the case of the linear heating wire C11, if there are at least two coordinates, it is possible to detect the inclination of the imaging range of the visible light camera C2 from the horizontal direction and the amount of displacement in the height direction.

制御部５は、視標位置データＤ３に基づいて、表示部３に表示させる領域Ｒ２を導出し、当該領域Ｒ２を指定する設定データＤ４を画像処理部２に出力する。制御部５は、例えば、視標検出部４から視標位置データＤ３を取得して、可視光カメラＣ２の撮影範囲のずれ量を導出して、これに基づいて、表示部３に表示させる領域を示す設定データＤ４を生成する（詳細は後述する）。つまり、制御部５は、視標Ｃ１１の位置を基準として、表示部３に表示する表示領域を補正する。尚、制御部５及び視標検出部４は、例えば、マイコン等のＣＰＵがプログラムを実行することで実現される。 The control unit 5 derives a region R2 to be displayed on the display unit 3 based on the target position data D3, and outputs setting data D4 specifying the region R2 to the image processing unit 2. For example, the control unit 5 obtains the target position data D3 from the target detection unit 4, derives the amount of deviation of the imaging range of the visible light camera C2, and displays the area to be displayed on the display unit 3 based on this. Is generated (details will be described later). That is, the control unit 5 corrects the display area displayed on the display unit 3 based on the position of the target C11. The control unit 5 and the optotype detection unit 4 are realized, for example, by a CPU such as a microcomputer executing a program.

ここでは、かかる視標検出部４と制御部５とでキャリブレーション装置を構成している。 Here, the target detection unit 4 and the control unit 5 constitute a calibration device.

＜カメラシステムの動作＞
以下、図４、図５を参照して、本実施形態に係るカメラシステムの動作の一例について説明する。 <Operation of camera system>
Hereinafter, an example of the operation of the camera system according to the present embodiment will be described with reference to FIGS.

図４は、本実施形態に係るカメラシステムの動作の一例をフローチャートにより表した図である。又、図５は、表示部３に表示する領域Ｒ２の導出方法について説明するための図である。図５中の太線で囲む領域Ｒ１、点線で囲む領域Ｒ２は、夫々、可視光カメラＣ２の撮影範囲、表示部３に表示する領域を表し、当該可視光カメラＣ２の撮影範囲Ｒ１を基準にＸＹ座標を定めている。ここでは、表示部３に表示する領域Ｒ２は、視標（電熱線）Ｃ１１の位置から、水平方向に対する傾き角（Ｘ方向に対するＹ方向の傾き角を表す。）と、高さ方向へのずれ（Ｙ方向のずれを表す。）を検出して定められるものとする。ここで、水平方向に対する傾き角の補正は、カメラの「ロール角」のずれに対応する補正に相当し、高さ方向の補正は、カメラの「ピッチ角」のずれに対応する補正に相当する。尚、図５中のφはロール角を表し、μは電熱線Ｃ１１に対する高さ方向（＋Ｙ方向）への基準距離を表す。 FIG. 4 is a flowchart illustrating an example of the operation of the camera system according to the present embodiment. FIG. 5 is a diagram for explaining a method of deriving the region R2 displayed on the display unit 3. A region R1 surrounded by a thick line and a region R2 surrounded by a dotted line in FIG. 5 respectively represent a photographing range of the visible light camera C2 and a region displayed on the display unit 3, and are XY based on the photographing range R1 of the visible light camera C2. The coordinates are determined. Here, the region R2 displayed on the display unit 3 is shifted from the position of the optotype (heating wire) C11 in the horizontal direction (indicating the tilt angle in the Y direction with respect to the X direction) and in the height direction. (Representing a shift in the Y direction). Here, the correction of the tilt angle with respect to the horizontal direction corresponds to the correction corresponding to the shift of the “roll angle” of the camera, and the correction in the height direction corresponds to the correction corresponding to the shift of the “pitch angle” of the camera. . In FIG. 5, φ represents a roll angle, and μ represents a reference distance in the height direction (+ Y direction) with respect to the heating wire C11.

まず、視標検出部４は、撮影範囲における視標Ｃ１１の位置を検出する処理を行う（Ｓ１）。このとき、視標検出部４は、例えば、画像データＤ１の色度情報、輝度情報を用いて、撮影範囲Ｒ１における視標Ｃ１１のパターンを抽出する。尚、ここで、視標検出部４が行うパターン抽出の方法は、公知のテンプレートマッチング法を用いるものとする。そして、視標検出部４は、当該視標Ｃ１１のパターンの撮影範囲Ｒ１における端部の座標Ａ点（ｘ０、ｙ０）、Ｂ点（ｘ１、ｙ１）を、視標Ｃ１１の位置を示す視標位置データＤ３として生成する。 First, the optotype detection unit 4 performs a process of detecting the position of the optotype C11 in the shooting range (S1). At this time, the optotype detection unit 4 extracts the pattern of the optotype C11 in the photographing range R1 using, for example, chromaticity information and luminance information of the image data D1. Here, the pattern extraction method performed by the optotype detection unit 4 uses a known template matching method. Then, the optotype detecting section 4 converts the coordinates A (x0, y0) and B (x1, y1) of the end of the pattern of the optotype C11 in the photographing range R1 into the optotype indicating the position of the optotype C11. Generated as position data D3.

次に、制御部５は、視標検出部４が生成した視標位置データＤ３に基づいて、視標Ｃ１１のＡ点（ｘ０、ｙ０）、Ｂ点（ｘ１、ｙ１）の位置から、式（１）を用いてロール角φ_ｂを導出する（Ｓ２）。
φ＝ａｒｃｔａｎ（（ｙ１−ｙ０）／（ｘ１−ｘ０）） …式（１）
そして、導出したロール角φ_ｂが、現在設定されているロール角φ_ａに対して閾値以上ずれている場合（Ｓ２：ＹＥＳ）、表示部３に表示する画像の画像回転角を、当該導出後の値φ_ｂに更新する（Ｓ３）。一方、導出したロール角φ_ｂが、現在設定されているロール角φ_ａに対して閾値以上ずれていない場合（Ｓ２：ＮＯ）、画像回転角の更新は行わない。 Next, based on the optotype position data D3 generated by the optotype detecting section 4, the control section 5 calculates an expression (A) from the positions of the points A (x0, y0) and B (x1, y1) of the optotype C11. deriving a roll angle phi _b with 1) (S2).
φ = arctan ((y1-y0) / (x1-x0)) Expression (1)
When the derived roll angle phi _b is offset threshold or more with respect to the roll angle phi _a currently set (S2: YES), the image rotation angle of the image displayed on the display unit 3, after the derivation updates the value φ _b (S3). On the other hand, the derived roll angle phi _b is, if you are not shifted threshold or more with respect to the roll angle phi _a currently set (S2: NO), the update of the image rotation angle is not performed.

続いて、制御部５は、視標位置データＤ３に基づいて、領域Ｒ２の中心点を表すＣ点（ｘ２、ｙ２）の座標を導出する（Ｓ４）。表示領域Ｒ２の中心点Ｃは、ここでは、可視光カメラＣ２の撮影範囲のＸ座標の中央線を表す式（２）と、直線状の電熱線（視標）Ｃ１１に対して高さ方向（＋Ｙ方向）へ距離μの間隔を有する基準線を表す式（３）との交点として定められる。
Ｘ＝（ｘ１−ｘ０）／２ …式（２）
Ｙ＝（（ｙ１−ｙ０）／（ｘ１−ｘ０））Ｘ＋ｙ０＋μ …式（３）
（但し、μは定数を表す）
このとき、導出した表示領域Ｒ２の中心点Ｃの高さ位置ｙ２_ｂが、現在設定されている高さ位置ｙ２_ａに対して閾値以上ずれている場合（Ｓ４：ＹＥＳ）、表示部３に表示する画像の表示領域Ｒ２の中心点Ｃの高さ位置ｙ２を、当該導出後の値ｙ２_ｂに更新する（Ｓ５）。一方、導出した高さ位置ｙ２_ｂが、現在設定されている高さ位置ｙ２_ａに対して閾値以上ずれていない場合（Ｓ４：ＮＯ）、表示領域Ｒ２の中心点Ｃ（ｘ２、ｙ２）の更新は行わない。 Subsequently, the control unit 5 derives coordinates of a point C (x2, y2) representing the center point of the region R2 based on the target position data D3 (S4). In this case, the center point C of the display area R2 is defined by the expression (2) representing the center line of the X coordinate of the imaging range of the visible light camera C2 and the height direction ( (+ Y direction) is defined as an intersection with Expression (3) representing a reference line having a distance μ in the distance.
X = (x1-x0) / 2 Expression (2)
Y = ((y1-y0) / (x1-x0)) X + y0 + μ Expression (3)
(However, μ represents a constant)
At this time, the height position y2 _b of the center point C of the derived display region R2, if the offset threshold than the height position y2 _a currently set (S4: YES), the display unit 3 the height position y2 of the center point C of the display area R2 of the image to be, is updated to a value y2 _b after the derivation (S5). On the other hand, when the derived height position y2 _b is not shifted from the currently set height position y2 _a by the threshold or more (S4: NO), the center point C (x2, y2) of the display area R2 is updated. Is not performed.

以上の工程によって、表示領域Ｒ２は、当該表示領域Ｒ２の中心点Ｃ（ｘ２、ｙ２）から所定の範囲で、かつ、ロール角φだけ回転させた領域として定められることになる。そして、制御部５は、画像処理部２に対して、導出した表示領域Ｒ２の座標データ及び画像回転角（ロール角φ）を示す設定データＤ４を出力する。画像処理部２は、当該設定データＤ４をレジスタに記憶し、画像データＤ１に対して、フィルタ処理、コントラスト調整、画像圧縮等の所定の画像処理を施すフローの中で、当該設定データＤ４に基づいて、表示部３に表示させる領域Ｒ２の画像データを抽出するとともに、画像回転角−φの回転処理を行った画像データＤ２を表示部３に送信する。そして、表示部３は、画像処理部２から取得した画像データＤ２に基づいて、撮影範囲Ｒ１のうちの領域Ｒ２を表示する（Ｓ６）。 Through the above steps, the display region R2 is determined as a region rotated by the roll angle φ within a predetermined range from the center point C (x2, y2) of the display region R2. Then, the control unit 5 outputs the derived coordinate data of the display area R2 and the setting data D4 indicating the image rotation angle (roll angle φ) to the image processing unit 2. The image processing unit 2 stores the setting data D4 in a register, and performs a predetermined image processing such as a filtering process, a contrast adjustment, and an image compression process on the image data D1 based on the setting data D4. Then, the image data of the region R2 to be displayed on the display unit 3 is extracted, and the image data D2 subjected to the rotation process of the image rotation angle −φ is transmitted to the display unit 3. Then, the display unit 3 displays a region R2 in the photographing range R1 based on the image data D2 acquired from the image processing unit 2 (S6).

尚、ここでは、表示部３に表示する画像の画像揺れを防止するため、現在の設定値に対するずれ量が閾値を超えた場合に、表示部３に表示する領域Ｒ２を設定するための設定データＤ４の更新を行う構成としたが、必ずしも閾値を設ける必要はない。つまり、常時、視標Ｃ１１の位置を検出し、その位置に追従するように表示領域Ｒ２を設定してもよいのは勿論である。 Here, in order to prevent the image displayed on the display unit 3 from shaking, the setting data for setting the region R2 to be displayed on the display unit 3 when the deviation from the current set value exceeds the threshold value. Although D4 is updated, it is not always necessary to set a threshold. That is, the position of the optotype C11 may always be detected and the display area R2 may be set so as to follow the position.

以上、本実施形態に係る車載カメラシステムによれば、可視光カメラＣ２の撮影方向にずれが生じた場合でも、表示部３に表示される画像にはずれが生じないように、正確、且つ、早期に補正することができる。そして、視標の位置を検出するための近赤外線カメラや、可視光カメラＣ２の撮影方向を変更するためのアクチュエータ等も不要であるため、システムを構成する装置の小型化及びコスト低減が可能となる。 As described above, according to the in-vehicle camera system according to the present embodiment, even if the imaging direction of the visible light camera C2 is shifted, the image displayed on the display unit 3 is accurately and early so as not to be shifted. Can be corrected. In addition, since a near-infrared camera for detecting the position of the target and an actuator for changing the shooting direction of the visible light camera C2 are not required, it is possible to reduce the size and cost of the devices constituting the system. Become.

特に、本実施形態に係る車載カメラシステムにおいては、車輌に既設されている電熱線Ｃ１１を視標として補正を行うことができるため、車輌に新たに視標を設置する必要もない。又、電熱線Ｃ１１は、直線状に設けられるため、可視光カメラＣ２で検出することが比較的容易であり、補正の精度も向上させることができる。加えて、電熱線Ｃ１１は、可視光カメラＣ２の撮影方向の初期位置が調整されることによって、当該可視光カメラＣ２が撮影する撮影範囲Ｒ１に含まれ、且つ、表示部に表示する領域Ｒ２の外側に位置するような状態にすることができるため、運転者の視認領域を阻害するおそれもない。 In particular, in the in-vehicle camera system according to the present embodiment, since the correction can be performed using the heating wire C11 already provided in the vehicle as a target, there is no need to newly install a target in the vehicle. In addition, since the heating wire C11 is provided in a straight line, it is relatively easy to detect the heating wire C11 with the visible light camera C2, and the accuracy of correction can be improved. In addition, the heating wire C11 is included in the photographing range R1 photographed by the visible light camera C2 by adjusting the initial position of the visible light camera C2 in the photographing direction, and is included in the region R2 displayed on the display unit. Since it can be set to a state of being located on the outside, there is no possibility of obstructing the driver's visual recognition area.

（第１の実施形態の変形例１）
上記実施形態では、可視光カメラＣ２の撮影方向の高さ方向（Ｙ方向）へのずれと水平方向に対する傾き角（φ）のみを補正する態様を示したが、これらに併せて、可視光カメラの撮影方向の横方向（Ｘ方向）のずれも補正する構成としてもよい。尚、可視光カメラＣ２の撮影方向の横方向の補正は、可視光カメラＣ２の撮影方向の「ヨー角」のずれに対応する補正に相当する。 (Modification 1 of the first embodiment)
In the above-described embodiment, the mode in which only the shift of the imaging direction of the visible light camera C2 in the height direction (Y direction) and the inclination angle (φ) with respect to the horizontal direction are corrected is described. A configuration may also be employed in which a shift in the horizontal direction (X direction) of the shooting direction is corrected. Note that the correction in the horizontal direction of the photographing direction of the visible light camera C2 corresponds to the correction corresponding to the deviation of the “yaw angle” in the photographing direction of the visible light camera C2.

図６は、電熱線（視標）Ｃ１１の他の態様を示す図である。図６では、電熱線（視標）Ｃ１１の一部が、水平方向から直角方向に折れ曲がるように配設されている。このように、視標Ｃ１１の一部に、直線方向に対して交叉する部分が存在する場合、視標Ｃ１１の横方向のずれも検出することができる。この場合、例えば、中心点Ｃ（ｘ２、ｙ２）の高さ位置ｙ２の導出方法と同様に、視標Ｃ１１の当該交叉する部分を基準として、横方向の位置ｘ２を導出して、表示領域の中心点Ｃを設定すればよい。 FIG. 6 is a diagram illustrating another aspect of the heating wire (target) C11. In FIG. 6, a part of the heating wire (target) C11 is disposed so as to be bent in a direction perpendicular to the horizontal direction. As described above, when a part of the optotype C11 intersects with the linear direction, the lateral displacement of the optotype C11 can also be detected. In this case, for example, similarly to the method of deriving the height position y2 of the center point C (x2, y2), the position x2 in the horizontal direction is derived based on the intersecting portion of the optotype C11, and The center point C may be set.

但し、可視光カメラのヨー角のずれは、ピッチ角やロール角のずれに比して生じにくく、又、ヨー角にずれが生じた場合も、バックミラー用に用いられるディスプレイ等は、横方向の表示領域も大きいため、運転者にとって運転に支障にならないことが多い。そのため、ヨー角の補正は、可視光カメラの使用態様に応じて行えばよい。 However, the displacement of the yaw angle of the visible light camera is less likely to occur than the displacement of the pitch angle and the roll angle, and even if the displacement of the yaw angle occurs, the display or the like used for the rear-view mirror is in the horizontal direction. Is also large, so that the driver often does not hinder driving. Therefore, the correction of the yaw angle may be performed according to the usage mode of the visible light camera.

（第１の実施形態の変形例２）
上記実施形態では、表示部３に表示する領域Ｒ２を導出する際、電熱線（視標）Ｃ１１に対して高さ方向（＋Ｙ方向）へ距離μの間隔を有する点を、表示領域Ｒ２の中心点Ｃ（ｘ２、ｙ２）として導出する構成としたが、他の導出方法であってもよい。 (Modification 2 of the first embodiment)
In the above embodiment, when deriving the region R2 to be displayed on the display unit 3, a point having a distance μ in the height direction (+ Y direction) with respect to the heating wire (target) C11 is set at the center of the display region R2. Although the point is derived as the point C (x2, y2), another deriving method may be used.

図７は、表示部３に表示する領域Ｒ２の他の導出方法について説明するための図である。図７では、可視光カメラＣ２の撮影範囲Ｒ１に、平行に配設された２本の電熱線（視標）Ｃ１１ａ、Ｃ１１ｂが撮影される状態を示している。この場合、表示領域Ｒ２の中心点Ｃは、電熱線（視標）Ｃ１１ａ上のＸ座標の中央線との交点Ｄ点と、電熱線（視標）Ｃ１１ｂ上のＸ座標の中央線との交点Ｅ点とを結ぶ線分の内分比が（μ１：μ２）となる点として導出する。そうすることで、電熱線（視標）Ｃ１１ａ、Ｃ１１ｂの一方の検出位置に、検出誤差が含まれた場合でも、その検出誤差による表示領域Ｒ２の設定値のずれを軽減することができる。 FIG. 7 is a diagram for describing another method of deriving the region R2 displayed on the display unit 3. FIG. 7 shows a state in which two heating wires (targets) C11a and C11b arranged in parallel are captured in a capturing range R1 of the visible light camera C2. In this case, the center point C of the display area R2 is the intersection point of the intersection D with the center line of the X coordinate on the heating wire (target) C11a and the center of the X coordinate on the heating wire (target) C11b. It is derived as a point at which the internal division ratio of the line connecting the point E is (μ1: μ2). By doing so, even when a detection error is included in one of the detection positions of the heating wires (targets) C11a and C11b, it is possible to reduce the deviation of the set value of the display region R2 due to the detection error.

又、表示領域Ｒ２は、中心点Ｃを導出する方法に代えて、電熱線（視標）Ｃ１１上の各点から所定範囲にある領域として導出してもよい。又、ロール角φの導出方法についても、電熱線（視標）Ｃ１１の座標データの各点を結んだ回帰直線によって導出する等、他の方法を用いてもよい。 The display region R2 may be derived as a region within a predetermined range from each point on the heating wire (target) C11 instead of the method of deriving the center point C. Also, as the method for deriving the roll angle φ, other methods such as deriving a regression line connecting each point of the coordinate data of the heating wire (target) C11 may be used.

但し、可視光カメラＣ２が魚眼レンズを用いている場合には、上記実施形態のごとく、可視光カメラＣ２の撮影範囲Ｒ１の端部の位置（Ａ点、Ｂ点）を基準として、表示部３に表示する領域Ｒ２を設定する方法が好適である。可視光カメラＣ２が魚眼レンズを用いている場合、電熱線（視標）Ｃ１１が歪んで撮影されることになるため、電熱線（視標）Ｃ１１の位置の検出精度が悪化するためである。尚、図８は、可視光カメラＣ２が魚眼レンズを用いている場合に撮影される画像の一例を示す図である。図８中の視標Ｃ１１’は、説明の便宜として、電熱線（視標）Ｃ１１について検出された可視光カメラＣ２の撮影範囲Ｒ１の端部の位置（Ａ点、Ｂ点）を結んだ線分である。 However, when the visible light camera C2 uses a fish-eye lens, as in the above embodiment, the position of the end (point A, point B) of the shooting range R1 of the visible light camera C2 is displayed on the display unit 3 as a reference. A method of setting the region R2 to be displayed is preferable. This is because when the visible light camera C2 uses a fisheye lens, the heating wire (the target) C11 is distorted when photographing, and the detection accuracy of the position of the heating wire (the target) C11 deteriorates. FIG. 8 is a diagram illustrating an example of an image captured when the visible light camera C2 uses a fisheye lens. For convenience of explanation, the target C11 ′ in FIG. 8 is a line connecting the positions (points A and B) of the end of the shooting range R1 of the visible light camera C2 detected with respect to the heating wire (target) C11. Minutes.

（第１の実施形態の変形例３）
上記実施形態では、表示部３に表示する領域Ｒ２は、視標Ｃ１１との位置関係で、予め設定されているものとしたが、当該領域Ｒ２は、運転者がユーザインタフェイス（図示せず）を用いて設定変更できるようにしてもよい。 (Modification 3 of the first embodiment)
In the above-described embodiment, the region R2 displayed on the display unit 3 is set in advance based on the positional relationship with the optotype C11. However, the region R2 has a user interface (not shown). The setting may be changed by using.

この場合、例えば、運転者がユーザインタフェイスを介して、表示部３に表示する領域Ｒ２の、視標Ｃ１１に対する相対的な位置関係（例えば、図５に示したμの値）を設定変更できるようにすればよい。そうすることで、撮影方向がずれた場合でも、表示部３には、当該運転者が設定した領域が表示されることになる。 In this case, for example, the driver can set and change the relative positional relationship (for example, the value of μ shown in FIG. 5) of the region R2 displayed on the display unit 3 with respect to the optotype C11 via the user interface. What should I do? By doing so, the area set by the driver is displayed on the display unit 3 even when the shooting direction is shifted.

（第２の実施形態）
次に、図９〜図１１を参照して、第２の実施形態に係るカメラシステムについて説明する。本実施形態に係るカメラシステムは、視標Ｃ１１の位置を検出するに適した撮影環境か否かを判定する点で、第１の実施形態と相違する。尚、第１の実施形態と共通する構成については、説明を省略する（以下、他の実施形態についても同様）。 (Second embodiment)
Next, a camera system according to a second embodiment will be described with reference to FIGS. The camera system according to the present embodiment is different from the first embodiment in that it determines whether or not the shooting environment is suitable for detecting the position of the target C11. The description of the configuration common to the first embodiment will be omitted (the same applies to other embodiments below).

図９は、本実施形態に係るカメラシステムの構成の一例を機能ブロックとして示す図である。又、図１０は、本実施形態に係るカメラシステムの動作の一例をフローチャートにより表した図である。又、図１１は、本実施形態に係るカメラシステムの画像特徴量検出部６の動作の一例を説明するための図である。 FIG. 9 is a diagram illustrating an example of a configuration of the camera system according to the present embodiment as functional blocks. FIG. 10 is a flowchart illustrating an example of the operation of the camera system according to the present embodiment. FIG. 11 is a diagram for explaining an example of the operation of the image feature detection unit 6 of the camera system according to the present embodiment.

本実施形態に係るカメラシステムは、第１の実施形態に係るカメラシステムと同様に、撮像部１、画像処理部２、表示部３、視標検出部４、制御部５を備えるとともに、画像特徴量検出部６と判定部７を更に備えている。そして、画像特徴量検出部６が検出した撮影画像の画像特徴量に基づいて、判定部７（第１の判定部）が撮影環境の適否を判定する構成となっている。 The camera system according to the present embodiment includes an imaging unit 1, an image processing unit 2, a display unit 3, an optotype detection unit 4, and a control unit 5 as in the camera system according to the first embodiment. It further includes an amount detection unit 6 and a determination unit 7. Then, based on the image feature amount of the captured image detected by the image feature amount detection unit 6, the determination unit 7 (first determination unit) determines whether or not the shooting environment is appropriate.

画像特徴量検出部６は、予め検出対象として設定された領域Ｒ３における画像データＤ１から画像特徴量を検出する。より詳細には、画像特徴量検出部６は、視標Ｃ１１の基準位置（視標Ｃ１１の位置が検出されると予測される位置を意味する）の周辺の領域Ｒ３を、予め検出対象として設定し、当該領域Ｒ３の画像特徴量を検出する。当該領域Ｒ３は、図１１に示すように、カメラが撮影する撮影範囲Ｒ１のうち、視標Ｃ１１が含まれ、且つ、道路の車線部分を切り出した領域（例えば、車線に沿った台形形状の領域）である。道路の車線の領域では、視標Ｃ１１に対する背景色の変化が少なく、加えて、その背景色は一様となる。つまり、ここでは、当該領域Ｒ３の画像特徴量を基準として、視標Ｃ１１の位置を検出する撮影環境の適否を判定することによって、視標Ｃ１１の位置をより正確に検出できるようにしている。そして、画像特徴量検出部６は、当該画像特徴量に関するデータＤ５を、判定部７に出力する。尚、画像特徴量とは、平均輝度、累積輝度、最大輝度、最小輝度、ヒストグラム、色度、色差等の情報であり、ここでは、平均輝度を用いている。 The image feature detection unit 6 detects an image feature from the image data D1 in the region R3 set as a detection target in advance. More specifically, the image feature amount detection unit 6 sets a region R3 around the reference position of the optotype C11 (meaning a position where the position of the optotype C11 is predicted to be detected) as a detection target in advance. Then, the image feature amount of the region R3 is detected. As shown in FIG. 11, the region R3 includes a region where the target C11 is included in the photographing range R1 photographed by the camera and a lane portion of the road is cut out (for example, a trapezoidal region along the lane). ). In the area of the lane of the road, the background color changes little with respect to the target C11, and the background color becomes uniform. That is, here, the position of the optotype C11 can be detected more accurately by determining whether or not the imaging environment for detecting the position of the optotype C11 is appropriate based on the image feature amount of the region R3. Then, the image feature detection unit 6 outputs data D5 relating to the image feature to the determination unit 7. Note that the image feature amount is information such as average luminance, cumulative luminance, maximum luminance, minimum luminance, histogram, chromaticity, and color difference. Here, the average luminance is used.

判定部７は、予め検出対象として設定された領域における画像特徴量から、撮影環境の適否を判定する。尚、ここでは、画像特徴量検出部６及び判定部７は、視標検出部４、制御部５と同様に、マイコン等のＣＰＵがプログラムを実行することで実現されるものとする。 The determination unit 7 determines whether or not the shooting environment is appropriate based on the image feature amount in an area set as a detection target in advance. Here, the image feature amount detection unit 6 and the determination unit 7 are realized by a CPU such as a microcomputer executing a program, similarly to the optotype detection unit 4 and the control unit 5.

判定部７は、例えば、図１０に示すように動作する。まず、判定部７は、画像特徴量検出部６から取得した設定領域Ｒ３の画像特徴量を示すデータＤ５に基づいて、設定領域Ｒ３の平均輝度が所定の閾値以上か否かを判定する（Ｓ１１）。そして、設定領域Ｒ３の平均輝度が当該閾値以上の場合（Ｓ１１：ＹＥＳ）、判定部７は、画像特徴量検出部６から取得した画像データＤ１を視標検出部４に対して出力し、視標検出部４に視標Ｃ１１の位置の検出動作を開始させる（Ｓ１２）。そして、視標検出部４が視標Ｃ１１の位置を検出した後は、第１実施形態で説明した（Ｓ２）〜（Ｓ６）の工程と同様の工程を行う。つまり、制御部５が、視標検出部４に検出された撮影範囲Ｒ１内における視標Ｃ１１の位置に基づいて、表示部３に表示させる領域Ｒ２を算出し、その後、画像処理部２が、制御部５に定められた表示領域Ｒ２を表示部３に表示させることとなる（Ｓ１３）。一方、設定領域Ｒ３の平均輝度が閾値未満の場合（Ｓ１１：ＮＯ）、視標検出部４に視標Ｃ１１の検出動作を開始させず、当該閾値以上の状態が検出されるまで待ち受ける。 The determination unit 7 operates, for example, as shown in FIG. First, the determination unit 7 determines whether the average luminance of the setting region R3 is equal to or more than a predetermined threshold based on the data D5 indicating the image feature amount of the setting region R3 acquired from the image feature amount detecting unit 6 (S11). ). When the average luminance of the setting region R3 is equal to or larger than the threshold (S11: YES), the determination unit 7 outputs the image data D1 acquired from the image feature amount detection unit 6 to the optotype detection unit 4, and outputs the image data D1. The target detection unit 4 starts the operation of detecting the position of the target C11 (S12). Then, after the target detection unit 4 detects the position of the target C11, the same steps as the steps (S2) to (S6) described in the first embodiment are performed. That is, the control unit 5 calculates the region R2 to be displayed on the display unit 3 based on the position of the optotype C11 in the photographing range R1 detected by the optotype detection unit 4, and thereafter, the image processing unit 2 The display area R2 determined by the control unit 5 is displayed on the display unit 3 (S13). On the other hand, when the average luminance of the setting region R3 is less than the threshold value (S11: NO), the optotype detecting unit 4 does not start the operation of detecting the optotype C11 and waits until a state of the threshold value or more is detected.

つまり、ここでは、判定部７は、電熱線（視標）Ｃ１１と背景とのコントラストを判定しており、電熱線（視標）Ｃ１１の周辺領域が一定以上の輝度である場合には、電熱線（視標）Ｃ１１（撮影画像内で輝度が小さい領域として識別される）の位置をより正確に検出することが可能であるため、撮影環境として適していると言える。そして、表示部３に表示する領域Ｒ２は、このように正確に検出された視標Ｃ１１の位置を基準とするため、同様に、正確に設定することが可能となる。 That is, here, the determination unit 7 determines the contrast between the heating wire (the target) C11 and the background. Since it is possible to more accurately detect the position of the heat ray (target) C11 (identified as a region having low luminance in the captured image), it can be said that the position is suitable as a capturing environment. Then, the region R2 displayed on the display unit 3 can be accurately set in the same manner because the position of the target C11 detected as described above is used as a reference.

以上、本実施形態に係る車載カメラシステムによれば、表示部３に表示する領域Ｒ２は、撮影環境が適していると判定されたときに検出される視標Ｃ１１の位置に基づいて設定されるため、より精度の高い補正を行うことができる。又、撮影環境が適していると判定されたときだけ、視標検出部４と制御部５を動作させることになるため、視標検出部４、制御部５を動作させる頻度を減らすこともでき、消費電力の低減にもつながる。 As described above, according to the vehicle-mounted camera system according to the present embodiment, the region R2 displayed on the display unit 3 is set based on the position of the target C11 detected when it is determined that the shooting environment is appropriate. Therefore, more accurate correction can be performed. Further, the optotype detection unit 4 and the control unit 5 are operated only when it is determined that the shooting environment is appropriate, so that the frequency of operating the optotype detection unit 4 and the control unit 5 can be reduced. This also leads to a reduction in power consumption.

（第２の実施形態の変形例）
上記実施形態では、設定領域Ｒ３の画像特徴量に基づいて、撮影環境の適否を判定する構成としたが、更に、センサ等を用いて周辺環境の情報も考慮して、撮影環境の適否を判定する構成としてもよい。 (Modification of the second embodiment)
In the above-described embodiment, the suitability of the shooting environment is determined based on the image feature amount of the setting region R3. However, the suitability of the shooting environment is further determined using a sensor or the like in consideration of information on the surrounding environment. It is good also as a structure which performs.

図１２は、本実施形態の変形例におけるカメラシステムの構成の一例を機能ブロックとして示す図である。図１２では、画像特徴量検出部６に加えて、周辺環境検出部８と車輌状態検出部９とを更に備える構成となっている。図１３は、図１２に示すカメラシステムの動作の一例をフローチャートにより表した図である。 FIG. 12 is a diagram illustrating an example of a configuration of a camera system according to a modification of the present embodiment as functional blocks. In FIG. 12, in addition to the image feature amount detection unit 6, the configuration further includes a surrounding environment detection unit 8 and a vehicle state detection unit 9. FIG. 13 is a flowchart showing an example of the operation of the camera system shown in FIG.

周辺環境検出部８は、センサを用いて撮影環境を検出するものであり、例えば、可視光カメラＣ２の撮影方向における接近物を検出する近接センサや、可視光カメラＣ２の撮影方向の照度を検出する照度センサが用いられる。 The surrounding environment detection unit 8 detects a shooting environment using a sensor. For example, a proximity sensor that detects an approaching object in the shooting direction of the visible light camera C2 or an illuminance in the shooting direction of the visible light camera C2 is detected. An illuminance sensor is used.

車輌状態検出部９は、車輌を制御する制御装置から車輌状態を示す信号を受信する装置であり、例えば、車輌ＥＣＵ（Engine Control Unit）から車輌に設けられたウインカーの稼働状態や、車輌に設けられた操舵角の状態を示す信号を受信する。 The vehicle state detection unit 9 is a device that receives a signal indicating the vehicle state from a control device that controls the vehicle. For example, the operation state of a turn signal provided on the vehicle from a vehicle ECU (Engine Control Unit) or the vehicle state detection unit 9 is provided on the vehicle. A signal indicating the state of the steering angle is received.

判定部７は、画像特徴量検出部６、周辺環境検出部８、車輌状態検出部９の夫々から、画像特徴量を示すデータＤ５、周辺環境を示すデータＤ６、車輌状態を示すデータＤ７を取得して、視標Ｃ１１の位置を検出するに適した撮影環境か否かを判定する。尚、当該判定部７の構成のうち、画像特徴量を示すデータＤ５に基づいて撮影環境の適否を判定する構成が第１の判定部、周辺環境を示すデータＤ６に基づいて撮影環境の適否を判定する構成が第２の判定部、車輌状態を示すデータＤ７に基づいて撮影環境の適否を判定する構成が第３の判定部に相当する。 The determination unit 7 acquires data D5 indicating the image feature amount, data D6 indicating the surrounding environment, and data D7 indicating the vehicle state from each of the image feature amount detection unit 6, the surrounding environment detection unit 8, and the vehicle state detection unit 9. Then, it is determined whether or not the shooting environment is suitable for detecting the position of the target C11. Among the configurations of the determination unit 7, the configuration that determines the suitability of the shooting environment based on the data D5 indicating the image feature amount is the first determination unit, and the suitability of the shooting environment is determined based on the data D6 indicating the surrounding environment. The configuration for the determination corresponds to a second determination unit, and the configuration for determining whether the shooting environment is appropriate based on the data D7 indicating the vehicle state corresponds to a third determination unit.

判定部７は、例えば、図１３に示すように動作する。まず、判定部７は、設定領域Ｒ３の平均輝度が所定の閾値以上であるか否かを判定する（Ｓ２１）。そして、設定領域Ｒ３の平均輝度が所定の閾値以上である場合（Ｓ２１：ＹＥＳ）、近接センサの検出する検出信号に基づいて、車輌の近接を判定する（Ｓ２２）。続いて、車輌の近接が検出されない場合（Ｓ２２：ＹＥＳ）、車輌から受信する車輌状態を示す信号に基づいて、車輌のウインカーが作動していないかを判定する（Ｓ２３）。更に、ウインカーが稼働していない場合（Ｓ２３：ＹＥＳ）、車輌から受信する車輌状態を示す信号に基づいて、当該車輌の操舵角が閾値以下か否かを判定する（Ｓ２４）。そして、当該車輌の操舵角が閾値以下であると判定された場合（Ｓ２４：ＹＥＳ）、上記実施形態と同様に、視標検出部４に視標Ｃ１１の検出動作を開始させる（Ｓ２５）。そして、第１実施形態で説明した（Ｓ２）〜（Ｓ６）の工程と同様に、制御部５は、視標検出部４に検出された撮影範囲内における視標Ｃ１１の位置に基づいて、表示部３に表示させる領域を算出し、その後、画像処理部２は、制御部５に定められた表示領域を表示部３に表示させる（Ｓ２６）。 The determination unit 7 operates, for example, as shown in FIG. First, the determination unit 7 determines whether the average luminance of the setting region R3 is equal to or more than a predetermined threshold (S21). Then, when the average luminance of the setting region R3 is equal to or more than the predetermined threshold (S21: YES), the approach of the vehicle is determined based on the detection signal detected by the proximity sensor (S22). Subsequently, when the proximity of the vehicle is not detected (S22: YES), it is determined whether the winker of the vehicle is operating based on the signal indicating the vehicle state received from the vehicle (S23). Further, when the turn signal is not operating (S23: YES), it is determined whether or not the steering angle of the vehicle is equal to or smaller than a threshold based on a signal indicating the vehicle state received from the vehicle (S24). Then, when it is determined that the steering angle of the vehicle is equal to or smaller than the threshold (S24: YES), similarly to the above-described embodiment, the optotype detecting unit 4 starts the operation of detecting the optotype C11 (S25). Then, similarly to the steps (S2) to (S6) described in the first embodiment, the control unit 5 displays based on the position of the optotype C11 in the photographing range detected by the optotype detection unit 4. The area to be displayed on the section 3 is calculated, and then the image processing section 2 causes the display section 3 to display the display area determined by the control section 5 (S26).

一方、（Ｓ２１）〜（Ｓ２４）の各工程のいずれかにおいて、判定部７にＮＯと判定された場合は、撮影環境として適さないとして、視標検出部４は、視標Ｃ１１の検出動作を開始せずに、判定部７からの検出動作開始信号を待ち受ける。 On the other hand, in any of the steps (S21) to (S24), if the determination unit 7 determines NO, the optotype detection unit 4 determines that the imaging environment is not suitable and performs the detection operation of the optotype C11. Without starting the operation, it waits for a detection operation start signal from the determination unit 7.

このように、画像特徴量検出部６に加えて、周辺環境検出部８や車輌状態検出部９を備える構成とすることによって、より高い精度で視標Ｃ１１の位置を検出することが可能となる。又、領域Ｒ３（視標Ｃ１１の基準位置周辺の領域）の、撮影画像に変化が少ないタイミングを予測することが可能となる。これにより、特に、視標検出部４が視標Ｃ１１の位置を検出するときに、撮影画像の輝度や色度の時間的変化を検出したり、一定時間の中での輝度や色度の平均値を検出したりする場合に、より高い精度で視標Ｃ１１の位置を検出することが可能となる。 In this way, by providing the configuration including the surrounding environment detecting unit 8 and the vehicle state detecting unit 9 in addition to the image feature amount detecting unit 6, it is possible to detect the position of the target C11 with higher accuracy. . Further, it is possible to predict the timing in the region R3 (the region around the reference position of the optotype C11) where the captured image has little change. Thereby, particularly when the optotype detecting section 4 detects the position of the optotype C11, it detects a temporal change in the luminance or chromaticity of the captured image or averages the luminance or chromaticity in a certain time. When detecting a value, the position of the optotype C11 can be detected with higher accuracy.

尚、上記実施形態では、撮影環境が視標Ｃ１１の位置を検出するに適さないと判定された場合、視標検出部４は検出動作を行わない構成としたが、視標検出部４は、常時、検出動作を行いつつ、制御部５又は画像処理部２が判定部７の判定結果に応じて、視標検出部４が生成した視標位置データＤ３を採用するか否か決定する構成としてもよい。又、周辺環境検出部８や車輌状態検出部９の構成としては、上記したセンサ以外にも、道路の傾斜を検出するセンサ等も用いてもよい。そして、走行中の道路に一定以上の傾斜がある場合には、視標検出動作を行わない構成とすることで、検出精度の低い状態で視標Ｃ１１の位置を検出することを回避できる。 In the above embodiment, when it is determined that the shooting environment is not suitable for detecting the position of the target C11, the target detection unit 4 does not perform the detection operation. A configuration in which the control unit 5 or the image processing unit 2 determines whether or not to use the target position data D3 generated by the target detection unit 4 according to the determination result of the determination unit 7 while always performing the detection operation. Is also good. Further, as the configuration of the surrounding environment detection unit 8 and the vehicle state detection unit 9, a sensor for detecting the inclination of the road may be used in addition to the above-described sensors. In addition, when the road on which the vehicle is traveling has a certain degree of inclination, the target detection operation is not performed, so that it is possible to avoid detecting the position of the target C11 with low detection accuracy.

（第３の実施形態）
次に、図１４を参照して、第３の実施形態に係るカメラシステムについて説明する。本実施形態に係るカメラシステムは、視標として電熱線Ｃ１１に加え、パターン補助部Ｃ１２を設ける点で、第１の実施形態と相違する。 (Third embodiment)
Next, a camera system according to a third embodiment will be described with reference to FIG. The camera system according to the present embodiment is different from the first embodiment in that a pattern auxiliary unit C12 is provided in addition to the heating wire C11 as a target.

図１４（Ａ）乃至（Ｅ）は、夫々、パターン補助部Ｃ１２のパターン態様の一例を示す図である。図１４（Ａ）乃至（Ｅ）では、電熱線Ｃ１１と接するように又は電熱線Ｃ１１と近接するように、車輌のリアガラスＣ１に設けられる。尚、図１４（Ａ）乃至（Ｅ）の外縁Ｒ１は、可視光カメラＣ２の撮影範囲を表す。 FIGS. 14A to 14E are diagrams each showing an example of a pattern mode of the pattern auxiliary section C12. In FIGS. 14A to 14E, it is provided on the rear glass C1 of the vehicle so as to be in contact with or close to the heating wire C11. Note that an outer edge R1 in FIGS. 14A to 14E represents a shooting range of the visible light camera C2.

パターン補助部Ｃ１２は、撮影方向のずれをより高い精度で検出できるように設けられ、撮影画像における背景と視標Ｃ１１のコントラストを高めたり、視標Ｃ１１とともに撮影方向のずれを検出するための基準となる働きをする。パターン補助部Ｃ１２は、例えば、車輌のリアガラスＣ１上に所定のパターンを有するテープを貼付したり、塗布物を塗布して当該所定のパターンを形成することによって構成される。尚、パターン補助部Ｃ１２は、撮影画像における背景とのコントラストを高めるため、蛍光色を用いて形成するのが望ましい。 The pattern auxiliary unit C12 is provided so as to be able to detect a shift in the shooting direction with higher accuracy, and enhances the contrast between the background and the optotype C11 in the picked-up image or detects a shift in the shooting direction together with the optotype C11. Works. The pattern auxiliary portion C12 is configured by, for example, attaching a tape having a predetermined pattern on the rear glass C1 of the vehicle, or applying an application material to form the predetermined pattern. It is desirable that the pattern auxiliary portion C12 be formed using a fluorescent color in order to increase the contrast with the background in the captured image.

ここで、図１４（Ａ）では、パターン補助部Ｃ１２は、電熱線Ｃ１１ａ、Ｃ１１ｂ上に重なって、電熱線Ｃ１１ａ、Ｃ１１ｂの線幅を太線化するように設けられている。この態様は、撮影画像における背景と視標Ｃ１１のコントラストが小さい場合であっても、電熱線Ｃ１１ａ、Ｃ１１ｂの位置を検出することを可能とする。 Here, in FIG. 14A, the pattern auxiliary portion C12 is provided so as to overlap with the heating wires C11a and C11b and to make the line width of the heating wires C11a and C11b thick. This embodiment makes it possible to detect the positions of the heating wires C11a and C11b even when the contrast between the background and the optotype C11 in the captured image is small.

図１４（Ｂ）では、パターン補助部Ｃ１２は、電熱線Ｃ１１ａ、Ｃ１１ｂと近接する位置に配置され、撮影範囲Ｒ１に対して内側に凸となった湾曲形状を呈する。この態様は、魚眼レンズを用いる場合に好適であり、魚眼レンズを用いた撮影画像中においては、パターン補助部Ｃ１２が直線状に映り、ロール角等の検出を容易にする。 In FIG. 14B, the pattern auxiliary portion C12 is arranged at a position close to the heating wires C11a and C11b, and has a curved shape that is convex inward with respect to the photographing range R1. This mode is suitable when a fisheye lens is used, and in a captured image using the fisheye lens, the pattern assisting portion C12 appears linearly, thereby facilitating detection of a roll angle and the like.

図１４（Ｃ）では、パターン補助部Ｃ１２は、撮影範囲Ｒ１の外縁部分と対応するように設けられている。この態様は、撮影範囲Ｒ１に撮影されるパターン補助部Ｃ１２によって、撮影範囲Ｒ１のずれを直接検出することを可能にする。尚、ここでは、パターン補助部Ｃ１２は、下側及び左側の領域の色を黒色とし、上側及び右側の領域の色を白色とすることによって、どちらかの色が目立つので、背景色によらずに、撮影範囲Ｒ１のずれを検出可能としている。但し、パターンの色の組み合わせは、白と黒に限らず、その他の対照色（補色）であってもよい。 In FIG. 14C, the pattern auxiliary section C12 is provided so as to correspond to the outer edge of the photographing range R1. This embodiment makes it possible to directly detect a shift in the photographing range R1 by the pattern auxiliary unit C12 photographed in the photographing range R1. Note that, here, the pattern auxiliary unit C12 sets the color of the lower and left areas to black and sets the color of the upper and right areas to white, so that either color is conspicuous. In addition, the shift of the photographing range R1 can be detected. However, the combination of the colors of the pattern is not limited to white and black, and may be another contrasting color (complementary color).

図１４（Ｄ）では、パターン補助部Ｃ１２は、図１４（Ｃ）と同様に、パターン補助部Ｃ１２は、撮影範囲Ｒ１の外縁部分と対応するように設けられている。この態様では、パターン補助部Ｃ１２の色を一定間隔ごとに、白色と黒色と交互にすることによって、どちらかの色が目立つので、背景色によらずに、撮影範囲Ｒ１のずれを検出可能としている。 In FIG. 14D, the pattern auxiliary section C12 is provided so as to correspond to the outer edge portion of the photographing range R1, as in FIG. 14C. In this embodiment, the color of the pattern auxiliary portion C12 is alternated between white and black at regular intervals, so that either color is conspicuous, so that the shift of the photographing range R1 can be detected regardless of the background color. I have.

図１４（Ｅ）では、パターン補助部Ｃ１２は、電熱線Ｃ１１ａ、Ｃ１１ｂと平行な直線パターンであり、電熱線Ｃ１１ａ、Ｃ１１ｂと隣接する位置に設けられている。この態様では、撮影範囲Ｒに撮影される電熱線Ｃ１１ａ、Ｃ１１ｂの本数が、実質的に増加することから、より高い精度で視標の検出を可能としている。尚、ここでは、パターン補助部Ｃ１２は、電熱線Ｃ１１ａ、Ｃ１１ｂと平行する黒色の直線パターンと、電熱線Ｃ１１ａ、Ｃ１１ｂと平行する白色の直線パターンを交互に設けることによって、図１４（Ｃ）と同様に、背景色によらずに、撮影範囲Ｒ１のずれを検出可能としている。 In FIG. 14E, the pattern auxiliary portion C12 is a linear pattern parallel to the heating wires C11a and C11b, and is provided at a position adjacent to the heating wires C11a and C11b. In this mode, the number of heating wires C11a and C11b photographed in the photographing range R substantially increases, so that the target can be detected with higher accuracy. Note that, here, the pattern auxiliary portion C12 is provided with a black linear pattern parallel to the heating wires C11a and C11b and a white linear pattern parallel to the heating wires C11a and C11b alternately, as shown in FIG. Similarly, the shift of the photographing range R1 can be detected regardless of the background color.

以上、本実施形態に係る車載カメラシステムによれば、パターン補助部Ｃ１２を設けることによって、撮影方向のずれをより高い精度で検出することが可能となる。 As described above, according to the in-vehicle camera system according to the present embodiment, by providing the pattern auxiliary unit C12, it is possible to detect a shift in the shooting direction with higher accuracy.

尚、パターン補助部Ｃ１２は、運転者がリアガラスＣ１を通して車輌後方を目視した際に、可視光カメラＣ２の本体により目隠しされ、視認できない位置に設けることが好ましい。これは、運転者が車輌を後退操作する際、直接目視することにより車輌後方を確認する場面において、パターン補助部Ｃ１２が運転者により視認されることによる煩わしさを回避する効果がある。又、パターン補助部Ｃ１２は、リアガラスＣ１に限らず、可視光カメラＣ２の撮像方向の前面に透明カバーを置いて、当該透明カバーに形成するようにしてもよい。その場合、パターン補助部Ｃ１２単独で視標を構成することもできる。又、可視光カメラＣ２が車体のシャーク部やスポイラー部に設置される場合にも適用できることは、勿論である。 It is preferable that the pattern assisting portion C12 be provided at a position where the driver can view the rear of the vehicle through the rear glass C1 and is hidden by the main body of the visible light camera C2 and cannot be visually recognized. This has the effect of avoiding the troublesomeness of the pattern assisting portion C12 being visually recognized by the driver in a situation where the driver confirms the rear of the vehicle by looking directly at the time of reversing the vehicle. Further, the pattern auxiliary portion C12 is not limited to the rear glass C1, and may be formed on the transparent cover by placing a transparent cover on the front surface in the imaging direction of the visible light camera C2. In that case, the pattern target can also be constituted by the pattern auxiliary unit C12 alone. Further, it is needless to say that the present invention can be applied to a case where the visible light camera C2 is installed in a shark portion or a spoiler portion of a vehicle body.

（その他の実施形態）
上記実施形態では、視標の一例として、電熱線を用いる態様を示したが、電熱線以外のものを視標として用いてもよい。例えば、上記したカメラシステムをサイドミラーに用いる場合、電熱線に代えて、車体に装備されたドアノブ等を視標として用いてもよい。 (Other embodiments)
In the above-described embodiment, a mode using a heating wire has been described as an example of the target, but a target other than the heating wire may be used as the target. For example, when the above-described camera system is used for a side mirror, a door knob or the like provided on a vehicle body may be used as a target instead of a heating wire.

又、上記実施形態では、画像処理の一例として、画像処理部２の処理と、視標検出部４及び制御部５の処理とが並列で行われるものとして示したが、画像処理部２の一連のフローの中で行われる（シングルスレッド）ものとしてもよい。又、視標検出部４及び制御部５の機能は、可視光カメラＣ２又はディスプレイＣ３に内蔵される画像処理装置に組み込まれる構成としてもよい。 In the above embodiment, as an example of the image processing, the processing of the image processing unit 2 and the processing of the optotype detection unit 4 and the control unit 5 are described as being performed in parallel. (Single thread) in the flow of (1). Further, the functions of the target detection unit 4 and the control unit 5 may be configured to be incorporated in an image processing device built in the visible light camera C2 or the display C3.

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。 As mentioned above, although the specific example of this invention was demonstrated in detail, these are only illustrations and do not limit a claim. The technology described in the claims includes various modifications and changes of the specific examples illustrated above.

本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。 At least the following matters will be made clear by the description in the present specification and the accompanying drawings.

視標Ｃ１１と、車外を撮影する可視光カメラＣ２と、を装備する車輌の車載カメラシステムに用いられるキャリブレーション装置であって、前記可視光カメラＣ２が撮影した画像データを取得して、当該画像データに基づいて、前記可視光カメラＣ２の撮影範囲のうち、表示部３に表示させる所定の領域の外側に設けられた前記視標Ｃ１１の位置を検出する視標検出部４と、前記視標Ｃ１１の位置に基づいて、前記可視光カメラＣ２の撮影範囲のうち、表示部３に表示させる領域を設定する制御部５と、を備えるキャリブレーション装置を開示する。このキャリブレーション装置によれば、可視光カメラＣ２の撮影方向にずれが生じた場合でも、表示部３に表示される画像にはずれが生じないように、正確、且つ、早期に補正することができる。 A calibration device used for an in-vehicle camera system of a vehicle equipped with an optotype C11 and a visible light camera C2 for photographing the outside of a vehicle, and acquires image data taken by the visible light camera C2, An optotype detecting section 4 for detecting a position of the optotype C11 provided outside a predetermined area to be displayed on the display section 3 in the photographing range of the visible light camera C2 based on the data; A calibration device including a control unit that sets an area to be displayed on the display unit in the imaging range of the visible light camera based on the position of C11 is disclosed. According to this calibration device, even if a shift occurs in the shooting direction of the visible light camera C2, it is possible to correct the image displayed on the display unit 3 accurately and early so that no shift occurs. .

ここで、前記制御部５は、更に、前記撮影範囲Ｒ１における前記視標Ｃ１１の位置に基づいて、前記表示部３に表示させる領域Ｒ２の画像回転角φを設定するものであってもよい。このキャリブレーション装置によれば、可視光カメラＣ２の撮影方向のずれによる画像の傾きも正確、且つ、早期に補正することができる。 Here, the control unit 5 may further set the image rotation angle φ of the region R2 to be displayed on the display unit 3 based on the position of the target C11 in the shooting range R1. According to this calibration device, the inclination of the image due to the shift of the imaging direction of the visible light camera C2 can be corrected accurately and early.

ここで、前記可視光カメラＣ２が生成した画像データＤ１における、予め設定した領域Ｒ３の輝度情報又は色度情報の少なくとも一方から算出される画像特徴量に基づいて、前記可視光カメラＣ２の撮影環境の適否を判定する第１の判定部７を更に備え、前記視標検出部４は、前記第１の判定部に撮影環境が適していると判定されたときに、前記撮影範囲Ｒ１における前記視標Ｃ１１の位置を検出するものであってもよい。 Here, based on an image feature amount calculated from at least one of luminance information and chromaticity information of a predetermined region R3 in the image data D1 generated by the visible light camera C2, a shooting environment of the visible light camera C2 is determined. The visual target detection unit 4 further includes a first determination unit 7 that determines whether the imaging environment is suitable for the first determination unit when the imaging environment is suitable for the first determination unit. The position of the target C11 may be detected.

ここで、前記可視光カメラＣ２の撮影方向の照度を検出する照度センサ、又は、前記可視光カメラＣ２に対する近接物を検出する近接センサの少なくともいずれか一方の検出信号に基づいて、前記可視光カメラＣ２の撮影環境の適否を判定する第２の判定部を更に備え、前記視標検出部４は、前記第２の判定部に撮影環境が適していると判定されたときに、前記撮影範囲Ｒ１における前記視標Ｃ１１の位置を検出するものであってもよい。 Here, based on a detection signal of at least one of an illuminance sensor that detects illuminance in a shooting direction of the visible light camera C2 and a proximity sensor that detects an object near the visible light camera C2, The apparatus further includes a second determination unit that determines whether the imaging environment of C2 is appropriate, and the optotype detection unit 4 determines that the imaging environment is appropriate for the second determination unit when the imaging range R1 is determined. May be used to detect the position of the target C11.

ここで、前記車輌を制御する制御装置から受信した前記車輌の状態を示す信号に基づいて、前記可視光カメラＣ２の撮影環境の適否を判定する第３の判定部７を更に備え、前記視標検出部４は、前記第３の判定部７に撮影環境が適していると判定されたときに、前記撮影範囲Ｒ１における前記視標Ｃ１１の位置を検出するものであってもよい。前記第１の判定部７、前記第２の判定部７、又は前記第３の判定部７を備えるキャリブレーション装置によれば、表示部３に表示する領域Ｒ２は、撮影環境が適していると判定されたときに検出される視標の位置のみに基づいて設定されるため、より精度の高い補正を行うことができる。又、撮影環境が適していると判定されたときだけ、視標検出部４と制御部５を動作させることになるため、視標検出部４、制御部５を動作させる頻度を減らすこともでき、消費電力の低減にもつながる。 Here, the apparatus further includes a third determination unit 7 that determines whether or not a shooting environment of the visible light camera C2 is appropriate based on a signal indicating a state of the vehicle received from a control device that controls the vehicle. The detection unit 4 may detect the position of the optotype C11 in the shooting range R1 when it is determined that the shooting environment is suitable for the third determination unit 7. According to the calibration device including the first determination unit 7, the second determination unit 7, or the third determination unit 7, the region R2 displayed on the display unit 3 is suitable for a shooting environment. Since the setting is made based only on the position of the target detected when the determination is made, more accurate correction can be performed. Further, the optotype detection unit 4 and the control unit 5 are operated only when it is determined that the shooting environment is appropriate, so that the frequency of operating the optotype detection unit 4 and the control unit 5 can be reduced. This also leads to a reduction in power consumption.

ここで、前記視標Ｃ１１は、前記車輌のリアガラスＣ１に設けられた電熱線Ｃ１１を含み、前記可視光カメラＣ２は、前記電熱線Ｃ１１が撮影されるように車外後方を撮影するものであってもよい。このキャリブレーション装置によれば、車輌に既設されている電熱線Ｃ１１を視標として補正を行うことができるため、車輌に新たに視標を設置する必要もない。又、電熱線Ｃ１１は、直線状に設けられるため、可視光カメラＣ２で検出することが比較的容易であり、補正の精度も向上させることができる。 Here, the target C11 includes a heating wire C11 provided on a rear glass C1 of the vehicle, and the visible light camera C2 captures an image of the rear outside the vehicle so that the heating wire C11 is captured. Is also good. According to this calibration device, correction can be performed using the heating wire C11 already provided in the vehicle as a target, so that it is not necessary to newly install a target in the vehicle. In addition, since the heating wire C11 is provided in a straight line, it is relatively easy to detect the heating wire C11 with the visible light camera C2, and the accuracy of correction can be improved.

ここで、前記視標Ｃ１１は、前記電熱線Ｃ１１と接するように又は前記電熱線Ｃ１１と近接するように前記車輌のリアガラＣ１スに設けられ、前記電熱線Ｃ１１とともに所定のパターンを形成するパターン補助部Ｃ１２を更に含むものであってもよい。このキャリブレーション装置によれば、撮影方向のずれをより高い精度で検出することが可能となる。 Here, the optotype C11 is provided on the rear glass C1 of the vehicle so as to be in contact with the heating wire C11 or close to the heating wire C11, and to form a predetermined pattern together with the heating wire C11. It may further include a part C12. According to this calibration device, it is possible to detect a shift in the shooting direction with higher accuracy.

ここで、前記パターン補助部Ｃ１２は、前記車輌の運転者が前記車両のリアガラスを通して前記車輌の後方を目視した際に、前記可視光カメラの本体により目隠しされ、視認できない位置に設けられるものであってもよい。 Here, when the driver of the vehicle looks behind the vehicle through the rear glass of the vehicle, the pattern assisting unit C12 is blindfolded by the main body of the visible light camera, and is provided at a position where the driver cannot visually recognize the vehicle. You may.

本開示は、車載カメラシステムのキャリブレーション装置に用いるに好適である。 The present disclosure is suitable for use in a calibration device of a vehicle-mounted camera system.

１撮像部
２画像処理部
３表示部
４視標検出部
５制御部
６画像特徴量検出部
７判定部
８周辺環境検出部
９車輌状態検出部
Ｃ１リアガラス
Ｃ１１電熱線
Ｃ１２パターン補助部
Ｃ２可視光カメラ
Ｃ３ディスプレイ REFERENCE SIGNS LIST 1 imaging unit 2 image processing unit 3 display unit 4 visual target detection unit 5 control unit 6 image feature detection unit 7 determination unit 8 peripheral environment detection unit 9 vehicle state detection unit C1 rear glass C11 heating wire C12 pattern auxiliary unit C2 visible light camera C3 display

Claims

視標と、車外を撮影する可視光カメラと、を装備する車輌の車載カメラシステムに用いられるキャリブレーション装置であって、
前記可視光カメラが撮影した画像データを取得して、当該画像データに基づいて、前記可視光カメラの撮影範囲のうち、表示部に表示させる所定の領域の外側に設けられた前記視標の位置を検出する視標検出部と、
前記視標の位置に基づいて、前記可視光カメラの撮影範囲のうち、前記表示部に表示させる領域を設定する制御部と、
を備えるキャリブレーション装置。 A target device, a visible light camera for photographing the outside of the vehicle, a calibration device used in a vehicle-mounted camera system equipped with,
The image data obtained by the visible light camera is acquired, and based on the image data, the position of the optotype provided outside a predetermined area to be displayed on a display unit in the imaging range of the visible light camera. A target detection unit for detecting
Based on the position of the optotype, a control unit that sets an area to be displayed on the display unit out of a shooting range of the visible light camera,
A calibration device comprising:

前記制御部は、更に、前記撮影範囲における前記視標の位置に基づいて、前記表示部に表示させる領域の画像回転角を設定する
ことを特徴とする請求項１に記載のキャリブレーション装置。 The calibration device according to claim 1, wherein the control unit further sets an image rotation angle of an area to be displayed on the display unit based on a position of the optotype in the shooting range.

前記可視光カメラが生成した画像データにおける、予め設定した領域の輝度情報又は色度情報の少なくとも一方から算出される画像特徴量に基づいて、前記可視光カメラの撮影環境の適否を判定する第１の判定部を更に備え、
前記視標検出部は、前記第１の判定部に撮影環境が適していると判定されたときに、前記撮影範囲における前記視標の位置を検出する
ことを特徴とする請求項１又は２に記載のキャリブレーション装置。 A first determining unit that determines whether or not a shooting environment of the visible light camera is appropriate based on an image feature amount calculated from at least one of luminance information and chromaticity information of a preset area in image data generated by the visible light camera. Further comprising a determination unit of
The said optotype detection part detects the position of the said optotype in the said imaging | photography range, when it is determined that the imaging environment is suitable for the said 1st determination part. The said 1 or 2 characterized by the above-mentioned. A calibration device as described.

前記可視光カメラの撮影方向の照度を検出する照度センサ、又は、前記可視光カメラに対する近接物を検出する近接センサの少なくともいずれか一方の検出信号に基づいて、前記可視光カメラの撮影環境の適否を判定する第２の判定部を更に備え、
前記視標検出部は、前記第２の判定部に撮影環境が適していると判定されたときに、前記撮影範囲における前記視標の位置を検出する
ことを特徴とする請求項１乃至３のいずれか一項に記載のキャリブレーション装置。 Based on a detection signal of at least one of an illuminance sensor that detects illuminance in a shooting direction of the visible light camera, and a proximity sensor that detects a proximity object to the visible light camera, whether or not the shooting environment of the visible light camera is appropriate. And a second determination unit for determining
The said target detection part detects the position of the said target in the said imaging | photography range, when it is determined that the imaging environment is suitable for the said 2nd determination part. The calibration device according to claim 1.

前記車輌を制御する制御装置から受信した前記車輌の状態を示す信号に基づいて、前記可視光カメラの撮影環境の適否を判定する第３の判定部を更に備え、
前記視標検出部は、前記第３の判定部に撮影環境が適していると判定されたときに、前記撮影範囲における前記視標の位置を検出する
ことを特徴とする請求項１乃至４のいずれか一項に記載のキャリブレーション装置。 The apparatus further includes a third determination unit that determines whether or not a shooting environment of the visible light camera is appropriate based on a signal indicating a state of the vehicle received from a control device that controls the vehicle,
The said optotype detection part detects the position of the said optotype in the said imaging range, when it is determined that an imaging environment is suitable for the said 3rd determination part. The calibration device according to claim 1.

前記視標は、前記車輌のリアガラスに設けられた電熱線を含み、
前記可視光カメラは、前記電熱線が撮影されるように車外後方を撮影する
ことを特徴とする請求項１乃至５のいずれか一項に記載のキャリブレーション装置。 The target includes a heating wire provided on a rear glass of the vehicle,
The calibration device according to any one of claims 1 to 5, wherein the visible light camera captures an image of the rear outside the vehicle so that the heating wire is captured.

前記視標は、前記電熱線と接するように又は前記電熱線と近接するように前記車輌のリアガラスに設けられ、前記電熱線とともに所定のパターンを形成するパターン補助部を更に含む
ことを特徴とする請求項６に記載のキャリブレーション装置。 The optotype is provided on a rear glass of the vehicle so as to be in contact with the heating wire or close to the heating wire, and further includes a pattern auxiliary portion that forms a predetermined pattern together with the heating wire. The calibration device according to claim 6.

前記パターン補助部は、前記車輌の運転者が前記車輌のリアガラスを通して前記車輌の後方を目視した際に、前記可視光カメラの本体により目隠しされ、視認できない位置に設けられる
ことを特徴とする請求項７に記載のキャリブレーション装置。 When the driver of the vehicle looks behind the vehicle through the rear glass of the vehicle, the pattern assisting portion is blindfolded by the main body of the visible light camera and is provided at a position where it cannot be visually recognized. 8. The calibration device according to 7.

請求項１乃至８のいずれか一項に記載のキャリブレーション装置を備える車載カメラシステム。 An in-vehicle camera system comprising the calibration device according to claim 1.