JP2005303442A - Vision assisting system for vehicle - Google Patents

Vision assisting system for vehicle Download PDF

Info

Publication number
JP2005303442A
JP2005303442A JP2004113058A JP2004113058A JP2005303442A JP 2005303442 A JP2005303442 A JP 2005303442A JP 2004113058 A JP2004113058 A JP 2004113058A JP 2004113058 A JP2004113058 A JP 2004113058A JP 2005303442 A JP2005303442 A JP 2005303442A
Authority
JP
Japan
Prior art keywords
image
infrared camera
vehicle
camera
visible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004113058A
Other languages
Japanese (ja)
Inventor
Hiroyuki Koike
弘之 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2004113058A priority Critical patent/JP2005303442A/en
Publication of JP2005303442A publication Critical patent/JP2005303442A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vision assisting system for vehicle enhancing visibility of a driver regardless of the environmental temperature of a traveling vehicle. <P>SOLUTION: In the vision assisting system for vehicle 1, the vehicle is provided with an infrared camera 4 and a visible camera 2 and the images from the infrared camera and the visible camera are compounded and displayed on a display 9 provided in the vehicle. The infrared camera 4 is provided with a means 7 for outputting an infrared camera image picked up by the infrared camera while switching between a negative image and a positive image by an external output, and a means 8 for compounding a visible camera image picked up by the visible camera 2 and the negative image or positive image. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、２種類以上のカメラを車両に備え、これらのカメラで撮像した画像を用いてドライバの視覚を支援する車両用視覚支援装置に関するものである。   The present invention relates to a visual support device for a vehicle that includes two or more types of cameras in a vehicle and supports the driver's vision using images captured by these cameras.

近年、夜間等の視界が良好でない環境下においても、ドライバの視認性を向上するための視覚支援装置が提案されている。
例えば、特許文献１には、赤外線結像装置と可視光結像装置の出力信号を混合し、それに依存した合成像を発生するカラーモニターを備えることで、夜間の視認性を向上させる技術が提案されている。
特開昭６２−４９３１９号公報 In recent years, there has been proposed a visual assistance device for improving driver visibility even in an environment where visibility is poor, such as at night.
For example, Patent Document 1 proposes a technique for improving nighttime visibility by including a color monitor that mixes output signals of an infrared imaging device and a visible light imaging device and generates a composite image depending on the output signal. Has been.
JP 62-49319 A

しかしながら、従来の技術では、以下のような問題がある。すなわち、従来技術においては、赤外カメラで撮像した画像データを、暖かい物体は暗く、冷たい物体は明るく出力するモード（ネガ出力）で可視映像と合成している。ところが、夏場のように背景の温度と注目したい物体の温度との差が小さい場合には、上述のモードで可視映像と合成しても画面全体が暗くなってしまう。その結果として、画面のコントラスト比も小さくなってしまうため、ドライバの視認性をほとんど向上できなくなるいう問題が生ずる。   However, the conventional techniques have the following problems. That is, in the prior art, image data captured by an infrared camera is synthesized with a visible image in a mode (negative output) in which a warm object is dark and a cold object is bright. However, when the difference between the temperature of the background and the temperature of the object to be noticed is small as in summer, the entire screen becomes dark even if it is combined with the visible image in the above-described mode. As a result, the contrast ratio of the screen is also reduced, which causes a problem that the visibility of the driver can hardly be improved.

従って、本発明は、車両が走行する環境の温度に関わらずドライバの視認性を向上することができる車両用視覚支援装置を提供することを目的とする。   Therefore, an object of the present invention is to provide a vehicular visual assistance device that can improve the visibility of a driver regardless of the temperature of the environment in which the vehicle travels.

請求項１に係る発明は、車両に赤外線カメラ（例えば、実施の形態における遠赤外線カメラ４）と可視カメラ（例えば、実施の形態における可視カメラ２）とを備え、赤外線カメラ画像（例えば、実施の形態における遠赤外線カメラ画像データ１１）と可視カメラ画像（例えば、実施の形態における可視カメラ画像データ１３）とを合成した画像（例えば、実施の形態における合成画像データ１４）を車両に備えた表示装置（例えば、実施の形態における表示装置９）に表示する車両用視覚支援装置（例えば、実施の形態における車両用視覚支援装置１）において、前記赤外線カメラには、撮像した赤外線カメラ画像をネガ画像（例えば、実施の形態におけるネガ画像１１ａ）とポジ画像とに外部入力により切り替えて出力可能な切替出力手段（例えば、実施の形態における遠赤外線カメラ映像モード切替スイッチ７）を設け、前記可視カメラで撮像した可視カメラ画像を前記ネガ画像またはポジ画像と合成する画像合成装置（例えば、実施の形態における画像合成フレームメモリ８）を備えたことを特徴とする。   The invention according to claim 1 includes an infrared camera (for example, the far-infrared camera 4 in the embodiment) and a visible camera (for example, the visible camera 2 in the embodiment) in a vehicle, and an infrared camera image (for example, the implementation). Display device provided with a vehicle with an image (for example, combined image data 14 in the embodiment) obtained by combining far-infrared camera image data 11) in the embodiment and a visible camera image (for example, visible camera image data 13 in the embodiment) In the vehicular visual support device (for example, the vehicular visual support device 1 in the embodiment) displayed on the display device 9 (for example, the display device 9 in the embodiment), the infrared camera image is a negative image ( For example, a switching output that can be switched between the negative image 11a) and the positive image according to the embodiment by an external input and output. (For example, a far-infrared camera image mode changeover switch 7 in the embodiment), and an image composition device (for example, image composition in the embodiment) that combines a visible camera image captured by the visible camera with the negative image or the positive image. A frame memory 8) is provided.

この発明によれば、前記可視カメラで撮像した可視カメラ画像と、前記赤外線カメラで撮像した赤外線カメラ画像とを合成するときに、前記切換出力手段により前記赤外線カメラ画像をネガ画像またはポジ画像に切り替えて、前記画像合成装置により前記可視カメラ画像と合成するため、前記赤外線カメラ画像を環境の温度に応じてより視認性の良い方の画像に切り替えることができる。従って、環境の温度に関わらず、視認性の良い合成画像を得ることができ、ドライバの視認性を向上することができる。   According to this invention, when the visible camera image captured by the visible camera and the infrared camera image captured by the infrared camera are synthesized, the infrared camera image is switched to a negative image or a positive image by the switching output means. Thus, since the image synthesizing device synthesizes the visible camera image, the infrared camera image can be switched to an image with better visibility according to the temperature of the environment. Therefore, a composite image with good visibility can be obtained regardless of the environmental temperature, and the visibility of the driver can be improved.

請求項２に係る発明は、請求項１に記載のものであって、前記赤外線カメラで撮像した赤外線カメラ画像の輝度を解析する画像解析装置（例えば、実施の形態におけるＣＰＵ６のステップＳ２６の処理）と、該画像解析装置による前記赤外線カメラ画像の輝度の解析結果に基づいて、前記赤外線カメラに送信する信号を、前記ネガ画像の出力信号と前記ポジ画像の出力信号との間で切り替える画像切替装置（例えば、実施の形態におけるＣＰＵ６のステップＳ２８の処理）と、を備えたことを特徴とする。   The invention according to claim 2 is the one according to claim 1, wherein the image analysis device analyzes the luminance of the infrared camera image captured by the infrared camera (for example, the process of step S26 of the CPU 6 in the embodiment). And an image switching device that switches a signal to be transmitted to the infrared camera between an output signal of the negative image and an output signal of the positive image based on the analysis result of the luminance of the infrared camera image by the image analysis device (For example, the process of step S28 of the CPU 6 in the embodiment).

この発明によれば、前記画像解析装置により前記赤外線カメラ画像の輝度を解析して、この解析結果に基づいて前記画像切替装置により前記赤外線カメラに送信する信号を前記ネガ画像の出力信号と前記ポジ画像の出力信号との間で切り替えるので、前記ポジ画像と前記ネガ画像とのうちで視認性の良い方を前記可視カメラ画像と合成することができ、環境の温度に関わらず、自動的にドライバの視認性を向上することができる。   According to the present invention, the image analysis device analyzes the brightness of the infrared camera image, and based on the analysis result, the image switching device transmits a signal to be transmitted to the infrared camera and the negative image output signal and the positive image. Since it switches between the output signals of the image, it is possible to synthesize the positive image of the positive image and the negative image with the visible camera image, and the driver automatically regardless of the environmental temperature. Visibility can be improved.

請求項３に係る発明は、請求項１に記載のものであって、前記赤外線カメラ画像を前記ネガ画像または前記ポジ画像に切り替える切替スイッチを設け、該切替スイッチからの切替信号を前記赤外線カメラに送信することを特徴とする。   The invention according to claim 3 is the apparatus according to claim 1, wherein a switch for switching the infrared camera image to the negative image or the positive image is provided, and a switching signal from the switch is sent to the infrared camera. It is characterized by transmitting.

この発明によれば、前記切替スイッチを操作することにより、車両周囲の環境の温度に応じて前記赤外線カメラを前記ネガ画像または前記ポジ画像に切り替えることができるので、ドライバが状況に応じてより視認性の良い合成画像を選択することができるため、ドライバによる細かい調整が可能となる。   According to this invention, by operating the changeover switch, the infrared camera can be switched to the negative image or the positive image according to the temperature of the environment around the vehicle, so that the driver can more visually recognize the situation depending on the situation. Since a composite image with good characteristics can be selected, fine adjustment by the driver is possible.

請求項１に係る発明によれば、赤外線カメラ画像を環境の温度に応じてより視認性の良い方の画像に切り替えることができるため、環境の温度に関わらず、視認性の良い合成画像を得ることができ、ドライバの視認性を向上することができる。   According to the first aspect of the invention, since the infrared camera image can be switched to an image with better visibility according to the temperature of the environment, a composite image with good visibility is obtained regardless of the temperature of the environment. And the visibility of the driver can be improved.

請求項２に係る発明によれば、環境の温度に関わらず、自動的にドライバの視認性を向上することができる。
請求項３に係る発明によれば、ドライバが状況に応じてより視認性の良い合成画像を選択することができ、ドライバによる細かい調整が可能となる。 According to the invention of claim 2, the visibility of the driver can be automatically improved regardless of the environmental temperature.
According to the invention of claim 3, the driver can select a composite image with better visibility according to the situation, and fine adjustment by the driver is possible.

以下、この発明の実施の形態における車両用視覚支援装置を図面と共に説明する。
図１は本発明の実施の形態における車両用視覚支援装置のブロック図である。同図に示す車両には、可視光領域で撮像可能な可視カメラ２と、遠赤外領域で撮像可能な遠赤外線カメラ４とが搭載されている。遠赤外線カメラ４は、後述するＣＰＵ６からの切替信号に応じて、ポジ出力モードまたはネガ出力モードに切り替えられる。 Hereinafter, a visual support device for a vehicle according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram of a visual support apparatus for a vehicle according to an embodiment of the present invention. The vehicle shown in the figure is equipped with a visible camera 2 capable of imaging in the visible light region and a far-infrared camera 4 capable of imaging in the far-infrared region. The far-infrared camera 4 is switched to a positive output mode or a negative output mode in accordance with a switching signal from the CPU 6 described later.

可視カメラ２と遠赤外線カメラ４とは、可視映像フレームメモリ３、赤外映像フレームメモリ５にそれぞれ接続されている。可視映像フレームメモリ３、赤外映像フレームメモリ５は、可視カメラ２や遠赤外線カメラ４により撮像された可視カメラ画像データ１３や遠赤外線カメラ画像データ１１（図３参照）を一時的に格納しておくためのものである。   The visible camera 2 and the far-infrared camera 4 are connected to a visible video frame memory 3 and an infrared video frame memory 5, respectively. The visible video frame memory 3 and the infrared video frame memory 5 temporarily store the visible camera image data 13 and the far infrared camera image data 11 (see FIG. 3) captured by the visible camera 2 and the far infrared camera 4. It is for keeping.

これらのメモリ３、５はＣＰＵ６にそれぞれ接続されており、前記メモリ３、５に格納された画像データ１３、１１をＣＰＵ６に送信する。ＣＰＵ６は、合成映像フレームメモリ８に接続され、前記メモリ３、５から送信された画像データ１３、１１を合成して、前記メモリ８に送信する。   These memories 3 and 5 are respectively connected to the CPU 6 and transmit the image data 13 and 11 stored in the memories 3 and 5 to the CPU 6. The CPU 6 is connected to the synthesized video frame memory 8, synthesizes the image data 13 and 11 transmitted from the memories 3 and 5, and transmits to the memory 8.

また、ＣＰＵ６は、遠赤外線カメラ映像モード切替スイッチ７（切替スイッチ７）に接続され、前記切替スイッチ７からの切替信号に応じて、遠赤外線カメラ４の遠赤外線カメラ画像データ１１をポジ画像１１ａまたはネガ画像１１ｂにのいずれかに切り変える。   The CPU 6 is connected to a far-infrared camera video mode changeover switch 7 (changeover switch 7). In response to a changeover signal from the changeover switch 7, the far-infrared camera image data 11 of the far-infrared camera 4 is converted into a positive image 11a or Switch to either negative image 11b.

合成映像フレームメモリ８では、ＣＰＵ６で合成された合成画像データ１４を格納する。また、前記メモリ８は、車両に搭載されたＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）等の表示装置９に接続され、メモリ８に保持した合成画像データ１４を表示装置９に出力して表示させる。表示装置９は、表示装置輝度調整スイッチ１０（輝度調整スイッチ１０）に接続されている。このスイッチ１０を操作することで、表示装置９に表示される合成画像データ１４の輝度を調整することができる。   The synthesized video frame memory 8 stores synthesized image data 14 synthesized by the CPU 6. The memory 8 is connected to a display device 9 such as a HUD (Head Up Display) mounted on the vehicle, and outputs the composite image data 14 held in the memory 8 to the display device 9 for display. The display device 9 is connected to a display device brightness adjustment switch 10 (brightness adjustment switch 10). By operating this switch 10, the brightness of the composite image data 14 displayed on the display device 9 can be adjusted.

上述のように構成された車両用視覚支援装置１の作用について説明する。図２は図１に示す車両用視覚支援装置の画像合成処理を示すフローチャートである。まず、ステップＳ１２で、可視カメラ２で撮像した可視カメラ画像データ１３を可視映像フレームメモリ３に取り込んで格納する。ステップＳ１４で、遠赤外線カメラ４で撮像した遠赤外線カメラ画像データ１１を赤外映像フレームメモリ５に取り込んで格納する。   The operation of the vehicular visual assistance device 1 configured as described above will be described. FIG. 2 is a flowchart showing an image composition process of the visual support apparatus for a vehicle shown in FIG. First, in step S12, the visible camera image data 13 captured by the visible camera 2 is taken into the visible video frame memory 3 and stored. In step S 14, the far-infrared camera image data 11 captured by the far-infrared camera 4 is captured and stored in the infrared video frame memory 5.

ステップＳ１６で、モード切替スイッチ７が選択している入力モード（ＡＵＴＯ／ポジ／ネガ）を読みこむ。そして、ステップＳ１８で、モード切替スイッチ７が「ＡＵＴＯ」を選択しているか否かを判定し、判定結果がＹＥＳである場合（「ＡＵＴＯ」の場合）はステップＳ２６に進み、判定結果がＮＯである場合（「ポジ」「ネガ」の場合）はステップＳ２０に進む。   In step S16, the input mode (AUTO / positive / negative) selected by the mode switch 7 is read. In step S18, it is determined whether or not the mode changeover switch 7 has selected “AUTO”. If the determination result is YES (in the case of “AUTO”), the process proceeds to step S26, and the determination result is NO. If there is one (“positive” or “negative”), the process proceeds to step S20.

ステップＳ２０では、モード切替スイッチ７が「ネガ」を選択しているか否かを判定する。この判定結果がＹＥＳである場合（「ネガ」の場合）はステップＳ３０に進み、判定結果がＮＯである場合（「ポジ」の場合）はステップＳ２２に進む。
ステップＳ２２では、遠赤外線カメラ４の画像データ１１としてポジ画像１１ａ（図３参照）を選択する。すなわち、画像データ１１が、暖かい物体は明るく、冷たい物体は暗く出力するモード（ポジ出力）のポジ画像１１ａとなるように、遠赤外線カメラ４を設定する。ステップＳ２４では、ポジ画像１１ａと可視カメラ画像データ１３とを合成した合成画像データ１４ａ（図３参照）を作成し、この合成画像データ１４ａを表示装置９に表示出力して、最初の処理に戻る。 In step S20, it is determined whether or not the mode selector switch 7 has selected “negative”. When the determination result is YES (in the case of “negative”), the process proceeds to step S30, and when the determination result is NO (in the case of “positive”), the process proceeds to step S22.
In step S22, the positive image 11a (see FIG. 3) is selected as the image data 11 of the far infrared camera 4. That is, the far-infrared camera 4 is set so that the image data 11 is a positive image 11a in a mode (positive output) in which a warm object is bright and a cold object is dark. In step S24, composite image data 14a (see FIG. 3) obtained by combining the positive image 11a and the visible camera image data 13 is created, the composite image data 14a is displayed on the display device 9, and the process returns to the first process. .

ステップＳ３０では、遠赤外線カメラ４の画像データ１１としてネガ画像１１ｂを選択（図３参照）する。すなわち、画像データ１１が、暖かい物体は暗く、冷たい物体は明るく出力するモード（ポジ出力）のネガ画像１１ｂとなるように、遠赤外線カメラ４を設定する。ステップＳ３２では、ネガ画像１１ｂと可視カメラ画像データ１３とを合成した合成画像データ１４ｂ（図３参照）を作成し、この合成画像データ１４ｂを表示装置９に表示出力して、最初の処理に戻る。   In step S30, the negative image 11b is selected as the image data 11 of the far-infrared camera 4 (see FIG. 3). That is, the far-infrared camera 4 is set so that the image data 11 is a negative image 11b in a mode (positive output) in which a warm object is dark and a cold object is bright. In step S32, composite image data 14b (see FIG. 3) obtained by combining the negative image 11b and the visible camera image data 13 is created, the composite image data 14b is displayed on the display device 9, and the process returns to the first process. .

このように、切替スイッチ７で「ネガ」や「ポジ」のモードを選択する場合には、車両周囲の環境の温度に応じて遠赤外線カメラ４をネガ画像１１ｂまたはポジ画像１１ａに切り替えることができる。よって、ドライバが状況に応じてより視認性の良い合成画像データ１４ａ、１４ｂを選択することができ、ドライバによる細かい調整が可能となる。   As described above, when the “negative” or “positive” mode is selected with the changeover switch 7, the far-infrared camera 4 can be switched to the negative image 11b or the positive image 11a according to the temperature of the environment around the vehicle. . Therefore, the driver can select the composite image data 14a and 14b with better visibility according to the situation, and fine adjustment by the driver is possible.

一方、ステップＳ１８の判定結果がＹＥＳの場合（「ＡＵＴＯ」の場合）には、ステップＳ２６で遠赤外線カメラ画像１１の輝度についてのヒストグラムを算出する。これについて、図３〜図５を用いて説明する。   On the other hand, if the determination result in step S18 is YES (in the case of “AUTO”), a histogram for the luminance of the far-infrared camera image 11 is calculated in step S26. This will be described with reference to FIGS.

図３は可視カメラと遠赤外線カメラの撮像データの合成処理内を示す説明図である。図４、図５は遠赤外線カメラの撮像データについての、輝度と度数の関係を示すグラフ図である。ステップＳ２６では、遠赤外線カメラ４で撮像したポジ画像１１ａまたはネガ画像１１ｂの輝度についてのグラフを作成する（図４、図５参照）。この遠赤外線画像データにおけるヒストグラムを作成する領域については、自車の推定軌跡を中心とした設定幅の領域や、ヘッドライトのＨｉビームの照射範囲の領域、検出された道路領域、検出された白線などの自車レーンの領域、等に基づいて設定することができる。   FIG. 3 is an explanatory diagram showing the process of combining the image data of the visible camera and the far-infrared camera. 4 and 5 are graphs showing the relationship between the luminance and the frequency with respect to the imaging data of the far-infrared camera. In step S26, a graph of the luminance of the positive image 11a or negative image 11b captured by the far-infrared camera 4 is created (see FIGS. 4 and 5). Regarding the region for creating a histogram in this far-infrared image data, the region of the set width centered on the estimated trajectory of the own vehicle, the region of the irradiation range of the headlight Hi beam, the detected road region, the detected white line It can be set based on the area of the vehicle lane such as.

そして、ステップＳ２８では、算出されたヒストグラムにおいて、輝度の平均値が設定しきい値以上かどうかを判定する（図４、図５参照）。この判定結果がＹＥＳの場合には、ステップＳ２２に進んでポジ画像を選択する。このような場合には、注目すべき物体（例えば、他の車両や人）の温度がその背景の温度よりも一定以上の温度差があると考えられ、映像全体が明るく注目すべき物体とのコントラスト比が高いので、このような物体をドライバは容易に発見して認識することができる。ステップＳ２２の後は、上述した一連の処理を行う。   In step S28, it is determined whether or not the average luminance value is equal to or greater than a set threshold value in the calculated histogram (see FIGS. 4 and 5). If this determination is YES, the process proceeds to step S22 to select a positive image. In such a case, it is considered that the temperature of the object to be noticed (for example, another vehicle or a person) has a certain temperature difference or more than the temperature of the background, and the entire image is bright and the object to be noticed. Since the contrast ratio is high, the driver can easily find and recognize such an object. After step S22, the above-described series of processing is performed.

ステップＳ２８の判定結果がＮＯの場合は、ステップＳ３０に進んでネガ画像を選択する。このような場合には、映像全体が暗く注目すべき物体とのコントラスト比が低いので、このような物体をドライバが発見して認識することが困難となる（図３のポジ画像１１ａ参照）。従って、ステップＳ３０のようにネガ画像を選択することで、映像全体を明るくして注目すべき物体とのコントラスト比を高くすることができる。   If the determination result in step S28 is NO, the process proceeds to step S30 to select a negative image. In such a case, the entire image is dark and the contrast ratio with the object to be noticed is low, so that it is difficult for the driver to find and recognize such an object (see the positive image 11a in FIG. 3). Therefore, by selecting a negative image as in step S30, the entire video can be brightened and the contrast ratio with the object to be noticed can be increased.

例えば、図３に示すように、輝度の平均値がしきい値よりも低いポジ画像１１ａをネガ画像１１ｂに反転することで、ポジ画像１１ａを可視カメラ画像データ１３と合成して得られる合成画像データ１４ａよりも、ネガ画像１１ｂを可視カメラ画像データ１３と合成して得られるより視認性の良い合成画像データ１４ｂを得ることができる。そして、ステップＳ３０の後は、上述した一連の処理を行う。   For example, as shown in FIG. 3, a composite image obtained by combining the positive image 11 a with the visible camera image data 13 by inverting the positive image 11 a whose average luminance value is lower than the threshold value to the negative image 11 b. Compared to the data 14a, it is possible to obtain composite image data 14b with better visibility obtained by combining the negative image 11b with the visible camera image data 13. Then, after step S30, the above-described series of processing is performed.

このように、前記ポジ画像１１ａと前記ネガ画像１１ｂとのうちで視認性の良い方を前記可視カメラ画像データ１３と合成することができ、環境の温度に関わらず、自動的にドライバの視認性を向上することができる。   In this manner, the positive image 11a and the negative image 11b, which has better visibility, can be combined with the visible camera image data 13, and the driver's visibility is automatically set regardless of the environmental temperature. Can be improved.

なお、本発明の内容は上述の実施の形態のみに限られるものでないことはもちろんである。例えば、実施の形態では、遠赤外線カメラ４を用いたが、これに限らず、中赤外線カメラであっても近赤外線カメラであってもよい。また、ポジ画像１１ａとネガ画像１１ｂとを切り替えるしきい値をドライバの操作により変更できるようにしてもよい。また、ポジ画像１１ａとネガ画像１１ｂとの切替の判定手法としては、しきい値を平均値と比較する場合に限られず、偏差値やメジアン、またはモードを用いて判定を行ってもよい。   Of course, the contents of the present invention are not limited to the above-described embodiments. For example, although the far-infrared camera 4 is used in the embodiment, the present invention is not limited to this, and a mid-infrared camera or a near-infrared camera may be used. Further, the threshold value for switching between the positive image 11a and the negative image 11b may be changed by a driver's operation. Further, a method for determining switching between the positive image 11a and the negative image 11b is not limited to the case where the threshold value is compared with the average value, and the determination may be performed using a deviation value, a median, or a mode.

本発明の実施の形態における車両用視覚支援装置のブロック図である。It is a block diagram of the visual assistance apparatus for vehicles in an embodiment of the invention. 図１に示す車両用視覚支援装置の画像合成処理を示すフローチャートである。It is a flowchart which shows the image composition process of the visual assistance apparatus for vehicles shown in FIG. 可視カメラと遠赤外線カメラの撮像データの合成処理内を示す説明図である。It is explanatory drawing which shows the inside of the synthetic | combination process of the imaging data of a visible camera and a far-infrared camera. 遠赤外線カメラの撮像データについての、輝度と度数の関係を示すグラフ図である。It is a graph which shows the relationship between a brightness | luminance and frequency about the imaging data of a far-infrared camera. 遠赤外線カメラの撮像データについての、輝度と度数の関係を示すグラフ図である。It is a graph which shows the relationship between a brightness | luminance and frequency about the imaging data of a far-infrared camera.

符号の説明Explanation of symbols

１…車両用視覚支援装置
２…可視カメラ
４…遠赤外線カメラ
７…遠赤外線カメラ映像モード切替スイッチ（切替出力手段）
８…画像合成フレームメモリ（画像合成装置）
９…表示装置
１１…遠赤外線カメラ画像データ（赤外線カメラ画像）
１１ａ…ポジ画像
１１ｂ…ネガ画像
１３…可視カメラ画像データ（可視カメラ画像）
１４…合成画像
DESCRIPTION OF SYMBOLS 1 ... Vehicle vision assistance apparatus 2 ... Visible camera 4 ... Far-infrared camera 7 ... Far-infrared camera image mode switch (switching output means)
8. Image composition frame memory (image composition device)
9 ... Display device 11 ... Far infrared camera image data (infrared camera image)
11a ... Positive image 11b ... Negative image 13 ... Visible camera image data (visible camera image)
14 ... Composite image

Claims (3)

車両に赤外線カメラと可視カメラとを備え、赤外線カメラ画像と可視カメラ画像とを合成した画像を車両に備えた表示装置に表示する車両用視覚支援装置において、
前記赤外線カメラには、撮像した赤外線カメラ画像をネガ画像とポジ画像とに外部入力により切り替えて出力可能な切替出力手段を設け、前記可視カメラで撮像した可視カメラ画像を前記ネガ画像またはポジ画像と合成する画像合成装置を備えたことを特徴とする車両用視覚支援装置。 In a vehicle visual support device that includes an infrared camera and a visible camera in a vehicle, and displays an image obtained by combining the infrared camera image and the visible camera image on a display device provided in the vehicle.
The infrared camera is provided with switching output means capable of switching and outputting the captured infrared camera image to a negative image and a positive image by external input, and the visible camera image captured by the visible camera is converted to the negative image or the positive image. A visual support device for a vehicle comprising an image composition device for composition. 前記赤外線カメラで撮像した赤外線カメラ画像の輝度を解析する画像解析装置と、
該画像解析装置による前記赤外線カメラ画像の輝度の解析結果に基づいて、前記赤外線カメラに送信する信号を、前記ネガ画像の出力信号と前記ポジ画像の出力信号との間で切り替える画像切替装置と、を備えたことを特徴とする請求項１に記載の車両用視覚支援装置。 An image analysis device for analyzing the brightness of an infrared camera image captured by the infrared camera;
An image switching device that switches a signal to be transmitted to the infrared camera between an output signal of the negative image and an output signal of the positive image based on the analysis result of the luminance of the infrared camera image by the image analysis device; The vehicle vision support apparatus according to claim 1, further comprising: 前記赤外線カメラ画像を前記ネガ画像または前記ポジ画像に切り替える切替スイッチを設け、該切替スイッチからの切替信号を前記赤外線カメラに送信することを特徴とする請求項１に記載の車両用視覚支援装置。
The vehicular vision support apparatus according to claim 1, further comprising: a selector switch that switches the infrared camera image to the negative image or the positive image, and transmitting a switching signal from the selector switch to the infrared camera.
JP2004113058A 2004-04-07 2004-04-07 Vision assisting system for vehicle Withdrawn JP2005303442A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004113058A JP2005303442A (en) 2004-04-07 2004-04-07 Vision assisting system for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004113058A JP2005303442A (en) 2004-04-07 2004-04-07 Vision assisting system for vehicle

Publications (1)

Publication Number Publication Date
JP2005303442A true JP2005303442A (en) 2005-10-27

Family

ID=35334487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004113058A Withdrawn JP2005303442A (en) 2004-04-07 2004-04-07 Vision assisting system for vehicle

Country Status (1)

Country Link
JP (1) JP2005303442A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008244906A (en) * 2007-03-28 2008-10-09 Honda Motor Co Ltd Display device for vehicle
WO2010134366A1 (en) * 2009-05-20 2010-11-25 アイシン精機株式会社 Monitoring apparatus
JP2021033835A (en) * 2019-08-28 2021-03-01 株式会社Ｊｖｃケンウッド Object recognition device, object recognition method and program
JP7400599B2 (en) 2020-03-31 2023-12-19 株式会社豊田中央研究所 object detection device

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4598011B2 (en) * 2007-03-28 2010-12-15 本田技研工業株式会社 Vehicle display device
JP2008244906A (en) * 2007-03-28 2008-10-09 Honda Motor Co Ltd Display device for vehicle
CN102428700A (en) * 2009-05-20 2012-04-25 爱信精机株式会社 Monitoring Apparatus
JP2010273026A (en) * 2009-05-20 2010-12-02 Aisin Seiki Co Ltd Monitoring device
US20120033080A1 (en) * 2009-05-20 2012-02-09 Aisin Seiki Kabushiki Kaisha Monitoring apparatus
EP2434759A1 (en) * 2009-05-20 2012-03-28 Aisin Seiki Kabushiki Kaisha Monitoring apparatus
WO2010134366A1 (en) * 2009-05-20 2010-11-25 アイシン精機株式会社 Monitoring apparatus
EP2434759A4 (en) * 2009-05-20 2012-09-05 Aisin Seiki Monitoring apparatus
KR101367637B1 (en) * 2009-05-20 2014-02-27 아이신세이끼가부시끼가이샤 Monitoring apparatus
CN102428700B (en) * 2009-05-20 2014-12-17 爱信精机株式会社 Monitoring Apparatus
US9001209B2 (en) 2009-05-20 2015-04-07 Aisin Seiki Kabushiki Kaisha Monitoring apparatus
JP2021033835A (en) * 2019-08-28 2021-03-01 株式会社Ｊｖｃケンウッド Object recognition device, object recognition method and program
JP7259644B2 (en) 2019-08-28 2023-04-18 株式会社Ｊｖｃケンウッド Target object recognition device, target object recognition method and program
JP7400599B2 (en) 2020-03-31 2023-12-19 株式会社豊田中央研究所 object detection device

Similar Documents

Publication Publication Date Title
US11052823B2 (en) Vehicle rear monitoring system
CN108460734B (en) System and method for image presentation by vehicle driver assistance module
US9123179B2 (en) Surrounding image display system and surrounding image display method for vehicle
JP4254887B2 (en) Image display system for vehicles
US7078692B2 (en) On-vehicle night vision camera system, display device and display method
US9001209B2 (en) Monitoring apparatus
JP2006311272A (en) Video display device for vehicle
JP2007142624A (en) Vehicle mounted imaging apparatus
EP2476588B1 (en) Vehicle surrounding monitor apparatus
JP2007159036A (en) Display device for vehicle
WO2017195684A1 (en) Visual recognition device for vehicle
JP2001150977A (en) Display for vehicle
US10516848B2 (en) Image processing device
JP4363207B2 (en) Image processing method, image processing system, and image processing apparatus
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
WO2016163094A1 (en) Display device
JP2005303442A (en) Vision assisting system for vehicle
JP7073237B2 (en) Image display device, image display method
JP2004172828A (en) Night vision device for vehicle
JP2005033709A (en) Vehicle perimeter monitoring apparatus
US20180370434A1 (en) Driving Assistance System and Method of Enhancing a Driver&#39;s Vision
JP2021016103A (en) Image processing device and image processing program
JP2008187580A (en) Obstacle detection apparatus, display device for vehicle and obstacle detection method
JP2020083071A (en) On-vehicle device
JP2014021543A (en) Visual field support device and program for vehicle

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070703