JP2017188946A - Photographic image display device, photographic image display method and photographic image display program - Google Patents
Photographic image display device, photographic image display method and photographic image display program Download PDFInfo
- Publication number
- JP2017188946A JP2017188946A JP2017117599A JP2017117599A JP2017188946A JP 2017188946 A JP2017188946 A JP 2017188946A JP 2017117599 A JP2017117599 A JP 2017117599A JP 2017117599 A JP2017117599 A JP 2017117599A JP 2017188946 A JP2017188946 A JP 2017188946A
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured
- section
- image display
- less
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、カメラ等で撮影した画像を表示させる、撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラムに関する。 The present invention relates to a captured image display device, a captured image display method, and a captured image display program for displaying an image captured by a camera or the like.
自動車などの移動体において、カメラ等で撮影した周辺画像を車内のモニタに表示させ、運転者の目視による認識を補助する技術がある。 In a moving body such as an automobile, there is a technique for displaying a peripheral image captured by a camera or the like on a monitor in the vehicle and assisting the driver to recognize it visually.
特許文献1には、運転者の前方認識を補助する目的で、可視光カメラの映像において、所定の輝度以上または所定の輝度未満である部位に、赤外カメラの映像を合成する技術が開示されている。 Patent Document 1 discloses a technique for synthesizing a video image of an infrared camera on a portion of a visible light camera image having a predetermined luminance or less than a predetermined luminance for the purpose of assisting the driver to recognize the front. ing.
所定の輝度に応じて可視光カメラの映像に赤外カメラの映像を合成する場合、運転者が前方を認識できない程度に暗い範囲や、対向車のヘッドライトによる眩惑などが対象となる。運転者による車外の目視および可視光カメラの映像による車外の認識が困難となる状況は、上記に限らず、例えば霧、雨、雪など昼間でも困難となる場合がある。 When an infrared camera image is combined with a visible light camera image in accordance with a predetermined luminance, a dark range where the driver cannot recognize the front, dazzling due to a headlight of an oncoming vehicle, and the like are targeted. The situation in which it is difficult for the driver to visually recognize the outside of the vehicle and to recognize the outside of the vehicle by the image of the visible light camera is not limited to the above, and may be difficult even in the daytime such as fog, rain, and snow.
霧、雨、雪などで車外の認識が困難となる場合、輝度による判断では、車外を明瞭に認識している場合との区別ができない。 When it is difficult to recognize the outside of the vehicle due to fog, rain, snow, or the like, the judgment based on the brightness cannot be distinguished from the case where the outside of the vehicle is clearly recognized.
本発明は、このような問題を解決するためになされたものであり、昼夜問わず視界不良時の視界補助を適切に行うことができる、撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラムを提供することを目的とする。 The present invention has been made to solve such a problem, and is capable of appropriately assisting visibility at the time of poor visibility regardless of day or night, a captured image display device, a captured image display method, and a captured image display program. The purpose is to provide.
上記目的を達成するために、本発明に係る撮影画像表示装置(10)は、可視光範囲の画像を取得する第1の撮影部(51、102)、赤外光範囲の画像を取得する第2の撮影部(52、102)、前記第1の撮影部(51、102)が撮影した画像から、前記画像における黒画像比率の多い区画毎のコントラスト情報を取得するとともに、前記区画毎のコントラスト比が所定閾値未満であることを判断するコントラスト情報取得部(105)、コントラスト比が所定閾値未満である前記区画の画像に対して、前記第2の撮影部(52、102)が撮影した画像を合成する合成部(106)、前記合成部(106)が合成した画像を表示させる表示部(108、60)、を備える。 In order to achieve the above object, a captured image display device (10) according to the present invention includes a first imaging unit (51, 102) that acquires an image in the visible light range, and a first image acquisition unit that acquires an image in the infrared light range. The contrast information for each section is acquired from the images captured by the second photographing section (52, 102) and the first photographing section (51, 102), and the contrast information for each section having a large black image ratio in the image is acquired. A contrast information acquisition unit (105) for determining that the ratio is less than a predetermined threshold, and an image captured by the second imaging unit (52, 102) for the image of the section in which the contrast ratio is less than the predetermined threshold Are combined, and a display unit (108, 60) for displaying an image synthesized by the combining unit (106).
また、本発明に係る撮影画像表示方法は、可視光範囲の画像を取得する第1の撮影部(51、102)が撮影した画像から、前記画像における黒画像比率の多い区画毎のコントラスト情報を取得するステップ、前記区画毎のコントラスト比が所定閾値未満であることを判断するステップ、コントラスト比が所定閾値未満である区画の画像に対して、赤外光範囲の画像を取得する第2の撮影部(52、102)が撮影した画像を合成するステップ、合成された画像を表示させるステップ、を備える。 In the captured image display method according to the present invention, contrast information for each section having a large black image ratio in the image is obtained from the image captured by the first capturing unit (51, 102) that acquires an image in the visible light range. A step of acquiring, a step of determining that a contrast ratio for each section is less than a predetermined threshold, and a second image capturing for acquiring an image in an infrared light range for an image of a section having a contrast ratio of less than a predetermined threshold. A step of combining the images taken by the units (52, 102) and a step of displaying the combined images.
また、本発明に係るプログラムは、撮影画像表示装置(10)が備えるコンピュータ(100)に、可視光範囲の画像を取得する第1の撮影部(51、102)が撮影した画像から、前記画像における黒画像比率の多い区画毎のコントラスト情報を取得するステップ、前記区画毎のコントラスト比が所定閾値未満であることを判断するステップ、コントラスト比が所定閾値未満である区画の画像に対して、赤外光範囲の画像を取得する第2の撮影部(52、102)が撮影した画像を合成するステップ、合成された画像を表示させるステップ、を実行させる。 In addition, the program according to the present invention is a program (100) included in the captured image display device (10), wherein the image is captured from an image captured by the first capturing unit (51, 102) that acquires an image in the visible light range. A step of acquiring contrast information for each section having a large black image ratio in the step, a step of determining that the contrast ratio for each section is less than a predetermined threshold, and an image of a section having a contrast ratio of less than the predetermined threshold. A step of synthesizing images captured by the second imaging unit (52, 102) that acquires an image of the outside light range and a step of displaying the synthesized image are executed.
本発明によれば、昼夜問わず視界不良時の視界補助を適切に行うことができる。 According to the present invention, it is possible to appropriately perform visibility assistance when visibility is poor regardless of day or night.
以下、本発明の実施形態について説明する。図1は、本発明の実施形態に係る撮影画像表示装置10の構成ブロック図の例である。撮影画像表示装置10は、各種移動体に適用可能であり、自動車、鉄道、航空機、船舶、自転車などの各種移動体に用いることができる。本実施形態においては、自動車に搭載された例として説明する。 Hereinafter, embodiments of the present invention will be described. FIG. 1 is an example of a configuration block diagram of a captured image display apparatus 10 according to an embodiment of the present invention. The captured image display device 10 can be applied to various mobile objects, and can be used for various mobile objects such as automobiles, railways, aircraft, ships, and bicycles. In the present embodiment, an example in which the vehicle is mounted on an automobile will be described.
撮影画像表示装置10は、図1に示すように、可視光カメラ51、赤外カメラ52、制御部100、表示パネル60から構成される。撮影画像表示装置10は、予め自動車の機能として内蔵されていてもよく、後付けの装置、または、自動車に持ち込んで利用するタブレット端末等で構成されてもよい。 The captured image display device 10 includes a visible light camera 51, an infrared camera 52, a control unit 100, and a display panel 60, as shown in FIG. The captured image display device 10 may be built in as a function of a car in advance, or may be configured by a retrofit device or a tablet terminal that is brought into the car and used.
可視光カメラ51は、車両の外部における可視光波長の映像を撮影し、撮影した画像データを撮影制御部102に送信する。可視光波長とは、一般的に380nmから750nmの範囲であり、人間の目で認識可能な範囲である。可視光カメラ51は、車外の映像を撮影可能な位置に配置され、自動車の進行方向前方を撮影可能な位置に配置されることが適切である。可視光カメラ51の配置向きは、自動車の進行方向前方に限らず、必要な向きを撮影可能であってもよく、撮影向きは可動式であってもよい。 The visible light camera 51 captures an image with a visible light wavelength outside the vehicle, and transmits the captured image data to the imaging control unit 102. The visible light wavelength is generally in the range of 380 nm to 750 nm, and is a range that can be recognized by the human eye. It is appropriate that the visible light camera 51 is disposed at a position where an image outside the vehicle can be photographed, and is disposed at a position where the forward direction of the automobile can be photographed. The arrangement direction of the visible light camera 51 is not limited to the front in the traveling direction of the automobile, and a necessary direction may be photographed, and the photographing direction may be movable.
赤外カメラ52は、車両の外部における遠赤外光波長の映像を撮影し、撮影した画像データを撮影制御部102に送信する。赤外カメラ52が撮影する波長は、遠赤外光波長のみに限らず、必要に応じて他の赤外領域の波長であってもよく、遠赤外光波長に他の赤外領域の波長が含まれてもよい。他の赤外領域とは、中赤外光や近赤外光である。遠赤外光波長とは、一般的に4μmから1000μmの範囲であり、人間の目による認識はできないが、熱源となる物体から放射される遠赤外線を撮影するため、夜間の人検出などに利用される。赤外カメラ52は、車外の映像を撮影可能な位置に配置され、可視光カメラ51と重複する範囲を撮影可能な位置に配置されることが適切である。赤外カメラ52の配置向きも、可視光カメラ51同様に自動車の進行方向前方に限らず、必要な向きを撮影可能であってもよく、撮影向きは可動式であってもよい。 The infrared camera 52 captures a far-infrared light wavelength image outside the vehicle, and transmits the captured image data to the imaging control unit 102. The wavelength captured by the infrared camera 52 is not limited to the far-infrared light wavelength, and may be a wavelength in another infrared region as necessary. May be included. The other infrared region is mid-infrared light or near-infrared light. Far-infrared light wavelength is generally in the range of 4 μm to 1000 μm and cannot be recognized by the human eye, but is used for human detection at night because it captures far-infrared rays emitted from objects that serve as heat sources. Is done. It is appropriate that the infrared camera 52 is disposed at a position where an image outside the vehicle can be photographed and a range overlapping the visible light camera 51 can be photographed. Similarly to the visible light camera 51, the arrangement direction of the infrared camera 52 is not limited to the front in the traveling direction of the automobile, and a necessary direction may be photographed, and the photographing direction may be movable.
制御部100は、各種データ処理を行うCPU(Central Processing Unit)やDSP(Digital Signal Processor)、メモリ等によって構成される。制御部100は、車載されている専用の制御装置、ナビゲーション装置に搭載される制御装置、外部端末などの制御装置を用いてもよい。 The control unit 100 includes a CPU (Central Processing Unit) that performs various data processing, a DSP (Digital Signal Processor), a memory, and the like. The control unit 100 may use a dedicated control device mounted on the vehicle, a control device mounted on a navigation device, or a control device such as an external terminal.
制御部100は、その機能に基づいて、撮影制御部102、画像処理部104、表示制御部108を備える。各々の機能は、単一の制御装置または単一のプロセッサで実現されてもよく、分散された複数の制御装置や複数のプロセッサより実現されてもよい。 The control unit 100 includes an imaging control unit 102, an image processing unit 104, and a display control unit 108 based on the function. Each function may be realized by a single control device or a single processor, or may be realized by a plurality of distributed control devices or a plurality of processors.
撮影制御部102は、可視光カメラ51および赤外カメラ52の撮影動作を制御する。具体的には、撮影の開始および停止、撮影画角や絞り等の制御、撮影された画像データの取得等である。 The imaging control unit 102 controls the imaging operation of the visible light camera 51 and the infrared camera 52. Specifically, the start and stop of shooting, control of the shooting angle of view and aperture, acquisition of shot image data, and the like.
可視光カメラ51および撮影制御部102により、第1の撮影部を構成する。また、赤外カメラ52および撮影制御部102により、第2の撮影部を構成する。 The visible light camera 51 and the imaging control unit 102 constitute a first imaging unit. The infrared camera 52 and the imaging control unit 102 constitute a second imaging unit.
画像処理部104は、撮影制御部102が取得した可視光カメラ51および赤外カメラ52の画像データを処理して表示制御部108に送出する。画像処理部104は機能別の構成要素として、コントラスト情報取得部105および合成部106を備える。 The image processing unit 104 processes the image data of the visible light camera 51 and the infrared camera 52 acquired by the imaging control unit 102 and sends them to the display control unit 108. The image processing unit 104 includes a contrast information acquisition unit 105 and a synthesis unit 106 as components by function.
コントラスト情報取得部105は、可視光カメラ51が撮影した画像データを所定の範囲毎にコントラスト情報を取得する。また、コントラスト情報取得部105は、取得したコントラスト情報を、所定の閾値と対比し、閾値未満であるか否かを判断する。所定の閾値とは、制御部100を構成するメモリや、図示しない他の記憶媒体に記憶されている。 The contrast information acquisition unit 105 acquires contrast information for each predetermined range of image data captured by the visible light camera 51. Further, the contrast information acquisition unit 105 compares the acquired contrast information with a predetermined threshold value, and determines whether or not it is less than the threshold value. The predetermined threshold is stored in a memory constituting the control unit 100 or another storage medium (not shown).
合成部106は、可視光カメラ51が撮影した画像データと赤外カメラ52が撮影した画像データとを合成する処理を行う。具体的には、コントラスト情報処理部105が所定の閾値以下のコントラストと判断した可視光カメラ51の画像データに基づく範囲に対して、赤外カメラ52が撮影した同一範囲の画像データを合成し、表示制御部108に送出する。 The combining unit 106 performs a process of combining the image data captured by the visible light camera 51 and the image data captured by the infrared camera 52. Specifically, the same range of image data captured by the infrared camera 52 is synthesized with the range based on the image data of the visible light camera 51 that the contrast information processing unit 105 has determined to be a contrast equal to or lower than a predetermined threshold. It is sent to the display control unit 108.
画像処理部104は、コントラスト情報取得部105の判断または求められる表示形態に基づいて、可視光カメラ51が撮影した画像データに赤外カメラ52の映像データの合成が不要である場合は、赤外カメラ52の映像を合成せずに表示制御部108に送出する。 The image processing unit 104 determines whether the image data captured by the visible light camera 51 needs to be combined with the image data of the infrared camera 52 based on the determination of the contrast information acquisition unit 105 or the required display form. The video of the camera 52 is sent to the display control unit 108 without being synthesized.
表示制御部108は、画像処理部104から送出された画像データを表示パネル60に表示させる処理を行う。また、表示制御部108は、画像処理部104から送出された画像データに対して、輝度や色調の調整制御も行う。 The display control unit 108 performs processing for displaying the image data sent from the image processing unit 104 on the display panel 60. The display control unit 108 also performs brightness and color tone adjustment control on the image data sent from the image processing unit 104.
表示パネル60は、液晶パネルや有機EL(Electro Luminescence)パネル、ヘッドアップディスプレイ装置など、ユーザである運転者に映像を提示する各種装置が適用される。表示制御部108および表示パネル60により、表示部を構成する。 As the display panel 60, various devices such as a liquid crystal panel, an organic EL (Electro Luminescence) panel, and a head-up display device are used to present an image to a driver who is a user. The display control unit 108 and the display panel 60 constitute a display unit.
次に、図2を用いて本発明に係る撮影画像表示装置10の動作例である撮影画像表示方法を説明する。 Next, a captured image display method which is an operation example of the captured image display device 10 according to the present invention will be described with reference to FIG.
図2の動作の前提としては、撮影画像表示装置10の動作中は、撮影制御部102は、可視光カメラ51および赤外カメラ52に、同一範囲を含む車外の映像を継続して撮影させる制御を行っている状態である。可視光カメラ51および赤外カメラ52が撮影する映像は、一例としては、毎秒30フレームの静止画が連続した動画像である。 As a premise of the operation in FIG. 2, during the operation of the captured image display device 10, the imaging control unit 102 causes the visible light camera 51 and the infrared camera 52 to continuously capture images outside the vehicle including the same range. Is in a state of performing. As an example, the image captured by the visible light camera 51 and the infrared camera 52 is a moving image in which still images of 30 frames per second are continuous.
上述した状態において、コントラスト情報取得部105は、可視光カメラ51が撮影した任意のフレーム画像をn分割し(ステップS100)、n分割された区画毎のコントラスト情報を取得する(ステップS101)。ここでのnは予め設定された整数である。 In the state described above, the contrast information acquisition unit 105 divides an arbitrary frame image captured by the visible light camera 51 into n (step S100), and acquires contrast information for each of the n divided sections (step S101). Here, n is an integer set in advance.
図3に、ステップS100の処理における分割例を示す。図3は、可視光カメラ51が撮影した画像の任意の1フレーム画像200を40分割した例を示す。分割数や分割形状は問わないが、例えば480分割など、制御部100の処理能力に合わせて細かい分割であることが望ましい。図3においては、1フレーム画像200を40分割して、分割された各々の区画に、200_1、200_2と番号を付与しているが、番号の付与は一部省略している。 FIG. 3 shows an example of division in the process of step S100. FIG. 3 shows an example in which an arbitrary one-frame image 200 of an image captured by the visible light camera 51 is divided into 40. Although the number of divisions and the division shape are not limited, it is desirable that the division is fine according to the processing capability of the control unit 100 such as 480 division. In FIG. 3, the one-frame image 200 is divided into 40, and numbers 200_1 and 200_2 are assigned to the divided sections, but some numbering is omitted.
ステップ101において、コントラスト情報取得部105は、1フレーム画像200を分割した区画を示す200_1から200_40までの区画毎に、コントラスト情報を取得する。 In step 101, the contrast information acquisition unit 105 acquires contrast information for each of the sections 200_1 to 200_40 indicating the sections obtained by dividing the one-frame image 200.
ステップS101において取得するコントラスト情報とは、1フレーム画像200を分割した区画毎に、輝度の最大値Lmaxおよび輝度の最小値Lminを取得する。輝度の最大値Lmaxおよび最小値Lminは、分割した区画に含まれる各画素毎のR(赤)とG(緑)、青(B)の各々の輝度を積算したY信号により算出される。 The contrast information acquired in step S101 acquires the maximum luminance value Lmax and the minimum luminance value Lmin for each section obtained by dividing the one-frame image 200. The maximum luminance value Lmax and the minimum luminance value Lmin are calculated from Y signals obtained by integrating the luminance values of R (red), G (green), and blue (B) for each pixel included in the divided sections.
さらに、ステップS101においては、取得した輝度の最大値Lmaxおよび輝度の最小値Lminに基づき、コントラスト比を算出する。コントラスト比は、一般的にLmax/Lminで表される。 In step S101, a contrast ratio is calculated based on the acquired maximum value Lmax and minimum value Lmin of luminance. The contrast ratio is generally expressed as Lmax / Lmin.
次に、コントラスト情報取得部105は各区画毎のコントラスト比が予め設定された閾値未満である区画があるか否かを判断する(ステップS102)。ここで設定されている閾値とは、1フレーム画像200を分割した区画内において輝度値によらず輝度の差に殆ど変化が無い状態が閾値未満とできる値であればよい。コントラスト比をLmax/Lminで表す場合、一例として閾値=1.1などである。 Next, the contrast information acquisition unit 105 determines whether or not there is a partition in which the contrast ratio for each partition is less than a preset threshold (step S102). The threshold value set here may be a value that allows a state in which there is almost no change in the luminance difference regardless of the luminance value in the section obtained by dividing the one-frame image 200 to be less than the threshold value. When the contrast ratio is expressed by Lmax / Lmin, for example, threshold = 1.1.
また、コントラスト情報取得部105がコントラスト比を算出する区画において、物体の輪郭(エッジ)が含まれている場合、Y信号の高周波成分が含まれる。ステップS102の処理は、閾値に対応するコントラスト比の高低の判断に加えて、Y信号の高周波成分のレベルの高低も判断基準に含んでもよい。この場合においても、Y信号の高周波成分のレベル高低を規定する閾値を設定して対比してもよい。 Further, when the contour (edge) of the object is included in the section where the contrast information acquisition unit 105 calculates the contrast ratio, the high-frequency component of the Y signal is included. The processing in step S102 may include the level of the high-frequency component of the Y signal in the determination criterion in addition to the determination of the contrast ratio corresponding to the threshold value. Even in this case, a threshold value that defines the level of the high-frequency component of the Y signal may be set and compared.
コントラスト情報取得部105によるステップS102の処理は、1フレーム画像200を分割した区画毎に判断するが、隣接した区画のコントラスト比が閾値未満である場合、隣接した区画を含む範囲で再度同様の判断を行ってもよい。例えば、図3において1フレーム画像200を分割した区画を示す200_1、200_2、200_9、200_10の各々におけるコントラスト比がいずれも閾値未満である場合、これらの区画を合計した範囲において、再度コントラスト比が閾値未満であるか判断してもよい。 The processing in step S102 by the contrast information acquisition unit 105 determines for each section obtained by dividing the one-frame image 200. However, if the contrast ratio of the adjacent section is less than the threshold value, the same determination is performed again in a range including the adjacent section. May be performed. For example, in FIG. 3, when the contrast ratio in each of 200_1, 200_2, 200_9, and 200_10 indicating the sections obtained by dividing the one-frame image 200 is less than the threshold value, the contrast ratio is again set to the threshold value in the range in which these sections are totaled. You may judge whether it is less than.
ステップS102において、コントラスト比が閾値未満の区画が無いと判断された場合(ステップS102:No)、画像処理部104は可視光カメラ51が撮影した映像に対して赤外カメラ52が撮影した映像を合成することなく、表示制御部108に送出する。このため、表示制御部108は、表示パネル60に可視光カメラ51が撮影した映像を表示させる(ステップS103)。 In step S102, when it is determined that there is no section having a contrast ratio less than the threshold (step S102: No), the image processing unit 104 captures an image captured by the infrared camera 52 with respect to an image captured by the visible light camera 51. The data is sent to the display control unit 108 without being synthesized. For this reason, the display control unit 108 causes the display panel 60 to display an image captured by the visible light camera 51 (step S103).
ステップS102において、コントラスト比が閾値未満の区画があると判断された場合(ステップS102:Yes)、画像処理部104は、赤外カメラ52が撮影した画像から同一の区画に対応する画像を取得する(ステップS104)。ステップS104で取得する赤外カメラ52の画像は、ステップS102の判断対象となった可視光カメラ51の画像と同時に撮影された画像である。 In step S102, when it is determined that there is a section having a contrast ratio less than the threshold (step S102: Yes), the image processing unit 104 acquires an image corresponding to the same section from the image captured by the infrared camera 52. (Step S104). The image of the infrared camera 52 acquired in step S104 is an image taken at the same time as the image of the visible light camera 51 that has been determined in step S102.
ステップS104において、赤外カメラ52が撮影した画像から同一の区画に対応する画像を取得した後、合成部106は、ステップS102においてコントラスト比が閾値未満とされた区画の画像に対して、ステップS104で取得した同一の区画に対応する画像を合成する(ステップS105)。ステップS105における合成部106による合成処理は、既存のアルファブレンディングなどの手法を用いる。 In step S104, after acquiring an image corresponding to the same section from the image captured by the infrared camera 52, the combining unit 106 performs step S104 on the image of the section whose contrast ratio is less than the threshold in step S102. The images corresponding to the same section acquired in step S105 are synthesized (step S105). The synthesizing process by the synthesizing unit 106 in step S105 uses an existing method such as alpha blending.
次に、画像処理部104は、合成部106が合成した画像を表示制御部108に送出し、表示制御部108は、可視光カメラ51の画像に赤外カメラ52の映像が合成された映像を表示パネル60に表示させる(ステップ106)。 Next, the image processing unit 104 sends the image synthesized by the synthesizing unit 106 to the display control unit 108, and the display control unit 108 creates an image obtained by synthesizing the image of the infrared camera 52 with the image of the visible light camera 51. It is displayed on the display panel 60 (step 106).
このような処理により、輝度によらず車外の認識が困難となる様々な状態に対応して、可視光カメラ51が撮影した画像に赤外カメラ52が撮影した画像が合成されて表示される。このため、ユーザである運転者は、適切に車外の状況を確認することができる。 By such processing, an image captured by the infrared camera 52 is combined with an image captured by the visible light camera 51 and displayed in response to various states in which recognition outside the vehicle is difficult regardless of luminance. For this reason, the driver who is a user can confirm the situation outside a vehicle appropriately.
本発明は、具体例として以下の状況において効果的である。 The present invention is effective in the following situations as a specific example.
状況例1:夜間の非照明範囲の認識
自動車の周辺を可視光カメラ51および赤外カメラ52を用いて撮影している場合、自動車のヘッドライトや外部の街灯などで光が照射されていない範囲は、可視光カメラ51の映像および運転者の目視による認識が困難となる。可視光カメラ51が撮影した範囲において、自動車のヘッドライトや外部の街灯などで光が照射されていない範囲はコントラスト比が閾値未満となるため、赤外カメラ52の映像が合成されて表示される。
Situation example 1: Recognition of a non-illuminated range at night When the periphery of a vehicle is photographed using the visible light camera 51 and the infrared camera 52, a range in which light is not irradiated by the headlight of the vehicle or an external streetlight This makes it difficult to recognize the image of the visible light camera 51 and the driver's visual observation. In the range captured by the visible light camera 51, the contrast ratio is less than the threshold in a range where light is not irradiated by a headlight of an automobile, an external streetlight, or the like, so the image of the infrared camera 52 is synthesized and displayed. .
状況例1において合成され表示される映像は、自動車のヘッドライトや外部の街灯などで光が照射されていない範囲に存在する人や物体を適切に認識することができる。このような状況において、コントラスト情報取得部105は、ステップS102の処理を行う対象の区画を、黒画像比率の多い区画に限定して行ってもよい。 The image synthesized and displayed in the situation example 1 can appropriately recognize a person or an object existing in a range where light is not irradiated by a headlight of an automobile or an external streetlight. In such a situation, the contrast information acquisition unit 105 may limit the section to be processed in step S102 to a section having a high black image ratio.
状況例2:夜間の眩惑範囲の認識
自動車の周辺を可視光カメラ51および赤外カメラ52を用いて撮影している場合、対向車のヘッドライトが当たり眩惑されている範囲は、可視光カメラ51の映像および運転者の目視による認識が困難となる。可視光カメラ51が撮影した範囲において、対向車のヘッドライトが当たり眩惑されている範囲はコントラスト比が閾値未満となるため、赤外カメラ52の映像が合成されて表示される。
Situation example 2: Recognition of dazzling range at night When the periphery of a vehicle is photographed using the visible light camera 51 and the infrared camera 52, the range in which the headlight of the oncoming vehicle is dazzled is the visible light camera 51. This makes it difficult to recognize the image and the driver's visual observation. In the range captured by the visible light camera 51, the contrast ratio is less than the threshold in the range where the headlight of the oncoming vehicle is hit and dazzled, so the image of the infrared camera 52 is synthesized and displayed.
状況例2において合成され表示される映像は、対向車のヘッドライトが当たり眩惑されている範囲に存在する人や物体を適切に認識することができる。このような状況において、コントラスト情報取得部105は、ステップS102の処理を行う対象の区画を、白画像比率の多い区画に限定して行ってもよい。また、コントラスト情報取得部105は、ステップS102の処理を行う対象の区画を、輝度の高い区画に限定して行ってもよい。 The image synthesized and displayed in the situation example 2 can appropriately recognize a person or an object existing in a range where the headlight of the oncoming vehicle is hit and dazzled. In such a situation, the contrast information acquisition unit 105 may limit the section to be processed in step S102 to a section having a large white image ratio. In addition, the contrast information acquisition unit 105 may limit the section to be processed in step S102 to a section with high luminance.
状況例3:昼間の悪天候による視界不良範囲の認識
自動車の周辺を可視光カメラ51および赤外カメラ52を用いて撮影している場合、霧や雨、雪などの天候状況により、部分的または全体において可視光カメラ51の映像および運転者の目視による認識が困難となる。霧や雨、雪などの天候状況により認識困難となる範囲はコントラスト比が閾値未満となるため、赤外カメラ52の映像が合成されて表示される。
Situation example 3: Recognition of poor visibility range due to bad weather in the daytime When the periphery of a car is photographed using the visible light camera 51 and the infrared camera 52, it may be partially or wholly depending on the weather conditions such as fog, rain, and snow. In this case, it is difficult to recognize the image of the visible light camera 51 and the driver's visual observation. Since the contrast ratio is less than the threshold in a range that is difficult to recognize due to weather conditions such as fog, rain, and snow, the image of the infrared camera 52 is synthesized and displayed.
状況例3において合成され表示される映像は、霧や雨、雪などの天候状況によって認識困難な範囲に存在する人や物体を適切に認識することができる。このような状況において、コントラスト情報取得部105は、ステップS102の処理を行う対象の区画を、白画像比率の多い区画に限定して行ってもよい。 The image synthesized and displayed in the situation example 3 can appropriately recognize a person or an object existing in a range difficult to recognize depending on weather conditions such as fog, rain, and snow. In such a situation, the contrast information acquisition unit 105 may limit the section to be processed in step S102 to a section having a large white image ratio.
本発明の実施の形態は、その要旨を逸脱しない限り様々に変更可能である。例えば、本実施形態においては、コントラスト比の高低を判断する基準となる閾値を固定の閾値としたが、状況に応じて閾値を変動させてもよい。また、閾値を複数設定し、コントラスト値が該当する閾値の設定範囲に対応して、合成部106による合成処理のアルファブレンディングによる合成処理のα値を変化させてもよい。 The embodiment of the present invention can be variously modified without departing from the gist thereof. For example, in the present embodiment, the threshold value serving as a reference for determining whether the contrast ratio is high or low is a fixed threshold value, but the threshold value may be varied according to the situation. Alternatively, a plurality of threshold values may be set, and the alpha value of the synthesis process by alpha blending of the synthesis process by the synthesis unit 106 may be changed in accordance with the threshold setting range corresponding to the contrast value.
10 撮影画像表示装置
51 可視光カメラ
52 赤外カメラ
60 表示パネル
100 制御部
102 撮影制御部
104 画像処理部
105 コントラスト情報取得部
106 合成部
108 表示制御部
200 1フレーム画像
DESCRIPTION OF SYMBOLS 10 Shooting image display apparatus 51 Visible light camera 52 Infrared camera 60 Display panel 100 Control part 102 Shooting control part 104 Image processing part 105 Contrast information acquisition part 106 Composition part 108 Display control part 200 1 frame image
Claims (5)
赤外光範囲の画像を取得する第2の撮影部、
前記第1の撮影部が撮影した画像から、前記画像における黒画像比率の多い区画毎のコントラスト情報を取得するとともに、前記区画毎のコントラスト比が所定閾値未満であることを判断するコントラスト情報取得部、
コントラスト比が所定閾値未満である前記区画の画像に対して、前記第2の撮影部が撮影した画像を合成する合成部、
前記合成部が合成した画像を表示させる表示部、
を備える、撮影画像表示装置。 A first imaging unit for acquiring an image in a visible light range;
A second imaging unit for acquiring an image in the infrared light range;
A contrast information acquisition unit that acquires contrast information for each section having a large black image ratio in the image from an image captured by the first photographing unit and determines that the contrast ratio for each section is less than a predetermined threshold. ,
A synthesizing unit that synthesizes an image captured by the second imaging unit with an image of the section having a contrast ratio less than a predetermined threshold;
A display unit for displaying an image synthesized by the synthesis unit;
A captured image display device.
請求項1に記載の撮影画像表示装置。 The synthesizing unit synthesizes an image corresponding to the same section imaged by the second imaging unit with an image of a section where the contrast ratio in the image is less than a predetermined threshold;
The captured image display device according to claim 1.
請求項1または請求項2に記載の撮影画像表示装置。 The contrast information acquisition unit determines that the contrast value of a section including a plurality of adjacent sections is less than a predetermined threshold when there are a plurality of adjacent sections whose contrast ratio is less than a predetermined threshold.
The captured image display device according to claim 1 or 2.
前記区画毎のコントラスト比が所定閾値未満であることを判断するステップ、
コントラスト比が所定閾値未満である区画の画像に対して、赤外光範囲の画像を取得する第2の撮影部が撮影した画像を合成するステップ、
合成された画像を表示させるステップ、
を備える、撮影画像表示方法。 Acquiring contrast information for each section having a large black image ratio in the image from an image captured by a first imaging unit that acquires an image in the visible light range;
Determining that the contrast ratio for each section is less than a predetermined threshold;
Synthesizing an image captured by a second imaging unit that acquires an image in an infrared light range with an image of a section having a contrast ratio less than a predetermined threshold;
Displaying the synthesized image;
A captured image display method comprising:
可視光範囲の画像を取得する第1の撮影部が撮影した画像から、前記画像における黒画像比率の多い区画毎のコントラスト情報を取得するステップ、
前記区画毎のコントラスト比が所定閾値未満であることを判断するステップ、
コントラスト比が所定閾値未満である区画の画像に対して、赤外光範囲の画像を取得する第2の撮影部が撮影した画像を合成するステップ、
合成された画像を表示させるステップ、
を実行させる、プログラム。 In the computer provided in the captured image display device,
Acquiring contrast information for each section having a large black image ratio in the image from an image captured by a first imaging unit that acquires an image in the visible light range;
Determining that the contrast ratio for each section is less than a predetermined threshold;
Synthesizing an image captured by a second imaging unit that acquires an image in an infrared light range with an image of a section having a contrast ratio less than a predetermined threshold;
Displaying the synthesized image;
A program that executes
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017117599A JP6311826B2 (en) | 2017-06-15 | 2017-06-15 | Captured image display device, captured image display method, and captured image display program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017117599A JP6311826B2 (en) | 2017-06-15 | 2017-06-15 | Captured image display device, captured image display method, and captured image display program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014207935A Division JP6168024B2 (en) | 2014-10-09 | 2014-10-09 | Captured image display device, captured image display method, and captured image display program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017188946A true JP2017188946A (en) | 2017-10-12 |
JP6311826B2 JP6311826B2 (en) | 2018-04-18 |
Family
ID=60046552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017117599A Active JP6311826B2 (en) | 2017-06-15 | 2017-06-15 | Captured image display device, captured image display method, and captured image display program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6311826B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11308609A (en) * | 1998-04-24 | 1999-11-05 | Nissan Motor Co Ltd | Display processing unit |
JP2012027773A (en) * | 2010-07-26 | 2012-02-09 | Toyota Central R&D Labs Inc | Pseudo grayscale image generation device and program |
JP2012203314A (en) * | 2011-03-28 | 2012-10-22 | Fujifilm Corp | Imaging apparatus and control method for imaging apparatus |
JP2013186668A (en) * | 2012-03-07 | 2013-09-19 | Clarion Co Ltd | Vehicle periphery monitoring device |
-
2017
- 2017-06-15 JP JP2017117599A patent/JP6311826B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11308609A (en) * | 1998-04-24 | 1999-11-05 | Nissan Motor Co Ltd | Display processing unit |
JP2012027773A (en) * | 2010-07-26 | 2012-02-09 | Toyota Central R&D Labs Inc | Pseudo grayscale image generation device and program |
JP2012203314A (en) * | 2011-03-28 | 2012-10-22 | Fujifilm Corp | Imaging apparatus and control method for imaging apparatus |
JP2013186668A (en) * | 2012-03-07 | 2013-09-19 | Clarion Co Ltd | Vehicle periphery monitoring device |
Also Published As
Publication number | Publication date |
---|---|
JP6311826B2 (en) | 2018-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108460734B (en) | System and method for image presentation by vehicle driver assistance module | |
JP5459154B2 (en) | Vehicle surrounding image display apparatus and method | |
WO2017022172A1 (en) | Vehicular display device and display method | |
JP5257695B2 (en) | Monitoring device | |
JP2021002869A (en) | Video Stream Image Processing System and Method for Amplitude Modulated Light Flicker Correction | |
JP5853947B2 (en) | Night vision device | |
JP2009177250A (en) | Onboard image recognition device, vehicle condition decision device, and onboard image recognition method | |
JP4927647B2 (en) | Vehicle periphery monitoring device | |
JP4952499B2 (en) | Image processing device | |
JP2012027773A (en) | Pseudo grayscale image generation device and program | |
JP2006350670A (en) | Night driving visibility support system | |
US10455159B2 (en) | Imaging setting changing apparatus, imaging system, and imaging setting changing method | |
JP6168024B2 (en) | Captured image display device, captured image display method, and captured image display program | |
JP4798945B2 (en) | Imaging device | |
JP5712821B2 (en) | Shooting display control system | |
JP6327388B2 (en) | Captured image display device, captured image display method, and captured image display program | |
JP4782491B2 (en) | Imaging device | |
JP7258847B2 (en) | Video system for vehicle | |
JP6311826B2 (en) | Captured image display device, captured image display method, and captured image display program | |
TWI630818B (en) | Dynamic image feature enhancement method and system | |
JP6944350B2 (en) | Captured image display system, electronic mirror system and captured image display method | |
JP2013009041A (en) | Vehicle photographing display control system | |
JP6991664B2 (en) | Photographed image display system and electronic mirror system | |
US10102436B2 (en) | Image processing device, warning device and method for processing image | |
JPH06233309A (en) | Improving method for contrast of displayed image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180305 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6311826 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |