JP6338062B2 - Image processing apparatus, imaging apparatus, and image processing method - Google Patents

Image processing apparatus, imaging apparatus, and image processing method Download PDF

Info

Publication number
JP6338062B2
JP6338062B2 JP2015015808A JP2015015808A JP6338062B2 JP 6338062 B2 JP6338062 B2 JP 6338062B2 JP 2015015808 A JP2015015808 A JP 2015015808A JP 2015015808 A JP2015015808 A JP 2015015808A JP 6338062 B2 JP6338062 B2 JP 6338062B2
Authority
JP
Japan
Prior art keywords
image
luminance
unit
exposure time
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015015808A
Other languages
Japanese (ja)
Other versions
JP2016143903A (en
Inventor
恭佑 河野
恭佑 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu General Ltd
Original Assignee
Fujitsu General Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu General Ltd filed Critical Fujitsu General Ltd
Priority to JP2015015808A priority Critical patent/JP6338062B2/en
Publication of JP2016143903A publication Critical patent/JP2016143903A/en
Application granted granted Critical
Publication of JP6338062B2 publication Critical patent/JP6338062B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、画像処理装置や、それを用いた撮像装置に関する。   The present invention relates to an image processing apparatus and an imaging apparatus using the same.

撮像装置の分野ではいわゆるハイダイナミックレンジ合成（ＨＤＲ）は一般に知られる。ＨＤＲでは比較的に短い第１露光時間の撮像で高い輝度の被写体が鮮明に撮像される。一方で、第１露光時間に比べて長い第２露光時間の撮像で低い輝度の被写体が鮮明に撮像される。鮮明に撮像された高い輝度の被写体と低い輝度の被写体とが合成されると、全体として高い輝度にも低い輝度にも対応した鮮明な画像が得られる。   In the field of imaging devices, so-called high dynamic range synthesis (HDR) is generally known. In HDR, a subject with high luminance is clearly imaged by imaging with a relatively short first exposure time. On the other hand, a low-luminance subject is clearly imaged by imaging with a second exposure time that is longer than the first exposure time. When a high-luminance subject and a low-luminance subject that are clearly imaged are combined, a clear image corresponding to both high and low luminance is obtained as a whole.

特開２００９−１９４４４０号公報JP 2009-194440 A

例えば蛍光灯などの点滅光源の下では露光時間が短いほどフリッカが生じやすい。特許文献１では、フリッカの補正にあたって、輝度が足りないと判断されると、ゲインが上げられる。反対に、輝度が高いと判断されると、ゲインが下げられる。こうした特許文献１に記載の補正は、画面全体が均一に点滅光源で照らされた環境下では有効に機能するものの、部分的に点滅光源に照らされる場合には却ってフリッカを増長する。すなわち、点滅光源に照らされない領域、あるいは点滅しない光源に照らされている領域でゲインの変更に応じて画像が明るくなったり暗くなったりしてしまう。魚眼レンズの様な広角レンズでは点滅光源で照らされた部分と、点滅しない光源で照らされる部分が同時に撮像される可能性が高くなり、この現象は顕著となる。   For example, under a blinking light source such as a fluorescent lamp, flicker is likely to occur as the exposure time is shorter. In Patent Document 1, when it is determined that the luminance is insufficient for flicker correction, the gain is increased. Conversely, if it is determined that the luminance is high, the gain is lowered. Such correction described in Patent Document 1 functions effectively in an environment in which the entire screen is uniformly illuminated by the flashing light source, but increases flicker when partially illuminated by the flashing light source. That is, the image becomes brighter or darker according to the gain change in the region not illuminated by the flashing light source or the region illuminated by the non-flashing light source. In a wide-angle lens such as a fish-eye lens, there is a high possibility that a portion illuminated by a flashing light source and a portion illuminated by a non-flashing light source are simultaneously imaged, and this phenomenon becomes remarkable.

本発明のいくつかの態様によれば、画面が部分的に点滅光源で照らされる場合でも効果的にフリッカを抑制することができる画像処理装置は提供されることができる。   According to some aspects of the present invention, it is possible to provide an image processing apparatus that can effectively suppress flicker even when a screen is partially illuminated by a blinking light source.

本発明の一形態は、第１露光時間で撮像された第１画像の画像信号に、第２露光時間で撮像された第２画像の画像信号を合成し、新たな画像となる合成画像信号を生成する第１合成手段と、前記第１および第２露光時間よりも長い第３露光時間で前記第１画像の撮像および前記第２画像の撮像の間に撮像された第３画像の画像信号に前記合成画像信号を合成する第２合成手段とを備える画像処理装置に関する。   In one embodiment of the present invention, an image signal of the second image captured at the second exposure time is synthesized with an image signal of the first image captured at the first exposure time, and a synthesized image signal that becomes a new image is obtained. A first synthesizing unit to be generated, and an image signal of a third image captured during imaging of the first image and imaging of the second image at a third exposure time longer than the first and second exposure times. The present invention relates to an image processing apparatus including a second synthesizing unit that synthesizes the synthesized image signal.

第１画像および第２画像は第１露光時間および第２露光時間で撮像されるので、第１画像および第２画像では高い輝度の被写体が鮮明に映される。第３画像は第１および第２露光時間よりも長い第３露光時間で撮像されるので、第３画像では低い輝度の被写体が鮮明に映される。第３露光時間に比べて短い第１および第２露光時間の撮像では画像ごとに輝度のばらつき（いわゆるフリッカ）が生じやすい。一般に、蛍光灯といった光源の点滅の周期と撮像の周期とはずれることから、第１画像および第２画像のいずれか一方で他方よりも高い輝度は確保される。したがって、第１画像および第２画像から合成画像信号が形成されると、合成画像信号では低い輝度は高い輝度に基づき補正されることができる。こうして合成画像信号の画像ではフリッカは抑制される。その結果、第３画像に合成画像信号の画像が合成されても、違和感は解消される。   Since the first image and the second image are captured at the first exposure time and the second exposure time, a high-luminance subject is clearly displayed in the first image and the second image. Since the third image is captured with a third exposure time longer than the first and second exposure times, a low-luminance subject is clearly projected in the third image. In imaging with the first and second exposure times shorter than the third exposure time, luminance variations (so-called flicker) are likely to occur for each image. Generally, since the blinking cycle of a light source such as a fluorescent lamp deviates from the imaging cycle, higher brightness than one of the first image and the second image is ensured. Therefore, when a composite image signal is formed from the first image and the second image, low luminance can be corrected based on high luminance in the composite image signal. Thus, flicker is suppressed in the composite image signal image. As a result, even if the image of the composite image signal is combined with the third image, the uncomfortable feeling is resolved.

特に、前記第１合成手段は、前記第３露光時間が短いほど、前記第１画像および前記第２画像の合成にあたって、前記第１画像の輝度に対して前記第２画像の輝度の比率を縮小する比率変更手段を備える。第３画像の輝度が高まれば、第３露光時間は短縮される。露光時間が短縮されるほど、画像ごとに輝度のばらつきが生じやすい。このとき、第３画像の輝度の変動は例えば第１画像の輝度の変動に追従する。したがって、第１画像に合成される第２画像の比率が小さいほど、第３画像に合成画像信号の画像が合成されても違和感は生じにくい。第３画像の輝度が高まっても、第３画像と合成画像信号の画像との間でぶれの差は縮小されることができる。撮像は、第１画像、第３画像および第２画像の順番で実施されてもよく、第２画像、第３画像および第１画像の順番に実施されてもよい。In particular, the first synthesizing unit reduces the ratio of the luminance of the second image to the luminance of the first image when synthesizing the first image and the second image as the third exposure time is shorter. The ratio changing means is provided. If the brightness of the third image increases, the third exposure time is shortened. As the exposure time is shortened, luminance variations tend to occur from image to image. At this time, the luminance variation of the third image follows the luminance variation of the first image, for example. Therefore, the smaller the ratio of the second image combined with the first image, the less likely it is to feel uncomfortable even if the image of the combined image signal is combined with the third image. Even if the brightness of the third image increases, the difference in blur between the third image and the image of the composite image signal can be reduced. The imaging may be performed in the order of the first image, the third image, and the second image, or may be performed in the order of the second image, the third image, and the first image.

前記第１合成手段は、前記第１画像の輝度と前記第２画像の輝度とを平均化する平均化手段を備えてもよい。こうして第１画像と第２画像とは均等に取り扱われる。第２画像に比べて第１画像の輝度が低くても、反対に第１画像に比べて第２画像の輝度が低くても、平均化手段は単純に輝度を平均化する。The first combining unit may include an averaging unit that averages the luminance of the first image and the luminance of the second image. Thus, the first image and the second image are handled equally. Even if the brightness of the first image is lower than that of the second image, or the brightness of the second image is lower than that of the first image, the averaging means simply averages the brightness.

画像処理装置は撮像装置に組み込まれて利用されることができる。このとき、撮像装置は画像処理装置を備えればよい。その他、画像処理装置は、車載カメラや運転支援装置、ナビゲーション装置、テレビドアホン、監視カメラ、テレビ会議システム、その他の機器に組み込まれて利用されることができる。   The image processing apparatus can be used by being incorporated in an imaging apparatus. At this time, the imaging device may include an image processing device. In addition, the image processing apparatus can be used by being incorporated in an in-vehicle camera, a driving support apparatus, a navigation apparatus, a TV door phone, a surveillance camera, a video conference system, and other devices.

本発明の他の態様は、第１露光時間で撮像された第１画像の画像信号に、第２露光時間で撮像された第２画像の画像信号を合成し、合成画像信号を生成する手順と、前記第１および第２露光時間よりも長い第３露光時間で前記第１画像の撮像および前記第２画像の撮像の間に撮像された第３画像の画像信号に前記合成画像信号を合成する手順とを備え、前記第１画像および前記第２画像の合成にあたって、前記第３露光時間が短いほど、前記第１画像の輝度に対して前記第２画像の輝度の比率を縮小する画像処理方法に関する。 According to another aspect of the present invention, a procedure for generating a composite image signal by combining an image signal of a first image captured at a first exposure time with an image signal of a second image captured at a second exposure time, and The synthesized image signal is synthesized with the image signal of the third image captured during the imaging of the first image and the imaging of the second image at a third exposure time longer than the first and second exposure times. a procedure, wherein when combining the first image and the second image, the third higher exposure time is short, the image processing you reduce the ratio of the luminance of the second image to the luminance of the first image Regarding the method.

一実施形態に係る車両すなわち自動車の全体像を概略的に示す斜視図である。1 is a perspective view schematically showing an overall image of a vehicle, that is, an automobile according to an embodiment. 運転支援装置の構成を概略的に示すブロック図である。It is a block diagram which shows the structure of a driving assistance device roughly. 第１合成部の構造を概略的に示すブロック図である。It is a block diagram which shows the structure of a 1st synthetic | combination part roughly. 第２合成部の構造を概略的に示すブロック図である。It is a block diagram which shows the structure of a 2nd synthetic | combination part roughly. ハイダイナミックレンジ合成の撮像動作を概略的に示すタイムチャートである。It is a time chart which shows roughly the imaging operation of high dynamic range composition. 蛍光灯の明るさの時間変化を概略的に示すグラフである。It is a graph which shows roughly the time change of the brightness of a fluorescent lamp. 蛍光灯の光に曝される撮像素子の出力の時間変化を概略的に示すグラフである。It is a graph which shows roughly the time change of the output of an image sensor exposed to the light of a fluorescent lamp. フレームごとにＲＡＷ画像の輝度を示すグラフである。It is a graph which shows the brightness | luminance of a RAW image for every flame | frame. 正規化された輝度のグラフである。It is a graph of normalized luminance. 短露光時間の長さごとに最大輝度に対して最小輝度の比率を示すグラフである。It is a graph which shows the ratio of the minimum brightness | luminance with respect to the maximum brightness | luminance for every length of short exposure time. 点灯の開始と撮像の開始との時間差ごとに最大輝度に対して最小輝度の比率を示すグラフである。It is a graph which shows the ratio of the minimum luminance with respect to the maximum luminance for every time difference between the start of lighting and the start of imaging. 一実施形態に係るテレビドアホンを概略的に示す図である。It is a figure which shows schematically the television door phone which concerns on one Embodiment. 一実施形態に係る監視カメラを概略的に示す図である。It is a figure showing roughly the surveillance camera concerning one embodiment.

以下、添付図面を参照しつつ本発明の一実施形態を説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.

図１は一実施形態に係る車両すなわち自動車１１を概略的に示す。自動車１１の車体１２には運転支援装置１３が搭載される。運転支援装置１３はナビゲーション装置１４を備える。ナビゲーション装置１４はディスプレイパネル１５を有する。ディスプレイパネル１５は例えばダッシュボードに組み込まれることができる。ディスプレイパネル１５の表示画面には地図その他の情報が表示されることができる。   FIG. 1 schematically shows a vehicle, that is, an automobile 11 according to an embodiment. A driving support device 13 is mounted on the vehicle body 12 of the automobile 11. The driving support device 13 includes a navigation device 14. The navigation device 14 has a display panel 15. The display panel 15 can be incorporated into a dashboard, for example. A map and other information can be displayed on the display screen of the display panel 15.

運転支援装置１３はカメラ装置１６を備える。カメラ装置１６は例えば車体１２の後部に設置される。カメラ装置１６は例えばリアバンパーの上方に取り付けられる。カメラ装置１６の光軸１７は例えば水平面に対して所定の角度に設定される。光軸１７は、車体１２から後方に離れるにつれて地面に近づくように傾斜する。カメラ装置１６は車体１２後方を撮像する。ここでは、光軸１７に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で被写体の撮像画像は取得される。   The driving support device 13 includes a camera device 16. The camera device 16 is installed at the rear portion of the vehicle body 12, for example. The camera device 16 is attached above the rear bumper, for example. The optical axis 17 of the camera device 16 is set at a predetermined angle with respect to the horizontal plane, for example. The optical axis 17 is inclined so as to approach the ground as it moves backward from the vehicle body 12. The camera device 16 images the rear of the vehicle body 12. Here, a captured image of the subject is acquired in an angle of view range of at least ± 90 ° in both the horizontal and vertical directions with respect to the optical axis 17.

カメラ装置１６は撮像画像に基づき表示画像の画像信号（以下「表示用画像信号」という）を生成する。表示用画像信号は車体後方に関してカメラ視点の画像や地面の俯瞰画像を特定する。カメラ視点の画像や地面の俯瞰画像は任意に切り替えられればよい。カメラ装置１６はナビゲーション装置１４に接続される。ナビゲーション装置１４にはカメラ装置１６から表示用画像信号が供給される。ディスプレイパネル１５の表示画面には表示用画像信号に基づき車体１２後方の映像が表示されることができる。この運転支援装置１３では、例えば駐車場で駐車スペースに後進で進入する際に運転手は車体１２の後方を確認することができる。こうして運転支援装置１３は運転手の後方確認を支援することができる。   The camera device 16 generates an image signal of the display image (hereinafter referred to as “display image signal”) based on the captured image. The display image signal specifies an image of the camera viewpoint and an overhead view image of the ground with respect to the rear of the vehicle body. The camera viewpoint image and the overhead view image of the ground may be arbitrarily switched. The camera device 16 is connected to the navigation device 14. A display image signal is supplied from the camera device 16 to the navigation device 14. On the display screen of the display panel 15, an image behind the vehicle body 12 can be displayed based on the display image signal. In this driving support device 13, for example, the driver can check the rear of the vehicle body 12 when entering the parking space in a parking lot in reverse. In this way, the driving support device 13 can support the driver's backward confirmation.

図２に示されるように、カメラ装置１６は魚眼レンズ２１を備える。被写体から反射する光は、光軸１７に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で入射する。被写体の画像は円形の輪郭で仕切られる。画像では円の中心から外側に遠ざかるにつれて被写体は縮小する。   As shown in FIG. 2, the camera device 16 includes a fisheye lens 21. The light reflected from the subject is incident on the optical axis 17 in the horizontal and vertical directions in an angle of view range of at least ± 90 °. The subject image is partitioned by a circular outline. In the image, the subject shrinks away from the center of the circle.

カメラ装置１６は撮像素子２２を備える。撮像素子２２は、魚眼レンズ２１から投影される被写体の画像を電気信号に変換する。撮像素子２２はマトリクス状に配置された画素を備える。撮像素子２２の撮像面に設定される二次元座標系に従って個々の画素の位置は特定される。例えばベイヤー配列ではＲＧＧＢ（赤緑緑青）の電気信号で被写体の色が表現される。   The camera device 16 includes an image sensor 22. The image sensor 22 converts an image of a subject projected from the fisheye lens 21 into an electric signal. The image sensor 22 includes pixels arranged in a matrix. The position of each pixel is specified according to a two-dimensional coordinate system set on the imaging surface of the image sensor 22. For example, in the Bayer array, the color of the subject is expressed by an electrical signal of RGGB (red green green blue).

カメラ装置１６は画像処理部２３を備える。画像処理部２３は撮像素子２２に電気的に接続される。画像処理部２３は画素の位置すなわちアドレスを順次指定しながら画素の電気信号を読み出す。画像処理部２３はデジタルの撮像信号すなわち撮像データを出力する。撮像データは画素ごとに画像情報を特定する。   The camera device 16 includes an image processing unit 23. The image processing unit 23 is electrically connected to the image sensor 22. The image processing unit 23 reads out the electrical signals of the pixels while sequentially specifying the pixel positions, that is, addresses. The image processing unit 23 outputs a digital imaging signal, that is, imaging data. The imaging data specifies image information for each pixel.

画像処理部２３は撮像素子２２の露光時間を設定する。ここでは、ハイダイナミックレンジ合成（ＨＤＲ）の処理手順に従って映像の１フレームごとに短露光時間（第１露光時間および第２露光時間）と長露光時間（第３露光時間）とが設定される。撮像される順番は第１露光時間で撮像、第３露光時間で撮像、続いて第２露光時間で撮像となる。短露光時間は長露光時間に比べて短い時間に設定される。短露光時間は、画面内で相対的に高い輝度を有する被写体を鮮明に撮像する時間長さであればよい。長露光時間は、画面内で相対的に低い輝度を有する被写体を鮮明に撮像する時間長さであればよい。短露光時間および長露光時間は例えばＡＧＣ（自動ゲイン制御）の働きでフレームごと（あるいは複数のフレームを含む１セットごと）に調整される。画面全体の輝度が高まるほど、短露光時間および長露光時間は短縮されればよい。画像処理部２３の働きで撮像素子２２では短露光時間の撮像と長露光時間の撮像とが交互に繰り返される。   The image processing unit 23 sets the exposure time of the image sensor 22. Here, a short exposure time (first exposure time and second exposure time) and a long exposure time (third exposure time) are set for each frame of the video in accordance with a high dynamic range composition (HDR) processing procedure. The order of imaging is imaging at the first exposure time, imaging at the third exposure time, and then imaging at the second exposure time. The short exposure time is set shorter than the long exposure time. The short exposure time may be a time length for clearly imaging a subject having relatively high luminance in the screen. The long exposure time may be a time length for clearly imaging a subject having a relatively low luminance in the screen. The short exposure time and the long exposure time are adjusted for each frame (or for each set including a plurality of frames), for example, by the action of AGC (automatic gain control). As the brightness of the entire screen increases, the short exposure time and the long exposure time may be shortened. Due to the function of the image processing unit 23, the imaging device 22 alternately repeats imaging with a short exposure time and imaging with a long exposure time.

カメラ装置１６には画像処理装置２４が組み込まれる。画像処理装置２４はプリント基板上の電子回路で構成されることができる。画像処理装置２４は第１合成部（第１合成手段）２６を備える。第１合成部２６にはフレームごとに画像処理部２３から短露光時間で撮像された画像（以下「短露光画像」という）の画像信号が供給される。第１合成部２６には第１バッファメモリ（バッファ手段）２７が接続される。第１バッファメモリ２７には短露光画像の画像信号が格納される。格納にあたって第１バッファメモリ２７では画素ごとにアドレスが指定される。第１合成部２６は、時間軸で相前後する短露光画像の画像信号を相互に合成し合成画像信号を生成する。   An image processing device 24 is incorporated in the camera device 16. The image processing device 24 can be composed of an electronic circuit on a printed circuit board. The image processing device 24 includes a first combining unit (first combining unit) 26. An image signal of an image captured in a short exposure time (hereinafter referred to as “short exposure image”) is supplied to the first synthesis unit 26 from the image processing unit 23 for each frame. A first buffer memory (buffer means) 27 is connected to the first combining unit 26. The first buffer memory 27 stores an image signal of a short exposure image. In storing, the first buffer memory 27 designates an address for each pixel. The first synthesizing unit 26 synthesizes the image signals of the short-exposure images that follow each other on the time axis to generate a synthesized image signal.

画像処理装置２４は第２バッファメモリ２８を備える。第２バッファメモリ２８にはフレームごとに画像処理部２３から長露光時間で撮像された画像（以下「長露光画像」という）の画像信号が供給される。第２バッファメモリ２８には第２合成部２９が接続される。第２合成部２９は第１合成部２６に接続される。第２合成部２９は長露光画像の画像信号に第１合成部２６の合成画像信号を合成し表示用画像信号を生成する。   The image processing device 24 includes a second buffer memory 28. The second buffer memory 28 is supplied with an image signal of an image (hereinafter referred to as “long exposure image”) captured for a long exposure time from the image processing unit 23 for each frame. A second combining unit 29 is connected to the second buffer memory 28. The second synthesis unit 29 is connected to the first synthesis unit 26. The second combining unit 29 combines the combined image signal of the first combining unit 26 with the image signal of the long exposure image to generate a display image signal.

ナビゲーション装置１４は演算処理部３１を備える。演算処理部３１は画像処理装置２４に電気的に接続される。演算処理部３１は例えばＭＰＵ（マイクロプロセッサユニット）およびメモリを有することができる。例えばメモリに格納されるソフトウェアに従ってＭＰＵは動作することができる。演算処理部３１はナビゲーション装置１４のナビゲーション動作と運転支援動作とを切り替えることができる。例えば自動車１１のギアがバックに入れられると、演算処理部３１は経路案内を行うナビゲーション動作から車両後方を映し出す運転支援動作にナビゲーション装置１４を切り替えることができる。演算処理部３１は、例えばナビゲーション装置１４の操作に応じて、通常画像および俯瞰画像のいずれか一方または両者の画像を選択することができる。   The navigation device 14 includes an arithmetic processing unit 31. The arithmetic processing unit 31 is electrically connected to the image processing device 24. The arithmetic processing unit 31 can have, for example, an MPU (microprocessor unit) and a memory. For example, the MPU can operate according to software stored in the memory. The arithmetic processing unit 31 can switch between the navigation operation and the driving support operation of the navigation device 14. For example, when the gear of the automobile 11 is put in the back, the arithmetic processing unit 31 can switch the navigation device 14 from a navigation operation for performing route guidance to a driving support operation for projecting the rear of the vehicle. For example, according to the operation of the navigation device 14, the arithmetic processing unit 31 can select one or both of the normal image and the overhead image.

ディスプレイパネル１５は演算処理部３１に電気的に接続される。ディスプレイパネル１５には演算処理部３１から画像情報が入力される。入力される画像情報に応じてディスプレイパネル１５の表示画面には地図や車体１２後方の映像が映し出されることができる。   The display panel 15 is electrically connected to the arithmetic processing unit 31. Image information is input from the arithmetic processing unit 31 to the display panel 15. Depending on the input image information, a map and a video behind the vehicle body 12 can be displayed on the display screen of the display panel 15.

図３に示されるように、第１合成部２６は第１取得部３３および第２取得部３４を備える。第１取得部３３は画像処理部２３に接続される。第１取得部３３はリアルタイムで画像処理部２３から短露光画像（第１露光時間で撮像される画像）の画像信号を取得する。ここでは、第１取得部３３で特定される短露光画像を「第１画像」という。第２取得部３４は第１バッファメモリ２７に接続される。第２取得部３４は第１バッファメモリ２７から短露光画像（第２露光時間で撮像される画像）の画像信号を取得する。ここでは、第１バッファメモリ２７で特定される短露光画像を「第２画像」という。画像信号は輝度情報を提供する。   As shown in FIG. 3, the first synthesis unit 26 includes a first acquisition unit 33 and a second acquisition unit 34. The first acquisition unit 33 is connected to the image processing unit 23. The first acquisition unit 33 acquires an image signal of a short exposure image (image captured at the first exposure time) from the image processing unit 23 in real time. Here, the short exposure image specified by the first acquisition unit 33 is referred to as a “first image”. The second acquisition unit 34 is connected to the first buffer memory 27. The second acquisition unit 34 acquires an image signal of a short exposure image (an image captured at the second exposure time) from the first buffer memory 27. Here, the short exposure image specified by the first buffer memory 27 is referred to as a “second image”. The image signal provides luminance information.

第１合成部２６は書き込み部３５を備える。書き込み部３５は第１取得部３３に接続される。第１取得部３３から書き込み部３５に第１画像の画像信号が供給される。書き込み部３５は第１バッファメモリ２７に接続される。書き込み部３５は画素ごとに指定されたアドレスに輝度の値を書き込む。   The first combining unit 26 includes a writing unit 35. The writing unit 35 is connected to the first acquisition unit 33. An image signal of the first image is supplied from the first acquisition unit 33 to the writing unit 35. The writing unit 35 is connected to the first buffer memory 27. The writing unit 35 writes the luminance value at an address designated for each pixel.

第１合成部２６は輝度合成部３６を備える。輝度合成部３６には第１取得部３３および第２取得部３４が接続される。輝度合成部３６には第１取得部３３および第２取得部３４から時間軸で相前後する２つの短露光画像（第１画像および第２画像）の輝度が供給される。輝度合成部３６は画素ごとに２つの輝度の値を足し合わせ二分割する。したがって、２つの輝度の値がそのまま使用される場合には、輝度合成部３６は２つの短露光画像の間で平均値を特定する。こうして輝度合成部３６で第１画像および第２画像の輝度に基づき合成画像信号は生成される。輝度の値にはＲＧＢ値が用いられてもよくＹＵＶ値が用いられてもよい。   The first combining unit 26 includes a luminance combining unit 36. A first acquisition unit 33 and a second acquisition unit 34 are connected to the luminance synthesis unit 36. The luminance composition unit 36 is supplied with the luminances of two short-exposure images (first image and second image) that follow the time axis from the first acquisition unit 33 and the second acquisition unit 34. The luminance synthesizer 36 adds two luminance values for each pixel and divides them into two. Therefore, when the two luminance values are used as they are, the luminance combining unit 36 specifies an average value between the two short-exposure images. In this way, the synthesized image signal is generated by the luminance synthesis unit 36 based on the luminance of the first image and the second image. As the luminance value, an RGB value or a YUV value may be used.

第１合成部２６は比率変更部（比率変更手段）３７を備える。比率変更部３７は輝度合成部３６に接続される。比率変更部３７は輝度合成部３６に比率情報信号を供給する。比率情報信号は輝度の値の足し合わせにあたって第１画像の輝度と第２画像の輝度との比率を特定する。比率の特定にあたって比率変更部３７には長露光時間の時間情報が供給される。比率変更部３７は長露光時間の長さに応じて第１画像の輝度に対して第２画像の輝度の比率を変更する。ここでは、比率変更部３７は、長露光時間が短いほど、短露光画像の合成にあたって第１画像の輝度に対して第２画像の輝度の比率を縮小する。   The first combining unit 26 includes a ratio changing unit (ratio changing unit) 37. The ratio changing unit 37 is connected to the luminance combining unit 36. The ratio changing unit 37 supplies the ratio information signal to the luminance combining unit 36. The ratio information signal specifies the ratio between the luminance of the first image and the luminance of the second image when adding the luminance values. In specifying the ratio, the ratio changing unit 37 is supplied with time information of the long exposure time. The ratio changing unit 37 changes the ratio of the luminance of the second image to the luminance of the first image according to the length of the long exposure time. Here, as the long exposure time is shorter, the ratio changing unit 37 reduces the ratio of the luminance of the second image to the luminance of the first image when synthesizing the short-exposure image.

図４に示されるように、第２合成部２９は第１取得部３９および第２取得部４１を備える。第１取得部３９は第２バッファメモリ２８に接続される。第１取得部３９は第２バッファメモリ２８から長露光画像の画像信号を取得する。第２取得部４１は第１合成部２６に接続される。第２取得部４１は第１合成部２６の輝度合成部３６から合成画像信号を取得する。   As shown in FIG. 4, the second synthesis unit 29 includes a first acquisition unit 39 and a second acquisition unit 41. The first acquisition unit 39 is connected to the second buffer memory 28. The first acquisition unit 39 acquires the image signal of the long exposure image from the second buffer memory 28. The second acquisition unit 41 is connected to the first synthesis unit 26. The second acquisition unit 41 acquires a composite image signal from the luminance synthesis unit 36 of the first synthesis unit 26.

第２合成部２９は画像合成部４２を備える。画像合成部４２には第１取得部３９および第２取得部４１が接続される。画像合成部４２には第１取得部３９および第２取得部４１から長露光画像の画像信号と合成画像信号とが供給される。画像合成部４２は、高輝度の被写体部分については短露光画像を採用し、低輝度の被写体の部分については長露光画像を採用するハイダイナミックレンジ合成の手順に従って、長露光画像の画像信号に合成画像信号を合成する。こうして画像合成部で表示用画像信号は生成される。ハイダイナミックレンジ合成の実施にあたって画像合成部４２は画素単位で輝度のばらつきを検出する。したがって、画素ごとにフリッカの影響は縮小される。   The second composition unit 29 includes an image composition unit 42. A first acquisition unit 39 and a second acquisition unit 41 are connected to the image composition unit 42. The image synthesis unit 42 is supplied with the image signal of the long exposure image and the synthesized image signal from the first acquisition unit 39 and the second acquisition unit 41. The image composition unit 42 synthesizes the image signal of the long exposure image according to the procedure of high dynamic range composition that adopts the short exposure image for the high brightness subject portion and adopts the long exposure image for the low brightness subject portion. Synthesize the image signal. In this way, the display image signal is generated by the image composition unit. In performing the high dynamic range composition, the image composition unit 42 detects a variation in luminance in units of pixels. Therefore, the influence of flicker is reduced for each pixel.

次に運転支援装置１３の動作を簡単に説明する。自動車１１のギアがバックギアに入れられると、演算処理部３１は自動車１１からギアがバックに入ったという信号を受けてナビゲーション動作から運転支援動作にナビゲーション装置１４を切り替える。撮像素子２２で被写体の画像は電気信号に変換される。画像処理部２３はハイダイナミックレンジ合成を実施する。したがって、図５に示されるように、画像処理部２３の働きで撮像素子２２では短露光時間Ｓｎの撮像と長露光時間Ｌｎの撮像とが交互に繰り返される。 Next, the operation of the driving support device 13 will be briefly described. When the gear of the automobile 11 is put into the back gear, the arithmetic processing unit 31 receives the signal from the automobile 11 that the gear has entered the back and switches the navigation device 14 from the navigation operation to the driving support operation. The image of the subject is converted into an electrical signal by the image sensor 22. The image processing unit 23 performs high dynamic range synthesis. Accordingly, as shown in FIG. 5, the image pickup element 22 by the action of the image processing unit 23 and the imaging of the imaging and long exposure time L n of the short exposure time S n are alternately repeated.

例えばフレームＮの画像の生成にあたって画像処理装置２４の第１合成部２６ではフレームＮ＋１の短露光画像の輝度とフレームＮの短露光画像の輝度とが平均化される。平均化にあたって第１合成部２６はリアルタイムで画像処理部２３からフレームＮ＋１の画像信号を取得する。同時に、第１合成部２６は第１バッファメモリ２７からフレームＮの画像信号を取得する。第１バッファメモリ２７からフレームＮの画像信号が読み出されると、当該画像信号が記憶されていたメモリ領域は空く。書き込み部３５は当該画像信号のアドレスにフレームＮ＋１の画像信号を書き込む。こうして空いたアドレスにフレームＮ＋１の画像信号は書き込まれる。こうした処理が繰り返されて、ハイダイナミックレンジ合成（ＨＤＲ）の映像は作り出される。ここでは、フレームごとに交互に画像を取り込むために２つのメモリが採用される場合に比べて、バッファメモリの容量は縮小されることができる。   For example, when the image of the frame N is generated, the first combining unit 26 of the image processing device 24 averages the luminance of the short exposure image of the frame N + 1 and the luminance of the short exposure image of the frame N. In averaging, the first synthesis unit 26 acquires the image signal of the frame N + 1 from the image processing unit 23 in real time. At the same time, the first combining unit 26 acquires the image signal of frame N from the first buffer memory 27. When the image signal of frame N is read from the first buffer memory 27, the memory area in which the image signal is stored becomes free. The writing unit 35 writes the image signal of the frame N + 1 at the address of the image signal. Thus, the image signal of the frame N + 1 is written at the vacant address. These processes are repeated to create a high dynamic range composition (HDR) image. Here, the capacity of the buffer memory can be reduced as compared with the case where two memories are employed to alternately capture images for each frame.

短露光画像では相対的に低輝度の領域で撮像素子２２の画素ごとに十分に電荷が蓄積されることができない。したがって、画面上の低輝度の領域でいわゆる黒潰れが生じる。被写体は黒く塗り潰される。その一方で、短露光画像では相対的に高輝度の領域で画素ごとに電荷の飽和が抑制され、輝度の高低差が明確に記録される。画面上の高輝度の領域では鮮明に被写体が撮像される。   In a short-exposure image, sufficient charges cannot be accumulated for each pixel of the image sensor 22 in a relatively low luminance region. Therefore, so-called black crushing occurs in a low luminance area on the screen. The subject is painted black. On the other hand, in a short-exposure image, charge saturation is suppressed for each pixel in a relatively high-brightness region, and the brightness difference is clearly recorded. The subject is clearly imaged in a high-luminance area on the screen.

続いて画像処理装置２４の第２合成部２９ではハイダイナミックレンジ合成(ＨＤＲ)の手順に従ってフレームＮの長露光画像の画像信号と合成画像信号（短露光画像）とが合成される。長露光画像では低輝度の領域で撮像素子２２の画素ごとに十分に電荷が蓄積される。したがって、画面上の低輝度の領域では鮮明に被写体が映される。その一方で、長露光画像では高輝度の領域で画素ごとに電荷が飽和してしまう。画面上の高輝度の領域では白飛びが引き起こされる。ここでは、例えば長露光画像中で白飛びの画素は合成画像信号の画素で置き換えられる。その結果、長露光画像の高輝度の領域で鮮明な被写体が描かれることができる。こうして幅広いダイナミックレンジの画像は作成される。   Subsequently, the second synthesizing unit 29 of the image processing device 24 synthesizes the image signal of the long exposure image of frame N and the synthesized image signal (short exposure image) according to the procedure of high dynamic range synthesis (HDR). In a long-exposure image, a sufficient amount of charge is accumulated for each pixel of the image sensor 22 in a low luminance area. Therefore, the subject is clearly displayed in the low luminance area on the screen. On the other hand, in the long exposure image, the charge is saturated for each pixel in a high luminance region. Whiteout occurs in a high-brightness area on the screen. Here, for example, an overexposed pixel in a long exposure image is replaced with a pixel of a composite image signal. As a result, a clear subject can be drawn in a high-brightness area of the long exposure image. In this way, an image with a wide dynamic range is created.

例えば太陽光線や白熱電球といった連続光源の環境下でＨＤＲの撮像が実施されると、露光時間が短縮されてもフリッカは生じない。フレームＮ＋１の短露光画像の画像信号とフレームＮの短露光画像の画像信号との間で輝度は変化しないと考えてよい。したがって、第１合成部２６でフレームＮ＋１の短露光画像の輝度とフレームＮの短露光画像の輝度とが平均化されても、輝度はほとんど変化しない。合成画像信号にはフレームＮの輝度がそのまま用いられることに等しい。その結果、違和感ない合成画像が得られる。   For example, when HDR imaging is performed in an environment of a continuous light source such as sunlight or an incandescent light bulb, flicker does not occur even if the exposure time is shortened. It may be considered that the luminance does not change between the image signal of the short exposure image of frame N + 1 and the image signal of the short exposure image of frame N. Therefore, even if the luminance of the short exposure image of frame N + 1 and the luminance of the short exposure image of frame N are averaged by the first combining unit 26, the luminance hardly changes. This is equivalent to using the luminance of the frame N as it is for the composite image signal. As a result, a composite image without a sense of incongruity is obtained.

その一方で、例えば蛍光灯や、全波整流で駆動される安価なＬＥＤ灯といった点滅光源の下でカメラ装置１６を用いてＨＤＲの撮像が実施されると、短露光画像でフリッカが生じやすい。フレームＮの短露光画像の画像信号とフレームＮ−１の短露光画像の画像信号との間で輝度は変化すると考えられる。このとき、輝度の変化は点滅光源の電源の周波数とカメラ装置１６のフレームレートとの関係に基づき定義されることができる。一般に、蛍光灯といった光源の点滅の周期と撮像の周期とはずれることから、フレームＮの短露光画像およびフレームＮ−１の短露光画像のいずれか一方で他方よりも高い輝度は確保される。したがって、フレームＮの短露光画像およびフレームＮ−１の短露光画像から輝度合成部３６で合成画像信号が形成されると、合成画像信号では低い輝度は高い輝度に基づき補正される。すなわち、合成画像の輝度は平均化されて低輝度および高輝度の間の輝度になる。こうして合成画像信号の画像ではフリッカは抑制される。その結果、画像合成部４２で長露光画像に合成画像信号の画像が合成されても、違和感は解消される。   On the other hand, when HDR imaging is performed using the camera device 16 under a blinking light source such as a fluorescent lamp or an inexpensive LED lamp driven by full-wave rectification, flicker is likely to occur in a short exposure image. It is considered that the luminance changes between the image signal of the short exposure image of frame N and the image signal of the short exposure image of frame N-1. At this time, the change in luminance can be defined based on the relationship between the frequency of the power source of the blinking light source and the frame rate of the camera device 16. Generally, since the blinking cycle of a light source such as a fluorescent lamp deviates from the imaging cycle, one of the short-exposure image of frame N and the short-exposure image of frame N-1 has higher brightness than the other. Therefore, when the synthesized image signal is formed by the luminance synthesis unit 36 from the short-exposure image of frame N and the short-exposure image of frame N-1, low luminance is corrected based on high luminance in the synthesized image signal. That is, the luminance of the composite image is averaged to a luminance between low luminance and high luminance. Thus, flicker is suppressed in the composite image signal image. As a result, even if the image composition unit 42 synthesizes the image of the composite image signal with the long exposure image, the uncomfortable feeling is resolved.

本実施形態では輝度合成部３６は２つの短露光画像の間で単純に輝度の平均値を算出する。フレームＮ＋１の短露光画像とフレームＮの短露光画像とは均等に取り扱われる。フレームＮ＋１の短露光画像に比べてフレームＮの短露光画像の輝度が低くても、反対にフレームＮの短露光画像に比べてフレームＮ＋１の短露光画像の輝度が低くても、輝度合成部３６は単純に輝度を平均化する。したがって、例えばフレームＮの短露光画像およびフレームＮ＋１の短露光画像の間で輝度の高低が特定される場合に比べて画像信号の処理は簡素化されることができる。なお、こうして単純に平均値が算出されるだけであれば、第１合成部２６で比率変更部３７は省略されることができる。   In the present embodiment, the luminance synthesis unit 36 simply calculates an average luminance value between two short-exposure images. The short exposure image of the frame N + 1 and the short exposure image of the frame N are handled equally. Even if the brightness of the short exposure image of frame N is lower than that of the short exposure image of frame N + 1, and the brightness of the short exposure image of frame N + 1 is lower than that of the short exposure image of frame N, on the contrary, Simply averages the luminance. Therefore, for example, the processing of the image signal can be simplified as compared with the case where the brightness level is specified between the short exposure image of frame N and the short exposure image of frame N + 1. If the average value is simply calculated in this way, the ratio changing unit 37 can be omitted in the first combining unit 26.

輝度の合成にあたって比率変更部３７は輝度合成部３６に比率情報信号を提供してもよい。このとき、比率変更部３７は長露光時間の最大値でフレームＮ＋１の輝度とフレームＮの輝度との比率を１：１に設定する。長露光時間が短いほど、フレームＮ＋１の短露光画像およびフレームＮの短露光画像の合成にあたってフレームＮの輝度に対してフレームＮ＋１の輝度の比率は縮小される。言い換えると、長露光時間の最小値で比率変更部３７はフレームＮ＋１の輝度の比率を「０（ゼロ）」に設定する。長露光時間の最大値と最小値との間で長露光時間と比率との間には比例関係が確立されればよい。   In the luminance synthesis, the ratio changing unit 37 may provide the ratio information signal to the luminance synthesizing unit 36. At this time, the ratio changing unit 37 sets the ratio of the luminance of the frame N + 1 and the luminance of the frame N to 1: 1 with the maximum value of the long exposure time. As the long exposure time is shorter, the ratio of the luminance of the frame N + 1 to the luminance of the frame N is reduced in the synthesis of the short exposure image of the frame N + 1 and the short exposure image of the frame N. In other words, the ratio changing unit 37 sets the luminance ratio of the frame N + 1 to “0 (zero)” with the minimum value of the long exposure time. A proportional relationship may be established between the long exposure time and the ratio between the maximum value and the minimum value of the long exposure time.

長露光画像の輝度が高まれば、画像処理部２３により長露光時間は短縮される。長露光時間が短縮された場合、長露光で撮像されるタイミングとその後の短露光で撮像されるタイミングの時間差は大きくなる。時間的に離れたタイミングで撮像された画像を合成すると、合成の境界上で動く物体にズレが生じる。これを軽減するためフレームＮの短露光画像に合成されるフレームＮ＋１の短露光画像の比率を小さくする。こうすることによって長露光画像に合成画像信号の画像が合成されてもズレは生じにくくなる。   If the brightness of the long exposure image increases, the long exposure time is shortened by the image processing unit 23. When the long exposure time is shortened, the time difference between the timing for imaging with long exposure and the timing for imaging with short exposure thereafter increases. When images captured at timings separated from each other are combined, a shift occurs in an object that moves on the boundary of the combination. In order to reduce this, the ratio of the short exposure image of frame N + 1 combined with the short exposure image of frame N is reduced. By doing so, even if the image of the composite image signal is combined with the long-exposure image, deviation is less likely to occur.

本発明者はシミュレーションに基づき本実施形態の実効性を検証した。検証にあたって、図６に示されるように、本発明者は蛍光灯の明るさを考察した。最大の明るさを「１」としたときの明るさの時間変化が特定された。時刻ｔの明るさＬは電源の周波数ｇに依存し、次式で特定される。

Figure 0006338062
電源の周波数ｇは５０Ｈｚに設定されたことから、明るさＬは１００Ｈｚで脈動する。 The inventor verified the effectiveness of the present embodiment based on simulation. In the verification, the present inventor considered the brightness of the fluorescent lamp as shown in FIG. The time change of the brightness when the maximum brightness was “1” was specified. The brightness L at time t depends on the frequency g of the power supply and is specified by the following equation.
Figure 0006338062
 Since the frequency g of the power supply is set to 50 Hz, the brightness L pulsates at 100 Hz.

本発明者は輝度の算出にあたって画素の出力を規格化した。明るさ「１」の光に１秒間露光された際に「１」という輝度を出力する撮像素子の画素が想定された。この撮像素子が前述の蛍光灯に露光され続けると、その輝度Ｄは次式で表される。

Figure 0006338062
図７に示されるように、時刻ｔ１の輝度Ｄと時刻ｔ０の輝度Ｄとの差分が時刻ｔ０から時刻ｔ１まで露光された撮像素子の出力（＝輝度）に相当する。 The inventor has standardized the pixel output in calculating the luminance. A pixel of the image sensor that outputs a luminance of “1” when exposed to light of “1” brightness for 1 second was assumed. When this image sensor continues to be exposed to the fluorescent lamp, the brightness D is expressed by the following equation.
Figure 0006338062
 As shown in FIG. 7 corresponds to the output of the image pickup device a difference between the luminance D of luminance D and time t 0 of time t 1 is exposed from the time t 0 to time t 1 (= brightness).

図８は時間軸に沿ってフレームごとにゲイン１倍のＲＡＷ画像の輝度を示す。電源の周波数は５０Ｈｚに設定された。フレームレートは６０ｆｐｓに設定された。短露光時間は４．１７×１０−４秒（１フレームの時間の０．０２５倍）に設定された。蛍光灯の点灯と同時に撮像は開始された。非ＨＤＲでは１フレームの全期間で露光が実施された際の輝度が算出された。図８に示されるように、長露光画像の輝度と非ＨＤＲの輝度とは概ね同様に変化する。図９に示されるように、画像信号ごとに輝度の最大値に対してフレームごとに輝度が正規化されると、短露光画像の輝度変化は点線で示され、輝度は時間軸に沿って周期的に変動することが確認された。また、短露光画像の輝度変化（点線）と比較し合成画像の輝度変化（太線）は小さく短露光画像に比べて合成画像信号の画像でフリッカが抑制されることが確認された。 FIG. 8 shows the luminance of a RAW image with a gain of 1 for each frame along the time axis. The frequency of the power supply was set to 50 Hz. The frame rate was set to 60 fps. The short exposure time was set to 4.17 × 10 −4 seconds (0.025 times the time of one frame). Imaging started as soon as the fluorescent lamp was turned on. In non-HDR, the luminance was calculated when exposure was performed over the entire period of one frame. As shown in FIG. 8, the luminance of the long exposure image and the luminance of non-HDR change in substantially the same manner. As shown in FIG. 9, when the luminance is normalized for each frame with respect to the maximum luminance value for each image signal, the luminance change of the short exposure image is indicated by a dotted line, and the luminance is a period along the time axis. It was confirmed that it fluctuated. Further, it was confirmed that the luminance change (thick line) of the composite image is small compared with the luminance change (dotted line) of the short exposure image, and flicker is suppressed in the image of the composite image signal compared to the short exposure image.

図１０に示されるように、本発明者は短露光時間の長さを変化させて本実施形態の実効性を検証した。短露光時間ごとに、最大の輝度に対して最小の輝度の比率が算出された。電源の周波数は５０Ｈｚに設定された。フレームレートは６０ｆｐｓに設定された。蛍光灯の点灯と同時に撮像は開始された。短露光時間の長さに拘わらず、短露光画像の最小の輝度（点線）と合成画像の最小の輝度（太線）との比較により、合成画像の方が最小の輝度の値が大きくフリッカにより暗くなる程度が少なくなることがわかる。したがって、短露光画像に比べて合成画像信号の画像でフリッカが抑制されることが確認された。短露光時間が短縮されるほど、輝度のばらつきが増大することが確認された。   As shown in FIG. 10, the inventor verified the effectiveness of this embodiment by changing the length of the short exposure time. For each short exposure time, the ratio of minimum brightness to maximum brightness was calculated. The frequency of the power supply was set to 50 Hz. The frame rate was set to 60 fps. Imaging started as soon as the fluorescent lamp was turned on. Regardless of the length of the short exposure time, comparing the minimum brightness of the short exposure image (dotted line) and the minimum brightness of the composite image (thick line), the composite image has a larger minimum brightness value and is darker due to flicker. It can be seen that the degree becomes less. Therefore, it was confirmed that flicker is suppressed in the image of the composite image signal compared to the short-exposure image. It was confirmed that the variation in luminance increased as the short exposure time was shortened.

図１１に示されるように、本発明者は蛍光灯の点灯の開始と撮像の開始との間で時間差を変化させながら本実施形態の実効性を検証した。点灯の開始と撮像の開始との時間差ごとに、最大の輝度に対して最小の輝度の比率が算出された。電源の周波数は５０Ｈｚに設定された。フレームレートは６０ｆｐｓに設定された。短露光時間は４．１７×１０−４秒（１フレームの時間の０．０２５倍）に設定された。点灯の開始と撮像の開始の時間差がどのようであっても最大の輝度に対する最小の輝度の比率は短露光画像（点線）よりも合成画像（太線）の方が常に１に近く、短露光画像に比べて合成画像信号の画像でフリッカが抑制されることが確認された。 As shown in FIG. 11, the inventor verified the effectiveness of the present embodiment while changing the time difference between the start of lighting of the fluorescent lamp and the start of imaging. For each time difference between the start of lighting and the start of imaging, the ratio of the minimum luminance to the maximum luminance was calculated. The frequency of the power supply was set to 50 Hz. The frame rate was set to 60 fps. The short exposure time was set to 4.17 × 10 −4 seconds (0.025 times the time of one frame). Whatever the time difference between the start of lighting and the start of imaging, the ratio of the minimum luminance to the maximum luminance is always closer to 1 in the composite image (thick line) than in the short exposure image (dotted line), and the short exposure image It was confirmed that flicker was suppressed in the image of the composite image signal compared to

図１２は一実施形態に係るテレビドアホン４５の構成を概略的に示す。テレビドアホン４５はモニタ親機４６および玄関子機４７を備える。モニタ親機４６はディスプレイパネル４８を有する。モニタ親機４６にはマイクやスピーカ、操作ボタンが組み込まれる。モニタ親機４６は台所や居間といった室内の壁面に固定されればよい。玄関子機４７は玄関扉に隣接する外壁に固定されればよい。   FIG. 12 schematically shows a configuration of a television door phone 45 according to an embodiment. The TV door phone 45 includes a monitor base unit 46 and an entrance slave unit 47. The monitor base unit 46 has a display panel 48. The monitor base unit 46 incorporates a microphone, a speaker, and operation buttons. The monitor base unit 46 may be fixed to a wall surface in a room such as a kitchen or a living room. The entrance handset 47 may be fixed to the outer wall adjacent to the entrance door.

玄関子機４７にはカメラ装置４９が組み込まれる。カメラ装置４９は玄関の外側を撮像する。カメラ装置４９はモニタ親機４６に電気的に接続される。ディスプレイパネル４８にはカメラ装置４９から表示画像の画像信号が供給される。カメラ装置４９は前述のカメラ装置１６と同様に構成されればよい。カメラ装置４９はカメラ装置１６と同様にハイダイナミックレンジ合成（ＨＤＲ）の映像を作り出すことができる。   A camera device 49 is incorporated in the entrance cordless handset 47. The camera device 49 images the outside of the entrance. The camera device 49 is electrically connected to the monitor base unit 46. An image signal of a display image is supplied from the camera device 49 to the display panel 48. The camera device 49 may be configured similarly to the camera device 16 described above. Similarly to the camera device 16, the camera device 49 can create a high dynamic range composition (HDR) image.

図１３は一実施形態に係る監視カメラ５１の構成を概略的に示す。監視カメラ５１は例えば室内の天井に固定される。監視カメラ５１にはカメラ装置５２が組み込まれる。カメラ装置５２は任意のモニタディスプレイに表示画像の画像信号を供給する。カメラ装置５２は前述のカメラ装置１６と同様に構成されればよい。カメラ装置５２はカメラ装置１６と同様にハイダイナミックレンジ合成（ＨＤＲ）の映像を作り出すことができる。   FIG. 13 schematically illustrates the configuration of a monitoring camera 51 according to an embodiment. The surveillance camera 51 is fixed to the indoor ceiling, for example. A camera device 52 is incorporated in the monitoring camera 51. The camera device 52 supplies an image signal of a display image to an arbitrary monitor display. The camera device 52 may be configured similarly to the camera device 16 described above. Similarly to the camera device 16, the camera device 52 can create a high dynamic range composition (HDR) image.

その他、前述のようなカメラ装置１６はドアスコープカメラやテレビ会議システム向けのカメラとして利用されてもよい。ハイダイナミックレンジ合成の実現にあたって、個々のフレーム内では、前述のように短露光画像の撮像に続いて長露光画像の撮像が実施されるだけでなく、長露光画像の撮像に続いて短露光画像の撮像が実施されてもよい。あるいは、個々のフレーム内で、第１短露光画像の撮像、長露光画像の撮像および第２短露光画像の撮像が確立されてもよい。   In addition, the camera device 16 as described above may be used as a door scope camera or a camera for a video conference system. In realizing high dynamic range composition, within each frame, not only long-exposure images are captured following short-exposure images, but also short-exposure images following long-exposure images. The imaging may be performed. Alternatively, imaging of the first short exposure image, imaging of the long exposure image, and imaging of the second short exposure image may be established within each frame.

１６ 撮像装置（カメラ装置）、２４ 画像処理装置、２６ 第１合成手段（第１合成部）、２７ バッファ手段（第１バッファメモリ）、２９ 第２合成手段（第２合成部）、３５ 書き込み手段（書き込み部）、３６ 平均化手段（輝度合成部）、３７ 比率変更手段（比率変更部）、４９ 撮像装置（カメラ装置）、５２ 撮像装置（カメラ装置）。   16 imaging device (camera device), 24 image processing device, 26 first synthesizing unit (first synthesizing unit), 27 buffer unit (first buffer memory), 29 second synthesizing unit (second synthesizing unit), 35 writing unit (Writing section), 36 averaging means (luminance combining section), 37 ratio changing means (ratio changing section), 49 imaging device (camera device), 52 imaging device (camera device).

Claims (4)

第１露光時間で撮像された第１画像の画像信号に、第２露光時間で撮像された第２画像の画像信号を合成し、新たな画像となる合成画像信号を生成する第１合成手段と、
前記第１および第２露光時間よりも長い第３露光時間で前記第１画像の撮像および前記第２画像の撮像の間に撮像された第３画像の画像信号に前記合成画像信号を合成する第２合成手段とを備え、
前記第１合成手段は、前記第３露光時間が短いほど、前記第１画像および前記第２画像の合成にあたって、前記第１画像の輝度に対して前記第２画像の輝度の比率を縮小する比率変更手段を備えることを特徴とする画像処理装置。 First synthesizing means for synthesizing the image signal of the second image imaged at the second exposure time with the image signal of the first image imaged at the first exposure time, and generating a synthesized image signal to be a new image; ,
The synthesized image signal is synthesized with the image signal of the third image captured during the imaging of the first image and the imaging of the second image with a third exposure time longer than the first and second exposure times. and a 2 synthesis means,
The first synthesizing unit reduces the ratio of the luminance of the second image to the luminance of the first image when synthesizing the first image and the second image as the third exposure time is shorter. An image processing apparatus comprising a changing unit . 請求項１に記載の画像処理装置において、前記第１合成手段は、前記第１画像の輝度と前記第２画像の輝度とを平均化する平均化手段を備えることを特徴とする画像処理装置。   The image processing apparatus according to claim 1, wherein the first synthesizing unit includes an averaging unit that averages the luminance of the first image and the luminance of the second image. 請求項１または２に記載の画像処理装置を備えることを特徴とする撮像装置。 Imaging device characterized by comprising an image processing apparatus according to claim 1 or 2. 第１露光時間で撮像された第１画像の画像信号に、第２露光時間で撮像された第２画像の画像信号を合成し、合成画像信号を生成する手順と、
前記第１および第２露光時間よりも長い第３露光時間で前記第１画像の撮像および前記第２画像の撮像の間に撮像された第３画像の画像信号に前記合成画像信号を合成する手順とを備え、
前記第１画像および前記第２画像の合成にあたって、前記第３露光時間が短いほど、前記第１画像の輝度に対して前記第２画像の輝度の比率を縮小する
ことを特徴とする画像処理方法。 A procedure for synthesizing the image signal of the second image imaged at the second exposure time with the image signal of the first image imaged at the first exposure time, and generating a synthesized image signal;
Procedure for synthesizing the composite image signal with the image signal of the third image captured during the imaging of the first image and the imaging of the second image with a third exposure time longer than the first and second exposure times. And
In the synthesis of the first image and the second image, the higher the third exposure time is short, the image processing which is characterized that you reduce the ratio of the luminance of the second image to the luminance of the first image Method.
JP2015015808A 2015-01-29 2015-01-29 Image processing apparatus, imaging apparatus, and image processing method Active JP6338062B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015015808A JP6338062B2 (en) 2015-01-29 2015-01-29 Image processing apparatus, imaging apparatus, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015015808A JP6338062B2 (en) 2015-01-29 2015-01-29 Image processing apparatus, imaging apparatus, and image processing method

Publications (2)

Publication Number Publication Date
JP2016143903A JP2016143903A (en) 2016-08-08
JP6338062B2 true JP6338062B2 (en) 2018-06-06

Family

ID=56568890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015015808A Active JP6338062B2 (en) 2015-01-29 2015-01-29 Image processing apparatus, imaging apparatus, and image processing method

Country Status (1)

Country Link
JP (1) JP6338062B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3808248B2 (en) * 1999-08-20 2006-08-09 松下電器産業株式会社 Imaging device
JP2009135792A (en) * 2007-11-30 2009-06-18 Olympus Imaging Corp Imaging device and image signal processing method
JP6045894B2 (en) * 2012-11-30 2016-12-14 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． Image processing apparatus and image processing method

Also Published As

Publication number Publication date
JP2016143903A (en) 2016-08-08

Similar Documents

Publication Publication Date Title
JP4706466B2 (en) Imaging device
KR102170695B1 (en) Image processing apparatus and image processing method
JP2010114834A (en) Imaging apparatus
JP2011234318A (en) Imaging device
US20180284576A1 (en) Imaging apparatus, imaging method, and program
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
JP2013088587A (en) Stereoscopic imaging apparatus
WO2016167137A1 (en) Image-capturing device, image-capturing method, signal processing device, signal processing method, and program
JP2018078420A (en) Vehicle image display device and vehicle image display program
CN107431759B (en) Imaging device, imaging method, electronic apparatus, and in-vehicle electronic apparatus
JP3793487B2 (en) Imaging system
JP6543787B2 (en) Image processing apparatus and image processing method
JP5771767B1 (en) Image processing apparatus, display apparatus, imaging apparatus, image processing method, and program
JP4853434B2 (en) Image processing device
US20050258370A1 (en) Imaging system
KR102247597B1 (en) Image processing apparatus and image processing method
JP6338062B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2011181019A (en) Bird's-eye view image generation device
JP6999231B2 (en) Display control device, display control method and camera monitoring system
JP6762843B2 (en) Image processing equipment, image processing methods, and programs
JP5585808B2 (en) Monitoring device
JP5360589B2 (en) Imaging device
JP2017175199A (en) Target range setting method for vehicle cabin camera, and vehicle cabin camera
JP6786346B2 (en) Image processing equipment, image processing methods, and programs
JP5968097B2 (en) Imaging apparatus, control method thereof, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180424

R151 Written notification of patent or utility model registration

Ref document number: 6338062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151