JP7359091B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents
画像処理装置、画像処理方法、および画像処理プログラム Download PDFInfo
- Publication number
- JP7359091B2 JP7359091B2 JP2020121527A JP2020121527A JP7359091B2 JP 7359091 B2 JP7359091 B2 JP 7359091B2 JP 2020121527 A JP2020121527 A JP 2020121527A JP 2020121527 A JP2020121527 A JP 2020121527A JP 7359091 B2 JP7359091 B2 JP 7359091B2
- Authority
- JP
- Japan
- Prior art keywords
- tone curve
- image
- control point
- brightness
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 171
- 238000003672 processing method Methods 0.000 title claims description 17
- 230000000007 visual effect Effects 0.000 claims description 85
- 238000000034 method Methods 0.000 claims description 68
- 238000003384 imaging method Methods 0.000 claims description 45
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008094 contradictory effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、車両に搭載された撮像部を用いて取得された画像信号を処理する、画像処理装置、画像処理方法、および画像処理プログラムに関する。
特許文献１には、車両に搭載されるカメラシステムが開示されている。このカメラシステムは、撮像部と画像処理部とを備える。撮像部は、予め定められた周期内において複数のフレーム画像を撮像する。画像処理部は、撮像部から複数のフレーム画像を取得し、複数のフレーム画像から認識用フレーム画像と保存用フレーム画像とを個別に出力する。認識用フレーム画像は、画像認識に用いられる。保存用フレーム画像は、記録装置において保存される。記録装置は、カメラシステムから出力された保存用フレーム画像の記録を行うドライブレコーダとしての機能を有する。
かかる構成によれば、撮像部によって認識用フレーム画像と保存用フレーム画像との両方を撮像することができる。具体的には、認識用フレーム画像を用いて、車両制御を行うことができる。また、車両の挙動に関するイベントが発生した場合に、そのカメラシステムによって撮像した保存用フレーム画像をそのイベントに対応付けて記録することができる。したがって、車両構成の複雑化が抑制され、以て車両の重量増加を抑制できる。
この種の装置において、物標検知等に供される画像認識用と、目視による視認に供される視認用（すなわち例えばドライブレコーダ用）とで、画像信号に対する異なる処理が必要となる。具体的には、例えば、画像認識に適した処理を施した画像信号は、視認には適さないことがあり得る。
本発明は、上記に例示した事情等に鑑みてなされたものである。すなわち、本発明は、例えば、車載の撮像部を用いて取得された画像信号を、画像認識のみならず目視による視認にも適するように処理することが可能な、画像処理装置、画像処理方法、および画像処理プログラムを提供する。
請求項１に記載の画像処理装置（８）は、車両（Ｖ）に搭載された撮像部（７）を用いて取得された画像信号を処理するように構成されている。
この画像処理装置は、
前記画像信号における輝度ヒストグラムを取得する、ヒストグラム取得部（８２１）と、
前記ヒストグラム取得部にて取得した前記輝度ヒストグラムに基づいてトーンカーブを生成する、トーンカーブ生成部（８２２）と、
前記トーンカーブ生成部にて生成した前記トーンカーブを用いて前記画像信号を輝度補正することで、画像出力信号を生成する、出力信号生成部（８２３）と、
を備え、
前記トーンカーブ生成部は、
画像認識処理に供される前記画像出力信号である認識処理用信号の生成に用いられる前記トーンカーブである認識処理用トーンカーブと、目視による視認に供される前記画像出力信号である視認用信号の生成に用いられる前記トーンカーブであって前記認識処理用トーンカーブとは異なる視認用トーンカーブとを、別個に生成し、
前記輝度ヒストグラムにおける最低輝度部に対応するコントロールポイントである暗部コントロールポイント、前記輝度ヒストグラムにおける最高輝度部に対応するコントロールポイントである明部コントロールポイント、および、前記輝度ヒストグラムにおける中間輝度部に対応するコントロールポイントである中間コントロールポイントに基づいて、前記視認用トーンカーブを生成する。
請求項８に記載の画像処理方法は、車両（Ｖ）に搭載された撮像部（７）を用いて取得された画像信号を処理する方法であって、
前記画像信号における輝度ヒストグラムを取得する処理と、
取得した前記輝度ヒストグラムに基づいてトーンカーブを生成する処理と、
生成した前記トーンカーブを用いて前記画像信号を輝度補正することで、画像出力信号を生成する処理と、
を有し、
前記トーンカーブを生成する前記処理は、
画像認識処理に供される前記画像出力信号である認識処理用信号の生成に用いられる前記トーンカーブである認識処理用トーンカーブと、目視による視認に供される前記画像出力信号である視認用信号の生成に用いられる前記トーンカーブであって前記認識処理用トーンカーブとは異なる視認用トーンカーブとを、別個に生成し、
前記輝度ヒストグラムにおける最低輝度部に対応するコントロールポイントである暗部コントロールポイント、前記輝度ヒストグラムにおける最高輝度部に対応するコントロールポイントである明部コントロールポイント、および、前記輝度ヒストグラムにおける中間輝度部に対応するコントロールポイントである中間コントロールポイントに基づいて、前記視認用トーンカーブを生成する。
請求項１５に記載の画像処理プログラムは、車両（Ｖ）に搭載された撮像部（７）を用いて取得された画像信号を処理する画像処理装置（８）によって実行されるプログラムであって、
前記画像処理装置によって実行される処理は、
前記画像信号における輝度ヒストグラムを取得する処理と、
取得した前記輝度ヒストグラムに基づいてトーンカーブを生成する処理と、
生成した前記トーンカーブを用いて前記画像信号を輝度補正することで、画像出力信号を生成する処理と、
を有し、
前記トーンカーブを生成する前記処理は、
画像認識処理に供される前記画像出力信号である認識処理用信号の生成に用いられる前記トーンカーブである認識処理用トーンカーブと、目視による視認に供される前記画像出力信号である視認用信号の生成に用いられる前記トーンカーブであって前記認識処理用トーンカーブとは異なる視認用トーンカーブとを、別個に生成し、
前記輝度ヒストグラムにおける最低輝度部に対応するコントロールポイントである暗部コントロールポイント、前記輝度ヒストグラムにおける最高輝度部に対応するコントロールポイントである明部コントロールポイント、および、前記輝度ヒストグラムにおける中間輝度部に対応するコントロールポイントである中間コントロールポイントに基づいて、前記視認用トーンカーブを生成する。
この画像処理装置は、
前記画像信号における輝度ヒストグラムを取得する、ヒストグラム取得部（８２１）と、
前記ヒストグラム取得部にて取得した前記輝度ヒストグラムに基づいてトーンカーブを生成する、トーンカーブ生成部（８２２）と、
前記トーンカーブ生成部にて生成した前記トーンカーブを用いて前記画像信号を輝度補正することで、画像出力信号を生成する、出力信号生成部（８２３）と、
を備え、
前記トーンカーブ生成部は、
画像認識処理に供される前記画像出力信号である認識処理用信号の生成に用いられる前記トーンカーブである認識処理用トーンカーブと、目視による視認に供される前記画像出力信号である視認用信号の生成に用いられる前記トーンカーブであって前記認識処理用トーンカーブとは異なる視認用トーンカーブとを、別個に生成し、
前記輝度ヒストグラムにおける最低輝度部に対応するコントロールポイントである暗部コントロールポイント、前記輝度ヒストグラムにおける最高輝度部に対応するコントロールポイントである明部コントロールポイント、および、前記輝度ヒストグラムにおける中間輝度部に対応するコントロールポイントである中間コントロールポイントに基づいて、前記視認用トーンカーブを生成する。
請求項８に記載の画像処理方法は、車両（Ｖ）に搭載された撮像部（７）を用いて取得された画像信号を処理する方法であって、
前記画像信号における輝度ヒストグラムを取得する処理と、
取得した前記輝度ヒストグラムに基づいてトーンカーブを生成する処理と、
生成した前記トーンカーブを用いて前記画像信号を輝度補正することで、画像出力信号を生成する処理と、
を有し、
前記トーンカーブを生成する前記処理は、
画像認識処理に供される前記画像出力信号である認識処理用信号の生成に用いられる前記トーンカーブである認識処理用トーンカーブと、目視による視認に供される前記画像出力信号である視認用信号の生成に用いられる前記トーンカーブであって前記認識処理用トーンカーブとは異なる視認用トーンカーブとを、別個に生成し、
前記輝度ヒストグラムにおける最低輝度部に対応するコントロールポイントである暗部コントロールポイント、前記輝度ヒストグラムにおける最高輝度部に対応するコントロールポイントである明部コントロールポイント、および、前記輝度ヒストグラムにおける中間輝度部に対応するコントロールポイントである中間コントロールポイントに基づいて、前記視認用トーンカーブを生成する。
請求項１５に記載の画像処理プログラムは、車両（Ｖ）に搭載された撮像部（７）を用いて取得された画像信号を処理する画像処理装置（８）によって実行されるプログラムであって、
前記画像処理装置によって実行される処理は、
前記画像信号における輝度ヒストグラムを取得する処理と、
取得した前記輝度ヒストグラムに基づいてトーンカーブを生成する処理と、
生成した前記トーンカーブを用いて前記画像信号を輝度補正することで、画像出力信号を生成する処理と、
を有し、
前記トーンカーブを生成する前記処理は、
画像認識処理に供される前記画像出力信号である認識処理用信号の生成に用いられる前記トーンカーブである認識処理用トーンカーブと、目視による視認に供される前記画像出力信号である視認用信号の生成に用いられる前記トーンカーブであって前記認識処理用トーンカーブとは異なる視認用トーンカーブとを、別個に生成し、
前記輝度ヒストグラムにおける最低輝度部に対応するコントロールポイントである暗部コントロールポイント、前記輝度ヒストグラムにおける最高輝度部に対応するコントロールポイントである明部コントロールポイント、および、前記輝度ヒストグラムにおける中間輝度部に対応するコントロールポイントである中間コントロールポイントに基づいて、前記視認用トーンカーブを生成する。
なお、出願書類の各欄において、各要素に括弧付きの参照符号が付される場合がある。しかしながら、かかる参照符号は、同要素と後述する実施形態に記載の具体的手段との対応関係の一例を、単に示すものにすぎない。よって、本発明は、上記の参照符号の記載によって、何ら限定されるものではない。
（実施形態）
以下、本発明の実施形態を、図面に基づいて説明する。なお、一つの実施形態に対して適用可能な各種の変形例については、当該実施形態に関する一連の説明の途中に挿入されると、当該実施形態の理解が妨げられるおそれがある。このため、変形例については、当該実施形態に関する一連の説明の途中には挿入せず、その後にまとめて説明する。
以下、本発明の実施形態を、図面に基づいて説明する。なお、一つの実施形態に対して適用可能な各種の変形例については、当該実施形態に関する一連の説明の途中に挿入されると、当該実施形態の理解が妨げられるおそれがある。このため、変形例については、当該実施形態に関する一連の説明の途中には挿入せず、その後にまとめて説明する。
（車載システム構成）
図１を参照すると、車両Ｖには、車載システム１が搭載されている。車載システム１は、カメラシステム２と、センシングシステム３と、車両制御システム４と、記録部５と、通信部６とを備えている。
図１を参照すると、車両Ｖには、車載システム１が搭載されている。車載システム１は、カメラシステム２と、センシングシステム３と、車両制御システム４と、記録部５と、通信部６とを備えている。
カメラシステム２は、車両Ｖの周囲（例えば前方および／または後方）の画像を撮像して、撮像結果に対応する画像出力信号を記録部５に出力するように構成されている。また、カメラシステム２は、撮像結果に基づいて車両Ｖの周囲の物標を画像認識して、画像認識結果を車両制御システム４および記録部５に出力するように構成されている。カメラシステム２の構成の詳細については後述する。
センシングシステム３は、車両Ｖの状態あるいは挙動をセンシングするように設けられている。すなわち、センシングシステム３は、加速度センサ、車速センサ、測位センサ、蛇角センサ、ヨーレートセンサ、温度センサ、ドア施解錠検出センサ、レーダセンサ、超音波センサ、等の各種センサを備えている。そして、センシングシステム３は、これら各種センサの出力に基づいてセンシングした、車両Ｖの状態あるいは挙動に対応する情報あるいは信号を、車両制御システム４および記録部５に出力するように構成されている。
車両制御システム４は、カメラシステム２およびセンシングシステム３から出力された情報あるいは信号に基づいて、車両Ｖにおける加速、制動、操舵等の運転制御あるいは運転自動化制御を実行するように構成されている。「運転自動化制御」には、ＳＡＥ Internationalによって公開された規格「ＳＡＥ Ｊ３０１６」における、レベル１に相当する「運転支援」、レベル２に相当する「高度運転支援」、あるいは、レベル３以上に相当する「自動運転」を実現するための制御が含まれる。すなわち、車載システム１は、「ＳＡＥ Ｊ３０１６」における「運転自動化システム」あるいは「自動運転システム」に相当する構成を有している。ＳＡＥはSociety of Automotive Engineersの略である。
記録部５は、カメラシステム２、センシングシステム３、および車両制御システム４から出力された情報あるいは信号を、書き換え可能に所定容量分記録するように設けられている。すなわち、記録部５は、カメラシステム２と協働することで、ドライブレコーダとしての機能を奏するように構成されている。また、記録部５は、センシングシステム３および車両制御システム４と協働することで、車両Ｖの挙動を表す情報を記録するイベントデータレコーダとしての機能を奏するように構成されている。
車載システム１は、車両Ｖの外部に設けられた外部機器Ｇと、通信回線Ｎを介して情報通信可能に接続されている。通信部６は、通信回線Ｎを介しての車載システム１と外部機器Ｇとの情報通信を実行するように、車載システム１に設けられている。
外部機器Ｇは、例えば、Ｖ２Ｘ通信における通信相手側機器である。Ｖ２ＸはVehicle-to-ＸすなわちVehicle-to-Everythingの略である。具体的には、外部機器Ｇは、例えば、移動サービスに関するプラットフォーム（例えばＭａａＳプラットフォーム等）におけるサーバ装置である。ＭａａＳはMobility as a Serviceの略である。あるいは、外部機器Ｇは、例えば、車両Ｖの乗員によって車両Ｖの車室内に持ち込まれた携帯端末機器（例えばスマートフォン等）である。通信部６は、車載システム１に複数種類の外部機器Ｇが逐次あるいは同時に接続され得るように構成されている。
（カメラシステム）
カメラシステム２は、撮像部７と処理部８とを備えている。撮像部７は、ＣＭＯＳイメージセンサ等の撮像素子７１により、予め定められた周期内において複数のフレーム画像をそれぞれ異なるタイミングで撮像するように構成されている。ＣＭＯＳはComplementary Metal Oxide Semiconductorの略である。
カメラシステム２は、撮像部７と処理部８とを備えている。撮像部７は、ＣＭＯＳイメージセンサ等の撮像素子７１により、予め定められた周期内において複数のフレーム画像をそれぞれ異なるタイミングで撮像するように構成されている。ＣＭＯＳはComplementary Metal Oxide Semiconductorの略である。
処理部８は、いわゆるカメラＥＣＵであって、撮像部７による撮像処理を制御するとともに、かかる撮像処理により生成された画像信号に対して各種の処理を実行するように構成されている。本実施形態においては、処理部８は、不図示のＣＰＵ、ＲＯＭ、不揮発性リライタブルメモリ、ＲＡＭ、入出力インタフェース、等を備えた、いわゆる車載マイクロコンピュータとしての構成を有している。不揮発性リライタブルメモリは、例えば、ハードディスク、ＥＥＰＲＯＭ、フラッシュＲＯＭ、等の、コンピュータ読み取り可能な非遷移的実体的記憶媒体である。
本発明の画像処理方法を実行する、本発明の画像処理装置としての処理部８は、撮像部７を用いて取得された画像信号を処理するように設けられている。本実施形態においては、処理部８は、撮像部７における露光制御、および、撮像部７の出力である画像信号に対する各種処理を実行するように構成されている。具体的には、処理部８は、露光制御部８１と、画像処理部８２と、認識処理部８３とを備えている。
露光制御部８１は、センシングシステム３から取得した車両Ｖの周囲照度、および／または、撮像部７から出力された画像信号に基づいて、撮像素子７１の露光制御を実行するように設けられている。かかる露光制御部８１の構成は、本願の出願時点において既に周知あるいは公知となっている。このため、露光制御部８１の構成のこれ以上の詳細については、本明細書においては説明を省略する。
画像処理部８２は、撮像部７から取得した画像信号を処理することで、認識処理用信号および視認用信号を生成および出力するように設けられている。認識処理用信号は、認識処理部８３における画像認識処理に供される画像出力信号である。視認用信号は、目視による視認に供される、ドライブレコーダ用の画像出力信号である。すなわち、画像処理部８２は、共通の撮像部７により取得された画像信号に基づいて、画像認識処理に供される画像出力信号とドライブレコーダ機能に供される画像出力信号とをそれぞれ別個に生成するように構成されている。
画像処理部８２は、画像信号の輝度補正に関する構成として、ヒストグラム取得部８２１と、トーンカーブ生成部８２２と、出力信号生成部８２３とを備えている。本実施形態においては、ヒストグラム取得部８２１、トーンカーブ生成部８２２、および出力信号生成部８２３は、車載マイクロコンピュータ上に実現された機能構成として設けられるようになっている。
ヒストグラム取得部８２１は、撮像部７から取得した画像信号における輝度の度数分布である輝度ヒストグラムを取得するように設けられている。具体的には、ヒストグラム取得部８２１は、撮像部７から取得した画像信号における各画素の輝度を用いて、輝度ヒストグラムを生成するようになっている。トーンカーブ生成部８２２は、ヒストグラム取得部８２１にて取得した輝度ヒストグラムに基づいて、画像処理としての輝度補正に用いるトーンカーブを生成するように設けられている。出力信号生成部８２３は、トーンカーブ生成部８２２にて生成したトーンカーブを用いて画像信号を輝度補正することで、画像認識用の画像出力信号およびドライブレコーダ用の画像出力信号をそれぞれ生成するように設けられている。
より詳細には、トーンカーブ生成部８２２は、認識処理用トーンカーブと視認用トーンカーブとを別個に生成するようになっている。認識処理用トーンカーブは、認識処理用信号の生成に用いられるトーンカーブである。視認用信号の生成に用いられる視認用トーンカーブは、認識処理用トーンカーブとは異なる特性を有するトーンカーブである。
図２は、輝度ヒストグラムとトーンカーブとの関係を示す。図２において、横軸は輝度を示す。横軸よりも上側のグラフは、輝度ヒストグラムを示す。輝度ヒストグラムを示すグラフにおける、上向きの矢印で示された縦軸は、度数すなわち累積度数割合を示す。横軸よりも下側のグラフは、トーンカーブを示す。トーンカーブを示すグラフにおける、下向きの矢印で示された縦軸は、８ビットすなわち０～２５５の値で表される画素値を示す。点線で示されたトーンカーブは認識処理用トーンカーブであり、実線で示されたトーンカーブは視認用トーンカーブである。
トーンカーブ生成部８２２は、輝度ヒストグラムにて輝度下限値と輝度上限値とを決定した上で、階調性が一定になるような認識処理用トーンカーブを生成するようになっている。これに対し、トーンカーブ生成部８２２は、輝度ヒストグラムに基づいて複数のコントロールポイントを決定した上で、これらのコントロールポイントを滑らかにつなぐような視認用トーンカーブを生成するようになっている。
トーンカーブ生成部８２２は、図２に示された５つのコントロールポイントすなわち暗部コントロールポイントＣＰ１～明部コントロールポイントＣＰ５に基づいて、視認用トーンカーブを生成するようになっている。具体的には、トーンカーブ生成部８２２は、決定した５つのコントロールポイントを、ガンマ、スプライン、あるいはｌｏｇで滑らかにつなぐことで、視認用トーンカーブを生成するようになっている。
図２を参照すると、暗部コントロールポイントＣＰ１は、輝度ヒストグラムにおける最低輝度部に対応するコントロールポイントである。具体的には、暗部コントロールポイントＣＰ１は、度数Ｆ１（例えば０．５％）に対応して、画素値が最低値すなわち「０」に設定されるようになっている。
追加暗部コントロールポイントＣＰ２は、輝度ヒストグラムにおける最低輝度部よりも高輝度側にて暗部コントロールポイントＣＰ１に近接するコントロールポイントである。具体的には、追加暗部コントロールポイントＣＰ２は、度数Ｆ２（例えば５％）に対応して、画素値が「２０」に設定されるようになっている。
中間コントロールポイントＣＰ３は、輝度ヒストグラムにおける中間輝度部に対応するコントロールポイントである。具体的には、中間コントロールポイントＣＰ３は、度数Ｆ３（例えば５０％）に対応して、画素値が「１４０」に設定されるようになっている。
追加明部コントロールポイントＣＰ４は、輝度ヒストグラムにおける最高輝度部よりも低輝度側にて明部コントロールポイントＣＰ５に近接するコントロールポイントである。具体的には、追加明部コントロールポイントＣＰ４は、度数Ｆ４（例えば９５％）に対応して、画素値が「２４０」に設定されるようになっている。
明部コントロールポイントＣＰ５は、輝度ヒストグラムにおける最高輝度部に対応するコントロールポイントである。具体的には、明部コントロールポイントＣＰ５は、度数Ｆ５（例えば９９．５％）に対応して、画素値が最高値すなわち「２５５」に設定されるようになっている。
頻繁にコントロールポイントが変動することによる画面のちらつきを回避するため、トーンカーブ生成部８２２は、輝度ヒストグラムの変化に伴うコントロールポイントの変化量を制限するようになっている。具体的には、トーンカーブ生成部８２２は、暗部コントロールポイントＣＰ１～明部コントロールポイントＣＰ５の各々における変化量を、ローパスフィルタ処理、なまし演算処理、あるいはガード処理等の周知の方法により制限するようになっている。
出力信号生成部８２３は、認識処理用トーンカーブを用いて認識処理用信号を生成するとともに、生成した認識処理用信号を認識処理部８３に出力するように設けられている。認識処理部８３は、画像処理部８２から出力された認識処理用信号を用いて、撮像部７の撮像範囲における物標の画像認識処理を実行するように設けられている。そして、認識処理部８３は、物標の画像認識処理結果を、車両制御システム４および記録部５に出力するようになっている。
また、出力信号生成部８２３は、認識処理用トーンカーブとは異なる視認用トーンカーブを用いて視認用信号を生成するとともに、生成した視認用信号を記録部５に出力するように設けられている。すなわち、出力信号生成部８２３は、記録部５から外部機器Ｇまたは不図示の車室内の画像表示装置に送信されることで目視により視認される、ドライブレコーダ用の視認用信号を生成するようになっている。
（効果）
以下、本実施形態の構成による動作の概要、ならびに、本実施形態に係る画像処理方法および画像処理プログラムに含まれる処理の概要について、本実施形態により奏される効果とともに、各図面を参照しつつ説明する。
以下、本実施形態の構成による動作の概要、ならびに、本実施形態に係る画像処理方法および画像処理プログラムに含まれる処理の概要について、本実施形態により奏される効果とともに、各図面を参照しつつ説明する。
撮像部７は、内部に備えられた撮像素子７１を用いて、予め定められた周期内において複数のフレーム画像をそれぞれ異なるタイミングで撮像する。例えば、撮像部７は、１０～６０フレーム／秒のフレームレートでフレーム画像を撮像する。具体的には、例えば、撮像部７は、１秒間に４０枚のフレーム画像を、等間隔すなわち２５ｍｓ間隔で撮像する。
処理部８は、車両Ｖに搭載された撮像部７を用いて取得された画像信号を処理する。すなわち、処理部８は、ＲＯＭまたは不揮発性リライタブルメモリに格納された本実施形態に係る画像処理プログラムを読み出してＣＰＵで実行することで、撮像部７から出力された画像信号を処理する。
具体的には、画像処理部８２は、撮像部７から、画像信号としての複数のフレーム画像を取得する。そして、画像処理部８２は、取得したフレーム画像を処理することで、画像認識処理に用いられる画像出力信号である認識処理用信号としての認識用フレーム画像を生成する。また、画像処理部８２は、取得したフレーム画像を処理することで、目視による視認に供される画像出力信号である視認用信号としての保存用フレーム画像を、認識用フレーム画像とは別個に生成する。
画像処理部８２は、画像認識処理に供される認識用フレーム画像と、記録部５にて保存され目視による視認に供される保存用フレーム画像とを、個別に出力する。画像処理部８２から出力された保存用フレーム画像は、記録部５にて保存される。認識処理部８３は、画像処理部８２から出力された認識用フレーム画像を用いて、撮像部７の撮像範囲における物標の認識処理を実行する。認識処理部８３による画像認識処理結果は、車両制御システム４および記録部５に出力される。
処理部８すなわち画像処理部８２により実行される画像処理における輝度補正について、以下詳述する。なお、画像処理部８２においては、黒レベル減算、ＨＤＲ伸長、デモザイク、等の、輝度補正以外の処理も適宜実行される。ＨＤＲはハイダイナミックレンジの略称である。しかしながら、これらの処理は、本願の出願時点において既に周知あるいは公知となっている。このため、これらの処理の詳細については、本明細書においては説明を省略する。
ヒストグラム取得部８２１は、撮像部７を用いて取得された画像信号における輝度ヒストグラムを取得すなわち生成する。トーンカーブ生成部８２２は、取得した輝度ヒストグラムに基づいて、トーンカーブを生成する。出力信号生成部８２３は、生成したトーンカーブを用いて画像信号を輝度補正することで、画像出力信号を生成する。より詳細には、出力信号生成部８２３は、画像認識処理に供される画像出力信号である認識処理用信号と、目視による視認に供される画像出力信号である視認用信号とを、別個に生成する。
ここで、物標検知に供される画像認識用の画像信号と、目視による視認に供される視認用の画像信号とで、異なる画像処理が必要となる。すなわち、例えば、画像認識に適した処理を施した画像信号は、視認には適さないことがある。具体的には、例えば、暗い領域を明るく補正すると、物標認識精度は高まる一方、現実の見え方から乖離した画質となって目視による視認には適さなくなることがある。
そこで、トーンカーブ生成部８２２は、画像認識処理に供される認識処理用信号の生成に用いられる認識処理用トーンカーブと、目視による視認に供される視認用信号の生成に用いられる視認用トーンカーブとを、別個に生成する。そして、出力信号生成部８２３は、認識処理用トーンカーブを用いて認識処理用信号を生成するとともに、生成した認識処理用信号を認識処理部８３に出力する。一方、出力信号生成部８２３は、視認用トーンカーブを用いて視認用信号を生成するとともに、生成した視認用信号を記録部５に出力する。これにより、共通の撮像部７により取得された画像信号に基づいて、画像認識処理に供される画像出力信号とドライブレコーダ機能に供される画像出力信号とを良好に生成することが可能となる。
具体的には、トーンカーブ生成部８２２は、輝度ヒストグラムにて輝度下限値と輝度上限値とを決定した上で、階調性が一定になるような認識処理用トーンカーブを生成する。これにより、画像認識処理に供される画像出力信号である認識用フレーム画像における良好な認識精度が得られる。しかしながら、認識用フレーム画像は、目視により視認した場合、コントラストが低く感じられるため、目視により視認には不向きである。
そこで、トーンカーブ生成部８２２は、輝度ヒストグラムに基づいて、図２に示された５つのコントロールポイントすなわち暗部コントロールポイントＣＰ１～明部コントロールポイントＣＰ５を決定する。そして、トーンカーブ生成部８２２は、これら５つのコントロールポイントを、ガンマ、スプライン、あるいはｌｏｇで滑らかにつなぐことで、視認用トーンカーブを生成する。
暗部コントロールポイントＣＰ１は、例えば、黒服の歩行者が黒潰れしないように、輝度ヒストグラムにおける最低輝度部に対応して、最低画素値「０」に設定される。追加暗部コントロールポイントＣＰ２は、輝度ヒストグラムにおける最低輝度部よりも高輝度側にて暗部コントロールポイントＣＰ１に近接するように、底度数域（例えば５％）にて低画素値「２０」に設定される。これにより、例えば、影、トンネル内、夜間、等の暗部における視認性が、良好に確保され得る。
中間コントロールポイントＣＰ３は、画面全体の視認性確保のため、輝度ヒストグラムにおける中間輝度部に対応して、中間画素値「１４０」に設定される。追加明部コントロールポイントＣＰ４は、輝度ヒストグラムにおける最高輝度部よりも低輝度側にて明部コントロールポイントＣＰ５に近接するように、高度数域（例えば９５％）にて高画素値「２４０」に設定される。これにより、信号灯火、トンネル出口、車両灯火、街灯、等の明部における視認性が、良好に確保され得る。明部コントロールポイントＣＰ５は、飽和しないように、輝度ヒストグラムにおける最高輝度部に対応して、最高画素値「２５５」に設定される。
このように、本実施形態は、暗部コントロールポイントＣＰ１～明部コントロールポイントＣＰ５に基づいて、認識処理用トーンカーブとは異なる視認用トーンカーブを生成する。これにより、ドライブレコーダ機能に供される画像出力信号である保存用フレーム画像の視認性が良好となる。具体的には、例えば、信号灯火および他車両のナンバープレートが飽和しないようにしつつ、夜間の視認性が良好に確保され得る。
本実施形態においては、トーンカーブ生成部８２２は、輝度ヒストグラムの変化に伴うコントロールポイントの変化量を制限する。これにより、頻繁にコントロールポイントが変動することによる画面のちらつきを良好に回避することが可能となる。
視認用トーンカーブを用いて生成された視認用信号は、例えば、不図示の車室内の画像表示装置に送信されることで、ドライブレコーダ用の画像出力信号として良好に用いられる。あるいは、かかる視認用信号は、例えば、車両Ｖの車室内に持ち込まれた携帯端末機器である外部機器Ｇに送信されることで、ドライブレコーダ用の画像出力信号として良好に用いられる。また、かかる視認用信号は、例えば、外部機器Ｇとしてのサーバ装置に送信されることで、地図生成、落下物検知、故障車両検知、等のためのＭａａＳデータとして良好に用いられる。
（具体例）
以下、画像処理部８２として機能する、処理部８に設けられた不図示のＣＰＵの動作の具体例について、図３に示されたフローチャートを参照しつつ説明する。図中、「Ｓ」は、「ステップ」を略記したものである。また、処理部８に設けられた不図示のＣＰＵ、不揮発性リライタブルメモリ、およびＲＡＭを、以下単に「ＣＰＵ」、「不揮発メモリ」、および「ＲＡＭ」と略称する。
以下、画像処理部８２として機能する、処理部８に設けられた不図示のＣＰＵの動作の具体例について、図３に示されたフローチャートを参照しつつ説明する。図中、「Ｓ」は、「ステップ」を略記したものである。また、処理部８に設けられた不図示のＣＰＵ、不揮発性リライタブルメモリ、およびＲＡＭを、以下単に「ＣＰＵ」、「不揮発メモリ」、および「ＲＡＭ」と略称する。
撮像部７からフレーム画像を取得すると、まず、ステップ３０１にて、ＣＰＵは、輝度ヒストグラムを取得すなわち生成し、不揮発メモリまたはＲＡＭに格納する。次に、ステップ３０２にて、ＣＰＵは、今回の画像処理が認識処理用信号の生成処理であるか否かを判定する。
今回の画像処理が認識処理用信号の生成処理である場合（すなわちステップ３０２＝ＹＥＳ）、ＣＰＵは、処理をステップ３０３に進行させる。ステップ３０３にて、ＣＰＵは、認識処理用トーンカーブを生成し、不揮発メモリまたはＲＡＭに格納する。その後、ＣＰＵは、ステップ３０４の処理を実行した後、図３に示された処理を一旦終了する。ステップ３０４にて、ＣＰＵは、ステップ３０３にて生成した認識処理用トーンカーブを用いて、輝度補正を実行する。
今回の画像処理が視認用信号の生成処理である場合（すなわちステップ３０２＝ＮＯ）、ＣＰＵは、処理をステップ３０５～ステップ３０８に進行させる。ステップ３０５にて、ＣＰＵは、今回取得した輝度ヒストグラムに基づいて、暗部コントロールポイントＣＰ１～明部コントロールポイントＣＰ５を設定すなわち算出し、不揮発メモリまたはＲＡＭに格納する。
ステップ３０６にて、ＣＰＵは、暗部コントロールポイントＣＰ１～明部コントロールポイントＣＰ５の各々における変化量を制限する。変化量の制限には、例えば、ローパスフィルタ処理、なまし演算処理、あるいはガード処理等の、周知の方法が用いられ得る。これにより、今回取得したフレーム画像に適用される視認用トーンカーブを生成するための暗部コントロールポイントＣＰ１～明部コントロールポイントＣＰ５が決定される（すなわちステップ３０７）。ステップ３０７にて決定された暗部コントロールポイントＣＰ１～明部コントロールポイントＣＰ５は、不揮発メモリまたはＲＡＭに格納される
ステップ３０７にて暗部コントロールポイントＣＰ１～明部コントロールポイントＣＰ５が決定されると、ＣＰＵは、処理をステップ３０８に進行させる。ステップ３０８にて、ＣＰＵは、ステップ３０７にて決定された暗部コントロールポイントＣＰ１～明部コントロールポイントＣＰ５に基づいて視認用トーンカーブを生成し、不揮発メモリまたはＲＡＭに格納する。その後、ＣＰＵは、ステップ３０４の処理を実行した後、図３に示された処理を一旦終了する。ステップ３０４にて、ＣＰＵは、ステップ３０８にて生成した視認用トーンカーブを用いて、輝度補正を実行する。
（変形例）
本発明は、上記実施形態に限定されるものではない。故に、上記実施形態に対しては、適宜変更が可能である。以下、代表的な変形例について説明する。以下の変形例の説明においては、上記実施形態との相違点を主として説明する。また、上記実施形態と変形例とにおいて、互いに同一または均等である部分には、同一符号が付されている。したがって、以下の変形例の説明において、上記実施形態と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、上記実施形態における説明が適宜援用され得る。
本発明は、上記実施形態に限定されるものではない。故に、上記実施形態に対しては、適宜変更が可能である。以下、代表的な変形例について説明する。以下の変形例の説明においては、上記実施形態との相違点を主として説明する。また、上記実施形態と変形例とにおいて、互いに同一または均等である部分には、同一符号が付されている。したがって、以下の変形例の説明において、上記実施形態と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、上記実施形態における説明が適宜援用され得る。
本発明は、上記実施形態にて示された具体的な装置構成に限定されない。例えば、撮像部７と処理部８とは、同一の筐体内に保持されていてもよい。あるいは、撮像部７と処理部８とは、それぞれ別々の筐体内に保持されていてもよい。
処理部８は、上記のような動作を可能に構成されたデジタル回路、例えばＡＳＩＣあるいはＦＰＧＡを備えた構成であってもよい。ＡＳＩＣはApplication Specific Integrated Circuitの略である。ＦＰＧＡはField Programmable Gate Arrayの略である。すなわち、処理部８において、車載マイクロコンピュータ部分とデジタル回路部分とは併存し得る。
処理部８は、画像処理部８２のみを有するものであってもよい。この場合、画像処理部８２は、処理部８と同視され得る。すなわち、画像処理部８２は、本発明の画像処理方法を実行する、本発明の画像処理装置として捉えられ得る。具体的には、例えば、露光制御部８１は、撮像部７側に設けられ得る。また、例えば、認識処理部８３は、処理部８の外部、具体的には、センシングシステム３または車両制御システム４に設けられ得る。
上記実施形態において、ヒストグラム取得部８２１は、撮像部７を用いて取得された画像信号における輝度ヒストグラムを生成すなわち算出している。このため、ヒストグラム取得部８２１は、「ヒストグラム生成部」とも称され得る。しかしながら、本発明は、かかる態様に限定されない。すなわち、例えば、カメラシステム２には、輝度ヒストグラムを生成すなわち算出するヒストグラム生成部が、ヒストグラム取得部８２１とは別個に設けられていてもよい。この場合、ヒストグラム取得部８２１は、ヒストグラム生成部による輝度ヒストグラムの生成結果を、ヒストグラム生成部から受け取る。
上記実施形態にて説明した、各種の動作、手順、あるいは処理を実行可能とする、本発明に係るプログラムは、Ｖ２Ｘ通信を介して、ダウンロードあるいはアップグレードされ得る。あるいは、かかるプログラムは、車両Ｖの製造工場、整備工場、販売店、等に設けられた端末機器を介して、ダウンロードあるいはアップグレードされ得る。かかるプログラムの格納先は、メモリーカード、光学ディスク、磁気ディスク、等であってもよい。
このように、上記の各機能構成および方法は、コンピュータプログラムにより具体化された一つあるいは複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、上記の各機能構成および方法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、上記の各機能構成および方法は、一つあるいは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。
また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移的実体的記憶媒体に記憶されていてもよい。すなわち、上記の各機能構成および方法は、これを実現するための手順を含むコンピュータプログラム、あるいは、当該プログラムを記憶した非遷移的実体的記憶媒体としても表現可能である。
本発明は、上記実施形態にて示された具体的な動作態様に限定されない。例えば、図２を参照すると、視認用トーンカーブは、暗部コントロールポイントＣＰ１～明部コントロールポイントＣＰ５以外のさらなる追加のコントロールポイントに基づいて生成され得る。
暗部コントロールポイントＣＰ１に対応する度数Ｆ１は、０．５％に限定されない。すなわち、例えば、度数Ｆ１は、０．１～１％であってもよい。度数Ｆ２～Ｆ５も、同様に、上記の具体例から適宜変更され得る。また、中間コントロールポイントＣＰ３は、輝度ヒストグラムにおける輝度平均値に対応するコントロールポイントであってもよい。
上記実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に本発明が限定されることはない。同様に、構成要素等の形状、方向、位置関係等が言及されている場合、特に必須であると明示した場合および原理的に特定の形状、方向、位置関係等に限定される場合等を除き、その形状、方向、位置関係等に本発明が限定されることはない。
変形例も、上記の例示に限定されない。例えば、複数の実施形態のうちの１つにおける全部または一部と、他の１つにおける全部または一部とが、技術的に矛盾しない限り、互いに組み合わされ得る。組み合わせる数についても特段の限定はない。同様に、複数の変形例のうちの１つにおける全部または一部と、他の１つにおける全部または一部とが、技術的に矛盾しない限り、互いに組み合わされ得る。さらに、複数の実施形態のうちの１つにおける全部または一部と、複数の変形例のうちの１つにおける全部または一部とが、技術的に矛盾しない限り、互いに組み合わされ得る。
「生成」、「算出」、「取得」、「検知」、「検出」、等の、互いに関連あるいは類似する意義を有する用語は、技術的に矛盾しない限り、互換され得る。その他の用語の言い換えに関しても、技術的に矛盾しない限り、許容され得る。
（補足）
上記実施形態および変形例によって示された本開示は、画像制御プログラムに関する、以下の各観点を含む。なお、下記の各観点は、技術的に矛盾しない限り、互いに組み合わせて適用可能である。
上記実施形態および変形例によって示された本開示は、画像制御プログラムに関する、以下の各観点を含む。なお、下記の各観点は、技術的に矛盾しない限り、互いに組み合わせて適用可能である。
第１の観点によれば、車両（Ｖ）に搭載された撮像部（７）を用いて取得された画像信号を処理する画像処理装置（８）によって実行される、画像処理プログラムにおいて、
前記画像処理装置によって実行される処理は、
前記画像信号における輝度ヒストグラムを取得する処理と、
取得した前記輝度ヒストグラムに基づいてトーンカーブを生成する処理と、
生成した前記トーンカーブを用いて前記画像信号を輝度補正することで、画像出力信号を生成する処理と、
を有し、
前記トーンカーブを生成する前記処理は、
画像認識処理に供される前記画像出力信号である認識処理用信号の生成に用いられる前記トーンカーブである認識処理用トーンカーブと、目視による視認に供される前記画像出力信号である視認用信号の生成に用いられる前記トーンカーブであって前記認識処理用トーンカーブとは異なる視認用トーンカーブとを、別個に生成し、
前記輝度ヒストグラムにおける最低輝度部に対応するコントロールポイントである暗部コントロールポイント、前記輝度ヒストグラムにおける最高輝度部に対応するコントロールポイントである明部コントロールポイント、および、前記輝度ヒストグラムにおける中間輝度部に対応するコントロールポイントである中間コントロールポイントに基づいて、前記視認用トーンカーブを生成する。
前記画像処理装置によって実行される処理は、
前記画像信号における輝度ヒストグラムを取得する処理と、
取得した前記輝度ヒストグラムに基づいてトーンカーブを生成する処理と、
生成した前記トーンカーブを用いて前記画像信号を輝度補正することで、画像出力信号を生成する処理と、
を有し、
前記トーンカーブを生成する前記処理は、
画像認識処理に供される前記画像出力信号である認識処理用信号の生成に用いられる前記トーンカーブである認識処理用トーンカーブと、目視による視認に供される前記画像出力信号である視認用信号の生成に用いられる前記トーンカーブであって前記認識処理用トーンカーブとは異なる視認用トーンカーブとを、別個に生成し、
前記輝度ヒストグラムにおける最低輝度部に対応するコントロールポイントである暗部コントロールポイント、前記輝度ヒストグラムにおける最高輝度部に対応するコントロールポイントである明部コントロールポイント、および、前記輝度ヒストグラムにおける中間輝度部に対応するコントロールポイントである中間コントロールポイントに基づいて、前記視認用トーンカーブを生成する。
第２の観点によれば、前記トーンカーブを生成する前記処理は、前記輝度ヒストグラムにおける前記最低輝度部よりも高輝度側にて前記暗部コントロールポイントに近接するコントロールポイントである追加暗部コントロールポイントに基づいて、前記視認用トーンカーブを生成する処理である。
第３の観点によれば、前記トーンカーブを生成する前記処理は、前記輝度ヒストグラムにおける前記最高輝度部よりも低輝度側にて前記明部コントロールポイントに近接するコントロールポイントである追加明部コントロールポイントに基づいて、前記視認用トーンカーブを生成する処理である。
第４の観点によれば、前記トーンカーブを生成する前記処理は、前記輝度ヒストグラムの変化に伴う前記コントロールポイントの変化量を制限する処理を含む。
第５の観点によれば、前記トーンカーブを生成する前記処理は、ガンマまたはスプラインを用いて、前記視認用トーンカーブを生成する処理である。
第６の観点によれば、前記画像出力信号を生成する前記処理は、ドライブレコーダ用の前記視認用信号を生成する処理である。
第７の観点によれば、前記画像出力信号を生成する前記処理は、当該画像処理方法を実行する画像処理装置（８）を備え前記車両に搭載された車載システム（１）と通信回線（Ｎ）を介して接続された、前記車両の外部に設けられた外部機器（Ｇ）に送信される、前記視認用信号を生成する処理である。
１ 車載システム
７ 撮像部
８２ 画像処理部
８２１ ヒストグラム取得部
８２２ トーンカーブ生成部
８２３ 出力信号生成部
８３ 認識処理部
Ｇ 外部機器
Ｎ 通信回線
Ｖ 車両
７ 撮像部
８２ 画像処理部
８２１ ヒストグラム取得部
８２２ トーンカーブ生成部
８２３ 出力信号生成部
８３ 認識処理部
Ｇ 外部機器
Ｎ 通信回線
Ｖ 車両
Claims (15)
- 車両（Ｖ）に搭載された撮像部（７）を用いて取得された画像信号を処理する画像処理装置（８）であって、
前記画像信号における輝度ヒストグラムを取得する、ヒストグラム取得部（８２１）と、
前記ヒストグラム取得部にて取得した前記輝度ヒストグラムに基づいてトーンカーブを生成する、トーンカーブ生成部（８２２）と、
前記トーンカーブ生成部にて生成した前記トーンカーブを用いて前記画像信号を輝度補正することで、画像出力信号を生成する、出力信号生成部（８２３）と、
を備え、
前記トーンカーブ生成部は、
画像認識処理に供される前記画像出力信号である認識処理用信号の生成に用いられる前記トーンカーブである認識処理用トーンカーブと、目視による視認に供される前記画像出力信号である視認用信号の生成に用いられる前記トーンカーブであって前記認識処理用トーンカーブとは異なる視認用トーンカーブとを、別個に生成し、
前記輝度ヒストグラムにおける最低輝度部に対応するコントロールポイントである暗部コントロールポイント、前記輝度ヒストグラムにおける最高輝度部に対応するコントロールポイントである明部コントロールポイント、および、前記輝度ヒストグラムにおける中間輝度部に対応するコントロールポイントである中間コントロールポイントに基づいて、前記視認用トーンカーブを生成する、
画像処理装置。 - 前記トーンカーブ生成部は、前記輝度ヒストグラムにおける前記最低輝度部よりも高輝度側にて前記暗部コントロールポイントに近接するコントロールポイントである追加暗部コントロールポイントに基づいて、前記視認用トーンカーブを生成する、
請求項１に記載の画像処理装置。 - 前記トーンカーブ生成部は、前記輝度ヒストグラムにおける前記最高輝度部よりも低輝度側にて前記明部コントロールポイントに近接するコントロールポイントである追加明部コントロールポイントに基づいて、前記視認用トーンカーブを生成する、
請求項１または２に記載の画像処理装置。 - 前記トーンカーブ生成部は、前記輝度ヒストグラムの変化に伴う前記コントロールポイントの変化量を制限する、
請求項１～３のいずれか１つに記載の画像処理装置。 - 前記トーンカーブ生成部は、ガンマまたはスプラインを用いて、前記視認用トーンカーブを生成する、
請求項１～４のいずれか１つに記載の画像処理装置。 - 前記出力信号生成部は、ドライブレコーダ用の前記視認用信号を生成する、
請求項１～５のいずれか１つに記載の画像処理装置。 - 前記出力信号生成部は、当該画像処理装置を備え前記車両に搭載された車載システム（１）と通信回線（Ｎ）を介して接続された、前記車両の外部に設けられた外部機器（Ｇ）に送信される、前記視認用信号を生成する、
請求項１～６のいずれか１つに記載の画像処理装置。 - 車両（Ｖ）に搭載された撮像部（７）を用いて取得された画像信号を処理する画像処理方法であって、
前記画像信号における輝度ヒストグラムを取得する処理と、
取得した前記輝度ヒストグラムに基づいてトーンカーブを生成する処理と、
生成した前記トーンカーブを用いて前記画像信号を輝度補正することで、画像出力信号を生成する処理と、
を有し、
前記トーンカーブを生成する前記処理は、
画像認識処理に供される前記画像出力信号である認識処理用信号の生成に用いられる前記トーンカーブである認識処理用トーンカーブと、目視による視認に供される前記画像出力信号である視認用信号の生成に用いられる前記トーンカーブであって前記認識処理用トーンカーブとは異なる視認用トーンカーブとを、別個に生成し、
前記輝度ヒストグラムにおける最低輝度部に対応するコントロールポイントである暗部コントロールポイント、前記輝度ヒストグラムにおける最高輝度部に対応するコントロールポイントである明部コントロールポイント、および、前記輝度ヒストグラムにおける中間輝度部に対応するコントロールポイントである中間コントロールポイントに基づいて、前記視認用トーンカーブを生成する、
画像処理方法。 - 前記トーンカーブを生成する前記処理は、前記輝度ヒストグラムにおける前記最低輝度部よりも高輝度側にて前記暗部コントロールポイントに近接するコントロールポイントである追加暗部コントロールポイントに基づいて、前記視認用トーンカーブを生成する、
請求項８に記載の画像処理方法。 - 前記トーンカーブを生成する前記処理は、前記輝度ヒストグラムにおける前記最高輝度部よりも低輝度側にて前記明部コントロールポイントに近接するコントロールポイントである追加明部コントロールポイントに基づいて、前記視認用トーンカーブを生成する、
請求項８または９に記載の画像処理方法。 - 前記トーンカーブを生成する前記処理は、前記輝度ヒストグラムの変化に伴う前記コントロールポイントの変化量を制限する、
請求項８～１０のいずれか１つに記載の画像処理方法。 - 前記トーンカーブを生成する前記処理は、ガンマまたはスプラインを用いて、前記視認用トーンカーブを生成する、
請求項８～１１のいずれか１つに記載の画像処理方法。 - 前記画像出力信号を生成する前記処理は、ドライブレコーダ用の前記視認用信号を生成する、
請求項８～１２のいずれか１つに記載の画像処理方法。 - 前記画像出力信号を生成する前記処理は、当該画像処理方法を実行する画像処理装置（８）を備え前記車両に搭載された車載システム（１）と通信回線（Ｎ）を介して接続された、前記車両の外部に設けられた外部機器（Ｇ）に送信される、前記視認用信号を生成する、
請求項８～１３のいずれか１つに記載の画像処理方法。 - 車両（Ｖ）に搭載された撮像部（７）を用いて取得された画像信号を処理する画像処理装置（８）によって実行される、画像処理プログラムであって、
前記画像処理装置によって実行される処理は、
前記画像信号における輝度ヒストグラムを取得する処理と、
取得した前記輝度ヒストグラムに基づいてトーンカーブを生成する処理と、
生成した前記トーンカーブを用いて前記画像信号を輝度補正することで、画像出力信号を生成する処理と、
を有し、
前記トーンカーブを生成する前記処理は、
画像認識処理に供される前記画像出力信号である認識処理用信号の生成に用いられる前記トーンカーブである認識処理用トーンカーブと、目視による視認に供される前記画像出力信号である視認用信号の生成に用いられる前記トーンカーブであって前記認識処理用トーンカーブとは異なる視認用トーンカーブとを、別個に生成し、
前記輝度ヒストグラムにおける最低輝度部に対応するコントロールポイントである暗部コントロールポイント、前記輝度ヒストグラムにおける最高輝度部に対応するコントロールポイントである明部コントロールポイント、および、前記輝度ヒストグラムにおける中間輝度部に対応するコントロールポイントである中間コントロールポイントに基づいて、前記視認用トーンカーブを生成する、
画像処理プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020121527A JP7359091B2 (ja) | 2020-07-15 | 2020-07-15 | 画像処理装置、画像処理方法、および画像処理プログラム |
| US17/374,146 US11790634B2 (en) | 2020-07-15 | 2021-07-13 | Image signal processing system, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020121527A JP7359091B2 (ja) | 2020-07-15 | 2020-07-15 | 画像処理装置、画像処理方法、および画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022018427A JP2022018427A (ja) | 2022-01-27 |
| JP7359091B2 true JP7359091B2 (ja) | 2023-10-11 |
Family
ID=79292532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020121527A Active JP7359091B2 (ja) | 2020-07-15 | 2020-07-15 | 画像処理装置、画像処理方法、および画像処理プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11790634B2 (ja) |
| JP (1) | JP7359091B2 (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009065711A (ja) | 2008-12-08 | 2009-03-26 | Sony Corp | 画像出力装置、画像出力方法およびプログラム |
| JP2019134394A (ja) | 2018-01-29 | 2019-08-08 | 株式会社東芝 | 映像処理装置及び映像処理方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4398595B2 (ja) | 2001-03-15 | 2010-01-13 | 株式会社リコー | 画像処理装置及びプログラム |
| JP4400512B2 (ja) | 2005-06-01 | 2010-01-20 | 株式会社デンソー | 車載カメラ制御装置 |
| JP5003196B2 (ja) | 2007-02-19 | 2012-08-15 | ソニー株式会社 | 画像処理装置および方法、並びに、プログラム |
| JP2010074222A (ja) | 2008-09-16 | 2010-04-02 | Sony Corp | 画像処理装置、輝度変換曲線補正方法およびプログラム |
| JP5472734B2 (ja) | 2010-03-24 | 2014-04-16 | ソニー株式会社 | 画像処理装置および方法、プログラム |
| JP2011203814A (ja) | 2010-03-24 | 2011-10-13 | Sony Corp | 画像処理装置および方法、プログラム |
| EP2721554A2 (de) * | 2011-06-17 | 2014-04-23 | Robert Bosch GmbH | Verfahren und steuergerät zur erkennung einer wetterbedingung in einem umfeld eines fahrzeugs |
| JP5884439B2 (ja) * | 2011-11-24 | 2016-03-15 | アイシン精機株式会社 | 車両周辺監視用画像生成装置 |
| US10129511B2 (en) * | 2016-08-01 | 2018-11-13 | Ricoh Company, Ltd. | Image processing apparatus, image projection apparatus, and image processing method |
| JP7151234B2 (ja) | 2018-07-19 | 2022-10-12 | 株式会社デンソー | カメラシステムおよびイベント記録システム |
-
2020
- 2020-07-15 JP JP2020121527A patent/JP7359091B2/ja active Active
-
2021
- 2021-07-13 US US17/374,146 patent/US11790634B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009065711A (ja) | 2008-12-08 | 2009-03-26 | Sony Corp | 画像出力装置、画像出力方法およびプログラム |
| JP2019134394A (ja) | 2018-01-29 | 2019-08-08 | 株式会社東芝 | 映像処理装置及び映像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220019839A1 (en) | 2022-01-20 |
| US11790634B2 (en) | 2023-10-17 |
| JP2022018427A (ja) | 2022-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108860045B (zh) | 驾驶辅助方法、驾驶辅助装置及存储介质 | |
| JP2020522937A (ja) | 自動車の安全及び運転システムのためのシャッタレス遠赤外線（ｆｉｒ：ｆａｒ ｉｎｆｒａｒｅｄ）カメラ | |
| JP6571424B2 (ja) | 故障診断装置 | |
| US10957028B2 (en) | Image generation device, image generation method and recording medium | |
| US20190289272A1 (en) | Imaging apparatus, imaging processing method, image processing device and imaging processing system | |
| US11172173B2 (en) | Image processing device, image processing method, program, and imaging device | |
| KR101747219B1 (ko) | 프라이버시 마스크 생성하는 감시 카메라 및 감시 카메라의 제어 방법 | |
| CN105190687A (zh) | 图像处理装置以及图像处理方法 | |
| JP2016161973A (ja) | 認識装置、認識方法及びプログラム | |
| JP6970568B2 (ja) | 車両の周辺監視装置と周辺監視方法 | |
| JP5800288B2 (ja) | 車両用画像処理装置 | |
| JP7359091B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP6317914B2 (ja) | 車載画像処理装置 | |
| US11418722B2 (en) | Exposure control device, exposure control method, and storage medium | |
| JP2003209735A (ja) | 監視装置及びブレ補正機能付蓄積型カメラ | |
| JP2016139233A (ja) | 運行記録装置、運行記録システム、及び運行管理システム | |
| US11758072B2 (en) | Driver assistance system, driver assisting method, and non-transitory storage medium | |
| CN114339062A (zh) | 一种提升特定区域图像清晰度的方法、装置及电子设备 | |
| JP2007323495A (ja) | 画像合成装置 | |
| WO2020049806A1 (ja) | 画像処理装置および画像処理方法 | |
| KR20180095251A (ko) | 카메라 모니터링 시스템 및 이의 영상 보정 방법 | |
| KR101686244B1 (ko) | 주간과 야간을 인식하는 차량용 사고 기록 장치 및 그 사고 기록 방법 | |
| KR20110067700A (ko) | 이미지 획득 방법 및 디지털 카메라 시스템 | |
| JP6314667B2 (ja) | 撮像装置、画像補正プログラムおよび画像処理装置 | |
| CN113170057A (zh) | 摄像部控制装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230726 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230911 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7359091 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |