JP4407475B2

JP4407475B2 - カメラ画像処理装置

Info

Publication number: JP4407475B2
Application number: JP2004319757A
Authority: JP
Inventors: 智道中川
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2004-11-02
Filing date: 2004-11-02
Publication date: 2010-02-03
Anticipated expiration: 2024-11-02
Also published as: JP2006135437A

Description

本発明は、低照度又は高照度の環境下において撮影されたカメラ画像の輝度を補正するカメラ画像処理装置に関する。

夜間などの低照度の環境下において撮像された画像を高画質化する従来例として、例えば下記の特許文献１には、連続した複数枚の静止画から１枚の静止画像を合成する技術が提案されている
特開２０００−１６３５６０号公報（要約書）

しかしながら、上記従来例では、複数枚の画像を記憶するメモリが必要であり回路コストが大きいという問題点がある。また、１フレーム以上前のデータと演算を行うので、動画像においてシーンチェンジが起こった場合には、適正な演算結果とならない。

そこで、本発明は、フレーム内の複数の画素値に係数を乗算して画素数を変換する既存の構成を利用して、低照度又は高照度の環境下におけるカメラ画像の輝度を複数枚の画像を用いることなく安価に、かつ動画像においてシーンチェンジが起こった場合にも補正することができるカメラ画像処理装置を提供することを目的とする。

本発明のカメラ画像処理装置は上記目的を達成するために、
撮像部と、
前記撮像部によって撮影した画像の複数の画素を一組とし、前記一組の画素それぞれに所定の係数を乗算して加算することにより補間画素を生成して、画素数を変換する画像処理部と、
前記一組の画素それぞれに乗算する係数の和が１になる第１の係数組と、前記係数の和が１未満の数になる第２の係数組と、前記係数の和が１を超える数になる第３の係数組とを選択的に切り換えて前記画像処理部に前記所定の係数として設定する設定手段とを備え、
前記設定手段には、前記撮像部又は前記画像処理部から前記画像の輝度情報が入力され、
前記設定手段は前記輝度情報に基づいて所定の輝度より明るい画像であるのか所定の輝度より暗い画像であるのかを判断し、暗い画像であると判断した場合に、前記第３の係数組を選択して前記画像処理部に前記所定の係数として設定するよう構成される。

本発明によれば、フレーム内の複数の画素値に係数を乗算して画素数を変換する構成を利用して画素数変換の係数を変更して補正するので、低照度又は高照度の環境下において撮影されたカメラ画像の輝度を複数枚の画像を用いることなく安価に、かつ動画像においてシーンチェンジが起こった場合にも補正することができる。

以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係るカメラ画像処理装置の一実施の形態を示すブロック図、図２は図１のカメラ画像処理装置の画素数変換を示す説明図、図３は図１のカメラ画像処理装置の係数テーブルを示す説明図である。

図１において、ＣＣＤ１からの画素データを受け取ったＣＣＤ入力部（フィルタ、タイミング信号生成回路、ＣＰＵ・Ｉ／Ｆ回路、画像処理部３とのＩ／Ｆ回路を含む）２は、画素信号を標準的なデジタルビデオ信号の形式（Ｙ／Ｃデータ）に変換し、Ｙ／Ｃデータを画像処理部３に出力する。図１は、Ｃｂ、Ｃｒをマルチプレクス（ＭＵＸ）したＣ信号と、Ｙ信号の２系統の信号でやりとりする場合を示す。このとき、Ｙ信号とＣ信号を別々に出力しても構わないし、Ｙ／Ｃマルチプレクス信号としてもよいし、Ｙ、Ｃｂ、Ｃｒを別々の信号で受け渡しをしても構わない。

画像処理部３では、まずＹ／Ｃデータを分離部（ＤｅＭＵＸ）３０によりＹ信号、Ｃ信号に分離してそれぞれをＨ方向の画素数変換部３１、３２によりＨ（水平）方向に画素数変換（拡大、縮小）を行い、一度ワークメモリ４へ書き込み、さらにそれぞれを読み出してＶ方向の画素数変換部３３、３４によりＶ（垂直）方向の画素数変換を行った後、再度ワークメモリ４に書き込み画面サイズの変換を行う。変換後の画素データは、ワークメモリ４から読み出され、デジタルビデオ信号出力部５においてデジタルビデオ信号に変換され、次いでビデオＤ／Ａコンバータ６によりＮＴＳＣ／ＰＡＬなどのＴＶ信号に変換された後モニタ７で表示される。または、ワークメモリ４から読み出した後、コーディング・ブロック８によりＭＰＥＧやＪＰＥＧ、Ｈ．２６４、ＤＶなどの規格に基づいて符号化され、ハードディスク、半導体メモリ、ＤＶＤ、ＤＶＣカセットなどの記録媒体９に記録される。

上記の信号の流れは、それ以外の場合もある。例えば、ＣＣＤ１からの入力データは分離部（ＤｅＭＵＸ）３０により分離して直ちにワークメモリ４に記録し、改めてＨ方向の画素数変換部３１、３２が読み出しても構わない。また、最初にＶ方向の画素数変換部３３、３４がワークメモリ４から読み出して処理を行い、ワークメモリ４に書き込んだ後、Ｈ方向の画素数変換部３１、３２が読み出し、処理後、そのまま、次段の回路にデータを出力してもよい。

図２は本発明における画素数変換（拡大、縮小）を行う際の一例として補間画素を作る際の説明図である。図２はＶ方向を拡大するために画素数変換を行う場合であり、図２では、上下３画素、合わせて６画素（ラインｎ−２、ｎ−１、ｎ、ｎ＋１、ｎ＋２、ｎ＋３）のデータを積和演算して、ある場所の画素（図２ではラインｎとｎ＋１の間）を新たに得る場合を示す。この図２では６画素から新たに画素データを作っているが、この処理は、何画素であってもよい。また、この例では、Ｈ、Ｖの２回に分けて行ったが、上下左右斜め方向の画素データから、任意の画素を作ることも可能であり、その場合、Ｈ、Ｖの２回に分けず、１回で済ませる方法もあり得る。図２において、得たい画素のデータは下記の式で得ることを示す。
Ｙ＝0.05Ｙ(n-2)＋0.10Ｙ(n-1)＋0.35Ｙ(n)
＋0.35Ｙ(n+1)＋0.10Ｙ(n+2)＋0.05Ｙ(n+3）

通常、複数の画素からある任意の画素データを作る際には、出来上がりの画素データの輝度成分が、元の絵と同じ程度になるべきとの考えから、それぞれの画素成分にかかる係数の和は１になるようにしている。なお、係数の値は、本発明の回路においては、マイコン（ＨＯＳＴ）１０から設定可能としている。設定は、係数そのものを設定してもよいし、図３に示すように複数の係数の組み合わせのどれを選ぶかを設定してもよい。また、係数は輝度成分の平均値を変数とした関数を用いて決定してもよい。図３は、あらかじめ複数の係数の組み合わせをテーブルで持っていた場合の、Ｖ方向の係数テーブルを示し、「タイプ１」は輝度補正を行わず係数の合計値が１の場合を示し、「タイプ２」は暗くするために係数の合計値が０．６の場合を示し、「タイプ３」は明るくするために係数の合計値が３．０の場合を示す。

図１のマイコン１０は、ユーザにより低照度又は高照度の撮像環境に対応して、「常に感度アップ」、「感度ダウン」、「感度アップ」、「感度アップ機能オフ」が設定可能であり、「感度ダウン」が設定されている場合には図３に示す「タイプ２」、「感度アップ」が設定されている場合には「タイプ３」、「感度アップ機能オフ」が設定されている場合には「タイプ１」の係数をそれぞれ画素数変換部３１〜３４に設定する。また、マイコン１０はＣＣＤ入力部２から輝度に関する情報を受けており、「常に感度アップ」が設定されている場合には輝度が明るい画像なのか、暗い画像なのかを判断する。例えばある値よりも画面中の輝度の平均値が低かった場合、所定よりも暗い画像と判断し、「感度アップ」の処理を行う。輝度情報は、画像処理部３から得ても構わない。感度アップの処理は、図３に示す係数テーブルの「タイプ３」を選択することだけであり、特別な処理時間の追加や、回路の大幅な追加をすることなく輝度成分を大きな値に変更することが可能である。例えば、画面サイズの変換を行った後で、画面の輝度成分を変更するには、積和演算を行う乗算器及び加算器が必要であり、大きな回路規模の変更となるが、本発明は既存の画素数変換部３１〜３４の積和演算回路を用いるので回路規模が大きくなることがない。

なお感度アップ／ダウンの処理は、図３に示すテーブルから係数を選択するか、同じく前述のように、輝度信号の平均値などから係数そのものを計算により求めてもよい。例えば、輝度の平均値がある一定量となるように、係数を計算により求めても構わない。

本発明によれば、
・既存の画素数変換部３１〜３４を用いるので、論理回路やメモリをあまり増やさずに、感度アップを図ることができる。
・動画像の場合、シーンチェンジなどが発生しても、１枚のフレーム画像からフィルタ計算で求めているため、通常と同じ処理で演算することができる。

図１は本発明に係るカメラ画像処理装置の一実施の形態を示すブロック図である。図１のカメラ画像処理装置の画素数変換を示す説明図である。図１のカメラ画像処理装置の係数テーブルを示す説明図である。

符号の説明

１ＣＣＤ
２ＣＣＤ入力部
３画像処理部
４ワークメモリ
５デジタルビデオ信号出力部
６ビデオＤ／Ａコンバータ
７モニタ
８コーディング・ブロック
９記録媒体
１０マイコン
３０分離部（ＤｅＭＵＸ）
３１〜３４画素数変換部

Claims

撮像部と、
前記撮像部によって撮影した画像の複数の画素を一組とし、前記一組の画素それぞれに所定の係数を乗算して加算することにより補間画素を生成して、画素数を変換する画像処理部と、
前記一組の画素それぞれに乗算する係数の和が１になる第１の係数組と、前記係数の和が１未満の数になる第２の係数組と、前記係数の和が１を超える数になる第３の係数組とを選択的に切り換えて前記画像処理部に前記所定の係数として設定する設定手段とを備え、
前記設定手段には、前記撮像部又は前記画像処理部から前記画像の輝度情報が入力され、
前記設定手段は前記輝度情報に基づいて所定の輝度より明るい画像であるのか所定の輝度より暗い画像であるのかを判断し、暗い画像であると判断した場合に、前記第３の係数組を選択して前記画像処理部に前記所定の係数として設定するよう構成されたカメラ画像処理装置。