JP2016116113A - 画像処理回路、画像処理方法 - Google Patents

画像処理回路、画像処理方法 Download PDF

Info

Publication number
JP2016116113A
JP2016116113A JP2014254124A JP2014254124A JP2016116113A JP 2016116113 A JP2016116113 A JP 2016116113A JP 2014254124 A JP2014254124 A JP 2014254124A JP 2014254124 A JP2014254124 A JP 2014254124A JP 2016116113 A JP2016116113 A JP 2016116113A
Authority
JP
Japan
Prior art keywords
image data
coordinate value
input
pixel
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014254124A
Other languages
English (en)
Inventor
関根 信明
Nobuaki Sekine
信明 関根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Priority to JP2014254124A priority Critical patent/JP2016116113A/ja
Publication of JP2016116113A publication Critical patent/JP2016116113A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】メモリ容量を低減すること。【解決手段】ラインバッファ31,32は、入力部37から出力される画像データGDiを順次記憶し、画像データGD1,GD2を出力する。水平垂直カウンタ33は、入力画像データGDiに基づいて、入力画像データGDiの各画素の入力画素座標値Ix,Iyを出力する。制御部34は、入力画素座標値Iyと、レジスタ34aの設定値に基づいて、出力画素座標値Oyを算出する。制御部34は、入力画素座標値,出力画素座標値,レジスタ34aの設定値に基づいて、選択信号SELを生成する。セレクタ35は、選択信号SELに基づいて、3つの入力端子S1〜S3に供給される画像データGD1〜GD3から選択した画像データGDsを出力する。補正フィルタ36は、入力端子L1〜L5に供給される画像データに基づいて、対象画素の色情報を生成する。【選択図】図2

Description

画像処理回路、画像処理方法に関する。
従来、撮像した画像のデジタルデータを記録可能なデジタルスチルカメラ等の撮像装置は、広く普及している。このような撮像装置は、撮像素子にてレンズを通過した光を電気信号に変換し、電気信号を処理して画像のデジタルデータを生成する。撮像装置は、デジタルデータに対してノイズ除去等の各種の信号処理を行う回路を含む。信号処理を行う回路は、1フレーム分の画素の画像データのうち、信号処理に応じた数の画像データをメモリに記憶し、メモリに記憶した画像データを信号処理する。撮像装置は、処理後の画像データを記録する。
撮像装置における信号処理の1つに色収差に対する補正処理がある。レンズは、波長によって屈折率が異なる。撮像装置では、色収差と呼ばれる結像誤差が生じる。このため、撮像装置は、画像データの色収差を補正する回路を有する(たとえば、特許文献1〜4参照)。
特開2009−130687号公報 特開2011−101292号公報 特開平6−113309号公報 特開平5−3568号公報
ところで、撮像装置における高解像度化の要求に応じて、撮像素子の画素数が増加している。このような画素数の増加は、画像データを信号処理する回路において画像データを一時的に記憶するメモリの容量の増加を招く。メモリ容量の増加は、信号処理の回路を含む半導体装置の面積の増大を招く。
本発明の一観点によれば、入力画像データに含まれる各画素の入力画素座標値を生成する座標値生成回路と、1つのラインの画像データを記憶する容量に設定され、前記入力画像データの各ラインデータを順次記憶するn個のラインバッファと、(2n+1)個の入力端子を有し、前記入力端子に供給される画像データのうち、処理の対象とする対象画素の前記入力画素座標値と、1つのフレームの画像において設定された基準点の基準座標値と、拡大縮小設定値とに基づいて、前記基準点を中心とする拡大処理または縮小処理により倍率色収差を補正した前記対象画素の色情報を生成する補正フィルタと、前記入力画素座標値と前記基準点の座標値と前記拡大縮小設定値とに基づいて、前記n個のラインバッファから出力される画像データと前記入力画像データとを、前記補正フィルタの第1〜第(n+1)番目の入力端子、または前記補正フィルタの第(n+1)〜第(2n+1)番目の入力端子に供給する供給制御部と、を有する。
本発明の一観点によれば、メモリ容量を低減することができる。
一実施形態の電子機器のブロック図である。 倍率色収差処理部のブロック図である。 倍率色収差処理の説明図である。 倍率色収差処理の説明図である。 画像データに対する補正フィルタの処理位置を示す説明図である。 補正フィルタの説明図である。 補正処理の説明図である。 補正処理の説明図である。 縮小処理における基準画素と補正フィルタの処理位置を示す説明図である。 補正フィルタにおける参照範囲の説明図である。 補正フィルタにおける参照範囲の説明図である。 拡大処理における基準画素と補正フィルタの処理位置を示す説明図である。 縮小処理における参照ラインの切り替えの説明図である。 縮小処理における参照ラインの切り替えを説明するタイミング図である。 拡大処理における参照ラインの切り替えの説明図である。 拡大処理における参照ラインの切り替えの説明図である。 拡大処理における参照ラインの切り替えを説明するタイミング図である。 比較例の倍率色収差処理部を示すブロック図である。 別の画像処理装置の一部ブロック図である。
以下、一実施形態を説明する。
図1に示す電子機器10は、例えばデジタルスチルカメラである。
電子機器10は、撮像装置11、画像処理装置12、入力装置13、メモリ14、表示装置15、記録媒体16を有している。
撮像装置11は、撮像光学系、カラーフィルタ、撮像素子を有している。撮像光学系は、1つまたは複数のレンズを含み、被写体の像を撮像素子上に結像する。カラーフィルタは、赤色(R),緑色(G),青色(B)のフィルタを含み、それらは所定の配列(たとえば、ベイヤ(Bayer)配列)されている。撮像素子は、例えば、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary MOS)イメージセンサである。撮像素子は、カラーフィルタを介して入射する光の量に応じた撮像信号(アナログ信号)を出力する。撮像装置11は、撮像素子から出力されるアナログの撮像信号をデジタルの撮像データSAに変換する。そして、撮像装置11は、同期信号に従って変換後の撮像データSAを出力する。この撮像装置11から出力される撮像データSAは、撮像素子にて撮像された1画面分の画像データ(1フレームのフレーム画像)である。同期信号は、1つのフィールド(フレーム)の区切りを示す垂直同期信号と、1ラインの区切りを示す水平同期信号を含む。これらの同期信号は、例えば、画像処理装置12から供給される。
画像処理装置12は、例えば、入力装置13からの入力信号に基づいて、撮像装置11から出力される撮像データSAに対して各種画像処理を施す。また、画像処理装置12は、所定の処理段階で画像データをメモリ14に一時的に格納する。すなわち、メモリ14は作業メモリとして機能する。このメモリ14は、例えば、同期式半導体メモリ(SDRAM:Synchronous Dynamic Random Access Memory)などの書き換え可能なメモリである。また、画像処理装置12は、入力装置13からの入力信号に基づいて、メモリ14に格納された各種画像処理後の画像データを表示装置15に表示したり、記録媒体16に格納したりする。
入力装置13は、ユーザにより操作されるシャッタボタン、メニューボタンやタッチパネル等の各種スイッチを有している。これらのスイッチは、例えば、写真撮影、撮影条件の設定や表示方式の設定を行うために使用される。
表示装置15は、例えば、液晶表示装置(LCD:Liquid Crystal Display)や有機EL(Electronic Luminescence)表示装置である。また、表示装置15としては、例えば、電子ビューファインダ(EVF:Electronic View Finder)や、外部接続のためのインタフェースを用いることもできる。
記録媒体16は、例えば、不揮発性メモリ(SSD:Solid State Drive)やハードディスク装置(HDD:Hard Disk Drive)である。なお、記録媒体16として、例えば、メモリカードやUSBメモリ等の可搬型記録媒体を用いることもできる。このような可搬型記録媒体は、必要に応じて電子機器10に接続される。
画像処理装置12は、中央処理装置(以下、CPU)21、倍率色収差処理部22、画像信号処理部23、圧縮伸張処理部24を有している。また、画像処理装置12は、上記の周辺装置を接続する各種インタフェース(センサインタフェース25、表示装置インタフェース26、メモリインタフェース27、記録媒体インタフェース28)を有している。なお、図1において、インタフェースを「I/F」と表記した。以下の説明において、「I/F」を用いる。これらCPU21、倍率色収差処理部22、画像信号処理部23、圧縮伸張処理部24、センサI/F25、表示装置I/F26、メモリI/F27、記録媒体I/F28は、バス29を介して互いに電気的に接続されている。
CPU21は、画像処理装置12全体を統括制御する。CPU21は、例えば、処理に必要な情報の各処理部への設定及びデータの書き込み/読み出し制御等を行う。CPU21は、入力装置13の操作に応じて動作モードや各処理に必要な情報(パラメータ)を設定する。CPU21は、各種の情報を記憶するレジスタ21aを有している。レジスタ21aは、たとえば不揮発性メモリである。
センサI/F25は、撮像装置11から出力される撮像データSA(ベイヤデータ)を受け取り、メモリI/F27を介してその撮像データSAをメモリ14に格納する。
画像信号処理部23は、カラー処理部を含む。カラー処理部は、ベイヤデータの各画素について、3つの色成分情報を持つ画像データ(RGBデータ)を生成する。ベイヤデータにおける各画素の画像データは、カラーフィルタに応じた1つの色成分情報を持つ。カラー処理部は、各画素の画像データについて、周辺の画素の画像データに基づいて、不足する色の色成分情報を生成する。たとえば、周辺の画素の画像データデータに含まれる青色(B)の情報、緑色(G)の情報に基づいて、赤色(R)の情報を持つ画像データの画素位置における青色の情報と緑色の情報をそれぞれ生成する。カラー処理部は、たとえば、補間処理により、情報を生成する。カラー処理部は、生成したRBGデータをメモリ14に格納する。
なお、画像信号処理部23に、他の画像処理を行う処理部を含めてもよい。たとえば、色空間変換部、解像度変換部、等である。色空間変換部は、データの形式を変換する。例えば、色空間変換部は、RGB形式の画像データをYCbCr形式の画像データに変換する。YCbCr形式は、輝度情報(Y)と色差(Cb,Cr)とにより、画素の色を表現する形式である。解像度変換部は、画像データの画像サイズ(縦横の画素数)を拡大又は縮小する処理を行う。
倍率色収差処理部22は、撮像装置11に含まれる撮像光学系における色収差(倍率色収差)に応じた色ずれを低減する。倍率色収差処理部22は、メモリ14に格納された画像データを読み出し、倍率色収差に応じて画像データを処理する。そして、倍率色収差処理部22は、処理後の画像データをメモリ14に格納する。倍率色収差処理部22が実施する処理は、拡大処理、縮小処理を含む。
倍率色収差処理部22は、撮像装置11に応じた特性情報を有している。特性情報は、撮像装置11に含まれる撮像光学系の特性(レンズ特性)である。特性情報は、たとえば、倍率色収差の特性を示す関数である。この関数は、基準点(たとえば撮像光学系の光軸)からの距離をパラメータとする関数(たとえば3次関数)である。
倍率色収差処理部22は、特性情報と、対象画素の位置情報と、基準点の位置情報とに基づいて、対象画素における色情報を算出する。この色情報は、倍率色収差により対象画素から移動した位置における色情報である。倍率色収差処理部22は、対象画素の位置と基準点の位置とに基づいて、上記の特性情報により参照すべき点(参照点)の位置を算出する。倍率色収差処理部22は、その参照点における色情報を、1つまたは複数の画素の色情報に基づいて算出する。そして、倍率色収差処理部22は、算出した色情報を、対象画素の色情報として出力する。
圧縮伸張処理部24は、CPU21からの制御信号に基づいて、メモリ14から読み出した画像データを所定の方式(例えば、JPEG方式)により符号化(圧縮)する。そして、圧縮伸張処理部24は、符号化後の画像データをメモリ14に格納する。また、圧縮伸張処理部24は、CPU21からの制御信号に基づいて、メモリ14から読み出した画像データを対応する方式により復号化(伸張)する。そして、圧縮伸張処理部24は、処理後のデータをメモリ14に格納する。
記録媒体I/F28は、記録媒体16と接続される。記録媒体I/F28は、メモリ14に格納されたデータ(例えば、符号化データ)を記録媒体16に格納する。
表示装置I/F26は、表示装置15に接続されている。表示装置15は、電子機器10の駆動源であるバッテリの残量、撮影モード、撮影フレーム、記憶された画像データの表示等に用いられる。例えば、表示装置I/F26は、メモリ14に格納されたデータを読み出し、そのデータに基づいて生成した表示データを表示装置15に出力する。
図2に示すように、倍率色収差処理部22は、ラインバッファ31,32、水平垂直カウンタ33、制御部34、セレクタ35、補正フィルタ36、入力部37、出力部38、CPUインタフェース(「CPUI/F」と表記)39を有している。カウンタ33は座標値生成回路の一例、制御部34,セレクタ35は供給制御部の一例である。
CPUI/F39は、図1に示すCPU21にバス29を介して接続される。CPU21は、倍率色収差処理部22に対する各種の設定値を、図2に示す制御部34と補正フィルタ36に設定する。制御部34は、レジスタ34aを有し、そのレジスタ34aに設定値を記憶する。レジスタ34aに記憶される設定値は、基準点の座標値、各色に対する縮小・拡大の設定値(拡大縮小設定値)、補正フィルタ36のフィルタサイズ(垂直画素数)を含む。補正フィルタ36は、レジスタ36aを有し、そのレジスタ36aに設定値を記憶する。レジスタ36aに記憶される設定値は、基準点の座標値Px,Py、各色に対する縮小・拡大の設定値(拡大縮小設定値)SCLを含む。
入力部37は、図1に示すメモリI/F27を介してメモリ14をアクセスし、必要な画像データをメモリ14から読み出す。たとえば、入力部37は、1つのフレーム(1画面)の画像データをメモリ14から読み出す。そして、入力部37は、入力制御信号SIWに応じて画像データを出力・停止する。たとえば、1つのフレームに対する処理の開始時において、入力制御信号SIWはLレベルであり、入力部37は、画像データGDiを出力する。そして、入力部37は、Hレベルの入力制御信号SIWに応答して画像データGDiの出力を停止し、Lレベルの入力制御信号SIWに応答して画像データGDiを出力する。
倍率色収差処理部22は、複数(図では2つ)のラインバッファ31,32を有している。ラインバッファの数は、後述する補正フィルタ36に対応している。2つのラインバッファ31,32はそれぞれ、1つのラインに含まれる複数の画素の画像データを記憶する容量のメモリである。2つのラインバッファ31,32は、先入れ先出し方式のメモリ(FIFOメモリ)である。ラインバッファ31,32は、たとえばクロック信号に基づいて、データの入出力を行う。クロック信号は、倍率色収差処理部22に含まれる各回路における処理のタイミングを制御するために用いられ、たとえば画像処理装置のシステムクロック信号である。
2つのラインバッファ31,32は直列に接続され、入力部37から出力される画像データGDiを順次記憶する。詳述すると、ラインバッファ32は、クロック信号に基づいて動作し、入力部37から出力される画像データGDiを記憶する。ラインバッファ32は、画像データGDiをクロック信号に同期して出力する。ラインバッファ31は、クロック信号に基づいて動作し、ラインバッファ32から出力される画像データを記憶する。ラインバッファ31は、クロック信号に同期して画像データを出力する。
つまり、2つのラインバッファ31,32は、1つのフレームの画像データにおいて、垂直方向に連続する2つのラインの画像データを記憶する。そして、ラインバッファ31が記憶する1つのラインの画像データは、ラインバッファ32が記憶する1つのラインの画像データより1つ前(垂直座標値が小さい)画像データである。入力部37の出力順にしたがって、ラインバッファ31が出力する画像データを画像データGD1、ラインバッファ32が出力する画像データを画像データGD2とする。
そして、入力部37が出力する画像データGDiは、画像データGD2の次のラインの画像データである。このため、画像データGDiの符号を「GD3」として説明または併記することがある。
水平垂直カウンタ33は、入力画像データGDiをカウントし、カウント値に基づいて、入力画像データGDiに含まれる各画素の座標値Ix,Iy(入力画素座標値)を出力する。水平方向の座標値(水平座標値)Ixは、補正フィルタ36に供給される。垂直方向の座標値(垂直座標値)Iyは、補正フィルタ36と制御部34に供給される。
画像データの座標値は、1つのフレームの画像における相対的な位置を示す。たとえば、1つのフレームの画像データは、マトリックス状に配列される複数の画像データを含む。画像データは、図1に示す撮像装置11に含まれる撮像素子の第1方向(たとえば水平方向)に配列された複数の受光部と、撮像素子の第2方向(たとえば垂直方向)に配列された複数の受光部に対応する。
たとえば、水平垂直カウンタ33は、水平カウンタと垂直カウンタを有している。水平カウンタは、画像データ毎にカウント値をカウントアップ(+1)する。水平カウンタには、1つのラインに含まれる画素の数が設定される。水平カウンタは、設定値とカウント値とを比較し、カウント値が設定値と等しくなると、カウント値をリセット(クリア)する。垂直カウンタは、水平カウンタのリセットに応じてカウントアップ(+1)する。水平カウンタと垂直カウンタのカウント値は、水平垂直カウンタ33に入力される画像データ、つまり画素の位置(座標値)である。
制御部34は、入力画素座標値(垂直座標値Iy)と、レジスタ34aの設定値に基づいて、補正フィルタ36から出力される画像データの座標値(出力画素座標値)を算出する。この出力画素座標値は、補正フィルタ36における補正処理の対象となる画素の座標値(対象画素座標値)である。制御部34は、入力画素座標値,出力画素座標値,レジスタ34aの設定値(基準点の座標値、処理種別(縮小処理または拡大処理))に基づいて、選択信号SEL、入力制御信号SIW、出力制御信号SOWを生成する。詳細については後述する。
セレクタ35は、3つの入力端子S1,S2,S3を有している。第1の入力端子S1には、第1のラインバッファ31から出力される画像データGD1が供給される。第2の入力端子S2には、第2のラインバッファ32から出力される画像データGD2が供給される。第3の入力端子S3には、入力部37から出力される入力画像データGDi(GD3)が供給される。また、セレクタ35には、制御部34から選択信号SELが供給される。セレクタ35は、選択信号SELに基づいて、3つの入力端子S1〜S3のうちの1つを選択する。そして、セレクタ35は、選択した入力端子に供給される画像データと等しい画像データ(選択画像データ)GDsを出力する。
補正フィルタ36は、複数(本実施形態では5つ)の入力端子L1,L2,L3,L4,L5を有している。第1の入力端子L1には第1のラインバッファ31から出力される画像データ(第1画像データ)GD1が供給される。第2の入力端子L2には第2のラインバッファ32から出力される画像データ(第2画像データ)GD2が供給される。第3の入力端子L3にはセレクタ35から出力される選択画像データGDsが供給される。第4の入力端子L4には第2のラインバッファ32から出力される画像データ(第2画像データ)GD2が供給される。第5の入力端子L5には入力部37から出力される画像データ(入力画像データ)GDi(GD3)が供給される。
補正フィルタ36は、各入力端子L1〜L5に供給される画像データに基づいて、対象画素の色情報を生成する。たとえば、補正フィルタ36は、水平方向9画素、垂直方向5画素について、レジスタ36aの設定値に基づいて、中心の画素(対象画素)の色情報を生成する。そして、この画素(出力画素)の色情報を出力する。
補正フィルタ36が参照する画素の数を補正フィルタ36のフィルタサイズとする。本実施形態では、補正フィルタ36のフィルタサイズは(9×5)である。これらマトリックス状の複数の画素のうち、中心の画素を対象画素とする。そして、上記のラインバッファの数は、このフィルタサイズ(垂直方向の画素数)に応じて設定される。たとえば、ラインバッファの数は、フィルタサイズが(9×5)に基づいて、垂直方向の画素数−1の1/2の数に設定される。なお、ラインバッファの数を「n」とすると、補正フィルタ36の垂直方向のフィルタサイズは「2n+1」である。
出力部38は、補正フィルタ36から出力される画像データ(色情報を含む)を、図1に示すメモリI/F27を介してメモリ14に格納する。また、出力部38は、出力制御信号SOWに基づいて、出力を制御する。たとえば、出力部38は、Lレベルの出力制御信号SOWに基づいて画像データを出力し、Hレベルの出力制御信号SOWに基づいて画像データの出力を停止する。
次に、補正フィルタ36における補正処理の概要を説明する。
[倍率色収差処理の概略]
1つのフレームの画像データにおいて、基準点を設定する。そして、基準点を中心として、各色の画像データを拡大または縮小する。基準点は、たとえば、1つのフレームの画像データの中心に設定される。画像データの中心は、図1に示す撮像装置11に含まれる撮像光学系の光軸中心と一致する。各色の画像データにおける拡大・縮小は、撮像光学系における色収差(倍率色収差)に応じて設定される。
なお、基準点は、画素単位で設定されてもよい。たとえば、1つのフレームの画像データにおけるライン数が偶数の場合、中心点は、2つのラインの間となる。水平方向においても同様である。このため、基準点を1/2画素単位で設定可能としてもよい。1/2画素単位で画像データの中心に対してずれた位置に基準点を設定しても、画素数が多い撮像素子により得られる画像データでは、色ずれの低減に対する影響は少ない。
[縮小処理]
図3に示すように、対象画素CGaについて、縮小処理を行う。図1に示す倍率色収差処理部22は、対象画素CGaと基準点PPを結ぶ直線上に存在し、対象画素CGaより基準点PPに対して外側の参照点RPを得る。そして、倍率色収差処理部22は、参照点RPを対象画素CGaに移動させる。たとえば、倍率色収差処理部22は、参照点RPにおける色情報を得る。そして、倍率色収差処理部22は、得た色情報を、対象画素CGaの色情報として出力する。このような処理を1つのフレームの画像データの全てについて適用することで、対象とする色におけるずれ(色ずれ)を低減する。
[拡大処理]
図4に示すように、対象画素CGbについて、拡大処理を行う。図1に示す倍率色収差処理部22は、対象画素CGbと基準点PPを結ぶ直線上に存在し、対象画素CGbより内側(基準点PP側)の参照点RPを得る。そして、倍率色収差処理部22は、参照点RPを対象画素CGbに移動させる。たとえば、倍率色収差処理部22は、参照点RPにおける色情報を得る。そして、倍率色収差処理部22は、得た色情報を、対象画素CGbの色情報として出力する。このような処理を1つのフレームの画像データの全てについて適用することで、対象とする色におけるずれ(色ずれ)を低減する。
[補正フィルタの処理位置]
図1に示す倍率色収差処理部22は、1つのフレームの画像データに対して、補正フィルタ36の処理位置を、ラスタスキャン方向に沿って設定する。そして、倍率色収差処理部22は、設定した各処理位置における複数の画素の画像データに基づいて、倍率色収差に対する処理を実行する。
図5に示すように、倍率色収差処理部22は、画像データGAの左上に補正フィルタ36を設定する。なお、補正フィルタ36の設定は、補正フィルタ36が処理する画素の範囲を設定することである。この範囲を「Fp」として図に付し、「補正フィルタFp」として説明する。倍率色収差処理部22は、設定した補正フィルタFpにおいて、対象画素CGの色情報を算出する。
次に、倍率色収差処理部22は、ラスタスキャン方向に沿って、1画素ずつずらして補正フィルタFpを設定し、対象画素の色情報を算出する。そして、1つのフレームの画像データGAにおいて、図5に示すように右端に設定した補正フィルタFpについて色情報を算出すると、上記と同様の処理を、垂直方向に1画素分(1ライン分)ずらして補正フィルタFpを設定し、その補正フィルタFpについて行う。このように、倍率色収差処理部22は、1つのフレームの画像データGAに対して、補正フィルタFpを水平方向(図5の左右方向)と垂直方向(図5の上下方向)に順次設定し、各位置における対象画素CGの色情報を算出する。そして、画像データGAの右下に設定した補正フィルタFpについて対象画素CGの色情報を算出する。
[補正フィルタ]
図6は、補正フィルタ36の一例を示す。この補正フィルタ36は、水平方向と垂直方向の画素数がそれぞれ「9」「5」のフィルタである。つまり、この補正フィルタ36のサイズ(フィルタサイズ)は「9画素×5画素」である。補正フィルタ36の処理にかかる画素を、水平方向と垂直方向の座標値を用いて説明する。たとえば、図6において、左上の画素は[00]である。対象画素は、補正フィルタ36の中央の画素[42]である。補正フィルタ36は、この画素[42]に対する色情報を算出する。補正フィルタ36は、画素[00]から画素[84]までの45個の画素の画像データから、演算処理によって参照位置の色情報を算出する。このサイズの補正フィルタ36を用いることで、水平方向において最大4画素分、垂直方向において2画素分の画素移動を行い、色ずれを補正する。なお、以下の説明に用いる図において、たとえば、画素[42]を「G42」のように、画素の符号について「G」を付して他の部材と区別して示すことがある。
[補正フィルタにおける処理の概要]
図7に示すように、補正フィルタ36は、中心の画素[42]へ移動させる参照位置の座標値を算出する。補正フィルタ36は、参照位置の座標値を、処理方向(拡大処理,縮小処理)と、基準点PPと対象画素CGの間の距離(図3、図4参照)に基づいて、所定の演算式(たとえば、3次関数)により算出する。そして、補正フィルタ36は、算出した座標値を、フィルタサイズによりクリップする。
そして、補正フィルタ36は、参照点RPにおける色情報を、参照点RPの周辺の画素の画素値(色情報)に基づいて算出する。
たとえば、図7では、参照位置の座標値が、画素[00]と一致する。このため、補正フィルタ36は、画素[00](G00)の色情報を、対象画素[42]の色情報として出力する。
また、図8に示すように、参照点RPが画素[73][83][74][84]の間の場合、補正フィルタ36は、これらの画素の色情報に基づいて、参照点RPの色情報を算出する。たとえば、補正フィルタ36は、複数の画素について、各画素と参照点RPとの距離に基づいて、たとえばαブレンドにより参照点RPの色情報を算出する。なお、他の方法、たとえばバイリニア補間(参照点RPに対する各画素の距離に基づく重み付け平均)により、参照点RPの色情報を算出してもよい。
[画像データと補正フィルタの処理位置]
[縮小処理]
以下の説明において、対象画素CGに合わせて、基準点PPを基準画素PG、参照点RPを参照画素RGとして説明することがある。また、1つの図において複数の画素(たとえば参照画素)を区別する場合に、符号に数字を付加して図示及び説明する。
図9は、1つのフレームの画像データGAに対して、図2に示す補正フィルタ36における処理位置F1〜F6と、縮小処理における対象画素CG1〜CG6に対する参照画素RG1〜RG6を示す。
たとえば、処理位置F1において、対象画素CG1は、垂直方向において画像データGAの基準画素PGより上側にある。縮小処理の場合、補正フィルタ36は、基準画素PGに対して対象画素CG1より遠い位置の参照画素RG1、対象画素CG1より外側(図では上側)の参照画素RG1を対象画素CG1の位置に移動する。つまり、補正フィルタ36は、対象画素CG1の色情報を、参照画素RG1の色情報と等しくする。したがって、補正フィルタ36は、図6に示す画素[42]より上側の画素[00]から画素[82]のうち、参照点RPに応じた1つまたは複数の画素の色情報に基づいて画素[42]の色情報を生成する。
また、図9に示す処理位置F2において、対象画素CG2は、垂直方向において画像データGAの基準画素PGより上側にある。縮小処理の場合、補正フィルタ36は、処理位置F1と同様に、基準画素PGに対して対象画素CG2より外側(図では左上側)の参照画素RG2を対象画素CG2の位置に移動する。したがって、補正フィルタ36は、図6に示す画素[42]より上側の画素[00]から画素[82]を参照し、画素[42]の色情報を生成する。
また、図9に示す処理位置F3において、対象画素CG3は、垂直方向において画像データGAの基準画素PGと同じ位置にある。縮小処理の場合、補正フィルタ36は、処理位置F1,F2と同様に、基準画素PGに対して対象画素CG3より外側(図では右側)の参照画素RG3を対象画素CG3の位置に移動する。したがって、補正フィルタ36は、図6に示す画素[42]と同じ垂直位置の画素[02]から画素[82]を参照し、画素[42]の色情報を生成する。
次に、図9に示す処理位置F4において、対象画素CG4は、垂直方向において画像データGAの基準画素PGより下側にある。縮小処理の場合、補正フィルタ36は、基準画素PGに対して対象画素CG4より遠い位置の参照画素RG4、対象画素CG4より外側(図では左下側)の参照画素RG4を対象画素CG4の位置に移動する。つまり、補正フィルタ36は、対象画素CG4の色情報を、参照画素RG4の色情報と等しくする。したがって、補正フィルタ36は、図6に示す画素[42]より下側の画素[02]から画素[84]のうち、参照点RPに応じた1つまたは複数の画素の色情報に基づいて画素[42]の色情報を生成する。
また、図9に示す処理位置F5において、対象画素CG5は、垂直方向において画像データGAの基準画素PGより下側にある。縮小処理の場合、補正フィルタ36は、処理位置F4と同様に、基準画素PGに対して対象画素CG5より外側(図では右下側)の参照画素RG5を対象画素CG5の位置に移動する。したがって、補正フィルタ36は、図6に示す画素[42]より下側の画素[02]から画素[84]を参照し、画素[42]の色情報を生成する。
また、図9に示す処理位置F6において、対象画素CG6は、垂直方向において画像データGAの基準画素PGより下側にある。縮小処理の場合、補正フィルタ36は、処理位置F4,F5と同様に、基準画素PGに対して対象画素CG6より外側(図では下側)の参照画素RG6を対象画素CG6の位置に移動する。したがって、補正フィルタ36は、図6に示す画素[42]と同じ垂直位置の画素[02]から画素[84]を参照し、画素[42]の色情報を生成する。
図9に示す処理位置F1〜F3において、対象画素CG1〜CG3より上側の参照画素RG1〜RG3に基づいて、各対象画素CG1〜CG3の色情報を生成する。つまり、1つのフレームの画像データGAにおいて、基準画素PGを含むラインから上側の領域GA1に含まれる画素を対象画素とした縮小処理を行う場合、各対象画素から上側の画素を必要とする。
そして、図10に示すように、垂直方向が5ラインの補正フィルタ36は、対象画素[42]のラインを含む上側3ライン分の画像データに基づいて、対象画素[42]の色情報を生成する。つまり、補正フィルタ36は、上側の参照範囲36Uに含まれる画素の画像データ(色情報)に基づいて、対象画素G42の色情報を生成する。このため、図2に示す制御部34は、各ラインバッファ31,32と入力部37とから出力される画像データGD1,GD2,GD3を、補正フィルタ36に対して上側の3ライン、つまり補正フィルタ36の入力端子L1,L2,L3に供給するように、セレクタ35に対する選択信号SELを生成する。
一方、図9に示す処理位置F4〜F6において、対象画素CG4〜CG6より下側の参照画素RG4〜RG6に基づいて、各対象画素CG4〜CG6の色情報を生成する。つまり、1つのフレームの画像データGAにおいて、基準画素PGより下側の領域GA2に含まれる画素を対象画素とした縮小処理を行う場合、各対象画素より下側の画素を必要とする。
そして、図11に示すように、垂直方向が5ラインの補正フィルタ36は、対象画素[42]のラインを含む下側3ライン分の画像データに基づいて、対象画素[42]の色情報を生成する。つまり、補正フィルタ36は、下側の参照範囲36Dに含まれる画素の画像データ(色情報)に基づいて、対象画素G42の色情報を生成する。このため、図2に示す制御部34は、各ラインバッファ31,32と入力部37とから出力される画像データGD1,GD2,GD3を、補正フィルタ36に対して下側の3ライン、つまり補正フィルタ36の入力端子L3,L4,L5に供給するように、セレクタ35に対する選択信号SELを生成する。
[拡大処理]
図12は、1つのフレームの画像データGAに対して、図2に示す補正フィルタ36における処理位置F1〜F6と、拡大処理における対象画素CG1〜CG6に対する参照画素RG1〜RG6を示す。
たとえば、処理位置F1において、対象画素CG1は、垂直方向において画像データGAの基準画素PGより下側にある。拡大処理の場合、補正フィルタ36は、基準画素PGに対して対象画素CG1より近い位置の参照画素RG1、対象画素CG1より内側(図では下側)の参照画素RG1を対象画素CG1の位置に移動する。つまり、補正フィルタ36は、対象画素CG1の色情報を、参照画素RG1の色情報と等しくする。したがって、補正フィルタ36は、図6に示す画素[42]より下側の画素[02]から画素[84]のうち、参照点RPに応じた1つまたは複数の画素の色情報に基づいて画素[42]の色情報を生成する。
また、図12に示す処理位置F2において、対象画素CG2は、垂直方向において画像データGAの基準画素PGより下側にある。拡大処理の場合、補正フィルタ36は、処理位置F1と同様に、基準画素PGに対して対象画素CG2より内側(図では右下側)の参照画素RG2を対象画素CG2の位置に移動する。したがって、補正フィルタ36は、図6に示す画素[42]より下側の画素[02]から画素[84]を参照し、画素[42]の色情報を生成する。
また、図12に示す処理位置F3において、対象画素CG3は、垂直方向において画像データGAの基準画素PGと同じ位置にある。拡大処理の場合、補正フィルタ36は、処理位置F1,F2と同様に、基準画素PGに対して対象画素CG3より内側(図では左側)の参照画素RG3を対象画素CG3の位置に移動する。したがって、補正フィルタ36は、図6に示す画素[42]と同じ垂直位置の画素[02]から画素[82]を参照し、画素[42]の色情報を生成する。
次に、図12に示す処理位置F4において、対象画素CG4は、垂直方向において画像データGAの基準画素PGより下側にある。拡大処理の場合、補正フィルタ36は、基準画素PGに対して対象画素CG4より近い位置の参照画素RG4、対象画素CG4より内側(図では右上側)の参照画素RG4を対象画素CG4の位置に移動する。つまり、補正フィルタ36は、対象画素CG4の色情報を、参照画素RG4の色情報と等しくする。したがって、補正フィルタ36は、図6に示す画素[42]より上側の画素[00]から画素[82]のうち、参照点RPに応じた1つまたは複数の画素の色情報に基づいて画素[42]の色情報を生成する。
また、図12に示す処理位置F5において、対象画素CG5は、垂直方向において画像データGAの基準画素PGより下側にある。拡大処理の場合、補正フィルタ36は、処理位置F4と同様に、基準画素PGに対して対象画素CG5より内側(図では左上側)の参照画素RG5を対象画素CG5の位置に移動する。したがって、補正フィルタ36は、図6に示す画素[42]より上側の画素[00]から画素[82]を参照し、画素[42]の色情報を生成する。
また、図12に示す処理位置F6において、対象画素CG6は、垂直方向において画像データGAの基準画素PGより下側にある。拡大処理の場合、補正フィルタ36は、処理位置F4,F5と同様に、基準画素PGに対して対象画素CG6より内側(図では上側)の参照画素RG6を対象画素CG6の位置に移動する。したがって、補正フィルタ36は、図6に示す画素[42]と同じ垂直位置の画素[00]から画素[82]を参照し、画素[42]の色情報を生成する。
図12に示す処理位置F1〜F3において、対象画素CG1〜CG3より下側の参照画素RG1〜RG3に基づいて、各対象画素CG1〜CG3の色情報を生成する。つまり、1つのフレームの画像データGAにおいて、基準画素PGより下側の領域GA2に含まれる画素を対象画素とした拡大処理を行う場合、各対象画素より下側の画素を必要とする。
そして、図11に示すように、垂直方向が5ラインの補正フィルタ36は、対象画素[42]のラインを含む下側3ライン分の画像データに基づいて、対象画素「42」の色情報を生成する。つまり、補正フィルタ36は、下側の参照範囲36Dに含まれる画素の画像データ(色情報)に基づいて、対象画素G42の色情報を生成する。このため、図2に示す制御部34は、各ラインバッファ31,32と入力部37とから出力される画像データGD1,GD2,GD3を、補正フィルタ36に対して下側の3ライン、つまり補正フィルタ36の入力端子L3,L4,L5に供給するように、セレクタ35に対する選択信号SELを生成する。
一方、図12に示す処理位置F4〜F6において、対象画素CG4〜CG6より上側の参照画素RG4〜RG6に基づいて、各対象画素CG4〜CG6の色情報を生成する。つまり、1つのフレームの画像データGAにおいて、基準画素PGを含むラインから上側の領域GA1に含まれる画素を対象画素とした拡大処理を行う場合、各対象画素から上側の画素を必要とする。
そして、図10に示すように、垂直方向が5ラインの補正フィルタ36は、対象画素[42]のラインを含む上側3ライン分の画像データが必要となる。つまり、補正フィルタ36は、上側の参照範囲36Uに含まれる画素の画像データ(色情報)に基づいて、対象画素G42の色情報を生成する。このため、図2に示す制御部34は、各ラインバッファ31,32と入力部37とから出力される画像データGD1,GD2,GD3を、補正フィルタ36に対して上側の3ライン、つまり補正フィルタ36の入力端子L1,L2,L3に供給するように、セレクタ35に対する選択信号SELを生成する。
[有効ラインの切り替え]
次に、補正フィルタ36に供給する画像データの切り替えを説明する。
図10,図11にて示したように、補正フィルタ36は、参照範囲36U,36Dに含まれる画素の画像データに基づいて、対象画素G42の色情報を生成する。これらの参照範囲36U,36Dに供給する画像データのラインを有効ラインとする。図2に示す制御部34とセレクタ35は、画素座標値と設定値とに基づいて、この有効ラインを切り替える。
この補正フィルタ36に供給する有効ラインの切替処理を説明する。
なお、説明を判り易くするため、簡略化した画像データを用いて説明する。たとえば、ライン数を1つのフレームのライン数を21ラインとして説明する。
[縮小処理]
先ず、縮小処理における有効ラインの切り替えについて説明する。
なお、以下の説明において、「nライン目の画像データ」を単に「nライン」(nはライン番号)として図示及び説明する。たとえば、「9ライン目の画像データ」を「9ライン」として示す。
図13に示すように、処理位置F11において、図2に示す補正フィルタ36は、「9ライン」「10ライン」「11ライン」により、「11ライン」の色情報を算出する。そして「11ライン」に対する処理を終了すると、図13に示す処理位置F12に設定し、つぎの「12ライン」に対する処理を開始する。
「12ライン」の各画素の入力画素座標値(Iy)は、基準画素PGの座標値(Py)より大きい。したがって、図2に示す補正フィルタ36は、入力端子L3〜L5の画像データに基づいて出力画像データを生成する。また、処理の対象は「12ライン」であり、この「12ライン」より下の画像データを処理に必要とする。このため、図2に示す制御部34は、選択信号SELと出力制御信号SOWにより、セレクタ35、出力部38を制御する。
図14に示すように、処理期間T1において、入力画像データGDiは「11ライン」である。図2に示す制御部34は、入力画像データGDiの入力画素座標値Iy(=11)に基づいて、出力画素座標値Oyを「11」とする。そして、制御部34は、その出力画素座標値Oyを基準座標値Pyと比較する。このとき、出力画素座標値Oyは、基準座標値Py以下である。このため、制御部34は、有効ラインの切り替えを行わない。
つまり、図14に示すように、処理期間T1において、第1画像データGD1は「9ライン」であり、第2画像データGD2は「10ライン」であり、入力画像データGDi(GD3)は「11ライン」である。このとき、入力制御信号SIWと出力制御信号SOWはLレベルである。図2に示す制御部34は、入力端子S3を選択する選択信号SELを出力する。セレクタ35は、その選択信号SELに応答して、入力端子S3に供給される画像データGD3を出力する。
したがって、補正フィルタ36の入力端子L3には、「11ライン」の入力画像データGD3(GDi)が供給される。この補正フィルタ36の入力端子L1には、ラインバッファ31から「9ライン」の画像データGD1が供給される。そして、補正フィルタ36の入力端子L2には、ラインバッファ32から「10ライン」の画像データGD2が供給される。補正フィルタ36は、「9ライン」「10ライン」「11ライン」に基づいて「11ライン」の出力画像データGDoを出力する。出力部38は、Lレベルの出力制御信号SOWに応答して、補正フィルタ36から出力される出力画像データGDoを図1に示すメモリ14に格納する。
次に、図14に示すように、処理期間T2において、入力画像データGDiは「12ライン」となる。図2に示す制御部34は、入力画像データGDiの入力画素座標値Iy(=12)に基づいて、出力画素座標値Oyを「12」とする。そして、制御部34は、その出力画素座標値Oyを基準座標値Pyと比較する。このとき、出力画素座標値Oyは、基準座標値Pyより大きい。このため、制御部34は、有効ラインの切り替えを行う。
すなわち、制御部34は、入力端子S1を選択する選択信号SELを出力する。セレクタ35は、この選択信号SELに応答して、入力端子S1に供給される画像データGD1を出力する。したがって、補正フィルタ36の入力端子L3には、ラインバッファ31から「10ライン」の画像データGD1が供給される。補正フィルタ36の入力端子L4には、ラインバッファ32から「11ライン」の画像データGD2が供給される。そして、補正フィルタ36の入力端子L5には、「12ライン」の入力画像データGDi(GD3)が供給される。
このとき、出力画素座標値Oyは「12」である。しかし、補正フィルタ36において、対象画素とする入力端子L3に供給される画像データGD1は、「10ライン」である。このため、制御部34は、図14に示すように、Hレベルの出力制御信号SOWを出力する。図2に示す出力部38は、Hレベルの出力制御信号SOWに応答して画像データの出力を停止する。また、補正フィルタ36は、Hレベルの出力制御信号SOWに応答して、演算処理を停止する。
次に、図14に示すように、処理期間T3において、入力画像データGDiは「13ライン」となる。このとき、ラインバッファ31は、「11ライン」の画像データGD1を出力し、ラインバッファ32は、「12ライン」の画像データGD2を出力する。したがって、補正フィルタ36の入力端子L3,L4,L5には、「11ライン」「12ライン」「13ライン」の画像データGD1,GD2,GD3が供給される。このため、図2に示す出力部38は、Hレベルの出力制御信号SOWを出力する。出力部38は、Hレベルの出力制御信号SOWに応答して画像データの出力を停止する。
次に、図14に示すように、処理期間T4において、入力画像データGDiは「14ライン」となる。このとき、ラインバッファ31は、「12ライン」の画像データGD1を出力し、ラインバッファ32は、「13ライン」の画像データGD2を出力する。したがって、補正フィルタ36の入力端子L3,L4,L5には、「12ライン」「13ライン」「14ライン」の画像データGD1,GD2,GD3が供給される。したがって、補正フィルタ36において、対象画素とする入力端子L3に、出力画素座標値Oy(=12)と等しい「12ライン」の画像データGD1が供給される。このため、図2に示す出力部38は、Lレベルの出力制御信号SOWを出力する。補正フィルタ36は、Lレベルの出力制御信号SOWに応答して演算処理を行い、画像データGD1,GD2,GD3に基づいて補正処理した画像データGDoを出力する。出力部38は、Lレベルの出力制御信号SOWに応答して、補正フィルタ36から出力される画像データGDoを、図1に示すメモリ14に格納する。
なお、図2に示す制御部34は、入力画素座標値Iyと、基準座標値Pyと、補正フィルタ36のフィルタサイズとに基づいて、Hレベルの出力制御信号SOWを出力する期間を設定してもよい。たとえば、制御部34は、出力画素座標値Oyと基準座標値Pyとを比較した結果に基づいて、Hレベルの出力制御信号SOWを出力する。そして、制御部34は、補正フィルタ36のフィルタサイズに基づいてその補正フィルタ36において縮小処理にて参照する画素のライン数(本実施形態では「3」)を、基準座標値Pyに加算する。その加算結果の値と入力画素座標値Iyとを比較し、入力画素座標値Iyが加算結果の値と等しくなると、Lレベルの出力制御信号SOWを出力する。これにより、制御部34は、2つのラインの画像データを入力する間(図14において処理期間T2,T3)、Hレベルの出力制御信号SOWを出力する。
[拡大処理]
次に、拡大処理における有効ラインの切替処理を説明する。
図15に示すように、処理位置F21において、図2に示す補正フィルタ36は、「9ライン」「10ライン」「11ライン」により、「9ライン」の色情報を算出する。次に、処理位置F22において、図2に示す補正フィルタ36は、「10ライン」「11ライン」により、「10ライン」の色情報を算出する。次に、図16に示すように、処理位置F23において、図2に示す補正フィルタ36は、「11ライン」により、「11ライン」の色情報を算出する。
そして「11ライン」に対する処理を終了すると、図16に示す処理位置F24に設定し、つぎの「12ライン」に対する処理を開始する。「12ライン」の各画素の座標値(出力画素座標値Oy)は、基準画素PGの座標値(Py)より大きい。したがって、図2に示す補正フィルタ36は、入力端子L1〜L3の画像データに基づいて出力画像データGDoを生成する。また、処理の対象は「12ライン」であり、この「12ライン」の処理に、「11ライン」と「12ライン」の画像データを必要とする。このため、図2に示す制御部34は、選択信号SELと出力制御信号SOWにより、セレクタ35、出力部38を制御する。
図17に示すように、処理期間T1において、入力画像データGDi(GD3)は「11ライン」である。また、第1画像データGD1は「9ライン」であり、第2画像データGD2は「10ライン」である。そして、これらの画像データGD1〜GD3が図2に示す補正フィルタ36の入力端子L3〜L5に供給される。図2に示す制御部34は、入力画像データGDiの座標値Iy(=11)に基づいて、出力画素座標値Oy「9」を算出する。たとえば、制御部34は、入力画素座標値Iyから、補正フィルタ36のフィルタサイズに応じた値(本実施形態では「2」)を減算して出力画素座標値Oyを算出する。フィルタサイズに応じた値は、補正フィルタ36において、参照範囲に含まれる画素のライン数のうち、対象画素のラインを含まないラインの数である。本実施形態において、図10,図11に示すように、参照範囲36U,36Dにおいて、対象画素のラインを含まないラインの数は「2」である。なお、制御部34において、入力画素座標値Iyからラインバッファ31,32の数(本実施形態では「2」)を減算して出力画素座標値Oyを算出してもよい。そして、制御部34は、その出力画素座標値Oyを基準座標値Pyと比較する。このとき、出力画素座標値Oy(=9)は、基準座標値Py以下である。このため、制御部34は、有効ラインの切り替えを行わない。
つまり、図17に示すように、処理期間T1において、第1画像データGD1は「9ライン」であり、第2画像データGD2は「10ライン」であり、入力画像データGDi(GD3)は「11ライン」である。このとき、入力制御信号SIWと出力制御信号SOWはLレベルである。図2に示す制御部34は、入力端子S1を選択する選択信号SELを出力する。セレクタ35は、その選択信号SELに応答して、入力端子S1に供給される画像データGD1を出力する。
したがって、補正フィルタ36の入力端子L3には、ラインバッファ31から「9ライン」の画像データGD1が供給される。この補正フィルタ36の入力端子L4には、ラインバッファ32から「10ライン」の画像データGD2が供給される。そして、補正フィルタ36の入力端子L5には、「11ライン」の入力画像データGD3(GDi)が供給される。補正フィルタ36は、「9ライン」「10ライン」「11ライン」に基づいて「9ライン」の出力画像データGDoを出力する。出力部38は、Lレベルの出力制御信号SOWに応答して、補正フィルタ36から出力される出力画像データGDoを図1に示すメモリ14に格納する。
「9ライン」に対する処理を終了すると、図2に示す制御部34は、次に入力する入力画像データの座標値を算出し、その算出した値と基準座標値Pyとを互いに比較する。たとえば、制御部34は、水平垂直カウンタ33から入力する入力画素座標値Iyをレジスタ34aに記憶する。そして、制御部34は、そのレジスタ34aに記憶した入力画素座標値Iyに「1」を加算する。その加算結果の値は、入力する入力画像データの座標値と等しい。制御部34は、加算結果の値を基準座標値Pyと比較する。そして、加算結果の値、つまり次に入力する入力画像データの座標値が基準座標値Pyより大きい場合、Hレベルの入力制御信号SIWを出力する。
次に入力する入力画像データの座標値が基準座標値Pyより大きい場合、その入力画像データは、基準座標値Pyより大きな座標値の画素において、基準画素PGより下側に向かって拡大するために必要な画像データである。そして、このときに処理する画像データを、補正フィルタ36の対象画素となる入力端子L3に供給する。このため、Hレベルの入力制御信号SIWにより入力を停止する。
図17に示すように、処理期間T2において、ラインバッファ31は「10ライン」の画像データGD1を出力し、ラインバッファ32は「11ライン」の画像データGD2を出力する。図2に示す制御部34は、出力画素座標値Oyと基準座標値Pyとを互いに比較する。なお、この処理期間T2において、入力部37は、Hレベルの入力制御信号SIWに応答して入力画像データGDiの出力を停止している。このため、制御部34は、レジスタに記憶した入力画素座標値Iyに基づいて、出力画素座標値Oyを算出する。
たとえば、制御部34は、レジスタ34aに記憶した入力画素座標値Iyから、入力を停止した期間に基づいた値(たとえば図17に示す処理期間T2では「1」)を減算して出力画素座標値Oyを算出する。また、レジスタ34aに出力画素座標値Oyを記憶しておき、期間に応じて出力画素座標値Oyに「1」を加算してもよい。また、制御部34は、補正フィルタ36における出力画像データの座標値(対象画素の座標値)を入力し、その値に基づいて出力画素座標値Oyを算出してもよい。制御部34は、算出した出力画素座標値Oyと基準座標値Pyとを互いに比較する。このとき、算出した出力画素座標値Oyは「10」であり、基準座標値Py以下である。このため、制御部34は、有効ラインの切り替えを行わない。
図17に示すように、この処理期間T2において、補正フィルタ36の入力端子L3には、ラインバッファ31から「10ライン」の画像データGD1が供給される。この補正フィルタ36の入力端子L4には、ラインバッファ32から「11ライン」の画像データGD2が供給される。補正フィルタ36は、「10ライン」「11ライン」に基づいて「10ライン」の出力画像データGDoを出力する。出力部38は、補正フィルタ36から出力される出力画像データGDoを図1に示すメモリ14に格納する。
次に、図17に示す処理期間T3において、ラインバッファ31は「10ライン」の画像データGD1を出力し、ラインバッファ32は「11ライン」の画像データGD2を出力する。図2に示す制御部34は、上記した処理期間T2と同様に、出力画素座標値Oyを算出する。このとき、出力画素座標値Oyは「11」であり、基準座標値Py以下である。このため、制御部34は、有効ラインの3ラインの切り替えを行わない。
なお、上記の処理期間T2では、補正フィルタ36の入力端子L3に「10ライン」の画像データGD1がされる。しかし、この処理期間T3では、対象画素の座標値が「11」つまり、入力端子L3に「11ライン」の画像データを供給する必要がある。このため、制御部34は、入力端子S2を選択する選択信号SELを出力する。セレクタ35は、その選択信号SELに応答して、入力端子S2に供給される画像データGD2を出力する。図2に示す補正フィルタ36は、図17に示すように、入力端子L3に供給される「11ライン」の画像データGD1に基づいて、「11ライン」の出力画像データGDoを出力する。
「11ライン」に対する処理を終了すると、図2に示す制御部34は、上記した処理期間T2,T3と同様にして、次の出力画素座標値Oyを算出する。このとき、算出される出力画素座標値Oyは「12」である。この算出した出力画素座標値Oyは、基準座標値Pyより大きい。したがって、制御部34は、有効ラインの切り替えを行う。つまり、制御部34は、入力端子S3を選択する選択信号SELを出力する。また、出力画素座標値Oyが「12」であるため、「12ライン」の画像データが必要となる。このため、制御部34は、Lレベルの入力制御信号SIWを出力する。
入力部37は、Lレベルの入力制御信号SIWに応答して、入力画像データGDiを出力する。図17に示すように、この入力画像データGDiは「12ライン」の画像データである。図2に示すセレクタ35は、選択信号SELに応答して、入力端子S3を選択する。この入力端子S3には、入力画像データGDiが供給される。したがって、補正フィルタ36の入力端子L3には、図17に示すように、「12ライン」の画像データGDi(GD3)が供給される。そして、補正フィルタ36の入力端子L2には、ラインバッファ32から「11ライン」の画像データGD2が供給される。図2に示す補正フィルタ36は、これら「11ライン」「12ライン」の画像データGD2,GD3に基づいて、「12ライン」の出力画像データGDoを出力する。出力部38は、補正フィルタ36から出力される出力画像データGDoを図1に示すメモリ14に格納する。
[比較例]
次に、上記の倍率色収差処理部22に対する比較例を説明する。
なお、比較例において、上記した実施形態と同じ符号を用いて説明することがある。
図18に示す倍率色収差処理部200は、4つのラインバッファ201〜204、補正フィルタ205、入力部206、出力部207を有している。この補正フィルタ205は、上記実施形態の補正フィルタ36(図2参照)と同様に、9×5の画素の画像データに基づいて、中心の対象画素における色情報を生成する。入力部206は、図示しないメモリから読み出した画像データGDiを出力する。ラインバッファ201〜204は、直列に接続され、画像データGDiを順次記憶する。そして、ラインバッファ201〜204は、記憶したデータに基づいて画像データGD1〜GD4を出力する。
補正フィルタ205は、5つの入力端子L1〜L5を有し、各入力端子L1〜L5に画像データGD1〜GD4,GDiが供給される。補正フィルタ205のレジスタには、基準座標値Pyと、色情報に対する拡大縮小設定値が図示しないCPUにより設定される。補正フィルタ205は、入力端子L3に供給される画像データの対象画素の座標値と、基準座標値Pyとに基づいて、対象画素の色情報を生成する。そして、補正フィルタ205は、その色情報を含む画像データGDoを出力する。出力部207は、補正フィルタ205から出力される画像データGDoを図示しないメモリに格納する。
この倍率色収差処理部200は、補正フィルタ205に対する画像データについて、有効となるラインの切り替えを行わない分、図2に示す倍率色収差処理部22と比べ、回路構成が単純である。しかし、補正フィルタ205に供給する4つのラインの画像データを記憶する必要があるため、4つのラインバッファ201〜204を有している。このようなラインバッファ201〜204の記憶容量を、この倍率色収差処理部200を有する撮像装置において撮影される画像のデータ量(画素数)の増加に応じて大きくする必要がある。このような記憶容量に設定された2つのラインバッファが占有する面積は、図2に示す倍率色収差処理部22に含まれる制御部34等が占有する面積より大きい。そして、上記実施形態の制御部等の回路規模は、画像のデータ量(画素数)の増加に対して変化しない、または増加量が少ない。
このため、上記実施形態の倍率色収差処理部22は、この比較例の倍率色収差処理部200と比べ、メモリ容量を低減することができる。また、回路が占有する面積の増加を抑制することができる。
以上記述したように、本実施形態によれば、以下の効果を奏する。
(1)倍率色収差処理部22は、2つのラインバッファ31,32を有している。2つのラインバッファ31,32はそれぞれ、1つのラインに含まれる複数の画素の画像データを記憶する容量のメモリである。2つのラインバッファ31,32は直列に接続され、入力部37から出力される画像データGDiを順次記憶し、画像データGD1,GD2を出力する。水平垂直カウンタ33は、入力画像データGDiをカウントし、カウント値に基づいて、入力画像データGDiに含まれる各画素の入力画素座標値Ix,Iyを出力する。制御部34は、入力画素座標値Iyと、レジスタ34aの設定値に基づいて、補正フィルタ36から出力される画像データの出力画素座標値Oyを算出する。制御部34は、入力画素座標値,出力画素座標値,レジスタ34aの設定値(基準点の座標値、処理種別(縮小処理または拡大処理))に基づいて、選択信号SEL、入力制御信号SIW、出力制御信号SOWを生成する。セレクタ35は、選択信号SELに基づいて、3つの入力端子S1〜S3に供給される画像データGD1〜GD3から選択した画像データGDsを出力する。補正フィルタ36は、複数(本実施形態では5つ)の入力端子L1,L2,L3,L4,L5を有している。補正フィルタ36は、各入力端子L1〜L5に供給される画像データに基づいて、対象画素の色情報を生成する。たとえば、補正フィルタ36は、水平方向9画素、垂直方向5画素について、レジスタ36aの設定値に基づいて、中心の画素(対象画素)の色情報を生成し、その画素(出力画素)の色情報を出力する。
補正フィルタ36は、中心の対象画素CGについて、基準点PPと対象画素CGとの間の距離と拡大縮小設定値SCLに基づいて得た参照点RPの色情報を算出し、その色情報を対象画素CGの色情報とする。この場合、参照点RPは、対象画素CGのラインを含む上側の参照範囲36U、または対象画素CG規案を含む下側の参照範囲36Dに含まれる。したがって、入力画像データGDi(GD3)と、2つのラインバッファ31,32の画像データGD1,GD2とを、補正フィルタ36の入力端子L1〜L5に対して供給位置を制御部34とセレクタ35により切り替える。これにより、各入力端子L1〜L4に画像データを供給するために2つのラインバッファ31,32を用いればよく、メモリ容量を低減することができる。
(2)制御部34は、入力画素座標値,出力画素座標値,レジスタ34aの設定値に基づいて、有効ラインを切り替えるとき、所定の処理期間T2,T3において、Hレベルの入力制御信号SIWを生成する。入力部37は、Lレベルの入力制御信号SIWに応答して入力画像データGDiを出力し、Hレベルの入力制御信号SIWに応答して入力画像データGDiの出力を停止する。このように、入力画像データGDiの出力を停止することで、補正フィルタ36において必要なタイミングで入力画像データGDiを入力部37から出力させることができる。
(3)制御部34は、入力画素座標値,出力画素座標値,レジスタ34aの設定値に基づいて、有効ラインを切り替えるとき、所定の処理期間T2,T3において、Hレベルの出力制御信号SOWを生成する。出力部38は、Lレベルの出力制御信号SOWに応答して出力画像データGDoをメモリに格納し、Hレベルの出力制御信号SOWに応答して格納を停止する。このように、メモリに対する出力画像データGDoの格納を制御することで、不要なデータの格納や、メモリに対する不要なアクセスを行わないようにすることができる。
尚、上記各実施形態は、以下の態様で実施してもよい。
・上記実施形態では、図1に示すメモリ14から読み出した画像データについて倍率色収差補正を行ったが、他の画像処理部から出力される画像データについて倍率色収差補正を行うようにしてもよい。
たとえば、図19に示す画像処理装置100は、画像処理部101,103と倍率色収差処理部102を有している。画像処理部101は、たとえばノイズ処理部であり、画像処理部103は、たとえばホワイトバランス処理部である。画像処理部101は、図1に示す画像処理装置12と同様に接続されたメモリから画像データを読み出し、処理後の画像データGDaを出力する。倍率色収差処理部102は、画像処理部101から出力される画像データGDaを処理し、処理後の画像データGDbを出力する。画像処理部103は、倍率色収差処理部102から出力される画像データGDbを処理し、処理後の画像データをメモリに格納する。
この画像処理装置100において、倍率色収差処理部102は、画像処理部101に入力制御信号SIWを出力し、画像処理部101はその入力制御信号SIWに応答して画像データGDaの出力を停止する。つまり、画像処理部101は、画像処理機能と、図2に示す入力部37の機能を有している。また、倍率色収差処理部102は、画像処理部103に対して出力制御信号SOWを出力し、画像処理部103はその出力制御信号SOWに応答して画像データGDbに対する処理を停止する。つまり、画像処理部103は、画像処理機能と、図2に示す出力部38の機能を有している。
なお、図19に示す形態に対し、画像処理部101,103の何れか一方と、倍率色収差処理部102とを有する画像処理装置としてもよい。
たとえば、画像処理部101と倍率色収差処理部102を有する画像処理装置において、画像処理部101は、メモリから読み出した画像データを処理し、処理後の画像データGDaを出力する。倍率色収差処理部102は、画像データGDaを処理する。そして、倍率色収差処理部102は図2に示す出力部38を有し、出力部38は処理後の画像データGDbをメモリに格納する。
また、倍率色収差処理部102と画像処理部103を有する画像処理装置において、倍率色収差処理部102は図2に示す入力部37を有し、その入力部37によりメモリから画像データを読み出す。そして、倍率色収差処理部102は、画像データを処理し、処理後の画像データGDbを出力する。画像処理部103は、画像データGDbを処理し、処理後の画像データをメモリに格納する。
・上記実施形態では、補正フィルタ36のフィルタサイズを(9×5)画素としたが、フィルタサイズを適宜変更してもよい。変更したフィルタサイズに応じて、ラインバッファの数やセレクタを変更することはいうまでもない。
・上記実施形態において、センサI/F25は、撮像データSAに対する補正処理を行う機能を有していても良い。この補正処理は、例えばセンサリニアリティ補正処理、ノイズ除去処理が含まれる。
・倍率色収差に応じた値を記憶するテーブルをたとえば補正フィルタに記憶し、そのテーブルの値を用いて倍率色収差補正を行うようにしてもよい。テーブルの値は、たとえば、色毎に、基準点から対象画素までの距離と、その対象画素から参照点までの距離である。また、補正フィルタにおいて、距離をパラメータとする関数を用いた補正処理と、上記のテーブルを用いた補正処理とを、設定に応じて切り替えるようにしてもよい。
・上記実施形態に対し、必要とするラインの画像データが補正フィルタ36に供給できればよく、有効ラインの切替処理を適宜変更してもよい。
たとえば、縮小処理において、図14に示すように、処理期間T1を終了した時点で、有効ラインの切り替えを行い、Hレベルの出力制御信号SOWを出力する。その切り替え後、制御部34は、出力画素座標値Oyを、入力画素座標値Iyから所定のライン数(上記の実施形態では「2」)を減算した値とする。そして、制御部34は、この出力画素座標値Oyと基準座標値Pyを比較し、出力画素座標値Oyが基準座標値Pyより大きくなる(Oy>Py)とLレベルの出力制御信号SOWを出力する。
22 倍率色収差処理部
31,32 ラインバッファ
33 水平垂直カウンタ
34 制御部
35 セレクタ
36 補正フィルタ
37 入力部
38 出力部
L1〜L5 入力端子
GD1,GD2,GD3 画像データ
GDi 入力画像データ
Ix,Iy 入力画素座標値
Ix,Oy 出力画素座標値
PP 基準点
Px,Py 基準座標値
CG,CG1〜CG6 対象画素

Claims (9)

  1. 入力画像データに含まれる各画素の入力画素座標値を生成する座標値生成回路と、
    1つのラインの画像データを記憶する容量に設定され、前記入力画像データの各ラインデータを順次記憶するn個のラインバッファと、
    (2n+1)個の入力端子を有し、前記入力端子に供給される画像データのうち、処理の対象とする対象画素の前記入力画素座標値と、1つのフレームの画像において設定された基準点の基準座標値と、拡大縮小設定値とに基づいて、前記基準点を中心とする拡大処理または縮小処理により倍率色収差を補正した前記対象画素の色情報を生成する補正フィルタと、
    前記入力画素座標値と前記基準点の座標値と前記拡大縮小設定値とに基づいて、前記n個のラインバッファから出力される画像データと前記入力画像データとを、前記補正フィルタの第1〜第(n+1)番目の入力端子、または前記補正フィルタの第(n+1)〜第(2n+1)番目の入力端子に供給する供給制御部と、
    を有することを特徴とする画像処理回路。
  2. 前記供給制御部は、前記入力画素座標値と前記基準座標値と前記拡大縮小設定値とに基づいて前記補正フィルタから出力される出力画像データの出力画素座標値を算出し、前記入力画素座標値と前記出力画素座標値と前記基準座標値と前記拡大縮小設定値とに基づいて、前記補正フィルタの入力端子に対する前記n個のラインバッファから出力される画像データと前記入力画像データとの供給を制御すること、
    を特徴とする請求項1に記載の画像処理回路。
  3. 前記供給制御部は、前記拡大縮小設定値に基づいて、縮小処理において、基準点以下の座標値の領域に含まれる画素の画像データに対して、前記出力画素座標値を入力画素座標値と等しくし、基準点より大きな座標値の領域に含まれる画素の画像データに対して、前記補正フィルタに応じた値と前記入力画素座標値とに基づいて前記出力画素座標値を算出すること、
    を特徴とする請求項2に記載の画像処理回路。
  4. 前記供給制御部は、1つのフレームの画像データに対する処理の開始に応じて第1レベルの出力制御信号を出力し、前記入力画素座標値と前記出力画素座標値との少なくとも一方の座標値と前記基準座標値とを比較した結果に応じた処理期間、第2レベルの前記出力制御信号を出力すること、
    を特徴とする請求項2または3に記載の画像処理回路。
  5. 前記供給制御部は、前記拡大縮小設定値に基づいて、拡大処理において、基準点以下の座標値の領域に含まれる画素の画像データに対して、前記補正フィルタに応じた値と前記入力画素座標値とに基づいて前記出力画素座標値を算出し、基準点より大きな座標値の領域に含まれる画素の画像データに対して、前記出力画素座標値を入力画素座標値と等しくすること、
    を特徴とする請求項2に記載の画像処理回路。
  6. 前記供給制御部は、1つのフレームの画像データに対する処理の開始に応じて第1レベルの入力制御信号を出力し、前記入力画素座標値と前記出力画素座標値との少なくとも一方の座標値と前記基準座標値とを比較した結果に応じた処理期間、第2レベルの前記入力制御信号を出力すること、
    を特徴とする請求項2または5に記載の画像処理回路。
  7. 前記供給制御部は、前記処理期間において、前記n個のラインバッファに記憶したnライン分の前記画像データを、入力順に前記補正フィルタの第(n+1)番目の入力端子に供給すること、
    を特徴とする請求項6に記載の画像処理回路。
  8. 前記供給制御部は、
    前記n個のラインバッファから出力される画像データと前記入力画像データとがそれぞれ供給される(n+1)個の入力端子を有し、選択信号に応じて選択した1つの入力端子に供給される画像データを出力するセレクタと、
    前記入力画素座標値,前記出力画素座標値,前記基準点の座標値,前記拡大縮小設定値に基づいて前記選択信号を生成する制御部と、
    を有すること、を特徴とする請求項2〜7のいずれか一項に記載の画像処理回路。
  9. 入力画像データに含まれる各画素の入力画素座標値を生成し、
    1つのラインの画像データを記憶する容量に設定されたn個のラインバッファに前記入力画像データの各ラインデータを順次記憶し、
    (2n+1)個の入力端子を有し、前記入力端子に供給される画像データのうち、処理の対象とする対象画素の前記入力画素座標値と、1つのフレームの画像において設定された基準点の基準座標値と、拡大縮小設定値とに基づいて、前記基準点を中心とする拡大処理または縮小処理により倍率色収差を補正した前記対象画素の色情報を生成する補正フィルタに対して、前記入力画素座標値と前記基準点の座標値と前記拡大縮小設定値とに基づいて、前記n個のラインバッファから出力される画像データと前記入力画像データとを、前記補正フィルタの第1〜第(n+1)番目の入力端子、または前記補正フィルタの第(n+1)〜第(2n+1)番目の入力端子に供給すること、
    を特徴とする画像処理方法。
JP2014254124A 2014-12-16 2014-12-16 画像処理回路、画像処理方法 Pending JP2016116113A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014254124A JP2016116113A (ja) 2014-12-16 2014-12-16 画像処理回路、画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014254124A JP2016116113A (ja) 2014-12-16 2014-12-16 画像処理回路、画像処理方法

Publications (1)

Publication Number Publication Date
JP2016116113A true JP2016116113A (ja) 2016-06-23

Family

ID=56140229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014254124A Pending JP2016116113A (ja) 2014-12-16 2014-12-16 画像処理回路、画像処理方法

Country Status (1)

Country Link
JP (1) JP2016116113A (ja)

Similar Documents

Publication Publication Date Title
US8233055B2 (en) Image processing device and program
US9538085B2 (en) Method of providing panoramic image and imaging device thereof
US8368775B2 (en) Imaging apparatus and live-view image display method thereof
US20160065865A1 (en) Imaging device and imaging system
JP6515455B2 (ja) 撮像装置及び撮像表示装置
JP2011244220A (ja) 投影装置及びその制御方法
JP5658548B2 (ja) 画像信号処理装置、画像信号処理方法、およびプログラム
US8928782B2 (en) Image processing device and image capture device
JP2013115544A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US10171781B2 (en) Projection apparatus, method for controlling the same, and projection system
US20180270448A1 (en) Image processing system
JP2009296174A (ja) 撮像装置及び補正方法
JP2017156365A (ja) 液晶表示装置
US20180241977A1 (en) Image processing device, image processing method, and display device
KR20100007628A (ko) 이미지 센서 인터페이스 장치 및 이를 구비하는 디지털촬영 장치
JP6565326B2 (ja) 撮像表示装置及びその制御方法
US8842193B2 (en) Imaging apparatus
US10200562B2 (en) Imaging device
JP2016116113A (ja) 画像処理回路、画像処理方法
JP2017201749A (ja) 画像処理装置およびその制御方法
JP2019114887A (ja) 投射型画像表示装置およびその制御方法
JP6091216B2 (ja) 画像信号処理装置およびその制御方法、並びに撮像装置
JP3748446B2 (ja) 画像入力装置の画像処理回路
JP7159024B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
US11310442B2 (en) Display control apparatus for displaying image with/without a frame and control method thereof