JP2007281654A - 画像再生装置 - Google Patents
画像再生装置 Download PDFInfo
- Publication number
- JP2007281654A JP2007281654A JP2006102887A JP2006102887A JP2007281654A JP 2007281654 A JP2007281654 A JP 2007281654A JP 2006102887 A JP2006102887 A JP 2006102887A JP 2006102887 A JP2006102887 A JP 2006102887A JP 2007281654 A JP2007281654 A JP 2007281654A
- Authority
- JP
- Japan
- Prior art keywords
- data
- smoothing
- image
- image data
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
Abstract
【課題】再生画像の画質を向上することができる画像再生装置を提供する。
【解決手段】メモリカード1には、複数の領域に分割して領域毎に所定の圧縮率にて圧縮符号化した画像データとヘッダデータが格納されている。ヘッダデータには、分割した領域の位置を示すアドレスデータと各領域毎の圧縮率が記録されている。フィルタ5は、各領域の位置と圧縮率とを示すヘッダ情報に基づき、伸張後の画像データにおける複数の領域の内、第1の領域と、この第1の領域に隣接する第2の領域との境界を平滑化する。演算回路7は、ヘッダデータに基づき、平滑化を実行する平滑処理範囲をフィルタ5に設定する。
【選択図】図1
【解決手段】メモリカード1には、複数の領域に分割して領域毎に所定の圧縮率にて圧縮符号化した画像データとヘッダデータが格納されている。ヘッダデータには、分割した領域の位置を示すアドレスデータと各領域毎の圧縮率が記録されている。フィルタ5は、各領域の位置と圧縮率とを示すヘッダ情報に基づき、伸張後の画像データにおける複数の領域の内、第1の領域と、この第1の領域に隣接する第2の領域との境界を平滑化する。演算回路7は、ヘッダデータに基づき、平滑化を実行する平滑処理範囲をフィルタ5に設定する。
【選択図】図1
Description
本発明は、画像データを再生する画像再生装置に関し、より具体的には、撮像処理において圧縮符号化された圧縮画像データを伸張し、伸張画像データとして再生する画像再生装置に関する。
撮像画像をデジタル化した後、圧縮符号化して記録する方法は多数開発されている。撮像画像を圧縮符号化する場合に、ユーザの望む情報が多く存在する領域を選択して、その部分の情報量をなるべく多く残して圧縮する手法がある。例えば特許文献1においては、撮像画像を被写体の合焦領域と非合焦領域とに分け、合焦領域と非合焦領域とで異なった圧縮率を用いて撮像画像を符号化する方法が示されている。
また、画像撮像装置の中には、特許文献2に示されているように、入力画像の周辺部を光学的に圧縮する機能を持つ固定焦点距離画像入力光学系と、この入力光学系を介して受光する均一な画素密度の受光素子とを備え、入力光学系の圧縮による歪みを含んだ受光画像を補正変換することによって、歪を除去した画像を撮影する装置も提案されている。
特開2000−209590号公報
特開平10−233950号公報
しかし、特許文献1では、非可逆的に圧縮符号化されたデータを伸張し、再生表示する場合についての記載が無い。特許文献1に記載された方法で圧縮符号化された画像では、1枚の画像内に圧縮率の異なった画像が存在することとなる。圧縮率の違う画像データでは、含まれる高周波成分の量が違うため、伸張後の画質に差が発生し、再生画像の境界に画質の違いによる段差(不連続性)が生じてしまうことになる。
本発明は、1枚の画像が、圧縮率の異なる複数の圧縮画像データから構成されているときであっても、再生画像の画質を向上することができる画像再生装置を提供することを目的とする。
本発明は、上記の課題を解決するためになされたもので、光学系からの光像を受光した撮像素子から出力される画像データを複数の領域に分割して領域毎に所定の圧縮率にて圧縮符号化することによって生成され、各領域の位置と圧縮率とを示すヘッダ情報を有する圧縮画像データを伸張し、伸張画像データとして再生する画像再生装置であって、前記ヘッダ情報に基づき、前記伸張画像データにおける前記複数の領域の内、第1の領域と、この第1の領域に隣接する第2の領域との境界を平滑化するフィルタ手段と、前記ヘッダ情報に基づき、前記平滑化を実行する平滑処理範囲を前記フィルタ手段に設定する設定手段とを有することを特徴とする画像再生装置である。
また、本発明の画像再生装置において、前記フィルタ手段は、前記境界を挟んで、前記圧縮率の低い領域と前記圧縮率の高い領域との双方に跨って前記平滑処理範囲内の前記伸張画像データの平滑化を実行することを特徴とする。
また、本発明の画像再生装置において、前記フィルタ手段は、前記圧縮率の低い領域の前記伸張画像データに基づき、前記圧縮率の高い領域における前記平滑処理範囲内の前記伸張画像データのみ平滑化することを特徴とする。
また、本発明の画像再生装置において、前記フィルタ手段は、前記境界を挟んで、前記圧縮率の低い領域における前記伸張画像データの平均値と、前記圧縮率の高い領域における前記伸張画像データの平均値との差分を段差量として求め、前記段差量に基づき、処理対象の前記伸張画像データの位置に応じて前記平滑処理範囲内の前記伸張画像データを処理することを特徴とする。
また、本発明の画像再生装置において、前記光学系は、中央部に対して周辺部分を光学的に圧縮して集光する歪光学系であり、前記ヘッダ情報は前記歪光学系の光学特性情報を含んでおり、前記フィルタ手段は、前記光学特性情報を含む前記ヘッダ情報に基づき、前記平滑処理範囲内の前記伸張画像データの光学特性を補正した上で、前記平滑化を実行することを特徴とする。
また、本発明は、中央部に対し周辺部分を光学的に圧縮して集光する歪光学系からの光像を受光した撮像素子から出力される画像データを、前記歪光学系の光学特性に応じて予め設定された複数の領域に分割して領域毎に所定の圧縮率にて圧縮符号化することによって生成され、前記光学特性を示すヘッダ情報を有する圧縮画像データを伸張し、伸張画像データとして再生する画像再生装置であって、前記ヘッダ情報に基づき、前記伸張画像データにおける前記複数の領域の内、第1の領域と、この第1の領域に隣接する第2の領域との境界を平滑化するフィルタ手段と、前記ヘッダ情報に基づき、前記平滑化を実行する平滑処理範囲を前記フィルタ手段に設定する設定手段とを有することを特徴とする画像再生装置である。
本発明によれば、各領域の位置と圧縮率とを示すヘッダ情報に基づいて平滑処理範囲を決定し、平滑処理を行うので、伸張画像データにおける、圧縮率の違いによって生じる境界部分の不連続(段差)を解消し、再生画像の画質を向上することができるという効果が得られる。
以下、図面を参照し、本発明の実施形態を説明する。先ず、図1〜図17を参照し、本発明の第1の実施形態を説明する。本実施形態では、撮像時に撮影画面を複数の領域に分割し、領域毎に異なる圧縮率で圧縮符号化して作成された画像データを再生する画像再生装置に本発明を適用した場合を例に説明を行っている。図1は、本実施形態による画像再生装置の構成を示している。先ず、各部の機能を説明する。
メモリカード1は、撮像によって生成された画像データ(圧縮後の圧縮画像データを含む)とヘッダデータが格納されるカード状記録媒体である。ヘッダデータには、分割した領域の位置を示すアドレスデータと各領域毎の圧縮率が記録されている。カードR/W回路2は、メモリカード1にアクセスし、画像データの読み出しや書き込みを行う。データバス3は各種データの伝送路である。
伸張回路4は、圧縮符号化された画像データを伸張する。伸張の際には、ヘッダデータに基づいて、領域毎に圧縮時の圧縮率に対応した伸張率で画像データが伸張される。フィルタ5(フィルタ手段)は、伸張後の画像データに対して、圧縮率の異なる領域同士の境界を平滑化する平滑処理を行う。操作ボタン6は、ユーザが各種の指示を入力するために操作するボタンである。演算回路7(設定手段)は、操作ボタン6から出力される信号に基づいてユーザからの指示の内容を検出すると共に、メモリカード1から読み出されたヘッダデータに基づいて、平滑処理を行う補正範囲(平滑処理範囲)を決定する。また、演算回路7は、決定した補正範囲をフィルタ5に設定する。
メモリ8は、データを一時記憶するワークメモリである。TFTコントロール回路9は、画像データを表示に適した形式に変換する。TFT10は画像を表示する。圧縮回路11は、領域毎に異なる圧縮率で画像データを非可逆の圧縮符号化方式で圧縮符号化し、カードR/W回路2を経由してメモリカード1に画像データを格納する。圧縮符号化に伴ってヘッダデータが生成され、同様にメモリカード1に格納される。ビデオ出力回路12は再生時にビデオ信号を生成する。
次に、本画像再生装置の動作の概要を説明する。操作ボタン6からの指示内容を演算回路7が検出し、再生処理が開始される。先ず、メモリカード1に記録された画像データとヘッダデータが、カードR/W回路2により読み出され、データバス3を介して、メモリ8に記録される。メモリ8に記録された画像データは、伸張回路4に読み出され、輝度(Y)データと色(Cr,Cb)データに復号処理されメモリ8に記録される。
メモリ8に記録されたヘッダデータは、演算回路7に読み出され、ヘッダデータ中のアドレスデータに基づいて、分割された領域の境界部分である補正範囲の位置が決定される。補正範囲が決定されると、メモリ8の画像データが適宜フィルタ5に読み込まれ、平滑処理後の画像データが補正範囲のデータと置き換えられ、補正処理が行われる。補正処理後の画像データは、TFTコントロール回路9を通りTFT10へ出力され、TFT10に画像が表示される。また、操作内容に応じて、補正処理後の画像データがビデオ出力回路12を通りビデオ信号として出力されたり、圧縮回路11による圧縮後、メモリカード1に記録されることも行われる。
次に、本実施形態における平滑処理を施す補正範囲(平滑処理範囲)を説明する。図2に撮影画面13内の高圧縮画像領域14と低圧縮画像領域16の位置関係の例を示す。図2では、中央部分に低圧縮画像領域16が、周辺部分に高圧縮画像領域14があり、両者の間に境界15が位置する配置になっている。低圧縮画像領域16と高圧縮画像領域14では、含まれる周波数成分が異なるため、段差が境界15に沿って直線状に発生することになり、見苦しい画像となる。そこで、本実施形態は、この境界15に沿って平滑処理を行うことによって、段差を目立たなくするものである。
なお、本説明では、輝度(Y)データについて平滑処理を行う場合を説明するが、色(Cr,Cb)データについても、必要に応じて同様な処理を行うことが可能である。図3は補正範囲17を示している。補正範囲17は、図示のように低圧縮画像領域16と高圧縮画像領域14の境界部分を含んで、低圧縮画像領域16と高圧縮画像領域14の双方にまたがるように設定されている。
次に、図4〜図8を用いて本実施形態の第1の平滑処理方法について説明を行う。平滑処理開始前に補正範囲内の画像状態が演算回路7により調査され、補正範囲中に被写体画像のエッジ部分等の不連続なデータのある場合は、その部分は補正範囲から除かれる。これは、補正範囲中の画像にエッジ等の不連続なデータがあった場合、そのデータを平滑処理で失わないようにするためである。尚、上記の調査と補正範囲の再設定は、後述する第2の平滑処理方法でも行われる。本実施形態では、説明を簡素化するため、補正範囲内にはエッジ等の不連続な画像データは無いものとして説明する。
図4は、データの補正範囲とフィルタ5の処理範囲を示している。この図は、画素D6のデータに平滑処理を行うときの状態を示し、フィルタ5は、図中の太線101で囲まれた画素D3-D9のデータを用いて平滑処理を行う。図5は、フィルタ5内の係数レジスタ(図6の係数レジスタ18)の構成を示し、図6は、第1の平滑処理に対応したフィルタ5a(図1のフィルタ5に相当)の構成を示している。
フィルタ5aでは、メモリ8からの平滑処理前の画像データが、データバス3を介して入力バッファ19に格納され、順次シフトレジスタ20に転送される。シフトレジスタ20に格納されたデータは、1画素ずつ順次、次段に転送されると共に、乗算器アレイ21、係数レジスタ18、加算器22で構成される積和演算回路に加えられる。係数レジスタ18の一部と乗算器アレイ21の一部の図示は省略している。積和演算回路でのフィルタリング処理に関しては公知であるので説明を省略する。
本実施形態におけるフィルタ5aは、ローパスフィルタ(LPF)特性を持つように係数レジスタ18内の係数(g-3,g-2,g-1,g0,g1,g2,g3)が設定されており、図4における画素D6のデータの平滑処理では、画素D9-D3のデータが用いられる。ローパスフィルタの係数は各領域の画像の圧縮率によって選択され、平滑処理による画像の劣化が最小になるように設定されている。処理画像の画質に応じたローパスフィルタの係数設定方法については、公知であるので、説明を省略する。
図7に平滑処理前のデータの状態を示し、図8に平滑処理後のデータの状態を示す。本例では、データの補正範囲は、境界15の左右の3画素を含む部分(合計6画素)としており、画素D3-D8のデータが補正対象となる。図4に示したデータ補正範囲(D3-D8)の補正の場合、画素D0-D11のデータが順次メモリ8から読み出され、処理が行われる。例えば、画素D3の補正を行う場合には、画素D0-D6のデータを用いて処理が行われ、画素D8の補正を行う場合には、画素D5-D11のデータを用いて処理が行われる。
処理後のデータは、図6の出力バッファ23に格納され、メモリ8内の補正範囲のデータと置き換えられる。例えば、係数レジスタ18内の係数(g-3,g-2,g-1,g0,g1,g2,g3)を、各々均等に1/7とした場合には、図7に示した補正前データは、図8に示した補正後データとなる。つまり、図7での画素D6のデータ(24)は、画素D3-D9のデータの加算平均により求められ、図8の画素D6のデータ(25)になる。図8に示したように、図7に生じていた境界(15)付近の段差が平滑処理により埋められ、スムーズな画像となっている。
次に、図9〜図14を用いて本実施形態の第2の平滑処理方法について説明を行う。第2の平滑処理方法は、圧縮率の低い画像を基準に、圧縮率の高い画像のデータを補正し、データを置き換えていく方法であり、平滑処理に用いるフィルタの構成と補正範囲が第1の平滑処理方法と異なっている。図9〜図10を用いて補正範囲と補正手順を説明する。
図9は、第2の平滑処理方法における補正範囲を示している。画像データは、図2の場合と同じく中央部分の圧縮率が低く、周辺部分の圧縮率が高く設定されている。そのため、図9に示した如く、境界15に接した周辺部分が補正範囲26となる。補正手順は、図10に示したように、水平方向の補正が成された後、水平方向の補正で値が置き換えられた範囲(27)の画像も基準にして、補正範囲28を対象とした垂直方向の処理が行われる。この手順により、境界15周辺を全て処理する。
図11〜図14を用いて、具体的な処理内容を説明する。本実施形態の第2の平滑処理方法では、図12のフィルタ5b(図1のフィルタ5に相当)が本実施形態の第1の平滑処理方法におけるフィルタ5aの代わりに使用され、それ以外は同じである。図11は、第2の平滑処理方法でのデータの補正範囲と、その補正範囲に対応してフィルタ5bに入力されるデータの範囲を示している。図11は、画素D7のデータを処理しているときの状態を示している。画素D7のデータを処理する場合、図中の太線102で囲まれたデータ(D0-D7)がフィルタ5bに入力される。
図12はフィルタ5bの構成を示している。フィルタ5bは、構成を簡略化するため、フィルタ5aにあった乗算回路を省いた構成になっている。また、加算結果を正規化するための1/8回路33(3bitシフト回路)が加算器32の後段に入れられている。上記以外の構成は図6で示したフィルタ5aの構成と同じである。
平滑処理は、図11に示したように、データの境界に隣接する圧縮率の高いデータ(D7)の処理から開始される。先ず、図13において画素D7のデータ(35)を処理するために、画素D0-D7のデータが入力バッファ30から読み出されて、シフトレジスタ31に設定される。シフトレジスタ31に設定された各画素のデータが加算器32へ出力され、加算される。加算器32から出力された平滑処理後のデータ(D7)は、1/8回路33を通って出力バッファ34に格納される。
次の画素D8の処理では、画素D8のデータが新たに加えられ、同時に1データ分シフトされるので、シフトレジスタ31に画素D1-D8のデータが設定された状態で処理が開始される。1/8回路33から出力された平滑処理後の画素D8のデータも、画素D7のデータと同じく出力バッファ34へ書き込まれる。上記手順により補正範囲内のデータの処理が行われるため、図13に示す補正前データは、補正処理後、図14に示す補正後データとなる。図14に示したように、圧縮率の低いデータを基準として圧縮率の高いデータが補正されることとなる。
次に、図15〜図17を用いて本実施形態の第3の平滑処理方法について説明を行う。第3の平滑処理方法は、第2の平滑処理方法と同じく、圧縮率の低い画像を基準に、圧縮率の高い画像のデータを補正し、データを置き換えていく方法であるが、平滑処理においては、境界部分の段差を測定し、測定した段差分を段階的に加(減)算処理することにより平滑処理を行っている。そのため、第1、第2の平滑処理方法と異なり、補正範囲中で被写体画像のエッジ部分等の不連続なデータを検出する処理と、そのデータを補正範囲から排除する処理は行っていない。これは、第1、第2の平滑処理方法では平滑化したデータで元のデータを置き換えるのに対し、第3の平滑処理方法では元のデータに平滑用の値を加(減)算するだけであるので、不連続なデータのある場合にも不自然な画像にならないためである。
本説明では、補正範囲を、境界近傍の圧縮率の高い6画素分として説明を行う。すなわち、補正範囲は、前述した第2の平滑処理方法の補正範囲と同じである。図15は、第3の平滑処理方法に対応したフィルタ5c(図1のフィルタ5に相当)の構成を示している。図15は、画素D6のデータを処理するときの状態を示している。
平滑処理の準備段階として、シフトレジスタ38とシフトレジスタ39には、図示の如く、各々画素D6-D11のデータ、画素D0-D5のデータが入力されている。シフトレジスタ38のデータ(D6-D11)は加算器40に加えられ、加算結果が減算器42に出力されている。シフトレジスタ39のデータ(D0-D5)も同様に加算器41に加えられ、加算結果が減算器42に出力されている。以上の処理から、減算器42の出力は、境界付近の圧縮率の高い6画素分の画像データの総和と、圧縮率の低い6画素分の画像データの総和との差分となる。つまり、減算器42の出力は、平均段差の6倍の値を示していることになる。減算器42の出力は段差レジスタ43に格納された後、乗算器45に加えられる。
乗算器45のもう一方の入力には、減算係数設定回路44からのデータが加えられており、平均段差に対して、減算係数設定回路44の出力値を乗じられた段差データが減算器46に加えられる。減算係数設定回路44は補正対象のデータの画素位置(境界からの距離)に応じて、3/24、1/12、1/24のいずれかの値を設定するものであり、この設定によって、減算器46に加えられる段差データは、平均段差の3/4、1/2、1/4のいずれかの値になる。減算器46の別の入力には、シフトレジスタ38からのデータ(D6)が加えられており、減算結果が出力バッファ47に格納される。
図16〜図17により、平滑処理の詳細を説明する。図16は補正前データを示している。図16中の画素D6のデータ(48)の処理時には、図15の減算係数設定回路44が3/24を設定するため、画素D6のデータの出力時には、平均段差(ΔY)の3/4の値が画素D6の元のデータの値から減算されることになる。図17は、平滑処理後のデータを示しており、画素D6のデータ(49)と画素D7のデータに関しては平均段差(ΔY)の3/4の値が元のデータの値から減算され、画素D8,D9のデータに関しては平均段差の1/2の値が元のデータの値から減算され、画素D10,D11のデータに関しては平均段差の1/4の値が元のデータの値から減算された処理結果を示している。
上記説明では、データを2個単位でまとめて(D6,D7等)、同じ減算係数が使用されるものとして説明したが、1個毎に減算係数を変えることによって、よりスムーズな画質を実現することも可能である。また、画素D6のデータを補正する際に、画素D6の元のデータから乗算器45の出力値を減算するようになっているが、減算係数設定回路44の出力値を1/24とし、画素D5のデータに乗算器45の出力値を加算するようにしてもよい。
上述したように、本実施形態によれば、領域毎に複数の異なる圧縮率で圧縮符号化された圧縮画像データに対応して、各領域の位置と圧縮率の情報を含むヘッダデータを生成して格納しておき、その圧縮画像データの再生において、各領域の位置と圧縮率の情報をヘッダデータから得て、平滑処理範囲と平滑処理方法を決定し、平滑処理を行うので、伸張画像データにおける、圧縮率の違いによって生じる境界部分の不連続(段差)を解消し、見易い表示画像の作成が可能になる。これによって、再生画像の画質を向上することができる。
また、第1の平滑処理方法によれば、圧縮率の違いによって生じる境界部分の段差を解消するときに、圧縮率の低い領域と圧縮率の高い領域の両方を均等に処理することとなるので、偏りの無いスムーズな画質を実現することが可能となる。また、第2、第3の平滑処理方法によれば、圧縮率の違いによって生じる境界部分の段差を解消するときに、解像度の高い(圧縮率の低い)領域を基準にして、解像度の低い(圧縮率の高い)側のデータを変更して平滑化が行われることになり、解像度の高い側のデータが影響を受けずに平滑化が行われるので、平滑処理後も、主要被写体のある解像度の高い側のデータが保持されるという効果が得られる。また、第3の平滑処理方法によれば、元のデータを基準としたデータ量の増減により平滑処理を行うことで、元のデータの状態が残されて平滑化が行われるため、平滑処理範囲の解像度を損なうこと無く平滑処理が行われる。
次に、図18〜図32を用いて本発明の第2の実施形態を説明する。本実施形態は、撮像装置の光学系として、図18に示すような2個のシリンドリカルレンズ(103,104)を組み合わせた歪光学系を追加して、周辺部分を光学的に圧縮して集光する集光特性を持つ歪レンズユニットを持った撮像装置に本発明を応用した例である。上記の撮像装置では、撮像時に画面内を複数の領域に分割し、分割した領域毎に異なる圧縮率で画像データが圧縮符号化され、メモリカードに記録されるが、その場合、領域分割の基準として、歪光学系の光量分布が使用されている。
図19、図20は歪レンズユニットの特性を示している。図19に示した、等間隔で区切られた被写体画面が、歪レンズユニットの通過後は、図20の如く中央部は広く、周辺部は狭く、撮像素子の受光面上に投影される。その結果、受光光量は、周辺部で多く、中央部で少なくなる。
図21、図22により受光量の状態を説明する。図22(a)は、均一光を受光した場合の受光面の光量分布を示しており、周辺部から中央部に移るに従って受光量が減少する様子を示している。図22(a)は、図21上の点A-B間の光量分布を示している。図22(a)に示したように、受光量は中央部分で少なく、周辺部分で多くなっている。尚、周知の通り、光量分布はレンズ設計により決定され、多様な状態が考えられるが、本例では中央部分と周辺部分との光量比が約2倍の例で説明している。
図22(b)は、受光量を基準に領域分割を行う場合の領域分割の様子を示している。本例では、受光量を基準に画面内を2つの領域に分けている。図22(b)は、光量62.5%(5/8)を領域の境界とした例を示している。本例においても、第1の実施形態と同じく、圧縮符号化における中央部分の圧縮率を低く、周辺部分の圧縮率を高くした場合について説明する。
上記境界位置と圧縮率の情報は、第1の実施形態の場合と同じく、ヘッダデータとして画像データと共にメモリカード1上に記録されており、再生動作時にメモリ8上に展開され、演算回路7によって読み取られて使用される。また、使用する歪光学系の種類に1対1で対応するように境界位置と圧縮率が定められている撮像装置の場合、ヘッダデータには光学系の種類の情報だけが含まれ、光学系の種類と境界位置及び圧縮率とが予め関連付けられた情報を使用して演算回路7が平滑処理範囲を設定する。
以下、本実施形態の第1の平滑処理方法について説明を行う。第1の平滑処理方法は、第1の実施形態の第2の平滑処理方法と同じく、圧縮率の低い画像を基準に、圧縮率の高い画像のデータを補正し、データを置き換えていく方法であるが、平滑処理に用いるフィルタ5の構成が第1の実施形態の第2の平滑処理方法と異なっている。
本実施形態では、上述のように、光量分布の不均一な光学系を使っており、平滑処理は、光学特性を考慮して行われている。具体的には、光量分布は、図22(a)に示した如きものになり、補正範囲は、全体から見ると狭い範囲であるので、光量分布上で光量の変化が直線近似で表されるものとして平滑処理を行っている。本平滑処理では、補正前のデータから、光学特性によるデータの変化分を取り除き、その状態で圧縮率の低い画像を基準に、圧縮率の高い画像に対してローパスフィルタを掛けていくことにより平滑処理を行っている。
図23〜図27を用いて、具体的な処理内容を説明する。図23(a)は、光学特性を補正するための係数レジスタ(図24の係数レジスタ50)の構成を示している。図23(b)は、平滑処理を行うLPF特性を持つための係数レジスタ(図24の係数レジスタ51)の構成を示している。図24は、平滑処理を行うフィルタ5d(図1のフィルタ5に相当)の構成を示している。図24は、図25に示す画素D6のデータを補正しているときの状態を示している。
フィルタ5dでは、平滑処理前の画像データが入力バッファ52に格納され、順次シフトレジスタ53に転送される。シフトレジスタ53に格納されたデータは、1画素ずつ順次、次段に転送される。そして、係数レジスタ50、乗算器アレイ54の組合せにより、補正対象画素(図24の状態では画素D6)を基準に、平滑処理で使用する画素の光学特性が補正される。
例えば、1画素の距離に対して1/100の相対的な光量変化がある光学特性を補正する処理は以下のようになる。図25のように画素D6から画素D0へ向かうにつれて光量が減少する場合、画素D6を補正するときには、基準となる画素D6の光量を1として、係数レジスタ50の係数L-1には1.01、係数L-2には1.02、係数L-3には1.03が設定されることになる。
その結果、図26に示した如く、画素D3-D5のデータは、画素D6のデータを基準にして光量が補正された状態で、次段のローパスフィルタ(LPF)処理ブロックに出力されることになる。ローパスフィルタ処理ブロックは、係数レジスタ51、乗算器アレイ55、加算器56で構成される積和演算回路である。ローパスフィルタ処理ブロックでは、前記の如く、LPF特性を持つように係数レジスタ51内の係数が設定されており、本例は、各係数の値をそれぞれh0=1/2、h-1=1/4、h-2=1/8、h-3=1/8とした例を示している。加算器56からの平滑処理後のデータは出力バッファ59に書き込まれ、データバス3を介してメモリ8に書き込まれる。
平滑処理の手順を説明する。平滑処理は、領域の境界に隣接する圧縮率の高いデータ(D6)の処理から開始される。先ず、図24において、画素D6のデータを処理するために、画素D3-D6のデータがシフトレジスタ53に設定される。上記の手順によって画素D6のデータが補正された後、次の画素D7の処理が行われる。画素D7の処理では、シフトレジスタ53に画素D7のデータが新たに加えられ、同時に1データ分シフトされる。そのため、シフトレジスタ53に画素D4-D7のデータが設定された状態で処理が行われる。
この時、補正範囲内での光量変化は、上述のように直線近似で表されるものとしているので、光学特性を補正するための係数レジスタ50の設定値は変更されずにそのまま使われる。図27に補正後データを示す。本実施形態では、図27の如く、画素D6-D8の3データ分が処理範囲となっており、平滑化が成されていることが示されている。
次に、図28〜図32を用いて、本実施形態の第2の平滑処理方法について説明を行う。本平滑処理では、図29に示す平滑処理用のフィルタ5e(図1のフィルタ5に相当)により、補正前のデータから光学特性によるデータの変化分を取り除いてから、第1の実施形態の第3の平滑処理方法の場合と同じく、境界部分の段差を測定し、得られた段差から、補正するデータの画素位置に応じて補正量を求め、求めた補正量を用いて、補正前のデータに加(減)算処理を施すことにより平滑処理を行っている。但し、求められた段差が所定量より多い場合、画像として段差がある(エッジ部分等)と判断し、その部分の平滑処理は行わないようにしている点で、第1の実施形態の第3の平滑処理方法とは異なっている。
図28は、光学特性を補正するための係数レジスタ(図29の係数レジスタ60,61)の構成を示している。図28(a)は図29の係数レジスタ60の構成を示し、図28(b)は図29の係数レジスタ61の構成を示している。本実施形態における光量補正では、境界に最も近く、圧縮率の低い画像の画素(本説明では図30に示す画素D5)を基準値("1")として処理を行う。そのため、係数レジスタ60には、圧縮率の高い画像の画素用の補正値が6データ(M1〜M6)分格納されており、係数レジスタ61には、圧縮率の低い画像の画素用の補正値が5データ(M-1〜M-5)分格納されている。
図29はフィルタ5eの構成を示している。シフトレジスタ63,64には、段差検出用のデータ(D0〜D11)が図示の如く格納されている。シフトレジスタ63に入力された圧縮率の高い画像のデータは、係数レジスタ60と乗算器アレイ65により光量補正された後、加算器67により加算され、減算器69に加えられている。シフトレジスタ64に入力された圧縮率の低い画像のデータも同様に、係数レジスタ61と乗算器アレイ66により光量補正された後、加算器68により加算され、減算器69に加えられている。減算器69では、加算器67の出力値から加算器68の出力値を減算し、段差出力を求め、段差レジスタ70に格納する。
段差レジスタ70に格納された値は、1ライン分のデータ(D6-D11)の平滑処理の期間保持される。段差レジスタ70からの段差出力は判定回路71と乗算器73に加えられる。判定回路71では、入力された段差出力と所定の基準判定値とを比較し、段差出力が基準判定値以下の場合には平滑処理を行うように、また、段差出力が基準判定値を超えた場合には、元の画像中に段差があるものと判断して平滑処理を行わないように、判定結果を減算係数設定回路72に出力する。
減算係数設定回路72は、平滑処理を行うと判定回路71が判定した場合には、処理するデータ(D6-D11)の画素位置に応じて、3/24、1/12、1/24のいずれかの値を減算係数として設定する。この設定によって、第1の実施形態の第3の平滑方法での処理と同じく、乗算器73により減算器74に加えられる段差データは、平均段差(ΔY)の3/4、1/2、1/4のいずれかの値になる。また、減算係数設定回路72は、平滑処理を行わないと判定回路71が判定した場合には、出力を0として、減算器74に加えられる段差データを0にする。減算器74では、シフトレジスタ63の最終段の出力(D6)から乗算器73の出力が減算され、出力バッファ75に減算結果が格納される。
図30〜図32を用いて更に具体的に説明する。図30に補正前のデータの状態を示す。図30は、被写体として、平均的に輝度変化の無いものを撮影したときのデータの状態を示している。図中の直線105,106はデータの平均値であり、この場合、その傾きが光学特性を表すことになる。図31に光量調整後のデータの状態を示す。これは、図29における乗算器アレイ65と乗算器アレイ66の出力であり、基準となるデータ(画素D5のデータ(77))は図30と同じデータ値の位置(画素D5のデータ(76))にある。また、データの平均値を示す直線107,108は水平になり、光学特性による変化が補正されていることが分かる。
図32に補正後のデータの状態を示す。本実施形態の補正処理では、画素D6,D7のデータからΔY×3/4を減算し、画素D8,D9のデータからΔY/2を減算し、画素D10,D11のデータからΔY/4を減算する例を示しているが、更にスムーズな平滑処理を行うために、フィルタ5eの構成を変えずに、1画素単位で減算係数を変えて減算処理をすることも可能である。
上述したように、本実施形態によれば、光学特性を考慮し、画像データの光学特性の補正を行ってから平滑処理が成されるので、処理精度が向上し、的確な平滑処理が可能となる。また、歪光学系の光学特性と分割領域の位置や圧縮率との対応関係が予め定まっており、歪光学系を識別する情報のみがヘッダデータに含まれる場合には、平滑処理のために記録するヘッダデータが光学系の種類の情報だけになり、ヘッダデータ量の削減が可能となる。
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
1・・・メモリカード、2・・・カードR/W回路、3・・・データバス、4・・・伸張回路、5,5a,5b,5c,5d,5e・・・フィルタ、6・・・操作ボタン、7・・・演算回路、8・・・メモリ、9・・・TFTコントロール回路、10・・・TFT、11・・・圧縮回路、12・・・ビデオ出力回路
Claims (6)
- 光学系からの光像を受光した撮像素子から出力される画像データを複数の領域に分割して領域毎に所定の圧縮率にて圧縮符号化することによって生成され、各領域の位置と圧縮率とを示すヘッダ情報を有する圧縮画像データを伸張し、伸張画像データとして再生する画像再生装置であって、
前記ヘッダ情報に基づき、前記伸張画像データにおける前記複数の領域の内、第1の領域と、この第1の領域に隣接する第2の領域との境界を平滑化するフィルタ手段と、
前記ヘッダ情報に基づき、前記平滑化を実行する平滑処理範囲を前記フィルタ手段に設定する設定手段と、
を有することを特徴とする画像再生装置。 - 前記フィルタ手段は、前記境界を挟んで、前記圧縮率の低い領域と前記圧縮率の高い領域との双方に跨って前記平滑処理範囲内の前記伸張画像データの平滑化を実行することを特徴とする請求項1に記載の画像再生装置。
- 前記フィルタ手段は、前記圧縮率の低い領域の前記伸張画像データに基づき、前記圧縮率の高い領域における前記平滑処理範囲内の前記伸張画像データのみ平滑化することを特徴とする請求項1に記載の画像再生装置。
- 前記フィルタ手段は、前記境界を挟んで、前記圧縮率の低い領域における前記伸張画像データの平均値と、前記圧縮率の高い領域における前記伸張画像データの平均値との差分を段差量として求め、前記段差量に基づき、処理対象の前記伸張画像データの位置に応じて前記平滑処理範囲内の前記伸張画像データを処理することを特徴とする請求項1に記載の画像再生装置。
- 前記光学系は、中央部に対して周辺部分を光学的に圧縮して集光する歪光学系であり、
前記ヘッダ情報は前記歪光学系の光学特性情報を含んでおり、
前記フィルタ手段は、前記光学特性情報を含む前記ヘッダ情報に基づき、前記平滑処理範囲内の前記伸張画像データの光学特性を補正した上で、前記平滑化を実行する
ことを特徴とする請求項1〜請求項4のいずれかに記載の画像再生装置。 - 中央部に対し周辺部分を光学的に圧縮して集光する歪光学系からの光像を受光した撮像素子から出力される画像データを、前記歪光学系の光学特性に応じて予め設定された複数の領域に分割して領域毎に所定の圧縮率にて圧縮符号化することによって生成され、前記光学特性を示すヘッダ情報を有する圧縮画像データを伸張し、伸張画像データとして再生する画像再生装置であって、
前記ヘッダ情報に基づき、前記伸張画像データにおける前記複数の領域の内、第1の領域と、この第1の領域に隣接する第2の領域との境界を平滑化するフィルタ手段と、
前記ヘッダ情報に基づき、前記平滑化を実行する平滑処理範囲を前記フィルタ手段に設定する設定手段と、
を有することを特徴とする画像再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006102887A JP2007281654A (ja) | 2006-04-04 | 2006-04-04 | 画像再生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006102887A JP2007281654A (ja) | 2006-04-04 | 2006-04-04 | 画像再生装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007281654A true JP2007281654A (ja) | 2007-10-25 |
Family
ID=38682688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006102887A Pending JP2007281654A (ja) | 2006-04-04 | 2006-04-04 | 画像再生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007281654A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009206738A (ja) * | 2008-02-27 | 2009-09-10 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
JP2010271343A (ja) * | 2009-05-19 | 2010-12-02 | Renesas Electronics Corp | 表示駆動装置およびその動作方法 |
JP2011095861A (ja) * | 2009-10-27 | 2011-05-12 | Canon Inc | 画像処理装置、制御方法、及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004134938A (ja) * | 2002-10-09 | 2004-04-30 | Minolta Co Ltd | 画像処理装置 |
JP2005020241A (ja) * | 2003-06-25 | 2005-01-20 | Ricoh Co Ltd | 画像復号装置、プログラム、記憶媒体及び画像復号方法 |
JP2006086822A (ja) * | 2004-09-16 | 2006-03-30 | Sanyo Electric Co Ltd | 電子透かし埋め込み装置と方法ならびに電子透かし抽出装置と方法 |
-
2006
- 2006-04-04 JP JP2006102887A patent/JP2007281654A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004134938A (ja) * | 2002-10-09 | 2004-04-30 | Minolta Co Ltd | 画像処理装置 |
JP2005020241A (ja) * | 2003-06-25 | 2005-01-20 | Ricoh Co Ltd | 画像復号装置、プログラム、記憶媒体及び画像復号方法 |
JP2006086822A (ja) * | 2004-09-16 | 2006-03-30 | Sanyo Electric Co Ltd | 電子透かし埋め込み装置と方法ならびに電子透かし抽出装置と方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009206738A (ja) * | 2008-02-27 | 2009-09-10 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
JP2010271343A (ja) * | 2009-05-19 | 2010-12-02 | Renesas Electronics Corp | 表示駆動装置およびその動作方法 |
JP2011095861A (ja) * | 2009-10-27 | 2011-05-12 | Canon Inc | 画像処理装置、制御方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100957261B1 (ko) | 화상 촬영 장치 및 색수차 보정 방법 | |
JP4178480B2 (ja) | 画像処理装置、画像処理方法、撮像装置および撮像方法 | |
JP4662880B2 (ja) | 撮像装置,及び撮像方法 | |
JP4956401B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
US8373775B2 (en) | Apparatus, method and software stored on a computer-readable storage medium, for reducing noise in an image | |
JP4165361B2 (ja) | 画像撮影装置、画像処理装置及びレンズ色収差補正方法 | |
JP2004242113A (ja) | 画像記録再生装置、画像撮影装置及び色収差補正方法 | |
JP2009147658A (ja) | 撮像装置及びその制御方法及びプログラム | |
JP2004221644A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JPH11250239A (ja) | Yuvデータによりディストーション補正を行うディジタル撮像装置 | |
KR101003681B1 (ko) | 화소보간회로, 화소보간방법 및 기록매체 | |
JP2015195582A (ja) | 画像処理装置及びその制御方法、撮像装置及びその制御方法、並びに、記録媒体 | |
US8009935B2 (en) | Pixel interpolation circuit, pixel interpolation method, and recording medium | |
JP2007281654A (ja) | 画像再生装置 | |
JP2004242125A (ja) | 画像処理装置 | |
JP2007323458A (ja) | 画像処理装置および画像処理方法 | |
JP6995490B2 (ja) | 映像再生装置とその制御方法及びプログラム | |
JP5213604B2 (ja) | 撮像装置 | |
JP4946417B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
JP4702088B2 (ja) | 画像信号のノイズ低減方法、ノイズ低減装置及び撮像装置 | |
JP2007180893A (ja) | 画像処理装置および撮像装置 | |
JP4973428B2 (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
JP5228929B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
JP4942596B2 (ja) | 画像処理装置、撮像装置及び表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110125 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110705 |