JP2007281654A - 画像再生装置 - Google Patents

Abstract

【課題】再生画像の画質を向上することができる画像再生装置を提供する。
【解決手段】メモリカード１には、複数の領域に分割して領域毎に所定の圧縮率にて圧縮符号化した画像データとヘッダデータが格納されている。ヘッダデータには、分割した領域の位置を示すアドレスデータと各領域毎の圧縮率が記録されている。フィルタ５は、各領域の位置と圧縮率とを示すヘッダ情報に基づき、伸張後の画像データにおける複数の領域の内、第１の領域と、この第１の領域に隣接する第２の領域との境界を平滑化する。演算回路７は、ヘッダデータに基づき、平滑化を実行する平滑処理範囲をフィルタ５に設定する。
【選択図】図１

Description

本発明は、画像データを再生する画像再生装置に関し、より具体的には、撮像処理において圧縮符号化された圧縮画像データを伸張し、伸張画像データとして再生する画像再生装置に関する。

撮像画像をデジタル化した後、圧縮符号化して記録する方法は多数開発されている。撮像画像を圧縮符号化する場合に、ユーザの望む情報が多く存在する領域を選択して、その部分の情報量をなるべく多く残して圧縮する手法がある。例えば特許文献１においては、撮像画像を被写体の合焦領域と非合焦領域とに分け、合焦領域と非合焦領域とで異なった圧縮率を用いて撮像画像を符号化する方法が示されている。

また、画像撮像装置の中には、特許文献２に示されているように、入力画像の周辺部を光学的に圧縮する機能を持つ固定焦点距離画像入力光学系と、この入力光学系を介して受光する均一な画素密度の受光素子とを備え、入力光学系の圧縮による歪みを含んだ受光画像を補正変換することによって、歪を除去した画像を撮影する装置も提案されている。
特開２０００−２０９５９０号公報 特開平１０−２３３９５０号公報

しかし、特許文献１では、非可逆的に圧縮符号化されたデータを伸張し、再生表示する場合についての記載が無い。特許文献１に記載された方法で圧縮符号化された画像では、１枚の画像内に圧縮率の異なった画像が存在することとなる。圧縮率の違う画像データでは、含まれる高周波成分の量が違うため、伸張後の画質に差が発生し、再生画像の境界に画質の違いによる段差（不連続性）が生じてしまうことになる。

本発明は、１枚の画像が、圧縮率の異なる複数の圧縮画像データから構成されているときであっても、再生画像の画質を向上することができる画像再生装置を提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、光学系からの光像を受光した撮像素子から出力される画像データを複数の領域に分割して領域毎に所定の圧縮率にて圧縮符号化することによって生成され、各領域の位置と圧縮率とを示すヘッダ情報を有する圧縮画像データを伸張し、伸張画像データとして再生する画像再生装置であって、前記ヘッダ情報に基づき、前記伸張画像データにおける前記複数の領域の内、第１の領域と、この第１の領域に隣接する第２の領域との境界を平滑化するフィルタ手段と、前記ヘッダ情報に基づき、前記平滑化を実行する平滑処理範囲を前記フィルタ手段に設定する設定手段とを有することを特徴とする画像再生装置である。

また、本発明の画像再生装置において、前記フィルタ手段は、前記境界を挟んで、前記圧縮率の低い領域と前記圧縮率の高い領域との双方に跨って前記平滑処理範囲内の前記伸張画像データの平滑化を実行することを特徴とする。

また、本発明の画像再生装置において、前記フィルタ手段は、前記圧縮率の低い領域の前記伸張画像データに基づき、前記圧縮率の高い領域における前記平滑処理範囲内の前記伸張画像データのみ平滑化することを特徴とする。

また、本発明の画像再生装置において、前記フィルタ手段は、前記境界を挟んで、前記圧縮率の低い領域における前記伸張画像データの平均値と、前記圧縮率の高い領域における前記伸張画像データの平均値との差分を段差量として求め、前記段差量に基づき、処理対象の前記伸張画像データの位置に応じて前記平滑処理範囲内の前記伸張画像データを処理することを特徴とする。

また、本発明の画像再生装置において、前記光学系は、中央部に対して周辺部分を光学的に圧縮して集光する歪光学系であり、前記ヘッダ情報は前記歪光学系の光学特性情報を含んでおり、前記フィルタ手段は、前記光学特性情報を含む前記ヘッダ情報に基づき、前記平滑処理範囲内の前記伸張画像データの光学特性を補正した上で、前記平滑化を実行することを特徴とする。

また、本発明は、中央部に対し周辺部分を光学的に圧縮して集光する歪光学系からの光像を受光した撮像素子から出力される画像データを、前記歪光学系の光学特性に応じて予め設定された複数の領域に分割して領域毎に所定の圧縮率にて圧縮符号化することによって生成され、前記光学特性を示すヘッダ情報を有する圧縮画像データを伸張し、伸張画像データとして再生する画像再生装置であって、前記ヘッダ情報に基づき、前記伸張画像データにおける前記複数の領域の内、第１の領域と、この第１の領域に隣接する第２の領域との境界を平滑化するフィルタ手段と、前記ヘッダ情報に基づき、前記平滑化を実行する平滑処理範囲を前記フィルタ手段に設定する設定手段とを有することを特徴とする画像再生装置である。

本発明によれば、各領域の位置と圧縮率とを示すヘッダ情報に基づいて平滑処理範囲を決定し、平滑処理を行うので、伸張画像データにおける、圧縮率の違いによって生じる境界部分の不連続（段差）を解消し、再生画像の画質を向上することができるという効果が得られる。

以下、図面を参照し、本発明の実施形態を説明する。先ず、図１〜図１７を参照し、本発明の第１の実施形態を説明する。本実施形態では、撮像時に撮影画面を複数の領域に分割し、領域毎に異なる圧縮率で圧縮符号化して作成された画像データを再生する画像再生装置に本発明を適用した場合を例に説明を行っている。図１は、本実施形態による画像再生装置の構成を示している。先ず、各部の機能を説明する。

メモリカード１は、撮像によって生成された画像データ（圧縮後の圧縮画像データを含む）とヘッダデータが格納されるカード状記録媒体である。ヘッダデータには、分割した領域の位置を示すアドレスデータと各領域毎の圧縮率が記録されている。カードR/W回路２は、メモリカード１にアクセスし、画像データの読み出しや書き込みを行う。データバス３は各種データの伝送路である。

伸張回路４は、圧縮符号化された画像データを伸張する。伸張の際には、ヘッダデータに基づいて、領域毎に圧縮時の圧縮率に対応した伸張率で画像データが伸張される。フィルタ５（フィルタ手段）は、伸張後の画像データに対して、圧縮率の異なる領域同士の境界を平滑化する平滑処理を行う。操作ボタン６は、ユーザが各種の指示を入力するために操作するボタンである。演算回路７（設定手段）は、操作ボタン６から出力される信号に基づいてユーザからの指示の内容を検出すると共に、メモリカード１から読み出されたヘッダデータに基づいて、平滑処理を行う補正範囲（平滑処理範囲）を決定する。また、演算回路７は、決定した補正範囲をフィルタ５に設定する。

メモリ８は、データを一時記憶するワークメモリである。TFTコントロール回路９は、画像データを表示に適した形式に変換する。TFT１０は画像を表示する。圧縮回路１１は、領域毎に異なる圧縮率で画像データを非可逆の圧縮符号化方式で圧縮符号化し、カードR/W回路２を経由してメモリカード１に画像データを格納する。圧縮符号化に伴ってヘッダデータが生成され、同様にメモリカード１に格納される。ビデオ出力回路１２は再生時にビデオ信号を生成する。

次に、本画像再生装置の動作の概要を説明する。操作ボタン６からの指示内容を演算回路７が検出し、再生処理が開始される。先ず、メモリカード１に記録された画像データとヘッダデータが、カードR/W回路２により読み出され、データバス３を介して、メモリ８に記録される。メモリ８に記録された画像データは、伸張回路４に読み出され、輝度（Y）データと色（Cr，Cb）データに復号処理されメモリ８に記録される。

メモリ８に記録されたヘッダデータは、演算回路７に読み出され、ヘッダデータ中のアドレスデータに基づいて、分割された領域の境界部分である補正範囲の位置が決定される。補正範囲が決定されると、メモリ８の画像データが適宜フィルタ５に読み込まれ、平滑処理後の画像データが補正範囲のデータと置き換えられ、補正処理が行われる。補正処理後の画像データは、TFTコントロール回路９を通りTFT１０へ出力され、TFT１０に画像が表示される。また、操作内容に応じて、補正処理後の画像データがビデオ出力回路１２を通りビデオ信号として出力されたり、圧縮回路１１による圧縮後、メモリカード１に記録されることも行われる。

次に、本実施形態における平滑処理を施す補正範囲（平滑処理範囲）を説明する。図２に撮影画面１３内の高圧縮画像領域１４と低圧縮画像領域１６の位置関係の例を示す。図２では、中央部分に低圧縮画像領域１６が、周辺部分に高圧縮画像領域１４があり、両者の間に境界１５が位置する配置になっている。低圧縮画像領域１６と高圧縮画像領域１４では、含まれる周波数成分が異なるため、段差が境界１５に沿って直線状に発生することになり、見苦しい画像となる。そこで、本実施形態は、この境界１５に沿って平滑処理を行うことによって、段差を目立たなくするものである。

なお、本説明では、輝度（Y）データについて平滑処理を行う場合を説明するが、色（Cr，Cb）データについても、必要に応じて同様な処理を行うことが可能である。図３は補正範囲１７を示している。補正範囲１７は、図示のように低圧縮画像領域１６と高圧縮画像領域１４の境界部分を含んで、低圧縮画像領域１６と高圧縮画像領域１４の双方にまたがるように設定されている。

次に、図４〜図８を用いて本実施形態の第１の平滑処理方法について説明を行う。平滑処理開始前に補正範囲内の画像状態が演算回路７により調査され、補正範囲中に被写体画像のエッジ部分等の不連続なデータのある場合は、その部分は補正範囲から除かれる。これは、補正範囲中の画像にエッジ等の不連続なデータがあった場合、そのデータを平滑処理で失わないようにするためである。尚、上記の調査と補正範囲の再設定は、後述する第２の平滑処理方法でも行われる。本実施形態では、説明を簡素化するため、補正範囲内にはエッジ等の不連続な画像データは無いものとして説明する。

図４は、データの補正範囲とフィルタ５の処理範囲を示している。この図は、画素D6のデータに平滑処理を行うときの状態を示し、フィルタ５は、図中の太線１０１で囲まれた画素D3-D9のデータを用いて平滑処理を行う。図５は、フィルタ５内の係数レジスタ（図６の係数レジスタ１８）の構成を示し、図６は、第１の平滑処理に対応したフィルタ５ａ（図１のフィルタ５に相当）の構成を示している。

フィルタ５ａでは、メモリ８からの平滑処理前の画像データが、データバス３を介して入力バッファ１９に格納され、順次シフトレジスタ２０に転送される。シフトレジスタ２０に格納されたデータは、１画素ずつ順次、次段に転送されると共に、乗算器アレイ２１、係数レジスタ１８、加算器２２で構成される積和演算回路に加えられる。係数レジスタ１８の一部と乗算器アレイ２１の一部の図示は省略している。積和演算回路でのフィルタリング処理に関しては公知であるので説明を省略する。

本実施形態におけるフィルタ５ａは、ローパスフィルタ（LPF）特性を持つように係数レジスタ１８内の係数（g-3，g-2，g-1，g0，g1，g2，g3）が設定されており、図４における画素D6のデータの平滑処理では、画素D9-D3のデータが用いられる。ローパスフィルタの係数は各領域の画像の圧縮率によって選択され、平滑処理による画像の劣化が最小になるように設定されている。処理画像の画質に応じたローパスフィルタの係数設定方法については、公知であるので、説明を省略する。

図７に平滑処理前のデータの状態を示し、図８に平滑処理後のデータの状態を示す。本例では、データの補正範囲は、境界１５の左右の３画素を含む部分（合計６画素）としており、画素D3-D8のデータが補正対象となる。図４に示したデータ補正範囲（D3-D8）の補正の場合、画素D0-D11のデータが順次メモリ８から読み出され、処理が行われる。例えば、画素D3の補正を行う場合には、画素D0-D6のデータを用いて処理が行われ、画素D8の補正を行う場合には、画素D5-D11のデータを用いて処理が行われる。

処理後のデータは、図６の出力バッファ２３に格納され、メモリ８内の補正範囲のデータと置き換えられる。例えば、係数レジスタ１８内の係数（g-3，g-2，g-1，g0，g1，g2，g3）を、各々均等に1/7とした場合には、図７に示した補正前データは、図８に示した補正後データとなる。つまり、図７での画素D6のデータ（２４）は、画素D3-D9のデータの加算平均により求められ、図８の画素D6のデータ（２５）になる。図８に示したように、図７に生じていた境界（１５）付近の段差が平滑処理により埋められ、スムーズな画像となっている。

次に、図９〜図１４を用いて本実施形態の第２の平滑処理方法について説明を行う。第２の平滑処理方法は、圧縮率の低い画像を基準に、圧縮率の高い画像のデータを補正し、データを置き換えていく方法であり、平滑処理に用いるフィルタの構成と補正範囲が第１の平滑処理方法と異なっている。図９〜図１０を用いて補正範囲と補正手順を説明する。

図９は、第２の平滑処理方法における補正範囲を示している。画像データは、図２の場合と同じく中央部分の圧縮率が低く、周辺部分の圧縮率が高く設定されている。そのため、図９に示した如く、境界１５に接した周辺部分が補正範囲２６となる。補正手順は、図１０に示したように、水平方向の補正が成された後、水平方向の補正で値が置き換えられた範囲（２７）の画像も基準にして、補正範囲２８を対象とした垂直方向の処理が行われる。この手順により、境界１５周辺を全て処理する。

図１１〜図１４を用いて、具体的な処理内容を説明する。本実施形態の第２の平滑処理方法では、図１２のフィルタ５ｂ（図１のフィルタ５に相当）が本実施形態の第１の平滑処理方法におけるフィルタ５ａの代わりに使用され、それ以外は同じである。図１１は、第２の平滑処理方法でのデータの補正範囲と、その補正範囲に対応してフィルタ５ｂに入力されるデータの範囲を示している。図１１は、画素D7のデータを処理しているときの状態を示している。画素D7のデータを処理する場合、図中の太線１０２で囲まれたデータ（D0-D7）がフィルタ５ｂに入力される。

図１２はフィルタ５ｂの構成を示している。フィルタ５ｂは、構成を簡略化するため、フィルタ５ａにあった乗算回路を省いた構成になっている。また、加算結果を正規化するための1/8回路３３（3bitシフト回路）が加算器３２の後段に入れられている。上記以外の構成は図６で示したフィルタ５ａの構成と同じである。

平滑処理は、図１１に示したように、データの境界に隣接する圧縮率の高いデータ（Ｄ7）の処理から開始される。先ず、図１３において画素D7のデータ（３５）を処理するために、画素D0-D7のデータが入力バッファ３０から読み出されて、シフトレジスタ３１に設定される。シフトレジスタ３１に設定された各画素のデータが加算器３２へ出力され、加算される。加算器３２から出力された平滑処理後のデータ（D7）は、1/8回路３３を通って出力バッファ３４に格納される。

次の画素D8の処理では、画素D8のデータが新たに加えられ、同時に１データ分シフトされるので、シフトレジスタ３１に画素D1-D8のデータが設定された状態で処理が開始される。1/8回路３３から出力された平滑処理後の画素D8のデータも、画素D7のデータと同じく出力バッファ３４へ書き込まれる。上記手順により補正範囲内のデータの処理が行われるため、図１３に示す補正前データは、補正処理後、図１４に示す補正後データとなる。図１４に示したように、圧縮率の低いデータを基準として圧縮率の高いデータが補正されることとなる。

次に、図１５〜図１７を用いて本実施形態の第３の平滑処理方法について説明を行う。第３の平滑処理方法は、第２の平滑処理方法と同じく、圧縮率の低い画像を基準に、圧縮率の高い画像のデータを補正し、データを置き換えていく方法であるが、平滑処理においては、境界部分の段差を測定し、測定した段差分を段階的に加（減）算処理することにより平滑処理を行っている。そのため、第１、第２の平滑処理方法と異なり、補正範囲中で被写体画像のエッジ部分等の不連続なデータを検出する処理と、そのデータを補正範囲から排除する処理は行っていない。これは、第１、第２の平滑処理方法では平滑化したデータで元のデータを置き換えるのに対し、第３の平滑処理方法では元のデータに平滑用の値を加（減）算するだけであるので、不連続なデータのある場合にも不自然な画像にならないためである。

本説明では、補正範囲を、境界近傍の圧縮率の高い６画素分として説明を行う。すなわち、補正範囲は、前述した第２の平滑処理方法の補正範囲と同じである。図１５は、第３の平滑処理方法に対応したフィルタ５ｃ（図１のフィルタ５に相当）の構成を示している。図１５は、画素D6のデータを処理するときの状態を示している。

平滑処理の準備段階として、シフトレジスタ３８とシフトレジスタ３９には、図示の如く、各々画素D6-D1１のデータ、画素D0-D5のデータが入力されている。シフトレジスタ３８のデータ（D6-D1１）は加算器４０に加えられ、加算結果が減算器４２に出力されている。シフトレジスタ３９のデータ（D0-D5）も同様に加算器４１に加えられ、加算結果が減算器４２に出力されている。以上の処理から、減算器４２の出力は、境界付近の圧縮率の高い６画素分の画像データの総和と、圧縮率の低い６画素分の画像データの総和との差分となる。つまり、減算器４２の出力は、平均段差の６倍の値を示していることになる。減算器４２の出力は段差レジスタ４３に格納された後、乗算器４５に加えられる。

乗算器４５のもう一方の入力には、減算係数設定回路４４からのデータが加えられており、平均段差に対して、減算係数設定回路４４の出力値を乗じられた段差データが減算器４６に加えられる。減算係数設定回路４４は補正対象のデータの画素位置（境界からの距離）に応じて、3/24、1/12、1/24のいずれかの値を設定するものであり、この設定によって、減算器４６に加えられる段差データは、平均段差の3/4、1/2、1/4のいずれかの値になる。減算器４６の別の入力には、シフトレジスタ３８からのデータ（D6）が加えられており、減算結果が出力バッファ４７に格納される。

図１６〜図１７により、平滑処理の詳細を説明する。図１６は補正前データを示している。図１６中の画素D6のデータ（４８）の処理時には、図１５の減算係数設定回路４４が3/24を設定するため、画素D6のデータの出力時には、平均段差（ΔY）の3/4の値が画素D6の元のデータの値から減算されることになる。図１７は、平滑処理後のデータを示しており、画素D6のデータ（４９）と画素D7のデータに関しては平均段差（ΔY）の3/4の値が元のデータの値から減算され、画素D8，D9のデータに関しては平均段差の1/2の値が元のデータの値から減算され、画素D10，D11のデータに関しては平均段差の1/4の値が元のデータの値から減算された処理結果を示している。

上記説明では、データを２個単位でまとめて（D6，D7等）、同じ減算係数が使用されるものとして説明したが、１個毎に減算係数を変えることによって、よりスムーズな画質を実現することも可能である。また、画素D6のデータを補正する際に、画素D6の元のデータから乗算器４５の出力値を減算するようになっているが、減算係数設定回路４４の出力値を1/24とし、画素D5のデータに乗算器４５の出力値を加算するようにしてもよい。

上述したように、本実施形態によれば、領域毎に複数の異なる圧縮率で圧縮符号化された圧縮画像データに対応して、各領域の位置と圧縮率の情報を含むヘッダデータを生成して格納しておき、その圧縮画像データの再生において、各領域の位置と圧縮率の情報をヘッダデータから得て、平滑処理範囲と平滑処理方法を決定し、平滑処理を行うので、伸張画像データにおける、圧縮率の違いによって生じる境界部分の不連続（段差）を解消し、見易い表示画像の作成が可能になる。これによって、再生画像の画質を向上することができる。

また、第１の平滑処理方法によれば、圧縮率の違いによって生じる境界部分の段差を解消するときに、圧縮率の低い領域と圧縮率の高い領域の両方を均等に処理することとなるので、偏りの無いスムーズな画質を実現することが可能となる。また、第２、第３の平滑処理方法によれば、圧縮率の違いによって生じる境界部分の段差を解消するときに、解像度の高い（圧縮率の低い）領域を基準にして、解像度の低い（圧縮率の高い）側のデータを変更して平滑化が行われることになり、解像度の高い側のデータが影響を受けずに平滑化が行われるので、平滑処理後も、主要被写体のある解像度の高い側のデータが保持されるという効果が得られる。また、第３の平滑処理方法によれば、元のデータを基準としたデータ量の増減により平滑処理を行うことで、元のデータの状態が残されて平滑化が行われるため、平滑処理範囲の解像度を損なうこと無く平滑処理が行われる。

次に、図１８〜図３２を用いて本発明の第２の実施形態を説明する。本実施形態は、撮像装置の光学系として、図１８に示すような２個のシリンドリカルレンズ（１０３，１０４）を組み合わせた歪光学系を追加して、周辺部分を光学的に圧縮して集光する集光特性を持つ歪レンズユニットを持った撮像装置に本発明を応用した例である。上記の撮像装置では、撮像時に画面内を複数の領域に分割し、分割した領域毎に異なる圧縮率で画像データが圧縮符号化され、メモリカードに記録されるが、その場合、領域分割の基準として、歪光学系の光量分布が使用されている。

図１９、図２０は歪レンズユニットの特性を示している。図１９に示した、等間隔で区切られた被写体画面が、歪レンズユニットの通過後は、図２０の如く中央部は広く、周辺部は狭く、撮像素子の受光面上に投影される。その結果、受光光量は、周辺部で多く、中央部で少なくなる。

図２１、図２２により受光量の状態を説明する。図２２（ａ）は、均一光を受光した場合の受光面の光量分布を示しており、周辺部から中央部に移るに従って受光量が減少する様子を示している。図２２（ａ）は、図２１上の点A-B間の光量分布を示している。図２２（ａ）に示したように、受光量は中央部分で少なく、周辺部分で多くなっている。尚、周知の通り、光量分布はレンズ設計により決定され、多様な状態が考えられるが、本例では中央部分と周辺部分との光量比が約２倍の例で説明している。

図２２（ｂ）は、受光量を基準に領域分割を行う場合の領域分割の様子を示している。本例では、受光量を基準に画面内を２つの領域に分けている。図２２（ｂ）は、光量62.5%（5/8）を領域の境界とした例を示している。本例においても、第１の実施形態と同じく、圧縮符号化における中央部分の圧縮率を低く、周辺部分の圧縮率を高くした場合について説明する。

上記境界位置と圧縮率の情報は、第１の実施形態の場合と同じく、ヘッダデータとして画像データと共にメモリカード１上に記録されており、再生動作時にメモリ８上に展開され、演算回路７によって読み取られて使用される。また、使用する歪光学系の種類に１対１で対応するように境界位置と圧縮率が定められている撮像装置の場合、ヘッダデータには光学系の種類の情報だけが含まれ、光学系の種類と境界位置及び圧縮率とが予め関連付けられた情報を使用して演算回路７が平滑処理範囲を設定する。

以下、本実施形態の第１の平滑処理方法について説明を行う。第１の平滑処理方法は、第１の実施形態の第２の平滑処理方法と同じく、圧縮率の低い画像を基準に、圧縮率の高い画像のデータを補正し、データを置き換えていく方法であるが、平滑処理に用いるフィルタ５の構成が第１の実施形態の第２の平滑処理方法と異なっている。

本実施形態では、上述のように、光量分布の不均一な光学系を使っており、平滑処理は、光学特性を考慮して行われている。具体的には、光量分布は、図２２（ａ）に示した如きものになり、補正範囲は、全体から見ると狭い範囲であるので、光量分布上で光量の変化が直線近似で表されるものとして平滑処理を行っている。本平滑処理では、補正前のデータから、光学特性によるデータの変化分を取り除き、その状態で圧縮率の低い画像を基準に、圧縮率の高い画像に対してローパスフィルタを掛けていくことにより平滑処理を行っている。

図２３〜図２７を用いて、具体的な処理内容を説明する。図２３（ａ）は、光学特性を補正するための係数レジスタ（図２４の係数レジスタ５０）の構成を示している。図２３（ｂ）は、平滑処理を行うLPF特性を持つための係数レジスタ（図２４の係数レジスタ５１）の構成を示している。図２４は、平滑処理を行うフィルタ５ｄ（図１のフィルタ５に相当）の構成を示している。図２４は、図２５に示す画素D6のデータを補正しているときの状態を示している。

フィルタ５ｄでは、平滑処理前の画像データが入力バッファ５２に格納され、順次シフトレジスタ５３に転送される。シフトレジスタ５３に格納されたデータは、１画素ずつ順次、次段に転送される。そして、係数レジスタ５０、乗算器アレイ５４の組合せにより、補正対象画素（図２４の状態では画素D6）を基準に、平滑処理で使用する画素の光学特性が補正される。

例えば、１画素の距離に対して1/100の相対的な光量変化がある光学特性を補正する処理は以下のようになる。図２５のように画素D6から画素D0へ向かうにつれて光量が減少する場合、画素D6を補正するときには、基準となる画素D6の光量を1として、係数レジスタ５０の係数L-１には1.01、係数L-２には1.02、係数L-３には1.03が設定されることになる。

その結果、図２６に示した如く、画素D3-D5のデータは、画素D6のデータを基準にして光量が補正された状態で、次段のローパスフィルタ（ＬＰＦ）処理ブロックに出力されることになる。ローパスフィルタ処理ブロックは、係数レジスタ５１、乗算器アレイ５５、加算器５６で構成される積和演算回路である。ローパスフィルタ処理ブロックでは、前記の如く、LPF特性を持つように係数レジスタ５１内の係数が設定されており、本例は、各係数の値をそれぞれｈ0=1/2、ｈ-1=1/4、ｈ-2=1/8、ｈ-3=1/8とした例を示している。加算器５６からの平滑処理後のデータは出力バッファ５９に書き込まれ、データバス３を介してメモリ８に書き込まれる。

平滑処理の手順を説明する。平滑処理は、領域の境界に隣接する圧縮率の高いデータ（D6）の処理から開始される。先ず、図２４において、画素D6のデータを処理するために、画素D3-D6のデータがシフトレジスタ５３に設定される。上記の手順によって画素D6のデータが補正された後、次の画素D7の処理が行われる。画素D7の処理では、シフトレジスタ５３に画素D7のデータが新たに加えられ、同時に１データ分シフトされる。そのため、シフトレジスタ５３に画素D4-D7のデータが設定された状態で処理が行われる。

この時、補正範囲内での光量変化は、上述のように直線近似で表されるものとしているので、光学特性を補正するための係数レジスタ５０の設定値は変更されずにそのまま使われる。図２７に補正後データを示す。本実施形態では、図２７の如く、画素D6-D8の３データ分が処理範囲となっており、平滑化が成されていることが示されている。

次に、図２８〜図３２を用いて、本実施形態の第２の平滑処理方法について説明を行う。本平滑処理では、図２９に示す平滑処理用のフィルタ５ｅ（図１のフィルタ５に相当）により、補正前のデータから光学特性によるデータの変化分を取り除いてから、第１の実施形態の第３の平滑処理方法の場合と同じく、境界部分の段差を測定し、得られた段差から、補正するデータの画素位置に応じて補正量を求め、求めた補正量を用いて、補正前のデータに加（減）算処理を施すことにより平滑処理を行っている。但し、求められた段差が所定量より多い場合、画像として段差がある（エッジ部分等）と判断し、その部分の平滑処理は行わないようにしている点で、第１の実施形態の第３の平滑処理方法とは異なっている。

図２８は、光学特性を補正するための係数レジスタ（図２９の係数レジスタ６０，６１）の構成を示している。図２８（ａ）は図２９の係数レジスタ６０の構成を示し、図２８（ｂ）は図２９の係数レジスタ６１の構成を示している。本実施形態における光量補正では、境界に最も近く、圧縮率の低い画像の画素（本説明では図３０に示す画素D5）を基準値（"１"）として処理を行う。そのため、係数レジスタ６０には、圧縮率の高い画像の画素用の補正値が６データ（M１〜M６）分格納されており、係数レジスタ６１には、圧縮率の低い画像の画素用の補正値が５データ（M-１〜M-５）分格納されている。

図２９はフィルタ５ｅの構成を示している。シフトレジスタ６３，６４には、段差検出用のデータ（D0〜D11）が図示の如く格納されている。シフトレジスタ６３に入力された圧縮率の高い画像のデータは、係数レジスタ６０と乗算器アレイ６５により光量補正された後、加算器６７により加算され、減算器６９に加えられている。シフトレジスタ６４に入力された圧縮率の低い画像のデータも同様に、係数レジスタ６１と乗算器アレイ６６により光量補正された後、加算器６８により加算され、減算器６９に加えられている。減算器６９では、加算器６７の出力値から加算器６８の出力値を減算し、段差出力を求め、段差レジスタ７０に格納する。

段差レジスタ７０に格納された値は、１ライン分のデータ（D6-D11)の平滑処理の期間保持される。段差レジスタ７０からの段差出力は判定回路７１と乗算器７３に加えられる。判定回路７１では、入力された段差出力と所定の基準判定値とを比較し、段差出力が基準判定値以下の場合には平滑処理を行うように、また、段差出力が基準判定値を超えた場合には、元の画像中に段差があるものと判断して平滑処理を行わないように、判定結果を減算係数設定回路７２に出力する。

減算係数設定回路７２は、平滑処理を行うと判定回路７１が判定した場合には、処理するデータ（D6-D11）の画素位置に応じて、3/24、1/12、1/24のいずれかの値を減算係数として設定する。この設定によって、第１の実施形態の第３の平滑方法での処理と同じく、乗算器７３により減算器７４に加えられる段差データは、平均段差（ΔY）の3/4、1/2、1/4のいずれかの値になる。また、減算係数設定回路７２は、平滑処理を行わないと判定回路７１が判定した場合には、出力を０として、減算器７４に加えられる段差データを０にする。減算器７４では、シフトレジスタ６３の最終段の出力（D6）から乗算器７３の出力が減算され、出力バッファ７５に減算結果が格納される。

図３０〜図３２を用いて更に具体的に説明する。図３０に補正前のデータの状態を示す。図３０は、被写体として、平均的に輝度変化の無いものを撮影したときのデータの状態を示している。図中の直線１０５，１０６はデータの平均値であり、この場合、その傾きが光学特性を表すことになる。図３１に光量調整後のデータの状態を示す。これは、図２９における乗算器アレイ６５と乗算器アレイ６６の出力であり、基準となるデータ（画素D5のデータ（７７））は図３０と同じデータ値の位置（画素D5のデータ（７６））にある。また、データの平均値を示す直線１０７，１０８は水平になり、光学特性による変化が補正されていることが分かる。

図３２に補正後のデータの状態を示す。本実施形態の補正処理では、画素D6，D7のデータからΔY×3/4を減算し、画素D8，D9のデータからΔY/2を減算し、画素D10，D11のデータからΔY/4を減算する例を示しているが、更にスムーズな平滑処理を行うために、フィルタ５ｅの構成を変えずに、１画素単位で減算係数を変えて減算処理をすることも可能である。

上述したように、本実施形態によれば、光学特性を考慮し、画像データの光学特性の補正を行ってから平滑処理が成されるので、処理精度が向上し、的確な平滑処理が可能となる。また、歪光学系の光学特性と分割領域の位置や圧縮率との対応関係が予め定まっており、歪光学系を識別する情報のみがヘッダデータに含まれる場合には、平滑処理のために記録するヘッダデータが光学系の種類の情報だけになり、ヘッダデータ量の削減が可能となる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の第１の実施形態による画像再生装置の構成を示すブロック図である。 本発明の第１の実施形態における画像の分割範囲を示す参考図である。 本発明の第１の実施形態（第１の平滑処理方法）における補正範囲を示す参考図である。 本発明の第１の実施形態（第１の平滑処理方法）において用いられる画素を示す参考図である。 本発明の第１の実施形態（第１の平滑処理方法）による画像再生装置が備えるフィルタ内の係数レジスタの構成を示す構成図である。 本発明の第１の実施形態（第１の平滑処理方法）による画像再生装置が備えるフィルタの構成を示す構成図である。 本発明の第１の実施形態（第１の平滑処理方法）における補正前のデータの状態を示す参考図である。 本発明の第１の実施形態（第１の平滑処理方法）における補正後のデータの状態を示す参考図である。 本発明の第１の実施形態（第２の平滑処理方法）における補正範囲を示す参考図である。 本発明の第１の実施形態（第２の平滑処理方法）における補正の手順を示す参考図である。 本発明の第１の実施形態（第２の平滑処理方法）において用いられる画素を示す参考図である。 本発明の第１の実施形態（第２の平滑処理方法）による画像再生装置が備えるフィルタの構成を示す構成図である。 本発明の第１の実施形態（第２の平滑処理方法）における補正前のデータの状態を示す参考図である。 本発明の第１の実施形態（第２の平滑処理方法）における補正後のデータの状態を示す参考図である。 本発明の第１の実施形態（第３の平滑処理方法）による画像再生装置が備えるフィルタの構成を示す構成図である。 本発明の第１の実施形態（第３の平滑処理方法）における補正前のデータの状態を示す参考図である。 本発明の第１の実施形態（第３の平滑処理方法）における補正後のデータの状態を示す参考図である。 本発明の第２の実施形態における歪光学系の構成を示す構成図である。 本発明の第２の実施形態における歪光学系に入力される被写体画面を示す参考図である。 本発明の第２の実施形態における歪光学系から出力され、撮像素子の受光面に投影される受光画面を示す参考図である。 本発明の第２の実施形態における光量分布を説明するための説明図である。 本発明の第２の実施形態における光量分布と領域分割の様子を示す参考図である。 本発明の第２の実施形態（第１の平滑処理方法）による画像再生装置が備えるフィルタ内の係数レジスタの構成を示す構成図である。 本発明の第２の実施形態（第１の平滑処理方法）による画像再生装置が備えるフィルタの構成を示す構成図である。 本発明の第２の実施形態（第１の平滑処理方法）における補正前のデータの状態を示す参考図である。 本発明の第２の実施形態（第１の平滑処理方法）における光量補正中のデータの状態を示す参考図である。 本発明の第２の実施形態（第１の平滑処理方法）における補正後のデータの状態を示す参考図である。 本発明の第２の実施形態（第２の平滑処理方法）による画像再生装置が備えるフィルタ内の係数レジスタの構成を示す構成図である。 本発明の第２の実施形態（第２の平滑処理方法）による画像再生装置が備えるフィルタの構成を示す構成図である。 本発明の第２の実施形態（第２の平滑処理方法）における補正前のデータの状態を示す参考図である。 本発明の第２の実施形態（第２の平滑処理方法）における光量補正中のデータの状態を示す参考図である。 本発明の第２の実施形態（第２の平滑処理方法）における補正後のデータの状態を示す参考図である。

符号の説明

１・・・メモリカード、２・・・カードR/W回路、３・・・データバス、４・・・伸張回路、５，５ａ，５ｂ，５ｃ，５ｄ，５ｅ・・・フィルタ、６・・・操作ボタン、７・・・演算回路、８・・・メモリ、９・・・TFTコントロール回路、１０・・・TFT、１１・・・圧縮回路、１２・・・ビデオ出力回路

Claims (6)

1. 光学系からの光像を受光した撮像素子から出力される画像データを複数の領域に分割して領域毎に所定の圧縮率にて圧縮符号化することによって生成され、各領域の位置と圧縮率とを示すヘッダ情報を有する圧縮画像データを伸張し、伸張画像データとして再生する画像再生装置であって、
   前記ヘッダ情報に基づき、前記伸張画像データにおける前記複数の領域の内、第１の領域と、この第１の領域に隣接する第２の領域との境界を平滑化するフィルタ手段と、
   前記ヘッダ情報に基づき、前記平滑化を実行する平滑処理範囲を前記フィルタ手段に設定する設定手段と、
   を有することを特徴とする画像再生装置。
2. 前記フィルタ手段は、前記境界を挟んで、前記圧縮率の低い領域と前記圧縮率の高い領域との双方に跨って前記平滑処理範囲内の前記伸張画像データの平滑化を実行することを特徴とする請求項１に記載の画像再生装置。
3. 前記フィルタ手段は、前記圧縮率の低い領域の前記伸張画像データに基づき、前記圧縮率の高い領域における前記平滑処理範囲内の前記伸張画像データのみ平滑化することを特徴とする請求項１に記載の画像再生装置。
4. 前記フィルタ手段は、前記境界を挟んで、前記圧縮率の低い領域における前記伸張画像データの平均値と、前記圧縮率の高い領域における前記伸張画像データの平均値との差分を段差量として求め、前記段差量に基づき、処理対象の前記伸張画像データの位置に応じて前記平滑処理範囲内の前記伸張画像データを処理することを特徴とする請求項１に記載の画像再生装置。
5. 前記光学系は、中央部に対して周辺部分を光学的に圧縮して集光する歪光学系であり、
   前記ヘッダ情報は前記歪光学系の光学特性情報を含んでおり、
   前記フィルタ手段は、前記光学特性情報を含む前記ヘッダ情報に基づき、前記平滑処理範囲内の前記伸張画像データの光学特性を補正した上で、前記平滑化を実行する
   ことを特徴とする請求項１〜請求項４のいずれかに記載の画像再生装置。
6. 中央部に対し周辺部分を光学的に圧縮して集光する歪光学系からの光像を受光した撮像素子から出力される画像データを、前記歪光学系の光学特性に応じて予め設定された複数の領域に分割して領域毎に所定の圧縮率にて圧縮符号化することによって生成され、前記光学特性を示すヘッダ情報を有する圧縮画像データを伸張し、伸張画像データとして再生する画像再生装置であって、
   前記ヘッダ情報に基づき、前記伸張画像データにおける前記複数の領域の内、第１の領域と、この第１の領域に隣接する第２の領域との境界を平滑化するフィルタ手段と、
   前記ヘッダ情報に基づき、前記平滑化を実行する平滑処理範囲を前記フィルタ手段に設定する設定手段と、
   を有することを特徴とする画像再生装置。
   
   

Images