JP3810699B2 - 解像度変換装置および撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル処理により画像信号の画像サイズを変更する解像度変換装置に関する。
【０００２】
【従来の技術】
一般に、デジタル・ビデオ・カメラやデジタル・スチル・カメラなどの撮像デバイスでは、レンズ群やプリズムなどからなる光学系を透過した光はＣＣＤセンサやＣＭＯＳセンサなどの撮像センサで検出され画像信号に光電変換される。その画像信号はデジタル信号（原画像データ）にＡ／Ｄ変換された後に、画素補間、色空間変換、輪郭強調および解像度変換などの種々の画像処理を施され、その後、液晶表示装置（ＥＶＦ：電子ビューファインダー）などに表示される。また撮像デバイスは、画像処理を施した画像データを、ＪＰＥＧ（Joint Photographic Experts Group）やモーションＪＰＥＧ、ＭＰＥＧ（Moving Picture Experts Group）などの方式で圧縮符号化した後に不揮発性メモリなどのメモリカードに書き出したり、インターフェースを介してパーソナル・コンピュータなどの外部機器に出力したりする機能を有している。
【０００３】
ＥＶＦにファインダー表示される画像の表示倍率を変更するには、結像位置を変えずに光学系の焦点距離を物理的に変化させる方法と、画像データをデジタル画像処理で解像度変換する方法とがある。デジタル画像処理による画像の拡大方法としては、画像データの複数の画素データの重み付け平均値を算出する内分点補間方法（バイリニア法）や、画像中の画素データとｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ；ｘは変数）との折り畳み演算値を算出する３次折り畳み補間方法（バイキュービック法）などが公知である。
【０００４】
【発明が解決しようとする課題】
しかしながら、ハードウェアを用いて画像データをリアルタイムに拡大する拡大処理では、画像データをリアルタイムに縮小する縮小処理と比べて、ハードウェア構成が複雑になり易く、高コスト化を招き易いという問題点がある。この問題点を図１１と図１２を参照しながら以下に詳説する。
【０００５】
図１１は、デジタル・カメラに内蔵される従来の画像処理回路の主要部を示す概略図である。図１１に示す画像処理回路は、ＣＣＤ撮像素子１００、アナログ信号処理部１０１、ＲＰＵ（リアルタイム・プロセッシング・ユニット）１０２、メモリ・バス１０３、主メモリ１０４、およびＣＰＵ（中央演算装置）１０５を備えている。ＲＰＵ１０２、主メモリ１０４およびＣＰＵ１０５はメモリ・バス１０３と接続されている。
【０００６】
前記ＲＰＵ１０２は、複数の機能ブロック１０７ないし１１１を有する集積回路であり、具体的には、入力画像データを画素単位で処理する画素単位処理部１０７と、画素補間処理およびガンマ補正処理を行う画素補間・ガンマ処理部１０８と、色空間変換処理および色抑圧（クロマサプレス；偽色防止）処理を行う色空間変換・色抑圧処理部１０９と、空間フィルタリング処理およびコアリング処理を実行する空間フィルタ・コアリング処理部１１０と、入力画像データのサイズを１．０倍ないし１／１２８倍の範囲内で縮小する解像度変換処理部１１１とを備えて構成されるものである。機能ブロック１０７ないし１１１は多段接続されており、互いに独立に動作でき、入力データに対する処理を並列に実行してその実行結果を次段の機能ブロックに受け渡すことができる。
【０００７】
以上の構成をもつ画像処理回路の動作は以下の通りである。被写体からの入射光は、レンズなどの光学系（図示せず）を透過してＣＣＤ撮像素子１００で受光される。ＣＣＤ撮像素子１００は入射光を光電変換し、アナログ画像信号を生成してアナログ信号処理部１０１へ出力する。アナログ信号処理部１０１は、入力するアナログ画像信号に対して、ＣＤＳ（Correlated Double Sampling；相関二重サンプリング）処理、ＡＧＣ（Automatic Gain Control；自動利得制御）処理およびＡ／Ｄ変換処理を順次施して得たデジタル画像信号（原画像データ）２００をＲＰＵ１０２に出力する。
【０００８】
アナログ信号処理部１０１から出力された原画像データ２００は、画素単位処理部１０７と画素補間・ガンマ処理部１０８との何れか一方に選択的に入力させることができる。その原画像データ２００が各機能ブロック１０７ないし１１０で順次処理された後、空間フィルタ・コアリング処理部１１０から出力された画素データ２０２は、メモリ・バス１０３を介して主メモリ１０４上のバッファ領域に転送され格納されて主画像データ１１２を構成する。多くのデジタル・スチル・カメラでは、主画像が生成されると同時に、その見出し用の低解像度のサムネール画像も生成される。そのサムネール画像は、主画像の編集や整理をする際の一助にされることが多い。解像度変換処理部１１１は、空間フィルタ・コアリング処理部１１０から入力する画像データのサイズを縮小するように画素データ２０３を出力し、その画素データ２０３は、メモリ・バス１０３を介して主メモリ１０４上のバッファ領域に転送され格納されてサムネール画像データ１１３を形成する。
【０００９】
また、後処理（ポスト処理）で、主メモリ１０４に格納した画素データ２０１を読み出し、メモリ・バス１０３を介して、再度、ＲＰＵ１０２に転送して画像処理を施すことも可能である。
【００１０】
上記ＲＰＵ１０２の各機能ブロック１０７ないし１１１は、外部から供給される画素クロック（図示せず）に基づいて画像処理を実行する。解像度変換処理部１１１で画像サイズの縮小処理を実行するときは、解像度変換処理部１１１は、複数個の画素データが入力する期間中に１画素データを出力すればよい。例えば、画像データを水平画素方向に１／２倍に縮小する場合は、各水平ラインにおいて、２個の画素データの入力期間中に１個の画素データを出力すればよい。また、画像データを垂直画素方向に１／２倍に縮小する場合には、２ライン分の画素データの入力期間中に、１ライン分の画素データを出力すればよいことになる。しかしながら、画像サイズをｎ倍（ｎ：２以上の整数）に拡大する場合は、１個の画素データの入力期間中に、ｎ個の画素データを補間して出力する必要がある。よって、解像度変換処理部１１１に画像データのサイズ拡大機能を付与しようとすると、ＲＰＵ１０２の全体の処理速度を規律する画素クロックよりも速いクロックによる処理速度が要求されるため、そのタイミング制御のための回路構成が複雑化したり、回路規模が増大したりするという問題が生じる。この問題を避ける一手法としてポスト処理がある。
【００１１】
図１２は、前記ポスト処理を用いて画像データを垂直画素方向に２倍に拡大するＲＰＵ１０２の回路構成例を示す概略図である。図１２に明示しないが、図１１に示した回路の動作と同様に、上記原画像データ２００は、ＲＰＵ１０２の各機能ブロック１０７ないし１１０で順次処理された後に、主画像データ１１２となってメモリ・バス１０３を介して主メモリ１０４へ転送され格納される。この主画像データ１１２中の一部画像データ１１２ａを拡大する場合、当該一部画像データ１１２ａの画素データ２０４は、主メモリ１０４から読み出され、メモリ・バス１０３を介してＲＰＵ１０２に転送される。次いで、その画素データ２０４は、ＲＰＵ１０２の各機能ブロック１０７ないし１１１を経た後に、解像度変換処理部１１１から、拡大率に応じて解像度変換された画素データ２０５，２０６がそれぞれ、セレクタ１１５の「０」側端子とラインメモリ（ＦＩＦＯメモリ）１１８とに出力される。解像度変換処理部１１１は、入力画像データのサイズを２．０倍ないし１／１２８倍の範囲内で変換する機能を有している。本例の場合は画像サイズを２倍に拡大するため、解像度変換処理部１１１は、画素クロックの１周期中に上下２ラインの２個の画素データ２０５，２０６を出力することになる。
【００１２】
また、そのラインメモリ１１８は、水平ライン１本分の画素データを記憶する容量を有する。セレクタ１１５は、タイミング・コントローラ（図示せず）から供給される選択信号の論理レベルが"０"の期間は、「０」側端子に入力する画素データ２０５を選択し、その選択信号の論理レベルが"１"の期間には、「１」側端子に入力する画素データ２０６を選択して出力する。その選択信号の論理レベルは、解像度変換処理部１１１から水平ライン１本分の画素データが出力される度に、"０"から"１"または"１"から"０"へ切り換えられ、出力された画素データは、拡大率に応じてライン順次にアドレス指定されて主メモリ１０４に転送される。なお、当該選択信号の論理レベルが"１"の期間には、各機能ブロック１０７ないし１１１への画素クロックの供給が中断される。これにより、本例の場合は、主メモリ１０４のバッファ領域に、画像サイズを垂直画素方向に最大で２倍に拡大した拡大画像データ１１７を格納することができる。
【００１３】
しかしながら、図１２に示した回路では、画像サイズを最大で２倍に拡大するために、ＲＰＵ１０２内に１本分のラインメモリ１１８を組み込む必要がある。一般に、画像サイズを垂直画素方向にｎ倍（ｎ：２以上の整数）に拡大する場合は、解像度変換処理部１１１は最大でｎ倍の解像度変換機能を備えると共に、ｎ−１本分のラインメモリが必要となり、このラインメモリが、回路規模の増大と高コスト化を招くという問題点がある。
【００１４】
以上に述べた問題点などに鑑みて本発明が目的とするところは、画像サイズをリアルタイムに高品質で拡大し得る簡易構成且つ低コストの解像度変換装置を提供する点にある。
【００１５】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明は、リアルタイムに入力される画像信号に基づいて、前記画像信号によって表現される元画像の解像度を変換した変換画像をリアルタイムに記憶する解像度変換装置であって、変換画像を記憶するメモリと、前記画像信号に画像処理を実行しつつ、変換画像を構成する変換画素データを出力する画像処理部と、前記画像処理部から出力される変換画素データを前記メモリに転送することにより、前記メモリ上に変換画像を記憶させるデータ転送手段とを備え、前記画像処理部が、前記画像信号を垂直方向に解像度変換された変換画素データを生成する解像度変換手段と、前記解像度変換手段により生成された前記変換画素データのうち、隣接する縦方向に並んだ変換画素データを同時出力可能な少なくとも３以上のデータ出力手段と、前記解像度変換手段と前記３以上のデータ出力手段とを制御する制御手段とを有しており、前記解像度変換手段が、前記画像信号を垂直方向に縮小した縮小画像を構成する縮小画素データを変換画素データとして生成する少なくとも３個の独立した縮小手段を有しており、拡大画像を生成する場合において、前記制御手段は、前記３以上のデータ出力手段から同時に出力される前記変換画素データを前記メモリに１つの画像を構成する画素データとして転送することにより、前記元画像を垂直方向に拡大した拡大画像を変換画像として記憶させ、一方、拡大画像を生成しない場合において、前記制御手段は、前記３以上のデータ出力手段により同時に出力される変換画素データの組み合わせとして、本画像を構成する画素データとアフタービューを構成する画素データとの組み合わせ、または、本画像を構成する画素データとサムネールを構成する画素データとの組み合わせ、または、本画像を構成する画素データ、アフタービューを構成する画素データおよびサムネールを構成する画素データの組み合わせのうちから１つを選択して切り替えることを特徴とする。
【００２１】
また、請求項２の発明は、請求項１の発明に係る解像度変換装置であって、前記画像処理部が、少なくとも３本のラインメモリで、前記画像信号に輪郭強調等の画像処理を行う画像処理手段を有しており、前記解像度変換手段が、３ライン分の画素データを使用して前記変換画像データを生成する場合には、前記少なくとも３本のラインメモリを使用してポスト処理を行うことを特徴とする。
【００２２】
また、請求項３の発明は、請求項１または２の発明に係る解像度変換装置であって、前記データ転送手段は、前記画像処理部から出力される前記変換画素データの転送制御を行う複数のＤＭＡ（ダイレクト・メモリ・アクセス）チャンネルを有するＤＭＡコントローラであることを特徴とする。
【００２３】
また、請求項４の発明は、被写体の画像をデジタル画像データとして撮像する撮像装置であって、光学系を透過した入射光を受光し、光電変換によりアナログ画像信号を生成出力する撮像素子と、前記アナログ画像信号をデジタル画像信号に変換してデジタル画像データを生成する信号処理部と、請求項１ないし３のいずれかに記載の解像度変換装置とを備えており、前記信号処理部により生成された前記デジタル画像データを前記解像度変換装置に入力することを特徴とする。
【００２４】
【発明の実施の形態】
以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。
【００２５】
＜１． 第１の実施の形態＞
図１は、第１の実施の形態における解像度変換装置の主要部の構成を示す概略図である。この解像度変換装置は、入力する画像データに対してリアルタイムに画像処理を実行するＲＰＵ（リアルタイム・プロセッシング・ユニット）１２と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などからなる主メモリ１３と、ＤＭＡコントローラ１４と、ＣＰＵ１５とを備えている。これらＲＰＵ１２、主メモリ１３、ＤＭＡコントローラ１４、およびＣＰＵ１５は何れもメモリ・バス１６に接続されている。
【００２６】
この解像度変換装置はデジタル・カメラに組み込まれている。デジタル・カメラは、レンズ群などからなる光学系（図示せず）と、この光学系を透過した入射光を光電変換してアナログ画像信号を生成し出力するＣＣＤ撮像素子１０と、このＣＣＤ撮像素子１０から入力するアナログ画像信号に対して、ＣＤＳ処理、ＡＧＣ処理およびＡ／Ｄ変換処理を順次施してデジタル画像信号（原画像データ３０）を生成しＲＰＵ１２に出力するアナログ信号処理部１１とを備えている。
【００２７】
なお、図１では、原画像データ３０がアナログ信号処理部１１からＲＰＵ１２に入力される場合のみ図示しているが、これに限られるものではなく、例えば、後処理（ポスト処理）で、主メモリ１３に格納した画像データを原画像データ３０として読み出し、メモリ・バス１６を介して、ＲＰＵ１２に転送して画像処理を施すことも可能である。
【００２８】
ＤＭＡコントローラ１４は、メモリ・バス１６を介したデータ転送を制御する複数のＤＭＡチャンネルＣＨ０，ＣＨ１，ＣＨ２…と、これらＤＭＡチャンネルＣＨ０，ＣＨ１，ＣＨ２…間の実行順序を調停する調停回路（図示せず）などを備えており、ＣＰＵ１５を介さずに、ＲＰＵ１２と主メモリ１３との間でメモリ・バス１６を通じて直接データを転送するハードウェア機能を有する。
【００２９】
ＤＭＡコントローラ１４は、ＲＰＵ１２からＤＭＡ要求を受けると、ＣＰＵ１５に対してメモリ・バス１６の使用権の解放を要求する。ＣＰＵ１５がメモリ・バス１６を解放できる場合は、当該メモリ・バス１６の使用の許可信号をＤＭＡコントローラ１４に発行する。この許可信号を受けたＤＭＡコントローラ１４は、メモリ・バス１６をハイ・インピーダンス状態にする。かかる状態で、それぞれのＤＭＡチャンネルＣＨ０ないしＣＨ２が、主メモリ１３上のアクセス先のアドレス（書き込みアドレス）を生成し、これによりＲＰＵ１２の論理回路ＬＣ０ないしＬＣ２から出力される転送データがメモリ・バス１６を介して主メモリ１３に転送される。データ転送が終了した後は、ＲＰＵ１２はメモリ・バス１６の使用権をＣＰＵ１５に返還する。
【００３０】
ＲＰＵ１２は、画像処理を行う複数の機能ブロック１７，１８，１９，２０，２１，２２を有する集積回路であり、主に本発明における画像処理部に相当する。ＲＰＵ１２の各機能ブロック１７ないし２２は互いに独立して動作でき、入力データに対する処理を並列に実行してその実行結果を次段の機能ブロックに受け渡すことができるパイプライン機能を有するものである。
【００３１】
また、ＲＰＵ１２は、ＤＭＡコントローラ１４に対して、各ＤＭＡチャンネルＣＨ０ないしＣＨ２の使用権要求に相当するＤＭＡ要求を行う。さらに、ＤＭＡコントローラ１４から当該ＤＭＡ要求に対する許可信号を受け取ると、適宜、論理回路ＬＣ０ないしＬＣ２に記憶されてる画素データを出力する。
【００３２】
本実施の形態では、画素単位処理部１７、画素補間・ガンマ処理部１８、色空間変換・色抑圧処理部１９、空間フィルタ・コアリング処理部２０、解像度変換処理部２１、およびＲＰＵ・ＤＭＡチャンネルコントローラ２２の機能ブロックを示すが、これらに限定されるものではない。
【００３３】
各機能ブロック１７ないし２２の処理内容の概略は以下の通りである。画素単位処理部１７は、アナログ信号処理部１１から入力される原画像データ３０を画素単位で処理する機能ブロックである。具体的には、画素単位処理部１７は、入力される原画像データ３０を複数フレームもしくは複数フィールドに亘って平均化する経時的平均化処理や、画像中の明暗のムラを補正するシェーディング補正処理を行うことができる。
【００３４】
また、画素補間・ガンマ処理部１８は、各画素毎に不足の色成分を周辺画素を参照して補間する画素補間処理と、画像のガンマ特性を補正するガンマ補正処理とを実行する機能ブロックである。ベイヤー方式などの単板式のＣＣＤ撮像素子１０では、各画素当たり単色成分しか得られないため、処理対象となる画素の周辺画素を参照して各画素が複数色成分を有するように画素補間処理がなされる。例えば、原色単板式のＣＣＤ撮像素子１０では、各画素は、Ｒ（赤色），Ｇ（緑色）およびＢ（青色）の何れかの色成分しかもたないため、周辺画素におけるＲ，Ｇ，Ｂの色成分を用いて、各画素がＲ，Ｇ，Ｂの３色成分をもつように補間処理が実行されることになる。
【００３５】
また、色空間変換・色抑圧処理部１９は、画像の色空間を変換する色空間変換処理と、ホワイトバランスが狂い易い画像中の明部と暗部における発色を抑制する色抑制処理とを実行する機能ブロックである。色空間変換処理では、例えば、原色系のＲＧＢ色空間から、一つの輝度成分と２つの色差成分とからなるＹＣｂＣｒ色空間やＹＵＶ色空間へ変換する処理が実行される。
【００３６】
また、空間フィルタ・コアリング処理部２０は、空間フィルタ（重みマスク）を用いた空間フィルタリング処理と、主に画像信号の高域成分を抑圧する非線形処理（コアリング処理）とを実行する機能ブロックである。空間フィルタリング処理では、５ライン分の画素データを記憶するラインメモリ（図示せず）を有しており、画像信号中の５×５画素の局所領域に、各画素に対応する係数値をもつ空間フィルタを適用し、各画素データに前記各係数値を重み付け（乗算）して加算するという積和演算が実行される。係数値を適宜設定することで、画像中の線やエッジ部分を強調したり、ノイズを除去したりすることができる。
【００３７】
また、解像度変換処理部２１は、画像信号の解像度を変換する処理、すなわち、その画像サイズを縮小して画素数を小さくする処理と、画像サイズを拡大して画素数を大きくする処理とを実行する機能ブロックである。
【００３８】
図２は、解像度変換処理部２１およびＲＰＵ・ＤＭＡチャンネルコントローラ２２の構成を示す図である。解像度変換処理部２１は、縦変換制御部２１０と、ラインメモリ２１１と、縦サイズ変換部ＶＲ０ないしＶＲ２と、横変換制御部２１２と、横サイズ変換部ＨＲ０ないしＨＲ２とを備えている。
【００３９】
また、ＲＰＵ・ＤＭＡチャンネルコントローラ２２は、論理回路ＬＣ０ないしＬＣ２を備えており、各論理回路ＬＣ０ないしＬＣ２は、解像度変換処理部２１からの画素データ（各横サイズ変換部ＨＲ０ないしＨＲ２からの画素データ）をそれぞれ記憶するとともに、記憶した画素データを主メモリ１３に出力するか否かを示す転送許可信号ＴＲＥＮ０ないしＴＲＥＮ２に応じて、当該記憶している画素データを出力する。すなわち、論理回路ＬＣ０ないしＬＣ２が主に本発明におけるデータ出力手段に相当する。なお、転送許可信号ＴＲＥＮ０ないしＴＲＥＮ２とは、論理レベル"０"または"１"で表される信号であって、各論理回路ＬＣ０ないしＬＣ１は、各転送許可信号ＴＲＥＮ０ないしＴＲＥＮ２として論理レベル"１"が入力された場合にのみ、記憶した画素データの出力を行う。
【００４０】
縦変換制御部２１０は、オペレータなどにより指定される原画像の縦変換率αに基づいて、各タイミングごとに生成すべき画素データを判定する。また、各縦サイズ変換部ＶＲ０ないしＶＲ２が、バイリニア法を用いて当該画素データを生成する際に必要となる重みＷ０ないしＷ２を算出し、当該重みを示す信号を各縦サイズ変換部ＶＲ０ないしＶＲ２にそれぞれ出力することによって、各縦サイズ変換部ＶＲ０ないしＶＲ２を制御する。さらに、ＲＰＵ・ＤＭＡチャンネルコントローラ２２の各論理回路ＬＣ０ないしＬＣ２に対し、転送許可信号ＴＲＥＮ０ないしＴＲＥＮ２を出力する。
【００４１】
ラインメモリ２１１は、空間フィルタ・コアリング処理部２０から入力される画素データを１ライン分記憶するＦＩＦＯメモリであり、各縦サイズ変換部ＶＲ０ないしＶＲ２に対して記憶した画素データを順次出力する。すなわち、解像度変換処理部２１がラインメモリ２１１を備えることにより、縦サイズ変換部ＶＲ０ないしＶＲ２には、原画像において縦方向に並んだ２つの画素データが同時に入力される。
【００４２】
縦サイズ変換部ＶＲ０ないしＶＲ２は、縦変換制御部２１０から入力される各重みＷ０ないしＷ２と、ラインメモリ２１１から入力される画素データと、空間フィルタ・コアリング処理部２０から入力される画素データとに基づいて、バイリニア法を用いることにより、それぞれ１ライン分の画素データを生成して、横サイズ変換部ＨＲ０ないしＨＲ２に出力する。
【００４３】
具体的には、ラインメモリ２１１から入力される画素データをＶｉｎ０、空間フィルタ・コアリング処理部２０から入力される画素データをＶｉｎ１と置くと、出力される補間画素データＶｏｕｔは、数１で求められる。
【００４４】
【数１】

【００４５】
各縦サイズ変換部ＶＲ０ないしＶＲ２は、最大１ライン分の画素データを出力することから、最大１倍の解像度変換を行う機能を有するものであり、縮小処理のみ行うことができる。
【００４６】
横変換制御部２１２は、横サイズ変換部ＨＲ０ないしＨＲ２に対して、横変換率β（横方向の拡大・縮小率）を示す信号を出力する。なお、図示を省略しているが、横変換制御部２１２は、論理回路ＬＣ０ないしＬＣ２に対して転送許可信号ＴＲＥＮ０ないしＴＲＥＮ２に相当する信号を出力しており、各論理回路ＬＣ０ないしＬＣ２は、当該信号として論理レベル"０"が入力された場合には、記憶している画素データの出力を行わない。
【００４７】
各横サイズ変換部ＨＲ０ないしＨＲ２は、横変換率βに基づいて各縦サイズ変換部ＶＲ０ないしＶＲ２から入力される補間画素データを、それぞれ横方向にサイズ変換して、ＲＰＵ・ＤＭＡチャンネルコントローラ２２の各論理回路ＬＣ０ないしＬＣ２に対し、横サイズ変換後の画素データを出力する。
【００４８】
以上が本実施の形態における解像度変換装置の構成および機能である。図３は、本実施の形態における解像度変換処理部２１により原画像データ３０が縦方向に３倍に変換される様子を示す図である。
【００４９】
図３では、原画像データ３０の水平方向１ライン分の画素データをそれぞれ原画像ＯＬ０、原画像ＯＬ１、…とし、拡大画像データ４０の水平方向１ライン分の画素データ（変換画素データ）をそれぞれ拡大画像ＥＬ０、拡大画像ＥＬ１、…として示している。また、図３の原画像データ３０と拡大画像データ４０との間の点線は、各拡大画像ＥＬ０、拡大画像ＥＬ１、…が、どの原画像ＯＬ０、原画像ＯＬ１、…から生成されるかを示している。例えば、拡大画像ＥＬ５は、原画像ＯＬ１およびＯＬ２から生成される。また、図３における画像データの組ＴＰ１、ＴＰ２、…は、同一のタイミングで主メモリ１３に転送される画素データの組を示している。例えば、ＴＰ２に含まれる拡大画像ＥＬ３ないしＥＬ５は、同一のタイミングで主メモリ１３に転送される。
【００５０】
さらに、説明を簡単にするために、図３に示す例においては、横変換率βを１（等倍）として示しているが、もちろんこれに限られるものではない。以下、図２、および図３に示す例を用いて解像度変換装置の動作を説明する。
【００５１】
まず、解像度変換処理部２１における処理に先立って、ＲＰＵ１２がＤＭＡコントローラ１４に対してＤＭＡ要求を行う。ＤＭＡコントローラ１４は、ＣＰＵ１５からメモリ・バス１６の使用権を獲得するとともに、各ＤＭＡチャンネルＣＨ０ないしＣＨ２が、主メモリ１３に画素データを転送する場合における主メモリ１３上の開始アドレスＳＡＤＤ０ないしＳＡＤＤ２、終了アドレスＥＡＤＤ０ないしＥＡＤＤ２、およびオフセット値ＬＯＦＦ０ないしＬＯＦＦ２を取得する（図１参照）。また、各論理回路ＬＣ０ないしＬＣ２に対してそれぞれＤＭＡチャンネルＣＨ０ないしＣＨ２を割り当て、かかる状態で、ＲＰＵ１２に対してデータ出力を許可する旨の許可信号を発行する。
【００５２】
次に、解像度変換処理部２１に、空間フィルタ・コアリング処理部２０から原画像ＯＬ０が入力されると、当該原画像ＯＬ０はラインメモリ２１１に読み込まれる。この間、縦変換制御部２１０は、すべての転送許可信号の論理レベルを"０"として出力する。したがって、論理回路ＬＣ０ないしＬＣ２は画素データの出力を行わず、主メモリ１３に画素データが転送されることはない。
【００５３】
このように、縦変換制御部２１０が論理回路ＬＣ０ないしＬＣ１に転送許可信号を出力することにより、不要な画素データが出力されることがなく、効率的な転送を行うことができる。
【００５４】
続いて、原画像ＯＬ１が入力されると、当該原画像ＯＬ１は、ラインメモリ２１１に入力され記憶されるとともに、各縦サイズ変換部ＶＲ０ないしＶＲ２にも入力される。また、ラインメモリ２１１に記憶されていた原画像ＯＬ０も各縦サイズ変換部ＶＲ０ないしＶＲ２に入力される。
【００５５】
さらに、縦変換制御部２１０が、生成すべき拡大画像データ４０におけるライン（拡大画像ＥＬ０ないしＥＬ２）を判定し、当該ライン（拡大画像ＥＬ０ないしＥＬ２）を生成するための補間画素データを生成する縦サイズ変換部ＶＲ０ないしＶＲ２をそれぞれ選択する。
【００５６】
ここで、縦変換制御部２１０が生成する画素データに基づいて縦サイズ変換部ＶＲ０ないしＶＲ２を選択する手法について説明する。解像度変換装置では、指定される縦変換率αにかかわらず、拡大画像データ４０の水平方向の各ラインデータは、それぞれ出力されるＤＭＡチャンネルが予め固定されている（詳細は後述するが、各ＤＭＡチャンネルＣＨ０ないしＣＨ２が使用するオフセット値を所定の値に固定するためである。）。すなわち、拡大画像ＥＬ０，ＥＬ１，ＥＬ２，ＥＬ３，ＥＬ４，…を転送するＤＭＡチャンネルは、それぞれＣＨ０，ＣＨ１，ＣＨ２，ＣＨ０，ＣＨ１，…と、巡回的に予め固定されている。これにより、例えば、拡大画像ＥＬ０，ＥＬ３，ＥＬ６，…は、常にＤＭＡチャンネルＣＨ０から出力されることとなる。
【００５７】
縦変換制御部２１０は、あるタイミングにおいて、解像度変換処理部２１に入力される原画像データ３０（例えば、原画像ＯＬ１）と縦変換率αとに基づいて、拡大画像データ４０の何番目のラインに相当する画素データを生成するか（例においては、拡大画像ＥＬ０ないしＥＬ２）を判断し、それらのラインごとに予め定められているＤＭＡチャンネルＣＨ０ないしＣＨ２を選択する。例えば、拡大画像ＥＬ２については、前述の固定状態からＤＭＡチャンネルＣＨ２が選択される。
【００５８】
ＤＭＡチャンネルが選択されれば、縦サイズ変換部ＶＲ０ないしＶＲ２のうちのいずれが、当該画素データを生成するかが決定される。例えば、ＤＭＡチャンネルＣＨ２により転送される画素データは縦サイズ変換部ＶＲ２により生成される補間画素データに基づいて生成される。
【００５９】
このように、生成される拡大画像データ４０の各ラインデータごとに、出力するＤＭＡチャンネルが予め巡回的に固定されていることにより、縦変換制御部２１０における縦サイズ変換部ＶＲ０ないしＶＲ２の選択を容易に行うことができる。
【００６０】
動作の説明に戻って、生成すべき拡大画像ＥＬ０ないしＥＬ２と、それを生成するための補間画素データを生成する各縦サイズ変換部ＶＲ０ないしＶＲ２が選択されると、縦変換制御部２１０はそれぞれの縦サイズ変換部ＶＲ０ないしＶＲ２が数１を実行する際に利用する重みＷ０ないしＷ２をそれぞれ算出して、各縦サイズ変換部ＶＲ０ないしＶＲ２に出力する。
【００６１】
各縦サイズ変換部ＶＲ０ないしＶＲ２は、各入力値（原画像ＯＬ０、原画像ＯＬ１および重みＷ）に基づいて数１に示す演算を実行する。これにより、縦サイズ変換部ＶＲ０により拡大画像ＥＬ０となる補間画素データ、縦サイズ変換部ＶＲ１により拡大画像ＥＬ１となる補間画素データ、縦サイズ変換部ＶＲ２により拡大画像ＥＬ２となる補間画素データがそれぞれ生成され、各横サイズ変換部ＨＲ０ないしＨＲ２に出力される。
【００６２】
次に、各縦サイズ変換部ＶＲ０ないしＶＲ２において生成された補間画素データは、横変換制御部２１２から入力される横変換率βに基づいて、各横サイズ変換部ＨＲ０ないしＨＲ２により水平方向のサイズ変換処理を施され変換画素データとなり、論理回路ＬＣ０ないしＬＣ２にそれぞれ出力されて、各論理回路ＬＣ０ないしＬＣ２のＦＩＦＯメモリ回路（図示せず）に記憶される。
【００６３】
縦変換制御部２１０は、生成された拡大画像ＥＬ０ないしＥＬ２を、拡大画像データ４０として主メモリ１３に転送するために、各転送許可信号ＴＲＥＮ０ないしＴＲＥＮ２に論理レベル"１"をセットする。各論理回路ＬＣ０ないしＬＣ２は、縦変換制御部２１０からの各転送許可信号に基づいて、記憶した拡大画像ＥＬ０ないしＥＬ２を出力する。
【００６４】
各ＤＭＡチャンネルＣＨ０ないしＣＨ２は、開始アドレスＳＡＤＤ０ないしＳＡＤＤ２および終了アドレスＥＡＤＤ０ないしＥＡＤＤ２を参照しつつ、協調して主メモリ１３上の書込みアドレスをライン単位で順次生成し、当該書き込みアドレスに基づいて、各論理回路ＬＣ０ないしＬＣ２から出力された拡大画像ＥＬ０ないしＥＬ２を主メモリ１３に転送する。また、各ＤＭＡチャンネルＣＨ０ないしＣＨ２は、１ライン分の画素データの転送を終了すると、当該画素データの転送を終了した時点のアドレスにオフセット値ＬＯＦＦ０ないしＬＯＦＦ２を加算することにより、次の画素データの転送を開始する際の開始アドレスＳＡＤＤ０ないしＳＡＤＤ２を生成する。
【００６５】
この処理について、ＤＭＡチャンネルＣＨ０により拡大画像ＥＬ０とＥＬ３とを転送する場合を例に説明すると、拡大画像ＥＬ０とＥＬ３とは、拡大画像データ４０において連続するデータではない。したがって、拡大画像ＥＬ０の転送を終了したＤＭＡチャンネルＣＨ０は、次に転送する拡大画像ＥＬ３の開始アドレスＳＡＤＤ０として、拡大画像ＥＬ０の転送を終了した時点のアドレスを連続して用いることができない（当該アドレスにはＤＭＡチャンネルＣＨ１により転送された拡大画像ＥＬ１が書き込まれる。）。
【００６６】
そこで、ＤＭＡチャンネルＣＨ０は、前述のようにオフセット値ＬＯＦＦ０を加算することにより、オフセットジャンプを行い、次に転送する拡大画像ＥＬ３が拡大画像ＥＬ２と連続したアドレスに転送されるように開始アドレスＳＡＤＤ０を変換する必要がある。
【００６７】
ここで、本実施の形態における解像度変換装置では、各オフセット値ＬＯＦＦ０ないしＬＯＦＦ２が所定の値（２ライン分のオフセット値）に固定（指定）されている。これにより、各ＤＭＡチャンネルＣＨ０ないしＣＨ２は、１ライン分の画素データを転送する度に、２ライン分のオフセットジャンプを行うことにより、他の２つのＤＭＡチャンネルにより転送された画素データが書き込まれているアドレスを飛び越えることができ、次に転送する画素データを適切なアドレスに転送することができる。なお、各オフセット値ＬＯＦＦ０ないしＬＯＦＦ２を２ライン分のオフセット値に固定すると、各ＤＭＡチャンネルＣＨ０ないしＣＨ２は拡大画像データ４０の３ラインデータごとの画素データを転送しなければならない。したがって、前述のように、拡大画像データ４０の各ラインデータごとに転送するＤＭＡチャンネルを予め定めておく必要がある。
【００６８】
このように、解像度変換装置は、各オフセット値ＬＯＦＦ０ないしＬＯＦＦ２を所定の値（２ライン分のオフセット値）に固定することにより、例えば、各タイミングごとに各オフセット値ＬＯＦＦ０ないしＬＯＦＦ２を算出して指定しなおす必要がなく、制御を容易にすることができる。
【００６９】
以後、同様にして、原画像データ３０の１ライン分の画素データが入力される度に、拡大画像データ４０の３ライン分の画素データがそれぞれ生成され、主メモリ１３に転送されることにより、解像度変換装置は、原画像を３倍に拡大する処理を行うことができる。
【００７０】
このように、垂直方向には縮小機能しか有しない各縦サイズ変換部ＶＲ０ないしＶＲ２を複数個（本実施の形態では３個）用いることにより、垂直方向に複数ライン分の補間画素データを同時に生成することができる。したがって、ハードウェアとして実現が容易な縮小処理を実行する回路により、垂直方向に拡大された拡大画像データ４０を生成することができることから、簡易構成且つ低コストの解像度変換装置を実現することができる。
【００７１】
図４および図５は、解像度変換処理部２１が、原画像データ３０をそれぞれ２．５倍、５／３倍に拡大する例を示す図である。
【００７２】
図４において、原画像ＯＬ１が入力されると、図３に示す例と同様に拡大画像ＥＬ０ないしＥＬ２がそれぞれ生成され、各ＤＭＡチャンネルＣＨ０ないしＣＨ２によって主メモリ１３に転送される。
【００７３】
しかし、原画像ＯＬ２が入力された場合には、生成すべき画素データは拡大画像ＥＬ３およびＥＬ４であることから、縦変換制御部２１０は、重みＷ０およびＷ１のみを算出して、それぞれ縦サイズ変換部ＶＲ０およびＶＲ１に出力するとともに、転送許可信号ＴＲＥＮ０およびＴＲＥＮ１にのみ論理レベル"１"をセットして、転送許可信号ＴＲＥＮ２には論理レベル"０"をセットする。そのため、論理回路ＬＣ２は、ＤＭＡ要求を行わず、論理回路ＬＣ０およびＬＣ１に記憶される画素データ（拡大画像ＥＬ３およびＥＬ４）のみ主メモリ１３に転送される。
【００７４】
次に、原画像ＯＬ３が入力された場合には、縦サイズ変換部ＶＲ２および横サイズ変換部ＨＲ２により拡大画像ＥＬ５、縦サイズ変換部ＶＲ０および横サイズ変換部ＨＲ０により拡大画像ＥＬ６、縦サイズ変換部ＶＲ１および横サイズ変換部ＨＲ１により拡大画像ＥＬ７がそれぞれ生成され、縦変換制御部２１０が転送許可信号ＴＲＥＮ０ないしＴＲＥＮ２の論理レベルに"１"をセットすることにより、各ＤＭＡチャンネルＣＨ０ないしＣＨ２によって主メモリ１３に転送される。
【００７５】
以後、同様に処理が繰り返され、原画像データ３０の２ライン分の画素データが入力される度に、拡大画像データ４０の５ライン分の画素データがそれそれ生成され、主メモリ１３に転送されることにより、解像度変換装置は原画像を２．５倍に拡大する処理を行うことができる。
【００７６】
また、図５において、原画像ＯＬ１が入力されると、拡大画像ＥＬ０およびＥＬ１が生成される。そこで、縦変換制御部２１０が、転送許可信号ＴＲＥＮ０およびＴＲＥＮ１にのみ論理レベル"１"をセットし、転送許可信号ＴＲＥＮ２には論理レベル"０"をセットすることにより、拡大画像ＥＬ０およびＥＬ１が主メモリ１３に転送される。
【００７７】
次に、原画像ＯＬ２が入力されると、拡大画像ＥＬ２およびＥＬ３が生成され、縦変換制御部２１０が、転送許可信号ＴＲＥＮ２およびＴＲＥＮ０にのみ論理レベル"１"をセットし、転送許可信号ＴＲＥＮ１には論理レベル"０"をセットすることにより、拡大画像ＥＬ２およびＥＬ３が主メモリ１３に転送される。
【００７８】
さらに、原画像ＯＬ３が入力されると、拡大画像ＥＬ４が生成され、縦変換制御部２１０が、転送許可信号ＴＲＥＮ１にのみ論理レベル"１"をセットし、転送許可信号ＴＲＥＮ０およびＴＲＥＮ２には論理レベル"０"をセットすることにより、拡大画像ＥＬ４が主メモリ１３に転送される。
【００７９】
以後、同様に処理が繰り返され、原画像データ３０の３ライン分の画素データが入力されるたびに、拡大画像データ４０の５ライン分の画素データがそれぞれ生成され、主メモリ１３に転送されることにより、解像度変換装置は原画像を５／３倍に拡大する処理を行うことができる。
【００８０】
以上により、本実施の形態における解像度変換装置を組み込んだデジタル・カメラでは、解像度変換処理部２１が画像信号を垂直方向に解像度変換された変換画素データを生成し、ＤＭＡコントローラ１４が、ＲＰＵ１２の論理回路ＬＣ０ないしＬＣ２から同時に出力される変換画素データを主メモリ１３に１つの画像データとして転送することにより、各論理回路ＬＣ０ないしＬＣ２は、入力ライン１ラインに対して、最大１ライン以下の出力に抑えることができるので、拡大後の画素データを一旦格納するラインメモリなどを使用することなく処理することができる。したがって、高速で大容量の画像信号のデータ転送と、リアルタイムな画像サイズの拡大処理とを同時に実行するとともに、簡易構成且つ低コストの解像度変換装置を実現することができる。
【００８１】
また、その場合、縦サイズ変換部ＶＲ０ないしＶＲ２から出力される補間画素データは、縦変換制御部２１０からの重みに基づいて計算されており（バイリニア法）、単に縦方向に複写された画素データによって拡大画像を生成する場合に比べて高品質な（画像のなめらかさの低下が抑えられた）拡大画像を生成することができる。
【００８２】
また、縮小処理を行う回路（縦サイズ変換部ＶＲ０ないしＶＲ２）を複数個用いることによって、垂直方向に拡大された拡大画像データ４０を生成することにより、さらに、簡易構成且つ低コストの解像度変換装置を実現することができる。
【００８３】
なお、解像度変換処理部２１による原画像データ３０の縦変換率αは、図３ないし図５に示すものに限定されるものではなく、最大３倍の任意の拡大を行うことができる。また、本実施の形態においては、アナログ信号処理部１１からの画像データを原画像データとして解像度変換装置に入力する例を説明したが、解像度変換装置に入力する原画像データは、これに限られるものではない。例えば、主メモリ１３に記憶されている画像データを原画像データとして入力することも可能である。以下、他の実施の形態においても同様である。
【００８４】
＜２． 第２の実施の形態＞
第１の実施の形態における解像度変換装置では、指定される縦変換率αにかかわらず、各ＤＭＡチャンネルが参照するオフセット値ＬＯＦＦ０ないしＬＯＦＦ２を２ライン分のオフセット値に固定していたが、そのような方式に限られるものではない。
【００８５】
例えば、ＤＭＡコントローラ１４が、各タイミングごとに各オフセット値ＬＯＦＦ０およびＬＯＦＦ２を算出して変更することにより、各ＤＭＡチャンネルＣＨ０およびＣＨ２のオフセットジャンプを制御する機能を有していてもよい。
【００８６】
図６は、このような原理に基づいて構成した第２の実施の形態における解像度変換装置において、原画像データ３０を５／３倍に拡大処理する例を示した図である。本実施の形態における解像度変換装置は、同時に出力される拡大画像データ４０のラインデータの数に応じて、ＤＭＡチャンネルＣＨ０から順次優先的にＤＭＡチャンネルを選択する。
【００８７】
図６に示すように、拡大画像データ４０のラインデータが２つずつ転送される場合には、各ＤＭＡチャンネルＣＨ０およびＣＨ１により転送される画素データは、主メモリ１３上で交互に書き込む必要があるため、各ＤＭＡチャンネルＣＨ０およびＣＨ１が１ライン分のオフセットジャンプを行うように、ＤＭＡコントローラ１４がオフセット値ＬＯＦＦ０およびＬＯＦＦ１をセットする。
【００８８】
図６に示す拡大画像ＥＬ４が転送される場合のように、１ラインのみの転送が行われた場合は、ＤＭＡチャンネルＣＨ０は、自らが転送した拡大画像ＥＬ４に連続したアドレスに次に転送する拡大画像ＥＬ５を転送する必要がある。また、ＤＭＡチャンネルＣＨ１のＳＡＤＤ１は、拡大画像ＥＬ３の転送が終了した時点で、拡大画像ＥＬ５を転送すべきアドレスとなっているため、さらに、１ライン分のオフセットジャンプを行う必要がある。
【００８９】
そこで、１ラインのみの転送が行われた場合は、ＤＭＡコントローラ１４は、オフセット値ＬＯＦＦ０を０に、オフセット値ＬＯＦＦ１を１ライン分のオフセット値にそれぞれ変更する。
【００９０】
以上により、本実施の形態における解像度変換装置においても、処理するデータごとにオフセット値を変更することによって、第１の実施の形態と同様の種々の効果を得ることができる。また、拡大画像データ４０の各ラインデータを出力する各タイミングごとに、ＤＭＡチャンネルを自由に選択することができるため、第１の実施の形態のように固定する場合に比べて、柔軟な制御を行うことができる。なお、各タイミングごとの各オフセット値ＬＯＦＦ０ないしＬＯＦＦ２の計算は、ＣＰＵ１５が行ってＤＭＡコントローラ１４に受け渡すようにしてもよいし、各ＤＭＡチャンネルＣＨ０ないしＣＨ２が行ってもよい。
【００９１】
＜３． 第３の実施の形態＞
上記実施の形態における解像度変換装置では、縦変換制御部２１０が各縦サイズ変換部ＶＲ０ないしＶＲ２を一括して制御していたが、本発明はこのような構成に限られるものではない。例えば、各縦サイズ変換部ＶＲ０ないしＶＲ２を制御するための構成を個別に設けて、それぞれが協調して１つの画像データを作成する協調モードと、独立に動作して複数の画像データを作成する独立モードとを切り替えるようにしてもよい。
【００９２】
図７は、このような原理に基づいて構成した本実施の形態における解像度変換装置の解像度変換処理部２１の構成を示すとともに、協調モードにより拡大画像データ４０が作成される様子を示す図である。なお、上記実施の形態とほぼ同様の構成については、適宜同じ符号を用いている。
【００９３】
本実施の形態における解像度変換処理部２１は、縦変換制御部２１０ａないし２１０ｃと、横変換制御部２１２ａないし２１２ｃと、転送制御部ＴＣ０ないしＴＣ２とを備える。
【００９４】
各縦変換制御部２１０ａないし２１０ｃは、それぞれ縦サイズ変換部ＶＲ０ないしＶＲ２で用いられる重みＷ０ないしＷ２を算出して制御するとともに、それぞれ転送制御部ＴＣ０ないしＴＣ２に対して、画素データの転送を行うか否かを示す信号を出力する。なお、当該信号とは、論理レベル"０"または"１"で表される信号であって、各縦変換制御部２１０ａないし２１０ｃは、各縦サイズ変換部ＶＲ０ないしＶＲ２において画素データが生成される場合は、当該信号に論理レベル"１"をセットして出力し、それ以外の場合は論理レベル"０"をセットして出力する。すなわち、当該信号はライン単位で判断され、切り替えられる。
【００９５】
また、各縦変換制御部２１０ａないし２１０ｃには、協調モードによる処理を行うか、独立モードによる処理を行うかの選択信号が入力され（図示せず）、当該選択信号に基づいて、それぞれが協調モードと独立モードとの切り替えを行う。すなわち、縦変換制御部２１０ａないし２１０ｃは、本発明におけるセレクターに相当する機能をも有している。
【００９６】
各横変換制御部２１２ａないし２１２ｃは、それぞれ横サイズ変換部ＨＲ０ないしＨＲ２に対して横変換率β０ないしβ２を出力するとともに、それぞれ転送制御部ＴＣ０ないしＴＣ２に対して、画素データの転送を行うか否かを示す信号を出力する。なお、当該信号とは、論理レベル"０"または"１"で表される信号であって、各横変換制御部２１２ａないし２１２ｃは、各横サイズ変換部ＨＲ０ないしＨＲ２において画素データが生成される場合は、当該信号に論理レベル"１"をセットして出力し、縮小処理などにおいて画素データを間引く場合は論理レベル"０"をセットして出力する。すなわち、当該信号は画素単位で判断され、切り替えられる。
【００９７】
各転送制御部ＴＣ０ないしＴＣ２は、それぞれ縦変換制御部２１０ａないし２１０ｃおよび横変換制御部２１２ａないし２１２ｃから画素データの転送を指示する信号を受け取り、論理回路ＬＣ０ないしＬＣ２に対して転送許可信号ＴＲＥＮ０ないしＴＲＥＮ２を出力する。各転送制御部ＴＣ０ないしＴＣ２は、それぞれ縦変換制御部２１０ａないし２１０ｃおよび横変換制御部２１２ａないし２１２ｃから入力される信号がいずれも論理レベル"１"にセットされている場合にのみ転送許可信号ＴＲＥＮ０ないしＴＲＥＮ２に論理レベル"１"をセットして出力する。すなわち、縦変換制御部２１０ａおよび横変換制御部２１２ａからの信号のうち、いずれか一方の信号に論理レベル"０"がセットされている場合は、転送制御部ＴＣ０は転送許可信号ＴＲＥＮ０に論理レベル"０"をセットして論理回路ＬＣ０に出力する。
【００９８】
また、各縦変換制御部２１０ａないし２１０ｃには、協調モードによる処理を行うか、独立モードによる処理を行うかの選択信号が入力され（図示せず）、当該選択信号に基づいて、それぞれが協調モードと独立モードとの切り替えを行う。
【００９９】
以上の構成を備える解像度変換装置においても、図７に示すように、協調モードによる処理を実行することにより、上記実施の形態と同様の処理を実行することができるため、原画像データ３０から拡大画像データ４０を生成することができる。
【０１００】
図８は、本実施の形態における解像度変換装置における独立モードにより、複数の画像データが作成される様子を示した図である。本実施の形態における解像度変換装置は、独立モードが選択されると、各ＤＭＡチャンネルＣＨ０ないしＣＨ２によって転送される画素データを、同じ画像データとして扱わず、それぞれ主メモリ１３上の別のアドレスに転送することにより、別個の画像データとして生成する。ここでは、独立モードによって、主画像データ５０、アフタービュー画像データ６０、およびサムネール画像データ７０を生成する場合について説明するが、主画像データ５０とアフタービュー画像データ６０、または、主画像データ５０とサムネール画像データ７０の組み合わせが選択されてもよい。
【０１０１】
縦変換制御部２１０ａおよび横変換制御部２１２ａには、それぞれ主画像データ５０を生成するために必要な縦変換率α０および横変換率β０を入力すれば、縦サイズ変換部ＶＲ０および横サイズ変換部ＨＲ０によって、順次主画像データ５０のラインデータが生成され、論理回路ＬＣ０に記憶される。
【０１０２】
また、縦変換制御部２１０ｂおよび横変換制御部２１２ｂには、それぞれアフタービュー画像データ６０を生成するために必要な縦変換率α１および横変換率β１を入力すれば、縦サイズ変換部ＶＲ１および横サイズ変換部ＨＲ１によって、順次アフタービュー画像データ６０のラインデータが生成され、論理回路ＬＣ１に記憶される。
【０１０３】
同様に、縦変換制御部２１０ｃおよび横変換制御部２１２ｃには、それぞれサムネール画像データ７０を生成するために必要な縦変換率α２および横変換率β２を入力すれば、縦サイズ変換部ＶＲ２および横サイズ変換部ＨＲ２によって、順次サムネール画像データ７０のラインデータが生成され、論理回路ＬＣ２に記憶される。
【０１０４】
なお、本実施の形態における解像度変換装置が独立モードで動作する場合は、各縦サイズ変換部ＶＲ０ないしＶＲ２に割り当てられるＤＭＡチャンネルは１つであるため、１ライン以上の画素データを同時に出力することはできないため、各縦変換率α０ないしα１は、すべて１以下の値でなければならない。
【０１０５】
次に、各論理回路ＬＣ０ないしＬＣ２が、各転送制御部ＴＣ０ないしＴＣ２からの転送許可信号ＴＲＥＮ０ないしＴＲＥＮ２に応じて画素データを出力し、各ＤＭＡチャンネルＣＨ０ないしＣＨ２が主メモリ１３上に当該画素データを転送する。各ＤＭＡチャンネルＣＨ０ないしＣＨ２は、それぞれ１ライン分の画素データの転送が終了した場合であってもオフセットジャンプを行わず、次に出力する画素データも主メモリ１３上の連続したアドレスに転送する。
【０１０６】
このようにして、各ＤＭＡチャンネルＣＨ０ないしＣＨ２により転送された画素データによって、それぞれ主画像データ５０、アフタービュー画像データ６０、およびサムネール画像データ７０が作成される。
【０１０７】
以上により、第３の実施の形態における解像度変換装置においても、協調モードを選択することにより、上記実施の形態と同様に、最大３倍に拡大した拡大画像データ４０を得ることができるため、種々の効果を得ることができる。また、各縦サイズ変換部ＶＲ０ないしＶＲ２および各横サイズ変換部ＨＲ０ないしＨＲ２を制御するための構成をそれぞれ個別に設け、それらを独立に動作させることにより、例えば、目的に応じて解像度変換された複数の画像データを、別途構成を設けることなく作成することができる。
【０１０８】
＜４． 第４の実施の形態＞
上記実施の形態における解像度変換装置では、原画像をバイリニア法により拡大するとして説明したが、画像を拡大する手法としては前述のようにバイキュービック法も周知であり、これを用いることも可能である。
【０１０９】
図９は、このような原理に基づいて構成した第４の実施の形態における解像度変換装置の構成を示した図である。
【０１１０】
本実施の形態における解像度変換装置の空間フィルタ・コアリング処理部２０ａでは、３次補間部２４を備える点が上記実施の形態と異なっている。なお、上記実施の形態における解像度変換装置では図示を省略していたが、空間フィルタ・コアリング処理部２０ａは、上記の実施の形態における空間フィルタ・コアリング処理部２０と同様に、画像信号中の５×５画素程度の領域に空間フィルタリング処理を行うため、１ライン分の画素データを記憶することができるラインメモリ２３を５つ備えている（図９ではそのうちの３ライン分を示す。）。
【０１１１】
３次補間部２４は、一旦ラインメモリ２３に記憶される画素データに基づいてバイキュービック法を用いることにより、空間フィルタ・コアリング処理部２０ａに入力される原画像データ３０を拡大処理し、解像度変換処理部２１に出力する。
【０１１２】
ここで３次補間部２４において実行される周知の手法、４×４バイキュービック法について簡単に説明すると、まず、注目画素との画素間の距離Ｄが１未満の画素についての重みＷ３と、距離Ｄが２未満の画素についての重みＷ４とをそれぞれ数２および数３により求める。距離Ｄが２以上の画素に対する重みは０とする。
【０１１３】
【数２】

【０１１４】
【数３】

【０１１５】
次に、注目画素に隣接する１６画素の画素値に、それぞれ求めた重みＷ３およびＷ４を用いて重み付けを行うことにより補間を行う。すなわち、４×４バイキュービック法を行うためには、３ライン分の画素データを記憶することが必要となる。バイキュービック法により拡大処理された拡大画像は、バイリニア法により拡大された拡大画像に比べて画像のなめらかさの低下が抑えられ、高品質な画像となる。
【０１１６】
本実施の形態における解像度変換装置の動作について説明する。図９に示すように、アナログ信号処理部１１から原画像データ３０が入力される場合には、空間フィルタ・コアリング処理部２０ａは、空間フィルタリング処理を行うためにラインメモリ２３を使用するため、バイキュービック法による拡大処理を行うことはできない。したがって、リアルタイムに原画像データ３０を拡大処理する場合は、上記実施の形態と同様に、解像度変換処理部２１によりバイリニア法による拡大処理が行われる。
【０１１７】
図１０は、本実施の形態における解像度変換装置が、バイキュービック法による拡大処理を行う例を示した図である。
【０１１８】
本実施の形態における解像度変換装置では、バイキュービック法による拡大処理が選択されると、主メモリ１３上に記憶されている原画像データ３０が空間フィルタ・コアリング処理部２０ａに入力される。なお、その場合、ここで示す例のように原画像データ３０の一部分（原画像データ３０ａ）が選択されてもよい。
【０１１９】
３次補間部２４は、ラインメモリ２３を使用しつつ、前述のバイキュービック法によって原画像データ３０ａを拡大した拡大画像データ４０ａを生成し、解像度変換処理部２１に出力する。
【０１２０】
解像度変換処理部２１は、入力された拡大画像データ４０ａに対して、上記実施の形態において原画像データ３０に対して行った処理と同様の処理を行って、主メモリ１３に転送する。
【０１２１】
図１０に示す例では、縦サイズ変換部ＶＲ０および横サイズ変換部ＨＲ０により拡大画像データ４０ａのラインデータからそれぞれ主画像データ５０のラインデータが生成され、ＤＭＡチャンネルＣＨ０によって主メモリ１３に転送されることにより、主メモリ１３上に原画像データ３０ａがバイキュービック法により拡大された主画像データ５０が作成される。
【０１２２】
また、縦サイズ変換部ＶＲ１および横サイズ変換部ＨＲ１により拡大画像データ４０ａのラインデータからそれぞれアフタービュー画像データ６０のラインデータが生成され、ＤＭＡチャンネルＣＨ１によって主メモリ１３に転送されることにより、主メモリ１３上にアフタービュー画像データ６０が作成される。
【０１２３】
さらに、縦サイズ変換部ＶＲ２および横サイズ変換部ＨＲ２により拡大画像データ４０ａのラインデータからそれぞれサムネール画像データ７０のラインデータが生成され、ＤＭＡチャンネルＣＨ２によって主メモリ１３に転送されることにより、主メモリ１３上にサムネール画像データ７０が作成される。
【０１２４】
以上により、第４の実施の形態における解像度変換装置においても、バイリニア法による拡大処理を行うことができるため、上記実施の形態と同様に種々の効果を得ることができる。
【０１２５】
また、ポスト処理でのバイキュービック法による拡大処理を行うことができるため、より高品質な拡大画像データ４０を生成することができる。
【０１２６】
また、バイキュービック法により拡大処理を行う頻度は非常に少なく、当該拡大処理を行うための専用の回路を設けた場合、ほとんどのケースでは無駄な回路が動作することで、消費電力が増大するが、本実施の形態における解像度変換装置では、通常は拡大処理以外に使用されるラインメモリ２３をバイキュービック法による拡大処理に利用することで、簡易構成且つ低コストの解像度変換装置を実現することができる。
【０１２７】
なお、図１０に示す例では、解像度変換処理部２１が第３の実施の形態における独立モードによる処理を行う例を示しているが、解像度変換処理部２１で行われる処理はこれに限られるものではない。
【０１２８】
＜５． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【０１２９】
例えば、上記実施の形態では、３個のＤＭＡチャンネルＣＨ０ないしＣＨ２を用いて画像データの解像度を縦方向に最大３倍に拡大していたが、本発明ではこれに限らず、ｎ個のＤＭＡチャンネルＣＨ０，ＣＨ１，…，ＣＨｎ（ｎ：２以上の整数）を使用して画像データの解像度を垂直画素方向に最大ｎ倍に拡大することも可能である。かかる場合は、縦サイズ変換部、横サイズ変換部、論理回路をそれぞれｎ個ずつ設け、主メモリ１３との間のデータ転送にそれぞれＤＭＡチャンネルＣＨ０，…，ＣＨｎを割り当てればよい。
【０１３０】
また、独立モードにおいて作成される画像データの数は、３つに限定されるものではない。例えば、ＤＭＡチャンネルＣＨ０およびＣＨ１が協調して原画像データ３０を２倍に拡大した拡大画像データ４０を生成しつつ、ＤＭＡチャンネルＣＨ２がサムネール画像データ７０を生成するなどしてもよい。
【０１３１】
【発明の効果】
以上の如く、本発明の請求項１ないし４に係る解像度変換装置によれば、解像度変換手段により生成された前記変換画素データのうち、隣接する縦方向に並んだ変換画素データを同時出力可能な少なくとも３以上のデータ出力手段を備え、解像度変換手段が、画像信号を垂直方向に縮小した縮小画像を構成する縮小画素データを変換画素データとして生成する少なくとも３個の独立した縮小手段を有しており、拡大画像を生成する場合において、制御手段は、３以上のデータ出力手段から同時に出力される変換画素データをメモリに１つの画像を構成する画素データとして転送することにより、元画像を垂直方向に拡大した拡大画像を変換画像として記憶させ、一方、拡大画像を生成しない場合において、制御手段は、３以上のデータ出力手段により同時に出力される変換画素データの組み合わせとして、本画像を構成する画素データとアフタービューを構成する画素データとの組み合わせ、または、本画像を構成する画素データとサムネールを構成する画素データとの組み合わせ、または、本画像を構成する画素データ、アフタービューを構成する画素データおよびサムネールを構成する画素データの組み合わせのうちから１つを選択して切り替えるため、目的に応じた解像度の画像データをリアルタイムに作成することができる。
【０１３７】
請求項２によれば、解像度変換手段が、３ラインの画素データを使用して変換画像データを生成する場合には、少なくとも３本のラインメモリを使用してポスト処理を行うため、ラインメモリを他の画像処理と共有することにより、簡易構成且つ低コストの解像度変換装置を実現することができる。
【０１３８】
請求項３によれば、データ転送手段は、画像処理部から出力される変換画素データの転送制御を行う複数のＤＭＡチャンネルを有するＤＭＡコントローラであるため、画像処理部からメモリへのデータ転送と画像拡大処理とをリアルタイムに効率よく実行できる。
【０１３９】
請求項４に係るデジタル・カメラによれば、撮像した画像信号を一旦、メモリに格納させること無く、リアルタイムにその画像サイズを拡大してメモリに記憶させることが可能である。
【図面の簡単な説明】
【図１】第１の実施の形態における解像度変換装置の主要部の構成を示す概略図である。
【図２】解像度変換処理部およびＲＰＵ・ＤＭＡチャンネルコントローラの構成を示す図である。
【図３】第１の実施の形態における解像度変換装置が、原画像データを３倍に拡大する例を示す図である。
【図４】第１の実施の形態における解像度変換装置が、原画像データを２．５倍に拡大する例を示す図である。
【図５】第１の実施の形態における解像度変換装置が、原画像データを５／３倍に拡大する例を示す図である。
【図６】第２の実施の形態における解像度変換装置において、原画像データを５／３倍に拡大する例を示した図である。
【図７】第３の実施の形態における解像度変換装置の解像度変換処理部の構成を示すとともに、協調モードにより拡大画像データが作成される様子を示す図である。
【図８】第３の実施の形態における解像度変換装置における独立モードにより、複数の画像データが作成される様子を示した図である。
【図９】第４の実施の形態における解像度変換装置の構成を示した図である。
【図１０】第４の実施の形態における解像度変換装置が、バイキュービック法による拡大処理を行う例を示した図である。
【図１１】デジタル・カメラに内蔵される従来の画像処理回路の主要部を示す概略図である。
【図１２】ポスト処理を用いて画像データを垂直画素方向に２倍に拡大する従来のＲＰＵの回路構成例を示す概略図である。
【符号の説明】
１０ 撮像素子
１１ アナログ信号処理部
１２ ＲＰＵ
１３ 主メモリ
１４ ＤＭＡコントローラ
２０，２０ａ 空間フィルタ・コアリング処理部
２１ 解像度変換処理部
２１０，２１０ａ，２１０ｂ，２１０ｃ 縦変換制御部
２１１，２３ ラインメモリ
２１２，２１２ａ，２１２ｂ，２１２ｃ 横変換制御部
２２ ＲＰＵ・ＤＭＡチャンネルコントローラ
２４ ３次補間部
３０，３０ａ 原画像データ
４０，１１７ 拡大画像データ
５０ 主画像データ
６０ アフタービュー画像データ
７０ サムネール画像データ
ＣＨ０，ＣＨ１，ＣＨ２ ＤＭＡチャンネル
ＨＲ０，ＨＲ１，ＨＲ２ 横サイズ変換部
ＬＣ０，ＬＣ１，ＬＣ２ 論理回路
ＬＯＦＦ０，ＬＯＦＦ１，ＬＯＦＦ２ オフセット値
ＴＣ０，ＴＣ１，ＴＣ２ 転送制御部
ＴＲＥＮ０，ＴＲＥＮ１，ＴＲＥＮ２ 転送許可信号
ＶＲ０，ＶＲ１，ＶＲ２ 縦サイズ変換部
Ｖｏｕｔ 補間画素データ

Claims (4)

1. リアルタイムに入力される画像信号に基づいて、前記画像信号によって表現される元画像の解像度を変換した変換画像をリアルタイムに記憶する解像度変換装置であって、
   変換画像を記憶するメモリと、
   前記画像信号に画像処理を実行しつつ、変換画像を構成する変換画素データを出力する画像処理部と、
   前記画像処理部から出力される変換画素データを前記メモリに転送することにより、前記メモリ上に変換画像を記憶させるデータ転送手段と、
   を備え、
   前記画像処理部が、
   前記画像信号を垂直方向に解像度変換された変換画素データを生成する解像度変換手段と、
   前記解像度変換手段により生成された前記変換画素データのうち、隣接する縦方向に並んだ変換画素データを同時出力可能な少なくとも３以上のデータ出力手段と、
   前記解像度変換手段と前記３以上のデータ出力手段とを制御する制御手段と、
   を有しており、
   前記解像度変換手段が、前記画像信号を垂直方向に縮小した縮小画像を構成する縮小画素データを変換画素データとして生成する少なくとも３個の独立した縮小手段を有しており、
   拡大画像を生成する場合において、
   前記制御手段は、前記３以上のデータ出力手段から同時に出力される前記変換画素データを前記メモリに１つの画像を構成する画素データとして転送することにより、前記元画像を垂直方向に拡大した拡大画像を変換画像として記憶させ、
   一方、拡大画像を生成しない場合において、
   前記制御手段は、前記３以上のデータ出力手段により同時に出力される変換画素データの組み合わせとして、本画像を構成する画素データとアフタービューを構成する画素データとの組み合わせ、または、本画像を構成する画素データとサムネールを構成する画素データとの組み合わせ、または、本画像を構成する画素データ、アフタービューを構成する画素データおよびサムネールを構成する画素データの組み合わせのうちから１つを選択して切り替えることを特徴とする解像度変換装置。
2. 請求項１に記載の解像度変換装置であって、
   前記画像処理部が、
   少なくとも３本のラインメモリで、前記画像信号に輪郭強調等の画像処理を行う画像処理手段を有しており、
   前記解像度変換手段が、３ライン分の画素データを使用して前記変換画像データを生成する場合には、前記少なくとも３本のラインメモリを使用してポスト処理を行うことを特徴とする解像度変換装置。
3. 請求項１または２に記載の解像度変換装置であって、
   前記データ転送手段は、前記画像処理部から出力される前記変換画素データの転送制御を行う複数のＤＭＡ（ダイレクト・メモリ・アクセス）チャンネルを有するＤＭＡコントローラであることを特徴とする解像度変換装置。
4. 被写体の画像をデジタル画像データとして撮像する撮像装置であって、
   光学系を透過した入射光を受光し、光電変換によりアナログ画像信号を生成出力する撮像素子と、
   前記アナログ画像信号をデジタル画像信号に変換してデジタル画像データを生成する信号処理部と、
   請求項１ないし３のいずれかに記載の解像度変換装置と、
   を備えており、
   前記信号処理部により生成された前記デジタル画像データを前記解像度変換装置に入力することを特徴とする撮像装置。

Images