JP3810699B2 - 解像度変換装置および撮像装置 - Google Patents
解像度変換装置および撮像装置 Download PDFInfo
- Publication number
- JP3810699B2 JP3810699B2 JP2002085551A JP2002085551A JP3810699B2 JP 3810699 B2 JP3810699 B2 JP 3810699B2 JP 2002085551 A JP2002085551 A JP 2002085551A JP 2002085551 A JP2002085551 A JP 2002085551A JP 3810699 B2 JP3810699 B2 JP 3810699B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel data
- resolution conversion
- data
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 227
- 238000003384 imaging method Methods 0.000 title claims description 8
- 238000012545 processing Methods 0.000 claims description 151
- 230000015654 memory Effects 0.000 claims description 109
- 238000012546 transfer Methods 0.000 claims description 69
- 238000012805 post-processing Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 63
- 230000008569 process Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000001629 suppression Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011946 reduction process Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101100112673 Rattus norvegicus Ccnd2 gene Proteins 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、デジタル処理により画像信号の画像サイズを変更する解像度変換装置に関する。
【0002】
【従来の技術】
一般に、デジタル・ビデオ・カメラやデジタル・スチル・カメラなどの撮像デバイスでは、レンズ群やプリズムなどからなる光学系を透過した光はCCDセンサやCMOSセンサなどの撮像センサで検出され画像信号に光電変換される。その画像信号はデジタル信号(原画像データ)にA/D変換された後に、画素補間、色空間変換、輪郭強調および解像度変換などの種々の画像処理を施され、その後、液晶表示装置(EVF:電子ビューファインダー)などに表示される。また撮像デバイスは、画像処理を施した画像データを、JPEG(Joint Photographic Experts Group)やモーションJPEG、MPEG(Moving Picture Experts Group)などの方式で圧縮符号化した後に不揮発性メモリなどのメモリカードに書き出したり、インターフェースを介してパーソナル・コンピュータなどの外部機器に出力したりする機能を有している。
【0003】
EVFにファインダー表示される画像の表示倍率を変更するには、結像位置を変えずに光学系の焦点距離を物理的に変化させる方法と、画像データをデジタル画像処理で解像度変換する方法とがある。デジタル画像処理による画像の拡大方法としては、画像データの複数の画素データの重み付け平均値を算出する内分点補間方法(バイリニア法)や、画像中の画素データとsinc関数(sin(x)/x;xは変数)との折り畳み演算値を算出する3次折り畳み補間方法(バイキュービック法)などが公知である。
【0004】
【発明が解決しようとする課題】
しかしながら、ハードウェアを用いて画像データをリアルタイムに拡大する拡大処理では、画像データをリアルタイムに縮小する縮小処理と比べて、ハードウェア構成が複雑になり易く、高コスト化を招き易いという問題点がある。この問題点を図11と図12を参照しながら以下に詳説する。
【0005】
図11は、デジタル・カメラに内蔵される従来の画像処理回路の主要部を示す概略図である。図11に示す画像処理回路は、CCD撮像素子100、アナログ信号処理部101、RPU(リアルタイム・プロセッシング・ユニット)102、メモリ・バス103、主メモリ104、およびCPU(中央演算装置)105を備えている。RPU102、主メモリ104およびCPU105はメモリ・バス103と接続されている。
【0006】
前記RPU102は、複数の機能ブロック107ないし111を有する集積回路であり、具体的には、入力画像データを画素単位で処理する画素単位処理部107と、画素補間処理およびガンマ補正処理を行う画素補間・ガンマ処理部108と、色空間変換処理および色抑圧(クロマサプレス;偽色防止)処理を行う色空間変換・色抑圧処理部109と、空間フィルタリング処理およびコアリング処理を実行する空間フィルタ・コアリング処理部110と、入力画像データのサイズを1.0倍ないし1/128倍の範囲内で縮小する解像度変換処理部111とを備えて構成されるものである。機能ブロック107ないし111は多段接続されており、互いに独立に動作でき、入力データに対する処理を並列に実行してその実行結果を次段の機能ブロックに受け渡すことができる。
【0007】
以上の構成をもつ画像処理回路の動作は以下の通りである。被写体からの入射光は、レンズなどの光学系(図示せず)を透過してCCD撮像素子100で受光される。CCD撮像素子100は入射光を光電変換し、アナログ画像信号を生成してアナログ信号処理部101へ出力する。アナログ信号処理部101は、入力するアナログ画像信号に対して、CDS(Correlated Double Sampling;相関二重サンプリング)処理、AGC(Automatic Gain Control;自動利得制御)処理およびA/D変換処理を順次施して得たデジタル画像信号(原画像データ)200をRPU102に出力する。
【0008】
アナログ信号処理部101から出力された原画像データ200は、画素単位処理部107と画素補間・ガンマ処理部108との何れか一方に選択的に入力させることができる。その原画像データ200が各機能ブロック107ないし110で順次処理された後、空間フィルタ・コアリング処理部110から出力された画素データ202は、メモリ・バス103を介して主メモリ104上のバッファ領域に転送され格納されて主画像データ112を構成する。多くのデジタル・スチル・カメラでは、主画像が生成されると同時に、その見出し用の低解像度のサムネール画像も生成される。そのサムネール画像は、主画像の編集や整理をする際の一助にされることが多い。解像度変換処理部111は、空間フィルタ・コアリング処理部110から入力する画像データのサイズを縮小するように画素データ203を出力し、その画素データ203は、メモリ・バス103を介して主メモリ104上のバッファ領域に転送され格納されてサムネール画像データ113を形成する。
【0009】
また、後処理(ポスト処理)で、主メモリ104に格納した画素データ201を読み出し、メモリ・バス103を介して、再度、RPU102に転送して画像処理を施すことも可能である。
【0010】
上記RPU102の各機能ブロック107ないし111は、外部から供給される画素クロック(図示せず)に基づいて画像処理を実行する。解像度変換処理部111で画像サイズの縮小処理を実行するときは、解像度変換処理部111は、複数個の画素データが入力する期間中に1画素データを出力すればよい。例えば、画像データを水平画素方向に1/2倍に縮小する場合は、各水平ラインにおいて、2個の画素データの入力期間中に1個の画素データを出力すればよい。また、画像データを垂直画素方向に1/2倍に縮小する場合には、2ライン分の画素データの入力期間中に、1ライン分の画素データを出力すればよいことになる。しかしながら、画像サイズをn倍(n:2以上の整数)に拡大する場合は、1個の画素データの入力期間中に、n個の画素データを補間して出力する必要がある。よって、解像度変換処理部111に画像データのサイズ拡大機能を付与しようとすると、RPU102の全体の処理速度を規律する画素クロックよりも速いクロックによる処理速度が要求されるため、そのタイミング制御のための回路構成が複雑化したり、回路規模が増大したりするという問題が生じる。この問題を避ける一手法としてポスト処理がある。
【0011】
図12は、前記ポスト処理を用いて画像データを垂直画素方向に2倍に拡大するRPU102の回路構成例を示す概略図である。図12に明示しないが、図11に示した回路の動作と同様に、上記原画像データ200は、RPU102の各機能ブロック107ないし110で順次処理された後に、主画像データ112となってメモリ・バス103を介して主メモリ104へ転送され格納される。この主画像データ112中の一部画像データ112aを拡大する場合、当該一部画像データ112aの画素データ204は、主メモリ104から読み出され、メモリ・バス103を介してRPU102に転送される。次いで、その画素データ204は、RPU102の各機能ブロック107ないし111を経た後に、解像度変換処理部111から、拡大率に応じて解像度変換された画素データ205,206がそれぞれ、セレクタ115の「0」側端子とラインメモリ(FIFOメモリ)118とに出力される。解像度変換処理部111は、入力画像データのサイズを2.0倍ないし1/128倍の範囲内で変換する機能を有している。本例の場合は画像サイズを2倍に拡大するため、解像度変換処理部111は、画素クロックの1周期中に上下2ラインの2個の画素データ205,206を出力することになる。
【0012】
また、そのラインメモリ118は、水平ライン1本分の画素データを記憶する容量を有する。セレクタ115は、タイミング・コントローラ(図示せず)から供給される選択信号の論理レベルが"0"の期間は、「0」側端子に入力する画素データ205を選択し、その選択信号の論理レベルが"1"の期間には、「1」側端子に入力する画素データ206を選択して出力する。その選択信号の論理レベルは、解像度変換処理部111から水平ライン1本分の画素データが出力される度に、"0"から"1"または"1"から"0"へ切り換えられ、出力された画素データは、拡大率に応じてライン順次にアドレス指定されて主メモリ104に転送される。なお、当該選択信号の論理レベルが"1"の期間には、各機能ブロック107ないし111への画素クロックの供給が中断される。これにより、本例の場合は、主メモリ104のバッファ領域に、画像サイズを垂直画素方向に最大で2倍に拡大した拡大画像データ117を格納することができる。
【0013】
しかしながら、図12に示した回路では、画像サイズを最大で2倍に拡大するために、RPU102内に1本分のラインメモリ118を組み込む必要がある。一般に、画像サイズを垂直画素方向にn倍(n:2以上の整数)に拡大する場合は、解像度変換処理部111は最大でn倍の解像度変換機能を備えると共に、n−1本分のラインメモリが必要となり、このラインメモリが、回路規模の増大と高コスト化を招くという問題点がある。
【0014】
以上に述べた問題点などに鑑みて本発明が目的とするところは、画像サイズをリアルタイムに高品質で拡大し得る簡易構成且つ低コストの解像度変換装置を提供する点にある。
【0015】
【課題を解決するための手段】
上記の課題を解決するため、請求項1の発明は、リアルタイムに入力される画像信号に基づいて、前記画像信号によって表現される元画像の解像度を変換した変換画像をリアルタイムに記憶する解像度変換装置であって、変換画像を記憶するメモリと、前記画像信号に画像処理を実行しつつ、変換画像を構成する変換画素データを出力する画像処理部と、前記画像処理部から出力される変換画素データを前記メモリに転送することにより、前記メモリ上に変換画像を記憶させるデータ転送手段とを備え、前記画像処理部が、前記画像信号を垂直方向に解像度変換された変換画素データを生成する解像度変換手段と、前記解像度変換手段により生成された前記変換画素データのうち、隣接する縦方向に並んだ変換画素データを同時出力可能な少なくとも3以上のデータ出力手段と、前記解像度変換手段と前記3以上のデータ出力手段とを制御する制御手段とを有しており、前記解像度変換手段が、前記画像信号を垂直方向に縮小した縮小画像を構成する縮小画素データを変換画素データとして生成する少なくとも3個の独立した縮小手段を有しており、拡大画像を生成する場合において、前記制御手段は、前記3以上のデータ出力手段から同時に出力される前記変換画素データを前記メモリに1つの画像を構成する画素データとして転送することにより、前記元画像を垂直方向に拡大した拡大画像を変換画像として記憶させ、一方、拡大画像を生成しない場合において、前記制御手段は、前記3以上のデータ出力手段により同時に出力される変換画素データの組み合わせとして、本画像を構成する画素データとアフタービューを構成する画素データとの組み合わせ、または、本画像を構成する画素データとサムネールを構成する画素データとの組み合わせ、または、本画像を構成する画素データ、アフタービューを構成する画素データおよびサムネールを構成する画素データの組み合わせのうちから1つを選択して切り替えることを特徴とする。
【0021】
また、請求項2の発明は、請求項1の発明に係る解像度変換装置であって、前記画像処理部が、少なくとも3本のラインメモリで、前記画像信号に輪郭強調等の画像処理を行う画像処理手段を有しており、前記解像度変換手段が、3ライン分の画素データを使用して前記変換画像データを生成する場合には、前記少なくとも3本のラインメモリを使用してポスト処理を行うことを特徴とする。
【0022】
また、請求項3の発明は、請求項1または2の発明に係る解像度変換装置であって、前記データ転送手段は、前記画像処理部から出力される前記変換画素データの転送制御を行う複数のDMA(ダイレクト・メモリ・アクセス)チャンネルを有するDMAコントローラであることを特徴とする。
【0023】
また、請求項4の発明は、被写体の画像をデジタル画像データとして撮像する撮像装置であって、光学系を透過した入射光を受光し、光電変換によりアナログ画像信号を生成出力する撮像素子と、前記アナログ画像信号をデジタル画像信号に変換してデジタル画像データを生成する信号処理部と、請求項1ないし3のいずれかに記載の解像度変換装置とを備えており、前記信号処理部により生成された前記デジタル画像データを前記解像度変換装置に入力することを特徴とする。
【0024】
【発明の実施の形態】
以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。
【0025】
<1. 第1の実施の形態>
図1は、第1の実施の形態における解像度変換装置の主要部の構成を示す概略図である。この解像度変換装置は、入力する画像データに対してリアルタイムに画像処理を実行するRPU(リアルタイム・プロセッシング・ユニット)12と、SDRAM(Synchronous Dynamic Random Access Memory)などからなる主メモリ13と、DMAコントローラ14と、CPU15とを備えている。これらRPU12、主メモリ13、DMAコントローラ14、およびCPU15は何れもメモリ・バス16に接続されている。
【0026】
この解像度変換装置はデジタル・カメラに組み込まれている。デジタル・カメラは、レンズ群などからなる光学系(図示せず)と、この光学系を透過した入射光を光電変換してアナログ画像信号を生成し出力するCCD撮像素子10と、このCCD撮像素子10から入力するアナログ画像信号に対して、CDS処理、AGC処理およびA/D変換処理を順次施してデジタル画像信号(原画像データ30)を生成しRPU12に出力するアナログ信号処理部11とを備えている。
【0027】
なお、図1では、原画像データ30がアナログ信号処理部11からRPU12に入力される場合のみ図示しているが、これに限られるものではなく、例えば、後処理(ポスト処理)で、主メモリ13に格納した画像データを原画像データ30として読み出し、メモリ・バス16を介して、RPU12に転送して画像処理を施すことも可能である。
【0028】
DMAコントローラ14は、メモリ・バス16を介したデータ転送を制御する複数のDMAチャンネルCH0,CH1,CH2…と、これらDMAチャンネルCH0,CH1,CH2…間の実行順序を調停する調停回路(図示せず)などを備えており、CPU15を介さずに、RPU12と主メモリ13との間でメモリ・バス16を通じて直接データを転送するハードウェア機能を有する。
【0029】
DMAコントローラ14は、RPU12からDMA要求を受けると、CPU15に対してメモリ・バス16の使用権の解放を要求する。CPU15がメモリ・バス16を解放できる場合は、当該メモリ・バス16の使用の許可信号をDMAコントローラ14に発行する。この許可信号を受けたDMAコントローラ14は、メモリ・バス16をハイ・インピーダンス状態にする。かかる状態で、それぞれのDMAチャンネルCH0ないしCH2が、主メモリ13上のアクセス先のアドレス(書き込みアドレス)を生成し、これによりRPU12の論理回路LC0ないしLC2から出力される転送データがメモリ・バス16を介して主メモリ13に転送される。データ転送が終了した後は、RPU12はメモリ・バス16の使用権をCPU15に返還する。
【0030】
RPU12は、画像処理を行う複数の機能ブロック17,18,19,20,21,22を有する集積回路であり、主に本発明における画像処理部に相当する。RPU12の各機能ブロック17ないし22は互いに独立して動作でき、入力データに対する処理を並列に実行してその実行結果を次段の機能ブロックに受け渡すことができるパイプライン機能を有するものである。
【0031】
また、RPU12は、DMAコントローラ14に対して、各DMAチャンネルCH0ないしCH2の使用権要求に相当するDMA要求を行う。さらに、DMAコントローラ14から当該DMA要求に対する許可信号を受け取ると、適宜、論理回路LC0ないしLC2に記憶されてる画素データを出力する。
【0032】
本実施の形態では、画素単位処理部17、画素補間・ガンマ処理部18、色空間変換・色抑圧処理部19、空間フィルタ・コアリング処理部20、解像度変換処理部21、およびRPU・DMAチャンネルコントローラ22の機能ブロックを示すが、これらに限定されるものではない。
【0033】
各機能ブロック17ないし22の処理内容の概略は以下の通りである。画素単位処理部17は、アナログ信号処理部11から入力される原画像データ30を画素単位で処理する機能ブロックである。具体的には、画素単位処理部17は、入力される原画像データ30を複数フレームもしくは複数フィールドに亘って平均化する経時的平均化処理や、画像中の明暗のムラを補正するシェーディング補正処理を行うことができる。
【0034】
また、画素補間・ガンマ処理部18は、各画素毎に不足の色成分を周辺画素を参照して補間する画素補間処理と、画像のガンマ特性を補正するガンマ補正処理とを実行する機能ブロックである。ベイヤー方式などの単板式のCCD撮像素子10では、各画素当たり単色成分しか得られないため、処理対象となる画素の周辺画素を参照して各画素が複数色成分を有するように画素補間処理がなされる。例えば、原色単板式のCCD撮像素子10では、各画素は、R(赤色),G(緑色)およびB(青色)の何れかの色成分しかもたないため、周辺画素におけるR,G,Bの色成分を用いて、各画素がR,G,Bの3色成分をもつように補間処理が実行されることになる。
【0035】
また、色空間変換・色抑圧処理部19は、画像の色空間を変換する色空間変換処理と、ホワイトバランスが狂い易い画像中の明部と暗部における発色を抑制する色抑制処理とを実行する機能ブロックである。色空間変換処理では、例えば、原色系のRGB色空間から、一つの輝度成分と2つの色差成分とからなるYCbCr色空間やYUV色空間へ変換する処理が実行される。
【0036】
また、空間フィルタ・コアリング処理部20は、空間フィルタ(重みマスク)を用いた空間フィルタリング処理と、主に画像信号の高域成分を抑圧する非線形処理(コアリング処理)とを実行する機能ブロックである。空間フィルタリング処理では、5ライン分の画素データを記憶するラインメモリ(図示せず)を有しており、画像信号中の5×5画素の局所領域に、各画素に対応する係数値をもつ空間フィルタを適用し、各画素データに前記各係数値を重み付け(乗算)して加算するという積和演算が実行される。係数値を適宜設定することで、画像中の線やエッジ部分を強調したり、ノイズを除去したりすることができる。
【0037】
また、解像度変換処理部21は、画像信号の解像度を変換する処理、すなわち、その画像サイズを縮小して画素数を小さくする処理と、画像サイズを拡大して画素数を大きくする処理とを実行する機能ブロックである。
【0038】
図2は、解像度変換処理部21およびRPU・DMAチャンネルコントローラ22の構成を示す図である。解像度変換処理部21は、縦変換制御部210と、ラインメモリ211と、縦サイズ変換部VR0ないしVR2と、横変換制御部212と、横サイズ変換部HR0ないしHR2とを備えている。
【0039】
また、RPU・DMAチャンネルコントローラ22は、論理回路LC0ないしLC2を備えており、各論理回路LC0ないしLC2は、解像度変換処理部21からの画素データ(各横サイズ変換部HR0ないしHR2からの画素データ)をそれぞれ記憶するとともに、記憶した画素データを主メモリ13に出力するか否かを示す転送許可信号TREN0ないしTREN2に応じて、当該記憶している画素データを出力する。すなわち、論理回路LC0ないしLC2が主に本発明におけるデータ出力手段に相当する。なお、転送許可信号TREN0ないしTREN2とは、論理レベル"0"または"1"で表される信号であって、各論理回路LC0ないしLC1は、各転送許可信号TREN0ないしTREN2として論理レベル"1"が入力された場合にのみ、記憶した画素データの出力を行う。
【0040】
縦変換制御部210は、オペレータなどにより指定される原画像の縦変換率αに基づいて、各タイミングごとに生成すべき画素データを判定する。また、各縦サイズ変換部VR0ないしVR2が、バイリニア法を用いて当該画素データを生成する際に必要となる重みW0ないしW2を算出し、当該重みを示す信号を各縦サイズ変換部VR0ないしVR2にそれぞれ出力することによって、各縦サイズ変換部VR0ないしVR2を制御する。さらに、RPU・DMAチャンネルコントローラ22の各論理回路LC0ないしLC2に対し、転送許可信号TREN0ないしTREN2を出力する。
【0041】
ラインメモリ211は、空間フィルタ・コアリング処理部20から入力される画素データを1ライン分記憶するFIFOメモリであり、各縦サイズ変換部VR0ないしVR2に対して記憶した画素データを順次出力する。すなわち、解像度変換処理部21がラインメモリ211を備えることにより、縦サイズ変換部VR0ないしVR2には、原画像において縦方向に並んだ2つの画素データが同時に入力される。
【0042】
縦サイズ変換部VR0ないしVR2は、縦変換制御部210から入力される各重みW0ないしW2と、ラインメモリ211から入力される画素データと、空間フィルタ・コアリング処理部20から入力される画素データとに基づいて、バイリニア法を用いることにより、それぞれ1ライン分の画素データを生成して、横サイズ変換部HR0ないしHR2に出力する。
【0043】
具体的には、ラインメモリ211から入力される画素データをVin0、空間フィルタ・コアリング処理部20から入力される画素データをVin1と置くと、出力される補間画素データVoutは、数1で求められる。
【0044】
【数1】
【0045】
各縦サイズ変換部VR0ないしVR2は、最大1ライン分の画素データを出力することから、最大1倍の解像度変換を行う機能を有するものであり、縮小処理のみ行うことができる。
【0046】
横変換制御部212は、横サイズ変換部HR0ないしHR2に対して、横変換率β(横方向の拡大・縮小率)を示す信号を出力する。なお、図示を省略しているが、横変換制御部212は、論理回路LC0ないしLC2に対して転送許可信号TREN0ないしTREN2に相当する信号を出力しており、各論理回路LC0ないしLC2は、当該信号として論理レベル"0"が入力された場合には、記憶している画素データの出力を行わない。
【0047】
各横サイズ変換部HR0ないしHR2は、横変換率βに基づいて各縦サイズ変換部VR0ないしVR2から入力される補間画素データを、それぞれ横方向にサイズ変換して、RPU・DMAチャンネルコントローラ22の各論理回路LC0ないしLC2に対し、横サイズ変換後の画素データを出力する。
【0048】
以上が本実施の形態における解像度変換装置の構成および機能である。図3は、本実施の形態における解像度変換処理部21により原画像データ30が縦方向に3倍に変換される様子を示す図である。
【0049】
図3では、原画像データ30の水平方向1ライン分の画素データをそれぞれ原画像OL0、原画像OL1、…とし、拡大画像データ40の水平方向1ライン分の画素データ(変換画素データ)をそれぞれ拡大画像EL0、拡大画像EL1、…として示している。また、図3の原画像データ30と拡大画像データ40との間の点線は、各拡大画像EL0、拡大画像EL1、…が、どの原画像OL0、原画像OL1、…から生成されるかを示している。例えば、拡大画像EL5は、原画像OL1およびOL2から生成される。また、図3における画像データの組TP1、TP2、…は、同一のタイミングで主メモリ13に転送される画素データの組を示している。例えば、TP2に含まれる拡大画像EL3ないしEL5は、同一のタイミングで主メモリ13に転送される。
【0050】
さらに、説明を簡単にするために、図3に示す例においては、横変換率βを1(等倍)として示しているが、もちろんこれに限られるものではない。以下、図2、および図3に示す例を用いて解像度変換装置の動作を説明する。
【0051】
まず、解像度変換処理部21における処理に先立って、RPU12がDMAコントローラ14に対してDMA要求を行う。DMAコントローラ14は、CPU15からメモリ・バス16の使用権を獲得するとともに、各DMAチャンネルCH0ないしCH2が、主メモリ13に画素データを転送する場合における主メモリ13上の開始アドレスSADD0ないしSADD2、終了アドレスEADD0ないしEADD2、およびオフセット値LOFF0ないしLOFF2を取得する(図1参照)。また、各論理回路LC0ないしLC2に対してそれぞれDMAチャンネルCH0ないしCH2を割り当て、かかる状態で、RPU12に対してデータ出力を許可する旨の許可信号を発行する。
【0052】
次に、解像度変換処理部21に、空間フィルタ・コアリング処理部20から原画像OL0が入力されると、当該原画像OL0はラインメモリ211に読み込まれる。この間、縦変換制御部210は、すべての転送許可信号の論理レベルを"0"として出力する。したがって、論理回路LC0ないしLC2は画素データの出力を行わず、主メモリ13に画素データが転送されることはない。
【0053】
このように、縦変換制御部210が論理回路LC0ないしLC1に転送許可信号を出力することにより、不要な画素データが出力されることがなく、効率的な転送を行うことができる。
【0054】
続いて、原画像OL1が入力されると、当該原画像OL1は、ラインメモリ211に入力され記憶されるとともに、各縦サイズ変換部VR0ないしVR2にも入力される。また、ラインメモリ211に記憶されていた原画像OL0も各縦サイズ変換部VR0ないしVR2に入力される。
【0055】
さらに、縦変換制御部210が、生成すべき拡大画像データ40におけるライン(拡大画像EL0ないしEL2)を判定し、当該ライン(拡大画像EL0ないしEL2)を生成するための補間画素データを生成する縦サイズ変換部VR0ないしVR2をそれぞれ選択する。
【0056】
ここで、縦変換制御部210が生成する画素データに基づいて縦サイズ変換部VR0ないしVR2を選択する手法について説明する。解像度変換装置では、指定される縦変換率αにかかわらず、拡大画像データ40の水平方向の各ラインデータは、それぞれ出力されるDMAチャンネルが予め固定されている(詳細は後述するが、各DMAチャンネルCH0ないしCH2が使用するオフセット値を所定の値に固定するためである。)。すなわち、拡大画像EL0,EL1,EL2,EL3,EL4,…を転送するDMAチャンネルは、それぞれCH0,CH1,CH2,CH0,CH1,…と、巡回的に予め固定されている。これにより、例えば、拡大画像EL0,EL3,EL6,…は、常にDMAチャンネルCH0から出力されることとなる。
【0057】
縦変換制御部210は、あるタイミングにおいて、解像度変換処理部21に入力される原画像データ30(例えば、原画像OL1)と縦変換率αとに基づいて、拡大画像データ40の何番目のラインに相当する画素データを生成するか(例においては、拡大画像EL0ないしEL2)を判断し、それらのラインごとに予め定められているDMAチャンネルCH0ないしCH2を選択する。例えば、拡大画像EL2については、前述の固定状態からDMAチャンネルCH2が選択される。
【0058】
DMAチャンネルが選択されれば、縦サイズ変換部VR0ないしVR2のうちのいずれが、当該画素データを生成するかが決定される。例えば、DMAチャンネルCH2により転送される画素データは縦サイズ変換部VR2により生成される補間画素データに基づいて生成される。
【0059】
このように、生成される拡大画像データ40の各ラインデータごとに、出力するDMAチャンネルが予め巡回的に固定されていることにより、縦変換制御部210における縦サイズ変換部VR0ないしVR2の選択を容易に行うことができる。
【0060】
動作の説明に戻って、生成すべき拡大画像EL0ないしEL2と、それを生成するための補間画素データを生成する各縦サイズ変換部VR0ないしVR2が選択されると、縦変換制御部210はそれぞれの縦サイズ変換部VR0ないしVR2が数1を実行する際に利用する重みW0ないしW2をそれぞれ算出して、各縦サイズ変換部VR0ないしVR2に出力する。
【0061】
各縦サイズ変換部VR0ないしVR2は、各入力値(原画像OL0、原画像OL1および重みW)に基づいて数1に示す演算を実行する。これにより、縦サイズ変換部VR0により拡大画像EL0となる補間画素データ、縦サイズ変換部VR1により拡大画像EL1となる補間画素データ、縦サイズ変換部VR2により拡大画像EL2となる補間画素データがそれぞれ生成され、各横サイズ変換部HR0ないしHR2に出力される。
【0062】
次に、各縦サイズ変換部VR0ないしVR2において生成された補間画素データは、横変換制御部212から入力される横変換率βに基づいて、各横サイズ変換部HR0ないしHR2により水平方向のサイズ変換処理を施され変換画素データとなり、論理回路LC0ないしLC2にそれぞれ出力されて、各論理回路LC0ないしLC2のFIFOメモリ回路(図示せず)に記憶される。
【0063】
縦変換制御部210は、生成された拡大画像EL0ないしEL2を、拡大画像データ40として主メモリ13に転送するために、各転送許可信号TREN0ないしTREN2に論理レベル"1"をセットする。各論理回路LC0ないしLC2は、縦変換制御部210からの各転送許可信号に基づいて、記憶した拡大画像EL0ないしEL2を出力する。
【0064】
各DMAチャンネルCH0ないしCH2は、開始アドレスSADD0ないしSADD2および終了アドレスEADD0ないしEADD2を参照しつつ、協調して主メモリ13上の書込みアドレスをライン単位で順次生成し、当該書き込みアドレスに基づいて、各論理回路LC0ないしLC2から出力された拡大画像EL0ないしEL2を主メモリ13に転送する。また、各DMAチャンネルCH0ないしCH2は、1ライン分の画素データの転送を終了すると、当該画素データの転送を終了した時点のアドレスにオフセット値LOFF0ないしLOFF2を加算することにより、次の画素データの転送を開始する際の開始アドレスSADD0ないしSADD2を生成する。
【0065】
この処理について、DMAチャンネルCH0により拡大画像EL0とEL3とを転送する場合を例に説明すると、拡大画像EL0とEL3とは、拡大画像データ40において連続するデータではない。したがって、拡大画像EL0の転送を終了したDMAチャンネルCH0は、次に転送する拡大画像EL3の開始アドレスSADD0として、拡大画像EL0の転送を終了した時点のアドレスを連続して用いることができない(当該アドレスにはDMAチャンネルCH1により転送された拡大画像EL1が書き込まれる。)。
【0066】
そこで、DMAチャンネルCH0は、前述のようにオフセット値LOFF0を加算することにより、オフセットジャンプを行い、次に転送する拡大画像EL3が拡大画像EL2と連続したアドレスに転送されるように開始アドレスSADD0を変換する必要がある。
【0067】
ここで、本実施の形態における解像度変換装置では、各オフセット値LOFF0ないしLOFF2が所定の値(2ライン分のオフセット値)に固定(指定)されている。これにより、各DMAチャンネルCH0ないしCH2は、1ライン分の画素データを転送する度に、2ライン分のオフセットジャンプを行うことにより、他の2つのDMAチャンネルにより転送された画素データが書き込まれているアドレスを飛び越えることができ、次に転送する画素データを適切なアドレスに転送することができる。なお、各オフセット値LOFF0ないしLOFF2を2ライン分のオフセット値に固定すると、各DMAチャンネルCH0ないしCH2は拡大画像データ40の3ラインデータごとの画素データを転送しなければならない。したがって、前述のように、拡大画像データ40の各ラインデータごとに転送するDMAチャンネルを予め定めておく必要がある。
【0068】
このように、解像度変換装置は、各オフセット値LOFF0ないしLOFF2を所定の値(2ライン分のオフセット値)に固定することにより、例えば、各タイミングごとに各オフセット値LOFF0ないしLOFF2を算出して指定しなおす必要がなく、制御を容易にすることができる。
【0069】
以後、同様にして、原画像データ30の1ライン分の画素データが入力される度に、拡大画像データ40の3ライン分の画素データがそれぞれ生成され、主メモリ13に転送されることにより、解像度変換装置は、原画像を3倍に拡大する処理を行うことができる。
【0070】
このように、垂直方向には縮小機能しか有しない各縦サイズ変換部VR0ないしVR2を複数個(本実施の形態では3個)用いることにより、垂直方向に複数ライン分の補間画素データを同時に生成することができる。したがって、ハードウェアとして実現が容易な縮小処理を実行する回路により、垂直方向に拡大された拡大画像データ40を生成することができることから、簡易構成且つ低コストの解像度変換装置を実現することができる。
【0071】
図4および図5は、解像度変換処理部21が、原画像データ30をそれぞれ2.5倍、5/3倍に拡大する例を示す図である。
【0072】
図4において、原画像OL1が入力されると、図3に示す例と同様に拡大画像EL0ないしEL2がそれぞれ生成され、各DMAチャンネルCH0ないしCH2によって主メモリ13に転送される。
【0073】
しかし、原画像OL2が入力された場合には、生成すべき画素データは拡大画像EL3およびEL4であることから、縦変換制御部210は、重みW0およびW1のみを算出して、それぞれ縦サイズ変換部VR0およびVR1に出力するとともに、転送許可信号TREN0およびTREN1にのみ論理レベル"1"をセットして、転送許可信号TREN2には論理レベル"0"をセットする。そのため、論理回路LC2は、DMA要求を行わず、論理回路LC0およびLC1に記憶される画素データ(拡大画像EL3およびEL4)のみ主メモリ13に転送される。
【0074】
次に、原画像OL3が入力された場合には、縦サイズ変換部VR2および横サイズ変換部HR2により拡大画像EL5、縦サイズ変換部VR0および横サイズ変換部HR0により拡大画像EL6、縦サイズ変換部VR1および横サイズ変換部HR1により拡大画像EL7がそれぞれ生成され、縦変換制御部210が転送許可信号TREN0ないしTREN2の論理レベルに"1"をセットすることにより、各DMAチャンネルCH0ないしCH2によって主メモリ13に転送される。
【0075】
以後、同様に処理が繰り返され、原画像データ30の2ライン分の画素データが入力される度に、拡大画像データ40の5ライン分の画素データがそれそれ生成され、主メモリ13に転送されることにより、解像度変換装置は原画像を2.5倍に拡大する処理を行うことができる。
【0076】
また、図5において、原画像OL1が入力されると、拡大画像EL0およびEL1が生成される。そこで、縦変換制御部210が、転送許可信号TREN0およびTREN1にのみ論理レベル"1"をセットし、転送許可信号TREN2には論理レベル"0"をセットすることにより、拡大画像EL0およびEL1が主メモリ13に転送される。
【0077】
次に、原画像OL2が入力されると、拡大画像EL2およびEL3が生成され、縦変換制御部210が、転送許可信号TREN2およびTREN0にのみ論理レベル"1"をセットし、転送許可信号TREN1には論理レベル"0"をセットすることにより、拡大画像EL2およびEL3が主メモリ13に転送される。
【0078】
さらに、原画像OL3が入力されると、拡大画像EL4が生成され、縦変換制御部210が、転送許可信号TREN1にのみ論理レベル"1"をセットし、転送許可信号TREN0およびTREN2には論理レベル"0"をセットすることにより、拡大画像EL4が主メモリ13に転送される。
【0079】
以後、同様に処理が繰り返され、原画像データ30の3ライン分の画素データが入力されるたびに、拡大画像データ40の5ライン分の画素データがそれぞれ生成され、主メモリ13に転送されることにより、解像度変換装置は原画像を5/3倍に拡大する処理を行うことができる。
【0080】
以上により、本実施の形態における解像度変換装置を組み込んだデジタル・カメラでは、解像度変換処理部21が画像信号を垂直方向に解像度変換された変換画素データを生成し、DMAコントローラ14が、RPU12の論理回路LC0ないしLC2から同時に出力される変換画素データを主メモリ13に1つの画像データとして転送することにより、各論理回路LC0ないしLC2は、入力ライン1ラインに対して、最大1ライン以下の出力に抑えることができるので、拡大後の画素データを一旦格納するラインメモリなどを使用することなく処理することができる。したがって、高速で大容量の画像信号のデータ転送と、リアルタイムな画像サイズの拡大処理とを同時に実行するとともに、簡易構成且つ低コストの解像度変換装置を実現することができる。
【0081】
また、その場合、縦サイズ変換部VR0ないしVR2から出力される補間画素データは、縦変換制御部210からの重みに基づいて計算されており(バイリニア法)、単に縦方向に複写された画素データによって拡大画像を生成する場合に比べて高品質な(画像のなめらかさの低下が抑えられた)拡大画像を生成することができる。
【0082】
また、縮小処理を行う回路(縦サイズ変換部VR0ないしVR2)を複数個用いることによって、垂直方向に拡大された拡大画像データ40を生成することにより、さらに、簡易構成且つ低コストの解像度変換装置を実現することができる。
【0083】
なお、解像度変換処理部21による原画像データ30の縦変換率αは、図3ないし図5に示すものに限定されるものではなく、最大3倍の任意の拡大を行うことができる。また、本実施の形態においては、アナログ信号処理部11からの画像データを原画像データとして解像度変換装置に入力する例を説明したが、解像度変換装置に入力する原画像データは、これに限られるものではない。例えば、主メモリ13に記憶されている画像データを原画像データとして入力することも可能である。以下、他の実施の形態においても同様である。
【0084】
<2. 第2の実施の形態>
第1の実施の形態における解像度変換装置では、指定される縦変換率αにかかわらず、各DMAチャンネルが参照するオフセット値LOFF0ないしLOFF2を2ライン分のオフセット値に固定していたが、そのような方式に限られるものではない。
【0085】
例えば、DMAコントローラ14が、各タイミングごとに各オフセット値LOFF0およびLOFF2を算出して変更することにより、各DMAチャンネルCH0およびCH2のオフセットジャンプを制御する機能を有していてもよい。
【0086】
図6は、このような原理に基づいて構成した第2の実施の形態における解像度変換装置において、原画像データ30を5/3倍に拡大処理する例を示した図である。本実施の形態における解像度変換装置は、同時に出力される拡大画像データ40のラインデータの数に応じて、DMAチャンネルCH0から順次優先的にDMAチャンネルを選択する。
【0087】
図6に示すように、拡大画像データ40のラインデータが2つずつ転送される場合には、各DMAチャンネルCH0およびCH1により転送される画素データは、主メモリ13上で交互に書き込む必要があるため、各DMAチャンネルCH0およびCH1が1ライン分のオフセットジャンプを行うように、DMAコントローラ14がオフセット値LOFF0およびLOFF1をセットする。
【0088】
図6に示す拡大画像EL4が転送される場合のように、1ラインのみの転送が行われた場合は、DMAチャンネルCH0は、自らが転送した拡大画像EL4に連続したアドレスに次に転送する拡大画像EL5を転送する必要がある。また、DMAチャンネルCH1のSADD1は、拡大画像EL3の転送が終了した時点で、拡大画像EL5を転送すべきアドレスとなっているため、さらに、1ライン分のオフセットジャンプを行う必要がある。
【0089】
そこで、1ラインのみの転送が行われた場合は、DMAコントローラ14は、オフセット値LOFF0を0に、オフセット値LOFF1を1ライン分のオフセット値にそれぞれ変更する。
【0090】
以上により、本実施の形態における解像度変換装置においても、処理するデータごとにオフセット値を変更することによって、第1の実施の形態と同様の種々の効果を得ることができる。また、拡大画像データ40の各ラインデータを出力する各タイミングごとに、DMAチャンネルを自由に選択することができるため、第1の実施の形態のように固定する場合に比べて、柔軟な制御を行うことができる。なお、各タイミングごとの各オフセット値LOFF0ないしLOFF2の計算は、CPU15が行ってDMAコントローラ14に受け渡すようにしてもよいし、各DMAチャンネルCH0ないしCH2が行ってもよい。
【0091】
<3. 第3の実施の形態>
上記実施の形態における解像度変換装置では、縦変換制御部210が各縦サイズ変換部VR0ないしVR2を一括して制御していたが、本発明はこのような構成に限られるものではない。例えば、各縦サイズ変換部VR0ないしVR2を制御するための構成を個別に設けて、それぞれが協調して1つの画像データを作成する協調モードと、独立に動作して複数の画像データを作成する独立モードとを切り替えるようにしてもよい。
【0092】
図7は、このような原理に基づいて構成した本実施の形態における解像度変換装置の解像度変換処理部21の構成を示すとともに、協調モードにより拡大画像データ40が作成される様子を示す図である。なお、上記実施の形態とほぼ同様の構成については、適宜同じ符号を用いている。
【0093】
本実施の形態における解像度変換処理部21は、縦変換制御部210aないし210cと、横変換制御部212aないし212cと、転送制御部TC0ないしTC2とを備える。
【0094】
各縦変換制御部210aないし210cは、それぞれ縦サイズ変換部VR0ないしVR2で用いられる重みW0ないしW2を算出して制御するとともに、それぞれ転送制御部TC0ないしTC2に対して、画素データの転送を行うか否かを示す信号を出力する。なお、当該信号とは、論理レベル"0"または"1"で表される信号であって、各縦変換制御部210aないし210cは、各縦サイズ変換部VR0ないしVR2において画素データが生成される場合は、当該信号に論理レベル"1"をセットして出力し、それ以外の場合は論理レベル"0"をセットして出力する。すなわち、当該信号はライン単位で判断され、切り替えられる。
【0095】
また、各縦変換制御部210aないし210cには、協調モードによる処理を行うか、独立モードによる処理を行うかの選択信号が入力され(図示せず)、当該選択信号に基づいて、それぞれが協調モードと独立モードとの切り替えを行う。すなわち、縦変換制御部210aないし210cは、本発明におけるセレクターに相当する機能をも有している。
【0096】
各横変換制御部212aないし212cは、それぞれ横サイズ変換部HR0ないしHR2に対して横変換率β0ないしβ2を出力するとともに、それぞれ転送制御部TC0ないしTC2に対して、画素データの転送を行うか否かを示す信号を出力する。なお、当該信号とは、論理レベル"0"または"1"で表される信号であって、各横変換制御部212aないし212cは、各横サイズ変換部HR0ないしHR2において画素データが生成される場合は、当該信号に論理レベル"1"をセットして出力し、縮小処理などにおいて画素データを間引く場合は論理レベル"0"をセットして出力する。すなわち、当該信号は画素単位で判断され、切り替えられる。
【0097】
各転送制御部TC0ないしTC2は、それぞれ縦変換制御部210aないし210cおよび横変換制御部212aないし212cから画素データの転送を指示する信号を受け取り、論理回路LC0ないしLC2に対して転送許可信号TREN0ないしTREN2を出力する。各転送制御部TC0ないしTC2は、それぞれ縦変換制御部210aないし210cおよび横変換制御部212aないし212cから入力される信号がいずれも論理レベル"1"にセットされている場合にのみ転送許可信号TREN0ないしTREN2に論理レベル"1"をセットして出力する。すなわち、縦変換制御部210aおよび横変換制御部212aからの信号のうち、いずれか一方の信号に論理レベル"0"がセットされている場合は、転送制御部TC0は転送許可信号TREN0に論理レベル"0"をセットして論理回路LC0に出力する。
【0098】
また、各縦変換制御部210aないし210cには、協調モードによる処理を行うか、独立モードによる処理を行うかの選択信号が入力され(図示せず)、当該選択信号に基づいて、それぞれが協調モードと独立モードとの切り替えを行う。
【0099】
以上の構成を備える解像度変換装置においても、図7に示すように、協調モードによる処理を実行することにより、上記実施の形態と同様の処理を実行することができるため、原画像データ30から拡大画像データ40を生成することができる。
【0100】
図8は、本実施の形態における解像度変換装置における独立モードにより、複数の画像データが作成される様子を示した図である。本実施の形態における解像度変換装置は、独立モードが選択されると、各DMAチャンネルCH0ないしCH2によって転送される画素データを、同じ画像データとして扱わず、それぞれ主メモリ13上の別のアドレスに転送することにより、別個の画像データとして生成する。ここでは、独立モードによって、主画像データ50、アフタービュー画像データ60、およびサムネール画像データ70を生成する場合について説明するが、主画像データ50とアフタービュー画像データ60、または、主画像データ50とサムネール画像データ70の組み合わせが選択されてもよい。
【0101】
縦変換制御部210aおよび横変換制御部212aには、それぞれ主画像データ50を生成するために必要な縦変換率α0および横変換率β0を入力すれば、縦サイズ変換部VR0および横サイズ変換部HR0によって、順次主画像データ50のラインデータが生成され、論理回路LC0に記憶される。
【0102】
また、縦変換制御部210bおよび横変換制御部212bには、それぞれアフタービュー画像データ60を生成するために必要な縦変換率α1および横変換率β1を入力すれば、縦サイズ変換部VR1および横サイズ変換部HR1によって、順次アフタービュー画像データ60のラインデータが生成され、論理回路LC1に記憶される。
【0103】
同様に、縦変換制御部210cおよび横変換制御部212cには、それぞれサムネール画像データ70を生成するために必要な縦変換率α2および横変換率β2を入力すれば、縦サイズ変換部VR2および横サイズ変換部HR2によって、順次サムネール画像データ70のラインデータが生成され、論理回路LC2に記憶される。
【0104】
なお、本実施の形態における解像度変換装置が独立モードで動作する場合は、各縦サイズ変換部VR0ないしVR2に割り当てられるDMAチャンネルは1つであるため、1ライン以上の画素データを同時に出力することはできないため、各縦変換率α0ないしα1は、すべて1以下の値でなければならない。
【0105】
次に、各論理回路LC0ないしLC2が、各転送制御部TC0ないしTC2からの転送許可信号TREN0ないしTREN2に応じて画素データを出力し、各DMAチャンネルCH0ないしCH2が主メモリ13上に当該画素データを転送する。各DMAチャンネルCH0ないしCH2は、それぞれ1ライン分の画素データの転送が終了した場合であってもオフセットジャンプを行わず、次に出力する画素データも主メモリ13上の連続したアドレスに転送する。
【0106】
このようにして、各DMAチャンネルCH0ないしCH2により転送された画素データによって、それぞれ主画像データ50、アフタービュー画像データ60、およびサムネール画像データ70が作成される。
【0107】
以上により、第3の実施の形態における解像度変換装置においても、協調モードを選択することにより、上記実施の形態と同様に、最大3倍に拡大した拡大画像データ40を得ることができるため、種々の効果を得ることができる。また、各縦サイズ変換部VR0ないしVR2および各横サイズ変換部HR0ないしHR2を制御するための構成をそれぞれ個別に設け、それらを独立に動作させることにより、例えば、目的に応じて解像度変換された複数の画像データを、別途構成を設けることなく作成することができる。
【0108】
<4. 第4の実施の形態>
上記実施の形態における解像度変換装置では、原画像をバイリニア法により拡大するとして説明したが、画像を拡大する手法としては前述のようにバイキュービック法も周知であり、これを用いることも可能である。
【0109】
図9は、このような原理に基づいて構成した第4の実施の形態における解像度変換装置の構成を示した図である。
【0110】
本実施の形態における解像度変換装置の空間フィルタ・コアリング処理部20aでは、3次補間部24を備える点が上記実施の形態と異なっている。なお、上記実施の形態における解像度変換装置では図示を省略していたが、空間フィルタ・コアリング処理部20aは、上記の実施の形態における空間フィルタ・コアリング処理部20と同様に、画像信号中の5×5画素程度の領域に空間フィルタリング処理を行うため、1ライン分の画素データを記憶することができるラインメモリ23を5つ備えている(図9ではそのうちの3ライン分を示す。)。
【0111】
3次補間部24は、一旦ラインメモリ23に記憶される画素データに基づいてバイキュービック法を用いることにより、空間フィルタ・コアリング処理部20aに入力される原画像データ30を拡大処理し、解像度変換処理部21に出力する。
【0112】
ここで3次補間部24において実行される周知の手法、4×4バイキュービック法について簡単に説明すると、まず、注目画素との画素間の距離Dが1未満の画素についての重みW3と、距離Dが2未満の画素についての重みW4とをそれぞれ数2および数3により求める。距離Dが2以上の画素に対する重みは0とする。
【0113】
【数2】
【0114】
【数3】
【0115】
次に、注目画素に隣接する16画素の画素値に、それぞれ求めた重みW3およびW4を用いて重み付けを行うことにより補間を行う。すなわち、4×4バイキュービック法を行うためには、3ライン分の画素データを記憶することが必要となる。バイキュービック法により拡大処理された拡大画像は、バイリニア法により拡大された拡大画像に比べて画像のなめらかさの低下が抑えられ、高品質な画像となる。
【0116】
本実施の形態における解像度変換装置の動作について説明する。図9に示すように、アナログ信号処理部11から原画像データ30が入力される場合には、空間フィルタ・コアリング処理部20aは、空間フィルタリング処理を行うためにラインメモリ23を使用するため、バイキュービック法による拡大処理を行うことはできない。したがって、リアルタイムに原画像データ30を拡大処理する場合は、上記実施の形態と同様に、解像度変換処理部21によりバイリニア法による拡大処理が行われる。
【0117】
図10は、本実施の形態における解像度変換装置が、バイキュービック法による拡大処理を行う例を示した図である。
【0118】
本実施の形態における解像度変換装置では、バイキュービック法による拡大処理が選択されると、主メモリ13上に記憶されている原画像データ30が空間フィルタ・コアリング処理部20aに入力される。なお、その場合、ここで示す例のように原画像データ30の一部分(原画像データ30a)が選択されてもよい。
【0119】
3次補間部24は、ラインメモリ23を使用しつつ、前述のバイキュービック法によって原画像データ30aを拡大した拡大画像データ40aを生成し、解像度変換処理部21に出力する。
【0120】
解像度変換処理部21は、入力された拡大画像データ40aに対して、上記実施の形態において原画像データ30に対して行った処理と同様の処理を行って、主メモリ13に転送する。
【0121】
図10に示す例では、縦サイズ変換部VR0および横サイズ変換部HR0により拡大画像データ40aのラインデータからそれぞれ主画像データ50のラインデータが生成され、DMAチャンネルCH0によって主メモリ13に転送されることにより、主メモリ13上に原画像データ30aがバイキュービック法により拡大された主画像データ50が作成される。
【0122】
また、縦サイズ変換部VR1および横サイズ変換部HR1により拡大画像データ40aのラインデータからそれぞれアフタービュー画像データ60のラインデータが生成され、DMAチャンネルCH1によって主メモリ13に転送されることにより、主メモリ13上にアフタービュー画像データ60が作成される。
【0123】
さらに、縦サイズ変換部VR2および横サイズ変換部HR2により拡大画像データ40aのラインデータからそれぞれサムネール画像データ70のラインデータが生成され、DMAチャンネルCH2によって主メモリ13に転送されることにより、主メモリ13上にサムネール画像データ70が作成される。
【0124】
以上により、第4の実施の形態における解像度変換装置においても、バイリニア法による拡大処理を行うことができるため、上記実施の形態と同様に種々の効果を得ることができる。
【0125】
また、ポスト処理でのバイキュービック法による拡大処理を行うことができるため、より高品質な拡大画像データ40を生成することができる。
【0126】
また、バイキュービック法により拡大処理を行う頻度は非常に少なく、当該拡大処理を行うための専用の回路を設けた場合、ほとんどのケースでは無駄な回路が動作することで、消費電力が増大するが、本実施の形態における解像度変換装置では、通常は拡大処理以外に使用されるラインメモリ23をバイキュービック法による拡大処理に利用することで、簡易構成且つ低コストの解像度変換装置を実現することができる。
【0127】
なお、図10に示す例では、解像度変換処理部21が第3の実施の形態における独立モードによる処理を行う例を示しているが、解像度変換処理部21で行われる処理はこれに限られるものではない。
【0128】
<5. 変形例>
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【0129】
例えば、上記実施の形態では、3個のDMAチャンネルCH0ないしCH2を用いて画像データの解像度を縦方向に最大3倍に拡大していたが、本発明ではこれに限らず、n個のDMAチャンネルCH0,CH1,…,CHn(n:2以上の整数)を使用して画像データの解像度を垂直画素方向に最大n倍に拡大することも可能である。かかる場合は、縦サイズ変換部、横サイズ変換部、論理回路をそれぞれn個ずつ設け、主メモリ13との間のデータ転送にそれぞれDMAチャンネルCH0,…,CHnを割り当てればよい。
【0130】
また、独立モードにおいて作成される画像データの数は、3つに限定されるものではない。例えば、DMAチャンネルCH0およびCH1が協調して原画像データ30を2倍に拡大した拡大画像データ40を生成しつつ、DMAチャンネルCH2がサムネール画像データ70を生成するなどしてもよい。
【0131】
【発明の効果】
以上の如く、本発明の請求項1ないし4に係る解像度変換装置によれば、解像度変換手段により生成された前記変換画素データのうち、隣接する縦方向に並んだ変換画素データを同時出力可能な少なくとも3以上のデータ出力手段を備え、解像度変換手段が、画像信号を垂直方向に縮小した縮小画像を構成する縮小画素データを変換画素データとして生成する少なくとも3個の独立した縮小手段を有しており、拡大画像を生成する場合において、制御手段は、3以上のデータ出力手段から同時に出力される変換画素データをメモリに1つの画像を構成する画素データとして転送することにより、元画像を垂直方向に拡大した拡大画像を変換画像として記憶させ、一方、拡大画像を生成しない場合において、制御手段は、3以上のデータ出力手段により同時に出力される変換画素データの組み合わせとして、本画像を構成する画素データとアフタービューを構成する画素データとの組み合わせ、または、本画像を構成する画素データとサムネールを構成する画素データとの組み合わせ、または、本画像を構成する画素データ、アフタービューを構成する画素データおよびサムネールを構成する画素データの組み合わせのうちから1つを選択して切り替えるため、目的に応じた解像度の画像データをリアルタイムに作成することができる。
【0137】
請求項2によれば、解像度変換手段が、3ラインの画素データを使用して変換画像データを生成する場合には、少なくとも3本のラインメモリを使用してポスト処理を行うため、ラインメモリを他の画像処理と共有することにより、簡易構成且つ低コストの解像度変換装置を実現することができる。
【0138】
請求項3によれば、データ転送手段は、画像処理部から出力される変換画素データの転送制御を行う複数のDMAチャンネルを有するDMAコントローラであるため、画像処理部からメモリへのデータ転送と画像拡大処理とをリアルタイムに効率よく実行できる。
【0139】
請求項4に係るデジタル・カメラによれば、撮像した画像信号を一旦、メモリに格納させること無く、リアルタイムにその画像サイズを拡大してメモリに記憶させることが可能である。
【図面の簡単な説明】
【図1】第1の実施の形態における解像度変換装置の主要部の構成を示す概略図である。
【図2】解像度変換処理部およびRPU・DMAチャンネルコントローラの構成を示す図である。
【図3】第1の実施の形態における解像度変換装置が、原画像データを3倍に拡大する例を示す図である。
【図4】第1の実施の形態における解像度変換装置が、原画像データを2.5倍に拡大する例を示す図である。
【図5】第1の実施の形態における解像度変換装置が、原画像データを5/3倍に拡大する例を示す図である。
【図6】第2の実施の形態における解像度変換装置において、原画像データを5/3倍に拡大する例を示した図である。
【図7】第3の実施の形態における解像度変換装置の解像度変換処理部の構成を示すとともに、協調モードにより拡大画像データが作成される様子を示す図である。
【図8】第3の実施の形態における解像度変換装置における独立モードにより、複数の画像データが作成される様子を示した図である。
【図9】第4の実施の形態における解像度変換装置の構成を示した図である。
【図10】第4の実施の形態における解像度変換装置が、バイキュービック法による拡大処理を行う例を示した図である。
【図11】デジタル・カメラに内蔵される従来の画像処理回路の主要部を示す概略図である。
【図12】ポスト処理を用いて画像データを垂直画素方向に2倍に拡大する従来のRPUの回路構成例を示す概略図である。
【符号の説明】
10 撮像素子
11 アナログ信号処理部
12 RPU
13 主メモリ
14 DMAコントローラ
20,20a 空間フィルタ・コアリング処理部
21 解像度変換処理部
210,210a,210b,210c 縦変換制御部
211,23 ラインメモリ
212,212a,212b,212c 横変換制御部
22 RPU・DMAチャンネルコントローラ
24 3次補間部
30,30a 原画像データ
40,117 拡大画像データ
50 主画像データ
60 アフタービュー画像データ
70 サムネール画像データ
CH0,CH1,CH2 DMAチャンネル
HR0,HR1,HR2 横サイズ変換部
LC0,LC1,LC2 論理回路
LOFF0,LOFF1,LOFF2 オフセット値
TC0,TC1,TC2 転送制御部
TREN0,TREN1,TREN2 転送許可信号
VR0,VR1,VR2 縦サイズ変換部
Vout 補間画素データ
Claims (4)
- リアルタイムに入力される画像信号に基づいて、前記画像信号によって表現される元画像の解像度を変換した変換画像をリアルタイムに記憶する解像度変換装置であって、
変換画像を記憶するメモリと、
前記画像信号に画像処理を実行しつつ、変換画像を構成する変換画素データを出力する画像処理部と、
前記画像処理部から出力される変換画素データを前記メモリに転送することにより、前記メモリ上に変換画像を記憶させるデータ転送手段と、
を備え、
前記画像処理部が、
前記画像信号を垂直方向に解像度変換された変換画素データを生成する解像度変換手段と、
前記解像度変換手段により生成された前記変換画素データのうち、隣接する縦方向に並んだ変換画素データを同時出力可能な少なくとも3以上のデータ出力手段と、
前記解像度変換手段と前記3以上のデータ出力手段とを制御する制御手段と、
を有しており、
前記解像度変換手段が、前記画像信号を垂直方向に縮小した縮小画像を構成する縮小画素データを変換画素データとして生成する少なくとも3個の独立した縮小手段を有しており、
拡大画像を生成する場合において、
前記制御手段は、前記3以上のデータ出力手段から同時に出力される前記変換画素データを前記メモリに1つの画像を構成する画素データとして転送することにより、前記元画像を垂直方向に拡大した拡大画像を変換画像として記憶させ、
一方、拡大画像を生成しない場合において、
前記制御手段は、前記3以上のデータ出力手段により同時に出力される変換画素データの組み合わせとして、本画像を構成する画素データとアフタービューを構成する画素データとの組み合わせ、または、本画像を構成する画素データとサムネールを構成する画素データとの組み合わせ、または、本画像を構成する画素データ、アフタービューを構成する画素データおよびサムネールを構成する画素データの組み合わせのうちから1つを選択して切り替えることを特徴とする解像度変換装置。 - 請求項1に記載の解像度変換装置であって、
前記画像処理部が、
少なくとも3本のラインメモリで、前記画像信号に輪郭強調等の画像処理を行う画像処理手段を有しており、
前記解像度変換手段が、3ライン分の画素データを使用して前記変換画像データを生成する場合には、前記少なくとも3本のラインメモリを使用してポスト処理を行うことを特徴とする解像度変換装置。 - 請求項1または2に記載の解像度変換装置であって、
前記データ転送手段は、前記画像処理部から出力される前記変換画素データの転送制御を行う複数のDMA(ダイレクト・メモリ・アクセス)チャンネルを有するDMAコントローラであることを特徴とする解像度変換装置。 - 被写体の画像をデジタル画像データとして撮像する撮像装置であって、
光学系を透過した入射光を受光し、光電変換によりアナログ画像信号を生成出力する撮像素子と、
前記アナログ画像信号をデジタル画像信号に変換してデジタル画像データを生成する信号処理部と、
請求項1ないし3のいずれかに記載の解像度変換装置と、
を備えており、
前記信号処理部により生成された前記デジタル画像データを前記解像度変換装置に入力することを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002085551A JP3810699B2 (ja) | 2002-03-26 | 2002-03-26 | 解像度変換装置および撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002085551A JP3810699B2 (ja) | 2002-03-26 | 2002-03-26 | 解像度変換装置および撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003283815A JP2003283815A (ja) | 2003-10-03 |
JP3810699B2 true JP3810699B2 (ja) | 2006-08-16 |
Family
ID=29232473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002085551A Expired - Fee Related JP3810699B2 (ja) | 2002-03-26 | 2002-03-26 | 解像度変換装置および撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3810699B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4851196B2 (ja) * | 2006-02-17 | 2012-01-11 | 日本電子株式会社 | 画像処理方法及び装置並びに画像処理プログラム |
JP2007293431A (ja) | 2006-04-21 | 2007-11-08 | Megachips Lsi Solutions Inc | 画像処理装置 |
KR102400104B1 (ko) | 2015-10-28 | 2022-05-19 | 삼성전자주식회사 | 이미지 처리 장치 및 이미지 처리 방법 |
-
2002
- 2002-03-26 JP JP2002085551A patent/JP3810699B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003283815A (ja) | 2003-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4131052B2 (ja) | 撮像装置 | |
JP5591261B2 (ja) | 画像処理装置 | |
JPWO2011099138A1 (ja) | 画像処理装置および画像処理方法 | |
RU2432614C2 (ru) | Устройство обработки изображения, способ обработки изображения и программа | |
JP5430379B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
JP2000092375A (ja) | 信号処理装置及びその制御方法 | |
JP5829122B2 (ja) | 撮像装置および評価値生成装置 | |
JP5820720B2 (ja) | 撮像装置 | |
JP5959194B2 (ja) | 撮像装置 | |
JP3810699B2 (ja) | 解像度変換装置および撮像装置 | |
JP7460588B2 (ja) | 撮像素子、撮像装置、撮像方法及びプログラム | |
JP2011223146A (ja) | 電子カメラ | |
JP4190124B2 (ja) | 画像処理装置 | |
JP3810685B2 (ja) | 解像度変換装置およびデジタル・カメラ | |
JP4264602B2 (ja) | 画像処理装置 | |
JP2004266768A (ja) | 画像処理システム及びデジタルカメラ | |
JP4412446B2 (ja) | 解像度変換方法および解像度変換装置 | |
JP2004312072A (ja) | 画像処理装置及びカメラ、並びに画像処理方法 | |
JP2005051393A (ja) | 撮像装置 | |
JP2006262382A (ja) | 画像処理装置 | |
JP7410088B2 (ja) | 撮像素子、撮像装置、画像データ出力方法、及びプログラム | |
JP5841359B2 (ja) | 画像処理装置及びその制御方法並びにプログラム | |
US8406558B2 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
JP5572992B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
JP4677581B2 (ja) | データ転送制御装置およびデータ転送方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051226 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060313 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060524 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100602 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110602 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110602 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120602 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120602 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150602 Year of fee payment: 9 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |