JP2005006061A

JP2005006061A - 画像処理装置

Info

Publication number: JP2005006061A
Application number: JP2003167411A
Authority: JP
Inventors: Keiichi Tsumura; 敬一津村; Hironori Yatsuyama; 博記八山; Toshiya Fujii; 俊哉藤井
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-06-12
Filing date: 2003-06-12
Publication date: 2005-01-06
Anticipated expiration: 2023-06-12
Also published as: US20040252206A1; CN1320821C; TW200428877A; KR20040107374A; CN1574939A; US7688361B2; JP4598374B2

Abstract

【課題】固体撮像素子の出力から圧縮画像データを得て、これをメディアに記録する画像処理装置において、必要となるメモリの容量を削減する。
【解決手段】固体撮像素子１０２から出力された画素信号は回路１０３，１０４によって画像データに変換され、書き込みコントローラ１０６によってメモリ１０８に記録される。読み込みコントローラ１０７はメモリ１０８からブロック単位で画像データを読み出し、Ｙ／Ｃ処理部１０９は読み出されたブロック単位の画像データに対してＹ／Ｃ処理を行い、ＪＰＥＧ処理部１１０は圧縮符号化を行う。符号化データは、メモリ１０８に記録されないで、ＤＭＡ処理部１１５によって記録メディア１１３に書き込まれる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子によって得られた画像データをメディアに記録するための画像処理装置に関する技術に属する。
【０００２】
【従来の技術】
近年、デジタルスチルカメラやカメラ付き携帯電話等においては、撮像素子の高画素化に伴い、高画素画像の高速画像処理が必要になっている。また、銀塩カメラと同様の連写機能の需要も高まってきている。連写枚数を増やし、かつ、高速に処理を行おうとすると、連写枚数に比例した大容量のメモリ領域が必要である。
【０００３】
図６は従来の画像処理装置の構成の一例である。この画像処理装置は、プログレッシブ出力を行うＣＣＤ固体撮像素子２０２の出力信号からＪＰＥＧ圧縮画像データを得て、これをメディア２１３に記録する。固体撮像素子２０２はタイミングジェネレータ２０１から出力された転送パルス信号によって駆動され、撮像画像の画素電荷に応じた画素電位信号を出力する。固体撮像素子２０２から出力された画素電位信号は相関二重サンプリング回路２０３によってノイズリダクションされ、Ａ／Ｄ変換回路２０４によって量子化され、その後、画像データとしてメモリコントローラ２０５内の書き込みコントローラ２０６に供給される。
【０００４】
書き込みコントローラ２０６は図７（ａ）に示すように、画像データをメモリ２０８に書込み開始アドレスから順に書き込む。画像データの書き込みは、固体撮像素子２０２の画素配置と同様に、水平１行分の書き込みが終了すると垂直位置を変え、再び水平位置を開始位置に戻し、水平１行分の書き込みを行う、という順に従う。このような書き込み処理を、１画面分の全画像データがメモリ２０８に展開し尽くすまで行う。
【０００５】
１画面分の全画像データがメモリ２０８に書きこまれると、メモリコントローラ２０５中の読み込みコントローラ２０７が、図７（ｂ）に示すように、Ｙ／Ｃ処理ブロック単位で画像データを読み出す。読み出されたブロック単位の画像データはＹ／Ｃ処理部２０９に与えられる。Ｙ／Ｃ処理部２０９はブロック単位の画像データから輝度信号Ｙおよび色差信号Ｃｒ・Ｃｂを生成し、ＪＰＥＧ処理部２１０に送る。ＪＰＥＧ処理部２１０はその内部にＪＰＥＧ処理ブロック単位の輝度信号と色差信号が蓄積されると、ＪＰＥＧ圧縮符号化処理を開始し、符号化データを出力する。出力された符号化データは、書き込みコントローラ２０６によってメモリ２０８に書き込まれる。
【０００６】
１画面分の符号化データすなわちＪＰＥＧ圧縮画像データがメモリ２０８に書き込まれると、ＣＰＵ２１２の命令により、メモリ２０８から読み出されたＪＰＥＧ圧縮画像データは、ＣＰＵバスを経由して記録メディア２１３に記録される。
【０００７】
図８は従来の画像処理装置の構成の他の例である（特許文献１参照）。図８では図６の構成に改良を加えて、高速な処理を実現し、かつ、少ないメモリ領域での高画素画像の符号化処理を実現している。すなわち、メモリコントローラ２０５Ａに駆動停止制御コントローラ２１４を設けており、駆動停止制御コントローラ２１４は、メモリ２０８に対する画素データの書き込みアドレスとブロックデータ読み出しアドレスとの位置関係に従って、タイミングジェネレータ２０１に対して固体撮像素子２０２への転送パルスを停止させたり、Ｙ／Ｃ処理部２０９およびＪＰＥＧ処理部２１０の停止／駆動を制御したりする。これにより、連写時には、前画面の符号化処理が完了するのを待たずに次の画面の書込み処理を行えるようになるので、従来の処理に比べ高速に画像の符号化を行うことが可能となる。また、図９（ａ），（ｂ）に示すように、ＪＰＥＧ処理の最小単位ブロックを含む行領域が最低２つすなわちＭ×２ラインあれば、１画面分のＪＰＥＧ処理を実現することができる。このため、１画面分の符号データを生成するために１画面分のすべての画像データをメモリ２０８に展開する必要がなく、メモリ容量を削減することができる。
【０００８】
【特許文献１】
特開２００１−２８５７７６号公報
【０００９】
【発明が解決しようとする課題】
図８の従来例では、撮像した画像データをＪＰＥＧ圧縮画像に変換するまでに使用するメモリ容量は削減することができた。
【００１０】
しかしながら、図６および図８の方式のいずれも、ＪＰＥＧ圧縮画像データを、連写の速度に合わせて、記録メディア２０３に高速に記録することができない。このため、連写する場合は、連写枚数に比例したＪＰＥＧ圧縮画像分のメモリ容量が必要であり、一旦ＪＰＥＧ圧縮画像データを連写枚数分メモリ２０８に書き込んでから、記録メディア２０８に書き込む必要がある。この結果、やはり、大容量のメモリが必要となる。
【００１１】
前記の問題に鑑み、本発明は、固体撮像素子の出力から圧縮画像データを得て、これをメディアに記録する画像処理装置において、連写機能を実現するために必要となるメモリの容量を削減することを課題とする。
【００１２】
【課題を解決するための手段】
近年、記録メディアの高速化が進んでいる。本発明では、プログレッシブ出力を行う撮像素子と、高速画像処理方式と、高速な記録が可能な記録メディアを組み合わせる。すなわち、ＣＣＤやＭＯＳセンサー等の固体撮像素子からプログレッシブ出力された画像データを、必要最小限のメモリに蓄えてから、ブロック読み出しを行い、ブロック単位で、Ｙ／Ｃ処理、圧縮処理、メディア記録を連続して行う。
【００１３】
具体的には本発明は、画像処理装置として、プログレッシブ出力を行う固体撮像素子と、前記固体撮像素子から出力された画素信号を画像データに変換する信号変換部と、前記信号変換部から出力された画像データをメモリに書き込むとともに、前記メモリから所定のブロック単位で画像データを読み出すメモリコントローラと、前記メモリコントローラによって読み出された前記所定のブロック単位の画像データに対してＹ／Ｃ処理を行うＹ／Ｃ処理部と、前記Ｙ／Ｃ処理部から出力された画像データに対してブロック単位で圧縮符号化を行う圧縮処理部と、前記圧縮処理部から出力された符号化データを記録メディアに書き込む記録部とを備えたものである。
【００１４】
本発明によると、圧縮符号化された符号化データは、メモリに記憶されないで、ブロック単位で直接記録メディアに記録される。このため、従来は必要であった大容量のメモリが不要になるとともに、高速な連写が可能となる。一般に、メモリ容量よりも記録メディアの容量の方がはるかに大きい。したがって、従来はメモリ容量で制限されていた連写枚数の上限が、記録メディアの容量で制限されるようになるため、連写可能な枚数がはるかに多くなる。
【００１５】
また、前記固体撮像素子は、ＭＯＳセンサによって構成されており、かつ、画素信号を、プログレッシブ出力する代わりに、前記所定のブロック単位で出力するものであってもよい。これにより、固体撮像素子がもともとブロック出力を行うため、ブロック変換のためのメモリ容量が不要になり、メモリのさらなる小容量化が可能である。
【００１６】
また、前記Ｙ／Ｃ処理部は、Ｙ／Ｃ処理と併せて、ズーム処理を実行可能に構成されているのが好ましい。これにより、ズーム処理がブロック単位で行うことができるため、ズーム処理のためのメモリ容量が不要になる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１８】
図１は本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。ここでは、本発明に係る画像処理方式の一例として、ＣＣＤやＣＭＯＳセンサー等の固体撮像素子からプログレッシブ出力された画像データを、必要最小限のメモリに蓄えてからブロック読み出しを行い、ブロック単位で、Ｙ／Ｃ信号処理、ズーム処理、圧縮処理、およびメディア記録を連続して行う方式について、説明する。
【００１９】
図１において、１０１はタイミングジェネレータ、１０２はタイミングジェネレータ１０１の出力信号に従って撮像画像の信号を出力する固体撮像素子、１０３はサンプリング回路、１０４はＡ／Ｄ変換回路、１０５はメモリコントローラ、１０８は例えばＳＤＲＡＭなどによって構成されるメモリとしての第１メモリ、１０９はＹ／Ｃ処理と必要に応じてズーム処理を行うＹ／Ｃ処理部、１１０は信号の圧縮／伸長を行う圧縮処理部としてのＪＰＥＧ処理部、１１１はＪＰＥＧブロック読込み制御部、１１２はＣＰＵ、１１３は記録メディア、１１５は記録部としてのＤＭＡ処理部、１１６は間接レジスタアクセス処理部、１１７は第２メモリである。また、メモリコントローラ１０５は、書き込みコントローラ１０６、読み込みコントローラ１０７、および駆動停止制御コントローラ１１４を備えている。サンプリング回路１０３およびＡ／Ｄ変換回路１０４によって、信号変換部が構成されている。
【００２０】
図１の画像処理装置について、画像の撮像から、画像データのメディア記録までの動作を説明する。
【００２１】
固体撮像素子１０２は、例えばＣＣＤやＣＭＯＳセンサーによって構成されており、タイミングジェネレータ１０１の出力信号を受けて、撮像した画像信号を出力する。
【００２２】
図２はＣＣＤ固体撮像素子の構成例である。垂直転送ＣＣＤ２２および水平転送ＣＣＤ２３はタイミングジェネレータ１０１から出力された垂直転送パルスＳＰ１および水平転送パルスＳＰ２によって連続的に駆動されている。図２において、タイミングジェネレータ１０１から出力信号を受けると、画素電荷が各フォトダイオード２１から垂直転送ＣＣＤ２２に移動し、この画素電荷は、タイミングジェネレータ１０１から受けた垂直転送パルスＳＰ１に従って、順次、最終行下にある水平転送ＣＣＤ２３に送られる。水平転送ＣＣＤ２３に送られた水平１行分の画素電荷は、タイミングジェネレータ１０１から受けた水平転送パルスＳＰ２に従って、順次、電荷検出回路２４に送られる。電荷検出回路２４は画素電荷を電位信号に変換し、出力信号ＳＯＵＴとして出力する。水平１行分の画素電荷が水平転送ＣＣＤ２３によって全て電荷検出回路２４に送られ、電位信号に変換されると、続いて、水平転送ＣＣＤ２３に隣接する垂直転送ＣＣＤ２２にある画素電荷が水平転送ＣＣＤ２３に送られる。このような動作を繰り返し、１画面を構成する画素電荷が電位信号に変換されて出力される。
【００２３】
図３はＭＯＳ固体撮像素子の構成例である。図３の構成の場合、タイミングジェネレータ１０１から出力信号を受けると、水平シフトレジスタ３２と垂直シフトレジスタ３３が動作することによって、水平アドレス、垂直アドレスに対応する各フォトダイオード３１が順に選択されて電位信号が読み出され、出力信号ＳＯＵＴが得られる。
【００２４】
固体撮像素子１０２から出力された画素電位信号は、相関二重サンプリング回路１０３によってノイズリダクションされ、さらにＡ／Ｄ変換回路１０４によって量子化されて、画像データとして出力される。この画像データは、メモリコントローラ１０５内の書き込みコントローラ１０６に与えられる。
【００２５】
書き込みコントローラ１０６は、図４（ａ）に示すように、与えられた画像データを第１メモリ１０８に書き込む。画像データの書き込みは、メモリ書込み開始アドレスから開始され、固体撮像素子１０２の画素配置と同様に、水平１行分の書き込みが終了すると、垂直位置を変え、再び水平位置を開始位置に戻し、次の水平１行分の書き込みを行う、といった順に行われる。
【００２６】
図５はＹ／Ｃ処理の最小単位ブロックを概念的に示す図である。ここでは、第１メモリ１０８に書き込まれた画素データ（ベイヤ配列画素信号または補色配列画素信号）を、（Ｍ×Ｎ）画素のブロック単位で読み出すものとする。ＪＰＥＧ符号化を行う最小単位は、（８×８）画素の輝度信号と（８×８）画素の色差信号である。この最小単位の信号を生成するために必要なブロックのサイズ（Ｍ×Ｎ）は、Ｙ／Ｃ処理方式において用いるブロック空間フィルタによって異なる。
また、ズーム処理を行う場合は、ズーム倍率によっても異なる。
【００２７】
第１のメモリ１０８の容量は、ズーム処理を考慮しない場合は、ＹＵＶ４２２出力の場合は（Ｍ＋８）×水平画素数分、ＹＵＶ４２０出力の場合は（Ｍ＋１６）×水平画素数分だけあれば十分である。（Ｍ＋８）または（Ｍ＋１６）ライン分の書き込みが終了すると、第１のメモリ１０８上のアドレスを開始アドレスに戻して、同じ書き込み動作を繰り返し、１画面分の書き込みを完了する。このとき、（Ｍ＋８）または（Ｍ＋１６）ライン前のデータは上書きされてしまうが、これらのデータについては、すでにブロック読み出しが終了しているので、特に不具合は生じない。さらに言えば、メモリの書き込みアドレス、読み出しアドレスを工夫して、ブロック読み出し直後のメモリアドレスから書き込みを開始することによって、さらなるメモリ容量の削減が可能である（特願２００２−１９１４７８号参照）。
【００２８】
このように、読み出しの最小単位ブロックを含むＭライン分の画像データが第１のメモリ１０８に書き込まれると、メモリコントローラ１０５中の読み込みコントローラ１０７は、１画面分の画像データの書き込みを待たないで、図４（ｂ）に示すように、所定のブロック単位としての（Ｍ×Ｎ）画素のブロック単位で、Ｙ／Ｃ処理のために画像データを読み出す。Ｙ／Ｃ処理部１０９は、第１のメモリ１０８から読み出された（Ｍ×Ｎ）画素のデータから輝度信号Ｙと色差信号Ｃｒ・Ｃｂを生成し、さらに必要に応じて、ズーム処理を行う。ＪＰＥＧ処理部１１０は、その内部にＪＰＥＧ処理ブロック単位の輝度信号Ｙと色差信号Ｃｒ・Ｃｂが蓄積されると、符号化処理を開始し、符号化信号を出力する。
【００２９】
ただし、ＪＰＥＧ処理部１１０が符号化処理に要する時間は、輝度信号と色差信号の内容によって異なる。このため、ＪＰＥＧブロック読込み制御部１１１は、ＪＰＥＧ処理ブロック１１０の符号化処理の負荷に応じて、メモリコントローラ１０５に対して読み込み処理を停止するよう停止信号を発生する。読込みコントローラ１０７は停止信号を受けると、第１のメモリ１０８からの読み込み処理の一時停止を行う。Ｙ／Ｃ処理ブロックの読み出し位置は、そのブロックの符号化処理が終了するたびに水平に移動し、水平方向に処理対象のブロックがなくなると、水平方向に戻り垂直方向にずれて次の対象ブロックに移動して、読み込み処理を続ける。この動作は、１画面分の画像データについて処理が終わるまで続けられる。このブロック読み込み動作に連続して、Ｙ／Ｃ処理部１０９およびＪＰＥＧ処理部１１０は処理をブロック単位で連続して行う。
【００３０】
さらに、メモリコントローラ１０５内の駆動停止制御コントローラ１１４は、第１メモリ１０８に対する画像データの書き込みアドレスと、Ｙ／Ｃ処理ブロックの読み出しアドレスとの位置関係に応じて、タイミングジェネレータ１０１に対して固体撮像装置１０２における画素転送動作の停止／駆動を指示したり、Ｙ／Ｃ処理部１０９およびＪＰＥＧ処理部１１０の停止／駆動を制御したりする。
これにより、たとえ連写時であっても、前画面の符号化処理が完了するのを待たずに次の画面の書込み処理を行えるようになるので、高速に画像の符号化を行うことが可能となる。
【００３１】
次に、ブロック単位でＪＰＥＧ圧縮された符号化データが、ＤＭＡ処理部１１５によって記録メディア１１３に書き込まれる。従来方式では、１画面または連写枚数分の符号化データをメモリに書き込んでから記録メディアへの書き込みを行っていたが、本実施形態では、ＪＰＥＧ圧縮された符号化データが出力されると直ちに、ブロック単位で記録メディア１１３への書き込みを開始する。
【００３２】
まず、符号化データの書き込みを開始する前に、ＣＰＵ１１２の命令により、間接レジスタアクセス処理部１１６によって、記録メディア１１３のディレクトリエントリ情報とＦＡＴデータを第２のメモリ１１７に書き込んでおく。ＦＡＴデータとは、１ファイルについてクラスタの使用順にクラスタ番号を並べたものである。使用していないクラスタ番号が、空き領域である。その後、ＣＰＵ１１２がＦＡＴデータを第２のメモリ１１７から読み込み、記録メディア１１３の空き領域を計算する処理を行う。
【００３３】
そして、符号化データの出力タイミングに合わせて、ＣＰＵ１１２が間接レジスタアクセス処理部１１６を用いて、書き込みコマンド発行処理を行う。これにより、ＤＭＡ処理部１１５が記録メディア１１３にブロック単位で符号化データを書き込む。この書き込みの間に、ＣＰＵ１１２は次のＦＡＴデータを第２のメモリ１１７から読み込み、記録メディア１１３の空き領域を計算しておき、次ブロックの符号化データの記録メディア１１３への書き込みが遅延しないようにする。このような動作を繰り返して、符号化データの記録メディア１１３への書き込みを完了する。
【００３４】
次に、サムネイル符号を生成し、ＤＭＡ処理部１１５によって、記録メディア１１３に書き込む。そして、ＣＰＵ１１２からの間接レジスタアドレスまたはＤＭＡ処理によって、ディレクトリエントリ情報を記録メディア１１３に書き込み、必要に応じて、記録メディア１１３のＦＡＴデータの並べ替えを行う。
【００３５】
なお、ＪＰＥＧヘッダ情報の書き込みが、画像データの書き込み前に行うことができない場合は、画像データの書き込みが終了してから、ＪＰＥＧヘッダ情報の書き込みを行い、ＪＰＥＧヘッダ情報のアドレスが画像データの前になるように、後からＦＡＴデータを書き換えればよい。
【００３６】
ＦＡＴデータの並べ替えについて、説明する。ＪＰＥＧでは通常、（ａ）ヘッダ（ディレクトリエントリ、ＦＡＴ）、（ｂ）サムネイル符号、（ｃ）画像符号の順にデータが並ぶので、通常の書き込み順では、ＦＡＴを（ａ）→（ｂ）→（ｃ）とすればよいが、（ｃ）画像符号、（ｂ）サムネイル符号、（ａ）ヘッダの順にデータが書き込まれる場合、データ書込の物理アドレスはそのままで、ＦＡＴを（ｃ）→（ｂ）→（ａ）の順に変更すればよい。
【００３７】
本実施形態では、まず、画像符号データの書き込みをブロック単位で１画面分優先して行う。そして、処理に余裕があるとき、後から
縮小ズーム→サムネイル符号生成→サムネイル符号書き込み→ヘッダ書き込みを行う。ＦＡＴを書き換えない従来方式では、連写間隔は（ａ）＋（ｂ）＋（ｃ）の時間に律束される。これに対して本実施形態では、（ｃ）のみの時間に律束されるに過ぎない。したがって、記録メディア１１３への高速連写書き込みが可能になる。
【００３８】
なお、固体撮像素子１０２がＭＯＳセンサによって構成されている場合は、１画面から任意の切り出し画像を得ることができる。このことを利用して、ＭＯＳ固体撮像素子から、Ｙ／Ｃ処理ブロック単位のブロック読み出しを行えば、第１メモリ１０８でのブロック変換が不要となるため、メモリのさらなる小容量化が実現できる。
【００３９】
【発明の効果】
以上のように本発明によると、圧縮符号化された符号化データは、メモリに記憶されないで、ブロック単位で直接記録メディアに記録される。このため、従来は必要であった大容量のメモリが不要になるとともに、高速な連写が可能となる。また、従来はメモリ容量で制限されていた連写枚数の上限が、記録メディアの容量で制限されるようになるため、連写可能な枚数がはるかに多くなる。
【００４０】
従来では、大容量のメモリとして外付けＤＲＡＭ等が必要であったが、本発明では、必要最小限のメモリで構成できるため、メモリを含めてＬＳＩのワンチップ化が可能である。その効果として、低コスト化、低消費電力化、省スペース化が実現され、さらに、メモリ内蔵によりバス幅が広く得られるという特徴を生かして高速化が可能となる。これらの効果は、デジタルスチルカメラやカメラ付き携帯電話などのシステムにおいて、メリットが大きい。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】ＣＣＤで構成された固体撮像素子の構成例である。
【図３】ＭＯＳで構成された固体撮像素子の構成例である。
【図４】図１におけるメモリの書き込みおよび読み出し動作を示す図である。
【図５】Ｙ／Ｃ読み込み処理の最小単位ブロックを示す図である。
【図６】従来例の構成を示すブロック図である。
【図７】図６の構成におけるメモリのアクセス動作を示す図である。
【図８】従来例の構成を示すブロック図である。
【図９】図８の構成におけるメモリのアクセス動作を示す図である。
【符号の説明】
１０２固体撮像素子
１０３サンプリング回路
１０４Ａ／Ｄ変換回路
１０５メモリコントローラ
１０５書き込みコントローラ
１０６読み込みコントローラ
１０８第１のメモリ（メモリ）
１０９Ｙ／Ｃ処理部
１１０ＪＰＥＧ処理部（圧縮処理部）
１１５ＤＭＡ処理部（記録部）

Claims

プログレッシブ出力を行う固体撮像素子と、
前記固体撮像素子から出力された画素信号を、画像データに変換する信号変換部と、
前記信号変換部から出力された画像データを、メモリに書き込むとともに、前記メモリから、所定のブロック単位で画像データを読み出すメモリコントローラと、
前記メモリコントローラによって読み出された前記所定のブロック単位の画像データに対して、Ｙ／Ｃ処理を行うＹ／Ｃ処理部と、
前記Ｙ／Ｃ処理部から出力された画像データに対して、ブロック単位で、圧縮符号化を行う圧縮処理部と、
前記圧縮処理部から出力された符号化データを、記録メディアに書き込む記録部とを備えたことを特徴とする画像処理装置。
請求項１において、
前記固体撮像素子は、ＭＯＳセンサによって構成されており、かつ、画素信号を、プログレッシブ出力する代わりに、前記所定のブロック単位で出力するものであることを特徴とする画像処理装置。
請求項１において、
前記Ｙ／Ｃ処理部は、Ｙ／Ｃ処理と併せて、ズーム処理を実行可能に構成されていることを特徴とする画像処理装置。