JP4704525B2 - 画像信号処理装置 - Google Patents
画像信号処理装置 Download PDFInfo
- Publication number
- JP4704525B2 JP4704525B2 JP04915898A JP4915898A JP4704525B2 JP 4704525 B2 JP4704525 B2 JP 4704525B2 JP 04915898 A JP04915898 A JP 04915898A JP 4915898 A JP4915898 A JP 4915898A JP 4704525 B2 JP4704525 B2 JP 4704525B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- signal processing
- image
- image data
- bus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像素子等により撮像された画像信号を処理して動画像出力および静止画像出力を行なう画像信号処理装置に係り、たとえば、ムービーモードを有するディジタルカメラに適用して好適な画像信号処理装置に関するものである。
【０００２】
【従来の技術】
近年、被写界を撮像素子によって撮像し、撮像された動画像や静止画像信号をを処理して、メモリカードや磁気テープなどの情報記録媒体に記録するディジタルカメラが知られている。このようなカメラでは、撮像素子の画素数がより多いものが要求されてきており、たとえば、表示装置の画面の解像度にほぼ適する35万画素クラスのCCD 撮像素子を用いたものから、特に最近では、80万画素を超える高画素の撮像素子を有するカメラも供給されて、その高精細画像を活用するユーザに支持されている。
【０００３】
このような高解像度の画像データを処理するカメラでは、搭載されているCPU 等の制御回路により、データ処理を行なって、たとえば画像データを圧縮符号化したり、撮像素子から出力される画像信号を処理して、その画像を順次表示させていくことにより、その表示をファインダ代わりに使用することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のカメラでは、たとえば、80万画素〜100 万画素以上の多画素撮像素子を使用する場合、その撮像データを、たとえば30フレーム／秒のサイクルにてフレームメモリに格納させ、さらに、格納された画像データを読み出して、その動画像をコマ落ちすることなくリアルタイムにて表示させることが困難であった。
【０００５】
また、撮像処理や記録処理を制御する制御回路は、マイクロコンピュータ等の制御システムにて構成されるが、そのデータバス幅は処理量に応じて増大する傾向にある。しかし、撮像出力された画像データは、たとえば８ビット〜10ビット程度のディジタルデータに変換されて、自然画等をフルカラーにて用途に応じて表現することが可能であるので、たとえば、16ビットバスのCPU を使用する場合にその能力を充分に活用することができず無駄が生じてしまうという問題があった。
【０００６】
本発明はこのような従来技術の欠点を解消し、制御系の能力を無駄なく活用し、撮像素子の画像信号出力を処理して出力することのできる画像信号処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、被写界を撮像する撮像手段によって得られた画像信号を処理して出力する画像信号処理装置において、この装置は、撮像手段の出力に同期する第１の時間軸にて、画像信号の各画素をそれぞれ所定のビット長の画像データに変換して信号処理する撮像信号処理手段と、撮像信号処理手段の出力に接続され、信号処理された画像データを転送するバス手段と、バス手段に接続され、撮像信号処理手段から出力される画像データを蓄積する蓄積手段と、バス手段に接続され、蓄積手段から読み出される画像データを処理して出力する出力手段であって、処理された画像データを出力側に同期する第２の時間軸にて出力する出力手段と、バス手段に接続され、この装置の各部を制御する制御手段とを含み、バス手段は、制御手段に応じたバスレートにて画像データを転送し、撮像信号処理手段は、所定のビット長の画像データを、バス手段におけるバス幅に対応するように変換してバス手段に前記バスレートにて出力し、出力手段は、バス手段を介して転送される画像データを、所定のビット長の画像データにそれぞれ復元し、画像データを出力するための信号形式に変換して順次出力することを特徴とする。
【０００８】
また、本発明は上述の課題を解決するために、被写界を撮像する撮像手段によって得られた画像信号を処理して出力する画像信号処理装置において、この装置は、撮像手段の出力に同期して、画像信号の各画素をそれぞれ所定のビット長の画像データに変換して信号処理する撮像信号処理手段と、撮像信号処理手段の出力に接続され、信号処理された画像データを転送するバス手段と、バス手段に接続され、撮像信号処理手段から出力される画像データを蓄積する蓄積手段と、バス手段に接続され、蓄積手段から読み出される画像データを処理して出力する出力手段であって、処理された画像データを出力側に同期して出力する出力手段と、バス手段に接続され、この装置の各部を制御する制御手段とを含み、撮像信号処理手段は、所定のビット長の画像データを、制御手段に応じたバスレートにてバス手段に出力し、出力手段は、蓄積手段に蓄積される画像データを処理して出力することを特徴とする。
【０００９】
【発明の実施の形態】
次に添付図面を参照して本発明による画像信号処理装置の実施例を詳細に説明する。図１を参照すると本実施例におけるディジタル撮像記録装置10が示されている。この装置10は、高画素密度の撮像素子(CCD) 12にて撮像された画像信号を実時間にて処理して画像バス14上の画像メモリ16に書き込み、画像メモリ16に格納された画像信号を画像バス14に読み出して、実時間処理にて再生することのできるムービー機能を有するカメラであって、所望の静止画像を圧縮符号化した符号データを、記録再生処理部18に着脱可能に接続されるメモリカード等の情報記録媒体20に記録するディジタルカメラである。なお、以下の説明において本発明に直接関係のない部分は、図示およびその説明を省略し、また、信号の参照符号はその現われる接続線の参照番号で表わす。
【００１０】
被写界を撮像する撮像素子(CCD) 10は、約130 万画素〜150 万画素程度の高画素密度の有効画素を有するCCD(Charge Coupled Device)等の固体撮像素子が有利に適用され、その撮像面には３原色カラーフィルタが配設され、撮像素子10は、フォトダイオードにて光電変換したカラー画素信号を30フレーム／秒の速度にてＲＧＢ点順次に出力する２次元イメージセンサである。この撮像素子12は、撮像タイミング制御部22から供給されるリセットパルス、電荷転送パルスH1,H2,V1,V2 および同期信号等の駆動信号24によって駆動され、所定の電荷蓄積時間に蓄積した電荷を水平および垂直方向に転送して読み出す。この画素信号は、水平および垂直方向にそれぞれ1280×1024画素による１画像を順次形成し、画素信号を相関二重サンプリングして各種ノイズを低減するCDS 回路（図示せず）を介して出力26に出力される。
【００１１】
撮像タイミング制御部22は、基準クロックに基づき、各種タイミング信号を生成し、各種タイミングに応じて撮像素子を駆動する駆動信号24を生成する。また、タイミング制御部22は、生成したタイミング信号のうち水平転送パルスH1と水平同期信号HDと垂直同期信号VDとを撮像信号処理部28に供給する。このように撮像タイミング処理部22は、撮像処理系における第１の時間軸を規定して撮像系の各部を駆動する。
【００１２】
撮像素子12の出力26に接続された撮像信号処理部28は、入力される画素信号を処理して、処理された画像データを転送ビット幅の異なる画像バス14に実時間にて出力する処理部である。撮像信号処理部28の詳細構成を図２に示す。撮像信号処理部28は、入力26に入力される画素信号を、アナログおよびディジタル処理して出力する撮像信号処理回路200 を有する。撮像信号処理回路200 は、特に図示はしないが、画素信号を各色成分に応じたレベルに増幅するゲインコントロールアンプと、画素信号の基準レベルを調節するクランプ回路と、白圧縮およびガンマ補正を施す補正回路とを有するプロセス回路を含み、各回路は、撮像タイミング制御部22より供給されるタイミング信号に従って動作する。さらに撮像信号処理回路200 は、プロセス回路にて処理された画像信号を各色成分(R,G,B) ごとに、10ビットのディジタル画像データに変換して出力するアナログ・ディジタル変換回路を有し、この出力は、撮像信号処理回路200 の出力204 を構成する。
【００１３】
撮像信号処理回路200 の出力204 は、間引き回路206 に接続され、間引き回路206 は、パッキング回路210 を介して接続される撮像バッファ214 に画像データを格納する際、又は撮像バッファ214 からパッキング処理されていない画像データを読み出す際に、所定の画素データを間引く処理を行なう回路である。本実施例における間引き回路206 は、間引き処理回路216 と間引きアドレス回路218 とを有し、間引きアドレス回路218 はさらに、分周器220 とアドレスカウンタ222 とを含み、撮像画像を実時間にて出力および表示するムービーモードが本撮像記録装置10に設定されている場合に間引き処理を行なう。とくに高画素密度の撮像素子を用いた際に、画像メモリ16（図１）に格納する画素数が多く、撮像信号処理部28から出力されるデータの転送速度が画像バス14のバスレートを上回る場合は間引き回路206 によって間引き処理を行なう。
【００１４】
間引きアドレス回路218 の分周器220 は、１ラインの画素数をａ画素からｂ画素に間引きする間引き率b/a (a>b) に従って転送パルスH1を分周する回路である。本実施例では入力画素タイミングを間引き率b/a に応じて分周し、アドレスカウンタ222 は、分周器220 の出力に応じたアドレスを計数する。間引き処理回路216 は、１ラインの画素数をａ画素からｂ画素に間引き信号処理を行なって、処理したデータを出力208 に接続されたパッキング回路210 に出力する。間引き信号処理としては、単純間引きや加重平均間引き等が用いられ、たとえば水平方向に1280画素の画像データを640 画素に間引く。また、垂直方向の画像データについても間引き率b/a に応じて垂直方向の1024ラインをたとえば640 ラインに間引く。本撮像記録装置10が画像記録モードに設定された場合には、間引き処理を行なわずに、入力画像データをそのままスルーで水平方向に1280画素のデータを1024ライン分順次出力する。なお、画像記録モードであっても、間引き回路206 は、入力画像データを間引いて、画像サイズが縮小された画像を圧縮／伸張処理部34にて圧縮符号化するようにしてもよい。
【００１５】
間引き回路206 に接続されたパッキング回路210 は、入力される10ビットディジタル画像データを16ビットのバス幅に対応して出力するバス幅変換回路である。パッキング回路210 は、入力バス幅ｍを出力バス幅ｎに変換して、本実施例では撮像信号処理回路200 にて処理される10ビットデータを、画像バス14のバス幅と等しい16ビット幅に詰め込む回路である。
【００１６】
パッキング回路210 は、図３に示すように、転送パルスH1に同期して入力される画像データの画素タイミングにて画像データを10ビットパラレルに一時格納する第１入力レジスタ300 と、第１入力レジスタ300 の出力を一時格納する第２入力レジスタ302 と、第２入力レジスタ302 の出力を一時格納する第３の入力レジスタ304 とを有し、これら第１〜第３入力レジスタの出力は、セレクタ回路306 の入力I1〜I10,入力I11 〜I20,入力I21 〜I30 にそれぞれ接続されている。
【００１７】
セレクタ回路306 は、パッキングカウンタ308 から供給されるセレクト信号310 に同期して各入力I1〜I30 を、そのバス出力O1〜O16 のいずれかに接続する選択回路である。本実施例におけるセレクタ回路306 は、出力O1〜O16 のそれぞれごとに、入力I1〜I30 のいずれかを選択するように構成されている。具体的には、セレクタ回路306 は、たとえば図４に示すように、パッキングカウンタ308 の計数値に応じた値のセレクト信号310 に従って、その入力 Iと出力 Oとを接続する。
【００１８】
パッキングカウンタ308 は、転送パルスH1に応じた画像データの入力タイミングに同期して、その８サイクルを巡回的に計数する計数回路である。カウンタ308 は、その計数値を３ビットのセレクト信号310 としてセレクタ回路306 に供給する。また、パッキングカウンタ308 は、1,3,4,6,7 の計数値が得られたタイミングにて有意のラッチイネーブル信号312 をラッチ回路314 に供給する。
【００１９】
図４に示す例を簡潔に説明すると、セレクタ回路306 は、セレクト信号310 の示すパッキングカウンタの値が０、２および５である場合には入出力を接続せず、たとえばカウンタ値が１のときには、16ビット分の入力I11 〜I26 をそれぞれ16ビット出力O1〜O16 に接続する。このとき出力されるデータは、第２入力レジスタ302 の保持データすべてと、セレクタ入力I21 〜I26 に対応する第１レジスタ300 の６ビット分の保持データとなっている。次の画像データが第１レジスタ300 に入力されるとともに各レジスタの記憶データがそれぞれ次段の回路に転送され、パッキングカウンタ308 の値が１から２に繰り上がると、このタイミングでセレクタ回路306 の選択動作は停止する。次いで、パッキングカウンタ308 の値が３に繰り上がって各レジスタの保持データが次段の回路にそれぞれ転送されると、セレクタ回路306 は、16ビット分の入力I7〜I22 をそれぞれ16ビット出力O1〜O16 に接続する。以降同様にして、カウンタ値が４、６および７のときにセレクタ回路306 による入力選択が行なわれて10ビット幅のデータが16ビット幅のデータとしてセレクタ回路306 の出力O1〜O16 から出力される。
【００２０】
このようにパッキング回路210 は、入力ｍビットと出力ｎビットとの最小公倍数を各々ｎ、ｍで除算した数で周期化した入力選択を行なう。つまり入力が10ビットで出力が16ビットである本実施例の場合、パッキング時にはその最小公倍数80を16で除算した値にしたがって、５回の入力選択をセレクタ回路306 にて周期的に繰り返す動作を行なう。
【００２１】
図３に戻って、セレクタ回路306 の16ビット出力O1〜O16 に接続されたラッチ回路314 は、パッキングカウンタ308 より有意のラッチイネーブル信号が供給されると入力データをラッチし、それ以外では、ホールド状態となるフリップフロップにて構成される。これにより、本実施例では、パッキングカウンタ308 の計数値が1,3,4,6,7 である場合に、セレクタ回路306 の出力O1〜O16 がラッチされて、ラッチ回路314 の出力316 に出力される。ラッチ回路314 の出力212 は、図２に示す撮像バッファ214 に接続されている。
【００２２】
このように本実施例では、入力バス幅10ビットを画像バス幅16ビットに変換するように構成されているが、これに限らず、たとえば、撮像入力を処理する撮像信号処理回路200 は、画像データを８〜12ビット程度で処理する処理回路でもよく、また、制御部30および画像メモリ16等が接続される画像バス14のバス幅は、その制御部30の構成によりたとえば8,32または64ビットであってもよい。
【００２３】
撮像バッファ214 は、パッキング回路210 から出力された画像データの各ビットを順次格納して撮像素子12にて撮像され処理された実時間信号を一旦バッファリングし、その出力側のバスサイクルに合わせて高速に出力する16ビットダブルバッファである。本実施例ではパッキング回路210 および撮像バッファ214 により10ビットの入力を制御部30側のバス幅16ビットに適合させ、さらに間引き回路206 にて画素間引きされた画像データを撮像バッファ214 にビット詰めして格納する。撮像バッファ214 は、１水平走査期間分の画像データを格納する記憶領域を２面有し、撮像信号処理部28内で処理される８ワード10ビット分の画像データを、５ワード16ビットとして撮像バッファの各領域交互に格納する。撮像バッファ214 の出力14は撮像信号処理回路28の出力を構成し、制御部(CPU) 30、画像メモリ16、周辺制御部32、圧縮／伸張処理部34および記録／再生処理部18等が接続されている16ビット画像バス14に接続されている。撮像信号処理回路28からの出力画像データは、制御部30および周辺制御部32のDMA 転送制御およびメモリ制御機能によって、画像メモリ16に蓄積される。
【００２４】
制御部(CPU) 30は、本撮像記録装置10の各部を制御する処理プロセッサであり、本実施例では、RISC (Reduced Instruction Set Computer ;縮小命令セット・コンピュータ）型マイクロプロセッサが有利に適用される。制御部30は、パイプライン処理により、演算や転送などの命令（インストラクション）を、命令フェッチ、命令デコード、命令実行、演算結果出力などのように複数のステージを経て並列処理する。本実施例における制御部30は、撮像時における自動露出調整および自動焦点調節等の撮像制御を動的に制御するとともに、画像メモリ16に対するデータの書込みおよび読み出しを制御する。また、制御部30は、圧縮伸張処理部34および記録再生処理部18における処理動作を統括制御する。さらに、制御部30は、画像データの転送制御を周辺制御部32に受け渡して、周辺制御部32は、撮像信号処理部28から画像バス14に出力される画像データを、再生信号処理部40および通信信号処理部42、さらには圧縮／伸張処理部34および記録／再生処理部18にDMA 転送するDMA コントローラおよび割込みコントローラを有し、これにより制御部30のバス占有時間が短縮化される。
【００２５】
また、制御部30は、撮像している動画像をモニタするムービーモードと、撮像した静止画像を情報記録媒体20に記録する記録モードとの動作モードを設定して各部を制御する機能を有している。本実施例におけるムービーモードはさらに、その撮像動画像を表示装置50に表示する機能と、動画像データを通信転送する機能とを含む。本実施例におけるムービーモードでは、動画像の出力先の処理タイミングに応じた実時間にて画像再生が可能なように、複数コマの画像データをコマ落ちすることなく順次処理して出力する。これに対し記録モードでは、本実施例では処理画像データを非実時間にて圧縮符号化する。
【００２６】
圧縮／伸張処理部34は、画像メモリ16から読み出された画像データを、その出力先のタイミングにとらわれない非実時間にて圧縮符号化処理する処理部である。圧縮／伸張処理部34は、処理された符号化データを記録／再生処理部18または通信信号処理部42に供給する。また、圧縮／伸張処理部34は、記録／再生処理部18から供給される符号化データを伸張して、伸張された画像データを再生信号処理部40および通信信号処理部42に供給する。圧縮／伸張処理部34は、たとえば２次元DCT 方式にて画像データを圧縮しこれにハフマン符号を割り当てて、所定長以下の符号化データを生成する。
【００２７】
記録／再生処理部18は、着脱可能に接続されるメモリカードや光磁気ディスク等の情報記録媒体20に対し、圧縮／符号化処理部34にて処理された符号化データを所定の記録形式にて記録し、また、情報記録媒体20に記録されたデータを読み出して画像バス14に出力する処理部である。
【００２８】
16ビット画像バス14にはさらに、再生信号処理部40と通信信号処理部42とが接続されている。これら処理部40,42 は、16ビットにてDMA 転送される画像データを入力し、それぞれ10ビットの内部処理にて、その画像データを再生および処理して出力する。
【００２９】
具体的には、再生信号処理部40は、図５に示すように、再生バッファ500 と、アンパッキング回路502 と、補間回路504 と、再生信号処理回路506 とを有し、再生バッファ500 は、画像メモリ16に蓄えられた16ビット画像データを、30フレーム／秒の速度にて入力して一旦バッファリングし、再生タイミング制御部54から供給される同期信号に応動して出力する一時記憶回路である。再生バッファ500 の出力はアンパッキング回路502 に接続されている。
【００３０】
アンパッキング回路502 は、再生バッファ500 に画像データを格納する際、又は再生バッファ500 に蓄積された画像データを読み出す際に、バス幅をｎからｍに変換するバス幅変換回路である。本実施例におけるアンパッキング回路502 は、たとえば図３に示したパッキング回路210 とは逆に、16ビット入力を元の10ビット画像データに復元し、補間回路504 に出力する。このアンパッキング回路502 の内部構成を図６に示すと、アンパッキング回路502 は、水平同期信号HDに同期して生成されるラッチイネーブル信号600 に応動して入力される画像データをビットパラレルに一時格納する第１入力レジスタ602 と、第１入力レジスタ602 の出力を一時格納する第２入力レジスタ604 とを有し、第１および第２入力レジスタ602,604 の出力は、セレクタ回路606 の入力I1〜I16 、入力I17 〜I32 にそれぞれ接続されている。
【００３１】
セレクタ回路606 は、アンパッキングカウンタ608 から供給されるセレクト信号610 に同期して各入力I1〜I32 を、その出力O1〜O10 のいずれかに接続する選択回路である。本実施例におけるセレクタ回路606 は、出力O1〜O10 のそれぞれごとに入力I1〜I32 のいずれかを選択するように構成されている。具体的には、セレクタ回路506 は、図７に示すように、アンパッキングカウンタ608 の計数値を示すセレクト信号610 に従ってその入力 Iと出力 Oとを接続する。
【００３２】
アンパッキングカウンタ608 は、再生タイミング制御部54から供給される水平同期信号HDに同期して、入力データの８サイクルを巡回的に計数する計数回路であり、その計数値を３ビットのセレクト信号610 としてセレクタ回路606 に供給する。また、アンパッキングカウンタ608 は、0,1,3,4,6 の計数値が得られたタイミングにてラッチイネーブル信号600 を有意化して第１および第２レジスタ602,604 に供給する。第１および第２レジスタ602,604 はそれ以外のタイミング、つまりラッチイネーブル信号600 が出力されない計数値2,5,6 のタイミングでは、その入力に現われるデータを取り込まず次段の回路へのデータシフトも停止する。
【００３３】
図７に示す例を簡潔に説明すると、セレクタ回路606 は、有意のラッチイネーブル信号が各レジスタに供給されて、セレクト信号610 の示す値が０のときには、入力I17 〜I26 を選択して第１レジスタ602 の出力をそれぞれ10ビット出力O1〜O10 に接続する。次のデータが第１レジスタ602 に入力されるとともに各レジスタの記憶データがそれぞれ次段の回路にシフトされるとカウンタ値が０から１に繰り上がり、セレクタ回路606 は、入力I11 〜I20 を選択してそれぞれ出力O1〜O10 に接続する。ついで、カウンタ値が２に繰り上がって、ラッチイネーブル信号600 の出力が停止されて各レジスタの記憶データを次段の回路にシフトせず、セレクタ回路606 は、入力I21 〜I30 を選択してそれぞれ出力O1〜O10 に接続する。
【００３４】
以降同様にして、アンパッキングカウンタ608 のカウンタ値が３、４および６のときには、有意のラッチイネーブル信号600 が出力され、各レジスタの記憶データをそれぞれ次段の回路にシフトさせる。この場合、セレクタ回路606 では、カウンタ値３、４および６のそれぞれに対応して、入力I15 〜I24 、入力I9〜I18 および入力I13 〜I22 をそれぞれ選択して出力O1〜O10 に接続する。また、カウンタ値が５および７のときには、ラッチイネーブル信号600 の出力が停止され、セレクタ回路606 は、それぞれ入力I19 〜I28 および入力I23 〜I32 を選択する。このようにして、16ビット幅の画像データが、再生信号処理部40における処理単位である10ビット幅の画像データに復元されて、セレクタ回路606 の出力O1〜O10 からビットパラレルに出力される。このようにアンパッキング回路502 は、入力ｎビットと出力ｍビットとの最小公倍数を各々ｍ、ｎで除算した数で周期化した入力選択を行なう。本実施例では、入力が16ビット、出力が10ビットであるので、アンパッキング時には、その最小公倍数80を10で除算した値にしたがって、８回の入力選択を、セレクタ回路606 にて周期的に繰り返す動作を行なう。
【００３５】
セレクタ回路606 の出力に接続されたラッチ回路612 は、その出力O1〜O10 をラッチして、記憶保持した画像データを水平同期信号HDに同期して出力する一時記憶回路である。ラッチ回路612 の出力614 はアンパッキング回路502 の出力を構成し、補間回路504 に接続されている。
【００３６】
補間回路504 は、再生バッファ500 にて一時記憶された画像データを画素補間する処理回路である。本実施例における補間回路504 は、分周器510 およびアドレスカウンタ512 を有する補間アドレス回路514 と、補間処理回路516 とを含み、再生バッファ500 から画像データを読み出す際、又はパッキング処理されていない画像データを再生バッファ500 に格納する際に補間処理を行なう。
【００３７】
分周器510 はたとえば、再生タイミング制御部54から供給される水平同期信号HDをb/a (a>b) に分周し、アドレスカウンタ512 は、分周器510 の出力に応じてアドレスを計数する。補間処理回路516 は、１ラインの画素数をｂ画素からａ画素に変換する際、たとえば前置補間および加重平均補間等により画素補間する信号処理を行なって、処理したデータを再生信号処理回路506 に出力する。補間処理回路516 は、水平方向1280画素の画像データが640 画素に間引きされて格納されたデータが画像メモリ16から読み出され、これが再生バッファ500 に蓄積される画像データを元の1280画素に補間処理して出力する。また、画像の垂直方向についても512 ラインから1024ラインの画像データに補間処理して出力する。このように高画素密度の撮像素子10を用いた多画素システムが構成される場合で、さらに再生側の表示装置等のハードウェアが多画素対応している場合は、補間回路504 にてｂ画素からａ画素に画像データが補間信号処理されて出力される。また、再生側の表示装置等が、たとえばNTSC方式に対応する場合には、この補間処理を行なわずに画像データを出力することもできる。
【００３８】
補間処理回路516 の出力518 は補間回路504 の出力を構成し、図５に示す再生信号処理回路506 に接続されている。
【００３９】
再生信号処理回路506 は、その出力520 に接続される液晶モニタ装置50（図１）や、出力520 に接続された出力端子52にビデオケーブル等を介して接続されるテレビモニタ装置（図示せず）などの表示装置の信号入力形式に応じた再生信号を生成する処理回路である。
【００４０】
再生信号処理回路506 は、バス幅および速度変換された画像データの表わす画像を実時間にて連続表示させる動画像データを再生する出力回路である。再生信号処理回路506 は、アンパッキング回路502 にて復元された10ビットディジタルデータをアナログ信号に変換し、そのアナログ信号レベルを調節する。再生信号処理回路506 は、変換および調節された画像信号に同期信号を付加し、画像信号をその出力先に応じた形式の映像信号にエンコードする。再生信号処理回路506 は、再生タイミング処理部54より供給されるタイミング信号522 に同期してこれら信号処理を実行する。再生信号処理回路506 の出力に接続される表示装置50には、撮像されている動画像が実時間にて表示される。この表示装置50は、たとえばディジタル映像入力機能を有するものでもよく、その場合、再生信号処理回路506 は、ディジタルデータに同期データ等を付加したディジタル映像信号を生成するように構成される。
【００４１】
再生タイミング制御部54は、基準クロックに基づき、各種タイミング信号を生成し、各種タイミングに応じて再生信号処理部40を駆動する駆動信号を生成する。また、再生タイミング制御部54は、生成したタイミング信号のうち水平同期信号HDおよび垂直同期信号VDを補間回路504 に供給する。このように再生タイミング制御54は、画像再生系における第２の時間軸を規定して再生信号処理回路506 の各部を駆動する。
【００４２】
図８に示す通信信号処理部42は、通信バッファ800 と、アンパッキング回路802 と、補間回路804 と、通信信号処理部806 とを含み、画像バス14に現われる画像データを実時間にて処理して出力する処理部である。これら通信バッファ800 、アンパッキング回路802 および補間回路804 は、図５に示した再生バッファ500 、アンパッキング回路502 および補間回路504 とそれぞれ同様の構成でよく、これら構成により、画像バス14に現われる画像データをバス幅変換および速度変換して通信信号処理回路806 に供給する。
【００４３】
通信信号処理回路806 は、画像データを実時間にて処理して接続先の装置に転送するインタフェースであり、通信タイミング処理部56より供給されるタイミング信号を基準として、入力データに同期データおよび誤り訂正符号を付加してパケット化し、出力する出力回路である。本実施例における通信信号処理回路806 は、IEEE1394規格に準拠し、画像データの転送速度を保証して転送する同期転送(Isochronous) モードにて、画像データを30フレーム／秒のリアルタイムに伝送する機能を有している。通信信号処理回路の出力808 は、たとえば、家庭内LAN 規格のCEBus や,USB (Universal Serial Bus) にて構成され、パーソナルコンピュータ等に接続されてもよい。処理されたパケットデータをディジタル伝送路を介して伝送する場合には、通信信号処理回路の出力808 に有線もしくは無線によるディジタル通信装置を接続し、撮像信号に実時間で対応するフルフレームの動画像表示を伝送先の受信装置等に行なわせる。また、通信信号処理回路806 は、圧縮／伸張処理部34にて符号化されたデータや、符号化されていない生画像データを出力することもできる。通信タイミング処理部56は、通信信号処理部42にて補間処理、アンパッキングおよびパケット化する際に必要なパケット同期信号等のタイミング信号を生成する処理部である。本実施例における通信タイミング処理部56は、伝送路および伝送方式に応じたタイミング信号58を生成して通信信号処理回路42に供給する。
【００４４】
以上のような構成により、撮像信号処理部にて10ビットディジタル処理された画像データが16ビット画像バス14に詰め込まれて制御部30および周辺制御部32の制御により画像メモリ16に格納される。このとき、画像バス14には未使用のビットが発生せず、画像バス14の転送レートを最大限に利用してデータ転送時間を短縮することができる。制御部30は、処理負担が低減されてその空き時間を他の処理・制御を行なうことができる。また、制御部30に適用させるCPU は、処理負担が低減されるため、その分やや処理能力の低いチップを採用することができ、また、バス幅を最大限に利用することで、無駄な処理サイクルの実行を防止し、その処理動作時において電力消費が低減される。また、画像メモリ16に一旦格納された画像データが画像バス14を介して、それぞれ出力側のタイミングにて動作する再生信号処理部40や通信信号処理部42に供給する場合、画像データが各処理部40,42 の処理ビット幅に変換され、さらに各バッファを介して出力されるので、再生側の実時間にてコマ落ちすることなく、その動画像を実時間にて出力することができる。また、上記実施例のように多画素システムを構築した場合であっても、撮像信号処理部28に配設された間引き回路206 によって、画素間引きを行ない、さらに画像バス14の転送バスレートを制御部30に適合させることで、実時間に対応した動画像を表示装置50に表示させることができる。
【００４５】
このように、処理時間軸がそれぞれ異なる撮像処理系と、画像再生および画像出力系とを、パッキング処理およびアンパッキング処理と、各系のバッファリング処理とにより同期させてリアルタイムの動画像出力を行なうことができる。この結果、実時間にて再生されるスムーズな動画像表示を制御部30および画像バス14の処理能力を充分に活用して行なうことができる。
【００４６】
また、実時間による動画像処理を行なう必要がない、高解像度の静止画像データを圧縮符号化して情報記録媒体20に記録する場合においても、画像バス14のバス幅が有効に利用されて画像メモリ16に画像データを転送することができ、制御部20等の処理効率の向上が可能となる。
【００４７】
また、このような構成に加えて、撮像信号処理部28にて動画像入力を設定に応じた一定期間ごと間欠的にサンプリングして、さらに間引き回路206 にて、たとえば1/6 サイズの縮小画像を作成して画像メモリ16に記憶させてもよい。この場合、画像メモリ16の所定の記憶領域を９ブロックに分割し、縮小画像の格納先のブロックを、たとえば図９に示すように、ブロックＡ〜Ｉ順に変更し、各縮小画像を各ブロックに順次その位置を変えて記憶する。このようにして画像メモリ16に更新的に記憶された複数の縮小画像は１画面を形成し、再生タイミング処理部54にて規定される再生タイミングに同期して順次再生信号処理部40に読み出され、同図に示すようなマルチ画面を順次更新し、表示装置50の表示画面90に表示させることができる。この実施例では画像バス14を流れるデータ量はさらに低減されるので制御部30等における処理負担が減少し、制御部30によってこのような特殊処理や撮像・記録制御等の他の処理を負担なく制御することができる。
【００４８】
なお、上述したように、パッキング回路210 内のセレクタ回路306 は、入力I7〜I30 のそれぞれを出力O1〜O16 のいずれかに接続する動作を行なうので、第３レジスタ304 を４ビット幅のレジスタ構成とし、セレクタ回路306 の入力を最小限の24ビット構成としてよい。また、アンパッキング回路502 内のセレクタ回路606 は、入力I9〜I32 のそれぞれを出力O1〜O10 のいずれかに接続する動作を行なうので、第２レジスタ604 を８ビット構成として、セレクタ回路606 の入力を最小限の24ビット構成としてもよい。
【００４９】
【発明の効果】
このように本発明によれば、前記撮像手段の出力に同期する第１の時間軸にて撮像信号処理手段が駆動され、処理した画像データをバス手段のバス幅に合わせて変換して転送し、蓄積手段はこの画像データを蓄積し、出力手段では、蓄積された画像データを第２の時間軸にて処理して出力するので、再生系と出力系とを同期した状態の実時間にて画像出力を行なうことができる。この場合、バス手段のバス幅に合わせた画像データ変換と復元を行なっているのでデータ転送効率が向上し、その分バス手段を用いる制御手段の負担が減少する。
【図面の簡単な説明】
【図１】本発明が適用された実施例の撮像記録装置のブロック構成を示す図である。
【図２】図１に示した実施例における撮像信号処理部の内部構成を示すブロック図である。
【図３】図２に示したパッキング回路の内部構成を示すブロック図である。
【図４】図２に示したパッキングカウンタの値とセレクタ回路の入出力との対応を示す図である。
【図５】図１に示した再生信号処理部の内部構成を示すブロック図である。
【図６】図５に示したアンパッキング回路の内部構成を示すブロック図である。
【図７】図６に示したアンパッキングカウンタの値とセレクタ回路の入出力との対応を示す図である。
【図８】図１に示した通信信号処理部の内部構成を示すブロック図である。
【図９】マルチ画面再生を示す図である。
【符号の説明】
10 撮像記録装置
12 撮像素子 (CCD)
14 画像バス
16 画像メモリ
18 記録／再生処理部
20 情報記録媒体
22 撮像タイミング制御部
28 撮像信号処理部
30 制御部 (CPU)
40 再生信号処理部
42 通信信号処理部
50 液晶モニタ装置
54 再生タイミング制御部
56 通信タイミング制御部
【発明の属する技術分野】
本発明は、撮像素子等により撮像された画像信号を処理して動画像出力および静止画像出力を行なう画像信号処理装置に係り、たとえば、ムービーモードを有するディジタルカメラに適用して好適な画像信号処理装置に関するものである。
【０００２】
【従来の技術】
近年、被写界を撮像素子によって撮像し、撮像された動画像や静止画像信号をを処理して、メモリカードや磁気テープなどの情報記録媒体に記録するディジタルカメラが知られている。このようなカメラでは、撮像素子の画素数がより多いものが要求されてきており、たとえば、表示装置の画面の解像度にほぼ適する35万画素クラスのCCD 撮像素子を用いたものから、特に最近では、80万画素を超える高画素の撮像素子を有するカメラも供給されて、その高精細画像を活用するユーザに支持されている。
【０００３】
このような高解像度の画像データを処理するカメラでは、搭載されているCPU 等の制御回路により、データ処理を行なって、たとえば画像データを圧縮符号化したり、撮像素子から出力される画像信号を処理して、その画像を順次表示させていくことにより、その表示をファインダ代わりに使用することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のカメラでは、たとえば、80万画素〜100 万画素以上の多画素撮像素子を使用する場合、その撮像データを、たとえば30フレーム／秒のサイクルにてフレームメモリに格納させ、さらに、格納された画像データを読み出して、その動画像をコマ落ちすることなくリアルタイムにて表示させることが困難であった。
【０００５】
また、撮像処理や記録処理を制御する制御回路は、マイクロコンピュータ等の制御システムにて構成されるが、そのデータバス幅は処理量に応じて増大する傾向にある。しかし、撮像出力された画像データは、たとえば８ビット〜10ビット程度のディジタルデータに変換されて、自然画等をフルカラーにて用途に応じて表現することが可能であるので、たとえば、16ビットバスのCPU を使用する場合にその能力を充分に活用することができず無駄が生じてしまうという問題があった。
【０００６】
本発明はこのような従来技術の欠点を解消し、制御系の能力を無駄なく活用し、撮像素子の画像信号出力を処理して出力することのできる画像信号処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、被写界を撮像する撮像手段によって得られた画像信号を処理して出力する画像信号処理装置において、この装置は、撮像手段の出力に同期する第１の時間軸にて、画像信号の各画素をそれぞれ所定のビット長の画像データに変換して信号処理する撮像信号処理手段と、撮像信号処理手段の出力に接続され、信号処理された画像データを転送するバス手段と、バス手段に接続され、撮像信号処理手段から出力される画像データを蓄積する蓄積手段と、バス手段に接続され、蓄積手段から読み出される画像データを処理して出力する出力手段であって、処理された画像データを出力側に同期する第２の時間軸にて出力する出力手段と、バス手段に接続され、この装置の各部を制御する制御手段とを含み、バス手段は、制御手段に応じたバスレートにて画像データを転送し、撮像信号処理手段は、所定のビット長の画像データを、バス手段におけるバス幅に対応するように変換してバス手段に前記バスレートにて出力し、出力手段は、バス手段を介して転送される画像データを、所定のビット長の画像データにそれぞれ復元し、画像データを出力するための信号形式に変換して順次出力することを特徴とする。
【０００８】
また、本発明は上述の課題を解決するために、被写界を撮像する撮像手段によって得られた画像信号を処理して出力する画像信号処理装置において、この装置は、撮像手段の出力に同期して、画像信号の各画素をそれぞれ所定のビット長の画像データに変換して信号処理する撮像信号処理手段と、撮像信号処理手段の出力に接続され、信号処理された画像データを転送するバス手段と、バス手段に接続され、撮像信号処理手段から出力される画像データを蓄積する蓄積手段と、バス手段に接続され、蓄積手段から読み出される画像データを処理して出力する出力手段であって、処理された画像データを出力側に同期して出力する出力手段と、バス手段に接続され、この装置の各部を制御する制御手段とを含み、撮像信号処理手段は、所定のビット長の画像データを、制御手段に応じたバスレートにてバス手段に出力し、出力手段は、蓄積手段に蓄積される画像データを処理して出力することを特徴とする。
【０００９】
【発明の実施の形態】
次に添付図面を参照して本発明による画像信号処理装置の実施例を詳細に説明する。図１を参照すると本実施例におけるディジタル撮像記録装置10が示されている。この装置10は、高画素密度の撮像素子(CCD) 12にて撮像された画像信号を実時間にて処理して画像バス14上の画像メモリ16に書き込み、画像メモリ16に格納された画像信号を画像バス14に読み出して、実時間処理にて再生することのできるムービー機能を有するカメラであって、所望の静止画像を圧縮符号化した符号データを、記録再生処理部18に着脱可能に接続されるメモリカード等の情報記録媒体20に記録するディジタルカメラである。なお、以下の説明において本発明に直接関係のない部分は、図示およびその説明を省略し、また、信号の参照符号はその現われる接続線の参照番号で表わす。
【００１０】
被写界を撮像する撮像素子(CCD) 10は、約130 万画素〜150 万画素程度の高画素密度の有効画素を有するCCD(Charge Coupled Device)等の固体撮像素子が有利に適用され、その撮像面には３原色カラーフィルタが配設され、撮像素子10は、フォトダイオードにて光電変換したカラー画素信号を30フレーム／秒の速度にてＲＧＢ点順次に出力する２次元イメージセンサである。この撮像素子12は、撮像タイミング制御部22から供給されるリセットパルス、電荷転送パルスH1,H2,V1,V2 および同期信号等の駆動信号24によって駆動され、所定の電荷蓄積時間に蓄積した電荷を水平および垂直方向に転送して読み出す。この画素信号は、水平および垂直方向にそれぞれ1280×1024画素による１画像を順次形成し、画素信号を相関二重サンプリングして各種ノイズを低減するCDS 回路（図示せず）を介して出力26に出力される。
【００１１】
撮像タイミング制御部22は、基準クロックに基づき、各種タイミング信号を生成し、各種タイミングに応じて撮像素子を駆動する駆動信号24を生成する。また、タイミング制御部22は、生成したタイミング信号のうち水平転送パルスH1と水平同期信号HDと垂直同期信号VDとを撮像信号処理部28に供給する。このように撮像タイミング処理部22は、撮像処理系における第１の時間軸を規定して撮像系の各部を駆動する。
【００１２】
撮像素子12の出力26に接続された撮像信号処理部28は、入力される画素信号を処理して、処理された画像データを転送ビット幅の異なる画像バス14に実時間にて出力する処理部である。撮像信号処理部28の詳細構成を図２に示す。撮像信号処理部28は、入力26に入力される画素信号を、アナログおよびディジタル処理して出力する撮像信号処理回路200 を有する。撮像信号処理回路200 は、特に図示はしないが、画素信号を各色成分に応じたレベルに増幅するゲインコントロールアンプと、画素信号の基準レベルを調節するクランプ回路と、白圧縮およびガンマ補正を施す補正回路とを有するプロセス回路を含み、各回路は、撮像タイミング制御部22より供給されるタイミング信号に従って動作する。さらに撮像信号処理回路200 は、プロセス回路にて処理された画像信号を各色成分(R,G,B) ごとに、10ビットのディジタル画像データに変換して出力するアナログ・ディジタル変換回路を有し、この出力は、撮像信号処理回路200 の出力204 を構成する。
【００１３】
撮像信号処理回路200 の出力204 は、間引き回路206 に接続され、間引き回路206 は、パッキング回路210 を介して接続される撮像バッファ214 に画像データを格納する際、又は撮像バッファ214 からパッキング処理されていない画像データを読み出す際に、所定の画素データを間引く処理を行なう回路である。本実施例における間引き回路206 は、間引き処理回路216 と間引きアドレス回路218 とを有し、間引きアドレス回路218 はさらに、分周器220 とアドレスカウンタ222 とを含み、撮像画像を実時間にて出力および表示するムービーモードが本撮像記録装置10に設定されている場合に間引き処理を行なう。とくに高画素密度の撮像素子を用いた際に、画像メモリ16（図１）に格納する画素数が多く、撮像信号処理部28から出力されるデータの転送速度が画像バス14のバスレートを上回る場合は間引き回路206 によって間引き処理を行なう。
【００１４】
間引きアドレス回路218 の分周器220 は、１ラインの画素数をａ画素からｂ画素に間引きする間引き率b/a (a>b) に従って転送パルスH1を分周する回路である。本実施例では入力画素タイミングを間引き率b/a に応じて分周し、アドレスカウンタ222 は、分周器220 の出力に応じたアドレスを計数する。間引き処理回路216 は、１ラインの画素数をａ画素からｂ画素に間引き信号処理を行なって、処理したデータを出力208 に接続されたパッキング回路210 に出力する。間引き信号処理としては、単純間引きや加重平均間引き等が用いられ、たとえば水平方向に1280画素の画像データを640 画素に間引く。また、垂直方向の画像データについても間引き率b/a に応じて垂直方向の1024ラインをたとえば640 ラインに間引く。本撮像記録装置10が画像記録モードに設定された場合には、間引き処理を行なわずに、入力画像データをそのままスルーで水平方向に1280画素のデータを1024ライン分順次出力する。なお、画像記録モードであっても、間引き回路206 は、入力画像データを間引いて、画像サイズが縮小された画像を圧縮／伸張処理部34にて圧縮符号化するようにしてもよい。
【００１５】
間引き回路206 に接続されたパッキング回路210 は、入力される10ビットディジタル画像データを16ビットのバス幅に対応して出力するバス幅変換回路である。パッキング回路210 は、入力バス幅ｍを出力バス幅ｎに変換して、本実施例では撮像信号処理回路200 にて処理される10ビットデータを、画像バス14のバス幅と等しい16ビット幅に詰め込む回路である。
【００１６】
パッキング回路210 は、図３に示すように、転送パルスH1に同期して入力される画像データの画素タイミングにて画像データを10ビットパラレルに一時格納する第１入力レジスタ300 と、第１入力レジスタ300 の出力を一時格納する第２入力レジスタ302 と、第２入力レジスタ302 の出力を一時格納する第３の入力レジスタ304 とを有し、これら第１〜第３入力レジスタの出力は、セレクタ回路306 の入力I1〜I10,入力I11 〜I20,入力I21 〜I30 にそれぞれ接続されている。
【００１７】
セレクタ回路306 は、パッキングカウンタ308 から供給されるセレクト信号310 に同期して各入力I1〜I30 を、そのバス出力O1〜O16 のいずれかに接続する選択回路である。本実施例におけるセレクタ回路306 は、出力O1〜O16 のそれぞれごとに、入力I1〜I30 のいずれかを選択するように構成されている。具体的には、セレクタ回路306 は、たとえば図４に示すように、パッキングカウンタ308 の計数値に応じた値のセレクト信号310 に従って、その入力 Iと出力 Oとを接続する。
【００１８】
パッキングカウンタ308 は、転送パルスH1に応じた画像データの入力タイミングに同期して、その８サイクルを巡回的に計数する計数回路である。カウンタ308 は、その計数値を３ビットのセレクト信号310 としてセレクタ回路306 に供給する。また、パッキングカウンタ308 は、1,3,4,6,7 の計数値が得られたタイミングにて有意のラッチイネーブル信号312 をラッチ回路314 に供給する。
【００１９】
図４に示す例を簡潔に説明すると、セレクタ回路306 は、セレクト信号310 の示すパッキングカウンタの値が０、２および５である場合には入出力を接続せず、たとえばカウンタ値が１のときには、16ビット分の入力I11 〜I26 をそれぞれ16ビット出力O1〜O16 に接続する。このとき出力されるデータは、第２入力レジスタ302 の保持データすべてと、セレクタ入力I21 〜I26 に対応する第１レジスタ300 の６ビット分の保持データとなっている。次の画像データが第１レジスタ300 に入力されるとともに各レジスタの記憶データがそれぞれ次段の回路に転送され、パッキングカウンタ308 の値が１から２に繰り上がると、このタイミングでセレクタ回路306 の選択動作は停止する。次いで、パッキングカウンタ308 の値が３に繰り上がって各レジスタの保持データが次段の回路にそれぞれ転送されると、セレクタ回路306 は、16ビット分の入力I7〜I22 をそれぞれ16ビット出力O1〜O16 に接続する。以降同様にして、カウンタ値が４、６および７のときにセレクタ回路306 による入力選択が行なわれて10ビット幅のデータが16ビット幅のデータとしてセレクタ回路306 の出力O1〜O16 から出力される。
【００２０】
このようにパッキング回路210 は、入力ｍビットと出力ｎビットとの最小公倍数を各々ｎ、ｍで除算した数で周期化した入力選択を行なう。つまり入力が10ビットで出力が16ビットである本実施例の場合、パッキング時にはその最小公倍数80を16で除算した値にしたがって、５回の入力選択をセレクタ回路306 にて周期的に繰り返す動作を行なう。
【００２１】
図３に戻って、セレクタ回路306 の16ビット出力O1〜O16 に接続されたラッチ回路314 は、パッキングカウンタ308 より有意のラッチイネーブル信号が供給されると入力データをラッチし、それ以外では、ホールド状態となるフリップフロップにて構成される。これにより、本実施例では、パッキングカウンタ308 の計数値が1,3,4,6,7 である場合に、セレクタ回路306 の出力O1〜O16 がラッチされて、ラッチ回路314 の出力316 に出力される。ラッチ回路314 の出力212 は、図２に示す撮像バッファ214 に接続されている。
【００２２】
このように本実施例では、入力バス幅10ビットを画像バス幅16ビットに変換するように構成されているが、これに限らず、たとえば、撮像入力を処理する撮像信号処理回路200 は、画像データを８〜12ビット程度で処理する処理回路でもよく、また、制御部30および画像メモリ16等が接続される画像バス14のバス幅は、その制御部30の構成によりたとえば8,32または64ビットであってもよい。
【００２３】
撮像バッファ214 は、パッキング回路210 から出力された画像データの各ビットを順次格納して撮像素子12にて撮像され処理された実時間信号を一旦バッファリングし、その出力側のバスサイクルに合わせて高速に出力する16ビットダブルバッファである。本実施例ではパッキング回路210 および撮像バッファ214 により10ビットの入力を制御部30側のバス幅16ビットに適合させ、さらに間引き回路206 にて画素間引きされた画像データを撮像バッファ214 にビット詰めして格納する。撮像バッファ214 は、１水平走査期間分の画像データを格納する記憶領域を２面有し、撮像信号処理部28内で処理される８ワード10ビット分の画像データを、５ワード16ビットとして撮像バッファの各領域交互に格納する。撮像バッファ214 の出力14は撮像信号処理回路28の出力を構成し、制御部(CPU) 30、画像メモリ16、周辺制御部32、圧縮／伸張処理部34および記録／再生処理部18等が接続されている16ビット画像バス14に接続されている。撮像信号処理回路28からの出力画像データは、制御部30および周辺制御部32のDMA 転送制御およびメモリ制御機能によって、画像メモリ16に蓄積される。
【００２４】
制御部(CPU) 30は、本撮像記録装置10の各部を制御する処理プロセッサであり、本実施例では、RISC (Reduced Instruction Set Computer ;縮小命令セット・コンピュータ）型マイクロプロセッサが有利に適用される。制御部30は、パイプライン処理により、演算や転送などの命令（インストラクション）を、命令フェッチ、命令デコード、命令実行、演算結果出力などのように複数のステージを経て並列処理する。本実施例における制御部30は、撮像時における自動露出調整および自動焦点調節等の撮像制御を動的に制御するとともに、画像メモリ16に対するデータの書込みおよび読み出しを制御する。また、制御部30は、圧縮伸張処理部34および記録再生処理部18における処理動作を統括制御する。さらに、制御部30は、画像データの転送制御を周辺制御部32に受け渡して、周辺制御部32は、撮像信号処理部28から画像バス14に出力される画像データを、再生信号処理部40および通信信号処理部42、さらには圧縮／伸張処理部34および記録／再生処理部18にDMA 転送するDMA コントローラおよび割込みコントローラを有し、これにより制御部30のバス占有時間が短縮化される。
【００２５】
また、制御部30は、撮像している動画像をモニタするムービーモードと、撮像した静止画像を情報記録媒体20に記録する記録モードとの動作モードを設定して各部を制御する機能を有している。本実施例におけるムービーモードはさらに、その撮像動画像を表示装置50に表示する機能と、動画像データを通信転送する機能とを含む。本実施例におけるムービーモードでは、動画像の出力先の処理タイミングに応じた実時間にて画像再生が可能なように、複数コマの画像データをコマ落ちすることなく順次処理して出力する。これに対し記録モードでは、本実施例では処理画像データを非実時間にて圧縮符号化する。
【００２６】
圧縮／伸張処理部34は、画像メモリ16から読み出された画像データを、その出力先のタイミングにとらわれない非実時間にて圧縮符号化処理する処理部である。圧縮／伸張処理部34は、処理された符号化データを記録／再生処理部18または通信信号処理部42に供給する。また、圧縮／伸張処理部34は、記録／再生処理部18から供給される符号化データを伸張して、伸張された画像データを再生信号処理部40および通信信号処理部42に供給する。圧縮／伸張処理部34は、たとえば２次元DCT 方式にて画像データを圧縮しこれにハフマン符号を割り当てて、所定長以下の符号化データを生成する。
【００２７】
記録／再生処理部18は、着脱可能に接続されるメモリカードや光磁気ディスク等の情報記録媒体20に対し、圧縮／符号化処理部34にて処理された符号化データを所定の記録形式にて記録し、また、情報記録媒体20に記録されたデータを読み出して画像バス14に出力する処理部である。
【００２８】
16ビット画像バス14にはさらに、再生信号処理部40と通信信号処理部42とが接続されている。これら処理部40,42 は、16ビットにてDMA 転送される画像データを入力し、それぞれ10ビットの内部処理にて、その画像データを再生および処理して出力する。
【００２９】
具体的には、再生信号処理部40は、図５に示すように、再生バッファ500 と、アンパッキング回路502 と、補間回路504 と、再生信号処理回路506 とを有し、再生バッファ500 は、画像メモリ16に蓄えられた16ビット画像データを、30フレーム／秒の速度にて入力して一旦バッファリングし、再生タイミング制御部54から供給される同期信号に応動して出力する一時記憶回路である。再生バッファ500 の出力はアンパッキング回路502 に接続されている。
【００３０】
アンパッキング回路502 は、再生バッファ500 に画像データを格納する際、又は再生バッファ500 に蓄積された画像データを読み出す際に、バス幅をｎからｍに変換するバス幅変換回路である。本実施例におけるアンパッキング回路502 は、たとえば図３に示したパッキング回路210 とは逆に、16ビット入力を元の10ビット画像データに復元し、補間回路504 に出力する。このアンパッキング回路502 の内部構成を図６に示すと、アンパッキング回路502 は、水平同期信号HDに同期して生成されるラッチイネーブル信号600 に応動して入力される画像データをビットパラレルに一時格納する第１入力レジスタ602 と、第１入力レジスタ602 の出力を一時格納する第２入力レジスタ604 とを有し、第１および第２入力レジスタ602,604 の出力は、セレクタ回路606 の入力I1〜I16 、入力I17 〜I32 にそれぞれ接続されている。
【００３１】
セレクタ回路606 は、アンパッキングカウンタ608 から供給されるセレクト信号610 に同期して各入力I1〜I32 を、その出力O1〜O10 のいずれかに接続する選択回路である。本実施例におけるセレクタ回路606 は、出力O1〜O10 のそれぞれごとに入力I1〜I32 のいずれかを選択するように構成されている。具体的には、セレクタ回路506 は、図７に示すように、アンパッキングカウンタ608 の計数値を示すセレクト信号610 に従ってその入力 Iと出力 Oとを接続する。
【００３２】
アンパッキングカウンタ608 は、再生タイミング制御部54から供給される水平同期信号HDに同期して、入力データの８サイクルを巡回的に計数する計数回路であり、その計数値を３ビットのセレクト信号610 としてセレクタ回路606 に供給する。また、アンパッキングカウンタ608 は、0,1,3,4,6 の計数値が得られたタイミングにてラッチイネーブル信号600 を有意化して第１および第２レジスタ602,604 に供給する。第１および第２レジスタ602,604 はそれ以外のタイミング、つまりラッチイネーブル信号600 が出力されない計数値2,5,6 のタイミングでは、その入力に現われるデータを取り込まず次段の回路へのデータシフトも停止する。
【００３３】
図７に示す例を簡潔に説明すると、セレクタ回路606 は、有意のラッチイネーブル信号が各レジスタに供給されて、セレクト信号610 の示す値が０のときには、入力I17 〜I26 を選択して第１レジスタ602 の出力をそれぞれ10ビット出力O1〜O10 に接続する。次のデータが第１レジスタ602 に入力されるとともに各レジスタの記憶データがそれぞれ次段の回路にシフトされるとカウンタ値が０から１に繰り上がり、セレクタ回路606 は、入力I11 〜I20 を選択してそれぞれ出力O1〜O10 に接続する。ついで、カウンタ値が２に繰り上がって、ラッチイネーブル信号600 の出力が停止されて各レジスタの記憶データを次段の回路にシフトせず、セレクタ回路606 は、入力I21 〜I30 を選択してそれぞれ出力O1〜O10 に接続する。
【００３４】
以降同様にして、アンパッキングカウンタ608 のカウンタ値が３、４および６のときには、有意のラッチイネーブル信号600 が出力され、各レジスタの記憶データをそれぞれ次段の回路にシフトさせる。この場合、セレクタ回路606 では、カウンタ値３、４および６のそれぞれに対応して、入力I15 〜I24 、入力I9〜I18 および入力I13 〜I22 をそれぞれ選択して出力O1〜O10 に接続する。また、カウンタ値が５および７のときには、ラッチイネーブル信号600 の出力が停止され、セレクタ回路606 は、それぞれ入力I19 〜I28 および入力I23 〜I32 を選択する。このようにして、16ビット幅の画像データが、再生信号処理部40における処理単位である10ビット幅の画像データに復元されて、セレクタ回路606 の出力O1〜O10 からビットパラレルに出力される。このようにアンパッキング回路502 は、入力ｎビットと出力ｍビットとの最小公倍数を各々ｍ、ｎで除算した数で周期化した入力選択を行なう。本実施例では、入力が16ビット、出力が10ビットであるので、アンパッキング時には、その最小公倍数80を10で除算した値にしたがって、８回の入力選択を、セレクタ回路606 にて周期的に繰り返す動作を行なう。
【００３５】
セレクタ回路606 の出力に接続されたラッチ回路612 は、その出力O1〜O10 をラッチして、記憶保持した画像データを水平同期信号HDに同期して出力する一時記憶回路である。ラッチ回路612 の出力614 はアンパッキング回路502 の出力を構成し、補間回路504 に接続されている。
【００３６】
補間回路504 は、再生バッファ500 にて一時記憶された画像データを画素補間する処理回路である。本実施例における補間回路504 は、分周器510 およびアドレスカウンタ512 を有する補間アドレス回路514 と、補間処理回路516 とを含み、再生バッファ500 から画像データを読み出す際、又はパッキング処理されていない画像データを再生バッファ500 に格納する際に補間処理を行なう。
【００３７】
分周器510 はたとえば、再生タイミング制御部54から供給される水平同期信号HDをb/a (a>b) に分周し、アドレスカウンタ512 は、分周器510 の出力に応じてアドレスを計数する。補間処理回路516 は、１ラインの画素数をｂ画素からａ画素に変換する際、たとえば前置補間および加重平均補間等により画素補間する信号処理を行なって、処理したデータを再生信号処理回路506 に出力する。補間処理回路516 は、水平方向1280画素の画像データが640 画素に間引きされて格納されたデータが画像メモリ16から読み出され、これが再生バッファ500 に蓄積される画像データを元の1280画素に補間処理して出力する。また、画像の垂直方向についても512 ラインから1024ラインの画像データに補間処理して出力する。このように高画素密度の撮像素子10を用いた多画素システムが構成される場合で、さらに再生側の表示装置等のハードウェアが多画素対応している場合は、補間回路504 にてｂ画素からａ画素に画像データが補間信号処理されて出力される。また、再生側の表示装置等が、たとえばNTSC方式に対応する場合には、この補間処理を行なわずに画像データを出力することもできる。
【００３８】
補間処理回路516 の出力518 は補間回路504 の出力を構成し、図５に示す再生信号処理回路506 に接続されている。
【００３９】
再生信号処理回路506 は、その出力520 に接続される液晶モニタ装置50（図１）や、出力520 に接続された出力端子52にビデオケーブル等を介して接続されるテレビモニタ装置（図示せず）などの表示装置の信号入力形式に応じた再生信号を生成する処理回路である。
【００４０】
再生信号処理回路506 は、バス幅および速度変換された画像データの表わす画像を実時間にて連続表示させる動画像データを再生する出力回路である。再生信号処理回路506 は、アンパッキング回路502 にて復元された10ビットディジタルデータをアナログ信号に変換し、そのアナログ信号レベルを調節する。再生信号処理回路506 は、変換および調節された画像信号に同期信号を付加し、画像信号をその出力先に応じた形式の映像信号にエンコードする。再生信号処理回路506 は、再生タイミング処理部54より供給されるタイミング信号522 に同期してこれら信号処理を実行する。再生信号処理回路506 の出力に接続される表示装置50には、撮像されている動画像が実時間にて表示される。この表示装置50は、たとえばディジタル映像入力機能を有するものでもよく、その場合、再生信号処理回路506 は、ディジタルデータに同期データ等を付加したディジタル映像信号を生成するように構成される。
【００４１】
再生タイミング制御部54は、基準クロックに基づき、各種タイミング信号を生成し、各種タイミングに応じて再生信号処理部40を駆動する駆動信号を生成する。また、再生タイミング制御部54は、生成したタイミング信号のうち水平同期信号HDおよび垂直同期信号VDを補間回路504 に供給する。このように再生タイミング制御54は、画像再生系における第２の時間軸を規定して再生信号処理回路506 の各部を駆動する。
【００４２】
図８に示す通信信号処理部42は、通信バッファ800 と、アンパッキング回路802 と、補間回路804 と、通信信号処理部806 とを含み、画像バス14に現われる画像データを実時間にて処理して出力する処理部である。これら通信バッファ800 、アンパッキング回路802 および補間回路804 は、図５に示した再生バッファ500 、アンパッキング回路502 および補間回路504 とそれぞれ同様の構成でよく、これら構成により、画像バス14に現われる画像データをバス幅変換および速度変換して通信信号処理回路806 に供給する。
【００４３】
通信信号処理回路806 は、画像データを実時間にて処理して接続先の装置に転送するインタフェースであり、通信タイミング処理部56より供給されるタイミング信号を基準として、入力データに同期データおよび誤り訂正符号を付加してパケット化し、出力する出力回路である。本実施例における通信信号処理回路806 は、IEEE1394規格に準拠し、画像データの転送速度を保証して転送する同期転送(Isochronous) モードにて、画像データを30フレーム／秒のリアルタイムに伝送する機能を有している。通信信号処理回路の出力808 は、たとえば、家庭内LAN 規格のCEBus や,USB (Universal Serial Bus) にて構成され、パーソナルコンピュータ等に接続されてもよい。処理されたパケットデータをディジタル伝送路を介して伝送する場合には、通信信号処理回路の出力808 に有線もしくは無線によるディジタル通信装置を接続し、撮像信号に実時間で対応するフルフレームの動画像表示を伝送先の受信装置等に行なわせる。また、通信信号処理回路806 は、圧縮／伸張処理部34にて符号化されたデータや、符号化されていない生画像データを出力することもできる。通信タイミング処理部56は、通信信号処理部42にて補間処理、アンパッキングおよびパケット化する際に必要なパケット同期信号等のタイミング信号を生成する処理部である。本実施例における通信タイミング処理部56は、伝送路および伝送方式に応じたタイミング信号58を生成して通信信号処理回路42に供給する。
【００４４】
以上のような構成により、撮像信号処理部にて10ビットディジタル処理された画像データが16ビット画像バス14に詰め込まれて制御部30および周辺制御部32の制御により画像メモリ16に格納される。このとき、画像バス14には未使用のビットが発生せず、画像バス14の転送レートを最大限に利用してデータ転送時間を短縮することができる。制御部30は、処理負担が低減されてその空き時間を他の処理・制御を行なうことができる。また、制御部30に適用させるCPU は、処理負担が低減されるため、その分やや処理能力の低いチップを採用することができ、また、バス幅を最大限に利用することで、無駄な処理サイクルの実行を防止し、その処理動作時において電力消費が低減される。また、画像メモリ16に一旦格納された画像データが画像バス14を介して、それぞれ出力側のタイミングにて動作する再生信号処理部40や通信信号処理部42に供給する場合、画像データが各処理部40,42 の処理ビット幅に変換され、さらに各バッファを介して出力されるので、再生側の実時間にてコマ落ちすることなく、その動画像を実時間にて出力することができる。また、上記実施例のように多画素システムを構築した場合であっても、撮像信号処理部28に配設された間引き回路206 によって、画素間引きを行ない、さらに画像バス14の転送バスレートを制御部30に適合させることで、実時間に対応した動画像を表示装置50に表示させることができる。
【００４５】
このように、処理時間軸がそれぞれ異なる撮像処理系と、画像再生および画像出力系とを、パッキング処理およびアンパッキング処理と、各系のバッファリング処理とにより同期させてリアルタイムの動画像出力を行なうことができる。この結果、実時間にて再生されるスムーズな動画像表示を制御部30および画像バス14の処理能力を充分に活用して行なうことができる。
【００４６】
また、実時間による動画像処理を行なう必要がない、高解像度の静止画像データを圧縮符号化して情報記録媒体20に記録する場合においても、画像バス14のバス幅が有効に利用されて画像メモリ16に画像データを転送することができ、制御部20等の処理効率の向上が可能となる。
【００４７】
また、このような構成に加えて、撮像信号処理部28にて動画像入力を設定に応じた一定期間ごと間欠的にサンプリングして、さらに間引き回路206 にて、たとえば1/6 サイズの縮小画像を作成して画像メモリ16に記憶させてもよい。この場合、画像メモリ16の所定の記憶領域を９ブロックに分割し、縮小画像の格納先のブロックを、たとえば図９に示すように、ブロックＡ〜Ｉ順に変更し、各縮小画像を各ブロックに順次その位置を変えて記憶する。このようにして画像メモリ16に更新的に記憶された複数の縮小画像は１画面を形成し、再生タイミング処理部54にて規定される再生タイミングに同期して順次再生信号処理部40に読み出され、同図に示すようなマルチ画面を順次更新し、表示装置50の表示画面90に表示させることができる。この実施例では画像バス14を流れるデータ量はさらに低減されるので制御部30等における処理負担が減少し、制御部30によってこのような特殊処理や撮像・記録制御等の他の処理を負担なく制御することができる。
【００４８】
なお、上述したように、パッキング回路210 内のセレクタ回路306 は、入力I7〜I30 のそれぞれを出力O1〜O16 のいずれかに接続する動作を行なうので、第３レジスタ304 を４ビット幅のレジスタ構成とし、セレクタ回路306 の入力を最小限の24ビット構成としてよい。また、アンパッキング回路502 内のセレクタ回路606 は、入力I9〜I32 のそれぞれを出力O1〜O10 のいずれかに接続する動作を行なうので、第２レジスタ604 を８ビット構成として、セレクタ回路606 の入力を最小限の24ビット構成としてもよい。
【００４９】
【発明の効果】
このように本発明によれば、前記撮像手段の出力に同期する第１の時間軸にて撮像信号処理手段が駆動され、処理した画像データをバス手段のバス幅に合わせて変換して転送し、蓄積手段はこの画像データを蓄積し、出力手段では、蓄積された画像データを第２の時間軸にて処理して出力するので、再生系と出力系とを同期した状態の実時間にて画像出力を行なうことができる。この場合、バス手段のバス幅に合わせた画像データ変換と復元を行なっているのでデータ転送効率が向上し、その分バス手段を用いる制御手段の負担が減少する。
【図面の簡単な説明】
【図１】本発明が適用された実施例の撮像記録装置のブロック構成を示す図である。
【図２】図１に示した実施例における撮像信号処理部の内部構成を示すブロック図である。
【図３】図２に示したパッキング回路の内部構成を示すブロック図である。
【図４】図２に示したパッキングカウンタの値とセレクタ回路の入出力との対応を示す図である。
【図５】図１に示した再生信号処理部の内部構成を示すブロック図である。
【図６】図５に示したアンパッキング回路の内部構成を示すブロック図である。
【図７】図６に示したアンパッキングカウンタの値とセレクタ回路の入出力との対応を示す図である。
【図８】図１に示した通信信号処理部の内部構成を示すブロック図である。
【図９】マルチ画面再生を示す図である。
【符号の説明】
10 撮像記録装置
12 撮像素子 (CCD)
14 画像バス
16 画像メモリ
18 記録／再生処理部
20 情報記録媒体
22 撮像タイミング制御部
28 撮像信号処理部
30 制御部 (CPU)
40 再生信号処理部
42 通信信号処理部
50 液晶モニタ装置
54 再生タイミング制御部
56 通信タイミング制御部
Claims (7)
- 被写界を撮像する撮像手段によって得られた画像信号を処理して出力する画像信号処理装置において、該装置は、
前記撮像手段の出力に同期する第１の時間軸にて、前記画像信号の各画素をそれぞれ所定のビット長の画像データに変換する撮像信号処理手段と、
前記撮像信号処理手段の出力に接続され、前記画像データを転送するバス手段と、
前記バス手段に接続され、前記撮像信号処理手段から出力される画像データを蓄積する蓄積手段と、
前記バス手段に接続され、前記蓄積手段から読み出される画像データを処理して出力する出力手段であって、該処理された画像データを前記出力側に同期する第２の時間軸にて出力する出力手段と、
前記バス手段に接続され、該装置の各部を制御する制御手段とを含み、
前記バス手段は、前記制御手段に応じたバスレートにて前記画像データを転送し、
前記撮像信号処理手段は、前記画素を所定の比率にて間引きして、該画像データの画素数を変換する間引き手段と、前記バス手段のバス幅に対応するバス幅の画像データに変換するバス幅変換手段と、前記バス幅変換手段の出力を一時記憶する撮像バッファ手段とを含み、該撮像信号処理手段は、該間引き手段にて変換された画像データを、前記バス手段に前記バスレートにて出力し、
前記出力手段は、前記蓄積手段から読み出され、前記バス手段を介して転送される画像データを一時記憶する出力バッファ手段と、
前記出力バッファ手段の出力を前記所定のビット長の画像データに復元するバス幅復元手段とを含み、前記バス手段を介して転送される画像データを、前記所定のビット長の画像データにそれぞれ復元し、該画像データを出力するための信号形式に変換して順次出力することを特徴とする画像信号処理装置。 - 請求項１に記載の画像信号処理装置において、前記出力手段は、前記バス幅復元手段から出力される画像データの画素を所定の比率にて補間して、出力する画素数を変換する補間手段を含むことを特徴とする画像信号処理装置。
- 請求項１に記載の画像信号処理装置において、前記出力手段は、前記蓄積手段から読み出される画像データの表わす動画像を、表示手段に同期してリアルタイムに表示するように、該画像データを出力する再生信号処理手段であることを特徴とする画像信号処理装置。
- 請求項１に記載の画像信号処理装置において、前記出力手段は、前記蓄積手段から読み出される画像データを、他の装置に同期してリアルタイムに伝送する通信信号処理手段であることを特徴とする画像信号処理装置。
- 請求項１に記載の画像信号処理装置において、該装置は、
前記バス手段を介して供給される画像データを圧縮符号化処理するデータ圧縮手段を含むことを特徴とする画像信号処理装置。 - 請求項５に記載の画像信号処理装置において、該装置は、
前記データ圧縮手段にて処理された符号化データを情報記録媒体に記録する記録処理手段を含むことを特徴とする画像信号処理装置。 - 請求項１に記載の画像信号処理装置において、前記制御手段は、前記画像データをDMA 転送させる制御を行なう転送制御手段と、パイプライン処理により各部を制御するマイクロプロセッサとを含むことを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04915898A JP4704525B2 (ja) | 1998-03-02 | 1998-03-02 | 画像信号処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04915898A JP4704525B2 (ja) | 1998-03-02 | 1998-03-02 | 画像信号処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11252407A JPH11252407A (ja) | 1999-09-17 |
| JP4704525B2 true JP4704525B2 (ja) | 2011-06-15 |
Family
ID=12823298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04915898A Expired - Fee Related JP4704525B2 (ja) | 1998-03-02 | 1998-03-02 | 画像信号処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4704525B2 (ja) |
-
1998
- 1998-03-02 JP JP04915898A patent/JP4704525B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11252407A (ja) | 1999-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6784941B1 (en) | Digital camera with video input | |
| US5444483A (en) | Digital electronic camera apparatus for recording still video images and motion video images | |
| JP4131052B2 (ja) | 撮像装置 | |
| US6937277B1 (en) | Image input apparatus employing read region size determination | |
| US6697106B1 (en) | Apparatus for processing image signals representative of a still picture and moving pictures picked up | |
| JP4245139B2 (ja) | 画像処理装置 | |
| US20100020196A1 (en) | Image processing system, image pickup apparatus, image pickup method, image reproducing apparatus, and image reproducing method | |
| JPH07135592A (ja) | 撮像装置 | |
| JP3348917B2 (ja) | 画像信号処理装置 | |
| JP2000092375A (ja) | 信号処理装置及びその制御方法 | |
| JP2620433B2 (ja) | 画像処理のためのフィールド補間回路及び方法 | |
| US20050062860A1 (en) | Frame memory device and method | |
| JP4048615B2 (ja) | 画素数変換装置およびディジタルカメラ装置 | |
| JP4704525B2 (ja) | 画像信号処理装置 | |
| JPH08317295A (ja) | デジタル画像記録装置およびデジタル画像再生装置 | |
| JP4264602B2 (ja) | 画像処理装置 | |
| JP2000092365A (ja) | 信号処理装置 | |
| JP3312456B2 (ja) | 映像信号処理装置 | |
| JP2001197346A (ja) | 電子カメラ | |
| JP3679592B2 (ja) | 信号処理装置及び撮像装置 | |
| JP3745605B2 (ja) | 電子スチルカメラ | |
| KR100211839B1 (ko) | 디지털 비디오 캠코더에서 화상 고효율 전송방법 | |
| JP3768987B2 (ja) | 撮像装置 | |
| JP3718239B2 (ja) | 画像信号処理装置 | |
| JPH1168516A (ja) | サンプリング周波数変換装置、及び、サンプリング周波数変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040601 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040601 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070515 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080414 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090205 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090318 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090807 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110310 |
|
| LAPS | Cancellation because of no payment of annual fees |