JP4253881B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4253881B2 JP4253881B2 JP33161498A JP33161498A JP4253881B2 JP 4253881 B2 JP4253881 B2 JP 4253881B2 JP 33161498 A JP33161498 A JP 33161498A JP 33161498 A JP33161498 A JP 33161498A JP 4253881 B2 JP4253881 B2 JP 4253881B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- memory
- unit
- image
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ファインダに被写体の映像をリアルタイムで表示する機能を備えた撮像装置に関する。
【０００２】
【従来の技術】
ディジタル・スチル・カメラは、ＣＣＤイメージセンサで得られた画像データをメモリや記録媒体に取り込み、その後画像データをいわゆるパーソナル・コンピュータ等に転送している。このようなディジタル・スチル・カメラは、今までは、ＶＧＡ(Video Graphics Array)システム対応型のものがほとんどであった。
【０００３】
例えば図１６に示すように、かかるディジタル・スチル・カメラ２００は、画像信号を生成するＣＣＤイメージセンサ２０１と、入力処理／画像処理回路２０２と、画像データの読み出し又は書き込みの処理を行うメモリコントローラ２０３と、所定の方式の出力画像に変換する出力処理回路２０４と、撮影時の被写体の状況を表示するファインダ２０５と、ＣＰＵバス２０６を介して、圧縮された画像データを記録する記録部２０７と、画像データの圧縮又は伸張処理を行う圧縮／伸張回路２０８と、画像データを記憶すべく例えばＤＲＡＭ等からなるメモリ２０９と、装置全体を制御するＣＰＵ２１０とを備える。
【０００４】
被写体の撮影開始前においては、ユーザは、ファインダ２０５に表示される被写体像を確認する必要がある（ファインダモード）。このとき、ＣＣＤイメージセンサ２０１は、被写体からの撮像光によって光電変換して得られた画像信号を入力処理／画像処理回路２０２に供給する。入力処理／画像処理回路２０２は、例えば上記画像信号に相関二重サンプリング処理を行ってディジタル化し、さらにガンマ補正，ニー処理，カメラ処理等の所定の信号処理を行って、メモリコントローラ２０３に供給する。メモリコントローラ２０３は、ＣＰＵ２１０の制御に応じて、入力処理／画像処理回路２０２からの画像データを出力処理回路２０４に供給する。出力処理回路２０４は、画像データを例えばＮＴＳＣ(National Television System Committee)方式にエンコードし、さらにアナログ化してファインダ２０５に供給する。これにより、ファインダ２０５には、撮影の対象たる被写体が表示される。
【０００５】
一方、ユーザが図示しないシャッタボタンを押して記録モードに移行すると、メモリコントローラ２０３は、入力処理／画像処理回路２０２から供給される画像データをメモリ２０９に書き込む。ＣＰＵ２１０は、メモリ２０９から画像データを読み出し、当該画像データを圧縮／伸張回路２０８において例えばＪＰＥＧ(Joint Photographic Experts Group)圧縮処理を行って、記録部２０７に記録する。
【０００６】
また、ユーザの所定の操作によって再生モードに移行すると、ＣＰＵ２１０は、記録部２０７から画像データを読み出し、当該画像データを圧縮／伸張回路２０８においてＪＰＥＧ伸張処理を行った後、メモリコントローラ２０３，出力処理回路２０４を介してファインダ２０５に供給する。かくして、ファインダ２０５には、撮影された画像が表示されることになる。
【０００７】
【発明が解決しようとする課題】
近年、ＣＣＤイメージセンサの飛躍的な技術進歩に伴い、画像データの解像度は１００万画素を超えるようになりつつある。これに対して、上述したような構成のディジタル・スチル・カメラ２００では、１００万画素を超える画像データに十分に対応することができないことが考えられる。
【０００８】
例えば、ファインダモードにおいて、ＣＣＤイメージセンサ２０１が高解像度の画像信号を生成した場合では、入力処理／画像処理回路２０２は、ファインダ２０５の解像度に合わせて、画像データの解像度変換をリアルタイムで行わなければならない。また、同時に、メモリコントローラ２０３はメモリ２０９にアクセスしなければならず、出力処理回路２０４も所定の処理を行う必要がある。
【０００９】
そして、ＣＰＵバス１０６の渋滞が発生し、各回路はリアルタイムで所定の処理を実行することができなくなり、この結果、ファインダ２０５に被写体の映像がコマ落としで表示されることになる。これでは、被写体に動きがあった場合には、実際の被写体とファインダ２０５に表示される被写体の動きにずれが生じ、撮影に支障が生じてしまう。
【００１０】
一方、画像データが高解像度でなくても、ファインダ２０５の方式に対応して画像データの解像度を例えばＮＴＳＣ方式又はＰＡＬ方式に変換する必要があり、この場合にもリアルタイムでファインダに画像を表示することが要求される。
【００１１】
本発明は、このような実情に鑑みて提案されたものであり、高解像度の画像データであっても、リアルタイムでファインダに画像を表示することができる撮像装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る撮像装置は、被写体からの撮像光に応じた画像データを生成する撮像部と、入力される画像データを色差形式の画像データに変換する第１の変換処理を行う変換処理手段と、画像データに解像度を低くする解像度変換処理を施す第１の解像度変換手段と、画像データが転送される画像データバスと、上記画像データバスを介して供給される画像データをメモリ部に書き込み、上記メモリ部に書き込まれた画像データを読み出して上記画像データバスに出力するメモリ制御部と、第１の動作モードと第２の動作モードの制御を行う制御部と、上記画像データバスを介して供給される画像データを出力先の信号規格に対応する画像データに変換して出力する出力処理部を備え、上記出力処理部は、上記第１の動作モードにおいて、上記メモリ制御部により上記メモリ部から読み出され、上記画像データバスを介して供給される画像データを出力先の信号規格に対応する画像データに変換する第２の変換処理を行う第２の変換処理手段と、上記第２の動作モードにおいて、上記メモリ制御部により上記メモリ部から読み出され、上記画像データバスを介して供給される画像データを出力先の信号規格に対応する画像データに変換する第３の変換処理を行う第３の変換処理手段とを備え、上記第１の動作モードにおいて、上記撮像部から入力される画像データに上記変換処理手段により上記第１の変換処理を施し、さらに、上記第１の解像度変換手段により解像度変換処理を施して解像度を低くした画像データが、上記画像データバスを介して上記メモリ制御部に供給され上記メモリ部に書き込まれ、上記メモリ部に書き込まれた画像データが上記メモリ制御部により上記メモリ部から読み出され、上記画像データバスを介して供給される画像データに上記第２の変換処理手段により上記第２の変換処理を施して表示手段に出力し、上記第２の動作モードにおいて、上記撮像部から入力される画像データが、上記画像データバスを介して上記メモリ制御部に供給され上記メモリ部に書き込まれ、上記メモリ部に画像データに書き込まれた画像データが上記メモリ制御部により上記メモリ部から読み出されて上記画像データバスを介して上記変換処理部に供給され、上記変換処理部により上記第１の変換処理が施された画像データが上記画像データバスを介して上記メモリ制御部に供給されて上記メモリ部に書き込まれ、上記メモリ部に画像データに書き込まれた画像データが上記メモリ制御部により上記メモリ部から読み出され、上記画像データバスを介して供給される画像データに上記第３の変換処理手段により上記第３の変換処理を施して記録手段に出力する。
【００１３】
上記撮像手段では、上記第１の解像度変換手段が画像データの解像度を低くして画像データバスにおける画像データの占有率を低くし、上記第２の解像度変換手段が画像データの解像度を高くして表示に必要な解像度にする。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１５】
本発明は、例えば図１に示す構成のディジタル・スチル・カメラ１に適用される。
ディジタル・スチル・カメラ１は、画像信号を生成する画像生成部１０と、画像データに所定の信号処理を行う信号処理部２０と、ＳＤＲＡＭからなるイメージメモリ３２と、信号処理部２０の制御を行う制御部４０とを備える。
【００１６】
画像生成部１０は、画像信号を生成する個体撮像素子、例えばＣＣＤイメージセンサ１１と、上記画像信号にサンプルホールド処理及びディジタル化処理を行って画像データを出力するサンプル／ホールド−アナログ／ディジタル回路（以下、「Ｓ／Ｈ−Ａ／Ｄ回路」という。）１２と、タイミング信号を発生するタイミングジェネレータ１３とを備える。このタイミングジェネレータ１３は、信号処理部２０から供給される同期信号に基づいて、画像生成部１０の各回路を制御する水平同期信号及び垂直同期信号を発生するものである。
【００１７】
ＣＣＤイメージセンサ１１は、例えば８０万画素からなるＸＧＡ（eXtended Graphics Array：１０２４×７６８）相当の画像データを生成する。ＣＣＤイメージセンサ１１は、タイミングジェネレータ１３からの同期信号に基づいて駆動され、毎秒３０フレームの画像信号を出力する。なお、ＣＣＤイメージセンサ１１は、画像信号の間引き機能を有し、制御部４０の制御に従って、画像信号の垂直方向成分を１／２，１／３，１／４・・・に間引いて出力することができる。
【００１８】
Ｓ／Ｈ−Ａ／Ｄ回路１２も、上記タイミングジェネレータ１３からの同期信号に基づき、所定のサンプリング間隔でサンプルホールド及びＡ／Ｄ変換処理を行い、この画像データを信号処理部２０に供給する。
【００１９】
信号処理回路２０は、１個のＬＳＩ(Large Scale Integrated circuit)によって構成される。信号処理部２０は、画像生成部１０からの画像データに入力処理とカメラ処理を行う入力処理回路２１と、イメージメモリ３２に対する画像データの読み出し／書き込みを制御するメモリコントローラ２２と、ＮＴＳＣ／ＰＡＬ(Phase Alternation by Line) エンコーダ２３と、画像データをアナログ化して外部に出力するＤ／Ａコンバータ２４と、同期信号を発生してタイミングジェネレータ１３に供給するシンク・ジェネレータ２６とを備える。
【００２０】
また、信号処理部２０は、イメージメモリ３２のインターフェースであるメモリインターフェース２７と、画像データの解像度変換処理を行う解像度変換回路２８と、画像データの圧縮／伸張処理を行うＪＰＥＧ(Joint Photographic Experts Group)エンコーダ／デコーダ２９と、ＪＰＥＧエンコーダ／デコーダ２９のインターフェースであるＪＰＥＧインターフェース３０と、制御部４０の後述するＣＰＵとデータの送受信を行うためのインターフェースであるホスト・インターフェース３１とを備える。
【００２１】
入力処理回路２１は、Ｓ／Ｈ−Ａ／Ｄ回路１２からの画像データにディジタルクランプ，シェーディング補正，アパーチャ補正、ガンマ補正，色処理等を行って、メモリコントローラ２２に供給する。入力処理回路２１は、入力データを信号処理してＹ，Ｃｂ，Ｃｒに変換する機能を持つ。入力処理回路２１は、画像データの解像度が例えばＶＧＡ(Video Graphics Array)フォーマットよりも大きいときは、その解像度を低くする処理も行うことができる。また、入力処理回路２１は、オート・フォーカス，オート・アイリスの検波処理を行って、そのデータを制御部４０に送り、フォーカス機構，アイリス機構の自動調整を行う。さらに、入力処理回路２１は、画像データを構成する３原色信号の信号レベルを検出してオートホワイトバランス調整も行う。
【００２２】
メモリコントローラ２２は、入力処理回路２１や他の回路から供給される画像データをメモリインターフェース２７を介してイメージメモリ３２に書き込み、また、イメージメモリ３２の画像データをメモリインターフェース２７を介して読み出す制御を行う。このとき、メモリコントローラ２２は、イメージメモリ３２に記憶された画像データに基づいて、ＣＣＤイメージセンサ１１に欠陥画素があるかを検出することも行う。
【００２３】
メモリコントローラ２２は、イメージメモリ３２から読み出した画像データを例えばＮＴＳＣ／ＰＡＬエンコーダ２３に供給する。ＮＴＳＣ／ＰＡＬエンコーダ２３は、メモリコントローラ２２から画像データ供給されると、この画像データにＮＴＳＣ方式又はＰＡＬ方式のエンコードを行ってＤ／Ａコンバータ２４に供給する。Ｄ／Ａコンバータ２４は、かかる画像データをアナログ化して外部端子２５を介して出力する。
【００２４】
メモリコントローラ２２は、メモリコントローラ２２から読み出した画像データを解像度変換回路２８に供給して解像度変換処理を行わせ、また、解像度変換回路２８が出力する解像度変換済みの画像データをイメージメモリ３２に書き込む。
【００２５】
メモリコントローラ２２は、ＪＰＥＧインターフェース３０を介して画像データをＪＰＥＧエンコーダ／デコーダ２９に供給して静止画の圧縮処理を行わせ、さらに、ＪＰＥＧエンコーダ／デコーダ２９で伸張処理された画像データをイメージメモリ３２に書き込むことも行う。
【００２６】
イメージメモリ３２は、上述のように画像データを記憶するだけでなく、いわゆるキャラクタジェネレータのデータであるＯＳＤ(On Screen Display) データも記憶する。ここにいうＯＳＤデータは、ビットマップデータからなる。メモリコントローラ２２は、上記ＯＳＤデータの読み出し／書き込みも制御している。なお、画像データとＯＳＤデータとの合成は、ＮＴＳＣ／ＰＡＬエンコーダ２３において行われる。
【００２７】
上記制御部４０は、信号処理部２０の各回路を制御するＣＰＵ(Central Processing Unit) ４１と、画像データやその他の制御データを一時格納するＤＲＡＭ(Dynamic Random Access Memory)４２と、ＣＰＵ４１の制御プログラムが記憶されているＲＯＭ(Read Only Memory)４３と、例えばフラッシュメモリからなる記録装置５１と画像データをやりとりするためのインターフェースであるフラッシュメモリ・インターフェース４４と、例えばIrLED からなる通信回路５２のインターフェースであるIrDAインターフェース４５とを備える。
【００２８】
例えば、ＣＰＵ４１は、ＪＰＥＧエンコーダ／デコーダ２９で圧縮された画像データを、フラッシュメモリ・インターフェース４４を介してフラッシュメモリからなる記録装置５１に書き込み、また、この記録装置５１から画像データを読み出してＪＰＥＧエンコーダ／デコーダ２９に供給する。また、ＣＰＵ４１は、ＪＰＥＧエンコーダ／デコーダ２９からの画像データや記録装置５１から読み出した画像データを、IrDAインターフェース４５，通信回路５２を介して赤外光として外部に出力する。
【００２９】
ここで、上記ディジタル・スチル・カメラ１の簡略的な構成を図２に示す。
【００３０】
入力処理回路２１は、ＣＣＤイメージセンサ１１からの画像データを画像データバス３３を介してイメージメモリ３２に供給する。ＮＴＳＣ／ＰＡＬエンコーダ２３は、イメージメモリ３２からの画像データを所定のエンコード処理を行ってファインダ３６に供給する。これにより、ファインダ３６には、被写体の映像が表示される。なお、上記ファインダ３６は、ＶＧＡフォーマットまでの画像データに対応して画像を表示するものである。
【００３１】
また、メモリコントローラ２２は、イメージメモリ３２と画像データバス３３につながる各信号処理回路の間のデータ転送を行う。解像度変換回路２８は、イメージメモリ３２からの画像データの解像度変換処理を行い、結果をイメージメモリ３２に供給する。ＪＰＥＧエンコーダ／デコーダ２９は、イメージメモリ３２からの画像データをＪＰＥＧ方式で圧縮し、ＣＰＵバス３４を介してＣＰＵ４１に供給する。ＣＰＵ４１は、かかる圧縮処理済みの画像データをＣＰＵバス３４を介して記録装置５１に書き込む。また、ＣＰＵ４１は、圧縮処理済みの画像データを、ＣＰＵバス３４，通信回路５２を介して、外部に出力することもできる。
【００３２】
このように、図２によると、信号処理部２０では、各回路は画像データバス３３を介して接続されている。上記画像データバス３３は、仮想的なバスであり、上記各回路でやりとりする画像データの転送帯域に限界があることを示すものである。
【００３３】
信号処理部２０において、ＮＴＳＣ／ＰＡＬエンコーダ２３や解像度変換回路２８等その他各回路は、画像データを処理を開始する前に、画像データを要求することを示すリクエスト信号(request)をメモリコントローラ２２に送信する。また、これらの各回路は、画像データの処理が終了した後、上記画像データを出力するときもリクエスト信号をメモリコントローラ２２に送信する。
【００３４】
一方、メモリコントローラ２２は、各回路からのリクエスト信号を受信すると、各回路の中から優先順位の高いものを選択し、選択した回路に対してアクノリッジ(acknowledge) 信号を送信する。ここで、アクノリッジ信号とは、当該信号を受信する回路に対して画像データを供給すること又は当該信号を受信した回路が出力する画像データを受け取る準備ができたことを示す信号をいう。そして、メモリコントローラ２２は、イメージメモリ３２から画像データを読み出し、上記アクノリッジ信号の送信先の回路に対して画像データバス３３を介して供給する。また、メモリコントローラ２２は、上記アクノリッジ信号の送信先の回路が出力した画像データを受け取って、この画像データをイメージメモリ３２に書き込む処理を行う。
【００３５】
なお、メモリコントローラ２２は、各回路から同時にリクエスト信号を受信したときは、リアルタイムで処理することが必要な回路を優先的に選択することができる。例えば、メモリコントローラ２２は、ファインダ３６に被写体の映像を表示させるときは、入力処理回路２１，ＮＴＳＣ／ＰＡＬエンコーダ２３を優先して選択する。また、メモリコントローラ２２は、画像データバス３３における画像データのバス占有使用率を判断して、当該占有率に応じて各回路の優先順位を決定してもよい。
【００３６】
なお、メモリコントローラ２２は、画像データバス３３の転送帯域制限内で各回路に画像データを供給することができるのであれば、時分割で各回路にアクノリッジ信号を送信して、各回路がそれぞれ所定の処理を行うように制御してもよい。これにより、メモリコントローラ２２は、事実上、各回路に対してリアルタイムでデータアクセスして、各回路からの画像データをイメージメモリ３２に書き込んだり、イメージメモリ３２の画像データを読み出して各回路に供給することができる。
【００３７】
さらに、メモリコントローラ２２は、画像データバス３３を介して図示しない外部回路とアクセスする場合であっても、当該外部回路が上述したリクエスト信号を送信したりアクノリッジ信号を受信することができるものであれば、画像データバス３３の転送帯域制限範囲内で、信号処理部２０内の各回路と同様に時分割で同時にアクセスすることができる。すなわち、メモリコントローラ２２は、画像データバス３３の帯域の範囲内であれば、信号処理部２０内の回路や外部回路の数を問わず、これらの各回路に対して時分割で同時にアクセスすることができる。
【００３８】
以上のように、メモリコントローラ２２は、画像データバス３３の調停やイメージメモリ３２と各回路間における画像データの書き込み／読み出しの制御、さらに、ＣＰＵバス３４に対してデータ転送を行っている。
【００３９】
次に、上記信号処理部２０における画像データの具体的な流れについて、図３を用いて説明する。
【００４０】
入力処理回路２１は、画像生成部１０からの画像データに所定の信号処理を行うＣＣＤインターフェース２１ａと、ＣＣＤインターフェース２１ａの処理を行うために検波処理を行う検波回路２１ｂと、画像データの変換処理を行うカメラ・ディジタル・シグナル・プロセッサ（以下、「カメラＤＳＰ」という。）２１ｃとを備える。
【００４１】
ＣＣＤインターフェース２１ａは、図１に示すＳ／Ｈ−Ａ／Ｄ回路１２からの赤信号，緑信号，青信号（Ｒ，Ｇ，Ｂ）で構成される画像データに対してディジタルクランプ，ホワイトバランス調整，ガンマ補正等の処理を行ったり、必要に応じて画像データの水平方向成分の間引き処理も行う。ＣＣＤインターフェース２１ａは、かかる処理を行った後、画像データをカメラＤＳＰ２１ｃに供給したり、画像データバス３３を介してメモリコントローラ２２に供給する。
【００４２】
検波回路２１ｂは、ＣＣＤインターフェース２１ａの画像データからオートフォーカス，オートアイリス，ホワイトバランス調整のための検波処理を行う。
【００４３】
カメラＤＳＰ２１ｃは、ＣＣＤインターフェース２１ａからのＲＧＢからなる画像データを、輝度信号Ｙ及びクロマ信号（色差信号）Ｃｂ，Ｃｒからなる画像データに変換する。また、カメラＤＳＰ２１ｃは、かかる処理を行うとともに、画像データの解像度を簡易的に変換する簡易解像度変換回路２１ｄを有する。
【００４４】
簡易解像度変換回路２１ｄは、ＣＣＤイメージセンサ１１が生成する画像データの解像度が例えばＶＧＡフォーマットより大きい場合に、画像データの解像度を低く変換するものである。
【００４５】
簡易解像度変換回路２１ｄは、具体的には図４に示すように、色差信号の分離を行うＢ−Ｙ／Ｒ−Ｙ分離回路６１と、水平方向の補間処理を行う水平方向線形補間回路６２と、色差信号の合成を行うＢ−Ｙ／Ｒ−Ｙ合成回路６３と、各信号に１水平走査期間（１Ｈ期間）の遅延を与える１Ｈ遅延回路６４と、垂直方向線形補間回路６５とを備える。
【００４６】
Ｂ−Ｙ／Ｒ−Ｙ分離回路６１は、カメラＤＳＰ２１ｃからの画像データからクロマ信号Ｃｂ，Ｃｒである色差信号Ｂ−Ｙ，Ｒ−Ｙをそれぞれ分離して水平方向線形補間回路６２に供給する。水平方向線形補間回路６２は、輝度信号Ｙ，色差信号Ｂ−Ｙ，Ｒ−Ｙにそれぞれ水平方向の補間処理を行って水平方向の解像度を低くして、補間処理済みの輝度信号Ｙ及び色差信号Ｂ−Ｙ，Ｒ−ＹをＢ−Ｙ／Ｒ−Ｙ合成回路６３に供給する。
【００４７】
Ｂ−Ｙ／Ｒ−Ｙ合成回路６３は、色差信号Ｂ−Ｙ，Ｒ−Ｙを合成し、水平方向線形補間回路６２からの輝度信号Ｙ及び合成された色差信号Ｂ−Ｙ，Ｒ−Ｙを１Ｈ遅延回路６４及び垂直方向線形補間回路６５に供給する。１Ｈ遅延回路６４は、輝度信号Ｙ及び色差信号Ｂ−Ｙ，Ｒ−Ｙにそれぞれ１Ｈ期間の遅延を与えて垂直方向線形補間回路６５に供給する。垂直方向線形補間回路６５は、Ｂ−Ｙ／Ｒ−Ｙ合成回路６３及び１Ｈ遅延回路６４からの輝度信号Ｙ及び色差信号Ｂ−Ｙ，Ｒ−Ｙに基づいて垂直方向の線形補間処理を行い、この結果、水平方向及び垂直方向の解像度が低くなった輝度信号Ｙ’及び色差信号（Ｂ−Ｙ）’，（Ｒ−Ｙ）’からなる画像データを出力する。
【００４８】
また、解像度変換回路２８は、例えば［ｐ×ｑ］の画像データを［ｍ×ｎ］の画像データに変換する解像度変換処理を行うものである。解像度変換回路２８は、主に、ＣＣＤイメージセンサ１１で生成された画像データが高解像度のときに所定の解像度に抑えるために行う処理であるが、低解像度の画像データを高解像度になるように処理してもよい。
【００４９】
解像度変換回路２８は、具体的には図５に示すように、画像データバス３３から入力される画像データを記憶する入力バッファ７１と、入力バッファ７１からの画像データを水平方向にバッファリングする水平方向バッファ７２と、水平方向バッファ７２からの画像データに水平方向の解像度変換処理を行う水平方向変換処理回路７３と、水平方向変換処理回路７３からの画像データを垂直方向にバッファリングする垂直方向バッファ７４と、垂直方向の解像度変換処理を行う垂直方向変換処理回路７５と、出力の際にバッファリングをする出力バッファ７６とを備える。
【００５０】
なお、解像度変換回路２８は、画像データの解像度変換を行う準備ができたときは、イメージメモリ３２から画像データを読み出すようにメモリコントローラ２２に要求する（リード）リクエスト信号を出力し、さらに、画像データの変換処理後に当該画像データをイメージメモリ３２に書き込むようにメモリコントローラ２２に要求する（ライト）リクエスト信号を出力する。また、解像度変換回路２８は、メモリコントローラ２２が上記リクエスト信号に応答したことを示すアクノリッジ信号を受信する。
【００５１】
一方、上記水平方向バッファ７２は、図６に示すように、１画素分の遅延を与える第１の遅延回路８１，第２の遅延回路８２，第３の遅延回路８３を直列に接続して構成される。したがって、第１の遅延回路８１は１画素分遅延した画像データを出力し、第２の遅延回路８２は２画素分遅延した画像データを出力し、第３の遅延回路８３は３画素分遅延した画像データを出力する。
【００５２】
水平方向変換処理回路７３は、図６に示すように、第１から第４の乗算器８４，８５，８６，８７と、第１から第３の加算器８８，８９，９０とを備える。場合によっては、加算器９０の後にデータを正規化するための回路が付加される。
【００５３】
第１の乗算器８４は、入力バッファ７１から供給される画像データに所定の係数を乗じて加算器８８に供給する。第２の乗算器８５は、第１の遅延回路８１から供給される画像データに所定の係数を乗じて加算器８８に供給する。第３の乗算器８６は、第２の遅延回路８２から供給される画像データに所定の係数を乗じて加算器８９に供給する。第４の乗算器８７は、第３の遅延回路８３から供給される画像データに所定の係数を乗じて加算器９０に供給する。第１の加算器８８は、各画像データを合成して第２の加算器８９に供給する。第２の加算器８９は、各画像データを合成して第３の加算器９０に供給する。第３の加算器９０は、各画像データを合成し、これを水平方向の解像度変換処理済みの画像データとして垂直方向バッファ７４に供給する。
【００５４】
以上のように水平方向変換処理回路７３は、１画素分ずつ遅延のある画像データにそれぞれ所定の重み付けを行って合成することによって、水平方向の画素間を補ったり又は間引く処理を行ったりして、水平方向の解像度を変換する。
【００５５】
垂直方向バッファ７４は、例えば図６に示すように、１ライン分の遅延を与える第１から第３のバッファメモリ９１，９２，９３を直列に接続して構成される。したがって、第１のバッファメモリ９１は１ライン分遅延した画像データを出力し、第２のバッファメモリ９２は２ライン分遅延した画像データを出力し、第３のバッファメモリ９３は３ライン分遅延した画像データを出力する。
【００５６】
垂直方向変換処理回路７５は、図６に示すように、第５から第８の乗算器９４，９５，９６，９７と、第４から第６の加算器９８，９９，１００とを備える。場合によっては、加算器９０の後にデータを正規化するための回路が付加される。
【００５７】
第５の乗算器９４は、水平方向変換回路７３から供給される画像データに所定の係数を乗じて第４の加算器９８に供給する。第６の乗算器９５は、第１のラインメモリ９１から供給される画像データに所定の係数を乗じて第４の加算器９８に供給する。第７の乗算器９６は、第２のラインメモリ９２から供給される画像データに所定の係数を乗じて第５の加算器９９に供給する。第８の乗算器９７は、第３のラインメモリ９３から供給される画像データに所定の係数を乗じて第６の加算器１００に供給する。第４の加算器９８は、各画像データを合成して第５の加算器９９に供給する。第５の加算器９９は、各画像データを合成して第６の加算器１００に供給する。第６の加算器１００は、各画像データを合成し、これを垂直方向の解像度変換処理済みの画像データとして出力する。
【００５８】
以上のように垂直方向変換処理回路７５は、１ライン分ずつ遅延のある画像データにそれぞれ所定の重み付けを行って合成することによって、垂直方向の画素間を補う処理を行ったり又は間引く処理を行ったりして、垂直方向の解像度を変換する。
【００５９】
なお、解像度変換回路２８は、図６において、水平方向の解像度変換処理を行ってから垂直方向の解像度変換処理を行っているが、図７に示すように、垂直方向の解像度変換処理を行ってから水平方向の解像度変換処理を行ってもよい。すなわち、解像度変換回路２８は、入力バッファ７１からの画像データを垂直方向バッファ７４に供給し、垂直方向バッファ７４，垂直方向変換処理回路７５，水平方向バッファ７２，水平方向変換処理回路７３の順に各処理を行うような構成にしてもよい。
【００６０】
また、垂直方向バッファ７４における第１から第３のバッファメモリ９１，９２，９３は、１ライン（１Ｈ）分の画像データを記憶することができるとしたが、図８に示すように、１ラインより少ない例えばＮピクセル（ピクセル長Ｎ）の画像データを記憶することができるものであってもよい。このとき、メモリコントローラ２２は、図９に示すように、イメージメモリ３２に記憶されている画像データをＮピクセル毎に読み出す必要がある。
【００６１】
具体的には、メモリコントローラ２２は、イメージメモリ３２に記憶されている１画面分の画像データを、各ライン毎にＮピクセルずつ垂直方向に読み出す。ここで、図１０に示すように、１画面はｐ×ｑ［ピクセル］からなり、左上のピクセルの座標を（１，１）、右上のピクセルの座標を（ｐ，１）、左下のピクセルの座標を（１，ｑ）、右下のピクセルの座標を（ｐ，ｑ）とする。
【００６２】
メモリコントローラ２２は、図１１に示すように、最初に、水平方向にＮピクセル分の画像データを、１行目，２行目，・・・ｑ行目の順にライン毎に読み出す。これにより、メモリコントローラ２２は、左端からＮピクセル分の画像データ、すなわち（１，１）（１，ｑ）（Ｎ，ｑ）（Ｎ，１）で囲まれる範囲（Ｎ×ｑピクセル分）の画像データ（以下、「画像データ群（１）」という。）を読み出す。
【００６３】
メモリコントローラ２２は、次に、（Ｎ−１，１）（Ｎ−１，ｑ）（Ｎ−２，ｑ）（Ｎ−２，１）で囲まれる範囲の画像データ（以下、「画像データ群（２）」という。以下同様。）を読み出す。ここで、メモリコントローラ２２は、列（１）及び画像データ群（２）を読み出すと、（Ｎ−１）列目及びＮ列目の画像データを２度読み出すことになる。
【００６４】
この理由は、垂直方向変換処理回路７５は、周辺のピクセルから補間処理を行うため、第１から第３のバッファメモリ９１，９２，９３の最初と最後に記憶されているピクセルについては処理結果の対象としないからである。例えば、（Ｎ，１）のピクセルは、画像データ群（１）が読み出されたときは、垂直方向の補間処理結果の対象とならない。しかし、この（Ｎ，１）のピクセルは、画像データ群（２）が読み出されるときにも読み出され、このときに補間処理結果の対象となる。
【００６５】
同様にして、メモリコントローラ２２は、直前の画像データ群のうち最後の２列目分の画像データを含むようにして水平方向にＮピクセル分の画像データを各ライン毎に読み出し、これにより、画像データ群を解像度変換回路２８に供給する。
【００６６】
解像度変換回路２８の垂直方向バッファ７４には、第１から第３のバッファメモリ９１，９２，９３の容量に合致した画像データが各ライン毎に供給される。したがって、第１から第３のバッファメモリ９１，９２，９３には、それぞれ１ラインずつずれた画像データが記憶されることになる。垂直方向変換処理回路７５は、垂直方向バッファ７４の第１から第３のバッファメモリ９１，９２，９３からの各画像データに基づいて、垂直方向の解像度変換処理を行うことができる。
【００６７】
以上のように、メモリコントローラ２２は、垂直方向画像度変換に必要なバッファメモリの容量が１ライン分に満たなくても、バッファメモリの容量に合わせて読み出しを行うことによって、解像度変換回路２８に垂直方向の解像度変換を行わせることができる。
【００６８】
なお、ここでは、画像データ群の間の読み出し重複は２列となっているが重複が２列より大きい場合や、重複がない場合も考えられる。また、解像度変換に限らず、カメラ信号処理等の画像信号処理にも適用される。
【００６９】
また、ここでは、バッファメモリが垂直方向の補間処理に用いられている場合を例に挙げて説明したが、バッファメモリが水平方向の補間処理に用いられている場合であっても同様である。
【００７０】
すなわち、例えば図１２に示すように、解像度変換回路２８がＮピクセル分の容量のバッファメモリからなる水平方向バッファ７２ａを用いて水平方向の解像度変換を行う場合であってもよい。メモリコントローラ２２は、図１３に示すように、垂直方向にＮピクセル分の画像データを、１列目，２列目，・・・ｐ行目の順に各列毎に読み出せばよい。なお、メモリコントローラ２２は、上述した垂直補間処理の場合と同様に、バッファメモリの最初と最後に記憶される画像データに対しては、水平補間処理の対象になるように２度読み出す必要がある。
【００７１】
このように、メモリコントローラ２２は、Ｎピクセル分のデータ容量からなる第１から第３のバッファメモリ９１，９２，９３に対しても、水平方向及び垂直方向の解像度変換処理が行われるように、イメージメモリ３２から画像データを読み出すことができる。これにより、水平方向バッファ７２及び垂直方向バッファ７４の回路規模を小さくして生産コストを削減することができる。
【００７２】
ＮＴＳＣ／ＰＡＬエンコーダ２３は、上述したエンコードを行うだけでなく、エンコード処理を行う前に必要に応じて画像データの解像度を高くする簡易解像度変換回路２３ａを有する。
【００７３】
簡易解像度変換回路２３ａは、イメージメモリ３２上の画像データが表示に必要な解像度より低い場合に、ファインダ３６の表示規格に合うような解像度変換を行う。
【００７４】
簡易解像度変換回路２３ａは、具体的には図１４に示すように、画像データバス３３からの画像データを記憶するラインメモリ１０１と、垂直方向に画像データの補間処理を行う垂直方向線形補間回路（以下、「Ｖ方向線形補間回路」という。）１０２と、水平方向補間回路１０３とを備える。
【００７５】
ラインメモリ８１は、入力端子inからの画像データを１ライン分記憶し、かかる画像データを記憶した順に垂直方向線形補間回路８２に供給する。垂直方向線形補間回路８２は、上記入力端子inからの画像データと垂直方向線形補間回路８２からの画像データに所定の重み付けをすることにより垂直方向の線形補間をする。次に水平方向の補間として、Ｙは７次のフィルタ、Ｃｂ，Ｃｒは３次のフィルタによる補間を行っており、これは解像度を２倍に上げる補間のみである。そして、画像データを出力端子outを介して出力する。
【００７６】
例えば、上記入力端子inから入力される画像データをａ、ラインメモリ１０１から読み出される画像データをｂ、重み付けを行うための係数をｇ（０≦ｇ≦１）、Ｖ方向線形補間回路１０２が出力する画像データをｃとすると、Ｖ方向線形補間回路１０２は以下の演算を行う。
【００７７】
ｃ＝ｇ＊ａ＋（１−ｇ）＊ｂ
なお、出力端子out から出力された画像データは、上述したように、エンコード処理される。
【００７８】
以上のように、ディジタル・スチル・カメラ１は、信号処理系においては信号処理部２０とＣＰＵ４１とのいわゆる２チップで構成されている。したがって、各信号処理回路がそれぞれチップ構成となっている複数チップの場合に比べて、基板面積を縮小することができ、さらに消費電力を削減することができる。
【００７９】
また、信号処理部２０は、ＣＰＵを含めたチップ構成となっていないので、ＣＰＵ４１に関わるアプリケーションの変更が生じた場合でもそれに対応して信号処理を行うことができる。すなわち、ＣＰＵを含めたチップ構成の場合、当該ＣＰＵのアプリケーションの変更が生じたときにはそれに対応してチップの再構成をすることは不可能である。しかし、上記信号処理部２０は、アプリケーション毎に最適な構成のＣＰＵを用いて、所定の信号処理を行うことができる。
【００８０】
かかる構成のディジタル・スチル・カメラ１は、撮影前に被写体の状態や位置等を確認するためのファインダモード、確認した被写体の映像を撮影する記録モード、撮影された被写体像の写りを確認するための再生モードを有し、各モードに応じて処理を行う。
【００８１】
ファインダモードでは、ユーザは、図示しないシャッタボタンを押圧して被写体を撮影する前に、ファインダ３６に表示される被写体の様子を観察する必要がある。このファインダモードでは、ＣＰＵ４１は、メモリコントローラ２２やその他各回路を以下のように制御する。なお、各モードの説明については主に図３を用い、適宜図１５を参照するものとする。
【００８２】
上記ファインダモードにおいて、ＣＣＤイメージセンサ１１は、垂直方向成分を１／３に間引いた画像信号を生成し、Ｓ／Ｈ−Ａ／Ｄ回路１２を介してディジタル化された画像データをＣＣＤインターフェース２１ａに供給する。
【００８３】
ＣＣＤインターフェース２１ａは、図１５（Ａ）に示すクロックに同期して、信号処理を行う。具体的には、ＣＣＤインターフェース２１ａは、図１５（Ｂ）に示すように、画像生成部１０から供給される画像データの水平方向成分を１／３に間引く処理をし、さらに、ガンマ補正等を行ってカメラＤＳＰ２１ｃに供給する。ＣＣＤインターフェース２１ａは、１／３間引きの結果、３４０×２５６に変換した画像データをカメラＤＳＰ２１ｃに供給する。
【００８４】
カメラＤＳＰ２１ｃは、図１５（Ｃ）に示すように、間引き処理後の画像データにデータ変換処理を行って、ＹＣｒＣｂの画像データに変換する。カメラＤＳＰ２１ｃは、さらに簡易解像度変換回路２１ｄにおいて画像データの解像度を低くすべく解像度変換をして（３４０×２５６→３２０×２４０）、かかる変換処理後の画像データを画像データバス３３を介してメモリコントローラ２２に供給する。
【００８５】
ここで、簡易解像度変換回路２１ｄは、後の処理に必要な程度に簡易的に解像度を低くしている。これにより、ＣＣＤイメージセンサ１１で生成される画像データが高解像度であっても、画像データバス３３において上記画像データが占める転送帯域を小さくすることにより画像データバス３３の渋滞を回避し、ファインダモードのリアルタイム性を維持することができる。
【００８６】
メモリコントローラ２２は、上記画像データをイメージメモリ３２に書き込み、さらに、図１５（Ｄ）に示すように、イメージメモリ３２から画像データを読み出し、画像データバス３３を介してＮＴＳＣ／ＰＡＬエンコーダ２３に供給する。メモリコントローラ２２は、同時に、図１５（Ｅ）に示すように、イメージメモリ３２に記憶されているＯＳＤデータも読み出し、画像データバス３３を介してＮＴＳＣ／ＰＡＬエンコーダ２３に供給する。図１５（Ｆ）は上記のリアルタイム処理を可能とする画像データバス３３上の転送の様子を示す。
【００８７】
ＮＴＳＣ／ＰＡＬエンコーダ２３は、画像データバス３３から供給される画像データにＮＴＳＣ方式の場合は３２０×２４０→６４０×２４０、ＰＡＬ方式の場合は３２０×２４０→６４０×２８８の解像度変換処理を行って、変換処理後の画像データをＮＴＳＣ／ＰＡＬエンコーダ２３に供給する。ＮＴＳＣ／ＰＡＬエンコーダ２３は、さらに、画像データをＮＴＳＣ方式あるいはＰＡＬ方式に変換してＯＳＤデータを合成し、これを図２に示すファインダ３６に供給する。これにより、ファインダ３６には、被写体の画像及び字幕情報等がリアルタイムで表示される。
【００８８】
なお、ＮＴＳＣ／ＰＡＬエンコーダ２３は、解像度が小さいものに対してはそれが大きくなるように解像度変換を行い、例えば３２０×２００の画像データが供給された場合にも、ＮＴＳＣ方式の場合６４０×２４０、ＰＡＬ方式の場合６４０×２８８の画像データに変換して出力する。
【００８９】
以上のように、ディジタル・スチル・カメラ１は、ファインダモードにおいては、図１５（Ｆ）に示すタイミングで、ＣＣＤイメージセンサ１１で生成された画像データの解像度を簡易的に低くしてデータ量を減らし、画像データが画像データバス３３の帯域制限内に収まるようにして、さらに表示に必要なだけ出力段階で解像度を高くしてファインダ３６に表示している。
【００９０】
これにより、ディジタル・スチル・カメラ１は、画像データが高解像度であっても、比較的処理時間を要する大がかりな間引き処理を行うことなく画像データバス３３の帯域制限内に抑えることによって、リアルタイムで被写体の画像をファインダ３６に表示させることができる。
【００９１】
なお、ＣＰＵ４１は、予め優先して処理を行う回路（ＣＣＤインターフェース２１ａ，カメラＤＳＰ２１ｃ，ＮＴＳＣ／ＰＡＬエンコーダ２３）を設定しておき、時分割で、これらの回路の他に他の回路でも信号処理をしている場合には、画像データのデータ量に応じて優先度の高い上記各回路の処理を優先して行うようにしてもよい。
【００９２】
また、簡易解像度変換部２１ｄは、ＣＰＵ４１の制御に基づいて、画像データのデータ量が大きいときは、リアルタイムで処理することを優先すべく、画質を多少落として高速にデータ処理を行うようにすることもできる。これにより、ファインダモードでは、画像生成部１０で生成される画像データのデータ量が多くても、よりリアルタイムで処理を行うことができる。
【００９３】
また、電子ズーム機能を備えるディジタル・スチル・カメラ１の場合には、ＣＰＵ４１は、以下のようにして各回路を制御してもよい。
【００９４】
メモリコントローラ２２は、ＣＣＤインターフェース２１ａ，カメラＤＳＰ２１ｃを介して供給される画像データをイメージメモリ３２に書き込み、そして、イメージメモリ３２から当該画像データを読み出して解像度変換回路２８に供給する。解像度変換回路２８は、電子ズーム機能によって入力した画像の一部分を拡大した画像データを作成し、イメージメモリ３２へ出力する。この画像データをイメージメモリ３２から読み出し、ＮＴＳＣ／ＰＡＬエンコーダ２３を介してファインダ３６に出力する。これにより、電子的にズーム処理された画像データを生成することができる。
【００９５】
上述したように、ファインダモードでは、ＣＰＵ４１は、リアルタイム性を最優先するため、比較的時間のかかる処理を各回路に行わせていない。しかしながら、ＣＰＵ４１は、画像データバス３３の転送帯域の許す範囲内であれば、メモリコントローラ２２やその他の回路に様々な処理を行わせてもよい。
【００９６】
例えば、メモリコントローラ２２は、ＣＣＤインターフェース２１ａ等から供給された画像データを記憶するイメージメモリ３２から、当該画像データを読み出し、画像データバス３３を介してＮＴＳＣ／ＰＡＬエンコーダ２３に供給するとともにＪＰＥＧエンコーダ／デコーダ２９にも供給してもよい。このとき、ファインダ３６はリアルタイムで被写体の映像を表示する一方、ＪＰＥＧエンコーダ／デコーダ２９は画像データのＪＰＥＧ圧縮処理を行う。
【００９７】
ＪＰＥＧエンコーダ／デコーダ２９は、静止画像の圧縮／伸張処理を行うものであり、高画素の画像をリアルタイムで処理をすることはできない。そこで、ＪＰＥＧエンコーダ／デコーダ２９は、画像データバス３３から供給される画像データのコマ数（フレーム数又はフィールド数）を所定数ずつ間引いて圧縮処理を行ったり、また、画像の一部を切り取って解像度を低くして圧縮処理を行ってもよい。これにより、コマ落としの静止画像を連続して撮影したり、解像度の低い静止画像を連続して撮影することができる。
【００９８】
ユーザは、上述したファインダモードにおいてファインダ３６に表示される被写体の様子を観察し、被写体を撮影すると決定すると、次に図示しないシャッタボタンを押圧する。
【００９９】
ディジタル・スチル・カメラ１は、上記シャッタボタンが押圧されると、記録モードに移行する。記録モードになると、ＣＰＵ４１は、ファインダモードの制御を行いながら、撮影された被写体の画像を記録装置５１に記録すべく、メモリコントローラ２２やその他各回路を以下のように制御する。
【０１００】
ＣＣＤイメージセンサ１１は、シャッタボタンの押圧に同期して間引き処理を停止して、ＸＧＡフォーマットの画像信号を生成し、Ｓ／Ｈ−Ａ／Ｄ回路１２を介してディジタル化された画像データをＣＣＤインターフェース２１ａに供給する。
【０１０１】
ＣＣＤインターフェース２１ａは、Ｓ／Ｈ−Ａ／Ｄ回路１２から供給される画像データを、カメラＤＳＰ２１ｃでなく、画像データバス３３を介してメモリコントローラ２２に供給する。メモリコントローラ２２は、画像データをイメージメモリ３２に書き込んだ後、当該画像データを読み出し、画像データバス３３を介してカメラＤＳＰ２１ｃに供給する。カメラＤＳＰ２１ｃは、ＲＧＢからなる画像データをＹ，Ｃｂ，Ｃｒからなる画像データに変換する。
【０１０２】
ここで、カメラＤＳＰ２１ｃには、イメージメモリ３２に一度書き込まれた画像データが供給される。すなわち、カメラＤＳＰ２１ｃは、ＣＣＤインターフェース２１ａから直接供給される画像データではなく、イメージメモリ３２からの画像データに対してデータ変換処理を行う。したがって、カメラＤＳＰ２１ｃは、高速にデータ変換処理を行う必要はなく、画像データバス３３が空いているときにかかる処理を実行してもよい。換言すると、記録モードでは、カメラＤＳＰ２１ｃは、リアルタイムで処理する必要がないので、画像データに対して処理速度より画質の向上を優先してデータ変換処理を行い、かかる変換処理済みの画像データを画像データバス３３を介してメモリコントローラ２２に供給する。メモリコントローラ２２は、この画像データをイメージメモリ３２に書き込む。
【０１０３】
メモリコントローラ２２は、イメージメモリ３２から上記画像データを読み出してＪＰＥＧエンコーダ／デコーダ２９に供給する。ＪＰＥＧエンコーダ／デコーダ２９は、画像データをＪＰＥＧ圧縮して、ＣＰＵバス３４を介して、図２に示す記録装置５１に書き込む。
【０１０４】
以上のように、ＣＰＵ４１は、記録モードの時のように、リアルタイムで処理を行う必要のない場合には、一度画像データをイメージメモリ３２に書き込んでから所定の処理を行うことによって、回路規模の増大を防ぎつつ画像データバス３３の転送帯域を有効に利用して高画素の画像を処理することができる。
【０１０５】
なお、ＣＰＵ４１は、上記記録モードにおいて、ＸＧＡフォーマットの画像データをそのまま記録装置５１に記録していたが、解像度変換回路２８で画像データの解像度変換を行ってから記録装置５１に記録してもよい。具体的には、ＣＰＵ４１は、メモリコントローラ２２を介してイメージメモリ３２から読み出した画像データを、解像度変換回路２８にＶＧＡに対応するように解像度変換を行わせて（１０２４×７６８→６４０×４８０）、かかる画像データをＪＰＥＧエンコーダ／デコーダ２９に圧縮させてから記録装置５１に記録してもよい。
【０１０６】
ユーザは、被写体の撮影後、撮影した画像を確認したいときには、撮影した画像を再生すべく、図示しない再生ボタンを押圧する。
【０１０７】
ディジタル・スチル・カメラ１は、上記再生ボタンが押圧されると、再生モードに移行する。そして、再生モードになると、ＣＰＵ４１は、撮影された被写体の画像データを記録装置５１から読み出すべく、各回路を以下のように制御する。
【０１０８】
ＣＰＵ４１は、上記再生ボタンの押圧を検出すると、記録装置５１から画像データを読み出して一時ＤＲＡＭ４２に格納した後、ＣＰＵバス３４を介してＪＰＥＧエンコーダ／デコーダ２９に供給する。ＪＰＥＧエンコーダ／デコーダ２９は、記録装置５１から読み出された画像データにＪＰＥＧ伸張処理を行ってＸＧＡフォーマットの画像データを得て、画像データバス３３を介してメモリコントローラ２２に供給する。
【０１０９】
メモリコントローラ２２は、上記画像データをイメージメモリ３２に書き込み、さらに、当該画像データをイメージメモリ３２から読み出して、画像データバス３３を介して解像度変換回路２８に供給する。
【０１１０】
解像度変換回路２８は、画像データがＶＧＡフォーマットに対応するように解像度変換を行い（ＮＴＳＣ方式では１０２４×７６８→６４０×４８０、ＰＡＬ方式では１０２４×７６８→６４０×５７６）、画像データバス３３を介してメモリコントローラ２２に供給する。メモリコントローラ２２は、解像度変換処理済みの画像データをイメージメモリ３２に書き込み、そして、当該画像データをイメージメモリ３２から読み出して、ＮＴＳＣ／ＰＡＬエンコーダ２３を介してファインダ３６に供給する。これにより、ファインダ３６には、記録装置５１に記録されていた画像データに基づく画像が表示される。
【０１１１】
すなわち、ＣＰＵ４１は、記録装置５１に記録されいる画像データの解像度が高いので、この解像度を低くしてから画像データをファインダ３６に供給している。
【０１１２】
また、ＣＰＵ４１は、ファインダモード，記録モード，再生モードの各モードについてそれぞれ優先して処理する回路の優先順位を決定しておき、いずれかのモードに移行した場合に上記優先順位に従って各回路に処理を実行させてもよい。これにより、各モードの処理内容に応じて画像データの信号処理を効率的に行うことができる。
【０１１３】
上述した実施の形態では、ＸＧＡ相当の画像データを処理する場合を例に挙げて説明したが、本発明は、これに限定されず、例えば１００万画素以上からなる画像データを処理する場合についても適用することができるのは勿論である。
【０１１４】
【発明の効果】
以上詳細に説明したように、本発明に係る撮像装置によれば、第１の動作モードでは、撮像部から入力される画像データに変換処理手段により第１の変換処理を施し、さらに、第１の解像度変換手段により解像度変換処理を施して解像度を低くした画像データが、画像データバスを介してメモリ制御部に供給されメモリ部に書き込まれ、上記メモリ部に書き込まれた画像データが上記メモリ制御部により読み出され、上記画像データバスを介して供給される画像データに第２の変換処理手段により第２の変換処理を施して表示手段に出力するので、上記画像データバスにおける画像データの占有量を少なくすることができ、上記撮像部による生成された画像データによる被写体の画像を表示手段に実時間で表示することができる。また、第２の動作モードでは、上記撮像部から入力される画像データが、上記画像データバスを介して上記メモリ制御部に供給され上記メモリ部に書き込まれ、上記メモリ部に画像データに書き込まれた画像データが上記メモリ制御部により読み出されて上記画像データバスを介して上記変換処理部に供給され、上記変換処理部により上記第１の変換処理が施された画像データが上記画像データバスを介して上記メモリ制御部に供給されて上記メモリ部に書き込まれ、上記メモリ部に画像データに書き込まれた画像データが上記メモリ制御部により読み出され、上記画像データバスを介して供給される画像データに第３の変換処理手段により第３の変換処理を施して記録手段に出力するので、回路規模の増大を防ぎつつ画像データバスの転送帯域を有効に利用して高画素の画像を処理して記録することができる。
【図面の簡単な説明】
【図１】本発明を適用したディジタル・スチル・カメラの構成を示すブロック図である。
【図２】上記ディジタル・スチル・カメラの概略構成を示すブロック図である。
【図３】上記ディジタル・スチル・カメラの信号処理部における画像データの流れを説明するためのブロック図である。
【図４】上記信号処理部の入力処理回路における簡易解像度変換回路の構成を示すブロック図である。
【図５】上記信号処理部の解像度変換回路の構成を示すブロック図である。
【図６】上記解像度変換回路の水平方向バッファ，水平方向変換処理回路，垂直方向バッファ，垂直方向変換処理回路の具体的な構成を示すブロック図である。
【図７】上記解像度変換回路の他の構成を示すブロック図である。
【図８】上記解像度変換回路の垂直方向バッファの構成を示すブロック図である。
【図９】メモリコントローラがイメージメモリから画像データ読み出すときの手法について説明する図である。
【図１０】１画面を構成するピクセルの座標位置を説明する図である。
【図１１】メモリコントローラがイメージメモリから画像データ読み出すときの手法について説明する図である。
【図１２】上記解像度変換回路の水平方向バッファがラインバッファから構成されているときの構成を示すブロック図である。
【図１３】メモリコントローラがイメージメモリから画像データ読み出すときの手法について説明する図である。
【図１４】上記信号処理部のＮＴＳＣ／ＰＡＬエンコーダにおける簡易解像度変換回路の構成を示すブロック図である。
【図１５】ファインダモードにおける各回路の信号処理の内容を説明するタイミングチャートである。
【図１６】従来のディジタル・スチル・カメラの構成について説明するブロック図である。
【符号の説明】
１ ディジタル・スチル・カメラ、２０ 信号処理部、２１ 入力処理回路、２２ メモリコントローラ、２３ ＮＴＳＣ／ＰＡＬエンコーダ、２８ 解像度変換回路、３２ イメージメモリ、３３ 画像データバス、３４ ＣＰＵバス、４０ 制御部、４１ ＣＰＵ
【発明の属する技術分野】
本発明は、ファインダに被写体の映像をリアルタイムで表示する機能を備えた撮像装置に関する。
【０００２】
【従来の技術】
ディジタル・スチル・カメラは、ＣＣＤイメージセンサで得られた画像データをメモリや記録媒体に取り込み、その後画像データをいわゆるパーソナル・コンピュータ等に転送している。このようなディジタル・スチル・カメラは、今までは、ＶＧＡ(Video Graphics Array)システム対応型のものがほとんどであった。
【０００３】
例えば図１６に示すように、かかるディジタル・スチル・カメラ２００は、画像信号を生成するＣＣＤイメージセンサ２０１と、入力処理／画像処理回路２０２と、画像データの読み出し又は書き込みの処理を行うメモリコントローラ２０３と、所定の方式の出力画像に変換する出力処理回路２０４と、撮影時の被写体の状況を表示するファインダ２０５と、ＣＰＵバス２０６を介して、圧縮された画像データを記録する記録部２０７と、画像データの圧縮又は伸張処理を行う圧縮／伸張回路２０８と、画像データを記憶すべく例えばＤＲＡＭ等からなるメモリ２０９と、装置全体を制御するＣＰＵ２１０とを備える。
【０００４】
被写体の撮影開始前においては、ユーザは、ファインダ２０５に表示される被写体像を確認する必要がある（ファインダモード）。このとき、ＣＣＤイメージセンサ２０１は、被写体からの撮像光によって光電変換して得られた画像信号を入力処理／画像処理回路２０２に供給する。入力処理／画像処理回路２０２は、例えば上記画像信号に相関二重サンプリング処理を行ってディジタル化し、さらにガンマ補正，ニー処理，カメラ処理等の所定の信号処理を行って、メモリコントローラ２０３に供給する。メモリコントローラ２０３は、ＣＰＵ２１０の制御に応じて、入力処理／画像処理回路２０２からの画像データを出力処理回路２０４に供給する。出力処理回路２０４は、画像データを例えばＮＴＳＣ(National Television System Committee)方式にエンコードし、さらにアナログ化してファインダ２０５に供給する。これにより、ファインダ２０５には、撮影の対象たる被写体が表示される。
【０００５】
一方、ユーザが図示しないシャッタボタンを押して記録モードに移行すると、メモリコントローラ２０３は、入力処理／画像処理回路２０２から供給される画像データをメモリ２０９に書き込む。ＣＰＵ２１０は、メモリ２０９から画像データを読み出し、当該画像データを圧縮／伸張回路２０８において例えばＪＰＥＧ(Joint Photographic Experts Group)圧縮処理を行って、記録部２０７に記録する。
【０００６】
また、ユーザの所定の操作によって再生モードに移行すると、ＣＰＵ２１０は、記録部２０７から画像データを読み出し、当該画像データを圧縮／伸張回路２０８においてＪＰＥＧ伸張処理を行った後、メモリコントローラ２０３，出力処理回路２０４を介してファインダ２０５に供給する。かくして、ファインダ２０５には、撮影された画像が表示されることになる。
【０００７】
【発明が解決しようとする課題】
近年、ＣＣＤイメージセンサの飛躍的な技術進歩に伴い、画像データの解像度は１００万画素を超えるようになりつつある。これに対して、上述したような構成のディジタル・スチル・カメラ２００では、１００万画素を超える画像データに十分に対応することができないことが考えられる。
【０００８】
例えば、ファインダモードにおいて、ＣＣＤイメージセンサ２０１が高解像度の画像信号を生成した場合では、入力処理／画像処理回路２０２は、ファインダ２０５の解像度に合わせて、画像データの解像度変換をリアルタイムで行わなければならない。また、同時に、メモリコントローラ２０３はメモリ２０９にアクセスしなければならず、出力処理回路２０４も所定の処理を行う必要がある。
【０００９】
そして、ＣＰＵバス１０６の渋滞が発生し、各回路はリアルタイムで所定の処理を実行することができなくなり、この結果、ファインダ２０５に被写体の映像がコマ落としで表示されることになる。これでは、被写体に動きがあった場合には、実際の被写体とファインダ２０５に表示される被写体の動きにずれが生じ、撮影に支障が生じてしまう。
【００１０】
一方、画像データが高解像度でなくても、ファインダ２０５の方式に対応して画像データの解像度を例えばＮＴＳＣ方式又はＰＡＬ方式に変換する必要があり、この場合にもリアルタイムでファインダに画像を表示することが要求される。
【００１１】
本発明は、このような実情に鑑みて提案されたものであり、高解像度の画像データであっても、リアルタイムでファインダに画像を表示することができる撮像装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る撮像装置は、被写体からの撮像光に応じた画像データを生成する撮像部と、入力される画像データを色差形式の画像データに変換する第１の変換処理を行う変換処理手段と、画像データに解像度を低くする解像度変換処理を施す第１の解像度変換手段と、画像データが転送される画像データバスと、上記画像データバスを介して供給される画像データをメモリ部に書き込み、上記メモリ部に書き込まれた画像データを読み出して上記画像データバスに出力するメモリ制御部と、第１の動作モードと第２の動作モードの制御を行う制御部と、上記画像データバスを介して供給される画像データを出力先の信号規格に対応する画像データに変換して出力する出力処理部を備え、上記出力処理部は、上記第１の動作モードにおいて、上記メモリ制御部により上記メモリ部から読み出され、上記画像データバスを介して供給される画像データを出力先の信号規格に対応する画像データに変換する第２の変換処理を行う第２の変換処理手段と、上記第２の動作モードにおいて、上記メモリ制御部により上記メモリ部から読み出され、上記画像データバスを介して供給される画像データを出力先の信号規格に対応する画像データに変換する第３の変換処理を行う第３の変換処理手段とを備え、上記第１の動作モードにおいて、上記撮像部から入力される画像データに上記変換処理手段により上記第１の変換処理を施し、さらに、上記第１の解像度変換手段により解像度変換処理を施して解像度を低くした画像データが、上記画像データバスを介して上記メモリ制御部に供給され上記メモリ部に書き込まれ、上記メモリ部に書き込まれた画像データが上記メモリ制御部により上記メモリ部から読み出され、上記画像データバスを介して供給される画像データに上記第２の変換処理手段により上記第２の変換処理を施して表示手段に出力し、上記第２の動作モードにおいて、上記撮像部から入力される画像データが、上記画像データバスを介して上記メモリ制御部に供給され上記メモリ部に書き込まれ、上記メモリ部に画像データに書き込まれた画像データが上記メモリ制御部により上記メモリ部から読み出されて上記画像データバスを介して上記変換処理部に供給され、上記変換処理部により上記第１の変換処理が施された画像データが上記画像データバスを介して上記メモリ制御部に供給されて上記メモリ部に書き込まれ、上記メモリ部に画像データに書き込まれた画像データが上記メモリ制御部により上記メモリ部から読み出され、上記画像データバスを介して供給される画像データに上記第３の変換処理手段により上記第３の変換処理を施して記録手段に出力する。
【００１３】
上記撮像手段では、上記第１の解像度変換手段が画像データの解像度を低くして画像データバスにおける画像データの占有率を低くし、上記第２の解像度変換手段が画像データの解像度を高くして表示に必要な解像度にする。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１５】
本発明は、例えば図１に示す構成のディジタル・スチル・カメラ１に適用される。
ディジタル・スチル・カメラ１は、画像信号を生成する画像生成部１０と、画像データに所定の信号処理を行う信号処理部２０と、ＳＤＲＡＭからなるイメージメモリ３２と、信号処理部２０の制御を行う制御部４０とを備える。
【００１６】
画像生成部１０は、画像信号を生成する個体撮像素子、例えばＣＣＤイメージセンサ１１と、上記画像信号にサンプルホールド処理及びディジタル化処理を行って画像データを出力するサンプル／ホールド−アナログ／ディジタル回路（以下、「Ｓ／Ｈ−Ａ／Ｄ回路」という。）１２と、タイミング信号を発生するタイミングジェネレータ１３とを備える。このタイミングジェネレータ１３は、信号処理部２０から供給される同期信号に基づいて、画像生成部１０の各回路を制御する水平同期信号及び垂直同期信号を発生するものである。
【００１７】
ＣＣＤイメージセンサ１１は、例えば８０万画素からなるＸＧＡ（eXtended Graphics Array：１０２４×７６８）相当の画像データを生成する。ＣＣＤイメージセンサ１１は、タイミングジェネレータ１３からの同期信号に基づいて駆動され、毎秒３０フレームの画像信号を出力する。なお、ＣＣＤイメージセンサ１１は、画像信号の間引き機能を有し、制御部４０の制御に従って、画像信号の垂直方向成分を１／２，１／３，１／４・・・に間引いて出力することができる。
【００１８】
Ｓ／Ｈ−Ａ／Ｄ回路１２も、上記タイミングジェネレータ１３からの同期信号に基づき、所定のサンプリング間隔でサンプルホールド及びＡ／Ｄ変換処理を行い、この画像データを信号処理部２０に供給する。
【００１９】
信号処理回路２０は、１個のＬＳＩ(Large Scale Integrated circuit)によって構成される。信号処理部２０は、画像生成部１０からの画像データに入力処理とカメラ処理を行う入力処理回路２１と、イメージメモリ３２に対する画像データの読み出し／書き込みを制御するメモリコントローラ２２と、ＮＴＳＣ／ＰＡＬ(Phase Alternation by Line) エンコーダ２３と、画像データをアナログ化して外部に出力するＤ／Ａコンバータ２４と、同期信号を発生してタイミングジェネレータ１３に供給するシンク・ジェネレータ２６とを備える。
【００２０】
また、信号処理部２０は、イメージメモリ３２のインターフェースであるメモリインターフェース２７と、画像データの解像度変換処理を行う解像度変換回路２８と、画像データの圧縮／伸張処理を行うＪＰＥＧ(Joint Photographic Experts Group)エンコーダ／デコーダ２９と、ＪＰＥＧエンコーダ／デコーダ２９のインターフェースであるＪＰＥＧインターフェース３０と、制御部４０の後述するＣＰＵとデータの送受信を行うためのインターフェースであるホスト・インターフェース３１とを備える。
【００２１】
入力処理回路２１は、Ｓ／Ｈ−Ａ／Ｄ回路１２からの画像データにディジタルクランプ，シェーディング補正，アパーチャ補正、ガンマ補正，色処理等を行って、メモリコントローラ２２に供給する。入力処理回路２１は、入力データを信号処理してＹ，Ｃｂ，Ｃｒに変換する機能を持つ。入力処理回路２１は、画像データの解像度が例えばＶＧＡ(Video Graphics Array)フォーマットよりも大きいときは、その解像度を低くする処理も行うことができる。また、入力処理回路２１は、オート・フォーカス，オート・アイリスの検波処理を行って、そのデータを制御部４０に送り、フォーカス機構，アイリス機構の自動調整を行う。さらに、入力処理回路２１は、画像データを構成する３原色信号の信号レベルを検出してオートホワイトバランス調整も行う。
【００２２】
メモリコントローラ２２は、入力処理回路２１や他の回路から供給される画像データをメモリインターフェース２７を介してイメージメモリ３２に書き込み、また、イメージメモリ３２の画像データをメモリインターフェース２７を介して読み出す制御を行う。このとき、メモリコントローラ２２は、イメージメモリ３２に記憶された画像データに基づいて、ＣＣＤイメージセンサ１１に欠陥画素があるかを検出することも行う。
【００２３】
メモリコントローラ２２は、イメージメモリ３２から読み出した画像データを例えばＮＴＳＣ／ＰＡＬエンコーダ２３に供給する。ＮＴＳＣ／ＰＡＬエンコーダ２３は、メモリコントローラ２２から画像データ供給されると、この画像データにＮＴＳＣ方式又はＰＡＬ方式のエンコードを行ってＤ／Ａコンバータ２４に供給する。Ｄ／Ａコンバータ２４は、かかる画像データをアナログ化して外部端子２５を介して出力する。
【００２４】
メモリコントローラ２２は、メモリコントローラ２２から読み出した画像データを解像度変換回路２８に供給して解像度変換処理を行わせ、また、解像度変換回路２８が出力する解像度変換済みの画像データをイメージメモリ３２に書き込む。
【００２５】
メモリコントローラ２２は、ＪＰＥＧインターフェース３０を介して画像データをＪＰＥＧエンコーダ／デコーダ２９に供給して静止画の圧縮処理を行わせ、さらに、ＪＰＥＧエンコーダ／デコーダ２９で伸張処理された画像データをイメージメモリ３２に書き込むことも行う。
【００２６】
イメージメモリ３２は、上述のように画像データを記憶するだけでなく、いわゆるキャラクタジェネレータのデータであるＯＳＤ(On Screen Display) データも記憶する。ここにいうＯＳＤデータは、ビットマップデータからなる。メモリコントローラ２２は、上記ＯＳＤデータの読み出し／書き込みも制御している。なお、画像データとＯＳＤデータとの合成は、ＮＴＳＣ／ＰＡＬエンコーダ２３において行われる。
【００２７】
上記制御部４０は、信号処理部２０の各回路を制御するＣＰＵ(Central Processing Unit) ４１と、画像データやその他の制御データを一時格納するＤＲＡＭ(Dynamic Random Access Memory)４２と、ＣＰＵ４１の制御プログラムが記憶されているＲＯＭ(Read Only Memory)４３と、例えばフラッシュメモリからなる記録装置５１と画像データをやりとりするためのインターフェースであるフラッシュメモリ・インターフェース４４と、例えばIrLED からなる通信回路５２のインターフェースであるIrDAインターフェース４５とを備える。
【００２８】
例えば、ＣＰＵ４１は、ＪＰＥＧエンコーダ／デコーダ２９で圧縮された画像データを、フラッシュメモリ・インターフェース４４を介してフラッシュメモリからなる記録装置５１に書き込み、また、この記録装置５１から画像データを読み出してＪＰＥＧエンコーダ／デコーダ２９に供給する。また、ＣＰＵ４１は、ＪＰＥＧエンコーダ／デコーダ２９からの画像データや記録装置５１から読み出した画像データを、IrDAインターフェース４５，通信回路５２を介して赤外光として外部に出力する。
【００２９】
ここで、上記ディジタル・スチル・カメラ１の簡略的な構成を図２に示す。
【００３０】
入力処理回路２１は、ＣＣＤイメージセンサ１１からの画像データを画像データバス３３を介してイメージメモリ３２に供給する。ＮＴＳＣ／ＰＡＬエンコーダ２３は、イメージメモリ３２からの画像データを所定のエンコード処理を行ってファインダ３６に供給する。これにより、ファインダ３６には、被写体の映像が表示される。なお、上記ファインダ３６は、ＶＧＡフォーマットまでの画像データに対応して画像を表示するものである。
【００３１】
また、メモリコントローラ２２は、イメージメモリ３２と画像データバス３３につながる各信号処理回路の間のデータ転送を行う。解像度変換回路２８は、イメージメモリ３２からの画像データの解像度変換処理を行い、結果をイメージメモリ３２に供給する。ＪＰＥＧエンコーダ／デコーダ２９は、イメージメモリ３２からの画像データをＪＰＥＧ方式で圧縮し、ＣＰＵバス３４を介してＣＰＵ４１に供給する。ＣＰＵ４１は、かかる圧縮処理済みの画像データをＣＰＵバス３４を介して記録装置５１に書き込む。また、ＣＰＵ４１は、圧縮処理済みの画像データを、ＣＰＵバス３４，通信回路５２を介して、外部に出力することもできる。
【００３２】
このように、図２によると、信号処理部２０では、各回路は画像データバス３３を介して接続されている。上記画像データバス３３は、仮想的なバスであり、上記各回路でやりとりする画像データの転送帯域に限界があることを示すものである。
【００３３】
信号処理部２０において、ＮＴＳＣ／ＰＡＬエンコーダ２３や解像度変換回路２８等その他各回路は、画像データを処理を開始する前に、画像データを要求することを示すリクエスト信号(request)をメモリコントローラ２２に送信する。また、これらの各回路は、画像データの処理が終了した後、上記画像データを出力するときもリクエスト信号をメモリコントローラ２２に送信する。
【００３４】
一方、メモリコントローラ２２は、各回路からのリクエスト信号を受信すると、各回路の中から優先順位の高いものを選択し、選択した回路に対してアクノリッジ(acknowledge) 信号を送信する。ここで、アクノリッジ信号とは、当該信号を受信する回路に対して画像データを供給すること又は当該信号を受信した回路が出力する画像データを受け取る準備ができたことを示す信号をいう。そして、メモリコントローラ２２は、イメージメモリ３２から画像データを読み出し、上記アクノリッジ信号の送信先の回路に対して画像データバス３３を介して供給する。また、メモリコントローラ２２は、上記アクノリッジ信号の送信先の回路が出力した画像データを受け取って、この画像データをイメージメモリ３２に書き込む処理を行う。
【００３５】
なお、メモリコントローラ２２は、各回路から同時にリクエスト信号を受信したときは、リアルタイムで処理することが必要な回路を優先的に選択することができる。例えば、メモリコントローラ２２は、ファインダ３６に被写体の映像を表示させるときは、入力処理回路２１，ＮＴＳＣ／ＰＡＬエンコーダ２３を優先して選択する。また、メモリコントローラ２２は、画像データバス３３における画像データのバス占有使用率を判断して、当該占有率に応じて各回路の優先順位を決定してもよい。
【００３６】
なお、メモリコントローラ２２は、画像データバス３３の転送帯域制限内で各回路に画像データを供給することができるのであれば、時分割で各回路にアクノリッジ信号を送信して、各回路がそれぞれ所定の処理を行うように制御してもよい。これにより、メモリコントローラ２２は、事実上、各回路に対してリアルタイムでデータアクセスして、各回路からの画像データをイメージメモリ３２に書き込んだり、イメージメモリ３２の画像データを読み出して各回路に供給することができる。
【００３７】
さらに、メモリコントローラ２２は、画像データバス３３を介して図示しない外部回路とアクセスする場合であっても、当該外部回路が上述したリクエスト信号を送信したりアクノリッジ信号を受信することができるものであれば、画像データバス３３の転送帯域制限範囲内で、信号処理部２０内の各回路と同様に時分割で同時にアクセスすることができる。すなわち、メモリコントローラ２２は、画像データバス３３の帯域の範囲内であれば、信号処理部２０内の回路や外部回路の数を問わず、これらの各回路に対して時分割で同時にアクセスすることができる。
【００３８】
以上のように、メモリコントローラ２２は、画像データバス３３の調停やイメージメモリ３２と各回路間における画像データの書き込み／読み出しの制御、さらに、ＣＰＵバス３４に対してデータ転送を行っている。
【００３９】
次に、上記信号処理部２０における画像データの具体的な流れについて、図３を用いて説明する。
【００４０】
入力処理回路２１は、画像生成部１０からの画像データに所定の信号処理を行うＣＣＤインターフェース２１ａと、ＣＣＤインターフェース２１ａの処理を行うために検波処理を行う検波回路２１ｂと、画像データの変換処理を行うカメラ・ディジタル・シグナル・プロセッサ（以下、「カメラＤＳＰ」という。）２１ｃとを備える。
【００４１】
ＣＣＤインターフェース２１ａは、図１に示すＳ／Ｈ−Ａ／Ｄ回路１２からの赤信号，緑信号，青信号（Ｒ，Ｇ，Ｂ）で構成される画像データに対してディジタルクランプ，ホワイトバランス調整，ガンマ補正等の処理を行ったり、必要に応じて画像データの水平方向成分の間引き処理も行う。ＣＣＤインターフェース２１ａは、かかる処理を行った後、画像データをカメラＤＳＰ２１ｃに供給したり、画像データバス３３を介してメモリコントローラ２２に供給する。
【００４２】
検波回路２１ｂは、ＣＣＤインターフェース２１ａの画像データからオートフォーカス，オートアイリス，ホワイトバランス調整のための検波処理を行う。
【００４３】
カメラＤＳＰ２１ｃは、ＣＣＤインターフェース２１ａからのＲＧＢからなる画像データを、輝度信号Ｙ及びクロマ信号（色差信号）Ｃｂ，Ｃｒからなる画像データに変換する。また、カメラＤＳＰ２１ｃは、かかる処理を行うとともに、画像データの解像度を簡易的に変換する簡易解像度変換回路２１ｄを有する。
【００４４】
簡易解像度変換回路２１ｄは、ＣＣＤイメージセンサ１１が生成する画像データの解像度が例えばＶＧＡフォーマットより大きい場合に、画像データの解像度を低く変換するものである。
【００４５】
簡易解像度変換回路２１ｄは、具体的には図４に示すように、色差信号の分離を行うＢ−Ｙ／Ｒ−Ｙ分離回路６１と、水平方向の補間処理を行う水平方向線形補間回路６２と、色差信号の合成を行うＢ−Ｙ／Ｒ−Ｙ合成回路６３と、各信号に１水平走査期間（１Ｈ期間）の遅延を与える１Ｈ遅延回路６４と、垂直方向線形補間回路６５とを備える。
【００４６】
Ｂ−Ｙ／Ｒ−Ｙ分離回路６１は、カメラＤＳＰ２１ｃからの画像データからクロマ信号Ｃｂ，Ｃｒである色差信号Ｂ−Ｙ，Ｒ−Ｙをそれぞれ分離して水平方向線形補間回路６２に供給する。水平方向線形補間回路６２は、輝度信号Ｙ，色差信号Ｂ−Ｙ，Ｒ−Ｙにそれぞれ水平方向の補間処理を行って水平方向の解像度を低くして、補間処理済みの輝度信号Ｙ及び色差信号Ｂ−Ｙ，Ｒ−ＹをＢ−Ｙ／Ｒ−Ｙ合成回路６３に供給する。
【００４７】
Ｂ−Ｙ／Ｒ−Ｙ合成回路６３は、色差信号Ｂ−Ｙ，Ｒ−Ｙを合成し、水平方向線形補間回路６２からの輝度信号Ｙ及び合成された色差信号Ｂ−Ｙ，Ｒ−Ｙを１Ｈ遅延回路６４及び垂直方向線形補間回路６５に供給する。１Ｈ遅延回路６４は、輝度信号Ｙ及び色差信号Ｂ−Ｙ，Ｒ−Ｙにそれぞれ１Ｈ期間の遅延を与えて垂直方向線形補間回路６５に供給する。垂直方向線形補間回路６５は、Ｂ−Ｙ／Ｒ−Ｙ合成回路６３及び１Ｈ遅延回路６４からの輝度信号Ｙ及び色差信号Ｂ−Ｙ，Ｒ−Ｙに基づいて垂直方向の線形補間処理を行い、この結果、水平方向及び垂直方向の解像度が低くなった輝度信号Ｙ’及び色差信号（Ｂ−Ｙ）’，（Ｒ−Ｙ）’からなる画像データを出力する。
【００４８】
また、解像度変換回路２８は、例えば［ｐ×ｑ］の画像データを［ｍ×ｎ］の画像データに変換する解像度変換処理を行うものである。解像度変換回路２８は、主に、ＣＣＤイメージセンサ１１で生成された画像データが高解像度のときに所定の解像度に抑えるために行う処理であるが、低解像度の画像データを高解像度になるように処理してもよい。
【００４９】
解像度変換回路２８は、具体的には図５に示すように、画像データバス３３から入力される画像データを記憶する入力バッファ７１と、入力バッファ７１からの画像データを水平方向にバッファリングする水平方向バッファ７２と、水平方向バッファ７２からの画像データに水平方向の解像度変換処理を行う水平方向変換処理回路７３と、水平方向変換処理回路７３からの画像データを垂直方向にバッファリングする垂直方向バッファ７４と、垂直方向の解像度変換処理を行う垂直方向変換処理回路７５と、出力の際にバッファリングをする出力バッファ７６とを備える。
【００５０】
なお、解像度変換回路２８は、画像データの解像度変換を行う準備ができたときは、イメージメモリ３２から画像データを読み出すようにメモリコントローラ２２に要求する（リード）リクエスト信号を出力し、さらに、画像データの変換処理後に当該画像データをイメージメモリ３２に書き込むようにメモリコントローラ２２に要求する（ライト）リクエスト信号を出力する。また、解像度変換回路２８は、メモリコントローラ２２が上記リクエスト信号に応答したことを示すアクノリッジ信号を受信する。
【００５１】
一方、上記水平方向バッファ７２は、図６に示すように、１画素分の遅延を与える第１の遅延回路８１，第２の遅延回路８２，第３の遅延回路８３を直列に接続して構成される。したがって、第１の遅延回路８１は１画素分遅延した画像データを出力し、第２の遅延回路８２は２画素分遅延した画像データを出力し、第３の遅延回路８３は３画素分遅延した画像データを出力する。
【００５２】
水平方向変換処理回路７３は、図６に示すように、第１から第４の乗算器８４，８５，８６，８７と、第１から第３の加算器８８，８９，９０とを備える。場合によっては、加算器９０の後にデータを正規化するための回路が付加される。
【００５３】
第１の乗算器８４は、入力バッファ７１から供給される画像データに所定の係数を乗じて加算器８８に供給する。第２の乗算器８５は、第１の遅延回路８１から供給される画像データに所定の係数を乗じて加算器８８に供給する。第３の乗算器８６は、第２の遅延回路８２から供給される画像データに所定の係数を乗じて加算器８９に供給する。第４の乗算器８７は、第３の遅延回路８３から供給される画像データに所定の係数を乗じて加算器９０に供給する。第１の加算器８８は、各画像データを合成して第２の加算器８９に供給する。第２の加算器８９は、各画像データを合成して第３の加算器９０に供給する。第３の加算器９０は、各画像データを合成し、これを水平方向の解像度変換処理済みの画像データとして垂直方向バッファ７４に供給する。
【００５４】
以上のように水平方向変換処理回路７３は、１画素分ずつ遅延のある画像データにそれぞれ所定の重み付けを行って合成することによって、水平方向の画素間を補ったり又は間引く処理を行ったりして、水平方向の解像度を変換する。
【００５５】
垂直方向バッファ７４は、例えば図６に示すように、１ライン分の遅延を与える第１から第３のバッファメモリ９１，９２，９３を直列に接続して構成される。したがって、第１のバッファメモリ９１は１ライン分遅延した画像データを出力し、第２のバッファメモリ９２は２ライン分遅延した画像データを出力し、第３のバッファメモリ９３は３ライン分遅延した画像データを出力する。
【００５６】
垂直方向変換処理回路７５は、図６に示すように、第５から第８の乗算器９４，９５，９６，９７と、第４から第６の加算器９８，９９，１００とを備える。場合によっては、加算器９０の後にデータを正規化するための回路が付加される。
【００５７】
第５の乗算器９４は、水平方向変換回路７３から供給される画像データに所定の係数を乗じて第４の加算器９８に供給する。第６の乗算器９５は、第１のラインメモリ９１から供給される画像データに所定の係数を乗じて第４の加算器９８に供給する。第７の乗算器９６は、第２のラインメモリ９２から供給される画像データに所定の係数を乗じて第５の加算器９９に供給する。第８の乗算器９７は、第３のラインメモリ９３から供給される画像データに所定の係数を乗じて第６の加算器１００に供給する。第４の加算器９８は、各画像データを合成して第５の加算器９９に供給する。第５の加算器９９は、各画像データを合成して第６の加算器１００に供給する。第６の加算器１００は、各画像データを合成し、これを垂直方向の解像度変換処理済みの画像データとして出力する。
【００５８】
以上のように垂直方向変換処理回路７５は、１ライン分ずつ遅延のある画像データにそれぞれ所定の重み付けを行って合成することによって、垂直方向の画素間を補う処理を行ったり又は間引く処理を行ったりして、垂直方向の解像度を変換する。
【００５９】
なお、解像度変換回路２８は、図６において、水平方向の解像度変換処理を行ってから垂直方向の解像度変換処理を行っているが、図７に示すように、垂直方向の解像度変換処理を行ってから水平方向の解像度変換処理を行ってもよい。すなわち、解像度変換回路２８は、入力バッファ７１からの画像データを垂直方向バッファ７４に供給し、垂直方向バッファ７４，垂直方向変換処理回路７５，水平方向バッファ７２，水平方向変換処理回路７３の順に各処理を行うような構成にしてもよい。
【００６０】
また、垂直方向バッファ７４における第１から第３のバッファメモリ９１，９２，９３は、１ライン（１Ｈ）分の画像データを記憶することができるとしたが、図８に示すように、１ラインより少ない例えばＮピクセル（ピクセル長Ｎ）の画像データを記憶することができるものであってもよい。このとき、メモリコントローラ２２は、図９に示すように、イメージメモリ３２に記憶されている画像データをＮピクセル毎に読み出す必要がある。
【００６１】
具体的には、メモリコントローラ２２は、イメージメモリ３２に記憶されている１画面分の画像データを、各ライン毎にＮピクセルずつ垂直方向に読み出す。ここで、図１０に示すように、１画面はｐ×ｑ［ピクセル］からなり、左上のピクセルの座標を（１，１）、右上のピクセルの座標を（ｐ，１）、左下のピクセルの座標を（１，ｑ）、右下のピクセルの座標を（ｐ，ｑ）とする。
【００６２】
メモリコントローラ２２は、図１１に示すように、最初に、水平方向にＮピクセル分の画像データを、１行目，２行目，・・・ｑ行目の順にライン毎に読み出す。これにより、メモリコントローラ２２は、左端からＮピクセル分の画像データ、すなわち（１，１）（１，ｑ）（Ｎ，ｑ）（Ｎ，１）で囲まれる範囲（Ｎ×ｑピクセル分）の画像データ（以下、「画像データ群（１）」という。）を読み出す。
【００６３】
メモリコントローラ２２は、次に、（Ｎ−１，１）（Ｎ−１，ｑ）（Ｎ−２，ｑ）（Ｎ−２，１）で囲まれる範囲の画像データ（以下、「画像データ群（２）」という。以下同様。）を読み出す。ここで、メモリコントローラ２２は、列（１）及び画像データ群（２）を読み出すと、（Ｎ−１）列目及びＮ列目の画像データを２度読み出すことになる。
【００６４】
この理由は、垂直方向変換処理回路７５は、周辺のピクセルから補間処理を行うため、第１から第３のバッファメモリ９１，９２，９３の最初と最後に記憶されているピクセルについては処理結果の対象としないからである。例えば、（Ｎ，１）のピクセルは、画像データ群（１）が読み出されたときは、垂直方向の補間処理結果の対象とならない。しかし、この（Ｎ，１）のピクセルは、画像データ群（２）が読み出されるときにも読み出され、このときに補間処理結果の対象となる。
【００６５】
同様にして、メモリコントローラ２２は、直前の画像データ群のうち最後の２列目分の画像データを含むようにして水平方向にＮピクセル分の画像データを各ライン毎に読み出し、これにより、画像データ群を解像度変換回路２８に供給する。
【００６６】
解像度変換回路２８の垂直方向バッファ７４には、第１から第３のバッファメモリ９１，９２，９３の容量に合致した画像データが各ライン毎に供給される。したがって、第１から第３のバッファメモリ９１，９２，９３には、それぞれ１ラインずつずれた画像データが記憶されることになる。垂直方向変換処理回路７５は、垂直方向バッファ７４の第１から第３のバッファメモリ９１，９２，９３からの各画像データに基づいて、垂直方向の解像度変換処理を行うことができる。
【００６７】
以上のように、メモリコントローラ２２は、垂直方向画像度変換に必要なバッファメモリの容量が１ライン分に満たなくても、バッファメモリの容量に合わせて読み出しを行うことによって、解像度変換回路２８に垂直方向の解像度変換を行わせることができる。
【００６８】
なお、ここでは、画像データ群の間の読み出し重複は２列となっているが重複が２列より大きい場合や、重複がない場合も考えられる。また、解像度変換に限らず、カメラ信号処理等の画像信号処理にも適用される。
【００６９】
また、ここでは、バッファメモリが垂直方向の補間処理に用いられている場合を例に挙げて説明したが、バッファメモリが水平方向の補間処理に用いられている場合であっても同様である。
【００７０】
すなわち、例えば図１２に示すように、解像度変換回路２８がＮピクセル分の容量のバッファメモリからなる水平方向バッファ７２ａを用いて水平方向の解像度変換を行う場合であってもよい。メモリコントローラ２２は、図１３に示すように、垂直方向にＮピクセル分の画像データを、１列目，２列目，・・・ｐ行目の順に各列毎に読み出せばよい。なお、メモリコントローラ２２は、上述した垂直補間処理の場合と同様に、バッファメモリの最初と最後に記憶される画像データに対しては、水平補間処理の対象になるように２度読み出す必要がある。
【００７１】
このように、メモリコントローラ２２は、Ｎピクセル分のデータ容量からなる第１から第３のバッファメモリ９１，９２，９３に対しても、水平方向及び垂直方向の解像度変換処理が行われるように、イメージメモリ３２から画像データを読み出すことができる。これにより、水平方向バッファ７２及び垂直方向バッファ７４の回路規模を小さくして生産コストを削減することができる。
【００７２】
ＮＴＳＣ／ＰＡＬエンコーダ２３は、上述したエンコードを行うだけでなく、エンコード処理を行う前に必要に応じて画像データの解像度を高くする簡易解像度変換回路２３ａを有する。
【００７３】
簡易解像度変換回路２３ａは、イメージメモリ３２上の画像データが表示に必要な解像度より低い場合に、ファインダ３６の表示規格に合うような解像度変換を行う。
【００７４】
簡易解像度変換回路２３ａは、具体的には図１４に示すように、画像データバス３３からの画像データを記憶するラインメモリ１０１と、垂直方向に画像データの補間処理を行う垂直方向線形補間回路（以下、「Ｖ方向線形補間回路」という。）１０２と、水平方向補間回路１０３とを備える。
【００７５】
ラインメモリ８１は、入力端子inからの画像データを１ライン分記憶し、かかる画像データを記憶した順に垂直方向線形補間回路８２に供給する。垂直方向線形補間回路８２は、上記入力端子inからの画像データと垂直方向線形補間回路８２からの画像データに所定の重み付けをすることにより垂直方向の線形補間をする。次に水平方向の補間として、Ｙは７次のフィルタ、Ｃｂ，Ｃｒは３次のフィルタによる補間を行っており、これは解像度を２倍に上げる補間のみである。そして、画像データを出力端子outを介して出力する。
【００７６】
例えば、上記入力端子inから入力される画像データをａ、ラインメモリ１０１から読み出される画像データをｂ、重み付けを行うための係数をｇ（０≦ｇ≦１）、Ｖ方向線形補間回路１０２が出力する画像データをｃとすると、Ｖ方向線形補間回路１０２は以下の演算を行う。
【００７７】
ｃ＝ｇ＊ａ＋（１−ｇ）＊ｂ
なお、出力端子out から出力された画像データは、上述したように、エンコード処理される。
【００７８】
以上のように、ディジタル・スチル・カメラ１は、信号処理系においては信号処理部２０とＣＰＵ４１とのいわゆる２チップで構成されている。したがって、各信号処理回路がそれぞれチップ構成となっている複数チップの場合に比べて、基板面積を縮小することができ、さらに消費電力を削減することができる。
【００７９】
また、信号処理部２０は、ＣＰＵを含めたチップ構成となっていないので、ＣＰＵ４１に関わるアプリケーションの変更が生じた場合でもそれに対応して信号処理を行うことができる。すなわち、ＣＰＵを含めたチップ構成の場合、当該ＣＰＵのアプリケーションの変更が生じたときにはそれに対応してチップの再構成をすることは不可能である。しかし、上記信号処理部２０は、アプリケーション毎に最適な構成のＣＰＵを用いて、所定の信号処理を行うことができる。
【００８０】
かかる構成のディジタル・スチル・カメラ１は、撮影前に被写体の状態や位置等を確認するためのファインダモード、確認した被写体の映像を撮影する記録モード、撮影された被写体像の写りを確認するための再生モードを有し、各モードに応じて処理を行う。
【００８１】
ファインダモードでは、ユーザは、図示しないシャッタボタンを押圧して被写体を撮影する前に、ファインダ３６に表示される被写体の様子を観察する必要がある。このファインダモードでは、ＣＰＵ４１は、メモリコントローラ２２やその他各回路を以下のように制御する。なお、各モードの説明については主に図３を用い、適宜図１５を参照するものとする。
【００８２】
上記ファインダモードにおいて、ＣＣＤイメージセンサ１１は、垂直方向成分を１／３に間引いた画像信号を生成し、Ｓ／Ｈ−Ａ／Ｄ回路１２を介してディジタル化された画像データをＣＣＤインターフェース２１ａに供給する。
【００８３】
ＣＣＤインターフェース２１ａは、図１５（Ａ）に示すクロックに同期して、信号処理を行う。具体的には、ＣＣＤインターフェース２１ａは、図１５（Ｂ）に示すように、画像生成部１０から供給される画像データの水平方向成分を１／３に間引く処理をし、さらに、ガンマ補正等を行ってカメラＤＳＰ２１ｃに供給する。ＣＣＤインターフェース２１ａは、１／３間引きの結果、３４０×２５６に変換した画像データをカメラＤＳＰ２１ｃに供給する。
【００８４】
カメラＤＳＰ２１ｃは、図１５（Ｃ）に示すように、間引き処理後の画像データにデータ変換処理を行って、ＹＣｒＣｂの画像データに変換する。カメラＤＳＰ２１ｃは、さらに簡易解像度変換回路２１ｄにおいて画像データの解像度を低くすべく解像度変換をして（３４０×２５６→３２０×２４０）、かかる変換処理後の画像データを画像データバス３３を介してメモリコントローラ２２に供給する。
【００８５】
ここで、簡易解像度変換回路２１ｄは、後の処理に必要な程度に簡易的に解像度を低くしている。これにより、ＣＣＤイメージセンサ１１で生成される画像データが高解像度であっても、画像データバス３３において上記画像データが占める転送帯域を小さくすることにより画像データバス３３の渋滞を回避し、ファインダモードのリアルタイム性を維持することができる。
【００８６】
メモリコントローラ２２は、上記画像データをイメージメモリ３２に書き込み、さらに、図１５（Ｄ）に示すように、イメージメモリ３２から画像データを読み出し、画像データバス３３を介してＮＴＳＣ／ＰＡＬエンコーダ２３に供給する。メモリコントローラ２２は、同時に、図１５（Ｅ）に示すように、イメージメモリ３２に記憶されているＯＳＤデータも読み出し、画像データバス３３を介してＮＴＳＣ／ＰＡＬエンコーダ２３に供給する。図１５（Ｆ）は上記のリアルタイム処理を可能とする画像データバス３３上の転送の様子を示す。
【００８７】
ＮＴＳＣ／ＰＡＬエンコーダ２３は、画像データバス３３から供給される画像データにＮＴＳＣ方式の場合は３２０×２４０→６４０×２４０、ＰＡＬ方式の場合は３２０×２４０→６４０×２８８の解像度変換処理を行って、変換処理後の画像データをＮＴＳＣ／ＰＡＬエンコーダ２３に供給する。ＮＴＳＣ／ＰＡＬエンコーダ２３は、さらに、画像データをＮＴＳＣ方式あるいはＰＡＬ方式に変換してＯＳＤデータを合成し、これを図２に示すファインダ３６に供給する。これにより、ファインダ３６には、被写体の画像及び字幕情報等がリアルタイムで表示される。
【００８８】
なお、ＮＴＳＣ／ＰＡＬエンコーダ２３は、解像度が小さいものに対してはそれが大きくなるように解像度変換を行い、例えば３２０×２００の画像データが供給された場合にも、ＮＴＳＣ方式の場合６４０×２４０、ＰＡＬ方式の場合６４０×２８８の画像データに変換して出力する。
【００８９】
以上のように、ディジタル・スチル・カメラ１は、ファインダモードにおいては、図１５（Ｆ）に示すタイミングで、ＣＣＤイメージセンサ１１で生成された画像データの解像度を簡易的に低くしてデータ量を減らし、画像データが画像データバス３３の帯域制限内に収まるようにして、さらに表示に必要なだけ出力段階で解像度を高くしてファインダ３６に表示している。
【００９０】
これにより、ディジタル・スチル・カメラ１は、画像データが高解像度であっても、比較的処理時間を要する大がかりな間引き処理を行うことなく画像データバス３３の帯域制限内に抑えることによって、リアルタイムで被写体の画像をファインダ３６に表示させることができる。
【００９１】
なお、ＣＰＵ４１は、予め優先して処理を行う回路（ＣＣＤインターフェース２１ａ，カメラＤＳＰ２１ｃ，ＮＴＳＣ／ＰＡＬエンコーダ２３）を設定しておき、時分割で、これらの回路の他に他の回路でも信号処理をしている場合には、画像データのデータ量に応じて優先度の高い上記各回路の処理を優先して行うようにしてもよい。
【００９２】
また、簡易解像度変換部２１ｄは、ＣＰＵ４１の制御に基づいて、画像データのデータ量が大きいときは、リアルタイムで処理することを優先すべく、画質を多少落として高速にデータ処理を行うようにすることもできる。これにより、ファインダモードでは、画像生成部１０で生成される画像データのデータ量が多くても、よりリアルタイムで処理を行うことができる。
【００９３】
また、電子ズーム機能を備えるディジタル・スチル・カメラ１の場合には、ＣＰＵ４１は、以下のようにして各回路を制御してもよい。
【００９４】
メモリコントローラ２２は、ＣＣＤインターフェース２１ａ，カメラＤＳＰ２１ｃを介して供給される画像データをイメージメモリ３２に書き込み、そして、イメージメモリ３２から当該画像データを読み出して解像度変換回路２８に供給する。解像度変換回路２８は、電子ズーム機能によって入力した画像の一部分を拡大した画像データを作成し、イメージメモリ３２へ出力する。この画像データをイメージメモリ３２から読み出し、ＮＴＳＣ／ＰＡＬエンコーダ２３を介してファインダ３６に出力する。これにより、電子的にズーム処理された画像データを生成することができる。
【００９５】
上述したように、ファインダモードでは、ＣＰＵ４１は、リアルタイム性を最優先するため、比較的時間のかかる処理を各回路に行わせていない。しかしながら、ＣＰＵ４１は、画像データバス３３の転送帯域の許す範囲内であれば、メモリコントローラ２２やその他の回路に様々な処理を行わせてもよい。
【００９６】
例えば、メモリコントローラ２２は、ＣＣＤインターフェース２１ａ等から供給された画像データを記憶するイメージメモリ３２から、当該画像データを読み出し、画像データバス３３を介してＮＴＳＣ／ＰＡＬエンコーダ２３に供給するとともにＪＰＥＧエンコーダ／デコーダ２９にも供給してもよい。このとき、ファインダ３６はリアルタイムで被写体の映像を表示する一方、ＪＰＥＧエンコーダ／デコーダ２９は画像データのＪＰＥＧ圧縮処理を行う。
【００９７】
ＪＰＥＧエンコーダ／デコーダ２９は、静止画像の圧縮／伸張処理を行うものであり、高画素の画像をリアルタイムで処理をすることはできない。そこで、ＪＰＥＧエンコーダ／デコーダ２９は、画像データバス３３から供給される画像データのコマ数（フレーム数又はフィールド数）を所定数ずつ間引いて圧縮処理を行ったり、また、画像の一部を切り取って解像度を低くして圧縮処理を行ってもよい。これにより、コマ落としの静止画像を連続して撮影したり、解像度の低い静止画像を連続して撮影することができる。
【００９８】
ユーザは、上述したファインダモードにおいてファインダ３６に表示される被写体の様子を観察し、被写体を撮影すると決定すると、次に図示しないシャッタボタンを押圧する。
【００９９】
ディジタル・スチル・カメラ１は、上記シャッタボタンが押圧されると、記録モードに移行する。記録モードになると、ＣＰＵ４１は、ファインダモードの制御を行いながら、撮影された被写体の画像を記録装置５１に記録すべく、メモリコントローラ２２やその他各回路を以下のように制御する。
【０１００】
ＣＣＤイメージセンサ１１は、シャッタボタンの押圧に同期して間引き処理を停止して、ＸＧＡフォーマットの画像信号を生成し、Ｓ／Ｈ−Ａ／Ｄ回路１２を介してディジタル化された画像データをＣＣＤインターフェース２１ａに供給する。
【０１０１】
ＣＣＤインターフェース２１ａは、Ｓ／Ｈ−Ａ／Ｄ回路１２から供給される画像データを、カメラＤＳＰ２１ｃでなく、画像データバス３３を介してメモリコントローラ２２に供給する。メモリコントローラ２２は、画像データをイメージメモリ３２に書き込んだ後、当該画像データを読み出し、画像データバス３３を介してカメラＤＳＰ２１ｃに供給する。カメラＤＳＰ２１ｃは、ＲＧＢからなる画像データをＹ，Ｃｂ，Ｃｒからなる画像データに変換する。
【０１０２】
ここで、カメラＤＳＰ２１ｃには、イメージメモリ３２に一度書き込まれた画像データが供給される。すなわち、カメラＤＳＰ２１ｃは、ＣＣＤインターフェース２１ａから直接供給される画像データではなく、イメージメモリ３２からの画像データに対してデータ変換処理を行う。したがって、カメラＤＳＰ２１ｃは、高速にデータ変換処理を行う必要はなく、画像データバス３３が空いているときにかかる処理を実行してもよい。換言すると、記録モードでは、カメラＤＳＰ２１ｃは、リアルタイムで処理する必要がないので、画像データに対して処理速度より画質の向上を優先してデータ変換処理を行い、かかる変換処理済みの画像データを画像データバス３３を介してメモリコントローラ２２に供給する。メモリコントローラ２２は、この画像データをイメージメモリ３２に書き込む。
【０１０３】
メモリコントローラ２２は、イメージメモリ３２から上記画像データを読み出してＪＰＥＧエンコーダ／デコーダ２９に供給する。ＪＰＥＧエンコーダ／デコーダ２９は、画像データをＪＰＥＧ圧縮して、ＣＰＵバス３４を介して、図２に示す記録装置５１に書き込む。
【０１０４】
以上のように、ＣＰＵ４１は、記録モードの時のように、リアルタイムで処理を行う必要のない場合には、一度画像データをイメージメモリ３２に書き込んでから所定の処理を行うことによって、回路規模の増大を防ぎつつ画像データバス３３の転送帯域を有効に利用して高画素の画像を処理することができる。
【０１０５】
なお、ＣＰＵ４１は、上記記録モードにおいて、ＸＧＡフォーマットの画像データをそのまま記録装置５１に記録していたが、解像度変換回路２８で画像データの解像度変換を行ってから記録装置５１に記録してもよい。具体的には、ＣＰＵ４１は、メモリコントローラ２２を介してイメージメモリ３２から読み出した画像データを、解像度変換回路２８にＶＧＡに対応するように解像度変換を行わせて（１０２４×７６８→６４０×４８０）、かかる画像データをＪＰＥＧエンコーダ／デコーダ２９に圧縮させてから記録装置５１に記録してもよい。
【０１０６】
ユーザは、被写体の撮影後、撮影した画像を確認したいときには、撮影した画像を再生すべく、図示しない再生ボタンを押圧する。
【０１０７】
ディジタル・スチル・カメラ１は、上記再生ボタンが押圧されると、再生モードに移行する。そして、再生モードになると、ＣＰＵ４１は、撮影された被写体の画像データを記録装置５１から読み出すべく、各回路を以下のように制御する。
【０１０８】
ＣＰＵ４１は、上記再生ボタンの押圧を検出すると、記録装置５１から画像データを読み出して一時ＤＲＡＭ４２に格納した後、ＣＰＵバス３４を介してＪＰＥＧエンコーダ／デコーダ２９に供給する。ＪＰＥＧエンコーダ／デコーダ２９は、記録装置５１から読み出された画像データにＪＰＥＧ伸張処理を行ってＸＧＡフォーマットの画像データを得て、画像データバス３３を介してメモリコントローラ２２に供給する。
【０１０９】
メモリコントローラ２２は、上記画像データをイメージメモリ３２に書き込み、さらに、当該画像データをイメージメモリ３２から読み出して、画像データバス３３を介して解像度変換回路２８に供給する。
【０１１０】
解像度変換回路２８は、画像データがＶＧＡフォーマットに対応するように解像度変換を行い（ＮＴＳＣ方式では１０２４×７６８→６４０×４８０、ＰＡＬ方式では１０２４×７６８→６４０×５７６）、画像データバス３３を介してメモリコントローラ２２に供給する。メモリコントローラ２２は、解像度変換処理済みの画像データをイメージメモリ３２に書き込み、そして、当該画像データをイメージメモリ３２から読み出して、ＮＴＳＣ／ＰＡＬエンコーダ２３を介してファインダ３６に供給する。これにより、ファインダ３６には、記録装置５１に記録されていた画像データに基づく画像が表示される。
【０１１１】
すなわち、ＣＰＵ４１は、記録装置５１に記録されいる画像データの解像度が高いので、この解像度を低くしてから画像データをファインダ３６に供給している。
【０１１２】
また、ＣＰＵ４１は、ファインダモード，記録モード，再生モードの各モードについてそれぞれ優先して処理する回路の優先順位を決定しておき、いずれかのモードに移行した場合に上記優先順位に従って各回路に処理を実行させてもよい。これにより、各モードの処理内容に応じて画像データの信号処理を効率的に行うことができる。
【０１１３】
上述した実施の形態では、ＸＧＡ相当の画像データを処理する場合を例に挙げて説明したが、本発明は、これに限定されず、例えば１００万画素以上からなる画像データを処理する場合についても適用することができるのは勿論である。
【０１１４】
【発明の効果】
以上詳細に説明したように、本発明に係る撮像装置によれば、第１の動作モードでは、撮像部から入力される画像データに変換処理手段により第１の変換処理を施し、さらに、第１の解像度変換手段により解像度変換処理を施して解像度を低くした画像データが、画像データバスを介してメモリ制御部に供給されメモリ部に書き込まれ、上記メモリ部に書き込まれた画像データが上記メモリ制御部により読み出され、上記画像データバスを介して供給される画像データに第２の変換処理手段により第２の変換処理を施して表示手段に出力するので、上記画像データバスにおける画像データの占有量を少なくすることができ、上記撮像部による生成された画像データによる被写体の画像を表示手段に実時間で表示することができる。また、第２の動作モードでは、上記撮像部から入力される画像データが、上記画像データバスを介して上記メモリ制御部に供給され上記メモリ部に書き込まれ、上記メモリ部に画像データに書き込まれた画像データが上記メモリ制御部により読み出されて上記画像データバスを介して上記変換処理部に供給され、上記変換処理部により上記第１の変換処理が施された画像データが上記画像データバスを介して上記メモリ制御部に供給されて上記メモリ部に書き込まれ、上記メモリ部に画像データに書き込まれた画像データが上記メモリ制御部により読み出され、上記画像データバスを介して供給される画像データに第３の変換処理手段により第３の変換処理を施して記録手段に出力するので、回路規模の増大を防ぎつつ画像データバスの転送帯域を有効に利用して高画素の画像を処理して記録することができる。
【図面の簡単な説明】
【図１】本発明を適用したディジタル・スチル・カメラの構成を示すブロック図である。
【図２】上記ディジタル・スチル・カメラの概略構成を示すブロック図である。
【図３】上記ディジタル・スチル・カメラの信号処理部における画像データの流れを説明するためのブロック図である。
【図４】上記信号処理部の入力処理回路における簡易解像度変換回路の構成を示すブロック図である。
【図５】上記信号処理部の解像度変換回路の構成を示すブロック図である。
【図６】上記解像度変換回路の水平方向バッファ，水平方向変換処理回路，垂直方向バッファ，垂直方向変換処理回路の具体的な構成を示すブロック図である。
【図７】上記解像度変換回路の他の構成を示すブロック図である。
【図８】上記解像度変換回路の垂直方向バッファの構成を示すブロック図である。
【図９】メモリコントローラがイメージメモリから画像データ読み出すときの手法について説明する図である。
【図１０】１画面を構成するピクセルの座標位置を説明する図である。
【図１１】メモリコントローラがイメージメモリから画像データ読み出すときの手法について説明する図である。
【図１２】上記解像度変換回路の水平方向バッファがラインバッファから構成されているときの構成を示すブロック図である。
【図１３】メモリコントローラがイメージメモリから画像データ読み出すときの手法について説明する図である。
【図１４】上記信号処理部のＮＴＳＣ／ＰＡＬエンコーダにおける簡易解像度変換回路の構成を示すブロック図である。
【図１５】ファインダモードにおける各回路の信号処理の内容を説明するタイミングチャートである。
【図１６】従来のディジタル・スチル・カメラの構成について説明するブロック図である。
【符号の説明】
１ ディジタル・スチル・カメラ、２０ 信号処理部、２１ 入力処理回路、２２ メモリコントローラ、２３ ＮＴＳＣ／ＰＡＬエンコーダ、２８ 解像度変換回路、３２ イメージメモリ、３３ 画像データバス、３４ ＣＰＵバス、４０ 制御部、４１ ＣＰＵ
Claims (3)
- 被写体からの撮像光に応じた画像データを生成する撮像部と、
入力される画像データを色差形式の画像データに変換する第１の変換処理を行う変換処理手段と、
画像データに解像度を低くする解像度変換処理を施す第１の解像度変換手段と、 画像データが転送される画像データバスと、
上記画像データバスを介して供給される画像データをメモリ部に書き込み、上記メモリ部に書き込まれた画像データを読み出して上記画像データバスに出力するメモリ制御部と、
第１の動作モードと第２の動作モードの制御を行う制御部と、
上記画像データバスを介して供給される画像データを出力先の信号規格に対応する画像データに変換して出力する出力処理部を備え、
上記出力処理部は、上記第１の動作モードにおいて、上記メモリ制御部により上記メモリ部から読み出され、上記画像データバスを介して供給される画像データを出力先の信号規格に対応する画像データに変換する第２の変換処理を行う第２の変換処理手段と、上記第２の動作モードにおいて、上記メモリ制御部により上記メモリ部から読み出され、上記画像データバスを介して供給される画像データを出力先の信号規格に対応する画像データに変換する第３の変換処理を行う第３の変換処理手段とを備え、上記第１の動作モードにおいて、上記撮像部から入力される画像データに上記変換処理手段により上記第１の変換処理を施し、さらに、上記第１の解像度変換手段により解像度変換処理を施して解像度を低くした画像データが、上記画像データバスを介して上記メモリ制御部に供給され上記メモリ部に書き込まれ、上記メモリ部に書き込まれた画像データが上記メモリ制御部により上記メモリ部から読み出され、上記画像データバスを介して供給される画像データに上記第２の変換処理手段により上記第２の変換処理を施して表示手段に出力し、上記第２の動作モードにおいて、上記撮像部から入力される画像データが、上記画像データバスを介して上記メモリ制御部に供給され上記メモリ部に書き込まれ、上記メモリ部に画像データに書き込まれた画像データが上記メモリ制御部により上記メモリ部から読み出されて上記画像データバスを介して上記変換処理部に供給され、上記変換処理部により上記第１の変換処理が施された画像データが上記画像データバスを介して上記メモリ制御部に供給されて上記メモリ部に書き込まれ、上記メモリ部に画像データに書き込まれた画像データが上記メモリ制御部により上記メモリ部から読み出され、上記画像データバスを介して供給される画像データに上記第３の変換処理手段により上記第３の変換処理を施して記録手段に出力する撮像装置。 - 上記出力処理部は、上記表示手段の表示規格に対応した解像度変換を行う第２の解像度変換手段を備え、上記第１の動作モードにおいて、上記メモリ制御部により上記メモリ部から読み出され、上記画像データバスを介して供給される画像データに上記第２の解像度変換手段により解像度変換処理を施し、上記第２の解像度変換手段により解像度変換した画像データに上記第２の変換処理手段により上記第２の変換処理を施して上記表示手段に出力する請求項１記載の撮像装置。
- 上記第１及び第２の解像度変換手段は、実時間で画像データの解像度変換を行う請求項２記載の撮像装置。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33161498A JP4253881B2 (ja) | 1998-07-17 | 1998-11-20 | 撮像装置 |
| MYPI99002886A MY123338A (en) | 1998-07-17 | 1999-07-09 | Imaging apparatus in which reduced resolution image data is generated, and when supplied over an image data bus, the resolution is increased and outputted |
| US09/353,287 US6639627B1 (en) | 1998-07-17 | 1999-07-14 | Imaging apparatus in which reduced resolution image data is generated, and when supplied over an image data bus, the resolution is increased and outputted |
| CNB991104641A CN1147129C (zh) | 1998-07-17 | 1999-07-14 | 成像设备和记录/再现设备 |
| CNB031587585A CN1277403C (zh) | 1998-07-17 | 1999-07-14 | 成像设备 |
| EP99305638A EP0975155A3 (en) | 1998-07-17 | 1999-07-15 | Imaging apparatus and recording/reproducing apparatus |
| EP09015936A EP2164245A3 (en) | 1998-07-17 | 1999-07-15 | Imaging apparatus and recording/reproducing apparatus |
| US10/650,021 US7349012B2 (en) | 1998-07-17 | 2003-08-26 | Imaging apparatus with higher and lower resolution converters and a compression unit to compress decreased resolution image data |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10-204088 | 1998-07-17 | ||
| JP20408898 | 1998-07-17 | ||
| JP33161498A JP4253881B2 (ja) | 1998-07-17 | 1998-11-20 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000092361A JP2000092361A (ja) | 2000-03-31 |
| JP4253881B2 true JP4253881B2 (ja) | 2009-04-15 |
Family
ID=26514276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33161498A Expired - Lifetime JP4253881B2 (ja) | 1998-07-17 | 1998-11-20 | 撮像装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US6639627B1 (ja) |
| EP (2) | EP0975155A3 (ja) |
| JP (1) | JP4253881B2 (ja) |
| CN (2) | CN1277403C (ja) |
| MY (1) | MY123338A (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000092375A (ja) * | 1998-07-17 | 2000-03-31 | Sony Corp | 信号処理装置及びその制御方法 |
| JP4131052B2 (ja) | 1998-07-17 | 2008-08-13 | ソニー株式会社 | 撮像装置 |
| JP3750462B2 (ja) * | 2000-02-22 | 2006-03-01 | コニカミノルタフォトイメージング株式会社 | デジタルカメラおよび記録媒体 |
| US6927790B2 (en) * | 2001-02-05 | 2005-08-09 | The United States Of America As Represented By The Secretary Of The Navy | Digital camera system providing for control of a camera's operational parameters and image capture |
| JP2003018478A (ja) * | 2001-07-04 | 2003-01-17 | Matsushita Electric Ind Co Ltd | 撮像装置 |
| JP4169340B2 (ja) | 2002-11-25 | 2008-10-22 | カシオ計算機株式会社 | 表示パネル用出力信号生成回路、デジタルカメラ及び表示パネル用出力信号生成方法 |
| CN100448286C (zh) * | 2002-11-25 | 2008-12-31 | 卡西欧计算机株式会社 | 图像信号产生单元、数码相机以及图像信号产生方法 |
| US20040208492A1 (en) * | 2003-01-06 | 2004-10-21 | Samsung Electronic Co., Ltd. | Video/audio data recording/reproducing apparatus |
| US8159548B2 (en) | 2003-01-30 | 2012-04-17 | Qualcomm Incorporated | Modular architecture having reusable front end for processing digital video data |
| US20050140990A1 (en) * | 2003-10-15 | 2005-06-30 | Akira Ueno | Image processing apparatus and method and image data display method for digital camera |
| KR100565330B1 (ko) * | 2004-06-21 | 2006-03-30 | 엘지전자 주식회사 | 영상 데이터 처리 장치 |
| JP2006195415A (ja) * | 2004-12-13 | 2006-07-27 | Fujitsu Ten Ltd | 表示装置及び表示方法 |
| JP2006171730A (ja) * | 2005-12-07 | 2006-06-29 | Fujitsu Ten Ltd | マルチビュー表示装置 |
| JP4714630B2 (ja) * | 2006-04-20 | 2011-06-29 | パナソニック株式会社 | 画像再生方法、画像再生装置及びディジタルカメラ |
| JP4450014B2 (ja) | 2007-05-30 | 2010-04-14 | セイコーエプソン株式会社 | プロジェクタ、画像表示装置、および、画像処理装置 |
| US20090094392A1 (en) * | 2007-10-03 | 2009-04-09 | Mikio Sakurai | System and Method for Data Operations in Memory |
| KR20100133807A (ko) * | 2009-06-12 | 2010-12-22 | 삼성전자주식회사 | 프리뷰 모드를 위한 해상도 변환 방법과 그를 이용한 이미지 센서 |
| JP2009225472A (ja) * | 2009-07-06 | 2009-10-01 | Hitachi Ltd | デジタルカメラ装置 |
| US8760459B2 (en) * | 2009-12-30 | 2014-06-24 | Intel Corporation | Display data management techniques |
| US8576986B2 (en) * | 2011-01-21 | 2013-11-05 | General Electric Company | X-ray system and method for sampling image data |
| CN106331722B (zh) * | 2015-07-03 | 2019-04-26 | 华为技术有限公司 | 图像预测方法和相关设备 |
| CN107147855A (zh) * | 2017-05-11 | 2017-09-08 | 中国电子科技集团公司第四十四研究所 | 电平状态可调节的ccd垂直时序驱动电路 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3850952T2 (de) * | 1987-12-22 | 1995-02-23 | Philips Nv | Videosignalkodierung und -dekodierung mit einem adaptiven Filter. |
| US6487366B1 (en) * | 1990-02-16 | 2002-11-26 | Minolta Co., Ltd. | Camera system capable of storing compressed data |
| JP3764493B2 (ja) * | 1993-09-20 | 2006-04-05 | ソニー株式会社 | 電子スチルカメラ及び画像データ処理方法 |
| CA2127151A1 (en) * | 1993-09-21 | 1995-03-22 | Atul Puri | Spatially scalable video encoding and decoding |
| JP3429061B2 (ja) | 1994-05-19 | 2003-07-22 | 富士写真フイルム株式会社 | 電子スチルカメラ |
| JP3216864B2 (ja) * | 1995-07-24 | 2001-10-09 | キヤノン株式会社 | 撮像システムおよび撮像信号処理装置 |
| JPH09135390A (ja) * | 1995-11-10 | 1997-05-20 | Olympus Optical Co Ltd | 撮像装置 |
| WO1997024880A1 (en) | 1995-12-29 | 1997-07-10 | Intel Corporation | Color video data reduction |
| US6137534A (en) * | 1997-07-10 | 2000-10-24 | Flashpoint Technology, Inc. | Method and apparatus for providing live view and instant review in an image capture device |
| US6313877B1 (en) * | 1997-08-29 | 2001-11-06 | Flashpoint Technology, Inc. | Method and system for automatically managing display formats for a peripheral display coupled to a digital imaging device |
| JP4264602B2 (ja) | 1998-07-17 | 2009-05-20 | ソニー株式会社 | 画像処理装置 |
| JP2000092375A (ja) | 1998-07-17 | 2000-03-31 | Sony Corp | 信号処理装置及びその制御方法 |
| JP4131052B2 (ja) | 1998-07-17 | 2008-08-13 | ソニー株式会社 | 撮像装置 |
| JP4158245B2 (ja) | 1998-07-17 | 2008-10-01 | ソニー株式会社 | 信号処理装置 |
| JP2002101329A (ja) * | 2000-09-26 | 2002-04-05 | Fuji Photo Film Co Ltd | デジタルカメラ、画像再生装置及び方法 |
-
1998
- 1998-11-20 JP JP33161498A patent/JP4253881B2/ja not_active Expired - Lifetime
-
1999
- 1999-07-09 MY MYPI99002886A patent/MY123338A/en unknown
- 1999-07-14 CN CNB031587585A patent/CN1277403C/zh not_active Expired - Fee Related
- 1999-07-14 CN CNB991104641A patent/CN1147129C/zh not_active Expired - Fee Related
- 1999-07-14 US US09/353,287 patent/US6639627B1/en not_active Expired - Lifetime
- 1999-07-15 EP EP99305638A patent/EP0975155A3/en not_active Withdrawn
- 1999-07-15 EP EP09015936A patent/EP2164245A3/en not_active Withdrawn
-
2003
- 2003-08-26 US US10/650,021 patent/US7349012B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1242666A (zh) | 2000-01-26 |
| US20050088561A1 (en) | 2005-04-28 |
| US6639627B1 (en) | 2003-10-28 |
| CN1277403C (zh) | 2006-09-27 |
| CN1509070A (zh) | 2004-06-30 |
| EP0975155A3 (en) | 2001-12-05 |
| US7349012B2 (en) | 2008-03-25 |
| JP2000092361A (ja) | 2000-03-31 |
| EP2164245A2 (en) | 2010-03-17 |
| EP2164245A3 (en) | 2012-11-21 |
| EP0975155A2 (en) | 2000-01-26 |
| CN1147129C (zh) | 2004-04-21 |
| MY123338A (en) | 2006-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4131052B2 (ja) | 撮像装置 | |
| JP4253881B2 (ja) | 撮像装置 | |
| US6784941B1 (en) | Digital camera with video input | |
| US8194155B2 (en) | Information processing apparatus, buffer control method, and computer program | |
| US6697106B1 (en) | Apparatus for processing image signals representative of a still picture and moving pictures picked up | |
| JP2000092375A (ja) | 信号処理装置及びその制御方法 | |
| US20050253878A1 (en) | Image display device | |
| US7236194B2 (en) | Image signal processing apparatus | |
| JP4158245B2 (ja) | 信号処理装置 | |
| JP4264602B2 (ja) | 画像処理装置 | |
| KR100687454B1 (ko) | 이미징 장치 및 기록/재생 장치 | |
| JP2001197346A (ja) | 電子カメラ | |
| JP2001197348A (ja) | 電子カメラ | |
| JP2003087640A (ja) | 撮像装置、信号処理装置及び制御方法 | |
| CN100583955C (zh) | 成像设备及图像数据处理方法 | |
| JP3745605B2 (ja) | 電子スチルカメラ | |
| JPH11168690A (ja) | ディジタルスチルカメラ用信号処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051019 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080325 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080825 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090119 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140206 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |