JP4302661B2

JP4302661B2 - 画像処理システム

Info

Publication number: JP4302661B2
Application number: JP2005134226A
Authority: JP
Inventors: 希一郎伊賀; 智博福岡
Original assignee: Fujitsu Semiconductor Ltd
Current assignee: Fujitsu Semiconductor Ltd
Priority date: 2005-05-02
Filing date: 2005-05-02
Publication date: 2009-07-29
Anticipated expiration: 2025-05-02
Also published as: KR20060114611A; TW200640260A; JP2006311435A; TWI286907B; US20060244992A1; US7813015B2; KR100727863B1

Description

本発明は画像処理システムに関するものである。
近年、デジタルカメラ等の撮像装置は、１００万画素を越える画素数が大きいＣＣＤやＣｉＳ等の撮像素子が用いられるようになってきている。このため、撮像装置を構成し撮像素子から出力される画像データを処理する画像処理システムにおいて処理の高速化が求められている。

図３は、従来の撮像装置の一部ブロック回路図である。撮像装置１０は、カメラモジュール１１、ベースバンドＬＳＩ１２、画像メモリ１３を有している。カメラモジュール１１は、撮像素子を含む撮像部１４と、該撮像部１４の出力信号を処理する画像処理ＬＳＩ１５を備えている。撮像部１４は、入射光に応じた撮像素子の出力信号をＡ／Ｄ変換し、該変換により生成した画像データを出力する。この画像データは、１画素が赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の各色のデータにより構成される。画像処理ＬＳＩ１５はフォーマット変換部（ＹＣｂＣｒ変換部）とインタフェース部を備え、３原色（ＲＧＢ）の画像データを輝度色差（ＹＣｂＣｒ）により表現する画像データに変換し、該画像データをインタフェース部を介してベースバンドＬＳＩ１２に出力する。

ベースバンドＬＳＩ１２は圧縮処理部１６とインタフェース部（図示略）を有し、カメラモジュール１１からインタフェース部を介して入力される画像データを画像メモリ１３に格納する。圧縮処理部１６は画像メモリ１３に格納された画像データを読み出し、該画像データを所定の形式（例えばＪＰＥＧ形式）の圧縮データに変換し、変換後のデータを画像メモリ１３に格納する。

ところで、撮像素子が高画素化されると、それにともない各ＬＳＩ１２，１５が処理するデータ量、画像処理ＬＳＩ１５からベースバンドＬＳＩ１２に転送されるデータの量が増大する。データの転送に要する時間は、次の撮影までに要する時間に影響を与えるが、この次の撮影までの時間はカメラの性能に関わるため長くすることができない。

解決する１つの方法として、画像処理ＬＳＩ１５とベースバンドＬＳＩ１２との間の転送速度を上げることが考えられる。転送速度を上げるため、画像処理ＬＳＩ１５とベースバンドＬＳＩ１２との間でデータを転送するために用いられるクロック信号の周波数を高くする。しかし、従来のインタフェース部はクロック信号の高速化に対応することができず、対応可能なインタフェース部の採用はＬＳＩのコスト上昇を招く。

解決する別の方法として、画像処理ＬＳＩ１５内でデータをＪＰＥＧ形式に圧縮し、画像処理ＬＳＩ１５とベースバンドＬＳＩ１２との間の転送量を少なくすることが考えられる。しかし、画像処理ＬＳＩ１５内でデータをＪＰＥＧ形式に圧縮するためには、圧縮処理前後のデータを格納するメモリを画像処理ＬＳＩ１５に備える必要がある。また、ＪＰＥＧ形式の圧縮処理は２次元ＤＣＴ演算処理を含み、２次元ＤＣＴ演算処理は垂直８ライン分のデータを用いる処理であるため、その８ライン分のデータを格納するメモリが必要となる。更に、二次元圧縮処理の間に撮像素子から入力される画像データを格納するメモリが必要となる。このように大容量のメモリを搭載することは、画像処理ＬＳＩ１５のチップサイズを増大させると共にチップコストを上昇させる。

本発明は上記問題点を解決するためになされたものであって、その目的はコスト上昇を抑え大画素の撮像素子に対応が可能な画像処理システムを提供することにある。

上記目的を達成するため、請求項１に記載の発明によれば、画像処理部にて所定の画像処理を行ったデータに対して、一次元圧縮部にて圧縮処理を行い、その圧縮後の圧縮データを外部へ出力する。一次元圧縮部は、その圧縮処理には処理の対象となるデータ付近の数バイトのデータを記憶すればよいため、大きな記憶メモリが不要である。また、圧縮データは、入力データである非圧縮データに比べて容量がすくない。従って撮像部の高画素化にともない非圧縮データの容量が多くなっても圧縮データを転送することで、高速なデータ転送が不要となり、出力部の高速化が不要となる。従って、コスト上昇を抑え大画素の撮像部に容易に対応することができる。

また、一次元圧縮部の圧縮処理に対応する一次元伸張処理を行う一次元伸張部を備えている。従って、一次元圧縮部にて圧縮したデータから、その圧縮処理の方法に対応していない装置であっても伸張データを得ることができる。また、一次元伸張部は、一次元圧縮部が圧縮データを出力する経路とは別の経路から圧縮データを入力するため、一次元圧縮部にて生成した圧縮データの送出に影響を与えることなく伸張データを入力することができる。

また、二次元圧縮部は、外部から入力されるデータに対して二次元圧縮処理を実施する。従って、二次元圧縮処理により更に圧縮したデータを生成することができる。二次元圧縮部がＤＣＴ演算処理を行う場合、そのＤＣＴ演算処理には８×８画素のブロックデータが必要となるが、必要なブロックデータを外部から逐次供給することで、大容量の記憶メモリを搭載する必要が無く、画像処理装置のチップサイズの増大を抑え、ひいては画像処理装置のコスト上昇を抑えることができる。

以上記述したように、本発明によれば、コスト上昇を抑え大画素の撮像素子に対応が可能な画像処理システムを提供することができる。

以下、本発明を具体化した一実施形態を図１及び図２に従って説明する。
図１は、画像処理システムの一部ブロック回路図である。
画像処理システム２０は本実施形態ではデジタルスチルカメラ（ＤＳＣ）であり、撮像装置としてのカメラモジュール２１、ベースバンドＬＳＩ２２、画像メモリ２３を備えている。カメラモジュール２１とベースバンドＬＳＩ２２は、互いに接続されている。また、カメラモジュール２１とベースバンドＬＳＩ２２は、システムバス２４を介して互いに接続されている。システムバス２４には、画像処理システム２０が有する図示しない周辺回路が接続されている。周辺回路は、画像処理システム２０全体を制御するＣＰＵ、パーソナルコンピュータなどと画像処理システム２０を接続するためのインタフェース回路、画像データを格納する外部メモリを接続するためのインタフェース回路、を含む。

カメラモジュール２１は、撮像部３１と、画像処理装置としての画像処理ＬＳＩ３２とを備えている。
撮像部３１は例えばカラーフィルタ、ＣＣＤ撮像素子、アナログフロントエンド回路を備える。カラーフィルタは例えばベイヤ配列された赤色（Ｒ），緑色（Ｇ），青色（Ｂ）のフィルタから構成されている。撮像素子は、マトリックス状に配列された複数の受光セル（画素）を備え、入射光に応じて各受光セルに蓄積した電荷を持つ信号を行及び列に従って出力する。アナログフロントエンド回路は、撮像素子の出力信号をデジタル信号にＡ／Ｄ変換し、該変換した信号を画像データ（ベイヤデータ）として出力する。この画像データは、１画素に対して赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の各色のデータにより構成される。尚、撮像部３１は、ＣＣＤ撮像素子やＣｉＳ（CMOS Image Sensor）等を備える構成としてもよい。

画像処理ＬＳＩ３２は、３原色（ＲＧＢ）の画像データを輝度色差（ＹＣｂＣｒ）により表現する画像データに変換し、該画像データをベースバンドＬＳＩ１２に出力するように構成されている。画像処理ＬＳＩ３２は、画像処理部としてのフォーマット変換部（ＹＣｂＣｒ変換部）３３、一次元圧縮部３４、出力部としてのカメラインタフェース３５、一次元伸張部３６、二次元圧縮部３７を備えている。

フォーマット変換部３３は、３原色（ＲＧＢ）の画像データを輝度色差（ＹＣｂＣｒ）により表現する画像データに変換し、変換したデータを出力する。一次元圧縮部３４は、フォーマット変換部３３から順次入力される画像データを所定の方式により一次元圧縮し、圧縮した画像データを出力する。一次元圧縮の方式として例えば、ハフマン符号が用いられる。一次元圧縮部３４は、圧縮処理に必要なデータを記憶するために数バイトの容量を持つ記憶部３４ａを備え、順次入力される画像データを記憶部３４ａに記憶する。そして、一次元圧縮部３４は、記憶部３４ａに記憶したデータをハフマン符号化方式に従って圧縮し、圧縮後の画像データを出力する。カメラインタフェース３５は、一次元圧縮部３４から出力される画像データをベースバンドＬＳＩ２２に出力する。

一次元圧縮部３４から出力される１画面分の画像データのデータ量は、撮像部３１から出力される１画面分の画像データのデータ量、フォーマット変換部３３から出力される１画面分の画像データのデータ量に比べて少ない。従って、カメラインタフェース３５は、周波数の高いクロック信号を用いずとも画像データの転送が可能である。

一次元伸張部３６と二次元圧縮部３７は、内部バス３８に接続され、その内部バス３８はシステムバス２４に接続されている。一次元伸張部３６は、一次元圧縮部３４の圧縮方式と対応する伸張方式にて入力データに対して伸張処理を行い、該伸張したデータを出力するように構成されている。一次元伸張部３６は、伸張処理に必要なデータを記憶するために数バイトの容量を持つ記憶部３６ａを備え、内部バス３８を介して入力されるデータを記憶部３６ａに記憶する。そして、一次元伸張部３６は、記憶部３６ａに記憶したデータに伸張処理を行い、伸張したデータを出力する。

二次元圧縮部３７は、所定の圧縮方式（ＪＰＥＧ形式）にてデータを圧縮するように構成されている。つまり、二次元圧縮部３７は、処理に必要なデータを記憶する容量を持つ記憶部３７ａを備え、二次元圧縮部３７は内部バス３８を介して入力されるデータを記憶部３７ａに記憶する。そして、二次元圧縮部３７は、記憶部３７ａに記憶したデータに対してＤＣＴ演算処理，符号化処理を行い、処理後のデータを出力する。

ベースバンドＬＳＩ２２は、カメラインタフェース４１、外部インタフェース４２を有している。ベースバンドＬＳＩ２２は画像メモリ２３に接続されている。画像メモリ２３は１画面分の画像データを記憶可能なメモリ容量を持ち、例えばＳＤＲＡＭにて構成されている。ベースバンドＬＳＩ２２は、カメラインタフェース４１を介して入力される画像データを画像メモリ２３に記憶する。

また、ベースバンドＬＳＩ２２は、画像メモリ２３に記憶された画像データを所定方式（ＪＰＥＧ形式）の圧縮データに変換するために画像処理ＬＳＩ３２を制御する制御機能を有している。画像処理ＬＳＩ３２は、所定の一次元圧縮方式により圧縮した画像データを出力する。先ず、ベースバンドＬＳＩ２２は、画像処理ＬＳＩ３２の一次元伸張部３６を利用し、画像メモリ２３に記憶された画像データを伸張した伸張データを取得し、該データを画像メモリ２３に記憶する。次に、ベースバンドＬＳＩ２２は、画像処理ＬＳＩ３２の二次元圧縮部３７を利用し、伸張済みの画像データを圧縮したＪＰＥＧ形式の圧縮画像データを取得し、この圧縮画像データを画像メモリ２３に記憶する。尚、一次元圧縮方式により圧縮処理された画像データを一次元圧縮画像データ、二次元圧縮方式により圧縮処理された画像データを二次元圧縮画像データという。

詳述すると、ベースバンドＬＳＩ２２は、画像メモリ２３に記憶された一次元圧縮画像データを伸張する場合、画像処理ＬＳＩ３２に伸張処理のための伸張コマンドを出力する。画像処理ＬＳＩ３２は、伸張コマンドに応答して一次元伸張部３６にて伸張処理するための準備を行い、その準備が完了するとベースバンドＬＳＩ２２に割り込み信号を出力する。ベースバンドＬＳＩ２２は、割り込み信号に応答して画像メモリ２３から一次元圧縮画像データを順次読み出し、システムバス２４を介して画像処理ＬＳＩ３２に出力する。画像処理ＬＳＩ３２は、一次元圧縮画像データを内部バス３８を介して順次入力し、一次元伸張部３６は、入力された一次元圧縮画像データを伸張処理し、伸張した伸張画像データを内部バス３８，システムバス２４を介してベースバンドＬＳＩ２２に出力する。ベースバンドＬＳＩ２２は、システムバス２４を介して入力した伸張画像データを画像メモリ２３に記憶する。

このように、画像処理ＬＳＩ３２が一次元圧縮部３４と一次元伸張部３６とを備え、ベースバンドＬＳＩ２２は、画像処理ＬＳＩ３２から入力した一次元圧縮画像データを、その画像処理ＬＳＩ３２が持つ一次元伸張部３６を利用して伸張データを取得する。このため、一次元圧縮部３４による圧縮方式が不明であっても、伸張データを確実に得ることができる。

次に、ベースバンドＬＳＩ２２は、画像処理ＬＳＩ３２に圧縮処理のための圧縮コマンドを出力する。画像処理ＬＳＩ３２は、圧縮コマンドに応答して二次元圧縮部３７にて圧縮処理するための準備を行い、その準備が完了するとベースバンドＬＳＩ２２に割り込み信号を出力する。ベースバンドＬＳＩ２２は、割り込み信号に応答して画像メモリ２３から伸張データを順次読み出し、システムバス２４を介して画像処理ＬＳＩ３２に出力する。画像処理ＬＳＩ３２は、伸張データを内部バス３８を介して順次入力し、二次元圧縮部３７は、入力された伸張データを圧縮処理し、圧縮した二次元圧縮画像データを内部バス３８，システムバス２４を介してベースバンドＬＳＩ２２に出力する。ベースバンドＬＳＩ２２は、システムバス２４を介して入力した二次元圧縮画像データを画像メモリ２３に記憶する。

図２は、画像処理システム２０において二次元圧縮画像データを生成するための処理フローである。
先ず、ステップ５１（ＹＣｂＣｒ変換手段）において、画像処理ＬＳＩのフォーマット変換部３３は、撮像部３１から入力される画像データ（ベイヤデータ）をＹＣｂＣｒで表現されるデータに変換し、一次元圧縮部３４に出力する。ステップ５２（一次元圧縮手段）において、一次元圧縮部３４は、入力データを既存の一次元圧縮手法により圧縮し、圧縮した一次元圧縮画像データをカメラインタフェース３５に出力する。ステップ５３（圧縮データ送出手段）において、カメラインタフェース３５は、一次元圧縮部３４から入力される一次元圧縮画像データをベースバンドＬＳＩ２２に送出する。

ステップ５４（圧縮データ蓄積手段）において、ベースバンドＬＳＩ２２のカメラインタフェース４１は、画像処理ＬＳＩ３２から入力した一次元圧縮画像データを画像メモリ２３に格納する。ステップ５５（蓄積圧縮データ送出手段）において、ベースバンドＬＳＩ２２は、画像メモリ２３に格納された一次元圧縮画像データをシステムバス２４を介して画像処理ＬＳＩ３２に出力する。

ステップ５６（一次元伸張手段）において、画像処理ＬＳＩ３２の一次元伸張部３６は、内部バス３８を介して入力した一次元圧縮画像データを伸張処理する。そして、ステップ５７（伸張データ送出手段）において、一次元伸張部３６は、伸張した伸張画像データを内部バス３８、システムバス２４を介してベースバンドＬＳＩ２２に送出する。

ステップ５８（伸張データ蓄積手段）において、ベースバンドＬＳＩ２２は、画像処理ＬＳＩ３２からシステムバス２４を介して入力した伸張画像データを画像メモリ２３に格納する。ステップ５９（ブロックデータ送出手段）において、ベースバンドＬＳＩ２２は、画像メモリ２３からＤＣＴ演算処理される１つのブロックデータ（８×８画素分の画像データ）を読出し、該ブロックデータを画像処理ＬＳＩ３２に送出する。

ステップ６０（二次元圧縮手段）において、画像処理ＬＳＩ３２の二次元圧縮部３７は、内部バス３８を介して入力した伸張画像データを圧縮処理する。そして、ステップ６１（二次元圧縮データ送出手段）において二次元圧縮部３７は、圧縮処理した二次元圧縮画像データを送出する。

以上記述したように、本実施形態によれば、以下の効果を奏する。
（１）フォーマット変換部３３にてＲＧＢデータをＹＣｂＣｒデータに変換した後、その変換したデータに対して、一次元圧縮部３４にて一次元圧縮処理を行い、その圧縮後の一次元圧縮画像データをベースバンドＬＳＩ２２へ出力する。一次元圧縮部３４は、その圧縮処理には処理の対象となるデータ付近の数バイトのデータを記憶すればよいため、大きな記憶メモリが不要である。また、圧縮データは、入力データである非圧縮データに比べて容量がすくない。従って撮像部３１の高画素化にともない非圧縮データの容量が多くなっても圧縮データを転送することで、高速なデータ転送が不要となり、カメラインタフェース３５の高速化が不要となる。従って、コスト上昇を抑え大画素の撮像部３１に容易に対応することができる。

（２）一次元圧縮部３４の圧縮処理に対応する一次元伸張処理を行う一次元伸張部３６を備えている。従って、一次元圧縮部３４にて圧縮したデータから、その圧縮処理の方法に対応していない装置であっても伸張データを得ることができる。また、一次元伸張部３６は内部バス３８を介して圧縮データを入力する、つまり一次元圧縮部３４が圧縮データを出力する経路とは別の経路から圧縮データを入力するため、一次元圧縮部３４にて生成した圧縮データの送出に影響を与えることなく伸張データを入力することができる。

（３）画像処理ＬＳＩ３２は二次元圧縮部３７を備え、二次元圧縮部３７は、外部から入力されるデータに対して二次元圧縮処理を実施する。従って、二次元圧縮処理により更に圧縮したデータを生成することができる。二次元圧縮部３７がＪＰＥＧ形式のデータを生成する場合のようにＤＣＴ演算処理を行う場合、そのＤＣＴ演算処理には８×８画素のブロックデータが必要となるが、必要なブロックデータをベースバンドＬＳＩ２２が画像メモリ２３から読み出して逐次供給することで、大容量の記憶メモリを搭載する必要が無く、画像処理ＬＳＩ３２のチップサイズの増大を抑え、ひいてはカメラモジュール２１のコスト上昇を抑えることができる。

（４）フォーマット変換部３３は、撮像部３１から入力される画像データをＹＣｂＣｒデータに変換する。ＹＣｂＣｒ変換後のデータはＲＧＢデータに比べて容量が多くなるため、一次元圧縮部３４にて圧縮データを生成することで、変換により非圧縮データの容量が多くなっても圧縮データを転送することで、高速なデータ転送が不要となり、出力部の高速化が不要となる。従って、コスト上昇を抑え大画素の撮像部３１に容易に対応することができる。

尚、上記実施形態は、以下の態様に変更してもよい。
・上記実施形態は、画像処理システム２０をデジタルスチルカメラに具体化したが、その他のシステム、例えばデジタルビデオカメラ、カメラ付き携帯電話、パーソナルコンピュータに内蔵されるデジタルカメラ、等に具体化しても良い。

・上記実施形態では、一次元圧縮部３４はハフマン符号化方式に従って入力データを一次元圧縮したが、その他の方式により一次元圧縮を行っても良い。例えば、一次元圧縮部３４は、順次入力される２つの画像データの差を算出し、その差分をハフマン符号化方式に従ってビットレートに置き換えることで画像データ全体を圧縮する構成としてもよい。また、ハフマン符号以外の方式を用いても良い。

一実施形態の画像処理システムの一部ブロック回路図である。圧縮処理のフローチャートである。従来の画像処理システムの一部ブロック回路図である。

符号の説明

２１カメラモジュール
２２ベースバンドＬＳＩ
２３画像メモリ
３１撮像部
３２画像処理ＬＳＩ
３３フォーマット変換部
３４一次元圧縮部
３５カメラインタフェース
３６一次元伸張部
３７二次元圧縮部

Claims

入射光に応じた画像データを出力する撮像部と、
前記画像データに対して所定の画像処理を行う画像処理装置と、
前記画像処理装置から出力される画像データを画像メモリに格納する信号処理装置と、
を備え、
前記画像処理装置は、
前記撮像部から入力される画像データに対して所定の画像処理を行い、処理後のデータを出力する画像処理部と、
前記処理後のデータに対して一次元圧縮処理を行い、その処理後の圧縮データを出力する一次元圧縮部と、
前記圧縮データを出力する出力部と、
を有し、
前記信号処理装置は、
前記出力部から出力される圧縮データを画像メモリに格納する圧縮データ蓄積手段と、
前記画像メモリから圧縮データを読み出して前記画像処理装置に出力する蓄積圧縮データ送出手段と、
を有し、
前記画像処理装置は、前記信号処理装置から入力される圧縮データに対して前記一次元圧縮部の圧縮処理に対応する伸張処理を実施し、伸張画像データを生成する一次元伸張手段を有し、
前記信号処理装置は、前記伸張画像データを画像メモリに格納する伸張データ蓄積手段と、前記画像メモリからブロックデータを読み出し、該ブロックデータを前記画像処理装置へ出力するブロックデータ送出手段を有し、
前記画像処理装置は、前記ブロックデータに対して二次元圧縮処理を行い、その処理後の圧縮データを出力する二次元圧縮手段を有する
ことを特徴とする画像処理システム。