JP4448027B2

JP4448027B2 - 画像処理装置及び方法、画像出力装置、並びにこれらを用いたデジタルカメラ装置及び携帯情報端末

Info

Publication number: JP4448027B2
Application number: JP2004514356A
Authority: JP
Inventors: 栄司渥美; 一暢進
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 2002-06-18
Filing date: 2003-06-18
Publication date: 2010-04-07
Anticipated expiration: 2023-06-18
Also published as: EP1530376A1; AU2003242469A1; WO2003107684A1; CN1663285A; EP1530376A4; JPWO2003107684A1

Description

本発明は、デジタルカメラ等で撮影した画像データの処理装置に係り、より詳細には、画像データサイズを小さく保ったままデータ処理や出力が可能な画像処理装置および画像処理方法に関する。

一般的なデジタルカメラは、光検出器として、フォトダイオードからなる撮像素子が多数配列された、単板式のＣＣＤやＣＭＯＳセンサーを用いている。これらの撮像素子は、色を識別する能力がないため、カラーフィルタをセンサーと共に用いる。カラーフィルタには、光の３原色であるＲＧＢ（赤、緑、青）を使用するタイプと、その補色であるＣＭＹ（シアン、マゼンタ、黄）を使うタイプがあり、前者を原色フィルタ、後者を補色フィルタと呼ぶ。前者は、市松状に緑を配置してその間に赤と青を配置する原色ベイヤー方式が代表的なものであり、後者は、シアン、マゼンタ、黄に人間の目に敏感な緑を加えたものがよく用いられる。カラー画像を撮影するためには、カラーフィルタをセンサーの上にモザイク状に配置し、それぞれのカラーフィルタを通過した光の色要素をその真下にある撮像素子が検出するという方法を用いる。従って、撮像素子１つ１つは、１色分の情報しか検出できず、検出できない部分については補間をすることによって最終的な画像を得ている。

添付図面の図６に、原色ベイヤー方式のカラーフィルタを備えたＣＣＤセンサーを持つデジタルカメラで撮影したカラー画像データから、最終的な画像を得るまでの一般的な画像処理の流れを示す。

レンズ１１を通して撮像部１２に光が入射すると、光は撮像部１２で電気信号に変換され、さらにＡ／Ｄ変換されてデジタル形式のカラー画像データとして出力される。この段階のカラー画像データを模式的に示したものが、参照符号１０１を付したものである。即ち、このカラー画像データは、所定の領域に光の赤色成分Ｒ、青色成分Ｂ、緑色成分Ｇのデータを持つ構造が、多数繰り返し配列された構造を持つ原色ベイヤー配列そのままのデータ構造となっている。このカラー画像データは、原画処理部１３にて、レンズ濃淡補正、ホワイトバランス等の原画処理が施された後、データ分割部１４にて、ＲＧＢの色成分毎に３つの画像に分割される。この段階の画像データを模式的に示したものが、参照符号１０２を付したものである。即ち、センサー平面の１／４の領域のみにデータが存在する赤色画像データおよび青色画像データと、センサー平面の１／２の領域のみにデータが存在する緑色画像データとの３つの画像データが作られる。データが存在しない部分は、次の補間処理部１５で所定の補間が施されて埋められる。この段階の画像データを模式的に示したものが、参照符号１０３を付したものである。即ち、センサーの撮像素子の数と同じだけのデータポイント数を持つ単色画像データ１０３が、３つ作られる。これらの単色画像データは、ＹＵＶ変換部１６にてＹＵＶ変換され、二次処理部１７にて輪郭強調やガンマ補正等の二次処理がなされて、出力部１８から出力され、表示用最適化部１９にて最適化が施されて、表示装置２０に表示されたり、画像データとして記憶媒体２１に貯蔵される。

近年のパーソナルコンピュータ、携帯電話、ＰＤＡ（個人向け携帯情報端末）等の情報機器の発達につれ、これらにカメラ装置を組み込むことも行われるようになった。このような場合、出力部１８から出力された画像データは、単に表示、貯蔵されるにとどまらず、電話、ブルーツース（Bluetooth）等の無線通信手段を用いて送信されたり、画像付きの電子メールのために用いられる等の新たな利用が始まっている。

しかし、前述したような既存の画像処理方法では、出力時のデータ量がセンサーの解像度の３倍に膨れ上がるという問題があった。これは、デジタルカメラ装置を携帯電話やＰＤＡ等の携帯情報機器は、アプリケーションや通信等の様々な処理を行う必要があるので、個々のデータ処理量を小さく抑える必要がある一方、デジタルカメラ装置の既存の画像処理方法では、出力データ量がセンサーの解像度の３倍に膨れ上がってしまうので、これを携帯情報機器で扱える量のデータ量に抑えるためには、センサーの解像度を小さくしなければならい。また、カメラ装置と携帯情報機器を接続する信号バスも出力データ量に応じた帯域巾（広さ）が必要になるが、これもコストやスペースの関係で、それほど広くすることは難しい。このため、携帯情報機器に高解像度のカメラ装置を組み込むことは困難であった。

また、既存の画像処理方法では、デジタルカメラ装置で撮影した画像を携帯情報機器で使用する場合、画像処理の効率が良くないという問題もあった。つまり、携帯情報機器の表示装置は、概して小型であり、時には白黒表示しかできないものもある一方、カメラ装置で撮影した画像データは、表示装置よりも高解像度であるため、携帯情報機器の表示装置で用いるために、高解像度の大きいデータを処理するのは無駄が大きい。また、電子メールに画像を取り込む場合も、高解像度の画像は通常必要とされない。従って、携帯情報機器内で使用する場合には、データ量を小さいまま抑えることができ、印刷等の高解像度の用途においては容易に高解像度の画像を取り出せるような画像を出力するカメラ装置が望まれる。

本発明の一つの目的は、前述したような従来技術の問題点に鑑み、高解像度のカメラ装置であっても、出力データ量を小さく抑えることのできる画像処理装置および画像処理方法を提供することである。

また、本発明の別の目的は、前述したような従来技術の問題点に鑑み、高解像度のカメラ装置であっても、携帯情報機器での必要性に応じた大きさの画像データを出力できる画像出力装置を提供することである。

また、本発明のさらに別の目的は、前述したような従来技術の問題点に鑑み、高解像度のカメラ装置であっても、出力データ量を小さく抑えることのできる画像処理装置を用いたデジタルカメラ装置および携帯情報端末を提供することである。

また、本発明のさらに別の目的は、前述したような従来技術の問題点に鑑み、高解像度のカメラ装置であっても、携帯情報機器での必要性に応じた大きさの画像データを出力できる画像出力装置を用いたデジタルカメラ装置および携帯情報端末を提供することである。

本発明の一つの観点によれば、複数個の異なる色成分にそれぞれ関する色データを含むカラー画像データを処理する画像処理装置において、処理すべき初期カラー画像データを入力するための初期カラー画像入力手段と、該初期カラー画像入力手段によって入力された初期カラー画像データを色成分ごとに分割して、該初期カラー画像データを構成する異なる色成分のうちの１つの色成分に関する色データのみからなる前記複数個と同数またはこれより多い数の単色画像データを作成するためのデータ分割手段と、前記単色画像データについて所定の処理を行い二次画像データを作成するためのデータ処理手段と、前記二次画像データを出力する二次画像データ出力手段とを備えており、前記複数個と同数またはこれより多い数の単色画像データの中には、前記複数個の異なる色成分の各々に対応する単色画像データが少なくとも１つ含まれており、前記複数個と同数またはこれより多い数の単色画像データのそれぞれのデータポイント数の合計は、前記初期画像データのデータポイント数に等しく、前記初期カラー画像データは、所定の領域に光の赤色成分に感度を持つ第１の検出部、光の緑色成分に感度を持つ第２の検出部、光の青色成分に感度を持つ第３の検出部および光の緑色成分に感度を持つ第４の検出部が配置された小構造が多数繰り返し配列された構造を持つ、原色ベイヤー配列の光検出装置を備えるカラー撮像装置で撮影された、ＲＧＢ形式の３つの異なる色成分のそれぞれに関する色データを含むカラー画像データであり、前記データ分割手段は、前記初期カラー画像データを、前記第１の検出部から取得されたＲ成分に対応するＲデータ、前記第２の検出部から取得されたＧ成分に対応するＧ１データ、前記第３の検出部から取得されたＢ成分に対応するＢデータおよび前記第４の検出部から取得されたＧ成分に対応するＧ２データの４つの単色画像データに分割することを特徴とする画像処理装置が提供される。

初期カラー画像データは、ＣＣＤやＣＭＯＳセンサーにカラーフィルタを組み合わせた撮像素子により撮影され、Ａ／Ｄ変換によりディジタル形式に変換されたデータであるが、他の種類の撮像素子を用いてもよい。また初期カラー画像データのデータポイント数（データ点の数）は、撮像素子の有効画素数（ピクセルの数）と同一であることが望ましいが、撮像素子の有効画素数より多くしても少なくしても全く構わない。初期カラー画像データには、レンズ濃淡補正、不良ピクセル補正、ホワイトバランス、ガンマ補正等の原画処理を施して作成してもよい。

本発明の一つの実施の形態によれば、前記二次画像データのデータポイント数は、前記初期カラー画像データのデータポイント数と等しいか又はそれ以下である。

本発明の別の実施の形態によれば、前記二次画像データは、カラー画像データと単色画像データのいずれか一方または両方を含む。そこで本発明の画像処理装置から出力される二次画像データを利用する他の機器は、カラー画像データと単色画像データのいずれか一方のみを利用したり、または両方を利用することができる。例えば、他の機器が二次画像データをセルラー方式等の無線通信により誰かに送信する場合、データサイズを小さくするために単色画像データのみを送信する、という使い方ができる。または他の機器が画像の印刷を目的とするような場合は、カラー画像データと単色画像データの両方を利用して１つの高解像度のカラー画像を作成し、印刷するという使い方ができる。前記データ処理手段や前記データ出力手段は、他の機器の命令により、カラー画像データと単色画像データを両方出力するか、又は片方のみ出力するかを選択する手段を備えていてもよい。

本発明のさらに別の実施の形態によれば、前記初期カラー画像データは、所定の領域に光の赤色成分に感度を持つ第１の検出部、光の緑色成分に感度を持つ第２の検出部、光の青色成分に感度を持つ第３の検出部および光の緑色成分に感度を持つ第４の検出部が配置された小構造が多数繰り返し配列された構造を持つ、原色ベイヤー配列の光検出装置を備えるカラー撮像装置で撮影された、ＲＧＢ形式の３つの異なる色成分のそれぞれに関する色データを含むカラー画像データであり、前記データ分割手段は、前記初期カラー画像データを、前記第１の検出部から取得されたＲ成分に対応するＲデータ、前記第２の検出部から取得されたＧ成分に対応するＧ１データ、前記第３の検出部から取得されたＢ成分に対応するＢデータおよび前記第４の検出部から取得されたＧ成分に対応するＧ２データの４つの単色画像データに分割する。

本発明のさらに別の実施の形態によれば、前記初期カラー画像データは、所定の領域に光の赤色成分に感度を持つ第１の検出部、光の緑色成分に感度を持つ第２の検出部、光の青色成分に感度を持つ第３の検出部および光の緑色成分に感度を持つ第４の検出部が配置された構造が多数繰り返し配列された構造を持つ、原色ベイヤー配列の光検出装置を備えるカラー撮像装置で撮影された、ＲＧＢ形式の３つの異なる色成分にそれぞれ関する色データを含むカラー画像データであり、前記データ分割手段は、前記初期カラー画像データを、前記第１の検出部から取得されたＲ成分に対応するＲデータと、前記第３の検出部から取得されたＢ成分に対応するＢデータと、前記第２の検出部および第４の検出部から取得されたＧ成分の低周波成分であるＧ１データおよび高周波成分であるＧ２データとの４つの単色画像データに分割する。

本発明のさらに別の実施の形態によれば、前記データ分割手段は、前記Ｒデータ、Ｂデータに対して隣接するＲデータ、並びに、Ｂデータへのローパスフィルタリングを施し、（例えば、前記Ｒデータ、Ｂデータに対して隣接するＲデータ、並びに、Ｂデータへの局所的な補間処理と再サンプリングよりなるローパスフィルタリングを各画素とその近傍画素に対して施し、）各Ｒ、Ｂの画素位置並びにその画素値を、各Ｒ、Ｇ１、Ｂ、Ｇ２画素よりなる２×２の各小構造の中央位置並びに同位置に対応した画素値に変換するデータ変換手段を含む。

本発明のさらに別の実施の形態によれば、前記データ処理手段は、前記Ｒデータ、Ｇ１データ、Ｂデータに対してＲＧＢ−ＹＵＶ変換を施し、Ｙ成分であるＹ１データ、Ｕ成分であるＵデータおよびＶ成分であるＶデータから構成されるＹ１ＵＶデータに変換するデータ形式変換手段と、前記２次画像データとして、前記Ｙ１ＵＶデータとＧ２データのいずれか一方または両方を含む画像データを形成する画像データ形成手段と、を含む。

本発明のさらに別の実施の形態によれば、前記データ処理手段は、前記Ｒデータ、Ｇ１データ、Ｂデータに対してＲＧＢ−ＹＵＶ変換を施し、Ｙ成分であるＹ１データ、Ｕ成分であるＵデータおよびＶ成分であるＶデータから構成されるＹ１ＵＶデータに変換し、前記Ｒデータ、Ｇ２データ、Ｂデータに対してＲＧＢ−ＹＵＶ変換を施し、Ｙ成分であるＹ２データに変換するデータ形式変換手段と、前記二次画像データとして、前記Ｙ１ＵＶデータとＹ２データのいずれか一方または両方を含む画像データを形成する画像データ形成手段と、を含む。

本発明のさらに別の実施の形態によれば、前記データ処理手段は、更に、前記Ｙ１データとＹ２データから、１つのＹ成分データであるＹデータを作成するデータ作成手段と、前記二次画像データとして、前記Ｙデータ、Ｕデータ、およびＶデータのいずれか１つ又は全部を含む画像データを形成する画像データ形成手段と、を含む。

本発明のさらに別の実施の形態によれば、前記初期カラー画像データは、補色カラーフィルタを使用したカラー撮像装置で撮影された画像データである。なお、補色カラーフィルタとは、赤、緑、青の補色であるシアン、マゼンタ、黄の三色に、人間の目に敏感な緑を加えた四色で構成されるものであることが多い。

本発明のさらに別の実施の形態によれば、前記データ処理手段は、更に、データの一部を減縮するデータ減縮手段を含む。データ減縮手段は、例えば、前記ＵデータとＶデータのいずれか一方または両方をサブサンプリングして、これらのデータポイント数を減少させる。他の例としては、前記Ｇ２データのビット深度を、データポイント当たり８ビットから、データポイント当たり６ビットや４ビットに減少させる。このように人間の目に鈍感な成分を減縮することで、本発明の画像処理装置の出力データサイズを小さくする。

本発明のさらに別の実施の形態によれば、前記データ処理手段は、更に、所定のデータ圧縮処理を行うデータ圧縮手段を含む。データの圧縮は、JPEG等の良く知られた方法で行なうことができる。また、前記カラー画像データや単色画像データのいずれか一方のみ、または両方を圧縮するように構成してもよい。

本発明のさらに別の実施の形態によれば、前記二次画像データを入力する二次画像データ入力手段と、該二次画像データ入力手段によって入力された二次画像データから、赤色成分のみを持つ赤色画像データ、青色成分のみを持つ青色画像データ、緑色成分のみを持つ緑色画像データの３つの単色画像データを作成する単色画像データ作成手段と、前記３つの単色画像データに対して、それぞれ所定の画素補間を行って、前記初期カラー画像データと同じデータポイント数を有する３つの補間単色画像データを作成する補間単色画像データ作成手段と、前記補間単色画像データを出力する補間単色画像データ出力手段と、を更に備える。この実施の形態における赤、青、緑の３つの補完単色画像データは、３つ合わせて従来と同様の１つのカラー画像を構成するのであり、上記のように各色とも初期カラー画像データと同じデータポイント数を有する。そのためデータサイズは大きくなっているが、高解像度の画像データを出力することができる。従ってこの実施の形態によれば、利用者の利用の態様により、データサイズの小さい前記二次画像データか、高画質の前記３つの補完単色画像データの、いずれかの出力データを選ぶことができる。

本発明の別の観点によれば、前述したような画像処理装置を備えたことを特徴とするデジタルカメラ装置が提供される。

本発明のさらに別の実施の形態によれば、前述したような画像処理装置を備えたことを特徴とする携帯情報端末が提供される。

本発明のさらに別の観点によれば、複数個の異なる色成分にそれぞれ関する色データを含むカラー画像データから、１つ以上の画像データを出力する画像出力装置において、初期カラー画像データを入力するための初期カラー画像入力手段と、該初期カラー画像入力手段によって入力された初期カラー画像データを色成分ごとに分割して、該初期カラー画像データを構成する異なる色成分のうちの１つの色成分に関する色データのみからなる前記複数個と同数またはこれより多い数の単色画像データを作成するためのデータ分割手段と、前記単色画像データから、二次カラー画像データと二次単色画像データのいずれか一方または両方を作成する二次画像データ作成手段と、前記二次カラー画像データと二次単色画像データのいずれか一方または両方を出力する出力手段と、を備えており、前記複数個と同数またはこれより多い数の単色画像データの中には、前記複数個の異なる色成分の各々に対応する単色画像データが少なくとも１つ含まれており、前記複数個と同数またはこれより多い数の単色画像データのそれぞれのデータポイント数の合計は、前記初期画像データのデータポイント数に等しく、前記初期カラー画像データは、所定の領域に光の赤色成分に感度を持つ第１の検出部、光の緑色成分に感度を持つ第２の検出部、光の青色成分に感度を持つ第３の検出部および光の緑色成分に感度を持つ第４の検出部が配置された構造が、多数繰り返し配列された構造を持つ、原色ベイヤー配列の光検出装置を備えるカラー撮像装置で撮影された、ＲＧＢ形式の３つの異なる色成分のそれぞれに関する色データを含むカラー画像データであり、前記データ分割手段は、前記初期カラー画像データを、前記第１の検出部から取得されたＲ成分に対応するＲデータ、前記第２の検出部から取得されたＧ成分に対応するＧ１データ、前記第３の検出部から取得されたＢ成分に対応するＢデータおよび前記第４の検出部から取得されたＧ成分に対応するＧ２データの４つの単色画像データに分割することを特徴とする画像出力装置が提供される。

本発明の一つの実施の形態によれば、前記二次カラー画像データと二次単色画像データのデータポイント数の合計は、前記初期カラー画像データのデータポイント数と等しいかまたはそれ以下である。

本発明のさらに別の実施の形態によれば、前記初期カラー画像データは、所定の領域に光の赤色成分に感度を持つ第１の検出部、光の緑色成分に感度を持つ第２の検出部、光の青色成分に感度を持つ第３の検出部および光の緑色成分に感度を持つ第４の検出部が配置された構造が、多数繰り返し配列された構造を持つ、原色ベイヤー配列の光検出装置を備えるカラー撮像装置で撮影された、ＲＧＢ形式の３つの異なる色成分のそれぞれに関する色データを含むカラー画像データであり、前記データ分割手段は、前記初期カラー画像データを、前記第１の検出部から取得されたＲ成分に対応するＲデータ、前記第２の検出部から取得されたＧ成分に対応するＧ１データ、前記第３の検出部から取得されたＢ成分に対応するＢデータおよび前記第４の検出部から取得されたＧ成分に対応するＧ２データの４つの単色画像データに分割し、前記二次カラー画像データは、前記Ｒデータ、Ｇ１データおよびＢデータを含んで構成され、前記二次単色画像データは、前記Ｇ２データを含んで構成される。

本発明のさらに別の実施の形態によれば、前記二次画像データ作成手段は、更に、前記４つの単色画像データから選択した３つの単色画像データをＲＧＢ−ＹＵＶ変換する、データ形式変換手段と、前記２次画像データを、前記ＲＧＢ−ＹＵＶ変換後のデータを含んで形成する画像データ形成手段と、を備える。

本発明のさらに別の観点によれば、複数個の異なる色成分にそれぞれ関する色データを含むカラー画像データを処理する画像処理方法において、処理すべき初期カラー画像データを入力するステップと、入力された初期カラー画像データを色成分ごとに分割して、該初期カラー画像データを構成する異なる色成分のうちの１つの色成分に関する色データのみからなる前記複数個と同数またはこれより多い数の単色画像データを作成するデータ分割ステップと、前記単色画像データについて所定の処理を行い二次画像データを作成するステップと、前記二次画像データを出力するステップとを含み、前記複数個と同数またはこれより多い数の単色画像データの中には、前記複数個の異なる色成分の各々に対応する単色画像データが少なくとも１つ含まれており、前記複数個と同数またはこれより多い数の単色画像データのそれぞれのデータポイント数の合計は、前記初期画像データのデータポイント数に等しく、前記初期カラー画像データは、所定の領域に光の赤色成分に感度を持つ第１の検出部、光の緑色成分に感度を持つ第２の検出部、光の青色成分に感度を持つ第３の検出部および光の緑色成分に感度を持つ第４の検出部が配置された構造が、多数繰り返し配列された構造を持つ、原色ベイヤー配列の光検出装置を備えるカラー撮像装置で撮影された、ＲＧＢ形式の３つの異なる色成分のそれぞれに関する色データを含むカラー画像データであり、前記データ分割ステップにおいては、前記初期カラー画像データを、前記第１の検出部から取得されたＲ成分に対応するＲデータ、前記第２の検出部から取得されたＧ成分に対応するＧ１データ、前記第３の検出部から取得されたＢ成分に対応するＢデータ、前記第４の検出部から取得されたＧ成分に対応するＧ２データの４つの単色画像データに分割することを特徴とする画像処理方法が提供される。

本発明の一つの実施の形態によれば、前記二次画像データのデータポイント数は、前記初期カラー画像データのデータポイント数と等しいかまたはそれ以下である。

本発明の別の実施の形態によれば、前記二次画像データは、カラー画像データと単色画像データのいずれか一方または両方を含む。

本発明の別の実施の形態によれば、前記初期カラー画像データは、所定の領域に光の赤色成分に感度を持つ第１の検出部、光の緑色成分に感度を持つ第２の検出部、光の青色成分に感度を持つ第３の検出部および光の緑色成分に感度を持つ第４の検出部が配置された構造が、多数繰り返し配列された構造を持つ、原色ベイヤー配列の光検出装置を備えるカラー撮像装置で撮影された、ＲＧＢ形式の３つの異なる色成分のそれぞれに関する色データを含むカラー画像データであり、前記データ分割ステップにおいては、前記初期カラー画像データを、前記第１の検出部から取得されたＲ成分に対応するＲデータ、前記第２の検出部から取得されたＧ成分に対応するＧ１データ、前記第３の検出部から取得されたＢ成分に対応するＢデータ、前記第４の検出部から取得されたＧ成分に対応するＧ２データの４つの単色画像データに分割する。

本発明のさらに別の実施の形態によれば、前記初期カラー画像データは、所定の領域に光の赤色成分に感度を持つ第１の検出部、光の緑色成分に感度を持つ第２の検出部、光の青色成分に感度を持つ第３の検出部および光の緑色成分に感度を持つ第４の検出部が配置された構造が、多数繰り返し配列された構造を持つ、原色ベイヤー配列の光検出装置を備えるカラー撮像装置で撮影された、ＲＧＢ形式の３つの異なる色成分にそれぞれ関する色データを含むカラー画像データであり、前記データ分割ステップにおいては、前記初期カラー画像データを、前記第１の検出部から取得されたＲ成分に対応するＲデータと、前記第３の検出部から取得されたＢ成分に対応するＢデータと、前記第２の検出部および第４の検出部から取得されたＧ成分の、低周波成分であるＧ１データおよび高周波成分であるＧ２データとの４つの単色画像データに分割する。

本発明のさらに別の実施の形態によれば、前記Ｒデータ、Ｇ１データおよびＢデータをＲＧＢ−ＹＵＶ変換するステップと、前記Ｒデータ、Ｇ２データおよびＢデータをＲＧＢ−ＹＵＶ変換するステップとのいずれか一方または両方を、更に含む。

本発明によれば、原画像の情報を何ら失うことなく画像データ処理量の低減と出力データサイズの縮小をすることができる。

また、本発明によれば、使用する機器の特性に応じて、効率良く利用可能な画像データを得ることができる。

本発明による画像処理装置をデジタルカメラ装置に用いた一実施例を示した図である。本発明におけるデータ分割の方法を模式的に示す図である。本発明におけるデータ分割の別の方法を模式的に示す図である。本発明による画像処理装置を用いたデジタルカメラ装置をＰＤＡに接続して使用する例を示した図である。本発明による画像処理装置をデジタルカメラ装置に用いた別の実施例を示した図である。既存の画像処理装置の例を示した図である。

図１は、本発明の一実施例としての画像処理装置の構成を概略的に示す図である。この実施例の画像処理装置は、デジタルカメラ装置３０に組み込まれており、デジタルカメラ装置３０において、被写体の反射光は、レンズ１１を通って撮像部１２でデジタルカラー画像データに変換される。この実施例においては、撮像部１２は、単板式のＣＣＤセンサーまたはＣＭＯＳセンサーに、原色ベイヤー配列のカラーフィルタを組み合わせた光検出器を有している。従って、撮像部１２から出力されるカラー画像データを模式的に表わすと、参照符号１０１で示すように、所定の領域に光の赤色成分、青色成分、緑色成分のデータを持つ小構造が、多数繰り返し配列された構造になっている。このカラー画像データに対しては、原画処理部１３で、レンズ濃淡補正、不良ピクセル補正、ホワイトバランス、ガンマ補正等の原画処理がなされるが、これらの処理の後も、カラー画像データは、参照符号１０１で示すような構造を保っており、これが初期カラー画像データとして次のデータ分割部３１に入る。

この初期カラー画像データは、データ分割部３１で、赤色画像データ、緑色画像データおよび青色画像データの各単色画像データ１０５と、もう一つの緑色画像データ１０６との４つの単色画像データに分割されるが、この分割処理の一例を図２を参照して以下に説明する。

初期カラー画像データ１１０は、原色ベイヤー配列、即ち、所定の小領域を観察すると、赤色成分のデータＲと、青色成分のデータＢと、２つの緑色成分のデータＧ１およびＧ２とを含み、このような小構造が繰り返し配列された構造を持つ。データ分割部３１は色成分分割部１２１を有し、この初期カラー画像データ１１０を、Ｇ１のみ、Ｒのみ、Ｂのみ、Ｇ２のみからのデータを持つ、４つの単色画像データ１１１、１１２、１１３、１１４に分割する。従って、これら４つの単色画像データ１１１〜１１４の合計のデータポイント数は、初期カラー画像データ１１０のデータポイント数と同数となる。またこれらの単色画像データのデータポイント数も互いに等しくなる。

ここで、前述したＧ１のみからなる単色画像データ１１３は、図１に示した初期カラー画像データ１０１について言えば、ベイヤー画像におけるＲ画素の右側または左側に位置するＧ画素からなるものであり、前述したＧ２のみからなる単色画像データ１１４は、図１に示した初期カラー画像データ１０１について言えば、ベイヤー画像におけるＢ画素の右側または左側に位置するＧ画素からなるものであると言える。また、前述したデータポイント数について説明を加えておくと、図１に示す初期カラー画像データ１０１には、Ｒ画素が４個、Ｂ画素が４個、Ｇ画素が８個含まれており、合計１６個の画素が含まれているので、この初期カラー画像データ１０１のデータポイント数は、１６である。また、図１に示す単色画像データ１０５の各々には、Ｒ画素が４個、Ｇ画素が４個、Ｂ画素が４個、含まれているので、これら単色画像データ１０５の各々のデータポイント数は、４である。また、図１に示す単色画像データ１０６には、Ｇ画素が４個含まれているので、この単色画像データ１０６のデータポイント数は、４である。なお図１に示す初期カラー画像データ等は、理解の便のためにデータポイント数を極端に減らして記載しているのであって、実際のデータポイント数は、使用する光検出器の画素数に応じて数十万から数百万のオーダーになることはいうまでもない。

データ分割部３１には他の処理機能を加える場合がある。この例を図３を用いて次に説明する。

まず、初期カラー画像データ１１０を色成分分割部１２１で単色画像データに分割する前に、Ｒ，Ｂの画素位置を各小構造内の中央位置に補正し、それに伴って画素値を補正する変換を加えたうえでＲ，Ｇ１，Ｂ，Ｇ２へのデータ分割を実現することもできる。具体的には、隣接する小構造に含まれるＲまたはＢのデータとの画素位置および画素値の関係性を反映した画素位置および画素値補正を実現するために、Ｒ，Ｂデータそれぞれについて、隣接小構造に対して互いにオーバーラップしたＮ入力１出力のフィルタ１２２を施し、Ｒ，およびＢ画素の値を更新する。隣接画素との位置関係および小構造中心との位置ずれは、フィルタの係数に反映させる。一例として隣接画素との距離を反映した加重平均値フィルタとして実装する例があげられる。

また、色成分分割部１２１から出力された緑色成分の単色画像データ１１３と１１４については、これらを２つの信号源とみなし、２入力２出力のフィルタ１２３を通して両者に共通する低周波成分１１５（Ｇ１’）と、それ以外の高周波成分１１６（Ｇ２’）に分割する。このような分割は、ローパスフィルタとハイパスフィルタを組み合わせた、帯域分割フィルタを用いることで実現できる。

ここでは、Ｇ１およびＧ２の低周波成分と高周波成分への帯域分割を、それぞれ１つづつ含まれる小構造を単位にして、行う例について示したが、隣接する同小構造を構成する複数のＧ１データおよび複数のＧ２データに対してフィルタ処理をオーバーラップさせて施し、（Ｎ＋Ｍ）入力２出力のフィルタを介すことで、対になるＧ１とＧ２データ間に加え、隣接Ｇ１データ間、隣接Ｇ２データ間にも共通する低周波成分と、それ以外の高周波成分への分割、つまり周波数分割特性の向上したデータ分割を実現することもできる。

再び図１を参照するに、データ分割部３１で分割された単色画像データは、Ｇ１、Ｒ、Ｂの３つの単色画像データ１１１、１１２および１１３については、まとめてカラー画像データとして取り扱われ、ＹＵＶ変換部３２でＹＵＶ形式のデータに変換され、さらに二次処理部３３で輪郭強調やガンマ補正等の二次処理が行われる。なお、二次処理部３３の結果は、原画処理部１３にフィードバックされ、ホワイトバランス処理に使われることもある。二次処理部３３の後、先のＹＵＶデータは、Ｇ２からなる単色画像データ（Ｇ２データ）１１４と共に、または、これらのうちのいずれか１つのみが、二次画像データとして出力部３５から出力される。

ここで、既存の画像処理装置の一例である図６と比べてみると、既存の画像処理装置でも本発明による画像処理装置でも、原画処理部におけるデータ量は同じである。ところが、既存の画像処理装置では、補間処理部１５にて補間処理が行われるため、ＹＵＶ変換部１６、二次処理部１７で処理されるべきデータポイント数は、初期カラー画像データの３倍の大きさとなっている。ところが、本発明による画像処理装置では、ＹＵＶ変換部３２、二次処理部３３で処理されるべきデータポイント数は、初期カラー画像データの３／４である。このように、本発明による画像処理装置によれば、データ処理量を既存のものに比べて最大１／４に減少させることができる。また、出力時のデータサイズを比べてみると、既存の装置では初期画像の３倍になっているのに対し、本発明による装置では初期画像と同じである。従って、本発明による画像処理装置によれば、出力データサイズを、既存のものに比べて最大１／３に小さくすることができる。注目すべきは、本発明による前述の効果、即ちデータ処理量の低減と出力データサイズの縮小は、原画像の情報を何ら失うことなく達成されている点である。

なお、出力データサイズをさらに小さくしたい場合は、二次処理部３３、３４に、前述のＹＵＶデータまたはＧ２データのいずれか一方または両方を、ＪＰＥＧ等の方法で圧縮する機能を加えたり、二次処理部３３に前述のＹＵＶデータのＵおよびＶ成分のデータを間引く機能を加えたり、二次処理部３４に、Ｇ２データのビット深度を減少させる機能を加える。

前述したように、本発明による画像処理装置を組み込んだデジタルカメラ装置の出力部から送出される出力データのサイズを、従来のものに比べて大幅に低減できることは、このデジタルカメラ装置を携帯電話等の携帯情報端末に適用するような場合に、特に、大きな効果を発揮する。すなわち、携帯電話等の機器にデジタルカメラ装置を組み込む場合、デジタルカメラ装置と携帯電話機器の間のデータバス（図４におけるデータバス５１に相当）の帯域幅には大きな制約が課せられている場合があるからである。例えば、大きなサイズのデータを送れるようにデータバスの本数を増やすようなことは、コンパクト化の進む携帯機器においては、できるだけ避けねばならないことであるからである。

ところで、この実施例において、出力部３５から出力された二次画像データは、センサー解像度の半分の大きさのカラー画像と単色画像を１つづつ含んでいる。これらの利用の一例について、図４を参照して説明する。本発明による画像処理装置を組み込んだデジタルカメラ装置３０は、データバス５１を介してＰＤＡ５０と接続されている。デジタルカメラ装置３０で撮影した画像をＰＤＡ５０の表示部５３で表示する場合は、二次画像データに含まれるカラー画像データを表示最適化部５２にて最適化を行って表示する。ここで、カラー画像データは、先に述べたように、センサー解像度の半分の解像度しかないが、通常ＰＤＡ等の携帯情報機器の表示画面は小さいため、特に問題とはならない。ＰＤＡの表示部がカラー表示ができないものであったり、画像をメールに添付して送る場合であって、データサイズを小さくする必要がある場合等であれば、二次画像データのうち単色画像データのみを使用すればよい。かかる場合は、あらかじめ出力部３５から、前述のＹＵＶデータまたはＧ２データのいずれか一方のみが出力されるよう、デジタルカメラ装置３０を制御してもよい。

このように、本発明による画像処理装置の出力画像データは、使用する機器の特性に応じて、非常に効率良く利用することができる。したがって、本発明は、また、カラー撮像装置で撮影された画像データから、画像を使用する機器の特性に適した形式で、カラー画像と単色画像のいずれか一方または両方を出力する画像出力装置でもある。

二次画像データを保存する場合は、当然二次画像データの全てを記憶媒体５４に保存する。印刷等のために、二次画像データを高解像度で利用したい場合、再構成処理部５５によって二次画像データから、単色画像データ１０２を構成し、補間処理部５６によってセンサー解像度の単色画像データ１０３を作り、さらにＹＵＶ変換部５７等にて目的に応じた処理を行う。このように、本発明によるカメラ装置を情報端末に組み込めば、高解像度が必要なときのみ大きなデータサイズにして処理を行い、通常は小さなデータサイズのまま処理を行うという選択が可能となる。

次に、本発明の別の実施例について図５を参照して説明する。図５に示す実施例は、本発明による画像処理装置を組み込んだデジタルカメラ装置の別の例である。

この実施例のデジタルカメラ装置１３０においても、被写体の反射光は、レンズ１１を通って撮像部１２でデジタルカラー画像データに変換され、原画処理部１３での原画処理の後、データ分割部３１で、赤色画像データ（Ｒ）、青色原画データ（Ｂ）と、２つの緑色画像データ（Ｇ１、Ｇ２）の４つに分割されるところまでは同じである。この後、この実施例では、Ｒ、Ｇ１、Ｂを、ＹＵＶ変換部３２でＹ成分（Ｙ１）、Ｕ成分（Ｕ）、Ｖ成分（Ｖ）からなるＹ１ＵＶデータに変換するとともに、Ｒ、Ｇ２、Ｂを、ＹＵＶ変換部３９でＹ成分のみからなるＹ２データを取り出す。Ｙ１ＵＶデータについては二次処理部４０で輪郭強調やガンマ補正等の二次処理が行われ、最終的にＹ１ＵＶデータとＹ２データが出力部４２から出力される。また、二次処理部４０には、Ｕ、Ｖデータの一部を間引く機能、Ｙ１とＹ２からこれらの倍の解像度を持つ単一のＹデータを作成する機能や、出力部４０に送るデータの全部または一部にＪＰＥＧ等の圧縮をかける機能等を加えてもよい。

なお、これらの実施例は、本発明の理解を容易にするためのものであって、これらの実施例に記載されている構成物は、本発明の理解に最も重要と思われるものを必要限度において記載し説明してあるに過ぎず、本発明の構成がこれら実施例の構成に限定されるものではない。

例えば、前述した実施例では、初期カラー画像データをデータ分割する場合において、緑色成分に関する色データを含む画像データを２つの単色画像データに分割したのであるが、本発明は、これに限らず、他の色成分に関する色データを含む画像データを２つの単色画像データに分割することが考えられる。例えば、前述した実施例におけるような原色ベイヤー配列とは異なるような他の配列に基づくような初期カラー画像データ等の場合には、画像赤色成分に関する色データを含む画像データを、２つの単色画像データに分割することも考えられ、また、青色成分に関する色データを含む画像データを２つの単色画像データに分割することも考えられる。この場合において、初期カラー画像データ中の色成分に関する色データを含む画像データのうち、画素数の多い画像データを分割することが特に考えられる。したがって、例えば、緑色成分に関する画像データの画素数より、青色成分に関する画像データの画素数の方が多い場合には、青色成分に関する画像データを分割することが考えられる。またカラーフィルタとして補色カラーフィルタを用いた場合は、初期画像データが、シアン、マゼンタ、黄、緑の４色のデータを持っているので、これら４つの色の単色画像データに分割することになる。

Claims

複数個の異なる色成分にそれぞれ関する色データを含むカラー画像データを処理する画像処理装置において、処理すべき初期カラー画像データを入力するための初期カラー画像入力手段と、該初期カラー画像入力手段によって入力された初期カラー画像データを色成分ごとに分割して、該初期カラー画像データを構成する異なる色成分のうちの１つの色成分に関する色データのみからなる前記複数個と同数またはこれより多い数の単色画像データを作成するためのデータ分割手段と、前記単色画像データについて所定の処理を行い二次画像データを作成するためのデータ処理手段と、前記二次画像データを出力する二次画像データ出力手段とを備えており、前記複数個と同数またはこれより多い数の単色画像データの中には、前記複数個の異なる色成分の各々に対応する単色画像データが少なくとも１つ含まれており、前記複数個と同数またはこれより多い数の単色画像データのそれぞれのデータポイント数の合計は、前記初期画像データのデータポイント数に等しく、前記初期カラー画像データは、所定の領域に光の赤色成分に感度を持つ第１の検出部、光の緑色成分に感度を持つ第２の検出部、光の青色成分に感度を持つ第３の検出部および光の緑色成分に感度を持つ第４の検出部が配置された小構造が多数繰り返し配列された構造を持つ、原色ベイヤー配列の光検出装置を備えるカラー撮像装置で撮影された、ＲＧＢ形式の３つの異なる色成分のそれぞれに関する色データを含むカラー画像データであり、前記データ分割手段は、前記初期カラー画像データを、前記第１の検出部から取得されたＲ成分に対応するＲデータ、前記第２の検出部から取得されたＧ成分に対応するＧ１データ、前記第３の検出部から取得されたＢ成分に対応するＢデータおよび前記第４の検出部から取得されたＧ成分に対応するＧ２データの４つの単色画像データに分割することを特徴とする画像処理装置。
前記二次画像データのデータポイント数は、前記初期カラー画像データのデータポイント数と等しいか又はそれ以下である請求項１に記載の画像処理装置。
前記二次画像データは、カラー画像データと単色画像データのいずれか一方または両方を含む請求項１または２に記載の画像処理装置。
前記Ｇ１データは低周波成分、前記Ｇ２データは高周波成分である請求項１または２または３に記載の画像処理装置。
前記データ分割手段は、前記Ｒデータ、Ｂデータに対して隣接するＲデータ、並びに、Ｂデータへのローパスフィルタリングを施し、各Ｒ、Ｂの画素位置並びにその画素値を、各Ｒ、Ｇ１、Ｂ、Ｇ２画素よりなる２×２の各小構造の中央位置並びに同位置に対応した画素値に変換するデータ変換手段を含む請求項４に記載の画像処理装置。
前記データ処理手段は、前記Ｒデータ、Ｇ１データ、Ｂデータに対してＲＧＢ−ＹＵＶ変換を施し、Ｙ成分であるＹ１データ、Ｕ成分であるＵデータおよびＶ成分であるＶデータから構成されるＹ１ＵＶデータに変換するデータ形式変換手段と、前記２次画像データとして、前記Ｙ１ＵＶデータとＧ２データのいずれか一方または両方を含む画像データを形成する画像データ形成手段と、を含む請求項４または５に記載の画像処理装置。
前記データ処理手段は、前記Ｒデータ、Ｇ１データ、Ｂデータに対してＲＧＢ−ＹＵＶ変換を施し、Ｙ成分であるＹ１データ、Ｕ成分であるＵデータおよびＶ成分であるＶデータから構成されるＹ１ＵＶデータに変換し、前記Ｒデータ、Ｇ２データ、Ｂデータに対してＲＧＢ−ＹＵＶ変換を施し、Ｙ成分であるＹ２データに変換するデータ形式変換手段と、前記二次画像データとして、前記Ｙ１ＵＶデータとＹ２データのいずれか一方または両方を含む画像データを形成する画像データ形成手段と、を含む請求項４または５に記載の画像処理装置。
前記データ処理手段は、更に、前記Ｙ１データとＹ２データから、１つのＹ成分データであるＹデータを作成するデータ作成手段と、前記二次画像データとして、前記Ｙデータ、Ｕデータ、およびＶデータのいずれか１つ又は全部を含む画像データを形成する画像データ形成手段と、を含む、請求項７に記載の画像処理装置。
前記初期カラー画像データは、補色カラーフィルタを使用したカラー撮像装置で撮影された画像データである請求項１または２または３に記載の画像処理装置。
前記データ処理手段は、更に、前記ＵデータとＶデータのいずれか一方または両方について、データの一部を減縮するデータ減縮手段を含む、請求項項１から９のうちのいずれか１項に記載の画像処理装置。
前記データ処理手段は、更に、所定のデータ圧縮処理を行うデータ圧縮手段を含む、請求項項１から１０のうちのいずれか１項に記載の画像処理装置。
前記二次画像データを入力する二次画像データ入力手段と、該二次画像データ入力手段によって入力された二次画像データから、赤色成分のみを持つ赤色画像データ、青色成分のみを持つ青色画像データ、緑色成分のみを持つ緑色画像データの３つの単色画像データを作成する単色画像データ作成手段と、前記３つの単色画像データに対して、それぞれ所定の画素補間を行って、前記初期カラー画像データと同じデータポイント数を有する３つの補間単色画像データを作成する補間単色画像データ作成手段と、前記補間単色画像データを出力する補間単色画像データ出力手段と、を更に備える請求項１から１１のうちのいずれか１項に記載の画像処理装置。
請求項１から１２のうちのいずれか１項に記載の画像処理装置を備えたことを特徴とするデジタルカメラ装置。
請求項１から１２のうちのいずれか１項に記載の画像処理装置を備えたことを特徴とする携帯情報端末。
複数個の異なる色成分にそれぞれ関する色データを含むカラー画像データから、１つ以上の画像データを出力する画像出力装置において、初期カラー画像データを入力するための初期カラー画像入力手段と、該初期カラー画像入力手段によって入力された初期カラー画像データを色成分ごとに分割して、該初期カラー画像データを構成する異なる色成分のうちの１つの色成分に関する色データのみからなる前記複数個と同数またはこれより多い数の単色画像データを作成するためのデータ分割手段と、前記単色画像データから、二次カラー画像データと二次単色画像データのいずれか一方または両方を作成する二次画像データ作成手段と、前記二次カラー画像データと二次単色画像データのいずれか一方または両方を出力する出力手段と、を備えており、前記複数個と同数またはこれより多い数の単色画像データの中には、前記複数個の異なる色成分の各々に対応する単色画像データが少なくとも１つ含まれており、前記複数個と同数またはこれより多い数の単色画像データのそれぞれのデータポイント数の合計は、前記初期画像データのデータポイント数に等しく、前記初期カラー画像データは、所定の領域に光の赤色成分に感度を持つ第１の検出部、光の緑色成分に感度を持つ第２の検出部、光の青色成分に感度を持つ第３の検出部および光の緑色成分に感度を持つ第４の検出部が配置された構造が、多数繰り返し配列された構造を持つ、原色ベイヤー配列の光検出装置を備えるカラー撮像装置で撮影された、ＲＧＢ形式の３つの異なる色成分のそれぞれに関する色データを含むカラー画像データであり、前記データ分割手段は、前記初期カラー画像データを、前記第１の検出部から取得されたＲ成分に対応するＲデータ、前記第２の検出部から取得されたＧ成分に対応するＧ１データ、前記第３の検出部から取得されたＢ成分に対応するＢデータおよび前記第４の検出部から取得されたＧ成分に対応するＧ２データの４つの単色画像データに分割することを特徴とする画像出力装置。
前記二次カラー画像データと二次単色画像データのデータポイント数の合計は、前記初期カラー画像データのデータポイント数と等しいかまたはそれ以下である請求項１５に記載の画像出力装置。
前記二次カラー画像データは、前記Ｒデータ、Ｇ１データおよびＢデータを含んで構成され、前記二次単色画像データは、前記Ｇ２データを含んで構成される請求項１５または１６に記載の画像出力装置。
前記二次画像データ作成手段は、更に、前記４つの単色画像データから選択した３つの単色画像データをＲＧＢ−ＹＵＶ変換する、データ形式変換手段と、前記２次画像データを、前記ＲＧＢ−ＹＵＶ変換後のデータを含んで形成する画像データ形成手段と、を備える請求項１７に記載の画像出力装置。
複数個の異なる色成分にそれぞれ関する色データを含むカラー画像データを処理する画像処理方法において、処理すべき初期カラー画像データを入力するステップと、入力された初期カラー画像データを色成分ごとに分割して、該初期カラー画像データを構成する異なる色成分のうちの１つの色成分に関する色データのみからなる前記複数個と同数またはこれより多い数の単色画像データを作成するデータ分割ステップと、前記単色画像データについて所定の処理を行い二次画像データを作成するステップと、前記二次画像データを出力するステップとを含み、前記複数個と同数またはこれより多い数の単色画像データの中には、前記複数個の異なる色成分の各々に対応する単色画像データが少なくとも１つ含まれており、前記複数個と同数またはこれより多い数の単色画像データのそれぞれのデータポイント数の合計は、前記初期画像データのデータポイント数に等しく、前記初期カラー画像データは、所定の領域に光の赤色成分に感度を持つ第１の検出部、光の緑色成分に感度を持つ第２の検出部、光の青色成分に感度を持つ第３の検出部および光の緑色成分に感度を持つ第４の検出部が配置された構造が、多数繰り返し配列された構造を持つ、原色ベイヤー配列の光検出装置を備えるカラー撮像装置で撮影された、ＲＧＢ形式の３つの異なる色成分のそれぞれに関する色データを含むカラー画像データであり、前記データ分割ステップにおいては、前記初期カラー画像データを、前記第１の検出部から取得されたＲ成分に対応するＲデータ、前記第２の検出部から取得されたＧ成分に対応するＧ１データ、前記第３の検出部から取得されたＢ成分に対応するＢデータ、前記第４の検出部から取得されたＧ成分に対応するＧ２データの４つの単色画像データに分割することを特徴とする画像処理方法。
前記二次画像データのデータポイント数は、前記初期カラー画像データのデータポイント数と等しいかまたはそれ以下である請求項１９に記載の画像処理方法。
前記二次画像データは、カラー画像データと単色画像データのいずれか一方または両方を含む請求項１９または２０に記載の画像処理方法。
前記Ｇ１データは低周波成分、前記Ｇ２データは高周波成分である請求項１９または２０または２１に記載の画像処理方法。
前記Ｒデータ、Ｇ１データおよびＢデータをＲＧＢ−ＹＵＶ変換するステップと、前記Ｒデータ、Ｇ２データおよびＢデータをＲＧＢ−ＹＵＶ変換するステップとのいずれか一方または両方を、更に含む請求項１９から２２のいずれか１項に記載の画像処理方法。