JP2000151989A

JP2000151989A - 画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録した媒体

Info

Publication number: JP2000151989A
Application number: JP10316455A
Authority: JP
Inventors: Naoki Kuwata; 直樹鍬田
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 1998-11-06
Filing date: 1998-11-06
Publication date: 2000-05-30
Anticipated expiration: 2018-11-06
Also published as: JP4032200B2

Abstract

(57)【要約】【課題】処理速度を重視するか画質を重視するかによ
ってニアリスト法かキュービック法かを切り換えていた
が、ユーザからは画質を劣化させることなくより高速な
処理が望まれていた。【解決手段】ＲＧＢ成分を含んでいたり、ＹＵＶ成分
を含んでいたりする画像データについて、その構成要素
に対して一律に一つの補間処理を実行するのではなく、
その構成要素ごとに補間処理を変え（ステップ１５１，
１５２，１５５，１５６，１５７，１５８）、例えば、
人間の視覚感度が鈍い成分については補間精度を低くし
て演算処理量を低減させたり、画素密度自体が低いとい
うように情報量が減っている成分についても補間精度を
低くして演算処理量を低減させることにより、画質を維
持しつつ全体の演算処理量を低減させることが可能とな
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データ補間方
法、画像データ補間装置および画像データ補間プログラ
ムを記録した媒体に関する。

【０００２】

【従来の技術】コンピュータなどで画像を扱う際には、
画像をドットマトリクス状の画素で表現し、各画素を階
調値で表している。例えば、コンピュータの画面で水平
方向に６４０ドット、垂直方向に４８０ドットの画素で
写真やコンピュータグラフィックスを表示することが多
い。

【０００３】一方、カラープリンタの性能向上がめざま
しく、そのドット密度は７２０ｄｐｉというように極め
て高精度となっている。すると、６４０×４８０ドット
の画像をドット単位で対応させて印刷させようとすると
極めて小さくなってしまう。この場合、階調値も異なる
上、解像度の意味合い自体が異なるのであるから、ドッ
ト間を補間して印刷用のデータに変換しなければならな
い。従来、このような場合にドットを補間する手法とし
て、最近隣内挿法（ニアリストネイバ補間：以下、ニア
リスト法と呼ぶ）や、３次たたみ込み内挿法（キュービ
ックコンボリューション補間：以下、キュービック法と
呼ぶ）などの手法が知られている。

【０００４】ところで、ニアリスト法は演算処理が簡易
である反面、画質の面で補間精度が高いとはいえない。
一方、キュービック法は画質の面で補間精度が高いので
良好にも思われるが、演算処理の負担が大きい。従っ
て、従来は時間がかかってもよいか否かに応じてニアリ
スト法かキュービック法かを決定していた。また、その
選択をユーザに委ね、良好な画質を望む場合には時間が
かかってしまうことを前提としてキュービック法を選択
できるようにしていた。

【０００５】

【発明が解決しようとする課題】上述した従来の手法に
おいては、処理速度を重視するか画質を重視するかによ
ってニアリスト法かキュービック法かを切り換えていた
が、ユーザからは画質を劣化させることなくより高速な
処理が望まれていた。本発明は、上記課題にかんがみて
なされたもので、画質を劣化させることなくより高速に
画素補間を実現することが可能な画像データ補間方法、
画像データ補間装置および画像データ補間プログラムを
記録した媒体の提供を目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するた
め、請求項１にかかる発明は、カラーの自然画像をドッ
トマトリクス状の画素で表現するとともに、各画素の色
調や明るさを表現するために複数の構成要素ごとにその
階調値で程度を表すようにした画像データを取得する画
像データ取得工程と、各構成要素の特性に応じて補間処
理を対応付け、最適な組み合わせで補間処理を実行する
構成要素別画素補間工程と、補間された画像データを出
力する画像データ出力工程とを実行する構成としてあ
る。

【０００７】上記のように構成した請求項１にかかる発
明においては、その対象とする画像データがカラーの自
然画像をドットマトリクス状の画素で表現し、各画素の
色調や明るさを表現するために複数の構成要素ごとにそ
の階調値で程度を表すようにしたものであり、画像デー
タ取得工程にてこの画像データを取得すると、構成要素
別画素補間工程では各構成要素の特性に応じて補間処理
を対応付け、最適な組み合わせで補間処理を実行する。
そして、続く画像データ出力工程でこの補間された画像
データを出力する。

【０００８】すなわち、画像データの各構成要素につい
て一律に一つの補間処理を実行するのではなく、その構
成要素ごとに補間処理を変えている。その前提として、
各構成要素について補間処理を高精度にすることが必ず
しも画質に比例しない場合があるからである。従って、
高精度に補間処理することがあまり画質に寄与しない構
成要素については演算処理を簡易なものとし、補間処理
の精度が敏感に画質に影響を与えるような構成要素につ
いては演算処理の負荷は大きいものの高精度な補間処理
を対応づけて組み合わせることが妥当である。

【０００９】画像データの構成要素の最も顕著な一例を
採用する画像データ補間方法として、請求項２にかかる
発明は、請求項１に記載の画像データ補間方法におい
て、上記構成要素として表色空間の座標軸を採用する構
成してある。画像データは一次元的な表現は不便である
ので多次元的な表現が好ましく、多次元的に表現するこ
とによって表色空間を表す。従って、かかる表色空間で
はその座標軸に一連の関連性があり、座標軸ごとに補間
処理の負担と効果との対応関係が異なることが多い。こ
のため、座標軸を基準として補間処理を変えることによ
り、最適な結果を導出させうる。

【００１０】表色空間の座標軸を構成要素として補間処
理を対応づける一例として、請求項３にかかる発明は、
請求項２に記載の画像データ補間方法において、上記表
色空間は色分解された各要素色の座標軸を有するととも
に各要素色に対する人の視覚感度の相違に基づいて補間
精度の異なる補間処理を組み合わせた構成としてある。
上記のように構成した請求項３にかかる発明において
は、表色空間が色分解した複数の要素色によって表され
ているが、ここにおいて各要素色に対する人の視覚感度
が相違することが多い。例えば、光の三原色として表さ
れるＲ（赤）、Ｇ（緑）、Ｂ（青）の場合、青に対する
人の視覚感度は低い。従って、青の成分について演算処
理が簡易なものを実行したとしても補間結果はあまり劣
化しない。すなわち、各要素色に対する人の視覚感度の
相違に着眼し、感度の鋭い要素色に精度の高い補間処理
を対応づけつつ、感度の鈍感な要素色に精度の低い補間
処理を対応づければ、画質の劣化を感じさせることなく
全体の演算処理量は低減する。

【００１１】表色空間における他の座標軸における適用
例として、請求項４にかかる発明は、請求項２に記載の
画像データ補間方法において、上記表色空間は輝度成分
座標軸と色差成分座標軸とを有するとともに、上記構成
要素別画素補間工程では、輝度成分の構成要素について
色差成分の構成要素よりも補間精度の高い補間処理を組
み合わせた構成としてある。上記のように構成した請求
項４にかかる発明においては、上記表色空間は輝度成分
座標軸と色差成分座標軸とを有しており、この場合に、
上記構成要素別画素補間工程では、輝度成分の構成要素
について補間処理を実行する際に色差成分の構成要素に
ついて実行する補間処理よりも補間精度を高くしてい
る。

【００１２】例えば、テレビジョン放送の例からも明ら
かなように、情報量としては輝度信号の方が色差信号よ
りも絶対的に多い。別の言葉で表せば輝度信号を変調す
るのに要する周波数帯域の方が色差信号を変調するのに
要する周波数帯域より広くなるのと同様である。このよ
うに輝度と色差とでは元々の情報量に偏りがあるため、
情報量の多い輝度に演算処理を要する補間精度の高い補
間処理を実行し、情報量の少ない色差にはあまり演算処
理を要しない補間精度の低い補間処理を実行している。

【００１３】構成要素自体に他の構成要素との性質的な
差異がある場合以外に、構成要素自体には差異が無くて
も別の要因によって実質的な差異が表れることもある。
そのような場合に適用される一例として、請求項５にか
かる発明は、請求項１〜請求項４のいずれかに記載の画
像データ補間方法において、上記画像データは構成要素
ごとに実質的に相違する画素密度で構成され、上記構成
要素別画素補間工程では高密度の構成要素に対して補間
精度の高い補間処理を割り当てて実行する構成としてあ
る。

【００１４】例えば、画像データの構成要素が各構成要
素ごとに実質的に相違する画素密度で構成されることが
ある。この場合、画素密度の低い構成要素は他の構成要
素と比較すると重要度が低かったり、情報量が多くない
という背景に基づいて画素密度が低くなっていることが
多い。従って、上記のように構成した請求項５にかかる
発明においては、高密度の構成要素に対して補間精度の
高い補間処理を割り当てて実行し、情報量の多い構成要
素に対して重点的に演算処理量の負担を割くようにして
いる。

【００１５】一方、画像データを取得する工程は既に用
意されている画像データをそのまま入力するだけにとど
まらず、画像データを生成する工程であるとか加工処理
する工程などを含むものであっても構わない。従って、
処理の全体としてみると表色空間の変換が必要な場合も
あり、そのような場合に好適な例として、請求項６にか
かる発明は、請求項１〜請求項５のいずれかに記載の画
像データ補間方法において、上記画像データ取得工程で
は、前準備として入力した画像データの表色空間を変換
する構成としてある。

【００１６】先の例に照らしてみると、最初の画像デー
タにおいては構成要素間に重要度の差異がなかったもの
の、後工程で要求される表色空間が輝度と色差の構成要
素を必要とする場合には構成要素間に重要度のばらつき
が生じるわけであり、このような変換が必要な場合には
本発明が好適に適用されうる。従って、上記のように構
成した請求項６にかかる発明においては、画像データ取
得工程を実施する際に入力した画像データの表色空間を
変換し、これに対して上述したような画素補間処理を実
行した画像データを出力するので、以後の工程では画質
が劣化することなく高速に画素補間処理された画像デー
タを得られることになる。

【００１７】ところで、画像データ取得工程が画像を取
り込む工程も含む例として、デジタルスチルカメラなど
のような撮像機器に適用されることもある。デジタルス
チルカメラの場合、固体撮像素子で撮影を行うが、単板
の固体撮像素子ではドットマトリクス状に感光素子を配
置しながらＲＧＢの三色を表現するのであるから、全感
光素子をＲＧＢの三色に割り振って利用することにな
る。従って、碁盤の升目のように感光素子が配置されて
いれば、ＲＧＢのそれぞれは歯抜けの状態で割り振ら
れ、現実にはかかる歯抜けの状態で受光しながらも画像
データとして出力する際にはＲＧＢのそれぞれが碁盤の
升目の全てにデータを持つように欠けている画素のデー
タを演算で算出している。

【００１８】このようにして画素のデータを補充する場
合、各要素色ごとに密度が均一でないことなどから画像
データににじみが発生することが知られている。これを
解消するには画像、特に色差をぼかす処理が有用である
ので、にじみを消すために画像をぼかす画像処理が別途
行われている。このような背景の下で有効なのが請求項
７にかかる発明であり、請求項１〜請求項６のいずれか
に記載の画像データ補間方法において、上記画像データ
取得工程では、複数の要素色の色フィルタがドットマト
リクス状に配置された単板の固体撮像素子にて撮像され
た後、各要素色ごとに欠陥画素を演算にて補充して生成
された画像データを取得するとともに、上記構成要素別
画素補間工程では、同画像データの構成要素である色差
について画素をぼけさせる補間処理を実行する構成とし
てある。

【００１９】上記のように構成した請求項７にかかる発
明においては、画像データとして入力されているのは、
上述したように、複数の要素色の色フィルタがドットマ
トリクス状に配置された単板の固体撮像素子にて撮像さ
れた後、各要素色ごとに欠陥画素を演算にて補充して生
成されたものである。従って、にじみが生じてしまうこ
とは避けられない。ここにおいて、色差について演算処
理の負荷が大きくない補間処理として画素をぼけさせる
補間処理を対応づけておく。この結果、本来の補間とい
う目的を果たしつつも、これと併せてにじみを低減させ
る効果を生じさせることになる。

【００２０】同様に、画像データを出力する工程といっ
ても画素補間した画像データを後工程に受け渡すだけに
とどまらず、画像データからプリントアウトする工程で
あるとかデータ形式を変換する加工処理を行なう工程な
どを含むものであっても構わない。このような場合、後
工程で要求される画像データの構成要素には上述したよ
うな偏りがあるものとすると、単に表色空間を変換する
ことによって本来の情報量が減ってしまうことになりか
ねない。すなわち、せっかく情報量の多い画像データで
あったにもかかわらず、そのようになってしまうのは残
念である。このような場合に好適な一例として、請求項
８にかかる発明は、請求項１〜請求項７のいずれかに記
載の画像データ補間方法において、上記構成要素別画素
補間工程では、画像密度を向上させ、上記画像データ出
力工程では、情報精度を劣化させることになる画像デー
タの形式変換を実行する構成としてある。

【００２１】上記のように構成した請求項８にかかる発
明においては、予め演算処理に大きな負担をかけること
なく高画質を維持できる構成要素別画素補間工程で画像
密度を向上させておき、画像データ出力工程では情報精
度を劣化させることになる画像データの形式変換を行な
う。このようにすると、画像密度を上げてから画像デー
タの形式変換を行うだけのようであるが、情報量の少な
い構成要素に対してデータが割り振られる際に、情報の
落ちが少なくなるといえる。実質的にみても情報量が劣
化するようなデータ形式であるものの、画像密度は高く
なっているので両者を相殺したときに全体としては以前
のデータ形式に近い情報量を維持しているといえるから
である。

【００２２】このように、画像データの各構成要素につ
いて一律に一つの補間処理を実行するのではなく、その
構成要素ごとに補間処理を変える手法は実体のある装置
において実現され、その意味で本発明を実体のある装置
としても適用可能であることは容易に理解できる。この
ため、請求項９にかかる発明は、カラーの自然画像をド
ットマトリクス状の画素で表現するとともに、各画素の
色調や明るさを表現するために複数の構成要素ごとにそ
の階調値で程度を表すようにした画像データを取得する
画像データ取得手段と、各構成要素の特性に応じて補間
処理を対応付け、最適な組み合わせで補間処理を実行す
る構成要素別画素補間手段と、補間された画像データを
出力する画像データ出力手段とを実行する構成としてあ
る。

【００２３】すなわち、実体のある装置としても有効で
あることに相違はない。このような画像データ補間装置
は単独で実施される場合もあるし、ある機器に組み込ま
れた状態で他の方法とともに実施されることもあるな
ど、発明の思想としてはこれに限らず、各種の態様を含
むものである。従って、ソフトウェアであったりハード
ウェアであったりするなど、適宜、変更可能である。発
明の思想の具現化例として画像データ補間方法を実施す
るソフトウェアとなる場合には、かかるソフトウェアを
記録した記録媒体上においても当然に存在し、利用され
るといわざるをえない。

【００２４】その一例として、請求項１０にかかる発明
は、カラーの自然画像をドットマトリクス状の画素で表
現するとともに、各画素の色調や明るさを表現するため
に複数の構成要素ごとにその階調値で程度を表すように
した画像データについてコンピュータにて画素を補間す
る画像データ補間プログラムを記録した媒体であって、
上記画像データを取得する画像データ取得ステップと、
各構成要素の特性に応じて補間処理を対応付け、最適な
組み合わせで補間処理を実行する構成要素別画素補間ス
テップと、補間された画像データを出力する画像データ
出力ステップとを実行する構成としてある。

【００２５】むろん、その記録媒体は、磁気記録媒体で
あってもよいし光磁気記録媒体であってもよいし、今後
開発されるいかなる記録媒体においても全く同様に考え
ることができる。また、一次複製品、二次複製品などの
複製段階については全く問う余地無く同等である。その
他、供給方法として通信回線を利用して行なう場合でも
本発明が利用されていることにはかわりない。さらに、
一部がソフトウェアであって、一部がハードウェアで実
現されている場合においても発明の思想において全く異
なるものではなく、一部を記録媒体上に記憶しておいて
必要に応じて適宜読み込まれるような形態のものとして
あってもよい。

【００２６】

【発明の効果】以上説明したように本発明は、画質を劣
化させることなくより高速に画素補間を実現することが
可能な画像データ補間方法を提供することができる。

【００２７】また、請求項２にかかる発明によれば、表
色空間の座標軸に対応させた構成要素を利用する場合に
容易に適用可能となる。さらに、請求項３にかかる発明
によれば、視覚の感度の相違に対応して補間処理を変え
ることにより、演算処理の負担が大きくない補間処理を
実行しても画質を劣化させないようにすることができ
る。さらに、請求項４にかかる発明によれば、輝度と色
差という情報量に違いがある構成要素に着目し、情報量
の低い色差の処理をはしょることによって画質を劣化さ
せないようにすることができる。

【００２８】さらに、請求項５にかかる発明によれば、
画素密度の低い構成要素について演算処理の負担が小さ
い補間処理を実行することにより、もともと重要度の低
い構成要素に対する演算処理量を低減させて高速化を図
ることができる。さらに、請求項６にかかる発明によれ
ば、表色空間の変更を必要とするような状況下において
画素補間する場合に有効となる。さらに、請求項７にか
かる発明によれば、固体撮像素子で撮影されたにじみの
ある画像データについて個別の画像処理を行うことなく
にじみを低減させることができる。

【００２９】さらに、請求項８にかかる発明によれば、
必要とされる画像データが表色空間の性質から好ましく
ないような場合に、画素密度を上げることによってでき
るだけ元の情報を活かすことができるし、その際に演算
処理量が多くならないので、処理に時間がかかるという
ような弊害も生じない。さらに、請求項９にかかる発明
によれば、同様の効果を奏する画像データ補間装置を提
供でき、請求項１０にかかる発明によれば、画像データ
補間プログラムを記録した媒体を提供できる。

【００３０】

【発明の実施の形態】図１は、本発明の画像データ補間
方法をフローチャートにより示しており、図２〜図５
は、本画像データ補間方法を実施するディジタルスチル
カメラの概略構成をブロック図により示している。各種
の機構的および電子的な制御を行うのがコントローラ１
０であり、図３に示すようにその主たる構成はＣＰＵ１
１とＲＯＭ１２とＲＡＭ１３とであり、これらはバス１
４を介して相互に接続されるとともにＩ／Ｏ１５を介し
て外部の主構成部品と電気的に接続されている。

【００３１】この主構成部品の一つとして撮像部２０が
コントローラ１０に接続されている。撮像部２０につい
ては図４により詳細に示しており、光学系路２１の一部
として測距部２１ａとオートフォーカス機構２１ｂとを
備えている。本実施形態においては、測距部２１ａにて
三角法などによって距離を測定し、オートフォーカス機
構２１ｂが測定結果に基づいて焦点合わせを行うように
している。この場合、焦点合わせの対象となるのは予め
予想された中央位置などとなる。また、撮像部２０に
は、ＣＣＤ素子からなる撮像素子２２と、この撮像素子
２２の出力データを所定増幅率で増幅するＡＧＣ回路２
３と、同ＡＧＣ回路２３のアナログ出力値をディジタル
データに変換するＡ／Ｄコンバータ２４とが備えられて
いる。これらは個々にコントローラ１０と接続されて制
御されるとともに、撮像データはＡ／Ｄコンバータ２４
の変換データとして画像処理部３０に出力されている。

【００３２】画像処理部３０は光学系路２１の特性であ
るとか撮像素子２２の特性をチューニングするために備
えられたハードウェア回路である。単板のＣＣＤ素子の
場合には平面的に赤、緑、青の受光素子を配置せざるを
得ず、縦横二次元に配列された個別の受光素子に赤緑青
（ＲＧＢ）のフィルタを被せて被写体画像を撮像するこ
とになる。すると、図６に示すようにある画素は緑だ
け、他の画素は赤だけ、次の画素は青だけのデータしか
存在しないことになってしまうため、周りの画素から他
の要素色のデータを補間生成することになる。フィルタ
補間回路３１はこのような補間演算をハードウェアで実
現するものであり、単板ＣＣＤ素子からなる撮像素子２
２において必須となる。なお、この例では画像データは
赤、緑、青の三つの構成要素からなり、さらにこれらは
光の三原色であって通常の色分解によって得られる構成
要素である。また、この場合の表色空間は赤、緑、青の
座標軸を有していることになる。

【００３３】単板ＣＣＤにおいては各画素の受光感度の
バラツキが大きくないにしてもＲＧＢというフィルタを
被せているので、自ずからその出力特性間には偏重が生
じうる。自動ホワイトバランス回路３２はこのような偏
りを解消するものであるが、ハードウェア回路で実現す
るので概略的には平均的となるか特定の範囲のデータ分
布が一定となるようにすることになる。また、γ補正回
路３３は撮像素子２２の受光感度をフラットにすること
が主たる役割である。

【００３４】フィルタ補間回路３１についてはデータが
入力されれば機械的にそのまま実行されるだけである
が、自動ホワイトバランス回路３２やγ補正回路３３に
ついてはハードウェア回路で設計された補正機能に加え
てコントローラ１０からの具体的な指示も入力可能であ
り、ホワイトバランスについても意図的にシフトするこ
とが可能であったり、γ補正回路で各要素色毎に異なる
γ補正を掛けるなどして能動的な調整を可能としてい
る。

【００３５】このような画像処理部３０を経て画像デー
タは、一旦、ＤＲＡＭ４０に保存されるが、撮像素子２
２の出力イメージのままでは画像データが大きくなりす
ぎるため、コントローラ１０は画像データをＤＲＡＭ４
０から読み出し、符号化部７０にてＪＰＥＧの圧縮フォ
ーマットに変換させ、その後でフラッシュメモリ６０に
保存する。これらの他、コントローラ１０には操作表示
部８０が接続され、図示しないシャッターボタンなどの
各種操作子と共にＬＣＤなどの画像表示パネルも備えら
れている。むろん、コントローラ１０は各操作子の操作
状況を逐次入力しているし、撮像した画像を表示パネル
に表示する。また、夜間撮影のためにストロボ９０も備
えられ、上記操作子で操作されたときあるいはコントロ
ーラ１０によって所定の判断処理が行われたときに発光
するようになっている。

【００３６】本実施形態においては、以上のようなハー
ドウェア構成となっているが、ディジタルスチルカメラ
としての構成は概略において共通するし、他の構成とす
ることも当然に可能である。また、この例ではディジタ
ルスチルカメラとして実現しているが、ディジタルビデ
オカメラなどに組み込んで実現することも可能である。
コントローラ１０は本ディジタルスチルカメラの全体的
な制御を行うが、撮影時の一連の処理の流れを図７のフ
ローチャートに示している。撮像素子２２の出力データ
はＡＧＣ回路２３に入力されて所定増幅率で増幅され、
同ＡＧＣ回路２３のアナログ出力値はＡ／Ｄコンバータ
２４でディジタルデータに変換される。この時点ではま
だ色フィルタの配置に起因した歯抜けのデータであるた
め、フィルタ補間回路３１が欠陥画素を補間し、自動ホ
ワイトバランス回路３２とγ補正回路３３とでＲＧＢの
の出力特性間偏重を解消しつつ、受光感度をフラットに
する。

【００３７】このようにしてＲＧＢという三原色を基準
としたいわゆるビットマップ形式の画像データが生成さ
れるが、最終的に必要なのはＪＰＥＧ方式の画像データ
であり、ＪＰＥＧ符号化が必要である。このＪＰＥＧ符
号化を行うにあたってＲＧＢ形式のままでは演算処理の
負担が大きいため、この負担を低減させるためにコント
ローラ１０内部でＲＧＢからＹＵＶへの表色空間の変換
を行う。すなわち、三原色ＲＧＢの各色ごとに明るさで
階調表現していたものを、輝度（Ｙ）と色差（Ｕ，Ｖ）
で表現し直すためにデータ形式の変換を行う。むろん、
ＲＧＢの表色空間とＹＵＶの表色空間との間では色自体
が変化するものではなく、単に座標系だけが変化するこ
とになる。そして、ＹＵＶの座標系へ変換した後でＪＰ
ＥＧ符号化を行ってフラッシュメモリ６０に保存する。

【００３８】この場合は最終的なデータフォーマットが
ＪＰＥＧ方式であるが、このＪＰＥＧ方式は圧縮フォー
マットであるが故に画像の劣化を伴う。従って、本実施
形態ではできる限り画像品質を保持できるようにＪＰＥ
Ｇ符号化を行う前に画像を拡大しておき、ＪＰＥＧ符号
化を行ったときの劣化分を低減させることにしている。
拡大は、少なくとも画素の欠陥が無くなっていて、各種
の調整も終えた後であることが必要なため、実行できる
のはステップ１４０よりも後である。従って、ステップ
１５０においてＲＧＢからＹＵＶへ変換する前後で実現
可能である。図８および図９は、前後のいずれかに行な
うかに対応したフローチャートを示している。

【００３９】図８はＲＧＢの画像データに対して画素補
間を行う例を示し、図９はＹＵＶの画像データに対して
画素補間を行う例を示しているが、ここにおいて特徴的
なのは、いずれの場合でも全ての構成要素に対して一律
の補間手法を実施していない点である。ＲＧＢの各構成
要素が人間の視覚において完全に同等な感度ではないこ
とがよく知られている。例えば、ＲＧＢのデータから簡
易的に輝度Ｙを求める際には、Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂとして計算されることが多い。この計算式からも明らか
なようにＢ成分であれば全体の明度に対して１１％の寄
与しかなしておらず、Ｇ成分は５９％であって半分強を
占めている。Ｒ成分は３０％でほぼ均等割りに近いが、
それでもＢ成分の約３倍の寄与度がある。

【００４０】これから言えるのは、Ｂ成分についての補
間演算を高精度に行ったとしても画像データとして一つ
の画素を表す際の寄与度は極めて小さいし、逆に補間演
算を簡易な演算によったとしても各画素への寄与度は小
さいから画質の劣化もあまり影響しないということであ
る。このため、ＲＧ成分についてはステップ１５１にて
演算処理の負担が大きいものの画質をシャープにできる
キュービック法を採用するし、Ｂ成分については演算処
理が簡易なニアリスト法を採用している。

【００４１】ここでこれらのキュービック法の補間処理
とニアリスト法の補間処理とについて説明する。各種の
補間処理のうちで最もシンプルなものはニアリスト法の
補間処理であり、図１０に示すように周囲の四つの格子
点Ｐｉｊ，Ｐｉ＋１ｊ，Ｐｉｊ＋１，Ｐｉ＋１ｊ＋１と
内挿したい点Ｐｕｖとの距離を求め、もっとも近い格子
点のデータをそのまま移行させる。これを一般式で表す
と、Ｐｕｖ＝Ｐｉｊとなる。ここで、ｉ＝［ｕ＋０．５］、ｊ＝［ｖ＋０．
５］である。なお、［］はガウス記号で整数部分を取る
ことを示している。

【００４２】ニアリスト法においては最も近い格子点を
判断するものの、その格子点のデータをそのまま利用す
るので演算処理量が最も少ない。しかし、画像のエッジ
がそのまま保持される特徴を有するため、拡大すればジ
ャギーが目立つので画質としては良好と言えない。一
方、シャープでありながらジャギーを生じさせにくい高
精度な補間処理がキュービック法であり、その反面演算
処理量が大きいという特徴も有している。キュービック
法は図１１に示すように、内挿したい点Ｐｕｖを取り囲
む四つの格子点のみならず、その一周り外周の格子点を
含む計１６の格子点のデータを利用し、３次たたみ込み
関数を用いた一般式は次式のようになる。

【数１】となる。これをＰについて展開すると、

【数２】となる。なお、

【数３】と置換可能である。

【００４３】従って、ステップ１５１でＲＧ成分を高精
度な補間処理で画素補間し、ステップ１５２でＢ成分に
ついて演算処理量の低い補間処理で画素補間することに
なる。このようにＢ成分について補間精度が低い補間処
理を採用してはいるが、上述したようにＢ成分に対する
人間の視覚が鈍感であるため、画質の劣化はあまり感じ
られず、その割には演算処理量を低減させる効果が得ら
れるのである。ステップ１５３ではＲＧＢからＹＵＶへ
のデータ変換を行うが、具体的には、上述した輝度Ｙを
利用し、Ｃ１＝Ｒ−ＹＣ２＝Ｂ−Ｙを求めた後、Ｖ＝Ｃ１／１．１４Ｕ＝Ｃ２／２．０３として、ＹＵＶの全てを演算で求める。

【００４４】一方、図９に示すように、先にステップ１
５４にてＲＧＢからＹＵＶへのデータ変換を行い、その
後、画素補間を行うことも可能である。この場合、ステ
ップ１５５ではＹ成分についてのみキュービック法で画
素補間し、ステップ１５６ではＵＶ成分についてはニア
リスト法で画素補間するようにしている。画像は白黒画
像としても理解できるように、人間の視覚として輝度に
対しては敏感であり、色差については比較的鈍感であ
る。従って、色差については補間精度は低いものの演算
処理の簡易なニアリスト法を採用し、最も重要な輝度に
ついてだけ高精度な補間処理であるキュービック法を採
用している。

【００４５】図８に示す順番と図９に示す順番とを比較
した場合、図９に示す場合の方がキュービック法の演算
処理を施す画素数が少ないことは明らかであり、その意
味では後者の方が演算処理を低減させる上でより効果的
である。なお、図７に示すフローチャートと図１に示す
本発明の画像データ補間方法とを対応づけると、画像デ
ータ取得工程Ａ１はステップ１００〜ステップ１４０ま
でが該当するし、構成要素別画素補間工程Ａ２はステッ
プ１５０が該当するし、画像データ出力工程Ａ３はステ
ップ１６０とステップ１７０が該当するといえる。

【００４６】以上の処理では、ＲＧＢの座標系とＬＵＶ
の座標系を利用する場合について説明したが、他の座標
系であるＬａｂやＬｕｖやＹＣＣなどにおいても構成要
素に各座標軸を採用するようなものについても同様に適
用できる。ところで、上述したＲＧＢからＹＵＶへの座
標変換時、輝度Ｙに対する色差ＵＶの重要度の低さを予
め考慮して実質的な画素密度を低減化することも多い。
図１３は輝度Ｙの画素密度と色差ＵＶの画素密度との差
を示している。画像データを構成する各画素ごとに輝度
Ｙのデータは独立しているのに対し、色差ＵＶのデータ
は左右の２画素ごとに一つのデータが割り当てられてい
るので、データ量は同等であっても実質的な情報量は半
分となっている。この意味で実質的な画素密度は均等で
はない。

【００４７】上述したフィルタ補間回路３１がハードウ
ェア的にこのような変換を行う場合には、ＲＧＢからＹ
ＵＶへの変換であるステップ１５０の処理として図９に
示す処理が妥当である。すなわち、ハードウェアで色差
ＵＶの画素密度が減っているのであるから、これに対し
て高精度な補間処理を実施したとしてもあまり意味がな
い。従って、ニアリスト法で画素補間することとし、そ
れによって演算処理量の低減を図ることにする。

【００４８】また、撮像素子２２は単板のＣＣＤ素子に
図６に示すようなＲＧＢのフィルタを配置して構成され
ていることは上述したが、欠けている画素を隣接してい
る現実の画素に基づいて当該欠陥画素を補充しているの
がフィルタ補間回路３１である。しかしながら、このよ
うな補充を行うと色にじみが発生しやすい。例えば、図
１４（ａ）において、矢印（→）で示す中段の色フィル
タに着目する。そして、同図（ｂ）に示すように中央か
ら左半分に光が当たっており（白色部分）、同中央から
右半分には光が当たっていない（黒色部分）ものとす
る。ここにおいて、光があたっている状態の各色の色信
号レベルを「１」とし、光が当たっていない状態の同色
信号レベルを「０」とすると、ＲおよびＧの色信号レベ
ルは、本来、同図（ｃ）に示す値になるはずである。

【００４９】しかし、Ｒの色フィルタの画素については
Ｇの色信号は直接的には得られないし、Ｇの色フィルタ
の画素についてはＲの色信号は直接的に得られず、結
局、Ｒの色フィルタに対応する画素のＧの色信号につい
ては、隣接する画素におけるＧの色信号を線形補間して
得ることになる。他方、Ｇの色フィルタに対応する画素
のＲの色信号についても、隣接する画素におけるＲの色
信号を線形補間して得る。すると、各画素におけるＧお
よびＲの色信号レベルは、それぞれ同図（ｄ）および
（ｅ）に示す値となる。この結果、光が当たる領域と光
が当たらない領域との境界付近の画素に偽の色信号が発
生し、この偽の色信号により画像上に色にじみが発生す
る。特に、この色にじみはグレイ・ホワイト間の境界に
顕著に現れることが知られている。

【００５０】このような色にじみを低減するには、色差
データに対して平滑化フィルタ（ローパスフィルタ）を
作用させる画像処理を行なうと、色にじみが目立たなく
なる。従って、従来は色にじみを低下させるために色差
ＵＶに対して平滑化フィルタを適用する画像処理を行な
っていた。しかしながら、このような色にじみを低減さ
せるためという目的においても、本発明は極めて有効で
ある。図１５は色にじみを同時に低減させることが可能
な画素補間処理の主要部をフローチャートにより示して
おり、図９に示すものと比較してＹ成分についてのキュ
ービック法の補間処理に代えてステップ１５７にてＭキ
ュービック法の補間処理を実行し、ＵＶ成分についての
ニアリスト法の補間処理に代えてステップ１５８にてバ
イリニア法の補間処理を実行するようにしている。ここ
で、これらのＭキュービック法の補間処理とバイリニア
法の補間処理について説明する。

【００５１】キュービック法では一方の格子点から他方
の格子点へと近づくにつれて徐々に変化していき、その
変化具合がいわゆる３次関数的になるという特徴を有し
ている。キュービック法によれば３次関数的に表せる以
上、そのカーブの形状を調整することによって補間結果
の品質を左右することができる。その調整の一例とし
て、

【数４】としたものをＭキュービック法と呼ぶことにする。

【００５２】図１２には上述したキュービック法やニア
リスト法とともにこのＭキュービック法における補間関
数ｆ（ｔ）を示している。同図において、横軸に位置を
示し、縦軸に補間関数を示している。ｔ＝０、ｔ＝１、
ｔ＝２の位置に格子点が存在し、内挿点はｔ＝０〜１の
位置となる。キュービック法とＭキュービック法とを比
較すると、Ｍキュービック法の方が３次関数的なカーブ
がわずかに急峻となり、画像全体のイメージがよりシャ
ープとなる。

【００５３】次に、バイリニア法（共１次内挿法）の補
間手法を説明すると、図１２に示すように、一方の格子
点から他方の格子点へと近づくにつれて徐々に変化して
いく点でキュービック法やＭキュービック法と共通する
が、その変化が両側の格子点のデータだけに依存する一
次関数的となっている。すなわち、図１０に示すように
内挿したい点Ｐｕｖを取り囲む四つの格子点Ｐｉｊ，Ｐ
ｉ＋１ｊ，Ｐｉｊ＋１，Ｐｉ＋１ｊ＋１で区画される領
域を当該内挿点Ｐｕｖで四つの区画に分割し、その面積
比で対角位置のデータに重み付けする。これを式で表す
と、Ｐ＝｛（ｉ＋１）−ｕ｝｛（ｊ＋１）−ｖ｝Ｐｉｊ＋
｛（ｉ＋１）−ｕ｝｛ｖ−ｊ｝Ｐｉｊ＋１＋｛ｕ−ｉ
｝｛（ｊ＋１）−ｖ｝Ｐｉ＋１ｊ＋｛ｕ−ｉ
｝｛ｖ−ｊ｝Ｐｉ＋１ｊ＋１となる。なお、ｉ＝［ｕ］、ｊ＝［ｖ］である。

【００５４】キュービック法とバイリニア法では、その
変化状況が３次関数的であるか１次関数的であるかが異
なり、画像としてみたときの差異は大きい。バイリニア
法の場合、隣接する二点間（ｔ＝０〜１）で直線的に変
化するだけであるので境界をスムージングすることにな
り、画面の印象はぼやけてしまう。これは画像に対して
平滑化フィルタをかけたのと同様の効果を得られる。図
１５に示すフローチャートにおいて、ステップ１５４で
はＲＧＢからＹＵＶへのデータ変換を行い、ステップ１
５７では輝度であるＹ成分についてＭキュービック法で
画素補間すると、図９に示したキュービック法の場合以
上にシャープな画像が得られる。また、ステップ１５８
では色差であるＵＶ成分についてバイリニア法で画素補
間するので、必要数の画素に拡大されつつ、平滑化フィ
ルタをかけたのと同様になる。従って、色差自体がぼけ
る感じとなり、色にじみは低減される。

【００５５】以上は、本発明をディジタルスチルカメラ
内での画像処理に適用しているが、画素補間処理を行な
う過程で構成要素ごとに補間手法を代えるのはこのよう
な場合に限定されるわけではない。図１６はこのように
して撮影された画像データに基づいてパソコンの画面に
表示したり印刷したりする場合の概略のデータの流れを
示している。フラッシュメモリあるいはハードディスク
に転送された画像データをステップ２００にて読み出
し、ステップ２１０にてＪＰＥＧ複合化を行うと画像デ
ータはＹＵＶ形式で復元される。パソコン内ではＲＧＢ
形式による処理が基本であるため、ステップ２２０にて
ＹＵＶからＲＧＢへデータ変換し、ステップ２３０にて
プリンタに印字させたりディスプレイに表示したりす
る。

【００５６】ディスプレイに表示する場合には解像度変
換を要することは多くないが、プリンタの解像度は非常
に高いため、画像データの解像度を上げる必要がある。
従って、この場合も先ほどと同様にしてＹＵＶで画素補
間したり、ＲＧＢで画素補間するべく、ステップ２２０
のデータ変換時に図８や図９に示すようにして画素補間
する。すると、画質を維持しつつ処理速度を高速化させ
ることができる。このように、ＲＧＢ成分を含んでいた
り、ＹＵＶ成分を含んでいたりする画像データについ
て、その構成要素に対して一律に一つの補間処理を実行
するのではなく、その構成要素ごとに補間処理を変え
（ステップ１５１，１５２，１５５，１５６，１５７，
１５８）、例えば、人間の視覚感度が鈍い成分について
は補間精度を低くして演算処理量を低減させたり、画素
密度自体が低いというように情報量が減っている成分に
ついても補間精度を低くして演算処理量を低減させるこ
とにより、画質を維持しつつ全体の演算処理量を低減さ
せることが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施形態にかかる画像データ補間方
法のフローチャートである。

【図２】同画像データ補間方法を適用したディジタルス
チルカメラのブロック図である。

【図３】同ディジタルスチルカメラにおけるコントロー
ラのブロック図である。

【図４】同ディジタルスチルカメラにおける撮像部のブ
ロック図である。

【図５】同ディジタルスチルカメラにおける画像処理部
ブロック図である。

【図６】同ディジタルスチルカメラにおけるフィルタと
フィルタ補間結果を示す図である。

【図７】同ディジタルスチルカメラにおける撮影時のフ
ローチャートである。

【図８】ＲＧＢ成分について構成要素別に補間処理する
場合のフローチャートの一部である。

【図９】ＹＵＶ成分について構成要素別に補間処理する
場合のフローチャートの一部である。

【図１０】基本的な画素補間で生成される画素を示す図
である。

【図１１】キュービック法の画素補間手法を示す図であ
る。

【図１２】画素補間で利用する補間関数の変化を示す図
である。

【図１３】構成要素ごとに実質的な画素密度が相違する
場合を示す図である。

【図１４】色フィルタの配置に基づいて色にじみが発生
する状況を示す図である。

【図１５】構成要素ごとに補間処理を変えつつ色にじみ
を低減させる場合のフローチャートの一部である。

【図１６】パソコンで画像データを処理する過程を示す
フローチャートである。

【符号の説明】

１０…コントローラ１１…ＣＰＵ１２…ＲＯＭ１３…ＲＡＭ１４…バス２０…撮像部２１…光学系路２１ａ…測距部２１ｂ…オートフォーカス機構２２…撮像素子２３…ＡＧＣ回路２４…Ａ／Ｄコンバータ３０…画像処理部３１…フィルタ補完回路３２…自動ホワイトバランス回路３３…γ補正回路４０…ＤＲＡＭ６０…フラッシュメモリ７０…符号化部８０…操作表示部９０…ストロボ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０９Ｇ 5/00 ５２０Ｇ０６Ｆ 15/68 ３１０ＡＦターム(参考） 2C262 AA24 AB19 AC08 BA16 BA17 DA11 DA16 EA10 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CD06 CE04 CE17 CE18 CH18 5C076 AA21 AA22 BB04 5C080 AA10 BB05 CC03 DD07 DD08 EE21 FF09 GG07 GG09 JJ02 JJ05 JJ07 5C082 AA00 AA01 AA27 AA32 BA12 BA34 BA35 BB15 BB44 CA33 CA81 CA84 DA51 DA86 MM02 MM10

Claims

【特許請求の範囲】

【請求項１】カラーの自然画像をドットマトリクス状
の画素で表現するとともに、各画素の色調や明るさを表
現するために複数の構成要素ごとにその階調値で程度を
表すようにした画像データを取得する画像データ取得工
程と、各構成要素の特性に応じて補間処理を対応付け、最適な
組み合わせで補間処理を実行する構成要素別画素補間工
程と、補間された画像データを出力する画像データ出力工程と
を実行することを特徴とする画像データ補間方法。
【請求項２】上記請求項１に記載の画像データ補間方
法において、上記構成要素として表色空間の座標軸を採
用することを特徴とする画像データ補間方法。
【請求項３】上記請求項２に記載の画像データ補間方
法において、上記表色空間は色分解された各要素色の座
標軸を有するとともに各要素色に対する人の視覚感度の
相違に基づいて補間精度の異なる補間処理を組み合わせ
ていることを特徴とする画像データ補間方法。
【請求項４】上記請求項３に記載の画像データ補間方
法において、上記表色空間は輝度成分座標軸と色差成分
座標軸とを有するとともに、上記構成要素別画素補間工
程では、輝度成分の構成要素について色差成分の構成要
素よりも補間精度の高い補間処理を組み合わせているこ
とを特徴とする画像データ補間方法。
【請求項５】上記請求項１〜請求項４のいずれかに記
載の画像データ補間方法において、上記画像データは構
成要素ごとに実質的に相違する画素密度で構成され、上
記構成要素別画素補間工程では高密度の構成要素に対し
て補間精度の高い補間処理を割り当てて実行することを
特徴とする画像データ補間方法。
【請求項６】上記請求項１〜請求項５のいずれかに記
載の画像データ補間方法において、上記画像データ取得
工程では、前準備として入力した画像データの表色空間
を変換することを特徴とする画像データ補間方法。
【請求項７】上記請求項１〜請求項６のいずれかに記
載の画像データ補間方法において、上記画像データ取得
工程では、複数の要素色の色フィルタが非均一密度でド
ットマトリクス状に配置された単板の固体撮像素子にて
撮像された後、各要素色ごとに欠陥画素を演算にて補充
して生成された画像データを取得するとともに、上記構
成要素別画素補間工程では、同画像データの構成要素で
ある低密度の要素色について画素をぼけさせる補間処理
を実行することを特徴とする画像データ補間方法。
【請求項８】上記請求項１〜請求項７のいずれかに記
載の画像データ補間方法において、上記構成要素別画素
補間工程では、画像密度を向上させ、上記画像データ出
力工程では、情報精度を劣化させることになる画像デー
タの形式変換を実行することを特徴とする画像データ補
間方法。
【請求項９】カラーの自然画像をドットマトリクス状
の画素で表現するとともに、各画素の色調や明るさを表
現するために複数の構成要素ごとにその階調値で程度を
表すようにした画像データを取得する画像データ取得手
段と、各構成要素の特性に応じて補間処理を対応付け、最適な
組み合わせで補間処理を実行する構成要素別画素補間手
段と、補間された画像データを出力する画像データ出力手段と
を実行することを特徴とする画像データ補間装置。
【請求項１０】カラーの自然画像をドットマトリクス
状の画素で表現するとともに、各画素の色調や明るさを
表現するために複数の構成要素ごとにその階調値で程度
を表すようにした画像データについてコンピュータにて
画素を補間する画像データ補間プログラムを記録した媒
体であって、上記画像データを取得する画像データ取得ステップと、各構成要素の特性に応じて補間処理を対応付け、最適な
組み合わせで補間処理を実行する構成要素別画素補間ス
テップと、補間された画像データを出力する画像データ出力ステッ
プとを実行することを特徴とする画像データ補間プログ
ラムを記録した媒体。