JPH11275373A - 補間処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、予め決められた色を出力する格子
点と該色を出力しない空格子点とが市松模様状に配され
た画像の補間処理方法に関し、空格子点の空間的な類似
度を的確に推定しつつ、補間量を高い精度で求めること
を目的とする。 【解決手段】 空格子点の色情報の大きさと空格子点に
対し縦方向の少なくとも一方に隣接する格子点の色情報
の大きさとを用いて縦方向の類似度を決定する縦方向類
似度決定手順と、空格子点の色情報の大きさと空格子点
に対し横方向の少なくとも一方に隣接する格子点の色情
報の大きさとを用いて横方向の類似度を決定する横方向
類似度決定手順と、類似度に応じて空格子点に対して類
似性が強い方向に隣接する格子点の色情報の大きさを選
択、もしくは空格子点に対して縦方向および横方向に位
置する格子点の色情報の大きさを類似度に応じて加重加
算して空格子点の補間量を決定する補間量決定手順とを
備えて構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、予め決められた色
を出力する格子点と該色を出力しない空格子点とが市松
模様状に配された画像の補間処理方法に関する。

【０００２】

【従来の技術】電子カメラには、カラー画像の画像信号
を生成する際、単一の撮像素子を用いるものがある。こ
のような撮像素子は、例えば図１４（１）に示すよう
に、ＲＧＢ（赤色・緑色・青色）の３色のカラーフィル
タがベイア配列されて構成される。ここで、緑色（Ｇ）
に着目すると、撮像素子は、図１４（２）に示すように
緑色を出力する画素である格子点と、緑色を出力しない
画素である空格子点とが市松模様状に配されて構成され
ていると言える。

【０００３】従来、このような撮像素子によって生成さ
れた画像信号に相当するカラー画像の補間処理には、空
格子点に隣接する格子点の色情報の大きさの平均値を空
格子点の補間量とするものがあった。また、米国特許第
５，３８２，９７６号明細書（クラス３４８）には、空
格子点の空間的な類似度を空格子点に隣接する格子点の
色傾斜（chrominance gradients）によって推定し、類
似度の強い方向に隣接する格子点の色情報の大きさに基
づいて補間量を算出する技術が開示されている。

【０００４】図１５は、米国特許第５,３８２，９７６
号に開示された従来の補間処理を説明する図である。図
において、Ｇ１１，Ｇ１３，・・・，Ｇ６６は緑色
（Ｇ）の色情報の大きさを示し、Ｒ１２，Ｒ１４，・・
・，Ｒ５６は赤色（Ｒ）の色情報の大きさを示し、Ｂ２
１，Ｂ２３，・・・，Ｂ６７は青色（Ｂ）の色情報の大
きさを示す。

【０００５】上述した米国特許では、例えば、Ｒ３４を
出力する画素の緑色の補間量Ｇ３４を求める際、まず、
横方向の色傾斜に関する情報Ｇdiff-horを Ｇdiff-hor ＝ ｜Ｇ２４−Ｇ４４｜ によって求め、縦方向の色傾斜に関する情報Ｇdiff-ver
を Ｇdiff-ver ＝ ｜Ｇ３３−Ｇ３５｜ によって求める。

【０００６】そして、このように求めたＧdiff-horとＧ
diff-verとの大小関係によって場合分けし、Ｇ３４を算
出する。すなわち、所定の値Ｔhresholdについて、 Ｇdiff-hor＜Ｔhreshold AND Ｇdiff-ver＞Ｔhreshold ・・・条件１ が成り立つ場合（横方向の類似度が強い場合）、Ｇ３４
を Ｇ３４ ＝ （Ｇ３３＋Ｇ３５）／２ によって求め、 Ｇdiff-hor＞Ｔhreshold AND Ｇdiff-ver＜Ｔhreshold ・・・条件２ が成り立つ場合（縦方向の類似度が強い場合）、Ｇ３４
を Ｇ３４ ＝ （Ｇ２４＋Ｇ４４）／２ によって求め、 （Ｇdiff-hor＜Ｔhreshold AND Ｇdiff-ver＜Ｔhreshold）OR （Ｇdiff-hor＞Ｔhreshold AND Ｇdiff-ver＞Ｔhreshold） ・・・条件３ が成り立つ場合、Ｇ３４を Ｇ３４ ＝ （Ｇ２４＋Ｇ４４＋Ｇ３３＋Ｇ３５）／４ によって求める。

【０００７】ここで、上述した米国特許で開示された補
間処理方法を用いて、図１６に示すような黒と白との縦
縞状の画像の補間処理を行う場合を考える。なお、図１
６に示す画像が図１４に示す撮像素子に投影されると、
緑色（Ｇ）の色情報の大きさは、図１７に示す値になる
と仮定する。

【０００８】例えば、補間量Ｇ３４を求める際、図１７
において、「Ｇ２４＝２００」、「Ｇ４４＝２００」、
「Ｇ３３＝１０」、「Ｇ３５＝１０」であるため、Ｇdi
ff-horとＧdiff-verとは、共に「０」となる。したがっ
て、Ｇdiff-horとＧdiff-verとの間には、条件１および
条件２は成り立たず、「Ｔhreshold≠０」である場合に
限り条件３が成り立つことになる。

【０００９】仮に、「Ｔhreshold≠０」とした場合、補
間量Ｇ３４は、 Ｇ３４ ＝ （２００＋２００＋１０＋１０）／４ ＝ １
０５ となる。

【００１０】

【発明が解決しようとする課題】しかし、実際には、図
１６に示す画像は縦方向の類似度が強く、補間量Ｇ３４
は「２００」となるべきである。

【００１１】このように、上述した米国特許では、Ｇdi
ff-horとＧdiff-verとが一致した場合、横方向の類似度
と縦方向の類似度とが一致していると判定されることに
なり、補間処理の対象となる空格子点の空間的な類似度
が誤って推定されるおそれがあった。そのため、適切な
補間量を求めることができず、最悪の場合、補間処理に
よって得られる画像が破綻する可能性があった。

【００１２】そこで、請求項１〜請求項１０に記載の発
明は、補間処理の対象となる空格子点の空間的な類似度
を的確に推定しつつ、その空格子点の補間量を高い精度
で求めることができる補間処理方法を提供することを目
的とする。

【００１３】

【課題を解決するための手段】請求項１に記載の補間処
理方法は、予め決められた色を出力する格子点と該色を
出力しない空格子点とが市松模様状に配された画像の補
間処理方法において、補間処理の対象となる空格子点の
色情報の大きさと、該空格子点に対して縦方向の少なく
とも一方に隣接する格子点の色情報の大きさとを用い
て、該空格子点の縦方向の類似度を決定する縦方向類似
度決定手順と、補間処理の対象となる空格子点の色情報
の大きさと、該空格子点に対して横方向の少なくとも一
方に隣接する格子点の色情報の大きさとを用いて、該空
格子点の横方向の類似度を決定する横方向類似度決定手
順と、前記縦方向の類似度および前記横方向の類似度に
応じて補間処理の対象となる空格子点に対して類似性が
強い方向に隣接する格子点の色情報の大きさを選択、も
しくは該空格子点に対して縦方向および横方向に位置す
る格子点の色情報の大きさを該類似度に応じて加重加算
することによって、該空格子点の補間量を決定する補間
量決定手順とを備えたことを特徴とする。

【００１４】請求項２に記載の補間処理方法は、予め決
められた色を出力する格子点と該色を出力しない空格子
点とが市松模様状に配された画像の補間処理方法におい
て、補間処理の対象となる空格子点の色情報の大きさ
と、該空格子点に対して斜め方向の少なくとも一方に位
置する空格子点の色情報の大きさと、補間処理の対象と
なる空格子点および該空格子点に対して斜め方向の少な
くとも一方に位置する空格子点に隣接する格子点の色情
報とを用いて、補間処理の対象となる空格子点の縦方向
の類似度および横方向の類似度を決定する類似度決定手
順と、前記縦方向の類似度および前記横方向の類似度に
応じて補間処理の対象となる空格子点に対して類似性が
強い方向に隣接する格子点の色情報の大きさを選択、も
しくは該空格子点に対して縦方向および横方向に位置す
る格子点の色情報の大きさを該類似度に応じて加重加算
することによって、該空格子点の補間量を決定する補間
量決定手順とを備えたことを特徴とする。

【００１５】請求項３に記載の補間処理方法は、予め決
められた色を出力する格子点と該色を出力しない空格子
点とが市松模様状に配された画像の補間処理方法におい
て、補間処理の対象となる空格子点の色情報の大きさ
と、該空格子点に対して縦方向の少なくとも一方に隣接
する格子点の色情報の大きさとを用いて、該空格子点と
当該格子点との類似度を示す縦類似度を決定する縦類似
度決定手順と、補間処理の対象となる空格子点の色情報
の大きさと、該空格子点に対して横方向の少なくとも一
方に隣接する格子点の色情報の大きさとを用いて、該空
格子点と当該格子点との類似度を示す横類似度を決定す
る横類似度決定手順と、補間処理の対象となる空格子点
の周辺に位置する格子点の色情報の大きさと、該空格子
点の周辺に位置する空格子点の色情報の大きさとを用い
て、周辺に位置する空格子点の縦方向の類似度を示す周
辺縦類似度を決定する周辺縦類似度決定手順と、補間処
理の対象となる空格子点の周辺に位置する格子点の色情
報の大きさと、該空格子点の周辺に位置する空格子点の
色情報の大きさとを用いて、周辺に位置する空格子点の
横方向の類似度を示す周辺横類似度を決定する周辺横類
似度決定手順と、前記縦類似度および前記周辺縦類似度
に基づき、補間処理の対象となる空格子点の縦方向の類
似度を決定すると共に、前記横類似度および前記周辺横
類似度に基づき、該空格子点の横方向の類似度を決定す
る類似度決定手順と、前記縦方向の類似度および前記横
方向の類似度に応じて補間処理の対象となる空格子点に
対して類似性が強い方向に隣接する格子点の色情報の大
きさを選択、もしくは該空格子点に対して縦方向および
横方向に位置する格子点の色情報の大きさを該類似度に
応じて加重加算することによって、該空格子点の補間量
を決定する補間量決定手順とを備えたことを特徴とす
る。

【００１６】請求項４に記載の補間処理方法は、請求項
３に記載の補間処理方法において、周辺縦類似度決定手
順は、補間処理の対象となる空格子点に対して横方向の
少なくとも一方に隣接する格子点の色情報の大きさと、
当該格子点に対して補間処理の対象となる空格子点とは
反対方向に隣接する空格子点の色情報の大きさとを用い
て周辺横類似度を決定し、周辺横類似度決定手順は、補
間処理の対象となる空格子点に対して横方向の少なくと
も一方に隣接する格子点の色情報の大きさと、当該格子
点に対して補間処理の対象となる空格子点とは反対方向
に隣接する空格子点の色情報の大きさとを用いて周辺横
類似度を決定することを特徴とする。

【００１７】請求項５に記載の補間処理方法は、請求項
３に記載の補間処理方法において、周辺縦類似度決定手
順は、補間処理の対象となる空格子点に対して横方向の
少なくとも一方に隣接する格子点の色情報の大きさと、
当該格子点に対して縦方向の少なくとも一方に隣接する
空格子点の色情報の大きさとを用いて周辺縦類似度を決
定し、周辺横類似度決定手順は、補間処理の対象となる
空格子点に対して縦方向の少なくとも一方に隣接する格
子点の色情報の大きさと、当該格子点に対して横方向の
少なくとも一方に隣接する空格子点の色情報の大きさと
を用いて周辺横類似度を決定することを特徴とする。

【００１８】請求項６に記載の補間処理方法は、請求項
３に記載の補間処理方法において、周辺縦類似度決定手
順は、補間処理の対象となる空格子点に対して斜め方向
の少なくとも一方に位置する空格子点の色情報の大きさ
と、斜め方向に位置する空格子点に対して縦方向の少な
くとも一方に隣接する格子点の色情報の大きさとを用い
て周辺縦類似度を決定し、周辺横類似度決定手順は、補
間処理の対象となる空格子点に対して斜め方向の少なく
とも一方に位置する空格子点の色情報の大きさと、斜め
方向に位置する空格子点に対して横方向の少なくとも一
方に隣接する格子点の色情報の大きさとを用いて周辺縦
類似度を決定することを特徴とする。

【００１９】請求項７に記載の補間処理方法は、請求項
３に記載の補間処理方法において、周辺縦類似度決定手
順は、補間処理の対象となる空格子点に対して上下左右
方向と斜め方向とを含む８方向の少なくとも一方に位置
する空格子点の色情報の大きさと、８方向の少なくとも
一方に位置する空格子点に対して縦方向の少なくとも一
方に隣接する格子点の色情報の大きさとを用いて周辺縦
類似度を決定し、周辺横類似度決定手順は、補間処理の
対象となる空格子点に対して上下左右方向と斜め方向と
を含む８方向の少なくとも一方に位置する空格子点の色
情報の大きさと、８方向の少なくとも一方に位置する空
格子点に対して横方向の少なくとも一方に隣接する格子
点の色情報の大きさとを用いて周辺縦類似度を決定する
ことを特徴とする。

【００２０】請求項８に記載の補間処理方法は、請求項
１ないし請求項７の何れか１項に記載の補間処理方法に
おいて、補間量決定手順は、前記縦方向の類似度および
前記横方向の類似度について、何れか一方の類似度が突
出する場合、その類似度を示す方向に隣接する２つの格
子点の色情報の大きさの平均値を補間量とし、双方の類
似度が近似する場合、該平均値を算出する以外の方法で
補間量を決定することを特徴とする。

【００２１】請求項９に記載の補間処理方法は、請求項
８に記載の補間処理方法において、補間量決定手順は、
前記縦方向の類似度および前記横方向の類似度が近似す
る場合、各類似度に対応する重み係数に基づいて該空格
子点の補間量を決定することを特徴とする。請求項１０
に記載の補間処理方法は、請求項８に記載の補間処理方
法において、補間量決定手順は、前記縦方向の類似度お
よび前記横方向の類似度が近似する場合、補間処理の対
象となる空格子点に隣接する４つの格子点の色情報の大
きさのメディアンによって該空格子点の補間量を決定す
ることを特徴とする。

【００２２】

【発明の実施の形態】以下、図面に基づいて本発明の実
施形態について詳細を説明する。なお、ここでは、本発
明にかかわる補間処理方法を実現する電子スチルカメラ
を用いて説明を行う。 （第一の実施形態）図１は、第一の実施形態にかかわる
電子カメラの機能ブロック図である。

【００２３】なお、第一の実施形態は請求項１、請求項
８および請求項９に記載の発明に対応した実施形態に相
当する。また、第一の実施形態および後述する各実施形
態では、緑色を出力する画素を格子点とし、赤色もしく
は青色を出力する画素を緑色に関する空格子点とする。
すなわち、第一の実施形態および後述する各実施形態に
おける補間処理は、これらの空格子点の緑色の色情報の
大きさに相当する補間量を求める処理に相当する。

【００２４】図１において、制御部１０の出力は、撮影
光学系１１、ＯＬＰＦ (光学的低域通過フィルタ：Opti
cal Low Pass Filter)１２、撮像素子１３、Ａ／Ｄ変換
部１４、階調変換部１５、画像バッファメモリ１６およ
び信号処理部１７に接続される。信号処理部１７は、補
間処理部１８を有し、補間処理部１８は、類似度算出部
１９および補間量算出部２０で構成される。

【００２５】撮影光学系１１で取得された光学像は、Ｏ
ＬＰＦ１２によってフィルタリングされ、撮像素子１３
に与えられる。なお、ＯＬＰＦ１２を設けず、撮影光学
系１１で取得された光学像が撮像素子１３に直接与えら
れてもよい。撮像素子１３の出力はＡ／Ｄ変換部１４に
接続され、Ａ／Ｄ変換部１４の出力は階調変換部１５に
接続される。また、階調変換部１５の出力は画像バッフ
ァメモリ１６に接続され、画像バッファメモリ１６の出
力は信号処理部１７に接続される。

【００２６】なお、信号処理部１７に接続された画像バ
ッファメモリ１６の出力は、信号処理部１７を介して類
似度算出部１９と補間量算出部２０とに接続される。ま
た、補間量算出部２０には、類似度算出部１９から縦方
向の類似度と横方向の類似度が供給され、画像バッファ
メモリ１６には、信号処理部１７を介して補間量算出部
２０から補間量が供給される（詳細は、後述する）。

【００２７】また、第一の実施形態および後述する各実
施形態では、撮像素子１３として、図１４（１）に示す
ようなＲＧＢの３色のカラーフィルタがベイア配列され
た構成の撮像素子を用い、画像バッファメモリ１６は、
これらの３色に対応する３つの領域で構成される。ここ
で、画像バッファメモリ１６内の緑色に対応する領域
は、Ａ／Ｄ変換部１４によって生成されて、階調変換部
１５によって階調変換（ｌｏｇ化やγ変換等）された緑
色の画像データ（格子点の画素出力に相当する）を格納
する領域と、後述する補間処理によって得られる緑色の
画像データ（空格子点の補間量に相当する）を格納する
領域とで構成される。

【００２８】また、以降の説明を簡単にするために、撮
像素子１３の各画素の位置は、「右方向を正とする横軸
Ｘ」と「下方向を正とする縦軸Ｙ」とで構成される座標
系で表す。また、格子点の画素出力は、Ｇ（ｘ，ｙ）で
表し、空格子点の補間量は、Ｇ'（ｘ，ｙ）で表す。図
２は、このような格子点の色情報の大きさと空格子点の
補間量とを示した図である。図において、Ｘ_maxはＸ成
分の最大値を示し、Ｙ_maxはＹ成分の最大値を示す。

【００２９】図３は、第一の実施形態の動作フローチャ
ートである。図４は、第一の実施形態の補間処理の動作
フローチャートである。図５は、第一の実施形態の類似
度の算出方法を説明する図である。図５において、格子
点をＧで示し、空格子点をＲＢで示し、補間処理の対象
となる空格子点の座標を（ｉ，ｊ）で示す。

【００３０】なお、請求項１、請求項８および請求項９
の発明と第一の実施形態との対応関係については、縦方
向類似度決定手順および横方向類似度決定手順は類似度
算出部１９で行われる処理に対応し、補間量決定手順は
補間量算出部２０で行われる処理に対応する。以下、図
１ないし図５を参照して第一の実施形態の動作を説明す
る。

【００３１】主電源が投入されている状態において、撮
像素子１３では、撮影光学系１１およびＯＬＰＦ１２を
介して与えられる光学像が光電変換面（図示されない）
に結像され、光電変換によって信号電荷が生成される。
また、撮像素子１３は、このように生成された信号電荷
を走査して画像信号を生成し、Ａ／Ｄ変換部１４に与え
る。

【００３２】Ａ／Ｄ変換部１４は、このように与えられ
た画像信号をＡ／Ｄ変換し、階調変換部１５は、Ａ／Ｄ
変換された画像信号を階調変換（ｌｏｇ化やγ変換等）
して画像データを生成する（図３Ｓ１）。なお、第一の
実施形態および後述する各実施形態において、画像デー
タは、撮像素子１３の各画素に対応する色情報に相当す
る。

【００３３】このように生成された画像データは、ＲＧ
Ｂの３色に分割され、各色に対応する画像バッファメモ
リ１６内の領域に格納される（図３Ｓ２）。なお、この
ような処理は、制御部１０によるタイミング制御に基づ
き繰り返し行われる。また、これらの緑色の画像データ
（格子点の色情報）は、図２に示すように、上述した座
標系で示される座標に対応付けられて格納される。

【００３４】制御部１０は、電子スチルカメラの筐体に
設けられたレリーズボタン（図示されない）が押下され
たか否かを判定する（図３Ｓ３）。制御部１０は、この
ような判定によって、レリーズボタンが押下されていな
いことを認識すると、上述したタイミング制御によって
画像データの生成（図３Ｓ１）および格納（図３Ｓ２）
の処理を繰り返し指示する。

【００３５】また、制御部１０は、レリーズボタンが押
下されたことを認識すると、信号処理部１７内の補間処
理部１８に対して、後述するような補間処理の実行を指
示する（図３Ｓ４）。すなわち、本実施形態では、レリ
ーズボタンが押下された時点に画像バッファメモリ１６
に格納されている画像データが補間処理の対象となる。

【００３６】なお、画像表示を行うために、レリーズボ
タンが押下された時点によらず、常時、補間処理を実行
してもよい。また、レリーズ後にＳ１以降の処理を行っ
てもよい。このようにして補間処理が施された画像デー
タ（空格子点の補間量）は、画像バッファメモリ１６に
格納される（図３Ｓ５）。

【００３７】以下、補間処理の動作を説明する。補間処
理部１８は、制御部１０によって補間処理の実行が指示
されると、補間処理の対象となる空格子点を選択する
（図４Ｓ１）。例えば、図２において、任意の座標
（ｘ，ｙ）について「ｘ＋ｙ＝奇数」が成り立つ場合、
その座標には、空格子点が対応付けられている。そのた
め、本実施形態では、各画素に対応付けられた座標を
（１，１）から（Ｘ_max，Ｙ_max）まで順次検索し、Ｘ
成分とＹ成分との和が奇数である座標を空格子点とす
る。

【００３８】なお、図２において、任意の座標（ｘ，
ｙ）について「ｘ＋ｙ＝奇数」が成り立つ場合、ｘが偶
数であるか奇数であるかを判定することによって、その
座標の画素から出力される色を識別することができる。
例えば、「ｘ＋ｙ＝奇数 かつｘ＝偶数」が成り立つ画
素の出力を赤色とすると、「ｘ＋ｙ＝奇数 かつ ｘ＝奇
数」が成り立つ画素の出力は青色となる。

【００３９】補間処理部１８は、上述したように補間処
理の対象となる空格子点を選択すると、類似度算出部１
９、補間量算出部２０を起動する。類似度算出部１９
は、図５に示すように、補間処理の対象となる空格子点
（ｉ，ｊ）の色情報の大きさＲＢ（ｉ，ｊ）と、その空
格子点に対して縦方向および横方向に隣接する格子点の
色情報の大きさＧ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），
Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋１，ｊ）を画像バッファメ
モリ１６から読み出す。すなわち、補間処理の対象とな
る空格子点の縦方向の類似度および横方向の類似度を算
出する際に用いる色情報の大きさを画像バッファメモリ
１６から読み出す。

【００４０】また、類似度算出部１９は、ＲＢ（ｉ，
ｊ）、Ｇ（ｉ，ｊ−１）およびＧ（ｉ，ｊ＋１）を用い
て、縦方向の類似度Ｃtsum（ｉ，ｊ）を Ｃtsum（ｉ，ｊ）＝ｔ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ
−１）｜＋（１−ｔ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ
＋１）｜ によって算出し、ＲＢ（ｉ，ｊ）、Ｇ（ｉ−１，ｊ）お
よびＧ（ｉ＋１，ｊ）を用いて、横方向の類似度Ｃysum
（ｉ，ｊ）を Ｃysum（ｉ，ｊ）＝ｙ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−
１，ｊ）｜＋（１−ｙ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋
１，ｊ）｜ によって算出する（図４Ｓ２）。

【００４１】なお、ｔおよびｙは、「０≦ｔ≦１，０≦
ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．
５」とする。さらに、類似度算出部１９は、このように
算出した縦方向の類似度Ｃtsum（ｉ，ｊ）および空格子
点の横方向の類似度Ｃysum（ｉ，ｊ）を補間量算出部２
０に供給する。

【００４２】補間量算出部２０は、縦方向の類似度Ｃts
um（ｉ，ｊ）および空格子点の横方向の類似度Ｃysum
（ｉ，ｊ）が供給されると、補間処理の対象となる空格
子点に対して縦方向および横方向に隣接する格子点の色
情報の大きさＧ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ
（ｉ−１，ｊ），Ｇ（ｉ＋１，ｊ）を画像バッファメモ
リ１６から読み出し、その空格子点の補間量Ｇ'（ｉ，
ｊ）を Ｇ'（ｉ，ｊ）＝｛（Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋１））× （１＋ｆ（ｘ）） ＋（Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ））× （１−ｆ（ｘ））｝／４ ・・・式１ によって算出する。

【００４３】ただし、ｘ＝（Ｃysum（ｉ，ｊ）−Ｃtsum
（ｉ，ｊ））／｛（Ｃysum（ｉ，ｊ）＋Ｃtsum（ｉ，
ｊ））×T1＋T0｝ −１≦ｘ≦１のとき ｆ（ｘ）＝ｘ ｘ＞１のとき ｆ（ｘ）＝１ ｘ＜−１のとき ｆ（ｘ）＝−１ ここで、T1は「０≦T1≦１」を満たす定数であり、色情
報の大きさを「０から２５５まで」の数値（８ビット）
で示した場合、T0は「０から１００まで」の定数とす
る。また、T0とT1とは共に「０」となることはない。例
えば、T1とT0との組み合わせ（t1，t0）としては、
（０．３，０）、（０．５、１０）、（０．７，０）、
（０．３，４０）、（０．５，４０）、（０．７，４
０）が考えられる。

【００４４】このように、補間量算出部２０は、 ｘ＝（Ｃysum（ｉ，ｊ）−Ｃtsum（ｉ，ｊ））／｛（Ｃ
ysum（ｉ，ｊ）＋Ｃtsum（ｉ，ｊ））×T1＋T0｝ を空格子点の類似度の評価値とし、その評価値に応じて
空格子点の補間量を算出する。ここで、「ｘ＞０」が成
り立つ場合には横方向の類似度よりも縦方向の類似度が
強く、「ｘ＜０」が成り立つ場合には縦方向の類似度よ
りも横方向の類似度が強いことを意味する。

【００４５】なお、ｆ（ｘ）のグラフは、図６に示す形
状となる。ところで、式１は、「ｘ＞１」が成り立つ場
合、「ｆ（ｘ）＝１」であるため、 Ｇ'（ｉ，ｊ）＝（Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋
１））／２ と等価であり、「ｘ＜−１」が成り立つ場合、「ｆ
（ｘ）＝−１」であるため、 Ｇ'（ｉ，ｊ）＝（Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，
ｊ））／２ と等価である。

【００４６】すなわち、補間量算出部２０は、「ｘ＞
１」が成り立つか否かを判定することによって空格子点
の縦方向の類似度が突出しているか否かを判定し（図４
Ｓ３）、「ｘ＜−１」が成り立つか否かを判定すること
によって空格子点の横方向の類似度が突出しているか否
かを判定する（図４Ｓ４）。また、補間量算出部２０
は、空格子点の縦方向の類似度が突出している場合（図
４Ｓ４のＹＥＳ側）、縦方向に隣接する二つの格子点の
色情報の大きさの平均値を空格子点の補間量とし（図４
Ｓ５）、空格子点の横方向の類似度が突出している場合
（図４Ｓ４のＹＥＳ側）、横方向に隣接する二つの格子
点の色情報の大きさの平均値を空格子点の補間量とする
（図４Ｓ６）。

【００４７】ところで、式１は、「−１≦ｘ≦１」が成
り立つ場合、 Ｇ'（ｉ，ｊ）＝｛（Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋
１））／２｝×｛（１＋ｘ）／２｝＋｛（Ｇ（ｉ−１，
ｊ）＋Ｇ（ｉ＋１，ｊ））／２｝×｛（１−ｘ）／２｝ と等価である。

【００４８】ここで、「（Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，
ｊ＋１））／２」は、縦方向に隣接する二つの格子点の
色情報の大きさの平均値に相当し、「（１＋ｘ）／２」
は、縦方向の類似度に対応する重み係数に相当する。ま
た、「（Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ））／２」
は、横方向に隣接する二つの格子点の色情報の大きさの
平均値に相当し、「（１−ｘ）／２」は、横方向の類似
度に対応する重み係数に相当する。

【００４９】すなわち、補間量算出部２０は、何れの類
似度も突出していないことを認識した場合（図４Ｓ４の
ＮＯ側）、空格子点の縦方向に隣接する二つの格子点の
色情報の大きさの平均値および横方向に隣接する二つの
格子点の色情報の大きさの平均値に対し、各方向の類似
度の評価値に基づく加重加算を施すことによって空格子
点の補間量を算出する（図４Ｓ７）。

【００５０】また、補間処理部１８は、全ての空格子点
の補間処理が完了したか否かを判定する（図４Ｓ８）。
例えば、このような判定は、上述したような各画素に対
応付けられた座標を検索する過程で、任意の座標（ｉ，
ｊ）について、「ｉ＞Ｘ_max−３」および「ｊ＞Ｙ_max
−３」が成り立つか否かを判定することに相当する。

【００５１】なお、画像の端部のように本発明の補間処
理をそのまま適用できない部分については、画像の端か
ら先を折り返して仮想の画像を生成し（公知の技術）、
このように生成した画像を用いて補間処理を行ってもよ
い。補間処理部１８は、このような判定によって、全て
の空格子点の補間処理が完了したことを認識するまで、
上述した処理（図４Ｓ１以降の処理）を繰り返し行う。

【００５２】すなわち、第一の実施形態では、補間処理
の対象となる空格子点の縦方向の類似度および横方向の
類似度に、その空格子点の色情報の大きさを反映するこ
とができる。そのため、例えば、図１６に示す画像の補
間処理を行う場合には、縦方向の類似度が突出している
ことが判定できる。したがって、本実施形態によれば、
米国特許第５，３８２，９７６号明細書に開示された従
来の補間処理によって破綻する可能性があった画像に対
しても、高い精度で補間処理を行うことができる。

【００５３】なお、本実施形態では、「ｔ＝ｙ＝０．
５」として縦方向の類似度Ｃtsum（ｉ，ｊ）および横方
向の類似度Ｃysum（ｉ，ｊ）を算出しているが、例え
ば、「ｔ＝ｙ＝０」または「ｔ＝ｙ＝１」として縦方向
の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum
（ｉ，ｊ）を算出してもよい。仮に、「ｔ＝ｙ＝０」と
した場合、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方
向の類似度Ｃysum（ｉ，ｊ）を Ｃtsum（ｉ，ｊ）＝｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋
１）｜ Ｃysum（ｉ，ｊ）＝｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，
ｊ）｜ によって算出できるため、類似度算出部１９は、Ｇ
（ｉ，ｊ−１）およびＧ（ｉ−１，ｊ）を画像バッファ
メモリ１６から読み出す必要がない。

【００５４】また、本実施形態では、ｆ（ｘ）を図６に
示す形状としているが、縦方向の類似度Ｃtsum（ｉ，
ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）の何れか一
方の類似度が突出する場合、その突出する類似度を示す
方向に隣接する二つの格子点の色情報の大きさの平均値
を空格子点の補間量とできれば、ｆ（ｘ）は如何なる関
数であってもよい。

【００５５】さらに、本実施形態では、補間量の算出時
にｆ（ｘ）の値を算出しているが、例えば、補間量算出
部１８内にルックアップテーブルを設けて予め算出した
ｆ（ｘ）の値を格納し、空格子点の縦方向の類似度Ｃts
um（ｉ，ｊ）や横方向の類似度Ｃysum（ｉ，ｊ）に対応
付けてルックアップテーブルを参照することによってｆ
（ｘ）の値を取得してもよい。

【００５６】また、本実施形態では、何れか一方の類似
度が突出しているか否かの判定をｘの値に基づいて行っ
ているが、例えば、縦方向の類似度Ｃtsum（ｉ，ｊ）が
所定の値（ここでは、Thとする）以下であり横方向の類
似度Ｃysum（ｉ，ｊ）がThを上回る場合には、縦方向の
類似度Ｃtsum（ｉ，ｊ）が突出していると判定し、横方
向の類似度Ｃysum（ｉ，ｊ）がTh以下であり縦方向の類
似度Ｃtsum（ｉ，ｊ）がThを上回る場合には、横方向の
類似度Ｃysum（ｉ，ｊ）が突出していると判定してもよ
い。

【００５７】さらに、ｘを算出する際の割算を回避する
ために、分母に相当する値を算出した後、その値をテー
ブル参照で「１／分母」に相当する値に置き換えて、掛
算でｘを求めてもよいし、分子の絶対値と分母とを対数
化（テーブル参照などにより）してから差をとり、これ
と所定値との大小を比較する方法（この場合、符号は別
途判別する）に置き換えてもよい。

【００５８】また、本実施形態では、縦方向の類似度Ｃ
tsum（ｉ，ｊ）および横方向の類似度Ｃysum（ｉ，ｊ）
が近似する場合、請求項９を適用して各類似度に対応す
る重み係数に基づいて空格子点の補間量を算出している
が、例えば、請求項９に代えて請求項１０を適用するこ
とによって、空格子点に隣接する４つの格子点の色情報
の大きさのメディアンに基づき空格子点の補間量を算出
してもよい。

【００５９】（第二の実施形態）図７は、第二の実施形
態の類似度の算出方法を説明する図である。図におい
て、格子点をＧで示し、空格子点をＲＢで示し、補間処
理の対象となる空格子点の座標を（ｉ，ｊ）で示す。な
お、第二の実施形態は、請求項１、請求項８および請求
項９に記載の発明に対応した実施形態に相当する。ま
た、これらの請求項に記載の発明と第二の実施形態との
対応関係については、縦方向類似度決定手順および横方
向類似度決定手順は類似度算出部１９で行われる処理に
対応し、補間量決定手順は補間量算出部２０で行われる
処理に対応する。

【００６０】第二の実施形態の特徴は、類似度算出部１
９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）お
よび横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあ
り、他の処理については、第一の実施形態と同様である
ため説明を省略する。類似度算出部１９は、第一の実施
形態と同様に、補間処理の対象となる空格子点（ｉ，
ｊ）の色情報の大きさＲＢ（ｉ，ｊ）と、その空格子点
に対して縦方向および横方向に隣接する格子点の色情報
の大きさＧ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ
−１，ｊ），Ｇ（ｉ＋１，ｊ）を画像バッファメモリ１
６から読み出す。

【００６１】また、類似度算出部１９は、図７に示すよ
うに、ＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１）およびＧ
（ｉ，ｊ＋１）を用いて、縦方向の類似度Ｃtsum（ｉ，
ｊ）を Ｃtsum（ｉ，ｊ）＝｜ｔ×Ｇ（ｉ，ｊ−１）＋（１−
ｔ）×Ｇ（ｉ，ｊ＋１）−ＲＢ（ｉ，ｊ）｜ によって算出し、ＲＢ（ｉ，ｊ）、Ｇ（ｉ−１，ｊ）お
よびＧ（ｉ＋１，ｊ）を用いて、横方向の類似度Ｃysum
（ｉ，ｊ）を Ｃysum（ｉ，ｊ）＝｜ｙ×Ｇ（ｉ−１，ｊ）＋（１−
ｙ）×Ｇ（ｉ＋１，ｊ）−ＲＢ（ｉ，ｊ）｜ によって算出する（図４Ｓ２に相当する）。

【００６２】なお、ｔおよびｙは、「０≦ｔ≦１，０≦
ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．
５」とする。このように、第二の実施形態では、補間処
理の対象となる空格子点の縦方向の類似度および横方向
の類似度に、その空格子点の色情報の大きさを反映する
ことができる。そのため、第一の実施形態と同様に、米
国特許第５，３８２，９７６号明細書に開示された従来
の補間処理によって破綻する可能性があった画像に対し
ても、高い精度で補間処理を行うことができる。

【００６３】なお、本実施形態では、「ｔ＝ｙ＝０．
５」として縦方向の類似度Ｃtsum（ｉ，ｊ）および横方
向の類似度Ｃysum（ｉ，ｊ）を算出しているが、例え
ば、「ｔ＝ｙ＝０」または「ｔ＝ｙ＝１」として縦方向
の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum
（ｉ，ｊ）を算出してもよい。仮に、「ｔ＝ｙ＝１」と
した場合、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方
向の類似度Ｃysum（ｉ，ｊ）を Ｃtsum（ｉ，ｊ）＝｜Ｇ（ｉ，ｊ−１）−ＲＢ（ｉ，
ｊ）｜ Ｃysum（ｉ，ｊ）＝｜Ｇ（ｉ−１，ｊ）−ＲＢ（ｉ，
ｊ）｜ によって算出できるため、類似度算出部１９は、Ｇ
（ｉ，ｊ＋１）およびＧ（ｉ＋１，ｊ）を画像バッファ
メモリ１６から読み出す必要がない。

【００６４】（第三の実施形態）図８は、第三の実施形
態の類似度の算出方法を説明する図である。図におい
て、格子点をＧで示し、空格子点をＲＢで示し、補間処
理の対象となる空格子点の座標を（ｉ，ｊ）で示す。な
お、第三の実施形態は、請求項２、請求項８および請求
項９に記載の発明に対応した実施形態に相当する。ま
た、これらの請求項に記載の発明と第三の実施形態との
対応関係については、縦方向類似度決定手順および横方
向類似度決定手順は類似度算出部１９で行われる処理に
対応し、補間量決定手順は補間量算出部２０で行われる
処理に対応する。

【００６５】第三の実施形態の特徴は、類似度算出部１
９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）お
よび横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあ
り、他の処理については、第一の実施形態と同様である
ため説明を省略する。類似度算出部１９は、図８に示す
ように、補間処理の対象となる空格子点（ｉ，ｊ）の色
情報の大きさＲＢ（ｉ，ｊ）と、その空格子点に対して
上方向および左方向に隣接する格子点の色情報の大きさ
Ｇ（ｉ，ｊ−１），Ｇ（ｉ−１，ｊ）と、その空格子点
に対して左上方向に位置する空格子点の色情報の大きさ
ＲＢ（ｉ−１，ｊ−１）を画像バッファメモリ１６から
読み出す。

【００６６】また、類似度算出部１９は、図８に示すよ
うに、ＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１）、Ｇ（ｉ−
１，ｊ）およびＲＢ（ｉ−１，ｊ−１）を用いて、縦方
向の類似度Ｃtsum（ｉ，ｊ）を Ｃtsum（ｉ，ｊ）＝（ｔ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，
ｊ−１）｜＋（１−ｔ）×｜ＲＢ（ｉ−１，ｊ−１）−
Ｇ（ｉ−１，ｊ）｜） によって算出し、ＲＢ（ｉ，ｊ）、Ｇ（ｉ−１，ｊ）お
よびＧ（ｉ＋１，ｊ）を用いて、横方向の類似度Ｃysum
（ｉ，ｊ）を Ｃysum（ｉ，ｊ）＝（ｙ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−
１，ｊ）｜＋（１−ｙ）×｜ＲＢ（ｉ−１，ｊ−１）−
Ｇ（ｉ，ｊ−１）｜） によって算出する（図４Ｓ２に相当する）。

【００６７】なお、ｔおよびｙは、「０≦ｔ≦１，０≦
ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．
５」とする。このように、第三の実施形態では、補間処
理の対象となる空格子点の縦方向の類似度および横方向
の類似度に、補間処理の対象となる空格子点や、その空
格子点の周辺に位置する空格子点の色情報の大きさを反
映することができる。そのため、米国特許第５，３８
２，９７６号明細書に開示された従来の補間処理によっ
て破綻する可能性があった画像に対しても、高い精度で
補間処理を行うことができる。

【００６８】なお、本実施形態では、「ｔ＝ｙ＝０．
５」として縦方向の類似度Ｃtsum（ｉ，ｊ）および横方
向の類似度Ｃysum（ｉ，ｊ）を算出しているが、例え
ば、「ｔ＝ｙ＝０」または「ｔ＝ｙ＝１」として縦方向
の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃysum
（ｉ，ｊ）を算出してもよい。仮に、「ｔ＝ｙ＝０」と
した場合、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方
向の類似度Ｃysum（ｉ，ｊ）は、 Ｃtsum（ｉ，ｊ）＝｜ＲＢ（ｉ−１，ｊ−１）−Ｇ（ｉ
−１，ｊ）｜ Ｃysum（ｉ，ｊ）＝｜ＲＢ（ｉ−１，ｊ−１）−Ｇ
（ｉ，ｊ−１）｜ によって算出される。すなわち、このような場合には、
補間処理の対象となる空格子点の周辺に位置する格子点
および空格子点の色情報の大きさによって縦方向の類似
度および横方向の類似度が決定されることになる。

【００６９】また、本実施形態では、補間処理の対象と
なる空格子点以外の空格子点の色情報の大きさとして、
補間処理の対象となる空格子点に対して左上に位置する
空格子点の色情報の大きさを用いたが、請求項２に記載
の発明は、このような色情報の大きさに限定されず、左
上に位置する空格子点に代えて右上、右下または左下に
位置する空格子点の色情報の大きさを用いてもよく、こ
れら四つの空格子点の色情報の大きさを用いて算出した
値を加重加算してもよい。

【００７０】例えば、縦方向の類似度Ｃtsum（ｉ，ｊ）
および横方向の類似度Ｃysum（ｉ，ｊ）を下式によって
算出することができる。 Ｃtsum（ｉ，ｊ）＝（t1×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−１）｜＋ （１−t1）×｜ＲＢ（ｉ−１，ｊ−１）−Ｇ（ｉ−１，ｊ）｜）×ht1 （t2×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−１）｜＋ （１−t2）×｜ＲＢ（ｉ＋１，ｊ−１）−Ｇ（ｉ＋１，ｊ）｜）×ht2 （t3×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜＋ （１−t3）×｜ＲＢ（ｉ−１，ｊ＋１）−Ｇ（ｉ−１，ｊ）｜）×ht3 （t4×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋１）｜＋ （１−t4）×｜ＲＢ（ｉ＋１，ｊ＋１）−Ｇ（ｉ＋１，ｊ）｜）×ht4 Ｃysum（ｉ，ｊ）＝（y1×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，ｊ）｜＋ （１−y1）×｜ＲＢ（ｉ−１，ｊ−１）−Ｇ（ｉ，ｊ−１）｜）×hy1 （y2×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜＋ （１−y2）×｜ＲＢ（ｉ＋１，ｊ−１）−Ｇ（ｉ，ｊ−１）｜）×hy2 （y3×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，ｊ）｜＋ （１−y3）×｜ＲＢ（ｉ−１，ｊ＋１）−Ｇ（ｉ，ｊ＋１）｜）×hy3 （y4×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，ｊ）｜＋ （１−y4）×｜ＲＢ（ｉ＋１，ｊ＋１）−Ｇ（ｉ，ｊ＋１）｜）×hy4 ただし、t1〜t4、y1〜y4は「０」以上「１」以下の定数
であり、ht1〜ht4、hy1〜hy4は定数であり、かつ少なく
とも１つは「０」でない。

【００７１】このような式において、「ht1＋ht2＋ht3
＋ht4 ＝１」および「hy1＋hy2＋hy3＋hy4 ＝１」とし
た場合には、補間処理の対象となる空格子点に対して斜
め方向に位置する空格子点の色情報の大きさを用いて得
られた値を加重加算したことに相当する。 （第四の実施形態）図９は、第四の実施形態の類似度の
算出方法を説明する図である。

【００７２】図において、格子点をＧで示し、空格子点
をＲＢで示し、補間処理の対象となる空格子点の座標を
（ｉ，ｊ）で示す。なお、第四の実施形態は、請求項
３、請求項４、請求項８および請求項９に記載の発明に
対応した実施形態に相当する。また、これらの請求項に
記載の発明と第四の実施形態との対応関係については、
縦類似度決定手順、横類似度決定手順、周辺縦類似度決
定手順、周辺横類似度決定手順および類似度決定手順
は、類似度算出部１９で行われる処理に対応し、補間量
決定手順は、補間量算出部２０で行われる処理に対応す
る。

【００７３】第四の実施形態の特徴は、類似度算出部１
９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）お
よび横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあ
り、他の処理については、第一の実施形態と同様である
ため説明を省略する。類似度算出部１９は、図９に示す
ように、補間処理の対象となる空格子点（ｉ，ｊ）の色
情報の大きさＲＢ（ｉ，ｊ）と、その空格子点に対して
縦方向および横方向に隣接する格子点の色情報の大きさ
Ｇ（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，
ｊ），Ｇ（ｉ＋１，ｊ）を画像バッファメモリ１６から
読み出す。

【００７４】また、類似度算出部１９は、図９に示すよ
うに、ＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−１）およびＧ
（ｉ，ｊ＋１）を用いて、縦類似度Ｃt（ｉ，ｊ）を Ｃt（ｉ，ｊ）＝ｔ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−
１）｜＋（１−ｔ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋
１）｜ によって算出し、ＲＢ（ｉ，ｊ）、Ｇ（ｉ−１，ｊ）お
よびＧ（ｉ＋１，ｊ）を用いて、横類似度Ｃy（ｉ，
ｊ）を Ｃy（ｉ，ｊ）＝ｙ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，
ｊ）｜＋（１−ｙ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，
ｊ）｜ によって算出する。

【００７５】なお、ｔおよびｙは、「０≦ｔ≦１，０≦
ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．
５」とする。さらに、類似度算出部１９は、補間処理の
対象となる空格子点の周辺に位置する空格子点の色情報
の大きさＲＢ（ｉ，ｊ−２）、ＲＢ（ｉ，ｊ＋２）、Ｒ
Ｂ（ｉ−２，ｊ）、ＲＢ（ｉ＋２，ｊ）を画像バッファ
メモリ１６から読み出す。

【００７６】また、類似度算出部１９は、このように読
み出したＲＢ（ｉ，ｊ−２）、ＲＢ（ｉ，ｊ＋２）、Ｒ
Ｂ（ｉ−２，ｊ）、ＲＢ（ｉ＋２，ｊ）と、既に読み出
されているＧ（ｉ，ｊ−１）、Ｇ（ｉ，ｊ＋１）、Ｇ
（ｉ−１，ｊ）、Ｇ（ｉ＋１，ｊ）とを用いて、周辺縦
類似度Ｃtn（ｉ，ｊ）および周辺横類似度Ｃyn（ｉ，
ｊ）を Ｃtn（ｉ，ｊ）＝t1×｜ＲＢ（ｉ，ｊ−２）−Ｇ（ｉ，
ｊ−１）｜＋t2×｜ＲＢ（ｉ，ｊ＋２）−Ｇ（ｉ，ｊ＋
１）｜ Ｃyn（ｉ，ｊ）＝y1×｜ＲＢ（ｉ−２，ｊ）−Ｇ（ｉ−
１，ｊ）｜＋y2×｜ＲＢ（ｉ＋２，ｊ）−Ｇ（ｉ＋１，
ｊ）｜ によって算出する。

【００７７】なお、t1およびt2は定数であり、かつ少な
くとも１つは「０」でなく、y1およびy2は定数であり、
かつ少なくとも１つは「０」でない。さらに、類似度算
出部１９は、このように算出したＣt（ｉ，ｊ）、Ｃy
（ｉ，ｊ）、Ｃtn（ｉ，ｊ）、Ｃyn（ｉ，ｊ）を用い
て、縦方向の類似度Ｃtsum（ｉ，ｊ）および横方向の類
似度Ｃysum（ｉ，ｊ）を Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×h
t Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×h
y によって算出する。

【００７８】なお、htおよびhyは、定数であり、例え
ば、「１／２」や「１／４」とする。このように、第四
の実施形態では、補間処理の対象となる空格子点の縦方
向の類似度および横方向の類似度に、補間処理の対象と
なる空格子点および周辺に位置する空格子点の色情報の
大きさを反映することができる。したがって、補間処理
の対象となる空格子点の縦方向の類似度および横方向の
類似度の信頼性を確実に向上させることができるため、
高い精度で補間処理を行うことができる。

【００７９】（第五の実施形態）図１０は、第五の実施
形態の類似度の算出方法を説明する図である。図におい
て、格子点をＧで示し、空格子点をＲＢで示し、補間処
理の対象となる空格子点の座標を（ｉ，ｊ）で示す。な
お、第五の実施形態は、請求項３、請求項５、請求項８
および請求項９に記載の発明に対応した実施形態に相当
する。また、これらの請求項に記載の発明と第五の実施
形態との対応関係については、縦類似度決定手順、横類
似度決定手順、周辺縦類似度決定手順、周辺横類似度決
定手順および類似度決定手順は、類似度算出部１９で行
われる処理に対応し、補間量決定手順は、補間量算出部
２０で行われる処理に対応する。

【００８０】第五の実施形態の特徴は、類似度算出部１
９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）お
よび横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあ
り、他の処理については、第一の実施形態と同様である
ため説明を省略する。

【００８１】類似度算出部１９は、第四の実施形態と同
様に、画像バッファメモリ１６からＲＢ（ｉ，ｊ）、Ｇ
（ｉ，ｊ−１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，
ｊ），Ｇ（ｉ＋１，ｊ）を読み出し、縦類似度Ｃt
（ｉ，ｊ）および横類似度Ｃy（ｉ，ｊ）を Ｃt（ｉ，ｊ）＝ｔ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−
１）｜＋（１−ｔ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋
１）｜ Ｃy（ｉ，ｊ）＝ｙ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，
ｊ）｜＋（１−ｙ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，
ｊ）｜ によって算出する（図示省略）。

【００８２】なお、ｔおよびｙは、「０≦ｔ≦１，０≦
ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．
５」とする。また、類似度算出部１９は、図１０に示す
ように、補間処理の対象となる空格子点に対して斜め方
向に位置する四つの空格子点の色情報の大きさＲＢ（ｉ
−１，ｊ−１）、ＲＢ（ｉ−１，ｊ＋１）、ＲＢ（ｉ＋
１，ｊ−１）、ＲＢ（ｉ＋１，ｊ＋１）を画像バッファ
メモリ１６から読み出す。

【００８３】さらに、類似度算出部１９は、このように
読み出したＲＢ（ｉ−１，ｊ−１）、ＲＢ（ｉ−１，ｊ
＋１）、ＲＢ（ｉ＋１，ｊ−１）、ＲＢ（ｉ＋１，ｊ＋
１）と、既に読み出されているＧ（ｉ，ｊ−１）、Ｇ
（ｉ，ｊ＋１）、Ｇ（ｉ−１，ｊ）、Ｇ（ｉ＋１，ｊ）
とを用いて、周辺縦類似度Ｃtn（ｉ，ｊ）および周辺横
類似度Ｃyn（ｉ，ｊ）を Ｃtn（ｉ，ｊ）＝t1×｜ＲＢ（ｉ−１，ｊ−１）−Ｇ
（ｉ−１，ｊ）｜＋t2×｜ＲＢ（ｉ−１，ｊ＋１）−Ｇ
（ｉ−１，ｊ）｜＋t3×｜ＲＢ（ｉ＋１，ｊ−１）−Ｇ
（ｉ＋１，ｊ）｜＋t4×｜ＲＢ（ｉ＋１，ｊ＋１）−Ｇ
（ｉ＋１，ｊ）｜ Ｃyn（ｉ，ｊ）＝y1×｜ＲＢ（ｉ−１，ｊ−１）−Ｇ
（ｉ，ｊ−１）｜＋y2×｜ＲＢ（ｉ＋１，ｊ−１）−Ｇ
（ｉ，ｊ−１）｜＋y3×｜ＲＢ（ｉ−１，ｊ＋１）−Ｇ
（ｉ，ｊ＋１）｜＋y4×｜ＲＢ（ｉ＋１，ｊ＋１）−Ｇ
（ｉ，ｊ＋１）｜ によって算出する。

【００８４】なお、t1〜t4は定数であり、かつ少なくと
も１つは「０」でなく、y1〜y4は定数であり、かつ少な
くとも１つは「０」でない。また、類似度算出部１９
は、このように算出したＣt（ｉ，ｊ）、Ｃy（ｉ，
ｊ）、Ｃtn（ｉ，ｊ）、Ｃyn（ｉ，ｊ）を用いて、縦方
向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃys
um（ｉ，ｊ）を Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×h
t Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×h
y によって算出する。

【００８５】なお、htおよびhyは、定数であり、例え
ば、「１／２」や「１／４」とする。このように、第五
の実施形態では、補間処理の対象となる空格子点の縦方
向の類似度および横方向の類似度に、補間処理の対象と
なる空格子点および周辺に位置する空格子点の色情報の
大きさを反映することができる。したがって、補間処理
の対象となる空格子点の縦方向の類似度および横方向の
類似度の信頼性を確実に向上させることができるため、
高い精度で補間処理を行うことができる。

【００８６】なお、上述した第四の実施形態および第五
の実施形態では、縦類似度Ｃt（ｉ，ｊ）および横類似
度Ｃy（ｉ，ｊ）を Ｃt（ｉ、ｊ）＝ｔ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−
１）｜＋（１−ｔ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋
１）｜ Ｃy（ｉ，ｊ）＝ｙ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，
ｊ）｜＋（１−ｙ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，
ｊ）｜ によって算出しているが、例えば、縦類似度Ｃt（ｉ，
ｊ）および横類似度Ｃy（ｉ，ｊ）を Ｃt（ｉ，ｊ）＝｜ｔ×Ｇ（ｉ，ｊ−１）＋（１−ｔ）
×Ｇ（ｉ，ｊ＋１）−ＲＢ（ｉ，ｊ）｜ Ｃy（ｉ，ｊ）＝｜ｙ×Ｇ（ｉ−１，ｊ）＋（１−ｙ）
×Ｇ（ｉ＋１，ｊ）−ＲＢ（ｉ，ｊ）｜ によって算出してもよい。

【００８７】（第六の実施形態）図１１は、第六の実施
形態の類似度の算出方法を説明する図である。図におい
て、格子点をＧで示し、空格子点をＲＢで示し、補間処
理の対象となる空格子点の座標を（ｉ，ｊ）で示す。な
お、第六の実施形態は、請求項３、請求項６、請求項８
および請求項９に記載の発明に対応した実施形態に相当
する。また、これらの請求項に記載の発明と第六の実施
形態との対応関係については、縦類似度決定手順、横類
似度決定手順、周辺縦類似度決定手順、周辺横類似度決
定手順および類似度決定手順は、類似度算出部１９で行
われる処理に対応し、補間量決定手順は、補間量算出部
２０で行われる処理に対応する。

【００８８】第六の実施形態の特徴は、類似度算出部１
９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）お
よび横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあ
り、他の処理については、第一の実施形態と同様である
ため説明を省略する。類似度算出部１９は、図１１
（１）に示すように、縦類似度および横類似度を算出す
べき空格子点の座標を（ｉ，ｊ）とした場合、その空格
子点の色情報の大きさと、その空格子点に隣接する格子
点の色情報の大きさを用いて縦類似度および横類似度を
算出する。なお、図１１（１）において、Ｇupは、縦類
似度および横類似度を算出すべき空格子点に対して上方
向に隣接する格子点の色情報の大きさを示し、Ｇdoun
は、下方向に隣接する格子点の色情報の大きさを示し、
Ｇleftは、左方向に隣接する格子点の色情報の大きさを
示し、Ｇrightは、右方向に隣接する格子点の色情報の
大きさを示す。

【００８９】すなわち、類似度算出部１９は、画像バッ
ファメモリ１６からＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−
１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋
１，ｊ）を読み出し、縦類似度Ｃt（ｉ，ｊ）および横
類似度Ｃy（ｉ，ｊ）を Ｃt（ｉ，ｊ）＝ｔ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ−
１）｜＋（１−ｔ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋
１）｜ Ｃy（ｉ，ｊ）＝ｙ×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ−１，
ｊ）｜＋（１−ｙ）×｜ＲＢ（ｉ，ｊ）−Ｇ（ｉ＋１，
ｊ）｜ によって算出する。

【００９０】なお、ｔおよびｙは、「０≦ｔ≦１，０≦
ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．
５」とする。また、類似度算出部１９は、図１１
（２）、（３）に示すように、補間処理の対象となる空
格子点の斜め方向に位置する空格子点の縦類似度および
横類似度を算出し、各縦類似度を加重加算して周辺縦類
似度Ｃtn（ｉ，ｊ）を算出すると共に、各横類似度を加
重加算して周辺横類似度Ｃyn（ｉ，ｊ）を算出する。

【００９１】すなわち、類似度算出部１９は、周辺縦類
似度Ｃtn（ｉ，ｊ）および周辺横類似度Ｃyn（ｉ，ｊ）
を Ｃtn（ｉ，ｊ）＝t1×Ｃｔ（ｉ−１，ｊ−１）＋t2×Ｃ
ｔ（ｉ＋１，ｊ−１）＋t3×Ｃｔ（ｉ＋１，ｊ＋１）＋
t4×Ｃｔ（ｉ−１，ｊ＋１） Ｃyn（ｉ，ｊ）＝y1×Ｃｙ（ｉ−１，ｊ−１）＋y2×Ｃ
ｙ（ｉ＋１，ｊ−１）＋y3×Ｃｙ（ｉ＋１，ｊ＋１）＋
y4×Ｃｙ（ｉ−１，ｊ＋１） によって算出する。

【００９２】なお、t1〜t4は定数であり、かつ少なくと
も１つは「０」でなく、y1〜y4は定数であり、かつ少な
くとも１つは「０」でない。また、類似度算出部１９
は、このように算出したＣt（ｉ，ｊ）、Ｃy（ｉ，
ｊ）、Ｃtn（ｉ，ｊ）、Ｃyn（ｉ，ｊ）を用いて、縦方
向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃys
um（ｉ，ｊ）を Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×h
t Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×h
yによって算出する。

【００９３】なお、htおよびhyは、定数であり、例え
ば、「１／２」や「１／４」とする。このように、第六
の実施形態では、補間処理の対象となる空格子点の縦方
向の類似度および横方向の類似度に、補間処理の対象と
なる空格子点および周辺に位置する空格子点の色情報の
大きさを反映することができる。特に、第六の実施形態
は、このような類似度の算出に際し、第四の実施形態お
よび第五の実施形態と比較して、広範囲に位置する空格
子点の色情報の大きさを用いることができる。

【００９４】したがって、補間処理の対象となる空格子
点の縦方向の類似度および横方向の類似度の信頼性を確
実に向上させることができるため、高い精度で補間処理
を行うことができる。 （第七の実施形態）図１２は、第七の実施形態の類似度
の算出方法を説明する図である。

【００９５】図において、格子点をＧで示し、空格子点
をＲＢで示し、補間処理の対象となる空格子点の座標を
（ｉ，ｊ）で示す。なお、第七の実施形態は、請求項
３、請求項６、請求項８および請求項９に記載の発明に
対応した実施形態に相当する。また、これらの請求項に
記載の発明と第七の実施形態との対応関係については、
縦類似度決定手順、横類似度決定手順、周辺縦類似度決
定手順、周辺横類似度決定手順および類似度決定手順
は、類似度算出部１９で行われる処理に対応し、補間量
決定手順は、補間量算出部２０で行われる処理に対応す
る。

【００９６】第七の実施形態の特徴は、類似度算出部１
９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）お
よび横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあ
り、他の処理については、第一の実施形態と同様である
ため説明を省略する。類似度算出部１９は、図１２
（１）に示すように、縦類似度および横類似度を算出す
べき空格子点の座標を（ｉ，ｊ）とした場合、その空格
子点の色情報の大きさと、その空格子点に隣接する格子
点の色情報の大きさを用いて縦類似度および横類似度を
算出する。

【００９７】すなわち、類似度算出部１９は、画像バッ
ファメモリ１６からＲＢ（ｉ，ｊ）、Ｇ（ｉ，ｊ−
１），Ｇ（ｉ，ｊ＋１），Ｇ（ｉ−１，ｊ），Ｇ（ｉ＋
１，ｊ）を読み出し、縦類似度Ｃt（ｉ，ｊ）および横
類似度Ｃy（ｉ，ｊ）を Ｃt（ｉ，ｊ）＝｜ｔ×Ｇ（ｉ，ｊ−１）＋（１−ｔ）
×Ｇ（ｉ，ｊ＋１）−ＲＢ（ｉ，ｊ）｜ Ｃy（ｉ，ｊ）＝｜ｙ×Ｇ（ｉ−１，ｊ）＋（１−ｙ）
×Ｇ（ｉ＋１，ｊ）−ＲＢ（ｉ，ｊ）｜ によって算出する。

【００９８】なお、ｔおよびｙは、「０≦ｔ≦１，０≦
ｙ≦１」満たす定数であり、ここでは、「ｔ＝ｙ＝０．
５」とする。また、類似度算出部１９は、図１２
（２）、（３）に示すように、補間処理の対象となる空
格子点の斜め方向に位置する空格子点の縦類似度および
横類似度を算出し、各縦類似度を加重加算して周辺縦類
似度Ｃtn（ｉ，ｊ）を算出すると共に、各横類似度を加
重加算して周辺横類似度Ｃyn（ｉ，ｊ）を算出する。

【００９９】すなわち、類似度算出部１９は、周辺縦類
似度Ｃtn（ｉ，ｊ）および周辺横類似度Ｃyn（ｉ，ｊ）
を Ｃtn（ｉ，ｊ）＝t1×Ｃｔ（ｉ−１，ｊ−１）＋t2×Ｃ
ｔ（ｉ＋１，ｊ−１）＋t3×Ｃｔ（ｉ＋１，ｊ＋１）＋
t4×Ｃｔ（ｉ−１，ｊ＋１） Ｃyn（ｉ，ｊ）＝y1×Ｃｙ（ｉ−１，ｊ−１）＋y2×Ｃ
ｙ（ｉ＋１，ｊ−１）＋y3×Ｃｙ（ｉ＋１，ｊ＋１）＋
y4×Ｃｙ（ｉ−１，ｊ＋１） によって算出する。

【０１００】なお、t1〜t4は定数であり、かつ少なくと
も１つは「０」でなく、y1〜y4は定数であり、かつ少な
くとも１つは「０」でない。また、類似度算出部１９
は、このように算出したＣt（ｉ，ｊ）、Ｃy（ｉ，
ｊ）、Ｃtn（ｉ，ｊ）、Ｃyn（ｉ，ｊ）を用いて、縦方
向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃys
um（ｉ，ｊ）を Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×h
t Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×h
y によって算出する。

【０１０１】なお、htおよびhyは、定数であり、例え
ば、「１／２」や「１／４」とする。このように、第七
の実施形態では、補間処理の対象となる空格子点の縦方
向の類似度および横方向の類似度に、補間処理の対象と
なる空格子点および周辺に位置する空格子点の色情報の
大きさを反映することができる。特に、第七の実施形態
は、このような類似度の算出に際し、第四の実施形態お
よび第五の実施形態と比較して、広範囲に位置する空格
子点の色情報の大きさを用いることができる。

【０１０２】したがって、補間処理の対象となる空格子
点の縦方向の類似度および横方向の類似度の信頼性を確
実に向上させることができるため、高い精度で補間処理
を行うことができる。 （第八の実施形態）図１３は、第八の実施形態の類似度
の算出方法を説明する図である。

【０１０３】図において、格子点をＧで示し、空格子点
をＲＢで示し、補間処理の対象となる空格子点の座標を
（ｉ，ｊ）で示す。なお、第八の実施形態は、請求項
３、請求項７、請求項８および請求項９に記載の発明に
対応した実施形態に相当する。また、これらの請求項に
記載の発明と第八の実施形態との対応関係については、
縦類似度決定手順、横類似度決定手順、周辺縦類似度決
定手順、周辺横類似度決定手順および類似度決定手順
は、類似度算出部１９で行われる処理に対応し、補間量
決定手順は、補間量算出部２０で行われる処理に対応す
る。

【０１０４】第八の実施形態の特徴は、類似度算出部１
９によって行われる縦方向の類似度Ｃtsum（ｉ，ｊ）お
よび横方向の類似度Ｃysum（ｉ，ｊ）の算出方法にあ
り、他の処理については、第一の実施形態と同様である
ため説明を省略する。類似度算出部１９は、図１１
（１）または図１２（１）に示すように、縦類似度およ
び横類似度を算出すべき空格子点の座標を（ｉ，ｊ）と
した場合、その空格子点の色情報の大きさと、その空格
子点に隣接する格子点の色情報の大きさを用いて縦類似
度および横類似度を算出する（詳細は、上述した第六の
実施形態および第七の実施形態と同じ）。

【０１０５】また、類似度算出部１９は、図１３に示す
ように、補間処理の対象となる空格子点に対し、斜め方
向に位置する空格子点の縦類似度および横類似度と、上
下左右方向に最近接する空格子点の縦類似度および横類
似度とを算出し、各縦類似度を加重加算して周辺縦類似
度Ｃtn（ｉ，ｊ）を算出すると共に、各横類似度を加重
加算して周辺横類似度Ｃyn（ｉ，ｊ）を算出する。

【０１０６】すなわち、類似度算出部１９は、周辺縦類
似度Ｃtn（ｉ，ｊ）および周辺横類似度Ｃyn（ｉ，ｊ）
を Ｃtn（ｉ，ｊ）＝t1×Ｃｔ（ｉ−１，ｊ−１）＋t2×Ｃ
ｔ（ｉ＋１，ｊ−１）＋t3×Ｃｔ（ｉ＋１，ｊ＋１）＋
t4×Ｃｔ（ｉ−１，ｊ＋１）＋t5×Ｃｔ（ｉ，ｊ−２）
＋t6×Ｃｔ（ｉ＋２，ｊ）＋t7×Ｃｔ（ｉ，ｊ＋２）＋
t8×Ｃｔ（ｉ−２，ｊ） Ｃyn（ｉ，ｊ）＝y1×Ｃｙ（ｉ−１，ｊ−１）＋y2×Ｃ
ｙ（ｉ＋１，ｊ−１）＋y3×Ｃｙ（ｉ＋１，ｊ＋１）＋
y4×Ｃｙ（ｉ−１，ｊ＋１）＋y5×Ｃｔ（ｉ，ｊ−２）
＋y6×Ｃｔ（ｉ＋２，ｊ）＋y7×Ｃｔ（ｉ，ｊ＋２）＋
y8×Ｃｔ（ｉ−２，ｊ） によって算出する。

【０１０７】なお、t1〜t8は定数であり、かつ少なくと
も１つは「０」でなく、y1〜y8は定数であり、かつ少な
くとも１つは「０」でない。また、類似度算出部１９
は、このように算出したＣt（ｉ，ｊ）、Ｃy（ｉ，
ｊ）、Ｃtn（ｉ，ｊ）、Ｃyn（ｉ，ｊ）を用いて、縦方
向の類似度Ｃtsum（ｉ，ｊ）および横方向の類似度Ｃys
um（ｉ，ｊ）を Ｃtsum（ｉ，ｊ）＝Ｃt（ｉ，ｊ）＋Ｃtn（ｉ，ｊ）×h
t Ｃysum（ｉ，ｊ）＝Ｃy（ｉ，ｊ）＋Ｃyn（ｉ，ｊ）×h
y によって算出する。

【０１０８】なお、htおよびhyは、定数であり、例え
ば、「１／２」や「１／４」とする。このように、第八
の実施形態では、補間処理の対象となる空格子点の縦方
向の類似度および横方向の類似度に、補間処理の対象と
なる空格子点および周辺に位置する空格子点の色情報の
大きさを反映することができる。特に、第八の実施形態
は、このような類似度の算出に際し、第六の実施形態お
よび第七の実施形態と比較して、広範囲に位置する空格
子点の色情報の大きさを用いることができる。

【０１０９】したがって、補間処理の対象となる空格子
点の縦方向の類似度および横方向の類似度の信頼性を確
実に向上させることができるため、高い精度で補間処理
を行うことができる。なお、本実施形態では、周辺縦類
似度および周辺横類似度の算出に際し、補間処理の対象
となる空格子点に斜め方向に位置する空格子点と上下左
右方向に最近接する空格子点との縦類似度および横類似
度を用いているが、請求項３に記載の発明は、このよう
な空格子点に限定されず、補間処理の対象となる空格子
点の周辺に位置する空格子点であれば、如何なる範囲に
位置する空格子点の縦類似度および横類似度を用いても
よい。

【０１１０】

【発明の効果】上述したように請求項１に記載の発明で
は、補間処理の対象となる空格子点の縦方向の類似度お
よび横方向の類似度の決定に際し、該空格子点に隣接す
る格子点の色情報の大きさだけでなく、該空格子点の色
情報の大きさを用いる。また、請求項２に記載の発明で
は、補間処理の対象となる空格子点の縦方向の類似度お
よび横方向の類似度の決定に際し、該空格子点の色情報
の大きさと、該空格子点に対して斜め方向の少なくとも
一方に位置する空格子点の色情報の大きさと、補間処理
の対象となる空格子点および該空格子点に対して斜め方
向の少なくとも一方に位置する空格子点に隣接する格子
点の色情報とを用いる。

【０１１１】さらに、請求項３ないし請求項７に記載の
発明では、補間処理の対象となる空格子点の縦方向の類
似度および横方向の類似度の決定に際し、縦類似度およ
び横類似度と共に、周辺縦類似度および周辺横類似度を
用いる。したがって、請求項１ないし請求項７に記載の
発明によれば、補間処理の対象となる空格子点に隣接す
る格子点の色情報の大きさのみを用いて該空格子点の縦
方向の類似度および横方向の類似度を決定する場合と比
較して、該空格子点の縦方向の類似度および横方向の類
似度を高い精度で求めることができる。

【０１１２】特に、請求項３ないし請求項７に記載の発
明では、補間処理の対象となる空格子点の周辺部分の画
像の特徴を反映しつつ、該空格子点の縦方向の類似度お
よび横方向の類似度を決定できるため、画像の特徴が局
所的には現れない場合であっても、縦方向の類似度およ
び横方向の類似度の精度を確実に向上することができ
る。

【０１１３】請求項８に記載の発明では、空格子点の縦
方向の類似度または横方向の類似度の何れか一方が突出
している場合には、その方向に隣接する二つの格子点の
画素出力の平均値を空格子点の補間量とすることができ
る。したがって、空格子点の縦方向の類似度および横方
向の類似度を確実に反映しつつ、空格子点の補間量を決
定することができる。

【０１１４】請求項９および請求項１０に記載の発明で
は、空格子点の縦方向の類似度および横方向の類似度が
近似する場合であっても、各類似度を確実に反映しつ
つ、空格子点の補間量を算出することができる。したが
って、請求項１ないし請求項１０に記載の発明によれ
ば、補間処理の対象となる空格子点の空間的な類似度を
的確に推定することによって、補間処理の信頼性を確実
に向上することができる。

【０１１５】なお、本発明は無彩色に近い画像で非常に
有効であるが、自然画像のように異なる色同士の相関が
大きい場合には、無彩色に近い画像に限らず、カラー画
像であっても同様の効果が得られる。

【図面の簡単な説明】

【図１】電子カメラの機能ブロック図である。

【図２】格子点の色情報と空格子点の補間量とを示す図
である。

【図３】第一の実施形態の動作フローチャートである。

【図４】第一の実施形態の補間処理の動作フローチャー
トである。

【図５】第一の実施形態の類似度の算出方法を説明する
図である。

【図６】ｆ（ｘ）のグラフの形状を示す図である。

【図７】第二の実施形態の類似度の算出方法を説明する
図である。

【図８】第三の実施形態の類似度の算出方法を説明する
図である。

【図９】第四の実施形態の類似度の算出方法を説明する
図である。

【図１０】第五の実施形態の類似度の算出方法を説明す
る図である。

【図１１】第六の実施形態の類似度の算出方法を説明す
る図である。

【図１２】第七の実施形態の類似度の算出方法を説明す
る図である。

【図１３】第八の実施形態の類似度の算出方法を説明す
る図である。

【図１４】撮像素子の構成を示す図である。

【図１５】従来の補間処理を説明する図である。

【図１６】縦縞上の画像の例を示す図である。

【図１７】色情報の大きさの例を示す図である。

【符号の説明】

１０ 制御部 １１ 撮影光学系 １２ ＯＬＰＦ １３ 撮像素子 １４ Ａ／Ｄ変換部 １５ 階調変換部 １６ 画像バッファメモリ １７ 信号処理部 １８ 補間処理部 １９ 類似度算出部 ２０ 補間量算出部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｈ０４Ｎ 1/46 Ｚ

Claims (10)

【特許請求の範囲】
1. 【請求項１】 予め決められた色を出力する格子点と該
   色を出力しない空格子点とが市松模様状に配された画像
   の補間処理方法において、 補間処理の対象となる空格子点の色情報の大きさと、該
   空格子点に対して縦方向の少なくとも一方に隣接する格
   子点の色情報の大きさとを用いて、該空格子点の縦方向
   の類似度を決定する縦方向類似度決定手順と、 補間処理の対象となる空格子点の色情報の大きさと、該
   空格子点に対して横方向の少なくとも一方に隣接する格
   子点の色情報の大きさとを用いて、該空格子点の横方向
   の類似度を決定する横方向類似度決定手順と、 前記縦方向の類似度および前記横方向の類似度に応じて
   補間処理の対象となる空格子点に対して類似性が強い方
   向に隣接する格子点の色情報の大きさを選択、もしくは
   該空格子点に対して縦方向および横方向に位置する格子
   点の色情報の大きさを該類似度に応じて加重加算するこ
   とによって、該空格子点の補間量を決定する補間量決定
   手順とを備えたことを特徴とする補間処理方法。
2. 【請求項２】 予め決められた色を出力する格子点と該
   色を出力しない空格子点とが市松模様状に配された画像
   の補間処理方法において、 補間処理の対象となる空格子点の色情報の大きさと、該
   空格子点に対して斜め方向の少なくとも一方に位置する
   空格子点の色情報の大きさと、補間処理の対象となる空
   格子点および該空格子点に対して斜め方向の少なくとも
   一方に位置する空格子点に隣接する格子点の色情報とを
   用いて、補間処理の対象となる空格子点の縦方向の類似
   度および横方向の類似度を決定する類似度決定手順と、 前記縦方向の類似度および前記横方向の類似度に応じて
   補間処理の対象となる空格子点に対して類似性が強い方
   向に隣接する格子点の色情報の大きさを選択、もしくは
   該空格子点に対して縦方向および横方向に位置する格子
   点の色情報の大きさを該類似度に応じて加重加算するこ
   とによって、該空格子点の補間量を決定する補間量決定
   手順とを備えたことを特徴とする補間処理方法。
3. 【請求項３】 予め決められた色を出力する格子点と該
   色を出力しない空格子点とが市松模様状に配された画像
   の補間処理方法において、 補間処理の対象となる空格子点の色情報の大きさと、該
   空格子点に対して縦方向の少なくとも一方に隣接する格
   子点の色情報の大きさとを用いて、該空格子点と当該格
   子点との類似度を示す縦類似度を決定する縦類似度決定
   手順と、 補間処理の対象となる空格子点の色情報の大きさと、該
   空格子点に対して横方向の少なくとも一方に隣接する格
   子点の色情報の大きさとを用いて、該空格子点と当該格
   子点との類似度を示す横類似度を決定する横類似度決定
   手順と、 補間処理の対象となる空格子点の周辺に位置する格子点
   の色情報の大きさと、該空格子点の周辺に位置する空格
   子点の色情報の大きさとを用いて、周辺に位置する空格
   子点の縦方向の類似度を示す周辺縦類似度を決定する周
   辺縦類似度決定手順と、 補間処理の対象となる空格子点の周辺に位置する格子点
   の色情報の大きさと、該空格子点の周辺に位置する空格
   子点の色情報の大きさとを用いて、周辺に位置する空格
   子点の横方向の類似度を示す周辺横類似度を決定する周
   辺横類似度決定手順と、 前記縦類似度および前記周辺縦類似度に基づき、補間処
   理の対象となる空格子点の縦方向の類似度を決定すると
   共に、前記横類似度および前記周辺横類似度に基づき、
   該空格子点の横方向の類似度を決定する類似度決定手順
   と、 前記縦方向の類似度および前記横方向の類似度に応じて
   補間処理の対象となる空格子点に対して類似性が強い方
   向に隣接する格子点の色情報の大きさを選択、もしくは
   該空格子点に対して縦方向および横方向に位置する格子
   点の色情報の大きさを該類似度に応じて加重加算するこ
   とによって、該空格子点の補間量を決定する補間量決定
   手順とを備えたことを特徴とする補間処理方法。
4. 【請求項４】 請求項３に記載の補間処理方法におい
   て、 前記周辺縦類似度決定手順は、 補間処理の対象となる空格子点に対して横方向の少なく
   とも一方に隣接する格子点の色情報の大きさと、当該格
   子点に対して補間処理の対象となる空格子点とは反対方
   向に隣接する空格子点の色情報の大きさとを用いて周辺
   横類似度を決定し、 前記周辺横類似度決定手順は、 補間処理の対象となる空格子点に対して横方向の少なく
   とも一方に隣接する格子点の色情報の大きさと、当該格
   子点に対して補間処理の対象となる空格子点とは反対方
   向に隣接する空格子点の色情報の大きさとを用いて周辺
   横類似度を決定することを特徴とする補間処理方法。
5. 【請求項５】 請求項３に記載の補間処理方法におい
   て、 前記周辺縦類似度決定手順は、 補間処理の対象となる空格子点に対して横方向の少なく
   とも一方に隣接する格子点の色情報の大きさと、当該格
   子点に対して縦方向の少なくとも一方に隣接する空格子
   点の色情報の大きさとを用いて周辺縦類似度を決定し、 前記周辺横類似度決定手順は、 補間処理の対象となる空格子点に対して縦方向の少なく
   とも一方に隣接する格子点の色情報の大きさと、当該格
   子点に対して横方向の少なくとも一方に隣接する空格子
   点の色情報の大きさとを用いて周辺横類似度を決定する
   ことを特徴とする補間処理方法。
6. 【請求項６】 請求項３に記載の補間処理方法におい
   て、 前記周辺縦類似度決定手順は、 補間処理の対象となる空格子点に対して斜め方向の少な
   くとも一方に位置する空格子点の色情報の大きさと、斜
   め方向に位置する空格子点に対して縦方向の少なくとも
   一方に隣接する格子点の色情報の大きさとを用いて周辺
   縦類似度を決定し、 前記周辺横類似度決定手順は、 補間処理の対象となる空格子点に対して斜め方向の少な
   くとも一方に位置する空格子点の色情報の大きさと、斜
   め方向に位置する空格子点に対して横方向の少なくとも
   一方に隣接する格子点の色情報の大きさとを用いて周辺
   縦類似度を決定することを特徴とする補間処理方法。
7. 【請求項７】 請求項３に記載の補間処理方法におい
   て、 前記周辺縦類似度決定手順は、 補間処理の対象となる空格子点に対して上下左右方向と
   斜め方向とを含む８方向の少なくとも一方に位置する空
   格子点の色情報の大きさと、８方向の少なくとも一方に
   位置する空格子点に対して縦方向の少なくとも一方に隣
   接する格子点の色情報の大きさとを用いて周辺縦類似度
   を決定し、 前記周辺横類似度決定手順は、 補間処理の対象となる空格子点に対して上下左右方向と
   斜め方向とを含む８方向の少なくとも一方に位置する空
   格子点の色情報の大きさと、８方向の少なくとも一方に
   位置する空格子点に対して横方向の少なくとも一方に隣
   接する格子点の色情報の大きさとを用いて周辺縦類似度
   を決定することを特徴とする補間処理方法。
8. 【請求項８】 請求項１ないし請求項７の何れか１項に
   記載の補間処理方法において、 前記補間量決定手順は、 前記縦方向の類似度および前記横方向の類似度につい
   て、何れか一方の類似度が突出する場合、その類似度を
   示す方向に隣接する２つの格子点の色情報の大きさの平
   均値を補間量とし、双方の類似度が近似する場合、該平
   均値を算出する以外の方法で補間量を決定することを特
   徴とする補間処理方法。
9. 【請求項９】 請求項８に記載の補間処理方法におい
   て、 前記補間量決定手順は、 前記縦方向の類似度および前記横方向の類似度が近似す
   る場合、各類似度に対応する重み係数に基づいて該空格
   子点の補間量を決定することを特徴とする補間処理方
   法。
10. 【請求項１０】 請求項８に記載の補間処理方法におい
    て、 前記補間量決定手順は、 前記縦方向の類似度および前記横方向の類似度が近似す
    る場合、補間処理の対象となる空格子点に隣接する４つ
    の格子点の色情報の大きさのメディアンによって該空格
    子点の補間量を決定することを特徴とする補間処理方
    法。