JPH10112844A

JPH10112844A - 画像処理装置および画像処理方法

Info

Publication number: JPH10112844A
Application number: JP26422096A
Authority: JP
Inventors: Hideo Nakaya; 秀雄中屋; Tetsujiro Kondo; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-10-04
Filing date: 1996-10-04
Publication date: 1998-04-28
Anticipated expiration: 2016-10-04
Also published as: JP3796844B2

Abstract

(57)【要約】【課題】高解像度の画像を、容易に得ることができる
ようにする。【解決手段】標準解像度の画像を間引いて得られる画
像を構成する画素（間引きＳＤ画素）（図２において、
点線の○印で示す）Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，Ｃ₂₂，Ｃ
₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃を学習データとするとともに、標
準解像度の画像を構成する画素（ＳＤ画素）（図２にお
いて、実線の○印で示す）Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ
₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄を教師データとして学習を
行い、これにより、予測係数を求め、その予測係数を用
い、ＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ
₄₂，Ｂ₄₃，Ｂ₄₄から、高解像度の画像を構成する画素
（図２において、・印で示す）Ａ₄₃，Ａ₄₄，Ａ₄₅，
Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅の予測値を予測す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法に関し、特に、例えば、標準解像度の画
像を、高解像度の画像に変換する場合などに用いて好適
な画像処理装置および画像処理方法に関する。

【０００２】

【従来の技術】例えば、標準解像度または低解像度の画
像（以下、適宜、ＳＤ画像という）を、高解像度の画像
（以下、適宜、ＨＤ画像という）に変換したり、また、
画像を拡大したりする場合においては、いわゆる補間フ
ィルタなどによって、不足している画素の画素値の補間
（補償）が行われるようになされている。

【０００３】

【発明が解決しようとする課題】しかしながら、補間フ
ィルタによって画素の補間を行っても、ＳＤ画像に含ま
れていない、ＨＤ画像の成分（高周波成分）を復元する
ことはできないため、高解像度の画像を得ることは困難
であった。

【０００４】本発明は、このような状況に鑑みてなされ
たものであり、容易に、高解像度の画像を得ることがで
きるようにするものである。

【０００５】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、所定の予測係数が、第１の画像の所定の画素
の画素値を、第１の画像における所定のブロックを構成
する画素の画素値に基づいて算出することができるよう
に、学習が行われることにより求められたものであり、
適応処理手段が、所定のブロックより小さい小ブロック
に対して、所定の予測係数を用いて適応処理を施すこと
を特徴とする。

【０００６】請求項４に記載の画像処理方法は、所定の
予測係数が、第１の画像の所定の画素の画素値を、第１
の画像における所定のブロックを構成する画素の画素値
に基づいて算出することができるように、学習が行われ
ることにより求められたものであり、適応処理手段に、
所定のブロックより小さい小ブロックに対して、所定の
予測係数を用いて適応処理を施させることを特徴とす
る。

【０００７】請求項１に記載の画像処理装置において
は、所定の予測係数が、第１の画像の所定の画素の画素
値を、第１の画像における所定のブロックを構成する画
素の画素値に基づいて算出することができるように、学
習が行われることにより求められたものであり、適応処
理手段が、所定のブロックより小さい小ブロックに対し
て、所定の予測係数を用いて適応処理を施すようになさ
れている。

【０００８】請求項４に記載の画像処理方法において
は、所定の予測係数が、第１の画像の所定の画素の画素
値を、第１の画像における所定のブロックを構成する画
素の画素値に基づいて算出することができるように、学
習が行われることにより求められたものであり、適応処
理手段に、所定のブロックより小さい小ブロックに対し
て、所定の予測係数を用いて適応処理を施させるように
なされている。

【０００９】

【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態（但
し、一例）を付加して、本発明の特徴を記述すると、次
のようになる。

【００１０】即ち、請求項１に記載の画像処理装置は、
第１の画像と、所定の予測係数との線形結合により、第
２の画像の画素値の予測値を求める適応処理を行う適応
処理手段（例えば、図１に示す予測回路６や、図１３に
示す予測回路９６など）を備える画像処理装置であっ
て、所定の予測係数が、第１の画像の所定の画素の画素
値を、第１の画像における所定のブロックを構成する画
素の画素値に基づいて算出することができるように、学
習が行われることにより求められたものであり、適応処
理手段が、所定のブロックより小さい小ブロックに対し
て、所定の予測係数を用いて適応処理を施すことを特徴
とする。

【００１１】請求項２に記載の画像処理装置は、第１の
画像を、その性質に応じて複数のクラスに分類するクラ
ス分類手段（例えば、図１や図１３に示すクラス分類回
路４など）をさらに備え、所定の予測係数が、クラスご
とに求められており、適応処理手段が、第１の画像のク
ラスに対応する所定の予測係数を用いて適応処理を行う
ことを特徴とする。

【００１２】請求項３に記載の画像処理装置は、学習を
行う学習手段（例えば、図１３に示す学習回路９４な
ど）と、学習手段による学習の結果得られる所定の予測
係数を記憶する記憶手段（例えば、図１３に示す係数Ｒ
ＡＭ９５など）とをさらに備え、適応処理手段が、記憶
手段に記憶された所定の予測係数を用いて適応処理を行
うことを特徴とする。

【００１３】請求項４に記載の画像処理方法は、第１の
画像と、所定の予測係数との線形結合により、第２の画
像の画素値の予測値を求める適応処理を行う適応処理手
段（例えば、図１に示す予測回路６や、図１３に示す予
測回路９６など）を備える画像処理装置の画像処理方法
であって、所定の予測係数が、第１の画像の所定の画素
の画素値を、第１の画像における所定のブロックを構成
する画素の画素値に基づいて算出することができるよう
に、学習が行われることにより求められたものであり、
適応処理手段に、所定のブロックより小さい小ブロック
に対して、所定の予測係数を用いて適応処理を施させる
ことを特徴とする。

【００１４】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。

【００１５】図１は、本発明を適用した画像変換装置の
一実施の形態の構成を示している。なお、この画像変換
装置は、ＳＤ画像（第１の画像）をＨＤ画像（第２の画
像）に変換するようになされている。即ち、例えば、い
ま、図２において・印で示す部分を、ＨＤ画像を構成す
る画素（以下、適宜、ＨＤ画素という）とするととも
に、同図において○印で示す部分を、ＳＤ画像を構成す
る画素（以下、適宜、ＳＤ画素という）とするとき、図
１の画像変換装置は、同図に○印で示すＳＤ画像を、同
図に・印で示すＨＤ画像に変換するようになされてい
る。

【００１６】例えば、地上回線や、衛星回線、ＣＡＴＶ
（CAble TeleVision）網などの伝送路を介して伝送さ
れ、または、例えば、光ディスクや、光磁気ディスク、
磁気テープなどの記録媒体から再生されたＳＤ画像の画
像信号は、クラス分類用ブロック化回路１および予測値
計算用ブロック化回路５に供給される。

【００１７】クラス分類用ブロック化回路１は、そこに
供給されるＳＤ画像から、所定の注目画素を含むクラス
分類用ブロックを構成する。即ち、クラス分類用ブロッ
ク化回路１は、例えば、図２において実線で囲んで示す
ような、注目画素を中心とする５×５（横×縦）のＳＤ
画素で構成されるクラス分類用ブロックを構成する。

【００１８】ここで、クラス分類用ブロックを構成する
５×５のＳＤ画素（図２において○印で示す部分）を、
以下、適宜、次のように表記する。即ち、クラス分類用
ブロックの中の左からｉ番目の、上からｊ番目に位置す
るＳＤ画素を、Ｂ_ijと表記する。従って、図２の実施の
形態では、クラス分類用ブロックは、ＳＤ画素Ｂ₃₃を注
目画素として構成されることになる。また、クラス分類
用ブロックを構成するＳＤ画素から生成されるＨＤ画素
（図２において・印で示す部分）を、以下、適宜、ＳＤ
画素と同様に、Ａ_ijと表記する。

【００１９】クラス分類用ブロック化回路１は、クラス
分類用ブロックを構成すると、それを、間引き回路２お
よび縮小回路３に出力する。

【００２０】間引き回路２は、クラス分類用ブロックを
受信すると、そのクラス分類用ブロックを構成するＳＤ
画素を、例えば、間引くことなどにより、その画素数を
少なくし、これにより、間引きブロックを構成する。即
ち、間引き回路２は、クラス分類用ブロックを、例え
ば、水平方向および垂直方向とも１／２に間引くことに
より、間引きブロック（圧縮画像）を構成する。この間
引きブロックは、クラス分類回路４に供給される。

【００２１】ここで、間引き回路２による間引き処理の
結果残った、クラス分類用ブロック内の画素（図２にお
いて、点線の○印で示す部分）、即ち、間引きブロック
を構成する画素を、以下、適宜、間引きＳＤ画素とい
い、また、この間引きＳＤ画素を、ＳＤ画素およびＨＤ
画素と同様に、Ｃ_ijと表記する。

【００２２】一方、縮小回路３では、クラス分類用ブロ
ックを、注目画素を中心として縮小した縮小ブロックが
構成される。即ち、縮小回路３では、５×５画素のクラ
ス分類用ブロックから、その周辺の画素が取り除かれ、
例えば、注目画素Ｂ₃₃を中心とする３×３画素でなる縮
小ブロック（圧縮画像）が構成される。この縮小ブロッ
クも、間引きブロックと同様に、クラス分類回路４に供
給される。

【００２３】ここで、間引きブロックおよび縮小ブロッ
クは、いずれもクラス分類用ブロックの画素数を少なく
することにより生成されるものであり、また、画素数を
少なくするということは、情報量が減少するので、この
意味で、間引きブロックおよび縮小ブロックは圧縮画像
ということができる。

【００２４】クラス分類回路４は、間引きブロックおよ
び縮小ブロックを受信すると、その２つのブロックを用
いてクラス分類を行い、その結果得られるクラスを表す
インデックスを、後述する予測値計算用ブロック化回路
５が出力する予測値計算用ブロックのクラスに対するも
のとして、予測回路６に供給する。

【００２５】予測回路６には、また、予測値計算用ブロ
ック化回路５から予測値計算用ブロックが供給される。
予測値計算用ブロック化回路５では、例えば、図２にお
いて点線の四角形で囲むような、注目画素Ｂ₃₃を中心と
する３×３画素の予測値計算用ブロックが構成され、予
測回路６に供給される。

【００２６】従って、本実施の形態では、予測値計算用
ブロックと縮小ブロックとは、同一のＳＤ画素で構成さ
れることとなるが、両者を構成するＳＤ画素は、同一に
する必要はない。即ち、縮小ブロックは、上述したよう
に、クラス分類用ブロックを、注目画素を中心として縮
小したものであれば良く、予測値計算用ブロックは、そ
の特徴がクラス分類用ブロックに含まれるように構成す
れば良い（正確には、予測値計算用ブロックは、どのよ
うに構成しても良く、クラス分類用ブロックは、予測値
計算用ブロックの特徴が含まれるように構成する必要が
ある）。

【００２７】予測回路６は、予測値計算用ブロックと、
そのクラスに対応するインデックスを受信すると、後述
するような予測係数であって、受信したインデックスに
対応するものと、予測値計算用ブロックを構成するＳＤ
画素の画素値との線形結合により、ＨＤ画素の画素値の
予測値を求める適応処理を行う。即ち、予測回路６は、
インデックスに対応する予測係数と、予測値計算用ブロ
ックを構成するＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，
Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄とから、例えば、注目画
素Ｂ₃₃を中心とする３×３の範囲のＨＤ画素Ａ₄₃，
Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅の予
測値を求める。

【００２８】予測回路６では、以下同様の処理が、画素
Ｂ₃₃以外のＳＤ画素も、順次、注目画素として行われ、
ＨＤ画像を構成するすべてのＨＤ画素の予測値が求めら
れると、その予測値はモニタ７に供給される。モニタ７
は、例えば、Ｄ／Ａ変換器を内蔵しており、予測回路６
からのディジタル信号としての画素値をＤ／Ａ変換し、
そのＤ／Ａ変換の結果得られる画像を表示する。

【００２９】次に、図３は、図１のクラス分類回路４の
構成例を示している。

【００３０】間引き回路２からの間引きブロックは、第
１クラス生成回路１１に供給され、縮小回路３からの縮
小ブロック（上述したように、ここでは、図２に点線の
四角で囲んだ予測値計算用ブロックと同一）は、第１ク
ラス生成回路１１および第２クラス生成回路１２の両方
に供給される。

【００３１】第１クラス生成回路１１では、縮小ブロッ
クと、間引きブロックとに基づいて、クラス分類用ブロ
ックの自己相似性（縮小ブロックと間引きブロックとの
間の相似性）が算出され、その自己相似性に基づいて、
予測値計算用ブロックをクラス分類するための第１クラ
ス情報が出力される。

【００３２】この自己相似性に基づいて得られた第１ク
ラス情報は、第２クラス生成回路１２および最終クラス
決定回路１３に供給される。

【００３３】第２クラス生成回路１２は、第１クラス情
報生成回路１１からの第１クラス情報に基づいて、自己
相似性が最も高い方向を認識する。さらに、第２クラス
生成回路１２は、縮小ブロックを構成する画素のうち、
自己相似性が最も高い方向に並んだものの画素値のパタ
ーンを検出し、そのパターンに対応する第２クラス情報
を、最終クラス決定回路１３に出力する。最終クラス決
定回路１３では、第１クラス生成回路１１または第２ク
ラス生成回路１２それぞれからの第１クラス情報または
第２クラス情報に基づいて、予測値計算用ブロックがク
ラス分類され、そのクラスに対応するインデックスが、
予測回路６（図１）に出力される。

【００３４】次に、図４は、図３の第１クラス生成回路
１１の構成例を示している。

【００３５】間引きブロックおよび縮小ブロックは、相
似性算出部２１₁乃至２１₄に供給される。相似性算出部
２１₁は、画素抽出部２６Ｂおよび２６Ｃ、並びにノル
ム計算部２７から構成されており、縮小ブロックまたは
間引きブロックは、画素抽出部２６Ｂまたは２６Ｃにそ
れぞれ供給される。

【００３６】画素抽出部２６Ｂは、縮小ブロックを構成
するＳＤ画素（図２）Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，
Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄のうちの、注目画素Ｂ₃₃を通る
所定の方向の直線上にあるものを抽出する。即ち、画素
抽出部２６Ｂは、注目画素Ｂ₃₃を通る、例えば、垂直方
向の直線上にあるＳＤ画素Ｂ₂₃，Ｂ₃₃，Ｂ₄₃を抽出す
る。この抽出されたＳＤ画素Ｂ₂₃，Ｂ₃₃，Ｂ₄₃は、ノル
ム計算部２７に出力される。

【００３７】一方、画素抽出部２６Ｃは、間引きブロッ
クを構成する間引きＳＤ画素（図２）Ｃ₁₁，Ｃ₁₂，
Ｃ₁₃，Ｃ₂₁，Ｃ₂₂，Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃のうちの、
注目画素Ｂ₃₃に対応する間引きＳＤ画素Ｃ₂₂を通る、画
素抽出部２６Ｂにおける場合と同一方向の直線上にある
ものを抽出する。従って、この場合、画素抽出部２６Ｂ
では、間引きＳＤ画素Ｃ₁₂，Ｃ₂₂，Ｃ₃₂が抽出される。
この抽出された間引きＳＤ画素Ｃ₁₂，Ｃ₂₂，Ｃ₃₂は、や
はり、ノルム計算部２７に出力される。

【００３８】ノルム計算部２７は、画素抽出部２６Ｂま
たは２６Ｃそれぞれの出力を成分とするベクトルどうし
のノルムを計算し、その計算結果を、上述の垂直方向に
おける自己相似性として、最大相似性方向判定部２２に
出力する。

【００３９】相似性算出部２１₂乃至２２₄においても、
相似性算出部２１₁における場合と同様にして、注目画
素を通る、その他の方向の直線上にある画素を用いてベ
クトルのノルムが計算され、その方向における自己相似
性として、最大相似性方向判定部２２に出力される。即
ち、相似性算出部２１₂乃至２２₄では、例えば、水平方
向、左斜め上方向（右斜め下方向）、または右斜め上方
向（左斜め下方向）それぞれにおける自己相似性が求め
られ、最大相似性方向判定部２２に出力される。

【００４０】最大相似性方向判定部２２は、相似性算出
部２１₁乃至２１₄の出力に基づいて、自己相似性の最も
高い方向が判定される。即ち、いまの場合、自己相似性
は、ベクトルのノルムで与えられているから、最大相似
性方向判定部２２は、その値の最も小さいものを検出
し、そのノルムが得られた方向を、自己相似性の最も高
い方向として判定する。最大相似性方向判定部２２は、
このようにして自己相似性の最も高い方向を得ると、そ
の方向に対応する、例えば、２ビットのコードなどを第
１クラス情報として出力する。即ち、最大相似性方向判
定部２２は、最も自己相似性の高い方向が、水平方向、
垂直方向、左斜め上方向、または右斜め上方向である場
合、第１クラス情報として、例えば、「００」、「０
１」、「１０」、または「１１」などをそれぞれ出力す
る。

【００４１】なお、上述の場合においては、各方向の自
己相似性の評価量として、画素値を成分とするベクトル
のノルムを用いるようにしたが、その他の値を自己相似
性（以下、適宜、単に、相似性ともいう）の評価量とし
て用いることも可能である。

【００４２】即ち、例えば、縮小ブロックを構成するＳ
Ｄ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ
₄₃，Ｂ₄₄から、その縮小ブロック内に存在しない、間引
きブロックの間引きＳＤ画素Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，
Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃を外挿により求め、その外挿結
果と、真の間引きＳＤ画素Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，Ｃ
₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃の画素値との誤差を算出する。そ
して、この誤差を相似性の評価量とし、誤差の最も少な
い方向を、最も高い相似性の方向とすることができる。

【００４３】また、例えば、間引きブロックを構成する
間引きＳＤ画素（図２）Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，
Ｃ₂₂，Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃から、その間引きブロッ
ク内に存在しない、縮小ブロックのＳＣ画素Ｂ₂₂，
Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄を内挿によ
り求め、その内挿結果と、真のＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ
₂₄，Ｂ₃₂，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄の画素値との誤差を
算出する。そして、この誤差を相似性の評価量とし、誤
差の最も少ない方向を、最も高い相似性の方向とするこ
となどもできる。

【００４４】次に、図５は、図３の第２クラス生成回路
１２の構成例を示している。

【００４５】縮小回路３からの縮小ブロックおよび第１
クラス生成回路１１からの第１クラス情報は、最大相似
方向画素抽出部３１に供給される。最大相似方向画素抽
出部３１では、第１クラス情報に基づいて、相似性が最
大の方向が認識され、縮小ブロックから、注目画素Ｂ₃₃
を通る、その方向の直線上に並んでいるＳＤ画素（以
下、適宜、最大相似性画素という）（本実施の形態で
は、縮小ブロックを構成するＳＤ画素Ｂ₂₂，Ｂ₂₃，
Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄の中の、水
平方向、垂直方向、左斜め上方向、または右斜め上方向
のうちのいずれかの方向に並ぶ３画素）が抽出される。
この３つの最大相似性画素は、ＡＤＲＣ処理部３２を介
して、パターン分類部３３に供給される。パターン分類
部３３では、ＡＤＲＣ処理部３２を介して供給される３
つの最大相似性画素の画素値のパターンが検出され、そ
のパターンに対応する第２クラス情報が出力される。

【００４６】ここで、通常、各画素には、その画素値を
表現するために、例えば８ビット程度が割り当てられ
る。また、本実施の形態においては、上述したように、
最大相似性画素は３画素得られる。従って、８ビットで
それぞれ表される３画素を対象に、その画素値のパター
ン分けを行ったのでは、（２⁸）³という膨大な数のパタ
ーンが生じることになる。従って、クラス数も膨大とな
り、そのような膨大な数のクラスに対応して処理を行う
のでは、処理が繁雑となる。

【００４７】そこで、本実施の形態においては、ＡＤＲ
Ｃ処理部３２において、３つの最大相似性画素に対し
て、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理
が施されるようになされており、これにより、最大相似
性画素のビット数を少なくすることで、その画素値のパ
ターンの数を低減するようになされている。

【００４８】即ち、ＡＤＲＣ処理では、図６（Ａ）に示
すように、ある直線上に並んだ３つの最大相似性画素の
中から、その画素値の最大値ＭＡＸと最小値ＭＩＮが検
出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、最大相似
性画素の局所的なダイナミックレンジとし、このダイナ
ミックレンジＤＲに基づいて、３つの最大相似性画素そ
れぞれの画素値がＫビットに再量子化される。

【００４９】具体的には、３つの最大相似性画素の各画
素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／
２^Kで除算する。そして、その結果得られる除算値に対
応するコード（ＡＤＲＣコード）に変換される。即ち、
例えば、Ｋ＝２とした場合、図６（Ｂ）に示すように、
除算値が、ダイナミックレンジＤＲを４（＝２²）等分
して得られるいずれの範囲に属するかが判定され、除算
値が、最も下のレベルの範囲、下から２番目のレベルの
範囲、下から３番目のレベルの範囲、または最も上のレ
ベルの範囲に属する場合には、それぞれ、例えば、００
Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコ
ード化される（Ｂは２進数であることを表す）。

【００５０】なお、画素値を元に復号する場合において
は、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１
１Ｂは、ダイナミックレンジＤＲを４等分して得られる
最も下のレベルの範囲の中心値Ｌ₀₀、下から２番目のレ
ベルの範囲の中心値Ｌ₀₁、下から３番目のレベルの範囲
の中心値Ｌ₁₀、または最も上のレベルの範囲の中心値Ｌ
₁₁に変換され、その値に、最小値ＭＩＮが加算される。

【００５１】ここで、以上のようなＡＤＲＣ処理につい
ては、本件出願人が先に出願した、例えば、特開平３−
５３７７８号公報などに、その詳細が開示されている。

【００５２】ＳＤ画素に割り当てられているビット数よ
り少ないビット数で再量子化を行うＡＤＲＣ処理を施す
ことにより、上述したように、パターンの数を低減する
ことができ、このようなＡＤＲＣ処理が、ＡＤＲＣ処理
部３２において行われるようになされている。

【００５３】即ち、最大相似方向画素抽出部３１が出力
する３つの最大相似性画素は、ＡＤＲＣ処理部３２の最
大値検出部４１、最小値検出部４２、および遅延部４３
に供給される。最大値検出部４１または最小値検出部４
２では、３つの最大相似性画素から、その画素値の最大
値ＭＡＸまたは最小値ＭＩＮがそれぞれ検出され、いず
れも演算器４４に供給される。演算器４４では、最大値
ＭＡＸと最小値ＭＩＮとの差分、即ち、ダイナミックレ
ンジＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、ＡＤＲＣコ
ード決定部４５に供給される。また、最小値検出部４２
が出力する最小値ＭＩＮは、ＡＤＲＣコード決定部４５
にも供給される。

【００５４】一方、遅延部４３では、最大相似性画素
が、最大値検出部４１（または最小値検出部４２）と演
算器４５における処理に要する時間だけ遅延され、ＡＤ
ＲＣコード決定部４５に供給される。ＡＤＲＣコード決
定部４５では、３つの最大相似性画素の画素値それぞれ
から最小値ＭＩＮが減算され、それぞれの減算値が、ダ
イナミックレンジＤＲに基づいて、例えば１ビットに再
量子化される。そして、その結果得られる３つの最大相
似性画素それぞれについての１ビットのＡＤＲＣコー
ド、即ち、合計で３ビットのＡＤＲＣコードが、第２ク
ラス情報として出力される。

【００５５】次に、図７は、図３の最終クラス決定回路
１３の構成例を示すブロック図である。

【００５６】第１クラス情報および第２クラス情報は、
ＲＯＭ５１のアドレス端子ＡＤに供給されるようになさ
れている。ＲＯＭ５１は、例えば、第１クラス情報およ
び第２クラス情報の両方で示されるアドレスに、第１ク
ラス情報を上位ビットとし、第２クラス情報を下位ビッ
トとする値を記憶している。そして、ＲＯＭ５１は、第
１クラス情報および第２クラス情報が、そのアドレス端
子ＡＤに与えられると、その第１クラス情報および第２
クラス情報の両方で示されるアドレスの記憶値を読み出
し、その記憶値を、予測値計算用ブロック化回路５のク
ラスを示すインデックスとして出力する。従って、この
場合、２ビットの第１クラス情報の後に３ビットの第２
クラス情報を付加した５ビットのデータが、インデック
スとして出力される。

【００５７】以上のように、画素値のレベルのパターン
だけでなく、画像の自己相似性にも対応してクラス分類
を行うようにしたので、画像を、その性質に応じて、よ
り適切に処理することが可能となる。

【００５８】なお、インデックスは、上述の５ビット
に、処理の単位がフレームか、またはフィールドかを示
す１ビットを加え、合計６ビットとすることも可能であ
る。

【００５９】また、ＲＯＭ５１には、異なるアドレスの
幾つかに、同一のインデックスを記憶させておくように
し、これにより、インデックスのビット数を少なくする
ようにすることが可能である。即ち、２ビットの第１ク
ラス情報および３ビットの第２クラス情報によれば、５
ビット、つまり、３２（＝２⁵）とおりにクラス分けが
行われるが、そのような３２のクラスの中には、予測回
路６において、同一の予測係数を用いて画素値の予測値
を求めても問題ないものがある場合がある。そこで、こ
のように同一の予測係数を用いることが可能な複数のク
ラスは、１つのクラスとして扱うこととし、このように
することでクラス数を減らすことができる。

【００６０】さらに、上述の場合には、図５のパターン
分類部３３において、ＡＤＲＣコードに基づいて、パタ
ーン分類を行うようにしたが、パターン分類は、その
他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Bloc
k Truncation Coding）、ＶＱ（ベクトル量子化）、Ｄ
ＣＴ（離散コサイン変換）、アダマール変換などを施し
たデータを対象に行うようにすることも可能である。

【００６１】次に、図８は、図１の予測回路６の構成例
を示している。

【００６２】係数ＲＯＭ（Read Only Memory）６１は、
あらかじめ学習（後述する）により求められたクラスご
との予測係数を記憶しており、クラス分類回路４が出力
するインデックスを受信し、そのインデックスに対応す
るアドレスに記憶されている予測係数、即ち、予測値計
算用ブロック化回路５が出力する予測値計算用ブロック
のクラスに対応する予測係数を読み出して、積和演算器
６２に出力する。

【００６３】積和演算器６２には、予測係数の他、予測
値計算用ブロック化回路５から予測値計算用ブロックが
供給されるようになされており、積和演算器６２は、そ
の予測値計算用ブロックと、そのクラスに対応する予測
係数とを用いて、後述する式（１）（具体的には、例え
ば、式（８））に示す線形１次式を計算し（積和演算を
行い）、これにより、ＨＤ画素の画素値の予測値を算出
する適応処理を行う。即ち、例えば、上述の図２に示し
たように、予測値計算用ブロックを構成するＳＤ画素Ｂ
₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄
と予測係数との線形一次結合により、注目画素Ｂ₃₃を中
心とする３×３の範囲のＨＤ画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ
₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅の予測値が求められ
る。積和演算器６２において求められたＨＤ画素の予測
値は、リミッタ６３に供給され、そこで、モニタ７が内
蔵するＤ／Ａ変換器におけるダイナミックレンジを越え
ないように、その値が制限された後、モニタ７に供給さ
れる。

【００６４】ここで、適応処理について詳述する。

【００６５】例えば、いま、ＨＤ画素の画素値ｙの予測
値Ｅ［ｙ］を、幾つかのＳＤ画素の画素値（以下、適
宜、学習データという）ｘ₁，ｘ₂，・・・と、所定の予
測係数ｗ₁，ｗ₂，・・・の線形結合により規定される線
形１次結合モデルにより求めることを考える。この場
合、予測値Ｅ［ｙ］は、次式で表すことができる。

【００６６】Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１）

【００６７】そこで、一般化するために、予測係数ｗの
集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、お
よび予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、

【数１】で定義すると、次のような観測方程式が成立する。

【００６８】ＸＷ＝Ｙ’ ・・・（２）

【００６９】そして、この観測方程式に最小自乗法を適
用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求
めることを考える。この場合、ＨＤ画素の画素値（以
下、適宜、教師データという）ｙの集合でなる行列Ｙ、
およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残
差ｅの集合でなる行列Ｅを、

【数２】で定義すると、式（２）から、次のような残差方程式が
成立する。

【００７０】ＸＷ＝Ｙ＋Ｅ・・・（３）

【００７１】この場合、ＨＤ画素の画素値ｙに近い予測
値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差

【数３】を最小にすることで求めることができる。

【００７２】従って、上述の自乗誤差を予測係数ｗ_iで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗ_iが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］
を求めるため最適値ということになる。

【００７３】

【数４】・・・（４）

【００７４】そこで、まず、式（３）を、予測係数ｗ_i
で微分することにより、次式が成立する。

【００７５】

【数５】・・・（５）

【００７６】式（４）および（５）より、式（６）が得
られる。

【００７７】

【数６】・・・（６）

【００７８】さらに、式（３）の残差方程式における学
習データｘ、予測係数ｗ、教師データｙ、および残差ｅ
の関係を考慮すると、式（６）から、次のような正規方
程式を得ることができる。

【００７９】

【数７】・・・（７）

【００８０】式（７）の正規方程式は、求めるべき予測
係数ｗの数と同じ数だけたてることができ、従って、式
（７）を解くことで（但し、式（７）を解くには、式
（７）において、予測係数ｗにかかる係数で構成される
行列が正則である必要がある）、最適な予測係数ｗを求
めることができる。なお、式（７）を解くにあたって
は、例えば、掃き出し法（Gauss-Jordanの消去法）など
を適用することが可能である。

【００８１】以上のようにして、最適な予測係数ｗを求
めておき、さらに、その予測係数ｗを用い、式（１）に
より、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求め
るのが適応処理であり、この適応処理が、積和演算器６
２において行われるようになされている。

【００８２】なお、適応処理は、ＳＤ画像には含まれて
いない、ＨＤ画像に含まれる成分が再現される点で、補
間処理とは異なる。即ち、適応処理では、式（１）だけ
を見る限りは、いわゆる補間フィルタを用いての補間処
理と同一であるが、その補間フィルタのタップ係数に相
当する予測係数ｗが、教師データｙを用いての、いわば
学習により求められるため、ＨＤ画像に含まれる成分を
再現することができる。即ち、容易に、高解像度の画像
を得ることができる。このことから、適応処理は、いわ
ば画像の創造作用がある処理ということができる。

【００８３】以上説明した適応処理は、ＨＤ画素の画素
値ｙを教師データとして学習を行うことにより得られる
予測係数ｗ₁，ｗ₂，・・・を用いて行うものであり、こ
のような適応処理（以下、適宜、第１の適応処理とい
う）は、本件出願人が先に提案している。

【００８４】ところで、第１の適応処理によれば、予測
係数ｗ₁，ｗ₂，・・・を求めるのに際し、即ち、学習に
際し、ＨＤ画像が教師データとして必要となる。即ち、
例えば、図２において、ＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ
₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄から、ＨＤ画素
Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ
₆₅の予測値を第１の適応処理により求める場合、そのた
めの予測係数ｗ₁，ｗ₂，・・・の算出には、ＨＤ画素Ａ
₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅
の画素値が必要となる。

【００８５】しかしながら、ＨＤ画像がなくても、予測
係数ｗ₁，ｗ₂，・・・が求められれば便利である。

【００８６】そこで、画像の自己相似性を利用し、例え
ば、次のように、ＳＤ画素のみから予測係数ｗ₁，ｗ₂，
・・・を求め、予測回路６では、これを用いて適応処理
（このような適応処理を、以下、適宜、第２の適応処理
という）を行うようにすることが可能である。

【００８７】即ち、図２において、予測値計算用ブロッ
クを構成するＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，
Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄と、ＨＤ画素Ａ₄₃，Ａ₄₄，
Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅との間の位
置関係に注目した場合、その位置関係は、間引きＳＤ画
素Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，Ｃ₂₂，Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，
Ｃ₃₃と、ＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，
Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄との間の位置関係と、いわば相
似である。

【００８８】従って、画像の自己相似性から、間引きＳ
Ｄ画素Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，Ｃ₂₂，Ｃ₂₃，Ｃ₃₁，Ｃ
₃₂，Ｃ₃₃を学習データとするとともに、ＳＤ画素Ｂ₂₂，
Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄を教
師データとして学習を行い、これにより、予測係数
ｗ₁，ｗ₂，・・・を求め、その予測係数ｗ₁，ｗ₂，・・
・を、予測値計算用ブロックを構成するＳＤ画素Ｂ₂₂，
Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄か
ら、ＨＤ画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ
₆₃，Ａ₆₄，Ａ₆₅の予測値を予測するのに用いることがで
きる。

【００８９】図９は、第２の適応処理を行うための予測
係数を求める学習処理を行う画像処理装置の構成例を示
している。

【００９０】クラス分類用ブロック化回路７１、学習用
ブロック化回路７５、および教師用ブロック化回路７６
には、ＳＤ画像が供給される。

【００９１】クラス分類用ブロック化回路７１、間引き
回路７２、縮小回路７３、またはクラス分類回路７４で
は、図１のクラス分類用ブロック化回路１、間引き回路
２、縮小回路３、またはクラス分類回路４における場合
とそれぞれ同様の処理が行われ、これにより、後述する
学習用ブロック化回路７５が出力する学習用ブロックの
クラスに対応するインデックスが、学習回路７７に供給
される。

【００９２】一方、学習用ブロック化回路７５は、ＳＤ
画像から、上述したように、学習データとするＳＤ画素
（間引きＳＤ画素）Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，Ｃ₂₂，Ｃ
₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃で構成される、予測値計算用ブロ
ックより大きいブロックを構成し、これを学習用ブロッ
クとして、学習回路７７に出力する。また、同時に、教
師用ブロック化回路７６では、ＳＤ画像から、教師デー
タとするＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，
Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄で構成されるブロックが構成さ
れ、これが教師用ブロックとして、やはり、学習回路７
７に出力される。

【００９３】学習回路７７では、学習用ブロックを構成
するＳＤ画素を学習データとするとともに、教師用ブロ
ックを構成するＳＤ画素を教師データとして、例えば、
最小自乗法により、誤差を最小とする予測係数が算出さ
れる。

【００９４】即ち、例えば、いま、学習用ブロックを構
成するＳＤ画素（間引きＳＤ画素）の画素値を、ｘ₁，
ｘ₂，ｘ₃，・・・とし、求めるべき予測係数をｗ₁，
ｗ₂，ｗ₃，・・・とするとき、これらの線形１次結合に
より、教師用ブロックを構成する、あるＳＤ画素の画素
値ｙを求めるには、予測係数ｗ₁，ｗ₂，ｗ₃，・・・
は、次式を満たす必要がある。

【００９５】ｙ＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・

【００９６】そこで、学習回路７７では、学習用ブロッ
クと教師用ブロックとから、真値ｙに対する、予測値ｗ
₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・の自乗誤差を最小とする
予測係数ｗ₁，ｗ₂，ｗ₃，・・・が、上述した式（７）
に示す正規方程式をたてて解くことにより求められる。

【００９７】学習回路７７において求められた予測係数
は、クラス分類回路７４からのインデックスに対応する
クラスの予測係数として出力される。

【００９８】即ち、本実施の形態においては、学習ブロ
ックを構成するＳＤ画素（間引きＳＤ画素）Ｃ₁₁，
Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，Ｃ₂₂，Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃か
ら、教師用ブロックを構成する９個のＳＤ画素Ｂ₂₂，Ｂ
₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄を求め
るための予測係数を算出する必要がある。

【００９９】このため、学習回路７７では、クラス分類
回路７４が出力するインデックスに対応するクラスＣＬ
について、ＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ
₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄それぞれを教師データとするとと
もに、ＳＤ画素（間引きＳＤ画素）Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，
Ｃ₂₁，Ｃ₂₂，Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃を学習データとし
て、式（７）に示した正規方程式がたてられる。

【０１００】さらに、学習回路７７では、クラスＣＬに
クラス分類される、他の学習用ブロックについても同様
にして、正規方程式がたてられ、ＳＤ画素Ｂ₂₂，Ｂ₂₃，
Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄それぞれの
予測値Ｅ［Ｂ₂₂］，Ｅ［Ｂ₂₃］，Ｅ［Ｂ₂₄］，Ｅ
［Ｂ₃₂］，Ｅ［Ｂ₃₃］，Ｅ［Ｂ₃₄］，Ｅ［Ｂ₄₂］，Ｅ
［Ｂ₄₃］，Ｅ［Ｂ₄₄］を求めるための予測係数ｗ₁（Ｂ
₂₂）乃至ｗ₉（Ｂ₂₂），ｗ₁（Ｂ₂ ₃）乃至ｗ₉（Ｂ₂₃），
ｗ₁（Ｂ₂₄）乃至ｗ₉（Ｂ₂₄），ｗ₁（Ｂ₃₂）乃至ｗ₉（Ｂ
₃₂），ｗ₁（Ｂ₃₃）乃至ｗ₉（Ｂ₃₃），ｗ₁（Ｂ₃₄）乃至
ｗ₉（Ｂ₃₄），ｗ₁（Ｂ₄₂）乃至₉（Ｂ₄₂），ｗ₁（Ｂ₄₃）
乃至ｗ₉（Ｂ₄₃），ｗ₁（Ｂ₄₄）乃至ｗ₉（Ｂ₄₄）（本実
施の形態では、１つの予測値を求めるのに学習データが
９個用いられるので、それに対応して、予測係数ｗも９
個必要となる）を算出することができるだけの数の正規
方程式が得られると（従って、そのような数の正規方程
式が得られるまでは、学習回路７７では、正規方程式が
繰り返したてられる）、その正規方程式を解くことで、
クラスＣＬについて、ＳＤ画素Ｂ_3+m,3+nの予測値Ｅ
［Ｂ_3+m,3 _+n］を求めるのに最適な予測係数ｗ₁（Ｂ
_3+m,3+n）乃至ｗ₉（Ｂ_3+m,3+n）が算出される（但し、
ここでは、ｍ＝−１，０，＋１、ｎ＝−１，０，＋
１）。

【０１０１】図１の予測回路６を構成する係数ＲＯＭ６
１（図８）には、以上のようにして学習回路７７から出
力される予測係数を記憶させておくことができ、この場
合、積和演算器６２では、式（１）に対応する次式にし
たがって、予測値計算用ブロック内におけるＨＤ画素Ａ
₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅
それぞれの予測値Ｅ［Ａ₄₃］，Ｅ［Ａ₄₄］，Ｅ
［Ａ₄₅］，Ｅ［Ａ₅₃］，Ｅ［Ａ₅₄］，Ｅ［Ａ₅₅］，Ｅ
［Ａ₆₃］，Ｅ［Ａ₆₄］，Ｅ［Ａ₆₅］が求められる。

【０１０２】Ｅ［Ａ₄₃］＝ｗ₁（Ｂ₂₂）Ｂ₂₂＋ｗ₂（Ｂ₂₂）Ｂ₂₃＋ｗ₃（Ｂ₂₂）Ｂ₂₄ ＋ｗ₄（Ｂ₂₂）Ｂ₃₂＋ｗ₅（Ｂ₂₂）Ｂ₃₃＋ｗ₆（Ｂ₂₂）Ｂ₃₄ ＋ｗ₇（Ｂ₂₂）Ｂ₄₂＋ｗ₈（Ｂ₂₂）Ｂ₄₃＋ｗ₉（Ｂ₂₂）Ｂ₄₄ Ｅ［Ａ₄₄］＝ｗ₁（Ｂ₂₃）Ｂ₂₂＋ｗ₂（Ｂ₂₃）Ｂ₂₃＋ｗ₃（Ｂ₂₃）Ｂ₂₄ ＋ｗ₄（Ｂ₂₃）Ｂ₃₂＋ｗ₅（Ｂ₂₃）Ｂ₃₃＋ｗ₆（Ｂ₂₃）Ｂ₃₄ ＋ｗ₇（Ｂ₂₃）Ｂ₄₂＋ｗ₈（Ｂ₂₃）Ｂ₄₃＋ｗ₉（Ｂ₂₃）Ｂ₄₄ Ｅ［Ａ₄₅］＝ｗ₁（Ｂ₂₄）Ｂ₂₂＋ｗ₂（Ｂ₂₄）Ｂ₂₃＋ｗ₃（Ｂ₂₄）Ｂ₂₄ ＋ｗ₄（Ｂ₂₄）Ｂ₃₂＋ｗ₅（Ｂ₂₄）Ｂ₃₃＋ｗ₆（Ｂ₂₄）Ｂ₃₄ ＋ｗ₇（Ｂ₂₄）Ｂ₄₂＋ｗ₈（Ｂ₂₄）Ｂ₄₃＋ｗ₉（Ｂ₂₄）Ｂ₄₄ Ｅ［Ａ₅₃］＝ｗ₁（Ｂ₃₂）Ｂ₂₂＋ｗ₂（Ｂ₃₂）Ｂ₂₃＋ｗ₃（Ｂ₃₂）Ｂ₂₄ ＋ｗ₄（Ｂ₃₂）Ｂ₃₂＋ｗ₅（Ｂ₃₂）Ｂ₃₃＋ｗ₆（Ｂ₃₂）Ｂ₃₄ ＋ｗ₇（Ｂ₃₂）Ｂ₄₂＋ｗ₈（Ｂ₃₂）Ｂ₄₃＋ｗ₉（Ｂ₃₂）Ｂ₄₄ Ｅ［Ａ₅₄］＝ｗ₁（Ｂ₃₃）Ｂ₂₂＋ｗ₂（Ｂ₃₃）Ｂ₂₃＋ｗ₃（Ｂ₃₃）Ｂ₂₄ ＋ｗ₄（Ｂ₃₃）Ｂ₃₂＋ｗ₅（Ｂ₃₃）Ｂ₃₃＋ｗ₆（Ｂ₃₃）Ｂ₃₄ ＋ｗ₇（Ｂ₃₃）Ｂ₄₂＋ｗ₈（Ｂ₃₃）Ｂ₄₃＋ｗ₉（Ｂ₃₃）Ｂ₄₄ Ｅ［Ａ₅₅］＝ｗ₁（Ｂ₃₄）Ｂ₂₂＋ｗ₂（Ｂ₃₄）Ｂ₂₃＋ｗ₃（Ｂ₃₄）Ｂ₂₄ ＋ｗ₄（Ｂ₃₄）Ｂ₃₂＋ｗ₅（Ｂ₃₄）Ｂ₃₃＋ｗ₆（Ｂ₃₄）Ｂ₃₄ ＋ｗ₇（Ｂ₃₄）Ｂ₄₂＋ｗ₈（Ｂ₃₄）Ｂ₄₃＋ｗ₉（Ｂ₃₄）Ｂ₄₄ Ｅ［Ａ₆₃］＝ｗ₁（Ｂ₄₂）Ｂ₂₂＋ｗ₂（Ｂ₄₂）Ｂ₂₃＋ｗ₃（Ｂ₄₂）Ｂ₂₄ ＋ｗ₄（Ｂ₄₂）Ｂ₃₂＋ｗ₅（Ｂ₄₂）Ｂ₃₃＋ｗ₆（Ｂ₄₂）Ｂ₃₄ ＋ｗ₇（Ｂ₄₂）Ｂ₄₂＋ｗ₈（Ｂ₄₂）Ｂ₄₃＋ｗ₉（Ｂ₄₂）Ｂ₄₄ Ｅ［Ａ₆₄］＝ｗ₁（Ｂ₄₃）Ｂ₂₂＋ｗ₂（Ｂ₄₃）Ｂ₂₃＋ｗ₃（Ｂ₄₃）Ｂ₂₄ ＋ｗ₄（Ｂ₄₃）Ｂ₃₂＋ｗ₅（Ｂ₄₃）Ｂ₃₃＋ｗ₆（Ｂ₄₃）Ｂ₃₄ ＋ｗ₇（Ｂ₄₃）Ｂ₄₂＋ｗ₈（Ｂ₄₃）Ｂ₄₃＋ｗ₉（Ｂ₄₃）Ｂ₄₄ Ｅ［Ａ₆₅］＝ｗ₁（Ｂ₄₄）Ｂ₂₂＋ｗ₂（Ｂ₄₄）Ｂ₂₃＋ｗ₃（Ｂ₄₄）Ｂ₂₄ ＋ｗ₄（Ｂ₄₄）Ｂ₃₂＋ｗ₅（Ｂ₄₄）Ｂ₃₃＋ｗ₆（Ｂ₄₄）Ｂ₃₄ ＋ｗ₇（Ｂ₄₄）Ｂ₄₂＋ｗ₈（Ｂ₄₄）Ｂ₄₃＋ｗ₉（Ｂ₄₄）Ｂ₄₄ ・・・（８）

【０１０３】以上のように、ＳＤ画素Ｂ₂₂，Ｂ₂₃，
Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄それぞれの
画素値（予測値）を、間引きＳＤ画素Ｃ₁₁，Ｃ₁₂，
Ｃ₁₃，Ｃ₂₁，Ｃ₂₂，Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃で構成され
る所定の学習用ブロック（所定のブロック）から算出す
ることができるように、学習を行うことで予測係数を求
め、その予測係数を用いて、学習用ブロックより小さい
（注目画素Ｂ₃₃を中心として学習ブロックを、いわば縮
小した）予測値計算用ブロック（小ブロック）に対して
適応処理を施した場合によれば、画像の自己相似性によ
って、ＨＤ画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，
Ａ₆₃，Ａ₆₄，Ａ₆₅についての適正な予測値を得ることが
できる。

【０１０４】次に、図１０は、図９の学習回路７７の構
成例を示している。

【０１０５】乗算回路８１には、学習用ブロックを構成
する学習データｘ₁，ｘ₂，・・・，ｘ_mと、教師用ブロ
ックを構成する教師データｙとが入力されるようになさ
れており、そこでは、式（７）の正規方程式におけるサ
メーション（Σ）の対象となる学習データｘ₁，ｘ₂，・
・・，ｘ_mどうしの積、および学習データｘ₁，ｘ₂，・
・・，ｘ_mそれぞれと教師データｙとの積が求められ、
加算回路８２に供給される。

【０１０６】加算回路８２には、乗算回路８１の出力の
他、デコーダ８３の出力も供給されるようになされてい
る。デコーダ８３には、クラス分類回路７４（図９）か
らインデックスが供給されるようになされており、デコ
ーダ８３は、そのインデックスに基づいて、学習データ
ｘ₁，ｘ₂，・・・，ｘ_mのクラス（学習用ブロックのク
ラス）を認識し、その認識結果を、加算回路８２に出力
する。

【０１０７】加算回路８２は、乗算回路８１の出力を用
いて、式（７）の正規方程式におけるサメーションに相
当する演算を、デコーダ８３からのクラスごとに独立し
て行い、その演算結果を、演算回路８４に供給する。演
算回路８４では、加算回路８２の出力を用い、掃き出し
法による演算が行われ、これにより、予測係数が算出さ
れて出力される。

【０１０８】次に、図１１は、図１０の乗算回路８１の
構成例を示している。

【０１０９】乗算回路８１は、同図に示すように、乗算
器アレイで構成されている（乗算器が所定形状に配列さ
れて構成されている）。即ち、乗算回路８１は、式
（７）の正規方程式の左辺における予測係数ｗの係数
（サメーションの部分）、およびその右辺における各項
に対応する乗算器から構成されている。

【０１１０】なお、式（７）の正規方程式の左辺におけ
る予測係数ｗにかかる係数で構成される行列（以下、適
宜、係数行列という）と、その転置行列とは等しいた
め、図１１の実施の形態では、乗算器は、係数行列の対
角成分を含む右上部分の成分と、式（７）の右辺の項に
対応する乗算器だけが設けられている。

【０１１１】以上のように構成される乗算回路８１で
は、各乗算器において、上述したように、式（７）の正
規方程式におけるサメーション（Σ）の対象となる学習
データｘ₁，ｘ₂，・・・，ｘ_mどうしの積、および学習
データｘ₁，ｘ₂，・・・，ｘ_mそれぞれと教師データｙ
との積が求められ、加算回路８２に供給される。

【０１１２】次に、図１２は、図１０の加算回路８２の
構成例を示している。

【０１１３】加算回路８２は、図１１の乗算回路８１を
構成する乗算器と同様に加算器またはメモリセルがそれ
ぞれ配置された加算器アレイまたはメモリアレイ（レジ
スタアレイ）から構成されている。なお、加算器アレイ
は、乗算器アレイと同様に１つだけ設けられているが、
メモリアレイは、クラスに対応する数だけ設けられてい
る。

【０１１４】以上のように構成される加算回路８２で
は、加算器アレイを構成する各加算器に、乗算器アレイ
の、対応する乗算器の出力が供給される。さらに、各加
算器には、デコーダ８３からのクラスに対応するメモリ
アレイを構成する、対応するメモリセルの記憶値が供給
される。各加算器では、乗算器とメモリセルの出力どう
しが加算され、その加算結果が、元のメモリセルに供給
される。そして、各メモリセルでは、加算器から供給さ
れる加算結果が記憶され、加算回路８２は、以下、同様
の処理を繰り返すことで、式（７）の正規方程式におけ
るサメーションに相当する演算を行う。

【０１１５】これにより、各メモリアレイには、対応す
るクラスについての、正規方程式の各項の係数が記憶さ
れることになる。

【０１１６】そして、図１０の演算回路８４では、メモ
リアレイの各メモリセルの記憶値を用いて、掃き出し法
により、各クラスごとの予測係数が求められる。

【０１１７】ところで、例えば、ＮＴＳＣ方式などに準
拠したＳＤ画像を受信する受信装置などに、図１の画像
変換装置を内蔵させ、その予測回路６において第１の適
応処理によりＨＤ画素の予測値を求めるようにした場合
においては、上述したように、学習に際し、教師データ
としてＨＤ画素が必要となるため、受信装置において、
予測係数の更新をすることは困難である。

【０１１８】その一方、第２の適応処理によりＨＤ画素
の予測値を求めるようにした場合においては、教師デー
タとしてＨＤ画素は必要でなく、ＳＤ画素（間引きＳＤ
画素を含む）だけで学習を行うことができ、従って、受
信装置において、予測係数を更新することができる。

【０１１９】そこで、図１３は、予測係数を更新しなが
ら、ＳＤ画像をＨＤ画像に変換する画像変換装置の一実
施の形態の構成を示している。なお、図中、図１におけ
る場合と対応する部分については、同一の符号を付して
あり、以下では、その説明は、適宜省略する。即ち、こ
の画像変換装置は、フレームメモリ９１、学習用ブロッ
ク化回路９２、教師用ブロック化回路９３、学習回路９
４、および係数ＲＡＭ（例えば、ＳＲＡＭ（Static Rea
d Only Memory）など）９５が新たに設けられていると
ともに、予測回路６に代えて予測回路９６が設けられて
いる他は、図１の画像変換装置と同様に構成されてい
る。

【０１２０】フレームメモリ９１には、伝送路を介して
伝送され、または、記録媒体から再生されたＳＤ画像
が、例えば、フレーム（またはフィールド）単位で記憶
される。フレームメモリ９１に記憶されたＳＤ画像は、
クラス分類用ブロック化回路１に供給され、以下、図１
における場合と同様にして、クラス分類回路４からは、
後述する学習用ブロック９２が出力する学習用ブロック
のクラスに対応するインデックスが出力される。

【０１２１】また、フレームメモリ９１に記憶されたＳ
Ｄ画像は、同時に、学習用ブロック化回路９２および教
師用ブロック化回路９３にも供給される。

【０１２２】学習用ブロック化回路９２、教師用ブロッ
ク化回路９３、または学習回路９４は、図９における学
習用ブロック化回路７５、教師用ブロック化回路７６、
または学習回路７７と同様に構成されており、また、学
習回路９４には、クラス分類回路７４（図９）に対応す
るクラス分類回路４からインデックスが供給されるよう
になされている。従って、学習回路９４では、図９で説
明したような学習が行われ、その結果得られる予測係数
が、係数ＲＡＭ９５に供給される。

【０１２３】係数ＲＡＭ９５には、学習回路９４から予
測係数が供給される他、クラス分類回路４からインデッ
クスが供給されるようになされており、係数ＲＡＭ９５
では、そのインデックスに対応するアドレスに、学習回
路９４からの予測係数が記憶（上書き）される。

【０１２４】以上の学習処理が、フレームメモリ９１に
記憶されたＳＤ画像を構成する、例えば、すべての画素
を注目画素として行われると、予測値計算用ブロック化
回路５は、フレームメモリ９１に記憶されたＳＤ画像か
ら予測値計算用ブロックを順次構成し、予測回路９６に
出力する。

【０１２５】また、このとき、フレームメモリ９１に記
憶されたＳＤ画像は、クラス分類用ブロック化回路１に
も、再び供給され、以下、上述した場合と同様にして、
予測値計算用ブロック化回路５が構成する予測値計算用
ブロックのクラスに対応するインデックスが、クラス分
類回路４から出力される。

【０１２６】このインデックスは、係数ＲＡＭ９５にア
ドレスとして与えられ、そのアドレスに記憶された予測
係数が、係数ＲＡＭ９５から読み出されて予測回路９６
に供給される。

【０１２７】予測回路９６は、図８に示した予測回路６
を構成するブロックのうちの、係数ＲＯＭ６１を除く、
積和演算器６２およびリミッタ６３で構成され、そこで
は、係数ＲＡＭ９５からの予測係数を用い、式（８）で
説明したようにしてＨＤ画素の予測値が求められる。

【０１２８】以上のように、ＨＤ画像に変換しようとす
るＳＤ画像から予測係数を求め、その予測係数を用い
て、ＳＤ画像をＨＤ画像に変換する場合によれば、より
精度の高いＨＤ画像を得ることが可能となる。

【０１２９】以上、本発明を、ＳＤ画像をＨＤ画像に変
換する画像変換装置に適用した場合について説明した
が、本発明は、その他、例えば、画像の拡大処理などを
行う場合にも適用可能である。

【０１３０】なお、本実施の形態においては、係数ＲＯ
Ｍ６１（図８）には（図１３における係数ＲＡＭ９５に
ついても同様）、各クラスに対応するアドレスに、予測
係数を記憶させるようにしたが、係数ＲＯＭ６１には、
その他、例えば、教師用ブロックを構成する画素値の平
均値などを記憶させるようにすることが可能である。こ
の場合、クラスについてのインデックスが与えられる
と、そのクラスに対応する画素値が出力されることにな
り、予測値計算用ブロック化回路５および予測回路６
（または予測回路９６）を設けずに済むようになる。

【０１３１】さらに、本実施の形態においては、第１ク
ラス情報および第２クラス情報の両方から、最終的なク
ラスを決定するようにしたが、第１クラス情報または第
２クラス情報のうちのいずれか一方から最終的なクラス
を決定するようにすることも可能である。

【０１３２】また、本実施の形態では、間引き回路２に
おいて、画素を単純に間引くことにより、間引きブロッ
クを構成するようにしたが、間引きブロックは、その
他、例えば、幾つかの画素の平均値などを１の画素に割
り当てることなどによって生成するようにすることなど
も可能である。

【０１３３】さらに、本実施の形態では、各ブロックの
形状を正方形としたが、ブロックの形状は正方形に限定
されるものではない。即ち、本明細書中におけるブロッ
クとは、幾つかの画素の集合を意味し、その形状は、正
方形の他、例えば、長方形や、十字形、円形その他の任
意の形状とすることができる。

【０１３４】また、本実施の形態においては、画像の自
己相似性を考慮してクラス分類を行うようにしたが、ク
ラス分類は、画像の自己相似性を考慮せず、単純に、画
素値のパターンにのみ基づいて行うようにすることも可
能である。即ち、例えば、いま、図１４（Ａ）に示すよ
うに、ある注目画素と、それに隣接する３つの画素によ
り、２×２画素でなるブロックを構成し、また、各画素
は、１ビットで表現される（０または１のうちのいずれ
かのレベルをとる）ものとする。この場合、２×２の４
画素のブロックは、各画素のレベル分布により、図１４
（Ｂ）に示すように、１６（＝（２¹）⁴）パターンに分
類することができる。クラス分類は、このようなパター
ン分けのみによって行うようにすることも可能である。

【０１３５】さらに、本発明は、ハードウェアおよびソ
フトウェアのいずれによっても実現可能である。

【０１３６】

【発明の効果】請求項１に記載の画像処理装置および請
求項４に記載の画像処理方法によれば、所定の予測係数
が、第１の画像の所定の画素の画素値を、第１の画像に
おける所定のブロックを構成する画素の画素値に基づい
て算出することができるように、学習が行われることに
より求められたものであり、所定のブロックより小さい
小ブロックに対して、所定の予測係数を用いて適応処理
を施すことにより、第２の画像の画素値が求められる。
従って、第２の画像として、高解像度の画像を、容易に
得ることが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像変換装置の第１の実施の
形態の構成を示すブロック図である。

【図２】図１の画像変換装置の処理を説明するための図
である。

【図３】図１のクラス分類回路４の構成例を示すブロッ
ク図である。

【図４】図３の第１クラス生成回路１１の構成例を示す
ブロック図である。

【図５】図３の第２クラス生成回路１２の構成例を示す
ブロック図である。

【図６】ＡＤＲＣ処理を説明するための図である。

【図７】図３の最終クラス決定回路１３の構成例を示す
ブロック図である。

【図８】図１の予測回路６の構成例を示すブロック図で
ある。

【図９】予測係数を求める学習処理を行う画像処理装置
の構成例を示すブロック図である。

【図１０】図９の学習回路７７の構成例を示すブロック
図である。

【図１１】図１０の乗算回路８１の構成例を示すブロッ
ク図である。

【図１２】図１０の加算回路８２の構成例を示すブロッ
ク図である。

【図１３】本発明を適用した画像変換装置の第２の実施
の形態の構成を示すブロック図である。

【図１４】画素値のレベルのパターンにのみ基づいて行
うクラス分類を説明するための図である。

【符号の説明】

１クラス分類用ブロック化回路，２間引き回路，
３縮小回路，４クラス分類回路，５予測値計
算用ブロック化回路，６予測回路，７モニタ，
１１第１クラス生成回路，１２第２クラス生成回
路，１３最終クラス決定回路，２１₁乃至２１₄ 相
似性算出部，２２最大相似性方向判定部，２６
Ｂ，２６Ｃ画素抽出部，２７ノルム計算部，３
１最大相似性方向画素抽出部，３２ＡＤＲＣ処理
部，３３パターン分類部，４１最大値検出部，
４２最小値検出部，４３遅延部，４４演算
器，４５ＡＤＲＣコード決定部，５１ＲＯＭ，
６１係数ＲＯＭ，６２積和演算器，６３リミ
ッタ，７１クラス分類用ブロック化回路，７２
間引き回路，７３縮小回路，７４クラス分類回
路，７５学習ブロック化回路，７６教師用ブロッ
ク化回路，７７学習回路，８１乗算回路，８
２加算回路，８３デコーダ，８４演算回路，
９１フレームメモリ，９２学習用ブロック化回
路，９３教師用ブロック化回路，９４学習回
路，９５係数ＲＡＭ，９６予測回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＨ０４Ｎ 1/41 Ｇ０６Ｆ 15/66 ３５５Ｃ 7/32 Ｈ０４Ｎ 7/137 Ｚ

Claims

【特許請求の範囲】

【請求項１】第１の画像と、所定の予測係数との線形
結合により、第２の画像の画素値の予測値を求める適応
処理を行う適応処理手段を備える画像処理装置であっ
て、前記所定の予測係数は、前記第１の画像の所定の画素の
画素値を、前記第１の画像における所定のブロックを構
成する画素の画素値に基づいて算出することができるよ
うに、学習が行われることにより求められたものであ
り、前記適応処理手段は、前記所定のブロックより小さい小
ブロックに対して、前記所定の予測係数を用いて適応処
理を施すことを特徴とする画像処理装置。
【請求項２】前記第１の画像を、その性質に応じて複
数のクラスに分類するクラス分類手段をさらに備え、前記所定の予測係数は、前記クラスごとに求められてお
り、前記適応処理手段は、前記第１の画像のクラスに対応す
る前記所定の予測係数を用いて適応処理を行うことを特
徴とする請求項１に記載の画像処理装置。
【請求項３】前記学習を行う学習手段と、前記学習手段による学習の結果得られる前記所定の予測
係数を記憶する記憶手段とをさらに備え、前記適応処理手段は、前記記憶手段に記憶された前記所
定の予測係数を用いて適応処理を行うことを特徴とする
請求項１に記載の画像処理装置。
【請求項４】第１の画像と、所定の予測係数との線形
結合により、第２の画像の画素値の予測値を求める適応
処理を行う適応処理手段を備える画像処理装置の画像処
理方法であって、前記所定の予測係数は、前記第１の画像の所定の画素の
画素値を、前記第１の画像における所定のブロックを構
成する画素の画素値に基づいて算出することができるよ
うに、学習が行われることにより求められたものであ
り、前記適応処理手段に、前記所定のブロックより小さい小
ブロックに対して、前記所定の予測係数を用いて適応処
理を施させることを特徴とする画像処理方法。