JPH10134176A

JPH10134176A - 画像信号処理方法及び装置

Info

Publication number: JPH10134176A
Application number: JP8287103A
Authority: JP
Inventors: Kenichiro Nakamura; 憲一郎中村; Masuyoshi Kurokawa; 益義黒川; Mamoru Kano; 護加納; Koji Aoyama; 幸治青山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-10-29
Filing date: 1996-10-29
Publication date: 1998-05-22

Abstract

(57)【要約】【課題】タップ数や変換比率を変更したい時に、容易
かつ短時間でそれらの変更を可能にし、また、複数の変
換比率にて画素数変換を行う必要がある場合でもそれぞ
れの変換比率に対応する複数用意する必要を無くする。【解決手段】２次元画像に対してフィルタ演算を施す
画素数変換装置であり、フィルタ仕様情報に基づいて発
生された水平，垂直両方向用のフィルタプログラム及び
フィルタ係数が供給されるコントローラ２６，２８及び
係数メモリ２７，２９と、水平ラインの画素データをシ
リアル／パラレル変換する入力レジスタ２４と、入力レ
ジスタ２４の出力画素データに水平フィルタ演算を施す
プロセッサエレメント群２１と、プロセッサエレメント
群２１の出力画素データに対して垂直フィルタ演算を施
すプロセッサエレメント群２２と、プロセッサエレメン
ト群２２の出力データをパラレル／シリアル変換する出
力レジスタ２５とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画素数変換処理や
走査線変換等の画像信号処理を行う画像信号処理方法及
び装置に関する。

【０００２】

【従来の技術】近年になって、半導体技術、半導体の処
理スピード性能の向上により、映像信号のディジタル信
号処理が行われるようになってきた。また、最近では画
像表示装置も従来のブラウン管に代わり、ＬＣＤ（Liqu
id Crystal Display：液晶ディスプレイ）表示装置やプ
ラズマディスプレイ装置等に代表される固定画素表示装
置が広く普及しつつある。

【０００３】また、最近は、いわゆるＮＴＳＣ(Nationa
l Television System Committee)信号、ＰＡＬ(Phase A
lternation by Line)信号などの標準テレビジョン放送
方式のみならず、ＨＤＴＶ(High Definition Televisio
n)信号や、ＶＧＡ(Video Graphics Array)信号、ＳＶＧ
Ａ(Super VGA)信号、ＸＶＧＡ(extended VGA)信号など
様々なフォーマットの信号を表示できることが求められ
ている。

【０００４】これら様々なフォーマットでは、それぞれ
扱う画素数がまちまちである。このようなそれぞれ画素
数が異なる各種のフォーマットの映像信号を表示する場
合、上記ブラウン管等のアナログ表示デバイスであれ
ば、１走査線時間当たりの画素数に応じて電子ビームの
偏向速度を変えてやれば済む。

【０００５】しかし、上記固定画素表示装置において
は、扱える画素数が固定しているため、上述のブラウン
管の場合のような従来のアナログ技術は使えない。その
ため、これら様々なフォーマットの信号を上述のような
固定画素表示装置に対して表示させるためには、ディジ
タル信号処理による任意の画素数変換、或いは走査線数
変換が不可欠である。

【０００６】ここで、上述したような画像の画素数変換
を行うための技術として、従来より使用されてきた補間
フィルタを用いた画素数変換の手法について、以下に説
明する。なお、例えばディジタルフィルタによる補間フ
ィルタの実現技術は、従来からディジタル信号処理分野
の各種教科書に詳しく解説されているので、ここでは簡
単に説明する。

【０００７】先ず、画像の拡大や縮小と標本化周波数
（画素数）の変換について説明する。

【０００８】画像の拡大や縮小を実現するための演算操
作と、画像の標本化周波数（画素数）を変換する演算操
作（解像度の異なる画像規格間の変換）は、どちらも原
画像の各画素位置に対して、最初存在しなかった位置の
画素データを求める演算として考えることにより、全く
同じ補間フィルタの演算操作でよいことがわかってい
る。これを図１１を用いて説明する。

【０００９】図１１の（ａ）には原画像のモデルを示
す。この図１１の（ａ）中の四角い枠は画面の一部分で
あるとする。また、図中丸印は画像の画素の位置を表す
ものとする。すなわち、この図１１の（ａ）に示す部分
原画像は、（横方向８画素）×（縦方向６画素）からな
る。ここでは考え易くするために、扱いやすい少ない画
素数にしている。この原画像を例えば１０／７倍に拡大
する場合を考える。なお、ここでの倍率は面積ではなく
長さの比で表現するものとする。上記原画像を１０／７
に拡大するというのは、図１１の（ａ）の画像（画素
数）を拡大するのであって、表示画像規格は変わらず、
画素の配列の仕方すなわち画素間隔などは図１１の（ａ
と）同じであり、その拡大結果は図１１の（ｂ）のよう
になる。すなわち、図１１の（ａ）と図１１の（ｂ）と
では、１０／７倍の拡大（１０／７＝１．４２９倍）な
ので、図１１の（ｂ）の画像は図１１の（ａ）の画像よ
りも１辺の長さが１．４２９倍に長くなり、図１１の
（ｂ）の拡大画面を構成する画素数は１．４２９の自乗
倍に増えている。

【００１０】したがって、例えば水平方向で見た時は、
同じ画像が原画像で８画素であったものが拡大後は、８
×１０／７＝１１．４２９画素になり、拡大後の各画素
の画像に対する位置関係は違ってくる。なお、このため
拡大後の各画素のデータ（輝度や色を表現するデータ）
の値は、原画像のそれとは異なることになる。

【００１１】図１１の（ｄ）は上記１０／７倍の画像拡
大の様子を水平方向についてのみ示している。図１１の
（ｄ）中の矢印の先が各画素の位置を示していて、上側
のＲ_i（ｉ＝１，２,・・・）は原画素のデータであり、
下側のＱ_i（ｉ＝１，２，・・・）は拡大後の補間画素
のデータである。すなわち、Ｒ_iの間隔はＱ_iの間隔の１
０／７倍になっている。なお、この図１１の（ｄ）は水
平方向の拡大の様子だけを示しているが、垂直方向につ
いても図１１の（ｄ）と同様に考えることができる。こ
こでは垂直方向の説明は省略する。

【００１２】拡大後の各画素のデータ（輝度や色を表
現）の値は、その位置関係が原画像の各画素位置に対し
て図１１の（ｄ）のようになっていることから、画素１
点１点について、ここで求めようとしている補間点の周
辺のいくつかの原画像画素のデータの値を使って補間フ
ィルタ演算、すなわち補間関数の畳み込み演算をすれば
よい。この補間演算については後述する。

【００１３】次に、今度は画像の大きさをそのままにし
て、標本化周波数を例えば１０／７倍にする場合を考え
ることにする。これは標本化周波数変換であるが、言い
換えると、画像の大きさは同じで解像度が１０／７倍高
い画像規格に変換することと同じことであり、すなわち
画素数を１０／７倍にしていることと同じである。この
場合は、原画像を図１１の（ａ）とした時、その結果は
図１１の（ｃ）のようになる。すなわち、１次元的には
画素数が１．４２９倍に増え、同じ面積内の画素数は
１．４２９の自乗倍に増えている。

【００１４】この画素数の多い画像規格に変換する演算
操作は、先に説明した画像拡大の演算操作と全く同じで
よい。それは、図１１の（ａ）と図１１の（ｂ）の関係
及び図１１の（ａ）と図１１の（ｃ）の関係を見てわか
るように、どちらも図１１の（ｄ）の位置関係からの補
間フィルタ演算、すなわち補間関数の畳み込み演算を行
えばよいからである。

【００１５】次に、今度は画像の縮小の場合を説明す
る。図１１の（ａ）と同様の図１２の（ａ）を原画像の
モデルとし、この原画像を例えば１０／１３倍に縮小す
る場合を考える。ここでは、原画像を縮小するのであっ
て表示画像規格は変えないので、画素の配列の仕方すな
わち画素間隔などは図１２の（ａ）と同じであり、その
結果は図１２の（ｂ）のようになる。つまり、１０／１
３倍（１０／１３＝０．７６９）倍の縮小なので、図１
２の（ｂ）の画像は図１２の（ａ）の画像の１辺の長さ
が０．７６９倍に縮み、この縮小画面を構成する画素数
は０．７６９の自乗倍に減ることになる。

【００１６】したがって、例えば水平方向に見た時は、
同じ画像が原画像で８画素であったものが、縮小後に８
×１０／１３＝６．１５４画素になるのだから、当該縮
小後の各画素の画像に対する位置関係は違ってくる。こ
のため、縮小後の各画素のデータ（輝度や色を表現）の
値は、原画像のそれとは異なることになる。

【００１７】図１２の（ｄ）は上記１０／１３倍の画像
縮小の様子を水平方向についてのみ示している。図中矢
印の先が各画素の位置を示していて、上側のＲ_i（ｉ＝
１，２，・・・）は原画素のデータであり、下側のＱ
_i(ｉ＝１，２，・・・）は縮小後の補間画素データであ
る。すなわちＲ_iの間隔はＱ_iの間隔の１０／１３倍にな
っている。なお、図１２の（ｄ）は水平方向の拡大の様
子だけを示しているが、垂直方向についても図１２の
（ｄ）と同様に考えることができる。

【００１８】上記縮小後の各画素のデータ（輝度や色を
表現）の値は、その位置関係が原画像の各画素位置に対
して図１２の（ｄ）のようになっていることから、画素
１点１点について、今求めようとしている補間点の周辺
のいくつかの原画像画素のデータの値を使って補間フィ
ルタ演算、すなわち補間関数の畳み込み演算をすればよ
い。この補間演算については後述する。

【００１９】次に、今度は画像の大きさはそのままにし
て、標本化周波数を例えば１０／１３倍にする場合を考
えることにする。これは標本化周波数変換であるが、言
い換えると、画像の大きさは同じで解像度が１０／１３
倍低い画像規格に変換することと同じことであり、画素
数を１０／１３倍にすることと同じである。この場合
は、原画像を図１２の（ａ）とした時の結果は図１２の
（ｃ）のようになる。すなわち１次元的には画素数が
０．７６９に縮み、同じ面積内の画素数は０．７６９の
自乗倍に減っている。

【００２０】この画素数の少ない画像規格に変換する演
算操作は、先に説明した画像縮小の演算操作と全く同じ
でよい。それは、図１２の（ａ）と図１２の（ｂ）の関
係及び図１２の（ａ）と図１２の（ｃ）の関係を見てわ
かるように、どちらも図１２の（ｄ）の位置関係からの
補間フィルタ演算、すなわち補間関数の畳み込み演算を
すればよいからである。

【００２１】図１１の（ｄ）の場合も図１２の（ｄ）の
場合も、最初原画像では存在しなかった位置の画素デー
タ値を求める補間フィルタの演算操作が必要であり、結
局、画像の拡大や縮小を実現するための演算操作も、画
像の標本化周波数（画素数）を高く（多く）変換する演
算操作も、低く（少なく）変換する演算操作も、どれも
同じ演算操作でよいことになる。以下これらは「画素数
変換」あるいは「補間フィルタ演算」と表現するものと
する。

【００２２】次に、原画像には存在しなかった位置の画
素データ値を求める補間フィルタ演算、すなわち補間関
数の畳み込み演算について、図１３、図１４及び式
（１）〜式（４）を用いて説明する。

【００２３】図１３において横軸は図１１の（ｄ）や図
１２の（ｄ）と同様に表しており、水平方向の位置関係
を模式的に示している。また、図中の丸印は原画像の画
素位置で、図中Ｓは原画像の標本化間隔、すなわち画素
間隔を示している。そして、図中矢印ｈで指し示す位置
を、補間すべき位置（補間点）とする。すなわち図中丸
印の位置が図１１の（ｄ）或いは図１２の（ｄ）の前記
Ｒ_iであり、図中矢印ｈの位置が今注目している前記Ｑ_i
の位置である。前記Ｑ_iの一つ一つについて、そのＱ_iを
挟む周辺のＲ_iを使って畳み込み演算をして補間演算が
実現される。

【００２４】ここで、一般に、「標本化定理」によれ
ば、理論的理想的な「補間」は図１４の（ａ）及び次式
（１）のようなsinc関数ｆ(x)＝sinc(x)＝sin(x)／x ・・・（１）を補間関数として、無限時間過去から無限時間将来まで
畳み込み演算をすればよい。しかし実際にはそれは実現
できず、現実的な課題としては、sinc関数をいかに有限
期間の簡単な補間関数に近似するかという問題になる。
そしてその簡単な近似法として、１．最近傍近似法（図１４の（ｂ），式（２））２．双一次近似法（図１４の（ｃ），式（３））３．キュービック（Cubic）近似法（図１４の（ｄ），式（４））などが知られている。なお、上記最近傍近似法の近似補
間関数を図１４の（ｂ）及び式（２）に示し、上記双一
次近似法の近似補間関数を図１４の（ｃ）及び式（３）
に示し、上記キュービック（Cubic）近似法の近似補間
関数を図１４の（ｄ）及び式（４）に示す。また、図１
４の横軸は原画像の標本間隔で正規化されているものと
する。

【００２５】ｆ(x)＝１（-0.5＜ｘ≦0.5) ｆ(x)＝０（-0.5≧ｘ，ｘ＜0.5) ・・・（２）ｆ(x)＝１−｜ｘ｜（|x|≦１）ｆ(x)＝０（|x|＞１）・・・（３）ｆ(x)＝｜ｘ｜³−２｜ｘ｜²＋１（|x|≦１）ｆ(x)＝−｜ｘ｜³＋５｜ｘ｜²−８｜ｘ｜＋４（１＜|x|≦２）・・（４）ｆ(x)＝０（２＜|x|）補間後の１画素を演算するのに、原画像の画素データを
それぞれ、上記最近傍近似法では１画素、上記双一次近
似法では２画素、上記キュービック近似法では４画素使
って畳み込み演算をする。上記双一次近似法は加重平均
をとっているのであって、線形補間として良く知られて
いる。

【００２６】ここで必要な畳み込み演算はいわゆるＦＩ
Ｒ（非巡回型）ディジタルフィルタを用いればよく、近
似補間関数の中心を補間点に合わせた時に、所定の画素
数分だけ近傍の原画像の標本点で近似補間関数を標本化
した値を補間フィルタ係数セットとして使う。

【００２７】ここで注意すべきことは、今補間しようと
している各補間点ごとの、原画像画素位置に対する相対
位置関係を示す前記図１３の位相（ズレ）Ｐの違いによ
り、そのＦＩＲフィルタの演算に必要な重み、すなわち
フィルタ係数のセットが異なってくると言うことであ
る。

【００２８】例えば、上記双一次近似法で補間フィルタ
演算をする場合であれば、Ｐ＝０．０の場合は、その場
合のフィルタ係数セットとなる２つの重み（フィルタ係
数）は１．０と０．０となり、位置が一致する原画像の
画素データ値をそのまま通すような係数セットとなる
が、Ｐ＝０．５の場合は上記２つの重み（フィルタ係
数）は０．５と０．５の係数セットとなり、Ｐ＝０．３
の場合は上記２つの重み（フィルタ係数）０．７と０．
３の係数セットとなる。同様に、キュービック近似法で
は、Ｐ＝０．０の場合はその４つの重み（フィルタ係
数）は０．０と１．０と０．０と０．０とになり、位置
が一致する原画像画素のデータ値をそのまま通すような
係数セットとなっているが、Ｐ＝０．５の場合の４つの
重み（フィルタ係数）は−０．１２５と０．６２５と
０．６２５と−０．１２５の係数セットとなり、Ｐ＝
０．３の場合の４つの重み（フィルタ係数）は−０．０
６３と０．８４７と０．３６３と−０．１４７との係数
セットとなる。これらは上記式（２）〜式（４）のｘに
Ｐを代入して得られる。

【００２９】次に、補間フィルタ演算、すなわち補間関
数の畳み込み演算を実現するハードウェア構成につい
て、その従来例を図１５を用いて説明する。補間フィル
タ演算はＦＩＲディジタルフィルタにより行われ、ただ
しそのフィルタ係数が補間点ごとに変わらなければなら
ない。したがって、図１５のような構成の演算装置で積
和演算すれば実現できる。なお、図１５ではキュービッ
ク近似法を想定している。

【００３０】図１５は、各補間位置におけるデータの妥
当な値を次々と演算（補間フィルタ演算）するＦＩＲデ
ィジタルフィルタである。

【００３１】この図１５において、入力端子２５０に
は、水平走査された入力画像データ時系列が供給され
る。また、図中Ｍ１，Ｍ２，Ｍ３，Ｍ４として表す４つ
のレジスタ２５４〜２５８は、入力端子２５０から供給
された原画像の画素データ１つ分をそれぞれが記憶でき
るレジスタである。これらレジスタ２５４〜２５８は直
列接続されており、４段のシフトレジスタとして動作す
る。これらレジスタ２５４〜２５８にて構成されるシフ
トレジスタには、上記水平走査された入力画像データ時
系列がワード単位に入力され、これにより当該シフトレ
ジスタは常に連続する４つの原画像画素データを記憶す
ることになる。キュービック近似法は、補間点を挟む近
傍左右２画素づつ計４画素の原画像データから補間点の
妥当なデータ値を求める方法なので上記４段のシフトレ
ジスタが必要になっている。

【００３２】また、端子２５１には、制御されたクロッ
ク或いはクロックの制御信号Ｅが入力される。この制御
信号Ｅは、上記４段のシフトレジスタをシフトさせた
り、停止させたり制御する信号であり、図示しないコン
トローラから供給される。

【００３３】端子２５２には、複数のフィルタ係数セッ
ト中から、求めたい補間点Ｑ_iの位相Ｐに対応すフィル
タ係数セットを選ぶ選択信号Ｃが入力される。係数メモ
リ２５３は、先に説明した位相Ｐの種類ごとの複数のフ
ィルタ係数セットを記憶するメモリであるため、上記選
択信号はアドレスデータとなる。

【００３４】乗算器２５９〜２６２では、上記係数メモ
リ２５３からのフィルタ係数ＦＣ₁〜ＦＣ₄と上記４段の
シフトレジスタの各レジスタ２５４〜２５８からの各画
素データとの乗算を行い、それぞれ得られた乗算結果を
総和加算器２６３に出力する。

【００３５】総和加算器２６３では、それぞれ供給され
た乗算結果の総和加算を行い、その加算結果が出力端子
２６４から補間フィルタ演算結果の出力画像データ時系
列として出力される。

【００３６】図１５の構成は、従来よりハードウェアで
実現されている。ここで、リアルタイム画像処理の場合
においては、その標本化周期が５０ナノ秒というような
オーダーの短時間であるために、リアルタイムの音の信
号処理の場合などと違って、従来はソフトウェアプログ
ラムによる実現例はほとんどなく、図１５の各部分をパ
イプライン方式を多用したハードウェア専用化回路にし
て実現するのが一般的であった。

【００３７】次に、上記図１５のハードウェア構成にお
いて、画像をキュービック近似により例えば１０／７倍
に拡大する場合の動作を図１６及び図１７に示す表を使
い説明する。１０／７倍の画像拡大は図１１で説明した
通りであり、水平方向については図１１の（ｄ）の位置
関係の各補間点ごとに図１３のように考えて、図１５の
ような装置で補間フィルタ演算をすればよい。図１６に
示す表はその場合における図１５の各部の動作手順を示
している。

【００３８】図１６に示す表はタイムチャートであり、
表中のサイクルとは時刻すなわちクロックサイクルを意
味している。表中のＩＮ欄は入力データであり、図１５
の入力端子２５０に与えられる原画像画素データ値Ｒ_i
を示す。表中のＣ欄は図１５の端子２５２に供給される
フィルタ位相選択信号Ｃであり、係数メモリ２５３のど
の位相のフィルタ係数セットを使うかを選択し、そのサ
イクルで演算すべきＱ_iのための位相Ｐ_iを指定する。表
中のＥ欄は図１５の端子２５１に供給されるシフトレジ
スタ制御信号で、シフト（論理「Ｈ」）か停止（論理
「Ｌ」）のどちらかの状態を指定する。この図１６の表
において、Ｃ欄とＥ欄に示す制御入力は、予め何をする
かによって図１１の（ｄ）のような検討を行い、所定の
制御信号列を決めておき、図１５の装置に与えることに
なる。なお、上記Ｅ欄の制御は次のクロックサイクルに
対してその制御が影響されるものとする。表中のＭ₁，
Ｍ₂，Ｍ₃，Ｍ₄の各欄は図１５の４段のシフトレジスタ
の各段のレジスタ２５４〜２５８にそれぞれ記憶されて
いるＲ_iを示す。表中のＯＵＴ欄は図１５の出力端子２
６４から、上記クロックサイクルで出力される出力デー
タＱ_iを示す。なお、図１５のようなハードウェア装置
では、その乗算や総和演算の部分で何らかのパイプライ
ン処理により、レイテンシー（高速演算実現のための本
質的でない遅延）を生ずるのが普通であるが、ここでは
そのレイテンシーはないものとして考えることにする。

【００３９】また、ここで前記係数メモリ２５３には、
図１７に示す表の８ビット表現係数の欄に示す１０種類
のフィルタ係数セットが記憶されているものとし、表中
のＣ欄から与えられた位相Ｐ_iに応じて、前記４つのフ
ィルタ係数ＦＣ₁，ＦＣ₂，ＦＣ₃，ＦＣ₄を出力するもの
とする。今想定している１０／７倍の画像拡大の場合に
はその補間演算に必要な位相の種類は図１１の（ｄ）の
ように１０種類しかなくて、それが繰り返し使われるだ
けだからである。

【００４０】図１７の表中の１０種類のフィルタ係数セ
ットは図１１の（ｄ）のＱ₁〜Ｑ₁₀についての１０種類
の位相Ｐに対応しているわけだが、これは図１３でＳを
１０等分した場合の位置についての１０種類のＰになっ
ているので、図１７の表ではＰの小さい順、すなわち０
／１０，１／１０，２／１０，・・・の順でＰ_iのｉの
順を決めている。そしてＰ_iをｘとして前記式（４）に
代入して得た係数が浮動小数点表現係数であり、それを
８ビットに語長制限して（ここでは最大振幅を１２８と
した）８ビット表現係数を得ている。

【００４１】上記図１６の表及び図１５の構成におい
て、まず、第１サイクルではＩＮ欄に示すようにＲ₁が
現れる。この時、レジスタ２５４〜２５８のＭ₁,Ｍ₂,Ｍ
₃，Ｍ₄には、Ｒ₁よりひとつ前のデータをＲ_m0、そのも
うひとつ前のデータをＲ_m1、そのもうひとつ前をＲ_m2、
更にそのもうひとつ前をＲ_m3とした時、それぞれＲ_m0，
Ｒ_m1，Ｒ_m2，Ｒ_m3が記憶されているものとする。

【００４２】第１サイクルではＥ欄のシフト制御信号が
論理「Ｈ」であり「シフト」を示しているので、次のク
ロックの立ち上がりでシフトレジスタはシフトし、第２
サイクルではＭ₁，Ｍ₂，Ｍ₃，Ｍ₄としてそれぞれＲ₁，
Ｒ_m0，Ｒ_m1，Ｒ_m2が記憶されている状態となる。第２サ
イクルでは、ＩＮ欄に示すようにＲ₂が与えられ、Ｅ欄
のシフト制御信号は論理「Ｈ」すなわち「シフト」なの
で、次のクロックの立ち上がりでシフトレジスタはシフ
トして第３サイクルでは各レジスタはそれぞれＲ₂，
Ｒ₁，Ｒ_m0，Ｒ_m1となる。第３サイクルではＩＮ欄から
Ｒ₃が与えられ、シフト制御信号は論理「Ｈ」なので、
第４サイクルでは各レジスタはそれぞれＲ₃，Ｒ₂，
Ｒ₁，Ｒ_m0となる。

【００４３】この第４サイクルではＩＮ欄からＲ₄が与
えられ、Ｃ欄のフィルタ位相選択信号には図１１の
（ｄ）におけるＲ_m0，Ｒ₁，Ｒ₂，Ｒ₃に対するＱ₁の位置
関係、すなわち位相Ｐ₀が与えらる。これは図１３にお
いてＲ_a＝Ｒ_m0，Ｒ_b＝Ｒ₁，Ｒ_c＝Ｒ₂，Ｒ_d＝Ｒ₃とする
場合のＱ₁の位置関係を示すＰ_iがｉ＝０であるというこ
とである。よってＣ欄のフィルタ位相選択信号が今Ｐ₀
なので、図１５の係数メモリ２５３が出力する４つのフ
ィルタ係数ＦＣ₁，ＦＣ₂，ＦＣ₃，ＦＣ₄は、図１７の表
中の位相Ｐ₀の場合のフィルタ係数セットすなわち０．
０と１．０と０．０と０．０（８ビットの表現の場合０
と１２８と０と０）が得られ、この係数を使って図１５
のような積和演算構成で畳み込みのための積和演算がな
されて、出力端子２６４にはＲ₁の値がそのままＱ₁とな
った出力データが得られる。

【００４４】なお、この第４サイクルでは図１６のＥ欄
のシフト制御信号が論理「Ｌ」であり「停止」を示して
いるので、次の第５サイクルでもシフトレジスタの各レ
ジスタ２５４〜２５８は第４サイクルの時のデータを保
持する。そして次の第５サイクルでは、図１６の表中Ｉ
Ｎ欄よりＲ₄が継続して与えられ、Ｃ欄のフィルタ位相
選択信号には図１１の（ｄ）におけるＲ_m0，Ｒ₁，Ｒ₂，
Ｒ₃に対するＱ₂の位置関係、すなわち位相Ｐ₇が与えら
れているので、図１７の表中位相欄のＰ₇に応じたフィ
ルタ係数セットが前記係数メモリ２５３から出力され
て、Ｑ₂のデータ値を求める積和演算がなされ、出力端
子２６４にはＱ₂が得られる。ここで位相がＰ₇となって
いるのは、図１１の（ｄ）におけるＲ_m0，Ｒ₁，Ｒ₂，Ｒ
₃に対するＱ₂の位置関係に対応した、図１３におけるＲ
_a＝Ｒ_m0，Ｒ_b＝Ｒ₁，Ｒ_c＝Ｒ₂，Ｒ_d＝Ｒ₃の場合のＰ
が、Ｒ₁とＲ₂の間隔Ｓに対して、Ｒ₁とＱ₂の間隔が７／
１０だからである。

【００４５】また、第４サイクルから第５サイクルにな
る時にシフトレジスタがシフトしなかったのは、図１１
の（ｄ）においてＱ₁とＱ₂が、同じようにＲ₁とＲ₂の間
に位置していて、補間フィルタ演算のための原画像信号
の前後の４データの組合せが同じだからである。図１６
のＥ欄のシフト制御信号が停止すなわち論理「Ｌ」にな
る時はこのような場合であり、その場合次のサイクルの
ＩＮ欄に与える入力データは、同じデータが連続され
る。

【００４６】この第５サイクルではＥ欄のシフト制御信
号が論理「Ｈ」であり、第６サイクルでは各レジスタは
それぞれＲ₄，Ｒ₃，Ｒ₂，Ｒ₁となる。そして第６サイク
ルではＩＮ欄よりＲ₅が与えられ、Ｃ欄のフィルタ位相
選択信号には図１１の（ｄ）におけるＲ₁，Ｒ₂，Ｒ₃，
Ｒ₄に対するＱ₃の位置関係、すなわち位相Ｐ₄が与えら
れているので、図１７の表のＰ₄に応じたフィルタ係数
セットが係数メモリから出力されて、Ｑ₃のデータ値を
求める積和演算がなされ、出力端子２６４にはＱ₃が得
られる。ここで位相がＰ₄となっているのは、図１１の
（ｄ）におけるＲ₁，Ｒ₂，Ｒ₃，Ｒ₄に対するＱ₃の位置
関係に対応した、図１３におけるＲ_a＝Ｒ₁，Ｒ_b＝Ｒ₂，
Ｒ_c＝Ｒ₃，Ｒ_d＝Ｒ₄の場合のＰが、Ｒ₂とＲ₃の間隔Ｓに
対して、Ｒ₂とＱ₃の間隔が４／１０だからである。これ
は、Ｑ₂の時のＰ₇の７／１０に対して、更に７／１０が
累加されて１４／１０となり、このうち１０／１０が原
画像データ１個分に相当するので減算されたためであ
る。

【００４７】すなわち、Ｑ_iのｉが１増えるごとにＰは
０．７ずつ増えており、しかし整数分はデータ遅延とし
て扱えるのでモジュロ演算されるのである。このＰの増
分をここでＰ_dと定義することにする。

【００４８】以下、同様にして図１５の構成の上で、図
１１の（ｄ）によって決まる図１６の表の手順と制御に
より、順にＱ_iが求められ、補フィルタ間演算が実現さ
れる。

【００４９】なお、図１５は補間フィルタ演算の実現で
あって、ここまでの説明では正確にはデータレートの変
換は実現されていない。すなわち画像の画素数変換など
を施した時にその入出力のデータレートは必然的に違っ
てくるが、入出力データはそれぞれ画像データとして定
常的な一定速度のデータ流になっていて欲しいのが普通
である。しかし、例えば図１６の表の画素数が増える変
換の例では、出力は一定になっているものの、入力デー
タ列は走ったり止まったりする必要が生じている。画素
数が減る変換の場合ならこれは逆に入力は一定になるも
のの、出力データ列が出力されたり出力されなかったす
ることとなる。この問題については、データの流れ速度
の問題であり、これは図１５のような構成に前後どちら
かに、そのデータ流を一定化させたり、一定のデータ速
度を間欠化するためのバッファメモリ、或いはＦＩＦＯ
メモリを配置することで容易に実現される。このための
バッファメモリの構成などについてはメモリ制御の問題
であり、説明を省略する。

【００５０】

【発明が解決しようとする課題】上述したように、従来
の画素数変換は、前述の図１５に示したような固定され
た積和演算回路からなる構成にて行われている。

【００５１】しかし、このような固定された積和演算回
路の場合、例えばタップ数や変換比率を変更したい時に
回路設計からやり直さなければならず、手間と時間がか
かるという問題点があった。また、複数の変換比率にて
画素数変換を行う必要があるような場合には、それぞれ
の変換比率に対応する画素数変換装置を複数用意しなけ
ればならないという問題点もあった。

【００５２】そこで、本発明はこのような状況に鑑みて
なされたものであり、例えばタップ数や変換比率を変更
したい時に、容易かつ短時間でそれらの変更が可能であ
り、また、複数の変換比率にて画素数変換を行う必要が
ある場合でもそれぞれの変換比率に対応する複数用意す
る必要が無い画像信号処理方法及び装置を提供すること
を目的とする。

【００５３】

【課題を解決するための手段】本発明の画像信号処理方
法及び装置は、第１の方向及びそれと交差する第２の方
向に配列する複数画素からなる２次元画像に対して、フ
ィルタ演算を施す画像信号処理方法及び装置であり、フ
ィルタ仕様情報に基づいて第１，第２の両方向用のフィ
ルタ演算に必要なフィルタプログラム及びフィルタ係数
を発生し、第１の方向の画素順で順次シリアルに入力し
た画素データをパラレルに変換し、このパラレル変換さ
れた第１の方向の画素列の各画素データに対して第１の
方向用のフィルタプログラム及びフィルタ係数を用いた
所定のフィルタ演算処理を施し、その後の第１の方向の
画素列の各画素データに対して、必要に応じて更に第２
の方向用のフィルタプログラム及びフィルタ係数を用い
た所定のフィルタ演算処理を施し、得られたパラレル画
素データを第２の方向の画素順に順次シリアル出力する
ことにより、上述した課題を解決する。

【００５４】ここで、本発明の画像信号処理方法及び装
置では、２次元画像を拡大または縮小するとき、その拡
大または縮小の設定に応じた第１，第２の両方向の拡大
または縮小フィルタ演算に必要なフィルタプログラム及
びフィルタ係数を発生し、第１の方向の画素順で順次入
力した画素データまたは当該画素データ間をスキップす
るためのスキップ情報を生成し、第２の方向の入力画素
列数と出力画素列数の拡大または縮小比を制御するため
のタイミング情報を生成する。

【００５５】すなわち、本発明によれば、フィルタプロ
グラム及びフィルタ係数をフィルタ仕様情報に基づいて
自動的に設定し、この自動的に設定されたフィルタプロ
グラム及びフィルタ係数に基づいてフィルタ演算を行っ
ている。また、本発明によれば、２次元画像を第１の方
向と第２の方向に分けて考え、これら第１の方向と第２
の方向のそれぞれに対して分離してフィルタ演算を行う
ようにしているため、フィルタ演算のためのフィルタプ
ログラム及びフィルタ係数を容易かつ効率的に設計でき
るようにしている。さらに、このようにフィルタ演算を
分離することで、第１の方向と第２の方向のフィルタ演
算の独立性や保守性を高めるようにしている。

【００５６】

【発明の実施の形態】以下、本発明の好ましい実施の形
態について、図面を参照しながら説明する。

【００５７】先ず、画素数変換処理のための補間フィル
タ演算を前述の図１５のようなハードウェア構成ではな
く、ソフトウェアプログラム処理にて実現する手法につ
いて説明する。

【００５８】当該ソフトウェアプログラムにて補間フィ
ルタ演算を行う構成としては、例えば図１に示すような
画像用のいわゆるＳＩＭＤ(Single Instruction Multip
le Data Stream)制御されるリニアアレイ型多並列プロ
セッサ１２０が知られている。このプロセッサ１２０
は、いわゆるＤＳＰ(digital signal processor)にて実
現されている。このプロセッサ１２０は大きく分けて、
入力ＳＡＭ(serial access memory）部１２１と、デー
タメモリ部１２２と、ＡＬＵ(arithmetic and logical
unit)アレイ部１２３、出力ＳＡＭ部１２４、プログラ
ム制御部１２５とを有してなるものである。

【００５９】上記入力ＳＡＭ部１２１、データメモリ部
１２２、ＡＬＵアレイ部１２３、出力ＳＡＭ部１２４
は、全体でリニアアレイ（直線配列）型に多数並列化さ
れた要素プロセッサ群を構成しており、この多数の要素
プロセッサは、プログラム制御部１２５内にある共通の
一つのプログラム制御部により連動して制御（ＳＩＭＤ
制御）される。プログラム制御部１２５には、プログラ
ムメモリとそのプログラムの歩進のためのシーケンス制
御回路などがあり、プログラムメモリに予め書き込まれ
たプログラムに従って各部分に接続されている各種制御
信号を発生して各部分を制御する。

【００６０】なお、入力ＳＡＭ部１２１、データメモリ
部１２２、出力ＳＡＭ部１２４は基本的にメモリであ
り、これらのメモリのための「ロウ(ROW)」アドレスデ
コードは、詳細に説明しないが図１においては、プログ
ラム制御部１２５に含まれているものとして以下説明す
る。

【００６１】多数並列化された要素プロセッサの単一エ
レメント分は、図１中に斜線にて示したような縦の細長
い範囲であり、これが図で横方向に直線配列で並んでい
る。すなわち一般にプロセッサと呼ばれるために必要な
図２のような一般的な構成要件を、図１の斜線で示した
縦の細長い要素プロセッサはそれぞれが満たしている。
図２の入力バッファメモリ(ＩＱ)１３０に相当するのが
図１の入力ＳＡＭ部１２１である。図２の出力バッファ
メモリ(ＯＱ)１３１に相当するのが図１の出力ＳＡＭ部
１２４である。図２のデータメモリ(ＲＦ)１３２に相当
するのが図１のデータメモリ部１２２である。データメ
モリ１３２のデータを、必要に応じて選んで読み出して
演算をするためのＡＬＵ１３３に相当するのが図１のＡ
ＬＵアレイ部１２３である。

【００６２】なお、図２の構成では、入力端子Ｄ_INに供
給された入力データは一旦入力バッファメモリ(ＩＱ)１
３０に入力され、そこから記憶のためのデータメモリ
(ＲＦ)１３２に必要な分づつ移される。そのデータメモ
リ１３２に今記憶された最新のデータや、過去に記憶し
たデータや演算途中のデータなどを必要に応じて選んで
読み出してはＡＬＵ１３３で演算し、再びデータメモリ
(ＲＦ)１３２に書き込むという作業をプログラム制御で
繰り返し、その結果得られた演算結果をバッファメモリ
(ＯＱ)１３１に移動し、所定の速度やフォーマットで出
力する。図２の構成は、様々な用途に利用できる汎用な
プロセッサ形態になっている。

【００６３】普通のプロセッサではそのハードウェアは
一般にワード処理プロセッサであり、ワードを単位とし
て処理するが、図１の斜線で示した縦の細長い範囲で示
す１つの要素プロセッサにおいて、入力ＳＡＭ部１２
１、データメモリ部１２２、出力ＳＡＭ部１２４はメモ
リの「カラム」になっており、またＡＬＵアレイ部１２
３は１ビットＡＬＵであり、事実上フルアダー(全加算
器)を主体にした回路になっている。そのため普通のプ
ロセッサとは違ってビット処理プロセッサであり、ビッ
トを単位として処理する。普通のＣＰＵ（中央処理装
置）で言う８ビットマシンとか１６ビットマシンという
言い方に対応させれば１ビットマシンである。ビット処
理プロセッサはハードウェアが小さく、普通には実現で
きない程多数の並列数を実現できるので、画像用の場
合、要素プロセッサ直線配列の並列数は、映像信号の一
水平走査期間の画素数(Ｈ)に一致させている。

【００６４】更に、この要素プロセッサの構造は一例と
して図３のように書くことができる。ただし図３の各セ
ルの構造は、理解を容易にするために非常に一般的なも
のとしてあるし、また同じ回路が複数並ぶ部分はその要
素回路で代表して書いてある。

【００６５】図１の入力ＳＡＭ部１２１の一つの要素プ
ロセッサ分は、入力ポインタ１２１Ａからの制御を受け
る縦に並んだ複数の入力ＳＡＭセル１２１Ｂである。入
力データバス及び入力ＳＡＭセル１２１Ｂは図１の入力
信号のビット数分(ＩＳＢ)だけ縦に並べて用意されるの
だが、図３ではそれを省略して一つのセル分の図で代表
して表示している。図１のデータメモリ部１２２の一つ
の要素プロセッサ分は、図３におけるメモリセル１２２
Ａを、図１のデータメモリ部１２２の容量のビット数分
(ＭＢ)用意して縦に並べているのだが、図３ではそれを
省略して一つのセルだけ代表して表示している。上記ビ
ット数分(ＭＢ)は演算処理の作業メモリとして必要なだ
け用意される。前記データメモリ部１２２のメモリセル
１２２Ａは、２本の読み出しビット線と１本の書き込み
ビット線を持った３ポートメモリになっており、読み出
しアドレス２組と書き込みアドレス１組を同時に与える
ことができるようになっている。前記ＡＬＵアレイ部１
２３の一つの要素プロセッサ分は図３におけるＡＬＵセ
ル１２３Ａである。ここでＡＬＵセル１２３Ａ中の正味
のＡＬＵ１２３Ｂ部分は１ビットＡＬＵであり、全加算
器(フルアダー)程度の回路である、ＡＬＵセル１２３Ａ
中には他に、ＡＬＵの入力選択などのためのセレクタ
(ＳＥＬ)回路等がある。なおＡＬＵセル１２３Ａ中でＦ
Ｆにて示す部分はフリップフロップ(１ビットレジスタ)
である。前記出力ＳＡＭ部１２４の一つの要素プロセッ
サ分は、出力ポインタ１２４Ａからの制御を受ける縦に
並んだ複数の出力ＳＡＭセル１２４Ｂである。出力デー
タバス及び出力ＳＡＭセル１２４Ｂは図１の出力信号ビ
ット数分(ＯＳＢ)だけ縦に並べて用意されるのだが、図
３ではそれを省略して一つのセル分の図で代表して表示
している。

【００６６】また、この図３の入力ＳＡＭ読み出し信号
Ｓ_IR、メモリ書き込みアクセス信号Ｓ_WA、メモリ読み出
しアクセス信号Ｓ_RAA，Ｓ_RBA、出力ＳＡＭ書き込み信号
Ｓ_OWなどはメモリセルのワード線であり、セルを横に通
過すると共に、横方向に並ぶ同じ回路要素を同様に接続
しながら通過する。これらメモリセルのワード線は、図
１のプログラム制御部１２５内でアドレスデコードがさ
れているものとする。

【００６７】さらに、図３において、セルを縦に通過す
る接続線すなわちビット線とポインタ信号線は、縦方向
に並ぶ回路要素を同様に接続しながら通過するものとす
る。入力データバスは、それぞれ横に並ぶ同じ回路要
素、すなわち入力ＳＡＭセル１２１Ｂを同様に接続しな
がら通過している。出力データバスもそれぞれ横に並ぶ
同じ回路要素、すなわち出力ＳＡＭセル１２４Ｂを同様
に接続しながら通過している。

【００６８】次にこのプロセッサ１２０の動作を図１、
図３を使って説明する。

【００６９】入力端子Ｄ_INに与えられた入力映像信号デ
ータは入力データバスを介して入力ＳＡＭ部１２１に導
かれる。入力ポインタ１２１Ａは一つの要素プロセッサ
にだけ論理「Ｈ」を立てた１ビット信号すなわち入力ポ
インタ信号Ｓ_IPを発生し、論理「Ｈ」で指定された要素
プロセッサの入力ＳＡＭセル１２１Ｂに入力映像信号デ
ータが書き込まれる。ポインタで指定された入力ＳＡＭ
セル１２１Ｂでは、トランジスタＴｒ₁がＯＮし、コン
デンサＣ₁が入力映像信号データに応じた電位になる。

【００７０】入力ポインタ信号Ｓ_IPの入力指定は、入力
映像信号のクロック毎に左端の要素プロセッサから右端
の要素プロセッサに順に移動するので、入力映像信号デ
ータは左端の要素プロセッサの入力ＳＡＭセル１２１Ｂ
から順に右方向の要素プロセッサのＳＡＭセルに記憶場
所が移動し、横に並んだ要素プロセッサ数が入力映像信
号の一水平走査期間の画素数分(Ｈ)以上あるので、入力
映像信号の一水平走査期間分を入力ＳＡＭ部１２１に蓄
積することができる。このような入力動作は、水平走査
期間毎に繰り返される。

【００７１】プログラム制御部１２５は、このようにし
て入力映像信号の一水平走査期間のデータが入力ＳＡＭ
部１２１に蓄積される毎に、プログラムに従って入力Ｓ
ＡＭ部１２１、データメモリ部１２２、ＡＬＵアレイ部
１２３、出力ＳＡＭ部１２４を以下のようにＳＩＭＤ制
御して処理の実行をする。このプログラム制御は水平走
査期間ごとに繰り返される。水平走査期間の時間をこの
プロセッサの命令サイクル周期で割り算したステップ数
だけのプログラムが組める。ＳＩＭＤ制御であるから、
以下の動作は全ての要素プロセッサにおいて同時に同様
に実行される。

【００７２】一水平走査期間分の入力ＳＡＭ部１２１に
蓄積された入力映像信号データは、次の一水平走査期間
において、必要に応じて入力ＳＡＭ部１２１からデータ
メモリ部１２２へ移され、その後の演算処理に使われ
る。

【００７３】最初の入力ＳＡＭ部１２１からデータメモ
リ部１２２への転送動作は、入力ＳＡＭ部１２１の必要
なビットの記憶内容を入力ＳＡＭ読み出し信号Ｓ_IRによ
り選んでアクセスしては、転送先のデータメモリ部１２
２の所定のメモリセルへメモリアクセス信号Ｓ_WAを出し
て書き込んでいくことにより実現する。入力ＳＡＭ読み
出し信号Ｓ_IRにより選ばれた入力ＳＡＭセル１２１Ｂで
は、トランジスタＴｒ₂がＯＮとなって、コンデンサＣ₁
の電位に応じた転送データ信号が縦の書き込み用ビット
線に生じる。この時、信号Ｓ_BCがイネーブルされ、メモ
リアクセス信号Ｓ_WAで選択されたデータメモリ部１２２
の所定のメモリセルのトランジスタＴｒ₁₁がＯＮとなっ
て、コンデンサＣ₁₁が転送データに応じた電位になる。
このデータ転送は縦方向の書き込み用ビット線を経由し
て１サイクルに１ビットづつ行われる。入力ＳＡＭ部１
２１の各入力ＳＡＭセル１２１Ｂからの読み出し信号Ｓ
_IRとデータメモリ部１２２の各メモリセル１２２Ａへの
メモリアクセス信号Ｓ_WAは同じアドレス空間にあり、し
かしそれぞれのロウデコーダでデコードされてワード線
として与えられている。

【００７４】データメモリ部１２２には、過去に上述の
ようにして書き込まれた入力データや演算途中のデータ
が記憶されている。それらのデータ或いはＡＬＵセル１
２３Ａ中の１ビットレジスタ(ＦＦ)に記憶したデータを
用いて、ＡＬＵでのビット単位の必要な演算処理を順次
進めることができる。例えばデータメモリ部１２２のあ
るビットのメモリセル１２２Ａのデータと別のビットの
メモリセル１２２Ａのデータを加算して再びデータメモ
リ部１２２の更に別のビットのメモリセル１２２Ａに加
算結果を書き込む場合は次のようになる。データメモリ
部１２２のあるビットのメモリセル１２２Ａへ読み出し
信号Ｓ_RAAを出して、そのセルのトランジスタＴｒ₁₃を
ＯＮにして、コンデンサＣ₁₁に記憶されていたデータを
片方の読み出し用ビット線に出す。同時にもう一つのビ
ットのメモリセル１２２Ａへも読み出し信号Ｓ_RBAを出
して、そのセルのトランジスタＴｒ₁₄をＯＮにして、コ
ンデンサＣ₁₁に記憶されていたデータをもう片方の読み
出し用ビット線に出す。これら２つの読み出されたデー
タは、ＡＬＵアレイ部１２３のセレクタ(ＳＥＬ)に所定
の経路選択をさせ、ＡＬＵ１２３Ｂに加算をさせ、ＡＬ
Ｕ１２３Ｂからの出力は、信号Ｓ_BCAをイネーブルして
演算結果データを書き込み用ビット線に出し、そしてデ
ータメモリ部１２２の所定の書き込みメモリセル１２２
Ａへ書き込みメモリアクセス信号Ｓ_WAを出してそのセル
のトランジスタＴｒ₁₁をＯＮにして、コンデンサＣ₁₁が
ＡＬＵ出力データに応じた電位になる。このＡＬＵセル
１２３Ａでの演算動作は、ＡＬＵ制御信号Ｓ_ALU-CONTに
よりプログラムから指定される。ＡＬＵセル１２３Ａで
演算した結果は、再びデータメモリ部１２２に書き込む
か、或いは必要に応じてＡＬＵセル１２３Ａ中の１ビッ
トレジスタ(ＦＦ)に記憶することもできる。加算の場合
は普通、キャリーをビットレジスタ(ＦＦ)に、サムをデ
ータメモリ部１２１に導く。

【００７５】このようにしてデータメモリ部１２２か
ら、プログラムに応じてデータを読み出してはＡＬＵア
レイ部１２３で必要な算術演算或いは論理演算を施し、
再びデータメモリ部１２２の所定のアドレスに書き込む
ことが出来る。この演算処理は全てビット処理であり、
サイクル当たり１ビットづつ処理を進める。例えば論理
演算を実行するには、それが８ビットのデータ同士であ
れば、１ビットづつ処理を進めるので必然的に８サイク
ルかかることになる。また８ビットのデータ同士の加算
であれば、必然的に９サイクルかかることになる。８ビ
ットのデータ同士の乗算の場合は、６４回のビット加算
と等価なので、単純には６４サイクル強かけて実現され
ることになる。

【００７６】一水平走査期間の時間内に処理すべき演算
処理が済むと、その水平走査期間のうちに、プログラム
の最後の部分でその水平走査期間分の演算処理済みの出
力データを出力ＳＡＭ部１２４に移す必要がある。デー
タメモリ部１２２の出力すべきデータが記憶されている
所定のメモリセル１２２Ａへメモリアクセス信号Ｓ_RAA
或いはＳ_RBAを出してそのセルのトランジスタＴｒ₁₃或
いはトランジスタＴｒ₁₄をＯＮにして、コンデンサＣ₁₁
に記憶されていたデータを読み出し用ビット線に出す。
ＡＬＵアレイ部１２３には通過する制御信号を出し、出
力ＳＡＭ部１２４には所定のビットの出力ＳＡＭセル１
２４Ｂにデータ転送されるようにその出力ＳＡＭセル１
２４Ｂに書き込み信号Ｓ_OWが出され、そのセルのトラン
ジスタＴｒ₁₇がＯＮして、コンデンサＣ₄がそのデータ
に応じた電位となる。データは縦方向のビット線を経由
して１ビット１ビットデータ転送される。この時データ
移動に際してＡＬＵで何らかの処理をしても良いし、し
なくてもよい。出力ＳＡＭ部１２４の各出力ＳＡＭセル
１２４Ｂへの書き込み信号Ｓ_OWとデータメモリ部１２２
の各メモリセル１２２Ａへのメモリアクセス信号は同じ
アドレス空間にあり、しかしそれぞれのロウデコーダで
デコードされてワード線として与えられている。

【００７７】以上のように、一水平走査期間の時間のう
ちに、入力ＳＡＭ部１２１に蓄積された入力データのデ
ータメモリ部１２２への移動、必要な演算処理、そして
出力ＳＡＭ部１２４への出力データの移動までが、ビッ
トを単位とするＳＩＭＤ制御プログラムで制御され実行
される。このプログラム処理は水平走査期間を単位とし
て繰り返される。ＳＩＭＤ制御なので、全ての要素プロ
セッサは連動動作をしており、水平走査期間分の画素数
(Ｈ)に対して、同じ処理がなされる。

【００７８】このような水平走査期間単位のプログラム
処理が終わって出力ＳＡＭ部１２４に移された出力デー
タは、更に次の水平走査期間に次のように出力ＳＡＭ部
１２４から出力される。出力映像信号データは出力ＳＡ
Ｍ部１２４から出力データバスを介して出力端子Ｄ_OUT
へ導かれる。

【００７９】出力ポインタ１２４Ａは一つの要素プロセ
ッサにだけ論理「Ｈ」を立てた１ビット信号すなわち出
力ポインタ信号Ｓ_OPを発生し、その論理「Ｈ」で指定さ
れた要素プロセッサの出力ＳＡＭセル１２４Ｂから出力
データが出力データバスに読み出され、出力映像信号デ
ータとなる。当該ポインタで指定された出力ＳＡＭセル
１２４ＡではトランジスタＴｒ₈がＯＮとなって、コン
デンサＣ₄の電位に応じた出力信号が出力データバスに
得られる。出力ポインタ信号の論理「Ｈ」が出力映像信
号のクロックごとに左端の要素プロセッサから右端の要
素プロセッサに移動することにより、出力データの読み
出しは左端の要素プロセッサの出力ＳＡＭセル１２４Ｂ
から順に右方向の要素プロセッサのＳＡＭセルに移って
行き、横に並んだ要素プロセッサ数が映像信号の一水平
走査期間の画素数分(Ｈ)以上であるので、出力映像信号
の一水平走査期間分のデータを出力ＳＡＭ部１２４から
出力できる。このような出力動作は水平走査期間毎に繰
り返される。

【００８０】ここで、１．入力データの入力ＳＡＭ部１２１への書き込みによ
る入力動作。

【００８１】２．プログラム制御部１２５のＳＩＭＤ制
御による、入力ＳＡＭ部１２１に蓄積された入力データ
のデータメモリ部１２２への移動、必要な演算処理、出
力ＳＡＭ部１２４への出力データの移動。

【００８２】３．出力データの出力ＳＡＭ部１２４から
の読み出しによる出力動作。

【００８３】の３つの動作は、映像信号の一水平走査期
間を単位とするパイプライン動作になっており、一つの
水平走査期間の入力データに注目すれば、それぞれの動
作は一水平走査期間の時間づつずれた形で実行される
が、３つの動作は連続して同時に並行して進行できる。

【００８４】このような画像用リニアアレイ型多並列プ
ロセッサにおいては、水平方向の同じ画素位置では、ど
の水平走査期間についても一つの要素プロセッサがいつ
も担当するので、過去の水平走査期間の入力データを後
の水平走査期間までデータメモリ部１２２内に保存する
ために、データを入力ＳＡＭ部１２１からデータメモリ
部１２２に移す際にそのアドレスを水平走査期間毎にず
らすメモリアドレス発生の工夫をすることにより、それ
ぞれの要素プロセッサでは、縦方向の所定の連続数の画
素データをデータメモリ部１２２内に持つことができ
て、垂直方向のＦＩＲディジタルフィルタ演算が実現で
きることが知られている。

【００８５】また図１や図３の説明で触れなかったが、
要素プロセッサ列において、隣接する数プロセッサ間で
はプロセッサ間通信のための接続が用意されている。具
体的には図１のデータメモリ部１２２とＡＬＵアレイ部
１２３の間にその接続配線があり、図３のＡＬＵセル１
２３Ａのメモリセル１２２Ａ側のビット線がＡＬＵセル
１２３Ａ内のセレクタＳＥＬに入出力されるところで、
自分の要素プロセッサ内のデータメモリ部１２２のビッ
ト線だけでなく、左右の隣接する数プロセッサのデータ
メモリ部１２２のビット線の中からビット線接続を選べ
るようにしているので、これを利用して各要素プロセッ
サは左右いくつかの隣接する要素プロセッサのデータメ
モリ部１２２をアクセスすることができる。これによっ
て、水平方向に所定の連続数の画素データを扱うことが
できて、水平方向のＦＩＲディジタルフィルタ演算も実
現できるようになっている。

【００８６】ただしこの左右いくつかの隣接する要素プ
ロセッサのデータメモリ部１２２のアクセスは、ＳＩＭ
Ｄ制御であるから、例えば右隣の要素プロセッサのデー
タメモリ部１２２をアクセスするサイクルでは、全ての
要素プロセッサは右隣の要素プロセッサのデータメモリ
部１２２をアクセスしていることになる。もちろんこれ
は普通のＦＩＲディジタルフィルタ実現には支障がな
い。また、直接プロセッサ間通信接続のない少し離れた
要素プロセッサのデータアクセスについては、近傍のプ
ロセッサ間通信を繰り返すことにより、多少プログラム
ステップは増えるが実現可能である。

【００８７】上述したように、画素数変換処理のための
補間フィルタ演算は、ＳＩＭＤ制御されるリニアアレイ
型多並列プロセッサによるソフトウェアプログラム処理
にて実現可能である。

【００８８】ここで、前述した図１の本発明実施例の画
像信号処理装置の構成は、さらに詳細には図４に示すよ
うに構成されるものである。

【００８９】すなわち、本実施例の画像信号処理装置
は、リニアアレイ型多並列プロセッサを用いて画像処理
を行う際、水平及び垂直フィルタを２つのプロセッサエ
レメント群で独立に実行するようにしている。このよう
に、分離型フィルタ構成とすることで、効率的な水平，
垂直フィルタを一般の１次元フィルタ設計手法により実
現できる。また、これを２つの独立したプロセッサエレ
メント群で実行するという構成により、プログラムの独
立性，保守性などを高めることができ、利用し易くして
いる。

【００９０】前記図１をさらに詳細に示す図４のリニア
アレイ型多並列プロセッサ２０は、複数の要素プロセッ
サ（プロセッサエレメント：ＰＥ）２３を有してなり、
各要素プロセッサ２３は、上下２組のプロセッサエレメ
ント群２１，２２を形成している。プロセッサエレメン
ト群２１，２２の要素プロセッサ２３の数は、少なくと
も画像の水平１ライン分を構成する画素の数より多く、
プロセッサエレメント群２１は例えば水平用として、ま
たプロセッサエレメント群２２は例えば垂直用として設
けられている。これらプロセッサエレメント群２１，２
２の各要素プロセッサ２３は、それぞれが前記図１のデ
ータメモリ部１２２及びＡＬＵアレイ部１２３の機能を
有するものである。

【００９１】また、コントローラ２６，２８と係数メモ
リ２７，２９は前記図１のプログラム制御部１２５と対
応している。

【００９２】コントローラ２６は、プロセッサエレメン
ト群２１と係数メモリ２７を前述したようなＳＩＭＤ制
御するものであり、係数メモリ２７は演算に必要なデー
タをプロセッサエレメント群２１に供給する働きを持
つ。プロセッサエレメント群２１に含まれる全ての要素
プロセッサ２３は、コントローラ２６の制御信号に基づ
く同一の演算処理を行う。

【００９３】また、コントローラ２８，係数メモリ２９
についても同様の関係がある。すなわち、コントローラ
２８は、プロセッサエレメント群２２と係数メモリ２９
をＳＩＭＤ制御するものであり、係数メモリ２９は演算
に必要なデータをプロセッサエレメント群２２に供給す
る働きを持つ。プロセッサエレメント群２２に含まれる
全ての要素プロセッサ２３は、コントローラ２８の制御
信号に基づく同一の演算処理を行う。

【００９４】このようにコントローラ２６，２８が２系
統設けられているので、プロセッサエレメント群２１，
２２はそれぞれ独立に動作できる。

【００９５】入力レジスタ２４は、図１の入力ＳＡＭ部
１２１と対応し、シリアル→パラレル変換を行うメモリ
である。この入力レジスタ２４では、画像データが１画
素ずつ順次入力され、１ライン分揃った時点で、並列に
読み出される。当該入力レジスタ２４への画素データ入
力の際には、例えば隙間なく詰め込むのではなく、任意
の場所にゼロを挿入して全体の画素数を拡大するアップ
サンプラーとしても動作可能となっている。

【００９６】出力レジスタ２５は、図１の出力ＳＡＭ部
１２４と対応しており、パラレル→シリアル変換を行う
メモリである。この出力レジスタ２５では、１ライン分
の画素データを並列に入力し、それを１画素ずつ順次出
力する。当該出力レジスタ２５からの画素データ出力の
際には、例えば任意の場所の画素データをスキップして
全体の画素数を縮小するダウンサンプラーとしても動作
可能となっている。

【００９７】次に、この図４に示したリニアアレイ型多
並列プロセッサ２０の動作について説明する。

【００９８】図４において、画像入力端子１０から水平
方向に１ライン分の画素データが、入力レジスタ２４に
順次入力された後、並列に上側のプロセッサエレメント
群２１に供給される。プロセッサエレメント群２１で
は、各要素プロセッサ２３が受け取った各々の画素デー
タに対して、コントローラ２６からの制御命令と係数メ
モリ２７からの係数データを用いてフィルタ演算処理を
行う。上側のプロセッサエレメント群２１による処理結
果は、そのまま下側のプロセッサエレメント群２２に並
列に入力され、必要であれば、更にフィルタ演算処理が
施される。下側のプロセッサエレメント群２２による処
理結果は、出力レジスタ２５に並列に入力され、１画素
ずつ順次出力されて１ライン分の処理結果が得られる。

【００９９】以上により、リニアアレイ型多並列プロセ
ッサ２０は、水平方向に１ラインを形成する画素を一度
に処理できる。これを垂直方向のライン数だけ繰り返す
と、２次元の画像処理ができる。当該プロセッサ２０の
具体的動作については前述したように既に説明してある
ので、ここではその詳細についての説明は割愛する。

【０１００】次に、上記プロセッサエレメント群２１，
２２によるフィルタ演算処理の内容について述べる。な
お、リニアアレイ型多並列プロセッサ２０を用いて水平
フィルタ，垂直フィルタを実現する方法に関しても本件
出願人は既に開示しているので、ここでは簡単に説明す
る。

【０１０１】プロセッサエレメント群２１，２２を構成
する各要素プロセッサ２３は、互いに左右の近傍の要素
プロセッサ２３と通信を行うことができ、このため、同
一ライン上の複数の画素データを用いた演算ができる。
また、要素プロセッサ２３は、前述したように、必要に
応じて複数ライン分の画素データを保持するメモリを備
えているので、ライン間に跨る演算も行える。

【０１０２】ここで、上記画素数変換として、例えば水
平，垂直方向ともに２／３倍に画素数を縮小する場合を
例に挙げると、当該２／３倍縮小画素数変換は、例えば
図５の（Ａ）に示すように、水平方向９画素で垂直方向
６画素の画像から、例えば図５の（Ｂ）に示すように、
水平方向６画素で垂直方向４画素の画像を生成するよう
なことである。このように図５の（Ａ）の画像から図５
の（Ｂ）画素を生成するためには、例えば図５の（Ｃ）
及び図中の式（ａ）のように図５の（Ａ）中の４点の原
画素Ｄ₁〜Ｄ₄から補間画素Ｙを生成するような処理を、
当該図５の（Ａ）の画像中の各画素について行い、得ら
れた補間画素Ｙから図５の（Ｂ）の画像を生成する。

【０１０３】この図５の画素数変換の例では、２ライン
分の入力画素データが揃えば、出力画素が演算できる。
また、水平，垂直方向に２／３倍の画素数変換が行われ
るが、水平方向に関しては出力レジスタ２５のスキップ
機能を用いて、画素数を２／３に間引く。一方、垂直方
向に関しては、「２ライン入力して１ライン出力す
る」、「１ライン入力して１ライン出力する」を交互に
繰り返すことで、出力ライン数は入力ライン数の２／３
になる。

【０１０４】ここで、２次元フィルタのうち、上述のよ
うな水平，垂直の分離型フィルタは、２つの１次元フィ
ルタにて実現することができる。この分離型フィルタに
は、必要な演算器の数を減らせることや、多くの１次元
フィルタ設計手法が利用できることなどの利点があり、
実用上極めて重要である。簡単に説明すると、例えば図
５ような画素数変換を行うフィルタ（Ｙ＝Ｃ₁Ｄ₁＋Ｃ₂
Ｄ₂＋Ｃ₃Ｄ₃＋Ｃ₄Ｄ₄）は、（Ｃ₁＝Ｃ₅Ｃ₇，Ｃ₂＝Ｃ₆Ｃ
₇，Ｃ₃＝Ｃ₅Ｃ₈，Ｃ₄＝Ｃ₆Ｃ₈）となるようなフィルタ
係数Ｃ₅〜Ｃ₈が存在するとき、（Ｈ₁＝Ｃ₅Ｄ₁＋Ｃ
₆Ｄ₂，Ｈ₂＝Ｃ₅Ｄ₃＋Ｃ₆Ｄ₄）なる水平フィルタと、
（Ｙ＝Ｃ₇Ｈ₁＋Ｃ₈Ｈ₂）なる垂直フィルタに分離でき
る。

【０１０５】ここで、上述したような水平，垂直フィル
タを２つのプロセッサエレメント群２１，２２にて独立
に実行するためのプログラムや係数，画素数変換のため
の制御情報等は、図６に示すような流れにより自動的に
生成することができる。すなわち、図６に示す流れによ
り上記プログラムや係数等を自動的に発生すれば、例え
ば、フィルタの仕様を決定するだけで、そのフィルタ仕
様に基づく画素数変換装置が実現可能となり、図４の構
成では、図６の流れにて発生されたプログラムや係数を
入れ換えるだけで、回路の変更をすることなく多種の画
素数変換を含むフィルタ処理を行えるようになる。

【０１０６】この図６において、先ず、所望のフィルタ
を設計するための例えばタップ数や変換比率を設定する
ためのフィルタ仕様３０に基づき、フィルタ設計回路３
３が水平及び垂直のフィルタプログラム３４，３６及び
フィルタ係数（フィルタ係数セット）３５，３７を発生
する。上記水平フィルタプログラム３４は端子４１及び
図４の端子１１を介して前記コントローラ２６に送ら
れ、上記水平フィルタ係数３５は端子４２及び図４の端
子１２を介して前記係数メモリ２７に送られる。また、
上記垂直フィルタプログラム３６は端子４３及び図４の
端子１３を介して前記コントローラ２８に送られ、上記
垂直フィルタ係数３７は端子４４及び図４の端子１４を
介して前記係数メモリ２９に送られる。フィルタ係数セ
ット３５，３７は、一般の１次元フィルタ設計ツールを
用いても、また、ライブラリから選択してもよい。画像
の拡大縮小で、画素数の変化を伴う場合は、プロセッサ
エレメント割当回路３１がデータ入力レジスタ２４及び
データ出力レジスタ２５に対するプロセッサエレメント
スキップ情報３２を発生し、水平方向の画素数を調整す
る。上記スキップ情報３２は、端子４５を介して図４の
端子１５に送られ、入力レジスタ２４或いは出力レジス
タ２５に送られることになる。また、垂直方向に関して
は、入力ライン数と出力ライン数の比を制御するため
に、タイミング設計回路３８がタイミング情報３９を発
生し、これが垂直フィルタプログラム３６に組み込まれ
る。なお、図４では、上下のプロセッサエレメント群２
１，２２にそれぞれ水平，垂直フィルタを割り当ててい
るが、逆の割り当てを行っても、同一の処理結果が得ら
れる。

【０１０７】次に、上記プロセッサエレメント割当回路
３１の具体的な動作について説明する。

【０１０８】当該プロセッサエレメント割当回路３１
は、水平方向の画素数変換のためのスキップ情報３２を
生成する。スキップ情報３２は、水平フィルタプログラ
ム３４において、フィルタ仕様３０にて設定される変換
比率に基づき、水平画素数を変換するというように作用
する。すなわち入出力の画素数の比をＮｉ：Ｎｏ（Ｎ
ｉ，Ｎｏは互いに素）とするとき、変換比率Ｒ＝Ｎｏ／
Ｎｉによって拡大と縮小に動作が分けられる。

【０１０９】先ず、Ｒ＞１（拡大）の場合を説明する。

【０１１０】当該Ｒ＞１の場合、入力レジスタ２４に設
定するスキップ情報としては、例えば左からｉ番目の入
力レジスタに対し、（ｉｍｏｄＮｉ）＜Ｎｏであれ
ば通常動作し、そうでなければスキップ動作するという
ようなスキップ情報を設定する。ただし、（ｉｍｏｄ
Ｎｉ）は、ｉをＮｉで割った余りを表す。例えば、３
／２倍の拡大を行うときは、入力レジスタ２４に対し、
次のようなスキップ情報３２が送られる（ただし、○は
通常動作を、×はスキップ動作を表す）。

【０１１１】○○×○○×○○×・・・・ここに、画像入力端子１０から、例えばａｂｃｄｅｆｇｈｉ・・・・なるデータが入力された場合、入力レジスタ２４にはａｂ０ｃｄ０ｅｆ０ｇｈ０ｉ・・・とういように格納され、データの個数が３／２倍に増え
た形でプロセッサエレメント群２１に渡される。この入
力レジスタ２４に格納されるデータのゼロが挿入された
位置には、後に水平フィルタプログラム３４によって補
間画素が補われる。

【０１１２】次に、Ｒ＜１（縮小）の場合を説明する。

【０１１３】当該Ｒ＜１の場合、出力レジスタ２５に設
定するスキップ情報としては、例えば、左からｉ番目の
出力レジスタに対して、（ｉｍｏｄＮｏ）＜Ｎｉで
あれば通常動作し、そうでなければスキップ動作すると
いうようなスキップ情報を設定する。ただし、（ｉｍ
ｏｄＮｏ）はｉをＮｏで割った余りを表す。例えば、
２／３倍の縮小を行うときは、出力レジスタ２５に対
し、次のようなスキップ情報３２が送られる（ただし○
は通常動作を、×はスキップ動作を表す）。

【０１１４】○○×○○×○○×・・・・ここに、プロセッサエレメント群２２からａｂｃｄｅｆｇｈｉ・・・・なるデータが入力された場合、実際には出力レジスタ２
５からはａｂｄｅｇｈ・・・とういうデータ列が出力され、データの個数は２／３に
減少する。

【０１１５】次に、上記図６のフィルタ設計回路３３の
具体的動作の説明を行う。

【０１１６】フィルタ設計回路３３は、補間演算のため
の係数セットを求める。この係数セットは、水平フィル
タ係数３５、垂直フィルタ係数３６として利用されるこ
とになる。上記補間関数としては、例えばいわゆるキュ
ービック関数を用いることができ、このキュービック関
数を用いた例について以下に説明する。

【０１１７】キュービック関数Ｃｕｂ(x)は、次式
（５）にて表されるものである。なお、式（５）は前記
式（４）と同じ式である。ただし、式（５）に示される
キュービック関数の横軸は原画像をデジタル信号にサン
プリングするサンプリング間隔で正規化されているもの
とする。

【０１１８】Ｃｕｂ(x)＝｜ｘ｜³−２｜ｘ｜²＋１（｜ｘ｜≦１の時）Ｃｕｂ(x)＝−｜ｘ｜³＋５｜ｘ｜²−８｜ｘ｜＋４（１＜｜ｘ｜≦２の時）Ｃｕｂ(x)＝０（２＜｜ｘ｜の時）・・・（５）この場合、フィルタのタップ数は４となり、式（６）に
示すように、補間画素Ｙは左右２つずつの原画素（例え
ばＤ₀〜Ｄ₃の４つの原画素とする）と、これら４つの原
画素Ｄ₀〜Ｄ₃に対応するフィルタ係数セットＣ₀〜Ｃ₃の
積和演算により求める。

【０１１９】Ｙ＝Ｃ₀＊Ｄ₀＋Ｃ₁＊Ｄ₁＋Ｃ₂＊Ｄ₂＋Ｃ₃＊Ｄ₃ ・・・（６）また、上記フィルタ係数セットは、次のようにして決定
する。

【０１２０】例えば、変換比率が３：２の場合、原画素
Ｄと補間画素Ｙの位置関係（位相関係）は図７のように
なる。

【０１２１】この図７において、補間画素Ｙ₀と原画素
Ｄ₀は位相が一致しており、補間画素Ｙ₁は原画素Ｄ₁，
Ｄ₂と１／２だけずれている。補間画素Ｙ₂以降について
は以上の繰り返しであるから、異なる２種類の係数セッ
トが必要になる。例えば、補間画素Ｙ₀に対応する係数
セットを例えばＣ(0.0)，・・・，Ｃ(0,3)とし、補間画
素Ｙ₁に対応する係数セットをＣ(1,0)，・・・，Ｃ(1,
3)とすると、 C(0,0)＝Cub（Y₀から見たD_-1の位置)＝Cub(-1)＝0 C(0,1)＝Cub（Y₀から見たD₀の位置）＝Cub(0)＝0 C(0,2)＝Cub（Y₀から見たD₁の位置）＝Cub(1)＝0 C(0,3)＝Cub（Y₀から見たD₂の位置）＝Cub(2)＝0 C(1,0)＝Cub（Y₁から見たD₀の位置）＝Cub(-3/2)＝-0.125 C(1,1)＝Cub（Y₁から見たD₁の位置）＝Cub(-1/2)＝0.625 C(1,2)＝Cub（Y₁から見たD₂の位置）＝Cub(1/2)＝0.625 C(1,3)＝Cub（Y₁から見たD₃の位置）＝Cub(3/2)＝-0.125 フィルタ設計回路３３は、以上の係数セットを求めるた
めのプログラムを有するものである。

【０１２２】前記水平フィルタプログラム３４、垂直フ
ィルタプログラム３６は、当該フィルタ設計回路３３に
て求めた係数セットを用いて、補間画素Ｙを次のように
計算する。

【０１２３】 Y₀＝C(0,0)×D_-1＋ C(0,1)×D₀＋C(0,2)×D₁＋C(0,3)×D₂ Y₁＝C(1,0)×D₀＋C(1,1)×D₁＋C(1,2)×D₂＋C(1,3)×D₃ Y₂＝C(0,0)×D₁＋C(0,1)×D₂＋C(0,2)×D₃＋C(0,3)×D₄ Y₃＝C(1,0)×D₂＋C(1,1)×D₃＋C(1,2)×D₄＋C(1,3)×D₅ 同様に、変換比率が４：３の場合の例を示す。この例で
は、原画素Ｄと補間画素Ｙの位相関係は３種類であるの
で、３種類の係数セットＣ(0,0)，・・・，Ｃ(0,3)、Ｃ
(1,0)，・・・，Ｃ(1,3)、Ｃ(2,0)，・・・，Ｃ(2,3)が
求められる。

【０１２４】この例の場合も、入出力の画素数の比をＮ
ｉ：Ｎｏ（Ｎｉ，Ｎｏは互いに素）とするとき、Ｎｏ種
類の係数セットが必要になる。

【０１２５】この４：３の場合、原画素Ｄと補間画素Ｙ
の位置関係（位相関係）は、図８のようになる。

【０１２６】ここで、当該４：３の例においても係数セ
ットを、前述同様にＣ(0,0)，・・・，Ｃ(0,3)〜Ｃ(2,
0)，・・・，Ｃ(2,3)とすると、 C(0,0)＝Cub(Y₀から見たD_-1の位置) ＝Cub(-1)＝0 C(0,1)＝Cub(Y₀から見たD₀の位置) ＝Cub(0) ＝0 C(0,2)＝Cub(Y₀から見たD₁の位置) ＝Cub(1) ＝0 C(0,3)＝Cub(Y₀から見たD₂の位置) ＝Cub(2) ＝0 C(1,0)＝Cub(Y₁から見たD₀の位置) ＝Cub(-4/3)＝-0.148 C(1,1)＝Cub(Y₁から見たD₁の位置) ＝Cub(-1/3)＝0.815 C(1,2)＝Cub(Y₁から見たD₂の位置) ＝Cub(2/3) ＝0.407 C(1,3)＝Cub(Y₁から見たD₃の位置) ＝Cub(5/3) ＝-0.074 C(2,0)＝Cub(Y₂から見たD₁の位置) ＝Cub(-5/3)＝-0.074 C(2,1)＝Cub(Y₂から見たD₂の位置) ＝Cub(-2/3)＝0.407 C(2,2)＝Cub(Y₂から見たD₃の位置) ＝Cub(1/3) ＝0.815 C(2,3)＝Cub(Y₂から見たD₄の位置) ＝Cub(4/2) ＝-0.148 この例の場合のタイミング設計回路３８の動作は以下の
ようになる。

【０１２７】当該タイミング設計回路３８は垂直方向の
画素数（ライン数）変換のためのタイミング情報３９を
生成するものである。タイミング情報３９は、垂直フィ
ルタプログラム３６において、フィルタ仕様３０の変換
比率に基づき、入出力走査線のライン数を変換するよう
に作用する。入出力のライン数の比をＮｉ：Ｎｏ（Ｎ
ｉ，Ｎｏは互いに素）とするとき、変換比率Ｒ＝Ｎｏ／
Ｎｉによって拡大と縮小に動作が分けられる。

【０１２８】先ず、Ｒ＞１（拡大）の場合を説明する。
すなわち入力よりも出力の方がライン数が多い場合であ
る。

【０１２９】タイミング設計回路３８は、例えばｉ番目
の入力ラインにおいて（ｉｍｏｄＮｉ）＜Ｎｏであれ
ばライン入力→補間演算処理→ライン出力という順序の
タイミング情報３９を生成し、（ｉｍｏｄＮｉ）≧
Ｎｏであればライン入力を待たずにライン出力を行うの
で、補間演算処理→ライン出力という順序でタイミング
情報３９を生成する。

【０１３０】例えば、３／２倍の拡大を行うとき、次の
ようなタイミング信号３９が生成される。垂直フィルタ
プログラム３９は、この順序に従って処理を行う。

【０１３１】以上より、入力が２ラインにつき出力が３ラインとな
り、垂直方向に３／２倍にライン数が増加する。

【０１３２】次に、Ｒ＜１（縮小の場合）の説明を行
う。すなわち入力よりも出力の方がライン数が少ない場
合である。

【０１３３】ｉ番目の入力ラインにおいて、（ｉｍｏ
ｄＮｉ）＜Ｎｏであればライン入力→補間演算処理→
ライン出力という順序のタイミング情報３９を生成し、
（ｉｍｏｄＮｉ）≧Ｎｏであればライン入力を１回多
く行うために、ライン入力のみのタイミング情報３９を
生成する。

【０１３４】例えば、２／３倍の拡大を行うとき、次の
ようなタイミング信号３９が生成される。垂直フィルタ
プログラム３９は、この順序に従って処理を行う。

【０１３５】ライン入力→補間演算処理→ライン出力→ ライン入力→補間演算処理→ライン出力→ ライン入力→ ライン入力→補間演算処理→ライン出力→ ライン入力→補間演算処理→ライン出力→ ライン入力→ ・・・以上より、入力が３ラインにつき出力が２ラインとな
り、垂直方向に２／３倍にライン数が増加する。

【０１３６】次に、水平フィルタプログラム３４の動作
説明を行う。すなわち上側のプロセッサエレメント群２
１では、以下の図９に示すフローチャートのように水平
フィルタプログラム３４を実行する。

【０１３７】この図９において、ステップＳＴ１ではス
キップ設定を行う。すなわち、スキップ情報３２に従
い、入力レジスタ２４及び出力レジスタ２５にスキップ
動作の設定を行う。

【０１３８】ステップＳＴ２では、領域の確保を行う。
すなわち、各要素プロセッサは、ローカルメモリに４タ
ップ分の係数セットＣ₀〜Ｃ₃を格納するための領域ｃ₁
〜ｃ₄を確保する。

【０１３９】ステップＳＴ３では、係数設定を行う。例
えば、３：２縮小画素数変換の場合には、以下のように
する。例えば、左から１，３，５，・・・，（ｉ＋２）
番目の要素プロセッサは、係数セットＣ(0,0)，・・
・，Ｃ(0,3)を係数メモリからローカルメモリに格納す
る。また、左から２，４，６，・・・，（ｉ＋１）番目
の要素プロセッサは、係数セットＣ(1,0)，・・・，Ｃ
(1,3)を係数メモリからローカルメモリに格納する。

【０１４０】ステップＳＴ４では、データ入力を行う。
各要素プロセッサは、入力レジスタ２４から入力された
データ（原画素Ｄのデータ）をローカルメモリの領域ｄ
に格納する。

【０１４１】ステップＳＴ５では、補間演算を行う。す
なわち、各要素プロセッサは、原画素Ｄと係数Ｃとを用
いて、次の式（７）の演算を行い、結果を補間画素Ｙと
して領域ｙに格納する。ただし、式（７）中のＬ₁(x)，
Ｌ₂(x)，Ｒ₁(x)，Ｒ₂(x)（ｘは変数）は、それぞれ１つ
左、２つ左，１つ右，１つ右の要素プロセッサのローカ
ルメモリの領域ｄの値（原画素Ｄの値）を表す。

【０１４２】Ｙ＝Ｌ₁(D)＊Ｃ₀＋Ｄ＊Ｃ₁＋Ｒ₁(D)＊Ｃ₂＋Ｒ₂(D)＊Ｃ₃ ・・・（７）このステップＳＴ５の次のステップＳＴ６では、データ
出力を行う。すなわち各要素プロセッサは、結果を下側
のプロセッサエレメント群２２に転送する。

【０１４３】その後はステップＳＴ４に戻る。

【０１４４】次に、垂直フィルタプログラム３６の動作
を説明する。すなわち、下側のプロセッサエレメント群
２２では、以下の図１０のフローチャートのように垂直
フィルタプログラム３６を実行する。

【０１４５】この図１０において、ステップＳＴ１１で
は領域を確保する。すなわち、各要素プロセッサは、ロ
ーカルメモリに４ライン分の原画素Ｄ用の領域ｄ₁〜ｄ₄
を確保する。

【０１４６】ステップＳＴ１２では各要素プロセッサ
が、タイミング情報３９に従って以下の（Ａ）から
（Ｃ）の動作を選んで実行する。

【０１４７】このステップＳＴ１２にて（Ａ）が選ばれ
ると、ステップＳＴ１３にてライン入力が行われ、上側
のプロセッサエレメント群２１からの入力データ（原画
素Ｄ）をローカルメモリの領域（ｄ₀〜ｄ₃とする）に格
納する。最新の４ライン分のデータを保持するため、以
下の手順を実行する。

【０１４８】ステップＳＴ１４では領域ｄ₀に領域ｄ₁の
原画素Ｄの値をコピーする。ステップＳＴ１５では、領
域ｄ₁に領域ｄ₂の原画素Ｄの値をコピーする。ステップ
ＳＴ１６では領域ｄ₂に領域ｄ₃の原画素Ｄの値をコピー
する。ステップＳＴ１７では領域ｄ₃に入力データ（原
画素Ｄ）の値をコピーする。

【０１４９】また、ステップＳＴ１２にて（Ｂ）が選ば
れると、ステップＳＴ１８にて補間演算を行う。すなわ
ち、原画素Ｄと係数Ｃとを用いて次の式（８）の演算を
行い、結果を補間画素Ｙの値として領域ｙに格納する。
なお、フィルタ係数は全要素プロセッサで共通なので、
係数メモリから直接読み出す。

【０１５０】Ｙ＝Ｄ₀＊Ｃ₀＋Ｄ₁＊Ｃ₁＋Ｄ₂＊Ｃ₂＋Ｄ₃＊Ｃ₃ ・・・（８）さらに、ステップＳＴ１２にて（Ｃ）が選ばれたとき、
ステップＳＴ１９にてライン出力を行う。すなわち、各
要素プロセッサは、領域ｙの値（補間画素Ｙ）を出力レ
ジスタ２５に格納する。

【０１５１】上述したようなことから、本発明実施例の
画像信号処理装置によれば、画素数変換の処理を全て自
動的に行うことができ、フィルタの仕様を決定するだけ
で、その仕様に基づく画素数変換装置が実現できる。ま
た本実施例の装置によれば、プログラムや係数を入れ換
えるだけで、回路の変更をすることなく、多種の画素数
変換を含むフィルタ処理が行え、さらに、分離型フィル
タを利用することで効率的な水平，垂直フィルタを一般
の１次元フィルタ設計手法により実現でき、また、フィ
ルタ処理を２つの独立したプロセッサエレメント群で実
行するという構成により、プログラムの独立性，保守性
などを高めることができ、利用し易くなっている。

【０１５２】

【発明の効果】本発明においては、フィルタ仕様情報に
基づいて第１，第２の両方向用のフィルタ演算に必要な
フィルタプログラム及びフィルタ係数を発生し、第１の
方向の画素順で順次シリアルに入力した画素データをパ
ラレルに変換し、このパラレル変換された第１の方向の
画素列の各画素データに対して第１の方向用のフィルタ
プログラム及びフィルタ係数を用いた所定のフィルタ演
算処理を施し、その後の第１の方向の画素列の各画素デ
ータに対して、必要に応じて更に第２の方向用のフィル
タプログラム及びフィルタ係数を用いた所定のフィルタ
演算処理を施し、得られたパラレル画素データを第２の
方向の画素順に順次シリアル出力することにより、例え
ばタップ数や変換比率を変更したい時に、容易かつ短時
間でそれらの変更が可能であり、また、複数の変換比率
にて画素数変換を行う必要がある場合でもそれぞれの変
換比率に対応する複数用意する必要が無くなる。

【０１５３】すなわち、本発明の画像信号処理方法及び
装置においては、フィルタプログラム及びフィルタ係数
をフィルタ仕様情報に基づいて全て自動的に設定可能で
あり、したがって、回路の変更をすることなく、フィル
タの仕様を決定するだけで、プログラムやフィルタ係数
を入れ換えることができ、多種の画素数変換や走査線変
換を含むフィルタ処理が実現可能である。また、本発明
においては、２次元画像を第１の方向と第２の方向に分
けて考え、これら第１の方向と第２の方向のそれぞれに
対して分離してフィルタ演算を行うようにしているた
め、フィルタ演算のためのフィルタプログラム及びフィ
ルタ係数を容易かつ効率的に設計可能である。さらに、
本発明においては、このようにフィルタ演算を分離する
ことで、第１の方向と第２の方向のフィルタ演算の独立
性や保守性を高めることができ、利用しやすくなる。

【図面の簡単な説明】

【図１】本発明実施例のリニアアレイ型多並列プロセッ
サの基本構成を示すブロック回路図である。

【図２】リニアアレイ型多並列プロセッサの要素プロセ
ッサの単一エレメントの基本構成を示すブロック回路図
である。

【図３】リニアアレイ型多並列プロセッサの要素プロセ
ッサの具体的構造を示す回路図である。

【図４】本発明実施例のリニアアレイ型多並列プロセッ
サをより詳細に示すブロック回路図である。

【図５】画素数変換時の補間画像演算の説明に用いる図
である。

【図６】本発明実施例のリニアアレイ型多並列プロセッ
サにおけるプログラムとフィルタ係数の自動設計の流れ
を示す図である。

【図７】３：２画素数変換時の原画素と補間画素の位置
関係の説明に用いる図である。

【図８】４：３画素数変換時の原画素と補間画素の位置
関係の説明に用いる図である。

【図９】水平フィルタプログラムを実行する際の流れを
示すフローチャートである。

【図１０】垂直フィルタプログラムを実行する際の流れ
を示すフローチャートである。

【図１１】画像の拡大と標本化周波数（画素数）の変換
についての説明に用いる図である。

【図１２】画像の縮小と標本化周波数（画素数）の変換
についての説明に用いる図である。

【図１３】原画像には存在しなかった位置の画素データ
値を求める補間フィルタ演算についての説明に用い、水
平方向の画素の位置関係を模式的に示す図である。

【図１４】理想的な補間関数と近似された補間関数の説
明に用いる図である。

【図１５】従来のハードウェア構成による画像信号処理
装置の一例を示すブロック回路図である。

【図１６】従来のハードウェア構成による画像信号処理
装置の各部の動作説明に用いる表である。

【図１７】従来のハードウェア構成による画像信号処理
装置にて扱う係数等の説明に用いる表である。

【符号の説明】

２０，１２０リニアアレイ型多並列プロセッサ、１
２１入力ＳＡＭ部、１２２データメモリ部、１２３
ＡＬＵアレイ部、１２４出力ＳＡＭ部、１２５
プログラム制御部、１３０入力バッファメモリ、
１３１出力バッファメモリ、１３２データメモ
リ、１３３，１２３ＢＡＬＵ、１２１Ａ入力ポイ
ンタ、１２１Ｂ入力ＳＡＭセル、１２２Ａメモ
リセル、１２３ＡＡＬＵセル、１２４Ａ出力ポ
インタ、１２４Ｂ出力ＳＡＭセル、２１，２２
プロセッサエレメント群、２３要素プロセッサ、２
４入力レジスタ、２５出力レジスタ、２６，２
８コントローラ、２７，２９係数メモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者青山幸治東京都品川区北品川６丁目７番35号ソニー株式会社内

Claims

【特許請求の範囲】

【請求項１】第１の方向及び当該第１の方向と交差す
る第２の方向に配列する複数画素からなる２次元画像に
対して、フィルタ演算を施す画像信号処理方法におい
て、フィルタ仕様情報に基づいて、上記第１の方向と第２の
方向の両方向用のフィルタ演算に必要なフィルタプログ
ラム及びフィルタ係数を発生し、上記２次元画像を構成する上記第１の方向の画素順で、
順次シリアルに入力した画素データを当該第１の方向の
画素列毎にパラレルに変換し、上記パラレルに変換された上記第１の方向の画素列の各
画素データに対して、当該第１の方向用のフィルタプロ
グラム及びフィルタ係数を用いた所定のフィルタ演算処
理を施し、当該所定の演算処理がなされた上記第１の方向の画素列
の各画素データに対して、必要に応じて更に上記第２の
方向用のフィルタプログラム及びフィルタ係数を用いた
所定のフィルタ演算処理を施し、得られたパラレル画素データを上記第２の方向の画素順
に順次シリアル出力することを特徴とする画像信号処理
方法。
【請求項２】フィルタ仕様情報に基づいて上記２次元
画像の拡大または縮小の設定を行い、上記２次元画像の拡大を行うときには、上記第１の方向
と第２の方向の両方向の拡大フィルタ演算に必要なフィ
ルタプログラム及びフィルタ係数を発生し、上記第１の
方向の画素順で順次入力した画素データ間をスキップす
るためのスキップ情報を生成し、上記第２の方向の入力
画素列数と出力画素列数の拡大比を制御するためのタイ
ミング情報を生成することを特徴とする請求項１記載の
画像信号処理方法。
【請求項３】フィルタ仕様情報に基づいて上記２次元
画像の拡大または縮小の設定を行い、上記２次元画像の拡大を行うときには、上記第１の方向
と第２の方向の両方向の縮小フィルタ演算に必要なフィ
ルタプログラム及びフィルタ係数を発生し、上記所定の
フィルタ演算処理がなされた後の上記第１の方向の各画
素データをスキップするためのスキップ情報を生成し、
上記第２の方向の入力画素列数と出力画素列数の縮小比
を制御するためのタイミング情報を生成することを特徴
とする請求項１記載の画像情報処理方法。
【請求項４】第１の方向及び当該第１の方向と交差す
る第２の方向に配列する複数画素からなる２次元画像に
対して、フィルタ演算を施す画像信号処理装置におい
て、フィルタ仕様情報に基づいて、上記第１の方向と第２の
方向の両方向用のフィルタ演算に必要なフィルタプログ
ラム及びフィルタ係数を発生するプログラム及び係数発
生手段と、上記２次元画像を構成する上記第１の方向の画素順で順
次シリアルに入力した画素データを、当該第１の方向の
画素列毎にパラレルに出力するシリアル／パラレル変換
手段と、上記パラレルに変換された上記第１の方向の画素列の各
画素データに対して、当該第１の方向用のフィルタプロ
グラム及びフィルタ係数を用いた所定のフィルタ演算処
理を施す第１のフィルタ演算手段と、当該第１のフィルタ演算手段にて所定の演算処理がなさ
れた上記第１の方向の画素列の各画素データに対して、
必要に応じて更に上記第２の方向用のフィルタプログラ
ム及びフィルタ係数を用いた所定のフィルタ演算処理を
施す第２のフィルタ演算手段と、上記第２のフィルタ演算手段から得られたパラレル画素
データを、上記第２の方向の画素順に順次シリアル出力
するパラレル／シリアル変換手段とを有することを特徴
とする画像信号処理装置。
【請求項５】上記第１の方向の画素順で順次入力した
画素データ間をスキップするためのスキップ情報を生成
するスキップ情報生成手段と、上記第２の方向の入力画素列数と出力画素列数の拡大比
を制御するためのタイミング情報を生成するタイミング
情報生成手段とを設け、上記２次元画像の拡大を行うとき、上記プログラム及び
係数発生手段は、上記第１の方向と第２の方向の両方向
の拡大フィルタ演算に必要なフィルタプログラム及びフ
ィルタ係数を発生することを特徴とする請求項４記載の
画像信号処理装置。
【請求項６】上記所定のフィルタ演算処理がなされた
後の上記第１の方向の各画素データをスキップするため
のスキップ情報を生成するスキップ情報生成手段と、上記第２の方向の入力画素列数と出力画素列数の縮小比
を制御するためのタイミング情報を生成するタイミング
情報生成手段とを設け、上記２次元画像の縮小を行うとき、上記プログラム及び
係数発生手段は、上記第１の方向と第２の方向の両方向
の縮小フィルタ演算に必要なフィルタプログラム及びフ
ィルタ係数を発生することを特徴とする請求項４記載の
画像情報処理装置。
【請求項７】上記第１の方向の画素順で順次入力した
画素データまたは当該画素データ間をスキップするため
のスキップ情報を生成するスキップ情報生成手段と、上記第２の方向の入力画素列数と出力画素列数の拡大ま
たは縮小比を制御するためのタイミング情報を生成する
タイミング情報生成手段とを設け、上記２次元画像の拡大または縮小を行うとき、上記プロ
グラム及び係数発生手段は、上記第１の方向と第２の方
向の両方向の拡大または縮小フィルタ演算に必要なフィ
ルタプログラム及びフィルタ係数を発生することを特徴
とする請求項４記載の画像信号処理装置。