JP2806436B2

JP2806436B2 - 演算回路

Info

Publication number: JP2806436B2
Application number: JP1318661A
Authority: JP
Inventors: 良平熊谷
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1989-12-07
Filing date: 1989-12-07
Publication date: 1998-09-30
Anticipated expiration: 2013-09-30
Also published as: JPH03177980A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明はデジタルデータ処理システムに用いられる演
算回路に係り、特にデジタル映像処理システムにおける
リアルタイムの映像処理・表示やリアルタイムの画像解
析等に有効な演算回路に関する。

〔従来技術〕

従来、例えば、入力画像から抽出された特徴によりそ
の画像を認識する画像処理システム等において、処理結
果の精巧さ、再現性、定量性及び処理の多様さの理由に
より、デジタル処理系がしばしば用いられる。このデジ
タル処理系では、映像を画素の集合として取り扱う必要
があり、画素に関する演算は膨大なものとなる。例えば
512×512画素、１画素当たりRGB各８ビツトの画像デー
タについて粒度分布の測定を行うためには、処理速度20
MIPS程度の超大型コンピユータを用いて計算したとして
も数秒の処理時間が必要であり、リアルタイムに処理を
行うには充分な速さではない。そこで、画像処理のため
の専用ICにより映像処理の高速化が図られたものもある
が、この専用ICの用途は極めて狭く、広範囲の映像処理
には適用できない。

このような問題を解消するため、従来、演算部におい
て、画素データを複数個単位で保持して映像処理に必要
なパラメータを算出し、変換部において、演算部の処理
結果に基づいて積算等の処理を行う映像処理システムが
提案されている。

この映像処理システムの演算部において濃度平均、フ
ィルタ処理等を行う演算回路は、第11図に示すように構
成される。すなわち、フリツプフラツプ22、24、26を順
次接続してなる保持部28において、スキヤンラインに沿
って画素データが入力されると、複数個の画素データ
（ここでは連続する３個の画素データ）を保持して同時
に出力する。保持部28の出力には乗算部36が接続されて
いる。乗算部36は保持部28が保持する画素データの数と
同数、すなわち３個の乗算回路30、32、34を有してい
る。３個の乗算回路30、32、34には保持部28から出力さ
れた画素データが入力され、各々所定値を乗じた乗算結
果を出力する。出力された乗算結果は分配手段であるセ
レクタ37を介して統合部38へ入力され、統合部38では入
力された乗算結果を基にして映像処理に必要なパラメー
タを算出する。

〔発明が解決しようとする課題〕

しかしながら、従来の演算回路においては、連続して
入力される画素データを複数個単位で保持した後で乗算
を行うため、乗算回路は保持部において保持する画素デ
ータの数と同数必要である。乗算回路は一般的に構成が
複雑であり、乗算回路を多数用いる従来の演算回路の回
路構成も複雑となる、という問題がある。

本発明は上記事実を考慮して成されたもので、構成の
複雑な乗算回路を多数用いることがなく、回路構成が簡
単な演算回路を得ることを目的としている。

〔課題を解決するための手段〕

上記目的を達成するために請求項（１）記載の発明
は、入力された数値データに所定値を乗じて出力する単
一の乗算回路と、前記乗算回路から出力された乗算結果
を複数個単位で保持する乗算結果保持部と、複数の入力
を備え入力された乗算結果の各々に演算処理を施して１
つに統合する少なくとも１つの統合部と、前記乗算結果
保持部で保持された複数個の乗算結果の各々をそのまま
または複数の出力に分配して前記統合部に設けられてい
る複数の入力に出力する分配手段と、を有している。

請求項（２）記載の発明は、請求項（１）記載の発明
に、入力された数値データを複数個単位で保持するデー
タ保持部と、前記データ保持部で保持された複数個の数
値データのいずれかを前記乗算回路に出力する選択手段
と、を更に設けたことを特徴としている。

〔作用〕

請求項（１）では、乗算回路を用いて入力された数値
データに所定値を乗じて出力し、乗算結果保持部におい
て乗算回路から出力された乗算結果を複数個単位で保持
する。

このように、入力された数値データに対して先に乗算
を行い、乗算された結果を保持するので、乗算回路の数
が１個で済み、ゲート効率が向上し、演算回路の回路構
成が簡単となる。

請求項（２）では、データ保持部において入力された
数値データを複数個単位で保持し、選択手段はデータ保
持部で保持された複数個の数値データのいずれかを乗算
回路に出力する。このため、演算内容に応じて、乗算回
路に入力する数値データの順番及び数値データを乗算回
路に入力する回数を選択することができ、演算回路にお
いて多様な演算が可能になる。

〔実施例〕

以下、図面を参照して本発明を映像処理システムに適
用した実施例を詳細に説明する。

第３図において、映像処理システムは画素データが入
力される入力部60を有し、この入力部60に入力された画
素データは、順次、演算部62、変換部64で処理される。
演算部62では、数値演算あるいは状態演算等の演算処理
が行われ、変換部64においては、最終的な処理映像や特
徴量を求める後処理が行われる。

第４図に示すように画素データＰ_i,jは一般に１スキ
ヤンラインに沿って順次配列されている。画像処理にお
いては一般に、第５図に示すように例えば３×３の画素
データＰ_{（ｉ−１），（ｊ−１）}、Ｐ_{（ｉ−１）,j}、Ｐ
_{（ｉ−１），（ｊ＋１）}、Ｐ_{i,（ｊ−１）}、Ｐ_i,j、Ｐ
_{i,（ｊ＋１）}、Ｐ_{（ｉ＋１），（ｊ−１）}、Ｐ
_{（ｉ＋１）,j}、Ｐ_{（ｉ＋１），（Ｊ＋１）}に対して種々
の処理が施される。なお、この処理領域の大きさを２×
２に設定してもよく、あるいはより大きな領域に設定し
てもよい。また、前記処理領域を正方形以外の形状の領
域、例えば中央画素と中央画素の上下左右に隣接する４
画素の領域としてもよい。通常はこのような３×３その
他の領域を保持するための近傍処理が必要であるが、本
実施例ではこの近傍処理部を省略している。

次に、演算部62について説明する。画素データは演算
部62に入力され、ここで映像処理に必要なパラメータが
算出される。例えば処理領域内の各画素の平均濃度はこ
のようなパラメータの１つであり、この演算部62におい
て求めることができる。

演算部62は第６図に示すように、状態演算部92及び本
発明の演算回路によって構成された数値演算部94を備え
ている。状態演算部92では、連結数、その画素が処理の
対象であるか否かの指標、オイラー数を求めるためのパ
ラメータＴ、Ｆ、Ｄ、Ｅ、処理画素とその近傍の状態を
表すコンパレート信号、及びその他が算出される。一
方、数値演算部94では、濃度平均、１次微分、２次微
分、フイルタ処理、及びその他の処理が行われる。これ
らの演算部92、94の処理はパイプライン処理により高速
化されている。

第１図は状態演算部92及び数値演算部94の構成を示し
ている。

入力された画素データを格納するメモリを備えた入力
部60及びメモリ80、・・・、82の出力はマルチプレクサ
（MUX）78の入力に接続されている。マルチプレクサ78
の出力は数値演算部94に接続されており、数値演算部94
には入力部60及びメモリ80、・・・、82から出力される
画素データのいずれかがマルチプレクサ78により選択さ
れて入力される。

数値演算部94は、データ保持部10と、マルチプレクサ
18と、乗算部72と、乗算結果保持部52と、セレクタ74
と、統合部76と、が順次接続されて構成されている。デ
ータ保持部10、マルチプレクサ18、乗算部72、乗算結果
保持部52、セレクタ74、統合部76の各々には図示しない
制御装置から制御信号が入力され、この制御信号によっ
て本実施例の映像処理システムの基準タイミングとされ
ているクロツクに基づいた所定のタイミングで動作する
ように制御される。

データ保持部10は３個のフリツプフロツプ12、14、16
が順に接続されて構成されており、各々のフリツフフロ
ツプ12、14、16には前記制御信号が入力されるようにな
っている。第１のフリツプフロツプ12には、第４図に示
すように画素データＰ_i,jが１スキヤンラインに沿って
順に入力され、これを制御信号によって定まる所定時間
保持して第２のフリツプフロツプ14及びマルチプレクサ
18に出力する。第２のフリツプフロツプ14は第１のフリ
ツプフロツプ12から入力された画素データを、制御信号
によって定まる所定時間保持して第３のフリツプフロツ
プ16及びマルチプレクサ18に出力する。第３のフリツプ
フロツプ16は第２のフリツプフロツプ14から入力された
画素データを、制御信号によって定まる所定時間保持し
てマルチプレクサ18に出力する。従って、マルチプレク
サ18には１スキヤンラインに沿った３個の連続した画素
データが同時に入力されることになる。マルチプレクサ
18は、前記制御信号に同期した所定のタイミングで、入
力された３個の画素データを１個ずつ乗算部72に出力す
る。

乗算部72は、単一の乗算回路54とマルチプレクサ46と
乗数レジスタ58から構成されている。この乗数レジスタ
58には、入力された画素データに乗じる所定値（以下、
乗数という）が複数個記憶されている。乗数レジスタ58
は記憶している乗数の個数と同数の出力端子を有し、出
力端子の各々はマルチプレクサ56の入力端子の各々に接
続されている。マルチプレクサ56には図示しない制御装
置が接続されており、入力端子から入力された複数個の
乗数のいずれか１個を出力端子に導くように制御され
る。マルチプレクサ56の出力端子には乗算回路54が接続
されている。乗算回路54は入力された画素データにマル
チプレクサ56から入力された乗数を乗じ、乗算結果を乗
算結果保持部52へ出力する。

乗算結果保持部52はデータ保持部10と同様の構成で、
３個のフリツプフロツプ66、68、70が順に接続されて構
成されており、各々のフリツプフロツプ12、14、16には
前記制御信号が入力されるようになっている。第１のフ
リツプフロツプ66には乗算回路54から出力された乗算結
果が順次入力され、これを制御信号によって定まる所定
時間保持して第２のフリツプフロツプ68及びセレクタ74
に出力する。第２のフリツプフロツプ68は第１のフリツ
プフロツプ70から入力された乗算結果を、制御信号によ
って定まる所定時間保持して第３のフリツプフロツプ70
及びセレクタ74に出力する。第３のフリツプフロツプ70
は第２のフリツプフロツプ68から入力された乗算結果
を、制御信号によって定まる所定時間保持してセレクタ
74に出力する。また、乗算結果保持部52の３個のフリツ
プフロツプ66、68、70の各々とセレクタ74との間には状
態演算部92が接続されている。従って、セレクタ74及び
状態演算部92には１スキヤンラインに沿った３個の連続
した画素データの乗算結果が同時に入力されることにな
る。

セレクタ74では各入力端子に入力された乗算結果の各
々を、そのまままたは複数の出力に分配して出力端子に
導く。統合部76は、セレクタ74から導かれた乗算結果
を、加減算その他の演算を施しつつ統合する。この統合
部76内の演算は階層的に行われ、各階層において同時に
異なる演算が行われて次段に渡されるパイプライン処理
となっており、これにより、数値演算部94全体として演
算速度を向上させている。

一方、状態演算部92では、入力された各画素データに
対して論理演算、パターンマツチング等の処理を行う。
数値演算部94の統合部76の出力及び状態演算部92の出力
は各々マルチプレクサ90に入力されている。マルチプレ
クサ90の出力はマルチプレクサ84の入力に接続され、マ
ルチプレクサ84の複数の出力は各々バツフア86、・・
・、88を介して各メモリ80、・・・、82に接続されてい
る。メモリ80、・・・、82には数値演算部94または状態
演算部92の処理結果データがセレクタ84及びバツフア8
6、・・・、88を介して格納される。また、メモリ80、
・・・、82に格納された処理データは必要に応じてマル
チプレクサ78を介して数値演算部94及び状態演算部92へ
送られ再度処理することもできる。80、・・・、82に格
納された処理データは変換部64に入力されて、最終的な
映像処理が行われ、あるいは特徴量が求められる。

第７図には変換部64の一部を構成する変換回路40の基
本構成が示されている。変換回路40は高速メモリ42を備
えている。本実施例では高速メモリ42としてスタテイツ
クRAMを使用している。高速メモリ42のライトイネーブ
ル端子には図示しない制御装置が接続されており、高速
メモリ42の読出し、書き込みを制御するライトイネーブ
ル信号Ｓが入力される。高速メモリ42のデータ出力端子
D1は軽演算部44の２個の入力端子の一方に接続されてい
る。本実施例では軽演算部44として加算器を使用してい
る。軽演算部44は２個の入力端子の各々から入力される
２個のデータの加算結果を出力端子から出力する。軽演
算部44の出力端子D2はセレクタ46の２個の入力端子の一
方に接続されている。また、セレクタ46の２個の入力端
子の他方にはデータD4が入力される。セレクタ46は２個
の入力端子から各々入力されたデータのどちらか一方を
セレクタ46の出力端子に導くようになっている。セレク
タ46の出力端子は第１の高速メモリ42のデータ入力端子
D0に接続されている。

次に本実施例の映像処理システムの作用を説明する。

まず、本発明の演算回路が適用された数値演算部94に
おいて、デイジタル画像の図形のエツジを強調し図形を
鮮明化する手法のひとつであるSobelオペレータをｙ方
向について求める演算処理について説明する。

このSobelオペレータは、３×３コンボリユーシヨン
において、中央画素の周囲の画素の濃度値に係数を乗じ
て加えたものを中央画素の濃度とする処理である。Sobe
lオペレータをｙ方向について求める場合の係数を第３
図に示す。すなわち、ｙ方向のSobelオペレータ（ここ
ではラプラシアンに準じてΔｙと表現する）による演算
は次のように定義される。

Δyf_ij＝Ｐ_{（ｉ−１），（ｊ−１）}＋2P_{i,（ｊ−１）}＋
Ｐ_{（ｉ＋１），（ｊ−１）} −Ｐ_{（ｉ−１），（ｊ＋１）}−2P_{i,（ｊ＋１）}−Ｐ
_{（ｉ＋１）,j＋１）} を演算することにより求められる。

入力部60のメモリに格納された画素データは、第４図
に示すスキヤンラインに沿って順次読出され、データ保
持部10に入力される。データ保持部10では、連続する３
画素の画素データＰ_{（ｉ−１），（ｊ−１）}、Ｐ
_{i,（ｊ−１）}、Ｐ_{（ｉ＋１），（ｊ−１）}を保持し、マ
ルチプレクサ18に同時に出力する。マルチプレクサ18は
入力された３個の画素データを所定のタイミングで１個
ずつ乗算部72の乗算回路54に出力する。マルチプレクサ
56では乗算回路54に画素データが入力されているタイミ
ングと同期して、乗数レジスタ58から入力される乗数を
選択する。そして、乗算回路56に乗数１、２、１を順次
出力する。乗算回路54では、入力される画素データＰ
_{（ｉ−１），（ｊ−１）}に１、画素データＰ
_{i,（ｊ−１）}に２、画素データＰ
_{（ｉ＋１），（ｊ−１）}に１を各々乗じて乗算結果保持
部52に出力する。

乗算結果保持部52では入力された乗算結果を保持し、
３個の乗算結果Ｐ_{（ｉ−１），（ｊ−１）}、2P
_{i,（ｊ−１）}、Ｐ_{（ｉ＋１），（ｊ−１）}をセレクタ74
へ同時に出力する。本演算処理において、セレクタ74は
入力されたデータをそのまま統合部76へ出力する。

統合部76ではＰ_{（ｉ−１），（ｊ−１）}＋2P
_{i,（ｊ−１）}＋Ｐ_{（ｉ＋１），（ｊ−１）}が演算され、
演算結果はマルチプレクサ90、84、及びバツフア86を介
してメモリ80に格納される。このとき、画素データＰ
_i,jは第４図に示す通常のスキヤンライン方向とは異な
り、第10図に示すように縦方向に並べ変えられて配列さ
れる。すなわち、メモリ80の座標上（i,j）に格納され
るべき演算結果が座標（j,i）に格納されることにな
り、この結果、中央画素の座標（i,j）に対して上方向
に隣接する座標（i,j−１）に格納されるべき演算結果
が中央画素に対して左方向に隣接する座標（ｉ−1,j）
に格納され、下方向に隣接する座標に格納されるべき演
算結果が中央画素に対して右方向に隣接する座標（ｉ＋
1,j）に格納されることになる。

また、データ保持部10は、画素データＰ
_{（ｉ−１），（ｊ−１）}、Ｐ_{i,（ｊ−１）}、Ｐ
_{（ｉ＋１），（ｊ−１）}の乗算結果Ｐ
_{（ｉ−１），（ｊ−１）}、2P_{i,（ｊ−１）}、Ｐ
_{（ｉ＋１），（ｊ−１）}が乗算結果保持部52に保持され
た時点で、スキヤンラインに沿った次の画素データＰ
_{（ｉ＋２），（ｊ−１）}が入力され、３画素の画素デー
タＰ_{i,（ｊ−１）}、Ｐ_{（ｉ＋１），（ｊ−１）}、Ｐ
_{（ｉ＋２），（ｊ−１）}をマルチプレクサ18に出力する
ようになっている。マルチプレクサ18ではこれらを１個
ずつ順次乗算部へ出力し、乗算部72において乗数１、
２、１が乗じられ、乗算結果保持部52、セレクタ74を経
て統合部76において統合される。１スキヤンラインでの
画素データの読出し、演算が終了すると、次のスキヤン
ラインの読出し、演算に移行し、以下、同様にして画素
データＰ_{（ｉ−１），（ｊ＋１）}、Ｐ_{i,（ｊ＋１）}、Ｐ
_{（ｉ＋１），（ｊ＋１）}に対しても乗数１、２、１が乗
じられ和が求められてメモリ80に格納される。このよう
な処理が１画面（512×512画素）について行われる。

次いでメモリ80に格納されたデータがスキヤンライン
に沿って読出され、乗算部72に順次入力されるデータＰ
_{（ｉ−１）,j}、Ｐ_i,j、Ｐ_{（ｉ＋１）,j}に乗算回路54で
各々乗数１、０、１が乗じられ、乗算結果保持部52、セ
レクタ74を経て統合部76でこれらの差が求められ、これ
により３×３コンボリユーシヨンにおけるｙ方向のSobe
lオペレータΔｙによる演算Δyf_ijが求められる。

この処理結果はメモリ82のＰ_i,jに格納され、このよ
うな処理が１画面において全ての画素データに対して施
される。

Sobelオペレータをｘ方向について求める場合につい
ては、中央画素の周囲の画素の濃度値に第９図に示す係
数を乗じて加えたものを中央画素の濃度とすればよい。
但しこの場合には、入力部60のメモリに格納された画素
データを読出す際に、スキヤンラインの１ラインを保持
するラインメモリを２個用いるか、または第10図に示す
ように縦方向にスキヤンして画素データを読出し、画素
データを縦方向に沿って連続させて数値演算部94へ入力
する必要がある。

数値演算部94では、以上説明した処理と同様に平滑
化、微分、その他の演算処理も行うことができる。

次に変換回路40で処理可能な画像処理として、２値画
像やラベル付けされた画像における面積の計算を説明す
る。メモリ等にラベル付けされた処理対象画像を格納し
ておき、各画素の画像値をアドレスとして高速メモリ42
に入力し、高速メモリ42では入力されたアドレスに格納
されているデータが出力される（高速メモリ42の各アド
レスに格納されているデータの初期値は０とする）。軽
演算部44では、このデータにD3（ここでは「１」に設定
する）を加算したデータが出力され、セレクタ16を介し
て高速メモリ42の同一アドレスに再び格納される。この
処理を処理対象画像のスキヤンが１回終了するまで繰り
返すことにより、画像中の各画素値の画素数が積算さ
れ、各ラベル領域の面積が求められる。

また、変換回路40は軽演算部44の演算内容を最大値抽
出、最小値抽出、論理演算等に変更することにより多様
な特徴抽出が可能である。

このように、本実施例の数値演算回路94では、単一の
乗算回路54を用いて乗算処理を行い、乗算結果を乗算結
果保持部52において保持するようにしたので、数値演算
部94における、一定近傍単位の画素データの処理を単一
の乗算回路54で実現でき、ゲート効率が向上すると共に
構成が簡単となる。

また、一般に乗算回路の構成は複雑であり、乗算回路
を多数含めた回路を設計する場合、設計者の負荷は大で
ある。本発明の演算回路では乗算回路が１個で済むた
め、乗算回路を多数含めた演算回路を設計する場合と比
較して設計者の負荷は少なくて済む。

なお、本実施例では演算回路の統合部として出力が１
系統の統合部76を示したが、第２図に示すように出力が
２系統の統合部96を用いてもよい。この統合部96では２
つの系統で入力端子を共用しており、入力されたデータ
に対して２つの異なる処理、例えば微分処理とフイルタ
処理とを同時に施すことができる。ここで、２つの系統
の処理結果を別々のメモリ等に格納するようにすれば、
例えば微分処理とフイルタ処理とを並列に処理すること
ができ、映像処理システム全体としての処理速度を向上
することができる。

また、本実施例では乗数を乗数レジスタ58に記憶させ
マルチプレクサ56によって乗数を選択して乗算回路54へ
出力していたが、乗数をメモリ等の記憶手段に記憶させ
制御装置等によってアドレスを指定して乗数を選択し乗
算回路へ出力するようにしてもよい。

さらに、本実施例ではデータ保持部10及び乗算結果保
持部52の各々を３個のフリツプフロツプを順次接続して
構成していたが、メモリ等の記憶手段を用いて構成して
スキヤンラインに沿って連続する３画素のデータを所定
のタイミングで同時に出力することもできる。

また、本実施例では乗算部72の前にデータ保持部10及
びマルチプレクサ18を設けていたが、これらを省略して
もよい。

さらに、本発明の演算回路は本実施例記載の映像処理
システムに限らず、様々なデジタルデータ処理システム
に適用可能である。

〔発明の効果〕

以上説明したように本発明では、単一の乗算回路を用
い乗算結果保持部において乗算回路から出力された乗算
結果を複数個単位で保持するようにしたので、構成の複
雑な乗算回路を多数用いることがなく、回路構成が簡単
な演算回路を得ることができる、という優れた効果が得
られる。

【図面の簡単な説明】

第１図は本発明に係る演算回路とその周辺の回路図、第
２図は本発明の他の実施例を示す回路図、第３図は本発
明の演算回路が適用可能な映像処理システムの基本構成
を示す概略ブロツク図、第４図は画素データの配列を説
明する説明図、第５図は３×３の処理領域を説明する概
念図、第６図は演算部の作用を説明する説明図、第７図
は変換回路の基本構成を示す回路図、第８図はSobelオ
ペレータをｙ方向に求める場合の係数を示す概念図、第
９図はSobelオペレータをｘ方向に求める場合の係数を
示す概念図、第10図は縦方向のスキヤンを説明する説明
図、第11図は従来の演算回路を示す回路図である。 10……データ保持部、 52……乗算結果保持部、 54……乗算回路、 60……入力部、 62……演算部、 64……変換部、 72……乗算部、 74……セレクタ、 76……統合部、 94……数値演算部。

Claims

(57)【特許請求の範囲】

【請求項１】入力された１個の数値データに対して１個
の所定値を乗じて出力する単一の乗算回路と、前記乗算
回路から出力された乗算結果を時系列で複数個保持する
乗算結果保持部と、複数の入力を備え入力された乗算結
果の各々に演算処理を施して１つに統合する少なくとも
１つの統合部と、前記乗算結果保持部で保持された複数
個の乗算結果の各々をそのまままたは複数の出力に分配
して前記統合部に設けられている複数の入力に出力する
分配手段と、を有する演算回路。
【請求項２】入力された数値データを複数個単位で保持
するデータ保持部と、前記データ保持部で保持する複数
個の数値データのいずれかを前記乗算回路に出力する選
択手段と、を有することを特徴とする請求項（１）記載
の演算回路。