JP2000057337A

JP2000057337A - 画像処理装置

Info

Publication number: JP2000057337A
Application number: JP10223323A
Authority: JP
Inventors: Saajan Shobaichi; ショバイチ，サージャン; Hidekazu Funatsu; 英一船津
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1998-08-06
Filing date: 1998-08-06
Publication date: 2000-02-25

Abstract

(57)【要約】【課題】任意のフィルタ・カーネルをハードウェア上
にインプリメントすることは困難であった。【解決手段】浮動小数点で表示可能な離散値で示され
る所定のフィルタ・カーネルを出力するコントローラ１
と、複数の光検知センサで得られた入力画像データとフ
ィルタ・カーネルとを用いて畳み込み演算を行う画像セ
ンサ装置２と、畳み込み演算の演算結果を格納するメモ
リ装置３と、演算結果に対して、所定の重み付け処理を
実し、かつ全体の制御を行なうメインコントローラ４と
を備え、連続的な浮動小数点で表示可能なフィルタ・カ
ーネルの動作をシミュレートする画像処理装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、入力画像のデー
タの次元を減少するための事前処理および事前処理での
演算結果を後段の画像の後処理へ利用可能な画像データ
を効率良く得る画像処理装置に関するものである。

【０００２】

【従来の技術】画像処理の過程で使用されるオリエンテ
ーション・マップを発生する従来の画像処理装置として
は、以下の文献１に記載されたクナットソンとグランラ
ンドにより提案されたものがある。文献１：Ｈ．ＫｎｕｔｓｓｏｎａｎｄＧ．Ｈ．Ｇｒ
ａｎｌｕｎｄ．Ｔｅｘｔｕｒｅａｎａｌｙｓｉｓｕ
ｓｉｎｇｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌｑｕａｄｒ
ａｔｕｒｅＦｉｌｔｅｒｓ、ＩＥＥＥＣｏｍｐｕｔ
ｅｒＳｏｃｉｅｔｙＷｏｒｋｓｈｏｐｏｎＣｏ
ｍｐｕｔｅｒＡｒｃｈｉｔｅｃｔｕｒｅｆｏｒＰ
ａｔｔｅｒｎａｎｄＩｍａｇｅＤａｔａｂａｓｅ
Ｍａｎａｇｅｍｅｎｔ、２０６−２１３頁、１９８
３。

【０００３】上記の文献１で開示されているクナットソ
ンとグランランドにより提案された従来の画像処理装置
では、クァドラチャー・ペア・フィルタ（Ｑｕａｄｒａ
ｔｕｒｅｐａｉｒｆｉｌｔｅｒｓ）を用いている。
クァドラチャー・ペア・フィルタとは、同一の周波数応
答を有するが、位相が互いにπ／２ラジアンだけ異なっ
た２つのフィルタを指す。このようなペアのフィルタ
は、数学的には２個の異なったフィルタをヒルベルト変
換して得ることができる。クナットソンとグランランド
により提案された画像処理装置は、画像内の適当な位置
のクァドラチャー・ペア・フィルタの出力値を検討して
画像領域のオリエンテーションを測定するものである。

【０００４】上記したクナットソンとグランランドによ
り提案されたこの従来の画像処理装置では、任意の画像
領域でのオリエンテーションを検出することが困難であ
った。この困難を回避するためフリーマンは、クナット
ソンとグランランドが提案した上記の方法を拡張して、
クァドラチャー・ペア・フィルタが、任意の与えられた
画像領域でいくつかのオリエンテーションを検出可能な
画像処理装置を提案した（文献２を参照）。文献２：Ｆｒｅｅｍａｎ，Ｗ．Ｔ．，Ｓｔｅｅｒａｂ
ｌｅＦｉｌｔｅｒｓａｎｄＬｏｃａｌＡｎａｌｙ
ｓｉｓｏｆＩｍａｇｅＳｔｒｕｃｔｕｒｅ（調整
可能なフィルタと画像構造の局部的解析），Ｍａｓｓａ
ｃｈｕｓｅｔｔｓＩｎｓｔｉｔｕｔｅｏｆＴｅｃ
ｈｎｏｌｏｇｙ，ＤｏｃｔｒａｌＤｉｓｓｅｒｔａｔ
ｉｏｎ，Ｊｕｎｅ１９９２。

【０００５】文献２に示されているフリーマンの画像処
理装置では、例えば、画像領域内での交差形の接合点に
ある垂直方向及び水平方向でのオリエンテーションを検
出することが可能である。フリーマンの採用した方法を
用いれば、ある問題に対するあるフィルタの最適状態を
得ることができる等、広く深く数学的に処理可能ではあ
るが、これをハードウェア環境に（本質的に任意のフィ
ルタ・カーネル値である）クァドラチャー・ペア・フィ
ルタをインプリメントするのは困難であった。

【０００６】

【発明が解決しようとする課題】従来の画像処理装置は
以上のように構成されているので、必要なフィルタ・カ
ーネルをハードウエアで実現することが困難であるとい
う課題があった。例えば、現在までに開発された従来の
画像検出半導体チップとしては、（ｎ／８，ｎ／７，ｎ
／６，ｎ／５，ｎ／４，ｎ／３，ｎ／２，ｎ，０）の集
合からフィルタ・カーネル値を実現可能である。ここ
で、ｎは、１，２，３，４，５，６，７，８の値をと
る。また、例えば、−ｎ／８，−ｎ／７等のように、上
記の値に負号を付与した値のものもハードウェアで実現
可能であるが、任意のフィルタ・カーネル値をハードウ
ェアで実現することは困難であった。即ち、フリーマン
のフィルタ・カーネル値は、ｎ×ｎのアレイで示される
実数値であり、従来の画像センサ装置で処理可能なフィ
ルタ・カーネル値をもって、これらの実数値を近似する
のは一般的に困難であるという課題があった。即ち、従
来の画像センサ装置は、有理数の小さな部分集合の値の
みインプリメント可能であったので、フリーマンのフィ
ルタ・カーネル値のような実数値を近似するのは一般的
に困難であり、従来の画像センサ装置にインプリメント
することは数値的に不可能であるという課題があった。

【０００７】この発明は上記のような課題を解決するた
めになされたもので、フリーマンのフィルタ・カーネル
値等の実数値で表現される任意のフィルタ・カーネルを
ハードウェア上にインプリメントし、また、オリエンテ
ーション・マップの近似値の品質を向上するため、低ノ
イズの画像のオリエンテーション・マップを高速で生成
可能な画像処理装置を得ることを目的とする。

【０００８】

【課題を解決するための手段】この発明に係る画像処理
装置は、フィルタ・カーネル供給手段が、浮動小数点で
表示可能な離散値で示される所定のフィルタ・カーネル
を出力し、画像センサ手段が複数の光検知センサを備
え、前記複数の光検知センサにより画像を検知して得ら
れる入力画像データと前記フィルタ・カーネル供給手段
から出力された前記フィルタ・カーネルとを用いて、畳
み込み演算を行い、メモリ手段が前記画像センサ手段か
ら出力される畳み込み演算の演算結果を格納し、制御手
段が、前記フィルタ・カーネル供給手段、前記画像セン
サ手段、および前記メモリ手段の動作を制御し、また前
記メモリ手段内に格納された演算結果を読み込み、前記
演算結果に対して、前記フィルタ・カーネルの各々に関
連して設定された所定の重み付け処理を実行し、前記重
み付け処理で得られた値の和を求めて連続の浮動小数点
で表示可能なフィルタ・カーネルの動作をシミュレート
することを特徴とするものである。そして、任意のフィ
ルタ・カーネルを、画像センサ装置上で容易に達成で
き、ヒューリステック・ルールに基づいて理論的に導出
された最適フィルタ・カーネルに対応するフィルタ・カ
ーネルを提供するものである。

【０００９】この発明に係る画像処理装置では、画像セ
ンサ手段が、２次元のアレイ状に配置された複数の光検
知センサを備え、フィルタ・カーネル供給手段から供給
される所定のフィルタ・カーネルを用いて、前記複数の
光検知センサにより得られた入力画像データ内の各ピク
セルのオリエンテーションを計算し、メモリ手段は、前
記オリエンテーションに関する演算結果のデータを格納
し、制御手段は、ヒューリステック・ルールに基づい
て、前記メモリ手段内に格納された演算結果のデータを
用いて、前記光検知センサが構成するアレイ上の個々の
点に対応する前記入力画像データ内の各ピクセルのオリ
エンテーションを決定することを特徴とするものであ
る。即ち、簡単な方法により、数個のフィルタ・カーネ
ル出力の結果を比較することで、各単一点のオリエンテ
ーションを評価し、各フィルタ・カーネルを用いて、与
えられたピクセルの近傍のどんな特別のオリエンテーシ
ョンでもその強度を計算し、この情報を用いることによ
って、与えられた点でどのオリエンテーションが最も強
いかヒューリステックに推論するものである。

【００１０】この発明に係る画像処理装置では、制御手
段が、決定された入力画像データ内の各ピクセルのオリ
エンテーションを用いてオリエンテーションの角度を計
算し、各オリエンテーションの前記角度を、非線型マッ
ピングを用いて正規化したオリエンテーション・ベクト
ルに変換し、得られた前記オリエンテーション・ベクト
ルを、前記入力画像データである２次元データの小さな
サブ領域上で平均化し、第２の非線型マッピングによ
り、平均化された前記オリエンテーション・ベクトルを
平均化されたオリエンテーション角度表現に逆方変換し
て、前記オリエンテーションの角度を平均化し、入力画
像データを平均化することを特徴とするものである。こ
れにより、画像内のノイズを低減して、オリエンテーシ
ョン・マップの品質を向上するものである。

【００１１】この発明に係る画像処理装置では、画像セ
ンサ手段が、アレイ状に配列された複数の可変感度光検
知センサを備え、前記複数の光検知センサにより画像を
検知して得られる入力画像データと前記フィルタ・カー
ネル供給手段から出力された離散値フィルタ・カーネル
を用いてフイルタリングを実行し、メモリ手段は前記フ
ィルタリングの演算結果を格納し、制御手段は、前記メ
モリ手段内に格納された前記演算結果に対して所定の重
み付けを行い、重み付けられた値の和を計算して連続値
フィルタ・カーネルの動作を合成することを特徴とする
ものである。

【００１２】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。実施の形態１．この発明の実施の形態１による画像処理
装置は、浮動小数点で表現可能な連続フィルタ・カーネ
ルを合成するものであり、その動作の基本は線形重ね合
せの原理に基づくものである。フィルタ・カーネルは、
実数の有理数の集合である。画像フィルタリング処理
は、畳み込み演算としての数式における複数項で記述さ
れる。実施の形態１の画像処理装置で行われる畳み込み
演算は、入力画像およびフィルタ・カーネル値を後述す
る画像センサ装置２が取り込み、出力される各ピクセル
に対して、その出力ピクセル位置を取り囲む入力画像領
域のピクセル値の重み付け和を形成する。この和の重み
付けは、適当なフィルタ・カーネル係数で与えられ、畳
み込み演算は線形特性を有する。畳み込み演算は数学的
に線形であるために連続値で生成されたフィルタ・カー
ネルは、離散値フィルタの重み付け和として表現され
る。

【００１３】連続値の離散的フィルタ・カーネル［−
５．３１；０４．８］が与えられた場合に、離散値
を有するフィルタ・カーネルの重み付け和として上述の
フィルタ・カーネルは、簡単に、以下の方程式（１）：［−５．３１；０４．８］＝ −５．３［１０；００］＋［０１；００］＋４．８［００；０１］．．．．．．．．．（１）として表現できる。ここで、［ａｂ；ｃｄ］は、２
×２アレイを意味し、以下の説明において同様であるも
のとする。

【００１４】可能な浮動小数点表現を用いて離散値のフ
ィルタ・カーネルを得る以前で、フィルタ・カーネル係
数を表現できる限り上記した手順を、任意のサイズを持
つフィルタ・カーネルおよび集合値に対しても拡張し、
その値を設定することが一般的に可能である。この手順
を「フィルタの分解」と命名する。上記の方程式（１）
の右辺の形式［１０；００］のフィルタを「基本フ
ィルタ」と命名し、これらの項の前の係数を「基本フィ
ルタの重み」と命名する。

【００１５】実施の形態１の画像処理装置で実行される
畳み込み演算は、厳密な数学的意味において線形演算で
あり、この線形演算の出力は以下の様に表現できる。画
像データアレイａを用いて、フィルタ・カーネルＦ＝Ｆ
（ｘ，ａ）がフィルタ・カーネルアレイｘの畳み込みと
して定義され、その演算結果は新しい出力アレイＦとな
り、さらに同様にして、フィルタ・カーネルＧ＝Ｆ
（ｙ，ａ）であれば、線形特性により、フィルタ・カー
ネルＦ（ｉｘ＋ｊｙ，ａ）＝ｉＦ（ｘ，ａ）＋ｊＦ
（ｙ，ａ）＝ｉＦ＋ｊＧとなる。ここで、ｉ及びｊはス
カラー定数であり、ｘ及びｙは前述したフィルタ・カー
ネルアレイである。

【００１６】したがって、方程式ｚ＝ｉｘ＋ｊｙで表現
可能な任意のフィルタ・カーネルｚがあれば、後述する
メモリ装置３を画像処理装置内に設け、必要となる新た
な加算演算の中間結果をこのメモリ装置３内に記憶さ
せ、インプリメント不可能なフィルタ・カーネルｚを、
２個のインプリメント可能なフィルタ・カーネルｘ及び
ｙに変換させる。これにより、ｘ及びｙは画像センサ装
置２の半導体チップ上にインプリメント可能なフィルタ
・カーネルアレイとなる。最後に、方程式Ｆ（ｉｘ＋ｊ
ｙ，ａ）＝ｉＦ＋ｊＧ内の係数ｉ及びｊは、フィルタｚ
の分解における基本フィルタの重みと正確に等価であ
る。

【００１７】図１は、この発明の実施の形態１による画
像処理装置を示すブロック図であり、図において、１は
コントローラ（フィルタ・カーネル供給手段）であり、
予めプログラムされた所定のフィルタ・カーネルを出力
する。２は２次元のアレイ状に配置され、可変感度等の
機能を持つ複数の光検知センサを備えた画像センサ装置
（画像センサ手段）であり、コントローラ１から出力さ
れたフィルタ・カーネルを用いて、入力画像データに対
して畳み込み演算等の所定の画像処理を実行する。３は
メモリ装置（メモリ手段）であり、画像センサ装置２で
演算された画像処理演算の中間結果を格納する。そして
４はメインコントローラ（制御手段）であり、メモリ装
置３内に格納された中間結果を用いて、最終的な画像デ
ータを出力するものであり、また画像処理装置全体の動
作を制御する。

【００１８】次に動作について説明する。画像センサ装
置２に設けられた複数の光検知センサが、対象物（図示
せず）から発せられた視覚的な画像を入射して生成され
た入力画像データと、コントローラ１から供給された所
定のフィルタ・カーネルＦを用いて畳み込み処理が実行
される。その後、画像センサ装置２から出力された処理
結果のデータは、メモリ装置３内に記憶される。これら
の一連の処理は、コントローラ１から供給される、本来
連続値であるフィルタ・カーネルＦを分解して決定され
た全てのフィルタ・カーネルＧ，Ｈ，．．．Ｉについて
繰り返される。すべてのフィルタ・カーネルに関する畳
み込み演算結果がメモリ装置３内に格納されると、メイ
ンコントローラ４は、フィルタ・カーネルＦに対応する
出力と、新たに重み付けられた出力画像アレイＦ’とを
生成するフィルタ・カーネルＦに関連する基本的重みと
を乗算する。

【００１９】そして、この乗算処理を、フィルタ・カー
ネルの集合｛Ｇ，Ｈ，．．．，Ｉ｝内のすべてのフィル
タ・カーネルに対して繰り返す。乗算処理で得られるす
べての演算結果は｛Ｆ’，Ｇ’，．．．，Ｉ’｝と命名
され、再びメモリ装置３内へ格納される。最後に、メイ
ンコントローラ４が、新たにメモリ装置３内に記憶され
た重み付け出力データを読み出し、重み付け出力データ
のアレイ内の各要素において対応する要素を加算する。
この処理過程を通じて、実施の形態１の画像処理装置
は、任意のフィルタ・カーネルＦを用いたフィルタリン
グを、より単純なインプリメント可能なフィルタ・カー
ネル｛Ｆ，Ｇ，．．．，Ｉ｝及びフィルタ分解過程で得
られた基本フィルタ重みとを用いてシミュレーションす
る。

【００２０】図２は、実施の形態１の画像処理装置にお
ける入力画像、フィルタ・カーネル、出力画像の関係を
示す説明図である。畳み込み処理において、フィルタ・
カーネルは、対応する入力画像と一対一で乗算される。
例えば、入力画像のＡ〜Ｋの各ピクセルと、フィルタ・
カーネル内のＡ〜Ｋの各ピクセルとが乗算される。乗算
後、フィルタ・カーネルのＡ〜Ｋの９個の乗算結果は共
に加算され、加算結果であるΣは、入力画像内のＥの位
置に対応した出力画像内の位置Σに対応するメモリ装置
３内に格納される。

【００２１】以上のように、この実施の形態１によれ
ば、画像センサ装置２が入力し得られた入力画像と、コ
ントローラ１から出力されたフィルタ・カーネル値を画
像センサ装置２が取り込み、メインコントローラ４がメ
モリ装置３を用いて、各ピクセルに対してその出力ピク
セル位置を取り囲む入力画像領域のピクセル値の適当な
フィルタ・カーネル係数で与えられる重み付けおよびそ
の和を計算し、離散値フィルタの重み付け和として表現
される連続値で生成されるフィルタ・カーネルを出力す
るので、画像センサ装置に対するオリエンテーション・
マップ・アルゴリズムを実現するためのフィルタ・カー
ネルを、画像センサ装置上で容易に達成でき、ヒューリ
ステックな意味で理論的に導出された最適フィルタ・カ
ーネルに対応するフィルタ・カーネルをハードウェア上
にインプリメントできる。

【００２２】実施の形態２．実施の形態２の画像処理装
置の構成は、実施の形態１の画像処理装置のものと同じ
なので、コントローラ１、画像センサ装置２，メモリ装
置３、メインコントローラ４等の構成要素には同一の符
号を用いて説明する。実施の形態２の画像処理装置で
は、入力画像に数個の所定のフィルタ・カーネルを適用
してオリエンテーション・マップを生成する。オリエン
テーション・マップとは、入力画像から得られるアレイ
であり、入力画像内の配向を示すもので入力画像内の基
準ベクトルの角度をオリエンテーションという。実施の
形態２の画像処理装置では、入力画像内の特定のオリエ
ンテーションを検出するために使用される各フィルタ・
カーネルを作成し、単純なヒューリスティック・ルール
に基づいて、どのピクセルがどのオリエンテーションに
対応するかを決定する。例えば、図３に示す例では、全
部で８個のフィルタ・カーネル（ａ）〜（ｈ）が示され
ている。各フィルタ・カーネルは、縦横９ピクセル毎の
主軸の一方向に沿って配置されたピクセルに応答する。

【００２３】次に動作について説明する。まず第１に、
画像センサ装置２で得られた入力画像データを、図３に
示した全部で８個のカーネル（ａ）〜（ｈ）を用いてフ
ィルタリングする。画像センサ装置２からのフィルタリ
ングの演算結果の出力値は、メモリ装置３内に記憶され
る。次に、メインコントローラ４が、各ピクセルに対す
るフィルタリングの演算結果を比較する。これらの演算
結果の評価にはヒューリスティック・ルールを使用し
て、特定の点における全フィルタ・カーネルの平均出力
を、フィルタ・カーネル出力の最大値（Ｓ_max ）と最小
値（Ｓ_min ）との平均値を用いて比較する。

【００２４】図４は、この比較結果を数値で表した説明
図である。例えば、フィルタ・カーネル出力の最大値
（Ｓ_max）は４であり、最小値（Ｓ_min ）は２である。
この手続から推論できるように、全体の平均フィルタ出
力と最小及び最大の平均フィルタ出力とを比較して、与
えられたピクセルを最大出力フィルタ・カーネル・オリ
エンテーションまたは最小出力フィルタ・カーネル・オ
リエンテーションに割り当てるべきか否かを決定するこ
とができる。

【００２５】上記の動作に使用可能なヒューリスティッ
ク・ルールは、例えば、次の不等式（２）で与えられ
る。４Ｃ＋（ｓ_max＋ｓ_min ）＞３／８×Σｓ_i ．．．．．．．．．．．（２）である。この例において、量（ｓ_max＋ｓ_min ）は、同
一位置での最小フィルタ・カーネル出力と出力データア
レイ内の特定の位置での最大（_max ）のフィルタ・カー
ネル出力の平均値を表す。ここで、Ｃはフィルタされて
いないピクセルの値を示す。これらの量（ｓ_max＋ｓ
_min）を計算するために、実施の形態２の画像処理装置
は、以下の動作を行う。

【００２６】まず、画像センサ装置２において、図３に
示した８個の所定のフィルタ・カーネル（ａ）〜（ｈ）
を用いて、画像センサ装置２に設けられている複数の画
像センサ、即ち画像センサのアレイ（図示せず）上に入
射した画像をフィルタリングする。画像センサ装置２に
よる各フィルタ・カーネル（ａ）〜（ｈ）での演算結果
は、アレイ中にｓ₁，．．．ｓ_i，．．．，ｓ₈と名づ
けて保存する。これらの出力アレイのそれぞれをピクセ
ル毎に続行し、８個の出力アレイのそれぞれの対応する
ピクセル要素を比較する。８個の要素の最大値及び最小
値を、これらの最大値及び最小値を有する特定のフィル
タの添字ｉとともに格納する。これらの２個の量は、上
記不等式（２）の左辺を表す。右辺は各８個のフィルタ
について対応する出力の和を取ることにより形成され
る。

【００２７】上記不等式（２）の右辺は、出力データア
レイにおける同一点でのすべてのフィルタ出力の平均値
を表す。この不等式の評価、即ち、メインコントローラ
４により、この不等式（２）が成立するか否かの決定を
行うことで、検討しているフィルタ・カーネル内の領域
内の画像のオリエンテーションの方向が判明する。特
に、メインコントローラ４が、この不等式が成立しない
という判断をした場合には、検討中の領域内の画像のオ
リエンテーションは、その点での最小フィルタ出力を有
したフィルタ・カーネル内のそれらの軸のオリエンテー
ションに対応する。

【００２８】逆に、メインコントローラ４がこの不等式
が成立するという判断をした場合には、検討中の点の領
域における画像のオリエンテーションは、同じ点で最大
の出力値を有するフィルタにおけるそれらの軸のオリエ
ンテーションに対応する。最大出力及び最小出力を決定
する場合には、フィルタ出力の符号を含めた大きさを考
慮する。図４に示した数値例はこの概念をより明瞭に示
しているものである。

【００２９】図５は、オリエンテーションマップの具体
的な例を示す説明図である。図において、（ａ）は、画
像センサ装置２により入力された入力画像を示してい
る。そして、この入力画像を２値化（Ｂｉｎａｒｉｚａ
ｔｉｏｎ）することで、図５の（ｂ）に示すような１２
７×１２７ピクセルの２値化画像を得る。この２値化画
像を基に、各フィルタ・カーネルでのオリエンテーショ
ンを計算し、図５の（ｃ）に示すような、入力画像の全
体のオリエンテーション・マップが得られる。図５の
（ｃ）に示すオリエンテーションマップは、１２×１２
２次元ベクトルの解像度である。

【００３０】図６は、画像センサ装置２による２値化の
処理過程を示す説明図である。図において、図６の
（ａ）は、各ピクセルの画像を数値化したものであり、
図６の（ｂ）に示す各フィルタ・カーネルに付与された
数値に対応している。図６の（ｃ）は、オリエンテーシ
ョン・マップを得るための方程式を示している。図７
は、画像センサ装置２で得られたある入力画像データに
対して、フィルタ・カーネルを用いたフイルタリングを
示す説明図である。図において、各フィルタ・カーネル
は、９×９のピクセルを有している。

【００３１】メインコントローラ４による不等式（２）
の評価動作においては、図８に示すように、出力データ
アレイ内の特定の点におけるオリエンテーションに数値
を付与する。図において、（ａ）は、あるピクセルのオ
リエンテーションの角度が６３．４度の場合、（ｂ）は
あるピクセルのオリエンテーションの角度が−４５度の
場合を示している。不等式が成立することは、ある特定
の点においてどちらのフィルタが強いかということなの
で、対応するフィルタ・カーネル内のそれらの軸のオリ
エンテーションの角度に対応する新しい値が各点に割り
当てられ、それ故、検討中のフィルタ・カーネルの軸の
オリエンテーションに対応する、８個の中の１つである
のだが、この段階での出力データアレイの各点は、新し
い値に関連付けられた角度値を持つことになる。

【００３２】メインコントローラ４による平均化の処理
は、ヒューリスティック・ルールを用いた処理で得られ
た出力角度を取り込み、これらの角度を平均化する。即
ち、変換ｆ（ｘ）＝（ｃｏｓ２ｘ，ｓｉｎ２ｘ）を実行
し、各角度は、正規化ベクトルへ変換される。円座表系
に存在するπでの不連続性により、この変換動作、ある
いは、この変換と機能的に等価なものが必要である。

【００３３】これらの処理における０とπラジアンに対
応する角度は同一の方向を表し、平均値を取ると２つの
元来の角度の内の一方の方向に対応する。０とπラジア
ンを平均化するとπ／２ラジアンの値が得られ、これは
元来の方向に対して直交するので望ましくない。メイン
コントローラ４による平均化の処理の前に、上記変換を
実行することで、ベクトルＯ＝（１，０）に変換された
オリエンテーションＯと、ベクトルＰ＝（１，０）に変
換されたオリエンテーションπが求まる。次に、１／２
×（Ｏ＋Ｐ）で定義されたこれらのベクトルの平均を評
価する。この平均化は通常の算術平均であり、平均化す
る任意の数のベクトルに対しても一般的に拡張できる。

【００３４】上記した例の平均値は、Θ＝（１，０）と
評価できる。元来の角度表現に変換して戻すために、逆
変換を実行し、 Θ ＝１／２×ａｒｃｔａｎ（０／１）＝１／２×ａｒｃｔａｎ（０⁺）＝０を得る。ここで、０⁺の標記は、原点の右から０に接近
することを意味する。関数ｆ（ｘ）＝ａｒｃｔａｎ
（ｘ）は通常の主分岐、即ち、ａｒｃｔａｎ（ｘ）∈
（−π／２，π／２）上では定義されていなくて、図９
の（ａ）に示すように原点０で不連続となる分岐：ｙ＝ａｒｃｔａｎ（ｘ）∈（０，π）上で定義することができる。図９の（ｂ）は、０に接近
する標準的な分岐の例を示す説明図である。

【００３５】図１０を用いて、フィルタ・カーネルのオ
リエンテーションに関してさらに明確に説明する。図１
０の（ａ）に示すθ＝π／２及びδ＝π／２−εの２つ
のほぼ垂直のオリエンテーションを考える。ここで、ε
は、π／２に比べて小さな角度を持つ。上述した変換に
より、図１０の（ｂ）に示すように、Θ＝（−１，０）
及びΔ＝（−ｃｏｓ２ε，ｓｉｎ２ε）となる。従っ
て、平均ベクトルΑは、図１０の（ｃ）に示されるよう
に、１／２×（（−１−ｃｏｓ２ε），ｓｉｎ２ε）に
等しいことが分かる。ベクトル表現を角度表現に逆変換
するために、メインコントローラ４は、ｆ（ｘ）の逆変
換を実行する。図１０の（ｄ）、（ｅ）に示すように、
ベクトルΑの逆を記号αで表すが、α＝γ／２となる。
ここで、γ＝ａｒｃｔａｎ（α₂／α₁）である。さら
に、α₂及びα₁は、それぞれ、ベクトルΑのｙ成分及
びｘ成分に対応する。

【００３６】最後に、εが０に近接する極限では、すな
わちδ及び（直感的な）平均値がπ／２に近づくにつれ
て、上記で定義したａｒｃｔａｎ（ｘ）の分岐が用いら
れている場合には、αはπ／２に漸近する。また、標準
的な分岐が用いられている場合では、αは０に漸近す
る。

【００３７】したがって、オリエンテーションの処理の
最終段階では、以下のように処理が行われる。各点に割
り当てられたオリエンテーションは、上述の８個のフィ
ルタ・カーネルの一つの最大値応答に対応し、アレイＺ
内に格納される。故に、アレイＺの各要素は、０とπの
間の離散的な角度値となる。このアレイＺに対して、メ
インコントローラ４は平均化の処理を実行する。

【００３８】メインコントローラ４は、平均化の処理と
して、まずアレイＺを、図１１に示すように、オリジナ
ルのアレイＺ内の特定の副領域に等しい、任意の所定の
Ｎ×Ｍの大きさのグリッドに分割する。ここで、グリッ
ドとは、ｎ×ｍの成分を持つアレイＺを、例えば、ｎ／
Ｎ×ｍ／Ｍのサイズを持つＮ×Ｍのアレイにサブ分割し
て得られる個々の要素をいう。新Ｎ×Ｍのサブ要素は、
それ自身新しいアレイであり、これらの新しいアレイＺ
_ijの各々に対して、メインコントローラ４は、上記の平
均化の処理を実行する。即ち、アレイＺ_ijは、ｎ／Ｎ×
ｍ／Ｍのサイズのアレイの１つを示している。確かに、
アレイＺ_ijには２個以上の要素が含まれ、平均化工程は
Ｚ_ijのすべての個々の要素に対して拡張される。このよ
うにして、メインコントローラ４による平均化処理の完
了後に、（元来のサイズがｎ×ｍである）アレイＺが、
平均化されたオリエンテーションの角度からなるＮ×Ｍ
のサイズ（Ｎ＜ｎ，Ｍ＜ｍ）の新しいアレイＺ'に置換
される。

【００３９】オリジナルのアレイＺおいては、各要素は
０〜πまでの離散値の集合の１つであり、即ち、図３に
示したように、８つの離散値の集合（π／２，ａｒｃｔ
ａｎ２，π／４，ａｒｃｃｏｔ２，０，π−ａｒｃｃｏ
ｔ２，３π／４，π−ａｒｃｔａｎ２）であったが、新
たに形成されたアレイＺ’の利点は、明らかに、画像セ
ンサ装置２が入力したオリジナル画像内の各領域に対応
するアレイＺ_ijの平均化を通じて得られたアレイＺ’の
要素は、同一の間隔（０，π）上の浮動小数点の連続の
角度値を持つことになる。このように、新しく作成され
たアレイＺ’が連続値を持つことから、解析された画像
内での構造の方向をより正確に指定することが可能とな
る。

【００４０】従って、実施の形態２の画像処理装置で
は、最終的に得られる画像出力アレイの各位置が、画像
センサ装置２が入力したオリジナルの画像内の特定の領
域のオリエンテーションに対応した浮動小数点の角度値
を含むように、オリエンテーションマップを生成するこ
とができる。

【００４１】以上のように、この実施の形態２によれ
ば、フィルタ・カーネルの出力の結果を比較して、各単
一点のオリエンテーションを評価し、メインコントロー
ラ４は与えられたピクセルの近傍のオリエンテーション
の強度を計算し、計算結果を用いて、与えられた点でど
のオリエンテーションが最強かをヒューリステックに推
論するので、任意のフィルタ・カーネルをハードウェア
上にインプリメントし、低ノイズかつ高速で画像のオリ
エンテーション・マップを生成でき、また入力画像内の
ノイズを低減してオリエンテーション・マップの近似値
の品質を向上することができる。

【００４２】

【発明の効果】以上のように、この発明によれば、フィ
ルタ・カーネル供給手段が、浮動小数点で表示可能な離
散値で示される所定のフィルタ・カーネルを出力し、画
像センサ手段が、入力画像データと上記のフィルタ・カ
ーネルとを用いて、畳み込み演算を行い、メモリ手段
が、畳み込み演算の演算結果を格納し、制御手段が、メ
モリ手段内に格納された演算結果を読み込み、フィルタ
・カーネルの各々に関連して設定された所定の重み付け
処理およびその加算演算を実行して、連続の浮動小数点
で表示可能なフィルタ・カーネルの動作をシミュレート
するように構成したので、２次元のフィルタ・カーネル
の演算を実現する画像処理装置を半導体チップ上にイン
プリメントできるという効果がある。

【００４３】この発明によれば、画像センサ手段が、フ
ィルタ・カーネルを用いて入力画像データ内の各ピクセ
ルのオリエンテーションを計算し、メモリ手段が、オリ
エンテーションに関する演算結果のデータを格納し、制
御手段が、ヒューリステック・ルールに基づいて、上記
の演算結果のデータを用いて、入力画像データ内の各ピ
クセルのオリエンテーションを決定するように構成した
ので、２次元のフィルタ・カーネルの演算を実現する画
像処理装置を半導体チップ上にインプリメントできると
いう効果がある。

【００４４】この発明によれば、制御手段が、決定され
た入力画像データ内の各ピクセルのオリエンテーション
を用いてオリエンテーションの角度を計算し、各オリエ
ンテーションの前記角度を、非線型マッピングを用いて
正規化したオリエンテーション・ベクトルに変換し、得
られたオリエンテーション・ベクトルを、前記入力画像
データである２次元データの小さなサブ領域上で平均化
し、第２の非線型マッピングにより、平均化された前記
オリエンテーション・ベクトルを平均化されたオリエン
テーション角度表現に逆方変換して、オリエンテーショ
ンの角度を平均化し、入力画像データを平均化するよう
に構成したので、入力画像内のノイズを低減してオリエ
ンテーション・マップの近似値の品質を向上することが
できるという効果がある。

【図面の簡単な説明】

【図１】この発明の実施の形態１による画像処理装置
を示すブロック図である。

【図２】入力画像、フィルタ・カーネル、出力画像の
関係を示す説明図である。

【図３】フィルタ・カーネルの一例を示す説明図であ
る。

【図４】フィルタ・カーネル出力の比較結果を数値で
表現した説明図である。

【図５】この発明の実施の形態２の画像処理装置にお
けるオリエンテーションマップの例を示す説明図であ
る。

【図６】この発明の実施の形態２の画像処理装置にお
いて、画像センサ装置による２値化の処理過程を示す説
明図である。

【図７】この発明の実施の形態２の画像処理装置にお
いて、入力画像に対してフィルタ・カーネルを用いてフ
イルタリングした例を示す説明図である。

【図８】この発明の実施の形態２の画像処理装置にお
けるオリエンテーションの具体例を示す説明図である。

【図９】この発明の実施の形態２の画像処理装置にお
ける分岐の例を示す説明図である。

【図１０】この発明の実施の形態２の画像処理装置に
おいて、フィルタ・カーネルのオリエンテーションに関
する説明図である。

【図１１】この発明の実施の形態２の画像処理装置に
おいて、平均化処理におけるアレイを所定の大きさのグ
リッドに分割する例を示す説明図である。

【符号の説明】

１コントローラ（フィルタ・カーネル供給手段）、２
画像センサ装置（画像センサ手段）、３メモリ装置
（メモリ手段）、４メインコントローラ（制御手
段）。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 BA02 BA13 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CD20 5C077 LL18 LL19 PP01 PQ12 PQ18 PQ22 SS01

Claims

【特許請求の範囲】

【請求項１】浮動小数点で表示可能な離散値で示され
る所定のフィルタ・カーネルを出力するフィルタ・カー
ネル供給手段と、複数の光検知センサを備え、前記複数
の光検知センサにより画像を検知して得られる入力画像
データと前記フィルタ・カーネル供給手段から出力され
た前記フィルタ・カーネルとを用いて、畳み込み演算を
行う画像センサ手段と、前記画像センサ手段から出力さ
れる畳み込み演算の演算結果を格納するメモリ手段と、
前記フィルタ・カーネル供給手段、前記画像センサ手
段、および前記メモリ手段の動作を制御し、前記メモリ
手段内に格納された演算結果を読み込み、前記演算結果
に対して、前記フィルタ・カーネルの各々に関連して設
定された所定の重み付け処理を実行し、前記重み付け処
理で得られた値の和を求めて連続の浮動小数点で表示可
能なフィルタ・カーネルの動作をシミュレートする制御
手段とを備えた画像処理装置。
【請求項２】画像センサ手段は、２次元のアレイ状に
配置された複数の光検知センサを備え、フィルタ・カー
ネル供給手段から供給される所定のフィルタ・カーネル
を用いて、前記複数の光検知センサにより得られた入力
画像データ内の各ピクセルのオリエンテーションを計算
し、メモリ手段は、前記オリエンテーションに関する演
算結果のデータを格納し、制御手段は、ヒューリステッ
ク・ルールに基づいて、前記メモリ手段内に格納された
演算結果のデータを用いて、前記光検知センサが構成す
るアレイ上の個々の点に対応する前記入力画像データ内
の各ピクセルのオリエンテーションを決定することを特
徴とする請求項１記載の画像処理装置。
【請求項３】制御手段は、決定された入力画像データ
内の各ピクセルのオリエンテーションを用いてオリエン
テーションの角度を計算し、各オリエンテーションの前
記角度を、非線型マッピングを用いて正規化したオリエ
ンテーション・ベクトルに変換し、得られた前記オリエ
ンテーション・ベクトルを、前記入力画像データである
２次元データの小さなサブ領域上で平均化し、第２の非
線型マッピングにより、平均化された前記オリエンテー
ション・ベクトルを平均化されたオリエンテーション角
度表現に逆方変換して、前記オリエンテーションの角度
を平均化し、入力画像データを平均化することを特徴と
する請求項２記載の画像処理装置。
【請求項４】画像センサ手段は、アレイ状に配列され
た複数の可変感度光検知センサを備え、前記複数の光検
知センサにより画像を検知して得られる入力画像データ
と前記フィルタ・カーネル供給手段から出力された離散
値フィルタ・カーネルを用いてフィルタリングを実行
し、メモリ手段は前記フィルタリングの演算結果を格納
し、制御手段は、前記メモリ手段内に格納された前記演
算結果に対して所定の重み付けを行い、重み付けられた
値の和を計算して連続値フィルタ・カーネルの動作を合
成することを特徴とする請求項１記載の画像処理装置。