JPH08138043A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 エッジ抽出処理手段の前処理として画像を適
応的に分割し、各画像ブロックに適した階調補正処理を
施すことにより、画像中の領域のエッジを正確に抽出で
きる画像処理装置を提供すること。 【構成】 画像分割情報抽出部21で抽出した分割情報を
もとに、画像分割判断部22で画像の分割の有無を決定
し、分割の必要があれば画像分割部23で分割し、分割後
の画像を画像分割情報抽出部21に再入力し、分割情報の
抽出、判断、分割を繰り返すことにより画像を適応的に
分割し、分割後の各画像ブロックから画像情報抽出手段
３で補正情報を求め、補正情報をもとに階調補正手段４
で階調補正を行い、画像合成手段５で補正後の各画像ブ
ロックを１枚の画像に再合成し、エッジ抽出手段６で合
成後の画像からエッジを抽出し出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、エッジ抽出処理機能を
備えた画像処理装置に関するものである。

【０００２】

【従来の技術】従来、画像中の物体のエッジ抽出の手法
としては、ＴＶカメラからの画像信号をＡ／Ｄ変換し、
あるしきい値で２値化した後にその境界線をエッジとし
て抽出する手法や、２値化せずに微分オペレータなどを
用いてたエッジの抽出を行う手法等が挙げられる。図１
２（ａ），（ｂ）に各従来法のエッジ抽出処理のブロッ
ク図を示す。

【０００３】まず、（ａ）について説明する。画像入力
手段121 から入力したＡ／Ｄ変換後の画像信号（１枚
分）は、エッジ抽出手段122に送出される。エッジ抽出
手段122は、２値化しきい値記憶部1221，しきい値処理
部1222，境界線追跡部1223により構成され、画像入力手
段121 から送出される画像信号はしきい値処理部1222に
送出され、しきい値処理部1222は２値化しきい値記憶部
1221に記憶させたしきい値に基づいて画像信号を２値化
する。つまり、各画素の微分濃度値がある値よりも大き
ければ１，小さければ０を出力する。しきい値処理部12
22で２値化された画像信号は境界線追跡部1223に送出さ
れ、２値化の境界線を追跡することによりエッジを抽出
する。境界線追跡部1223で得たエッジ画像は、画像出力
手段123 から出力される。

【０００４】次に（ｂ）について説明する。画像入力手
段121 から入力したＡ／Ｄ変換後の画像信号（１枚分）
は、エッジ抽出手段122に送出される。エッジ抽出手段1
22は微分部1224，２値化しきい値記憶部1221，しきい値
処理部1222，細線化処理部1225により構成され、画像入
力手段121 から送出される画像信号はまず微分部1224に
入力される。微分部1224は、微分オペレータを１枚の画
像の各画素ごとに並列に適用して、各画素の濃度値を微
分する。

【０００５】微分オペレータの例としてプレヴィットの
オペレータとソーベルのオペレータを図１３に示す。微
分後の画像信号はしきい値処理部1222に送出され、しき
い値処理部1222は２値化しきい値記憶部1221に記憶させ
たしきい値に基づいて各画素に対して２値化を行う。し
きい値処理部1222で２値化された画像信号は細線化処理
部1225に送出され、線幅１の中心線を抽出する。細線化
処理部1225で細線化された画像、即ちエッジ画像は、画
像出力手段123から出力される。

【０００６】

【発明が解決しようとする課題】しかしながら、ＴＶカ
メラは自然の被写体に比べてダイナミックレンジが狭い
ため、上記の従来の構成でエッジ抽出を行うと、影の領
域中のエッジを正しく抽出できなかったり、影の領域の
周囲を誤って抽出するといった問題点を有する。問題点
の具体例を図１４に示す。

【０００７】図１４（ａ）は人の眼で見た室内画像であ
る。窓Ｗから外光が差込み、外光により室内の箱Ｂに影
が生じている。窓Ｗは非常に明るく、室内は中程度、箱
Ｂの影の部分は暗い。しかし、人の眼はダイナミックレ
ンジが広いため、影の領域内や窓の外の景色を認識する
ことができる。一方、同図（ｂ）はＴＶカメラで撮像し
た室内画像である。先に述べたように、ＴＶカメラはダ
イナミックレンジが狭いため、窓Ｗに絞りを合わせる
と、室内が非常に暗くなり、影の領域内の箱Ｂをはっき
り認識することができない。

【０００８】逆に室内に絞りを合わせると、窓Ｗの領域
の輝度が飽和して白く見え、窓Ｗの外の景色を認識する
ことができない。このような状態の画像に対してそのま
まエッジ抽出を行うと、例えば図１２（ａ）に示した従
来例の場合、図１４（ｃ）のように、光の当たっている
箱Ｂの上面のみのエッジを抽出し、箱Ｂの影の部分のエ
ッジを抽出できない場合が多い。また、図１２（ｂ）の
従来例の場合、図１４（ｄ）のように箱Ｂの影をエッジ
として誤って抽出したり、窓Ｗの外の景色や箱Ｂの影の
部分のエッジを抽出できないことが多い。いずれの従来
例の場合も、窓Ｗの外や箱Ｂの正確なエッジを抽出する
ことは困難である。

【０００９】このような、明るい領域と暗い領域が両存
するような自然画像から物体のエッジを正確に抽出する
ためには、明るい領域に影響を及ぼさずに暗い領域を明
るく補正してからエッジ抽出処理を行うことが有効と考
えられるが、画像１枚に対して１種類の階調補正を施す
だけでは不十分であった。

【００１０】本発明はこのような従来例の問題点を解決
するためのもので、明るい領域をそのままに、かつ暗い
部分を明るく補正して、物体のエッジを正しく抽出する
ために、画像の状態に応じて画像を適応的に複数のブロ
ックに分割し、各ブロックに適した階調補正を行って、
エッジを正しく抽出することができる画像処理装置を提
供することを目的とする。

【００１１】

【課題を解決するための手段】本発明は上記目的を達成
するため、画像入力手段から入力された画像を複数の画
像ブロックに分割する画像分割手段と、各画像ブロック
の画像信号から１種もしくは複数種の画像情報（以下、
補正情報とする）を抽出する画像情報抽出手段と、画像
情報抽出手段で求めた補正情報に基づいて各画像ブロッ
クに適した階調補正を行って抽出したいエッジを強調す
る階調補正手段と、階調補正後の各画像ブロックを１枚
の画像に再合成する画像合成手段と、合成後の画像から
エッジを抽出するエッジ抽出手段とを有し、画像分割手
段は、分割の対象となる画像ブロックから１種類もしく
は複数種の画像情報（以下、分割情報とする）を抽出す
る画像分割情報抽出部と、画像分割情報抽出部で求めた
分割情報をもとに対象画像ブロックを分割するかどうか
を判断する画像分割判断部と、画像分割判断部の判断結
果に基づいて対象画像を分割する画像分割部とを具備
し、画像分割部で分割した画像ブロックをさらに画像分
割情報抽出部に入力して、分割情報の抽出，分割の有無
の判断，画像の分割を繰り返すことで、画像の状態に応
じて適応的に画像を分割する構成である。

【００１２】

【作用】以上のように構成した画像処理装置は、画像分
割手段に一枚の画像信号を入力すると、画像分割情報抽
出部により求めた１種類もしくは複数種の分割情報をも
とに画像分割判断部において対象となる画像を分割する
かどうかを判断し、画像分割部に分割の有無を指示す
る。

【００１３】また、画像分割判断部を分割基準値記憶部
と比較部とで構成し、比較部は、画像分割判断部で抽出
した分割情報と分割基準値記憶部に記憶させてある各分
割情報に対応する分割基準値とを比較し、各分割情報が
分割の条件を満たしている場合は”１”（分割有り）
を、そうでない場合は”０”（分割無し）を画像分割部
に送出することにより、画像分割部へ分割の有無を指示
することができる。

【００１４】また、画像分割判断部を、学習型画像分割
判断部と学習データ格納部とで構成し、さらに学習型画
像分割判断部は、予め各種状態の分割情報と分割の必要
の有無（”１”もしくは”０”）との関係を学習データ
格納部に格納されているデータをもとに学習させてあ
り、学習結果に基づいて分割情報を判断して”１”また
は”０”を画像分割部に送出することにより、画像分割
部への分割の有無を指示することができる。また、画像
の分割情報と画像の分割の有無の関係を予め学習によっ
て形成し、これにより各分割情報を判断することによ
り、ユーザが分割基準値を試行錯誤により決定する必要
がなく、非常に簡単に、かつ画像の状態に応じて適切に
分割の有無を決定することができる。

【００１５】画像分割部への入力が”１”の場合、対象
となる画像は画像分割部で分割し、”０”の場合はその
まま画像情報抽出手段へ送出する。画像分割部で分割さ
れた画像は、再び画像分割情報抽出手段に送出し、分割
情報の抽出，分割の有無の判断，画像の分割を行う。す
べての画像ブロックに対して分割処理がなくなるまでこ
れらの処理を繰り返すことにより、適応的に画像を分割
することができる。このようにして分割された画像ブロ
ックの画像信号を画像情報抽出手段に送出すると、画像
情報抽出手段は、各画像ブロックの画像信号から階調補
正の種類を決定する基準となる１種もしくは複数種の補
正情報を抽出，算出し、階調補正手段に送出する。階調
補正手段は、補正情報に基づいて各画像ブロックに適し
た階調補正を行う。画像合成手段は、階調補正手段から
送られる画像ブロックを１枚の画像に再合成する。エッ
ジ抽出手段は、画像合成手段から送られた画像に対して
エッジを抽出し、得られたエッジ画像を画像出力手段か
ら出力する。

【００１６】このように、エッジ抽出処理を行う前に画
像の状態に応じて適応的に画像を分割し、各々に適した
階調補正処理を施してダイナミックレンジの広い画像に
することにより、従来例のエッジ抽出法だけでは抽出で
きないエッジを細部に渡って正確に抽出する。例えば、
図１４（ｂ）の画像に階調補正を施して図５（ｂ）のよ
うに影の領域内の物体のエッジを強調することにより、
箱のエッジ（領域）を正しく抽出する。ちなみに、図５
（ｃ）は図１２（ａ）に示す従来例のエッジ抽出処理を
施した結果，図５（ｄ）は図１２（ｂ）に示す従来例の
エッジ抽出処理を施した結果である。

【００１７】

【実施例】本発明の実施例について図面を参照して説明
する。

【００１８】（実施例１）以下、本発明の第一の発明の
実施例について、図面を用いて説明する。図１は、本発
明の第一の実施例を示すブロック図である。図１に示す
ように、画像信号を入力する画像入力手段１と、画像入
力手段１から入力した１枚分の画像信号を複数の画像ブ
ロックに分割する画像分割手段２と、画像分割手段で分
割した画像ブロックから１種類もしくは複数種の補正情
報を抽出する画像情報抽出手段３と、画像情報抽出手段
３で求めた補正情報に基づいて画像ブロック内の画像信
号に対して階調補正を行う階調補正手段４と、階調補正
後の各画像ブロックを１枚の画像に再合成する画像合成
手段５と、合成した画像からエッジを抽出するエッジ抽
出手段６と、エッジ抽出手段６で求めた画像を出力する
画像出力手段７とで構成する。

【００１９】画像分割手段２は、入力された画像もしく
は画像ブロックから分割の判断基準となる１種類もしく
は複数種の分割情報を抽出する画像分割情報抽出部21
と、画像分割情報抽出部21で求めた分割情報をもとに、
対象となる画像もしくは画像ブロックを分割するかどう
かを判別し、分割する場合は”１”を出力し，分割しな
い場合は”０”を出力する画像分割判断部22と、画像分
割判断部22からの出力が”１”であれば画像を分割して
分割後の画像を再び画像分割情報抽出部21に送出し、”
０”であれば画像を分割せずにそのまま画像情報抽出手
段３に画像信号を送出する画像分割部23とで構成する。

【００２０】画像分割判断部22は、画像分割情報抽出部
21からの各分割情報に対応する分割基準値（しきい値）
を記憶させてある分割基準値記憶部221 と、画像分割情
報抽出部21で求めた１種類もしくは複数種の分割情報
と、分割基準値記憶部221 に記憶させてある各分割情報
に対応する分割基準値とを比較し、各分割情報が分割の
条件を満たしている場合は”１”を、そうでない場合
は”０”を画像分割部23に出力する比較部222とで構成
する。

【００２１】図４は、階調補正手段４の一実施例を示す
ブロック図である。階調補正手段４は、予め各種状態の
画像情報と階調補正に用いるべき非線形階調補正曲線と
の関係を学習させた結果に基づいて画像情報を判断し、
補正に用いるべき非線形階調補正曲線（もしくは非線形
階調補正曲線のパラメータ）を選択する学習型非線形階
調補正曲線選択部41と、学習型非線形階調補正曲線選択
部41で選択された非線形階調補正曲線を用いて補正対象
領域に階調補正を行い、補正した画像信号の出力を行う
非線形階調補正部42と、学習に用いるデータを格納する
学習データ格納部43とで構成する。

【００２２】以上のように構成した画像処理装置につい
て以下その動作を説明する。図１の画像入力手段１から
入力した１枚の画像信号（画像の大きさを縦×横＝Ｙ×
Ｘとする）は、画像分割手段２の中の画像分割情報抽出
部21に送出される。画像分割情報抽出部21では、対象と
なる画像の分割の有無の基準となる１種類もしくは複数
種の分割情報を画像信号から抽出したあと、画像信号を
画像分割部23に、求めた分割情報を画像分割判断部22に
それぞれ送出する。画像分割判断部22は、画像分割情報
抽出部21から送られた分割情報をもとに、対象となる画
像を分割する必要があるかどうかを判断する。画像分割
情報抽出部21で求めた１種類もしくは複数種の分割情報
は比較部222に送出される。比較部222は、画像分割情報
抽出部21からの分割情報と、分割基準値記憶部221 に記
憶させてある、画像分割情報抽出部21からの各分割情報
に対応する分割基準値（しきい値）とを比較し、各分割
情報が分割の条件を満たしている場合は”１”を、そう
でない場合は”０”を画像分割部23に出力する。

【００２３】分割判断の基準については、以下に図３を
用いて説明する。対象となる画像の状態は（ａ）単調な
画像，（ｂ）おおよそ２種類の等輝度のグループに分け
られる画像，（ｃ）複雑な画像，に大別できる。（ａ）
の場合、背景やある領域の内部のようにエッジを抽出す
る必要のない部分である可能性が高い。また、（ｂ）は
そのまま、もしくは１種類の階調補正を施すことにより
正確なエッジを抽出できる可能性が高い。従って、判断
の対象となる画像の状態が（ａ），（ｂ）であれば、こ
れ以上画像を分割する必要がない。一方（ｃ）の場合、
（ａ）もしくは（ｂ）のような状態になるまで分割を繰
り返す必要がある。そこで、画像分割判断部22では、対
象となる画像の状態が（ａ），（ｂ），（ｃ）のいずれ
かを判別し、（ａ），（ｂ）であれば”０”を、（ｃ）
であれば”１”を画像分割部23に送出する。判別に用い
る分割情報としては、例えば、画像中の各画素の輝度を
求め、そのヒストグラムや隣合った画素との差分のヒス
トグラム，分散，周波数成分等を算出して用いる。画像
分割部23は、画像分割判断部22からの出力が”１”であ
れば、画像分割情報抽出部21から送られた対象画像を４
つの画像ブロック（画像の大きさ：縦×横＝Ｙ／２ ×
Ｘ／２）に等分して、各画像ブロックの画像信号を順次
画像分割情報抽出部21に送出する。画像分割判断部22か
らの出力が”０”であれば、対象画像を分割せずに画像
情報抽出手段３と階調補正手段４に送出する。画像分割
部23で分割して画像分割情報抽出部21に送出した画像ブ
ロックに対しても上記と同様の処理を施すことにより、
図３（ｄ）のように、分割情報の抽出，判断，分割を繰
り返し、必要な部分だけを細かく分割することができ
る。画像分割判断部22から画像分割部23への出力がすべ
て”０”になれば、分割処理を終了する。

【００２４】画像情報抽出手段３は、画像分割手段２で
適応的に分割した各画像ブロックの画像信号（大きさ不
定）から、階調補正の種類を決定する基準となる補正情
報を抽出する。補正情報の一例としては、例えば画像ブ
ロック内の各画素の輝度を求め、それらを３つのレベル
（高輝度，中輝度，低輝度）に分類し、各レベルの頻度
を正規化したものを用いる。画像情報抽出手段３で求め
た補正情報と画像分割手段２で分割した画像ブロックは
階調補正手段４に送出される。

【００２５】階調補正手段４は、画像情報抽出手段３で
求めた補正情報に基づいて、各画像ブロックに適した階
調補正を行う。画像情報抽出手段３で求めた補正情報は
図４の学習型非線形階調補正曲線選択部41に送出され
る。学習型非線形階調補正曲線選択部41は、予め各種状
態の補正情報と階調補正に用いるべき非線形階調補正曲
線との関係を、図４の学習データ格納部43に格納されて
いるデータをもとに学習させてあり、これらの学習結果
に基づいて画像情報を判断し、補正に用いるべき非線形
階調補正曲線（もしくは非線形階調補正曲線のパラメー
タ）を選択する。学習型非線形階調補正曲線選択部41の
結果と画像ブロック内の補正対象となる画像信号画像信
号が非線形階調補正部42に送出され、非線形階調補正部
42では、選択された非線形階調補正曲線を用いて、補正
対象となる画像信号に階調補正を行い画像合成手段５に
出力する。非線形階調補正曲線の一実施例を図１１に示
す。

【００２６】画像合成手段５は、階調補正手段４から送
られる補正後の画像ブロックを１枚の画像に再合成す
る。エッジ抽出手段６は、画像合成手段５から送られた
１枚の画像に対してエッジを抽出し、得られたエッジ画
像を画像出力手段７から出力する。

【００２７】以上のように本実施例の画像処理装置は、
従来のエッジ抽出処理の前処理として、画像の状態に応
じて適応的に画像を分割し、各画像ブロックに適した階
調補正処理を行うことを特徴としており、これにより細
部の状況に適した補正処理ができるため、細部に渡って
より正確なエッジ画像を得ることができる。

【００２８】（実施例２）次に、本発明の第二の実施例
について説明する。実施例２が実施例１と異なる点は、
図１に示す画像分割判断部を図２の画像分割判断部22の
ように構成した点であり、他の構成は実施例１と同様な
ものである。以下図面を用いて説明する。

【００２９】図２は本発明の第二の実施例を示すブロッ
ク図である。画像分割判断部22は、学習により各種状態
の分割情報と分割の必要の有無（”０”と”１”）との
関係を構築する学習型画像分割判断部223 と学習に用い
るデータを格納する学習データ格納部224 とで構成する
ことができる。他の構成は図１と同様に構成することが
できる。

【００３０】図６、図７は学習型画像分割判断部223 の
ネットワークを形成する単位認識ユニット８の一実施例
を示すブロック図である。図６（ａ）に示すように、信
号入力部811 と信号入力部811 からの入力信号に応じて
量子化を行う量子化器812 と量子化器812 の出力に応じ
て経路の選択を行う経路選択器813 とで単位ユニット81
を構成しており、単位認識ユニット８は、前記の単位ユ
ニット81と、量子化器812 の量子化の範囲及び量子化の
個数を量子化定数として記憶させる構造記憶部82と、単
位ユニット81への入力信号の平均，分散，入力回数を内
部状態として記憶させる内部状態記憶部83と、内部状態
記憶部83に記憶させた内部状態に基づいて量子化の範囲
を２分割して分割前の単位ユニット81をそれぞれ作成す
る複製作成部84とで構成することができる。図６（ｂ）
は、図６（ａ）の経路選択部を、１個の経路入力端子81
3a1を有する経路入力部813aと、２個の経路出力端子813
b1と813b2 を有する経路出力部813bと、スイッチ813cと
によって構成した実施例を示すものである。

【００３１】図７（ａ）は、図６（ａ）の経路選択部81
3を、１個の経路入力端子813a1を有する経路入力部813a
と、２個の経路出力端子813b1と813b2を有する経路出力
部813bと、経路荷重部813dとによって構成した実施例を
示したものである。

【００３２】図７（ｂ）は、図７（ａ）の荷重器813d0
を学習器813d4に置き換えた実施例を示すものである。

【００３３】図８はしきい値処理ユニット９の一実施例
を示したものである。経路入力部91と、複数の経路入力
端子911 〜91ｎ（ｎは任意の自然数）からの入力信号を
加算する加算器92と、経路出力端子94と、加算器92で加
算した信号に対してしきい値処理を行い、どのように経
路出力端子94へ出力するかを決定するしきい値処理器93
とで構成することができる。

【００３４】図９は、学習型画像分割判断部223 の一実
施例を示したものである。本実施例では、２個からなる
２種類の特徴データ（第１特徴データ，第２特徴デー
タ）に基づき、２種類の解（”１”：分割有り，”
０”：分割無し）に分類，認識するもので、単位認識ユ
ニットを多層の階層状に相互結合させたネットワ−ク
と、複製動作を起こした全ての単位認識ユニットを検出
し、複製を作成する第１，２層目の各単位認識ユニット
の下層に連結させた単位認識ユニットの全てを含めて複
製するように指示を出す複製作成検出部2231と、第４層
のしきい値処理ユニット９の出力の中から最大出力を発
生するユニットを検出する最大ユニット検出器2232と、
最大出力ユニット検出器2232で求めたユニット番号を認
識結果として出力する認識結果出力部2233と、最大出力
ユニット検出器2232の出力と現在入力されている特徴デ
ータに対応する教師データとを比較することにより認識
結果を判定し、学習時には前記認識結果を第３層の単位
認識ユニットに出力する比較判定器2234とで構成するこ
とができる。ネットワークの第１層，第２層を構成する
単位認識ユニットｎ11〜ｎ12，及びｎ21〜ｎ24は、例え
ば、図７（ａ）に示した単位認識ユニットを用いてお
り、第３層を構成する単位認識ユニットｎ31〜ｎ38は、
例えば、図７（ｂ）に示した単位認識ユニットを用い、
第４層は図８に示したしきい値処理ユニット9を用い
る。

【００３５】以上のように構成した画像処理装置につい
て以下その動作を説明する。実施例１と同様に、図１の
画像入力手段１から入力した１枚の画像信号（画像の大
きさを縦×横＝Ｙ×Ｘとする）は、画像分割手段２の中
の画像分割情報抽出部21に送出される。画像分割情報抽
出部21では、対象となる画像の分割の有無の基準となる
１種類もしくは複数種の分割情報を画像信号から抽出し
た後、画像信号を画像分割部23に、求めた分割情報を画
像分割判断部22の中の学習型画像分割判断部223に送出
する。学習型画像分割判断部223は、予め各種状態の分
割情報と分割の必要の有無（”１”と”０”）との関係
を学習データ格納部224 に格納されているデータをもと
に学習させてあり、学習結果に基づいて分割情報を判断
して”１”（分割有り）もしくは”０”（分割無し）を
画像分割部23に送出する。（学習については後で詳しく
述べる。）画像分割部23に送出された画像に対するこれ
より後の処理は、実施例１と同様である。

【００３６】次に学習型画像分割判断部223 の動作につ
いて、以下の図６，図７，図８，図９，図１０を用いて
説明する。まず、単位認識ユニット８単体の動作につい
て、図６と図７を用いて説明する。図６（ａ）の信号入
力部811 は、信号入力端子811aを介して入力した、認識
の対象となる特徴デ−タを量子化器812 に入力する。量
子化器812は、入力された特徴デ−タを量子化し、量子
化した値を経路選択部813に入力する。813aは経路入力
端子、813b1及び813b2は経路出力端子で、単位認識ユニ
ットを組み合わせてネットワ−クを構成するときに、こ
れらの端子を相互に連結するものである。経路選択部81
3は、量子化器812から入力された値に基づいて、経路入
力端子813aと、経路出力端子813b1又は813b2との連結の
仕方を変化させる様に構成してある。構造記憶部82に
は、量子化器の量子化の範囲と、量子化の個数と、経路
選択部の経路入力端子数及び経路出力端子数を記憶させ
てある。内部状態記憶部83には、それまでに入力された
信号の平均、分散、入力総回数を単位認識ユニットの内
部状態として記憶させてある。複製作成部84は、内部状
態記憶部83に記憶させた内部状態がある一定値に達した
ときに、構造記憶部に記憶させた単位認識ユニットの量
子化の範囲を２分割し、前記単位認識ユニットの複製を
作成させるように構成してある。

【００３７】図６（ｂ）に示す単位認識ユニットは、ス
イッチ813cが量子化器812 から入力された値に基づき、
経路入力部813aの経路入力端子813a1 と経路出力部813b
の経路出力端子813b1又は813b2との連結の仕方を切り換
えるように動作するものである。

【００３８】図７（ａ）に示す単位認識ユニットの動作
は以下の通りである。荷重813d1 ，および813d2 は、経
路出力部813bの経路出力端子813b1及び813b2に出力する
経路出力信号に加える重みで、荷重器813d0は、量子化
器812の出力する値に応じて、これらの荷重を変化させ
る。荷重813d1及び813d2は、経路入力部813aから入力さ
れた経路信号を重み付けし、経路出力部813bは、この重
み付けした経路信号を経路出力端子813b1及び813b2に出
力する。

【００３９】図７（ｂ）に示す単位認識ユニットの動作
は以下の通りである。荷重813d1 〜813d3は、経路出力
部813bの経路出力端子813b1〜813b3 に出力する経路出
力信号に加える重みで、学習過程においては、学習器81
3d4により、経路入力端子813a1に入力された値に応じて
経路入力端子813a1と量子化器812の出力値が指し示す経
路出力端子との荷重が更新される。認識過程において
は、量子化器812 には信号は入力されず、荷重813d1〜8
13d3 は経路入力端子813a1から入力された経路信号を重
み付けし、経路出力部813bはこの重み付けした経路信号
を経路出力端子813b1〜813b3に出力する。

【００４０】しきい値処理ユニット９単体の動作につい
て図８を用いて説明する。92は加算器92は、経路入力部
91の複数の経路入力端子911 〜91ｎ（ｎは任意の自然
数）からの入力信号を加算する。しきい値処理器93は、
加算器92で加算した信号に対してしきい値処理を行い、
どのように経路出力端子94へ出力するかを決定する。

【００４１】次に、図９に示した学習型画像分割判断部
223 の学習動作について説明する。学習動作はフォワー
ド処理と複製処理及び荷重変更処理とからなる。まず、
フォワード処理について説明する。

【００４２】第１層目の単位認識ユニットｎ11およびｎ
12の経路入力端子への経路信号として、まず１を与え
る。またこれらのユニットの量子化器への信号入力端子
には、認識対象物の第１の一連の特徴データを入力す
る。この図の場合には、第１特徴データをそれぞれ２個
の単位認識ユニットに入力する。

【００４３】第１層目の単位認識ユニットｎ11，ｎ12
は、量子化器でこれらの第１特徴データを量子化し、量
子化結果を荷重器813d0に出力する。荷重器813d0は、予
め設定されている入力データに対応する荷重並びに隣接
区間の荷重を、対応する量子化レベル位置に設定する。
このように１つの単位認識ユニットにおいて複数の経路
が選択され、第２層目の単位認識ユニットｎ21〜ｎ24の
経路入力端子へ、経路信号と前記荷重を掛け合わせた値
が送出される。

【００４４】第２層目の単位認識ユニットの信号入力端
子には、学習データ格納部224 から読みだされた認識対
象物の第２の特徴データを入力する。第１層目の場合と
同様にして複数の経路信号が選択され、第３層目の単位
認識ユニットｎ31〜ｎ38の経路入力端子へ、経路信号と
前記荷重を掛け合わせた値が送出される。

【００４５】フォワード処理の場合、第３層の単位認識
ユニットｎ31〜ｎ38の信号入力端子には教師データは入
力されない。従って荷重の変更は行われず、学習時の荷
重の状態が保持されており、各単位認識ユニットの経路
入力信号にこれらの荷重を乗じて、第４層目の全単位認
識ユニットの経路入力端子へ経路信号が送られる。第４
層目のしきい値処理ユニット９の加算器92は入力された
経路信号を加算する。しきい値処理器93はこの信号をし
きい値処理し、経路出力部94に出力する。ここで、しき
い値処理を行う関数としてはシグモイド関数，ステップ
関数等を用いることができる。

【００４６】このようにして、入力した認識対象物の特
徴データに基づき、その時点の荷重による最終層のしき
い値処理ユニットの出力が計算され、最大出力ユニット
検出器2232に出力される。最大出力ユニット検出器2232
は、最も大きな出力を出しているユニットの番号を検出
し、認識結果出力部2233から出力する。

【００４７】次に、複製処理について説明する。まず、
単位認識ユニットの複製作成動作について、以下図７
（ａ）を用いてその動作を説明する。実際に複製を作成
するためには、他の単位認識ユニットと全く結合がな
く、使用していない空の単位認識ユニットを用意する必
要がある。複製の基となる単位認識ユニットの信号入力
部811 の信号入力端子811aからは、例えば１〜１０迄の
値を取る信号が入力され、又、量子化器812の量子化の
範囲は１〜１０に設定してある。

【００４８】内部状態記憶部83は順次入力されるデ−タ
信号の平均、分散、入力回数を、デ−タ信号が入力され
る毎に計算，記憶する。そして、入力回数と分散の積が
ある一定値を越えた時に、複製作成部84は構造記憶部82
に記憶させてある量子化器の量子化の範囲と、量子化の
個数と、経路選択部813 の経路入力端子数及び経路出力
端子数とを参照し、この単位認識ユニットの情報を、空
の使用していない単位認識ユニットにコピ−すると共
に、他の単位認識ユニットとの結合も含めて自分と全く
同じ複製を作成する。その際に、１〜10迄必要な量子化
の範囲を分割し、例えば、基の単位認識ユニットの量子
化器の量子化の範囲を１〜５に、複製の単位認識ユニッ
トの量子化器の量子化の範囲を６〜10に設定し、基のユ
ニットと複製のユニットとで、機能を分担するように、
複製を作成する。

【００４９】次に、各単位認識ユニットが複製を作成す
る際の学習型画像分割判断部223 全体としての動作を説
明する。第４層までの各層の単位認識ユニットが複製を
作成する際には、各ユニットの下層に連結させた単位認
識ユニットの全てを含めて複製する必要がある。図１０
は、下層に連結させた単位認識ユニットの全てを含めた
複製の様子を示したものである。複製作成検出部2231
は、前述のように、複製動作を起こした全ての単位認識
ユニットを検出し、複製を作成する各ユニットの下層に
連結させた単位認識ユニットの全てを含めて複製するよ
うに指示を出す。例えば図１０に示すように、ユニット
101 は、下層に連結させた単位認識ユニット1011，1011
2を含めて複製し、複製の単位認識ユニット102、及びそ
の下層の単位認識ユニット1021，1022が作成される。従
って、入力デ−タに対してネットワ−クの学習を行なう
のみではなく、入力信号に応じて適応的にネットワ−ク
の構造を自動的に変更，構築，及び自己組織化すること
が可能である。

【００５０】次に、学習動作における荷重変更処理につ
いて説明する。まず、学習データ格納部224 は、現在入
力されている特徴データに対応する教師データを、第３
層の単位認識ユニットの信号入力端子に出力する。教師
データとは、ｎ41，ｎ42のどちらの単位認識ユニットが
大きい値となることが望ましいかを示すものである。単
位認識ユニットｎ31〜ｎ38の量子化器は、例えばｎ41が
第４層の単位認識ユニットの中で最大値を出力する場合
には、量子化レベル値（量子化結果）が単位認識ユニッ
トｎ41につながる経路に対応する値となるように設定さ
れている。比較判定器2234は、前記認識結果と前記教師
データとを比較し、比較結果が異なる場合、学習器813d
4 は、経路入力端子813a1と量子化器812の出力が示す経
路出力端子（ここでは、単位認識ユニットｎ41につなが
る経路）との連結強度である荷重を経路入力端子813a1
から入力された値だけ増加させる。

【００５１】このようにして、全ての入力データについ
て、前記フォワード処理の認識結果と教師データとが一
致するまで、以上の学習動作を行う。

【００５２】次に、認識動作について説明する。まず、
認識過程では、内部状態記憶部に記憶させた単位認識ユ
ニットの内部状態は変化せず、従って複製作成部も動作
しない。第１，２，３層目の各単位認識ユニットは、学
習動作のフォワード処理と同様にして、各経路に伝達さ
れた信号に荷重を掛けながら次層に出力し、最終層のし
きい値処理ユニットの出力が計算される。最大出力ユニ
ット検索器2232は、最大値を出力する単位認識ユニット
の番号（ｎ41もしくはｎ42）を検出し、認識結果として
認識結果出力部2233から出力する。

【００５３】このように、学習型画像分割判断部223 の
学習過程は、多層の階層ネットワークに対するフォワー
ド処理により認識結果が算出され、その認識結果が誤認
識の場合、第３層目の単位認識ユニットの荷重のみを学
習器813d4 によって経路入力端子813a1 に伝達された値
だけ増加させるだけで学習が行えるため、全ての単位認
識ユニットの荷重を変更する必要がなく高速学習が可能
である。また、入力データに応じて各単位認識ユニット
の内部状態が変化すると複製作成部84が動作して、各単
位認識ユニットの複製を作成するため、入力信号に応じ
て適応的にネットワークの構造を自動的に変更，構築，
及び自己組織化することが可能であり、学習していない
新規なデータ入力に対する汎化性にも優れている。

【００５４】以上のように本実施例の画像処理装置は、
実施例１と同様、エッジ抽出の前処理として、画像の状
態に応じて適応的に画像を分割し、各画像ブロックに適
した階調補正処理を行うとともに、上記の学習型画像分
割判断部223 を用いることによって、高速な学習，認識
が可能であり、ユーザが画像から求める分割情報と画像
の分割の有無（必要性）との関係を試行錯誤により決定
する必要がないため、非常に簡単に、かつ画像の状態に
応じて適切に分割の有無を決定することができる。

【００５５】なお、先に述べた学習型画像分割判断部22
3 と同様の構造を図４の学習型非線形階調補正曲線選択
部41に適用することにより、画像の状態に応じた適切な
階調補正処理が可能である。

【００５６】以上の両実施例の画像処理の具体例につい
て、図５を参照しながら説明する。図５（ａ）は、本実
施例の画像処理により原画像を適応的に分割した状態を
表わす図である。この画像は窓Ｗに絞りを合わせて撮像
したもので、室内が非常に暗く、影の領域内の箱Ｂをは
っきり認識することができない状態にある。この画像を
画像分割手段２で適応的に複数の画像ブロックに分割し
て各画像ブロックの状態を見ると、画像ブロックｃ〜ｈ
が全体的に暗く、画像ブロックａ，ｂが全体的に明るく
て、どちらも箱Ｂや人Ｍのエッジがはっきり認識できて
いないことがわかる。

【００５７】そこで、同図（ｂ）に示すように、画像ブ
ロックｃ〜ｈを全体的に明るく補正し、また、画像ブロ
ックａ，ｂの輝度を全体的に低くかつ輝度差を強調する
ように補正して、影の部分の箱Ｂや窓の外の人Ｍのエッ
ジを強調する。同図（ｃ），（ｄ）は階調補正後の各画
像ブロック（同図（ｂ））に対してエッジ抽出処理を行
った結果である。先に述べたように、（ｃ）は図１２
（ａ）に示す従来例のエッジ抽出処理を施した結果，
（ｄ）は図１２（ｂ）に示す従来例のエッジ抽出処理を
施した結果である。左上や右下の画像ブロックに対して
階調補正を行って箱Ｂや人Ｍのエッジを強調してあるた
め、これらにエッジ抽出処理を施すと、図（ｃ），
（ｄ）に示すように影の部分のエッジを正しく抽出する
ことができる。

【００５８】このように、１種類の階調補正処理で補正
可能になるまで画像を適応的に分割し、各画像ブロック
に適した階調補正を施すことにより、細部にわたってエ
ッジを正確に抽出することができる。

【００５９】なお、本発明の各手段は、コンピュータを
用いてソフトウェア的に実現し、あるいはそれら各機能
を有する専用のハード回路を用いて実現する事が出来
る。

【００６０】

【発明の効果】以上のように本発明の画像処理装置は、
画像入力手段から入力された画像を複数の画像ブロック
に分割する画像分割手段と、各画像ブロックの画像信号
から１種もしくは複数種の補正情報を抽出する画像情報
抽出手段と、画像情報抽出手段で求めた画像情報に基づ
いて各画像ブロックに適した階調補正を行って抽出した
いエッジを強調する階調補正手段と、階調補正後の各画
像ブロックを１枚の画像に再合成する画像合成手段と、
合成後の画像からエッジを抽出するエッジ抽出手段とを
有し、画像分割手段は、分割の対象となる画像ブロック
から１種類もしくは複数種の分割情報を抽出する画像分
割情報抽出部と、画像分割情報抽出部で求めた画像情報
をもとに対象画像ブロックを分割するかどうかを判断す
る画像分割判断部と、画像分割判断部の判断結果に基づ
いて対象画像ブロックを分割する画像分割部とで構成
し、画像分割部で分割した画像ブロックをさらに画像分
割情報抽出部に入力して分割情報の抽出，分割の有無の
判断，分割の処理を繰り返すことによって、画像の状態
に応じた画像ブロックの分割が可能となり、各画像ブロ
ックに適した階調補正処理を施すことにより、細部にわ
たって正確なエッジを抽出することが可能である。

【００６１】画像分割判断部を分割基準値記憶部と比較
部とで構成した場合、比較部は、画像分割判断部で抽出
した分割情報と、分割基準値記憶部に記憶させてある各
分割情報に対応する分割基準値とを比較し、各分割情報
が分割の条件を満たしている場合は”１”（分割有り）
を、そうでない場合は”０”（分割無し）を画像分割部
に送出することにより、画像分割部へ分割の有無を指示
することができる。

【００６２】一方、画像分割判断部を学習型画像分割判
断部と学習データ格納部とで構成した場合、学習型画像
分割判断部は、予め各種状態の分割情報と分割の必要の
有無（”１”もしくは”０”）との関係を学習データ格
納部に格納されているデータをもとに学習させてあり、
学習結果に基づいて分割情報を判断して”１”または”
０”を画像分割部に送出することにより、画像分割部へ
の分割の有無を指示することができる。また、画像の分
割情報と画像の分割の有無の関係を予め学習によって形
成し、これにより各分割情報を判断することにより、ユ
ーザが分割基準値を試行錯誤により決定する必要がな
く、非常に簡単に、かつ画像の状態に応じて適切に分割
の有無を決定することができる。

【図面の簡単な説明】

【図１】本発明による画像処理装置の第一の実施例を示
すブロック図

【図２】本発明による画像処理装置の第二の実施例を示
すブロック図

【図３】（ａ）〜（ｃ）は自然画像の状態を示す図 （ｄ）は画像分割手段により画像を適応的に分割する様
子を示す図

【図４】本実施例の階調補正手段の一構成例を示すブロ
ック図

【図５】（ａ）は本実施例の画像処理により原画像を適
応的に分割した状態を示す図 （ｂ）は分割後の各画像ブロックに対して階調補正処理
を施してエッジを強調した画像の状態を示す図 （ｃ）は（ｂ）に対して図１３（ａ）のエッジ抽出手段
を用いてエッジ抽出処理を行った結果を示す図 （ｄ）は（ｂ）に対して図１３（ｂ）のエッジ抽出手段
を用いてエッジ抽出処理を行った結果を示す図

【図６】（ａ）は図２の学習型画像分割判断部のネット
ワークを構成する単位認識ユニットの一実施例を示すブ
ロック図 （ｂ）は同図（ａ）の経路選択部を経路入力部，経路出
力部，スイッチで構成した例を示すブロック図

【図７】（ａ）は図６（ａ）の経路選択部を経路入力
部，経路出力部，経路荷重部で構成した例を示すブロッ
ク図 （ｂ）は図７（ａ）の荷重器を学習器に置き換えた例を
示すブロック図

【図８】図２の学習型画像分割判断部のネットワークを
構成するしきい値処理ユニットの一実施例を示す図

【図９】図２の学習型画像分割判断部の一実施例を示す
図

【図１０】図２の学習型画像分割判断部の学習時のネッ
トワークの複製動作を示す図

【図１１】本実施例の階調補正手段で用いる階調補正曲
線の例を示す図

【図１２】（ａ）は従来のエッジ抽出処理の一般的構成
の第一の例を示すブロック図 （ｂ）は従来のエッジ抽出処理の一般的構成を第二の例
を示すブロック図

【図１３】（ａ）はプレヴィットのオペレータを示す図 （ｂ）はソーベルのオペレータを示す図

【図１４】（ａ）は人の眼で見た室内画像を示す図 （ｂ）はＴＶカメラで撮像した室内画像を示す図 （ｃ）は(ｂ)に対して図１３(ａ)に示すエッジ抽出処理
を施した結果を示す図 （ｄ）は(ｂ)に対して図１３(ｂ)に示すエッジ抽出処理
を施した結果を示す図

【符号の説明】

１ 画像入力手段 ２ 画像分割手段 ３ 画像情報抽出手段 ４ 階調補正手段 ５ 画像合成手段 ６ エッジ抽出手段 ７ 画像出力手段 ８ 単位認識ユニット ９ しきい値処理ユニット 21 画像分割情報抽出部 22 画像分割判断部 23 画像分割部 41 学習型非線形階調補正曲線選択部 42 非線形階調補正部 43 学習データ格納部 81 単位ユニット 82 構造記憶部 83 内部状態記憶部 84 複製作成部 91 経路入力部 92 加算器 93 しきい値処理器 94 経路出力部 101 基ユニット 102 複製 121 画像入力手段 122 エッジ抽出手段 123 画像出力手段 221 分割基準値記憶部 222 比較部 223 学習型画像分割判断部 224 学習データ格納部 811 信号入力部 811a 信号入力端子 812 量子化器 813 経路選択部 813a 経路入力部 813a1 経路入力端子 813b 経路出力部 813b1〜813b3 経路出力端子 813c スイッチ 813d 経路荷重部 813d0 荷重器 813d1〜813d3 荷重 813d4 学習器 911〜91ｎ 経路入力端子 ｎ11〜ｎ42 単位認識ユニット 1221 ２値化しきい値記憶部 1222 しきい値処理部 1223 境界線追跡部 1224 微分部 1225 細線化処理部 2231 複製作成検出部 2232 最大出力ユニット検出器 2233 認識結果出力部 2234 比較検討器

───────────────────────────────────────────────────── フロントページの続き (72)発明者 丸野 進 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (4)

【特許請求の範囲】
1. 【請求項１】画像を入力する画像入力手段と、前記画像
   入力手段から入力した前記画像を複数の画像ブロックに
   分割する画像分割手段と、前記画像分割手段から送出さ
   れた前記各画像ブロックの画像信号から少なくとも１種
   類の画像情報を抽出する画像情報抽出手段と、前記画像
   情報に基づいて前記画像ブロックの画像信号に対して階
   調補正を行う階調補正手段と、前記階調補正手段で補正
   した前記各画像ブロックを１枚の画像に再合成する画像
   合成手段と、前記画像合成手段で合成した画像からエッ
   ジを抽出するエッジ抽出手段と、前記エッジ抽出手段に
   より抽出したエッジ画像を出力する画像出力手段とを備
   え、前記画像分割手段は、前記分割の対象となる画像か
   ら画像分割の基準となる画像情報を少なくとも１種類抽
   出する画像分割情報抽出部と、前記画像分割情報抽出部
   で得た画像情報をもとに対象画像の分割の有無を決定す
   る画像分割判断部と、前記画像分割判断部で得た判断結
   果に応じて画像を分割して前記画像分割情報抽出部に出
   力する画像分割部とで構成することを特徴とする画像処
   理装置。
2. 【請求項２】画像分割判断部は、画像分割情報抽出部か
   ら送出される少なくとも１種類の分割情報に対する分割
   基準値を記憶させる分割基準値記憶部と、前記分割基準
   値記憶部に記憶させた前記各分割基準値と各画像情報と
   を比較して、１（分割）または０（分割無し）を画像分
   割部に出力する比較部とによって構成されていることを
   特徴とする請求項１記載の画像処理装置。
3. 【請求項３】画像分割判断部は、分割画像情報抽出部か
   ら送出される少なくとも一種類の画像情報と分割の有無
   との関係を学習によって形成し、前記画像情報を前記学
   習結果に基づいて判断して画像の分割の有無を決定する
   学習型画像分割判断部と、前記画像情報（特徴データ信
   号）と分割の有無（１または０）との組合せを前記学習
   に用いるデータとして格納する学習データ格納部とによ
   って構成されていることを特徴とする請求項１記載の画
   像処理装置。
4. 【請求項４】単位認識ユニットを多層の階層状に組合せ
   てネットワークを構成し、少なくとも複数の経路入力端
   子と前記経路入力端子からの入力信号を加算する加算器
   と前記加算器の出力信号をしきい値処理するしきい値処
   理器と前記しきい値処理器の出力を出力する経路出力端
   子によって構成したしきい値処理ユニットを最下層に配
   置し、前記ネットワークの前記最下層の前層に位置する
   前記単位認識ユニットの信号入力部に学習データ格納部
   に格納した教師データを入力する教師データ入力端子
   を、前記最下層及び最下層の前層以外の層に位置する前
   記単位認識ユニットの信号入力部に前記学習データ格納
   部に格納した特徴データ信号を入力する特徴データ信号
   入力端子を設けて学習型画像分割判断部を構成し、信号
   入力部と前記信号入力部からの入力信号に応じて量子化
   を行う量子化器と単一または複数の経路入力端子と単一
   または複数の経路出力端子と前記量子化器の出力に応じ
   て経路の選択を行う経路選択部とによって構成した単位
   ユニットと、前記量子化器の量子化の範囲及び量子化の
   個数を量子化定数として記憶させる構造記憶部と、前記
   単位ユニットへの入力信号の平均，分散，入力回数を内
   部状態として記憶させる内部状態記憶部と、前記記憶さ
   せた内部状態に基づいて前記量子化の範囲を２分割して
   分割前の単位ユニットをそれぞれ作成する複製作成部と
   によって前記単位認識ユニットを構成したことを特徴と
   する請求項３記載の画像処理装置。