JP2004265264A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2004265264A JP2004265264A JP2003056460A JP2003056460A JP2004265264A JP 2004265264 A JP2004265264 A JP 2004265264A JP 2003056460 A JP2003056460 A JP 2003056460A JP 2003056460 A JP2003056460 A JP 2003056460A JP 2004265264 A JP2004265264 A JP 2004265264A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- pixel
- processing apparatus
- counting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 110
- 238000001914 filtration Methods 0.000 claims abstract description 33
- 238000002372 labelling Methods 0.000 claims description 36
- 239000000284 extract Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 27
- 239000000428 dust Substances 0.000 description 16
- 238000012935 Averaging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】精度良く計数対象物の計数を行うことができる画像処理装置を提供する。
【解決手段】2値化手段3の前段に設けた特徴画像生成手段2において、濃淡画像に対し、計数対象物の大きさに基づいて、計数対象物の領域内の輝度値のピーク部(S字のパターン)を強調する空間フィルタリング処理を施す。
【選択図】 図1
【解決手段】2値化手段3の前段に設けた特徴画像生成手段2において、濃淡画像に対し、計数対象物の大きさに基づいて、計数対象物の領域内の輝度値のピーク部(S字のパターン)を強調する空間フィルタリング処理を施す。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、計数対象物の像を含む濃淡画像からその計数対象物の像の存在を示す輝度値のパターンを抽出して、計数対象物の数を計数する画像処理装置に関する。
【0002】
【従来の技術】
以下に、計数対象物の計数を行う従来の画像処理装置について図26を用いて説明する。図26は、従来の画像処理装置の構成図である。
【0003】
図26において、画像入力手段1は、計数対象物の像を含む画像を読み取り、各画素の輝度を数値化した画像データ(濃淡画像)を輝度補正手段24に入力する。
【0004】
輝度補正手段24は、画像入力手段1から入力された画像データ(濃淡画像)に対し、各画素の輝度値から背景の輝度値を減算する輝度補正処理を行う。なお、背景の輝度値には、各画素近傍、例えばある画素を中心とする3×3画素の範囲の輝度値に対して算出した加算平均を使用する。
【0005】
2値化手段3は、輝度補正手段24により輝度補正した画像データ(濃淡画像)に対して所定の閾値で閾値処理を施し、2値画像を生成する。閾値処理とは、各画素の輝度値を所定の閾値と比較し、所定の閾値より大きな輝度値を持つ画素の輝度値を1、所定の閾値より小さな輝度値を持つ画素の輝度値を0とする処理である。以下、輝度値が1の画素を白画素、輝度値が0の画素を黒画素と称する。また所定の閾値は、輝度補正した画像データ(濃淡画像)に含まれる計数対象物の像の画素(計数対象物の領域内の画素)が白画素となるように設定する。
【0006】
ラベリング手段4は、計数対象物を表す白画素の連結成分ごとに同一の番号(符号)を付与していく。これにより、計数対象物が存在する位置が認識され、計数することができるようになる。なお、1個の計数対象物に由来する白画素の周囲には、拡散光の影響により生じた偽の白画素が生じている可能性があるため、ある白画素の連結成分の周囲に隣接して、別の白画素の連結成分が存在するとき、これらをまとめて1つと計数する。
【0007】
このようにして、従来の画像処理装置は、計数対象物の像を含む濃淡画像からその計数対象物の像の存在を示す輝度値のパターンを抽出し、計数対象物の数を計数していた(例えば、特許文献1参照。)。
【0008】
しかしながら、従来の画像処理装置においては、次の4つの問題が生じていた。
▲1▼ 本来計数すべきでない物体(ごみ)の像が濃淡画像に含まれている場合、2値画像にそのごみを表す白画素の連結成分が現れるため、そのごみも誤って計数してしまい、計数精度が低下するという問題があった。
【0009】
▲2▼ 図12に示すように濃淡画像に横方向のずれが生じる場合、図14に示すように、計数対象物の領域内の輝度値に複数のピーク部(S字のパターン)が生じることになる。しかしながら、従来の画像処理装置では、濃淡画像に対して計数対象物の領域内のピーク部(S字のパターンのピーク部)を抽出する閾値処理を行い2値画像を生成するので、図16に示すように、その2値画像には1つの計数対象物が複数の連結成分となって現れ、それぞれを別の個体として計数してしまい、計数精度が低下するという問題があった。このような画像のずれは、画像入力手段が一定方向に1ラインづつ画像を読み取っていく構成である場合に発生することがある。
【0010】
▲3▼ 図20に示すように計数すべき複数個の計数対象物が近接していた場合、2値画像を生成するための閾値の大小によっては、図21に示すように、近接している複数個の計数対象物が1つの連結成分となって現れることがある。しかしながら、従来の画像処理装置では、1つの連結成分に対して同一符号を付与するので、本来複数個である計数対象物を誤って1個と計数してしまい、計数精度が低下するという問題があった。
【0011】
▲4▼ 従来の画像処理装置では、輝度補正手段、2値化手段、ラベリング手段は、入力された濃淡画像の全領域の画素を対象として処理を行うため、処理に多くの時間がかかってしまうという問題があった。
【0012】
【特許文献1】
再表00/039329号公報
【0013】
【発明が解決しようとする課題】
本発明は、前述した▲1▼乃至▲4▼の問題点に鑑み、以下の画像処理装置を提供することを目的とする。
【0014】
(1) 本発明は、前述した問題点▲1▼に鑑み、濃淡画像に対し、計数対象物の大きさに基づいて、計数対象物の領域内の輝度値のピーク部(S字のパターン)を強調する空間フィルタリング処理(特徴画像生成処理)を施すことにより、本来計数すべきでない物体(ごみ)の像が濃淡画像に含まれている場合であっても、そのごみを表す連結成分が現れない2値画像を生成することができ、精度良く計数対象物の計数を行うことができる画像処理装置を提供することを目的とする。
【0015】
また、上述した計数対象物の領域内の輝度値のピーク部を強調する空間フィルタリング処理として、以下の空間フィルタリング処理を行う画像処理装置を提供することを目的とする。
【0016】
第1の空間フィルタリング処理として、計数対象物の領域内の輝度値は計数対象物の上下方向(縦方向)に相関が強いことを利用して、計数対象物の上下方向(縦方向)に、注目画素(現在処理の対象となっている画素)から計数対象物の大きさに基づく所定距離だけ離れた位置にある2つの画素間にある画素の輝度値を全て加算し、この加算値を注目画素の新たな輝度値に置き換える空間フィルタリング処理を施すことにより、計数対象物の領域内の輝度値のピーク部(S字のパターン)を強調する画像処理装置を提供することを目的とする。このようにすれば、計数対象物の領域内の新たなピーク部(S字のパターン)は大きくなり、一方、ごみの領域内の輝度値には計数対象物の領域内の輝度値のような相関関係はなく、さらに、加算する範囲が計数対象物の大きさに基づいた範囲であるので、ごみの領域内の輝度値(パターン)は大きくならない。従って、計数対象物の領域内の新たな輝度値のピーク部(S字のパターンのピーク部)を抽出する閾値処理を行えば、ごみを含まない2値画像を生成することができる。
【0017】
第2の空間フィルタリング処理として、計数対象物の領域内に、計数対象物の左右方向(横方向)に明部と暗部が生じることを利用して(図3参照)、計数対象物の左右方向(横方向)に、注目画素から計数対象物の大きさに基づく所定距離だけ離れた位置にある2つの画素の輝度値を減算し、この減算値を注目画素の新たな輝度値に置き換える空間フィルタリング処理を施すことにより、計数対象物の領域内の輝度値のピーク部(S字のパターン)を強調する画像処理装置を提供することを目的とする。このようにすれば、明部と暗部の境界付近の新たな輝度値が大きくなり、これが新たなピーク部となるのに対し、ごみには計数対象物のように明部と暗部は生じず、さらに、減算処理の対象となる画素を注目画素から計数対象物の大きさに基づいた距離だけ離れた位置にある画素とするので、ごみの領域内の輝度値は大きくならない。従って、計数対象物の領域内の新たな輝度値のピーク部を抽出する閾値処理を行えば、ごみを含まない2値画像を生成することができる。
【0018】
(2) 本発明は、前述した問題点▲2▼に鑑み、濃淡画像に対し、計数対象物の大きさに基づいて、計数対象物の領域内に生じた複数の輝度値のピーク部を重ねる空間フィルタリング処理(特徴画像生成処理)を施すことにより、図12に示すように濃淡画像に横方向のずれが生じる場合であっても、1つの計数対象物が1つの連結成分となって現れる2値画像を生成することができ、精度良く計数対象物の計数を行うことができる画像処理装置を提供することを目的とする。
【0019】
また、上述した計数対象物の領域内に生じた複数の輝度値のピーク部を重ねる空間フィルタリング処理として、計数対象物の領域内に、計数対象物の左右方向(横方向)に明部と暗部が生じることを利用して、計数対象物の左右方向(横方向)に、注目画素から計数対象物の大きさに基づく所定距離だけ離れた位置にある2つの部分領域を設定し、一方の部分領域内の最大の輝度値から他方の部分領域内の最小の輝度値を減算し、この減算値を注目画素の新たな輝度値に置き換える空間フィルタリング処理を施すことにより、計数対象物の領域内に生じた複数の輝度値のピーク部を重ねる画像処理装置を提供することを目的とする。このようにすれば、これらの部分領域がそれぞれ上記明部と暗部にかかっている間の注目画素の輝度値が新たなピーク部となるので、この新たなピーク部は幅の広いものとなる。従って、図12に示すように濃淡画像に横方向のずれが生じ、計数対象物の領域内に複数の輝度値のピーク部(S字のパターン)が生じた場合であっても、それぞれのピーク部に対する新たなピーク部は重なりが大きく、この重なっている領域の輝度値の上限も大きくなるので、複数のピーク部が一つの連結成分となって現れる2値画像を生成することができる。
【0020】
(3) 本発明は、前述した問題点▲3▼に鑑み、ラベリング処理の探索範囲を計数対象物の大きさに基づいて限定することにより、図21に示すように、近接している複数個の計数対象物が1つの連結成分となって現れる場合であっても、計数対象物の大きさに基づいて限定した探索範囲内の連結成分に対してのみ同一符号を付与し、正しく計数することができる画像処理装置を提供することを目的とする。
【0021】
(4) 本発明は、前述した問題点▲4▼に鑑み、画像入力手段の後段に、濃淡画像から背景以外の物が含まれる領域(計数対象物の像を含む領域)を切り出して部分画像を生成する領域切り出し手段を設け、この濃淡画像の部分画像を用いて以降の処理を行うことにより、処理時間を短縮することができる画像処理装置を提供することを目的とする。
【0022】
【課題を解決するための手段】
本発明の請求項1記載の画像処理装置は、所定の大きさを持つ計数対象物を含む濃淡画像を入力する画像入力手段と、前記濃淡画像に対し前記計数対象物の大きさに基づいて空間フィルタリング処理を施し前記計数対象物の輝度値を強調した特徴画像を生成する特徴画像生成手段と、前記特徴画像に対し所定の閾値で閾値処理を施し2値画像を生成する2値画像生成手段と、を有し、前記2値画像に対し前記計数対象物を表す連結成分ごとに同一符号を付与するラベリング処理を施し、前記計数対象物の計数を行うことを特徴とする。
【0023】
本発明の請求項2記載の画像処理装置は、請求項1記載の画像処理装置であって、前記特徴画像生成手段は、注目画素から前記計数対象物の上下方向に前記計数対象物の大きさに基づく所定距離だけ離れた位置にある2つの画素を端点とする線分上の画素の輝度値を全て加算し、この加算値を注目画素の輝度値に置き換える空間フィルタリング処理を行うことを特徴とする。
【0024】
本発明の請求項3記載の画像処理装置は、請求項2記載の画像処理装置であって、前記所定距離は、前記計数対象物の縦方向の最大幅の2分の1に等しいことを特徴とする。
【0025】
本発明の請求項4記載の画像処理装置は、請求項2記載の画像処理装置であって、前記所定距離は、前記計数対象物の縦方向の最大幅の4分の1に等しいことを特徴とする。
【0026】
本発明の請求項5記載の画像処理装置は、請求項1記載の画像処理装置であって、前記特徴画像生成手段は、注目画素から前記計数対象物の左右方向に前記計数対象物の大きさに基づく所定距離だけ離れた位置にある2つの画素の輝度値を読み取り、前記計数対象物の明部の方向にある画素の輝度値から暗部の方向にある画素の輝度値を減算し、この減算値を注目画素の輝度値に置き換える空間フィルタリング処理を行うことを特徴とする。
【0027】
本発明の請求項6記載の画像処理装置は、請求項5記載の画像処理装置であって、前記所定距離は、前記計数対象物の横方向の最大幅の2分の1に等しいことを特徴とする。
【0028】
本発明の請求項7記載の画像処理装置は、請求項5記載の画像処理装置であって、前記所定距離は、前記計数対象物の横方向の最大幅の3分の1に等しいことを特徴とする。
【0029】
本発明の請求項8記載の画像処理装置は、所定の大きさを持つ計数対象物を含む濃淡画像を入力する画像入力手段と、前記濃淡画像に対し前記計数対象物の大きさに基づいて空間フィルタリング処理を施し前記計数対象物の輝度値のピーク部の幅を広げた特徴画像を生成する特徴画像生成手段と、前記特徴画像に対し所定の閾値で閾値処理を施し2値画像を生成する2値画像生成手段と、を有し、前記2値画像に対し前記計数対象物を表す連結成分ごとに同一符号を付与するラベリング処理を施し、前記計数対象物の計数を行うことを特徴とする。
【0030】
本発明の請求項9記載の画像処理装置は、請求項8記載の画像処理装置であって、前記特徴画像生成手段は、注目画素から前記計数対象物の左右方向に前記計数対象物の大きさに基づく第1の所定距離だけ離れた位置にある2つの画素を第1の画素と第2の画素に設定し、前記第1の画素および前記第2の画素を中心とする第1の部分領域および第2の部分領域を設定し、前記計数対象物の明部の方向にある部分領域内の最大の輝度値を持つ画素の輝度値から、暗部の方向にある部分領域内の最小の輝度値を持つ画素の輝度値を減算し、この減算値を注目画素の輝度値に置き換える空間フィルタリング処理を行うことを特徴とする。
【0031】
本発明の請求項10記載の画像処理装置は、請求項9記載の画像処理装置であって、前記第1の部分領域は、前記第1の画素から前記計数対象物の左右方向に第2の所定距離だけ離れた位置にある2つの画素を端点とする線分上にある画素からなる領域であり、前記第2の部分領域は、前記第2の画素から前記計数対象物の左右方向に前記第2の所定距離だけ離れた位置にある2つの画素を端点とする線分上にある画素からなる領域であることを特徴とする。
【0032】
本発明の請求項11記載の画像処理装置は、請求項9もしくは10のいずれかに記載の画像処理装置であって、前記第1の所定距離は、前記計数対象物の横方向の最大幅の2分の1に等しいことを特徴とする。
【0033】
本発明の請求項12記載の画像処理装置は、請求項9もしくは10のいずれかに記載の画像処理装置であって、前記第1の所定距離は、前記計数対象物の横方向の最大幅の3分の1に等しいことを特徴とする。
【0034】
本発明の請求項13記載の画像処理装置は、請求項10乃至12のいずれかに記載の画像処理装置であって、前記第2の所定距離は、前記計数対象物の横方向の最大幅の10分の1に等しいことを特徴とする。
【0035】
本発明の請求項14記載の画像処理装置は、請求項1乃至13のいずれかに記載の画像処理装置であって、前記2値画像に対し、前記計数対象物の大きさに基づく範囲に限定して前記計数対象物を表す連結成分を探索し、この限定された探索範囲内で同一符号を付与するラベリング処理を施すことを特徴とする。
【0036】
本発明の請求項15記載の画像処理装置は、請求項14記載の画像処理装置であって、前記限定された探索範囲は、少なくとも前記計数対象物と内接する大きさとなる範囲であることを特徴とする。
【0037】
本発明の請求項16記載の画像処理装置は、請求項1乃至13のいずれかに記載の画像処理装置において、前記画像入力手段の後段に、前記濃淡画像に対し前記計数対象物を含む領域を切り出して部分画像を生成する領域切り出し手段を設け、前記特徴画像生成手段が前記部分画像に対して前記空間フィルタリング処理を施すようにしたことを特徴とする。
【0038】
本発明の請求項17記載の画像処理装置は、請求項16記載の画像処理装置であって、前記領域切り出し手段は、注目画素の輝度値と背景の輝度値の差の絶対値が所定値よりも大きい場合に、この注目画素が他の画素に対して設定した画像処理範囲内にある画素か否かを判定し、他の画素に対して設定した画像処理範囲内にある画素でない場合には、この注目画素を基準に画像処理範囲を設定し、設定した画像処理範囲の領域を切り出すことを特徴とする。
【0039】
本発明の請求項18記載の画像処理装置は、請求項17記載の画像処理装置であって、前記画像処理範囲は、注目画素を含み、少なくとも前記計数対象物と内接する範囲であることを特徴とする。
【0040】
本発明の請求項19記載の画像処理装置は、請求項17もしくは18のいずれかに記載の画像処理装置であって、前記領域切り出し手段は、複数の画像処理範囲の領域の一部又は全部が重なる場合には、これら複数の画像処理範囲全てを内包する一つの画像処理範囲に置き換え、この置き換えた画像処理範囲の領域を切り出すことを特徴とする。
【0041】
本発明の請求項20記載の画像処理装置は、請求項19記載の画像処理装置であって、前記2値画像に対し、前記計数対象物の大きさに基づく範囲に限定して前記計数対象物を表す連結成分を探索し、この限定された探索範囲内で同一符号を付与するラベリング処理を施すことを特徴とする。
【0042】
本発明の請求項21記載の画像処理装置は、請求項20記載の画像処理装置であって、前記限定された探索範囲は、少なくとも前記計数対象物と内接する大きさとなる範囲であることを特徴とする。
【0043】
以上のように、本発明によれば、濃淡画像に対し、計数対象物の大きさに基づいて、計数対象物の領域内の輝度値のピーク部(S字のパターン)を強調する空間フィルタリング処理を施すので、本来計数すべきでない物体(ごみ)の像が濃淡画像に含まれている場合であっても、そのごみを表す連結成分が現れない2値画像を生成することができ、精度良く計数対象物を計数することができる。
【0044】
また、濃淡画像に対し、計数対象物の大きさに基づいて、計数対象物の領域内に生じた複数の輝度値のピーク部を重ねる空間フィルタリング処理を施すので、濃淡画像に横方向のずれが生じる場合であっても、1つの計数対象物が1つの連結成分となって現れる2値画像を生成することができ、精度良く計数対象物を計数することができる。
【0045】
また、ラベリング処理の探索範囲を計数対象物の大きさに基づいて限定するので、近接している複数個の計数対象物が1つの連結成分となって現れる場合であっても、計数対象物の大きさに基づいて限定した探索範囲内の連結成分に対してのみ同一符号を付与し、正しく計数することができる。
【0046】
また、画像入力手段の後段に、濃淡画像から背景以外の物が含まれる領域(計数対象物の像を含む領域)を切り出して部分画像を生成する領域切り出し手段を設け、この濃淡画像の部分画像を用いて以降の処理を行うので、処理時間を短縮することができる。
【0047】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら具体的に説明する。なお、ここで示す実施の形態はあくまでも一例であって、必ずしも以下の実施の形態に限定されるものではない。
【0048】
(実施の形態1)
図1は、本実施の形態1における画像処理装置の構成図である。
図1において、画像入力手段1は、所定の大きさを持つ計数対象物の像を含む画像を読み取り、各画素の輝度を数値化した画像データ(濃淡画像)を特徴画像生成手段2に入力する。
【0049】
特徴画像生成手段2は、画像入力手段1から入力された濃淡画像に対して、後述する手順に従い、計数対象物の大きさに基づいて空間フィルタリング処理(以下、特徴画像生成処理と称す。)を施し、特徴画像を生成する。そして、生成した特徴画像を2値化手段3に入力する。
【0050】
2値化手段3は、特徴画像生成手段2から入力された特徴画像に対して所定の閾値で閾値処理を施し、2値画像を生成する。そして、生成した2値画像をラベリング手段4に入力する。
【0051】
ラベリング手段4は、2値化手段3から入力された2値画像に対して、計数対象物を表す白画素の連結成分ごとに同一の番号(符号)を付与するラベリング処理を施す。これにより、計数対象物が存在する位置が認識され、個体数を計数することができる。
【0052】
続いて、本実施の形態1における特徴画像生成処理について、図2〜8を用いて説明する。
図2は、画像入力手段1から特徴画像生成手段2に入力される濃淡画像(入力画像)の一例である。図2において、計数の対象となるのは、計数対象物5であり、その他に計数の対象とならないごみ6が存在している。
【0053】
また、図3は計数対象物5を説明するための模式図である。図3に示すように、計数対象物5は横方向(左右方向)の最大幅がdh画素、縦方向(上下方向)の最大幅がdv画素の大きさであり、左半分に輝度値の小さい暗部7、右半分に輝度値の大きい明部8を持っている。なお、ここでは、計数対象物の縦方向及び横方向が入力画像の縦方向及び横方向と一致するものとして説明を行う。
【0054】
図4は、計数対象物の横方向に対する輝度値の変化を表すグラフであり、横軸は横方向の位置、縦軸は輝度値を表す。曲線I1、I2、およびI3は、それぞれ図3に示す直線L1、L2、およびL3上の画素の輝度値を表している。また、b1、b2、およびb3は、背景の輝度値を表しており、いずれも同じ輝度値であるが、曲線I1、I2、およびI3の相関を見るために縦軸方向にずらして表示している。
【0055】
図4に示すように、曲線I1、I2、およびI3に、横軸方向に約dh画素の幅で、つまり計数対象物の像が占める領域において、極小となる部分(ボトム部9)と極大となる部分(ピーク部10)を持つS字状のカーブ(以下、S字と称する。)が現れる。上述したように、実際は、b1、b2、およびb3はいずれも同じ輝度値であるので、計数対象物の領域内の輝度値は計数対象物の縦方向に相関が強く、それ以外の領域では弱いことがわかる。
【0056】
図5は本実施の形態1における特徴画像生成処理を説明するための模式図である。本実施の形態1における特徴画像生成処理は、図5に示すように、ある注目画素p(m、n)に対し、入力画像(濃淡画像)の縦方向に所定距離(d1画素)だけ離れた2つの画素p1(m、n−d1)及び画素p2(m、n+d1)を設定し、画素p1と画素p2の間にある画素の輝度値を全て加算し、その結果を注目画素pの新しい輝度値として置き換える処理を、入力画像の全画素に対して行うことにより、特徴画像を生成する処理である。
【0057】
なお、所定距離であるd1画素は計数対象物の大きさに基づいて求めた値であり、ここでは計数対象物の最大縦幅の半分すなわち(dv/2)画素としている。
【0058】
図6は、図2に示す入力画像の横方向に対する輝度値の変化を表すグラフであり、横軸は横方向の位置、縦軸は輝度値を表す。曲線I4は、図2に示す直線L4上の画素の輝度値を表している。なお、b4は背景の輝度値である。
【0059】
また、図7は、前述の特徴画像生成処理を施して生成した特徴画像の横方向に対する輝度値の変化を表すグラフであり、横軸は横方向の位置、縦軸は輝度値を表す。曲線I5は、特徴画像中の直線L5(図示せず)上の画素の輝度値を表している。ここで、直線L5は、図2に示す入力画像中の直線L4に対応する。なお、b5は背景の輝度値である。
【0060】
図6、7に示すように、入力画像(濃淡画像)においては、ごみのパターン12に比べてS字のパターン11はそれほど目立たないが、特徴画像においては、新たなごみのパターン14に比べて新たなS字のパターン13が相対的に強調される。これは、上述したように計数対象物の領域内の輝度値は計数対象物の縦方向に相関が強いので、計数対象物の縦方向の最大幅に基づいた範囲で縦方向に輝度値を加算すると、計数対象物が占める領域内の輝度値(S字のパターン)が強調されるのに対し、計数対象物の領域以外の領域では相関が弱く、さらに、加算する範囲が計数対象物の大きさに基づいた範囲であるので、ごみが占める領域内の輝度値(ごみのパターン)は特に強調されないためである。
【0061】
図8は、特徴画像に対し、S字のパターンを抽出するように所定の閾値で閾値処理を施し生成した2値画像である。ここで、所定の閾値とは、図7に示す輝度値b10のように、新たなS字のパターンのピーク部のみ抽出し、新たなごみのパターンを抽出しない閾値である。このような閾値は、特徴画像上においてはS字のパターンのみ強調されることから、特徴画像のヒストグラムを利用する等の方法で容易に求めることができる。
【0062】
なお、本実施の形態1においては、特徴画像生成処理の処理対象となる画像の縦方向及び横方向と計数対象物の縦方向及び横方向が一致しているので、輝度値を加算する方向を画像の縦方向にとっているが、輝度値を加算することによって計数対象物の領域内の輝度値を相対的に強調できる方向であれば、この方向に限定されるものではない。つまり、S字のパターンが強調されるように、計数対象物の縦方向に、注目画素から所定距離(d1画素)だけ離れた2つの画素を設定するようにすればよい。
【0063】
また、d1に(dv/2)に等しい値を用いたが、この値に限定されるものではない。例えば、(dv/4)に等しい値を用いてもよい。
以上のように、本実施の形態1における画像処理装置では、2値化手段の前段に設けた特徴画像生成手段において、計数対象物の大きさに基づいた空間フィルタリング処理(特徴画像生成処理)を施し、計数対象物が占める領域内の輝度値のピーク部(S字のパターンのピーク部)を強調することによって、本来計数すべきでない物体(ごみ)の像が画像に含まれている場合であっても、その物体(ごみ)を表す連結画像が現れない良好な2値画像を生成することができ、その結果、精度良く計数対象物を計数することができる。
【0064】
(実施の形態2)
本実施の形態2における画像処理装置について説明する。本実施の形態2における画像処理装置は、特徴画像生成手段による空間フィルタリング処理(特徴画像生成処理)が実施の形態1と異なり、その他の構成及び処理については同じである。そこで、以下に本実施の形態2における特徴画像生成処理について、図9〜11を用いて説明する。但し、実施の形態1と同様に、画像入力手段から特徴画像生成手段に入力される濃淡画像(入力画像)として、図2に示す画像を例に説明する。また、実施の形態1と同様に、計数対象物の縦方向及び横方向が入力画像の縦方向及び横方向と一致するものとして説明する。
【0065】
図9は、本実施の形態2における特徴画像生成処理を説明するための模式図である。本実施の形態2における特徴画像生成処理は、図9に示すように、ある注目画素p(m、n)に対し、入力画像(濃淡画像)の横方向(左右方向)に所定距離(d2画素)だけ離れた2つの画素p3(m−d2、n)及び画素p4(m+d2、n)を設定し、計数対象物の明部の方向にある画素p4の輝度値から暗部の方向にある画素p3の輝度値を減算した値を注目画素pの新しい輝度値として置き換える処理を、入力画像の全画素に対して行うことにより、特徴画像を生成する処理である。
【0066】
なお、所定距離であるd2画素は計数対象物の大きさに基づいて求めた値であり、ここでは計数対象物の最大横幅の半分すなわち(dh/2)画素としている。
【0067】
図10は、前述の特徴画像生成処理を施して生成した特徴画像の横方向に対する輝度値の変化を表すグラフであり、横軸は横方向の位置、縦軸は輝度値を表す。曲線I6は、特徴画像中の直線L6(図示せず)上の画素の輝度値を表している。ここで、直線L6は、図2に示す入力画像中の直線L4に対応する。なお、b6は背景の輝度値である。
【0068】
図6、10に示すように、入力画像(濃淡画像)においては、ごみのパターン12に比べてS字のパターン11はそれほど目立たないが、特徴画像においては、新たなごみのパターン16に比べて新たなS字のパターン15が相対的に強調される。これは、所定距離(d2画素)を計数対象物の最大横幅の半分すなわち(dh/2)画素に等しくしているため、S字のパターンの中央付近(明部と暗部の境目付近)の画素が注目画素のときには、画素p3が暗部で画素p4が明部となり、画素p4から画素p3の輝度値を減算すると新たな輝度値が一様に大きくなるのに対し、ごみのパターンでは輝度値の変化がd2画素の大きさと無関係であるので、横方向に減算してもごみのパターンは特に強調されないためである。
【0069】
図11は、特徴画像に対し、S字のパターンを抽出するように所定の閾値で閾値処理を施し生成した2値画像である。ここで、所定の閾値とは、図10に示す輝度値b11のように、新たなS字のパターン15のピーク部のみ抽出し、新たなごみのパターン16を抽出しない閾値である。このような閾値は、特徴画像上においてはS字のパターンのみ強調されることから、特徴画像のヒストグラムを利用する等の方法で容易に求めることができる。
【0070】
なお、本実施の形態2においては、特徴画像生成処理の処理対象となる画像の縦方向及び横方向と計数対象物の縦方向及び横方向が一致しているので、輝度値を減算する方向を画像の横方向にとっているが、輝度値を減算することによって計数対象物が占める領域内の輝度値を相対的に強調できる方向であれば、この方向に限定されるものではない。つまり、S字のパターンが強調されるように、計数対象物の横方向に、注目画素から所定距離(d2画素)だけ離れた2つの画素を設定するようにすればよい。
【0071】
また、d2に(dh/2)に等しい値を用いたが、この値に限定されるものではない。例えば、(dh/3)に等しい値を用いてもよい。
以上のように、本実施の形態2における画像処理装置では、2値化手段の前段に設けた特徴画像生成手段において、計数対象物の大きさに基づいた空間フィルタリング処理(特徴画像生成処理)を施し、計数対象物が占める領域内の輝度値のピーク部(S字のパターンのピーク部)を強調することによって、本来計数すべきでない物体(ごみ)の像が画像に含まれている場合であっても、その物体(ごみ)を表す連結画像が現れない良好な2値画像を生成することができ、その結果、精度良く計数対象物を計数することができる。
【0072】
(実施の形態3)
本実施の形態3における画像処理装置について説明する。本実施の形態3における画像処理装置は、特徴画像生成手段による空間フィルタリング処理(特徴画像生成処理)が実施の形態1、2と異なり、その他の構成及び処理については同じである。そこで、以下に本実施の形態2における特徴画像生成処理について、図12〜17を用いて説明する。
【0073】
但し、本実施の形態3では、画像入力手段から特徴画像生成手段に入力される濃淡画像(入力画像)として、図12に示す画像を例に説明する。図12は画像入力手段から特徴画像生成手段に入力される濃淡画像(入力画像)の一例である。図12において、計数の対象となるのは、計数対象物17および計数対象物18が存在している。計数対象物17は、本来は計数対象物18のように楕円形であるものが、横方向のずれが生じているために歪んだ形になっている。また、計数対象物17は、図3及び図4に示すように、横方向(左右方向)の最大幅がdh画素、縦方向(上下方向)の最大幅がdv画素の大きさであり、左半分に輝度値の小さい暗部、右半分に輝度値の大きい明部を持っている。なお、計数対象物の縦方向及び横方向と入力画像の縦方向及び横方向の関係については、実施の形態1、2と同様に一致するものとする。
【0074】
図13は、本実施の形態3における特徴画像生成処理を説明するための模式図である。本実施の形態3における特徴画像生成処理は、図13に示すように、ある注目画素p(m、n)に対し、入力画像(濃淡画像)の横方向に第1の所定距離(d3画素)だけ離れた位置にある第1の画素p5(m−d3、n)及び第2の画素p6(m+d3、n)を設定し、さらに、第1の画素p5を中心として入力画像の横方向に第2の所定距離(Δd)だけ離れた位置にある画素p7(m−d3−Δd、n)及び画素p8(m−d3+Δd、n)を設定し、第2の画素p6を中心として入力画像の横方向に第2の所定距離(距離Δd)だけ離れた位置にある画素p9(m+d3−Δd、n)及び画素p8(m+d3+Δd、n)を設定する。そして、計数対象物の暗部の方向にある画素p7から画素p8の間(ボトム探索範囲(部分領域)19)にある画素のうちで最も小さな輝度値を持つ画素をq1、また、計数対象物の明部の方向にある画素p9から画素p10の間(ピーク探索範囲(部分領域)20)にある画素のうちで最も大きな輝度値を持つ画素をq2に設定し、画素q2の輝度値から画素q1の輝度値を減算した値を注目画素pの新しい輝度値として置き換える処理を、入力画像の全画像に対して行うことにより、特徴画像を生成する処理である。
【0075】
なお、第1の所定距離であるd3画素は計数対象物の大きさに基づいて求めた値であり、ここでは計数対象物の最大横幅の半分すなわち(dh/2)画素としている。また、Δdは横ずれの度合いに応じた微小な大きさであり、ここでは、計数対象物の最大横幅の十分の一すなわち(dh/10)画素としている。
【0076】
図14は、図12に示す入力画像の横方向に対する輝度値の変化を表すグラフであり、横軸は横方向の位置、縦軸は輝度値を表す。曲線I7及びI8は、それぞれ図12に示す直線L7及びL8上の画素の輝度値を表している。なお、b7は背景の輝度値である。
【0077】
また、図15は、前述の特徴画像生成処理を施して生成した特徴画像の横方向に対する輝度値の変化を表すグラフであり、横軸は横方向の位置、縦軸は輝度値を表す。曲線I9及びI10は、特徴画像中の直線L9及びL10(図示せず)上の画素の輝度値を表している。ここでは、直線L9及びL10は、それぞれ図12に示す直線L7及びL8に対応する。b8は背景の輝度値である。
【0078】
図14と図15を比較すると、実施の形態2において説明した図6と図10の関係と同様に、特徴画像において、新たなごみのパターンに比べて新たなS字のパターンが相対的に強調されている。さらに、図15に示す曲線I9及びI10のピーク部の重なりが、図14に示す曲線I7及びI8のピーク部の重なりよりも大きくなっている。
【0079】
これは、所定の幅を持つピーク探索範囲とボトム探索範囲にそれぞれS字のパターンのピーク部とボトム部が存在している間の輝度値が新たなピーク部となるためである。
【0080】
図16は、図12に示す入力画像に対し、図14に示すb12のような値を用いてS字のパターンのピーク部分を抽出するように閾値処理し生成した2値画像である。しかし、図14に示すように曲線I7のピーク部と曲線I8のピーク部の位置がずれているため、このような閾値を用いて閾値処理を行うと、曲線I7のピーク部と曲線I8のピーク部に対応する白画素の連結成分が現れることになる。そのため、図12に示す計数対象物17に対して白画素の連結成分が複数現れることになり、この複数の連結成分をそれぞれ別の個体として計数すると計数精度が低下する。従って、このような2値画像は計数には適さない。
【0081】
一方、図17は、特徴画像に対し、新たなピーク部分を抽出するように所定の閾値で閾値処理を施し生成した2値画像である。図17に示す2値画像では、図12に示す計数対象物17に対して白画素の連結成分が1つであるので、正確に計数することができる。ここで、所定の閾値とは、図15に示す輝度値b13のように、新たなピーク部の重なる領域の輝度値の上限値以下であって、新たなピーク部のみ抽出する閾値である。このように、図12に示す計数対象物17に対して白画素の連結成分が1つだけ現れるのは、図15に示すように、特徴画像においては、曲線I9及びI10のピーク部の重なりが大きくなり、この重なっている領域の輝度値の上限が大きくなるためである。なお、この閾値は、特徴画像上においてはS字のパターンのみ強調されることから、特徴画像のヒストグラムを利用する等の方法で容易に求めることができる。
【0082】
なお、本実施の形態3においては、特徴画像生成処理の処理対象となる画像の縦方向及び横方向と計数対象物の縦方向及び横方向が一致しているので、輝度値を減算する方向を画像の横方向にとっているが、計数対象物が占める領域内のピーク部の横幅が広がる方向であれば、この方向に限定されるものではない。つまり、S字のパターンのピーク部の横幅が広がるように、計数対象物の横方向に、注目画素から第1の所定距離(d3画素)だけ離れた2点を中心としてボトム探索範囲とピーク探索範囲を設定するようにすればよい。
【0083】
また、d3に(dh/2)に等しい値を用いたが、この値に限定されるものではない。例えば、(dh/3)に等しい値を用いてもよい。
また、Δdにdh/10に等しい値を用いたが、dh/2を超えない範囲であれば、この値に限定されるものではない。
【0084】
以上のように、本実施の形態3における画像処理装置では、2値化手段の前段に設けた特徴画像生成手段において、計数対象物の大きさに基づいた空間フィルタリング処理(特徴画像生成処理)を施し、計数対象物が占める領域の輝度値のピーク部の横幅を広げることによって、良好な2値画像を生成することができ、その結果、精度良く計数対象物を計数することができる。
【0085】
なお、本実施の形態1〜3において説明した特徴画像生成処理を様々に組み合わせて空間フィルタリング処理を行うようにしてもよい。例えば、実施の形態3において説明した特徴画像生成処理の入力画像として、実施の形態1や実施の形態2において説明した特徴画像生成処理により生成した特徴画像を用いるようにしてもよい。
【0086】
(実施の形態4)
本実施の形態4における画像処理装置について説明する。本実施の形態4における画像処理装置は、ラベリング手段によるラベリング処理が実施の形態1と異なり、その他の構成及び処理については同じである。そこで、以下に本実施の形態4におけるラベリング処理について、図18〜22を用いて説明する。
【0087】
図18は、本実施の形態4におけるラベリング処理を説明するためのフロー図である。
まず、ステップS101において、番号Nを0に初期化するとともに、注目画素pを座標(1、1)に初期化する。ここで、座標(1、1)とは、図19に示すように、画像の左上の座標であり、走査方向を図中の矢印に示すように左から右、上から下の方向に定義する。
【0088】
次に、ステップS102では、注目画素pが白画素であるかどうか判定し、判定結果が真の場合、すなわち注目画素が白画素の場合には、ステップS103に進む。また、判定結果が偽の場合、すなわち注目画素が黒画素の場合には、ステップS108に進む。
【0089】
ステップS103では、注目画素pに番号が付与されていないかどうか判定し、判定結果が真、すなわち注目画素pに番号が付与されていない場合は、ステップS104に進む。また、判定結果が偽、すなわち注目画素pに番号が付与されている場合は、ステップS108に進む。
【0090】
ステップS104では、番号Nを1だけ増加させる。
ステップS105では、注目画素pに番号Nを付与する。
ステップS106では、この注目画素pを基準として、計数対象物の大きさに基づいた探索範囲Rを設定する。この探索範囲Rは、注目画素pが計数対象物の領域内にある画素であると仮定し、計数対象物を内包するか、少なくとも探索範囲Rに計数対象物が内接する範囲に設定するのが望ましい。
【0091】
次にステップS107では、ステップS106で設定した探索範囲R内に限定して注目画素pの連結成分を探索し、連結成分の全ての画素に番号Nを付与するラベリング処理を行う。探索範囲R内の全ての画素について探索が完了するとステップS108に進む。
【0092】
ステップS108では、注目画素pが画像の最後の画素であるかどうか、すなわち画像の全領域の判定が済んだかどうか判定する。判定結果が真の場合、画像の全ての領域に対してラベリング処理が完了したとして、ラベリング処理を終了する。また、判定結果が偽の場合、ステップS109に進む。
【0093】
ステップS109では、注目画素pを図19で定義した走査方向に従って次の画素に設定し、ステップS102に戻り、ラベリング処理を続ける。
続いて、図20に示す濃淡画像が画像入力手段から特徴画像生成手段に入力される場合を例に、本実施の形態4におけるラベリング処理を説明する。
【0094】
図20に示すように、この濃淡画像に含まれる計数対象物21及び計数対象物22の像は近接して存在している。そのため、その2値画像には、図21に示すように、本来2つの計数対象物に由来する白画素が1つの連結成分として現れることになる。
【0095】
以下、図21に示す2値画像に対して、図18に示すフローに従うラベリング処理を適用した場合の動作について説明する。
図22(a)は、図21に示す2値画像の画像データであって、網掛けのセルは黒画素、即ち、値が0の画素を表しており、白いセルは白画素、即ち、値が1の画素を表している。
【0096】
ラベリング手段は、図22(a)の画像データを持つ2値画像が入力されると、まず番号Nを0に初期化するとともに、注目画素pを座標(1、1)に初期化してからラベリング処理を開始する(ステップS101)。その後、注目画素pが座標(4、3)に到達したときに初めてステップS102及びステップS103の判定結果が共に真となり、ステップS104、S105、S106及びS107が実行される。
【0097】
図22(b)は、注目画素pが座標(4、3)であるときに、探索範囲Rに限定してラベリング処理した結果を示している。図22(b)に示すように、注目画素pの連結成分のうち探索範囲R内の画素に対しては同じ番号1が付与されるが、探索範囲Rを超えて繋がっている成分については、探索を行わないため、番号(符号)は付与されない。
【0098】
続いて、ステップS108、ステップS109と進み、注目画素pの座標を座標(5、3)に設定してステップS102に戻る。その後、注目画素pが座標(4、7)に到達したとき、ステップS102及びステップS103の判定結果が共に真となり、ステップS104、S105、S106及びS107が実行される。
【0099】
そして、図18に示すフローの処理を終了した時点では、図22(c)に示すように、図22(b)の段階では番号(符号)が付与されていなかった連結成分に対して別の番号(符号)が付与されるので、本来2つ存在している計数対象物を正しく計数することができるようになる。
【0100】
以上のように、本実施の形態4においては、ラベリング処理の探索範囲を計数対象物の大きさに基づいて限定するため、複数の計数対象物が近接して存在するために2値画像において白画素が繋がってしまっても、正しく計数することができる。
【0101】
なお、本実施の形態4におけるラベリング手段(ラベリング処理)は、前述した実施の形態1〜3のいずれの画像処理装置にも適用することができる。
(実施の形態5)
本実施の形態5における画像処理装置について説明する。本実施の形態5における画像処理装置は、特徴画像生成手段の前段に領域切り出し手段が加えられている点が実施の形態1と異なり、その他の構成及び処理については同じである。そこで、本実施の形態5における領域切り出し手段について、図23〜25を用いて説明する。
【0102】
図23は、本実施の形態5における画像処理装置の構成図である。図23において、領域切り出し手段23は、画像入力手段1から入力される濃淡画像から計数対象物の像を含む領域を切り出し、その領域の画像(部分画像)を特徴画像生成手段2に入力する。
【0103】
以下に、切り出す領域の範囲(画像処理範囲)を求める手順について図24及び図25を用いて説明する。図24は、本実施の形態5における画像処理範囲を求める手順を示すフロー図である。
【0104】
まず、ステップS201において、注目画素pを座標(1、1)に初期化する。ここで、座標(1、1)とは、実施の形態4と同様に、画像の左上の座標であり、走査方向を左から右、上から下の方向に定義する(図19参照。)。
【0105】
次に、ステップS202では、注目画素pが背景以外の成分であるかどうか判定する。判定方法は、注目画素pの輝度値と背景の輝度値との差を取り、その差の絶対値が所定値以上かどうかで判定する。ここで、背景の輝度値は、例えば、画像の輝度ヒストグラムにおいて最も度数の大きい輝度値を背景の輝度値と仮定するなどの方法で予め求めておく。また、判定に用いる所定値は、例えば、背景の輝度値の変動幅よりも少し大きな値とし、これも輝度ヒストグラムを利用するなどの方法で予め求めておく。ステップS202の判定結果が真の場合、すなわち注目画素pの輝度値と背景の輝度値の差の絶対値が所定値以上の場合は、注目画素pは背景以外の成分であり、この注目画素pを含む近傍に計数対象物あるいは他の物体が存在していると推測できる。この場合、ステップS203に進む。また、判定の結果が偽の場合、すなわち注目画素pの輝度値と背景の輝度値の差の絶対値が所定値よりも小さい場合は、注目画素pは背景成分であると推測できる。この場合、ステップS207に進む。
【0106】
ステップS203では、注目画素pが他の画素に対して既に設定した画像処理範囲内にある画素でないかどうか判定する。判定の結果が真の場合、すなわち注目画素pが他の画素に対して既に設定したどの画像処理範囲にも属さない場合、ステップS204に進む。また、判定の結果が偽の場合、すなわち注目画素pが他の画素に対して既に設定したいずれかの画像処理範囲に属する場合、ステップS207に進む。
【0107】
ステップS204では、注目画素pの位置を基準として計数対象物の大きさに基づいた画像処理範囲Tを設定する。この画像処理範囲Tは現在の注目画素pが計数対象物の画素であると仮定し、計数対象物を内包するか、少なくとも画像処理範囲Tに計数対象物が内接する範囲に設定するのが望ましい。
【0108】
次にステップS205では、ステップS204で設定した画像処理範囲Tが他の画素に対して既に設定したいずれかの画像処理範囲と一部分でも重なっているかどうか判定する。判定結果が真、すなわち画像処理範囲Tが他の画素に対して既に設定したいずれかの画像処理範囲と一部分でも重なっている場合、ステップS206に進む。判定結果が偽、すなわち画像処理範囲Tが他の画素に対して既に設定したどの画像処理範囲とも重なっていない場合、ステップS207に進む。
【0109】
ステップS206では、重なっている画像処理範囲の和をとって合成し、重なっている画像処理範囲全てを内包する一つの画像処理範囲に置き換える処理を行う。例えば、図25(a)に示すように、ステップS205で設定した画像処理範囲Tと、他の画素に対して既に設定した画像処理範囲Uが重なっている場合、図25(b)に示すように、両方の画像処理範囲の和をとって合成した画像処理範囲Vを画像処理範囲Tの代わりに設定し、ステップS207に進む。
【0110】
ステップS207では、注目画素pが画像の最後の画素であるかどうか、すなわち画像の全領域の判定が済んだかどうか判定する。判定結果が真の場合、画像の全ての領域に対して処理が完了したとして、処理を終了する。また、判定結果が偽の場合、ステップS208に進む。
【0111】
ステップS208では、注目画素pを図19で定義した走査方向に従って次の画素に設定し、ステップS202に戻り、処理を続ける。
以上のような手順により画像処理範囲を求めることにより、特徴画像生成手段、2値化手段、ラベリング手段にて行われる処理は、計数対象物の像の周囲に限定された部分画像に対してのみ行われ、それ以外の背景成分のみで占められる部分画像に対しては行われないため、処理時間を短縮することができる。特に計数対象物の像がまばらにしか存在せず、画像のほとんどが背景成分で占められる場合には、大幅に処理時間を短縮することができる。
【0112】
なお、本実施の形態5における領域切り出し手段は、前述した実施の形態1〜4のいずれの画像処理装置にも適用することができる。
【0113】
【発明の効果】
以上のように、本発明によれば、濃淡画像に対し、計数対象物の大きさに基づいて、計数対象物の領域内の輝度値のピーク部(S字のパターン)を強調する空間フィルタリング処理を施すので、本来計数すべきでない物体(ごみ)の像が濃淡画像に含まれている場合であっても、そのごみを表す連結成分が現れない2値画像を生成することができ、精度良く計数対象物を計数することができる。
【0114】
また、濃淡画像に対し、計数対象物の大きさに基づいて、計数対象物の領域内に生じた複数の輝度値のピーク部を重ねる空間フィルタリング処理を施すので、濃淡画像に横方向のずれが生じる場合であっても、1つの計数対象物が1つの連結成分となって現れる2値画像を生成することができ、精度良く計数対象物を計数することができる。
【0115】
また、ラベリング処理の探索範囲を計数対象物の大きさに基づいて限定するので、近接している複数個の計数対象物が1つの連結成分となって現れる場合であっても、計数対象物の大きさに基づいて限定した探索範囲内の連結成分に対してのみ同一符号を付与し、正しく計数することができる。
【0116】
また、画像入力手段の後段に、濃淡画像から背景以外の物が含まれる領域(計数対象物の像を含む領域)を切り出して部分画像を生成する領域切り出し手段を設け、この濃淡画像の部分画像を用いて以降の処理を行うので、処理時間を短縮することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1における画像処理装置の構成図
【図2】本発明の実施の形態1における濃淡画像の一例を示す図
【図3】本発明の実施の形態1における計数対象物を説明するための模式図
【図4】本発明の実施の形態1における計数対象物の横方向に対する輝度値の変化及び隣接ライン間の相関を表すグラフを示す図
【図5】本発明の実施の形態1における特徴画像生成処理を説明するための模式図
【図6】本発明の実施の形態1における濃淡画像の横方向に対する輝度値の変化を表すグラフを示す図
【図7】本発明の実施の形態1における特徴画像の横方向に対する輝度値の変化を表すグラフを示す図
【図8】本発明の実施の形態1における特徴画像より生成した2値画像の一例を示す図
【図9】本発明の実施の形態2における特徴画像生成処理を説明するための模式図
【図10】本発明の実施の形態2における特徴画像の横方向に対する輝度値の変化を表すグラフを示す図
【図11】本発明の実施の形態2における特徴画像より生成した2値画像の一例を示す図
【図12】本発明の実施の形態3における濃淡画像の一例を示す図
【図13】本発明の実施の形態3における特徴画像生成処理を説明するための模式図
【図14】本発明の実施の形態3における濃淡画像の横方向に対する輝度値の変化を表すグラフを示す図
【図15】本発明の実施の形態3における特徴画像の横方向に対する輝度値の変化を表すグラフを示す図
【図16】本発明の実施の形態3における濃淡画像より生成した2値画像の一例を示す図
【図17】本発明の実施の形態3における特徴画像より生成した2値画像の一例を示す図
【図18】本発明の実施の形態4におけるラベリング処理を説明するためのフロー図
【図19】本発明の実施の形態4における画像の座標系を説明するための図
【図20】本発明の実施の形態4における濃淡画像の一例を示す図
【図21】本発明の実施の形態4における2値画像の一例を示す図
【図22】本発明の実施の形態4におけるラベリング処理を説明するための模式図
【図23】本発明の実施の形態5における画像処理装置の構成図
【図24】本発明の実施の形態5における画像処理範囲を求める手順を示すフロー図
【図25】本発明の実施の形態5における画像処理範囲を合成する方法を説明するための図
【図26】従来の画像処理装置の構成図
【符号の説明】
1 画像入力手段
2 特徴画像生成手段
3 2値化手段
4 ラベリング手段
5 計数対象物
6 ごみ
7 暗部
8 明部
9 ボトム部
10 ピーク部
11 S字のパターン
12 ごみのパターン
13、15 特徴画像上のS字のパターン
14、16 特徴画像上のごみのパターン
17、18 計数対象物
19 ボトム探索範囲
20 ピーク探索範囲
21、22 計数対象物
23 領域切り出し手段
24 輝度補正手段
【発明の属する技術分野】
本発明は、計数対象物の像を含む濃淡画像からその計数対象物の像の存在を示す輝度値のパターンを抽出して、計数対象物の数を計数する画像処理装置に関する。
【0002】
【従来の技術】
以下に、計数対象物の計数を行う従来の画像処理装置について図26を用いて説明する。図26は、従来の画像処理装置の構成図である。
【0003】
図26において、画像入力手段1は、計数対象物の像を含む画像を読み取り、各画素の輝度を数値化した画像データ(濃淡画像)を輝度補正手段24に入力する。
【0004】
輝度補正手段24は、画像入力手段1から入力された画像データ(濃淡画像)に対し、各画素の輝度値から背景の輝度値を減算する輝度補正処理を行う。なお、背景の輝度値には、各画素近傍、例えばある画素を中心とする3×3画素の範囲の輝度値に対して算出した加算平均を使用する。
【0005】
2値化手段3は、輝度補正手段24により輝度補正した画像データ(濃淡画像)に対して所定の閾値で閾値処理を施し、2値画像を生成する。閾値処理とは、各画素の輝度値を所定の閾値と比較し、所定の閾値より大きな輝度値を持つ画素の輝度値を1、所定の閾値より小さな輝度値を持つ画素の輝度値を0とする処理である。以下、輝度値が1の画素を白画素、輝度値が0の画素を黒画素と称する。また所定の閾値は、輝度補正した画像データ(濃淡画像)に含まれる計数対象物の像の画素(計数対象物の領域内の画素)が白画素となるように設定する。
【0006】
ラベリング手段4は、計数対象物を表す白画素の連結成分ごとに同一の番号(符号)を付与していく。これにより、計数対象物が存在する位置が認識され、計数することができるようになる。なお、1個の計数対象物に由来する白画素の周囲には、拡散光の影響により生じた偽の白画素が生じている可能性があるため、ある白画素の連結成分の周囲に隣接して、別の白画素の連結成分が存在するとき、これらをまとめて1つと計数する。
【0007】
このようにして、従来の画像処理装置は、計数対象物の像を含む濃淡画像からその計数対象物の像の存在を示す輝度値のパターンを抽出し、計数対象物の数を計数していた(例えば、特許文献1参照。)。
【0008】
しかしながら、従来の画像処理装置においては、次の4つの問題が生じていた。
▲1▼ 本来計数すべきでない物体(ごみ)の像が濃淡画像に含まれている場合、2値画像にそのごみを表す白画素の連結成分が現れるため、そのごみも誤って計数してしまい、計数精度が低下するという問題があった。
【0009】
▲2▼ 図12に示すように濃淡画像に横方向のずれが生じる場合、図14に示すように、計数対象物の領域内の輝度値に複数のピーク部(S字のパターン)が生じることになる。しかしながら、従来の画像処理装置では、濃淡画像に対して計数対象物の領域内のピーク部(S字のパターンのピーク部)を抽出する閾値処理を行い2値画像を生成するので、図16に示すように、その2値画像には1つの計数対象物が複数の連結成分となって現れ、それぞれを別の個体として計数してしまい、計数精度が低下するという問題があった。このような画像のずれは、画像入力手段が一定方向に1ラインづつ画像を読み取っていく構成である場合に発生することがある。
【0010】
▲3▼ 図20に示すように計数すべき複数個の計数対象物が近接していた場合、2値画像を生成するための閾値の大小によっては、図21に示すように、近接している複数個の計数対象物が1つの連結成分となって現れることがある。しかしながら、従来の画像処理装置では、1つの連結成分に対して同一符号を付与するので、本来複数個である計数対象物を誤って1個と計数してしまい、計数精度が低下するという問題があった。
【0011】
▲4▼ 従来の画像処理装置では、輝度補正手段、2値化手段、ラベリング手段は、入力された濃淡画像の全領域の画素を対象として処理を行うため、処理に多くの時間がかかってしまうという問題があった。
【0012】
【特許文献1】
再表00/039329号公報
【0013】
【発明が解決しようとする課題】
本発明は、前述した▲1▼乃至▲4▼の問題点に鑑み、以下の画像処理装置を提供することを目的とする。
【0014】
(1) 本発明は、前述した問題点▲1▼に鑑み、濃淡画像に対し、計数対象物の大きさに基づいて、計数対象物の領域内の輝度値のピーク部(S字のパターン)を強調する空間フィルタリング処理(特徴画像生成処理)を施すことにより、本来計数すべきでない物体(ごみ)の像が濃淡画像に含まれている場合であっても、そのごみを表す連結成分が現れない2値画像を生成することができ、精度良く計数対象物の計数を行うことができる画像処理装置を提供することを目的とする。
【0015】
また、上述した計数対象物の領域内の輝度値のピーク部を強調する空間フィルタリング処理として、以下の空間フィルタリング処理を行う画像処理装置を提供することを目的とする。
【0016】
第1の空間フィルタリング処理として、計数対象物の領域内の輝度値は計数対象物の上下方向(縦方向)に相関が強いことを利用して、計数対象物の上下方向(縦方向)に、注目画素(現在処理の対象となっている画素)から計数対象物の大きさに基づく所定距離だけ離れた位置にある2つの画素間にある画素の輝度値を全て加算し、この加算値を注目画素の新たな輝度値に置き換える空間フィルタリング処理を施すことにより、計数対象物の領域内の輝度値のピーク部(S字のパターン)を強調する画像処理装置を提供することを目的とする。このようにすれば、計数対象物の領域内の新たなピーク部(S字のパターン)は大きくなり、一方、ごみの領域内の輝度値には計数対象物の領域内の輝度値のような相関関係はなく、さらに、加算する範囲が計数対象物の大きさに基づいた範囲であるので、ごみの領域内の輝度値(パターン)は大きくならない。従って、計数対象物の領域内の新たな輝度値のピーク部(S字のパターンのピーク部)を抽出する閾値処理を行えば、ごみを含まない2値画像を生成することができる。
【0017】
第2の空間フィルタリング処理として、計数対象物の領域内に、計数対象物の左右方向(横方向)に明部と暗部が生じることを利用して(図3参照)、計数対象物の左右方向(横方向)に、注目画素から計数対象物の大きさに基づく所定距離だけ離れた位置にある2つの画素の輝度値を減算し、この減算値を注目画素の新たな輝度値に置き換える空間フィルタリング処理を施すことにより、計数対象物の領域内の輝度値のピーク部(S字のパターン)を強調する画像処理装置を提供することを目的とする。このようにすれば、明部と暗部の境界付近の新たな輝度値が大きくなり、これが新たなピーク部となるのに対し、ごみには計数対象物のように明部と暗部は生じず、さらに、減算処理の対象となる画素を注目画素から計数対象物の大きさに基づいた距離だけ離れた位置にある画素とするので、ごみの領域内の輝度値は大きくならない。従って、計数対象物の領域内の新たな輝度値のピーク部を抽出する閾値処理を行えば、ごみを含まない2値画像を生成することができる。
【0018】
(2) 本発明は、前述した問題点▲2▼に鑑み、濃淡画像に対し、計数対象物の大きさに基づいて、計数対象物の領域内に生じた複数の輝度値のピーク部を重ねる空間フィルタリング処理(特徴画像生成処理)を施すことにより、図12に示すように濃淡画像に横方向のずれが生じる場合であっても、1つの計数対象物が1つの連結成分となって現れる2値画像を生成することができ、精度良く計数対象物の計数を行うことができる画像処理装置を提供することを目的とする。
【0019】
また、上述した計数対象物の領域内に生じた複数の輝度値のピーク部を重ねる空間フィルタリング処理として、計数対象物の領域内に、計数対象物の左右方向(横方向)に明部と暗部が生じることを利用して、計数対象物の左右方向(横方向)に、注目画素から計数対象物の大きさに基づく所定距離だけ離れた位置にある2つの部分領域を設定し、一方の部分領域内の最大の輝度値から他方の部分領域内の最小の輝度値を減算し、この減算値を注目画素の新たな輝度値に置き換える空間フィルタリング処理を施すことにより、計数対象物の領域内に生じた複数の輝度値のピーク部を重ねる画像処理装置を提供することを目的とする。このようにすれば、これらの部分領域がそれぞれ上記明部と暗部にかかっている間の注目画素の輝度値が新たなピーク部となるので、この新たなピーク部は幅の広いものとなる。従って、図12に示すように濃淡画像に横方向のずれが生じ、計数対象物の領域内に複数の輝度値のピーク部(S字のパターン)が生じた場合であっても、それぞれのピーク部に対する新たなピーク部は重なりが大きく、この重なっている領域の輝度値の上限も大きくなるので、複数のピーク部が一つの連結成分となって現れる2値画像を生成することができる。
【0020】
(3) 本発明は、前述した問題点▲3▼に鑑み、ラベリング処理の探索範囲を計数対象物の大きさに基づいて限定することにより、図21に示すように、近接している複数個の計数対象物が1つの連結成分となって現れる場合であっても、計数対象物の大きさに基づいて限定した探索範囲内の連結成分に対してのみ同一符号を付与し、正しく計数することができる画像処理装置を提供することを目的とする。
【0021】
(4) 本発明は、前述した問題点▲4▼に鑑み、画像入力手段の後段に、濃淡画像から背景以外の物が含まれる領域(計数対象物の像を含む領域)を切り出して部分画像を生成する領域切り出し手段を設け、この濃淡画像の部分画像を用いて以降の処理を行うことにより、処理時間を短縮することができる画像処理装置を提供することを目的とする。
【0022】
【課題を解決するための手段】
本発明の請求項1記載の画像処理装置は、所定の大きさを持つ計数対象物を含む濃淡画像を入力する画像入力手段と、前記濃淡画像に対し前記計数対象物の大きさに基づいて空間フィルタリング処理を施し前記計数対象物の輝度値を強調した特徴画像を生成する特徴画像生成手段と、前記特徴画像に対し所定の閾値で閾値処理を施し2値画像を生成する2値画像生成手段と、を有し、前記2値画像に対し前記計数対象物を表す連結成分ごとに同一符号を付与するラベリング処理を施し、前記計数対象物の計数を行うことを特徴とする。
【0023】
本発明の請求項2記載の画像処理装置は、請求項1記載の画像処理装置であって、前記特徴画像生成手段は、注目画素から前記計数対象物の上下方向に前記計数対象物の大きさに基づく所定距離だけ離れた位置にある2つの画素を端点とする線分上の画素の輝度値を全て加算し、この加算値を注目画素の輝度値に置き換える空間フィルタリング処理を行うことを特徴とする。
【0024】
本発明の請求項3記載の画像処理装置は、請求項2記載の画像処理装置であって、前記所定距離は、前記計数対象物の縦方向の最大幅の2分の1に等しいことを特徴とする。
【0025】
本発明の請求項4記載の画像処理装置は、請求項2記載の画像処理装置であって、前記所定距離は、前記計数対象物の縦方向の最大幅の4分の1に等しいことを特徴とする。
【0026】
本発明の請求項5記載の画像処理装置は、請求項1記載の画像処理装置であって、前記特徴画像生成手段は、注目画素から前記計数対象物の左右方向に前記計数対象物の大きさに基づく所定距離だけ離れた位置にある2つの画素の輝度値を読み取り、前記計数対象物の明部の方向にある画素の輝度値から暗部の方向にある画素の輝度値を減算し、この減算値を注目画素の輝度値に置き換える空間フィルタリング処理を行うことを特徴とする。
【0027】
本発明の請求項6記載の画像処理装置は、請求項5記載の画像処理装置であって、前記所定距離は、前記計数対象物の横方向の最大幅の2分の1に等しいことを特徴とする。
【0028】
本発明の請求項7記載の画像処理装置は、請求項5記載の画像処理装置であって、前記所定距離は、前記計数対象物の横方向の最大幅の3分の1に等しいことを特徴とする。
【0029】
本発明の請求項8記載の画像処理装置は、所定の大きさを持つ計数対象物を含む濃淡画像を入力する画像入力手段と、前記濃淡画像に対し前記計数対象物の大きさに基づいて空間フィルタリング処理を施し前記計数対象物の輝度値のピーク部の幅を広げた特徴画像を生成する特徴画像生成手段と、前記特徴画像に対し所定の閾値で閾値処理を施し2値画像を生成する2値画像生成手段と、を有し、前記2値画像に対し前記計数対象物を表す連結成分ごとに同一符号を付与するラベリング処理を施し、前記計数対象物の計数を行うことを特徴とする。
【0030】
本発明の請求項9記載の画像処理装置は、請求項8記載の画像処理装置であって、前記特徴画像生成手段は、注目画素から前記計数対象物の左右方向に前記計数対象物の大きさに基づく第1の所定距離だけ離れた位置にある2つの画素を第1の画素と第2の画素に設定し、前記第1の画素および前記第2の画素を中心とする第1の部分領域および第2の部分領域を設定し、前記計数対象物の明部の方向にある部分領域内の最大の輝度値を持つ画素の輝度値から、暗部の方向にある部分領域内の最小の輝度値を持つ画素の輝度値を減算し、この減算値を注目画素の輝度値に置き換える空間フィルタリング処理を行うことを特徴とする。
【0031】
本発明の請求項10記載の画像処理装置は、請求項9記載の画像処理装置であって、前記第1の部分領域は、前記第1の画素から前記計数対象物の左右方向に第2の所定距離だけ離れた位置にある2つの画素を端点とする線分上にある画素からなる領域であり、前記第2の部分領域は、前記第2の画素から前記計数対象物の左右方向に前記第2の所定距離だけ離れた位置にある2つの画素を端点とする線分上にある画素からなる領域であることを特徴とする。
【0032】
本発明の請求項11記載の画像処理装置は、請求項9もしくは10のいずれかに記載の画像処理装置であって、前記第1の所定距離は、前記計数対象物の横方向の最大幅の2分の1に等しいことを特徴とする。
【0033】
本発明の請求項12記載の画像処理装置は、請求項9もしくは10のいずれかに記載の画像処理装置であって、前記第1の所定距離は、前記計数対象物の横方向の最大幅の3分の1に等しいことを特徴とする。
【0034】
本発明の請求項13記載の画像処理装置は、請求項10乃至12のいずれかに記載の画像処理装置であって、前記第2の所定距離は、前記計数対象物の横方向の最大幅の10分の1に等しいことを特徴とする。
【0035】
本発明の請求項14記載の画像処理装置は、請求項1乃至13のいずれかに記載の画像処理装置であって、前記2値画像に対し、前記計数対象物の大きさに基づく範囲に限定して前記計数対象物を表す連結成分を探索し、この限定された探索範囲内で同一符号を付与するラベリング処理を施すことを特徴とする。
【0036】
本発明の請求項15記載の画像処理装置は、請求項14記載の画像処理装置であって、前記限定された探索範囲は、少なくとも前記計数対象物と内接する大きさとなる範囲であることを特徴とする。
【0037】
本発明の請求項16記載の画像処理装置は、請求項1乃至13のいずれかに記載の画像処理装置において、前記画像入力手段の後段に、前記濃淡画像に対し前記計数対象物を含む領域を切り出して部分画像を生成する領域切り出し手段を設け、前記特徴画像生成手段が前記部分画像に対して前記空間フィルタリング処理を施すようにしたことを特徴とする。
【0038】
本発明の請求項17記載の画像処理装置は、請求項16記載の画像処理装置であって、前記領域切り出し手段は、注目画素の輝度値と背景の輝度値の差の絶対値が所定値よりも大きい場合に、この注目画素が他の画素に対して設定した画像処理範囲内にある画素か否かを判定し、他の画素に対して設定した画像処理範囲内にある画素でない場合には、この注目画素を基準に画像処理範囲を設定し、設定した画像処理範囲の領域を切り出すことを特徴とする。
【0039】
本発明の請求項18記載の画像処理装置は、請求項17記載の画像処理装置であって、前記画像処理範囲は、注目画素を含み、少なくとも前記計数対象物と内接する範囲であることを特徴とする。
【0040】
本発明の請求項19記載の画像処理装置は、請求項17もしくは18のいずれかに記載の画像処理装置であって、前記領域切り出し手段は、複数の画像処理範囲の領域の一部又は全部が重なる場合には、これら複数の画像処理範囲全てを内包する一つの画像処理範囲に置き換え、この置き換えた画像処理範囲の領域を切り出すことを特徴とする。
【0041】
本発明の請求項20記載の画像処理装置は、請求項19記載の画像処理装置であって、前記2値画像に対し、前記計数対象物の大きさに基づく範囲に限定して前記計数対象物を表す連結成分を探索し、この限定された探索範囲内で同一符号を付与するラベリング処理を施すことを特徴とする。
【0042】
本発明の請求項21記載の画像処理装置は、請求項20記載の画像処理装置であって、前記限定された探索範囲は、少なくとも前記計数対象物と内接する大きさとなる範囲であることを特徴とする。
【0043】
以上のように、本発明によれば、濃淡画像に対し、計数対象物の大きさに基づいて、計数対象物の領域内の輝度値のピーク部(S字のパターン)を強調する空間フィルタリング処理を施すので、本来計数すべきでない物体(ごみ)の像が濃淡画像に含まれている場合であっても、そのごみを表す連結成分が現れない2値画像を生成することができ、精度良く計数対象物を計数することができる。
【0044】
また、濃淡画像に対し、計数対象物の大きさに基づいて、計数対象物の領域内に生じた複数の輝度値のピーク部を重ねる空間フィルタリング処理を施すので、濃淡画像に横方向のずれが生じる場合であっても、1つの計数対象物が1つの連結成分となって現れる2値画像を生成することができ、精度良く計数対象物を計数することができる。
【0045】
また、ラベリング処理の探索範囲を計数対象物の大きさに基づいて限定するので、近接している複数個の計数対象物が1つの連結成分となって現れる場合であっても、計数対象物の大きさに基づいて限定した探索範囲内の連結成分に対してのみ同一符号を付与し、正しく計数することができる。
【0046】
また、画像入力手段の後段に、濃淡画像から背景以外の物が含まれる領域(計数対象物の像を含む領域)を切り出して部分画像を生成する領域切り出し手段を設け、この濃淡画像の部分画像を用いて以降の処理を行うので、処理時間を短縮することができる。
【0047】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら具体的に説明する。なお、ここで示す実施の形態はあくまでも一例であって、必ずしも以下の実施の形態に限定されるものではない。
【0048】
(実施の形態1)
図1は、本実施の形態1における画像処理装置の構成図である。
図1において、画像入力手段1は、所定の大きさを持つ計数対象物の像を含む画像を読み取り、各画素の輝度を数値化した画像データ(濃淡画像)を特徴画像生成手段2に入力する。
【0049】
特徴画像生成手段2は、画像入力手段1から入力された濃淡画像に対して、後述する手順に従い、計数対象物の大きさに基づいて空間フィルタリング処理(以下、特徴画像生成処理と称す。)を施し、特徴画像を生成する。そして、生成した特徴画像を2値化手段3に入力する。
【0050】
2値化手段3は、特徴画像生成手段2から入力された特徴画像に対して所定の閾値で閾値処理を施し、2値画像を生成する。そして、生成した2値画像をラベリング手段4に入力する。
【0051】
ラベリング手段4は、2値化手段3から入力された2値画像に対して、計数対象物を表す白画素の連結成分ごとに同一の番号(符号)を付与するラベリング処理を施す。これにより、計数対象物が存在する位置が認識され、個体数を計数することができる。
【0052】
続いて、本実施の形態1における特徴画像生成処理について、図2〜8を用いて説明する。
図2は、画像入力手段1から特徴画像生成手段2に入力される濃淡画像(入力画像)の一例である。図2において、計数の対象となるのは、計数対象物5であり、その他に計数の対象とならないごみ6が存在している。
【0053】
また、図3は計数対象物5を説明するための模式図である。図3に示すように、計数対象物5は横方向(左右方向)の最大幅がdh画素、縦方向(上下方向)の最大幅がdv画素の大きさであり、左半分に輝度値の小さい暗部7、右半分に輝度値の大きい明部8を持っている。なお、ここでは、計数対象物の縦方向及び横方向が入力画像の縦方向及び横方向と一致するものとして説明を行う。
【0054】
図4は、計数対象物の横方向に対する輝度値の変化を表すグラフであり、横軸は横方向の位置、縦軸は輝度値を表す。曲線I1、I2、およびI3は、それぞれ図3に示す直線L1、L2、およびL3上の画素の輝度値を表している。また、b1、b2、およびb3は、背景の輝度値を表しており、いずれも同じ輝度値であるが、曲線I1、I2、およびI3の相関を見るために縦軸方向にずらして表示している。
【0055】
図4に示すように、曲線I1、I2、およびI3に、横軸方向に約dh画素の幅で、つまり計数対象物の像が占める領域において、極小となる部分(ボトム部9)と極大となる部分(ピーク部10)を持つS字状のカーブ(以下、S字と称する。)が現れる。上述したように、実際は、b1、b2、およびb3はいずれも同じ輝度値であるので、計数対象物の領域内の輝度値は計数対象物の縦方向に相関が強く、それ以外の領域では弱いことがわかる。
【0056】
図5は本実施の形態1における特徴画像生成処理を説明するための模式図である。本実施の形態1における特徴画像生成処理は、図5に示すように、ある注目画素p(m、n)に対し、入力画像(濃淡画像)の縦方向に所定距離(d1画素)だけ離れた2つの画素p1(m、n−d1)及び画素p2(m、n+d1)を設定し、画素p1と画素p2の間にある画素の輝度値を全て加算し、その結果を注目画素pの新しい輝度値として置き換える処理を、入力画像の全画素に対して行うことにより、特徴画像を生成する処理である。
【0057】
なお、所定距離であるd1画素は計数対象物の大きさに基づいて求めた値であり、ここでは計数対象物の最大縦幅の半分すなわち(dv/2)画素としている。
【0058】
図6は、図2に示す入力画像の横方向に対する輝度値の変化を表すグラフであり、横軸は横方向の位置、縦軸は輝度値を表す。曲線I4は、図2に示す直線L4上の画素の輝度値を表している。なお、b4は背景の輝度値である。
【0059】
また、図7は、前述の特徴画像生成処理を施して生成した特徴画像の横方向に対する輝度値の変化を表すグラフであり、横軸は横方向の位置、縦軸は輝度値を表す。曲線I5は、特徴画像中の直線L5(図示せず)上の画素の輝度値を表している。ここで、直線L5は、図2に示す入力画像中の直線L4に対応する。なお、b5は背景の輝度値である。
【0060】
図6、7に示すように、入力画像(濃淡画像)においては、ごみのパターン12に比べてS字のパターン11はそれほど目立たないが、特徴画像においては、新たなごみのパターン14に比べて新たなS字のパターン13が相対的に強調される。これは、上述したように計数対象物の領域内の輝度値は計数対象物の縦方向に相関が強いので、計数対象物の縦方向の最大幅に基づいた範囲で縦方向に輝度値を加算すると、計数対象物が占める領域内の輝度値(S字のパターン)が強調されるのに対し、計数対象物の領域以外の領域では相関が弱く、さらに、加算する範囲が計数対象物の大きさに基づいた範囲であるので、ごみが占める領域内の輝度値(ごみのパターン)は特に強調されないためである。
【0061】
図8は、特徴画像に対し、S字のパターンを抽出するように所定の閾値で閾値処理を施し生成した2値画像である。ここで、所定の閾値とは、図7に示す輝度値b10のように、新たなS字のパターンのピーク部のみ抽出し、新たなごみのパターンを抽出しない閾値である。このような閾値は、特徴画像上においてはS字のパターンのみ強調されることから、特徴画像のヒストグラムを利用する等の方法で容易に求めることができる。
【0062】
なお、本実施の形態1においては、特徴画像生成処理の処理対象となる画像の縦方向及び横方向と計数対象物の縦方向及び横方向が一致しているので、輝度値を加算する方向を画像の縦方向にとっているが、輝度値を加算することによって計数対象物の領域内の輝度値を相対的に強調できる方向であれば、この方向に限定されるものではない。つまり、S字のパターンが強調されるように、計数対象物の縦方向に、注目画素から所定距離(d1画素)だけ離れた2つの画素を設定するようにすればよい。
【0063】
また、d1に(dv/2)に等しい値を用いたが、この値に限定されるものではない。例えば、(dv/4)に等しい値を用いてもよい。
以上のように、本実施の形態1における画像処理装置では、2値化手段の前段に設けた特徴画像生成手段において、計数対象物の大きさに基づいた空間フィルタリング処理(特徴画像生成処理)を施し、計数対象物が占める領域内の輝度値のピーク部(S字のパターンのピーク部)を強調することによって、本来計数すべきでない物体(ごみ)の像が画像に含まれている場合であっても、その物体(ごみ)を表す連結画像が現れない良好な2値画像を生成することができ、その結果、精度良く計数対象物を計数することができる。
【0064】
(実施の形態2)
本実施の形態2における画像処理装置について説明する。本実施の形態2における画像処理装置は、特徴画像生成手段による空間フィルタリング処理(特徴画像生成処理)が実施の形態1と異なり、その他の構成及び処理については同じである。そこで、以下に本実施の形態2における特徴画像生成処理について、図9〜11を用いて説明する。但し、実施の形態1と同様に、画像入力手段から特徴画像生成手段に入力される濃淡画像(入力画像)として、図2に示す画像を例に説明する。また、実施の形態1と同様に、計数対象物の縦方向及び横方向が入力画像の縦方向及び横方向と一致するものとして説明する。
【0065】
図9は、本実施の形態2における特徴画像生成処理を説明するための模式図である。本実施の形態2における特徴画像生成処理は、図9に示すように、ある注目画素p(m、n)に対し、入力画像(濃淡画像)の横方向(左右方向)に所定距離(d2画素)だけ離れた2つの画素p3(m−d2、n)及び画素p4(m+d2、n)を設定し、計数対象物の明部の方向にある画素p4の輝度値から暗部の方向にある画素p3の輝度値を減算した値を注目画素pの新しい輝度値として置き換える処理を、入力画像の全画素に対して行うことにより、特徴画像を生成する処理である。
【0066】
なお、所定距離であるd2画素は計数対象物の大きさに基づいて求めた値であり、ここでは計数対象物の最大横幅の半分すなわち(dh/2)画素としている。
【0067】
図10は、前述の特徴画像生成処理を施して生成した特徴画像の横方向に対する輝度値の変化を表すグラフであり、横軸は横方向の位置、縦軸は輝度値を表す。曲線I6は、特徴画像中の直線L6(図示せず)上の画素の輝度値を表している。ここで、直線L6は、図2に示す入力画像中の直線L4に対応する。なお、b6は背景の輝度値である。
【0068】
図6、10に示すように、入力画像(濃淡画像)においては、ごみのパターン12に比べてS字のパターン11はそれほど目立たないが、特徴画像においては、新たなごみのパターン16に比べて新たなS字のパターン15が相対的に強調される。これは、所定距離(d2画素)を計数対象物の最大横幅の半分すなわち(dh/2)画素に等しくしているため、S字のパターンの中央付近(明部と暗部の境目付近)の画素が注目画素のときには、画素p3が暗部で画素p4が明部となり、画素p4から画素p3の輝度値を減算すると新たな輝度値が一様に大きくなるのに対し、ごみのパターンでは輝度値の変化がd2画素の大きさと無関係であるので、横方向に減算してもごみのパターンは特に強調されないためである。
【0069】
図11は、特徴画像に対し、S字のパターンを抽出するように所定の閾値で閾値処理を施し生成した2値画像である。ここで、所定の閾値とは、図10に示す輝度値b11のように、新たなS字のパターン15のピーク部のみ抽出し、新たなごみのパターン16を抽出しない閾値である。このような閾値は、特徴画像上においてはS字のパターンのみ強調されることから、特徴画像のヒストグラムを利用する等の方法で容易に求めることができる。
【0070】
なお、本実施の形態2においては、特徴画像生成処理の処理対象となる画像の縦方向及び横方向と計数対象物の縦方向及び横方向が一致しているので、輝度値を減算する方向を画像の横方向にとっているが、輝度値を減算することによって計数対象物が占める領域内の輝度値を相対的に強調できる方向であれば、この方向に限定されるものではない。つまり、S字のパターンが強調されるように、計数対象物の横方向に、注目画素から所定距離(d2画素)だけ離れた2つの画素を設定するようにすればよい。
【0071】
また、d2に(dh/2)に等しい値を用いたが、この値に限定されるものではない。例えば、(dh/3)に等しい値を用いてもよい。
以上のように、本実施の形態2における画像処理装置では、2値化手段の前段に設けた特徴画像生成手段において、計数対象物の大きさに基づいた空間フィルタリング処理(特徴画像生成処理)を施し、計数対象物が占める領域内の輝度値のピーク部(S字のパターンのピーク部)を強調することによって、本来計数すべきでない物体(ごみ)の像が画像に含まれている場合であっても、その物体(ごみ)を表す連結画像が現れない良好な2値画像を生成することができ、その結果、精度良く計数対象物を計数することができる。
【0072】
(実施の形態3)
本実施の形態3における画像処理装置について説明する。本実施の形態3における画像処理装置は、特徴画像生成手段による空間フィルタリング処理(特徴画像生成処理)が実施の形態1、2と異なり、その他の構成及び処理については同じである。そこで、以下に本実施の形態2における特徴画像生成処理について、図12〜17を用いて説明する。
【0073】
但し、本実施の形態3では、画像入力手段から特徴画像生成手段に入力される濃淡画像(入力画像)として、図12に示す画像を例に説明する。図12は画像入力手段から特徴画像生成手段に入力される濃淡画像(入力画像)の一例である。図12において、計数の対象となるのは、計数対象物17および計数対象物18が存在している。計数対象物17は、本来は計数対象物18のように楕円形であるものが、横方向のずれが生じているために歪んだ形になっている。また、計数対象物17は、図3及び図4に示すように、横方向(左右方向)の最大幅がdh画素、縦方向(上下方向)の最大幅がdv画素の大きさであり、左半分に輝度値の小さい暗部、右半分に輝度値の大きい明部を持っている。なお、計数対象物の縦方向及び横方向と入力画像の縦方向及び横方向の関係については、実施の形態1、2と同様に一致するものとする。
【0074】
図13は、本実施の形態3における特徴画像生成処理を説明するための模式図である。本実施の形態3における特徴画像生成処理は、図13に示すように、ある注目画素p(m、n)に対し、入力画像(濃淡画像)の横方向に第1の所定距離(d3画素)だけ離れた位置にある第1の画素p5(m−d3、n)及び第2の画素p6(m+d3、n)を設定し、さらに、第1の画素p5を中心として入力画像の横方向に第2の所定距離(Δd)だけ離れた位置にある画素p7(m−d3−Δd、n)及び画素p8(m−d3+Δd、n)を設定し、第2の画素p6を中心として入力画像の横方向に第2の所定距離(距離Δd)だけ離れた位置にある画素p9(m+d3−Δd、n)及び画素p8(m+d3+Δd、n)を設定する。そして、計数対象物の暗部の方向にある画素p7から画素p8の間(ボトム探索範囲(部分領域)19)にある画素のうちで最も小さな輝度値を持つ画素をq1、また、計数対象物の明部の方向にある画素p9から画素p10の間(ピーク探索範囲(部分領域)20)にある画素のうちで最も大きな輝度値を持つ画素をq2に設定し、画素q2の輝度値から画素q1の輝度値を減算した値を注目画素pの新しい輝度値として置き換える処理を、入力画像の全画像に対して行うことにより、特徴画像を生成する処理である。
【0075】
なお、第1の所定距離であるd3画素は計数対象物の大きさに基づいて求めた値であり、ここでは計数対象物の最大横幅の半分すなわち(dh/2)画素としている。また、Δdは横ずれの度合いに応じた微小な大きさであり、ここでは、計数対象物の最大横幅の十分の一すなわち(dh/10)画素としている。
【0076】
図14は、図12に示す入力画像の横方向に対する輝度値の変化を表すグラフであり、横軸は横方向の位置、縦軸は輝度値を表す。曲線I7及びI8は、それぞれ図12に示す直線L7及びL8上の画素の輝度値を表している。なお、b7は背景の輝度値である。
【0077】
また、図15は、前述の特徴画像生成処理を施して生成した特徴画像の横方向に対する輝度値の変化を表すグラフであり、横軸は横方向の位置、縦軸は輝度値を表す。曲線I9及びI10は、特徴画像中の直線L9及びL10(図示せず)上の画素の輝度値を表している。ここでは、直線L9及びL10は、それぞれ図12に示す直線L7及びL8に対応する。b8は背景の輝度値である。
【0078】
図14と図15を比較すると、実施の形態2において説明した図6と図10の関係と同様に、特徴画像において、新たなごみのパターンに比べて新たなS字のパターンが相対的に強調されている。さらに、図15に示す曲線I9及びI10のピーク部の重なりが、図14に示す曲線I7及びI8のピーク部の重なりよりも大きくなっている。
【0079】
これは、所定の幅を持つピーク探索範囲とボトム探索範囲にそれぞれS字のパターンのピーク部とボトム部が存在している間の輝度値が新たなピーク部となるためである。
【0080】
図16は、図12に示す入力画像に対し、図14に示すb12のような値を用いてS字のパターンのピーク部分を抽出するように閾値処理し生成した2値画像である。しかし、図14に示すように曲線I7のピーク部と曲線I8のピーク部の位置がずれているため、このような閾値を用いて閾値処理を行うと、曲線I7のピーク部と曲線I8のピーク部に対応する白画素の連結成分が現れることになる。そのため、図12に示す計数対象物17に対して白画素の連結成分が複数現れることになり、この複数の連結成分をそれぞれ別の個体として計数すると計数精度が低下する。従って、このような2値画像は計数には適さない。
【0081】
一方、図17は、特徴画像に対し、新たなピーク部分を抽出するように所定の閾値で閾値処理を施し生成した2値画像である。図17に示す2値画像では、図12に示す計数対象物17に対して白画素の連結成分が1つであるので、正確に計数することができる。ここで、所定の閾値とは、図15に示す輝度値b13のように、新たなピーク部の重なる領域の輝度値の上限値以下であって、新たなピーク部のみ抽出する閾値である。このように、図12に示す計数対象物17に対して白画素の連結成分が1つだけ現れるのは、図15に示すように、特徴画像においては、曲線I9及びI10のピーク部の重なりが大きくなり、この重なっている領域の輝度値の上限が大きくなるためである。なお、この閾値は、特徴画像上においてはS字のパターンのみ強調されることから、特徴画像のヒストグラムを利用する等の方法で容易に求めることができる。
【0082】
なお、本実施の形態3においては、特徴画像生成処理の処理対象となる画像の縦方向及び横方向と計数対象物の縦方向及び横方向が一致しているので、輝度値を減算する方向を画像の横方向にとっているが、計数対象物が占める領域内のピーク部の横幅が広がる方向であれば、この方向に限定されるものではない。つまり、S字のパターンのピーク部の横幅が広がるように、計数対象物の横方向に、注目画素から第1の所定距離(d3画素)だけ離れた2点を中心としてボトム探索範囲とピーク探索範囲を設定するようにすればよい。
【0083】
また、d3に(dh/2)に等しい値を用いたが、この値に限定されるものではない。例えば、(dh/3)に等しい値を用いてもよい。
また、Δdにdh/10に等しい値を用いたが、dh/2を超えない範囲であれば、この値に限定されるものではない。
【0084】
以上のように、本実施の形態3における画像処理装置では、2値化手段の前段に設けた特徴画像生成手段において、計数対象物の大きさに基づいた空間フィルタリング処理(特徴画像生成処理)を施し、計数対象物が占める領域の輝度値のピーク部の横幅を広げることによって、良好な2値画像を生成することができ、その結果、精度良く計数対象物を計数することができる。
【0085】
なお、本実施の形態1〜3において説明した特徴画像生成処理を様々に組み合わせて空間フィルタリング処理を行うようにしてもよい。例えば、実施の形態3において説明した特徴画像生成処理の入力画像として、実施の形態1や実施の形態2において説明した特徴画像生成処理により生成した特徴画像を用いるようにしてもよい。
【0086】
(実施の形態4)
本実施の形態4における画像処理装置について説明する。本実施の形態4における画像処理装置は、ラベリング手段によるラベリング処理が実施の形態1と異なり、その他の構成及び処理については同じである。そこで、以下に本実施の形態4におけるラベリング処理について、図18〜22を用いて説明する。
【0087】
図18は、本実施の形態4におけるラベリング処理を説明するためのフロー図である。
まず、ステップS101において、番号Nを0に初期化するとともに、注目画素pを座標(1、1)に初期化する。ここで、座標(1、1)とは、図19に示すように、画像の左上の座標であり、走査方向を図中の矢印に示すように左から右、上から下の方向に定義する。
【0088】
次に、ステップS102では、注目画素pが白画素であるかどうか判定し、判定結果が真の場合、すなわち注目画素が白画素の場合には、ステップS103に進む。また、判定結果が偽の場合、すなわち注目画素が黒画素の場合には、ステップS108に進む。
【0089】
ステップS103では、注目画素pに番号が付与されていないかどうか判定し、判定結果が真、すなわち注目画素pに番号が付与されていない場合は、ステップS104に進む。また、判定結果が偽、すなわち注目画素pに番号が付与されている場合は、ステップS108に進む。
【0090】
ステップS104では、番号Nを1だけ増加させる。
ステップS105では、注目画素pに番号Nを付与する。
ステップS106では、この注目画素pを基準として、計数対象物の大きさに基づいた探索範囲Rを設定する。この探索範囲Rは、注目画素pが計数対象物の領域内にある画素であると仮定し、計数対象物を内包するか、少なくとも探索範囲Rに計数対象物が内接する範囲に設定するのが望ましい。
【0091】
次にステップS107では、ステップS106で設定した探索範囲R内に限定して注目画素pの連結成分を探索し、連結成分の全ての画素に番号Nを付与するラベリング処理を行う。探索範囲R内の全ての画素について探索が完了するとステップS108に進む。
【0092】
ステップS108では、注目画素pが画像の最後の画素であるかどうか、すなわち画像の全領域の判定が済んだかどうか判定する。判定結果が真の場合、画像の全ての領域に対してラベリング処理が完了したとして、ラベリング処理を終了する。また、判定結果が偽の場合、ステップS109に進む。
【0093】
ステップS109では、注目画素pを図19で定義した走査方向に従って次の画素に設定し、ステップS102に戻り、ラベリング処理を続ける。
続いて、図20に示す濃淡画像が画像入力手段から特徴画像生成手段に入力される場合を例に、本実施の形態4におけるラベリング処理を説明する。
【0094】
図20に示すように、この濃淡画像に含まれる計数対象物21及び計数対象物22の像は近接して存在している。そのため、その2値画像には、図21に示すように、本来2つの計数対象物に由来する白画素が1つの連結成分として現れることになる。
【0095】
以下、図21に示す2値画像に対して、図18に示すフローに従うラベリング処理を適用した場合の動作について説明する。
図22(a)は、図21に示す2値画像の画像データであって、網掛けのセルは黒画素、即ち、値が0の画素を表しており、白いセルは白画素、即ち、値が1の画素を表している。
【0096】
ラベリング手段は、図22(a)の画像データを持つ2値画像が入力されると、まず番号Nを0に初期化するとともに、注目画素pを座標(1、1)に初期化してからラベリング処理を開始する(ステップS101)。その後、注目画素pが座標(4、3)に到達したときに初めてステップS102及びステップS103の判定結果が共に真となり、ステップS104、S105、S106及びS107が実行される。
【0097】
図22(b)は、注目画素pが座標(4、3)であるときに、探索範囲Rに限定してラベリング処理した結果を示している。図22(b)に示すように、注目画素pの連結成分のうち探索範囲R内の画素に対しては同じ番号1が付与されるが、探索範囲Rを超えて繋がっている成分については、探索を行わないため、番号(符号)は付与されない。
【0098】
続いて、ステップS108、ステップS109と進み、注目画素pの座標を座標(5、3)に設定してステップS102に戻る。その後、注目画素pが座標(4、7)に到達したとき、ステップS102及びステップS103の判定結果が共に真となり、ステップS104、S105、S106及びS107が実行される。
【0099】
そして、図18に示すフローの処理を終了した時点では、図22(c)に示すように、図22(b)の段階では番号(符号)が付与されていなかった連結成分に対して別の番号(符号)が付与されるので、本来2つ存在している計数対象物を正しく計数することができるようになる。
【0100】
以上のように、本実施の形態4においては、ラベリング処理の探索範囲を計数対象物の大きさに基づいて限定するため、複数の計数対象物が近接して存在するために2値画像において白画素が繋がってしまっても、正しく計数することができる。
【0101】
なお、本実施の形態4におけるラベリング手段(ラベリング処理)は、前述した実施の形態1〜3のいずれの画像処理装置にも適用することができる。
(実施の形態5)
本実施の形態5における画像処理装置について説明する。本実施の形態5における画像処理装置は、特徴画像生成手段の前段に領域切り出し手段が加えられている点が実施の形態1と異なり、その他の構成及び処理については同じである。そこで、本実施の形態5における領域切り出し手段について、図23〜25を用いて説明する。
【0102】
図23は、本実施の形態5における画像処理装置の構成図である。図23において、領域切り出し手段23は、画像入力手段1から入力される濃淡画像から計数対象物の像を含む領域を切り出し、その領域の画像(部分画像)を特徴画像生成手段2に入力する。
【0103】
以下に、切り出す領域の範囲(画像処理範囲)を求める手順について図24及び図25を用いて説明する。図24は、本実施の形態5における画像処理範囲を求める手順を示すフロー図である。
【0104】
まず、ステップS201において、注目画素pを座標(1、1)に初期化する。ここで、座標(1、1)とは、実施の形態4と同様に、画像の左上の座標であり、走査方向を左から右、上から下の方向に定義する(図19参照。)。
【0105】
次に、ステップS202では、注目画素pが背景以外の成分であるかどうか判定する。判定方法は、注目画素pの輝度値と背景の輝度値との差を取り、その差の絶対値が所定値以上かどうかで判定する。ここで、背景の輝度値は、例えば、画像の輝度ヒストグラムにおいて最も度数の大きい輝度値を背景の輝度値と仮定するなどの方法で予め求めておく。また、判定に用いる所定値は、例えば、背景の輝度値の変動幅よりも少し大きな値とし、これも輝度ヒストグラムを利用するなどの方法で予め求めておく。ステップS202の判定結果が真の場合、すなわち注目画素pの輝度値と背景の輝度値の差の絶対値が所定値以上の場合は、注目画素pは背景以外の成分であり、この注目画素pを含む近傍に計数対象物あるいは他の物体が存在していると推測できる。この場合、ステップS203に進む。また、判定の結果が偽の場合、すなわち注目画素pの輝度値と背景の輝度値の差の絶対値が所定値よりも小さい場合は、注目画素pは背景成分であると推測できる。この場合、ステップS207に進む。
【0106】
ステップS203では、注目画素pが他の画素に対して既に設定した画像処理範囲内にある画素でないかどうか判定する。判定の結果が真の場合、すなわち注目画素pが他の画素に対して既に設定したどの画像処理範囲にも属さない場合、ステップS204に進む。また、判定の結果が偽の場合、すなわち注目画素pが他の画素に対して既に設定したいずれかの画像処理範囲に属する場合、ステップS207に進む。
【0107】
ステップS204では、注目画素pの位置を基準として計数対象物の大きさに基づいた画像処理範囲Tを設定する。この画像処理範囲Tは現在の注目画素pが計数対象物の画素であると仮定し、計数対象物を内包するか、少なくとも画像処理範囲Tに計数対象物が内接する範囲に設定するのが望ましい。
【0108】
次にステップS205では、ステップS204で設定した画像処理範囲Tが他の画素に対して既に設定したいずれかの画像処理範囲と一部分でも重なっているかどうか判定する。判定結果が真、すなわち画像処理範囲Tが他の画素に対して既に設定したいずれかの画像処理範囲と一部分でも重なっている場合、ステップS206に進む。判定結果が偽、すなわち画像処理範囲Tが他の画素に対して既に設定したどの画像処理範囲とも重なっていない場合、ステップS207に進む。
【0109】
ステップS206では、重なっている画像処理範囲の和をとって合成し、重なっている画像処理範囲全てを内包する一つの画像処理範囲に置き換える処理を行う。例えば、図25(a)に示すように、ステップS205で設定した画像処理範囲Tと、他の画素に対して既に設定した画像処理範囲Uが重なっている場合、図25(b)に示すように、両方の画像処理範囲の和をとって合成した画像処理範囲Vを画像処理範囲Tの代わりに設定し、ステップS207に進む。
【0110】
ステップS207では、注目画素pが画像の最後の画素であるかどうか、すなわち画像の全領域の判定が済んだかどうか判定する。判定結果が真の場合、画像の全ての領域に対して処理が完了したとして、処理を終了する。また、判定結果が偽の場合、ステップS208に進む。
【0111】
ステップS208では、注目画素pを図19で定義した走査方向に従って次の画素に設定し、ステップS202に戻り、処理を続ける。
以上のような手順により画像処理範囲を求めることにより、特徴画像生成手段、2値化手段、ラベリング手段にて行われる処理は、計数対象物の像の周囲に限定された部分画像に対してのみ行われ、それ以外の背景成分のみで占められる部分画像に対しては行われないため、処理時間を短縮することができる。特に計数対象物の像がまばらにしか存在せず、画像のほとんどが背景成分で占められる場合には、大幅に処理時間を短縮することができる。
【0112】
なお、本実施の形態5における領域切り出し手段は、前述した実施の形態1〜4のいずれの画像処理装置にも適用することができる。
【0113】
【発明の効果】
以上のように、本発明によれば、濃淡画像に対し、計数対象物の大きさに基づいて、計数対象物の領域内の輝度値のピーク部(S字のパターン)を強調する空間フィルタリング処理を施すので、本来計数すべきでない物体(ごみ)の像が濃淡画像に含まれている場合であっても、そのごみを表す連結成分が現れない2値画像を生成することができ、精度良く計数対象物を計数することができる。
【0114】
また、濃淡画像に対し、計数対象物の大きさに基づいて、計数対象物の領域内に生じた複数の輝度値のピーク部を重ねる空間フィルタリング処理を施すので、濃淡画像に横方向のずれが生じる場合であっても、1つの計数対象物が1つの連結成分となって現れる2値画像を生成することができ、精度良く計数対象物を計数することができる。
【0115】
また、ラベリング処理の探索範囲を計数対象物の大きさに基づいて限定するので、近接している複数個の計数対象物が1つの連結成分となって現れる場合であっても、計数対象物の大きさに基づいて限定した探索範囲内の連結成分に対してのみ同一符号を付与し、正しく計数することができる。
【0116】
また、画像入力手段の後段に、濃淡画像から背景以外の物が含まれる領域(計数対象物の像を含む領域)を切り出して部分画像を生成する領域切り出し手段を設け、この濃淡画像の部分画像を用いて以降の処理を行うので、処理時間を短縮することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1における画像処理装置の構成図
【図2】本発明の実施の形態1における濃淡画像の一例を示す図
【図3】本発明の実施の形態1における計数対象物を説明するための模式図
【図4】本発明の実施の形態1における計数対象物の横方向に対する輝度値の変化及び隣接ライン間の相関を表すグラフを示す図
【図5】本発明の実施の形態1における特徴画像生成処理を説明するための模式図
【図6】本発明の実施の形態1における濃淡画像の横方向に対する輝度値の変化を表すグラフを示す図
【図7】本発明の実施の形態1における特徴画像の横方向に対する輝度値の変化を表すグラフを示す図
【図8】本発明の実施の形態1における特徴画像より生成した2値画像の一例を示す図
【図9】本発明の実施の形態2における特徴画像生成処理を説明するための模式図
【図10】本発明の実施の形態2における特徴画像の横方向に対する輝度値の変化を表すグラフを示す図
【図11】本発明の実施の形態2における特徴画像より生成した2値画像の一例を示す図
【図12】本発明の実施の形態3における濃淡画像の一例を示す図
【図13】本発明の実施の形態3における特徴画像生成処理を説明するための模式図
【図14】本発明の実施の形態3における濃淡画像の横方向に対する輝度値の変化を表すグラフを示す図
【図15】本発明の実施の形態3における特徴画像の横方向に対する輝度値の変化を表すグラフを示す図
【図16】本発明の実施の形態3における濃淡画像より生成した2値画像の一例を示す図
【図17】本発明の実施の形態3における特徴画像より生成した2値画像の一例を示す図
【図18】本発明の実施の形態4におけるラベリング処理を説明するためのフロー図
【図19】本発明の実施の形態4における画像の座標系を説明するための図
【図20】本発明の実施の形態4における濃淡画像の一例を示す図
【図21】本発明の実施の形態4における2値画像の一例を示す図
【図22】本発明の実施の形態4におけるラベリング処理を説明するための模式図
【図23】本発明の実施の形態5における画像処理装置の構成図
【図24】本発明の実施の形態5における画像処理範囲を求める手順を示すフロー図
【図25】本発明の実施の形態5における画像処理範囲を合成する方法を説明するための図
【図26】従来の画像処理装置の構成図
【符号の説明】
1 画像入力手段
2 特徴画像生成手段
3 2値化手段
4 ラベリング手段
5 計数対象物
6 ごみ
7 暗部
8 明部
9 ボトム部
10 ピーク部
11 S字のパターン
12 ごみのパターン
13、15 特徴画像上のS字のパターン
14、16 特徴画像上のごみのパターン
17、18 計数対象物
19 ボトム探索範囲
20 ピーク探索範囲
21、22 計数対象物
23 領域切り出し手段
24 輝度補正手段
Claims (21)
- 所定の大きさを持つ計数対象物を含む濃淡画像を入力する画像入力手段と、前記濃淡画像に対し前記計数対象物の大きさに基づいて空間フィルタリング処理を施し前記計数対象物の輝度値を強調した特徴画像を生成する特徴画像生成手段と、前記特徴画像に対し所定の閾値で閾値処理を施し2値画像を生成する2値画像生成手段と、を有し、前記2値画像に対し前記計数対象物を表す連結成分ごとに同一符号を付与するラベリング処理を施し、前記計数対象物の計数を行うことを特徴とする画像処理装置。
- 前記特徴画像生成手段は、注目画素から前記計数対象物の上下方向に前記計数対象物の大きさに基づく所定距離だけ離れた位置にある2つの画素を端点とする線分上の画素の輝度値を全て加算し、この加算値を注目画素の輝度値に置き換える空間フィルタリング処理を行うことを特徴とする請求項1記載の画像処理装置。
- 前記所定距離は、前記計数対象物の縦方向の最大幅の2分の1に等しいことを特徴とする請求項2記載の画像処理装置。
- 前記所定距離は、前記計数対象物の縦方向の最大幅の4分の1に等しいことを特徴とする請求項2記載の画像処理装置。
- 前記特徴画像生成手段は、注目画素から前記計数対象物の左右方向に前記計数対象物の大きさに基づく所定距離だけ離れた位置にある2つの画素の輝度値を読み取り、前記計数対象物の明部の方向にある画素の輝度値から暗部の方向にある画素の輝度値を減算し、この減算値を注目画素の輝度値に置き換える空間フィルタリング処理を行うことを特徴とする請求項1記載の画像処理装置。
- 前記所定距離は、前記計数対象物の横方向の最大幅の2分の1に等しいことを特徴とする請求項5記載の画像処理装置。
- 前記所定距離は、前記計数対象物の横方向の最大幅の3分の1に等しいことを特徴とする請求項5記載の画像処理装置。
- 所定の大きさを持つ計数対象物を含む濃淡画像を入力する画像入力手段と、前記濃淡画像に対し前記計数対象物の大きさに基づいて空間フィルタリング処理を施し前記計数対象物の輝度値のピーク部の幅を広げた特徴画像を生成する特徴画像生成手段と、前記特徴画像に対し所定の閾値で閾値処理を施し2値画像を生成する2値画像生成手段と、を有し、前記2値画像に対し前記計数対象物を表す連結成分ごとに同一符号を付与するラベリング処理を施し、前記計数対象物の計数を行うことを特徴とする画像処理装置。
- 前記特徴画像生成手段は、注目画素から前記計数対象物の左右方向に前記計数対象物の大きさに基づく第1の所定距離だけ離れた位置にある2つの画素を第1の画素と第2の画素に設定し、前記第1の画素および前記第2の画素を中心とする第1の部分領域および第2の部分領域を設定し、前記計数対象物の明部の方向にある部分領域内の最大の輝度値を持つ画素の輝度値から、暗部の方向にある部分領域内の最小の輝度値を持つ画素の輝度値を減算し、この減算値を注目画素の輝度値に置き換える空間フィルタリング処理を行うことを特徴とする請求項8記載の画像処理装置。
- 前記第1の部分領域は、前記第1の画素から前記計数対象物の左右方向に第2の所定距離だけ離れた位置にある2つの画素を端点とする線分上にある画素からなる領域であり、前記第2の部分領域は、前記第2の画素から前記計数対象物の左右方向に前記第2の所定距離だけ離れた位置にある2つの画素を端点とする線分上にある画素からなる領域であることを特徴とする請求項9記載の画像処理装置。
- 前記第1の所定距離は、前記計数対象物の横方向の最大幅の2分の1に等しいことを特徴とする請求項9もしくは10のいずれかに記載の画像処理装置。
- 前記第1の所定距離は、前記計数対象物の横方向の最大幅の3分の1に等しいことを特徴とする請求項9もしくは10のいずれかに記載の画像処理装置。
- 前記第2の所定距離は、前記計数対象物の横方向の最大幅の10分の1に等しいことを特徴とする請求項10乃至12のいずれかに記載の画像処理装置。
- 前記2値画像に対し、前記計数対象物の大きさに基づく範囲に限定して前記計数対象物を表す連結成分を探索し、この限定された探索範囲内で同一符号を付与するラベリング処理を施すことを特徴とする請求項1乃至13のいずれかに記載の画像処理装置。
- 前記限定された探索範囲は、少なくとも前記計数対象物と内接する大きさとなる範囲であることを特徴とする請求項14記載の画像処理装置。
- 請求項1乃至13のいずれかに記載の画像処理装置において、前記画像入力手段の後段に、前記濃淡画像に対し前記計数対象物を含む領域を切り出して部分画像を生成する領域切り出し手段を設け、前記特徴画像生成手段が前記部分画像に対して前記空間フィルタリング処理を施すようにしたことを特徴とする画像処理装置。
- 前記領域切り出し手段は、注目画素の輝度値と背景の輝度値の差の絶対値が所定値よりも大きい場合に、この注目画素が他の画素に対して設定した画像処理範囲内にある画素か否かを判定し、他の画素に対して設定した画像処理範囲内にある画素でない場合には、この注目画素を基準に画像処理範囲を設定し、設定した画像処理範囲の領域を切り出すことを特徴とする請求項16記載の画像処理装置。
- 前記画像処理範囲は、注目画素を含み、少なくとも前記計数対象物と内接する範囲であることを特徴とする請求項17記載の画像処理装置。
- 前記領域切り出し手段は、複数の画像処理範囲の領域の一部又は全部が重なる場合には、これら複数の画像処理範囲全てを内包する一つの画像処理範囲に置き換え、この置き換えた画像処理範囲の領域を切り出すことを特徴とする請求項17もしくは18のいずれかに記載の画像処理装置。
- 前記2値画像に対し、前記計数対象物の大きさに基づく範囲に限定して前記計数対象物を表す連結成分を探索し、この限定された探索範囲内で同一符号を付与するラベリング処理を施すことを特徴とする請求項19記載の画像処理装置。
- 前記限定された探索範囲は、少なくとも前記計数対象物と内接する大きさとなる範囲であることを特徴とする請求項20記載の画像処理装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003056460A JP2004265264A (ja) | 2003-03-04 | 2003-03-04 | 画像処理装置 |
PCT/JP2004/002322 WO2004079660A1 (ja) | 2003-03-04 | 2004-02-26 | 画像処理装置 |
EP04714959A EP1605407A1 (en) | 2003-03-04 | 2004-02-26 | Image processing device |
US10/546,041 US20060210164A1 (en) | 2003-03-04 | 2004-02-26 | Image processing device |
CNA2004800057201A CN1757046A (zh) | 2003-03-04 | 2004-02-26 | 图像处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003056460A JP2004265264A (ja) | 2003-03-04 | 2003-03-04 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004265264A true JP2004265264A (ja) | 2004-09-24 |
Family
ID=32958706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003056460A Pending JP2004265264A (ja) | 2003-03-04 | 2003-03-04 | 画像処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20060210164A1 (ja) |
EP (1) | EP1605407A1 (ja) |
JP (1) | JP2004265264A (ja) |
CN (1) | CN1757046A (ja) |
WO (1) | WO2004079660A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008164466A (ja) * | 2006-12-28 | 2008-07-17 | Sumitomo Metal Mining Co Ltd | 物流量測定方法及び物流量測定装置 |
JP2009289189A (ja) * | 2008-05-30 | 2009-12-10 | Toyota Central R&D Labs Inc | 学習モデル生成装置及びプログラム並びに対象物検出装置及びプログラム |
JPWO2016121065A1 (ja) * | 2015-01-29 | 2017-11-02 | オリンパス株式会社 | 細胞解析装置および方法 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4179255B2 (ja) * | 2004-09-17 | 2008-11-12 | 日本電気株式会社 | 画像処理装置、画像伝送装置、表示装置、画像処理方法及び画像伝送方法 |
US20080116255A1 (en) * | 2006-11-17 | 2008-05-22 | Fuji Xerox Co., Ltd. | Seamless screen labeling for branding, access control and content management |
JP4868186B2 (ja) * | 2007-01-23 | 2012-02-01 | 日本電気株式会社 | マーカ生成及びマーカ検出のシステム、方法とプログラム |
JP2009043047A (ja) * | 2007-08-09 | 2009-02-26 | Seiko Epson Corp | 画像表示装置、画像表示方法、およびプログラム |
JP4626658B2 (ja) * | 2008-02-14 | 2011-02-09 | ソニー株式会社 | 表示装置、撮像装置および位置検出装置 |
TWI492166B (zh) | 2012-01-12 | 2015-07-11 | Kofax Inc | 行動影像擷取和處理的系統和方法 |
JP5949399B2 (ja) * | 2012-09-28 | 2016-07-06 | ブラザー工業株式会社 | 画像処理装置およびプログラム |
US10127636B2 (en) | 2013-09-27 | 2018-11-13 | Kofax, Inc. | Content-based detection and three dimensional geometric reconstruction of objects in image and video data |
DE102014201824A1 (de) * | 2014-02-03 | 2015-08-06 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Positionsbestimmung eines Fahrzeugs |
US9760788B2 (en) | 2014-10-30 | 2017-09-12 | Kofax, Inc. | Mobile document detection and orientation based on reference object characteristics |
US11523090B2 (en) | 2015-03-23 | 2022-12-06 | The Chamberlain Group Llc | Motion data extraction and vectorization |
US10242285B2 (en) * | 2015-07-20 | 2019-03-26 | Kofax, Inc. | Iterative recognition-guided thresholding and data extraction |
US10467465B2 (en) | 2015-07-20 | 2019-11-05 | Kofax, Inc. | Range and/or polarity-based thresholding for improved data extraction |
US10417882B2 (en) * | 2017-10-24 | 2019-09-17 | The Chamberlain Group, Inc. | Direction sensitive motion detector camera |
US11062176B2 (en) | 2017-11-30 | 2021-07-13 | Kofax, Inc. | Object detection and image cropping using a multi-detector approach |
CN111812106B (zh) * | 2020-09-15 | 2020-12-08 | 沈阳风驰软件股份有限公司 | 一种无线耳机外观面溢胶检测方法和检测*** |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3490490B2 (ja) * | 1994-01-28 | 2004-01-26 | 株式会社東芝 | パターン画像処理装置及び画像処理方法 |
US6243059B1 (en) * | 1996-05-14 | 2001-06-05 | Rainbow Displays Inc. | Color correction methods for electronic displays |
CN1265652C (zh) * | 1997-03-14 | 2006-07-19 | 索尼公司 | 色彩修正装置和修正方法,图像处理装置和处理方法 |
KR100607018B1 (ko) * | 1998-06-23 | 2006-08-01 | 샤프 가부시키가이샤 | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을기록한 매체 |
JP4318776B2 (ja) * | 1998-10-26 | 2009-08-26 | 大日本印刷株式会社 | ムラの検査方法及び装置 |
US6791609B2 (en) * | 1999-12-20 | 2004-09-14 | Texas Instruments Incorporated | Digital still camera system and method |
JP4127594B2 (ja) * | 2000-03-23 | 2008-07-30 | 理想科学工業株式会社 | 画像処理方法および装置 |
US6498910B2 (en) * | 2000-04-07 | 2002-12-24 | Konica Corporation | Image forming with light and dark hue toners |
JP2002190013A (ja) * | 2000-12-21 | 2002-07-05 | Nec Corp | 画像認識による渋滞検知システム及び渋滞検知方法 |
JP3719590B2 (ja) * | 2001-05-24 | 2005-11-24 | 松下電器産業株式会社 | 表示方法及び表示装置ならびに画像処理方法 |
TWI220850B (en) * | 2003-01-22 | 2004-09-01 | Weltrend Semiconductor Inc | Improved image monochrome independent adjustment method considering boundary |
US7623728B2 (en) * | 2004-03-24 | 2009-11-24 | General Electric Company | Method and product for processing digital images |
-
2003
- 2003-03-04 JP JP2003056460A patent/JP2004265264A/ja active Pending
-
2004
- 2004-02-26 US US10/546,041 patent/US20060210164A1/en not_active Abandoned
- 2004-02-26 CN CNA2004800057201A patent/CN1757046A/zh active Pending
- 2004-02-26 WO PCT/JP2004/002322 patent/WO2004079660A1/ja active Application Filing
- 2004-02-26 EP EP04714959A patent/EP1605407A1/en not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008164466A (ja) * | 2006-12-28 | 2008-07-17 | Sumitomo Metal Mining Co Ltd | 物流量測定方法及び物流量測定装置 |
JP2009289189A (ja) * | 2008-05-30 | 2009-12-10 | Toyota Central R&D Labs Inc | 学習モデル生成装置及びプログラム並びに対象物検出装置及びプログラム |
JPWO2016121065A1 (ja) * | 2015-01-29 | 2017-11-02 | オリンパス株式会社 | 細胞解析装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
EP1605407A1 (en) | 2005-12-14 |
WO2004079660A1 (ja) | 2004-09-16 |
US20060210164A1 (en) | 2006-09-21 |
CN1757046A (zh) | 2006-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004265264A (ja) | 画像処理装置 | |
CN110678901B (zh) | 信息处理设备、信息处理方法和计算机可读存储介质 | |
CN111862195A (zh) | 光斑检测方法和装置、终端和存储介质 | |
CN107633253B (zh) | 基于含噪图像中矩形包围框的精确提取和定位方法 | |
JP6115214B2 (ja) | パターン処理装置、パターン処理方法、パターン処理プログラム | |
JP6497162B2 (ja) | 画像処理装置および画像処理方法 | |
CN105740760A (zh) | 一种视频字幕ocr识别的自动校正方法 | |
JP2018120445A (ja) | 車番認識装置 | |
CN116503388A (zh) | 缺陷检测方法、装置及存储介质 | |
JP5870745B2 (ja) | 画像処理装置、二値化閾値算出方法及びコンピュータプログラム | |
JP2005258940A (ja) | 画像認識方法及び画像認識装置 | |
JP5732217B2 (ja) | 画像2値化方法および画像2値化装置 | |
JP2006337167A (ja) | 周期性ノイズ下での低コントラスト欠陥検査方法、繰返しパターン下での低コントラスト欠陥検査方法 | |
JP6006675B2 (ja) | マーカ検出装置、マーカ検出方法、及びプログラム | |
JP2019100937A (ja) | 欠陥検査装置及び欠陥検査方法 | |
JP6118295B2 (ja) | マーカ埋め込み装置、マーカ検出装置、方法、及びプログラム | |
CN110310223B (zh) | 一种紫外光与可见光图像的融合方法 | |
JP2005184787A (ja) | 画像処理方法及び画像処理装置 | |
KR101707625B1 (ko) | 영상데이터를 이용한 패턴정보 추출방법 | |
JP5157963B2 (ja) | 対象物検出装置 | |
JPH09288037A (ja) | Lcdパネルの検査方法 | |
JP5262877B2 (ja) | ノイズ成分除去装置、ノイズ成分除去プログラムを記録した媒体 | |
JP2018074368A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6513311B2 (ja) | 文字認識装置および文字認識方法 | |
CN117689729A (zh) | 页面控件定位方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060302 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100209 |