JP4242796B2 - 画像認識方法及び画像認識装置 - Google Patents

画像認識方法及び画像認識装置 Download PDF

Info

Publication number
JP4242796B2
JP4242796B2 JP2004071382A JP2004071382A JP4242796B2 JP 4242796 B2 JP4242796 B2 JP 4242796B2 JP 2004071382 A JP2004071382 A JP 2004071382A JP 2004071382 A JP2004071382 A JP 2004071382A JP 4242796 B2 JP4242796 B2 JP 4242796B2
Authority
JP
Japan
Prior art keywords
pattern
image
area
region
image recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004071382A
Other languages
English (en)
Other versions
JP2005258940A (ja
Inventor
真一 宝田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2004071382A priority Critical patent/JP4242796B2/ja
Priority to CNB2005100545610A priority patent/CN100367757C/zh
Priority to US11/076,860 priority patent/US7751610B2/en
Publication of JP2005258940A publication Critical patent/JP2005258940A/ja
Application granted granted Critical
Publication of JP4242796B2 publication Critical patent/JP4242796B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Description

本発明は、光学的手段により特徴づけを行い画像を処理して認識する方法及び装置において、撮影対象を複数階調の画像データとして撮影し、この画像から注目対象を抽出し2値化処理する技術に関するものである。
従来から、画像認識のためには種々の方法が提案されている。それらは、画像から特定のパターンを見つけ出すことを目的としたものや、画像で検出した対象が正常な形状をしているか検査することを目的としたもの、など、様々な目的で行われている。しかし、目的は違っても、手法としては一般的に、基準となる特定のテンプレート画像と対象画像とを何らかの方法で比較し、その結果を数値的に評価することにより、テンプレート画像と対象画像の適合度を求める、という方法がとられている。
以下、図9および図10を用いて、非常に広く用いられる一般的な画像認識方法を示す。図9は、画像認識方法における一般的なテンプレートマッチングの手順の例を示すものである。図9において、201はテンプレート画像であり、対象画像202の中からこのテンプレート画像201に示された丸い画像パターンを探索するものとする。対象画像202中には、203、204に示されるように多くの丸いパターンが存在している。
上記テンプレート画像201は縦50画素、横50画素とし、対象画像202は縦480画素、横640画素であり、1画素当たりの階調は256階調とする。
対象画像202を順に探索することにより、このテンプレート画像に示された丸い画像パターンを対象画像202から抽出する。まず、対象画像202の左上の枠内205の位置に、テンプレート画像201と同じ大きさの枠を仮定し、対象画像202を縦50画素、横50画素で切り出す。
次に、図9に示した一般的なテンプレートマッチングの処理の流れについて説明する。処理ステップ301において、これらテンプレート画像201,対象画像の一部205を重ね合わせ、対応する位置の画素を1画素毎に差分演算する。
次いで、処理ステップS302において、それら50×50画素の差分結果を全て個別に2乗した後、加算する。この値は、両画像の相関関係を意味し、両者が同一の画像であるときは小さな値となり、両者が異なったときは大きな値となる。
この値302を相関閾値303と比較器304において比較し、求めた値が相関閾値303より小さい場合は特定のパターンを検出したものと判定し、求めた値が相関閾値303より大きい場合は特定のパターンが存在しないと判定する。
図9において、部分画像205の位置で判定を行った次には、枠を1画素分紙面右にずらして同様の判定を行い、これをくりかえして、矢印206の順で対象画像202全体に対して順次判定処理を行う。枠が207の位置のとき、テンプレート201とパターン203は一致し、差分演算301の結果の2乗和302は、非常に小さな値となることから、丸いパターンの存在を判別することができる。
ところが、本方式は、大きな問題点を持つ。すなわち、第1は、演算量の問題である。本例では、一回の判定で、50画素単位で行なうため、減算が2500回、2乗演算が2500回および加算が2499回必要であり、それが画像全体では590×430回必要となる。従って、演算量が非常に大きくなり、判定時間が長くなる。
第2に、光ムラにより生じる問題点がある。例えば、図9において、対象画像202の照明にムラがあり、紙面右の方は多少明るくなっているものとする。このとき、パターン204については、パターンもその近傍の背景も明るくなっており、テンプレートとの差分を求めた場合には、全ての画素に明るさのズレ分の差分が残ってしまい、判定を誤る可能性がある。
これらの問題点を解決するために、例えば特開平11−132959号公報のような提案がなされている。これはテンプレートとして近傍の実画像を用いているものであるが、明るさの補正手段を持ち、輝度を補正した上で、テンプレートと対象画像を比較することで、明るさによる影響を除去するようにしたものである。
特開平11−132959号公報
従来の画像認識方法及び画像認識装置は以上のように構成されており、光ムラによる影響を除去するような処理が可能であるが、演算量を縮小することはできず、加えて明るさ補正のための演算が必要であることから、さらに処理負荷が膨大なものとなるという問題点があった。また、テンプレートとして実画像を用いていることから、ノイズなどの影響により、差分の積算が大きくなり、誤判定を引き起こす可能性があるという問題があった。
本発明は以上のような問題点を解消するためになされたもので、極めて少ない演算量により、画像中から所望のパターンを確実に抽出することのできる画像認識方法及び画像認識装置を提供することを目的とする。
本発明の画像認識方法は、認識すべき画像パターンの特徴を示すマスクパターンを有し、該マスクパタ−ンを用いてデジタル化された2値以上の諧調を持つ対象画像データから前記画像パターンを認識する画像認識方法であって、前記マスクパターンは、前記認識すべき画像よりも小さい第1のパターン領域と、前記第1のパターン領域の外側に前記認識すべき画像よりも大きい第2のパターン領域とを持ち、前記第1のパターン領域から、前記対象画像データの最大輝度を示す第1の代表値を得る工程と、前記第2のパターン領域から、前記対象画像データの最小輝度を示す第2の代表値を得る工程と、前記第2の代表値から前記第1の代表値を引いた差分値が所定の閾値以上であるとき、前記対象画像の内部に認識すべき画像が存在すると判定する工程と、を含むことを特徴とするものである。
本発明の画像認識方法は、上記画像認識方法において、前記第1と第2のパターン領域は、複数の画素で構成されたものを用いる、ことを特徴とするものである。
本発明の画像認識方法は、上記画像認識方法において、前記所定の閾値は、認識すべき画像の輝度と認識すべき画像以外の輝度との差の半値とする、ことを特徴とするものである。
本発明の画像認識方法は、認識すべき画像パターンの特徴を示すマスクパターンを有し、該マスクパタ−ンを用いてデジタル化された2値以上の諧調を持つ同一の形状および寸法を持つ認識すべき画像が複数存在する対象画像データから前記画像パターンを認識する画像認識方法であって、前記マスクパターンは、前記認識すべき画像よりも小さく且つ中心部には存在しない第1のパターン領域と、前記第1のパターン領域の外側に前記認識すべき画像よりも大きく且つ隣接する他の認識すべき画像との予め定められた距離より小さい第2のパターン領域とを持ち、前記第1のパターン領域に囲まれた領域を固定値領域、前記第1のパターン領域と第2のパターン領域とに挟まれた領域を2値化領域とし、前記第1のパターン領域から、前記対象画像データの最大輝度を示す第1の代表値を得る工程と、前記第2のパターン領域から、前記対象画像データの最小輝度を示す第2の代表値を得る工程と、前記第2の代表値から前記第1の代表値を引いた差分値が所定の閾値以上であるとき、前記対象画像の内部に認識すべき画像が存在すると判定する工程と、前記対象画像の内部に認識すべき画像が存在すると判定したときに前記2値化領域内の対象画像データを所定の閾値と比較して2値化する工程とを、含むことを特徴とするものである。
本発明の画像認識方法は、上記画像認識方法において、前記所定の閾値は、第1のパターン領域における前記対象画像データの輝度の代表値と、第2のパターン領域における前記対象画像データの輝度の代表値との、中間値とする、ことを特徴とするものである。
本発明の画像認識方法は、上記画像認識方法において、前記所定の閾値は、第1のパターン領域に含まれる対象画像データの輝度の最大値と、第2のパターン領域に含まれる対象画像データの輝度の最小値との、中間値とする、ことを特徴とするものである。
本発明の画像認識方法は、上記画像認識方法において、前記対象画像の内部に認識すべき画像が存在すると判定したときに、前記固定値領域内の対象画像データを、2値のうち予め定めた片一方の値として2値化する、ことを特徴とするものである。
本発明の画像認識方法は、上記画像認識方法において、2値化されない部分については、2値のうち、予め定めた片一方の値とし、画像全体の2値化結果を得る、ことを特徴とするものである。
本発明の画像認識装置は、上記画像認識方法を用いて画像を処理する画像認識装置において、前記第1のパターン領域および第2のパターン領域を画面上に表示する手段と、により、前記画面上において第1のパターン領域および第2のパターン領域の各画素の位置を決定するための位置指定手段と、を備えたことを特徴とするものである。
本発明の画像認識装置は、上記画像認識装置において、前記第1のパターン領域および第2のパターン領域を決定する際に、表示した対象画像データの画像に第1のパターン領域および第2のパターン領域をオーバレイ表示して、前記第1のパターン領域および第2のパターン領域を編集する手段を、備えたことを特徴とするものである。
本発明の画像認識装置は、上記画像認識装置において、対象画像データを輝度成分とし、前記第1のパターン領域および第2のパターン領域を別々の色差成分として、表示する、ことを特徴とするものである。
本発明の画像認識装置は、上記画像認識装置において、前記第1のパターン領域、第2のパターン領域および2値化領域を決定する際に、表示した対象画像データの画像に第1のパターン領域、第2のパターン領域および2値化領域をオーバレイ表示して、前記第1のパターン領域、第2のパターン領域および2値化領域を編集する手段を、備えたことを特徴とするものである。
本発明の画像認識装置は、上記画像認識装置において、対象画像データを輝度成分とし、前記第1のパターン領域、第2のパターン領域および2値化領域を別々の色差成分として、表示する、ことを特徴とするものである。
本発明の画像認識装置は、上記画像認識装置において、前記第1のパターン領域、第2のパターン領域、2値化領域および固定値領域を決定する際に、表示した対象画像データの画像に第1のパターン領域、第2のパターン領域、2値化領域および固定値領域をオーバレイ表示して、前記第1のパターン領域、第2のパターン領域、2値化領域および固定値領域を編集する手段を、備えたことを特徴とするものである。
本発明の画像認識装置は、上記画像認識装置において、対象画像データを輝度成分とし、前記第1のパターン領域、第2のパターン領域、2値化領域および固定値領域を別々の色差成分として、表示する、ことを特徴とするものである。
本発明の画像認識装置は、上記画像認識装置において、前記第1のパターン領域および第2のパターン領域は、注目画素からの相対位置で記憶する、ことを特徴とするものである。
本発明の画像認識装置は、上記画像認識装置において、前記第1のパターン領域、第2のパターン領域および2値化領域は、注目画素からの相対位置で記憶する、ことを特徴とするものである。
本発明の画像認識装置は、上記画像認識装置において、前記第1のパターン領域、第2のパターン領域、2値化領域および固定値領域は、注目画素からの相対位置で記憶する、ことを特徴とするものである。
本発明の画像認識装置は、上記画像認識方法において、前記所定の閾値の値を、対象画像の輝度分布を利用して求める手段を備えた、ことを特徴とするものである。
本発明の画像認識装置は、上記画像認識装置において、前記所定の閾値の値を、対象画像の輝度分布において、最大頻度となる輝度値を利用して求める手段を備えた、ことを特徴とするものである。
以上のように、本発明にかかる画像認識方法及び画像認識装置によれば、認識すべき画像パターンの特徴を示すマスクパターンを有し、該マスクパターンを用いてデジタル化された2値以上の階調を持つ対象画像データから前記画像パターンを認識する画像認識方法及び装置であって、前記マスクパターンは、第1のパターン領域と第2のパターン領域とを有し、前記第1のパターン領域から、前記対象画像データの輝度である第1の代表値を得て、前記第2のパターン領域から、前記対象画像データの輝度である第2の代表値を得て、前記第1と第2の代表値の比較した結果が所定の条件を満足したときに、前記対象画像の内部に認識すべき画像が存在すると判定するようにしたので、少ない演算量で確実に所望のパターンを抽出することができる効果がある。
また、前記第1のパターン領域、および第2のパターン領域を同じ比率で拡大または縮小して得られた複数の大きさのマスクパターンを用いて、対象画像データと相対的に位置をずらしながら、各位置における適合度の評価を逐次行うことにより、パターン存在判定を行う対象物の大きさが複数ある場合においても正確にパターンの存在を判定することができる効果がある。
また、前記第1のパターン領域および第2のパターン領域を同じ角度で回転して得られた複数のマスクパターンを用いて、対象画像データと相対的に位置をずらしながら、各位置における適合度の評価を逐次行うようにしたので、認識対象物が所定の角度で位置しない場合においても、これを精度良く認識することができる効果がある。
また、前記第1及び第2の代表値を求める際に、平均値を用いることにより、対象画像にノイズが含まれている場合にも、精度良くパターンを認識することができる効果がある。
以下に、本発明の画像処理装置の実施の形態を図面とともに詳細に説明する。
(実施の形態1)
本発明の実施の形態1にかかる画像認識方法及び画像認識装置の例として、顕微鏡画像により、直径10μmのマイクロビーズ(以下ビーズとする。)を検出する例を用いて、手順の説明を行う。
対象画像は図9の202に示すものとし、横1024×縦768画素で1画素当たり輝度は256階調を持つデジタル画像とする。輝度値は、高輝度になるにつれ、大きな数字で表現されるものとする。対象画像202には、ビーズが多数写っており、これらビーズの領域を抽出することを目的とする。
図2は、本実施の形態における画像認識方法での、パターン領域の設定例である。図2において、401は対象画像であるビーズの近傍を拡大したものであり、ビーズ402が暗く写っている。この画像は、紙面の裏側から光を照射した際に撮像した画像であり、ビーズ402はその影を撮影した状態となっている。このとき、照射むら等の影響により、背景部分とビーズ部分の輝度の絶対値は一定しておらず、場所によって異なるが、局所領域においては、背景部分に対してビーズ部分は暗く写っている。
一方、403はマスクパターンを示す。404〜407は第1のパターン領域であり、408〜411は第2のパターン領域である。また、412は2値化領域である。また、図中、丸印413は1つのビーズの大きさを示した枠である。
上記第1のパターン領域404〜407は、ビーズ402の内部に含まれる画素を選ぶための領域であり、上記第2のパターン領域408〜411はビーズ402の外部の画素を選ぶための領域である。また、2値化領域412は、ビーズ402の近傍において、該ビーズ402よりもひとまわり大きな領域を設定するためのものである。これら、第1のパターン領域、第2のパターン領域、2値化領域412を合わせて、以下マスクパターンと呼ぶ。
マスクパターンは、位置を表わす情報であり、これを対象画像のある位置に重ね合わせたとき、第1のパターン領域、第2のパターン領域、2値化領域412のそれぞれが、対象画像中の特定の領域を指し示すものである。従って、第1のパターン領域、第2のパターン領域、2値化領域412の位置関係は相対的に固定したものであり、それぞれは共通の基準位置からの相対位置で記録されるものとする。
図2において、紙面横をx座標、縦をy座標とし、第2のパターン領域410に位置する画素を共通の基準位置とした場合、第1のパターン領域407に位置する画素を(3,1),第1のパターン領域405に位置する画素を(1,3),第1のパターン領域406に位置する画素を(5,3),第1のパターン領域404に位置する画素を(3,5)として記憶し、第2のパターン領域は、第2のパターン領域410に位置する画素を(0,0),第2のパターン領域411に位置する画素を(6,0),第2のパターン領域408に位置する画素を(0,6),第2のパターン領域409に位置する画素を(6,6)として記憶し、2値化領域は(2,−1),(3,−1),(4,−1),(1,0),(2,0)・・・として記憶される。以下、このマスクパターンを用いて、対象画像202上を走査しながら基準位置をずらして逐次パターンマッチングを行い、ビーズの画像を抽出する。
以下本発明のパターンマッチングの原理を説明する。本発明では、ビーズの輝度と背景部分の輝度との関係は、必ずビーズの輝度の方が背景部分に比べて所定の閾値Aよりも小さく(暗く)なる。本例では、この閾値Aを100としたが、ビーズの種類や照明条件などによって値を適宜選択すればよい。ここで、マスクパターン403中の413の位置にビーズが存在した場合には(マッチングした場合)、必ず第1のパターン領域は全てビーズの内側に位置する。そのため、第1のパターン領域404〜407に位置する画素の最大値はビーズ内部の画素の輝度のいずれかを示す。一方、第2のパターン領域408〜411は背景部分に位置するため、その位置する画素の最小値は、背景の画素の輝度のいずれかを示す。従って、第1のパターン領域404〜407に位置する画素の最大値をMAX(404〜407)、第2のパターン領域408〜411に位置する画素の最小値をMIN(408〜411)とすると、MIN(408〜411)−MAX(404〜407)≧Aになる。この数式の関係が成立するときにはマッチッングしていると判断する。
現実的には、ビーズの輝度と背景部分の輝度との差にはばらつきがあるため、両者の差がほぼ100であった場合には、閾値Aにはその半分の50という値を用いれば、MIN(408〜411)−MAX(404〜407)≧Aの式は必ず成立することになる。
また、マスクパターン403中の413の位置にビーズが存在しない場合や、位置がずれている場合は(マッチングしていない場合)、第1のパターン領域中に背景部分が含まれるか、あるいは第2のパターン領域中にビーズ部分が含まれるため、MAX(404〜407)が背景の輝度を示すかあるいはMIN(408〜411)がビーズの輝度を表すこととなり、MIN(408〜411)−MAX(404〜407)<Aとなる。従って、この場合にはマッチングしていないと判断する。
以下、パターンマッチングを行う手順について示す。マスクパターン403を対象画像202のある位置に重ね合わせたものと仮定し、その位置において、MAX(404〜407)とMIN(408〜411)を求める。
次に、MIN(408〜411)−MAX(404〜407)を計算し、その結果を閾値Aと比較する。MIN(408〜411)−MAX(404〜407)≧Aの場合は、マッチングしていると判断し、MIN(408〜411)−MAX(404〜407)<Aの場合は、マッチングしていないと判断する。
以上のマッチング処理を、対象画像202に対してマスクパターン403の位置をずらして繰り返し、対象画像202全体において走査することにより、対象画像202に含まれるビーズの位置を抽出することができる。
次に図1を用いて、本発明の実施の形態1における画像処理装置の構成について示す。図1において、101はマッチング処理を行うべき対象画像である。この対象画像101に対してマスクパターンを用いたマッチングを行う際に、対象画像に対してマスクパターンは小さいため、マスクパターンを重ねる位置を、対象画像中において走査しながら(マスクパターンの基準位置を対象画像中においてずらしながら)、マスクパターンを重ねた小領域毎に個別にマッチングを行う必要がある。このため、走査回路102により、対象画像中101の評価位置を指定し、部分画像切り出し回路103により、その指定位置における小領域を切り出す。小領域において、第1のパターン領域104を重ね合わせ、第1のパターン領域104に含まれる対象画像の画素のうち最大のものを、最大値検出回路105により求める。同様に、小領域に第2のパターン領域106を重ね合わせ、第2のパターン領域106に含まれる対象画像の画素のうち最小のものを、最小値検出回路107により求める。
差分回路108では、この最小値から最大値を引くことで差分を求め、この値と判定閾値109とを比較回路110により比較する。比較の結果、差分のほうが小さい場合は、パターンが存在しないものと判断し、これ以上の処理は行わない。一方、比較の結果、差分のほうが大きい場合は、パターンが存在するものと判断し、2値化の処理を行う。2値化のための閾値は、最大値検出回路105の出力と、最小値検出回路107の出力とを、平均化回路111により平均化したものである。
2値化領域112に定義された範囲の画素は、2値化回路113において、閾値と比較し、閾値よりも小さな輝度を持つ画素が、目的とする検出対象の部分となるため、この画素を0とし、それ以外の画素は255とする。これらの流れを、走査回路102により認識判定の位置をずらしながら、対象画像101全体に対して行うことで、目的とする検出対象のみが0となり、その他の部分は255となった2値化結果を得ることができる。
図2の認識対象402においては、従来では2値化領域412の全領域が、例えば、61画素であるとすると、61回の減算、61回の乗算、1回の加算からなる演算が必要であるが、本実施の形態では、第1パターン領域が4画素分、第2のパターン領域が4画素分であるため、各領域での最大、または最小を求めるための比較の演算が4−1=3回、すなわち減算が3×2回=6回であり、これの大小関係を求める減算が1回と、合計7回の減算からなる演算により達成することができ、123−7=116回(約93パーセント)の演算を削減することができることになる。
このように本実施の形態1にかかる画像認識方法及び画像認識装置によれば、低輝度領域、高輝度領域、2値化領域のマスクを用い、低輝度領域における最も明るい画素が、高輝度領域における最も暗い画素よりもさらに暗い場合には、対象物が検出されたものとして認識するようにしたので、x×y画素からなる画像を検査する際に、(x×y+1)回の演算で処理を終了することができ、演算回数を大幅に削減することができるとともに、画像中から所望のパターンを確実に抽出することができる。
(実施の形態2)
次に本発明の実施の形態2にかかる画像認識方法及び画像認識装置について説明する。上記実施の形態1により、本発明の概念的な構成及び動作について説明したが、次に、より具体的な実施の形態について示す。
図3は対象画像を示したものである。図3上部は顕微鏡により撮影した対象画像501であり、内部に複数のビーズが写っている。この対象画像501は、紙面横640画素、縦480画素で、0〜255の256階調をもつものとする。画像の座標系は、紙面左上隅を(0,0)とし、右方向がx軸のプラス方向、下方向がy軸のプラス方向とする。このため、紙面右下の画素を座標で表わすと、(639,479)となる。
現実の対象画像においては数百のビーズが写っているが、この例の対象画像501においては説明を簡単にするために、502〜507の6個のビーズが写っているものとする。図3の紙面下部に1つのビーズを拡大したものを示しているが、ビーズは中央部に非常に明るい領域を持っている。これは、ビーズが半透明なアクリルでてきているため、背景から光を当てた場合には、レンズの働きを示し、中央部分に集光して中央が非常に明るくなるからである。また、ビーズ周縁部分は光が曲げられて届かないため、非常に暗いものとなる。
この対象画像501に対して、画像処理により行うべき内容は、ビーズの全数をカウントすることと、独立したビーズのビーズ内領域を求めることの2つである。独立ビーズとは、他のビーズから一定距離以上離れているビーズを意味し、図5においては、502、507のビーズを指す。ビーズ503と504は接しているため、独立ビーズとはならず、ビーズ506と507は互いの距離が近いため、やはり独立ビーズとはならない。
この例では、全てのほかのビーズから2画素以上離れているものを独立ビーズと呼ぶこととする。
まず、ビーズの全数をカウントする場合には、ビーズ中央の高輝度領域がビーズ周縁部分よりも明るいことを利用する。図4はビーズをカウントするためのマスクパターンを示すものである。図4において、601は、ビーズが本マスクパターンの位置に一致した時の外形状を示している。602〜609は第1のパターン領域であり、ビーズの周縁部分の位置に設定している。また、610〜613は第2のパターン領域であり、ビーズの中央部の位置に設定している。処理を行う上での基準として、第2のパターン領域610に位置する画素をマスクパターンの基準位置とし、第1のパターン領域602〜609を上記第2のパターン領域610に位置する画素からの相対位置として記憶し、第2のパターン領域610〜613を上記第2のパターン領域610に位置する画素610からの相対位置として記憶する。すなわち、第1のパターン領域602は(−2,0)、第1のパターン領域603は(0,−2)、第1のパターン領域604は(1,−2)、第1のパターン領域605は(3,0)、第1のパターン領域606は(3,1)、第1のパターン領域607は(1,3)、第1のパターン領域608は(0,3)、第1のパターン領域609は(−2,1)で表現し、第2のパターン領域の610は(0,0)、611は(1,0)、612は(1,1)、613は(0,1)で表現する。
対象画像におけるマッチング処理を行う際には、対象画像に本マスクパターン領域を重ねて、第1のパターン領域および第2のパターン領域の輝度値を基に判定し、これを対象画像に対してマスクパターンの基準位置を1画素ずらしながら順次判定を行って行く。このときの手順を、順を追って説明する。
まず、マスクパターン領域を対象画像501内において紙面左上隅に配置する。マスクパターン領域が対象画像501からはみ出さないように配置するためには、マスクパターン領域の基準位置である領域610が対象画像501の座標(2,2)と重なるように配置する。本位置におけるマッチング処理が終了した後には、マスクパターン領域を対象画像501に対して1画素紙面右に移動する。すなわち、マスクパターン領域の基準位置である610が対象画像501の座標(3,2)と重なるように配置する。この状態で同様にマッチング処理を行い、以下同様に、順次マスクパターン領域を対象画像501に対して1画素右に移動してマッチング処理を行う。これを繰り返して、マスクパターン領域の基準位置である610が対象画像501の座標(636,2)と重なるように配置してマッチング処理を行った後は、ここからさらに右に配置した場合にはマスクパターン領域が対象画像501からはみ出すことにななるため、マスクパターン領域を紙面左に戻し、且つ1画素下にずらして、対象画像501の座標(2,3)に配置する。以下、同様の処理を行い、マスクパターン領域の基準位置である610が対象画像501の座標(636,476)と重なるように配置してマッチング処理を行うまで、走査しつつマッチング処理を繰り返す。
次に、各位置におけるマッチング方法の手順を説明する。マスクパターン領域の基準位置である610を対象画像501の(x,y)位置に重ねてマッチングする場合、この位置において、第1のパターン領域である602の、対象画像501における座標は、基準位置610の対象画像における座標(x,y)と、基準位置からの602の座標(−2,0)を座標成分ごとに加算することにより、(x−2,y)として求めることができる。この座標における対象画像501の輝度値を602xyとする。同様の手順により、第1のパターン領域である603〜609の位置における対象画像501の画素の輝度値を603xy〜609xyとする。輝度値602xy〜609xyの中の最大のものをMAX(602xy〜609xy)とする。
次に、第2のパターン領域についても同様に、610の対象画像501における座標は、基準位置610の対象画像における座標(x,y)と、基準位置からの602の座標(0,0)を座標成分ごとに加算することにより、(x,y)として求めることができる。この座標における対象画像501の輝度値を610xyとする。同様の手順により、第2のパターン領域である610〜613位置における対象画像501の画素の輝度値をそれぞれ610xy〜613xyとして求める。輝度値610xy〜613xyの中の最小のものをMIN(610xy〜613xy)とする。以上により求めた値を用いて、MIN(610xy〜613xy)−MAX(602xy〜609xy)により求めた差分値が、特定のオフセット量(=A)以上である場合には、ビーズが存在するものと判定する。このときの判定基準となるオフセット量Aは、次のように求めるものとする。
図5は対象画像の輝度分布を示したものである。紙面横軸が輝度値を表わし、左が低輝度、右が高輝度を表わす。紙面縦軸は各輝度における画素の総数を示している。図5において、701はビーズの中心部の画素が分布している領域であり、一般的には非常に明るいことから輝度的に飽和しており、最高輝度の部分に分布している。702は背景となっている部分の画素が分布している領域であり、この部分の画素が最も多くなっている。703はビーズの周縁部分となっている部分の画素が分布している領域である。本来、ビーズの周縁部分とビーズの中心部のオフセット量は領域701と領域703の輝度値の差分を元に求めることが望ましい。しかし、実際の対象画像では、図5のように3つの山ができる場合だけではなく、連続的な変化により谷の部分が判別できない場合もあり得ることから、703の位置を求めることが困難な場合が存在する。一方、位置702および位置703の関係は、光の強さに応じて変化するものの、その比率は一定であり、702の位置を求めることで間接的に703の位置を求めるものとする。すなわち、702の位置は、ヒストグラムが最大となる位置であるため、対象画像全体のヒストグラムを作った後、その最大頻度の位置を702の位置として求める。求めた702の位置における輝度値をBとする。703の位置は経験的に702の位置の2/5の位置であることがわかっているため、703の輝度値は、2/5*Bとなる。また、701の位置は、多くの場合は飽和しており、最大輝度であるが、そうでない場合もありえるため、高輝度部からヒストグラムの頻度を加算していき、全体の0.5%となる輝度を701の輝度Cとする。
別の表現をすると、ヒストグラムの下部分の面積において、高輝度側の面積が全体面積の0.5%となる点を輝度Cとする。ビーズ内部の高輝度部と低輝度部の差は、C−2/5*Bで求められ、オフセット量Aとしてはマージンを見て、A=1/2*(C−2/5*B)を用いるものとする。
上記手法を用いて、マスクパターンを1画素ずつずらして判定を行い、ビーズの有無の判定を行って行く。このとき、ある位置でビーズが存在するものと判定しても、1画素ずらした状態でもう一度判定を行った場合は、マスクパターンの位置が先程と非常に近いため、判定条件が成立して、再びビーズが存在するものと判定することがある。これは同一ビーズで判定条件が成立したものであり、これを別のビーズとしてカウントした場合には、ビーズの総数を間違えることとなる。このため、これら重複カウントを防ぐために、ビーズが存在するものと判定した位置から、縦4画素、横4画素の範囲内においては、判定を行わないようにする。すなわち、ビーズが存在するものと判定したマスクパターンの基準位置から、縦4画素、横4画素の正方領域にマーキングし、マスクパターンの基準位置をずらした際に、マスクパターンの基準位置に対応する画素にマーキングがなされていた場合には判定を行わないものとする。以上の手順を取り、対象画像の全領域において判定を行い、ビーズが存在するものと判定する毎にカウンタを1つずつ増やすことにより、対象画像内に含まれる全ビーズの数を得ることができる。
次に、対象画像501に対して、画像処理により行うべきもう1つの内容であるところの、独立したビーズの領域を求める方法について、図6を用いて説明を行う。図6は独立したビーズを検出するためのマスクパターンを示したものであり、ここではビーズ間が1画素以上離れたビーズのみを検出できるようにしたものである。図6において、801は仮想的に示したビーズの外形状である。802は第1のパターン領域である。図において802の引出し線で指した部分と同じハッチングで示した領域は、全て第1のパターン領域である。同様に、803は第2のパターン領域である。また、804は2値化領域であり、805は後述する固定値領域である。対象画像は256階調であるが、これから、独立ビーズの領域が1、それ以外の領域が0で表わされる2値の結果画像を作ることを目的としている。結果画像には、最初全て0を代入しておくものとする。また、802の引出し線で指した画素をマスクパターン基準位置とし、全てのマスクパターンの画素についてはマスクパターン基準位置からの相対位置で記憶するものとする。2値化においては、対象画像に本パターン領域を重ねて、第1のパターン領域および第2のパターン領域の輝度値を元にマッチング処理を行い、独立ビーズが存在しないと判定したときは結果画像には何も行わず、独立ビーズが存在したと判定した場合には結果画像に2値化結果を書き込む。以上のような処理を対象画像に対して、マスクパターンの基準位置を1画素ずらしながら順次行って行く。判定方法としては、第2のパターン領域に含まれる輝度のうち最小のものから、第1のパターン領域に含まれる輝度のうち最大のものを減じた差分値が、特定のオフセット量以上となる場合には、独立ビーズが存在するものと判定する。オフセット量は、背景とビーズ周縁部の輝度差を判別できる大きさに設定する。ここでは、図5において、ヒストグラムの最大値702が背景部の輝度値であり、この輝度値をAとする。ビーズ周縁部の輝度値703の位置は経験的に2/5*Aとなることから、両者の差はA−2/5*A=3/5*Aであり、マージンを見て3/10*Aを、ここでのオフセット量とする。
本方法によれば、例えば、ビーズの位置が801にあるときは、第1のパターン領域802は全てビーズの周縁部となり、この中の最も明るい画素でも全体でみると非常に暗いものとなる。一方、第2のパターン領域803は、周囲に他のビーズが存在しない場合は、背景部分であり、この中の最も暗い画素でも、全体で見ると比較的明るいものとなる。このため、独立ビーズ存在のための判定条件が成り立つ。また、例えば、806の位置に他のビーズが存在した場合には、画素807がビーズ周縁部分となる。このため、第2のパターン領域803に含まれる輝度のうち最小のものは画素807の輝度となり、第1のパターン領域802の輝度とほぼ同じ輝度となることから、両者にオフセット量の違いは現われず、独立ビーズが存在しない、という判定を行なうこととなる。
独立ビーズが存在すると判定された場合は、2値化の処理を行う。先ず、固定値領域805および第1のパターン領域802に対応する位置の結果画像の画素には、無条件に1を書き込む。次に、第1のパターン領域802に含まれる輝度のうち最大のものと、第2のパターン領域803に含まれる輝度のうち最小のものとの、中央値を2値化の閾値として求める。2値化領域804では、各画素において、その輝度値と2値化の閾値とを比較し、2値化の閾値よりも小さな輝度値をもつ画素に対応する位置の結果画像の画素には、1を書き込む。以上により、内部は全て1で表現され、境界部分は閾値判定により2値化された結果画像を得ることができる。また、独立ビーズ存在のマッチング処理を行う前に、マスクパターンの基準位置における結果画像の値が1であるとき、判定を行わずに、次の位置に移動するようにすることで、同じビーズでの2度判定を防止することができ、処理速度を向上させることができる。
本手法においては、マスクパターンの形状の設定が認識の精度に大きな影響を与えるため、これらの形状を適切に設定することが重要となる。このため、マスクパターン各要素であるところの、第1のパターン領域802、第2のパターン領域803、2値化領域804、固定値領域805の設定を容易にするマンマシンインタフェースについて以下に説明する。
本システムは、パソコンのモニタ画面上に各種画像を表示して、これをマウスでクリックしながらマスクパターンの形状を設定して行くものである。図8はマスクパターン作成画面のイメージ図を示す。図8において、モニタ画面1001に操作画面が表示されている。操作画面は、編集領域1002、第1パターン領域設定ボタン1003、第2パターン領域設定ボタン1004、2値化領域設定ボタン1005、固定値領域設定ボタン1006および終了ボタン1008よりなる。
第1のパターン領域を設定したい場合は、第1パターン領域設定ボタン1003をマウスでクリックすると、第1のパターン領域設定モードとなり、この状態において編集領域1002の1つの格子枠1007をクリックすると、格子枠1007は、例えば赤で塗りつぶされる。同様に、第1のパターン領域を設定したい格子枠をマウスでクリックすることで、次々に第1のパターン領域を設定することができる。次に、第2のパターン領域を設定したい場合は、第2パターン領域設定ボタン1004をマウスでクリックすると、第2のパターン領域設定モードとなり、この状態において編集領域1002の1つの格子枠をクリックすると、その格子枠は、例えば青で塗りつぶされる。同様に、2値化領域、固定値領域についても、マウスにより位置を指定することにより、異なる色で表示し、マスクパターンを視覚的に確認することができるようにしている。全てのマスクパターンの編集が終了したら、終了ボタン1008を押すことにより、編集された各マスクパターンの位置情報を記憶する。
本編集を行う上において、マスクパターンを設定する際に、対象画像を参照しながら行なうと容易に行うことができる。すなわち、図6において、対象画像上のビーズ801に重ねて、マスクパターン各要素802〜805を指定していくことができれば、各マスクパターンの位置関係を確実に設定することができる。このため、まず、ユーザーが対象画像のうち、参照したい領域をマウスで指定すると、その部分の対象画像を拡大し、図8の編集領域1002の部分にオーバレイし、参照画像1009として表示する。ここでは、参照画像1009は白黒256階調により表示するものとする。先述したように、ユーザが第1のパターン領域を設定したいときは、マウスで第1のパターン領域設定ボタン1003を選択し、第1のパターン領域設定モードとなったときは、以降でクリックされた格子枠は、例えば赤色として表示しても良いが、赤で塗りつぶした場合には、クリックされた格子枠が増えるに従って、参照画像が隠されることとなる。このため、ここでは、完全に赤色に置き換えるのではなく、輝度を参照画像のままに保ったまま、色差のみを赤くする。すなわち、輝度成分(明るさ)を参照画像のままに保ち、色差(色合い)のみをマスクパターンの要素に応じたものとして表示する。
この変換のための演算手順を以下に示す。参照画像の画素は白黒であることから、元の階調がR(赤成分)=G(緑成分)=B(青成分)=Xであるものとする。人間の目に感じる輝度は、0.3R+0.6G+0.1Bであることから、変換後のR、G、Bは、0.3R+0.6G+0.1B=Xの関係を保つ必要がある。また、できるだけ、赤に近い色成分を持たせるために、R−Xをできるだけ大きくするように設定する。
また、GとBは同じ値となるようにする。この関係から、Xが76以下である場合には、R=X/0.3、G=B=0であり、Xが77以上である場合には、R=255、G=B=(X−76.5)/0.7で求めることができる。以上により、第1のパターン領域として設定された格子枠には、ここで示した方法により求めたR、G、Bを用いることで、輝度成分を参照画像に保ったまま、色差成分のみを変えて表示することが可能となる。
同様に、他のマスクパターンを設定する際に、マウスでクリックされた位置を表示するために、パターン領域2は、R−Xをできるだけ小さく、2値化領域はB−Xをできるだけ大きく、固定値領域はB−Xをできるだけ小さくするようにRGBを求め、これを表示することで、参照画像を確認しつつ、各マスクパターンを設定することが可能となる。
このように本実施の形態2にかかる画像認識方法及び画像認識装置によれば、全てビーズの周縁部となる第1のパターン領域802と、周囲に他のビーズが存在しない場合に背景部分となる第2のパターン領域803と、第1のパターン領域802と第2のパターン領域803との間に位置する2値化領域804と、ビーズの中心部となる固定領域805とからなるマスクパターンを用いて、ビーズの有無の判定を行なうようにしたので、ビーズが隣接して存在する場合においても、複数のビーズが隣接して存在するのを正確に判断してビーズの総数を正確に数えることができる。
(実施の形態3)
次に本発明の実施の形態3にかかる画像認識方法及び画像認識装置について説明する。
上記各実施の形態では、判別対象となるものの形状が丸い形状のものについてのパターン存在判定方法について示したが、その他の形状に対する存在判定方法について、以下図を用いて説明する。図7は判別対象となるものが正方形のものを検出するために用いるマスクパターンを示したものである。901は判別対象となる正方形の概形であり、902の引出し線で指した部分と同じハッチングで示した領域は、全て第1のパターン領域である。同様に、903は第2のパターン領域である。
判別対象に特定のパターンが存在するかいなかの判定においては、上記実施の形態と同様に、第1のパターン領域902に含まれる輝度のうち最大のものよりも、第2のパターン領域903に含まれる輝度のうち最小のものが、特定のオフセット量以上の差をつけて大きい場合には、パターンが存在するものと判定する。ただし、正方形のパターンの場合、対象画像中の正方形が、マスクパターンのパターン領域の角度に対して回転している場合には、マスクパターンでは正確な判定が行えない。このため、同じ位置に置いて、本マスクパターンを回転させ、各種角度で存在判定を繰り返し行う必要がある。
実際の処理では、第1のパターン領域902と第2のパターン領域903とは概形状901から余裕を持って設定しているため、15度刻みに6回繰り返せばよい。また、処理速度向上のためには、あらかじめ15度ずつ回転した6個のマスクパターンを準備しておき、1個所につき6個のマスクパターンにおいてパターン存在判定を行い、1つでも存在判定の条件を満たした場合には、その位置にパターンが存在すると判定することができる。
このように本実施の形態3にかかる画像認識方法及び画像認識装置によれば、円形以外の認識対象物に対して、矩形の認識対象物にはその形状に合わせた複数の領域パターンよりなるマスクパターンを用いて、認識を行なうようにしたので、円形以外の認識対象物についても、これを高い精度で高速に検出することができる。
また、矩形の場合にはマスクパターンを所定の角度回転させて認識を行なうことで、認識対象物が所定の角度で位置しない場合においても、これを精度良く認識することができる。
なお、上記各実施の形態において、パターン存在判定を行う対象物の大きさが複数ある場合においても、マスクパターンを拡大/縮小しながら判定したり、予め種々の大きさで作成した複数のマスクパターンを順次用いて判定を行うことにより、パターン存在判定を行うことができる。
さらに、対象画像に多くのノイズが含まれている場合には、上記各実施の形態による方法ではノイズの影響によりパターンが存在している場合にも、パターンが存在しないという判定となるおそれがある。このような場合には、第1のパターン領域902に含まれる対象画像データの輝度の平均値よりも、第2のパターン領域903に含まれる対象画像データの輝度の平均値の方が、特定のオフセット量以上の差をつけて大きな値となるときに、対象画像データ中の当該位置に特定の画像パターンが存在するものと判定するようにすることで、検出漏れを防止することが可能となる。
また、上記各実施の形態において、第1のパターン領域に含まれる対象画像データの輝度の最大値よりも、第2のパターン領域に含まれる対象画像データの輝度の最小値の方が、所定の閾値よりも大きな値となり、且つ、第1のパターン領域に含まれる対象画像データの輝度の平均値よりも、第2のパターン領域に含まれる対象画像データの輝度の平均値の方が、所定の閾値よりも大きな値となるときに、対象画像データ中の当該位置に特定の画像パターンが存在するものと判定することで、より確実な判定が可能となる。
本発明にかかる画像処理方法及び画像認識装置は、パターン認識を必要とする各種処理装置に有用であり、特に、顕微鏡画像中の測定対象のカウント、対象領域の抽出を容易に行えることから、これらバイオ解析装置に有効である。
本発明の実施の形態1における画像認識装置のブロック構成図 上記実施の形態1における画像認識装置において用いるマスクパターンの構成図 本発明の実施の形態2における画像認識装置による処理対象画像のイメージ図 上記実施の形態2における画像認識装置によるビーズカウント用マスクパターンの構成図 上記実施の形態2における画像認識装置の対象画像の輝度ヒストグラムを示す図 上記実施の形態2における画像認識装置で用いる独立ビーズ領域検出用マスクパターンの構成図 本発明の実施の形態3における画像認識装置で用いるマスクパターンの構成図 上記実施の形態2における画像認識装置で用いるマスクパターン作成画面のイメージ図 一般的なテンプレートマッチングの手順を示す図 一般的なテンプレートマッチングのブロック構成図
符号の説明
105 最大値検出回路
106 第2パターン領域
107 最小値検出回路
108 差分回路
109 判定閾値
110 比較回路
111 平均化回路
112 2値化領域
113 2値化回路
114 2値化結果
201 テンプレートマッチング用テンプレート画像
202 対象画像
203〜204 検出対象
205 最初のパターンマッチング位置
206 パターンマッチングの走査経路
207 パターンを検出した位置
301 差分演算
302 2乗加算
303 相関閾値
304 比較器
305 判定結果
401 デジタル化された対象画像
402 認識対象
403 マスクパターン
404〜407 第1パターン領域
408〜411 第2パターン領域
412 2値化領域
413 認識対象の概形状
501 対象画像
502〜507 検出すべきビーズ
601 ビーズの概形状
602〜609 第1パターン領域
610〜613 第2パターン領域
701 ビーズ中央部の輝度
702 背景部の輝度
703 ビーズ周縁部の輝度
801 ビーズの概形状
802 第1パターン領域
803 第2パターン領域
804 2値化領域
805 固定値領域
806 隣接したビーズの概形状
807 隣接したビーズに含まれる画素
901 検出対象の概形状902 第1パターン領域
903 第2パターン領域
1001 モニタ画面
1002 編集領域
1003 第1パターン指定ボタン
1004 第2パターン指定ボタン
1005 2値化領域指定ボタン
1006 固定値領域指定ボタン
1007 クリックされた格子枠
1008 終了ボタン
1009 オーバレイされた参照画像

Claims (17)

  1. 認識すべき画像パターンの特徴を示すマスクパターンを有し、該マスクパタ−ンを用いてデジタル化された2値以上の諧調を持つ同一の形状および寸法を持つ認識すべき画像が複数存在する対象画像データから孤立した孤立画像を認識する画像認識方法であって、
    前記マスクパターンは、前記認識すべき画像よりも小さく且つ中心部には存在しない低輝度領域用の第1のパターン領域と、前記第1のパターン領域の外側に前記認識すべき画像よりも大きく且つ隣接する他の認識すべき画像との予め定められた距離より小さい高輝度領域用の第2のパターン領域とを持ち、前記第1のパターン領域に囲まれた領域を固定値領域、前記第1のパターン領域と第2のパターン領域とに挟まれた領域を2値化領域とし、
    前記第1のパターン領域から、前記対象画像データの最大輝度を示す第1の代表値を得る工程と、
    前記第2のパターン領域から、前記対象画像データの最小輝度を示す第2の代表値を得る工程と、
    前記第2の代表値から前記第1の代表値を引いた差分値が前記対象画像データの輝度ヒストグラムの最大輝度値が3/10以上であるとき、前記対象画像の内部に認識すべき孤立画像が存在すると判定する工程と、
    前記対象画像の内部に認識すべき孤立画像が存在すると判定したときに前記2値化領域内の対象画像データを所定の閾値と比較して2値化する工程とを、
    含むことを特徴とする画像認識方法。
  2. 請求項記載の画像認識方法において、
    前記所定の閾値は、第1のパターン領域における前記対象画像データの輝度の代表値と、第2のパターン領域における前記対象画像データの輝度の代表値との、中間値とする、
    ことを特徴とする画像認識方法。
  3. 請求項記載の画像認識方法において、
    前記所定の閾値は、第1のパターン領域に含まれる対象画像データの輝度の最大値と、第2のパターン領域に含まれる対象画像データの輝度の最小値との、中間値とする、
    ことを特徴とする画像認識方法。
  4. 請求項記載の画像認識方法において、
    前記対象画像の内部に認識すべき画像が存在すると判定したときに、前記固定値領域内の対象画像データを、2値のうち予め定めた片一方の値として2値化する、
    ことを特徴とする画像認識方法。
  5. 請求項ないしのいずれかに記載の画像認識方法において、
    2値化されない部分については、2値のうち、予め定めた片一方の値とし、画像全体の2値化結果を得る、
    ことを特徴とする画像認識方法。
  6. 請求項に記載の画像認識方法を用いて画像を処理する画像認識装置において、
    前記第1のパターン領域および第2のパターン領域を画面上に表示する手段と、により、前記画面上において第1のパターン領域および第2のパターン領域の各画素の位置を決定するための位置指定手段と、
    を備えたことを特徴とする画像認識装置。
  7. 請求項記載の画像認識装置において、
    前記第1のパターン領域および第2のパターン領域を決定する際に、表示した対象画像データの画像に第1のパターン領域および第2のパターン領域をオーバレイ表示して、前記第1のパターン領域および第2のパターン領域を編集する手段を、
    備えたことを特徴とする画像認識装置。
  8. 請求項記載の画像認識装置において、
    対象画像データを輝度成分とし、前記第1のパターン領域および第2のパターン領域を別々の色差成分として、表示する、
    ことを特徴とする画像認識装置。
  9. 請求項記載の画像認識装置において、
    前記第1のパターン領域、第2のパターン領域および2値化領域を決定する際に、表示した対象画像データの画像に第1のパターン領域、第2のパターン領域および2値化領域をオーバレイ表示して、前記第1のパターン領域、第2のパターン領域および2値化領域を編集する手段を、
    備えたことを特徴とする画像認識装置。
  10. 請求項記載の画像認識装置において、
    対象画像データを輝度成分とし、前記第1のパターン領域、第2のパターン領域および2値化領域を別々の色差成分として、表示する、
    ことを特徴とする画像認識装置。
  11. 請求項記載の画像認識装置において、
    前記第1のパターン領域、第2のパターン領域、2値化領域および固定値領域を決定する際に、表示した対象画像データの画像に第1のパターン領域、第2のパターン領域、2値化領域および固定値領域をオーバレイ表示して、前記第1のパターン領域、第2のパターン領域、2値化領域および固定値領域を編集する手段を、
    備えたことを特徴とする画像認識装置。
  12. 請求項11記載の画像認識装置において、
    対象画像データを輝度成分とし、前記第1のパターン領域、第2のパターン領域、2値化領域および固定値領域を別々の色差成分として、表示する、
    ことを特徴とする画像認識装置。
  13. 請求項記載の画像認識装置において、
    前記第1のパターン領域および第2のパターン領域は、注目画素からの相対位置で記憶する、
    ことを特徴とする画像認識装置。
  14. 請求項記載の画像認識装置において、
    前記第1のパターン領域、第2のパターン領域および2値化領域は、注目画素からの相対位置で記憶する、
    ことを特徴とする画像認識装置。
  15. 請求項記載の画像認識装置において、
    前記第1のパターン領域、第2のパターン領域、2値化領域および固定値領域は、注目画素からの相対位置で記憶する、
    ことを特徴とする画像認識装置。
  16. 請求項に記載の画像認識装置において、
    前記所定の閾値の値を、対象画像の輝度分布を利用して求める手段を備えた、
    ことを特徴とする画像認識装置。
  17. 請求項16記載の画像認識装置において、
    前記所定の閾値の値を、対象画像の輝度分布において、最大頻度となる輝度値を利用して求める手段を備えた、
    ことを特徴とする画像認識装置。
JP2004071382A 2004-03-12 2004-03-12 画像認識方法及び画像認識装置 Expired - Fee Related JP4242796B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004071382A JP4242796B2 (ja) 2004-03-12 2004-03-12 画像認識方法及び画像認識装置
CNB2005100545610A CN100367757C (zh) 2004-03-12 2005-03-11 图像识别方法和图像识别装置
US11/076,860 US7751610B2 (en) 2004-03-12 2005-03-11 Image recognition method and image recognition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004071382A JP4242796B2 (ja) 2004-03-12 2004-03-12 画像認識方法及び画像認識装置

Publications (2)

Publication Number Publication Date
JP2005258940A JP2005258940A (ja) 2005-09-22
JP4242796B2 true JP4242796B2 (ja) 2009-03-25

Family

ID=34918578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004071382A Expired - Fee Related JP4242796B2 (ja) 2004-03-12 2004-03-12 画像認識方法及び画像認識装置

Country Status (3)

Country Link
US (1) US7751610B2 (ja)
JP (1) JP4242796B2 (ja)
CN (1) CN100367757C (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4944641B2 (ja) * 2007-03-05 2012-06-06 学校法人順天堂 染色組織標本の陽性細胞の自動検出法
US8089548B2 (en) * 2008-04-11 2012-01-03 Panasonic Corporation Image processing device, method, and storage medium
JP4926116B2 (ja) * 2008-04-16 2012-05-09 株式会社日立ハイテクノロジーズ 画像検査装置
CN101645164B (zh) * 2008-08-08 2012-05-30 鸿富锦精密工业(深圳)有限公司 封闭图形反偏移***及方法
JP5355316B2 (ja) * 2009-09-10 2013-11-27 キヤノン株式会社 テンプレート画像の評価方法及び生体運動検出装置
US8478384B2 (en) 2010-01-19 2013-07-02 Lightlab Imaging, Inc. Intravascular optical coherence tomography system with pressure monitoring interface and accessories
DE102010060375A1 (de) * 2010-11-05 2012-05-10 Hseb Dresden Gmbh Inspektionsverfahren
US20120128228A1 (en) * 2010-11-18 2012-05-24 D2S, Inc. Method for Matching of Patterns
JP2012251785A (ja) * 2011-05-31 2012-12-20 Nuflare Technology Inc 検査装置および検査方法
JP6003495B2 (ja) * 2012-10-02 2016-10-05 セイコーエプソン株式会社 画像表示装置および画像表示装置の輝度ムラ補正方法
WO2014054447A1 (ja) * 2012-10-03 2014-04-10 株式会社湯山製作所 薬剤鑑査システム、巻取装置、操出装置、及びホルダー
JP6063315B2 (ja) 2013-03-26 2017-01-18 富士フイルム株式会社 真贋判定システム,特徴点登録装置およびその動作制御方法,ならびに照合判定装置およびその動作制御方法
CN103226834B (zh) * 2013-03-26 2015-10-21 长安大学 一种图像运动目标特征点快速搜索方法
CN107205113B (zh) * 2016-03-18 2020-10-16 松下知识产权经营株式会社 图像生成装置、图像生成方法及计算机可读存储介质
JP6599934B2 (ja) * 2016-08-17 2019-10-30 富士フイルム富山化学株式会社 調剤監査装置、及び方法

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3755812A (en) * 1967-12-29 1973-08-28 Texas Instruments Inc Moving and hard target indicator
FR2473789A1 (fr) * 1980-01-09 1981-07-17 Ibm France Procedes et structures de test pour circuits integres a semi-conducteurs permettant la determination electrique de certaines tolerances lors des etapes photolithographiques.
GB8320016D0 (en) * 1983-07-25 1983-08-24 Lloyd Doyle Ltd Apparatus for inspecting printed wiring boards
FR2551290B1 (fr) * 1983-08-30 1985-10-11 Thomson Csf Procede et dispositif de detection de points en mouvement dans une image de television pour systemes de television numerique a compression de debit a rafraichissement conditionnel
JPS60119407A (ja) * 1983-11-30 1985-06-26 Nippon Kogaku Kk <Nikon> 比較検査装置
US4673977A (en) * 1985-06-20 1987-06-16 International Business Machines Corporation Method of spatially thresholding a discrete color image
US5067162A (en) * 1986-06-30 1991-11-19 Identix Incorporated Method and apparatus for verifying identity using image correlation
US5621811A (en) * 1987-10-30 1997-04-15 Hewlett-Packard Co. Learning method and apparatus for detecting and controlling solder defects
GB2216743B (en) * 1988-03-11 1993-03-03 Canon Kk Image sensing apparatus
US5049997A (en) * 1989-04-10 1991-09-17 Fuji Photo Film Co., Ltd. Video camera exposure control method and apparatus for preventing improper exposure due to changing object size or displacement and luminance difference between the object and background
US5159667A (en) * 1989-05-31 1992-10-27 Borrey Roland G Document identification by characteristics matching
US5073857A (en) * 1989-06-01 1991-12-17 Accuron Corporation Method and apparatus for cell analysis
US5033100A (en) * 1989-06-26 1991-07-16 Fuji Photo Film Co., Ltd. Method and apparatus for classifying picture elements in radiation images
US5123054A (en) * 1989-10-19 1992-06-16 Fuji Photo Film Co., Ltd. Abnormal pattern detecting apparatus
JPH0810196B2 (ja) * 1989-11-17 1996-01-31 松下電器産業株式会社 はんだ外観検査装置
DE4002298C2 (de) * 1990-01-26 1995-11-09 Agfa Gevaert Ag Verfahren und Vorrichtung zur automatischen Korrektur von Farbstichen bei der elektronischen Bildverarbeitung
JP2564959B2 (ja) * 1990-03-07 1996-12-18 富士ゼロックス株式会社 画像処理装置の絵文字領域識別方式
JP2986868B2 (ja) * 1990-03-14 1999-12-06 株式会社日立製作所 外観検査方法及びその装置
JP2836238B2 (ja) 1990-11-07 1998-12-14 日産自動車株式会社 運転車の眼位置検出装置及び状態検出装置
US5204627A (en) * 1991-03-14 1993-04-20 Wisconsin Alumni Research Foundation Adaptive NMR angiographic reprojection method
JPH0698149A (ja) * 1991-03-28 1994-04-08 Fuji Xerox Co Ltd 画像処理装置の編集指示表示方式
US5332968A (en) * 1992-04-21 1994-07-26 University Of South Florida Magnetic resonance imaging color composites
IL102659A (en) * 1992-07-27 1997-07-13 Orbot Instr Ltd Apparatus and method for comparing and aligning two digital representations of an image
US5872864A (en) * 1992-09-25 1999-02-16 Olympus Optical Co., Ltd. Image processing apparatus for performing adaptive data processing in accordance with kind of image
US5359513A (en) * 1992-11-25 1994-10-25 Arch Development Corporation Method and system for detection of interval change in temporally sequential chest images
US5825919A (en) * 1992-12-17 1998-10-20 Xerox Corporation Technique for generating bounding boxes for word spotting in bitmap images
US7110658B1 (en) * 1993-01-08 2006-09-19 Televentions, Llc Method and apparatus for eliminating television commercial messages
JPH07210687A (ja) * 1994-01-18 1995-08-11 Matsushita Electric Ind Co Ltd 形状検出装置
JPH07234943A (ja) * 1994-02-23 1995-09-05 Matsushita Electric Ind Co Ltd 位置認識方法及びその装置
US5978497A (en) * 1994-09-20 1999-11-02 Neopath, Inc. Apparatus for the identification of free-lying cells
JP3266429B2 (ja) * 1994-11-08 2002-03-18 松下電器産業株式会社 パターン検出方法
US5724456A (en) * 1995-03-31 1998-03-03 Polaroid Corporation Brightness adjustment of images using digital scene analysis
US5943437A (en) * 1995-10-09 1999-08-24 Kabushiki Kaisha Kobe Seiko Sho Method and apparatus for classifying a defect on a semiconductor wafer
JP3814320B2 (ja) * 1995-12-14 2006-08-30 キヤノン株式会社 画像処理方法及び装置
JP3209108B2 (ja) * 1996-08-23 2001-09-17 松下電器産業株式会社 2次元コード読み取り装置
US5864127A (en) * 1996-10-10 1999-01-26 Xerox Corporation Analog glyph detector and detector arrays
US5949905A (en) * 1996-10-23 1999-09-07 Nichani; Sanjay Model-based adaptive segmentation
US5907629A (en) * 1996-11-15 1999-05-25 Funt; Brian Vicent Method of estimating chromaticity of illumination using neural networks
US5982927A (en) * 1996-12-19 1999-11-09 Cognex Corporation Methods and apparatuses for in-line solder paste inspection
US6587581B1 (en) * 1997-01-10 2003-07-01 Hitachi, Ltd. Visual inspection method and apparatus therefor
US6760061B1 (en) * 1997-04-14 2004-07-06 Nestor Traffic Systems, Inc. Traffic sensor
US6330354B1 (en) * 1997-05-01 2001-12-11 International Business Machines Corporation Method of analyzing visual inspection image data to find defects on a device
JP3397101B2 (ja) 1997-10-29 2003-04-14 株式会社日立製作所 欠陥検査方法および装置
JP3974700B2 (ja) 1998-02-24 2007-09-12 株式会社東芝 画像形成装置および画像処理方法
US6512507B1 (en) * 1998-03-31 2003-01-28 Seiko Epson Corporation Pointing position detection device, presentation system, and method, and computer-readable medium
JP2000163044A (ja) * 1998-11-30 2000-06-16 Sharp Corp 画像表示装置
US6539106B1 (en) * 1999-01-08 2003-03-25 Applied Materials, Inc. Feature-based defect detection
JP3805936B2 (ja) * 1999-12-28 2006-08-09 株式会社東芝 マスクパターン補正方法及びマスクパターン作成システム
US6898303B2 (en) * 2000-01-18 2005-05-24 Arch Development Corporation Method, system and computer readable medium for the two-dimensional and three-dimensional detection of lesions in computed tomography scans
JP4571758B2 (ja) * 2000-04-03 2010-10-27 株式会社リコー 文字認識装置、文字認識方法、画像処理装置、画像処理方法、並びにコンピュータ読み取り可能な記録媒体
AU2001251344A1 (en) * 2000-04-05 2001-10-23 Dimensional Media Associates, Inc. Methods and apparatus for virtual touchscreen computer interface controller
DE10024374B4 (de) * 2000-05-17 2004-05-06 Micronas Munich Gmbh Verfahren und Vorrichtung zum Messen des in einem Bild enthaltenen Rauschens
US6728401B1 (en) * 2000-08-17 2004-04-27 Viewahead Technology Red-eye removal using color image processing
EP1182604A1 (en) * 2000-08-22 2002-02-27 Setrix AG Method and apparatus for reading a bar code
US6554428B2 (en) * 2000-09-07 2003-04-29 I-O Display Systems Llc Method and apparatus for adjusting optical device to correspond to eye positions
US6813367B1 (en) * 2000-09-11 2004-11-02 Seiko Epson Corporation Method and apparatus for site selection for data embedding
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
JP2002259948A (ja) * 2001-03-02 2002-09-13 Tdk Corp 次処理決定方法、検査方法および検査装置
JP4038356B2 (ja) * 2001-04-10 2008-01-23 株式会社日立製作所 欠陥データ解析方法及びその装置並びにレビューシステム
CN1213592C (zh) * 2001-07-31 2005-08-03 佳能株式会社 采用自适应二值化的图象处理方法和设备
US6891964B2 (en) * 2001-11-23 2005-05-10 University Of Chicago Computerized method for determination of the likelihood of malignancy for pulmonary nodules on low-dose CT
DE10301468B4 (de) * 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
JP3855805B2 (ja) * 2002-03-07 2006-12-13 ブラザー工業株式会社 画像処理装置および画像処理方法
JP4053345B2 (ja) * 2002-04-25 2008-02-27 シャープ株式会社 画像処理方法および画像処理装置、それを備える画像形成装置ならびにプログラムおよび記録媒体
US7120297B2 (en) * 2002-04-25 2006-10-10 Microsoft Corporation Segmented layered image system
US6609021B1 (en) * 2002-05-20 2003-08-19 Siemens Corporate Research, Inc. Pulmonary nodule detection using cartwheel projection analysis
US7221785B2 (en) * 2002-05-21 2007-05-22 Agilent Technologies, Inc. Method and system for measuring a molecular array background signal from a continuous background region of specified size
US7469160B2 (en) * 2003-04-18 2008-12-23 Banks Perry S Methods and apparatus for evaluating image focus
JP4030830B2 (ja) * 2002-08-13 2008-01-09 日本電気株式会社 縞模様画像鑑定装置および縞模様画像鑑定方法
JP4035717B2 (ja) * 2002-08-23 2008-01-23 富士ゼロックス株式会社 画像処理装置及び画像処理方法
JP2004094653A (ja) * 2002-08-30 2004-03-25 Nara Institute Of Science & Technology 情報入力システム
US7120280B2 (en) * 2002-09-27 2006-10-10 Symbol Technologies, Inc. Fingerprint template generation, verification and identification system
JP3659242B2 (ja) * 2002-10-02 2005-06-15 ソニー株式会社 マスクパターン補正方法
JP4174309B2 (ja) 2002-12-09 2008-10-29 株式会社アイチコーポレーション 伸縮ブーム
CN1282943C (zh) * 2002-12-30 2006-11-01 佳能株式会社 图像处理方法及装置
JP4251629B2 (ja) * 2003-01-31 2009-04-08 キヤノン株式会社 画像処理システム及び情報処理装置、並びに制御方法及びコンピュータプログラム及びコンピュータ可読記憶媒体
US7218763B2 (en) * 2003-02-27 2007-05-15 Eastman Kodak Company Method for automated window-level settings for magnetic resonance images
US7123185B2 (en) * 2004-04-14 2006-10-17 Safeview, Inc. Enhanced surveilled subject imaging

Also Published As

Publication number Publication date
US7751610B2 (en) 2010-07-06
CN100367757C (zh) 2008-02-06
CN1667355A (zh) 2005-09-14
US20050201622A1 (en) 2005-09-15
JP2005258940A (ja) 2005-09-22

Similar Documents

Publication Publication Date Title
US7751610B2 (en) Image recognition method and image recognition apparatus
JP5764238B2 (ja) 鋼管内部腐食解析装置及び鋼管内部腐食解析方法
US7978903B2 (en) Defect detecting method and defect detecting device
CN110009607B (zh) 显示屏坏点检测方法、装置、计算机设备和存储介质
JP2005518722A (ja) デジタル画像における赤目特徴の検出および補正
JP6786035B2 (ja) 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法
WO2015070723A1 (zh) 眼部图像处理方法和装置
CN108389215B (zh) 一种边缘检测方法、装置、计算机存储介质及终端
CN109803172B (zh) 一种直播视频的处理方法、装置及电子设备
JP2005331929A (ja) 画像解析方法、画像解析プログラム、及びそれらを有する画素評価システム
JP2013025650A (ja) 画像処理装置、画像処理方法およびプログラム
JP2013026938A (ja) 画像処理装置、画像処理方法およびプログラム
JP5864936B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2009036582A (ja) 平面表示パネルの検査方法、検査装置及び検査プログラム
CN105229665A (zh) 对基于图像的蛇形带子磨损评估的增强分析
JP2006258713A (ja) シミ欠陥検出方法及び装置
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
CN113569859A (zh) 一种图像处理方法、装置、电子设备及存储介质
JP2008014842A (ja) シミ欠陥検出方法及び装置
KR100606404B1 (ko) 컬러코드 이미지 검출 방법 및 장치
CN111935480B (zh) 一种用于图像获取装置的检测方法及相关装置
JP4775599B2 (ja) 目の位置の検出方法
JP2008089335A (ja) 光学フレア検査装置および検査方法
JP6114559B2 (ja) フラットパネルディスプレイの自動ムラ検出装置
JP2006053692A (ja) 動画像における画像処理装置、画像処理方法、画像処理プログラム、および該プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080811

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081017

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081225

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees