JP4604120B2 - 図形画像内の楕円の形状および/または位置に関する情報を決定するための装置、方法およびコンピュータプログラム - Google Patents

図形画像内の楕円の形状および/または位置に関する情報を決定するための装置、方法およびコンピュータプログラム Download PDF

Info

Publication number
JP4604120B2
JP4604120B2 JP2008532660A JP2008532660A JP4604120B2 JP 4604120 B2 JP4604120 B2 JP 4604120B2 JP 2008532660 A JP2008532660 A JP 2008532660A JP 2008532660 A JP2008532660 A JP 2008532660A JP 4604120 B2 JP4604120 B2 JP 4604120B2
Authority
JP
Japan
Prior art keywords
ellipse
point
image
coordinates
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008532660A
Other languages
English (en)
Other versions
JP2009510571A (ja
Inventor
フランク クレフェンツ
ヨハネス カッツマン
クリスティアン ホーランド−ネル
ペーター ヒュサール
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
イルメナウテヒニッシェ大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ, イルメナウテヒニッシェ大学 filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Publication of JP2009510571A publication Critical patent/JP2009510571A/ja
Application granted granted Critical
Publication of JP4604120B2 publication Critical patent/JP4604120B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/64Analysis of geometric attributes of convexity or concavity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Testing Of Coins (AREA)
  • Image Generation (AREA)

Description

本発明は、全体として図形画像内の楕円の形状および/または位置に関する情報を決定するための装置、方法およびコンピュータプログラムに関し、具体的には、実時間楕円認識の概念に関する。
円形オブジェクトは視角によっては楕円としてマップされるために、楕円認識は、円形オブジェクトを空間に配置する必要がある場合には常に適用することができる。例えば、医療技術では、視線方向を判断するために楕円認識が採り入れられている。円形瞳孔の楕円状マッピングの正確な位置から、眼の位置(目の動き)、従って人間(または動物)の視線方向を推測することができる。科学技術においては、一般に、例えば物体の位置特定作業のために、もしくはボアホール、給油口、果物のような食物、または機械部品あるいはコーヒーカップのような1点物の認識のために、楕円認識が必要となる。
入力画像内の楕円の認識(楕円フィッティングとも呼ばれる)に先立ち、入力画像は、閾値およびエッジ演算子によって、または、エッジ演算子および閾値によって、2値エッジ画像に変換される。それによって得られたエッジ画像は、アーチファクトによって妨げられた輪郭の不完全な楕円を含んでいる。
先行技術によっていくつかの楕円認識方法が既知であることが指摘されている。例えば、楕円の認識のために、平方偏差を最小化する直接フィット(直接最小2乗フィッティングとも呼ばれる)を用いてもよい。フィッツギボン(Fitzgibbon)によるそのような直接楕円フィッティングでは、2値エッジ画像の全エッジ点が楕円パラメータの直接計算にために入力される。対応する計算ルールの適用に続き、最良の方法で点集合(すなわち、2値エッジ画像またはそのエッジ画像の少なくとも一部の全エッジ点)を描写する楕円パラメータが出力される。ここで、2値エッジ画像の点間の偏差の和が2乗され、フィットされた楕円が最小化される。
説明した方法では、用いられる各点、すなわち、例えばエッジ画像に含まれる各点が計算対象の楕円パラメータに影響を与える。楕円から(または楕円の中心から)スプリアス点までの距離の2乗は楕円パラメータの偏差量に決定的な影響を与えるので、特定対象の楕円に属しないスプリアス点は、特定対象の楕円までのそれらの距離が大きいことによって、楕円パラメータに大きい偏差を生じさせる。上述の方法の利点は、達成可能な実行速度が高いことにある。上述の方法の不利な点は、処理に先立って、特定対象の楕円をエッジ画像内のスプリアスエッジおよび/またはアーチファクトから徹底的に隔離する必要があるという事実にある。この目的を達成するためには、スプリアスエッジおよびアーチファクトを楕円と区別することができなければならない。上述の方法のさらなる不利な点は、直接楕円フィッティングの時間も前処理の時間も画像内容とは無関係であるという事実にある。この理由により、ビデオデータからの実時間楕円認識に対しては、集約画像でさえも処理することができる時間を常に確保しておく必要がある。この方法でのみ、ビデオデータストリームの全画像の処理を保証することができる。
さらに、いわゆるハフ変換が、ポールV.C.ハフ(Paul V.C. Hough)によって、論文「泡箱写真の機械解析(Machine Analysis of Bubble Chamber Pictures)」(高エネルギー加速器および器具の使用に関する国際会議のプロシーディング(Proceeding of the International Conference on high−energy accelerators and instrumentation)、編集者、L.コワルスキ(L. Kowarski)、ジュネーブ、1959年9月14日−19日)に提示されていることが指摘されている。ハフ変換については、「複雑なパターンを認識するための方法および手段(Method and means for recognizing complex patterns)」と題する米国特許第3,069,654号にもさらに記載されている。
さらに、欧州特許第EP1032891B1号明細書に、信号形状を同時に検出および作製するための方法および手段についての記載があり、前記形状は、セクション毎に単調で一定の軌道に変換可能である。
ハフ変換の適用に伴って、認識対象の曲線は、パラメータ依存形式、すなわちパラメータ化された(曲線)式で表す必要がある。例えば、まっすぐな線は、以下の形の直線式によって表すことができる。
y=mx+n、
x、y−軸、
m、n−直線パラメータ
同様に、円は、以下の形の円式によって表すことができる。
2=(x−x02+(y−y02
x、y−軸、
0、y0−中心の座標、
r−半径
すでに説明したエッジ画像からの特徴、最も単純な場合では像点(x、y)が、ハフ変換における曲線式に挿入され、次に、それぞれの式または曲線式を解くパラメータ組み合わせが決定される。可能なパラメータ組み合わせを指定する解集合または「投票」は、互いに重なり合ってアキュムレータ空間に入力される。もしすべての点がハフ変換において用いられる(特定のパラメータ値に対する)パラメータ依存曲線式によって表すことができる曲線上に位置する場合、パラメータ組み合わせのすべての解集合の交差部が、シークされる曲線に対応する。一般に、アキュムレータ内の高い値は、頻繁なパラメータ組み合わせを表す。したがって、それらのアキュムレータ座標は、求められる曲線のパラメータ組み合わせを表す。曲線式が自由パラメータを有するので、用いられるアキュムレータは、ここでは多くの次元を有する。
以下に、楕円の特定または楕円の楕円パラメータ決定のための標準的なハフ変換方法を説明する。楕円は5つの異なる(スカラーおよび実数値の)パラメータで描写されることが指摘されている。ここでは、通常x0およびy0、または、xmおよびymと呼ばれる楕円の2つの中心座標、通常aおよびbで示される2つの半軸長と、一般にαrotaで示される楕円の回転角とが用いられる。したがって、パラメータは、通常、(好ましくは直交する)基準座標系に関連する。
エッジ画像の選択された点に属する投票は、5つのパラメータの組み合わせからなり、標準的なハフ変換を適用した場合、それらの5つのパラメータのすべてが、エッジ画像の現在選択されている点を通る楕円を表す。投票は、5次元アキュムレータ内に累積的に加算される。エッジ画像内のすべてのエッジ点を処理した後、アキュムレータ内の最高値は、エッジ画像内に存在する楕円の楕円パラメータを表す。説明したこの方法の利点は、エッジ画像内に存在する楕円の認識に信頼性がありかつしっかりとしていること、およびエッジ画像内の妨害物からの独立性が高いことにある。
標準的なハフ変換による上述の方法の不利な点は、計算時間が極めて長くかつ画像内容に依存することにある。各エッジ点に対して、上に述べた楕円のパラメータを表す5つの値の範囲からの値のすべての組み合わせを考慮する必要がある。上述の方法のさらなる不利な点は、必要メモリが極めて大きいことにある。用いられる5次元アキュムレータは、n=nx0・ny0・na・nb・nrotaの要素からなり、nxは楕円中心のx座標に関して調べられる離散的な取り得る値の数を表し、ny0、na、nbおよびnrotaは、残りの楕円パラメータに対して取り得る離散的なパラメータ値の数をさらに示している。さらに、楕円の認識に対する標準的なハフ変換の使用のさらなる不利な点は、計算の並列化の可能性がほとんどない集中的実行にあることが指摘されている。
楕円の特定に対するハフ変換の適用に関しては、パラメータ空間が制限される可変部が存在するという事実をここで指摘すべきである。パラメータの値の範囲は、シーク対象の楕円に関する知識によって縮小される。例えば、このような事前知識は、以前のビデオ画像の評価、またはマッピングジオメトリおよびマップ対象物に関する知識から導出することができる。さらに、5次元アキュムレータの記憶装置を、一定のパラメータ値(a、b、αrota)を有する2次元層に分割することによってバイパスすることができる。一定のパラメータ値(a、b、αrota)を有する2次元層は、ここで別個に処理することができる。さらに、すべての特徴(またはエッジ点)を用いなくても処理が可能である。むしろ、点のランダムセレクションを行うことで十分である。この手順は、ランダム化ハフ変換と呼ばれる。
さらに、ハフ変換に関連して、パラメータ空間の分割方法が知られている。同様に、勾配に基づく方法も存在する。これらの方法では、特徴はもはや個々の点または単一の点からなっているのではなく、2つの点のグループおよび付随する階調勾配の方向からなっている。このため、この方法は、勾配法と呼ばれる。言及したより高い次元の特徴によって、アキュムレータは、2次元アキュムレータ(中心および回転/軸比による)と1次元アキュムレータ(楕円の大きさ)とに簡素化される。言及した方法の利点は、標準的なハフ変換とは対照的に、処理時間が劇的に短縮されることにある。この方法の不利な点は、階調画像に勾配演算子を付加的に適用する必要があるという事実、および、もはやエッジ点の数に単に計算時間の線形依存性が付与されるのではなく、2乗依存性が付与されると言う事実にある。なぜなら、2つの点のすべてのグループを形成する必要があることが好ましいからである。それにより、実時間処理の効率が低下する。この方法のさらなる不利な点は、集中的実行にある。さらに、計算の並列化の可能性はわずかしかない。
米国特許第3,069,654号 欧州特許第EP1032891B1号 ポールV.C.ハフ(Paul V.C. Hough)の論文「泡箱写真の機械解析(Machine Analysis of Bubble Chamber Pictures)」、高エネルギー加速器および器具の使用に関する国際会議のプロシーディング(Proceeding of the International Conference on high−energy accelerators and instrumentation)、編集者、L.コワルスキ(L. Kowarski)、ジュネーブ、1959年9月14日−19日
それゆえに、本発明の目的は、上述の先行技術を考慮して、図形画像内に存在する楕円の少なくとも1つの楕円パラメータの迅速な決定を可能にする、図形画像内の楕円の形状および/または位置に関する情報を決定するための概念を提供することである。
この目的は、請求項1による図形画像内の楕円の形状および/または位置に関する情報を決定するための装置、請求項32、33による方法、および請求項34によるコンピュータプログラムによって達成される。
本発明は、図形画像内の楕円の形状および/または位置に関する情報を決定するための装置であって、その画像は第1の方向と第2の方向とを有し、第1の方向の最遠に位置する楕円の点を表す第1の楕円点の2つの座標を決定し、かつ第1の方向と逆の方向の最遠に位置する楕円の点を表す第2の楕円点の2つの座標を決定するための座標決定手段を有する装置を提供する。さらに、この座標決定手段は、第1の楕円点または第1の楕円点の周囲において楕円に近似する第1の曲線セグメントの少なくとも1つのパラメータを決定し、その第1の曲線セグメントの少なくとも1つのパラメータに基づいて第1の楕円点の座標を決定するように形成されている。さらに、この座標決定手段は、第2の楕円点または第2の楕円点の周囲において楕円に近似する第2の曲線セグメントの少なくとも1つのパラメータを決定し、その第2の曲線セグメントの少なくとも1つのパラメータに基づいて、第2の楕円点の座標を決定するように形成されている。さらに、本発明の装置は、第1の楕円点の2つの座標および第2の楕円点の2つの座標に基づいて、楕円の少なくとも1つの楕円パラメータを計算するための楕円計算手段を含む。この少なくとも1つの楕円パラメータは、ここでは楕円の形状および/または位置に関する情報を表している。曲線セグメントのパラメータは、ここではその曲線セグメントの位置および/または形状を表している。
図形画像内に存在する楕円のパラメータの決定を、座標決定手段による図形画像内のラベル付き楕円点の特定および楕円計算手段による解析計算の実行の両方を含むいくつかのステップに分割することが有利であるというのが、本発明の重要な考え方である。ここで、本発明は、第1の方向および第1の方向と逆の方向の最遠に位置する楕円の点を表す、その楕円に属する2つの点の座標が既知であれば楕円のパラメータを決定することができるという発見に基づいている。したがって、第1の楕円点および第2の楕円点は、第1の方向および第2の方向によって固定され、それによって第1の方向および第1の方向と逆の方向の最遠に位置するという特性と関連付けられていることから「端点」とも呼ぶことができる、所定の座標系内のラベル付き点を表す。さらに、特定対象の楕円は、第1の楕円点および第2の楕円点の周囲、すなわち、全体として端点それぞれの周囲において、位置および/または曲率に関するパラメータを関連付けることができる対応する曲線セグメントによって、近似させることができることが認識されている。さらに、第1の楕円点または第1の楕円点の周囲において楕円に近似する第1の曲線セグメントの少なくとも1つのパラメータを決定し、さらに第1の曲線セグメントの少なくとも1つのパラメータに基づいて、第1の楕円点の座標を決定することが有利であることが判明している。これは、第1の曲線セグメントのパラメータを決定する場合に有利であり、実に、第1の点で楕円に近似することができる曲線経路に対して取得される。したがって、第1の楕円点は、個々の点によってではなく、第1の楕円点において楕円に近似する曲線セグメントによって特定されるため、第1の楕円点を信頼のおける方法で特定できることが保証される。それにより、図形画像内の妨害物(例えば余計なエッジまたは他のアーチファクト)によって第1の楕円点の認識が損なわれないことが保証される。同様に、第2の楕円点の座標も、第2の楕円点または第2の楕円点の周囲において楕円に近似する曲線セグメントによって第2の楕円点を定義することにより、特に信頼のおける方法で特定することができる。例えば曲線セグメントの位置および/または曲率を示す曲線セグメントのパラメータは、ここでは、第1の楕円点および第2の楕円点の座標の推測に用いられてもよい。したがって、決定された第1の楕円点および第2の楕円点の座標に基づく解析計算ステップでは、楕円の少なくとも1つのパラメータを最終的に計算することができ、計算努力が生じることはほとんどない。
このように、図形画像内の楕円の形状および/または位置に関する情報を決定するための本発明の概念は、第1の楕円点または第2の楕円点の楕円に近似する曲線セグメントのパラメータが決定されるパターン認識法の利点と解析計算の速度の利点とを組み合わせるものである。
第1の楕円点または第2の楕円点における楕円に近似する曲線セグメントのパラメータ決定により、ここで、第1の楕円点および第2の楕円点を、極めて信頼のおける方法で確実に認識することができる。個々のスプリアス点は、曲線セグメントのパラメータの決定、すなわち幾何学的に明確に定義されたオブジェクトのパラメータの決定には影響を及ぼさないか、または実質的に影響を及ぼさないので、ここではそれらは削除される。
さらに、曲線セグメントは、少量のパラメータによって、例えば、2つのスカラー位置パラメータと例えば曲率を表す1つの形状パラメータとによって描写することができるのに対して、5つのパラメータは楕円全体の描写に求められることに注目すべきである。したがって、第1の楕円点および第2の楕円点において楕円に近似する線セグメントのパラメータは、楕円自体のパラメータに対するよりも大幅に少ない計算努力で決定することができる。換言すれば、5つのパラメータを有する幾何学的図形(すなわち楕円)の認識問題は、解析計算が後続する、せいぜい2つまたは3つの未知のパラメータを有する少なくとも2つの曲線セグメントの認識問題に軽減される。また一方、2つまたは3つのパラメータによって特徴付けられる曲線経路(または曲線セグメント)の特定は、5つのパラメータによって特徴付けられる曲線経路の特定よりも複雑さが大幅に小さい。このため、本発明の方法は大幅により迅速で、かつ通常の努力よりも少ない努力で達成することができる。
さらに、曲線セグメントの特定によって、本発明の方法は、図形画像内の個々のスプリアス点、またはシークされる楕円に加えて図形画像内に含まれる直線経路に影響されることはほとんどない。したがって、本発明の方法は実時間で可能な楕円認識に適していることが指摘される。
さらに、特定対象の楕円に近似する曲線経路のパラメータの特定を、並列化の可能性が大いにあるハードウェア内で極めて効率的に達成できることが指摘される。一方、楕円計算手段は、従来の解法と比較してより少ない量のデータを処理すればよく、したがって、より少ない努力で達成することができる。
最後に、図形画像内の楕円の形状および/または位置に関する情報を決定するための本発明の概念は、多数の計算を同時に実行することができるので、並列化にも極めてよく適している。
さらなる好ましい実施形態では、座標決定手段は、第2の方向の最遠に位置する楕円の点を表す第3の楕円点の少なくとも1つの座標をさらに決定するように形成されている。この場合、座標決定手段は、第3の楕円点または第3の楕円点の周囲において楕円に近似する第3の曲線セグメントの1つパラメータを少なくとも決定し、さらに第3の曲線セグメントの少なくとも1つのパラメータに基づいて第3の楕円点の座標を決定するように形成されているのが好ましい。さらに、この場合、楕円計算手段は、第1の楕円点の2つの座標、第2の楕円点の2つの座標、および第3の楕円点の1つの座標に基づいて楕円の少なくとも1つの楕円パラメータを計算するように形成されているのが好ましい。
結局、第1の楕円点の2つの座標、第2の楕円点の2つの座標、および第3の楕円点の少なくとも1つの座標が既知であれば、楕円のすべてのパラメータを計算することができるということが判明した。したがって、第1の楕円点および第2の楕円点のみからすでに決定することができる楕円の中心座標は別として、第1の半軸の長さ、第2の半軸の長さ、および楕円の回転(または回転角)も計算することができる。したがって、第3の楕円点の少なくとも1つの座標の使用は、楕円の完全な特徴付けを可能にする。
さらなる好ましい実施形態では、画像は、複数のラスタ行および/または複数のラスタ列内に配置された複数の像点を含むラスタ画像である。ここでは、楕円も、楕円点を形成する複数の像点によって描写される。第1の曲線セグメント、第2の曲線セグメントおよび/または第3の曲線セグメントは、ここでは、複数の隣接する像点によって描写することができる。さらに、曲線セグメントは少なくとも3つであるが少なくとも4つであるのがよりよい隣接する像点によって描写されるという仮定から開始するのが好ましい。いくつかの像点による線セグメントの描写は、第1の曲線セグメント、第2の曲線セグメントまたは第3の曲線セグメントを特定するために、特に有利なパターン認識を実行し、それらのパラメータを決定することが可能となる。
さらに、座標決定手段は、複数のラスタ行および/またはラスタ列によって形成されている解析対象の画像の画像抜粋内の第1の曲線セグメントを形成する曲線経路を特定するために、画像のラスタ行および/またはラスタ列を用いてパターン認識を行うことが好ましい。ここでは、解析対象の画像の画像抜粋は画像全体であってもよいことに留意されたい。さらに、座標決定手段は、解析対象の画像抜粋内の第2の曲線セグメントおよび/または第3の曲線セグメントを形成する1つの曲線経路または2つの曲線経路を特定するように形成されていることが好ましい。
さらに、座標決定手段は、特定された曲線経路の少なくとも1つのパラメータ、例えば位置パラメータ(例えばx座標および/またはy座標)および/または形状パラメータ(例えば曲率半径)を決定するように形成されていることが好ましい。結局、第1の曲線セグメントまたは第2の曲線セグメントまたは第3の曲線セグメントを形成する曲線経路は、ラスタ化された画像内で特に好ましい方法で特定することができるということが判明した。結局、ラスタ化された画像内で、所定のラスタ化された比較パターンの認識のためのパターン認識手段を構成することによって、第1の楕円点、第2の楕円点および/または第3の楕円点において楕円に近似する湾曲した曲線経路を特に容易な方法で描写することが可能となる。
さらに、座標決定手段は、複数のラスタ行および/またはラスタ列によって形成されている解析対象の画像の画像抜粋内のラスタ行および/またはラスタ列を用いて、所定の類似性測度に関して、第1の線セグメントの種々のパラメータに対して第1の曲線セグメントの許容可能な経路を描写する1組の取り得る基準曲線経路からの基準曲線経路に十分に類似した曲線経路を解析対象の画像抜粋が含んでいるか否かをチェックすることによって、第1の曲線セグメントを形成している曲線経路を特定するように形成されていることが好ましい。同様に、座標決定手段は、特定対象の画像の画像抜粋内で、第2の曲線セグメントおよび/または第3の曲線セグメントを形成している曲線経路を特定するように形成されていることが好ましい。所定の類似性測度は、例えば、解析対象の画像抜粋内に存在する曲線経路の少なくとも所定の数の像点がそれぞれの基準曲線経路に属する像点と一致することを指示することができる。同様に、所定の類似性測度は、考慮された基準曲線経路の像点からの解析対象の画像抜粋内に含まれる曲線経路の像点間の距離が所定の閾値より小さいことが分かった場合、解析対象の画像抜粋内に含まれる曲線経路が考慮された基準曲線経路に十分に類似していると指定されてもよい。しかしながら、パターン認識の範囲内で採用することができる他の類似性測度も用いることができる。例えば、オペレータのアプリケーション内で画像抜粋内に含まれる曲線経路へと展開する曲線経路が比較曲線経路に十分に類似している場合、解析対象の画像抜粋内に含まれる曲線経路は、考慮される基準曲線経路に十分に類似していると考えられる。オペレータは、例えば曲げオペレータでもよく、比較曲線経路は、例えばまっすぐな線でもよい。
さらに、座標決定手段は、第1の曲線セグメントを形成している曲線経路を特定するために、パターン認識を解析対象の画像の複数の画像抜粋に適用し、第1の曲線セグメントが特定された画像の画像抜粋に基づいて第1の曲線セグメントの位置パラメータを決定するように形成されていることが好ましい。換言すれば、調査対象の画像全体を解析対象の画像の複数の画像抜粋に分割し、次に、解析対象のいくつかの画像抜粋に対して別々にパターン認識を適用することが好ましい。結局、第1の楕円点、第2の楕円点または第3の楕円点で楕円に近似する曲線セグメントのパラメータの決定に対しては、画像の小さい抜粋を考慮することで十分であるということが判明した。ここで、楕円には、(もし必要であれば、1組の基準曲線経路から)事前に分かっている曲線セグメントによって、第1の楕円点、第2の楕円点または第3の楕円点の限定された周囲においてのみ十分にうまく近似することができることを考慮に入れるべきである。このため、小さい画像抜粋の解析はとくに有利であり、第1の楕円点、第2の楕円点および第3の楕円点の座標の特定において品質を低下させない。さらに、解析対象の複数の画像抜粋の使用は、それによって特定対象の曲線経路の位置パラメータを実際のパターン認識の範囲内で考慮されていないままにしておくことができるため、特に有利である。換言すれば、実際には、厳密にこの位置パラメータに関して異なるいくつかの画像抜粋が用いられるために、取り得る基準曲線経路は、位置パラメータに関してはすべて同一とすることができる。したがって、複数の画像抜粋の各画像抜粋の解析に対しては、解析対象の画像抜粋を移動することによって、特定対象の曲線セグメントの位置パラメータが決定される、すなわち、先に解析された画像抜粋とは対照的に、移動されるさらなる画像抜粋が解析される低強度パターン認識法を用いることができる。
さらに、座標決定手段は、解析対象の複数の画像抜粋のうちの少なくとも2つの画像抜粋が重なり合うパターン認識を、解析対象の画像の複数の画像抜粋に適用するように形成されていることが好ましい。解析対象の画像抜粋の重なりは、解析対象の重なり合った画像抜粋のみを用いて特定対象の曲線経路の位置パラメータ(例えばx座標またはy座標)を決定することができるという事実につながる。例えば、解析対象の画像抜粋を、ほんの1つまたは2つの像点もしくはラスタ行またはラスタ列分だけ互いに対してそれぞれ移動することができる。
さらに、複数の取り得る基準曲線経路は、位置および/または形状に関して異なる曲線経路を描写することが好ましく、この場合、位置および/または姿勢の特徴を表す少なくとも1つのパラメータが複数の取り得る基準曲線経路と関連付けられ、座標決定手段は、さらに、類似性測度に関して、複数の取り得る基準曲線経路からの曲線経路が解析対象の画像抜粋内に含まれる曲線経路に十分に類似している事実から、第1の楕円点、第2の楕円点または第3の楕円点において特定対象の楕円に近似する曲線セグメントのパラメータを導出するように形成されている。したがって、パターン認識の範囲内で、曲線セグメントのパラメータは、画像抜粋基準曲線経路を特定することができる事実からだけでなく、いくつかの取り得る基準曲線経路を解析対象の画像抜粋内で特定することができる事実からも、導出することができる。これは、パターン認識の簡易化および/または加速につながる。これによって、パターン認識の並列化も向上させることができる。
さらに、複数の取り得る基準曲線経路からの曲線経路は、それらが第1の楕円点および/または第2の楕円点および/または第3の楕円点において異なる形状および/または位置の楕円に近似するように選択されることが好ましい。したがって、楕円は、一般に、非対称の曲線経路または非対称に曲がった線セグメントによって、第1の楕円点、第2の楕円点または第3の楕円点において近似されるために、複数の取り得る曲線経路からの曲線経路は、例えば非対称であってもよい。
しかしながら、別の好ましい実施形態では、複数の取り得る基準曲線経路からの曲線経路は、それらが異なる位置および/または異なる半径の円形線からの抜粋を描写するように選択されることが好ましい。結局、任意の位置の楕円には、一般に、円形曲線からの抜粋によって、第1の楕円点、第2の楕円点または第3の楕円点において、もしくは第1の楕円点、第2の楕円点または第3の楕円点の十分に小さい周囲において、十分にうまく近似させることができるということが判明した。同様に、軸比が大きく異なり、異なる回転角を有する楕円に十分にうまく近似するのには、異なる位置および/または異なる半径の円形曲線からの比較的少量の抜粋で十分であるということが判明した。さらに、円形曲線からの抜粋は、対称によるパターン認識手段に用いるために特によく適している。
換言すれば、第1の曲線セグメントは、第1の楕円点または第1の楕円点の周囲において楕円に近似する少なくともほぼ円形の線の抜粋であり、および/または第2の曲線セグメントは、第2の楕円点または第2の楕円点の周囲において楕円に近似する少なくともほぼ円形の線からの抜粋であり、および/または第3の曲線セグメントは、第3の楕円点または第3の楕円点の周囲において楕円に近似する少なくともほぼ円形の線からの抜粋であることが好ましい。
さらなる好ましい実施形態では、座標決定手段は、追加の座標として、第3の楕円点の少なくともさらなる座標または第2の方向と逆の方向の最遠に位置する楕円の点を表す第4の楕円点の少なくとも1つの座標をさらに決定するように指定され、この場合、楕円計算手段は、第1の楕円点の2つの座標、第2の楕円点の2つの座標および第3の楕円点の第1の座標に基づいて、少なくとも1つの楕円パラメータを含む第1の組の楕円パラメータを計算すると共に、第1の楕円点の2つの座標、第2の楕円点の2つの座標および追加の座標に基づいて、少なくとも1つの楕円パラメータを含む第2の組の楕円パラメータを計算し、さらに、第1の組の楕円パラメータおよび第2の組の楕円パラメータを用い、平均することによって結果の1組の楕円パラメータを計算するように形成されている。結果の1組の楕円パラメータは、ここで、図形画像内の楕円の形状および/または位置に関する情報を表す。換言すれば、一般的に容易に可能な追加の座標の計算によって、2組の楕円パラメータを計算することができる。平均することによって、ここで楕円パラメータの計算における精度を向上させることができる。他に、第1の組の楕円パラメータと第2の組の楕円パラメータとの間の偏差が所定の偏差よりも大きいか否かを明らかにすることが可能である。このために、偏差の決定のための何らかの数学的基準または他の基準を用いることができる。第1の組の楕円パラメータと第2の組の楕円パラメータとの間に過大な絶対偏差または相対偏差が発見された場合、楕円パラメータの計算が間違っていることを示すエラーメッセージをさらに出力することができる。誤りは、例えば第1の楕円点、第2の楕円点、第3の楕円点または第4の楕円点の不正確な決定に起因する。3つまたは4つの楕円点が同一の楕円に属していない場合、重大な誤りが生じる可能性もある。第1の組の楕円パラメータと第2の組の楕円パラメータとの間に過度の偏差がある場合、すなわち、偏差が所定の閾値よりも大きい場合、楕円点の誤認識または関連付け誤りが存在することを信号で伝えることができる。
さらなる好ましい実施形態では、座標決定手段は、第2の方向の最遠に位置する楕円の点を表す第3の楕円点の2つの座標、および第2の方向と逆の方向の最遠に位置する楕円の点を表す第4の楕円点の2つの座標を決定するように形成されている。さらに、楕円計算手段は、いくつかの選択された複数組の楕円点に対して、付随する複数組の楕円パラメータを決定し、かつ複数組の楕円点に属する複数組の楕円パラメータを平均することによって、楕円の形状および/または位置に関する情報として、平均の1組の楕円パラメータを計算するために、第1の楕円点、第2の楕円点、第3の楕円点および第4の楕円点からの3つの楕円点の複数の異なる組を選択するように形成することができる。説明した図形画像内の楕円の形状および/または位置に関する情報を決定するための装置の実施は、いくつかの複数組の楕円点が評価されれば、最低誤差の楕円パラメータを得ることができるという発見に基づいている。例えば、特に半軸の長さの比が1とは異なる楕円に関しては、第1の楕円点および第2の楕円点の座標は、明らかに、第3の楕円点および第4の楕円点の座標よりも大きいかまたは小さい誤差を有する。したがって、楕円パラメータの計算のためにいくつかの複数組の楕円点を用いることにより、楕円の位置にかかわりなく、誤差をほぼ同一に保つことを達成することができる。他に、第1の楕円点および第2の楕円点の使用は、第3の楕円点および第4の楕円点の使用と同等であるということが分かったことが指摘される。しかしながら、楕円パラメータの計算における4つの楕円点すべての同時使用は、それが方程式系の冗長性につながるので、一般的には望ましくない。むしろ、その後の平均工程と組み合わせた、5つの座標それぞれを用いた楕円パラメータの多重使用が、実行時間が知られていないかまたはさまざまである可能性がある複雑な最適化手法を用いる必要なくして、十分に良好な結果を提供するということが判明した。
さらなる好ましい実施形態では、座標決定手段は、第2の方向の最遠に位置する楕円の点を表す第3の楕円点の2つの座標を決定ように形成されている。楕円計算手段は、第1の楕円点の2つの座標および第2の楕円点の2つの座標から楕円の中心座標を計算するように形成されていることが好ましい。さらに、楕円計算手段は、第1の楕円点、第2の楕円点および第3の楕円点の座標の変換された座標を取得するために、第1の楕円点、第2の楕円点および第3の楕円点の座標の座標変換を実行するように形成されていることが好ましい。座標変換は、中心座標によって表される楕円の中心を座標の原点に移動するように形成されていることが好ましい。その上で、第3の楕円点の推定される変換された第2の座標yyを、決定式
Figure 0004604120
を用いて、計算することができる。
ここで、xxは第1の楕円点の変換された第1の座標で、xyは第1の楕円点の変換された第2の座標で、xyは第3の楕円点の変換された第1の座標である。次に、推定される変換された第2の座標yyと座標変換において直接決定された第3の楕円点の変換された第2の座標との間の偏差に基づいて、上述の計算に用いられた第3の楕円点が第1および第2の楕円点によって描写される楕円に属するか否かを決定することができる。ここで、例えば、第3の楕円点の推定される変換された第2の座標と座標変換において直接決定された第3の楕円点の変換された第2の座標との間の絶対偏差または相対偏差が所定の閾値よりも大きいかまたは小さいかを評価してもよい。さらに、楕円の形状および/または位置に関する情報を決定するための装置は、第3の楕円点が第1の楕円点および第2の楕円点を通過する楕円に属しない場合には信号で伝えるように形成することができる。例えば、その装置は、上に述べたように、解析対象の図形画像内に楕円が存在しないこと、または、解析対象の図形画像内にいくつかの楕円が存在することを示すエラーメッセージを出力することができる。このようにして、楕円の形状および/または位置に関する情報を決定するための本発明の装置の信頼性をさらに向上させることが可能である。
さらなる好ましい実施形態では、座標決定手段は、複数の並列信号という形式の複数の解析対象のラスタ行および/または解析対象のラスタ列を順次受信し、受信した信号を、順次接続された複数の段階を介して、異なった迅速な方法で並列に転送するように形成されるパターン認識手段を備え、少なくとも1つの所定の段階は、列の和を形成するためにその所定の段階を出る信号を合計する。パターン認識手段は、さらに、パターン認識手段から受信されたラスタ行またはラスタ列に含まれる曲線セグメントに関する、受信されたラスタ行またはラスタ列に含まれる曲線セグメントの少なくとも1つのパラメータを含む情報を決定するために、列の和を評価するように形成されていることが好ましい。結局、画像または画像抜粋を複数の並列時間信号によって表すことにより、複数のラスタ行および/またはラスタ列によって形成される画像または画像抜粋に含まれる曲線経路のパラメータを、特に有利な方法で決定することができるということが明らかにされた。ここでは、時間信号は、ラスタ行および/またはラスタ列に沿った画像中のサンプルに相当する。いくつかの、好ましくは隣接するラスタ行またはラスタ列がサンプリングされ、上に述べたように時間信号に変換された場合、形成された時間信号は、対応する画像抜粋または画像全体の画像内容を描写している。画像内の線は、通常、個々の信号上に現れるインパルスによって表される。画像内の曲線(曲線セグメントまたは湾曲した曲線経路とも呼ばれる)は、いくつかの信号上のインパルスは同時には現れず、時間的にオフセットされて現れるという事実においてミラーリングされ、インパルスが実質的に現れる時刻は、曲線の曲率によって決定される。信号が順次接続された複数の段階を経由して異なった速度で直ちに並列転送されれば、それによって、連続的または段階的に個々の信号の時間オフセットのバランスをとることができる。その結果、これは、特定の段階で、画像内の曲線と関連付けられた種々の信号がほぼ同時に到着するということを意味する。ある段階におけるいくつかの信号の同時到着は、その特定の段階に属する信号を合計することによって検出することができる。特定の段階は、それを出る信号を合計することが好ましいからである。いくつかの信号が同時に1つの段階に(換言すれば、例えば特定の段階に)存在する場合、合計結果は特に大きくなる。このようにして、合計結果に基づいて、パターン認識手段から受信されたラスタ行および/またはラスタ列に含まれる曲線セグメントに関する情報を導出することができる。特に大きい列合計が発生する時刻は、曲線セグメントの位置パラメータに関する情報を伝えている。特に大きい合計結果が発生する段階は、通常、曲線セグメントの形状、例えば曲率に関する指標となる。
さらに、図形画像のラスタ行またはラスタ列を時間的進行によって表す信号の上述の並列処理は、湾曲した曲線の認識に対して特に効率的な可能性を表していることが指摘される。上述のパターン認識手段は、ハードウェア内で同時に実現することができる。曲線セグメントの存在を認識することができる上述のパターン認識手段を用いて、図形画像からの図形画像全体または画像抜粋を調べることができる。
さらなる好ましい実施形態では、所定の段階は、所定の段階の列合計を受信し、所定の段階における少なくとも所定数の信号が同時にアクティブであるかどうかを認識するように形成された閾値認識手段をさらに備える。ここでは、パターン認識手段は、さらに、パターン認識手段から受信されたラスタ行またはラスタ列に含まれる曲線セグメントに関する情報を決定するために、閾値認識手段の出力信号を評価するように形成されていることが好ましい。
パターン認識手段は、複数の段階ならびにその段階に属する合計手段および/または閾値認識手段を備え、各段階において、パターン認識手段の各段階の入力および/または出力時の信号が評価され、それによって信号が並列に転送されることが好ましいことが指摘される。これによって、その後、湾曲の異なる線セグメントを認識することができ、曲線セグメントの湾曲の形状または曲率半径は、その段階の出力時に最大列合計がもたらされる事実から導出することができる。
さらに、パターン認識手段は、信号の速さを異にする高速伝播により、湾曲した曲線経路に関する時間的に変形された描写を取得するために、および特定の段階において複数または所定の最少数の同時にアクティブな信号によって表されるほぼまっすぐな線が変形された描写によって描写された時を認識するために、順次接続された段階を経る際にパターン認識手段から段階的に受信された信号によって描写された湾曲した曲線経路および/または曲線セグメントを時間的に変形させるように形成されていることが好ましい。
さらに、パターン認識手段の少なくとも1つの段階は、その段階を介していくつかの信号を転送する際に、強度を異ならせてそのいくつかの信号を遅延するように形成されていることが好ましい。個々の段階での異なる遅延の導入により、順次接続された複数の段階を経由して、速さの異なる高速で信号を並列に転送できるということが達成できる。1つの段階は、例えば、2つの可能な遅延のうちのまさに1つをそれぞれの信号に適用するように形成することができ、遅延のうちの1つは、その段階を通る最小可能ランタイムによって決定することができる。換言すれば、この段階は、可能な最小の遅延で信号を転送するか、または定義された遅延をおこすように形成することができる。しかしながら、もちろん、3つ以上の可能な遅延をいくつかの信号に適用するようにある段階を形成することも可能である。他に、ある段階を特定の遅延のためにハードワイヤードしてもよく、動作中その段階を所望の遅延に適応させてもよい。さらに、異なる遅延を用いることによって、いくつかの信号の速さの異なる高速伝播を有利な方法で達成できるということが指摘される。
さらなる好ましい実施形態では、パターン認識手段は、上に述べたように、段階を通る信号の転送に異なる遅延を設定することによって、パターン認識手段から受信されたラスタ行またはラスタ列に含まれかつパターン認識手段に入る信号によって表された円形に曲がった線セグメントがいくつかの段階を通過した後にほぼまっすぐな線に変形されるように形成することができる。ここでは、パターン認識手段は、まっすぐな線の存在を認識し、かついくつの段階を通過した後にまっすぐな線が存在することを確立するように形成されていることが好ましい。ここでは、パターン認識手段は、まっすぐな線の存在が認識された時刻から、および/または、まっすぐな線が認識された段階の通過後、通過した段階の数から、パターン認識手段から受信された円形に曲がった線セグメントの少なくとも1つのパラメータ、例えば位置パラメータ、または円形に曲がった線セグメントの曲率半径に関する情報を導出するように形成されていることがさらに好ましい。ある段階での信号遅延の調整により、実に、本発明のパターン認識手段によって円形に曲がった線セグメントを認識することが可能となる。しかしながら、ここで、パターン認識手段は、認識された円形に曲がった線セグメントの位置のみを評価するように形成されていることが好ましいことが指摘される。
さらに、座標決定手段は、解析対象の連続伝送されるラスタ行という形式で、画像をパターン認識手段に2度供給するように形成されていることが好ましい。ここでは、座標決定手段は、画像の第1のエッジに位置する画像のラスタ行から開始して、第1の楕円点の2つの座標の決定のためのパターン認識手段に画像を供給し、画像の第1のエッジに対向する画像の第2のエッジに位置するラスタ行から開始して、第2の楕円点の2つの座標の決定のためのラスタ認識手段に画像を供給するように形成されていることが好ましい。パターン認識手段は、所定の湾曲方向の曲線セグメントのみを認識するように設計されていることが好ましい。もしパターン認識に対して2方向に画像または画像抜粋が供給された場合、座標決定手段は、たとえパターン認識手段が第1の湾曲方向を有する曲線セグメントのみを認識するように形成されていても、第1の湾曲方向を有する曲線セグメントおよび対向する第2の湾曲方向を有する曲線セグメントのパラメータを認識することができる。したがって、同一のパターン認識手段に異なる方向で画像または画像抜粋の2重供給によって、両方の可能な湾曲方向を有する曲線セグメントの認識のためのパターン認識手段を構成することを差し控えることができる。結局、第1の湾曲方向と第2の湾曲方向との両方の湾曲を有する線セグメントを特定することができるパターン認識手段は、第1の湾曲方向を有する線セグメントのみを認識することができるパターン認識手段よりも大幅により費用がかかるということが判明した。これにより、説明した方策によって本発明の装置の複雑さを減少することができ、その反面、性能は有意には低下しない。
別の実施形態では、座標決定手段は第1のパターン認識手段および第2のパターン認識手段を含み、その第1のパターン認識手段は第1の所定の湾曲方向を有する曲線セグメントを認識するように形成され、その第2のパターン認識手段は第1の所定の湾曲方向と逆の第2の湾曲方向を有する曲線セグメントを認識するように形成されることが好ましい。座標決定手段は、画像の第1のエッジに位置するラスタ行から開始して、第1の楕円点の2つの座標の決定のための第1のパターン認識手段に画像を供給し、これも画像の第1のエッジに位置するラスタ行から開始して、第2の楕円点の2つの座標の決定のための第2のパターン認識手段に画像を供給するように形成されていることが好ましい。換言すれば、楕円認識において特に高い認識速度が要求される場合、第1の楕円点および第2の楕円点の座標を決定するために、曲線セグメントを両方の可能な湾曲方向で並列に処理することができる。これにより、一方では、認識の速度を高めることができ、さらに、他方では、画像がそれぞれ画像の第1のエッジに位置するラスタ行から開始して読み出されるので、前述の実施形態とは対照的に、本発明の手段の構造が簡素化される。このため、画像の第2のエッジに位置するラスタ行から開始してパターン認識手段に画像を供給する手段を備える必要はない。2方向の画像を処理することができるこのような供給方式は、メモリアクセスコントローラの設計に関してさらなる努力を必要とする。
さらに、第1の方向は第2の方向と直交するのが好ましい。これによって、第1の方向と第2の方向とは、計算の実行に特によく適したデカルト座標系を形成する。その場合、楕円の変形は付与されない。その他の点では、ラスタ画像も一般に互いに直交するラスタ行およびラスタ列を有することが指摘される。したがって、第1の方向および第2の方向は、ラスタ行およびラスタ列によって定義されるラスタ画像の好ましい方向と一致することができる。
さらに、楕円の形状および/または位置に関する情報を決定するための装置は、ビデオデータソース、例えばカメラ、ビデオメディアプレーヤ、地上ビデオデータ受信装置、衛生ビデオデータ受信装置またはコンピュータのビデオデータから図形画像を導出するように形成されていることが好ましい。結局、楕円の認識および/または付随する楕円パラメータの決定は、動的技術による処理を理解するために、ビデオデータに関連して特に有利に用いることができるということが判明した。
さらに、本発明の装置は、楕円の形状および/または位置に関する情報を出力するように形成されたデータインタフェースを含むことができる。しかしながら、楕円の形状および/または位置に関する情報は、ディスプレイ装置によっても示すことができる。ここでは、出力および/またはディスプレイは、それぞれ、アナログおよび/またはデジタル形式で行うことができる。ここでは、直列または並列のインタフェースプロトコルを用いて、データをその後の処理に利用できるようにする、電気的または光学的なインタフェースが好ましい。いくつかの電気器具の取付けに適しているバスインタフェースも用いることができる。ディスプレイ装置として、例えばLEDディスプレイ、LCDディスプレイまたはスクリーンを用いることができる。
さらに、楕円の形状および/または位置に関する情報を決定するための装置は、閾値2値化によって図形画像を前処理するように形成することができ、閾値2値化では、2値化画像を取得するために、問題の像点の明度および/または問題の像点の輝度の比較の結果に応じて、明値または暗値が図形画像のそれぞれの像点と関連付けられる。前処理は、さらに、エッジ検出を2値化画像に適用するように形成することができ、エッジ検出は、明値から暗値への2値化画像内のエッジ状遷移が線状のエッジとして特徴付けられるエッジ画像を生成するように形成されていることが好ましい。座標決定手段は、さらに、エッジ画像を処理するように形成されていることが好ましい。結局、本発明の装置は曲線セグメントを評価するように形成されているので、エッジ画像は、本発明の装置によって極めて良好に処理することができるということが判明した。しかしながら、本発明の装置によって評価される曲線セグメントは、たとえ楕円が中実のオブジェクトとして図形画像内に現れたとしても、楕円の輪郭を描写することが好ましい。さらに、本発明のパターン認識手段は、エッジ画像の処理にも特によく適していることが指摘される。
エッジをよりよい方法で抽出することができるように、一般にカラー画像または階調画像として存在する図形画像は、最初に閾値2値化に供給され、それによって図形画像が2値化画像または白黒画像に変換されることが好ましい。黒白画像では、明値(白)と暗値(黒)との間に激しい遷移が存在し、その結果エッジとして認識することができるので、カラー画像におけるよりも少ない努力でエッジ認識を行うことができる。
さらに、本発明の装置は、人間の眼の瞳孔を感知するように配置されたカメラからの図形画像を受信するように形成されていることが好ましく、ここでは図形画像内の楕円の形状および/または位置に関する情報は人間の眼の瞳孔の形状および/または位置に関する情報を表している。したがって、これにより、瞳孔の位置を検出することができ、それから人間の眼の視線方向を推測することができる。そして、人間の眼の視線方向は、医療技術における装置のようなさらなる装置の制御に用いることができる。
さらなる好ましい実施形態では、本発明の装置は、図形画像内の楕円の形状および/または位置に応じて機械的動きを引き起こすように形成された位置決定手段との通信を確立するように形成されたインタフェースを備える。したがって、本発明の装置は、機械的位置決定手段を制御するために用いることができる。
本発明は、楕円の形状および/または位置に関する情報を決定するための方法およびコンピュータプログラムをさらに含む。
本発明の好ましい実施形態が添付図面を参照して以下にさらに詳細に説明され、これらの図面としては:
図1は、本発明の第1の実施形態による図形画像内の楕円の形状および/または位置に関する情報を決定するための本発明の装置のブロック回路図であり、
図2aは、楕円と第1の楕円点、第2の楕円点、第3の楕円点、第4の楕円点および楕円の中心の座標との図解図であり、
図2bは、原点に移動された楕円および2つの楕円点の変換された座標の図解図であり、
図3は、例示的なラスタ画像および連続的に処理された画像抜粋の図解図であり、
図4aは、本発明の第2の実施形態による楕円点の座標を決定するための本発明の装置のブロック回路図であり、
図4bは、本発明のパターン認識手段に用いるための3つの例示的な基準曲線の図解図であり、
図5aは、認識された曲線セグメントに印が付けられた例示的なラスタ画像の第1の図解図であり、
図5bは、認識された曲線セグメントに印が付けられた例示的なラスタ画像の第2の図解図であり、
図6は、図形画像内の楕円の形状および/または位置に関する情報を決定するための本発明の装置に用いるためのパターン認識手段のブロック回路図であり、
図7aは、図6によるパターン認識手段を介して図形画像を前進するための手順の図解図であり、
図7bは、ラスタ画像の並列時間信号への変換において生じる時間信号の図解図であり、
図8は、本発明の第3の実施形態による図形画像内の楕円の形状および/または位置に関する情報を決定するための本発明の装置のブロック回路図であり、
図9は、本発明の第4の実施形態による図形画像内の楕円の形状および/または位置に関する情報を決定するための本発明の装置のブロック回路図からの抜粋であり、
図10は、本発明の装置の実装のためのフィールドプログラマブルゲートアレイ(FPGA)の例示的なアーキテクチャのブロック回路図であり、
図11は、本発明の第4の実施形態によるFPGA内に実現するための本発明の回路アーキテクチャのブロック回路図であり、
図12は、本発明の第5の実施形態による本発明のハフ変換手段のブロック回路図であり、
図13は、本発明のハフ変換手段によって処理される画像の図解図であり、
図14は、本発明のハフ変換手段を通過する際に得られる曲線経路の図解図であり、
図15は、本発明のハフ変換手段の例示的な構造の概略図であり、
図16aは、本発明のハフ変換手段によって処理された、認識された端点を有する円の画像の図解図であり、
図16bは、本発明のハフ変換手段によって処理された、4つの認識された端点を有する円の画像の図解図であり、
図17は、図形画像内の楕円の形状および/または位置に関する情報を決定するための本発明の方法のフローチャートである。
図1は、本発明の第1の実施形態による図形画像内の楕円の形状および/または位置に関する情報を決定するための本発明の装置のブロック回路図を示す。図1のブロック回路図は、全体として100で示されている。本発明の装置100は、画像データ112を受信するように形成された座標決定手段110を実質的に含む。座標決定手段110は、画像データ112に含まれる楕円のラベル付き楕円点の座標114を抽出し、次に、この座標データ114を楕円計算手段120が利用できるようにするように形成されている。楕円計算手段120は、座標決定手段110から供給される座標114から楕円パラメータ122を計算し、さらに楕円パラメータ122をその後の処理のために出力するように形成されている。
上述の構造の記述に基づいて、本発明の装置の機能を以下にさらに詳細に説明する。ここでは、図形画像を描写する画像データ112は楕円を含んでいると仮定する。さらに、第1の方向130および第2の方向132は、画像データ112内に定義されていると仮定する。画像データ112に含まれる楕円134は、関連付けられた座標(x1’、y1’)を有する第1の楕円点136を含み、第1の楕円点136は、第1の方向の最遠に位置する楕円点を表す。ここでは、位置は、例えば優先方向または座標軸としての第1の方向130と第2の方向132とを備える直交座標系または斜交座標系によって定義される。さらに、楕円134は、関連付けられた座標(x3’、y3’)を有する第2の楕円点138を含み、第2の楕円点138は、第1の方向130と逆の方向の最遠に位置する楕円の点を表す。さらに、楕円は、関連付けられた座標(x4’、y4’)を有する第3の楕円点140を含み、第3の楕円点140は、第2の方向132の最遠に位置する楕円の点を表す。最後に、楕円134は、関連付けられた座標(x2’、y2’)を有する第4の楕円点142も含み、第4の楕円点142は、第2の方向132の逆の方向の最遠に位置する楕円の点を表す。
さらに、楕円134は、前述の4つのラベル付き楕円点136、138、140、142における曲線セグメント146、148、150、152によって近似できることが指摘される。曲線セグメント146、148、150、152は、それぞれ、複数のパラメータによって描写することができる。例えば、第1の線セグメント146は、2つのスカラ位置パラメータ、例えばx座標およびy座標と、曲率パラメータ、例えば曲率半径とによって描写することができる。さらに、第1の線セグメント146は、例えば、第1の楕円点136の楕円に接することができる。しかしながら、第1の線セグメント146が第1の楕円点136で楕円134を横切ることも可能である。しかしながら、その場合には、楕円134および第1の曲線セグメント146は、第1の楕円点136において共通接線を含むことが好ましい。ここでは、共通接線は、その点が第1の方向に一定の座標を備えるという性質の線によって与えられる。これは、第1の方向の最遠に位置する楕円の点としての第1の楕円点の定義に相当する。さらに、第1の線セグメント146は、パラメータが例えばファミリの個々の線セグメントの位置および/または曲率を表すパラメータ化された曲線セグメントのファミリに属することが好ましい。
その結果、第1の線セグメントのパラメータ、すなわち第1の線セグメント146の位置および/または曲率は、楕円134の位置および/または形状に密接に関連付けられる。
要約すれば、線セグメントは、それが距離測度に関して第1の楕円点の周囲の楕円に十分に類似する場合、第1の楕円点136において楕円134に近似する第1の線セグメント146とみなされるという事実が指摘される。加えて、さらなる基準、例えば線セグメントは、それが第1の楕円点136において楕円134の線と共通の接線を有する場合には第1の線セグメント146としてのみ特定されるという基準が満たされる必要がある。
第2の楕円点138において楕円に近似する曲線セグメントである第2の曲線セグメント148、第3の楕円点140において楕円に近似する曲線セグメントである第3の曲線セグメント150、および第4の楕円点142において楕円に近似する曲線セグメントである第4の曲線セグメント152は、アナログ方式で定義される。
座標決定手段110は、第1の曲線セグメント146の少なくとも1つのパラメータを決定し、さらに第1の曲線セグメント146の少なくとも1つの決定されたパラメータに基づいて、第1の楕円点136の座標(x1’、y1’)を決定するように形成されている。さらに、座標決定手段110は、第2の曲線セグメント148の少なくとも1つのパラメータを決定し、さらに第2の曲線セグメント148のその少なくとも1つのパラメータに基づいて、第2の楕円点138の座標(x3’、y3’)を決定するように形成されている。
例えば、もし第1の曲線セグメント146が曲線セグメントのパラメータ化されたファミリに属するならば、第1の曲線セグメントのパラメータの決定は、曲線セグメントのファミリからの、楕円134および第1の楕円点136に十分にうまくおよび/または可能な限りうまく近似する曲線セグメントの特定に相当する。ここでは、近似の質は、例えば、数学的距離測度によって決定してもよく、さらに、閾値を越えるかまたは下回ると、曲線セグメントのパラメータ化されたファミリからの曲線セグメントは第1の楕円点136で楕円134に十分にうまく近接しているとみなされる、距離測度のための閾値が設定されてもよい。
同等の方法では、座標決定手段110は、第2の楕円点138の周囲において楕円134に近似する第2の曲線セグメント148のパラメータを決定することができる。第2の曲線セグメント148のパラメータの決定に用いられる曲線セグメントのパラメータ化されたファミリは、例えば、ここでは第1の曲線セグメント146のパラメータの決定のために用いられる線セグメントのパラメータ化されたファミリに等しくてもよく、または、例えば湾曲方向に関してそれとは異なっていてもよい。
座標決定手段110が第1の曲線セグメント146の少なくとも1つのパラメータおよび第2の曲線セグメント148の少なくとも1つのパラメータの決定を完了すると、座標決定手段110は、そこから第1の楕円点136の座標(x1’、y1’)および第2の楕円点138の座標(x3’、y3’)を導出することができる。次に、座標決定手段110は、第1の楕円点136の座標(x1’、y1’)および第2の楕円点138の座標(x3’、y3’)を楕円計算手段120に転送する。
その後、楕円計算手段120は、第1の楕円点136の座標(x1’、y1’)および第2の楕円点138の座標(x3’、y3’)に基づいて、楕円134の少なくとも中心座標(xm’、ym’)を計算することができる。その結果、楕円134の中心160が分かる。
座標決定手段110は、第3の楕円点140において楕円に近似する第3の曲線セグメント150の少なくとも1つのパラメータをさらに決定するようにも形成されていることが好ましい。ここでは、曲線セグメントのファミリからのいずれの曲線セグメントが第3の楕円点140において楕円134に最も近似するかを再度決定することができる。その場合、付随するファミリパラメータは、例えば再度特定された第3の線セグメント150のパラメータを表し、座標決定手段によって第3の楕円点140の少なくとも1つの座標x4’またはy4’を決定するために用いることができる。次に、座標決定手段110は、この座標x4’またはy4’を楕円計算手段120に伝えることができ、それにより楕円計算手段120は、第1の楕円点136および第2の楕円点138の座標(x1’、y1’)および(x3’、y3’)に関して解析公式を用いて、楕円のすべてのパラメータ、すなわち、楕円中心160の2つの座標(xm’、ym’)、楕円134の2つの半軸の長さa’、b’、および回転角α’を決定および/または計算することが可能となる。
再度、第1の線セグメント146のパラメータの決定に対しては、第1の線セグメント146の形状に関する事前知識を用いることができることを、ここで明確に指摘すべきである。結局、第1の線セグメント146は、第1の楕円点136において楕円134に近似する必要があること、すなわち、第1の線セグメント146は、第1の楕円点136において楕円134が有するのと同じ曲率特性または少なくとも同じ湾曲方向を有する必要があることがあらかじめ分かっている。さらに、第1の線セグメント146は、第1の楕円点136において楕円に接するか、または第1の楕円点136において少なくとも楕円134と共通の接線を有するという事実によって定義されることが好ましい。したがって、座標決定手段は、通常、図形画像内で、上述の条件(曲率特性、接線方向)を満足させる曲線経路を第1の曲線セグメントとして特定するように形成されていることが好ましい。曲線のみのパラメータ化さらたファミリの使用は、ここでは一例として見るべきであるが、所定の湾曲方向および所定の接線方向を有する曲線セグメントを特定することができ、かつ少なくとも1つの位置パラメータによって同一のことを表すことができるすべてのパターン認識アルゴリズムはむしろ用いられてもよい。
アナログ定義は、第2の曲線セグメント148、第3の曲線セグメント150および任意に追加して用いられる第4の線セグメントにも適用される。例えば第1の曲線セグメントの特定に対して、湾曲方向および接線方向に関してのみ適応させればよい、対応するアルゴリズムが用いられてもよい。
楕円の形状および/または位置に関する情報を決定するための本発明の装置の実質的な利点は、いくつかの方向の最遠に位置する楕円の点である特定対象の楕円の「端点」が決定されることにある。上述の定義によれば、第1の楕円点136、第2の楕円点138、第3の楕円点140および第4の楕円点143は、端点とみなすことができる。ここでは、端点は、それぞれの端点において楕円に近似する曲線セグメントを特定することによって決定される。ここでは、それぞれの端点における楕円の曲率に関する事前知識を、さらに、それぞれの端点における楕円の接線の方向に関する事前知識と共に用いることができる。したがって、端点の決定には、図形画像または画像データ112の任意の像点が用いられるのではなく、それぞれの回転点において楕円に近似することができる曲線(または曲線セグメント)を表す像点のみが用いられることが好ましい。
事前知識を通じて、すなわち、そのような曲線セグメントの曲率およびそのような曲線セグメントが楕円134に接する(または少なくとも楕円と共通の接線を有する)点におけるそのような曲線セグメントの接線方向に関する知識を通じて、端点のうちの1つにおいて楕円134に近似する適切な曲線セグメントを、ここでは、極めて効率的な方法で求めることができる。ひとたび楕円の2つの対向する端点、すなわち、例えば第1の楕円点136および第2の楕円点138が既知であれば、楕円の少なくとも中心160を、楕円計算手段120による第2のステップで、極めて効率的な方法でコンピュータによって決定することができる。
さらに、第1の楕円点136の2つの座標(x1’、y1’)、第2の楕円点138の2つの座標(x3’、y3’)および第3の楕円点140の1つだけの座標(x4’、y4’)の決定だけで、すべての楕円パラメータ((xm’、ym’)、a’、b’、α’)を計算するためには十分である。
以下の説明の理解を促進するために、採り入れた楕円パラメータの定義を以下に説明することにする。図2aは、楕円と第1の楕円点、第2の楕円点、第3の楕円点、第4の楕円点および楕円の中心の座標との図解図を示す。図2aの図解図は、全体として200で示されている。図解図200は、互いに直交するx軸210およびy軸212を有するデカルト座標系を示している。x軸210およびy軸212によって形成される座標系内に、楕円220が配置されている。楕円220は、付随する座標(x3’、y3’)を有する第1の楕円点226を有する。ここでは、第1の楕円点226は、x軸210によって定義されるx方向の最遠に位置する楕円220の点を表している。付随する座標(x1’、y1’)を有するさらなる楕円点228は、負のx方向の最遠に位置する楕円220の点を形成している。付随する座標(x2’、y2’)を有する第3の楕円点230は、y軸212によって定義されるy方向の最遠に位置する楕円220の点をさらに表し、付随する座標(x0’、y0’)を有する第4の点232は、負のy方向の最遠に位置する楕円220の点を形成している。さらに、楕円の中心240は、中心座標(xm’、ym’)を有する。図解図200は、図示の例では楕円の大きい半軸を表し、その長さがパラメータaによって表される楕円の第1の半軸242をさらに示している。楕円220の第2の半軸244は、図示の例では楕円220の小さい半軸を形成している。楕円の第2の半軸244の長さは、パラメータbによって表されている。
さらに、図2bは、特徴のある楕円点の変換された座標と共に、原点に移動された楕円の図解図を示す。図2bの図解図は、全体として250で示されている。ここでもまた、図解図250は、原点264において直交するx軸260およびy軸262を示している。図解図250は、さらに、中心272が原点264と一致する、原点に移動された楕円270を示している。さらに、変換された第1の楕円点276が、付随する座標(xx、yx)と共に示されている。変換された第1の楕円点276は、ここでもまた、x軸260によって定義されるx方向の最遠に位置する楕円270の点を形成している。他に、変換された第1の楕円点276は、次式
x=x3−xm、yx=y3−ym
が適用される移動によって第1の楕円点226からもたらされるという事実が指摘される。
図解図250は、さらに、付随する座標(xy、yy)を有する変換された第3の楕円点280を有する。変換された第3の楕円点280は、y軸262によって決定されるy方向の最遠に位置する楕円270の点を形成している。変換された第3の楕円点280は、次式
y=x2−xm、yy=y2−ym
が適用される移動によって第3の楕円点230からさらにもたらされる。
図解図250は、図示の例では大きい半軸を表し、その長さがaで示される楕円270の第1の半軸292と、図示の例では小さい半軸を表し、その長さがここでもまたbで示される楕円270の第2の半軸294とをさらに示している。さらに、回転角αが示されている。回転角αは、ここではx軸260と楕円270の第2の半軸294との間の鋭角として示されている。
図解図250は、原点に移動された(すなわち変換された)楕円270の変換された端点276、280と、付随する楕円パラメータa、bおよびαとを示している。
図3は、楕円の例示的なラスタ画像の図解図を示す。図3の図解図は、全体として300で示されている。ここでは、複数のラスタ点312を有するラスタ画像310が示されている。ラスタ点は、ここでは、ラスタ点312に示されるように、非アクティブすなわち白であってもよい。ラスタ点は、さらに、例えばラスタ点314でハッチングによって示されているように、アクティブすなわち黒であってもよい。さらに、ラスタ画像310は複数のラスタ行および複数のラスタ列を含んでいることが指摘される。ここでは、ラスタ行は、例えばラスタ行を表す輪郭の太い領域320によって示されるように、複数のラスタ点を結合している。ラスタ列も、いくつかのラスタ点の組み合わせを表している。ラスタ列の例は、ラスタ列を表す輪郭の太い領域322によって示されている。ここでは、ラスタ行およびラスタ列は互いに直交していることが好ましい。さらに、ラスタ行とラスタ列はもちろん重なり合ってもよいことが指摘される。例えば、ラスタ行320とラスタ列322とは、324で示される共通の像点を有する。さらに、すべてのラスタ化された領域をラスタ行およびラスタ列の両方によって表すことができるので、画像または画像抜粋は、複数のラスタ行および複数のラスタ列の両方によって完全に描写することができることが指摘される。さらに、ラスタ画像310は、定義により、第1のラスタ行、ラスタ行320、第2のラスタ行330、好ましくは連続番号を付されたさらにいくつかのラスタ行332、および最後のラスタ行334を備えることが指摘される。対応する行番号が335で示されている。同様に、ラスタ画像310は、第1のラスタ列322、第2のラスタ列336、好ましくは連続番号を付されたさらなるラスタ列338、および最後のラスタ列340を備える。
図解図300は、ハッチングによって特徴付けられたアクティブなラスタ点すなわち黒のラスタ点(または像点)という形式のラスタ画像310で表された楕円350をさらに示す。
図解図300は、360で示すラスタ列の第1のグループをさらに示す。ラスタ列の第1のグループは、第1のラスタ列322、第2のラスタ列336、および第7のラスタ列362を含めてすべての後続のラスタ列を含む。したがって、ラスタ列の第1のグループ360は、ラスタ画像310からの抜粋を描写する。
上述のラスタ画像からの抜粋は、列数の制限により本来のラスタ行とは対照的に短縮された複数のラスタ行をさらに含む。画像抜粋の選択に起因する短縮されたラスタ行は、以下に手短にラスタ行と呼ぶ。
364で示されるラスタ列の第2のグループは、第2のラスタ列336、および第8のラスタ列366までの後続するラスタ列をさらに含む。換言すれば、7つの隣接するラスタ列は、それぞれ、共通処理を対象としたラスタ列のグループに結合される。
同様のグループ分けをラスタ行に対して行うことができ、この場合、第1のラスタ行320、第2のラスタ行330、および第7のラスタ行368までのすべての後続するラスタ行が、例えばラスタ行の第1のグループ370に結合される。同様に、374で示されるラスタ行の第2のグループは、第2のラスタ行330から第8のラスタ行372までを含む。
もちろん、ラスタ行のグループは、任意の数のラスタ行、例えば5つのラスタ行、16のラスタ行、32のラスタ行、または64のラスタ行を含んでもよいことがここでは指摘される。ここでは、ラスタ行のグループに結合されるラスタ行の数は2よりも大きいことが好ましい。アナログの考慮もラスタ列のグループに適用される。
図4aは、本発明の第2の実施形態による図形画像内の楕円点の座標を決定するための本発明の装置のブロック回路図を示す。図4aによる装置は、全体として400で示されている。装置400は、以下に説明するように、図3に示すようなラスタ画像310を処理するために特によく適している。
装置400は、ラスタ化された画像410を受信するように形成されている。さらに、装置400は、任意の画像抜粋選択手段412を用いて、ラスタ化された画像410から画像抜粋414を選択するように任意に形成される。選択される画像抜粋414は、図3を参照して説明したように、例えば複数のラスタ行および/または複数のラスタ列、例えばラスタ行のグループまたはラスタ列のグループによって定義することができる。本発明の装置400は、ラスタ化された画像またはラスタ化された画像抜粋414を受信するように形成されたパターン認識手段420をさらに含む。さらに、パターン認識手段420は、1組の基準曲線経路からの曲線経路または曲線セグメントがラスタ化された画像または画像抜粋414に含まれているか否かを決定するように形成されている。
1組の基準曲線経路の曲線経路は、ここでは、例えばラスタ化された画像または画像抜粋414内に含まれる曲線経路と基準曲線経路との間の類似性の決定のためにメモリにファイルすることができる。また一方、同様にして、パターン認識手段の構成は、1組の基準曲線経路からの基準曲線経路に十分に類似する曲線経路がラスタ化された画像または画像抜粋414内に含まれているか否かを認識するように形成されることも可能である。ここでは、基準曲線経路として、第1の楕円点、第2の楕円点、第3の楕円点または第4の楕円点において楕円に近似する曲線経路が用いられることが好ましい。したがって、パターン認識手段は、通常、上述のように、第1の楕円点、第2の楕円点、第3の楕円点または第4の楕円点において楕円に近似する曲線経路がラスタ化された画像または画像抜粋414内に含まれているか否かを認識するように形成されている。
さらに、パターン認識手段420は、第1の楕円点、第2の楕円点、第3の楕円点または第4の楕円点のうちのいずれの点で1組の基準曲線経路からの基準曲線経路が楕円に近似するかによって、ラスタ化された画像または画像抜粋414内に含まれる曲線経路に十分に類似する1組の基準曲線経路からの曲線経路を、第1の曲線セグメント、第2の曲線セグメント、第3の曲線セグメントまたは第4の線セグメントとして特定するように形成されていることが好ましい。
さらに、パターン認識手段420は、例えば第1の線セグメント、第2の線セグメント、第3の線セグメントまたは第4の線セグメントの湾曲形状を描写する任意にさらなるパラメータのような、少なくとも1つの位置パラメータ、しかしながら好ましくは2つの位置パラメータを決定するように形成されている。特定された第1の曲線セグメント、第2の曲線セグメント、第3の曲線セグメントまたは第4の線セグメントの位置から、次に、任意の座標計算手段430が、第1の楕円点、第2の楕円点、第3の楕円点または第4の楕円点の座標を計算することができる。しかしながら、曲線セグメントがラベル付き楕円点を通過することが好ましい、第1の楕円点、第2の楕円点および第3の楕円点または第4の楕円点の座標を位置パラメータが直接示すように、パターン認識手段420によって決定された曲線セグメントの位置パラメータがすでに定義されている場合、座標計算手段430は省略されてもよい。
さらに、ここでは、第1の楕円点、第2の楕円点、第3の楕円点または第4の楕円点において(またはそれぞれの楕円点の周囲において)楕円に近似する曲線経路が基準曲線経路として用いられることが好ましいことが指摘される。好ましくは、対称な湾曲した曲線経路が基準曲線経路として用いられる。他に、円形曲線は、第1の楕円点、第2の楕円点、第3の楕円点または第4の楕円点において特にうまく楕円に近似するので、円形曲線からの抜粋を、例えば基準曲線経路として用いることが好ましい。
図4bは、本発明のパターン認識手段に用いるための基準曲線経路の2つの例の図解図である。図4bの図解図は、全体として450で示されている。第1の図解図452は、ここではラスタ画像という形式の第1の曲率半径r1を有する円形曲線からの抜粋に近似する第1の基準曲線経路を描写している。第2の図解図454は、ラスタ画像という形式の第2の曲率半径r2を有する円形線からの抜粋に近似する第2の基準曲線経路を描写し、第2の曲率半径r2は、第1の曲率半径r1よりも大きい。第3の図解図456は、これもラスタ画像という形式の第3の曲率半径r3を有する円形線からの抜粋を描写している。ここでは、第3の曲率半径r3は、第1の曲率半径r1よりも小さい。したがって、図4bの3つの図解図452、454、456は、パターン認識手段420で用いられる3つの可能な基準曲線経路を描写している。換言すれば、パターン認識手段420は、例えば、通常、図4bの図解図452、454、456に示されるラスタ化された画像または画像抜粋414内の3つの基準曲線経路を認識し、それらを例えば第1の楕円点において特定対象の楕円に近似する第1の曲線セグメントとして特定するように形成することができる。さらに、パターン認識手段420は、ラスタ化された画像または画像抜粋414内において認識された基準曲線経路の位置を位置パラメータによって表し、これらの位置パラメータを座標計算手段430が利用できるようにするように形成されることが好ましい。ただし、上述の位置パラメータは、既知の基準曲線経路が特定対象の楕円に近似する第1の楕円点の座標を直接的に表さないことを条件とする。
図5aは、認識された曲線セグメントに特徴付けられた例示的なラスタ画像の第1の図解図を示す。ここでは、図4aによる装置400のパターン認識手段420は例えば画像または画像抜粋内の第1の図解図452、第2の図解図454および図解図456に示される基準曲線経路を認識することができると仮定する。さらに、図3aの例示的なラスタ画像310はラスタ化された画像414としてパターン認識手段420に供給されると仮定する。さらに、ラスタ画像310は1行ずつまたは1列ずつパターン認識手段に供給されることを例示的に仮定する。ラスタ画像310が最初のラスタ列322で開始して1列ずつパターン認識手段420に供給されると仮定すれば、パターン認識手段420は、例えば、ラスタ化された画像内の図解図456の第3の基準曲線経路を認識することができる。図5aの図解図500には、そこで認識される曲線経路が510で示されている。しかしながら、ラスタ画像310が最後のラスタ列340で開始して1列ずつパターン認識手段420に供給される場合、パターン認識手段は、例えば、図解図500において520で示されるさらなる曲線経路を認識することができる。
さらに、ここでは、パターン認識手段420には、例えば、画像抜粋選択手段412によって選択された1つだけの画像抜粋を供給してもよいことが指摘される。例えば、パターン認識手段420には、第1の処理ステップにおけるラスタ行の第1のグループ370を含む限定された画像抜粋のみを供給してもよい。換言すれば、第1のラスタセル320および第7のラスタ行368までの隣接するラスタ行を含む画像抜粋を、第1の処理ステップでパターン認識手段420に供給することができる。例えば、この画像抜粋内には、図解図452、454、456に示される基準曲線経路のうちの1つに一致する曲線経路はない。その場合、第2の処理ステップで、パターン認識手段420に、ラスタ行の第2のグループ374を含む画像抜粋を供給することができる。換言すれば、パターン認識手段420には、例えば、第2のラスタ行330から第8のラスタ行372までを含む画像内容を1列ずつ(すなわち1列ずつ連続して)供給することができる。この画像抜粋内にも、図解図452、454、456の3つの基準曲線経路に対応する曲線経路はない。その場合、第3の処理ステップで、ラスタ行の第3のグループの画像内容もパターン認識手段420に供給することができる。ラスタ行の第3のグループは、ここでは380で示され、ラスタ行3から9までを含む。パターン認識手段420は、この画像抜粋内では、図解図456の第3の基準曲線経路に対応する曲線経路を特定することができる。したがって、特定された曲線経路は、図解図500において510で示されている。さらに、ラスタ行の隣接するグループ370、374、380は、解を向上させるために重なり合っている、すなわち共通のラスタ行を有することが指摘される。ここでは、ラスタ行の隣接するグループは、単一のラスタ行毎に異なる、すなわち、ラスタ行の隣接するグループは、例えば図3に示すように、互いに対して正確に1行ずつ移動されることが好ましい。
換言すれば、装置400は、ラスラ行の種々のグループを含む種々の画像抜粋を連続的に処理し、それをパターン認識にかけるように形成することができる。このように、パターン認識は、小さい画像抜粋をそれぞれ処理するだけでよく、それによってパターン認識の複雑さは劇的に減少する。さらに、用いられる基準曲線経路の数は、そのことにより低く保つことができる。さらに、画像抜粋のいずれか1つに関する情報から、すなわちラスタ行のいずれかのグループ370、374、380を用いて、基準曲線経路を特定することができ、第1の楕円点、第2の楕円点、第3の楕円点または第4の楕円点において楕円に近似する曲線セグメントの位置に関する情報を導出することができることが指摘される。換言すれば、基準曲線経路が特定される画像抜粋のいずれか1つに関する情報は、曲線セグメントの位置パラメータを表し、このように、第1の楕円点、第2の楕円点、第3の楕円点または第4の楕円点の少なくとも1つの座標を決定するために用いることができる。
同様に、第1の画像310も、1行ずつ、すなわち連続して1行ずつパターン認識手段420に供給することができる。ここでは、種々のグループ360、364またはラスタ列を含むいくつかの画像抜粋を順々に処理することができる。ラスタ行のグループの列方向処理に関して述べたことが、ここではアナログ方式で適用される。
さらに、図5bは、認識された曲線セグメントにラベルが付けられた例示的なラスタ画像の第2の図解図を示していることが指摘される。図5bの図解図550において560および570で示される認識された曲線セグメントは、図解図454に示される基準曲線経路に対応する。
さらに、初回は最初のラスタ列322で開始して、1列ずつラスタ画像310をパターン認識手段420に供給し、2回目は最後のラスタ列340で開始して、1列ずつラスタ画像310をパターン認識手段420に供給するのが有利であることが指摘される。ここで、最初のラスタ列322で開始する最初のパスで第1の湾曲方向の曲線経路を認識することができ、湾曲方向が逆の曲線経路は、最後のラスタ列340で開始する2回目のパスで認識することができる。同様にして、単一の湾曲挙動もしくは単一の湾曲方向を有する曲線経路の認識のためにみ設計されたパターン認識手段を用いて、最初のラスタ行320で1回開始し最後のラスタ行334で1回開始するラスタ画像310の行方向処理を行い、湾曲挙動の異なる曲線経路もまた特定することができる。
図6は、本発明の装置400に用いるためのパターン認識手段420のブロック回路図を示す。図6の回路は、全体として600で示され、ハフ変換を実行するためのいわゆる「ハフアレイ」を説明する。座標決定手段110を実現するパターン認識手段400は、端点の周囲すなわち第1の楕円点、第2の楕円点、第3の楕円点または第4の楕円点の周囲の特定対象の楕円を十分に近似して描写する、半径の異なる円形曲線のサーチを実行することができることが好ましい。これは、並列シストリックハフ変換によって特に都合よく行うことができる。ハフ変換は円形曲線のために構成することができ、極値サーチのために、すなわち特定の方向の最遠に位置する点の特定のために適合させることができる。
図6は、ハフ変換を実行するために特に好都合な手段を示す。ハフ変換のための手段600は、ここでは縦に連結された複数の段階610を含み、それらを介して、いくつかの信号612、614、616が並列に転送される。それぞれの信号に対して、1つの段階は、Aとも示される遅延素子620またはBとも示されるバイパス624のいずれかを含む。さらに、信号は、段階の出力において、Cとも示される加算素子630に供給される。ここでは、加算素子は、それぞれの段階の出力において同時にアクティブである信号の数を決定するように形成されていることが好ましい。加算素子630の出力632において、それぞれの段階の出力において同時にアクティブである信号の数を示す、いわゆる行合計が存在する。次に、行合計632は、行合計632を所定の閾値と比較する比較器634に供給することができる。行合計632が所定の閾値を超える場合、これは、それぞれの段階において少なくとも所定の数の信号がアクティブであることを意味する。換言すれば、それぞれの段階の少なくとも所定の数の信号が同時にアクティブであるという事実によって特徴付けられた少なくともほぼ「まっすぐな線」がそれぞれの段階に存在する。次に、比較器634の出力信号が、遅延素子636に供給される。段階610の比較器634の出力にそれぞれ接続されたいくつかの遅延素子636は、ここでは、遅延素子636の出力が後続の遅延素子636の入力に供給されるように、連鎖状に接続されている。
さらに、遅延素子620、636は、信号612、614、616および比較器634の出力信号の両方がクロック方法で転送されるように、クロック方法で動作することが指摘される。信号612、614、616および比較器334の出力信号は、この構造体から同一方向に並列に転送されるが、信号612、614、616を転送する際に遅延素子620またはバイパス624が段階610で用いられるか否かに応じて、信号612、614、616は、個々の段階において異なって遅延される。しかしながら、複数の信号612、614、616のうちの中央の信号が、比較器634の出力からの信号と同様に迅速に複数の段階を介して転送されることが好ましい。中央の信号は、段階のそれぞれにおいて同等に遅延されることが好ましく、比較器634の出力信号も、一定の遅延で各段階を介して転送されることが好ましい。中央の信号は、最初の信号612と最後の信号614との間のほぼ中央に位置する、すなわち、ハフ変換手段600に供給される画像抜粋の中央に位置するラスタ行を表しているか、または、画像抜粋の中央からその画像抜粋の幅の最大25%だけ離れていることが好ましい。画像抜粋の幅は、ハフ変換手段600に同時に供給されるラスタ行またはラスタ列の数によって定義される。
構造の記述に基づいて、パターン認識手段600の機能を以下にさらに詳細に説明する。並列時間信号612、614、616という形式の画像抜粋がハフ変換手段600に供給されると仮定する。遅延素子620またはバイパス624は、種々の時間信号612、614、616が個々の段階を通過する際に異なって遅延されるように構成されている。遅延は、遅延素子620またはバイパス624のスイッチを入れることによって、湾曲した曲線経路(好ましくは円形に湾曲した曲線経路)が1つの段階またはいくつかの段階610を通過した後にまっすぐになるように調整される。換言すれば、ハフ変換手段によって処理された画像抜粋内の湾曲した曲線経路は、結果的に、異なる時刻にアクティブである個々の信号612、614、616となる。しかしながら、遅延素子620および/またはバイパス624の適切な調整によって、信号612、614、616が個々の段階を異なる速度で通過し、それにより特定の数の段階610を通過した後に、信号612、614、616に基づくすべての転送された信号が、理想的に、ある段階の出力において同時にアクティブとなるということが達成できる。この場合、特定の段階において、対応する合計手段630によって計算される特に大きい行合計が発生する。そのような大きい行合計の発生は、それぞれの段階の比較器634がアクティブな信号を出力し、それが次に遅延素子636の連鎖を経由してハフ変換手段の出力640に転送されるという事実につながる。ハフ変換手段600の出力640における出力信号上のアクティビティの時間的位置から、時間信号612、614、616という形式でハフ変換手段600に入力される画像抜粋内の曲線経路の位置を推測することができる。
さらに、信号612、614、616からの所定の信号(中央の信号とも呼ばれる)が遅延素子636の連鎖によって転送される比較器634の出力からの出力信号と同様に迅速にハフ変換手段600の段階610を通過することが好ましいことが指摘される。換言すれば、入力信号612、614、616のうちの少なくとも1つは、同時にかつ比較器634の出力信号に等しい速度で伝播する。それにより、遅延素子636の連鎖に転送された比較器634の信号に基づく、ハフ変換手段600の出力640に存在する出力信号は、入力信号612、614、616における曲線セグメントの発生時刻に関する直接指標を伝えるということが達成できる。ここでは、ハフ変換手段600の出力640の出力信号上におけるアクティビティの発生時刻は、曲線経路が入力信号612、614、616という形式でハフ変換手段に入力された時刻に関する指標となる。信号612、614、616における湾曲したサンプル経路の存在時刻は、もちろん、信号612、614、616の基礎をなすラスタ画像内の湾曲した曲線経路の空間的位置に関する直接的結論を可能にする。
さらに、信号612、614、616のうちの少なくとも1つが比較器634の出力信号と正確に同じ迅速さで段階610を通って伝播する所定の設計では、湾曲した曲線における湾曲の正確な形状、例えば曲率半径のみが、段階610のうちのどの段階で比較器634がアクティブとなるかに関する事実に影響を有する。しかしながら、湾曲した曲線経路の正確な形状は、描いた設計においては、ハフ変換手段600の出力640においてアクティビティが発生する時刻にはなんら影響を有しない。
したがって、図6に示すハフ変換手段600は、ラスタ画像(またはそれからの抜粋)を複数の並列信号に変換し、次にそれらを異なる速度でハフ変換手段600のいくつかの段階を通過させる極めて効率的な方法でラスタ画像内の湾曲した曲線経路の位置を決定するために適していると述べることができる。列610の出力における列合計の形成によって、段階の出力における少なくとも所定の数の信号が同時にアクティブであった場合、それはひいては、当初の通過しつつある曲線経路が「まっすぐになっている」ことを示していることが分かる。
ハフ変換手段600は、遅延素子620またはバイパス624の適切な選択によって、信号612、614、616で描写された曲線経路をまっすぐにし、第1の楕円点、第2の楕円点、第3の楕円点または第4の楕円点において楕円に近似することができるように形成されていることが好ましい。さらに、第1の楕円点、第2の楕円点、第3の楕円点または第4の楕円点において楕円に近似することができる曲線経路のみがまっすぐになることが好ましい。したがって、図6によるハフ変換手段600は、第1の曲線セグメント、第2の曲線セグメント、第3の曲線セグメントまたは第4の線セグメントを特定するために適している。ハフ変換手段600の出力640において出力信号が存在する時刻は、信号612、614、616の基礎をなすラスタ画像内の特定された曲線経路の位置、すなわち、第1の曲線セグメント、第2の曲線セグメント、第3の曲線セグメントまたは第4の線セグメントのパラメータを表している。
図7aは、パターン認識手段を介して図形画像を前進するための手順の図解図を示す。具体的には、図7aは、図6に示すハフ変換手段600(ハフフィールドまたはハフアレイとも呼ばれる)を介して画像またはラスタ画像の列方向の前進を示している。
図7aは、ここでは、複数のラスタ行720および複数のラスタ列730からなるラスタ画像710を示している。さらに、好ましくはそれぞれが5つのラスタ列730からなるグループ740を示し、5つのラスタ列は、それぞれ、信号612、614、616という形式で同時に並列にハフ変換手段600に供給されると仮定する。さらに詳細な明細については、図3の図解300を参照されたい。
図7bは、ラスタ画像の並列時間信号への変換において生じる時間信号の図解図を示す。図7bの図解図は、全体として750で示されている。図解図750は、複数の非アクティブなラスタ点または像点762、およびハッチングによって特徴付けられている複数のアクティブなラスタ点または像点764を備えるラスタ画像760を示している。アクティブなラスタ点または像点764は、曲線経路を描写していることが好ましい。すでに上述のように、ここでは、ラスタ画像760は、複数のラスタ行770および複数のラスタ列772を含む。さらに、時間信号は7つのラスタ列のグループを含む画像抜粋780に基づいて形成されると仮定する。例えば、最初の時間信号782は、ラスタ列のグループ780に含まれる最初のラスタ列784と関連付けられている。ここでは、時間信号782は、関連付けられたラスタ列784に沿ったラスタ画像780の列方向サンプリングによって生じる。同様に、第2の時間信号786は、ラスタ列のグループ780からの第2のラスタ列788の行方向サンプリングによって生じる。時間的経過を見ると、ラスタ画像760の同一のラスタ行に位置するアクティブなラスタ点は、説明したサンプリング方向の時間信号782、786、790上で同時にアクティブなインパルスとなることが明らかになる。したがって、ラスタ行内部を通過する線である横線は、時間信号782、786、790上での同時アクティビティインパルスによって、時間信号782、786、790内に横線自体を感じさせる。
ここで、時間信号782、786、790は入力信号612、614、616としてハフ変換手段600に供給され、信号612、614、616はハフ変換手段600の個々の段階610において異なって遅延されると仮定すれば、時間信号782、786、790の異なる遅延はラスタ画像760の変形に対応し、それによって湾曲した曲線経路をまっすぐな線にすることができることが明らかになる。しかしながら、時間信号782、786、790のうちのいくつかの同時アクティビティに対応するまっすぐな線は、上述のように、ハフ変換手段600において認識することができる。
図8は、本発明の第3の実施形態による図形画像内の楕円の形状および/または位置に関する情報を決定するための本発明の装置のブロック回路図を示す。図8の本発明の装置は、全体として800で示され、ビデオソースまたはカメラ810から提供される図形画像812に基づいて、人間または動物の視線方向を決定するように形成されている。例えばカメラを含むビデオソース810は、前処理手段814にビデオデータ812を提供する。前処理手段814は、それ自体のフィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)または特定用途向け集積回路(ASIC:application specific integrated circuit)内に統合されてもよい。しかしながら、前処理手段814は、以下に説明するハフ変換手段またはハフフィールド(ハフアレイ)を有する単一のFPGAに収容されてもよい。前処理手段814は、2値画像を生成するための閾値2値化によってビデオデータ812をエッジ画像に変換し、閾値2値化において生じる2値画像からのエッジ抽出を確実なものとするように形成されていることが好ましい。2値画像からのエッジ抽出は、2値エッジ画像を生じさせる膨張(伸張)および減算に基づいて行うことができる。換言すれば、前処理手段814は、ビデオデータの輝度および/または濃淡値を閾値と比較し、比較結果に基づいて、明るい画像領域または暗い画像領域のみを区別する2値画像を生成するように形成することができる。2値画像から、次に2値画像の伸張版または縮小版を生成することができ、それと同時に、当初の2値画像と伸張または縮小された2値画像との間の差が決定される。次に、この差は、ビデオデータ812内のエッジを描写するエッジ画像の生成のために用いることができる。
前処理手段814での前処理後、エッジ画像は、次に、第1の方向およびそれに直交する第2の方向のさらなる処理に利用できることが好ましい。しかしながら、エッジ画像は、第1の方向およびそれに直交する第2の方向に沿ったエッジ画像へのアクセスが可能な単一のメモリにファイルされてもよい。第1の方向のエッジ画像の処理は、例えばエッジ画像の列方向処理を意味することができ、第1の方向に直交する方向の処理は、エッジ画像の行方向処理を意味することができる。第1の方向の処理のために存在するエッジ画像は820で示され、第1の方向に直交する方向の処理のために存在するエッジ画像は822で示される。第1の方向の処理のために存在するエッジ画像820は、次に、第1の湾曲方向の湾曲した曲線経路を認識するように形成された第1のハフ変換手段830(ハフフィールドまたはハフアレイとも呼ばれる)に並列に供給される。エッジ画像820は、さらに、第1の湾曲方向と逆の第2の湾曲方向の湾曲した曲線経路を認識するように形成された第2のハフ変換手段832に供給される。
しかしながら、2つのハフ変換手段830、832は、同様に形成されてもよく、その場合、第1のハフ変換手段830には第1のエッジで開始するエッジ画像が供給され、第2のハフ変換手段には第2のエッジで開始するエッジ画像が供給される。第1のエッジは、第2のエッジに対向している。例えば、もし第1のハフ変換手段830に、最初のラスタ行で開始して1行ずつエッジ画像820を供給する場合、第2のハフ変換手段832には、最後のラスタ行で開始して1行ずつエッジ画像820を供給すればよい。
2つのハフ変換手段830、832は、第1の楕円点、第2の楕円点、第3の楕円点および第4の楕円点においてビデオデータ812の楕円に近似するエッジ画像820内の曲線セグメントを特定するように形成されている。さらに、ハフ変換手段830、832は、特定された曲線セグメントに基づいて、関連する楕円点の座標を特定するように形成されている。同様にして、第2の方向の処理のために存在するエッジ画像822が、第3のハフ変換手段840および第4のハフ変換手段842に供給され、第3のハフ変換手段840は、その本質的機能に関して第1のハフ変換手段830に対応し、第4のハフ変換手段842は、その本質的機能に関して第2のハフ変換手段832に対応する。したがって、第1のハフ変換手段830、第2のハフ変換手段832、第3のハフ変換手段840および第4のハフ変換手段842は、第1の楕円点、第2の楕円点、第3の楕円点および第4の楕円点の座標844、845、846、847を提供する。
ここでは、4つのハフ変換手段830、832、840、842は、後にさらに説明するように、FPGAに実現されることが好ましいことが指摘される。楕円計算手段850は、第1の楕円点、第2の楕円点、第3の楕円点および第4の楕円点の座標844、845、846、847に基づいて楕円パラメータを計算するようにさらに形成されたパーソナルコンピュータ(PC)に実現されることが好ましい。楕円パラメータから、ビデオソース810によって観測された人間または動物の視線方向も計算することができる。
換言すれば、90°だけ互いに対して反対方向に回転された2値画像820、822がハフアレイ830、832、840、842に入り、そこで4つの種類の端点のすべて、すなわち4つのラベル付き楕円点が取得される。端点、すなわち第1の楕円点、第2の楕円点、第3の楕円点および第4の楕円点から、次に楕円および/または楕円のパラメータが例えばパーソナルコンピュータ内で計算され、次にそこから、人間または動物の視線方向が決定される。
他に、すでに上述のように、第1の楕円点の座標844および第2の楕円点の座標845は、少なくとも、決定対象の楕円の中心の座標を計算するために十分であることが指摘される。このため、90°だけ回転されたエッジ画像822の計算を省略することができ、それにより第3のハフ変換手段840および第4のハフ変換手段842も省略することができる。
さらに、すべての楕円パラメータが計算対象である場合、少なくとも第4のハフ変換手段842も省略することができる。なぜなら、そのような計算に対しては、楕円の3つの端点の座標で十分であるからである。
さらに、ハフ変換手段830、832、840、842にエッジ画像を確実に供給することができさえすれば、前処理装置は任意に変更されてもよいことが指摘される。さらに、ここでは並列に示す処理も、十分な時間が得られさえすれば、順次に行われてもよい。
図9は、本発明の第4の実施形態による図形画像内の楕円の形状および/または位置に関する情報を決定するための本発明の装置のブロック回路図からの抜粋を示す。ここで、図9は、ブロック回路図からの抜粋910において、2つの異なるパターン認識手段920、922を用いて湾曲方向の異なる曲線セグメントを特定する可能性を示している。ここでは、第1のパターン認識手段920は、第1の湾曲方向を有する湾曲した曲線経路を認識するように形成され、第2のパターン認識手段922は、第1の湾曲方向と逆の第2の湾曲方向を有する湾曲した曲線経路を認識するように形成されている。ここでは、画像または画像抜粋930は、同様の方法で両方のパターン認識手段920、922に供給することができる。換言すれば、第1のパターン認識手段920には、最初のラスタ行が最初に供給されるように画像または画像抜粋930が供給される。第2のパターン認識手段922にも、最初のラスタ行が最初に供給されるように画像または画像抜粋930が供給される。ここでは、第1のパターン認識手段920および第2のパターン認識手段922の適用は、順次に同時に行うことができる。さらに、ブロック回路図910に関しては、用語ラスタ行を用語ラスタ列に置き換えることもできることが指摘される。
第2のブロック回路図950は、画像または画像抜粋980内の異なる湾曲方向を有する湾曲した曲線経路の認識の第2の可能性を示している。この目的のために、例えば、画像または画像抜粋980を、最初のラスタ行で開始して第1のパターン認識手段990に供給することができる。さらに、画像または画像抜粋980を、最後のラスタ行で開始して第2のパターン認識手段992に供給することができる。2つのパターン認識手段990、992は、ここでは両方とも、第1の湾曲方向の湾曲した曲線経路のみを認識するように形成されている。異なる方向の画像または画像抜粋980を供給することにより、結果として、第1のパターン認識手段990が、原画像において第1の湾曲方向を有する画像抜粋内の湾曲した曲線経路を認識する一方で、第2のパターン認識手段992が、原画像において第1の湾曲方向と逆の第2の湾曲方向を有する原画像または画像抜粋980内の湾曲した曲線経路を認識するということを達成することができる。さらに、画像または画像抜粋980が、例えば、始めに最初のラスタ行で開始し、次に最後のラスタ行で開始して、順々に第1のパターン認識手段990に供給されれば、2つのパターン認識手段990、992は必要ではないことが指摘される。この場合、第2のパターン認識手段992も省略することができる。
ブロック回路図910および950による説明した実施形態は、いずれを実現することが有利と考えられるかによって、例えば装置800に用いることができることが指摘される。
以下に、第1の楕円点、第2の楕円点および第3の楕円点の座標からの楕円パラメータの決定についてさらに詳細に説明する。ここでは、第1の楕円点、第2の楕円点および第3の楕円点は以下で「端点」とも呼ばれることが指摘される。
第1のステップにおいて、ここでは、第1の楕円点および第2の楕円点の座標から楕円の中心240の座標(xm、ym)を計算することができる。ここで、すでに先に詳細に説明している図2aおよび図2bの図解図200、250の定義が以下で用いられることを指摘すべきである。さらに、これも図2aの図解図200から取り入れることができるように、楕円の対称性から、中心は常に2つの対向する端点間のちょうど中央に位置することが指摘される。したがって、
Figure 0004604120
および
Figure 0004604120
が適用される。
以下に、楕円点の形状パラメータ、すなわち楕円の第1の半軸の長さ、楕円の第2の半軸の長さおよび回転角αの決定についてさらに説明する。
端点の座標(x1、y1)、(x2、y2)、(x3、y3)、(x4、y4)からの形状パラメータの描写は、より困難である。図2bを参照してすでに説明したように、既知の中心(xm、ym)と共に、楕円は最初に座標の原点に移動される。
この理由から、座標の原点262で回転された楕円270に関して以下に仮定する。楕円270は、可能な最小の隣接する長方形と4つ接点を有する。2つの接点は、それぞれ、座標の原点に対して回転対称である。よって、第1象限内の2つの点276、280のみを考察する。
以下に示す式(1.1)は、座標の原点においてαだけ回転された楕円をパラメータ形式で表している。
Figure 0004604120
ここで、xおよびyは、パラメータθに依存する楕円点の座標である。残りのパラメータα、aおよびbは、すでに上述されている。
tan(θ)に対して連立方程式(1.1)を解くと、
Figure 0004604120
が得られる。
x極値
Figure 0004604120
に対する条件から、
式(1.4)が、
Figure 0004604120
として導出することができ、
y極値
Figure 0004604120
に対する条件から、
式(1.6)が、
Figure 0004604120
として導出することができる。
式は、θに依存する端点の位置を表している。換言すれば、θxおよびθyは、式(1.1)に関して、変換された第1の楕円点276および変換された第3の楕円点280に対するパラメータθのパラメータ値をそれぞれ表している。
式(1.2)と(1.4)と、および/または式(1.2)と(1.6)とを同等とみなすと、置換
Figure 0004604120
の後、
Figure 0004604120
および
Figure 0004604120
が導かれる。
以下に、回転角αの計算について説明する。回転角を計算するために、式(1.7)および(1.8)を同等とみなすことによって、楕円の軸比の2乗a2/b2を削除することができる。これにより、4次方程式
Figure 0004604120
が導かれる。
結果は、メイプル(Maple)コンピュータ代数プログラムで求められた。式(1.9)の4つの計算結果のうちの2つは虚数である。他の2つの解u1およびu2は、
Figure 0004604120
である。
逆置換後、90°だけ回転された楕円は逆数の軸比を有する非回転楕円に等しいので、αに対する2つの計算結果はちょうど90°だけ異なる。正しい計算結果は、場合分けによって決定することができ、
xおよびyyが同一の正負符号を有する場合、
Figure 0004604120
が適用され、
しかしながら、正負符号が異なる場合、
Figure 0004604120
が適用される。
ここで、軸比ρ=a2/b2を、既知の回転角を有する式(1.7)または式(1.8)から決定することができる。
以下に、半軸の長さの計算について説明する。
ここまで、回転角αおよび軸比ρを決定してきた。半軸の長さの計算に対しては、再度楕円の方程式を用いる必要がある。端点θxおよびθyの位置から、以下の連立方程式
Figure 0004604120
が得られる。
この式から、拡張および減算によってaを削除することができる。
Figure 0004604120
式(1.4)および(1.6)を式(1.14)に代入することにより、θxおよびθyを削除することができる。残っているのは、回転角α、軸比ρ、および2つの端点のx座標に依存する半軸bに対する式
Figure 0004604120
である。
軸比ρおよび半軸bから、欠損している半軸αを何ら問題なく計算することができる。
Figure 0004604120
以下に、楕円パラメータの計算における系または式の冗長性の問題を取り扱う。ここでは、まずその問題自体について説明する。さらに、本発明の装置および本発明の方法の信頼性を高めるために冗長性をどのように活用することができるかについて説明する。
4つの端点が求められれば、楕円は冗長となる。楕円の5つのパラメータの決定に対しては、4つの可能な端点(8つの座標)からの5つの座標のみが必要である。このために、「2.5の楕円点」が必要となる。
中心の決定に対しては、2つの対向する端点が必要となる。試験から、以下の式
Figure 0004604120
が、図2bによる楕円に常に適用されることが分かっている。
これは、4つのすべての値xx、xy、yxおよびyyの決定に対しては3つの測定値で十分であることを意味する。そのうちの2つは、中心の決定から必ず分かる。次に、第3の点のさらなる座標を、残りの楕円パラメータの決定に用いる必要がある。
例えば、点1および点3、すなわち第1の楕円点226および第2の楕円点228は、中心240の決定に用いられる。座標の原点への移動後、xxはx3−xmとなり、yxはy3−ymとなる。したがって、xxおよびyxはx方向の極値を表す。y方向の端点のさらなる座標から、式(1.17)によって第4の値を決定することができる。
測定値、すなわち座標決定手段から提供された端点の座標は、正確ではない。すなわち、それらは、式(1.17)を容易には満足させない。もし測定値(すなわち座標決定手段から提供された値)が、計算された値の代わりに、式(1.17)に関係なく楕円パラメータの計算に用いられれば、わずかに誤った測定点から間違った結果を得る危険性がある。楕円パラメータの推測において、実際に楕円が存在すると仮定しているので、値(すなわち計算に用いられる座標)も、「真の」楕円が起源でなければならない、すなわち、式(1.17)は、(少なくともほぼ)常に、(座標決定手段から提供された座標がすべて単一の楕円に属する点に基づいているかぎりは)座標決定手段から提供された座標によって満足されるものでなければならない。
以下に、上述の冗長性を活用できる方法を説明する。
計算された値(式(1.17)を用いて)(第3の楕円点280の座標に対して)と測定値(すなわち座標決定手段から直接提供された)との間の距離は、求められた楕円を評価するために用いることができる。3つの端点は入力画像内の楕円が起源であることを保証することができる。
4つの点が利用可能であれば、楕円パラメータの計算は、それぞれ3つ(または合わせて5つの座標)で行うことができる。4つの点から、例えば、3つの点を有する3つの異なる組が形成されることになる。そこから計算された4つの楕円のパラメータは、4つの点が存在する場合の冗長性を克服するために平均することができる。
要約すれば、先に説明した概念に基づいて、ハフ変換を基礎とする実時間で可能な楕円認識を実現することができると述べることができる。第1のステップにおいて、楕円の極値または端点(第1の楕円点、第2の楕円点、第3の楕円点および第4の楕円点とも呼ばれる)が決定される。並列ハフ変換または他のパターン認識法を用いて、画像内の楕円の顕著な点がシークされ、その位置から、楕円パラメータ(すなわち座標(xm、ym)で表される中心、半軸aおよびb、回転α)またはa/bのような楕円パラメータの関数を正確に決定することができる。
楕円点の顕著な点は、極値のx座標およびy座標と、エッジ画像の正および負のx方向の端点と、エッジ画像の正および負のy方向の端点とである。上述の端点は、例えば、図2aの図解図200に示されている。
楕円パラメータの独自の決定に対しては、1方向のちょうど2つの端点および第3の楕円点のさらなる座標が既知である必要がある。例えば、座標(x0、y0)および(x2、y2)と座標x1、y1、x3またはy3のうちの1つとが既知であれば十分である。同様に、座標(x1、y1)および(x3、y3)と座標x0、y0、x2またはy2のうちの1つが既知であれば十分である。数学的表記では、これは以下のように表すことができる。
((x0、y0)および(x2、y2)および(x1、y1、x3またはy3))または
((x1、y1)および(x3、y3)および(x0、y0、x2またはy2))
は、楕円パラメータの決定に対して既知である必要がある。
より多くの情報(すなわちより多くの座標)が利用可能であれば、誤差の最小化のような適切な方法によって、計算のあいまいさを排除することができる。必要とされるより多い点が既知であれば、(最大で)4つの既知の点それぞれのうちの2.5によって、いくつかの楕円をさらに計算してもよい。これらの楕円のパラメータが平均され、その結果の楕円のパラメータがもたらされる。換言すれば、(「2.5点」の)5つのパラメータそれぞれは、いくつかの複数組の楕円パラメータを計算するために用いることができる。その結果、いくつかの計算された複数組の楕円パラメータ全体にわたる平均を行うことができる。
端点の決定も、極値サーチとして理解することができる。極値サーチは、端点の周りでの十分に近似する楕円(またはシークされる楕円)を描写する異なる半径を有する円形曲線のサーチによって行うことができる。円形曲線サーチは、次に、例えば正と負のxおよびy方向、すなわち、例えばラスタ化された画像の4つのすべての標準的な方向に行われる。ここでは、画像は、それぞれの方向に、重なり合うストリップまたは画像抜粋の状態で解析される。
これに特に適した方法は、上述の並列シストリックハフ変換である。並列シストリックハフ変換は、円形曲線のために構成され、極値サーチに適合されている。エッジ点(エッジ画像の点)が前進される間、平均して各クロック毎に、行合計Cから、1列ずつ順次接続された遅延素子Aのフィールド(アレイ)によって、nエッジ点の投票が形成される。換言すれば、行合計は、エッジ画像の点がn番目の段階を介して前進される間に、ハフフィールド(ハフアレイ)のn番目の段階において形成される。それぞれの像点は、接続されたバイパスBを考慮に入れながら、クロック毎に次の遅延素子へ前進される。それぞれの列は、いくつかのクロックでのバイパスBの接続によってあらかじめ定められた投票を生成する。投票は、前進された点がどの円形曲線上に位置するかを示す。列を起源とする投票は、それぞれのクロックにおいて追加されるアキュムレータの列をもたらす。
アキュムレータ内への入力は、閾値を用いて、それぞれの行内の比較器によって円形曲線が求められたか否かが決定される場合、省略することができる。閾値を超えた場合、データによってクロック毎にさらに前進されるビットが、バイパスを有するさらなる遅延素子列内の定義された位置に生成される。
ハフフィールドまたはハフアレイを離れると同時に、すなわちハフ変換手段の出力Eにおいて、形成されたビットが検出される。それらは、検出された円形曲線の座標に関する、従って端点の座標に関する指標となる。
よりよく理解するために、それぞれの列内のFにおいて1行ずつハフ変換手段600内に前進された円形曲線が、フィールド(アレイ)の特定の行内で単一のまっすぐな線になり、それによって、遅延素子のバイパスの異なる構成によって(検出可能な)行合計がもたらされると想像することができる。
すべての円形値および/または極値すなわち端点を求めるためには、それぞれの画像列およびそれぞれの画像行を、フィールド(アレイ)のそれぞれの列を経て、正確に前方に1回、後方に1回移動させる必要があり、その場合、その画像列は、常に、その隣の列を伴ってのみフィールド(アレイ)を経て移動される。図7aは、1方向へのフィールド(アレイ)を通る画像の列方向移動を示している。ここでは、例えば、常に、5つの隣接する画像列が同時に経由移動される。
フィールド(アレイ)を用い、かつそれを4つのすべての方向に対して用いる代わりに、2つまたは4つのフィールド(アレイ)を用いることができる。そのうちの2つのフィールド(アレイ)が、2つの他のフィールド(アレイ)に関して、逆の湾曲を有する円形曲線を変換および/または認識するように構成されていれば、(画像)データのみをフィールド(アレイ)を経て前方に、すなわちそれぞれの原画像から、および90°負の方向に回転された画像から、移動すればよい。次に、上述の方法で、端点の座標を決定すればよい。画像内に存在する一般にごくわずかな端点、従って少量のデータしか形成しない座標を、その後のステップにおいて個々の楕円と関連付ける必要がある。これは、例えばパーソナルコンピュータまたはマイクロコントローラで行えばよい。極値認識後(すなわち端点の座標の決定後)のデータの量が少ないことから、ここでは高い必要条件は発生しない。本発明の概念は、処理時間が画像内容に依存するという利点を有する。さらに、楕円パラメータをごくわずかの極値から計算することができる。この極値からの楕円パラメータの計算は、例えばFPGAまたはASICを用いて、極めて迅速に実行することができ、かつハードウェア内に容易に実現することができる。
以下に、FPGAアーキテクチャにおける本発明の概念の実施に関してさらに詳細に説明する。最初に、パーソナルコンピュータ支援による計算に対立するものとしてのFPGAの利点を説明する。パーソナルコンピュータ(PC:personal computer)上での本発明のアルゴリズムの計算では、すべてのステップを1つずつ順を追って実行する必要がある。
PC上でのアルゴリズムの計算では、すべてのステップを1つずつ順を追って実行する必要がある。これは、複雑なアルゴリズムでは計算時間につながる。さらに、開発されたアルゴリズムは、個々のビットを処理し、PCの32ビットアーキテクチャを効果的に利用することができない。ここで、FPGAがより優れた可能性を提供する。これは、ほとんどいずれの回路にも接続することができる、論理回路、フリップフロップ、メモリおよび信号ドライバの集積である。これによって、アルゴリズムに対するハードウェアの適合が可能となる。さらなる実質的な利点は、シストリックアーキテクチャの構築である。立ち上がりから立ち上がりエッジまでのクロックの各周期において組み合わせ論理回路の通過が生じ、その結果は、直ちにさらなる論理回路に対する入力値としてこの結果を提供するフリップフロップに格納される。このようにして、それぞれの周期において、新たなデータを回路の入力において適用することができ、結果をその回路からさらに送ることができる。
図10は、対応するFPGAアーキテクチャのブロック回路図を示し、組み合わせ論理のブロックがフリップフロップの出力と入力との間に配置されている。
レベル高感度フリップフロップは、クロックの周期を決定するのはFPGA内の論理全体のランタイムではなく、回路全体の中の2つのフリップフロップ間の最も広範な組み合わせ論理のランタイムであるという事実を提供する。このアーキテクチャを通じて、高周波数のクロックおよび短い処理時間を実現することができる。用いられるハードウェアは、効果的に利用される。
さらに、FPGA内に設けられたターゲットアーキテクチャについて説明する。意図したターゲットアーキテクチャは、マイクロコントローラによって制御されるいくつかの付加IP(intellectual property:知的財産)コアを有するバスシステム(OPB=On Peripheral Bus:オンペリフェラルバス)を備える。IPコアは、インタフェース機能、シリアルインタフェース(シリアルポート)、PCIインタフェース等、および実際の画像処理を実行する。
ソフトプロセッサ(すなわち、機械のコマンドを処理するためのプロセッサ)は、FPGA内での制御のために実装されてもよい。この「ザイリンクスマイクロブレーズ(Xilinx Microblaze)」ソフトプロセッサは、RISC(reduced instruction set computing:縮小命令セット・コンピューティング)アーキテクチャに基づいており、割り込み可能である。確立されたIPコアは、「マイクロブレーズ(Microblaze)」ソフトプロセッサソフトプロセッサと通信するために、標準インタフェース、例えばOPB−IPIF(オンペリフェラルバス知的財産インタフェース)への通信用に付加されている。
以下に、「ハフコア」とも呼ばれるハフ変換手段の構成および機能について説明する。
図11は、本発明の第4の実施形態によるFPGA内への実現のための本発明のアーキテクチャのブロック回路図を示し、図12に、本発明の第5の実施形態による本発明のハフ変換手段のブロック回路図を示す。
OPBを介してハフコアのOPB−IPIFに転送される2値化エッジ画像は、ハフ変換手段の入力信号としての役割を果たす。そこで2値化エッジ画像が処理され、結果はこの経路を介して戻される。ハフコアは、機能を実行するための種々の素子を有する。ハフコアコントローラ(HoughCoreController)(図12では左から入力信号流れ方向)は、ハフ変換手段の制御およびOPBを介したデータ交換、すなわちIP制御およびデータ通信のためのOPB−IPIFとハフコアとの間のインタフェースとなる。いわゆる「画像ROM」(picture read−only memory:画像読み取り専用記憶装置)には、例えば最大512×512ピクセルのサイズのエッジ画像全体が格納される。格納は、「ブロックRAM」とも呼ばれる、ランダムアクセス(書き込みおよび/または読み取り)を有するメモリブロックを形成する、2つのアクセスポートを有するメモリセル(「デュアルポートメモリセル」とも呼ばれる)内に行われる。2つのポートのそれぞれが、異なるクロック速度で動作することができる。これによって、ハフコアを、それがソフトプロセッサバスシステム(マイクロブレーズOPBシステム)に対して可能であるよりも高いクロック速度で作動させることが可能となる。
ランダムアクセスを有するメモリブロック(BRAMs:memory blocks with random access)内への画像の格納は、処理中に画像のデータが数回アクセスを受けるために、極めて有利である。それにより、OPBインタフェースの時間(「OPB時間」)が節約され、次に、それを例えば結果または新たな画像部分を転送するために用いることができる。データ選択移動手段は、(セレクトシフトデータ(SelectShiftData)素子)とも呼ばれ、次に、画像の64×画像高さピクセルのウィンドウの遅延ライン内への1行ずつの移動を開始する。データ選択移動手段は、巨大なマルチプレクサとみなすことができる。1つのウィンドウが処理されれば、そのウィンドウは、画像の幅方向に1ピクセル移動される。
遅延ライン(DelayLine)では、1列当たりの個々の像点が異なる速度で前進する。外側では(すなわち、選択された画像抜粋の2つのエッジ)では、内側において(すなわち、選択された画像抜粋の中央において)よりも迅速にこれが生じ、それにより、段階的に、上方に半球状となった円形曲線(すなわち、通常第1の湾曲方向を有する曲線)がまっすぐな線に変形し、次に、下方に半球状となった曲線(すなわち、第1の湾曲方向と逆の湾曲方向を有する曲線)に変形する。
例えば、欧州特許第1032891号に説明されているように、曲率半径によって、これ(すなわち、湾曲した曲線をまっすぐな線にすること)は、遅延ラインの異なる位置(または異なる段階)で生じる。これらの位置は、検出およびマークの対象である。より速い速度を実現するために、これらの位置では、より少ないフリップフロップが互いに接続されている。換言すれば、信号のより少ない遅延が望まれる遅延ライン内の場所では、より大きい遅延が望まれる遅延ライン内の場所においてよりも、より少ないフリップフロップが信号の信号経路内に接続されている。
さらなる素子は、遅延ライン(DelayLine)を出入りするエッジ点の数を絶えず計算する。これらは、閾値比較器634を含む2値化出力素子(BinarizeOutput)に供給される動的閾値の計算に用いられる。換言すれば、比較器634に対する閾値は、画像内容を有する信号612、614、616がハフ変換手段に供給される数に応じて決定される。これは、特に、画像情報を有する利用可能な信号の数が画像の中央に位置する画像抜粋の処理におけるよりも少ない画像のエッジの処理だけに限って言えば妥当である。したがって、図7aで「0」、「1」、「2」および「3」で示すラスタ列のグループは、例えば、「4」、「5」、「6」、「7」、「8」、「9」および「10」で示すラスタ列のグループよりも、含んでいる画像情報を有するラスタ列の数は少ない。
遅延ライン(DelayLine)の行合計のうちの1つが閾値を超えれば、この点を定義する(論理的な)「1」が(例えば、遅延ラインの対応する段階の)出力に生成される。この(論理的な)「1」は、遅延ライン内のデータと共に搬送される。画像の座標では、画像は、その関連する場所を、ウィンドウの中央およびそれぞれの行に有する。換言すれば、生成された論理的な「1」は、時間位置に関して画像のほぼ中央に位置する点と関連付けられ、したがって、関連する点と共に、遅延ラインを通って並列に転送される。データストリングコレクタ(DataStringCollector)素子が32ビットを収集し、これらの出力ビットのそれぞれをひと続きにして、これをディスパッチングのためにハフコアコントローラ(HoughCoreController)に利用できるようにする。これは、ハフコアの状態を絶えずチェックする。ハフコアの状態は、ハフコアコントローラ(HoughCoreController)を介して、ソフトプロセッサ(マイクロブレーズ(Microblaze))によって問い合わせることもできる。
画像内の(上述の)関連する点(中央の点とも呼ばれる)は、常に、前述のウィンドウの中心に位置するので、画像エッジから水平方向に少なくとも32ピクセル(またはウィンドウの幅の約半分)離れて位置する点のみを、出力画像内に生成することができる。ただし、4つの限定された点すべて(すなわち楕円の4つの端点すべて)を求めるためには、画像を4方向すべてから計算する必要があり、それによってデッドスペースがここでもまた削除される。換言すれば、4方向の上述の画像解析によって、曲線を認識することができないデッドスペースは生じないと言う事実が判明する。
図13は、本発明のハフ変換手段によって処理される画像の図解図を示す。この画像は、全体として1300で示される。この画像は、第2の線1310として見ることができる円を実質的に含んでいる。さらに、本発明のハフ変換手段によって別個に処理することができる第1の画像抜粋1320および第2の画像抜粋1330は、画像1300内に見ることができる。第1の画像抜粋1320は、用いられたラスタ列の領域内の画像のすべてのラスタ行を含んでいる。第2の画像抜粋1330は、第1の画像抜粋1320とちょうど同じ数のラスタ列を含んでいるが、第2の画像抜粋1330が第1の画像抜粋1320と異なるラスタ列をサンプリングするように、第1の画像抜粋1320とは対照的に移動されている。ここで、定義により、ラスタ行は図13の図解図1300内で水平方向に通過するが、ラスタ列が垂直に通過することが指摘される。この理由から、この図は、図3の図解図300に一致する。
図14は、本発明のハフ変換手段において、湾曲した曲線経路がどのようにして段階的にまっすぐな線になるかについて再度概略的に説明する。ここでは、曲線経路1410は、ハフ変換手段に入力された曲線の曲線経路を表している。第2の曲線経路1420は、第1の曲線経路1410がハフ変換手段の最初の段階を通過した際に得られた曲線経路を表している。第3の曲線経路1430は、第1の曲線経路1410がハフ変換手段の2つの段階を通過した際に得られた曲線経路を表している。第4の曲線経路1440は、第1の曲線経路1410がハフ変換手段の3つの段階を通過した際に得られた曲線経路を表している。第5の曲線経路1450は、第1の曲線経路1410がハフ変換手段の4つの段階を通過した際に得られた曲線経路を表している。第5の曲線経路1450は、ほぼまっすぐな線を表していることが分かる。したがって、ハフ変換手段に最初に入力された第1の曲線経路1410がハフ変換手段のいくつかの段階を通過する際に段階的にまっすぐな線になることが分かる。すでに上述のように、比較器によって認識することができる大きい行合計がすぐ後にもたらされるので、ハフ変換手段は、曲線経路がほぼまっすぐになる時を認識することができる。
さらに、図15は、本発明のハフ変換手段の例示的な構造の概略図を示す。図15の概略図は、全体として1500で示される。ハフ変換手段1500は、いくつかの時間信号1510を並列に受信し、次に、それを並列信号経路1520に転送するように形成されている。並列信号経路1520に転送される際に、時間信号1510は、図6のブロック回路図に対応するAで示す遅延手段を通過する。種々の信号経路内に向かう種々の時間信号1510は、ここで、配置の異なる遅延手段を通過し、通過される遅延手段の数も、種々の信号経路に対して全体として変ることができる。さらに、遅延手段は図6による段階610に対応する段階1530に配置されることが指摘される。もし遅延素子が段階1530内の特定の信号経路に含まれていれば、これは、図6にBで示すバイバスとみなすことができる。
さらに、図15に示す構造1500は、図6に示す構造600に実質的に対応することが指摘される。図15の構造には、非アクティブにされた遅延素子が実線で示され、一方で、対応して構成することができる遅延素子とバイパスとの並列接続が、構造600内のそれぞれの段階およびそれぞれの信号経路に対して示されている。さらに、図6に示す合計段階630(Cでも示す)、比較器634(Dでも示す)および遅延素子636の連鎖は、明瞭にするために図15には示していないことが指摘される。しかしながら、言及した構造も、図15の回路1500内に存在することが好ましい。
図16aは、認識された端点を有する円の図解図をさらに示す。一方、図16bは、4つの認識された端点を有する円の図解図を示す。
さらに、本発明の概念は、装置としても方法としても実施することができることが指摘される。さらに、本発明の概念は、コンピュータプログラムによって実行することもできる。
図17は、図形画像内の楕円の形状および/または位置に関する情報を決定するための本発明の方法のフローチャートを示す。図17のフローチャートは、全体として1700で示される。この方法は、第1のステップ1720で、図形画像1710を受信し、それから、第1の方向の最遠に位置する楕円の点を表す第1の楕円点の2つの座標を決定する。この目的のために、第1の楕円点または第1の楕円点の周囲において楕円に近似する第1の曲線セグメントの少なくとも1つのパラメータが決定される。次に、第1の曲線セグメントの少なくとも1つのパラメータに基づいて、第1の楕円点の2つの座標が決定される。
第2のステップ1730では、第1の方向と逆の方向の最遠に位置する楕円の点を表す第2の楕円点の2つの座標が決定される。この目的のために、第2の楕円点または第2の楕円点の周囲において楕円に近似する第2の曲線セグメントの少なくとも1つのパラメータが決定される。次に、第2の曲線セグメントの少なくとも1つのパラメータに基づいて、第2の楕円点の2つの座標が決定される。
次に、最後の第3のステップ1740では、楕円の少なくとも1つの楕円パラメータが第1の楕円点および第2の楕円点の2つの座標に基づいて計算される。
説明した方法は、上述の装置の機能を実行するものであることが指摘される。したがって、説明した本発明の方法は、本発明の装置に関して説明した機能によって拡張することができる。
さらに、説明した方法のいくつかのステップは、別の順序で並列に実行することもできる。
本発明の概念または方法は、条件によって、ハードウェアまたはソフトウェアで実施されてもよい。この実施は、対応する方法が実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデジタル記憶媒体、例えばフロッピー(登録商標)ディスク、CD、DVDまたはフラッシュメモリ媒体上に行うことができる。そのため、一般に、本発明は、コンピュータプログラム製品がコンピュータ上で実行される場合に、本発明の方法を実行するためのプログラムコードが機械読み取り可能なキャリアに格納されたコンピュータプログラム製品内にも存在する。換言すれば、本発明は、コンピュータプログラムがコンピュータ上で実行される場合に、本発明の方法を実行するためのプログラムコードを有するコンピュータプログラムとして実現することもできる。
全体として、このように本発明は、図形画像内の楕円のパラメータを特に効率的なしたがって実時間に適した方法で認識することを可能にする概念を提供する。ここでは、楕円の認識は、数多くの技術的方法に関連して有利に用いることができる。例えば、本発明の概念を用いて、人間または動物の視線方向を、人間の眼のビデオキャプチャを評価することによって決定することができ、そこから瞳孔の位置を決定することができる。
さらに、種々の位置決定手段または位置決定作業に関連した本発明の概念の利用が可能である。本発明の装置からインタフェースを介して提供することができる楕円パラメータは、例えば、資材処理手段において、車両に燃料を補給する際、または製造中の加工品を仕分けする際に、技術システム内の運動シーケンスを制御するために、1つ以上のアクチュエータを制御するために用いることができる。
本発明の概念の際立った利点は、ここでは、楕円の端点を決定するためのパターン認識手法が楕円パラメータを計算するための分析的手法と組み合わされ、それによって、従来の方法とは対照的に、大幅な効率化の利点を得ることができるという事実にある。
図1は、本発明の第1の実施形態による図形画像内の楕円の形状および/または位置に関する情報を決定するための本発明の装置のブロック回路図である。 図2aは、楕円と第1の楕円点、第2の楕円点、第3の楕円点、第4の楕円点および楕円の中心の座標との図解図である。 図2bは、原点に移動された楕円および2つの楕円点の変換された座標の図解図である。 図3は、例示的なラスタ画像および連続的に処理された画像抜粋の図解図である。 図4aは、本発明の第2の実施形態による楕円点の座標を決定するための本発明の装置のブロック回路図である。 図4bは、本発明のパターン認識手段に用いるための3つの例示的な基準曲線の図解図である。 図5aは、認識された曲線セグメントに印が付けられた例示的なラスタ画像の第1の図解図である。 図5bは、認識された曲線セグメントに印が付けられた例示的なラスタ画像の第2の図解図である。 図6は、図形画像内の楕円の形状および/または位置に関する情報を決定するための本発明の装置に用いるためのパターン認識手段のブロック回路図である。 図7aは、図6によるパターン認識手段を介して図形画像を前進するための手順の図解図である。 図7bは、ラスタ画像の並列時間信号への変換において生じる時間信号の図解図である。 図8は、本発明の第3の実施形態による図形画像内の楕円の形状および/または位置に関する情報を決定するための本発明の装置のブロック回路図である。 図9は、本発明の第4の実施形態による図形画像内の楕円の形状および/または位置に関する情報を決定するための本発明の装置のブロック回路図からの抜粋である。 図10は、本発明の装置の実装のためのフィールドプログラマブルゲートアレイ(FPGA)の例示的なアーキテクチャのブロック回路図である。 図11は、本発明の第4の実施形態によるFPGA内に実現するための本発明の回路アーキテクチャのブロック回路図である。 図12は、本発明の第5の実施形態による本発明のハフ変換手段のブロック回路図である。 図13は、本発明のハフ変換手段によって処理される画像の図解図である。 図14は、本発明のハフ変換手段を通過する際に得られる曲線経路の図解図である。 図15は、本発明のハフ変換手段の例示的な構造の概略図である。 図16aは、本発明のハフ変換手段によって処理された、認識された端点を有する円の画像の図解図である。 図16bは、本発明のハフ変換手段によって処理された、4つの認識された端点を有する円の画像の図解図である。 図17は、図形画像内の楕円の形状および/または位置に関する情報を決定するための本発明の方法のフローチャートである。

Claims (35)

  1. 図形画像(112;812)内の楕円の形状および/または位置に関する情報(122)を決定するための装置(100;800)であって、前記図形画像(112;812)は第1の方向(130;x)と第2の方向(132;y)とを含み、前記装置は、
    前記第1の方向(130;x)の最遠に位置する前記楕円(134;220)の点を表す第1の楕円点(136;226)の2つの座標(x1’、y1’;x3、y3)を決定し、かつ
    前記第1の方向(130;x)と逆の方向の最遠に位置する前記楕円(134;220)の点を表す第2の楕円点(138;228)の2つの座標(x3’、y3’;x1、y1)を決定するための座標決定手段(110;400;830、832、840、842)を備え、
    前記座標決定手段(110;420;430;814、830、832、840、842)は、前記第1の楕円点(136;226)または前記第1の楕円点(136;226)の周囲において前記楕円(134;220)に近似する第1の曲線セグメント(146)の少なくとも1つのパラメータを決定し、前記第1の曲線セグメント(146)の前記少なくとも1つのパラメータに基づいて、前記第1の楕円点(136;226)の前記座標(x1’、y1’;x3、y3)を決定し、かつ
    前記第2の楕円点(138;228)または前記第2の楕円点(138;228)の周囲において前記楕円(134;220)に近似する第2の曲線セグメント(148)の少なくとも1つのパラメータを決定し、前記第2の曲線セグメント(148)の前記少なくとも1つのパラメータに基づいて、前記第2の楕円点(138;228)の前記座標(x3’、y3’;x1、y1)を決定するように形成され、
    前記第1の楕円点(136;226)の前記2つの座標(x1’、y1’;x3、y3)および前記第2の楕円点(138;228)の前記2つの座標(x3’、y3’;x1、y1)に基づいて、少なくとも1つの楕円パラメータ(xm’、ym’、a’、b’、α’;xm、ym、a、b、α)を計算するための楕円計算手段(120;850)を備え、
    前記少なくとも1つの楕円パラメータ(xm’、ym’、a’、b’、α’;xm、ym、a、b、α)は、前記楕円(134;220)の前記形状および/または前記位置に関する前記情報(122)を表す、装置(100;800)。
  2. 前記座標決定手段(110;400;814、830、832、840、842)は、さらに、前記第2の方向(132;y)の最遠に位置する前記楕円(134;220)の点を表す第3の楕円点(140;230)の少なくとも1つの座標(x4’、y4’;x2、y2)を決定するように形成され、
    前記座標決定手段(110;400;814、830、832、840、842)は、第3の楕円点(140;230)または前記第3の楕円点(140;230)の周囲において前記楕円(134;220)に近似する第3の曲線セグメント(150)の少なくとも1つのパラメータを決定し、かつ
    前記第3の曲線セグメント(150)の前記少なくとも1つのパラメータに基づいて、前記第3の楕円点(140;230)の少なくとも1つの座標(x4’、y4’;x2、y2)を決定するように形成され、
    前記楕円計算手段(120)は、前記第1の楕円点(136;226)の前記2つの座標(x1’、y1’;x3、y3)、前記第2の楕円点(138;228)の前記2つの座標(x3’、y3’;x1、y1)および前記第3の楕円点(140;230)の前記少なくとも1つの座標(x4’、y4’;x2、y2)に基づいて、少なくとも1つの楕円パラメータ(xm’、ym’、a’、b’、α’;xm、ym、a、b、α)を計算するように形成されている、請求項1に記載の装置(100;800)。
  3. 前記図形画像(112;812)は、複数のラスタ行(320、330、332、334、368、372)内および/または複数のラスタ列(322、336、338、340、362、366)内に配置された複数の像点(312、314)を含むラスタ画像(310)であり、前記楕円(134、220;350)は、楕円点を形成する複数の像点によって描写され、および/または、前記第1の曲線セグメント(146)は、複数の隣接する像点によって描写することができ、および/または、前記第2の曲線セグメント(148)は、複数の隣接する像点によって描写することができ、および/または、前記第3の曲線セグメント(150)は、複数の隣接する像点によって描写することができる、請求項1または請求項2に記載の装置(100;800)。
  4. 前記座標決定手段(110;400;814、830、832、840、842)は、複数(360;364;370;374;380)のラスタ行および/またはラスタ列によって形成された特定対象の前記画像の画像抜粋(360、364、370、374、380;740;1320、1330)内で、前記第1の曲線セグメント(146)を形成する曲線経路(510、520、560、570)を特定するために、前記ラスタ行(320、330、332、334、368、372)および/または前記ラスタ列(322、336、338、340、362、366)を用いてパターン認識を実行し、かつ前記特定された曲線経路(510、520、560、570)の少なくとも1つのパラメータを前記第1の曲線セグメント(146)のパラメータとして決定するように形成されている、請求項3に記載の装置(100;800)。
  5. 前記座標決定手段(110;400;814、830、832、840、842)は、
    前記複数(360、364、370、374、380)のラスタ行および/またはラスタ列によって形成された特定対象の前記画像(112;310;812;1300)の前記画像抜粋(1320、1330)内で、解析対象の前記画像抜粋(1320、1330)が、所定の類似性測度に関して、前記第1の曲線セグメント(146)の種々のパラメータに対する前記第1の曲線セグメント(146)の許容可能な経路を描写する第1の組の取り得る基準曲線経路(452、454、456)からの基準曲線経路に十分に類似する曲線経路を含むかどうかチェックすることにより、前記第1の曲線セグメント(146)を形成する曲線経路を特定し、
    および/または、前記複数(360、364、370、374、380)のラスタ行(320、330、332、334、368、372)および/またはラスタ列(322、336、338、340、362、366)によって形成された解析対象の前記画像(112;310;812;1300)の前記画像抜粋(1320、1330)内で、解析対象の前記画像抜粋(1320、1330)が、所定の類似性測度に関して、前記第2の曲線セグメント(148)の種々のパラメータに対する前記第2の曲線セグメント(148)の許容可能な経路を描写する第2の組の取り得る基準曲線経路(452、454、456)からの基準曲線経路に十分に類似する曲線経路を含むかどうかチェックすることにより、前記第2の曲線セグメント(148)を形成する曲線経路を特定し、
    および/または、前記複数(360、364、370、374、380)のラスタ行(320、330、332、334、368、372)および/またはラスタ列(322、336、338、340、362、366)によって形成された解析対象の前記画像(112;310;812;1300)の前記画像抜粋(1320、1330)内で、解析対象の前記画像抜粋(1320、1330)が、所定の類似性測度に関して、前記第3の曲線セグメント(150)の種々のパラメータに対する前記第3の曲線セグメント(150)の許容可能な経路を描写する第3の組の取り得る基準曲線経路からの基準曲線経路に十分に類似する曲線経路を含むかどうかチェックすることにより、前記第3の曲線セグメント(150)を形成する曲線経路を特定するために、
    前記ラスタ行(320、330、332、334、368、372)および/またはラスタ列(322、336、338、340、362、366)を用いてパターン認識を実行するように形成されている、請求項4に記載の装置(100;800)。
  6. 前記1組の取り得る基準曲線経路(452、454、456)は、それらの位置および/または形状に関して異なる曲線経路を描写し、前記位置および/または形状を特徴付ける少なくとも1つのパラメータは、複数の取り得る基準曲線経路(452、454、456)からの曲線経路と関連付けられ、前記座標決定手段(110;400;814、830、832、840、842)は、前記所定の類似性測度に関して、前記複数の取り得る基準曲線経路(452、454、456)からの前記曲線経路のうちのどの1つが前記画像抜粋(1320、1330)内の曲線経路に十分に類似しているかについての事実から、前記第1の楕円点(136)において前記楕円(134)に近似する前記第1の曲線セグメント(146)のパラメータ、前記第2の楕円点(138)において前記楕円に近似する前記第2の曲線セグメント(148)の前記パラメータまたは前記第3の楕円点(140)において前記楕円に近似する前記第3の曲線セグメント(150)の前記パラメータを導出するように形成されている、請求項5に記載の装置(100;800)。
  7. 前記曲線経路は、それらが前記第1の楕円点または前記第2の楕円点または前記第3の楕円点において異なる形状および/または位置の楕円に近似するように、複数の取り得る基準曲線経路(452、454、456)から選択される、請求項5または請求項6に記載の装置(100;800)。
  8. 前記曲線経路は、それらが異なる位置および/または異なる半径の円形曲線からの抜粋を描写するように、前記複数の取り得る基準曲線経路(452、454、456)から選択される、請求項5から請求項7のうちの1項に記載の装置(100;800)。
  9. 前記座標決定手段(110;400;814、830、832、840、842)は、解析対象の複数の画像抜粋(360、364、370、374、380;740;1320、1330)内で、前記第1の曲線セグメント(136)を形成する曲線経路を特定するために、解析対象の前記画像(112;310;812;1300)の複数の画像抜粋(360、364、370、374、380;740;1320、1330)にパターン認識(420;830、832、840、842)を適用し、かつ前記画像(112;310;812;1300)の前記複数の画像抜粋(360、364、370、374、380;740;1320、1330)のうちのどの1つにおいて前記第1の曲線セグメント(136)が特定されるかに基づいて、前記第1の曲線セグメント(136)の位置パラメータを決定するように形成されている、請求項1から請求項8のうちの1項に記載の装置(100;800)。
  10. 前記座標決定手段(110;400;814、830、832、840、842)は、解析対象の前記画像(112;310;812;1300)の前記複数の画像抜粋(360、364、370、374、380;740;1320、1330)に前記パターン認識(400;830;832;840;842)を適用するように形成され、前記解析対象の画像抜粋は、前記複数の解析対象の画像抜粋(360、364、370、374、380;740;1320、1330)のうちの少なくとも2つの画像抜粋が重ね合わされるように選択される、請求項9に記載の装置(100;800)。
  11. 前記座標決定手段(110;400;814、830、832、840、842)は、前記第3の楕円点(140;230)の少なくともさらなる座標(x4’、y4’;x2、y2)を追加の座標として決定するか、または、前記第2の方向(132;y)と逆の方向の最遠に位置する前記楕円(132;220)の点を表す第4の楕円点(142;232)の少なくとも1つの座標(x2’、y2’;x0、y0)を決定するように形成され、
    前記楕円計算手段(120;850)は、前記第1の楕円点(136;226)の前記2つの座標(x1’、y1’;x3、y3)、前記第3の楕円点(138;228)の前記2つの座標(x3’、y3’;x1、y1)および前記第3の楕円点(140;230)の前記第1の座標(x4’、y4’;x2、y2)に基づいて、少なくとも1つの楕円パラメータを含む第1の組の楕円パラメータを計算すると共に、前記第1の楕円点(136;226)の前記2つの座標(x1’、y1’;x3、y3)、前記第2の楕円点(138;228)の前記2つの座標(x3’、y3’;x1、y1)および前記追加の座標(x4’、y4’、x2’、y2’;x0、y0、x2、y2)に基づいて、少なくとも1つの楕円パラメータを含む第2の組の楕円パラメータを計算し、かつ前記第1の組の楕円パラメータおよび前記第2の組の楕円パラメータを用いて、平均によって、結果の1組の楕円パラメータ(xm’、ym’、a’、b’、α’;xm、ym、a、b、α)を計算するように形成されている、請求項1から請求項10のうちの1項に記載の装置(100;800)。
  12. 前記座標決定手段(110;400;814、830、832、840、842)は、前記第2の方向(132;y)の最遠に位置する前記楕円の点を表す前記第3の楕円点(140;230)の2つの座標(x4’、y4’;x2、y2)および前記第2の方向(132;y)と逆の方向の最遠に位置する前記楕円の点を表す第4の楕円点(142;232)の2つの座標(x2’、y2’;x0、y0)を決定し、さらに、前記複数組の楕円点(136、138、140、142;226、228、230、232)に対する関連する複数組の楕円パラメータ(xm’、ym’、a’、b’、α’;xm、ym、a、b、α)を決定するために、前記第1の楕円点(136;226)、前記第2の楕円点(138;228)、前記第3の楕円点(140;230)および前記第4の楕円点(142;232)から3つの楕円点の複数の異なる組を選択し、かつ前記複数組の楕円点に属する前記複数組の楕円パラメータの平均によって、前記楕円(134;220)の前記形状および/または位置に関する情報として、平均の1組の楕円パラメータを計算するように形成されている、請求項1から請求項11のうちの1項に記載の装置(100;800)。
  13. 前記座標決定手段(110;400;814、830、832、840、842)は、前記第2の方向(132;y)の最遠に位置する前記楕円(134;220)の点を表す前記第3の楕円点(140;230)の2つの座標(x4’、y4’;x2、y2)を決定するように形成され、さらに
    前記楕円計算手段(120;850)は、さらに、前記第1の楕円点(136;226)の前記2つの座標(x1’、y1’;x3、y3)および前記第2の楕円点(138;228)の前記2つの座標(x3’、y3’;x1、y1)から、前記楕円(134;220)の中心の座標を(xm、ym)を計算し、
    前記第1の楕円点(136;226)および前記第3の楕円点(138;228)の変換された座標(xx、yx、xy、yy)を取得するために、前記第1の楕円点(136;226)および前記第3の楕円点(140;230)の前記座標(x1’、y1’、x4’、y4’;x3、y3、x2、y2)の座標変換を実行し、前記座標変換は、前記中心の座標(xm、ym)によって描写される前記楕円(134;220)の中心(240)を座標の原点(264)に移動するように形成され、
    xが前記第1の楕円点(136;226)の変換された第1の座標で、yxが前記第1の楕円点(136;226)の変換された第2の座標で、xyが前記第3の楕円点(140;230)の変換された第1の座標である決定式
    Figure 0004604120
    を用いて、前記第3の楕円点の推定される変換された第2の座標yycalcを計算し、
    さらに、前記第3の楕円点(140;230)の前記推定される変換された第2の座標yycalcと、前記座標変換によって決定された前記第3の楕円点(140;230)の前記変換された第2の座標yyとの間の偏差に基づいて、前記第3の楕円点(140;230)が前記第1の楕円点(136;226)および前記第2の楕円点(138;228)によって描写される前記楕円(134;220)に属するかどうかを決定するように形成されている、請求項1から請求項12のうちの1項に記載の装置。
  14. 前記楕円計算手段(120;850)は、計算ルール
    Figure 0004604120
    を用いて、前記第1の楕円点(226)の前記第1の座標x3および前記第2の楕円点(228)の前記第1の座標x1に基づいて、前記楕円(134;220)の第1の中心座標xmを計算し、
    および/または、計算ルール
    Figure 0004604120
    を用いて、前記第1の楕円点(226)の前記第2の座標y3および前記第2の楕円点(228)の前記第2の座標y1に基づいて、前記楕円(134;220)の第2の中心座標ymを計算するように形成されている、請求項1から請求項13のうちの1項に記載の装置(100;800)。
  15. 前記楕円計算手段(120;850)は、さらに、前記楕円(134;220)の回転角α、前記楕円(134;220)の第1の半軸の長さaおよび/または前記楕円(134;220)の第2の半軸の長さbを、次の決定式
    Figure 0004604120
    を用いて計算するように形成され、
    ここで、u、kxおよびkyは、補助量であり、
    ρは、前記第1の半軸の長さaと前記第2の半軸の長さbとの間の比率であり、
    前記決定式におけるuに対する正負符号は、前記第1の変換された楕円点および/または前記第2の変換された楕円点の位置に応じて、前記補助量kxおよびkyに基づいて確立され、
    ρに対する前記2つの決定式のうちの少なくとも1つは、kx、kyおよびにuに応じて用いられる、請求項14に記載の装置(100;800)。
  16. 前記座標決定手段(110;400;814、830、832、840、842)は、複数の並列時間信号(612、614、616)という形式の、解析対象の複数のラスタ行(320、330、332、334、368、372)または解析対象の複数のラスタ列(322、336、338、340、362、366)を受信し、さらに、前記時間信号(612、614、616)を、順次接続された複数の段階(610)を経由して、異なる速度で並列に転送するように形成された、パターン認識手段(420;600;830、832、840、842)を含み
    少なくとも1つの所定の段階(610)は、列合計(632)を形成するために、前記所定の段階(610)から出る信号を合計するように形成された合計手段(630)を含み、
    前記パターン認識手段(600)は、さらに、前記パターン認識手段(600)から受信された前記ラスタ行(320、330、332、334、368、372)または前記ラスタ列(322、336、338、340、362、366)に含まれる曲線セグメント(146、148、150、152)に関する情報を決定するために、前記列合計(632)を評価するように形成され、
    前記情報は、前記受信されたラスタ行(320、330、332、334、368、372)またはラスタ列(322、336、338、340、362、366)に含まれる前記曲線セグメント(146、148、150、152)の少なくとも1つのパラメータを含む、請求項1から請求項15のうちの1項に記載の装置(100;800)。
  17. 前記所定の段階(610)は、前記所定の段階(610)の出力時に少なくとも所定の数の信号(612、614、616)が同時にアクティブであった場合、前記列合計(632)を受信および認識するように形成された閾値認識手段(634)をさらに備え、
    前記パターン認識手段(420;600;830、832、840、842)は、さらに、前記受信されたラスタ行(320、330、332、334、368、372)またはラスタ列(322、336、338、340、362、366)に含まれる曲線セグメント(146、148、150、152)の少なくとも1つのパラメータを決定するために、前記閾値認識手段(634)の出力信号を評価するように形成されている、請求項16に記載の装置(100;800)。
  18. 前記パターン認識手段(420;600;830、832、840、842)は、湾曲した曲線経路の変形された描写(1420、1430、1440)を取得するために、前記信号(612、614、616;1510)の速さの異なる高速伝播により、順次接続された前記段階(610;1530)を通過する際に段階的に、前記パターン認識手段(420;600;830、832、840、842)によって受信された前記信号(612、614、616;1510)によって描写された湾曲した曲線経路(1410)を変形し、かつ特定の段階(610)における複数の同時にアクティブな信号(612、614、616;1510)によって表されるほぼまっすぐな線(1450)が前記変形された描写によって描写されているかどうかを認識するように形成されている、請求項16または請求項17に記載の装置(100;800)。
  19. 前記パターン認識手段(420;600;830、832、840、842)の前記少なくとも1つの段階(610;1530)は、前記段階(610;1530)を経由していくつかの信号(612、614、616;1510)を転送する際に、それらを異なる強度で遅延させるように形成されている、請求項16から請求項18のうちの1項に記載の装置(100;800)。
  20. 前記パターン認識手段(420;600;830、832、840、842)は、前記段階(610)を経由して前記信号(612、614、616)を転送する際に異なる遅延(620、624)を確立することにより、前記パターン認識手段によって受信された前記ラスタ行(320、330、332、334、368、372)またはラスタ列(322、336、338、340、362、366)に含まれる円形に曲がった線セグメントが、いくつかの段階(610;1530)を通過した後にほぼまっすぐな線に変形されるように形成され、
    前記パターン認識手段(420;600;830、832、840、842)は、ほぼまっすぐな線の存在を認識し、かつ前記まっすぐな線の存在に至るまでの通過段階数を決定し、さらに
    前記パターン認識手段(420;600;830、832、840、842)は、さらに、ほぼまっすぐな線の前記存在に至るまでに通過を受けた段階の数から、前記パターン認識手段によって受信された前記円形に曲がった線セグメントの少なくとも1つのパラメータを導出するように形成されている、請求項16から請求項19のうちの1項に記載の装置(100;800)。
  21. 前記パターン認識手段(420;600;830、832、840、842)は、前記段階(610)を経由して前記信号(612、614、616)を転送する際に異なる遅延(620、624)を設定することにより、前記パターン認識手段(420;600;830、832、840、842)によって受信された前記ラスタ行(320、330、332、334、368、372)またはラスタ列(322、336、338、340、362、366)に含まれる円形に曲がった線セグメントが、いくつかの段階を通過した後にほぼまっすぐな線に変形されるように形成され、前記パターン認識手段は、ほぼまっすぐな線の存在を認識し、かつ前記ほぼまっすぐな線が存在する時刻に基づいて、前記パターン認識手段によって受信された前記円形に曲がった線セグメントの少なくとも1つのパラメータを導出するように形成されている、請求項16から請求項20のうちの1項に記載の装置(100;800)。
  22. 前記座標決定手段(110;412、420、430;840、820、822、830、832)は、解析対象の連続的に伝送されるラスタ行(320、330、332、334、368、372)という形式で、前記パターン認識手段(420;600;820、822、830、832、)に前記画像(112;310;812)を2度供給するように形成され、
    前記座標決定手段は、さらに、前記画像の第1のエッジに位置する前記画像のラスタ行(320)で開始して、前記第1の楕円点(226)の前記2つの座標(x3、y3)の決定のための前記パターン認識手段に前記画像を供給し、かつ前記画像の第2のエッジに位置する前記画像のラスタ行(334)で開始して、前記第2の楕円点(228)の前記2つの座標(x1、y1)の決定のための前記パターン認識手段に前記画像を供給するように形成され、前記画像の前記第1のエッジは、前記画像の前記第2のエッジに対向し、前記パターン認識手段は、所定の湾曲方向を有する曲線セグメントを認識するように形成されている、請求項16から請求項21のうちの1項に記載の装置(100;800)。
  23. 前記座標決定手段(110;420;814、820、822、830、832)は、第1のパターン認識手段(830)および第2のパターン認識手段(832)を含み、前記第1のパターン認識手段(830)は、第1の所定の湾曲方向を有する曲線セグメントを認識するように形成され、前記第2のパターン認識手段(832)は、前記所定の第1の湾曲方向と逆の第2の湾曲方向を有する曲線セグメントを認識するように形成され、前記座標決定手段は、前記画像の第1のエッジに位置するラスタ行(320)で開始して、前記第1の楕円点(226)の前記2つの座標(x3、y3)の決定のための前記第1のパターン認識手段(830)に前記画像を供給し、かつ前記画像の前記第1のエッジに位置するラスタ行(320)で開始して、前記第2の楕円点(228)の前記2つの座標(x1、y1)の決定のための前記第2のパターン認識手段に前記画像を提供するように形成されている、請求項10から請求項22のうちの1項に記載の装置(100;800)。
  24. 前記パターン認識手段(412、420;600)は、解析対象の第1の複数のラスタ行(370)とともに解析対象の第2の複数のラスタ行(374)を処理するように形成され、前記解析対象の第1の複数のラスタ行および前記解析対象の第2の複数のラスタ行は重なり合い、さらに
    前記パターン認識手段(420)は、さらに、特定対象の前記曲線経路(146、148、150、152)が解析対象の前記第1の複数のラスタ行の解析において特定されるかまたは解析対象の前記第2の複数のラスタ行の解析において特定されるかに基づいて、特定対象の前記曲線経路の位置パラメータを決定するように形成されている、請求項16から請求項23のうちの1項に記載の装置(100;800)。
  25. 前記第1の方向(130;x)は、前記第2の方向(132;y)と直交する、請求項1から請求項24のうちの1項に記載の装置(100;800)。
  26. 楕円の前記形状および/または前記位置に関する情報を決定するための前記装置は、2値エッジ画像(310)を図形画像(112;812)として受信するように形成され、前記2値エッジ画像は、アクティブな像点(312)という形式で、少なくとも1本の線(350)によって、少なくとも1つのエッジを描写するのに対して、エッジが存在しない前記エッジ画像内の位置は、非アクティブな像点(314)によって描写される、請求項1から請求項25のうちの1項に記載の装置(100;800)。
  27. 前記装置は、さらに、ビデオデータソースからのビデオデータから前記図形画像(112;812)を導出するように形成されている、請求項1から請求項26のうちの1項に記載の装置(100;800)。
  28. 前記楕円の前記形状および/または前記位置に関する前記情報を電気的処理手段またはユーザに出力するように形成されたデータインタフェースまたはディスプレイ装置をさらに備える、請求項1から請求項27のうちの1項に記載の装置(100;800)。
  29. 楕円の前記形状および/または前記位置に関する情報を決定するための前記装置は、2値化画像を取得するために、明度および/または輝度と閾値との比較の結果に応じて、明値または暗値が前記図形画像の各像点と関連付けられる、閾値2値化によって、前記図形画像(112;812)を前処理するように形成され、
    さらに、前記2値化画像内の前記明値から前記暗値へのエッジ状遷移が線状のエッジとして特徴付けられる、前記2値化画像からエッジ画像を生成するように形成されたエッジ検出を前記2値化画像に適用するように形成され、
    前記座標決定手段は、さらに、前記エッジ画像を処理するように形成されている、請求項1から請求項28のうちの1項に記載の装置(100;800)。
  30. 前記装置は、さらに、人間の眼の瞳孔を捕らえるために配置されたビデオカメラから前記図形画像を取得するように形成され、
    前記装置は、前記楕円の前記形状および/または前記位置に関する前記情報を前記人間の眼の視線方向を計算するための装置に伝送するように形成されたデータインタフェースをさらに含む、請求項1から請求項29のうちの1項に記載の装置(100;800)。
  31. 前記装置は、前記楕円の前記形状および/または前記位置に関する前記情報に応じて、機械的動きを引き起こすように形成された機械的位置決め手段に、前記楕円の前記形状および/または前記位置に関する前記情報を出力するように形成されたインタフェースをさらに含む、請求項1から請求項30のうちの1項に記載の装置(100;800)。
  32. 図形画像(112;812;1710)内の楕円(134;220)の形状および/または位置に関する情報(122;1780)を決定するための方法(1700)であって、前記画像(112;812;1710)は第1の方向(130;x)と第2の方向(132;y)とを含み、前記方法は、
    座標計算部またはプログラム可能なコンピュータシステムを用いて、前記第1の方向(130;x)の最遠に位置する前記楕円(134;220)の点を表す第1の楕円点(136;226)の2つの座標(x1’、y1’;x3、y3)を決定するステップ(1720)と、
    座標計算部またはプログラム可能なコンピュータシステムを用いて、前記第1の方向(130;x)と逆の方向の最遠に位置する前記楕円(134;220)の点を表す第2の楕円点(138;228)の2つの座標(x3’、y3’;x1、y1)を決定するステップ(1730)とを備え、
    前記第1の楕円点(136;226)の前記2つの座標(x1’、y1’;x3、y3)を決定するステップ(1720)は、前記第1の楕円点または前記第1の楕円点の周囲において前記楕円に近似する第1の曲線セグメント(146)の少なくとも1つのパラメータを決定するステップと、前記第1の曲線セグメント(146)の前記少なくとも1つのパラメータに基づいて、前記第1の楕円点(136;226)の前記座標(x1’、y1’;x3、y3)を決定するステップとを含み、
    前記第2の楕円点(138;228)の前記2つの座標(x3’、y3’;x1、y1)を決定するステップ(1730)は、前記第2の楕円点(138;228)または前記第2の楕円点(138;228)の周囲において前記楕円に近似する第2の曲線セグメント(148)の少なくとも1つのパラメータを決定するステップと、前記第2の曲線セグメント(148)の前記少なくとも1つのパラメータに基づいて、前記第2の楕円点(138;228)の前記座標(x3’、y3’;x1、y1)を決定するステップとを含み、さらに
    前記第1の楕円点の前記2つの座標(x1’、y1’;x3、y3)および前記第2の楕円点の前記2つの座標(x3’、y3’;x1、y1)に基づいて、楕円計算部またはプログラム可能なコンピュータシステムを用いて、前記楕円の少なくとも1つの楕円パラメータ(xm、ym)を計算するステップ(1740)を備え、
    前記少なくとも1つの楕円パラメータ(xm、ym)は、前記楕円の前記形状および/または前記位置に関する情報を表す、方法。
  33. 図形画像(112;812;1710)内の楕円(134;220)の形状および/または位置に関する情報(122;1780)を決定するための方法(1700)であって、前記画像(112;812;1710)は第1の方向(130;x)と第2の方向(132;y)とを含み、前記方法は、
    座標計算部またはプログラム可能なコンピュータシステムを用いて、前記第1の方向(130;x)の最遠に位置する前記楕円(134;220)の点を表す第1の楕円点(136;226)の2つの座標(x1’、y1’;x3、y3)を決定するステップ(1720)と、
    座標計算部またはプログラム可能なコンピュータシステムを用いて、前記第1の方向(130;x)と逆の方向の最遠に位置する前記楕円(134;220)の点を表す第2の楕円点(138;228)の2つの座標(x3’、y3’;x1、y1)を決定するステップ(1730)とを備え、
    前記第1の楕円点(136;226)の前記2つの座標(x1’、y1’;x3、y3)を決定するステップ(1720)は、前記第1の楕円点または前記第1の楕円点の周囲において前記楕円に近似する第1の曲線セグメントを特定するステップと、前記特定された第1の曲線セグメント(146)の少なくとも1つのパラメータを決定するステップと、前記特定された第1の曲線セグメント(146)の前記少なくとも1つのパラメータに基づいて、前記第1の楕円点(136;226)の前記座標(x1’、y1’;x3、y3)を決定するステップとを含み、
    前記第2の楕円点(138;228)の前記2つの座標(x3’、y3’;x1、y1)を決定するステップ(1730)は、前記第2の楕円点(138;228)または前記第2の楕円点(138;228)の周囲において前記楕円に近似する第2の曲線セグメントを特定するステップと、前記特定された第2の曲線セグメント(148)の少なくとも1つのパラメータを決定するステップと、前記特定された第2の曲線セグメント(148)の前記少なくとも1つのパラメータに基づいて、前記第2の楕円点(138;228)の前記座標(x3’、y3’;x1、y1)を決定するステップとを含み、さらに
    前記第1の楕円点の前記2つの座標(x1’、y1’;x3、y3)および前記第2の楕円点の前記2つの座標(x3’、y3’;x1、y1)に基づいて、楕円計算部またはプログラム可能なコンピュータシステムを用いて、前記楕円の少なくとも1つの楕円パラメータ(xm、ym)を計算するステップ(1740)を備え、
    前記少なくとも1つの楕円パラメータ(xm、ym)は、前記楕円の前記形状および/または前記位置に関する情報を表す、方法。
  34. コンピュータ上で実行されるときに、請求項32または請求項33に記載の方法を実行するためのコンピュータプログラム。
  35. 図形画像(112;812)内の楕円の形状および/または位置に関する情報(122)を決定するための装置(100;800)であって、前記図形画像(112;812)は第1の方向(130;x)と第2の方向(132;y)とを含み、前記装置は、
    前記第1の方向(130;x)の最遠に位置する前記楕円(134;220)の点を表す第1の楕円点(136;226)の2つの座標(x1’、y1’;x3、y3)を決定し、かつ
    前記第1の方向(130;x)と逆の方向の最遠に位置する前記楕円(134;220)の点を表す第2の楕円点(138;228)の2つの座標(x3’、y3’;x1、y1)を決定するための座標決定手段(110;400;830、832、840、842)を備え、
    前記座標決定手段(110;420;430;814、830、832、840、842)は、前記第1の楕円点(136;226)または前記第1の楕円点(136;226)の周囲において前記楕円(134;220)に近似する第1の曲線セグメント(146)を特定し、前記特定された第1の曲線セグメント(146)の少なくとも1つのパラメータを決定し、前記特定された第1の曲線セグメント(146)の前記少なくとも1つのパラメータに基づいて、前記第1の楕円点(136;226)の前記座標(x1’、y1’;x3、y3)を決定し、かつ
    前記第2の楕円点(138;228)または前記第2の楕円点(138;228)の周囲において前記楕円(134;220)に近似する少なくとも1つの第2の曲線セグメントを特定し、前記特定された第2の曲線セグメント(148)の少なくとも1つのパラメータを決定し、前記特定された第2の曲線セグメント(148)の前記少なくとも1つのパラメータに基づいて、前記第2の楕円点(138;228)の前記座標(x3’、y3’;x1、y1)を決定するように形成され、
    前記第1の楕円点(136;226)の前記2つの座標(x1’、y1’;x3、y3)および前記第2の楕円点(138;228)の前記2つの座標(x3’、y3’;x1、y1)に基づいて、少なくとも1つの楕円パラメータ(xm’、ym’、a’、b’、α’;xm、ym、a、b、α)を計算するための楕円計算手段(120;850)を備え、
    前記少なくとも1つの楕円パラメータ(xm’、ym’、a’、b’、α’;xm、ym、a、b、α)は、前記楕円(134;220)の前記形状および/または前記位置に関する前記情報(122)を表す、装置(100;800)。
JP2008532660A 2005-09-30 2006-09-27 図形画像内の楕円の形状および/または位置に関する情報を決定するための装置、方法およびコンピュータプログラム Expired - Fee Related JP4604120B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005047160A DE102005047160B4 (de) 2005-09-30 2005-09-30 Vorrichtung, Verfahren und Computerprogramm zum Ermitteln einer Information über eine Form und/oder eine Lage einer Ellipse in einem graphischen Bild
PCT/EP2006/009387 WO2007039202A1 (de) 2005-09-30 2006-09-27 Vorrichtung, verfahren und computerprogramm zum ermitteln einer information über eine form und/oder eine lage einer ellipse in einem graphischen bild

Publications (2)

Publication Number Publication Date
JP2009510571A JP2009510571A (ja) 2009-03-12
JP4604120B2 true JP4604120B2 (ja) 2010-12-22

Family

ID=37607123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008532660A Expired - Fee Related JP4604120B2 (ja) 2005-09-30 2006-09-27 図形画像内の楕円の形状および/または位置に関する情報を決定するための装置、方法およびコンピュータプログラム

Country Status (6)

Country Link
US (1) US7948493B2 (ja)
EP (1) EP1789925B1 (ja)
JP (1) JP4604120B2 (ja)
AT (1) ATE386314T1 (ja)
DE (2) DE102005047160B4 (ja)
WO (1) WO2007039202A1 (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006059659B4 (de) * 2006-12-18 2009-12-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Erkennung von Schriftzeichen in einem Bild
DE102006062061B4 (de) 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
US8116519B2 (en) * 2007-09-26 2012-02-14 Honda Motor Co., Ltd. 3D beverage container localizer
US8265425B2 (en) * 2008-05-20 2012-09-11 Honda Motor Co., Ltd. Rectangular table detection using hybrid RGB and depth camera sensors
US20100110051A1 (en) * 2008-10-30 2010-05-06 Yi Jhao Technology Corporation Control method for lens drive screen
EP2339507B1 (en) 2009-12-28 2013-07-17 Softkinetic Software Head detection and localisation method
US9158983B2 (en) * 2010-07-08 2015-10-13 E-Image Data Corporation Microform word search method and apparatus
US8792728B2 (en) * 2010-09-27 2014-07-29 Hewlett-Packard Development Company, L.P. Near-duplicate image detection
JP5709483B2 (ja) * 2010-11-22 2015-04-30 公立大学法人公立はこだて未来大学 画像処理装置
JP4893863B1 (ja) * 2011-03-11 2012-03-07 オムロン株式会社 画像処理装置、および画像処理方法
US8625878B2 (en) * 2011-04-15 2014-01-07 International Business Machines Corporation Method and system of rail component detection using vision technology
US9443318B2 (en) * 2011-08-30 2016-09-13 Megachips Corporation Line segment and arc detection apparatus
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9632658B2 (en) 2013-01-15 2017-04-25 Leap Motion, Inc. Dynamic user interactions for display control and scaling responsiveness of display objects
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
USD758372S1 (en) * 2013-03-13 2016-06-07 Nagrastar Llc Smart card interface
US11096668B2 (en) 2013-03-13 2021-08-24 Samsung Electronics Co., Ltd. Method and ultrasound apparatus for displaying an object
WO2014142468A1 (en) 2013-03-13 2014-09-18 Samsung Electronics Co., Ltd. Method of providing copy image and ultrasound apparatus therefor
USD759022S1 (en) * 2013-03-13 2016-06-14 Nagrastar Llc Smart card interface
KR101703329B1 (ko) * 2013-06-13 2017-02-06 삼성전자 주식회사 객체 표시 방법 및 이를 위한 초음파 장치
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US9646221B2 (en) 2013-07-24 2017-05-09 Nec Corporation Image recognition apparatus and storage medium
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
KR20150070802A (ko) * 2013-12-17 2015-06-25 현대자동차주식회사 동공 검출 장치 및 동공 검출 방법
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
EP3103059A1 (de) 2014-02-04 2016-12-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-bildanalysator zur blickrichtungsbestimmung
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
TWI577327B (zh) * 2014-08-14 2017-04-11 由田新技股份有限公司 瞳孔定位方法與裝置及其電腦程式產品
US9704038B2 (en) * 2015-01-07 2017-07-11 Microsoft Technology Licensing, Llc Eye tracking
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
DE102015204281A1 (de) 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren zur Kalibrierung einer Kamera für eine Blickrichtungserkennung in einem Fahrzeug, Vorrichtung für ein Kraftfahrzeug mit einer Kamera und mindestens einem weiteren Element und Computerprogrammprodukt
USD864968S1 (en) * 2015-04-30 2019-10-29 Echostar Technologies L.L.C. Smart card interface
US10319108B2 (en) * 2017-02-14 2019-06-11 Jx Imaging Arts, Llc System and method for machine vision object orientation measurement
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
FR3094824B1 (fr) * 2019-04-05 2021-04-23 Airbus Defence & Space Sas Procédé pour la localisation d’une cible à partir d’un contour elliptique
CN113111687B (zh) * 2020-01-13 2024-06-18 阿里巴巴集团控股有限公司 数据处理方法、***及电子设备
CN111311593B (zh) * 2020-03-14 2023-05-26 深圳市维森软件股份有限公司 一种多椭圆检测和评估算法、装置及终端
CN113643410B (zh) * 2021-08-24 2024-01-23 凌云光技术股份有限公司 一种用于定位椭圆弧曲线的gui图形控件设计方法及装置
CN114972251A (zh) * 2022-05-25 2022-08-30 北京航空航天大学杭州创新研究院 椭圆定位数据处理方法、装置、设备和计算机可读介质
CN117994347B (zh) * 2024-04-07 2024-06-11 宝鸡市鹏盛鑫有色金属有限责任公司 一种法兰加工钻孔高精度定位方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3069654A (en) * 1960-03-25 1962-12-18 Paul V C Hough Method and means for recognizing complex patterns
EP0697679A3 (en) * 1994-08-12 1998-07-01 Dassault Systemes of America Computerized drawing method
DE19750835C2 (de) * 1997-11-17 2002-06-27 Frank Klefenz Verfahren und Einrichtung zur Laufzeitdifferenzenbestimmung von akustischen Signalen
JP3949333B2 (ja) 1999-04-12 2007-07-25 富士通株式会社 画像計測方法、画像計測装置、および画像計測プログラム記憶媒体
JP4377665B2 (ja) 2003-12-01 2009-12-02 本田技研工業株式会社 位置検出用マーク、並びに、マーク検出装置、その方法及びそのプログラム
US8116519B2 (en) 2007-09-26 2012-02-14 Honda Motor Co., Ltd. 3D beverage container localizer

Also Published As

Publication number Publication date
US20080012860A1 (en) 2008-01-17
DE502006000345D1 (de) 2008-03-27
JP2009510571A (ja) 2009-03-12
ATE386314T1 (de) 2008-03-15
WO2007039202A1 (de) 2007-04-12
DE102005047160A1 (de) 2007-04-05
US7948493B2 (en) 2011-05-24
EP1789925B1 (de) 2008-02-13
DE102005047160B4 (de) 2007-06-06
EP1789925A1 (de) 2007-05-30

Similar Documents

Publication Publication Date Title
JP4604120B2 (ja) 図形画像内の楕円の形状および/または位置に関する情報を決定するための装置、方法およびコンピュータプログラム
CN112115893A (zh) 仪表盘指针读数识别方法、装置、计算机设备及存储介质
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
US20190043199A1 (en) Image Segmentation Method, Image Segmentation System and Storage Medium and Apparatus Including the Same
WO2015043363A1 (zh) 飞行器地面运动目标红外图像识别装置
CN108470354A (zh) 视频目标跟踪方法、装置和实现装置
CN105210115B (zh) 使用2d图像数据来执行手势识别
EP2339507B1 (en) Head detection and localisation method
CN101295363A (zh) 从距离图像确定物体姿势的方法和***
CN106485651B (zh) 快速鲁棒性尺度不变的图像匹配方法
US20190236345A1 (en) Hand detection method and system, image detection method and system, hand segmentation method, storage medium, and device
CN106340010B (zh) 一种基于二阶轮廓差分的角点检测方法
Wu et al. Natural scene text detection by multi-scale adaptive color clustering and non-text filtering
CN109840529B (zh) 一种基于局部敏感置信度评估的图像匹配方法
JP2010503936A (ja) 画像処理のための方法および装置
CN109344758B (zh) 基于改进局部二值模式的人脸识别方法
EP2321819A1 (en) Digital video filter and image processing
CN113269752A (zh) 一种图像检测方法、装置终端设备及存储介质
CN111144469B (zh) 基于多维关联时序分类神经网络的端到端多序列文本识别方法
Su et al. Latent fingerprint core point prediction based on Gaussian processes
CN110956623A (zh) 皱纹检测方法、装置、设备及计算机可读存储介质
Nguyen et al. Pavement crack detection and segmentation based on deep neural network
CN115049848B (zh) 一种基于深度学习的通用椭圆目标检测方法
CN117204950B (zh) 基于图像特征的内窥镜位置引导方法、装置、设备及介质
CN116612476B (zh) 一种芯片字符检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101004

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4604120

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees