JP2002092622A - 輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラムを記録した記録媒体 - Google Patents

輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラムを記録した記録媒体

Info

Publication number
JP2002092622A
JP2002092622A JP2000280686A JP2000280686A JP2002092622A JP 2002092622 A JP2002092622 A JP 2002092622A JP 2000280686 A JP2000280686 A JP 2000280686A JP 2000280686 A JP2000280686 A JP 2000280686A JP 2002092622 A JP2002092622 A JP 2002092622A
Authority
JP
Japan
Prior art keywords
contour
distance
contour model
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000280686A
Other languages
English (en)
Other versions
JP4409072B2 (ja
Inventor
Nobuo Higaki
信男 檜垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2000280686A priority Critical patent/JP4409072B2/ja
Priority to US09/951,540 priority patent/US6920248B2/en
Publication of JP2002092622A publication Critical patent/JP2002092622A/ja
Application granted granted Critical
Publication of JP4409072B2 publication Critical patent/JP4409072B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 計算時間を増大させることなく画像から抽出
する輪郭の形状を精度良く抽出することができる輪郭抽
出装置を提供する。 【解決手段】 撮像された画像に含まれる少なくとも一
つの対象物を囲み、該対象物の輪郭を抽出するための輪
郭モデルを記憶する輪郭モデル記憶手段と、輪郭モデル
を構成する節点を所定の規則に基づいて移動することに
より前記輪郭モデルを収縮または拡大変形させる輪郭モ
デル変形手段と、輪郭モデル変形手段によって変形され
た輪郭モデルを構成する節点のうち隣接しない2節点の
距離を求め、この距離の値が所定のしきい値より小さい
場合にこの輪郭モデルを***させるか否かを判定する分
裂判定手段と、***判定手段における判定結果に応じ
て、***判定時に距離を求めた2節点の近辺において前
記輪郭モデルを***させる輪郭モデル***手段とを備え
たことを特徴とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、カメラ等の視覚セ
ンサを用いて取得した画像中の対象物の輪郭を抽出する
輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラム
を記録した記録媒体に関する。
【0002】
【従来の技術】カメラ等の視覚センサを用いて撮像され
た画像から複数の物体の輪郭を抽出する手法として、動
的輪郭モデルを用いた手法が知られている。この輪郭抽
出手法は、スネーク(snakes)と呼ばれる動的な
閉曲線による輪郭線モデルを用いることが特徴で、画像
中で物体の形状が時間的に変化していても対象物体の形
状の抽出が可能であるという特徴を有している。このス
ネークは、対象物体の形状とスネークの形状が一致した
ときにエネルギーが最小になるように、その位置と形状
によりエネルギー関数を設定する。具体的には曲線の滑
らかさによる内部的なエネルギー、曲線と対象物体の輪
郭との誤差のエネルギー、外的な拘束力によるエネルギ
ーなどの和によって定義される。画像中の対象物体の輪
郭に対して、エネルギーが局所最小解に到達するまで、
位置と形状を動的に調整していくことによって、輪郭形
状の抽出問題がエネルギー最小化という最適化問題とし
て扱うことが可能となる。
【0003】ところで、前述した動的輪郭モデルを用い
た輪郭抽出手法は、抽出したい対象物の数が既知である
必要があったり、また、予め対象物の近傍に概略の輪郭
を与える必要があるという問題がある。これを解決する
ために、電子情報通信学会論文誌Vol.J80-D-IINo.11 p
p.2940-2948、特開平8−329254号公報等には、
抽出したい対象物の数が未知の場合にも対応でき、また
予め対象物の概略の輪郭を初期輪郭として指定する必要
がない輪郭抽出手法が提案されている。
【0004】
【発明が解決しようとする課題】しかしながら、従来の
輪郭抽出手法にあっては、輪郭抽出処理において、抽出
する輪郭の形状を精度良く抽出しようとする場合、輪郭
を構成する輪郭上の点(この点を節点という)の数を増
やして処理する必要があるが、節点の数が増えるとその
数に比例して輪郭抽出処理に要する計算時間は増大し
て、実時間処理が困難になるという問題がある。特に、
輪郭モデルを***するための***判定を2つの節点を結
ぶ線分が接触または交差するか否かによって判定を行っ
ていたために計算負荷が増大し、結果的に計算時間が増
大するために、実時間処理を行うことができないという
問題がある。
【0005】本発明は、このような事情に鑑みてなされ
たもので、抽出する輪郭の形状を精度良く抽出しようと
する場合においても計算時間を増大させることなく輪郭
を抽出することができる輪郭抽出装置、輪郭抽出方法、
及び輪郭抽出プログラムを記録した記録媒体を提供する
ことを目的とする。
【0006】
【課題を解決するための手段】請求項1に記載の発明
は、撮像された画像に含まれる少なくとも一つの対象物
を囲み、該対象物の輪郭を抽出するための輪郭モデルを
記憶する輪郭モデル記憶手段と、前記輪郭モデルを構成
する節点を所定の規則に基づいて移動することにより前
記輪郭モデルを収縮または拡大変形させる輪郭モデル変
形手段と、前記輪郭モデル変形手段によって変形された
輪郭モデルを構成する節点のうち隣接しない2節点の距
離を求め、この距離の値が所定のしきい値より小さい場
合にこの輪郭モデルを***させるか否かを判定する***
判定手段と、前記***判定手段における判定結果に応じ
て、***判定時に距離を求めた2節点の近辺において前
記輪郭モデルを***させる輪郭モデル***手段とを備え
たことを特徴とする。
【0007】請求項2に記載の発明は、前記輪郭抽出装
置は、撮像された画像の画素毎の距離データを取得する
ことによって、撮像された画像に対応する距離画像を得
る距離画像取得手段をさらに備え、前記***判定手段
は、得られた距離画像に基づいて所定の距離範囲内に存
在する輪郭モデルに対して***判定を行うことを特徴と
する。
【0008】請求項3に記載の発明は、撮像された画像
に含まれる少なくとも一つの対象物を囲み、該対象物の
輪郭を抽出するための輪郭モデルを記憶する輪郭モデル
記憶手段と、前記輪郭モデルを構成する節点を所定の規
則に基づいて移動することにより前記輪郭モデルを収縮
または拡大変形させる輪郭モデル変形手段と、撮像され
た画像の画素毎の距離データを取得することによって、
撮像された画像に対応する距離画像を得る距離画像取得
手段とを備え、前記輪郭モデル変形手段は、得られた距
離画像に基づいて前記輪郭モデルを変形させることによ
って対象物の輪郭を抽出することを特徴とする。
【0009】請求項4に記載の発明は、撮像された画像
に含まれる少なくとも一つの対象物を囲み、該対象物の
輪郭を抽出するための輪郭モデルを構成する節点を所定
の規則に基づいて移動することにより前記輪郭モデルを
収縮または拡大変形させる輪郭モデル変形過程と、前記
輪郭モデル変形過程によって変形された輪郭モデルを構
成する節点のうち隣接しない2節点の距離を求め、この
距離の値が所定のしきい値より小さい場合にこの輪郭モ
デルを***させるか否かを判定する***判定過程と、前
記***判定過程における判定結果に応じて、***判定時
に距離を求めた2節点の近辺において前記輪郭モデルを
***させる輪郭モデル***過程とを有することを特徴と
する。
【0010】請求項5に記載の発明は、前記輪郭抽出方
法は、撮像された画像の画素毎の距離データを取得する
ことによって、撮像された画像に対応する距離画像を得
る距離画像取得過程をさらに有し、前記***判定過程
は、得られた距離画像に基づいて所定の距離範囲内に存
在する輪郭モデルに対して***判定を行うことを特徴と
する。
【0011】請求項6に記載の発明は、撮像された画像
に含まれる少なくとも一つの対象物を囲み、該対象物の
輪郭を抽出するための輪郭モデルを構成する節点を所定
の規則に基づいて移動することにより前記輪郭モデルを
収縮または拡大変形させる輪郭モデル変形過程と、撮像
された画像の画素毎の距離データを取得することによっ
て、撮像された画像に対応する距離画像を得る距離画像
取得過程とを有し、前記輪郭モデル変形過程は、得られ
た距離画像に基づいて前記輪郭モデルを変形させること
によって対象物の輪郭を抽出することを特徴とする。
【0012】請求項7に記載の発明は、撮像された画像
から対象物の輪郭を抽出する輪郭抽出プログラムを記録
したコンピュータ読み取り可能な記録媒体であって、前
記輪郭抽出プログラムは、撮像された画像に含まれる少
なくとも一つの対象物を囲み、該対象物の輪郭を抽出す
るための輪郭モデルを構成する節点を所定の規則に基づ
いて移動することにより前記輪郭モデルを収縮または拡
大変形させる輪郭モデル変形処理と、前記輪郭モデル変
形処理によって変形された輪郭モデルを構成する節点の
うち隣接しない2節点の距離を求め、この距離の値が所
定のしきい値より小さい場合にこの輪郭モデルを***さ
せるか否かを判定する***判定処理と、前記***判定処
理における判定結果に応じて、***判定時に距離を求め
た2節点の近辺において前記輪郭モデルを***させる輪
郭モデル***処理とをコンピュータに行わせることを特
徴とする。
【0013】請求項8に記載の発明は、前記輪郭抽出プ
ログラムは、撮像された画像の画素毎の距離データを取
得することによって、撮像された画像に対応する距離画
像を得る距離画像取得処理をさらにコンピュータに行わ
せ、 前記***判定処理は、得られた距離画像に基づい
て所定の距離範囲内に存在する輪郭モデルに対して***
判定を行うことを特徴とする。
【0014】請求項9に記載の発明は、撮像された画像
から対象物の輪郭を抽出する輪郭抽出プログラムを記録
したコンピュータ読み取り可能な記録媒体であって、前
記輪郭抽出プログラムは、撮像された画像に含まれる少
なくとも一つの対象物を囲み、該対象物の輪郭を抽出す
るための輪郭モデルを構成する節点を所定の規則に基づ
いて移動することにより前記輪郭モデルを収縮または拡
大変形させる輪郭モデル変形処理と、撮像された画像の
画素毎の距離データを取得することによって、撮像され
た画像に対応する距離画像を得る距離画像取得処理とを
コンピュータに行わせ、前記輪郭モデル変形処理は、得
られた距離画像に基づいて前記輪郭モデルを変形させる
ことによって対象物の輪郭を抽出することを特徴とす
る。
【0015】
【発明の実施の形態】以下、本発明の一実施形態による
輪郭抽出装置を図面を参照して説明する。図1は同実施
形態の構成を示すブロック図である。この図において、
符号1は、CCDカメラや赤外線カメラ等によって構成
される撮像装置である。符号2は、撮像装置1によって
撮像された画像を記憶する画像記憶部である。符号3
は、画像記憶部2に記憶されている画像データに基づい
て輪郭モデルを生成または更新する輪郭モデル生成・更
新部である。符号4は、輪郭モデル生成・更新部3のお
いて生成または更新された輪郭モデルデータに基づき、
この輪郭モデルを***するための***判定を行い、その
結果に応じて輪郭モデルに対して***処理を行う輪郭モ
デル***判定・***部である。符号5は、輪郭モデル分
裂判定・***部4において、処理された結果の輪郭モデ
ルを記憶する輪郭モデル記憶部である。符号6は、取得
した画像中における対象物の輪郭を表示するためCRT
等で構成された表示装置である。
【0016】次に、図2を参照して、図1に示す輪郭抽
出装置の動作を説明する。図2は、図1に示す輪郭抽出
装置の動作を示すフローチャートである。まず、撮像装
置1は、対象物の画像を撮像し、この撮像した画像をデ
ジタル変換して画像記憶部2へ記憶する(ステップS
1)。ここで、画像記憶部2へ記憶される画像データ
は、各画素の輝度値をデジタル値に変換したデータであ
り、8ビット表現するのであれば、0〜255の値を持
つ輝度値が各画素毎に記憶されることとなる。
【0017】次に、輪郭モデル生成・更新部3は、画像
記憶部2に記憶されている画像データから輪郭モデルの
生成を行い、その結果を輪郭モデル記憶部5に記憶する
(ステップS2)。この輪郭モデルの生成は、周知の生
成方法を用いることによって行われ、例えば、撮像され
た画像の大きさと同じ大きさの長方形の各辺を予め指定
された数で等分するように輪郭上に点を配置し、それら
の点を輪郭を構成する節点として輪郭モデル記憶部5に
記憶する。
【0018】なお、時間的に連続した画像を処理する場
合は、直前の画像において抽出された輪郭を包含する長
方形を用いてもよい。このように、直前の画像からの抽
出結果に基づいて輪郭モデルを生成することによって、
輪郭を構成する節点の定義処理を簡単にすることができ
る。
【0019】次に、輪郭モデル生成・更新部3は、輪郭
モデル記憶部5に記憶されている各節点を輪郭モデルの
エネルギー関数が最小になるように輪郭モデルの更新を
行う(ステップS3)。この更新処理も周知の更新処理
を用いることによって行われる。ここで用いられるエネ
ルギー関数は、輪郭を滑らかにするスプライン項、輪郭
モデルを収縮させる面積項、節点間隔を均等にする節点
間距離項、節点を画像のエッジに引きつけるようにする
エッジ項のいずれかを使用することが可能である。ま
た、このとき、エネルギー関数が最小になるように節点
を移動した結果、この移動した節点と隣接する節点間の
距離が予め決められたしきい値より小さい場合、移動し
た節点を消滅させる処理を行う。この時点で、輪郭モデ
ル記憶部5には、予め決められたエネルギー関数が最小
になるように更新された輪郭モデルが記憶されている。
【0020】次に、輪郭モデル***判定・***部4は、
輪郭モデル記憶部5に記憶されている輪郭モデルに対し
て***判定を行う(ステップS4)。この***判定は、
隣接しない画像上の2つの節点間の距離の2乗が予め決
められたしきい値より小さいか否かによって判定する。
そして、節点間の距離の2乗がしきい値より小さい場
合、この輪郭モデルに対して***処理を施す(ステップ
S5)。
【0021】ここで、***判定・***の処理について、
図5、6に示す具体例を参照して説明する。図5は、分
裂前の輪郭モデル(図5(a))と***後の輪郭モデル
(図5(b))の一例を示す図である。図6は、***前
の輪郭モデル(図6(a))と***後の輪郭モデル(図
6(b)、(c))が記憶されている輪郭モデル記憶部
5のテーブル構造を示す図である。なお、各節点は、V
i(xi,yi)(i=1,2,・・・・,n)で示す。
【0022】図5(a)に示す輪郭モデルは、14個の
節点によって構成されており、節点のそれぞれに1〜1
4の順番号が付与される。この順番号の付与は、例えば
輪郭を構成する節点の座標値が原点に一番近い節点を順
番号「1」として、以降隣接する節点に対して時計回り
に順番号を付与することによって行われる。この順番号
に基づいて、輪郭モデル記憶部5には、図6(a)に示
すように各節点の画像上の座標値が記憶される。
【0023】初めに、***判定の処理について説明す
る。まず、輪郭モデル***判定・***部4は、順番号が
「1」である節点に着目し、隣接しない節点(V3)と
の距離の2乗(d2)を(1)式によって求める。 d2=(xi−xj2+(yi−yj2 ・・・・・(1) ただし、(j≠i−1、i+1) この例では、iは「1」となり、jは「3」となる。
【0024】そして、輪郭モデル***判定・***部4
は、2節点間の距離の2乗(d2)を求めた時点で、こ
のd2と予め設定されたしきい値とを比較して、d2がし
きい値より小さい場合、輪郭モデルを***すると判定す
る。一方、d2がしきい値より小さくない場合は、
(1)式のjを「4」から「13」まで変化させて、求
めたd2としきい値とを比較する処理を繰り返し、輪郭
モデル***の判定を行う。jの値を「13」まで変化さ
せて***判定を行った結果、***すると判定がされなか
った場合、輪郭モデル***判定・***部4は、さらに
(1)式のiの値を「2」から「14」まで変化させて
同様の判定処理を行う。この判定処理によって、全ての
節点に対して、隣接しない他の節点との距離の2乗が求
められ、その結果に基づいて***判定処理が行われるこ
ととなる。
【0025】なお、***判定において、しきい値と比較
する値を距離の2乗(d2)とせずに、2点間の距離
(d)としてもよい。前述の説明において、距離の2乗
としきい値と比較するのは、距離(d)を求めるための
平方根の演算処理を省くことによって計算時間の短縮を
図るためである。距離の2乗を用いる場合であっても、
しきい値を距離の2乗(d2)に対応する値としておけ
ば、距離(d)を用いる場合と同等の結果を得ることが
可能である。
【0026】次に、***処理について説明する。まず、
輪郭モデル***判定・***部4は、(1)式によって求
めた距離の2乗(d2)がしきい値より小さい場合、こ
の距離の2乗(d2)を求めたときの節点Vi、Vjに基
づいて、***処理を施す。例えば、図5(a)に示す節
点Viと節点Vjとの間の距離(d)の2乗がしきい値よ
り小さい場合、節点Viと節点Vj+1とを結び、節点V
i+1と節点Vjとを結ぶことによって、図5(a)に示す
輪郭モデルを図5(b)に示す新たな2つの輪郭モデル
に***させる。そして、輪郭モデル***判定・***部4
は、図6(b)、(c)に示すように、2つの輪郭モデ
ルを輪郭モデル記憶部5に記憶する。これによって、1
4個の節点からなる輪郭モデルは、7個の節点からなる
2つの輪郭モデルに***されることとなる。
【0027】このように、2点間の距離の2乗(もしく
は2点間の距離)の計算と、しきい値との大小比較処理
によってのみ***判定を行うようにして、接触・交差判
定による***判定の処理時間に比べて***判定の処理時
間を短縮することができるため、輪郭モデルを生成する
場合に輪郭を構成する節点の数を増やすことが可能とな
り、結果的に抽出される輪郭の形状の精度を向上するこ
とができる。
【0028】最後に、輪郭モデル***判定・***部4
は、処理の終了判定を行う(ステップS6)。この終了
判定は、予め設定された回数だけ、図2に示すステップ
S3〜S5の処理を繰り返したか否かによって判定され
る。この回数は、例えば、取得された画像のサイズ(幅
もしくは高さ)等を指定する。また、指定された回数に
達していない場合であっても、輪郭モデルが消滅した場
合も終了と判定する。この判定によって、終了と判定が
されなかった場合、輪郭モデル***判定・***部4は、
輪郭モデル生成・更新部3に対して、輪郭モデルの更新
を再度行うように指示をする。これを受けて、図2に示
すステップS3〜S5の処理を繰り返す。
【0029】ステップS6において、終了判定が行わ
れ、「終了」と判定がされた場合、表示装置6は、輪郭
モデル記憶部5に記憶されている輪郭モデルを読み出し
て表示処理を行う。輪郭抽出装置は、時間的に連続した
画像に対して、図2に示す処理を繰り返し実行する。こ
れによって、表示装置6には抽出された輪郭が表示され
る。
【0030】次に、図3を参照して、他の実施形態を説
明する。図3において、図1に示す装置と同一の部分に
は同一の符号を付し、その説明を省略する。図3におい
て、符号8は、2つの撮像装置1から得られた2つの画
像から各画素の距離を計算する距離計算部である。符号
9は、2つの撮像装置1から得られた画像及び距離計算
部9の計算結果から得られる距離画像を記憶する画像・
距離記憶部である。符号10は、画像・距離記憶部9に
記憶されている画像データ及び距離画像データに基づい
て輪郭モデルを生成または更新する輪郭モデル生成・更
新部である。符号11は、輪郭モデル生成・更新部10
において生成または更新された輪郭モデルデータに基づ
き、この輪郭モデルを***するための***判定を行い、
その結果に応じて輪郭モデルに対して***処理を行う輪
郭モデル***判定・***部である。符号12は、輪郭モ
デル***判定・***部11において、処理された結果の
輪郭モデルを記憶する輪郭モデル記憶部である。撮像装
置1は、得られた画像から距離画像が得られるように2
台備えられている。
【0031】次に、図4を参照して、図3に示す輪郭抽
出装置の動作を説明する。図4は、図3に示す輪郭抽出
装置の動作を示すフローチャートである。以下の説明
は、図1及び図2に示す輪郭抽出装置と異なる部分を主
に説明し、図1及び図2に示す輪郭抽出装置と同じ処理
動作については説明を省略する。まず、2つの撮像装置
1は、対象物の画像を同時に撮像し、それぞれ撮像した
画像をデジタル変換して距離計算部8へ出力するとも
に、2つの画像のうちいずれか一方を画像・距離記憶部
9へ記憶する(ステップS11)。
【0032】次に、距離計算部8は、2つの画像から各
画素毎の距離計算を行い、その結果から距離画像を生成
し、この距離画像を画像・距離記憶部9へ記憶する(ス
テップS12)。この時点で、画像・距離記憶部9に
は、撮像装置1によって撮像された画像とこの画像に対
応する距離画像が記憶されていることとなる。
【0033】次に、輪郭モデル生成・更新部10は、画
像・距離記憶部9に記憶されている画像データから輪郭
モデルの生成を行い、その結果を輪郭モデル記憶部12
に記憶する(ステップS13)。
【0034】次に、輪郭モデル生成・更新部10は、輪
郭モデル記憶部12に記憶されている各節点を輪郭モデ
ルのエネルギー関数が最小になるように輪郭モデルの更
新を行う(ステップS14)。ここで用いられるエネル
ギー関数は、前述したスプライン項、面積項、節点間距
離項、エッジ項のいずれかを使用することに加え、距離
情報を利用したエッジ項を用いる。これは、距離画像を
参照して、対象物を抽出したい距離範囲以外に該当する
画素のエネルギー(エッジ項)の重み係数を「0」(ゼ
ロ)にすることによって実現する。これによって、抽出
したい距離範囲に存在するエッジのみに輪郭モデルが引
き寄せられるために、結果的に抽出したい距離範囲以外
に存在する対象物を抽出処理の対象外とすることができ
る。
【0035】この処理は、例えば、図7に示す場面等に
おいて有効である。図7に示すように、物体A、B、C
が撮像装置1の撮像視野内に存在するとき、得られる画
像は、図8(a)に示すように、物体Cの内側に物体
A、Bが存在することとなる。この画像に対して、輪郭
抽出を行う場合、物体A、Bの輪郭抽出処理が複雑とな
る。
【0036】これに対して、2台の撮像装置1を使用し
て、図7に示す場面の距離画像を取得するとともに、対
象物を抽出したい距離範囲を予め指定して、この距離範
囲以外の対象物を輪郭抽出対象外とすれば、図8(b)
に示すように、物体A、Bのみが撮像された画像を使用
して輪郭抽出を行うのと同等になるために、確実に輪郭
抽出を行うことが可能となる。
【0037】ステップS14の処理が終了した時点で、
輪郭モデル記憶部12には、予め決められたエネルギー
関数が最小であり、かつ抽出したい距離範囲に存在する
対象物の輪郭モデルが記憶されていることになる。
【0038】次に、輪郭モデル***判定・***部11
は、輪郭モデル記憶部12に記憶されている輪郭モデル
に対して***判定を行い(ステップS15)、この判定
結果に基づいて***処理を施す(ステップS16)。こ
の***判定及び***処理は前述した処理動作と同様であ
る。
【0039】最後に、輪郭モデル***判定・***部11
は、処理の終了判定を行う(ステップS17)。ステッ
プS17において、終了判定が行われ、「終了」と判定
がされた場合、表示装置6は、輪郭モデル記憶部12に
記憶されている輪郭モデルを読み出して表示処理を行
う。輪郭抽出装置は、時間的に連続した画像に対して、
図4に示す処理を繰り返し実行する。
【0040】このように、輪郭モデルの***処理におい
て、距離画像を用いて抽出したい距離範囲以外に存在す
る対象物を輪郭抽出の対象外とするようにしたため、さ
らに計算時間を短縮することができる。さらに、対象物
が重なり合う場合においても抽出したい対象物の輪郭を
確実に抽出することが可能となる。
【0041】なお、図2、4に示すステップS4、S1
5において、***判定を行う場合に、距離の2乗
(d2)としきい値の比較結果に加え、この比較結果に
基づいて***することが妥当であるか否かを判定し、こ
の妥当性の判定結果に基づいて***処理(ステップS
5、S16)を実施するようにしてもよい。この妥当性
の判定は、前述した処理に基づいて2つに***すると仮
定した場合に、2つの輪郭モデルの各節点に囲まれてい
る領域内部のパラメータを比較判定することによって行
う。ここで用いるパラメータは、領域内の平均輝度、カ
ラー画像である場合のカラー分布、赤外線画像である場
合の温度分布、2つの輪郭モデルを構成する対象物まで
の距離または3次元上の位置等であり、これらの少なく
とも1つのパラメータについて比較判定を行う。
【0042】例えば、距離の2乗(d2)としきい値の
比較結果に基づいて、***すると判定された場合、処理
対象の輪郭モデルを2つに***すると仮定して、仮の分
裂処理を行い、この結果得られた2つの輪郭モデルの内
部の平均輝度をそれぞれ求め、その2つの平均輝度の差
が予め決められたしきい値より大きい場合は、***する
ことを決定し、平均輝度の差がしきい値より小さい場合
は、同一の対象物である可能性が高いため、***処理を
実施しないようにする。
【0043】そして、この判定結果に基づいて、距離の
2乗(d2)と比較するしきい値の値を増減する。距離
の2乗(d2)としきい値の比較結果から***と判定さ
れた場合において、妥当性の判定においても***と判定
された場合は、距離の2乗(d2)と比較するしきい値
を増加させ、***処理を発生し易くし、妥当性の判定に
おいて、***しないと判定された場合は、距離の2乗
(d2)と比較するしきい値を減少させ、***処理を発
生しにくくする。これによって、判定処理を効率よく行
うことが可能となる。
【0044】また、カラー分布を比較する場合は、各画
素毎にRGBそれぞれの輝度値に分解し、RGBそれぞ
れの輝度差をしきい値と比較することによって判定する
ようにする。また、温度分布を比較する場合は、2つの
領域内の平均温度を求め、この2つの平均温度の差が予
め決められたしきい値より大きいか否かによって判定す
るようにする。さらに、対象物までの距離や対象物の位
置を用いて判定する場合も2つの輪郭モデルの位置関係
が近いものは、同一の対象物と見なして***しないよう
にする。
【0045】さらに、処理を簡単にするために、輪郭モ
デルの各節点に囲まれている領域内についてパラメータ
の比較を行うのではなく、輪郭モデルを構成する各節点
についてのみパラメータの比較判定を行うようにしても
よい。この場合には、演算処理の負荷を低減することが
できるために、高速な処理を実現することが可能とな
る。
【0046】このように、***処理に判定において、妥
当性の判定を行うようにしたため、***判定の精度を向
上することが可能となる。また、判定結果に基づいて動
的に***判定のしきい値を増減させるようにしたため、
輪郭を抽出する対象物の状態に応じたしきい値の設定を
自動的に行うことが可能となる。さらに、***判定にお
いて、2点間の距離の2乗(もしくは2点間の距離)の
計算と、しきい値との大小比較処理によってのみ***判
定を行うようにして、接触・交差判定による***判定の
処理時間に比べて***判定の処理時間を短縮したため、
妥当性の判定処理を加えても、処理時間が長くなること
を防止することができる。
【0047】なお、図2、4に示す処理を実現するため
のプログラムをコンピュータ読み取り可能な記録媒体に
記録して、この記録媒体に記録されたプログラムをコン
ピュータシステムに読み込ませ、実行することにより輪
郭抽出処理を行ってもよい。なお、ここでいう「コンピ
ュータシステム」とは、OSや周辺機器等のハードウェ
アを含むものとする。また、「コンピュータシステム」
は、WWWシステムを利用している場合であれば、ホー
ムページ提供環境(あるいは表示環境)も含むものとす
る。また、「コンピュータ読み取り可能な記録媒体」と
は、フロッピー(登録商標)ディスク、光磁気ディス
ク、ROM、CD−ROM等の可搬媒体、コンピュータ
システムに内蔵されるハードディスク等の記憶装置のこ
とをいう。さらに「コンピュータ読み取り可能な記録媒
体」とは、インターネット等のネットワークや電話回線
等の通信回線を介してプログラムが送信された場合のサ
ーバやクライアントとなるコンピュータシステム内部の
揮発性メモリ(RAM)のように、一定時間プログラム
を保持しているものも含むものとする。
【0048】また、上記プログラムは、このプログラム
を記憶装置等に格納したコンピュータシステムから、伝
送媒体を介して、あるいは、伝送媒体中の伝送波により
他のコンピュータシステムに伝送されてもよい。ここ
で、プログラムを伝送する「伝送媒体」は、インターネ
ット等のネットワーク(通信網)や電話回線等の通信回
線(通信線)のように情報を伝送する機能を有する媒体
のことをいう。また、上記プログラムは、前述した機能
の一部を実現するためのものであっても良い。さらに、
前述した機能をコンピュータシステムにすでに記録され
ているプログラムとの組み合わせで実現できるもの、い
わゆる差分ファイル(差分プログラム)であっても良
い。
【0049】以上説明したように、本発明は、自動車の
安全支援システムや知能ロボットの視覚システム等の視
覚で得られる情報に基づいて機器の制御を行うシステム
に適用することにより、その効果を発揮することができ
るものである。
【0050】
【発明の効果】以上説明したように、請求項1、4、7
に記載の発明によれば、輪郭モデル変形手段によって変
形された輪郭モデルを構成する節点のうち隣接しない2
節点の距離を求め、この距離の値が所定のしきい値より
小さい場合にこの輪郭モデルを***させるか否かを判定
し、この判定結果に応じて、***判定時に距離を求めた
2節点の近辺において輪郭モデルを***させるようにし
たため、同一の画像中に複数の対象物が現れた場合であ
っても、短時間で確実に複数の対象物の輪郭を抽出する
ことができるという効果が得られる。
【0051】また、請求項2、5、8に記載の発明によ
れば、撮像された画像の画素毎の距離データを取得する
ことによって、撮像された画像に対応する距離画像を得
るようにし、得られた距離画像に基づいて所定の距離範
囲内に存在する輪郭モデルに対して***判定を行うよう
にして、対象物を抽出したい距離範囲外の対象物を輪郭
抽出対象外としたため、抽出したい対象物を確実に抽出
できるとともに、抽出処理の対象が削減できるために、
抽出処理時間を大幅に短縮することができるという効果
が得られる。
【0052】また、請求項3、6、9に記載の発明によ
れば、撮像された画像の画素毎の距離データを取得する
ことによって、撮像された画像に対応する距離画像を得
るようにし、得られた距離画像に基づいて輪郭モデルを
変形させるようにしたため、対象物の輪郭を抽出するた
めの輪郭モデルの変形を効率良く行うことができ、結果
的に輪郭抽出の精度を向上させることができるという効
果が得られる。
【図面の簡単な説明】
【図1】 本発明の一実施形態の構成を示すブロック図
である。
【図2】 図1に示す輪郭抽出装置の動作を示すフロー
チャートである。
【図3】 本発明の他の実施形態の構成を示すブロック
図である。
【図4】 図3に示す輪郭抽出装置の動作を示すフロー
チャートである。
【図5】 ***前の輪郭モデルと***後の輪郭モデルの
一例を示す説明図である。
【図6】 ***前の輪郭モデルと***後の輪郭モデルが
記憶されている輪郭モデル記憶部5のテーブル構造を示
す説明図である。
【図7】 距離画像を用いて輪郭抽出を行う処理を説明
する説明図である。
【図8】 距離画像を用いて輪郭抽出を行う処理を説明
する説明図である。
【符号の説明】
1・・・撮像装置、 2・・・画像記憶部、 3、10・・・輪郭モデル生成・更新部、 4、11・・・輪郭モデル***判定・***部、 5、12・・・輪郭モデル記憶部、 6・・・表示装置、 8・・・距離計算部、 9・・・画像・距離記憶部。

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 撮像された画像に含まれる少なくとも一
    つの対象物を囲み、該対象物の輪郭を抽出するための輪
    郭モデルを記憶する輪郭モデル記憶手段と、 前記輪郭モデルを構成する節点を所定の規則に基づいて
    移動することにより前記輪郭モデルを収縮または拡大変
    形させる輪郭モデル変形手段と、 前記輪郭モデル変形手段によって変形された輪郭モデル
    を構成する節点のうち隣接しない2節点の距離を求め、
    この距離の値が所定のしきい値より小さい場合にこの輪
    郭モデルを***させるか否かを判定する***判定手段
    と、 前記***判定手段における判定結果に応じて、***判定
    時に距離を求めた2節点の近辺において前記輪郭モデル
    を***させる輪郭モデル***手段と、 を備えたことを特徴とする輪郭抽出装置。
  2. 【請求項2】 前記輪郭抽出装置は、 撮像された画像の画素毎の距離データを取得することに
    よって、撮像された画像に対応する距離画像を得る距離
    画像取得手段をさらに備え、 前記***判定手段は、得られた距離画像に基づいて所定
    の距離範囲内に存在する輪郭モデルに対して***判定を
    行うことを特徴とする請求項1に記載の輪郭抽出装置。
  3. 【請求項3】 撮像された画像に含まれる少なくとも一
    つの対象物を囲み、該対象物の輪郭を抽出するための輪
    郭モデルを記憶する輪郭モデル記憶手段と、 前記輪郭モデルを構成する節点を所定の規則に基づいて
    移動することにより前記輪郭モデルを収縮または拡大変
    形させる輪郭モデル変形手段と、 撮像された画像の画素毎の距離データを取得することに
    よって、撮像された画像に対応する距離画像を得る距離
    画像取得手段とを備え、 前記輪郭モデル変形手段は、得られた距離画像に基づい
    て前記輪郭モデルを変形させることによって対象物の輪
    郭を抽出することを特徴とする輪郭抽出装置。
  4. 【請求項4】 撮像された画像に含まれる少なくとも一
    つの対象物を囲み、該対象物の輪郭を抽出するための輪
    郭モデルを構成する節点を所定の規則に基づいて移動す
    ることにより前記輪郭モデルを収縮または拡大変形させ
    る輪郭モデル変形過程と、 前記輪郭モデル変形過程によって変形された輪郭モデル
    を構成する節点のうち隣接しない2節点の距離を求め、
    この距離の値が所定のしきい値より小さい場合にこの輪
    郭モデルを***させるか否かを判定する***判定過程
    と、 前記***判定過程における判定結果に応じて、***判定
    時に距離を求めた2節点の近辺において前記輪郭モデル
    を***させる輪郭モデル***過程と、 を有することを特徴とする輪郭抽出方法。
  5. 【請求項5】 前記輪郭抽出方法は、 撮像された画像の画素毎の距離データを取得することに
    よって、撮像された画像に対応する距離画像を得る距離
    画像取得過程をさらに有し、 前記***判定過程は、得られた距離画像に基づいて所定
    の距離範囲内に存在する輪郭モデルに対して***判定を
    行うことを特徴とする請求項4に記載の輪郭抽出方法。
  6. 【請求項6】 撮像された画像に含まれる少なくとも一
    つの対象物を囲み、該対象物の輪郭を抽出するための輪
    郭モデルを構成する節点を所定の規則に基づいて移動す
    ることにより前記輪郭モデルを収縮または拡大変形させ
    る輪郭モデル変形過程と、 撮像された画像の画素毎の距離データを取得することに
    よって、撮像された画像に対応する距離画像を得る距離
    画像取得過程とを有し、 前記輪郭モデル変形過程は、得られた距離画像に基づい
    て前記輪郭モデルを変形させることによって対象物の輪
    郭を抽出することを特徴とする輪郭抽出方法。
  7. 【請求項7】 撮像された画像から対象物の輪郭を抽出
    する輪郭抽出プログラムを記録したコンピュータ読み取
    り可能な記録媒体であって、 前記輪郭抽出プログラムは、 撮像された画像に含まれる少なくとも一つの対象物を囲
    み、該対象物の輪郭を抽出するための輪郭モデルを構成
    する節点を所定の規則に基づいて移動することにより前
    記輪郭モデルを収縮または拡大変形させる輪郭モデル変
    形処理と、 前記輪郭モデル変形処理によって変形された輪郭モデル
    を構成する節点のうち隣接しない2節点の距離を求め、
    この距離の値が所定のしきい値より小さい場合にこの輪
    郭モデルを***させるか否かを判定する***判定処理
    と、 前記***判定処理における判定結果に応じて、***判定
    時に距離を求めた2節点の近辺において前記輪郭モデル
    を***させる輪郭モデル***処理と、 をコンピュータに行わせることを特徴とする輪郭抽出プ
    ログラムを記録した記録媒体。
  8. 【請求項8】 前記輪郭抽出プログラムは、 撮像された画像の画素毎の距離データを取得することに
    よって、撮像された画像に対応する距離画像を得る距離
    画像取得処理をさらにコンピュータに行わせ、 前記***判定処理は、得られた距離画像に基づいて所定
    の距離範囲内に存在する輪郭モデルに対して***判定を
    行うことを特徴とする請求項7に記載の輪郭抽出プログ
    ラムを記録した記録媒体。
  9. 【請求項9】 撮像された画像から対象物の輪郭を抽出
    する輪郭抽出プログラムを記録したコンピュータ読み取
    り可能な記録媒体であって、 前記輪郭抽出プログラムは、 撮像された画像に含まれる少なくとも一つの対象物を囲
    み、該対象物の輪郭を抽出するための輪郭モデルを構成
    する節点を所定の規則に基づいて移動することにより前
    記輪郭モデルを収縮または拡大変形させる輪郭モデル変
    形処理と、 撮像された画像の画素毎の距離データを取得することに
    よって、撮像された画像に対応する距離画像を得る距離
    画像取得処理とをコンピュータに行わせ、 前記輪郭モデル変形処理は、得られた距離画像に基づい
    て前記輪郭モデルを変形させることによって対象物の輪
    郭を抽出することを特徴とする輪郭抽出プログラムを記
    録した記録媒体。
JP2000280686A 2000-09-14 2000-09-14 輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラムを記録した記録媒体 Expired - Lifetime JP4409072B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000280686A JP4409072B2 (ja) 2000-09-14 2000-09-14 輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラムを記録した記録媒体
US09/951,540 US6920248B2 (en) 2000-09-14 2001-09-14 Contour detecting apparatus and method, and storage medium storing contour detecting program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000280686A JP4409072B2 (ja) 2000-09-14 2000-09-14 輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2002092622A true JP2002092622A (ja) 2002-03-29
JP4409072B2 JP4409072B2 (ja) 2010-02-03

Family

ID=18765472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000280686A Expired - Lifetime JP4409072B2 (ja) 2000-09-14 2000-09-14 輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラムを記録した記録媒体

Country Status (2)

Country Link
US (1) US6920248B2 (ja)
JP (1) JP4409072B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005004060A1 (ja) * 2003-07-01 2005-01-13 Honda Motor Co., Ltd. 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム
US7340100B2 (en) 2002-08-09 2008-03-04 Honda Giken Kogyo Kabushiki Kaisha Posture recognition apparatus and autonomous robot
JP2012056392A (ja) * 2010-09-07 2012-03-22 Bridgestone Corp タイヤモデル作成方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040185101A1 (en) * 2001-03-27 2004-09-23 Macromed, Incorporated. Biodegradable triblock copolymers as solubilizing agents for drugs and method of use thereof
GB0404269D0 (en) * 2004-02-26 2004-03-31 Leuven K U Res & Dev Time-dependent three-dimensional musculo-skeletal modeling based on dynamic surface measurements of bodies
JP4328286B2 (ja) * 2004-12-14 2009-09-09 本田技研工業株式会社 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
KR100698845B1 (ko) * 2005-12-28 2007-03-22 삼성전자주식회사 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그장치
JP4699298B2 (ja) * 2006-06-28 2011-06-08 富士フイルム株式会社 人体領域抽出方法および装置並びにプログラム
KR20090120159A (ko) * 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
JP4866890B2 (ja) * 2008-10-08 2012-02-01 本田技研工業株式会社 ワーク形状推定装置
TWI426782B (zh) * 2010-05-19 2014-02-11 Hon Hai Prec Ind Co Ltd 手持裝置及利用其動態監控特定區域的方法
JP5505164B2 (ja) * 2010-07-23 2014-05-28 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN104424662B (zh) * 2013-08-23 2017-07-28 三纬国际立体列印科技股份有限公司 立体扫描装置
US9785828B2 (en) 2014-06-06 2017-10-10 Honda Motor Co., Ltd. System and method for partially occluded object detection
JP7028814B2 (ja) * 2019-02-07 2022-03-02 ファナック株式会社 外形認識装置、外形認識システム及び外形認識方法
CN111680706B (zh) * 2020-06-17 2023-06-23 南开大学 一种基于编码和解码结构的双通道输出轮廓检测方法
CN112465823B (zh) * 2021-01-27 2021-06-04 聚时科技(上海)有限公司 一种基于视觉的集装箱门锁杆变形检测方法
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08189809A (ja) 1995-01-09 1996-07-23 Matsushita Electric Ind Co Ltd 画像中の対象物抽出装置
KR100414432B1 (ko) * 1995-03-24 2004-03-18 마츠시타 덴끼 산교 가부시키가이샤 윤곽추출장치
JPH08329254A (ja) 1995-03-24 1996-12-13 Matsushita Electric Ind Co Ltd 輪郭抽出装置
DE69635101T2 (de) * 1995-11-01 2006-06-01 Canon K.K. Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7340100B2 (en) 2002-08-09 2008-03-04 Honda Giken Kogyo Kabushiki Kaisha Posture recognition apparatus and autonomous robot
WO2005004060A1 (ja) * 2003-07-01 2005-01-13 Honda Motor Co., Ltd. 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム
JPWO2005004060A1 (ja) * 2003-07-01 2006-11-30 本田技研工業株式会社 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム
US7418139B2 (en) 2003-07-01 2008-08-26 Honda Motor Co., Ltd. Contour extraction apparatus, contour extraction method, and contour extraction program
JP4523915B2 (ja) * 2003-07-01 2010-08-11 本田技研工業株式会社 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム
JP2012056392A (ja) * 2010-09-07 2012-03-22 Bridgestone Corp タイヤモデル作成方法

Also Published As

Publication number Publication date
US6920248B2 (en) 2005-07-19
US20020031265A1 (en) 2002-03-14
JP4409072B2 (ja) 2010-02-03

Similar Documents

Publication Publication Date Title
JP4409072B2 (ja) 輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラムを記録した記録媒体
JP4328286B2 (ja) 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
JP4756660B2 (ja) 画像処理装置および画像処理方法
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
JPH1023452A (ja) 画像抽出装置および方法
JPH0766446B2 (ja) 移動物体像を抽出する方法
JPH03206572A (ja) 階調変換自動化装置
KR101624801B1 (ko) 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치
KR20220017697A (ko) 복수의 센서간 캘리브레이션 방법 및 장치
CN115439615B (zh) 一种基于三维bim的分布式综合管理***
JP4235018B2 (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP2004171189A (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP3614709B2 (ja) 景観画像インデクス方法、装置および景観画像インデクスプログラムを記録した記録媒体
JP4272538B2 (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
KR20050063991A (ko) 영상 피라미드를 이용한 영상정합 처리방법 및 장치
JP5747695B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2017162391A (ja) 画像処理方法及び画像処理プログラム
US20050088531A1 (en) Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon
CN111445411A (zh) 图像去噪方法、装置、计算机设备和存储介质
CN114387514A (zh) 信息获取方法、装置、机器人及存储介质
JP2000132692A (ja) 曲線の特徴点抽出方法及びこの方法を記録した記録媒体
JP2663878B2 (ja) 人物動き領域検出装置
CN112530027A (zh) 一种三维点云修复方法、装置及电子设备
JP3963789B2 (ja) 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法
JP3188899B2 (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091111

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4409072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term