JP4523915B2 - 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム - Google Patents

輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム Download PDF

Info

Publication number
JP4523915B2
JP4523915B2 JP2005511351A JP2005511351A JP4523915B2 JP 4523915 B2 JP4523915 B2 JP 4523915B2 JP 2005511351 A JP2005511351 A JP 2005511351A JP 2005511351 A JP2005511351 A JP 2005511351A JP 4523915 B2 JP4523915 B2 JP 4523915B2
Authority
JP
Japan
Prior art keywords
node
contour
nodes
distance
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005511351A
Other languages
English (en)
Other versions
JPWO2005004060A1 (ja
Inventor
信男 檜垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JPWO2005004060A1 publication Critical patent/JPWO2005004060A1/ja
Application granted granted Critical
Publication of JP4523915B2 publication Critical patent/JP4523915B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755Deformable models or variational models, e.g. snakes or active contours

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、カメラによって対象物を撮像した画像から、対象物の輪郭を抽出するための装置、方法及びプログラムに関する。
従来、カメラによって対象物を撮像した画像から、対象物の輪郭を抽出する手法として、「Snakes」と呼ばれる閉曲線からなる動的輪郭モデルを用いた手法(以下、「スネーク手法」という)が知られている。
スネーク手法とは、閉曲線を、予め定義されたエネルギ関数が最小となるように変形させることにより、対象物の輪郭を抽出する手法である。具体的には、対象物の概略の輪郭を設定した後、その輪郭を下記の式(1)で表わされるエネルギ関数が所定値以下となるように繰り返し収縮変形させることにより、対象物の輪郭を抽出している。
Figure 0004523915
式(1)において、p(s)は輪郭を形成する節点、Eint(p(s))は輪郭の滑らかさ等を表す「内部エネルギ」、Eimage(p(s))は画像の輝度勾配等を表す「画像エネルギ」、Econ(p(s))は輪郭に外部から加えられる力を表す「外部エネルギ」を示している。
しかし、前記したスネーク手法では、対象物が複数ある場合や、対象物の概略の輪郭が予め与えられていない場合には、対象物の輪郭を正確に抽出できないという問題点があった。特に、対象物が他の物体と近接している場合や、画像上で対象物が他の物体と前後に重なっている場合には、対象物の輪郭と他の物体の輪郭とが、1つの輪郭として抽出されてしまうという問題点があった。
そこで、前記した問題点を解決するために、隣り合う節点を結んで形成された線分同士が交差する場合に、1つの輪郭を2つに***させる技術が提案されている(例えば、特許文献1,特許文献2参照)。
具体的には、図11(a)に示すように、輪郭Vにおける「線分Pa+1」と「線分Pb+1」とが交差する場合は、図11(b)に示すように、節点「節点P」と「節点Pa+1」との節点、及び「節点P」と「節点Pb+1」との接続をそれぞれ解消し、「節点P」と「節点Pb+1」とを結ぶ「接続線L1」と、「節点P」と「節点Pa+1」とを結ぶ「接続線L2」とを設定することにより、輪郭Vを、輪郭V1と輪郭V2とに***させている。
なお、「線分Pa+1」と「線分Pb+1」との交点の有無は、
節点P(i=1,2,……,n)の座標を(x,y)とすると、
p(Pa+1−P)+P=q(Pb+1−P)+Pの解p,qが、
p{(yb+1−y)(x−x)+(x−xb+1)(y−y)}/det
q{(ya+1−y)(x−x)+(x−xa+1)(y−y)}/det
det=(x−xa+1)(yb+1−y)−(xb+1−x
0≦p≦1、及び0≦q≦1を満たすときに、交点があると判断している。
また、非特許文献1には、下記の技術が開示されている。
(1)Snakeの収束演算において、初期輪郭設定時にSnakeの各隣接する要素(節点)間の距離が等しくなるようにする(図12(a)参照)。その距離をLelmで表わす。
(2)Snakeの要素同士の距離を求め、その中の最小値の距離(<Lelm)にある2つの要素Pa,Pb(Pa,Pbは隣接する要素ではない。)を求める。
(3)最短距離がある閾値以下のときには、PaからPb(反時計回り)と、PbからPa(時計回り)の2つの閉じたSnakeに分離する(図12(b)参照)。
(4)それぞれのSnakeの全長を求め、n等分し、Snakeの各要素間の距離が等しくなるように均等長に割り付ける(図12(c)参照)。これにより、Snakeは2つに***したことになる。後は、それぞれのSnakeについて、(1)〜(4)を繰り返す。
特開平8−329254号公報(第5−6頁、第4図) 特開平9−270014号公報(第4−8頁、第2図) 坂口,美濃,池田、「SNAKEパラメータの設定についての検討」、電子情報通信学会技術研究報告(PRU90−21)、p43−49
しかし、特許文献1及び特許文献2に開示されている従来の輪郭***手法では、計算コストが非常に大きかった。また、非特許文献1に開示されている方法では、輪郭を形成する各要素間の距離の閾値を汎用性をもたせながら一意に決定するのが困難であった。これは、カメラからの距離に応じて画像上の対象物の大きさが異なるからである。
そこで、本発明は、計算コストを軽減させつつ、より早いタイミングで必要な輪郭***処理を行うことができる輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラムを提供することを目的とする。また、本発明は、対象物までの距離にかかわらず柔軟に複数の輪郭処理を行うことができる輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラムを提供することを目的とする。
前記課題を解決するため、請求項1に記載の輪郭抽出装置は、カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するための装置であって、前記輪郭を形成し、予め定義されたエネルギ関数が最小になるように移動する複数の節点に関し、異なる2節点間の距離が、前記対象物までの距離に応じて設定される閾値以下となった場合、当該2節点部に新たな接続線を設けて、前記輪郭を***させることを特徴とする。
つまり、請求項1に記載の輪郭抽出装置は、具体的には、カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するための装置であって、前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する節点配置部と、前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形部と、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する節点間距離測定部と、前記節点間距離が第1の閾値以下となる2つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで前記輪郭を***させる接続線設定部とを備えたことを特徴とする。
この装置は、輪郭を形成した後、予め定義されたエネルギ関数が最小になるように移動する複数の節点に関し、異なる2節点間の距離が、対象物までの距離に応じて設定される閾値以下となった場合に、当該2節点部に新たな接続線を設けて、輪郭を***させる。
すなわち、この装置は、節点配置部で対象物の周縁に、複数の節点を配置し、輪郭変形部で節点を所定の順序で連結して形成される輪郭を変形させた後、節点間距離測定部で、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する。そして、接続線設定部で、節点間距離が第1の閾値以下となる2つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで輪郭を***させる。なお、第1の閾値は、対象物までの距離が近いほど大きくなるように設定される。
また、請求項に記載の輪郭抽出装置は、請求項1に記載の輪郭抽出装置において、前記画像から生成した前記対象物の距離情報、動き情報及びエッジ情報に基づいて、前記対象物の画素を含む領域を設定する対象領域設定手段をさらに備え、前記節点配置部は、前記対象領域設定手段によって設定された対象領域の周辺上に、複数の節点を配置することを特徴とする。
この装置は、対象領域設定手段によって、画像から生成した対象物の距離情報、動き情報及びエッジ情報に基づいて、対象物の画素を含む領域を設定することができる。そして、節点配置部は、対象領域設定手段によって設定された対象領域の周辺上に、複数の節点を配置する。
また、前記対象領域設定手段は、動きが検出されている画素が、第2の閾値よりも多く検出されている距離を対象距離とし、該対象距離から所定の前後幅を持つ領域内の画像を反映した画素のエッジ情報を得て、エッジの検出されている画素の累計値が最大となっている画素列を中心として対象領域を設定する(請求項)。
また、前記対象領域設定手段は、前記中心線から左右に50cmの幅を有し、かつ、2mの高さを有する矩形領域を対象領域として設定する(請求項)。
また、前記対象領域設定手段は、予め設定された所定数の輪郭が抽出されたか、別の対象領域が設定できなくなったと判断されるまで、新たな対象領域の設定処理を繰り返す(請求項)。
そして、前記対象領域設定手段は、新たな対象領域を設定する際に、既に抽出した輪郭領域及び対象物が存在しないと判断された領域以外の領域から、新たな領域を設定する(請求項)。
さらに、前記対象領域設定手段は、前記カメラから得られる色情報をも用いて前記対象領域を設定する(請求項)。
請求項に記載の輪郭抽出方法は、カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するための方法であって、前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する節点配置ステップと、前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形ステップと、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する節点間距離測定ステップと、前記節点間距離が、前記対象物までの距離が近いほど大きくなるように設定される第1の閾値以下となる2つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで前記輪郭を***させる接続線設定ステップとを含むことを特徴とする。
この方法は、節点配置ステップにおいて、対象物を含む領域の周縁に、複数の節点を配置し、輪郭変形ステップにおいて、節点を予め定義されたエネルギ関数が最小となるように移動させることにより、節点を所定の順序で連結して形成される輪郭を変形させた後、節点間距離測定ステップにおいて、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する。そして、接続線設定ステップにおいて、節点間距離測定ステップでの測定結果に基づいて、節点間距離が、前記対象物までの距離が近いほど大きくなるように設定される第1の閾値以下となる2つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで輪郭を***させる。
請求項に記載の輪郭抽出プログラムは、カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するために、コンピュータを、前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する節点配置手段と、前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形手段と、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する節点間距離測定手段と、前記節点間距離が、前記対象物までの距離が近いほど大きくなるように設定される第1の閾値以下となる2つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで前記輪郭を***させる接続線設定手段として機能させることを特徴とする。
このプログラムは、コンピュータを、節点配置手段、輪郭変形手段、節点間距離測定手段、接続線設定手段として機能させることにより、節点配置手段により、対象物を含む領域の周縁に、複数の節点を配置し、輪郭変形手段により、節点を予め定義されたエネルギ関数が最小となるように移動させることにより、節点を所定の順序で連結して形成される輪郭を変形させた後、節点間距離測定手段により、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する。そして、接続線設定手段により、節点間距離測定ステップでの測定結果に基づいて、節点間距離が、前記対象物までの距離が近いほど大きくなるように設定される第1の閾値以下となる2つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで輪郭を***させる。
本発明によれば、計算コストを軽減させつつ、より早いタイミングで必要な輪郭処理***を行うことができる。また、本発明によれば、対象物までの距離にかかわらず柔軟に複数の輪郭処理を行うことができる。
次に、本発明の実施形態について、適宜図面を参照して詳細に説明する。ここでは、まず、本発明に係る輪郭抽出装置を含む輪郭抽出システムの構成について図1〜図7を参照して説明し、その後、輪郭抽出システムの動作について図8〜図10を参照して説明する。
(輪郭抽出システムAの構成)
まず、本発明に係る輪郭抽出装置3を含む輪郭抽出システムAの全体構成について図1を参照して説明する。図1は輪郭抽出システムAの全体構成を示すブロック図である。なお、ここでは、人(以下、「対象人物」という)の輪郭を抽出する場合を想定している。
図1に示すように、輪郭抽出システムAは、図示しない対象人物を撮像する2台のカメラ1(1a,1b)と、カメラ1で撮像された画像(撮像画像)を解析して各種情報を生成する撮像画像解析装置2と、撮像画像解析装置2で生成された各種情報に基づいて対象人物の輪郭を抽出する輪郭抽出装置3とから構成されている。以下、カメラ1、撮像画像解析装置2、輪郭抽出装置3について、順に説明する。
(カメラ1)
カメラ1(1a,1b)はカラーCCDカメラであり、右カメラ1aと左カメラ1bは、左右に距離Bだけ離れて並設されている。ここでは、右カメラ1aを基準カメラとしている。カメラ1a,1bが所定のタイミング(1フレーム毎)で撮像した画像(撮像画像)は、フレーム毎に図示しないフレームグラバに記憶された後、撮像画像解析装置2に同期して入力される。
なお、カメラ1で撮像した画像(撮像画像)は、図示しない補正機器によりキャリブレーション処理とレクティフィケーション処理を行い、画像補正した後に撮像画像解析装置2に入力される。なお、カメラ1は、カラーCCDカメラではなく、単に、例えば0〜255階調の白黒濃淡値を取得できるようなものでもよい。
(撮像画像解析装置2)
撮像画像解析装置2は、カメラ1a,1bから入力された画像(撮像画像)を解析して、「距離情報」、「動き情報」、「エッジ情報」を生成する装置である。撮像画像解析装置2は、「距離情報」を生成する距離情報生成部21と、「動き情報」を生成する動き情報生成部22と、「エッジ情報」を生成するエッジ情報生成部23とから構成されている(図1参照)。
(距離情報生成部21)
距離情報生成部21は、同時刻にカメラ1a,1bで撮像された2枚の撮像画像の視差に基づいて、各画素に対応する対象物までのカメラ1からの距離を検出する。具体的には、基準カメラであるカメラ1aで撮像された第1の撮像画像と、カメラ1bで撮像された第2の撮像画像とから、ブロック相関法を用いて視差を求める。本実施形態では、視差は、画素毎に、0〜32のスカラー値として求められるようにした。なお、視差(スカラー値)は0〜32に限らず、他の範囲の値をとるようにしてもよい。つまり、視差(スカラー値)は、撮像画像解析装置2の計算能力やカメラ1の位置関係等に応じて適宜設定することができる。
なお、ブロック相関法とは、第1の撮像画像と第2の撮像画像とで特定の大きさの同一ブロック(例えば8×3画素)を比較することで、第1の撮像画像と第2の撮像画像とで同一のものを撮像している画素(領域)を抽出する方法である。この方法を用いることにより、両画像で対応する画素(領域)が両画像フレーム内で何画素分ずれてフレーム内に位置しているかを検出することができる。
そして、画素毎に求められた視差から、三角法を用いて、カメラ1から「各画素に撮像された対象物」までの距離情報を求める。距離情報としては、画素毎に0〜32の範囲の視差値と、実空間上(x、y、z)の位置情報が対応付けられている。視差値0〜32を0〜255の256の濃度値に変換すると、距離に応じて濃度が変化した画像が得られる。本実施形態では、濃度値「0」の画素は、カメラ1から無限遠にある対象物を撮像したことを意味し、濃度値「225」の画素は、カメラ1から約80cmの位置にある対象物を撮像したことを意味するように設定した。なお、この「80cm」という値は、カメラ1の焦点距離,画素サイズ,2つのカメラ1a,1b間の距離等に応じて決定される。画素毎に生成された距離情報は、距離情報生成部21内に設けられた図示しない記憶手段に記憶された後、必要に応じて輪郭抽出装置3に入力される。
図2(a)は、距離情報生成部21で生成された各画素の距離情報に応じて濃淡表現した距離画像P1である。ここでは、対象人物C以外には物体が全く無い環境で撮像を行った。図2(a)に示すように、対象人物Cの画素は、その距離に応じて、濃淡値255(=白)に近い色で表現されている。また、背景の部分の画素は、濃淡値0、すなわち黒色で表わされる。なお、「対象人物」とは輪郭を抽出する対象となる人物のことである。
(動き情報生成部22)
動き情報生成部22は、基準カメラであるカメラ1aで時系列に撮像した「時刻t」における「撮像画像(t)」と、「時刻t+Δt」における「撮像画像(t+Δt)」との差分に基づいて、画像内の動き情報を検出する。
具体的には、「撮像画像(t)」と「撮像画像(t+Δt)」とで、各画素の輝度値の差分を取り、その差分値が所定の閾値T1よりも大きい画素を抽出する。この閾値T1は、撮像する環境の複雑さや画像内の対象物の数、動きの煩雑さ等に応じて適宜決定される。なお、本実施形態では、閾値T1は、対象人物Cの動きのみが抽出されるように試行錯誤を繰り返して、閾値値T1を調整しながら適当な値に最終決定した。
抽出した差分値を画素毎に0〜255のいずれかのスカラー値に変換したものが動き情報である。図2(b)は、そのスカラー値に応じた輝度値で表現した差分画像P2である。図2(b)の例では、対象人物Cの左腕の動きが特に強く検出されている。なお、移動物体の動きを検出する方法としては、他の方法を用いることもできる。また、カメラ1が移動しながら撮像するような場合は、カメラパラメータの変化量から背景の動きとして抽出される情報がキャンセルされるように、一方の画像を変換して動き情報の検出を行うとよい。
(エッジ情報生成部23)
エッジ情報生成部23は、基準カメラであるカメラ1aで撮像された画像(撮像画像)における各画素の濃淡情報又は色情報に基づいて、その撮像画像内に存在するエッジを抽出する。
具体的には、撮像画像における各画素の輝度に基づいて、隣接する画素の輝度値と比べて、輝度が大きく変化する部分をエッジとして検出する。エッジ値を画素毎に対応付けて得られた情報がエッジ情報である。図2(c)は、エッジの大きさに応じた輝度値で表現されたエッジ画像D3である。
エッジの検出は、例えばSobelオペレータを画素毎に乗算し、行又は列単位で、隣の線分と所定の差がある線分をエッジ(横エッジ又は縦エッジ)として検出する。なお、Sobelオペレータとは、ある画素の近傍領域の画素に対して重み係数を持つ係数行例のことである。また、本実施形態では、エッジの検出はSobelオペレータを用いて行ったが、他の方法を用いてエッジを検出してもよい。
撮像画像解析装置2で生成された「距離情報」」と「動き情報」は、輪郭抽出装置3の対象距離検出部31Aに入力される。また、「エッジ情報」は、輪郭抽出装置3の対象領域設定部31Bに入力される。
(輪郭抽出装置3)
輪郭抽出装置3は、撮像画像解析装置2で生成された「距離情報」、「動き情報」、「エッジ情報」に基づいて、対象人物Cの輪郭を抽出する装置である。輪郭抽出装置3は、「距離情報」、「動き情報」、「エッジ情報」に基づいて、対象人物Cが存在すると推測され、その輪郭抽出を行うべき領域(対象領域)を設定する対象領域設定手段31と、対象領域設定手段31によって設定された「対象領域」内から、Snakes手法を用いて対象人物Cの輪郭を抽出する輪郭抽出手段32とを備えている(図1参照)。
(対象領域設定手段31)
対象領域設定手段31は、カメラ1から対象人物Cまでの距離(対象距離)を検出する対象距離検出部31Aと、対象距離検出部31Aで検出された対象距離に応じた「対象領域」を設定する対象領域設定部31Bとから構成されている。
(対象距離検出部31A)
対象距離検出部31Aは、距離情報生成部21で生成された距離情報と、動き情報生成部22で生成された動き情報とに基づいて、カメラ1から対象人物Cまでの距離である「対象距離D1」を検出する。具体的には、0〜255のスカラー値で表現される距離毎に動きが検出されている画素の数を累計する。そして、その累計値が所定の閾値T2よりも大きい場合、その距離にある動きが検出されている画素を対象人物Cの動きを反映した画素であるとして検出する。なお、閾値T2は、[特許請求の範囲]における「第2の閾値」に相当する。
なお、閾値T2よりも大きい累計値が複数の距離において算出された場合、最もカメラ1に近い距離にある対象物のみに注目して以降の輪郭抽出処理等を行うようにしてもよい。閾値T2は、対象人物Cの数やその動きの特性、存在範囲等に応じて、対象人物Cが正確に検出できるように適宜設定される。
図3(a)はカメラ1から2.2m(=対象距離D1)の距離において、動きが検出された画素の累計が閾値T2を超えている状態を示す図である。対象距離検出部31Aで検出された対象距離D1は、対象領域設定部31Bに入力される。
(対象領域設定部31B)
対象領域設定部31Bは、対象距離検出部31Aで検出された対象距離D1と前後±αの距離にある対象物を撮像した画素のエッジ情報を抽出する(図2(c)参照)。この際、動きが検出された画素に限らず、対象距離D1±αの距離にある画素のエッジ情報が全て抽出される。本実施形態では、「α」は人間の体の幅とマージンを考慮して50cmとした。この処理によって、対象人物Cと推測される移動物体を撮像した画素部分のみのエッジ情報が抽出された状態となる。この状態を視覚的に理解しやすいように図3(b)に示した。なお、「α」は、[特許請求の範囲]における「所定の前後幅」に相当する。
次に、対象領域設定部31Bは、輪郭抽出処理を行うための矩形の対象領域Aを設定する。既に、対象距離D1(奥行き)が設定されているので、さらに対象領域Aを設定することで、結果的に直方体の空間領域に対応する画像情報に対して後述する輪郭抽出処理が実行されることになる。具体的には、まず対象人物Cを撮像した画素部分のみのエッジ情報に関し、画像フレームの各列(縦線)毎にエッジの検出されている画素の数を累計する。そして、その累計値(ヒストグラムH)が最大である画素列の位置を対象人物Cの中心線として特定する。図4(a)は中心線が特定された状態を示すイメージ図である。
そして、対象領域設定部31Bは、特定された中心線に基づき対象領域Aを設定する。本実施形態では、2mの高さの基準として、カメラ1から対象距離D1にある床面を下辺として設定したが、輪郭抽出を行いたい対象物を含むように、他の方法を用いて対象領域Aを設定してもよい。
なお、対象領域Aを設定する際は、カメラ1のチルト角や、カメラ1の高さ等の各種カメラパラメータを参照することにより、床面位置の認識や対象領域Aの決定を正確に行うことができる。この結果、対象領域A内に確実に対象人物Cが含まれる状態とされる。
図4(b)は対象領域Aが設定された状態を示す図である。ここで、図4(a)、(b)に示すように、画像上で実際にエッジ画素やヒストグラムを表示して中心線や対象領域Aを設定してもよいが、図4(a)、(b)のような画像を作成することは本発明の必須要件ではない。
(輪郭抽出手段32)
輪郭抽出手段32は、対象領域設定部31Bで設定された対象領域Aの周辺上に節点を等間隔で配置する節点配置部32Aと、輪郭を変形させる輪郭変形部32Bと、輪郭を構成する各節点の節点間距離を測定する節点間距離測定部32Cと、節点間距離測定部32Cでの測定結果に基づいて、輪郭を***させる接続線を設定する接続線設定部32Dとから構成されている。
なお、本来ならば、この輪郭抽出手段32は、図4(b)の対象領域A内から対象人物Cの輪郭を抽出するが、ここでは、[従来の技術]の欄において説明した、従来の輪郭***手法との差異を明確にするために、単純化した図5〜図7を用いて説明する。
(節点配置部32A)
節点配置部32Aは、対象領域Aの周辺上に、複数の節点Pi(i=1,2,……,n)を等間隔で配置する(図5(a)参照)。各節点Piを、その配置順に結んだものをが、輪郭Vとなる。これらの節点Piの位置情報は、輪郭変形部32Bに入力される。なお、節点数nは、輪郭抽出装置3の処理能力や、抽出しようとする対象物の形状の複雑さ、動きの速さ等に応じて適宜決定される。本実施形態では節点数nを100個とした。
(輪郭変形部32B)
輪郭変形部32Bは、節点Piを、予め定義されたエネルギ関数が最小となるように移動させることにより、輪郭Vを変形させる(図5(b)参照)。なお、「予め定義されたエネルギ関数」としては、例えば、[従来の技術]の欄における式(1)に表わしたエネルギ関数を用いることができる。式(1)の各項は具体的には、下記のようなものである。なお、1節点は1画素で構成される。
すなわち、上記エネルギ関数を最小化するように各節点を移動させていくことは、次の式(1)〜(4)から計算されるエネルギが小さくなる点へ移動させることを意味する。
(1)対象物と他の物体とを区別するために、画像上で、対象距離D1±αの範囲内において、輝度勾配が大きい部分にある節点を移動させる。
Figure 0004523915
(2)輪郭の形状を滑らかにするために、連続する3つの節点を結ぶ線分をできるだけ直線に近づける。
Figure 0004523915
(3)対象物の輪郭における窪んだ部分を正確に抽出するために、輪郭が囲む閉領域をできるだけ小さくする。
Figure 0004523915
(4)各節点をバランス良く配置するために、各節点間の距離を平均化させる。
Figure 0004523915
(節点間距離測定部32C)
節点間距離測定部32Cは、輪郭変形部32Bで変形された輪郭Vを構成する各節点Piについて、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離D2を測定(算出)する。
具体的には、まず、節点Pから、節点P,節点P,……,節点Pn−1までの節点間距離D2をそれぞれ測定する(図6(a)参照)。次に、節点Pから、節点P,節点P,……,節点Pまでの節点間距離D2をそれぞれ測定する(図6(b)参照)。節点P,P,……,Pn−1についても同様のことを行う。なお、この際一度検出されている「節点の組み合わせ」については、節点間距離D2の測定は行わない。そして、最終的には、節点Pn−2から節点Pまでの節点間距離D2を測定する(図6(c)参照)。節点間距離測定部32Cでの測定結果は、接続線設定部32Dに入力される。
(接続線設定部32D)
接続線設定部32Dは、まず、節点間距離測定部32Cから入力された測定結果に基づいて、節点間距離D2が予め定められた距離D3以下となる「節点Piの組み合わせ」があるか否かを判定する。なお、距離D3は、[特許請求の範囲]における「第1の閾値」に相当する。
ここで、距離D3はカメラ1からの距離に応じて小さくなるように設定されている。このため、対象物が近くにあっても遠くにあっても正確な輪郭抽出が可能となる。本発明では画素毎に撮像した対象物までの距離が算出されているので、その距離に応じた閾値を適用した本判定処理が可能となっている。また、距離D3は、検出したい対象物の輪郭が検出された時に、最小となる節点間距離D2(例えば、手首間の距離)よりも小さい値となるように、輪郭抽出対象物に応じて適宜設定されている。このため、1つの対象物に対して2つの輪郭が抽出されてしまうことを防止することができる。
節点間距離D2が閾値である距離D3以下となる「節点Piの組み合わせ」が検出された場合は、その「節点Piの組み合わせ」において、自身と相手の節点連結順序における先頭側に隣り合う節点とをそれぞれ結ぶ接続線を設定する、又は自身と相手の節点連結順序における後ろ側に隣り合う節点とをそれぞれ結ぶ接続線を設定する。このことにより、1つの輪郭を2つの輪郭に***させることができる。
具体的には、図7(a)に示すように、節点間距離D2が距離D3以下である節点の組み合わせ(節点P,節点P)が検出された場合は、図7(b)に示すように、節点P−節点Pa+1間と、節点P−節点Pb+1間の接続を解消し、節点Pと節点Pb+1とを結ぶ接続線L1を設定し、節点Pと節点Pa+1とを結ぶ接続線L2を設定することにより、輪郭Vを、輪郭V1と輪郭V2とに***させることができる(図7(c)参照)。なお、本実施形態では、節点の組み合わせにおいて、「自身(P)」と、「相手(P)の節点連結順序における先頭側に隣り合う節点(Pb+1)」とをそれぞれ結ぶ接続線を設定することにより輪郭を***させたが、「自身(P)」と、「相手(P)の節点連結順序における後ろ側に隣り合う節点(Pb−1)」とをそれぞれ結ぶ接続線を設定することにより輪郭を***させることもできる。
以上のようにして、輪郭抽出手段32では、節点配置部32Aで概略の輪郭を設定し、輪郭変形部32Bで輪郭を変形させた後、節点間距離測定部32Cで、隣り合う節点Pi同士を除く、全ての節点Piの組み合わせについての節点間距離D2を測定する。そして、接続線設定部32Dで、節点間距離測定部32Cでの測定結果に基づいて、節点間距離D2が距離D3以下となる節点の組み合わせを検出し、その検出された節点の組み合わせ(節点P,節点P)において、節点Pと節点Pb+1とを結ぶ接続線L1を設定し、節点Pと節点Pa+1とを結ぶ接続線L2を設定することにより、輪郭Vを、輪郭V1と輪郭V2とに***させることができる。
(輪郭抽出システムAの動作)
次に、輪郭抽出システムAの動作について、図1に示す輪郭抽出システムAの全体構成を示すブロック図と、図8〜図10に示すフローチャートを参照して説明する。参照する図面において、図8は、輪郭抽出システムAの動作における、「撮像画像解析ステップ」と「対象領域設定ステップ」を説明するためのフローチャートである。また、図9は、輪郭抽出システムAの動作における、「輪郭抽出ステップ」を説明するための第1のフローチャートである。また、図10は、輪郭抽出システムAの動作における、「輪郭抽出ステップ」を説明するための第2のフローチャートである。
<撮像画像解析ステップ>
図8に示すフローチャートを参照して、まず、ステップS1では、撮像画像解析装置2に撮像画像が入力される。続いて、ステップS2では、距離情報生成部21で、ステップS1で入力された撮像画像から「距離情報」を生成する。次に、ステップS3では、動き情報生成部22で、ステップS1で入力された撮像画像から「動き情報」を生成する。そして、ステップS4では、エッジ情報生成部23で、ステップS1で入力された撮像画像から「エッジ情報」を生成する。
<対象領域設定ステップ>
引き続き図8に示すフローチャートを参照して、ステップS5では、対象距離検出部31Aで、ステップS2で生成された「距離情報」と、ステップS3で生成された「動き情報」とから、カメラ1から対象人物Cまでの距離である「対象距離D1」を検出する。そして、ステップS6では、対象領域設定部31Bで、ステップS5で検出された「対象距離D1」に基づいて、輪郭抽出処理を行うための領域である「対象領域A」を設定する。なお、ステップS2,ステップS3,ステップS4の各処理は、並列に行ってもよい。
<輪郭抽出ステップ>
図9に示すフローチャートを参照して、ステップS7では、節点配置部32Aで、対象領域Aの周辺上に、複数の節点Pi(i=1,2,……,n)を等間隔で配置する(図5(a)参照)。各節点Piを、その配置順に結んだものをが、輪郭Vとなる。続いて、ステップS8では、ステップS7で配置された各節点Piを、予め定義されたエネルギ関数が最小となるように移動させることにより、輪郭Vを変形させる(図5(b)参照)。本実施形態では、注目している節点が位置する画素に近接している8画素のそれぞれの位置に当該節点が移動した場合に、上記エネルギがどうなるかを計算し、計算結果からエネルギが最小となると判明した画素位置を移動後の新たな節点位置とする。そして、ステップS9では、輪郭Vを構成している各節点Piについて、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離D2を測定する(図6(a),(b),(c)参照)。
次に、ステップS10では、ステップS9での測定結果に基づいて、節点間距離D2が予め定められた距離D3以下となる「節点Piの組み合わせ」あるか否かを判断する。ステップS10で、「節点間距離D2≦距離D3となる節点Piの組み合わせがある」と判断された場合は、ステップS11に進み、「節点間距離D2≦距離D3となる節点Piの組み合わせが無い」と判断された場合は、ステップS12に進む。
なお、ステップS10では、具体的には、節点P(i=1,2,……,n)の座標を(x,y)とすると、
D2=(x−x+(y−y≦D3
となる場合に、「節点間距離D2≦距離D3となる節点Piの組み合わせがある」と判断している。
続く、ステップS11では、ステップS10で検出された「節点間距離D2≦距離D3となる節点Piの組み合わせ(節点P,節点P)」において、節点Pと節点Pb+1とを結ぶ接続線L1を設定し、節点Pと節点Pa+1とを結ぶ接続線L2を設定することにより、(図7(b)参照)。このことにより、輪郭Vを、輪郭V1と輪郭V2とに***させることができる(図7(c)参照)。
そして、ステップS12では、ステップS12における判定処理の繰り返し回数が、予め定めた閾値Th1よりも多いか否かを判断する。ステップS12で、「繰り返し回数が予め定めた閾値Th1よりも多い」と判断された場合は、次のステップS13に進む。逆に、ステップS12で、「繰り返し回数が予め定めた閾値Th1よりも多くない」と判断された場合は、先のステップS8に戻る。
次に、ステップS13では、抽出された輪郭に基づき算出される実際の高さが、予め定めた閾値Th2よりも高いか否かを判断する。この閾値Th2は、対象物の輪郭が適度に抽出されるまで繰り返されるように、対象物の形状、動きの速さ、輪郭抽出装置3の処理能力等に応じて設定すればよい。ステップS13で、「輪郭の高さが予め定めた閾値Th2よりも高い」と判断された場合は、ステップS15に進む。逆に、ステップS13で、「輪郭の高さが予め定めた閾値Th2よりも高くはない」と判断された場合は、ステップS14に進む。ここで、閾値Th2を高すぎる値に設定してしまうと、抽出すべき対象物の輪郭抽出することができない。一方、閾値Th2を低すぎる値に設定してしまうと、対象物以外の不要なものの輪郭まで抽出してしまう。したがって、この処理において用いる閾値Th2は、輪郭抽出しようとする対象物の高さに基づいて適宜設定する。
ステップS14では、抽出された輪郭内の画像情報を更新する。なお、画像情報を更新するということは、その画像情報における距離情報をゼロにするということである。輪郭内の画像情報を更新した後は、ステップS15に進む。
ステップS15では、既抽出の輪郭数(オブジェクト数)が予め定めた閾値Th3に達したか否かを判断する。ステップS15で、「既抽出の輪郭数が閾値Th3に達した(例えば、人物の輪郭を5人分抽出した)」と判断された場合は、処理を終了する。一方、ステップS15において、「既抽出の輪郭数が閾値Th3に達していない」と判断された場合は、続いてステップS6の処理が実行される。閾値Th3は、同時に抽出したい対象物の数に応じて決定すればよいが、その数が多すぎると、計算負荷が増大して、高速で正確な輪郭抽出に支障をきたすおそれがある。したがって、閾値Th3は輪郭抽出装置3の計算能力や、輪郭抽出の目的などに応じて適宜設定する必要がある。
なお、以上説明した輪郭抽出システムAにおける処理は、時間tにおいて撮像された画像に対しての処理であるので、時間tにおいて撮像された画像に対してステップS1〜ステップS15の処理を終了した後、時間t+1において撮像された画像に対しても同様の処理が行われる。
なお、ステップS14で、対象物ではないと判断される画像情報(距離情報)はキャンセルされる。そして、ステップS15で「NO」と判断された後に行われるステップS6の処理は、ステップS14でキャンセルされた領域及び既に輪郭抽出された領域以外の残りの画像領域に対して実行される。したがって、本発明では、複数の輪郭抽出を効率良く実行することが可能となっている。
また、ステップS3において全く動きが検出されない場合や、ステップS5において対象距離D1が設定できない場合など、輪郭抽出すべき対象物が明らかに存在しないと判断される場合は、全ての処理を終了する。
以上説明したように、本発明によれば、隣り合う節点同士を結ぶ線分が交差又は接触する前に、より早いタイミングで輪郭を***させることができる。
また、従来の輪郭***手法では、図11(a),(b)を用いて説明したように、輪郭***の是非を判断するのに多数の計算処理を必要とするのに対し、本発明では、ステップS10の説明で示した簡単な距離計算のみで輪郭***の是非を判断することができる。したがって、本発明では計算負荷が著しく軽減される。
具体的には、節点数が100個のとき、特許文献1に開示されている従来の輪郭***手法では、計算コストは約200msec/frameであったのに対し、本発明では、計算コストは約100msec/frameであった。
さらに、非特許文献1では、輪郭***させるための固定された閾値に汎用性を持たせるのが困難であったのに対し、本発明では、各画素に対して距離情報を対応付け、対象物の距離に応じて閾値距離D3を可変させるので、対象物が遠くにあっても近くにあっても必要に応じて正確にその輪郭抽出を行うことができる。
以上、輪郭抽出システムAについて説明したが、この輪郭抽出システムAに含まれる撮像画像解析装置2や輪郭抽出装置3の各構成部は、ハードウェアで構成してもよいし、プログラムで構成してもよい。例えば、輪郭抽出装置3の各構成部をプログラムで構成した場合は、コンピュータ内のCPUやメモリ等をプログラムに従って動作させることにより、ハードウェアで構成した場合と同様の効果が得られる。
また、カメラ1は固定カメラでもよいし、撮像方向が可変なものでもよい。そして、カメラ1は固定体に備え付けてもよいし、移動体に搭載してもよい。さらに、カメラ1、撮像画像解析装置2及び輪郭抽出装置3は、個別に設けてもよいし、一体化させてもよい。なお、カメラ1、撮像画像解析装置2及び輪郭抽出装置3を個別に設けた場合は、各装置間の情報通信は、有線で行ってもよいし、無線で行ってもよい。また、カメラ1が取得した色情報を用いて、肌色領域を抽出することによって、人間の画素領域を特定し、その特定領域のみに対して輪郭抽出を行ってもよい。さらに、肌色であって、かつ、略楕円の部分を顔として判定するなどの方法をも組み合わせて対象人物を切り出すようにすれば、より効率的かつ確実に人物の輪郭抽出が行われるようになる。
時々刻々と連続的に抽出される輪郭情報は、室内監視カメラ、交通量計測、自律二足歩行ロボットなどの多くのものに利用可能である。
本発明によれば、計算負荷を減らしつつ同時に複数の輪郭抽出を行えるが、例えば、本発明を室内監視カメラに適用して動的輪郭抽出された領域以外の情報をキャンセルすれば、さらに情報量を削減しながら注目すべき監視対象物の画像のみを長時間保存することもできる。
また、自律二足歩行ロボットの場合、歩行制御、外部環境認識、ヒト指示への応答など多くの複雑な処理を可能な限り短時間で行う必要があるが、本発明は輪郭抽出処理の計算負荷を削減し、かつ、早いタイミングで必要な輪郭***を実現するので、実環境における自律二足歩行ロボットの応答性を顕著に高めることができる。
なお、連続的に抽出される対象物の輪郭を画像と共に図示しない表示装置に表示すれば、管理者が画像内の物体の有無などを把握したり、図8〜図10を用いて説明した各種閾値の調整に有効である。
輪郭抽出システムAの全体構成を示すブロック図である。 (a)は距離画像P1、(b)は差分画像P2、(c)はエッジ画像P3を示す図である。 対象距離の設定について説明するための図である。 対象領域Aの設定について説明するための図である。 (a)は節点の配置について説明するための図であり、(b)は輪郭の変形について説明するための図である。 節点間距離の測定について説明するための図である。 接続線の設定について説明するための図である。 輪郭抽出システムAの動作における、「撮像画像解析ステップ」と「対象領域設定ステップ」を説明するためのフローチャートである。 輪郭抽出システムAの動作における、「輪郭抽出ステップ」を説明するためのフローチャートである。 輪郭抽出システムAの動作における、「輪郭抽出ステップ」を説明するための第2のフローチャートである。 従来の輪郭***手法を説明するための図である。 従来の輪郭***手法を説明するための図である。
符号の説明
A 輪郭抽出システムA
1 カメラ
2 撮像画像解析装置
3 輪郭抽出装置
31 対象領域設定手段
31A 対象距離検出部
31B 対象領域設定部
32 輪郭抽出手段
32A 節点配置部
32B 輪郭変形部
32C 節点間距離測定部
32D 接続線設定部

Claims (9)

  1. カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するための装置であって、
    前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する節点配置部と、
    前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形部と、
    隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する節点間距離測定部と、
    前記節点間距離が第1の閾値以下となる2つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで前記輪郭を***させる接続線設定部と、を備え
    前記第1の閾値は、前記対象物までの距離が近いほど大きくなるように設定されることを特徴とする輪郭抽出装置。
  2. 前記画像から生成した前記対象物の距離情報、動き情報及びエッジ情報に基づいて、前記対象物の画素を含む領域を設定する対象領域設定手段をさらに備え、
    前記節点配置部は、前記対象領域設定手段によって設定された対象領域の周辺上に、複数の節点を配置することを特徴とする請求項に記載の輪郭抽出装置。
  3. 前記対象領域設定手段は、動きが検出されている画素が、第2の閾値よりも多く検出されている距離を対象距離とし、該対象距離から所定の前後幅を持つ領域内の画像を反映した画素のエッジ情報を得て、エッジの検出されている画素の累計値が最大となっている画素列を中心として対象領域を設定することを特徴とする請求項に記載の輪郭抽出装置。
  4. 前記対象領域設定手段は、前記中心線から左右に50cmの幅を有し、かつ、2mの高さを有する矩形領域を対象領域として設定することを特徴とする請求項に記載の輪郭抽出装置。
  5. 前記対象領域設定手段は、予め設定された所定数の輪郭が抽出されたか、別の対象領域が設定できなくなったと判断されるまで、新たな対象領域の設定処理を繰り返すことを特徴とする請求項から請求項のいずれか一項に記載の輪郭抽出装置。
  6. 前記対象領域設定手段は、新たな対象領域を設定する際に、既に抽出した輪郭領域及び対象物が存在しないと判断された領域以外の領域から、新たな領域を設定することを特徴とする請求項に記載の輪郭抽出装置。
  7. 前記対象領域設定手段は、前記カメラから得られる色情報をも用いて前記対象領域を設定することを特徴とする請求項から請求項のいずれか一項に記載の輪郭抽出装置。
  8. カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するための方法であって、
    前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する節点配置ステップと、
    前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形ステップと、
    隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する節点間距離測定ステップと、
    前記節点間距離が、前記対象物までの距離が近いほど大きくなるように設定される第1の閾値以下となる2つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで前記輪郭を***させる接続線設定ステップと
    を含むことを特徴とする輪郭抽出方法。
  9. カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するために、コンピュータを、
    前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する節点配置手段と、
    前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形手段と、
    隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する節点間距離測定手段と、
    前記節点間距離が、前記対象物までの距離が近いほど大きくなるように設定される第1の閾値以下となる2つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで前記輪郭を***させる接続線設定手段と
    として機能させることを特徴とする輪郭抽出プログラム。
JP2005511351A 2003-07-01 2004-07-01 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム Expired - Fee Related JP4523915B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003270070 2003-07-01
JP2003270070 2003-07-01
PCT/JP2004/009325 WO2005004060A1 (ja) 2003-07-01 2004-07-01 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム

Publications (2)

Publication Number Publication Date
JPWO2005004060A1 JPWO2005004060A1 (ja) 2006-11-30
JP4523915B2 true JP4523915B2 (ja) 2010-08-11

Family

ID=33562603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005511351A Expired - Fee Related JP4523915B2 (ja) 2003-07-01 2004-07-01 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム

Country Status (4)

Country Link
US (1) US7418139B2 (ja)
EP (1) EP1640917B1 (ja)
JP (1) JP4523915B2 (ja)
WO (1) WO2005004060A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013165046A1 (ko) * 2012-05-04 2013-11-07 전자부품연구원 홀 발생 억제를 위한 3d워핑 방법 및 이를 적용한 영상 처리 장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7672516B2 (en) * 2005-03-21 2010-03-02 Siemens Medical Solutions Usa, Inc. Statistical priors for combinatorial optimization: efficient solutions via graph cuts
JP2006309455A (ja) * 2005-04-27 2006-11-09 Tokai Rika Co Ltd 特徴点検出装置及び距離測定装置
JP4516516B2 (ja) * 2005-12-07 2010-08-04 本田技研工業株式会社 人物検出装置、人物検出方法及び人物検出プログラム
JP2008243184A (ja) * 2007-02-26 2008-10-09 Fujifilm Corp 濃淡画像の輪郭補正処理方法及びその装置
US20110123117A1 (en) * 2009-11-23 2011-05-26 Johnson Brian D Searching and Extracting Digital Images From Digital Video Files
JP5720488B2 (ja) * 2011-08-16 2015-05-20 リコーイメージング株式会社 撮像装置および距離情報取得方法
US8970693B1 (en) * 2011-12-15 2015-03-03 Rawles Llc Surface modeling with structured light
JP6221656B2 (ja) * 2013-11-08 2017-11-01 株式会社リコー 情報処理装置、情報処理方法およびプログラム
CN113781505B (zh) * 2021-11-08 2022-11-18 深圳市瑞图生物技术有限公司 染色体分割方法、染色体分析仪及存储介质
CN114554294A (zh) * 2022-03-04 2022-05-27 天比高零售管理(深圳)有限公司 一种直播内容的过滤和提示方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092622A (ja) * 2000-09-14 2002-03-29 Honda Motor Co Ltd 輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラムを記録した記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5590261A (en) * 1993-05-07 1996-12-31 Massachusetts Institute Of Technology Finite-element method for image alignment and morphing
US5487116A (en) * 1993-05-25 1996-01-23 Matsushita Electric Industrial Co., Ltd. Vehicle recognition apparatus
JPH08329254A (ja) 1995-03-24 1996-12-13 Matsushita Electric Ind Co Ltd 輪郭抽出装置
JP3750184B2 (ja) 1996-04-03 2006-03-01 松下電器産業株式会社 移動物体の抽出装置及び抽出方法
JP3678378B2 (ja) * 1996-09-20 2005-08-03 富士写真フイルム株式会社 異常陰影候補の検出方法および装置
JPH10336439A (ja) * 1997-05-28 1998-12-18 Minolta Co Ltd 画像読取り装置
JPH1156828A (ja) * 1997-08-27 1999-03-02 Fuji Photo Film Co Ltd 異常陰影候補検出方法および装置
US6031935A (en) * 1998-02-12 2000-02-29 Kimmel; Zebadiah M. Method and apparatus for segmenting images using constant-time deformable contours
JP2001266158A (ja) * 2000-01-11 2001-09-28 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
US20030076319A1 (en) * 2001-10-10 2003-04-24 Masaki Hiraga Method and apparatus for encoding and decoding an object
JP3996015B2 (ja) * 2002-08-09 2007-10-24 本田技研工業株式会社 姿勢認識装置及び自律ロボット

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092622A (ja) * 2000-09-14 2002-03-29 Honda Motor Co Ltd 輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラムを記録した記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013165046A1 (ko) * 2012-05-04 2013-11-07 전자부품연구원 홀 발생 억제를 위한 3d워핑 방법 및 이를 적용한 영상 처리 장치

Also Published As

Publication number Publication date
US20070086656A1 (en) 2007-04-19
WO2005004060A1 (ja) 2005-01-13
EP1640917A1 (en) 2006-03-29
JPWO2005004060A1 (ja) 2006-11-30
EP1640917A4 (en) 2009-09-16
EP1640917B1 (en) 2017-06-14
US7418139B2 (en) 2008-08-26

Similar Documents

Publication Publication Date Title
US11087169B2 (en) Image processing apparatus that identifies object and method therefor
US11763463B2 (en) Information processing apparatus, control method, and program
Mehrizi et al. Toward marker-free 3D pose estimation in lifting: A deep multi-view solution
JP4523915B2 (ja) 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム
US9747690B2 (en) Image processing device, image processing method, and program
JP2006524394A (ja) 画像における人体輪郭描写
US8599278B2 (en) Method for estimating a plane in a range image and range image camera
US11727637B2 (en) Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera
JP2009140009A (ja) 情報処理装置および情報処理方法、プログラム、並びに記録媒体
JP2004054684A (ja) 物体検出装置及び方法
US20220366570A1 (en) Object tracking device and object tracking method
JP4235018B2 (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
US20030107653A1 (en) Method and apparatus for object recognition
JP5048609B2 (ja) 対象物追跡装置及びプログラム
JP2014116716A (ja) 追尾装置
JP3952460B2 (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP2010244207A (ja) 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム
JP2008288684A (ja) 人物検出装置及びプログラム
JP6288770B2 (ja) 顔検出方法、顔検出システム、および顔検出プログラム
JP4272538B2 (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP2006227739A (ja) 画像処理装置及び画像処理方法
KR100951315B1 (ko) Aam을 이용한 얼굴검출 방법 및 장치
JP4584405B2 (ja) 3次元物体検出装置と3次元物体検出方法及び記録媒体
JPWO2020175085A1 (ja) 画像処理装置、及び画像処理方法
JP4259387B2 (ja) 画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100202

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20100323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100525

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100528

R150 Certificate of patent or registration of utility model

Ref document number: 4523915

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130604

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130604

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140604

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees