JP5349622B2 - パターン識別装置 - Google Patents
パターン識別装置 Download PDFInfo
- Publication number
- JP5349622B2 JP5349622B2 JP2011553627A JP2011553627A JP5349622B2 JP 5349622 B2 JP5349622 B2 JP 5349622B2 JP 2011553627 A JP2011553627 A JP 2011553627A JP 2011553627 A JP2011553627 A JP 2011553627A JP 5349622 B2 JP5349622 B2 JP 5349622B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- dimensional
- point
- feature amount
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、画像に含まれる物体の識別を行うパターン識別技術に関する。
非特許文献1には、画像から人間とそれ以外を区別するためのパターン認識(パターン識別)における特徴量抽出方法が開示されている。より詳細には、画像を複数の格子状の領域に分割し、領域毎に算出した輝度勾配方向のヒストグラムを特徴量としている。
また、特許文献1及び非特許文献2には、テクスチャ画像の種類を分類するための特徴量抽出方法が記載されている。特許文献1の技術は、画像の濃度iの点から一定の距離と方向に平行移動した点の濃度がjである組み合わせの数P(i,j)を要素とする同時生起行列を特徴量としている。テクスチャ画像では等距離毎に類似した模様が繰り返し現れるため、等距離離れた2点における濃度値の同時生起を表す特徴量はテクスチャの識別に有効である。非特許文献2の技術は、画像の濃度値の代わりに、輝度勾配方向の同時生起行列を用いることで、照明変動に対してロバストな特徴量を抽出している。
非特許文献1の技術では、格子状に区切った領域毎に輝度勾配分布を算出するので、領域内のテクスチャの構造情報が特徴量に反映されない。例えば、同一格子内において上下反対の模様であっても、その領域からは全く同一の特徴量が算出されることになり、識別に有効な情報が失われるという問題点があった。
また、特許文献1及び非特許文献2の技術で算出される特徴量は、空間位置が異なる2点の輝度あるいは輝度勾配に基づくので、構造に関する情報もある程度反映される。しかしながら、2次元の画像に基づく特徴量であるため、物体の3次元形状を記述した特徴量でないという問題点があった。
そこで本発明は、上記問題点を解決するためになされたものであって、3次元画像データに対してより高い識別性能を有するパターン識別装置を提供することを目的としている。
本発明の一態様に係るパターン識別装置は、3次元画像データにおける3次元空間中に少なくとも一つの領域を設定する設定部と、前記3次元画像データの画素毎に画素特徴量を算出する特徴量算出部と、(1)前記領域内の3次元座標上の注目点から特定の写像によって位置が変位する前記領域内の3次元座標上の点を少なくとも1つ求め、(2)前記領域内の前記注目点の画素特徴量と、前記写像した各点の画素特徴量との組み合わせの発生頻度を表す共起行列を算出する行列算出部と、前記特定の写像と前記共起行列との組合せと、予め学習した検出対象物の学習サンプルに基づいて、前記領域内に前記検出対象物が撮像されているか否かを識別する識別部とを有する。
本発明によれば、3次元画像データに対して高い識別性能を有する。
以下、本発明の一実施例のパターン識別装置10について図面を参照して説明する。
本実施例では、図1に示すように、自動車の前方に2台のカメラを搭載し、自車の進行方向に存在する歩行者を検出することを想定している。
パターン識別装置10の構成について図2を参照して説明する。図2は、パターン識別装置10のブロック図を示す。パターン識別装置10は、第1入力部14、第2入力部16、第1記憶部18、第2記憶部20、特徴抽出装置12とを有する。特徴抽出装置12は、設定部22、正規化部24、特徴量算出部26、行列算出部28、識別部30、出力部32を有する。
第1入力部14、第2入力部16は、2台のカメラを用いて撮影視点が異なるステレオ画像を入力する。撮像視野に重なりがあれば複数のカメラの互いの位置や方向は任意であるが、本実施例では、同一の2台のカメラを左右平行に配置してステレオ画像を撮影するものとする。
図5に本実施例で使用する座標系を示す。座標系は、ステレオカメラ座標系と画像座標系からなる。
ステレオカメラ座標系は、3次元座標であり、その原点Oを右カメラの視点(レンズ中心)にとり、左右カメラの視点を結ぶ直線をX軸、鉛直下向きにY軸、カメラの光軸方向にZ軸を設定する。カメラ間の距離(基線長)をBとする。左カメラの位置は、(−B,0,0)と表せる。簡単のため、道路面を平面でモデル化し、かつ、水平方向の傾斜が微小であるとして無視すると、道路平面は、ステレオカメラ座標系においてY=αZ+βと表記される。αは、ステレオカメラから見た道路平面の傾斜を表し、βは、ステレオカメラの路面からの高さを表す。以下では、α,βを合わせて路面パラメータと呼ぶ。一般に道路の傾斜は場所毎に異なり、かつ、車両走行時にはカメラが振動するため、路面パラメータは車両の移動に伴って時々刻々変化する。
画像座標系は、2次元座標であり、各画像に設定するものである。画像座標系は、右画像の水平方向にx軸、垂直方向にy軸を設定し、同様に、左画像の水平方向にx’軸、垂直方向にy’軸を設定し、左右画像の水平方向x軸、x’軸は、X軸方向と一致するものとする。このような場合、右画像上の点(x,y)の左画像上の対応点を(x’,y’)とすると、y=y’となるので、水平方向の位置の違いのみを考えれば良い。以下ではこの水平方向の違いを「ステレオ視差」と呼び、右画像を基準画像として、視差d=x’−xと表記する。ステレオ視差は、以下では単に「視差」という
第1記憶部18、第2記憶部20は、第1入力部14、第2入力部16で取得した2枚のステレオ画像のデータを記憶する。
第1記憶部18、第2記憶部20は、第1入力部14、第2入力部16で取得した2枚のステレオ画像のデータを記憶する。
設定部22は、図2に示すように、視差計算部221、パラメータ計算部222、生成部223を有し、道路上に存在する立体物を候補領域として抽出する。候補領域は図3の点線矩形が示すように、立体物をどちらか一方の画像上で、もしくは、左右両方の画像上で抽出する。以下にその詳細を説明する。
視差計算部221は、第1記憶部18、第2記憶部20で記憶しているステレオ画像間の視差dを計算する。
図6に示すように、視差計算部221は、基準画像である右画像の任意の点x=(x,y)に対し、左画像上の同一の走査線上を探索して対応点x’=(x’,y)T=(x+d,y)を求める。この場合の視差dは、非負、すなわち、d≧0となるので、視差計算部221は、探索の際には同一座標より右側のみを調べれば良い。より具体的には、図6のように、視差計算部221は、右画像上の点xの周囲にウィンドウを設定し、その内部の輝度パターンと最も類似した輝度パターンを同じサイズのウィンドウ内に持つ点を左画像の同一走査線から求める。輝度パターンの類似性の評価尺度としては、例えば正規化相互相関Cを用いる。視差計算部221が、探索ウィンドウのサイズを(2w+1)×(2w+1)画素と設定し、左右画像に設定したウィンドウ内の輝度を各々f(ξ,η),g(ξ,η)と表現すると、正規化相互相関Cは次の式(1)で与えられる。
N=(2w+1)2はウィンドウ内の画素数、f−,g−はウィンドウ内の輝度の平均、σ1 2,σ2 2は各ウィンドウ内の輝度の分散を表し、次の式(2)、式(3)で与えられる。なお、バー記号−の付された文字f、gは、本文中では「f−」、「g−」と表記する。
視差計算部221は、基準画像上の任意の点に対して、正規化相互相関Cを用いて対応点を探索すれば、全ての点に対する視差d、すなわち、視差マップを得る。
パラメータ計算部222は、視差計算部221で計算した視差マップを用いて路面パラメータp=(α,β)を算出する。
まず、パラメータ計算部222が、基準画像上の点(x,y)の視差dから、その点の3次元位置(X,Y,Z)を求める方法について説明する。3次元空間中の点(X,Y,Z)と、その左右画像への投影像(x’,y)、(x,y)の間には、次の式(4)が成り立つ。
を得る。パラメータ計算部222は、視差dが得られた基準画像上の点における3次元位置を上記の式(5)を用いて求める。パラメータ計算部222は、これらの計測値の内、道路面と距離が近い点を選択して、道路面の方程式Y=αZ+βに代入すれば路面パラメータp=(α,β)を得る。道路面に近い点は、次の式(6)の条件を満たす点として抽出される。
ここで、ΔYは閾値であり、適当な値を予め設定しておく。Ypは、点(X,Y,Z)を通ってY軸に平行な直線と基準道路面との交点のY座標を表す。基準道路面の路面パラメータpは、例えば、車両が停止しているときに平坦な道路で計測する。基準道路面の路面パラメータをα^,β^とすると、Ypは、次の式(7)により与えられる。なお、ハット記号^の付された文字α、βは、本文中では「α^」、「β^」と表記する。
生成部223は、次の手順に従って歩行者が含まれる領域を生成する。
まず、生成部223は、視差マップ上の任意の点(x,y)に対し、図4に示すように、その点を下辺の中点とする矩形を設定する。矩形の下辺は道路面とほぼ接しており、また、矩形の大きさは検出対象物である人間の縦横のサイズを考慮して決められる。例えば、人間の身長と横幅の代表値を各々H,Wとした場合、その高さhと幅wは、次のように求めることができる。道路面の方程式Y=αZ+βと式(4)から、
このように画像上の縦方向の位置、すなわちy座標によって画像上の矩形のサイズは変化する。また、人間の様々な大きさに対応するため、図4のように、生成部223は、画像上の各点(x,y)に対し、複数種類の矩形を用意する。図4では3種類の矩形を例示している。
次に、生成部223は、このようにして各点(x,y)に設定した矩形内の視差dから、図7(a)のように矩形R内に人間(歩行者)が含まれる可能性を評価する。矩形R内に人間が含まれる場合、矩形R内のカメラからの距離、すなわち奥行きがほぼ一様となるので、視差も一様となる。また、その視差dpは、点(x,y)が道路面と接するので、式(10)により与えられる。
Nminは閾値であり、予め適切な値を設定しておく。なお、図7(b)に示すように対象よりも小さい矩形Rでも矩形R内の視差は均一となるので、N^が大きな値となり、上記の条件を満たす場合がある。したがって、ある点に対し複数サイズの矩形が上記を満たす場合には、最も大きな矩形Rだけを候補領域Rとして選択しても良い。
次に、上記の処理によって、生成部223は、N個(N≧0)の候補領域R1〜RNを生成する。図3には、3個の候補領域R1,R2,R3を示す。さらに、これらの左画像における対応領域R’1〜R’Nを抽出しても良い。各矩形Rの下辺は道路面と接触しており、その視差が式(10)により与えられるため、対応領域R’1〜R’Nは各矩形Rの下辺のy座標から生成することができる。
なお、視差計算部221、パラメータ計算部222、生成部223を有する設定部22は、図3の点線矩形が示すようにステレオ画像間で対応する領域を設定しても良いし、どちらか一方の領域を設定しても良い。以下では、設定部22は、右画像を基準画像とし、右画像上でN個の領域R1〜RNを抽出するものとする。
正規化部24は、設定部22によって設定されたN個の領域R1〜RNを予め定めたサイズに正規化する。正規化のサイズは任意であるが、本実施例では48×24画素の縦長の矩形に揃えるものとする。
特徴量算出部26は、正規化部24によって正規化された領域の画像データの画素特徴量を画素毎に算出する。
画素特徴量としては、例えば、輝度勾配方向を用いる。輝度勾配方向は照明変動等に対してロバストな画素特徴量であり、明るさの変化が大きい環境下でも有効な画素特徴量である。明るさの変化が比較的小さい場合には、輝度の値自身を画素特徴量として用いても良いし、輝度の階調数を減らしても良い。以下の説明では、画素特徴量として輝度勾配方向を用いた場合について説明する。
特徴量算出部26は、算出した輝度勾配方向は適当な範囲の離散値、例えば、図9に示すような8方向に量子化する。なお、図9では、各方向に対応するように、それぞれ1〜8の数字が付されている。
行列算出部28は、正規化された領域毎に共起特徴を抽出して出力する。本実施例の場合には、共起特徴は、特徴ベクトルλである。
まず、行列算出部28は、正規化部24によって正規化された各領域を図8のようなメッシュ状に区切り、メッシュ毎に共起ヒストグラムを算出する。メッシュ数は任意であるが、例えば図8に示すように縦、横を8×4個に分割する。領域全体が48×24画素であるから、メッシュの1区画が、6×6の画素から構成される。以下に共起ヒストグラムについて説明する。
図10は、図8のメッシュの1区画を拡大表示し、第1の軸を横x、第2の軸を縦yに定義し、さらに第3の軸として視差dを定義したものである。各ブロック(すなわち、各画素)は画像位置(x,y)と視差dの組み合わせである3次元座標(x,y,d)で表現される。
視差dは1画素につき1つずつ計算されるので、ある画素(x,y)に対して、どれか1つの視差dしかデータがないこととなるが、未定義の3次元位置に対しては、未定義を表すラベルを格納しておく。
ある注目点(ある注目する画素)r=(x,y,d)(図10の中央の点)と、その注目点から変位ベクトルδ=(δx,δy,δd)だけ離れた点、すなわち、注目点rを変位ベクトルδで写像した写像点r+δを複数考える。例えば、行列算出部28が、D種類(例えば、20通り)の変位ベクトルδを予め記憶しておき、20通りの写像点r+δを求める。図10の実線矢印は変位ベクトルδ=(−2,2,2)の場合を示している。注目点rの画素特徴量と写像点r+δの画素特徴量をそれぞれi,jとして、図11(a)に示すような共起行列を定義する。図11(a)の縦軸と横軸の矢印と数字は、図9の矢印と数字に対応する。注目点rの画素特徴量iと写像点r+δの画素特徴量jの組み合わせが(i,j)=(0,1)の場合には、共起行列の要素h01が対応する。一般に共起行列hijを次の式(13)のように定義する。
ここで#は中括弧内が表す集合の要素数(発生頻度)を示す。また、I(x)等は画像上の点xにおける画素特徴量を示す。すなわち、式(13)の共起行列hijは、変位ベクトルδによって定義される2つの点(注目点と写像点)における画素特徴量i,jの組み合わせに関して、メッシュの1区画内での分布を示す2次元のヒストグラムである。なお、メッシュの1区画内での分布を求めるために、メッシュの1区画内の3次元座標上の全ての点(画素)を順番に注目点rとして設定し、共起行列hijを求める。共起行列hijは1つの変位ベクトルδに対して定義されるため、D種類の変位ベクトルδを用いた場合には、D枚の2次元ヒストグラムが生成される。この2次元ヒストグラムが、共起ヒストグラムである。
図11(b)は、注目点rからチェビシェフ距離が1の2次元の変位ベクトルδを示す。これらの2次元ベクトルを各奥行きに対して定義する。ここで、例えば、δ=(−1,0)は、注目点と写像点を入れ替えればδ=(1,0)で代用可能であるため、チェビシェフ距離が1の2次元の変位ベクトルδはδ1〜,δ4の4種類存在する。
図10に示すように奥行き(視差d)を注目点の前後に5段階とした場合、変位ベクトルδの種類はD=4×5=20種類となる。輝度勾配方向が8段階であるので、図8のメッシュの1区画につき、8×8×20=1280次元の特徴ベクトルが算出される。
この例では、メッシュ総数が8×4=32個だから、1つの領域から1280×32=40960次元の特徴ベクトルλが生成される。N個の領域に対して同様の処理を行って得たN本の特徴ベクトルλを識別部30に出力する。
識別部30は、行列算出部28が算出したN本の特徴ベクトルλを用いて識別処理を行う。
具体的には、特徴ベクトルλに対して線形な関数g(λ)を式(14)のように定義して、その関数g(λ)の出力の大小によって検出対象物(本実施例では歩行者)か否かを判定する。例えば、関数g(λ)の値が閾値より大きければ歩行者であると識別する。
g(λ)=wTλ+b ・・・(14)
但し、「w」はλと同じ次元数を持つベクトルであり、「b」は定数項である。また、「T」はベクトルの転移を表す。wとbは、検出対象物(本実施例では歩行者)の学習サンプルを用いて予め学習しておく。学習方法としては、例えばサポートベクターマシンを用いればよい。
出力部32は、識別部30が行った識別処理の結果、すなわち、歩行者であるか否かの結果を出力する。
本実施例によれば、物体の3次元形状を反映した画素特徴量を算出することにより、高い精度のパターン識別を実現できる。
本実施例では、車両の前方に設置したカメラを用いて進行方向に存在する歩行者を検出する場合について説明した。しかし、車両の側方や後方にカメラを設置しても良いし、車両ではなく他の移動体、例えばロボットにカメラを搭載する場合にも適用可能である。また、カメラを設置するのが移動体に限定されることはなく、監視カメラのような場合であっても良い。
また、本実施例では、人間を検出する場合について説明した。しかし、検出対象物はこれに限定されるものではなく、他の検出対象物であっても適用可能である。また、人間と車両の同時検出といった複数クラスの物体を検出する場合であっても良い。
また、本実施例では、2台のカメラを左右平行に並べた場合のステレオ視について説明した。しかし、2台以上であればカメラの台数は任意であり、また、視野に重なりがあればそれら複数のカメラをどのように配置しても良い。
また、本実施例では、特徴量算出部26によって算出する画素特徴量として、輝度勾配方向を8段階に量子化した場合を説明した。しかし、輝度勾配を上下(2と6)、左右(0と4)等を同一視した4方向に量子化しても良いし、輝度勾配の方向ではなく、大きさを用いても良い。あるいは、ガウシアンフィルタ、ソーベルフィルタ、ラプラシアンフィルタ等のフィルタの出力値を用いても良い。さらに、これらの内のいくつかを組み合わせ、各画素について複数種類の画素特徴量を算出しても良い。
また、本実施例では、ステレオカメラを入力部16,18として、奥行き復元処理を行う方式について説明した。しかし、直接、3次元画像を入力可能な撮影装置を用いても良い。このような装置としては、例えば、医療分野で使われるCT装置やMRI装置の3次元ボクセルデータ等がある。
また、本実施例では、行列算出部28は2つの画素における特徴の共起を算出する場合について説明した。しかし、一般にN個の画素(Nは3以上の任意の整数)における共起特徴を算出しても良い。2つの画素における画素特徴量の共起により生成される共起ヒストグラムが2次元であるのに対し、N個の画素における画素特徴量の共起を表現するためにはN次元の共起ヒストグラムが必要となる。
また、本実施例では、行列算出部28は同一種類の特徴(輝度勾配方向)の共起を算出する場合について説明した。しかし、輝度勾配方向と輝度など、異なる画像特徴量同士の共起を算出しても良い。複数の画像特徴量を用いることで識別精度を向上させることが可能である。
また、本実施例では、行列算出部28における変位ベクトルをδ=(δx,δy,δd)とした平行移動で写像点を求める方法について複数記載した。しかし、これに限らず、変位ベクトルとして回転移動ベクトル、その他の写像を行うベクトルを用いても良い。
なお、本発明は上記実施例そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施例に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施例に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施例にわたる構成要素を適宜組み合わせてもよい。
10・・パターン識別装置、12・・特徴抽出装置、14・・第1入力部、16・・第2入力部、18・・第1記憶部、20・・第2記憶部、22・・設定部、24・・正規化部、26・・特徴量算出部、28・・行列算出部、30・・識別部、32・・出力部
Claims (5)
- 3次元画像データにおける3次元空間中に少なくとも一つの領域を設定する設定部と、
前記3次元画像データの画素毎に画素特徴量を算出する特徴量算出部と、
(1)前記領域内の3次元座標上の注目点から特定の写像によって位置が変位する前記領域内の3次元座標上の点を少なくとも1つ求め、(2)前記領域内の前記注目点の画素特徴量と、前記写像した各点の画素特徴量との組み合わせの発生頻度を表す共起行列を算出する行列算出部と、
前記特定の写像と前記共起行列との組合せと、予め学習した検出対象物の学習サンプルに基づいて、前記領域内に前記検出対象物が撮像されているか否かを識別する識別部と、
を有することを特徴とするパターン識別装置。 - 視点の異なる複数の2次元画像データを入力する入力部と、
前記2次元画像データ間の視差を計算する視差計算部と、
をさらに有し、
前記設定部は、前記2次元画像データのうちの一枚の画像上の2次元座標で表した前記視差が求められた点と、前記視差が求められた点における前記視差とを有する前記3次元画像データの3次元空間に前記領域を設定し、
前記特徴量算出部は、前記3次元画像データの前記画素毎に前記画素特徴量を算出する、
ことを特徴とする請求項1に記載のパターン識別装置。 - 前記設定部は、前記視差と特定の値との差の大きさが基準よりも小さい前記視差が求められた点の数が、閾値より多い前記3次元空間中に前記領域を設定する、
ことを特徴とする請求項2に記載のパターン識別装置。 - 前記画素特徴量が、輝度勾配方向、輝度勾配の大きさ、又は、輝度である、
ことを特徴とする請求項3に記載のパターン識別装置。 - 前記3次元画像データが、3次元ボクセルデータである、
ことを特徴とする請求項1に記載のパターン識別装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2010/000848 WO2011099072A1 (ja) | 2010-02-10 | 2010-02-10 | パターン識別装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011099072A1 JPWO2011099072A1 (ja) | 2013-06-13 |
JP5349622B2 true JP5349622B2 (ja) | 2013-11-20 |
Family
ID=44367385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011553627A Expired - Fee Related JP5349622B2 (ja) | 2010-02-10 | 2010-02-10 | パターン識別装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9064156B2 (ja) |
JP (1) | JP5349622B2 (ja) |
WO (1) | WO2011099072A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103425990B (zh) * | 2012-05-15 | 2017-05-31 | 中国科学院声学研究所 | 一种基于纹理特征的合成孔径声纳目标检测方法 |
JP6194604B2 (ja) * | 2013-03-15 | 2017-09-13 | 株式会社リコー | 認識装置、車両及びコンピュータが実行可能なプログラム |
CN106462962B (zh) * | 2014-06-03 | 2020-08-04 | 住友重机械工业株式会社 | 施工机械用人检测***以及挖土机 |
JP6472336B2 (ja) | 2014-06-18 | 2019-02-20 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
US10552966B2 (en) * | 2016-03-07 | 2020-02-04 | Intel Corporation | Quantification of parallax motion |
JPWO2018061925A1 (ja) * | 2016-09-30 | 2019-06-24 | 日本電気株式会社 | 情報処理装置、長さ測定システム、長さ測定方法およびプログラム記憶媒体 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002132823A (ja) * | 2000-10-19 | 2002-05-10 | Nippon Telegr & Teleph Corp <Ntt> | マルチメディア情報処理装置、マルチメディア情報処理方法およびそのプログラムが記録されたコンピュータ読み取り可能な記録媒体 |
JP2008175588A (ja) * | 2007-01-16 | 2008-07-31 | Kagawa Univ | 外観検査装置 |
JP2009055139A (ja) * | 2007-08-23 | 2009-03-12 | Hitachi Kokusai Electric Inc | 人物追跡システム、人物追跡装置および人物追跡プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000207566A (ja) | 1999-01-18 | 2000-07-28 | Ricoh Co Ltd | テクスチャ特徴抽出装置 |
US20050151734A1 (en) * | 2004-01-14 | 2005-07-14 | Gubkin Andrew A. | Method and apparatus for rendering, storing and editing voxel objects |
US7330593B2 (en) * | 2004-06-25 | 2008-02-12 | Stmicroelectronics, Inc. | Segment based image matching method and system |
-
2010
- 2010-02-10 JP JP2011553627A patent/JP5349622B2/ja not_active Expired - Fee Related
- 2010-02-10 WO PCT/JP2010/000848 patent/WO2011099072A1/ja active Application Filing
- 2010-02-10 US US13/521,527 patent/US9064156B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002132823A (ja) * | 2000-10-19 | 2002-05-10 | Nippon Telegr & Teleph Corp <Ntt> | マルチメディア情報処理装置、マルチメディア情報処理方法およびそのプログラムが記録されたコンピュータ読み取り可能な記録媒体 |
JP2008175588A (ja) * | 2007-01-16 | 2008-07-31 | Kagawa Univ | 外観検査装置 |
JP2009055139A (ja) * | 2007-08-23 | 2009-03-12 | Hitachi Kokusai Electric Inc | 人物追跡システム、人物追跡装置および人物追跡プログラム |
Also Published As
Publication number | Publication date |
---|---|
US9064156B2 (en) | 2015-06-23 |
US20130034296A1 (en) | 2013-02-07 |
JPWO2011099072A1 (ja) | 2013-06-13 |
WO2011099072A1 (ja) | 2011-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11263499B2 (en) | Multi-perspective detection of objects | |
US10049492B2 (en) | Method and apparatus for rendering facades of objects of interest from three-dimensional point clouds | |
US9846946B2 (en) | Objection recognition in a 3D scene | |
CN108734087B (zh) | 物体自动识别方法以及***、购物设备和存储介质 | |
JP6125188B2 (ja) | 映像処理方法及び装置 | |
US10311595B2 (en) | Image processing device and its control method, imaging apparatus, and storage medium | |
US9639748B2 (en) | Method for detecting persons using 1D depths and 2D texture | |
JP6639123B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20210264144A1 (en) | Human pose analysis system and method | |
US20160027208A1 (en) | Image analysis method | |
US9665803B2 (en) | Image processing apparatus and image processing method | |
JP5349622B2 (ja) | パターン識別装置 | |
JP5936561B2 (ja) | 画像における外観及びコンテキストに基づく物体分類 | |
JP4970381B2 (ja) | 特徴抽出装置、特徴抽出方法、画像処理装置、及び、プログラム | |
JP2007527569A (ja) | 立体視に基づく差し迫った衝突の検知 | |
KR101575857B1 (ko) | 다중시점의 동작의 세기와 방향에 대한 히스토그램을 이용한 행동패턴 인식방법 | |
JP5656768B2 (ja) | 画像特徴量抽出装置およびそのプログラム | |
JP5166335B2 (ja) | 特徴を抽出する装置、方法およびプログラム | |
Kang et al. | People detection method using graphics processing units for a mobile robot with an omnidirectional camera | |
JP5715784B2 (ja) | 画像の輪郭点検出方法 | |
KR101733288B1 (ko) | 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법 | |
JP6977667B2 (ja) | 物体らしさ推定装置、方法、およびプログラム | |
JP2013164643A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
Palmer et al. | Scale proportionate histograms of oriented gradients for object detection in co-registered visual and range data | |
Le et al. | Geometry-Based 3D Object Fitting and Localizing in Grasping Aid for Visually Impaired |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130820 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5349622 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |