JP2891159B2 - 多眼画像からの物体検出方式 - Google Patents
多眼画像からの物体検出方式Info
- Publication number
- JP2891159B2 JP2891159B2 JP8026349A JP2634996A JP2891159B2 JP 2891159 B2 JP2891159 B2 JP 2891159B2 JP 8026349 A JP8026349 A JP 8026349A JP 2634996 A JP2634996 A JP 2634996A JP 2891159 B2 JP2891159 B2 JP 2891159B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- cluster
- image
- object detection
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 95
- 238000003707 image sharpening Methods 0.000 claims description 45
- 238000000034 method Methods 0.000 claims description 37
- 230000010354 integration Effects 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 17
- 238000009825 accumulation Methods 0.000 description 11
- 230000005484 gravity Effects 0.000 description 11
- 239000013598 vector Substances 0.000 description 10
- 238000000605 extraction Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000010420 art technique Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
検出方式に関する。
術は、画像理解、切り出された物体を単位とする画像編
集、画像データベースなどへの応用が検討されている。
領域分割方式である。特にクラスタリングを用いた方式
は、良好な領域分割結果を与えるのみならず、雑音に強
いという利点を有するために活発な検討が進められてい
る。具体的には、泉、森川、原島:“色情報と位置情報
とを併用したセグメンテーション手法の一検討”,19
91年電子情報通信学会春季全国大会D−680(19
91)に示されている5次元クラスタリング方式があ
る。これは、特徴量空間として三刺激値RGBと画素位
置xyの計5次元の空間を考え、着目画素の色情報を
(R,G,B)、位置情報を(x,y)、インデクスn
のクラスタの色情報の平均を
タの距離dn を
のクラスタに対して距離dn の計算を行い、その距離d
n が最小となるクラスタnに着目画素が属する、と判定
する。ただし、w0 、w1 はそれぞれ重み係数である。
これによって、局所的な情報を失わず、かつ雑音にも強
い画像信号の領域分割が実現できる、と報告されてい
る。そして、統計的に類似したクラスタを集めて統合ク
ラスタを作成することで物体検出を実現できる。しか
し、上記の方式では1枚の画像の色情報しか用いていな
いために、かなりの誤検出が発生することは避けられな
い。
動画像符号化用の領域分割方式”,1994年電子情報
通信学会秋季全国大会D−150(1994)では、上
記のクラスタリングアルゴリズムを動画像に拡張した報
告を行っている。これは、特徴量空間としてYCrCb
の3つの輝度色差信号と画素位置xyと2次元動きベク
トルを加えた7次元特徴量空間を考え、画素単位に求め
られた動きベクトルを(vx ,vy )、クラスタnに対
して求められた動きベクトルを(vn,x ,vn, y )と
し、着目画素とn番目のクラスタの距離dn を
のクラスタに対して距離dn の計算を行い、その距離d
n が最小となるクラスタnに着目画素が属すると判定す
る。ただし、w0 、w1 、w2 はそれぞれ重み係数であ
り、また前述のRGB空間をYCrCb空間に変更して
いるが、これは領域分割結果に大きな影響を与える問題
ではない。これによって、前述の動きベクトル情報を用
いないクラスタリング方式に対して、動き補償予測の符
号化効率が改善されると報告されている。そして、前述
の方式と同様に、統計的に類似したクラスタを集めて統
合クラスタを作成することで物体検出を実現できる。し
かし、上記の方式では、用いられる動き情報がばらつい
て領域分割が安定しないために、かなりの誤検出が発生
するという問題点がある。
報を用いた構造復元方式である。具体的には、A.P.
Pentland:“A New Sense for
Depth of Field,”IEEE Tra
ns.on PatternAnalysis and
Machine Intelligence,Vo
l.PAMI−9,No.4,July.1987に、
エッジ検出を行い、そのエッジ付近の輝度勾配を求め、
この傾きの大きさから物体の奥行きを求める方式が示さ
れている。しかし、上記の方式では、エッジ付近のぼけ
度合いの精度が安定して得られないこと、エッジ以外の
部分の奥行きは求まらないこと、検出されるエッジが必
ずしも閉領域を構成しないこと、などのために、依然と
して誤検出の問題が残る。
オ画像を用いた構造復元方式である。具体的には、U.
R.Dhond and J.K.Aggarwal:
“Structure from Stereo −
A Review”,IEEE Trans.SMC,
pp.1489−1510(1989)に、弛緩法やダ
イナミックプログラミングを用いて、ステレオ画像から
視差情報を求めるための方式が説明されている。しか
し、上記の方法では、視差検出に誤りが含まれるため
に、依然として誤検出の問題が残る。
話題として、特願平07−249961「3次元画像符
号化方式」には、クラスタリング手法を活用した、焦点
位置の異なる複数枚の画像からの鮮鋭画像の獲得方式が
示されている。この方式を応用することで、各画素がど
の焦点画像に属しているか、各画素がどの程度の奥行き
にあるか、という物体検出のための手掛かりを得ること
ができる。また、前記の視差情報の利用に関する別の方
法として、甲藤、太田“Focusingを用いた3次
元画像符号化”画像符号化シンポジウム(1995年1
0月2日)(以下、文献1という)にはまた、クラスタ
リング手法を活用した、視差情報の獲得方式が示されて
いる。この方式を応用することで、各画素がどの視差範
囲に属しているか、各画素がどの程度の奥行きにある
か、という物体検出のための手掛かりを得ることができ
る。
物体検出方式では、誤検出を十分に低減することができ
ない。そこで、本発明の目的は、クラスタリングを用い
た領域分割手法を基盤記述とし、焦点位置の異なる複数
枚の画像、もしくは視差の異なる複数枚の画像、もしく
はそれらの両方を用いて、誤検出の少ない画像信号から
の物体検出方式を提供することにある。
像からの物体検出方式は、光軸はほぼ等しいが焦点位置
の異なる複数枚の画像を入力として1枚の鮮鋭画像と焦
点情報とクラスタ情報を作成する画像鮮鋭化手段と、前
記焦点情報から第1の物体検出情報を作成するマスク生
成手段と、前記クラスタ情報から統合クラスタ情報を作
成する領域統合手段と、前記第1の物体検出情報と前記
統合クラスタ情報から第2の物体検出情報を作成する領
域選択手段と、前記鮮鋭画像と前記第2の物体検出情報
から物体の切り出しを行う手段を備えることを特徴とす
る。
方式は、光軸の異なる複数枚の画像を入力として視差情
報とクラスタ情報を作成する視差検出手段と、前記視差
情報から第1の物体検出情報を作成するマスク生成手段
と、前記画像のクラスタ情報から統合クラスタ情報を作
成する領域統合手段と、前記第1の物体検出情報と前記
統合クラスタ情報から第2の物体検出情報を作成する領
域選択手段と、前記視差の異なる画像と前記第2の物体
検出情報から物体の切り出しを行う手段を備えることを
特徴とする。
方式は、光軸はほぼ等しいが焦点位置の異なる複数枚の
画像を入力として第1の鮮鋭画像と焦点情報とクラスタ
情報を作成する第1の画像鮮鋭化手段と、光軸はほぼ等
しいが焦点位置の異なる複数枚の画像を入力として鮮鋭
画像を得る手段を前記第1の画像鮮鋭化手段とは別に視
点を変えて複数個備え、それらによって得られた視点の
異なる複数枚の鮮鋭画像から視差情報を作成する視差検
出手段と、前記焦点情報と前記視差情報から第1の物体
検出情報を作成するマスク生成手段と、前記クラスタ情
報から統合クラスタ情報を作成する領域統合手段と、前
記第1の物体検出情報と前記統合クラスタ情報から第2
の物体検出情報を作成する領域選択手段と、前記第1の
鮮鋭画像と前記第2の物体検出情報から物体の切り出し
を行う手段を備えることを特徴とする。
方式は、光軸はほぼ等しいが焦点位置の異なる複数枚の
画像を入力として第1の鮮鋭画像と焦点情報を作成する
第1の画像鮮鋭化手段と、光軸はほぼ等しいが焦点位置
の異なる複数枚の画像を入力として鮮鋭画像を得る手段
を前記第1の画像鮮鋭化手段とは別に視点を変えて複数
個備え、それらによって得られた視点の異なる複数枚の
鮮鋭画像から視差情報とクラスタ情報を作成する視差検
出手段と、前記焦点情報と前記視差情報から第1の物体
検出情報を作成するマスク生成手段と、前記クラスタ情
報から統合クラスタ情報を作成する領域統合手段と、前
記第1の物体検出情報と前記統合クラスタ情報から第2
の物体検出情報を作成する領域選択手段と、前記第1の
鮮鋭画像と前記第2の物体検出情報から物体の切り出し
を行う手段を備えることを特徴とする。
態を示す。
焦点位置の異なる複数枚の画像と視差の異なる複数枚の
画像を撮像する。焦点方向に関しては、1台のカメラで
焦点位置を順次変更して撮像するか、もしくは時間差が
許容されない場合には、予め焦点位置を変えた複数のカ
メラを準備しておき、ハーフミラーやプリズム等を用い
て光軸を揃えて撮像する。視差方向に対しては、1台の
カメラで水平方向に移動して撮像するか、もしくは時間
差が許容されない場合には、予め水平方向の配置位置を
変えた複数枚のカメラを用いて撮像する。
数枚の画像の鮮鋭化方式を用いて、画像信号からの物体
検出を以下のようにして行うことができる。焦点位置の
異なる複数枚の画像のみを考え、それらに対して画像の
鮮鋭化を施す。次に、得られた合焦判定情報に従い、画
素が着目する焦点画像に含まれる場合の値を1、含まれ
ない場合を0とするマップを作成し、得られた鮮鋭画像
との論理積を取ることでラフな物体の切り出しを行う。
次に、着目する焦点画像に対して得られたクラスタリン
グ結果に従い、統計的に類似した特徴を有するクラスタ
を集めて、より大きな統合クラスタを構成する。次に、
得られた統合クラスタ毎に、その内部の前記ラフな物体
の切り出し結果に含まれる画素数をカウントし、その統
合クラスタ内の全画素数に対する比率が既定値を超える
統合クラスタを選択し、その統合クラスタの集合として
最終的な物体の切り出し結果とする。ラフな物体の切り
出しだけでは、しばしば鮮鋭化に伴う誤検出領域が含ま
れるが、上記のように、これをクラスタリングの統合結
果と組み合わせて用いることで、誤検出を大幅に低減す
ることができる。
の画像からの視差検出方式を用いて、画像信号からの物
体検出を以下のようにして行うことができる。視差の異
なる画像のみを考え、それらに対して視差検出を施す。
次に、得られた視差情報に従い、画素が着目する視差範
囲に含まれる場合の値を1、含まれない場合を0とする
マップを作成し、入力画像との論理積を取ることでラフ
な物体の切り出しを行う。次に、着目する視差画像に対
して得られたクラスタリング結果に従い、統計的に類似
した特徴を有するクラスタを集めて、より大きな統合ク
ラスタを構成する。次に、得られた統合クラスタ毎に、
その内部の前記ラフな物体の切り出し結果に含まれる画
素数をカウントし、その統合クラスタ内の全画素数に対
する比率が既定値を超える統合クラスタを選択し、その
統合クラスタの集合として最終的な物体の切り出し結果
とする。ラフな物体の切り出しだけでは、しばしば誤差
検出に伴う誤検出領域が含まれるが、上記のように、こ
れをクラスタリングの統合結果と組み合わせて用いるこ
とで、誤検出を大幅に低減することができる。
数枚の画像の鮮鋭化方式と、同じく視差の異なる複数枚
の画像からの視差検出方式との併用によって、画像信号
からの物体検出を以下のようにして行うことができる。
はじめに、焦点位置の異なる複数枚の画像に対して、画
像の鮮鋭化を施し、複数枚の視差の異なる鮮鋭画像を得
る。次に、得られた視差の異なる複数枚の鮮鋭画像に対
して、視差検出を施す。次に、得られた焦点情報と視差
情報に従い、画素が着目する焦点画像に含まれる場合の
値を1、含まれない場合を0とする第1のマップと、画
素が着目する視差範囲に含まれる場合の値を1、含まれ
ない場合を0とする第2のマップを作成し、前記第1の
マップ、前記第2のマップと入力画像との論理積を取る
ことでラフな物体の切り出しを行う。次に、着目する焦
点画像に対して得られたクラスタリング結果に従い、統
計的に類似した特徴を有するクラスタを集めて、より大
きな統合クラスタを構成する。次に、得られた統合クラ
スタ毎に、その内部の前記ラフな物体の切り出し結果に
含まれる画素数をカウントし、その統合クラスタ内の全
画素数に対する比率が既定値を超える統合クラスタを選
択し、その統合クラスタの集合として最終的な物体の切
り出し結果とする。ラフな物体の切り出しだけでは、し
ばしば鮮鋭化、視差検出に伴う誤検出領域が含まれる
が、上記のように、これらを鮮鋭画像のクラスタリング
の統合結果と組み合わせて用いることで、誤検出を大幅
に低減することができる。
画像鮮鋭化時のクラスタリング結果を用いる替わりに、
視差検出時のクラスタリング結果を用いて、画像信号か
らの物体検出を以下のようにして行うことができる。は
じめに、焦点位置の異なる複数枚の画像に対して、画像
の鮮鋭化を施し、複数枚の視差の異なる鮮鋭画像を得
る。次に、得られた視差の異なる複数枚の鮮鋭画像に対
して、視差検出を施す。次に、得られた焦点情報と視差
情報に従い、画素が着目する焦点画像に含まれる場合の
値を1、含まれない場合を0とする第1のマップと、画
素が着目する視差範囲に含まれる場合の値を1、含まれ
ない場合を0とする第2のマップを作成し、前記第1の
マップ、第2のマップと入力画像との論理積を取ること
でラフな物体の切り出しを行う。次に、着目するに視差
画像に対して得られたクラスタリング結果に従い、統計
的に類似した特徴を有するクラスタを集めて、より大き
な統合クラスタを構成する。次に、得られた統合クラス
タ毎に、その内部の前記ラフな物体の切り出し結果に含
まれる画素数をカウントし、その統合クラスタ内の全画
素数に対する比率が既定値を超える統合クラスタを選択
し、その統合クラスタの集合として最終的な物体の切り
出し結果とする。ラフな物体の切り出しだけでは、しば
しば鮮鋭化、視差検出に伴う誤検出領域が含まれるが、
上記のように、これらを視差画像のクラスタリングの統
合結果と組み合わせて用いることで、誤検出を大幅に低
減することができる。
の第一の実施の形態を示している。画像鮮鋭化手段10
は、N枚の焦点位置の異なる画像を入力とし、鮮鋭画像
と、画素毎の焦点情報と、領域分割結果としてのクラス
タ情報を出力する。ただし、焦点情報は、各画素がN枚
の焦点画像のどれから得られたかを示すインデクスであ
り、クラスタ情報は、領域分割の結果として与えられる
各クラスタの輝度、色差の平均値、重心位置、および各
画素の属するクラスタ番号から構成される。マスク生成
手段11は、画像鮮鋭化手段10から与えられる焦点情
報を入力とし、ラフな物体検出に対応するマスク情報を
出力する。ただし、マスク情報は、画素単位に、各画素
が着目する焦点画像から得られた場合を1、そうでない
場合を0とする。領域統合手段12は、画像鮮鋭化手段
10から与えられるクラスタ情報を入力とし、統計的に
類似した特徴を有するクラスタを統合して新たな統合ク
ラスタを形成し、統合クラスタ情報を出力する。ただ
し、統合クラスタ情報は、各画素が含まれる統合クラス
タを表すインデクスである。領域選択手段13は、マス
ク生成手段11から与えられるマスク情報と、領域統合
回路12から与えられる統合クラスタ情報を入力とし、
各統合クラスタ毎にマスク情報が1である画素の占める
比率を計算し、この比率が既定値を越える統合クラスタ
の集合として物体検出情報を出力する。ただし、物体検
出情報は、画素単位に、各画素が検出物体を構成する統
合領域に含まれる場合を1、含まれない場合を0とす
る。物体切り出し手段14は、画像鮮鋭化手段10から
与えられる鮮鋭画像と、領域選択回路13から与えられ
る物体検出情報の積を取り、その結果を検出物体として
出力する。
細を示している。まず、焦点位置の異なるN枚の画像の
中から、1枚を基準画像#1とする。領域分割手段19
1は、基準画像#1の画素値と統計情報計算手段192
によって与えられる統計情報を入力とし、(1)式の距
離計算式に従って基準画像#1の領域分割を行い、各画
素が含まれるクラスタ番号を表す画素単位のクラスタ属
性情報を出力する。統計情報計算手段192は、基準画
像#1の画素値と、領域分割手段191によって与えら
れるクラスタ属性情報を入力とし、クラスタ毎に画素値
平均、画素値分散、重心位置等の計算を行い、クラスタ
単位の統計情報として出力する。統計情報計算手段19
3は、画像#2の画素値と、領域分割手段191によっ
て与えられる基準画像#1のクラスタ属性情報を入力と
し、基準画像#1に対して求められたクラスタを画像#
2にも適用し、クラスタ毎に画素値平均、画素値分散、
重心位置等の計算を行い、クラスタ単位の統計情報とし
て出力する。統計情報計算手段194、195の機能
は、対象画像が画像#3、画像#Nとなることを除い
て、前述の統計情報計算手段193の機能と同じであ
る。合焦判定手段196は、文献1と同様に、統計情報
計算手段193〜195によって与えられる画像#1〜
#Nの統計情報を用いて、
合焦領域と判定し、焦点情報を出力する。ただし、
Nは着目クラスタnの隣接クラスタの集合である。画像
合成手段197は、領域分割手段191によって与えら
れる基準画像#1のクラスタ属性情報と、合焦判定手段
196によって与えられる焦点情報と、N枚の焦点位置
の異なる画像を入力とし、鮮鋭画像を出力する。
細を示している。差分自乗計算手段60は、画像#1の
輝度値と、統計情報計算手段192によって与えられる
クラスタ毎の輝度の平均値を入力とし、それらの差分の
自乗を計算する。差分自乗計算手段61、62は、画像
#1の色差値と、統計情報計算手段によって与えられる
クラスタ毎の色差の平均値を入力とし、それらの差分の
自乗を計算する。差分自乗計算手段63、64は、画像
#1の画素の位置情報と、統計情報計算手段192によ
って与えられるクラスタ毎の重心位置を入力とし、それ
らの差分の自乗を計算する。重み付き加算手段65は、
(1)式に従って、差分自乗計算手段60〜64から与
えられる差分自乗値の重み付き加算を行う。重み付き加
算手段66、67は、隣接クラスタに対して、重み付き
加算手段65と同様の差分自乗値の重み付き加算を行
う。比較手段68は、重み付き加算手段65、66、6
7の結果として与えられる重み付き加算値の比較を行
い、この値を最小にするクラスタのインデクス、すなわ
ちクラスタ属性情報を出力する。
の詳細を示している。クラスタ毎の累算手段70は、画
像#1から与えられる画素の輝度値と、領域分割手段1
91から与えられる画素毎のクラスタ属性情報に従っ
て、クラスタ毎の輝度値の累算を行う。クラスタ毎の累
算手段71、72は、画像#1から与えられる画素の色
差値と、領域分割手段191から与えられる画素毎のク
ラスタ属性情報に従って、クラスタ毎の色差値の累算を
行う。クラスタ毎の累算手段73、74は、画像#1か
ら与えられる画素の位置座標と、領域分割手段191か
ら与えられる画素毎のクラスタ属性情報に従って、クラ
スタ毎の位置座標の累算を行う。クラスタ毎のカウンタ
75は、領域分割手段191から与えられるクラスタ属
性情報に従って、各クラスタに含まれる画素数をカウン
トする。除算手段76は、クラスタ毎の累算手段70か
ら与えられる輝度累算値の、クラスタ毎のカウンタ75
から与えられる画素数による除算を実行し、クラスタ単
位の輝度平均値を出力する。除算手段77、78は、ク
ラスタ毎の累算手段71、72から与えられる色差累算
値の、クラスタ毎のカウンタ75から与えられる画素数
による除算を実行し、クラスタ単位の色差平均値を出力
する。除算手段79、80は、クラスタ毎の累算手段7
3、74から与えられる位置座標累算値の、クラスタ毎
のカウンタ75から与えられる画素数による除算を実行
し、クラスタ単位の重心位置を出力する。
細を示している。平均差分自乗計算手段90は、統計情
報計算手段192によって与えられる着目クラスタの輝
度平均値と、統計情報計算手段193によって与えられ
る周辺クラスタの輝度平均値の差分の自乗を計算する。
平均差分自乗計算手段91、92は、統計情報計算手段
192によって与えられる着目クラスタの色差平均値
と、統計情報計算手段193によって与えられる周辺ク
ラスタの色差平均値の差分の自乗を計算する。平均差分
自乗計算手段93、94、95は、統計情報計算手段1
93の代わりに統計情報計算手段194によって与えら
れる統計値を入力とし、その機能は平均差分自乗計算手
段90、91、92に等しい。平均差分自乗計算手段9
6、97、98は、統計情報計算手段193の代わりに
統計情報計算手段195によって与えられる統計値を入
力とし、その機能は平均差分自乗計算手段90、91、
92に等しい。加算手段99は、平均差分自乗計算手段
90〜92によって与えられる値を加算する。加算手段
100は、平均差分自乗計算手段93〜95によって与
えられる値を加算する。加算手段101は、平均差分自
乗計算手段96〜98によって与えられる値を加算す
る。比較手段102は、加算手段99〜101の出力値
の比較を行い、その値を最大にするクラスタを含む画像
のインデクスを焦点情報として出力する。
詳細を示している。比較手段200は、画像鮮鋭化手段
10から与えられる焦点情報を入力とし、この値が予め
定められた焦点画像に対応する場合には1を、対応しな
い場合には0を、マスク情報として出力する。
細を示している。統計情報保持手段210、211、2
12は、画像鮮鋭化手段10から与えられるクラスタ単
位の輝度、色差に関する統計情報を保持し、クラスタ番
号生成手段213によって与えられるクラスタ番号に従
って、対応するクラスタの輝度、色差の統計情報を出力
する。クラスタ番号生成手段213は、クラスタ番号を
出力する。差分自乗計算手段214、215、216
は、それぞれ統計情報保持手段210、211、212
から与えられる2つのクラスタ単位の統計情報の差分自
乗を計算する。加算手段217は、差分自乗計算手段2
14、215、216の出力の和を計算する。比較手段
218は、加算手段217の出力が予め定められた値よ
りも小さな場合には1を、そうでない場合には0を、ク
ラスタ統合判定結果として出力する。クラスタ統合判定
結果が1の場合は、クラスタ統合が行われることを意味
する。クラスタ属性更新手段219は、画像鮮鋭化手段
10から与えられる画素単位のクラスタ属性情報と、ク
ラスタ番号生成手段213から与えられるクラスタ番号
と、比較手段218から与えられるクラスタ統合判定結
果を入力とし、クラスタ統合判定結果が1の場合には、
2つのクラスタが同じクラスタ番号を持つように、対応
するクラスタ番号に属する画素のクラスタ属性情報を更
新し、統合クラスタ情報として出力する。すなわち、統
合クラスタ情報は、画素単位に、各画素が含まれる統合
クラスタを表すインデクスである。
細を示している。カウンタ220は、領域統合手段12
から与えられる統合クラスタ情報を入力とし、各統合ク
ラスタに含まれる画素数をカウントする。条件付きカウ
ンタ221は、領域統合手段12から与えられる統合ク
ラスタ情報と、マスク生成手段11から与えられるマス
ク情報を入力とし、各統合クラスタに含まれるマスク情
報が1の画素数をカウントする。除算手段222は、条
件付きカウンタ221から与えられる画素数をカウンタ
220から与えられる画素数で割った値を出力する。比
較手段223は、除算手段222の結果を入力とし、そ
の結果が既定値以上である場合には1を、それ以外の場
合には0を、物体検出情報として出力する。
発明の第二の実施の形態を示している。視差検出手段2
0は、M枚の視差の異なる画像を入力とし、1枚の基準
画像と、画素毎の視差情報と、領域分割結果としてのク
ラスタ情報を出力する。ただし、視差情報は、各画素毎
に求められた視差であり、クラスタ情報は、領域分割の
結果として与えられる各クラスタの輝度、色差の平均
値、重心位置、および各画素の属するクラスタ番号から
構成される。マスク生成手段21は、視差手段20から
与えられる視差情報を入力とし、ラフな物体の切り出し
に対応するマスク情報を出力とする。ただし、マスク情
報は、画素単位に、各画素が着目する視差範囲に含まれ
る場合を1、そうではない場合を0とする。領域統合手
段22は、視差検出手段20から与えられるクラスタ情
報を入力とし、統計的に類似した特徴を有するクラスタ
を統合して新たな統合クラスタを形成し、統合クラスタ
情報を出力する。ただし、統合クラスタ情報は、各画素
が含まれる統合クラスタを表すインデクスである。領域
選択手段13は、マスク生成手段11から与えられるマ
スク情報と、領域統合回路12から与えられる統合クラ
スタ情報を入力とし、各統合クラスタ毎にマスク情報が
1である画素の占める比率を計算し、この比率が既定値
を越える統合クラスタの集合として物体検出情報を出力
する。ただし、物体検出情報は、画素単位に、各画素が
検出物体を構成する統合領域に含まれる場合を1、含ま
れない場合を0とする。物体切り出し手段24は、1枚
の基準画像と、領域選択回路23から与えられる物体検
出情報との積を取り、その結果を検出物体として出力す
る。
ている。M枚の視差の異なる画像の中から1枚を基準画
像#1とし、この基準画像と残りの画像の間で視差検出
を行い、画素単位の視差を決定する。領域分割手段12
1は、画像#1の画素値と、統計情報計算手段122に
よって与えられるクラスタ単位の統計情報と、視差補償
予測手段124によって与えられる視差補償予測画像を
用いて、文献1に示されている8次元の距離計算
ただし、(Y,Cr,Cb)は着目画素の輝度、色差情
報、(x,y)は着目画素の位置情報、
トル
(w0 ,w1 ,w2 )は重み係数である。統計情報計算
手段122は、画像#1の画素値と、領域分割手段12
1によって与えられるクラスタ属性情報を入力とし、ク
ラスタ毎に画素値平均、画素値分散、重心位置等の計算
を行い、クラスタ単位の統計情報として出力する。視差
推定手段123は、基準画像#1の画素値と、画像#2
の画素値と、領域分割手段121によって与えられるク
ラスタ属性情報を用いて、視差補償予測画像の誤差が最
小となるような水平1次元の領域単位の視差ベクトルを
求める。視差補償予測手段124は、画像#2の画素値
と、視差推定手段123によって与えられる視差ベクト
ルを用いて、基準画像#1に対する視差補償予測画像を
作成する。以上の処理を繰り返すことで、基準画像#1
に対して、視差補償予測誤差を十分に低減した視差情報
を得ることができる。領域分割手段125、129、統
計情報計算手段126、130、視差推定手段127、
131、視差補償予測手段128、132の動作は、そ
れぞれ領域分割手段121、統計情報計算手段122、
視差推定手段123、視差補償予測手段124の動作に
等しい。重み付き視差検出手段133は、視差検出手段
123、127、131から与えられる複数の視差ベク
トルを入力とし、撮像系のベースラインの距離に応じた
重み付き平均として、最終的な画素単位の視差情報を出
力する。
詳細を示している。差分自乗計算手段141は、基準画
像#1の輝度値と、統計情報計算手段122によって与
えられるクラスタ毎の輝度平均値を入力とし、それらの
差分の自乗を計算する。差分自乗計算手段142、14
3は、基準画像#1の色差値と、統計情報計算手段12
2によって与えられるクラスタ毎の色差平均値を入力と
し、それらの差分の自乗を計算する。差分自乗計算手段
144、145は、基準画像#1の画素の位置情報と、
統計情報計算手段122によって与えられるクラスタ毎
の重心位置を入力とし、それらの差分の自乗を計算す
る。重み付き加算手段149は、(4)式に従って、差
分自乗計算手段141〜148から与えられる差分自乗
値の重み付き加算を行う。重み付き加算手段151、1
52は、重み付き加算手段149とは異なるクラスタに
対して、重み付き加算手段149と同様の計算を行う。
比較手段152は、重み付き加算手段149、151、
152の出力値の比較を行い、この値を最小にするクラ
スタのインデクス、すなわち画素毎のクラスタ属性情報
を出力する。
統計情報計算手段192の構成に等しい。
詳細を示している。画素シフト手段160は、シフト値
生成手段168によって与えられるシフト値に従い、画
像#2の画素の輝度値の水平方向のシフトを実行する。
画素シフト手段161、162は、シフト値生成手段1
68によって与えられるシフト値に従い、画像#2の画
素の色差値の水平方向のシフトを実行する。差分自乗計
算手段163は、画素シフト手段160によって水平方
向にシフトされた画像#2の画素の輝度値と、画像#1
の画素の輝度値の差分の自乗を出力する。差分自乗計算
手段164、165は、画素シフト手段161、162
によって水平方向にシフトされた画像#2の画素の色差
値と、画像#1の画素の色差値の差分の自乗を出力す
る。クラスタ毎の累算手段166は、シフト値生成手段
168によって与えられるシフト値と、領域分割手段1
21によって与えられるクラスタ属性情報に従い、シフ
ト値毎、かつクラスタ毎に、差分自乗計算手段163、
164、165の出力を累算する。シフト値生成手段1
68は、画素シフト値を出力とする。最小値判定手段1
67は、クラスタ単位に、クラスタ毎の累算手段166
によって与えられる累算差分自乗値を最小にするシフト
値を判定し、視差ベクトルとして出力する。
例の詳細を示している。画素シフト手段170は、視差
推定手段123から与えられる視差ベクトルに従って、
画像#2の画素の輝度値の水平方向のシフトを実行す
る。画素シフト手段171、172は、視差推定手段1
23から与えられる視差ベクトルに従って、画像#2の
画素の色差値の水平方向のシフトを実行する。
スク生成手段11に同じであり、焦点情報を視差情報に
置き換え、入力された視差情報が予め定められた視差範
囲にある場合には1を、ない場合には0を、マスク情報
として出力する。
成は、それぞれ領域統合手段12、領域選択手段13の
構成に等しい。
方式を用いたが、本発明の第三の実施の形態を示してい
る。画像鮮鋭化手段30は、N枚の焦点位置の異なる画
像を入力とし、鮮鋭画像と、画素毎の焦点情報と、領域
分割結果としてのクラスタ情報を出力する。ただし、焦
点情報は、各画素がN枚の焦点画像のどれから得られた
かを示すインデクスであり、クラスタ情報は、領域分割
の結果として与えられる各クラスタの輝度、色差の平均
値、重心位置、および各画素の属するクラスタ番号から
構成される。画像鮮鋭化手段31、画像鮮鋭化手段32
の動作は、画像鮮鋭化手段30の動作に等しい。視差検
出手段33は、M枚の視差の異なる鮮鋭画像を入力と
し、画素毎の視差情報を出力する。マスク生成手段34
は、画像鮮鋭化手段30から与えられる焦点情報と、視
差検出手段33から与えられる視差情報を入力とし、ラ
フな物体の切り出しに対応するマスク情報を出力とす
る。ただし、マスク情報は、画素単位に、焦点情報に関
しては、各画素が着目している焦点画像に含まれる場合
を1、含まれない場合を0とし、視差情報に関しては、
各画素が着目している視差範囲に含まれる場合を1、含
まれない場合を0とし、それらの論理積を取ることで構
成される。領域統合手段35は、画像鮮鋭化手段30か
ら与えられるクラスタ情報を入力とし、統計的に類似し
た特徴を有するクラスタを統合して新たな統合クラスタ
を形成し、統合クラスタ情報を出力する。ただし、統合
クラスタ情報は、各画素が含まれる統合クラスタを表す
インデクスである。領域選択手段36は、マスク生成手
段34から与えられるマスク情報と、領域統合回路22
から与えられる統合クラスタ情報を入力とし、各統合ク
ラスタ毎にマスク情報が1である画素の占める比率を計
算し、この比率が既定値を越える統合クラスタの集合と
して物体検出情報を出力する。ただし、物体検出情報
は、画素単位に、各画素が検出物体を構成する統合領域
に含まれる場合を1、含まれない場合を0とする。物体
切り出し手段37は、1枚の鮮鋭画像と、領域選択回路
36から与えられる物体検出情報との積を取り、その結
果を検出物体として出力する。
詳細を示している。比較手段201は、画像鮮鋭化手段
30から与えられる焦点情報を入力とし、この値が予め
定められた焦点画像に対応する場合には1を、対応しな
い場合には0を出力とする。比較手段202は、視差検
出手段33から与えられる視差情報を入力とし、この値
が予め定められた視差範囲に含まれる場合には1を、含
まれない場合には0を出力とする。論理積計算手段20
3は、比較手段201と比較手段202の出力の論理積
を計算し、マスク情報として出力とする。
成は、それぞれ領域統合手段12、領域選択手段13の
構成に等しい。
方式を用いた、本発明の第四の実施の形態を示してい
る。画像鮮鋭化手段40は、N枚の焦点位置の異なる画
像を入力とし、鮮鋭画像と、画素毎の焦点情報と、領域
分割結果としてのクラスタ情報を出力する。ただし、焦
点情報は、各画素がN枚の焦点画像のどれから得られた
かを示すインデクスであり、クラスタ情報は、領域分割
の結果として与えられる各クラスタの輝度、色差の平均
値、重心位置、および各画素の属するクラスタ番号から
構成される。画像鮮鋭化手段41、画像鮮鋭化手段42
の動作は、画像鮮鋭化手段40の動作に等しい。視差検
出手段43は、M枚の視差の異なる鮮鋭画像を入力と
し、画素毎の視差情報を出力する。マスク生成手段44
は、画像鮮鋭化手段40から与えられる焦点情報と、視
差検出手段43から与えられる視差情報を入力とし、ラ
フな物体の切り出しに対応するマスク情報を出力とす
る。ただし、マスク情報は、画素単位に、焦点情報に関
しては、各画素が着目している焦点画像に含まれる場合
を1、含まれない場合を0とし、視差情報に関しては、
各画素が着目している視差範囲に含まれる場合を1、含
まれない場合を0とし、それらの論理積を取ることで構
成される。領域統合手段45は、視差検出手段43から
与えられるクラスタ情報を入力とし、統計的に類似した
特徴を有するクラスタを統合して新たな統合クラスタを
形成し、統合クラスタ情報を出力する。ただし、投合ク
ラスタ情報は、各画素が含まれる統合クラスタを表すイ
ンデクスであう。領域選択手段46は、マスク生成手段
44から与えられるマスク情報と、領域統合回路45か
ら与えられる統合クラスタ情報を入力とし、各統合クラ
スタ毎にマスク情報が1である画素の占める比率を計算
し、この比率が既定値を越える統合クラスタの集合とし
て物体検出情報を出力する。ただし、物体検出情報は、
画素単位に、各画素が検出物体を構成する統合領域に含
まれる場合を1、含まれない場合を0とする。物体切り
出し手段47は、1枚の鮮鋭画像と、領域選択回路46
から与えられる物体検出情報との積を取り、その結果を
検出物体として出力する。
領域選択手段46の構成は、それぞれマスク生成手段3
4、領域統合手段12、領域選択手段13の構成に等し
い。
検出の少ない安定した物体検出を実現することができ
る。
ある。
ある。
ある。
ある。
差の異なる画像を示す図である。
ある。
ある。
図である。
ある。
である。
ある。
ある。
ある。
である。
である。
ク図である。
である。
Claims (4)
- 【請求項1】光軸はほぼ等しいが焦点位置の異なる複数
枚の画像を入力として1枚の鮮鋭画像と焦点情報とクラ
スタ情報を作成する画像鮮鋭化手段と、前記焦点情報か
ら第1の物体検出情報を作成するマスク生成手段と、前
記クラスタ情報から統合クラスタ情報を作成する領域統
合手段と、前記第1の物体検出情報と前記統合クラスタ
情報から第2の物体検出情報を作成する領域選択手段
と、前記鮮鋭画像と前記第2の物体検出情報から物体の
切り出しを行う手段を備えることを特徴とする多眼画像
からの物体検出方式。 - 【請求項2】光軸の異なる複数枚の画像を入力として視
差情報とクラスタ情報を作成する視差検出手段と、前記
視差情報から第1の物体検出情報を作成するマスク生成
手段と、前記画像のクラスタ情報から統合クラスタ情報
を作成する領域統合手段と、前記第1の物体検出情報と
前記統合クラスタ情報から第2の物体検出情報を作成す
る領域選択手段と、前記視差の異なる画像と前記第2の
物体検出情報から物体の切り出しを行う手段を備えるこ
とを特徴とする多眼画像からの物体検出方式。 - 【請求項3】光軸はほぼ等しいが焦点位置の異なる複数
枚の画像を入力として第1の鮮鋭画像と焦点情報とクラ
スタ情報を作成する第1の画像鮮鋭化手段と、光軸はほ
ぼ等しいが焦点位置の異なる複数枚の画像を入力として
鮮鋭画像を得る手段を前記第1の画像鮮鋭化手段とは別
に視点を変えて複数個備え、それらによって得られた視
点の異なる複数枚の鮮鋭画像から視差情報を作成する視
差検出手段と、前記焦点情報と前記視差情報から第1の
物体検出情報を作成するマスク生成手段と、前記クラス
タ情報から統合クラスタ情報を作成する領域統合手段
と、前記第1の物体検出情報と前記統合クラスタ情報か
ら第2の物体検出情報を作成する領域選択手段と、前記
第1の鮮鋭画像と前記第2の物体検出情報から物体の切
り出しを行う手段を備えることを特徴とする多眼画像か
らの物体検出方式。 - 【請求項4】光軸はほぼ等しいが焦点位置の異なる複数
枚の画像を入力として第1の鮮鋭画像と焦点情報を作成
する第1の画像鮮鋭化手段と、光軸はほぼ等しいが焦点
位置の異なる複数枚の画像を入力として鮮鋭画像を得る
手段を前記第1の画像鮮鋭化手段とは別に視点を変えて
複数個備え、それらによって得られた視点の異なる複数
枚の鮮鋭画像から視差情報とクラスタ情報を作成する視
差検出手段と、前記焦点情報と前記視差情報から第1の
物体検出情報を作成するマスク生成手段と、前記クラス
タ情報から統合クラスタ情報を作成する領域統合手段
と、前記第1の物体検出情報と前記統合クラスタ情報か
ら第2の物体検出情報を作成する領域選択手段と、前記
第1の鮮鋭画像と前記第2の物体検出情報から物体の切
り出しを行う手段を備えることを特徴とする多眼画像か
らの物体検出方式。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8026349A JP2891159B2 (ja) | 1996-02-14 | 1996-02-14 | 多眼画像からの物体検出方式 |
US08/800,402 US5917936A (en) | 1996-02-14 | 1997-02-14 | Object detecting system based on multiple-eye images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8026349A JP2891159B2 (ja) | 1996-02-14 | 1996-02-14 | 多眼画像からの物体検出方式 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09218950A JPH09218950A (ja) | 1997-08-19 |
JP2891159B2 true JP2891159B2 (ja) | 1999-05-17 |
Family
ID=12190991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8026349A Expired - Fee Related JP2891159B2 (ja) | 1996-02-14 | 1996-02-14 | 多眼画像からの物体検出方式 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5917936A (ja) |
JP (1) | JP2891159B2 (ja) |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TR199700058A3 (tr) * | 1997-01-29 | 1998-08-21 | Onural Levent | Kurallara dayali hareketli nesne bölütlemesi. |
JPH10222663A (ja) * | 1997-01-31 | 1998-08-21 | Yamaha Motor Co Ltd | 画像認識システム及び装置 |
US6148120A (en) * | 1997-10-30 | 2000-11-14 | Cognex Corporation | Warping of focal images to correct correspondence error |
JP3303128B2 (ja) * | 1998-04-15 | 2002-07-15 | 東京大学長 | 複数画像を用いる画像処理方法およびそれに用いる複数画像同時撮像型カメラ装置 |
US6297844B1 (en) * | 1999-11-24 | 2001-10-02 | Cognex Corporation | Video safety curtain |
US6654506B1 (en) * | 2000-01-25 | 2003-11-25 | Eastman Kodak Company | Method for automatically creating cropped and zoomed versions of photographic images |
US6674877B1 (en) * | 2000-02-03 | 2004-01-06 | Microsoft Corporation | System and method for visually tracking occluded objects in real time |
US6674925B1 (en) * | 2000-02-08 | 2004-01-06 | University Of Washington | Morphological postprocessing for object tracking and segmentation |
WO2001071663A1 (fr) * | 2000-03-23 | 2001-09-27 | Japan Science And Technology Corporation | Methode d'extraction de lignee cellulaire |
JP3431883B2 (ja) * | 2000-04-27 | 2003-07-28 | 科学技術振興事業団 | 細胞系譜抽出方法 |
JP3679680B2 (ja) * | 2000-03-23 | 2005-08-03 | 独立行政法人科学技術振興機構 | 細胞系譜抽出方法 |
US7167575B1 (en) | 2000-04-29 | 2007-01-23 | Cognex Corporation | Video safety detector with projected pattern |
US6701005B1 (en) | 2000-04-29 | 2004-03-02 | Cognex Corporation | Method and apparatus for three-dimensional object segmentation |
US6792134B2 (en) * | 2000-12-19 | 2004-09-14 | Eastman Kodak Company | Multi-mode digital image processing method for detecting eyes |
US7116800B2 (en) * | 2001-05-30 | 2006-10-03 | Eaton Corporation | Image segmentation system and method |
US7369680B2 (en) * | 2001-09-27 | 2008-05-06 | Koninklijke Phhilips Electronics N.V. | Method and apparatus for detecting an event based on patterns of behavior |
US7161579B2 (en) | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
US7883415B2 (en) * | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
US7646372B2 (en) * | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
US7102615B2 (en) * | 2002-07-27 | 2006-09-05 | Sony Computer Entertainment Inc. | Man-machine interface using a deformable device |
US8947347B2 (en) * | 2003-08-27 | 2015-02-03 | Sony Computer Entertainment Inc. | Controlling actions in a video game unit |
US8797260B2 (en) * | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
US7623115B2 (en) * | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
US7803050B2 (en) * | 2002-07-27 | 2010-09-28 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
US8686939B2 (en) * | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
US8313380B2 (en) * | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
US9174119B2 (en) | 2002-07-27 | 2015-11-03 | Sony Computer Entertainement America, LLC | Controller for providing inputs to control execution of a program when inputs are combined |
US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
US7850526B2 (en) * | 2002-07-27 | 2010-12-14 | Sony Computer Entertainment America Inc. | System for tracking user manipulations within an environment |
US7918733B2 (en) * | 2002-07-27 | 2011-04-05 | Sony Computer Entertainment America Inc. | Multi-input game control mixer |
US7854655B2 (en) * | 2002-07-27 | 2010-12-21 | Sony Computer Entertainment America Inc. | Obtaining input for controlling execution of a game program |
US8139793B2 (en) * | 2003-08-27 | 2012-03-20 | Sony Computer Entertainment Inc. | Methods and apparatus for capturing audio signals based on a visual image |
US7627139B2 (en) * | 2002-07-27 | 2009-12-01 | Sony Computer Entertainment Inc. | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
US8160269B2 (en) * | 2003-08-27 | 2012-04-17 | Sony Computer Entertainment Inc. | Methods and apparatuses for adjusting a listening area for capturing sounds |
US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
US8233642B2 (en) * | 2003-08-27 | 2012-07-31 | Sony Computer Entertainment Inc. | Methods and apparatuses for capturing an audio signal based on a location of the signal |
US9682319B2 (en) | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
US7505862B2 (en) * | 2003-03-07 | 2009-03-17 | Salmon Technologies, Llc | Apparatus and method for testing electronic systems |
US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
US20070223732A1 (en) * | 2003-08-27 | 2007-09-27 | Mao Xiao D | Methods and apparatuses for adjusting a visual image based on an audio signal |
JP2007504562A (ja) * | 2003-09-04 | 2007-03-01 | サーノフ コーポレーション | 1つの画像から虹彩認証を行う方法および装置 |
US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
US10279254B2 (en) | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
US8323106B2 (en) | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
US7663689B2 (en) * | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
US20050249429A1 (en) * | 2004-04-22 | 2005-11-10 | Fuji Photo Film Co., Ltd. | Method, apparatus, and program for image processing |
KR100603603B1 (ko) * | 2004-12-07 | 2006-07-24 | 한국전자통신연구원 | 변위 후보 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치 및 그 방법 |
US7596751B2 (en) * | 2005-04-22 | 2009-09-29 | Hewlett-Packard Development Company, L.P. | Contact sheet based image management |
US20110014981A1 (en) * | 2006-05-08 | 2011-01-20 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
US8310656B2 (en) * | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
US20090237530A1 (en) * | 2008-03-20 | 2009-09-24 | Ilia Ovsiannikov | Methods and apparatuses for sharpening images |
US8150169B2 (en) * | 2008-09-16 | 2012-04-03 | Viewdle Inc. | System and method for object clustering and identification in video |
GB2483434A (en) * | 2010-08-31 | 2012-03-14 | Sony Corp | Detecting stereoscopic disparity by comparison with subset of pixel change points |
US8582866B2 (en) * | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
JP5882805B2 (ja) | 2012-03-26 | 2016-03-09 | キヤノン株式会社 | 情報処理装置、その処理方法及びプログラム |
EP2936116B8 (en) * | 2012-12-19 | 2020-04-01 | Koninklijke Philips N.V. | System and method for classification of particles in a fluid sample |
US10057498B1 (en) * | 2013-03-15 | 2018-08-21 | Cognex Corporation | Light field vision system camera and methods for using the same |
JP5999127B2 (ja) * | 2014-03-12 | 2016-09-28 | トヨタ自動車株式会社 | 画像処理装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5534917A (en) * | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
US5359671A (en) * | 1992-03-31 | 1994-10-25 | Eastman Kodak Company | Character-recognition systems and methods with means to measure endpoint features in character bit-maps |
US5309522A (en) * | 1992-06-30 | 1994-05-03 | Environmental Research Institute Of Michigan | Stereoscopic determination of terrain elevation |
US5513275A (en) * | 1993-01-12 | 1996-04-30 | Board Of Trustees Of The Leland Stanford Junior University | Automated direct patterned wafer inspection |
US5768415A (en) * | 1995-09-08 | 1998-06-16 | Lucent Technologies Inc. | Apparatus and methods for performing electronic scene analysis and enhancement |
-
1996
- 1996-02-14 JP JP8026349A patent/JP2891159B2/ja not_active Expired - Fee Related
-
1997
- 1997-02-14 US US08/800,402 patent/US5917936A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH09218950A (ja) | 1997-08-19 |
US5917936A (en) | 1999-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2891159B2 (ja) | 多眼画像からの物体検出方式 | |
Roy et al. | A maximum-flow formulation of the n-camera stereo correspondence problem | |
US8330801B2 (en) | Complexity-adaptive 2D-to-3D video sequence conversion | |
US6504569B1 (en) | 2-D extended image generation from 3-D data extracted from a video sequence | |
US5734743A (en) | Image processing method and apparatus for block-based corresponding point extraction | |
US6556704B1 (en) | Method for forming a depth image from digital image data | |
CN101635859B (zh) | 一种实现平面视频转立体视频的方法和装置 | |
JP3055438B2 (ja) | 3次元画像符号化装置 | |
JP4762994B2 (ja) | 視差マップ | |
CN118212141A (zh) | 用于混合深度正则化的***和方法 | |
Ko et al. | 2D to 3D stereoscopic conversion: depth-map estimation in a 2D single-view image | |
US8867826B2 (en) | Disparity estimation for misaligned stereo image pairs | |
CN101542529A (zh) | 图像的深度图的生成 | |
KR20110113924A (ko) | 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치 | |
CN109493373B (zh) | 一种基于双目立体视觉的立体匹配方法 | |
JPWO2013038833A1 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
CN107578419B (zh) | 一种基于一致性轮廓提取的立体图像分割方法 | |
KR20160085708A (ko) | 멀티뷰 영상들에 대한 슈퍼픽셀들을 생성하기 위한 방법 및 장치 | |
EP2745520B1 (en) | Auxiliary information map upsampling | |
Doulamis et al. | Unsupervised semantic object segmentation of stereoscopic video sequences | |
An et al. | Object segmentation using stereo images | |
CN115239886A (zh) | 一种遥感uav-mvs影像点云数据处理方法、装置、设备及介质 | |
Schwarz et al. | Depth map upscaling through edge-weighted optimization | |
Robert et al. | Disparity-compensated view synthesis for s3D content correction | |
Naemura et al. | 3-D object based coding of multi-view images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080226 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090226 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100226 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100226 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110226 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110226 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120226 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120226 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140226 Year of fee payment: 15 |
|
LAPS | Cancellation because of no payment of annual fees |