JPH09218950A - 多眼画像からの物体検出方式 - Google Patents
多眼画像からの物体検出方式Info
- Publication number
- JPH09218950A JPH09218950A JP8026349A JP2634996A JPH09218950A JP H09218950 A JPH09218950 A JP H09218950A JP 8026349 A JP8026349 A JP 8026349A JP 2634996 A JP2634996 A JP 2634996A JP H09218950 A JPH09218950 A JP H09218950A
- Authority
- JP
- Japan
- Prior art keywords
- information
- cluster
- image
- parallax
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 109
- 238000003707 image sharpening Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims description 39
- 230000010354 integration Effects 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 description 66
- 238000010586 diagram Methods 0.000 description 17
- 230000005484 gravity Effects 0.000 description 12
- 239000013598 vector Substances 0.000 description 11
- 238000009825 accumulation Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 領域分割技術を積極的に多眼画像に活用する
ことで、画像からの物体検出の精度・安定性を改善す
る。 【解決手段】 光軸はほぼ等しいが焦点位置の異なる複
数枚の画像を入力として１枚の鮮鋭画像と焦点情報とク
ラスタ情報を作成する手段１０と、焦点情報から第１の
物体検出情報を作成する手段１１と、クラスタ情報から
統合クラスタ情報を作成する手段１２と、第１の物体検
出情報と統合クラスタ情報から第２の物体検出情報を作
成する手段１３と、鮮鋭画像と第２の物体検出情報から
物体の切り出しを行う手段１４を備える。
ことで、画像からの物体検出の精度・安定性を改善す
る。 【解決手段】 光軸はほぼ等しいが焦点位置の異なる複
数枚の画像を入力として１枚の鮮鋭画像と焦点情報とク
ラスタ情報を作成する手段１０と、焦点情報から第１の
物体検出情報を作成する手段１１と、クラスタ情報から
統合クラスタ情報を作成する手段１２と、第１の物体検
出情報と統合クラスタ情報から第２の物体検出情報を作
成する手段１３と、鮮鋭画像と第２の物体検出情報から
物体の切り出しを行う手段１４を備える。
Description
【０００１】
【発明の属する技術分野】本発明は多眼画像からの物体
検出方式に関する。
検出方式に関する。
【０００２】
【従来の技術】画像信号から着目物体のみを切り出す技
術は、画像理解、切り出された物体を単位とする画像編
集、画像データベースなどへの応用が検討されている。
術は、画像理解、切り出された物体を単位とする画像編
集、画像データベースなどへの応用が検討されている。
【０００３】この目的のための第１の手掛かりが画像の
領域分割方式である。特にクラスタリングを用いた方式
は、良好な領域分割結果を与えるのみならず、雑音に強
いという利点を有するために活発な検討が進められてい
る。具体的には、泉、森川、原島：“色情報と位置情報
とを併用したセグメンテーション手法の一検討”，１９
９１年電子情報通信学会春季全国大会Ｄ−６８０（１９
９１）に示されている５次元クラスタリング方式があ
る。これは、特徴量空間として三刺激値ＲＧＢと画素位
置ｘｙの計５次元の空間を考え、着目画素の色情報を
（Ｒ，Ｇ，Ｂ）、位置情報を（ｘ，ｙ）、インデクスｎ
のクラスタの色情報の平均を
領域分割方式である。特にクラスタリングを用いた方式
は、良好な領域分割結果を与えるのみならず、雑音に強
いという利点を有するために活発な検討が進められてい
る。具体的には、泉、森川、原島：“色情報と位置情報
とを併用したセグメンテーション手法の一検討”，１９
９１年電子情報通信学会春季全国大会Ｄ−６８０（１９
９１）に示されている５次元クラスタリング方式があ
る。これは、特徴量空間として三刺激値ＲＧＢと画素位
置ｘｙの計５次元の空間を考え、着目画素の色情報を
（Ｒ，Ｇ，Ｂ）、位置情報を（ｘ，ｙ）、インデクスｎ
のクラスタの色情報の平均を
【０００４】
【外１】
【０００５】位置の重心を
【０００６】
【外２】
【０００７】とした場合に、着目画素とｎ番目のクラス
タの距離ｄn を
タの距離ｄn を
【０００８】
【数１】
【０００９】で定義する。そして、着目画素周辺の複数
のクラスタに対して距離ｄn の計算を行い、その距離ｄ
n が最小となるクラスタｎに着目画素が属する、と判定
する。ただし、ｗ0 、ｗ1 はそれぞれ重み係数である。
これによって、局所的な情報を失わず、かつ雑音にも強
い画像信号の領域分割が実現できる、と報告されてい
る。そして、統計的に類似したクラスタを集めて統合ク
ラスタを作成することで物体検出を実現できる。しか
し、上記の方式では１枚の画像の色情報しか用いていな
いために、かなりの誤検出が発生することは避けられな
い。
のクラスタに対して距離ｄn の計算を行い、その距離ｄ
n が最小となるクラスタｎに着目画素が属する、と判定
する。ただし、ｗ0 、ｗ1 はそれぞれ重み係数である。
これによって、局所的な情報を失わず、かつ雑音にも強
い画像信号の領域分割が実現できる、と報告されてい
る。そして、統計的に類似したクラスタを集めて統合ク
ラスタを作成することで物体検出を実現できる。しか
し、上記の方式では１枚の画像の色情報しか用いていな
いために、かなりの誤検出が発生することは避けられな
い。
【００１０】また、横山、宮本：“動き情報を利用した
動画像符号化用の領域分割方式”，１９９４年電子情報
通信学会秋季全国大会Ｄ−１５０（１９９４）では、上
記のクラスタリングアルゴリズムを動画像に拡張した報
告を行っている。これは、特徴量空間としてＹＣｒＣｂ
の３つの輝度色差信号と画素位置ｘｙと２次元動きベク
トルを加えた７次元特徴量空間を考え、画素単位に求め
られた動きベクトルを（ｖx ，ｖy ）、クラスタｎに対
して求められた動きベクトルを（ｖn,x ，ｖn, y ）と
し、着目画素とｎ番目のクラスタの距離ｄn を
動画像符号化用の領域分割方式”，１９９４年電子情報
通信学会秋季全国大会Ｄ−１５０（１９９４）では、上
記のクラスタリングアルゴリズムを動画像に拡張した報
告を行っている。これは、特徴量空間としてＹＣｒＣｂ
の３つの輝度色差信号と画素位置ｘｙと２次元動きベク
トルを加えた７次元特徴量空間を考え、画素単位に求め
られた動きベクトルを（ｖx ，ｖy ）、クラスタｎに対
して求められた動きベクトルを（ｖn,x ，ｖn, y ）と
し、着目画素とｎ番目のクラスタの距離ｄn を
【００１１】
【数２】
【００１２】で定義する。そして、着目画素周辺の複数
のクラスタに対して距離ｄn の計算を行い、その距離ｄ
n が最小となるクラスタｎに着目画素が属すると判定す
る。ただし、ｗ0 、ｗ1 、ｗ2 はそれぞれ重み係数であ
り、また前述のＲＧＢ空間をＹＣｒＣｂ空間に変更して
いるが、これは領域分割結果に大きな影響を与える問題
ではない。これによって、前述の動きベクトル情報を用
いないクラスタリング方式に対して、動き補償予測の符
号化効率が改善されると報告されている。そして、前述
の方式と同様に、統計的に類似したクラスタを集めて統
合クラスタを作成することで物体検出を実現できる。し
かし、上記の方式では、用いられる動き情報がばらつい
て領域分割が安定しないために、かなりの誤検出が発生
するという問題点がある。
のクラスタに対して距離ｄn の計算を行い、その距離ｄ
n が最小となるクラスタｎに着目画素が属すると判定す
る。ただし、ｗ0 、ｗ1 、ｗ2 はそれぞれ重み係数であ
り、また前述のＲＧＢ空間をＹＣｒＣｂ空間に変更して
いるが、これは領域分割結果に大きな影響を与える問題
ではない。これによって、前述の動きベクトル情報を用
いないクラスタリング方式に対して、動き補償予測の符
号化効率が改善されると報告されている。そして、前述
の方式と同様に、統計的に類似したクラスタを集めて統
合クラスタを作成することで物体検出を実現できる。し
かし、上記の方式では、用いられる動き情報がばらつい
て領域分割が安定しないために、かなりの誤検出が発生
するという問題点がある。
【００１３】物体検出のための第２の手掛かりが焦点情
報を用いた構造復元方式である。具体的には、Ａ．Ｐ．
Ｐｅｎｔｌａｎｄ：“Ａ Ｎｅｗ Ｓｅｎｓｅ ｆｏｒ
Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ，”ＩＥＥＥ Ｔｒａ
ｎｓ．ｏｎ ＰａｔｔｅｒｎＡｎａｌｙｓｉｓ ａｎｄ
Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏ
ｌ．ＰＡＭＩ−９，Ｎｏ．４，Ｊｕｌｙ．１９８７に、
エッジ検出を行い、そのエッジ付近の輝度勾配を求め、
この傾きの大きさから物体の奥行きを求める方式が示さ
れている。しかし、上記の方式では、エッジ付近のぼけ
度合いの精度が安定して得られないこと、エッジ以外の
部分の奥行きは求まらないこと、検出されるエッジが必
ずしも閉領域を構成しないこと、などのために、依然と
して誤検出の問題が残る。
報を用いた構造復元方式である。具体的には、Ａ．Ｐ．
Ｐｅｎｔｌａｎｄ：“Ａ Ｎｅｗ Ｓｅｎｓｅ ｆｏｒ
Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ，”ＩＥＥＥ Ｔｒａ
ｎｓ．ｏｎ ＰａｔｔｅｒｎＡｎａｌｙｓｉｓ ａｎｄ
Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏ
ｌ．ＰＡＭＩ−９，Ｎｏ．４，Ｊｕｌｙ．１９８７に、
エッジ検出を行い、そのエッジ付近の輝度勾配を求め、
この傾きの大きさから物体の奥行きを求める方式が示さ
れている。しかし、上記の方式では、エッジ付近のぼけ
度合いの精度が安定して得られないこと、エッジ以外の
部分の奥行きは求まらないこと、検出されるエッジが必
ずしも閉領域を構成しないこと、などのために、依然と
して誤検出の問題が残る。
【００１４】物体検出のための第３の手掛かりがステレ
オ画像を用いた構造復元方式である。具体的には、Ｕ．
Ｒ．Ｄｈｏｎｄ ａｎｄ Ｊ．Ｋ．Ａｇｇａｒｗａｌ：
“Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｓｔｅｒｅｏ −
Ａ Ｒｅｖｉｅｗ”，ＩＥＥＥ Ｔｒａｎｓ．ＳＭＣ，
ｐｐ．１４８９−１５１０（１９８９）に、弛緩法やダ
イナミックプログラミングを用いて、ステレオ画像から
視差情報を求めるための方式が説明されている。しか
し、上記の方法では、視差検出に誤りが含まれるため
に、依然として誤検出の問題が残る。
オ画像を用いた構造復元方式である。具体的には、Ｕ．
Ｒ．Ｄｈｏｎｄ ａｎｄ Ｊ．Ｋ．Ａｇｇａｒｗａｌ：
“Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｓｔｅｒｅｏ −
Ａ Ｒｅｖｉｅｗ”，ＩＥＥＥ Ｔｒａｎｓ．ＳＭＣ，
ｐｐ．１４８９−１５１０（１９８９）に、弛緩法やダ
イナミックプログラミングを用いて、ステレオ画像から
視差情報を求めるための方式が説明されている。しか
し、上記の方法では、視差検出に誤りが含まれるため
に、依然として誤検出の問題が残る。
【００１５】一方、前記の焦点情報の利用に関する別の
話題として、特願平０７−２４９９６１「３次元画像符
号化方式」には、クラスタリング手法を活用した、焦点
位置の異なる複数枚の画像からの鮮鋭画像の獲得方式が
示されている。この方式を応用することで、各画素がど
の焦点画像に属しているか、各画素がどの程度の奥行き
にあるか、という物体検出のための手掛かりを得ること
ができる。また、前記の視差情報の利用に関する別の方
法として、甲藤、太田“Ｆｏｃｕｓｉｎｇを用いた３次
元画像符号化”画像符号化シンポジウム（１９９５年１
０月２日）（以下、文献１という）にはまた、クラスタ
リング手法を活用した、視差情報の獲得方式が示されて
いる。この方式を応用することで、各画素がどの視差範
囲に属しているか、各画素がどの程度の奥行きにある
か、という物体検出のための手掛かりを得ることができ
る。
話題として、特願平０７−２４９９６１「３次元画像符
号化方式」には、クラスタリング手法を活用した、焦点
位置の異なる複数枚の画像からの鮮鋭画像の獲得方式が
示されている。この方式を応用することで、各画素がど
の焦点画像に属しているか、各画素がどの程度の奥行き
にあるか、という物体検出のための手掛かりを得ること
ができる。また、前記の視差情報の利用に関する別の方
法として、甲藤、太田“Ｆｏｃｕｓｉｎｇを用いた３次
元画像符号化”画像符号化シンポジウム（１９９５年１
０月２日）（以下、文献１という）にはまた、クラスタ
リング手法を活用した、視差情報の獲得方式が示されて
いる。この方式を応用することで、各画素がどの視差範
囲に属しているか、各画素がどの程度の奥行きにある
か、という物体検出のための手掛かりを得ることができ
る。
【００１６】
【発明が解決しようとする課題】現状の画像信号からの
物体検出方式では、誤検出を十分に低減することができ
ない。そこで、本発明の目的は、クラスタリングを用い
た領域分割手法を基盤記述とし、焦点位置の異なる複数
枚の画像、もしくは視差の異なる複数枚の画像、もしく
はそれらの両方を用いて、誤検出の少ない画像信号から
の物体検出方式を提供することにある。
物体検出方式では、誤検出を十分に低減することができ
ない。そこで、本発明の目的は、クラスタリングを用い
た領域分割手法を基盤記述とし、焦点位置の異なる複数
枚の画像、もしくは視差の異なる複数枚の画像、もしく
はそれらの両方を用いて、誤検出の少ない画像信号から
の物体検出方式を提供することにある。
【００１７】
【課題を解決するための手段】第１の発明である多眼画
像からの物体検出方式は、光軸はほぼ等しいが焦点位置
の異なる複数枚の画像を入力として１枚の鮮鋭画像と焦
点情報とクラスタ情報を作成する画像鮮鋭化手段と、前
記焦点情報から第１の物体検出情報を作成するマスク生
成手段と、前記クラスタ情報から統合クラスタ情報を作
成する領域統合手段と、前記第１の物体検出情報と前記
統合クラスタ情報から第２の物体検出情報を作成する領
域選択手段と、前記鮮鋭画像と前記第２の物体検出情報
から物体の切り出しを行う手段を備えることを特徴とす
る。
像からの物体検出方式は、光軸はほぼ等しいが焦点位置
の異なる複数枚の画像を入力として１枚の鮮鋭画像と焦
点情報とクラスタ情報を作成する画像鮮鋭化手段と、前
記焦点情報から第１の物体検出情報を作成するマスク生
成手段と、前記クラスタ情報から統合クラスタ情報を作
成する領域統合手段と、前記第１の物体検出情報と前記
統合クラスタ情報から第２の物体検出情報を作成する領
域選択手段と、前記鮮鋭画像と前記第２の物体検出情報
から物体の切り出しを行う手段を備えることを特徴とす
る。
【００１８】第２の発明である多眼画像からの物体検出
方式は、光軸の異なる複数枚の画像を入力として視差情
報とクラスタ情報を作成する視差検出手段と、前記視差
情報から第１の物体検出情報を作成するマスク生成手段
と、前記画像のクラスタ情報から統合クラスタ情報を作
成する領域統合手段と、前記第１の物体検出情報と前記
統合クラスタ情報から第２の物体検出情報を作成する領
域選択手段と、前記視差の異なる画像と前記第２の物体
検出情報から物体の切り出しを行う手段を備えることを
特徴とする。
方式は、光軸の異なる複数枚の画像を入力として視差情
報とクラスタ情報を作成する視差検出手段と、前記視差
情報から第１の物体検出情報を作成するマスク生成手段
と、前記画像のクラスタ情報から統合クラスタ情報を作
成する領域統合手段と、前記第１の物体検出情報と前記
統合クラスタ情報から第２の物体検出情報を作成する領
域選択手段と、前記視差の異なる画像と前記第２の物体
検出情報から物体の切り出しを行う手段を備えることを
特徴とする。
【００１９】第３の発明である多眼画像からの物体検出
方式は、光軸はほぼ等しいが焦点位置の異なる複数枚の
画像を入力として第１の鮮鋭画像と焦点情報とクラスタ
情報を作成する第１の画像鮮鋭化手段と、光軸はほぼ等
しいが焦点位置の異なる複数枚の画像を入力として鮮鋭
画像を得る手段を前記第１の画像鮮鋭化手段とは別に視
点を変えて複数個備え、それらによって得られた視点の
異なる複数枚の鮮鋭画像から視差情報を作成する視差検
出手段と、前記焦点情報と前記視差情報から第１の物体
検出情報を作成するマスク生成手段と、前記クラスタ情
報から統合クラスタ情報を作成する領域統合手段と、前
記第１の物体検出情報と前記統合クラスタ情報から第２
の物体検出情報を作成する領域選択手段と、前記第１の
鮮鋭画像と前記第２の物体検出情報から物体の切り出し
を行う手段を備えることを特徴とする。
方式は、光軸はほぼ等しいが焦点位置の異なる複数枚の
画像を入力として第１の鮮鋭画像と焦点情報とクラスタ
情報を作成する第１の画像鮮鋭化手段と、光軸はほぼ等
しいが焦点位置の異なる複数枚の画像を入力として鮮鋭
画像を得る手段を前記第１の画像鮮鋭化手段とは別に視
点を変えて複数個備え、それらによって得られた視点の
異なる複数枚の鮮鋭画像から視差情報を作成する視差検
出手段と、前記焦点情報と前記視差情報から第１の物体
検出情報を作成するマスク生成手段と、前記クラスタ情
報から統合クラスタ情報を作成する領域統合手段と、前
記第１の物体検出情報と前記統合クラスタ情報から第２
の物体検出情報を作成する領域選択手段と、前記第１の
鮮鋭画像と前記第２の物体検出情報から物体の切り出し
を行う手段を備えることを特徴とする。
【００２０】第４の発明である多眼画像からの物体検出
方式は、光軸はほぼ等しいが焦点位置の異なる複数枚の
画像を入力として第１の鮮鋭画像と焦点情報を作成する
第１の画像鮮鋭化手段と、光軸はほぼ等しいが焦点位置
の異なる複数枚の画像を入力として鮮鋭画像を得る手段
を前記第１の画像鮮鋭化手段とは別に視点を変えて複数
個備え、それらによって得られた視点の異なる複数枚の
鮮鋭画像から視差情報とクラスタ情報を作成する視差検
出手段と、前記焦点情報と前記視差情報から第１の物体
検出情報を作成するマスク生成手段と、前記クラスタ情
報から統合クラスタ情報を作成する領域統合手段と、前
記第１の物体検出情報と前記統合クラスタ情報から第２
の物体検出情報を作成する領域選択手段と、前記第１の
鮮鋭画像と前記第２の物体検出情報から物体の切り出し
を行う手段を備えることを特徴とする。
方式は、光軸はほぼ等しいが焦点位置の異なる複数枚の
画像を入力として第１の鮮鋭画像と焦点情報を作成する
第１の画像鮮鋭化手段と、光軸はほぼ等しいが焦点位置
の異なる複数枚の画像を入力として鮮鋭画像を得る手段
を前記第１の画像鮮鋭化手段とは別に視点を変えて複数
個備え、それらによって得られた視点の異なる複数枚の
鮮鋭画像から視差情報とクラスタ情報を作成する視差検
出手段と、前記焦点情報と前記視差情報から第１の物体
検出情報を作成するマスク生成手段と、前記クラスタ情
報から統合クラスタ情報を作成する領域統合手段と、前
記第１の物体検出情報と前記統合クラスタ情報から第２
の物体検出情報を作成する領域選択手段と、前記第１の
鮮鋭画像と前記第２の物体検出情報から物体の切り出し
を行う手段を備えることを特徴とする。
【００２１】
【発明の実施の形態】本発明に従って構成した実施の形
態を示す。
態を示す。
【００２２】はじめに、本発明では、図５に示すような
焦点位置の異なる複数枚の画像と視差の異なる複数枚の
画像を撮像する。焦点方向に関しては、１台のカメラで
焦点位置を順次変更して撮像するか、もしくは時間差が
許容されない場合には、予め焦点位置を変えた複数のカ
メラを準備しておき、ハーフミラーやプリズム等を用い
て光軸を揃えて撮像する。視差方向に対しては、１台の
カメラで水平方向に移動して撮像するか、もしくは時間
差が許容されない場合には、予め水平方向の配置位置を
変えた複数枚のカメラを用いて撮像する。
焦点位置の異なる複数枚の画像と視差の異なる複数枚の
画像を撮像する。焦点方向に関しては、１台のカメラで
焦点位置を順次変更して撮像するか、もしくは時間差が
許容されない場合には、予め焦点位置を変えた複数のカ
メラを準備しておき、ハーフミラーやプリズム等を用い
て光軸を揃えて撮像する。視差方向に対しては、１台の
カメラで水平方向に移動して撮像するか、もしくは時間
差が許容されない場合には、予め水平方向の配置位置を
変えた複数枚のカメラを用いて撮像する。
【００２３】まず、文献１に述べた焦点位置の異なる複
数枚の画像の鮮鋭化方式を用いて、画像信号からの物体
検出を以下のようにして行うことができる。焦点位置の
異なる複数枚の画像のみを考え、それらに対して画像の
鮮鋭化を施す。次に、得られた合焦判定情報に従い、画
素が着目する焦点画像に含まれる場合の値を１、含まれ
ない場合を０とするマップを作成し、得られた鮮鋭画像
との論理積を取ることでラフな物体の切り出しを行う。
次に、着目する焦点画像に対して得られたクラスタリン
グ結果に従い、統計的に類似した特徴を有するクラスタ
を集めて、より大きな統合クラスタを構成する。次に、
得られた統合クラスタ毎に、その内部の前記ラフな物体
の切り出し結果に含まれる画素数をカウントし、その統
合クラスタ内の全画素数に対する比率が既定値を超える
統合クラスタを選択し、その統合クラスタの集合として
最終的な物体の切り出し結果とする。ラフな物体の切り
出しだけでは、しばしば鮮鋭化に伴う誤検出領域が含ま
れるが、上記のように、これをクラスタリングの統合結
果と組み合わせて用いることで、誤検出を大幅に低減す
ることができる。
数枚の画像の鮮鋭化方式を用いて、画像信号からの物体
検出を以下のようにして行うことができる。焦点位置の
異なる複数枚の画像のみを考え、それらに対して画像の
鮮鋭化を施す。次に、得られた合焦判定情報に従い、画
素が着目する焦点画像に含まれる場合の値を１、含まれ
ない場合を０とするマップを作成し、得られた鮮鋭画像
との論理積を取ることでラフな物体の切り出しを行う。
次に、着目する焦点画像に対して得られたクラスタリン
グ結果に従い、統計的に類似した特徴を有するクラスタ
を集めて、より大きな統合クラスタを構成する。次に、
得られた統合クラスタ毎に、その内部の前記ラフな物体
の切り出し結果に含まれる画素数をカウントし、その統
合クラスタ内の全画素数に対する比率が既定値を超える
統合クラスタを選択し、その統合クラスタの集合として
最終的な物体の切り出し結果とする。ラフな物体の切り
出しだけでは、しばしば鮮鋭化に伴う誤検出領域が含ま
れるが、上記のように、これをクラスタリングの統合結
果と組み合わせて用いることで、誤検出を大幅に低減す
ることができる。
【００２４】また、文献１に述べた視差の異なる複数枚
の画像からの視差検出方式を用いて、画像信号からの物
体検出を以下のようにして行うことができる。視差の異
なる画像のみを考え、それらに対して視差検出を施す。
次に、得られた視差情報に従い、画素が着目する視差範
囲に含まれる場合の値を１、含まれない場合を０とする
マップを作成し、入力画像との論理積を取ることでラフ
な物体の切り出しを行う。次に、着目する視差画像に対
して得られたクラスタリング結果に従い、統計的に類似
した特徴を有するクラスタを集めて、より大きな統合ク
ラスタを構成する。次に、得られた統合クラスタ毎に、
その内部の前記ラフな物体の切り出し結果に含まれる画
素数をカウントし、その統合クラスタ内の全画素数に対
する比率が既定値を超える統合クラスタを選択し、その
統合クラスタの集合として最終的な物体の切り出し結果
とする。ラフな物体の切り出しだけでは、しばしば誤差
検出に伴う誤検出領域が含まれるが、上記のように、こ
れをクラスタリングの統合結果と組み合わせて用いるこ
とで、誤検出を大幅に低減することができる。
の画像からの視差検出方式を用いて、画像信号からの物
体検出を以下のようにして行うことができる。視差の異
なる画像のみを考え、それらに対して視差検出を施す。
次に、得られた視差情報に従い、画素が着目する視差範
囲に含まれる場合の値を１、含まれない場合を０とする
マップを作成し、入力画像との論理積を取ることでラフ
な物体の切り出しを行う。次に、着目する視差画像に対
して得られたクラスタリング結果に従い、統計的に類似
した特徴を有するクラスタを集めて、より大きな統合ク
ラスタを構成する。次に、得られた統合クラスタ毎に、
その内部の前記ラフな物体の切り出し結果に含まれる画
素数をカウントし、その統合クラスタ内の全画素数に対
する比率が既定値を超える統合クラスタを選択し、その
統合クラスタの集合として最終的な物体の切り出し結果
とする。ラフな物体の切り出しだけでは、しばしば誤差
検出に伴う誤検出領域が含まれるが、上記のように、こ
れをクラスタリングの統合結果と組み合わせて用いるこ
とで、誤検出を大幅に低減することができる。
【００２５】また、文献１に述べた焦点位置の異なる複
数枚の画像の鮮鋭化方式と、同じく視差の異なる複数枚
の画像からの視差検出方式との併用によって、画像信号
からの物体検出を以下のようにして行うことができる。
はじめに、焦点位置の異なる複数枚の画像に対して、画
像の鮮鋭化を施し、複数枚の視差の異なる鮮鋭画像を得
る。次に、得られた視差の異なる複数枚の鮮鋭画像に対
して、視差検出を施す。次に、得られた焦点情報と視差
情報に従い、画素が着目する焦点画像に含まれる場合の
値を１、含まれない場合を０とする第１のマップと、画
素が着目する視差範囲に含まれる場合の値を１、含まれ
ない場合を０とする第２のマップを作成し、前記第１の
マップ、前記第２のマップと入力画像との論理積を取る
ことでラフな物体の切り出しを行う。次に、着目する焦
点画像に対して得られたクラスタリング結果に従い、統
計的に類似した特徴を有するクラスタを集めて、より大
きな統合クラスタを構成する。次に、得られた統合クラ
スタ毎に、その内部の前記ラフな物体の切り出し結果に
含まれる画素数をカウントし、その統合クラスタ内の全
画素数に対する比率が既定値を超える統合クラスタを選
択し、その統合クラスタの集合として最終的な物体の切
り出し結果とする。ラフな物体の切り出しだけでは、し
ばしば鮮鋭化、視差検出に伴う誤検出領域が含まれる
が、上記のように、これらを鮮鋭画像のクラスタリング
の統合結果と組み合わせて用いることで、誤検出を大幅
に低減することができる。
数枚の画像の鮮鋭化方式と、同じく視差の異なる複数枚
の画像からの視差検出方式との併用によって、画像信号
からの物体検出を以下のようにして行うことができる。
はじめに、焦点位置の異なる複数枚の画像に対して、画
像の鮮鋭化を施し、複数枚の視差の異なる鮮鋭画像を得
る。次に、得られた視差の異なる複数枚の鮮鋭画像に対
して、視差検出を施す。次に、得られた焦点情報と視差
情報に従い、画素が着目する焦点画像に含まれる場合の
値を１、含まれない場合を０とする第１のマップと、画
素が着目する視差範囲に含まれる場合の値を１、含まれ
ない場合を０とする第２のマップを作成し、前記第１の
マップ、前記第２のマップと入力画像との論理積を取る
ことでラフな物体の切り出しを行う。次に、着目する焦
点画像に対して得られたクラスタリング結果に従い、統
計的に類似した特徴を有するクラスタを集めて、より大
きな統合クラスタを構成する。次に、得られた統合クラ
スタ毎に、その内部の前記ラフな物体の切り出し結果に
含まれる画素数をカウントし、その統合クラスタ内の全
画素数に対する比率が既定値を超える統合クラスタを選
択し、その統合クラスタの集合として最終的な物体の切
り出し結果とする。ラフな物体の切り出しだけでは、し
ばしば鮮鋭化、視差検出に伴う誤検出領域が含まれる
が、上記のように、これらを鮮鋭画像のクラスタリング
の統合結果と組み合わせて用いることで、誤検出を大幅
に低減することができる。
【００２６】あるいはまた、統合クラスタの生成時に、
画像鮮鋭化時のクラスタリング結果を用いる替わりに、
視差検出時のクラスタリング結果を用いて、画像信号か
らの物体検出を以下のようにして行うことができる。は
じめに、焦点位置の異なる複数枚の画像に対して、画像
の鮮鋭化を施し、複数枚の視差の異なる鮮鋭画像を得
る。次に、得られた視差の異なる複数枚の鮮鋭画像に対
して、視差検出を施す。次に、得られた焦点情報と視差
情報に従い、画素が着目する焦点画像に含まれる場合の
値を１、含まれない場合を０とする第１のマップと、画
素が着目する視差範囲に含まれる場合の値を１、含まれ
ない場合を０とする第２のマップを作成し、前記第１の
マップ、第２のマップと入力画像との論理積を取ること
でラフな物体の切り出しを行う。次に、着目するに視差
画像に対して得られたクラスタリング結果に従い、統計
的に類似した特徴を有するクラスタを集めて、より大き
な統合クラスタを構成する。次に、得られた統合クラス
タ毎に、その内部の前記ラフな物体の切り出し結果に含
まれる画素数をカウントし、その統合クラスタ内の全画
素数に対する比率が既定値を超える統合クラスタを選択
し、その統合クラスタの集合として最終的な物体の切り
出し結果とする。ラフな物体の切り出しだけでは、しば
しば鮮鋭化、視差検出に伴う誤検出領域が含まれるが、
上記のように、これらを視差画像のクラスタリングの統
合結果と組み合わせて用いることで、誤検出を大幅に低
減することができる。
画像鮮鋭化時のクラスタリング結果を用いる替わりに、
視差検出時のクラスタリング結果を用いて、画像信号か
らの物体検出を以下のようにして行うことができる。は
じめに、焦点位置の異なる複数枚の画像に対して、画像
の鮮鋭化を施し、複数枚の視差の異なる鮮鋭画像を得
る。次に、得られた視差の異なる複数枚の鮮鋭画像に対
して、視差検出を施す。次に、得られた焦点情報と視差
情報に従い、画素が着目する焦点画像に含まれる場合の
値を１、含まれない場合を０とする第１のマップと、画
素が着目する視差範囲に含まれる場合の値を１、含まれ
ない場合を０とする第２のマップを作成し、前記第１の
マップ、第２のマップと入力画像との論理積を取ること
でラフな物体の切り出しを行う。次に、着目するに視差
画像に対して得られたクラスタリング結果に従い、統計
的に類似した特徴を有するクラスタを集めて、より大き
な統合クラスタを構成する。次に、得られた統合クラス
タ毎に、その内部の前記ラフな物体の切り出し結果に含
まれる画素数をカウントし、その統合クラスタ内の全画
素数に対する比率が既定値を超える統合クラスタを選択
し、その統合クラスタの集合として最終的な物体の切り
出し結果とする。ラフな物体の切り出しだけでは、しば
しば鮮鋭化、視差検出に伴う誤検出領域が含まれるが、
上記のように、これらを視差画像のクラスタリングの統
合結果と組み合わせて用いることで、誤検出を大幅に低
減することができる。
【００２７】図１は、画像鮮鋭化方式を用いた、本発明
の第一の実施の形態を示している。画像鮮鋭化手段１０
は、Ｎ枚の焦点位置の異なる画像を入力とし、鮮鋭画像
と、画素毎の焦点情報と、領域分割結果としてのクラス
タ情報を出力する。ただし、焦点情報は、各画素がＮ枚
の焦点画像のどれから得られたかを示すインデクスであ
り、クラスタ情報は、領域分割の結果として与えられる
各クラスタの輝度、色差の平均値、重心位置、および各
画素の属するクラスタ番号から構成される。マスク生成
手段１１は、画像鮮鋭化手段１０から与えられる焦点情
報を入力とし、ラフな物体検出に対応するマスク情報を
出力する。ただし、マスク情報は、画素単位に、各画素
が着目する焦点画像から得られた場合を１、そうでない
場合を０とする。領域統合手段１２は、画像鮮鋭化手段
１０から与えられるクラスタ情報を入力とし、統計的に
類似した特徴を有するクラスタを統合して新たな統合ク
ラスタを形成し、統合クラスタ情報を出力する。ただ
し、統合クラスタ情報は、各画素が含まれる統合クラス
タを表すインデクスである。領域選択手段１３は、マス
ク生成手段１１から与えられるマスク情報と、領域統合
回路１２から与えられる統合クラスタ情報を入力とし、
各統合クラスタ毎にマスク情報が１である画素の占める
比率を計算し、この比率が既定値を越える統合クラスタ
の集合として物体検出情報を出力する。ただし、物体検
出情報は、画素単位に、各画素が検出物体を構成する統
合領域に含まれる場合を１、含まれない場合を０とす
る。物体切り出し手段１４は、画像鮮鋭化手段１０から
与えられる鮮鋭画像と、領域選択回路１３から与えられ
る物体検出情報の積を取り、その結果を検出物体として
出力する。
の第一の実施の形態を示している。画像鮮鋭化手段１０
は、Ｎ枚の焦点位置の異なる画像を入力とし、鮮鋭画像
と、画素毎の焦点情報と、領域分割結果としてのクラス
タ情報を出力する。ただし、焦点情報は、各画素がＮ枚
の焦点画像のどれから得られたかを示すインデクスであ
り、クラスタ情報は、領域分割の結果として与えられる
各クラスタの輝度、色差の平均値、重心位置、および各
画素の属するクラスタ番号から構成される。マスク生成
手段１１は、画像鮮鋭化手段１０から与えられる焦点情
報を入力とし、ラフな物体検出に対応するマスク情報を
出力する。ただし、マスク情報は、画素単位に、各画素
が着目する焦点画像から得られた場合を１、そうでない
場合を０とする。領域統合手段１２は、画像鮮鋭化手段
１０から与えられるクラスタ情報を入力とし、統計的に
類似した特徴を有するクラスタを統合して新たな統合ク
ラスタを形成し、統合クラスタ情報を出力する。ただ
し、統合クラスタ情報は、各画素が含まれる統合クラス
タを表すインデクスである。領域選択手段１３は、マス
ク生成手段１１から与えられるマスク情報と、領域統合
回路１２から与えられる統合クラスタ情報を入力とし、
各統合クラスタ毎にマスク情報が１である画素の占める
比率を計算し、この比率が既定値を越える統合クラスタ
の集合として物体検出情報を出力する。ただし、物体検
出情報は、画素単位に、各画素が検出物体を構成する統
合領域に含まれる場合を１、含まれない場合を０とす
る。物体切り出し手段１４は、画像鮮鋭化手段１０から
与えられる鮮鋭画像と、領域選択回路１３から与えられ
る物体検出情報の積を取り、その結果を検出物体として
出力する。
【００２８】図６は、画像鮮鋭化手段１０の構成例の詳
細を示している。まず、焦点位置の異なるＮ枚の画像の
中から、１枚を基準画像＃１とする。領域分割手段１９
１は、基準画像＃１の画素値と統計情報計算手段１９２
によって与えられる統計情報を入力とし、（１）式の距
離計算式に従って基準画像＃１の領域分割を行い、各画
素が含まれるクラスタ番号を表す画素単位のクラスタ属
性情報を出力する。統計情報計算手段１９２は、基準画
像＃１の画素値と、領域分割手段１９１によって与えら
れるクラスタ属性情報を入力とし、クラスタ毎に画素値
平均、画素値分散、重心位置等の計算を行い、クラスタ
単位の統計情報として出力する。統計情報計算手段１９
３は、画像＃２の画素値と、領域分割手段１９１によっ
て与えられる基準画像＃１のクラスタ属性情報を入力と
し、基準画像＃１に対して求められたクラスタを画像＃
２にも適用し、クラスタ毎に画素値平均、画素値分散、
重心位置等の計算を行い、クラスタ単位の統計情報とし
て出力する。統計情報計算手段１９４、１９５の機能
は、対象画像が画像＃３、画像＃Ｎとなることを除い
て、前述の統計情報計算手段１９３の機能と同じであ
る。合焦判定手段１９６は、文献１と同様に、統計情報
計算手段１９３〜１９５によって与えられる画像＃１〜
＃Ｎの統計情報を用いて、
細を示している。まず、焦点位置の異なるＮ枚の画像の
中から、１枚を基準画像＃１とする。領域分割手段１９
１は、基準画像＃１の画素値と統計情報計算手段１９２
によって与えられる統計情報を入力とし、（１）式の距
離計算式に従って基準画像＃１の領域分割を行い、各画
素が含まれるクラスタ番号を表す画素単位のクラスタ属
性情報を出力する。統計情報計算手段１９２は、基準画
像＃１の画素値と、領域分割手段１９１によって与えら
れるクラスタ属性情報を入力とし、クラスタ毎に画素値
平均、画素値分散、重心位置等の計算を行い、クラスタ
単位の統計情報として出力する。統計情報計算手段１９
３は、画像＃２の画素値と、領域分割手段１９１によっ
て与えられる基準画像＃１のクラスタ属性情報を入力と
し、基準画像＃１に対して求められたクラスタを画像＃
２にも適用し、クラスタ毎に画素値平均、画素値分散、
重心位置等の計算を行い、クラスタ単位の統計情報とし
て出力する。統計情報計算手段１９４、１９５の機能
は、対象画像が画像＃３、画像＃Ｎとなることを除い
て、前述の統計情報計算手段１９３の機能と同じであ
る。合焦判定手段１９６は、文献１と同様に、統計情報
計算手段１９３〜１９５によって与えられる画像＃１〜
＃Ｎの統計情報を用いて、
【００２９】
【数３】
【００３０】を計算し、この値を最大にするクラスタを
合焦領域と判定し、焦点情報を出力する。ただし、
合焦領域と判定し、焦点情報を出力する。ただし、
【００３１】
【外３】
【００３２】は着目クラスタｎの輝度、色差の平均値、
Ｎは着目クラスタｎの隣接クラスタの集合である。画像
合成手段１９７は、領域分割手段１９１によって与えら
れる基準画像＃１のクラスタ属性情報と、合焦判定手段
１９６によって与えられる焦点情報と、Ｎ枚の焦点位置
の異なる画像を入力とし、鮮鋭画像を出力する。
Ｎは着目クラスタｎの隣接クラスタの集合である。画像
合成手段１９７は、領域分割手段１９１によって与えら
れる基準画像＃１のクラスタ属性情報と、合焦判定手段
１９６によって与えられる焦点情報と、Ｎ枚の焦点位置
の異なる画像を入力とし、鮮鋭画像を出力する。
【００３３】図７は、領域分割手段１９１の構成例の詳
細を示している。差分自乗計算手段６０は、画像＃１の
輝度値と、統計情報計算手段１９２によって与えられる
クラスタ毎の輝度の平均値を入力とし、それらの差分の
自乗を計算する。差分自乗計算手段６１、６２は、画像
＃１の色差値と、統計情報計算手段によって与えられる
クラスタ毎の色差の平均値を入力とし、それらの差分の
自乗を計算する。差分自乗計算手段６３、６４は、画像
＃１の画素の位置情報と、統計情報計算手段１９２によ
って与えられるクラスタ毎の重心位置を入力とし、それ
らの差分の自乗を計算する。重み付き加算手段６５は、
（１）式に従って、差分自乗計算手段６０〜６４から与
えられる差分自乗値の重み付き加算を行う。重み付き加
算手段６６、６７は、隣接クラスタに対して、重み付き
加算手段６５と同様の差分自乗値の重み付き加算を行
う。比較手段６８は、重み付き加算手段６５、６６、６
７の結果として与えられる重み付き加算値の比較を行
い、この値を最小にするクラスタのインデクス、すなわ
ちクラスタ属性情報を出力する。
細を示している。差分自乗計算手段６０は、画像＃１の
輝度値と、統計情報計算手段１９２によって与えられる
クラスタ毎の輝度の平均値を入力とし、それらの差分の
自乗を計算する。差分自乗計算手段６１、６２は、画像
＃１の色差値と、統計情報計算手段によって与えられる
クラスタ毎の色差の平均値を入力とし、それらの差分の
自乗を計算する。差分自乗計算手段６３、６４は、画像
＃１の画素の位置情報と、統計情報計算手段１９２によ
って与えられるクラスタ毎の重心位置を入力とし、それ
らの差分の自乗を計算する。重み付き加算手段６５は、
（１）式に従って、差分自乗計算手段６０〜６４から与
えられる差分自乗値の重み付き加算を行う。重み付き加
算手段６６、６７は、隣接クラスタに対して、重み付き
加算手段６５と同様の差分自乗値の重み付き加算を行
う。比較手段６８は、重み付き加算手段６５、６６、６
７の結果として与えられる重み付き加算値の比較を行
い、この値を最小にするクラスタのインデクス、すなわ
ちクラスタ属性情報を出力する。
【００３４】図８は、統計情報計算手段１９２の構成例
の詳細を示している。クラスタ毎の累算手段７０は、画
像＃１から与えられる画素の輝度値と、領域分割手段１
９１から与えられる画素毎のクラスタ属性情報に従っ
て、クラスタ毎の輝度値の累算を行う。クラスタ毎の累
算手段７１、７２は、画像＃１から与えられる画素の色
差値と、領域分割手段１９１から与えられる画素毎のク
ラスタ属性情報に従って、クラスタ毎の色差値の累算を
行う。クラスタ毎の累算手段７３、７４は、画像＃１か
ら与えられる画素の位置座標と、領域分割手段１９１か
ら与えられる画素毎のクラスタ属性情報に従って、クラ
スタ毎の位置座標の累算を行う。クラスタ毎のカウンタ
７５は、領域分割手段１９１から与えられるクラスタ属
性情報に従って、各クラスタに含まれる画素数をカウン
トする。除算手段７６は、クラスタ毎の累算手段７０か
ら与えられる輝度累算値の、クラスタ毎のカウンタ７５
から与えられる画素数による除算を実行し、クラスタ単
位の輝度平均値を出力する。除算手段７７、７８は、ク
ラスタ毎の累算手段７１、７２から与えられる色差累算
値の、クラスタ毎のカウンタ７５から与えられる画素数
による除算を実行し、クラスタ単位の色差平均値を出力
する。除算手段７９、８０は、クラスタ毎の累算手段７
３、７４から与えられる位置座標累算値の、クラスタ毎
のカウンタ７５から与えられる画素数による除算を実行
し、クラスタ単位の重心位置を出力する。
の詳細を示している。クラスタ毎の累算手段７０は、画
像＃１から与えられる画素の輝度値と、領域分割手段１
９１から与えられる画素毎のクラスタ属性情報に従っ
て、クラスタ毎の輝度値の累算を行う。クラスタ毎の累
算手段７１、７２は、画像＃１から与えられる画素の色
差値と、領域分割手段１９１から与えられる画素毎のク
ラスタ属性情報に従って、クラスタ毎の色差値の累算を
行う。クラスタ毎の累算手段７３、７４は、画像＃１か
ら与えられる画素の位置座標と、領域分割手段１９１か
ら与えられる画素毎のクラスタ属性情報に従って、クラ
スタ毎の位置座標の累算を行う。クラスタ毎のカウンタ
７５は、領域分割手段１９１から与えられるクラスタ属
性情報に従って、各クラスタに含まれる画素数をカウン
トする。除算手段７６は、クラスタ毎の累算手段７０か
ら与えられる輝度累算値の、クラスタ毎のカウンタ７５
から与えられる画素数による除算を実行し、クラスタ単
位の輝度平均値を出力する。除算手段７７、７８は、ク
ラスタ毎の累算手段７１、７２から与えられる色差累算
値の、クラスタ毎のカウンタ７５から与えられる画素数
による除算を実行し、クラスタ単位の色差平均値を出力
する。除算手段７９、８０は、クラスタ毎の累算手段７
３、７４から与えられる位置座標累算値の、クラスタ毎
のカウンタ７５から与えられる画素数による除算を実行
し、クラスタ単位の重心位置を出力する。
【００３５】図９は、合焦判定手段１９６の構成例の詳
細を示している。平均差分自乗計算手段９０は、統計情
報計算手段１９２によって与えられる着目クラスタの輝
度平均値と、統計情報計算手段１９３によって与えられ
る周辺クラスタの輝度平均値の差分の自乗を計算する。
平均差分自乗計算手段９１、９２は、統計情報計算手段
１９２によって与えられる着目クラスタの色差平均値
と、統計情報計算手段１９３によって与えられる周辺ク
ラスタの色差平均値の差分の自乗を計算する。平均差分
自乗計算手段９３、９４、９５は、統計情報計算手段１
９３の代わりに統計情報計算手段１９４によって与えら
れる統計値を入力とし、その機能は平均差分自乗計算手
段９０、９１、９２に等しい。平均差分自乗計算手段９
６、９７、９８は、統計情報計算手段１９３の代わりに
統計情報計算手段１９５によって与えられる統計値を入
力とし、その機能は平均差分自乗計算手段９０、９１、
９２に等しい。加算手段９９は、平均差分自乗計算手段
９０〜９２によって与えられる値を加算する。加算手段
１００は、平均差分自乗計算手段９３〜９５によって与
えられる値を加算する。加算手段１０１は、平均差分自
乗計算手段９６〜９８によって与えられる値を加算す
る。比較手段１０２は、加算手段９９〜１０１の出力値
の比較を行い、その値を最大にするクラスタを含む画像
のインデクスを焦点情報として出力する。
細を示している。平均差分自乗計算手段９０は、統計情
報計算手段１９２によって与えられる着目クラスタの輝
度平均値と、統計情報計算手段１９３によって与えられ
る周辺クラスタの輝度平均値の差分の自乗を計算する。
平均差分自乗計算手段９１、９２は、統計情報計算手段
１９２によって与えられる着目クラスタの色差平均値
と、統計情報計算手段１９３によって与えられる周辺ク
ラスタの色差平均値の差分の自乗を計算する。平均差分
自乗計算手段９３、９４、９５は、統計情報計算手段１
９３の代わりに統計情報計算手段１９４によって与えら
れる統計値を入力とし、その機能は平均差分自乗計算手
段９０、９１、９２に等しい。平均差分自乗計算手段９
６、９７、９８は、統計情報計算手段１９３の代わりに
統計情報計算手段１９５によって与えられる統計値を入
力とし、その機能は平均差分自乗計算手段９０、９１、
９２に等しい。加算手段９９は、平均差分自乗計算手段
９０〜９２によって与えられる値を加算する。加算手段
１００は、平均差分自乗計算手段９３〜９５によって与
えられる値を加算する。加算手段１０１は、平均差分自
乗計算手段９６〜９８によって与えられる値を加算す
る。比較手段１０２は、加算手段９９〜１０１の出力値
の比較を行い、その値を最大にするクラスタを含む画像
のインデクスを焦点情報として出力する。
【００３６】図１０は、マスク生成手段１１の構成例の
詳細を示している。比較手段２００は、画像鮮鋭化手段
１０から与えられる焦点情報を入力とし、この値が予め
定められた焦点画像に対応する場合には１を、対応しな
い場合には０を、マスク情報として出力する。
詳細を示している。比較手段２００は、画像鮮鋭化手段
１０から与えられる焦点情報を入力とし、この値が予め
定められた焦点画像に対応する場合には１を、対応しな
い場合には０を、マスク情報として出力する。
【００３７】図１１は、領域統合手段１２の構成例の詳
細を示している。統計情報保持手段２１０、２１１、２
１２は、画像鮮鋭化手段１０から与えられるクラスタ単
位の輝度、色差に関する統計情報を保持し、クラスタ番
号生成手段２１３によって与えられるクラスタ番号に従
って、対応するクラスタの輝度、色差の統計情報を出力
する。クラスタ番号生成手段２１３は、クラスタ番号を
出力する。差分自乗計算手段２１４、２１５、２１６
は、それぞれ統計情報保持手段２１０、２１１、２１２
から与えられる２つのクラスタ単位の統計情報の差分自
乗を計算する。加算手段２１７は、差分自乗計算手段２
１４、２１５、２１６の出力の和を計算する。比較手段
２１８は、加算手段２１７の出力が予め定められた値よ
りも小さな場合には１を、そうでない場合には０を、ク
ラスタ統合判定結果として出力する。クラスタ統合判定
結果が１の場合は、クラスタ統合が行われることを意味
する。クラスタ属性更新手段２１９は、画像鮮鋭化手段
１０から与えられる画素単位のクラスタ属性情報と、ク
ラスタ番号生成手段２１３から与えられるクラスタ番号
と、比較手段２１８から与えられるクラスタ統合判定結
果を入力とし、クラスタ統合判定結果が１の場合には、
２つのクラスタが同じクラスタ番号を持つように、対応
するクラスタ番号に属する画素のクラスタ属性情報を更
新し、統合クラスタ情報として出力する。すなわち、統
合クラスタ情報は、画素単位に、各画素が含まれる統合
クラスタを表すインデクスである。
細を示している。統計情報保持手段２１０、２１１、２
１２は、画像鮮鋭化手段１０から与えられるクラスタ単
位の輝度、色差に関する統計情報を保持し、クラスタ番
号生成手段２１３によって与えられるクラスタ番号に従
って、対応するクラスタの輝度、色差の統計情報を出力
する。クラスタ番号生成手段２１３は、クラスタ番号を
出力する。差分自乗計算手段２１４、２１５、２１６
は、それぞれ統計情報保持手段２１０、２１１、２１２
から与えられる２つのクラスタ単位の統計情報の差分自
乗を計算する。加算手段２１７は、差分自乗計算手段２
１４、２１５、２１６の出力の和を計算する。比較手段
２１８は、加算手段２１７の出力が予め定められた値よ
りも小さな場合には１を、そうでない場合には０を、ク
ラスタ統合判定結果として出力する。クラスタ統合判定
結果が１の場合は、クラスタ統合が行われることを意味
する。クラスタ属性更新手段２１９は、画像鮮鋭化手段
１０から与えられる画素単位のクラスタ属性情報と、ク
ラスタ番号生成手段２１３から与えられるクラスタ番号
と、比較手段２１８から与えられるクラスタ統合判定結
果を入力とし、クラスタ統合判定結果が１の場合には、
２つのクラスタが同じクラスタ番号を持つように、対応
するクラスタ番号に属する画素のクラスタ属性情報を更
新し、統合クラスタ情報として出力する。すなわち、統
合クラスタ情報は、画素単位に、各画素が含まれる統合
クラスタを表すインデクスである。
【００３８】図１２は、領域選択手段１３の構成例の詳
細を示している。カウンタ２２０は、領域統合手段１２
から与えられる統合クラスタ情報を入力とし、各統合ク
ラスタに含まれる画素数をカウントする。条件付きカウ
ンタ２２１は、領域統合手段１２から与えられる統合ク
ラスタ情報と、マスク生成手段１１から与えられるマス
ク情報を入力とし、各統合クラスタに含まれるマスク情
報が１の画素数をカウントする。除算手段２２２は、条
件付きカウンタ２２１から与えられる画素数をカウンタ
２２０から与えられる画素数で割った値を出力する。比
較手段２２３は、除算手段２２２の結果を入力とし、そ
の結果が既定値以上である場合には１を、それ以外の場
合には０を、物体検出情報として出力する。
細を示している。カウンタ２２０は、領域統合手段１２
から与えられる統合クラスタ情報を入力とし、各統合ク
ラスタに含まれる画素数をカウントする。条件付きカウ
ンタ２２１は、領域統合手段１２から与えられる統合ク
ラスタ情報と、マスク生成手段１１から与えられるマス
ク情報を入力とし、各統合クラスタに含まれるマスク情
報が１の画素数をカウントする。除算手段２２２は、条
件付きカウンタ２２１から与えられる画素数をカウンタ
２２０から与えられる画素数で割った値を出力する。比
較手段２２３は、除算手段２２２の結果を入力とし、そ
の結果が既定値以上である場合には１を、それ以外の場
合には０を、物体検出情報として出力する。
【００３９】次に、図２は、視差検出方式を用いた、本
発明の第二の実施の形態を示している。視差検出手段２
０は、Ｍ枚の視差の異なる画像を入力とし、１枚の基準
画像と、画素毎の視差情報と、領域分割結果としてのク
ラスタ情報を出力する。ただし、視差情報は、各画素毎
に求められた視差であり、クラスタ情報は、領域分割の
結果として与えられる各クラスタの輝度、色差の平均
値、重心位置、および各画素の属するクラスタ番号から
構成される。マスク生成手段２１は、視差手段２０から
与えられる視差情報を入力とし、ラフな物体の切り出し
に対応するマスク情報を出力とする。ただし、マスク情
報は、画素単位に、各画素が着目する視差範囲に含まれ
る場合を１、そうではない場合を０とする。領域統合手
段２２は、視差検出手段２０から与えられるクラスタ情
報を入力とし、統計的に類似した特徴を有するクラスタ
を統合して新たな統合クラスタを形成し、統合クラスタ
情報を出力する。ただし、統合クラスタ情報は、各画素
が含まれる統合クラスタを表すインデクスである。領域
選択手段１３は、マスク生成手段１１から与えられるマ
スク情報と、領域統合回路１２から与えられる統合クラ
スタ情報を入力とし、各統合クラスタ毎にマスク情報が
１である画素の占める比率を計算し、この比率が既定値
を越える統合クラスタの集合として物体検出情報を出力
する。ただし、物体検出情報は、画素単位に、各画素が
検出物体を構成する統合領域に含まれる場合を１、含ま
れない場合を０とする。物体切り出し手段２４は、１枚
の基準画像と、領域選択回路２３から与えられる物体検
出情報との積を取り、その結果を検出物体として出力す
る。
発明の第二の実施の形態を示している。視差検出手段２
０は、Ｍ枚の視差の異なる画像を入力とし、１枚の基準
画像と、画素毎の視差情報と、領域分割結果としてのク
ラスタ情報を出力する。ただし、視差情報は、各画素毎
に求められた視差であり、クラスタ情報は、領域分割の
結果として与えられる各クラスタの輝度、色差の平均
値、重心位置、および各画素の属するクラスタ番号から
構成される。マスク生成手段２１は、視差手段２０から
与えられる視差情報を入力とし、ラフな物体の切り出し
に対応するマスク情報を出力とする。ただし、マスク情
報は、画素単位に、各画素が着目する視差範囲に含まれ
る場合を１、そうではない場合を０とする。領域統合手
段２２は、視差検出手段２０から与えられるクラスタ情
報を入力とし、統計的に類似した特徴を有するクラスタ
を統合して新たな統合クラスタを形成し、統合クラスタ
情報を出力する。ただし、統合クラスタ情報は、各画素
が含まれる統合クラスタを表すインデクスである。領域
選択手段１３は、マスク生成手段１１から与えられるマ
スク情報と、領域統合回路１２から与えられる統合クラ
スタ情報を入力とし、各統合クラスタ毎にマスク情報が
１である画素の占める比率を計算し、この比率が既定値
を越える統合クラスタの集合として物体検出情報を出力
する。ただし、物体検出情報は、画素単位に、各画素が
検出物体を構成する統合領域に含まれる場合を１、含ま
れない場合を０とする。物体切り出し手段２４は、１枚
の基準画像と、領域選択回路２３から与えられる物体検
出情報との積を取り、その結果を検出物体として出力す
る。
【００４０】図１３は、視差検出手段２０の詳細を示し
ている。Ｍ枚の視差の異なる画像の中から１枚を基準画
像＃１とし、この基準画像と残りの画像の間で視差検出
を行い、画素単位の視差を決定する。領域分割手段１２
１は、画像＃１の画素値と、統計情報計算手段１２２に
よって与えられるクラスタ単位の統計情報と、視差補償
予測手段１２４によって与えられる視差補償予測画像を
用いて、文献１に示されている８次元の距離計算
ている。Ｍ枚の視差の異なる画像の中から１枚を基準画
像＃１とし、この基準画像と残りの画像の間で視差検出
を行い、画素単位の視差を決定する。領域分割手段１２
１は、画像＃１の画素値と、統計情報計算手段１２２に
よって与えられるクラスタ単位の統計情報と、視差補償
予測手段１２４によって与えられる視差補償予測画像を
用いて、文献１に示されている８次元の距離計算
【００４１】
【数４】
【００４２】を行い、画像＃１の領域分割を実現する。
ただし、（Ｙ，Ｃｒ，Ｃｂ）は着目画素の輝度、色差情
報、（ｘ，ｙ）は着目画素の位置情報、
ただし、（Ｙ，Ｃｒ，Ｃｂ）は着目画素の輝度、色差情
報、（ｘ，ｙ）は着目画素の位置情報、
【００４３】
【外４】
【００４４】はクラスタｎの輝度、色差の平均値、
【００４５】
【外５】
【００４６】はクラスタｎの重心位置、
【００４７】
【外６】
【００４８】はクラスタｎに対して検出された視差ベク
トル
トル
【００４９】
【外７】
【００５０】によって指し示される参照画像の画素値、
（ｗ0 ，ｗ1 ，ｗ2 ）は重み係数である。統計情報計算
手段１２２は、画像＃１の画素値と、領域分割手段１２
１によって与えられるクラスタ属性情報を入力とし、ク
ラスタ毎に画素値平均、画素値分散、重心位置等の計算
を行い、クラスタ単位の統計情報として出力する。視差
推定手段１２３は、基準画像＃１の画素値と、画像＃２
の画素値と、領域分割手段１２１によって与えられるク
ラスタ属性情報を用いて、視差補償予測画像の誤差が最
小となるような水平１次元の領域単位の視差ベクトルを
求める。視差補償予測手段１２４は、画像＃２の画素値
と、視差推定手段１２３によって与えられる視差ベクト
ルを用いて、基準画像＃１に対する視差補償予測画像を
作成する。以上の処理を繰り返すことで、基準画像＃１
に対して、視差補償予測誤差を十分に低減した視差情報
を得ることができる。領域分割手段１２５、１２９、統
計情報計算手段１２６、１３０、視差推定手段１２７、
１３１、視差補償予測手段１２８、１３２の動作は、そ
れぞれ領域分割手段１２１、統計情報計算手段１２２、
視差推定手段１２３、視差補償予測手段１２４の動作に
等しい。重み付き視差検出手段１３３は、視差検出手段
１２３、１２７、１３１から与えられる複数の視差ベク
トルを入力とし、撮像系のベースラインの距離に応じた
重み付き平均として、最終的な画素単位の視差情報を出
力する。
（ｗ0 ，ｗ1 ，ｗ2 ）は重み係数である。統計情報計算
手段１２２は、画像＃１の画素値と、領域分割手段１２
１によって与えられるクラスタ属性情報を入力とし、ク
ラスタ毎に画素値平均、画素値分散、重心位置等の計算
を行い、クラスタ単位の統計情報として出力する。視差
推定手段１２３は、基準画像＃１の画素値と、画像＃２
の画素値と、領域分割手段１２１によって与えられるク
ラスタ属性情報を用いて、視差補償予測画像の誤差が最
小となるような水平１次元の領域単位の視差ベクトルを
求める。視差補償予測手段１２４は、画像＃２の画素値
と、視差推定手段１２３によって与えられる視差ベクト
ルを用いて、基準画像＃１に対する視差補償予測画像を
作成する。以上の処理を繰り返すことで、基準画像＃１
に対して、視差補償予測誤差を十分に低減した視差情報
を得ることができる。領域分割手段１２５、１２９、統
計情報計算手段１２６、１３０、視差推定手段１２７、
１３１、視差補償予測手段１２８、１３２の動作は、そ
れぞれ領域分割手段１２１、統計情報計算手段１２２、
視差推定手段１２３、視差補償予測手段１２４の動作に
等しい。重み付き視差検出手段１３３は、視差検出手段
１２３、１２７、１３１から与えられる複数の視差ベク
トルを入力とし、撮像系のベースラインの距離に応じた
重み付き平均として、最終的な画素単位の視差情報を出
力する。
【００５１】図１４は、領域分割手段１２１の構成例の
詳細を示している。差分自乗計算手段１４１は、基準画
像＃１の輝度値と、統計情報計算手段１２２によって与
えられるクラスタ毎の輝度平均値を入力とし、それらの
差分の自乗を計算する。差分自乗計算手段１４２、１４
３は、基準画像＃１の色差値と、統計情報計算手段１２
２によって与えられるクラスタ毎の色差平均値を入力と
し、それらの差分の自乗を計算する。差分自乗計算手段
１４４、１４５は、基準画像＃１の画素の位置情報と、
統計情報計算手段１２２によって与えられるクラスタ毎
の重心位置を入力とし、それらの差分の自乗を計算す
る。重み付き加算手段１４９は、（４）式に従って、差
分自乗計算手段１４１〜１４８から与えられる差分自乗
値の重み付き加算を行う。重み付き加算手段１５１、１
５２は、重み付き加算手段１４９とは異なるクラスタに
対して、重み付き加算手段１４９と同様の計算を行う。
比較手段１５２は、重み付き加算手段１４９、１５１、
１５２の出力値の比較を行い、この値を最小にするクラ
スタのインデクス、すなわち画素毎のクラスタ属性情報
を出力する。
詳細を示している。差分自乗計算手段１４１は、基準画
像＃１の輝度値と、統計情報計算手段１２２によって与
えられるクラスタ毎の輝度平均値を入力とし、それらの
差分の自乗を計算する。差分自乗計算手段１４２、１４
３は、基準画像＃１の色差値と、統計情報計算手段１２
２によって与えられるクラスタ毎の色差平均値を入力と
し、それらの差分の自乗を計算する。差分自乗計算手段
１４４、１４５は、基準画像＃１の画素の位置情報と、
統計情報計算手段１２２によって与えられるクラスタ毎
の重心位置を入力とし、それらの差分の自乗を計算す
る。重み付き加算手段１４９は、（４）式に従って、差
分自乗計算手段１４１〜１４８から与えられる差分自乗
値の重み付き加算を行う。重み付き加算手段１５１、１
５２は、重み付き加算手段１４９とは異なるクラスタに
対して、重み付き加算手段１４９と同様の計算を行う。
比較手段１５２は、重み付き加算手段１４９、１５１、
１５２の出力値の比較を行い、この値を最小にするクラ
スタのインデクス、すなわち画素毎のクラスタ属性情報
を出力する。
【００５２】統計情報計算手段１２２の構成は、前述の
統計情報計算手段１９２の構成に等しい。
統計情報計算手段１９２の構成に等しい。
【００５３】図１５は、視差推定手段１２３の構成例の
詳細を示している。画素シフト手段１６０は、シフト値
生成手段１６８によって与えられるシフト値に従い、画
像＃２の画素の輝度値の水平方向のシフトを実行する。
画素シフト手段１６１、１６２は、シフト値生成手段１
６８によって与えられるシフト値に従い、画像＃２の画
素の色差値の水平方向のシフトを実行する。差分自乗計
算手段１６３は、画素シフト手段１６０によって水平方
向にシフトされた画像＃２の画素の輝度値と、画像＃１
の画素の輝度値の差分の自乗を出力する。差分自乗計算
手段１６４、１６５は、画素シフト手段１６１、１６２
によって水平方向にシフトされた画像＃２の画素の色差
値と、画像＃１の画素の色差値の差分の自乗を出力す
る。クラスタ毎の累算手段１６６は、シフト値生成手段
１６８によって与えられるシフト値と、領域分割手段１
２１によって与えられるクラスタ属性情報に従い、シフ
ト値毎、かつクラスタ毎に、差分自乗計算手段１６３、
１６４、１６５の出力を累算する。シフト値生成手段１
６８は、画素シフト値を出力とする。最小値判定手段１
６７は、クラスタ単位に、クラスタ毎の累算手段１６６
によって与えられる累算差分自乗値を最小にするシフト
値を判定し、視差ベクトルとして出力する。
詳細を示している。画素シフト手段１６０は、シフト値
生成手段１６８によって与えられるシフト値に従い、画
像＃２の画素の輝度値の水平方向のシフトを実行する。
画素シフト手段１６１、１６２は、シフト値生成手段１
６８によって与えられるシフト値に従い、画像＃２の画
素の色差値の水平方向のシフトを実行する。差分自乗計
算手段１６３は、画素シフト手段１６０によって水平方
向にシフトされた画像＃２の画素の輝度値と、画像＃１
の画素の輝度値の差分の自乗を出力する。差分自乗計算
手段１６４、１６５は、画素シフト手段１６１、１６２
によって水平方向にシフトされた画像＃２の画素の色差
値と、画像＃１の画素の色差値の差分の自乗を出力す
る。クラスタ毎の累算手段１６６は、シフト値生成手段
１６８によって与えられるシフト値と、領域分割手段１
２１によって与えられるクラスタ属性情報に従い、シフ
ト値毎、かつクラスタ毎に、差分自乗計算手段１６３、
１６４、１６５の出力を累算する。シフト値生成手段１
６８は、画素シフト値を出力とする。最小値判定手段１
６７は、クラスタ単位に、クラスタ毎の累算手段１６６
によって与えられる累算差分自乗値を最小にするシフト
値を判定し、視差ベクトルとして出力する。
【００５４】図１６は、視差補償予測手段１２４の構成
例の詳細を示している。画素シフト手段１７０は、視差
推定手段１２３から与えられる視差ベクトルに従って、
画像＃２の画素の輝度値の水平方向のシフトを実行す
る。画素シフト手段１７１、１７２は、視差推定手段１
２３から与えられる視差ベクトルに従って、画像＃２の
画素の色差値の水平方向のシフトを実行する。
例の詳細を示している。画素シフト手段１７０は、視差
推定手段１２３から与えられる視差ベクトルに従って、
画像＃２の画素の輝度値の水平方向のシフトを実行す
る。画素シフト手段１７１、１７２は、視差推定手段１
２３から与えられる視差ベクトルに従って、画像＃２の
画素の色差値の水平方向のシフトを実行する。
【００５５】マスク生成手段２１の構成は、基本的にマ
スク生成手段１１に同じであり、焦点情報を視差情報に
置き換え、入力された視差情報が予め定められた視差範
囲にある場合には１を、ない場合には０を、マスク情報
として出力する。
スク生成手段１１に同じであり、焦点情報を視差情報に
置き換え、入力された視差情報が予め定められた視差範
囲にある場合には１を、ない場合には０を、マスク情報
として出力する。
【００５６】領域統合手段２２、領域選択手段２３の構
成は、それぞれ領域統合手段１２、領域選択手段１３の
構成に等しい。
成は、それぞれ領域統合手段１２、領域選択手段１３の
構成に等しい。
【００５７】次に、図３は、画像鮮鋭化方式と視差検出
方式を用いたが、本発明の第三の実施の形態を示してい
る。画像鮮鋭化手段３０は、Ｎ枚の焦点位置の異なる画
像を入力とし、鮮鋭画像と、画素毎の焦点情報と、領域
分割結果としてのクラスタ情報を出力する。ただし、焦
点情報は、各画素がＮ枚の焦点画像のどれから得られた
かを示すインデクスであり、クラスタ情報は、領域分割
の結果として与えられる各クラスタの輝度、色差の平均
値、重心位置、および各画素の属するクラスタ番号から
構成される。画像鮮鋭化手段３１、画像鮮鋭化手段３２
の動作は、画像鮮鋭化手段３０の動作に等しい。視差検
出手段３３は、Ｍ枚の視差の異なる鮮鋭画像を入力と
し、画素毎の視差情報を出力する。マスク生成手段３４
は、画像鮮鋭化手段３０から与えられる焦点情報と、視
差検出手段３３から与えられる視差情報を入力とし、ラ
フな物体の切り出しに対応するマスク情報を出力とす
る。ただし、マスク情報は、画素単位に、焦点情報に関
しては、各画素が着目している焦点画像に含まれる場合
を１、含まれない場合を０とし、視差情報に関しては、
各画素が着目している視差範囲に含まれる場合を１、含
まれない場合を０とし、それらの論理積を取ることで構
成される。領域統合手段３５は、画像鮮鋭化手段３０か
ら与えられるクラスタ情報を入力とし、統計的に類似し
た特徴を有するクラスタを統合して新たな統合クラスタ
を形成し、統合クラスタ情報を出力する。ただし、統合
クラスタ情報は、各画素が含まれる統合クラスタを表す
インデクスである。領域選択手段３６は、マスク生成手
段３４から与えられるマスク情報と、領域統合回路２２
から与えられる統合クラスタ情報を入力とし、各統合ク
ラスタ毎にマスク情報が１である画素の占める比率を計
算し、この比率が既定値を越える統合クラスタの集合と
して物体検出情報を出力する。ただし、物体検出情報
は、画素単位に、各画素が検出物体を構成する統合領域
に含まれる場合を１、含まれない場合を０とする。物体
切り出し手段３７は、１枚の鮮鋭画像と、領域選択回路
３６から与えられる物体検出情報との積を取り、その結
果を検出物体として出力する。
方式を用いたが、本発明の第三の実施の形態を示してい
る。画像鮮鋭化手段３０は、Ｎ枚の焦点位置の異なる画
像を入力とし、鮮鋭画像と、画素毎の焦点情報と、領域
分割結果としてのクラスタ情報を出力する。ただし、焦
点情報は、各画素がＮ枚の焦点画像のどれから得られた
かを示すインデクスであり、クラスタ情報は、領域分割
の結果として与えられる各クラスタの輝度、色差の平均
値、重心位置、および各画素の属するクラスタ番号から
構成される。画像鮮鋭化手段３１、画像鮮鋭化手段３２
の動作は、画像鮮鋭化手段３０の動作に等しい。視差検
出手段３３は、Ｍ枚の視差の異なる鮮鋭画像を入力と
し、画素毎の視差情報を出力する。マスク生成手段３４
は、画像鮮鋭化手段３０から与えられる焦点情報と、視
差検出手段３３から与えられる視差情報を入力とし、ラ
フな物体の切り出しに対応するマスク情報を出力とす
る。ただし、マスク情報は、画素単位に、焦点情報に関
しては、各画素が着目している焦点画像に含まれる場合
を１、含まれない場合を０とし、視差情報に関しては、
各画素が着目している視差範囲に含まれる場合を１、含
まれない場合を０とし、それらの論理積を取ることで構
成される。領域統合手段３５は、画像鮮鋭化手段３０か
ら与えられるクラスタ情報を入力とし、統計的に類似し
た特徴を有するクラスタを統合して新たな統合クラスタ
を形成し、統合クラスタ情報を出力する。ただし、統合
クラスタ情報は、各画素が含まれる統合クラスタを表す
インデクスである。領域選択手段３６は、マスク生成手
段３４から与えられるマスク情報と、領域統合回路２２
から与えられる統合クラスタ情報を入力とし、各統合ク
ラスタ毎にマスク情報が１である画素の占める比率を計
算し、この比率が既定値を越える統合クラスタの集合と
して物体検出情報を出力する。ただし、物体検出情報
は、画素単位に、各画素が検出物体を構成する統合領域
に含まれる場合を１、含まれない場合を０とする。物体
切り出し手段３７は、１枚の鮮鋭画像と、領域選択回路
３６から与えられる物体検出情報との積を取り、その結
果を検出物体として出力する。
【００５８】図１７は、マスク生成手段３４の構成例の
詳細を示している。比較手段２０１は、画像鮮鋭化手段
３０から与えられる焦点情報を入力とし、この値が予め
定められた焦点画像に対応する場合には１を、対応しな
い場合には０を出力とする。比較手段２０２は、視差検
出手段３３から与えられる視差情報を入力とし、この値
が予め定められた視差範囲に含まれる場合には１を、含
まれない場合には０を出力とする。論理積計算手段２０
３は、比較手段２０１と比較手段２０２の出力の論理積
を計算し、マスク情報として出力とする。
詳細を示している。比較手段２０１は、画像鮮鋭化手段
３０から与えられる焦点情報を入力とし、この値が予め
定められた焦点画像に対応する場合には１を、対応しな
い場合には０を出力とする。比較手段２０２は、視差検
出手段３３から与えられる視差情報を入力とし、この値
が予め定められた視差範囲に含まれる場合には１を、含
まれない場合には０を出力とする。論理積計算手段２０
３は、比較手段２０１と比較手段２０２の出力の論理積
を計算し、マスク情報として出力とする。
【００５９】領域統合手段３５、領域選択手段３６の構
成は、それぞれ領域統合手段１２、領域選択手段１３の
構成に等しい。
成は、それぞれ領域統合手段１２、領域選択手段１３の
構成に等しい。
【００６０】次に、図４は、画像鮮鋭化方式と視差検出
方式を用いた、本発明の第四の実施の形態を示してい
る。画像鮮鋭化手段４０は、Ｎ枚の焦点位置の異なる画
像を入力とし、鮮鋭画像と、画素毎の焦点情報と、領域
分割結果としてのクラスタ情報を出力する。ただし、焦
点情報は、各画素がＮ枚の焦点画像のどれから得られた
かを示すインデクスであり、クラスタ情報は、領域分割
の結果として与えられる各クラスタの輝度、色差の平均
値、重心位置、および各画素の属するクラスタ番号から
構成される。画像鮮鋭化手段４１、画像鮮鋭化手段４２
の動作は、画像鮮鋭化手段４０の動作に等しい。視差検
出手段４３は、Ｍ枚の視差の異なる鮮鋭画像を入力と
し、画素毎の視差情報を出力する。マスク生成手段４４
は、画像鮮鋭化手段４０から与えられる焦点情報と、視
差検出手段４３から与えられる視差情報を入力とし、ラ
フな物体の切り出しに対応するマスク情報を出力とす
る。ただし、マスク情報は、画素単位に、焦点情報に関
しては、各画素が着目している焦点画像に含まれる場合
を１、含まれない場合を０とし、視差情報に関しては、
各画素が着目している視差範囲に含まれる場合を１、含
まれない場合を０とし、それらの論理積を取ることで構
成される。領域統合手段４５は、視差検出手段４３から
与えられるクラスタ情報を入力とし、統計的に類似した
特徴を有するクラスタを統合して新たな統合クラスタを
形成し、統合クラスタ情報を出力する。ただし、投合ク
ラスタ情報は、各画素が含まれる統合クラスタを表すイ
ンデクスであう。領域選択手段４６は、マスク生成手段
４４から与えられるマスク情報と、領域統合回路４５か
ら与えられる統合クラスタ情報を入力とし、各統合クラ
スタ毎にマスク情報が１である画素の占める比率を計算
し、この比率が既定値を越える統合クラスタの集合とし
て物体検出情報を出力する。ただし、物体検出情報は、
画素単位に、各画素が検出物体を構成する統合領域に含
まれる場合を１、含まれない場合を０とする。物体切り
出し手段４７は、１枚の鮮鋭画像と、領域選択回路４６
から与えられる物体検出情報との積を取り、その結果を
検出物体として出力する。
方式を用いた、本発明の第四の実施の形態を示してい
る。画像鮮鋭化手段４０は、Ｎ枚の焦点位置の異なる画
像を入力とし、鮮鋭画像と、画素毎の焦点情報と、領域
分割結果としてのクラスタ情報を出力する。ただし、焦
点情報は、各画素がＮ枚の焦点画像のどれから得られた
かを示すインデクスであり、クラスタ情報は、領域分割
の結果として与えられる各クラスタの輝度、色差の平均
値、重心位置、および各画素の属するクラスタ番号から
構成される。画像鮮鋭化手段４１、画像鮮鋭化手段４２
の動作は、画像鮮鋭化手段４０の動作に等しい。視差検
出手段４３は、Ｍ枚の視差の異なる鮮鋭画像を入力と
し、画素毎の視差情報を出力する。マスク生成手段４４
は、画像鮮鋭化手段４０から与えられる焦点情報と、視
差検出手段４３から与えられる視差情報を入力とし、ラ
フな物体の切り出しに対応するマスク情報を出力とす
る。ただし、マスク情報は、画素単位に、焦点情報に関
しては、各画素が着目している焦点画像に含まれる場合
を１、含まれない場合を０とし、視差情報に関しては、
各画素が着目している視差範囲に含まれる場合を１、含
まれない場合を０とし、それらの論理積を取ることで構
成される。領域統合手段４５は、視差検出手段４３から
与えられるクラスタ情報を入力とし、統計的に類似した
特徴を有するクラスタを統合して新たな統合クラスタを
形成し、統合クラスタ情報を出力する。ただし、投合ク
ラスタ情報は、各画素が含まれる統合クラスタを表すイ
ンデクスであう。領域選択手段４６は、マスク生成手段
４４から与えられるマスク情報と、領域統合回路４５か
ら与えられる統合クラスタ情報を入力とし、各統合クラ
スタ毎にマスク情報が１である画素の占める比率を計算
し、この比率が既定値を越える統合クラスタの集合とし
て物体検出情報を出力する。ただし、物体検出情報は、
画素単位に、各画素が検出物体を構成する統合領域に含
まれる場合を１、含まれない場合を０とする。物体切り
出し手段４７は、１枚の鮮鋭画像と、領域選択回路４６
から与えられる物体検出情報との積を取り、その結果を
検出物体として出力する。
【００６１】マスク生成手段４４、領域統合手段４５、
領域選択手段４６の構成は、それぞれマスク生成手段３
４、領域統合手段１２、領域選択手段１３の構成に等し
い。
領域選択手段４６の構成は、それぞれマスク生成手段３
４、領域統合手段１２、領域選択手段１３の構成に等し
い。
【００６２】
【発明の効果】以上説明したように、本発明により、誤
検出の少ない安定した物体検出を実現することができ
る。
検出の少ない安定した物体検出を実現することができ
る。
【図１】本発明の第１の実施の形態を示すブロック図で
ある。
ある。
【図２】本発明の第２の実施の形態を示すブロック図で
ある。
ある。
【図３】本発明の第３の実施の形態を示すブロック図で
ある。
ある。
【図４】本発明の第４の実施の形態を示すブロック図で
ある。
ある。
【図５】本発明が対象とする焦点位置の異なる画像と視
差の異なる画像を示す図である。
差の異なる画像を示す図である。
【図６】画像鮮鋭化手段１０の詳細を示すブロック図で
ある。
ある。
【図７】領域分割手段１９１の詳細を示すブロック図で
ある。
ある。
【図８】統計情報計算手段１９２の詳細を示すブロック
図である。
図である。
【図９】合焦判定手段１９６の詳細を示すブロック図で
ある。
ある。
【図１０】マスク生成手段１１の詳細を示すブロック図
である。
である。
【図１１】領域統合手段１２の詳細を示すブロック図で
ある。
ある。
【図１２】領域選択手段１３の詳細を示すブロック図で
ある。
ある。
【図１３】視差検出手段２０の詳細を示すブロック図で
ある。
ある。
【図１４】領域分割手段１２１の詳細を示すブロック図
である。
である。
【図１５】視差推定手段１２３の詳細を示すブロック図
である。
である。
【図１６】視差補償予測手段１２４の詳細を示すブロッ
ク図である。
ク図である。
【図１７】マスク生成手段３４の詳細を示すブロック図
である。
である。
１０ 画像鮮鋭化手段 １１ マスク生成手段 １２ 領域統合手段 １３ 領域選択手段 １４ 物体切り出し手段 ２０ 視差検出手段 ２１ マスク生成手段 ２２ 領域統合手段 ２３ 領域選択手段 ２４ 物体切り出し手段 ３０ 画像鮮鋭化手段 ３１ 画像鮮鋭化手段 ３２ 画像鮮鋭化手段 ３３ 視差検出手段 ３４ マスク生成手段 ３５ 領域統合手段 ３６ 領域選択手段 ３７ 物体切り出し手段 ４０ 画像鮮鋭化手段 ４１ 画像鮮鋭化手段 ４２ 画像鮮鋭化手段 ４３ 視差検出手段 ４４ マスク生成手段 ４５ 領域統合手段 ４６ 領域選択手段 ４７ 物体切り出し手段 ６０ 差分自乗計算手段 ６１ 差分自乗計算手段 ６２ 差分自乗計算手段 ６３ 差分自乗計算手段 ６４ 差分自乗計算手段 ６５ 重み付き加算手段 ６６ 重み付き加算手段 ６７ 重み付き加算手段 ６８ 比較手段 ７０ クラスタ毎の累算手段 ７１ クラスタ毎の累算手段 ７２ クラスタ毎の累算手段 ７３ クラスタ毎の累算手段 ７４ クラスタ毎の累算手段 ７５ クラスタ毎のカウンタ ７６ 除算手段 ７７ 除算手段 ７８ 除算手段 ７９ 除算手段 ８０ 除算手段 ９０ 平均差分自乗計算手段 ９１ 平均差分自乗計算手段 ９２ 平均差分自乗計算手段 ９３ 平均差分自乗計算手段 ９４ 平均差分自乗計算手段 ９５ 平均差分自乗計算手段 ９６ 平均差分自乗計算手段 ９７ 平均差分自乗計算手段 ９８ 平均差分自乗計算手段 ９９ 加算手段 １００ 加算手段 １０１ 加算手段 １０２ 比較手段 １２１ 領域分割手段 １２２ 統計情報計算手段 １２３ 視差推定手段 １２４ 視差補償予測手段 １２５ 領域分割手段 １２６ 統計情報計算手段 １２７ 視差推定手段 １２８ 視差補償予測手段 １２９ 領域分割手段 １３０ 統計情報計算手段 １３１ 視差推定手段 １３２ 視差補償予測手段 １３３ 重み付き視差計算手段 １４１ 差分自乗計算手段 １４２ 差分自乗計算手段 １４３ 差分自乗計算手段 １４４ 差分自乗計算手段 １４５ 差分自乗計算手段 １４６ 差分自乗計算手段 １４７ 差分自乗計算手段 １４８ 差分自乗計算手段 １４９ 重み付き加算手段 １５０ 重み付き加算手段 １５１ 重み付き加算手段 １５２ 比較手段 １６０ 画素シフト手段 １６１ 画素シフト手段 １６２ 画素シフト手段 １６３ 差分自乗計算手段 １６４ 差分自乗計算手段 １６５ 差分自乗計算手段 １６６ クラスタ毎の累算手段 １６７ 最小値判定手段 １６８ シフト値生成手段 １７０ 画素シフト手段 １７１ 画素シフト手段 １７２ 画素シフト手段 １９１ 領域分割手段 １９２ 統計情報計算手段 １９３ 統計情報計算手段 １９４ 統計情報計算手段 １９５ 統計情報計算手段 １９６ 合焦判定手段 １９７ 画像合成手段 ２００ 比較手段 ２０１ 比較手段 ２０２ 比較手段 ２０３ 論理積計算手段 ２１０ 統計情報保持手段 ２１１ 統計情報保持手段 ２１２ 統計情報保持手段 ２１３ クラスタ番号生成手段 ２１４ 差分自乗計算手段 ２１５ 差分自乗計算手段 ２１６ 差分自乗計算手段 ２１７ 加算手段 ２１８ 比較手段 ２１９ クラスタ属性更新手段 ２２０ カウンタ ２２１ 条件付きカウンタ ２２２ 除算手段 ２２３ 比較手段
Claims (4)
- 【請求項１】光軸はほぼ等しいが焦点位置の異なる複数
枚の画像を入力として１枚の鮮鋭画像と焦点情報とクラ
スタ情報を作成する画像鮮鋭化手段と、前記焦点情報か
ら第１の物体検出情報を作成するマスク生成手段と、前
記クラスタ情報から統合クラスタ情報を作成する領域統
合手段と、前記第１の物体検出情報と前記統合クラスタ
情報から第２の物体検出情報を作成する領域選択手段
と、前記鮮鋭画像と前記第２の物体検出情報から物体の
切り出しを行う手段を備えることを特徴とする多眼画像
からの物体検出方式。 - 【請求項２】光軸の異なる複数枚の画像を入力として視
差情報とクラスタ情報を作成する視差検出手段と、前記
視差情報から第１の物体検出情報を作成するマスク生成
手段と、前記画像のクラスタ情報から統合クラスタ情報
を作成する領域統合手段と、前記第１の物体検出情報と
前記統合クラスタ情報から第２の物体検出情報を作成す
る領域選択手段と、前記視差の異なる画像と前記第２の
物体検出情報から物体の切り出しを行う手段を備えるこ
とを特徴とする多眼画像からの物体検出方式。 - 【請求項３】光軸はほぼ等しいが焦点位置の異なる複数
枚の画像を入力として第１の鮮鋭画像と焦点情報とクラ
スタ情報を作成する第１の画像鮮鋭化手段と、光軸はほ
ぼ等しいが焦点位置の異なる複数枚の画像を入力として
鮮鋭画像を得る手段を前記第１の画像鮮鋭化手段とは別
に視点を変えて複数個備え、それらによって得られた視
点の異なる複数枚の鮮鋭画像から視差情報を作成する視
差検出手段と、前記焦点情報と前記視差情報から第１の
物体検出情報を作成するマスク生成手段と、前記クラス
タ情報から統合クラスタ情報を作成する領域統合手段
と、前記第１の物体検出情報と前記統合クラスタ情報か
ら第２の物体検出情報を作成する領域選択手段と、前記
第１の鮮鋭画像と前記第２の物体検出情報から物体の切
り出しを行う手段を備えることを特徴とする多眼画像か
らの物体検出方式。 - 【請求項４】光軸はほぼ等しいが焦点位置の異なる複数
枚の画像を入力として第１の鮮鋭画像と焦点情報を作成
する第１の画像鮮鋭化手段と、光軸はほぼ等しいが焦点
位置の異なる複数枚の画像を入力として鮮鋭画像を得る
手段を前記第１の画像鮮鋭化手段とは別に視点を変えて
複数個備え、それらによって得られた視点の異なる複数
枚の鮮鋭画像から視差情報とクラスタ情報を作成する視
差検出手段と、前記焦点情報と前記視差情報から第１の
物体検出情報を作成するマスク生成手段と、前記クラス
タ情報から統合クラスタ情報を作成する領域統合手段
と、前記第１の物体検出情報と前記統合クラスタ情報か
ら第２の物体検出情報を作成する領域選択手段と、前記
第１の鮮鋭画像と前記第２の物体検出情報から物体の切
り出しを行う手段を備えることを特徴とする多眼画像か
らの物体検出方式。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8026349A JP2891159B2 (ja) | 1996-02-14 | 1996-02-14 | 多眼画像からの物体検出方式 |
| US08/800,402 US5917936A (en) | 1996-02-14 | 1997-02-14 | Object detecting system based on multiple-eye images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8026349A JP2891159B2 (ja) | 1996-02-14 | 1996-02-14 | 多眼画像からの物体検出方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09218950A true JPH09218950A (ja) | 1997-08-19 |
| JP2891159B2 JP2891159B2 (ja) | 1999-05-17 |
Family
ID=12190991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8026349A Expired - Fee Related JP2891159B2 (ja) | 1996-02-14 | 1996-02-14 | 多眼画像からの物体検出方式 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5917936A (ja) |
| JP (1) | JP2891159B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001236497A (ja) * | 2000-01-25 | 2001-08-31 | Eastman Kodak Co | 写真画像のクロッピングされズームされた変形を自動的に形成する方法 |
| JP2001258599A (ja) * | 2000-03-23 | 2001-09-25 | Japan Science & Technology Corp | 細胞系譜抽出方法 |
| JP2001311730A (ja) * | 2000-04-27 | 2001-11-09 | Japan Science & Technology Corp | 細胞系譜抽出方法 |
| JP2007504562A (ja) * | 2003-09-04 | 2007-03-01 | サーノフ コーポレーション | １つの画像から虹彩認証を行う方法および装置 |
| JP2016505836A (ja) * | 2012-12-19 | 2016-02-25 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 流体サンプル中の粒子の分類のためのシステム及び方法 |
Families Citing this family (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TR199700058A2 (xx) * | 1997-01-29 | 1998-08-21 | Onural Levent | Kurallara dayalı hareketli nesne bölütlemesi. |
| JPH10222663A (ja) * | 1997-01-31 | 1998-08-21 | Yamaha Motor Co Ltd | 画像認識システム及び装置 |
| US6148120A (en) * | 1997-10-30 | 2000-11-14 | Cognex Corporation | Warping of focal images to correct correspondence error |
| JP3303128B2 (ja) * | 1998-04-15 | 2002-07-15 | 東京大学長 | 複数画像を用いる画像処理方法およびそれに用いる複数画像同時撮像型カメラ装置 |
| US6297844B1 (en) * | 1999-11-24 | 2001-10-02 | Cognex Corporation | Video safety curtain |
| US6674877B1 (en) * | 2000-02-03 | 2004-01-06 | Microsoft Corporation | System and method for visually tracking occluded objects in real time |
| US6674925B1 (en) * | 2000-02-08 | 2004-01-06 | University Of Washington | Morphological postprocessing for object tracking and segmentation |
| WO2001071663A1 (fr) * | 2000-03-23 | 2001-09-27 | Japan Science And Technology Corporation | Methode d'extraction de lignee cellulaire |
| US7167575B1 (en) | 2000-04-29 | 2007-01-23 | Cognex Corporation | Video safety detector with projected pattern |
| US6701005B1 (en) | 2000-04-29 | 2004-03-02 | Cognex Corporation | Method and apparatus for three-dimensional object segmentation |
| US6792134B2 (en) * | 2000-12-19 | 2004-09-14 | Eastman Kodak Company | Multi-mode digital image processing method for detecting eyes |
| US7116800B2 (en) * | 2001-05-30 | 2006-10-03 | Eaton Corporation | Image segmentation system and method |
| US7369680B2 (en) * | 2001-09-27 | 2008-05-06 | Koninklijke Phhilips Electronics N.V. | Method and apparatus for detecting an event based on patterns of behavior |
| US7161579B2 (en) | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
| US7883415B2 (en) * | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
| US7646372B2 (en) * | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
| US7102615B2 (en) * | 2002-07-27 | 2006-09-05 | Sony Computer Entertainment Inc. | Man-machine interface using a deformable device |
| US8797260B2 (en) * | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
| US8947347B2 (en) * | 2003-08-27 | 2015-02-03 | Sony Computer Entertainment Inc. | Controlling actions in a video game unit |
| US7623115B2 (en) * | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
| US8160269B2 (en) * | 2003-08-27 | 2012-04-17 | Sony Computer Entertainment Inc. | Methods and apparatuses for adjusting a listening area for capturing sounds |
| US9174119B2 (en) | 2002-07-27 | 2015-11-03 | Sony Computer Entertainement America, LLC | Controller for providing inputs to control execution of a program when inputs are combined |
| US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
| US7854655B2 (en) | 2002-07-27 | 2010-12-21 | Sony Computer Entertainment America Inc. | Obtaining input for controlling execution of a game program |
| US8313380B2 (en) * | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
| US7627139B2 (en) * | 2002-07-27 | 2009-12-01 | Sony Computer Entertainment Inc. | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
| US8686939B2 (en) * | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
| US7803050B2 (en) * | 2002-07-27 | 2010-09-28 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
| US8139793B2 (en) * | 2003-08-27 | 2012-03-20 | Sony Computer Entertainment Inc. | Methods and apparatus for capturing audio signals based on a visual image |
| US7850526B2 (en) * | 2002-07-27 | 2010-12-14 | Sony Computer Entertainment America Inc. | System for tracking user manipulations within an environment |
| US8233642B2 (en) * | 2003-08-27 | 2012-07-31 | Sony Computer Entertainment Inc. | Methods and apparatuses for capturing an audio signal based on a location of the signal |
| US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US7918733B2 (en) * | 2002-07-27 | 2011-04-05 | Sony Computer Entertainment America Inc. | Multi-input game control mixer |
| US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
| US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
| US9682319B2 (en) | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
| US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| US7505862B2 (en) * | 2003-03-07 | 2009-03-17 | Salmon Technologies, Llc | Apparatus and method for testing electronic systems |
| US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| US20070223732A1 (en) * | 2003-08-27 | 2007-09-27 | Mao Xiao D | Methods and apparatuses for adjusting a visual image based on an audio signal |
| US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
| US10279254B2 (en) | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
| US8323106B2 (en) | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
| US7663689B2 (en) * | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
| US20050249429A1 (en) * | 2004-04-22 | 2005-11-10 | Fuji Photo Film Co., Ltd. | Method, apparatus, and program for image processing |
| KR100603603B1 (ko) * | 2004-12-07 | 2006-07-24 | 한국전자통신연구원 | 변위 후보 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치 및 그 방법 |
| US7596751B2 (en) * | 2005-04-22 | 2009-09-29 | Hewlett-Packard Development Company, L.P. | Contact sheet based image management |
| US20110014981A1 (en) * | 2006-05-08 | 2011-01-20 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
| US8310656B2 (en) * | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
| US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
| USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| US20090237530A1 (en) * | 2008-03-20 | 2009-09-24 | Ilia Ovsiannikov | Methods and apparatuses for sharpening images |
| US8150169B2 (en) * | 2008-09-16 | 2012-04-03 | Viewdle Inc. | System and method for object clustering and identification in video |
| GB2483434A (en) * | 2010-08-31 | 2012-03-14 | Sony Corp | Detecting stereoscopic disparity by comparison with subset of pixel change points |
| US8582866B2 (en) * | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
| JP5882805B2 (ja) * | 2012-03-26 | 2016-03-09 | キヤノン株式会社 | 情報処理装置、その処理方法及びプログラム |
| US10057498B1 (en) * | 2013-03-15 | 2018-08-21 | Cognex Corporation | Light field vision system camera and methods for using the same |
| JP5999127B2 (ja) * | 2014-03-12 | 2016-09-28 | トヨタ自動車株式会社 | 画像処理装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5534917A (en) * | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
| US5359671A (en) * | 1992-03-31 | 1994-10-25 | Eastman Kodak Company | Character-recognition systems and methods with means to measure endpoint features in character bit-maps |
| US5309522A (en) * | 1992-06-30 | 1994-05-03 | Environmental Research Institute Of Michigan | Stereoscopic determination of terrain elevation |
| US5513275A (en) * | 1993-01-12 | 1996-04-30 | Board Of Trustees Of The Leland Stanford Junior University | Automated direct patterned wafer inspection |
| US5768415A (en) * | 1995-09-08 | 1998-06-16 | Lucent Technologies Inc. | Apparatus and methods for performing electronic scene analysis and enhancement |
-
1996
- 1996-02-14 JP JP8026349A patent/JP2891159B2/ja not_active Expired - Fee Related
-
1997
- 1997-02-14 US US08/800,402 patent/US5917936A/en not_active Expired - Lifetime
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001236497A (ja) * | 2000-01-25 | 2001-08-31 | Eastman Kodak Co | 写真画像のクロッピングされズームされた変形を自動的に形成する方法 |
| JP4566416B2 (ja) * | 2000-01-25 | 2010-10-20 | イーストマン コダック カンパニー | 写真画像のクロッピングされズームされた変形を自動的に形成する方法 |
| JP2001258599A (ja) * | 2000-03-23 | 2001-09-25 | Japan Science & Technology Corp | 細胞系譜抽出方法 |
| JP2001311730A (ja) * | 2000-04-27 | 2001-11-09 | Japan Science & Technology Corp | 細胞系譜抽出方法 |
| JP2007504562A (ja) * | 2003-09-04 | 2007-03-01 | サーノフ コーポレーション | １つの画像から虹彩認証を行う方法および装置 |
| JP2016505836A (ja) * | 2012-12-19 | 2016-02-25 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 流体サンプル中の粒子の分類のためのシステム及び方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2891159B2 (ja) | 1999-05-17 |
| US5917936A (en) | 1999-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2891159B2 (ja) | 多眼画像からの物体検出方式 | |
| EP1958149B1 (en) | Stereoscopic image display method and apparatus, method for generating 3d image data from a 2d image data input and an apparatus for generating 3d image data from a 2d image data input | |
| DE69922183T2 (de) | Gesichtserkennung aus videobildern | |
| US6556704B1 (en) | Method for forming a depth image from digital image data | |
| CN101542529B (zh) | 图像的深度图的生成方法和图像处理单元 | |
| US6504569B1 (en) | 2-D extended image generation from 3-D data extracted from a video sequence | |
| US6490364B2 (en) | Apparatus for enhancing images using flow estimation | |
| Wang et al. | Automatic natural video matting with depth | |
| JP3055438B2 (ja) | ３次元画像符号化装置 | |
| US9672609B1 (en) | Method and apparatus for improved depth-map estimation | |
| EP1418766A2 (en) | Method and apparatus for processing images | |
| US8867826B2 (en) | Disparity estimation for misaligned stereo image pairs | |
| Ko et al. | 2D to 3D stereoscopic conversion: depth-map estimation in a 2D single-view image | |
| Moustakas et al. | Stereoscopic video generation based on efficient layered structure and motion estimation from a monoscopic image sequence | |
| CN109493373A (zh) | 一种基于双目立体视觉的立体匹配方法 | |
| Leung et al. | An energy minimisation approach to stereo-temporal dense reconstruction | |
| Leung et al. | Fast stereo matching by iterated dynamic programming and quadtree subregioning | |
| KR20160085708A (ko) | 멀티뷰 영상들에 대한 슈퍼픽셀들을 생성하기 위한 방법 및 장치 | |
| Doulamis et al. | Unsupervised semantic object segmentation of stereoscopic video sequences | |
| An et al. | Object segmentation using stereo images | |
| Schwarz et al. | Depth map upscaling through edge-weighted optimization | |
| Aboali et al. | Performance analysis between basic block matching and dynamic programming of stereo matching algorithm | |
| US8934055B1 (en) | Clustering based motion layer detection | |
| US9736456B1 (en) | Two dimensional to three dimensional video conversion | |
| Naemura et al. | Three-dimensional segmentation of multiview images based on disparity estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990126 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080226 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090226 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100226 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100226 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110226 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110226 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120226 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120226 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140226 Year of fee payment: 15 |
|
| LAPS | Cancellation because of no payment of annual fees |