JP2001266158A - 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 - Google Patents
画像処理装置、画像処理システム、画像処理方法、及び記憶媒体Info
- Publication number
- JP2001266158A JP2001266158A JP2000391204A JP2000391204A JP2001266158A JP 2001266158 A JP2001266158 A JP 2001266158A JP 2000391204 A JP2000391204 A JP 2000391204A JP 2000391204 A JP2000391204 A JP 2000391204A JP 2001266158 A JP2001266158 A JP 2001266158A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image processing
- image data
- image
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
(57)【要約】
【課題】 対象画像から対象オブジェクトを自動で、効
率的に且つ正確に分離或いは切り出すことが可能な画像
処理装置を提供する。 【解決手段】 入力手段110は、連続的な画像データ
を入力する。検出手段120は、入力画像データの変化
を検出する。発生手段130は、検出手段120の検出
結果に応じて入力画像データ中に存在するオブジェクト
を抽出するための初期輪郭情報を発生する。抽出手段1
40は、発生手段130からの初期輪郭情報に基づいて
入力画像データからオブジェクトの画像データを抽出す
る。
率的に且つ正確に分離或いは切り出すことが可能な画像
処理装置を提供する。 【解決手段】 入力手段110は、連続的な画像データ
を入力する。検出手段120は、入力画像データの変化
を検出する。発生手段130は、検出手段120の検出
結果に応じて入力画像データ中に存在するオブジェクト
を抽出するための初期輪郭情報を発生する。抽出手段1
40は、発生手段130からの初期輪郭情報に基づいて
入力画像データからオブジェクトの画像データを抽出す
る。
Description
【0001】
【発明の属する技術分野】本発明は、例えば、ビデオカ
メラ等により撮影して得られた撮影画像から、被写体部
分と背景部分を分離したり、動画における被写体の輪郭
部分を自動で切り出すための装置或いはシステムに用い
られる、画像処理装置、画像処理システム、画像処理方
法、及びそれを実施するための処理ステップをコンピュ
ータが読出可能に格納した記憶媒体に関するものであ
る。
メラ等により撮影して得られた撮影画像から、被写体部
分と背景部分を分離したり、動画における被写体の輪郭
部分を自動で切り出すための装置或いはシステムに用い
られる、画像処理装置、画像処理システム、画像処理方
法、及びそれを実施するための処理ステップをコンピュ
ータが読出可能に格納した記憶媒体に関するものであ
る。
【0002】
【従来の技術】従来より例えば、ビデオカメラ等により
撮影して得られた撮影画像から、被写体(以下、「オブ
ジェクト」と呼ぶ)部分と背景部分を分離したり、動画
における被写体の輪郭部分を切り出すための画像処理方
法として、撮影時の背景としてブルーバック等を使用す
る方法や、手動で分離或いは切出作業を行う方法、或い
は自動での分離或いは切出を行う方法がある。
撮影して得られた撮影画像から、被写体(以下、「オブ
ジェクト」と呼ぶ)部分と背景部分を分離したり、動画
における被写体の輪郭部分を切り出すための画像処理方
法として、撮影時の背景としてブルーバック等を使用す
る方法や、手動で分離或いは切出作業を行う方法、或い
は自動での分離或いは切出を行う方法がある。
【0003】
【発明が解決しようとする課題】しかしながら、上述し
た従来の画像処理方法において、対象画像からオブジェ
クト部分を自動で分離或いは切り出す方法(以下、単に
「自動分離方法」と呼ぶ)については、様々な方法が提
案されているが、処理時間の問題や様々なエラーが発生
する等の問題があり、正確にオブジェクト部分の分離或
いは切り出しを行うことができなかった。
た従来の画像処理方法において、対象画像からオブジェ
クト部分を自動で分離或いは切り出す方法(以下、単に
「自動分離方法」と呼ぶ)については、様々な方法が提
案されているが、処理時間の問題や様々なエラーが発生
する等の問題があり、正確にオブジェクト部分の分離或
いは切り出しを行うことができなかった。
【0004】具体的には例えば、”美濃秀彦「SNAK
ES:現在、過去、未来」、電子通信学会技術報告PR
MU97−184(1997−12)”等に記載されて
いるようなオブジェクトの輪郭線の追跡法を用いた自動
分離方法が提案されている。しかしながら、この方法
は、処理時間は高速であるが、オブジェクトの初期輪郭
のデータを手動で与える必要があること、新たに登場し
たオブジェクトの追跡に対応しにくい等の問題があっ
た。
ES:現在、過去、未来」、電子通信学会技術報告PR
MU97−184(1997−12)”等に記載されて
いるようなオブジェクトの輪郭線の追跡法を用いた自動
分離方法が提案されている。しかしながら、この方法
は、処理時間は高速であるが、オブジェクトの初期輪郭
のデータを手動で与える必要があること、新たに登場し
たオブジェクトの追跡に対応しにくい等の問題があっ
た。
【0005】また、オブジェクトの初期輪郭のデータを
領域分割によって生成し、その初期輪郭のデータに基づ
き、オブジェクトの輪郭線を追跡する方法も提案された
が、この方法によっても、処理時間の改善にはいたって
いなかった。
領域分割によって生成し、その初期輪郭のデータに基づ
き、オブジェクトの輪郭線を追跡する方法も提案された
が、この方法によっても、処理時間の改善にはいたって
いなかった。
【0006】そこで、本発明は、上記の欠点を除去する
ために成されたもので、対象画像から対象オブジェクト
を自動で、効率的に且つ正確に分離或いは切り出すこと
が可能な、画像処理装置、画像処理システム、画像処理
方法、及びそれを実施するための処理ステップをコンピ
ュータが読出可能に格納した記憶媒体を提供することを
目的とする。
ために成されたもので、対象画像から対象オブジェクト
を自動で、効率的に且つ正確に分離或いは切り出すこと
が可能な、画像処理装置、画像処理システム、画像処理
方法、及びそれを実施するための処理ステップをコンピ
ュータが読出可能に格納した記憶媒体を提供することを
目的とする。
【0007】
【課題を解決するための手段】斯かる目的下において、
第1の発明は、連続的な画像データを入力する入力手段
と、上記入力画像データの変化を検出する検出手段と、
上記検出手段の検出結果に基づいて、上記入力画像デー
タ中に存在するオブジェクトを抽出するための初期輪郭
情報を発生する発生手段と、上記発生手段により発生さ
れた初期輪郭情報に基づいて、上記入力画像データから
上記オブジェクトに対応するオブジェクト画像データを
抽出する抽出手段とを備える画像処理装置であることを
特徴とする。
第1の発明は、連続的な画像データを入力する入力手段
と、上記入力画像データの変化を検出する検出手段と、
上記検出手段の検出結果に基づいて、上記入力画像デー
タ中に存在するオブジェクトを抽出するための初期輪郭
情報を発生する発生手段と、上記発生手段により発生さ
れた初期輪郭情報に基づいて、上記入力画像データから
上記オブジェクトに対応するオブジェクト画像データを
抽出する抽出手段とを備える画像処理装置であることを
特徴とする。
【0008】第2の発明は、上記第1の発明において、
上記抽出手段により抽出されたオブジェクト画像データ
を符号化する符号化手段を備えることを特徴とする。
上記抽出手段により抽出されたオブジェクト画像データ
を符号化する符号化手段を備えることを特徴とする。
【0009】第3の発明は、上記第2の発明において、
上記符号化手段により得られた符号化データを伝送する
伝送手段を備えることを特徴とする。
上記符号化手段により得られた符号化データを伝送する
伝送手段を備えることを特徴とする。
【0010】第4の発明は、上記第2の発明において、
上記符号化手段は、MPEG−4符号化方式(ISO/
IEC 14496)に準拠した符号化処理を行うこと
を特徴とする。
上記符号化手段は、MPEG−4符号化方式(ISO/
IEC 14496)に準拠した符号化処理を行うこと
を特徴とする。
【0011】第5の発明は、上記第2の発明において、
上記符号化手段により得られた符号化データを記録媒体
に記録する記録手段を備えることを特徴とする。
上記符号化手段により得られた符号化データを記録媒体
に記録する記録手段を備えることを特徴とする。
【0012】第6の発明は、上記第1の発明において、
上記入力手段は、カメラにより撮影して得られた画像デ
ータを入力すると共に、当該カメラのパラメータに関す
るデータを入力し、上記検出手段は、上記入力パラメー
タデータに基づいて、上記入力画像データの変化を検出
することを特徴とする。
上記入力手段は、カメラにより撮影して得られた画像デ
ータを入力すると共に、当該カメラのパラメータに関す
るデータを入力し、上記検出手段は、上記入力パラメー
タデータに基づいて、上記入力画像データの変化を検出
することを特徴とする。
【0013】第7の発明は、上記第6の発明において、
上記検出手段は、上記入力パラメータデータに基づいた
検出処理により、上記入力画像データの変化を検出する
ことを特徴とする。
上記検出手段は、上記入力パラメータデータに基づいた
検出処理により、上記入力画像データの変化を検出する
ことを特徴とする。
【0014】第8の発明は、上記第6の発明において、
上記カメラは、ビデオカメラを含むことを特徴とする。
上記カメラは、ビデオカメラを含むことを特徴とする。
【0015】第9の発明は、上記第1の発明において、
上記発生手段は、上記入力画像データの色及びテクスチ
ャによる領域分割を行う第1の領域分割手段と、上記入
力画像データの動きにより領域分割を行う第2の領域分
割手段とを含み、当該第1の領域分割手段及び第2の領
域分割手段の各出力に基づいて、上記初期輪郭情報を発
生することを特徴とする。
上記発生手段は、上記入力画像データの色及びテクスチ
ャによる領域分割を行う第1の領域分割手段と、上記入
力画像データの動きにより領域分割を行う第2の領域分
割手段とを含み、当該第1の領域分割手段及び第2の領
域分割手段の各出力に基づいて、上記初期輪郭情報を発
生することを特徴とする。
【0016】第10の発明は、上記第1の発明におい
て、上記入力手段により入力された画像データを表示す
る表示手段を備え、上記表示手段は、さらに上記抽出手
段の抽出結果を視覚的に判断可能なように表示すること
を特徴とする。
て、上記入力手段により入力された画像データを表示す
る表示手段を備え、上記表示手段は、さらに上記抽出手
段の抽出結果を視覚的に判断可能なように表示すること
を特徴とする。
【0017】第11の発明は、複数の機器が互いに通信
可能に接続されてなる画像処理システムであって、上記
複数の機器のうち少なくとも1つの機器は、請求項1〜
10の何れかに記載の画像処理装置の機能を有すること
を特徴とする。
可能に接続されてなる画像処理システムであって、上記
複数の機器のうち少なくとも1つの機器は、請求項1〜
10の何れかに記載の画像処理装置の機能を有すること
を特徴とする。
【0018】第12の発明は、連続的な画像データを入
力する入力ステップと、上記入力画像データの変化を検
出する検出ステップと、上記検出ステップでの検出結果
に応じて上記入力画像データ中に存在するオブジェクト
を抽出するための初期輪郭情報を発生する発生ステップ
と、上記発生ステップにより発生された初期輪郭情報に
基づいて、上記オブジェクトに対応するオブジェクト画
像データを抽出する抽出ステップとを含む画像処理方法
であることを特徴とする。
力する入力ステップと、上記入力画像データの変化を検
出する検出ステップと、上記検出ステップでの検出結果
に応じて上記入力画像データ中に存在するオブジェクト
を抽出するための初期輪郭情報を発生する発生ステップ
と、上記発生ステップにより発生された初期輪郭情報に
基づいて、上記オブジェクトに対応するオブジェクト画
像データを抽出する抽出ステップとを含む画像処理方法
であることを特徴とする。
【0019】第13の発明は、請求項1〜10の何れか
に記載の画像処理装置の機能、又は請求項11記載の画
像処理システムの機能をコンピュータに実現させるため
のプログラムをコンピュータ読出可能な記憶媒体に記録
したことを特徴とする。
に記載の画像処理装置の機能、又は請求項11記載の画
像処理システムの機能をコンピュータに実現させるため
のプログラムをコンピュータ読出可能な記憶媒体に記録
したことを特徴とする。
【0020】第14の発明は、請求項12記載の画像処
理方法の処理ステップをコンピュータに実行させるため
のプログラムをコンピュータ読出可能な記憶媒体に記録
したことを特徴とする。
理方法の処理ステップをコンピュータに実行させるため
のプログラムをコンピュータ読出可能な記憶媒体に記録
したことを特徴とする。
【0021】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。
て図面を用いて説明する。
【0022】(第1の実施の形態)本発明は、例えば、
図1に示すような画像処理装置100に適用される。本
実施の形態の画像処理装置100は、ビデオカメラ等の
カメラ部110により撮影して得られた画像データか
ら、オブジェクト部分と背景部分を分離して、これらの
それぞれを独立に符号化して外部装置に伝送する機能を
有する。
図1に示すような画像処理装置100に適用される。本
実施の形態の画像処理装置100は、ビデオカメラ等の
カメラ部110により撮影して得られた画像データか
ら、オブジェクト部分と背景部分を分離して、これらの
それぞれを独立に符号化して外部装置に伝送する機能を
有する。
【0023】<画像処理装置100の全体構成>画像処
理装置100は、上記図1に示すように、被写体を撮像
して当該被写体の画像データ12(対象画像)を出力す
るカメラ部110と、カメラ部110から出力された画
像データ12から被写体の初期輪郭情報を取得(検索)
するか否かを判定する判定部120と、判定部120で
の判定結果(判定情報13)に基づいて初期輪郭情報1
4を生成する情報生成部130と、情報生成部130で
得られた初期輪郭情報14に基づいてオブジェクトのト
ラッキングを行ってオブジェクトの形状データ15を発
生するトラッキング部140と、トラッキング部140
からの形状データ15を用いてカメラ部110から出力
された画像データ12をMPEG−4符号化方式(IS
O/IEC 14496)に準拠したオブジェクト単位
で符号化する符号化部150と、符号化部150により
符号化された画像データをインターネット等を介して外
部装置に伝送する伝送部160と、トラッキング部14
0のトラッキングの結果や撮影画像等を表示画面により
確認するための表示部170と、符号化部150により
符号化された画像データをハードディスクやメモリ、或
いはCD−ROM等の記録媒体に記録する記録部180
とを備えている。
理装置100は、上記図1に示すように、被写体を撮像
して当該被写体の画像データ12(対象画像)を出力す
るカメラ部110と、カメラ部110から出力された画
像データ12から被写体の初期輪郭情報を取得(検索)
するか否かを判定する判定部120と、判定部120で
の判定結果(判定情報13)に基づいて初期輪郭情報1
4を生成する情報生成部130と、情報生成部130で
得られた初期輪郭情報14に基づいてオブジェクトのト
ラッキングを行ってオブジェクトの形状データ15を発
生するトラッキング部140と、トラッキング部140
からの形状データ15を用いてカメラ部110から出力
された画像データ12をMPEG−4符号化方式(IS
O/IEC 14496)に準拠したオブジェクト単位
で符号化する符号化部150と、符号化部150により
符号化された画像データをインターネット等を介して外
部装置に伝送する伝送部160と、トラッキング部14
0のトラッキングの結果や撮影画像等を表示画面により
確認するための表示部170と、符号化部150により
符号化された画像データをハードディスクやメモリ、或
いはCD−ROM等の記録媒体に記録する記録部180
とを備えている。
【0024】また、情報生成部130は、色/テクスチ
ャに基づいて対象画像の領域分割処理を行う第1の領域
分割処理部131と、動き情報に基づいて対象画像の領
域分割処理を行う第2の領域分割処理132と、第1の
領域分割処理部131及び第2の領域分割処理部132
で得られた各情報を統合する統合処理部133とを含ん
でいる。
ャに基づいて対象画像の領域分割処理を行う第1の領域
分割処理部131と、動き情報に基づいて対象画像の領
域分割処理を行う第2の領域分割処理132と、第1の
領域分割処理部131及び第2の領域分割処理部132
で得られた各情報を統合する統合処理部133とを含ん
でいる。
【0025】上述のような画像処理装置100におい
て、表示部170は、トラッキング部140からの形状
データ15に基づいて、対象画像上のオブジェクト部分
をマスクした画像を表示したり、当該オブジェクト部分
の輪郭部分を強調して表示すること等も行えるように構
成されている。
て、表示部170は、トラッキング部140からの形状
データ15に基づいて、対象画像上のオブジェクト部分
をマスクした画像を表示したり、当該オブジェクト部分
の輪郭部分を強調して表示すること等も行えるように構
成されている。
【0026】判定部120は、例えば、対象画像からシ
ーンチェンジを検出し、その検出結果に基づいて、初期
輪郭情報を取得するか否かを示す判定情報13を出力す
る。
ーンチェンジを検出し、その検出結果に基づいて、初期
輪郭情報を取得するか否かを示す判定情報13を出力す
る。
【0027】情報生成部130において、第1の領域分
割処理部131は、対象画像の色やテクスチャに基づい
て、対象画像を領域分割する。第2の領域分割処理部1
32は、対象画像から動き情報(動きベクトル)を検出
し、その動き情報に基づいて、対象画像を領域分割す
る。尚、第1の領域分割処理部131による領域分割処
理の単位は、第2の領域分割処理部132による領域分
割処理の単位よりも細かい単位としている。
割処理部131は、対象画像の色やテクスチャに基づい
て、対象画像を領域分割する。第2の領域分割処理部1
32は、対象画像から動き情報(動きベクトル)を検出
し、その動き情報に基づいて、対象画像を領域分割す
る。尚、第1の領域分割処理部131による領域分割処
理の単位は、第2の領域分割処理部132による領域分
割処理の単位よりも細かい単位としている。
【0028】統合処理部133は、判定部120からの
検出情報13に基づいて、第1の領域分割処理部131
及び第2の領域分割処理部132で得られた各情報によ
り示される各領域を統合した領域の輪郭線(初期輪郭情
報14)を生成して出力する。
検出情報13に基づいて、第1の領域分割処理部131
及び第2の領域分割処理部132で得られた各情報によ
り示される各領域を統合した領域の輪郭線(初期輪郭情
報14)を生成して出力する。
【0029】また、統合処理部133は、初期輪郭情報
14により示される輪郭線内部の情報をマスク処理(例
えば、黒色画像や灰色画像とする処理)したマスク情報
16を表示部170に供給できるようになされている。
これにより、表示部170において、対象画像(画像デ
ータ12)に対してマスク情報16を重畳して表示する
ことで、ユーザは、初期輪郭が、どのように抽出された
か等を認識することができる。
14により示される輪郭線内部の情報をマスク処理(例
えば、黒色画像や灰色画像とする処理)したマスク情報
16を表示部170に供給できるようになされている。
これにより、表示部170において、対象画像(画像デ
ータ12)に対してマスク情報16を重畳して表示する
ことで、ユーザは、初期輪郭が、どのように抽出された
か等を認識することができる。
【0030】トラッキング部140は、情報生成部13
0の統合処理部133により得られた初期輪郭情報1
4、或いは過去のフレームで検出された初期輪郭情報に
基づいて、対象画像上の対象オブジェクトの時間軸方向
のトラッキングを行う。
0の統合処理部133により得られた初期輪郭情報1
4、或いは過去のフレームで検出された初期輪郭情報に
基づいて、対象画像上の対象オブジェクトの時間軸方向
のトラッキングを行う。
【0031】具体的には例えば、本実施の形態では、ト
ラッキング部140でのトラッキング方法として、「ス
ネークス」と呼ばれる動的輪郭モデルのエネルギー最小
化方法を採用する。
ラッキング部140でのトラッキング方法として、「ス
ネークス」と呼ばれる動的輪郭モデルのエネルギー最小
化方法を採用する。
【0032】スネークスの詳細に関しては、例えば、
「Michael Kass,Andrew Witk
in,and Demetri Terzopoulo
s,”Snakes: Active Contour
Models”, International J
ournal of Computer Visio
n, Vol.1, No.3,pp.321−33
1, 1988」等の文献に開示されている。
「Michael Kass,Andrew Witk
in,and Demetri Terzopoulo
s,”Snakes: Active Contour
Models”, International J
ournal of Computer Visio
n, Vol.1, No.3,pp.321−33
1, 1988」等の文献に開示されている。
【0033】スネークスは、輪郭線が抽出されたときに
最小となるエネルギー関数を定義し、適当な初期値か
ら、その極小解を反復計算により求めるものである。ま
た、エネルギー関数は、エッジ点を通る制約の外部エネ
ルギーと滑らかさの制約である内部エネルギーの線形和
で定義される。
最小となるエネルギー関数を定義し、適当な初期値か
ら、その極小解を反復計算により求めるものである。ま
た、エネルギー関数は、エッジ点を通る制約の外部エネ
ルギーと滑らかさの制約である内部エネルギーの線形和
で定義される。
【0034】スネークスを適用するには、抽出対象オブ
ジェクトの輪郭を初期輪郭として大まかに指定しておく
必要があるが、上述した初期輪郭抽出方法により初期輪
郭は設定すればよい。また、各フレーム毎に初期輪郭の
設定が必要となるが、本実施の形態では、シーンチェン
ジが検出されない期間は前のフレームの抽出結果を現フ
レームの初期値とする。
ジェクトの輪郭を初期輪郭として大まかに指定しておく
必要があるが、上述した初期輪郭抽出方法により初期輪
郭は設定すればよい。また、各フレーム毎に初期輪郭の
設定が必要となるが、本実施の形態では、シーンチェン
ジが検出されない期間は前のフレームの抽出結果を現フ
レームの初期値とする。
【0035】一般に、スネークスは、対象画像の平面
(x,y)上において、媒介変数で表現される輪郭(閉
曲線)v、具体的には、
(x,y)上において、媒介変数で表現される輪郭(閉
曲線)v、具体的には、
【0036】
【数1】
【0037】なる式(1)で表される輪郭(閉曲線)v
を、
を、
【0038】
【数2】
【0039】なる式(2)で定義されるエネルギー関数
を最小化するように変形し、エネルギーの極小状態とし
てその形状が決まる輪郭抽出モデルである。
を最小化するように変形し、エネルギーの極小状態とし
てその形状が決まる輪郭抽出モデルである。
【0040】上記式(2)において、「Eint」は、
内部エネルギーを示し、「Eimage」は、画像エネ
ルギーを示し、「Econ」は、外部エネルギーを示
す。外部エネルギーEconは、必要に応じて、スネー
クスに外部から強制的に力を働かせる場合に用いられ
る。
内部エネルギーを示し、「Eimage」は、画像エネ
ルギーを示し、「Econ」は、外部エネルギーを示
す。外部エネルギーEconは、必要に応じて、スネー
クスに外部から強制的に力を働かせる場合に用いられ
る。
【0041】内部エネルギーEintには、多くの場合
に、
に、
【0042】
【数3】
【0043】なる式(3)で表される、輪郭の滑らかさ
を示すEsplineが用いられる。
を示すEsplineが用いられる。
【0044】上記式(3)において、「v´(s)」及
び「v´´(s)」はそれぞれ、v(s)の1次微分及
び2次微分である。「α」及び「β」は重み係数であ
り、一般的には「s」の関数であるが、ここでは定数と
する。Esplineの最小化により、スネークスは滑
らかに収縮する力を受ける。
び「v´´(s)」はそれぞれ、v(s)の1次微分及
び2次微分である。「α」及び「β」は重み係数であ
り、一般的には「s」の関数であるが、ここでは定数と
する。Esplineの最小化により、スネークスは滑
らかに収縮する力を受ける。
【0045】画像エネルギーEimageには、対象画
像の輝度l(v(s))を用いて定義される、
像の輝度l(v(s))を用いて定義される、
【0046】
【数4】
【0047】なる式(4)により表される、Eedge
が多く用いられる。上記式(4)において、「γ」は、
画像エネルギーEimageに対する重み係数である。
が多く用いられる。上記式(4)において、「γ」は、
画像エネルギーEimageに対する重み係数である。
【0048】Eedgeは、輝度勾配の大きさを表すも
のであり、スネークスは、輝度勾配の大きさEedge
の最小化により、エッジに引き寄せられる力を受ける。
のであり、スネークスは、輝度勾配の大きさEedge
の最小化により、エッジに引き寄せられる力を受ける。
【0049】<判定部120の動作>図2は、判定部1
20の動作をフローチャートによって示したものであ
る。
20の動作をフローチャートによって示したものであ
る。
【0050】ステップS200:先ず、判定部120
は、カメラ部110による撮影開始直後か否かを判断す
る。具体的には例えば、判定部120は、カメラ部11
0に設けられた記録開始のトリガスイッチ(不図示)が
ONされた直後であるか否かを検出することで、当該判
断を行う。この判断の結果、撮影開始直後でない場合、
次のステップS201へ進み、撮影開始直後である場
合、後述するステップS206へ進む。
は、カメラ部110による撮影開始直後か否かを判断す
る。具体的には例えば、判定部120は、カメラ部11
0に設けられた記録開始のトリガスイッチ(不図示)が
ONされた直後であるか否かを検出することで、当該判
断を行う。この判断の結果、撮影開始直後でない場合、
次のステップS201へ進み、撮影開始直後である場
合、後述するステップS206へ進む。
【0051】ステップS201:ステップS200の判
断の結果、撮影開始直後でない場合、判定部120は、
グローバル動き検出のためのパラメータ11(例えば、
カメラ部110に備わるパン/チルトを判断するための
ジャイロセンサーからの情報や、ズームに関する情報
等)をカメラ部110から取得する。
断の結果、撮影開始直後でない場合、判定部120は、
グローバル動き検出のためのパラメータ11(例えば、
カメラ部110に備わるパン/チルトを判断するための
ジャイロセンサーからの情報や、ズームに関する情報
等)をカメラ部110から取得する。
【0052】ステップS202:判定部120は、ステ
ップS201で取得したパラメータ11から、グローバ
ルな動きが有るか否か、すなわちカメラ部110が静止
しているか、或いは動いているか(パン、チルト等の動
きが有るか否か)を判別する。この判別の結果、グロー
バルな動き有りの場合には、次のステップS203へ進
み、グローバルな動き無しの場合には、次のステップS
204へ進む。
ップS201で取得したパラメータ11から、グローバ
ルな動きが有るか否か、すなわちカメラ部110が静止
しているか、或いは動いているか(パン、チルト等の動
きが有るか否か)を判別する。この判別の結果、グロー
バルな動き有りの場合には、次のステップS203へ進
み、グローバルな動き無しの場合には、次のステップS
204へ進む。
【0053】ステップS203:ステップS202の判
別の結果、グローバルな動き有りの場合(カメラ部11
0が動いている場合)、判定部120は、カメラ110
から出力される対象画像のフレーム間の位置の位相差を
用いて、カメラ部110のグローバルな動きを補正し
て、対象画像におけるシーンカット(シーンチェンジ)
検出のための情報(フレーム間差分の二乗和等)を算出
する。
別の結果、グローバルな動き有りの場合(カメラ部11
0が動いている場合)、判定部120は、カメラ110
から出力される対象画像のフレーム間の位置の位相差を
用いて、カメラ部110のグローバルな動きを補正し
て、対象画像におけるシーンカット(シーンチェンジ)
検出のための情報(フレーム間差分の二乗和等)を算出
する。
【0054】ステップS204:ステップS202の判
別の結果、グローバルな動き無しの場合(カメラ部11
0が動いていない場合)、判定部120は、上記のフレ
ーム間の位置の位相差無しで、対象画像におけるシーン
カット(シーンチェンジ)検出のための情報(フレーム
間差分の二乗和等)を算出する。
別の結果、グローバルな動き無しの場合(カメラ部11
0が動いていない場合)、判定部120は、上記のフレ
ーム間の位置の位相差無しで、対象画像におけるシーン
カット(シーンチェンジ)検出のための情報(フレーム
間差分の二乗和等)を算出する。
【0055】上述のように、ステップS203では、フ
レーム間の位置の位相差によりカメラ部110の動きを
補正して、シーンカット(シーンチェンジ)検出のため
の情報を取得するのに対して、ステップS204では、
シーンカット(シーンチェンジ)検出のための情報を、
フレーム間の位置の位相差無しで取得する。これらの2
つの検出方法により、カメラ部110の動きが原因で生
じるシーンチェンジの誤検出を抑制できる。
レーム間の位置の位相差によりカメラ部110の動きを
補正して、シーンカット(シーンチェンジ)検出のため
の情報を取得するのに対して、ステップS204では、
シーンカット(シーンチェンジ)検出のための情報を、
フレーム間の位置の位相差無しで取得する。これらの2
つの検出方法により、カメラ部110の動きが原因で生
じるシーンチェンジの誤検出を抑制できる。
【0056】ステップS205:判定部120は、ステ
ップS203又はS204の処理によりシーンカット
(シーンチェンジ)検出のための情報が得られると、そ
の得られた情報から、カメラ110から出力される対象
画像にシーンカット(シーンチェンジ)が発生したか否
かを判定する。この判定の結果、シーンカット(シーン
チェンジ)発生の場合は、次のステップS206へ進
み、そうでない場合は、本処理終了となる。
ップS203又はS204の処理によりシーンカット
(シーンチェンジ)検出のための情報が得られると、そ
の得られた情報から、カメラ110から出力される対象
画像にシーンカット(シーンチェンジ)が発生したか否
かを判定する。この判定の結果、シーンカット(シーン
チェンジ)発生の場合は、次のステップS206へ進
み、そうでない場合は、本処理終了となる。
【0057】ステップS206:ステップS205の判
定の結果、対象画像にシーンカット(シーンチェンジ)
が発生した場合、或いは上述したステップS200の判
断の結果、撮影開始直後である場合、判定部120は、
初期輸郭情報14を検出するための処理が必要なことを
示す判定情報13を、情報生成部130に対して出力す
る。その後、本処理終了となる。
定の結果、対象画像にシーンカット(シーンチェンジ)
が発生した場合、或いは上述したステップS200の判
断の結果、撮影開始直後である場合、判定部120は、
初期輸郭情報14を検出するための処理が必要なことを
示す判定情報13を、情報生成部130に対して出力す
る。その後、本処理終了となる。
【0058】したがって、情報生成部130は、例え
ば、判定部120からの判定情報13により初期輸郭情
報14を新たに検出する必要が生じた場合、すなわち撮
影開始直後及びシーンチェンジが検出された場合に、初
期輪郭情報14の生成及び出力を行う。
ば、判定部120からの判定情報13により初期輸郭情
報14を新たに検出する必要が生じた場合、すなわち撮
影開始直後及びシーンチェンジが検出された場合に、初
期輪郭情報14の生成及び出力を行う。
【0059】<情報生成部130の動作>ここでは特
に、情報生成部130での初期輪郭情報14の生成処理
を説明する。
に、情報生成部130での初期輪郭情報14の生成処理
を説明する。
【0060】上述したように、撮影開始直後或いはシー
ンチェンジが検出された場合に、情報生成部130は、
初期輪郭情報14の生成及び出力を行う。本実施の形態
では、情報生成部130は、対象画像に対する色/テク
スチャでの領域分割処理により得られた情報(第1の領
域分割処理部131から出力された情報)と、対象画像
に対する動き情報(動きベクトル)での領域分割処理に
より得られた情報(第2の領域分割処理部132から出
力された情報)とを統合して、対象画像のオブジェクト
の初期輪郭情報14を生成する。このような構成によ
り、動画の全フレームに対して実行可能であり、高速に
オブジェクトの初期輪郭を得ることが可能な処理を実現
する。以下、情報生成部130における初期輪郭情報1
4の生成及び出力の具体例(1),(2)を挙げる。
ンチェンジが検出された場合に、情報生成部130は、
初期輪郭情報14の生成及び出力を行う。本実施の形態
では、情報生成部130は、対象画像に対する色/テク
スチャでの領域分割処理により得られた情報(第1の領
域分割処理部131から出力された情報)と、対象画像
に対する動き情報(動きベクトル)での領域分割処理に
より得られた情報(第2の領域分割処理部132から出
力された情報)とを統合して、対象画像のオブジェクト
の初期輪郭情報14を生成する。このような構成によ
り、動画の全フレームに対して実行可能であり、高速に
オブジェクトの初期輪郭を得ることが可能な処理を実現
する。以下、情報生成部130における初期輪郭情報1
4の生成及び出力の具体例(1),(2)を挙げる。
【0061】(1)処理例1 例えば、対象画像が、オブジェクトとしての自動車部分
と背景部分からなる画像であり、対象画像から自動車部
分の初期輪郭情報14を取得する場合、情報生成部13
0での処理は、図3(a)〜同図(c)により示され
る。
と背景部分からなる画像であり、対象画像から自動車部
分の初期輪郭情報14を取得する場合、情報生成部13
0での処理は、図3(a)〜同図(c)により示され
る。
【0062】上記図3(a)は、色/テクスチャに基づ
いて領域分割を行う第1の領域分割処理部131で得ら
れる自動車部分(対象オブジェクト)に当たる分割情報
301を示したものであり、同図(b)は、動き情報に
基づいて領域分割を行う第2の領域分割処理部132で
得られる自動車部分に当たる分割情報302を示したも
のであり、同図(c)は、領域情報の統合処理部133
において、第1の領域分割処理部131から得られた情
報301及び第2の領域分割処理部132で得られた情
報302から生成される初期輪郭情報14を示したもの
である。
いて領域分割を行う第1の領域分割処理部131で得ら
れる自動車部分(対象オブジェクト)に当たる分割情報
301を示したものであり、同図(b)は、動き情報に
基づいて領域分割を行う第2の領域分割処理部132で
得られる自動車部分に当たる分割情報302を示したも
のであり、同図(c)は、領域情報の統合処理部133
において、第1の領域分割処理部131から得られた情
報301及び第2の領域分割処理部132で得られた情
報302から生成される初期輪郭情報14を示したもの
である。
【0063】第1の領域分割処理部131では、上記図
3(a)に示すように、自動車部分が領域301a,3
01b,・・・,301fに過分割された情報301が
得られる。第2の領域分割処理部132では、上記図3
(b)に示すように、例えば、動きベクトルを公知のブ
ロックマッチィング法で求めたときの当該動きベクトル
の大きさに基づき、動きベクトルが大きな前景領域30
2aと、静止した背景領域(後述する境界領域302b
の周囲領域)と、これらの2つの動きベクトルとは異な
る大きさのベクトルの境界領域302bとの、3つの領
域に分割された情報302が得られる。
3(a)に示すように、自動車部分が領域301a,3
01b,・・・,301fに過分割された情報301が
得られる。第2の領域分割処理部132では、上記図3
(b)に示すように、例えば、動きベクトルを公知のブ
ロックマッチィング法で求めたときの当該動きベクトル
の大きさに基づき、動きベクトルが大きな前景領域30
2aと、静止した背景領域(後述する境界領域302b
の周囲領域)と、これらの2つの動きベクトルとは異な
る大きさのベクトルの境界領域302bとの、3つの領
域に分割された情報302が得られる。
【0064】したがって、統合処理部133は、上記図
3(a)に示した情報301により示される領域301
a,301b,・・・,301fから、上記図3(b)
に示した情報302の背景領域でない領域、すなわち前
景領域302a及び境界領域302bを前景領域として
再分割し、領域302aと重なる領域301a,301
b,・・・,301fの当該重なりの度合い(重なり
度)をそれぞれ求め、その重なり度が所定値以上である
領域については、領域302aと同じ動きをする1つの
オブジェクト部分であると判定し、この結果得られた領
域の輪郭を、自動車部分(オブジェクト部分)の輪郭線
情報14として抽出する。
3(a)に示した情報301により示される領域301
a,301b,・・・,301fから、上記図3(b)
に示した情報302の背景領域でない領域、すなわち前
景領域302a及び境界領域302bを前景領域として
再分割し、領域302aと重なる領域301a,301
b,・・・,301fの当該重なりの度合い(重なり
度)をそれぞれ求め、その重なり度が所定値以上である
領域については、領域302aと同じ動きをする1つの
オブジェクト部分であると判定し、この結果得られた領
域の輪郭を、自動車部分(オブジェクト部分)の輪郭線
情報14として抽出する。
【0065】(2)処理例2 例えば、図4に示すように、対象画像が、オブジェクト
としての魚部分と背景部分からなる画像であり、対象画
像から魚部分の初期輪郭情報14を取得する場合、情報
生成部130での処理は、図4により示される。
としての魚部分と背景部分からなる画像であり、対象画
像から魚部分の初期輪郭情報14を取得する場合、情報
生成部130での処理は、図4により示される。
【0066】先ず、第1の領域分割処理部131は、対
象画像を色/テクスチャによって領域分割して、背景部
分を過分割した情報401を取得する。一方、第2の領
域分割処理部132は、対象画像を動き情報によって領
域分割して、動きベクトルが大きな前景領域と、静止し
た背景領域と、これらの2つとは動きベクトルが異なる
境界領域との、3つの領域に分割した情報402を取得
する。
象画像を色/テクスチャによって領域分割して、背景部
分を過分割した情報401を取得する。一方、第2の領
域分割処理部132は、対象画像を動き情報によって領
域分割して、動きベクトルが大きな前景領域と、静止し
た背景領域と、これらの2つとは動きベクトルが異なる
境界領域との、3つの領域に分割した情報402を取得
する。
【0067】統合処理部133は、第1の領域分割処理
部131により得られた情報401と、第2の領域分割
処理部132により得られた情報402とを重ね合わせ
(図4中”403”参照)、第1の領域分割処理部13
1により分割された領域において、第1の領域分離処理
部131では分割されたが第2の領域分割処理132で
は分割されていない領域については、第1の領域分割処
理部131の分割結果を補正して、分割領域を同一の領
域となるように補正し(図4中”404”参照)、補正
後の背景領域と、それ以外の領域との境界線を初期輪郭
情報14として生成する。
部131により得られた情報401と、第2の領域分割
処理部132により得られた情報402とを重ね合わせ
(図4中”403”参照)、第1の領域分割処理部13
1により分割された領域において、第1の領域分離処理
部131では分割されたが第2の領域分割処理132で
は分割されていない領域については、第1の領域分割処
理部131の分割結果を補正して、分割領域を同一の領
域となるように補正し(図4中”404”参照)、補正
後の背景領域と、それ以外の領域との境界線を初期輪郭
情報14として生成する。
【0068】<符号化部150の構成及び動作>符号化
部150は、例えば、図5に示すように、カメラ部11
0からの対象画像(画像データ)12及びトラッキング
部140からの形状データ15が供給されるテキスチャ
符号化部151と、トラッキング部140からの形状デ
ータ15が供給される形状符号化部152と、テキスチ
ャ符号化部151及び形状符号化部152の各出力が供
給される符号合成部153とを含んでいる。
部150は、例えば、図5に示すように、カメラ部11
0からの対象画像(画像データ)12及びトラッキング
部140からの形状データ15が供給されるテキスチャ
符号化部151と、トラッキング部140からの形状デ
ータ15が供給される形状符号化部152と、テキスチ
ャ符号化部151及び形状符号化部152の各出力が供
給される符号合成部153とを含んでいる。
【0069】先ず、カメラ部110から出力された対象
画像12は、テキスチャ符号化部151に入力される。
このとき、トラキング部140から出力された形状デー
タ15も、テキスチャ符号化部151に入力される。テ
キスチャ符号化部151は、トラキング部140からの
形状データ15に基づいて、カメラ部110からの画像
画像12における各オブジェクトの画像データ(輝度及
び色差データ)を切り出して、これらのオブジェクトデ
ータに対して、オブジェクト毎の符号化を行う。
画像12は、テキスチャ符号化部151に入力される。
このとき、トラキング部140から出力された形状デー
タ15も、テキスチャ符号化部151に入力される。テ
キスチャ符号化部151は、トラキング部140からの
形状データ15に基づいて、カメラ部110からの画像
画像12における各オブジェクトの画像データ(輝度及
び色差データ)を切り出して、これらのオブジェクトデ
ータに対して、オブジェクト毎の符号化を行う。
【0070】また、トラキング部140から出力された
形状データ15は、形状符号化部152にも入力され、
形状符号化部152は、当該形状データ15を符号化す
る。
形状データ15は、形状符号化部152にも入力され、
形状符号化部152は、当該形状データ15を符号化す
る。
【0071】符号合成部153は、テキスチャ符号化部
151及び形状符号化部152により得られた各符号化
データ(可変長符号化データ)を合成して、この結果を
伝送部160に対して出力する。
151及び形状符号化部152により得られた各符号化
データ(可変長符号化データ)を合成して、この結果を
伝送部160に対して出力する。
【0072】尚、テキスチャ符号化部151及び形状符
号化部152は、例えば、MPEG−4符号化方式(I
SO/IEC 14496)に準拠した符号化を実行し
ているが、ここではその詳細な説明は省略する。
号化部152は、例えば、MPEG−4符号化方式(I
SO/IEC 14496)に準拠した符号化を実行し
ているが、ここではその詳細な説明は省略する。
【0073】<画像処理装置100の出力先の構成>図
6は、画像処理装置100で得られた符号化データ(伝
送部160により伝送された符号化データ、或いは記録
部180により記録媒体に記録された符号化データ)を
再生する再生装置600の一例を示したものである。
尚、ここでは一例として、再生装置600を、伝送部1
60により伝送された符号化データを受信して再生する
装置とする。
6は、画像処理装置100で得られた符号化データ(伝
送部160により伝送された符号化データ、或いは記録
部180により記録媒体に記録された符号化データ)を
再生する再生装置600の一例を示したものである。
尚、ここでは一例として、再生装置600を、伝送部1
60により伝送された符号化データを受信して再生する
装置とする。
【0074】再生装置600は、画像処理装置100か
らの符号化データを受信する受信部601と、受信符号
化データからオブジェクトの符号化データと形状データ
の符号化データに分離する符号分離部602と、符号分
離部602で得られたオブジェクトの符号化データを復
号するテキスチャ復号部603と、符号分離部602で
得られた形状データの符号化データを復号する形状復号
部604と、テキスチャ復号部603及び形状復号部6
04で得られた復号データに基づく画像を表示する表示
部605とを備えている。
らの符号化データを受信する受信部601と、受信符号
化データからオブジェクトの符号化データと形状データ
の符号化データに分離する符号分離部602と、符号分
離部602で得られたオブジェクトの符号化データを復
号するテキスチャ復号部603と、符号分離部602で
得られた形状データの符号化データを復号する形状復号
部604と、テキスチャ復号部603及び形状復号部6
04で得られた復号データに基づく画像を表示する表示
部605とを備えている。
【0075】上述のような再生装置600において、先
ず、画像処理装置100の伝送部160(上記図1参
照)によって伝送された符号化データは、受信部601
により受信される。符号分離部602は、受信部601
により受信された符号化データから、符号化された画像
データ(オブジェクトの符号化データ)と、符号化され
た形状データとに分離する。
ず、画像処理装置100の伝送部160(上記図1参
照)によって伝送された符号化データは、受信部601
により受信される。符号分離部602は、受信部601
により受信された符号化データから、符号化された画像
データ(オブジェクトの符号化データ)と、符号化され
た形状データとに分離する。
【0076】テキスチャ復号部603は、符号分離部6
02で得られた符号化画像データを復号して表示部60
5に供給する。形状復号部604は、符号分離部602
で得られた符号化形状データを復号して表示部605に
供給する。
02で得られた符号化画像データを復号して表示部60
5に供給する。形状復号部604は、符号分離部602
で得られた符号化形状データを復号して表示部605に
供給する。
【0077】表示部605は、テキスチャ復号部603
からの復号データに従った画像(オブジェクト画像)を
表示する。このとき、表示部605は、撮影時の背景と
は別の背景画像を用意しておいて、その別の背景画像を
当該オブジェクト画像と合成して表示するようにしても
よい。
からの復号データに従った画像(オブジェクト画像)を
表示する。このとき、表示部605は、撮影時の背景と
は別の背景画像を用意しておいて、その別の背景画像を
当該オブジェクト画像と合成して表示するようにしても
よい。
【0078】(第2の実施の形態)本実施の形態では、
上記図1の画像処理装置において、判定部120の判定
処理を、次のように実施する。
上記図1の画像処理装置において、判定部120の判定
処理を、次のように実施する。
【0079】判定部120は、新たなオブジェクトの出
現を監視し、その監視の結果、新たなオブジェクトが出
現したときのみ、情報生成部130での初期輪郭情報1
4の生成を実行することを示す判定情報13を、情報生
成部130に対して出力する。
現を監視し、その監視の結果、新たなオブジェクトが出
現したときのみ、情報生成部130での初期輪郭情報1
4の生成を実行することを示す判定情報13を、情報生
成部130に対して出力する。
【0080】図7(a)〜(c)は、本実施の形態の判
定部120における、新しいオブジエクトの出現の監視
処理を示したものである。
定部120における、新しいオブジエクトの出現の監視
処理を示したものである。
【0081】まず、上記図7(a)〜(c)に示す画像
501〜503はそれぞれ、時間方向に等間隔の動画の
フレームを表している。また、説明の簡単のために、こ
こでは、上記図7(a)のフレーム501まで、1つの
任意のオブジェクト504を追跡してきたが、同図
(b)及び(c)のフレーム502,503で新たなオ
ブジェクト505が出現したものとする。
501〜503はそれぞれ、時間方向に等間隔の動画の
フレームを表している。また、説明の簡単のために、こ
こでは、上記図7(a)のフレーム501まで、1つの
任意のオブジェクト504を追跡してきたが、同図
(b)及び(c)のフレーム502,503で新たなオ
ブジェクト505が出現したものとする。
【0082】この場合、判定部120は、上記図7
(a)に示すように、対象フレーム501全体をM×N
画素(ここでは、横4×縦3画素)のタイルに分割し、
オブジェクト504がかからないタイルを検出すること
で、オブジェクト504の位置を認識する。そして、判
定部120は、タイル毎に、フレーム501と、フレー
ム502,503のフレーム間差分をとり、差分値が最
も大きくなるフレーム、すなわちフレーム503に関し
て、初期輸郭情報14を検出するための処理が必要なこ
とを示す判定情報13を情報生成部130に供給する。
(a)に示すように、対象フレーム501全体をM×N
画素(ここでは、横4×縦3画素)のタイルに分割し、
オブジェクト504がかからないタイルを検出すること
で、オブジェクト504の位置を認識する。そして、判
定部120は、タイル毎に、フレーム501と、フレー
ム502,503のフレーム間差分をとり、差分値が最
も大きくなるフレーム、すなわちフレーム503に関し
て、初期輸郭情報14を検出するための処理が必要なこ
とを示す判定情報13を情報生成部130に供給する。
【0083】したがって、情報生成部130は、判定部
120からの判定情報13により示される情報が、初期
輸郭情報14を取得することを示す情報であった場合に
のみ、すなわち新たなオブジェクトの出現があった場合
のみ、初期輪郭情報14の生成及び出力を行う。
120からの判定情報13により示される情報が、初期
輸郭情報14を取得することを示す情報であった場合に
のみ、すなわち新たなオブジェクトの出現があった場合
のみ、初期輪郭情報14の生成及び出力を行う。
【0084】尚、本発明の目的は、第1及び第2の実施
の形態のホスト及び端末の機能を実現するソフトウェア
のプログラムコードを記憶した記憶媒体を、システム或
いは装置に供給し、そのシステム或いは装置のコンピュ
ータ(又はCPUやMPU)が記憶媒体に格納されたプ
ログラムコードを読みだして実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が第1及び第2
のの実施の形態の機能を実現することとなり、そのプロ
グラムコードを記憶した記憶媒体は本発明を構成するこ
ととなる。プログラムコードを供給するための記憶媒体
としては、ROM、フロッピー(登録商標)ディスク、
ハードディスク、光ディスク、光磁気ディスク、CD−
ROM、CD−R、磁気テープ、不揮発性のメモリカー
ド等を用いることができる。また、コンピュータが読み
だしたプログラムコードを実行することにより、第1及
び第2の実施の形態の機能が実現されるだけでなく、そ
のプログラムコードの指示に基づき、コンピュータ上で
稼動しているOS等が実際の処理の一部又は全部を行
い、その処理によって第1及び第2の実施の形態の機能
が実現される場合も含まれることは言うまでもない。さ
らに、記憶媒体から読み出されたプログラムコードが、
コンピュータに挿入された拡張機能ボードやコンピュー
タに接続された機能拡張ユニットに備わるメモリに書き
込まれた後、そのプログラムコードの指示に基づき、そ
の機能拡張ボードや機能拡張ユニットに備わるCPUな
どが実際の処理の一部又は全部を行い、その処理によっ
て第1及び第2の実施の形態の機能が実現される場合も
含まれることは言うまでもない。
の形態のホスト及び端末の機能を実現するソフトウェア
のプログラムコードを記憶した記憶媒体を、システム或
いは装置に供給し、そのシステム或いは装置のコンピュ
ータ(又はCPUやMPU)が記憶媒体に格納されたプ
ログラムコードを読みだして実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が第1及び第2
のの実施の形態の機能を実現することとなり、そのプロ
グラムコードを記憶した記憶媒体は本発明を構成するこ
ととなる。プログラムコードを供給するための記憶媒体
としては、ROM、フロッピー(登録商標)ディスク、
ハードディスク、光ディスク、光磁気ディスク、CD−
ROM、CD−R、磁気テープ、不揮発性のメモリカー
ド等を用いることができる。また、コンピュータが読み
だしたプログラムコードを実行することにより、第1及
び第2の実施の形態の機能が実現されるだけでなく、そ
のプログラムコードの指示に基づき、コンピュータ上で
稼動しているOS等が実際の処理の一部又は全部を行
い、その処理によって第1及び第2の実施の形態の機能
が実現される場合も含まれることは言うまでもない。さ
らに、記憶媒体から読み出されたプログラムコードが、
コンピュータに挿入された拡張機能ボードやコンピュー
タに接続された機能拡張ユニットに備わるメモリに書き
込まれた後、そのプログラムコードの指示に基づき、そ
の機能拡張ボードや機能拡張ユニットに備わるCPUな
どが実際の処理の一部又は全部を行い、その処理によっ
て第1及び第2の実施の形態の機能が実現される場合も
含まれることは言うまでもない。
【0085】
【発明の効果】以上説明したように本発明では、入力画
像(対象画像)の変化に基づいて、対象画像上に存在す
るオブジェクトを抽出するための初期輪郭情報を発生
し、当該初期輪郭情報に基づいて、対象画像上のオブジ
ェクトを抽出するように構成した。初期輪郭情報を発生
する場合、色及びテクスチャでの領域分割により得られ
た領域と、動き情報(動きベクトル)での領域分割によ
り得られた領域とに応じて、初期輪郭情報を発生する
(各領域を統合した領域の輪郭を初期輪郭情報として発
生する等)ように構成してもよい。
像(対象画像)の変化に基づいて、対象画像上に存在す
るオブジェクトを抽出するための初期輪郭情報を発生
し、当該初期輪郭情報に基づいて、対象画像上のオブジ
ェクトを抽出するように構成した。初期輪郭情報を発生
する場合、色及びテクスチャでの領域分割により得られ
た領域と、動き情報(動きベクトル)での領域分割によ
り得られた領域とに応じて、初期輪郭情報を発生する
(各領域を統合した領域の輪郭を初期輪郭情報として発
生する等)ように構成してもよい。
【0086】上記の構成により、例えば、対象画像上に
存在するオブジェクトを背景から分離或いは切り出す
際、撮影開始直後や、オブジェクトの変化(シーンチェ
ンジの検出及び新たなオブジェクトの出現等)の検出の
結果等に基づいて、オブジェクトの初期輪郭情報を取得
することができるので、対象画像からオブジェクトの画
像領域を自動的に抽出する処理を、高速に且つ正確に行
うことができる。
存在するオブジェクトを背景から分離或いは切り出す
際、撮影開始直後や、オブジェクトの変化(シーンチェ
ンジの検出及び新たなオブジェクトの出現等)の検出の
結果等に基づいて、オブジェクトの初期輪郭情報を取得
することができるので、対象画像からオブジェクトの画
像領域を自動的に抽出する処理を、高速に且つ正確に行
うことができる。
【図1】第1の実施の形態において、本発明を適用した
画像処理装置の構成を示すブロック図である。
画像処理装置の構成を示すブロック図である。
【図2】上記画像処理装置の判定部の動作を説明するた
めのフローチャートである。
めのフローチャートである。
【図3】上記画像処理装置の情報生成部の動作(例1)
を説明するための図である。
を説明するための図である。
【図4】上記画像処理装置の情報生成部の動作(例2)
を説明するための図である。
を説明するための図である。
【図5】上記画像処理装置の符号化部の構成を示すブロ
ック図である。
ック図である。
【図6】上記符号化部の出力を再生する装置の構成を示
すブロック図である。
すブロック図である。
【図7】第2の実施の形態における上記判定部の動作を
説明するためのフローチャートである。
説明するためのフローチャートである。
11 パラメータ 12 画像データ 13 判定情報 14 初期輪郭情報 15 形状データ 16 マスク情報 100 画像処理装置 110 カメラ部 120 判定部 130 情報生成部 131 第1の領域分割処理部 132 第2の領域分割処理部 133 統合処理部 140 トラッキング部 150 符号化部 160 伝送部 170 表示部 180 記録部
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C059 MA00 NN01 NN38 NN43 PP22 PP28 PP29 UA02 UA05 5L096 AA02 AA06 FA06 FA41 GA10 GA19 HA02 HA04 HA05
Claims (14)
- 【請求項1】 連続的な画像データを入力する入力手段
と、 上記入力画像データの変化を検出する検出手段と、 上記検出手段の検出結果に基づいて、上記入力画像デー
タ中に存在するオブジェクトを抽出するための初期輪郭
情報を発生する発生手段と、 上記発生手段により発生された初期輪郭情報に基づい
て、上記入力画像データから上記オブジェクトに対応す
るオブジェクト画像データを抽出する抽出手段とを備え
ることを特徴とする画像処理装置。 - 【請求項2】 上記抽出手段により抽出されたオブジェ
クト画像データを符号化する符号化手段を備えることを
特徴とする請求項1記載の画像処理装置。 - 【請求項3】 上記符号化手段により得られた符号化デ
ータを伝送する伝送手段を備えることを特徴とする請求
項2記載の画像処理装置。 - 【請求項4】 上記符号化手段は、MPEG−4符号化
方式(ISO/IEC 14496)に準拠した符号化
処理を行うことを特徴とする請求項2記載の画像処理装
置。 - 【請求項5】 上記符号化手段により得られた符号化デ
ータを記録媒体に記録する記録手段を備えることを特徴
とする請求項2記載の画像処理装置。 - 【請求項6】 上記入力手段は、カメラにより撮影して
得られた画像データを入力すると共に、当該カメラのパ
ラメータに関するデータを入力し、 上記検出手段は、上記入力パラメータデータに基づい
て、上記入力画像データの変化を検出することを特徴と
する請求項1記載の画像処理装置。 - 【請求項7】 上記検出手段は、上記入力パラメータデ
ータに基づいた検出処理により、上記入力画像データの
変化を検出することを特徴とする請求項6記載の画像処
理装置。 - 【請求項8】 上記カメラは、ビデオカメラを含むこと
を特徴とする請求項6記載の画像処理装置。 - 【請求項9】 上記発生手段は、上記入力画像データの
色及びテクスチャによる領域分割を行う第1の領域分割
手段と、上記入力画像データの動きにより領域分割を行
う第2の領域分割手段とを含み、当該第1の領域分割手
段及び第2の領域分割手段の各出力に基づいて、上記初
期輪郭情報を発生することを特徴とする請求項1記載の
画像処理装置。 - 【請求項10】 上記入力手段により入力された画像デ
ータを表示する表示手段を備え、 上記表示手段は、さらに上記抽出手段の抽出結果を視覚
的に判断可能なように表示することを特徴とする請求項
1記載の画像処理装置。 - 【請求項11】 複数の機器が互いに通信可能に接続さ
れてなる画像処理システムであって、 上記複数の機器のうち少なくとも1つの機器は、請求項
1〜10の何れかに記載の画像処理装置の機能を有する
ことを特徴とする画像処理システム。 - 【請求項12】 連続的な画像データを入力する入力ス
テップと、 上記入力画像データの変化を検出する検出ステップと、 上記検出ステップでの検出結果に応じて上記入力画像デ
ータ中に存在するオブジェクトを抽出するための初期輪
郭情報を発生する発生ステップと、 上記発生ステップにより発生された初期輪郭情報に基づ
いて、上記オブジェクトに対応するオブジェクト画像デ
ータを抽出する抽出ステップとを含むことを特徴とする
画像処理方法。 - 【請求項13】 請求項1〜10の何れかに記載の画像
処理装置の機能、又は請求項11記載の画像処理システ
ムの機能をコンピュータに実現させるためのプログラム
を記録したコンピュータ読出可能な記憶媒体。 - 【請求項14】 請求項12記載の画像処理方法の処理
ステップをコンピュータに実行させるためのプログラム
を記録したコンピュータ読取可能な記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000391204A JP2001266158A (ja) | 2000-01-11 | 2000-12-22 | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
EP20000311769 EP1117262A3 (en) | 2000-01-11 | 2000-12-29 | Image processing apparatus and method, and storage medium |
US09/750,152 US20010019631A1 (en) | 2000-01-11 | 2000-12-29 | Image processing apparatus and method, and storage medium |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000002957 | 2000-01-11 | ||
JP2000-2957 | 2000-01-11 | ||
JP2000391204A JP2001266158A (ja) | 2000-01-11 | 2000-12-22 | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001266158A true JP2001266158A (ja) | 2001-09-28 |
Family
ID=26583329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000391204A Pending JP2001266158A (ja) | 2000-01-11 | 2000-12-22 | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20010019631A1 (ja) |
EP (1) | EP1117262A3 (ja) |
JP (1) | JP2001266158A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005228136A (ja) * | 2004-02-13 | 2005-08-25 | Nissan Motor Co Ltd | 道路領域検出装置 |
JP2006127024A (ja) * | 2004-10-27 | 2006-05-18 | Denso Corp | 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体 |
WO2008139530A1 (ja) * | 2007-04-27 | 2008-11-20 | Honda Motor Co., Ltd. | 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法 |
US7764834B2 (en) | 2002-04-25 | 2010-07-27 | Microsoft Corporation | System and method facilitating document image compression utilizing a mask |
JP2010277431A (ja) * | 2009-05-29 | 2010-12-09 | Secom Co Ltd | 対象物検出装置 |
JP2010277296A (ja) * | 2009-05-28 | 2010-12-09 | Secom Co Ltd | 対象物検知装置 |
US8126210B2 (en) | 2007-04-27 | 2012-02-28 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device, vehicle periphery monitoring program, and vehicle periphery monitoring method |
JP2018045693A (ja) * | 2016-09-12 | 2018-03-22 | フラミー インコーポレイテッド | 動画像背景除去方法及び動画像背景除去システム |
CN108269260A (zh) * | 2016-12-30 | 2018-07-10 | 粉迷科技股份有限公司 | 动态影像去背方法、***与计算机可读取存储装置 |
WO2018189802A1 (ja) * | 2017-04-11 | 2018-10-18 | 楽天株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7043058B2 (en) * | 2001-04-20 | 2006-05-09 | Avid Technology, Inc. | Correcting motion vector maps for image processing |
US6996183B2 (en) | 2001-09-26 | 2006-02-07 | Thomson Licensing | Scene cut detection in a video bitstream |
GB2382940A (en) * | 2001-11-27 | 2003-06-11 | Nokia Corp | Encoding objects and background blocks |
US7130472B2 (en) * | 2002-01-21 | 2006-10-31 | Canon Kabushiki Kaisha | Image distribution apparatus, communication terminal apparatus, and control method thereof |
JP4095325B2 (ja) * | 2002-03-29 | 2008-06-04 | キヤノン株式会社 | 画像配信方法およびその動作処理を実行するプログラムおよびそのプログラムを記憶した記憶媒体、および画像配信装置および画像受信装置 |
US7425981B2 (en) * | 2002-06-12 | 2008-09-16 | British Telecommunications Plc | Video pre-processing |
WO2005004060A1 (ja) * | 2003-07-01 | 2005-01-13 | Honda Motor Co., Ltd. | 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム |
JP5029543B2 (ja) * | 2008-09-09 | 2012-09-19 | 富士通株式会社 | 符号化装置および符号化プログラム |
US8848802B2 (en) * | 2009-09-04 | 2014-09-30 | Stmicroelectronics International N.V. | System and method for object based parametric video coding |
US9626769B2 (en) | 2009-09-04 | 2017-04-18 | Stmicroelectronics International N.V. | Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions |
US10178396B2 (en) | 2009-09-04 | 2019-01-08 | Stmicroelectronics International N.V. | Object tracking |
JP5798556B2 (ja) * | 2010-07-15 | 2015-10-21 | シャープ株式会社 | 復号装置、符号化装置 |
KR20150100113A (ko) * | 2014-02-24 | 2015-09-02 | 삼성전자주식회사 | 영상 처리 장치 및 이의 영상 처리 방법 |
US10127783B2 (en) | 2014-07-07 | 2018-11-13 | Google Llc | Method and device for processing motion events |
US10140827B2 (en) | 2014-07-07 | 2018-11-27 | Google Llc | Method and system for processing motion event notifications |
US9501915B1 (en) | 2014-07-07 | 2016-11-22 | Google Inc. | Systems and methods for analyzing a video stream |
US9420331B2 (en) | 2014-07-07 | 2016-08-16 | Google Inc. | Method and system for categorizing detected motion events |
US9354794B2 (en) | 2014-07-07 | 2016-05-31 | Google Inc. | Method and system for performing client-side zooming of a remote video feed |
US9449229B1 (en) | 2014-07-07 | 2016-09-20 | Google Inc. | Systems and methods for categorizing motion event candidates |
USD782495S1 (en) | 2014-10-07 | 2017-03-28 | Google Inc. | Display screen or portion thereof with graphical user interface |
US9361011B1 (en) | 2015-06-14 | 2016-06-07 | Google Inc. | Methods and systems for presenting multiple live video feeds in a user interface |
US10506237B1 (en) | 2016-05-27 | 2019-12-10 | Google Llc | Methods and devices for dynamic adaptation of encoding bitrate for video streaming |
US10380429B2 (en) | 2016-07-11 | 2019-08-13 | Google Llc | Methods and systems for person detection in a video feed |
US11783010B2 (en) | 2017-05-30 | 2023-10-10 | Google Llc | Systems and methods of person recognition in video streams |
US10664688B2 (en) | 2017-09-20 | 2020-05-26 | Google Llc | Systems and methods of detecting and responding to a visitor to a smart home environment |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0330455A3 (en) * | 1988-02-22 | 1990-07-04 | Kabushiki Kaisha Toshiba | Image encoding apparatus |
WO1992002000A1 (en) * | 1990-07-17 | 1992-02-06 | British Telecommunications Public Limited Company | A method of processing an image |
DE4132359A1 (de) * | 1991-09-27 | 1993-04-01 | Grundig Emv | Verfahren zur aufnahme von bewegtbildern fuer eine nachfolgende, bewegungsinformationsgestuetzte signalverarbeitung |
US5819103A (en) * | 1993-09-21 | 1998-10-06 | Kabushiki Kaisha Toshiba | Information recording/reproducing apparatus and method |
US6188776B1 (en) * | 1996-05-21 | 2001-02-13 | Interval Research Corporation | Principle component analysis of images for the automatic location of control points |
US5999651A (en) * | 1997-06-06 | 1999-12-07 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for tracking deformable objects |
EP0959625A3 (en) * | 1998-05-22 | 2001-11-07 | Tektronix, Inc. | Segmenting video images based on joint region and contour information |
US6266443B1 (en) * | 1998-12-22 | 2001-07-24 | Mitsubishi Electric Research Laboratories, Inc. | Object boundary detection using a constrained viterbi search |
-
2000
- 2000-12-22 JP JP2000391204A patent/JP2001266158A/ja active Pending
- 2000-12-29 EP EP20000311769 patent/EP1117262A3/en not_active Withdrawn
- 2000-12-29 US US09/750,152 patent/US20010019631A1/en not_active Abandoned
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7764834B2 (en) | 2002-04-25 | 2010-07-27 | Microsoft Corporation | System and method facilitating document image compression utilizing a mask |
JP2005228136A (ja) * | 2004-02-13 | 2005-08-25 | Nissan Motor Co Ltd | 道路領域検出装置 |
JP2006127024A (ja) * | 2004-10-27 | 2006-05-18 | Denso Corp | 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体 |
JP4506409B2 (ja) * | 2004-10-27 | 2010-07-21 | 株式会社デンソー | 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体 |
US8411145B2 (en) | 2007-04-27 | 2013-04-02 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device, vehicle periphery monitoring program and vehicle periphery monitoring method |
US8126210B2 (en) | 2007-04-27 | 2012-02-28 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device, vehicle periphery monitoring program, and vehicle periphery monitoring method |
JP5145599B2 (ja) * | 2007-04-27 | 2013-02-20 | 本田技研工業株式会社 | 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法 |
WO2008139530A1 (ja) * | 2007-04-27 | 2008-11-20 | Honda Motor Co., Ltd. | 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法 |
JP2010277296A (ja) * | 2009-05-28 | 2010-12-09 | Secom Co Ltd | 対象物検知装置 |
JP2010277431A (ja) * | 2009-05-29 | 2010-12-09 | Secom Co Ltd | 対象物検出装置 |
JP2018045693A (ja) * | 2016-09-12 | 2018-03-22 | フラミー インコーポレイテッド | 動画像背景除去方法及び動画像背景除去システム |
CN108269260A (zh) * | 2016-12-30 | 2018-07-10 | 粉迷科技股份有限公司 | 动态影像去背方法、***与计算机可读取存储装置 |
WO2018189802A1 (ja) * | 2017-04-11 | 2018-10-18 | 楽天株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JPWO2018189802A1 (ja) * | 2017-04-11 | 2019-04-18 | 楽天株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US10991104B2 (en) | 2017-04-11 | 2021-04-27 | Rakuten, Inc. | Image processing device, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
US20010019631A1 (en) | 2001-09-06 |
EP1117262A3 (en) | 2009-09-30 |
EP1117262A2 (en) | 2001-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2001266158A (ja) | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 | |
US9633447B2 (en) | Adaptable framework for cloud assisted augmented reality | |
US9153073B2 (en) | Spatially registered augmented video | |
US8126207B2 (en) | Subject tracking method, subject tracking device, and computer program product | |
US10021381B2 (en) | Camera pose estimation | |
US20080284900A1 (en) | Digital camera | |
JP6362085B2 (ja) | 画像認識システム、画像認識方法およびプログラム | |
KR20190054890A (ko) | 카메라 및 자이로스코프의 융합을 이용한 5차원 (5d) 비디오 안정화 장치 및 방법 | |
KR101923177B1 (ko) | 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법 | |
US20070263000A1 (en) | Method, Systems And Computer Product For Deriving Three-Dimensional Information Progressively From A Streaming Video Sequence | |
US10535193B2 (en) | Image processing apparatus, image synthesizing apparatus, image processing system, image processing method, and storage medium | |
JP7441926B2 (ja) | 映像コーディングを行うコンピュータプログラム | |
EP3629570A2 (en) | Image capturing apparatus and image recording method | |
JP2005107247A (ja) | 位置姿勢推定方法および装置 | |
CN110490131B (zh) | 一种拍摄设备的定位方法、装置、电子设备及存储介质 | |
US9582896B2 (en) | Line tracking with automatic model initialization by graph matching and cycle detection | |
JP2010193406A (ja) | 画像入力装置及び被写体検出方法、プログラム | |
KR20190055632A (ko) | 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법 | |
US9762811B2 (en) | Image generation device, imaging device, image generation method, and program for generating a new image from a captured image | |
JP4743601B2 (ja) | 動画像処理装置 | |
JP2007156606A (ja) | 画像表示装置及びプログラム | |
US9848133B2 (en) | Image generation device, imaging device, image generation method, and program for generating a new image from a captured image | |
JP5111269B2 (ja) | 画像処理装置、画像処理方法 | |
US9648205B2 (en) | Image generation device, imaging device, image generation method, and program for generating a new image from a captured image based on a cut-out frame | |
JP2012123721A (ja) | 画像処理装置及び画像処理方法 |