JP2001266158A - 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 - Google Patents
画像処理装置、画像処理システム、画像処理方法、及び記憶媒体Info
- Publication number
- JP2001266158A JP2001266158A JP2000391204A JP2000391204A JP2001266158A JP 2001266158 A JP2001266158 A JP 2001266158A JP 2000391204 A JP2000391204 A JP 2000391204A JP 2000391204 A JP2000391204 A JP 2000391204A JP 2001266158 A JP2001266158 A JP 2001266158A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image processing
- image data
- image
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
(57)【要約】
【課題】 対象画像から対象オブジェクトを自動で、効
率的に且つ正確に分離或いは切り出すことが可能な画像
処理装置を提供する。 【解決手段】 入力手段１１０は、連続的な画像データ
を入力する。検出手段１２０は、入力画像データの変化
を検出する。発生手段１３０は、検出手段１２０の検出
結果に応じて入力画像データ中に存在するオブジェクト
を抽出するための初期輪郭情報を発生する。抽出手段１
４０は、発生手段１３０からの初期輪郭情報に基づいて
入力画像データからオブジェクトの画像データを抽出す
る。
率的に且つ正確に分離或いは切り出すことが可能な画像
処理装置を提供する。 【解決手段】 入力手段１１０は、連続的な画像データ
を入力する。検出手段１２０は、入力画像データの変化
を検出する。発生手段１３０は、検出手段１２０の検出
結果に応じて入力画像データ中に存在するオブジェクト
を抽出するための初期輪郭情報を発生する。抽出手段１
４０は、発生手段１３０からの初期輪郭情報に基づいて
入力画像データからオブジェクトの画像データを抽出す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、例えば、ビデオカ
メラ等により撮影して得られた撮影画像から、被写体部
分と背景部分を分離したり、動画における被写体の輪郭
部分を自動で切り出すための装置或いはシステムに用い
られる、画像処理装置、画像処理システム、画像処理方
法、及びそれを実施するための処理ステップをコンピュ
ータが読出可能に格納した記憶媒体に関するものであ
る。
メラ等により撮影して得られた撮影画像から、被写体部
分と背景部分を分離したり、動画における被写体の輪郭
部分を自動で切り出すための装置或いはシステムに用い
られる、画像処理装置、画像処理システム、画像処理方
法、及びそれを実施するための処理ステップをコンピュ
ータが読出可能に格納した記憶媒体に関するものであ
る。
【０００２】
【従来の技術】従来より例えば、ビデオカメラ等により
撮影して得られた撮影画像から、被写体（以下、「オブ
ジェクト」と呼ぶ）部分と背景部分を分離したり、動画
における被写体の輪郭部分を切り出すための画像処理方
法として、撮影時の背景としてブルーバック等を使用す
る方法や、手動で分離或いは切出作業を行う方法、或い
は自動での分離或いは切出を行う方法がある。
撮影して得られた撮影画像から、被写体（以下、「オブ
ジェクト」と呼ぶ）部分と背景部分を分離したり、動画
における被写体の輪郭部分を切り出すための画像処理方
法として、撮影時の背景としてブルーバック等を使用す
る方法や、手動で分離或いは切出作業を行う方法、或い
は自動での分離或いは切出を行う方法がある。
【０００３】
【発明が解決しようとする課題】しかしながら、上述し
た従来の画像処理方法において、対象画像からオブジェ
クト部分を自動で分離或いは切り出す方法（以下、単に
「自動分離方法」と呼ぶ）については、様々な方法が提
案されているが、処理時間の問題や様々なエラーが発生
する等の問題があり、正確にオブジェクト部分の分離或
いは切り出しを行うことができなかった。
た従来の画像処理方法において、対象画像からオブジェ
クト部分を自動で分離或いは切り出す方法（以下、単に
「自動分離方法」と呼ぶ）については、様々な方法が提
案されているが、処理時間の問題や様々なエラーが発生
する等の問題があり、正確にオブジェクト部分の分離或
いは切り出しを行うことができなかった。
【０００４】具体的には例えば、”美濃秀彦「ＳＮＡＫ
ＥＳ：現在、過去、未来」、電子通信学会技術報告ＰＲ
ＭＵ９７−１８４（１９９７−１２）”等に記載されて
いるようなオブジェクトの輪郭線の追跡法を用いた自動
分離方法が提案されている。しかしながら、この方法
は、処理時間は高速であるが、オブジェクトの初期輪郭
のデータを手動で与える必要があること、新たに登場し
たオブジェクトの追跡に対応しにくい等の問題があっ
た。
ＥＳ：現在、過去、未来」、電子通信学会技術報告ＰＲ
ＭＵ９７−１８４（１９９７−１２）”等に記載されて
いるようなオブジェクトの輪郭線の追跡法を用いた自動
分離方法が提案されている。しかしながら、この方法
は、処理時間は高速であるが、オブジェクトの初期輪郭
のデータを手動で与える必要があること、新たに登場し
たオブジェクトの追跡に対応しにくい等の問題があっ
た。
【０００５】また、オブジェクトの初期輪郭のデータを
領域分割によって生成し、その初期輪郭のデータに基づ
き、オブジェクトの輪郭線を追跡する方法も提案された
が、この方法によっても、処理時間の改善にはいたって
いなかった。
領域分割によって生成し、その初期輪郭のデータに基づ
き、オブジェクトの輪郭線を追跡する方法も提案された
が、この方法によっても、処理時間の改善にはいたって
いなかった。
【０００６】そこで、本発明は、上記の欠点を除去する
ために成されたもので、対象画像から対象オブジェクト
を自動で、効率的に且つ正確に分離或いは切り出すこと
が可能な、画像処理装置、画像処理システム、画像処理
方法、及びそれを実施するための処理ステップをコンピ
ュータが読出可能に格納した記憶媒体を提供することを
目的とする。
ために成されたもので、対象画像から対象オブジェクト
を自動で、効率的に且つ正確に分離或いは切り出すこと
が可能な、画像処理装置、画像処理システム、画像処理
方法、及びそれを実施するための処理ステップをコンピ
ュータが読出可能に格納した記憶媒体を提供することを
目的とする。
【０００７】
【課題を解決するための手段】斯かる目的下において、
第１の発明は、連続的な画像データを入力する入力手段
と、上記入力画像データの変化を検出する検出手段と、
上記検出手段の検出結果に基づいて、上記入力画像デー
タ中に存在するオブジェクトを抽出するための初期輪郭
情報を発生する発生手段と、上記発生手段により発生さ
れた初期輪郭情報に基づいて、上記入力画像データから
上記オブジェクトに対応するオブジェクト画像データを
抽出する抽出手段とを備える画像処理装置であることを
特徴とする。
第１の発明は、連続的な画像データを入力する入力手段
と、上記入力画像データの変化を検出する検出手段と、
上記検出手段の検出結果に基づいて、上記入力画像デー
タ中に存在するオブジェクトを抽出するための初期輪郭
情報を発生する発生手段と、上記発生手段により発生さ
れた初期輪郭情報に基づいて、上記入力画像データから
上記オブジェクトに対応するオブジェクト画像データを
抽出する抽出手段とを備える画像処理装置であることを
特徴とする。
【０００８】第２の発明は、上記第１の発明において、
上記抽出手段により抽出されたオブジェクト画像データ
を符号化する符号化手段を備えることを特徴とする。
上記抽出手段により抽出されたオブジェクト画像データ
を符号化する符号化手段を備えることを特徴とする。
【０００９】第３の発明は、上記第２の発明において、
上記符号化手段により得られた符号化データを伝送する
伝送手段を備えることを特徴とする。
上記符号化手段により得られた符号化データを伝送する
伝送手段を備えることを特徴とする。
【００１０】第４の発明は、上記第２の発明において、
上記符号化手段は、ＭＰＥＧ−４符号化方式（ＩＳＯ／
ＩＥＣ １４４９６）に準拠した符号化処理を行うこと
を特徴とする。
上記符号化手段は、ＭＰＥＧ−４符号化方式（ＩＳＯ／
ＩＥＣ １４４９６）に準拠した符号化処理を行うこと
を特徴とする。
【００１１】第５の発明は、上記第２の発明において、
上記符号化手段により得られた符号化データを記録媒体
に記録する記録手段を備えることを特徴とする。
上記符号化手段により得られた符号化データを記録媒体
に記録する記録手段を備えることを特徴とする。
【００１２】第６の発明は、上記第１の発明において、
上記入力手段は、カメラにより撮影して得られた画像デ
ータを入力すると共に、当該カメラのパラメータに関す
るデータを入力し、上記検出手段は、上記入力パラメー
タデータに基づいて、上記入力画像データの変化を検出
することを特徴とする。
上記入力手段は、カメラにより撮影して得られた画像デ
ータを入力すると共に、当該カメラのパラメータに関す
るデータを入力し、上記検出手段は、上記入力パラメー
タデータに基づいて、上記入力画像データの変化を検出
することを特徴とする。
【００１３】第７の発明は、上記第６の発明において、
上記検出手段は、上記入力パラメータデータに基づいた
検出処理により、上記入力画像データの変化を検出する
ことを特徴とする。
上記検出手段は、上記入力パラメータデータに基づいた
検出処理により、上記入力画像データの変化を検出する
ことを特徴とする。
【００１４】第８の発明は、上記第６の発明において、
上記カメラは、ビデオカメラを含むことを特徴とする。
上記カメラは、ビデオカメラを含むことを特徴とする。
【００１５】第９の発明は、上記第１の発明において、
上記発生手段は、上記入力画像データの色及びテクスチ
ャによる領域分割を行う第１の領域分割手段と、上記入
力画像データの動きにより領域分割を行う第２の領域分
割手段とを含み、当該第１の領域分割手段及び第２の領
域分割手段の各出力に基づいて、上記初期輪郭情報を発
生することを特徴とする。
上記発生手段は、上記入力画像データの色及びテクスチ
ャによる領域分割を行う第１の領域分割手段と、上記入
力画像データの動きにより領域分割を行う第２の領域分
割手段とを含み、当該第１の領域分割手段及び第２の領
域分割手段の各出力に基づいて、上記初期輪郭情報を発
生することを特徴とする。
【００１６】第１０の発明は、上記第１の発明におい
て、上記入力手段により入力された画像データを表示す
る表示手段を備え、上記表示手段は、さらに上記抽出手
段の抽出結果を視覚的に判断可能なように表示すること
を特徴とする。
て、上記入力手段により入力された画像データを表示す
る表示手段を備え、上記表示手段は、さらに上記抽出手
段の抽出結果を視覚的に判断可能なように表示すること
を特徴とする。
【００１７】第１１の発明は、複数の機器が互いに通信
可能に接続されてなる画像処理システムであって、上記
複数の機器のうち少なくとも１つの機器は、請求項１〜
１０の何れかに記載の画像処理装置の機能を有すること
を特徴とする。
可能に接続されてなる画像処理システムであって、上記
複数の機器のうち少なくとも１つの機器は、請求項１〜
１０の何れかに記載の画像処理装置の機能を有すること
を特徴とする。
【００１８】第１２の発明は、連続的な画像データを入
力する入力ステップと、上記入力画像データの変化を検
出する検出ステップと、上記検出ステップでの検出結果
に応じて上記入力画像データ中に存在するオブジェクト
を抽出するための初期輪郭情報を発生する発生ステップ
と、上記発生ステップにより発生された初期輪郭情報に
基づいて、上記オブジェクトに対応するオブジェクト画
像データを抽出する抽出ステップとを含む画像処理方法
であることを特徴とする。
力する入力ステップと、上記入力画像データの変化を検
出する検出ステップと、上記検出ステップでの検出結果
に応じて上記入力画像データ中に存在するオブジェクト
を抽出するための初期輪郭情報を発生する発生ステップ
と、上記発生ステップにより発生された初期輪郭情報に
基づいて、上記オブジェクトに対応するオブジェクト画
像データを抽出する抽出ステップとを含む画像処理方法
であることを特徴とする。
【００１９】第１３の発明は、請求項１〜１０の何れか
に記載の画像処理装置の機能、又は請求項１１記載の画
像処理システムの機能をコンピュータに実現させるため
のプログラムをコンピュータ読出可能な記憶媒体に記録
したことを特徴とする。
に記載の画像処理装置の機能、又は請求項１１記載の画
像処理システムの機能をコンピュータに実現させるため
のプログラムをコンピュータ読出可能な記憶媒体に記録
したことを特徴とする。
【００２０】第１４の発明は、請求項１２記載の画像処
理方法の処理ステップをコンピュータに実行させるため
のプログラムをコンピュータ読出可能な記憶媒体に記録
したことを特徴とする。
理方法の処理ステップをコンピュータに実行させるため
のプログラムをコンピュータ読出可能な記憶媒体に記録
したことを特徴とする。
【００２１】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。
て図面を用いて説明する。
【００２２】（第１の実施の形態）本発明は、例えば、
図１に示すような画像処理装置１００に適用される。本
実施の形態の画像処理装置１００は、ビデオカメラ等の
カメラ部１１０により撮影して得られた画像データか
ら、オブジェクト部分と背景部分を分離して、これらの
それぞれを独立に符号化して外部装置に伝送する機能を
有する。
図１に示すような画像処理装置１００に適用される。本
実施の形態の画像処理装置１００は、ビデオカメラ等の
カメラ部１１０により撮影して得られた画像データか
ら、オブジェクト部分と背景部分を分離して、これらの
それぞれを独立に符号化して外部装置に伝送する機能を
有する。
【００２３】＜画像処理装置１００の全体構成＞画像処
理装置１００は、上記図１に示すように、被写体を撮像
して当該被写体の画像データ１２（対象画像）を出力す
るカメラ部１１０と、カメラ部１１０から出力された画
像データ１２から被写体の初期輪郭情報を取得（検索）
するか否かを判定する判定部１２０と、判定部１２０で
の判定結果（判定情報１３）に基づいて初期輪郭情報１
４を生成する情報生成部１３０と、情報生成部１３０で
得られた初期輪郭情報１４に基づいてオブジェクトのト
ラッキングを行ってオブジェクトの形状データ１５を発
生するトラッキング部１４０と、トラッキング部１４０
からの形状データ１５を用いてカメラ部１１０から出力
された画像データ１２をＭＰＥＧ−４符号化方式（ＩＳ
Ｏ／ＩＥＣ １４４９６）に準拠したオブジェクト単位
で符号化する符号化部１５０と、符号化部１５０により
符号化された画像データをインターネット等を介して外
部装置に伝送する伝送部１６０と、トラッキング部１４
０のトラッキングの結果や撮影画像等を表示画面により
確認するための表示部１７０と、符号化部１５０により
符号化された画像データをハードディスクやメモリ、或
いはＣＤ−ＲＯＭ等の記録媒体に記録する記録部１８０
とを備えている。
理装置１００は、上記図１に示すように、被写体を撮像
して当該被写体の画像データ１２（対象画像）を出力す
るカメラ部１１０と、カメラ部１１０から出力された画
像データ１２から被写体の初期輪郭情報を取得（検索）
するか否かを判定する判定部１２０と、判定部１２０で
の判定結果（判定情報１３）に基づいて初期輪郭情報１
４を生成する情報生成部１３０と、情報生成部１３０で
得られた初期輪郭情報１４に基づいてオブジェクトのト
ラッキングを行ってオブジェクトの形状データ１５を発
生するトラッキング部１４０と、トラッキング部１４０
からの形状データ１５を用いてカメラ部１１０から出力
された画像データ１２をＭＰＥＧ−４符号化方式（ＩＳ
Ｏ／ＩＥＣ １４４９６）に準拠したオブジェクト単位
で符号化する符号化部１５０と、符号化部１５０により
符号化された画像データをインターネット等を介して外
部装置に伝送する伝送部１６０と、トラッキング部１４
０のトラッキングの結果や撮影画像等を表示画面により
確認するための表示部１７０と、符号化部１５０により
符号化された画像データをハードディスクやメモリ、或
いはＣＤ−ＲＯＭ等の記録媒体に記録する記録部１８０
とを備えている。
【００２４】また、情報生成部１３０は、色／テクスチ
ャに基づいて対象画像の領域分割処理を行う第１の領域
分割処理部１３１と、動き情報に基づいて対象画像の領
域分割処理を行う第２の領域分割処理１３２と、第１の
領域分割処理部１３１及び第２の領域分割処理部１３２
で得られた各情報を統合する統合処理部１３３とを含ん
でいる。
ャに基づいて対象画像の領域分割処理を行う第１の領域
分割処理部１３１と、動き情報に基づいて対象画像の領
域分割処理を行う第２の領域分割処理１３２と、第１の
領域分割処理部１３１及び第２の領域分割処理部１３２
で得られた各情報を統合する統合処理部１３３とを含ん
でいる。
【００２５】上述のような画像処理装置１００におい
て、表示部１７０は、トラッキング部１４０からの形状
データ１５に基づいて、対象画像上のオブジェクト部分
をマスクした画像を表示したり、当該オブジェクト部分
の輪郭部分を強調して表示すること等も行えるように構
成されている。
て、表示部１７０は、トラッキング部１４０からの形状
データ１５に基づいて、対象画像上のオブジェクト部分
をマスクした画像を表示したり、当該オブジェクト部分
の輪郭部分を強調して表示すること等も行えるように構
成されている。
【００２６】判定部１２０は、例えば、対象画像からシ
ーンチェンジを検出し、その検出結果に基づいて、初期
輪郭情報を取得するか否かを示す判定情報１３を出力す
る。
ーンチェンジを検出し、その検出結果に基づいて、初期
輪郭情報を取得するか否かを示す判定情報１３を出力す
る。
【００２７】情報生成部１３０において、第１の領域分
割処理部１３１は、対象画像の色やテクスチャに基づい
て、対象画像を領域分割する。第２の領域分割処理部１
３２は、対象画像から動き情報（動きベクトル）を検出
し、その動き情報に基づいて、対象画像を領域分割す
る。尚、第１の領域分割処理部１３１による領域分割処
理の単位は、第２の領域分割処理部１３２による領域分
割処理の単位よりも細かい単位としている。
割処理部１３１は、対象画像の色やテクスチャに基づい
て、対象画像を領域分割する。第２の領域分割処理部１
３２は、対象画像から動き情報（動きベクトル）を検出
し、その動き情報に基づいて、対象画像を領域分割す
る。尚、第１の領域分割処理部１３１による領域分割処
理の単位は、第２の領域分割処理部１３２による領域分
割処理の単位よりも細かい単位としている。
【００２８】統合処理部１３３は、判定部１２０からの
検出情報１３に基づいて、第１の領域分割処理部１３１
及び第２の領域分割処理部１３２で得られた各情報によ
り示される各領域を統合した領域の輪郭線（初期輪郭情
報１４）を生成して出力する。
検出情報１３に基づいて、第１の領域分割処理部１３１
及び第２の領域分割処理部１３２で得られた各情報によ
り示される各領域を統合した領域の輪郭線（初期輪郭情
報１４）を生成して出力する。
【００２９】また、統合処理部１３３は、初期輪郭情報
１４により示される輪郭線内部の情報をマスク処理（例
えば、黒色画像や灰色画像とする処理）したマスク情報
１６を表示部１７０に供給できるようになされている。
これにより、表示部１７０において、対象画像（画像デ
ータ１２）に対してマスク情報１６を重畳して表示する
ことで、ユーザは、初期輪郭が、どのように抽出された
か等を認識することができる。
１４により示される輪郭線内部の情報をマスク処理（例
えば、黒色画像や灰色画像とする処理）したマスク情報
１６を表示部１７０に供給できるようになされている。
これにより、表示部１７０において、対象画像（画像デ
ータ１２）に対してマスク情報１６を重畳して表示する
ことで、ユーザは、初期輪郭が、どのように抽出された
か等を認識することができる。
【００３０】トラッキング部１４０は、情報生成部１３
０の統合処理部１３３により得られた初期輪郭情報１
４、或いは過去のフレームで検出された初期輪郭情報に
基づいて、対象画像上の対象オブジェクトの時間軸方向
のトラッキングを行う。
０の統合処理部１３３により得られた初期輪郭情報１
４、或いは過去のフレームで検出された初期輪郭情報に
基づいて、対象画像上の対象オブジェクトの時間軸方向
のトラッキングを行う。
【００３１】具体的には例えば、本実施の形態では、ト
ラッキング部１４０でのトラッキング方法として、「ス
ネークス」と呼ばれる動的輪郭モデルのエネルギー最小
化方法を採用する。
ラッキング部１４０でのトラッキング方法として、「ス
ネークス」と呼ばれる動的輪郭モデルのエネルギー最小
化方法を採用する。
【００３２】スネークスの詳細に関しては、例えば、
「Ｍｉｃｈａｅｌ Ｋａｓｓ，Ａｎｄｒｅｗ Ｗｉｔｋ
ｉｎ，ａｎｄ Ｄｅｍｅｔｒｉ Ｔｅｒｚｏｐｏｕｌｏ
ｓ，”Ｓｎａｋｅｓ： Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ
Ｍｏｄｅｌｓ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊ
ｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏ
ｎ， Ｖｏｌ．１， Ｎｏ．３，ｐｐ．３２１−３３
１， １９８８」等の文献に開示されている。
「Ｍｉｃｈａｅｌ Ｋａｓｓ，Ａｎｄｒｅｗ Ｗｉｔｋ
ｉｎ，ａｎｄ Ｄｅｍｅｔｒｉ Ｔｅｒｚｏｐｏｕｌｏ
ｓ，”Ｓｎａｋｅｓ： Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ
Ｍｏｄｅｌｓ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊ
ｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏ
ｎ， Ｖｏｌ．１， Ｎｏ．３，ｐｐ．３２１−３３
１， １９８８」等の文献に開示されている。
【００３３】スネークスは、輪郭線が抽出されたときに
最小となるエネルギー関数を定義し、適当な初期値か
ら、その極小解を反復計算により求めるものである。ま
た、エネルギー関数は、エッジ点を通る制約の外部エネ
ルギーと滑らかさの制約である内部エネルギーの線形和
で定義される。
最小となるエネルギー関数を定義し、適当な初期値か
ら、その極小解を反復計算により求めるものである。ま
た、エネルギー関数は、エッジ点を通る制約の外部エネ
ルギーと滑らかさの制約である内部エネルギーの線形和
で定義される。
【００３４】スネークスを適用するには、抽出対象オブ
ジェクトの輪郭を初期輪郭として大まかに指定しておく
必要があるが、上述した初期輪郭抽出方法により初期輪
郭は設定すればよい。また、各フレーム毎に初期輪郭の
設定が必要となるが、本実施の形態では、シーンチェン
ジが検出されない期間は前のフレームの抽出結果を現フ
レームの初期値とする。
ジェクトの輪郭を初期輪郭として大まかに指定しておく
必要があるが、上述した初期輪郭抽出方法により初期輪
郭は設定すればよい。また、各フレーム毎に初期輪郭の
設定が必要となるが、本実施の形態では、シーンチェン
ジが検出されない期間は前のフレームの抽出結果を現フ
レームの初期値とする。
【００３５】一般に、スネークスは、対象画像の平面
（ｘ，ｙ）上において、媒介変数で表現される輪郭（閉
曲線）ｖ、具体的には、
（ｘ，ｙ）上において、媒介変数で表現される輪郭（閉
曲線）ｖ、具体的には、
【００３６】
【数１】
【００３７】なる式（１）で表される輪郭（閉曲線）ｖ
を、
を、
【００３８】
【数２】
【００３９】なる式（２）で定義されるエネルギー関数
を最小化するように変形し、エネルギーの極小状態とし
てその形状が決まる輪郭抽出モデルである。
を最小化するように変形し、エネルギーの極小状態とし
てその形状が決まる輪郭抽出モデルである。
【００４０】上記式（２）において、「Ｅｉｎｔ」は、
内部エネルギーを示し、「Ｅｉｍａｇｅ」は、画像エネ
ルギーを示し、「Ｅｃｏｎ」は、外部エネルギーを示
す。外部エネルギーＥｃｏｎは、必要に応じて、スネー
クスに外部から強制的に力を働かせる場合に用いられ
る。
内部エネルギーを示し、「Ｅｉｍａｇｅ」は、画像エネ
ルギーを示し、「Ｅｃｏｎ」は、外部エネルギーを示
す。外部エネルギーＥｃｏｎは、必要に応じて、スネー
クスに外部から強制的に力を働かせる場合に用いられ
る。
【００４１】内部エネルギーＥｉｎｔには、多くの場合
に、
に、
【００４２】
【数３】
【００４３】なる式（３）で表される、輪郭の滑らかさ
を示すＥｓｐｌｉｎｅが用いられる。
を示すＥｓｐｌｉｎｅが用いられる。
【００４４】上記式（３）において、「ｖ´（ｓ）」及
び「ｖ´´（ｓ）」はそれぞれ、ｖ（ｓ）の１次微分及
び２次微分である。「α」及び「β」は重み係数であ
り、一般的には「ｓ」の関数であるが、ここでは定数と
する。Ｅｓｐｌｉｎｅの最小化により、スネークスは滑
らかに収縮する力を受ける。
び「ｖ´´（ｓ）」はそれぞれ、ｖ（ｓ）の１次微分及
び２次微分である。「α」及び「β」は重み係数であ
り、一般的には「ｓ」の関数であるが、ここでは定数と
する。Ｅｓｐｌｉｎｅの最小化により、スネークスは滑
らかに収縮する力を受ける。
【００４５】画像エネルギーＥｉｍａｇｅには、対象画
像の輝度ｌ（ｖ（ｓ））を用いて定義される、
像の輝度ｌ（ｖ（ｓ））を用いて定義される、
【００４６】
【数４】
【００４７】なる式（４）により表される、Ｅｅｄｇｅ
が多く用いられる。上記式（４）において、「γ」は、
画像エネルギーＥｉｍａｇｅに対する重み係数である。
が多く用いられる。上記式（４）において、「γ」は、
画像エネルギーＥｉｍａｇｅに対する重み係数である。
【００４８】Ｅｅｄｇｅは、輝度勾配の大きさを表すも
のであり、スネークスは、輝度勾配の大きさＥｅｄｇｅ
の最小化により、エッジに引き寄せられる力を受ける。
のであり、スネークスは、輝度勾配の大きさＥｅｄｇｅ
の最小化により、エッジに引き寄せられる力を受ける。
【００４９】＜判定部１２０の動作＞図２は、判定部１
２０の動作をフローチャートによって示したものであ
る。
２０の動作をフローチャートによって示したものであ
る。
【００５０】ステップＳ２００：先ず、判定部１２０
は、カメラ部１１０による撮影開始直後か否かを判断す
る。具体的には例えば、判定部１２０は、カメラ部１１
０に設けられた記録開始のトリガスイッチ（不図示）が
ＯＮされた直後であるか否かを検出することで、当該判
断を行う。この判断の結果、撮影開始直後でない場合、
次のステップＳ２０１へ進み、撮影開始直後である場
合、後述するステップＳ２０６へ進む。
は、カメラ部１１０による撮影開始直後か否かを判断す
る。具体的には例えば、判定部１２０は、カメラ部１１
０に設けられた記録開始のトリガスイッチ（不図示）が
ＯＮされた直後であるか否かを検出することで、当該判
断を行う。この判断の結果、撮影開始直後でない場合、
次のステップＳ２０１へ進み、撮影開始直後である場
合、後述するステップＳ２０６へ進む。
【００５１】ステップＳ２０１：ステップＳ２００の判
断の結果、撮影開始直後でない場合、判定部１２０は、
グローバル動き検出のためのパラメータ１１（例えば、
カメラ部１１０に備わるパン／チルトを判断するための
ジャイロセンサーからの情報や、ズームに関する情報
等）をカメラ部１１０から取得する。
断の結果、撮影開始直後でない場合、判定部１２０は、
グローバル動き検出のためのパラメータ１１（例えば、
カメラ部１１０に備わるパン／チルトを判断するための
ジャイロセンサーからの情報や、ズームに関する情報
等）をカメラ部１１０から取得する。
【００５２】ステップＳ２０２：判定部１２０は、ステ
ップＳ２０１で取得したパラメータ１１から、グローバ
ルな動きが有るか否か、すなわちカメラ部１１０が静止
しているか、或いは動いているか（パン、チルト等の動
きが有るか否か）を判別する。この判別の結果、グロー
バルな動き有りの場合には、次のステップＳ２０３へ進
み、グローバルな動き無しの場合には、次のステップＳ
２０４へ進む。
ップＳ２０１で取得したパラメータ１１から、グローバ
ルな動きが有るか否か、すなわちカメラ部１１０が静止
しているか、或いは動いているか（パン、チルト等の動
きが有るか否か）を判別する。この判別の結果、グロー
バルな動き有りの場合には、次のステップＳ２０３へ進
み、グローバルな動き無しの場合には、次のステップＳ
２０４へ進む。
【００５３】ステップＳ２０３：ステップＳ２０２の判
別の結果、グローバルな動き有りの場合（カメラ部１１
０が動いている場合）、判定部１２０は、カメラ１１０
から出力される対象画像のフレーム間の位置の位相差を
用いて、カメラ部１１０のグローバルな動きを補正し
て、対象画像におけるシーンカット（シーンチェンジ）
検出のための情報（フレーム間差分の二乗和等）を算出
する。
別の結果、グローバルな動き有りの場合（カメラ部１１
０が動いている場合）、判定部１２０は、カメラ１１０
から出力される対象画像のフレーム間の位置の位相差を
用いて、カメラ部１１０のグローバルな動きを補正し
て、対象画像におけるシーンカット（シーンチェンジ）
検出のための情報（フレーム間差分の二乗和等）を算出
する。
【００５４】ステップＳ２０４：ステップＳ２０２の判
別の結果、グローバルな動き無しの場合（カメラ部１１
０が動いていない場合）、判定部１２０は、上記のフレ
ーム間の位置の位相差無しで、対象画像におけるシーン
カット（シーンチェンジ）検出のための情報（フレーム
間差分の二乗和等）を算出する。
別の結果、グローバルな動き無しの場合（カメラ部１１
０が動いていない場合）、判定部１２０は、上記のフレ
ーム間の位置の位相差無しで、対象画像におけるシーン
カット（シーンチェンジ）検出のための情報（フレーム
間差分の二乗和等）を算出する。
【００５５】上述のように、ステップＳ２０３では、フ
レーム間の位置の位相差によりカメラ部１１０の動きを
補正して、シーンカット（シーンチェンジ）検出のため
の情報を取得するのに対して、ステップＳ２０４では、
シーンカット（シーンチェンジ）検出のための情報を、
フレーム間の位置の位相差無しで取得する。これらの２
つの検出方法により、カメラ部１１０の動きが原因で生
じるシーンチェンジの誤検出を抑制できる。
レーム間の位置の位相差によりカメラ部１１０の動きを
補正して、シーンカット（シーンチェンジ）検出のため
の情報を取得するのに対して、ステップＳ２０４では、
シーンカット（シーンチェンジ）検出のための情報を、
フレーム間の位置の位相差無しで取得する。これらの２
つの検出方法により、カメラ部１１０の動きが原因で生
じるシーンチェンジの誤検出を抑制できる。
【００５６】ステップＳ２０５：判定部１２０は、ステ
ップＳ２０３又はＳ２０４の処理によりシーンカット
（シーンチェンジ）検出のための情報が得られると、そ
の得られた情報から、カメラ１１０から出力される対象
画像にシーンカット（シーンチェンジ）が発生したか否
かを判定する。この判定の結果、シーンカット（シーン
チェンジ）発生の場合は、次のステップＳ２０６へ進
み、そうでない場合は、本処理終了となる。
ップＳ２０３又はＳ２０４の処理によりシーンカット
（シーンチェンジ）検出のための情報が得られると、そ
の得られた情報から、カメラ１１０から出力される対象
画像にシーンカット（シーンチェンジ）が発生したか否
かを判定する。この判定の結果、シーンカット（シーン
チェンジ）発生の場合は、次のステップＳ２０６へ進
み、そうでない場合は、本処理終了となる。
【００５７】ステップＳ２０６：ステップＳ２０５の判
定の結果、対象画像にシーンカット（シーンチェンジ）
が発生した場合、或いは上述したステップＳ２００の判
断の結果、撮影開始直後である場合、判定部１２０は、
初期輸郭情報１４を検出するための処理が必要なことを
示す判定情報１３を、情報生成部１３０に対して出力す
る。その後、本処理終了となる。
定の結果、対象画像にシーンカット（シーンチェンジ）
が発生した場合、或いは上述したステップＳ２００の判
断の結果、撮影開始直後である場合、判定部１２０は、
初期輸郭情報１４を検出するための処理が必要なことを
示す判定情報１３を、情報生成部１３０に対して出力す
る。その後、本処理終了となる。
【００５８】したがって、情報生成部１３０は、例え
ば、判定部１２０からの判定情報１３により初期輸郭情
報１４を新たに検出する必要が生じた場合、すなわち撮
影開始直後及びシーンチェンジが検出された場合に、初
期輪郭情報１４の生成及び出力を行う。
ば、判定部１２０からの判定情報１３により初期輸郭情
報１４を新たに検出する必要が生じた場合、すなわち撮
影開始直後及びシーンチェンジが検出された場合に、初
期輪郭情報１４の生成及び出力を行う。
【００５９】＜情報生成部１３０の動作＞ここでは特
に、情報生成部１３０での初期輪郭情報１４の生成処理
を説明する。
に、情報生成部１３０での初期輪郭情報１４の生成処理
を説明する。
【００６０】上述したように、撮影開始直後或いはシー
ンチェンジが検出された場合に、情報生成部１３０は、
初期輪郭情報１４の生成及び出力を行う。本実施の形態
では、情報生成部１３０は、対象画像に対する色／テク
スチャでの領域分割処理により得られた情報（第１の領
域分割処理部１３１から出力された情報）と、対象画像
に対する動き情報（動きベクトル）での領域分割処理に
より得られた情報（第２の領域分割処理部１３２から出
力された情報）とを統合して、対象画像のオブジェクト
の初期輪郭情報１４を生成する。このような構成によ
り、動画の全フレームに対して実行可能であり、高速に
オブジェクトの初期輪郭を得ることが可能な処理を実現
する。以下、情報生成部１３０における初期輪郭情報１
４の生成及び出力の具体例（１），（２）を挙げる。
ンチェンジが検出された場合に、情報生成部１３０は、
初期輪郭情報１４の生成及び出力を行う。本実施の形態
では、情報生成部１３０は、対象画像に対する色／テク
スチャでの領域分割処理により得られた情報（第１の領
域分割処理部１３１から出力された情報）と、対象画像
に対する動き情報（動きベクトル）での領域分割処理に
より得られた情報（第２の領域分割処理部１３２から出
力された情報）とを統合して、対象画像のオブジェクト
の初期輪郭情報１４を生成する。このような構成によ
り、動画の全フレームに対して実行可能であり、高速に
オブジェクトの初期輪郭を得ることが可能な処理を実現
する。以下、情報生成部１３０における初期輪郭情報１
４の生成及び出力の具体例（１），（２）を挙げる。
【００６１】（１）処理例１ 例えば、対象画像が、オブジェクトとしての自動車部分
と背景部分からなる画像であり、対象画像から自動車部
分の初期輪郭情報１４を取得する場合、情報生成部１３
０での処理は、図３（ａ）〜同図（ｃ）により示され
る。
と背景部分からなる画像であり、対象画像から自動車部
分の初期輪郭情報１４を取得する場合、情報生成部１３
０での処理は、図３（ａ）〜同図（ｃ）により示され
る。
【００６２】上記図３（ａ）は、色／テクスチャに基づ
いて領域分割を行う第１の領域分割処理部１３１で得ら
れる自動車部分（対象オブジェクト）に当たる分割情報
３０１を示したものであり、同図（ｂ）は、動き情報に
基づいて領域分割を行う第２の領域分割処理部１３２で
得られる自動車部分に当たる分割情報３０２を示したも
のであり、同図（ｃ）は、領域情報の統合処理部１３３
において、第１の領域分割処理部１３１から得られた情
報３０１及び第２の領域分割処理部１３２で得られた情
報３０２から生成される初期輪郭情報１４を示したもの
である。
いて領域分割を行う第１の領域分割処理部１３１で得ら
れる自動車部分（対象オブジェクト）に当たる分割情報
３０１を示したものであり、同図（ｂ）は、動き情報に
基づいて領域分割を行う第２の領域分割処理部１３２で
得られる自動車部分に当たる分割情報３０２を示したも
のであり、同図（ｃ）は、領域情報の統合処理部１３３
において、第１の領域分割処理部１３１から得られた情
報３０１及び第２の領域分割処理部１３２で得られた情
報３０２から生成される初期輪郭情報１４を示したもの
である。
【００６３】第１の領域分割処理部１３１では、上記図
３（ａ）に示すように、自動車部分が領域３０１ａ，３
０１ｂ，・・・，３０１ｆに過分割された情報３０１が
得られる。第２の領域分割処理部１３２では、上記図３
（ｂ）に示すように、例えば、動きベクトルを公知のブ
ロックマッチィング法で求めたときの当該動きベクトル
の大きさに基づき、動きベクトルが大きな前景領域３０
２ａと、静止した背景領域（後述する境界領域３０２ｂ
の周囲領域）と、これらの２つの動きベクトルとは異な
る大きさのベクトルの境界領域３０２ｂとの、３つの領
域に分割された情報３０２が得られる。
３（ａ）に示すように、自動車部分が領域３０１ａ，３
０１ｂ，・・・，３０１ｆに過分割された情報３０１が
得られる。第２の領域分割処理部１３２では、上記図３
（ｂ）に示すように、例えば、動きベクトルを公知のブ
ロックマッチィング法で求めたときの当該動きベクトル
の大きさに基づき、動きベクトルが大きな前景領域３０
２ａと、静止した背景領域（後述する境界領域３０２ｂ
の周囲領域）と、これらの２つの動きベクトルとは異な
る大きさのベクトルの境界領域３０２ｂとの、３つの領
域に分割された情報３０２が得られる。
【００６４】したがって、統合処理部１３３は、上記図
３（ａ）に示した情報３０１により示される領域３０１
ａ，３０１ｂ，・・・，３０１ｆから、上記図３（ｂ）
に示した情報３０２の背景領域でない領域、すなわち前
景領域３０２ａ及び境界領域３０２ｂを前景領域として
再分割し、領域３０２ａと重なる領域３０１ａ，３０１
ｂ，・・・，３０１ｆの当該重なりの度合い（重なり
度）をそれぞれ求め、その重なり度が所定値以上である
領域については、領域３０２ａと同じ動きをする１つの
オブジェクト部分であると判定し、この結果得られた領
域の輪郭を、自動車部分（オブジェクト部分）の輪郭線
情報１４として抽出する。
３（ａ）に示した情報３０１により示される領域３０１
ａ，３０１ｂ，・・・，３０１ｆから、上記図３（ｂ）
に示した情報３０２の背景領域でない領域、すなわち前
景領域３０２ａ及び境界領域３０２ｂを前景領域として
再分割し、領域３０２ａと重なる領域３０１ａ，３０１
ｂ，・・・，３０１ｆの当該重なりの度合い（重なり
度）をそれぞれ求め、その重なり度が所定値以上である
領域については、領域３０２ａと同じ動きをする１つの
オブジェクト部分であると判定し、この結果得られた領
域の輪郭を、自動車部分（オブジェクト部分）の輪郭線
情報１４として抽出する。
【００６５】（２）処理例２ 例えば、図４に示すように、対象画像が、オブジェクト
としての魚部分と背景部分からなる画像であり、対象画
像から魚部分の初期輪郭情報１４を取得する場合、情報
生成部１３０での処理は、図４により示される。
としての魚部分と背景部分からなる画像であり、対象画
像から魚部分の初期輪郭情報１４を取得する場合、情報
生成部１３０での処理は、図４により示される。
【００６６】先ず、第１の領域分割処理部１３１は、対
象画像を色／テクスチャによって領域分割して、背景部
分を過分割した情報４０１を取得する。一方、第２の領
域分割処理部１３２は、対象画像を動き情報によって領
域分割して、動きベクトルが大きな前景領域と、静止し
た背景領域と、これらの２つとは動きベクトルが異なる
境界領域との、３つの領域に分割した情報４０２を取得
する。
象画像を色／テクスチャによって領域分割して、背景部
分を過分割した情報４０１を取得する。一方、第２の領
域分割処理部１３２は、対象画像を動き情報によって領
域分割して、動きベクトルが大きな前景領域と、静止し
た背景領域と、これらの２つとは動きベクトルが異なる
境界領域との、３つの領域に分割した情報４０２を取得
する。
【００６７】統合処理部１３３は、第１の領域分割処理
部１３１により得られた情報４０１と、第２の領域分割
処理部１３２により得られた情報４０２とを重ね合わせ
（図４中”４０３”参照）、第１の領域分割処理部１３
１により分割された領域において、第１の領域分離処理
部１３１では分割されたが第２の領域分割処理１３２で
は分割されていない領域については、第１の領域分割処
理部１３１の分割結果を補正して、分割領域を同一の領
域となるように補正し（図４中”４０４”参照）、補正
後の背景領域と、それ以外の領域との境界線を初期輪郭
情報１４として生成する。
部１３１により得られた情報４０１と、第２の領域分割
処理部１３２により得られた情報４０２とを重ね合わせ
（図４中”４０３”参照）、第１の領域分割処理部１３
１により分割された領域において、第１の領域分離処理
部１３１では分割されたが第２の領域分割処理１３２で
は分割されていない領域については、第１の領域分割処
理部１３１の分割結果を補正して、分割領域を同一の領
域となるように補正し（図４中”４０４”参照）、補正
後の背景領域と、それ以外の領域との境界線を初期輪郭
情報１４として生成する。
【００６８】＜符号化部１５０の構成及び動作＞符号化
部１５０は、例えば、図５に示すように、カメラ部１１
０からの対象画像（画像データ）１２及びトラッキング
部１４０からの形状データ１５が供給されるテキスチャ
符号化部１５１と、トラッキング部１４０からの形状デ
ータ１５が供給される形状符号化部１５２と、テキスチ
ャ符号化部１５１及び形状符号化部１５２の各出力が供
給される符号合成部１５３とを含んでいる。
部１５０は、例えば、図５に示すように、カメラ部１１
０からの対象画像（画像データ）１２及びトラッキング
部１４０からの形状データ１５が供給されるテキスチャ
符号化部１５１と、トラッキング部１４０からの形状デ
ータ１５が供給される形状符号化部１５２と、テキスチ
ャ符号化部１５１及び形状符号化部１５２の各出力が供
給される符号合成部１５３とを含んでいる。
【００６９】先ず、カメラ部１１０から出力された対象
画像１２は、テキスチャ符号化部１５１に入力される。
このとき、トラキング部１４０から出力された形状デー
タ１５も、テキスチャ符号化部１５１に入力される。テ
キスチャ符号化部１５１は、トラキング部１４０からの
形状データ１５に基づいて、カメラ部１１０からの画像
画像１２における各オブジェクトの画像データ（輝度及
び色差データ）を切り出して、これらのオブジェクトデ
ータに対して、オブジェクト毎の符号化を行う。
画像１２は、テキスチャ符号化部１５１に入力される。
このとき、トラキング部１４０から出力された形状デー
タ１５も、テキスチャ符号化部１５１に入力される。テ
キスチャ符号化部１５１は、トラキング部１４０からの
形状データ１５に基づいて、カメラ部１１０からの画像
画像１２における各オブジェクトの画像データ（輝度及
び色差データ）を切り出して、これらのオブジェクトデ
ータに対して、オブジェクト毎の符号化を行う。
【００７０】また、トラキング部１４０から出力された
形状データ１５は、形状符号化部１５２にも入力され、
形状符号化部１５２は、当該形状データ１５を符号化す
る。
形状データ１５は、形状符号化部１５２にも入力され、
形状符号化部１５２は、当該形状データ１５を符号化す
る。
【００７１】符号合成部１５３は、テキスチャ符号化部
１５１及び形状符号化部１５２により得られた各符号化
データ（可変長符号化データ）を合成して、この結果を
伝送部１６０に対して出力する。
１５１及び形状符号化部１５２により得られた各符号化
データ（可変長符号化データ）を合成して、この結果を
伝送部１６０に対して出力する。
【００７２】尚、テキスチャ符号化部１５１及び形状符
号化部１５２は、例えば、ＭＰＥＧ−４符号化方式（Ｉ
ＳＯ／ＩＥＣ １４４９６）に準拠した符号化を実行し
ているが、ここではその詳細な説明は省略する。
号化部１５２は、例えば、ＭＰＥＧ−４符号化方式（Ｉ
ＳＯ／ＩＥＣ １４４９６）に準拠した符号化を実行し
ているが、ここではその詳細な説明は省略する。
【００７３】＜画像処理装置１００の出力先の構成＞図
６は、画像処理装置１００で得られた符号化データ（伝
送部１６０により伝送された符号化データ、或いは記録
部１８０により記録媒体に記録された符号化データ）を
再生する再生装置６００の一例を示したものである。
尚、ここでは一例として、再生装置６００を、伝送部１
６０により伝送された符号化データを受信して再生する
装置とする。
６は、画像処理装置１００で得られた符号化データ（伝
送部１６０により伝送された符号化データ、或いは記録
部１８０により記録媒体に記録された符号化データ）を
再生する再生装置６００の一例を示したものである。
尚、ここでは一例として、再生装置６００を、伝送部１
６０により伝送された符号化データを受信して再生する
装置とする。
【００７４】再生装置６００は、画像処理装置１００か
らの符号化データを受信する受信部６０１と、受信符号
化データからオブジェクトの符号化データと形状データ
の符号化データに分離する符号分離部６０２と、符号分
離部６０２で得られたオブジェクトの符号化データを復
号するテキスチャ復号部６０３と、符号分離部６０２で
得られた形状データの符号化データを復号する形状復号
部６０４と、テキスチャ復号部６０３及び形状復号部６
０４で得られた復号データに基づく画像を表示する表示
部６０５とを備えている。
らの符号化データを受信する受信部６０１と、受信符号
化データからオブジェクトの符号化データと形状データ
の符号化データに分離する符号分離部６０２と、符号分
離部６０２で得られたオブジェクトの符号化データを復
号するテキスチャ復号部６０３と、符号分離部６０２で
得られた形状データの符号化データを復号する形状復号
部６０４と、テキスチャ復号部６０３及び形状復号部６
０４で得られた復号データに基づく画像を表示する表示
部６０５とを備えている。
【００７５】上述のような再生装置６００において、先
ず、画像処理装置１００の伝送部１６０（上記図１参
照）によって伝送された符号化データは、受信部６０１
により受信される。符号分離部６０２は、受信部６０１
により受信された符号化データから、符号化された画像
データ（オブジェクトの符号化データ）と、符号化され
た形状データとに分離する。
ず、画像処理装置１００の伝送部１６０（上記図１参
照）によって伝送された符号化データは、受信部６０１
により受信される。符号分離部６０２は、受信部６０１
により受信された符号化データから、符号化された画像
データ（オブジェクトの符号化データ）と、符号化され
た形状データとに分離する。
【００７６】テキスチャ復号部６０３は、符号分離部６
０２で得られた符号化画像データを復号して表示部６０
５に供給する。形状復号部６０４は、符号分離部６０２
で得られた符号化形状データを復号して表示部６０５に
供給する。
０２で得られた符号化画像データを復号して表示部６０
５に供給する。形状復号部６０４は、符号分離部６０２
で得られた符号化形状データを復号して表示部６０５に
供給する。
【００７７】表示部６０５は、テキスチャ復号部６０３
からの復号データに従った画像（オブジェクト画像）を
表示する。このとき、表示部６０５は、撮影時の背景と
は別の背景画像を用意しておいて、その別の背景画像を
当該オブジェクト画像と合成して表示するようにしても
よい。
からの復号データに従った画像（オブジェクト画像）を
表示する。このとき、表示部６０５は、撮影時の背景と
は別の背景画像を用意しておいて、その別の背景画像を
当該オブジェクト画像と合成して表示するようにしても
よい。
【００７８】（第２の実施の形態）本実施の形態では、
上記図１の画像処理装置において、判定部１２０の判定
処理を、次のように実施する。
上記図１の画像処理装置において、判定部１２０の判定
処理を、次のように実施する。
【００７９】判定部１２０は、新たなオブジェクトの出
現を監視し、その監視の結果、新たなオブジェクトが出
現したときのみ、情報生成部１３０での初期輪郭情報１
４の生成を実行することを示す判定情報１３を、情報生
成部１３０に対して出力する。
現を監視し、その監視の結果、新たなオブジェクトが出
現したときのみ、情報生成部１３０での初期輪郭情報１
４の生成を実行することを示す判定情報１３を、情報生
成部１３０に対して出力する。
【００８０】図７（ａ）〜（ｃ）は、本実施の形態の判
定部１２０における、新しいオブジエクトの出現の監視
処理を示したものである。
定部１２０における、新しいオブジエクトの出現の監視
処理を示したものである。
【００８１】まず、上記図７（ａ）〜（ｃ）に示す画像
５０１〜５０３はそれぞれ、時間方向に等間隔の動画の
フレームを表している。また、説明の簡単のために、こ
こでは、上記図７（ａ）のフレーム５０１まで、１つの
任意のオブジェクト５０４を追跡してきたが、同図
（ｂ）及び（ｃ）のフレーム５０２，５０３で新たなオ
ブジェクト５０５が出現したものとする。
５０１〜５０３はそれぞれ、時間方向に等間隔の動画の
フレームを表している。また、説明の簡単のために、こ
こでは、上記図７（ａ）のフレーム５０１まで、１つの
任意のオブジェクト５０４を追跡してきたが、同図
（ｂ）及び（ｃ）のフレーム５０２，５０３で新たなオ
ブジェクト５０５が出現したものとする。
【００８２】この場合、判定部１２０は、上記図７
（ａ）に示すように、対象フレーム５０１全体をＭ×Ｎ
画素（ここでは、横４×縦３画素）のタイルに分割し、
オブジェクト５０４がかからないタイルを検出すること
で、オブジェクト５０４の位置を認識する。そして、判
定部１２０は、タイル毎に、フレーム５０１と、フレー
ム５０２，５０３のフレーム間差分をとり、差分値が最
も大きくなるフレーム、すなわちフレーム５０３に関し
て、初期輸郭情報１４を検出するための処理が必要なこ
とを示す判定情報１３を情報生成部１３０に供給する。
（ａ）に示すように、対象フレーム５０１全体をＭ×Ｎ
画素（ここでは、横４×縦３画素）のタイルに分割し、
オブジェクト５０４がかからないタイルを検出すること
で、オブジェクト５０４の位置を認識する。そして、判
定部１２０は、タイル毎に、フレーム５０１と、フレー
ム５０２，５０３のフレーム間差分をとり、差分値が最
も大きくなるフレーム、すなわちフレーム５０３に関し
て、初期輸郭情報１４を検出するための処理が必要なこ
とを示す判定情報１３を情報生成部１３０に供給する。
【００８３】したがって、情報生成部１３０は、判定部
１２０からの判定情報１３により示される情報が、初期
輸郭情報１４を取得することを示す情報であった場合に
のみ、すなわち新たなオブジェクトの出現があった場合
のみ、初期輪郭情報１４の生成及び出力を行う。
１２０からの判定情報１３により示される情報が、初期
輸郭情報１４を取得することを示す情報であった場合に
のみ、すなわち新たなオブジェクトの出現があった場合
のみ、初期輪郭情報１４の生成及び出力を行う。
【００８４】尚、本発明の目的は、第１及び第２の実施
の形態のホスト及び端末の機能を実現するソフトウェア
のプログラムコードを記憶した記憶媒体を、システム或
いは装置に供給し、そのシステム或いは装置のコンピュ
ータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプ
ログラムコードを読みだして実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が第１及び第２
のの実施の形態の機能を実現することとなり、そのプロ
グラムコードを記憶した記憶媒体は本発明を構成するこ
ととなる。プログラムコードを供給するための記憶媒体
としては、ＲＯＭ、フロッピー（登録商標）ディスク、
ハードディスク、光ディスク、光磁気ディスク、ＣＤ−
ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカー
ド等を用いることができる。また、コンピュータが読み
だしたプログラムコードを実行することにより、第１及
び第２の実施の形態の機能が実現されるだけでなく、そ
のプログラムコードの指示に基づき、コンピュータ上で
稼動しているＯＳ等が実際の処理の一部又は全部を行
い、その処理によって第１及び第２の実施の形態の機能
が実現される場合も含まれることは言うまでもない。さ
らに、記憶媒体から読み出されたプログラムコードが、
コンピュータに挿入された拡張機能ボードやコンピュー
タに接続された機能拡張ユニットに備わるメモリに書き
込まれた後、そのプログラムコードの指示に基づき、そ
の機能拡張ボードや機能拡張ユニットに備わるＣＰＵな
どが実際の処理の一部又は全部を行い、その処理によっ
て第１及び第２の実施の形態の機能が実現される場合も
含まれることは言うまでもない。
の形態のホスト及び端末の機能を実現するソフトウェア
のプログラムコードを記憶した記憶媒体を、システム或
いは装置に供給し、そのシステム或いは装置のコンピュ
ータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプ
ログラムコードを読みだして実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が第１及び第２
のの実施の形態の機能を実現することとなり、そのプロ
グラムコードを記憶した記憶媒体は本発明を構成するこ
ととなる。プログラムコードを供給するための記憶媒体
としては、ＲＯＭ、フロッピー（登録商標）ディスク、
ハードディスク、光ディスク、光磁気ディスク、ＣＤ−
ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカー
ド等を用いることができる。また、コンピュータが読み
だしたプログラムコードを実行することにより、第１及
び第２の実施の形態の機能が実現されるだけでなく、そ
のプログラムコードの指示に基づき、コンピュータ上で
稼動しているＯＳ等が実際の処理の一部又は全部を行
い、その処理によって第１及び第２の実施の形態の機能
が実現される場合も含まれることは言うまでもない。さ
らに、記憶媒体から読み出されたプログラムコードが、
コンピュータに挿入された拡張機能ボードやコンピュー
タに接続された機能拡張ユニットに備わるメモリに書き
込まれた後、そのプログラムコードの指示に基づき、そ
の機能拡張ボードや機能拡張ユニットに備わるＣＰＵな
どが実際の処理の一部又は全部を行い、その処理によっ
て第１及び第２の実施の形態の機能が実現される場合も
含まれることは言うまでもない。
【００８５】
【発明の効果】以上説明したように本発明では、入力画
像（対象画像）の変化に基づいて、対象画像上に存在す
るオブジェクトを抽出するための初期輪郭情報を発生
し、当該初期輪郭情報に基づいて、対象画像上のオブジ
ェクトを抽出するように構成した。初期輪郭情報を発生
する場合、色及びテクスチャでの領域分割により得られ
た領域と、動き情報（動きベクトル）での領域分割によ
り得られた領域とに応じて、初期輪郭情報を発生する
（各領域を統合した領域の輪郭を初期輪郭情報として発
生する等）ように構成してもよい。
像（対象画像）の変化に基づいて、対象画像上に存在す
るオブジェクトを抽出するための初期輪郭情報を発生
し、当該初期輪郭情報に基づいて、対象画像上のオブジ
ェクトを抽出するように構成した。初期輪郭情報を発生
する場合、色及びテクスチャでの領域分割により得られ
た領域と、動き情報（動きベクトル）での領域分割によ
り得られた領域とに応じて、初期輪郭情報を発生する
（各領域を統合した領域の輪郭を初期輪郭情報として発
生する等）ように構成してもよい。
【００８６】上記の構成により、例えば、対象画像上に
存在するオブジェクトを背景から分離或いは切り出す
際、撮影開始直後や、オブジェクトの変化（シーンチェ
ンジの検出及び新たなオブジェクトの出現等）の検出の
結果等に基づいて、オブジェクトの初期輪郭情報を取得
することができるので、対象画像からオブジェクトの画
像領域を自動的に抽出する処理を、高速に且つ正確に行
うことができる。
存在するオブジェクトを背景から分離或いは切り出す
際、撮影開始直後や、オブジェクトの変化（シーンチェ
ンジの検出及び新たなオブジェクトの出現等）の検出の
結果等に基づいて、オブジェクトの初期輪郭情報を取得
することができるので、対象画像からオブジェクトの画
像領域を自動的に抽出する処理を、高速に且つ正確に行
うことができる。
【図１】第１の実施の形態において、本発明を適用した
画像処理装置の構成を示すブロック図である。
画像処理装置の構成を示すブロック図である。
【図２】上記画像処理装置の判定部の動作を説明するた
めのフローチャートである。
めのフローチャートである。
【図３】上記画像処理装置の情報生成部の動作（例１）
を説明するための図である。
を説明するための図である。
【図４】上記画像処理装置の情報生成部の動作（例２）
を説明するための図である。
を説明するための図である。
【図５】上記画像処理装置の符号化部の構成を示すブロ
ック図である。
ック図である。
【図６】上記符号化部の出力を再生する装置の構成を示
すブロック図である。
すブロック図である。
【図７】第２の実施の形態における上記判定部の動作を
説明するためのフローチャートである。
説明するためのフローチャートである。
１１ パラメータ １２ 画像データ １３ 判定情報 １４ 初期輪郭情報 １５ 形状データ １６ マスク情報 １００ 画像処理装置 １１０ カメラ部 １２０ 判定部 １３０ 情報生成部 １３１ 第１の領域分割処理部 １３２ 第２の領域分割処理部 １３３ 統合処理部 １４０ トラッキング部 １５０ 符号化部 １６０ 伝送部 １７０ 表示部 １８０ 記録部
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 MA00 NN01 NN38 NN43 PP22 PP28 PP29 UA02 UA05 5L096 AA02 AA06 FA06 FA41 GA10 GA19 HA02 HA04 HA05
Claims (14)
- 【請求項１】 連続的な画像データを入力する入力手段
と、 上記入力画像データの変化を検出する検出手段と、 上記検出手段の検出結果に基づいて、上記入力画像デー
タ中に存在するオブジェクトを抽出するための初期輪郭
情報を発生する発生手段と、 上記発生手段により発生された初期輪郭情報に基づい
て、上記入力画像データから上記オブジェクトに対応す
るオブジェクト画像データを抽出する抽出手段とを備え
ることを特徴とする画像処理装置。 - 【請求項２】 上記抽出手段により抽出されたオブジェ
クト画像データを符号化する符号化手段を備えることを
特徴とする請求項１記載の画像処理装置。 - 【請求項３】 上記符号化手段により得られた符号化デ
ータを伝送する伝送手段を備えることを特徴とする請求
項２記載の画像処理装置。 - 【請求項４】 上記符号化手段は、ＭＰＥＧ−４符号化
方式（ＩＳＯ／ＩＥＣ １４４９６）に準拠した符号化
処理を行うことを特徴とする請求項２記載の画像処理装
置。 - 【請求項５】 上記符号化手段により得られた符号化デ
ータを記録媒体に記録する記録手段を備えることを特徴
とする請求項２記載の画像処理装置。 - 【請求項６】 上記入力手段は、カメラにより撮影して
得られた画像データを入力すると共に、当該カメラのパ
ラメータに関するデータを入力し、 上記検出手段は、上記入力パラメータデータに基づい
て、上記入力画像データの変化を検出することを特徴と
する請求項１記載の画像処理装置。 - 【請求項７】 上記検出手段は、上記入力パラメータデ
ータに基づいた検出処理により、上記入力画像データの
変化を検出することを特徴とする請求項６記載の画像処
理装置。 - 【請求項８】 上記カメラは、ビデオカメラを含むこと
を特徴とする請求項６記載の画像処理装置。 - 【請求項９】 上記発生手段は、上記入力画像データの
色及びテクスチャによる領域分割を行う第１の領域分割
手段と、上記入力画像データの動きにより領域分割を行
う第２の領域分割手段とを含み、当該第１の領域分割手
段及び第２の領域分割手段の各出力に基づいて、上記初
期輪郭情報を発生することを特徴とする請求項１記載の
画像処理装置。 - 【請求項１０】 上記入力手段により入力された画像デ
ータを表示する表示手段を備え、 上記表示手段は、さらに上記抽出手段の抽出結果を視覚
的に判断可能なように表示することを特徴とする請求項
１記載の画像処理装置。 - 【請求項１１】 複数の機器が互いに通信可能に接続さ
れてなる画像処理システムであって、 上記複数の機器のうち少なくとも１つの機器は、請求項
１〜１０の何れかに記載の画像処理装置の機能を有する
ことを特徴とする画像処理システム。 - 【請求項１２】 連続的な画像データを入力する入力ス
テップと、 上記入力画像データの変化を検出する検出ステップと、 上記検出ステップでの検出結果に応じて上記入力画像デ
ータ中に存在するオブジェクトを抽出するための初期輪
郭情報を発生する発生ステップと、 上記発生ステップにより発生された初期輪郭情報に基づ
いて、上記オブジェクトに対応するオブジェクト画像デ
ータを抽出する抽出ステップとを含むことを特徴とする
画像処理方法。 - 【請求項１３】 請求項１〜１０の何れかに記載の画像
処理装置の機能、又は請求項１１記載の画像処理システ
ムの機能をコンピュータに実現させるためのプログラム
を記録したコンピュータ読出可能な記憶媒体。 - 【請求項１４】 請求項１２記載の画像処理方法の処理
ステップをコンピュータに実行させるためのプログラム
を記録したコンピュータ読取可能な記憶媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000391204A JP2001266158A (ja) | 2000-01-11 | 2000-12-22 | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
| EP20000311769 EP1117262A3 (en) | 2000-01-11 | 2000-12-29 | Image processing apparatus and method, and storage medium |
| US09/750,152 US20010019631A1 (en) | 2000-01-11 | 2000-12-29 | Image processing apparatus and method, and storage medium |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000002957 | 2000-01-11 | ||
| JP2000-2957 | 2000-01-11 | ||
| JP2000391204A JP2001266158A (ja) | 2000-01-11 | 2000-12-22 | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001266158A true JP2001266158A (ja) | 2001-09-28 |
Family
ID=26583329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000391204A Pending JP2001266158A (ja) | 2000-01-11 | 2000-12-22 | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20010019631A1 (ja) |
| EP (1) | EP1117262A3 (ja) |
| JP (1) | JP2001266158A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005228136A (ja) * | 2004-02-13 | 2005-08-25 | Nissan Motor Co Ltd | 道路領域検出装置 |
| JP2006127024A (ja) * | 2004-10-27 | 2006-05-18 | Denso Corp | 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体 |
| WO2008139530A1 (ja) * | 2007-04-27 | 2008-11-20 | Honda Motor Co., Ltd. | 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法 |
| US7764834B2 (en) | 2002-04-25 | 2010-07-27 | Microsoft Corporation | System and method facilitating document image compression utilizing a mask |
| JP2010277431A (ja) * | 2009-05-29 | 2010-12-09 | Secom Co Ltd | 対象物検出装置 |
| JP2010277296A (ja) * | 2009-05-28 | 2010-12-09 | Secom Co Ltd | 対象物検知装置 |
| US8126210B2 (en) | 2007-04-27 | 2012-02-28 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device, vehicle periphery monitoring program, and vehicle periphery monitoring method |
| JP2018045693A (ja) * | 2016-09-12 | 2018-03-22 | フラミー インコーポレイテッド | 動画像背景除去方法及び動画像背景除去システム |
| CN108269260A (zh) * | 2016-12-30 | 2018-07-10 | 粉迷科技股份有限公司 | 动态影像去背方法、***与计算机可读取存储装置 |
| WO2018189802A1 (ja) * | 2017-04-11 | 2018-10-18 | 楽天株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7043058B2 (en) * | 2001-04-20 | 2006-05-09 | Avid Technology, Inc. | Correcting motion vector maps for image processing |
| US6996183B2 (en) | 2001-09-26 | 2006-02-07 | Thomson Licensing | Scene cut detection in a video bitstream |
| GB2382940A (en) * | 2001-11-27 | 2003-06-11 | Nokia Corp | Encoding objects and background blocks |
| US7130472B2 (en) * | 2002-01-21 | 2006-10-31 | Canon Kabushiki Kaisha | Image distribution apparatus, communication terminal apparatus, and control method thereof |
| JP4095325B2 (ja) * | 2002-03-29 | 2008-06-04 | キヤノン株式会社 | 画像配信方法およびその動作処理を実行するプログラムおよびそのプログラムを記憶した記憶媒体、および画像配信装置および画像受信装置 |
| US7425981B2 (en) * | 2002-06-12 | 2008-09-16 | British Telecommunications Plc | Video pre-processing |
| WO2005004060A1 (ja) * | 2003-07-01 | 2005-01-13 | Honda Motor Co., Ltd. | 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム |
| JP5029543B2 (ja) * | 2008-09-09 | 2012-09-19 | 富士通株式会社 | 符号化装置および符号化プログラム |
| US8848802B2 (en) * | 2009-09-04 | 2014-09-30 | Stmicroelectronics International N.V. | System and method for object based parametric video coding |
| US9626769B2 (en) | 2009-09-04 | 2017-04-18 | Stmicroelectronics International N.V. | Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions |
| US10178396B2 (en) | 2009-09-04 | 2019-01-08 | Stmicroelectronics International N.V. | Object tracking |
| JP5798556B2 (ja) * | 2010-07-15 | 2015-10-21 | シャープ株式会社 | 復号装置、符号化装置 |
| KR20150100113A (ko) * | 2014-02-24 | 2015-09-02 | 삼성전자주식회사 | 영상 처리 장치 및 이의 영상 처리 방법 |
| US10127783B2 (en) | 2014-07-07 | 2018-11-13 | Google Llc | Method and device for processing motion events |
| US10140827B2 (en) | 2014-07-07 | 2018-11-27 | Google Llc | Method and system for processing motion event notifications |
| US9501915B1 (en) | 2014-07-07 | 2016-11-22 | Google Inc. | Systems and methods for analyzing a video stream |
| US9420331B2 (en) | 2014-07-07 | 2016-08-16 | Google Inc. | Method and system for categorizing detected motion events |
| US9354794B2 (en) | 2014-07-07 | 2016-05-31 | Google Inc. | Method and system for performing client-side zooming of a remote video feed |
| US9449229B1 (en) | 2014-07-07 | 2016-09-20 | Google Inc. | Systems and methods for categorizing motion event candidates |
| USD782495S1 (en) | 2014-10-07 | 2017-03-28 | Google Inc. | Display screen or portion thereof with graphical user interface |
| US9361011B1 (en) | 2015-06-14 | 2016-06-07 | Google Inc. | Methods and systems for presenting multiple live video feeds in a user interface |
| US10506237B1 (en) | 2016-05-27 | 2019-12-10 | Google Llc | Methods and devices for dynamic adaptation of encoding bitrate for video streaming |
| US10380429B2 (en) | 2016-07-11 | 2019-08-13 | Google Llc | Methods and systems for person detection in a video feed |
| US11783010B2 (en) | 2017-05-30 | 2023-10-10 | Google Llc | Systems and methods of person recognition in video streams |
| US10664688B2 (en) | 2017-09-20 | 2020-05-26 | Google Llc | Systems and methods of detecting and responding to a visitor to a smart home environment |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0330455A3 (en) * | 1988-02-22 | 1990-07-04 | Kabushiki Kaisha Toshiba | Image encoding apparatus |
| WO1992002000A1 (en) * | 1990-07-17 | 1992-02-06 | British Telecommunications Public Limited Company | A method of processing an image |
| DE4132359A1 (de) * | 1991-09-27 | 1993-04-01 | Grundig Emv | Verfahren zur aufnahme von bewegtbildern fuer eine nachfolgende, bewegungsinformationsgestuetzte signalverarbeitung |
| US5819103A (en) * | 1993-09-21 | 1998-10-06 | Kabushiki Kaisha Toshiba | Information recording/reproducing apparatus and method |
| US6188776B1 (en) * | 1996-05-21 | 2001-02-13 | Interval Research Corporation | Principle component analysis of images for the automatic location of control points |
| US5999651A (en) * | 1997-06-06 | 1999-12-07 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for tracking deformable objects |
| EP0959625A3 (en) * | 1998-05-22 | 2001-11-07 | Tektronix, Inc. | Segmenting video images based on joint region and contour information |
| US6266443B1 (en) * | 1998-12-22 | 2001-07-24 | Mitsubishi Electric Research Laboratories, Inc. | Object boundary detection using a constrained viterbi search |
-
2000
- 2000-12-22 JP JP2000391204A patent/JP2001266158A/ja active Pending
- 2000-12-29 EP EP20000311769 patent/EP1117262A3/en not_active Withdrawn
- 2000-12-29 US US09/750,152 patent/US20010019631A1/en not_active Abandoned
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7764834B2 (en) | 2002-04-25 | 2010-07-27 | Microsoft Corporation | System and method facilitating document image compression utilizing a mask |
| JP2005228136A (ja) * | 2004-02-13 | 2005-08-25 | Nissan Motor Co Ltd | 道路領域検出装置 |
| JP2006127024A (ja) * | 2004-10-27 | 2006-05-18 | Denso Corp | 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体 |
| JP4506409B2 (ja) * | 2004-10-27 | 2010-07-21 | 株式会社デンソー | 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体 |
| US8411145B2 (en) | 2007-04-27 | 2013-04-02 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device, vehicle periphery monitoring program and vehicle periphery monitoring method |
| US8126210B2 (en) | 2007-04-27 | 2012-02-28 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device, vehicle periphery monitoring program, and vehicle periphery monitoring method |
| JP5145599B2 (ja) * | 2007-04-27 | 2013-02-20 | 本田技研工業株式会社 | 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法 |
| WO2008139530A1 (ja) * | 2007-04-27 | 2008-11-20 | Honda Motor Co., Ltd. | 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法 |
| JP2010277296A (ja) * | 2009-05-28 | 2010-12-09 | Secom Co Ltd | 対象物検知装置 |
| JP2010277431A (ja) * | 2009-05-29 | 2010-12-09 | Secom Co Ltd | 対象物検出装置 |
| JP2018045693A (ja) * | 2016-09-12 | 2018-03-22 | フラミー インコーポレイテッド | 動画像背景除去方法及び動画像背景除去システム |
| CN108269260A (zh) * | 2016-12-30 | 2018-07-10 | 粉迷科技股份有限公司 | 动态影像去背方法、***与计算机可读取存储装置 |
| WO2018189802A1 (ja) * | 2017-04-11 | 2018-10-18 | 楽天株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JPWO2018189802A1 (ja) * | 2017-04-11 | 2019-04-18 | 楽天株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US10991104B2 (en) | 2017-04-11 | 2021-04-27 | Rakuten, Inc. | Image processing device, image processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| US20010019631A1 (en) | 2001-09-06 |
| EP1117262A3 (en) | 2009-09-30 |
| EP1117262A2 (en) | 2001-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001266158A (ja) | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 | |
| US9633447B2 (en) | Adaptable framework for cloud assisted augmented reality | |
| US9153073B2 (en) | Spatially registered augmented video | |
| US8126207B2 (en) | Subject tracking method, subject tracking device, and computer program product | |
| US10021381B2 (en) | Camera pose estimation | |
| US20080284900A1 (en) | Digital camera | |
| JP6362085B2 (ja) | 画像認識システム、画像認識方法およびプログラム | |
| KR20190054890A (ko) | 카메라 및 자이로스코프의 융합을 이용한 5차원 (5d) 비디오 안정화 장치 및 방법 | |
| KR101923177B1 (ko) | 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법 | |
| US20070263000A1 (en) | Method, Systems And Computer Product For Deriving Three-Dimensional Information Progressively From A Streaming Video Sequence | |
| US10535193B2 (en) | Image processing apparatus, image synthesizing apparatus, image processing system, image processing method, and storage medium | |
| JP7441926B2 (ja) | 映像コーディングを行うコンピュータプログラム | |
| EP3629570A2 (en) | Image capturing apparatus and image recording method | |
| JP2005107247A (ja) | 位置姿勢推定方法および装置 | |
| CN110490131B (zh) | 一种拍摄设备的定位方法、装置、电子设备及存储介质 | |
| US9582896B2 (en) | Line tracking with automatic model initialization by graph matching and cycle detection | |
| JP2010193406A (ja) | 画像入力装置及び被写体検出方法、プログラム | |
| KR20190055632A (ko) | 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법 | |
| US9762811B2 (en) | Image generation device, imaging device, image generation method, and program for generating a new image from a captured image | |
| JP4743601B2 (ja) | 動画像処理装置 | |
| JP2007156606A (ja) | 画像表示装置及びプログラム | |
| US9848133B2 (en) | Image generation device, imaging device, image generation method, and program for generating a new image from a captured image | |
| JP5111269B2 (ja) | 画像処理装置、画像処理方法 | |
| US9648205B2 (en) | Image generation device, imaging device, image generation method, and program for generating a new image from a captured image based on a cut-out frame | |
| JP2012123721A (ja) | 画像処理装置及び画像処理方法 |