JP2004525472A - 分割ユニット、その方法、及び画像処理装置 - Google Patents
分割ユニット、その方法、及び画像処理装置 Download PDFInfo
- Publication number
- JP2004525472A JP2004525472A JP2002590087A JP2002590087A JP2004525472A JP 2004525472 A JP2004525472 A JP 2004525472A JP 2002590087 A JP2002590087 A JP 2002590087A JP 2002590087 A JP2002590087 A JP 2002590087A JP 2004525472 A JP2004525472 A JP 2004525472A
- Authority
- JP
- Japan
- Prior art keywords
- segment
- image
- motion vector
- motion
- vector field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10076—4D tomography; Time-sequential 3D tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【0001】
本発明は、対象物に対応する第一の画像における第一のセグメントと第二の画像における第二のセグメントについて、第一の画像における第一のセグメントに基づき、第二の画像における第二のセグメントを決定する方法に関する。
【0002】
さらに、本発明は、対象物に対応する第一の画像における第一のセグメントと第二の画像における第二のセグメントについて、第一の画像における第一のセグメントに基づき、第二の画像における第二のセグメントを決定する分割ユニットに関する。
【0003】
さらに、本発明は、対象物に対応する第一の画像における第一のセグメントと第二の画像における第二のセグメントについて、第一の画像における第一のセグメントに基づき、第二の画像における第二のセグメントを決定する分割ユニット及び第一のセグメントと第二のセグメントを分析する分析器を含む画像処理装置に関する。
【背景技術】
【0004】
冒頭で取り上げた分割ユニットとして、イージー・ビジョウ(Easy Vision)と呼ばれるフイリップス・医療ワークステーション(Philip Medical Workstation)が知られている。このワークステーションは、ユーザによる複数の画像処理タスクを可能とする様々なアプリケーションを備えている。多数の画像処理タスクにおいて、画像分割は必須の処理である。以上のアプリケーションのうち、このような分割ユニットを用いるものもある。以下、具体例を用いて分割ユニットの応用を説明する。イージー・ビジョウの応用により、磁気共鳴(MR:magnetic resonance)心臓病画像(cardiology image)分析が可能となった。この分析は心臓拍動サイクルの各段階で患者心臓の体積を求めることを目的とする。MRシステムによって得られた患者胸部の一連の画像がワークステーションに送られ処理される。これらの画像の各々は心室を含む胸部の一スライスを表示する、即ち、各画像は患者の心室及び様々な他の組織を示す。心筋が収縮しているため、各画像において心室の形状は異なっている。上記の分析を行うために、すべての画像において、心室をセグメントに分割する必要がある。換言すれば、心室に対応する画素をマスクする必要がある。画像の分割が次の手順で行われる。ユーザは、以上の一連の画像のうち一番目の画像において該画像で示された心室の輪郭線を描く。続いてこの輪郭線を伝播する、即ち、二番目の画像に複製する。ユーザは、手動で二番目の画像に複製された輪郭線の形状を調整し、その輪郭線を二番目の画像で示された心室の形状に合致させることをしてもよい。その二番目の輪郭線をさらに後の画像に伝播しても良い。輪郭線を調整するための尤複雑な方法もある。その場合は、輪郭線は同じように後の画像に複製されるが、輪郭線の変更は自動輪郭線検出ユニットに制御される。当該自動輪郭線検出ユニットは二番目の画像において複製された輪郭線の近辺に縁部を検索する。この新しい輪郭線を検出された縁部に被せる。この方法により満足できる結果が得られるものの、縁部を検出し難い場合に失敗することがある。
【発明の開示】
【発明が解決しようとする課題】
【0005】
本発明の第一の目的は、冒頭で説明したような一連の画像において相対的にローバストな画像分割ができる分割方法を提供することにある。
【0006】
本発明の第二の目的は、冒頭で説明したような一連の画像において相対的にローバストな画像分割を行うことができる分割ユニットを提供することにある。
【0007】
本発明の第三の目的は、冒頭で説明したような一連の画像において相対的にローバストな画像分割を行うができる分割ユニットを含む画像処理装置を提供することにある。
【課題を解決するための手段】
【0008】
本発明の第一の目的を達成するために、本発明の方法は、第一の画像と第二の画像の画素値を比較することにより、第一のセグメントから第二のセグメントへの変換を定義するセグメント動きモデルを計算する計算工程を有する。
【0009】
セグメント動きモデルは、セグメントがどのようにその形状又は位置を変化させるかを定義する。このセグメント動きモデルは、例えば、6つのパラメータを有し、並進(translation)、サイズ変更(resizing)、剪断(shear)、回転(rotation)及びこれらの組み合わせを表す線形擬似モデル(linear affine model)である。簡略なセグメント動きモデルとしては、例えば、並進をのみ考慮する。並進を一つのベクトル、即ち、動きベクトルで表せる。
【0010】
本発明の方法と従来の方法の主な相違は、第二のセグメントの分割を達成するために、付加の情報を考慮することである。
【0011】
従来の方法において、第二の画像における第二のセグメントの輪郭線を捜査するために、第二の画像の画素値のみが用いられる。第二の画像において第二の輪郭線を検出するために、第一の輪郭線の場所(即ち、第一のセグメントの境界)を除き、第一の画像について他の情報が考慮されていない。本発明の方法において、2つの画像の画素値をセグメント動きベクトルの計算に用いる。
【0012】
従来の方法において、第一の輪郭線の複製、即ち、第二の画像へ伝播した後の第一の輪郭線の周囲に位置する第二の画像の画素値のみが考慮されている。本発明の方法においては、輪郭線内部の画素、即ち、セグメントの他の画素がセグメント動きベクトルの計算に用いられる。
【0013】
これらの付加の情報を用いることによって画像分割化はローバストなものとなる。上記の従来の応用では、対象物の形状は時間につれて変化する。しかし、対象物の形状が変化せず、その対象物の画像形成装置に対する位置が変化することもある。本発明の方法は、形状が変化せず、位置が変化する対象物の分割が要求される応用にも適用できる。
【0014】
本発明の方法の一実施形態は、第一の画像と第二の画像に基づいて、動きベクトル場(field)を計算する第一の工程であって、当該動きベクトル場は複数の動きベクトルを含み、当該各動きベクトルは、第一の画像における第一の画素ブロックから第二の画像における第二の画素ブロックまでの移動を表す第一の工程及び動きベクトル場における動きベクトルに基づいて、セグメント動きベクトルを計算する第二の工程を有する。
【0015】
第一の工程において標準動き推定器を用いて迅速かつ精確に動きベクトル場を計算することができる。利用可能な動き推定器として、例えば、G. de Haanらの論文“True motion estimation with 3-D recursive search block-matching”, Proceedings IEEE International Conference on Circuits and Systems for Video Technology, 1994, Vol. 3, pp. 249-256、により説明されたものがある。動き推定器は、不規則に成型されたテンプレートとの整合に基づいたものとしてもよい。
【0016】
第二の工程において、第一のセグメントの内部の動きベクトル、即ち、セグメントの境界に囲まれた動きベクトルは分析され、第一のセグメントの並進を表す動きベクトルを捜査する。第一のセグメントから第二のセグメントの位置への変換は、対象物の位置の変化、即ち、並進に対応する。第一のセグメントとほぼ対応する動きベクトル場の一部の内部に位置する動きベクトルの平均値若しくは最確値を求めることによって、この変換を表すセグメント動きベクトルを求めることができる。最確値を求めるには、動きベクトルの二次元ヒストグラムを用いてもよい。
【0017】
本発明の方法の一実施形態は、動きベクトル場における動きベクトルを選別するフィルタリング工程を有する。例えば、動きベクトルの信頼水準(confidence level)を重み係数として動きベクトルのフィルタリングに用いる。必要に応じて、異常ベクトル(outlier)を除去する。異常ベクトルとは、事前に選択され又は計算された値からのずれは所定の閾値以上に離れている動きベクトルをいう。特に、閉鎖領域において、正しくない動きベクトルが存在することも有り得る。しかし、質の良い動き推定器により生成された動きベクトル場において、あるセグメントに与えられた動きベクトルの値の殆どは正確であると考えるのは妥当である。
【0018】
本発明の方法の一実施形態において、第二の工程では、少なくとも2つのセグメント動きベクトルは計算される。原点の位置が異なる複数のセグメント動きベクトルを用いることによって、例えば、セグメントの回転を表すことができる。この実施形態により、対象物の並進だけでなく、対象物の回転を追跡することが可能になる。
【0019】
本発明の方法の一実施形態は、動きベクトル場における動きベクトルに基づいて、第二のセグメントの形状を調整する第三の工程を有する。画像形成面と平行する平面における対象物の回転又は並進の他に、他類の運動も可能である。その結果、対象物の射影が変化し、この変化を擬似変換で表せない可能性がある。従来技術において、なぜ対象物の形状が変化しセグメントの形状の変更を生じさせる可能性があるかについて、別の種の理由が挙げられた:対象物が自分の形状を変化させる。三つ目の理由は、あるシーンにおいて、複数の対象物が移動する。その結果、セグメントが互いに塞がれる。本実施形態において、第一のセグメントから第二のセグメントへの変換を決めることと第二のセグメントの形状を変化させることが併合される。
【0020】
本発明の第二の目的を達成するために、本発明の分割ユニットは、第一の画像と第二の画像の画素値を比較することにより、第一のセグメントから第二のセグメントへの変換を定義するセグメント動きモデルを計算する推定手段を有する。
【0021】
本発明の第三の目的を達成するために、本発明の画像処理装置は、第一の画像と第二の画像の画素値を比較することにより、第一のセグメントから第二のセグメントへの変換を定義するセグメント動きモデルを計算する推定手段を有する分割ユニットを含む。
【発明の効果】
【0022】
本発明において、第二のセグメントの分割を達成するために、第一の画像と第二の画像両方の画素値、輪郭線内部の画素など付加の情報が用いられる。これによって、分割化はローバストなものとなる。
【0023】
また、本発明は、対象物の形状が変化せずに位置が変化する場合にも適用できる。
【0024】
また、本発明により、対象物の並進だけでなく、対象物の回転を追跡することも可能になる。
【0025】
また、本発明において、第一のセグメントから第二のセグメントへの変換を決めることと第二のセグメントの形状を変化させることが併合される。
【発明を実施するための最良の形態】
【0026】
図1はセグメント102とセグメント108の関係及びセグメント動きベクトル110を概略的に示す図である。対象物104の2つの画像、即ち、第一の画像100と第二の画像106が形成される。2つの画像に対象物104の射影が含まれており、しかし、対象物104は第一の画像100と第二の画像106を取得する間に移動する。第一の画像100において、対象物104に対応する部分は第一のセグメント102にマスクされる。第二の画像106において、対象物104に対応する部分は第二のセグメント108にマスクされる。第一のセグメント102は、ユーザから行われた画像分割により得られたものであってもよく、或いは、例えば、分割ユニット400により行われた自動分割によるものであってもよい。第二の画像106における第二のセグメント108の位置は、第一の画像100における第一のセグメント102の位置及びセグメント動きベクトル110により定義される。即ち、第二のセグメント108は、第一のセグメント102のマスクをセグメント動きベクトル110に示された方向に及び距離を移動し、かつ、このマスクを第二の画像106に複製することによって位置決めされる。セグメント動きベクトル110は第一の画像100と第二の画像106の画素値を比較して計算することによって得られる。ここで、“比較”とは、ある適切な誤差関数を最小化する方法、或いは、ある適切な整合関数(match function)、例えば、2つの画像の画素値の相関を最大化する方法を意味する。例えば、第一のセグメント102の画素をほぼ包含する第一の画像100の一部と第二の画像106の画素との畳み込みを計算する。画素値は、例えば、輝度若しくは色を示す。第一の画像100と第二の画像106は一連の画像における連続する画像であっても良い。また、第一の画像100と第二の画像106は同じの画像シリーズに属する連続しない画像であっても良い、即ち、第一の画像100の後第二の画像106の前に第3の画像があってもよい。
【0027】
図2は動きベクトル場(field)とセグメント動きベクトル110の関係を概略に示す図である。図2に示すように、第一の画像100は複数の画素ブロック212−220などに分割され、第二の画像106は複数の画素ブロック222−230などに分割される。一つの画素ブロックに、例えば、1から64×64までの画素が含まれる。各画素ブロックに、水平方向の画素数と縦方向の画素数は同一でなくでも良い。画素ブロック212−220の各々について、動きベクトル202−210が計算される。これらの動きベクトル202−210は各画素ブロック212−220の移動先までの方向と距離を規定し、それによって、第二の画像106で対応する情報が得られる。標準動き推定器は動きベクトル場200の計算に用いることができる。例えば、G. de Haanらの論文“True motion estimation with 3-D recursive search block-matching”, Proceedings IEEE International Conference on Circuits and Systems for Video Technology, 1994, Vol. 3, pp. 249-256、により説明された動き推定器がある。図2に示された動きベクトル場200における多くの動きベクトルは非常に小さく、また、例えば、動きベクトル202−206のように、方向がランダムである。しかし、第一のセグメント102と大体対応する動きベクトル場200の一部232の内部にある動きベクトル208、210等はほぼ揃っている。これらの動きベクトル208、210等の平均値、若しくは、最確値を求めることによって、セグメント動きベクトル110を求められる。
【0028】
図3は、第一の画像300における第一のセグメント302から第二の画像306における第二のセグメント308への変換は、2つのセグメント動きベクトル310と312により表されることを示している。図3において、画像を形成される対象物は、変形不可であり、かつ、3つの自由度(即ち、画像300と平行する平面における回転、水平方向での並進及び縦方向での並進)を有する物体であるとされている。セグメント動きベクトル310と312の原点は、それぞれ第一のセグメント302におけるポイント316とポイント314に対応する。ポイント316とポイント314はそれぞれ第二のセグメント306におけるポイント320とポイント318に並進される。かかるセグメントは変形不可の対象物に対応するので、第一のセグメント302における他のすべてのポイントも、第二のセグメント306における唯一のポイントにマッピングされる。図3に示されたものより複雑な変換を行うことも可能である。その考え方は次の動きモデルに基づくものである:ある対象物に対応するすべての動きベクトル(310、312)は当該対象物の動きを表す。
【0029】
図4Aは、第一の画像100と第二の画像106の画素値の比較による第一のセグメント102から第二のセグメント108への変換を規定するセグメント動きベクトル110を計算する推定器405を備えた分割ユニット400の一つの実施形態を概略に示す。
【0030】
分割ユニット400の入力は入力コネクター410−414に供給される。具体的に、第一のセグメント102はバイナリー・マスク、例えば、バイナリー値の二次元アレイとして入力コネクター410に、第二の画像106は画素値の二次元アレイとして入力コネクター412に、第一の画像100は画素値の二次元アレイとして入力コネクター414に供給される。分割ユニット400の出力は、例えば、第二のセグメント108をバイナリー・マスクとして出力コネクター416へ供給される。第二のセグメント108は、ある適切な整合関数(match function)、例えば、2つの画像の画素値の相関を最大化する方法により決められる。例えば、第一のセグメント102の画素をほぼ包含する第一の画像100の一部と第二の画像106の画素との畳み込みを計算する。
【0031】
図4Bは、動きベクトル場200における複数の動きベクトル202−212等を用いてセグメント動きベクトル110を決定する分割ユニット401の一つの実施形態を概略に示す。分割ユニット401の入力と出力は図4Aにおいて説明された分割ユニット400の入力と出力と同様である。
【0032】
分割ユニット401は、第一の画像100と第二の画像106に基づいて動きベクトル場200を計算する動き推定器402を含む。動きベクトル場200は複数の動きベクトル202−210を含み、各動きベクトル202−210は、第一の画像100における第一の画素ブロック212−220から第二の画像106における第二の画素ブロック222−230への並進を表す。動き推定器402は、二以上の画像に基づいて動きベクトル場200を計算することができる。
【0033】
分割ユニット401は、動きベクトル場200における動きベクトル202−210に基づいて、第一のセグメント102の変換に対応するセグメント動きベクトル110を計算する推定器404を有する。変換を表す動きベクトル110は、第一のセグメント102とほぼ対応する動きベクトル場200の一部232にある動きベクトル208、210等の平均値若しくは最確値を求めることによって決められる。動きベクトル110を決めるに当たっては、動きベクトル場200における動きベクトル202−210に与えられた重み係数を用いても良い。これらの重み係数は、例えば、動き推定器402により提供される動きベクトル202−210の信頼水準(confidence level)によるものである、或いは、画素ブロック212−220から第一のセグメントの境界までの距離によるものである。例えば、動きベクトルの画素ブロックはセグメントの境界に或いはその近くに位置する場合は、この動きベクトルが正しくない確率が高い。この場合に、重み係数を小さくする必要がある。
【0034】
必要に応じて、分割ユニット401は、推定器404の一部であり、異常ベクトル(outlier)を除去するフィルター406を有する。ここで、異常ベクトルとは、事前に選択され又は計算された値からのずれは所定の閾値以上に離れている動きベクトルをいう。
【0035】
図4Cは、形状アダプター408を有する分割ユニット403の一つの実施形態を概略に示す図である。この実施形態は、図4Bにおいて説明された分割ユニット401の実施形態と殆ど同じである。その主な相違は、分割ユニット403は第二のセグメント108の形状を改変することができることである。図4Bにおいて説明された分割ユニット401は、第一のセグメント102と同様な形状を有する第二のセグメント108を出力として提供する。次の場合に、第二のセグメント108の形状を改変することがある。即ち、第一のセグメント102の近い周囲とほぼ対応する動きベクトル場の一部の中に位置する動きベクトル場からの動きベクトルは、第一のセグメント102とほぼ対応する動きベクトル場の一部232内に位置する動きベクトル208、210とよく類似する場合は、これら“周囲動きベクトル”はその対象物に関連するとする。形状の改変は上記の動きベクトル、即ち、境界動きベクトル及び周囲動きベクトル、に対応するが祖ブロックに基づく。
【0036】
図5は、図4Cに説明した分割ユニット403、分割ユニット403により分割された画像の各部分を分析する分析器502及び分析結果を表示するディスプレイ504有する画像処理装置500の一つの実施形態を概略に示す図である。
【0037】
一連の画像は画像処理装置500の入力コネクター506に供給される。ユーザはユーザ・インターフェース508を介して画像処理装置500と交信し、興味のある領域、即ち、この一連の画像のうち第一の画像における第一のセグメントを手動で分割する。分割ユニット403は、該第一の画像及び該一連の画像のうち最初の2つの画像に基づいて、第二のセグメントを計算する。その後、分割ユニット403は、該第一のセグメント及び該一連の画像のうち第一の画像並びに第三の画像に基づいて、或いは、該第二のセグメント及び該一連の画像のうち第二の画像並びに第三の画像に基づいて、第三のセグメントを計算する。同様に、該一連の画像のうち他の画像における次のセグメントは計算される。分割ユニット403の出力並びにこれらの画像は分析器502に入力される。分析器502は分割ユニット403により分割して得られたセグメントに対応する対象物の三次元的特性を推定する。分析器502の出力はディスプレイ504に表示される。
【0038】
以上に説明した実施形態は本発明の特許請求の範囲を限定するものでなく、当業者は、本発明の特許請求の範囲を逸脱せずに他の実施形態を構成することが可能である。また、本発明が、異なる要素からなるハードウエアにより実施されても良く、或は、コンピュータでプログラムを実行して実施しても良い。複数の手段が列挙された装置に関する請求項において、幾つかの手段の動作は、一つのハードウエア、或は、ハードウエアにおける同一の要素により実施されることがある。
【図面の簡単な説明】
【0039】
【図1】2つのセグメントの関係及びセグメント動きベクトルを概略的に示す図である。
【図2】動きベクトル場とセグメント動きベクトルの関係を概略的に示す図である。
【図3】2つの動きベクトルによる第一のセグメントから第二のセグメントへの変換を概略に示す図である。
【図4A】分割ユニットの一つの実施形態を概略に示す図である。
【図4B】動きベクトル場における複数の動きベクトルを用いてセグメント動きベクトルを決定する分割ユニットの一つの実施形態を概略に示す図である。
【図4C】形状アダプターを有する分割ユニットの一つの実施形態を概略に示す図である。
【図5】分割ユニットを有する画像処理装置の一つの実施形態を概略に示す図である。
Claims (16)
- 第一の画像における第一のセグメントに基づき、第二の画像における第二のセグメントを決定する方法であり、前記第一のセグメントと前記第二のセグメントは対象物に対応する方法であって;
前記第一の画像と前記第二の画像の画素値を比較することにより、前記第一のセグメントから前記第二のセグメントへの変換を定義するセグメント動きモデルを計算する計算工程を有する、
方法。 - 前記計算工程は、
前記第一の画像と前記第二の画像に基づいて、動きベクトル場を計算する第一の工程であって、前記動きベクトル場は複数の動きベクトルを含み、前記各動きベクトルは、前記第一の画像における第一の画素ブロックから前記第二の画像における第二の画素ブロックまでの移動を表す第一の工程;及び
前記動きベクトル場における前記動きベクトルに基づいて、セグメント動きベクトルを計算する第二の工程、
を有する請求項1に記載の方法。 - 前記動きベクトル場における前記動きベクトルを選別するフィルタリング工程を有する、
請求項2に記載の方法。 - 前記セグメント動きベクトルは、前記第一のセグメントと実質的に対応する前記動きベクトル場の一部に位置する動きベクトルの最確値(modal value)に対応する、
請求項2に記載の方法。 - 前記セグメント動きベクトルは、前記第一のセグメントと実質的に対応する前記動きベクトル場の一部に位置する動きベクトルの平均値に対応する、
請求項2に記載の方法。 - 前記第二の工程において、少なくとも2つのセグメント動きベクトルが計算される、
請求項2に記載の方法。 - 前記動きベクトル場における前記動きベクトルに基づいて、前記第二のセグメントの形状を調整する第三の工程、
を更に有する請求項2に記載の方法。 - 第一の画像における第一のセグメントに基づき、第二の画像における第二のセグメントを決定する分割ユニットであり、前記第一のセグメントと前記第二のセグメントは対象物に対応する分割ユニットであって;
前記第一の画像と前記第二の画像の画素値を比較することにより、前記第一のセグメントから前記第二のセグメントへの変換を定義するセグメント動きモデルを計算する推定手段を有する、
分割ユニット。 - 前記第一の画像と前記第二の画像に基づいて、動きベクトル場を計算する動き推定手段であって、前記動きベクトル場は複数の動きベクトルを含み、前記各動きベクトルは、前記第一の画像における第一の画素ブロックから前記第二の画像における第二の画素ブロックまでの移動を表す動き推定手段;及び
前記動きベクトル場における前記動きベクトルに基づいて、セグメント動きベクトルを計算する計算手段、
を有する請求項8に記載の分割ユニット。 - 前記動きベクトル場における前記動きベクトルを選別するフィルターを有する、
請求項9に記載の分割ユニット。 - 前記計算手段は、前記第一のセグメントと実質的に対応する前記動きベクトル場の一部に位置する動きベクトルの最確値(modal value)に対応する前記セグメント動きベクトルを計算する、
請求項9に記載の分割ユニット。 - 前記計算手段は、前記第一のセグメントと実質的に対応する前記動きベクトル場の一部に位置する動きベクトルの平均値に対応する前記セグメント動きベクトルを計算する、
請求項9に記載の分割ユニット。 - 前記計算手段は、少なくとも2つのセグメント動きベクトルを計算する、
請求項9に記載の分割ユニット。 - 前記動きベクトル場における前記動きベクトルに基づいて、前記第二のセグメントの形状を調整する形状改変手段、
を有する請求項9に記載の分割ユニット。 - 第一の画像における第一のセグメントに基づき、第二の画像における第二のセグメントを決定する分割ユニットであり、前記第一のセグメントと前記第二のセグメントは対象物に対応する分割ユニット;及び
前記第一のセグメントと前記第二のセグメントを分析する分析手段
を有し、
前記分割ユニットは、前記第一の画像と前記第二の画像の画素値を比較することにより、前記第一のセグメントから前記第二のセグメントへの変換を定義するセグメント動きモデルを計算する推定手段を有する、
画像処理装置。 - 前記分割ユニットは、
前記第一の画像と前記第二の画像に基づいて、動きベクトル場を計算する動き推定手段であって、前記動きベクトル場は複数の動きベクトルを含み、前記各動きベクトルは、前記第一の画像における第一の画素ブロックから前記第二の画像における第二の画素ブロックまでの移動を表す動き推定手段;及び
前記第一のセグメントと実質的に対応する前記動きベクトル場の一部に位置する動きベクトルに基づいて、セグメント動きベクトルを計算する計算手段、
を有する請求項15に記載の画像処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP01201868 | 2001-05-17 | ||
PCT/IB2002/001730 WO2002093488A2 (en) | 2001-05-17 | 2002-05-16 | Segmentation unit for and method of determining a second segment and image processing apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004525472A true JP2004525472A (ja) | 2004-08-19 |
Family
ID=8180332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002590087A Pending JP2004525472A (ja) | 2001-05-17 | 2002-05-16 | 分割ユニット、その方法、及び画像処理装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7120277B2 (ja) |
EP (1) | EP1402477A2 (ja) |
JP (1) | JP2004525472A (ja) |
KR (1) | KR100937882B1 (ja) |
CN (1) | CN100530238C (ja) |
WO (1) | WO2002093488A2 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003201136A1 (en) * | 2002-02-06 | 2003-09-02 | Koninklijke Philips Electronics N.V. | Unit for and method of segmentation |
JP2006512029A (ja) * | 2002-12-20 | 2006-04-06 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | セグメントベース動き推定 |
GB0307883D0 (en) * | 2003-04-04 | 2003-05-14 | Inst Of Cancer Res The | A method and apparatus for imaging |
WO2006103594A2 (en) * | 2005-04-01 | 2006-10-05 | Koninklijke Philips Electronics N.V. | A method, a system and a computer program for segmenting a structure in a dataset |
US20090220173A1 (en) * | 2005-10-12 | 2009-09-03 | Active Optics Pty Limited | Image processing method and system |
US8018999B2 (en) * | 2005-12-05 | 2011-09-13 | Arcsoft, Inc. | Algorithm description on non-motion blur image generation project |
US20080063064A1 (en) * | 2006-09-13 | 2008-03-13 | Macinnis Alexander | Method and System for Motion Compensated Temporal Filtering Using IIR Filtering |
US7865030B2 (en) * | 2006-09-13 | 2011-01-04 | Broadcom Corporation | Method and system for motion compensated temporal filtering using both FIR and IIR filtering |
US8577115B2 (en) * | 2008-03-04 | 2013-11-05 | Tomotherapy Incorporated | Method and system for improved image segmentation |
KR101595257B1 (ko) * | 2009-04-28 | 2016-02-18 | 삼성전자주식회사 | 디지털 영상 처리 장치 및 방법과 이를 위한 기록매체 |
US20100303301A1 (en) * | 2009-06-01 | 2010-12-02 | Gregory Micheal Lamoureux | Inter-Frame Motion Detection |
WO2010148250A2 (en) * | 2009-06-17 | 2010-12-23 | Tomotherapy Incorporated | System and method of applying anatomically-constrained deformation |
US8594199B2 (en) * | 2010-03-08 | 2013-11-26 | Qualcomm Incorporated | Apparatus and method for motion vector filtering based on local image segmentation and lattice maps |
US9532059B2 (en) | 2010-10-05 | 2016-12-27 | Google Technology Holdings LLC | Method and apparatus for spatial scalability for video coding |
TWI469088B (zh) | 2010-12-31 | 2015-01-11 | Ind Tech Res Inst | 前景深度地圖產生模組及其方法 |
US8693547B2 (en) * | 2011-04-06 | 2014-04-08 | Google Inc. | Apparatus and method for coding using motion vector segmentation |
US8989256B2 (en) | 2011-05-25 | 2015-03-24 | Google Inc. | Method and apparatus for using segmentation-based coding of prediction information |
US9247257B1 (en) | 2011-11-30 | 2016-01-26 | Google Inc. | Segmentation based entropy encoding and decoding |
US20130272609A1 (en) * | 2011-12-12 | 2013-10-17 | Intel Corporation | Scene segmentation using pre-capture image motion |
US9094681B1 (en) | 2012-02-28 | 2015-07-28 | Google Inc. | Adaptive segmentation |
KR101908388B1 (ko) * | 2012-07-19 | 2018-10-17 | 삼성전자 주식회사 | 폐색 영역 복원 장치, 폐색 영역을 복원하는 비디오 디코딩 장치 및 폐색 영역 복원 방법 |
US9332276B1 (en) | 2012-08-09 | 2016-05-03 | Google Inc. | Variable-sized super block based direct prediction mode |
US9380298B1 (en) | 2012-08-10 | 2016-06-28 | Google Inc. | Object-based intra-prediction |
CN105027227B (zh) | 2013-02-26 | 2017-09-08 | 安科锐公司 | 电磁致动的多叶准直器 |
DE102014201313A1 (de) * | 2014-01-24 | 2015-07-30 | Myestro Interactive Gmbh | Verfahren zur Erkennung einer Bewegungsbahn mindestens eines bewegten Objektes innerhalb eines Erfassungsbereiches, Verfahren zur Gestikerkennung unter Einsatz eines derartigen Erkennungsverfahrens sowie Vorrichtung zur Durchführung eines derartigen Erkennungsverfahrens |
RU2557484C1 (ru) * | 2014-03-27 | 2015-07-20 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" ФГБОУ ВПО ТГТУ | Способ сегментации изображения |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0294960B1 (en) * | 1987-06-09 | 1994-09-28 | Sony Corporation | Motion vector processing in television images |
US5410358A (en) * | 1991-07-23 | 1995-04-25 | British Telecommunications Public Limited Company | Method and device for frame interpolation of a moving image |
JP2738325B2 (ja) * | 1995-01-24 | 1998-04-08 | 日本電気株式会社 | 動き補償フレーム間予測装置 |
CN1165180C (zh) * | 1996-05-17 | 2004-09-01 | 松下电器产业株式会社 | 图像信号发送方法 |
JPH1091795A (ja) * | 1996-09-12 | 1998-04-10 | Toshiba Corp | 移動物体検出装置及び移動物体検出方法 |
US6525765B1 (en) * | 1997-04-07 | 2003-02-25 | Pandora International, Inc. | Image processing |
GB9623573D0 (en) * | 1996-11-13 | 1997-01-08 | Philips Electronics Nv | Image segmentation |
US6809758B1 (en) * | 1999-12-29 | 2004-10-26 | Eastman Kodak Company | Automated stabilization method for digital image sequences |
US7006683B2 (en) * | 2001-02-22 | 2006-02-28 | Mitsubishi Electric Research Labs., Inc. | Modeling shape, motion, and flexion of non-rigid 3D objects in a sequence of images |
-
2002
- 2002-05-14 US US10/145,071 patent/US7120277B2/en not_active Expired - Lifetime
- 2002-05-16 CN CNB028017218A patent/CN100530238C/zh not_active Expired - Fee Related
- 2002-05-16 KR KR1020037000756A patent/KR100937882B1/ko not_active IP Right Cessation
- 2002-05-16 WO PCT/IB2002/001730 patent/WO2002093488A2/en active Application Filing
- 2002-05-16 EP EP02727928A patent/EP1402477A2/en not_active Withdrawn
- 2002-05-16 JP JP2002590087A patent/JP2004525472A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP1402477A2 (en) | 2004-03-31 |
US20030035583A1 (en) | 2003-02-20 |
WO2002093488A2 (en) | 2002-11-21 |
KR100937882B1 (ko) | 2010-01-21 |
KR20030025276A (ko) | 2003-03-28 |
CN1488123A (zh) | 2004-04-07 |
US7120277B2 (en) | 2006-10-10 |
CN100530238C (zh) | 2009-08-19 |
WO2002093488A3 (en) | 2003-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004525472A (ja) | 分割ユニット、その方法、及び画像処理装置 | |
JP6430064B2 (ja) | データを位置合わせする方法及びシステム | |
US10789765B2 (en) | Three-dimensional reconstruction method | |
US20030012410A1 (en) | Tracking and pose estimation for augmented reality using real features | |
CN106991650B (zh) | 一种图像去模糊的方法和装置 | |
Tuytelaars et al. | Synchronizing video sequences | |
JP2576771B2 (ja) | 動き補償予測装置 | |
KR101616926B1 (ko) | 영상 처리 장치 및 방법 | |
US20160117797A1 (en) | Image Processing Apparatus and Image Processing Method | |
WO2015006224A1 (en) | Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis | |
Weiss et al. | Perceptually organized EM: A framework for motion segmentation that combines information about form and motion | |
US10249046B2 (en) | Method and apparatus for object tracking and segmentation via background tracking | |
JP2006146926A (ja) | 2次元画像の表現方法、画像表現、画像の比較方法、画像シーケンスを処理する方法、動き表現を導出する方法、動き表現、画像の位置を求める方法、表現の使用、制御デバイス、装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 | |
CN106952292B (zh) | 基于6自由度场景流聚类的3d运动目标检测方法 | |
TW201719572A (zh) | 三維模型分析及搜尋方法 | |
US8929587B2 (en) | Multi-tracking of video objects | |
CN112883940A (zh) | 静默活体检测方法、装置、计算机设备及存储介质 | |
JP2005535028A (ja) | セグメント化のためのシステムおよびセグメント化方法 | |
Choi et al. | Robust video stabilization to outlier motion using adaptive RANSAC | |
Koppel et al. | Image-based rendering and modeling in video-endoscopy | |
Yu et al. | Recursive three-dimensional model reconstruction based on Kalman filtering | |
CN111160362B (zh) | 一种fast特征均匀化提取与帧间特征误匹配去除方法 | |
CN111179281A (zh) | 人体图像提取方法及人体动作视频提取方法 | |
Huang et al. | Weighted large margin nearest center distance-based human depth recovery with limited bandwidth consumption | |
da Silva Vieira et al. | Disparity map adjustment: a post-processing technique |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080205 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080213 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080901 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080908 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081030 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081125 |