JP5822322B2 - ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び3dディスプレイ - Google Patents
ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び3dディスプレイ Download PDFInfo
- Publication number
- JP5822322B2 JP5822322B2 JP2014529663A JP2014529663A JP5822322B2 JP 5822322 B2 JP5822322 B2 JP 5822322B2 JP 2014529663 A JP2014529663 A JP 2014529663A JP 2014529663 A JP2014529663 A JP 2014529663A JP 5822322 B2 JP5822322 B2 JP 5822322B2
- Authority
- JP
- Japan
- Prior art keywords
- source image
- mask
- image
- target image
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
[項目1]
コンピューター実施方法であって、
ソース画像を受信することであって、該ソース画像は、前景部分及び背景部分を含み、該背景部分は、3次元環境(3D環境)の画像コンテンツを含むことと、
前記ソース画像を前記3D環境の複数のターゲット画像と比較することによって、前記ソース画像のカメラ姿勢を求めることと、
前記カメラ姿勢に応じて、前記背景部分から前記前景部分をセグメンテーションすることによって、セグメンテーションされたソース画像を生成することと、
前記セグメンテーションされたソース画像及び前記カメラ姿勢をネットワークデータベースに記憶することと、
を含む、コンピューター実施方法。
[項目2]
前記カメラ姿勢を求めることは、
前記ソース画像から少なくとも1つのソース画像の視覚的特徴を抽出することと、
前記少なくとも1つのソース画像の視覚的特徴を前記複数のターゲット画像と比較することによって最もよく一致するターゲット画像を決定することと、
前記ソース画像を、前記最もよく一致するターゲット画像に関連付けられた前記3D環境における平面構造上に投影することであって、前記平面構造は、前記3D環境における3D座標を有することと、
を含む、項目1に記載の方法。
[項目3]
前記ソース画像を前記平面構造上に投影することは、
ホモグラフィー行列を求めることと、
前記ホモグラフィー行列、固有カメラ較正行列、及び最小二乗再投影誤差最小化技法を用いて、回転行列及び平行移動行列を解くことと、
前記回転行列及び前記平行移動行列を前記平面構造の前記3D座標に適用することと、
を含む、項目2に記載の方法。
[項目4]
前記前景部分をセグメンテーションすることは、
各ターゲット画像について、ホモグラフィー行列を該ターゲット画像に適用することであって、投影マスク及び投影ターゲット画像を生成し、該投影マスクは、前記ソース画像内の前記ターゲット画像の前記背景部分の少なくとも一部を示すことと、
各投影ターゲット画像を前記ソース画像に色調整することと、
前記色調整された投影ターゲット画像を前記ソース画像と比較することによって複数の差分マップを生成することと、
前記複数の差分マップをマージすることであって、混合差分マップを生成することと、
を含む、項目1に記載の方法。
[項目5]
前記混合差分マップに二重閾値処理を適用することであって、複数の第1のバイナリ前景マスクを生成することと、
前記ソース画像及び前記色調整された投影ターゲット画像の統計的解析を行うことによって、各第1のバイナリ前景マスクを精緻化することと、
を更に含む、項目4に記載の方法。
[項目6]
前記ソース画像及び前記色調整された投影ターゲット画像の統計的解析を行うことによって、前記各第1のバイナリ前景マスクを精緻化することは、
少なくとも1つのローカルなウィンドウにおいてカラーチャネルごとに、前記ソース画像及び前記色調整された投影ターゲット画像の統計を解析することと、
前記ローカルなウィンドウ内の各ピクセルにおいて少なくとも2つの分散量度を指定することと、
双方の分散量度が指定された閾値よりも大きいとき、各第1の前景マスクにピクセルを追加することと、
を含む、項目5に記載の方法。
[項目7]
フィルタリングされた前記ソース画像から床部分を取り去ることであって、床マスクを生成することと、
前記複数の第1の精緻化された前景マスク及び前記床マスクを混合することであって、第2のバイナリ前景マスクを生成することと、
前記第2のバイナリ前景マスクにメディアンフィルターを適用することと、
を更に含む、項目5に記載の方法。
[項目8]
前記第2のバイナリ前景マスクにおいて顔領域を検出することであって、顔マスクを生成することと、
前記顔マスクを前記第2のバイナリ前景マスクと混合することであって、第3のバイナリ前景マスクを生成することと、
前記第3のバイナリ前景マスクに連結成分解析を適用することと、
を更に含む、項目7に記載の方法。
[項目9]
各投影ターゲット画像を前記ソース画像に色調整することは、
各投影ターゲット画像を前記ソース画像と比較することによって差分マップを生成することと、
前記差分マップに固定閾値を適用することであって、粗くセグメンテーションされた前景マスクを生成することと、
前記粗くセグメンテーションされた前景マスクを前記投影マスクから取り去ることであって、調整された前記投影マスクを生成することと、
前記投影ターゲット画像から前記ソース画像への、前記調整された投影マスク内におけるカラーマッピングを推定することと、
元の投影マスク内における前記カラーマッピングを前記投影ターゲット画像に適用することであって、前記色調整された投影ターゲット画像を生成することと、
を含む、項目4に記載の方法。
[項目10]
前記カメラ姿勢及び前記セグメンテーションされたソース画像を用いることであって、前記3D環境における前記前景部分のシミュレーションを提供すること、
を更に含む、項目1に記載の方法。
[項目11]
システムであって、
プロセッサと、該プロセッサに結合されたメモリとを備え、該メモリ内の命令は、
ソース画像を受信することであって、該ソース画像は、前景部分及び背景部分を含み、該背景部分は、3次元環境(3D環境)の画像コンテンツを含むことと、
前記ソース画像を前記3D環境の複数のターゲット画像と比較することによって、前記ソース画像のカメラ姿勢を求めることと、
前記カメラ姿勢に応じて、前記背景部分から前記前景部分をセグメンテーションすることによって、セグメンテーションされたソース画像を生成することと、
前記セグメンテーションされたソース画像及び前記カメラ姿勢をネットワークデータベースに記憶することと、
を行うように前記プロセッサを構成する、システム。
[項目12]
前記カメラ姿勢を求めることを行うように前記プロセッサを構成する命令は、
前記ソース画像から少なくとも1つのソース画像の視覚的特徴を抽出することと、
前記少なくとも1つのソース画像の視覚的特徴を前記複数のターゲット画像と比較することによって最もよく一致するターゲット画像を決定することと、
前記ソース画像を、前記最もよく一致するターゲット画像に関連付けられた前記3D環境における平面構造上に投影することであって、前記平面構造は、前記3D環境における3D座標を有することと、
を行うように前記プロセッサを構成する命令を含む、項目11に記載のシステム。
[項目13]
前記ソース画像を前記平面構造上に投影することを行うように前記プロセッサを構成する命令は、
ホモグラフィー行列を求めることと、
前記ホモグラフィー行列、固有カメラ較正行列、及び最小二乗再投影誤差最小化技法を用いて、回転行列及び平行移動行列を解くことと、
前記回転行列及び前記平行移動行列を前記平面構造の前記3D座標に適用することと、
を行うように前記プロセッサを構成する命令を含む、項目12に記載のシステム。
[項目14]
前記前景部分をセグメンテーションすることを行うように前記プロセッサを構成する命令は、
各ターゲット画像について、ホモグラフィー行列を該ターゲット画像に適用することであって、投影マスク及び投影ターゲット画像を生成し、該投影マスクは、前記ソース画像内の前記ターゲット画像の前記背景部分の少なくとも一部を示すことと、
各投影ターゲット画像を前記ソース画像に色調整することと、
前記色調整された投影ターゲット画像を前記ソース画像と比較することによって複数の差分マップを生成することと、
前記複数の差分マップをマージすることであって、混合差分マップを生成することと、
を行うように前記プロセッサを構成する命令を含む、項目11に記載のシステム。
[項目15]
前記混合差分マップに二重閾値処理を適用することであって、複数の第1のバイナリ前景マスクを生成することと、
前記ソース画像及び前記色調整された投影ターゲット画像の統計的解析を行うことによって、各第1のバイナリ前景マスクを精緻化することと、
を行うように前記プロセッサを構成する命令を更に含む、項目14に記載のシステム。
[項目16]
前記ソース画像及び前記色調整された投影ターゲット画像の統計的解析を行うことによって、前記各第1のバイナリ前景マスクを精緻化することを行うように前記プロセッサを構成する命令は、
少なくとも1つのローカルなウィンドウにおいてカラーチャネルごとに、前記ソース画像及び前記色調整された投影ターゲット画像の統計を解析することと、
前記ローカルなウィンドウ内の各ピクセルにおいて少なくとも2つの分散量度を指定することと、
双方の分散量度が指定された閾値よりも大きいとき、各第1の前景マスクにピクセルを追加することと、
を行うように前記プロセッサを構成する命令を含む、項目15に記載のシステム。
[項目17]
フィルタリングされた前記ソース画像から床部分を取り去ることであって、床マスクを生成することと、
前記複数の第1の精緻化された前景マスク及び前記床マスクを混合することであって、第2のバイナリ前景マスクを生成することと、
前記第2のバイナリ前景マスクにメディアンフィルターを適用することと、
を行うように前記プロセッサを構成する命令を更に含む項目15に記載のシステム。
[項目18]
前記第2のバイナリ前景マスクにおいて顔領域を検出することであって、顔マスクを生成することと、
前記顔マスクを前記第2のバイナリ前景マスクと混合することであって、第3のバイナリ前景マスクを生成することと、
前記第3のバイナリ前景マスクに連結成分解析を適用することと、
を行うように前記プロセッサを構成する命令を更に含む、項目17に記載のシステム。
[項目19]
各投影ターゲット画像を前記ソース画像に色調整することを行うように前記プロセッサを構成する命令は、
各投影ターゲット画像を前記ソース画像と比較することによって差分マップを生成することと、
前記差分マップに固定閾値を適用することであって、粗くセグメンテーションされた前景マスクを生成することと、
前記粗くセグメンテーションされた前景マスクを前記投影マスクから取り去ることであって、調整された前記投影マスクを生成することと、
前記投影ターゲット画像から前記ソース画像への、前記調整された投影マスク内におけるカラーマッピングを推定することと、
元の投影マスク内における前記カラーマッピングを前記投影ターゲット画像に適用することであって、前記色調整された投影ターゲット画像を生成することと、
を行うように前記プロセッサを構成する命令を含む、項目14に記載のシステム。
[項目20]
前記カメラ姿勢及び前記セグメンテーションされたソース画像を用いることであって、前記3D環境における前記前景部分のシミュレーションを提供すること、
を行うように前記プロセッサを構成する命令を更に含む、項目11に記載のシステム。
[項目21]
命令を記憶しているコンピュータープログラム製品を含む物品であって、前記命令は実行されると、結果として
ソース画像を受信することであって、該ソース画像は、前景部分及び背景部分を含み、該背景部分は、3次元環境(3D環境)の画像コンテンツを含むことと、
前記ソース画像を前記3D環境の複数のターゲット画像と比較することによって、前記ソース画像のカメラ姿勢を求めることと、
前記カメラ姿勢に応じて、前記背景部分から前記前景部分をセグメンテーションすることによって、セグメンテーションされたソース画像を生成することと、
前記セグメンテーションされたソース画像及び前記カメラ姿勢をネットワークデータベースに記憶することと、
が行われる、コンピュータープログラム製品を含む物品。
[項目22]
結果として前記カメラ姿勢を求めることが行われる前記命令は、実行されると、結果として、
前記ソース画像から少なくとも1つのソース画像の視覚的特徴を抽出することと、
前記少なくとも1つのソース画像の視覚的特徴を前記複数のターゲット画像と比較することによって最もよく一致するターゲット画像を決定することと、
前記ソース画像を、前記最もよく一致するターゲット画像に関連付けられた前記3D環境における平面構造上に投影することであって、前記平面構造は、前記3D環境における3D座標を有することと、
が行われる命令を含む、項目21に記載の物品。
[項目23]
結果として前記ソース画像を前記平面構造上に投影することが行われる前記命令は、実行されると、結果として、
ホモグラフィー行列を求めることと、
前記ホモグラフィー行列、固有カメラ較正行列、及び最小二乗再投影誤差最小化技法を用いて、回転行列及び平行移動行列を解くことと、
前記回転行列及び前記平行移動行列を前記平面構造の前記3D座標に適用することと、
が行われる命令を含む、項目22に記載の物品。
[項目24]
結果として前記前景部分をセグメンテーションすることが行われる命令は、実行されると、結果として、
各ターゲット画像について、ホモグラフィー行列を該ターゲット画像に適用することであって、投影マスク及び投影ターゲット画像を生成し、該投影マスクは、前記ソース画像内の前記ターゲット画像の前記背景部分の少なくとも一部を示すことと、
各投影ターゲット画像を前記ソース画像に色調整することと、
前記色調整された投影ターゲット画像を前記ソース画像と比較することによって複数の差分マップを生成することと、
前記複数の差分マップをマージすることであって、混合差分マップを生成することと、
が行われる命令を含む、項目21に記載の物品。
[項目25]
実行されると、結果として、
前記混合差分マップに二重閾値処理を適用することであって、複数の第1のバイナリ前景マスクを生成することと、
前記ソース画像及び前記色調整された投影ターゲット画像の統計的解析を行うことによって、各第1のバイナリ前景マスクを精緻化することと、
が行われる命令を更に含む、項目24に記載の物品。
[項目26]
結果として、前記ソース画像及び前記色調整された投影ターゲット画像の統計的解析を行うことによって、前記各第1のバイナリ前景マスクを精緻化することが行われる前記命令は、実行されると、結果として、
少なくとも1つのローカルなウィンドウにおいてカラーチャネルごとに、前記ソース画像及び前記色調整された投影ターゲット画像の統計を解析することと、
前記ローカルなウィンドウ内の各ピクセルにおいて少なくとも2つの分散量度を指定することと、
双方の分散量度が指定された閾値よりも大きいとき、各第1の前景マスクにピクセルを追加することと、
が行われる命令を含む、項目25に記載の物品。
[項目27]
実行されると、結果として、
フィルタリングされた前記ソース画像から床部分を取り去ることであって、床マスクを生成することと、
前記複数の第1の精緻化された前景マスク及び前記床マスクを混合することであって、第2のバイナリ前景マスクを生成することと、
前記第2のバイナリ前景マスクにメディアンフィルターを適用することと、
が行われる命令を更に含む、項目25に記載の物品。
[項目28]
実行されると、結果として、
前記第2のバイナリ前景マスクにおいて顔領域を検出することであって、顔マスクを生成することと、
前記顔マスクを前記第2のバイナリ前景マスクと混合することであって、第3のバイナリ前景マスクを生成することと、
前記第3のバイナリ前景マスクに連結成分解析を適用することと、
が行われる命令を更に含む、項目27に記載の物品。
[項目29]
結果として、各投影ターゲット画像を前記ソース画像に色調整することが行われる前記命令は、実行されると、結果として、
各投影ターゲット画像を前記ソース画像と比較することによって差分マップを生成することと、
前記差分マップに固定閾値を適用することであって、粗くセグメンテーションされた前景マスクを生成することと、
前記粗くセグメンテーションされた前景マスクを前記投影マスクから取り去ることであって、調整された前記投影マスクを生成することと、
前記投影ターゲット画像から前記ソース画像への、前記調整された投影マスク内におけるカラーマッピングを推定することと、
元の投影マスク内における前記カラーマッピングを前記投影ターゲット画像に適用することであって、前記色調整された投影ターゲット画像を生成することと、
が行われる命令を含む、項目24に記載の物品。
[項目30]
実行されると、結果として、
前記カメラ姿勢及び前記セグメンテーションされたソース画像を用いることであって、前記3D環境における前記前景部分のシミュレーションを提供すること、
が行われる命令を更に含む、項目21に記載の物品。
Claims (19)
- ソース画像を受信することであって、該ソース画像は、前景部分及び背景部分を含み、該背景部分は、3次元環境(3D環境)の画像コンテンツを含むことと、
前記ソース画像を前記3D環境の複数のターゲット画像と比較することによって、前記ソース画像のカメラ姿勢を求めることと、
前記カメラ姿勢に応じて、前記背景部分から前記前景部分をセグメンテーションすることによって、セグメンテーションされたソース画像を生成することと、
前記セグメンテーションされたソース画像及び前記カメラ姿勢をネットワークデータベースに記憶することと、
を含み、
前記前景部分をセグメンテーションすることは、
各ターゲット画像について、ホモグラフィー行列を該ターゲット画像に適用することであって、投影マスク及び投影ターゲット画像を生成し、該投影マスクは、前記ソース画像内の前記ターゲット画像の前記背景部分の少なくとも一部を示すことと、
各投影ターゲット画像を前記ソース画像に色調整することと、
前記色調整された投影ターゲット画像を前記ソース画像と比較することによって複数の差分マップを生成することと、
前記複数の差分マップをマージすることであって、混合差分マップを生成することと、
を含む、方法。 - 前記カメラ姿勢を求めることは、
前記ソース画像から少なくとも1つのソース画像の視覚的特徴を抽出することと、
前記少なくとも1つのソース画像の視覚的特徴を前記複数のターゲット画像と比較することによって最もよく一致するターゲット画像を決定することと、
前記ソース画像を、前記最もよく一致するターゲット画像に関連付けられた前記3D環境における平面構造上に投影することであって、前記平面構造は、前記3D環境における3D座標を有することと、
を含む、請求項1に記載の方法。 - 前記ソース画像を前記平面構造上に投影することは、
ホモグラフィー行列を求めることと、
前記ホモグラフィー行列、固有カメラ較正行列、及び最小二乗再投影誤差最小化技法を用いて、回転行列及び平行移動行列を解くことと、
前記回転行列及び前記平行移動行列を前記平面構造の前記3D座標に適用することと、
を含む、請求項2に記載の方法。 - 前記混合差分マップに二重閾値処理を適用することであって、複数の第1のバイナリ前景マスクを生成することと、
前記ソース画像及び前記色調整された投影ターゲット画像の統計的解析を行うことによって、各第1のバイナリ前景マスクを精緻化することと、
を更に含む、請求項1から請求項3のいずれか1つに記載の方法。 - 前記ソース画像及び前記色調整された投影ターゲット画像の統計的解析を行うことによって、前記各第1のバイナリ前景マスクを精緻化することは、
少なくとも1つのローカルなウィンドウにおいてカラーチャネルごとに、前記ソース画像及び前記色調整された投影ターゲット画像の統計を解析することと、
前記ローカルなウィンドウ内の各ピクセルにおいて少なくとも2つの分散量度を指定することと、
双方の分散量度が指定された閾値よりも大きいとき、各第1の前景マスクにピクセルを追加することと、
を含む、請求項4に記載の方法。 - フィルタリングされた前記ソース画像から床部分を取り去ることであって、床マスクを生成することと、
前記複数の第1の精緻化された前景マスク及び前記床マスクを混合することであって、第2のバイナリ前景マスクを生成することと、
前記第2のバイナリ前景マスクにメディアンフィルターを適用することと、
を更に含む、請求項4または5に記載の方法。 - 前記第2のバイナリ前景マスクにおいて顔領域を検出することであって、顔マスクを生成することと、
前記顔マスクを前記第2のバイナリ前景マスクと混合することであって、第3のバイナリ前景マスクを生成することと、
前記第3のバイナリ前景マスクに連結成分解析を適用することと、
を更に含む、請求項6に記載の方法。 - 各投影ターゲット画像を前記ソース画像に色調整することは、
各投影ターゲット画像を前記ソース画像と比較することによって差分マップを生成することと、
前記差分マップに固定閾値を適用することであって、粗くセグメンテーションされた前景マスクを生成することと、
前記粗くセグメンテーションされた前景マスクを前記投影マスクから取り去ることであって、調整された前記投影マスクを生成することと、
前記投影ターゲット画像から前記ソース画像への、前記調整された投影マスク内におけるカラーマッピングを推定することと、
元の投影マスク内における前記カラーマッピングを前記投影ターゲット画像に適用することであって、前記色調整された投影ターゲット画像を生成することと、
を含む、請求項1から7の何れか1項に記載の方法。 - 前記カメラ姿勢及び前記セグメンテーションされたソース画像を用いることであって、前記3D環境における前記前景部分のシミュレーションを提供すること、
を更に含む、請求項1から8の何れか1項に記載の方法。 - 請求項1から請求項9のいずれか1つに記載の方法をコンピュータに実行させるためのプログラム。
- システムであって、
ソース画像を受信することであって、該ソース画像は、前景部分及び背景部分を含み、該背景部分は、3次元環境(3D環境)の画像コンテンツを含むことと、前記ソース画像を前記3D環境の複数のターゲット画像と比較することによって、前記ソース画像のカメラ姿勢を求めることと、前記カメラ姿勢に応じて、前記背景部分から前記前景部分をセグメンテーションすることによって、セグメンテーションされたソース画像を生成することと、前記セグメンテーションされたソース画像及び前記カメラ姿勢をネットワークデータベースに記憶することとを行う処理手段、
を備え、
前記前景部分をセグメンテーションするために、前記処理手段は、各ターゲット画像について、ホモグラフィー行列を該ターゲット画像に適用することであって、投影マスク及び投影ターゲット画像を生成し、該投影マスクは、前記ソース画像内の前記ターゲット画像の前記背景部分の少なくとも一部を示すことと、各投影ターゲット画像を前記ソース画像に色調整することと、前記色調整された投影ターゲット画像を前記ソース画像と比較することによって複数の差分マップを生成することと、前記複数の差分マップをマージすることであって、混合差分マップを生成することとを行う、システム。 - 前記カメラ姿勢を求めるために、前記処理手段は、前記ソース画像から少なくとも1つのソース画像の視覚的特徴を抽出することと、前記少なくとも1つのソース画像の視覚的特徴を前記複数のターゲット画像と比較することによって最もよく一致するターゲット画像を決定することと、前記ソース画像を、前記最もよく一致するターゲット画像に関連付けられた前記3D環境における平面構造上に投影することであって、前記平面構造は、前記3D環境における3D座標を有することとを行う、請求項11に記載のシステム。
- 前記ソース画像を前記平面構造上に投影するために、前記処理手段は、ホモグラフィー行列を求めることと、前記ホモグラフィー行列、固有カメラ較正行列、及び最小二乗再投影誤差最小化技法を用いて、回転行列及び平行移動行列を解くことと、前記回転行列及び前記平行移動行列を前記平面構造の前記3D座標に適用することとを行う、請求項12に記載のシステム。
- 前記処理手段は、前記混合差分マップに二重閾値処理を適用することであって、複数の第1のバイナリ前景マスクを生成することと、前記ソース画像及び前記色調整された投影ターゲット画像の統計的解析を行うことによって、各第1のバイナリ前景マスクを精緻化することとを行う、請求項13に記載のシステム。
- 前記ソース画像及び前記色調整された投影ターゲット画像の統計的解析を行うことによって、前記各第1のバイナリ前景マスクを精緻化するために、前記処理手段は、少なくとも1つのローカルなウィンドウにおいてカラーチャネルごとに、前記ソース画像及び前記色調整された投影ターゲット画像の統計を解析することと、前記ローカルなウィンドウ内の各ピクセルにおいて少なくとも2つの分散量度を指定することと、双方の分散量度が指定された閾値よりも大きいとき、各第1の前景マスクにピクセルを追加することとを行う、請求項14に記載のシステム。
- 前記処理手段は、フィルタリングされた前記ソース画像から床部分を取り去ることであって、床マスクを生成することと、前記複数の第1の精緻化された前景マスク及び前記床マスクを混合することであって、第2のバイナリ前景マスクを生成することと、前記第2のバイナリ前景マスクにメディアンフィルターを適用することとを行う、請求項14または15に記載のシステム。
- 前記処理手段は、前記第2のバイナリ前景マスクにおいて顔領域を検出することであって、顔マスクを生成することと、前記顔マスクを前記第2のバイナリ前景マスクと混合することであって、第3のバイナリ前景マスクを生成することと、前記第3のバイナリ前景マスクに連結成分解析を適用することとを行う、請求項16に記載のシステム。
- 各投影ターゲット画像を前記ソース画像に色調整するために、前記処理手段は、各投影ターゲット画像を前記ソース画像と比較することによって差分マップを生成することと、前記差分マップに固定閾値を適用することであって、粗くセグメンテーションされた前景マスクを生成することと、前記粗くセグメンテーションされた前景マスクを前記投影マスクから取り去ることであって、調整された前記投影マスクを生成することと、前記投影ターゲット画像から前記ソース画像への、前記調整された投影マスク内におけるカラーマッピングを推定することと、元の投影マスク内における前記カラーマッピングを前記投影ターゲット画像に適用することであって、前記色調整された投影ターゲット画像を生成することとを行う、請求項11から17の何れか1項に記載のシステム。
- 前記処理手段は、前記カメラ姿勢及び前記セグメンテーションされたソース画像を用いることであって、前記3D環境における前記前景部分のシミュレーションを提供することを行う、請求項11から18の何れか1項に記載のシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2011/051203 WO2013039472A1 (en) | 2011-09-12 | 2011-09-12 | Networked capture and 3d display of localized, segmented images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014530391A JP2014530391A (ja) | 2014-11-17 |
JP5822322B2 true JP5822322B2 (ja) | 2015-11-24 |
Family
ID=47883556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014529663A Expired - Fee Related JP5822322B2 (ja) | 2011-09-12 | 2011-09-12 | ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び3dディスプレイ |
Country Status (6)
Country | Link |
---|---|
US (2) | US9418438B2 (ja) |
EP (1) | EP2756682A4 (ja) |
JP (1) | JP5822322B2 (ja) |
KR (1) | KR101595537B1 (ja) |
CN (1) | CN103765880B (ja) |
WO (1) | WO2013039472A1 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5822322B2 (ja) | 2011-09-12 | 2015-11-24 | インテル・コーポレーション | ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び3dディスプレイ |
US9098229B2 (en) * | 2012-05-04 | 2015-08-04 | Aaron Hallquist | Single image pose estimation of image capture devices |
US9020982B2 (en) * | 2012-10-15 | 2015-04-28 | Qualcomm Incorporated | Detection of planar targets under steep angles |
US9894269B2 (en) | 2012-10-31 | 2018-02-13 | Atheer, Inc. | Method and apparatus for background subtraction using focus differences |
US20140369557A1 (en) * | 2013-06-14 | 2014-12-18 | Qualcomm Incorporated | Systems and Methods for Feature-Based Tracking |
US9804392B2 (en) | 2014-11-20 | 2017-10-31 | Atheer, Inc. | Method and apparatus for delivering and controlling multi-feed data |
KR102493754B1 (ko) | 2015-02-17 | 2023-02-01 | 네버마인드 캐피탈 엘엘씨 | 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치 |
US10362290B2 (en) | 2015-02-17 | 2019-07-23 | Nextvr Inc. | Methods and apparatus for processing content based on viewing information and/or communicating content |
US10275863B2 (en) * | 2015-04-03 | 2019-04-30 | Cognex Corporation | Homography rectification |
US10051206B2 (en) | 2015-09-28 | 2018-08-14 | Gopro, Inc. | Automatic composition of video with dynamic background and composite frames selected based on frame and foreground object criteria |
GB201608259D0 (en) * | 2016-05-11 | 2016-06-22 | Magic Pony Technology Ltd | Feature transfer |
US11159742B2 (en) | 2016-06-30 | 2021-10-26 | Intel Corporation | High-speed video from camera arrays |
CN106447585A (zh) * | 2016-09-21 | 2017-02-22 | 武汉大学 | 城市地区和室内高精度视觉定位***及方法 |
CN106570877B (zh) * | 2016-10-27 | 2017-12-05 | 西安科技大学 | 基于采煤机虚拟样机与真实图像配准的采煤机位姿定位***及方法 |
US10816354B2 (en) | 2017-08-22 | 2020-10-27 | Tusimple, Inc. | Verification module system and method for motion-based lane detection with multiple sensors |
US10602117B1 (en) * | 2017-09-11 | 2020-03-24 | Bentley Systems, Incorporated | Tool for onsite augmentation of past events |
US10772594B2 (en) * | 2017-12-11 | 2020-09-15 | Dentsply Sirona Inc. | Methods, systems, apparatuses, and computer program products for extending the field of view of a sensor and obtaining a synthetic radiagraph |
US11009356B2 (en) * | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization and fusion |
US11009365B2 (en) | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization |
CN110458755B (zh) * | 2018-05-07 | 2023-01-13 | 华为技术有限公司 | 图像处理方法、相关设备及计算机存储介质 |
US11375293B2 (en) | 2018-10-31 | 2022-06-28 | Sony Interactive Entertainment Inc. | Textual annotation of acoustic effects |
US10977872B2 (en) * | 2018-10-31 | 2021-04-13 | Sony Interactive Entertainment Inc. | Graphical style modification for video games using machine learning |
US11636673B2 (en) | 2018-10-31 | 2023-04-25 | Sony Interactive Entertainment Inc. | Scene annotation using machine learning |
CN111223114B (zh) * | 2020-01-09 | 2020-10-30 | 北京达佳互联信息技术有限公司 | 一种图像区域的分割方法、装置及电子设备 |
EP3893150A1 (en) | 2020-04-09 | 2021-10-13 | Tusimple, Inc. | Camera pose estimation techniques |
CN117152400B (zh) * | 2023-10-30 | 2024-03-19 | 武汉苍穹融新科技有限公司 | 交通道路上多路连续视频与三维孪生场景融合方法及*** |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002010230A (ja) * | 2000-06-16 | 2002-01-11 | Nippon Telegr & Teleph Corp <Ntt> | 映像配信方法及び装置 |
US6965379B2 (en) | 2001-05-08 | 2005-11-15 | Koninklijke Philips Electronics N.V. | N-view synthesis from monocular video of certain broadcast and stored mass media content |
US7606417B2 (en) * | 2004-08-16 | 2009-10-20 | Fotonation Vision Limited | Foreground/background segmentation in digital images with differential exposure calculations |
JP2005210369A (ja) * | 2004-01-22 | 2005-08-04 | Konica Minolta Photo Imaging Inc | 画像処理装置及び画像処理方法 |
JP2005339127A (ja) * | 2004-05-26 | 2005-12-08 | Olympus Corp | 画像情報表示装置及び画像情報表示方法 |
US7702131B2 (en) * | 2005-10-13 | 2010-04-20 | Fujifilm Corporation | Segmenting images and simulating motion blur using an image sequence |
US7720283B2 (en) * | 2005-12-09 | 2010-05-18 | Microsoft Corporation | Background removal in a live video |
IES20060558A2 (en) * | 2006-02-14 | 2006-11-01 | Fotonation Vision Ltd | Image blurring |
EP1862969A1 (en) * | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
JP4908088B2 (ja) | 2006-07-13 | 2012-04-04 | 公益財団法人相模中央化学研究所 | 含フッ素プロピオン酸誘導体の製造方法 |
JP4789745B2 (ja) | 2006-08-11 | 2011-10-12 | キヤノン株式会社 | 画像処理装置および方法 |
US8073196B2 (en) * | 2006-10-16 | 2011-12-06 | University Of Southern California | Detection and tracking of moving objects from a moving platform in presence of strong parallax |
US7916944B2 (en) * | 2007-01-31 | 2011-03-29 | Fuji Xerox Co., Ltd. | System and method for feature level foreground segmentation |
TW201118791A (en) * | 2009-11-27 | 2011-06-01 | Inst Information Industry | System and method for obtaining camera parameters from a plurality of images, and computer program products thereof |
EP2339537B1 (en) * | 2009-12-23 | 2016-02-24 | Metaio GmbH | Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method |
JP5822322B2 (ja) | 2011-09-12 | 2015-11-24 | インテル・コーポレーション | ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び3dディスプレイ |
EP4296963A3 (en) * | 2012-08-21 | 2024-03-27 | Adeia Imaging LLC | Method for depth detection in images captured using array cameras |
US9154773B2 (en) * | 2013-03-15 | 2015-10-06 | Seiko Epson Corporation | 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations |
US9436987B2 (en) * | 2014-04-30 | 2016-09-06 | Seiko Epson Corporation | Geodesic distance based primitive segmentation and fitting for 3D modeling of non-rigid objects from 2D images |
-
2011
- 2011-09-12 JP JP2014529663A patent/JP5822322B2/ja not_active Expired - Fee Related
- 2011-09-12 KR KR1020147007671A patent/KR101595537B1/ko active IP Right Grant
- 2011-09-12 US US13/977,339 patent/US9418438B2/en active Active
- 2011-09-12 EP EP11872318.8A patent/EP2756682A4/en not_active Withdrawn
- 2011-09-12 CN CN201180073424.5A patent/CN103765880B/zh not_active Expired - Fee Related
- 2011-09-12 WO PCT/US2011/051203 patent/WO2013039472A1/en active Application Filing
-
2016
- 2016-07-08 US US15/206,058 patent/US10192313B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10192313B2 (en) | 2019-01-29 |
US20160321817A1 (en) | 2016-11-03 |
KR20140064908A (ko) | 2014-05-28 |
WO2013039472A1 (en) | 2013-03-21 |
JP2014530391A (ja) | 2014-11-17 |
KR101595537B1 (ko) | 2016-02-17 |
CN103765880A (zh) | 2014-04-30 |
US20140233847A1 (en) | 2014-08-21 |
EP2756682A4 (en) | 2015-08-19 |
EP2756682A1 (en) | 2014-07-23 |
US9418438B2 (en) | 2016-08-16 |
CN103765880B (zh) | 2016-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5822322B2 (ja) | ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び3dディスプレイ | |
US11727661B2 (en) | Method and system for determining at least one property related to at least part of a real environment | |
CN108701376B (zh) | 三维图像的基于识别的对象分割 | |
US10373380B2 (en) | 3-dimensional scene analysis for augmented reality operations | |
US10573018B2 (en) | Three dimensional scene reconstruction based on contextual analysis | |
JP6031464B2 (ja) | 並列追跡及びマッピングのためのキーフレーム選択 | |
US11051000B2 (en) | Method for calibrating cameras with non-overlapping views | |
EP2711670B1 (en) | Visual localisation | |
US20180189957A1 (en) | Producing a segmented image of a scene | |
US9639943B1 (en) | Scanning of a handheld object for 3-dimensional reconstruction | |
AU2013237718A1 (en) | Method, apparatus and system for selecting a frame | |
US20150199572A1 (en) | Object tracking using occluding contours | |
US9208606B2 (en) | System, method, and computer program product for extruding a model through a two-dimensional scene | |
KR20160051804A (ko) | 물리 평면의 디지털 표현의 확장 | |
Recky et al. | Façade segmentation in a multi-view scenario | |
Bazin et al. | An original approach for automatic plane extraction by omnidirectional vision | |
US20220108476A1 (en) | Method and system for extrinsic camera calibration | |
CN117917684A (zh) | 图像处理方法、装置和计算机可读存储介质 | |
Wang et al. | Stereo Matching for Binocular Underwater Images Using SURF Operator and Epipolar Restriction | |
Khazaeli et al. | Image Segmentation from RGBD Images by 3D Point Cloud Attributes and High-Level Features | |
Westaway | An empirical assessment of real-time progressive stereo reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150407 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150702 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151001 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5822322 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |