JP6631179B2 - 前景画像分割方法及び装置、プログラム、並びに記録媒体 - Google Patents
前景画像分割方法及び装置、プログラム、並びに記録媒体 Download PDFInfo
- Publication number
- JP6631179B2 JP6631179B2 JP2015221604A JP2015221604A JP6631179B2 JP 6631179 B2 JP6631179 B2 JP 6631179B2 JP 2015221604 A JP2015221604 A JP 2015221604A JP 2015221604 A JP2015221604 A JP 2015221604A JP 6631179 B2 JP6631179 B2 JP 6631179B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- foreground
- color
- image
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
(外2)
)を選出できる。
(外5)
と
(外6)
から該画素点pのAlpha値を計算できる。上記で、すでに公式(7)から画素点pのAlpha推定値
(外7)
を計算しているが、該画素点pのAlpha値を計算するため、さらに上述の前景成分と背景成分の推定値を使用してpのAlpha値を計算する信頼度を知る必要がある。
(外8)
と
(外9)
と該画素の実際のカラー値Cp間の偏差を計算し、該画素のAlpha推定値及び該偏差から前記信頼度を計算できる。例えば、以下の公式(13)から信頼度CFpを計算できる。
(外10)
に等しく、これによりAlpha値の局部突然変化によって結果が平滑ではないことを回避できる。
これにより、前景マスキング画像を取得する。該前景マスキング画像と入力画像を操作すると、前景画像を分割できる。
Claims (9)
- 入力画像及びそのカラー情報と奥行き情報を取得するステップと、
入力画像の奥行き情報に基づいて、入力画像を粗分割して初期三色画像を取得するステップと、
入力画像のカラー情報に基づいて、該初期三色画像内の未知領域を縮小又は拡大して、最適化した三色画像を取得するステップと、
最適化した三色画像から前景画像を分割するステップと、を含み、
前記入力画像のカラー情報に基づいて該初期三色画像内の未知領域の縮小又は拡大するステップは、
該初期三色画像の未知領域を複数の局部領域に分け、
各局部領域について、その中の色分布が所定条件を満たしているか否かを判断し、満たしていない場合は、該局部領域の色分布が該所定条件を満たすまで該局部領域を縮小又は拡大することを含み、
前記所定条件は、該局部領域内の色の種類を二種類とすることである、前景画像分割方法。 - 前景対象の構成要素間の隙間領域を検出するステップと、
縮小又は拡大された三色画像内で前記隙間領域を未知領域の一部としてマーキングして、最適化した三色画像を取得するステップと、をさらに含む、請求項1に記載の前景画像分割方法。 - 最適化した三色画像から前景画像を分割するステップは、
該最適化した三色画像の未知領域内の各画素について、該画素の隣接領域内から該画素の最適の前景画素と背景画素のペアを選択するステップと、
最適の前景画素と背景画素のペアのカラー値に基づいて、該画素の前景成分と背景成分を推定するステップと、
推定された該画素の前景成分と背景成分に基づいて、該画素のAlpha値を計算するステップと、
該最適化した三色画像の中から取得した前景領域及び該未知領域内の各画素のAlpha値に基づいて前景画像を分割するステップと、を含む、請求項1に記載の前景画像分割方法。 - 該画素の隣接領域内から該画素の最適の前景画素と背景画素のペアを選択するステップは、
入力画像の奥行き情報を加重値とし、入力画像のカラー情報に対して重み付け線形変換を行い、変換後の入力画像のカラー情報を取得し、
該最適化した三色画像内の未知領域内の各画素について、該画素の隣接領域内の前景領域から複数の前景画素サンプルを選択し、該画素の隣接領域内の背景領域から複数の背景画素サンプルを選択して、サンプル集合を構成し、
該サンプル集合内の任意の一つの前景画素と任意の一つの背景画素からなる前景画素と背景画素のペアについて、該前景画素と背景画素のペアの変換後のカラー情報と空間位置情報に基づいたエネルギー関数を構築し、
該エネルギー関数が最小となる前景画素と背景画素のペアを、前記最適の前景画素と背景画素のペアとして取得することを含む、請求項3に記載の前景画像分割方法。 - 該最適の前景画素と背景画素のペアのカラー値に基づいて該画素の前景成分と背景成分を推定するステップは、
該画素の隣接領域内の各画素について、対応する最適の前景画素と背景画素のペアを取得し、
該画素の最適の前景画素と背景画素のペアのうちの前景画素のカラー値及び該画素の隣接領域内の各画素の最適の前景画素と背景画素のペアのうちの前景画素のカラー値の平均値を、該画素の前景成分の推定値として計算し、
該画素の最適の前景画素と背景画素のペアのうちの背景画素のカラー値及び該画素の隣接領域内の各画素の最適の前景画素と背景画素のペアのうちの背景画素のカラー値の平均値を、該画素の背景成分の推定値として計算することを含む、請求項4に記載の前景画像分割方法。 - 該画素の前景成分と背景成分の推定値に基づいて該画素のAlpha値を計算するステップは、
該画素の前景成分と背景成分の推定値を利用してAlpha推定値を計算し、
該画素の前景成分と背景成分の推定値と、該画素の実際のカラー値との偏差を計算し、
該画素のAlpha推定値及び該偏差から、該画素の前景成分と背景成分の推定値で該画素のAlpha値を計算するための信頼度を計算し、
該Alpha推定値及び該信頼度から、該画素のAlpha値を計算することを含む、請求項5に記載の前景画像分割方法。 - 入力画像及びそのカラー情報と奥行き情報を取得する取得手段と、
入力画像の奥行き情報に基づいて、入力画像を粗分割して初期三色画像を取得する粗分割手段と、
入力画像のカラー情報に基づいて、該初期三色画像内の未知領域を縮小又は拡大して、最適化した三色画像を取得する三色画像最適化手段と、
最適化した三色画像から前景画像を分割する前景画像分割手段と、を含み、
前記三色画像最適化手段は、
該初期三色画像の未知領域を複数の局部領域に分け、
各局部領域について、その中の色分布が所定条件を満たしているか否かを判断し、満たしていない場合は、該局部領域の色分布が該所定条件を満たすまで該局部領域を縮小又は拡大し、
前記所定条件は、該局部領域内の色の種類を二種類とすることである、前景画像分割装置。 - 入力画像及びそのカラー情報と奥行き情報を取得するステップと、
入力画像の奥行き情報に基づいて、入力画像を粗分割して初期三色画像を取得するステップと、
入力画像のカラー情報に基づいて、該初期三色画像内の未知領域を縮小又は拡大して、最適化した三色画像を取得するステップと、
最適化した三色画像から前景画像を分割するステップと、をコンピュータに実行させるためのプログラムであって、
前記入力画像のカラー情報に基づいて該初期三色画像内の未知領域の縮小又は拡大するステップは、
該初期三色画像の未知領域を複数の局部領域に分け、
各局部領域について、その中の色分布が所定条件を満たしているか否かを判断し、満たしていない場合は、該局部領域の色分布が該所定条件を満たすまで該局部領域を縮小又は拡大することを含み、
前記所定条件は、該局部領域内の色の種類を二種類とすることである、プログラム。 - 入力画像及びそのカラー情報と奥行き情報を取得するステップと、
入力画像の奥行き情報に基づいて、入力画像を粗分割して初期三色画像を取得するステップと、
入力画像のカラー情報に基づいて、該初期三色画像内の未知領域を縮小又は拡大して、最適化した三色画像を取得するステップと、
最適化した三色画像から前景画像を分割するステップと、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記入力画像のカラー情報に基づいて該初期三色画像内の未知領域の縮小又は拡大するステップは、
該初期三色画像の未知領域を複数の局部領域に分け、
各局部領域について、その中の色分布が所定条件を満たしているか否かを判断し、満たしていない場合は、該局部領域の色分布が該所定条件を満たすまで該局部領域を縮小又は拡大することを含み、
前記所定条件は、該局部領域内の色の種類を二種類とすることである、記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410645593.7A CN105590312B (zh) | 2014-11-12 | 2014-11-12 | 前景图像分割方法和装置 |
CN201410645593.7 | 2014-11-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016095849A JP2016095849A (ja) | 2016-05-26 |
JP6631179B2 true JP6631179B2 (ja) | 2020-01-15 |
Family
ID=55912596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015221604A Active JP6631179B2 (ja) | 2014-11-12 | 2015-11-11 | 前景画像分割方法及び装置、プログラム、並びに記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9767567B2 (ja) |
JP (1) | JP6631179B2 (ja) |
CN (1) | CN105590312B (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104346801B (zh) * | 2013-08-02 | 2018-07-20 | 佳能株式会社 | 图像构图评估装置、信息处理装置及其方法 |
CN103735268B (zh) * | 2013-09-29 | 2015-11-25 | 沈阳东软医疗***有限公司 | 一种***检测方法及*** |
US9741144B2 (en) | 2015-11-09 | 2017-08-22 | Adobe Systems Incorporated | Seamless compositing using a soft selection |
JP2017224970A (ja) * | 2016-06-15 | 2017-12-21 | ソニー株式会社 | 画像処理装置、画像処理方法、および撮像装置 |
CN106952270A (zh) * | 2017-03-01 | 2017-07-14 | 湖南大学 | 一种单一背景图像的快速抠图方法 |
CN106952276A (zh) * | 2017-03-20 | 2017-07-14 | 成都通甲优博科技有限责任公司 | 一种图像抠图方法及装置 |
CN108694719B (zh) * | 2017-04-05 | 2020-11-03 | 北京京东尚科信息技术有限公司 | 图像输出方法和装置 |
CN107087123B (zh) * | 2017-04-26 | 2020-04-21 | 杭州奥点科技股份有限公司 | 一种基于云端处理的实时高清抠像方法 |
CN108961258B (zh) * | 2017-05-18 | 2021-02-23 | 北京金山云网络技术有限公司 | 一种前景图像获得方法及装置 |
CN107133964B (zh) * | 2017-06-01 | 2020-04-24 | 江苏火米互动科技有限公司 | 一种基于Kinect的抠像方法 |
US11582383B2 (en) | 2017-11-10 | 2023-02-14 | Koninklijke Kpn N.V. | Obtaining image data of an object in a scene |
CN111882575A (zh) * | 2018-04-17 | 2020-11-03 | 芜湖岭上信息科技有限公司 | 一种视频图像去噪和前景分割方法和装置 |
CN109146941A (zh) * | 2018-06-04 | 2019-01-04 | 成都通甲优博科技有限责任公司 | 一种基于网格区域划分的深度图像优化方法及*** |
CN110865856B (zh) * | 2018-08-27 | 2022-04-22 | 华为技术有限公司 | 一种界面元素颜色显示方法及装置 |
CN111292333B (zh) * | 2018-12-07 | 2024-05-17 | 北京京东尚科信息技术有限公司 | 用于分割图像的方法和装置 |
CN111435282A (zh) * | 2019-01-14 | 2020-07-21 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置及电子设备 |
CN110335277A (zh) * | 2019-05-07 | 2019-10-15 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
CN112153483B (zh) * | 2019-06-28 | 2022-05-13 | 腾讯科技(深圳)有限公司 | 信息植入区域的检测方法、装置及电子设备 |
CN110381369B (zh) * | 2019-07-19 | 2022-02-22 | 腾讯科技(深圳)有限公司 | 推荐信息植入位置的确定方法、装置、设备及存储介质 |
CN110717925B (zh) * | 2019-09-18 | 2022-05-06 | 贵州民族大学 | 前景遮罩提取方法、装置、计算机设备及存储介质 |
US20230014448A1 (en) * | 2019-12-13 | 2023-01-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods for handling occlusion in augmented reality applications using memory and device tracking and related apparatus |
CN111709877B (zh) * | 2020-05-22 | 2023-05-02 | 浙江四点灵机器人股份有限公司 | 一种针对工业检测的图像融合方法 |
CN111899266B (zh) * | 2020-07-17 | 2024-07-12 | 奥比中光科技集团股份有限公司 | 一种基于rgbd相机的抠图方法及*** |
CN112017120A (zh) * | 2020-09-04 | 2020-12-01 | 北京伟杰东博信息科技有限公司 | 一种图像合成方法及装置 |
US11461880B2 (en) * | 2021-01-12 | 2022-10-04 | Adobe Inc. | Generating image masks from digital images utilizing color density estimation and deep learning models |
US20220270280A1 (en) * | 2021-02-25 | 2022-08-25 | Dearest Technologies Ltd | System and tools for determining ring size |
CN112967301A (zh) * | 2021-04-08 | 2021-06-15 | 北京华捷艾米科技有限公司 | 自拍图像抠图方法及装置 |
US11832023B2 (en) * | 2021-04-30 | 2023-11-28 | Zoom Video Communications, Inc. | Virtual background template configuration for video communications |
JP2022184354A (ja) * | 2021-06-01 | 2022-12-13 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN114283224A (zh) * | 2021-11-02 | 2022-04-05 | 北京鸿合爱学教育科技有限公司 | 三色图生成方法及相关设备 |
CN114677393B (zh) * | 2022-05-27 | 2022-09-30 | 珠海视熙科技有限公司 | 深度图像处理方法、装置、摄像设备、会议***及介质 |
CN114786040B (zh) * | 2022-06-15 | 2022-09-23 | 阿里巴巴(中国)有限公司 | 数据通信方法、***、电子设备和存储介质 |
CN115880327B (zh) * | 2022-11-30 | 2023-10-31 | 珠海视熙科技有限公司 | 抠图方法、摄像设备、会议***、电子设备、装置、介质 |
CN117333503B (zh) * | 2023-11-30 | 2024-02-09 | 青岛合丰新材料有限公司 | 基于图像特征分析的塑料母粒检测方法 |
CN117351118B (zh) * | 2023-12-04 | 2024-02-23 | 江西师范大学 | 一种结合深度信息的轻量化固定背景抠像方法及*** |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7420590B2 (en) * | 2005-09-29 | 2008-09-02 | Mitsubishi Electric Research Laboratories, Inc. | Video matting using camera arrays |
JP2009276294A (ja) * | 2008-05-16 | 2009-11-26 | Toshiba Corp | 画像処理方法 |
US20090315910A1 (en) * | 2008-06-20 | 2009-12-24 | University Of Delaware | Systems and methods for obtaining an image alpha matte |
JP5045619B2 (ja) * | 2008-09-08 | 2012-10-10 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
CN101588459B (zh) * | 2009-06-26 | 2011-01-05 | 北京交通大学 | 一种视频抠像处理方法 |
JP2011254145A (ja) * | 2010-05-31 | 2011-12-15 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
US8625888B2 (en) * | 2010-07-21 | 2014-01-07 | Microsoft Corporation | Variable kernel size image matting |
US8855411B2 (en) * | 2011-05-16 | 2014-10-07 | Microsoft Corporation | Opacity measurement using a global pixel set |
US8509545B2 (en) * | 2011-11-29 | 2013-08-13 | Microsoft Corporation | Foreground subject detection |
EP2637139A1 (en) * | 2012-03-05 | 2013-09-11 | Thomson Licensing | Method and apparatus for bi-layer segmentation |
US8897562B2 (en) * | 2012-06-29 | 2014-11-25 | Adobe Systems Incorporated | Adaptive trimap propagation for video matting |
JP6119164B2 (ja) * | 2012-09-28 | 2017-04-26 | 大日本印刷株式会社 | 自動クロマキー合成装置、自動クロマキー合成方法、およびプログラム |
CN103051915B (zh) * | 2013-01-14 | 2015-02-18 | 清华大学 | 一种交互式立体视频关键帧的制作方法及制作装置 |
AU2013206597A1 (en) * | 2013-06-28 | 2015-01-22 | Canon Kabushiki Kaisha | Depth constrained superpixel-based depth map refinement |
CN104424649B (zh) | 2013-08-21 | 2017-09-26 | 株式会社理光 | 检测运动物体的方法和*** |
CN104881881B (zh) | 2014-02-27 | 2018-04-10 | 株式会社理光 | 运动对象表示方法及其装置 |
US10089740B2 (en) * | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
-
2014
- 2014-11-12 CN CN201410645593.7A patent/CN105590312B/zh not_active Expired - Fee Related
-
2015
- 2015-11-02 US US14/930,009 patent/US9767567B2/en active Active
- 2015-11-11 JP JP2015221604A patent/JP6631179B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016095849A (ja) | 2016-05-26 |
CN105590312A (zh) | 2016-05-18 |
US20160133027A1 (en) | 2016-05-12 |
CN105590312B (zh) | 2018-05-18 |
US9767567B2 (en) | 2017-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6631179B2 (ja) | 前景画像分割方法及び装置、プログラム、並びに記録媒体 | |
US10198823B1 (en) | Segmentation of object image data from background image data | |
CN107274419B (zh) | 一种基于全局先验和局部上下文的深度学习显著性检测方法 | |
US10740652B2 (en) | Image processing apparatus, image processing system, image processing method, and storage medium | |
JP5554984B2 (ja) | パターン認識方法およびパターン認識装置 | |
JP6438403B2 (ja) | 結合された深度キューに基づく平面視画像からの深度マップの生成 | |
US9299004B2 (en) | Image foreground detection | |
US9600898B2 (en) | Method and apparatus for separating foreground image, and computer-readable recording medium | |
US9978119B2 (en) | Method for automatic facial impression transformation, recording medium and device for performing the method | |
US9036863B2 (en) | Resuming tracking after losing target | |
US9202126B2 (en) | Object detection apparatus and control method thereof, and storage medium | |
US10140513B2 (en) | Reference image slicing | |
JP2008192131A (ja) | 特徴レベル・セグメンテーションを実行するシステムおよび方法 | |
JP2018124890A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6054771B2 (ja) | 背景モデル構築装置、背景モデル構築方法、およびプログラム | |
Tang et al. | Video matting via opacity propagation | |
JP6272071B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20220164963A1 (en) | Information processing device, estimation method, and nontransitory computer readable medium | |
JP2014197342A (ja) | 物***置検出装置、物***置検出方法、及びプログラム | |
JP2017182436A (ja) | 画像認識装置、及び画像認識プログラム | |
Barhoumi | Detection of highly articulated moving objects by using co-segmentation with application to athletic video sequences | |
KR102151748B1 (ko) | 비디오 영상에서 사람과 배경을 분리하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 | |
JP2005176339A (ja) | 動画像処理方法、動画像処理装置、動画像処理プログラム及びそのプログラムを記録した記録媒体 | |
JP5643147B2 (ja) | 動きベクトル検出装置、動きベクトル検出方法及び動きベクトル検出プログラム | |
WO2018223370A1 (zh) | 一种基于时空约束的视频显著性检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160106 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181009 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191125 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6631179 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |