JP7207957B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7207957B2 JP7207957B2 JP2018209731A JP2018209731A JP7207957B2 JP 7207957 B2 JP7207957 B2 JP 7207957B2 JP 2018209731 A JP2018209731 A JP 2018209731A JP 2018209731 A JP2018209731 A JP 2018209731A JP 7207957 B2 JP7207957 B2 JP 7207957B2
- Authority
- JP
- Japan
- Prior art keywords
- saturation
- image
- threshold
- difference
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
- G06T2207/30228—Playing field
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本実施形態では、仮想視点画像の生成に用いられる前景領域を決定する形態を説明する。まず、実施形態の理解を容易にするために、仮想視点画像の概要を簡単に説明する。複数の視点で撮像された複数視点の画像を用いて、任意の仮想視点における仮想視点画像を生成する技術がある。例えば、仮想視点画像を用いると、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴閲覧することができるので、通常の画像と比較してユーザに高臨場感を与えることができる。
図1は、本実施形態のシステム100の概略構成を説明する図である。競技場101の周囲に複数のカメラ102が並べて配置されており、複数の視点から競技場が撮像されるように構成されている。競技場101では、例えばサッカーなどの競技が行われており、競技場101の中に前景のオブジェクトとなる人物103が存在しているものとする。オブジェクトとは、例えば選手、監督、または審判等の特定の人物である。オブジェクトは、ボール、またはゴール等のように画像パターンが予め定められている物体であってもよい。
図2は、画像処理装置200のハードウェア構成の一例を示す図である。画像処理装置200は、CPU201、RAM202、ROM203、HDD204、および入出力I/F205を備える。画像処理装置200の各部は、システムバス206によって相互に接続されている。また、画像処理装置200は、入出力I/F205を介して、カメラ102および表示操作部210に接続されている。
V=max(R,G,B) 式(1)
S=max(R,G,B)-min(R,G,B) 式(2)
min(R,G,B)=B のとき、
H=(G-R)/S×60+60 式(3)
min(R,G,B)=R のとき、
H=(B-G)/S×60+180 式(4)
min(R,G,B)=G のとき、
H=(R-B)/S×60+300 式(5)
Y=0.299×R+0.587×G+0.114×B 式(6)
実施形態1においては、色情報に基づく前景推定処理として、HSV色空間における前景領域を推定する処理を説明した。本実施形態では、色情報に基づく前景推定処理として、Lab色空間における前景領域を推定する例を説明する。
S=sqrt(a^2+b^2) 式(7)
上述した実施形態では、色情報に基づいた前景推定処理と輝度情報に基づいた前景推定処理とをそれぞれ行い、その結果に基づいて前景判定処理の結果を決定する形態を例に挙げて説明したが、この例に限られない。前景判定処理として、色情報に基づいた前景推定処理と輝度情報に基づいた前景推定処理とが一括して行われる形態でもよい。
310 輝度前景領域推定部
311 閾値決定部
312 色相前景領域推定部
Claims (15)
- 撮像装置によって撮像された撮像画像を取得する第一取得手段と、
前記撮像画像に対応する背景画像を取得する第二取得手段と、
前記第一取得手段で取得された撮像画像と前記第二取得手段で取得された背景画像との色相の差又は色度の差を特定する第一特定手段と、
前記第一取得手段で取得された撮像画像の彩度および前記第二取得手段で取得された背景画像の彩度の少なくとも一方を特定する第二特定手段と、
前記第二特定手段で特定された彩度に応じて設定される閾値と、前記第一特定手段で特定された色相の差又は色度の差とに基づいて、前景領域を決定する決定手段と、
を有することを特徴とする画像処理装置。 - 前記決定手段は、対象の画素について、前記第一特定手段で特定された色相の差又は色度の差が、前記閾値より大きい場合、前記対象の画素を前景領域の画素であると決定することを特徴とする請求項1に記載の画像処理装置。
- 前記第二特定手段で特定された彩度に応じて、前記閾値を設定する設定手段をさらに有することを特徴とする請求項1または2に記載の画像処理装置。
- 前記設定手段は、前記第二特定手段で特定された彩度が第一の値の場合の閾値を、彩度が前記第一の値よりも大きい第二の値の場合の閾値よりも大きくなるように、前記閾値を設定することを特徴とする請求項3に記載の画像処理装置。
- 前記第一特定手段は、前記色相の差を特定することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 前記第一特定手段は、前記色度の差を特定し、
前記第二特定手段は、前記第一取得手段で取得された撮像画像の色度から前記彩度を特定する、又は、前記第二取得手段で取得された背景画像の色度から前記彩度を特定することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。 - 前記第二特定手段は、前記第一取得手段で取得された撮像画像の彩度と前記第二取得手段で取得された背景画像の彩度とを特定し、
前記決定手段は、前記第二特定手段で特定された撮像画像の彩度と背景画像の彩度との差が、第二の閾値よりも小さい場合、前記第一特定手段で特定された色相の差又は色度の差に関わらず、前記対象の画素を前景領域の画素であると決定しないことを特徴とする請求項2に記載の画像処理装置。 - 前記第二特定手段は、前記第一取得手段で取得された撮像画像の彩度と前記第二取得手段で取得された背景画像の彩度とを特定し、
前記決定手段は、前記第二特定手段で特定された撮像画像の彩度および背景画像の彩度が、いずれも第三の閾値よりも小さい場合、前記第一特定手段で特定された色相の差又は色度の差に関わらず、前記対象の画素を前景領域の画素であると決定しないことを特徴とする請求項2に記載の画像処理装置。 - 前記第一取得手段で取得された撮像画像と前記第二取得手段で取得された背景画像の輝度の差を特定する第三特定手段と、
前記第三特定手段で特定された輝度の差と、第四の閾値とを用いて前景領域を決定する第二決定手段と、
前記決定手段で決定された前景領域と、前記第二決定手段で決定された前景領域とに基づいて前景領域を特定する第四特定手段と、
をさらに有することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。 - 前記第二決定手段は、対象の画素について、前記第三特定手段で特定された輝度の差が、前記第四の閾値より大きい場合、前記対象の画素を前景領域の画素であると決定することを特徴とする請求項9に記載の画像処理装置。
- 前記第四の閾値は、各画素において共通の値であることを特徴とする請求項9または10に記載の画像処理装置。
- 前記第四特定手段は、前記決定手段で決定された前景領域と、前記第二決定手段で決定された前景領域との論理和を求めることで、前景領域を特定することを特徴とする請求項9から11のいずれか1項に記載の画像処理装置。
- 前記第四特定手段で特定された前景領域と、前記第二取得手段で取得された背景画像とを用いて仮想視点画像を生成する生成手段をさらに有することを特徴とする請求項9から12のいずれか1項に記載の画像処理装置。
- 撮像装置によって撮像された撮像画像を取得する第一取得ステップと、
前記撮像画像に対応する背景画像を取得する第二取得ステップと、
前記第一取得ステップで取得された撮像画像と前記第二取得ステップで取得された背景画像との色相の差又は色度の差を特定する第一特定ステップと、
前記第一取得ステップで取得された撮像画像の彩度および前記第二取得ステップで取得された背景画像の彩度の少なくとも一方を特定する第二特定ステップと、
前記第二特定ステップで特定された彩度に応じて設定される閾値と、前記第一特定ステップで特定された色相の差又は色度の差とに基づいて、前景領域を決定する決定ステップと、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1から13のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018209731A JP7207957B2 (ja) | 2018-11-07 | 2018-11-07 | 画像処理装置、画像処理方法、及びプログラム |
US16/594,397 US11074742B2 (en) | 2018-11-07 | 2019-10-07 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018209731A JP7207957B2 (ja) | 2018-11-07 | 2018-11-07 | 画像処理装置、画像処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020077165A JP2020077165A (ja) | 2020-05-21 |
JP2020077165A5 JP2020077165A5 (ja) | 2021-12-23 |
JP7207957B2 true JP7207957B2 (ja) | 2023-01-18 |
Family
ID=70458907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018209731A Active JP7207957B2 (ja) | 2018-11-07 | 2018-11-07 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11074742B2 (ja) |
JP (1) | JP7207957B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11308605B2 (en) * | 2020-02-14 | 2022-04-19 | University Of Florida Research Foundation, Incorporated | Image processing for printed circuit board component detection |
JP7475959B2 (ja) * | 2020-05-20 | 2024-04-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US20240112446A1 (en) * | 2021-02-24 | 2024-04-04 | Sony Group Corporation | Image processing device, image processing method, projector device |
CN113301384B (zh) * | 2021-05-21 | 2023-03-24 | 苏州翼鸥时代科技有限公司 | 一种背景的替换方法、装置、电子设备及可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006033178A1 (ja) | 2004-09-22 | 2006-03-30 | Polygon Magic, Inc. | 画像処理装置、方法、およびプログラム |
JP2010123114A (ja) | 2008-10-24 | 2010-06-03 | Hiroshima Univ | 画像分割装置および画像分割方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6674485B2 (en) * | 1998-08-31 | 2004-01-06 | Hitachi Software Engineering Co., Ltd. | Apparatus and method for image compositing |
US20150297949A1 (en) * | 2007-06-12 | 2015-10-22 | Intheplay, Inc. | Automatic sports broadcasting system |
JP6089476B2 (ja) | 2012-07-20 | 2017-03-08 | 株式会社ニコン | 画像処理装置、撮像装置、および画像処理プログラム |
US9208580B2 (en) * | 2012-08-23 | 2015-12-08 | Qualcomm Incorporated | Hand detection, location, and/or tracking |
JP5945487B2 (ja) * | 2012-09-27 | 2016-07-05 | 株式会社沖データ | 画像処理装置、プログラム及び方法 |
JP6491581B2 (ja) * | 2015-10-06 | 2019-03-27 | キヤノン株式会社 | 画像処理装置およびその制御方法ならびにプログラム |
-
2018
- 2018-11-07 JP JP2018209731A patent/JP7207957B2/ja active Active
-
2019
- 2019-10-07 US US16/594,397 patent/US11074742B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006033178A1 (ja) | 2004-09-22 | 2006-03-30 | Polygon Magic, Inc. | 画像処理装置、方法、およびプログラム |
JP2010123114A (ja) | 2008-10-24 | 2010-06-03 | Hiroshima Univ | 画像分割装置および画像分割方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200143582A1 (en) | 2020-05-07 |
JP2020077165A (ja) | 2020-05-21 |
US11074742B2 (en) | 2021-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7207957B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US10165248B2 (en) | Optimization method of image depth information and image processing apparatus | |
TWI536318B (zh) | 深度測量之品質提升 | |
JP6351238B2 (ja) | 画像処理装置、撮像装置および距離補正方法 | |
Sun et al. | HDR image construction from multi-exposed stereo LDR images | |
US10841555B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6998388B2 (ja) | 画像特性マップを処理するための方法及び装置 | |
US10818018B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
KR20150114437A (ko) | 화상처리장치 및 화상처리방법 | |
US10708505B2 (en) | Image processing apparatus, method, and storage medium | |
US10742852B2 (en) | Image processing apparatus, object shape estimation method, and storage medium | |
US9367900B2 (en) | Image noise removing apparatus and image noise removing method | |
JP2017021759A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20200118250A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
US11127141B2 (en) | Image processing apparatus, image processing method, and a non-transitory computer readable storage medium | |
CN112132925A (zh) | 用于重建水下图像颜色的方法和装置 | |
EP3616399B1 (en) | Apparatus and method for processing a depth map | |
JP2013182330A (ja) | 画像処理装置および画像処理方法 | |
US10346680B2 (en) | Imaging apparatus and control method for determining a posture of an object | |
JP7271115B2 (ja) | 画像処理装置、背景画像の生成方法およびプログラム | |
JP7012457B2 (ja) | 画像処理装置、画像処理方法 | |
JP7329964B2 (ja) | 画像処理装置および画像処理方法およびプログラム | |
CN111935391B (zh) | 图像处理装置及其控制方法和计算机可读存储介质 | |
JP7227785B2 (ja) | 画像処理装置、画像処理方法およびコンピュータプログラム | |
KR102497593B1 (ko) | 정보 처리장치, 정보 처리방법 및 기억매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211104 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211104 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230105 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7207957 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |