JP6103649B2 - 複数のレベルの中間閾値ビットマップを用いた、hdr画像処理におけるゴーストアーティファクトの検出および除去方法 - Google Patents
複数のレベルの中間閾値ビットマップを用いた、hdr画像処理におけるゴーストアーティファクトの検出および除去方法 Download PDFInfo
- Publication number
- JP6103649B2 JP6103649B2 JP2014153177A JP2014153177A JP6103649B2 JP 6103649 B2 JP6103649 B2 JP 6103649B2 JP 2014153177 A JP2014153177 A JP 2014153177A JP 2014153177 A JP2014153177 A JP 2014153177A JP 6103649 B2 JP6103649 B2 JP 6103649B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- level
- pixel
- ghost
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000012545 processing Methods 0.000 title claims description 11
- 230000007717 exclusion Effects 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- UBCKGWBNUIFUST-YHYXMXQVSA-N tetrachlorvinphos Chemical compound COP(=O)(OC)O\C(=C/Cl)C1=CC(Cl)=C(Cl)C=C1Cl UBCKGWBNUIFUST-YHYXMXQVSA-N 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
Claims (11)
- ハイダイナミックレンジ(HDR)画像を、異なる露出度を有するM枚の画像から生成する方法であって、
(a)M枚の画像のセット中の、各画像m(m=1,2,・・・M)について、N個のレベルn(n=1,2,・・・N(Nは最高のレベルを指す))の中央閾値ビットマップ(MTB)を生成するステップと、ここで、グレースケール画像である各レベルnのMTBは、前記画像mと同じ大きさおよび同じ2nのグレーレベルを有しており、前記画像mの各画像ピクセルのピクセル値を2nのグレーレベルにマッピングすることによって、画像mから生成され、また、ここで、前記ピクセル値のマッピングは、重ならない2n個の範囲に入るピクセル値をグレーレベルにマッピングすることであり、さらに、ここで、前記2n個の範囲は、集合的に前記画像mの合計のピクセル値の範囲に広がり、前記画像mとほとんど同じ数のピクセルがそれぞれグレーレベルにマッピングされ、
(b)各レベルnについて、M枚の画像に対応するM枚のレベルnのMTBを比較し、レベルnのゴーストマップを各画像mに生成するステップと、ここで、各レベルnのゴーストマップは、対応する画像mのサイズと等しいサイズを有する二値マップであり、対応する画像の対応するピクセルがゴーストか否かを示すピクセル値を有し、
(c)それぞれの画像mについて、ピクセル幅ORを用いるN枚のレベルnのゴーストマップを結合して、結合されたゴーストマップを生成するステップと、ここで、前記結合されたゴーストマップは、前記画像mの対応するピクセルがゴーストか否かを示すピクセル値を有し、
(d)M枚の画像セットおよび対応する結合されたゴーストマップを用いてHDR画像を生成するステップと、
を含む方法。 - 前記ステップ(a)は、各画像m、および、レベル1のために、
(a1)画像mの全ピクセル値の範囲を二つのレベル1のピクセル値の範囲に分割する、レベル1の中央閾値を計算するステップと、ここで、二つのレベル1のピクセル値の各範囲内に、画像mのほとんど同じ数のピクセルが入り、
(a2)レベル1のMTBを生成するためにピクセル値が入るレベル1のピクセル値の範囲に従って、各画像ピクセルをグレーレベルに割り当てるステップと、
をさらに含む請求項1に記載の方法。 - 前記ステップ(a)は、各画像mおよびレベル1より大きい各レベルnのために、
(a3)各レベル(n−1)のピクセル値の範囲を、二つのレベルnのピクセル値の範囲に分割する、2n−1個のレベルnの中央閾値を計算するステップと、ここで、二つのレベルnのピクセル値の各範囲内に、画像mのほとんど同じ数のピクセルが入り、
(a4)レベルnのMTBを生成するためにピクセル値が入るレベルnのピクセル値の範囲に従って、各画像ピクセルをグレーレベルに割り当てるステップと、
をさらに含む請求項1または2のいずれかに記載の方法。 - 前記ステップ(b)の前に、
(e)各画像mおよび各レベルnのために、除外マップを生成するステップと、ここで、二値マップである当該除外マップは、画像mのサイズと等しいサイズを有し、前記画像mの対応するピクセルが除外されるか否かを示すピクセル値を有し、
をさらに含み、
ステップ(b)は、さらに、ピクセルが除外されることを示すピクセル値を有する除外マップ内の各ピクセルのために、ピクセルがゴーストでないことを示すピクセル値を、前記ゴーストマップの対応するピクセルに割り当てるステップを含む、請求項1〜3のいずれか1項に記載の方法。 - 前記ステップ(b)の後に、
(f)各画像mについて、各レベルnのゴーストマップ中の孤立したノイズを除去するステップをさらに含む請求項1〜4のいずれか1項に記載の方法。 - データ処理装置を制御するためのコンピュータプログラムであって、当該コンピュータプログラムは、異なる露出度のM個のセットの画像からハイダイナミックレンジ(HDR)画像を生成する処理を前記データ処理装置に実行させるように構成され、当該処理は、
(a)M枚の画像のセット中の、各画像m(m=1,2,・・・M)について、N個のレベルn(n=1,2,・・・N(Nは最高のレベルを指す))の中央閾値ビットマップ(MTB)を生成するステップと、ここで、グレースケール画像である各レベルnのMTBは、前記画像mと同じ大きさおよび同じ2nのグレーレベルを有しており、前記画像mの各画像ピクセルのピクセル値を2nのグレーレベルにマッピングすることによって、画像mから生成され、また、ここで、前記ピクセル値のマッピングは、重ならない2n個の範囲に入るピクセル値をグレーレベルにマッピングすることであり、さらに、ここで、前記2n個の範囲は、集合的に前記画像mの合計のピクセル値の範囲に広がり、前記画像mとほとんど同じ数のピクセルがそれぞれグレーレベルにマッピングされ、
(b)各レベルnについて、M枚の画像に対応するM枚のレベルnのMTBを比較し、レベルnのゴーストマップを各画像mに生成するステップと、ここで、各レベルnのゴーストマップは、対応する画像mのサイズと等しいサイズを有する二値マップであり、対応する画像の対応するピクセルがゴーストか否かを示すピクセル値を有し、
(c)それぞれの画像mについて、ピクセル幅ORを用いるN枚のレベルnのゴーストマップを結合して、結合されたゴーストマップを生成するステップと、ここで、前記結合されたゴーストマップは、前記画像mの対応するピクセルがゴーストか否かを示すピクセル値を有し、
(d)M枚の画像セットおよび対応する結合されたゴーストマップを用いてHDR画像を生成するステップと、
を含むコンピュータプログラム。 - 前記ステップ(a)は、各画像m、および、レベル1のために、
(a1)画像mの全ピクセル値の範囲を二つのレベル1のピクセル値の範囲に分割する、レベル1の中央閾値を計算するステップと、ここで、二つのレベル1のピクセル値の各範囲内に、画像mのほとんど同じ数のピクセルが入り、
(a2)レベル1のMTBを生成するためにピクセル値が入るレベル1のピクセル値の範囲に従って、各画像ピクセルをグレーレベルに割り当てるステップと、
をさらに有する請求項6に記載のコンピュータプログラム。 - 前記ステップ(a)は、各画像mおよびレベル1より大きい各レベルnのために、
(a3)各レベル(n−1)のピクセル値の範囲を、二つのレベルnのピクセル値の範囲に分割する、2n−1個のレベルnの中央閾値を計算するステップと、ここで、二つのレベルnのピクセル値の各範囲内に、画像mのほとんど同じ数のピクセルが入り、
(a4)レベルnのMTBを生成するためにピクセル値が入るレベルnのピクセル値の範囲に従って、各画像ピクセルをグレーレベルに割り当てるステップと、
をさらに含む請求項6または7に記載のコンピュータプログラム。 - 前記ステップ(b)の前に、
(e)各画像mおよび各レベルnのために、除外マップを生成するステップと、ここで、二値マップである当該除外マップは、画像mのサイズと等しいサイズを有し、前記画像mの対応するピクセルが除外されるか否かを示すピクセル値を有し、
をさらに含み、
ステップ(b)は、さらに、ピクセルが除外されることを示すピクセル値を有する除外マップ内の各ピクセルのために、ピクセルがゴーストでないことを示すピクセル値を、前記ゴーストマップの対応するピクセルに割り当てるステップを含む、請求項6〜8のいずれか1項に記載のコンピュータプログラム。 - 前記ステップ(b)の後に、
(f)各画像mについて、各レベルnのゴーストマップ中の孤立したノイズを除去するステップをさらに含む請求項6〜9のいずれか1項に記載のコンピュータプログラム。 - 請求項6〜10のいずれか一項に記載のコンピュータプログラムを実行可能なデジタルカメラであって、
画像取得のための結像部と、
異なる露出度を有する画像セットを取得するために前記結像部を制御する制御部と、
をさらに含む、デジタルカメラ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/954814 | 2013-07-30 | ||
US13/954,814 US9123141B2 (en) | 2013-07-30 | 2013-07-30 | Ghost artifact detection and removal in HDR image processing using multi-level median threshold bitmaps |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015028779A JP2015028779A (ja) | 2015-02-12 |
JP6103649B2 true JP6103649B2 (ja) | 2017-03-29 |
Family
ID=52427331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014153177A Active JP6103649B2 (ja) | 2013-07-30 | 2014-07-28 | 複数のレベルの中間閾値ビットマップを用いた、hdr画像処理におけるゴーストアーティファクトの検出および除去方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9123141B2 (ja) |
JP (1) | JP6103649B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9955084B1 (en) * | 2013-05-23 | 2018-04-24 | Oliver Markus Haynold | HDR video camera |
CN105721781A (zh) * | 2016-04-28 | 2016-06-29 | 上海极清慧视科技有限公司 | 一种采用图像数据中值控制摄像机曝光的方法 |
US10319083B2 (en) | 2016-07-15 | 2019-06-11 | Samsung Electronics Co., Ltd. | Image artifact detection and correction in scenes obtained from multiple visual images |
US9916644B1 (en) * | 2016-09-09 | 2018-03-13 | Omnivision Technologies, Inc. | Ghost artifact removal system and method |
CN106504215A (zh) * | 2016-11-10 | 2017-03-15 | 中国科学院长春光学精密机械与物理研究所 | 一种图像增强的方法及装置 |
CN108833775B (zh) * | 2018-05-22 | 2020-04-03 | 深圳岚锋创视网络科技有限公司 | 一种抗运动鬼影的hdr方法、装置及便携式终端 |
CN113554567B (zh) * | 2021-07-29 | 2024-04-02 | 杭州电子科技大学 | 一种基于小波变换的鲁棒去重影***及方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8570396B2 (en) * | 2009-04-23 | 2013-10-29 | Csr Technology Inc. | Multiple exposure high dynamic range image capture |
US8525900B2 (en) * | 2009-04-23 | 2013-09-03 | Csr Technology Inc. | Multiple exposure high dynamic range image capture |
KR101699919B1 (ko) * | 2011-07-28 | 2017-01-26 | 삼성전자주식회사 | 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 hdr 영상 생성 장치 및 방법 |
JP5552101B2 (ja) * | 2011-09-05 | 2014-07-16 | 日本電信電話株式会社 | 並べ替え規則学習装置、方法、及びプログラム、並びに翻訳装置、方法、及びプログラム |
-
2013
- 2013-07-30 US US13/954,814 patent/US9123141B2/en active Active
-
2014
- 2014-07-28 JP JP2014153177A patent/JP6103649B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US9123141B2 (en) | 2015-09-01 |
JP2015028779A (ja) | 2015-02-12 |
US20150036024A1 (en) | 2015-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6103649B2 (ja) | 複数のレベルの中間閾値ビットマップを用いた、hdr画像処理におけるゴーストアーティファクトの検出および除去方法 | |
CN108335279B (zh) | 图像融合和hdr成像 | |
US20180109711A1 (en) | Method and device for overexposed photography | |
US9679366B2 (en) | Guided color grading for extended dynamic range | |
US10204432B2 (en) | Methods and systems for color processing of digital images | |
JP5906188B2 (ja) | 範囲情報を使用したデジタル画像の輝度調整 | |
JP6548743B2 (ja) | カラーキャリブレーション装置及び方法 | |
US9569688B2 (en) | Apparatus and method of detecting motion mask | |
US9020243B2 (en) | Image adjustment | |
JP2015180062A (ja) | ビデオシーケンス処理方法及びビデオシーケンス処理装置 | |
US11610461B2 (en) | Video compression stream | |
KR20110138114A (ko) | 다중 노출에 의한 프레임 처리 방법 및 장치 | |
EP2958076A1 (en) | Method and apparatus for dynamic range expansion of LDR video sequence | |
CN108229346B (zh) | 使用有符号的前景提取与融合的视频摘要 | |
KR101874738B1 (ko) | 영상처리를 이용하여 ldr 영상으로부터 hdr 영상을 생성하는 장치 및 방법 | |
US9258490B2 (en) | Smoothing of ghost maps in a ghost artifact detection method for HDR image creation | |
Liba et al. | Sky optimization: Semantically aware image processing of skies in low-light photography | |
KR20140072980A (ko) | 단일 영상을 이용한 hdr 영상 생성 장치 및 방법 | |
WO2023110878A1 (en) | Image processing methods and systems for generating a training dataset for low-light image enhancement using machine learning models | |
US20170372495A1 (en) | Methods and systems for color processing of digital images | |
KR20200047389A (ko) | 이미지 내의 동작 정보에 기초한 동적 이미지 캡처 방법 및 장치 | |
CN116647760B (zh) | 用于目标检测的宽动态实现方法、装置、相机及存储介质 | |
KR101830028B1 (ko) | 영상의 동적범위 확장을 위한 로우라이트 영역 검출 장치 및 방법 | |
KR100828194B1 (ko) | 디지털 화상의 경계 흐림을 판단하는 장치와 방법 및 이를이용한 이미지 처리 시스템 | |
Afreen et al. | Pseudo-multiple-exposure-based tone fusion and visual-salience-based tone mapping for high dynamic range images: a review |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6103649 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |