KR20110136152A - 필터링에 기반하여 고스트가 없는 hdri를 생성하는 장치 및 방법 - Google Patents
필터링에 기반하여 고스트가 없는 hdri를 생성하는 장치 및 방법 Download PDFInfo
- Publication number
- KR20110136152A KR20110136152A KR1020100055973A KR20100055973A KR20110136152A KR 20110136152 A KR20110136152 A KR 20110136152A KR 1020100055973 A KR1020100055973 A KR 1020100055973A KR 20100055973 A KR20100055973 A KR 20100055973A KR 20110136152 A KR20110136152 A KR 20110136152A
- Authority
- KR
- South Korea
- Prior art keywords
- hdri
- reference frame
- joint probability
- ldris
- probability function
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001914 filtration Methods 0.000 title claims description 18
- 230000005540 biological transmission Effects 0.000 claims abstract description 15
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 48
- 238000010586 diagram Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
Abstract
본 발명은 필터링에 기반하여 고스트가 없는 HDRI를 생성하는 장치 및 방법에 관한 것으로서, 이미지에서 고스트 지역을 구체적으로 판단하지 않고, 여러 프레임들의 집중도에 대한 관계식인 글로벌 전송함수에 근거하여 고스트 지역을 확률로 정의함으로써, 여러 장의 LDRI들로부터 한 장의 HDRI를 만들 때 발생하는 고스트 현상을 효과적으로 예방할 수 있다.
Description
본 발명의 실시예들은 움직이는 카메라에 의해 움직임을 갖고 있는 피사체가 포함된 장면을 노출을 바꿔가면서 연속 촬영을 할 때, 마치 고정 카메라로 움직임이 없는 피사체 상태로 연속 영상을 촬영된 것과 같은 효과를 갖도록, 필터링에 기반하여 고스트 이미지가 없는 HDRI(High Dynamic Range Image)를 생성하는 장치 및 방법에 관한 것이다.
하나의 씬(scene)에 대하여, 카메라 노출(exposure)을 다양하게 설정해서 취득하는 여러 장의 LDRI(Low Dynamic Range Image)들을 이용하여, 한 장의 HDRI를 생성하는 대부분의 기술들은 장면이 정지되어 있다는 가정에 기초한다.
그러나, 실제 환경에서는 물체가 움직인다는 점에서, 하나의 정지된 장면에 대한 여러 장의 LDRI들을 취득하기가 쉽지 않다.
이러한 물체의 움직임들은 한 물체가 HDRI에서 여러 번 발생하는 현상을 야기시킬 수 있다.
HDRI에서 물체의 움직임으로 인해서 하나의 물체가 여러 번 표시되는 현상을 고스트 현상이라고 한다.
이러한, 고스트 현상의 문제를 해결하기 위한 방법은 크게 두 가지로 나눌 수 있다.
첫 번째 방법은, 각각의 LDRI의 픽셀을 background와 foreground로 구분하여 움직임이 존재하는 foreground 지역을 고스트로 정의하는 것이다.
두 번째 방법은 여러 장의 LDRI들 중에서 기준 프레임(reference frame)을 정의하고, 이 기준 프레임을 기준으로 움직임이 존재하는 지역을 고스트로 판단하는 것이다.
첫 번째 방법은 관심 물체가 움직임이 있을 때, 이를 고스트로 판단하여 제거되는 부작용이 있으므로, 두 번째 방법이 보다 실용적인 측면에서 효과적일 수 있다.
기준 프레임을 기준으로 고스트 문제를 해결하는 기존의 방법들은 적절한 방법으로 고스트 지역을 검출(detection)한 뒤, 검출된 고스트 지역을 제외하고 [Debevec & Malik, 1997] 방법을 이용하여 여러 exposure의 radiance에 대하여 가중치 합을 수행하여 최종의 radiance 값을 결정할 수 있다.
그러나, 일반적으로 고스트 지역을 정확하게 판단하는 것은 쉽지 않고, 고스트 지역이 잘못 판단될 경우, 가중치 합을 하는 과정에서 고스트 지역에 해당하는 픽셀값이 포함될 여지가 있기에, HDRI에서는 여전히 고스트가 존재할 수 있다.
본 발명의 일실시예에 따른 HDRI 생성 장치는 촬영 수단의 노출을 변경하면서 복수의 LDRI들을 수집하는 LDRI 수집부, 및 상기 수집된 복수의 LDRI 중에서 기준 프레임을 결정하고, 상기 결정된 기준 프레임과 상기 수집된 복수의 LDRI를 각각 비교하여, 조인트 확률함수를 결정하며, 상기 결정된 조인트 확률함수에 기초하여 HDRI를 생성하는 HDRI 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 HDRI 생성 방법은 촬영 수단의 노출을 변경하면서 복수의 LDRI들을 수집하는 단계, 상기 수집된 복수의 LDRI 중에서 시인성을 고려하여 기준 프레임을 결정하는 단계, 상기 결정된 기준 프레임과 상기 수집된 복수의 LDRI를 각각 비교하여, 조인트 확률함수를 결정하는 단계, 및 상기 결정된 조인트 확률함수에 기초하여 HDRI를 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, 이미지에서 고스트 지역을 구체적으로 판단하지 않고, 여러 프레임들의 집중도에 대한 관계식인 글로벌 전송함수에 근거하여 고스트 지역을 확률로 정의 함으로써, 여러 장의 LDRI들로부터 한 장의 HDRI를 만들 때 발생하는 고스트 현상을 효과적으로 예방할 수 있다.
본 발명의 일실시예에 따르면, 여러 장의 노출 변화를 가진 연속 멀티 프레임들을 이용하여 다양한 고기능 촬영, 예를 들어, 파노라마 촬영, HDR(high dynamic Range) 촬영, 저조도 고감도 촬영, 초해상도 촬영 등을 구현하는데 있어 많은 활용이 가능하다.
본 발명의 일실시예에 따르면, 다양하게 노출이 변화되는 멀티 프레임 처리를 통한 고기능이 탑재될 걸로 예상되는 기기로서, 고성능 카메라, 고성능 모바일 폰 등의 모바일 미디어 제품뿐만 아니라, 집에서 사용되어 일반적으로 접할 수 있는 PC(Personal Computer), DTV(Digital TV), 및 셋톱박스 등에 손쉽게 적용될 수 있다.
도 1은 본 발명의 일실시예에 따른 HDRI 생성 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일실시예에 따른 HDRI 생성부를 구체적으로 설명하기 위한 블록도이다.
도 3은 본 발명의 일실시예에 따른 일반화 필터링을 수행하는 실시예를 설명하는 도면이다.
도 4는 본 발명의 일실시예에 따른 HDRI 생성 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일실시예에 따른 HDRI 생성부를 구체적으로 설명하기 위한 블록도이다.
도 3은 본 발명의 일실시예에 따른 일반화 필터링을 수행하는 실시예를 설명하는 도면이다.
도 4는 본 발명의 일실시예에 따른 HDRI 생성 방법을 설명하기 위한 흐름도이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 HDRI 생성 장치(100)를 설명하기 위한 블록도이다.
본 발명의 일실시예에 따른 HDRI 생성 장치(100)는 LDRI 수집부(110) 및 HDRI 생성부(120)를 포함할 수 있다.
LDRI 수집부(110)는 촬영 수단의 노출을 변경하면서 복수의 LDRI들을 수집할 수 있다.
본 발명에서 언급되는 LDRI라 함은 일반적인 비트맵 방식의 이미지를 의미 하는 것으로서, Jpeg, Tiff, Bmp 등의 형식으로 픽셀 당 8비트인 256가지 모드의 색을 표현할 수 있는 이미지로 해석될 수 있다.
또한, 본 발명에서 언급되는 HDRI는 단순히 색상에 대한 정보를 저장하는 LDRI와는 달리 각 픽셀들이 색상과 함께 밝기 집중도(intensity) 값을 저장하는 이미지로 해석될 수 있다.
본 발명의 일실시예에 따른 HDRI는 이미지에 대한 표현 범위가 향상되며, HDRI의 빛의 양 정보는 하나의 이미지에서 동일한 색상을 가진 픽셀간의 구별을 가능하게 할 수 있다.
HDRI 생성부(120)는 상기 수집된 복수의 LDRI 중에서 기준 프레임을 결정하고, 상기 결정된 기준 프레임과 상기 수집된 복수의 LDRI를 각각 비교하여, 조인트 확률함수를 결정하며, 상기 결정된 조인트 확률함수에 기초하여 HDRI를 생성할 수 있다.
다시 말해, HDRI 생성부(120)는 촬영 수단의 노출을 변경하면서 수집된 복수의 LDRI들에 대해서, 고스트가 발생한 지역(이하, 고스트 지역이라 함)을 구체적으로 판단하지 않고, 여러 프레임들의 집중도(intensity)에 대한 관계식인 글로벌 전송함수에 근거하여 고스트 지역을 확률로 정의함으로써, 여러 장의 LDRI들로부터 한 장의 HDRI를 만들 때 발생하는 고스트 현상을 효과적으로 예방할 수 있다.
본 발명의 일실시예에 따른 HDRI 생성부(120)는 도 2를 통해서 구체적으로 설명한다.
도 2는 본 발명의 일실시예에 따른 HDRI 생성부(200)를 구체적으로 설명하기 위한 블록도이다.
본 발명의 일실시예에 따른 HDRI 생성부(200)는 복수의 프레임들의 집중도(intensity)에 대한 관계식인 글로벌 전송함수에 근거하여, 고스트 지역을 확률로 정의하기 위해, 조인트 확률함수 결정부(210)를 포함할 수 있다.
본 발명의 일실시예에 따른 조인트 확률함수 결정부(210)는 기준 프레임 결정부(미도시)와 조인트 히스토그램 계산부(미도시)를 포함할 수 있다.
먼저, 상기 기준 프레임 결정부는 복수의 LDRI들로부터 기준 프레임을 결정하고, 상기 조인트 히스토그램 계산부는 상기 결정된 기준 프레임과 상기 복수의 LDRI(Low Dynamic Range Image)들 각각을 비교하여 상기 복수의 LDRI들의 각각의 노출에 따른 노출별 조인트 히스토그램을 계산할 수 있다.
본 발명의 일실시예에 따른 상기 기준 프레임 결정부는 상기 복수의 LDRI들 중에서 시인성이 가장 좋은 이미지의 프레임을 상기 기준 프레임으로 결정할 수 있다.
상기 시인성은 프레임의 집중도와 관련된 이미지 특성 중에 하나로서, 추후 상기 기준 프레임과, 상기 복수의 LDRI들 중에서 상기 기준 프레임을 제외한 나머지 프레임들 간의 비교에 이용될 수 있다.
다음으로, 조인트 확률함수 결정부(210)는 상기 계산된 노출별 조인트 히스토그램에 기초하여, 조인트 확률함수를 결정할 수 있다.
다시 말해, 조인트 확률함수 결정부(210)는 입력이 연속되는 N장의 노출 영상들이 주어졌을 때, 프레임들 중에서 가장 시인성이 좋은 영상을 기준 프레임으로 정하고, 각 입력 (노출) 프레임과 기준 프레임을 이용하여 각 노출별 조인트 히스토그램을 계산할 수 있다.
조인트 확률함수 결정부(210)는 계산된 조인트 히스토그램에 적절한 처리를 통해 조인트 확률함수(pdf)를 계산할 수 있다.
조인트 확률함수는 노출이 다른 프레임들 사이의 글로벌 집중도(Global Intensity)에 대한 확률적인 관계식으로 표현될 수 있다.
보다 구체적으로 설명하면, 조인트 확률함수 결정부(210)는 노출이 다른 프레임들 사이의 글로벌 집중도(Global Intensity)의 확률적인 관계를 통해서, 같은 위치의 밝기 값에 대하여 조인트 히스토그램을 산출할 수 있다.
따라서, 조인트 히스토그램은 [수학식 1]을 통해서 산출될 수 있다.
[수학식 1]
[수학식 1]에서, 'no'는 기준 프레임을 의미하고, 'i'는 상기 기준 프레임의 집중도를 의미하며, 'n'은 복수의 LDRI들 n 번째 프레임을 의미하며, 'j'는 상기 n 번째 프레임의 집중도를 의미한다.
이때, k는 Red, Green, 및 Blue 색상 집합의 원소로 해석될 수 있고, T()는 괄호 안의 값이 True일 때, '1'의 값을 갖고, False일 때 '0'의 값을 갖는다. 또한, N은 한 이미지 내에서의 모든 픽셀 p의 개수를 의미할 수 있다.
이러한 조인트 히스토그램을 조인트 확률함수로 변환하기 위해, 상기 조인트 히스토그램을 2차원 가우시안(Gaussian) 함수를 이용하여 Parzen window 처리를 수행할 수 있다.
또한, Parzen window 처리된 상기 조인트 히스토그램의 확률의 총합이 '1'이 되도록 노멀라이징을 수행할 수 있다.
본 발명의 일실시예에 따른 HDRI 생성부(200)는 글로벌 전송함수 결정부(220)를 더 포함할 수 있다.
본 발명의 일실시예에 따른 글로벌 전송함수 결정부(220)는 조인트 확률함수 결정부(210)가 산출한 상기 조인트 확률함수를 기준으로 기준 프레임과, 다른 프레임들 간의 글로벌 전송함수를 산출할 수 있다.
상기 글로벌 전송함수는 [수학식 2]를 통해서 산출될 수 있다.
[수학식 2]
[수학식 2]는, [수학식 1]을 통해서 산출한 기준 프레임에 대한 조인트 확률함수에 대하여 MMSE(Mean Squared Error Estimate)를 적용함으로써, 글로벌 전송함수를 산출할 수 있다.
본 발명의 일실시예에 따르면, 글로벌 전송함수의 보다 매끄러운 커브(curve)를 산출하기 위해서, [수학식 2]를 통해 산출한 글로벌 전송함수에 least-square를 수행하거나 또는 n차 polynomial을 통해 근사화 시킬 수 있다.
본 발명의 일실시예에 따른 HDRI 생성부(200)는 HDR 라디언스 맵 생성부(230)를 더 포함할 수 있다.
본 발명의 일실시예에 따른 HDR 라디언스 맵 생성부(230)는 상기 결정된 글로벌 전송함수를 양방향 필터(Bilateral filter)에 기반하는 일반화 필터링(Generalized filtering)을 수행하여 HDR 라디언스 맵(High Dynamic Range Radiance Map)을 생성할 수 있다.
상기 일반화 필터링은 국부적 가중평균 필터링으로 해석될 수 있다.
이에, 본 발명의 일실시예에 따른 HDRI 생성부(200)는 상기 생성된 HDR 라디언스 맵에 기초하여, 상기 HDRI을 생성할 수 있다.
구체적으로 설명하면, 먼저, 픽셀 p에서 라디언스 값 E(p)와 인버스 카메라 응답 함수(inverse camera response function)인 g() 사이의 관계식을 살펴보면, [수학식 3]으로 표현될 수 있다.
[수학식 3]
[수학식 3]의 관계식은 각각의 프레임에 대한 라디언스 값들의 가중치 합으로 정의될 수 있다.
본 발명의 일실시예에 따른 HDRI 생성부(200)는 상기 결정된 글로벌 전송함수를 일반화 필터링(Generalized filtering)을 수행하여, HDR 라디언스 맵(High Dynamic Range Radiance Map)을 생성할 수 있다.
이때, 상기 일반화 필터링은 양방향 필터(Bilateral filter)에 기반할 수 있다.
다시 말해, 본 발명의 일실시예에 따른 HDRI 생성부(200)는 보다 넓은 지역을 필터링하여 최종적으로 라디언스를 결정할 수 있다.
이를 위해, 본 발명의 일실시예에 따른 HDRI 생성부(200)는 [수학식 4]를 통해서, 최종적인 라디언스를 결정할 수 있다.
[수학식 4]
본 발명의 일실시예에 따른 HDRI 생성부(200)는 [수학식 4]와 같이 3개의 웨이트 함수들 , , 및 를 이용하여 이미지에서 보다 넓은 지역을 필터링하여 최종적인 라디언스를 결정할 수 있다.
도 3은 [수학식 4]를 이용하여, 본 발명의 일실시예에 따른 일반화 필터링을 수행하는 실시예를 설명하는 도면이다.
도 3에서는 각각의 프레임들, 즉 기준 프레임(Frame #0)과 다른 프레임들(Frame #1, Frame #2)에 대해서 최종적인 라디언스를 결정하는 것을 설명할 수 있다. 구체적으로, 도 3에서는 상기 [수학식 4]와 같이 3개의 웨이트 함수들 , , 및 를 이용하여 이미지에서 보다 넓은 지역을 필터링하여 최종적인 라디언스를 결정할 수 있다.
보다 구체적으로 설명하면, 는 기준 프레임 n0의 밝기 값(In0)과 글로벌 전송함수(Bn())를 이용하여 얻어진 밝기 값(Bn(In0))의 컬러 차이에 대한 웨이트로 해석될 수 있다.
N(p)는 픽셀 p를 중심으로 갖는 윈도우 내의 모든 픽셀들의 집합을 의미할 수 있다.
다시 도 2를 참조하면, 본 발명의 일실시예에 따른 HDRI 생성부(200)는 양방향 필터의 개념뿐만 아니라, 다른 국부 가중평균 필터링 기법들을 적용하여, 일반화 필터링을 수행할 수 도 있다.
예를 들어, 양방향 필터 대신에 non-local means filtering 기법을 적용하여 일반화 필터링을 수행할 수도 있다.
결국, 본 발명의 일실시예에 따른 HDRI 생성부(200)를 이용하면, 특정 고스트 지역의 직접적인 탐지 없이, 고스트 지역을 제거하여 기준 프레임의 라디언스를 산출할 수 있다. 이로 인해, 전체 이미지의 노이즈를 줄일 수도 있음은 자명하다.
본 발명의 일실시예에 따른 HDRI 생성부(200)가 적용된 HDRI 생성장치는 이미지에서 고스트 지역을 구체적으로 판단하지 않고, 여러 프레임들의 집중도에 대한 관계식인 글로벌 전송함수에 근거하여 고스트 지역을 확률로 정의 함으로써, 여러 장의 LDRI들로부터 한 장의 HDRI를 만들 때 발생하는 고스트 현상을 효과적으로 예방할 수 있다.
뿐만 아니라, 본 발명의 일실시예에 따른 HDRI 생성장치는, 여러 장의 노출 변화를 가진 연속 멀티 프레임들을 이용하여 다양한 고기능 촬영, 예를 들어, 파노라마 촬영, HDR(high dynamic Range) 촬영, 저조도 고감도 촬영, 초해상도 촬영 등을 구현하는데 있어 많은 활용이 가능하다.
또한, 본 발명의 일실시예에 따르면, 다양하게 노출이 변화되는 멀티 프레임 처리를 통한 고기능이 탑재될 걸로 예상되는 기기로서, 고성능 카메라, 고성능 모바일 폰 등의 모바일 미디어 제품뿐만 아니라, 집에서 사용되어 일반적으로 접할 수 있는 PC(Personal Computer), DTV(Digital TV), 및 셋톱박스 등에 손쉽게 적용될 수 있다.
도 4는 본 발명의 일실시예에 따른 HDRI 생성 방법을 설명하기 위한 흐름도이다.
본 발명의 일실시예에 따른 HDRI 생성 방법은 촬영 수단의 노출을 변경하면서 복수의 LDRI(Low Dynamic Range Image)들을 수집하고, 상기 수집된 복수의 LDRI 중에서 기준 프레임을 결정하며, 상기 결정된 기준 프레임과 상기 수집된 복수의 LDRI를 각각 비교하여, 조인트 확률함수를 결정함으로써, 상기 결정된 조인트 확률함수에 기초하여 HDRI(High Dynamic Range Image)를 생성할 수 있다.
구체적으로, 본 발명의 일실시예에 따른 HDRI 생성 방법은 촬영 수단의 노출을 변경하면서 복수의 LDRI(Low Dynamic Range Image)들을 수집하고(단계 410), 상기 수집된 복수의 LDRI들 중에서 기준 프레임을 결정할 수 있다(단계 420).
본 발명의 일실시예에 따른 HDRI 생성 방법은 상기 수집된 복수의 LDRI들에 대한 시인성을 확인하고, 시인성이 가장 좋은 프레임을 상기 기준 프레임으로 결정할 수 있다.
본 발명의 일실시예에 따른 HDRI 생성 방법은 상기 결정된 기준 프레임과 상기 수집된 복수의 LDRI를 각각 비교하여(단계 430), 조인트 확률함수를 결정할 수 있다.
구체적으로, 본 발명의 일실시예에 따른 HDRI 생성 방법은 상기 비교 결과를 고려하여, 상기 복수의 LDRI들의 각각의 노출에 따른 노출별 조인트 히스토그램을 계산하고(단계 440), 상기 계산된 노출별 조인트 히스토그램에 기초하여, 조인트 확률함수를 결정할 수 있다(450).
본 발명의 일실시예에 따르면, 노출이 다른 프레임들 사이의 글로벌 집중도의 확률적인 관계를 통해서, 같은 위치의 밝기 값에 대하여 조인트 히스토그램을 산출할 수 있다.
이에, 본 발명의 일실시예에 따른 HDRI 생성 방법은 상기 결정된 조인트 확률함수에 기초하여, 글로벌 전송함수(Global transfer function)를 결정할 수 있다(단계 460).
상기 글로벌 전송함수는 복수의 프레임들(LDRI들)의 집중도(intensity)에 대한 관계식으로 해석될 수 있다.
이후, 본 발명의 일실시예에 따른 HDRI 생성 방법은 상기 결정된 글로벌 전송함수에 기초하여, HDR 라디언스 맵을 생성하고(단계 470), 상기 생성된 HDR 라디언스 맵에 기초하여, 상기 HDRI을 생성할 수 있다(단계 480).
예를 들어, 본 발명의 일실시예에 따른 HDRI 생성 방법은 상기 결정된 글로벌 전송함수를 양방향 필터(Bilateral filter)에 기반하는 일반화 필터링(Generalized filtering)을 수행하여 HDR 라디언스 맵(High Dynamic Range Radiance Map)을 생성할 수 있다.
본 발명의 일실시예에 따른 HDRI 생성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
200: HDRI 생성부 210: 조인트 확률함수 결정부
220: 글로벌 전송함수 결정부 230: HDR 라디언스 맵 생성부
220: 글로벌 전송함수 결정부 230: HDR 라디언스 맵 생성부
Claims (11)
- 촬영 수단의 노출을 변경하면서 복수의 LDRI(Low Dynamic Range Image)들을 수집하는 LDRI 수집부; 및
상기 수집된 복수의 LDRI 중에서 기준 프레임을 결정하고, 상기 결정된 기준 프레임과 상기 수집된 복수의 LDRI를 각각 비교하여, 조인트 확률함수를 결정하며, 상기 결정된 조인트 확률함수에 기초하여 HDRI(High Dynamic Range Image)를 생성하는 HDRI 생성부
를 포함하는 것을 특징으로 하는 HDRI 생성 장치. - 제1항에 있어서,
상기 HDRI 생성부는,
조인트 확률함수 결정부를 포함하고,
상기 조인트 확률함수 결정부는,
상기 복수의 LDRI(Low Dynamic Range Image)들로부터 기준 프레임을 결정하는 기준 프레임 결정부; 및
상기 결정된 기준 프레임과 상기 복수의 LDRI(Low Dynamic Range Image)들 각각을 비교하여 상기 복수의 LDRI들의 각각의 노출에 따른 노출별 조인트 히스토그램을 계산하는 조인트 히스토그램 계산부
를 포함하고,
상기 계산된 노출별 조인트 히스토그램에 기초하여, 조인트 확률함수를 결정하는 것을 특징으로 하는 HDRI 생성 장치. - 제2항에 있어서,
상기 기준 프레임 결정부는 상기 복수의 LDRI들 중에서 시인성이 가장 좋은 이미지의 프레임을 상기 기준 프레임으로 결정하는 것을 특징으로 하는 HDRI 생성 장치. - 제1항에 있어서,
상기 조인트 확률함수는,
노출이 다른 상기 복수의 LDRI들 각각의 글로벌 집중도(Global Intensity)에 대한 확률적인 관계식이고,
상기 조인트 확률함수에 기초하는 상기 조인트 히스토그램은 상기 조인트 확률함수와 같은 위치의 밝기 값에 기초하는 것을 특징으로 하는 HDRI 생성 장치. - 제2항에 있어서,
상기 HDRI 생성부는,
상기 결정된 조인트 확률함수에 기초하여, 글로벌 전송함수(Global transfer function)를 결정하는 글로벌 전송함수 결정부
를 더 포함하는 것을 특징으로 하는 HDRI 생성 장치. - 제5항에 있어서,
상기 글로벌 전송함수는,
MMSE(Mean Squared Error Estimate)를 적용하여 기준 프레임에 대한 조인트 확률함수를 산출하는 것을 특징으로 하는 HDRI 생성 장치. - 제3항에 있어서,
상기 HDRI 생성부는,
상기 결정된 글로벌 전송함수를 양방향 필터(Bilateral filter)에 기반하는 일반화 필터링(Generalized filtering)을 수행하여 HDR 라디언스 맵(High Dynamic Range Radiance Map)을 생성하는 HDR 라디언스 맵 생성부
를 더 포함하고,
상기 생성된 HDR 라디언스 맵에 기초하여, 상기 HDRI을 생성하는 것을 특징으로 하는 HDRI 생성 장치. - 촬영 수단의 노출을 변경하면서 복수의 LDRI(Low Dynamic Range Image)들을 수집하는 단계;
상기 수집된 복수의 LDRI 중에서 시인성을 고려하여 기준 프레임을 결정하는 단계;
상기 결정된 기준 프레임과 상기 수집된 복수의 LDRI를 각각 비교하여, 조인트 확률함수를 결정하는 단계; 및
상기 결정된 조인트 확률함수에 기초하여 HDRI(High Dynamic Range Image)를 생성하는 단계
를 포함하는 것을 특징으로 하는 HDRI 생성 방법. - 제8항에 있어서,
상기 조인트 확률함수를 결정하는 단계는,
상기 결정된 기준 프레임과 상기 복수의 LDRI(Low Dynamic Range Image)들 각각을 비교하여 상기 복수의 LDRI들의 각각의 노출에 따른 노출별 조인트 히스토그램을 계산하는 단계; 및
상기 계산된 노출별 조인트 히스토그램에 기초하여, 조인트 확률함수를 결정하는 단계
를 포함하는 것을 특징으로 하는 HDRI 생성 방법. - 제9항에 있어서,
상기 기준 프레임 결정하는 단계는,
상기 복수의 LDRI들 중에서 시인성이 가장 좋은 이미지의 프레임을 상기 기준 프레임으로 결정하는 단계
를 포함하는 것을 특징으로 하는 HDRI 생성 방법. - 제9항에 있어서,
상기 HDRI를 생성부하는 단계는,
상기 결정된 조인트 확률함수에 기초하여, 글로벌 전송함수(Global transfer function)를 결정하는 단계;
상기 결정된 글로벌 전송함수를 양방향 필터(Bilateral filter)에 기반하는 일반화 필터링(Generalized filtering)을 수행하여 HDR 라디언스 맵(High Dynamic Range Radiance Map)을 생성하는 단계; 및
상기 생성된 HDR 라디언스 맵에 기초하여, 상기 HDRI을 생성하는 단계
를 포함하는 것을 특징으로 하는 HDRI 생성 방법.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100055973A KR101664123B1 (ko) | 2010-06-14 | 2010-06-14 | 필터링에 기반하여 고스트가 없는 hdri를 생성하는 장치 및 방법 |
US13/158,804 US8942509B2 (en) | 2010-06-14 | 2011-06-13 | Apparatus and method creating ghost-free high dynamic range image using filtering |
EP11169803.1A EP2395748A3 (en) | 2010-06-14 | 2011-06-14 | Apparatus and method creating ghost-free high dynamic range image using filtering |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100055973A KR101664123B1 (ko) | 2010-06-14 | 2010-06-14 | 필터링에 기반하여 고스트가 없는 hdri를 생성하는 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110136152A true KR20110136152A (ko) | 2011-12-21 |
KR101664123B1 KR101664123B1 (ko) | 2016-10-11 |
Family
ID=44720216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100055973A KR101664123B1 (ko) | 2010-06-14 | 2010-06-14 | 필터링에 기반하여 고스트가 없는 hdri를 생성하는 장치 및 방법 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8942509B2 (ko) |
EP (1) | EP2395748A3 (ko) |
KR (1) | KR101664123B1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013122419A1 (ko) | 2012-02-15 | 2013-08-22 | 인텔 코오퍼레이션 | 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체 |
KR20160071390A (ko) * | 2013-10-17 | 2016-06-21 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 확률적 tof 이미징 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101664123B1 (ko) * | 2010-06-14 | 2016-10-11 | 삼성전자주식회사 | 필터링에 기반하여 고스트가 없는 hdri를 생성하는 장치 및 방법 |
KR101699919B1 (ko) * | 2011-07-28 | 2017-01-26 | 삼성전자주식회사 | 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 hdr 영상 생성 장치 및 방법 |
US9955084B1 (en) * | 2013-05-23 | 2018-04-24 | Oliver Markus Haynold | HDR video camera |
EP3052006A4 (en) | 2013-09-30 | 2017-05-10 | Carestream Health, Inc. | Method and system for intra-oral imaging using hdr imagine and highlight removal |
CN106030653B (zh) | 2014-02-24 | 2019-04-05 | 华为技术有限公司 | 用于生成高动态范围图像的图像处理***和图像处理方法 |
US9185270B2 (en) * | 2014-02-28 | 2015-11-10 | Konia Minolta Laboratory U.S.A., Inc. | Ghost artifact detection and removal in HDR image creation using graph based selection of local reference |
US9210335B2 (en) * | 2014-03-19 | 2015-12-08 | Konica Minolta Laboratory U.S.A., Inc. | Method for generating HDR images using modified weight |
CN108370442B (zh) | 2015-12-15 | 2020-02-14 | 华为技术有限公司 | 一种高动态范围图像的处理方法、装置及计算机可读存储介质 |
CN108370405B (zh) | 2015-12-23 | 2019-11-26 | 华为技术有限公司 | 一种图像信号转换处理方法、装置及终端设备 |
US10319083B2 (en) | 2016-07-15 | 2019-06-11 | Samsung Electronics Co., Ltd. | Image artifact detection and correction in scenes obtained from multiple visual images |
CN113112444B (zh) * | 2020-01-09 | 2022-05-31 | 舜宇光学(浙江)研究院有限公司 | 鬼像检测方法及其***、电子设备以及鬼像检测平台 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006215756A (ja) * | 2005-02-02 | 2006-08-17 | Dainippon Ink & Chem Inc | 画像処理装置および画像処理方法ならびにそのプログラム |
JP2009524371A (ja) * | 2006-01-23 | 2009-06-25 | マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ | 高ダイナミックレンジコーデック |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6879731B2 (en) | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
US7142723B2 (en) | 2003-07-18 | 2006-11-28 | Microsoft Corporation | System and process for generating high dynamic range images from multiple exposures of a moving scene |
US7239805B2 (en) * | 2005-02-01 | 2007-07-03 | Microsoft Corporation | Method and system for combining multiple exposure images having scene and camera motion |
DE102006061658A1 (de) | 2006-12-27 | 2008-07-03 | Siemens Ag | Belichtungsregelung für HDR-Kamera |
JP4661922B2 (ja) * | 2008-09-03 | 2011-03-30 | ソニー株式会社 | 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム |
KR101534317B1 (ko) | 2008-10-10 | 2015-07-06 | 삼성전자주식회사 | 높은 동적 대역(hdr) 영상 생성방법 및 장치 |
KR100990479B1 (ko) | 2008-11-18 | 2010-10-29 | (주)바텍이우홀딩스 | 초점-수상면 거리를 맞추는 구조를 구비하는 엑스레이 장치 |
KR101664123B1 (ko) * | 2010-06-14 | 2016-10-11 | 삼성전자주식회사 | 필터링에 기반하여 고스트가 없는 hdri를 생성하는 장치 및 방법 |
KR101633377B1 (ko) * | 2010-06-18 | 2016-07-08 | 삼성전자주식회사 | 다중 노출에 의한 프레임 처리 방법 및 장치 |
KR101699919B1 (ko) * | 2011-07-28 | 2017-01-26 | 삼성전자주식회사 | 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 hdr 영상 생성 장치 및 방법 |
-
2010
- 2010-06-14 KR KR1020100055973A patent/KR101664123B1/ko active IP Right Grant
-
2011
- 2011-06-13 US US13/158,804 patent/US8942509B2/en active Active
- 2011-06-14 EP EP11169803.1A patent/EP2395748A3/en not_active Ceased
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006215756A (ja) * | 2005-02-02 | 2006-08-17 | Dainippon Ink & Chem Inc | 画像処理装置および画像処理方法ならびにそのプログラム |
JP2009524371A (ja) * | 2006-01-23 | 2009-06-25 | マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ | 高ダイナミックレンジコーデック |
Non-Patent Citations (1)
Title |
---|
ORAZIO GALLO ET AL: "Artifact-free High Dynamic Range imaging", IEEE ICCP, US, 16 April 2009.* * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013122419A1 (ko) | 2012-02-15 | 2013-08-22 | 인텔 코오퍼레이션 | 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체 |
KR20160071390A (ko) * | 2013-10-17 | 2016-06-21 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 확률적 tof 이미징 |
Also Published As
Publication number | Publication date |
---|---|
US8942509B2 (en) | 2015-01-27 |
EP2395748A3 (en) | 2014-09-03 |
KR101664123B1 (ko) | 2016-10-11 |
US20120141029A1 (en) | 2012-06-07 |
EP2395748A2 (en) | 2011-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101664123B1 (ko) | 필터링에 기반하여 고스트가 없는 hdri를 생성하는 장치 및 방법 | |
US11457138B2 (en) | Method and device for image processing, method for training object detection model | |
CN108898567B (zh) | 图像降噪方法、装置及*** | |
KR102480245B1 (ko) | 패닝 샷들의 자동 생성 | |
CN108694705B (zh) | 一种多帧图像配准与融合去噪的方法 | |
KR101633377B1 (ko) | 다중 노출에 의한 프레임 처리 방법 및 장치 | |
US9202263B2 (en) | System and method for spatio video image enhancement | |
JP7077395B2 (ja) | 多重化高ダイナミックレンジ画像 | |
CN108876753B (zh) | 使用引导图像对合成长曝光图像进行可选增强 | |
JP7078139B2 (ja) | ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体 | |
US9569688B2 (en) | Apparatus and method of detecting motion mask | |
US9773193B2 (en) | Image processing apparatus, image processing method, and program | |
JP2012038318A (ja) | ターゲット検出方法及び装置 | |
TW201328347A (zh) | 在基於一場景中動作的程度捕捉該場景之一序列影像圖框中最佳化一影像圖框之曝光的攝影機及方法 | |
US8798369B2 (en) | Apparatus and method for estimating the number of objects included in an image | |
US11756221B2 (en) | Image fusion for scenes with objects at multiple depths | |
KR101202642B1 (ko) | 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치 | |
JP6938282B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
Guthier et al. | Algorithms for a real-time HDR video system | |
KR20240031246A (ko) | 다수의 관심 영역들을 갖는 장면들에서 선택적으로 증가하는 피사계 심도 | |
KR101886246B1 (ko) | 이미지 데이터에 포함된 모션 블러 영역을 찾고 그 모션 블러 영역을 처리하는 이미지 프로세싱 장치 및 그 장치를 이용한 이미지 프로세싱 방법 | |
CN112017128A (zh) | 一种图像自适应去雾方法 | |
WO2018209603A1 (zh) | 图像处理方法、图像处理设备及存储介质 | |
US11823430B2 (en) | Video data processing | |
Zhu et al. | Real-time ghost removal for composing high dynamic range images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190927 Year of fee payment: 4 |