KR20110138114A - 다중 노출에 의한 프레임 처리 방법 및 장치 - Google Patents

다중 노출에 의한 프레임 처리 방법 및 장치 Download PDF

Info

Publication number
KR20110138114A
KR20110138114A KR1020100058255A KR20100058255A KR20110138114A KR 20110138114 A KR20110138114 A KR 20110138114A KR 1020100058255 A KR1020100058255 A KR 1020100058255A KR 20100058255 A KR20100058255 A KR 20100058255A KR 20110138114 A KR20110138114 A KR 20110138114A
Authority
KR
South Korea
Prior art keywords
frame
pixel
ghost
frames
joint
Prior art date
Application number
KR1020100058255A
Other languages
English (en)
Other versions
KR101633377B1 (ko
Inventor
이경무
문영수
허용석
차준혁
이시화
Original Assignee
삼성전자주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서울대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020100058255A priority Critical patent/KR101633377B1/ko
Priority to US13/067,414 priority patent/US8971410B2/en
Publication of KR20110138114A publication Critical patent/KR20110138114A/ko
Application granted granted Critical
Publication of KR101633377B1 publication Critical patent/KR101633377B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

다중 노출에 의한 프레임 처리 방법 및 장치가 제공된다. 일 측면에 따른 프레임 처리 방법은, 다중 노출로 촬영된 프레임들을 기준 프레임과 타겟 프레임으로 구분하는 단계와, 피사체를 촬영한 촬영 장치의 움직임에 의해 발생하는 글로벌 움직임을 보정하는 단계와, 기준 프레임과 타겟 프레임간의 조인트 히스토그램을 기반으로, 피사체의 움직임에 의해 발생하는 로컬 움직임을 보정하는 단계를 포함할 수 있다.

Description

다중 노출에 의한 프레임 처리 방법 및 장치{Method and Apparatus for Processing Frames Obtained by Multi-Exposure}
기술분야는 다중 노출에 의한 프레임 처리 방법 및 장치에 관한 것으로서, 보다 상세하게는, 촬영장치 및 피사체의 움직임을 보정하고, 고스트 픽셀을 제거할 수 있는 다중 노출에 의한 프레임 처리 방법 및 장치에 관한 것이다.
HDR(High Dynamic Range) 기술은 서로 다른 노출로 촬영된 영상 프레임들을 이용하여 한 장의 HDR 영상을 만드는 기술이다. HDR 기술은 일반적으로 고정된　카메라와 움직임이 없는 피사체로 이루어지는 고정된 환경을 전제로 한다. 그러나, 대부분의 사용자는 손으로 카메라를 휴대한 상태에서 움직이는 피사체를 촬영한다. 따라서, 카메라와 피사체가 모두 움직이는 상황에서 촬영된 연속 노출 프레임들에 대해 움직임을 보정하여, 고정된 카메라로 고정된 피사체를 촬영한 효과를 갖는 한 장의 HDR 영상을 만들어야 한다.
일 측면에 있어서, 다중 노출로 촬영된 프레임들을 기준 프레임과 타겟 프레임으로 구분하는 단계; 피사체를 촬영한 촬영 장치의 움직임에 의해 발생하는 글로벌 움직임을 보정하는 단계; 및 기준 프레임과 타겟 프레임간의 조인트 히스토그램을 기반으로, 피사체의 움직임에 의해 발생하는 로컬 움직임을 보정하는 단계를 포함하는 다중 노출에 의한 프레임 처리 방법이 제공된다.
로컬 움직임을 보정하는 단계는, 기준 프레임과 타겟 프레임간의 밝기에 대한 조인트 히스토그램을 생성하는 단계; 생성된 조인트 히스토그램을 정규화하여 타겟 프레임의 조인트 확률을 픽셀마다 산출하는 단계; 및 산출된 픽셀들의 조인트 확률과 임계값을 비교하여 고스트 픽셀을 검출하는 단계를 포함할 수 있다.
생성된 조인트 히스토그램은, 기준 프레임과 타겟 프레임의 동일한 위치에 대응하는 픽셀의 밝기값 쌍의 개수를 누적한 결과를 나타내며, 산출하는 단계는, 각 픽셀의 밝기값 쌍의 개수를 기준 프레임의 픽셀 크기로 나누어 조인트 확률을 산출할 수 있다.
고스트 픽셀을 검출하는 단계는, 산출된 픽셀의 조인트 확률이 임계값보다 작으면 산출된 픽셀을 고스트 픽셀로 정의할 수 있다.
로컬 움직임을 보정하는 단계는, 검출된 고스트 픽셀들 중 오검출된 픽셀을 제거하여 실제 고스트 픽셀을 검출하는 단계; 및 검출된 실제 고스트 픽셀을 타겟 프레임에서 제거하여 로컬 움직임을 보정하는 단계를 더 포함할 수 있다.
로컬 움직임을 보정하는 단계는, 타겟 프레임을 R 채널 프레임, G 채널 프레임 및 B 채널 프레임으로 분리하고, 분리된 R 채널 프레임, G 채널 프레임 및 B 채널 프레임에 대한 조인트 히스토그램을 기반으로 로컬 움직임을 보정할 수 있다.
구분하는 단계는, 다중 노출 중 중간 노출에 대응하는 프레임, 프레임들 중 평균 밝기값이 중간 밝기값과 가장 근접하는 프레임 및 프레임들 중 전체 엔트로피가 가장 큰 프레임 중 하나를 기준 프레임으로 선택할 수 있다.
글로벌 움직임을 보정하는 단계는, 프레임들 간에 존재하는 글로벌 움직임을 보정하여 프레임들을 정합할 수 있다.
다른 측면에 있어서, 다중 노출로 촬영된 프레임들을 기준 프레임과 타겟 프레임으로 구분하는 구분부; 피사체를 촬영한 촬영 장치의 움직임에 의해 발생하는 글로벌 움직임을 보정하는 글로벌 움직임 보정부; 및 기준 프레임과 타겟 프레임간의 조인트 히스토그램을 기반으로, 피사체의 움직임에 의해 발생하는 로컬 움직임을 보정하는 로컬 움직임 보정부를 포함하는 다중 노출에 의한 프레임 처리 장치가 제공된다.
로컬 움직임 보정부는, 기준 프레임과 타겟 프레임간의 밝기에 대한 조인트 히스토그램을 생성하는 히스토그램 생성부; 생성된 조인트 히스토그램을 정규화하여 타겟 프레임의 조인트 확률을 픽셀마다 산출하는 확률 산출부; 및 산출된 픽셀들의 조인트 확률과 임계값을 비교하여 고스트 픽셀을 검출하는 고스트 픽셀 검출부를 포함할 수 있다.
생성된 조인트 히스토그램은, 기준 프레임과 타겟 프레임의 동일한 위치에 대응하는 픽셀의 밝기값 쌍의 개수를 누적한 결과를 나타내며, 확률 산출부는, 각 픽셀의 밝기값 쌍의 개수를 기준 프레임의 픽셀 크기로 나누어 조인트 확률을 산출할 수 있다.
고스트 픽셀 검출부는, 산출된 픽셀의 조인트 확률이 임계값보다 작으면 산출된 픽셀을 고스트 픽셀로 정의할 수 있다.
고스트 픽셀 검출부는, 검출된 고스트 픽셀들 중 오검출된 픽셀을 제거하여 실제 고스트 픽셀을 검출하며, 검출된 실제 고스트 픽셀을 타겟 프레임에서 제거하여 로컬 움직임에 대해 정합을 수행하는 움직임 정합부를 더 포함할 수 있다.
다중 노출에 의한 프레임 처리 방법 및 장치에 의하면, 조인트 히스토그램과 에너지 최소화 과정에 의해, 고스트 영역을 보다 정확하게 검출할 수 있다. 즉, 서로 다른 노출에 의해 연속 촬영된 프레임들을 이용하여 다양한 기능을 구현하는데 있어, 촬영장치와 피사체의 움직임에 의한 화질 열화 현상(예를 들어, 블러링 또는 고스트 현상)을 효과적으로 제거함으로써, 보다 선명하면서, 고성능의 다양한 기능을 제공할 수 있다. 또한, 고스트 픽셀을 보다 정확히 제거함으로써 메모리 사이트와 컴퓨팅 리소스를 최소화할 수 있다.
도 1은 다중 노출에 의한 프레임 처리 장치를 도시한 블록도이다.
도 2는 프레임 처리 장치에서 프레임이 처리되는 일 예를 설명하기 위한 도면이다.
도 3 및 도 4는 R 채널 프레임, G 채널 프레임 및 B 채널 프레임에 대한 조인트 히스토그램의 일 예를 보여주는 도면이다.
도 5는 초기 고스트 픽셀들의 일 예를 보여주는 도면이다.
도 6은 도 5에 도시된 초기 고스트 픽셀 중 오검출된 픽셀이 재거된 실제 고스트 픽셀을 보여주는 도면이다.
도 7은 프레임 처리 장치의 다중 노출에 의한 프레임 처리 방법을 설명하기 위한 흐름도이다.
도 8은 도 7의 730단계를 보다 자세히 설명하기 위한 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 다중 노출에 의한 프레임 처리 장치(100)를 도시한 블록도, 도 2는 프레임 처리 장치(100)에서 프레임이 처리되는 일 예를 설명하기 위한 도면이다.
도 1에 도시된 프레임 처리 장치(100)는 노출(exposure)을 바꿔가면서 연속 촬영된 프레임들에 대해 기하학적 정합을 수행한다. 　이는, HDR(High Dynamic Range)을 구현하기 위한 전처리 과정에 포함될 수 있다.
즉, 프레임 처리 장치(100)는 촬영 시, 피사체의 촬영 시 촬영장치의 움직임에 의해 발생하는 글로벌 움직임과, 피사체의 움직임에 의해 발생하는 로컬 움직임을 보상한다. 결과적으로, 프레임 처리 장치(100)는 촬영 장치와 피사체의 움직임이 없이 정적인 상태에서 촬영된 것처럼 보여지는 연속 프레임들을 제공할 수 있다. 이로써, 정적 촬영을 가정한 상태에서, 연속 프레임들에 HDR 알고리즘을 적용하여 HDR 영상을 생성할 수 있다. 이를 위하여, 프레임 처리 장치(100)는 구분부(110), 글로벌 움직임 보정부(120) 및 로컬 움직임 보정부(130)를 포함한다.
먼저, 촬영 장치는 피사체를 다중 노출로 연속 촬영하여, 각 노출에 대응하는 N장의 프레임들(I0, I1, …, IN-1, N=1, 2, …, n)을 구분부(110)로 제공할 수 있다.
구분부(110)는 다중 노출로 촬영된 프레임들을 기준 프레임(Iref)과 타겟 프레임으로 구분할 수 있다. 구분부(110)는 N장의 프레임들 중 시인성이 가장 우수한 프레임을 기준 프레임으로 선택할 수 있다.
구분부(110)는 다중 노출 중 중간 노출에 대응하는 프레임, 또는, 연속 촬영된 프레임들 중 영상의 내용을 가장 잘 표현하는 프레임을 기준 프레임으로 선택할 수 있다. 영상의 내용을 가장 잘 표현하는 프레임은, 프레임들의 각 평균 밝기값 중 중간 밝기값에 가장 근접하는 프레임, 프레임들 중 전체 엔트로피(entropy)가 가장 큰 프레임 및 영상의 에지(edge) 크기가 가장 큰 프레임 중 하나일 수 있다. 따라서, 구분부(110)는 상기 조건들 중 하나를 이용하여 기준 프레임을 선택하고, 나머지 프레임들을 타겟 프레임들로 정할 수 있다. 밝기값이 0~255로 표현되는 경우, 상술한 중간 밝기값은 (0+255)/2=128일 수 있다.
글로벌 움직임 보정부(120)는 글로벌 움직임을 보정할 수 있다. 글로벌 움직임 보정부(120)는 각 프레임 간에 영상 움직임 정보를 추출하여 글로벌한 움직임 모델을 추정하고, 추정된 움직임 모델을 기반으로 프레임들 간에 존재하는 글로벌 움직임을 보정하여 프레임들을 정합할 수 있다. 이로써, 글로벌 움직임 보정부(120)는 촬영 장치가 고정된 상태에서 피사체를 연속 촬영한 것처럼 인식되는 프레임들을 출력할 수 있다. 출력되는 프레임들은 상술한 기준 프레임과 타겟 프레임을 포함한다.
예를 들어, 글로벌 움직임 보정부(120)는 다중 노출 프레임들로부터 노출 변화의 불변 특성을 가지는 메디안 문턱치 영상(MTB: Median Threshold Bitmap)을 생성할 수 있다. 그리고, 글로벌 움직임 보정부(120)는 생성된 MTB를 이용하여 글로벌 움직임을 추정하고, 추정된 글로벌 움직임을 기반으로 글로벌 영상 정합을 수행할 수 있다.
또 다른 예를 들어, 글로벌 움직임 보정부(120)는 시프트(SIFT: Scale Invariant Feature Transform) 특징과 란삭(RANSAC: RANdom SAmple Consensus) 기법을 이용하여, 연속하는 두 프레임 간의 변형 (transformation) 모델인 　호모그래피(Homography) 매트릭스를 추정한다. 그리고, 글로벌 움직임 보정부(120)는 추정된 호모그래피 매트릭스를 이용하여 두 프레임 사이에 존재하는 글로벌 움직임을 보정할 수 있다.
로컬 움직임 보정부(130)는 기준 프레임과 타겟 프레임간의 조인트 히스토그램을 기반으로, 로컬 움직임을 보정할 수 있다. 즉, 로컬 움직임 보정부(130)는 각 타겟 프레임 내에서, 피사체의 움직임에 의해 국소 영역에서 발생하는 흔들림을 보정할 수 있다. 이로써, 로컬 움직임 보정부(130)는 촬영 장치뿐만 아니라 피사체도 고정된 상태에서, 피사체를 연속 촬영한 것처럼 인식되는 프레임들을 출력할 수 있다.
또한, 로컬 움직임 보정부(130)는, 타겟 프레임을 R 채널 프레임, G 채널 프레임 및 B 채널 프레임으로 분리하고, 분리된 R 채널 프레임, G 채널 프레임 및 B 채널 프레임에 대한 조인트 히스토그램(Joint Histogram)을 기반으로 로컬 움직임을 보정할 수도 있다.
이를 위하여, 로컬 움직임 보정부(130)는 히스토그램 생성부(131), 확률 산출부(133), 고스트 픽셀 검출부(135) 및 움직임 정합부(137)를 포함한다.
히스토그램 생성부(131)는 기준 프레임과 타겟 프레임간의 밝기(intensity)에 대한 조인트 히스토그램을 생성할 수 있다. 히스토그램 생성부(131)는 R 채널 프레임, G 채널 프레임 및 B 채널 프레임 각각의 밝기에 대해서 2D(dimension) 조인트 히스토그램을 생성할 수 있다.
히스토그램 생성부(131)는 기준 프레임과 타겟 프레임 간의 조인트 히스토그램을 [수학식 1]을 이용하여 구할 수 있다.
Figure pat00001
[수학식 1]에서,
Figure pat00002
는 기준 프레임,
Figure pat00003
는 타겟 프레임,
Figure pat00004
이고,
Figure pat00005
는
Figure pat00006
에 위치하는 픽셀(p)의 밝기값을 의미한다. 또한,
Figure pat00007
과
Figure pat00008
은 밝기로서, 각각
Figure pat00009
,
Figure pat00010
의 값을 갖는다.
Figure pat00011
는 중괄호([ ]) 안의 argument가 true이면 1, 그 외에는 0을 리턴하는 함수이다. 이러한 2D 조인트 히스토그램을 생성한 실시예가 도 3 및 도 4에 도시된다.
도 3 및 도 4는 R 채널 프레임, G 채널 프레임 및 B 채널 프레임에 대한 조인트 히스토그램의 일 예를 보여주는 도면이다.
도 3을 참조하면, I0은 기준 프레임(Iref), I1은 타겟 프레임을 나타낸다. 또한,
Figure pat00012
은 기준 프레임과 타겟 프레임 중 R 채널 프레임 간의 조인트 히스토그램,
Figure pat00013
는 기준 프레임과 G 채널 프레임 간의 조인트 히스토그램,
Figure pat00014
는 기준 프레임과 B 채널 프레임 간의 조인트 히스토그램이다.
도 4에서, I0은 기준 프레임(Iref), I2는 타겟 프레임을 나타낸다. 또한,
Figure pat00015
는 기준 프레임과 타겟 프레임 중 R 채널 프레임 간의 조인트 히스토그램,
Figure pat00016
는 기준 프레임과 G 채널 프레임 간의 조인트 히스토그램,
Figure pat00017
는 기준 프레임과 B 채널 프레임 간의 조인트 히스토그램이다.
조인트 히스토그램은 기준 프레임과 타겟 프레임의 동일한 위치에 대응하는 픽셀의 밝기값 쌍의 개수를 누적한 결과를 나타낸다. 즉, 조인트 히스토그램은 x축에는 기준 프레임의 밝기, y축에는 타겟 프레임의 밝기를 정의하고, 기준 프레임의 (x,y) 좌표에 위치하는 픽셀의 밝기와 타겟 프레임의 (x,y) 좌표에 위치하는 픽셀의 밝기로 이루어지는 밝기값 쌍을 z축에 누적하면서 생성된다. 도 3 및 도 4에서 밝은 색 부분은 누적된 밝기값 쌍이 많은 부분이다.
다시 도 1을 참조하면, 확률 산출부(133)는 히스토그램 생성부(131)에서 생성된 조인트 히스토그램을 정규화하여 타겟 프레임의 조인트 확률을 픽셀마다 산출할 수 있다. 확률 산출부(133)는 조인트 히스토그램을 조인트 확률(Joint Probability)로 환산하기 위하여, 조인트 히스토그램에 대하여 파즌 윈도우(Parzen window) 과정을 거친 후, 정규화(normalization) 과정을 수행한다.
이를 위해,　확률 산출부(133)는 2D 가우시안 필터(Gaussian filter)의 시그마(sigma)　값을 1로 설정하고, 2D 가우시안 필터링을 수행할 수 있다. 그리고, 확률 산출부(133)는 산출된 조인트 확률의 전체 합이 1이 되도록 하기 위하여, 조인트 히스토그램의 모든 빈(bin)에 저장된 누적 결과를 픽셀 크기로 나눌 수 있다. 즉, 확률 산출부(133)는, 조인트 히스토그램에 누적된 각 밝기값 쌍의 개수를 기준 프레임의 픽셀 크기로 나누어 조인트 확률을 산출할 수 있다. 기준 프레임의 픽셀 크기는 전체 픽셀 개수일 수 있다.
예를 들어, 확률 산출부(133)는 도 3의
Figure pat00018
에서 (I0의 밝기, I01의 밝기)=(10, 30)에 대응하는 위치에 누적된 밝기값 쌍의 개수가 100개이고, 픽셀 크기가 10000이면, 100/10000=0.01이라는 조인트 확률을 산출한다.
고스트 픽셀 검출부(135)는 확률 산출부(133)에서 산출된 픽셀들의 조인트 확률과 기설정된 임계값을 비교하여, 타겟 프레임에서 초기 고스트 픽셀 또는 초기 고스트 영역을 검출할 수 있다. 이하에서는 초기 고스트 픽셀을 사용한다. 고스트 픽셀은 예를 들어, 태양광과 같은 매우 밝은 광원을 촬영함으로써 생성되는 영상의 일부로서, 화상의 선명도를 저하시킨다.
고스트 픽셀 검출부(135)는 [수학식 2]를 이용하여 초기 고스트 픽셀을 검출할 수 있다.
Figure pat00019
[수학식 2]에서, ghostW(x,y,Ii)는 타겟 프레임(Ii)의 (x,y) 위치에 있는 픽셀에 　대한 고스트 가중치 값, PR은 R 채널 프레임 중 (x,y) 위치에 있는 픽셀들의 조인트 확률값이다.
[수학식 2]를 참조하면, 고스트 픽셀 검출부(135)는, 산출된 픽셀의 조인트 확률이 임계값(C)보다 작으면, ghostW(x,y,Ii)=0으로 정하고, 산출된 픽셀을 고스트 픽셀로 정의한다. 자세히 설명하면, 고스트 픽셀 검출부(135)는, 각 채널 프레임에 대하여, 같은 (x,y) 위치에 있는 두 픽셀에 대한 확률값이 임계값(C)보다 작으면 고스트 가중치 값을 0으로 설정하고, 그 외에는 1로 설정할 수 있다. 예를 들어, 임계값은 0.00001로서, 이에 한정되지 않는다.
상술한 바와 같이, 고스트 픽셀 검출부(135)는 임계값을 기준으로 초기 고스트 픽셀을 검출할 수 있다. 즉, 고스트 픽셀 검출부(135)는 고스트 가중치 값이 0이면, (x,y)위치에 있는 픽셀을 고스트 픽셀로 정의하고, 고스트 가중치 값이 1이면 (x,y)위치에 있는 픽셀을 비-고스트(non-ghost)　픽셀로 정의한다.
도 5는 초기 고스트 픽셀들의 일 예를 보여주는 도면이다. 도 5에서 고스트 픽셀들로 이루어진 초기 고스트 지역은 흰색 픽셀로 이루어진 부분이다.
한편, 고스트 픽셀 검출부(135)는, 검출된 초기 고스트 픽셀들 중 오검출(False-Positive)된 픽셀을 제거하여 실제 고스트 픽셀들을 검출할 수 있다. 즉, 초기 고스트 지역은 픽셀 단위로 구분이 되므로, 노이즈 등의 여러 원인으로 인해 오검출된 픽셀이 존재할 수 있다. 따라서, 고스트 픽셀 검출부(135)는 오검출된 픽셀들을 제거하여, 정확성이 향상된 실제 고스트 픽셀들을 검출할 수 있다.
이를 위하여, 고스트 픽셀 검출부(135)는 글로벌 에너지(Global Energy)를 정의하고, 검출된 고스트 픽셀들에 에너지 최소화 기법을 적용하여 오검출된 픽셀을 제거할 수 있다. 에너지 최소화 기법의 예로는 MRF(Markov Random Field) 모델링을 들 수 있다.
검출된 고스트 픽셀이 오검출된 픽셀인지를 판단하는 것은 0　또는 1의 라벨링(labeling)과 동일하다. 따라서, 고스트 가중치 값의 라벨링의 전체 집합을 f라고 하면, 각 픽셀(p)는 0또는 1의 라벨링 값을 가질 수 있다. 　
Figure pat00020
이고,
Figure pat00021
이면, 픽셀(p)가 고스트 픽셀이며,
Figure pat00022
이면 픽셀(p)가 비-고스트 픽셀임을 의미할 수 있다. 이때, 전체적인 글로벌 에너지는 [수학식 3]과 같이 정의될 수 있다.
Figure pat00023
[수학식 3]에서,　
Figure pat00024
는 글로벌 에너지,
Figure pat00025
는 픽셀(p)에 이웃하는 주변 픽셀들의 집합을 의미한다. 　또한,
Figure pat00026
는 데이터 비용(Data Cost)를 의미하고,
Figure pat00027
는 이웃하는 두 픽셀의 함수인 연속성 비용 (Smoothness Cost)를 의미한다.
데이터 비용은 영상간의 조인트 히스토그램을 이용하여 계산한 [수학식 2]의 고스트 가중치로부터 해당 픽셀이 고스트 픽셀일 확률을 정의하는 함수이다. 연속성 비용은 해당 픽셀과 주변 픽셀간의 픽셀값이 얼마나 연속적인가를 판단하여, 노이즈인지 아닌지를 구분하고 이에 따라 [수학식 3]의 에너지를 계산할 때 가중치를 부여하기 위한 함수이다.
다시 말하면, 픽셀의 값이 노이즈의 영향을 받았을 경우에 고스트 픽셀인지 아닌지 구별이 어려울 수 있다. 조인트 히스토그램을 이용하는 경우, 해당 픽셀이 노이즈일 경우, 고스트 픽셀로 판단될 확률이 높아지며, 이에 따라 고스트 판단 성능이 저하된다. 이를 방지하기 위하여, 주변 픽셀과의 연속성(smoothness)를 판단함으로써 불연속적인 값을 노이즈인 것으로 판단하고, 해당 픽셀이 고스트일 확률을 계산할 때, 가중치를 조절함으로써 정확도를 높일 수 있다.
[수학식 4]는 데이터 비용을 정의한 식이다.
Figure pat00028
[수학식 4]를 참조하면, fp는 타겟 프레임의 픽셀들을 0 또는 1로 구성하여 만들 수 있는 임의 프레임 중 (x,y) 위치에 있는 픽셀의 값으로서 0 또는 1 중 하나이다. ghostW(x,y,Ii)는 타겟 프레임(Ii) 중 (x,y) 위치에 있는 픽셀에 대해 산출된 고스트 가중치 값이다.
[수학식 5]는 연속성 비용을 정의한 식이다.
Figure pat00029
여기서,
Figure pat00030
[수학식 5]에서, Vpq(fp,fq)는 타겟 프레임(Ii)에서 서로 이웃하는 픽셀 p와 q가 유사한 밝기를 가지도록 정의되는 목적함수일 수 있다. λpq는 연속성 비용 계산 시에, 보다 adaptive　한 결과를 얻기 위해　부여하는 가중치이며, Vmax는 연속성 비용의 최대값이다.
상술한 글로벌 에너지는 Graph-cut 방법을 이용하여 에너지 최소화할 수 있다. [수학식 3] 내지 [수학식 5]의 각 파라미터를 β=25, λlarge=3, λsmall=1, η=5, Vmax=2로 정의한 후, 에너지 최적화 과정을 수행한 결과의 예는 도 5와　같다.
고스트 픽셀 검출부(135)는 [수학식 3] 내지 [수학식 5]에 의한 에너지 최소화 결과를 [수학식 2]에 적용하여, 실제 고스트 픽셀들을 검출할 수 있다.
도 6은 도 5에 도시된 초기 고스트 픽셀 중 오검출된 픽셀이 재거된 실제 고스트 픽셀을 보여주는 도면이다. 도 6을 참조하면, 도 5에 도시된, 초기 고스트 픽셀이 검출된 타겟 프레임에 대해, 에너지 최소화 과정을 거쳐 재검출한 최종 고스트 영역이 표시되어 있다. 도 5와 도 6을 비교하면, 흰색으로 표시된 고스트 지역이 도 6에서 감소하였음을 알 수 있다.
상술한 과정에 의해, 로컬 움직임 보정부(130)는 각 타겟 프레임에 대해 최종 고스트 지역을 검출할 수 있다. 이 때, 로컬 움직임 보정부(130)는 각 타겟 프레임의 R 채널 프레임, G 채널 프레임 및 B 채널 프레임에 대해 최종 고스트 지역을 검출할 수 있다.
움직임 정합부(137)는 검출된 실제 고스트 픽셀을 타겟 프레임에서 제거하여 로컬 움직임에 대해 정합을 수행할 수 있다. 자세히 설명하면, 움직임 정합부(137)는 타겟 프레임의 각 R 채널 프레임, G 채널 프레임 및 B 채널 프레임에서 검출된 실제 고스트 픽셀을 제거할 수 있다. 그리고, 움직임 정합부(137)는 실제 고스트 픽셀이 제거된 R 채널 프레임, G 채널 프레임 및 B 채널 프레임을 정합하여 실제 고스트 픽셀이 제거된 타겟 프레임을 생성할 수 있다.
모든 타겟 프레임에 대해 실제 고스트 픽셀이 제거되면, 움직임 정합부(137)는 모든 타겟 프레임들을 조합하여 HDR 영상과 같은 칼라 영상을 재구성할 수 있다.
도 7은 프레임 처리 장치의 다중 노출에 의한 프레임 처리 방법을 설명하기 위한 흐름도이다.
도 7의 다중 노출에 의한 프레임 처리 방법은 도 1을 참조하여 설명한 프레임 처리 장치(100)에 의해 동작될 수 있다. 따라서, 프레임 처리 방법에 대한 구체적인 설명은 생략될 수 있다.
710단계에서, 프레임 처리 장치는 촬영 장치에 의해 다중 노출로 연속 촬영되어 획득된 N장의 프레임들(I0, I1, …, IN-1, N=1, 2, …, n)을 기준 프레임(Iref)과 타겟 프레임으로 구분할 수 있다. 즉, 프레임 처리 장치는 N장의 프레임들 중 시인성이 가장 우수한 프레임을 기준 프레임으로 선택하고, 그 외 프레임들을 타겟 프레임으로 정할 수 있다.
720단계에서, 프레임 처리 장치는 피사체를 촬영한 촬영 장치의 움직임에 의해 발생하는 글로벌 움직임을 보정 및 정합할 수 있다. 예를 들어, 프레임 처리 장치는 상술한 메디안 문턱치 영상(MTB: Median Threshold Bitmap)을 이용하여 글로벌 움직임을 추정하고, 추정된 글로벌 움직임을 기반으로 글로벌 영상 정합을 수행할 수 있다.
730단계에서, 프레임 처리 장치는 기준 프레임과 타겟 프레임간의 조인트 히스토그램을 기반으로, 피사체의 움직임에 의해 발생하는 로컬 움직임을 보정 및 정합할 수 있다. 즉, 프레임 처리 장치는 각 타겟 프레임 내에서, 피사체의 움직임에 의해 국소 영역에서 발생하는 흔들림을 보정할 수 있다.
이로써, 프레임 처리 장치는 촬영 장치와 피사체도 고정된 상태에서, 피사체를 연속 촬영한 것처럼 인식되는 프레임들을 출력할 수 있다.
도 8은 도 7의 730단계를 보다 자세히 설명하기 위한 흐름도이다.
810단계에서, 프레임 처리 장치는 기준 프레임과 타겟 프레임간의 밝기에 대한 조인트 히스토그램을 [수학식 1]을 이용하여 생성할 수 있다. 프레임 처리 장치는 R 채널 프레임, G 채널 프레임 및 B 채널 프레임 각각의 밝기에 대해서 조인트 히스토그램을 생성할 수 있다. 여기서, 프레임 처리 장치는 타겟 프레임을 R 채널 프레임, G 채널 프레임 및 B 채널 프레임으로 분리하고, 분리된 R 채널 프레임, G 채널 프레임 및 B 채널 프레임 각각의 밝기에 대한 조인트 히스토그램을 생성할 수도 있다.
820단계에서, 프레임 처리 장치는 810단계에서 생성된 조인트 히스토그램을 정규화하여 타겟 프레임의 조인트 확률을 픽셀마다 산출할 수 있다. 즉, 프레임 처리 장치는 R 채널 프레임, G 채널 프레임 및 B 채널 프레임들에 대해 각각 파즌 윈도우(Parzen window) 과정을 거친 후, 정규화(normalization) 과정을 수행하여 조인트 확률을 산출할 수 있다.
830단계에서, 프레임 처리 장치는 820단계에서 산출된 조인트 확률과 기설정된 임계값을 비교하여, 타겟 프레임에서 초기 고스트 픽셀들을 검출할 수 있다. 즉, 프레임 처리 장치는 각각의 R 채널 프레임, G 채널 프레임 및 B 채널 프레임들에서 초기 고스트 픽셀들을 검출할 수 있다. 프레임 처리 장치는 [수학식 2]를 이용하여 초기 고스트 픽셀들을 검출할 수 있다.
840단계에서, 프레임 처리 장치는 에너지 최소화 기법을 이용하여 실제 고스트 픽셀들을 검출할 수 있다. 자세히 설명하면, 프레임 처리 장치는 830단계에서 검출된 초기 고스트 픽셀들에 에너지 최소화 기법을 적용하여 오검출된 픽셀을 제거함으로써, 실제 고스트 픽셀들을 검출할 수 있다. 프레임 처리 장치는 [수학식 3] 내지 [수학식 5]를 이용하여 실제 고스트 픽셀들을 검출할 수 있다.
850단계에서, 프레임 처리 장치는 840단계에서 검출된 실제 고스트 픽셀들을 타겟 프레임에서 제거할 수 있다. 즉, 프레임 처리 장치는 타겟 프레임을 이루는 R 채널 프레임, G 채널 프레임 및 B 채널 프레임에서 각각 검출된 실제 고스트 픽셀을 제거할 수 있다.
860단계에서, 프레임 처리 장치는 실제 고스트 픽셀이 제거된 R 채널 프레임, G 채널 프레임 및 B 채널 프레임을 정합하여 실제 고스트 픽셀이 제거된 타겟 프레임을 생성할 수 있다.
모든 타겟 프레임에 대해 실제 고스트 픽셀이 제거되면, 프레임 처리 장치는 모든 타겟 프레임들을 조합하여 HDR 영상과 같은 칼라 영상을 재구성할 수 있다.
상술한 프레임 처리 장치(100)는 효과적으로 고스트(ghost) 현상을 제거하기 위해, 1차적으로 조인트 히스토그램(Joint Histogram)을　기반으로 고스트 픽셀을 검출하고, 2차적으로 고스트 픽셀을 에너지 최소화 기법에 적용하여 보다 정확한 실제 고스트 픽셀을 검출할 수 있다. 이에 의해, 프레임 처리 장치(100)는 HDR 처리시 고스트 영역을 보다 정확하게 제거할 수 있으며, 피사체의 움직임에 의한 고스트 블러 현상을 　HDR 영상에서 효과적으로 방지할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 프레임 처리 장치 110: 구분부
120: 글로벌 움직임 보정부 130: 로컬 움직임 보정부
131: 히스토그램 생성부 133: 확률 산출부
135: 고스트 픽셀 검출부 137: 움직임 정합부

Claims (17)

  1. 다중 노출로 촬영된 프레임들을 기준 프레임과 타겟 프레임으로 구분하는 단계;
    피사체를 촬영한 촬영 장치의 움직임에 의해 발생하는 글로벌 움직임을 보정하는 단계; 및
    상기 기준 프레임과 상기 타겟 프레임간의 조인트 히스토그램을 기반으로, 상기 피사체의 움직임에 의해 발생하는 로컬 움직임을 보정하는 단계
    를 포함하는 다중 노출에 의한 프레임 처리 방법.
  2. 제1항에 있어서,
    상기 로컬 움직임을 보정하는 단계는,
    상기 기준 프레임과 상기 타겟 프레임간의 밝기에 대한 조인트 히스토그램을 생성하는 단계;
    상기 생성된 조인트 히스토그램을 정규화하여 상기 타겟 프레임의 조인트 확률을 픽셀마다 산출하는 단계; 및
    상기 산출된 픽셀들의 조인트 확률과 임계값을 비교하여 고스트 픽셀을 검출하는 단계
    를 포함하는, 다중 노출에 의한 프레임 처리 방법.
  3. 제2항에 있어서,
    상기 생성된 조인트 히스토그램은, 상기 기준 프레임과 상기 타겟 프레임의 동일한 위치에 대응하는 픽셀의 밝기값 쌍의 개수를 누적한 결과를 나타내며,
    상기 산출하는 단계는, 상기 각 픽셀의 밝기값 쌍의 개수를 상기 기준 프레임의 픽셀 크기로 나누어 상기 조인트 확률을 산출하는, 다중 노출에 의한 프레임 처리 방법.
  4. 제2항에 있어서,
    상기 고스트 픽셀을 검출하는 단계는,
    상기 산출된 픽셀의 조인트 확률이 상기 임계값보다 작으면 상기 산출된 픽셀을 고스트 픽셀로 정의하는, 다중 노출에 의한 프레임 처리 방법.
  5. 제2항에 있어서,
    상기 로컬 움직임을 보정하는 단계는,
    상기 검출된 고스트 픽셀들 중 오검출된 픽셀을 제거하여 실제 고스트 픽셀을 검출하는 단계; 및
    상기 검출된 실제 고스트 픽셀을 상기 타겟 프레임에서 제거하여 상기 로컬 움직임을 보정하는 단계
    를 더 포함하는, 다중 노출에 의한 프레임 처리 방법.
  6. 제1항에 있어서,
    상기 로컬 움직임을 보정하는 단계는,
    상기 타겟 프레임을 R 채널 프레임, G 채널 프레임 및 B 채널 프레임으로 분리하고, 상기 분리된 R 채널 프레임, G 채널 프레임 및 B 채널 프레임에 대한 조인트 히스토그램을 기반으로 상기 로컬 움직임을 보정하는, 다중 노출에 의한 프레임 처리 방법.
  7. 제1항에 있어서,
    상기 구분하는 단계는,
    상기 다중 노출 중 중간 노출에 대응하는 프레임, 상기 프레임들 중 평균 밝기값이 중간 밝기값과 가장 근접하는 프레임 및 상기 프레임들 중 전체 엔트로피가 가장 큰 프레임 중 하나를 상기 기준 프레임으로 선택하는, 다중 노출에 의한 프레임 처리 방법.
  8. 제1항에 있어서,
    상기 글로벌 움직임을 보정하는 단계는,
    상기 프레임들 간에 존재하는 상기 글로벌 움직임을 보정하여 상기 프레임들을 정합하는, 다중 노출에 의한 프레임 처리 방법.
  9. 제1항 내지 제8항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.
  10. 다중 노출로 촬영된 프레임들을 기준 프레임과 타겟 프레임으로 구분하는 구분부;
    피사체를 촬영한 촬영 장치의 움직임에 의해 발생하는 글로벌 움직임을 보정하는 글로벌 움직임 보정부; 및
    상기 기준 프레임과 상기 타겟 프레임간의 조인트 히스토그램을 기반으로, 상기 피사체의 움직임에 의해 발생하는 로컬 움직임을 보정하는 로컬 움직임 보정부
    를 포함하는 다중 노출에 의한 프레임 처리 장치.
  11. 제10항에 있어서,
    상기 로컬 움직임 보정부는,
    상기 기준 프레임과 상기 타겟 프레임간의 밝기에 대한 조인트 히스토그램을 생성하는 히스토그램 생성부;
    상기 생성된 조인트 히스토그램을 정규화하여 상기 타겟 프레임의 조인트 확률을 픽셀마다 산출하는 확률 산출부; 및
    상기 산출된 픽셀들의 조인트 확률과 임계값을 비교하여 고스트 픽셀을 검출하는 고스트 픽셀 검출부
    를 포함하는, 다중 노출에 의한 프레임 처리 장치.
  12. 제11항에 있어서,
    상기 생성된 조인트 히스토그램은, 상기 기준 프레임과 상기 타겟 프레임의 동일한 위치에 대응하는 픽셀의 밝기값 쌍의 개수를 누적한 결과를 나타내며,
    상기 확률 산출부는, 상기 각 픽셀의 밝기값 쌍의 개수를 상기 기준 프레임의 픽셀 크기로 나누어 상기 조인트 확률을 산출하는, 다중 노출에 의한 프레임 처리 장치.
  13. 제11항에 있어서,
    상기 고스트 픽셀 검출부는,
    상기 산출된 픽셀의 조인트 확률이 상기 임계값보다 작으면 상기 산출된 픽셀을 고스트 픽셀로 정의하는, 다중 노출에 의한 프레임 처리 장치.
  14. 제11항에 있어서,
    상기 고스트 픽셀 검출부는,
    상기 검출된 고스트 픽셀들 중 오검출된 픽셀을 제거하여 실제 고스트 픽셀을 검출하며,
    상기 검출된 실제 고스트 픽셀을 상기 타겟 프레임에서 제거하여 상기 로컬 움직임에 대해 정합을 수행하는 움직임 정합부
    를 더 포함하는, 다중 노출에 의한 프레임 처리 장치.
  15. 제10항에 있어서,
    상기 로컬 움직임 보정부는,
    상기 타겟 프레임을 R 채널 프레임, G 채널 프레임 및 B 채널 프레임으로 분리하고, 상기 분리된 R 채널 프레임, G 채널 프레임 및 B 채널 프레임에 대한 조인트 히스토그램을 기반으로 상기 로컬 움직임을 보정하는, 다중 노출에 의한 프레임 처리 장치.
  16. 제10항에 있어서,
    상기 구분부는,
    상기 다중 노출 중 중간 노출에 대응하는 프레임, 상기 프레임들 중 평균 밝기값이 중간 밝기값과 가장 근접하는 프레임 및 상기 프레임들 중 전체 엔트로피가 가장 큰 프레임 중 하나를 상기 기준 프레임으로 선택하는, 다중 노출에 의한 프레임 처리 장치.
  17. 제10항에 있어서,
    상기 글로벌 움직임 보정부는,
    상기 프레임들 간에 존재하는 상기 글로벌 움직임을 보정하여 상기 프레임들을 정합하는, 다중 노출에 의한 프레임 처리 장치.
KR1020100058255A 2010-06-18 2010-06-18 다중 노출에 의한 프레임 처리 방법 및 장치 KR101633377B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100058255A KR101633377B1 (ko) 2010-06-18 2010-06-18 다중 노출에 의한 프레임 처리 방법 및 장치
US13/067,414 US8971410B2 (en) 2010-06-18 2011-05-31 Method, apparatus and computer-readable medium processing frames obtained by multiple exposures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100058255A KR101633377B1 (ko) 2010-06-18 2010-06-18 다중 노출에 의한 프레임 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110138114A true KR20110138114A (ko) 2011-12-26
KR101633377B1 KR101633377B1 (ko) 2016-07-08

Family

ID=45328655

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100058255A KR101633377B1 (ko) 2010-06-18 2010-06-18 다중 노출에 의한 프레임 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US8971410B2 (ko)
KR (1) KR101633377B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102262397B1 (ko) 2019-12-17 2021-06-07 연세대학교 산학협력단 다중 시기에 획득된 위성 sar 영상 간의 정합 자동화 장치 및 방법
WO2022025457A1 (ko) * 2020-07-30 2022-02-03 삼성전자 주식회사 이미지를 처리하기 위한 전자 장치 및 그의 동작 방법

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101664123B1 (ko) * 2010-06-14 2016-10-11 삼성전자주식회사 필터링에 기반하여 고스트가 없는 ｈｄｒｉ를 생성하는 장치 및 방법
KR101742120B1 (ko) * 2011-06-10 2017-05-31 삼성전자주식회사 영상 처리 장치 및 방법
US9213781B1 (en) * 2012-09-19 2015-12-15 Placemeter LLC System and method for processing image data
US9185270B2 (en) * 2014-02-28 2015-11-10 Konia Minolta Laboratory U.S.A., Inc. Ghost artifact detection and removal in HDR image creation using graph based selection of local reference
US9210335B2 (en) * 2014-03-19 2015-12-08 Konica Minolta Laboratory U.S.A., Inc. Method for generating HDR images using modified weight
EP3149909A4 (en) 2014-05-30 2018-03-07 Placemeter Inc. System and method for activity monitoring using video data
KR102350232B1 (ko) * 2014-11-20 2022-01-13 삼성전자주식회사 스테레오 영상 매칭 방법 및 장치
US10043078B2 (en) 2015-04-21 2018-08-07 Placemeter LLC Virtual turnstile system and method
US10997428B2 (en) 2015-06-01 2021-05-04 Placemeter Inc. Automated detection of building entrances
US10404996B1 (en) * 2015-10-13 2019-09-03 Marvell International Ltd. Systems and methods for using multiple frames to adjust local and global motion in an image
KR20180027047A (ko) * 2016-09-05 2018-03-14 엘지전자 주식회사 Hdr 영상 촬영 장치 및 그 제어 방법
WO2020006078A1 (en) * 2018-06-26 2020-01-02 Gopro, Inc. Entropy maximization based auto-exposure
CN109597224B (zh) * 2018-11-27 2021-04-23 Tcl华星光电技术有限公司 马赛克拼接产品拼接区调整方法及装置
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images
US11200653B2 (en) 2019-08-06 2021-12-14 Samsung Electronics Co., Ltd. Local histogram matching with global regularization and motion exclusion for multi-exposure image fusion
WO2021025445A1 (en) * 2019-08-06 2021-02-11 Samsung Electronics Co., Ltd. Local histogram matching with global regularization and motion exclusion for multi-exposure image fusion
CN112288642A (zh) * 2020-09-21 2021-01-29 北京迈格威科技有限公司 鬼影检测方法、图像融合方法及对应装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030033851A (ko) * 2001-10-25 2003-05-01 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
KR100662577B1 (ko) * 2005-12-02 2006-12-28 삼성전자주식회사 움직임 추정장치 및 움직임 추정방법
JP2007221423A (ja) * 2006-02-16 2007-08-30 Matsushita Electric Ind Co Ltd 撮像装置
JP2009105533A (ja) * 2007-10-22 2009-05-14 Sony Corp 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07113174A (ja) 1993-10-13 1995-05-02 Japan Steel Works Ltd:The 薄膜の製造方法
US20040169656A1 (en) * 2002-11-15 2004-09-02 David Piponi Daniele Paolo Method for motion simulation of an articulated figure using animation input
US7848566B2 (en) * 2004-10-22 2010-12-07 Carnegie Mellon University Object recognizer and detector for two-dimensional images using bayesian network based classifier
JP4575751B2 (ja) 2004-11-12 2010-11-04 財団法人北九州産業学術推進機構 ヒストグラム近似復元装置及びヒストグラム近似復元方法、並びに画像検索装置及び画像検索方法
KR100739139B1 (ko) 2005-04-04 2007-07-13 엘지전자 주식회사 히스토그램 모델링을 이용한 영상의 대조비 개선 장치
JP2008054206A (ja) 2006-08-28 2008-03-06 Matsushita Electric Ind Co Ltd ゴースト検出装置およびその関連技術
KR100940490B1 (ko) 2008-03-26 2010-02-04 삼성탈레스 주식회사 영상 화질 향상 장치
JP4999794B2 (ja) 2008-07-04 2012-08-15 日本電信電話株式会社 静止領域検出方法とその装置、プログラム及び記録媒体
JP4458194B2 (ja) 2009-01-14 2010-04-28 カシオ計算機株式会社 撮像装置及びその露出制御方法並びに記録媒体
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
US8525900B2 (en) * 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP5214533B2 (ja) * 2009-05-21 2013-06-19 富士フイルム株式会社 人物追跡方法、人物追跡装置および人物追跡プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030033851A (ko) * 2001-10-25 2003-05-01 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
KR100662577B1 (ko) * 2005-12-02 2006-12-28 삼성전자주식회사 움직임 추정장치 및 움직임 추정방법
JP2007221423A (ja) * 2006-02-16 2007-08-30 Matsushita Electric Ind Co Ltd 撮像装置
JP2009105533A (ja) * 2007-10-22 2009-05-14 Sony Corp 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102262397B1 (ko) 2019-12-17 2021-06-07 연세대학교 산학협력단 다중 시기에 획득된 위성 sar 영상 간의 정합 자동화 장치 및 방법
WO2022025457A1 (ko) * 2020-07-30 2022-02-03 삼성전자 주식회사 이미지를 처리하기 위한 전자 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
US20110310970A1 (en) 2011-12-22
KR101633377B1 (ko) 2016-07-08
US8971410B2 (en) 2015-03-03

Similar Documents

Publication Publication Date Title
KR101633377B1 (ko) 다중 노출에 의한 프레임 처리 방법 및 장치
US10339643B2 (en) Algorithm and device for image processing
JP5389903B2 (ja) 最適映像選択
Hu et al. Deblurring low-light images with light streaks
US9652833B2 (en) Point spread function estimation for motion invariant images
US9202263B2 (en) System and method for spatio video image enhancement
US8773548B2 (en) Image selection device and image selecting method
KR101811718B1 (ko) 영상 처리 방법 및 장치
US9589328B2 (en) Globally dominant point spread function estimation
US20160205291A1 (en) System and Method for Minimizing Motion Artifacts During the Fusion of an Image Bracket Based On Preview Frame Analysis
CN107209931B (zh) 颜色校正装置和方法
JP4454657B2 (ja) ぶれ補正装置及び方法、並びに撮像装置
KR101664123B1 (ko) 필터링에 기반하여 고스트가 없는 ｈｄｒｉ를 생성하는 장치 및 방법
US20110285871A1 (en) Image processing apparatus, image processing method, and computer-readable medium
JP5890547B2 (ja) 画像処理装置
Chen et al. Blind deblurring for saturated images
KR101874738B1 (ko) 영상처리를 이용하여 ldr 영상으로부터 hdr 영상을 생성하는 장치 및 방법
KR20150035315A (ko) 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
US20120224783A1 (en) Methods and Systems for Document-Image Correction
KR101468433B1 (ko) 결합된 색상 채널 변환 맵을 이용한 다이나믹 레인지 확장 장치 및 방법
US20080199073A1 (en) Red eye detection in digital images
JP2021047710A (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
US11636576B2 (en) Image processing apparatus for reducing influence of fine particle in an image, control method of same, and non-transitory computer-readable storage medium
Yu et al. An adaptive iterative algorithm for motion deblurring based on salient intensity prior
KR101830028B1 (ko) 영상의 동적범위 확장을 위한 로우라이트 영역 검출 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 4