KR101568590B1 - 영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템 및 그 방법 - Google Patents

영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템 및 그 방법 Download PDF

Info

Publication number
KR101568590B1
KR101568590B1 KR1020140079652A KR20140079652A KR101568590B1 KR 101568590 B1 KR101568590 B1 KR 101568590B1 KR 1020140079652 A KR1020140079652 A KR 1020140079652A KR 20140079652 A KR20140079652 A KR 20140079652A KR 101568590 B1 KR101568590 B1 KR 101568590B1
Authority
KR
South Korea
Prior art keywords
ann
training
image
unit
edge
Prior art date
Application number
KR1020140079652A
Other languages
English (en)
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020140079652A priority Critical patent/KR101568590B1/ko
Application granted granted Critical
Publication of KR101568590B1 publication Critical patent/KR101568590B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 인접한 필드 간의 선형 또는 비선형 관계에 관계없이 좋은 성능을 발휘하고, 디인터레이싱 작업에 있어서 시간 소비와 시각적 품질 간의 균형을 이루는 영상 디인터레이싱 시스템 및 그 방법에 관한 것으로, 본 발명에 따른 영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템은 타겟 픽셀이 속하는 영역을 에지 데이터 세트(edge dataset)와 스무스 데이터 세트(smooth dataset)로 구분하여, 에지 BP-ANN(back propagation artificial neural network) 과 스무스 BP-ANN의 아키텍처와 파라미터로 훈련하는 모델링부 및 상기 모델링부에서 훈련된 BP-ANN을 이용하여 이미지를 디인터레이싱하는 디인터레이싱부를 포함하는 것을 기술적 특징으로 한다.

Description

영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템 및 그 방법{Image deinterlacing system the method using region-based back propagation artificial neural network}
본 발명은 디인터레이싱을 위한 영역 기반의 BP-ANN 기술에 관한 것으로, 더 상세하게는 인접한 필드 간의 선형 또는 비선형 관계에 관계없이 좋은 성능을 발휘하고, 디인터레이싱 작업에 있어서 시간 소비와 시각적 품질 간의 균형을 이루는 영상 디인터레이싱 시스템 및 그 방법에 관한 것이다.
인터레이스된 스캐닝은 오랫동안 널리 National Television Systems Committee, Phase Alternation by Line, Sequential Color with Memory, HDTV(high definition television) 포맷을 포함한 TV 방송 표준에 적용되었다. 점진적 스캔과 비교할 때, 인터레이스된 스캔은 동일한 대역폭을 사용하면서, 수신 프레임 속도가 두 배이다. 그러나 이러한 인터레이스된 스캐닝 포맷은 jagged patterns, edge flickering, line twitters 와 같이 단점이 있다[1]. 이러한 단점은 비디오의 시각적 품질을 저하시킨다. 나아가, 인터레이스된 스캐닝은 최근 개발되어, 진보된 포맷을 요구하는 LCD-TV, HDTV, PC 등의 디스플레이 장치에는 부적합하다.
이러한 문제를 해소하기 위해 많은 기술들이 제안되었다. 이러한 기법은 일반적으로 인트라필드 기법과 인터필드 기법의 두 가지 카테고리로 구분된다. 인터필드 기법은 공간적-시간적 보간을 이용하여, 누락된 라인을 채우는 기법이며, 이러한 이유로 이웃 프레임을 검색하여 얻어진 모션 벡터를 주로 이용한다. 이러한 기법이 인트라 기법과 비교하여, 성능 개선을 제공하지만 높은 연산적 복잡도를 요구하는 단점이 있다. 더구나 부적합한 모션 추정은 심각한 이미지와 대응하는 부분의 심각한 품질 저하를 야기시킬 수 있다.
인트라필드 디인터레이싱 기술은 메모리와 컴퓨팅 파워에 대한 관리 요구가 있는 실시간 어플리케이션에 널리 적용된다. 인트라필드 디인터레이싱은 line average(LA), edge-based line average(ELA), efficient ELA 등과 같이, 다양한 선형 알고리즘으로 제안된 바 있다. 이러한 종래 기술은 일부 추정 방향을 위해 선형 공간적 평균을 이용하여 누락 픽셀을 보간함에 따라 고정된 파라미터 필터로 간주되는 존재하는 라인(existing line)과 누락된 라인(missing line) 간의 선형 관계를 산출하는 것으로 누락 픽셀을 추정한다.
그러나 누락된 픽셀과 존재하는 픽셀 간의 관계는 대부분 비선형이며, 비선형 기법은 가파른 수직 방향의 고정된 엣지에 대한 더 나은 결과를 제공한다[2]. 적용된 기법이 특정 영역에 대응하는 요구사항을 충족할 때 최상의 결과를 얻을 수 있다.
최근 신경망(NN-neural network) 디인터레이싱 기법은 누락된 라인과 존재하는 라인 간의 숨겨진 규칙적 패턴을 드러내는 기법으로 제안되고 있다[3, 4]. Plaziac의 결과는 비록 노이즈 컨디션 하에서도 선형 및 중간값의 필터에서 PB 알고리즘이 더 나은 결과를 나타냄을 보여준다. 게다가 신경망에서는 활성화 함수는 하드웨어 설계에서 프로세싱 시간과 하드웨어 복잡도를 줄이기 위해 다항함수로 대체된다[5]. 그러나 디인터레이싱을 위한 BP-NN 구조는 종래의 연구에서는 논의된 바가 없다. 모듈식의 NN은 인터 및 인트라 모드 각각에서의 디인터레이싱 알고리즘을 수행하는데 이용되었으며, 이는 성능 개선을 이끌어냈다[4]. 그러나 NN을 사용하는 디인터레이싱 프로세스는 연산 복잡도가 높으므로 단순화된 디인터레이싱 프로세스가 요구된다.
[1] G. De Haan, "Television display processing: past & future," in Proc. IEEE ICCE'07, pp. 1-2, IEEE, Las Vegas (2007). [2] S. Shanbhag and D. Agarwal, "Deinterlacing technology: an overview," Int. J. Adv. Eng. Sci. Technol. 11(1), 129-131 (2011). [3] N. Plaziac, "Image interpolation using neural networks," IEEE Trans. Image Process. 8(11), 1647-1651 (1999). [4] H. Choi and C. Lee, "Motion adaptive deinterlacing with modular neural networks," IEEE Trans. Circuits Syst. Video Technol. 21(6), 844-848 (2011). [5] G. Seo, H. Choi, and C. Lee, "Efficient implementation of neural network deinterlacing," Proc. SPIE 7245, 724519 (2009).
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로, 최적의 입력 모델을 생성하고, 디인터레이싱 프로세스를 단순화할 수 있는 구조의 영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템 및 그 방법을 제공하는데 있다.
본 발명에 따른 영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템은 타겟 픽셀이 속하는 영역을 에지 데이터 세트(edge dataset)와 스무스 데이터 세트(smooth dataset)로 구분하여, 에지 BP-ANN(back propagation artificial neural network) 과 스무스 BP-ANN의 아키텍처와 파라미터로 훈련하는 모델링부 및 상기 모델링부에서 훈련된 BP-ANN을 이용하여 이미지를 디인터레이싱하는 디인터레이싱부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 영상 디인터레이싱 시스템에 있어서, 모델링부는 타겟 픽셀이 속하는 스무스 영역과 에지 영역을 구분하여, 훈련 이미지를 이진화하는 훈련 이미지 산출부, 이진화된 이미지와 픽셀을 기반으로 훈련 포인트를 임의로 선택하는 훈련 포인트 선택부, BP-ANN에 제시된 훈련 데이터세트의 모든 픽셀은 0-255으로부터 0-1까지 선형적으로 정규화하는 데이터세트 정규화부 및 스무스 BP-ANN와 에지 BP-ANN의 아키텍터와 파라미터를 이용하여 훈련 실행부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 영상 디인터레이싱 시스템에 있어서, 디인터레이싱부는 상기 모델링부에서 훈련된 BP-ANN을 적용하여 입력되는 이미지를 훈련하는 BP-ANN 적용부 및 상기 이미지의 PSNR의 산출로 성능을 평가하는 성능확인부를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상 디인터레이싱 방법은 (a) 모델링부를 이용하여, 타겟 픽셀이 속하는 영역을 에지 데이터 세트(edge dataset)와 스무스 데이터 세트(smooth dataset)로 구분하여, 에지 BP-ANN(back propagation artificial neural network) 과 스무스 BP-ANN의 아키텍처와 파라미터로 훈련하는 단계 및 (b) 디인터레이싱부를 이용하여, 상기 (a) 단계에서 훈련된 BP-ANN을 이용하여 이미지를 디인터레이싱하는 단계를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명에 따른 영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템은 인접 필드에서 입력 패턴을 에지 영역과 스무스 영역으로 구분함으로써, 누락 픽셀의 선형/비선형 특성을 구분할 수 있으며, NN의 최적 구조로 단순화할 수 있는 효과가 있다.
도 1은 일반적인 n-m-1 구조의 BP-ANN의 토폴로지를 나타내는 개념도.
도 2는 본 발명에 있어서, 영역 분류에 따른 픽셀 구성을 나타내는 도면.
도 3은 본 발명에 따른 영상 디인터레이싱 시스템의 전체 구성을 나타내는 구성도.
도 4는 본 발명에 따른 영상 디인터레이싱 방법의 전체 흐름을 나타내는 흐름도.
도 5는 본 발명에 있어서의 다양한 입력의 영역 기반의 BP-ANN 디인터레이싱의 픽셀을 나타내는 도면.
도 6은 본 발명에 있어서, BP-ANN의 에러-epoch 그래프.
도 7은 종래 기법과 본 발명에 따른 영상 디인터레이싱 방법 간의 주관적인 품질 비교 영상.
이하, 본 발명에 따른 영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템 및 그 방법을 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.
1. BP-NN의 아키텍처
BP 알고리즘은 자기 적응성(self-adaptation), 자기 학습(self-learning), 건장함(robustness) 및 일반화 가능성(generalizability) 때문에 가장 많이 연구되는 NN 알고리즘이다. 3계층의 토폴로지를 갖는 BP-ANN은 어떤 정밀함을 갖는 비선형 함수에도 접근할 수 있다. n-m-1 타입의 BP-ANN 구조는 도 1에 도시된 바와 같다.
BP-ANN에서는 입력 n과 하나의 출력이 있으며, 히든 레이어(hidden layer)에는 뉴런 m이 있다. 히든 레이어의 출력은 Ij, 히든 레이어의 임계값은 θj 이며, 히든 레이어의 전달 함수는 f1 이다. 한편, 출력 계층의 임계값은 θk 이고, 출력 계층의 전달 함수는 f2 이다. 또한, 입력 레이어로부터 히든 레이어로의 가중치는 Wij 이고, 히든 레이어로부터 출력 레이어의 가중치는 Wjk 이다. 다음 수학식 1은 히든 뉴런의 입력과 출력 사이의 관계를 보여준다. 전체 네트워크의 출력은 y 이고, 원하는 출력은 y'이고, 에러 함수는 e=y'-y로 정의된다.
Figure 112014060546752-pat00001
Figure 112014060546752-pat00002
BP-ANN의 학습 프로세싱은 네트워크 에러를 최소화하기 위해 가중치와 임계값을 지속적으로 조절한다. 본 발명에서 히든 레이어를 위한 전달 함수는 수학식 3과 같이 "tansig"이며, 그 출력 레이어는 수학식 4와 같이 "purelin"이며, 여기서 Pj, Q, Ij, y는 각각 입력과 출력의 전달 함수 이다.
Figure 112014060546752-pat00003
Figure 112014060546752-pat00004
종래 Levenberg-Marquardt 최적화 알고리즘은 BP-ANN의 수렴과 입력-출력 맵핑의 속도를 높이기 위해 가중치와 임계값을 업데이트하는데 이용한다. 그 결과 네트워크는 훈련 프로세스 동안 수집된 입출력 패턴 쌍에서 내재된 맵핑을 캡처하고, 동시에 시뮬레이션은 데이터의 새로운 또는 훈련되지 않은 데이터 세트에 대해 만들어질 수 있는 함수로부터 알려지지 않은 시스템을 모델링하도록 훈련될 수 있다.
2. 디인터레이싱용 영역 기반의 BP-ANN 시스템 및 그 방법
누락 픽셀을 계산 시, 누락 픽셀의 다른 영역은 다른 패턴을 가진다. 본 발명에 있어서, 보간된 픽셀 x를 스무스 영역 S와 엣지 영역 E로 구분하고, 이는 다음 수학식 5와 같이 표현한다.
Figure 112014060546752-pat00005
여기서 T는 임계값이며, F(x)는 다음 수학식 6으로 기재된 함수이다.
Figure 112014060546752-pat00006
여기서,
Figure 112014060546752-pat00007
는 벡터 X의 평균값이며, xd는 도 2에 도시된 바와 같이, 보간된 픽셀 주변의 6개의 존재하는 픽셀 중 하나이다. BP-ANN의 훈련 전에 그것이 속한 영역을 결정하기 위해 보간된 픽셀은 수학식 5에 따라 분류해야 한다. 따라서 에지 BP-ANN는 E 영역에 배정되는 반면 스무스 BP-ANN는 S 영역에 배정된다.
본 발명에 따른 영상 디인터레이싱 시스템은 도 3에 도시된 바와 같이, 타겟 픽셀이 속하는 영역을 에지 데이터 세트(edge dataset)와 스무스 데이터 세트(smooth dataset)로 구분하여, 에지 BP-ANN(back propagation artificial neural network) 과 스무스 BP-ANN의 아키텍처와 파라미터로 훈련하는 모델링부(10) 및 상기 모델링부(10)에서 훈련된 BP-ANN을 이용하여 이미지를 디인터레이싱하는 디인터레이싱부(20)를 포함한다.
본 발명에 따른 상기 모델링부(10)는 타겟 픽셀이 속하는 스무스 영역과 에지 영역을 구분하여, 상기 수학식 5와 수학식 6을 적용하여 훈련 이미지를 이진화하는 훈련 이미지 산출부(11), 이진화된 이미지와 픽셀을 기반으로 훈련 포인트를 임의로 선택하는 훈련 포인트 선택부(12), BP-ANN에 제시된 훈련 데이터세트의 모든 픽셀은 0-255으로부터 0-1까지 선형적으로 정규화하는 데이터세트 정규화부(13) 및 스무스 BP-ANN와 에지 BP-ANN의 아키텍터와 파라미터를 이용하여 훈련 실행부(14)를 포함한다.
또한, 본 발명에 따른 상기 디인터레이싱부(20)는 상기 모델링부에서 훈련된 BP-ANN을 적용하여 입력되는 이미지를 훈련하는 BP-ANN 적용부(21) 및 상기 이미지의 PSNR(Peak Signal-to-noise ratio)의 산출로 성능을 평가하는 성능확인부(22)를 포함한다.
도 4는 본 발명에 따른 영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 방법의 전체 흐름을 나타내는 도면으로, 상기 모델링부(10)를 이용하여, 타겟 픽셀이 속하는 영역을 에지 데이터 세트(edge dataset)와 스무스 데이터 세트(smooth dataset)로 구분하여, 에지 BP-ANN(back propagation artificial neural network) 과 스무스 BP-ANN의 아키텍처와 파라미터로 훈련하는 (a) 단계 및 상기 디인터레이싱부(10)를 이용하여, 상기 (a) 단계에서 훈련된 BP-ANN을 이용하여 이미지를 디인터레이싱하는 (b) 단계를 포함한다.
본 발명에 있어서, 상기 (a) 단계는 훈련 이미지 산출부(11)를 이용하여, 수학식 5 및 수학식 6을 적용하여, 타겟 픽셀이 속하는 스무스 영역과 에지 영역을 구분하여, 훈련 이미지를 이진화하는 단계(S10), 상기 훈련 포인트 선택부(12)를 이용하여, 이진화된 이미지와 픽셀을 기반으로 훈련 포인트를 임의로 선택하는 단계(S20), 상기 데이터세트 정규화부(13)를 이용하여, BP-ANN에 제시된 훈련 데이터세트의 모든 픽셀은 0-255으로부터 0-1까지 선형적으로 정규화하는 단계(S30) 및 상기 훈련 실행부(14)를 이용하여, 스무스 BP-ANN와 에지 BP-ANN의 아키텍터와 파라미터를 이용하여 훈련하는 단계(S40)를 포함한다.
또한 본 발명에 있어서, 상기 (b) 단계는 (b-1) BP-ANN 적용부(21)를 이용하여 상기 모델링부에서 훈련된 BP-ANN을 적용하여 입력되는 이미지를 훈련하는 단계(S50), 훈련된 BP-ANN에서 생성된 에지 포인트와 스무스 포인트를 결합하는 단계(S55) 및 상기 성능확인부(22)를 이용하여, 상기 이미지의 PSNR의 산출로 성능을 평가하는 단계(S60)를 포함한다.
본 발명의 실시예에서 매트랩 NNs 툴박스는 영역 기반의 BP-ANN를 사용하여 디인터레이싱을 수행하기 위해 선택되었다. 훈련 알고리즘(S40)을 위한 파라미터 값은 다음과 같다. epoch = 500, learning rate = 0.05, maximum number of iterations = 20, error tolerance = 10-10이다. 한편 Levenberg-Marquardt BP 기법은 네트워크의 가중치와 바이어스 값 업데이트하기 위해 선택되었다.
3. 실험 결과
다음 3개의 실험은 본 발명에 따른 디인터레이싱 알고리즘의 성능을 평가하기 위해 실행되었다. 본 발명의 성능 비교를 위해 LA, CASA, LABI, LCID, MCAD 및 MELA 기법을 사용하였다. LA법은 상부와 하부의 존재하는 픽셀의 평균으로 누락된 픽셀을 보간하는 단순한 선형 방법이다. LA는 그 단순함과 모션 아티펙트가 존재하지 않은 덕분에 사용되었다. 지난 5년간 제안된 다른 다섯 개의 알고리즘은 LA보다 더 나은 성능을 보였다. 본 발명에 따른 알고리즘 성능을 입증하기 위해 3.16GHz에서 인텔 코어 2 듀오 CPU E8500 프로세서와 MATLAB을 이용하여, 시뮬레이션을 실행하였다.
3.1 실험1 : 히든 레이어 뉴런과 훈련 세트의 최적의 수
히든 레이어의 뉴런 수 결정은 영역 기반의 BP-ANN용 아키텍쳐를 선택하는 부분에 있어서 매우 중요한 것이다. 너무 적은 뉴런은 언더피팅(underfitting)의 결과가 발생하는 반면 히든 레이어에서의 너무 많은 뉴런은 오버피팅(overfitting)과 중앙 프로세스 유닛(CPU) 시간 소비와 같은 몇몇 문제점이 발생하는 결과가 발생할 수 있다.
첫 번째 실험에서 사용된 영역 기반 BP-ANN은 도 5에 정의된 입력 픽셀과 동등한 6개의 입력 뉴런을 가진다. 히든 레이어 뉴런의 수는 4, 8, 12, 16, 20을 선택하고, 각 훈련 데이터 세트는 E 영역과 S 영역에서 50,000픽셀을 가진다. 시뮬레이션의 PSNR과 CPU 시간은 표 1에 기재된 바와 같다.
Figure 112014060546752-pat00008
표 1에 기재된 바와 같이, 더많은 히든 뉴런은 샘플 이미지의 더 나은 시각적 품질(PSNR) 제공하며, 이것은 더 많은 계산 시간(CPU-time)으로 이어진다. 히든 레이어에서의 최적의 뉴런수를 결정하는 경험 법칙에 따르면 히든 뉴런의 수는 입력 레이어 사이즈의 두 배보다 적어야 한다. 그러므로 우리는 훈련 데이터 세트 상에서의 다음 실험에서는 12개의 히든 뉴런을 이용한다.
또한 훈련 데이터 세트의 사이즈를 결정하기 위해 각 영역별로 1000, 5000, 10000, 50000의 다른 수의 다양한 훈련 세트를 수집하였다. 서로 다른 훈련 데이터 세트 사이즈의 PSNR 값은 표 2에 기재된 바와 같다. 표 2의 평균 PSNR 값은 10000 과 50000 사이의 훈련 데이터 세트의 적절한 사이즈를 보여준다.
Figure 112014060546752-pat00009
3.2 실험 2 : 영역 기반의 BP-ANN의 최적 입력 모델
실험 2에서 히든 레이어 뉴런의 수는 입력 뉴런의 수와 직접적으로 비례하며, 각 네트워크의 훈련 세트 사이즈는 50000으로 설정되었다. 실제로 히든 레이어 뉴런의 최적의 수와 훈련 세트는 완전히 종속적인 해법이므로 정확한 정의는 필요로 하지 않는다. 훈련되지 않은 데이터 세트를 이용하여 규칙적으로 입증된 BP-ANN은 네트워크가 오버핏이건 아니건 평가할 수 있다. 훈련되지 않은 데이터 세트가 떨어지는 성능일 경우, 훈련 가능성이 떨어짐을 의미하고, 이전 반복으로 돌아가는 것은 정확한 출력에 접근하는 시뮬레이션을 만들 것이다.
도 6에 도시된 훈련 error-epoch 그래프의 하나는 BP-ANN을 훈련하는 훈련 세트를 이용한다. Y 축의 에러는 제곱오차를 의미하고, 테스트 유효성 검사를 30번 반복한 후에 최적의 성능에 도달한다. 아키텍처 조정 및 훈련 프로세스는 유효한 성능이 성취될 때까지 교대로 하여야 한다. 영역 기반의 BP-ANN 학습 프로세스는 도 4에 도시된 단계를 이용하여 실행된다. 첫째, 위치는 테스트 이미지에서 임의로 선택한다. 도 5는 선택된 픽셀의 다음 3개의 패턴을 나타낸다. : 밝은 회색 픽셀은 하나로 존재하고, 어두운 회색 픽셀은 BP-ANN의 입력으로 선택된 것이며, 교차 픽셀은 BP-ANN의 출력이다. 둘째, 선택된 위치는 수학식 5와 수학식 6을 이용하여 S 영역과 E 영역으로 구분하고, 훈련 세트의 대응하는 입력 및 출력은 각 영역에서 수집한다. 셋째, 두 개의 BP-ANN는 원본 이미지의 교차 픽셀을 대략적으로 훈련한다. 이후 두 개의 BP-ANN에서 융합이 발생하면 본 발명에 있어서 영역 기반의 BP-ANN은 이미지의 보간을 수행한다. 표 3은 서로 다른 입력 모델을 이용한 영역 기반의 BP-ANN의 결과를 나타낸다.
Figure 112014060546752-pat00010
3.3 실험 3 : 영역 기반의 BP-ANN를 이용한 제네릭 디인터레이싱 모델(객관적 및 주관적 성능 비교)
상기 실험을 기반으로 소비 시간과 PSNR 간의 최적의 균형은 8-16-1 구조와 50000 훈련 데이터 세트의 영역 기반의 BP-NN 디인터레이싱 알고리즘에서 성취된다. 본 발명을 평가하기 위해 8개의 baboon, man, girl, goldhill, zelda, toys, airplane, and Barbara를 포함한 훈련 이미지를 이용하고, Lena, finger, peppers, boat를 포함한 테스트 이미지를 이용한다.
표 4는 본 발명에 따른 알고리즘의 PSNR과 시험된 종래 시험된 벤치 마크 간의 비교 결과를 보여준다.
Figure 112014060546752-pat00011
본 발명에 따른 방법과 LA, CASA, LABI, LCID, MCAD, MELA 알고리즘을 평가하였다. 시뮬레이션 결과로부터 PSNR 구간에서 0.5938(LA), 0.4837 (CASA), 0.6382 (LABI), 0.5812 (LCID), 0.1424 (MCAD), and 0.4837 (MELA) dB 이므로 본 발명에 따른 방법이 이미지 품질을 개선하는 것으로 결론을 내릴 수 있다. 표 5는 각 디인터레이싱 이미지의 CPU time을 보여준다.
Figure 112014060546752-pat00012
본 발명에 따른 디인터레이싱 방법은 LA, LCID, MELA 기법을 제외한 모든 테스트 벤치 마크와 비교하였을 때 최소 CPU 시간이 소요된다. 본 발명에 따른 방법은 CASA, LABI, MCAD와 비교하였을 때, 평균 CPU 시간이 각각 64.25, 90.19 및 93.88%로 줄어들었다.
도 7은 Boat 이미지의 주관적인 결과를 나타낸다. 이러한 비교 이미지로부터 본 발명에 따른 알고리즘이 모든 테스트 벤치마크들 가운데 가장 높은 주관적 품질을 획득할 수 있음을 알 수 있다. 본 발명에 따른 알고리즘은 매우 적은 시각적 아티펙트만을 가진 깨끗한 이미지이다. 게다가 도 7에 도시된 바와 같이, 본 발명에 따른 알고리즘은 디인터레이싱 이후에 에지 보존과 에지 예리함이 개선되었음 확인할 수 있다. 그러므로 본 발명에 따른 알고리즘은 PSNR의 기간에서 최고의 주관적인 성능을 가져다줌과 동시에 최적의 시각적 성능을 가져다준다.
4. 결론
이상에서 설명한 바와 같이, 영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템 및 그 방법에서 타겟 출력 픽셀은 더 효과적인 시뮬레이션을 위해 엣지 영역 E와 스무스 영역 S로 구분된다. 하나의 BP-ANN은 각 영역에 할당된다. 디인터레이싱을 위해 효과적인 구조와 모델을 구성하였으며, 서로 다른 변수를 적용한 세 개의 실험을 실시하였다. 좋은 성능은 비용 시간 및 메모리이며, 실험 결과로부터 시간 소비와 시각적 품질의 균형 관계를 확인할 수 있다. CPU 시간과 PSNR 간의 균형잡기를 고려하면 디인터레이싱을 위한 BP-ANN의 최적의 구조는 도 5의 (B) 에 도시된 입력모드의 8-16-1 였다. 본 발명에 따른 기법은 광범위하게 적용할 수 있는 잠재력이 있음을 확인하였으며, 종래 디인터레이싱 방법보다 더 나은 결과를 나타내는 것을 확인할 수 있다.
본 발명에 적용된 ANN 디인터레이싱 방법은 인접한 필드 간의 선형 또는 비선형 관계에 관계없이 좋은 성능을 보여준다. 인접 필드에서 누락 픽셀의 선형/비선형 특성을 구분하기 위해서 입력 패턴을 에지 영역과 스무스 영역으로 구분하였으며, NN의 최적 구조를 단순화하였다. 그리고 서로 다른 입력 픽셀 모드의 ANN를 훈련하였다. 이러한 본 발명이 현재까지 연구된 기술 중 가장 우수한 성능을 제공하는 것으로 확인할 수 있었다.
이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템 및 그 방법으로 구현할 수 있다.
10 : 모델링부
11 : 훈련 이미지 산출부
12 : 훈련 포인트 선택부
13 : 데이터세트 정규화부
14 : 훈련 실행부
20 : 디인터레이싱부
21 : BP-ANN 적용부
22 : 성능확인부
100 : 영상 디인터레이싱 시스템

Claims (8)

  1. 타겟 픽셀이 속하는 영역을 에지 데이터 세트(edge dataset)와 스무스 데이터 세트(smooth dataset)로 구분하여, 에지 BP-ANN(back propagation artificial neural network) 과 스무스 BP-ANN의 아키텍처와 파라미터로 훈련하는 모델링부 및
    상기 모델링부에서 훈련된 BP-ANN을 이용하여 이미지를 디인터레이싱하는 디인터레이싱부를 포함하며,
    상기 모델링부는,
    타겟 픽셀이 속하는 스무스 영역과 에지 영역을 구분하여, 훈련 이미지를 이진화하는 훈련 이미지 산출부;
    이진화된 이미지와 픽셀을 기반으로 훈련 포인트를 임의로 선택하는 훈련 포인트 선택부;
    BP-ANN에 제시된 훈련 데이터세트의 모든 픽셀은 0-255으로부터 0-1까지 선형적으로 정규화하는 데이터세트 정규화부 및
    스무스 BP-ANN와 에지 BP-ANN의 아키텍터와 파라미터를 이용하여 훈련 실행부를 포함하는 것을 특징으로 하는 영상 디인터레이싱 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 훈련 이미지 산출부는 수학식 5와 수학식 6을 적용하여, 이미지를 이진화하는 것을 특징으로 하는 영상 디인터레이싱 시스템.
    [수학식 5]
    Figure 112015077168155-pat00013

    [수학식 6]
    Figure 112015077168155-pat00014

    여기서, 보간된 픽셀은 x, 스무스 영역은 S, 엣지 영역은 E이며,
    Figure 112015077168155-pat00015
    는 벡터 X의 평균값이며, xd는 보간된 픽셀의 상부와 하부 주변의 6개의 존재하는 픽셀 중 하나임.
  4. 제1항에 있어서,
    상기 디인터레이싱부는,
    상기 모델링부에서 훈련된 BP-ANN을 적용하여 입력되는 이미지를 훈련하는 BP-ANN 적용부 및
    상기 이미지의 PSNR의 산출로 성능을 평가하는 성능확인부를 포함하는 것을 특징으로 하는 영상 디인터레이싱 시스템.
  5. (a) 모델링부를 이용하여, 타겟 픽셀이 속하는 영역을 에지 데이터 세트(edge dataset)와 스무스 데이터 세트(smooth dataset)로 구분하여, 에지 BP-ANN(back propagation artificial neural network) 과 스무스 BP-ANN의 아키텍처와 파라미터로 훈련하는 단계 및
    (b) 디인터레이싱부를 이용하여, 상기 (a) 단계에서 훈련된 BP-ANN을 이용하여 이미지를 디인터레이싱하는 단계를 포함하며,
    상기 (a) 단계는,
    (a-1) 훈련 이미지 산출부를 이용하여, 타겟 픽셀이 속하는 스무스 영역과 에지 영역을 구분하여, 훈련 이미지를 이진화하는 단계;
    (a-2) 훈련 포인트 선택부를 이용하여, 이진화된 이미지와 픽셀을 기반으로 훈련 포인트를 임의로 선택하는 단계;
    (a-3) 데이터세트 정규화부를 이용하여, BP-ANN에 제시된 훈련 데이터세트의 모든 픽셀은 0-255으로부터 0-1까지 선형적으로 정규화하는 단계 및
    (a-4) 훈련 실행부를 이용하여, 스무스 BP-ANN와 에지 BP-ANN의 아키텍터와 파라미터를 이용하여 훈련하는 단계를 포함하는 것을 특징으로 하는 영상 디인터레이싱 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 (b) 단계는,
    (b-1) BP-ANN 적용부를 이용하여 상기 모델링부에서 훈련된 BP-ANN을 적용하여 입력되는 이미지를 훈련하는 단계 및
    (b-2) 훈련된 BP-ANN에서 생성된 에지 포인트와 스무스 포인트를 결합하는 단계를 포함하는 것을 특징으로 하는 영상 디인터레이싱 방법.
  8. 제7항에 있어서,
    상기 (b-2) 단계 이후에,
    (b-3) 성능확인부를 이용하여, 상기 이미지의 PSNR의 산출로 성능을 평가하는 단계를 더 포함하는 것을 특징으로 하는 영상 디인터레이싱 방법.
KR1020140079652A 2014-06-27 2014-06-27 영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템 및 그 방법 KR101568590B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140079652A KR101568590B1 (ko) 2014-06-27 2014-06-27 영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140079652A KR101568590B1 (ko) 2014-06-27 2014-06-27 영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101568590B1 true KR101568590B1 (ko) 2015-11-11

Family

ID=54605898

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140079652A KR101568590B1 (ko) 2014-06-27 2014-06-27 영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101568590B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10452977B2 (en) 2016-07-28 2019-10-22 Samsung Electronics Co., Ltd. Neural network method and apparatus
US10769530B2 (en) 2017-08-04 2020-09-08 Sualab Co., Ltd. Method for training artificial neural network using histograms and distributions to deactivate at least one hidden node
CN111914984A (zh) * 2019-05-07 2020-11-10 财团法人成大研究发展基金会 用于辨识装置的人工神经网络正规化***
US10937141B2 (en) 2017-10-13 2021-03-02 Sualab Co., Ltd. Deep learning based image comparison device, method and computer program stored in computer readable medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050129306A1 (en) 2003-12-12 2005-06-16 Xianglin Wang Method and apparatus for image deinterlacing using neural networks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050129306A1 (en) 2003-12-12 2005-06-16 Xianglin Wang Method and apparatus for image deinterlacing using neural networks

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10452977B2 (en) 2016-07-28 2019-10-22 Samsung Electronics Co., Ltd. Neural network method and apparatus
US11222263B2 (en) 2016-07-28 2022-01-11 Samsung Electronics Co., Ltd. Neural network method and apparatus
US11625601B2 (en) 2016-07-28 2023-04-11 Samsung Electronics Co., Ltd. Neural network method and apparatus
US10769530B2 (en) 2017-08-04 2020-09-08 Sualab Co., Ltd. Method for training artificial neural network using histograms and distributions to deactivate at least one hidden node
US10937141B2 (en) 2017-10-13 2021-03-02 Sualab Co., Ltd. Deep learning based image comparison device, method and computer program stored in computer readable medium
CN111914984A (zh) * 2019-05-07 2020-11-10 财团法人成大研究发展基金会 用于辨识装置的人工神经网络正规化***
CN111914984B (zh) * 2019-05-07 2023-10-27 财团法人成大研究发展基金会 用于辨识装置的人工神经网络正规化***

Similar Documents

Publication Publication Date Title
Liew et al. Segmentation of color lip images by spatial fuzzy clustering
KR101568590B1 (ko) 영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템 및 그 방법
CN109741356B (zh) 一种亚像素边缘检测方法及***
Culibrk et al. Neural network approach to background modeling for video object segmentation
CN102368821B (zh) 一种噪声强度自适应的视频去噪方法和***
CN110580472B (zh) 一种基于全卷积网络和条件对抗网络的视频前景检测方法
WO2015062374A1 (zh) 一种噪声图像的时域降噪方法和相关装置
JP2006507775A (ja) 基準なしで圧縮ビデオシーケンスの品質を測定する方法及び装置
CN106210448B (zh) 一种视频图像抖动消除处理方法
CN110599468A (zh) 无参考视频质量评估方法及装置
CN110351453A (zh) 一种计算机视频数据处理方法
Li et al. Adaptive fuzzy enhancement algorithm of surface image based on local discrimination via grey entropy
Chen et al. Counter-propagation artificial neural network-based motion detection algorithm for static-camera surveillance scenarios
Wang et al. Wavelet-content-adaptive BP neural network-based deinterlacing algorithm
CN109308709A (zh) 基于图像分割的Vibe运动目标检测算法
Jiang et al. An effective adaptive median filter algorithm for removing salt & pepper noise in images
CN108270945A (zh) 一种运动补偿去噪方法及装置
Liu et al. No-reference image quality assessment based on localized gradient statistics: application to JPEG and JPEG2000
Farahanirad et al. A hybrid edge detection algorithm for salt and-pepper noise
Maddalena et al. A fusion-based approach to digital movie restoration
Malik et al. Modified bilateral filter for the restoration of noisy color images
JP7495368B2 (ja) 骨格推定装置及びプログラム
WO2009144330A1 (en) Method for detection of objectionable contents in still or animated digital images
CN110933402B (zh) 基于运动纹理特征的无参考立体视频质量评价方法
KR102137047B1 (ko) 역전파 신경망에 기반한 디모자이킹 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181029

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 5