KR100652100B1 - 화상 보간 방법 - Google Patents

화상 보간 방법 Download PDF

Info

Publication number
KR100652100B1
KR100652100B1 KR1020017004293A KR20017004293A KR100652100B1 KR 100652100 B1 KR100652100 B1 KR 100652100B1 KR 1020017004293 A KR1020017004293 A KR 1020017004293A KR 20017004293 A KR20017004293 A KR 20017004293A KR 100652100 B1 KR100652100 B1 KR 100652100B1
Authority
KR
South Korea
Prior art keywords
pixel
pixel data
interpolation
minimum
original
Prior art date
Application number
KR1020017004293A
Other languages
English (en)
Other versions
KR20010099671A (ko
Inventor
아끼히로 마에나까
마사히꼬 요시야마
스스무 다나세
하루히꼬 무라따
Original Assignee
산요덴키가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 산요덴키가부시키가이샤 filed Critical 산요덴키가부시키가이샤
Publication of KR20010099671A publication Critical patent/KR20010099671A/ko
Application granted granted Critical
Publication of KR100652100B1 publication Critical patent/KR100652100B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

제1 원화소와 제1 원화소와 인접하는 제2 원화소의 중간 위치에 화소를 보간하는 화상 보간 방법에 있어서, 보간 화소가 원화상 데이터의 에지 위치 부근에 존재하는가를 판정하기 위한 에지 성분을 산출하는 제1 단계; 산출된 에지 성분과 제1 및 제2 원화소의 화소 데이터과 기초하여, 보간 화소의 화소 데이터의 설정 가능 범위를 구하는 제2 단계; 및 보간 화소를 경사 방향에 끼우는 대향 화소의 조를 복수조 선택하고, 각 조마다 보간 화소의 화소 데이터의 설정 가능 범위 내에서, 보간 화소의 화소 데이터와 각 대향 화소와의 차의 절대치의 합으로 표시되는 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치를 구하는 제3 단계를 포함한다.
원화소, 보간 화소, 화소 데이터, 인터레이스 화상, 대향 화소

Description

화상 보간 방법{IMAGE INTERPOLATING METHOD}
본 발명은 화상을 보간하는 화상 보간 방법에 관한 것이다.
종래부터 인터레이스 화상을 프로그래시브 화상으로 변환하는 경우, 화상을 확대하는 경우, 화상의 해상도를 높이는 경우 등에 있어서 인접한 원화소의 화소 데이터(디스플레이 상의 휘도를 나타내는 데이터량에 상당함)를 이용하여 화상을 보간하는 여러 가지 방법이 제안되어 있다.
화상 보간 방법의 대표적인 것으로, 단순 보간 방법과 선형 보간 방법이 있다. 단순 보간 방법이란 보간하는 화소의 상하(또는 좌우)에 인접한 화소 중 어느 화소 데이터를 보간하는 화소에 화소 데이터로서 제공하는 방법이다. 선형 보간 방법이란 보간하는 화소의 상하(또는 좌우)에 인접한 화소의 화소 데이터를 평균한 값을 보간하는 화소에 화소 데이터로서 제공하는 방법이다.
그러나, 단순 보간 방법에서는 보간하는 화소에 인접한 화소의 화소 데이터가 그대로 주어지기 때문에 디스플레이 상 등에 재생된 화상에 경사진 방향의 에지 부분이 있을 때, 그 에지 부분에 덜걱거림이 생긴다는 문제가 있다. 또한, 선형 보간 방법에서는 보간하는 화소에 상하(또는 좌우)에 인접한 화소의 화소 데이터의 평균치가 주어지므로, 보간하는 화소의 근방이 에지 부분이고, 보간하는 화소의 상 하(또는 좌우)에 인접한 화소의 화소 데이터의 차가 큰 경우에는, 보간된 화소가 중간치가 되어 에지 부분에 흐려짐이 생긴다는 문제가 있다.
본 발명은 화상을 보간할 때에 에지 부분에 덜걱거림이나 흐려짐이 생기지 않도록 할 수 있과 동시에 매끄러운 화상을 재생할 수 있는 화상 보간 방법을 제공하는 것을 목적으로 한다.
<발명의 개시>
〔1〕 본 발명에 의한 제1 화상 보간 방법의 설명
본 발명에 의한 제1 화상 보간 방법은 제1 원화소와 제1 원화소와 인접하는 제2 원화소와의 중간 위치에 화소를 보간하는 화상 보간 방법에 있어서 보간 화소가 원화상 데이터의 에지 위치 부근에 존재하는가를 판정하기 위한 에지 성분을 산출하는 제1 단계; 산출된 에지 성분과 제1 및 제2 원화소의 화소 데이터에 기초하여 보간 화소의 화소 데이터 설정 가능 범위를 구하는 제2 단계; 보간 화소를 경사진 방향으로 끼우는 대향 화소의 조(組)를 복수조 선택하여, 각 조마다 보간 화소의 화소 데이터 설정 가능 범위 내에서 보간 화소의 화소 데이터와 각 대향 화소와의 차이의 절대치의 합으로 표시되는 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치를 구하는 제3 단계; 및 상기 각 조마다 구해진, 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치에 기초하여 보간 화소의 화소 데이터를 구하는 제4 단계를 포함하는 것을 특징으로 한다.
제1 원화소에 인접하고 제2 원화소와 반대측에 있는 원화소를 제3 원화소로 하고, 제2 원화소에 인접하고 제1 원화소와 반대측에 있는 원화소를 제4 원화소로 하면, 제1 단계에서는 제1∼제4 원화소의 화소 데이터에 기초하여 에지 성분이 산출된다.
보다 구체적으로는 제1 원화소의 화소 데이터를 d1, 제2 원화소의 화소 데이터를 d2, 제3의 원화소의 화소 데이터를 d3, 제4 원화소의 화소 데이터를 d4로 하면, 에지 성분 E는 다음 식 (1)에 기초하여 산출된다.
E=-d3+d1+d2-d4 … (1)
제1 단계에서 구해진 에지 성분을 E, 미리 정해진 임계치를 Th, 제1 원화소의 화소 데이터와 제2 원화소의 화소 데이터 중 큰 것을 dmax, 작은 것을 dmin, dmax -dmin를 d로 하면, 제2 단계에서 다음 식 (2)에 기초하여 보간 화소의 화소 데이터 설정 가능 범위 S가 구해진다.
if E> Th, then dmin+d/2≤S≤dmax,
if -Th≤E≤Th, then dmin+d/4≤S≤dmax-d/4,
if E<-Th, then dmin≤S≤dmin+d/2 … (2)
제2 단계에서 구해진 설정 가능 범위 S의 화소 데이터를 x로 하고, 1조의 대향 화소를 구성하는 2개의 원화소의 화소 데이터를 각각 da 및 db로 하면, 그 조에 대한 상관치 L은 다음 식 (3)에 의해서 산출된다.
L=│da-x│+│db-x│ … (3)
제4 단계는 예를 들면, 제3 단계에서 각 조마다 구해진 상관 최소치 중 최소 의 상관 최소치를 선택하는 단계; 선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계; 최소의 상관 최소치가 1개인 경우에는 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및 최소의 상관 최소치가 복수인 경우에는, 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계를 포함하고 있는 것이 이용된다.
제4 단계는 예를 들면, 제3 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계; 선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계; 최소의 상관 최소치가 1개인 경우에는 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및 최소의 상관 최소치가 복수인 경우에는, 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터 중에서 최대치와 최소치를 추출하고, 추출한 최대치와 최소치와의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계를 포함하는 것이 이용된다.
제4 단계는 예를 들면, 제3 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계; 선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계; 최소의 상관 최소치가 1개인 경우에는 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및 최소의 상관 최소치가 복수인 경우에는, 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터 중에서 보간 화소에 가장 근접한 대향 화소로부터 얻어진 화소 데이터를 선택하고, 선택한 화소 데이터가 1개인 경우에는 그 화소 데이터를 보간 화소의 화소 데이터로서 결정하고, 선택한 화소 데이터가 2개인 경우에는 이들의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계를 포함하고 있는 것이 이용된다.
〔2〕 본 발명에 의한 제2 화상 보간 방법의 설명
본 발명에 의한 제2 화상 보간 방법은 제1 원화소와 제1 원화소와 인접하는 제2 원화소와의 중간 위치에 화소를 보간하는 화상 보간 방법에 있어서 보간 화소가 원화상 데이터의 에지 위치 부근에 존재하는가를 판정하기 위한 에지 성분을 산출하는 제1 단계; 산출된 에지 성분을 소정의 의사 노이즈 성분에 기초하여 보정하는 제2 단계; 보정 후의 에지 성분과 제1 및 제2 원화소의 화소 데이터에 기초하여 보간 화소의 화소 데이터의 설정 가능 범위를 구하는 제3 단계; 보간 화소를 경사진 방향으로 끼우는 대향 화소의 조(組)를 복수조 선택하여, 각 조마다 보간 화소의 화소 데이터의 설정 가능 범위 내에서 보간 화소의 화소 데이터와 각 대향 화소와의 차이의 절대치의 합과 각 대향 화소의 주변 원화소의 화소 데이터에 기초하여 산출되는 보정치로 표시되는 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치를 구하는 제4 단계; 및 상기 각 조마다 구해진, 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치에 기초하여 보간 화소의 화소 데이터를 구하는 제5 단계를 포함하는 것을 특징으로 한다.
제1 원화소에 인접하고 제2 원화소와 반대측에 있는 원화소를 제3 원화소로 하여 제2 원화소에 인접하고 제1 원화소와 반대측에 있는 원화소를 제4 원화소로 하면, 제1 단계에서는 제1∼제4 원화소의 화소 데이터에 기초하여 에지 성분이 산출된다.
보다 구체적으로는 제1 원화소의 화소 데이터를 d1, 제2 원화소의 화소 데이터를 d2, 제3 원화소의 화소 데이터를 d3, 제4 원화소의 화소 데이터를 d4로 하면, 에지 성분 E는 다음 식 (4)에 기초하여 산출된다.
E=-d3+d1+d2-d4 … (4)
의사 노이즈 성분을 Q로 하여 제1 단계에서 산출된 에지 성분을 E로 하면, 제2 단계에서 구해지는 보정 후의 에지 성분 E1은 다음 식 (5)로 표시된다.
if -Q≤E≤Q, then E1=0,
if E>Q or E<-Q, then E1=E … (5)
제2 단계에서 구해진 보정 후의 에지 성분을 E1, 제1 원화소의 화소 데이터와 제2 원화소의 화소 데이터 중 큰 것을 dmax, 작은 것을 dmin, dmax와 dmin과의 평균을 dc, α(O≤α≤1) 및 γ을 미리 설정된 계수로 하면, 제3 단계에서는 다음 식 (6)에 기초하여 보간 화소의 화소 데이터의 설정 가능 범위 S가 구해진다.
if E1≥0, then dmin·α+dc(1-α)≤S≤dmax·α+dc(1-α)+ E1·γ
if E1<0, then dmin·α+dc(1-α)+ E1·γ≤S≤dmax·α+dc(1-α) … (6)
제1 원화소와 제2 원화소를 연결하는 방향을 상하 방향으로 정의하고, 상하 방향과 직각인 방향을 좌우 방향으로 정의하며, 1조의 대향 화소를 D12, D24로 하여 한 쪽 대향 화소 D12의 좌우 양 이웃에 있는 2개의 원화소를 D11, D13, 이 대향 화소 D12의 상하 양 이웃에 있는 2개의 원화소를 D02, D22로 하고, 다른 쪽 대향 화소 D24의 좌우 양 이웃에 있는 2개의 원화소를 D23, D25로 하며, 이 대향 화소 D24의 상하 양 이웃에 있는 2개의 원화소를 D14, D34로 하고, 각 원화소 D02, D11, D12, D13, D14, D22, D23, D24, D25 및 D34의 화소 데이터를 d02, d11, d12, d13, d14, d22, d23, d24, d25 및 d34로 하여, β1 및 β2를 소정의 계수로 하여, 제3 단계에서 구해진 설정 가능 범위 S의 화소 데이터를 x로 하면, 그 조에 대한 상관치 L의 산출식은 다음 식 (7)로 표시된다.
L=│d12-x│+│d24-x│+β1·H1-β2·V1
H1=MAX{(│d11-d12│+│d12-d13│), (│d23-d24│+│d24-d25│)}
V1=MIN{(│d02-d12│+│d12-d22│),(│d14-d24│+│d24-d34│)} … (7)
제5 단계는 예를 들면, 제4 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계; 선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계; 최소의 상관 최소치가 하나인 경우에는 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및 최소의 상관 최소치가 복수 있는 경우에는 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계를 포함하고 있는 것이 이용된다.
제5 단계는 예를 들면, 제4 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계; 선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계; 최소의 상관 최소치가 하나인 경우에는 그 최 소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및 최소의 상관 최소치가 복수 있는 경우에는 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터 중에서 최대치와 최소치를 추출하고, 추출한 최대치와 최소치와의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계를 포함하고 있는 것이 이용된다.
제5 단계는 예를 들면, 제4 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계; 선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계; 최소의 상관 최소치가 하나인 경우에는 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및 최소의 상관 최소치가 복수 있는 경우에는 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터 중에서 보간 화소에 가장 근접한 대향 화소로부터 얻어진 화소 데이터를 선택하고, 선택한 화소 데이터가 1개인 경우에는 그 화소 데이터를 보간 화소의 화소 데이터로서 결정하고, 선택한 화소 데이터가 2개인 경우에는 이들 평균치를 보간 화소의 화소 데이터로서 결정하는 단계를 포함하고 있는 이 이용된다.
〔3〕본 발명에 의한 제3 화상 보간 방법의 설명
본 발명에 의한 제3 화상 보간 방법은 좌우 방향에 인접하는 제1 원화소 및 제2 원화소, 제1 원화소의 하측에 인접하는 제3 화소 및 제2 원화소의 하측에 인접하는 제4 화소로 이루어지는 4개의 원화소의 중앙 위치에 화소를 보간하는 화상 보간 방법에 있어서 제1 원화소, 제4 원화소, 제1 원화소와 제4 원화소를 연결하는 선의 연장 상에 있어서 제1 원화소의 좌측으로 경사진 곳에 인접하는 제5 원화소 및 제1 원화소와 제4 원화소를 연결하는 선의 연장 상에 있어서 제4 원화소의 우측으로 경사진 아래에 인접하는 제6 원화소의 화소 데이터에 기초하여 보간 화소가 원화상 데이터의 에지 위치 부근에 존재하는가를 판정하기 위한 제1 에지 성분을 산출하는 제1 단계; 제2 원화소, 제3 원화소, 제2 원화소와 제3 원화소를 연결하는 선의 연장 상에 있어서 제2 원화소의 우측으로 경사진 곳에 인접하는 제7 원화소 및 제2 원화소와 제3 원화소를 연결하는 선의 연장 상에 있어서 제3 원화소의 좌측으로 경사진 아래에 인접하는 제8 원화소의 화소 데이터에 기초하여 보간 화소가 원화상 데이터의 에지 위치 부근에 존재하는가를 판정하기 위한 제2 에지 성분을 산출하는 제2 단계; 제1 에지 성분과 제1및 제4 원화소의 화소 데이터에 기초하여 보간 화소의 화소 데이터의 제1 설정 가능 범위를 구함과 함께 제2 에지 성분과 제2 및 제3 원화소의 화소 데이터에 기초하여 보간 화소의 화소 데이터의 제2 설정 가능 범위를 구하는 제3 단계; 제1 설정 가능 범위와 제2 설정 가능 범위에 상호 중첩하는 부분이 존재하는지의 여부를 판정하는 제4 단계; 제1 설정 가능 범위와 제2 설정 가능 범위에 상호 중첩하는 부분이 존재하지 않을 경우에는 제1∼제4 원화소의 화소 데이터의 평균치를 산출하고, 그 산출 결과를 보간 화소의 화소 데이터로 결정하는 제5 단계; 제1 설정 가능 범위와 제2 설정 가능 범위에 상호 중첩하는 부분이 있을 경우에는 그 중첩하는 부분을 설정 가능 범위로서 설정한 후, 보간 화소를 경사진 방향으로 끼우는 대향 화소의 조(組)를 복수조 선택하여, 각 조마다 보간 화소의 화소 데이터의 설정 가능 범위 내에서 보간 화소의 화소 데이터와 각 대향 화소와의 차이의 절대치의 합으로 표시되는 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치를 구하는 제6 단계; 및 상기 제6 단계에 있어서 각 조마다 구해진, 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치에 기초하여 보간 화소의 화소 데이터를 구하는 제7 단계를 포함하는 것을 특징으로 한다.
제1 원화소의 화소 데이터를 d1, 제4 원화소의 화소 데이터를 d4, 제5 원화소의 화소 데이터를 d5, 제6 원화소의 화소 데이터를 d6으로 하여, 제1 에지 성분을 EL로 하면, 제1 단계에서는 다음 식 (8)에 기초하여 제1 에지 성분 EL이 산출된다. 또한, 제2 원화소의 화소 데이터를 d2, 제3 원화소의 화소 데이터를 d3, 제7 원화소의 화소 데이터를 d7, 제8 원화소의 화소 데이터를 d8로 하여, 제2 에지 성분을 ER로 하면, 제2 단계에서는 다음 식 (9)에 기초하여 제2 에지 성분 ER이 산출된다.
EL=-d5+d1+d4-d6 … (8)
ER=-d7+d2+d3-d8 … (9)
제1 에지 성분을 EL, 제2 에지 성분을 ER, 미리 정해진 임계치를 Th, 제1 원화소의 화소 데이터와 제4 원화소의 화소 데이터 중 큰 것을 dLmax, 작은 것을 dLmin, dLmax-dLmin을 dL로 하고, 제2 원화소의 화소 데이터와 제3의 원화소의 화소 데이터 중 큰 것을 dRmax, 작은 것을 dRmin, dRmax-dRmin를 dR로 하면, 제3 단계에서는 다음 식 (10)에 기초하여 제1 설정 가능 범위 SL이 구해지고, 다음 식 (11)에 기초하여 제2 설정 가능 범위 SR가 구해진다.
if EL>Th, then dLmin+dL/2≤SL≤dLmax,
if -Th≤EL≤Th, then dLmin+dL/4≤SL≤dLmax-dL/4,
if EL<-Th, then dLmin≤SL≤dLmin+dL/2 … (10)
if ER>Th, then dRmin+dR/2≤SR≤dRmax,
if -Th≤ER≤Th, then dRmin+dR/4≤SR≤dRmax-dR/4,
if ER<-Th, then dRmin1≤SR≤dRmin+dR/2 … (11)
제6 단계에서 설정된 설정 가능 범위 S 내의 화소 데이터를 x로 하여 1조의 대향 화소를 구성하는 2개의 원화소의 화소 데이터를 각각 da 및 db로 하면, 그 조에 대한 상관치 L은 다음 식 (12)에 기초하여 산출된다.
L=│da-x│+│db-x│ … (12)
제7 단계는 예를 들면, 제6 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계; 선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계; 최소의 상관 최소치가 1개인 경우에는 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및 최소의 상관 최소치가 복수 있는 경우에는 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계를 포함하고 있는 것이 이용된다.
제7 단계는 예를 들면, 제6 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계; 선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계; 최소의 상관 최소치가 1개인 경우에는 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및 최소의 상관 최소치가 복수 있는 경우에는 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터 중에서 최대치와 최소치를 추출하고, 추출한 최대치와 최소치와의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계를 포함하고 있는 것이 이용된다.
제7 단계는 예를 들면, 제6 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계; 선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계; 최소의 상관 최소치가 1개인 경우에는 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및 최소의 상관 최소치가 복수 있는 경우에는 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터 중, 보간 화소에 가장 근접한 대향 화소로부터 얻어진 화소 데이터를 선택하고, 선택한 화소 데이터가 1개인 경우에는 그 화소 데이터를 보간 화소의 화소 데이터로서 결정하고, 선택한 화소 데이터가 2개인 경우에는 이들 평균치를 보간 화소의 화소 데이터로서 결정하는 단계를 포함하고 있는 것이 이용된다.
〔4〕본 발명에 의한 제4 화상 보간 방법의 설명
본 발명에 의한 제3 화상 보간 방법은 좌우 방향에 인접하는 제1 원화소 및 제2 원화소, 제1 원화소의 하측에 인접하는 제3 화소 및 제2 원화소의 하측에 인접하는 제4 화소로 이루어지는 4개의 원화소의 중앙 위치에 화소를 보간하는 화상 보간 방법에 있어서 제1 원화소, 제4 원화소, 제1 원화소와 제4 원화소를 연결하는 선의 연장 상에 있어서 제1 원화소의 좌측으로 경사진 곳에 인접하는 제5 원화소 및 제1 원화소와 제4 원화소를 연결하는 선의 연장 상에 있어서 제4 원화소의 우측으로 경사진 아래에 인접하는 제6 원화소의 화소 데이터에 기초하여 보간 화소가 원화상 데이터의 에지 위치 부근에 존재하는가를 판정하기 위한 제1 에지 성분을 산출하는 제1 단계; 제2 원화소, 제3 원화소, 제2 원화소와 제3 원화소를 연결하는 선의 연장 상에 있어서 제2 원화소의 우측으로 경사진 곳에 인접하는 제7 원화소 및 제2 원화소와 제3 원화소를 연결하는 선의 연장 상에 있어서 제3 원화소의 좌측으로 경사진 아래에 인접하는 제8 원화소의 화소 데이터에 기초하여 보간 화소가 원화상 데이터의 에지 위치 부근에 존재하는가를 판정하기 위한 제2 에지 성분을 산출하는 제2 단계; 산출된 제1 에지 성분 및 제2 에지 성분을 각각 소정의 의사 노이즈 성분에 기초하여 보정하는 제3 단계; 보정 후의 제1 에지 성분과 제1 및 제4 원화소의 화소 데이터에 기초하여 보간 화소의 화소 데이터의 제1 설정 가능 범위를 구함과 함께 보정 후의 제2 에지 성분과 제2 및 제3의 원화소의 화소 데이터과 기초하여 보간 화소의 화소 데이터의 제2 설정 가능 범위를 구하는 제4 단계; 제1 설정 가능 범위와 제2 설정 가능 범위에 상호 중첩하는 부분이 존재하는지의 여부를 판정하는 제5 단계; 제1 설정 가능 범위와 제2 설정 가능 범위에 상호 중첩하는 부분이 존재하지 않는 경우에는 제1∼ 제4 원화소의 화소 데이터의 평균치를 산출하고, 그 산출 결과를 보간 화소의 화소 데이터로 결정하는 제6 단계; 제1 설정 가능 범위와 제2 설정 가능 범위에 상호 중첩하는 부분이 존재하는 경우에는 그 중첩하는 부분을 설정 가능 범위로서 설정한 후, 보간 화소를 경사진 방향으로 끼우는 대향 화소의 조(組)를 복수조 선택하고, 각 조마다 보간 화소의 화소 데이터의 설정 가능 범위 내에서 보간 화소의 화소 데이터와 각 대향 화소와의 차이의 절대치의 합과 각 대향 화소의 주변 원화소의 화소 데이터에 기초하여 산출되는 보정치로 표시되는 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치를 구하는 제7 단계; 및 상기 각 조마다 구해진, 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치에 기초하여 보간 화소의 화소 데이터를 구하는 제8 단계를 포함하는 것을 특징으로 한다.
제1 원화소의 화소 데이터를 d1, 제4 원화소의 화소 데이터를 d4, 제5 원화소의 화소 데이터를 d5, 제6 원화소의 화소 데이터를 d6으로 하여 제1 에지 성분을 EL로 하면, 제1 단계에서는 다음 식 (13)에 기초하여 제1 에지 성분 EL이 산출된다. 또한, 제2 원화소의 화소 데이터를 d2, 제3 원화소의 화소 데이터를 d3, 제7 원화소의 화소 데이터를 d7, 제8 원화소의 화소 데이터를 d8로 하여 제2 에지 성분을 ER로 하면, 제2 단계에서는 다음 식 (14)에 기초하여 제2 에지 성분 ER이 산출된다.
EL=-d5+d1+d4-d6 … (13)
ER=-d7+d2+d3-d8 … (14)
의사 노이즈 성분을 Q로 하고, 제1 에지 성분을 EL, 제2 에지 성분을 ER로 하면, 제3 단계에서 구해진 보정 후의 제1 에지 성분 EL1은 다음 식 (15)로 표시되고, 보정 후의 제2 에지 성분 ER1은 다음 식 (16)으로 표시된다.
if -Q≤EL≤Q, then EL1=0,
if EL>Q or EL<-Q, then EL1=EL … (15)
if -Q≤ER≤Q, then ER1=0,
if ER>Q or ER<-Q, then ER1=ER … (16)
보정 후의 제1 에지 성분을 EL1, 보정 후의 제2 에지 성분을 ER1, 제1 원화소의 화소 데이터와 제4 원화소의 화소 데이터 중 큰 것을 dLmax, 작은 것을 dLmin, dLmax와 dLmin의 평균을 dLc로 하고, 제2 원화소의 화소 데이터와 제3의 원화소의 화소 데이터 중 큰 것을 dRmax, 작은 것을 dRmin, dRmax와 dRmin의 평균을 dRc, α 및 γ을 미리 설정된 계수로 하면, 제4 단계에서는 다음 식 (17)에 기초하여 제1 설정 가능 범위 SL이 구해짐과 동시에 다음 식 (18)에 기초하여 제2 설정 가능 범위 SR가 구해진다.
if EL1≥0, then dLmin·α+dLc(1-α)≤SL≤dLmax·α+dLc(1-α)+ EL1·γ
if EL1<0, then dLmin·α+dLc(1-α)+EL1·γ≤SL≤dLmax·α+dLc(1-α) … (17)
if ER1≥0, then dRmin·α+dRc(1-α)≤SR≤dRmax·α+dRc(1-α)+ ER1·γ
if ER1<0, then dRmin·α+dRc(1-α)+ ER1·γ≤SR≤dRmax·α+dRc(1-α) … (18)
제7 단계에서 설정된 설정 가능 범위 S 내의 화소 데이터를 x로 하여 1조의 대향 화소를 구성하는 2개의 원화소의 화소 데이터를 각각 da 및 db로 하면, 그 조에 대한 상관치 L은 다음 식 (19)에 기초하여 산출된다.
L=│da-x│+│db-x│ … (19)
제8 단계는 예를 들면, 제7 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계; 선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계; 최소의 상관 최소치가 1개인 경우에는 그 최소의 상관 최소치를 얻는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및 최소의 상관 최소치가 복수 있는 경우에는 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계를 포함하고 있는 것이 이용된다.
제8 단계는 예를 들면, 제7 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계; 선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계; 최소의 상관 최소치가 1개인 경우에는 그 최소의 상관 최소치를 얻는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및 최소의 상관 최소치가 복수 있는 경우에는 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터 중에서 최대치와 최소치를 추출하고, 추출한 최대치와 최소치와의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계를 포함하고 있는 것이 이용된다.
제8 단계는 예를 들면, 제7 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계; 선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계; 최소의 상관 최소치가 1개인 경우에는 그 최소의 상관 최소치를 얻는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및 최소의 상관 최소치가 복수 있는 경우에는 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터 중, 보간 화소에 가장 근접한 대향 화소로부터 얻어진 화소 데이터를 선택하고, 선택한 화소 데이터가 하나인 경우에는 그 화소 데이터를 보간 화소의 화소 데이터로서 결정하고, 선택한 화소 데이터가 2개인 경우에는 이들 평균치를 보간 화소의 화소 데이터로서 결정하는 단계를 포함하고 있는 것이 이용된다.
도 1은 원화소와 보간 화소와의 관계를 나타내는 모식도.
도 2는 제1 화상 보간 방법의 순서를 도시하는 플로우차트.
도 3은 에지 성분 E와 보간 화소 X의 화소 데이터 x의 설정 가능 범위 S와의 관계를 나타내는 그래프.
도 4는 상관치 L과 화소 데이터 x의 관계를 나타내는 그래프.
도 5는 상관치 L과 화소 데이터 x가 관계를 나타내는 그래프 및 화소 데이터의 설정 가능 범위 S를 도시하는 모식도.
도 6은 원화소와 보간 화소와의 관계를 나타내는 모식도.
도 7은 제1 화상 보간 장치의 구성을 나타내는 블록도.
도 8은 제2 화상 보간 장치의 구성을 나타내는 블록도.
도 9는 제1 화상 보간 방법의 이점을 설명하기 위한 모식도.
도 10은 제2 화상 보간 방법의 순서를 도시하는 플로우차트.
도 11은 원화소와 보간 화소와의 관계를 나타내는 모식도.
도 12는 에지 성분 E와 보정 후의 에지 성분 E1과의 관계를 나타내는 그래프.
도 13은 보간 화소 X의 화소 데이터 x의 설정 가능 범위 S를 도시하는 모식도.
도 14는 상관치 L과 화소 데이터 x의 관계를 나타내는 그래프.
도 15는 원화소와 보간 화소와의 관계를 나타내는 모식도.
도 16은 제2 화상 보간 방법의 이점을 설명하기 위한 모식도.
도 17은 제2 화상 보간 방법의 이점을 설명하기 위한 모식도.
도 18은 원화소와 보간 화소와의 관계를 나타내는 모식도.
도 19는 제3 화상 보간 방법의 순서를 나타내는 플로우차트.
도 20은 제1 설정 가능 범위 SL과 제2 설정 가능 범위 SR과의 관계를 나타내는 모식도.
도 21은 제4 화상 보간 방법의 순서를 나타내는 플로우차트.
<실시예>
이하, 도면을 참조하여 본 발명의 실시예에 대해서 설명한다.
〔1〕 제1 화상 보간 방법 설명
도1∼도 6을 참조하여 제1 화상 보간 방법의 개요에 대해서 설명한다. 2차원의 화상은 수평 방향과 수직 방향의 2차원적인 넓이를 갖고 있다. 그러나, 이하에 설명하는 제1 화상 보간 방법의 개요 설명에 있어서는 설명을 간략화 하기 위해서 수직 방향의 1차원 보간 방법에 대해서 설명한다.
도 1은 원화소와 보간되는 보간 화소와의 관계를 나타내고 있다.
도 1에 있어서 라인(n-1), n, (n+1), (n+2)이 원화상의 수평 라인이고, 라인(i-1), i, (i+1)가 보간되는 수평 라인이다.
여기서는 라인 i 상의 화소(이하, 보간 화소라 함) X를 보간하는 경우에 대해서 설명한다. 보간 화소 X의 바로 위의 원화소를 D12, 보간 화소 X의 바로 아래의 원화소를 D22로 한다. 원화소 D12의 양 이웃의 원화소를 D11, D13으로 한다. 원화소 D22의 양 이웃의 원화소를 D21, D23으로 한다. 또한, 원화소 D12의 바로 위의 원화소를 D02로 하여, 원화소 D22의 바로 아래의 원화소를 D32로 한다.
이하의 설명에 있어서는 원화소 D11, D12, D13, D21, D22, D23, D02, D32 및 보간 화소 X의 화소 데이터를 각각 d11, d12, d13, d21, d22, d23, d02, d32 및 보간 화소 x로 나타낸다. 또한, 이 예에서는 화소 데이터가 8 비트이고, 흑 데이터는 "0"이고, 백 데이터는 "255"로 한다.
도 2는 제1 화상 보간 방법에 의해서 보간 화소 X의 화소 데이터 x를 구하기 위한 순서를 나타내고 있다.
우선, 보간 화소 X가 원화상의 에지 부근에 있는지의 여부를 판정하기 위해서 에지 성분 E를 산출한다(단계 1). 즉, 보간 화소 X의 바로 위에 있는 2개의 원 화소 D02, D12와, 보간 화소 X의 바로 아래에 있는 원화소 D22, D32의 화소 데이터를 이용하여 에지 성분 E를 다음 식 (20)으로부터 구한다.
E=-d02+d12+d22-d32 … (20)
보간 화소 X가 원화상의 흑 에지 부근에 존재하고 있는 경우에는 에지 성분 E는 음의 비교적 큰 값을 취하고, 보간 화소 X가 원화상의 백 에지 부근에 존재하고 있는 경우에는 에지 성분 E는 양의 비교적 큰 값을 취한다.
다음으로 보간 화소 X의 화소 데이터 x의 설정 가능 범위를 결정한다(단계 2). 즉, 단계 1에서 구해진 에지 성분 E에 기초하여 보간 화소 X의 화소 데이터 x의 설정 가능 범위를 도 3에 도시한 바와 같이 결정한다. 도 3에 있어서 dmax는 원화소 D12, D22의 화소 데이터 d12, d22 중 값이 큰 것을 나타내고, dmin은 원화소 D12, D22의 화소 데이터 d12, d22 중 값이 작은 것을 나타내고 있다. 아직 d는 원화소 D12, D22의 화소 데이터 d12, d22의 차(dmax-dmin)를 나타내고 있다.
Th를 미리 설정된 임계치로 하면, 에지 성분 E와 보간 화소 X의 화소 데이터 x의 설정 가능 범위와의 관계는 다음과 같이 된다.
· E>Th 일 때의 보간 화소 X의 화소 데이터 x의 설정 가능 범위 S
dmin+(d/2)≤S≤dmax
이 경우에는 보간 화소 X가 원화상의 백 에지 부근에 존재하고 있다고 상정하여, 설정 가능 범위 S를 dmin∼dmax의 범위 중, dmax 측에 가까운 범위에 설정하고 있다.
· -Th≤E≤Th 일 때의 보간 화소 X의 화소 데이터 x의 설정 가능 범위 S
dmin+(d/4)≤S≤dmax-(d/4)
· E<-Th 일 때의 보간 화소 X의 화소 데이터 x의 설정 가능 범위 S
dmin≤S≤dmin+(d/2)
이 경우에는 보간 화소 X가 원화상의 흑 에지 부근에 존재하고 있다고 상정하여, 설정 가능 범위 S를 dmin∼dmax의 범위 중, dmin 측에 가까운 범위에 설정하고 있다.
다음으로 보간 화소 X를 경사진 방향으로 끼우는 대향 화소의 화소 데이터에 기초하여 보간 화소 X의 화소 데이터의 후보를 보간 화소 X의 화소 데이터 x의 설정 가능 범위 내에서 구한다(단계 3). 즉, 이하에 설명하도록 2개의 경사 방향 상관치 L, R의 최소치 Lmin, Rmin과 그 최소치를 제공하는 화소 데이터 x1, x r을 보간 화소 X의 화소 데이터 x의 설정 가능 범위 S 내에서 구한다.
보간 화소 X의 화소 데이터의 후보를 구하는 방법에는 2개의 방법이 있기 때문에 이들 방법에 대해서 설명한다.
(1) 제1 방법 설명
보간 화소 X를 경사진 방향(좌측위 경사 방향)으로 끼우는 2개의 대향 화소 D11, D23과 보간 화소 X와의 화소 데이터의 상관치 L을 나타내는 다음 식 (21)에, 설정 가능 범위 S 내의 모든 화소 데이터 x를 각각 대입하고, 최소가 되는 상관치 Lmin과, 최소 상관치 Lmin을 제공하는 화소 데이터 xl을 구한다.
L=│d11-x│+│d23-x│ … (21)
마찬가지로, 보간 화소 X를 경사진 방향(우측상 경사 방향)으로 끼우는 2개의 대향 화소 D13, D21과 보간 화소 X와의 화소 데이터의 상관치 R을 나타내는 다음 식 (22)에, 설정 가능 범위 S 내의 모든 화소 데이터 x를 각각 대입하고 최소가 되는 상관치 Rmin과, 최소 상관치 Rmin을 제공하는 화소 데이터 xr을 구한다.
R=│d13-x│+│d21-x│ … (22)
이와 같이 하여, 구해진 화소 데이터 xl, xr이 보간 화소 X의 화소 데이터 후보가 된다. 다만, 이러한 방법에서는 최소 상관치 Lmin을 제공하는 화소 데이터 xl로서 복수의 화소 데이터가 해당하는 경우가 있다. 마찬가지로, 최소 상관치 Rmin을 제공하는 화소 데이터 xr로서 복수의 화소 데이터가 해당하는 경우가 있다.
최소 상관치 Lmin을 제공하는 화소 데이터 xl로서, 복수의 화소 데이터가 해당하는 경우에는 이들 평균치를 최소 상관치 Lmin을 제공하는 화소 데이터 xl로서 결정하도록 하면 좋다. 마찬가지로, 최소 상관치 Rmin을 제공하는 화소 데이터 xr로서 복수의 화소 데이터가 해당하는 경우에는 이들 평균치를 최소 상관치 Rmin을 제공하는 화소 데이터 xr로서 결정하도록 하면 좋다.
(2) 제2 방법 설명
도 4는 상관치 L과 화소 데이터 x와의 관계를 나타내고 있다. 도 4에 있어서의 xmin은 대향 화소 D11, D23의 화소 데이터 d11, d23 중 작은 화소 데이터를 나타내고, xmax는 화소 데이터 d11, d23 중 큰 화소 데이터를 나타내고 있다. 또한, xd는 화소 데이터 d11, d23의 차(xmax-xmin)를 나타내고 있다.
도 4에 도시하는 상관치 L과 화소 데이터 x와의 관계로부터, 상기 식 (21)은 다음 식 (23)과 같이 변형할 수 있다.
L=xd+2(x-xmax) (x>xmax)
L=xd (xmin≤x≤xmax)
L=xd+2(xmin-x) (x<xmin) … (23)
또, 상관치 L에 대해서의 변형 식만 도시하였지만, 상기 식 (22)의 상관치 R에 대해서도 마찬가지로 변형할 수 있다.
이하, 최소 상관치 Lmin, Rmin 및 화소 데이터 xl, xr의 구하는 방법(제2 방법)에 대해서 설명한다. 여기서는 최소 상관치 Lmin 및 화소 데이터 xl이 구하는 방법에 대해서 설명한다.
도 5의 (a)∼(f)는 상관치 L과 화소 데이터 x와의 관계를 나타내는 그래프와 화소 데이터 x의 설정 가능 범위를 나타내고 있다.
도 5에 있어서 xa는 설정 가능 범위내의 화소 데이터 x의 최소치를 나타내고, xb는 설정 가능 범위 내의 화소 데이터 x의 최대치를 나타내고 있다.
· xb≤xmin 일 때
도 5의 (a)와 같이 화소 데이터 x의 설정 가능 범위가 xmin 이하일 때에는 화소 데이터 x b에 있어서 상관치 L이 최소가 되기 때문에 최소 상관치 Lmin은 xd+2(xmin-xb)가 된다. 또한, 이 때의 화소 데이터 xl은 xb이다.
· xmax≤xa 일 때
도 5의 (b)와 같이 화소 데이터 x의 설정 가능 범위가 xmax 이상일 때에는 화소 데이터 xa에 있어서 상관치 L이 최소가 되기 때문에 최소 상관치 Lmin은 xd+2(xa-xmax)가 된다. 또한, 이 때의 화소 데이터 xl는 xa이다.
· xmin≤xa 그리고 xb≤xmax 일 때
도 5의 (c)와 같이 화소 데이터 x의 설정 가능 범위가 화소 데이터 xmin∼xmax의 사이에 있을 때 설정 가능 범위의 임의의 화소 데이터 x에서 상관치 L이 최소치 xd가 되기 때문에 최소 상관치 Lmin은 xd가 된다. 이 경우에는 화소 데이터 xl은 설정 가능 범위의 중앙 값(xa+xb)/2로 결정된다.
· xa<xmin 그리고 xmax<xb 일 때
도 5의 (d)와 같이 화소 데이터 x의 설정 가능 범위가 화소 데이터 xmin∼xmax의 범위보다도 넓은 범위가 될 때는 화소 데이터 xmin∼xmax의 임의의 화소 데이터 x에서 상관치 L이 최소치 xd가 된다. 따라서 최소 상관치 Lmin은 xd가 된다. 이 경우에는 화소 데이터 xl은 화소 데이터 xmin, xmax의 평균치(xmin+xmax)/2로 결정된다.
· xa<xmin 그리고 xmin<xb≤xmax 일 때
도 5의 (e)와 같이 화소 데이터 x의 설정 가능 범위가 화소 데이터 xmin∼xmax의 범위로부터 좌측으로 어긋나 있을 때는 화소 데이터 xmin∼xb의 임의의 화소 데이터 x에서 상관치 L이 최소치 xd가 된다. 따라서 최소 상관치 Lmin은 xd가 된다. 이 경우에는 화소 데이터 xl은 화소 데이터 xmin, xb의 평균치(xmin+xb)/2로 결정된다.
· xmin≤xa<xmax 그리고 xmax≤xb 일 때
도 5의 (f)와 같이 화소 데이터 x의 설정 가능 범위가 화소 데이터 xmin∼xmax의 범위보다도 우측으로 어긋나 있을 때는 화소 데이터 xa∼xmax의 임의의 화소 데이터 x에서 상관치 L이 최소치 xd가 된다. 따라서 최소 상관치 Lmin은 xd가 된다. 이 경우에는 화소 데이터 xl은 화소 데이터 xa, xmax의 평균치(xa+xmax)/2로 결정된다.
이와 같이 하여, 최소 상관치 Lmin 및 화소 데이터 xl이 구해진다. 또한, 최소 상관치 Rmin 및 화소 데이터 xr에 대해서도 최소 상관치 Lmin 및 화소 데이터 xl과 같이 하여 구해진다.
단계 3에 의해서 최소 상관치 Lmin, Rmin 및 그것을 제공하는 화소 데이터 xl, xr이 구해지면, 양 최소 상관치 Lmin, Rmin 중 작은 상관치를 제공하는 화소 데이터를 추출한다(단계 4).
양 최소 상관치 Lmin, Rmin이 다른 경우에는 1개의 화소 데이터가 추출되고, 양 최소 상관치 Lmin, Rmin이 동일 경우에는 2개의 화소 데이터가 추출된다.
단계 4에 있어서 1개의 화소 데이터 xl 또는 xr가 추출된 경우에는(단계 5에서 YES) 추출된 화소 데이터가 보간 화소 X의 화소 데이터 x로 결정된다(단계 6). 단계 4에 있어서 2개의(복수의) 화소 데이터 xl, xr가 선택된 경우에는(단계 5에서 NO) 화소 데이터 xl, xr의 평균치가 보간 화소 X의 화소 데이터 x로 결정된다(단계 7).
자세히는 다음과 같다.
· if Lmin<Rmin, then x=xl
· if Lmin>Rmin, then x=xr
· if Lmin=Rmin, then x=(xl+xr)/2
또, 상기 단계 3에서는, 보간 화소 X를 경사진 방향으로 끼우는 대향 화소의 조(組)로서 2조가 선택되어 있지만, 2조보다 많은 조를 선택하더라도 좋다. 예를 들면, 도 6에 도시한 바와 같이 D11과 D27, D12와 D26, D13과 D25, D15와 D23, D16과 D22, D17과 D21 같이 6조의 대향 화소를 선택하더라도 좋다. 이 경우에는 각각의 대향 화소의 조(組)마다 상관치의 최소치를 제공하는 화소 데이터가 단계 3에서 구해진다. 즉, 6개의 화소 데이터 후보가 구해진다.
그리고, 6조의 대향 화소의 조(組)에 대한 상관 최소치 중, 최소인 것이 3 이상있는 경우에는 단계 4에서는 이들 6개의 화소 데이터 후보 중, 3 이상의 화소 데이터가 추출된다.
단계 4에서 3 이상의 화소 데이터가 선택된 경우에 보간 화소 X의 화소 데이터 x를 결정하는 방법으로서는, 다음의 세 가지 방법이 있다.
첫째, 단계 4에서 선택된 3 이상의 화소 데이터의 평균치를 산출하고, 그 산출 결과를 보간 화소 X의 화소 데이터 x로서 결정하는 방법이다. 둘째, 단계 4에서 선택된 3 이상의 화소 데이터 중 최대치와 최소치를 추출하여 이들 평균치를 산출하고, 그 산출 결과를 보간 화소 X의 화소 데이터 x로서 결정하는 방법이다.
셋째, 단계 4에서 선택된 3 이상의 화소 데이터 중, 보간 화소 X에 가장 근접한 대향 화소로부터 얻어지는 화소 데이터를 선택하고, 선택한 화소 데이터를 보간 화소 X의 화소 데이터 x로서 결정하는 방법이다. 다만, 보간 화소 X에 가장 근접한 대향 화소로부터 얻어지는 화소 데이터가 2개 존재할 경우에는 이들 평균을 값을 산출하고, 그 산출 결과를 보간 화소 X의 화소 데이터 x로서 결정한다.
〔1-1〕제1 화상 보간 방법을 이용한 화상 보간 장치의 설명
〔1-1-1〕제1 화상 보간 장치 설명
상기〔1〕에서는 경사 방향의 대향 화소의 조를 2개로 했을 때의 화상 보간 방법에 대해서 설명하였지만, 여기서는 도 6을 이용하여 설명한 바와 같이 경사 방향의 대향 화소의 조수를 6인 경우에 대해서 설명한다. 또, 설명을 간략화 하기 위해서 수직 방향의 1차원 보간을 행하는 화상 보간 장치에 대해서 설명한다.
도 7은 제1 화상 보간 장치의 구성을 나타내고 있다.
메모리부(1)는 입력 단자 IN을 통해 입력되는 원화소의 화소 데이터를 기억한다. 보간 상관치 연산부(2)는 메모리부(1)에 기억되어 있는 원화소의 화소 데이터를 이용하여, 6조의 대향 화소로부터 얻어지는 6개의 최소 상관치 L1min∼L3min, R1min∼R3min과, 이 6개의 최소 상관치를 각각 제공하는 보간 화소 X의 화소 데이터 x1l∼x3l, x1r∼x3r을 산출한다.
최소치 추출부(3)는 보간 상관치 연산부(2)에 의해서 산출된 6개의 최소 상관치 L1min∼L3min, R1min∼R3min 중 최소가 되는 최소 상관치를 식별한다. 화소 데이터 선택부(4)는 최소치 추출부(3)의 식별 결과에 기초하여 보간 상관치 연산부(2)로부터 주어지는 6개의 화소 데이터 x1l∼x3l, x1r∼x3r에서 보간 화소 X의 화소 데이터의 후보가 되는 화소 데이터를 선택한다.
최대치 최소치 추출부(5)는 화소 데이터 선택부(4)에서 선택된 화소 데이터 중 최대, 최소가 되는 화소 데이터를 추출한다. 평균치 연산부(6)는 최대치 최소치 추출부(5)로 추출된 2개의 화소 데이터의 평균치를 산출하고, 이 산출 결과를 보간 화소 X의 화소 데이터로서 출력단자 OUT으로 출력한다.
화상 보간 장치의 동작에 대해서 설명한다.
도 6은 원화소와 보간되는 보간 화소와의 관계를 나타내고 있다.
도 6과 같이 보간 화소 X에 대하여 원화소 D04, D11∼D17, D21∼D27, D34가 배치되어 있는 것으로 한다. 보간 화소 X 및 원화소 D04, D11∼D17, D21∼D27, D34의 화소 데이터를 각각 x, d04, d11∼d17, d21∼d27, d34로 나타낸다.
우선, 보간 화소 X의 바로 위 및 바로 아래에 있는 4개의 원화소 D04, D14, D24, D34의 화소 데이터가 메모리부(1)로부터 보간 상관치 연산부(2)로 입력되고, 에지 성분 E가 다음 식 (24)에서 구해진다.
E=-d04+d14+d24-d34 … (24)
이와 같이 하여 구해진 에지 성분 E에 의해서 도 2의 단계 2와 동일 방법으로 보간 화소 X의 화소 데이터 x의 설정 가능 범위 S가 구해진다. 그리고, 대향 화소 D11, D27과 보간 화소 X와의 화소 데이터의 상관치 L1, 대향 화소 D12, D26과 보간 화소 X와의 화소 데이터의 상관치 L2, 대향 화소 D13, D25와 보간 화소 X와의 화소 데이터의 상관치 L3, 대향 화소 D17, D21과 보간 화소 X와의 화소 데이터의 상관치 R1, 대향 화소 D16, D22와 보간 화소 X와의 화소 데이터의 상관치 R2, 및 대향 화소 D15, D23과 보간 화소 X와의 화소 데이터의 상관치 R3을 각각 나타내는 이하의 식 (25)∼(30)에 기초하여 도 2의 단계 3과 동일 방법으로 상관치 L1∼L3, R1∼R3의 최소치 L1min∼L3min, R1min∼R3min과, 이들 최소치를 제공하는 화소 데이터 x1l∼x3l, x1r∼x3r이 구해진다.
L1=│d11-x│+│d27-x│ … (25)
L2=│d12-x│+│d26-x│ … (26)
L3=│d13-x│+│d25-x│ … (27)
R1=│d17-x│+│d21-x│ … (28)
R2=│d16-x│+│d22-x│ … (29)
R3=│d15-x│+│d23-x│ … (30)
이와 같이 상관치 L1∼L3, R1∼R3의 최소치 L1min∼L3min, R1min∼R3min과 이들 최소치를 제공하는 화소 데이터 x1l∼x3l, x1r∼x3r이 보간 상관치 연산부(2)에서 구해지면, 최소치 L1min∼L3min, R1min∼R3min이 최소치 추출부(3)에 화소 데이터 x1l∼x3l, x1r∼x3r이 화소 데이터 선택부(4)에 주어진다.
최소치 추출부(3)는 최소 상관치 L1min∼L3min, R1min∼R3min이 입력됨과 동시에, 이 입력된 최소 상관치 L1min∼L3min, R1min∼R3min에 따른 제어 신호인 Flag1∼Flag6을 출력한다.
이 최소치 추출부(3)는 상관치 L1∼L3, R1∼R3의 최소치 L1min∼L3min, R1min∼R3min에 각각 대응한 제어 신호 Flag1∼6을 출력한다. 상관치 L1∼L3, R1∼R3의 최소치 L1min∼L3min, R1min∼R3min 중 가장 작은 값에 따른 제어 신호를 하이(High)로 하고, 그 이외의 값에 따른 제어 신호를 로우(Low)로 한다.
예를 들면, 최소치 L1min∼L3min, R1min∼R3min 중, L1min 과 R2min이 최소인 경우에는 제어 신호 Flag1과 Flag5를 하이로 하고, 그 밖의 제어 신호 Flag2∼Flag4, Flag6을 로우로 한다. 또한, 하이가 되는 제어 신호는 이 예와 같이 2개라고 한정되지 않고, 1∼6개 중 어느 하나이다.
최소치 추출부(3)로부터 출력되는 제어 신호 Flag1∼Flag6은 화소 데이터 선택부(4)에 주어진다. 화소 데이터 선택부(4)에서는 최소치 추출부(3)로부터 주어진 제어 신호 중 하이가 되는 제어 신호에 대응한 화소 데이터를 최대치 최소치 추출부(5)로 출력한다.
최소치 추출부(3)로부터 주어지는 제어 신호가 상기 예와 같이 제어 신호 Flag1, Flag5가 하이로, 그 밖의 제어 신호 Flag2∼Flag4, Flag6이 로우일 때 화소 데이터 x1l, x2r이 선택되어 최대치 최소치 추출부(5)에 주어진다.
최대치 최소치 추출부(5)에서는 화소 데이터 선택부(4)에서 주어진 화소 데이터 중, 최대의 화소 데이터와 최소의 화소 데이터가 선택되어 평균치 연산부(6)에 주어진다. 평균치 연산부(6)에서는 최대치 최소치 추출부(5)에서 주어진 2개의 화소 데이터의 평균치가 산출되고, 그 산출 결과가 보간 화소 X의 화소 데이터 x로서 출력단자 OUT으로 출력된다.
최대치 최소치 추출부(5)에 1개의 화소 데이터밖에 제공되지 않는 경우에는 최대치 최소치 추출부(5)는 그 1개의 화소 데이터를 평균치 연산부(6)에 제공한다. 이 경우에는 평균치 연산부(6)는 주어진 1개의 화소 데이터를 보간 화소 X의 화소 데이터 x로서 그대로 출력한다.
또, 원화소의 화소 데이터는 메모리부(1) 및 보간 상관치 연산부(2)를 통해 출력단자 OUT으로 출력된다. 즉, n 라인상의 원화소의 화소 데이터가 출력된 후, i 라인상의 보간 화소의 화소 데이터가 출력된다.
보간 상관치 연산부(2)로 에지 성분을 비교하는 임계치 Th를 외부로부터 입 력할 수 있도록 하여, 임계치 Th를 변경 가능하게 하면, 재생되는 화상에 최적 보간 처리를 실시할 수 있다.
상기 제1 화상 보간 장치는 라인 수를 늘리는 것이지만, 라인 상의 화소수를 늘리기 위해서는 수평 방향에서 동일 보간 처리를 행하도록 하면 좋다.
또, 도 7에 있어서 최대치 최소치 추출부(5) 및 평균치 연산부(6)를 생략함과 함께, 화소 데이터 선택부(4)의 후단에 평균치 연산부를 설치하여 화소 데이터 선택부(4)에 의해서 복수의 화소 데이터가 선택된 경우에 이들 화소 데이터의 평균치를 산출하고, 그 산출 결과를 보간 화소 X의 화소 데이터 x로서 출력단자 OUT으로 출력시키는 바와 같이 해도 좋다.
〔1-1-2〕제2 화상 보간 장치 설명
도 8은 제2 화상 보간 장치의 구성을 나타내고 있다.
도 8에 있어서 도 7과 같은 것에는 동일한 부호를 병기하여 그 설명을 생략한다. 보간 화소 X와 원화소와의 관계는 도 6과 같은 관계에 있는 것으로 한다.
이 화상 보간 장치는 입력 단자 IN과, 출력단자 OUT와, 메모리부(1)와, 보간 상관치 연산부(2)와, 최소치 추출부(3)와, 화소 데이터 선택부(4)와, 화소 데이터 선택부(4)로부터 주어지는 화소 데이터보다 보간 화소 X에 가장 근접한 대향 화소로부터 구해지는 화소 데이터를 추출하는 보간 화소 데이터 추출부(7)를 포함하고 있다.
메모리부(1), 보간 상관치 연산부(2), 최소치 추출부(3) 및 화소 데이터 선택부(4)의 동작은 도 7의 메모리부(1), 보간 상관치 연산부(2), 최소치 추출부(3) 및 화소 데이터 선택부(4)의 동작과 동일하다.
보간 상관치 연산부(2)로 최소 상관치 L1min∼L3min, R1min∼R3min 및 화소 데이터 x1l∼x3l, x1r∼x3r이 구해지고, 최소 상관치 L1min∼L3min, R1min∼R3 min이 최소치 추출부(3)로 송출됨과 동시에, 화소 데이터 x1l∼x3l, x1r∼x3r이 화소 데이터 선택부(4)로 송출된다.
최소치 추출부(3)로부터는 최소 상관치 L1min∼L3min, R1min∼R3min 각각에 대응한 제어 신호 Flag1∼Flag6이 출력된다. 화소 데이터 선택부(4)에서는 하이로 되어 있는 제어 신호에 대응하는 화소 데이터가 화소 데이터 x1l∼x3l, x1r∼x3r로부터 선택되어, 보간 화소 데이터 추출부(7)에 주어진다.
보간 화소 데이터 추출부(7)는 화소 데이터 선택부(4)에 의해서 주어진 화소 데이터중, 보간 화소 X에 가장 근접한 대향 화소의 조로부터 얻어지는 화소 데이터가 추출되어, 보간 화소 X의 화소 데이터 x로서 출력단자 OUT으로 출력된다. 이 때, 추출된 화소 데이터가 2개 있는 경우에는 이들 화소 데이터의 평균이 산출되고, 그 산출 결과가 보간 화소 X의 화소 데이터 x로서 출력단자 OUT으로 출력된다.
예를 들면, 화소 데이터 선택부(4)로 선택된 화소 데이터가 x1l, x2l, x1r일 때, 보간 화소 X에 가장 근접한 대향 화소의 조로부터 얻어지는 화소 데이터는 대향 화소 D12, D26으로부터 얻어지는 화소 데이터 x2l이기 때문에, 이 화소 데이터 x2l가 보간 화소 X의 화소 데이터 x로서 출력단자 OUT으로 출력된다.
또한, 화소 데이터 선택부(4)에서 선택된 화소 데이터가 x1l, x2l, x2r일 때, 보간 화소 X에 가장 근접한 대향 화소의 조로부터 얻어지는 화소 데이터는 대향 화소 D12, D26으로부터 얻어지는 화소 데이터 x2l 및 대향 화소 D16, D22로부터 얻어지는 화소 데이터 x2r이기 때문에, 이 화소 데이터 x2l, x2r의 평균치(x21+x2r)/2가 보간 화소 X의 화소 데이터 x로서 출력단자 OUT으로 출력된다.
또, 원화소의 화소 데이터는 메모리부(1) 및 보간 상관치 연산부(2)를 통해 출력단자 OUT으로 출력된다. 즉, n 라인상의 원화소의 화소 데이터가 출력된 후, i 라인상의 보간 화소의 화소 데이터가 출력된다.
또한, 상기 제2 화상 보간 장치는 라인 수를 늘리는 것이지만, 라인상의 화소수를 늘리기 위해서는, 수평 방향에서 동일 보간 처리를 행하도록 하면 좋다.
제1 화상 보간 방법에서는 에지 성분 E에 기초하여 보간 화소의 화소 데이터의 설정 가능 범위를 결정한 후에, 경사진 방향의 상관치에 기초하여 보간 화소의 화소 데이터의 후보를 추출하고 있다. 보간 화소의 화소 데이터의 설정 가능 범위를 결정하고 있는 것의 이점에 대해서 도 9를 이용하여 설명한다. 도 9에 있어서 흑 동그라미는 흑 데이터의 원화소를, 백 동그라미는 백 데이터의 원화소를 나타내고 있다. 또한, X는 보간 화소를 나타내고 있다. 도 9의 설명에 있어서는 설명을 간단히 하기 위해서 백 데이터를 "1"로 하고, 흑 데이터를 "0"으로 한다.
도 9에 도시한 바와 같이 흰 배경 중에 검은 가는 선이 있는 경우에는 보간 화소 X의 화소 데이터를 흑 데이터 "0"으로 하는 것이 바람직하다.
보간 화소의 화소 데이터의 설정 가능 범위를 결정하지 않고, 경사진 방향의 상관치에 기초하여 보간 화소의 화소 데이터의 후보를 추출하는 경우에 대해서 설명한다. 이 경우에는 대향 화소 D13, D25에 대응하는 상관치(│d13-x│+│d25-x│)의 최소치는 │1-1│+│1-1│=0이 되고, 그 상관 최소치를 제공하는 화소 데이터 x는 1이 된다. 또한, 대향 화소 D15, D23에 대응하는 상관치(│d15-x│+│d23-x│)의 최소치는 │0-0│+│0-0│=0이 되고, 그 상관 최소치를 제공하는 화소 데이터 x는 0이 된다. 따라서, 보간 화소 X의 화소 데이터 x는 (1+0)/2=0.5가 되어 흑 데이터가 되지 않는다.
제1 화상 보간 방법과 같이 보간 화소의 화소 데이터의 설정 가능 범위를 결정한 후에, 경사진 방향의 상관치에 기초하여 보간 화소의 화소 데이터의 후보를 추출하는 경우 에 대해서 설명한다. 이 경우에는 에지 성분 E(=-d04+d14+d24-d34)는 -1+0+1-1=-1이 되고, 보간 화소 X의 화소 데이터 x의 설정 가능 범위의 범위는 0≤x≤0.5가 된다.
이 설정 범위 내에서 대향 화소 D13, D25에 대응하는 상관치의 최소치를 구하면, │1-0.5│+│1-0.5│=1이 되고, 그 상관 최소치를 제공하는 화소 데이터 x는 0.5가 된다. 또한, 대향 화소 D15, D23에 대응하는 상관치의 최소치는 │0-0│+│0-0│=0이 되고, 그 상관 최소치를 제공하는 화소 데이터 x는 0이 된다. 따라서, 보간 화소 X의 화소 데이터 x는 0이 된다.
〔2〕제2 화상 보간 방법 설명
제2 화상 보간 방법에 대해서 설명한다. 2차원 화상은 수평 방향과 수직 방향의 2차원적인 넓이를 갖고 있다. 그러나, 설명을 간략화 하기 위해서 수직 방향 의 1차원 보간 방법에 대해서 설명한다.
도 10은 제2 화상 보간 방법에 의한 화상 보간 처리 순서를 나타내고 있다.
여기서는, 도 11에 도시한 바와 같이 라인 n과 라인(n+1)과의 사이의 라인 i 상에 있어, 또한 라인 n 상의 원화소 D13과 라인(n+1)상의 원화소 D23과의 사이에 있는 보간 화소 X의 화소 데이터를 구하는 방법에 대해서 설명한다.
우선, 보간 화소 X가 원화상의 에지 부근에 있는지의 여부를 판정하기 위해서 에지 성분 E를 산출한다(단계 11). 즉, 보간 화소 X의 바로 위에 있는 2개의 원화소 D03, D13과, 보간 대상 화소 X의 바로 아래에 있는 원화소 D23, D33의 화소 데이터를 이용하여 에지 성분 E를 다음 식 (31)으로부터 구한다.
E=-d03+d13+d23-d33 … (31)
다음으로, 미리 설정된 의사 노이즈 성분을 N으로서 에지 성분 E가 -Q≤E≤Q의 범위 내에 있는지의 여부를 판정한다(단계 12). 이 의사 노이즈 성분 Q는 외부에서 제어 가능한 변수이다.
그리고, 이 판정 결과에 기초하여 에지 성분 E를 보정한다. 즉, 보정 후의 에지 성분을 E1로 하면, 에지 성분 E가 -Q≤E≤Q의 범위 내에 있는 경우에는 보정 후의 에지 성분 E1을 0으로 한다(단계 13).
에지 성분 E가 -Q≤E≤Q의 범위 밖에 있는 경우 즉, E<-Q 또는 E>Q 인 경우에는 보정 후의 에지 성분 E1을 E로 한다(단계 14).
따라서, 에지 성분 E와 보정 후의 에지 성분 E1과의 관계는 다음 식 (32)으로 표시됨과 동시에 도 12와 같은 그래프로 표시된다.
E1=0 (-Q≤E≤Q)
E1=E (E>Q or E<-Q) … (32)
이와 같이 의사 노이즈 성분 Q를 이용하여 에지 성분 E를 보정함으로써, 에지 성분 E에 나타나는 노이즈의 영향을 저감하고 있다.
다음으로 보정 후의 에지 성분 E1에 기초하여 보간 화소 X의 화소 데이터 x의 설정 가능 범위 S를 결정한다(단계 15).
도 13에 기초하여 설정 가능 범위 S의 결정 방법에 대해서 설명한다. 도 13에 있어서, dmax는 원화소 D13, D23의 화소 데이터 d13, d23 중 값이 큰 것을 나타내고, dmin은 화소 데이터 d13, d23 중 값이 작은 것을 나타내고 있다. 또한, dc는 dmax와 dmin과의 평균치(dmax+dmin)/2를 나타내고 있다.
(1) E1≥0 일 때의 화소 데이터 x의 설정 가능 범위 S
도 13의 (a)에 도시한 바와 같이 dmin×α+dc×(1-α)≤S≤dmax×α+dc×(1-α)+E1×γ로 한다. 다만, α 및 γ은 외부에서 제어 가능한 변수이다.
즉, 에지 성분 E1이 0 이상일 때에는 화소 데이터 x의 설정 가능 범위 S는 dc를 중심으로 한 범위〔dmin×α+dc×(1-α)≤x≤dmax×α+dc×(1-α)〕에서 γ·E1의 값만 상측으로 넓어진 범위가 된다.
(2) E 1<0일 때 일 때의 화소 데이터 x의 설정 가능 범위 S
도 13의 (b)에 도시한 바와 같이 dmin×α+dc×(1-α)+E1×γ≤S≤dmax×α+dc ×(1-α)로 한다.
즉, 에지 성분 E1이 0보다 작을 때에는 화소 데이터 x의 설정 가능 범위 S는 dc를 중심으로 한 범위〔dmin×α+dc×(1-α)≤x≤dmax×α+dc×(1-α)〕에서 γ·E1의 값만 하측으로 넓어진 범위가 된다.
다음으로 보간 화소 X를 경사진 방향으로 끼우는 대향 화소의 화소 데이터에 기초하여 보간 화소 X의 화소 데이터의 후보를 보간 화소 X의 화소 데이터 x의 설정 가능 범위 S 내에서 구한다(단계 16).
보간 화소 X의 화소 데이터의 후보를 구하는 방법은 도 2의 단계 3과 거의 동일하지만, 상관치 L, R을 구하는 식이 도 2의 단계 3과 다르다.
대향 화소 D12, D24와 보간 화소 X와의 화소 데이터의 상관치 L은 다음 식 (33)으로 표시되고, 대향 화소 D14, D22와 보간 화소 X와의 화소 데이터의 상관치 R은 다음 식 (34)에 의해서 표시된다.
L=│d12-x│+│d24-x│+β1× Hl-β2× Vl … (33)
R=│d14-x│+│d22-x│+β1× Hr-β2× Vr … (34)
상기 식 (33), (34)에 있어서 β1, β2는 외부에서 제어 가능한 변수이다.
또한, Hl은 다음 식 (35)에 의해서 구해지는 량 d11∼d13의 변화량 Hl1과, 다음 식 (36)에 의해서 구해지는 d23∼d25의 변화량 Hl2 중, 큰 것을 나타내고 있다. 즉, Hl=MAX(Hl1, Hl2)이다. MAX(a, b)는 a 및 b 중, 큰 값을 선택하는 것을 도시하는 기호이다.
또한, Vl은 다음 식 (37)에 의해서 구해지는 d02∼d22의 변화량 Vl1과, 다음 식 (38)에 의해서 구해지는 d14∼d34의 변화량 Vl2 중, 작은 것을 나타내고 있다. 즉, Vl=MIN(Vl1, Vl2)이다. MIN(a, b)는 a 및 b 중, 작은 값을 선택하는 것을 도시하는 기호이다.
Hl1=│d11-d12│+│d12-d13│ … (35)
Hl2=│d23-d24│+│d24-d25│ … (36)
Vl1=│d02-d12│+│d12-d22│ … (37)
Vl2=│d14-d24│+│d24-d34│ … (38)
또한, Hr는 다음 식 (39)에 의해서 구해지는 d13∼d15의 변화량 Hr1과, 다음 식 (40)에 의해서 구해지는 d21∼d23의 변화량 Hr2 중, 큰 것을 나타내고 있다. 즉, Hr= MAX(Hr1, Hr2)이다.
또한, Vr는 다음 식 (41)에 의해서 구해지는 d12∼d32의 변화량 Vr1과, 다음 식 (42)에 의해서 구해지는 d04∼d24의 변화량 Vr2 중, 작은 것을 나타내고 있다. 즉, Vr= MIN(Vr1, Vr2)이다.
Hr1=│d13-d14│+│d14-d15│ … (39)
Hr2=│d21-d22│+│d23-d23│ … (40)
Vr1=│d12-d22│+│d22-d32│ … (41)
Vr2=│d04-d14│+│d14-d24│ … (42)
또, 도 14는 상관치 L과 화소 데이터 x와의 관계를 나타내고 있다. 또한, 도 14에 있어서 xmin은 화소 데이터 d12, d24 중, 작은 쪽 화소 데이터를 도시하고, xmax는 화소 데이터 d12, d24 중 큰 쪽 화소 데이터를 도시하고 있다. 또한, xd=xmax-xmin +β1×Hl-β2×Vl 이다.
xd=xmax-xmin+β1×Hl-β2×Vl로 하면, 상기 식 (33)의 상관치 L은 다음 식(43)과 같이 변형할 수 있다. 상관치 R에 대해서도 동일 변형이 가능하다.
L2=xd+2(x-xmax) (x>xmax)
L=xd (xmin≤x≤xmax)
L=xd+2(xmin-x) (x<xmin) … (43)
최소 상관치 Lmin, Rmin 및 화소 데이터 xl, xr는 도 2의 단계 3의 제2 방법으로 설명한 방법, 즉 도 5를 이용하여 설명한 방법과 동일 방법으로 구할 수 있다. 이 때, 도 5의 그래프에 있어서의 xd는 xmax -xmin+β1× Hl-β2× Vl을 나타내게 된다.
단계 16에 의해서 최소 상관치 Lmin, Rmin 및 그것을 제공하는 화소 데이터 xl, xr가 구해지면, 양 최소 상관치 Lmin, Rmin 중, 작은 쪽 상관치를 제공하는 화소 데이터를 추출한다(단계 17).
양 최소 상관치 Lmin, Rmin이 다른 경우에는 1개의 화소 데이터가 추출되고, 양 최소 상관치 Lmin, Rmin이 동일 경우에는 2개의 화소 데이터가 추출된다.
단계 17에 있어서 1개의 화소 데이터 xl 또는 xr가 추출된 경우에는(단계 18에서 YES), 추출된 화소 데이터가 보간 화소 X의 화소 데이터 x로 결정된다(단계 19). 단계 17에 있어서 2개의(복수의) 화소 데이터 xl, xr가 선택된 경우에는(단계 18에서 NO), 화소 데이터 xl, xr의 평균치가 보간 화소 X의 화소 데이터 x로 결정된다(단계 20).
대향 화소가 2조인 경우를 이용하여 화상 보간 방법에 대해서 설명하였지만, 이 대향 화소는 2조 이상이더라도 상관없다.
도 7 또는 도 8과 같은 구성의 화상 보간 장치에 있어서 제2 화상 보간 방법을 이용하여 화상 보간을 실행시키는 경우에는 보간 상관치 연산부(2)에 도 10의 단계 11∼16의 처리를 행하도록 하면 좋다.
여기서는, 도 15에 도시하는 보간 화소 X의 화소 데이터 x를 구할 때의 보간 상관치 연산부(2)의 동작에 대해서 설명한다. 또한, 경사 방향의 대향 화소의 조수를 6으로 한 경우에 대해서 설명한다.
보간 상관치 연산부(2)는 우선, 도 10의 단계 11에서 설명한 바와 같이 에지 성분 E를 다음 식 (44) 식에 기초하여 구한다.
E=-d05+d15+d25-d35 … (44)
다음으로 도 10의 단계 12∼14로 설명한 바와 같이 에지 성분 E에 기초하여 노이즈 성분의 영향을 저감시킨 에지 성분 E1이 구해진다. 즉, 보정 후의 에지 성 분 E1이 다음 식 (45)에 기초하여 보정된다.
E1=0 (-Q≤E≤Q)
E1=E (E> Q or E<-Q) … (45)
다음으로 이와 같이 하여 구해진 에지 성분 E1에 의해서 도 10의 단계 15에서 설명한 바와 같이 보간 화소 X의 화소 데이터 x의 설정 가능 범위 S가 구해진다.
다음으로 도 10의 단계 16에서 설명한 바와 마찬가지인 방법으로 보간 화소 X의 화소 데이터 후보가 구해진다. 다만, 이 예에서는 보간 화소 X를 경사진 방향으로 끼우는 대향 화소의 조수는 6이다.
즉, 대향 화소 D12, D28과 보간 화소 X와의 화소 데이터의 상관치 L1, 대향 화소 D13, D27과 보간 화소 X와의 화소 데이터의 상관치 L2, 대향 화소 D14, D26과 보간 화소 X와의 화소 데이터의 상관치 L3, 대향 화소 D18, D22와 보간 화소 X와의 화소 데이터의 상관치 R1, 대향 화소 D17, D23과 보간 화소 X와의 화소 데이터의 상관치 R2 및 대향 화소 D16, D24와 보간 화소 X와의 화소 데이터의 상관치 R3을 각각 나타내는 이하의 식(46)∼(51)에 기초하여 상관치 L1∼L3, R1∼R3의 최소치 L1min∼L3min, R1min∼R3min과, 이 최소치를 제공하는 화소 데이터 x1l∼x3l, x1r∼x3r이 구해진다.
L1=│d12-x│+│d28-x│+β1×Hla-β2× Vla … (46)
L2=│d13-x│+│d27-x│+β1×Hlb-β2× Vlb … (47)
L3=│d14-x│+│d26-x│+β1×Hlc-β2× Vlc … (48)
R1=│d18-x│+│d22-x│+β1×Hra-β2× Vra … (49)
R2=│d17-x│+│d23-x│+β1×Hrb-β2× Vrb … (50)
R3=│d16-x│+│d24-x│+β1×Hrc-β2× Vrc … (51)
또, 상기 식 (46)∼(51) 중의 Hla∼Hlc, Hra∼Hrc, Vla∼Vlc, Vra∼Vrc는, 다음 식(52)∼(63)에 의해서 표시된다.
Hla=MAX(Hla1, Hla2) … (52)
Hlb=MAX(Hlb1, Hlb2) … (53)
Hlc=MAX(Hlc1, Hlc2) … (54)
Hra=MAX(Hra1, Hra2) … (55)
Hrb=MAX(Hrb1, Hrb2) … (56)
Hrc=MAX(Hrc1, Hrc2) … (57)
Vla=MIN(Vla1, Vla2) … (58)
Vlb=MIN(Vlb1, Vlb2) … (59)
Vlc=MIN(Vlc1, Vlc2) … (60)
Vla=MIN(Vra1, Vra2) … (61)
Vlb=MIN(Vrb1, Vrb2) … (62)
Vlc=MIN(Vrc1, Vrc2) … (63)
또한, 상기 식 (52)∼(63) 중 Hla1∼Hlc1, Hla2∼Hlc2, Hra1∼Hrc1, Hra2∼Hrc2, Vla1∼V1c1, Vla2∼V1c2, Vra1∼Vrc1, Vra2∼Vrc2는 다음 식(64)∼(87) 식에 의해서 표시된다.
Hla1=│d11-d12│+│d12-d13│ … (64)
Hlb1=│d12-d13│+│d13-d14│ … (66)
Hlc1=│d13-d14│+│d14-d15│ … (66)
Hla2=│d27-d28│+│d28-d29│ … (67)
Hlb2=│d26-d27│+│d27-d28│ … (68)
Hlc2=│d25-d26│+│d26-d27│ … (69)
Hra1=│d17-d18│+│d18-d19│ … (70)
Hrb1=│d16-d17│+│d17-d18│ … (71)
Hrc1=│d15-d16│+│d16-d17│ … (72)
Hra2=│d21-d22│+│d22-d23│ … (73)
Hrb2=│d22-d23│+│d23-d24│ … (74)
Hrc2=│d23-d24│+│d24-d25│ … (75)
Vla1=│d02-d12│+│d12-d22│ … (76)
Vlb1=│d03-d13│+│d13-d23│ … (77)
Vlc1=│d04-d14│+│d14-d24│ … (78)
Vla2=│d18-d28│+│d28-d38│ … (79)
Vlb2=│d17-d27│+│d27-d37│ … (80)
Vlc2=│d16-d26│+│d26-d36│ … (81)
Vra1=│d08-d18│+│d18-d28│ … (82)
Vrb1=│d07-d17│+│d17-d27│ … (83)
Vrc1=│d06-d16│+│d16-d26│ … (84)
Vra2=│d12-d22│+│d22-d32│ … (85)
Vrb2=│d13-d23│+│d23-d33│ … (86)
Vrc2=│d14-d24│+│d24-d34│ … (87)
이와 같이 하여 최소 상관치 L1min∼L3min, R1min∼R3min과, 이 최소치를 제공하는 화소 데이터 x1l∼x3l, x1r∼x3r이 보간 상관치 연산부(2)에서 구하면, 최소 상관치 L1min∼L3min, R1min∼R3min이 최소치 추출부(3)에 화소 데이터 x1l∼x31, x1r∼x3r이 화소 데이터 선택부(4)에 주어진다.
도 10의 단계 15에서의 설정 가능 범위 S의 결정 방법과, 도 2의 단계 2의 설정 가능 범위 S의 결정 방법은 다르다. 도 10의 단계 15에서의 설정 가능 범위 S의 결정 방법의 이점에 대해서 도 16을 이용하여 설명한다.
도 16에 있어서 흑 동그라미는 흑 데이터의 원화소를, 백 동그라미는 백 데이터의 원화소를, 해칭이 들어간 동그라미는 회색 원화소를 각각 나타내고 있다. 또한, X는 보간 화소를 나타내고 있다. 도 16의 설명에 있어서는 설명을 간단히 하기 위해서 백 데이터를 "1"로 하고, 흑 데이터를 "0"으로 하고, 회색 데이터를 "0.5"로 한다.
도 16에 도시한 바와 같이, 흰 배경 중에 2개가 검은 선이 있어, 이들 이은 곳 부분이 회색으로 되어 있는 경우가 있다. 이러한 경우에는, 이음매의 회색 화 소의 사이에 보간되는 화소 X의 화소 데이터를 흑 데이터 "0"으로 하는 것이 바람직하다.
제1 화상 보간 방법에 의해 보간 화소 X의 화소 데이터를 구하는 경우에 대해서 설명한다. 이 경우에는, 에지 성분 E(=-d04+d14+d24-d34)는 -1+0.5+0.5-1=-1이 되고, 보간 화소 X의 화소 데이터 x의 설정 가능 범위 S는 0.5가 된다. 따라서, 보간 화소 X의 화소 데이터 x는 0.5가 되어, 흑 데이터가 되지 않는다.
제2 화상 보간 방법과 같이 보간 화소 X의 화소 데이터를 구하는 경우에 대해서 설명한다. 이 경우에도, 에지 성분 E(=-d04+d14+d24-d34)는 -1+0.5+0.5-1=-1이 된다. 또한, E1=-1이 된다.
E1<0 이기 때문에, 보간 화소 X의 화소 데이터 x의 설정 가능 범위 S는 dmin×α+dc×(1-α)+E1×γ≤S≤dmax×α+dc×(1-α) 이 된다. 여기서, 설명의 편의상, α=1, γ=0.5로 하면, 설정 가능 범위 S는 dmin+E1×0.5≤S≤dmax가 된다. 즉, 0.5-0.5≤S≤0.5, 즉, 0≤S≤0.5가 된다.
또한, 설명의 편의상 상관치를 구하는 식 (46)∼(51)의 β를 0으로서, 이 설정 범위 S 내에서 대향 화소 D13, D25에 대응하는 상관치의 최소치를 구하면, │1-0.5│+│1-0.5│=1이 되고, 그 상관 최소치를 제공하는 화소 데이터 x는 0.5가 된다. 또한, 대향 화소 D15, D23에 대응하는 상관치의 최소치는 │0-0│+│0-0│=0이 되고, 그 상관 최소치를 제공하는 화소 데이터 x는 0이 된다. 따라서, 보간 화소 X의 화소 데이터 x는 0이 된다.
도 10의 단계 16에서 이용되는 상관치 산출식과, 도 2의 단계 3에서 이용되는 상관치 산출식은 다르다. 도 10의 단계 16에서 이용되는 상관치 산출식의 이점에 대해서 도 17을 이용하여 설명한다.
도 17에 있어서 흑 동그라미는 흑 데이터의 원화소를, 백 동그라미은 백 데이터의 원화소를 각각 나타내고 있다. 또한, X는 보간 화소를 나타내고 있다. 도 17의 설명에 있어서는 설명을 간단히 하기 위해서 백 데이터를 "1"로 하고, 흑 데이터를 "0"으로 하고, 회색 데이터를 "0.5"로 한다.
도 17에 도시한 바와 같이 흰 배경 중에 검은 선이 있는 경우에는 제1 화상 보간 방법에서는 원화소 D14와 원화소 D24 사이에 화소 X를 보간하면, 원화소 D13과 원화소 D23 사이의 보간 화소의 화소 데이터로부터 보간 화소 X의 화소 데이터가 커져, 선의 굵기가 변화한다.
이러한 경우에 제2 화상 보간 방법과 같이 상관치를 대향 화소의 근방 화소와의 관계도 고려하여 구하면, 원화소 D14와 원화소 D24 사이의 보간 화소 X의 화소 데이터를 원화소 D13과 원화소 D23 사이의 보간 화소의 화소 데이터와 같게 할 수 있게 된다.
〔3〕 제3 화상 보간 방법에 대한 설명
다음으로 제3 화상 보간 방법에 대해서 설명한다.
도 18은 원화소와 보간되는 보간 화소와의 관계를 나타내고 있다.
제3 화상 보간 방법에서는 도 18에 도시한 바와 같이 4개의 원화소 D12, D13, D22, D23의 중심 위치에 화소가 보간된다.
이하, 4개의 원화소 D12, D13, D22, D23의 중심 위치에 배치되는 보간 화소 X의 화소 데이터를 구하는 방법에 대해서 설명한다.
도 18의 원화소 D01∼D04, D11∼D14, D21∼D24, D31∼D34 및 보간 화소 X의 화소 데이터를 각각 d01∼d04, d11∼d14, d21∼d24, d31∼d34 및 x로 나타낸다.
도 19는 제3 화상 보간 방법에 의한 화상 보간 처리 순서를 나타내고 있다.
우선, 보간 화소 X가 원화상의 에지 부근에 있는가의 여부를 판정하기 위해서 2 종류의 에지 성분 EL, ER을 산출한다(단계 31). 즉, 원화소 D01, D12, D23, D34의 화소 데이터를 이용하여 에지 성분 EL을 다음 식 (88)에 기초하여 산출함과 함께, 원화소 D04, D13, D22, D31의 화소 데이터를 이용하여 에지 성분 ER을 다음 식 (89)에 기초하여 산출한다.
EL=-d01+d12+d23-d34 … (88)
ER=-d04+d13+d22-d31 … (89)
다음으로 각 에지 성분 EL, ER마다 보간 화소 X의 화소 데이터 x의 설정 가능 범위 SL, SR을 결정한다(단계 32).
즉, 도 2의 단계 2와 같이 에지 성분 EL에 기초하여 보간 화소 X의 화소 데이터 x의 설정 가능 범위 SL을 구함과 함께, 에지 성분 ER에 기초하여 보간 화소 X의 화소 데이터 x의 설정 가능 범위 SR을 구한다.
구체적으로는 미리 정해진 임계치를 Th로 하고, 원화소 D12의 화소 데이터 d12와 원화소 D23의 화소 데이터 d23 중 큰 것을 dLmax, 작은 것을 dLmin, dLmax -dLmin 을 dL로 하면, 설정 가능 범위 SL은 다음 식 (90)에 기초하여 구해진다.
if EL>Th, then dLmin+dL/2≤SL≤dLmax,
if -Th≤EL≤Th, then dLmin+dL/4≤SL≤dLmax-dL/4,
if EL<-Th, then dLmin≤SL≤dLmin+dL/2 … (90)
또한, 원화소 D13의 화소 데이터 d13과 원화소 D22의 화소 데이터 d22 중 큰 것을 dRmax, 작은 것을 dRmin, dRmax -dRmin을 dR로 하면, 설정 가능 범위 SR은 다음 식 (91)에 기초하여 구해진다.
if ER>Th, then dRmin+dR/2≤SR≤dRmax,
if -Th≤ER≤Th, then dRmin+dR/4≤SR≤dRmax-dR/4,
if ER<-Th, then dRmin<SR≤dRmin+dR/2 … (91)
다음으로 양 설정 가능 범위 SL, SR에, 상호 중첩하는 부분이 존재하는지의 여부를 판정한다(단계 33).
도 20의 (a)에 도시한 바와 같이 양 설정 가능 범위 SL, SR에 상호 중첩하는 부분이 있는 경우에는 이 중첩한 부분을 보간 화소 X의 화소 데이터 x의 설정 가능 범위 S로 한다 (단계 34).
그리고, 보간 화소 X를 경사진 방향으로 끼우는 대향 화소의 화소 데이터에 기초하여 보간 화소 X의 화소 데이터의 후보를 보간 화소 X의 화소 데이터 x의 설정 가능 범위 내에서 구한다(단계 35).
즉, 원화소 D11, D24와 보간 화소 X와의 화소 데이터의 상관치 L1, 원화소 D12, D23과 보간 화소 X와의 화소 데이터의 상관치 L2, 원화소 D02, D33과 보간 화소 X와의 화소 데이터의 상관치 L3, 원화소 D14, D21과 보간 화소 X와의 화소 데이터의 상관치 R1, 원화소 D13, D22와 보간 화소 X와의 화소 데이터의 상관치 R2 및 대향 화소 D03, D32와 보간 화소 X와의 화소 데이터의 상관치 R3을 각각 나타내는 이하의 식 (92)∼(97)에 기초하여 도 2의 단계 3의 제 2 방법과 동일 방법으로 상관치 L1∼L3, R1∼R3의 최소치 L1min∼L3min, R1min∼R3min과, 이들 최소치를 제공하는 화소 데이터 x1l∼x3l, x1r∼x3r이 구해진다.
L1=│d11-x│+│d24-x│ … (92)
L2=│d12-x│+│d23-x│ … (93)
L3=│d02-x│+│d22-x│ … (94)
R1=│d14-x│+│d21-x│ … (95)
R2=│d13-x│+│d22-x│ … (96)
R3=│d03-x│+│d32-x│ … (97)
이와 같이 해서 구해진 최소 상관치 L1min∼L3min, R1min∼R3min 중, 이들 최소치가 되는 최소 상관치를 선택하고, 선택한 최소 상관치에 대응하는 화소 데이터를 화소 데이터 X1l∼X3l, X1r∼X3r로부터 추출한다(단계 36).
단계 36에서 추출된 화소 데이터에 기초하여 보간 화소 X의 화소 데이터 x를 구한다(단계 37).
즉, 단계 36에서 추출된 화소 데이터로부터 최대가 되는 화소 데이터와 최소가 되는 화소 데이터를 추출한 후, 이 2개의 화소 데이터의 평균치를 산출하고, 그 산출 결과를 보간 화소 X의 화소 데이터 x로 한다. 단계 36에서 선택된 화소 데이터가 1개인 경우에는 그 화소 데이터를 보간 화소 X의 화소 데이터 x로서 결정한다.
또, 단계 36에서 추출된 화소 데이터의 평균치를 산출하고, 이 산출 결과를 보간 화소 X의 화소 데이터 x로서 결정해도 좋다.
또한, 단계 36에서 선택된 화소 데이터로부터 보간 화소 X에 가장 근접한 대향 화소로부터 얻어지는 화소 데이터를 추출하고, 추출한 화소 데이터를 보간 화소 X의 화소 데이터 x로 하도록 하더라도 좋다. 이 때, 보간 화소 X에 가장 근접한 대향 화소의 조로부터 얻어지는 화소 데이터가 2개 있는 경우에는 이들 화소 데이터의 평균치가 보간 화소 X의 화소 데이터 x가 된다.
상기 단계 33에 있어서, 에지 성분 EL, ER의 각각에 따라서 구해지는 설정 가능 범위 SL, SR이 도 20의 (b)에 도시한 바와 같이 중첩하지 않는다고 판별된 경우에는 원화소 D12, D13, D22, D23의 4 화소의 화소 데이터 d12, d13, d22, d23의 평균치(d12+d13+d22+d23)/4를 보간 화소 X의 화소 데이터 x로 결정한다(단계 38).
도 7또는 도 8과 같은 구성의 화상 보간 장치에 있어서 제3 화상 보간 방법을 이용하여 화상 보간을 실행시키는 경우에는 보간 상관치 연산부(2)에 도 19의 단계 31∼35 및 단계 38의 처리를 행하도록 하면 좋다.
즉, 보간 상관치 연산부(2)는 우선, 에지 성분 EL, ER를 구하여, 구한 에지 성분 EL, ER마다 설정 가능 범위 SL, SR를 구한다. 이들 설정 가능 범위 SL, SR에 상호 중첩되는 부분이 있을 때에는 최소 상관치 L1min∼L3min, R1min∼R3 min 및 이들을 제공하는 화소 데이터 x1l∼x3l, x1r∼x3r을 구한다. 그리고, 구한 최소 상관치 L1min∼L3min, R1min∼R3min을 최소치 추출부(3)로 보냄과 동시에, 화소 데이터 x1l∼x3l, x1r∼x3r을 화소 데이터 선택부(4)로 보낸다.
한편, 에지 성분 EL, ER로부터 구해진 설정 가능 범위 SL, SR이 중첩할 때는 화소 D12, D13, D22, D23의 4 화소의 화소 데이터의 평균치를 보간 화소 X의 화소 데이터 x로서 출력단자 OUT으로 출력한다.
상기 예에서는 6조의 대향 화소를 이용하여 보간 화소의 화소 데이터를 구하였지만, 이 대향 화소의 조 수는 6조에 한정되는 것이 아니고, 더욱 많은 조 수의 대향 화소를 이용하여 보간 화소의 화소 데이터를 구하더라도 상관없다.
〔4〕제4 화상 보간 방법에 대한 설명
다음으로 제4 화상 보간 방법에 대해서 설명한다.
제4 화상 보간 방법에서는 제3 화상 보간 방법과 동일하게 도 18에 도시한 바와 같이 4개의 원화소 D12, D13, D22, D23의 중심 위치에 화소가 보간된다. 단, 제3 화상 보간 방법과는 약간 다르다.
여기서는 4개의 원화소 D12, D13, D22, D23의 중심 위치에 배치되는 보간 화소 X의 화소 데이터를 구하는 방법에 대해서 설명한다.
도 18의 원화소 D01∼D04, D11∼D14, D21∼D24, D31∼D34 및 보간 화소 X의 화소 데이터를 각각 d01∼d04, d11∼d14, d21∼d24, d31∼d34 및 x로 나타낸다.
도 21는 제4 화상 보간 방법에 의한 화상 보간 처리 순서를 나타내고 있다.
우선, 보간 화소 X가 원화상의 에지 부근에 있는가의 여부를 판정하기 위해서 2 종류의 에지 성분 EL, ER을 산출한다(단계 41). 즉, 원화소 D01, D12, D23, D34의 화소 데이터를 이용하여 에지 성분 EL을 다음 식 (98)에 기초하여 산출함과 함께, 원화소 D04, D13, D22, D31의 화소 데이터를 이용하여 에지 성분 ER을 다음 식 (99)에 기초하여 산출한다.
EL=-d01+d12+d23-d34 … (98)
ER=-d04+d13+d22-d31 … (99)
다음으로 에지 성분 EL에 대해서 보정 처리를 행한다. 즉, 미리 설정된 의사 노이즈 성분을 N으로서 에지 성분 EL이 -Q≤EL≤Q의 범위 내에 있는지의 여부를 판정한다 (단계 42).
그리고, 이 판정 결과에 기초하여 에지 성분 EL을 보정한다. 즉, 보정 후의 에지 성분을 EL1로 하면, 에지 성분 EL이 -Q≤EL≤Q의 범위 내에 있는 경우에는, 보정 후의 에지 성분 EL1을 0으로 한다(단계 43).
에지 성분 EL이 -Q≤EL≤Q의 범위 밖에 있는 경우에는 즉, EL<-Q 또는 EL>Q 인 경우에는 보정 후의 에지 성분 EL1을 EL로 한다(단계 44).
다음으로 에지 성분 ER에 대해서도 동일 보정 처리를 행한다. 즉, 미리 설정된 의사 노이즈 성분을 N으로서 에지 성분 ER가 -Q≤ER≤Q의 범위 내에 있는지의 여부를 판정한다(단계 45).
그리고, 이 판정 결과에 기초하여 에지 성분 ER를 보정한다. 즉, 보정 후의 에지 성분을 ER1로 하면, 에지 성분 ER가 -Q≤ER≤Q의 범위 내에 있는 경우에는 보정 후의 에지 성분 ER1을 0으로 한다(단계 46).
에지 성분 ER가 -Q≤ER≤Q의 범위 밖에 있는 경우에는 즉, ER<-Q 또는 ER>Q 인 경우에는 보정 후의 에지 성분 ER1을 ER로 한다(단계 47).
다음에, 보정 후의 EL1에 기초하여 화소 X의 화소 데이터 x의 설정 가능 범위 SL을 결정함과 함께, 보정 후의 ER1에 기초하여 화소 X의 화소 데이터 x의 설정 가능 범위 SR를 결정한다(단계 48). 이들 설정 가능 범위 SL, SR을 구하는 방법은 도 10의 단계 15와 동일하다.
즉, 원화소 D12의 화소 데이터 d12와 원화소 D23의 화소 데이터 d23 중 큰 것을 dLmax, 작은 것을 dLmin, dLmax와 dLmin과의 평균을 dLc, α 및 γ을 미리 설정된 계수로 하면, 설정 가능 범위 SL은 다음 식(100)에 기초하여 구해진다.
if EL1≥0, then dLmin·α+dLc(1-α)≤SL≤dLmax·α+dLc(1-α) + EL1·γ,
if EL1<0, then dLmin·α+dLc(1-α)+EL1·γ≤SL≤dLmax·α+dLc(1-α)
… (100)
또한, 원화소 D13의 화소 데이터 d13과 원화소 D22의 화소 데이터 d22 중 큰 것을 dRmax, 작은 것을 dRmin, dRmax와 d Rmin과의 평균을 dRc, α 및 γ을 미리 설정된 계수로 하면, 설정 가능 범위 SR는 다음 식(101)에 기초하여 구해진다.
if ER1≥0, then dRmin·α+dRc(1-α)≤SR≤dRmax·α+dRc(1-α) + ER1·γ,
if ER1<0, then dRmin·α+dRc(1-α)+ER1·γ≤SR≤dRmax·α+dRc(1-α)
… (101)
다음으로 양 설정 가능 범위 SL, SR에 상호 중첩하는 부분이 존재하는지의 여부를 판정한다(단계 49).
양 설정 가능 범위 SL, SR에 상호 중첩하는 부분이 있는 경우에는 이 중첩한 부분을 보간 화소 X의 화소 데이터 x의 설정 가능 범위 S로 한다(단계 50).
그리고, 보간 화소 X를 경사진 방향으로 끼우는 대향 화소의 화소 데이터에 기초하여 보간 화소 X의 화소 데이터의 후보를 보간 화소 X의 화소 데이터 x의 설정 가능 범위 내에서 구한다(단계 51).
즉, 원화소 D11, D24와 보간 화소 X와의 화소 데이터의 상관치 L1, 원화소 D12, D23과 보간 화소 X와의 화소 데이터의 상관치 L2, 원화소 D02, D33과 보간 화소 X와의 화소 데이터의 상관치 L3, 원화소 D14, D21과 보간 화소 X와의 화소 데이터의 상관치 R1, 원화소 D13, D22와 보간 화소 X와의 화소 데이터의 상관치 R2 및 대향 화소 D03, D32와 보간 화소 X와의 화소 데이터의 상관치 R3을 각각 나타내는 이하의 식 (102)∼(107)에 기초하여 도 2의 단계 3의 제 2 방법과 동일 방법으로 상관치 L1∼L3, R1∼R3의 최소치 L1min∼L3min, R1min∼R3min과, 이들 최소치를 제공하는 화소 데이터 x1l∼x3l, x1r∼x3r을 구한다.
L1=│d11-x│+│d24-x│ … (102)
L2=│d12-x│+│d23-x│ … (103)
L3=│d02-x│+│d33-x│ … (104)
R1=│d14-x│+│d21-x│ … (105)
R2=│d13-x│+│d22-x│ … (106)
R3=│d03-x│+│d32-x│ … (107)
이와 같이 해서 구해진 최소 상관치 L1min∼L3min, R1min∼R3min 중, 이들 최소치가 되는 최소 상관치를 선택하고, 선택한 최소 상관치에 대응하는 화소 데이터를 화소 데이터 x1l∼x3l, x1r∼x3r로부터 추출한다(단계 52).
단계 52에서 추출된 화소 데이터에 기초하여 보간 화소 X의 화소 데이터 x를 구한다(단계 53).
즉, 단계 52에서 추출된 화소 데이터로부터 최대가 되는 화소 데이터와 최소가 되는 화소 데이터를 추출한 후, 이 2개의 화소 데이터의 평균치를 산출하고, 그 산출 결과를 보간 화소 X의 화소 데이터 x로 한다. 단계 52에서 추출된 화소 데이터가 1개인 경우에는 그 화소 데이터를 보간 화소 X의 화소 데이터 x로서 결정한다.
또, 단계 52에서 추출된 화소 데이터의 평균치를 산출하고, 이 산출 결과를 보간 화소 X의 화소 데이터 x로서 결정해도 좋다.
또한, 단계 52에서 선택된 화소 데이터로부터 보간 화소 X에 가장 근접한 대향 화소로부터 얻어지는 화소 데이터를 추출하고, 추출한 화소 데이터를 보간 화소 X의 화소 데이터 x로 하도록 하더라도 좋다. 이 때, 보간 화소 X에 가장 근접한 대향 화소의 조로부터 얻어지는 화소 데이터가 2개 있는 경우에는 이들 화소 데이터의 평균치가 보간 화소 X의 화소 데이터 x가 된다.
상기 단계 49에 있어서 에지 성분 EL1, ER1의 각각에 따라서 구해지는 설정 가능 범위 SL, SR이 중첩하지 않는다고 판별된 경우에는 원화소 D12, D13, D22, D23의 4 화소의 화소 데이터 d12, d13, d22, d23의 평균치(d12+d13+d22+d23)/4를 보간 화소 X의 화소 데이터 x로 결정한다(단계 54).
도 7 또는 도 8과 같은 구성의 화상 보간 장치에 있어서 제4 화상 보간 방법을 이용하여 화상 보간을 실행시키는 경우에는 보간 상관치 연산부(2)에 도 21의 단계 41∼45 및 단계 54의 처리를 행하도록 하면 좋다.

Claims (32)

  1. 제1 원화소와 상기 제1 원화소와 인접하는 제2 원화소와의 중간 위치에 화소를 보간하는 화상 보간 방법에 있어서,
    보간 화소가 원화상 데이터의 에지 위치 부근에 존재하는가를 판정하기 위한 에지 성분을 산출하는 제1 단계;
    산출된 에지 성분과 상기 제1 및 제2 원화소의 화소 데이터에 기초하여 보간 화소의 화소 데이터 설정 가능 범위를 구하는 제2 단계;
    보간 화소를 경사진 방향으로 끼우는 대향 화소의 조(組)를 복수조 선택하여, 각 조마다 보간 화소의 화소 데이터 설정 가능 범위 내에서 보간 화소의 화소 데이터와 각 대향 화소와의 차이의 절대치의 합으로 표시되는 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치를 구하는 제3 단계; 및
    상기 각 조마다 구해진, 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치에 기초하여 보간 화소의 화소 데이터를 구하는 제4 단계
    를 포함하는 것을 특징으로 하는 화상 보간 방법.
  2. 제1항에 있어서,
    상기 제1 원화소에 인접하고 상기 제2 원화소와 반대측에 있는 원화소를 제3 원화소로 하고, 상기 제2 원화소에 인접하고 상기 제1 원화소와 반대측에 있는 원화소를 제4 원화소로 하면, 제1 단계에서는 제1∼제4 원화소의 화소 데이터에 기초 하여 에지 성분이 산출되는 것을 특징으로 하는 화상 보간 방법.
  3. 제2항에 있어서,
    제1 원화소의 화소 데이터를 d1, 제2 원화소의 화소 데이터를 d2, 제3의 원화소의 화소 데이터를 d3, 제4 원화소의 화소 데이터를 d4로 하면, 에지 성분 E는 산출식 E=-d3+d1+d2-d4에 기초하여 산출되는 것을 특징으로 하는 화상 보간 방법.
  4. 제3항에 있어서,
    제1 단계에서 구해진 에지 성분을 E, 미리 정해진 임계치를 Th, 제1 원화소의 화소 데이터와 제2 원화소의 화소 데이터 중 큰 것을 dmax, 작은 것을 dmin, dmax -dmin를 d로 하면, 제2 단계에서 다음 식에 기초하여 보간 화소의 화소 데이터 설정 가능 범위 S가 구해지는 것을 특징으로 하는 화상 보간 방법.
    if E> Th, then dmin+d/2≤S≤dmax,
    if-Th≤E≤Th, then dmin +d/4≤S≤dmax-d/4,
    if E<-Th, then dmin≤S≤dmin+d/2
  5. 제1항에 있어서,
    제2 단계에서 구해진 설정 가능 범위 S의 화소 데이터를 x로 하고, 1조의 대 향 화소를 구성하는 2개의 원화소의 화소 데이터를 각각 da 및 db로 하면, 그 조에 대한 상관치 L은 L=│da-x│+│db-x│에 의해서 산출되는 것을 특징으로 하는 화상 보간 방법,
  6. 제1항에 있어서, 상기 제4 단계는
    상기 제3 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계;
    선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계;
    최소의 상관 최소치가 1개인 경우에는, 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및
    최소의 상관 최소치가 복수인 경우에는, 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 화상 보간 방법.
  7. 제1항에 있어서, 상기 제4 단계는,
    상기 제3 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계;
    선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계;
    최소의 상관 최소치가 1개인 경우에는, 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및
    최소의 상관 최소치가 복수인 경우, 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터 중 최대치와 최소치를 추출하고, 추출한 최대치와 최소치와의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 화상 보간 방법.
  8. 제1항에 있어서, 상기 제4 단계는,
    상기 제3 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계;
    선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계;
    최소의 상관 최소치가 1개인 경우, 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및
    최소의 상관 최소치가 복수인 경우, 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터 중 보간 화소에 가장 근접한 대향 화소로부터 얻어진 화소 데이터를 선택하고, 선택한 화소 데이터가 1개인 경우에는 그 화소 데이터를 보간 화소의 화소 데이터로서 결정하고, 선택한 화소 데이터가 2개인 경우에는 이들의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 화상 보간 방법.
  9. 제1 원화소와 제1 원화소와 인접하는 제2 원화소와의 중간 위치에 화소를 보간하는 화상 보간 방법에 있어서,
    보간 화소가 원화상 데이터의 에지 위치 부근에 존재하는가를 판정하기 위한 에지 성분을 산출하는 제1 단계;
    산출된 에지 성분을 소정의 의사 노이즈 성분에 기초하여 보정하는 제2 단계;
    보정 후의 에지 성분과 상기 제1 및 제2 원화소의 화소 데이터에 기초하여 보간 화소의 화소 데이터의 설정 가능 범위를 구하는 제3 단계;
    보간 화소를 경사진 방향으로 끼우는 대향 화소의 조를 복수조 선택하여, 각 조마다 보간 화소의 화소 데이터의 설정 가능 범위 내에서 보간 화소의 화소 데이터와 각 대향 화소와의 차이의 절대치의 합과 각 대향 화소의 주변 원화소의 화소 데이터에 기초하여 산출되는 보정치로 표시되는 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치를 구하는 제4 단계; 및
    상기 각 조마다 구해진, 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치에 기초하여 보간 화소의 화소 데이터를 구하는 제5 단계
    를 포함하는 것을 특징으로 하는 화상 보간 방법
  10. 제9항에 있어서,
    상기 제1 원화소에 인접하고 상기 제2 원화소와 반대측에 있는 원화소를 제3 원화소로 하고, 상기 제2 원화소에 인접하고 상기 제1 원화소와 반대측에 있는 원화소를 제4 원화소로 하면, 상기 제1 단계에서는 제1∼ 제4 원화소의 화소 데이터에 기초하여 에지 성분이 산출되는 것을 특징으로 하는 화상 보간 방법.
  11. 제9항에 있어서,
    제1 원화소의 화소 데이터를 d1, 제2 원화소의 화소 데이터를 d2, 제3 원화소의 화소 데이터를 d3, 제4 원화소의 화소 데이터를 d4로 하면, 에지 성분 E는 산출식 E=-d3+d1+d2-d4에 기초하여 산출되는 것을 특징으로 하는 화상 보간 방법.
  12. 제11항에 있어서,
    의사 노이즈 성분을 Q로 하여 제1 단계에서 산출된 에지 성분을 E로 하면, 제2 단계에서 구해지는 보정 후의 에지 성분 E1은 다음 식으로 표시되는 것을 특징으로 하는 화상 보간 방법.
    if -Q≤E≤Q, then E1=0,
    if E>Q or E<-Q, then E1=E
  13. 제12항에 있어서,
    제2 단계에서 구해진 보정 후의 에지 성분을 E1, 제1 원화소의 화소 데이터 와 제2 원화소의 화소 데이터 중 큰 것을 dmax, 작은 것을 dmin, dmax와 dmin과의 평균을 dc, α(O≤α≤1) 및 γ을 미리 설정된 계수로 하면, 제3 단계에서는 다음 식에 기초하여 보간 화소의 화소 데이터의 설정 가능 범위 S가 구해지는 것을 특징으로 하는 화상 보간 방법.
    if E1≥0, then dmin·α+dc(1-α)≤S≤dmax·α+dc(1-α)+ E1·γ
    if E1<0, then dmin·α+dc(1-α)+ E1·γ≤S≤dmax·α+dc(1-α)
  14. 제9항에 있어서,
    제1 원화소와 제2 원화소를 연결하는 방향을 상하 방향으로 정의하고, 상기 상하 방향과 직각인 방향을 좌우 방향으로 정의하며, 1조의 대향 화소를 D12, D24로 하여 한 쪽 대향 화소 D12의 좌우 양 이웃에 있는 2개의 원화소를 D11, D13, 이 대향 화소 D12의 상하 양 이웃에 있는 2개의 원화소를 D02, D22로 하고, 다른 쪽 대향 화소 D24의 좌우 양 이웃에 있는 2개의 원화소를 D23, D25로 하며, 이 대향 화소 D24의 상하 양 이웃에 있는 2개의 원화소를 D14, D34로 하고, 각 원화소 D02, D11, D12, D13, D14, D22, D23, D24, D25 및 D34의 화소 데이터를 d02, d11, d12, d13, d14, d22, d23, d24, d25 및 d34로 하여, β1 및 β2를 소정의 계수로 하여, 상기 제3 단계에서 구해진 설정 가능 범위 S의 화소 데이터를 x로 하면, 그 조에 대한 상관치 L의 산출식은 다음 식으로 표시되는 것을 특징으로 하는 화상 보간 방법.
    L=│d12-x│+│d24-x│+β1·H1-β2·V1
    H1=MAX{(│d11-d12│+│d12-d13│),(│d23-d24│+│d24-d25│)}
    V1=MIN{(│d02-d12│+│d12-d22│),(│d14-d24│+│d24-d34│)}
  15. 제9항에 있어서, 상기 제5 단계는,
    상기 제4 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계;
    상기 선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계;
    최소의 상관 최소치가 하나인 경우에는, 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및
    최소의 상관 최소치가 복수 있는 경우에는, 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 화상 보간 방법.
  16. 제9항에 있어서, 상기 제5 단계는,
    상기 제4 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계;
    선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계;
    최소의 상관 최소치가 하나인 경우에는, 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및
    최소의 상관 최소치가 복수 있는 경우에는, 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터 중 최대치와 최소치를 추출하고, 추출한 최대치와 최소치와의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 화상 보간 방법.
  17. 제9항에 있어서, 상기 제5 단계는,
    상기 제4 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계;
    선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계;
    최소의 상관 최소치가 하나인 경우에는, 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및
    최소의 상관 최소치가 복수 있는 경우에는, 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터 중에서 보간 화소에 가장 근접한 대향 화소로부터 얻어진 화소 데이터를 선택하고, 선택한 화소 데이터가 1개인 경우에는 그 화소 데이터를 보간 화소의 화소 데이터로서 결정하고, 선택한 화소 데이터가 2개인 경우에는 이들 평균치를 보간 화소의 화소 데이터로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 화상 보간 방법.
  18. 좌우 방향에 인접하는 제1 원화소 및 제2 원화소, 상기 제1 원화소의 하측에 인접하는 제3 화소, 및 상기 제2 원화소의 하측에 인접하는 제4 화소로 이루어지는 4개의 원화소의 중앙 위치에 화소를 보간하는 화상 보간 방법에 있어서,
    제1 원화소, 제4 원화소, 상기 제1 원화소와 상기 제4 원화소를 연결하는 선의 연장 상에 있어서 제1 원화소의 좌측으로 경사진 곳에 인접하는 제5 원화소, 및 상기 제1 원화소와 상기 제4 원화소를 연결하는 선의 연장 상에 있어서 상기 제4 원화소의 우측으로 경사진 아래에 인접하는 제6 원화소의 화소 데이터에 기초하여 보간 화소가 원화상 데이터의 에지 위치 부근에 존재하는가를 판정하기 위한 제1 에지 성분을 산출하는 제1 단계;
    제2 원화소, 제3 원화소, 상기 제2 원화소와 상기 제3 원화소를 연결하는 선의 연장 상에 있어서 제2 원화소의 우측으로 경사진 곳에 인접하는 제7 원화소, 및 상기 제2 원화소와 상기 제3 원화소를 연결하는 선의 연장 상에 있어서 제3 원화소의 좌측으로 경사진 아래에 인접하는 제8 원화소의 화소 데이터에 기초하여 보간 화소가 원화상 데이터의 에지 위치 부근에 존재하는가를 판정하기 위한 제2 에지 성분을 산출하는 제2 단계;
    제1 에지 성분과 제1 및 제4 원화소의 화소 데이터에 기초하여 보간 화소의 화소 데이터의 제1 설정 가능 범위를 구함과 함께 제2 에지 성분과 제2 및 제3 원화소의 화소 데이터에 기초하여 보간 화소의 화소 데이터의 제2 설정 가능 범위를 구하는 제3 단계;
    제1 설정 가능 범위와 제2 설정 가능 범위에 상호 중첩하는 부분이 존재하는지의 여부를 판정하는 제4 단계;
    제1 설정 가능 범위와 제2 설정 가능 범위에 상호 중첩하는 부분이 존재하지 않을 경우에는 제1∼제4 원화소의 화소 데이터의 평균치를 산출하고, 그 산출 결과를 보간 화소의 화소 데이터로 결정하는 제5 단계;
    제1 설정 가능 범위와 제2 설정 가능 범위에 상호 중첩하는 부분이 있을 경우에는 그 중첩하는 부분을 설정 가능 범위로서 설정한 후, 보간 화소를 경사진 방향으로 끼우는 대향 화소의 조를 복수조 선택하여, 각 조마다 보간 화소의 화소 데이터의 설정 가능 범위 내에서 보간 화소의 화소 데이터와 각 대향 화소와의 차이의 절대치의 합으로 표시되는 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치를 구하는 제6 단계; 및
    상기 제6 단계에 있어서 각 조마다 구해진, 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치에 기초하여 보간 화소의 화소 데이터를 구하는 제7 단계
    를 포함하는 것을 특징으로 하는 화상 보간 방법.
  19. 제18항에 있어서,
    제1 원화소의 화소 데이터를 d1, 제4 원화소의 화소 데이터를 d4, 제5 원화소의 화소 데이터를 d5, 제6 원화소의 화소 데이터를 d6으로 하여, 제1 에지 성분 을 EL로 하면, 제1 단계에서는 산출식 EL=-d5+d1+d4-d6에 기초하여 제1 에지 성분 EL이 산출되고,
    또한, 제2 원화소의 화소 데이터를 d2, 제3 원화소의 화소 데이터를 d3, 제7 원화소의 화소 데이터를 d7, 제8 원화소의 화소 데이터를 d8로 하여, 제2 에지 성분을 ER로 하면, 제2 단계에서는 산출식 ER=-d7+d2+d3-d8에 기초하여 제2 에지 성분 ER이 산출되는 것을 특징으로 하는 화상 보간 방법.
  20. 제19항에 있어서,
    제1 에지 성분을 EL, 제2 에지 성분을 ER, 미리 정해진 임계치를 Th, 제1 원화소의 화소 데이터와 제4 원화소의 화소 데이터 중 큰 것을 dLmax, 작은 것을 dLmin, dLmax-dLmin을 dL로 하고, 제2 원화소의 화소 데이터와 제3의 원화소의 화소 데이터 중 큰 것을 dRmax, 작은 것을 dRmin, dRmax-dRmin를 dR로 하면, 제3 단계에서는 다음 식 에 기초하여 제1 설정 가능 범위 SL 및 제2 설정 가능 범위 SR이 구해지는 것을 특징으로 하는 화상 보간 방법.
    if EL>Th, then dLmin+dL/2≤SL≤dLmax,
    if -Th≤EL≤Th, then dLmin+dL/4≤SL≤dLmax-dL/4,
    if EL<-Th, then dLmin≤SL≤dLmin+dL/2.
    if ER>Th, then dRmin+dR/2≤SR≤dRmax,
    if -Th≤ER≤Th, then dRmin+dR/4≤SR≤dRmax-dR/4,
    if ER<-Th, then dRmin≤SR≤dRmin+dR/2.
  21. 제18항에 있어서,
    제6 단계에서 설정된 설정 가능 범위 S 내의 화소 데이터를 x로 하여 1조의 대향 화소를 구성하는 2개의 원화소의 화소 데이터를 각각 da 및 db로 하면, 그 조에 대한 상관치 L은 L=│da-x│+│db-x│에 기초하여 산출되는 것을 특징으로 하는 화상 보간 방법.
  22. 제18항에 있어서, 상기 제7 단계는,
    상기 제6 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계;
    선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계;
    최소의 상관 최소치가 하나인 경우에는, 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및
    최소의 상관 최소치가 복수 있는 경우에는, 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 화상 보간 방법.
  23. 제18항에 있어서, 제7 단계는,
    상기 제6 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계;
    선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계;
    최소의 상관 최소치가 하나인 경우에는, 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및
    최소의 상관 최소치가 복수 있는 경우에는, 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터 중 최대치와 최소치를 추출하고, 추출한 최대치와 최소치와의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 화상 보간 방법.
  24. 제18항에 있어서, 상기 제7 단계는,
    상기 제6 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계;
    선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계;
    최소의 상관 최소치가 하나인 경우에는, 그 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및
    최소의 상관 최소치가 복수 있는 경우에는, 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터 중 보간 화소에 가장 근접한 대향 화소로부터 얻어진 화소 데이터를 선택하고, 선택한 화소 데이터가 1개인 경우에는 그 화소 데이터를 보간 화소의 화소 데이터로서 결정하고, 선택한 화소 데이터가 2개인 경우에는 이들 평균치를 보간 화소의 화소 데이터로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 화상 보간 방법.
  25. 좌우 방향에 인접하는 제1 원화소 및 제2 원화소, 상기 제1 원화소의 하측에 인접하는 제3 화소, 및 상기 제2 원화소의 하측에 인접하는 제4 화소로 이루어지는 4개의 원화소의 중앙 위치에 화소를 보간하는 화상 보간 방법에 있어서,
    제1 원화소, 제4 원화소, 상기 제1 원화소와 상기 제4 원화소를 연결하는 선의 연장 상에 있어서 제1 원화소의 좌측으로 경사진 곳에 인접하는 제5 원화소, 및 상기 제1 원화소와 상기 제4 원화소를 연결하는 선의 연장 상에 있어서 제4 원화소의 우측으로 경사진 아래에 인접하는 제6 원화소의 화소 데이터에 기초하여, 보간 화소가 원화상 데이터의 에지 위치 부근에 존재하는가를 판정하기 위한 제1 에지 성분을 산출하는 제1 단계;
    제2 원화소, 제3 원화소, 상기 제2 원화소와 상기 제3 원화소를 연결하는 선의 연장 상에 있어서 제2 원화소의 우측으로 경사진 곳에 인접하는 제7 원화소, 및 상기 제2 원화소와 상기 제3 원화소를 연결하는 선의 연장 상에 있어서 상기 제3 원화소의 좌측으로 경사진 아래에 인접하는 제8 원화소의 화소 데이터에 기초하여, 보간 화소가 원화상 데이터의 에지 위치 부근에 존재하는가를 판정하기 위한 제2 에지 성분을 산출하는 제2 단계;
    산출된 제1 에지 성분 및 제2 에지 성분을 각각 소정의 의사 노이즈 성분에 기초하여 보정하는 제3 단계;
    보정 후의 제1 에지 성분과 제1 및 제4 원화소의 화소 데이터에 기초하여 보간 화소의 화소 데이터의 제1 설정 가능 범위를 구함과 함께, 보정 후의 제2 에지 성분과 제2 및 제3의 원화소의 화소 데이터과 기초하여 보간 화소의 화소 데이터의 제2 설정 가능 범위를 구하는 제4 단계;
    제1 설정 가능 범위와 제2 설정 가능 범위에 상호 중첩하는 부분이 존재하는지의 여부를 판정하는 제5 단계;
    제1 설정 가능 범위와 제2 설정 가능 범위에 상호 중첩하는 부분이 존재하지 않는 경우에는 제1∼ 제4 원화소의 화소 데이터의 평균치를 산출하고, 그 산출 결과를 보간 화소의 화소 데이터로 결정하는 제6 단계;
    제1 설정 가능 범위와 제2 설정 가능 범위에 상호 중첩하는 부분이 존재하는 경우에는 그 중첩하는 부분을 설정 가능 범위로서 설정한 후, 보간 화소를 경사진 방향으로 끼우는 대향 화소의 조를 복수조 선택하고, 각 조마다 보간 화소의 화소 데이터의 설정 가능 범위 내에서 보간 화소의 화소 데이터와 각 대향 화소와의 차이의 절대치의 합과 각 대향 화소의 주변 원화소의 화소 데이터에 기초하여, 산출되는 보정치로 표시되는 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치를 구하는 제7 단계; 및
    상기 각 조마다 구해진, 상관치가 최소가 되는 보간 화소의 화소 데이터와 상관 최소치에 기초하여 보간 화소의 화소 데이터를 구하는 제8 단계
    를 포함하는 것을 특징으로 하는 화상 보간 방법.
  26. 제25항에 있어서,
    제1 원화소의 화소 데이터를 d1, 제4 원화소의 화소 데이터를 d4, 제5 원화소의 화소 데이터를 d5, 제6 원화소의 화소 데이터를 d6으로 하여 제1 에지 성분을 EL로 하면, 제1 단계에서는 산출식 EL=-d5+d1+d4-d6에 기초하여 제1 에지 성분 EL이 산출되고, 또한 제2 원화소의 화소 데이터를 d2, 제3 원화소의 화소 데이터를 d3, 제7 원화소의 화소 데이터를 d7, 제8 원화소의 화소 데이터를 d8로 하여 제2 에지 성분을 ER로 하면, 제2 단계에서는 산출식 ER=-d7+d2+d3-d8에 기초하여 제2 에지 성분 ER이 산출되는 것을 특징으로 하는 화상 보간 방법.
  27. 제26항에 있어서,
    의사 노이즈 성분을 Q로 하고, 제1 에지 성분을 EL, 제2 에지 성분을 ER로 하면, 제3 단계에서 구해진 보정 후의 제1 에지 성분 EL1 및 보정 후의 제2 에지 성분 ER1은 다음 식으로 표시되는 것을 특징으로 하는 화상 보간 방법.
    if -Q≤EL≤Q, then EL1=0,
    if EL>Q or EL<-Q, then EL1=EL.
    if -Q≤ER≤Q, then ER1=0,
    if ER>Q or ER<-Q, then ER1=ER.
  28. 제27항에 있어서,
    보정 후의 제1 에지 성분을 EL1, 보정 후의 제2 에지 성분을 ER1, 제1 원화소의 화소 데이터와 제4 원화소의 화소 데이터 중 큰 것을 dLmax, 작은 것을 dLmin, dLmax와 dLmin의 평균을 dLc로 하고, 제2 원화소의 화소 데이터와 제3의 원화소의 화소 데이터 중 큰 것을 dRmax, 작은 것을 dRmin, dRmax와 dRmin의 평균을 dRc, α 및 γ을 미리 설정된 계수로 하면, 제4 단계에서는 다음 식에 기초하여 제1 설정 가능 범위 SL 및 제2 설정 가능 범위 SR이 구해지는 것을 특징으로 하는 화상 보간 방법.
    if EL1≥0, then dLmin·α+dLc(1-α)≤SL≤dLmax·α+dLc(1-α)+ EL1·γ
    if EL1<0, then dLmin·α+dLc(1-α)+EL1·γ≤SL≤dLmax·α+dLc(1-α).
    if ER1≥0, then dRmin·α+dRc(1-α)≤SR≤dRmax·α+dRc(1-α)+ ER1·γ
    if ER1<0, then dRmin·α+dRc(1-α)+ ER1·γ≤SR≤dRmax·α+dRc(1-α).
  29. 제25항에 있어서,
    제7 단계에서 설정된 설정 가능 범위 S 내의 화소 데이터를 x로 하여 1조의 대향 화소를 구성하는 2개의 원화소의 화소 데이터를 각각 da 및 db로 하면, 그 조에 대한 상관치 L은 L=│da-x│+│db-x│에 기초하여 산출되는 것을 특징으로 하는 화상 보간 방법.
  30. 제25항에 있어서, 상기 제8 단계는,
    상기 제7 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계;
    선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계;
    최소의 상관 최소치가 하나인 경우에는, 그 최소의 상관 최소치를 얻는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및
    최소의 상관 최소치가 복수 있는 경우에는, 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계를 포함하는 것을 특징으로 하는 화상 보간 방법.
  31. 제25항에 있어서, 상기 제8 단계는,
    상기 제7 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계;
    선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계;
    최소의 상관 최소치가 하나인 경우에는, 그 최소의 상관 최소치를 얻는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및
    최소의 상관 최소치가 복수 있는 경우에는, 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터 중에서 최대치와 최소치를 추출하고, 추출한 최대치와 최소치와의 평균치를 보간 화소의 화소 데이터로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 화상 보간 방법.
  32. 제25항에 있어서, 제8 단계는,
    제7 단계에서 각 조마다 구해진 상관 최소치 중 최소의 상관 최소치를 선택하는 단계;
    선택한 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터를 추출하는 단계;
    최소의 상관 최소치가 하나인 경우에는, 그 최소의 상관 최소치를 얻는 보간 화소의 화소 데이터를 보간 화소의 화소 데이터로서 결정하는 단계; 및
    최소의 상관 최소치가 복수 있는 경우에는, 이들 최소의 상관 최소치를 제공하는 보간 화소의 화소 데이터 중 보간 화소에 가장 근접한 대향 화소로부터 얻어진 화소 데이터를 선택하고, 선택한 화소 데이터가 하나인 경우에는 그 화소 데이터를 보간 화소의 화소 데이터로서 결정하고, 선택한 화소 데이터가 2개인 경우에는 이들 평균치를 보간 화소의 화소 데이터로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 화상 보간 방법.
KR1020017004293A 1999-08-05 2000-07-28 화상 보간 방법 KR100652100B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP22271799 1999-08-05
JP1999-222717 1999-08-05
JP1999-241520 1999-08-27
JP24152099 1999-08-27
JP1999-274967 1999-09-28
JP27496799 1999-09-28
JP2000-89664 2000-03-28
JP2000089664 2000-03-28

Publications (2)

Publication Number Publication Date
KR20010099671A KR20010099671A (ko) 2001-11-09
KR100652100B1 true KR100652100B1 (ko) 2006-12-01

Family

ID=27477045

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017004293A KR100652100B1 (ko) 1999-08-05 2000-07-28 화상 보간 방법

Country Status (5)

Country Link
US (1) US7039254B1 (ko)
EP (1) EP1173017B1 (ko)
KR (1) KR100652100B1 (ko)
DE (1) DE60040786D1 (ko)
WO (1) WO2001011879A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3767513B2 (ja) * 2002-04-26 2006-04-19 三菱電機株式会社 画素補間回路、走査線補間回路、画素補間方法、走査線補間方法、および応用装置
US7432979B2 (en) * 2003-09-03 2008-10-07 Sony Corporation Interlaced to progressive scan image conversion
JP3767593B2 (ja) * 2003-10-07 2006-04-19 三菱電機株式会社 画素補間回路及び画素補間方法
KR100543466B1 (ko) 2003-11-13 2006-01-20 삼성전자주식회사 영상 보간 장치 및 방법
US7345708B2 (en) * 2003-12-23 2008-03-18 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
WO2005081542A1 (ja) * 2004-02-19 2005-09-01 Mitsubishi Denki Kabushiki Kaisha 画像処理方法
JP4358055B2 (ja) * 2004-07-21 2009-11-04 株式会社東芝 補間画素生成回路
US8325273B2 (en) * 2005-06-06 2012-12-04 Broadcom Corporation System and method for vertical gradient detection in video processing
US20080247649A1 (en) * 2005-07-07 2008-10-09 Chun Hing Cheng Methods For Silhouette Extraction
JP2007195062A (ja) * 2006-01-20 2007-08-02 Fujitsu Ltd 画像静止領域判定装置、およびインタレース−プログレッシブ画像変換装置
JP5331681B2 (ja) 2006-04-20 2013-10-30 ジヤンセン・フアーマシユーチカ・ナームローゼ・フエンノートシヤツプ ｃ−ｆｍｓキナーゼの阻害剤
FR2906053A1 (fr) * 2006-09-15 2008-03-21 St Microelectronics Sa Desentrelacement d'images.
TWI451755B (zh) 2007-04-11 2014-09-01 Red Com Inc 影像攝影機
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
WO2009130820A1 (ja) * 2008-04-21 2009-10-29 シャープ株式会社 画像処理装置、表示装置、画像処理方法、プログラムおよび記録媒体
US20090275366A1 (en) * 2008-05-05 2009-11-05 Schilling Donald L Personal portable communication devices with deployable display systems for three dimensional visual representations and/or privacy and methods of use
WO2009157221A1 (ja) * 2008-06-27 2009-12-30 シャープ株式会社 液晶表示装置の制御装置、液晶表示装置、液晶表示装置の制御方法、プログラムおよびその記録媒体
JP4806102B2 (ja) * 2008-06-27 2011-11-02 シャープ株式会社 液晶表示装置の制御装置、液晶表示装置、液晶表示装置の制御方法、プログラムおよび記録媒体
JP2016508700A (ja) 2013-02-14 2016-03-22 レッド．コム，インコーポレイテッド ビデオカメラ
US11019336B2 (en) 2017-07-05 2021-05-25 Red.Com, Llc Video image data processing in electronic devices
KR20220081141A (ko) 2020-12-08 2022-06-15 주식회사 엘엑스세미콘 무라를 보상하기 위한 보상 데이터 생성 장치 및 보상 데이터를 이용하는 디스플레이의 무라 보상 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6268366A (ja) 1985-09-20 1987-03-28 Matsushita Electric Ind Co Ltd 画素内插方式
JP2751928B2 (ja) 1987-01-29 1998-05-18 キヤノン株式会社 映像情報補間方法
JPH02177683A (ja) * 1988-09-29 1990-07-10 Toshiba Corp 画素信号の相関判定および補間データ作成装置
US5093721A (en) * 1990-07-10 1992-03-03 Zenith Electronics Corporation Line interpolator with preservation of diagonal resolution
US5410356A (en) * 1991-04-19 1995-04-25 Matsushita Electric Industrial Co., Ltd. Scanning-line interpolation apparatus
JP3161849B2 (ja) 1991-12-25 2001-04-25 松下電器産業株式会社 画像データ補間方法および画像データ補間装置
JPH05207271A (ja) 1992-01-24 1993-08-13 Matsushita Electric Ind Co Ltd 画像拡大装置
JPH05233794A (ja) 1992-02-20 1993-09-10 Hitachi Ltd 多値自然画デジタル画像の拡大方法及びその拡大装置
US5886745A (en) * 1994-12-09 1999-03-23 Matsushita Electric Industrial Co., Ltd. Progressive scanning conversion apparatus
JPH0937214A (ja) 1995-07-14 1997-02-07 Matsushita Electric Ind Co Ltd 順次走査変換方法及び順次走査変換装置
JPH08305843A (ja) 1995-05-10 1996-11-22 Ricoh Co Ltd デジタル画像の画素密度変換方法
MY117289A (en) * 1996-01-17 2004-06-30 Sharp Kk Image data interpolating apparatus
JPH1141565A (ja) * 1997-07-23 1999-02-12 Sharp Corp 画像データ補間装置
US6262773B1 (en) * 1997-09-15 2001-07-17 Sharp Laboratories Of America, Inc. System for conversion of interlaced video to progressive video using edge correlation
JPH11144053A (ja) * 1997-11-11 1999-05-28 Sharp Corp 画像データの補間処理方法
JPH11146346A (ja) 1997-11-13 1999-05-28 Matsushita Electric Ind Co Ltd 順次走査変換方法及び順次走査変換装置
US6192158B1 (en) * 1998-03-30 2001-02-20 Motorola, Inc. Wavelet image coder using trellis-coded quantization
US6118488A (en) * 1998-08-31 2000-09-12 Silicon Integrated Systems Corporation Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
JP3717863B2 (ja) * 2002-03-27 2005-11-16 三洋電機株式会社 画像補間方法

Also Published As

Publication number Publication date
WO2001011879A1 (fr) 2001-02-15
EP1173017A1 (en) 2002-01-16
EP1173017B1 (en) 2008-11-12
US7039254B1 (en) 2006-05-02
EP1173017A4 (en) 2005-11-30
DE60040786D1 (de) 2008-12-24
KR20010099671A (ko) 2001-11-09

Similar Documents

Publication Publication Date Title
KR100652100B1 (ko) 화상 보간 방법
US7199840B2 (en) Dynamic gray scale range adjustment apparatus and method
US5832143A (en) Image data interpolating apparatus
JP2931520B2 (ja) 単板式カラービデオカメラの色分離回路
KR950006042B1 (ko) 고체촬상소자를 사용한 비디오 카메라장치 및 그 제어방법
JP3771054B2 (ja) 画像処理装置及び画像処理方法
JP3253125B2 (ja) カラー画像読取り補正装置
KR20070055366A (ko) 화상 표시 장치, 화상 표시 방법, 화상 표시 방법의프로그램 및 그 방법의 프로그램을 기록한 기록 매체
US7346210B2 (en) Image processing device and image processing program for determining similarity factors of pixels
JP3717863B2 (ja) 画像補間方法
KR100956228B1 (ko) 왜곡 영상 보정 기능을 갖는 영상처리 장치
KR20040102108A (ko) 화상 변환 장치 및 화상 변환 방법
CN113068011B (zh) 图像传感器、图像处理方法及***
KR100468786B1 (ko) 방향성을 예측하고 다항식 필터로 보간을 수행하여스케일링 해상도를 높이는 보간기, 이를 구비한 스케일링장치, 및 그 방법
JP3706529B2 (ja) 画像補間方法
KR100807612B1 (ko) 화상 신호 처리 회로, 표시 장치, 및 화상 신호 처리 방법
KR100967262B1 (ko) 화상 변환 장치 및 화상 변환 방법
US20110170776A1 (en) Image distortion correcting method and image processing apparatus
US6219104B1 (en) Picture processing apparatus and processing method
US6906704B2 (en) Noise elimination method and noise elimination apparatus
EP1820341A2 (en) Method and apparatus for generating motion compensated pictures
US7995148B2 (en) Image processing apparatus and image processing method
JPH07107273A (ja) 画像処理装置及び方法
JP2003143421A (ja) 画像処理装置および画像処理方法
JPH09200575A (ja) 画像データ補間装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee