KR20110081200A - 화소 예측치 생성 순서 자동 생성 방법, 화상 부호화 방법, 화상 복호 방법, 그 장치, 그 프로그램 및 그 프로그램을 기록한 기록 매체 - Google Patents

화소 예측치 생성 순서 자동 생성 방법, 화상 부호화 방법, 화상 복호 방법, 그 장치, 그 프로그램 및 그 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
KR20110081200A
KR20110081200A KR1020117008939A KR20117008939A KR20110081200A KR 20110081200 A KR20110081200 A KR 20110081200A KR 1020117008939 A KR1020117008939 A KR 1020117008939A KR 20117008939 A KR20117008939 A KR 20117008939A KR 20110081200 A KR20110081200 A KR 20110081200A
Authority
KR
South Korea
Prior art keywords
pixel
image
encoding
generated
generating
Prior art date
Application number
KR1020117008939A
Other languages
English (en)
Other versions
KR101314836B1 (ko
Inventor
세이시 다카무라
마사아키 마츠무라
요시유키 야시마
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20110081200A publication Critical patent/KR20110081200A/ko
Application granted granted Critical
Publication of KR101314836B1 publication Critical patent/KR101314836B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

부호화 대상의 화소의 값을 복호 완료 화소를 사용하여 예측하는 예측치 생성 순서의 자동 생성 방법으로서, 트리 구조로 표현되는 예측치 생성 순서를 랜덤으로 생성함으로써 모집단을 생성하고, 상기 모집단으로부터 부모가 되는 복수의 예측치 생성 순서를 선택하고 그들을 처리 대상으로 하여 기존의 예측치 생성 함수를 트리의 종단 노드가 될 수 있는 것으로서 실행하는 소정의 트리 구조 진화 수법에 기초하여 자식이 되는 하나 또는 복수의 예측치 생성 순서를 생성하고 상기 자식 및 부모의 예측치 생성 순서를 선택 대상으로 하고 트리 구조를 표현하기 위한 정보량과 그 트리 구조에 의해 얻어지는 화소 예측치로부터 추측되는 화상 부호량과의 합을 평가 비용으로서 사용하여 부호화 대상 화상을 부호화할 경우의 최량의 평가 비용을 나타내는 예측치 생성 순서를 선택하고 반복 처리를 거쳐 최종적인 예측치 생성 순서를 생성한다.

Description

화소 예측치 생성 순서 자동 생성 방법, 화상 부호화 방법, 화상 복호 방법, 그 장치, 그 프로그램 및 그 프로그램을 기록한 기록 매체{Pixel prediction value generation procedure automatic generation method, image encoding method, image decoding method, devices using these methods, programs for these methods, and recording medium on which these programs are recorded}
본 발명은 고정밀도의 화소치 예측을 실현하기 위한 화소 예측치 생성 순서를 자동 생성하는 화소 예측치 생성 순서 자동 생성 방법 및 그 장치와, 그것에 의해 생성된 화소 예측치 생성 순서를 실장함으로써 화상을 효율적으로 부호화하는 화상 부호화 방법 및 그 장치와, 그 화상 부호화에 의해 생성된 부호화 데이터를 효율적으로 복호하는 화상 복호 방법 및 그 장치와, 그 방법의 실현에 사용되는 프로그램 및 그 프로그램을 기록한 컴퓨터 독해 가능한 기록 매체에 관한 것이다.
본원은 2008년 10월 27일에 출원된 일본특원2008-275811호에 기초하여 우선권을 주장하고 그 내용을 여기에 원용한다.
화상 부호화에서는 이미 복호된 앞이나 위의 화소를 사용하여 부호화 대상의 화소치를 예측하고 예측 잔차를 부호화하는 예측 부호화 방식이 주류를 이룬다.
이 예측 부호화 방식으로는, 장차 부호화하려고 하는 화소(p라고 한다)를 부호화할 때 주변의 복호 완료 화소(예를 들면 도 14에 도시한 Inw,In,Ine,Iw 등)가 일반적으로 p와 높은 상관을 갖는다는 것을 이용하여 이들을 사용하여 p의 예측치를 생성한다. 이후 p의 예측치를 p'라고 한다. 계속해서 예측 오차p-p'를 엔트로피 부호화한다.
예를 들면 JPEG(비특허문헌 1 참조)의 Lossless Mode는 7개의 예측기를 가지고 이 중 하나를 선택하여 화소치를 예측·부호화한다.
예를 들면 JPEG의 예측기의 수법 중 하나인 「평균 예측」으로 불리는 것은 In과 Iw의 평균에 의해
x'=(In+Iw)/2 …식(1)
으로 예측하는 것이다.
기타,
x'=In+Iw-Inw 평면 예측 …식(2)
x'=In 전치(前値) 예측 …식(3)
x'=Inw+(In-Iw)/2 복합 예측 …식(4)
등 6종류가 있다.
JPEG보다 효율을 더 높인 예측 부호화 방식JPEG-LS(비특허문헌 2 참조)에서는 다음에 나타내는 「MED예측」이라고 불리는 약간 복잡한 예측 방법이 사용되었다.
if Inw≥max(Iw,In) then
x'=min(Iw,In)
else if Inw≤min(Iw,In) then
x'=max(Iw,In)
else
x=Iw+In-Inw
여기에서 max(x,y)는 x,y 중 큰 쪽을 되돌리고 (return), min(x,y)는 x,y 중 작은 쪽을 되돌리는 함수이다.
또 주변 화소의 무게부 평균을 예측치로 하는 방법도 일반적이며, 간단하게는 화상마다 최소 제곱법에 의해 각 주변 화소의 무게를 구하거나 부호량이 최소가 되도록 계수를 최적화하는 방법(비특허문헌 3 참조)도 존재한다.
또 예측 부호화의 범주는 아니지만, 화상·영상 부호화의 부호화 파라미터의 최적화에 「유전적 알고리즘」(Genetic Algorithm, GA)을 사용한 방식으로서는 하기의 비특허문헌 4가 있으며, 2치 화상을 부호화할 때의 콘텍스트를 생성하는 「템플리트」를 유전적 알고리즘에 의해 변화시켜 효율을 개선시킨다. 템플리트가 일종의 파라미터라고 생각되며 부호화 순서는 고정이다.
같은 방향성의 수법으로서, 하기 비특허문헌 5에서는 부호화하는 단위 영역의 분할 형상을 유전적 알고리즘에 의해 동적 변화시켜 효율을 개선시킨다. 이것도 비특허문헌 4의 템플리트와 마찬가지로 부호화 순서 자체는 고정이다.
비특허문헌 1: ISO/1ECSC29/WG1, ISO/1EC 10918-1"Digital compression and coding of continuous-tone still images", p.133, 1993 비특허문헌 2: M.Weinberger, G.Seroussi, G.Sapiro, "The LOCO-I LossIess lmage Compression Algorithm: Principles and Standardization into JPEG-LS", IEEE Trans.lmage Processing, Vol.9, No.8, pp.1309-1324, August 2000 비특허문헌 3: lchiro Matsuda, Nau Ozaki, Yuji Umezu and Susumu ltoh, "Lossless Coding Using Variable Block-Size Adaptive Prediction Optimized for Each lmage", Proceedings of 13th European Signal Processing Conference(EUSIPCO 2005), WedAmPO3, Sep.2005. 비특허문헌 4: 다나카, 사카나시, 미조구치, 히구치:"유전적 알고리즘을 사용한 디지털 인쇄 화상의 2치 화상 부호화", 전자정보통신학회 논문지D-Ⅱ vol.J83-D-Ⅱ, no.5, pp.1274-1283, May 2000 비특허문헌 5: 다카기, 고이케, 마츠모토, 야마모토: "유전적 알고리즘을 사용한 동화상 움직임 보상·영역 분할 부호화 방식", 전자정보통신학회 논문지D-Ⅱ vol.J83-D-Ⅱ, no.6, pp.1437-1445, June 2000
이와 같이 종래의 예측 방식은 무게 등의 수치 파라미터를 화상마다 최적화하는 정도의 유연성밖에 없어 어떤 화소를 예측 계산에 사용할지 어떤 식을 조건 분기에 사용할지 등 「예측 순서」는 고정이었다.
즉, 새로운 예측 순서는 인간이 시행착오적으로 시험하면서 생성할 수밖에 없었다. 따라서 예측기의 구성은 인간이 파악할 수 있는 정도의 복잡함을 벗어날 수 없었다.
또한 입력 화상에 특화된 예측 순서를 화상마다 새로 생성하는 방식도 존재하지 않았다.
또 화상 처리 응용에서는 처리의 목표가 되는 화상, 즉 「교사 정보」를 인간이 만들어 부여할 필요가 있었다.
이상과 같은 문제를 감안하여 본 발명은 「예측치 생성에 복호 완료된 주변 화소를 사용하는 점」에서는 종래의 예측 방법과 동일하지만, 입력된 화상에 적합한, 부호량을 더 삭감할 수 있는 예측 수속을 계산기가 자동 생성하는 것을 실현함으로써 고능률의 부호화·복호에 도움이 되는 새로운 기술의 제공을 목적으로 하는 것이다.
〔1〕본 발명의 화소 예측치 생성 순서 자동 생성 장치의 구성
먼저 본 발명의 화소 예측치 생성 순서 자동 생성 장치의 구성에 대해서 설명하기로 한다.
본 발명의 화소 예측치 생성 순서 자동 생성 장치는 부호화 대상의 화소의 값을 복호 완료 화소를 사용하여 예측하는 예측치 생성 순서의 자동 생성을 실현하는 것으로서, 이 실현을 위해 (1)트리 구조로 표현되는 예측치 생성 순서를 랜덤으로 생성함으로써 모집단을 생성하는 제1 수단과, (2)모집단에서 부모가 되는 복수의 예측치 생성 순서를 선택하고, 그들을 처리 대상으로 하여 기존의 예측치 생성 함수를 트리의 종단 노드가 될 수 있는 것으로서 실행하는 소정의 트리 구조 진화 수법에 기초하여 자식이 되는 하나 또는 복수의 예측치 생성 순서를 생성하는 제2 수단과, (3)자식의 예측치 생성 순서 및 부모의 예측치 생성 순서를 선택 대상으로 하고 트리 구조를 표현하기 위한 정보량과 그 트리 구조에 의해 얻어지는 화소 예측치로부터 추측되는 화상 부호량과의 합을 평가 비용으로서 사용하여 부호화 대상 화상을 부호화할 경우의 최량의 평가 비용을 나타내는 예측치 생성 순서를 선택하고, 그 선택한 예측치 생성 순서와 그 이외의 하나 또는 복수의 예측치 생성 순서를 모집단에 저장하는 제3 수단과, (4)소정의 조건을 충족할 때까지 제2 및 제3 수단에 의한 처리를 반복하도록 제어하여 그 결과 얻어지는 최량의 평가 비용을 나타내는 예측치 생성 순서를 최종적인 예측치 생성 순서로서 생성하는 제4 수단을 구비하도록 구성한다.
이 구성을 채용할 때 제2 수단은 화상내의 좌표치를 출력하는 함수에 대해서도 트리의 종단 노드가 될 수 있는 것으로서 실행하는 소정의 트리 구조 진화 수법에 기초하여 자식의 예측치 생성 순서를 생성하는 경우가 있다.
또 제1 수단은 기존의 예측치 생성 함수를 상기 모집단에 넣을 수 있도록 하여 모집단을 생성하는 경우가 있다.
이상의 각 처리 수단이 동작함으로써 실현되는 본 발명의 화소 예측치 생성 순서 자동 생성 방법은 컴퓨터 프로그램에서도 실현할 수 있는 것이며, 이 컴퓨터 프로그램은 적절한 컴퓨터 독해 가능한 기록 매체에 기록하여 제공되거나 네트워크를 통해 제공되고, 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어 수단상에서 동작함으로써 본 발명을 실현하게 된다.
이와 같이 구성되는 본 발명의 화소 예측치 생성 순서 자동 생성 장치에서는, 트리 구조로 표시되는 화소 예측치의 생성 순서를 랜덤으로 생성함으로써 모집단을 생성하면 모집단에서 부모가 되는 복수의 예측치 생성 순서를 선택하고 그들을 처리 대상으로 하여 소정의 트리 구조 진화 수법에 기초하여 자식이 되는 하나 또는 복수의 예측치 생성 순서를 생성하여 트리 구조를 표현하기 위한 정보량(후술 알고리즘1 등에 의해 구해지는)과, 그 트리 구조에 의해 얻어지는 화소 예측치(후술 알고리즘2 등에 의해 구해지는)로부터 추측되는 화상 부호량과의 합을 평가 비용으로서 사용하여 부호화 대상 화상을 부호화할 경우의 최량의 평가 비용을 나타내는 예측치 생성 순서를 선택한다. 그리고 그 선택한 예측치 생성 순서와 그 이외의 예측치 생성 순서를 모집단에 저장하는 것을 반복함으로써 새로운 화소 예측치의 생성 순서를 자동 생성하는 것을 실현한다.
이와 같이 본 발명의 화소 예측치 생성 순서 자동 생성 장치는 유전적 프로그래밍과 같은 트리 구조 진화 수법에 기초하여 새로운 화소 예측치의 생성 순서를 자동 생성함으로써 고정밀도의 화소치 예측을 실현하는 것인데, 이 때 트리 구조를 표현하기 위한 정보량과 그 트리 구조에 의해 얻어지는 화소 예측치로부터 추측되는 화상 부호량과의 합을 평가 비용으로서 사용함으로써 트리의 비대화를 억제하면서 고효율의 화상 부호화를 실현하는 화소 예측치의 생성 순서를 자동 생성할 수 있게 된다.
그리고 이 때 기존의 예측치 생성 함수를 트리의 종단 노드가 될 수 있는 것으로서 그 트리 구조 진화 수법을 실행함으로써 종래 방식과 동등한 예측 효율을 담보할 수 있게 된다.
이 실현을 더욱 확실한 것으로 하기 위해 모집단을 생성할 때 기존의 예측치 생성 함수의 트리 구조를 모집단에 넣을 수 있도록 하여 모집단을 생성하도록 하는 경우가 있다.
게다가 이 때 화상내의 좌표치를 출력하는 함수에 대해서도 트리의 종단 노드가 될 수 있는 것으로서 그 트리 구조 진화 수법을 실행하는 경우가 있으며 이 실행에 의해 화상 내부의 구조에 따라 x,y의 좌표치를 사용하여 국소적으로 화소 예측치의 생성 순서를 바꾸는 것도 가능해진다.
〔2〕본 발명의 화상 부호화 장치 및 화상 복호 장치의 구성(그 1)
복호측에 대해 자동 생성한 화소 예측치의 생성 순서를 전달하는 구성을 채용할 경우에는 본 발명의 화상 부호화 장치 및 화상 복호 장치를 다음과 같이 구성한다.
〔2-1〕본 발명의 화상 부호화 장치의 구성
본 발명의 화상 부호화 장치는 복호측에 화소 예측치의 생성 순서를 전달하는 구성을 채용할 경우에는 (1)본 발명의 화소 예측치 생성 순서 자동 생성 장치가 실행하는 처리에 따라 부호화 대상 화상을 부호화할 경우의 최량의 평가 비용을 나타내는 예측치 생성 순서를 생성하는 제1 수단과, (2)제1 수단에서 생성한 예측치 생성 순서를 부호화(후술하는 알고리즘3 등에 의해 부호화)하는 제2 수단과, (3)제1 수단에서 생성한 예측치 생성 순서에 기초하여 부호화 대상 화상이 가진 화소의 예측치를 생성(후술하는 알고리즘2 등에 의해 생성)하는 제3 수단과, (4)제3 수단에서 생성한 화소 예측치에 기초하여 산출되는 예측 잔차 신호를 부호화하는 제4 수단을 구비하도록 구성한다.
이상의 각 처리 수단이 동작함으로써 실현되는 본 발명의 화상 부호화 방법은 컴퓨터 프로그램에서도 실현할 수 있는 것이며, 이 컴퓨터 프로그램은 적절한 컴퓨터 독해 가능한 기록 매체에 기록하여 제공되거나 네트워크를 통해 제공되고 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어 수단상에서 동작함으로써 본 발명을 실현하게 된다.
이 구성에 따라 본 발명의 화상 부호화 장치는 본 발명의 화소 예측치 생성 순서 자동 생성 장치가 생성하는 고정밀도의 화소치 예측을 실현하고, 또한 고효율의 화상 부호화를 실현하는 화소 예측치의 생성 순서를 사용하여 화상의 부호화를 실행함으로써 고효율의 화상 부호화를 실현할 수 있게 된다.
〔2-2〕본 발명의 화상 복호 장치의 구성
본 발명의 화상 복호 장치는 〔2-1〕에 기재된 본 발명의 화상 부호화 장치가 생성한 부호화 데이터를 복호하기 위해 (1)부호화측에서 생성된 부호화 데이터로서, 본 발명의 화소 예측치 생성 순서 자동 생성 장치가 실행하는 처리에 의해 생성된 예측치 생성 순서에 관한 부호화 데이터를 복호(후술하는 알고리즘4 등에 의해 복호)하는 제1 수단과, (2)제1 수단에서 복호한 예측치 생성 순서에 기초하여 복호 대상 화상이 가진 화소의 예측치를 생성(후술하는 알고리즘2 등에 의해 생성)하는 제2 수단과, (3)부호화측에서 생성된 부호화 데이터로서, 제1 수단에서 복호한 예측치 생성 순서에 기초하여 생성된 화소 예측치에 의해 산출된 예측 잔차 신호에 관한 부호화 데이터를 복호하는 제3 수단과, (4)제2 수단에서 생성한 화소 예측치와 제3 수단에서 복호한 예측 잔차 신호에 기초하여 복호 대상 화상을 복원하는 제4 수단을 구비하도록 구성한다.
이상의 각 처리 수단이 동작함으로써 실현되는 본 발명의 화상 복호 방법은 컴퓨터 프로그램에서도 실현할 수 있는 것이며, 이 컴퓨터 프로그램은 적절한 컴퓨터 독해 가능한 기록 매체에 기록하여 제공되거나 네트워크를 통해 제공되고 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어 수단상에서 동작함으로써 본 발명을 실현하게 된다.
이 구성에 따라 본 발명의 화상 복호 장치는 〔2-1〕에 기재된 본 발명의 화상 부호화 장치가 생성한 부호화 데이터를 복호하는 것을 실현하는 것이다.
〔3〕본 발명의 화상 부호화 장치 및 화상 복호 장치의 구성(그 2)
부호화측에서 부호화된 화상에 대해서는 부호화측에서도 복호 화상을 생성하게 된다. 장차 부호화측과 복호측에서 같은 복호 화상을 공통으로 보유할 수 있게 됨으로써 본 발명을 실현할 때 필요한 화소 예측치의 생성 순서를 부호화측에서 복호측으로 전송하지 않아도 된다는 것을 실현할 수 있는 가능성이 있다.
그래서 본 발명에서는 이것을 실현하기 위해 본 발명의 화상 부호화 장치 및 화상 복호 장치를 다음과 같이 구성한다.
〔3-1〕본 발명의 화상 부호화 장치의 구성
본 발명의 화상 부호화 장치는 복호측에 화소 예측치의 생성 순서를 전달하지 않도록 한다는 구성을 채용할 경우에는 (1)트리 구조 진화 수법에 의존하지 않고 생성된 기존 화소 예측치 생성 순서를 사용하여 소정 크기를 가진 부호화 대상 화상 부분을 부호화하는 제1 수단과, (2)제1 수단에서 부호화했을 때에 얻은 부호화 대상 화상 부분의 복호 화상을 부호화하는 경우에 대해서 트리 구조를 표현하기 위한 정보량을 제로로 추측하여 실행하는 본 발명의 화소 예측치 생성 순서 자동 생성 장치가 실행하는 처리에 따라 최량의 평가 비용을 나타내는 예측치 생성 순서를 생성하는 제2 수단과, (3)제2 수단에서 생성한 예측치 생성 순서에 기초하여 제1 수단에서 부호화하지 않은 부호화 대상 화상 부분의 화소에 대해서 예측치를 생성(후술하는 알고리즘2 등에 의해 생성)하는 제3 수단과, (4)제3 수단에서 생성한 화소 예측치에 기초하여 산출되는 예측 잔차 신호를 부호화하는 제4 수단을 구비하도록 구성한다.
이상의 각 처리 수단이 동작함으로써 실현되는 본 발명의 화상 부호화 방법은 컴퓨터 프로그램에서도 실현할 수 있는 것이며, 이 컴퓨터 프로그램은 적절한 컴퓨터 독해 가능한 기록 매체에 기록하여 제공되거나 네트워크를 통해 제공되고 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어 수단상에서 동작함으로써 본 발명을 실현하게 된다.
이 구성에 따라서 본 발명의 화상 부호화 장치는 본 발명의 화소 예측치 생성 순서 자동 생성 장치가 생성하는 고정밀도의 화소치 예측을 실현하고 또한 고효율의 화상 부호화를 실현하는 화소 예측치의 생성 순서를 사용하여 화상의 부호화를 실행함으로써 고효율의 화상 부호화를 실현할 수 있게 된다.
게다가 본 발명의 화상 부호화 장치는 트리 구조 진화 수법에 의존하지 않고 생성된 기존 화소 예측치 생성 순서를 사용하여 소정 크기를 가진 부호화 대상 화상 부분을 부호화함으로써 복호측과 공통으로 보유할 수 있는 그 부호화 대상 화상 부분의 복호 화상을 생성하도록 하고 그것을 사용하여 복호측에서도 생성 가능하게 되는 최량의 평가 비용을 나타내는 예측치 생성 순서를 생성하도록 함으로써 복호측에 화소 예측치의 생성 순서를 전달하지 않도록 하는 것을 실현할 수 있게 된다.
〔3-2〕본 발명의 화상 복호 장치의 구성
본 발명의 화상 복호 장치는 〔3-1〕에 기재된 본 발명의 화상 부호화 장치가 생성한 부호화 데이터를 복호하기 위해 (1)부호화측에서 생성된 부호화 데이터로서, 트리 구조 진화 수법에 의존하지 않고 생성된 기존 화소 예측치 생성 순서를 사용함으로써 부호화된 소정 크기를 가진 복호 대상 화상 부분에 관한 부호화 데이터를 복호하는 제1 수단과, (2)제1 수단에서 복호한 복호 대상 화상 부분을 부호화하는 경우에 대해서 트리 구조를 표현하기 위한 정보량을 제로로서 추측하여 실행하는 본 발명의 화소 예측치 생성 순서 자동 생성 장치가 실행하는 처리에 따라 최량의 평가 비용을 나타내는 예측치 생성 순서를 생성하는 제2 수단과, (3)제2 수단에서 생성한 예측치 생성 순서에 기초하여 제1 수단에서 복호되지 않은 복호 대상 화상 부분이 가진 화소에 대해서 예측치를 생성(후술하는 알고리즘2 등에 의해 생성)하는 제3 수단과, (4)부호화측에서 생성된 부호화 데이터로서, 제2 수단에서 생성한 예측치 생성 순서에 기초하여 생성된 화소 예측치에 의해 산출된 예측 잔차 신호에 관한 부호화 데이터를 복호하는 제4 수단과, (5)제3 수단에서 생성한 화소 예측치와 제4 수단에서 복호한 예측 잔차 신호에 기초하여 제1 수단에서 복호되지 않은 복호 대상 화상 부분을 복원하는 제5 수단을 구비하도록 구성한다.
이상의 각 처리 수단이 동작함으로써 실현되는 본 발명의 화상 복호 방법은 컴퓨터 프로그램에서도 실현할 수 있는 것이며, 이 컴퓨터 프로그램은 적절한 컴퓨터 독해 가능한 기록 매체에 기록하여 제공되거나 네트워크를 통해 제공되고 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어 수단상에서 동작함으로써 본 발명을 실현하게 된다.
이 구성에 따라서 본 발명의 화상 복호 장치는 〔3-1〕에 기재된 본 발명의 화상 부호화 장치가 생성한 부호화 데이터를 복호하는 것을 실현하는 것이다.
게다가 본 발명의 화상 복호 장치는 트리 구조 진화 수법에 의존하지 않고 생성된 기존 화소 예측치 생성 순서를 사용함으로써 부호화된 소정 크기를 가진 복호 대상 화상 부분에 관한 부호화 데이터를 복호함으로써 부호화측과 공통으로 보유할 수 있는 그 복호 대상 화상 부분의 복호 화상을 생성하도록 하고 그것을 사용하여 부호화측에서도 생성 가능하게 되는 최량의 평가 비용을 나타내는 예측치 생성 순서를 생성하도록 함으로써 부호화측에서 화소 예측치의 생성 순서가 전달되지 않아도 된다는 것을 실현할 수 있게 된다.
이상 상술한 것처럼, 본 발명에 의하면 화소치를 예측하는 순서 자체를 그 정보량을 추측하면서 계산기에 의해 자동 변화시킴으로써 혹은 기존 방식에 의해 이미 부호화된 화소를 사용하여 복호측에서도 진화 계산을 함으로써 잔차 정보량의 저감에 주력한 예측기를 이용할 수 있게 되어 결과적으로 보다 적은 부호량으로 화상을 부호화할 수 있게 된다.
또 본 발명의 종단 노드 후보에는 종래 방식에 의한 예측기 함수도 포함하고 있기 때문에 최악의 경우에도 종래 방식과 동등한 예측 효율을 얻을 수 있다. 추가로 「부호화되는 화소의 좌표」도 포함하기 때문에 화상 내부의 구조에 따라 예측 순서를 바꿀 수도 있다.
또 후술하는 나가오의 진화적 화상 처리 방법(참고문헌 4)은, 입력 화상은 물론 고정할 수 없기 때문에 다양한 입력 화상에 대해 범용적으로 동작하는 것이 기대되지만 미지의 입력 화상에 반드시 양호 동작하는지 여부를 보장하는 것은 실질적으로 불가능한다. 그에 반해 본 발명에서는 현재의 입력 화상만을 효율적으로 부호화하는 것만 기대되므로 그와 같은 미지의 입력에 대응할 필요가 없어 실용성이 높다.
또 본 발명에서는 「잔차 정보량과 트리의 정보량과의 합」이 최소화해야 할 유일한 지표이므로 화상 처리 응용에서는 사전에 인간이 만들 필요가 있는 「교사 정보」는 불필요하다.
도 1은 평균 예측 트리 구조 표현의 설명도이다.
도 2는 교차 처리의 설명도이다.
도 3은 돌연변이 처리의 설명도이다.
도 4는 역위 처리의 설명도이다.
도 5는 본 발명의 일실시형태의, 진화 예측기 생성 장치의 장치 구성도이다.
도 6은 동 실시형태의 진화 예측기 생성 장치가 실행하는 흐름도이다.
도 7은 본 발명의 일실시형태의, 화상 부호화 장치 및 화상 복호 장치의 장치 구성도이다.
도 8은 동 실시형태의 화상 부호화 장치가 실행하는 흐름도이다.
도 9는 동 실시형태의 화상 복호 장치가 실행하는 흐름도이다.
도 10은 본 발명의 다른 실시형태의, 화상 부호화 장치 및 화상 복호 장치의 장치 구성도이다.
도 11은 동 실시형태의 화상 부호화 장치가 실행하는 흐름도이다.
도 12는 동 실시형태의 화상 복호 장치가 실행하는 흐름도이다.
도 13은 본 발명의 유효성을 검증하기 위해 행한 실험의 설명도이다.
도 14는 주목 화소의 주변에 위치하는 복호 완료 화소의 설명도이다.
본 발명은 「유전적 프로그래밍」(Genetic Programming, GP)을 사용하여 입력된 동화상이나 정지 화상(이하, 화상이라고 칭한다)에 적합한, 부호량을 더 삭감할 수 있는 예측 수속을 계산기가 자동 생성하는 것을 실현한다.
다음으로 본 발명의 기본적인 사고방식에 대해서 설명하기로 한다.
〔1〕예측 순서의 트리 구조 표현
예를 들면, 전술한 식(1)로 표시되는 평균 예측은, 도 1과 같이 트리 구조에 의해 표현할 수 있다. 편의적으로 이 트리 표현과 등가의 기법으로서 「S식(Symbolic Expression)」이라는 것을 사용하기도 한다.
후술하는 유전적 프로그래밍에서는 이 S식을 사용하여 트리 구조를 표현하는 것이 관례로 되어 있다.
S식에 의하면, 예를 들면 전술한 max(x,y)는 (max x y)로 기록되고,전술한 MED예측은,
(T(sub(Inw)(max(Iw)(In)))(min(Iw)(In))(T(sub(min(Iw)(In))(Inw))(max(Iw)(In))(add(Iw)(sub(In)(Inw)))))
와 같이 기록된다. 아울러 행 바꿈 (改行)에 특별히 의미는 없다.
여기에서 함수T는 3개의 인수를 취하는 것으로서,
(T A B C)=B A≥0인 경우
=C A<0인 경우 …식(5)
라는 조건 분기를 나타내는 것으로 되어 있다.
아울러 T는 ternary(3항)의 이니셜이다.
이상과 같이 임의의 알고리즘을 트리로서 기술할 수 있으며 당연히 화소치의 예측 알고리즘도 마찬가지로 트리 구조에 의해 기술할 수 있다.
여기에서 함수로서는, 상기 T 외에 가감승제, 삼각함수, 제곱, 제곱근, 지수, 대수, 절대값, 최소치, 최대치 등을 생각할 수 있다.
이러한 함수는 인수를 취하기 때문에 트리의 종단이 아닌 부분에 나타난다. 따라서 「비종단 노드」라고도 불린다. 이것은 사전에 준비해 놓은 것 외에 동적으로 정의해도 좋다(하기 참고문헌 1 참조).
〔참고문헌 1〕J.Koza:“Genetic Programming II, Automatic Discovery of Reusable Programs“, The MIT Press, pp.41, 1998
또 그 자체가 값을 갖기 때문에 트리의 종단에 위치하는 「종단 노드」로서, 예를 들면 0.148과 같은 수치, 도 14에 도시한 Iw,In,Ine,Inw와 같은 주변 화소치가 있다.
〔2〕본 발명에서의 종단 노드의 특징
본 발명에서는 종단 노드가 될 수 있는 후보 중 「기존 부호화 방식에 의해 예측치를 출력하는 함수」도 포함한다.
함수는 일반적으로는 인수를 필요로 하기 때문에 본래는 종단 노드가 되지 않는 것이지만, 기존 부호화 방식에 의해 예측치를 출력하는 함수는 기존 부호화 방식에 관한 함수이므로 어떠한 것이 인수가 되는지 정해져 있기 때문에 종단 노드가 될 수 있는 것이다.
이 「기존 부호화 방식에 의해 예측치를 출력하는 함수」가 출력하는 예측치는 상술한 주변 화소치와 같이 부호화되는 화소(주목 화소)마다 다른 값을 취하는 것이다.
이 함수가 출력하는 예측치는, 예를 들면 「최소 제곱 예측치」, 「평면 예측치」, 「복호 예측치」, 「CALIC(하기 참고문헌 2 참조)의 예측치」, 「JPEG-LS의 예측치」이다.
〔참고문헌 2〕X.Wu and N.Memon:“Context-Based, Adaptive, LossIess lmage Coding“, IEEE Transactions on Communications, vol.45, no.4, pp.437-444, Apr.1997
이와 같이 종단 노드가 될 수 있는 후보 중 「기존 부호화 방식에 의해 예측치를 출력하는 함수」를 포함시킴으로써 거의 오버헤드 없이 종래 방식과 동등한 예측 효율을 얻을 수 있다.
즉, 본 발명에서는 후술하는 것처럼 유전적 프로그래밍을 사용하여 화소치 예측의 예측 순서(트리 구조)를 진화시킴으로써 예측 효율이 좋은 예측기(예측 순서)를 자동 생성하는 것을 실현하는 것인데, 종단 노드가 될 수 있는 후보 중 「기존 부호화 방식에 의해 예측치를 출력하는 함수」를 포함시킴으로써 종래 방식의 예측기도 진화 대상에 포함된다.
이로써 종래 방식의 예측기가 다른 자동 생성되는 예측기보다도 예측 효율이 좋은 경우에는 그 종래 방식의 예측기가 최종적으로 유전적 프로그래밍에 의해 자동 생성되기 때문에 거의 오버헤드 없이 종래 방식과 동등한 예측 효율을 얻을 수 있는 것이다.
물론 유전적 프로그래밍을 사용하여 진화시킨 예측기, 종래 방식의 예측기의 조합에 의해 더 효율적인 예측을 얻을 수 있다면 그쪽이 부호화에 채용된다.
추가로 본 발명에서는 종단 노드가 될 수 있는 후보 중에 「부호화되는 화소(주목 화소)의 좌표를 출력하는 함수」도 포함한다.
이러한 함수가 출력하는 좌표는, 예를 들면 화상의 좌단의 화소는 x=-1, 우단은 x=1, 화상의 상단의 화소는 y=-1, 하단은 y=1이 되도록 정규화한 값이어도 좋고 순수한 좌표치여도 좋다.
주목 화소의 화면내 좌표치를 출력하는 함수는, 예를 들면 랜덤으로 화면내 좌표치를 출력하는 것처럼, 인수를 필요로 하지 않고 화면내 좌표치를 출력할 수 있기 때문에 종단 노드가 될 수 있는 것이다.
이와 같이 종단 노드가 될 수 있는 후보 중 「주목 화소의 화면내 좌표치를 출력하는 함수」를 포함시킴으로써 화상 내부의 구조에 따라 x,y의 좌표치를 사용하여 국소적으로 처리를 전환하는 것도 가능해진다.
예를 들면, 화상의 위5/6은 해당 예측 순서를 사용하는 예측기, 화상의 하1/6은 해당 예측 순서를 사용하는 예측기를 사용하도록 y의 값에 의해 처리를 전환하는 예측기를 생성할 수 있게 되는 것이다.
〔3〕예측 순서의 평가치, 트리의 정보량, 예측치를 구하는 방법
〔3-1〕예측 순서의 평가치
예측 순서를 후술하는 것처럼 진화시킬 때 소정의 평가 척도가 필요하게 된다.
본 발명에서는 예측 순서를 나타내는 개체의 평가치(유전적 프로그래밍에서는 적합도라고 부른다)로서,
(i)트리 구조를 표현하기 위한 정보량X
(ii)실제로 그 트리 구조의 예측 순서에 의해 화소치 예측한 예측 잔차의 정보량Y의 합(X+Y)
을 사용한다.
여기에서 본 발명에서는 개체(유전적 프로그래밍에서는 트리를 개체라고 칭한다)의 평가치를 예측 잔차의 정보량Y만으로 정하는 것이 아니라 트리의 정보량X를 고려하여 정하도록 하는데, 이것은 예측 순서 그 자체를 복호측에 전달할 필요가 있기 때문이다.
또 다른 이유로서, 개체의 평가치를 트리의 정보량X를 고려하여 정하도록 함으로써 유전적 프로그래밍에서 문제가 되는 팽창증(bloat)이라고 불리는 트리의 비대화 발생을 억제할 수 있다.
〔3-2〕트리 구조를 표현하기 위한 정보량X
트리 구조를 표현하기 위한 정보량X는 그 트리에 포함되는 모든 노드의 정보량의 합이다.
트리 구조를 표현하기 위한 정보량은, 예를 들면 다음과 같은 재귀적 함수에 의해 구할 수 있다. 여기에서 트리의 노드가 나타내는 수치는, 예를 들면 10비트 고정 소수점 정수에 의해 표현되어 있는 것으로 한다.
〔알고리즘1〕
Function tree_info(t)
begin
if t가 수치인 경우 then
return FUNCINFO+1O
else begin
s:=FUNCINF0//함수의 분
foreach(t에 접속하는 모든 하위 노드c에 대해서)
begin
s:=s+tree_info(c)
end
return s
end
end
여기에서 각 함수에는 O부터 N-1까지의 고유의 일련 번호가 붙어 있는 것으로 한다.
FUNCINFO는, 모든 함수(max나 min,add 등)의 수를 N으로 했을 때 함수를 고정장 부호화했을 때의 부호량을 나타내는 이하의 양이다:
FUNCINFO=log2(N+1) …식(6)
이 식(6)에서 N+1이 되는 것은 함수의 경우에 추가하여 수치(2나 1/4 등)의 경우도 포함시키기 때문이다.
여기에서는 고정장 부호화를 가정하였는데 함수별 야기 빈도를 고려한 가변장 부호화나 산술 부호화를 행해도 좋다.
그리고 나서 주목하는 예측 순서(트리)의 최상위 노드를 root로 했을 때
X=tree_info(root) …식(7)
을 구하면 트리의 정보량X가 구해진다.
〔3-3〕예측치를 구하는 방법
주어진 트리가 나타내는 예측 순서에 기초한 예측치를 구하는 방법인데, 이것도 다음과 같이 재귀적인 함수에 의해 구할 수 있다.
〔알고리즘2〕
Function tree_eval(t)
begin
if t가 수치인 경우 then//즉치의 경우
return 그 수치
else if t가 인수를 가지지 않는 경우 then//예:In
return t의 함수치
else if t가 인수를 1개 가진 경우 then//예:sqrt(A)
return t의 함수(tree_eval(t의 첫번째 하위 노드))
else if t가 인수를 2개 가진 경우 then//예:add(AB)
return t의 함수(tree_eval(t의 첫번째 하위 노드),
tree_eval(t의 2번째 하위 노드))
else if t가 인수를 3개 가진 경우 then//예:삼항 연산자T
return t의 함수(tree_eval(t의 첫번째 하위 노드),
tree_eval(t의 2번째 하위 노드),
tree_eval(t의 3번째 하위 노드))
end
여기에서는 인수의 갯수가 3개까지인 함수만 가정하였으나, 인수 갯수의 상한이 4개, 5개로 늘어도 처리는 동일하다.
그리고 나서 주목하고 있는 예측 순서(트리)의 최상위 노드를 root로 했을 때
x'=tree_eval(root) …식(8)
로서 현재의 주목 화소에서의 예측치p'를 구할 수 있다.
또 예측 잔차의 정보량Y는, 예를 들면 이하와 같이 하여 구한다.
[수식 1]
Figure pct00001
…식(1)
여기에서 hd는 예측 오차d(=x-x')의 화상 전체에서의 발생 (生起) 횟수(히스토그램)이고, W,H는 각각 화상의 가로·세로의 화소수이다.
또한 CALIC가 행하는 것처럼 「콘텍스트 분리」나 「error feedback」, 「error flipping」이라고 불리는 수법에 의해 정보량을 삭감해도 좋다.
〔4〕예측 순서의 부호화·복호
〔4-1〕예측 순서의 부호화
예측 순서의 부호화도 정보량 추정과 동일한 이하의 재귀적 수속으로 실행할 수 있다.
〔알고리즘3〕
Procedure tree_encode(t)
begin
if t가 수치인 경우 then begin
FUNCINFO비트를 사용하여 「N」(수치를 나타낸다)을 부호화
10비트를 사용하여 수치(고정 소수점)을 부호화
end else begin
FUNCINFO비트를 사용하여 「t의 함수 번호(O..N-1)」를 부호화
for each(t에 접속하는 모든 하위 노드c에 대해서)
begin
tree_encode(c)
end
end
end
그리고 나서 주목하는 예측 순서(트리)의 최상위 노드를 root로 했을 때 tree_encode(root)를 실행하면 그 트리를 부호화할 수 있다. 이 때의 필요 부호량의 하한은 tree_info(root)에 일치된다.
〔4-2〕예측 순서의 복호
알고리즘3에 의해 부호화된 예측 순서의 복호도 동일한 이하의 재귀적 함수로 실행할 수 있다.
〔알고리즘4〕
function tree_decode()
begin
비어 있는 트리T를 작성
FUNCINFO비트를 복호하여 함수 번호n을 복호
if n=N then begin//수치인 경우
10비트를 복호하여 10비트 고정 소수점수x를 복호한다
T:=x
end else begin
함수 번호n에 대응하는 함수F를 구한다
T:=F
For i=1 to F가 필요로 하는 인수의 수 begin
T의 i번째 하위 노드:=tree_decode()
end
end
return T
end
여기에서 「F가 필요로 하는 인수의 수」란, 예를 들면 F=add이면 2, F=T이면 3 등 그 함수가 값을 낼 때 사용하는 값의 갯수(부호화측, 복호측 모두 기지)이다.
F는 그 개수만큼 하위 노드를 자신의 인수로서 가지고 있다.
그리고 나서 tree_decode()를 실행하면 비트 스트림에서 트리가 복호되어 되돌려진다.
〔5〕유전적 프로그래밍에 의한 예측 순서의 자동 진화
본 발명에서는 일반에 알려진 이하와 같은 유전적 프로그래밍의 순서(복제 선택, 자식의 생성, 생존 선택)에 의해 예측기를 진화시킨다.
유전적 프로그래밍에서는 트리를 「개체」라고 부른다. 여기에서는 그에 따라 설명하기로 한다.
1.우선 모집단을 난수로 생성한 것이나 기존 예측 알고리즘(상술한 평면 예측이나 MED예측)으로부터 생성하여 둔다
2.이어서 그 중에서 부모 집합을 선택한다(복제 선택)
3.부모 집합으로부터 자식 개체 집합을 생성하여(자식의 생성) 평가한다(평가 척도에 대해서는 상술)
4.평가 결과에 기초하여 자식 개체 집합에서 생존시키는 것을 선택한다(생존 선택)
여기에서 「자식」에 대해서는 부모로서 선택된 개체끼리,
도 2에 도시한 교차(crossover: 부모1과 부모2의 교차점을 랜덤으로 선택하고 각각 교차점에 따른 부분 트리끼리 교차시킨다),
도 3에 도시한 돌연변이(mutation: 랜덤으로 돌연변이점을 선택하고 그 점에 따른 부분 트리와 돌연변이 트리를 교체한다),
도 4에 도시한 역위(inversion: 형제 트리를 교체한다) 등의 처리에 의해 생성한다.
또 복제 선택 및 생존 선택을 합하여 「세대 교체 모델」이라고 부르지만, 여기에는 예를 들면 일반적으로 알려진 하기 참고문헌 3이 제안하는 MGG(minimal generation gap)법 등을 사용할 수 있다.
〔참고문헌 3〕사토, 오노, 고바야시: “유전적 알고리즘에서의 세대 교체 모델의 제안과 평가“, 인공지능 학회지, vol.12, no.5, pp.734-744, 1996
이와 같이 유전적 프로그래밍에 의해 처리 순서를 진화시키는 방법으로서 대표적인 것에 하기 참고문헌 4가 있다. 단, 이것은 화상 처리 순서에 관한 것이다.
〔참고문헌 4〕후지시마, 나가오:“GP에 의한 구조 최적화와 GA에 의한 수치 최적화를 병용한 화상 처리 자동 생성법PT-ACTIT“, 영상정보미디어 학회지 vol.59, no.11, pp.1687-1693, 2005
그러나 본 발명과 같이 「화상」부호화 순서를 진화시키는 수법은 아직 제안되어 있지 않다. 전술한 비특허문헌 4나 비특허문헌 5의 수법은 부호화 파라미터의 최적화에 불과하다.
이하 실시형태에 따라 본 발명을 상세히 설명하기로 한다.
도 5에 본 발명의 일실시형태예인 진화 예측기 생성 장치(1)의 구성을 도시한다.
본 실시형태의 진화 예측기 생성 장치(1)는 유전적 프로그래밍(유전적 프로그래밍에서는 트리를 「개체」라고 부른다)을 사용하여 화소 예측치를 생성하는 예측기(이하, 본 실시형태가 생성하는 예측기를 진화 예측기라고 칭한다)를 자동 생성하는 것을 실현하는 것이다.
이 자동 생성을 실현하기 위해, 도 5에 도시한 것처럼 모집단 생성부(10)와, 모집단 기억부(11)와, 부모 개체 선택 복제부(12)와, 자식 개체 생성부(13)와, 돌연변이용 정보 기억부(14)와, 평가치 산출부(15)와, 생존 개체 결정부(16)와, 집속 (收束) 판정부(17)와, 진화 예측기 결정부(18)를 구비한다.
모집단 생성부(10)는 진화 예측기의 생성원이 되는 예측기의 개체를 랜덤으로 생성함으로써 모집단을 생성하고 그것을 모집단 기억부(11)에 저장한다. 이 때 기존의 예측치 생성 함수(개체)를 모집단에 넣는 형태로 모집단을 생성하여 그것을 저장하게 된다.
또한 모집단 생성부(10)는 평가치 산출부(15)에 대해 모집단 기억부(11)에 저장하는 개체에 관한 평가치의 산출을 요구하고 그 요구에 응답하여 평가치 산출부(15)로부터 반환되는 평가치를 받아들이고, 그것을 저장하는 개체와 대응하면서 모집단 기억부(11)에 저장하는 처리를 한다.
부모 개체 선택 복제부(12)는 모집단 기억부(11)에 저장되는 복수의 개체를 선택하여 그것을 복제함으로써 복수의 부모 개체를 생성한다.
또한 부모 개체 선택 복제부(12)는 그 생성한 부모 개체의 생성원이 된 개체를 모집단 기억부(11)에서 삭제하는 처리를 한다.
자식 개체 생성부(13)는 유전적 프로그래밍에 따라 부모 개체 선택 복제부(12)가 생성한 부모 개체에 대해 도 2에 도시한 교차를 형성하거나, 돌연변이용 정보 기억부(14)에 저장되는 돌연변이용 정보를 사용하여 도 3에 도시한 돌연변이를 형성하거나, 도 4에 도시한 역위를 형성함으로써 자식 개체를 생성한다.
또한 자식 개체 생성부(13)는 평가치 산출부(15)에 대해 생성한 자식 개체에 대한 평가치의 산출을 요구하고 그 요구에 응답하여 평가치 산출부(15)에서 반환되는 평가치를 받아들임으로써 생성한 자식 개체의 평가치를 산출한다.
돌연변이용 정보 기억부(14)는 자식 개체 생성부(13)가 부모 개체에 대해 돌연변이를 형성할 경우에 필요한 돌연변이용 정보(돌연변이 트리)를 저장하는 것으로서, 화상내의 좌표치를 출력하는 함수(개체)와 기존의 예측치 생성 함수(개체)가 포함되는 돌연변이용 정보를 저장한다.
평가치 산출부(15)는 개체를 지정하여 그 개체의 평가치의 산출 요구가 있으면 트리 구조를 표현하기 위한 정보량(전술한 X: 개체 정보량)과, 실제로 그 트리 구조의 예측 순서에 의해 화소치 예측한 전화면의 예측 잔차의 정보량(전술한 Y: 예측 잔차 정보량)과의 합인 정보량 총합을 산출하고 그 산출한 정보량 총합을 개체의 평가치로서 평가치 산출 요구원에 반환하는 처리를 한다.
생존 개체 결정부(16)는 부모 개체 선택 복제부(12)가 생성한 부모 개체가 가진 평가치(모집단 기억부(11)로부터 독출한다)와, 자식 개체 생성부(13)가 생성한 자식 개체가 가진 평가치에 기초하여 최량의 평가치를 가진 개체를 선택하고 그 선택한 개체와 그 이외의 하나 또는 복수의 개체를 그 평가치와 함께 모집단 기억부(11)에 저장한다.
집속 판정부(17)는 평가치 산출부(15)가 산출하는 평가치 등에 기초하여 진화 예측기의 생성 완료를 나타내는 집속 조건의 성립 여부를 판정하여 그 집속 조건이 성립된 것으로 판정할 때에는 진화 예측기 결정부(18)에 대해 진화 예측기를 결정할 것을 지시한다.
진화 예측기 결정부(18)는 집속 판정부(17)로부터 진화 예측기의 결정 요구가 있으면 모집단 기억부(11)에 저장되는 개체 중 최량의 평가치를 가진 개체를 특정하고 그 특정한 개체를 진화 예측기로서 결정하여 출력한다.
도 6에, 이와 같이 구성되는 본 실시형태의 진화 예측기 생성 장치(1)가 실행하는 흐름도를 도시한다.
다음으로 이 흐름도에 따라 진화 예측기 생성 장치(1)가 실행하는 처리에 대해서 상세히 설명하기로 한다.
본 실시형태의 진화 예측기 생성 장치(1)는 부호화 대상이 되는 화상에 관한 진화 예측기의 생성 요구가 있으면, 도 6의 흐름도에 도시한 것처럼 우선 최초로 단계S101에서, 기존 부호화 방식의 예측치를 출력하는 개체를 포함시키는 형태로 모집단(진화의 근원이 되는 개체의 집단)을 생성한다.
계속해서 단계S102에서 모집단의 각 개체에 대해서 트리 구조를 표현하기 위한 정보량X와, 실제로 그 트리 구조의 예측 순서에 의해 화소치 예측한 전화면의 예측 잔차의 정보Y와의 합을 산출함으로써 평가치를 산출한다.
여기에서 트리 구조를 표현하기 위한 정보량X에 대해서는 전술한 알고리즘1에 의해 산출하게 된다.
또 트리 구조의 예측 순서에 의해 예측되는 화소치에 대해서는 전술한 알고리즘2에 의해 산출하게 된다.
계속해서 단계S103에서 모집단의 각 개체를 그것이 가진 평가치와 함께 모집단 기억부(11)에 저장한다.
계속해서 단계S104에서 모집단 기억부(11)에 저장되는 모집단의 개체 중 N개의 부모 개체를 선택하여 그것이 가진 평가치를 독출한다.
계속해서 단계S105에서 선택한 N개의 부모 개체를 복사함과 동시에 선택한 N개의 부모 개체를 모집단 기억부(11)로부터 삭제한다.
계속해서 단계S106에서 돌연변이용 정보 기억부(14)가 저장하는 돌연변이용 정보를 이용하면서 유전적 프로그래밍에 의해 도 2에 도시한 교차나 도 3에 도시한 돌연변이나 도 4에 도시한 역위를 형성함으로써 복사한 N개의 부모 개체로부터 M개의 자식 개체를 생성한다.
이 때 돌연변이에서 개체(트리)에 더해지는 후보로서, 「종래 방식에 의한 예측치의 생성 함수」, 「피부호화 화소의 x좌표, y좌표를 출력하는 함수」가 포함되어 있다.
계속해서 단계S107에서 생성한 M개의 자식 개체에 대해서 트리 구조를 표현하기 위한 정보량X와, 실제로 그 트리 구조의 예측 순서에 의해 화소치 예측한 예측 잔차의 정보Y와의 합을 산출함으로써 평가치를 산출한다.
계속해서 단계S108에서 생성한 M개의 자식 개체와 복사한 N개의 부모 개체를 선택 대상으로 하여, 최량의 평가치를 가진 개체와 그 이외의 개체 중 랜덤으로 선택한 (N-1)개의 개체를 생존 개체로서 선택한다.
계속해서 단계S109에서 선택한 생존 개체를 그것이 가진 평가치와 함께 모집단 기억부(11)에 저장한다.
계속해서 단계S110에서 소정의 집속 조건에 도달했는지 여부를 판단하여 집속 조건에 도달하지 않았다고 판단할 때에는 진화가 충분하지 않다고 판단하여 단계S104의 처리로 되돌아온다.
이 때 사용하는 집속 조건으로서는, 예를 들면 평가치Z(=X+Y)의 감소 비율이 일정치(e.g., O.1%)를 밑돌거나 평가 횟수가 일정치(e.g., 1만회)를 초과하는 조건을 사용한다.
한편 단계S110의 판단 처리에 따라 소정의 집속 조건에 도달했다고 판단할 때에는 단계S111로 진행하여 모집단 기억부(11)에 저장되는 모집단의 개체 중 최량의 평가치를 가진 개체를 최종적인 진화 개체(진화 예측기)로서 선택하여 출력하고 처리를 종료한다.
이와 같이 하여 본 실시형태의 진화 예측기 생성 장치(1)는 유전적 프로그래밍을 사용하여 고정밀도의 화소치 예측을 실현하는 진화 예측기를 자동 생성하는 것을 실현하는 것이다.
이 실현시에 본 실시형태의 진화 예측기 생성 장치(1)는 트리 구조를 표현하기 위한 정보량X와, 실제로 그 트리 구조의 예측 순서에 의해 화소치 예측한 전화면의 예측 잔차의 정보Y와의 합을 평가치로서 사용함으로써 고효율의 화상 부호화를 실현하는 화소치를 예측하는 예측기를 자동 생성할 수 있게 된다.
그리고 이 때 개체에 더해지는 후보로서 「종래 방식에 의한 예측치의 생성 함수」를 포함시킴으로써 종래 방식과 동등한 예측 효율을 얻을 수 있게 된다.
또한 모집단을 생성할 때 이 「종래 방식에 의한 예측치의 생성 함수」의 개체를 모집단에 포함시키도록 하면 이 실현이 더욱 확실해진다.
게다가 이 때 개체에 더해지는 후보로서 「피부호화 화소의 x좌표, y좌표를 출력하는 함수」를 포함시킴으로써 화상 내부의 구조에 따라 xy의 좌표치를 사용하여 국소적으로 진화 예측기를 전환하는 것도 실현 가능해진다.
도 7에 이와 같은 특징을 가진 본 실시형태의 진화 예측기 생성 장치(1)를 이용하는 화상 부호화 장치(100) 및 화상 복호 장치(200)의 일실시형태예를 도시한다.
도 7에 도시한 본 실시형태의 화상 부호화 장치(100)는 본 실시형태의 진화 예측기 생성 장치(1)가 실행하는 처리에 따라 부호화 대상 화상에 적용되는 진화 예측기를 생성하는 진화 예측기 생성부(101)와, 진화 예측기 생성부(101)가 생성한 진화 예측기를 부호화하는 진화 예측기 부호화부(102)와, 진화 예측기 생성부(101)가 생성한 진화 예측기를 사용하여 부호화 대상 화상을 부호화하는 화상 부호화부(103)와, 진화 예측기 부호화부(102) 및 화상 부호화부(103)가 생성한 부호화 데이터를 본 실시형태의 화상 복호 장치(200)에 송신하는 부호화 데이터 송신부(107)를 구비한다.
그리고 이 화상 부호화부(103)는 부호화 대상 화상을 부호화하기 위해 진화 예측기 생성부(101)가 생성한 진화 예측기를 사용하여 화소치를 예측하는 화소 예측치 생성부(104)와, 화소 예측치 생성부(104)가 예측한 화소 예측치에 기초하여 예측 잔차를 산출하는 예측 잔차 산출부(105)와, 예측 잔차 산출부(105)가 산출한 예측 잔차를 부호화하는 예측 잔차 부호화부(106)를 구비한다.
한편 도 7에 도시한 본 실시형태의 화상 복호 장치(200)는 본 실시형태의 화상 부호화 장치(100)에서 송신되는 부호화 데이터를 수신하는 부호화 데이터 수신부(201)와, 부호화 데이터 수신부(201)가 수신한 진화 예측기의 부호화 데이터를 복호함으로써 화상 부호화 장치(100)가 생성한 진화 예측기를 복호하는 진화 예측기 복호부(202)와, 진화 예측기 복호부(202)가 복호한 진화 예측기와 부호화 데이터 수신부(201)가 수신한 부호화 데이터에 기초하여 화상 부호화 장치(100)가 부호화한 화상을 복호하는 화상 복호부(203)를 구비한다.
그리고 이 화상 복호부(203)는 본 실시형태의 화상 부호화 장치(100)가 부호화한 화상을 복호하기 위해 진화 예측기 복호부(202)가 복호한 진화 예측기를 사용하여 화소치를 예측하는 화소 예측치 생성부(204)와, 부호화 데이터 수신부(201)가 수신한 예측 잔차의 부호화 데이터를 복호하는 예측 잔차 복호부(205)와, 화소 예측치 생성부(204)가 예측한 화소 예측치와 예측 잔차 복호부(205)가 복호한 예측 잔차에 기초하여 화상 부호화 장치(100)가 부호화한 화상을 복원하는 화상 복원부(206)를 구비한다.
도 8에, 도 7에 도시한 화상 부호화 장치(100)가 실행하는 흐름도를 도시하고, 도 9에, 도 7에 도시한 화상 복호 장치(200)가 실행하는 흐름도를 도시한다.
다음으로 이들 흐름도에 따라 도 7과 같이 구성되는 본 실시형태의 화상 부호화 장치(100) 및 화상 복호 장치(200)가 실행하는 처리에 대해서 설명하기로 한다.
도 7과 같이 구성되는 화상 부호화 장치(100)는 부호화 대상 화상의 부호화 요구가 있으면 도 8의 흐름도에 도시한 것처럼 우선 최초로 단계S201에서 상술한 진화 예측기 생성 장치(1)가 실행하는 처리에 따라 부호화 대상 화상에 적용되는 진화 예측기를 생성하고, 계속되는 단계S202에서 그 생성한 진화 예측기를 전술한 알고리즘3에 따라 부호화한다.
계속해서 부호화 대상 화상의 부호화에 들어가 단계S203에서 생성한 진화 예측기를 사용하여 화소 예측치(전술한 p')를 생성하고, 계속되는 단계S204에서 그 생성한 화소 예측치에 기초하여 예측 잔차(전술한 p-p)를 산출한다.
계속해서 단계S205에서 그 산출한 예측 잔차를 부호화하고 계속되는 단계S206에서 부호화 대상 화상이 가진 전화소에 대해서 부호화의 종료 여부를 판단하여 전화소에 대해서 부호화를 종료하지 않았다고 판단할 때에는 단계S203의 처리로 되돌아가고, 전화소에 대해서 부호화를 종료했다고 판단할 때에는 처리를 종료한다.
이 화상 부호화 장치(100)가 생성한 부호화 데이터를 받아 도 7과 같이 구성되는 화상 복호 장치(200)는 도 9의 흐름도에 도시한 것처럼 우선 최초로 단계S301에서 진화 예측기의 부호화 데이터를 전술한 알고리즘4에 따라 복호함으로써 화상 부호화 장치(100)가 생성한 진화 예측기를 복호한다.
계속해서 복호 대상 화상의 복호에 들어가 단계S302에서 복호한 진화 예측기를 사용하여 화소 예측치(전술한 p')를 생성하고, 계속되는 단계S303에서 예측 잔차의 부호화 데이터를 복호함으로써 예측 잔차(전술한 p-p')를 복호하고, 계속되는 단계S304에서 그 생성한 화소 예측치와 그 복호한 예측 잔차에 기초하여 화소치를 생성하여 출력한다.
계속해서 단계S305에서 복호 화상이 가진 전화소에 대해서 복호의 종료 여부를 판단하여, 전화소에 대해서 복호를 종료하지 않았다고 판단할 때에는 단계S302의 처리로 돌아가고, 전화소에 대해서 복호를 종료했다고 판단할 때에는 처리를 종료한다.
이와 같이 하여 도 7과 같이 구성되는 화상 부호화 장치(100)는 진화 예측기를 생성하고 그것을 사용하여 화상을 부호화함과 동시에 진화 예측기에 대해서도 부호화하도록 하고, 반면 도 7과 같이 구성되는 화상 복호 장치(200)는 진화 예측기의 부호화 데이터를 복호함으로써 화상 부호화 장치(100)가 생성한 진화 예측기를 얻도록 하고 그것을 사용하여 화상을 복호하도록 처리하는 것이다.
전술한 것처럼 진화 예측기 생성 장치(1)는 고정밀도의 화소치 예측을 실현하는 진화 예측기를 자동 생성한다.
이제 이 진화 예측기 생성 장치(1)가 생성하는 진화 예측기를 사용하여 화상을 부호화하여 복호하는 화상 부호화 장치(100) 및 화상 복호 장치(200)에 의하면 높은 부호화 효율을 실현할 수 있게 된다.
도 10에, 상술한 진화 예측기 생성 장치(1)를 이용하는 화상 부호화 장치(100) 및 화상 복호 장치(200)의 다른 실시형태예를 도시한다.
도 7에 도시한 화상 부호화 장치(100) 및 화상 복호 장치(200)에서는 진화 예측기를 부호화 전송할 필요가 있는데, 도 10에 도시한 화상 부호화 장치(100') 및 화상 복호 장치(200')에서는, 진화 예측기에 대해서는 부호화를 전송하지 않고 복호측에서 이미 전송 완료된 화소를 사용하여 부호화측이 생성한 진화 예측기를 생성할 수 있도록 한다. 이로써 부호화측과 복호측이 동일한 진화 예측기를 사용하여 화상을 부호화·복호할 수 있도록 하는 것을 실현한다.
이 실현을 위해 도 10에 도시한 화상 부호화 장치(100')는 기존 예측기를 사용하여 부호화 대상 화상이 가진 소정 크기의 화상 부분을 부호화하는 제1 화상 부호화부(110)와, 제1 화상 부호화부(110)가 부호화시에 복호한 부호화 화상 부분의 복호 화상을 사용하여 그 복호 화상에 적용되는 진화 예측기를 생성하는 진화 예측기 생성부(111)와, 진화 예측기 생성부(111)가 생성한 진화 예측기를 사용하여 부호화 대상 화상의 나머지 화상 부분을 부호화하는 제2 화상 부호화부(112)와, 제1 화상 부호화부(110) 및 제2 화상 부호화부(112)가 생성한 부호화 데이터를 화상 복호 장치(200')에 송신하는 부호화 데이터 송신부(116)를 구비한다.
그리고 이 제2 화상 부호화부(112)는 제1 화상 부호화부(110)가 부호화하지 않은 화상 부분을 부호화하기 위해 진화 예측기 생성부(111)가 생성한 진화 예측기를 사용하여 화소치를 예측하는 화소 예측치 생성부(113)와, 화소 예측치 생성부(113)가 예측한 화소 예측치에 기초하여 예측 잔차를 산출하는 예측 잔차 산출부(114)와, 예측 잔차 산출부(114)가 산출한 예측 잔차를 부호화하는 예측 잔차 부호화부(115)를 구비한다.
한편 도 10에 도시한 화상 복호 장치(200')는 화상 부호화 장치(100')에서 송신되는 부호화 데이터를 수신하는 부호화 데이터 수신부(210)와, 부호화 데이터 수신부(210)가 수신한 부호화 데이터에 포함되는 제1 화상 부호화부(110)가 생성한 부호화 데이터를 복호하는 제1 화상 복호부(211)와, 제1 화상 복호부(211)가 복호한 화상 부분에 적용되는 진화 예측기를 생성하는 진화 예측기 생성부(212)와, 진화 예측기 생성부(212)가 생성한 진화 예측기와 부호화 데이터 수신부(210)가 수신한 부호화 데이터에 포함되는 제2 화상 부호화부(112)가 생성한 부호화 데이터에 기초하여 제1 화상 복호부(211)가 복호하지 않은 화상 부분을 복호하는 제2 화상 복호부(213)와, 제1 화상 복호부(211)가 복호한 화상과 제2 화상 복호부(213)가 복호한 화상을 통합함으로써 복호 대상의 화상을 생성하는 화상 통합부(217)를 구비한다.
그리고 이 제2 화상 복호부(213)는 제1 화상 복호부(211)가 복호하지 않은 화상 부분을 복호하기 위해 진화 예측기 생성부(212)가 생성한 진화 예측기를 사용하여 화소치를 예측하는 화소 예측치 생성부(214)와, 부호화 데이터 수신부(210)가 수신한 제1 화상 복호부(211)가 복호하지 않은 화상 부분에 대한 예측 잔차의 부호화 데이터를 복호하는 예측 잔차 복호부(215)와, 화소 예측치 생성부(214)가 예측한 화소 예측치와 예측 잔차 복호부(215)가 복호한 예측 잔차에 기초하여 제1 화상 복호부(211)가 복호하지 않은 화상 부분을 복원하는 화상 복원부(216)를 구비한다.
도 11에, 도 10에 도시한 화상 부호화 장치(100’)가 실행하는 흐름도를 도시하고, 도 12에, 도 10에 도시한 화상 복호 장치(200’)가 실행하는 흐름도를 도시한다.
다음으로 이러한 흐름도에 따라 화상 부호화 장치(100') 및 화상 복호 장치(200’)가 실행하는 처리에 대해서 설명하기로 한다.
화상 부호화 장치(100')는 화상의 부호화 요구가 있으면 우선 최초로 단계S401에서 기존 예측기를 사용하여 부호화 대상 화상이 가진 소정 크기의 화상 부분(화소수가 N개라고 한다)의 부호화에 들어가, 계속되는 단계S402에서 그 화상 부분의 부호화 종료 확인이 얻어질 때까지 그 부호화를 행함으로써 그 화상 부분을 부호화한다.
예를 들면 JPEG-LS 등을 사용하여 부호화 대상 화상이 가진 소정 크기의 화상 부분을 부호화하는 것이다.
계속해서 단계S403에서 상술한 진화 예측기 생성 장치(1)가 실행하는 처리에 따라 단계S401의 부호화에서 얻은 복호 화상(부호화한 화상 부분에 대한 복호 화상)에 적용되는 진화 예측기를 생성한다.
여기에서 진화 예측기의 생성시에는 전술한 것처럼 원칙적으로는 트리 구조를 표현하기 위한 정보량X와, 실제로 그 트리 구조의 예측 순서에 의해 화소치 예측한 전화면의 예측 잔차의 정보Y와의 합으로 정의되는 평가치에 따라 가장 좋은 평가치를 나타내는 진화 예측기를 생성하게 되는 것인데, 이 실시형태예의 경우에는 진화 예측기를 전송할 필요가 없기 때문에 정보량X=0으로서 평가치를 산출하도록 하고(진화 순서에 변경은 없음) 그에 기초하여 진화 예측기를 생성하도록 처리하게 된다.
계속해서 단계S401에서 부호화하지 않은 부호화 대상 화상의 화상 부분의 부호화에 들어가 단계S404에서 생성한 진화 예측기를 사용하여 화소 예측치(전술한 p')를 생성하고, 계속되는 단계S404에서 그 생성한 화소 예측치에 기초하여 예측 잔차(전술한 p-p')를 산출한다.
계속해서 단계S405에서 그 산출한 예측 잔차를 부호화하고 계속되는 단계S407에서 부호화 대상 화상이 가진 전화소에 대해서 부호화의 종료 여부를 판단하여 전화소에 대해서 부호화를 종료하지 않았다고 판단할 때에는 단계S404의 처리로 돌아가고, 전화소에 대해서 부호화를 종료하였다고 판단할 때에는 처리를 종료한다.
화상 부호화 장치(100')가 생성한 부호화 데이터를 받아 화상 복호 장치(200')는 도 12의 흐름도에 도시한 것처럼 우선 최초로 단계S501에서 화상 부호화 장치(100')가 기존 예측기를 사용하여 부호화한 화상 부분(화소수가 N이라고 한다)의 부호화 데이터의 복호에 들어가고, 계속되는 단계S502에서 그 화상 부분의 복호 종료 확인이 얻어질 때까지 그 복호를 행함으로써 그 화상 부분을 복호한다.
예를 들면 JPEG-LS 등을 사용하여 소정 크기를 가진 화상 부분을 복호하는 것이다.
계속해서 단계S503에서 상술한 진화 예측기 생성 장치(1)가 실행하는 처리에 따라 단계S501의 복호에서 얻은 복호 화상에 적용되는 진화 예측기를 생성한다.
여기에서 진화 예측기의 생성시에는 전술한 것처럼 원칙적으로는 트리 구조를 표현하기 위한 정보량X와, 실제로 그 트리 구조의 예측 순서에 의해 화소치 예측한 전화면의 예측 잔차의 정보Y와의 합으로 정의되는 평가치에 따라 가장 좋은 평가치를 나타내는 진화 예측기를 생성하게 되는데, 실시형태예의 경우에는 진화 예측기를 전송할 필요가 없기 때문에 정보량X=0으로서 평가치를 산출하도록 하고(진화 순서에 변경은 없음), 그에 기초하여 진화 예측기를 생성하도록 처리하게 된다.
계속해서 복호 대상 화상이 가진 나머지 화상 부분의 복호에 들어가 단계S504에서 생성한 진화 예측기를 사용하여 화소 예측치(전술한 p')를 생성하고, 계속되는 단계S505에서 예측 잔차의 부호화 데이터를 복호함으로써 예측 잔차(전술한 p-p')를 복호한다.
계속되는 단계S506에서 그 생성한 화소 예측치와 그 복호한 예측 잔차에 기초하여 화소치를 생성하여 출력한다.
계속해서 단계S507에서 복호 대상 화상이 가진 나머지 화상 부분의 전화소에 대해서 복호의 종료 여부를 판단하여 전화소에 대해서 복호를 종료하지 않았다고 판단할 때에는 단계S504의 처리로 돌아가고, 전화소에 대해서 복호를 종료했다고 판단할 때에는 처리를 종료한다.
이와 같이 하여 도 10과 같이 구성되는 화상 부호화 장치(100')는 부호화 대상 화상의 일부분을 기존 부호화 방식으로 부호화하여 그 부호화시에 생성한 복호 화상을 사용하여 진화 예측기를 생성하고 그와 같이 하여 생성한 진화 예측기를 사용하여 나머지 화상 부분을 부호화한다.
한편 도 10과 같이 구성되는 화상 복호 장치(200')는 기존 복호 방식에 따라 부호화 데이터를 복호함으로써 복호 대상 화상의 일부분을 복호하고 그 복호한 화상을 사용하여 진화 예측기를 생성하고 그와 같이 하여 생성한 진화 예측기를 사용하여 나머지 화상 부분을 복호하도록 처리하는 것이다.
전술한 것처럼 진화 예측기 생성 장치(1)는 고정밀도의 화소치 예측을 실현하는 진화 예측기를 자동 생성한다.
이제 이 진화 예측기 생성 장치(1)가 생성하는 진화 예측기를 사용하여 화상을 부호화하여 복호하는 화상 부호화 장치(100') 및 화상 복호 장치(200')에 의하면 높은 부호화 효율을 실현할 수 있게 된다.
이상 설명한 본 발명의 유효성을 검증하기 위해 본 발명자가 행한 실험에서 어느 화상에 대해서 평가치X+Y를 최소화하면 다음과 같은 비교적 심플한 진화 예측기를 생성할 수 있었다.
(add(sub 0.5(sub(div(Igap)(Ine))(Igap)))(div(Inw)(Igap)))
여기에서 Igap는 주변으로부터의 비선형 예측치, Ine,Inw는 도 14에 도시된 주변 화소치이다.
이 때의 평가치X+Y는 1170235[bit]로서, 현재 있는 기존 예측기의 최고치1176090[bit]보다도 우수하다는 것을 나타내었다.
이 진화 예측기에서는 예측치끼리 나누고 있으며, 본 발명은 종래의 예측기에서는 생각할 수 없는 예측치 생성 순서를 생성한다는 것을 알 수 있다.
다음으로, 본 발명의 유효성을 검증하기 위해 행한 실험 결과에 대해서 설명하기로 한다. 아울러 이 실험에서는 기존의 예측치 생성 함수(개체)에 대해서는 모집단에 넣지 않고 실험을 행했다.
이 실험에서는 비교 대상으로 하는 예측 트리는 선형 예측의 최소 제곱 예측기(LS), 선형 예측의 최소 엔트로피 예측기(LE), 비선형 예측 CALIC의 GAP예측기(본 발명과 마찬가지로 도 14에 도시한 근방 4화소를 이용), 비선형 예측 JPEG-LS의 MED예측기(근방 3화소를 이용)로 하였다.
여기에서 LE예측은 LS예측 5계수를 초기치로 하고 Powell법에 의한 다차원 탐색으로 Y를 최소화한 것으로서 선형 예측중 최고 효율이라고 볼 수 있다.
도 13에, 사용한 화상(모두 512×512화소, 8비트, 휘도만)별 오버헤드(LS,LE는 50, GAP,MED는 O, 본 발명은 Xbits)를 넣은 잔차 정보량(X+Y)과, 그들의 본 발명으로부터의 증분을 도시한다. 또 최하단에 각 화상에 대한 본 발명의 트리의 정보량X를 나타낸다. 아울러 잔차 정보량의 단위는 bpp(bit per pixel)이다.
이 실험 결과로부터 본 발명에 의해 자동 생성된 예측기가 가장 효율이 높다는 것을 확인할 수 있었다. 본 발명에 의해 자동 생성된 예측기의 트리 정보량X는 평균 726bits로서, GAP, MED예측기(각각 349.5, 116.0bits. 본 실험에서는 모두 0으로 하였다)보다 약간 복잡하게 되어 있다.
화상Lena에 대해서 특별히 트리 정보량X를 고려하지 않고 잔차 정보량Y만을 최소화하도록 진화 계산한 결과 본 발명의 수법에 관하여 도 13의 결과와 비교하여 Y(Y단체에서는 도 13에 기재되어 있지 않다)는 O.06% 감소하였으나, X는 3배 남짓의 사이즈(X=2795bits)가 되어 X+Y는 반대로 O.14% 증가했다. 트리의 비대화는 GP고유의 팽창증이라고 불리는 문제인데, 본 발명에서는 X도 고려함으로써 그 발생이 자연스럽게 억제되어 있다.
또 화상Baboon에 대해서 화상 아래 약1/6인지 여부로 처리를 나누는 예측 트리가 생성되었다. 이것은 수염 영역만인지 여부에 대응하고 있으며 GP의 탐색 능력의 높이를 증명하는 것이라고 볼 수 있다.
이러한 실험 결과로부터 본 발명의 유효성을 검증할 수 있었다.
<산업상 이용 가능성>
본 발명의 동화상이나 정지 화상을 부호화하여 복호할 경우로 적용할 수 있는 것으로서, 본 발명을 적용함으로써 고정밀도의 화소치 예측을 실현함으로써 입력된 화상에 적합한, 부호량을 더욱 삭감할 수 있는 예측 수속을 계산기에 의해 자동 생성하는 것을 실현할 수 있게 된다.
1 진화 예측기 생성 장치
10 모집단 생성부
11 모집단 기억부
12 부모 개체 선택 복제부
13 자식 개체 생성부
14 돌연변이용 정보 기억부
15 평가치 산출부
16 생존 개체 결정부
17 집속 판정부
18 진화 예측기 결정부

Claims (20)

  1. 부호화 대상의 화소의 값을 복호 완료 화소를 사용하여 예측하는 예측치 생성 순서의 자동 생성에 이용되는 화소 예측치 생성 순서 자동 생성 장치로서,
    트리 구조로 표현되는 예측치 생성 순서를 랜덤으로 생성함으로써 모집단을 생성하는 제1 과정,
    상기 모집단에서 부모가 되는 복수의 예측치 생성 순서를 선택하고, 그들을 처리 대상으로 하여 기존의 예측치 생성 함수를 트리의 종단 노드가 될 수 있는 것으로서 실행하는 소정의 트리 구조 진화 수법에 기초하여 자식이 되는 하나 또는 복수의 예측치 생성 순서를 생성하는 제2 과정,
    상기 자식의 예측치 생성 순서 및 부모의 예측치 생성 순서를 선택 대상으로 하고 트리 구조를 표현하기 위한 정보량과 그 트리 구조에 의해 얻어지는 화소 예측치로부터 추측되는 화상 부호량과의 합을 평가 비용으로서 사용하여 부호화 대상 화상을 부호화할 경우의 최량의 평가 비용을 나타내는 예측치 생성 순서를 선택하고, 그 선택한 예측치 생성 순서와 그 이외의 하나 또는 복수의 예측치 생성 순서를 모집단에 저장하는 제3 과정,
    소정의 조건을 충족할 때까지 상기 제2 및 제3 과정에 의한 처리를 반복하도록 제어하여 그 결과 얻어지는 최량의 평가 비용을 나타내는 예측치 생성 순서를 최종적인 예측치 생성 순서로서 생성하는 제4 과정을 포함하는 것을
    특징으로 하는, 화소 예측치 생성 순서 자동 생성 장치.
  2. 제1항에 있어서,
    상기 제2 과정에서는, 화상내의 좌표치를 출력하는 함수에 대해서도 트리의 종단 노드가 될 수 있는 것으로서 실행하는 소정의 트리 구조 진화 수법에 기초하여 상기 자식의 예측치 생성 순서를 생성하는 것을,
    특징으로 하는, 화소 예측치 생성 순서 자동 생성 방법.
  3. 제1항에 있어서,
    상기 제1 과정에서는 기존의 예측치 생성 함수를 상기 모집단에 넣도록 하여 상기 모집단을 생성하는 것을,
    특징으로 하는, 화소 예측치 생성 순서 자동 생성 방법.
  4. 부호화 대상의 화소의 값을 복호 완료 화소를 사용하여 예측하는 소정의 예측치 생성 순서에 의해 생성되는 화소 예측치를 사용하여 화상을 부호화하는 화상 부호화 방법으로서,
    제1항에 기재된 화소 예측치 생성 순서 자동 생성 방법에 따라서 부호화 대상 화상을 부호화할 경우의 최량의 평가 비용을 나타내는 예측치 생성 순서를 생성하는 제1 과정,
    상기 제1 과정에서 생성한 예측치 생성 순서를 부호화하는 제2 과정,
    상기 제1 과정에서 생성한 예측치 생성 순서에 기초하여 부호화 대상 화상이 가진 화소의 예측치를 생성하는 제3 과정,
    상기 제3 과정에서 생성한 화소 예측치에 기초하여 산출되는 예측 잔차 신호를 부호화하는 제4 과정을 포함하는 것을
    특징으로 하는, 화상 부호화 방법.
  5. 부호화 대상의 화소의 값을 복호 완료 화소를 사용하여 예측하는 소정의 예측치 생성 순서에 의해 생성되는 화소 예측치를 사용하여 부호화된 화상의 부호화 데이터를 복호하는 화상 복호 방법으로서,
    부호화측에서 생성된 부호화 데이터로서, 제1항에 기재된 화소 예측치 생성 순서 자동 생성 방법에 의해 생성된 예측치 생성 순서에 관한 부호화 데이터를 복호하는 제1 과정과,
    상기 제1 과정에서 복호한 예측치 생성 순서에 기초하여 복호 대상 화상이 가진 화소의 예측치를 생성하는 제2 과정과,
    부호화측에서 생성된 부호화 데이터로서, 상기 제1 과정에서 복호한 예측치 생성 순서에 기초하여 생성된 화소 예측치에 의해 산출된 예측 잔차 신호에 관한 부호화 데이터를 복호하는 제3 과정과,
    상기 제2 과정에서 생성한 화소 예측치와 상기 제3 과정에서 복호한 예측 잔차 신호에 기초하여 복호 대상 화상을 복원하는 제4 과정을 포함하는 것을
    특징으로 하는, 화상 복호 방법.
  6. 부호화 대상의 화소의 값을 복호 완료 화소를 사용하여 예측하는 소정의 예측치 생성 순서에 의해 생성되는 화소 예측치를 사용하여 화상을 부호화하는 화상 부호화 방법으로서,
    트리 구조 진화 수법에 의존하지 않고 생성된 기존 화소 예측치 생성 순서를 사용하여 소정 크기를 가진 부호화 대상 화상 부분을 부호화하는 제1 과정과,
    상기 제1 과정에서 부호화했을 때에 얻은 부호화 대상 화상 부분의 복호 화상을 부호화하는 경우에 대해서, 트리 구조를 표현하기 위한 정보량을 제로로서 추측하여 실행하는 제1항에 기재된 화소 예측치 생성 순서 자동 생성 방법에 따라 최량의 평가 비용을 나타내는 예측치 생성 순서를 생성하는 제2 과정과,
    상기 제2 과정에서 생성한 예측치 생성 순서에 기초하여 상기 제1 과정에서 부호화하지 않은 부호화 대상 화상 부분의 화소에 대해서 예측치를 생성하는 제3 과정과,
    상기 제3 과정에서 생성한 화소 예측치에 기초하여 산출되는 예측 잔차 신호를 부호화하는 제4 과정을 포함하는 것을
    특징으로 하는, 화상 부호화 방법.
  7. 부호화 대상의 화소의 값을 복호 완료 화소를 사용하여 예측하는 소정의 예측치 생성 순서에 의해 생성되는 화소 예측치를 사용하여 부호화된 화상의 부호화 데이터를 복호하는 화상 복호 방법으로서,
    부호화측에서 생성된 부호화 데이터로서, 트리 구조 진화 수법에 의존하지 않고 생성된 기존 화소 예측치 생성 순서를 사용함으로써 부호화된 소정 크기를 가진 복호 대상 화상 부분에 관한 부호화 데이터를 복호하는 제1 과정,
    상기 제1 과정에서 복호한 복호 대상 화상 부분을 부호화하는 경우에 대해서 트리 구조를 표현하기 위한 정보량을 제로로서 추측하여 실행하는 제1항에 기재된 화소 예측치 생성 순서 자동 생성 방법에 따라서 최량의 평가 비용을 나타내는 예측치 생성 순서를 생성하는 제2 과정,
    상기 제2 과정에서 생성한 예측치 생성 순서에 기초하여 상기 제1 과정에서 복호되지 않은 복호 대상 화상 부분이 가진 화소에 대해서 예측치를 생성하는 제3 과정과,
    부호화측에서 생성된 부호화 데이터로서, 상기 제2 과정에서 생성한 예측치 생성 순서에 기초하여 생성된 화소 예측치에 의해 산출된 예측 잔차 신호에 관한 부호화 데이터를 복호하는 제4 과정과,
    상기 제3 과정에서 생성한 화소 예측치와 상기 제4 과정에서 복호한 예측 잔차 신호에 기초하여 상기 제1 과정에서 복호되지 않은 복호 대상 화상 부분을 복원하는 제5 과정을 포함하는 것을
    특징으로 하는, 화상 복호 방법.
  8. 부호화 대상의 화소의 값을 복호 완료 화소를 사용하여 예측하는 예측치 생성 순서의 생성에 사용되는 화소 예측치 생성 순서 자동 생성 장치로서,
    트리 구조로 표현되는 예측치 생성 순서를 랜덤으로 생성함으로써 모집단을 생성하는 제1 수단,
    상기 모집단에서 부모가 되는 복수의 예측치 생성 순서를 선택하고 그들을 처리 대상으로 하여 기존의 예측치 생성 함수를 트리의 종단 노드가 될 수 있는 것으로서 실행하는 소정의 트리 구조 진화 수법에 기초하여 자식이 되는 하나 또는 복수의 예측치 생성 순서를 생성하는 제2 수단,
    상기 자식의 예측치 생성 순서 및 상기 부모의 예측치 생성 순서를 선택 대상으로 하고 트리 구조를 표현하기 위한 정보량과 그 트리 구조에 의해 얻어지는 화소 예측치로부터 추측되는 화상 부호량과의 합을 평가 비용으로서 사용하여 부호화 대상 화상을 부호화할 경우의 최량의 평가 비용을 나타내는 예측치 생성 순서를 선택하고, 그 선택한 예측치 생성 순서와 그 이외의 하나 또는 복수의 예측치 생성 순서를 상기 모집단에 저장하는 제3 수단,
    소정의 조건을 충족할 때까지 상기 제2 및 제3 수단의 처리를 반복하도록 제어하여 그 결과 얻어지는 최량의 평가 비용을 나타내는 예측치 생성 순서를 최종적인 예측치 생성 순서로서 생성하는 제4 수단을 포함하는 것을
    특징으로 하는, 화소 예측치 생성 순서 자동 생성 장치.
  9. 제8항에 있어서,
    상기 제2 수단은, 화상내의 좌표치를 출력하는 함수에 대해서도 트리의 종단 노드가 될 수 있는 것으로서 실행하는 소정의 트리 구조 진화 수법에 기초하여 상기 자식의 예측치 생성 순서를 생성하는 것을,
    특징으로 하는, 화소 예측치 생성 순서 자동 생성 장치.
  10. 제8항에 있어서,
    상기 제1 수단은 기존의 예측치 생성 함수를 상기 모집단에 넣도록 하여 상기 모집단을 생성하는 것을,
    특징으로 하는, 화소 예측치 생성 순서 자동 생성 장치.
  11. 부호화 대상의 화소의 값을 복호 완료 화소를 사용하여 예측하는 소정의 예측치 생성 순서에 의해 생성되는 화소 예측치를 사용하여 화상을 부호화하는 화상 부호화 장치로서,
    제8항에 기재된 화소 예측치 생성 순서 자동 생성 장치의 처리에 따라 부호화 대상 화상을 부호화할 경우의 최량의 평가 비용을 나타내는 예측치 생성 순서를 생성하는 제1 수단,
    상기 제1 수단에서 생성한 예측치 생성 순서를 부호화하는 제2 수단,
    상기 제1 수단에서 생성한 예측치 생성 순서에 기초하여 부호화 대상 화상이 가진 화소의 예측치를 생성하는 제3 수단,
    상기 제3 수단에서 생성한 화소 예측치에 기초하여 산출되는 예측 잔차 신호를 부호화하는 제4 수단을 포함하는 것을
    특징으로 하는, 화상 부호화 장치.
  12. 부호화 대상의 화소의 값을 복호 완료 화소를 사용하여 예측하는 소정의 예측치 생성 순서에 의해 생성되는 화소 예측치를 사용하여 부호화된 화상의 부호화 데이터를 복호하는 화상 복호 장치로서,
    부호화측에서 생성된 부호화 데이터로서, 제8항에 기재된 화소 예측치 생성 순서 자동 생성 장치의 처리에 의해 생성된 예측치 생성 순서에 관한 부호화 데이터를 복호하는 제1 수단,
    상기 제1 수단에서 복호한 예측치 생성 순서에 기초하여 복호 대상 화상이 가진 화소의 예측치를 생성하는 제2 수단,
    부호화측에서 생성된 부호화 데이터로서, 상기 제1 수단에서 복호한 예측치 생성 순서에 기초하여 생성된 화소 예측치에 의해 산출된 예측 잔차 신호에 관한 부호화 데이터를 복호하는 제3 수단,
    상기 제2 수단에서 생성한 화소 예측치와 상기 제3 수단에서 복호한 예측 잔차 신호에 기초하여 복호 대상 화상을 복원하는 제4 수단을 포함하는 것을
    특징으로 하는, 화상 복호 장치.
  13. 부호화 대상의 화소의 값을 복호 완료 화소를 사용하여 예측하는 소정의 예측치 생성 순서에 의해 생성되는 화소 예측치를 사용하여 화상을 부호화하는 화상 부호화 장치로서,
    트리 구조 진화 수법에 의존하지 않고 생성된 기존 화소 예측치 생성 순서를 사용하여 소정 크기를 가진 부호화 대상 화상 부분을 부호화하는 제1 수단,
    상기 제1 수단에서 부호화했을 때에 얻은 부호화 대상 화상 부분의 복호 화상을 부호화하는 경우에 대해서 트리 구조를 표현하기 위한 정보량을 제로로서 추측하여 실행하는 제8항에 기재된 화소 예측치 생성 순서 자동 생성 장치의 처리에 따라 최량의 평가 비용을 나타내는 예측치 생성 순서를 생성하는 제2 수단,
    상기 제2 수단에서 생성한 예측치 생성 순서에 기초하여 상기 제1 수단에서 부호화하지 않은 부호화 대상 화상 부분의 화소에 대해서 예측치를 생성하는 제3 수단,
    상기 제3 수단에서 생성한 화소 예측치에 기초하여 산출되는 예측 잔차 신호를 부호화하는 제4 수단을 포함하는 것을
    특징으로 하는, 화상 부호화 장치.
  14. 부호화 대상의 화소의 값을 복호 완료 화소를 사용하여 예측하는 소정의 예측치 생성 순서에 의해 생성되는 화소 예측치를 사용하여 부호화된 화상의 부호화 데이터를 복호하는 화상 복호 장치로서,
    부호화측에서 생성된 부호화 데이터로서, 트리 구조 진화 수법에 의존하지 않고 생성된 기존 화소 예측치 생성 순서를 사용함으로써 부호화된 소정 크기를 가진 복호 대상 화상 부분에 관한 부호화 데이터를 복호하는 제1 수단,
    상기 제1 수단에서 복호한 복호 대상 화상 부분을 부호화하는 경우에 대해서 트리 구조를 표현하기 위한 정보량을 제로로서 추측하여 실행하는 제8항에 기재된 화소 예측치 생성 순서 자동 생성 장치의 처리에 따라 최량의 평가 비용을 나타내는 예측치 생성 순서를 생성하는 제2 수단,
    상기 제2 수단에서 생성한 예측치 생성 순서에 기초하여 상기 제1 수단에서 복호되지 않은 복호 대상 화상 부분이 가진 화소에 대해서 예측치를 생성하는 제3 수단,
    부호화측에서 생성된 부호화 데이터로서 상기 제2 수단에서 생성한 예측치 생성 순서에 기초하여 생성된 화소 예측치에 의해 산출된 예측 잔차 신호에 관한 부호화 데이터를 복호하는 제4 수단,
    상기 제3 수단에서 생성한 화소 예측치와 상기 제4 수단에서 복호한 예측 잔차 신호에 기초하여 상기 제1 수단에서 복호되지 않은 복호 대상 화상 부분을 복원하는 제5 수단을 포함하는 것을
    특징으로 하는, 화상 복호 장치.
  15. 제1항에 기재된 화소 예측치 생성 순서 자동 생성 방법을 컴퓨터에 실행시키기 위한 화소 예측치 생성 순서 자동 생성 프로그램.
  16. 제1항에 기재된 화소 예측치 생성 순서 자동 생성 방법을 컴퓨터에 실행시키기 위한 화소 예측치 생성 순서 자동 생성 프로그램을 기록한 컴퓨터 독해 가능한 기록 매체.
  17. 제4항 또는 제6항에 기재된 화상 부호화 방법을 컴퓨터에 실행시키기 위한 화상 부호화 프로그램.
  18. 제4항 또는 제6항에 기재된 화상 부호화 방법을 컴퓨터에 실행시키기 위한 화상 부호화 프로그램을 기록한 컴퓨터 독해 가능한 기록 매체.
  19. 제5항 또는 제7항에 기재된 화상 복호 방법을 컴퓨터에 실행시키기 위한 화상 복호 프로그램.
  20. 제5항 또는 제7항에 기재된 화상 복호 방법을 컴퓨터에 실행시키기 위한 화상 복호 프로그램을 기록한 컴퓨터 독해 가능한 기록 매체.
KR1020117008939A 2008-10-27 2009-10-21 화소 예측치 생성 순서 자동 생성 방법, 화상 부호화 방법, 화상 복호 방법, 그 장치, 그 프로그램 및 그 프로그램을 기록한 기록 매체 KR101314836B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2008-275811 2008-10-27
JP2008275811 2008-10-27
PCT/JP2009/005522 WO2010050152A1 (ja) 2008-10-27 2009-10-21 画素予測値生成手順自動生成方法、画像符号化方法、画像復号方法、それらの装置、それらのプログラム、およびこれらのプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
KR20110081200A true KR20110081200A (ko) 2011-07-13
KR101314836B1 KR101314836B1 (ko) 2013-10-04

Family

ID=42128524

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117008939A KR101314836B1 (ko) 2008-10-27 2009-10-21 화소 예측치 생성 순서 자동 생성 방법, 화상 부호화 방법, 화상 복호 방법, 그 장치, 그 프로그램 및 그 프로그램을 기록한 기록 매체

Country Status (11)

Country Link
US (1) US9124289B2 (ko)
EP (1) EP2343878B1 (ko)
JP (1) JP5461419B2 (ko)
KR (1) KR101314836B1 (ko)
CN (1) CN102187656B (ko)
BR (1) BRPI0919870A2 (ko)
CA (1) CA2740800A1 (ko)
ES (1) ES2588154T3 (ko)
RU (2) RU2492586C2 (ko)
TW (1) TWI454151B (ko)
WO (1) WO2010050152A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5198543B2 (ja) * 2010-11-19 2013-05-15 株式会社東芝 画像処理方法、画像処理装置及び画像処理プログラム
WO2012090454A1 (ja) 2010-12-27 2012-07-05 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
US9223804B2 (en) * 2012-08-27 2015-12-29 Qualcomm Incorporated Determining capacity of search structures
JP6357073B2 (ja) * 2014-10-24 2018-07-11 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
RU2596062C1 (ru) * 2015-03-20 2016-08-27 Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
CN107636698B (zh) * 2015-06-25 2021-10-19 富士通株式会社 程序生成装置、程序生成方法以及生成程序
JP6037521B2 (ja) * 2015-07-02 2016-12-07 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
CN108140133B (zh) * 2015-10-22 2022-03-22 富士通株式会社 程序生成装置、程序生成方法及记录介质
CN108463787B (zh) 2016-01-05 2021-11-30 瑞尔D斯帕克有限责任公司 多视角图像的注视校正
WO2017126046A1 (ja) * 2016-01-20 2017-07-27 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN111183405A (zh) 2017-08-08 2020-05-19 瑞尔D斯帕克有限责任公司 调整头部区域的数字表示
US11017575B2 (en) 2018-02-26 2021-05-25 Reald Spark, Llc Method and system for generating data to provide an animated visual representation
EP3777148A4 (en) * 2018-03-30 2022-01-05 Hulu, LLC REUSE OF BLOCK TREE PATTERNS IN VIDEO COMPRESSION
US11240492B2 (en) 2019-01-22 2022-02-01 Apple Inc. Neural network based residual coding and prediction for predictive coding
US20220004544A1 (en) * 2019-02-26 2022-01-06 Nippon Telegraph And Telephone Corporation Anonymity evaluation apparatus, anonymity evaluation method, and program

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU698055B2 (en) * 1994-07-14 1998-10-22 Johnson-Grace Company Method and apparatus for compressing images
US6674911B1 (en) * 1995-09-14 2004-01-06 William A. Pearlman N-dimensional data compression using set partitioning in hierarchical trees
WO1997016027A2 (en) * 1995-10-24 1997-05-01 Line Imaging Systems L.L.C. Ultrasound video subband coding system and method
US5926226A (en) * 1996-08-09 1999-07-20 U.S. Robotics Access Corp. Method for adjusting the quality of a video coder
JP3922473B2 (ja) * 1997-06-12 2007-05-30 ソニー株式会社 画像変換装置、画像変換方法、学習装置、学習方法、および、記録媒体
JPH11243491A (ja) * 1998-02-26 1999-09-07 Agency Of Ind Science & Technol 適応進化型画像圧縮符号化装置
US6505299B1 (en) * 1999-03-01 2003-01-07 Sharp Laboratories Of America, Inc. Digital image scrambling for image coding systems
JP3404380B2 (ja) * 2000-12-28 2003-05-06 独立行政法人産業技術総合研究所 適応型予測符号化、復号化方法およびそれらの装置ならびに適応型予測符号化、復号化プログラムを記録した記録媒体
EP1391121B1 (en) * 2001-03-23 2012-08-15 Nokia Corporation Variable length coding
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
CN1391413A (zh) 2002-07-26 2003-01-15 李曦田 一种可生成指定性能序列编码器的遗传编程实现方法
US20050131660A1 (en) * 2002-09-06 2005-06-16 Joseph Yadegar Method for content driven image compression
MXPA05003464A (es) * 2002-10-01 2005-07-05 Thomson Licensing Sa Ponderacion implicita de imagenes de referencia en un codificador de video.
US7428341B2 (en) * 2003-05-27 2008-09-23 Zaxel Systems, Inc. Method and apparatus for lossless data transformation with preprocessing by adaptive compression, multidimensional prediction, multi-symbol decoding enhancement enhancements
JP4213646B2 (ja) 2003-12-26 2009-01-21 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
CN1564604A (zh) 2004-04-08 2005-01-12 复旦大学 基于树状结构的等级树集合划分视频图像压缩方法
US8369402B2 (en) * 2004-06-17 2013-02-05 Canon Kabushiki Kaisha Apparatus and method for prediction modes selection based on image formation
KR101138392B1 (ko) 2004-12-30 2012-04-26 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
KR100703770B1 (ko) 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
JP4185086B2 (ja) * 2005-09-28 2008-11-19 株式会社日立国際電気 画像処理装置
JP2007116351A (ja) * 2005-10-19 2007-05-10 Ntt Docomo Inc 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
JP4948118B2 (ja) * 2005-10-25 2012-06-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
GB0600141D0 (en) * 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
US20080137746A1 (en) * 2006-05-23 2008-06-12 Chang-Che Tsai Method for Predicting Performance of Patterns Used in Block Motion Estimation Procedures
JP4787100B2 (ja) * 2006-07-27 2011-10-05 パナソニック株式会社 画像符号化装置
US7885988B2 (en) * 2006-08-24 2011-02-08 Dell Products L.P. Methods and apparatus for reducing storage size
KR101356734B1 (ko) * 2007-01-03 2014-02-05 삼성전자주식회사 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치
JP5082548B2 (ja) * 2007-03-30 2012-11-28 富士通株式会社 画像処理方法、符号化器および復号化器
JP2008275811A (ja) 2007-04-27 2008-11-13 Kyocera Mita Corp 画像形成装置及び速度制御装置

Also Published As

Publication number Publication date
JPWO2010050152A1 (ja) 2012-03-29
TW201029474A (en) 2010-08-01
WO2010050152A1 (ja) 2010-05-06
EP2343878A1 (en) 2011-07-13
ES2588154T3 (es) 2016-10-31
CN102187656B (zh) 2014-10-01
TWI454151B (zh) 2014-09-21
EP2343878A4 (en) 2013-05-29
US20110200105A1 (en) 2011-08-18
BRPI0919870A2 (pt) 2015-12-15
JP5461419B2 (ja) 2014-04-02
KR101314836B1 (ko) 2013-10-04
CN102187656A (zh) 2011-09-14
EP2343878B1 (en) 2016-05-25
US9124289B2 (en) 2015-09-01
RU2493601C1 (ru) 2013-09-20
RU2492586C2 (ru) 2013-09-10
RU2011115425A (ru) 2012-12-10
CA2740800A1 (en) 2010-05-06

Similar Documents

Publication Publication Date Title
KR101314836B1 (ko) 화소 예측치 생성 순서 자동 생성 방법, 화상 부호화 방법, 화상 복호 방법, 그 장치, 그 프로그램 및 그 프로그램을 기록한 기록 매체
RU2678510C2 (ru) Способ и устройство для кодирования и декодирования вектора движения на основании сокращенных предсказателей-кандидатов вектора движения
US10003792B2 (en) Video encoder for images
EP2493198A1 (en) Moving image coding device, moving image decoding device, moving image coding/decoding system, moving image coding method and moving image decoding method
JP2022008349A (ja) 低減されたメモリアクセスを用いてｆｒｕｃモードでビデオデータを符号化又は復号する方法及び装置
WO2005006256A2 (en) Method and apparatus for coding motion information
CN103188494A (zh) 跳过离散余弦变换对深度图像编码/解码的设备和方法
CN114900691B (zh) 编码方法、编码器及计算机可读存储介质
JP2016154395A (ja) 以前ブロックの動きベクトルを現在ブロックの動きベクトルとして用いる映像符号化／復号化方法及び装置
JP6962193B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
JP5307681B2 (ja) 画像符号化構造の自動生成方法，画像符号化構造の自動生成装置およびそのプログラム
KR101979379B1 (ko) 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치
US11695928B2 (en) Dividing pattern determination device capable of reducing amount of computation, dividing pattern determination method, learning device, learning method, and storage medium
JP6992815B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
CN105706447A (zh) 动画图像编码设备、动画图像解码设备、动画图像编码方法、动画图像解码方法以及程序
JP4451759B2 (ja) 可逆ビデオ符号化装置，可逆ビデオ符号化方法，可逆ビデオ復号装置，可逆ビデオ復号方法，可逆ビデオ符号化プログラム，可逆ビデオ復号プログラムおよびそれらのプログラムの記録媒体
RU2568299C2 (ru) Устройство видеокодирования, устройство видеодекодирования, способ видеокодирования, способ видеодекодирования, программа видеокодирования и программа видеодекодирования
JP6935553B2 (ja) 縮小された予測動きベクトルの候補に基づいて、動きベクトルを符号化／復号化する方法及び装置
JP2013017128A (ja) イントラ予測モード推定装置、画像符号化装置、画像復号装置、及びプログラム
JP7185467B2 (ja) 画像復号装置、画像符号化装置、画像処理システム及びプログラム
JP5622613B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160919

Year of fee payment: 4