KR100786926B1

KR100786926B1 - 영상 기록 재생 장치 및 방법

Info

Publication number: KR100786926B1
Application number: KR20010013108A
Authority: KR
Inventors: 오따마사시; 미야따가쯔나리
Original assignee: 소니 가부시끼 가이샤
Priority date: 2000-03-15
Filing date: 2001-03-14
Publication date: 2007-12-17
Also published as: US7050703B2; US20010022889A1; JP2001268521A; KR20010092316A

Abstract

움직임 검출 처리를 정확하게 실행시킨다.

노이즈 저감 처리부(42)는 절환기(41)에 의해 입력된 영상 데이터를 노이즈 저감 처리하여, 움직임 검출 처리부(43)와 영상 신호 보간 처리부(44)에 출력한다. 움직임 검출 처리부(43)는 노이즈 저감 처리된 영상 데이터를 움직임 검출 처리하여, 움직임 검출 결과를 영상 신호 보간 처리부(44)에 출력한다. 영상 신호 보간 처리부(44)는 입력된 영상 데이터를 움직임 검출 결과에 기초하여 보간 처리한 후, 출력한다.

영상 기록 재생 장치, 지상파 튜너, NTSC 디코더, 노이즈 저감 처리부, 영상신호 처리부, MPEG 비디오 인코더, 움직임 검출

Description

영상 기록 재생 장치 및 방법{IMAGE RECORDING/REPRODUCING APPARATUS AND METHOD}

도 1은 본 발명에 관한 영상 신호 기록 재생 장치의 일 실시예의 구성을 나타내는 도면.

도 2는 포스트 영상 신호 처리부의 구성을 나타내는 블럭도.

도 3은 도 1의 포스트 영상 신호 처리부와 다른 구성을 나타내는 블럭도.

도 4는 도 2의 포스트 영상 신호 처리부의 구성을 나타내는 블럭도.

도 5는 도 2의 움직임 검출 처리부의 구성을 나타내는 블럭도.

도 6은 필드 차분 처리를 설명하는 도면.

도 7은 도 2의 영상 신호 보간 처리부의 구성을 나타내는 블럭도.

도 8은 포스트 영상 신호 처리를 설명하는 순서도.

도 9는 노이즈 저감 처리를 설명하는 순서도.

도 10은 필드 데이터의 위치 관계를 설명하는 도면.

도 11은 움직임 검출 처리를 설명하는 순서도.

도 12는 필드간의 화소의 위치 관계를 나타내는 도면.

도 13은 필드 보간 처리를 설명하는 도면.

도 14는 독립점 제거 처리를 설명하는 도면.

도 15는 영역 확장 처리를 설명하는 도면.

도 16은 영상 신호 보간 처리를 설명하는 순서도.

<도면의 주요 부분에 대한 간단한 설명>

1 : 영상 기록 재생 장치.

11 : 지상파 튜너

12 : 입력 절환기

13 : YC 분리기

14 : 입력 절환기

15 : NTSC 디코더

16 : 동기 제어 회로

17 : 프리 영상 신호 처리부

18 : MPEG 비디오 인코더

19 : 음성 A/D 변환기

20 : MPEG 오디오 인코더

21 : 다중 분리 회로

22 : 버퍼 제어부

23 : HDD

24 : MPEG AV 디코더

본 발명은 영상 기록 재생 장치 및 방법에 관한 것으로, 특히, 공급된 영상, 또는, 이미 기록되어 있는 영상에 노이즈 저감 처리를 실시한 후, 그 노이즈 저감 처리된 영상의 움직임 검출을 실행함으로써, 움직임 검출을 정확하게 실행할 수 있도록 한 영상 기록 재생 장치 및 방법에 관한 것이다.

영상 신호의 보간 처리에 의해 표시 화상을 고 화질로 하는 기술이 보급되고 있다. 영상 신호의 보간 처리는, 움직임 없는 프레임 정지 화상의 생성 처리나, 인터레이스 프로그래시브 변환이라고 하는 영상 신호의 포맷 변환 시, 움직임 검출 처리를 실행하여, 그 움직임 검출 결과에 기초하여 실시되는 것이다.

구체적으로는, 예를 들면, 움직임이 없는 프레임 정지 화상을 생성하는 경우, 필드 사이의 대응하는 위치에 있는 화소끼리의 차분을 구하여 이 차분이 소정의 임계치 이상일 때, 움직임이 검출되게 되고 그 화소는 동화소로 간주된다. 또한, 이 차분이 소정의 임계치 미만일 때 움직임은 검출되지 않게 되고, 그 화소는 정지 화소로 간주된다. 또한, 동화소로 간주된 화소는 전 필드의 화소치로부터 보간 처리가 실시되고, 정지 화소로 간주된 화소는 원신호대로 출력됨으로써 움직임이 없는 고 화질의 정지 화소를 얻을 수 있다.

그러나, 상기한 방법에서는, 입력되는 영상 신호에 약전계 노이즈, 카메라의 CCD (Charge Coupled Device) 노이즈, 또는, MPEG (Moving Picture Experts Group) 등의 압축 신장 처리에 의해 발생하는 노이즈가 포함되어 있으면, 움직임 검출에 있어서, 노이즈를 움직임으로서 오검출한다는 문제가 있다.

또한, 상기한 바와 같이 노이즈를 움직임으로서 오검출하지 않도록, 움직임 검출 전에 공간 필터 처리를 실시하는 것이 제안되고 있지만, 공간 필터 처리를 실시한 경우 노이즈 성분이 억제됨과 함께 신호의 움직임 성분도 억제되어 버리기 때문에, 결과적으로 본래 검출되어야 하는 움직임이 검출되지 않는다는 문제가 있다.

본 발명은 이러한 상황을 감안하여 이루어진 것으로, 영상이 표시될 때에 영상에서 노이즈 저감 처리를 실시한 후, 움직임 검출을 실시함으로써 정확한 움직임 검출을 실행할 수 있도록 한 것이다.

본 발명의 영상 기록 재생 장치는, 공급된 영상, 또는, 이미 기록된 영상의 노이즈를 저감하는 노이즈 저감 수단과, 노이즈 저감 수단에 의해 노이즈가 저감된 영상의 움직임 검출을 실행하는 움직임 검출 수단과, 움직임 검출 수단의 움직임 검출 결과에 기초하여, 공급된 영상, 또는, 이미 기록된 영상에 보간 처리를 실시하는 영상 신호 보간 처리 수단을 구비하고, 노이즈 저감 수단은, 영상의 필드, 혹은, 프레임, 또는, 필드 및 프레임의 양자를 병용한 순회형 노이즈 저감기인 것을 특징으로 한다.

본 발명의 영상 기록 재생 방법은, 공급된 영상, 또는, 이미 기록된 영상의 노이즈를 영상의 필드, 혹은, 프레임, 또는, 필드 및 프레임의 양자를 병용한 순회형 노이즈 저감기로 저감하는 노이즈 저감 스텝과, 노이즈 저감 스텝의 처리로 노 이즈가 저감된 영상의 움직임 검출을 실행하는 움직임 검출 스텝과, 움직임 검출 스텝의 처리에서의 움직임 검출 결과에 기초하여, 공급된 영상, 또는, 이미 기록된 영상에 보간 처리를 실시하는 영상 신호 보간 처리 스텝을 포함하는 것을 특징으로 한다.

본 발명의 영상 기록 재생 장치 및 방법에 있어서는, 공급된 영상, 또는, 이미 기록된 영상의 노이즈가, 영상의 필드, 혹은, 프레임, 또는, 필드 및 프레임의 양자를 병용한 순회형 노이즈 저감기에 의해 저감되어, 노이즈가 저감된 영상의 움직임 검출이 실행되어, 움직임 검출 결과에 기초하여, 공급된 영상, 또는, 이미 기록된 영상에 보간 처리가 실시된다.

도 1은 본 발명에 따른 영상 기록 재생 장치(1)의 일 실시의 형태를 나타내는 도면이다.

영상 기록 재생 장치(1)의 지상파 튜너(11)는, 도시하지 않은 방송국에서의 지상파를 수신하여, 영상 신호와 음성 신호를 각각 추출하여, 입력 절환기(12)에 출력한다.

입력 절환기(12)에는, 지상파 튜너(11)에서의 영상 신호와 음성 신호가 입력되는 것뿐만 아니라, 외부에서의 콤포지트 영상 신호와 음성 신호도 입력된다. 입력 전환기(12)는 시스템 컨트롤러(31)로부터의 지령에 기초하여, 지상파 튜너(11)로부터의 영상 신호와 음성 신호나, 또는, 외부에서의 콤포지트 영상 신호와 음성 신호 중 어느 하나를 선택하여, 영상 신호를 YC (휘도 신호 및 색 신호) 분리기(13)에 출력하고, 음성 신호를 음성 A/D (Analog/Digital) 변환기(19)에 출력한다.

YC 분리기(13)는, 입력 절환기(12)로부터 입력된 영상 신호를 휘도 신호와 색 신호로 분리하여, 각각을 입력 절환기(14)에 출력한다. 입력 절환기(14)에는, YC 분리기(13)로부터 입력되는 영상 신호(휘도 신호 및 색 신호) 외에, 외부에서의 S 영상 신호도 입력된다. 입력 절환기(14)는, 시스템 컨트롤러(31)로부터의 지령에 기초하여, YC 분리기(13)로부터의 신호나, 또는, S 영상 신호 중 어느 하나를 절환시켜, NTSC (National Television System Committee) 디코더(15)에 출력한다.

NTSC 디코더(15)는, 입력된 영상 신호에 A/D 변환 처리, 및, 크로마 디코드 처리를 실시하여, 디지털 비디오 컴포넌트 신호 (이하, 영상 데이터로 칭함)로 변환하여, 프리 영상 신호 처리부(17)에 출력한다. 또한 NTSC 디코더(15)는, 입력된 영상 신호의 수평 동기 신호, 수직 동기 신호, 및, 필드 판별 신호를 동기 제어 회로(16)에 공급한다. 동기 제어 회로(16)는 NTSC 디코더(15)로부터 공급된 동기 제어 신호에 기초하여, 각종의 클럭 신호 및 동기 신호를 생성하여, 적절하게 필요한 개소에 출력한다.

프리 영상 신호 처리부(17)는, 입력된 영상 데이터에 프리 필터 처리 등을 실시하여, MPEG (Moving Picture Experts Group) 비디오 인코더(18) 및 포스트 영상 신호 처리부(25)에 출력한다. MPEG 비디오 인코더(18)는, 프리 영상 신호 처리부(17)로부터 입력된 프리 필터 처리된 영상 데이터에 블록 DCT (Discrete Cosine Transform) 부호화 처리 (MPEG 비디오 인코드 처리)를 실시하여, 영상 데이터의 ES (Elementary Stream)(영상 ES)를 생성하여, 다중 분리 회로(21)에 출력한다. 또한, 이 예에 있어서는, 영상 데이터의 압축 방식으로서 MPEG 방식을 사용하고 있지만, 그 이외의 영상 압축 방식이라도 좋고, 또한, 비압축이라도 좋다.

음성 A/D 변환기(19)는, 입력 절환기(12)로부터 입력된 음성 신호를 아날로그 신호로부터 디지털 신호로 변환하여, MPEG 오디오 인코더(20) 및 절환기(28)에 출력한다. MPEG 오디오 인코더(20)는 음성 A/D 변환기(19)로부터 입력된 디지털의 음성 신호를 MPEG 방식의 포맷으로 변환한 후, 음성 데이터의 ES (음성 ES)을 생성하여, 다중 분리 회로(21)에 출력한다. 또한, 음성 데이터에 대해서도, 압축 방식은 MPEG 이외의 것이어도 좋고, 또한, 비압축의 것이어도 좋다.

다중 분리 회로(21)는, 기록시에는 MPEG 비디오 인코더(18)로부터 입력된 영상 ES와, MPEG 오디오 인코더(20)로부터 입력된 음성 ES를, 다중화 처리를 실시하여, TS (Transport Stream)를 생성하여, 버퍼 제어부(22)에 출력한다. 또한, 다중 분리 회로(21)는 재생시에는 버퍼 제어부(22)로부터 공급된 TS에서 PES (Packetized Elementary Stream)를 추출하여, MPEG AV (Audio/Visual) 디코더(24)에 출력한다.

버퍼 제어부(22)는 기록시에는 다중 분리 회로(21)로부터 입력된 TS를 HDD (Hard Disk Drive; 23)에 단속적으로 공급할 수 있도록 버퍼를 제어한다. 즉, 예를 들면, HDD(23)이 씨크 동작을 실행하고 있을 때에는, 버퍼 제어부(22)는 TS를 HDD(23)에 기입할 수 없기 때문에, 버퍼에 TS를 일시적으로 저장하고, HDD(23)의 기입이 가능할 때에는, 다중 분리 회로(21)로부터 입력되는 레이트보다 높은 레이트로, HDD(23)에 기입시킨다는 버퍼 제어를 실행한다. 또한, 재생시에는, 버퍼 제 어부(22)는 HDD(23)보다 단속적으로 입력되는 신호를 연속적인 신호로서, 다중 분리 회로(21)에 출력할 수 있도록 버퍼를 제어한다.

HDD(23)는 시스템 컨트롤러(31)로 제어되어, 버퍼 제어부(22)로부터 공급되는 TS를 소정의 어드레스에 기록한다. 또한, HDD(23)는 프로토콜로서, IDE (Integrated Drive Electronics)를 이용한 것으로 하고 있지만, 그 이외의 것이어도 좋다. 또한, 이 예에 있어서는, 영상 데이터를 기록하는 기록 매체로서 HDD(23)를 이용하고 있지만, 예를 들면, 광 디스크, 광자기 디스크, 또한, 고체 메모리 등을 사용하도록 하더라도 좋다.

MPEG AV 인코더(24)는 다중 분리 회로(21)로부터 공급된 영상 ES와 음성 ES중, 영상 ES에 영상 MPEG 디코드 처리를 실시하여, 영상 데이터를 생성한다. 또한, MPEG AV 인코더(24)는 음성 ES에 음성 MPEG 디코드 처리를 실시하여, 음성 데이터를 생성한다. 또한, MPEG AV 인코더(24)는 생성한 영상 데이터를 포스트 영상 신호 처리부(25)에, 음성 데이터를 절환기(28)에 각각 출력한다.

포스트 영상 신호 처리부(25)는 MPEG AV 디코더(24)로부터 입력된 영상 데이터나, 또는, 프리 영상 신호 처리부(17)로부터 입력된 영상 데이터 중 어느 하나를, 시스템 컨트롤러(31)의 지령에 기초하여 절환시켜, 움직임 검출 처리를 실행하고, 그 결과로부터 영상 신호 보간 처리를 실시한 후, OSD (On Screen Display) 회로(26)에 출력한다. 또한, 포스트 영상 신호 처리부(25)의 상세에 대해서는, 후술한다.

0SD 회로(26)는 화면 표시용의 그래픽스 등의 생성을 행하여, 포스트 영상 신호 처리부(25)로부터 입력된 영상 데이터에 중첩하거나, 부분적으로 표시하기도 하는 등으로, NTSC 인코더(27)에 출력한다. NTSC 인코더(27)는 OSD 회로(26)로부터 입력된 영상 데이터를 YC 신호로 변환하여, D/A 변환 처리를 실시한 후, 아날로그의 영상 신호를 생성하여 출력함과 함께, S 영상 신호를 생성하여 출력한다.

절환기(28)는 MPEG AV 디코더(24), 또는, 음성 A/D 변환기(19)로부터 공급된 음성 데이터 중 어느 하나를, 시스템 컨트롤러(31)로부터의 지령에 기초하여 절환하여, 음성 D/A (Digital/Analog) 변환기(29)에 출력한다. 음성 D/A 변환기(29)는 입력된 음성 신호를 디지털 신호로부터 아날로그 신호로 변환하여, 음성 출력으로 한다.

디지털 인터페이스(30)는 예를 들면, 외부 기기로서 IRD (Integrated Receiver Decoder; 1O1)로부터 IEEE (Institute of Electrical and Electronic Engineers) 1394 직렬 버스 등을 통해 공급되는 TS를 인터페이스 처리한 후, 다중 분리 회로(21)에 출력한다. 다중 분리 회로(21)는 기록시에는, 입력된 TS를 버퍼 제어부(22)에 출력한다. 또한, 재생시에는, 다중 분리 회로(21)는 버퍼 제어부(22)로부터 공급된 TS를 디지털 인터페이스(30)에 출력한다. 디지털 인터페이스(30)는 다중 분리 회로(21)로부터 입력된 신호를 IEEE1394 직렬 버스에 적합한 포맷으로 변환하여, IRD(101)에 출력한다. 또한, 이 예에 있어서는, 영상 기록 재생 장치(1)에 외부 장치로서 IRD(1O1)를 접속하였지만, 텔레비전 수상기나 그 밖의 AV (Audio/Visual) 기기이더라도 좋다.

시스템 컨트롤러(31)는, 영상 기록 재생 장치(1)의 전체의 동작을 제어하고 있다. 또한, 시스템 컨트롤러(31)는 호스트 버스(32)를 통해, ROH (Read Only Memory; 33)에 기억되어 있는 기본 프로그램을, 적절하게 RAM (Random-Access Memory; 34)에 판독하여 실행한다. 또한, HDD(23)에 기억되어 있는 0S (Operating System) 등의 프로그램을 판독하여, 각종의 처리를 실행한다. 또한, 시스템 컨트롤러(31)는, 드라이브(111)에 장착된 자기 디스크(121), 광 디스크(122), 광자기 디스크(123), 또는, 반도체 메모리(124)에 기억된 프로그램을 적절하게 RAM(34)에 판독하여 실행한다.

다음에, 영상 기록 재생 장치(1)가, 지상파 튜너(11)에 의해 수신되는 영상을 기록할 때의 동작에 관해서 설명한다.

지상파 튜너(11)는 도시하지 않은 방송국으로부터의 전파를 수신하여, 영상 신호 및 음성 신호를 추출하여 입력 절환기(12)에 출력한다. 입력 절환기(12)는, 시스템 컨트롤러(31)로부터의 지령에 기초하여, 지금의 경우, 지상파 튜너(11)로부터 입력되는 영상 신호를 YC 분리기(13)에, 음성 신호를 음성 A/D 변환기(19)에 출력한다.

YC 분리기(13)는 입력 절환기(12)로부터 입력되는 영상 신호를 휘도 신호와 색 신호로 분리하여, 입력 절환기(14)에 출력한다. 입력절환기(14)는 시스템 컨트롤러(31)의 지령에 기초하여, 지금의 경우, S 영상 신호가 아니고, YC 분리기(13)로부터 입력된 영상 신호를 NTSC 디코더(15)에 출력한다.

NTSC 디코더(15)는, YC 분리기(13)로부터 입력된 NTSC 방식의 영상 신호를 A/D 변환, 및, 크로마 디코드 처리하여, 영상 데이터로 변환하여, 프리 영상 신호 처리부(17)에 출력한다.

프리 영상 신호 처리부(17)는, NTSC 디코더(15)로부터 입력된 영상 데이터에, 프리 필터 처리 등을 실시하여, MPEG 비디오 인코더(18)에 출력한다. 이 때, 프리 영상 신호 처리부(17)는 영상 데이터를 포스트 영상 신호 처리부(25)에도 출력한다.

MPEG 비디오 인코더(18)는 프리 영상 신호 처리부(17)로부터 입력된 영상 데이터에 MPEG 비디오 인코드 처리를 실시한 후, 영상 ES를 생성하여, 다중 분리 회로(21)에 출력한다.

한편, 음성 A/D 변환기(19)는 입력 절환기(12)로부터 입력된 음성 신호를 아날로그 신호로부터 디지털 신호로 변환하여, MPEG 오디오인코더(20)에 출력함과 함께, 절환기(28)에 출력한다.

MPEG 오디오 인코더(20)는 음성 A/D 변환기(19)로부터 입력된 음성 신호를 MPEG 포맷에 따라서 압축하고 음성 ES를 생성하여, 다중 분리 회로(21)에 출력한다.

다중 분리 회로(21)는 MPEG 비디오 인코더(18)로부터 입력된 영상 ES와, MPEG 오디오 인코더(20)로부터 입력된 음성 ES를, 각종의 제어 신호와 함께 다중화하고 TS를 생성하여, 버퍼 제어부(22)에 출력한다. 버퍼 제어부(22)는 다중 분리 회로(21)로부터 공급된 TS를 단속적으로 HDD(23)에 출력한다. HDD(23)는 시스템 컨트롤러(31)로부터의 제어 신호에 기초하여, TS를 단속적으로 소정의 어드레스에 기록한다.

다음에, 영상 기록 재생 장치(1)가 HDD(23)에 기록된 TS를 재생하여, 출력할 때의 동작에 관해서 설명한다.

HDD(23)는 시스템 컨트롤러(31)의 제어 신호에 기초하여, 소정의 어드레스에 기록된 TS를 판독하여, 버퍼 제어부(22)에 출력한다. 버퍼 제어부(22)는 HDD(23)로부터 단속적으로 입력된 TS를, 연속적인 TS가 되도록 버퍼를 제어하여, 다중 분리 회로(21)에 출력한다.

다중 분리 회로(21)는 버퍼 제어부(22)로부터 입력된 TS를, 영상 ES와 음성 ES의 PES로 변환하여, MPEG AV 디코더(24)에 출력한다. MPEG AV 디코더(24)는 입력된 영상 ES를 포스트 영상 신호 처리부(25)에, 음성 ES를 절환기(28)에, 각각 출력한다.

포스트 영상 신호 처리부(25)는 시스템 컨트롤러(31)로부터의 지령에 기초하여, MPEG AV 디코더(24)로부터 입력된 영상 ES를 움직임 검출 처리하고, 또한 움직임 검출 결과에 기초하여, 영상 ES를 보간 처리하여, OSD 회로(26)에 출력한다. OSD 회로(26)는 그래픽스 등의 생성을 행하여, 포스트 영상 신호 처리부(25)로부터 입력된 영상 데이터에 중첩하여, NTSC 인코더(27)에 출력한다.

NTSC 인코더(27)는 0SD 회로(26)로부터 입력된 영상 데이터를 YC 신호로 변환하여, D/A 변환한 후, 영상 신호로서 출력한다.

한편, 절환기(28)는, 시스템 컨트롤러(31)로부터의 지령에 기초하여, MPEG AV 인코더(24)로부터 입력된 음성 데이터를 D/A 변환기(28)에 출력한다. D/A 변환기(28)는 MPEG AV 인코더(24)로부터 입력된 음성 데이터를, 디지털 신호로부터 아날로그 신호로 변환하여, 음성 신호로서 출력한다.

다음에, 도 2를 참조하여, 포스트 영상 신호 처리부(25)의 상세에 관해서 설명한다. 포스트 영상 신호 처리부(25)의 절환기(41)는 시스템 컨트롤러(31)로부터의 제어 신호에 기초하여, 입력 신호를 프리 영상 신호 처리부(17)로부터의 영상 데이터 입력 (영상 데이터 입력1)과, MPEG AV 디코더(24)로부터의 영상 데이터 입력 (영상 데이터 입력2) 중 어느 하나에 절환하여, 노이즈 저감 처리부(42)에 출력한다.

노이즈 저감 처리부(42)는 절환기(41)로부터 입력된 영상 데이터의 노이즈 성분을 저감시켜, 움직임 검출 처리부(43)와 영상 신호 보간 처리부(44)에 출력한다. 또한, 노이즈 저감 처리부(42)의 상세에 대해서는, 도 4를 참조하여 후술한다.

움직임 검출 처리부(43)는 노이즈 저감 처리부(42)로부터 입력된 영상 데이터의 움직임 검출 처리를 실시하여, 움직임 검출 결과를 영상 신호 보간 처리부(44)에 출력한다. 또한, 움직임 검출 처리부(43)의 상세에 대해서는 도 5를 참조하여 후술한다.

영상 신호 보간 처리부(44)는 노이즈 저감 처리부(42)로부터 입력된 영상 데이터를 움직임 검출 처리부(43)로부터 입력된 움직임 검출 결과에 기초하여 보간 처리하여, 0SD 회로(26)에 출력한다. 또한, 영상 신호 보간 처리부(44)에 대해서는, 도 7을 참조하여 후술한다.

이상과 같이, 움직임 검출 처리부(43)의 전단에 노이즈 저감 처리부(42)를 배치함으로써, 입력된 신호의 노이즈 저감 처리가 실시된 후, 움직임 검출 처리부(43)에서 움직임 검출 처리가 실행된다. 이 때문에, 노이즈가 움직임으로 검출된다는 오검출(誤檢出)이 억제되기 때문에, 영상 신호 보간 처리부(44)는 올바른 움직임 검출 결과에 기초하여, 영상 데이터를 보간 처리할 수가 있다.

또한, 도 3에 도시한 바와 같이, 절환기(41)로부터 입력된 영상 데이터 중, 움직임 검출 처리부(43)에 공급되는 신호만을 노이즈 저감 처리하도록 하더라도 좋다.

다음에, 도 4를 참조하여, 노이즈 저감 처리부(42)의 상세에 관해서 설명한다. 감산기(51)는 입력된 영상 데이터의 각 화소치로부터 리미터(54)로부터 공급된 각 화소의 노이즈 성분을 감산하여, 이것을 영상 데이터로서 움직임 검출부(43)및 영상 신호 보간 처리부(44)에 출력함과 함께, 필드 메모리(53)에 기억시킨다.

또한, 화소치란 화소의 휘도 신호의 레벨이다.

감산기(52)는 입력된 영상 데이터 (필드)의 각 화소치로부터, 필드 메모리(53)에 기억되어 있는 하나 전 필드 (NTSC 방식으로, 16.667ms 전의 필드)의 화소치를 감산하여, 그 결과를 리미터(54)에 출력한다.

리미터(54)는 감산기(52)로부터 입력된 값이 소정의 임계치 이상이면, 노이즈라고 간주하여, 그 값을 대응하는 화소의 노이즈로서 감산기(51)에 출력한다. 리미터(54)는 감산기(52)로부터 입력된 값이 소정의 임계치 미만이면, 노이즈가 없던 것으로 간주하여, 대응하는 화소의 노이즈로서 0을 감산기(51)에 출력한다.

각 화소치는 노이즈를 포함하지 않은 경우, 정지 화상일 때, 필드 사이에서 그 화소치에는 변화가 없고, 또한, 동화상일 때, 필드 사이에서 그 화소치에는 변 화가 있지만, 그 변화에는 어느 정도의 상관성이 있기 때문에, 소정의 임계치 이상으로 변화하지 않는다는 성질이 있다. 이것에 대하여, 각 화소에 MPEG 압축 신장에 의한 노이즈 등이 포함되어 있는 경우, 필드 사이의 화소치의 변화에는 상관성이 없기 때문에, 그 변화는 극단적으로 커지는 것이 많다.

그래서, 리미터(54)는 감산기(52)에 입력된 영상 데이터의 화소치로부터, 1 필드전의 화소치와의 차분을 취해, 그 화소치의 차분이 소정의 임계치 이상인 경우 그 차분을 노이즈로 간주하여 감산기(51)에 출력하여, 원래의 화소치로부터 차감하는 것으로서 노이즈를 제거하고, 또한, 노이즈를 제거한 화소 데이터를 출력함과 함께 필드 메모리(53)에 기억시키고 있다. 즉, 이 노이즈 저감 처리부(42)는 필드 순회형 노이즈 저감기로서 기능하고 있다. 또한, 이 예에 있어서, 필드 순회형 노이즈 저감기로 하고 있지만, 프레임 순회형 노이즈 저감기나 필드와 프레임을 조합한 순회형 노이즈 저감기이더라도 좋다. 또한, 본 실시예에서는, 휘도 신호에 관해서 진술하여 왔지만, 크로마 신호에 관해서 마찬가지의 처리를 실시하도록 하더라도 좋다.

다음에, 도 5를 참조하여, 움직임 검출 처리부(43)에 관해서 설명한다. 필드 메모리(61)는 1 필드 분의 영상 데이터를 기억하여, 1 필드 지연한 화소치를 필드 차분 처리부(62)에 출력한다.

필드 차분 처리부(62)는 직접 입력되는 영상 데이터의 각 화소치와 필드 메모리(61)로부터 공급되는 1 필드전의 영상 데이터의 각 화소치와의 차분을 연산하여 비교기(63)에 출력한다. 구체적으로는, 도 6에 도시한 바와 같이, 검정 동그라 미로 도시하는 n 번째의 필드의 영상 데이터의 각 화소와, 1 필드전의 ((n-1) 필드의) 영상 데이터의 화소와의 차분을 구하는 경우, 필드 차분 처리부(62)는 필드 사이가 공간적인 위치의 어긋남을 보정하여 차분을 연산한다. 즉, n-1번째의 필드상의 화소 C에 대응하는, 본래, 존재하지 않는, 도 6중의 n 번째의 필드상의 화소 Z가, 그 상하에 실재하는 화소 A, B로부터 연산되어, 이 화소 Z와 화소 C와의 차분이 연산된다. 즉, 필드 차분 처리부(62)는 이하의 수학식 1로 나타내는 값 F를 각 화소의 필드 차분 데이터로서 구하여, 비교기(63)에 출력한다.

또한, 여기서, A, B, C는, 도 6중의 영상 데이터의 각 화소의 화소치 (휘도 신호의 레벨)를 보이고 있다.

비교기(63)는, 필드 차분 처리부(62)로부터 입력된 필드 차분치를 소정의 임계치와 비교하여 임계치 이상인 경우 그 화소를 동화소로 하고, 임계치 미만인 경우 그 화소를 정지 화소로 하여, 각 화소마다 움직임을 구하여 이것을 고립점 제거부(64)에 출력한다.

고립점 제거부(64)는 입력된 비교 결과 (움직임)로부터, 동화소로서 판정된 1개의 화소 중, 좌우에 (수평 방향에) 인접하여 정지 화소가 배치된 화소 (고립점 동화소)를 추출하여, 그 화소를 동화소로부터 정지 화소로 변환한다. 즉, 각 화소 사이는, 좌우의 화소와의 상관성이 높다는 성질이 있기 때문에, 동화소라고 판정된 좌우 양측에 정지 화소가 있는 경우, 본래, 정지 화소이어야 하는 화소를, 동화소로서 오검출하고 있을 가능성이 높기 때문에, 이와 같이 고립점 동화소를 제거함으로써, 동화소의 오검출이 억제된다.

영역 확장부(65)는 고립점 동화소가 제거된 영상 데이터의 각 화소중 동화소를 구성하는 부분의 수평 방향에 예를 들면, 또한, 2 화소 분씩을 정지 화소로부터 동화소로 변환하여 동화소의 영역을 확장하는 처리를 행한다. 동화소로서 판정된 화소의 주변에는 동화소가 포함되어 있을 가능성이 높기 때문에, 동화소의 영역이 확장되어 있는 것이다. 또한, 이 예에 있어서는 동화소의 영역 확장 처리에 의해 동화소의 좌우 2 화소를 정지 화소로부터 동화소로 변환하여 있지만, 좌우 1 화소씩으로 해도 좋고 더 많게 하더라도 좋다.

또한, 이 예에 있어서는 필드 차분을 이용한 움직임 검출 처리에 관해서 설명하여 왔지만, 예를 들면, 본 출원인이 일본 특허출원 평11-15379호 로서 먼저 제안한 바와 같이, 프레임 차분과 필드 차분을 병용한 방식에 의한 움직임 검출 처리라도 좋고, 동 출원에 개시되어 있는 프레임 차분만을 사용한 움직임 검출 처리라도 좋다.

다음에, 도 7을 참조하여, 영상 신호 보간 처리부(44)의 상세에 관해서 설명한다. 프레임 메모리(71)는 입력된 영상 데이터를 프레임 단위로 기억하는 메모리이고, 입력된 영상 데이터의 2 필드 분의 데이터를 일단 저장하여 1 프레임 분의 영상 데이터를 필드 보간부(72) 및 절환기(73)에 출력한다.

필드 보간부(72)는 구하고자 하는 필드의 화소를 그 상하 화소의 평균치로서 구한다. 즉, 필드 보간부(72)는 도 6에 있어서의 화소치 Z (=(A+B)/2)를 필드 전체에 걸쳐 연산에 의해 구하여 절환기(73)에 출력한다.

절환기(73)는 특정 필드의 움직임 검출 결과가 움직임 검출 처리부(43)로부터 입력된 경우, 그 움직임 검출 결과에 기초하여 필드 보간부(72)로부터 입력된 화소치나, 또는 프레임 메모리(71)로부터 직접 입력된 화소치 중 어느 하나를 선택한다. 즉, 절환기(73)는 움직임 검출 결과로부터 동화소라고 판정한 경우, 대응하는 화소치로서는 필드 보간부(72)로부터의 보간 처리된 화소치를 선택하고, 정지화소라고 판정한 경우, 프레임 메모리(71)로부터 직접 입력되는 필드의 화소치를 선택한다. 절환기(73)는 이상의 처리에 의해, 각 화소치에 관해서 1 필드 분의 영상 데이터를 생성하면 OSD 회로(26)에 출력한다.

다음에, 도 8의 순서도를 참조하여, 포스트 영상 신호 처리부(25)의 포스트 영상 신호 처리에 관해서 설명한다. 또한, 이 처리의 설명은 도 2의 구성 예를 참조하지만 물론, 도 3의 구성이라도 좋다.

시스템 컨트롤러(31)의 지령에 기초하여 절환기(41)가 절환되고, MPEG 디코더(24) 또는 프리 영상 신호 처리부(17) 중 어느 하나로부터, 영상 데이터가 입력되면 처리가 개시되어, 스텝 S1에서 노이즈 저감 처리부(42)는 노이즈 저감 처리를 실행한다.

여기서, 도 9의 순서도를 참조하여 노이즈 저감 처리에 관해서 설명한다. 영상 데이터가 노이즈 저감 처리부(42)에 입력되면 처리가 개시되고, 스텝 S11에서, 예를 들면, 도 10에 도시하는 n 번째의 필드가 감산기(51, 52)에 입력된 경우, 동시에, n-1번째의 필드 (1개 전의 필드)가 필드 메모리(53)로부터 감산기(52)에 판독된다.

스텝 S12에 있어서, 감산기(52)는 입력된 n 번째의 필드의 각 화소치로부터, 필드 메모리(53)로부터 판독된 n-1번째의 필드의 각 화소치를 감산하여, 그 결과를 리미터(54)에 출력한다. 즉, 예를 들면, 도 1O에서는 n 번째의 라인 r+1상의 화소 T로부터 이것에 대응하는 n-1번째의 필드의 라인 q+1상의 화소 S의 화소치를 감산(=T-S)한다. 감산기(52)는 이러한 연산 처리를 각 화소에 관해서 실행하여, 그 결과 리미터(54)에 출력한다.

스텝 S13에 있어서, 리미터(54)는 감산기(52)로부터 입력된 연산 결과로부터, 움직임의 범위로서 설정되어 있는 소정의 임계치 P와 비교하여, 연산 결과가 소정의 임계치 P 이상인 경우, 감산기(52)로부터 입력된 연산 결과로부터 소정의 값을 감산한 값 (=(T-S))을 노이즈로서 감산기(51)에 출력한다. 또한, 연산 결과가 소정의 임계치 P 미만인 경우, 리미터(54)는 그 화소에 관해서 노이즈가 없던 것으로 하여, 연산 결과를 0으로 하여 출력한다. 리미터(54)는 이러한 연산을 필드 전체에 관해서 연산하여, 그 연산 결과를 감산기(51)에 출력한다.

스텝 S14에 있어서, 감산기(51)는 입력된 n 번째의 필드의 각 화소치로부터, 리미터(54)로부터 입력된 노이즈 성분을 감산함으로써 노이즈를 저감하여, 영상 데이터로서 출력함과 함께 필드 메모리(53)에 기록시킨다.

이와 같이, 스텝 S1 (도 8)의 노이즈 저감 처리가 실행된다.

스텝 S2에 있어서, 움직임 검출 처리부(43)는 움직임 검출 처리를 실행한다.

여기서, 움직임 검출 처리부(2)의 움직임 검출 처리에 관해서 도 11의 순서도를 참조하여 설명한다. 도 9에 도시한 노이즈 저감 처리가 실시된 영상 데이터 로서, 예를 들면, 도 10의 n번째의 필드가 움직임 검출 처리부(43)에 입력되면, 스텝 S21에 있어서 그 n번째의 필드는 필드 메모리(61)와 필드 차분 처리부(62)에 입력되고, 동시에 n-1번째의 필드가 필드 메모리(61)로부터 필드 차분 처리부(62)에서 판독된다.

스텝 S22에 있어서, 필드 차분 처리부(62)는 입력된 n 번째의 필드의 각 화소치와 n-1번째의 필드의 각 화소치와의 차분을 연산하여 비교기(63)에 출력한다. 즉, n 번째의 필드와 n-1번째의 필드는 도 10에 도시한 바와 같이 공간적인 위치의 어긋남이 있기 때문에, 이것을 보정하여 그 차분이 연산된다. 도 12는 도 10의 각 필드 데이터 중, 좌측으로부터 3열째의 화소에 관해서 공간의 위치 관계를 나타내고 있다. 필드의 각 화소는 수직 방향에 1 행 걸러서 배치되고, 또한, 전후의 필드의 각 화소는 수직 방향에 대하여 교대로 배치되도록 되어 있다. 이 때문에, 도 12에 도시한 바와 같이, n-1번째의 필드상의 화소 S에 대응하는 화소는 본래, n 번째의 필드에는 존재하지 않는다. 이 때문에, 도 13에 도시한 바와 같이, 이 화소 S에 대응하는 화소 G가 화소 T, U의 평균치 (=(T+U)/2=G)로서 생성되어, 그 차분 (=|G-S|= |((T+U)/2)-S|)이 각 화소마다 구해져 비교기(63)에 출력된다.

스텝 S23에 있어서, 비교기(63)는 각 화소 마다의 차분 결과를 임계치 이상인지의 여부를 판정하여 임계치 이상인 경우, n-1번째 필드의 화소 S에 대응하는 화소는 동화소로 간주하여, 그 화소치로서 화소 T, U의 평균치 (=(T+U)/2=G)를 채용하고, 임계치 미만인 경우 정지 화소로 간주하여 그 화소치로서 S를 그대로 채용한다. 이 처리를, n-1번째의 필드 전체의 각 화소마다 실행하여 그 결과를 고립점 제거부(64)에 출력한다.

스텝 S24에 있어서, 고립점 제거부(64)는 입력된 필드 중, 수평 방향에 대하여, 좌우에 정지 화소가 배치된 1개의 동화소를 검출하여, 그 동화소를 정지 화소로 변환하여, 이것을 필드 전체에 실시하여, 영역 확장부(65)에 출력한다. 즉, 도 14의 (A)에 도시한 바와 같이, 수평 방향에 흰 동그라미로 나타낸 정지 화소와, 검정 동그라미로 나타낸 동화소가 배치되어 있는 경우, 좌우에 인접하여 정지 화소가 배치된 1개의 동화소 H, K는 정지 화소로 변환되고, 또한, 좌우(양방)가 정지 화소가 아닌 2개의 동화소 I, J는 동화소로 하여 그대로 처리되어, 도 14의 (B)에 도시된 바와 같이 배치된다.

스텝 S25에 있어서, 영역 확장부(65)는 수평 방향에 대하여, 동화소로 이루어진 동(動)영역을 검출하여, 그 좌우에 배치된 정지 화소로 이루어지는 정지 영역 중 동영역에 인접하는 2개의 화소를 동화소로 변환하고, 동영역을 확장하여, 영상 신호 보간 처리부(44)에 출력한다. 즉, 예를 들면, 도 15의 (A) (도 14의 (B)와 마찬가지)에 도시한 바와 같이 입력된 화소는, 그 동 영역 (화소 I, J)의 좌우에 배치된 정지 화소가 도 15의 (B)에 도시한 바와 같이, 동화소로서 변환되어, 동 영역이 확장되어, 영상 신호 보간 처리부(44)에 출력된다.

이상과 같이, 스텝 S2 (도 8)에 있어서, 움직임 검출 처리부(43)는 입력된 영상 데이터의 움직임 검출 처리를 실행하여, 움직임 검출 결과를 영상 신호 보간 처리부(44)에 출력한다.

스텝 S3에 있어서, 영상 신호 보간 처리부(44)는 입력된 영상 데이터에 영상 신호 보간 처리를 실시한다. 여기서, 도 16의 순서도를 참조하여, 영상 신호 보간 처리부(44)의 영상 신호 보간 처리에 관해서 설명한다.

스텝 S31에 있어서, n 번째의 필드가 영상 데이터로서 프레임 메모리(71)에 입력되어 기억된다. 또한, 움직임 검출 처리부(43)로부터 n-1번째의 필드의 움직임 검출 결과가 절환기(73)에 입력된다.

스텝 S32에 있어서, 프레임 메모리(71)는 n 번째의 필드와 n-1번째의 필드로 이루어지는 프레임을 필드 보간부(72) 및 절환기(73)에 출력한다.

스텝 S33에 있어서, 필드 보간부(72)는 입력된 프레임 중, n 번째의 필드의 각 화소로부터 수직 방향에 인접하는 화소 사이에, 그 평균치로서 보간 화소를 생성하여 절환기(73)에 출력한다. 즉, 이 보간 처리는 n 번째의 필드 전역에서 도 13에 도시한 바와 같이, 화소 T, U의 평균치를 구하는 보간 처리로부터, 화소 G를 생성하는 처리의 것이다.

스텝 S34에 있어서, 절환기(73)는 움직임 검출 결과에 기초하여, n-1번째의 필드 중, 동화소로서 입력된 화소에는 필드 보간부(72)에 의해 보간 처리된 화소치를 사용하고, 정지 화소로서 입력된 화소에 대하여는, 프레임 메모리(71)로부터 직접 입력된 화소를 그대로 사용하여, 필드를 생성하여, 인터레이스 화상으로서, 0SD 회로(26)에 출력한다.

상술된 바와 같이, 스텝 S3에 있어서, 영상 신호 보간 처리부(44)는 영상 신호 보간 처리를 실행한다.

이상에 의하면, 영상을 표시하는 경우, 움직임 검출 처리 전에, 노이즈 저감 처리를 실행함으로써, 영상 데이터에 포함되는 노이즈나, MPEG의 압축 신장시에 생기는 노이즈에 의한 움직임 검출의 오검출을 억제하도록 하였기 때문에, 움직임 검출을 정확하게 실행하는 것이 가능해진다.

상술한 일련의 처리는 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이 전용 하드웨어에 조립되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨하여 각종 기능을 실행시키는 것이 가능한, 예를 들면 범용 퍼스널컴퓨터 등에 기록 매체로부터 인스톨된다.

이 기록 매체는 도 1에서 나타낸 바와 같이 영상 기록 재생 장치(1)에 미리 조립된 상태에서 유저에게 제공된다. 프로그램이 기록되어 있는 하드디스크드라이브(23) 만이 아니라, 컴퓨터와는 달리 유저에게 프로그램을 제공하기 위해 배포된다. 프로그램이 기록되어 있는 자기 디스크(121; 플로피 디스크를 포함함), 광 디스크(122; CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk)를 포함함), 광 자기 디스크(123; MD(Mini-Disk)를 포함), 또는 반도체 메모리(124) 등으로 이루어지는 패키지 미디어에 의해 구성된다.

또, 본 발명에서 기록 매체에 기록되는 프로그램을 기술하는 스텝은 기재된 순서에 따라서 시계열적으로 행해지는 처리는 물론 반드시 시계열적으로 처리되지 않아도, 병렬적 또는 개별로 실행되는 처리를 포함하는 것이다.

본 발명의 영상 기록 재생 장치 및 방법에 의하면, 공급된 영상, 또한 이미 기록된 영상의 노이즈를 순회형 노이즈 저감기에 의해 저감하여, 노이즈가 저감된 영상의 움직임 검출을 실행하고, 움직임 검출 결과에 기초하여, 공급된 영상, 또한 이미 기록된 영상에 보간 처리를 실시하도록 했기 때문에, 움직임 검출 처리를 정확하게 실행하는 것이 가능하게 된다.

Claims

공급된 영상을 기록하거나, 또는 이미 기록된 상기 영상을 재생하는 영상 기록 재생 장치로서,

제1 감산기, 제2 감산기 및 리미터를 포함하고, 상기 제1 감산기가 상기 공급된 영상의 데이터 또는 상기 이미 기록된 영상의 데이터의 각 화소치로부터, 필드 메모리에 기억된 1 필드 전의 필드의 화소치의 차분을 산출하여 상기 리미터에 제공하고, 상기 리미터가 상기 차분이 소정의 임계치 이상의 경우 노이즈로 판정하여 제2 감산기에 출력하며, 상기 제2 감산기가 상기 각 화소치로부터 상기 차분을 차감함으로써, 상기 공급된 영상 또는 상기 이미 기록된 영상의 노이즈를 저감하는 노이즈 저감 수단,

상기 노이즈 저감 수단에 의해 노이즈가 저감된 영상의 움직임 검출을 실행하는 움직임 검출 수단, 및

상기 움직임 검출 수단의 움직임 검출 결과에 기초하여, 상기 공급된 영상 또는 상기 이미 기록된 영상에 보간 처리를 실시하는 영상 신호 보간 처리 수단

을 포함하는 영상 기록 재생 장치.
공급된 영상을 기록하거나, 또는 이미 기록된 상기 영상을 재생하는 영상 기록 재생 장치의 영상 기록 재생 방법으로서,

상기 공급된 영상 또는 상기 이미 기록된 영상의 데이터의 각 화소치로부터, 필드 메모리에 기억된 1 필드 전의 필드의 화소치의 차분을 산출하고, 상기 차분이 소정의 임계치 이상의 경우 노이즈로 판정하여, 상기 각 화소치로부터 상기 차분을 차감함으로써, 상기 공급된 영상 또는 상기 이미 기록된 영상의 노이즈를 저감하는 노이즈 저감 스텝,

상기 노이즈 저감 스텝의 처리로 노이즈가 저감된 영상의 움직임 검출을 실행하는 움직임 검출 스텝, 및

상기 움직임 검출 스텝의 처리에서의 움직임 검출 결과에 기초하여, 상기 공급된 영상 또는 상기 이미 기록된 영상에 보간 처리를 실시하는 영상 신호 보간 처리 스텝

을 포함하는 영상 기록 재생 방법.