KR100596149B1

KR100596149B1 - 텔레비전 신호에 포함된 보조 정보를 재포맷팅하기 위한 장치

Info

Publication number: KR100596149B1
Application number: KR1019997004664A
Authority: KR
Inventors: 룸레이마크프란시스; 쥬카스마크로버트
Original assignee: 톰슨 콘슈머 일렉트로닉스, 인코포레이티드
Priority date: 1996-12-19
Filing date: 1997-12-10
Publication date: 2006-07-03
Also published as: CN1246241A; US6097442A; DE69734524D1; EP0945013A1; CN1132426C; KR20000057271A; JP2001506449A; JP2009065722A; DE69734524T2; AU5521398A; WO1998027728A1; JP5008092B2; EP0945013B1; MY123068A; JP4676038B2

Abstract

본 발명은 텔레비전 신호로부터 추출되는 클로즈드 캡션 텍스트와 같은 보조 정보를 재포맷팅(reformatting)하는 방법 및 장치이다. 본 장치는, 중복 공간(redundant space)을 제거하고, 텍스트를 임의의 크기의 클로즈드 캡션 윈도우에 텍스트가 맞게끔 재구성하고, 임의의 클로즈드 캡션 디스플레이 모드(예를 들어, 팝 온, 페인트 온 또는 롤 업)를 변경된 롤 온 디스플레이 모드로 변환하고, 화자 식별자 프롬프트를 자막에 삽입함으로써, 텍스트를 재포맷팅한다.

Description

텔레비전 신호에 포함된 보조 정보를 재포맷팅하기 위한 장치{APPARATUS FOR REFORMATTING AUXILIARY INFORMATION INCLUDED IN A TELEVISION SIGNAL}

본 발명은 픽쳐 인 픽쳐(picture-in-picture : PIP) 및 픽쳐 아웃사이드 픽쳐(picture-outside-picture : POP) 디스플레이와 같이, 메인 이미지와 보조 이미지를 갖는 멀티-이미지 디스플레이를 생성하는데 적합한 신호를 생성하는 시스템에 관한 것이다. 더욱 상세하게 말하자면, 본 발명은, 보조 이미지에 관련하는 보조 정보가 보조 이미지에 가장 근접하게 위치될 수 있도록 하기 위해, 클로즈드 캡션 텍스트와 같이 텔레비전 신호에 포함된 보조 정보를 재포맷팅하기 위한 방법 및 장치에 관한 것이다.

관련 출원의 상호 참조

본 출원은 다음에 나오는 공동으로 양도된 미국 특허 출원들 즉, "멀티-이미지 디스플레이에서 보조 정보를 보조 이미지에 근접하게 위치시키는 방법 및 장치(METHOD AND APPARATUS FOR POSITIONING AUXILIARY INFORMATION PROXIMATE AN AUXILIARY IMAGE IN A MULTI-IMAGE DISPLAY)" 라는 명칭의 출원 번호 08/770,770과, "멀티플 텔레비전 신호에 포함된 보조 데이터를 동시에 디코딩하는 텔레비전 장치(TELEVISION APPARATUS FOR SIMULTANEOUS DECODING OF AUXILIARY DATA INCLUDED IN MULTIPLE TELEVISION SIGNALS)" 라는 명칭의 출원 번호 08/769,329와, "멀티-이미지 디스플레이에서 독립적인 이미지 변경을 제공하는 비디오 신호 처리 시스템(VIDEO SIGNAL PROCESSING SYSTEM PROVIDING INDEPENDENT IMAGE MODIFICATION IN A MULTI-IMAGE DISPLAY)" 라는 명칭의 출원 번호 08/769,333과, "텍스트 디스플레이에 대해 조절된 스크롤 속도를 제공하기 위한 방법 및 장치(METHOD AND APPARATUS FOR PROVIDING A MODULATED SCROLL RATE FOR TEXT DISPLAY)" 라는 명칭의 출원 번호 08/769,331과 관계되며, 또한 위에 명시한 모든 미국 특허 출원들은 본 출원의 출원 날자와 동일한 날자에 Mark F. Rumreich 등의 이름으로 출원되었다.

텔레비전 신호는 텔레비전 프로그램의 비디오 및 오디오 프로그램 성분 이외의 정보를 나타내는 보조 정보 신호 성분을 포함할 수 있다. 예를 들어, 미국에서 NTSC(National Television Standards Committee) 방식의 텔레비전 신호는 클로즈드 캡션 정보를 포함한다. 디코딩 및 디스플레이되었을 때에, 클로즈드 캡션은 텔레비전 프로그램의 오디오 컨텐트의 가시적인 텍스트 표현을 제공한다. 클로즈드 캡션 데이터를 나타내는 보조 정보 신호 성분은 필드 1의 라인 21이 각각 발생하는 후반부 동안에 2 바이트의 2진 클로즈드 캡션 데이터를 포함한다. 부가적인 클로즈드 캡션 데이터 및 확장 데이터 서비스(extended data service :XDS) 정보와 같은 유사하게 인코딩된 정보는 필드 2의 라인 21과 같은 다른 라인 간격에 포함될 수 있다. 미국 법에서는 33.02 센티미터(13 인치) 보다 큰 CRT를 구비하는 모든 텔레비전 수신기에 있어서 자막 디코더를 필요로 한다. 따라서, 대부분의 프로그램들(비디오 테이프도 포함됨)은 이제 자막 데이터를 포함하고 있다.

자막이 청각 장애자들을 돕기 위하여 개발되었지만, 자막은 또한 청각이 아닌 다른 장애를 갖는 시청자들에게도 혜택을 줄 수 있다. PIP 디스플레이나 POP 디스플레이와 같은 멀티-이미지 디스플레이에서 보조 이미지를 위한 자막을 제공하는 것은 이러한 유형의 부가적인 혜택에 대한 예이다. 예를 들어, PIP 특성을 활성시키면 메인 화상의 일부분에서 디스플레이될 PIP 프로그램 신호의 컨텐트를 나타내는 작은 이미지(small image)가 생성된다. 그러나, 메인 화상과 연관되는 오디오 프로그램만이 처리되어, 텔레비전의 화자에 인가된다. PIP 신호의 오디오 컨텐트는 없어지게 된다. 오디오 프로그램이 텔레비전 프로그램을 이해하는데 중요하기 때문에 PIP 특성의 유용도는 관련된 오디오 프로그램이 없어서 상당히 제한된다. 이러한 문제를 해결하기 위한 접근 방법은 가시적인 디스플레이의 PIP 오디오 프로그램 부분을 나타내는 자막, 즉 가시적인 텍스트를 디스플레이하는 것이다. 그러나, 대부분의 텔레비전 수신기에서의 클로즈드 캡션 디코더는 PIP 신호가 아닌 메인 화상과 관련되는 자막 정보만을 처리한다.

이러한 일반적인 규칙에 대한 한 예외를 31HX-1200 모델 및 35HX-1200 모델과 같이 샤프 주식회사(Sharp Corporation)가 제작한 특정의 텔레비전 수신기에서 발견할 수 있다. 이러한 샤프 텔레비전 수신기들은 메인 자막 디코더로 PIP 신호가 연결되는 것을 허용하는 스위칭 성능을 제공함으로써 PIP 이미지와 관련된 오디오를 나타내는 자막을 디스플레이한다. PIP 자막은 스크린의 상부나 하부에서(사용자 선택가능 위치) 풀 사이즈(최대 32개의 대문자로 된 4 행까지)로 디스플레이된다. 샤프 주식회사의 텔레비전 수신기에서 사용된 PIP 자막의 한 예가 도 1에 도시되어 있는데, 도 1에서는 메인 이미지(100)와, PIP 이미지(102)와, PIP 자막(104)을 포함하는 멀티-이미지 디스플레이가 도시되어 있다.

본 발명은 상술한 PIP 자막(caption) 구현에 관련된 다수개의 문제들을 본 발명자들이 인지한 점에 부분적으로 기인한다. 첫 번째로, 메인 화상 자막과 작은 화상(small picture) 자막은 동시에 디스플레이될 수 없다. 두 번째로, 작은 이미지를 위한 자막 디스플레이와 결합된 그 작은 이미지는 사용자가 싫어할 정도로 메인 이미지를 가릴 수 있다. 예를 들어, 보통 사이즈의 PIP 이미지(스크린 영역의 1/9)와 결합되는, 샤프 주식회사의 수신기에서 구현된 것과 같은 PIP 자막(스크린 영역의 20 % 차지함)은 메인 화상 디스플레이의 30%이상을 가릴 수 있다. 세 번째로, 작은 화상 자막은 작은 화상 비디오와 동시에 나오기가 어려운데, 왜냐하면 스크린의 상부나 하부가 되는 자막의 위치가 작은 화상과 물리적으로 연결해제되어 있으며, 작은 화상으로부터 상당히 멀리 떨어져 있을 수 있기 때문이다. 네 번째로, 작은 화상 자막의 형태는 메인 화상 자막과 실질적으로 유사하여 사용자들이 어느 이미지가 그 자막과 관련되었는지에 대하여 혼동을 느끼게 된다. 이러한 문제들의 결합은 보조 화상 자막이 많은 시청자에게 유용하지 않을 정도로, 상술된 방식으로 구현된 보조 화상 정보를 귀찮은 것으로서 만들 수도 있다.

본 발명은 또한, 부분적으로는, 보조 정보가 PIP 디스플레이와 같은 멀티-이미지 디스플레이에서 보조 이미지에 가장 근접한 위치에 읽기 쉽게 디스플레이될 수 있도록, 보조 비디오 신호에 포함되어 있는 보조 정보를 재포맷팅하기 위한 방법 및 장치를 제공하는데 있다. 본 발명의 다른 양상에 따라서, 클로즈드 캡션 정보의 재포맷팅은 중복 공간(redundant space)을 제거하는 단계와, 텍스트가 임의 사이즈의 클로즈드 캡션 윈도우에 맞게끔 재구성하는 단계와, 임의의 클로즈드 캡션 디스플레이 모드{예를 들어, 팝 온(pop on), 페인트 온(paint on), 또는 롤 업(roll up)}를 예를 들어 변경된 롤 온 디스플레이(modified roll on display)와 같은 특정 디스플레이 모드로 변환하는 단계와, 화자 식별자 프롬프트(speaker identifier prompt)를 자막에 삽입하는 단계를 포함한다.

본 발명의 다른 양상에 따르자면, 데이터 인터프리터(data interpreter)는 스태터스 검출기(status detector)와, 제어 코드 프로세서와, 주소 생성기와, 새로운-화자 식별기와, 문자 맵퍼(character mapper)와, 포맷팅 FIFO와, 버퍼 메모리를 포함한다. 두 개의 새로운 클로즈드 캡션 문자들(문자 쌍)이 수신되면, 그 문자들은 우선 스태터스 검출기에 의하여 처리된다. 스태터스 검출기는 어느 자막 모드가 수신되었는 지와, 문자들을 어디에 보관해야 하는 지와, 그 문자들 중 어느 것이 제어 코드인지를 판별한다. 그 두 개의 문자들은 그 다음에 제어 코드 프로세서에 의하여 처리되는데, 상기 제어 코드 프로세서는, (만약에 있다면) 제어 코드에 응답하여, 캐리지 리턴(carriage return)이 재포맷팅된 자막에 삽입될 필요가 있는 지를 결정한다. 동시에, 그 문자들은 한번에 한 개씩 새로운-화자 식별기와 문자 맵퍼와 포맷팅 FIFO를 통하여 전송되어 진다. 이러한 세 개의 스테이지를 통과하는 동안에, 임의의 새로운 화자들은 식별되고, 문자들은 새로운 문자 셋트에 맵핑되고, 문자 스트림으로부터 중복 공간이 제거된다. 마지막으로 주소 생성기는 버퍼 메모리에 재포맷팅된 자막을 구성하고 그 자막을 원형 버퍼(circular buffer)에 기록한다. 원형 버퍼는 디스플레이 생성 하드웨어부에 의하여 억세스될 수 있어서, 알기 쉬운 클로즈드 캡션 텍스트 디스플레이가 표준 클로즈드 캡션 텍스트 포맷과 다른 포맷으로 생성되어 진다.

본 발명의 교지(teaching)는 첨부된 도면과 연관하여 이하에 나오는 설명을 고려함으로써 용이하게 이해될 수 있다.

이해를 용이하게 하기 위하여, 동일한 참조 번호가 도면들에서 공통으로 나오는 동일한 구성요소들을 지정하기 위해 가능한 곳에서 사용되었다.

도 1은 종래 기술에서 구현된 PIP 자막 방위(orientation)를 도시한 도면.

도 2는 PIP 클로즈드 캡션 정보가 PIP 이미지에 가장 근접하게 위치되어 있는 방위를 도시한 도면.

도 3은 PIP 이미지에 가장 근접하게 위치하는 클로즈드 캡션 텍스트를 생성하는 회로의 블록도.

도 4는 데이터 인터프리터 블록도.

도 5는 제어 코드 프로세서의 블록도.

도 2는 한 예시적인 PIP(Picture-In-Picture) 시스템에 의하여 생성된 멀티-이미지 디스플레이(multi-image display)를 도시한다. 도 2에 도시된 디스플레이는 보조 비디오 신호에 응답하여 생성된 PIP 이미지 영역(202)과 메인 비디오 신호에 응답하여 생성된 메인 화상(200)을 포함한다. PIP 이미지 영역(202)은 보조 비디오 신호의 비디오 신호 성분을 나타내는 활성 PIP 비디오 영역(210)과, 보조 비디오 신호의 보조 정보 성분으로부터 추출되는 클로즈드 캡션 텍스트(closed caption text)와 같은 보조 정보(208)를 포함한다. PIP 비디오가 디스플레이되는, PIP 이미지(202)의 활성 영역(210)은 메인 화상(200) 크기의 각각 1/3 ×1/3 정도가 되는 전형적인 크기를 갖는다. 이 예시적인 실시예에서, 영역(208)은 보조 비디오 신호에 포함된 보조 정보로부터 추출되는 클로즈드 캡션 텍스트를 나타낸다. PIP 자막(208)은 PIP 비디오 영역(210)을 둘러싸는 경계 영역(204)의 확장부(206) 내서 PIP 비디오 영역(210)에 가장 근접하게 위치한다.

예를 들어 PIP 자막이 되지 않을 때와 같은 "정상" 동작 모드에서, 경계 영역(204)은 활성 PIP 비디오 영역(210)의 사방에 대하여 대략 0.64 센티미터(0.25 인치) 넓이로 되어 있다. PIP 자막을 활성시키면, 경계 영역(204)의 하단부는 대략 5 센티미터(2 인치) 정도의 높이까지 확장되어 경계 확장부(206)(또한 여기서는 "윈도우"라고 언급됨)를 생성하고, 그 경계 확장부에서 PIP 자막이 디스플레이된다. PIP 자막(208)은 2 라인의 클로즈드 캡션 텍스트를 포함한다. 시스템은 PIP 자막(208)을 활성 PIP 비디오 영역(210)에 가장 근접하게 위치시키고, 동시에 메인 화상(200)의 범위 내에 있는 PIP 이미지 영역(202) 위치가 사용자에 의하여 종래 대로 설정된다는 것을 주목하기로 한다. 예를 들어, 원격 제어기에 있는 PIP 제어 버튼을 사용함으로써, 사용자는 PIP 이미지의 한 코너(예를 들어 상단 좌측 코너)가 위치될 수직 라인 번호(수직 위치)와 화소 위치(수평 위치)를 정한다.

클로즈드 캡션 텍스트(208)는 재포맷팅된 클로즈드 캡션 문자들을 포함한다. 재포맷팅은 수신된 클로즈드 캡션 문자들을 클로즈드 캡션 문자를 위하여 전형적으로 사용되는 문자 셋트(대문자 전용과 같은 문자 셋트)와 다른 문자 셋트에 맵핑시키는 단계와, 문자 사이즈를 감소시키는 단계와, 각각 18 문자로 된 2 행을 디스플레이하는 단계를 포함한다. 결과적으로 PIP 자막 윈도우는 36개의 문자들을 동시에 디스플레이한다. 이러한 자막 구성은 시청자의 이해를 용이하게 하고, 메인 화상이 가려지는 것을 최소화한다. 반대로, 클로즈드 캡션 표준인 EIA-608은 언제나 최고 4 행의 문자까지 디스플레이되게 하는 15행 ×32 열로 이루어진 디스플레이 문자 격자(grid)를 규정한다. 보조 비디오 신호에 포함된 클로즈드 캡션 정보는 EIA-608 표준에 따른 클로즈드 캡션 정보에 대해서 의도된 디스플레이 포맷을 규정하는 디스플레이 포맷 정보를 포함한다. 따라서, 보조 비디오 신호에 포함된 보조 정보는 어느 한 디스플레이 포맷을 지정하고, 이하에서 상세하게 설명되는 바와 같이, 보조 정보는 도 2에 도시된 것과 같은 제 2의 디스플레이 포맷, 즉 보조 정보에 의해 지정되는 디스플레이 포맷과는 다른 디스플레이 포맷을 생성하기 위해서 재포맷팅된다.

도 3은 본 발명에 따른 데이터 인터프리터(data interpreter)(304)를 구비하는 클로즈드 캡션 텍스트 프로세서(300)를 도시한다. 클로즈드 캡션 텍스트 프로세서(300)는 데이터 슬라이서(data slicer)(302)와, 원형 버퍼(circular buffer)(306)와, 판독 주소 생성기(read address generator)(308)와, 문자 프로세서(character processor)(310)를 더 포함한다. 데이터 슬라이서(302)는 종래 방식대로 텔레비전 신호의 각 프레임으로부터 클로즈드 캡션 문자 쌍(CHAR1, CHAR2)을 추출하도록 동작한다. 그 문자 쌍은 데이터 인터프리터(304)로 전달된다. 인터프리터(304)는, 가능한 문자의 개수를 감소시키고, 자막에서의 캐리지 리턴(carriage return)의 위치를 재포맷팅하고, 자막 개시 프롬프트(caption start prompt)를 삽입하고, 기타 다른 일을 수행함으로써 클로즈드 캡션 문자들을 재포맷팅한다. 재포맷팅 과정에 대한 세부 사항은 이하에 나오는 도 4에 관련하여 개시된다. 데이터 인터프리터의 출력은 원형 버퍼에 문자 코드를 일시적으로 저장하기 위한 기록 주소(CHAR COL 및 CHAR ROW)뿐만 아니라 자막의 문자를 나타내는 문자 코드 시퀀스(sequence of character code)이다.

문자 코드는 N 행 및 M 열의 원형 버퍼(306)에서 문자 저장 위치에 저장된다. PIP 응용의 경우에, 원형 버퍼는 16행 ×18열로 이루어져 있다. 판독 주소 생성기(308)는 버퍼의 충만 상태에 따라 변동하는 속도로 원형 버퍼로부터 문자 코드를 추출한다. 리콜된(recalled) 문자 코드는 문자들을 PIP 이미지에 가장 근접하게 삽입하는 제어 신호를 생성하도록 문자 프로세서에서 처리된다.

도 4는 본 발명의 데이터 인터프리터(304)의 블록도를 도시한다. 데이터 인터프리터(304)는 스태터스 검출기(status detector)(400)와, 제어 코드 프로세서(control code processor)(402)와, 주소 생성기(address generator)(404)와, 새로운-화자 식별기(new-speaker identifier)(406)와, 문자 맵퍼(character mapper)(408)와, 포맷팅 FIFO(410)와, 버퍼 메모리(412)를 포함한다. 이러한 구성요소들의 결합은 문자 쌍(CHAR1 및 CHAR2)을 기록 주소와 관련되는 문자 코드들로 재포맷팅한다.

스태터스 검출기(400)는 클로즈드 캡션 문자 쌍을 판독하고, 문자들이 보관되어야 하는 지와 어느 클로즈드 캡션 모드{예를 들어 롤 업(roll up), 팝 온(pop on), 또는 페인트 온(paint on)}가 수신되고 있는지와 특정 문자가 수신되었는지 여부를 판별한다. 스태터스 검출기는 자막 제어 코드를 모니터링함으로써 자막 모드를 식별하고 또한 자막이 팝 온, 롤 업, 또는 페인트 온 자막 중 어느 것인지를 표시하는 플래그(flag)를 생성한다. 스태터스 검출기는 일반적으로 클로즈드 캡션 디코더 요구조건 EIA 608과, 미 연방 통신 위원회 보고 및 규칙(FCC Report and Order)과, FCC 91-119 섹션 15,119 파트(g) 및 (i)에 따라 동작한다. 보관되는 문자들은 포맷팅 FIFO(410)에 전달된다. 모드 식별 신호들(POP_MODE, ROLL_MODE, 및 PAINT_MODE)은 주소 생성기(404)와 제어 코드 프로세서(402)에 전달된다. 또한 중복 제어 코드 신호는 제어 코드 프로세서에 전달되고, 제어 코드 자체는 프로세서(402) 및 새로운-화자 식별기(406)에 전달된다.

제어 코드 프로세서(402)는 자막에 캐리지 리턴을 삽입하는 때를 결정하기 위하여 제어 코드(예를 들어 프리앰블 주소 코드)를 분석한다. 제어 코드 프로세서(402)의 세부 사항은 이하에 나오는 도 5에 관련하여 설명된다. 제어 프로세서의 출력은 CR 신호로서, CR은 캐리지 리턴이 자막에 언제 삽입되어야 하는 지를 식별한다. CR 신호는 주소 생성기(404)에 전달된다.

새로운-화자 식별기(406)는 제어 코드를 디스플레이가능한 공간으로 변환시키고, 또한 롤 업 모드에서 화자의 변경을 식별하는데 사용되는 새로운-화자 식별자를 검출한다. 특히, CNTRL_CODE 신호가 논리 1일 때에(논리 1은 현 문자가 제어 코드인 것을 나타내는 것임) , 모든 제어 코드 바이트들은 공간으로 변환된다. 이렇게 만들어진 가외의(extra) 공간은 포맷팅 FIFO(410)에 의하여 제거된다. 롤 업 모드에서 화자를 식별하는데 전형적으로 사용되는 화자 식별자는 ":" ">" 및 "["이다. 만약에 이러한 특정 텍스트 문자들이 발견되면, 새로운-화자 식별기(406)는 FOUND_SPEAKER 플래그를 셋팅한다. FOUND_SPEAKER 플래그는 주소 생성기(404)에 전달된다. 더욱이, 클로즈드 캡션 문자들은 새로운-화자 식별기(406)로부터 문자 맵퍼(408)로 전달된다.

문자 맵퍼(408)는 입력 문자 셋트를 예를 들어 감소된 수의 문자를 포함하는 변경된 문자 셋트로 변환된다. 예를 들어, 문자 맵퍼(408)는 대문자와 소문자 모두를 대문자에만 맵핑시킨다. 문자 맵퍼(408)는 필요하다면 다른 관련된 변경을 쉽게 할 수 있다.

포맷팅 FIFO(410)는 문자 스트림으로부터 가외의 공간을 제거한다. 특히, 다음의 경우 동안에 KEEP_CHAR 신호를 논리 0으로 셋팅시킴으로써 공간들이 제거된다(즉, 문자를 삭제): (1) 공간이 아닌 문자와 물음표나 느낌표나 또는 마침표 사이의 공간이 검출되는 경우, (2) 버퍼 메모리에 금방 기록된 공간 바로 다음에서 다른 공간이 검출되는 경우. 경우 2는 제거되어야 한다고 현재 플래그 표시된 임의의 문자에 의하여 분리되는 임의의 공간들을 포함한다. KEEP_CHAR 신호와 클로즈드 캡션 문자(CC_CHAR)는 주소 생성기(404)로 전달된다. CC_CHAR은 또한 버퍼 메모리(412)에 전달되며, 거기에 저장된다.

버퍼 메모리(412)는 자막 텍스트를 일시적으로 저장하는 장소로 사용되는 반면에, 기록 주소 생성기(404)는 자막 텍스트가 어떻게 포맷팅되어야 하는 지를 결정한다. 본질적으로, 버퍼 메모리는 기록 주소 생성기를 위한 "작업용 공간(work space)"을 형성하고 있다. 버퍼는 CHAR_ADDR에 의하여 주소지정되고, 데이터는 BUF_CHAR로서 주소 생성기로 공급된다.

주소 생성기(404)는 자막에서 디스플레이되어야 할 문자들을 정의하는 문자 코드 시퀀스를 생성한다. 자막 컨텐트가 PIP 이미지를 위한 자막 윈도우의 18열 폭에 맞게끔 하기 위하여, 주소 생성기는 캐리지 리턴을 텍스트에 삽입해야 한다. 그러나, 캐리지 리턴은 워드를 끊는 곳에는 위치하지 않는다. 따라서, 주소 생성기는 언제 캐리지 리턴이 워드를 끊는지를 모니터링하여, 이전 공간에 캐리지 리턴을 위치시킨다. 워드가 18 문자보다 길 때에는 캐리지 리턴이 그 워드에만 위치된다. 각 문자 코드에 있어서, 주소 생성기는 문자 코드가 원형 버퍼에 저장될 행 및 열을 식별하는 기록 주소를 생성한다. 더욱이, 주소 생성기는 새로운 화자가 발견되는 때를 결정하기 위하여 FOUND_SPEAKER 플래그를 사용한다. 만약에 FOUND_SPEAKER 플래그가 이전 캐리지 리턴의 N개 문자들 내에 셋팅되어 있다면, 새로운 화자가 발견된 것으로 추정되고, 그 이전 캐리지 리턴이 삽입되어 결과적으로 새로운 화자가 새로운 라인에서 개시될 수 있다. N은 예상되는 가장 긴 화자 이름을 나타내는 정수로서 설정된다. 실험에 입각한 연구는 대부분의 응용에서 N이 11이면 만족스럽다고 제시하고 있다. 생성기는 또한 예를 들어 16행의 원형 버퍼에서 0부터 15까지의 값과 같은, 저장된 텍스트의 가장 마지막으로 완료된 행을 나타내는 LAST_COMPLETED_ROW 값을 생성한다.

재고해 보기 위해, 두 개의 새로운 클로즈드 캡션 문자들이 수신될 때에, 그 문자들은 스태터스 검출기(400)에 의하여 우선 처리된다. 스태터스 검출기는 어느 자막 모드가 수신되었는지와, 그 문자들을 보관해야 하는지와, 그 문자 들 중 어는 것이 제어 코드인지에 대하여 판별한다. 그 두 개의 문자들은 그 다음에 제어 코드 프로세서(402)에 의하여 처리되는데, 그 제어 코드 프로세서는 캐리지 리턴이 재포맷팅된 자막으로 삽입될 필요가 있는지의 여부를 결정한다. 동시에, 그 문자들은 한 번에 한 개씩 새로운-화자 식별기와, 문자 맵퍼와, 포맷팅 FIFO를 통하여 전달된다. 이들 세 개의 스테이지를 통과하는 동안에, 새로운 화자들이 식별되고, 문자들은 새로운 문자 셋트에 재맵핑되고, 또한 문자 스트림으로부터의 중복 공간은 제거된다. 마지막으로, 주소 생성기(404)는 버퍼 메모리에 재포맷팅된 자막을 구성하고, 그 자막을 원형 버퍼에 기록한다.

도 5는 제어 코드 프로세서(402)의 블록도를 제시한다. 프로세서(402)는 자막 위치 프로세서(500)와, 프리앰블 프로세서(502)와, 모드 프로세서(504)와, 캐리지 리턴 프로세서(506)를 포함한다. 자막 위치 프로세서(500)는 자막 문자들이 이전 자막과 연관되는 새로운 자막이나 텍스트의 개시(start)를 나타내는지 여부를 판별한다. 이러한 기능은 프리앰블 주소 코드(PAC)로부터의 자막 위치 정보를 디코딩하고 이전 PAC의 위치 정보와 그것을 비교함으로써 이루어진다.

자막 위치 프로세서(500)는 가장 마지막 또는 가장 최근의 PAC를 처리하기 위해서만 인에이블된다. 따라서, 프리앰블 프로세서(502)는 가장 최근의 제어 코드를 검출하고, 프로세서(500)에 연결된 ENABLE 경로를 통하여 가장 최근의 제어 코드 이외의 모든 제어 코드들에 대하여 자막 위치 프로세서(500)를 디스에이블(disable)하도록 동작한다.

모드 프로세서(504)는 그 문자 쌍과 자막 모드 식별 신호를 수신한다. 모드 프로세서는 그 문자 쌍과 자막 모드 신호들을 분석하고, 캐리지 리턴을 적합하게 래칭하는 래치 신호(latch signal)를 생성한다. 게다가, 자막의 엔드(end)나 또는 디스플레이 메모리 제어 코드 소거(erase displayed memory control code)를 수신하면 자동적으로 캐리지 리턴이 생성된다. 래치 신호는 CR 프로세서(506)에 인가되는데, 상기 CR 프로세서는 자막 위치 프로세서(500)로부터의 연속/비연속 신호들과 래치 신호에 응답하여 캐리지 리턴 신호를 생성한다.

새로운 화자나 또는 자막이 수신되었는지의 여부를 결정하기 위하여 사용되는 기술을 가장 잘 이해하기 위해서는, 클로즈드 캡션 디스플레이의 다양한 모드들에 대한 재검토를 하면 된다.

클로즈드 캡션 텍스트는 세 개의 모드(즉, 롤 업, 팝 온, 및 페인트 온) 중의 한 개의 모드를 사용하여 디스플레이된다. 롤 업 모드에서, 텍스트는 전형적으로 모든 화자에 대하여 스크린의 하단부 중앙에서 스크롤링된다. 화자들은 :, >, 또는 ]와 같은 식별자 문자가 그 다음에 나오는 화자 이름과 같은 화자 식별자에 의하여 식별된다. 자막 위치 디코더는 롤 업 모드 동안에는 사용되지 않는데, 왜냐하면 화자 검출은 상술한 새로운-화자 식별기에 의하여 수행되기 때문이다.

팝 온 모드와 페인트 온 모드는 화자 프롬프트(speak prompt)를 사용하지 않고, 그 대신에 스크린 상의 텍스트를 화자에 가장 근접하게 위치시킨다. 텍스트는 모든 화자에 대하여 동시적으로, 아니면 순차적으로 한 번에 하나의 화자에만 위치될 수 있다. 팝 온 모드에서, 자막은 화자 아래에서 나타나며(팝 온), 페인트 온 모드에서는 텍스트들이 화자 아래의 스크린 상에서 한번에 한 개의 문자를 스크롤링한다. 텍스트의 위치는 자막 제어 코드{예를 들어 프리앰블 주소 코드(PAC : preamble address code)}에 의하여 제어된다. 팝 온 모드와 페인트 온 모드에서, PAC는 스크린 상에서 텍스트의 각 라인을 위치시키는 것을 제어한다.

팝 온 모드 및 페인트 온 모드에서 화자를 식별하는 식별자가 없다면, 비록 새로운 자막과 새로운 화자간에 높은 상관성이 있음에도 불구하고, 제어 코드 프로세서는 새로운 자막만을 신뢰적으로 검출할 수 있다. 새로운 자막을 검출하기 위하여, 제어 코드 프로세서는 각 PAC를 분석하고 텍스트의 위치가 실제적으로 변경되었는지의 여부를 분석해야 한다. 만약에 위치 변경이 발생했다면, 제어 코드 프로세서는 새로운 자막, 및 어쩌면 화자 변경이 일어났다고 가정하고, 캐리지 리턴을 삽입한다. 그 다음에, 기록 주소 생성기는 새로운 자막이 시작하고 있음을 나타내기 위하여 프롬프트(본 실시예에서는 ">"임)를 삽입한다. 재포맷팅된 텍스트는 PIP 이미지에 인접하게 배치된 2 라인 × 18 문자의 단일 윈도우로 스크롤링하고, 프롬프트에 의해 명확하게 식별된 각각의 새로운 자막을 갖는다.

자막 위치 프로세서(500)는 그 다음 자막 라인의 위치를 결정하고 그 위치가 현재 자막에 인접하는지를 식별하기 위하여 제어 코드들(TRUNC1 및 TRUNC2)을 처리하거나, 스크린 상에서 다른 곳에 위치한 새로운 자막을 나타낸다. 부가적으로, 프로세서는 새로운 자막 데이터가 막 시작할려고 한다는 것을 나타내는 EOC(end of caption) 제어 코드를 모니터링한다.

특히, 프로세서(500)는 제일 먼저 수신된 PAC(예를 들어 PACn)를 앵커(anchor) PAC로서 라벨링하며, PAC와 관련된 (x,y) 좌표는 세이브된다. 프로세서(500)는 다른 PAC(예를 들어 PACn+1)가 도달할 때까지 그 문자 쌍을 모니터링하는 것을 계속한다. PACn+1에 의해 운반되는 새로운 (x,y) 좌표는 앵커 좌표와 비교된다. 만약에 새로운 좌표가 앵커 PAC의 한 행 아래이고 j번째 열에 있으면, PACn+1은 앵커 PAC가 된다. 새로운 행은 텍스트의 이전 행의 연속이라고 가정되며, 캐리지 리턴은 제어 코드 프로세서에 의하여 생성되지 않을 것이다. 만약에 PACn+1이 기준을 만족시키지 않는다면, 그 새로운 행은 새로운 자막으로 가정된다(다시 말해서 연속이 아니라고 가정된다). 결과적으로, 제어 코드 프로세서는 그 새로운 자막 앞에 캐리지 리턴을 삽입할 것이고, 주소 생성기는 그 새로운 자막 앞에 새로운-자막 프롬프트를 삽입한다. 앞에서 말한 처리 과정들이 다음과 같은 의사-코드(pseudo-code)로 표시될 수 있다:

A(x,y)<First PAC of a caption is the another PAC

WHILE more PAC's in caption

P(a,b)<Next PAC of caption

IF P(a,b) CE A(a=x+1,y-j<b<y+j)

A(x,y)=P(a,b)

ELSE

Insert carriage return (and prompt)

END IF

END WHILE

적합하게 작동하기 위하여, 루틴은 세 가지의 가정을 한다: (1) 만약에 텍스트가 자막의 연속이라면 PACn+1은 언제나 PACn 아래에 있는 행이고, 만약에 텍스트가 자막의 비연속이라면 다른 자막이 시작된다; (2) 가장 낮은 행 번호로서 시작하는 자막, 즉 스크린 상에서 가장 위에 있게 되는 자막은 제일 먼저 디스플레이된 자막이다; (3) 각 자막은 전체로 송신되어 한 사람의 스피치에 속하는 모든 워드들이 다른 사람의 워드 전에 송신된다.

연속/비연속에 대한 결정은 자막 위치 프로세서(500)로부터 캐리지 리턴(CR) 프로세서(506)로 전달된다. 캐리지 리턴 프로세서(506)는 비연속 신호와 래치 신호가 동시에 도달할 때에 캐리지 리턴을 생성한다. 래치 신호는 롤 업 모드가 사용될 때마다 캐리지 리턴 프로세서가 캐리지 리턴을 생성하지 못하게 한다. 위에서 설명한 바와 같이, 롤 업 모드에서 화자 검출은 새로운-화자 식별기에 의하여 처리된다. 캐리지 리턴은 자동으로 생성되어 자막의 엔드나 디스플레이된 메모리 소거를 표시하는 제어 코드가 수신될 때마다 래칭된다.

앞에서는 클로즈드 캡션 정보가 PIP 이미지에 가장 근접한 곳에 디스플레이되도록 재포맷팅되는 실시예와 관련해서 본 발명의 동작에 대하여 설명했다. 그러나, 본 발명은 POP 디스플레이와 같은 다른 멀티-이미지 디스플레이 시스템에서의 보조 정보를 재포맷팅하는데 유용하다. 또한, 본 발명은 클로즈드 캡션 이외의 텍스트와 같은, 클로즈드 이외의 보조 정보에 대하여 유용할 수 있다. 또한 본 발명은 재포맷팅된 텍스트 정보를 요구하는 임의의 응용에 대하여 유용할 수 있다. 예를 들어, 본 발명은 텔레비전 화상과 별개인, 예를 들어 뉴스 및/또는 스포츠 이벤트에 대한 텔레비전 오디오를 디스플레이하는데 사용될 수 있다. 또한 자막 텍스트는 메시지들이 라이트(light) 또는 LED 어레이를 사용하여 나타나는 "이동 메시지(moving message)" 디스플레이 상에 디스플레이될 수 있다. 다른 형태의 텍스트 디스플레이가 또한 사용될 수 있다. 본 발명은 클로즈드 캡션 텍스트를 나타내는데 사용될 수 있는 디스플레이 형태에 대하여 실질적인 유동성을 제공한다.

본 발명의 다른 응용은 극장에서 보여지는 영화를 위한 클로즈드 캡션 텍스트를 생성하는 것이다. 텍스트는 특정 하부 스크린 디스플레이(special below screen display)에 대한 데이터 재포맷팅 기술을 사용하여 디스플레이될 수 있거나, 또는 텍스트가 특정 폴러라이징 안경(polarizing glasses)을 쓴 관람객만 볼 수 있도록 하는 폴러라이징 기술을 사용하여 스크린 상에 디스플레이될 수 있게 한다.
본 발명의 교지(teaching)를 포함하는 다양한 실시예들이 도시되고 여기에서 상세하게 설명되었지만, 당업자들은 이러한 교지를 포함하는 다른 많은 변형된 실시예들을 쉽게 발명할 수 있다.

상술된 바와 같이, 본 발명은 PIP 및 POP 디스플레이와 같이, 메인 이미지와 보조 이미지를 갖는 멀티-이미지 디스플레이를 생성하는데 적합한 신호를 생성하는 시스템에 이용가능하다.

Claims

제 1 포맷으로 디스플레이될 수 있으면서 문자 정보 및 상기 문자 정보의 포맷에 연관된 정보를 가지는 보조 정보를 생성하기 위해, 비디오 신호의 보조 정보 신호 성분을 처리하는 수단과;

상기 제 1 포맷과는 다른 제 2 포맷으로 디스플레이될 수 있도록 상기 보조 정보의 포맷을 변경하는 수단(300)을

포함하는, 신호에 포함된 보조 정보를 재포맷팅하는 장치.
제 1항에 있어서,

상기 보조 정보는 클로즈드 캡션 문자 시퀀스(sequence of closed caption character)를 나타내는 정보를 포함하고;

상기 장치는:

상기 클로즈드 캡션 문자 시퀀스 내에 있는 각각의 제어 코드를 식별하는 스태터스 검출기(status detector)(400)와;

상기 스태터스 검출기에 연결되어 있으면서, 상기 제어 코드 각각을 검사하여 새로운 자막을 식별하고 상기 새로운 자막 앞에 캐리지 리턴(carriage return)을 삽입하는 수단을 더 포함하는, 신호에 포함된 보조 정보를 재포맷팅하는 장치.
제 2항에 있어서, 상기 스태터스 검출기에 연결되어 있으면서, 상기 제어 코드가 상기 클로즈드 캡션 문자로 하여금 디스플레이 스크린 상의 어디에 위치되도록 지시하는 지를 결정하기 위하여 상기 제어 코드 각각을 분석하고, 상기 제어 코드가 이전에 디스플레이된 클로즈드 캡션 문자들의 위치와 실제적으로 다른 위치에 상기 클로즈드 캡션 문자들을 위치시킬 때마다 캐리지 리턴을 생성하는 제어 코드 프로세서(402)를 상기 식별 수단이 더 포함하는, 신호에 포함된 보조 정보를 재포맷팅하는 장치.
제 3항에 있어서, 상기 캐리지 리턴 다음에 새로운 자막 식별 프롬프트(new caption identification prompt)를 삽입하는 수단(406)을 더 포함하는, 신호에 포함된 보조 정보를 재포맷팅하는 장치.
제 2항에 있어서, 상기 스태터스 검출기에 연결되어 있으면서, 상기 클로즈드 캡션 문자 시퀀스의 각 클로즈드 캡션 문자를 미리 정해진 기준과 비교하고, 만약에 상기 클로즈드 캡션 문자가 상기 미리 정해진 기준을 만족시키면 제어 신호를 생성하는 새로운-화자 식별기(new-speaker identifier)를 상기 식별 수단이 더 포함하는, 신호에 포함된 보조 정보를 재포맷팅하는 장치.
제 5항에 있어서, 상기 미리 정해진 기준은 새로운 화자를 식별하는 특정 클로즈드 캡션 문자 세트인, 신호에 포함된 보조 정보를 재포맷팅하는 장치.
제 2항에 있어서, 상기 클로즈드 캡션 문자 각각을 변경된 문자 세트에 맵핑(mapping)하는 문자 맵퍼(408)를 더 포함하는, 신호에 포함된 보조 정보를 재포맷팅하는 장치.
제 2항에 있어서, 상기 클로즈드 캡션 문자 시퀀스로부터 중복 공간(redundant space)을 제거하는 수단을 더 포함하는, 신호에 포함된 보조 정보를 재포맷팅하는 장치.
제 1항에 있어서, 상기 변경 수단은 상기 문자 정보의 폰트(font) 및 대/소문자를 바꾸는 수단을 포함하는, 신호에 포함된 보조 정보를 재포맷팅하는 장치.
일련의 클로즈드 캡션 문자를 포함하는 클로즈드 캡션 텍스트를 재포맷팅하기 위한 방법으로서,

상기 일련의 클로즈드 캡션 문자 내에 각각의 제어 코드를 확인하는 단계와,

새로운 자막 또는 새로운 화자를 확인하기 위해 각각의 제어 코드와 각각의 클로즈드 캡션 문자를 검사하는 단계와,

새로운 자막 또는 새로운 화자 이전에 캐리지 리턴을 삽입하는 단계를 포함하는, 일련의 클로즈드 캡션 문자를 포함하는 클로즈드 캡션 텍스트를 재포맷팅하기 위한 방법.
제 10항에 있어서,

제어 코드가 상기 클로즈드 캡션 문자로 하여금 디스플레이 스크린 상의 어디에 위치되도록 지시하는 지를 결정하기 위하여, 각각의 제어 코드를 분석하는 단계와,

제어 코드가 클로즈드 캡션 문자를, 이전에 디스플레이되었던 클로즈드 캡션 문자의 위치와 실질적으로 다른, 위치에 위치시킬 때마다 캐리지 리턴을 생성하는 단계를 추가로 포함하는, 일련의 클로즈드 캡션 문자를 포함하는 클로즈드 캡션 텍스트를 재포맷팅하기 위한 방법.
제 11항에 있어서, 상기 캐리지 리턴 후에 새로운 자막 식별자 프롬프트를 삽입하는 단계를 추가로 포함하는, 일련의 클로즈드 캡션 문자를 포함하는 클로즈드 캡션 텍스트를 재포맷팅하기 위한 방법.
제 10항에 있어서,

각각의 클로즈드 캡션 문자를 미리 정해진 기준에 비교하는 단계와,

만약 상기 클로즈드 캡션 문자가 상기 미리 정해진 기준을 만족하면, 캐리지 리턴을 생성하는 단계를 추가로 포함하는, 일련의 클로즈드 캡션 문자를 포함하는 클로즈드 캡션 텍스트를 재포맷팅하기 위한 방법.
제 13항에 있어서,

상기 미리 정해진 기준이 새로운 화자를 확인하는 특별한 클로즈드 캡션 문자들의 세트 중 하나이고, 상기 미리 정해진 기준이 이전 캐리지 리턴으로부터 문자의 미리 정해진 수 내에서 일어나는, 일련의 클로즈드 캡션 문자를 포함하는 클로즈드 캡션 텍스트를 재포맷팅하기 위한 방법.
제 10항에 있어서,

각각의 클로즈드 캡션 문자를 변경된 문자 세트로 맵핑하는 단계를 추가로 포함하는, 일련의 클로즈드 캡션 문자를 포함하는 클로즈드 캡션 텍스트를 재포맷팅하기 위한 방법.
제 10항에 있어서,

상기 일련의 클로즈드 캡션 문자로부터 중복된 공간을 제거하는 단계를 추가로 포함하는, 일련의 클로즈드 캡션 문자를 포함하는 클로즈드 캡션 텍스트를 재포맷팅하기 위한 방법.