KR20070078621A - 휴대단말기의 멀티데이타 처리장치 및 방법 - Google Patents

Abstract

복수의 멀티미디어 장치들을 구비하는 휴대단말기의 데이터 처리장치가, 디지털방송신호를 수신하여 복조하는 방송수신기인 제1장치와, 방송수신기와 인터페이스 기능을 수행하는 메모리인터페이스와, 카메라인 제2장치 및 카메라인터페이스와, 인터페이스들을 통해 방송수신기 및 카메라의 동작제어신호를 발생하는 제어부와, 제어부의 제어하에 동작모드가 결정되며, 결정된 동작모드에 의해 선택된 장치의 인터페이스에서 수신되는 데이터를 처리하는 멀티데이타처리부와, 멀티데이타 처리부의 제어하에 처리되는 데이터를 저장하는 메모리와, 멀티데이터 처리부에서 출력되는 데이터를 표시하는 표시부로 구성된다.

디지털방송, 멀티미디어, 휴대단말기, IP

Description

휴대단말기의 멀티데이타 처리장치 및 방법{DEVICE AND METHOD FOR PROCESSING OF MULI-DATA IN TERMINAL HAVING DIGITAL BROADCASTING RECEIVER}

도 1은 본 발명의 실시예에 따라 멀티 데이터들을 수신하여 처리하는 휴대단말기의 구조를 도시하는 도면

도 2는 도 1의 멀티데이타처리부의 구성을 도시하는 도면

도 3은 도 1의 방송수신기의 구성을 도시하는 도면

도 4는 도 1의 방송수신기의 동작 절차를 도시하는 흐름도

도 5a는 도 1의 방송수신기와 EBI2인터페이스 간의 연결 관계를 도시하는 도면이며, 도 5b는 도 1의 방송수신기130에서 EBI2인터페이스에 방송데이타를 전달하는 절차를 도시하는 타이밍 다이아그램이고, 도 5c는 도 1의 방송수신기130에서 EBI2인터페이스에 방송데이타를 전달하는 절차를 도시하는 타이밍 다이아그램

도 6은 도 1의 비디오코덱의 구성 예를 도시하는 도면

도 7은 도 1의 비디오 코덱에서 수신되는 비디오 데이터를 코딩 및 디코딩하는 절차를 도시하는 흐름도

도 8은 도 1의 오디오코덱의 구성 예를 도시하는 도면

도 9는 도 1의 오디오코덱에서 오디오신호를 코딩 및 디코딩하는 절차를 도시하는 흐름도

도 10은 본 발명의 다른 실시예에 따른 멀티데이타처리부를 구비하는 휴대단말기의 구성을 도시하는 도면

도 11은 도 10의 멀티데이타처리부와 코덱의 구성을 도시하는 도면

도 12는 본 발명의 실시예에 따라 휴대단말기에서 디지털방송, 카메라 및 비디오 통신 기능을 수행하는 절차를 도시하는 흐름도

도 13a 및 도 13b는 도 12에서 디지탈방송신호를 처리하는 절차를 도시하는 흐름도

도 14는 도 12에서 카메라 촬영신호를 처리하는 절차를 도시하는 흐름도

도 15는 도 12에서 비디오 통신 기능을 수행하는 절차를 도시하는 흐름도

도 16은 도 12에서 PIP 기능을 설정하는 절차를 도시하는 흐름도

본 발명은 휴대단말기의 데이터 처리장치 및 방법에 관한 것으로, 특히 디지털방송신호를 포함하는 멀티데이타들을 처리할 수 있는 장치 및 방법에 관한 것이다.

현재의 휴대단말기는 멀티미디어 전용 프로세서를 탑재하거나 멀티미디어 기능을 강화하는 추세이며, 상기 멀티미디어 기능들 중에서 카메라 기능을 추가하는 것은 일반적인 추세이다. 또한 상기 휴대단말기에 디지털방송 수신기를 탑재하는 추세이다. 따라서 현재 휴대단말기는 다양한 멀티미디어 기능을 서비스할 수 있는 구성을 구비하여야 하며, 이로 인해 휴대단말기의 구성 및 처리 절차가 복잡해지고 있다. 여기서 상기 휴대단말기는 휴대전화기(wireless terminal) 휴대용 컴퓨터(note-book computer), PDA 등이 될 수 있다. 그리고 상기 휴대단말기는 무선 통신 기능을 수행하는 RF 통신부를 구비할 수 있다.

상기 카메라를 구비하는 휴대단말기의 경우, 상기 카메라 인터페이스는 크게 데이터 신호, 동기신호 및 클럭신호들로 구성되며, 이들 중 동기신호는 다양한 조건에서 설정이 가능하다. 또한 위성방송수신기를 구비하는 휴대단말기의 경우, 디지털방송 인터페이스는 데이터신호, 에러(error) 및 밸리드(valid)신호로 구성이 되며, 각각의 조건 상에서 에러 및 벨리드신호에 따라 데이터를 수신하게 된다.

상기와 같이 카메라 및 디지털방송 수신기를 구비하는 휴대단말기의 경우, 휴대단말기는 상기 각 장치들로부터 수신되는 데이터를 처리하여 이미지를 처리할 수 있어야 한다. 이때 상기 휴대단말기는 카메라로부터 수신되는 이미지를 처리하기 위한 전용의 이미지 처리장치를 구비하여야 하며, 또한 위성방송수신기로부터 수신되는 이미지를 처리하기 위한 이미지 처리장치를 구비하여야 한다. 이런 경우, 상기 휴대단말기는 복수의 이미지장치 및 이들 장치로부터 수신되는 이미지를 처리하는 위한 이미지처리장치들을 구비하게 되며, 이로 인해 복잡한 구성 및 처리 절차를 구비하여야 한다.

따라서 상기와 같이 휴대단말기에서 다양한 종류의 멀티미디어 데이터를 처리하는 경우, 이들 멀티미디어 데이터를 단일의 데이터와 같이 인터페이싱하여 처 리하면 휴대단말기의 구성 및 처리절차를 단순화할 수 있다.

따라서 본 발명의 목적은 휴대단말기에서 복수의 멀티미디어 데이터들을 단일의 데이터처리부를 이용하여 처리할 수 있는 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은 디지털방송과 멀티미디어장치를 각각 다른 방식의 인터페이스를 통해 연결하고, 이들 장치들로부터 수신되는 멀티 데이터들을 하나의 데이터 처리부를 이용하여 처리할 수 있는 장치 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은 디지털방송수신기 및 카메라의 데이터들을 각각 다른 인터페이스를 통해 인터페이싱하고, 인터페이싱되는 복수의 멀티데이타들을 하나의 데이터처리부를 이용하여 처리할 수 있는 장치 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은 디지털방송 수신기 및 카메라를 구비하는 휴대단말기가 각각 다른 인터페이스를 이용하여 카메라 및 디지털 방송신호를 선택적으로 인터페이싱하며, 상기 인터페이스되는 신호를 단일의 데이터처리부를 통해 처리할 수 있는 장치 및 방법을 제공함에 있다.

이하 본 발명의 바람직한 실시예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.

하기 설명에서 DVB와 같은 디지털방송, MPEG2, MPEG4. H.263, JPEG 등과 같은 비디오 코덱, AAC, MP3 등과 같은 오디오 코덱의 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있다. 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.

본 발명의 실시예는 디지털방송 시스템과 현재 사용되는 다양한 멀티미디어 장치를 각각 대응되는 멀티미디어 장치의 인터페이스를 통해 수신하고, 상기 수신되는 멀티 데이터들을 하나의 데이터처리부를 이용하여 처리하는 휴대단말기에 대한 것이다. 여기서 상기 디지털 방송은 크게 DMB(Digital Multimedia Broadcasting ) 방식과 DVB(Digital Video Broadcasting) 방식이 있다. 여기서 상기 DMB 및 DVB 방식은 모두 디지털 방송 방식을 사용하고 있다. 또한 상기 DVB 방식은 DVB_T 방식과 DVB_H 방식이 있다. 여기서 상기 DVB_H 방식은 IP 기반의 방송신호를 사용한다. 본 발명의 실시예에 따른 멀티 데이터 처리장치는 상기 DVB_H의 방송신호를 수신하여 처리하는 것으로 예를들어 설명될 것이다. 그러나 본 발명의 실시예에 따른 멀티 데이터 처리장치는 상기 DVB 방식 및 DMB 방식에 모두 적용할 수 있다.

도 1은 본 발명의 실시예에 따라 멀티 데이터들을 수신하여 처리하는 휴대단말기의 구조를 도시하는 도면이다. 본 발명의 실시예에서는 상기 멀티미디어 장치가 카메라인 경우를 가정하여 설명하기로 한다.

상기 도 1을 참조하면, 본 발명은 멀티데이타 처리부120이 디지털방송수신기130 및 카메라140의 각각 다른 인터페이스(EBI2, 카메라 인터페이스)를 통해 수신 하며, 멀티데이타처리부120이 각 인터페이스들을 통해 수신되는 멀티미디어 데이터들을 처리한다. 그리고 제어부110은 각 장치들의 동작을 제어하는 기능을 수행한다. 상기 도 1에서 점선부분은 제어부110이 각 부 구성들의 동작을 제어하기 위한 제어데이타들을 송수신하는 경로를 도시하고 있으며, 실선부분은 상기 멀티데이타처리부120이 각 부 구성들과 데이터를 송수신하는 경로를 도시하고 있다. 여기서 참조번호 100은 휴대단말기의 제어부100 및 멀티데이타처리부120, 그리고 각 외부장치들과 인터페이스 기능을 수행하는 인터페이스부171-179들을 구비하는 단말데이타처리부로써, 원칩화된 경우의 구성을 도시하고 있다. 여기서 단말데이타처리부100은 퀄컴사에서 제조 및 판매하는 프로로세서(Qualcomm MSM)가 될 수 있다.

상기 도 1에서 멀티미디어 장치는 방송수신기130 및 카메라130이 연결될 수 있다. 여기서 상기 방송수신기130은 튜너 및 복조기로 구성될 수 있다. 상기 튜너는 상기 제어부110의 제어하에 사용자가 설정한 채널의 물리채널 주파수를 세팅하고, 상기 설정된 채널의 방송신호를 수신한다. 그리고 상기 복조기는 수신되는 방송신호를 복조하는 기능을 수행한다. 본 발명의 실시예에서는 상기 방송수신기130이 DVB_H 방식의 방송신호를 수신하여 복조하는 것으로 가정한다. 따라서 상기 방송수신기130에서 출력되는 데이터는 IP 데이터그램(Internet Protocol datagram)이 된다. 그리고 상기 방송수신기130은 상기 멀티데이타처리부120에 EBI2인터페이스부171을 통해 연결된다. 상기 EBI2 인터페이스는 일반적으로 메모리인터페이스(memory interface)라 불리는 인터페이스로써, SRAM, LCD, 야마하 칩(Yamaha chip), 멀티미디어 백앤드 칩(multimedia back-end chip) 등이 연결될 수 있는 구 조이다. 상기 EBI2 인터페이스는 어드레스 버스와 데이터 버스의 신호를 칩선택신호(chip select signal)로 구분하여 장치들 간의 인터페이스 기능을 수행한다. 상기 EBI2 인터페이스는 CS(chip select), WE(write enable), OE(output enable), 어드레스 및 데이터버스로 구성된다.

상기 카메라140은 상기 제어부110의 제어하에 동작이 제어되며, 사용자의 설정에 따라 동작한다. 상기 카메라140은 이미지센서(image sensor) 및 신호처리부 등으로 구성될 수 있다. 상기 이미지센서는 촬영되는 이미지를 전기적인 신호로 변환하며, 신호처리부는 상기 전기적인 신호를 디지털 변환하여 데이터, 수평동기신호(horizontal sync), 수직동기신호(vertical sync) 및 픽셀클럭(pixel clk) 신호로 출력한다. 상기 카메라160은 카메라인터페이스175를 통해 상기 멀티데이타처리부120에 연결된다. 그리고 상기 제어부110은 I2C인터페이스177을 통해 상기 카메라140의 동작을 제어한다.

그리고 휴대단말기의 구성으로는 RF통신부160, 메모리150, 표시부181, 스피커183 및 마이크185 등이 연결된다. 여기서 상기 RF통신부160은 상기 휴대단말기의 신호를 RF신호로 변환하여 전송하거나 또는 수신되는 RF신호를 휴대단말기에서 처리할 수 있도록 기저대역의 신호로 변환하는 기능을 수행한다. 또한 상기 RF통신부160은 상기 휴대단말기의 통화신호를 처리하기 위한 모뎀 및 코덱등을 구비할 수도 있다. 즉, 상기 통화신호의 변/복조 및 부/복호화하는 모뎀 및 코덱은 상기 RF통신부160에 구성할 수 있으며, 또한 멀티데이타처리부120에 구성할 수도 있다. 본 발명의 실시예에서는 상기 멀티데이타처리부120에 구성하는 것으로 가정하여 설명하 기로 한다. 상기 메모리160은 휴대단말기의 동작 프로그램 및 본 발명의 실시예에 따른 프로그램 등을 저장하는 프로그램 메모리와, 프로그램 수행중에 발생되는 데이터들 및 휴대단말기의 비휘발성 데이터들을 저장하는 데이터 메모리로 구성될 수 있다.

그리고 도 2는 상기 도 1의 멀티데이타처리부120의 구성을 도시하는 도면이다. 여기서 상기 디지털방송수신기130은 DVB_H 방식의 방송신호를 수신하는 것으로 가정한다.

상기 도 2를 참조하면, IP 디캡슐레이터(IP decapsulator)210은 상기 방송수신기130에서 수신되는 IP 데이터그램을 수신하며, 상기 수신된 IP 데이터그램에서 IP 정보들을 처리한 후 이를 제거하여 MPEG2 TS(Transport stream)를 출력한다. 역다중화기(MPEG2 TS demux)220은 상기 IP 디캡슐레이터210에서 출력되는 MPEG2 TS를 역다중화하여 비디오 및 오디오 데이터를 분리한다. 비디오코덱230은 적어도 하나의 엔코더 및 디코더를 구비하며, 상기 역다중화기220에서 출력되는 비디오 데이터를 디코딩하고 상기 카메라140에서 출력되는 비디오 데이터를 코딩하는 기능을 수행한다. 또한 상기 비디오코덱230의 상기 디코더 또는 상기 카메라에서 출력되는 데이터를 상기 표시부181의 크기로 스케일링하는 스케일러250 및(또는) 상기 처리되는 비디오 데이터를 상기 표시부181의 칼러에 맞도록 변환하는 색변환기(color converter)를 구비할 수 있다. 오디오코덱240은 적어도 하나의 엔코더 및 디코더를 구비하며, 상기 역다중화기220에서 출력되는 오디오 데이터를 디코딩하고 상기 카메라의 오디오데이타를 코딩하는 기능을 수행한다. 다중화기(Audio/video mux)265 는 상기 비디오코덱230 및 오디오코덱240에서 출력되는 오디오 데이터를 다중화하며, 상기 다중화된 신호는 메모리150에 저장 및(또는) RF통신부160을 통해 전송될 수 있다. 그리고 역다중화기265는 RF통신부160 또는 메모리150의 데이터를 비디오 및 오디오 데이터로 역다중화하여 각각 비디오코덱230 및 오디오코덱240의 해당하는 엔코더에 출력한다.

상기와 구성을 가지는 본 발명의 실시예에 따른 멀티미디어 데이터 수신 및 처리장치의 동작을 살펴본다.

먼저 상기 디지털방송의 수신 및 처리절차를 살펴보면, 상기 제어부110은 사용자에 의해 설정된 방송채널신호를 수신하기 위한 채널데이타를 상기 방송수신기150에 출력한다. 이때 상기 채널데이타는 원하는 방송의 물리채널 주파수 정보 및 방송채널의 PID(PID: program ID) 등이 될 수 있다. 상기 방송수신기150은 튜너 및 복조기로 구성되며, 상기 튜너는 상기 멀티데이타처리부100에 의해 설정된 채널 데이터에 의해 물리 채널을 세팅시켜 해당 주파수 채널로 송신되는 방송신호를 수신한다. 그리고 상기 방송수신기130의 복조기는 상기 튜너에서 출력되는 방송신호를 복조하며, 상기 복조된 신호의 PID를 필터링하여 원하는 방송채널의 신호를 상기 멀티데이타처리부120에 인가한다. 이때 상기 방송수신기130에서 출력되는 IP 데이터그램(IP datagram)으로 IP가 포함된 방송 신호이다. 이때 상기 IP데이타그램은 하기 <표 1>과 같은 구조를 가지며, 여기서 서비스 데이터 패킷 스트림(service(A/V) data packet stream)은 하기 <표 2>와 같은 구조를 가지며, ESG 데 이터 패킷 스트림은 <표 3>과 같은 구조를 가진다.

service 1

service 2

service 3

data 1

data2

------

IP header

RTP header

payload

IP header

RTP header

payload

------

IP header

FLUTE header

payload

IP header

FLUTE header

payload

------

따라서 상기와 같은 IP 데이터그램을 수신하는 IP 디캡슐레이터210은 상기 <표 2> 및 <표 3>과 같은 서비스 및 ESG 데이터 패킷 스트림에서 IP 헤더를 제거하고, MPEG2 TS 데이타를(MPEG2 Transport data) 역다중화기(TS demux)220에 전송한다. 이때 상기 멀티데이타처리부110은 코덱을 구성하는 경우 비디오 코덱230 및 오디오코덱240을 구비하고 데이터는 별도로 처리하는 구조를 가질 수 있으며, 또한 상기 비디오코덱, 오디오코덱 및 데이터 코덱을 모두 구비하여 처리하는 구조를 가질 수도 있다. 도 2는 데이터코덱을 갖지 않은 구조이므로, 상기 상기 멀티데이터처리부110은 상기 ESG 데이터 패킷 스트림을 소프트웨어적으로 처리하게 된다. 이런 경우 상기 IP 디캡슐레이터210은 상기 ESG 데이터 패킷 스트림의 IP 헤더를 제거한 후 제어부110에서 소프트웨어적으로 처리하도록 전달하고, 상기 <표 2>와 같은 구조를 가지는 서비스 데이터 패킷에서 상기 IP 헤더를 제거한 MPEG2 TS 데이터를 추출한 후 이를 역다중화기220에 인가한다.

상기 역다중화기220은 상기 MPEG2 TS 데이터를 오디오 및 비디오 데이터로 역다중화하여 각각 대응되는 비디오코덱117 및 오디오코덱119에 인가한다. 그러면 상기 비디오 및 오디오코덱은 각각 수신되는 비디오 및 오디오 데이터를 디코딩하여 각각 표시부191 및 스피커197에 출력하여 재생한다. 또한 상기 디지털 방송신호를 녹화하는 경우, 상기 역다중화기220에서 출력되는 코딩된 비디오 및 오디오 데이터는 메모리150에 전달되어 저장된다. 그리고 상기 저장된 비디오 및 오디오 데이터를 재생하는 경우에는 상기 오디오 및 비디오 코덱에 전달되어 재생된다.

두 번째로 카메라에서 촬영되는 비디오 및 오디오 데이터의 처리 과정을 살펴본다.

상기 카메라 촬영모드가 설정되면, 상기 제어부110은 상기 I2C인터페이스177을 통해 상기 카메라140의 동작을 제어하기 위한 제어데이타를 전송하고, 상기 카메라140은 이에 따라 설정된 동작모드로 동작되어 촬영된 영상데이타를 카메라인터페이스175에 출력한다. 여기서 상기 카메라 인터페이스175는 데이터, 동기신호(Hsync, Vsync), 클럭신호(pixel clk)로 구성된다.

상기와 같이 카메라140의 촬영데이타가 수신되면, 상기 멀티데이타처리부120은 촬영되는 비디오 데이터는 스케일러250을 통해 스케일링시켜 상기 표시부181에 표시하며, 상기 오디오신호(마이크185를 통해 수신될 수 있음)는 스피커183에 인가시켜 재생한다. 또한 상기 촬영되는 카메라 데이터를 저장하는 경우, 상기와 같이 카메라 촬영 데이터를 표시하는 동시에 상기 비디오데이타를 비디오코덱230에 전달하여 코딩하며, 상기 오디오 데이터를 오디오코덱240에 전달하여 코딩한 후, 이들 코딩된 비디오 및 오디오데이타를 다중화기265를 통해 다중화시킨 후 상기 메모리180에 저장한다.

상기와 같은 본 발명의 실시예에 따른 멀티미디어 데이터를 처리하는 디지털방송수신장치의 동작을 구체적으로 살펴본다.

먼저 상기 방송수신기130의 구성 및 동작을 살펴본다.

도 3은 상기 도 1에서 방송수신기130의 구성을 도시하는 도면이다.

상기 도 3을 참조하면, 방송수신기130은 튜너(tuner)310과 복조기(demodulator)320으로 구성되며, 이는 채널디코더(channel decoder)가 될 수 있다. 상기 튜너310의 PLL315는 RISC327의 제어하에 방송채널의 물리주파수를 설정하기 위한 주파수를 발생하며, 믹서(mixer)313은 수신되는 방송신호와 상기 PLL315의 출력 주파수를 혼합하여 설정된 물리채널 주파수의 방송신호를 출력하며, 여파기317은 설정된 물리채널 주파수 대역의 신호를 여파 출력한다. 상기 복조기320의 A/D변환기321은 상기 튜너310의 출력신호를 디지털 데이터로 변환하며, OFDM 복조기320은 변조된 방송신호를 복조한다. 그리고 PID필터325는 상기 복조된 신호에서 설정된 방송채널의 PID를 가지는 신호를 필터링하며, 상기 PID필터325에서 출력되는 신호는 RISC327을 통해 버퍼329에 버퍼링된다. 이때 상기 RISC327은 디지털 방송수신기의 소비전력을 줄이기 위해 타임슬라이싱(time slicing)의 동작을 제어하며, 수신시 발생하는 에러를 보정하여 수신율을 향상시키기 위한 MPE-FEC 기능을 수행한다. 상기 버퍼329에서 버퍼링되는 데이터는 IP 데이터그램이다.

상기 튜너310은 직접 변환(direct conversion) 방식의 튜너를 사용한다. 상기 튜너310은 설정된 방송채널의 주파수를 가지는 방송신호를 선택하여 I/Q신호로 변환하며, 복조기320은 상기 튜너310의 출력을 디지털 데이터로 변환한 후, OFDM 복조한다. 이때 상기 복조된 데이터는 MPEG2 TS 구조를 가지며, 여기서 설정된 방송채널의 PID를 가지는 데이터를 필터링한다. 이때 상기 PID 필터링된 데이터는 타임 슬라이싱과 MPE-FEC 기능을 가진다. 상기 타임 슬라이싱은 디지털 방송수신기에서 하드웨어의 소비전력을 줄이기 위해 채택된 기법으로 원하는 방송에 해당하는 데이터가 수신될 때만 하드웨어가 동작되고, 원하는 데이터가 수신되지 않을 때에는 하드웨어를 오프시키는 기법으로, 따라서 상기 타임슬라이싱 기법을 사용하면 원하는 방송의 PID 데이터만을 출력하게 된다. 따라서 상기 PID필터링 기법을 수행하여 원하는 PID의 데이터만을 수신하므로써, MPEG2 TS 역다중화 과정을 RISC327에서 수행하게 된다. 이때 상기 PID 필터링 과정에서 수행되는 MPEG2 TS 역다중화 과정은 같은 물리채널 주파수를 사용하는 여러 방송채널 중에서 사용자가 설정된 방송채널의 신호를 역다중화하는 동작을 수행하는 것으로, 상기 멀티데이타처리부120에서 수행되는 MPEG2 TS 역다중화와 다른 동작이다. 상기 MPEG2 TS 역다중화 과정을 수행하면, 상기 MPE 테이블과 패리티 정보로만 구성되어진 FEC 테이블을 구할 수 있다. 그리고 상기 MPE 테이블과 상기 FEC 테이블을 이용하여 MPE-FEC 기능을 수행하게 된다.

따라서 상기 방송수신기130은 상기 RISC327에서 MPEG2 TS 역다중화와 MPE-FEC 과정을 수행하여 얻어진 최종 데이터인 IP 데이터그램을 상기 멀티데이타처리부120에 전달하여 방송을 재생하도록 한다.

도 4는 상기 방송수신기130의 동작 절차를 도시하는 흐름도이다.

상기 도 4를 참조하면, 상기 방송수신기130은 341단계에서 튜너210의 물리채널주파수를 세팅한다. 즉, 상기 제어부110에서 방송채널의 주파수를 설정하기 위한 제어데이타를 수신하면, 상기 RISC327은 이를 감지하고, 상기 튜너310의 PLL315에 상기 물리채널 주파수를 세팅한다. 이후 상기 RISC327은 상기 OFCM복조기223에 코딩 방식, 코딩율 및 거드 인터페이스(guard interface) 등을 설정한다. 상기와 같이 물리주파수가 세팅되면, 상기 방송수신기130의 튜너310은 설정된 물리채널 주파수의 방송신호를 출력한다.

그러면 상기 방송수신기130은 343단계에서 상기 튜너310의 출력을 디지털 데이터로 변환하고, 345단계에서 디지털 변환된 데이터를 OFDM(또는 COFDM) 복조하며, 347단계에서 상기 복조된 데이터 중에서 설정된 PID를 가지는 데이터를 필터링한다. 상기 PID 필터링 동작을 살펴보면, 상기 복조부323에서 출력되는 TS 스트림의 PID가 설정된 PID(사용자가 선택한 방송채널의 PID)와 일치하는가 검사한다. 이때 상기 PID가 일치하면, 상기 방송수신기130은 상기 입력된 TS 스트림의 PID를 분석한 후, 타임 슬라이싱 정보에 따라 튜너210 및 복조기220의 동작을 제어한다. 그러나 상기 PID가 일치하지 않으면, 상기 PID 필터링 과정을 종료한다.

이후 상기 방송수신기130은 349단계에서 상기 PID 필터링된 데이터를 역다중화하며, 351단계에서 타임 슬라이싱 정보를 추출한 후, 상기 타임슬라이싱 정보를 상기 PID 필터325에 전달한다. 이후 상기 방송수신기130은 상기 수신된 데이터에서 MPE섹션/FEC섹션을 버퍼에 저장한 후, 357단계에서 버스트 데이터(burst data)를 모두 수신하였는가 검사한다. 이때 상기 방송수신기130은 상기 버스트 데이터를 수신하지 못한 경우 상기 343단계로 되돌아가 상기와 같은 동작을 반복 수행하며, 버스트 데이터를 모두 수신한 경우에는 359단계에서 상기 버퍼링된 데이타를 리드 솔로몬 복호(Reed-Solomon decoding)하며, 상기 멀티데이타처리부120에 인터럽트신호를 발생한다. 그리고 상기 방송수신기130은 상기 343단계로 되돌아가 설정된 PID의 다음 버스트 데이터의 수신을 대기한다.

상기 도 4에서 점선 부분의 동작은 상기 방송수신기150의 RISC229에서 수행될 수 있으며, 나머지는 각각 해당하는 구성에서 수행될 수 있다.

도 5a는 상기 방송수신기130과 상기 EBI2인터페이스171 간의 연결 관계를 도시하는 도면이다. 상기 도 5a에 도시된 바와 같이, 상기 방송수신기130과 상기 EBI2인터페이스171은 칩선택신호 CS, 라이트인에블신호 WE, 출력인에이블 OE, 2비트 어드레스, 8비트 데이터버스 등의 인터페이스 신호를 갖는다.

도 5b는 상기 방송수신기130에서 상기 EBI2인터페이스171에 방송데이타를 전달하는 절차를 도시하는 타이밍 다이아그램을 도면이다.

상기 도 5b를 참조하면, 상기 방송수신기150은 도 5b의 373과 같이 칩선택신호 CS를 인에이블시키고 371과 같이 어드레스 및 379와 같이 데이터를 각각 출력한다. 이런 상태에서 375와 같이 라이트인에이블 WE를 인에이블시키면, 상기 EBI2 인터페이스171은 상기 방송수신기130에서 출력되는 어드레스에 의해 지정되는 위치에 상기 데이터버스의 데이터를 저장한다. 상기와 같은 라이트 동작은 상기 방송수신기130에서 복조한 디지털 방송데이타가 될 수 있으며, 이때의 방송데이타는 IP 데이터그램의 형태를 가질 수 있다.

도 5c는 상기 방송수신기에서 상기 EBI2인터페이스170에 저장된 데이터를 읽어가는 절차를 도시하는 타이밍 다이아그램이다.

상기 도 5c를 참조하면, 상기 방송수신기150은 도 5c의 383과 같이 칩선택신호 CS를 인에이블시키고 381과 같이 어드레스를 출력한다. 이런 상태에서 387과 같이 출력인에이블 OE를 인에이블시키고 391과 같이 준비신호 RDY를 발생하면, 상기 EBI2 인터페이스171은 상기 방송수신기130에서 출력되는 어드레스에 의해 지정되는 위치의 데이터를 389와 같이 읽어 올 수 있다. 상기와 같은 동작은 상기 방송수신기130에서 상기 제어부110 또는 멀티데이타처리부120에서 출력하는 제어 데이터등이 될 수 있다.

상기 방송수신기130에서 전송되는 상기 IP데이타그램은 상기 <표 2> 및 <표 3>과 같은 구조를 가질 수 있으며, 상기 IP 헤더는 하기 <표 4>와 같은 구조를 가질 수 있다.

version	IHL	type of service	total length
identification			flags	fragment offset
time to live		protocol	header checksum
source address
destination address
options				padding

상기 <표 4>에서 version(4비트)는 IP 포맷의 버전으로써, 현재는 IPv4(internet protocol version 4)가 사용되며 차세대 포맷으로 IPv6가 제안되어 그 사용이 확대되고 있는 추세이다. IHL(internet header length: 4비트)는 IP 헤더의 길이를 표시한다. 상기 IP 헤더의 길이는 상기 <표 4>에 나타낸 바와 같이 20 바이트 크기(32비트 * 5열 = 160비트)로 구성되며, 마지막 열의 4바이트는 옵션 사항이다. type of service(8비트)는 전송되는 IP 데이터그램의 우선순위 등을 제어하기 위한 항목으로, QOS(quality of service) 기능을 수행한다. total length(16비트)는 전송되는 IP 데이터그램의 크기를 나타내는 항목으로 상기 IP헤더와 이어지는 실제 데이터(datagram)의 크기를 합친 크기를 표시한다. identification(16)비트는 전송하고자 하는 데이터그램에 단편화(fragmentation)이 발생된 경우, 단편화된 각 데이터그램들을 구분할 수 있는 일련번호이다. flags(3비트)는 데이터그램의 단편화에 대한 정보를 알려주기 위해서 사용된다. fragment offset(13비트)는 데이터그램에 대한 단편화가 발생된 경우 현재 데이터그램이 원래 데이터그램의 몇 번째 위치부터 단편화가 이루어졌는지 나타낸다. time to live(8비트)는 TTL이 불리며, 데이터그램이 살아있을 시간을 지정한다. header checksum(16비트)은 헤더의 오류를 체크하기 위한 정보이다. source address(32비트)는 데이터그램을 보내는 측(송신측)의 IP 주소이며, destination address(32비트)는 데이터그램을 받는 측(수신측)의 IP 주소이다. option(가변 크기)은 프로그램의 특성에 의해서 특정한 기능을 추가하기 위해 사용되며, 이 필드는 필수적인 것은 아니다. 데이터그램에 보안 기능을 추가하거나 QOS와 같은 기능, 또는 라우팅과 관련된 부가적인 여러 기능들을 추가하기 위해 사용될 수 있다. padding(가변크기)은 32비트 크기를 맞추기 위해 사용되며, 0으로 세팅된다.

이때 상기 디지털방송신호가 DVB_H 방식의 신호이면, 상기 수신되는 방송신호는 IP 기반의 MPEG2 TS 구조를 가지는 데이터가 된다. 따라서 상기 DVB_H 방식의 방송신호를 수신하는 경우, 상기 멀티데이타처리부120은 상기 IP디캡슐레이터210을 통해 IP 정보를 제거하고, 역다중화기220을 통해 상기 수신되는 MPEG2 TS 구조에서 헤더정보를 분석하여 비디오 및 오디오 데이터를 역다중화 출력하여야 한다.

상기 멀티데이타처리부120의 IP디캡슐레이터210에서 IP 정보를 제거하는 절차를 살펴보면, 상기 IP디캡슐레이터2101은 상기 수신되는 IP 데이터그램에서 버전을 확인하고, 현재 프로토콜이 UDP(User Datagram Protocol) 또는 TCP/IP 프로토콜을 포함하고 있는가 확인한다. 이때 상기 UDP 또는 TCP/IP 프로토콜을 포함하고 있지 않으면 원하는 IP 데이터그램이 아니므로 처리하지 않으며, UDP 또는 TCP/IP 프로토콜인 경우에는 상기 IP 데이터그램에서 페이로드들을 추출하여 데이터 그램을 다시 생성한다. 그리고 상기 UDP 헤더를 제거하면 원하는 RTP(Real time Transport Protocol) 또는 MPEG2 TS 데이터를 추출한다.

상기 방송수신기130에서 출력되는 IP 데이터그램은 상기 <표 1>과 같은 형태로 입력되며, 상기 IP 데이터그램들의 각각은 상기 <표 2> 또는 <표 3>과 같은 구조를 가질 수 있다. 따라서 상기 <표 1>과 같은 구조의 IP 데이터그램이 입력되면, 상기 IP디캡슐레이터210은 상기 <표 4>와 같은 IP헤더를 분석하여 IP 버전 및 사용하는 프로토콜을 확인한다. 여기서 상기 IP 버전은 IP 버전 6과 IP 버전 4가 있을 수 있다. 이후 상기 IP디캡슐레이터210은 IP 버전 6이면 IP 버전6 헤더를 파싱(Parsing)하여 프로토콜을 검색하고, IP 버전 4이면 IP 버전 4 헤더를 파싱하여 프로토콜을 검색한다. 여기서 상기 프로토콜은 UDP 프로토콜 및 TCP/IP 프로토콜을 사용할 수 있다. 따라서 상기 IP디캡슐레이터210은 상기 프로토콜을 확인한 후, IP 헤더의 필드를 확인하여 페이로드 길이를 구한다. 이후 상기 IP디캡슐레이터210은 페이로드 데이터그램을 추출한 후, UDP 또는 TCP/IP 헤더를 제거하고, TS 스트림을 추출한다.

이때 상기 IP 데이터그램은 상기한 바와 같이 <표 2> 및 <표 3>과 같은 구조를 가질 수 있다. 여기서 상기 <표 2>와 같은 서비스 데이터 패킷 스트림은 비디오 및 오디오 데이터를 포함하는 패킷 스트림이 되며, <표 3>과 같은 ESG 데이터 패킷 스트림은 디지털 방송의 정보(EPG, 구매, 멀티미디어 데이터 등)를 포함하는 패킷 스트림이다. 본 발명의 실시예에서는 상기한 바와 같이 상기 ESG 데이터 패킷 스트림은 소프트웨어적으로 처리하는 것으로 가정한다. 따라서 상기 IP디캡슐레이터111은 상기 ESG 데이터 패킷 스트림의 경우에는 이를 제어부110에 전달한다. 또한 상기 <표 2>와 같은 서비스 데이터 패킷 스트림의 경우 RTP 헤더는 상기 제어부110에 전달하고, 상기 페이로드부분은 상기 역다중화기220에 전달한다. 이때 상기 역다중화기220에 전달되는 페이로드 정보는 MPEG2 TS 구조를 가지는 패킷 스트림이 될 수 있다.

상기 멀티데이타처리부120의 역다중화기220에서 상기 IP디캡슐레이터210에서 출력되는 MPEG2 TS 데이터를 역다중화하는 동작을 살펴보면, 상기 역다중화기220은 상기 TS 데이터 수신시 패킷헤더의 PID(PID: program ID)를 검색한다. 여기서 상기 PID가 설정된 PID이면, 상기 역다중화기220은 상기 패킷헤더의 부가필드(adaptation field) 존재 여부를 검사한다. 이때 상기 부가필드가 있는 경우, 상기 역다중화기220은 PCR 정보를 포함하는 부가필드의 정보들을 처리한다. 여기서 상기 PCR(program clock reference) 정보는 데이터를 처리하기 위한 기준클럭으로 사용하는 클럭이다.

상기 수신된 패킷에 부가필드 정보를 처리한 후, 상기 역다중화기210은 상기 패킷에 PES헤더 정보가 존재하는가 확인한다. 여기서 상기 PES헤더는 프레임의 시작임을 알리는 헤더 정보로써, 비디오 데이터의 경우에는 프레임의 시작에서 생성되는 정보이다. 따라서 상기 PES헤더의 존재를 확인하면, 상기 역다중화기220은 상기 PES헤더에 PTS/DTS (Presentation Time Stamp, Decoding Time Stamp) 정보가 포함되었는가 검사한다. 여기서 상기 PTS/DTS는 상기 비디오코덱230 및 오디오코덱240의 디코딩 시점을 제어하기 위한 정보로써, 오디오 PTS/DTS 및 비디오 PTS/DTS가 각각 존재한다. 여기서 DTS는 상기 디코더의 디코딩 시점을 제어하는 정보이고, 상기 PTS는 상기 디코딩된 데이터의 표현 시점을 제어하는 정보이다. 따라서 상기 DTS나 PTS 정보 중 하나의 정보를 사용하여 디코딩을 제어하게 되며, 상기 DTS를 사용하는 경우 상기 디코더는 수신된 데이터의 디코딩을 개시하여 출력하며, 상기 PTS를 사용하는 경우 상기 디코더는 수신되는 데이터를 디코딩하여 버퍼링하고 있다가 상기 PTS의 시점에서 상기 디코딩된 데이터를 출력하여 표현하게 된다. 따라서 상기 역다중화기220은 상기 PTS/DTS가 있으면 상기 PTS/DTS 정보를 포함하는 PES헤더 정보를 처리한다. 이때 상기 PES헤더 정보에는 수신되는 패킷이 오디오 패킷인지 또는 비디오 패킷인지를 구분하기 위한 구분자(오디오 PID, 비디오 PID)를 가지며, 따라서 상기 PES헤더 처리시 이어지는 패킷이 오디오인지 비디오인지를 판별할 수 있다. 따라서 상기 역다중화기220은 상기 PES헤더 정보를 처리한 후, 수신되는 패킷을 버퍼링하기 위한 오디오 또는 비디오 데이터의 디코딩 큐(decoding queue)를 생성한다.

그리고 상기 부가필드 및(또는) PES헤더를 처리한 후, 또한 상기 부가필드 및 PES헤더가 없는 패킷인 경우, 상기 역다중화기220은 상기 패킷을 생성된 디코딩 큐에 버퍼링한다. 따라서 상기 역다중화기220은 오디오 및 비디오 패킷을 분해하여 상기 디코딩큐에 상기 코덱들이 디코딩할 수 있는 단위로 저장한다. 이후 상기 역다중화기220은 상기 패킷이 TS의 마지막 패킷이 처리될 때 까지 상기와 같은 동작을 반복 수행하면서 패킷들을 디코딩 큐에 저장한다.

상기 MPEG2 TS의 경우, 상기 부가필드 및 PES헤더필드는 필요한 경우에만 전송되는 패킷이며, 상기 대부분의 패킷들은 비디오 및 오디오 패킷이다. 따라서 상기 MPEG2 TS를 역다중화하는 상기 역다중화기220은 PES헤더 정보처리시 디코딩시간 정보를 확인하고, 수신되는 패킷이 오디오인지 비디오인지 확인하여 대응되는 디코딩큐를 생성하며, 이후 상기 역다중화기220은 수신되는 패킷들을 상기 생성된 디코딩큐에 버퍼링한다. 이때 상기 DTS를 사용하는 경우, 상기 DTS의 시점에서 디코딩큐에 버퍼링되는 데이터는 상기 비디오코덱230 또는 오디오코덱240의 해당 디코더에 인가된다. 그리고 상기 PTS를 사용하는 경우, 상기 디코딩큐에 버퍼링되는 데이터는 프레임 단위 또는 설정된 크기로 버퍼링된 후 상기 비디오코덱230 또는 오디오코덱240에 전달되어 버퍼링되며, 상기 PTS 시점에서 상기 디코딩된 버퍼링 데이터를 표시부191 또는 스피커197에 전달하여 재생한다.

상기한 바와 같이 상기 역다중화기220은 수신되는 패킷을 비디오 및 오디오로 역다중화한 후, 패킷을 분해하여 상기 비디오코덱230 또는 오디오코덱240에서 디코딩할 수 있는 크기로 만든다. 이때 상기 비디오코덱230 및 오디오코덱240은 수신되는 방송신호 및 메모리150에 저장된 비디오 및 오디오 데이터를 디코딩하기 위한 디코더 및 상기 카메라140으로부터 수신되는 비디오 및 오디오 데이터를 코딩하여 상기 메모리150에 저장하기 위한 코더들을 구비할 수 있다. 그리고 상기 코더 및 디코더들은 코딩/디코딩 방식에 따라 복수개의 코더/디코더로 구성할 수 있다.

도 6은 본 발명의 실시예에 따른 비디오코덱230의 구성 예를 도시하고 있다. 상기 도 6의 비디오코덱230은 엔코더와 디코더로 구성되며, 상기 엔코더는 MPEG4, JPEG, H.264, H.263 엔코더들로 구성된 예를 도시하고 있고, 상기 디코더는 MPEG4, JPEG, H.264, H.263 디코더들로 구성된 예를 도시하고 있다. 그러나 상기와 같은 엔코더/디코더 이외에 필요에 따라 MPEG2 등과 같은 다른 코딩 방식을 사용하는 엔코더/디코더들을 더 구비할 수도 있다.

상기 도 6을 참조하면, 비디오 엔코더413은 상기 멀티데이타처리부100의 제어하여 해당하는 엔코더가 선택되며, 상기 선택된 엔코더는 영상데이타(camera, raw data)411에서 수신되는 데이터를 코딩한 후, 상기 메모리150에 저장한다. 또한 상기 코딩된 데이터를 전송하는 전송모드인 경우, 상기 멀티데이타처리부100의 제어하에 상기 코딩된 데이터는 상기 RF부160을 통해 전송된다. 상기 디지털방송신호를 녹화하는 경우, 상기 수신되는 방송신호는 코딩된 데이터이므로, 상기 역다중화기210에서 출력되는 데이터가 직접 메모리150에서 저장되며, 상기 비디오코덱230의 비디오 디코더가 구동되어 수신되는 방송신호를 재생하게 된다.

그리고 비디오 디코더423은 상기 제어부110의 제어하에 해당하는 디코더가 선택되며, 상기 선택된 디코더는 코딩된 영상데이타(DVB 및 메모리150에서 출력되는 coded data)를 디코딩한다. 이때 상기 디코딩된 데이터는 상기 표시부181에 표시하기 위한 데이터이다. 이때 상기 디코딩된 데이터와 상기 표시부181에서 표시되는 화면의 크기가 다를 수 있다. 이런 경우 상기 표시부181의 크기로 상기 디코딩된 데이터를 스케일링하여야 한다. 따라서 상기 디코더423에서 출력되는 디코딩된 데이터는 스케일러250에서 상기 표시부181의 크기로 스케일링된 후 상기 표시부191에 표시된다. 또한 상기 스케일러250은 상기 디코딩 또는 수신된 칼라 영상이 상기 표시부181에서 표시하는 칼라 영상과 다른 경우, 색변환(color conversion) 기능을 수행한다. 즉, 상기 디코딩된 칼라영상이 YUV 포맷이고, 상기 표시부181에서 표시하는 칼라 영상은 RGB 포맷인 경우, 상기 스케일러250은 상기 칼라영상을 표시부181에서 표시할 수 있는 칼라 영상으로 변환하는 기능을 수행한다. 또한 상기 색변환 기능은 상기 비디오 디코더423에서 수행할 수도 있다.

도 7은 상기 비디오 코덱230에서 수신되는 비디오 데이터를 코딩 및 디코딩하는 절차를 도시하는 흐름도이다.

상기 도 7을 참조하면, 상기 비디오코덱230은 상기 제어부110의 제어하에 451단계, 453단계, 471단계, 591단계를 수행하면서 입력되는 영상데이타의 코딩/디코딩/스케일링(및 색변환) 등의 동작을 결정한다.

이때 상기 영상데이타가 코딩되지 않은 영상데이타(raw image data)이면, 상기 비디오코덱117은 451 및 453단계에서 이를 감지하고, 455단계에서 영상 데이터를 입력한다. 이후 상기 비디오코덱117은 457단계, 459단계를 수행하면서 상기 설정된 엔코더를 선택하고, 상기 선택된 엔코더는 각각 452단계 또는 463단계에서 상기 입력된 영상데이타를 코딩하며, 상기 코딩된 데이터는 465단계에서 상기 메모리150에 저장된다. 또한 상기 코딩된 데이터를 전송하는 모드인 경우, 상기 제어부110의 제어하에 상기 코딩된 비디오 데이터는 다중화기260에서 코딩된 오디오데이타와 다중화된 후, 상기 RF부140을 통해 전송된다.

또한 상기 영상데이타가 코딩된 영상데이타(coded image data)이면, 상기 비디오코덱230은 451 및 471단계에서 이를 감지하고, 473단계에서 코딩된 영상 데이터를 입력한다. 이후 상기 비디오코덱230은 475단계, 479단계를 수행하면서 상기 설정된 비디오 디코더를 선택하고, 상기 선택된 디코더는 각각 477단계 또는 481단계에서 상기 코딩된 영상데이타를 설정된 방식의 디코딩 방식으로 디코딩한다. 이후 상기 디코딩된 데이터는 상기 표시부181에 표시된다. 이때 상기 디코딩된 비디오 데이터의 크기 및(또는) 칼라는 상기한 바와 같이 상기 표시부181의 화면 크기 및(또는) 칼라와 다를 수 있다. 따라서 상기 스케일링이 필요한 경우, 상기 스케일러250은 483단계에서 상기 표시부181의 화면 크기 및(또는) 칼라에 맞도록 상기 디코딩된 비디오 데이터를 스케일링 및(또는) 색변환한 후, 상기 표시부191에 출력하여 표시한다. 그러나 상기 스케일링이 필요하지 않은 경우, 상기 비디오코덱230의 해당 디코더는 상기 디코딩된 비디오 데이터를 485단계에서 상기 표시부181에 그대로 출력하여 표시한다.

또한 상기 비디오데이타는 코딩 및 디코딩 동작없이 바로 상기 표시부181에 표시할 수도 있다. 상기와 같은 영상데이타 표시는 상기 카메라140에서 출력되는 영상데이타가 될 수 있다. 이런 경우, 상기 비디오코덱230은 스케일링 및(또는) 색변환 정보를 수신하여 483단계에서 상기 디코딩된 데이터를 스케일링 및(또는) 색변환한 후, 상기 표시부181에 출력하여 표시한다.

상기한 바와 같이 상기 비디오코덱230은 상기 제어부110에서 코딩, 디코딩 및 스케일링 수행 여부에 대한 제어정보를 받으며, 이후 데이터가 입력되면 해당하는 방식의 엔코더, 디코더 및(또는) 스케일러가 동작한다. 이때 엔코딩 동작의 경우 해당하는 엔코더가 동작되어 입력되는 영상데이타를 해당하는 방식의 코딩 포맷으로 코딩하여 메모리150에 저장하며, 디코딩 동작의 경우 해당하는 코딩 방식에 해당하는 디코더가 동작되어 코딩된 영상 데이터를 디코딩하고, 스케일링이 필요한 경우 디코딩된 데이터를 스케일링하여 표시부181에 표시한다.

도 8은 본 발명의 실시예에 따른 오디오코덱240의 구성을 도시하는 도면이며, 도 9는 상기 도 8과 같은 구성을 가지는 오디오코덱240에서 오디오신호를 코딩 및 디코딩하는 절차를 도시하는 흐름도이다.

상기 도 8의 오디오 코덱240의 구성은 상기 도 6의 비디오 코덱230의 구성과 유사한 구조를 가지며, 상기 도 9와 같은 오디오코덱240의 동작 절차도 상기 도 7과 같은 비디오 코덱230의 동작 절차와 유사하다. 즉, 상기 오디오코덱240의 오디오엔코더513 및 오디오디코더523은 AAC, MP3, AAC+, AMR 엔코더 및 디코더 등을 구비할 수 있다. 그리고 상기 마이크185 및 RF통신부160 등을 통해 수신되는 오디오신호(raw audio data)는 도 9의 551단계 - 571단계와 같은 절차로 설정된 오디오 엔코더가 설정되어 수신되는 오디오데이타를 코딩하며, 상기 코딩된 오디오데이타는 상기 메모리150에 저장하거나 또는 RF통신부160을 통해 전송된다. 또한 상기 방송수신기130, 메모리150 및 RF통신부160 등을 통해 수신되는 코딩된 오디오신호(coded audio data)는 도 9의 581단계 - 593단계와 같은 절차로 설정된 오디오 디코더가 설정되어 디코딩되며, 상기 디코딩된 오디오 데이터는 상기 스피커 183 등을 통해 재생된다.

두 번째로 상기 카메라140에서 촬영되는 영상신호를 처리하는 절차를 살펴본다.

상기 제어부110은 상기 I2C인터페이스177을 통해 상기 카메라140의 동작을 제어할 수 있으며, 상기 카메라140에서 촬영되는 비디오 데이터는 카메라인터페이스175를 통해 상기 멀티데이타처리부120에 인가된다. 이때 상기 카메라175에 인가되는 카메라140의 비디오 데이터는 상기한 바와 같이 비디오 데이터 및 동기신호(수평 및 수직동기신호)로 구성된다. 그러면 상기 제어부110은 사용자의 설정에 따라 프리뷰모드, 스냅모드, 동영상 녹화모드 및(또는) 전송모드 등을 수행할 수 있으며, 상기 설정된 모드에 따라 상기 비디오코덱230 및 오디오코덱240을 제어하며, 또한 상기 스케일러250을 제어한다. 그리고 상기 프리뷰모드, 스냅모드 또는 동영상녹화모드의 설정에 따라 멀티데이타처리부120의 비디오코덱230 및(또는) 오디오코덱240은 수신되는 카메라140의 비디오 데이터 및(또는) 상기 마이크185에서 수신되는 오디오데이타를 재생 및(또는) 상기 메모리150에 저장한다. 이때 상기 동영상 녹화모드인 경우, 상기 비디오코덱230 및 오디오코덱240에서 출력되는 코딩된 비디오 및 오디오 데이터는 다중화기265에서 다중화되어 상기 메모리150에 저장된다. 또한 전송모드가 설정된 경우, 상기 비디오코덱230 및 오디오코덱240에서 출력되는 코딩된 비디오 및 오디오 데이터는 다중화기265에서 다중화되며, 상기 다중화 데이터는 RF통신부160을 통해 송신된다. 그리고 상기 RF통신부160을 통해 수신되는 데이터는 역다중화기260에서 비디오 및 오디오데이타로 분리되며, 이들 데이터는 각각 비디오코덱230 및 오디오코덱240에 인가되어 디코딩된 후 재생된다.

도 1은 상기 도 2와 같은 구성을 가지는 멀티데이타처리부120을 원칩화한 구조를 도시하고 있다. 이런 경우, 상기 제어부110 및 멀티데이타처리부120을 원칩으로 구현한 구성을 도시하고 있으며, 상기 멀티데이타처리부120은 IP디캡슐레이터210, 역다중화기220, 비디오코덱230, 오디오코덱240 및 스케일러250을 구비하고 있다. 그러나 상기 멀티데이타처리부120의 구성 일부를 칩 외부에 구성할 수도 있다.

도 10은 본 발명의 다른 실시예의 구성을 도시하는 도면이다. 상기 도 10의 구성에서 멀티데이타처리부125는 비디오코덱230, 오디오코덱240 및 스케일러250으로 구성되는 코덱290을 구비하지 않는 구성을 도시하고 있다. 상기 도 5의 경우 상기 멀티데이타처리부125와 코덱290의 인터페이스는 EBI2인터페이스173을 통해 수행할 수 있다. 도 11은 상기 도 10에서 멀티데이타처리부125와 코덱290의 인터페이스 구조를 도시하는 도면이다.

상기 도 10 및 도 11을 참조하면, 상기 제어부110 및 멀티데이타처리부125는 상기 비디오코덱230 및 오디오코덱240과 EBI2인터페이스173을 통해 연결된다. 따라서 상기 제어부110은 상기 비디오코덱230 및 오디오코덱240의 제어(코더 또는 디코더 선택)를 상기 EBI2인터페이스173을 통해 수행하게 되며, 상기 멀티데이타처리부120은 상기 EBI2인터페이스173을 통해 상기 비디오코덱230 및 오디오코덱240과 비디오 및 오디오 데이터를 인터페이싱한다. 따라서 상기 제어부110 및 멀티데이타처리부120이 상기 EBI2인터페이스173을 통해 외부의 코덱290과 인터페이싱하는 동작을 제외한 나머지 동작은 상기 도 1 및 도 2의 동작과 동일한 절차로 수행된다.

상기와 같은 구조를 가지는 본 발명의 실시예에 따른 멀티미디어 데이터들을 처리하는 장치는 크게 디지털 방송 수신, 카메라 데이터 처리 및 비디오 통신(video telephony) 기능을 수행할 수 있다. 여기서 상기 멀티미디어 데이터들을 처리하는 장치는 휴대단말기로 가정한다. 여기서 상기 멀티데이타처리부120은 IP 디캡슐레이터111, 역다중화기113, 비디오코덱117, 오디오코덱119를 구비하며, 상기 멀티데이타처리부120의 전체적인 제어는 제어부110에서 처리한다.

도 12는 본 발명의 실시예에 따라 휴대단말기에서 디지털방송, 카메라 및 비디오 통신 기능을 수행하는 절차를 도시하는 흐름도이며, 상기 멀티 데이터를 처리할 때 PIP(picture in picture) 기능으로 둘 이상의 멀티미디어 데이터를 처리하는 구성을 도시하고 있다.

상기 도 12를 참조하면, 상기 제어부115는 601단계에서 휴대단말기의 대기상태를 수행하면서 키입력부 또는 메뉴를 이용하여 입력되는 사용자 입력이 발생되는가 검사한다. 이때 상기 사용자 입력이 발생되면, 상기 제어부110은 603단계에서 이를 감지하고, 611단계, 621단계, 631단계를 수행하면서 사용자가 선택한 멀티미디어 장치의 종류를 확인한다. 이때 상기 DVB_H가 선택된 경우, 상기 멀티데이타처리부110은 613단계를 상기 멀티데이타처리부120을 제어하여 상기 디지털방송신호를 처리하도록 제어한다. 그러면 상기 방송수신기130 및 멀티데이타처리부120은 도 13a 및 도 13b와 같은 절차를 수행하면서 상기 카메라140의 신호를 처리하여 표시한다.

두 번째로 상기 카메라가 선택된 경우, 상기 제어부110은 623단계에서 상기 멀티데이타처리부120을 제어하여 상기 카메라의 데이터를 처리하도록 제어한다. 그러면 상기 멀티데이타처리부120은 도 14와 같은 절차를 수행하면서 수신되는 디지털 방송을 처리하여 표시한다.

세 번째로 상기 비디오통신이 선택된 경우, 상기 제어부110은 633단계에서 상기 멀티데이타처리부120을 제어하여 상기 카메라140, 마이크185 및 RF통신부160을 통해 수신되는 데이터를 처리하도록 제어한다. 그러면 상기 멀티데이타처리부120은 도 15와 같은 절차를 수행하면서 상기 비디오통신 신호를 처리하여 표시한다.

네 번째로 상기 PIP 기능이 선택된 경우, 상기 제어부110은 사용자에 의해 선택된 마스터 및 슬레이브 프로그램(master and slave program)을 설정하고, 선택된 프로그램(여기서는 디지털방송 및 카메라가 될 수 있다)들을 처리하여 표시한다.

먼저 도 13a 및 도 13b는 본 발명의 실시예에 따른 휴대단말기에서 DVB_H 방송신호를 처리하는 절차를 도시하는 흐름도이다. 여기서 도 13a는 방송수신기130을 초기화한 후, 상기 방송수신기130에서 출력하는 방송 데이터를 수신하며,

상기 도 13a를 참조하면, 사용자가 DVB_H 기능 및 시청을 원하는 채널을 선택하면, 상기 제어부115는 이를 감지하고 711단계에서 상기 EBI2인터페이스171의 초기화 동작을 수행하고, 713단계에서 상기 방송수신기130 및 멀티데이타처리부120의 초기화 동작을 수행한다. 여기서 상기 EBI2인터페이스171은 상기한 바와 같이 상기 제어부110에서 출력되는 제어데이타를 상기 방송수신기130에 인터페이싱하고, 또한 상기 방송수신기130에서 복조되는 방송데이타를 상기 멀티데이타처리부120에 인터페이스하는 기능을 수행한다. 또한 상기 방송수신기130의 초기화는 튜너310을 통해 사용자가 선택한 방송채널의 물리주파수를 세팅하고, 상기 복조기320을 통해 사용자가 선택한 방송채널의 PID를 설정한다. 그리고 상기 멀티데이타처리부120의 상기 IP디캡슐레이터210, 역다중화기220, 비디오코덱230 및 오디오코덱240의 디코더를 설정하고, 녹화모드인 경우에는 상기 역다중화기220에서 역다중화되는 오디오 및 비디오 데이터를 상기 메모리150에 저장할 수 있도록 설정한다.

이후 상기 제어부110은 715단계에서 인터럽트 클럭을 인에이블시키고, 717단계에서 상기 버퍼229에 방송 데이터가 있는가 검사하며, 상기 방송데이타가 있으면 719단계에서 상기 방송데이타를 수신하며, 인터럽트신호를 발생하여 도 13b와 같은 방송데이타 처리 동작을 수행한다. 그리고 상기와 같은 동작은 상기 방송 서비스의 종료 명령이 발생될 때까지 반복 수행되며, 상기 방송서비스 종료 명령이 발생되면 상기 제어부110은 721단계에서 이를 감지하고 상기 방송서비스 절차를 종료한다.

상기한 바와 같이 초기화 동작을 수행하고 나면, 상기 방송수신기130의 튜너310은 수신되는 DVB_H 방송신호에서 설정된 물리채널 주파수의 방송신호를 수신하게 되며, 복조기320은 상기 수신되는 방송신호를 디지털 변환 및 설정된 방식으로 복조한 후, PID 필터링 동작을 수행하여 상기 복조된 방송신호에서 사용자가 설정한 PID를 가지는 방송신호를 버퍼329에 저장하게 된다. 이때 상기 버퍼329에 저장되는 데이터는 IP 데이터그램 포맷이다. 그리고 상기 버퍼329에 버퍼링된 데이터는 상기 멀티데이타처리부120에 전송된다. 이때 상기 방송신호는 버스트(burst) 신호로써, 상기 복조기320은 설정된 방송채널의 버스트신호를 PID 필터링하여 상기 버퍼229에 버퍼링한다. 따라서 상기 방송수신기150은 상기 버스트 크기의 방송신호를 복조하여 멀티데이타처리부120에 전달하게 되며, 상기 멀티데이타처리부120은 이를 처리하게 되는 것이다.

상기 인터럽트신호가 발생되면, 상기 멀티데이타처리부120은 상기 방송신호를 수신하여 처리하게 된다. 즉, 상기 인터럽트신호가 발생되면, 상기 멀티데이타처리부120은 731단계단계에서 상기 수신되는 IP 데이타그램의 IP 디캡슐레이팅 동작을 수행하여 MPEG2 TS 데이터를 출력한다. 상기 IP 디캡슐레이팅은 상기 IP 디캡슐레이터210에서 수행할 수 있다. 상기 IP 디캡슐레이팅 동작은 상기한 바와 같은 절차로 수행하면서 IP 정보를 처리하며, 상기 IP 정보를 처리한 후의 방송데이타는 MPEG2 TS 포맷을 갖게된다. 그러면 상기 멀티데이타처리부120은 733단계에서 상기 IP 디캡슐레이팅된 데이터를 오디오 및 비디오 데이터로 역다중화하며, 상기 오디오 및 비디오 데이터를 상기 비디오코덱117 및 오디오코덱119에서 처리할 수 있는 크기로 각각 버퍼링한다. 상기 MPEG2 TS 역다중화는 상기 역다중화기220에서 수행할 수 있다. 이후 상기 멀티데이타처리부120은 사용자가 설정한 모드(재생모드, 녹화모드)에 따라 DVB_H 방송신호를 처리한다.

먼저 재생모드를 설정한 경우, 상기 멀티데이타처리부120은 735단계에서 이를 감지하고, 상기 737단계에서 상기 역다중화된 비디오 데이타 및 오디오 데이터의 코딩 방식을 확인하고, 상기 비디오 데이터의 크기를 상기 표시부181의 화면크기로 스케일링하기 위한 스케일링 비율을 설정한다. 이후 739단계에서 상기 비디오 및 오디오 데이터를 디코딩하고, 상기 표시부183의 화면 크기로 스케일링한 후, 741단계에서 상기 표시부181 및 스피커183에 상기 디코딩된 비디오 및 오디오 데이터를 출력한다. 이때 상기 멀티데이타 처리부120이 상기 도 2와 같은 구성을 가지는 경우, 상기 멀티데이타처리부120은 상기 737단계에서 상기 비디오 데이터를 상기 비디오코덱230의 설정된 비디오 디코더에 전달하고, 오디오 데이터를 상기 오디오코덱240의 설정된 오디오 디코더에 전달하며, 739단계에서 상기 전달되는 비디오 및 오디오 데이터를 각각 디코딩한다. 즉, 상기 비디오 디코딩은 도 6과 같은 구성을 가지는 비디오코덱117에서 수행할 수 있으며, 또한 도 7과 같은 절차로 비디오 디코딩을 수행할 수 있다. 그리고 상기 오디오 디코딩은 도 8과 같은 오디오코덱240에서 수행할 수 있으며, 또한 도 9와 같은 절차로 오디오 디코딩을 수행할 수 있다. 상기 멀티데이타처리부120은 인터럽트 발생시 상기 버퍼229에 버퍼링된 버스트 데이터의 처리를 종료할 때 까지 상기 동작을 반복 수행하며, 상기 버스트 데이터의 처리가 종료되면 다음 인터럽트에 대비한다. 이때 상기 버스트 데이터는 연속하여 발생되며, 따라서 상기 멀티데이타처리부120은 상기와 같은 동작들을 인터럽트 발생시 마다 수행하므로, 상기 표시부181 및 스피커183에는 연속적으로 방송신호를 표시 및 재생하게 된다.

상기한 바와 같이 DVB_H 재생 모드인 경우, 상기 방송수신기130은 수신되는 방송신호를 복조하여 버퍼링하며, 이때 상기 버퍼링되는 데이터는 상기 멀티데이타처리부120에 인터럽트 방식으로 전달된다. 그러면 상기 멀티데이타처리부120은 재생모드인 경우, 상기 복조된 데이터가 수신되는 시점에서 IP 디캡슐레이팅, 역다중화, 디코딩 과정을 수행하여 수신된 방송신호를 재생한다. 이때 상기 상기 버스트는 약 1초에서 4초의 재생 분량 크기를 가질 수 있다.

두 번째로 사용자가 녹화모드를 실행하는 경우, 상기 멀티데이타처리부120은 751단계에서 이를 감지하고 녹화 및 재생모드를 수행한다. 이때 상기 녹화의 경우에는 현재 수신되는 방송신호를 그대로 녹화할 수 있으며, 또한 상기 수신되는 방송신호를 다른 코딩 방식으로 녹화할 수 있다. 즉, 상기 역다중화되는 오디오 및 비디오는 각각 설정된 방식으로 코딩된 신호이므로, 일반 녹화모드인 경우에는 상기 역다중화된 방송신호를 그대로 상기 메모리150에 저장하면 된다. 그러나 현재의 방송신호와 다른 코딩 방식으로 녹화하고자 하는 경우에는 상기 방송신호를 디코딩한 후, 상기 디코딩된 신호를 재생하는 동시에 설정된 방식으로 다시 코딩하여 상기 메모리150에 저장하여야 한다.

따라서 상기 일반 녹화모드인 경우, 상기 멀티데이타처리부120은 751 및 753단계에서 이를 감지하고, 763단계에서 상기 역다중화되는 비디오 및 오디오 데이터를 다중화한 후 상기 메모리150에 저장한다. 이때 상기 일반 녹화모드와 상기 재생모드를 동시에 수행하는 경우, 상기 멀티데이타처리부120은 상기 737단계 - 741단계를 수행하면서 재생모드를 수행하는 동시에 상기 763단계에서 상기 역다중화되는 코딩된 오디오 및 비디오 데이터를 다중화하여 상기 메모리150에 저장할 수도 있다. 즉, 상기 멀티데이타처리부120은 상기 역다중화되는 비디오 및 오디오 데이터를 각각 디코딩한 후, 상기 디코딩된 비디오 및 오디오 데이터를 재생하는 동시에 상기 역다중화된 비디오 및 오디오 데이터를 상기 메모리180에 저장할 수 있다.

그러나 다른 코딩 방법으로 상기 방송신호를 녹화하는 모드이면, 상기 멀티데이타처리부120으 751 및 753단계에서 이를 감지하고, 755단계에서 상기 역다중화된 비디오 및 오디오 데이터의 코딩 방법에 대응되는 디코딩 방법을 결정하고, 757단계에서 상기 결정된 디코딩 방법으로 상기 비디오 및 오디오 데이터를 각각 디코딩한다. 이때의 상기 비디오 및 오디오 데이터의 디코딩 방법은 상기 737단계 및 739단계에서 수행하는 절차와 동일한 방법으로 수행할 수 있다. 이후 상기 멀티데이타처리부120은 사용자에 의해 설정된 코딩 방법을 확인하여 녹화할 코딩 방법을 결정하고, 761단계에서 상기 결정된 코딩방법으로 상기 디코딩된 오디오 및 비디오 데이터를 각각 코딩한 후, 763단계에서 상기 코딩된 오디오 및 비디오 데이터를 다중화하여 상기 메모리150에 저장한다. 이때 상기 다른 코딩 방식으로 녹화 및 재생이 동시에 수행되는 경우, 상기 멀티데이타처리부120은 757단계에서 디코딩된 데이터를 코딩하는 동시에 표시부181 및 스피커183을 통해 출력하므로서 재생과 녹화를 동시에 수행할 수도 있다.

상기한 바와 같이 상기 DVB_H 모드가 선택되면, 상기 제어부110은 상기 방송수신기130의 출력을 인터럽트 방식으로 상기 멀티데이타처리부120에 전달한다. 그리고 상기 멀티데이타처리부120은 상기 제어부110의 제어하에 DVB_H 방송신호를 처리할 수 있도록 IP 디캡슐레이팅 및 역다중화, 그리고 비디오 및 오디오 디코딩 기능을 설정한다. 그러면 상기 멀티데이타처리부120은 상기 인터럽트가 발생할 때 마다 상기 방송신호를 IP 디캡슐레이팅, 역다중화 동작을 수행하고, 상기 역다중화되는 오디오 및 비디오를 각각 디코딩하여 재생한다. 또한 상기 방송신호를 녹화하는 경우, 상기 역다중화된 신호가 코딩된 비디오 및 오디오신호이므로, 상기와 같이 재생 동작을 수행하는 동시에 상기 역다중화되는 오디오 및 비디오 신호를 상기 메모리150에 저장하면 된다. 또한 상기 녹화모드에서 현재 수신되는 방송신호의 코딩 방식과 다른 방식으로 코딩하여 저장하는 경우, 수신되는 방송신호를 디코딩하여 재생하는 동시에 상기 디코딩된 신호를 원하는 형태의 코딩 방식으로 코딩하여 상기 메모리150에 저장할 수 있다.

이때 상기 디지털 방송을 시청하면서 발생할 수 있는 이벤트는 4가지 정도가 될 수 있다. 상기 이벤트들은 방송 종료, 채널변경, 재생 및 녹화 등이 될 수 있다. 이때 방송 종료의 경우에는 프로그램 종료를 호출하여 방송을 종료시킨다. 그리고 채널변경이 발생한 경우에는 상기 방송수신기130을 제어하여 사용자가 변경하고자 하는 채널의 주파수 및(또는) PID를 세팅한 후, 상기와 같은 절차를 반복 수행할 수 있다. 그리고 상기 디지털 방송의 재생 및 녹화는 상기 도 13a 및 도 13b와 같은 절차로 수행할 수 있다.

두 번째로 상기 도 14는 본 발명의 실시예에 따른 휴대단말기에서 카메라 촬영신호를 처리하는 절차를 도시하는 흐름도이다. 여기서 상기 카메라140의 동작 제어는 상기 제어부110의 제어하에 상기 멀티데이타처리부120에 처리할 수 있다. 이런 경우, 상기 제어부110은 사용자의 입력을 멀티데이타처리부120에 전달하며, 이를 이용하여 상기 멀티데이타처리부120은 상기 카메라140의 동작을 제어할 수 있다. 또한 상기 멀티데이타처리부120이 상기 사용자의 입력 데이터를 직접 수신하여 처리하는 경우, 상기 제어부110의 제어없이 상기 멀티데이타처리부120이 상기 도 14와 같은 절차를 단독으로 수행할 수도 있다. 여기서는 상기 멀티데이타처리부120이 상기 제어부110의 제어에 따라 카메라140의 동작을 제어하는 것으로 가정하여 설명한다.

상기 도 14를 참조하면, 사용자가 카메라 기능을 선택하면, 상기 제어부110은 은 811단계에서 이를 감지하고, 813단계에서 상기 카메라140의 출력이 상기 멀티데이타처리부120에 연결될 수 있도록 인터페이스를 설정한다. 이때 상기 IP디캡슐레이팅 및 역다중화 동작은 수행되지 않도록 설정한다. 이때 상기 카메라140은 이미지센서와 상기 이미지센서에서 촬영된 영상신호를 처리하여 디지털 데이터로 변환하는 신호처리프로세서 등으로 구성될 수 있다. 이후 상기 제어부110은 상기 카메라140의 동작모드 정보를 상기 멀티데이타처리부120에 전달하며, 이에 따라 상기 멀티데이타처리부120은 815단계에서 사용자가 설정한 동작모드를 확인한다. 여기서 상기 카메라의 동작모드는 프리뷰(preview), 정지화면 녹화, 동영상 녹화 등이 있을 수 있다.

먼저 상기 프리뷰모드가 선택되면, 상기 멀티데이타처리부120은 817단계에서 상기 프리뷰 모드를 감지하고, 819단계에서 상기 스케일링 값을 설정한다. 여기서 상기 프리뷰모드는 상기 카메라140에서 촬영되는 영상을 메모리150에 저장하지 않고 상기 표시부181에 표시하는 기능이다. 따라서 상기 멀티데이타처리부120은 821단계에서 상기 카메라140에서 촬영되는 영상신호를 상기 표시부191의 화면크기에 맞도록 스케일링한 후, 823단계에서 상기 표시부191에 출력하여 표시한다. 이때 상기 스케일링 동작은 상기 스케일러260에서 수행할 수 있다. 또한 상기 카메라140에서 생성되는 영상신호와 상기 표시부181에서 표시되는 칼라 데이터는 서로 다른 방식을 사용할 수 있다. 즉, 예를들면 상기 카메라160에서는 YUV 포맷의 영상신호를 발생하고, 상기 표시부181에서는 RGB 포맷의 영상신호를 표시하는 경우, 상기 스케일러250은 색변환기(color converter)를 더 구비할 수도 있다. 따라서 상기 멀티데이타처리부120은 상기 821단계에서 상기 스케일링 이외에 색변환 기능도 함께 수행할 수 있다.

두 번째로 정지화면 녹화모드가 선택되면, 상기 멀티데이타처리부120은 825단계에서 이를 감지하고, 829단계에서 상기 촬영된 영상데이타를 코딩하기 위한 코딩 방식을 설정한다. 이때 상기 코딩 방식은 정지 영상(예를들면 1프레임의 영상데이타)을 코딩하는 것으로, 일반적으로 JPEG, GIF 등의 코딩 기법이 사용될 수 있다. 상기와 코딩 기법을 설정한 후, 상기 멀티데이타처리부120은 831단계에서 상기 설정된 코딩 방식으로 코딩한 후, 835단계에서 상기 상기 메모리180에 저장한다. 또한 상기 정지화면 녹화시 상기 녹화되는 정지 영상은 상기 표시부181에 일정 시간 표시된다. 따라서 상기 멀티데이타처리부120은 833단계에서 상기 영상데이타를 스케일링한 후, 835단계에서 상기 표시부181에 표시한다.

상기 정지영상 모드는 상기 프리뷰를 수행하는 중에서 저장키를 누르면 발생된다. 이때 상기 정지영상의 코딩 방법은 사용자가 설정할 수 있으며, 설정하지 않는 경우에는 기본적으로 설정된 코딩 방법을 사용할 수 있다. 따라서 상기 멀티데이타처리부120은 상기 프리뷰모드가 설정되면, 817단계 - 823단계를 수행하면서 카메라140에서 촬영되는 영상데이타를 상기 표시부181에 표시하며, 이때 저장키가 눌려지면, 825단계에서 이를 감지하고 829단계 - 835단계를 수행하면서 상기 저장키가 눌려진 시점의 영상데이타를 설정된 정지영상 코딩방식으로 코딩하여 메모리150에 저장하는 동시에 일정시간 표시한 후, 다시 프리뷰 모드로 진행하게 된다.

세 번째로 동영상모드 녹화모드가 설정되면, 상기 멀티데이타처리부120은 837단계에서 이를 감지하고, 841단계에서 상기 동영상신호를 녹화하기 위한 코딩 방법을 설정한다. 이때 상기 동영상신호를 녹화하는 경우, 상기 동영상신호의 코딩 방법은 사용자가 설정할 수 있으며, 사용자가 설정하지 않은 경우에는 기본적으로 설정된 코딩 방법으로 설정할 수 있다. 이때 사용자는 마이크185를 통해 수신되는 오디오신호도 함께 녹음할 수 있다. 따라서 상기 멀티데이타처리부120은 상기 841단계에서 비디오 및 오디오의 코딩 방법을 함께 설정할 수 있다. 이후 상기 멀티데이타처리부120은 843단계에서 상기 카메라140에서 발생되는 영상데이타를 설정된 비디오 코딩 방법으로 코딩하며, 상기 마이크185에서 수신되는 오디오신호를 설정된 오디오코딩 방법으로 코딩한다. 이때 상기 비디오코딩 및(또는) 오디오 코딩은 각각 상기 도 6 및(또는) 도 8과 같은 구성을 갖는 비디오 코덱230 및(또는) 오디오코덱240에서 수행될 수 있으며, 또한 상기 도 7 및(또는) 도 9와 같은 절차로 상기 비디오 코딩 및(또는) 오디오 코딩을 수행할 수 있다. 이후 상기 멀티데이타처리부120은 835단계에서 상기 비디오 코딩 데이터 및 상기 오디오코딩데이타를 다중화하여 상기 메모리150에 저장한다. 또한 상기 동영상신호 녹화모드를 수행하는 경우, 상기 코딩되는 영상 및(또는) 오디오 데이터는 상기 메모리150에 저장되는 동시에 상기 카메라140에서 촬영되는 영상 데이터는 스케일링되어 상기 표시부181에 표시된다. 이를 위하여 상기 멀티데이타처리부120은 상기 카메라140에서 촬영되는 비디오 데이터를 833단계에서 스케일링한 후 835단계에서 표시부181에 출력하여 표시하며, 상기 마이크195에서 출력되는 오디오를 스피커183을 통해 출력하게 된다.

상기한 바와 같이 동영상 녹화모드를 수행하는 경우, 상기 멀티데이타처리부120은 상기 카메라140에서 촬영되는 동영상신호는 녹화하는 동시에 프리뷰 모드를 수행하여 이를 표시부181에 표시한다. 또한 오디오신호도 상기 동영상신호와 함께 녹음할 수 있다. 이를 위하여 상기 멀티데이타처리부120은 상기한 바와 같이 동영상 녹화모드 설정시 영상 및 오디오 데이터를 코딩할 코더들을 설정하고, 상기 촬영되는 영상 및 오디오 데이터를 각각 설정된 코딩 방법으로 코딩하여 메모리150에 저장하는 동시에 상기 영상 데이터를 스케일링 및(또는) 색변환하여 상기 표시부181에 표시하고 상기 오디오신호를 스피커183을 통해 재생한다.

세 번째로 상기 도 15는 본 발명의 실시예에 따른 휴대단말기에서 비디오 통신 기능을 수행하는 절차를 도시하는 흐름도이다. 여기서 상기 비디오통신의 동작 제어는 상기 제어부110의 제어하에 상기 멀티데이타처리부120에 처리할 수 있다. 이런 경우, 상기 제어부110은 사용자의 입력을 멀티데이타처리부120에 전달하며, 이를 이용하여 상기 멀티데이타처리부120은 상기 카메라140 및 마이크185에서 발생되는 신호 및 RF통신부160을 통해 수신되는 신호들을 처리할 수 있다. 또한 상기 멀티데이타처리부120이 상기 사용자의 입력 데이터를 직접 수신하여 처리하는 경우, 상기 제어부110의 제어없이 상기 멀티데이타처리부120이 상기 도 15와 같은 절차를 단독으로 수행할 수도 있다. 여기서는 상기 멀티데이타처리부120이 상기 제어부110의 제어에 따라 카메라140의 동작을 제어하는 것으로 가정하여 설명한다.

상기 도 15를 참조하면, 비디오 통신 기능을 선택하면, 상기 제어부110은 851단계에서 이를 감지하고, 853단계에서 상기 카메라140 및 RF통신부160의 신호들이 상기 멀티데이타처리부120에 연결될 수 있도록 인터페이스를 설정한다. 상기 카메라160은 이미지센서와 상기 이미지센서에서 촬영된 영상신호를 처리하여 디지털 데이터로 변환하는 신호처리프로세서 등으로 구성될 수 있다. 그러면 상기 멀티데이타처리부120은 855단계에서 비디오 통신을 위한 신호를 확인하다. 이때 상기 멀티데이타처리부120은 상기 카메라160에서 촬영되는 영상 및 상기 마이크185에서 발생되는 오디오신호를 각각 코딩하여 RF부160을 통해 전송하며, 동시에 상기 RF통신부부160으로부터 수신되는 영상 및 오디오신호를 디코딩하여 상기 표시부181 및 스피커183을 통해 재생한다.

먼저 상기 비디오통신에서 송신신호의 처리 절차를 살펴보면, 상기 멀티데이타처리부120은 송신할 신호이면 857단계에서 이를 감지하고, 859단계에서 비디오 및 오디오의 코딩 방법을 설정한다. 이후 상기 멀티데이타처리부120은 861단계에서 상기 설정된 코딩방법으로 상기 카메라140에서 촬영되는 영상데이타를 코딩하고, 상기 마이크185로부터 수신되는 오디오신호를 코딩하며, 863단계에서 상기 코딩된 오디오 및 비디오 데이터를 다중화한 후, 상기 RF통신부160을 통해 전송한다. 또한 상기 멀티데이타처리부120은 863단계에서 상기 촬영되는 영상데이타를 스케일링한 후 상기 표시부181에 표시할 수 있다.

두 번째로 상기 비디오 통신에서 수신되는 신호의 처리 절차를 살펴보면, 상기 멀티데이타처리부120은 상기 RF통신부160으로부터 신호가 수신되면, 867단계에서 이를 감지하고, 869단계에서 비디오 및 오디오의 디코딩 방법을 설정하며, 871단계에서 상기 설정된 비디오 및 오디오의 디코딩 방법으로 상기 수신되는 통신 신호를 비디오 및 오디오로 역다중화한 후, 이를 각각 설정된 방법으로 디코딩하며, 873단계에서 상기 디코딩된 신호를 각각 표시부181 및 스피커183을 통해 재생한다. 이때 상기 멀티데이타처리부120은 상기 디코딩된 비디오 데이터를 스케일링한 후 상기 표시부191에 표시할 수 있다.

상기한 바와 같이 비디오 통신 기능이 설정되면, 상기 멀티데이타처리부120은 송신신호의 코딩 및 수신신호의 디코딩 방법을 설정한다. 그리고 상기 송신 비디오 및 오디오신호는 각각 상기 설정된 코딩 방법에 따라 코딩한 후, 상기 코딩된 오디오 및 비디오 데이터를 다중화하여 상기 RF통신부160을 통해 전송한다. 그리고 상기 RF통신부160을 통해 수신되는 신호는 이를 비디오 및 오디오데이타로 역다중화한 후 각각 설정된 디코딩 방법에 따라 디코딩한 후, 표시부181 및 스피커183을 통해 재생한다. 이때 상기 표시부181에는 상기 수신되는 비디오 데이터만을 표시할 수 있으며, 또한 상기 수신된 비디오 신호를 표시하면서 상기 송신신호의 비디오신호를 표시부181에 PIP 형태로 표시할 수도 있다. 그리고 상기와 같은 비디오 통신 방법은 통신종료시까지 수행되며, 상기 통신 종료를 감지하면 상기 멀티데이타처리부120은 865단계에서 이를 감지하고 상기 비디오 통신 서비스를 종료한다.

또한 본 발명의 실시예에 따른 멀티데이타처리장치는 두개 이상의 멀티미디어 데이터를 하나의 화면에 표시할 수 있다. 상기 멀티데이타들을 한 화면에 표시하는 방법은 PIP(picture in picture) 방식을 사용할 수 있다. 상기 PIP 기능은 설정은 도 12의 641단계 및 643단계를 통해 수행할 수 있다. 그리고 상기 도 12의 643단계에서 실행되는 PIP 처리 절차를 도 16과 같은 절차로 수행될 수 있다.

상기 도 16을 참조하면, 본 발명의 실시예에 따른 PIP 실행은 두개 이상의 멀티미디어 데이터를 하나의 화면에 표시한다. 여기서 두개 이상의 멀티데이타를 처리하는 방법은 상기 방송수신기에서 두개 이상의 방송채널을 수신하여 표시할 수 있으며, 상기 방송수신기130 및 카메라140의 출력을 동시에 표시할 수 있다. 그리고 상기 PIP 기능을 수행하는 경우, 마스터프로그램은 상기 표시부181의 전체화면으로 표시하는 프로그램을 의미하며, 슬레이브 프로그램은 상기 표시부181에 작은 화면으로 표시하는 프로그램을 의미한다. 그리고 여기서 상기 프로그램은 방송, 카메라의 촬영데이타 및 비디오 통신 등이 될 수 있다. 또한 상기 슬레이브화면의 표시는 사용자가 설정하는 표시부181의 특정 위치에서 사용자가 설정한 크기로 표시할 수 있다. 그러나 본 발명의 실시예에서는 상기 PIP의 슬레이브 프로그램을 표시할 수 있는 화면 표시위치 및 화면 크기는 미리 설정된 경우로 가정하며, 이때 상기 화면 표시위치는 상기 표시부181의 전체화면을 4분할하고, 상기 4분할한 위치 내에서 미리 설정된 크기의 화면 크기로 표시된다고 가정한다. 따라서 본 발명의 실시예에서는 항기 PIP의 소화면은 최대 4개로 표시할 수 있다고 가정한다. 또한 본 발명의 실시예에서 PIP 기능 수행시 마스터 프로그램을 표시하는 경우, 비디오 및 오디오 데이터를 모두 재생하며, 슬레이브 프로그램의 경우에는 비디오 데이터만 표시한다고 가정한다.

따라서 상기 PIP 기능이 선택되면, 상기 제어부110은 911단계에서 마스터 프로그램의 설정을 안내하고, 사용자에 의해 선택된 프로그램을 마스터 프로그램으로 설정한다. 여기서 상기 마스터 프로그램은 상기 표시부181의 전체 화면으로 표시되는 멀티미디어 데이터이며, 상기 마스터 프로르램의 멀티미디어 데이터를 재생하는 경우, 비디오 및 오디오 데이터를 모두 재생하게 된다. 상기 마스터 프로그램 선택 후, 상기 제어부110은 913단계에서 슬레이브 프로그램의 선택을 안내하며, 사용자에 의해 슬레이브 프로그램이 선택되면 915단계에서 상기 슬레이브 프로그램을 표시하기 위한 화면 위치 선택을 안내하낟. 여기서 상기 슬레이브 프로그램은 하나 이상으로 선택할 수 있으며, 사용자에 의해 선택되는 슬레이브 프로그램의 수에 따라 표시화면의 위치를 안내한다. 이때 사용자가 슬레이브 프로그램의 화면 표시 위치를 선택하면, 상기 제어부110은 917단계에서 이를 감지하고 919단계에서 선택된 화면 표시위치를 상기 슬레이브 프로그램의 표시 위치로 설정한다. 그러나 상기 슬레이브 프로그램의 표시위치가 선택되지 않으면, 상기 제어부110은 917단계에서 이를 감지하고 921단계에서 디폴트로 설정된 화면 표시위치로 설정한다. 이때 상기 슬레이브 프로그램이 2개 이상이 선택된 경우, 상기 제어부110은 상기 917단계 921단계를 선택된 슬레이브 프로그램의 수 만큼 화면 표시위치를 설정하는 동작을 반복 수행한다. 여기서 상기 슬레이브 프로그램의 멀티미디어 데이터를 재생하는 경우, 비디오 데이터만을 표시하며 상기 오디오 데이터는 재생하지 않는 것으로 가정한다.

상기한 바와 같이 본 발명의 실시예에 따른 휴대단말기는 디지털 방송 수신기를 구비하며, 상기 디지털방송수신기를 처리하는 구성을 이용하여 다른 멀티미디어 장치들의 신호도 처리할 수 있다. 이를 위하여 본 발명의 실시예에서는 상기 멀티데이타처리부120은 복수의 멀티미디어 장치들(본 발명의 실시예에서는 방송수신기130 및 카메라 140이 될 수 있다)과 연결되며, 이때 상기 멀티데이타처리부120은 각 멀티미디어 장치들의 인터페이스 규격으로 인터페이스 동작을 수행한다. 그리고 상기 멀티데이타처리부120은 상기 선택된 멀티미디어 데이터의 종류에 따라 이들 신호를 처리하는 장치들의 동작을 제어한다. 그리고 상기 멀티미디어 데이터의 코딩 및 디코딩을 하는 비디오 및 오디오코덱은 상기 멀티데이타처리부100의 제어하에 해당하는 코더 또는 디코더가 선택되어 구동된다. 따라서 상기 비디오 코덱 및 오디오코덱을 공유할 수 있다.

상술한 바와 같이, 본 발명의 실시예에 따라 멀티미디어 데이타를 처리장치는 디지털 방송 시스템과 하나의 멀티미디어 장치를 하나의 인터페이스를 사용하여 멀티미디어 데이터 처리부에 전달하며, 이로인해 단일의 멀티미디어 데이터 처리부를 이용하여 디지털 방송시스템을 포함하는 적어도 두개의 멀티미디어 장치들의 데이터를 처리할 수 있다.

Claims (27)

1. 복수의 멀티미디어 장치들을 구비하는 휴대단말기의 데이터 처리장치에 있어서,

   디지털방송신호를 수신하여 복조하는 방송수신기인 제1장치와,

   상기 방송수신기와 인터페이스 기능을 수행하는 메모리인터페이스와,

   카메라인 제2장치 및 카메라인터페이스와,

   상기 인터페이스들을 통해 상기 방송수신기 및 카메라의 동작제어신호를 발생하는 제어부와,

   상기 제어부의 제어하에 동작모드가 결정되며, 상기 결정된 동작모드에 의해 선택된 장치의 인터페이스에서 수신되는 데이터를 처리하는 멀티데이타처리부와,

   상기 멀티데이타 처리부의 제어하에 처리되는 데이터를 저장하는 메모리와,

   상기 멀티데이터 처리부에서 출력되는 데이터를 표시하는 표시부로 구성된 것을 특징으로 하는 상기 휴대단말기의 데이터 처리장치.
2. 제1항에 있어서, 멀티데이터 처리부의 제어하에 상기 휴대단말기의 데이터를 이동통신망과 송수신하는 RF통신부를 더 구비한 것을 특징으로 하는 상기 휴대단말기의 데이터 처리장치.
3. 제2항에 있어서, 상기 멀티데이타 처리부가,

   상기 복조된 디지털방송데이타를 역다중화하는 역다중화기와,

   적어도 하나의 코더 및 디코더들로 구성되는 비디오 코덱과,

   적어도 하나의 코더 및 디코더를 구비하는 오디오코덱를 구비하며,

   상기 제1장치 선택시 상기 역다중화기를 구동하고, 상기 비디오 코덱 및 오디오코덱의 대응하는 디코더를 구동하며, 상기 제2장치 선택시 상기 비디오 코덱 및 오디오코덱의 대응하는 코더를 구동하여 상기 코딩되는 데이터를 저장함을 특징으로 상기 휴대단말기의 데이터 처리장치.
4. 제3항에 있어서, 상기 제1장치가 상기 제어부의 제어하에 선택된 방송채널신호를 수신하는 튜너와, 상기 선택된 방송채널의 신호를 복조하는 복조기로 구성되며, 제2장치가 이미지센서 및 상기 이미지센서에서 감지되는 신호를 디지털 형태의 카메라 데이터로 처리하는 신호처리부로 구성된 것을 특징으로 하는 상기 휴대단말기의 데이터 처리장치.
5. 제3항에 있어서, 상기 비디오코덱은 적어도 하나의 비디오 코더와, 적어도 하나의 비디오 디코더로 구성되며, 영상신호를 상기 표시부의 화면 크기로 스케일 링하는 스케일러를 더 구비하여,

   상기 기록모드시 상기 제어부에 의해 설정된 비디오코더가 수신되는 영상신호를 코딩하여 상기 메모리에 출력하고, 재생모드시 상기 제어부에 의해 설정된 비디오 디코더가 수신되는 영상신호를 디코딩하고, 스케일러가 상기 디코딩 영상신호를 스케일링하여 상기 표시부에 출력함을 특징으로 하는 상기 휴대단말기의 데이터 처리장치.
6. 제5항에 있어서, 상기 비디오 코더 및 비디오 디코더는 각각 정지영상을 코딩 및 디코딩하기 위한 코더 및 디코더를 더 구비한 것을 특징으로 하는 상기 휴대단말기의 데이터 처리장치.
7. 제4항에 있어서, 상기 방송수신기가 DVB_H 방송신호를 복조하여 IP 데이터그램을 발생하고,

   상기 멀티데이타처리부가 상기 IP 데이터그램에서 IP 정보를 디캡슐레이팅하여 MPEG2 TS를 추출하고, 이를 상기 역다중화기에서 전달하는 IP 디캡슐레이터를 더 구비한 것을 특징으로 하는 상기 휴대단말기의 데이터 처리장치.
8. 제7항에 있어서, 상기 멀티데이타처리부가 상기 디지털방송모드시 상기 IP디캡슐레이터 및 역다중화기를 구동하고, 상기 비디오 코덱 및 오디오코덱의 대응되는 엔코더들을 선택 구동하며, 녹화모드시 상기 역다중화기의 출력을 상기 메모리에 인가하는 것을 특징으로 하는 상기 휴대단말기의 데이터 처리장치.
9. 제7항에 있어서, 상기 멀티데이타처리부가 상기 카메라 프리뷰 모드시 상기 카메라에서 출력되는 비디오 데이터를 상기 스케일러를 통해 상기 카메라 출력을 상기 표시부의 화면 크기로 스케일링하여 출력하는 것을 특징으로 하는 상기 휴대단말기의 데이터 처리장치.
10. 제9항에 있어서, 상기 멀티데이타처리부가 상기 카메라 녹화모드시 상기 비디오코덱 및 오디오코덱의 대응되는 엔코더들을 선택하며, 상기 카메라에서 출력신호를 각각 상기 비디오코덱 및 오디오코덱의 상기 선택된 엔코더들을 통해 코딩하여 상기 메모리에 저장하고, 상기 스케일러를 통해 상기 카메라 출력을 상기 표시부의 화면 크기로 스케일링하여 출력하는 것을 특징으로 하는 상기 휴대단말기의 데이터 처리장치.
11. 복수의 멀티미디어 장치들을 구비하는 휴대단말기의 데이터 처리장치에 있어서,

    디지털방송신호를 수신하여 복조하는 방송수신기의 제1장치와,

    상기 방송수신기와 메모리공유 방식으로 인터페이스하는 제1인터페이스와,

    카메라인 제2장치 및 카메라인터페이스와,

    상기 제1 및 제2인터페이스들을 통해 상기 방송수신기 및 카메라의 동작제어신호를 발생하는 제어부와,

    상기 제어부의 제어하에 동작모드가 결정되며, 상기 결정된 동작모드에 의해 선택된 장치의 인터페이스에서 수신되는 데이터를 처리하는 멀티데이타처리부와,

    적어도 하나의 코더 및 디코더를 구비하는 비디오코덱과,

    적어도 하나의 코더 및 디코더를 구비하는 오디오코덱과,

    상기 비디오 및 오디오코덱과 상기 멀티데이타처리부 간의 데이터를 메모리공유 방식으로 인터페이스하는 제2인터페이스와,

    상기 멀티데이타 처리부의 제어하에 상기 비디오 및 오디오코덱의 데이터를 저장 및 저장된 데이터를 상기 비디오 및 오디오코덱에 출력하는 메모리와,

    상기 멀티데이터 처리부에서 출력되는 데이터를 표시하는 표시부로 구성된 것을 특징으로 하는 상기 휴대단말기의 데이터 처리장치.
12. 제11항에 있어서, 상기 멀티데이타처리부가, 방송모드시 상기 방송수신기에서 출력되는 방송신호를 역다중화한 후 상기 제2인터페이스를 통해 상기 비디오 및 오디오코덱에 출력하며, 카메라모드시 상기 카메라에서 출력되는 비디오 데이터를 상기 비디오코덱에 출력하는 것을 특징으로 하는 상기 휴대단말기의 데이터 처리장치.
13. 제12항에 있어서, 상기 비디오코덱은 적어도 하나의 비디오 코더와, 적어도 하나의 비디오 디코더로 구성되고, 영상신호를 상기 표시부의 화면 크기로 스케일링하는 스케일러를 더 구비하며,

    록모드시 설정된 비디오코더가 수신되는 영상신호를 코딩하여 상기 메모리에 출력하고, 재생모드시 설정된 비디오 디코더가 수신되는 영상신호를 디코딩하고, 상기 스케일러가 상기 디코딩 영상신호를 스케일링하여 상기 표시부에 출력함을 특징으로 하는 상기 휴대단말기의 데이터 처리장치.
14. 제13항에 있어서, 상기 방송수신기가 DVB_H 방송신호를 복조하여 IP 데이터그램을 발생하고,

    상기 멀티데이타처리부가 상기 IP 데이터그램에서 IP 정보를 디캡슐레이팅하여 MPEG2 TS를 추출하고, 이를 상기 역다중화기에서 전달하는 IP 디캡슐레이터를 더 구비한 것을 특징으로 하는 상기 휴대단말기의 데이터 처리장치.
15. 디지털 방송수신기 및 카메라를 구비하며, 적어도 하나의 코더 및 디코더를 구비하는 오디오 및 비디오 코덱들을 구비하는 멀티데이타처리부를 구비하는 휴대단말기의 멀티 데이터 처리방법에 있어서,

    사용자에 의해 설정되는 데이터 처리모드를 검사하는 과정과,

    디지털방송모드 설정시 상기 방송수신기와 메모리공유 인터페이스 방식으로 수신하며, 상기 수신되는 방송데이타를 비디오 및 오디오 데이터로 역다중화하고, 상기 역다중화되는 비디오 및 오디오 데이터를 각각 대응되는 디코더를 통해 디코딩하여 표시하는 과정과,

    상기 카메라모드 설정시 카메라 인터페이스를 통해 수신하며, 상기 수신되는 카메라 데이터를 표시하고 녹화모드시 상기 카메라데이타를 대응되는 비디오 디코더를 통해 코딩하여 메모리에 저장하는 과정으로 이루어짐을 특징으로 하는 상기 휴대단말기의 데이터 처리방법.
16. 제15항에 있어서, 상기 디지털방송신호를 처리하는 과정이,

    사용자에 의해 설정된 채널 정보를 상기 디지털방송수신기에 세팅하는 과정과,

    상기 수신되는 디지털 방송신호를 비디오 및 오디오 데이터로 역다중화하는 과정과,

    상기 역다중화된 비디오 및 오디오 데이터를 디코딩하는 과정과,

    상기 디코딩된 비디오 및 오디오 데이터를 표시하는 과정으로 이루어짐을 특징으로 하는 상기 휴대단말기의 데이터 처리방법.
17. 제16항에 있어서, 상기 비디오 데이터를 디코딩하는 과정이 상기 디코딩된 비디오 데이터를 상기 표시되는 화면의 크기로 스케일링하는 과정을 더 구비함을 특징으로 하는 상기 휴대단말기의 데이터 처리방법.
18. 제17항에 있어서, 상기 방송녹화모드시 상기 역다중화되는 비디오 및 오디오 데이터를 메모리에 저장하는 과정을 더 구비함을 특징으로 하는 상기 휴대단말기의 데이터 처리방법.
19. 제17항에 있어서, 상기 수신된 방송신호와 다른 코딩 포맷으로 녹화하는 모드 설정시 상기 디코딩된 비디오 및 오디오 데이터를 상기 설정된 다른 코딩 포맷으로 코딩하며, 상기 코딩된 오디오 및 비디오 데이터를 메모리에 저장하는 과정을 더 구비함을 특징으로 하는 상기 휴대단말기의 데이터 처리방법.
20. 제17항에 있어서, 상기 카메라 촬영 데이터를 처리하는 과정이,

    카메라 촬영모드를 검사하는 과정과,

    프리뷰 촬영모드이면, 상기 수신되는 비디오 데이터를 표시화면 크기로 스케일링하여 표시하는 과정과,

    정지영상 기록모드시, 상기 프리뷰 촬영모드를 수행하며, 촬영시점에서 수신되는 비디오 데이터를 코딩하여 상기 메모리에 저장하는 과정과,

    동영상 기록모드시 상기 프리뷰 촬영모드를 수행하며, 동시에 상기 표시되는 영상 및 오디오를 각각 설정된 방식으로 코딩하여 상기 메모리에 저장하는 과정으로 이루어짐을 특징으로 하는 상기 휴대단말기의 데이터 처리방법.
21. 설정된 방송채널의 신호를 복조하여 IP 데이터그램을 발생하는 디지털 방송수신기 및 카메라를 구비하며, 적어도 하나의 코더 및 디코더를 구비하는 오디오 및 비디오 코덱들을 구비하는 멀티데이타처리부를 구비하는 휴대단말기의 멀티 데이터 처리방법에 있어서,

    사용자에 의해 설정되는 데이터 처리모드를 검사하는 과정과,

    디지털방송모드 설정시 상기 방송수신기와 메모리공유 인터페이스 방식으로 수신하며, 상기 수신되는 IP 데이터그램에서 IP정보를 처리한 후, 비디오 및 오디오 데이터로 역다중화하고, 상기 역다중화되는 비디오 및 오디오 데이터를 각각 대응되는 디코더를 통해 디코딩하여 표시하는 과정과,

    상기 카메라모드 설정시 카메라 인터페이스를 통해 수신하며, 상기 수신되는 카메라 데이터를 표시하고 녹화모드시 상기 카메라데이타를 대응되는 비디오 디코더를 통해 코딩하여 메모리에 저장하는 과정으로 이루어짐을 특징으로 하는 상기 휴대단말기의 데이터 처리방법.
22. 제21항에 있어서, 상기 디지털방송신호를 처리하는 과정이,

    상기 수신되는 IP 데이터그램의 IP 정보를 디캡슐레이팅하여 MPEG2 TS를 발생하는 과정과,

    MPEG2 TS 신호를 비디오 및 오디오 데이터로 역다중화하는 과정과,

    상기 역다중화된 비디오 및 오디오 데이터를 디코딩하는 과정과,

    상기 디코딩된 비디오 및 오디오 데이터를 표시하는 과정으로 이루어짐을 특징으로 하는 상기 휴대단말기의 데이터 처리방법.
23. 제22항에 있어서, 상기 비디오 데이터를 디코딩하는 과정이 상기 디코딩된 비디오 데이터를 상기 표시되는 화면의 크기로 스케일링하는 과정을 더 구비함을 특징으로 하는 상기 휴대단말기의 데이터 처리방법.
24. 제23항에 있어서, 상기 방송녹화모드시 상기 역다중화되는 비디오 및 오디오 데이터를 메모리에 저장하는 과정을 더 구비함을 특징으로 하는 상기 휴대단말기의 데이터 처리방법.
25. 제24항에 있어서, 상기 수신된 방송신호와 다른 코딩 포맷으로 녹화하는 모드 설정시 상기 디코딩된 비디오 및 오디오 데이터를 상기 설정된 다른 코딩 포맷으로 코딩하며, 상기 코딩된 오디오 및 비디오 데이터를 메모리에 저장하는 과정을 더 구비함을 특징으로 하는 상기 휴대단말기의 데이터 처리방법.
26. 제22항에 있어서, 상기 카메라 촬영 데이터를 처리하는 과정이,

    카메라 촬영모드를 검사하는 과정과,

    프리뷰 촬영모드이면, 상기 수신되는 비디오 데이터를 표시화면 크기로 스케일링하여 표시하는 과정과,

    정지영상 기록모드모드시, 상기 프리뷰 촬영모드를 수행하며, 촬영시점에서 수신되는 비디오 데이터를 코딩하여 상기 메모리에 저장하는 과정과,

    동영상 기록모드시 상기 프리뷰 촬영모드를 수행하며, 동시에 상기 표시되는 영상 및 오디오를 각각 설정된 방식으로 코딩하여 상기 메모리에 저장하는 과정으로 이루어짐을 특징으로 하는 상기 휴대단말기의 데이터 처리방법.
27. 제21항에 있어서, 비디오통신모드 설정시 상기 선택기를 제어하여 상기 카메라의 출력을 선택하고, 상기 수신되는 카메라 촬영 데이터 및 오디오 데이터를 코딩하여 전송하고, 수신되는 비디오 및 오디오 데이터 디코딩하여 표시하는 과정을 더 구비함을 특징으로 하는 상기 휴대단말기의 데이터 처리방법.

Images