KR20000050406A - 패킷기반 화상회의 단말기의 영상정보 패킷 손실 처리 장치 및 그의 제어 방법 - Google Patents

Abstract

본 발명은 화상회의 단말기의 영상정보를 담은 패킷 손실 처리 장치 및 그의 제어 방법에 관한 것으로, 종래의 기술에 있어서 모든 매크로 블록을 인트라 코딩하는 경우, 압축함에 있어서 영상정의 시간적인 잉여성을 이용하지 않아 압출효율이 떨어져 데이터의 량이 증가되는 문제점이 있다. 그리고, 선행하는 연상 정보를 담은 패킷이 손실되었을 때 후속되는 패킷에 담긴 비트 스트림을 그대로 복호화하여 디스플레이할 경우, 손상된 영상을 사용자에게 보여줌과 아울러 복화기가 오동작할 수 있는 문제점이 있다. 그리고, 수신단에서 영상 정보를 담은 패킷 손실이 검출되었을 때 송신단에게 손실된 패킷에 대한 정보를 보내고, 송신단에서 이를 바탕으로 매크로 블록을 선택적으로 인트라 코딩한 정보를 전송함에 따라 추가적인 정보 전달 통로가 필요하게 되는 문제점이 있었다. 따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 창안한 것으로, 패킷망 기반의 화상회의 시스템에 있어서 영상 정보를 담은 패킷이 손실되었을 경우 패킷 처리부를 통해 이를 처리함으로써, 점유 대역폭 및 구현의 복잡도를 줄이고, 손실된 영상정보의 전달을 차단하여 영상코덱의 오동작을 방지함에 따라 전체 시스템의 효율이 향상되는 효과가 있다.

Description

패킷기반 화상회의 단말기의 영상정보 패킷 손실 처리 장치 및 그의 제어 방법 {LOSS PROCESSING APPARATUS AND CONTROL METHOD THEREOF FOR PACKET WITH VIDEO INFORMATION OF PACKET BASED VIDEO CONFERENCE TERMINAL UNIT}

본 발명은 패킷기반 화상회의 단말기의 영상정보 패킷 손실 처리 장치 및 그의 제어 방법에 관한 것으로, 특히 패킷망(Packet Based Network)기반의 화상회의 시스템에 있어서 영상 정보를 담은 패킷이 손실되었을 경우 이를 처리하기 위한 패킷기반 화상회의 단말기의 영상정보 패킷 손실 처리 장치 및 그의 제어 방법에 관한 것이다.

화상회의 시스템에 있어서 국제 전기 통신 연합(International Telecommuncation Union)의 권고안(Recommendation)으로 H.323 권고안의 H.323 화상회의 단말기의 구성은 도 1에 도시된 바와 같이 외부로 영상신호를 입출력하는 영상 입출력장치(10)와; 외부의 음향을 입력받거나 출력하는 음향 입출력장치(20)와; 사용자의 데이터를 송수신하는 데이터 입출력 장치(30)와; 사용자가 시스템의 동작을 선택하는 시스템 제어 인터페이스(40)와; 외부패킷 네트워크로 데이터를 송수신하는 패킷망 인터페이스부(60)와; 상기 영상 입출력부(10)의 영상데이터를 입력받아 코딩하여 출력하거나 상기 외부의 데이터를 디코딩하여 상기 영상 입출력부(10)로 출력하는 영상 코덱(70)과; 상기 음향 입출력부(20)의 음향 데이터를 입력받아 코딩하여 출력하거나 상기 외부의 데이터를 디코딩하여 상기 음향 입출력부(20)로 출력하는 음향코덱(80)과; 상기 영상 코덱(70), 음향 코덱(80) 및 데이터를 패킷화하여 전송하거나 패킷화된 데이터를 입력받아 이를 디패킷화하여 출력하는 알티피부(Real-Time Transfer Protocol : 실시간 전송 프로토콜)(100)와; 상기 시스템 제어 인터페이스(40)를 통해 사용자의 제어 신호를 입력받아 호제어(Call control) 등을 행하는 시스템 제어부(90)로 구성되며, 이와 같이 구성된 종래 기술에 따른 동작과정을 상세히 설명한다.

우선, 패킷망 기반의 화상회의 시스템에서 영상 정보를 영상 입출력장치(10)를 통해 데이터 송수신부(50)내 영상 코덱(70)에서 이를 코딩하여 알피티부(100)로 출력되면, 상기 코딩된 영상 정보를 입력받은 상기 알피티부(100)는 이를 패킷의 형태로 패킷화(Packetization)하여 인터페이스부(50)를 통해 논리 채널을 통하여 최종적으로 다른 수신단의 화상회의 단말기로 전송됨과 동시에 상기 수신단의 화상회의 단말기에서 송신되는 영상정보를 상기 인터페이스부(50)를 통해 입력받아 이를 상기 알피티부(100)에서 디패킷화(Depacketization)하여 이를 영상 코덱(70)으로 전송하면 이를 상기 영상 코덱(70)에서 디코딩하여 영상 입출력장치(10)를 통해 사용자에게 디스플레이하게 된다.

여기서, 상기 영상 코덱(70)은 영상정보의 압축을 위하여 영상 정보의 공간적인 잉여성뿐만 아니라 동시에 시간적인 잉여성을 이용하므로, 영상 정보를 담은 패킷 손실이 발생했을 때 그에 대응되는 공간적 위치의 매크로 블록이 다시 인트라 코딩되기 이전까지 부분적으로 혹은 전체적으로 손상된 화면을 보여주게 된다.

여기서, 상기 알피티부(100)의 알피티 패킷은 그 헤더(Header)에 일련 번호 필드를 포함하고 있어 수신단의 화상회의 단말기에서 상기 알피티 패킷의 손실 여부를 판단하여 수신단에서 영상 정보를 담은 패킷의 손실이 검출되었을 때, 이에 대한 대처 방법은 다음과 같은 3가지 방법이 있다.

우선, 첫 번째 방법은 공간적으로 같은 위치이고, 시간적으로 이전인 매크로 블록의 영상 정보를 담은 패킷의 손실이 현재에 영향을 미치지 않도록 모든 매크로 블록을 인트라 코딩하되 너무 큰 대역폭을 점유하는 것을 막기 위하여 변화가 어떤 기준 이상인 경우에만 해당 매크로 블록을 부호화하여 전송하는 방법이고, 두 번째 방법은 영상 정보를 담은 패킷의 손실 비율을 관찰하여 이에 따라 매크로 블록을 강제적으로 인트라 코딩하는 비율을 조절하는 것으로 패킷 손실이 많으면 각 매크로 블록을 강제적으로 인트라 코딩하는 주기를 짧게 하고 패킷 손실이 적으면 매크로 블록을 강제적으로 인트라 코딩하는 주기를 길게 하는 방법이다.

마지막으로 세번째 방법은 수신단의 복화하기가 송신단의 부호화기에게 손실된 패킷의 리스트를 보내고, 송신단의 부호화기가 전체 프래임을 인트라 코딩할 것인가 부분적으로 일부 매크로 블록만을 인프라 코딩할 것인가를 결정하여 부호화하는 방법을 사용하게 된다.

상기와 같이 종래의 기술에 있어서 모든 매크로 블록을 인트라 코딩하는 경우, 압축함에 있어서 영상정의 시간적인 잉여성을 이용하지 않아 압출효율이 떨어져 데이터의 량이 증가되는 문제점이 있다.

그리고, 선행하는 연상 정보를 담은 패킷이 손실되었을 때 후속되는 패킷에 담긴 비트 스트림을 그대로 복호화하여 디스플레이할 경우, 손상된 영상을 사용자에게 보여줌과 아울러 복화기가 오동작할 수 있는 문제점이 있다.

그리고, 수신단에서 영상 정보를 담은 패킷 손실이 검출되었을 때 송신단에게 손실된 패킷에 대한 정보를 보내고, 송신단에서 이를 바탕으로 매크로 블록을 선택적으로 인트라 코딩한 영상정보를 담은 정보를 전송함에 따라 추가적인 정보 전달 통로가 필요하게 되는 문제점이 있었다.

따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 창안한 것으로, 패킷망 기반의 화상회의 시스템에서 영상 정보를 담은 패킷이 손실되었을 경우 이를 처리하기 위한 화상회의 단말기의 패킷 손실 처리 장치 및 그의 제어 방법을 제공함에 그 목적이 있다.

도 1은 종래 일반적인 패킷기반 화상회의 단말기의 구성을 보인 블록도.

도 2는 본 발명을 적용한 패킷기반 화상회의 단말기의 구성을 보인 블록도.

도 3은 본 발명의 동작흐름도.

***도면의 주요 부분에 대한 부호의 설명***

10 : 영상 입출력 장치50 : 패킷망 인터페이스부

70 : 영상 코덱100 : 알피티부

210 : 패킷 처리부

상기와 같은 목적을 달성하기 위한 본 발명의 구성은 영상 입출력부의 영상데이터를 입력받아 코딩하여 출력하거나 상기 외부의 데이터를 디코딩하여 상기 영상 입출력부로 출력하는 영상 코덱과; 상기 음향 입출력부의 음향 데이터를 입력받아 코딩하여 출력하거나 상기 외부의 데이터를 디코딩하여 상기 음향 입출력부로 출력하는 음향코덱과; 상기 영상 코덱, 음향 코덱의 데이터를 패킷화하여 전송하거나 패킷화된 데이터를 입력받아 이를 디패킷화하여 출력하는 알티피부와; 상기 시스템 제어 인터페이스를 통해 사용자의 제어 신호를 입력받아 호제어 등을 행하는 시스템 제어부로 구성한 화상회의 단말기에 있어서 상기 알피티부에서 수신한 패킷화된 영상 데이터의 이상유무를 판단하여 이를 영상코덱에 전달하는 패킷처리부를 더 포함하여 된 것을 특징으로 한다.

정상모드로 설정하고 패킷을 수신하여 이전 패킷이 손실되었는지를 판단하는 제1 단계와; 상기 제1 단계의 판단결과 이전패킷이 손실되지 않았다면, 대기모드인가 판단하여 대기모드가 아니면 수신된 패킷을 전달하나, 대기모드일 경우 인트라 프래임이고 시작패킷이면 정상모드로 전환하여 수신된 패킷을 전달하는 제2 단계와; 상기 제1 단계의 판단결과 이전패킷이 손실되었다면, 대기모드인지 판단하는 제3 단계와; 상기 제3 단계의 판단결과 대기모드가 아니면, 인트라 프래임인가 판단하는 제4 단계와; 상기 제4 단계의 판단결과 인트라 프래임가 아니면 패스트 업데이트 요구 신호를 전송하고 대기 모드로 전환하고 마지막패킷인지 판단하여 아니면 상기 제1 단계의 동작을 반복수행하는 제5 단계와; 상기 제4 단계의 판단결과 인트라 프래임이면, 시작패킷이면 전송하나 시작패킷이 아니면 상기 제5 단계의 동작을 수행하는 제6 단계와; 상기 제3 단계의 판단결과 대기모드이면, 인트라 프래임이고 시작패킷이면 정상모드로 전환하고 수신된 패킷을 전달하나, 인트라 프래임이나 시작패킷이 아니면 상기 제5 단계의 동작을 수행하는 제7 단계로 이루어진 것을 특징으로 한다.

이하, 본 발명에 따른 일실시예에 대한 동작과 작용효과를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

도 2는 본 발명을 적용한 화상회의 단말기의 구성을 보인 블록도로서, 이에 도시한 바와 같이 외부로 영상신호를 입출력하는 영상 입출력장치(10)와; 외부의 음향을 입력받거나 출력하는 음향 입출력장치(20)와; 사용자의 데이터를 송수신하는 데이터 입출력 장치(30)와; 사용자가 시스템의 동작을 선택하는 시스템 제어 인터페이스(40)와; 외부 패킷 네트워크로 데이터를 송수신하는 패킷망 인터페이스부(50)와; 상기 영상 입출력부(10)의 영상데이터를 입력받아 코딩하여 출력하거나 상기 외부의 데이터를 디코딩하여 상기 영상 입출력부(10)로 출력하는 영상 코덱(70)과; 상기 음향 입출력부(20)의 음향 데이터를 입력받아 코딩하여 출력하거나 상기 외부의 데이터를 디코딩하여 상기 음향 입출력부(20)로 출력하는 음향코덱(80)과; 상기 영상 코덱(70), 음향 코덱(80)의 데이터를 패킷화하여 전송하거나 패킷화된 데이터를 입력받아 이를 디패킷화하여 출력하는 알티피부(100)와; 상기 알피티부에서 수신한 패킷화된 영상 데이터의 이상유무를 판단하여 이를 영상코덱에 전달하는 패킷처리부(210)와; 상기 시스템 제어 인터페이스(40)를 통해 사용자의 제어 신호를 입력받아 호제어 등을 행하는 시스템 제어부(90)로 구성하며, 이와 같이 구성한 본 발명에 따른 동작과정을 첨부한 도 3을 참조하여 상세히 설명한다.

우선, 본 발명의 영상 정보 송수신동작은 종래 도 1과 동일하게 동작한다.

여기서, 수신단측 화상회의 단말기내 알피티부(200)에서 수신된 알피티 패킷 헤더의 일련 번호를 검사하여 영상 정보를 담은 패킷의 손실이 검출한다.

여기서, 패킷 처리부(210)는 정상모드로 상시 수신된 패킷의 이전 패킷이 손실되었는지 판단하고, 이에 손실되었으면, 상기 수신된 패킷이 인트라 프래임이고 시작패킷이면 상기 수신된 패킷을 영상 코덱(70)으로 전달하나 인트라 프래임이나 시작 패킷이 아니면 패스트 업데이트(Fast Update) 요구 신호를 요청하여 다음 한 프래임 전체를 송신측 화상회의 단말기에서 인트라 모드로 부호화하여 전송한다.

여기서, 상기 패스트 업데이트 요구 신호는 H.261 과 H.263 권고안에 정의되어 있는 신호로 영상 코덱(70)에서 다음 한 픽쳐(picture) 전체를 인트라 프래임 코딩하여 이를 알피티부(100)에서 패킷화하여 전송한다.

그리고, 상기 패킷 처리부(210)는 상기 송신단측 단말기에 패스트 업데이트를 요청한 후, 이에 대한 응답으로 인트라 프래임 코딩된 프레임의 시작을 담은 패킷이 전송되어올 때가지 패킷을 패킷화하지 않고 버림으로써 복호화기에 비트 스트림을 전달하지 않는다.

이렇게 함으로써, 선행하는 영상 정보를 담은 패킷이 손실되었을 때 후속되는 패킷에 담긴 비트 스트림을 그대로 복호화하여 디스플레이할 경우, 해당되는 매크로 블록이 다시 인트라 프래임 코딩된 패킷을 수신할 때까지 손상된 영상을 사용자에게 계속 보여주게 되는 문제를 막을 수 있다.

그리고, 상기 패킷 처리부(210)는 이미 패킷 손실이 검출되어 인트라 프래임 코딩된 프래임의 시작을 담은 패킷을 기다리는 상태로 천이되어 있고, 아직 인트라 프래임 코딩된 프래임의 시작을 담은 패킷이 전송되어 오지 않은 경우, 새로운 패킷 손실이 발생하여도 송신단의 화상회의 당말기에 패스트 업데이트 요구 신호를 다시 요청하지 않음으로써, 상기 패스트 업데이트 요청 횟수가 너무 많아지고, 계속 되는 패스트 업데이트 요청에 따라 정상모드시에도 계속 인트라 프래임 코딩된 패킷을 수신하는 것을 방지한다.

또한, 상기 패킷 처리부(210)는 인트라 프래임 코딩된 프래임을 전송하기 위하여 너무 많은 대역폭을 점유하고 기다리는 상태에서 일정한 타임아웃 간격(Time-Out interval)이 지나면 패스트 업데이트 요구 신호를 다시 요청한다.

그리고, 인트라 프래임 코딩된 프래임의 시작을 담은 패킷을 기다리는 상태에서 인트라 프래임 코딩된 시작 패킷이 전송되면, 상기 패킷 처리부(210)는 이를 영상 코덱(70)으로 전달하고, 패킷화를 재개하여 해당하는 비트 스트림을 상기 영상 코덱(70)에서 디코딩하여 사용자에게 영상 입출력장치(10)를 통해 디스플레이한다.

상기에서 상세히 설명한 바와 같이, 본 발명은 패킷망 기반의 화상회의 시스템에 있어서 영상 정보를 담은 패킷이 손실되었을 경우 패킷 처리부를 통해 이를 처리함으로써, 점유 대역폭 및 구현의 복잡도를 줄이고, 손산된 영상정보의 전달을 차단하여 영상코덱의 오동작을 방지함에 따라 전체 시스템의 효율이 향상되는 효과가 있다.

Claims (2)

1. 영상 입출력부의 영상데이터를 입력받아 코딩하여 출력하거나 상기 외부의 데이터를 디코딩하여 상기 영상 입출력부로 출력하는 영상 코덱과; 상기 음향 입출력부의 음향 데이터를 입력받아 코딩하여 출력하거나 상기 외부의 데이터를 디코딩하여 상기 음향 입출력부로 출력하는 음향코덱과; 상기 영상 코덱, 음향 코덱의 데이터를 패킷화하여 전송하거나 패킷화된 데이터를 입력받아 이를 디패킷화하여 출력하는 알티피부와; 상기 시스템 제어 인터페이스를 통해 사용자의 제어 신호를 입력받아 호제어 등을 행하는 시스템 제어부로 구성한 화상회의 단말기에 있어서 상기 알피티부에서 수신한 패킷화된 영상 데이터의 이상유무를 판단하여 이를 영상코덱에 전달하는 패킷처리부를 더 포함하여 된 것을 특징으로 하는 패킷기반 화상회의 단말기의 영상정보 패킷 손실 처리 장치.
2. 정상모드로 설정하고 패킷을 수신하여 이전 패킷이 손실되었는지를 판단하는 제1 단계와; 상기 제1 단계의 판단결과 이전패킷이 손실되지 않았다면, 대기모드인가 판단하여 대기모드가 아니면 수신된 패킷을 전달하나, 대기모드일 경우 인트라 프래임이고 시작패킷이면 정상모드로 전환하여 수신된 패킷을 전달하는 제2 단계와; 상기 제1 단계의 판단결과 이전패킷이 손실되었다면, 대기모드인지 판단하는 제3 단계와; 상기 제3 단계의 판단결과 대기모드가 아니면, 인트라 프래임인가 판단하는 제4 단계와; 상기 제4 단계의 판단결과 인트라 프래임가 아니면 패스트 업데이트 요구 신호를 전송하고 대기 모드로 전환하고 마지막패킷인지 판단하여 아니면 상기 제1 단계의 동작을 반복수행하는 제5 단계와; 상기 제4 단계의 판단결과 인트라 프래임이면, 시작패킷이면 전송하나 시작패킷이 아니면 상기 제5 단계의 동작을 수행하는 제6 단계와; 상기 제3 단계의 판단결과 대기모드이면, 인트라 프래임이고 시작패킷이면 정상모드로 전환하고 수신된 패킷을 전달하나, 인트라 프래임이나 시작패킷이 아니면 상기 제5 단계의 동작을 수행하는 제7 단계로 이루어진 것을 특징으로 하는 패킷기반 화상회의 단말기의 영상정보 패킷 손실 처리 방법.