KR100548353B1 - 휴대 단말기를 이용한 영상 통화 중 영상 처리 방법 - Google Patents

Abstract

본 발명은 휴대 단말기를 이용한 영상 통화 중 영상 처리 방법에 관한 것으로, 종래 영상 통화 서비스는 카메라를 통해 얻어진 고용량 데이터 이미지를 그대로 전송하기 때문에 트래픽의 정도에 따라 시간 내에 전송되지 못하는 프레임이 생길 수 있어 자연스러운 동영상을 제공하지 못하며, 트래픽이 폭주하는 경우 단일 프레임에 대한 데이터 역시 정상적으로 전달되지 못해 영상 데이터의 부분적인 소실이 발생하여 깨진 영상이 제공될 수 있는 문제점이 있으며, 이는 해당 서비스의 품질에 대한 심각한 신뢰성 상실의 원인이 되는 문제점이 있었다. 이와 같은 문제점을 감안한 본 발명은 영상 통화 중에 데이터 링크 계층의 트래픽 허용량을 분석하여 그 정도에 따라 전송할 영상의 해상도를 자동적으로 변화시키도록 하는 것으로 트래픽이 많아 허용량이 줄어드는 경우 그 정도에 따라 해상도를 줄이는 영상 처리를 실시한 후 줄어든 데이터량으로 영상을 전송함으로써 트래픽의 상태에 따라 자연스러운 최적의 동영상을 제공하여 해당 서비스의 가시적인 품질과 신뢰성을 높일 수 있는 효과가 있다.

Description

휴대 단말기를 이용한 영상 통화 중 영상 처리 방법{IMAGE PROCESSING METHOD FOR MOBILE TERMINAL DURING VIDEO TELEPHONY SERVICE}

도 1은 종래 영상 통화 중 송신되는 영상.

도 2는 본 발명 일 실시예의 송신 영상.

도 3은 본 발명 다른 실시예의 송신 영상.

도 4는 본 발명 일 실시예의 순서도.

본 발명은 휴대 단말기를 이용한 영상 통화 중 영상 처리 방법에 관한 것으로, 영상 통화 중 데이터 링크 레이어의 트래픽을 분석하여 전송될 영상의 해상도를 자동으로 변환하도록 하는 것으로 트래픽이 폭주하는 경우에도 보다 자연스러운 영상을 전송할 수 있도록 한 휴대 단말기를 이용한 영상 통화 중 영상 처리 방법에 관한 것이다.

휴대 단말기의 성능이 폭발적으로 개선되면서, 이제 더이상 휴대 단말기는 음성 통화만을 위한 기기가 아닌 다양한 멀티미디어 데이터를 처리할 수 있는 휴대용 복합 기기의 성격을 띄게 되었다.

휴대 단말기의 성능 개선 중에서 가장 눈에 띄이는 것으로는 데이터 통신의 고속화, 표시부의 개선, 그리고 다양한 멀티미디어 데이터 생성능력을 들 수 있다. 이를 위해 휴대 단말기는 고성능 제어부와 복잡한 연산을 처리하기위한 신호 처리부 및 방대한 메모리를 구비하고 있으며, 카메라 기능까지 적용되고 있다.

이러한 카메라가 부착된 통신 디바이스를 이용하는 가장 일반적인 방법 중 하나가 영상 통화(Video Telephony)이다.

3세대 휴대 단말기에 새롭게 제공되는 서비스 중 하나인 영상 통화 서비스는 회로 스위치 서비스의 일종으로, 정해진 비율로 전송자(bearer)를 설정한 후 영상 및 음성을 동시에 전송하는 서비스를 의미한다. 이를 통해 상대방이나 상대방이 비추는 영상을 보면서 통화를 실시할 수 있게 된다.

일반적으로, 휴대 단말기에 적용된 카메라를 이용하여 획득한 이미지는 기본적으로 '가로 픽셀 수 × 세로 픽셀 수 × 컬러 구성 수'의 구성으로 이루어지는 방대한 데이터량을 가지고 있다.

도 1은 일반적인 휴대 단말기의 카메라로 획득한 이미지의 한 예로서, 도시된 바와 같이 상당히 높은 품질의 화질을 보여주고 있다. 이는 다시 말해서 대단히 많은 데이터로 구성된 이미지라는 의미이다.

종래 영상 통화에서 제공되는 영상은 이러한 카메라를 통해 얻어진 이미지들의 연속을 의미하므로 그 데이터의 크기가 대단히 크게가 된다. 이러한 일련의 영상을 시간에 따른 구성으로 구분하는 단위가 fps(frame per second)인데, fps가 높을 수록 영상 통화의 동영상이 자연스러워진다. 그러나 실질적으로 통신망의 환경 에 따라 fps를 높이는데 한계가 있으며, fps가 높을 수록 더 많은 데이터가 전송되어야 하므로 데이터 소실의 위험성이 커지게 된다.

즉, 상기 종래의 영상 통화 서비스는 카메라를 통해 얻어진 영상을 그대로 전송하기 때문에 전송하는 휴대 단말기와 기지국 간의 트래픽이 폭주하는 경우 정상적인 설정 프레임이 모두 전송되지 못해 끊어지는 영상으로 전송되며 하나의 이미지 자체가 상당히 큰 데이터량을 가지기 때문에 전송되는 단일 프레임의 이미지가 깨지는 현상이 발생하게 된다. 이를 해결하기 위한 종래 방법으로는 프레임의 수를 줄이는 방법 정도 뿐이므로 불연속적인 동영상이 제공되어 서비스의 품질이 급격히 떨어지게 된다. 이는 고정된 통신 자원을 이용하여 점점 고품질 고용량 서비스를 사용하는 단말기 사용자가 증가함에 따라 더욱 심각해질 것으로 예측된다.

상기한 바와 같이 종래 영상 통화 서비스는 카메라를 통해 얻어진 고용량 데이터 이미지를 그대로 전송하기 때문에 트래픽의 정도에 따라 시간 내에 전송되지 못하는 프레임이 생길 수 있어 자연스러운 동영상을 제공하지 못하며, 트래픽이 폭주하는 경우 단일 프레임에 대한 데이터 역시 정상적으로 전달되지 못해 영상 데이터의 부분적인 소실이 발생하여 깨진 영상이 제공될 수 있는 문제점이 있으며, 이는 해당 서비스의 품질에 대한 심각한 신뢰성 상실의 원인이 되는 문제점이 있었다.

상기와 같은 문제점을 감안한 본 발명은 영상 통화 중 데이터 링크 계층의 트래픽을 분석하여 그 정도에 따라 전송할 영상의 해상도를 자동적으로 변화시키도 록 하는 것으로 트래픽이 많은 경우 그 정도에 따라 해상도를 줄이는 영상 처리를 실시하도록 하여 보다 자연스러운 동영상을 송신할 수 있도록 한 휴대 단말기를 이용한 영상 통화 중 영상 처리 방법을 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기위한 본 발명은, 휴대 단말기를 이용한 영상 통화 중에 데이터 링크 계층의 트래픽 허용량을 분석하는 단계와; 상기 트래픽 허용량의 정도에 따라 휴대 단말기의 카메라로부터 얻어지는 영상의 해상도를 기 설정된 수준으로 낮게 변환하는 단계와; 상기 변환된 낮은 해상도의 영상을 전송하는 단계를 포함하는 것을 특징으로 한다.

상기 트래픽 허용량을 분석하는 단계는 트래픽 허용량에 따라 소정의 단계로 임계치를 기 설정하는 단계와; 휴대 단말기 전송 데이터 처리버퍼 상태와 상기 기 설정된 각 단계의 임계치를 비교하여 현재 트래픽 허용량의 정도를 획득하는 단계를 포함하는 것을 특징으로 한다.

상기 영상을 낮은 해상도로 변환하는 단계는 트래픽 허용량의 정도에 따라 상이한 크기의 윈도우를 상기 영상에 적용하여 해당 윈도우를 하나의 픽셀로 간주하도록 하여 크기를 유지하면서 해상도를 낮추는 단계를 포함하는 것을 특징으로 한다.

상기와 같은 본 발명을 첨부한 실시예의 도면들을 참조하여 상세히 설명하면 다음과 같다.

도 1은 영상 통화 중 휴대 단말기의 카메라를 통해 얻은 영상 이미지의 예로서, 도시한 바와 같이 해상도가 높으며 그에 따라 데이터량 역시 대단히 크다. 물 론 정지 영상인 경우 해상도의 감소는 해당 영상의 품질을 극단적으로 낮추게 되지만, 동영상의 경우 해상도의 감소 보다는 영상의 끊어짐이 훨씬 더 민감한 문제가 된다. 특히 휴대 단말기와 같이 비교적 느린 표시부와 낮은 밝기를 가지는 표시장치라면 동영상에서의 해상도 감소는 영상의 연속성을 통해 어느정도 보상될 수 있다. 하지만, 해상도가 높지만 프레임의 소실로 인해 영상이 끊어지거나 영상의 일부가 깨지는 현상은 동영상에 있어서는 치명적인 품질 저하 요인이 된다.

시각적으로 인간의 눈은 움직이는 것에 민감하게 반응하도록 되어 있어 동영상에서는 부드러운 움직임이 화질에 우선하는 품질 판단 요인이 된다는 것은 당 업자는 물론이고 일반인에게까지 알려진 상식이다.

따라서, 본 발명에서는 트래픽 허용량의 정도에 상관 없이 자연스러운 동영상을 제공하기 위해 트래픽 허용량에 따라 다양한 단계의 임계치를 설정하고, 영상 통화 시 트래픽 허용량을 제 2계층의 전송 데이터 처리 버퍼 상태와 상기 설정된 단계들의 임계치를 비교하여 해상도를 가변하면서 영상을 전송하도록 하여 보다 자연스러운 동영상을 유지하도록 한다는 것이 주목하기 바란다.

이를 위한 해상도의 변환은 윈도우를 원본 영상에 적용하여 n×n 윈도우에 해당하는 픽셀들을 단일 픽셀로 다시 표현하도록 하여 해상도를 줄이는 것으로 실시된다.

도 2는 도 1의 원본 영상에 3×3 윈도우를 적용하여 해상도를 낮춘 것으로, 도시한 바와 같이 해상도의 감소로 인해 정지영상 자체의 품질은 낮아지지만 그 형태는 여전히 구별 가능함을 알 수 있을 것이다.

상기 3×3 윈도우를 적용하는 경우 120×160의 일반적인 원본 해상도를 40×54의 해상도로 낮출 수 있어 데이터량을 거의 1/9로 줄일 수 있게 된다. 즉, 원본을 그대로 전송하는 경우에 비해 9배 많은 프레임을 전송할 수 있게 되는 것이다. 간단히, 이는 원본 영상을 가로 1/3, 세로 1/3로 축소한 것이며, 이를 120×160의 화면에 맞게 확대표시한 것이다. 다른 방법으로 3×3 윈도우에 해당하는 9개 픽셀의 평균값을 해당 9개 픽셀 영역에 적용할 수도 있다.

도 3은 도 1의 영상에 5×5 윈도우를 적용하여 해상도를 낮춘 것으로, 도시한 바와 같이 해상도의 감소로 인해 정지영상 자체의 품질은 더욱 낮아지지만 아직도 그 형태는 구별 가능하다.

상기 5×5 윈도우를 적용하는 경우 120×160의 일반적인 원본 해상도를 24×32의 해상도로 낮출 수 있어 데이터량을 거의 1/25로 줄일 수 있게 된다. 즉, 원본을 그대로 전송하는 경우에 비해 25배나 많은 프레임을 전송할 수 있게 되는 것이다.

일반적으로 15fps 정도의 동영상 품질이면 실시간 영상으로 인식할 수 있을 정도가 된다. 그러나 실제 영상통화에서 15fps를 달성하지 못하는 경우가 빈번한 것에 비하면 본 발명에서는 작은 데이터량으로도 많은 프레임을 전송할 수 있기 때문에 트래픽이 폭주하는 경우라도 끊어짐이 덜한 동영상을 제공할 수 있게 된다.

도 4는 본 발명 일 실시예의 순서도로서, 도시한 바와 같이 영상 통화가 시작된 후 트래픽 허용량에 따라 영상의 해상도를 가변해 가면서 전송하는 과정을 나타내고 있다.

먼저, 본 발명을 적용하기 위해서 트래픽 허용량에 따른 임계치를 설정하게 된다. 본 실시예에서는 단일한 임계치를 설정한 경우를 예시한 것이지만 다수 단계로 확장하는 것은 당 업자에게 어렵지 않은 단순 작업이 될 것이다.

사용자가 영상 통화를 시작하는 경우 데이터 링크를 포함하는 단말기 시스템의 제 2계층 처리 버퍼가 상기 설정된 임계치에 도달했는지를 분석하여 설정된 임계치에 도달한 경우에는 상위 계층에 영상 처리 레벨을 조절하라는 요청 신호를 보내고, 상위 계층에서는 상기 요청 신호에 따라 휴대 단말기의 카메라를 통해 얻어진 영상에 소정의 크기를 가진 윈도우를 적용하여 해상도를 낮춘 후 훨씬 줄어든 데이터로 영상을 전송한다.

상기 해상도의 변환을 위해 다양한 기법들이 사용될 수 있으나 본 실시예에서는 간단히 n×n 윈도우를 이용하도록 한다. 이러한 윈도우에 의한 해상도 변경은 대단히 간단한 알고리즘이기 때문에 고속 연산이 가능하다. 현재 사용되는 제어기의 클럭 속도는 180Mhz에 이르고 있으며, 전년도 단말기의 속도가 32Mhz에 미치지 못한다는 점을 감안하면 매년 2배 이상의 처리 능력 향상이 있어왔으므로 상기 해상도 변경 및 트래픽 분석은 급속히 실시간에 가까워질 것이다.

만일 트래픽이 임계치에 도달하지 않은 경우라면 원본 영상을 그대로 전송하게 된다.

상기 과정은 영상 통화가 종료할때 까지 반복될 수 있다.

상기 언급한 본 발명의 실시예는 하나의 임계치를 설정한 경우지만 다수의 임계치를 설정한 경우라면 트래픽을 분석함에 있어서 현재 처리버퍼의 상태가 위치한 임계치들 사이의 범위에 따라 영상 처리 레벨이 자동으로 조절될 수 있다. 이는 윈도우의 크기를 조정하는 것으로 간단히 실시되며, 이를 통해 트래픽 허용량의 수준에 따라 지속적으로 해상도가 변경되면서 트래픽 허용량을 고려한 최적의 동영상을 제공하는 영상 통화 서비스를 제공할 수 있게 된다.

상기한 바와 같이 본 발명 휴대 단말기를 이용한 영상 통화 중 영상 처리 방법은 영상 통화 중에 데이터 링크 계층의 트래픽 허용량을 분석하여 그 정도에 따라 전송할 영상의 해상도를 자동적으로 변화시키도록 하는 것으로 트래픽이 많아 허용량이 줄어드는 경우 그 정도에 따라 해상도를 줄이는 영상 처리를 실시한 후 줄어든 데이터량으로 영상을 전송함으로써 트래픽의 상태에 따라 자연스러운 최적의 동영상을 제공하여 해당 서비스의 가시적인 품질과 신뢰성을 높일 수 있는 효과가 있다.

Claims (4)

1. 휴대 단말기를 이용한 영상 통화 중에 데이터 링크 계층의 트래픽 허용량을 분석하는 단계와;

   상기 트래픽 허용량의 정도에 따라 휴대 단말기의 카메라로부터 얻어지는 영상의 해상도를 기 설정된 수준으로 낮게 변환하는 단계와;

   상기 변환된 낮은 해상도의 영상을 전송하는 단계를 포함하는 것을 특징으로 하는 휴대 단말기를 이용한 영상 통화 중 영상 처리 방법.
2. 제 1항에 있어서, 상기 낮은 해상도의 영상을 전송한 후 상기 단계들을 영상 통화가 끝날때 까지 반복하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기를 이용한 영상 통화 중 영상 처리 방법.
3. 제 1항에 있어서, 상기 트래픽 허용량을 분석하는 단계는 트래픽 허용량에 따라 소정의 단계로 임계치를 기 설정하는 단계와; 휴대 단말기 전송 데이터 처리버퍼 상태와 상기 기 설정된 각 단계의 임계치를 비교하여 현재 트래픽 허용량을 획득하는 단계를 포함하는 것을 특징으로 하는 휴대 단말기를 이용한 영상 통화 중 영상 처리 방법.
4. 제 1항에 있어서, 상기 영상을 낮은 해상도로 변환하는 단계는 트래픽 허용량에 따라 상이한 크기의 윈도우를 상기 영상에 적용하여 해당 윈도우를 하나의 픽셀로 간주하도록 하여 크기를 유지하면서 해상도를 낮추는 단계를 포함하는 것을 특징으로 하는 휴대 단말기를 이용한 영상 통화 중 영상 처리 방법.

Images