KR100654636B1

KR100654636B1 - 이동통신 단말기에서 3차원 영상을 처리하기 위한 장치 및방법

Info

Publication number: KR100654636B1
Application number: KR1020040105640A
Authority: KR
Inventors: 윤주현
Original assignee: 삼성전자주식회사
Priority date: 2004-12-14
Filing date: 2004-12-14
Publication date: 2006-12-08
Also published as: KR20060066972A

Abstract

본 발명은 카메라 모듈이 구비된 이동통신 단말기에서 상기 이동통신 단말기의 위치 변동에 따라 3차원 영상을 처리하기 위한 장치 및 방법에 관한 것으로, 상기 이동통신 단말기와 사용자 사이의 거리에 따른 최대/최소 화각을 설정하는 과정과, 상기 설정된 최대/최소 화각을 이용하여 최대 화각에 해당하는 상기 이동통신 단말기와 사용자 사이의 거리를 산출하고, 또한 최소 화각에 해당하는 상기 이동통신 단말기와 사용자 사이의 거리를 산출하는 과정과, 상기 측정된 최소/최대 거리 사이를 소정간격으로 분할하고, 상기 분할된 각 거리값에 해당하는 화각과 가상 초점 보정값을 산출하는 과정과, 상기 이동통신 단말기의 위치 변동에 대응되는 상기 산출된 가상 초점 보정 값을 이용하여 3차원 영상을 처리하여 디스플레이 하는 것을 포함한다. 이와 같은 본 발명은 상기 3차원 영상 서비스를 제공하는 이동통신 단말기에서 상기 이동통신 단말기의 위치가 변동되어도 상기 3차원 영상이 사용자의 눈에 피로감을 덜 줄 수 있는 이점이 있다.

카메라, 3차원 영상, 초점 보정, 화각, 공간감

Description

이동통신 단말기에서 3차원 영상을 처리하기 위한 장치 및 방법 {APPARATUS AND METHOD FOR PROCESSING OF 3-DIMENSIONAL PICTORIAL IMAGE IN MOBILE COMMUNICATION TERMINAL}

도 1은 카메라와 사용자 사이의 거리에 따른 상기 카메라의 화각을 도시하는 도면,

도 2는 이동통신 단말기와 사용자 사이의 거리에 따라 촬영된 상기 사용자의 얼굴의 외곽선을 도시하는 도면,

도 3은 본 발명의 실시 예에 따른 이동통신 단말기의 블럭 구성을 도시하는 도면,

도 4는 본 발명의 실시 예에 따른 3차원 영상의 가상 초점 보정 테이블을 생성하는 절차를 도시하는 도면, 및

도 5는 본 발명의 실시 예에 따른 3차원 영상 디시플레이 시, 상기 3차원 영상의 가상 초점을 보정하는 절차를 도시하는 도면.

본 발명은 카메라 모듈을 구비한 이동통신 단말기에서 이미지를 디스플레이 하는 장치 및 방법에 관한 것으로, 특히 3차원 영상 디스플레이 시, 상기 이동통신 단말기의 위치에 따라 3차원 영상의 가상 초점을 보정하여 보정된 공간감으로 디스플레이 하기 위한 장치 및 방법에 관한 것이다.

이동통신 단말기는 휴대의 편리성 때문에 급격하게 사용이 늘고있는 추세이다. 상술한 바와 같이 상기 이동통 신단말기의 사용이 늘면서 서비스제공자(단말기제조자)들은 많은 사용자들을 확보하기 위해 더욱 다양하고 특별한 기능을 갖는 단말기를 개발하고 있다.

예를 들어, 상기 이동통신단말기는 폰북(Phone Book), 게임(Game), 단문메시지(Short Message), 인터넷(Internet), 이메일(E-Mail), 모닝콜(Morning Call), MP3(MPEG Audio Layer-3), 디지털카메라(Digital Camera) 등 다양한 부가기능을 제공하고 있다.

특히, 최근 멀티 미디어 수요가 증가함에 따라 상기 이동통신 단말기에서 다양한 멀티 미디어 콘텐츠(예: 게임, 위성 디지털멀티미디어방송(DMB: Digital Multimedia Broadcasting))를 보다 현실감 있게 즐길 수 있는 서비스, 즉 3차원 영상을 제공하고자 한다. 그러나 종래 이동통신 단말기에서 3차원 영상 서비스를 제공하기에는 다소 문제점이 있다. 왜냐하면, 일반적인 3차원 영상 표시 장치의 경우 대형장치로서 그 위치가 고정되어 있고 화면 사이즈도 크다.

상기와 같은 3차원 영상 표시 장치를 이동통신 단말기에 응용할 경우 위치가 항상 가변이 되고 상기 3차원 영상 표시 장치의 화면이 상대적으로 작아진다. 상기와 같은 경우 3차원 영상이 흔들림으로서 가상 초점을 잃게 되고 영상을 알아보기 힘들게 된다. 또한, 눈의 착시 효과를 이용하는 3차원 영상은 실제 공간이 아닌 작게는 수 ㎝에서 수십 ㎝ 앞에 있는 가상 공간에 초점을 맞추게 되는데, 상기와 같은 경우 가상 공간에 의해 눈의 피로와 두통이 유발된다. 가상 초점 거리가 짧아질 수록 상기와 같은 부작용은 심해진다.

따라서 본 발명의 목적은 3차원 영상 디스플레이 시, 상기 이동통신 단말기의 위치 변동에 따라 가상 초점을 보정하여 3차원 영상 처리하여 디스플레이 하는 장치 및 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 실시 예에 따르면, 상기 이동통신 단말기의 위치 변동에 따른 최대/최소 화각을 설정하는 과정과, 상기 설정된 최대/최소 화각을 이용하여 최대 화각에 해당하는 상기 이동통신 단말기와 사용자 사이의 거리를 산출하고, 또한 최소 화각에 해당하는 상기 이동통신 단말기와 사용자 사이의 거리를 산출하는 과정과, 상기 설정된 최대/최소 화각에 대응하는 거리를 소정간격으로 분할하고, 상기 분할된 거리값에 대응하는 화각과 가상 초점 보정 값을 산출하는 보정 테이블을 생성하는 과정을 포함하는 것을 특징으로 한다.

상기 다른 목적을 달성하기 위한 본 발명의 실시 예에 따르면, 상기 이동통신 단말기의 위치 변동에 따라 피사체의 화각 변동을 감지하고 측정하여 상기 측정 된 화각에 대응하는 가상 초점 보정값을 가상 초점 보정테이블에서 검색하는 과정과, 상기 변동된 화각에 대응하는 가상 초점 값에 의해서 공간감을 보정하는 3차원 영상 처리 과정과, 상기 보정된 공간감으로 3차원 영상을 디스플레이 하는 과정을 포함하는 것을 특징으로 한다.

이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단 된 경우 그 상세한 설명은 생략한다.

이하 본 발명은 카메라 모듈이 구비된 이동통신 단말기에서 3차원 영상을 디스플레이하기 위한 방안에 대해 설명하기로 한다.

카메라를 이용하여 디스플레이 장치와 사용자 안구와의 거리를 산출하는 방법에 있어서, 상기 카메라가 촬영하고자 하는 사용자의 얼굴을 바라볼 때의 화각과 상기 촬영된 사용자 안구에 해당하는 부분의 폭을 산출해야 한다.

화각은 상기 카메라와 상기 사용자 사이의 거리에 따라 가변 된다.

도 1은 카메라와 사용자 사이의 거리에 따른 화각을 도시하는 도면이다.

도 1을 참조하면, 이동통신 단말기와 사용자 사이가 가까울 경우, 도 1a와 같이 화각(101)이 측정된다. 상기 도 1a상태에서 좀 더 멀어지면 도 1b와 같이 상기 화각(101)보다 감소한 화각(102)이 측정된다. 상기 도 1b상태에서 좀 더 멀어지 면 도 1c와 같이 상기 화각(102)보다 감소한 화각(103)이 측정된다.

상기 카메라가 사용자 얼굴을 촬영할 경우, 상기 카메라가 사용자 안구에 해당하는 화각을 측정하면, 상기 디스플레이 장치와 사용자 안구와의 거리를 보다 정확한 값으로 산출할 수 있다. 그러나 상기 카메라는 정확한 안구 위치에 해당하는 화각을 측정하기에는 다소 어렵기 때문에 본 발명에 따라 사용자 얼굴의 외곽선을 검출하여 화각을 측정한다.

본 발명의 실시 예에 따라 상기 사용자 얼굴을 촬영하여 사용자 얼굴이 캡쳐되면, 영상처리에 의해서 상기 사용자 얼굴의 외곽선을 추출하고, 상기 외곽선의 가로길이(폭)를 산출한다. 예를 들면, 도 2는 이동통신 단말기와 사용자 사이의 거리에 따라 촬영된 상기 사용자의 얼굴의 외곽선을 보여주는 도면이다. 도 2a를 참조하면, 상기 이동통신 단말기와 사용자 사이의 거리가 가까울 경우 캡쳐된 상기 사용자의 얼굴을 영상 처리하여 추출된 외곽선을 보여준다. 상기 사용자의 얼굴의 외곽선을 이용하여 가로길이(폭)(201)를 산출하여 안구사이의 길이로 사용한다. 도 2b를 참조하면, 상기 이동통신 단말기와 사용자 사이의 거리가 멀 경우 촬영된 상기 사용자의 얼굴의 외곽선을 보여준다. 상기 사용자의 얼굴의 외곽선을 이용하여 가로길이(폭)(202)를 산출한다. 여기서, 상기 가로길이(폭)(202)는 상기 2a의 가로길이(폭)(201)보다는 상대적으로 작다.

상기와 같이 산출된 화각과 외곽선의 폭(가로길이)을 삼각함수식과 비례식을 이용하여 상기 이동통신 단말기와 사용자 사이의 거리를 산출할 수 있다.

도 3은 본 발명의 실시 예에 따른 이동통신단말기의 구성을 도시하고 있다.

상기 도 3을 참조하면, 제어부(MPU : Micro-Process Unit)(300)는 상기 이동통신단말기의 전반적인 동작을 제어한다. 예를 들어, 음성통신 및 데이터통신을 위한 처리 및 제어를 수행하고, 통상적인 기능에 더하여 본 발명에 따라, 카메라(312)가 사용자 촬영 시 산출되는 화각과 외각선 영상처리에 의해서 산출되는 가로길이를 이용하여 사용자와 이동통신 단말기 사이의 거리를 산출한다. 상기 산출된 거리에 따른 3차원 영상의 가상 초점 값을 산출한다. 따라서, 이하 설명에 있어서 통상적인 제어부(300)의 처리 및 제어에 관한 설명은 생략한다.

메모리(310)는 롬(ROM : Read Only Memory), 램(RAM : Random Access Memory), 플래쉬롬(flash ROM)으로 구성된다. 상기 롬은 상기 제어부(300)의 처리 및 제어를 위한 프로그램의 마이크로코드와 각종 참조 데이터를 저장한다. 특히 본 발명에 따라 3차원 영상 디스플레이 시 상기 화각을 이용하여 상기 이동통신 단말기와 사용자 얼굴 사이의 거리 및 상기 3차원 영상의 초점값을 계산하는 프로그램이 저장된다. 또한 최대 거리와 최소 거리 사이를 소정간격으로 분할하고, 상기 분할된 거리값에 대응하는 화각과 가상 초점 보정값들을 저장한다. 상기 램은 상기 제어부(300)의 워킹 메모리(working memory)로, 각종 프로그램 수행 중에 발생하는 일시적인 데이터를 저장한다. 또한, 상기 플래쉬롬은 전화번호부(phone book), 발신메시지 및 수신메시지와 같은 갱신 가능한 각종 보관용 데이터를 저장한다.

카메라(312)는 피사체의 광 신호를 입력받아 렌즈와 상기 렌즈를 통해 입력되는 광 신호를 전기적신호로 변환하여 출력하는 촬상소자(CCD : Coupled Device, 또는 CMOS : Complementary Metal Oxide Semiconductor)를 포함하여 구성된다. 또 한 본 발명에 따라 촬영하고 싶은 대상의 화각을 측정할 수 있다.

플래시 LED(Flash Light-Emitting Diode) 구동부(314)는 상기 카메라(312)를 통해 피사체의 광 신호를 입력받을 때, 상기 플래시 LED(314)를 발광시켜 어두운 곳에서도 촬영이 가능하도록 하는 기능을 수행하고, 본 발명에 있어 따라, 플래시 LED발광 전에 플래시 LED를 소정 횟수 점멸시키는 기능을 수행한다.

신호처리부(316)는 상기 카메라(312)로부터 출력되는 전기적신호를 디지털신호로 변환하고, 상기 디지털데이터, 및 상기 제어부(300)로부터 제공되는 표시데이터를 감마보정, 색보정, 화각 등의 신호처리를 행하여 YUV 데이터로 변환하여 영상처리부(318)로 출력한다. 아울러, 상기 신호처리부(316)는 프리뷰(preview)를 위해 상기 디지털데이터를 RGB(Red-Green-Blue)데이터로 변환하여 상기 영상처리부(318)로 출력한다. 여기서, 상기 신호처리부(316)는 디지털신호처리기(DSP : Digital Signal processor)를 이용해 구현할 수 있다. 또한, 본 발명에 따라, 상기 이동통신 단말기와 사용자와의 거리를 산출하기 위한 화각을 제어부(300)에 전송한다.

상기 영상처리부(318)는 상기 신호처리부(316)와 표시부(320)사이에 화상신호(RGB데이터)를 인터페이싱하는 기능을 수행한다. 상기 신호처리부(316)로부터의 YUV데이터를 JPEG(Joint Picture Expert Group) 처리하여 상기 제어부(300)로 전달하고, 상기 제어부(300)로부터의 JPEG코덱 또는 MPEG코덱을 이용해 구현할 수 있다. 상기 표시부(320)는 상기 이동통신단말기의 동작 중에 발생되는 상태 정보, 제한된 숫자의 문자들, 동화상 및 정화성 등을 디스플레이 한다. 아울러 본 발명에 따라 촬영된 사용자의 얼굴의 외곽선을 추출한다. 또한, 보정된 가상 초점값을 이 용하여 공간감이 보정되도록 3차원 영상을 처리한다. 상기 표시부(320)는 칼라 액정 디스플레이 장치(LCD : Liquid Crystal Display)를 사용할 수 있다. 또한 상기 영상처리부(318)로부터 인가되는 화상신호를 디스플레이 한다. 특히 본 발명에 따라 3차원 영상을 디스플레이 할 수 있다.

RF부(302)는 상기 이동통신단말기의 통신을 수행한다. 상기 RF부(302)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등을 포함한다. 데이터처리부(304)는 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화하는 수신기 등을 구비한다. 즉, 상기 데이터처리부(304)는 모뎀(MODEM) 및 코덱(CODEC)으로 구성될 수 있다.

오디오처리부(306)는 상기 데이터처리부(304)에서 출력되는 수신 오디오신호를 재생하거나 또는 마이크로부로부터 발생되는 송신 오디오신호를 상기 데이터처리부(304)에 전송하는 기능을 수행한다.

키패드(Key pad)(308)는 0 ~ 9의 숫자키 버튼들과, 메뉴버튼(menu), 취소버튼(지움), 확인버튼, 통화버튼(TALK), 종료버튼(END), 인터넷 접속버튼, 네비게이션 키(또는 방향키) 버튼들(▲/▼/◀/▶)등 다수의 기능키들을 구비하여, 사용자가 누르는 키에 대응하는 키입력 데이터를 상기 제어부(300)에 제공한다.

도 4는 본 발명의 실시 예에 따른 3차원 영상의 가상 초점 보정 테이블을 생성하는 절차를 도시하는 도면이다.

도 4를 참조하면, 우선 가상 초점 보정 테이블 생성 시, 상기 제어부(300)는 401단계에서 상기 카메라(312)를 구동시킨다. 상기 카메라(312)가 구동되면 상기 제어부(300)는 403단계로 진행하여 촬영된 사용자의 얼굴을 디스플레이 한다. 상기 제어부(300)는 405단계로 진행하여 사용자의 키조작에 의한 최소 화각 설정키가 입력되는지를 검사한다. 만일 상기 최소 화각 설정키가 입력되지 않으면 상기 제어부(300)는 403단계로 진행하여 상기 사용자 얼굴을 재촬영한 후 이후 과정을 다시 진행한다.

만일 상기 405단계에서 상기 최소 화각 설정키가 입력되면 상기 제어부(300)는 407단계로 진행하여 상기 사용자 얼굴을 캡쳐한다. 상기 제어부(300)는 409단계로 진행하여 카메라(312)로부터 화각을 입력받고, 상기 사용자 얼굴의 안구 부분에 해당하는 가로 길이를 산출한다. 산출 후, 상기 제어부(300)는 411단계로 진행하여 상기 입력받은 화각과 가로길이를 이용하여 이동통신 단말기와 사용자 사이의 거리를 산출한다.

이후 상기 제어부(300)는 413단계로 진행하여 사용자의 키조작에 의한 최대 화각 설정키가 입력되는지를 검사한다. 만일 상기 최대 화각 설정키가 입력되지 않으면, 상기 제어부(300)는 상기 최대 화각 설정키가 입력될 때까지 재촬영되는 사용자의 얼굴을 디스플레이 하면서 대기한다.

만일 413단계에서 상기 제어부(300)가 최대 화각 설정키 입력을 감지하면, 상기 제어부(300)는 415단계에서 최대 화각일 때의 사용자의 얼굴을 캡쳐한다. 캡쳐 후, 상기 제어부(300)는 417단계로 진행하여 상기 카메라(312)로부터 화각을 입력받고, 사용자 얼굴의 안구 부분의 가로길이를 산출한다.

이후 상기 제어부(300)는 419단계로 진행하여 상기 입력받은 화각과 가로길이를 이용하여 이동통신 단말기와 사용자 사이의 거리를 산출한다. 상기 제어부(300)는 421단계로 진행하여 상기 최소화각에 대응하는 이동통신 단말기와 사용자 사이의 거리(최대거리)와 최대 화각에 대응하는 이동통신 단말기와 사용자사이의 거리(최소거리) 사이를 소정간격으로 분할하고, 상기 분할된 각 거리값에 해당하는 화각과 3차원 영상 표시를 위한 가상 초점 보정값을 산출하여 보정 테이블을 생성한 후 본 알고리즘을 종료한다.

도 5는 본 발명의 실시 예에 따른 이동통신 단말기의 위치 변동에 따라 3차원 영상을 가상 초점을 보정하여 디스플레이 하는 절차를 도시하는 도면이다.

도 5를 참조하면, 먼저 상기 제어부(300)는 501단계에서 상기 3차원 영상을 디스플레이 한다. 상기 제어부(300)는 503단계로 진행하여 카메라를 구동하여 상기 이동통신 단말기의 위치 변동에 따른 카메라의 화각 변동을 검사한다. 만일 상기 503단계에서 상기 단말기의 위치 변동이 없어 상기 카메라의 화각 변동이 없으면 상기 501단계로 진행하여 상기 3차원 영상 디스플레이 상태를 유지한다.

만일 상기 503단계에서 상기 이동통신 단말기의 위치 변동에 따라 상기 카메라의 화각이 변동되면 상기 제어부(300)는 505단계로 진행하여 변동된 화각에 따른 가상 초점 보정값을 가상 초점 보정테이블에서 검색한다.

이후 상기 제어부(300)는 507단계로 진행하여 상기 검색된 가상 초점 보정값에 의해서 상기 3차원 영상의 공간감 혹은 깊이감이 보정되도록 3차원 영상을 처리한다. 상기 3차원 영상 처리 후, 상기 제어부(300)는 509단계로 진행하여 공간감이 보정된 3차원 영상을 디스플레이 한다. 디스플레이 후, 상기 제어부(300)는 511단계로 진행하여 상기 카메라의 화각 변동을 검사하고 변동이 없으면 상기 509단계로 되돌아가 상기 보정된 3차원 영상 디스플레이를 유지한다. 만일 상기 카메라의 화각 변동을 감지하면 505단계로 되돌아가 이후 과정을 재진행 한다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라, 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

상술한 바와 같이, 본 발명은 카메라 모듈을 구비하는 이동통신 단말기에서 상기 이동통신 단말기의 위치 변동에 따라 3차원 영상의 공간감 혹은 깊이감을 보정하여 디스플레이 하기 때문에, 3차원 영상을 사용자 눈에 부담 없이 현실감 있도록 디스플레이 하는 이점이 있다.

Claims

이동통신 단말기와 사용자 사이의 거리에 따른 화각과 초점 보정값을 저장하는 보정테이블을 포함하는 상기 이동통신 단말기에서 3차원 영상을 디스플레이 하기 위한 방법에 있어서,

3차원 영상 디스플레이 시, 카메라에서 측정되는 화각의 변동을 검사하는 과정과,

상기 화각 변동 감지 시, 상기 변동된 화각을 가지고 상기 보정테이블을 억세스해서 초점 보정값을 독출하는 과정과,

상기 독출된 초점 보정값을 이용해서 3차원 영상의 공간감을 보정하는 과정과,

상기 보정된 3차원 영상을 디스플레이 하는 과정을 포함하는 것을 특징으로 하는 이동통신 단말기에서 3차원 영상을 디스플레이 하기 위한 방법.
제 1항에 있어서,

상기 3차원 영상 디스플레이 시, 카메라에서 측정되는 화각의 변동을 검사하는 과정 전에,

카메라를 구동하여 사용자 얼굴을 촬영 및 디스플레이 하는 과정과,

최소화각 설정키 입력 시, 이때의 화각을 이용해 이동통신 단말기와 사용자 사이의 거리를 산출하고, 상기 산출된 거리를 최대거리로 설정하는 과정과,

상기 최대거리 산출 후, 최대화각 설정키 입력 시, 이때의 화각을 이용해 이동통신 단말기와 사용자 사이의 거리를 산출하고, 상기 산출된 거리를 최소거리로 설정하는 과정과,

상기 최소거리와 최대거리 사이를 소정간격으로 분할하고 상기 분할된 각 거리값에 대응하는 보정값을 산출하여 상기 보정테이블을 생성하는 과정을 더 포함하는 것을 특징으로 하는 이동통신 단말기에서 3차원 영상을 디스플레이 하기 위한 방법.
제 2항에 있어서,

상기 최대거리 및 최소거리 산출 과정은,

사용자 키 입력에 응답하여 디스플레이 된 사용자 얼굴을 캡쳐하는 과정과,

상기 캡쳐된 사용자 얼굴의 외곽선을 추출하여 안구사이 거리를 산출하는 과정과,

상기 안구사이 거리와 화각을 이용하여 이동통신 단말기와 사용자 사이의 거리를 산출하는 과정을 더 포함하는 것을 특징으로 하는 이동통신 단말기에서 3차원 영상을 디스플레이 하기 위한 방법.
제 2항에 있어서,

상기 안구 사이 거리는 사용자 얼굴 외곽선의 폭인 것을 특징으로 하는 이동통신 단말기에서 3차원 영상을 디스플레이 하기 위한 방법.
이동통신 단말기에서 3차원 영상 디스플레이 하기 위한 장치에 있어서,

이동통신 단말기와 사용자 사이의 거리에 따른 화각과 초점 보정값을 저장하는 보정 테이블과,

상기 이동통신 단말기와 사용자 사이의 거리에 따른 화각 변동을 감지하는 카메라와,

상기 변동된 화각에 대응하는 초점 보정값을 상기 보정테이블에서 검색하는 제어부와,

상기 검색된 초점 보정값에 의해서 디스플레이 되어 있는 3차원 영상의 공간감을 보정하는 영상처리부와,

상기 보정된 3차원 영상을 디스플레이 하는 표시부를 포함하는 것을 특징으로 하는 이동통신 단말기에서 3차원 영상 디스플레이 하기 위한 장치.