KR20060031769A

KR20060031769A - 촬영문자를 음성 변환하는 기능을 갖는 이동통신 단말기및 그 방법

Info

Publication number: KR20060031769A
Application number: KR1020040080752A
Authority: KR
Inventors: 임영규
Original assignee: 엘지전자 주식회사
Priority date: 2004-10-09
Filing date: 2004-10-09
Publication date: 2006-04-13
Also published as: CN1758671A

Abstract

본 발명은 영상촬영 기능을 갖는 이동통신 단말기의 음성변환 시스템 및 방법에 관한 것으로서, 근래 대다수의 이동통신 단말기에 기본으로 장착되어져 있는 영상촬영용 카메라를 이용하여 길거리의 표지판이나 간판 등에 나타나 있는 문자들을 촬영하면 사용자가 해당 표지판의 내용을 음성으로 전달받을 수 있게 됨으로서 지리에 익숙하지 않은 관광객이나 영어 및 한자에 익숙치 않은 어린이나 노인, 맹인들이 쉽게 주변 상황을 인지할 수 있도록 하기위한 것이다.

이를 실현하기 위한 본 발명 시스템은, 카메라(20)를 통해 촬영된 영상를 인식하기 위한 영상 인식부(40)와; 상기 영상 인식부(40)를 통해 인식된 영상에 포함되어져 있는 문자를 이미지 형태로 추출하여 이를 문자신호로 변환시키는 문자 변환부(50)와; 상기 문자 변환부(50)에 의해 변환된 문자신호를 음성신호로 변환시키는 음성 변환부(61)와; 상기 음성 변환부(61)에 의해 변환된 음성을 외부로 출력시키기 위한 음성 출력부(62)로 구성되어진 것을 특징으로 한다.

카메라, 번역, 음성, 문자, 변환, 파노라마, 영상

Description

촬영문자를 음성 변환하는 기능을 갖는 이동통신 단말기 및 그 방법{MOBILE COMMUNICATIO DEVICE HAVING FUNCTION OF VOICE TRANSFORMATION OF PHOTOGRAPHED CHARACTER}

도 1은 본 발명 음성변환 시스템의 구성을 나타낸 블럭도.

도 2는 본 발명의 실시예에 따른 음성변환 과정 순서도.

도 3은 본 발명의 실시예에 따른 언어 선택모드의 활성창을 나타낸 도면.

도 4는 본 발명의 실시예에 따른 사전저장부의 데이타 저장형태 모식도.

<도면의 주요 부분에 대한 부호의 설명>

10 : 제어부 20 : 카메라

30 : 메모리부 40 : 영상인식부

50 : 문자변환부 60 : 음성처리부

61 : 음성변환부 62 : 음성출력부

70 : 문자번역부 80 : 사전저장부

본 발명은 영상촬영 기능을 갖는 이동통신 단말기 시스템에 관한 것으로서, 더욱 상세하게는 길거리의 표지판이나 간판 등에 나타나는 문자를 자동으로 번역하여 스피커를 통해 음성으로 전달되어질 수 있도록 함으로서 단말기의 기능성을 크게 향상시키기 위한 것이다.

최근 이동통신 단말기(셀룰러폰, PCS폰, PDA폰 등)의 사용인구가 급증함에 따라 보다 다양한 기능 및 디자인을 갖는 단말기가 출시되고 있으며, 근래에 들어서는 간편하게 화상을 입력시키거나 전송할 수 있는 고화소의 카메라가 내장된 카메라폰이 그 주류를 이루고 있다.

이러한 카메라폰은 단말기의 외부에 장착된 카메라 모듈로 부터 영상(정지영상 또는 동영상)을 입력받아 이를 제어신호에 의해 내부 메모리에 저장하거나 또는 외부로 출력 및 전송될 수 있게 되는 것으로, 종래 이동통신 단말기에 적용된 영상촬영 기능은 주로 명함이나 잡지 등의 문서 인식 및 이를 DB에 저장하여 검색 및 관리하는데 이용되고 있다.

그러나, 노약자나 어린이 등과 같이 영어나 한자를 잘 모르는 사람한테는 문자인식 자체가 무용지물이며, 특히 노인들과 같이 시력이 나쁜 경우에는 작은 LCD창을 통해 내용을 확인하기가 어려운 문제점이 있었다.

또한, 대다수의 단말기들이 정지영상만을 다루고 있는데, 많은 내용을 담고 있는 표지판이나 간판 등이 한장의 사진에 내용이 전부 담겨지지 않는 경우가 있으므로 여러장을 찍어서 파노라마 영상을 구성하여 문자인식을 필요로 하는 경우가 발생하게 된다.

본 발명은 상기한 종래 카메라폰의 기능을 보다 진보시키기 위해 제안된 것으로서, 단말기내의 영상기능에 의해 촬영된 길거리의 표지판이나 간판에 나타나는 문자들을 추출하여 해당 내용이 음성으로 이용자에게 전달되어질 수 있도록 하는데 목적이 있다.

또한, 본 발명의 또다른 목적은 촬영된 영상 문자들이 한자 또는 외국어인 경우 번역된 상태에서 음성으로 출력될 수 있도록 하여 단말기의 기능성을 극대화시키도록 하는데 있다.

상기 목적은, 외부영상을 촬영하기 위한 카메라와, 입력 또는 전송된 데이타의 저장이 이루어지는 메모리부와, 상기 각 기능의 제어가 이루어지는 제어부로 이루어지는 통상의 이동통신 단말기에 있어서, 상기 카메라를 통해 촬영된 영상를 인식하기 위한 영상 인식부와; 상기 영상 인식부를 통해 인식된 영상에 포함되어져 있는 문자를 추출하여 이를 문자신호로 변환시키는 문자 변환부와; 상기 문자 변환부에 의해 변환된 문자신호를 음성신호로 변환시키는 음성 변환부와; 상기 음성 변환부에 의해 변환된 음성을 외부로 출력시키기 위한 음성 출력부; 로 이루어짐을 특징으로 하는 영상촬영 기능을 갖는 이동통신 단말기의 음성변환 시스템을 통해 이룰 수 있게된다.

또한, 입력영상의 음성변환모드를 선택한 상태에서 카메라를 통해 입력되는 영상이 입력되는 영상입력단계와, 상기 입력된 영상이 연속촬영된 영상인지를 확인하는 연속촬영 확인단계와, 상기 입력된 영상에서 문자영역을 이미지 형태로 추출 하는 문자추출단계와, 상기 추출된 문자를 신호화 하여 문자신호로 변환시키는 문자신호 변환단계와, 상기 변환된 문자신호에 대한 특정 언어로의 번역 여부를 판단하는 번역 판단단계와, 상기 문자신호를 음성신호로 변환시키는 음성신호 변환단계와, 상기 변환된 음성신호를 사용자에게 전달하기 위해 음성출력부를 통해 외부로 출력하는 음성출력단계로 이루어짐을 특징으로 하는 영상촬영 기능을 갖는 이동통신 단말기의 음성변환 방법을 통해 이룰 수 있게된다.

이하, 본 발명의 구체적인 실시예를 첨부도면을 참조하여 상세히 살펴보기로 한다.

도 1은 본 발명의 실행을 위한 시스템 구성을 나타낸 블럭도이고, 도 2는 본 발명 음성변환 과정을 나타낸 순서도이며, 도 3은 번역될 언어를 선택하기 위한 활성창의 예시이고, 도 4는 본 발명 시스템의 사전 저장부에 저장되어지는 문자예를 모식도로 나타낸 것이다.

먼저, 본 발명 이동통신 단말기의 주요 시스템 구성을 도 1을 참조하여 살펴보면, 단말기 시스템의 전체적인 기능 제어가 이루어지는 제어부(10)와, 외부의 정지영상 또는 동영상을 촬영하기 위한 카메라(20)와, 상기 카메라(20)를 통해 입력 또는 전송된 데이타의 저장이 이루어지는 메모리부(30)의 통상의 구성을 이룸과 함께, 상기 카메라(20)를 통해 촬영된 영상를 인식하기 위한 영상 인식부(40)와, 상기 영상 인식부(40)를 통해 인식된 영상에 포함되어져 있는 문자를 추출하여 이를 문자신호로 변환시키는 문자 변환부(50)와, 상기 문자 변환부(50)에 의해 변환된 문자신호를 음성신호로 변환시키는 음성 변환부(61;Text-to-speech)와, 상기 음성 변환부(61)에 의해 변환된 음성을 외부로 출력시키기 위한 스피커로 이루어지는 음성 출력부(62)의 특징적인 구성을 이루게 된다.

상기 카메라(20)는 영상의 선명도를 확보하기 위해 고선명 디지털 카메라가 장착되고, 어두운 곳에서도 밝은 영상을 얻기 위한 플래시 장치와, 멀리 있는 표지판을 가까이에서 찍기 위한 줌(Zoom) 장치가 내장됨이 바람직하다.

또한, 상기 영상 인식부(40)는 입력되어진 영상이 연속 촬영으로 찍힌 경우 파노라마 영상을 구현할 수 있게된다.

그리고, 번역기능을 수행하기 위한 구성으로 상기 문자 변환부(50)에 의해 변환된 문자신호를 선택된 언어로 번역토록 하기위한 문자 번역부(70)와, 상기 문자 번역을 위해 사전 데이타(한자, 영어, 일어 등)가 저장되어지는 사전 저장부(80)를 구성한다.

한편, 상기 구성외에도 버튼을 통한 사용자의 외부입력이 이루어지는 키입력부와, LCD창을 통해 표시되어지는 디스플레이부 등이 있으나, 이러한 구성은 통상의 공지된 기술로서 본 발명의 구동을 위한 기술요지와는 거리가 있으므로 그에대한 구성설명을 생략키로 한다.

이와같은 시스템 구성을 이루고 있는 본 발명 이동통신 단말기의 동작과정 및 이에따른 작용효과를 살펴보기로 한다.

본 발명은 단말기에 장착된 카메라(20) 및 스피커(62)를 이용하여 관광객이나 노약자, 어린아이들이 낯선 지역에서 길을 잃어버린 경우 표지판이나 간판들에 적혀있는 글자들을 사진으로 찍을 경우 단말기의 키입력부(미도시)에 장착된 실행 버튼을 누름으로서 동작이 시작되는 것으로서 이는 도 2의 순서도를 통해 나타내었다.

즉, 카메라(20)를 통해 찍혀진 간판이나 표지판 등의 정지영상이 입력되어지게 되면, 입력된 영상이미지는 제어부(10)의 제어에 의해 일시적으로 메모리부(30)에 저장되어지게 된다.(ST 1)

이때, 한장의 사진에 모든 표지판 글자가 들어오지 못하는 경우에는 사용자가 연속 촬영을 실시하여 여러장의 영상을 입력시키게 되는데, 제어부(10)에서는 입력된 영상이 연속촬영된 사진인지를 판단하여(ST 2), 연속촬영인 경우에는 입력된 여러장의 입력영상을 합쳐서 한장의 파노라마 영상이미지 상태로 구현하게 된다.(ST 2-1)

그리고, 연속촬영이 아닌 경우에는 영상인식부(40)에서 상기 입력된 정지영상으로 부터 곧바로 문자영역을 추출하게 된다.(ST 3) 즉, 이때에는 문자영역만이 지니는 특성을 이용하여 배경과 문자영역을 분리함으로서 배경영상에서 문자영역만이 이미지형태로 남게 된다.

그리고, 문자변환부(50)에서는 상기 추출된 문자영역을 문자신호로 변환시키는 과정을 수행하게 된다.(ST 4)

한편, 상기 변환처리가 이루어진 게시판 상의 문자가 한글이 아닌 한문이나 영어인 경우에는 음성신호로의 처리전에 먼저 문자번역기능을 선택하는 과정을 거치게 된다.(ST 5)

이때, 본 발명의 단계에서는 보다 정확한 판단을 위하여 두가지 모드를 설정 할 수가 있는데, 그중 하나는 입력된 영상의 문자가 한글/영어/한자 중 어디에 속하는지를 먼저 인지하여 번역기능을 사전에 선택할 수 있도록 하는 방식과, 프로그램이 자동으로 선택하여 처리하는 방법을 사용할 수 있게된다.

특히, 자동 선택모드에서는 입력된 영상으로 부터 자동으로 언어를 판단해야 하기 때문에 각기 언어가 지니는 특성을 구분하여 알고리즘에 반영함이 바람직하다. 즉, 한글은 대소문자의 구분이 없으며 나열하였을때 크기가 비슷하고, 영어는 대소문자의 구분이 있으며 나열하였을때 크기가 일정하지 않다는 특징이 있고, 한자는 한글과 비슷한 특징을 지니나 대체로 복잡한 글자가 많으며 하나의 글자에 대해 외곽사각형을 칠 경우 글자가 차지하는 비율이 한글이나 영어에 비해 크다는 특징을 이용할 수 있다.

본 실시예에서는 사용자가 미리 언어 선택모드를 지정하였을 경우를 중심으로 설명되어지게 되는데, 도 3에서와 같은 한글을 기본문자로 하고 있는 설정창이 활성화되어진 상태에서 번역코자 하는 해당 언어를 먼저 설정해 놓은 상태에서 한자 또는 영어의 문자신호가 입력되어지면 문자번역부(70)에서는 사전저장부(80)의 DB에 저장되어져 있는 해당 문자를 검색하여 도 4에서와 같이 이를 한글로 번역하는 문자번역을 수행하게 된다.(ST 5-1)

그리고, 이와같이 한글로의 번역이 이루어지거나 또는 초기부터 한글로 영상입력이 이루어진 문자신호는 다음단계에서 음성변환부(61)에 의해 음성신호로 변환되는 단계가 실시되어진다.(ST 6)

이후, 상기에서 변환된 음성신호는 음성출력부(62)인 스피커를 통해 출력되 어 사용자에게 음성으로 전달되어짐으로서 사용자는 해당 문자를 인지할 수 있게되는 것이다.(ST 7)

따라서, 이와같은 음성변환 동작이 설정상태에서 연속적으로 이루어질 수 있게 됨으로 본 발명의 음성변환 시스템이 탑재되어진 단말기를 휴대하게 되면 눈이 어두운 노약자나, 글을 읽기 어려운 어린이들이 안내판 또는 간판 등에 기재되어져 있는 안내문구를 음성으로 전달받을 수 있게되어 지리정보를 쉽게 취득할 수 있게됨을 알 수 있다.

특히, 현대인의 일상생활에서 익숙치 않은 한문 안내문이나 표지판이 있는경우 본 발명을 통해 용이하게 해당 문구를 음성으로 전달받게 되어 내용에 대한 이해가 쉽게 이루어질 수 있게되는 것이다.

그리고, 상기에서 본 발명의 특정한 실시예가 설명 및 도시되었지만 본 발명의 음성변환 과정 및 시스템이 당업자에 의해 다양하게 변형되어 실시될 가능성이 있는 것은 자명한 일이다.

예를들면, 상기 실시예에서는 번역될 문자로 한자와 영어가 저장되어져 있으나, 이는 필요에 따라서 중국어 또는 일본어 등을 데이타화 하여 저장시킴으로서 해당 외국어에 대한 번역기능을 추가할 수도 있게된다.

또한, 사용자에게 음성으로 전달되는 언어로서 한글을 기본으로 설정하였으나, 사용자가 외국인인 경우에는 자국 언어로 이를 설정하고 한글을 번역대상 문자로 지정할 수도 있음을 알 수 있다.

따라서, 이와 같은 변형된 실시예들은 본 발명의 기술적 사상이나 전망으로 부터 개별적으로 이해되어져서는 안되며, 이와 같은 변형된 실시예들은 본 발명의 첨부된 특허청구범위 안에 속한다 해야 할 것이다.

이상에서 살펴본 바와같은 본 발명은, 근래 대다수의 이동통신 단말기에 기본으로 장착되어져 있는 영상촬영용 카메라를 이용하여 길거리의 표지판이나 간판 등에 나타나 있는 문자들을 추출하여 사용자가 해당 표지판의 내용을 음성으로 전달받을 수 있게된다.

특히, 한글이 아닌 다른 언어의 문자가 기재되어진 경우에는 이들 문자를 번역된 상태로 음성으로 전달받을 수 있게 됨으로서 지리에 익숙하지 않은 관광객이나 영어 및 한자에 익숙치 않은 어린이나 노인, 맹인들이 쉽게 주변 상황을 인지할 수 있게됨을 알 수 있다.

Claims

외부영상을 촬영하기 위한 카메라와, 입력 또는 전송된 데이타의 저장이 이루어지는 메모리부와, 상기 각 기능의 제어가 이루어지는 제어부를 포함하는 이동통신 단말기에 있어서,

상기 카메라를 통해 촬영된 영상를 인식하기 위한 영상 인식부와,

상기 영상 인식부를 통해 인식된 영상에 포함되어져 있는 문자를 이미지 형태로 추출하여 이를 문자신호로 변환시키는 문자 변환부와,

상기 문자 변환부에 의해 변환된 문자신호를 음성신호로 변환시키는 음성 변환부와,

상기 음성 변환부에 의해 변환된 음성을 외부로 출력시키기 위한 음성 출력부로 구성되는 것을 특징으로 하는 촬영문자를 음성 변환하는 기능을 갖는 이동통신 단말기.
제1항에 있어서,

상기 문자 변환부에 의해 변환된 문자신호를 선택된 언어로 번역토록 하기위한 문자 번역부와,

상기 문자 번역을 위해 사전 데이타가 저장되어지는 사전 저장부가 더 구비되는 것을 특징으로 하는 촬영문자를 음성 변환하는 기능을 갖는 이동통신 단말기.
입력영상의 음성변환모드를 선택한 상태에서 카메라를 통해 입력되는 영상이 입력되는 영상입력단계;

상기 입력된 영상이 연속촬영된 영상인지를 확인하는 연속촬영 확인단계;

상기 입력된 영상에서 문자영역을 이미지 형태로 추출하는 문자추출단계;

상기 추출된 문자를 신호화하여 문자신호로 변환시키는 문자신호 변환단계;

상기 변환된 문자신호에 대한 특정 언어로의 번역 여부를 판단하여 번역하는 판단 및 번역단계;

상기 문자신호를 음성신호로 변환시키는 음성신호 변환단계;

상기 변환된 음성신호를 사용자에게 전달하기 위해 음성출력부를 통해 외부로 출력하는 음성출력단계;

를 포함하는 영상촬영 기능을 갖는 이동통신 단말기의 음성변환 방법.
제3항에 있어서,

상기 연속촬영 확인단계는,

입력된 영상이 연속 촬영된 영상인 경우, 파노라마 영상을 구현하는 단계를 더 포함하는 영상촬영 기능을 갖는 이동통신 단말기의 음성변환 방법.
제3항에 있어서,

상기 판단 및 번역단계는,

번역동작이 선택된 경우, 변환된 문자신호를 해당 사전 저장부를 통해 선택 된 해당 언어의 문자신호로 번역시키는 것을 특징으로 하는 영상촬영 기능을 갖는 이동통신 단말기의 음성변환 방법.