KR20160090781A - 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법 - Google Patents
영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법 Download PDFInfo
- Publication number
- KR20160090781A KR20160090781A KR1020160091586A KR20160091586A KR20160090781A KR 20160090781 A KR20160090781 A KR 20160090781A KR 1020160091586 A KR1020160091586 A KR 1020160091586A KR 20160091586 A KR20160091586 A KR 20160091586A KR 20160090781 A KR20160090781 A KR 20160090781A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- sound
- image
- unit
- converting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000001771 impaired effect Effects 0.000 title claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 62
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 23
- 230000011218 segmentation Effects 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000037230 mobility Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Telephone Function (AREA)
Abstract
본 발명은 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법에 관한 것이고, 구체적으로 카메라를 통하여 얻어진 영상을 음향으로 변환하여 스피커와 같은 장치를 통하여 출력 가능하도록 하는 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법에 관한 것이다. 영상의 음향 변환 장치는 외부 영상의 획득을 위한 영상 획득 모듈; 영상 획득 모듈로부터 얻어진 정보를 미리 결정된 방법으로 분할하는 이미지 처리 유닛; 상기 분할된 영역의 정보를 포함하는 정보를 미리 결정된 매개변수에 따라 분석 및 조합하는 분석 유닛; 및 상기 분석 유닛에서 전달된 정보를 미리 결정된 방법으로 음향 정보로 변환하는 변환 유닛을 포함한다.
Description
본 발명은 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법에 관한 것이고, 구체적으로 카메라를 통하여 얻어진 영상을 음향으로 변환하여 스피커와 같은 장치를 통하여 출력 가능하도록 하는 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법에 관한 것이다.
시각 장애인을 위한 다양한 보조기기가 개발되어 있고 예를 들어 접촉 센서(Skin Sensor), 지팡이, 영상을 진동으로 변환하는 장치 또는 영상을 점자로 표시하는 장치와 같은 것이 있다.
시각 장애인의 보행 안내와 관련된 선행기술로 특허공개번호 제2011-0004064호 ‘시각장애인 보행 안내 방법 및 그 시스템’이 있다. 상기 선행기술은 실외의 환경에서 카메라를 통해 얻은 단일 영상의 에지 영상을 기초로 소실점과 길의 외곽선 정보를 추출하여 추출된 정보를 기초로 결정된 보행자의 위치 및 보행자가 보는 길의 방향을 음성 정보로 출력하는 것에 의하여 시각 장애인이 안전한 보행을 할 수 있도록 한 시각 장애인의 보행 안내 방법 및 그 시스템에 관한 것이다. 상기 선행기술은 카메라로부터 영상을 취득하는 단계; 상기 취득된 영상 내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하는 단계; 상기 길의 외곽선 정보를 기초로 보행자의 위치를 결정하고, 상기 소실점을 기준으로 보행자가 보는 길의 방향을 결정하는 단계; 및 상기 결정된 보행자의 위치 및 상기 길의 방향을 미리 결정된 보행 안내 정보에 각각 적용시켜 변환된 음성 정보를 상기 음성 출력부에 제공하는 단계를 포함하는 시각 장애인 보행 안내 방법에 대하여 개시한다.
시각 장애인용 안내 시스템과 관련된 다른 선행기술로 특허공개번호 제2011-0101558호 ‘감성 정보를 포함하는 시각장애인용 안내시스템 및 그를 이용한 안내방법’이 있다. 상기 선행기술은 초음파와 적외선 및 방향 정보 제시 장치를 이용하여 시각 장애인의 이동에 정확한 안내정보를 제공하고, 디지털화된 안내 정보에 아날로그적인 감성정보를 포함시켜 제공하는 것에 의하여 시각장애인에게 보다 다양한 방식으로 안내할 수 있는 감성 정보를 포함하는 시각장애인용 안내 시스템 및 그를 이용한 안내 방법에 대하여 개시한다. 상기 선행기술은 적외선, 초음파 및 무선 통신 중 하나 이상의 통신 수단과 전방의 영상을 촬영하거나 적외선 데이터를 수신하는 영상 촬영 수단을 구비하고, 시각 장애인과 함께 이동 중 영상 촬영 수단으로부터 획득한 영상 정보 또는 적외선, 초음파 및 무선 통신 기호에 기초하여 시각 장애인에게 시각 장애인용 안내 정보를 제공하는 시각 장애인용 안내 장치; 시각 장애인용 안내 장치로부터의 적외선, 초음파 및 무선 통신 신호 중 적어도 하나에 따라, 촉감, 질감, 냉각 또는 온감 중 하나의 이상의 감성 정보 및 소정의 음성 정보를 통해 이동 방향을 제시하는 방향 정보 제시 장치; 및 시각 장애인용 안내 장치로부터의 안내 정보를 방향 정보 제시 장치로 전송하는 통신 장치를 포함하는 시각 장애인용 안내시스템에 대하여 개시한다.
상기 선행기술은 단지 영상 정보를 분석하여 음성 신호로 변환하는 방법에 대하여만 개시한다. 그러나 영상 정보는 다양한 음성 또는 음향과 같은 소리 정보를 포함할 수 있고 시각 정보와 함께 이와 같은 정보도 함께 분석이 되고 음성 정보로 변환될 필요가 있다.
본 발명은 선행기술이 가진 문제점을 해결하기 위한 것으로 아래와 같은 목적을 가진다.
본 발명의 목적은 카메라와 같은 장치로부터 얻어진 영상 정보를 음향 신호로 변환하여 출력하기 위한 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법을 제공하는 것이다.
본 발명의 적절한 실시 형태에 따르면, 영상의 음향 변환 장치는 외부 영상의 획득을 위한 영상 획득 모듈; 영상 획득 모듈로부터 얻어진 정보를 미리 결정된 방법으로 분할하는 이미지 처리 유닛; 상기 분할된 영역의 정보를 포함하는 정보를 미리 결정된 매개변수에 따라 분석 및 조합하는 분석 유닛; 및 상기 분석 유닛에서 전달된 정보를 미리 결정된 방법으로 음향 정보로 변환하는 변환 유닛을 포함한다.
본 발명의 다른 적절한 실시 형태에 따르면, 영상의 음향 변환 장치의 상기 변환 유닛은 거리를 소리의 크기, 사물의 구분은 주파수 그리고 위치는 매개변수에 따른 분석 및 조합은 거리를 소리의 크기, 사물의 구분은 주파수 그리고 위치는 좌우 소리의 비율 또는 지연으로 각각 변환한다.
본 발명의 또 다른 적절한 실시 형태에 따르면, 음향 변환 장치는 사용자 선택 유닛을 더 포함하고, 상기 사용자 선택 유닛에 의하여 상기 변환 유닛에서 분해 해상도가 결정된다.
본 발명의 또 다른 적절한 실시 형태에 따르면, 음향 변환 장치는 독립적으로 외부 음향 정보 또는 위치 정보를 전달하기 위한 추가 유닛을 더 포함하고, 상기 추가 유닛은 모바일 기기를 포함한다.
본 발명의 또 다른 적절한 실시 형태에 따르면, 시각 장애인을 위한 영상 신호의 음향 변환 방법은 특정 사물에 대한 사물 정보를 결정하여 사물 음향을 선택하는 단계; 상기 특정 사물에 대한 상황 정보를 결정하여 상황 음향을 선택하는 단계; 상기 사물 음향 및 상황 음향을 사용자에게 인지시켜 숙련시키는 단계; 상기 특정 사물 및 상황 정보를 포함하는 영상 정보를 획득하는 단계; 상기 획득된 영상 정보를 분할하여 사물 정보 및 상황 정보로 분석하는 단계; 상기 조합된 정보를 상기 인지된 음향 정보로 변환 및 조합하는 단계; 및 상기 변환된 음향 정보를 출력하는 단계를 포함한다.
본 발명에 따른 장치는 영상 신호에 포함된 다양한 정보를 음향 정보로 변환하고 그리고 그에 따른 적응 훈련을 통하여 시각 장애인에게 정확한 안내 정보를 제공하도록 한다는 이점을 가진다. 또한 본 발명에 따른 장치는 스마트 폰과 같이 사용자가 상시 휴대하고 있는 장치와 연계되도록 하는 것에 의하여 장치의 실용성이 향상되도록 한다는 장점을 가진다.
도 1은 본 발명에 따른 변환 장치의 실시 예를 블록 다이어그램으로 나타낸 것이다.
도 2는 본 발명에 따른 변환 장치에서 변환 과정에 대한 실시 예를 도시한 것이다.
도 3은 본 발명에 따른 음향 변환 방법이 진행되는 과정에 대한 실시 예를 도시한 것이다.
도 2는 본 발명에 따른 변환 장치에서 변환 과정에 대한 실시 예를 도시한 것이다.
도 3은 본 발명에 따른 음향 변환 방법이 진행되는 과정에 대한 실시 예를 도시한 것이다.
아래에서 본 발명은 첨부된 도면에 제시된 실시 예를 참조하여 상세하게 설명이 되지만 실시 예는 본 발명의 명확한 이해를 위한 것으로 본 발명은 이에 제한되지 않는다. 아래의 설명에서 서로 다른 도면에서 동일한 도면 부호를 가지는 구성요소는 유사한 기능을 가지므로 발명의 이해를 위하여 필요하지 않는다면 반복하여 설명이 되지 않으며 공지의 구성요소는 간략하게 설명이 되거나 생략이 되지만 본 발명의 실시 예에서 제외되는 것으로 이해되지 않아야 한다.
본 명세서에서 음향은 음성 또는 음성과 다른 사람이 인지할 수 있는 모든 소리 신호를 포함하는 의미로 사용된다. 다만 특별히 필요한 경우 음성과 음향은 구별되는 의미로 사용될 수 있다.
도 1은 본 발명에 따른 변환 장치의 실시 예를 블록 다이어그램으로 나타낸 것이다.
도 1을 참조하면, 본 발명에 따른 영상의 음향 변환 장치(10)는 외부 영상의 획득을 위한 영상 획득 모듈(11); 영상 획득 모듈(11)로부터 얻어진 정보를 미리 결정된 방법으로 분할하는 이미지 처리 유닛(13); 상기 분할된 영역의 정보를 포함하는 정보를 미리 결정된 매개변수에 따라 분석 및 조합하는 분석 유닛(14); 및 상기 분석 유닛(14)에서 전달된 정보를 미리 결정된 방법으로 음향 정보로 변환하는 변환 유닛(15)을 포함한다.
본 발명에 따른 음향 변환 장치(10)는 예를 들어 시각 장애인에게 시각 정보를 음향 정보로 변환하게 하여 영상 정보를 음향 정보를 통하여 인식되도록 하기 위하여 사용될 수 있다. 예를 들어 특정 사물에 대한 영상 정보를 음향 신호로 변환하고 그리고 그에 대하여 사용자가 인지 및 숙련이 될 수 있다. 또한 특정 사물의 위치 또는 상황에 대한 영상 정보를 음향 신호로 변환하고 그리고 마찬가지로 그에 대하여 사용자가 인지 및 숙련이 될 수 있다. 특정 사물에 대한 정보는 사물에 따라 결정되고 그리고 위치 또는 상황에 대한 정보는 사물의 환경에 의하여 결정될 수 있다. 그러므로 특정 사물에 대한 영상 정보는 특정 사물에 대한 고유한 정보 및 특정 사물에 대한 환경 정보를 포함하고 각각 음향 신호로 변환되어 사용자에게 전달될 수 있다. 이후 영상 정보가 예를 들어 카메라 모듈과 같은 영상 획득 모듈(11)에 의하여 얻어질 수 있고 그리고 각각 미리 결정된 방법에 따라 음향 신호로 변환되어 사용자에게 전달될 수 있다. 그리고 사용자는 전달된 음향 신호에 의하여 영상 정보를 인식하게 된다. 만약 영상이 보행 과정에서 얻어진다면 변환된 음향 정보는 보행 안내 기능을 가지게 된다.
본 발명에 따른 음향 변환 장치(10)가 단지 시각 장애인을 위한 용도로 제한되는 것으로 이해되지 않아야 한다. 본 발명에 따른 음향 변환 장치(10)는 예를 들어 미리 결정된 방법으로 영상을 음향으로 변환되어 출력이 되면서 영상으로 인지될 필요가 있는 임의의 용도로 사용될 수 있다. 예를 들어 출력은 스피커가 될 수 있지만 이에 제한되지 않고 디스플레이 유닛이 될 수 있다.
영상 정보를 음향 정보로 변환하기 위하여 영상 정보가 먼저 얻어질 필요가 있다. 영상 정보의 획득은 예를 들어 카메라 유닛과 같은 영상 획득 모듈(11)에 의하여 얻어질 수 있다. 영상 획득 모듈(11)은 시각 정보와 소리 정보를 모두 포함할 수 있고 소리 정보는 음성 또는 음향을 포함할 수 있다. 영상 획득 모듈(11)은 일반 카메라, 적외선 카메라, 비디오카메라 또는 영상 획득이 가능한 임의의 영상 획득이 가능한 장치를 포함할 수 있다. 그리고 영상 획득 모듈(11)에서 얻어진 영상은 예를 들어 이미지 처리 장치 및 마이크로프로세서를 포함하는 제어 모듈로 전달될 수 있고 그리고 이미지 처리 장치(13)는 먼저 전달된 영상 정보를 영역 별로 분할할 수 있다. 영역 별 분할은 예를 들어 거리에 따라 분할하거나 또는 영상에 포함된 특징에 따라 영상으로부터 특징을 추출하기 위하여 분할하는 것을 말한다. 영상 분할은 시간적 분할과 공간적 분할을 포함할 수 있다. 시간적 분할은 예를 들어 연속적인 영상 신호를 일정 시간 간격으로 분할하는 것을 의미하고 그리고 공간적 분할은 시간 단위로 분할된 각각의 영상을 화면을 기준으로 분할하는 것을 의미한다. 영상 분할은 다양한 방법으로 이루어질 수 있고 미리 결정된 기준에 따라 분할 방법이 결정될 수 있다.
이미지 처리 유닛(13)에 의하여 전달된 영상의 분할되면 분석 유닛(14)에 의하여 각각의 영상이 분석되어 특징이 추출이 될 수 있다. 그리고 분석은 분할된 영역에서 물체의 종류, 이동성, 거리 및 크기와 같은 것을 미리 만들어진 데이터베이스에 기초하여 검색을 하고 그리고 일치되는 데이터를 찾아 특정을 하는 것을 말한다. 이와 동시에 특정된 사물에 대하여 미리 결정된 변환이 되어야 할 음향을 결정하는 것을 포함한다.
분석 과정에서 얻어진 영상 정보에 포함된 소리 신호가 이용될 수 있고 추가로 외부 기기로부터 얻어진 정보가 이용될 수 있다. 추가로 분석 과정에서 부가 유닛(12a)에서 얻어진 정보가 이용될 수 있다. 부가 유닛(12a)은 예를 들어 거리 측정을 위한 초음파 센서, 레이저 센서 또는 음성 또는 음향 수신을 위한 마이크와 같은 것을 포함할 수 있다.
추가로 분석 과정에서 외부 기기(12b)로부터 얻어진 정보가 이용될 수 있다. 외부 기기(12b)는 예를 들어 스마트 폰과 같은 모바일 기기를 포함할 수 있다. 필요에 따라 외부 기기(12b)는 이미지 처리 과정에 이용될 수 있거나 또는 분석 과정에서 이용될 수 있다. 구체적으로 얻어진 정보에 대한 처리 과정이 스마트 폰과 같은 모바일 기기에서 이루어질 수 있다. 또한 스마트 폰에 설치된 마이크를 통하여 유입된 음향 또는 음성이 분석 과정에서 활용될 수 있다. 또한 스마트 폰으로부터 얻어지는 위치 정보가 분석 과정에서 활용될 수 있다.
다양한 부가 유닛(12a) 또는 외부 기기(12b)가 분석 유닛(14)의 분석 과정에서 활용될 수 있고 본 발명은 이와 같은 추가적인 장치의 활용 여부에 의하여 제한되지 않는다.
분석된 영상 정보는 변환 유닛(15)에 의하여 음향 정보로 변환될 수 있고 그리고 서로 다른 특징에 따라 변환된 음향 신호는 최초 영상 정보를 형성하도록 조합될 수 있다. 음향 정보의 변환 및 조합은 사용자의 청력에 기초하여 이루어질 수 있다. 만약 사용자가 특정 주파수 또는 음역에 대하여 장애를 가지는 경우 음향 정보의 변환 및 조합은 이를 고려하여 이루어질 수 있다. 또한 사용자는 특정 주파수 대역에서 구별 능력이 약하다면 분해 해상도가 다른 주파수 대역에 비하여 커질 수 있다. 이와 같은 기능을 위하여 사용자 선택 유닛(17)이 적용될 수 있다. 사용자 선택 유닛(17)에 사용자의 청력 다이어그램(audiogram)이 저장될 수 있고 변환 및 조합 과정에서 청력 다이어그램이 적용될 수 있다. 다른 한편으로 미리 예비적으로 몇 가지 변환 특징에 따른 사용자의 반응이 사용자 선택 유닛(17)을 통하여 시험될 수 있다. 추가로 사용자 선택 유닛(17)은 모바일 기기와 같은 외부 기기(12b)와 연결되거나 외부 기기(12b)가 사용자 선택 유닛(17)의 기능을 할 수 있다. 구체적으로 스마트 폰과 같은 사용자의 외부 기기(12b)를 통하여 사용자의 반응이 입력되거나, 사용자의 청력 다이어그램이 입력되거나 또는 외부 기기(12b)에서 만들어진 사용자 선호 음향이 변환 및 조합 과정에 적용될 수 있다. 이와 같은 방법으로 변환이 되어 조합된 음향 신호는 출력 유닛(16)을 통하여 출력될 수 있다.
출력 유닛(16)은 예를 들어 시각 장애인을 위한 청력 기기 또는 보청기와 같은 것이 될 수 있지만 이에 제한되지 않고 예를 들어 스마트 폰과 같은 외부 기기(12b)가 될 수 있다. 음향 신호는 이 분야에서 공지된 다양한 음향 신호의 출력이 가능한 다양한 출력 유닛(16)이 될 수 있고 본 발명은 제시된 실시 예에 제한되지 않는다.
아래에서 본 발명에 따른 변환 장치의 구체적인 실시 예에 대하여 설명된다.
도 2는 본 발명에 따른 변환 장치에서 변환 과정에 대한 실시 예를 도시한 것이다.
도 2를 참조하면, 적어도 하나의 카메라 유닛(21a, 21b)으로부터 영상 정보가 얻어질 수 있다. 카메라 유닛(21a, 21b)은 예를 들어 비디오카메라와 같은 것이 될 수 있지만 이에 제한되지 않고 영상 정보의 획득이 가능한 임의의 영상 획득 수단이 될 수 있다. 적어도 하나의 카메라 유닛(21a, 21b)으로부터 서로 다른 방향의 영상이 얻어질 수 있고 그리고 얻어진 영상은 분석 유닛(22)에서 분석될 수 있다. 만약 다수 개의 카메라 유닛(21a, 21b)으로부터 영상이 얻어졌다면 영상이 합성되어 하나의 영상으로 만들어질 필요가 있다. 다른 한편으로 영상은 시간적으로 분리될 필요가 있다. 추가로 얻어진 영상은 공간적으로 분할될 필요가 있다. 이와 같은 영상 분석 과정은 예를 들어 스마트 폰과 같은 모바일 기기와 연결되어 이루어질 수 있다. 분석된 영상은 음향 변환 프로세서(23)에서 음향 신호로 변환될 수 있다. 분석 유닛(22)은 독립된 유닛이 되거나 또는 음향 변환 프로세서(23)의 일부가 될 수 있다. 또한 음향 변환 프로세서(23)는 스마트 폰과 같은 모바일 기기에 하드웨어 형태로 또는 소프트웨어 형태로 포함될 수 있다.
음향 변환 프로세서(23)는 예를 들어 특정 물체의 거리를 산출하기 위한 거리 변환 유닛(231), 특정 물체의 칼라 또는 형상을 음향 신호로 변환하기 위한 칼라 및 패턴 변환 유닛(232) 및 특정 물체의 위치를 음향 신호로 변환하기 위한 위치 변환 유닛(233)을 포함할 수 있다. 거리 변환 유닛(231)은 거리를 소리의 크기로 변환하고, 칼라 및 패턴 변환 유닛(232)은 특정 사물, 크기 또는 색상을 특정 주파수로 변환하고 그리고 위치 변환 유닛(233)은 사물의 위치를 소리의 크기 비 및 지연으로 변환할 수 있다. 그리고 이와 같이 특정 사물에 대한 영상 정보는 음향 변환 프로세서(23)에 의하여 종류, 거리 및 위치가 음향 신호로 변환될 수 있다. 이후 변환된 음향 신호는 출력 제어 유닛(24)에 의하여 출력 형태가 결정될 수 있다. 출력 제어 유닛(24)은 예를 들어 다양한 사물에 대하여 변환된 음향 정보를 조합하여 출력 방법을 결정하거나 또는 좌우 스피커(25a, 25b)를 통하여 출력되는 소리의 크기 또는 지연 시간을 결정할 수 있다. 그리고 출력 제어 유닛(24)은 사용자 선택 유닛(26)에 의하여 서로 다른 거리, 사물 종류 또는 위치 사이의 구별 기준이 되는 분해 해상도가 결정될 수 있다. 또한 사용자 선택 유닛(26)에 의하여 출력 시간 또는 볼륨과 같은 것이 결정될 수 있다. 이와 같은 방법으로 출력 제어 유닛(24)에 의하여 출력 형태가 결정되면 예를 들어 좌우 양쪽 귀에 착용된 이어폰 또는 예를 들어 모바일 기기와 같은 곳에 설치된 출력 유닛 또는 시각 장애인을 위한 전용 음향 출력 수단과 같은 스피커(25a, 25b)를 통하여 음향 신호가 출력될 수 있다.
영상 정보는 다양한 형태로 변환될 수 있고 제시된 실시 예는 예시적인 것으로 본 발명은 이에 제한되지 않는다.
본 발명에 따른 변환 장치는 시각 장애인용으로 사용될 수 있다.
도 3은 본 발명에 따른 음향 변환 방법이 진행되는 과정에 대한 실시 예를 도시한 것이다.
도 3을 참조하면, 음향 변환 방법의 적용을 위하여 서로 다른 사물 정보가 결정되고(S311) 그리고 결정된 사물 정보에 대한 사물 음향이 선택될 수 있다(S312). 예를 들어 위에서 설명된 것처럼, 사물 종류는 주파수에 의하여 구별될 수 있다. 또한 사물 정보는 사물의 명칭, 색상 또는 크기를 포함할 수 있다. 다른 한편으로 상황 정보가 결정되고(S321) 그리고 결정된 상황 정보에 대한 상황 음향이 선택될 수 있다(S322). 예를 들어 위에서 설명된 것처럼, 상황 음향은 거리 및 위치가 될 수 있고, 그리고 거리는 소리의 크기로 그리고 위치는 좌우의 음향 신호 크기 비율 또는 지연 시간으로 선택될 수 있다. 이와 같이 사물 음향 선택 및 상황 정보 선택이 이루어지면 사용자에서 음향 인지 숙련이 되어야 한다(S33). 사용자에 대한 음향 인지 숙련은 각각의 정보에 대한 구별 및 조합된 정보의 구별 과정을 포함할 수 있고 그리고 사용자는 해당 신호를 듣는 경우 이를 자연적으로 연상하게 되는 과정을 의미한다. 이와 같은 음향 인지 숙련 과정이 완성되면 이를 기초로 하여 영상 정보가 시각 장애인을 위하여 인식 정보로 적용될 수 있다.
보행 과정에서 또는 일상생활 과정에서 시각 장애인은 영상 정보의 획득이 가능한 카메라와 같은 장치를 소지할 수 있고 그리고 필요에 따라 카메라를 사용하여 영상 정보를 얻을 수 있다(S34). 예를 들어 영상 정보는 모바일 기기에 장착된 카메라를 통하여 얻어지거나 또는 전용 카메라에 의하여 얻어질 수 있다. 그리고 얻어진 정보는 제어 모듈에 포함된 음향 변환 프로세서에서 변환될 수 있다. 변환을 위하여 먼저 음향 정보가 미리 결정된 사물을 포함하고 있는지 여부 및 사물의 위치가 분석될 수 있다(S35). 그리고 이동 물체에 해당하는지 또는 고정된 물체에 해당되는지 여부가 분석될 수 있다. 그리고 위와 같은 분석에 기초하여 영역이 분할될 수 있다(S36). 적용 과정에 따라 먼저 얻어진 영상에 대한 영역 분할이 이루어지고(S36) 그리고 이후 각각의 영역에 포함된 특징이 분석될 수 있다(S35).
사용자는 분석된 영상이 변환되는 과정에서 적용되는 청력 다이어그램, 분해 해상도 또는 볼륨과 같은 것을 선택할 수 있고(S37) 또한 출력 발향을 선택할 수 있다. 이후 분석된 영상에 대한 변환이 이루어지고 그리고 각각의 분할된 영역에 대한 변환 음향 또는 특징에 따른 변환 음향이 조합될 수 있다(S38). 그리고 변환된 음향은 사용자 선택에 의하여 또는 미리 결정된 유닛을 통하여 음향으로 출력될 수 있다(S39).
본 발명에 따른 음향 변환 방법은 다양한 과정으로 진행될 수 있고 본 발명은 제시된 실시 예에 제한되지 않는다. 예를 들어 위에서 설명된 음향 변환 방법이 웹 형태로 스마트 폰과 같은 모바일 기기에 설치될 수 있고 모바일 기기에 설치된 카메라가 카메라 유닛의 기능을 가질 수 있다. 다양한 형태의 웨어러블 전자기기(wearable electronic devices)에 의하여 본 발명에 따른 음향 변환 방법이 실행될 수 있고 본 발명은 실행 웹의 형태, 웹이 실행되는 기기 또는 저장 형태에 의하여 제한되지 않는다.
본 발명에 따른 장치는 영상 신호에 포함된 다양한 정보를 음향 정보로 변환하고 그리고 그에 따른 적응 훈련을 통하여 시각 장애인에게 정확한 안내 정보를 제공하도도록 한다는 이점을 가진다. 또한 본 발명에 따른 장치는 스마트 폰과 같이 사용자가 상시 휴대하고 있는 장치와 연계되도록 하는 것에 의하여 장치의 실용성이 향상되도록 한다는 장점을 가진다.
위에서 본 발명은 제시된 실시 예를 참조하여 상세하게 설명이 되었지만 이 분야에서 통상의 지식을 가진 자는 제시된 실시 예를 참조하여 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다양한 변형 및 수정 발명을 만들 수 있을 것이다. 본 발명은 이와 같은 변형 및 수정 발명에 의하여 제한되지 않으며 다만 아래에 첨부된 청구범위에 의하여 제한된다.
10: 영상의 음향 변환 장치 11: 영상 획득 모듈
12a: 부가 유닛 12b: 외부 기기
13: 이미지 처리 유닛 14: 분석 유닛
15: 변환 유닛 16: 출력 유닛
17: 사용자 선택 유닛 21a, 21b: 카메라 유닛
22: 분석 유닛 23: 음향 변환 프로세서
24: 출력 제어 유닛 25a, 25b: 스피커
231: 거리 변환 유닛 232: 패턴 변환 유닛
233: 위치 변환 유닛
12a: 부가 유닛 12b: 외부 기기
13: 이미지 처리 유닛 14: 분석 유닛
15: 변환 유닛 16: 출력 유닛
17: 사용자 선택 유닛 21a, 21b: 카메라 유닛
22: 분석 유닛 23: 음향 변환 프로세서
24: 출력 제어 유닛 25a, 25b: 스피커
231: 거리 변환 유닛 232: 패턴 변환 유닛
233: 위치 변환 유닛
Claims (4)
- 외부 영상의 획득을 위한 영상 획득 모듈(11);
영상 획득 모듈(11)로부터 얻어진 정보를 시간적 및 공간적으로 영역을 분할하는 이미지 처리 유닛(13);
상기 분할된 영역의 정보를 포함하는 정보를 미리 결정된 매개변수에 따라 분석 및 조합하는 분석 유닛(14);
분석 유닛(14)에서 전달된 정보를 미리 결정된 방법으로 음향 정보로 변환하는 변환 유닛(15); 및
상기 변환된 음향 정보를 조합하여 출력 방법을 결정하고, 좌우 스피커(25a, 25b)를 통하여 출력되는 소리의 크기 또는 지연 시간을 결정하는 출력 제어 유닛(24); 을 포함하고,
상기 얻어진 정보는 시각 정보와 소리 정보를 포함하고;
상기 변환 유닛(15)은 거리를 소리의 크기로 변환하고, 특정 사물, 크기 또는 색상을 특정 주파수로 변환하고, 사물의 위치를 좌우 소리의 크기 비 또는 지연으로 변환하는 것을 특징으로 하는 영상의 음향 변환 장치. - 청구항 1에 있어서, 사용자 선택 유닛(17)을 더 포함하고, 상기 사용자 선택 유닛(17)에 청력 다이어그램이 저장되고, 출력 제어 유닛(24)에서 출력되는 서로 다른 거리, 사물 종류 또는 위치 사이의 구별 기준이 되는 분해 해상도를 결정하는 특징으로 하는 음향 변환 장치.
- 청구항 1에 있어서, 상기 분석 유닛(14)은 시간적 및 공간적으로 분할된 영역에서 미리 결정된 데이터베이스에 기초하여 일치되는 데이터를 검색하여 특정하고, 상기 특정은 거리 측정을 위한 초음파 센서, 레이저 센서 또는 음성 또는 음성 수신을 위한 마이크에 의하여 보조가 되거나 또는 모바일 기기로 유입된 정보에 의하여 보조가 되는 것을 특징으로 하는 음향 변환 장치.
- 시각 장애인을 위한 영상 신호의 음향 변환 방법에 있어서,
특정 사물에 대한 명칭, 색상 및 크기를 포함하는 사물 정보를 결정하여 사물 음향을 선택하는 단계;
상기 특정 사물에 대한 거리 및 위치를 포함하는 상황 정보를 결정하여 상황 음향을 선택하는 단계;
상기 사물 음향 및 상황 음향을 사용자에게 인지시켜 숙련시키는 단계;
상기 특정 사물 및 상황 정보를 포함하는 영상 정보를 획득하는 단계;
상기 획득된 영상 정보를 분할하여 사물 정보 및 상황 정보로 분석하는 단계;
상기 분석된 정보를 상기 인지 및 숙련된 음향 정보로 변환 및 조합하는 단계; 및
상기 변환된 음향 정보를 조합하여 좌우 스피커(25a, 25b)를 통하여 출력되는 소리의 크기 또는 지연 시간을 결정하여 출력하는 단계;를 포함하고,
상기 음향 정보로 변환은 거리는 소리의 크기로, 특정 사물의 종류, 크기 또는 색상을 특정 주파수로 그리고 사물의 위치를 좌우 소리의 크기 비 또는 지연으로 변환하고; 그리고
상기 특정 사물에 대한 사물 정보의 분석은 모바일 기기를 통하여 유입되는 정보에 의하여 보조가 되는 것을 특징으로 하는 시각 장애인을 위한 음향 변환 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160091586A KR20160090781A (ko) | 2016-07-19 | 2016-07-19 | 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160091586A KR20160090781A (ko) | 2016-07-19 | 2016-07-19 | 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140013210A Division KR20150092811A (ko) | 2014-02-05 | 2014-02-05 | 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20160090781A true KR20160090781A (ko) | 2016-08-01 |
Family
ID=56706953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160091586A KR20160090781A (ko) | 2016-07-19 | 2016-07-19 | 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20160090781A (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220066635A (ko) * | 2020-11-16 | 2022-05-24 | 한국전자통신연구원 | 깊이-시간 매핑 기반의 감각 치환 장치 및 그 방법 |
CN116030264A (zh) * | 2023-02-01 | 2023-04-28 | 安徽信息工程学院 | 一种用于辅助视觉障碍者理解图片的方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110004064A (ko) | 2009-07-07 | 2011-01-13 | 숭실대학교산학협력단 | 시각장애인 보행 안내 방법 및 그 시스템 |
KR20110101558A (ko) | 2010-03-09 | 2011-09-16 | 한국표준과학연구원 | 감성정보를 포함하는 시각장애인용 안내 시스템 및 그를 이용한 안내방법 |
-
2016
- 2016-07-19 KR KR1020160091586A patent/KR20160090781A/ko not_active Application Discontinuation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110004064A (ko) | 2009-07-07 | 2011-01-13 | 숭실대학교산학협력단 | 시각장애인 보행 안내 방법 및 그 시스템 |
KR20110101558A (ko) | 2010-03-09 | 2011-09-16 | 한국표준과학연구원 | 감성정보를 포함하는 시각장애인용 안내 시스템 및 그를 이용한 안내방법 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220066635A (ko) * | 2020-11-16 | 2022-05-24 | 한국전자통신연구원 | 깊이-시간 매핑 기반의 감각 치환 장치 및 그 방법 |
CN116030264A (zh) * | 2023-02-01 | 2023-04-28 | 安徽信息工程学院 | 一种用于辅助视觉障碍者理解图片的方法及装置 |
CN116030264B (zh) * | 2023-02-01 | 2024-03-29 | 安徽信息工程学院 | 一种用于辅助视觉障碍者理解图片的方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11531518B2 (en) | System and method for differentially locating and modifying audio sources | |
KR102694487B1 (ko) | 선택적 청취를 지원하는 시스템 및 방법 | |
US9805619B2 (en) | Intelligent glasses for the visually impaired | |
CN107708624B (zh) | 允许盲人或视障人士通过声音或触觉了解周围环境的便携式*** | |
US20120268563A1 (en) | Augmented auditory perception for the visually impaired | |
CN108762494A (zh) | 显示信息的方法、装置及存储介质 | |
CN107888973B (zh) | 一种脑电控制的视频输入听觉显示导盲装置及方法 | |
US20200037094A1 (en) | Information Processing Apparatus, Information Processing Method, And Program | |
US20190394423A1 (en) | Data Processing Apparatus, Data Processing Method and Storage Medium | |
US20230164509A1 (en) | System and method for headphone equalization and room adjustment for binaural playback in augmented reality | |
Bujacz et al. | Sound of Vision-Spatial audio output and sonification approaches | |
EP3058926A1 (en) | Method of transforming visual data into acoustic signals and aid device for visually impaired or blind persons | |
KR20160090781A (ko) | 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법 | |
Vítek et al. | New possibilities for blind people navigation | |
US20180167745A1 (en) | A head mounted audio acquisition module | |
KR20150021283A (ko) | 스마트 안경을 이용한 외국어 학습 시스템 및 방법 | |
KR20150092811A (ko) | 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법 | |
JP2004023180A (ja) | 音声伝送装置、音声伝送方法及びプログラム | |
CN106388763A (zh) | 导盲前端设备、后端设备、移动终端及其导盲*** | |
KR100920952B1 (ko) | 시각정보와 청각정보의 상호전환 시스템 | |
KR100690562B1 (ko) | 청각을 이용한 시각 재현 장치 및 제어방법 | |
US20230103788A1 (en) | Apparatus and method for sensory substitution and multi-path transmission of visual information | |
US20230247355A1 (en) | Sound generation apparatus | |
EP4178228A1 (en) | Method and computer program for operating a hearing system, hearing system, and computer-readable medium | |
Ono | Ono Lab Research–including Deepening array signal processing theory to expand to asynchronous distributed channel and real world application |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |