KR20060133140A - 청각을 이용한 시각 재현 장치 및 제어방법 - Google Patents
청각을 이용한 시각 재현 장치 및 제어방법 Download PDFInfo
- Publication number
- KR20060133140A KR20060133140A KR1020050052789A KR20050052789A KR20060133140A KR 20060133140 A KR20060133140 A KR 20060133140A KR 1020050052789 A KR1020050052789 A KR 1020050052789A KR 20050052789 A KR20050052789 A KR 20050052789A KR 20060133140 A KR20060133140 A KR 20060133140A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- sound
- distance
- auditory
- axis
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000000638 stimulation Effects 0.000 title abstract 3
- 230000005540 biological transmission Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 239000011521 glass Substances 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 210000000988 bone and bone Anatomy 0.000 claims description 5
- 230000001771 impaired effect Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000023514 Barrett esophagus Diseases 0.000 description 1
- 240000008168 Ficus benjamina Species 0.000 description 1
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000000860 cochlear nerve Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Stereophonic System (AREA)
Abstract
본 발명은 시각정보를 청각정보로 변환하여 시각장애우들이 귀로 감지할 수 있는 소리의 변화를 통해 시각정보를 얻을 수 있도록 한 청각을 이용한 시각 재현 장치 및 제어방법에 관한 것이다. 보다 상세하게는, 다수개의 거리센서 또는 하나 이상의 이미지센서를 포함하는 입력부와 상기 입력부에 포함되는 다수개의 거리센서에 의해 감지되는 거리와 상기 거리센서가 배열된 위치 또는 상기 이미지센서에 의해 감지된 이미지데이터에 포함되는 다수개의 픽셀에 포함된 정보를 통해 다수개의 3차원정보를 생성하고, 상기 3차원정보를 바탕으로 다수개의 소리데이터를 생성하여, 좌측 및 우측 출력부에 구분하여 상기 소리데이터를 동시에 인식시키는 것을 특징으로 한다.
시각정보, 청각정보, 시각장애인, 전방인식
Description
도 1은 종래기술인 시각정보를 청각 정보로 변환하는 장치의 구성도를 나타낸 것이다.
도 2는 본 발명의 제1 실시예에 해당하는 장치구성도의 예시를 나타낸 것이다.
도 3은 본 발명의 제1 실시예를 실시한 모습을 예시적으로 나타낸 것이다.
도 4는 본 발명의 제1 실시예에 있어서, 3차원정보를 얻는 방법을 나타낸 것이다.
도 5는 본 발명의 제2 실시예를 실시한 모습을 예시적으로 나타낸 것이다.
도 6은 본 발명의 제2 실시예에 있어서, 3차원 정보를 얻는 방법을 나타낸 것이다.
*도면의 주요부호 설명*
10…입력부
11…거리센서
12…이미지센서
20…제어부
21…프로세서
30…출력부
31…좌측출력부
32…우측출력부
본 발명은 시각정보를 청각정보로 변환하여 시각장애우들이 귀로 감지할 수 있는 소리의 변화를 통해 시각정보를 얻을 수 있도록 한 청각을 이용한 시각 재현 장치 및 제어방법에 관한 것이다. 보다 상세하게는, 다수개의 거리센서 또는 하나 이상의 이미지센서를 포함하는 입력부와 상기 입력부에 포함되는 다수개의 거리센서에 의해 감지되는 거리와 상기 거리센서가 배열된 위치 또는 상기 이미지센서에 의해 감지된 이미지데이터에 포함되는 다수개의 픽셀에 포함된 정보를 통해 다수개의 3차원정보를 생성하고, 상기 3차원정보를 바탕으로 다수개의 소리데이터를 생성하여, 좌측 및 우측 출력부에 구분하여 상기 소리데이터를 동시에 인식시키는 것을 특징으로 한다.
시각장애우들은 전방에 위치한 장애물통과, 계단통로이동 및 길찾기등은 시각을 제외한 촉각 및 청각등을 이용하는 것이 일반적이었다. 보다 상세하게는, 상기 시각장애우들은 시각장애우용 지팡이를 사용하여 장애물통과 및 계단확인등을 할 수 있었으며, 보행자통로에 부분부분 위치한 점자안내문이나 시각장애우용보도 블록을 이용하여 보행할 수 있었다. 상기 시각장애우용 지팡이는 소모되는 비용이 작아서, 모르는 길을 찾아갈 때에 보행에 있어서 발에 걸리는 장애물의 유무를 확인하거나, 계단 등 보행도로의 변형유무를 확인할 수 있는 장치로서 널리 사용되지만, 지팡이에 걸리거나 또는 타인에게 불쾌감을 조성할 수 있는 등, 상기 지팡이에 의해 오히려 더욱 시각장애우들이 위험해질 수 있는 단점이 있었다. 또한 지팡이에 의해서는 머리에 걸릴 수 있는 상부에 위치한 장애물을 감지할 수 없어, 상기 상부에 위치한 장애물에 의해 부상당할 위험이 있었다.
또는 특별훈련을 수행한 맹도견(盲導犬)의 도움을 받는 방법을 사용할 수 있으나, 상기 맹도견을 시각장애우들의 길안내를 위한 필수적 도우미로 인식되지 않고, 일반적인 애완견으로 취급받아 출입이 허용되지 않는 공간이 있어, 시각장애우들이 편리하게 사용할 수 없는 단점이 있었으며, 또한, 높은 비용에 의해 널리 사용되지 못하는 단점이 있었다.
상기와 같은 시각장애우들의 안전보행을 위한 장치 또는 방법들을 대치하기 위하여, 시각정보를 인지할 수 없는 시각장애우들이 보행 또는 활동할 때에 전방에 장애물이 존재할 경우, 상기 장애물에 대하여 인지할 수 있도록 보조하는 장치들이 개발되고 있다. 상기 장치들에 대한 예로는 종래의 장치로는 한국공개특허 제10-2003-0083031호(시각정보를 청각 정보로 변환하는 방법 및 그 장치)를 들 수 있다.
상기 한국공개특허 제10-2003-0083031호(시각정보를 청각 정보로 변환하는 방법 및 그 장치)는 도 1에 도시한 바와 같이, 시각정보를 주파수를 다르게 할당하 여 가청음으로 변환하여 제공하는 방식으로 시각정보를 청각 정보로 변환하는 방법 및 이를 이용하는 장치를 제시하고 있다. 상기 '시각정보를 청각 정보로 변환하는 방법 및 그 장치'는 물체까지의 거리에 따라 주파수를 다르게 할당하여 양측의 거리센서에 의해 다르게 감지되는 경로를 청각으로 변환하여 제공함으로써, 물체의 거리 및 위치를 시각 대신 청각을 이용하여 반복적인 학습을 통하여 알 수 있도록 하였으며, 전방의 물체에 대한 거리 및 위치정보를 얻기 위해 빔을 조사하고 반사파를 좌, 우로 이격된 장치에서 수신하여, 수신장치와 물체와의 거리정보를 가청음으로 구분하여 들려줌으로써, 사용자가 수신장치의 좌우 이격거리 및 좌우 귀에 인지되는 음색의 편차를 이용하여 물체의 거리 및 위치를 추정하게 하도록 하였다. 상기 '시각정보를 청각 정보로 변환하는 방법 및 그 장치'는 물체와의 거리를 주파수를 통해 나타냄으로써, 물체와의 거리를 인지할 수 있도록 한 장점이 있으나, 사용자 전방에 있는 물체의 한 점만을 인지하기 때문에, 전방의 상태를 전체적으로 인식할 수 없는 단점이 있었다.
따라서 시각장애우들이 시각정보에 대한 전체적인 데이터를 청각을 통해 인지할 수 있도록 하는 장치 및 방법이 개발되고 있다.
본 발명은 상기 문제점을 해결하기 위한 것으로서, 시각장애우들이 시각정보로서 받아들일 수 있는 전방의 시각정보를 청각정보로 변환하여 상기 시각정보를 전체적으로 인지할 수 있도록 하는 장치 및 방법을 제안하는 데에 그 목적이 있다.
또한 본 발명은 시각정보에 대한 3차원 정보를 생성하기 위하여, 다수개의 거리센서 또는 이미지센서를 포함하여, 상기 다수개의 거리센서를 통해 인식되는 다수개의 거리값과, 상기 거리센서가 배열된 위치를 통해 3차원 정보를 생성하거나 또는 적어도 하나 이상의 이미지센서를 통해 입력된 이미지데이터에 포함되는 다수개의 픽셀이 갖는 정보를 통해 3차원정보를 생성하는 장치 및 방법을 제안하는 데에 그 목적이 있다.
또한 상기 3차원정보를 소리의 파라미터인 크기, 높이, 음색(종류), 시차, 좌우측스피커를 이용한 스트레오사운드방법 중 세 개의 파라미터를 선택하여, 상기 3차원정보에 상기 선택한 소리의 파라미터를 각각 대비시켜, 상기 삼차원정보를 나타내는 소리데이터를 생성하고, 상기 3차원정보에 대한 각각의 소리데이터를 동시에 들려줌으로서, 동시에 들리는 다양한 소리를 듣고 사용자가 전방에 대한 전체적인 모습을 인식할 수 있도록 한 장치 및 방법을 제안하는 것을 목적으로 한다.
또한 사용자가 장치를 능숙하게 사용하는지에 대한 여부에 따라, 즉, 상기 다양한 소리가 혼합된 청각정보를 구분할 수 있는 능력에 따라, 상기 청각정보로 변환시키는 시각정보의 양을 조절할 수 있는 장치 및 방법을 제안하는 것을 목적으로 한다.
본 발명은 상기 목적을 달성하기 위하여, 주파수를 갖는 발신신호를 외부로 내보내는 송신부와 발신신호가 반사되어 되돌아오는 수신신호를 실시간으로 수신하는 수신부로 구성되는 다수개의 거리센서가 소정 간격으로 이격되어 배열되는 거리거리센서배열을 적어도 하나 이상 포함하는 입력부; 상기 발신신호가 송신부에 의해 발 신된 때부터 상기 발신신호가 반사되어 생성된 수신신호를 수신부에서 감지할 때까지의 시간인 수신시간을 측정하는 타이머와, 상기 발신신호 또는 수신신호의 특성과 상기 수신시간을 통해 상기 다수개의 거리센서에 대한 각각의 거리데이터를 생성하고, 상기 거리센서가 거리거리센서배열에 위치한 가로배열을 x축데이터로, 세로배열을 y축데이터로 하고, 상기 생성된 거리데이터를 z축데이터로 한 3차원 정보를 포함하는 거리프로파일이미지데이터(range profile image data)를 생성하고, 소리의 크기, 소리의 높이, 소리의 종류, 소리의 시차 및 스트레오 사운드중 선택하여, 상기 x축데이터, y축데이터 및 z축 데이터에 따라 상기 선택한 세 개의 파라미터가 변화하도록 상기 거리프로파일이미지데이터에 포함된 다수개의 3차원정보에 대한 각각의 소리데이터를 생성하고, 상기 다수개의 소리데이터를 통해 좌측출력부 및 우측 출력부에 출력되는 좌측 및 우측 청각데이터를 생성하는 디지털 신호 처리 장치(Digital Signal Processor : DSP) 또는 초소형 연산처리장치(Micro-processing unit : MPU) 중 어느 하나 이상을 포함하는 조합으로 구성되는 프로세서를 포함하는 제어부; 및 좌측 및 우측이 구분가능하도록 표시되어 있는 이어폰, 헤드폰 또는 골전도장치 중 어느 하나로 구성되고, 상기 좌측청각데이터 및 우측청각데이터를 사용자가 들을 수 있도록 출력하는 출력부;를 포함하는 청각을 이용한 시각재현장치를 제안한다.
상기 청각을 이용한 시각재현장치의 상기 입력부에 포함되는 거리센서의 주파수를 갖는 발신신호는 초음파, 적외선, 전자파, 레이저 중 어느 하나인 것이 바람직하다.
또한 상기 제어부는 상기 입력부에서 전송한 수신신호를 디지털 신호 처리 장치(Digital Signal Processor : DSP) 또는 초소형 연산처리장치(Micro-processing unit : MPU)에 의해 처리할 수 있도록 아날로그 신호에서 디지털신호로 변환하는 A/D컨버터(Analog/Digital Converter)를 추가적으로 포함하고, 수신부에서 수신신호를 감지하였을 때, 상기 수신신호를 생성한 발신신호를 구분하기 위하여, 상기 입력부의 송신부에서 외부로 방출하는 발신신호의 간격을 조절하는 펄스생성부를 추가적으로 포함하는 것이 바람직하다. 또한 거리프로파일이미지데이터의 일부분만을 소리데이터로 변환시키기 위하여, 상기 거리프로파일이미지데이터의 일부분을 조절하는 조절부를 추가적으로 포함하는 것이 바람직하다.
상기 거리데이터는 발신신호 또는 수신신호의 주파수 또는 진폭과 상기 수신시간을 2로 나눈값을 통해 생성되거나, 상기 거리데이터는 기온을 변수로 사용하는 음속계산법을 통해 생성한 음속데이터와 상기 수신시간을 2로 나눈값을 통해 생성되는 것이 바람직하다. 또한 상기 음속데이터를 생성하기 위하여, 음속계산법의 변수중 하나인 기온을 측정하기 위한 온도를 측정하여 디지털 형태의 데이터로 제어부에 전송할 수있는 온도계를 추가적으로 포함하는 것을 추가적으로 포함하는 것이 더욱 바람직하다. 더욱 바람직하게는 상기 거리데이터는 음속계산법에 사용되는 기온을 평균기온으로 설정하여, 상기 평균음속을 통해 생성될 수 있다.
또한 상기 입력부의 거리거리센서배열은 사용자를 중심으로 좌측과 우측에 소정거리를 두고 이격되어 위치하는 것이 바람직하다. 상기 x축중심의 좌측에 위치하는 x축데이터는 좌측에 위치한 거리거리센서배열에 포함된 거리센서에 의해 생성 되고, 우측에 위치하는 x축데이터는 우측에 위치한 거리거리센서배열에 의해 생성되는 것일 수 있다.
상기 소리데이터는 상기 y축데이터가 커질수록 소리의 높이가 커지고(주파수가 작아지고), 상기 z축데이터가 커질수록 소리의 크기(음압 또는 세기(intensity), 음압레벨(dB수))가 커지도록 생성하고, 상기 x축 중심의 좌측에 위치한 x축데이터를 갖는 거리프로파일이미지데이터에 대한 소리데이터는 좌측청각데이터로 생성하고, 우측에 위치한 x축데이터를 갖는 거리프로파일이미지데이터에 대한 소리데이터는 우측청각데이터로 생성하는 것이 바람직하다.
상기 출력부는 상기 거리프로파일이미지데이터에 대하여 생성된 다수개의 소리데이터를 통해 생성된 좌측 및 우측 청각데이터를 출력함에 있어서, 상기 좌측 및 우측 청각데이터에 포함된 다수개의 소리데이터를 동시에 출력하는 것이 바람직하다.
또한 본 발명은 이미지센서를 적어도 하나 이상 포함하는 입력부; 상기 이미지센서의 동작간격을 설정하는 펄스생성부와, 상기 이미지센서를 통해 입력된 이미지데이터에 포함되는 다수개의 픽셀이 상기 이미지데이터에 위치한 가로배열을 x축데이터로, 세로배열을 y축데이터로 하고, 상기 픽셀에 저장된 색상정보, 명암정보, 채도정보 및 상기 다수개의 이미지 센서의 특성을 통해 생성되는 상기 픽셀과 상기 픽셀이 가르키는 지점과의 거리를 z축데이터로 하는 3차원 정보를 생성하고, 소리의 크기, 높이, 종류, 시차 및 스트레오사운드중 어느 하나를 선택하여 상기 x축 데이터, y축데이터 및 z축데이터에 따라 상기 선택한 파라미터가 변화하는 상기 다 수 개의 픽셀에 대한 각각의 소리데이터를 생성하고, 상기 다수개의 소리데이터를 통해 좌측출력부 및 우측 출력부에 출력되는 좌측 및 우측 청각데이터를 생성하는 디지털 신호 처리 장치(Digital Signal Processor : DSP) 또는 초소형 연산처리장치(Micro-processing unit : MPU)를 포함하는 제어부; 좌측 및 우측이 구분가능하도록 표시되어 있는 이어폰, 헤드폰 또는 골전도장치 중 어느 하나로 사용가능하며, 상기 좌측청각데이터 및 우측청각데이터를 사용자가 들을 수 있도록 출력하는 출력부;를 포함하는 청각을 이용한 시각재현장치를 제안한다.
상기 제어부는 상기 입력부의 다수개의 이미지센서를 통해 인식된 값을 디지털 신호 처리 장치(Digital Signal Processor : DSP) 또는 초소형 연산처리장치(Micro-processing unit : MPU)에 의해 처리할 수 있도록 아날로그 신호에서 디지털신호로 변환하는 A/D컨버터(Analog/Digital Converter)를 추가적으로 포함하는 것이 바람직하다.
또한 상기 입력부는 사용자를 중심으로 좌측 및 우측에 위치하는 이미지센서를 포함하며, 상기 좌측이미지센서와 우측이미지센서는 같은 지점을 인식하도록 위치하는 것이 바람직하다. 또한, 상기 제어부는 상기 좌측이미지센서와 우측이미지센서가 동시에 동작하도록 펄스 생성부를 통해 제어하고, 상기 좌측이미지센서에 의해 인식된 것은 좌측이미지데이터로 생성하고, 우측이미지센서에 의해 인식된 것은 우측이미지데이터를 생성하는 것이 바람직하며, 상기 좌측 및 우측 이미지데이터에 포함된 픽셀의 색채정보, 명암정보, 채도정보등을 검토하여, 같은 지점을 나타내는 좌측이미지데이터에 포함된 픽셀과 우측이미지데이터에 포함된 픽셀을 인식 하고, 상기 같은 지점을 나타내는 픽셀이 좌측이미지데이터 및 우측이미지데이터에 배열된 위치와 상기 좌측 및 우측 이미지데이터를 생성한 좌측 및 우측 이미지센서의 간격을 통해 상기 z축데이터를 생성하는 것이 바람직하다.
상기 소리데이터는 상기 y축데이터가 커질수록 소리의 높이가 커지고(주파수가 작아지고), 상기 z축데이터가 커질수록 소리의 크기(음압 또는 세기(intensity), 음압레벨(dB수))가 커지도록 생성하고, 상기 x축 중심의 좌측에 위치한 x축데이터를 갖는 거리프로파일이미지데이터에 대한 소리데이터는 좌측청각데이터로 생성하고, 우측에 위치한 x축데이터를 갖는 거리프로파일이미지데이터에 대한 소리데이터는 우측청각데이터로 생성하는 것이 바람직하며, 상기 출력부는 상기 거리프로파일이미지데이터에 대하여 생성된 다수개의 소리데이터를 통해 생성된 좌측 및 우측 청각데이터를 출력함에 있어서, 상기 좌측 및 우측 청각데이터에 포함된 다수개의 소리데이터를 동시에 출력하는 것이 바람직하다.
또한 상기 이미지데이터를 통해 각각의 픽셀에 대한 색 또는 질감에 대한 데이터를 추가적으로 생성하고, 상기 소리데이터는 상기 색 또는 질감에 대한 데이터에 대비한 음색을 포함하는 것이 바람직하다.
또한 상기 제어부는 상기 적어도 하나 이상의 이미지 센서로부터 입력된 이미지데이터의 일부분만을 소리데이터로 변환시키기 위하여, 상기 거리프로파일이미지데이터의 일부분을 조절하는 조절부를 추가적으로 포함할 수 있다.
또한 상기 청각을 이용한 시각재현장치는 상기 입력부가 고글의 렌즈부분에 위치하고, 상기 출력부가 고글의 귀고정부에 근접하면서도 위치이동이 자유롭도록 위치한 고글 형상인 것일 수 있으며, 상기 입력부가 안경의 렌즈부분에 위치하고, 상기 출력부가 고글의 귀고정부에 근접하면서도 위치이동이 자유롭도록 위치한 안경 형상인 것일 수 있다.
또한 상기 입력부가 안경 또는 고글의 경첩부분에 위치하고, 상기 출력부가 고글의 귀고정부에 근접하면서도 위치이동이 자유롭도록 위치한 안경 또는 고글 형상인 것일 수 있다. 또한 상기 입력부 및 출력부가 헤드폰에 각각 구비된 헤드폰 형상인 것일 수 있다.
이하에는 첨부한 도면에 따라 본 발명에 대하여 보다 상세히 설명한다.
본 발명에서 제안하는 청각을 이용한 시각재현장치는 입력부, 제어부 및 출력부로 구성된다. 상기 입력부는 송신부와 수신부를 갖는 다수개의 거리센서를 배열한 적어도 하나 이상의 거리센서배열, 또는 적어도 하나 이상의 이미지센서로 구성할 수 있다.
상기 제어부는 디지털 신호 처리 장치(Digital Signal Processor : DSP) 또는 초소형 연산처리장치(Micro-processing unit : MPU)중 어느 하나 이상을 포함하는 조합으로 구성되는 프로세서를 포함한다. 상기 제어부는 거리센서의 송신부에 의해 방출된 발신신호가 반사되어 수신부에 수신신호로서 감지될때까지를 측정하는 타이머를 포함할 수 있다. 또한 상기 입력부에 의해 입력되는 수신신호를 아날로그 신호에서 디지털신호로 변경할 수 있도록 A/D컨버터(Analog/Digital Converter)를 추가적으로 포함할 수 있다. 또한 입력부가 동작되는 간격을 설정하는 펄스생성부 를 추가적으로 포함할 수 있으며, 상기 음속을 이용하여 거리를 측정하는 경우에 상기 음속을 구하기 위하여 필요한 변수 중 하나인 기온을 측정하기 위하여, 온도를 측정하여 얻어진 디지털 신호를 생성하는 온도측정부를 추가적으로 포함할 수 있다. 또한 사용자의 장치사용 능숙도, 즉 장치에 의해 인식되는 청각정보를 통해 전방의 시각정보를 파악할 수 있는 숙련도에 따라, 상기 청각정보로 변환시키는 시각정보를 한정하거나 혹은 확대시키는 조절부를 추가적으로 포함할 수 있다.
상기 펄스생성부는 입력부에서 발신신호가 방출되는 간격과 수신신호를 제어부에서 받아들이는 간격을 설정하는 부분이다. 상기 펄스생성부에 의해 발신신호의 간격을 다르게 설정하여 수신부에서 수신되는 수신신호가 어느 발신신호가 반사되어 되돌아온 신호인 지를 구분하는 것이 바람직하다. 본 발명에서 제안하는 청각을 이용한 시각재현장치는 실시간으로 전방에 대한 정보를 받아들인 후 이를 청각을 통해 인식할 수 있도록 청각정보로 변환하는 것을 특징으로 하므로, 멀리있는 물체와 가까이에 있는 물체에 의해 반사되어 수신부에 도달하는 시간이 다른 경우에 어느 발신신호에 의해 반사되어 도달된 것인지를 구분하는 것이 필요하다. 따라서 상기 발신신호의 간격을 달리 결정함으로서, 상기 도달된 수신신호의 간격으로 어느 발신신호에 의한 수신신호인지를 확인할 수 있다.
상기 타이머는 거리를 구하기 위하여 필요한 변수인 상기 거리센서의 송신부에서 발신신호를 외부로 방출한 때부터 상기 발신신호에 의한 수신신호가 수신될 때까지의 시간을 측정하기 위하여, 일정간격으로 숫자를 세는 부분이 된다. 상기 타이머는 발신신호가 외부로 방출된 때를 0으로 하고 일정간격에 따라 숫자를 세어 수신신호가 도달될 때까지를 측정하여, 수신시간을 결정지을 수 있도록 돕는다. 거리는 속력(또는 속도)과 시간을 곱하여 구할 수 있으므로, 상기 수신시간은 거리를 측정하기 위한 중요한 변수가 된다.
상기 A/D컨버터(Analog / Digital Converter)는 상기 거리센서배열에 배열된 센서의 수신부에 의해 수신되는 수신신호를 아날로그 신호 형태에서 디지털 신호 형태로 변환하는 부분이다. 상기 디지털 신호 처리 장치(Digital Signal Processor : DSP) 또는 초소형 연산처리장치(Micro-processing unit : MPU)에서 분석 및 계산등을 수행하기 위해서는 데이터가 이산연산이 가능하도록 디지털 신호형태이어야 하므로, 상기 A/D컨버터(Analog / Digital Converter)는 상기 아날로그 신호를 샘플링하여 디지털 신호형태로 변환시키는 기능을 수행한다.
상기 온도측정부는 물질팽창, 저항변화, 열기 전력발생등이 증폭 선형화함으로서 전기적인 신호로 처리되어 아날로그 또는 디지탈 신호로 변환되는 온도센서를 포함하는 것이 바람직하다. 상기 온도측정부는 앞서 설명한 바와 같이, 입력부에 있어서 주파수를 갖는 발신신호가 초음파인 경우에, 거리를 측정하기 위하여 필요한 변수인 음속을 보다 정밀하게 계산하기 위하여 필요한 기온을 측정하는 장치이다. 상기 온도측정부는 초음파를 사용하는 경우, 즉 음파를 상기 발신신호로 사용하는 경우에 추가적으로 제어부에 포함될 수 있다.
상기 조절부는 청각정보로 변환하는 시각정보의 양을 조절하는 부분이다. 만약 사용자가 본 발명에서 제안하는 청각을 이용한 시각재현장치를 사용하여 전방의 시각정보에 대한 청각정보를 받아들이는 경우, 상기 인식한 청각정보를 통해 시각 정보를 파악할 수 있는 숙련도에 따라, 상기 청각정보를 시각정보로서 제대로 인식할 수 없을 가능성이 있으므로, 상기 시각정보를 청각정보로 전환하는 부분을 조절하는 부분이다. 상기 조절부의 조절정도를 제어부의 프로세서가 인식하여, 상기 입력부에 의해 인식되는 시각정보 중 상기 조절부의 조절정도만큼만 청각정보로 변환한다.
상기 디지털 신호 처리 장치(Digital Signal Processor : DSP) 또는 초소형 연산처리장치(Micro-processing unit : MPU)중 어느 하나 이상을 포함하는 조합으로 구성되는 프로세서는 제어부에 있어서 가장 중요한 연산을 수행하는 부분이다. 장치의 원가절감 및 연산의 단순화를 위하여 상기 프로세서는 DSP로 구성하는 것이 더욱 바람직하며, 보다 바람직하게는 상기 DSP와 MPU를 혼용하여 구성할 수 있다. 상기와 같이, DSP와 MPU를 혼용하여 구성할 경우에는, 실시간 데이터 연산을 수행하기 위하여 보다 빠르게 연산을 수행할 수 있는 DSP는 연산을 수행하고, 명령 및 제어를 위해서는 상기 MPU를 사용하는 것일 수 있다.
상기 DSP는 아날로그 신호를 A/D컨버터를 통해 변환하여 얻어진 디지털 데이터에 대해 대수적인 연산을 함으로서, 필터링이나 스펙트럼분석등의 신호처리를 할 수 있도록 상기 디지털 데이터를 수학적으로 빨리 계산할 수 있는 연산 전문 반도체이다. 물론 MPU에서도 상기 수학 연산을 수행할 수 있으나, 전문적으로 수학 연산만을 수행하는 DSP에 비해 속도가 느리다. DSP는 디지털 신호를 고속으로 처리하기 위하여, 덧셈, 뺄셈, 곱셈 등의 반복 연산을 고속으로 처리할 수 있는 회로를 포함하고 있다. 처음에는 매우 제한적으로 사용되었으나, 최근에는 그 사용범위가 매우 넓어져, 음성신호를 디지털신호로 변환하는 음성 코딩에 사용되어, 디지털 이동통신, 자동 응답기, 화상 전화기 및 멀티미디어 각종 부분에 사용된다. 또한 수학 연산을 전문으로 하므로, 3차원 영상처리 및 애니메이션 분야에도 사용되며, 소형의 기계장치도 제어할 수 있다. 또한 통신을 위한 디지털 필터로서도 작용되며, MPU와 함께 사용하여 상기 MPU의 처리량을 줄여주는 역할도 수행한다.
상기 프로세서는 상기 입력부 및 타이머, 온도측정부, 조절부등에서 전송하는 여러 정보들을 조합 연산하여, 출력부에 전송할 우측청각데이터 및 좌측청각데이터를 생성한다.
상기 출력부는 상기 제어부의 프로세서에 의해 생성된 좌측청각데이터와 우측청각데이터를 사용자에게 인식시키는 장치로서, 상기 좌측청각데이터를 출력하는 좌측출력부와 상기 우측청각데이터를 출력하는 우측출력부로 구성된다. 상기 출력부는 좌측출력부와 우측출력부를 구분가능하도록 표시되어 있는 것이 바람직하다. 상기 출력부는 전송되는 전기적인 신호에 의해 진동판이 울리도록 구성되는 이어폰이나 헤드폰 등의 장치로서 구성할 수 있다. 또한 사람의 두개골에서 음진동(音振動)이 직접 내이(內耳) 림프로 전달되어 청신경을 자극함으로서 음감각을 생기게 하는 전도(傳導) 양식을 이용하는 골전도(骨傳導, bone conduction)장치로서 구성하는 것도 가능하다.
상기 청각을 이용한 시각재현장치는 도 3에 도시한 바와 같이, 고글형태로 구성할 수 있으며, 도시하지는 않았으나 안경형태 또는 헤드폰형태등으로 다양하게 구성할 수 있다. 입력부는 사용자의 전방을 바라보도록 구성하고, 출력부는 사용자 의 귀에 근접하도록 위치한다면, 어떤 형태이든 적용가능하다는 것은 자명하다.
보다 바람직하게는 상기 입력부가 송신부와 수신부를 포함하는 다수개의 거리센서로 구성되는 적어도 하나 이상의 거리센서배열로 구성될 경우에는 도 3에 도시한 바와 같이, 고글의 렌즈부분에 해당하는 부분에 구성하고, 상기 출력부는 고글의 귀고정부분에 위치하여, 귀에 근접하도록 위치하고, 상기 위치변환이 자유롭도록 구성되는 것일 수 있다. 또한 상기 출력부는 도 3에 도시한 것처럼 유선으로 연결될 수 있으며, 또는 무선으로 제어부와 연결되는 것일 수 있음은 자명하다.
또한 도 5에 도시한 바와 같이, 안경형태로 구성하는 것도 가능하다. 안경의 렌즈부분을 넓게 위치하여 거리센서배열을 구성하고, 출력부는 상기 고글형태인 것과 같이 귀에 근접하고 위치변환이 자유롭도록 위치하는 것일 수 있다.
또한 입력부의 거리센서배열을 좌측 및 우측에 각기 하나 이상씩 위치하도록 구성하거나 또는 상기 입력부를 사용자를 중심으로 좌측 및 우측에 위치하는 적어도 하나 이상의 이미지센서로 구성한다면, 입력부를 안경이나 고글의 경첩부분에 위치하도록 구성할 수 있다. 이외에도 장치를 사용자가 장착하였을 때, 타인에게 어색하게 보이지 않도록 구성되는 형태라면 어떤 형태이든지 본 발명을 적용할 수 있다는 것은 자명하다.
제1 실시예
도 2는 본 발명의 제1 실시예에 해당하는 장치구성도의 예시를 나타낸 것이다. 도 3은 본 발명의 제1 실시예를 실시한 모습을 예시적으로 나타낸 것이다.
본 발명의 제1 실시예는 송신부와 수신부로 구성되는 다수 개의 거리센서를 일정 간격으로 배열한 적어도 하나 이상의 거리센서배열로 구성된 입력부를 갖는 청각을 이용한 시각재현장치를 제안한다.
제1 실시예에서의 상기 입력부는 거리를 측정할 수 있도록 주파수(펄스)를 갖는 발신신호를 외부로 방출하는 송신부와 상기 발신신호가 전방에 위치한 물체에 의해 반사된 수신신호를 수신하는 수신부로 구성되는 다수 개의 거리센서를 일정 간격으로 배열한 거리센서배열을 적어도 하나 이상 포함한다.
상기 주파수를 갖는 발신신호로는 초음파, 적외선, 레이저, 전자파(electromagnetic wave)등이 있으며, 특히, 상기 초음파는 거리를 측정하기 위한 목적으로 자주 사용되는 발신신호이다. 또한 상기 적외선은 가까운 거리에 위치한 물체와의 거리를 감지할 수 있으며, 반사된 신호를 통해 물체의 색이 밝은지 어두운지를 감지할 수 있다.
상기 초음파(超音波, ultrasonic wave)는 사람의 귀에 들리는 음(音)의 주파수 이상으로서 일반적으로는 약 16000㎐이상의 음파이며, 상기 적외선(赤外線, infrared rays)은 가시광선에 이어지는 파장범위가 약 0.75㎛∼1㎜정도인 전자기파로서 빛의 스펙트럼에서는 적색 부분의 바깥쪽에 해당한다. 또한 레이저(laser)는 상기 파장영역에 따라 자외레이저·가시레이저·적외레이저·원적외레이저 있으며, 동작매질에 관해서는 기체·고체·액체·반도체 각각의 종류가 있다.
거리를 측정하기 위하여 주로 사용되는 초음파 센서의 발신신호인 상기 초음파는 물체가 투명하거나 불투명하거나 상관치 않으며, 금속성 또는 비금속성, 액체 상태 또는 고체상태, 분상같은 것이 상관치 않으며, 환경적 조건에 의해 초음파의 수신거리가 좁아지는 문제점이 발생하지 않는 장점이 있다.
초음파는 명칭에서 나타나는 바와 같이, 음파이므로 기온을 변수로 하는 음속계산법을 통해 생성한 음속을 이용하여 보다 손쉽게 거리를 감지할 수 있다.
상기 음속 계산법은 수학식1에 나타낸 바와 같다.
평균기온이 25℃라고 가정한다면 음속은 상기 계산법에 의하여, 346㎧라고 가정할 수 있다. 상기와 같이 구해진 음속과 발신된 때부터 수신된 때까지의 시간까지의 시간을 측정하여, 상기 시간의 절반값을 곱하여 거리를 구할 수 있다.
이하에서는 초음파센서를 중심으로 제1 실시예를 설명한다.
입력부는 송신부와 수신부로 구성되는 다수 개의 거리센서를 일정 간격으로 이격하여 배열한 적어도 하나 이상의 거리센서배열로 구성될 수 있으며, 상기 거리센서배열에 있어서, 상기 거리센서의 간격은 상기 센서의 특성 즉, 거리센서의 감지각도등을 고려하여 결정하는 것이 바람직하다. 이는 다른 송신기에서 발신된 발신신호가 반사된 수신신호에 의해 간섭이 일어나는 것을 방지하기 위함이다. 초음파센서의 경우에는 약 45°의 감지각도를 갖고 있으며, 45°를 벗어난 값일 경우에는 정확도가 떨어진다. 초음파센서의 경우에는 간섭에 의한 오류가 일어날 가능성이 높으므로, 상기 간격을 결정하는 것은 중요하다.
또한 보다 넓은 범위의 전방을 인식할 수 있도록 거리센서배열의 중심을 기준으로 우측에 위치한 거리센서는 우측에 치우치도록 좌측에 위치한 거리센서는 좌측에 치우치도록 방향을 결정하는 것이 바람직하며, 중심으로부터 멀리 떨어져서 위치한 거리센서일수록, 우측 또는 좌측에 보다 더 치우치는 것이 바람직하다. 또한 거리센서배열의 중심을 기준으로 상측에 위치한 거리센서는 상측에 치우치도록 하측에 위치한 거리센서는 하측에 치우치도록 방향을 결정하는 것이 바람직하며, 중심으로부터 멀어질수록 상측 또는 하측에 보다 더 치우치는 방향을 갖는 것이 바람직하다.
상기 거리센서배열에 배열되는 센서는 도 3에 도시한 바와 같이, 16열×16행일 수 있으며, 보다 넓은 범위를 인식하기 위해서 상기 예시로 든 것보다 더 많은 센서로서 거리센서배열을 구성할 수 있음은 자명하다.
상기 거리센서배열에 배열된 센서는 제어부에 포함될 수 있는 펄스생성부에 의해 동작하며, 보다 자세하게는 상기 센서의 발신부는 일정 규칙을 갖도록 발신신호를 외부로 방출하며, 상기와 같이 발신신호가 어느 규칙을 갖도록 발신하는 까닭은 수신부에서 수신신호를 감지하였을 때, 상기 수신신호가 어떤 발신신호가 반사되어 생성된 수신신호인지를 용이하게 판단할 수 있도록 하기 위함이다.
제어부의 타이머는 상기 발신신호가 방출된 때로부터 수신부가 상기 발신신호에 대한 수신신호를 감지할 때까지를 측정하여 이를 수신시간으로 생성하고, 상기 수신시간을 제어부의 프로세서에 전송한다.
상기 제어부의 프로세서는 상기 각각의 센서에 대한 수신시간을 인식하여, 상기 각각의 수신시간을 통해 상기 센서와 반사된 물체와의 거리를 거리데이터로서 생성한다. 상기 센서와 반사된 물체와의 거리는 상기 수신시간과, 상기 센서의 발신신호 및 수신신호의 특성에 의한 신호의 속력을 통해 얻어질 수 있다. 입력부의 센서가 초음파센서의 경우에는 음속과 상기 수신시간을 통해 거리데이터를 생성할 수 있다. 상기 음속은 특정값으로 미리 설정할 수 있으며, 또는 앞서 언급한 바와 같이, 기온을 변수로 하는 음속계산법을 통해, 보다 정확한 초음파의 속력을 구할 수 있다. 상기 제어부는 음속계산법을 통해 초음파의 속력을 구하기 위하여, 기온을 측정하는 온도측정부를 추가적으로 포함할 수 있다.
상기 거리센서배열에 일정간격으로 이격되어 배열된 센서의 위치와, 상기 각각의 센서에 의해 생성된 수신시간을 통해 생성된 거리데이터를 대비하여 3차원정보를 포함하는 거리프로파일이미지데이터(range profile image data)를 생성한다. 상기 센서의 위치를 통해 상기 거리프로파일이미지데이터의 x축(가로)과 y축(높이)이 결정하며, 상기 거리데이터를 통해 상기 거리프로파일이미지데이터의 z축(세로)이 결정함으로써 3차원정보를 구성한다. 이후, 소리의 파라미터인 크기, 높이, 종류(음색), 시차 및 좌우측 출력부에 다른 크기로 소리를 출력함으로서 나타나는 스트레오사운드 중 세 개의 파라미터를 선택하여, 상기 x축데이터, y축데이터 및 z축데이터에 따라 값이 변화하도록 한 소리데이터를 생성한다. 상기 소리의 크기는 음압, 세기(intensity) 또는 음압레벨(dB수) 중 어느 하나로서 나타낼 수 있으며, 상기 소리의 높이는 주파수로서 나타낼 수 있다. 또한 소리의 종류(음색)은 악기의 소리, 즉, 바이올린, 첼로 등의 현악기 피아노, 오르간등의 건반악기, 플룻, 트럼 펫등의 관악기등으로 구분되도록 나타낼 수 있다. 또한 상기 시차는 모르스부호처럼 소리가 발생되는 간격을 의미한다. 바람직하게는, 상기 상기 y축데이터의 변화는 소리의 높이로, z축데이터의 변화는 소리의 크기로 나타내고, x축데이터의 변화는 스트레오사운드로 나타내는 것일 수 있다.
도 4는 거리프로파일이미지데이터의 x축과 z축을 예시적으로 도시한 것이다. 도 4에 도시한 바와 같이, 가로 16열(A~Q), 높이 16행(101~116)으로 배열한 센서에서 발신된 발신신호는 직진하여 반사되어 수신신호로 변환되어 수신부에 의해 감지된다. 상기 각 센서의 위치에 의해 거리프로파일이미지데이터의 x축(A~Q)과 z축(101~116)이 결정된다. 상기 A101내지 Q116에 위치한 센서에 있어서, 상기 수신시간이 결정되면, 상기 수신시간에 따라 상기 각 물체와 센서와의 거리가 결정되며, 상기 거리가 y축이 된다.
상기와 같이, 거리프로파일이미지데이터에 의해 상기 A101내지 Q116의 256개의 값에 대한 소리데이터를 생성한다.
상기 소리데이터를 생성하는 과정의 예시는 다음과 같다.
상기 소리데이터는 y축에 있어서 아래쪽에 위치할수록 낮은 크기를 갖는다. 상기 소리데이터의 크기는 사용자가 느끼는 귀의 압력을 의미하며, 음압, 세기(intensity), 음압레벨(dB수)에 의해 나타내질 수 있다. 또한 상기 소리데이터는 z축에 있어서 작은 값을 가질 수록 높은 높이(작아지는 주파수, frequency)를 갖는다. 상기 소리데이터의 크기는 소리의 음계를 의미하며, 주파수로 나타내어질 수 있다.
상기와 같이 A101내지 Q116에 대비한 즉, 각 거리프로파일이미지데이터에 대비한 소리데이터를 생성하며, 상기 거리프로파일이미지데이터의 x축 중심을 기준으로 좌측에 위치한 소리데이터를 통해 좌측청각데이터를 생성하고, 우측에 위치한 소리데이터를 통해 우측청각데이터를 생성한다.
도 4를 예로 들면, A열에서 I열에 대비되는 소리데이터를 통해 좌측청각데이터로 생성되고, J열에서 Q열에 대비되는 소리데이터를 통해 우측청각데이터를 생성한다. 상기 소리데이터를 통해 좌측 또는 우측청각데이터를 생성하는 방법은 상기 각각의 소리데이터의 합이라고 설명할 수 있으며, 각각의 소리데이터를 동시에 출력부에 전송하는 것을 의미한다.
만약 사용자의 전방이 도 4와 같다면, 사용자는 좌측출력부를 통해 큰 크기의 낮은음과 작은크기의 높은음을 갖는 A101~I116에 해당되는 소리데이터를 들을 수 있을 것이다. 또한 우측출력부를 통해서는 J101~Q116에 해당하는 소리데이터를 들을 수 있을것이다. 상기 J101~Q116에 해당하는 소리데이터는 좌측보다는 멀지만 비교적 사용자에게 가까이 위치한 쪽은 하부쪽이며, 좌측보다는 약간 높은 하부를 포함하고 있으므로, 좌측보다는 크지않은 큰 크기이며, 좌측보다는 낮지않은 낮은음을 포함하고, 좌측보다 작은 작은 크기이며, 좌측보다 높지않은 높은 음을 포함하게 될 것이다. 상기와 같은 경우에 사용자는 정확히 무엇인지는 분간할 수 없지만, 좌측과 우측출력부에 의해 좌측하부에 사용자와 가장 가까운 무언가가 있음을 인식할 수 있게 될 것이다.
또한 사용자의 훈련정도에 따라 상기 좌측 및 우측 출력부에 의해 출력되는 각각의 소리데이터를 구분할 수 있게되어 보다 정확히 전방을 인식할 수 있다. 사용자가 상기 소리데이터를 구분할 수 있는 장치 사용의 숙련도에 따라 청각정보로 변환하는 시각정보의 양을 조절할 수 있다. 상기 시각정보의 조절은 가까운 거리에 위치한 전방의 시각정보에 대해 청각정보로 변환하거나 또는 초점을 맞춰 중앙에 위치하는 시각정보에 대해 청각정보로 변환하는 방법이 있을 수 있다. 그러나 이는 예시일 뿐이며, 시각정보의 양을 조절하는 방법은 보다 다양한 방법으로도 가능하다는 것은 자명하다. 상기 장치를 통해 청각정보를 인식하는 사용자의 숙련도에 따라 청각정보로 변환시키는 시각정보의 양을 보다 많아지도록 조절할 수 있다.
제2 실시예
본 발명의 제2 실시예는 적어도 하나 이상의 이미지센서로 구성되는 입력부를 포함하는 청각을 이용한 시각재현장치를 제안한다. 도 5는 제2 실시예를 실시한 모습을 예시적으로 나타낸 것이다.
상기 이미지센서는 CCD(Charge Coupled Device;전하결합소자) 또는 CMOS기술을 이용할 수 있다. 상기 CCD(Charge Coupled Device;전하결합소자)는 이미지센서 즉, 카메라를 설계하거나 제조하는데에 오랫동안 사용된 기술로서, 고품질의 카메라에 주로 적용되는 기술이다. 상기 CCD(Charge Coupled Device;전하결합소자)는 낮은 조명 조건에서도 뛰어난 품질의 이미지를 생성할 수 있는 뛰어난 조명감도와, CMOS기술에 비해 뛰어난 색상 및 선명한 이미지를 얻을 수 있는 장점이 있다. 또한 낮은 배경소음을 갖는 장점이 있다. 상기 CCD(Charge Coupled Device;전하결합소 자)는 이미지센서가 사용되는 여러 장치에 널리 사용되는 방법이다. 또한 상기 CMOS기술은 메모리나 마이크로프로세서등과 같은 칩이 제조되는 표준기술로서, 상기 CCD기술보다는 보다 용이하게 사용될 수 있다. 상기 CMOS기술은 표준공정으로 인해 상기 CCD기술에 비해 특수한 구성요소를 필요로 하지 않으며, 비용을 많이 요하지 않는다는 장점이 있다. 또한 작은 크기의 카메라를 제조하기에 용이한 장점이 있다. 본 발명에서 제안하는 청각을 이용한 시각재현장치의 입력부에 포함되는 이미지센서의 기술은 상기 두 방법 모두 적용가능하다는 것은 자명하다.
상기 이미지센서는 상기 이미지(영상)정보를 디지털 형태로서 저장하며, 상기 이미지정보는 다수의 픽셀로 구성되며, 상기 픽셀에는 상기 픽셀의 위치 및 상기 픽셀을 나타내는 컬러정보, 명암정보, 채도정보 등을 포함할 수 있다.
상기 입력부에 구성하는 이미지센서가 두 개 이상이라면, 보다 적은 연산을 수행하기 위하여 상기 두 개 이상의 이미지센서는 서로 같은 특성을 갖는 것이 바람직하다.
이미지센서에 의해 입력되는 전방에 대한 이미지에 대한 데이터인 이미지데이터는 다수개의 픽셀을 포함하며, 상기 각각의 픽셀에 포함된 컬러정보, 명암정보, 및 채도정보와 상기 이미지센서의 초점특성, 조리개특성등을 통해 상기 이미지센서와 각 픽셀에 나타내어진 부분과의 거리를 측정할 수 있다.
보다 바람직하게는 보다 정확한 3차원 정보를 얻기 위하여, 상기 적어도 두 개 이상의 이미지센서를 포함하여, 상기 두 이미지센서 사이의 거리와 상기 두 이미지 센서를 통해 생성된 이미지데이터를 통해 거리를 측정하는 것일 수 있다. 상 기와 같이 두 개 이상의 이미지 데이터를 통해 3차원정보를 얻는 방법은 상기 이미지 센서 외에 특별한 장비를 요구하지 않는 반면, 상기 이미지 센서에 의해 생성된 이미지 데이터에 포함되어 있는 각각의 픽셀에 대한 계산을 수행하여야 하므로, 계산량이 많은 단점이 있다. 그러나 인간의 시각처리방법과 유사한 3차원인식방법으로서, 보다 정확한 3차원정보를 얻을 수 있으므로, 3차원구현을 위하여 자주 사용되는 방법이다. 이하에는 상기 두 이미지 데이터를 통해 3차원정보를 얻는 과정을 서술한다.
소정 간격으로 이격되어 배열되고, 같은 방향을 보도록 위치한 두개의 이미지센서를 포함하는 입력부에 의해, 두개의 이미지 데이터를 생성하여 이를 제어부에 전송한다. 상기 두개의 이미지 데이터는 동시에 생성되는 것이 바람직하며, 연속적으로 소정의 시간간격마다 생성되는 것이 바람직하다. 상기 두 개의 이미지 센서는 사용자를 중심으로 좌측 및 우측에 위치하는 것이 더욱 바람직하다.
상기 제어부는 각 픽셀의 정보를 포함하는 두 개의 이미지 데이터를 수신하여, 상기 두 이미지 데이터에 포함된 픽셀정보를 분석하여, 같은 지점을 나타내는 부분을 검색한다.
보다 상세히 설명하면, 상기 좌측이미지센서에 의해 생성된 좌측이미지데이터와 우측이미지센서에 의해 생성된 우측이미지데이터에 포함된 각각의 픽셀이 가진 정보에 포함된 특징점을 분석하며, 교차되는 점, 경계선, 모서리 골, 면적등의 주위와 다른 정보를 갖는 픽셀의 연속점들을 통해, 상기 특징점을 인식한다. 어느 한 이미지데이터의 특징점이 다른 이미지데이터의 특징점과 같은 지점을 나타내는 대응점인지를 검토한다. 상기 대응점에 대한 검토는 밝기정보의 변화가 비슷하거나 동일한 영역의 분석, 밝기정보의 유사성등을 변수로 하여 수행될 수 있다.
상기와 같이 좌측이미지데이터의 특징점과 우측이미지데이터의 대응점을 인식한 후, 상기 두 개의 이미지 데이터의 대응점에 대한 2차원 변위를 검토한 후, 상기 2차원 변위와 상기 두 개의 이미지 데이터를 생성한 두 개의 이미지 센서 사이의 간격을 이용하여, 상기 두 개의 이미지 센서와 상기 각각의 2차원 변위를 나타내는 지점과의 거리를 계산하여, 이를 거리데이터로 생성한다.
도 6는 상기 이미지센서를 통해 생성된 이미지데이터에 포함된 픽셀이 갖는 정보를 통해 거리데이터를 생성하는 방법을 나타내기 위하여, 간략하게 그 구성도를 나타낸 것이다.
도 6a에 도시한 바와 같이, 이미지1(우측)의 (x1, y1)과 이미지2(좌측)의 (x2, y2)는 외부공간 w를 나타내고 있다. 이미지센서의 초점을 중심으로 x1은 w의 X1좌표와 대응되고, x2는 w의 X2좌표와 대응된다. 따라서 수학식 2에 의한 방법으로 이미지센서와 w와의 거리를 구할 수 있으며, 상기 거리는 Z로 나타내어진다. 수학식 2의 'B'는 5a 및 도 6b에 도시한 바와 같이, 두 이미지 센서 사이의 거리를 의미한다.
상기와 같은 방법 외에도, 두 개의 이미지데이터를 겹쳐서 분석한 후, 상기 두 이미지데이터의 불일치점을 찾아내고, 상기 두 이미지데이터의 불일치점을 나타낸 불일치이미지(Disparity Image)를 생성하여, 상기 불일치이미지에 필터링을 수행하여, 명암이나 색채등을 나타내는 변수를 통해 거리를 나타내는 이미지(Depth Image)로 변환한 후, 상기 거리이미지를 통해 거리데이터를 계산해내는 방법을 사용할 수 있다. 상기의 경우에는 상기 이미지센서의 초점거리, 상기 거리이미지의 가로 및 세로의 최대값과 이미지데이터의 가로 및 세로의 최대값을 사용하여 상기의 비율로서 상기 거리데이터를 생성하는 방법일 수 있다.
도 6c는 불일치이미지와 상기 불일치 이미지를 필터링을 통해 거리이미지로 나타낸 것을 도시한 것이다. 도 6c의 왼쪽이미지는 원본 불일치 이미지로서 색채와 밝기등으로 명암이 구분되고 있다. 또한 도 6c의 중간이미지는 상기 도 6c의 왼쪽이미지에 필터링(Post-Processing)을 수행하여 불규칙하게 나타나는 픽셀값을 보다 규칙적으로 나타낸 것이다. 도 6d의 우측에 도시한 것은 도 6c의 왼쪽이미지에 대한 불일치한 정도를 수치로 나타낸 것이다. 또한 도 6c의 오른쪽이미지는 상기 도 6c의 중간이미지에 필터링(Post-Processing)을 수행하여 거리이미지로 변환한 것이다. 도 6c의 오른쪽이미지에 도시한 바와 같이, 사용자와의 거리가 가까운 곳은 보다 작은 명암값으로 표기하고, 사용자와의 거리가 먼 곳은 큰 명암값을 갖도록 표기하였다. 도 6e의 우측에 도시한 것은, 상기 도 6d의 오른쪽이미지에 포함된 각 픽셀의 거리데이터를 수치로 표기한 것이다. 수치가 커질수록 상기 픽셀이 나타내는 지점과 사용자와의 거리가 멀다는 것을 나타낸다.
제어부의 프로세서는 적어도 하나 이상의 이미지센서를 포함하는 입력부로부터 전송되어온 적어도 하나 이상의 이미지데이터를 상기와 같은 방법으로 분석하여, 상기 이미지 데이터에 포함된 각 픽셀에 대하여 상기 픽셀이 나타내는 지점에 대한 3차원정보를 생성한다.
이후, 상기 제1 실시예와 동일한 방법으로 상기 다수개의 3차원정보에 대한 소리데이터를 각각 생성한다. 보다 상세히 설명하자면, 소리의 크기, 높이, 종류, 시차 및 스트레오사운드 중 선택하여, 상기 3차원정보에 따라 상기 선택한 세 개의 파라미터가 변화되도록 소리데이터를 생성한다.
더욱 바람직하게는 상기 소리데이터는 상기 거리데이터(제2 실시예의 설명중에는 z좌표)가 커질수록 높이가 작아지며(주파수가 커지며), 이미지데이터에서 상 측에 위치할수록 (제2 실시예의 설명중에는 y좌표값이 커질수록) 크기가 커지도록 생성한다. 또한 우측에 위치한 픽셀(제2 실시예의 설명중에는 x좌표를 기준)에 대한 소리데이터의 합을 우측청각데이터로서 생성하고, 좌측에 위치한 픽셀에 대한 소리데이터의 합을 좌측청각데이터로서 생성한다.
이후 상기 제어부는 상기 우측청각데이터와 좌측청각데이터를 출력부에 전송한다.
상기 제1 실시예에서와 같이, 사용자가 상기 소리데이터를 구분할 수 있는 장치 사용의 숙련도에 따라 청각정보로 변환하는 시각정보의 양을 조절할 수 있다. 상기 시각정보의 조절은 가까운 거리에 위치한 전방의 시각정보에 대해 청각정보로 변환하거나 또는 초점을 맞춰 중앙에 위치하는 시각정보에 대해 청각정보로 변환하는 방법이 있을 수 있다. 그러나 이는 예시일 뿐이며, 시각정보의 양을 조절하는 방법은 보다 다양한 방법으로도 가능하다는 것은 자명하다. 상기 장치를 통해 청각정보를 인식하는 사용자의 숙련도에 따라 청각정보로 변환시키는 시각정보의 양을 보다 많아지도록 조절할 수 있다.
본 발명은 다수개의 거리센서 또는 적어도 하나 이상의 이미지센서를 통해 전방의 시각정보를 전체적으로 감지하고, 상기 시각정보를 3차원정보로 구성하여, 상기 3차원정보를 청각정보로 전환하여 사용자에게 들려줌으로서, 사용자가 청각정보로 표현된 3차원시각정보를 전체적으로 인식할 수 있는 장점이 있다.
또한 본 발명은 사용자의 숙련도에 따라 인식되는 다수 개의 소리데이터를 구분하여, 보다 전체적인 시각정보를 얻을 수 있도록 하였으며, 거리가 가까운 지점에 대한 소리데이터는 큰 소리가 나도록 하여, 사용자의 인식정도가 높아지도록 한 장점이 있다.
또한 물체의 좌우 위치를 좌측 출력부 및 우측 출력부로 구분하여 방출함으로 물체의 좌우위치를 구분할 수 있도록 하였으며, 물체와의 거리, 물체의 높이는 크기, 높이, 종류, 시차 중 선택되는 두개의 소리의 파라미터를 통해 나타냄으로서, 전방에 위치한 시각정보를 전체적으로 인식하여 보다 안전한 보행을 할 수 있는 장점이 있다.
Claims (26)
- 주파수를 갖는 발신신호를 외부로 내보내는 송신부와 발신신호가 반사되어 되돌아오는 수신신호를 실시간으로 수신하는 수신부로 구성되는 다수개의 거리센서가 소정 간격으로 이격되어 배열되는 거리거리센서배열을 적어도 하나 이상 포함하는 입력부;상기 발신신호가 송신부에 의해 발신된 때부터 상기 발신신호가 반사되어 생성된 수신신호를 수신부에서 감지할 때까지의 시간인 수신시간을 측정하는 타이머와, 상기 발신신호 또는 수신신호의 특성과 상기 수신시간을 통해 상기 다수개의 거리센서에 대한 각각의 거리데이터를 생성하고, 상기 거리센서가 거리거리센서배열에 위치한 가로배열을 x축데이터로, 세로배열을 y축데이터로 하고, 상기 생성된 거리데이터를 z축데이터로 한 3차원 정보를 포함하는 거리프로파일이미지데이터(range profile image data)를 생성하고, 소리의 크기, 소리의 높이, 소리의 종류, 소리의 시차 및 스트레오 사운드중 선택하여, 상기 x축데이터, y축데이터 및 z축 데이터에 따라 상기 선택한 세 개의 파라미터가 변화하도록 상기 거리프로파일이미지데이터에 포함된 다수개의 3차원정보에 대한 각각의 소리데이터를 생성하고, 상기 다수개의 소리데이터를 통해 좌측출력부 및 우측 출력부에 출력되는 좌측 및 우측 청각데이터를 생성하는 디지털 신호 처리 장치(Digital Signal Processor : DSP) 또는 초소형 연산처리장치(Micro-processing unit : MPU) 중 어느 하나 이상을 포함하는 조합으로 구성되는 프로세서를 포함하는 제어부; 및좌측 및 우측이 구분가능하도록 표시되어 있는 이어폰, 헤드폰 또는 골전도장치 중 어느 하나로 구성되고, 상기 좌측청각데이터 및 우측청각데이터를 사용자가 들을 수 있도록 출력하는 출력부;를 포함하는 청각을 이용한 시각재현장치.
- 제 1항에 있어서,상기 입력부에 포함되는 거리센서의 주파수를 갖는 발신신호는 초음파, 적외선, 전자파, 레이저 중 어느 하나인 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 1항에 있어서,상기 제어부는 상기 입력부에서 전송한 수신신호를 디지털 신호 처리 장치(Digital Signal Processor : DSP) 또는 초소형 연산처리장치(Micro-processing unit : MPU)에 의해 처리할 수 있도록 아날로그 신호에서 디지털신호로 변환하는 A/D컨버터(Analog/Digital Converter)를 추가적으로 포함하는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 1항에 있어서,상기 제어부는 수신부에서 수신신호를 감지하였을 때, 상기 수신신호를 생성한 발신신호를 구분하기 위하여, 상기 입력부의 송신부에서 외부로 방출하는 발신신호의 간격을 조절하는 펄스생성부를 추가적으로 포함하는 것을 특징으로 하는 청 각을 이용한 시각재현장치.
- 제 1항에 있어서,상기 제어부는 거리프로파일이미지데이터의 일부분만을 소리데이터로 변환시키기 위하여, 상기 거리프로파일이미지데이터의 일부분을 조절하는 조절부를 추가적으로 포함하는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 1항에 있어서,상기 거리데이터는 발신신호 또는 수신신호의 주파수 또는 진폭과 상기 수신시간을 2로 나눈값을 통해 생성되는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 1항에 있어서,상기 거리데이터는 기온을 변수로 사용하는 음속계산법을 통해 생성한 음속데이터와 상기 수신시간을 2로 나눈값을 통해 생성되는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 7항에 있어서,상기 제어부는 상기 음속데이터를 생성하기 위하여, 음속계산법의 변수중 하나인 기온을 측정하기 위한 온도를 측정하여 디지털 형태의 데이터로 제어부에 전 송할 수있는 온도계를 추가적으로 포함하는 것을 추가적으로 포함하는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 7항에 있어서,상기 거리데이터는 음속계산법에 사용되는 기온을 평균기온으로 설정하여, 상기 평균음속을 통해 생성되는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 1항에 있어서,상기 입력부의 거리거리센서배열은 사용자를 중심으로 좌측과 우측에 소정거리를 두고 이격되어 위치하는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 10항에 있어서,상기 x축중심의 좌측에 위치하는 x축데이터는 좌측에 위치한 거리거리센서배열에 포함된 거리센서에 의해 생성되고, 우측에 위치하는 x축데이터는 우측에 위치한 거리거리센서배열에 의해 생성되는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 1항에 있어서,상기 소리데이터는 상기 y축데이터가 커질수록 소리의 높이가 커지고(주파수가 작아지고), 상기 z축데이터가 커질수록 소리의 크기(음압 또는 세기 (intensity), 음압레벨(dB수))가 커지도록 생성하고, 상기 x축 중심의 좌측에 위치한 x축데이터를 갖는 거리프로파일이미지데이터에 대한 소리데이터는 좌측청각데이터로 생성하고, 우측에 위치한 x축데이터를 갖는 거리프로파일이미지데이터에 대한 소리데이터는 우측청각데이터로 생성하는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 1항에 있어서,상기 출력부는 상기 거리프로파일이미지데이터에 대하여 생성된 다수개의 소리데이터를 통해 생성된 좌측 및 우측 청각데이터를 출력함에 있어서, 상기 좌측 및 우측 청각데이터에 포함된 다수개의 소리데이터를 동시에 출력하는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 이미지센서를 적어도 하나 이상 포함하는 입력부;상기 이미지센서의 동작간격을 설정하는 펄스생성부와, 상기 이미지센서를 통해 입력된 이미지데이터에 포함되는 다수개의 픽셀이 상기 이미지데이터에 위치한 가로배열을 x축데이터로, 세로배열을 y축데이터로 하고, 상기 픽셀에 저장된 색상정보, 명암정보, 채도정보 및 상기 다수개의 이미지 센서의 특성을 통해 생성되는 상기 픽셀과 상기 픽셀이 가르키는 지점과의 거리를 z축데이터로 하는 3차원 정보를 생성하고, 소리의 크기, 높이, 종류, 시차 및 스트레오사운드중 어느 하나를 선택하여 상기 x축 데이터, y축데이터 및 z축데이터에 따라 상기 선택한 파라미터 가 변화하는 상기 다수 개의 픽셀에 대한 각각의 소리데이터를 생성하고, 상기 다수개의 소리데이터를 통해 좌측출력부 및 우측 출력부에 출력되는 좌측 및 우측 청각데이터를 생성하는 디지털 신호 처리 장치(Digital Signal Processor : DSP) 또는 초소형 연산처리장치(Micro-processing unit : MPU)를 포함하는 제어부;좌측 및 우측이 구분가능하도록 표시되어 있는 이어폰, 헤드폰 또는 골전도장치 중 어느 하나로 사용가능하며, 상기 좌측청각데이터 및 우측청각데이터를 사용자가 들을 수 있도록 출력하는 출력부;를 포함하는 청각을 이용한 시각재현장치.
- 제 14항에 있어서,상기 제어부는 상기 입력부의 다수개의 이미지센서를 통해 인식된 값을 디지털 신호 처리 장치(Digital Signal Processor : DSP) 또는 초소형 연산처리장치(Micro-processing unit : MPU)에 의해 처리할 수 있도록 아날로그 신호에서 디지털신호로 변환하는 A/D컨버터(Analog/Digital Converter)를 추가적으로 포함하는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 14항에 있어서,상기 입력부는 사용자를 중심으로 좌측 및 우측에 위치하는 이미지센서를 포함하며, 상기 좌측이미지센서와 우측이미지센서는 같은 지점을 인식하도록 위치하는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 16항에 있어서,상기 제어부는 상기 좌측이미지센서와 우측이미지센서가 동시에 동작하도록 펄스 생성부를 통해 제어하고, 상기 좌측이미지센서에 의해 인식된 것은 좌측이미지데이터로 생성하고, 우측이미지센서에 의해 인식된 것은 우측이미지데이터를 생성하는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 17항에 있어서,상기 제어부의 프로세서는 상기 좌측 및 우측 이미지데이터에 포함된 픽셀의 색채정보, 명암정보, 채도정보등을 검토하여, 같은 지점을 나타내는 좌측이미지데이터에 포함된 픽셀과 우측이미지데이터에 포함된 픽셀을 인식하고, 상기 같은 지점을 나타내는 픽셀이 좌측이미지데이터 및 우측이미지데이터에 배열된 위치와 상기 좌측 및 우측 이미지데이터를 생성한 좌측 및 우측 이미지센서의 간격을 통해 상기 z축데이터를 생성하는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 14항에 있어서,상기 소리데이터는 상기 y축데이터가 커질수록 소리의 높이가 커지고(주파수가 작아지고), 상기 z축데이터가 커질수록 소리의 크기(음압 또는 세기(intensity), 음압레벨(dB수))가 커지도록 생성하고, 상기 x축 중심의 좌측에 위치한 x축데이터를 갖는 거리프로파일이미지데이터에 대한 소리데이터는 좌측청각데이터로 생성하고, 우측에 위치한 x축데이터를 갖는 거리프로파일이미지데이터에 대한 소리데이터는 우측청각데이터로 생성하는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 14항에 있어서,상기 출력부는 상기 거리프로파일이미지데이터에 대하여 생성된 다수개의 소리데이터를 통해 생성된 좌측 및 우측 청각데이터를 출력함에 있어서, 상기 좌측 및 우측 청각데이터에 포함된 다수개의 소리데이터를 동시에 출력하는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 14항에 있어서,상기 공간이미지데이터를 통해 각각의 픽셀에 대한 색 또는 질감에 대한 데이터를 추가적으로 생성하고, 상기 소리데이터는 상기 색 또는 질감에 대한 데이터에 대비한 음색을 포함하는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 14항에 있어서,상기 제어부는 상기 적어도 하나 이상의 이미지 센서로부터 입력된 이미지데이터의 일부분만을 소리데이터로 변환시키기 위하여, 상기 거리프로파일이미지데이터의 일부분을 조절하는 조절부를 추가적으로 포함하는 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 1항 내지 제 22항 중 어느 한 항에 있어서,상기 입력부가 고글의 렌즈부분에 위치하고, 상기 출력부가 고글의 귀고정부에 근접하면서도 위치이동이 자유롭도록 위치한 고글 형상인 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 1항 내지 제 22항 중 어느 한 항에 있어서,상기 입력부가 안경의 렌즈부분에 위치하고, 상기 출력부가 고글의 귀고정부에 근접하면서도 위치이동이 자유롭도록 위치한 안경 형상인 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 1항 내지 제 22항 중 어느 한 항에 있어서,상기 입력부가 안경 또는 고글의 경첩부분에 위치하고, 상기 출력부가 고글의 귀고정부에 근접하면서도 위치이동이 자유롭도록 위치한 안경 또는 고글 형상인 것을 특징으로 하는 청각을 이용한 시각재현장치.
- 제 8항 내지 제 22항중 어느 한 항에 있어서,상기 입력부 및 출력부가 헤드폰에 각각 구비된 헤드폰 형상인 것을 특징으로 하는 청각을 이용한 시각재현장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050052789A KR100690562B1 (ko) | 2005-06-20 | 2005-06-20 | 청각을 이용한 시각 재현 장치 및 제어방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050052789A KR100690562B1 (ko) | 2005-06-20 | 2005-06-20 | 청각을 이용한 시각 재현 장치 및 제어방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20060133140A true KR20060133140A (ko) | 2006-12-26 |
| KR100690562B1 KR100690562B1 (ko) | 2007-03-09 |
Family
ID=37812084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020050052789A KR100690562B1 (ko) | 2005-06-20 | 2005-06-20 | 청각을 이용한 시각 재현 장치 및 제어방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100690562B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100747510B1 (ko) * | 2006-07-07 | 2007-08-08 | 학교법인 영광학원 | 시각장애인용 안내시스템 |
| CN114120960A (zh) * | 2021-11-19 | 2022-03-01 | 武汉大学 | 一种基于听觉的辅助空间感知***及方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07229962A (ja) * | 1994-02-18 | 1995-08-29 | Osaka Kiden Kk | 超音波盲導装置 |
| JP3369458B2 (ja) | 1998-01-30 | 2003-01-20 | 三菱電機株式会社 | ３次元音像による物体表現装置およびその方法 |
| JP2002065721A (ja) | 2000-08-29 | 2002-03-05 | Komatsu Ltd | 視覚障害者用環境認識支援装置及びその方法 |
| KR20030015936A (ko) * | 2001-08-18 | 2003-02-26 | 양철호 | 시각 장애인용 시각 보조장치 |
| US6684176B2 (en) | 2001-09-25 | 2004-01-27 | Symbol Technologies, Inc. | Three dimensional (3-D) object locator system for items or sites using an intuitive sound beacon: system and method of operation |
| KR20050036179A (ko) * | 2003-10-15 | 2005-04-20 | 현대자동차주식회사 | 차량의 전방 감시장치 및 방법 |
-
2005
- 2005-06-20 KR KR1020050052789A patent/KR100690562B1/ko not_active IP Right Cessation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100747510B1 (ko) * | 2006-07-07 | 2007-08-08 | 학교법인 영광학원 | 시각장애인용 안내시스템 |
| CN114120960A (zh) * | 2021-11-19 | 2022-03-01 | 武汉大学 | 一种基于听觉的辅助空间感知***及方法 |
| CN114120960B (zh) * | 2021-11-19 | 2024-05-03 | 武汉大学 | 一种基于听觉的辅助空间感知***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100690562B1 (ko) | 2007-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Balakrishnan et al. | Wearable real-time stereo vision for the visually impaired. | |
| US10694313B2 (en) | Audio communication system and method | |
| US7424118B2 (en) | Moving object equipped with ultra-directional speaker | |
| CN107708624B (zh) | 允许盲人或视障人士通过声音或触觉了解周围环境的便携式*** | |
| Wallmeier et al. | Self-motion facilitates echo-acoustic orientation in humans | |
| Bujacz et al. | Sonification: Review of auditory display solutions in electronic travel aids for the blind | |
| US7957224B2 (en) | Human echolocation system | |
| JP2006258442A (ja) | 位置検出システム、スピーカシステムおよびユーザ端末装置 | |
| US11544036B2 (en) | Multi-frequency sensing system with improved smart glasses and devices | |
| KR100690562B1 (ko) | 청각을 이용한 시각 재현 장치 및 제어방법 | |
| Dunai et al. | Virtual sound localization by blind people | |
| Vítek et al. | New possibilities for blind people navigation | |
| Yano et al. | A study on personal difference in the transfer functions of sound localization using stereo earphones | |
| US20150086023A1 (en) | Audio control apparatus and method | |
| KR20160090781A (ko) | 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법 | |
| JP2018078444A (ja) | 知覚補助システム | |
| US20200257493A1 (en) | Multi-frequency sensing method and apparatus using mobile-clusters | |
| KR100920952B1 (ko) | 시각정보와 청각정보의 상호전환 시스템 | |
| Davies et al. | Where did that sound come from? Comparing the ability to localise using audification and audition | |
| Balakrishnan et al. | Stereo image to stereo sound methods for vision based ETA | |
| JP4891375B2 (ja) | 画像聴覚化装置 | |
| KR20150092811A (ko) | 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법 | |
| JP3369458B2 (ja) | ３次元音像による物体表現装置およびその方法 | |
| Deacon et al. | Echolocating with Ultrasound: A Usability Analysis | |
| KR100357779B1 (ko) | 수중 음향 탐지시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130125 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20140127 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20150130 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20160126 Year of fee payment: 10 |
|
| LAPS | Lapse due to unpaid annual fee |