KR20120068135A - 음파 분석을 이용하는 유사청각 학습 방법 - Google Patents

음파 분석을 이용하는 유사청각 학습 방법 Download PDF

Info

Publication number
KR20120068135A
KR20120068135A KR1020100129593A KR20100129593A KR20120068135A KR 20120068135 A KR20120068135 A KR 20120068135A KR 1020100129593 A KR1020100129593 A KR 1020100129593A KR 20100129593 A KR20100129593 A KR 20100129593A KR 20120068135 A KR20120068135 A KR 20120068135A
Authority
KR
South Korea
Prior art keywords
frequency
emotion
frequency band
stimulus
conversion constant
Prior art date
Application number
KR1020100129593A
Other languages
English (en)
Other versions
KR101182348B1 (ko
Inventor
이성준
최인묵
박연규
정성수
강대임
송한욱
김민석
최영임
Original Assignee
한국표준과학연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국표준과학연구원 filed Critical 한국표준과학연구원
Priority to KR1020100129593A priority Critical patent/KR101182348B1/ko
Publication of KR20120068135A publication Critical patent/KR20120068135A/ko
Application granted granted Critical
Publication of KR101182348B1 publication Critical patent/KR101182348B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/06—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for physics
    • G09B23/14—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for physics for acoustics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 스피커로부터 일반인이 소리를 듣는 소리 전달 단계; 감정 저장 수단이 소리에 대해 일반인이 느끼는 감정을 입력받아 기록하는 감정 기록 단계; 유사청각 변환 수단이 소리를 주파수로 변환하고, 주파수를 유사청각에 해당하는 물리적인 자극으로 변환하는 유사청각 변환 단계; 및 유사청각 학습 수단이 유사청각에 대응되는 감정을 청각장애인에게 학습시키는 유사청각 학습 단계;를 구현한 바, 소리의 특정 주파수를 일반인이 느끼는 감정에 대한 주파수로 저장하여 물리적인 자극으로 변환함으로써, 각각의 물리적인 자극이 어떤 감정을 유발하는 소리인지 데이터화 하고 이를 청각장애인들에게 학습시켜 물리적인 자극에 대한 소리의 종류를 청각장애인이 정확하게 알 수 있는 효과가 있다.

Description

음파 분석을 이용하는 유사청각 학습 방법{Learning method using sound wave analysis}
본 발명은 음파 분석을 이용하는 유사청각 학습 방법에 관한 것으로서, 보다 상세하게는 소리에 대해서 정상인이 느끼는 감정을 기록하고, 소리에 대한 주파수를 물리적인 자극으로 변환하여 청각장애인에게 소리에 대한 물리적인 자극과 정상인이 느끼는 감정을 일치시킴으로써, 소리가 변환된 물리적인 자극에 대한 감정 정보를 학습시키는 음파 분석을 이용하는 유사청각 학습 방법에 관한 것이다.
현재 소리를 물리적인 자극으로 변환하여 전달하는 기술은 청각장애인에게 많이 사용되고 있다. 그러나, 소리를 물리적인 자극으로 변환하여 전달하여도 청각장애인은 해당 자극이 어떤 소리에 해당하는 자극인지 알 수 없어 소리가 변환된 물리적인 자극에 대한 감정을 느낄 수 없다는 문제점이 있었다.
따라서, 본 발명은 상기의 문제점을 해결하기 위하여 창출된 것으로서, 소리의 특정 주파수를 일반인이 느끼는 감정에 대한 주파수로 저장하여 물리적인 자극으로 변환하고, 이를 청각장애인들에게 학습시켜 물리적인 자극에 대한 소리의 종류를 청각장애인이 정확하게 알 수 있는 음파 분석을 이용하는 유사청각 학습 방법을 제공하는데 그 목적이 있다.
상기와 같은 본 발명의 목적은 스피커로부터 일반인이 소리를 듣는 소리 전달 단계; 감정 저장 수단이 소리에 대해 일반인이 느끼는 감정을 입력받아 기록하는 감정 기록 단계; 유사청각 변환 수단이 소리를 주파수로 변환하고, 주파수를 유사청각에 해당하는 물리적인 자극으로 변환하는 유사청각 변환 단계; 및 유사청각 학습 수단이 유사청각에 대응되는 감정을 청각장애인에게 학습시키는 유사청각 학습 단계;를 포함한다.
감정은 기쁨, 슬픔, 분노, 공포 및 혐오로 구분된다.
유사청각 변환 단계는 주파수 변환 수단이 소리를 주파수로 변환하는 주파수 변환 단계; 주파수 분리 수단이 주파수를 일정 간격의 주파수 대역으로 분리하는 주파수 분리 단계; 주파수 저장 수단이 일정 간격의 주파수 대역을 일반인이 느끼는 감정에 대응되는 데이터로 저장하는 주파수 저장 단계; 자극 주파수 변환 수단이 일정 간격의 주파수 대역을 자극 주파수로 변환하는 자극 주파수 변환 단계; 유사청각 출력 수단이 자극 주파수를 유사청각에 해당하는 물리적인 자극으로 출력하는 유사청각 출력 단계; 및 유사청각 저장 수단이 물리적인 자극과 감정을 일치시켜 유사청각으로 저장하는 유사청각 저장 단계;를 포함한다.
주파수 분리 단계의 일정 간격의 주파수 대역은 Loudness 주파수 대역, Sharpness 주파수 대역, Roughness 주파수 대역 및 FluctuationStrength 주파수 대역 중 적어도 하나이다.
자극 주파수 변환 단계는 감정 기록 단계에서 기록된 감정이 기쁨인 경우 일정 간격의 주파수 대역을 아래의 수학식
Figure pat00001
에 기초하여 자극 주파수로 변환하는 것을 특징으로 하는 음파 분석을 이용하는 유사청각 학습 방법.(단,
Figure pat00002
는 기쁨 감정의 자극주파수,
Figure pat00003
는 기쁨 감정의 변환상수,
Figure pat00004
는 기쁨 감정의 Loudness 주파수 대역에 대한 변환상수,
Figure pat00005
는 기쁨 감정의 Sharpness 주파수 대역에 대한 변환상수,
Figure pat00006
는 기쁨 감정의 Roughness 주파수 대역에 대한 변환상수,
Figure pat00007
는 기쁨 감정의 FluctuationStrength 주파수 대역에 대한 변환상수)
자극 주파수 변환 단계는 감정 기록 단계에서 기록된 감정이 슬픔인 경우 일정 간격의 주파수 대역을 아래의 수학식
Figure pat00008
에 기초하여 자극 주파수로 변환하는 것을 특징으로 하는 음파 분석을 이용하는 유사청각 학습 방법.(단,
Figure pat00009
는 슬픔 감정의 자극주파수,
Figure pat00010
는 슬픔 감정의 변환상수,
Figure pat00011
는 슬픔 감정의 Loudness 주파수 대역에 대한 변환상수,
Figure pat00012
는 슬픔 감정의 Sharpness 주파수 대역에 대한 변환상수,
Figure pat00013
는 슬픔 감정의 Roughness 주파수 대역에 대한 변환상수,
Figure pat00014
는 슬픔 감정의 FluctuationStrength 주파수 대역에 대한 변환상수)
자극 주파수 변환 단계는 감정 기록 단계에서 기록된 감정이 분노인 경우 일정 간격의 주파수 대역을 아래의 수학식
Figure pat00015
에 기초하여 자극 주파수로 변환하는 것을 특징으로 하는 음파 분석을 이용하는 유사청각 학습 방법.(단,
Figure pat00016
는 분노 감정의 자극주파수,
Figure pat00017
는 분노 감정의 변환상수,
Figure pat00018
는 분노 감정의 Loudness 주파수 대역에 대한 변환상수,
Figure pat00019
는 분노 감정의 Sharpness 주파수 대역에 대한 변환상수,
Figure pat00020
는 분노 감정의 Roughness 주파수 대역에 대한 변환상수,
Figure pat00021
는 분노 감정의 FluctuationStrength 주파수 대역에 대한 변환상수)
자극 주파수 변환 단계는 감정 기록 단계에서 기록된 감정이 공포인 경우 일정 간격의 주파수 대역을 아래의 수학식
Figure pat00022
에 기초하여 자극 주파수로 변환하는 것을 특징으로 하는 음파 분석을 이용하는 유사청각 학습 방법.(단,
Figure pat00023
는 공포 감정의 자극주파수,
Figure pat00024
는 공포 감정의 변환상수,
Figure pat00025
는 공포 감정의 Loudness 주파수 대역에 대한 변환상수,
Figure pat00026
는 공포 감정의 Sharpness 주파수 대역에 대한 변환상수,
Figure pat00027
는 공포 감정의 Roughness 주파수 대역에 대한 변환상수,
Figure pat00028
는 공포 감정의 FluctuationStrength 주파수 대역에 대한 변환상수)
자극 주파수 변환 단계는 감정 기록 단계에서 기록된 감정이 혐오인 경우 일정 간격의 주파수 대역을 아래의 수학식
Figure pat00029
에 기초하여 자극 주파수로 변환하는 것을 특징으로 하는 음파 분석을 이용하는 유사청각 학습 방법.(단,
Figure pat00030
는 혐오 감정의 자극주파수,
Figure pat00031
는 혐오 감정의 변환상수,
Figure pat00032
는 혐오 감정의 Loudness 주파수 대역에 대한 변환상수,
Figure pat00033
는 혐오 감정의 Sharpness 주파수 대역에 대한 변환상수,
Figure pat00034
는 혐오 감정의 Roughness 주파수 대역에 대한 변환상수,
Figure pat00035
는 혐오 감정의 FluctuationStrength 주파수 대역에 대한 변환상수)
본 발명에 따르면 소리의 특정 주파수를 일반인이 느끼는 감정에 대한 주파수로 저장하여 물리적인 자극으로 변환함으로써, 각각의 물리적인 자극이 어떤 감정을 유발하는 소리인지 데이터화 하고, 이를 청각장애인들에게 학습시켜 소리가 변환된 물리적인 자극에 대한 감정을 청각장애인이 정확하게 느낄 수 있는 효과가 있다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 바람직한 실시예에 따른 음파 분석을 이용하는 유사청각 학습 방법의 개략적인 흐름도이다.
도 2는 본 발명의 바람직한 실시예에 따른 음파 분석을 이용하는 유사청각 학습 방법에 사용되는 유사청각 학습 시스템에 대한 개략적인 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다.
<음파 분석을 이용하는 유사청각 학습 방법>
도 1은 본 발명의 바람직한 실시예에 따른 음파 분석을 이용하는 유사청각 학습 방법의 개략적인 흐름도이고, 도 2는 본 발명의 바람직한 실시예에 따른 음파 분석을 이용하는 유사청각 학습 방법에 사용되는 유사청각 학습 시스템에 대한 개략적인 구성도이다.
음파 분석을 이용하는 유사청각 학습 방법은 소리 전달 단계(S110), 감정 기록 단계(S120), 유사청각 변환 단계(S130) 및 유사청각 학습 단계(S140)를 포함한다.
소리 전달 단계(S110)는 스피커(110)로부터 일반인이 소리를 듣는다. 여기서, 일반인이 스피커(110)로부터 소리를 듣는 것은, 소리에 대하여 일반인이 느끼는 감정을 기록하기 위한 것이다.
감정 기록 단계(S120)는 감정 저장 수단(120)이 소리에 대해 일반인이 느끼는 감정을 기록한다. 여기서, 기록은 일반인이 소리를 듣고난 후 감정 저장 수단(120)에 일반인이 들은 소리에 대한 감정을 기쁨, 슬픔, 분노, 공포 및 혐오의 감정으로 구분하여 워드프로세서와 같은 수단을 통해 기록하는 것을 의미한다. 예를 들어, 일반인이 "참새 소리"와 같은 소리를 듣고 기쁨이라는 감정을 느겼을 경우 이를 감정 저장 수단(120)에 워드프로세서와 같은 수단을 통해 "참새 소리"에 대해 "기쁨"이라는 감정을 입력한다. 이와 같은 방법으로 다양한 소리에 대해 앞서 설명한 기쁨, 슬픔, 분노, 공포 및 혐오의 감정을 입력한다.
유사청각 변환 단계(S130)는 주파수 변환 단계(S131), 주파수 분리 단계(S132), 주파수 저장 단계(S133), 자극 주파수 변환 단계(S134), 유사청각 출력 단계(S135) 및 유사청각 저장 단계(S136)를 포함한다.
주파수 변환 단계(S131)는 유사청각 변환 수단(130)의 주파수 변환 수단(131)이 소리를 주파수로 변환한다. 여기서, 주파수 변환 수단(131)은 시간당 음파의 진동수를 측정할 수 있는 장치를 의미하며, 이러한 주파수 변환 수단(131)은 당업계에서 통상적으로 사용하는 것이므로 자세한 설명은 생략한다.
주파수 분리 단계(S132)는 유사청각 변환 수단(130)의 주파수 분리 수단(132)이 주파수 변환 수단(131)에서 변환된 주파수를 일정 간격의 주파수 대역으로 분리한다. 여기서, 주파수 변환 수단(131)에서 변환된 주파수를 일정 간격의 주파수 대역으로 분리하는 것은 변환된 주파수를 Loudness 주파수 대역, Sharpness 주파수 대역, Roughness 주파수 대역 및 FluctuationStrength 주파수 대역 중 적어도 하나로 분리하는 것을 의미한다.
또한, 앞서 설명한 Loudness, Sharpness, Roughness 및 FluctuationStrength는 음향학에서 정의되어 사용되는 용어이며, 이에 대하여 자세한 설명을 한다.
Loudness는 음향학에서 정의된 용어로, Zwicker 라는 사람에 의해 정의된 용어를 의미한다. 앞서 설명한 Loudness는 음향학에서 일반적으로 사람이 들었을 때 맑은 소리에 대응되는 주파수 대역이다. 또한, Sharpness는 음향학에서 정의된 용어로, Zwicker 라는 사람에 의해 정의된 용어를 의미한다. 앞서 설명한 Sharpness는 음향학에서 일반적으로 사람이 들었을 때 날카로운 소리에 대응되는 주파수 대역이다. 또한, Roughness는 음향학에서 정의된 용어로, Aures 라는 사람에 의해 정의된 용어를 의미한다. 앞서 설명한 Roughness는 음향학에서 일반적으로 사람이 들었을 때 거친 소리에 대응되는 주파수 대역이다. 또한, FluctuationStrength는 음향학에서 정의된 용어로, 저주파 주기의 주기적 변조에 대응되는 주파수 대역을 의미하며 더 자세하게는 기존의 소리가 갑자기 큰 소리로 변조되는 주파수 대역이다. 이와 같은, Loudness, Sharpness, Roughness 및 FluctuationStrength에 대한 더 자세한 설명은 음향학에서 통상적으로 사용하는 것이므로 설명을 생략한다.
앞서 설명한 Loudness, Sharpness, Roughness 및 FluctuationStrength가 일반인이 들은 소리에 적용되는 과정을 설명한다.
예를 들어, 앞서 설명한 "참새 소리"는 일반인이 들었을 때 "기쁨"이라는 감정을 느낄 수 있지만 "참새 소리"를 주파수로 변환할 경우 Loudness, Sharpness, Roughness 및 FluctuationStrength에 해당하는 주파수 대역으로 분리할 수 있다. 각 소리별로 Loudness, Sharpness, Roughness 및 FluctuationStrength에 해당하는 주파수 대역의 크기가 다르므로 각 주파수 대역의 크기를 산출하여 후술할 자극 주파수 변환 수단(134)에 전송한다.
또한, 주파수 분리 수단(132)이 소리를 주파수 대역으로 분리하는 것은 퓨리에 변환 알고리즘을 이용할 수 있으며, 주파수 분리 수단(132)은 퓨리에 변환 알고리즘 적용할 수 있는 수단을 의미한다. 이와 같은, 주파수 분리 수단(132)은 퓨리에 변환 알고리즘이 적용된 사운드 카드 등이 사용될 수 있다. 또한, 이와 같은 퓨리에 변환 알고리즘은 당업계에서 통상적으로 사용되는 것이므로, 주파수 분리 수단(132)은 사운드 카드가 아닌 퓨리에 변환 알고리즘이 적용된 다른 장치로 변경될 수 있다. 또한, 퓨리에 변환 알고리즘은 당업계에서 통상적으로 사용하는 것이므로 자세한 설명은 생략한다.
주파수 저장 단계(S133)는 유사청각 변환 수단(130)의 주파수 저장 수단(133)이 주파수 분리 수단(132)에서 분리된 일정 간격의 주파수 대역을 일반인이 느끼는 감정에 대응되는 데이터로 저장한다. 여기서, 감정에 대응되는 데이터는 감정 기록 단계(S120)의 감정 저장 수단(120)에서 저장된 소리에 대한 일반인이 느끼는 감정과 주파수 분리 수단(132)에서 분리된 일정 간격의 주파수 대역을 일치시킨 데이터를 의미한다. 예를 들어, 일반인이 "참새 소리"를 듣고 기쁨이라는 감정을 느껴서 감정 저장 수단(120)에 "참새 소리"에 대해 기쁨이라는 감정을 기록하였다면, 감정 저장 수단(120)에 기록된 "참새 소리"에 대한 기쁨이라는 감정과 주파수 분리 수단(132)에서 "참새 소리"의 주파수를 분리한 일정 간격의 주파수 대역을 일치시켜 데이터로 저장한다. 이와 같이, 주파수 저장 수단(133)이 감정 저장 수단(120)에 기록된 소리와 주파수 분리 수단(132)에서 분리된 일정 간격의 주파수를 일치시켜 데이터로 저장하는 것은 일반인이 느끼는 소리의 감정에 대한 일정 간격의 주파수를 데이터화 하기 위함이다.
자극 주파수 변환 단계(S134)는 유사청각 변환 수단(130)의 자극 주파수 변환 수단(134)이 주파수 분리 수단(132)에서 분리된 일정 간격의 주파수 대역을 자극 주파수로 변환한다. 여기서, 자극 주파수 변환 단계(S134)는 [수학식 1] 내지 [수학식 5]에 기초하여 주파수 분리 수단(132)에서 분리된 일정 간격의 주파수 대역을 자극 주파수로 변환한다.
Figure pat00036
이와 같은 [수학식 1]의
Figure pat00037
는 "기쁨" 감정의 자극주파수이고,
Figure pat00038
는 "기쁨" 감정의 변환상수이며,
Figure pat00039
는 "기쁨" 감정의 Loudness 주파수 대역에 대한 변환상수이며,
Figure pat00040
는 "기쁨" 감정의 Sharpness 주파수 대역에 대한 변환상수이며,
Figure pat00041
는 "기쁨" 감정의 Roughness 주파수 대역에 대한 변환상수이며,
Figure pat00042
는 "기쁨" 감정의 FluctuationStrength 주파수 대역에 대한 변환상수이다.
Figure pat00043
이와 같은 [수학식 2]의
Figure pat00044
는 "슬픔" 감정의 자극주파수이고,
Figure pat00045
는 "슬픔" 감정의 변환상수이며,
Figure pat00046
는 "슬픔" 감정의 Loudness 주파수 대역에 대한 변환상수이며,
Figure pat00047
는 "슬픔" 감정의 Sharpness 주파수 대역에 대한 변환상수이며,
Figure pat00048
는 "슬픔" 감정의 Roughness 주파수 대역에 대한 변환상수이며,
Figure pat00049
는 "슬픔" 감정의 FluctuationStrength 주파수 대역에 대한 변환상수이다.
Figure pat00050
이와 같은 [수학식 3]의
Figure pat00051
는 "분노" 감정의 자극주파수이고,
Figure pat00052
는 "분노" 감정의 변환상수이며,
Figure pat00053
는 "분노" 감정의 Loudness 주파수 대역에 대한 변환상수이며,
Figure pat00054
는 "분노" 감정의 Sharpness 주파수 대역에 대한 변환상수이며,
Figure pat00055
는 "분노" 감정의 Roughness 주파수 대역에 대한 변환상수이며,
Figure pat00056
는 "분노" 감정의 FluctuationStrength 주파수 대역에 대한 변환상수이다.
Figure pat00057
이와 같은 [수학식 4]의
Figure pat00058
는 "공포" 감정의 자극주파수이고,
Figure pat00059
는 "공포" 감정의 변환상수이며,
Figure pat00060
는 "공포" 감정의 Loudness 주파수 대역에 대한 변환상수이며,
Figure pat00061
는 "공포" 감정의 Sharpness 주파수 대역에 대한 변환상수이며,
Figure pat00062
는 "공포" 감정의 Roughness 주파수 대역에 대한 변환상수이며,
Figure pat00063
는 "공포" 감정의 FluctuationStrength 주파수 대역에 대한 변환상수이다.
Figure pat00064
이와 같은 [수학식 5]의
Figure pat00065
는 "혐오" 감정의 자극주파수이고,
Figure pat00066
는 "혐오" 감정의 변환상수이며,
Figure pat00067
는 "혐오" 감정의 Loudness 주파수 대역에 대한 변환상수이며,
Figure pat00068
는 "혐오" 감정의 Sharpness 주파수 대역에 대한 변환상수이며,
Figure pat00069
는 "혐오" 감정의 Roughness 주파수 대역에 대한 변환상수이며,
Figure pat00070
는 "혐오" 감정의 FluctuationStrength 주파수 대역에 대한 변환상수이다.
예를 들어, 일반인이 감정 저장 수단(120)에 "참새 소리"에 대한 소리에 대해 기쁨이라는 감정을 기록하였다면 자극 주파수 변환 수단(134)이 기쁨에 해당하는 [수학식 1]에 주파수 분리 수단(132)에서 분리된 Loudness 주파수 대역, Sharpness 주파수 대역, Roughness 주파수 대역 및 FluctuationStrength 주파수 대역을 적용하여 자극 주파수를 산출한다.
유사청각 출력 단계(S135)는 유사청각 변환 수단(130)의 유사청각 출력 수단(135)이 자극 주파수 변환 수단(134)에서 전송받은 자극 주파수를 유사청각에 해당하는 물리적인 자극으로 출력한다. 여기서, 물리적인 자극은 청각장애인이 피부로 느낄 수 있는 진동 또는 온도를 의미하며, 이와 같은 물리적인 자극은 진동 또는 온도 외에 다른 자극으로 변경될 수 있다. 또한, 유사청각은 앞서 설명한 진동 또는 온도로 전달되는 물리적인 자극을 의미한다.
유사청각 저장 단계(S136)는 유사청각 변환 수단(130)의 유사청각 저장 수단(136)이 물리적인 자극과 감정을 일치시켜 유사청각으로 저장한다. 여기서, 유사청각으로 저장하는 것은 감정 기록 단계(S120)의 감정 저장 수단(120)에서 저장된 소리에 대한 일반인이 느끼는 감정과 유사청각 출력 단계(S135)의 유사청각 출력 수단(135)에서 출력된 진동 또는 온도와 같은 물리적인 자극을 일치시킨 데이터를 저장하는 것을 의미한다. 예를 들어, 일반인이 "참새 소리"를 듣고 기쁨이라는 감정을 느껴서 감정 저장 수단(120)에 "참새 소리"에 대해 기쁨이라는 감정을 기록하였다면, 감정 저장 수단(120)에 기록된 "참새 소리"에 대한 기쁨이라는 감정과 유사청각 출력 수단(135)에서 출력된 "참새 소리"에 대한 진동 또는 온도와 같은 물리적인 자극을 일치시켜 데이터로 저장한다. 이와 같이, 감정 저장 수단(120)에 기록된 소리에 대한 감정 데이터와 유사청각 출력 수단(135)에서 출력된 진동 또는 온도와 같은 물리적인 자극을 일치시켜 데이터로 저장하는 것은 물리적인 자극이 어떠한 소리에 대한 자극인지를 청각장애인에게 학습시키기 위한 데이터를 제작하기 위함이다.
유사청각 학습 단계(S140)는 유사청각 학습 수단(140)이 유사청각에 대응되는 감정을 청각장애인에게 학습시킨다. 여기서, 유사청각 학습 수단(140)은 청각장애인에게 전달되는 물리적인 자극이 어떤 소리인지를 학습하는 것으로, 청각장애인에게 물리적인 자극을 전달함과 동시에 물리적인 자극에 대한 소리를 시각적인 측면으로 전달한다. 이와 같은, 시각적인 측면은 영상을 전달할 수 있는 비디오, DVD 등이 사용될 수 있으며, 이는 당업자의 단순 설계변경으로 변경할 수 있다. 예를 들어, 청각장애인에게 "참새 소리"를 1초동안 1 파스칼(Pa)의 압력으로 자극을 전달한다고 할 경우, 이와 같은 자극을 전달함과 동시에 비디오와 같은 영상물로 "참새가 소리를 내는 영상"을 보여줌으로써, 1 파스칼(Pa)의 압력이 1초동안 가해지는 자극은 "참새가 소리를 내는 영상"에 대한 자극이라는 것을 청각장애인에게 학습시키는 것이다. 따라서, 청각장애인은 전달되는 물리적인 자극이 어떤 소리에 대한 자극인지 알 수 있다.
이상에서 설명한 바와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 상술한 실시예들은 모든 면에 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
S110 : 소리 전달 단계 S120 : 감정 기록 단계
S130 : 유사청각 변환 단계 S131 : 주파수 변환 단계
S132 : 주파수 분리 단계 S133 : 주파수 저장 단계
S134 : 자극 주파수 변환 단계 S135 : 유사청각 출력 단계
S136 : 유사청각 저장 단계 S140 : 유사청각 학습 단계
110 : 스피커 120 : 감정 저장 수단
130 : 유사청각 변환 수단 131 : 주파수 변환 수단
132 : 주파수 분리 수단 133 : 주파수 저장 수단
134 : 자극 주파수 변환 수단 135 : 유사청각 출력 수단
136 : 유사청각 저장 수단 140 : 유사청각 학습 수단

Claims (9)

  1. 스피커(110)로부터 일반인이 소리를 듣는 소리 전달 단계(S110);
    감정 저장 수단(120)이 상기 소리에 대해 상기 일반인이 느끼는 감정을 입력받아 기록하는 감정 기록 단계(S120);
    유사청각 변환 수단(130)이 상기 소리를 주파수로 변환하고, 상기 주파수를 유사청각에 해당하는 물리적인 자극으로 변환하는 유사청각 변환 단계(S130); 및
    유사청각 학습 수단(140)이 상기 유사청각에 대응되는 감정을 청각장애인에게 학습시키는 유사청각 학습 단계(S140);를 포함하는 것을 특징으로 하는 음파 분석을 이용하는 유사청각 학습 방법.
  2. 제1항에 있어서
    상기 감정은 기쁨, 슬픔, 분노, 공포 및 혐오로 구분되는 것을 특징으로 하는 음파 분석을 이용하는 유사청각 학습 방법.
  3. 제1항에 있어서
    상기 유사청각 변환 단계(S130)는,
    주파수 변환 수단(131)이 상기 소리를 주파수로 변환하는 주파수 변환 단계(S131);
    주파수 분리 수단(132)이 상기 주파수를 일정 간격의 주파수 대역으로 분리하는 주파수 분리 단계(S132);
    주파수 저장 수단(133)이 상기 일정 간격의 주파수 대역을 상기 일반인이 느끼는 감정에 대응되는 데이터로 저장하는 주파수 저장 단계(S133);
    자극 주파수 변환 수단(134)이 상기 일정 간격의 주파수 대역을 자극 주파수로 변환하는 자극 주파수 변환 단계(S134);
    유사청각 출력 수단(135)이 상기 자극 주파수를 유사청각에 해당하는 물리적인 자극으로 출력하는 유사청각 출력 단계(S135); 및
    유사청각 저장 수단(136)이 상기 물리적인 자극과 상기 감정을 일치시켜 유사청각으로 저장하는 유사청각 저장 단계(S136);를 포함하는 것을 특징으로 하는 음파 분석을 이용하는 유사청각 학습 방법.
  4. 제3항에 있어서
    상기 주파수 분리 단계(S132)의 상기 일정 간격의 주파수 대역은 Loudness 주파수 대역, Sharpness 주파수 대역, Roughness 주파수 대역 및 FluctuationStrength 주파수 대역 중 적어도 하나인 것을 특징으로 하는 음파 분석을 이용하는 유사청각 학습 방법.
  5. 제3항에 있어서
    상기 자극 주파수 변환 단계(S134)는,
    상기 감정 기록 단계(S120)에서 기록된 감정이 기쁨인 경우 상기 일정 간격의 주파수 대역을 아래의 수학식
    Figure pat00071

    에 기초하여 상기 자극 주파수로 변환하는 것을 특징으로 하는 음파 분석을 이용하는 유사청각 학습 방법.(단,
    Figure pat00072
    는 기쁨 감정의 자극주파수,
    Figure pat00073
    는 기쁨 감정의 변환상수,
    Figure pat00074
    는 기쁨 감정의 Loudness 주파수 대역에 대한 변환상수,
    Figure pat00075
    는 기쁨 감정의 Sharpness 주파수 대역에 대한 변환상수,
    Figure pat00076
    는 기쁨 감정의 Roughness 주파수 대역에 대한 변환상수,
    Figure pat00077
    는 기쁨 감정의 FluctuationStrength 주파수 대역에 대한 변환상수)
  6. 제3항에 있어서
    상기 자극 주파수 변환 단계(S134)는,
    상기 감정 기록 단계(S120)에서 기록된 감정이 슬픔인 경우 상기 일정 간격의 주파수 대역을 아래의 수학식
    Figure pat00078

    에 기초하여 상기 자극 주파수로 변환하는 것을 특징으로 하는 음파 분석을 이용하는 유사청각 학습 방법.(단,
    Figure pat00079
    는 슬픔 감정의 자극주파수,
    Figure pat00080
    는 슬픔 감정의 변환상수,
    Figure pat00081
    는 슬픔 감정의 Loudness 주파수 대역에 대한 변환상수,
    Figure pat00082
    는 슬픔 감정의 Sharpness 주파수 대역에 대한 변환상수,
    Figure pat00083
    는 슬픔 감정의 Roughness 주파수 대역에 대한 변환상수,
    Figure pat00084
    는 슬픔 감정의 FluctuationStrength 주파수 대역에 대한 변환상수)
  7. 제3항에 있어서
    상기 자극 주파수 변환 단계(S134)는,
    상기 감정 기록 단계(S120)에서 기록된 감정이 분노인 경우 상기 일정 간격의 주파수 대역을 아래의 수학식
    Figure pat00085

    에 기초하여 상기 자극 주파수로 변환하는 것을 특징으로 하는 음파 분석을 이용하는 유사청각 학습 방법.(단,
    Figure pat00086
    는 분노 감정의 자극주파수,
    Figure pat00087
    는 분노 감정의 변환상수,
    Figure pat00088
    는 분노 감정의 Loudness 주파수 대역에 대한 변환상수,
    Figure pat00089
    는 분노 감정의 Sharpness 주파수 대역에 대한 변환상수,
    Figure pat00090
    는 분노 감정의 Roughness 주파수 대역에 대한 변환상수,
    Figure pat00091
    는 분노 감정의 FluctuationStrength 주파수 대역에 대한 변환상수)
  8. 제3항에 있어서
    상기 자극 주파수 변환 단계(S134)는,
    상기 감정 기록 단계(S120)에서 기록된 감정이 공포인 경우 상기 일정 간격의 주파수 대역을 아래의 수학식
    Figure pat00092

    에 기초하여 상기 자극 주파수로 변환하는 것을 특징으로 하는 음파 분석을 이용하는 유사청각 학습 방법.(단,
    Figure pat00093
    는 공포 감정의 자극주파수,
    Figure pat00094
    는 공포 감정의 변환상수,
    Figure pat00095
    는 공포 감정의 Loudness 주파수 대역에 대한 변환상수,
    Figure pat00096
    는 공포 감정의 Sharpness 주파수 대역에 대한 변환상수,
    Figure pat00097
    는 공포 감정의 Roughness 주파수 대역에 대한 변환상수,
    Figure pat00098
    는 공포 감정의 FluctuationStrength 주파수 대역에 대한 변환상수)
  9. 제3항에 있어서
    상기 자극 주파수 변환 단계(S134)는,
    상기 감정 기록 단계(S120)에서 기록된 감정이 혐오인 경우 상기 일정 간격의 주파수 대역을 아래의 수학식
    Figure pat00099

    에 기초하여 상기 자극 주파수로 변환하는 것을 특징으로 하는 음파 분석을 이용하는 유사청각 학습 방법.(단,
    Figure pat00100
    는 혐오 감정의 자극주파수,
    Figure pat00101
    는 혐오 감정의 변환상수,
    Figure pat00102
    는 혐오 감정의 Loudness 주파수 대역에 대한 변환상수,
    Figure pat00103
    는 혐오 감정의 Sharpness 주파수 대역에 대한 변환상수,
    Figure pat00104
    는 혐오 감정의 Roughness 주파수 대역에 대한 변환상수,
    Figure pat00105
    는 혐오 감정의 FluctuationStrength 주파수 대역에 대한 변환상수)
KR1020100129593A 2010-12-17 2010-12-17 음파 분석을 이용하는 유사청각 학습 방법 KR101182348B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100129593A KR101182348B1 (ko) 2010-12-17 2010-12-17 음파 분석을 이용하는 유사청각 학습 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100129593A KR101182348B1 (ko) 2010-12-17 2010-12-17 음파 분석을 이용하는 유사청각 학습 방법

Publications (2)

Publication Number Publication Date
KR20120068135A true KR20120068135A (ko) 2012-06-27
KR101182348B1 KR101182348B1 (ko) 2012-09-20

Family

ID=46686894

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100129593A KR101182348B1 (ko) 2010-12-17 2010-12-17 음파 분석을 이용하는 유사청각 학습 방법

Country Status (1)

Country Link
KR (1) KR101182348B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101531664B1 (ko) 2013-09-27 2015-06-25 고려대학교 산학협력단 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200184388Y1 (ko) 1999-12-10 2000-06-01 류돈호 소리신호를 진동신호로 변환하는 변환장치
KR100388561B1 (ko) 2000-06-26 2003-06-25 박동윤 청각 장애인용 피부촉각 음향 인식기
KR100762183B1 (ko) 2005-06-13 2007-10-01 경북대학교 산학협력단 청각 장애인을 위한 지능형 촉각 자극 장치 및 방법

Also Published As

Publication number Publication date
KR101182348B1 (ko) 2012-09-20

Similar Documents

Publication Publication Date Title
US11043210B2 (en) Sound processing apparatus utilizing an electroencephalography (EEG) signal
US20220240842A1 (en) Utilization of vocal acoustic biomarkers for assistive listening device utilization
Edwards The future of hearing aid technology
US10130287B2 (en) Hearing test system
AU2009348759B2 (en) EEG monitoring apparatus and method for presenting messages therein
US20160210872A1 (en) Device for language processing enhancement in autism
Levitt A historical perspective on digital hearing aids: how digital technology has changed modern hearing aids
CN103945315A (zh) 包括信号通信质量和/或佩戴者负荷及佩戴者和/或环境接口的听音装置
EP3836570A1 (en) Signal processing in a hearing device
US11688386B2 (en) Wearable vibrotactile speech aid
JP6400796B2 (ja) 着用者の状態を知らせる聴音補助装置
CN113226454A (zh) 利用听觉假体所使用的预测和标识技术
Grant et al. Integration efficiency for speech perception within and across sensory modalities by normal-hearing and hearing-impaired individuals
US20220036878A1 (en) Speech assessment using data from ear-wearable devices
KR101182348B1 (ko) 음파 분석을 이용하는 유사청각 학습 방법
Ifukube Sound-based assistive technology
AU2010347009B2 (en) Method for training speech recognition, and training device
CN105631224B (zh) 一种健康监测方法、移动终端及健康监测***
RU2525366C1 (ru) Способ слухоречевой реабилитации и устройство для его реализации
Yost Perceiving sound sources
US10134384B2 (en) System and method for synthesizing human speech
WO2020132576A1 (en) Speech recognition using multiple sensors
WO2018105668A1 (ja) 音響装置及び音響処理方法
Hay-McCutcheon et al. Identification of acoustically similar and dissimilar vowels in profoundly deaf adults who use hearing aids and/or cochlear implants: Some preliminary findings
Magann Performance Evaluation of a Simple Deep Neural Network System for Auditory Attention Decoding

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150902

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160822

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee