KR102036010B1 - Method for emotional calling using binaural sound and apparatus thereof - Google Patents

Abstract

Disclosed are an emotional calling method using a binaural sound and an apparatus therefor. According to one embodiment of the present invention, provided is the emotional calling method for reducing cognitive loads for calling, which checks an emotional sound setting, changes a position of a voice of the other party in accordance with the emotional sound setting, and provides the voice of the other party in a binaural sound corresponding to the changed voice position.

Description

바이노럴 사운드를 이용한 감성 통화 방법 및 이를 위한 장치{METHOD FOR EMOTIONAL CALLING USING BINAURAL SOUND AND APPARATUS THEREOF}Emotional calling method using binaural sound and device therefor {METHOD FOR EMOTIONAL CALLING USING BINAURAL SOUND AND APPARATUS THEREOF}

본 발명은 바이노럴 사운드를 이용한 입체음향기술에 감성공학(심리적인 요소)을 결합한 통화 기술에 관한 것으로, 특히 바이노럴 기술을 이용하여 통화하는 사람의 목소리 위치를 상황에 따라 다르게 설정함으로써 인지적 부하를 감소시켜 사용자가 대화(통화)하는데 필요한 에너지를 줄여줄 수 있는 기술에 관한 것이다.The present invention relates to a call technology combining emotional technology (psychological element) with stereoscopic sound technology using binaural sound, and in particular, by using the binaural technology to set the position of the voice of a caller according to the situation. The present invention relates to a technology that can reduce the energy required for the user to talk (talk) by reducing the load.

최근 모바일 통신 기술이 발달함에 따라 모바일 기기를 이용하여 영상통화를 하는 사용자의 수가 많아지고 있다. 영상통화는 기본적으로 통화 상대방의 모습을 바라보면서 통화하는 방식이기 때문에 사용자가 모바일 기기의 디스플레이창을 보면서 통화를 수행할 수 있다.Recently, with the development of mobile communication technology, the number of users making video calls using mobile devices is increasing. Since the video call is basically a method of talking while looking at the other party's appearance, the user can make a call while looking at the display window of the mobile device.

따라서, 사용자는 자신의 상황에 따라 모바일 기기를 오른손이나 왼손에 들고 영상통화하거나 또는 모바일 기기를 고정시킬 수 있는 별도의 거치대에 장착시킨 상태로 영상 통화할 수 있다. Therefore, the user may make a video call with the mobile device in his or her right hand or left hand, or mount it on a separate holder that can fix the mobile device, depending on the situation.

그러나, 영상통화를 수행할 때 모바일 기기가 다양한 위치에 위치할 수 있는 것과 다르게 통화 상대방의 목소리는 항상 일정한 느낌으로 들리기 때문에 사용자가 위치와 소리의 관계에 있어 이질감을 느낄 수 있다. 또한, 이러한 상황은 사용자에게 인지적 부하를 발생시키기 때문에 통화하는데 피로감을 가중시킬 수도 있다.However, unlike when the mobile device can be located at various locations when performing a video call, the voice of the caller always hears a certain feeling, so that the user may feel heterogeneous in the relationship between the position and the sound. This situation can also add fatigue to the call because it creates a cognitive load on the user.

한국 등록 특허 제10-1599554호, 2016년 2월 25일 등록(명칭: SAC 부가정보를 이용한 3D 바이노럴 필터링 시스템 및 방법)Korean Registered Patent No. 10-1599554, registered February 25, 2016 (Name: 3D binaural filtering system and method using SAC side information) 한국 등록 특허 제10-0971700호, 2010년 7월 15일 등록(명칭: 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과, 그를 이용한 바이노럴 스테레오 복호화 장치)Registered Korean Patent No. 10-0971700, registered on July 15, 2010 (Name: Spatial cue based binaural stereo synthesizing apparatus and method and binaural stereo decoding apparatus using the same)

본 발명의 목적은 바이노럴 사운드를 이용한 입체음향기술에 심리학적인 요소를 결합하여 감상적 효과를 발생시키는 통화 기술을 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to provide a call technology that generates a sentimental effect by combining psychological elements with stereophonic technology using binaural sound.

또한, 본 발명의 목적은 음성통화 또는 영상통화를 하는 사용자가 대화(통화)하는데 필요한 인지적 부하를 감소시킴으로써 사용자가 느끼는 피로감을 감소시키는 것이다.In addition, an object of the present invention is to reduce the user's fatigue by reducing the cognitive load required for a user to make a voice call or a video call.

또한, 본 발명의 목적은 통화 상대방을 식별하여 감성사운드를 세팅함으로써 사용자에 대해 개인화된 통화 환경을 제공하는 것이다.It is also an object of the present invention to provide a personalized call environment for a user by identifying the call counterpart and setting the emotional sound.

또한, 본 발명의 목적은 컨퍼런스 콜에서 참여자들 각각에 대한 목소리를 효과적으로 인지함으로써 업무에 있어서도 효율을 향상시키는 것이다.It is also an object of the present invention to improve efficiency in work by effectively recognizing voices for each participant in a conference call.

상기한 목적을 달성하기 위한 본 발명에 따른 감성통화방법은, 통화를 위한 인지적 부하를 경감하기 위한 감성통화방법에 있어서, 감성사운드 세팅을 확인하는 단계; 및 상기 감성사운드 세팅에 따라 상대방의 목소리 위치를 변경하고, 상대방 목소리를 변경된 목소리 위치에 상응하는 바이노럴 사운드로 제공하는 단계를 포함한다.Emotional call method according to the present invention for achieving the above object, the emotional call method for reducing the cognitive load for the call, comprising the steps of: confirming the emotional sound settings; And changing the voice position of the counterpart according to the emotional sound setting, and providing the counterpart voice as a binaural sound corresponding to the changed voice position.

이 때, 감성사운드 세팅은 이어폰이 사용되면 활성화되고, 이어폰이 사용되지 않으면 비활성화될 수 있다.At this time, the emotional sound setting may be activated when the earphone is used, and may be deactivated when the earphone is not used.

이 때, 감성사운드 세팅을 확인하는 단계는 상기 통화를 수행하는 사용자의 얼굴에 대한 통화 단말의 상대위치를 확인하고, 상기 상대위치를 상기 상대방의 목소리 위치로 확인할 수 있다.At this time, the step of confirming the emotional sound setting may check the relative position of the call terminal with respect to the face of the user who performs the call, the relative position can be confirmed as the voice position of the other party.

이 때, 감성사운드 세팅을 확인하는 단계는 상기 통화 단말에 구비된 카메라를 기반으로 상기 사용자의 얼굴에 포함된 눈, 코, 입 및 귀 중 적어도 둘 이상의 위치 관계를 검출하고, 상기 위치 관계를 고려하여 검출된 얼굴 정면 방향을 기준으로 상기 상대위치에 상응하는 각도를 산출하는 단계를 포함할 수 있다.In this case, the checking of the emotional sound setting may include detecting at least two or more positional relationships among eyes, noses, mouths, and ears included in the face of the user based on a camera provided in the call terminal, and considering the positional relationship. And calculating an angle corresponding to the relative position based on the detected front face direction.

이 때, 감성사운드 세팅을 확인하는 단계는 전화번호를 기반으로 상기 상대방에 대한 사전세팅 여부를 확인하고, 사전세팅이 되어있는 경우에 상기 사전세팅에 상응하게 상기 상대방의 목소리 위치를 확인할 수 있다.At this time, the step of confirming the emotional sound setting may determine whether or not to pre-set the counterpart based on the phone number, and if the pre-set is set to determine the voice position of the counterpart corresponding to the pre-set.

이 때, 상기 감성사운드 세팅을 확인하는 단계는 상기 사전세팅이 속삭임 모드일 경우, 사용자의 오른쪽 귀에 상응하는 위치를 상기 상대방의 목소리 위치로 확인할 수 있다.At this time, in the step of checking the emotional sound setting, when the pre-setting is in the whisper mode, the position corresponding to the right ear of the user may be confirmed as the voice position of the counterpart.

이 때, 감성사운드 세팅을 확인하는 단계는 상기 사전세팅이 잔소리 모드일 경우, 사용자의 머리 뒤쪽에 상응하는 위치를 상기 상대방의 목소리 위치로 확인할 수 있다.At this time, in the step of checking the emotional sound setting, when the pre-setting is in the nagging mode, the position corresponding to the back of the user's head may be confirmed as the voice position of the counterpart.

이 때, 감성사운드 세팅을 확인하는 단계는 상기 통화가 컨퍼런스 콜에 상응하는 경우, 상기 컨퍼런스 콜에 참여한 상대 인원 수를 고려하여 지정된 위치를 상기 상대방의 목소리 위치로 확인할 수 있다.At this time, in the step of checking the emotional sound setting, if the call corresponds to a conference call, the designated position may be identified as the voice position of the counterpart in consideration of the number of counterparts participating in the conference call.

이 때, 지정된 위치는 사용자의 시선을 기준으로 기설정된 범위의 각도를 상기 상대 인원수에 상응하게 분할한 값을 기반으로 설정될 수 있다.In this case, the designated position may be set based on a value obtained by dividing an angle of a preset range based on the line of sight of the user corresponding to the number of relative persons.

이 때, 감성통화방법은 상기 상대 인원 수를 고려하여 상기 상대방의 목소리 위치를 지정할 수 있는 위치 지정 인터페이스를 제공하는 단계를 더 포함할 수 있다.In this case, the emotional call method may further include providing a location designation interface that can designate the voice location of the counterpart in consideration of the number of opponents.

이 때, 감성통화방법은 감성통화 도중에 감성통화 종료 조건이 만족되는 경우, 상기 감성사운드 세팅을 비활성화시키는 단계; 및 일반통화 도중에 감성통화 실행 조건이 만족되는 경우, 상기 감성사운드 세팅을 활성화시키는 단계를 더 포함할 수 있다.At this time, the emotional call method, if the emotional call end condition is satisfied during the emotional call, deactivating the emotional sound setting; And when the emotional call execution condition is satisfied during the general call, activating the emotional sound setting.

이 때, 감성통화 종료 조건은 상기 감성통화 도중에 이어폰 사용이 종료되는 경우 및 상기 감성통화 도중에 사용자 입력에 기반한 감성통화 종료 명령이 입력된 경우 중 적어도 하나에 상응할 때 만족되고, 상기 감성통화 실행 조건은 상기 일반통화 도중에 이어폰 사용이 실행되는 경우 및 상기 일반통화 도중에 사용자 입력에 기반한 감성통화 실행 명령이 입력되는 경우 중 적어도 하나에 상응할 때 만족될 수 있다.At this time, the emotional call end condition is satisfied when the use of the earphone is terminated during the emotional call and when the emotional call end command based on a user input is input during the emotional call, and the emotional call execution condition is satisfied. May be satisfied when at least one of the case where the use of the earphone is executed during the general call and the case where the emotional call execution command based on the user input is input during the general call.

이 때, 감성통화방법은 음성 통화 및 영상 통화 중 적어도 하나의 통화 방식에 적용 가능할 수 있다.In this case, the emotional call method may be applicable to at least one of a voice call and a video call.

또한, 본 발명의 일실시예에 따른 컴퓨터로 판독 가능한 기록매체에 저장된 감성통화 어플리케이션은, 통화를 위한 인지적 부하를 경감하기 위해서, 감성사운드 세팅을 확인하는 단계; 및 상기 감성사운드 세팅에 따라 상대방의 목소리 위치를 변경하고, 상대방 목소리를 변경된 목소리 위치에 상응하는 바이노럴 사운드로 제공하는 단계를 실행한다.In addition, the emotional call application stored in the computer-readable recording medium according to an embodiment of the present invention, to reduce the cognitive load for the call, the step of confirming the emotional sound settings; And changing the voice position of the counterpart according to the emotional sound setting, and providing the counterpart voice as a binaural sound corresponding to the changed voice position.

이 때, 감성사운드 세팅은 이어폰이 사용되면 활성화되고, 이어폰이 사용되지 않으면 비활성화될 수 있다.At this time, the emotional sound setting may be activated when the earphone is used, and may be deactivated when the earphone is not used.

이 때, 감성사운드 세팅을 확인하는 단계는 상기 통화를 수행하는 사용자의 얼굴에 대한 통화 단말의 상대위치를 확인하고, 상기 상대위치를 상기 상대방의 목소리 위치로 확인할 수 있다.At this time, the step of confirming the emotional sound setting may check the relative position of the call terminal with respect to the face of the user who performs the call, the relative position can be confirmed as the voice position of the other party.

이 때, 감성사운드 세팅을 확인하는 단계는 상기 통화 단말에 구비된 카메라를 기반으로 상기 사용자의 얼굴에 포함된 눈, 코, 입 및 귀 중 적어도 둘 이상의 위치 관계를 검출하고, 상기 위치 관계를 고려하여 검출된 얼굴 정면 방향을 기준으로 상기 상대위치에 상응하는 각도를 산출하는 단계를 포함할 수 있다.In this case, the checking of the emotional sound setting may include detecting at least two or more positional relationships among eyes, noses, mouths, and ears included in the face of the user based on a camera provided in the call terminal, and considering the positional relationship. And calculating an angle corresponding to the relative position based on the detected front face direction.

이 때, 감성사운드 세팅을 확인하는 단계는 전화번호를 기반으로 상기 상대방에 대한 사전세팅 여부를 확인하고, 사전세팅이 되어있는 경우에 상기 사전세팅에 상응하게 상기 상대방의 목소리 위치를 확인할 수 있다.At this time, the step of confirming the emotional sound setting may determine whether or not to pre-set the counterpart based on the phone number, and if the pre-set is set to determine the voice position of the counterpart corresponding to the pre-set.

이 때, 상기 감성사운드 세팅을 확인하는 단계는 상기 사전세팅이 속삭임 모드일 경우, 사용자의 오른쪽 귀에 상응하는 위치를 상기 상대방의 목소리 위치로 확인할 수 있다.At this time, in the step of checking the emotional sound setting, when the pre-setting is in the whisper mode, the position corresponding to the right ear of the user may be confirmed as the voice position of the counterpart.

이 때, 감성사운드 세팅을 확인하는 단계는 상기 사전세팅이 잔소리 모드일 경우, 사용자의 머리 뒤쪽에 상응하는 위치를 상기 상대방의 목소리 위치로 확인할 수 있다.At this time, in the step of checking the emotional sound setting, when the pre-setting is in the nagging mode, the position corresponding to the back of the user's head may be confirmed as the voice position of the counterpart.

이 때, 감성사운드 세팅을 확인하는 단계는 상기 통화가 컨퍼런스 콜에 상응하는 경우, 상기 컨퍼런스 콜에 참여한 상대 인원 수를 고려하여 지정된 위치를 상기 상대방의 목소리 위치로 확인할 수 있다.At this time, in the step of checking the emotional sound setting, if the call corresponds to a conference call, the designated position may be identified as the voice position of the counterpart in consideration of the number of counterparts participating in the conference call.

이 때, 지정된 위치는 사용자의 시선을 기준으로 기설정된 범위의 각도를 상기 상대 인원수에 상응하게 분할한 값을 기반으로 설정될 수 있다.In this case, the designated position may be set based on a value obtained by dividing an angle of a preset range based on the line of sight of the user corresponding to the number of relative persons.

이 때, 감성통화 어플리케이션은 상기 상대 인원 수를 고려하여 상기 상대방의 목소리 위치를 지정할 수 있는 위치 지정 인터페이스를 제공하는 단계를 더 실행시킬 수 있다.In this case, the emotional call application may further execute the step of providing a location interface for designating the voice location of the counterpart in consideration of the number of opponents.

이 때, 감성통화 어플리케이션은 감성통화 도중에 감성통화 종료 조건이 만족되는 경우, 상기 감성사운드 세팅을 비활성화시키는 단계; 및 일반통화 도중에 감성통화 실행 조건이 만족되는 경우, 상기 감성사운드 세팅을 활성화시키는 단계를 더 실행시킬 수 있다.At this time, the emotional call application, if the emotional call end condition is satisfied during the emotional call, deactivating the emotional sound setting; And if the emotional call execution condition is satisfied during the general call, activating the emotional sound setting.

이 때, 감성통화 종료 조건은 상기 감성통화 도중에 이어폰 사용이 종료되는 경우 및 상기 감성통화 도중에 사용자 입력에 기반한 감성통화 종료 명령이 입력된 경우 중 적어도 하나에 상응할 때 만족되고, 상기 감성통화 실행 조건은 상기 일반통화 도중에 이어폰 사용이 실행되는 경우 및 상기 일반통화 도중에 사용자 입력에 기반한 감성통화 실행 명령이 입력되는 경우 중 적어도 하나에 상응할 때 만족될 수 있다.At this time, the emotional call end condition is satisfied when the use of the earphone is terminated during the emotional call and when the emotional call end command based on a user input is input during the emotional call, and the emotional call execution condition is satisfied. May be satisfied when at least one of the case where the use of the earphone is executed during the general call and the case where the emotional call execution command based on the user input is input during the general call.

이 때, 감성통화 어플리케이션은 음성 통화 및 영상 통화 중 적어도 하나의 통화 방식에 적용 가능할 수 있다.In this case, the emotional call application may be applicable to at least one of a voice call and a video call.

본 발명에 따르면, 바이노럴 사운드를 이용한 입체음향기술에 심리학적인 요소를 결합하여 감상적 효과를 발생시키는 통화 기술을 제공할 수 있다.According to the present invention, it is possible to provide a call technology that generates a sentimental effect by combining psychological elements with stereoscopic sound technology using binaural sound.

또한, 본 발명은 음성통화 또는 영상통화를 하는 사용자가 대화(통화)하는데 필요한 인지적 부하를 감소시킴으로써 사용자가 느끼는 피로감을 감소시킬 수 있다.In addition, the present invention can reduce the fatigue that the user feels by reducing the cognitive load required for the user (voice) for the voice call or video call.

또한, 본 발명은 통화 상대방을 식별하여 감성사운드를 세팅함으로써 사용자에 대해 개인화된 통화 환경을 제공할 수 있다.In addition, the present invention can provide a personalized call environment for the user by identifying the call counterpart and setting the emotional sound.

또한, 본 발명은 컨퍼런스 콜에서 참여자들 각각에 대한 목소리를 효과적으로 인지함으로써 업무에 있어서도 효율을 향상시킬 수 있다.In addition, the present invention can improve efficiency in work by effectively recognizing voices for each participant in a conference call.

도 1은 본 발명의 일실시예에 따른 바이노럴 사운드를 이용한 감성 통화 방법을 나타낸 동작흐름도이다.
도 2는 본 발명에 따른 사용자의 얼굴에 대한 통화 단말의 상대위치에 기반한 감성사운드 세팅의 일 예를 나타낸 도면이다.
도 3은 본 발명에 따른 눈, 코, 입, 귀의 위치 관계를 검출하는 일 예를 나타낸 도면이다.
도 4는 본 발명에 따른 상대위치의 각도를 산출하는 일 예를 나타낸 도면이다.
도 5 내지 도 6은 본 발명에 따른 상대위치의 거리를 산출하는 일 예를 나타낸 도면이다.
도 7 내지 도 9는 본 발명에 따른 사전세팅의 기반한 감성사운드 세팅의 일 예를 나타낸 도면이다.
도 10 내지 도 12는 본 발명에 따른 컨퍼런스 콜에 대한 감성사운드 세팅의 일 예를 나타낸 도면이다.
도 13 내지 도 16은 본 발명에 따른 위치 지정 인터페이스의 일 예를 나타낸 도면이다.
도 17은 본 발명의 일실시예에 따른 감성통화방법 중 사용자의 얼굴에 대한 통화 단말의 상대위치를 이용하는 과정을 상세하게 나타낸 도면이다.
도 18은 본 발명의 일실시예에 따른 감성통화방법 중 사전세팅을 이용하는 과정을 상세하게 나타낸 도면이다.
도 19는 본 발명의 일실시예에 따른 감성통화방법 중 컨퍼런스콜을 이용하는 과정을 상세하게 나타낸 도면이다.
도 20은 본 발명의 일실시예에 따른 감성통화방법 중 통화 도중에 감성사운드 세팅을 활성화 또는 비활성화시키는 과정을 상세하게 나타낸 동작흐름도이다.
도 21은 본 발명의 일실시예에 따른 감성통화 어플리케이션이 실행되는 통화 단말을 나타낸 블록도이다.1 is a flowchart illustrating an emotional call method using binaural sound according to an embodiment of the present invention.
2 is a diagram illustrating an example of an emotional sound setting based on a relative position of a call terminal with respect to a face of a user according to the present invention.
3 is a view showing an example of detecting the positional relationship of eyes, nose, mouth, ear according to the present invention.
4 is a diagram illustrating an example of calculating an angle of a relative position according to the present invention.
5 to 6 are diagrams showing an example of calculating the distance of the relative position according to the present invention.
7 to 9 illustrate examples of emotional sound settings based on pre-setting according to the present invention.
10 to 12 are diagrams showing an example of an emotional sound setting for a conference call according to the present invention.
13 to 16 illustrate an example of a positioning interface according to the present invention.
17 is a diagram illustrating a process of using a relative position of a call terminal with respect to a face of a user in an emotional call method according to an embodiment of the present invention.
18 is a diagram illustrating a process of using pre-setting in the emotional call method according to an embodiment of the present invention in detail.
19 is a diagram illustrating a process of using a conference call in detail in an emotional call method according to an embodiment of the present invention.
20 is a detailed flowchart illustrating a process of activating or deactivating emotional sound settings during a call in an emotional call method according to an embodiment of the present invention.
21 is a block diagram showing a call terminal running the emotional call application according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. Here, the repeated description, well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention, and detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more completely describe the present invention to those skilled in the art. Accordingly, the shape and size of elements in the drawings may be exaggerated for clarity.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 바이노럴 사운드를 이용한 감성통화방법을 나타낸 동작흐름도이다.1 is a flowchart illustrating an emotional call method using binaural sound according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 바이노럴 사운드를 이용한 감성통화방법은 감성사운드 세팅을 확인한다(S110).Referring to Figure 1, the emotional call method using the binaural sound according to an embodiment of the present invention checks the emotional sound settings (S110).

이 때, 본 발명에 따른 감성통화란, 감성사운드를 이용하여 사용자가 통화를 하는데 발생할 수 있는 인지적 부하를 경감하기 위한 통화방법에 해당하는 것일 수 있다.At this time, the emotional call according to the present invention may correspond to a call method for reducing the cognitive load that may occur when the user makes a call using the emotional sound.

이 때, 감성사운드는 바이노럴 효과가 적용된 바이노럴 사운드에 상응하는 것으로, 사용자에게 실제로 출력되는 소리가 감성사운드에 상응할 수 있다. In this case, the emotional sound corresponds to the binaural sound to which the binaural effect is applied, and the sound actually output to the user may correspond to the emotional sound.

이러한 감성통화는 바이노럴 사운드에 기반한 입체적 효과를 통해 인지적 부하를 감소시킴으로써 사용자가 통화를 하면서 느끼는 피로감을 감소시키거나 또는 일반통화에서는 느낄 수 없었던 감성적인 요소를 제공함으로써 사용자에게 입체적인 통화 경험을 제공할 수도 있다.Emotional calls reduce the cognitive load through stereoscopic effects based on binaural sound to reduce the fatigue that users experience while making a call, or to provide a three-dimensional call experience to users by providing emotional elements that were not felt in regular calls. You can also provide

이 때, 감성통화는 바이노럴 사운드에 해당하는 감성사운드를 기반으로 제공되기 때문에 이어폰 또는 헤드폰과 같이 바이노럴 효과를 느낄 수 있는 음향기기의 사용여부를 고려하여 서비스가 제공될 수 있다.In this case, since the emotional call is provided based on the emotional sound corresponding to the binaural sound, a service may be provided in consideration of the use of an audio device that can feel the binaural effect such as an earphone or a headphone.

따라서, 감성사운드 세팅은 이어폰이 사용되면 활성화되고, 이어폰이 사용되지 않으면 비활성화될 수 있다.Therefore, the emotional sound setting may be activated when the earphone is used, and deactivated when the earphone is not used.

이 때, 감성사운드 세팅의 활성화를 위한 이어폰 또는 헤드폰은 유선뿐만 아니라 블루투스이어폰 또는 블루투스헤드폰과 같은 무선도 포함될 수 있다.In this case, the earphone or headphone for activating the emotional sound setting may include wireless as well as a wired Bluetooth headset or a Bluetooth headphone.

이 때, 설명의 편의를 위해 이어폰의 사용여부로 감성사운드 세팅의 활성화 여부를 서술하였으나, 이어폰과 유사한 헤드폰의 사용여부에 따라 감성사운드 세팅의 활성화 또는 비활성화가 수행될 수도 있다. In this case, for convenience of description, the emotional sound setting is described as the use of the earphone. However, the activation or deactivation of the emotional sound setting may be performed according to the use of the headphones similar to the earphone.

이 때, 통화를 수행하는 사용자의 얼굴에 대한 통화 단말의 상대위치를 확인하고, 상대위치를 상대방의 목소리 위치로 확인할 수 있다.At this time, the relative position of the call terminal with respect to the face of the user performing the call can be checked, and the relative position can be confirmed as the voice position of the counterpart.

예를 들어, 도 2에 도시된 것처럼, 통화를 수행하는 사용자(210)의 얼굴에 대한 통화 단말(220)의 상대위치를 확인함으로써 상대방의 목소리 위치를 확인할 수 있다. 즉, 사용자(210)가 통화 단말(220)의 위치에서 상대방의 목소리가 들리는 것처럼 느낄 수 있도록 감성사운드 세팅을 수행할 수 있다.For example, as shown in FIG. 2, the voice location of the other party may be confirmed by checking the relative position of the call terminal 220 with respect to the face of the user 210 who performs the call. That is, the user 210 may perform the emotional sound setting so that the user 210 may feel as if the other party's voice is heard at the location of the call terminal 220.

이 때, 통화 단말에 구비된 카메라를 기반으로 사용자의 얼굴에 포함된 눈, 코, 입 및 귀 중 적어도 둘 이상의 위치 관계를 검출하고, 위치 관계를 고려하여 검출된 얼굴 정면 방향을 기준으로 상태위치에 상응하는 각도를 산출할 수 있다.At this time, based on the camera provided in the call terminal to detect the positional relationship of at least two of the eyes, nose, mouth and ears included in the user's face, the position of the position based on the detected front direction in consideration of the positional relationship The angle corresponding to can be calculated.

예를 들어, 도 2에 도시된 것처럼 통화 단말(220)에 구비된 카메라를 기반으로 사용자(210)의 얼굴을 촬영하면 도 3에 도시된 것처럼 눈, 코, 입 및 귀를 각각 검출할 수 있다. 이 때, 검출된 눈, 코, 입 및 귀에 대한 위치 관계를 통해 사용자(210)의 얼굴이 어느 방향을 향하고 있는지 검출하여 얼굴 정면 방향을 검출할 수 있다.For example, as shown in FIG. 2, when the face of the user 210 is photographed based on a camera provided in the call terminal 220, eyes, nose, mouth, and ears may be detected as shown in FIG. 3. . At this time, the frontal direction of the face may be detected by detecting which direction the face of the user 210 faces through the positional relationship with respect to the detected eyes, nose, mouth, and ears.

이 때, 도 3에서는 눈, 코, 입, 귀가 모두 검출된 예시를 사용하였으나, 눈, 코, 입 및 귀 중에 적어도 2개의 위치만 검출되는 경우에도 검출된 적어도 2 개의 대한 위치 관계를 이용하여 얼굴의 정면 방향을 검출할 수도 있다.In this case, although an example in which all eyes, noses, mouths, and ears are detected is used in FIG. The front direction of can also be detected.

이와 같이 눈, 코, 입 및 귀에 대한 위치 관계를 기반으로 얼굴 정면 방향이 검출되면, 도 4에 도시된 것과 같이 사용자(410)의 얼굴 정면 방향(411)과 통화 단말(420)에 대한 통화 단말 정면 방향(421) 간의 상대위치 각도(430)를 산출할 수 있다. As such, when the front face direction is detected based on the positional relationship with respect to the eyes, nose, mouth, and ears, as shown in FIG. 4, the face front direction 411 of the user 410 and the call terminal for the call terminal 420 are illustrated. The relative position angle 430 between the front direction 421 may be calculated.

예를 들어, 사용자(410)과 통화 단말(420)을 오른손으로 들고 통화를 한다고 가정할 수 있다. 이 때, 사용자(410)가 통화 단말(420)을 얼굴 정면 방향(411)에 두고 이야기한다면, 통화 단말 정면 방향(421)과 얼굴 정면 방향(411)간의 각도 차이가 없으므로 상대방의 목소리도 정면에서 들리도록 감성사운드 세팅을 수행할 수 있다.For example, it may be assumed that the user 410 and the call terminal 420 are called with their right hand. At this time, if the user 410 speaks with the call terminal 420 in the face front direction 411, there is no difference in angle between the call terminal front direction 421 and the face front direction 411. Emotional sound settings can be performed to hear.

그러나 도 4에 도시된 것처럼, 사용자(410)가 통화 단말(420)을 오른쪽으로 치우친 위치에서 들고 통화하는 경우에는 얼굴 정면 방향(411)과 통화 단말 정면 방향(421)이 차이가 발생하기 때문에 상대방의 목소리도 상대위치 각도(430)만큼 차이나는 통화 단말(420)의 위치에서 들리도록 감성사운드 세팅을 수행할 수 있다.However, as shown in FIG. 4, when the user 410 is talking while holding the call terminal 420 at a right side position, the other side because the face front direction 411 and the call terminal front direction 421 are different from each other. Emotional sound may also be set to be heard at the position of the call terminal 420 that differs by the relative position angle 430.

즉, 통화 단말(420)의 위치가 통화 단말 정면 방향(421)이 얼굴 정면 방향(411)을 기준으로 오른쪽으로 20도의 위치라면, 사용자(420)가 느끼기에 오른쪽으로 20도의 위치에서 상대방의 목소리가 들리도록 감성사운드 세팅을 수행할 수 있다.That is, when the position of the call terminal 420 is 20 degrees to the right of the call terminal front direction 421 based on the face front direction 411, the voice of the other party is 20 degrees to the right because the user 420 feels. Emotional sound settings can be made to hear.

마찬가지로, 사용자(410)가 통화 단말(420)을 왼손으로 들고 통화를 할 때에도, 동일한 방식으로 감성사운드 세팅을 수행함으로써 사용자(410)에게 입체적인 통화 경험을 제공할 수 있다.Similarly, when the user 410 makes a call with his left hand, the terminal 420 may provide a stereoscopic call experience to the user 410 by performing emotional sound setting in the same manner.

이 때, 통화 단말에 구비된 카메라를 기반으로 사용자의 얼굴 이미지를 획득하고, 얼굴 이미지의 이미지 크기를 고려하여 상대위치에 상응하는 거리를 산출할 수도 있다.In this case, a face image of the user may be obtained based on a camera provided in the call terminal, and a distance corresponding to the relative position may be calculated in consideration of the image size of the face image.

예를 들어, 도 5 내지 도 6을 참조하면, 도 5와 같은 통화 상태(510)일 때에 통화단말의 카메라를 통해 획득된 얼굴 이미지(520)의 크기가 도 6과 같은 통화 상태(610)일 때의 통화단말의 카메라를 통해 획득된 얼굴 이미지(620)보다 큰 것을 알 수 있다. 즉, 도 5의 얼굴 이미지(520)가 도 6의 얼굴 이미지(620)보다 크다는 것은, 도 5의 통화 상태(510)에서의 상대위치 거리(511)가 도 6의 통화 상태(610)에서의 상대위치 거리(611)보다 짧음을 의미할 수 있다.For example, referring to FIGS. 5 to 6, the size of the face image 520 obtained through the camera of the call terminal in the call state 510 as shown in FIG. 5 is the call state 610 as shown in FIG. 6. It can be seen that the face is larger than the face image 620 obtained through the camera of the call terminal. That is, the face image 520 of FIG. 5 is larger than the face image 620 of FIG. 6, so that the relative position distance 511 of the call state 510 of FIG. 5 is greater than that of the call state 610 of FIG. 6. It may mean that it is shorter than the relative position distance 611.

따라서, 이와 같은 방식으로 통화 단말에서 촬영된 이미지를 기반으로 상대위치에 상응하는 거리를 산출하여 감성사운드 세팅을 수행할 수도 있다.  Therefore, the emotional sound setting may be performed by calculating a distance corresponding to the relative position based on the image photographed by the call terminal in this manner.

또한, 전화번호를 기반으로 상대방에 대한 사전세팅 여부를 확인하고, 사전세팅이 되어있는 경우에 사전세팅에 상응하게 상대방의 목소리 위치를 확인할 수 있다. In addition, it is possible to confirm whether or not to pre-set the other party based on the phone number, and if the pre-set is set to determine the voice position of the other party corresponding to the pre-set.

즉, 사전세팅은 통화를 하는 상대방이 누구인지에 따라 설정될 수 있는 정보에 상응하는 것으로, 통화단말의 사용자가 통화단말에 저장된 전화번호를 기반으로 설정할 수 있도록 별도의 인터페이스가 제공될 수도 있다. That is, the pre-setting corresponds to information that can be set according to who is the call counterpart, and a separate interface may be provided so that the user of the call terminal may be set based on the phone number stored in the call terminal.

이 때, 사전세팅이 속삭임 모드일 경우, 사용자의 오른쪽 귀에 상응하는 위치를 상대방의 목소리 위치로 확인할 수 있다. At this time, when the pre-setting is in the whisper mode, the position corresponding to the right ear of the user can be confirmed as the voice position of the other party.

예를 들어, 애인과 통화를 하는 경우에 속삭임 모드로 동작하도록 사전세팅을 해두고, 향후 애인과 통화 시 도 7에 도시된 것처럼 사용자(710)의 오른쪽 귀와 가까운 위치를 애인의 목소리 위치(730)인 것으로 확인할 수 있다. 즉, 사전세팅이 되어있는 경우, 통화 단말(720)의 위치와는 관계없이 사전세팅으로 설정된 모드에 따라 목소리 위치가 결정될 수 있다. For example, pre-set to operate in the whisper mode when talking to a lover, and the position of the lover's voice position 730 near the right ear of the user 710 as shown in FIG. It can be confirmed that. That is, when pre-setting is performed, the voice position may be determined according to a mode set to pre-setting regardless of the position of the call terminal 720.

또한, 이와 같은 사전세팅을 통해 통화하는 상대방에 따라 사용자가 보다 감성적인 통화를 할 수 있는 환경을 제공할 수 있다.In addition, it is possible to provide an environment in which the user can make a more emotional call according to the other party making the call through such pre-setting.

이 때, 속삭임 모드에서는 상대방의 목소리 위치를 왼쪽 귀가 아닌 오른쪽 귀로 세팅함으로써 사용자가 상대방의 목소리를 보다 쉽게 인식하도록 할 수 있다.At this time, in the whisper mode, the user's voice may be more easily recognized by setting the voice position of the other party to the right ear instead of the left ear.

이러한 세팅은 대뇌의 소리인식 경로를 고려한 것으로, 도 8에 도시된 도면을 참조하여 설명하면 다음과 같다.This setting takes into account the sound recognition path of the cerebrum, which will be described with reference to the drawing shown in FIG. 8.

먼저, 오른쪽 귀(810)로 들어온 소리는 오른쪽 달팽이관(811) 신경과 시상내측슬상체를 거쳐 좌뇌 1차 청각피질로 전달되고, 왼쪽 귀(820)로 들어온 소리는 왼쪽 달팽이관(821) 신경과 시상내측슬상체를 거쳐 우뇌 1차 청각피질로 전달될 수 있다. 즉, 신경 연결 부분(800)에서 확인할 수 있듯이 오른쪽 달팽이관(811) 신경은 좌뇌로 연결되어 있고, 왼쪽 달팽이관(821) 신경은 우뇌로 연결되어 있기 때문에 오른쪽 귀(810)로 들어온 소리는 좌뇌로 전달되고, 왼쪽 귀(820)로 들어온 소리는 우뇌로 전달될 수 있다. First, the sound coming into the right ear 810 is transmitted to the left brain primary auditory cortex via the right cochlear 811 nerve and the sagittal medial humerus, and the sound coming into the left ear 820 is the left cochlear 821 nerve and thalamus. Via the medial knee body can be delivered to the right brain primary auditory cortex. That is, as can be seen in the nerve connecting portion 800, the right cochlea 811 nerve is connected to the left brain, the left cochlear 821 nerve is connected to the right brain, so the sound coming into the right ear 810 is transmitted to the left brain. The sound coming into the left ear 820 may be delivered to the right brain.

이 때, 뇌에서 듣기영역에 해당하는 베르니케 영역은 좌뇌의 측두엽에 위치하는 언어신경의 중추로써, 1차 청각피질로부터 정보를 받아 듣기와 읽기를 관장하고 있다. 즉, 1차 청각피질은 언어의 의미를 고려하지 않은 단순한 듣기(Hearing)만을 처리하고, 이후에 베르니케 영역에서 의미를 갖는 언어로서의 듣기(Listening)를 처리하므로 통화를 할 때 들리는 상대방의 목소리는 결국 베르니케 영역에서의 처리가 필요할 수 있다.At this time, the Wernicke region, which corresponds to the listening region in the brain, is the backbone of the linguistic nerve located in the temporal lobe of the left brain, and receives and receives information from the primary auditory cortex. In other words, the primary auditory cortex processes only simple hearing without considering the meaning of language, and later processes the listening as a language having meaning in the Bernike region. In the end, processing in the Wernicke region may be necessary.

그러나, 왼쪽 귀(820)로 들어온 소리는 1차적으로 베르니케 영역이 위치하지 않은 우뇌의 1차 청각피질로 전달되기 때문에 오른쪽 귀(810)로 들어온 소리의 경로를 비교하였을 때 한가지 경로를 더 거쳐야 할 수 있다. 즉, 오른쪽 귀(810)로 들어온 소리는 좌뇌 1차 청각피질에서 좌뇌에 위치하는 베르니케 영역으로 바로 전달되지만, 왼쪽 귀(820)로 들어온 소리는 우뇌 1차 청각피질에서 좌뇌에 위치하는 베르니케 영역으로 전달되어야 하기 때문에 오른쪽 귀(810)를 통한 경로가 왼쪽 귀(820)를 통한 경로보다 짧을 수 있다. However, since the sound coming into the left ear 820 is first transmitted to the primary auditory cortex of the right brain where the Wernicke region is not located, one more path is required when comparing the paths of the sound coming into the right ear 810. can do. That is, the sound coming into the right ear 810 is directly transmitted from the left brain primary auditory cortex to the Wernicke region located in the left brain, while the sound coming into the left ear 820 is located in the right brain primary auditory cortex. The path through the right ear 810 may be shorter than the path through the left ear 820 because it must be delivered to the area.

따라서, 속삭임 모드 수행 시에는 도 7에 도시된 것처럼 사용자(710)의 오른쪽 귀에 소리를 제공함으로써 사용자(710)가 목소리를 인지하는데 덜 피곤하게 할 수 있고, 보다 쉽게 목소리를 인식할 수 있다. Therefore, when the whisper mode is performed, the user 710 may be less tired to recognize the voice and may recognize the voice more easily by providing a sound to the right ear of the user 710 as shown in FIG. 7.

이 때, 사전세팅이 잔소리 모드일 경우, 사용자의 머리 뒤쪽에 상응하는 위치를 상대방의 목소리 위치로 확인할 수 있다. At this time, when the pre-setting is in the nagging mode, the position corresponding to the back of the user's head can be confirmed as the voice position of the other party.

예를 들어, 잔소리를 많이 하는 상대방과 통화를 하는 경우에 잔소리 모드로 동작하도록 사전세팅을 해두고, 향후 잔소리를 많이 하는 상대방과 통화 시 도 9에 도시된 것처럼 사용자(910)의 머리 뒤쪽에 상응하는 위치를 상대방의 목소리 위치(930)인 것으로 확인할 수 있다. 즉, 사용자가 크게 관심을 두지 않는 위치로 상대방의 목소리 위치(930)를 설정함으로써 통화 시에 사용자가 잔소리로 스트레스 받지 않도록 할 수 있다. For example, if you make a call with a nagging party and make a pre-set to operate in a nagging mode, and correspond to a nagging party with a lot of nagging in the future, as shown in FIG. 9, it corresponds to the back of the head of the user 910. It can be confirmed that the position of the other party's voice position (930). That is, by setting the voice position 930 of the counterpart to a position where the user does not pay much attention, the user may not be stressed with nagging during a call.

이 때, 상대방의 전화번호에 별도의 사전세팅이 되어있지 않은 경우에는 감성통화가 아닌 일반적인 통화를 수행하도록 감성사운드 세팅을 비활성화시킬 수도 있다.In this case, if the phone number of the other party is not pre-set separately, the emotional sound setting may be deactivated to perform a general call instead of an emotional call.

이와 같은 사전세팅을 이용하면 통화하는 상대방에 따라 사용자가 보다 감성적이거나 효율적인 통화를 할 수 있는 환경을 제공할 수 있다.By using such pre-setting, it is possible to provide an environment in which a user can make a more emotional or efficient call depending on the other party to call.

또한, 통화가 컨퍼런스 콜에 상응하는 경우, 컨퍼런스 콜에 참여한 상대 인원 수를 고려하여 지정된 위치를 상대방의 목소리 위치로 확인할 수 있다.In addition, when the call corresponds to the conference call, the designated position may be identified as the voice position of the counterpart in consideration of the number of counterparts participating in the conference call.

컨퍼런스 콜의 경우, 통화에 참여한 여러 참여자들 중에 현재 발언하는 사람이 누구인지를 판단하는 것에 많은 인지적 부하가 발생할 수 있다. 예를 들어, 컨퍼런스 콜에 참여한 여러 상대 인원들의 목소리가 모두 하나의 위치에서 들리는 경우, 오로지 음성의 차이만으로 발언자를 구분해야 하므로 사용자의 피로감이 증가될 수 있다. In the case of a conference call, there may be a lot of cognitive load on determining who is currently speaking among the various participants in the call. For example, when the voices of the other parties participating in the conference call are all heard from one location, the speaker may be distinguished only by the voice difference, and thus the user fatigue may be increased.

따라서, 본 발명에서는 컨퍼런스 콜에 참여한 여러 상대 인원들의 목소리 위치를 서로 떨어진 곳에 지정함으로써 사용자가 컴퍼런스 콜에서의 발언자가 누구인지를 보다 수월하게 인지할 수 있도록 할 수 있다. Accordingly, in the present invention, by assigning voice positions of various counterparties participating in the conference call to each other, the user can more easily recognize who is the speaker in the conference call.

이 때, 지정된 위치는 사용자의 시선을 기준으로 기설정된 범위의 각도를 상대 인원수에 상응하게 분할한 값을 기반으로 설정될 수 있다. In this case, the designated position may be set based on a value obtained by dividing an angle of a predetermined range based on the line of sight of the user corresponding to the number of relative persons.

예를 들어, 사용자를 포함하여 3명이 컨퍼런스 콜에 참여하였고, 기설정된 범위의 각도를 180도라고 가정할 수 있다. 이러한 경우에는 도 10에 도시된 것처럼 사용자(1000)의 정면을 기준으로 하는 180도를 상대 인원수에 해당하는 2로 나누어 영역을 분할하고, 분할된 영역의 중간 각도 지점에 지정 위치(1010, 1020)를 설정하여 상대방의 목소리 위치를 설정할 수 있다.For example, it may be assumed that three people including the user participated in the conference call and that the angle of the preset range is 180 degrees. In this case, as shown in FIG. 10, the area is divided by dividing 180 degrees based on the front of the user 1000 by 2 corresponding to the number of people, and the designated positions 1010 and 1020 at the intermediate angle points of the divided areas. You can set the voice position of the other party by setting.

다른 예를 들어, 사용자를 포함하여 4명이 컴퍼런스 콜에 참여하였고, 기설정된 범위의 각도는 마찬가지로 180도라고 가정할 수 있다. 이러한 경우에는 도 11에 도시된 것처럼, 사용자(1100)의 정면을 기준으로 하는 180도를 상대 인원수에 해당하는 3으로 나누어 영역을 분할하고, 분할된 영역의 중간 각도 지점에 지정 위치(1110, 1120, 1130)를 설정하여 상대방의 목소리 위치를 설정할 수 있다.As another example, it may be assumed that four people including the user participated in the conference call, and the angle of the preset range is similarly 180 degrees. In this case, as shown in FIG. 11, the area is divided by dividing 180 degrees based on the front of the user 1100 by 3 corresponding to the number of people, and the designated positions 1110 and 1120 at the intermediate angle points of the divided area. 1130 may set the voice position of the other party.

또 다른 예를 들어, 사용자를 포함하여 5명이 컨퍼런스 콜에 참여하였고, 기설정된 범위의 각도가 360도라고 가정할 수 있다. 이러한 경우에는 도 12에 도시된 것처럼, 사용자(1200)를 기준으로 하는 360도를 상대 인원수에 해당하는 4로 나누어 영역을 분할하고, 분할된 영역의 중간 각도 지점에 지정 위치(1210, 1220, 1230, 1240)를 설정하여 상대방의 목소리 위치를 설정할 수도 있다.As another example, it may be assumed that five people including the user participated in the conference call and that the angle of the preset range is 360 degrees. In this case, as shown in FIG. 12, the area is divided by dividing 360 degrees based on the user 1200 by 4 corresponding to the number of relative persons, and the designated positions 1210, 1220, 1230 at the intermediate angle points of the divided areas. 1240 may be set to set the voice position of the other party.

이 때, 지정위치를 설정하는 방식은 도 10 내지 도 12에 도시된 방법에 한정되지 않는다.At this time, the method of setting the designated position is not limited to the method shown in Figs.

또한, 도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 바이노럴 사운드를 이용한 감성통화방법은 상대 인원 수를 고려하여 상대방의 목소리 위치를 지정할 수 있는 위치 지정 인터페이스를 제공할 수 있다.In addition, although not shown in Figure 1, the emotional call method using the binaural sound according to an embodiment of the present invention can provide a positioning interface that can specify the voice position of the other party in consideration of the number of opponents. .

예를 들어, 사용자를 포함하여 5명이 컨퍼런스 콜을 수행하는 경우, 사용자의 통화 단말로 도 13에 도시된 위치 지정 인터페이스를 제공할 수 있다. 만약, 사용자를 제외한 A, B, C, D의 참여자가 존재한다고 가정한다면, 도 13부터 도 15에 도시된 것처럼 참여자들의 위치를 선택하기 위한 인터페이스 화면을 순차적으로 제공할 수 있다. For example, when five people including a user make a conference call, the call terminal of the user may provide the positioning interface shown in FIG. 13. If it is assumed that there is a participant of A, B, C, and D except the user, an interface screen for selecting the location of the participant may be sequentially provided as shown in FIGS. 13 to 15.

이 후, 사용자가 자신을 제외한 모든 참여자들의 위치를 지정한 경우, 도 16에 도시된 것처럼 참여자들의 지정 위치를 수정할 수 있는 위치 수정 버튼(1610)과 현재 지정된 위치로 컨퍼런스 콜을 시작하기 위한 컨퍼런스 콜 시작 버튼(1620)을 제공할 수 있다. Afterwards, if the user has specified the location of all participants except themselves, the Modify Location button 1610 for modifying the designated location of the participants as shown in FIG. 16 and the start of the conference call to start the conference call to the currently specified location. Button 1620 may be provided.

이 때, 위치 지정 인터페이스는 컨퍼런스 콜이 시작되기 전, 또는 컨퍼런스 콜 도중에 제공될 수도 있으며, 그 형태는 도 13 내지 도 16에 한정되지 않을 수 있다.At this time, the positioning interface may be provided before the conference call starts or during the conference call, and the form may not be limited to FIGS. 13 to 16.

또한, 본 발명의 일실시예에 따른 바이노럴 사운드를 이용한 감성통화방법은 감성사운드 세팅에 따라 상대방의 목소리 위치를 변경하고, 상대방 목소리를 변경된 목소리 위치에 상응하는 바이노럴 사운드로 제공한다(S120).In addition, the emotional call method using the binaural sound according to an embodiment of the present invention changes the position of the other party's voice according to the emotional sound setting, and provides the other party's voice as a binaural sound corresponding to the changed voice position ( S120).

이 때, 바이노럴 사운드는 기존에 이용되는 기술 및 향후 개발 가능한 기술을 적용하여 생성될 수 있다.In this case, the binaural sound may be generated by applying the existing technology and the technology that can be developed in the future.

예를 들어, 한국등록공보 10-1599554에는 MPEG 서라운드(MPEG Surround)라는 국제 표준의 다채널 오디오 부호화 기술을 기반으로 3차원 바이너럴 신호를 출력하는 내용을 개시하고 있다. 10-1599554에서는 MPEG-Surround(MPS) 국제 표준을 기반으로 멀티채널 오디오 재생특성 파라미터를 추출하고, 오디오 재생특성 파라미터를 이용하여 다운믹스 오디오 신호에 대해 HRTF(Head Related Transfer function) 필터링을 수행하여 3D 바이너럴 신호를 출력하는 내용을 개시하고 있다. 여기서, HRTF 필터링은 인간의 청각기관을 모델링한 더미 헤더 마이크를 이용하여 360도의 방위각과 180도의 고도각 사이를 특정 간격을 두고 각각의 위치에 대한 좌우 양쪽의 임펄스 응답을 구하는 필터링일 수 있다.For example, Korean Patent Publication No. 10-1599554 discloses a method of outputting a 3D binaural signal based on an international standard multichannel audio encoding technology called MPEG Surround. 10-1599554 extracts multi-channel audio playback parameters based on the MPEG-Surround (MPS) international standard and performs HRD (Head Related Transfer function) filtering on downmix audio signals using the audio playback parameters. Disclosed is a content for outputting a binaural signal. Here, HRTF filtering may be filtering to obtain the impulse response of the left and right sides for each position at a specific interval between the azimuth angle of 360 degrees and the altitude angle of 180 degrees using a dummy header microphone modeling a human auditory organ.

이 때, 멀티채널 오디오 재생특성 파라미터는 주파수 대역 별 전후방 채널 신호의 출력 레벨 차에 대한 것으로, MPEG-Surround(MPS) 국제 표준에서 다채널 오디오 신호를 입력 받아 두 귀 사이의 소리 크기 차이와 채널 사이의 상관도 등으로 표현되는 공간 파라미터를 기반으로 추출될 수 있다.At this time, the multi-channel audio reproduction characteristic parameter is related to the output level difference of the front and rear channel signals for each frequency band. It may be extracted based on the spatial parameter expressed by the degree of correlation.

또한, 한국등록공보 10-0971700에는 가상음원의 위치정보와 각 채널 별 바이노럴 필터 계수에 기초하여 좌/우 오디오 신호를 주파수 영역에서 필터링하고, 필터링된 신호를 바이노럴 스테레오 신호로 복호화하는 내용을 개시하고 있다. 이 때, 입력되는 시간 영역의 스테레오 좌/우 오디오 신호를 DFT(Discrete Fourier Transform) 또는 FFT(Fast Fourier Transform)를 이용하여 주파수 영역의 신호로 변환하고, 가상음원의 위치정보를 기반으로 할당된 서브밴드 별 각 채널의 파워 이득 값과 각 채널에 대한 주파수 영역의 좌/우 HRTF 계수 블록에 기초하여 주파수 영역에 상응하는 스테레오 좌/우 신호를 바이노럴 스테레오 신호로 필터링할 수 있다. In addition, Korean Patent Publication No. 10-0971700 filters left and right audio signals in a frequency domain based on location information of a virtual sound source and binaural filter coefficients for each channel, and decodes the filtered signal into a binaural stereo signal. The contents are disclosed. At this time, the stereo left / right audio signal of the input time domain is converted into a signal of the frequency domain using a Discrete Fourier Transform (DFT) or a Fast Fourier Transform (FFT), and the sub is allocated based on the location information of the virtual sound source. A stereo left / right signal corresponding to the frequency domain may be filtered as a binaural stereo signal based on a power gain value of each channel per band and a left / right HRTF coefficient block in the frequency domain for each channel.

이 때, 가상음원의 위치정보(VSLI: Virtual Source Location Information) 기반의 공간 큐 정보를 합성하여 서브밴드 별 각 채널의 파워 이득값을 산출할 수 있고, 스테레오 신호에 대한 VSLI 기반의 공간 큐 정보는 임의의 서브밴드(m)에 대하여, 좌측반면각(LHA: Left Half-plane Angle)(LHA(m)), 좌측보조평면각(LSA: Left Subsequent Angle)(LSA(m)), 우측반면각(RHA: Right Half-plane Angle)(RHA(m)) 및 우측보조평면각(RSA: Right Subsequent Angle)(RSA(m))을 포함할 수 있다.At this time, the spatial gain of each channel can be calculated by synthesizing the spatial cue information based on the virtual source location information (VSLI) of the virtual sound source, and the VSLI-based spatial cue information for the stereo signal For any subband (m), Left Half-plane Angle (LHA) (LHA (m)), Left Subsequent Angle (LSA) (LSA (m)), Right Half-Angle ( RHA: Right Half-plane Angle (RHA (m)) and Right Subsequent Angle (RSA) (RSA (m)).

따라서, 본 발명에서도 상기와 같은 기술을 기반으로 감성사운데 세팅에 의한 상대방의 목소리 위치에 상응하게 바이노럴 사운드를 생성할 수 있다. Therefore, the present invention can also generate a binaural sound corresponding to the voice position of the counterpart based on the emotional sound setting based on the above technique.

또한, 도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 바이노럴 사운드를 이용한 감성통화방법은 감성통화 도중에 감성통화 종료 조건이 만족되는 경우, 감성사운드 세팅을 비활성화시킬 수 있다.In addition, although not shown in Figure 1, the emotional call method using the binaural sound according to an embodiment of the present invention, if the emotional call end condition is satisfied during the emotional call, the emotional sound setting can be deactivated.

이 때, 감성통화 종료 조건은 감성통화 도중에 이어폰 사용이 종료되는 경우 및 감성통화 도중에 사용자 입력에 기반한 감성통화 종료 명령이 입력된 경우 중 적어도 하나에 상응할 때 만족될 수 있다.In this case, the emotional call termination condition may be satisfied when at least one of the case where the use of the earphone is terminated during the emotional call and the case where the emotional call termination command based on the user input is input during the emotional call.

또한, 도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 바이노럴 사운드를 이용한 감성통화방법은 일반통화 도중에 감성통화 실행 조건이 만족되는 경우, 감성사운드 세팅을 활성화시킬 수 있다.In addition, although not shown in Figure 1, the emotional call method using the binaural sound according to an embodiment of the present invention, if the emotional call execution condition is satisfied during the general call, the emotional sound setting can be activated.

이 때, 감성통화 실행 조건은 일반통화 도중에 이어폰 사용이 실행되는 경우 및 일반통화 도중에 사용자 입력에 기반한 감성통화 실행 명령이 입력되는 경우 중 적어도 하나에 상응할 때 만족될 수 있다. At this time, the emotional call execution condition may be satisfied when at least one of the case where the use of the earphone is executed during the general call and the case when the emotional call execution command based on the user input is input during the general call.

이 때, 감성통화방법은 음성 통화 및 영상 통화 중 적어도 하나의 통화 방식에 적용 가능할 수 있다. 즉, 본 발명에 따른 감성통화방법은 상호간에 목소리만 들리는 음성통화나 목소리와 함께 영상을 보여주는 영상통화에 적용할 수 있다. In this case, the emotional call method may be applicable to at least one of a voice call and a video call. That is, the emotional call method according to the present invention can be applied to a video call showing an image together with a voice call or a voice in which only a voice is heard.

또한, 도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 바이노럴 사운드를 이용한 감성 통화 방법은 상술한 바와 같이 본 발명의 일실시예에 따른 감성통화 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장할 수 있다.In addition, although not shown in Figure 1, the emotional call method using the binaural sound according to an embodiment of the present invention as described above separates the various information generated in the emotional call process according to an embodiment of the present invention Can be stored in the storage module.

이와 같은 감성통화방법을 이용하여, 바이노럴 사운드를 이용한 입체음향기술에 심리학적인 요소를 결합하여 감상적 효과를 발생시키는 통화 기술을 제공할 수 있다.By using such an emotional call method, it is possible to provide a call technology that generates a sentimental effect by combining psychological elements with stereoscopic sound technology using binaural sound.

또한, 음성통화 또는 영상통화를 하는 사용자가 대화(통화)하는데 필요한 인지적 부하를 감소시킴으로써 사용자가 느끼는 피로감을 감소시킬 수 있으며, 통화 상대방을 식별하여 감성사운드를 세팅함으로써 사용자에 대해 개인화된 통화 환경을 제공할 수도 있다.In addition, by reducing the cognitive load required to talk (call) by the user making a voice call or a video call, the user may reduce fatigue, and personalized call environment for the user by identifying emotional parties and setting emotional sound. It can also provide

도 17은 본 발명의 일실시예에 따른 감성통화방법 중 사용자의 얼굴에 대한 통화 단말의 상대위치를 이용하는 과정을 상세하게 나타낸 도면이다.17 is a diagram illustrating a process of using a relative position of a call terminal with respect to a face of a user in an emotional call method according to an embodiment of the present invention.

도 17을 참조하면, 본 발명의 일실시예에 따른 감성통화방법 중 사용자의 얼굴에 대한 통화 단말의 상대위치를 이용하는 과정은 먼저 사용자 단말(1710)과 상대방 단말(1720) 간에 통화가 연결되면(S1702), 사용자 단말(1710)이 구비된 카메라를 이용하여 사용자의 얼굴 인식을 수행할 수 있다(S1704).Referring to FIG. 17, a process of using a relative position of a call terminal with respect to a face of a user in the emotional call method according to an embodiment of the present invention may be performed when a call is first connected between the user terminal 1710 and the counterpart terminal 1720 ( In operation S1702, the user may perform face recognition using the camera equipped with the user terminal 1710 (S1704).

이 때, 사용자 단말(1710)은 본 발명에 따라 이어폰이 사용되어 감성사운드 세팅이 활성화된 상태인 것으로 가정할 수 있다.At this time, the user terminal 1710 may assume that the emotional sound setting is activated by using the earphone according to the present invention.

이 후, 감성사운드 세팅을 위해 사용자의 얼굴에 대한 사용자 단말(1710)의 상대위치를 확인(S1706)하여 상대방의 목소리 위치를 확인할 수 있다.Thereafter, the relative position of the user terminal 1710 with respect to the user's face may be checked (S1706) to set the emotional sound, and the voice position of the other party may be confirmed.

이 후, 상대방 단말(1720)로부터 상대방의 목소리 데이터가 입력되면(S1708), 감성사운드 세팅 단계에서 확인된 목소리 위치에 상응하게 목소리 데이터의 목소리 위치를 변경할 수 있다(S1710).Thereafter, when the voice data of the other party is input from the counterpart terminal 1720 (S1708), the voice location of the voice data may be changed according to the voice location identified in the emotional sound setting step (S1710).

이 후, 변경된 목소리 위치에 상응하게 바이노럴 사운드를 생성하여 사용자에게 출력할 수 있다(S1712).Thereafter, the binaural sound may be generated and output to the user according to the changed voice position (S1712).

도 18은 본 발명의 일실시예에 따른 감성통화방법 중 사전세팅을 이용하는 과정을 상세하게 나타낸 도면이다.18 is a diagram illustrating a process of using pre-setting in the emotional call method according to an embodiment of the present invention in detail.

도 18을 참조하면, 본 발명의 일실시예에 따른 감성통화방법 중 사전세팅을 이용하는 과정은 먼저 사용자 단말(1810)에서 사전세팅을 수행함으로써(S1802), 사용자 단말(1810)에 저장된 전화번호 별로 각각의 감성통화 모드를 설정할 수 있다.Referring to FIG. 18, the process of using the pre-setting of the emotional call method according to an embodiment of the present invention is performed by pre-setting at the user terminal 1810 (S1802), for each phone number stored in the user terminal 1810. Each emotional call mode can be set.

이 후, 사용자 단말(1810)과 상대방 단말(1820) 간에 통화가 연결되면(S1804), 사용자 단말(1810)이 사전세팅 여부를 판단하기 위해 상대방 단말(1820)의 전화번호를 확인할 수 있다(S1806).Thereafter, when a call is connected between the user terminal 1810 and the counterpart terminal 1820 (S1804), the user terminal 1810 may check the phone number of the counterpart terminal 1820 to determine whether to pre-set (S1806). ).

이 때, 사용자 단말(1810)은 본 발명에 따라 이어폰이 사용되어 감성사운드 세팅이 활성화된 상태인 것으로 가정할 수 있다.In this case, the user terminal 1810 may assume that the emotional sound setting is activated by using the earphone according to the present invention.

이 후, 전화번호를 기반으로 사전세팅 여부를 판단하고(S1808), 상대방 단말(1820)에 대한 사전세팅이 되어있으면 상대방 단말(1820)에 대한 사전세팅 모드가 무엇인지 확인할 수 있다(S1810).Thereafter, it is determined whether or not to pre-set based on the phone number (S1808), and if the pre-setting for the counterpart terminal 1820 is performed, it is possible to check what the pre-setting mode for the counterpart terminal 1820 is (S1810).

예를 들어, 사전세팅 모드는 사용자의 오른쪽 귀에 상응하는 위치를 상대방의 목소리 위치로 확인하는 속사임 모드 및 사용자의 머리 뒤쪽에 상응하는 위치를 상대방의 목소리 위치로 확인하는 잔소리 모드를 포함할 수 있다. For example, the pre-setting mode may include a quick step mode for checking a position corresponding to the right ear of the user as the voice position of the counterpart and a nagging mode for checking a position corresponding to the back of the user's head as the voice position of the counterpart. .

이 후, 상대방 단말(1820)로부터 상대방의 목소리 데이터가 입력되면(S1812), 사전세팅 모드에 상응하는 목소리 위치로 목소리 데이터의 목소리 위치를 변경할 수 있다(S1814).Thereafter, when the other party's voice data is input from the other terminal 1820 (S1812), the voice position of the voice data may be changed to the voice position corresponding to the pre-setting mode (S1814).

이 후, 변경된 목소리 위치에 상응하게 바이노럴 사운드를 생성하여 사용자에게 출력할 수 있다(S1816).Thereafter, the binaural sound may be generated and output to the user according to the changed voice position (S1816).

또한, 단계(S1808)의 판단결과 상대방 단말(1820)에 대한 사전세팅이 되어있지 않으면, 일반통화 사운드로 통화를 수행할 수도 있다.In addition, if the setting of the counterpart terminal 1820 is not performed as a result of the determination in step S1808, the call may be performed using a general call sound.

도 19는 본 발명의 일실시예에 따른 감성통화방법 중 컨퍼런스콜을 이용하는 과정을 상세하게 나타낸 도면이다.19 is a diagram illustrating a process of using a conference call in detail in an emotional call method according to an embodiment of the present invention.

도 19를 참조하면, 본 발명의 일실시예에 따른 감성통화방법 중 컨퍼런스콜을 이용하는 과정은 먼저, 사용자 단말(1910)을 포함하여 상대방 단말들(1920-1~1920-N)과 컨퍼런스 콜이 시작되면(S1902), 먼저 사용자 단말(1910)에서 상대 인원수를 파악할 수 있다(S1904).Referring to FIG. 19, a process of using a conference call in an emotional call method according to an embodiment of the present invention may include a conference call with counterpart terminals 1920-1 to 1920 -N, including a user terminal 1910. Once started (S1902), first, the user terminal 1910 can determine the number of opponents (S1904).

이 때, 사용자 단말(1910)은 본 발명에 따라 이어폰이 사용되어 감성사운드 세팅이 활성화된 상태인 것으로 가정할 수 있다.In this case, the user terminal 1910 may assume that the emotional sound setting is activated by using the earphone according to the present invention.

이 후, 사용자 단말(1910)이 상대 인원수에서 사용자를 제외한 참여 인원수를 기반으로 상대방 단말들의 위치를 지정할 수 있다(S1906).Thereafter, the user terminal 1910 may designate the locations of the counterpart terminals based on the number of participants excluding the user from the counterpart number (S1906).

이 후, 상대방 단말 1(1920-1)로부터 상대방 1의 목소리 데이터가 입력되면(S1908), 단계(S1906)에서 지정된 위치에 상응하는 상대방 1의 위치로 상대방 1 목소리의 위치를 변경할 수 있다(S1910).Thereafter, when the other party's voice data is input from the other party's terminal 1 1920-1 (S1908), the location of the other party's voice may be changed to the location of the other party's 1 corresponding to the location specified in step S1906 (S1910). ).

이 후, 변경된 목소리 위치에 상응하게 바이노럴 사운드를 생성하여 사용자에게 출력할 수 있다(S1912).Thereafter, the binaural sound may be generated and output to the user according to the changed voice position (S1912).

이 후, 단계(S1908)에서 단계(S1912)의 과정을 나머지 상대방 단말들에도 동일한 방식으로 적용하여(S1914~S1918) 컨퍼런스 콜에 참여한 여러 상대방들의 목소리를 바이노럴 사운드에 상응하게 출력할 수 있다. Thereafter, in step S1908, the process of step S1912 may be applied to the other counterpart terminals in the same manner (S1914 to S1918), so that voices of various parties participating in the conference call may be output corresponding to the binaural sound. .

도 20은 본 발명의 일실시예에 따른 감성통화방법 중 통화 도중에 감성사운드 세팅을 활성화 또는 비활성화시키는 과정을 상세하게 나타낸 동작흐름도이다.20 is a detailed flowchart illustrating a process of activating or deactivating emotional sound settings during a call in an emotional call method according to an embodiment of the present invention.

도 20을 참조하면, 본 발명의 일실시예에 따른 감성통화방법 중 통화 도중에 감성사운드 세팅을 활성화 또는 비활성화시키는 과정은 사용자와 상대방 간의 감성통화가 연결된 경우(S2010), 감성통화 종료조건이 만족되었는지 여부를 판단할 수 있다(S2015).Referring to FIG. 20, in the process of activating or deactivating emotional sound settings during a call in an emotional call method according to an embodiment of the present invention, when an emotional call is connected between a user and the other party (S2010), the emotional call termination condition is satisfied. It may be determined whether or not (S2015).

이 때, 감성통화 종료조건은 감성통화 도중에 이어폰 사용이 종료되는 경우 및 감성통화 도중에 사용자 입력에 기반한 감성통화 종료 명령이 입력된 경우 중 적어도 하나에 상응할 때 만족될 수 있다. At this time, the emotional call termination condition may be satisfied when at least one of the case where the use of the earphone is terminated during the emotional call and the case where the emotional call termination command based on the user input is input during the emotional call.

단계(S2015)의 판단결과 감성통화 종료조건이 만족되었으면, 감성사운드 세팅을 비활성화시키고 일반통화로 변경하여 통화를 수행할 수 있다(S2020).If the emotional call end condition is satisfied as a result of the determination in step S2015, the call may be performed by deactivating the emotional sound setting and changing to the general call (S2020).

이 후, 통화가 종료되었는지 여부를 판단한 뒤 (S2035), 통화가 종료되지 않았으면 감성통화 실행조건이 만족되었는지 여부를 판단하는 단계를 수행할 수 있다(S2045).Thereafter, after determining whether the call is terminated (S2035), if the call is not terminated, it may be determined whether the emotional call execution condition is satisfied (S2045).

이 때, 단계(S2035)의 판단결과 통화가 종료되었으면, 통화 과정을 종료할 수 있다.At this time, if the call is terminated as a result of the determination in step S2035, the call process may be terminated.

또한, 단계(S2015)의 판단결과 감성통화 종료조건이 만족되지 안았으면, 통화가 종료되었는지 여부를 판단할 수 있다(S2025).In addition, if the emotional call termination condition is not satisfied as a result of the determination in step S2015, it may be determined whether the call is terminated (S2025).

이 후, 통화가 종료되지 않았으면 다시 감성통화 종료조건이 만족되었는지 여부를 판단하는 단계를 수행하고(S2015), 통화가 종료되었으면 통화과정을 종료할 수 있다.Thereafter, if the call is not terminated, a step of determining whether the emotional call termination condition is satisfied is performed again (S2015), and if the call is terminated, the call process may be terminated.

또한, 단계(S2045)의 판단결과 감성통화 실행조건이 만족되었으면, 감성사운드 세팅을 다시 활성화시키고 감성통화로 변경하여 통화를 수행할 수 있다(S2050).In addition, if the emotional call execution condition is satisfied as a result of the determination in step S2045, the call may be performed by activating the emotional sound setting again and changing to the emotional call (S2050).

이 때, 감성통화 실행조건은 일반통화 도중에 이어폰 사용이 실행되는 경우 및 일반통화 도중에 사용자 입력에 기반한 감성통화 실행 명령이 입력되는 경우 중 적어도 하나에 상응할 때 만족될 수 있다. At this time, the emotional call execution condition may be satisfied when at least one of the case where the use of the earphone is executed during the general call and the case when the emotional call execution command based on the user input is input during the general call.

이 후, 통화가 종료되었는지 여부를 판단한 뒤(S2055), 통화가 종료되지 않았으면 다시 단계(S2015)에 상응하게 감성통화 종료조건이 만족되는지 여부를 판단할 수 있다.Thereafter, after determining whether the call is ended (S2055), if the call is not ended, it may be determined whether the emotional call termination condition is satisfied again in step S2015.

또한, 단계(S2055)의 판단결과 통화가 종료되었으면, 통화 과정을 종료할 수 있다.In addition, if the call is terminated as a result of the determination in step S2055, the call process may be terminated.

또한, 단계(S2045)의 판단결과 감성통화 실행조건이 만족되지 않았으면, 단계(S2035)에 상응하게 통화가 종료되었는지 여부를 판단단계를 수행할 수 있다.In addition, if the emotional call execution condition is not satisfied as a result of the determination in step S2045, it may be determined whether or not the call has ended corresponding to step S2035.

도 21은 본 발명의 일실시예에 따른 감성통화 어플리케이션이 실행되는 통화 단말을 나타낸 블록도이다.21 is a block diagram showing a call terminal running the emotional call application according to an embodiment of the present invention.

도 21을 참조하면, 본 발명의 일실시예에 따른 감성통화 어플리케이션이 실행되는 통화 단말은 통신부(2110), 프로세서(2120) 및 메모리(2130)를 포함한다.Referring to FIG. 21, a call terminal running an emotional call application according to an embodiment of the present invention includes a communication unit 2110, a processor 2120, and a memory 2130.

통신부(2110)는 네트워크와 같은 통신망을 통해 감성통화 어플리케이션을 수신하거나, 상대방 통신단말과의 영상통화 또는 음성통화를 연결해주는 역할을 수행할 수 있다. 즉, 본 발명의 일실시예에 따른 통신부(2110)는 상대방 목소리 데이터를 수신하여 감성통화를 위한 동작을 수행하는 프로세서(2120) 또는 메모리(2130)로 전달할 수 있다.The communication unit 2110 may receive an emotional call application through a communication network such as a network, or may connect a video call or a voice call with a counterpart communication terminal. That is, the communication unit 2110 according to an embodiment of the present invention may receive the other party's voice data and transmit the received voice data to the processor 2120 or the memory 2130 that performs an operation for the emotional call.

프로세서(2120)는 중앙연산 처리장치에 상응하는 것으로, 통신부(2110) 또는 다른 경로를 통해 메모리(2130)에 저장된 본 발명의 일실시예에 따른 감성통화 어플리케이션을 실행시켜 제어할 수 있다.The processor 2120 corresponds to a central processing unit, and may be controlled by executing an emotional call application according to an embodiment of the present invention stored in the memory 2130 through the communication unit 2110 or another path.

프로세서(2120)는 감성사운드 세팅을 확인한다.The processor 2120 verifies the emotional sound setting.

이 때, 본 발명에 따른 감성통화란, 감성사운드를 이용하여 사용자가 통화를 하는데 발생할 수 있는 인지적 부하를 경감하기 위한 통화방법에 해당하는 것일 수 있다.At this time, the emotional call according to the present invention may correspond to a call method for reducing the cognitive load that may occur when the user makes a call using the emotional sound.

이 때, 감성사운드는 바이노럴 효과가 적용된 바이노럴 사운드에 상응하는 것으로, 사용자에게 실제로 출력되는 소리가 감성사운드에 상응할 수 있다. In this case, the emotional sound corresponds to the binaural sound to which the binaural effect is applied, and the sound actually output to the user may correspond to the emotional sound.

이러한 감성통화는 바이노럴 사운드에 기반한 입체적 효과를 통해 인지적 부하를 감소시킴으로써 사용자가 통화를 하면서 느끼는 피로감을 감소시키거나 또는 일반통화에서는 느낄 수 없었던 감성적인 요소를 제공함으로써 사용자에게 입체적인 통화 경험을 제공할 수도 있다.Emotional calls reduce the cognitive load through stereoscopic effects based on binaural sound to reduce the fatigue that users experience while making a call, or to provide a three-dimensional call experience to users by providing emotional elements that were not felt in regular calls. You can also provide

이 때, 감성통화는 바이노럴 사운드에 해당하는 감성사운드를 기반으로 제공되기 때문에 이어폰 또는 헤드폰과 같이 바이노럴 효과를 느낄 수 있는 음향기기의 사용여부를 고려하여 서비스가 제공될 수 있다.In this case, since the emotional call is provided based on the emotional sound corresponding to the binaural sound, a service may be provided in consideration of the use of an audio device that can feel the binaural effect such as an earphone or a headphone.

따라서, 감성사운드 세팅은 이어폰이 사용되면 활성화되고, 이어폰이 사용되지 않으면 비활성화될 수 있다.Therefore, the emotional sound setting may be activated when the earphone is used, and deactivated when the earphone is not used.

이 때, 감성사운드 세팅의 활성화를 위한 이어폰 또는 헤드폰은 유선뿐만 아니라 블루투스이어폰 또는 블루투스헤드폰과 같은 무선도 포함될 수 있다.In this case, the earphone or headphone for activating the emotional sound setting may include wireless as well as a wired Bluetooth headset or a Bluetooth headphone.

이 때, 설명의 편의를 위해 이어폰의 사용여부로 감성사운드 세팅의 활성화 여부를 서술하였으나, 이어폰과 유사한 헤드폰의 사용여부에 따라 감성사운드 세팅의 활성화 또는 비활성화가 수행될 수도 있다. In this case, for convenience of description, the emotional sound setting is described as the use of the earphone. However, the activation or deactivation of the emotional sound setting may be performed according to the use of the headphones similar to the earphone.

이 때, 통화를 수행하는 사용자의 얼굴에 대한 통화 단말의 상대위치를 확인하고, 상대위치를 상대방의 목소리 위치로 확인할 수 있다.At this time, the relative position of the call terminal with respect to the face of the user performing the call can be checked, and the relative position can be confirmed as the voice position of the counterpart.

예를 들어, 도 2에 도시된 것처럼, 통화를 수행하는 사용자(210)의 얼굴에 대한 통화 단말(220)의 상대위치를 확인함으로써 상대방의 목소리 위치를 확인할 수 있다. 즉, 사용자(210)가 통화 단말(220)의 위치에서 상대방의 목소리가 들리는 것처럼 느낄 수 있도록 감성사운드 세팅을 수행할 수 있다.For example, as shown in FIG. 2, the voice location of the other party may be confirmed by checking the relative position of the call terminal 220 with respect to the face of the user 210 who performs the call. That is, the user 210 may perform the emotional sound setting so that the user 210 may feel as if the other party's voice is heard at the location of the call terminal 220.

이 때, 통화 단말에 구비된 카메라를 기반으로 사용자의 얼굴에 포함된 눈, 코, 입 및 귀 중 적어도 둘 이상의 위치 관계를 검출하고, 위치 관계를 고려하여 검출된 얼굴 정면 방향을 기준으로 상태위치에 상응하는 각도를 산출할 수 있다.At this time, based on the camera provided in the call terminal to detect the positional relationship of at least two of the eyes, nose, mouth and ears included in the user's face, the position of the position based on the detected front direction in consideration of the positional relationship The angle corresponding to can be calculated.

예를 들어, 도 2에 도시된 것처럼 통화 단말(220)에 구비된 카메라를 기반으로 사용자(210)의 얼굴을 촬영하면 도 3에 도시된 것처럼 눈, 코, 입 및 귀를 각각 검출할 수 있다. 이 때, 검출된 눈, 코, 입 및 귀에 대한 위치 관계를 통해 사용자(210)의 얼굴이 어느 방향을 향하고 있는지 검출하여 얼굴 정면 방향을 검출할 수 있다.For example, as shown in FIG. 2, when the face of the user 210 is photographed based on a camera provided in the call terminal 220, eyes, nose, mouth, and ears may be detected as shown in FIG. 3. . At this time, the frontal direction of the face may be detected by detecting which direction the face of the user 210 faces through the positional relationship with respect to the detected eyes, nose, mouth, and ears.

이 때, 도 3에서는 눈, 코, 입, 귀가 모두 검출된 예시를 사용하였으나, 눈, 코, 입 및 귀 중에 적어도 2개의 위치만 검출되는 경우에도 검출된 적어도 2 개의 대한 위치 관계를 이용하여 얼굴의 정면 방향을 검출할 수도 있다.In this case, although an example in which all eyes, noses, mouths, and ears are detected is used in FIG. The front direction of can also be detected.

이와 같이 눈, 코, 입 및 귀에 대한 위치 관계를 기반으로 얼굴 정면 방향이 검출되면, 도 4에 도시된 것과 같이 사용자(410)의 얼굴 정면 방향(411)과 통화 단말(420)에 대한 통화 단말 정면 방향(421) 간의 상대위치 각도(430)를 산출할 수 있다. As such, when the front face direction is detected based on the positional relationship with respect to the eyes, nose, mouth, and ears, as shown in FIG. 4, the face front direction 411 of the user 410 and the call terminal for the call terminal 420 are illustrated. The relative position angle 430 between the front direction 421 may be calculated.

예를 들어, 사용자(410)과 통화 단말(420)을 오른손으로 들고 통화를 한다고 가정할 수 있다. 이 때, 사용자(410)가 통화 단말(420)을 얼굴 정면 방향(411)에 두고 이야기한다면, 통화 단말 정면 방향(421)과 얼굴 정면 방향(411)간의 각도 차이가 없으므로 상대방의 목소리도 정면에서 들리도록 감성사운드 세팅을 수행할 수 있다.For example, it may be assumed that the user 410 and the call terminal 420 are called with their right hand. At this time, if the user 410 speaks with the call terminal 420 in the face front direction 411, there is no difference in angle between the call terminal front direction 421 and the face front direction 411. Emotional sound settings can be performed to hear.

그러나 도 4에 도시된 것처럼, 사용자(410)가 통화 단말(420)을 오른쪽으로 치우친 위치에서 들고 통화하는 경우에는 얼굴 정면 방향(411)과 통화 단말 정면 방향(421)이 차이가 발생하기 때문에 상대방의 목소리도 상대위치 각도(430)만큼 차이나는 통화 단말(420)의 위치에서 들리도록 감성사운드 세팅을 수행할 수 있다.However, as shown in FIG. 4, when the user 410 is talking while holding the call terminal 420 at a right side position, the other side because the face front direction 411 and the call terminal front direction 421 are different from each other. Emotional sound may also be set to be heard at the position of the call terminal 420 that differs by the relative position angle 430.

즉, 통화 단말(420)의 위치가 통화 단말 정면 방향(421)이 얼굴 정면 방향(411)을 기준으로 오른쪽으로 20도의 위치라면, 사용자(420)가 느끼기에 오른쪽으로 20도의 위치에서 상대방의 목소리가 들리도록 감성사운드 세팅을 수행할 수 있다.That is, when the position of the call terminal 420 is 20 degrees to the right of the call terminal front direction 421 based on the face front direction 411, the voice of the other party is 20 degrees to the right because the user 420 feels. Emotional sound settings can be made to hear.

마찬가지로, 사용자(410)가 통화 단말(420)을 왼손으로 들고 통화를 할 때에도, 동일한 방식으로 감성사운드 세팅을 수행함으로써 사용자(410)에게 입체적인 통화 경험을 제공할 수 있다.Similarly, when the user 410 makes a call with his left hand, the terminal 420 may provide a stereoscopic call experience to the user 410 by performing emotional sound setting in the same manner.

이 때, 통화 단말에 구비된 카메라를 기반으로 사용자의 얼굴 이미지를 획득하고, 얼굴 이미지의 이미지 크기를 고려하여 상대위치에 상응하는 거리를 산출할 수도 있다.In this case, a face image of the user may be obtained based on a camera provided in the call terminal, and a distance corresponding to the relative position may be calculated in consideration of the image size of the face image.

예를 들어, 도 5 내지 도 6을 참조하면, 도 5와 같은 통화 상태(510)일 때에 통화단말의 카메라를 통해 획득된 얼굴 이미지(520)의 크기가 도 6과 같은 통화 상태(610)일 때의 통화단말의 카메라를 통해 획득된 얼굴 이미지(620)보다 큰 것을 알 수 있다. 즉, 도 5의 얼굴 이미지(520)가 도 6의 얼굴 이미지(620)보다 크다는 것은, 도 5의 통화 상태(510)에서의 상대위치 거리(511)가 도 6의 통화 상태(610)에서의 상대위치 거리(611)보다 짧음을 의미할 수 있다.For example, referring to FIGS. 5 to 6, the size of the face image 520 obtained through the camera of the call terminal in the call state 510 as shown in FIG. 5 is the call state 610 as shown in FIG. 6. It can be seen that the face is larger than the face image 620 obtained through the camera of the call terminal. That is, the face image 520 of FIG. 5 is larger than the face image 620 of FIG. 6, so that the relative position distance 511 of the call state 510 of FIG. 5 is greater than that of the call state 610 of FIG. 6. It may mean that it is shorter than the relative position distance 611.

따라서, 이와 같은 방식으로 통화 단말에서 촬영된 이미지를 기반으로 상대위치에 상응하는 거리를 산출하여 감성사운드 세팅을 수행할 수도 있다.  Therefore, the emotional sound setting may be performed by calculating a distance corresponding to the relative position based on the image photographed by the call terminal in this manner.

또한, 전화번호를 기반으로 상대방에 대한 사전세팅 여부를 확인하고, 사전세팅이 되어있는 경우에 사전세팅에 상응하게 상대방의 목소리 위치를 확인할 수 있다. In addition, it is possible to confirm whether or not to pre-set the other party based on the phone number, and if the pre-set is set to determine the voice position of the other party corresponding to the pre-set.

즉, 사전세팅은 통화를 하는 상대방이 누구인지에 따라 설정될 수 있는 정보에 상응하는 것으로, 통화단말의 사용자가 통화단말에 저장된 전화번호를 기반으로 설정할 수 있도록 별도의 인터페이스가 제공될 수도 있다. That is, the pre-setting corresponds to information that can be set according to who is the call counterpart, and a separate interface may be provided so that the user of the call terminal may be set based on the phone number stored in the call terminal.

이 때, 사전세팅이 속삭임 모드일 경우, 사용자의 오른쪽 귀에 상응하는 위치를 상대방의 목소리 위치로 확인할 수 있다. At this time, when the pre-setting is in the whisper mode, the position corresponding to the right ear of the user can be confirmed as the voice position of the other party.

예를 들어, 애인과 통화를 하는 경우에 속삭임 모드로 동작하도록 사전세팅을 해두고, 향후 애인과 통화 시 도 7에 도시된 것처럼 사용자(710)의 오른쪽 귀와 가까운 위치를 애인의 목소리 위치(730)인 것으로 확인할 수 있다. 즉, 사전세팅이 되어있는 경우, 통화 단말(720)의 위치와는 관계없이 사전세팅으로 설정된 모드에 따라 목소리 위치가 결정될 수 있다. For example, pre-set to operate in the whisper mode when talking to a lover, and the position of the lover's voice position 730 near the right ear of the user 710 as shown in FIG. It can be confirmed that. That is, when pre-setting is performed, the voice position may be determined according to a mode set to pre-setting regardless of the position of the call terminal 720.

또한, 이와 같은 사전세팅을 통해 통화하는 상대방에 따라 사용자가 보다 감성적인 통화를 할 수 있는 환경을 제공할 수 있다.In addition, it is possible to provide an environment in which the user can make a more emotional call according to the other party making the call through such pre-setting.

이 때, 속삭임 모드에서는 상대방의 목소리 위치를 왼쪽 귀가 아닌 오른쪽 귀로 세팅함으로써 사용자가 상대방의 목소리를 보다 쉽게 인식하도록 할 수 있다.At this time, in the whisper mode, the user's voice may be more easily recognized by setting the voice position of the other party to the right ear instead of the left ear.

이러한 세팅은 대뇌의 소리인식 경로를 고려한 것으로, 도 8에 도시된 도면을 참조하여 설명하면 다음과 같다.This setting takes into account the sound recognition path of the cerebrum, which will be described with reference to the drawing shown in FIG. 8.

먼저, 오른쪽 귀(810)로 들어온 소리는 오른쪽 달팽이관(811) 신경과 시상내측슬상체를 거쳐 좌뇌 1차 청각피질로 전달되고, 왼쪽 귀(820)로 들어온 소리는 왼쪽 달팽이관(821) 신경과 시상내측슬상체를 거쳐 우뇌 1차 청각피질로 전달될 수 있다. 즉, 신경 연결 부분(800)에서 확인할 수 있듯이 오른쪽 달팽이관(811) 신경은 좌뇌로 연결되어 있고, 왼쪽 달팽이관(821) 신경은 우뇌로 연결되어 있기 때문에 오른쪽 귀(810)로 들어온 소리는 좌뇌로 전달되고, 왼쪽 귀(820)로 들어온 소리는 우뇌로 전달될 수 있다. First, the sound coming into the right ear 810 is transmitted to the left brain primary auditory cortex via the right cochlear 811 nerve and the sagittal medial humerus, and the sound coming into the left ear 820 is the left cochlear 821 nerve and thalamus. Via the medial knee body can be delivered to the right brain primary auditory cortex. That is, as can be seen in the nerve connecting portion 800, the right cochlea 811 nerve is connected to the left brain, the left cochlear 821 nerve is connected to the right brain, so the sound coming into the right ear 810 is transmitted to the left brain. The sound coming into the left ear 820 may be delivered to the right brain.

이 때, 뇌에서 듣기영역에 해당하는 베르니케 영역은 좌뇌의 측두엽에 위치하는 언어신경의 중추로써, 1차 청각피질로부터 정보를 받아 듣기와 읽기를 관장하고 있다. 즉, 1차 청각피질은 언어의 의미를 고려하지 않은 단순한 듣기(Hearing)만을 처리하고, 이후에 베르니케 영역에서 의미를 갖는 언어로서의 듣기(Listening)를 처리하므로 통화를 할 때 들리는 상대방의 목소리는 결국 베르니케 영역에서의 처리가 필요할 수 있다.At this time, the Wernicke region, which corresponds to the listening region in the brain, is the backbone of the linguistic nerve located in the temporal lobe of the left brain, and receives and receives information from the primary auditory cortex. In other words, the primary auditory cortex processes only simple hearing without considering the meaning of language, and later processes the listening as a language having meaning in the Bernike region. In the end, processing in the Wernicke region may be necessary.

그러나, 왼쪽 귀(820)로 들어온 소리는 1차적으로 베르니케 영역이 위치하지 않은 우뇌의 1차 청각피질로 전달되기 때문에 오른쪽 귀(810)로 들어온 소리의 경로를 비교하였을 때 한가지 경로를 더 거쳐야 할 수 있다. 즉, 오른쪽 귀(810)로 들어온 소리는 좌뇌 1차 청각피질에서 좌뇌에 위치하는 베르니케 영역으로 바로 전달되지만, 왼쪽 귀(820)로 들어온 소리는 우뇌 1차 청각피질에서 좌뇌에 위치하는 베르니케 영역으로 전달되어야 하기 때문에 오른쪽 귀(810)를 통한 경로가 왼쪽 귀(820)를 통한 경로보다 짧을 수 있다. However, since the sound coming into the left ear 820 is first transmitted to the primary auditory cortex of the right brain where the Wernicke region is not located, one more path is required when comparing the paths of the sound coming into the right ear 810. can do. That is, the sound coming into the right ear 810 is directly transmitted from the left brain primary auditory cortex to the Wernicke region located in the left brain, while the sound coming into the left ear 820 is located in the right brain primary auditory cortex. The path through the right ear 810 may be shorter than the path through the left ear 820 because it must be delivered to the area.

따라서, 속삭임 모드 수행 시에는 도 7에 도시된 것처럼 사용자(710)의 오른쪽 귀에 소리를 제공함으로써 사용자(710)가 목소리를 인지하는데 덜 피곤하게 할 수 있고, 보다 쉽게 목소리를 인식할 수 있다. Therefore, when the whisper mode is performed, the user 710 may be less tired to recognize the voice and may recognize the voice more easily by providing a sound to the right ear of the user 710 as shown in FIG. 7.

이 때, 사전세팅이 잔소리 모드일 경우, 사용자의 머리 뒤쪽에 상응하는 위치를 상대방의 목소리 위치로 확인할 수 있다. At this time, when the pre-setting is in the nagging mode, the position corresponding to the back of the user's head can be confirmed as the voice position of the other party.

예를 들어, 잔소리를 많이 하는 상대방과 통화를 하는 경우에 잔소리 모드로 동작하도록 사전세팅을 해두고, 향후 잔소리를 많이 하는 상대방과 통화 시 도 9에 도시된 것처럼 사용자(910)의 머리 뒤쪽에 상응하는 위치를 상대방의 목소리 위치(930)인 것으로 확인할 수 있다. 즉, 사용자가 크게 관심을 두지 않는 위치로 상대방의 목소리 위치(930)를 설정함으로써 통화 시에 사용자가 잔소리로 스트레스 받지 않도록 할 수 있다. For example, if you make a call with a nagging party and make a pre-set to operate in a nagging mode, and correspond to a nagging party with a lot of nagging in the future, as shown in FIG. 9, it corresponds to the back of the head of the user 910. It can be confirmed that the position of the other party's voice position (930). That is, by setting the voice position 930 of the counterpart to a position where the user does not pay much attention, the user may not be stressed with nagging during a call.

이 때, 상대방의 전화번호에 별도의 사전세팅이 되어있지 않은 경우에는 감성통화가 아닌 일반적인 통화를 수행하도록 감성사운드 세팅을 비활성화시킬 수도 있다.In this case, if the phone number of the other party is not pre-set separately, the emotional sound setting may be deactivated to perform a general call instead of an emotional call.

이와 같은 사전세팅을 이용하면 통화하는 상대방에 따라 사용자가 보다 감성적이거나 효율적인 통화를 할 수 있는 환경을 제공할 수 있다.By using such pre-setting, it is possible to provide an environment in which a user can make a more emotional or efficient call depending on the other party to call.

또한, 통화가 컨퍼런스 콜에 상응하는 경우, 컨퍼런스 콜에 참여한 상대 인원 수를 고려하여 지정된 위치를 상대방의 목소리 위치로 확인할 수 있다.In addition, when the call corresponds to the conference call, the designated position may be identified as the voice position of the counterpart in consideration of the number of counterparts participating in the conference call.

컨퍼런스 콜의 경우, 통화에 참여한 여러 참여자들 중에 현재 발언하는 사람이 누구인지를 판단하는 것에 많은 인지적 부하가 발생할 수 있다. 예를 들어, 컨퍼런스 콜에 참여한 여러 상대 인원들의 목소리가 모두 하나의 위치에서 들리는 경우, 오로지 음성의 차이만으로 발언자를 구분해야 하므로 사용자의 피로감이 증가될 수 있다. In the case of a conference call, there may be a lot of cognitive load on determining who is currently speaking among the various participants in the call. For example, when the voices of the other parties participating in the conference call are all heard from one location, the speaker may be distinguished only by the voice difference, and thus the user fatigue may be increased.

따라서, 본 발명에서는 컨퍼런스 콜에 참여한 여러 상대 인원들의 목소리 위치를 서로 떨어진 곳에 지정함으로써 사용자가 컴퍼런스 콜에서의 발언자가 누구인지를 보다 수월하게 인지할 수 있도록 할 수 있다. Accordingly, in the present invention, by assigning voice positions of various counterparties participating in the conference call to each other, the user can more easily recognize who is the speaker in the conference call.

이 때, 지정된 위치는 사용자의 시선을 기준으로 기설정된 범위의 각도를 상대 인원수에 상응하게 분할한 값을 기반으로 설정될 수 있다. In this case, the designated position may be set based on a value obtained by dividing an angle of a predetermined range based on the line of sight of the user corresponding to the number of relative persons.

예를 들어, 사용자를 포함하여 3명이 컨퍼런스 콜에 참여하였고, 기설정된 범위의 각도를 180도라고 가정할 수 있다. 이러한 경우에는 도 10에 도시된 것처럼 사용자(1000)의 정면을 기준으로 하는 180도를 상대 인원수에 해당하는 2로 나누어 영역을 분할하고, 분할된 영역의 중간 각도 지점에 지정 위치(1010, 1020)를 설정하여 상대방의 목소리 위치를 설정할 수 있다.For example, it may be assumed that three people including the user participated in the conference call and that the angle of the preset range is 180 degrees. In this case, as shown in FIG. 10, the area is divided by dividing 180 degrees based on the front of the user 1000 by 2 corresponding to the number of people, and the designated positions 1010 and 1020 at the intermediate angle points of the divided areas. You can set the voice position of the other party by setting.

다른 예를 들어, 사용자를 포함하여 4명이 컴퍼런스 콜에 참여하였고, 기설정된 범위의 각도는 마찬가지로 180도라고 가정할 수 있다. 이러한 경우에는 도 11에 도시된 것처럼, 사용자(1100)의 정면을 기준으로 하는 180도를 상대 인원수에 해당하는 3으로 나누어 영역을 분할하고, 분할된 영역의 중간 각도 지점에 지정 위치(1110, 1120, 1130)를 설정하여 상대방의 목소리 위치를 설정할 수 있다.As another example, it may be assumed that four people including the user participated in the conference call, and the angle of the preset range is similarly 180 degrees. In this case, as shown in FIG. 11, the area is divided by dividing 180 degrees based on the front of the user 1100 by 3 corresponding to the number of people, and the designated positions 1110 and 1120 at the intermediate angle points of the divided area. 1130 may set the voice position of the other party.

또 다른 예를 들어, 사용자를 포함하여 5명이 컨퍼런스 콜에 참여하였고, 기설정된 범위의 각도가 360도라고 가정할 수 있다. 이러한 경우에는 도 12에 도시된 것처럼, 사용자(1200)를 기준으로 하는 360도를 상대 인원수에 해당하는 4로 나누어 영역을 분할하고, 분할된 영역의 중간 각도 지점에 지정 위치(1210, 1220, 1230, 1240)를 설정하여 상대방의 목소리 위치를 설정할 수도 있다.As another example, it may be assumed that five people including the user participated in the conference call and that the angle of the preset range is 360 degrees. In this case, as shown in FIG. 12, the area is divided by dividing 360 degrees based on the user 1200 by 4 corresponding to the number of relative persons, and the designated positions 1210, 1220, 1230 at the intermediate angle points of the divided areas. 1240 may be set to set the voice position of the other party.

이 때, 지정위치를 설정하는 방식은 도 10 내지 도 12에 도시된 방법에 한정되지 않는다.At this time, the method of setting the designated position is not limited to the method shown in Figs.

또한, 프로세서(2120)는 상대 인원 수를 고려하여 상대방의 목소리 위치를 지정할 수 있는 위치 지정 인터페이스를 제공할 수 있다.In addition, the processor 2120 may provide a location designation interface capable of designating the location of the other party's voice in consideration of the number of opponents.

예를 들어, 사용자를 포함하여 5명이 컨퍼런스 콜을 수행하는 경우, 사용자의 통화 단말로 도 13에 도시된 위치 지정 인터페이스를 제공할 수 있다. 만약, 사용자를 제외한 A, B, C, D의 참여자가 존재한다고 가정한다면, 도 13부터 도 15에 도시된 것처럼 참여자들의 위치를 선택하기 위한 인터페이스 화면을 순차적으로 제공할 수 있다. For example, when five people including a user make a conference call, the call terminal of the user may provide the positioning interface shown in FIG. 13. If it is assumed that there is a participant of A, B, C, and D except the user, an interface screen for selecting the location of the participant may be sequentially provided as shown in FIGS. 13 to 15.

이 후, 사용자가 자신을 제외한 모든 참여자들의 위치를 지정한 경우, 도 16에 도시된 것처럼 참여자들의 지정 위치를 수정할 수 있는 위치 수정 버튼(1610)과 현재 지정된 위치로 컨퍼런스 콜을 시작하기 위한 컨퍼런스 콜 시작 버튼(1620)을 제공할 수 있다. Afterwards, if the user has specified the location of all participants except themselves, the Modify Location button 1610 for modifying the designated location of the participants as shown in FIG. 16 and the start of the conference call to start the conference call to the currently specified location. Button 1620 may be provided.

이 때, 위치 지정 인터페이스는 컨퍼런스 콜이 시작되기 전, 또는 컨퍼런스 콜 도중에 제공될 수도 있으며, 그 형태는 도 13 내지 도 16에 한정되지 않을 수 있다.At this time, the positioning interface may be provided before the conference call starts or during the conference call, and the form may not be limited to FIGS. 13 to 16.

또한, 프로세서(2120)는 감성사운드 세팅에 따라 상대방의 목소리 위치를 변경하고, 상대방 목소리를 변경된 목소리 위치에 상응하는 바이노럴 사운드로 제공한다.In addition, the processor 2120 changes the voice position of the counterpart according to the emotional sound setting, and provides the counterpart voice as a binaural sound corresponding to the changed voice position.

이 때, 바이노럴 사운드는 기존에 이용되는 기술 및 향후 개발 가능한 기술을 적용하여 생성될 수 있다.In this case, the binaural sound may be generated by applying the existing technology and the technology that can be developed in the future.

예를 들어, 한국등록공보 10-1599554에는 MPEG 서라운드(MPEG Surround)라는 국제 표준의 다채널 오디오 부호화 기술을 기반으로 3차원 바이너럴 신호를 출력하는 내용을 개시하고 있다. 10-1599554에서는 MPEG-Surround(MPS) 국제 표준을 기반으로 멀티채널 오디오 재생특성 파라미터를 추출하고, 오디오 재생특성 파라미터를 이용하여 다운믹스 오디오 신호에 대해 HRTF(Head Related Transfer function) 필터링을 수행하여 3D 바이너럴 신호를 출력하는 내용을 개시하고 있다. 여기서, HRTF 필터링은 인간의 청각기관을 모델링한 더미 헤더 마이크를 이용하여 360도의 방위각과 180도의 고도각 사이를 특정 간격을 두고 각각의 위치에 대한 좌우 양쪽의 임펄스 응답을 구하는 필터링일 수 있다.For example, Korean Patent Publication No. 10-1599554 discloses a method of outputting a 3D binaural signal based on an international standard multichannel audio encoding technology called MPEG Surround. 10-1599554 extracts multi-channel audio playback parameters based on the MPEG-Surround (MPS) international standard and performs HRD (Head Related Transfer function) filtering on downmix audio signals using the audio playback parameters. Disclosed is a content for outputting a binaural signal. Here, HRTF filtering may be filtering to obtain the impulse response of the left and right sides for each position at a specific interval between the azimuth angle of 360 degrees and the altitude angle of 180 degrees using a dummy header microphone modeling a human auditory organ.

이 때, 멀티채널 오디오 재생특성 파라미터는 주파수 대역 별 전후방 채널 신호의 출력 레벨 차에 대한 것으로, MPEG-Surround(MPS) 국제 표준에서 다채널 오디오 신호를 입력 받아 두 귀 사이의 소리 크기 차이와 채널 사이의 상관도 등으로 표현되는 공간 파라미터를 기반으로 추출될 수 있다.At this time, the multi-channel audio reproduction characteristic parameter is related to the output level difference of the front and rear channel signals for each frequency band. It may be extracted based on the spatial parameter expressed by the degree of correlation.

또한, 한국등록공보 10-0971700에는 가상음원의 위치정보와 각 채널 별 바이노럴 필터 계수에 기초하여 좌/우 오디오 신호를 주파수 영역에서 필터링하고, 필터링된 신호를 바이노럴 스테레오 신호로 복호화하는 내용을 개시하고 있다. 이 때, 입력되는 시간 영역의 스테레오 좌/우 오디오 신호를 DFT(Discrete Fourier Transform) 또는 FFT(Fast Fourier Transform)를 이용하여 주파수 영역의 신호로 변환하고, 가상음원의 위치정보를 기반으로 할당된 서브밴드 별 각 채널의 파워 이득 값과 각 채널에 대한 주파수 영역의 좌/우 HRTF 계수 블록에 기초하여 주파수 영역에 상응하는 스테레오 좌/우 신호를 바이노럴 스테레오 신호로 필터링할 수 있다. In addition, Korean Patent Publication No. 10-0971700 filters left and right audio signals in a frequency domain based on location information of a virtual sound source and binaural filter coefficients for each channel, and decodes the filtered signal into a binaural stereo signal. The contents are disclosed. At this time, the stereo left / right audio signal of the input time domain is converted into a signal of the frequency domain using a Discrete Fourier Transform (DFT) or a Fast Fourier Transform (FFT), and the sub is allocated based on the location information of the virtual sound source. A stereo left / right signal corresponding to the frequency domain may be filtered as a binaural stereo signal based on a power gain value of each channel per band and a left / right HRTF coefficient block in the frequency domain for each channel.

이 때, 가상음원의 위치정보(VSLI: Virtual Source Location Information) 기반의 공간 큐 정보를 합성하여 서브밴드 별 각 채널의 파워 이득값을 산출할 수 있고, 스테레오 신호에 대한 VSLI 기반의 공간 큐 정보는 임의의 서브밴드(m)에 대하여, 좌측반면각(LHA: Left Half-plane Angle)(LHA(m)), 좌측보조평면각(LSA: Left Subsequent Angle)(LSA(m)), 우측반면각(RHA: Right Half-plane Angle)(RHA(m)) 및 우측보조평면각(RSA: Right Subsequent Angle)(RSA(m))을 포함할 수 있다.At this time, the spatial gain of each channel can be calculated by synthesizing the spatial cue information based on the virtual source location information (VSLI) of the virtual sound source, and the VSLI-based spatial cue information for the stereo signal For any subband (m), Left Half-plane Angle (LHA) (LHA (m)), Left Subsequent Angle (LSA) (LSA (m)), Right Half-Angle ( RHA: Right Half-plane Angle (RHA (m)) and Right Subsequent Angle (RSA) (RSA (m)).

따라서, 본 발명에서도 상기와 같은 기술을 기반으로 감성사운데 세팅에 의한 상대방의 목소리 위치에 상응하게 바이노럴 사운드를 생성할 수 있다. Therefore, the present invention can also generate a binaural sound corresponding to the voice position of the counterpart based on the emotional sound setting based on the above technique.

또한, 프로세서(2120)는 감성통화 도중에 감성통화 종료 조건이 만족되는 경우, 감성사운드 세팅을 비활성화시킬 수 있다.In addition, when the emotional call termination condition is satisfied during the emotional call, the processor 2120 may deactivate the emotional sound setting.

이 때, 감성통화 종료 조건은 감성통화 도중에 이어폰 사용이 종료되는 경우 및 감성통화 도중에 사용자 입력에 기반한 감성통화 종료 명령이 입력된 경우 중 적어도 하나에 상응할 때 만족될 수 있다.In this case, the emotional call termination condition may be satisfied when at least one of the case where the use of the earphone is terminated during the emotional call and the case where the emotional call termination command based on the user input is input during the emotional call.

또한, 프로세서(2120)는 일반통화 도중에 감성통화 실행 조건이 만족되는 경우, 감성사운드 세팅을 활성화시킬 수 있다.In addition, the processor 2120 may activate the emotional sound setting when the emotional call execution condition is satisfied during the general call.

이 때, 감성통화 실행 조건은 일반통화 도중에 이어폰 사용이 실행되는 경우 및 일반통화 도중에 사용자 입력에 기반한 감성통화 실행 명령이 입력되는 경우 중 적어도 하나에 상응할 때 만족될 수 있다. At this time, the emotional call execution condition may be satisfied when at least one of the case where the use of the earphone is executed during the general call and the case when the emotional call execution command based on the user input is input during the general call.

이 때, 감성통화방법은 음성 통화 및 영상 통화 중 적어도 하나의 통화 방식에 적용 가능할 수 있다. 즉, 본 발명에 따른 감성통화방법은 상호간에 목소리만 들리는 음성통화나 목소리와 함께 영상을 보여주는 영상통화에 적용할 수 있다.In this case, the emotional call method may be applicable to at least one of a voice call and a video call. That is, the emotional call method according to the present invention can be applied to a video call showing an image together with a voice call or a voice in which only a voice is heard.

메모리(2130)는 통화 단말에 대한 운영체제(Operating System, OS)와 함께 감성통화 어플리케이션을 포함한 각종 어플리케이션들이 저장될 수 있다. 따라서, 감성통화 어플리케이션은 모바일 단말에 설치되어 실행되는 컴퓨터 프로그램에 상응할 수 있다.The memory 2130 may store various applications including an emotional call application along with an operating system (OS) for the call terminal. Therefore, the emotional call application may correspond to a computer program installed and executed in the mobile terminal.

또한, 메모리(2130)는 본 발명의 실시예에 따른 감성통화를 수행하기 위한 기능을 지원할 수 있다. 이 때, 메모리(2130)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 다양한 서로 다른 구현 예에서, 메모리는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.In addition, the memory 2130 may support a function for performing an emotional call according to an embodiment of the present invention. In this case, the memory 2130 may operate as a separate mass storage and may include a control function for performing an operation. In one embodiment, the memory is a computer readable medium. In one implementation, the memory may be a volatile memory unit, and for other implementations, the memory may be a nonvolatile memory unit. In various different implementations, the memory may include, for example, a hard disk device, an optical disk device, or some other mass storage device.

이와 같은 감성통화 어플리케이션이 실행되는 통화 단말을 통해 바이노럴 사운드를 이용한 입체음향기술에 심리학적인 요소를 결합하여 감상적 효과를 발생시키는 통화 기술을 제공할 수 있다.It is possible to provide a call technology that generates a sentimental effect by combining psychological elements with stereoscopic sound technology using binaural sound through a call terminal running the emotional call application.

또한, 음성통화 또는 영상통화를 하는 사용자가 대화(통화)하는데 필요한 인지적 부하를 감소시킴으로써 사용자가 느끼는 피로감을 감소시킬 수 있으며, 통화 상대방을 식별하여 감성사운드를 세팅함으로써 사용자에 대해 개인화된 통화 환경을 제공할 수도 있다.In addition, by reducing the cognitive load required to talk (call) by the user making a voice call or a video call, the user may reduce fatigue, and personalized call environment for the user by identifying emotional parties and setting emotional sound. It can also provide

이상에서와 같이 본 발명에 따른 바이노럴 사운드를 이용한 감성 통화 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the method and apparatus for emotional communication using binaural sound according to the present invention are not limited to the configuration and method of the embodiments described as described above, but the embodiments may be modified in various ways. All or part of each of the embodiments may be selectively combined to be implemented.

210, 410, 710, 910, 1000, 1100, 1200: 사용자
220, 420, 720, 920: 통화 단말 411: 얼굴 정면 방향
421: 통화 단말 정면 방향 430: 상대위치 각도
510, 610: 통화 상태 511, 611: 상대위치 거리
520, 620: 얼굴 이미지 730, 930: 목소리 위치
800: 신경 연결 부분 810: 오른쪽 귀
811: 오른쪽 달팽이관 820: 왼쪽 귀
821: 왼쪽 달팽이관
1010, 1020, 1110, 1120, 1130, 1210, 1220, 1230, 1240: 지정 위치
1610: 위치 수정 버튼 1620: 컨퍼런스 콜 시작 버튼
1710, 1810, 1910: 사용자 단말
1720, 1820, 1920-1~1920-N: 상대방 단말
2110: 통신부 2120: 프로세서
2130: 메모리210, 410, 710, 910, 1000, 1100, 1200: user
220, 420, 720, 920: call terminal 411: face front direction
421: call terminal front direction 430: relative position angle
510, 610: call status 511, 611: relative distance
520, 620: face image 730, 930: voice position
800: nerve connection part 810: right ear
811: right cochlea 820: left ear
821: left cochlea
1010, 1020, 1110, 1120, 1130, 1210, 1220, 1230, 1240: specified location
1610: Modify Location Button 1620: Start Conference Call Button
1710, 1810, 1910: user terminal
1720, 1820, 1920-1 ~ 1920-N: counterpart terminal
2110: communication unit 2120: processor
2130: memory

Claims (20)

통화를 위한 인지적 부하를 경감하기 위한 감성통화방법에 있어서,
감성사운드 세팅을 확인하는 단계; 및
상기 감성사운드 세팅에 따라 상대방의 목소리 위치를 변경하고, 상대방 목소리를 변경된 목소리 위치에 상응하는 바이노럴 사운드로 제공하는 단계
를 포함하고,
상기 감성사운드 세팅을 확인하는 단계는
전화번호를 기반으로 상기 상대방에 대한 사전세팅 여부를 확인하고, 사전세팅이 되어있는 경우에 상기 사전세팅에 상응하게 상기 상대방의 목소리 위치를 확인하는 것을 특징으로 하는 감성통화방법.In the emotional call method for reducing the cognitive load for the call,
Checking the emotional sound settings; And
Changing the voice position of the other party according to the emotional sound setting, and providing the other voice as a binaural sound corresponding to the changed voice location.
Including,
Checking the emotional sound settings
Emotional call method characterized in that it checks whether or not to pre-set the counterpart based on the phone number, and if the pre-set is set to determine the voice position of the counterpart corresponding to the pre-set. 청구항 1에 있어서,
상기 감성사운드 세팅은
이어폰이 사용되면 활성화되고, 이어폰이 사용되지 않으면 비활성화되는 것을 특징으로 하는 감성통화방법.The method according to claim 1,
The emotional sound setting
Emotional call method characterized in that activated when the earphone is used, deactivated when the earphone is not used. 청구항 1에 있어서,
상기 감성사운드 세팅을 확인하는 단계는
상기 통화를 수행하는 사용자의 얼굴에 대한 통화 단말의 상대위치를 확인하고, 상기 상대위치를 상기 상대방의 목소리 위치로 확인하는 것을 특징으로 하는 감성통화방법.The method according to claim 1,
Checking the emotional sound settings
Emotional call method characterized in that for confirming the relative position of the call terminal with respect to the face of the user making the call, the relative position as the voice position of the other party. 청구항 3에 있어서,
상기 감성사운드 세팅을 확인하는 단계는
상기 통화 단말에 구비된 카메라를 기반으로 상기 사용자의 얼굴에 포함된 눈, 코, 입 및 귀 중 적어도 둘 이상의 위치 관계를 검출하고, 상기 위치 관계를 고려하여 검출된 얼굴 정면 방향을 기준으로 상기 상대위치에 상응하는 각도를 산출하는 단계를 포함하는 것을 특징으로 하는 감성통화방법.The method according to claim 3,
Checking the emotional sound settings
Detecting the positional relationship of at least two of eyes, nose, mouth, and ears included in the face of the user based on the camera provided in the call terminal, the relative to the face front direction detected in consideration of the positional relationship Emotional currency method comprising the step of calculating the angle corresponding to the position. 삭제delete 청구항 1에 있어서,
상기 감성사운드 세팅을 확인하는 단계는
상기 사전세팅이 속삭임 모드일 경우, 사용자의 오른쪽 귀에 상응하는 위치를 상기 상대방의 목소리 위치로 확인하는 것을 특징으로 하는 감성통화방법.The method according to claim 1,
Checking the emotional sound settings
If the pre-setting is in the whisper mode, the emotional call method characterized in that for confirming the position corresponding to the right ear of the user as the voice position of the other party. 청구항 1에 있어서,
상기 감성사운드 세팅을 확인하는 단계는
상기 사전세팅이 잔소리 모드일 경우, 사용자의 머리 뒤쪽에 상응하는 위치를 상기 상대방의 목소리 위치로 확인하는 것을 특징으로 하는 감성통화방법.The method according to claim 1,
Checking the emotional sound settings
If the pre-setting is in the nagging mode, the emotional call method, characterized in that the position corresponding to the back of the user's head as the voice position of the other party. 청구항 1에 있어서,
상기 감성사운드 세팅을 확인하는 단계는
상기 통화가 컨퍼런스 콜에 상응하는 경우, 상기 컨퍼런스 콜에 참여한 상대 인원 수를 고려하여 지정된 위치를 상기 상대방의 목소리 위치로 확인하는 것을 특징으로 하는 감성통화방법.The method according to claim 1,
Checking the emotional sound settings
And when the call corresponds to a conference call, identifying the designated position as the voice position of the counterpart in consideration of the number of counterparties participating in the conference call. 청구항 8에 있어서,
상기 지정된 위치는
사용자의 시선을 기준으로 기설정된 범위의 각도를 상기 상대 인원수에 상응하게 분할한 값을 기반으로 설정되는 것을 특징으로 하는 감성통화방법.The method according to claim 8,
The specified position is
Emotional currency method characterized in that the angle is set based on the value of dividing the angle of the predetermined range on the basis of the gaze of the user corresponding to the relative number of people. 청구항 8에 있어서,
상기 감성통화방법은
상기 상대 인원 수를 고려하여 상기 상대방의 목소리 위치를 지정할 수 있는 위치 지정 인터페이스를 제공하는 단계를 더 포함하는 것을 특징으로 하는 감성통화방법.The method according to claim 8,
The emotional call method is
Emotional call method characterized in that it further comprises the step of providing a positioning interface that can specify the position of the voice of the opponent in consideration of the number of opponents. 청구항 1에 있어서,
상기 감성통화방법은
감성통화 도중에 감성통화 종료 조건이 만족되는 경우, 상기 감성사운드 세팅을 비활성화시키는 단계; 및
일반통화 도중에 감성통화 실행 조건이 만족되는 경우, 상기 감성사운드 세팅을 활성화시키는 단계를 더 포함하는 것을 특징으로 하는 감성통화방법.The method according to claim 1,
The emotional call method is
Deactivating the emotional sound setting when the emotional call termination condition is satisfied during the emotional call; And
Emotional call method comprising the step of activating the emotional sound setting, if the emotional call execution condition is satisfied during the general call. 청구항 11에 있어서,
상기 감성통화 종료 조건은 상기 감성통화 도중에 이어폰 사용이 종료되는 경우 및 상기 감성통화 도중에 사용자 입력에 기반한 감성통화 종료 명령이 입력된 경우 중 적어도 하나에 상응할 때 만족되고,
상기 감성통화 실행 조건은 상기 일반통화 도중에 이어폰 사용이 실행되는 경우 및 상기 일반통화 도중에 사용자 입력에 기반한 감성통화 실행 명령이 입력되는 경우 중 적어도 하나에 상응할 때 만족되는 것을 특징으로 하는 감성통화방법.The method according to claim 11,
The emotional call end condition is satisfied when at least one of the case where the use of the earphone is terminated during the emotional call and the case where the emotional call end command based on a user input is input during the emotional call,
The emotional call execution condition may be satisfied when at least one of the case where the use of the earphone is executed during the general call and the case when the emotional call execution command based on the user input is input during the general call. 청구항 1에 있어서,
상기 감성통화방법은
음성 통화 및 영상 통화 중 적어도 하나의 통화 방식에 적용 가능한 것을 특징으로 하는 감성통화방법.The method according to claim 1,
The emotional call method is
Emotional call method characterized in that applicable to at least one of the voice call and the video call. 통화를 위한 인지적 부하를 경감하기 위해서,
감성사운드 세팅을 확인하는 단계; 및
상기 감성사운드 세팅에 따라 상대방의 목소리 위치를 변경하고, 상대방 목소리를 변경된 목소리 위치에 상응하는 바이노럴 사운드로 제공하는 단계
를 실행시키되,
전화번호를 기반으로 상기 상대방에 대한 사전세팅 여부를 확인하여 사전세팅이 되어있는 경우에 상기 사전세팅에 상응하게 상기 상대방의 목소리 위치를 확인하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 감성통화 어플리케이션.To relieve the cognitive load for the call,
Checking the emotional sound settings; And
Changing the voice position of the other party according to the emotional sound setting, and providing the other voice as a binaural sound corresponding to the changed voice location.
Run the
Emotional call stored in a computer-readable recording medium characterized by checking the pre-setting of the other party based on the phone number and confirming the voice position of the other party according to the pre-setting when the pre-setting is made. application. 청구항 14에 있어서,
상기 감성사운드 세팅은
이어폰이 사용되면 활성화되고, 이어폰이 사용되지 않으면 비활성화되는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 감성통화 어플리케이션.The method according to claim 14,
The emotional sound setting
Emotional call application stored in a computer-readable recording medium, characterized in that enabled when the earphone is used, deactivated when the earphone is not used. 청구항 14에 있어서,
상기 감성사운드 세팅을 확인하는 단계는
상기 통화를 수행하는 사용자의 얼굴에 대한 통화 단말의 상대위치를 확인하고, 상기 상대위치를 상기 상대방의 목소리 위치로 확인하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 감성통화 어플리케이션.The method according to claim 14,
Checking the emotional sound settings
Emotional call application stored in the computer-readable recording medium, characterized in that for confirming the relative position of the call terminal with respect to the face of the user making the call, the relative position as the voice position of the other party. 청구항 16에 있어서,
상기 감성사운드 세팅을 확인하는 단계는
상기 통화 단말에 구비된 카메라를 기반으로 상기 사용자의 얼굴에 포함된 눈, 코, 입 및 귀 중 적어도 둘 이상의 위치 관계를 검출하고, 상기 위치 관계를 고려하여 검출된 얼굴 정면 방향을 기준으로 상기 상대위치에 상응하는 각도를 산출하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 감성통화 어플리케이션.The method according to claim 16,
Checking the emotional sound settings
Detecting the positional relationship of at least two of eyes, nose, mouth, and ears included in the face of the user based on the camera provided in the call terminal, the relative to the face front direction detected in consideration of the positional relationship And calculating an angle corresponding to a location, wherein the emotional call application is stored on a computer-readable recording medium. 삭제delete 청구항 14에 있어서,
상기 사전세팅이 속삭임 모드일 경우, 사용자의 오른쪽 귀에 상응하는 위치를 상기 상대방의 목소리 위치로 확인하고,
상기 사전세팅이 잔소리 모드일 경우, 사용자의 머리 뒤쪽에 상응하는 위치를 상기 상대방의 목소리 위치로 확인하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 감성통화 어플리케이션.The method according to claim 14,
When the pre-setting is in the whisper mode, confirm the position corresponding to the right ear of the user as the voice position of the other party,
Emotional call application stored in the computer-readable recording medium, characterized in that when the pre-setting is in the nagging mode, the position corresponding to the back of the user's head as the voice position of the other party. 청구항 14에 있어서,
상기 감성사운드 세팅을 확인하는 단계는
상기 통화가 컨퍼런스 콜에 상응하는 경우, 상기 컨퍼런스 콜에 참여한 상대 인원 수를 고려하여 지정된 위치를 상기 상대방의 목소리 위치로 확인하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 감성통화 어플리케이션.The method according to claim 14,
Checking the emotional sound settings
And when the call corresponds to a conference call, identifying a designated location as a voice location of the counterpart in consideration of the number of counterparties participating in the conference call.

Images