KR20220168793A - 사용자 위험시 주변 소리를 제공하는 전자 장치 및 방법 - Google Patents

사용자 위험시 주변 소리를 제공하는 전자 장치 및 방법 Download PDF

Info

Publication number
KR20220168793A
KR20220168793A KR1020210078731A KR20210078731A KR20220168793A KR 20220168793 A KR20220168793 A KR 20220168793A KR 1020210078731 A KR1020210078731 A KR 1020210078731A KR 20210078731 A KR20210078731 A KR 20210078731A KR 20220168793 A KR20220168793 A KR 20220168793A
Authority
KR
South Korea
Prior art keywords
user
electronic device
sound
sensor
response
Prior art date
Application number
KR1020210078731A
Other languages
English (en)
Inventor
최창림
박정민
이호성
제성민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210078731A priority Critical patent/KR20220168793A/ko
Priority to PCT/KR2022/007471 priority patent/WO2022265251A1/ko
Priority to EP22825177.3A priority patent/EP4322555A1/en
Priority to US17/896,328 priority patent/US20220408178A1/en
Publication of KR20220168793A publication Critical patent/KR20220168793A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

일 실시예에 따른 전자 장치는, 관성 정보 및 주변 소리를 수집하고, 사용자의 이동 방향(moving direction) 및 머리 지향(head orientation) 간의 불일치(mismatch) 및 임팩트 사운드를 모니터링하여 사용자의 위험 여부를 판별하며, 사용자가 위험하다고 결정된 동안 수집된 주변 소리를 사용자에게 제공할 수 있다.

Description

사용자 위험시 주변 소리를 제공하는 전자 장치 및 방법{METHOD AND ELECTRONIC DEVICE TO PROVIDE AMBIENT SOUND WHEN USER IN DANGER}
아래의 개시는 사용자 위험시 주변 소리를 제공하는 기술 에 관한 것이다.
스테레오 헤드셋(Stereo Headset)은 착용시 이어 컵 이 사용자의 귀 부분을 기구 적으로 감싸 외부 소리를 일차적으로 차폐하며, 외부 소리를 추가로 감소시켜 주는 기능을 제공할 수도 있다. 이러한 기능은 사용자에게 외부의 소음을 차폐 시켜, 음악에 집중할 수 있는 경험을 제공할 수 있다.
스테레오 헤드셋은 이어버드(Earbud)보다 청각적 고립이 강하고 몰입 감이 높기 때문에 이어버드에 비해 이동성 보다는 앉아서 음악을 듣는 형태로 사용자 시나리오를 가이드 하는 것이 일반적이다. 다만, 최근 TWS(True Wireless Stereo) 기술의 발달로, 사용자는 스테레오 헤드셋을 착용하고도 상대적으로 자유로운 움직임 및 이동이 가능하게 되었다.
다만, 전술한 소음 차폐에 의해 사용자가 외부의 상황에 대해서는 잘 인지하지 못 할 수 있으며, 갑작스런 상황이 와도 청각 정보를 얻지 못하는 경우가 발생할 수 있다. 스테레오 헤드셋을 착용한 사용자는 이어버드를 착용한 사용자 보다 주위의 충격 감지에 둔감 해질 우려가 있고, 착용 중 돌발 상황 및 위험에 보다 더 빈번하게 노출될 수 있다.
일 실시예에 따른 전자 장치는 스테레오 헤드셋을 착용한 사용자의 시선과 이동 방향이 일치하는 지 여부에 따라 주변 소리를 제공할 지 여부를 결정할 수 있다.
일 실시예에 따른 전자 장치는 스테레오 헤드셋을 착용한 사용자의 머리 회전 속도에 따라 주변 소리를 제공할 지 여부를 결정할 수 있다.
일 실시예에 따른 전자 장치는 스테레오 헤드셋을 착용한 사용자 주변의 소리의 세기에 따라 주변 소리를 제공할 지 여부를 결정할 수 있다.
일 실시예에 따른 전자 장치는, 상기 전자 장치가 사용자의 귀에 착용된 동안, 상기 전자 장치의 관성을 센싱하는 관성 센서; 상기 관성에 대한 관성 정보를 이용하여 상기 사용자의 이동 방향(moving direction) 및 머리 지향(head orientation) 간의 불일치(mismatch)를 모니터링하고, 상기 이동 방향 및 상기 머리 지향 간의 불일치를 모니터링한 결과로부터 상기 사용자가 위험한 지 여부를 결정하도록 설정된 프로세서; 주변 소리를 수집하는 소리 센서; 및 상기 사용자가 위험하다고 결정된 동안 수집된 주변 소리를 출력하는 한 쌍의 스피커들을 포함할 수 있다.
일 실시예에 따른 전자 장치에 의해 수행되는 방법은, 상기 전자 장치가 사용자의 귀에 착용된 동안, 상기 전자 장치의 관성을 센싱하는 동작; 상기 관성에 대한 관성 정보를 이용하여 상기 사용자의 이동 방향 및 머리 지향 간의 불일치를 모니터링하는 동작; 상기 이동 방향 및 상기 머리 지향 간의 불일치를 모니터링한 결과로부터 상기 사용자가 위험한 지 여부를 결정하는 동작; 및 상기 사용자가 위험하다고 결정된 동안 수집된 주변 소리를 출력하는 동작을 포함할 수 있다.
일 실시예에 따른 전자 장치는, 상기 전자 장치가 사용자의 귀에 착용된 동안, 상기 전자 장치의 관성을 센싱하는 관성 센서; 주변 소리를 수집하는 소리 센서; 상기 주변 소리로부터 임계 크기 이상의 소리를 검출한 시점으로부터 미리 결정된 임계 반응 시간이 경과할 때까지 상기 관성에 대한 관성 정보를 이용하여 상기 사용자의 머리 회전의 검출을 실패하는 경우에 응답하여, 상기 사용자가 위험하다고 결정하는 프로세서; 및 상기 사용자가 위험하다고 결정된 동안 수집된 주변 소리를 출력하는 한 쌍의 스피커를 포함할 수 있다.
일 실시예에 따른 전자 장치는 사용자의 머리 지향과 신체의 이동 방향이 불일치하는 경우에 주변 소리를 제공함으로써, 스테레오 헤드셋을 착용한 사용자의 이동에 따라 발생할 수 있는 위험을 방지할 수 있다.
일 실시예에 따른 전자 장치는 머리 회전에 따라 주변 소리를 제공함으로써, 사용자가 바라보지 않는 방향에서 발생하는 위험에 사용자가 노출되는 것을 방지할 수 있다.
일 실시예에 따른 전자 장치는 주변의 소리 세기가 크면 주변 소리를 제공함으로써, 주변 소리가 차폐되는 스테레오 헤드셋을 착용한 사용자의 주의를 환기시킴으로써 사용자의 안전을 확보할 수 있다.
도 1은 일 실시예에 따른 전자 장치의 블록도이다.
도 2는 일 실시예에 따른 전자 장치의 예시를 도시한다.
도 3은 일 실시예에 따른 전자 장치의 예시적인 가속도 센싱 축을 설명한다.
도 4는 일 실시예에 따른 전자 장치의 동작 방법을 도시한 흐름도이다.
도 5 및 도 6은 일 실시예에 따른 전자 장치가 사용자의 머리 회전 여부에 기초하여 위험 여부를 판단하는 동작을 설명한다.
도 7 내지 도 10은 일 실시예에 따른 전자 장치가 사용자의 이동 방향 및 머리 지향에 기초하여 위험 여부를 판단하는 동작을 설명한다.
도 11 및 도 12는 일 실시예에 따른 전자 장치가 사용자의 반응에 기초하여 위험 여부를 판단하는 동작을 설명한다.
도 13은 일 실시예에 따른 전자 장치가 머리 회전 여부, 이동 방향과 머리 지향 간의 불일치 여부, 및 사용자의 반응 여부에 기초하여 위험 여부를 판단하고, 주변 소리를 제공하는 동작을 설명하는 흐름도이다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 디지털 펜(예: 스타일러스 펜), 또는 터치 센서를 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다. 음향 출력 모듈(155)은 예를 들어 한 쌍의 스피커들을 포함할 수 있다. 한 쌍의 스피커들의 각각은 전자 장치가 착용될 시 사용자의 해당하는 귀에 위치될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 관성 센서(inertia sensor)(예: 가속도 센서 및 자이로 센서의 조합), 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 조도 센서, 또는 소리 센서(예: 마이크로폰(microphone))를 포함할 수 있다. 예시적으로 근접 센서 및 그립 센서는 후술하는 착용 감지 센서로서 동작할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치(예: 스테레오 헤드셋 장치), 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는 일 실시예에 따른 전자 장치의 예시를 도시한다.
일 실시예에 따른 전자 장치(200)는 사용자의 고막으로 주변 소리(예: 외부 소음)이 전달되는 것을 차단하고 다른 전자 장치(예: 도 1의 전자 장치(102))로부터 제공되는 소리를 스피커(240)를 통해 재생하는 스테레오 헤드셋 장치일 수 있다. 전자 장치(200)(예: 도 1의 전자 장치(101))는 착용 감지 센서(210), 관성 센서(220), 소리 센서(230), 스피커(240), 이어피스(250), 터치 센서(260), 및 하우징(예: 헤드밴드(270))를 포함할 수 있다. 또한, 전자 장치(200)는 프로세서(예: 도 1의 프로세서(120)) 및 통신 모듈(예: 도 1의 통신 모듈(190))도 포함할 수 있다. 다만, 도 2에 도시된 전자 장치(200)의 형태는 예시적인 것으로서, 도시된 바로 한정하는 것은 아니다.
착용 감지 센서(210)(Wear detecting sensor)는 전자 장치(200)가 사용자의 머리 및/또는 귀에 착용되었는지 여부를 센싱하거나, 전자 장치(200)가 사용자의 신체 부위(예: 머리 또는 목)에 착용된 자세를 센싱할 수 있다. 예를 들어, 전자 장치(200)는 사용자의 귀에 착용되거나, 목에 걸릴 수 있다. 전자 장치(200)의 프로세서는 착용 감지 센서(210)의 센싱을 통해 생성된 데이터에 기초하여 전자 장치(200)가 착용된 신체 부위를 판별할 수 있다. 또한, 전자 장치(200)는 착용 감지 센서(210)의 센싱을 통해 생성된 데이터에 기초하여 이어피스(250)가 하우징(예: 헤드밴드(270))에 대해 기본 자세인지, 뒤쪽으로 회전된 자세인지 여부도 함께 판단할 수 있다. 착용 감지 센서(210)는 복수일 수 있으며, 복수의 착용 감지 센서들의 각각은 서로 독립적으로 구동할 수 있다. 예를 들어, 복수의 착용 감지 센서들 중 머리쪽에 배치되는 머리 근접 감지 센서는 정전식 센서 및 감압식 센서 중 적어도 하나를 포함할 수 있고, 귀쪽에 배치되는 귀 근접 감지 센서는 광학식 센서를 포함할 수 있다. 머리 근접 감지 센서의 센싱을 통해 생성된 데이터는 착용 상태(예: 기본 자세 또는 이어피스가 뒤쪽으로 회전된 자세)를 판별하는데 사용될 수 있다. 귀 근접 감지 센서는 한쪽 귀에 배치되는 제1 귀 근접 감지 센서, 다른쪽 귀에 배치되는 제2 귀 근접 감지 센서를 포함할 수 있다. 귀 근접 감지 센서의 센싱을 통해 생성된 데이터는 이어피스가 귀에 착용되었는지 여부를 판별하는데 사용될 수 있다.
스테레오 헤드셋 장치에서 이어피스(250)의 내면이 내측(예: 이어피스(250)들 사이의 공간)을 향하는 것이 일반적이나, 이어피스(250)와 하우징 간의 기계적 관절 구조에 의해 이어피스(250)의 내면이 외측(예: 이어피스(250)들 사이가 아닌 바깥 공간)을 향하게 반전될 수도 있다. 이어피스(250)의 내면이 향하는 방향으로 스피커(240)의 소리가 출력되므로, 이어피스(250)가 반전되면 해당 이어피스(250)의 소리 출력 방향도 반전될 수 있다. 한 쌍의 이어피스(250)들 중 한 이어피스(250)가 반전되면, 전자 장치(200)는 둘 중 한 이어피스(250) 및 사용자의 신체 부위 간의 근접을 판단할 수 있다. 따라서, 전자 장치(200)는 스테레오 헤드셋 장치의 다양한 형태에 따라 일반 착용, 한쪽 착용, 헤드밴드(270)를 목 쪽으로 내려서 착용, 및 스테레오 헤드셋 장치를 목에 착용과 같은 다양한 착용 상태를 판단할 수 있다.
착용 감지 센서(210)는, 예를 들어, 근접 센서(proximity sensor) 및 그립 센서 중 적어도 하나를 포함할 수 있다.
근접 센서는 근접 여부를 식별하는 센서를 나타낼 수 있다. 전자 장치(200)는 근접 센서의 센싱을 통해 생성되는 데이터에 기초하여 전술한 착용 여부를 판단할 수 있다. 근접 센서는 예시적으로 적외선 발광 다이오드(IR LED, infrared ray light emitting diode) 및 포토 다이오드(photo diode)를 이용한 광학식 근접 센서일 수 있다. 광학식 근접 센서에서는 발광부(light emitter)(예: 발광 다이오드)로부터 방출된 광 신호를 수광부(light receiver)(예: 포토 다이오드)에서 수신할 수 있다. 전자 장치(200)는 수신된 빛의 세기 또는 발광 및 수광 간의 시간 차이에 따라 계산되는 거리에 기초하여 근접 여부를 판별할 수 있다. 다만, 이로 한정하는 것은 아니고, 근접 센서는 초음파를 송신 및 수신하는 초음파 센서로 구현될 수도 있다. 초음파 센서에서는 송신부(transmitter)에서 초음파 신호를 송신하고 수신부(receiver)에서 초음파 신호를 수신할 수 있다. 전자 장치는 수신된 초음파 신호의 세기 또는 초음파의 송신 및 수신 간의 시간 차이에 따라 계산되는 거리에 기초하여 근접 여부를 판별할 수 있다.
전술한 근접 센서는 이어피스(250)의 외부 및/또는 내부에 배치될 수 있다. 프로세서는 근접 센서의 센싱을 통해 이어피스(250)에 대한 사용자의 신체 부위(예: 귀 부분)의 근접 여부와 관련된 데이터(예: 전술한 신호 수신 세기, 신호 수신 시간, 및 거리)를 생성할 수 있다. 하나의 이어피스(250)에 복수의 근접 센서들이 배치될 수 있다. 또한, 한 쌍의 이어피스(250)들(예: 왼쪽 귀에 대응하는 이어피스(250) 및 오른쪽 귀에 대응하는 이어피스(250))의 각각에 근접 센서가 탑재될 수도 있다.
근접 센서는 헤드밴드(270)에도 탑재될 수 있다. 헤드밴드(270)에 탑재된 근접 센서의 센싱을 통해, 프로세서는 전자 장치(200)가 사용자의 귀에 착용되었는지 여부에 관련된 데이터를 생성할 수 있다. 예를 들어, 이어피스(250)가 사용자의 귀에 장착되더라도 사용자의 머리 정수리에 헤드밴드(270)가 착용되지 않을 수 있다. 전자 장치(200)는 전술한 다양한 형태의 착용 상태를 판단하기 위해 추가적인 근접 센서를 포함할 수도 있다.
그립 센서(grip sensor)는 정전용량 방식의 터치나 접촉을 감지할 수 있다. 그립 센서는 이어피스(250) 및/또는 헤드 밴드에 배치될 수 있다. 근접 센서 및 그립 센서를 같이 포함하는 전자 장치(200)는, 사용자의 착용 시 탈부착 판단에 관련된 오류를 방지할 수 있다. 다시 말해, 근접 센서 및 그립 센서의 센싱을 통해 생성된 데이터의 복합 사용에 의해 착용 상태 판별의 정확도가 향상될 수 있다. 그립 센서도 전술한 근접 센서와 유사하게, 한 쌍의 이어피스(250)들의 각각에 탑재될 수 있다. 또한, 그립 센서 및 터치 센서(260)는 센싱 및 처리 원리가 동일하기 때문에, 그립 센서 및 터치 센서(260)가 하나의 처리 모듈을 공유하여 사용될 수도 있다. 다만, 이로 한정하는 것은 아니고, 그립 센서 및 터치 센서(260)의 데이터를 처리하는 처리 모듈은 각각 별도 모듈로 구분될 수도 있다.
관성 센서(220)(Inertia sensor)는 관성(예: 힘)을 감지하는 센서로서, 사용자의 움직임으로 인해 발생하는 자세 변화 량을 감지할 수 있다. 프로세서는 관성 센서(220)의 관성 센싱을 통해 관성 정보(예: 가속도를 지시하는 가속도 데이터 및 각속도를 지시하는 각속도 데이터)를 생성할 수 있다. 예를 들어, 관성 센서(220)는 가속도 센서, 자이로 센서, 또는 가속도 센서와 자이로 센서의 조합을 포함할 수 있다. 가속도 센서가 3축에 대한 가속도를 센싱하고, 자이로 센서가 3축을 기준으로 하는 각속도를 센싱할 수 있다. 관성 센서(220)는 6축 센서라고도 나타낼 수 있다. 또는, 가속도 센서와 자이로 센서를 통합한 통합 센서는 가속도 센서의 출력값과 자이로센서의 출력값을 통합한 값을 출력할 수 있으며, SW(software) 센서(예: 게임 회전 벡터 센서(game rotation vector sensor))라고도 나타낼 수 있다. 관성 센서(220)는 한 쌍(예: 2개)으로서 각각 한 쌍의 이어피스들 내에 수용될 수 있고, 한 쌍의 관성 센서들은 단일 프로세서와 연결되어, 전자 장치에게 시간적 지연 없이 낮은 소모 전력으로 빠른 해드 트랙킹을 지원할 수 있다. 도 3에서 가속도 센서 및 자이로 센서의 기준 축의 배치를 후술한다.
소리 센서(230)는 소리 신호를 감지할 수 있다. 예를 들어, 소리 센서(230)는 사용자의 목소리 및 주변 소리를 감지 및 수집할 수 있고, 마이크로폰으로 구현될 수 있다. 소리 센서(230)는 사용자의 발화(uttering)에 의해 유발되는 소리 신호를 감지할 수 있다. 소리 센서(230)는 복수의 마이크로폰들을 포함할 수도 있다. 전자 장치(200)는 빔포밍(beam-forming) 기술에 기초하여, 사용자의 입에 가깝게 위치된 마이크로폰으로부터 센싱을 통해 생성된 소리 신호와 입으로부터 멀리 위치된 마이크로폰으로부터 센싱을 통해 생성된 소리 신호 간의 비교에 기초하여, 사용자의 입으로부터 발화된 음성을 보다 높은 인식률로 인식할 수 있다.
또한 전자 장치(200)의 다양한 부분들에 배치된 소리 센서(230)들은 다양한 외부 소리를 감지할 수 있다. 예를 들어, 전자 장치(200)의 제1 이어피스(250)(예: 왼쪽 귀에 장착되는 이어피스(250)), 제2 이어피스(250)(예: 오른쪽 귀에 장착되는 이어피스(250)), 및 헤드밴드(270)의 각각에 탑재된 소리 센서(230)들은 전자 장치(200)를 기준으로 음원의 위치에 따라 개별적인 세기로 소리를 센싱하여 소리 신호를 생성할 수 있다. 전자 장치(200)는 각 부분 별로 탑재된 소리 센서(230)의 센싱을 통해 생성되는 소리 신호에 기초하여 음원의 방향을 추정할 수 있다. 예를 들어, 가령 같은 파형의 소리 신호가 좌우 이어피스(250)에 배치된 소리 센서(230)에서 감지되는데, 좌측 소리 센서(230)의 센싱을 통해 생성되는 소리 신호의 세기가 클 수 있다. 전자 장치(200)는 전술한 소리를 발생시킨 음원이 전자 장치(200)를 기준으로 왼쪽 방향에 위치되는 것으로 결정할 수 있다.
또한, 전자 장치(200)는 소리 센서(230)와 관성 센서(220)를 전자 장치(200)를 착용한 사용자(이하, '착용자')가 발화하는지를 판단하기 위한 VPU(Voice Pick-Up) 센서로서 활용할 수도 있다. 예를 들어, 관성 센서(220)는 발화 시 발생하는 미세한 떨림을 감지할 수 있다. 전자 장치(200)는 발화시 발생한 미세한 떨림에 의해 관성 센서(220)의 센싱을 통해 생성된 관성 데이터 및 소리 센서(230)(예: 마이크로폰)의 센싱을 통해 생성된 소리 신호를 연계하여, 착용자의 발화 여부를 판별할 수 있다. 전자 장치(200)는 발화 여부 감지를 통해, 센싱된 소리가 사용자에 의해 생성된 소리인지, 외부 소리인지를 구분할 수 있다. 다시 말해, 전자 장치(200)는 음원의 컨텍스트를 보다 정확히 판단할 수 있다.
스피커(240)는 소리를 출력하는 모듈을 나타낼 수 있다. 사용자의 귀에 착용된 전자 장치(200)가 다른 외부 장치(예: 도 1의 전자 장치(102))로부터 소리 데이터를 수신하는 경우에 응답하여, 수신된 소리 데이터에 대응하는 소리를 출력할 수 있다. 소리의 출력은 재생(play)이라고도 나타낼 수 있다. 스피커(240)는 트위터(Tweeter) 및/또는 우퍼(Woofer)와 같은 다양한 형태의 부품을 포함할 수 있다.
터치 센서(260)(Touch sensor)는 사용자의 손가락 터치 및 스와이프(swipe) 행위와 같은 제스처를 감지할 수 있다. 전자 장치(200)는 터치 센서(260)의 센싱을 통해 생성된 터치 데이터에 응답하여, 음악 재생, 중지, 다음 음악 재생, 및 이전 음악 재생 중 적어도 하나 또는 둘 이상의 조합을 포함하는 제어를 수행할 수 있다. 도 2에서 터치 센서(260)는 이어피스(250)의 외면(예: 이어피스들 사이의 공간이 아닌 외부 공간을 바라보는 면)에 배치되는 것으로 도시되었으나, 이로 한정하는 것은 아니다.
프로세서(Processor)는 도 1에서 전술한 바와 같이, 어플리케이션 프로세서(Application processor), 통신 프로세서(Communication processor), 및/또는 보조 프로세서를 포함할 수 있다. 프로세서의 동작은 하기 도 4 내지 도 13에서 상세히 설명한다.
통신 모듈(Communication Module)은 무선으로 외부와 통신하는 모듈일 수 있다. 통신 모듈은 BT(bluetooth) 네트워크, BLE(Bluetooth low energy) 네트워크, Wi-Fi(Wireless Fidelity) 네트워크, ANT+ 네트워크, LTE(long-term evolution) 네트워크, 5G(5th generation) 네트워크, 및 NB-IoT(Narrowband Internet of Things) 네트워크 중 적어도 하나 또는 둘 이상의 조합을 통해 다른 기기 및/또는 AP(Access Point)와 통신을 수립할 수 있다. 참고로, 본 명세서에서는 주로 전자 장치(200)의 한 쌍의 이어피스(250)들이 하우징 내에서 유선으로 연결되어 있으나, 이로 한정하는 것은 아니다. 한 쌍의 이어피스(250)들 중 각 이어피스(250)에 포함된 소자(예: 프로세서, 스피커(240), 관성 센서(220), 소리 센서(230), 착용 감지 센서(210))는 다른 이어피스(250)에 포함된 소자와 통신 모듈을 통해 무선으로 연결될 수 있다. 각 이어피스(250)에 포함된 소자는 다른 이어피스(250)에 포함된 소자와 통신 모듈을 통해 무선으로 데이터 및/또는 신호를 송수신할 수 있다.
이어피스(250)는 전자 장치(200)가 착용될 시 사용자의 한쪽 귀를 커버하는 피스로서, 한 쌍으로 구성될 수 있다. 이어피스(250)는 착용 감지 센서(210), 관성 센서(220), 소리 센서(230), 스피커(240), 터치 센서(260), 프로세서 및 통신 모듈 중 적어도 하나 또는 둘 이상의 조합을 수용할 수 있다. 전자 장치(200)에 포함된 구성요소들(components)은 한 쌍의 이어피스(250)들의 각각에 분산되어 수용될 수 있다. 한 쌍의 이어피스(250)들은 서로와 하우징(예: 헤드밴드(270))을 통해 연결될 수 있다. 한 쌍의 이어피스(250)들은 전자 장치(200)가 사용자의 귀에 착용될 시 사용자의 귀를 주변 소리로부터 차폐할 수 있다. 예를 들어, 이어피스(250)는 사용자의 귀를 주변 소리로부터 차폐하는 이어패드를 포함할 수 있다. 다만, 도 2에서는 이어피스(250)가 사용자의 귀보다 큰 형태로 도시되었으나, 이로 한정하는 것은 아니고, 커널형(canal type)과 같이 사용자의 외이도를 채워서 밀폐할 수도 있다. 온이어(On-ear)나 오버이어(Over-ear) 타입의 스테레오 헤드셋 장치는 외부 소음을 막아줘 음질에 집중하기 위한 형태이므로, 외부 소음 감지에 취약한 바, 후술하는 바에 따른 위험 판별이 요구될 수 있다.
추가로, 물리제어인터페이스(physical control interface)가 이어피스(250)(예: 이어피스(250)의 외면) 및/또는 헤드밴드(270)에 배치될 수 있다. 물리제어인터페이스는 버튼 및/또는 스위치를 포함하는 PUI(physical user interface)일 수 있다. 물리제어인터페이스는 전원을 켜거나 특정 기능을 수행시키기 위한 사용자 입력을 수신할 수 있다.
도 3은 일 실시예에 따른 전자 장치의 예시적인 가속도 센싱 축을 설명한다.
도 2에서 전술한 바와 같이, 전자 장치(300)(예: 도 2의 전자 장치(200))의 관성 센서(320)는 가속도 센서(또는 가속도계(Accelerometer)) 및 자이로센서(또는 자이로스코프(Gyroscope))를 포함할 수 있다. 가속도 센서는 X축, Y축, 및 Z축의 각 축을 따라 선방향으로 작용하는 힘 또는 가속도를 감지할 수 있다. 가속도 센서에서 Y축은 정자세로 착용된 전자 장치(300)에 있어서 중력 방향(예: 지면에 수직한 방향), X축은 정자세에서 Y축에 수직한 방향(예: 지면에 평행한 방향), Z축은 정자세에서 각 이어피스의 외면이 향하는 방향(예: 이어피스의 소리 출력 방향에 반대되는 방향)을 나타낼 수 있다. 자이로센서는 X축, Y축, 및 Z축을 기준으로 회전하는 각속도(angular velocity)를 감지할 수 있다. 참고로, 도 3은 정자세로 착용된 전자 장치(300)를 도시한다.
전자 장치(300)는 한 쌍의 이어피스들을 포함하고, 각 이어피스에 관성 센서가 수용될 수 있다. 다시 말해, 전자 장치(300)는 한 쌍의 관성 센서들을 포함할 수 있다. 한 쌍의 관성 센서들의 각각은 서로에 대해 대칭적으로 배치될 수 있다. 예를 들어, 한 쌍의 관성 센서들은 이어피스들 사이의 가상의 평면을 기준으로 대칭될 수 있다. 정자세로 사용자에게 착용된 전자 장치(300)의 관성 센서에서 Y축은 중력 방향, X축은 Y축에 수직하면서 전자 장치(300)를 착용한 사용자의 시선 및/또는 머리가 향하는 방향일 수 있다. ZL축은 사용자의 왼쪽 귀에 착용되는 이어피스 내에 수용되는 관성 센서의 Z축일 수 있다. ZR축은 사용자의 오른쪽 귀에 착용되는 이어피스 내에 수용되는 관성 센서의 Z축일 수 있다. ZL축 및 ZR축은 사용자에게 착용된 상태에서 서로 평행하지만 서로 반대 방향일 수 있다.
도 4는 일 실시예에 따른 전자 장치의 동작 방법을 도시한 흐름도이다.
동작(410)에서 전자 장치(예: 도 2의 전자 장치(200))는 착용 중 사용자의 이동, 자세, 및 주변 소리 중 적어도 하나 또는 둘 이상의 조합에 관련된 정보를 수집할 수 있다. 전술한 바와 같이, 사용자의 귀를 밀폐하는 이어피스를 가지는 스테레오 헤드셋 장치를 착용한 사용자는, 소리 차폐로 인해 잠재적으로 위험한 상황에 노출될 수 있다. 예를 들어, 전자 장치는 사용자의 위험 여부를 판단하기 위한 다양한 데이터로서, 사용자의 이동과 관련된 정보(예: 사용자의 이동 거리, 이동 속도, 이동 가속도, 이동 방향, 및 가속도 데이터), 자세와 관련된 정보(예: 머리가 향하는 방향, 머리를 회전시킨 각속도, 머리를 회전시킨 각가속도, 및 각속도 데이터), 주변 소리(예: 획득된 소리 신호), 및 주변 소리와 관련된 정보(예: 소리의 세기)를 수집할 수 있다.
동작(420)에서 전자 장치는 수집된 정보에 기초하여 사용자의 위험 여부를 판단할 수 있다. 예를 들어, 전자 장치는 사용자의 이동과 관련된 정보, 자세와 관련된 정보, 및 주변 소리와 관련된 정보 중 적어도 하나 또는 둘 이상의 조합에 기초하여 사용자가 위험한 지 여부를 판단할 수 있다.
동작(430)에서 전자 장치는 사용자가 위험한 경우 주변 소리를 사용자에게 제공할 수 있다. 전자 장치는 사용자가 위험하다고 결정된 동안 수집된 주변 소리를 출력할 수 있다. 전자 장치는 미리 결정된 재생 시간 동안 및/또는 사용자의 위험이 사라질 때까지 주변 소리의 제공을 지속할 수 있다.
하기에서는 다양한 실시예들 별로 수집된 데이터를 이용하여 사용자의 위험 여부를 판단하는 동작을 설명한다.
도 5 및 도 6은 일 실시예에 따른 전자 장치가 사용자의 머리 회전 여부에 기초하여 위험 여부를 판단하는 동작을 설명한다.
동작(511)에서 전자 장치(예: 도 2의 전자 장치(200))는 사용자가 전자 장치를 착용했는지 여부를 모니터링할 수 있다. 예를 들어, 전자 장치는 이어피스가 사용자의 양쪽 귀를 덮는지 여부를 판단할 수 있다. 전자 장치는 전술한 착용 감지 센서를 통해 생성된 데이터에 기초하여, 착용 여부를 판단할 수 있다. 예를 들어, 전자 장치는, 착용 감지 센서의 센싱을 통해 생성된 데이터로부터 산출되는 이어피스 및 사용자의 머리 간의 거리가 임계 거리 미만이 되는 경우에 응답하여, 사용자가 전자 장치를 착용한 것으로 결정할 수 있다.
동작(512)에서 전자 장치는 착용 중 자이로 센서의 센싱 데이터(이하, '각속도 데이터')를 수집할 수 있다. 예를 들어, 전자 장치는 전자 장치가 사용자의 귀에 착용된 동안, 전자 장치의 각속도 데이터를 수집할 수 있다. 다만, 이로 한정하는 것은 아니고, 전자 장치는 사용자의 귀에 착용된 동안, 전자 장치의 가속도 데이터도 함께 수집할 수 있다. 참고로, 전자 장치는 사용자의 머리에 대한 착용이 감지된 시점(time point)부터 착용이 해제되는 시점까지 각속도 데이터 및 가속도 데이터 중 적어도 하나를 수집할 수 있다.
동작(521)에서 전자 장치는 관성 정보(예: 가속도 데이터 및 각속도 데이터)에 기초하여 사용자의 머리가 회전했는지 여부를 판별할 수 있다. 전자 장치는 관성 정보에 기초하여 임계 각속도 및 임계 각속도 기울기 중 적어도 하나를 초과한 머리 회전을 검출하는 경우에 응답하여, 사용자가 위험하다고 결정할 수 있다. 전자 장치는 수집된 각속도 데이터를 모니터링하면서 각속도 및/또는 각가속도의 급격한 변화를 검출할 수 있다. 추가적인 물리적 인터페이스 없이도, 전자 장치는 사용자에 의해 의도된 입력으로서 급격한 머리 회전이 검출되는 경우에 주변 소리 듣기 기능을 제공할 수 있다.
도 6은 사용자가 머리를 회전하지 않는 동안의 센싱 데이터(610) 및 머리를 회전하는 동안의 센싱 데이터(620)를 나타낼 수 있고, 센싱 데이터(610, 620)는 시간 흐름에 따른 각 축 별 각속도 값의 변화(600)를 나타낼 수 있다. 도 6에 도시된 각속도의 단위는 초당 각도(dps, degree per second)를 나타낼 수 있다. 도 6에 도시된 바와 같이, 머리를 회전하지 않는 동안의 센싱 데이터(610)에서는 각속도의 피크(peak)가 나타나지 않거나, 나타나더라도 해당 피크(611)가 낮은 각속도 값(예: 700 dps)을 가질 수 있다. 반면, 머리가 회전하는 동안의 센싱 데이터(620)에서는, 복수의 피크들이 나타나고, 피크(621)가 상대적으로 높은 각속도 값(예: 3900 dps)을 가질 수 있다. 피크는 X축을 기준으로 하는 각속도, Y축을 기준으로 하는 각속도, 및 Z축을 기준으로 하는 각속도에서 나타날 수 있다.
예를 들어, 전자 장치는 각 축을 기준으로 하는 각속도를 모니터링하면서, 모니터링된 각속도가 임계 각속도(예: 3000 dps)를 초과하는 경우에 응답하여 머리 회전(예: 빠른 머리 회전)이 발생한 것으로 결정할 수 있다. 다른 예를 들어, 전자 장치는 각 축을 기준으로 하는 각속도를 모니터링하면서, 모니터링된 각속도의 기울기(예: 각가속도)가 임계 각속도 기울기(예: 임계 각가속도)를 초과하는 경우에 응답하여 머리 회전이 발생할 것으로 결정할 수 있다. 또 다른 예를 들어, 전자 장치는 각속도가 임계 각속도를 초과하고, 각가속도가 임계 각가속도를 초과하는 경우에 응답하여 머리 회전이 발생한 것으로 결정할 수도 있다.
동작(522)에서 전자 장치는 동작(521)에서 전술한 바에 따라 사용자의 머리 회전이 발생한 것으로 결정하는 경우에 응답하여, 사용자가 위험하다고 판단할 수 있다.
도 4의 동작(430)에서 전술한 바와 같이, 전자 장치는 사용자가 위험하다고 판단되는 경우, 미리 결정된 재생 시간 동안 주변소리 듣기를 활성화할 수 있다. 참고로, 도 11 및 도 12에서 설명된 실시예에서는 사용자의 반응 여부를 추가로 판별하는데, 도 5에서는 사용자의 머리 회전이 이미 사용자의 위험 인지를 지시 및/또는 암시할 수 있다. 도 5에 설명된 실시예에서는 머리 회전 판별만으로 충분하고, 반응 여부 판별까지는 불필요할 수 있다.
도 7 내지 도 10은 일 실시예에 따른 전자 장치가 사용자의 이동 방향 및 머리 지향에 기초하여 위험 여부를 판단하는 동작을 설명한다.
동작(711)(예: 도 5의 동작(511))에서 전자 장치(예: 도 2의 전자 장치(200))는 사용자가 전자 장치를 착용했는지 여부를 모니터링할 수 있다.
동작(712)에서 전자 장치는 사용자의 귀에 착용된 동안, 관성 센서를 통해 센싱 데이터(예: 전자 장치의 관성 정보)를 수집할 수 있다. 전술한 바와 같이 전자 장치는 가속도 데이터 및 각속도 데이터를 수집할 수 있다.
동작(721)에서 전자 장치는 관성 정보를 이용하여 사용자의 이동 방향(moving direction) 및 머리 지향(head orientation) 간의 불일치(mismatch)를 모니터링할 수 있다. 이동 방향은 전자 장치를 착용한 사용자의 신체가 이동하는 방향을 나타낼 수 있다. 머리 지향은 전자 장치를 착용한 사용자의 머리(예: 코)가 향하는 방향을 나타낼 수 있다. 이동 방향 및 머리 지향 간의 불일치는, 사용자가 이동하는 방향과 바라보는 방향이 다른 것을 나타낼 수 있다.
예를 들어, 전자 장치는 가속도 데이터를 이용하여 만보계(Pedometer)와 같이 사용자의 보행 여부를 판별할 수 있고, 보행 중인 경우 보행에 따른 이동 방향을 결정할 수 있다. 또한, 전자 장치는 보행중 가속도 센서의 각 축에 작용하는 힘을 통해 걷고 있는 자세도 추정할 수 있다. 예를 들어 전자 장치는 아래위로 일축(예: Y축)을 따라 흔들리는 충격량 및 앞으로 이동함에 따라 각 축(예: X축, Y축, 및 Z축)에 가해지는 힘을 통해 자세를 판단할 수 있다. 전자 장치는, 아래위로 일축(예: Y축)을 따라 흔들리는 진동 및 앞으로 진행하며 발생하는 힘이 다른 축으로 시프트(shift)하는 경우, 보행 중인 사용자가 고개를 아래로 숙이거나, 위로 올려다 본다고 추정할 수 있다. 이 예시에서는 가속도 데이터만으로도 일축(예: Z축)을 기준으로 한 머리 회전이 검출될 수 있다.
다른 예를 들어, 전자 장치는 각 이어피스에 수용된 관성 센서(예: 가속도 센서)의 가속도 데이터와 다른 이어피스에 수용된 관성 센서의 가속도 데이터 간의 상관성에 기초하여 이동 방향 및 머리 지향 간의 불일치 여부를 판별할 수 있다. 전자 장치는 한 쌍의 스피커들 중 한 스피커에 대응하는 위치에서의 센싱을 통해 생성되는 제1 가속도 데이터(1001) 및 다른 스피커에 대응하는 위치에서의 센싱을 통해 생성되는 제2 가속도 데이터(1002) 간의 상관성이 미리 결정된 임계 범위를 벗어나는 경우에 응답하여, 이동 방향 및 머리 지향 간에 불일치가 발생한 것으로 결정할 수 있다. 도 8을 참조하면, 각 이어피스에 수용된 관성 센서에 의해 측정된 가속도 데이터(800)를 도시한다. 가속도 데이터(800)에서 상단 그래프는 왼쪽 이어피스 및 왼쪽 스피커에 대응하는 위치에서의 센싱을 통해 생성된 가속도 값들을 나타내고, 하단 그래프는 오른쪽 이어피스 및 오른쪽 스피커에 대응하는 위치에서의 센싱을 통해 생성된 가속도 값들을 나타낼 수 있다. 제1 시간 구간(810)에서는 왼쪽 가속도 값들과 오른쪽 가속도 값들 간에 상관성이 나타나지 않을 수 있다. 반면, 사용자가 머리를 회전시킨 채 보행하는 제2 시간 구간(820)에서는 왼쪽 가속도 값들과 오른쪽 가속도 값들 간에 서로 반전된(inverted) 파형이 일부 구간(821)에서 나타날 수 있다. 반전된 파형은 해당 구간(821)에서 제1 가속도 데이터(1001) 및 제2 가속도 데이터(1002) 간의 상관성이 -1인 것을 암시할 수 있다. 전자 장치는 양쪽 가속도 센서의 축간 상관성이 틀어질 경우, 이동 방향 및 머리 지향이 다르다고 결정할 수 있다.
또 다른 예를 들어, 전자 장치는 가속도 센서의 가속도 데이터를 이용하여 사용자의 이동 방향을 추정할 수 있다. 전자 장치는 자이로 센서의 각속도 데이터를 이용하여 사용자의 머리 지향을 추정할 수 있다. 전자 장치는 이동 방향 및 머리 지향 간의 각도 차이를 계산할 수 있다. 전자 장치는 계산된 각도 차이가 임계 각도 차이를 초과하는 경우에 응답하여, 이동 방향 및 머리 지향 간에 불일치가 발생했다고 결정할 수도 있다.
또 다른 예를 들어, 전자 장치는 다른 외부 전자 장치(예: 도 1의 전자 장치(104))로부터 잠재적 외부 충돌 정보를 수신할 수 있다. 잠재적 외부 충돌 정보는, 사용자 주변의 또 다른 장치(예: 자동차 및 오토바이)가 사용자에게 충돌할 위험이 있는지 여부에 관한 정보로서, 예를 들어, 사용자의 현재 위치 또는 사용자의 예상 진행 경로를 향해 접근하는지 여부를 지시하는 정보일 수 있다. 다른 외부 전자 장치는 또 다른 장치로부터 해당 장치의 진행 방향, 진행 속도, 진행 가속도, 및 진행 경로 중 적어도 하나 또는 둘 이상의 조합을 수신하여 전술한 잠재적 외부 충돌 정보를 생성할 수 있다. 전자 장치는 다른 외부 전자 장치로부터 수신된 잠재적 외부 충돌 정보 및 사용자의 이동 방향에 기초하여 위험 여부를 판별할 수도 있다.
아래에서는 동작(721)과 관련하여, 상관성에 기초한 불일치 판별을 설명한다. 예시적으로 전자 장치는 동작(910)에서 머리 회전 여부를 판별할 수 있다. 전자 장치는 관성 정보에 기초하여 머리 회전을 검출할 수 있다. 머리 회전의 검출은 도 5의 동작(521)과 유사하게 수행될 수 있으나, 이로 한정하는 것은 아니다. 예시적으로, 전자 장치는 관성 센서 중 자이로 센서의 센싱을 통해 생성된 각속도 값들에 기초하여 사용자의 머리 회전이 트리거된 시점을 결정할 수 있다. 참고로, 도 5에서 설명된 임계 각속도(예: 제1 임계 각속도)와 도 9에서 사용하는 임계 각속도(예: 제2 임계 각속도)는 서로 값이 다를 수도 있는데, 하기 도 13에서 설명한다.
동작(920)에서 전자 장치는 양쪽의 가속도 간의 상관성을 계산할 수 있다. 양쪽의 가속도는 제1 이어피스에 수용된 제1 관성 센서의 센싱을 통해 생성되는 제1 가속도 데이터(1001), 및 제2 이어피스에 수용된 제2 관성 센서의 센싱을 통해 생성되는 제2 가속도 데이터(1002)를 포함할 수 있다. 예시적으로 전자 장치는 이어피스의 외면에 수직한 축(예: ZL축 및 ZR축)을 기준으로 제1 가속도 데이터(1001) 및 제2 가속도 데이터(1002) 간의 상관성을 계산할 수 있다.
도 10에 도시된 바와 같이, 전자 장치는 제1 가속도 데이터(1001) 및 제2 가속도 데이터(1002)의 각각으로부터 머리 회전을 검출한 시점을 기초로 결정된 시간 구간(1020)(예: 3초)에 대응하는 제1 대상 가속도 데이터 및 제2 대상 가속도 데이터를 추출할 수 있다.
전자 장치는 제1 대상 가속도 데이터 및 제2 대상 가속도 데이터 간의 상관성을 계산할 수 있다. 전자 장치는 하기 수학식 1에 따라 제1 대상 가속도 데이터 및 제2 대상 가속도 데이터 간의 상관성을 계산할 수 있다.
[수학식 1]
Figure pat00001
전술한 수학식 1에서 n은 1이상의 정수로서 시간 구간(1020) 내에서 샘플링 개수(sampling number), i는 1이상 n이하의 정수로서 제1 대상 가속도 데이터 및 제2 대상 가속도 데이터 중 가속도 값이 샘플링된 시점(time point)에 대응하는 인덱스(index)를 나타낼 수 있다.
Figure pat00002
및
Figure pat00003
는 각각 제1 대상 가속도 데이터(예: 왼쪽 가속도 데이터)에서 i번째 가속도 값 및 제2 대상 가속도 데이터(예: 오른쪽 가속도 데이터)에서 i번째 가속도 값을 나타낼 수 있다.
Figure pat00004
및
Figure pat00005
는 각각 제1 대상 가속도 데이터에서 시간 구간(1020)에서의 평균 값, 제2 대상 가속도 데이터에서 시간 구간(1020)에서의 평균 값을 나타낼 수 있다. 도 10에 도시된 상관 샘플 예시들(1090)은 시간 구간(1020) 내에서 샘플링된 가속도 값들 중 ZL축의 값을 가로축, ZR축의 값을 세로축으로 도시한 것을 나타낼 수 있다. 상관성이 0이면 무작위 패턴이 나타나고, 상관성이 1에 접근(approach)할 수록 선형 증가하는 형상이 나타나며, 상관성이 -1에 접근할수록 선형 감소하는 형상이 나타날 수 있다.
동작(930)에서 전자 장치는 계산된 상관성이 미리 결정된 임계 범위를 벗어나는지 여부를 판단할 수 있다. 예를 들어, 전자 장치는 전술한 바와 같이 머리 회전 검출 시점(1010)으로부터 미리 결정된 시간 길이(예: 3초)의 시간 구간(1020)에 대해서 산출된 상관성을 지시하는 상관계수(예: 수학식 1에 따라 산출된 계수)가 1 이하 -0.5 초과의 임계 범위를 벗어나는지 판단할 수 있다. 다시 말해, 전자 장치는 상관계수가 -0.5 이하 -1 이상의 범위(예: 불일치 범위) 내인 지 여부를 판별할 수 있다. 전자 장치는 계산된 상관성이 임계 범위를 벗어나서 불일치 범위 내인 경우에 응답하여, 사용자의 이동 방향 및 머리 지향이 불일치한다고 결정할 수 있다. 상관성이 임계 범위 내인 경우, 전자 장치는 도 7의 동작(712)로 돌아가, 관성 정보의 수집을 계속할 수 있다.
동작(722)에서 전자 장치는 이동 방향 및 머리 지향 간의 불일치를 모니터링한 결과로부터 사용자가 위험한 지 여부를 결정할 수 있다. 전자 장치는 전술한 불일치가 검출되는 경우에 응답하여 사용자가 위험하다고 판단할 수 있다.
도 4의 동작(430)에서 전술한 바와 같이, 전자 장치는 사용자가 위험하다고 판단되는 경우, 미리 결정된 재생 시간 동안 주변소리 듣기를 활성화할 수 있다.
도 11 및 도 12는 일 실시예에 따른 전자 장치가 사용자의 반응에 기초하여 위험 여부를 판단하는 동작을 설명한다.
동작(1111)(예: 도 5의 동작(511))에서 전자 장치(예: 도 2의 전자 장치(200))는 사용자가 전자 장치를 착용했는지 여부를 모니터링할 수 있다.
동작(1112)에서 전자 장치는 사용자의 귀에 착용된 동안, 소리 센서(예: 마이크로폰)를 통해 센싱 데이터(예: 주변 소리를 포함하는 소리 신호)를 수집할 수 있다.
동작(1121)에서 전자 장치는 주변 소리 세기가 임계 세기(1290)를 초과하는 지 여부를 모니터링할 수 있다. 전자 장치는 소리 센서를 통해 수집된 소리의 세기가 임계 세기(1290)를 초과하는 경우에 응답하여, 사용자의 반응 여부를 판별할 수 있다. 본 명세서에서 임계 세기(1290)를 초과하는 소리를 임팩트 소리라고 나타낼 수 있다. 수집된 소리의 세기가 임계 세기(1290) 이하인 경우, 전자 장치는 동작(1112)로 돌아가 계속해서 소리 신호를 수집할 수 있다. 도 12에 도시된 소리 그래프(1200)와 같이, 전자 장치는 대상 시점(예: 현재 시점)을 기준으로 미리 결정된 시간 길이만큼 이전 시간 구간(1210)(예: 도 12에서 t1 시점부터 t2 시점까지의 구간)의 주변 소리에 대한 평균 세기 값을 산출할 수 있다. 평균 세기 값은 지속적인 백색 소음(white noise)에 의해 유발된 소리의 세기일 수 있다. 전자 장치는 이전 시간 구간(1210)의 평균 세기 값에 기초하여 임계 세기(1290)를 결정할 수 있다. 임계 세기(1290)는 평균 세기 값보다 미리 결정된 오프셋 세기(예: 70dB)만큼 큰 세기로 설정될 수 있다. 전자 장치는 주변 소리를 모니터링하는 도중 소리 피크(1220)가 검출되는 경우, 소리 피크(1220) 및 임계 세기를 비교함으로써, 임팩트 소리인 지 여부를 결정할 수 있다.
동작(1122)에서 전자 장치는 관성 센서의 센싱 데이터를 수집할 수 있다. 예를 들어, 전자 장치는 임팩트 소리와 관련하여 사용자의 반응성을 판별하기 위해 가속도 데이터 및/또는 각속도 데이터를 수집할 수 있다.
동작(1123)에서 전자 장치는 사용자의 반응 여부를 판별할 수 있다. 일 실시예에 따르면 전자 장치는 임계 세기(1290)를 초과하는 임팩트 소리에 대한 사용자의 반응 시간(response time), 반응 크기(response magnitude), 및 반응 방향(response direction) 중 적어도 하나 또는 둘 이상의 조합에 기초하여 사용자의 반응 여부를 결정할 수 있다.
예를 들어, 전자 장치는 반응 시간에 기초하여 임팩트 소리에 대한 사용자의 반응 여부를 결정할 수 있다. 전자 장치는 임팩트 소리를 검출한 시점으로부터 임계 반응 시간 내에 사용자의 머리가 회전하는지 여부를 판별할 수 있다. 전자 장치는 임계 반응 시간 내에 사용자의 머리가 회전한 경우에 사용자가 반응한 것으로 결정할 수 있다. 다른 예를 들어, 전자 장치는 반응 크기에 기초하여 임팩트 소리에 대한 사용자의 반응 여부를 결정할 수 있다. 전자 장치는 임팩트 소리에 응답하여 사용자의 머리 회전의 속도(예: 회전 각속도) 및 가속도(예: 회전 각가속도)에 기초하여 반응 크기를 결정하고, 반응 크기가 임계 반응 크기를 초과하는 경우에 사용자가 반응한 것으로 결정할 수 있다. 또 다른 예를 들어, 전자 장치는 반응 방향에 기초하여 임팩트 소리에 대한 사용자의 반응 여부를 결정할 수도 있다. 전자 장치는 임팩트 소리를 발생시킨 음원(sound source)이 위치하는 방향으로 사용자의 머리 지향이 향하는 경우에 응답하여 사용자가 반응한 것으로 결정할 수 있다.
또한, 전자 장치는 반응 시간 및 반응 방향에 기초하여 사용자의 반응 여부를 결정할 수도 있다. 전자 장치는 임팩트 소리의 세기에 기초하여 결정되는 임계 반응 시간 내에 사용자의 머리 지향이 임팩트 소리가 발생한 지점을 향하는 경우에 응답하여, 사용자가 반응한 것으로 결정할 수 있다.
예를 들어, 전자 장치는 양쪽 이어피스에 배치된 소리 센서들로부터 동일한 음원에 의한 소리가 각 측의 소리 센서(예: 왼쪽 소리 센서)의 센싱을 통해 생성되는 소리 세기와 다른 측의 소리 센서(예: 오른쪽 소리 센서)의 센싱을 통해 생성되는 소리 세기 간의 차이에 기초하여, 전자 장치를 기준으로 음원의 상대적인 위치 및/또는 방향을 추정할 수 있다. 전자 장치는 음원에 대해 추정된 위치를 향해 사용자의 머리 지향이 변경되었는지 여부를 관성 센서의 가속도 데이터 및/또는 각속도 데이터에 기초하여 판별할 수 있다. 다시 말해, 전자 장치는 사용자가 임팩트 소리를 발생시킨 음원의 위치를 향해 반응 했는지를 판단할 수 있다. 예시적으로 전자 장치를 기준으로 왼쪽에서 소리가 났을 때, 사용자가 왼쪽으로 임계 반응 시간 이내에 재빨리 반응하거나 적어도 하나 이상의 조건을 만족할 시 사용자가 반응했다고 결정할 수 있다.
전자 장치는 이전 시간 구간(1210)에서의 평균 세기 대비 임팩트 소리의 세기 간의 세기 차이에 기초하여 임계 반응 시간을 설정할 수 있다. 전자 장치는 평균 세기 대비 임팩트 소리의 세기 간의 세기 차이에 반비례하는 임계 반응 시간을 결정할 수 있다. 예시적으로 전술한 임계 반응 시간은 하기 수학식 2에 따라 산출될 수 있다.
[수학식 2]
Figure pat00006
전술한 수학식 2에서 RespTime은 임계 반응 시간, ImpactdB는 임팩트 소리의 세기, AveragedB는 이전 시간 구간(1210)에서의 평균 세기를 나타낼 수 있다. 예시적으로, AveragedB=50인데, 100dB의 임팩트 소리가 발생하는 경우, 전자 장치는 1 sec로 임계 반응 시간을 설정할 수 있다. 다만, 전술한 수학식 2는 순전히 예시적인 것으로서, 이로 한정하는 것은 아니다. 전자 장치는 평균 세기 대비 큰 소음이 발생할수록 사용자에게 보다 빠른 반응 시간을 요구하게 된다.
전자 장치는 판별된 반응 여부에 기초하여 사용자가 위험한 지 여부를 결정할 수 있다. 전자 장치는 임팩트 소리의 세기에 기초하여 결정되는 임계 반응 시간이 경과할 때까지, 사용자의 머리 지향이 임팩트 소리가 발생한 지점을 향하지 않는 경우에 응답하여, 사용자가 위험하다고 결정할 수 있다. 도 4의 동작(430)에서 전술한 바와 같이, 전자 장치는 사용자가 위험하다고 판단되는 경우, 미리 결정된 재생 시간 동안 주변소리 듣기를 활성화할 수 있다. 예를 들어, 사용자가 반응이 없거나 늦다면, 사용자가 스테레오 헤드셋 장치 사용으로 인해 임팩트 소리를 듣지 못했을 가능성이 있으므로, 전자 장치는 사용자의 반응을 유도하기 위해 주변 소리 듣기를 자동으로 활성화할 수 있다. 전자 장치는 임계 세기를 초과하는 임팩트 소리에 기초하여 위험하다고 결정된 사용자에게 주변 소리를 한 쌍의 스피커들을 통해 제공할 수 있다. 이후, 주변의 소음이 줄어들 경우, 전자 장치는 주변 소리 듣기 기능을 비활성화시킬 수 있다. 전자 장치는 임팩트 소리가 사라지는 경우에 응답하여, 한 쌍의 스피커들을 통한 주변 소리의 제공을 종료할 수 있다. 따라서, 전자 장치는 사용자가 위험할 시 주변 소리 듣기를 일정기간 자동으로 활성화함으로써 주위 환경에 대한 사용자의 적절한 반응을 유도할 수 있다.
전자 장치는 사용자가 임계 반응 시간 내에 정상적으로 반응한 경우에 응답하여 사용자가 안전하다고 결정할 수 있다. 사용자가 안전한 동안, 전자 장치는 주변 소리 재생을 비활성화할 수 있다.
도 13은 일 실시예에 따른 전자 장치가 머리 회전 여부, 이동 방향과 머리 지향 간의 불일치 여부, 및 사용자의 반응 여부에 기초하여 위험 여부를 판단하고, 주변 소리를 제공하는 동작을 설명하는 흐름도이다.
동작(1311)에서 전자 장치는 착용 여부를 모니터링할 수 있다. 전술한 바와 같이, 전자 장치는 착용 감지 센서를 통해 전자 장치의 이어피스가 사용자의 귀에 밀접하게 착용되었는지 여부를 판단할 수 있다. 전자 장치는 착용 시점 이후부터 다양한 정보를 수집할 수 있다.
전자 장치는 관성 센서를 통해 사용자의 귀에 착용된 동안, 전자 장치의 관성 정보를 생성할 수 있다. 예를 들어, 동작(1312)에서 전자 장치는 착용 중 자이로 센서의 데이터를 수집할 수 있다. 동작(1313)에서 전자 장치는 착용 중 가속도 센서의 데이터를 수집할 수 있다. 동작(1314)에서 전자 장치는 착용 중 소리 센서의 데이터를 수집할 수 있다.
동작(1321)에서 전자 장치는 자이로 센서에 의해 모니터링된 각속도가 제1 임계 각속도를 초과하는지 여부를 판단할 수 있다. 전자 장치는 각속도가 제1 임계 각속도 이하인 경우, 계속해서 데이터를 수집할 수 있다. 전자 장치는 각속도가 제1 임계 각속도를 초과하는 경우에 응답하여 급격한 머리 회전이 발생한 것으로 검출하고, 동작(1326)에서 사용자가 위험하다고 결정할 수 있다.
동작(1322)에서 전자 장치는 이동 방향 및 머리 지향의 불일치 여부를 판단할 수 있다. 예를 들어, 전자 장치는 머리 회전이 발생하는 경우에 응답하여, 회전된 머리 지향이 이동 방향의 불일치 여부를 도 7의 동작(721)과 유사하게 판단할 수 있다. 여기서, 전자 장치는 각속도가 제1 임계 각속도 이하이면서 제2 임계 각속도를 초과하는 경우에 응답하여 머리 회전이 발생한 것으로 결정할 수 있다. 제2 임계 각속도는 제1 임계 각속도보다 작을 수 있다. 다시 말해, 전자 장치는 동작(1321)에서보다는 완만하지만 머리 회전이 발생하는 경우, 회전된 머리 지향 및 신체의 이동 방향 간의 불일치 여부를 추가적으로 고려하여, 사용자의 위험 여부를 판단할 수 있다.
동작(1323)에서 전자 장치는 소리 세기가 임계 세기를 초과하는지 여부를 판단할 수 있다. 전자 장치는 임팩트 소리가 검출되지 않는 경우에는 계속해서 소리를 수집할 수 있다. 동작(1324)에서 전자 장치는 임팩트 소리가 검출되는 경우에 응답하여, 관성 센서 데이터를 수집할 수 있다. 동작(1325)에서 전자 장치는 관성 정보에 기초하여 사용자의 반응 여부를 판별할 수 있다. 예시적으로, 전자 장치는 주변 소리로부터 임계 크기 이상의 소리를 검출한 시점으로부터 미리 결정된 임계 반응 시간이 경과할 때까지 사용자의 머리 회전의 검출을 실패하는 경우에 응답하여, 사용자가 위험하다고 결정할 수 있다.
동작(1326)에서는 전술한 동작들(1321, 1322, 1325)에 따라 사용자가 위험한 지 여부를 전자 장치가 판단할 수 있다.
동작(430)에서 전자 장치는 사용자가 위험한 경우, 주변 소리를 사용자에게 제공할 수 있다. 예를 들어, 전자 장치의 한 쌍의 스피커들이 사용자가 위험하다고 결정된 동안 수집된 주변 소리를 사용자에게 출력할 수 있다.
일 실시예에 따른 전자 장치는 스테레오 헤드셋 장치에 일반적으로 장착되는 관성 센서 및 마이크로폰에 의해 수집되는 데이터를 이용하여 주변 소리 듣기 기능을 제어할 수 있다. 전술한 바와 같이 전자 장치는 관성 센서를 통해 머리의 회전 및 마이크로폰을 통해 주변 소리 듣기 기능이 필요한 순간을 감지함으로써, 주변 소리 듣기 기능을 필수적인 타이밍에 활성화할 수 있다. 따라서, 전자 장치는, 주변 소리가 차폐되는 스테레오 헤드셋을 착용한 사용자에게, 음악 감상 경험의 방해를 최소화하면서도 돌발상황 발생시 주변 소리 듣기 기능을 통해 필요한 대응을 유도할 수 있다.
추가적으로, 전자 장치는, 사용자 의도에 따라 고개를 흔드는 행위 및 사용자의 입에 의한 임계 세기를 초과하는 발화에 응답하여, 추가 조작이 없이도 주변 소리 재생을 활성화함으로써 사용자에게 편리함을 제공해 줄 수 있다. 사용자는 복잡한 조작 없이도 주변소리 듣기 활성화가 필요하다고 판단한 경우, 전술한 행위를 수행함으로써 주변 소리 재생의 활성화를 유도할 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    상기 전자 장치가 사용자의 귀에 착용된 동안, 상기 전자 장치의 관성을 센싱하는 관성 센서;
    상기 센싱된 관성에 대한 관성 정보를 이용하여 상기 사용자의 이동 방향(moving direction) 및 머리 지향(head orientation) 간의 불일치(mismatch)를 모니터링하고, 상기 이동 방향 및 상기 머리 지향 간의 불일치를 모니터링한 결과로부터 상기 사용자가 위험한 지 여부를 결정하도록 설정된 프로세서;
    주변 소리를 수집하는 소리 센서; 및
    상기 사용자가 위험하다고 결정된 동안 수집된 주변 소리를 출력하는 한 쌍의 스피커들;
    를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 전자 장치가 상기 사용자의 귀에 착용될 시 상기 사용자의 귀를 상기 주변 소리로부터 차폐하는 이어피스(ear-piece); 및
    상기 한 쌍의 스피커를 수용하고, 상기 이어피스와 연결되는 하우징
    을 더 포함하는 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 한 쌍의 스피커들 중 한 스피커에 대응하는 위치에서의 센싱을 통해 생성되는 제1 가속도 데이터 및 다른 스피커에 대응하는 위치에서의 센싱을 통해 생성되는 제2 가속도 데이터 간의 상관성이 미리 결정된 임계 범위를 벗어나는 경우에 응답하여, 상기 이동 방향 및 상기 머리 지향 간에 불일치가 발생한 것으로 결정하도록 더 설정된,
    전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 관성 정보에 기초하여 머리 회전을 검출하고, 상기 제1 가속도 데이터 및 상기 제2 가속도 데이터의 각각으로부터 상기 머리 회전을 검출한 시점을 기초로 결정된 시간 구간에 대응하는 제1 대상 가속도 데이터 및 제2 대상 가속도 데이터를 추출하며, 상기 제1 대상 가속도 데이터 및 상기 제2 대상 가속도 데이터 간의 상기 상관성을 계산하도록 더 설정된,
    전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 관성 정보에 기초하여 임계 각속도 및 임계 각속도 기울기 중 적어도 하나를 초과한 머리 회전을 검출하는 경우에 응답하여, 상기 사용자가 위험하다고 결정하도록 더 설정된,
    전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 소리 센서를 통해 수집된 소리의 세기가 임계 세기를 초과하는 경우에 응답하여, 상기 사용자의 반응 여부를 판별하고,
    상기 판별된 반응 여부에 기초하여 상기 사용자가 위험한 지 여부를 결정하도록 더 설정된,
    전자 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 임계 세기를 초과하는 임팩트 소리(impact sound)에 대한 상기 사용자의 반응 시간, 반응 크기, 및 반응 방향 중 적어도 하나 또는 둘 이상의 조합에 기초하여 상기 사용자의 반응 여부를 결정하도록 더 설정된,
    전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 임팩트 소리의 세기에 기초하여 결정되는 임계 반응 시간 내에 상기 사용자의 머리 지향이 상기 임팩트 소리가 발생한 지점을 향하는 경우에 응답하여, 상기 사용자가 안전하다고 결정하도록 더 설정된,
    전자 장치.
  9. 제7항에 있어서,
    상기 프로세서는,
    상기 임팩트 소리의 세기에 기초하여 결정되는 임계 반응 시간이 경과할 때까지, 상기 사용자의 머리 지향이 상기 임팩트 소리가 발생한 지점을 향하지 않는 경우에 응답하여, 상기 사용자가 위험하다고 결정하도록 더 설정된,
    전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    임계 세기를 초과하는 임팩트 소리에 기초하여 위험하다고 결정된 사용자에게 상기 주변 소리를 상기 한 쌍의 스피커들을 통해 제공하고,
    상기 임팩트 소리가 사라지는 경우에 응답하여, 상기 한 쌍의 스피커들을 통한 상기 주변 소리의 제공을 종료하도록 더 설정된,
    전자 장치.
  11. 전자 장치에 의해 수행되는 방법에 있어서,
    상기 전자 장치가 사용자의 귀에 착용된 동안, 상기 전자 장치의 관성을 센싱하는 동작;
    상기 센싱된 관성에 대한 관성 정보를 이용하여 상기 사용자의 이동 방향 및 머리 지향 간의 불일치를 모니터링하는 동작;
    상기 이동 방향 및 상기 머리 지향 간의 불일치를 모니터링한 결과로부터 상기 사용자가 위험한 지 여부를 결정하는 동작; 및
    상기 사용자가 위험하다고 결정된 동안 수집된 주변 소리를 출력하는 동작
    을 포함하는 방법.
  12. 제11항에 있어서,
    상기 사용자가 위험한 지 여부를 결정하는 동작은,
    한 쌍의 스피커들 중 한 스피커에 대응하는 위치에서의 센싱을 통해 생성되는 제1 가속도 데이터 및 다른 스피커에 대응하는 위치에서의 센싱을 통해 생성되는 제2 가속도 데이터 간의 상관성이 미리 결정된 임계 범위를 벗어나는 경우에 응답하여, 상기 이동 방향 및 상기 머리 지향 간에 불일치가 발생한 것으로 결정하는 동작
    을 포함하는 방법.
  13. 제12항에 있어서,
    상기 불일치를 모니터링하는 동작은,
    상기 관성 정보에 기초하여 머리 회전을 검출하는 동작;
    상기 제1 가속도 데이터 및 상기 제2 가속도 데이터의 각각으로부터 상기 머리 회전을 검출한 시점을 기초로 결정된 시간 구간에 대응하는 제1 대상 가속도 데이터 및 제2 대상 가속도 데이터를 추출하는 동작; 및
    상기 제1 대상 가속도 데이터 및 상기 제2 대상 가속도 데이터 간의 상기 상관성을 계산하는 동작
    을 포함하는 방법.
  14. 제11항에 있어서,
    상기 관성 정보에 기초하여 임계 각속도 및 임계 각속도 기울기 중 적어도 하나를 초과한 머리 회전을 검출하는 경우에 응답하여, 상기 사용자가 위험하다고 결정하는 동작
    을 더 포함하는 방법.
  15. 제11항에 있어서,
    상기 소리 센서를 통해 수집된 소리의 세기가 임계 세기를 초과하는 경우에 응답하여, 상기 사용자의 반응 여부를 판별하는 동작; 및
    상기 판별된 반응 여부에 기초하여 상기 사용자가 위험한 지 여부를 결정하는 동작
    을 더 포함하는 방법.
  16. 제15항에 있어서,
    상기 반응 여부를 판별하는 동작은,
    상기 임계 세기를 초과하는 임팩트 소리에 대한 상기 사용자의 반응 시간, 반응 크기, 및 반응 방향 중 적어도 하나 또는 둘 이상의 조합에 기초하여 상기 사용자의 반응 여부를 결정하는 동작
    을 포함하는 방법.
  17. 제16항에 있어서,
    상기 판별된 반응 여부에 기초하여 상기 사용자가 위험한 지 여부를 결정하는 동작은,
    상기 임팩트 소리의 세기에 기초하여 결정되는 임계 반응 시간 내에 상기 사용자의 머리 지향이 상기 임팩트 소리가 발생한 지점을 향하는 경우에 응답하여, 상기 사용자가 안전하다고 결정하는 동작
    을 포함하는 방법.
  18. 제16항에 있어서,
    상기 판별된 반응 여부에 기초하여 상기 사용자가 위험한 지 여부를 결정하는 동작은,
    상기 임팩트 소리의 세기에 기초하여 결정되는 임계 반응 시간이 경과할 때까지, 상기 사용자의 머리 지향이 상기 임팩트 소리가 발생한 지점을 향하지 않는 경우에 응답하여, 상기 사용자가 위험하다고 결정하는 동작
    을 포함하는 방법.
  19. 제11항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
  20. 전자 장치에 있어서,
    상기 전자 장치가 사용자의 귀에 착용된 동안, 상기 전자 장치의 관성을 센싱하는 관성 센서;
    주변 소리를 수집하는 소리 센서;
    상기 주변 소리로부터 임계 크기 이상의 소리를 검출한 시점으로부터 미리 결정된 임계 반응 시간이 경과할 때까지 상기 관성에 대한 관성 정보를 이용하여 상기 사용자의 머리 회전의 검출을 실패하는 경우에 응답하여, 상기 사용자가 위험하다고 결정하는 프로세서; 및
    상기 사용자가 위험하다고 결정된 동안 수집된 주변 소리를 출력하는 한 쌍의 스피커;
    를 포함하는 전자 장치.
KR1020210078731A 2021-06-17 2021-06-17 사용자 위험시 주변 소리를 제공하는 전자 장치 및 방법 KR20220168793A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210078731A KR20220168793A (ko) 2021-06-17 2021-06-17 사용자 위험시 주변 소리를 제공하는 전자 장치 및 방법
PCT/KR2022/007471 WO2022265251A1 (ko) 2021-06-17 2022-05-26 사용자 위험시 주변 소리를 제공하는 전자 장치 및 방법
EP22825177.3A EP4322555A1 (en) 2021-06-17 2022-05-26 Electronic device and method for providing ambient sounds when user is in danger
US17/896,328 US20220408178A1 (en) 2021-06-17 2022-08-26 Method and electronic device for providing ambient sound when user is in danger

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210078731A KR20220168793A (ko) 2021-06-17 2021-06-17 사용자 위험시 주변 소리를 제공하는 전자 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20220168793A true KR20220168793A (ko) 2022-12-26

Family

ID=84526231

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210078731A KR20220168793A (ko) 2021-06-17 2021-06-17 사용자 위험시 주변 소리를 제공하는 전자 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20220168793A (ko)
WO (1) WO2022265251A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9391580B2 (en) * 2012-12-31 2016-07-12 Cellco Paternership Ambient audio injection
JP6268033B2 (ja) * 2014-04-24 2018-01-24 京セラ株式会社 携帯端末
KR101646503B1 (ko) * 2014-12-17 2016-08-09 경북대학교 산학협력단 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법
JP6528263B2 (ja) * 2015-01-27 2019-06-12 国立大学法人 名古屋工業大学 ヘッドマウントディスプレイ
JP7284919B2 (ja) * 2019-09-20 2023-06-01 株式会社Ｊｖｃケンウッド 携帯端末

Also Published As

Publication number Publication date
WO2022265251A1 (ko) 2022-12-22

Similar Documents

Publication Publication Date Title
EP3365753A1 (en) Wireless earpieces for a virtual reality system and method
US11290800B2 (en) Wearable electronic device with water repellent structure using speaker module and method for sensing moisture penetration thereof
US20230095154A1 (en) Electronic device comprising acoustic dimple
US20230179912A1 (en) Electronic apparatus comprising sound radiation unit
KR102643055B1 (ko) 헤드셋 전자 장치 및 그와 연결되는 전자 장치
US11974107B2 (en) Electronic device and method for audio sharing using the same
KR20220102436A (ko) 웨어러블 전자 장치의 가속도 센서를 이용하여 사용자의 자세를 판단하는 방법 및 그 전자 장치
EP4258084A1 (en) Electronic device for reducing internal noise, and operation method thereof
KR20220168793A (ko) 사용자 위험시 주변 소리를 제공하는 전자 장치 및 방법
US20220408178A1 (en) Method and electronic device for providing ambient sound when user is in danger
KR20220103548A (ko) 오디오 데이터를 처리하는 전자 장치 및 그 동작 방법
KR20220018854A (ko) 관성 센서를 이용하여 전자 장치의 착용 상태를 감지하는 전자 장치 및 그 제어 방법
KR20220094863A (ko) 전력 공급 장치를 이용하여 오디오 출력 장치를 찾는 방법 및 그 전력 공급 장치
KR20220013215A (ko) 터치 입력을 감지하는 전자 장치 및 그 방법
KR20220003908A (ko) 주변 오디오 신호의 감지 방법 및 전자 장치
KR20220168833A (ko) 외부 소리 및 사용자 반응에 대응하는 전자 장치 및 이의 동작 방법
US20230152450A1 (en) Method for sensing wearing of electronic device and electronic device applied the same
US12014114B2 (en) Electronic device for responding to user reaction and outside sound and operating method thereof
KR20240014402A (ko) 오디오 출력 장치 및 오디오 출력 장치의 착용 상태 감지 방법
US20220386046A1 (en) Electronic device including integrated inertia sensor and operating method thereof
KR20220101968A (ko) 내부 노이즈를 줄이는 전자 장치 및 이의 동작 방법
KR20220161972A (ko) 통합 관성 센서를 포함하는 전자 장치 및 그 동작 방법
EP4375797A1 (en) Wearable device comprising speaker
KR20230071676A (ko) 전자 장치의 착용 감지 방법 및 이를 적용한 전자 장치
KR20220141584A (ko) 웨어러블 전자 장치