KR20220121597A - 무선 이어폰용 착용센서 및 그 구동 방법 - Google Patents

무선 이어폰용 착용센서 및 그 구동 방법 Download PDF

Info

Publication number
KR20220121597A
KR20220121597A KR1020210025870A KR20210025870A KR20220121597A KR 20220121597 A KR20220121597 A KR 20220121597A KR 1020210025870 A KR1020210025870 A KR 1020210025870A KR 20210025870 A KR20210025870 A KR 20210025870A KR 20220121597 A KR20220121597 A KR 20220121597A
Authority
KR
South Korea
Prior art keywords
image
ear
earphone
wearing
sensor
Prior art date
Application number
KR1020210025870A
Other languages
English (en)
Other versions
KR102474129B1 (ko
Inventor
유광석
최지혁
김태연
Original Assignee
(주)아이센
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아이센 filed Critical (주)아이센
Priority to KR1020210025870A priority Critical patent/KR102474129B1/ko
Publication of KR20220121597A publication Critical patent/KR20220121597A/ko
Application granted granted Critical
Publication of KR102474129B1 publication Critical patent/KR102474129B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/11—Controlling the light source in response to determined parameters by determining the brightness or colour temperature of ambient light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Headphones And Earphones (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

본 발명은 저해상도의 이미지 센서를 이용해 이어폰의 착용 여부를 실시간 검증하여 포즈 기능을 활성화시켜 전원절감을 가능하게 함은 물론 이 이미지 센서를 통해 사용자가 얼굴이나 이어폰 몸체를 두드리는 진동을 식별해 두드림에 따른 이어폰용 제어명령을 생성함으로써 편리한 이어폰 사용을 가능하게 하는 무선 이어폰용 착용센서 및 그 구동 방법에 관한 것으로, 무선 이어폰에 내장되며, 이어폰의 리시버 하우징에서 음향관 및 이어 팁의 설치면에 형성된 센싱 통공에 화각이 맞춰져 이미지를 촬영하고, 이 촬영된 이미지를 통해 이어폰의 상태를 실시간 검증하는 것을 특징으로 한다.

Description

무선 이어폰용 착용센서 및 그 구동 방법{WEARING SENSOR FOR WIRELESS EARPHONE AND DRIVING METHOD THEREOF}
본 발명은 무선 이어폰용 착용센서 및 그 구동 방법에 관한 것으로, 보다 상세하게는 저해상도의 이미지 센서를 이용해 이어폰의 착용 여부를 실시간 검증하여 포즈 기능을 활성화시켜 전원절감을 가능하게 함은 물론 이 이미지 센서를 통해 사용자가 얼굴이나 이어폰 몸체를 두드리는 진동을 식별해 두드림에 따른 이어폰용 제어명령을 생성함으로써 편리한 이어폰 사용을 가능하게 하는 무선 이어폰용 착용센서 및 그 구동 방법에 관한 것이다.
일반적으로 무선 이어폰은 사용자가 휴대하기에 용이한 형태로 이루어지되 사용자의 귀에 착용하는 형태로 사용된다.
무선 이어폰은 휴대전화기나 음향기기 등의 전자기기(이하 '전자기기'라 함)와 블루투스에 의한 근거리 무선 통신을 수행하여 전자기기로부터의 음향신호를 무선으로 수신한 후, 이를 재생하여 사용자의 귀에 출력시킴으로써 음악을 감상하거나 음성 통화를 할 수 있도록 지원한다.
위와 같은 무선 이어폰은 근거리 무선 통신을 수행하기 위한 블루투스 모듈을 구비하고 있으며, 해당 블루투스 모듈에 구동 전원을 공급하기 위한 배터리를 구비하고 있다. 이때, 무선 이어폰의 배터리로서는 반복적으로 충전하여 사용 가능하도록 축전지를 사용한다. 이에 따라, 무선 이어폰은 내장된 배터리가 방전된 경우 다시 충전시킬 필요가 있으며, 무선 이어폰의 배터리를 충전하기 위하여 전용의 충전장치가 구비되어야 한다. 이와 같이 무선 이어폰의 배터리를 충전하기 위한 전용의 충전장치로서는, 무선 이어폰의 보관과 함께 무선 이어폰의 배터리를 충전할 수 있는 형태의 충전 케이스가 널리 적용되고 있다. 즉, 충전 케이스에 무선 이어폰을 장착시킴으로써 충전 케이스의 직류 전원이 무선 이어폰으로 공급되어 무선 이어폰의 배터리가 충전되는 것이다.
이 같은 무선 이어폰은 충전된 자체 배터리 전원에 의해 그 사용시간이 결정되는 바, 사용가능 시간을 늘리기 위해 무선 이어폰의 개발에는 갖가지 전원절감 기술들이 적용되고 있다.
기본적으로 무선 이어폰은 무선 이어폰의 배터리를 충전하기 위한 전용 충전장치(예컨데, 이어폰 보관케이스)에서 분리되면 그 즉시 구동되며 미리 등록된 전자기기와 연결되어 전자기기로부터의 음향신호를 무선으로 수신한 후, 이를 재생하게 된다. 이 같은 음향신호의 재생은 무선 이어폰을 전용 충전장치에 장착할때까지 계속되게 된다.
최근 출시되고 있는 고가형 무선 이어폰에서는 적외선(IR) 방식의 착용센서를 이어폰 본체에 내장시키고 있다. 이 적외선 착용센서는 이어폰이 사용자의 귓속에서 탈거되는 상태를 체크하고 탈거시 음향 출력 기능을 자동적으로 일시중지(Pause)시키게 되며, 이를 통해 사용자의 연속적인 음향감상을 돕도록 하는 것이다.
하지만 이 같은 적외선 방식의 착용센서는 계속적으로 귓속에서 적외선의 빛을 발생시키는 LED로 발광을 하고 빛 센서인 수광부에서 수광되는 빛의 양을 전압량으로 변환시키는 동작을 수행하기 때문에 많은 전원을 자체 소비하게 되고 결국 한정된 자체 배터리를 사용하는 무선 이어폰의 사용시간을 짧게 만드는 원인이 되고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 그 목적은 저해상도의 이미지 센서를 이용해 이어폰의 착용 여부를 실시간 검증하여 포즈 기능을 활성화시켜 전원절감을 가능하게 함은 물론 이 이미지 센서를 통해 사용자가 얼굴이나 이어폰 몸체를 두드리는 진동을 식별해 두드림에 따른 이어폰용 제어명령을 생성함으로써 편리한 이어폰 사용을 가능하게 하는 무선 이어폰용 착용센서 및 그 구동 방법을 제공하는 것이다.
본 발명에 따르면, 무선 이어폰에 내장되며, 이어폰의 리시버 하우징에서 음향관 및 이어 팁의 설치면에 형성된 센싱 통공에 화각이 맞춰져 이미지를 촬영하고, 이 촬영된 이미지를 통해 이어폰의 상태를 실시간 검증하는 것을 특징으로 하는 무선 이어폰용 착용센서를 제공한다.
바람직하게는, 상기 착용센서는, 상기 센싱 통공을 통해 이어 팁 측 방향의 외부 이미지를 촬영하여 영상 데이터를 획득하는 이미지 센서 어레이; 상기 이미지 센서 어레이로부터 촬영된 영상 데이터를 수신하며 수신된 영상 데이터를 영상분석처리하는 이미지 처리부; 상기 이미지 처리부의 영상분석처리에 따라 영상 데이터를 통해 이어 팁 측 방향 영상의 밝기를 측정하여 조도를 감지하는 조도 감지부; 상기 이미지 처리부의 영상분석처리에 따라 영상 데이터에서 귓속 이미지 검출 여부로 이어폰 착용 여부를 검증하는 착용 검증부; 및 상기 조도 감지부 및 착용 검증부의 동작을 위한 기준조도 테이블 및 귓속 샘플 이미지를 저장 관리하는 동작 셋팅부; 를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 이미지 처리부의 영상분석처리에 따라 영상 데이터에서 귓속 이미지의 변화를 감지하여 사용자의 두드림 명령을 식별하는 명령 식별부; 를 더 포함하며, 상기 동작 셋팅부가 명령 식별부의 동작을 위한 이미지 동적변화 패턴 정보를 저장 관리하는 것을 특징으로 한다.
바람직하게는, 사용자의 이어폰 착용 또는 탈거 상태에 따라, 상기 이미지 처리부는 이미지 센서 어레이에서 촬영된 영상 데이터의 화소별 광도 정보를 추출하며, 상기 조도 감지부는 상기 이미지 처리부에서 영상처리에 의해 추출한 영상 데이터의 화소별 광도 정보를 전달받아 이미지를 통해 현재 밝기를 측정하고 이를 동작 셋팅부의 기준조도 테이블에서 관리되는 기준조도 광도값과 비교하여 보조 광원 제어신호를 생성하며, 상기 보조 광원 제어신호에 따라 보조 광원부의 조명이 제어되어 착용센서의 촬영에 필요한 조명을 제공하는 것을 특징으로 한다.
바람직하게는, 사용자의 이어폰 착용 또는 탈거 상태에 따라, 상기 이미지 처리부는 이미지 센서 어레이에서 촬영된 이미지에서 규격화된 귓속 이미지를 추출하며, 상기 착용 검증부는 상기 이미지 처리부에서 영상처리에 의해 추출한 규격화된 귓속 이미지를 전달받고 동작 셋팅부의 귓속 샘플 이미지와 비교하여 착용체크/포즈 제어신호를 생성하는 것을 특징으로 한다.
바람직하게는, 사용자가 이어폰 착용 상태에서 귀 부근 안면이나 이어폰 몸체를 두드림에 따라, 상기 이미지 처리부는 이미지 센서 어레이에서 촬영된 귓속 이미지의 동적 변화값을 추출하며, 상기 명령 식별부는 상기 이미지 처리부에서 영상처리에 의해 추출한 귓속 이미지의 동적 변화값을 전달받고 동작 셋팅부의 이미지 동적변화 패턴 정보와 비교하여 명령 제어신호를 생성하는 것을 특징으로 한다.
바람직하게는, 사용자가 이어폰 착용 상태에서 귀 부근 안면이나 이어폰 몸체를 두드림에 따라 상기 이미지 처리부가 추출하는 귓속 이미지의 동적 변화값은 귓속 이미지를 촬영하고 있는 이미지 센서 어레이의 영상에서 발생하는 펄스 형태의 이미지 변화 또는 이미지 시프트에 따른 펄스 변화폭 또는 시프트 길이인 것을 특징으로 한다.
바람직하게는, 상기 명령 식별부는 귓속 이미지의 동적 변화를 일으키는 사용자의 두드림 횟수, 두드림 강도, 두드림 발생 간격, 두드림 방향 및 두드림 지점의 변화경로 중 적어도 하나에 따른 귓속 이미지의 동적 변화값에 따라 명령 제어신호를 생성하는 것을 특징으로 한다.
바람직하게는, 상기 착용센서는, 상기 센싱 통공을 통해 이어 팁 측 방향의 외부 이미지를 촬영하여 영상 데이터를 획득하는 이미지 센서 어레이; 상기 이미지 센서 어레이로부터 촬영된 영상 데이터를 수신하며 수신된 영상 데이터를 영상분석처리하는 이미지 처리부; 상기 이미지 처리부의 영상분석처리에 따라 영상 데이터를 통해 이어 팁 측 방향 영상의 밝기를 측정하여 조도를 감지하고 기준조도 테이블에서 관리되는 기준조도 광도값과 비교하여 착용체크/포즈 제어신호를 생성하는 조도 감지부; 및 상기 조도 감지부의 동작을 위한 기준조도 테이블을 저장 관리하는 동작 셋팅부; 를 포함하는 것을 특징으로 한다.
한편 본 발명의 다른 측면에 따르면, (a) 이어폰의 구동에 따라 이미지 센서 어레이로부터 전달되는 영상 데이터를 통해 사용자가 해당 이어폰을 귓속에 착용하고 있는지에 대한 착용 체크를 실시하여 사용자의 이어폰 착용 상태를 모니터링하는 단계; 및 (b) 이미지 센서 어레이로부터 촬영되는 귓속 이미지를 귓속 샘플 이미지들과 비교하여 매칭 여부를 판단하며, 매칭되지 않을 경우 이어폰 탈거에 따른 포즈 제어 신호를 생성하는 단계; 를 포함하는 것을 특징으로 하는 무선 이어폰용 착용센서의 구동 방법을 제공한다.
바람직하게는, 상기 (a) 단계의 착용 상태 모니터링은, 이미지 센서 어레이에서 촬영된 영상 데이터의 화소별 광도 정보를 추출하여 현재 밝기를 측정하고 이를 기준조도 광도값과 비교하여 보조 광원 제어신호를 생성하며, 이미지 센서 어레이에서 촬영된 이미지에서 규격화된 귓속 이미지를 추출하여 귓속 샘플 이미지와 비교하여 착용 상태를 모니터링하는 것을 특징으로 한다.
한편 본 발명의 또 다른 측면에 따르면, (a) 이어폰의 구동에 따라 이미지 센서 어레이로부터 전달되는 영상 데이터를 통해 사용자가 해당 이어폰을 귓속에 착용하고 있는지에 대한 착용 체크를 실시하여 사용자의 이어폰 착용 상태를 모니터링하는 단계; 및 (d) 이미지 센서 어레이로부터 실시간으로 전달되는 영상 데이터를 통해 사용자의 두드림 명령을 인식하여 현재 촬영되는 귓속 이미지의 동적 변화값을 이미지 동적변화 패턴 정보와 비교하여 동적 변화값과 매칭되는 동적변화 패턴 정보를 식별하고 식별에 따른 명령 제어신호를 생성하는 단계; 를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 (a) 단계의 착용 상태 모니터링은, 이미지 센서 어레이에서 촬영된 영상 데이터의 화소별 광도 정보를 추출하여 현재 밝기를 측정하고 이를 기준조도 광도값과 비교하여 보조 광원 제어신호를 생성하며, 이미지 센서 어레이에서 촬영된 이미지에서 규격화된 귓속 이미지를 추출하여 귓속 샘플 이미지와 비교하여 착용 상태를 모니터링하는 것을 특징으로 한다.
바람직하게는, 사용자가 이어폰 착용 상태에서 귀 부근 안면이나 이어폰 몸체를 두드림에 따라 추출되는 귓속 이미지의 동적 변화값은 귓속 이미지를 촬영하고 있는 이미지 센서 어레이의 영상에서 발생하는 펄스 형태의 이미지 변화 또는 이미지 시프트에 따른 펄스 변화폭 또는 시프트 길이인 것을 특징으로 한다.
바람직하게는, 사용자의 두드림 명령에 따라 귓속 이미지의 동적 변화를 일으키는 사용자의 두드림 횟수, 두드림 강도, 두드림 발생 간격, 두드림 방향 및 두드림 지점의 변화경로 중 적어도 하나에 따른 귓속 이미지의 동적 변화값에 따라 명령 제어신호를 생성하는 것을 특징으로 한다.
한편 본 발명의 또 다른 측면에 따르면, (a) 이어폰의 구동에 따라 이미지 센서 어레이로부터 전달되는 영상 데이터를 통해 사용자가 해당 이어폰을 귓속에 착용하고 있는지에 대한 착용 체크를 실시하여 사용자의 이어폰 착용 상태를 모니터링하는 단계; 및 (b) 이미지 센서 어레이로부터 촬영되는 영상 데이터를 통해 이어 팁 측 방향 영상의 밝기를 측정하여 조도를 감지하고 기준조도 테이블에서 관리되는 기준조도 광도값과 비교하여 포즈 제어 신호를 생성하는 단계; 를 포함하는 것을 특징으로 하는 무선 이어폰용 착용센서의 구동 방법을 제공한다.
본 발명에 따르면, 저해상도의 이미지 센서를 이용해 이어폰의 착용 여부를 실시간 검증하여 포즈 기능을 활성화시킴으로써 이어폰 배터리의 전원절감을 가능하게 하는 효과가 있다.
또한 저해상도의 이미지 센서를 통해 사용자가 얼굴이나 이어폰 몸체를 두드리는 진동을 식별해 두드림에 따른 이어폰용 제어명령을 생성함으로써 편리한 이어폰 사용을 가능하게 하는 효과도 있다.
도 1은 본 발명의 실시예에 따른 착용센서가 적용된 무선 이어폰을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 착용센서가 적용된 무선 이어폰을 설명하기 위한 블럭도이다.
도 3은 본 발명의 실시예에 따른 무선 이어폰용 착용센서를 설명하기 위한 블럭도이다.
도 4는 본 발명의 실시예에 따른 무선 이어폰용 착용센서의 구동 방법을 설명하기 위한 구동 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 착용센서가 적용된 무선 이어폰을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 무선 이어폰은 내부공간에 음향발생 모듈(130)이 마련되는 리시버 하우징(110)과, 내부 음향발생 모듈(130)에서 생성된 음향을 리시버 하우징(110)의 외부로 안내하도록 리시버 하우징(110)에 마련된 음향관(111)과, 음향관(111)에 장착된 상태에서 사용자 귓속으로 삽입되는 이어 팁(120)을 구비하여 구성되게 된다.
특히 본 발명의 실시예에 따른 무선 이어폰은 휴대전화기나 음향기기 등의 전자기기와 블루투스에 의한 근거리 무선 통신을 수행하여 전자기기로부터의 음향신호를 무선으로 수신한 후, 이를 음향발생 모듈(130)로 재생하여 사용자의 귀에 출력시킴으로써 음악을 감상하거나 음성 통화를 할 수 있도록 지원한다.
상기 음향발생 모듈(130)은 전자기기로부터 무선 전달된 전기신호를 음향신호로 변환하는 트랜스듀서(transducer), 음향 생성을 위한 진동판, 음질 향상을 위한 영구자석이나 전자석, 압전소자를 포함하는 드라이버 등을 포함할 수 있다.
그리고 상기 음향관(111)은 리시버 하우징(110) 일측에 외부로 돌출되도록 형성되며, 음향관(111)의 중도 외면에는 이어 팁(120)과의 조립을 걸림턱이 마련될 수 있다.
따라서 이어폰 착용상태에서 이어폰에 무선 연결된 전자기기를 동작시키게 되면, 리시버 하우징(110)에서 생성된 음파는 음향관(111) 및 이어 팁(120)의 음파로를 따라 사용자의 귓속으로 안내된다.
여기에서 본 발명의 실시예에 따른 무선 이어폰은 귓속으로 삽입되는 음향관(111) 및 이어 팁(120)의 주변에 착용센서(160)를 위한 센싱 통공(112)과 보조 광원부(170)를 위한 조명 통공(113)이 형성된다.
상기 착용센서(160)는 이어폰 내에 설치되고 이어폰을 착용한 사용자의 귓속 이미지를 촬영하게 되며, 상기 센싱 통공(112)은 이 같은 착용센서(160)의 화각이 귓속을 향하도록 음향관(111) 및 이어 팁(120)의 주변에 형성된다.
또한 상기 보조 광원부(170)는 이어폰 내에 설치되고 상기 착용센서(160)의 촬영에 필요한 조명을 제공하게 되며, 상기 조명 통공(113)은 이 같은 보조 광원부(170)의 조명이 귓속을 향하도록 음향관(111) 및 이어 팁(120)의 주변에 형성된다.
도 2를 참조하여 이 같은 착용센서(160) 및 보조 광원부(170)의 구성 및 기능을 보다 상세히 살펴보기로 한다.
도 2는 본 발명의 실시예에 따른 착용센서가 적용된 무선 이어폰을 설명하기 위한 블럭도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 착용센서가 적용된 무선 이어폰은 전자기기로부터 무선 전달된 전기신호를 수신하는 통신 모듈(150), 상기 통신 모듈(150)로부터 전달되는 전기신호를 음향신호로 변환하여 음향을 생성하는 음향발생 모듈(130), 저해상도의 이미지 센서를 이용해 이어 팁(120) 측 방향의 귓속 이미지를 촬영하는 착용센서(160), 상기 착용센서(160)의 저조도 촬영시 이어 팁(120) 측 방향으로 보조 조명을 제공하는 보조 광원부(170), 상기 각 구성을 제어하는 이어폰 제어부(140) 및 상기 각 구성에 구동전원을 제공하는 배터리(180)를 포함하여 구성될 수 있다.
상기 착용센서(160)는 이어폰의 구동과 함께 배터리(180)로부터 전원을 공급받아 구동되게 된다. 이 착용센서(160)는 저해상도의 이미지 센서를 이용해 구성되며 촬영된 이미지를 통해 이어폰의 착용 여부를 실시간 검증하여 포즈 기능을 활성화시킬 수 있고 또한 이 촬영된 이미지를 통해 사용자가 얼굴이나 이어폰 몸체를 두드리는 진동을 식별해 두드림에 따른 이어폰용 제어명령을 생성하게 된다.
또한 착용센서(160)는 촬영된 이미지를 통해 이어폰 주변의 조도 보다 정확하게는 음향관(111) 및 이어 팁(120)의 주변 조도를 감지하여 상기 보조 광원부(170)의 구동 여부를 결정하게 된다.
이제 도 3을 참조하여 상술한 착용센서(160)의 구체적인 구성 및 동작을 상세히 설명하기로 한다.
도 3은 본 발명의 실시예에 따른 무선 이어폰용 착용센서를 설명하기 위한 블럭도이다.
도 3을 참조하면, 착용센서(160)는 상기 센싱 통공(112)을 통해 이어 팁(120) 측 방향의 외부 이미지를 촬영하여 이어 팁(120) 측 방향에 대한 영상 데이터를 획득하는 이미지 센서 어레이(161)와, 상기 이미지 센서 어레이(161)로부터 촬영된 영상 데이터를 수신하며 수신된 영상 데이터를 영상분석처리하는 이미지 처리부(162), 상기 이미지 처리부(162)의 영상분석처리에 따라 영상 데이터를 통해 이어 팁(120) 측 방향 영상의 밝기를 측정하여 조도를 감지하는 조도 감지부(163), 상기 이미지 처리부(162)의 영상분석처리에 따라 영상 데이터에서 귓속 이미지 검출 여부로 이어폰 착용 여부를 검증하는 착용 검증부(164), 상기 이미지 처리부(162)의 영상분석처리에 따라 영상 데이터에서 귓속 이미지의 변화를 감지하여 사용자의 두드림 명령을 식별하는 명령 식별부(165), 상기 조도 감지부(163), 착용 검증부(164) 및 명령 식별부(165)의 동작을 위한 기준조도 테이블, 귓속 샘플 이미지 및 이미지 동적변화 패턴 정보를 저장 관리하는 동작 셋팅부(166) 및 상기 상기 조도 감지부(163), 착용 검증부(164) 및 명령 식별부(165)의 동작에 따라 생성된 보조 광원 제어신호, 착용체크/포즈 제어신호 및 명령 제어신호를 상기 이어폰 제어부(140)로 전달하는 센서 제어부(167)을 포함하여 구성될 수 있다.
먼저 상기 이미지 센서 어레이(161)는 저전력 구동이 가능하도록 16×16 픽셀 어레이 혹은 32×32 픽셀 어레이와 같은 저해상도로 구성될 수 있으며, 상기 센싱 통공(112)을 통해 이어 팁(120) 측 방향의 외부 이미지를 촬영하여 이어 팁(120) 측 방향에 대한 영상 데이터를 획득하게 된다.
따라서 상기 이미지 센서 어레이(161)는 사용자가 이어폰을 귓속에 착용한 상태에서는 귓속 이미지를 촬영하게 되며, 사용자가 이어폰을 귀에서 탈거한 상태에서는 사용자 주변 이미지를 촬영하게 될 것이다.
상기 이미지 처리부(162)는 상기 이미지 센서 어레이(161)로부터 촬영된 영상 데이터를 수신하며 수신된 영상 데이터를 통해 조도 감지부(163)의 조도측정, 착용 검증부(164)의 귓속 이미지 비교 및 명령 식별부(165)의 귓속 이미지 변화 감지가 가능하도록 영상처리를 수행하게 된다.
보다 상세하게는 상기 조도 감지부(163)의 조도측정을 위해, 상기 이미지 처리부(162)는 이미지 센서 어레이(161)에서 촬영된 영상 데이터의 화소별 광도 정보를 추출하게 된다.
또한 상기 착용 검증부(164)의 귓속 이미지 비교를 위해, 상기 이미지 처리부(162)는 이미지 센서 어레이(161)에서 촬영된 이미지에서 규격화된 귓속 이미지를 추출하게 된다.
또한 상기 명령 식별부(165)의 귓속 이미지 변화 감지를 위해, 상기 이미지 처리부(162)는 이미지 센서 어레이(161)에서 촬영된 귓속 이미지의 동적 변화값을 추출하게 된다.
상기 조도 감지부(163)는 상기 이미지 처리부(162)에서 영상처리에 의해 추출한 영상 데이터의 화소별 광도 정보를 전달받아 이미지를 통해 현재 밝기를 측정하고 이를 동작 셋팅부(166)의 기준조도 테이블에서 관리되는 기준조도 광도값과 비교하여 보조 광원 제어신호를 생성하게 된다. 즉 조도 감지부(163)는 이미지의 밝기를 나타내는 화소별 광도 정보와 기준조도 테이블에서 관리되는 기준조도 광도값을 비교하는 방식으로 이미지의 밝기가 기준 미만이면 보조 광원 제어신호로서 보조 광원 턴온 신호를 생성하게 되고, 이미지의 밝기가 기준 이상이면 보조 광원 제어신호로서 보조 광원 턴오프 신호를 생성하게 된다.
이처럼 이미지 센서 어레이(161)를 통해 조도 측정을 수행함으로써 별도의 조도 센서를 위한 설치공간과 투광구성을 줄일 수 있어 모듈의 소형화와 단순화에 크게 유리하게 작용할 것이다.
실제 이미지 센서 어레이(161)에서 촬영된 이미지가 귓속 이미지인 경우 밝기는 기준조도 미만으로 측정될 것이고 상기 조도 감지부(163)는 보조 광원 턴온 신호를 생성하여 어두운 귓속에서도 선명한 이미지가 촬영될 수 있도록 할 것이다.
이와 달리 이미지 센서 어레이(161)에서 촬영된 이미지가 귀 밖의 이미지인 경우 밝기는 기준조도 이상으로 측정될 것이고 상기 조도 감지부(163)는 보조 광원 턴오프 신호를 생성하여 조명전원을 절감하도록 할 것이다.
또한 이 같은 촬영 이미지를 통한 조도 측정 및 기준 조도와의 비교를 통해 이어폰이 착용 상태인지 탈거 상태인지 여부도 판별할 수 있게 된다.
이때 이어폰이 귀에 장착되지 않은 탈거 상태이더라도 사용자 주변 조도가 어두워 귀 밖의 이미지이더라도 기준조도 미만으로 측정될 수 있다. 이를 대비해 본 발명에서는 조도 측정 및 기준 조도와의 비교 프로세스와 더불어 후술하는 착용 검증을 통해 귓속 이미지를 추출하는 프로세스를 병행 실시함으로써 사용자의 이어폰 착용 여부를 정확히 검증할 수 있게 될 것이다.
이 같은 보조 광원 제어신호는 센서 제어부(167)를 통해 보조 광원부(170)로 전달되어 보조 광원의 구동을 결정하게 될 것이다.
상기 착용 검증부(164)는 상기 이미지 처리부(162)에서 영상처리에 의해 추출한 규격화된 귓속 이미지를 전달받아 이를 동작 셋팅부(166)의 귓속 샘플 이미지와 비교하여 착용체크/포즈 제어신호를 생성하게 된다. 즉 착용 감지부(164)는 이미지 처리부(162)에서 전달된 규격화된 귓속 이미지를 다양한 귓속 샘플 이미지들과 비교하여 현재 촬영되는 영상이 귓속 영상인지 여부를 판단하게 되는 것이다. 따라서 착용 감지부(164)는 이미지 처리부(162)에서 영상처리에 의해 추출한 규격화된 귓속 이미지를 동작 셋팅부(166)의 몇가지 귓속 샘플 이미지들과 비교하여 매칭될 경우 이를 이어폰이 귓속에 장착된 경우로 판별하여 착용체크 제어신호를 생성하게 된다. 이와 달리 착용 감지부(164)는 이미지 처리부(162)에서 영상처리에 의해 추출한 규격화된 귓속 이미지를 동작 셋팅부(166)의 몇가지 귓속 샘플 이미지들과 비교하여 매칭되지 않을 경우 이를 이어폰이 귓속에 탈거된 경우로 판별하여 포즈 제어신호를 생성하게 된다.
상기 착용체크 제어신호는 센서 제어부(167)를 통해 이어폰 제어부(140)로 전달되어 이어폰에 현재 이어폰이 착용 상태에 있음을 확인시키게 될 것이다.
이와 달리 포즈 제어신호는 센서 제어부(167)를 통해 이어폰 제어부(140)로 전달되어 이어폰에 현재 이어폰이 탈거 상태에 있음을 확인시키게 될 것이다. 포즈 제어신호를 수신한 이어폰 제어부(140)는 음향발생 모듈(130)의 음향 재생 과정을 일시적으로 중단시키게 되며, 이 같은 음향 재생 중단은 다시 착용체크 제어신호가 이어폰 제어부(140)로 전달됨으로써 해제될 것이다.
이러한 포즈 기능은 사용자가 일시적으로 귀에서 이어폰을 탈거하더라도 즉시 그 상태를 체크할 수 있게 하며, 탈거 상태 체크시 바로 음향 재생을 중단시킴으로써 이어폰 배터리의 전원절감은 물론 별도의 사용자 제어 없이도 자동적으로 음향 중단 및 이어듣기가 가능해 연속적이고 스킵(skip) 없는 음향 감상을 가능하게 만들 것이다.
이러한 착용 검증부(164)의 착용 검증 프로세스는 상술한 조도 감지부(163)의 조도 감지 프로세스와 병행해 실시됨으로써 사용자의 이어폰 착용 여부를 정확히 검증할 수 있게 만들 것이다.
상기 명령 식별부(165)는 상기 이미지 처리부(162)에서 영상처리에 의해 추출된 귓속 이미지의 동적 변화값을 전달받아 이를 동작 셋팅부(166)의 이미지 동적변화 패턴 정보와 비교하여 명령 제어신호를 생성하게 된다.
사용자는 귓 속에 이어폰을 착용한 상태에서 귀 부근을 손으로 두드리거나 이어폰 몸체를 두드리는 방식으로 음향과 관련된 다양한 제어신호를 만들어낼 수 있다. 여기에서 음향과 관련된 제어신호는 예컨데 재생시작, 재생 일시정지, 다음곡 재생, 전화받기/끊기, 이전곡 재생, 전화거절, 음량 내리기, 음량 올리기 등일 수 있다.
실제 이어폰을 귀에 착용한 상태에서 귀 부근을 손으로 두드리거나 이어폰 몸체를 두드리면 귓속 이미지를 촬영하고 있는 이미지 센서 어레이(161)의 영상에는 펄스 형태의 이미지 변화 그리고 이미지 시프트와 같은 이미지의 동적 변화가 일어나게 된다. 상기 명령 식별부(165)는 귓속 이미지의 동적 변화값(펄스 변화폭, 시프트 길이)을 동작 셋팅부(166)의 이미지 동적변화 패턴 정보와 비교하여 다양한 명령 제어신호를 생성하게 된다.
예컨데 사용자가 귀 부근이나 이어폰 몸체를 한번 두드리면, 이 행동에 의해 귓속 이미지의 동적 변화가 한번 이루어지게 될 것이고, 상기 명령 식별부(165)는 동작 셋팅부(166)의 이미지 동적변화 패턴 정보에서 미리 저장된 한번의 이미지 동적변화에 대한 "일시정지" 명령을 추출해 명령 제어신호로서 일시정지 명령 제어신호를 생성하게 되는 것이다.
이 같이 귓속 이미지의 동적 변화를 일으키는 사용자의 행위를 두드림의 횟수로 구별지어 여러 명령 제어신호들을 셋팅할 수 있으며, 서로 다른 두드림의 강도나 두드림의 발생 간격을 식별함으로써도 다양한 명령 제어신호들을 매칭해 셋팅할 수 있게 된다. 또한 사용자가 귀 부근을 두드릴 때 이어폰이 위치하는 귀를 중심으로 한 두드리는 지점의 방향이나 다수회의 두드림시 두드리는 지점의 변화경로 등을 이용해서도 다양한 명령 제어신호들을 매칭해 셋팅할 수 있음은 물론이다.
현재 사용되고 있는 무선 이어폰의 경우 귀 밖으로 드러나는 하우징 외면의 터치센서 외에는 별다른 사용자 조작 인터페이스를 갖추지 못해 음향 재생과 관련된 사용자 조작이 복잡하고 어렵다는 문제점을 가지고 있다.
상술한 이어폰 주변의 얼굴 부위나 이어폰 몸체에 대한 두드림을 통한 직관적이고 다양한 제어신호 생성 방식은 이 같은 종래 무선 이어폰의 고질적인 조작의 난해함 문제를 명쾌하게 해결할 수 있게 될 것이다.
상기 동작 셋팅부(166)는 착용센서(160)의 동작을 위한 설정값들을 관리하게 된다.
보다 상세하게는, 상기 동작 셋팅부(166)는 상기 조도 감지부(163)에서 조도측정값과 비교하기 위한 기준조도 테이블을 관리하게 된다. 조도 감지부(163)는 측정된 조도를 이 기준조도 테이블의 기준조도와 비교하여 보조 광원 제어신호를 생성하게 된다. 여기에서 이 같은 기준조도 테이블에서 관리되는 기준조도는 기준조도 광도값일 수 있다.
또한 상기 동작 셋팅부(166)는 착용 검증부(164)에서 교격화된 귓속 이미지와 비교하기 위한 귓속 샘플 이미지들을 관리하게 된다. 착용 검증부(164)는 촬영된 귓속 이미지를 이 귓속 샘플 이미지들과 비교하여 착용체크/포즈 제어신호를 생성하게 된다. 여기에서 이 같은 귓속 샘플 이미지들은 다양한 귓속 형태들에 대한 이미지들일 것이다.
또한 상기 동작 셋팅부(166)는 명령 식별부(165)에서 귓속 이미지의 동적 변화값과 비교하기 위한 이미지 동적변화 패턴 정보를 관리하게 된다. 명령 식별부(165)는 귓속 이미지의 동적 변화값을 이 이미지 동적변화 패턴 정보와 비교하여 명령 제어신호를 생성하게 된다. 여기에서 귓속 이미지의 동적 변화값은 이미지의 펄스 변화폭이나 시프트 길이일 수 있다.
한편, 본 발명의 다른 실시예에 따른 무선 이어폰용 착용센서(160)는 이어폰의 착용 여부만을 실시간 검증하여 포즈 기능만을 활성화시킬 수 있도록 착용 검증부(164) 및 명령 식별부(165)를 제외하고 구성될 수도 있다.
즉, 이어 팁(120) 측 방향에 대한 영상 데이터를 획득하는 이미지 센서 어레이(161)로부터 획득되는 영상 데이터를 통해 이어 팁(120) 측 방향 영상의 밝기를 측정하여 조도를 감지하는 조도 감지부(163)만으로 무선 이어폰용 착용센서(160)를 구성하는 것도 가능하다.
이 경우 조도 감지부(163)는 상기 이미지 처리부(162)에서 영상처리에 의해 추출한 영상 데이터의 화소별 광도 정보를 전달받아 이미지를 통해 현재 밝기를 측정하고 이를 동작 셋팅부(166)의 기준조도 테이블에서 관리되는 기준조도 광도값과 비교하여 이어폰의 착용 여부를 실시간 검증하여 포즈 기능을 활성화시킬 수 있게 되는 것이다.
일 예로 암전에 가까운 대단히 어두운 조도를 확인한 상기 조도 감지부(163)는 현재 촬영되는 영상이 귓속 영상으로 판별하고 착용체크 제어신호를 생성하게 될 것이다.
또한 낮은 조도라도 검출될 경우 상기 조도 감지부(163)는 이어폰이 귓속에 탈거된 경우로 판별하여 포즈 제어신호를 생성하게 될 것이다.
마찬가지로 상기 착용체크 제어신호는 센서 제어부(167)를 통해 이어폰 제어부(140)로 전달되어 이어폰에 현재 이어폰이 착용 상태에 있음을 확인시키게 될 것이다.
이와 달리 포즈 제어신호는 센서 제어부(167)를 통해 이어폰 제어부(140)로 전달되어 이어폰에 현재 이어폰이 탈거 상태에 있음을 확인시키게 될 것이다. 포즈 제어신호를 수신한 이어폰 제어부(140)는 음향발생 모듈(130)의 음향 재생 과정을 일시적으로 중단시키게 되며, 이 같은 음향 재생 중단은 다시 착용체크 제어신호가 이어폰 제어부(140)로 전달됨으로써 해제될 것이다.
이제 도 4를 참조하여 상술한 구성을 가지는 무선 이어폰용 착용센서의 구동 방법을 상세히 설명하기로 한다.
도 4는 본 발명의 실시예에 따른 무선 이어폰용 착용센서의 구동 방법을 설명하기 위한 구동 흐름도이다.
도 4를 참조하면, 먼저, 이어폰이 구동된다(S10). 이 같은 이어폰의 구동은 해당 이어폰을 사용자가 충전 케이스에서 빼내는 동작에 의해 시작될 수 있으며, 이어폰 자체의 배터리(180)를 통해 착용센서(160)를 포함하는 각 구성에 전원이 공급됨으로써 이어폰의 구동이 이루어지게 될 것이다.
이후, 착용센서(160)는 이미지 센서 어레이(161)로부터 전달되는 영상 데이터를 통해 상기 조도 감지부(163) 및 착용 검증부(164)가 사용자가 해당 이어폰을 귓속에 착용하고 있는지에 대한 착용 체크를 실시하여 사용자의 이어폰 착용 상태를 모니터링하게 된다(S20).
여기에서 사용자가 해당 이어폰을 귓속에 착용하고 있는지에 대한 착용 상태 모니터링 과정은 조도 감지부(163)의 조도 감지와 착용 검증부(164)의 착용 검증이 병행해 이루어지게 된다.
먼저 상기 조도 감지부(163)는 이미지 처리부(162)에서 영상처리에 의해 추출한 영상 데이터의 화소별 광도 정보를 전달받아 이미지를 통해 현재 밝기를 측정하고 이를 동작 셋팅부(166)의 기준조도 테이블에서 관리되는 기준조도 광도값과 비교하게 된다.
이 과정에서 조도 감지부(163)는 현재 밝기가 기준조도 이상이면 이어폰의 탈거 상태 신호를 생성해 센서 제어부(167)로 전달하게 된다. 이와 달리 조도 감지부(163)는 현재 밝기가 기준조도 미만이면 이어폰의 착용 상태 신호를 생성해 센서 제어부(167)로 전달하는 동시에 보조 광원 턴온 신호를 센서 제어부(167)로 전달하게 된다. 이에 따라 상기 보조 광원 턴온 신호가 보조 광원부(170)로 전달되어 보조 과원부(170)가 점등됨으로써 어두운 귓속에서도 이미지 센서 어레이(161)의 선명한 이미지 촬영을 가능하게 할 것이다.
또한 상기 착용 검증부(164)는 이미지 처리부(162)에서 영상처리에 의해 추출한 규격화된 귓속 이미지를 전달받아 이를 동작 셋팅부(166)의 귓속 샘플 이미지와 비교하게 된다.
이 과정에서 상기 착용 검증부(164)는 규격화된 귓속 이미지가 귓속 샘플 이미지와 매칭되면 착용체크 제어신호를 생성해 센서 제어부(167)로 전달하게 된다.
이 같이 이어폰에 대한 착용 상태 모니터링 과정이 조도 감지부(163)의 조도 감지 및 보조 광원 구동 그리고 착용 검증부(164)의 착용 검증의 병행에 의해 이루어지기 때문에 이어폰이 귀에 장착되지 않은 탈거 상태이면서 사용자 주변 조도가 어두운 환경에서의 착용 체크가 정확히 이루어질 수 있게 될 것이다. 즉 이어폰이 귀에 장착되지 않은 탈거 상태이더라도 사용자 주변 조도가 어두워 귀 밖의 이미지이더라도 기준조도 미만으로 측정될 수 있다. 이를 대비해 본 발명에서는 조도 측정 및 기준 조도와의 비교 프로세스와 더불어 착용 검증을 통해 귓속 이미지를 추출하는 프로세스를 병행 실시함으로써 사용자의 이어폰 착용 여부를 정확히 검증할 수 있게 되는 것이다.
이후, 착용센서(160)는 이미지 센서 어레이(161)로부터 실시간으로 전달되는 영상 데이터를 통해 착용 검증부(164)가 사용자가 해당 이어폰을 귓속에서 탈거했는지 여부를 판단한다(S30).
여기에서 탈거는 착용되어 있던 이어폰이 귓속에서 빠져 나온 상태로 본 발명에서는 이 같은 이어폰 탈거시 음향 출력 기능을 자동적으로 일시중지(Pause)시키켜 사용자의 연속적인 음향감상을 돕게 된다.
상기 S30 단계에서 상기 착용 검증부(164)는 이미지 센서 어레이(161)로부터 촬영되는 귓속 이미지를 귓속 샘플 이미지들과 비교하여 매칭 여부를 통해 탈거 여부를 판단하게 되는 것이다.
상기 제 S30 단계의 판단결과, 현재 촬영되는 귓속 이미지를 귓속 샘플 이미지들과 비교하여 매칭되지 않을 경우, 상기 착용센서(160)의 착용 검증부(164)는 포즈 제어신호를 생성하게 된다(S40).
이 같은 포즈 제어신호는 이어폰 제어부(140)로 전달되며 이어폰 제어부(140)는 음향 발생 모듈(130)의 음향 재생 과정이 일시적으로 중단되게 제어하게 될 것이다.
이후, 착용센서(160)는 이미지 센서 어레이(161)로부터 실시간으로 전달되는 영상 데이터를 통해 착용 검증부(164)가 사용자가 해당 이어폰을 귓속에 다시 장착했는지 여부를 판단한다(S50).
여기에서 이어폰의 재착용시 본 발명에서는 이어폰 탈거에 따라 일시중지되었던 음향 출력 기능을 재동작시켜 끊겼던 부분에서 음향이 계속되도록 하여 사용자의 연속적인 음향감상을 돕게 된다.
상기 S50 단계에서 상기 착용 검증부(164)는 이미지 센서 어레이(161)로부터 촬영되는 귓속 이미지를 귓속 샘플 이미지들과 비교하여 매칭 여부를 통해 재장착 여부를 판단하게 되는 것이다.
상기 제 S50 단계의 판단결과, 현재 촬영되는 귓속 이미지를 귓속 샘플 이미지들과 비교하여 매칭될 경우, 상기 착용센서(160)의 착용 검증부(164)는 착용체크 제어신호를 생성하게 된다(S60).
이 같은 착용체크 제어신호는 이어폰 제어부(140)로 전달되며 이어폰 제어부(140)는 음향 발생 모듈(130)의 음향 재생 과정이 재개되게 제어하게 될 것이다.
한편, 착용 상태 모니터링 중 착용센서(160)는 이미지 센서 어레이(161)로부터 실시간으로 전달되는 영상 데이터를 통해 명령 식별부(165)가 사용자의 두드림 명령이 인식되었는지 여부를 판단한다(S70).
사용자는 귓 속에 이어폰을 착용한 상태에서 귀 부근이나 이어폰 몸체를 손으로 두드리는 방식으로 음향과 관련된 다양한 제어신호를 만들어낼 수 있다. 여기에서 음향과 관련된 제어신호는 예컨데 재생시작, 재생 일시정지, 다음곡 재생, 전화받기/끊기, 이전곡 재생, 전화거절, 음량 내리기, 음량 올리기 등일 수 있다. 실제 이어폰을 귀에 착용한 상태에서 귀 부근이나 이어폰 몸체를 손으로 두드리면 귓속 이미지를 촬영하고 있는 이미지 센서 어레이(161)의 영상에는 펄스 형태의 이미지 변화 그리고 이미지 시프트와 같은 이미지의 동적 변화가 일어나게 된다.
상기 S70 단계에서 상기 명령 식별부(165)는 이미지 센서 어레이(161)로부터 촬영되는 귓속 이미지의 동적 변화값(펄스 변화폭, 시프트 길이)이 발생되었는지 여부를 통해 명령 인식 여부를 판단하게 되는 것이다.
상기 제 S70 단계의 판단결과, 현재 촬영되는 귓속 이미지의 동적 변화값을 동작 셋팅부(166)의 이미지 동적변화 패턴 정보와 비교하여 이 동적 변화값과 매칭되는 동적변화 패턴 정보를 식별하고 식별된 명령 제어신호를 생성하여 이어폰 제어부(140)로 전달하게 된다(S80).
이에 따라 이어폰 제어부(140)는 전달된 명령 제어신호에 따라 이어폰을 제어하여 사용자의 두드림 명령을 실행시키게 될 것이다.
이후 착용센서(160)는 계속적으로 조도 감지부(163), 착용 검증부(164) 및 명령 식별부(165)를 통해 사용자의 이어폰 착탈이나 사용자 명령을 인식하여 보조 광원 제어신호, 착용체크/포즈 제어신호 및 명령 제어신호를 상기 이어폰 제어부(140)로 전달하게 될 것이다.
이상과 같이 도면과 명세서에서 최적 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110 : 리시버 하우징 112 : 센싱 통공
113 : 조명 통공 111 : 음향관
120 : 이어 팁 130 : 음향 발생 모듈
140 : 이어폰 제어부 150 : 통신 모듈
160 : 착용센서 170 : 보조 광원부
180 : 배터리 161 : 이미지 센서 어레이
162 : 이미지 처리부 163 : 조도 감지부
164 : 착용 검증부 165 : 명령 식별부
166 : 동작 셋팅부 167 : 센서 제어부

Claims (16)

  1. 무선 이어폰에 내장되며,
    이어폰의 리시버 하우징에서 음향관 및 이어 팁의 설치면에 형성된 센싱 통공에 화각이 맞춰져 이미지를 촬영하고, 이 촬영된 이미지를 통해 이어폰의 상태를 실시간 검증하는 것을 특징으로 하는 무선 이어폰용 착용센서.
  2. 제 1항에 있어서,
    상기 착용센서는,
    상기 센싱 통공을 통해 이어 팁 측 방향의 외부 이미지를 촬영하여 영상 데이터를 획득하는 이미지 센서 어레이;
    상기 이미지 센서 어레이로부터 촬영된 영상 데이터를 수신하며 수신된 영상 데이터를 영상분석처리하는 이미지 처리부;
    상기 이미지 처리부의 영상분석처리에 따라 영상 데이터를 통해 이어 팁 측 방향 영상의 밝기를 측정하여 조도를 감지하는 조도 감지부;
    상기 이미지 처리부의 영상분석처리에 따라 영상 데이터에서 귓속 이미지 검출 여부로 이어폰 착용 여부를 검증하는 착용 검증부; 및
    상기 조도 감지부 및 착용 검증부의 동작을 위한 기준조도 테이블 및 귓속 샘플 이미지를 저장 관리하는 동작 셋팅부; 를 포함하는 것을 특징으로 하는 무선 이어폰용 착용센서.
  3. 제 2항에 있어서,
    상기 이미지 처리부의 영상분석처리에 따라 영상 데이터에서 귓속 이미지의 변화를 감지하여 사용자의 두드림 명령을 식별하는 명령 식별부; 를 더 포함하며,
    상기 동작 셋팅부가 명령 식별부의 동작을 위한 이미지 동적변화 패턴 정보를 저장 관리하는 것을 특징으로 하는 무선 이어폰용 착용센서.
  4. 제 2항에 있어서,
    사용자의 이어폰 착용 또는 탈거 상태에 따라,
    상기 이미지 처리부는 이미지 센서 어레이에서 촬영된 영상 데이터의 화소별 광도 정보를 추출하며,
    상기 조도 감지부는 상기 이미지 처리부에서 영상처리에 의해 추출한 영상 데이터의 화소별 광도 정보를 전달받아 이미지를 통해 현재 밝기를 측정하고 이를 동작 셋팅부의 기준조도 테이블에서 관리되는 기준조도 광도값과 비교하여 보조 광원 제어신호를 생성하며,
    상기 보조 광원 제어신호에 따라 보조 광원부의 조명이 제어되어 착용센서의 촬영에 필요한 조명을 제공하는 것을 특징으로 하는 무선 이어폰용 착용센서.
  5. 제 2항에 있어서,
    사용자의 이어폰 착용 또는 탈거 상태에 따라,
    상기 이미지 처리부는 이미지 센서 어레이에서 촬영된 이미지에서 규격화된 귓속 이미지를 추출하며,
    상기 착용 검증부는 상기 이미지 처리부에서 영상처리에 의해 추출한 규격화된 귓속 이미지를 전달받고 동작 셋팅부의 귓속 샘플 이미지와 비교하여 착용체크/포즈 제어신호를 생성하는 것을 특징으로 하는 무선 이어폰용 착용센서.
  6. 제 2항에 있어서,
    사용자가 이어폰 착용 상태에서 귀 부근 안면이나 이어폰 몸체를 두드림에 따라,
    상기 이미지 처리부는 이미지 센서 어레이에서 촬영된 귓속 이미지의 동적 변화값을 추출하며,
    상기 명령 식별부는 상기 이미지 처리부에서 영상처리에 의해 추출한 귓속 이미지의 동적 변화값을 전달받고 동작 셋팅부의 이미지 동적변화 패턴 정보와 비교하여 명령 제어신호를 생성하는 것을 특징으로 하는 무선 이어폰용 착용센서.
  7. 제 6항에 있어서,
    사용자가 이어폰 착용 상태에서 귀 부근 안면이나 이어폰 몸체를 두드림에 따라 상기 이미지 처리부가 추출하는 귓속 이미지의 동적 변화값은 귓속 이미지를 촬영하고 있는 이미지 센서 어레이의 영상에서 발생하는 펄스 형태의 이미지 변화 또는 이미지 시프트에 따른 펄스 변화폭 또는 시프트 길이인 것을 특징으로 하는 무선 이어폰용 착용센서.
  8. 제 7항에 있어서,
    상기 명령 식별부는 귓속 이미지의 동적 변화를 일으키는 사용자의 두드림 횟수, 두드림 강도, 두드림 발생 간격, 두드림 방향 및 두드림 지점의 변화경로 중 적어도 하나에 따른 귓속 이미지의 동적 변화값에 따라 명령 제어신호를 생성하는 것을 특징으로 하는 무선 이어폰용 착용센서.
  9. 제 1항에 있어서,
    상기 착용센서는,
    상기 센싱 통공을 통해 이어 팁 측 방향의 외부 이미지를 촬영하여 영상 데이터를 획득하는 이미지 센서 어레이;
    상기 이미지 센서 어레이로부터 촬영된 영상 데이터를 수신하며 수신된 영상 데이터를 영상분석처리하는 이미지 처리부;
    상기 이미지 처리부의 영상분석처리에 따라 영상 데이터를 통해 이어 팁 측 방향 영상의 밝기를 측정하여 조도를 감지하고 기준조도 테이블에서 관리되는 기준조도 광도값과 비교하여 착용체크/포즈 제어신호를 생성하는 조도 감지부; 및
    상기 조도 감지부의 동작을 위한 기준조도 테이블을 저장 관리하는 동작 셋팅부; 를 포함하는 것을 특징으로 하는 무선 이어폰용 착용센서.
  10. (a) 이어폰의 구동에 따라 이미지 센서 어레이로부터 전달되는 영상 데이터를 통해 사용자가 해당 이어폰을 귓속에 착용하고 있는지에 대한 착용 체크를 실시하여 사용자의 이어폰 착용 상태를 모니터링하는 단계; 및
    (b) 이미지 센서 어레이로부터 촬영되는 귓속 이미지를 귓속 샘플 이미지들과 비교하여 매칭 여부를 판단하며, 매칭되지 않을 경우 이어폰 탈거에 따른 포즈 제어 신호를 생성하는 단계; 를 포함하는 것을 특징으로 하는 무선 이어폰용 착용센서의 구동 방법.
  11. 제 10항에 있어서,
    상기 (a) 단계의 착용 상태 모니터링은,
    이미지 센서 어레이에서 촬영된 영상 데이터의 화소별 광도 정보를 추출하여 현재 밝기를 측정하고 이를 기준조도 광도값과 비교하여 보조 광원 제어신호를 생성하며,
    이미지 센서 어레이에서 촬영된 이미지에서 규격화된 귓속 이미지를 추출하여 귓속 샘플 이미지와 비교하여 착용 상태를 모니터링하는 것을 특징으로 하는 무선 이어폰용 착용센서의 구동 방법.
  12. (a) 이어폰의 구동에 따라 이미지 센서 어레이로부터 전달되는 영상 데이터를 통해 사용자가 해당 이어폰을 귓속에 착용하고 있는지에 대한 착용 체크를 실시하여 사용자의 이어폰 착용 상태를 모니터링하는 단계; 및
    (d) 이미지 센서 어레이로부터 실시간으로 전달되는 영상 데이터를 통해 사용자의 두드림 명령을 인식하여 현재 촬영되는 귓속 이미지의 동적 변화값을 이미지 동적변화 패턴 정보와 비교하여 동적 변화값과 매칭되는 동적변화 패턴 정보를 식별하고 식별에 따른 명령 제어신호를 생성하는 단계; 를 포함하는 것을 특징으로 하는 무선 이어폰용 착용센서의 구동 방법.
  13. 제 12항에 있어서,
    상기 (a) 단계의 착용 상태 모니터링은,
    이미지 센서 어레이에서 촬영된 영상 데이터의 화소별 광도 정보를 추출하여 현재 밝기를 측정하고 이를 기준조도 광도값과 비교하여 보조 광원 제어신호를 생성하며,
    이미지 센서 어레이에서 촬영된 이미지에서 규격화된 귓속 이미지를 추출하여 귓속 샘플 이미지와 비교하여 착용 상태를 모니터링하는 것을 특징으로 하는 무선 이어폰용 착용센서의 구동 방법.
  14. 제 12항에 있어서,
    사용자가 이어폰 착용 상태에서 귀 부근 안면이나 이어폰 몸체를 두드림에 따라 추출되는 귓속 이미지의 동적 변화값은 귓속 이미지를 촬영하고 있는 이미지 센서 어레이의 영상에서 발생하는 펄스 형태의 이미지 변화 또는 이미지 시프트에 따른 펄스 변화폭 또는 시프트 길이인 것을 특징으로 하는 무선 이어폰용 착용센서의 구동 방법.
  15. 제 14항에 있어서,
    사용자의 두드림 명령에 따라 귓속 이미지의 동적 변화를 일으키는 사용자의 두드림 횟수, 두드림 강도, 두드림 발생 간격, 두드림 방향 및 두드림 지점의 변화경로 중 적어도 하나에 따른 귓속 이미지의 동적 변화값에 따라 명령 제어신호를 생성하는 것을 특징으로 하는 무선 이어폰용 착용센서의 구동 방법.
  16. (a) 이어폰의 구동에 따라 이미지 센서 어레이로부터 전달되는 영상 데이터를 통해 사용자가 해당 이어폰을 귓속에 착용하고 있는지에 대한 착용 체크를 실시하여 사용자의 이어폰 착용 상태를 모니터링하는 단계; 및
    (b) 이미지 센서 어레이로부터 촬영되는 영상 데이터를 통해 이어 팁 측 방향 영상의 밝기를 측정하여 조도를 감지하고 기준조도 테이블에서 관리되는 기준조도 광도값과 비교하여 포즈 제어 신호를 생성하는 단계; 를 포함하는 것을 특징으로 하는 무선 이어폰용 착용센서의 구동 방법.
KR1020210025870A 2021-02-25 2021-02-25 무선 이어폰용 착용센서 및 그 구동 방법 KR102474129B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210025870A KR102474129B1 (ko) 2021-02-25 2021-02-25 무선 이어폰용 착용센서 및 그 구동 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210025870A KR102474129B1 (ko) 2021-02-25 2021-02-25 무선 이어폰용 착용센서 및 그 구동 방법

Publications (2)

Publication Number Publication Date
KR20220121597A true KR20220121597A (ko) 2022-09-01
KR102474129B1 KR102474129B1 (ko) 2022-12-05

Family

ID=83281852

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210025870A KR102474129B1 (ko) 2021-02-25 2021-02-25 무선 이어폰용 착용센서 및 그 구동 방법

Country Status (1)

Country Link
KR (1) KR102474129B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024143942A1 (ko) * 2022-12-30 2024-07-04 주식회사 솔루엠 Ppg 센서에 기초한 바이오 피드백 콘텐츠를 제공하는 히어러블 디바이스 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100088833A (ko) * 2009-02-02 2010-08-11 삼성전자주식회사 이어폰 장치 및 그 운용 방법
KR20180042384A (ko) * 2015-09-28 2018-04-25 애플 인크. 근접 센서를 갖는 무선 이어버드
KR20180093374A (ko) * 2017-02-13 2018-08-22 에잇비트 주식회사 완전 무선 스테레오 이어폰을 이용한 체온 측정 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100088833A (ko) * 2009-02-02 2010-08-11 삼성전자주식회사 이어폰 장치 및 그 운용 방법
KR20180042384A (ko) * 2015-09-28 2018-04-25 애플 인크. 근접 센서를 갖는 무선 이어버드
KR20180093374A (ko) * 2017-02-13 2018-08-22 에잇비트 주식회사 완전 무선 스테레오 이어폰을 이용한 체온 측정 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024143942A1 (ko) * 2022-12-30 2024-07-04 주식회사 솔루엠 Ppg 센서에 기초한 바이오 피드백 콘텐츠를 제공하는 히어러블 디바이스 장치

Also Published As

Publication number Publication date
KR102474129B1 (ko) 2022-12-05

Similar Documents

Publication Publication Date Title
US9319823B2 (en) Application control method and apparatus for mobile terminal, earphone device and application control system
US8843173B2 (en) Portable device and method for providing voice recognition service
CN105262452A (zh) 音量调整方法、装置及终端
WO2016045088A1 (zh) 控制应用程序的方法、装置和电子设备
US20110206215A1 (en) Personal listening device having input applied to the housing to provide a desired function and method
US20130293670A1 (en) Media Enhancement Dock
CN105138319B (zh) 事件提醒方法及装置
JP5970251B2 (ja) レンズモジュールおよび撮影方法
CN108108006B (zh) 一种麦克风的远程控制方法及***
US9538277B2 (en) Method and apparatus for controlling a sound input path
KR20200116323A (ko) 음향 장치의 착용 감지 방법 및 이를 지원하는 음향 장치
CN108549529A (zh) 控制音频输出的方法及装置
WO2022161077A1 (zh) 语音控制方法和电子设备
CN105426218A (zh) 控制音频播放的方法及装置
KR102474129B1 (ko) 무선 이어폰용 착용센서 및 그 구동 방법
CN114422340A (zh) 日志上报方法、电子设备及存储介质
CN105390120A (zh) 亮屏控制方法及装置
CN109862169A (zh) 电子设备控制方法及装置
CN115800557A (zh) 无线充电方法、电子设备、存储介质及程序
CN105092960A (zh) 一种显示电量信息的方法和装置
CN105516452A (zh) 打呼状态提醒方法、装置及***
CN115389927B (zh) 马达阻尼的测算方法和***
CN105260291A (zh) ***日志抓取方法及装置
KR102560915B1 (ko) 착용센서를 내장한 무선 이어폰 및 그 구동 방법
KR101562621B1 (ko) 스마트 이어폰 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant