KR20130022401A - Method and system for controlling a user interface of a device using human breath - Google Patents

Method and system for controlling a user interface of a device using human breath Download PDF

Info

Publication number
KR20130022401A
KR20130022401A KR1020127009299A KR20127009299A KR20130022401A KR 20130022401 A KR20130022401 A KR 20130022401A KR 1020127009299 A KR1020127009299 A KR 1020127009299A KR 20127009299 A KR20127009299 A KR 20127009299A KR 20130022401 A KR20130022401 A KR 20130022401A
Authority
KR
South Korea
Prior art keywords
interface
user interface
processing module
operable
user
Prior art date
Application number
KR1020127009299A
Other languages
Korean (ko)
Inventor
삐에르 보나
Original Assignee
노보디지트 에스에이알엘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/813,292 external-priority patent/US20110010112A1/en
Application filed by 노보디지트 에스에이알엘 filed Critical 노보디지트 에스에이알엘
Publication of KR20130022401A publication Critical patent/KR20130022401A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B81—MICROSTRUCTURAL TECHNOLOGY
    • B81B—MICROSTRUCTURAL DEVICES OR SYSTEMS, e.g. MICROMECHANICAL DEVICES
    • B81B7/00—Microstructural systems; Auxiliary parts of microstructural devices or systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F1/00—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Abstract

인간의 숨을 이용하여 디바이스의 사용자 인터페이스를 제어하기 위한 방법 및 시스템의 특정한 양태들은 내장된 MEMS(micro-electro-mechanical system) 감지 및 처리 모듈을 포함하는 디바이스를 포함할 수 있다. 상기 MEMS 감지 및 처리 모듈은 사용자에 의한 인간의 숨의 방출에 의해 야기되는 움직임을 검출할 수 있다. 인간의 숨의 방출에 의해 야기되는 움직임의 검출에 응답하여, 하나 이상의 제어 신호들이 생성될 수 있다. 생성된 제어 신호들은 디바이스의 사용자 인터페이스를 제어할 수 있고 사용자 인터페이스 내의 탐색 및/또는 컴포넌트들의 선택을 가능하게 할 수 있다.Certain aspects of a method and system for controlling a user interface of a device using human breath can include a device including an embedded micro-electro-mechanical system (MEMS) sensing and processing module. The MEMS sensing and processing module may detect movement caused by the release of human breath by a user. In response to the detection of movement caused by the release of human breath, one or more control signals may be generated. The generated control signals can control the user interface of the device and enable navigation and / or selection of components within the user interface.

Description

인간의 숨을 이용하여 디바이스의 사용자 인터페이스를 제어하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR CONTROLLING A USER INTERFACE OF A DEVICE USING HUMAN BREATH}METHOOD AND SYSTEM FOR CONTROLLING A USER INTERFACE OF A DEVICE USING HUMAN BREATH}

<관련 출원들의 상호 참조/참조에 의한 통합><Integration by Cross Reference / Reference of Related Applications>

이 출원은 지금은 미국 특허 번호 7,739,061인, 2008년 3월 26일에 출원된 미국 특허 출원 번호 12/056,164의 계속 출원인, 2010년 6월 10일에 출원된 미국 특허 출원 번호 12/813,292의 부분 계속 출원이다.This application is now part of US Patent Application No. 12 / 813,292, filed June 10, 2010, filed on June 10, 2010, now a US Patent Application No. 12 / 056,164, filed March 26, 2008, US Patent No. 7,739,061. Application.

이 출원은 2009년 9월 11일에 출원된 미국 가출원 일련 번호 61/241,376 및 2009년 9월 14일에 출원된 미국 가출원 일련 번호 61/242,201을 참조하고, 그 우선권을 주장하고, 그 이익을 주장한다.This application refers to US Provisional Serial No. 61 / 241,376, filed September 11, 2009, and US Provisional Serial No. 61 / 242,201, filed September 14, 2009, claims its priority, and claims its benefit. do.

이 출원은 또한,This application also provides

2008년 3월 26일에 출원된 미국 출원 일련 번호 12/055,999;US Application Serial No. 12 / 055,999, filed March 26, 2008;

2008년 3월 26일에 출원된 미국 출원 일련 번호 12/056,203;US Application Serial No. 12 / 056,203, filed March 26, 2008;

2008년 3월 26일에 출원된 미국 출원 일련 번호 12/056,171;US Application Serial No. 12 / 056,171, filed March 26, 2008;

2008년 3월 26일에 출원된 미국 출원 일련 번호 12/056,061; 및US Application Serial No. 12 / 056,061, filed March 26, 2008; And

2008년 3월 26일에 출원된 미국 출원 일련 번호 12/056,187을 참조한다.See US Application Serial No. 12 / 056,187, filed March 26, 2008.

위에 언급된 출원들 각각은 이로써 그 전체가 참고로 이 출원에 통합된다.Each of the applications mentioned above is hereby incorporated by reference in its entirety.

<연방 후원 연구 또는 개발><Federal Sponsored Research or Development>

해당 없음Not applicable

<마이크로필름 카드/저작권 참조><See microfilm card / copyright>

해당 없음Not applicable

<발명의 분야>[0001]

본 발명의 특정한 실시예들은 컴퓨터 또는 전자 시스템을 제어하는 것에 관한 것이다. 더 구체적으로, 본 발명의 특정한 실시예들은 인간의 숨을 이용하여 디바이스의 사용자 인터페이스를 제어하기 위한 방법 및 시스템에 관한 것이다.Certain embodiments of the present invention relate to controlling a computer or electronic system. More specifically, certain embodiments of the present invention relate to methods and systems for controlling a user interface of a device using human breath.

모바일 통신은 인간이 의사 소통하는 방법을 바꾸었고 휴대폰은 사치 품목에서 매일의 일상의 본질적인 부분으로 변형되었다. 휴대폰의 사용은 오늘날 위치 또는 기술에 의해 방해받는 것보다, 사회적 상황에 의해 영향을 받는다.Mobile communication has changed the way humans communicate and mobile phones have been transformed from luxury items into an essential part of everyday life. The use of mobile phones is affected by social situations, rather than hampered by location or technology today.

음성 연결은 기본적인 통신의 필요를 만족시키고, 모바일 음성 연결은 계속해서 매일의 일상의 조직에 한층 더 스며들었지만, 인터넷을 통한 서비스들에의 모바일 액세스는 모바일 통신 혁명의 다음 단계가 되었다. 일반적으로, 대부분의 모바일 디바이스들은 사용자들이 인터넷을 통해 제공된 서비스들에 액세스할 수 있게 하는 사용자 인터페이스를 구비하고 있다. 예를 들면, 일부 모바일 디바이스들은 브라우저들을 가질 수 있고, 사용자 인터페이스의 탐색(navigation) 및/또는 제어를 가능하게 하기 위해 소프트웨어 및/또는 하드웨어 버튼들이 제공될 수 있다. 스마트폰과 같은 일부 모바일 디바이스들은 사용자들이 한 손에는 디바이스를 들고 다른 손으로 터치하는 것을 통해 사용자 인터페이스를 탐색하거나 제어할 수 있게 하는 터치 스크린 능력을 구비하고 있다.While voice connections have met basic communication needs and mobile voice connections have continued to penetrate the daily organization, mobile access to services via the Internet has become the next step in the mobile communication revolution. In general, most mobile devices have a user interface that allows users to access services provided via the Internet. For example, some mobile devices may have browsers and software and / or hardware buttons may be provided to enable navigation and / or control of the user interface. Some mobile devices, such as smartphones, have a touch screen capability that allows users to navigate or control the user interface by holding the device in one hand and touching it with the other.

종래의 및 전통적인 접근법들의 추가적인 한계 및 불리점들은 그러한 시스템들을 도면들을 참조하여 본 출원의 나머지에 제시된 본 발명과 비교하는 것을 통해 숙련된 당업자에게 명백해질 것이다.Additional limitations and disadvantages of conventional and traditional approaches will become apparent to those skilled in the art through comparing such systems with the present invention presented in the remainder of this application with reference to the drawings.

실질적으로 도면들 중 적어도 하나에 도시되고 및/또는 그와 관련하여 설명되고, 청구항들에서 더 완전히 제시된, 인간의 숨을 이용하여 디바이스의 사용자 인터페이스를 제어하기 위한 시스템 및/또는 방법.A system and / or method for controlling a user interface of a device using human breath, substantially as shown in and / or described in at least one of the figures, and more fully set forth in the claims.

본 발명의 다양한 이점들, 양태들 및 신규한 특징들뿐만 아니라, 그것의 예시된 실시예의 상세들은 다음의 설명 및 도면들로부터 더 잘 이해될 것이다.Various advantages, aspects, and novel features of the present invention, as well as the details of its illustrated embodiment, will be better understood from the following description and drawings.

도 1a는 본 발명의 실시예에 따른, 인간의 숨을 이용하여 복수의 디바이스들의 사용자 인터페이스를 제어하기 위한 예시적인 시스템의 블록도이다.
도 1b는 본 발명의 실시예에 따른, 인간의 숨을 검출하는 예시적인 감지 모듈의 블록도이다.
도 1c는 본 발명의 실시예에 따른, 인간의 숨을 이용하여 디바이스의 사용자 인터페이스를 제어하기 위한 예시적인 시스템의 다른 실시예의 블록도이다.
도 1d는 본 발명의 실시예에 따른, 피제어 디바이스와 상호 작용하는 예시적인 프로세서의 블록도이다.
도 1e는 본 발명의 실시예에 따른, 둘 이상의 디바이스들 사이의 정보의 사이드 로딩(side loading)을 위한 예시적인 시스템의 블록도이다.
도 2a는 본 발명의 실시예에 따른, 디바이스에 내장된 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다.
도 2b는 본 발명의 실시예에 따른, USB 인터페이스를 통해 디바이스에 통신으로 연결되는 독립형 디바이스에 위치하는 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다.
도 2c는 본 발명의 실시예에 따른, 스타일러스에 위치하는 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다.
도 2d는 본 발명의 실시예에 따른, 군인을 위한 헤드세트에 위치하는 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다.
도 2e는 본 발명의 실시예에 따른, 의자 장치의 머리 받침에 위치하는 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다.
도 2f는 본 발명의 실시예에 따른, 자동차 내에 위치하는 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다.
도 2g는 본 발명의 실시예에 따른, 분리할 수 있는 안경에 위치하는 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다.
도 2h는 본 발명의 실시예에 따른, 넥세트(neckset)에 위치하는 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다.
도 2i는 본 발명의 실시예에 따른, 클립에 위치하는 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다.
도 2j는 본 발명의 실시예에 따른, 직물에 내장된 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다.
도 3a는 본 발명의 실시예에 따른, 구분 사용자 인터페이스를 통해 제어될 수 있는 예시적인 전자 디바이스를 예시하는 도면이다.
도 3b는 본 발명의 실시예에 따른, 구분 사용자 인터페이스의 몇몇 예시적인 구성들을 예시하는 도면이다.
도 3c는 본 발명의 실시예에 따른, 구분 사용자 인터페이스의 몇몇 예시적인 고정 영역들을 예시하는 도면이다.
도 3d는 본 발명의 실시예에 따른, 구분 사용자 인터페이스의 몇몇 예시적인 콘텐트 영역들을 예시하는 도면이다.
도 3e는 본 발명의 실시예에 따른, 호흡 및 촉각 입력을 통해 전자 디바이스의 구분 사용자 인터페이스와 상호 작용하는 것을 예시한다.
도 3f는 본 발명의 실시예에 따른, 스크롤링할 때 카테고리들 및/또는 아이콘들의 시퀀스의 표시를 제공할 수 있는 예시적인 구분 사용자 인터페이스를 예시한다.
도 3g는 본 발명의 실시예에 따른, 호흡 및 촉각 입력을 통해 예시적인 구분 사용자 인터페이스와 상호 작용하는 것을 예시한다.
도 3h는 본 발명의 실시예에 따른, 스크롤링할 때 카테고리들 및/또는 아이콘들의 시퀀스의 표시를 제공할 수 있는 다른 예시적인 구분 사용자 인터페이스를 예시한다.
도 4a는 본 발명의 실시예에 따른, 호흡 및 촉각 입력을 이용하여 사용자 인터페이스를 통해 애플리케이션을 시작하는 것을 예시한다.
도 4b는 본 발명의 실시예에 따른, 전자 디바이스에서 실행중인 애플리케이션과의 예시적인 상호 작용을 예시한다.
도 4c는 본 발명의 실시예에 따른, 전자 디바이스에서 실행중인 애플리케이션과의 예시적인 상호 작용을 예시한다.
도 5는 본 발명의 실시예에 따른, MEMS 감지 및 처리 모듈 및 호스트 시스템과 상호 작용하는 예시적인 사용자 인터페이스의 블록도이다.
도 6은 인간의 숨을 이용하여 디바이스를 제어하는 신호들을 처리하기 위한 예시적인 단계들을 예시하는 순서도이다.
도 7a는 본 발명의 실시예에 따른, 인간의 숨을 이용하여 디바이스의 사용자 인터페이스를 제어하기 위한 예시적인 단계들을 예시하는 순서도이다.
도 7b는 본 발명의 실시예에 따른, 정보의 사이드 로딩을 위한 예시적인 단계들을 예시하는 순서도이다.1A is a block diagram of an example system for controlling a user interface of a plurality of devices using human breath according to an embodiment of the present invention.
1B is a block diagram of an exemplary sensing module for detecting human breath, in accordance with an embodiment of the invention.
1C is a block diagram of another embodiment of an exemplary system for controlling a user interface of a device using human breath, according to an embodiment of the present invention.
1D is a block diagram of an exemplary processor interacting with a controlled device, in accordance with an embodiment of the invention.
1E is a block diagram of an example system for side loading of information between two or more devices, in accordance with an embodiment of the invention.
2A is a diagram illustrating an exemplary MEMS sensing and processing module embedded in a device, in accordance with an embodiment of the invention.
2B is a diagram illustrating an exemplary MEMS sensing and processing module located in a standalone device that is communicatively connected to the device via a USB interface, in accordance with an embodiment of the invention.
2C is a diagram illustrating an exemplary MEMS sensing and processing module located in a stylus, in accordance with an embodiment of the invention.
2D is a diagram illustrating an exemplary MEMS sensing and processing module located in a headset for a soldier, in accordance with an embodiment of the present invention.
2E is a diagram illustrating an exemplary MEMS sensing and processing module located on the headrest of a chair device, in accordance with an embodiment of the present invention.
2F is a diagram illustrating an exemplary MEMS sensing and processing module located in a motor vehicle, in accordance with an embodiment of the present invention.
2G is a diagram illustrating an exemplary MEMS sensing and processing module located in detachable eyeglasses, in accordance with an embodiment of the invention.
2H is a diagram illustrating an exemplary MEMS sensing and processing module located in a neckset, in accordance with an embodiment of the invention.
2I is a diagram illustrating an exemplary MEMS sensing and processing module located in a clip, in accordance with an embodiment of the invention.
2J is a diagram illustrating an exemplary MEMS sensing and processing module embedded in a fabric, in accordance with an embodiment of the invention.
3A is a diagram illustrating an example electronic device that can be controlled via a segmented user interface, in accordance with an embodiment of the invention.
3B is a diagram illustrating some exemplary configurations of a segmented user interface, in accordance with an embodiment of the invention.
3C is a diagram illustrating some exemplary fixed areas of a segmented user interface, in accordance with an embodiment of the invention.
3D is a diagram illustrating some exemplary content regions of a segmented user interface, in accordance with an embodiment of the invention.
3E illustrates interacting with a segmented user interface of an electronic device via breathing and tactile input, according to an embodiment of the invention.
3F illustrates an example segmented user interface that can provide an indication of a sequence of categories and / or icons when scrolling, in accordance with an embodiment of the invention.
3G illustrates interacting with an example segmented user interface via breathing and tactile input, according to an embodiment of the invention.
3H illustrates another example segmented user interface that can provide an indication of a sequence of categories and / or icons when scrolling, in accordance with an embodiment of the invention.
4A illustrates launching an application through a user interface using breathing and tactile input, according to an embodiment of the invention.
4B illustrates an example interaction with an application running on an electronic device, in accordance with an embodiment of the invention.
4C illustrates an example interaction with an application running on an electronic device, in accordance with an embodiment of the invention.
5 is a block diagram of an exemplary user interface interacting with a MEMS sensing and processing module and a host system, in accordance with an embodiment of the invention.
6 is a flowchart illustrating exemplary steps for processing signals that control a device using human breath.
7A is a flowchart illustrating exemplary steps for controlling a user interface of a device using human breath, according to an embodiment of the invention.
7B is a flow chart illustrating exemplary steps for side loading of information, in accordance with an embodiment of the invention.

본 발명의 특정한 양태들은 인간의 숨을 이용하여 디바이스의 사용자 인터페이스를 제어하기 위한 방법 및 시스템에서 발견될 수 있다. 본 발명의 예시적인 양태들은 내장된 MEMS(micro-electro-mechanical system) 감지 및 처리 모듈을 포함하는 디바이스를 포함할 수 있다. MEMS 감지 및 처리 모듈은 사용자에 의한 인간의 숨의 방출(expulsion)에 의해 야기되는 움직임을 검출할 수 있다. 인간의 숨의 방출에 의해 야기되는 움직임의 검출에 응답하여, 하나 이상의 제어 신호들이 생성될 수 있다. 생성된 제어 신호들은 디바이스의 사용자 인터페이스를 제어하기 위해 이용될 수 있고 사용자 인터페이스 내의 컴포넌트들의 탐색 및/또는 선택을 가능하게 할 수 있다. 생성된 하나 이상의 제어 신호들은 외부 메모리 인터페이스, UART(universal asynchronous receiver transmitter) 인터페이스, eSPI(enhanced serial peripheral interface), GPIO(general purpose input/output) 인터페이스, PCM(pulse-code modulation) 및/또는 I2S(inter-IC sound) 인터페이스, I2C(inter-integrated circuit) 버스 인터페이스, USB(universal serial bus) 인터페이스, 블루투스 인터페이스, 지그비 인터페이스, IrDA 인터페이스, 및/또는 W-USB(wireless USB) 인터페이스 중 하나 이상을 통해 피제어 디바이스에 전달될 수 있다. 인간의 숨의 방출은 열린 공간에서 발생할 수 있고 방출에 의해 야기되는 움직임의 검출은 채널의 이용 없이 발생할 수 있다. 사용자 인터페이스의 하나의 예시적인 실시예는 그래픽 사용자 인터페이스(GUI)이다.Certain aspects of the present invention may be found in a method and system for controlling a user interface of a device using human breath. Exemplary aspects of the invention may include a device including an embedded micro-electro-mechanical system (MEMS) sensing and processing module. The MEMS sensing and processing module can detect movement caused by the expulsion of human breath by a user. In response to the detection of movement caused by the release of human breath, one or more control signals may be generated. The generated control signals may be used to control the user interface of the device and may enable navigation and / or selection of components within the user interface. The one or more control signals generated may be external memory interface, universal asynchronous receiver transmitter (UART) interface, enhanced serial peripheral interface (eSPI), general purpose input / output (GPIO) interface, pulse-code modulation (PCM) and / or I 2. Inter-IC sound (S) interface, I 2 C (inter-integrated circuit) bus interface, universal serial bus (USB) interface, Bluetooth interface, Zigbee interface, IrDA interface, and / or W-USB (wireless USB) interface. It may be delivered to the controlled device via one or more. The release of human breath can occur in open spaces and the detection of movement caused by the release can occur without the use of channels. One example embodiment of a user interface is a graphical user interface (GUI).

도 1a는 본 발명의 실시예에 따른, 인간의 숨을 이용하여 복수의 디바이스들의 사용자 인터페이스를 제어하기 위한 예시적인 시스템의 블록도이다. 도 1a를 참조하면, 사용자(102), 및 멀티미디어 디바이스(106a), 셀폰/스마트폰/데이터폰(106b), 퍼스널 컴퓨터(PC), 랩톱 또는 노트북 컴퓨터(106c), 디스플레이 디바이스(106d) 및/또는 텔레비전(TV)/게임 콘솔/기타 플랫폼(106e)과 같은, 복수의 피제어 디바이스들이 도시되어 있다. 멀티미디어 디바이스(106a), 셀폰/스마트폰/데이터폰(106b), 퍼스널 컴퓨터(PC), 랩톱 또는 노트북 컴퓨터(106c), 디스플레이 디바이스(106d) 및/또는 텔레비전(TV)/게임 콘솔/기타 플랫폼(106e)과 같은, 복수의 피제어 디바이스들 각각은 내장된 MEMS(micro-electo-mechanical system) 감지 및 처리 모듈(104)을 포함할 수 있다.1A is a block diagram of an example system for controlling a user interface of a plurality of devices using human breath according to an embodiment of the present invention. Referring to FIG. 1A, a user 102, and a multimedia device 106a, a cell phone / smartphone / data phone 106b, a personal computer (PC), a laptop or notebook computer 106c, a display device 106d, and / Or a plurality of controlled devices, such as a television (TV) / game console / other platform 106e. Multimedia device 106a, cell phone / smartphone / data phone 106b, personal computer (PC), laptop or notebook computer 106c, display device 106d and / or television (TV) / game console / other platform ( Each of the plurality of controlled devices, such as 106e), may include an embedded micro-electo-mechanical system (MEMS) sensing and processing module 104.

멀티미디어 디바이스(106a)는 사용자 인터페이스(107a)를 포함할 수 있고, 셀폰/스마트폰/데이터폰(106b)은 사용자 인터페이스(107b)를 포함할 수 있고, 퍼스널 컴퓨터(PC), 랩톱 또는 노트북 컴퓨터(106c)는 사용자 인터페이스(107c)를 포함할 수 있다. 또한, 디스플레이 디바이스(106d)는 사용자 인터페이스(107d)를 포함할 수 있고 텔레비전(TV)/게임 콘솔/기타 플랫폼(106e)은 사용자 인터페이스(107e)를 포함할 수 있다. 복수의 피제어 디바이스들 각각은, 예를 들면, 피어-투-피어 연결, 및/또는 네트워크 연결을 통한 사이드 로딩, 또는 로딩을 통한, 및 유선 및/또는 무선 통신에 의한 정보의 로딩을 위해, 복수의 다른 디바이스들(108)에 유선으로 또는 무선으로 연결될 수 있다. 예시적인 다른 디바이스들(108)은 게임 콘솔들, 몰입형 또는 3D 현실 디바이스들, 및/또는 텔레매틱(telematic) 디바이스들을 포함할 수 있다. 텔레매틱 디바이스들은 통합된 컴퓨팅, 무선 통신 및/또는 글로벌 내비게이션 위성 시스템 디바이스들을 포함하는 디바이스들을 지칭하는 것으로, 그것은 네트워크들을 통하여 정보의 송신, 수신 및/또는 저장을 가능하게 한다. 사용자 인터페이스는 하나 이상의 입력들, 예를 들면, 공기와 같은 유체의 방출, 버튼 누름과 같은 촉각 입력들, 음성 명령들과 같은 오디오 입력들, 및/또는 가속도계 및/또는 자이로스코프에 의해 검출된 것들과 같은 전자 디바이스(202)의 움직임들에 의해 피제어 디바이스와의 상호 작용을 가능하게 할 수 있다.The multimedia device 106a may include a user interface 107a, and the cell / smartphone / dataphone 106b may include a user interface 107b and may include a personal computer (PC), laptop or notebook computer ( 106c may include a user interface 107c. In addition, the display device 106d may include a user interface 107d and the television (TV) / game console / other platform 106e may include a user interface 107e. Each of the plurality of controlled devices is, for example, for side loading via a peer-to-peer connection, and / or a network connection, or for loading information via wired and / or wireless communication, The plurality of other devices 108 can be wired or wirelessly connected. Other example devices 108 may include game consoles, immersive or 3D reality devices, and / or telematic devices. Telematic devices refer to devices that include integrated computing, wireless communications, and / or global navigation satellite system devices, which enable the transmission, reception, and / or storage of information over networks. The user interface may include one or more inputs, for example, the release of a fluid such as air, tactile inputs such as button presses, audio inputs such as voice commands, and / or those detected by an accelerometer and / or gyroscope. Movements of the electronic device 202 such as may enable interaction with the controlled device.

MEMS 감지 및 처리 모듈(104)은 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는 움직임을 검출하도록 동작 가능할 수 있는 적합한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 인간의 숨의 방출에 의해 야기되는 움직임의 검출에 응답하여, MEMS 감지 및 처리 모듈(104)은 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있다. MEMS 감지 및 처리 모듈(104)은 인간의 숨의 방출에 의해 생성된 운동 에너지를 감지하고 그에 따라서 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있는 하나 이상의 세그먼트들 또는 부재들을 포함할 수 있다. 생성된 하나 이상의 제어 신호들은 멀티미디어 디바이스(106a)의 사용자 인터페이스(107a), 셀폰/스마트폰/데이터폰(106b)의 사용자 인터페이스(107b), PC, 랩톱 또는 노트북 컴퓨터(106c)의 사용자 인터페이스(107c), 디스플레이 디바이스(106d)의 사용자 인터페이스(107d), TV/게임 콘솔/기타 플랫폼(106e)의 사용자 인터페이스(107e), 및 모바일 멀티미디어 플레이어 및/또는 원격 제어기의 사용자 인터페이스들과 같은, 복수의 디바이스들 중 하나 이상의 디바이스의 사용자 인터페이스를 제어하도록 동작 가능할 수 있다. 사용자 인터페이스의 하나의 예시적인 실시예는 그래픽 사용자 인터페이스(GUI)이다. 프로그램들 및/또는 애플리케이션들을 포함하여 디스플레이 상에 제시된 임의의 정보 및/또는 데이터는 사용자 인터페이스의 일부일 수 있다. 2008년 3월 26일에 출원된 미국 출원 일련 번호 12/055,999는 예시적인 MEMS 감지 및 처리 모듈을 개시하고 이로써 그 전체가 참고로 여기에 통합된다.MEMS sensing and processing module 104 may include suitable logic, circuitry, interfaces, and / or code that may be operable to detect movement caused by the release of human breath by user 102. In response to detecting movement caused by the release of human breath, MEMS sensing and processing module 104 may be operable to generate one or more control signals. MEMS sensing and processing module 104 may include one or more segments or members that may be operable to sense kinetic energy generated by the release of human breath and thus generate one or more control signals. The generated one or more control signals are the user interface 107a of the multimedia device 106a, the user interface 107b of the cell phone / smartphone / data phone 106b, the user interface 107c of the PC, laptop or notebook computer 106c. ), A plurality of devices, such as user interface 107d of display device 106d, user interface 107e of TV / game console / other platform 106e, and user interfaces of mobile multimedia player and / or remote controller May be operable to control a user interface of one or more of the devices. One example embodiment of a user interface is a graphical user interface (GUI). Any information and / or data presented on the display, including programs and / or applications, may be part of the user interface. US application serial number 12 / 055,999, filed March 26, 2008, discloses an exemplary MEMS sensing and processing module and is hereby incorporated by reference in its entirety.

본 발명의 실시예에 따르면, 인간의 숨의 방출에 의해 야기되는 움직임의 검출은 채널의 이용 없이 발생할 수 있다. 인간의 숨의 방출에 의해 야기되는 움직임의 검출은 열린 공간으로의 인간의 숨의 방출에 응답할 수 있고, 그것은 그 후 감지된다.According to an embodiment of the invention, the detection of movement caused by the release of human breath may occur without the use of a channel. The detection of movement caused by the release of human breath can respond to the release of human breath into the open space, which is then sensed.

본 발명의 다른 실시예에 따르면, MEMS 감지 및 처리 모듈(104)은 생성된 하나 이상의 제어 신호들을 통해 핸드헬드 디바이스, 예를 들면, 멀티미디어 디바이스(106a), 셀폰/스마트폰/데이터폰(106b), PC, 랩톱 또는 노트북 컴퓨터(106c), 디스플레이 디바이스(106d), 및/또는 TV/게임 콘솔/기타 플랫폼(106e)과 같은 복수의 디바이스들 중 하나 이상의 디바이스의 사용자 인터페이스 내에서 탐색하도록 동작 가능할 수 있다. MEMS 감지 및 처리 모듈(104)은 생성된 하나 이상의 제어 신호들을 통해 복수의 디바이스들의 사용자 인터페이스 내의 하나 이상의 컴포넌트들을 선택하도록 동작 가능할 수 있다. 생성된 하나 이상의 제어 신호들은 유선 및/또는 무선 신호 중 하나 이상의 신호를 포함할 수 있다.According to another embodiment of the present invention, the MEMS sensing and processing module 104 may be configured with a handheld device, eg, a multimedia device 106a, a cell phone / smartphone / data phone 106b, via one or more control signals generated. Can be operable to navigate within the user interface of one or more of a plurality of devices, such as a PC, laptop or notebook computer 106c, display device 106d, and / or TV / game console / other platform 106e. have. The MEMS sensing and processing module 104 may be operable to select one or more components within a user interface of the plurality of devices via the generated one or more control signals. The generated one or more control signals may include one or more of wired and / or wireless signals.

본 발명의 다른 실시예에 따르면, 핸드헬드 디바이스, 예를 들면, 멀티미디어 디바이스(106a) 및/또는 셀폰/스마트폰/데이터폰(106b) 및/또는 PC, 랩톱 또는 노트북 컴퓨터(106c)와 같은 복수의 디바이스들 중 하나 이상의 디바이스는 다른 디바이스(108)로부터 사용자 인터페이스를 정의하는 하나 이상의 입력들을 수신하도록 동작 가능할 수 있다. 다른 디바이스(108)는 PC, 랩톱 또는 노트북 컴퓨터(106c) 및/또는 핸드헬드 디바이스, 예를 들면, 멀티미디어 디바이스(106a) 및/또는 셀폰/스마트폰/데이터폰(106b) 중 하나 이상의 디바이스일 수 있다. 이에 관련하여, 다른 디바이스(108)로부터 셀폰/스마트폰/데이터폰(106b)으로 데이터가 전송될 수 있고 이 데이터는 셀룰러 또는 PCS 서비스 제공자와 같은 서비스 제공자를 통해 셀폰/스마트폰/데이터폰(106b)에 의해 원격으로 액세스될 수 있는 미디어 콘텐트에 관련되거나 매핑될 수 있다. 미디어 콘텐트에 관련되거나 매핑되는 전송된 데이터는 셀폰/스마트폰/데이터폰(106b)의 사용자 인터페이스(107b)를 커스터마이즈(customize)하기 위해 이용될 수 있다. 이에 관련하여, 하나 이상의 수신된 입력들과 관련된 미디어 콘텐트는 피제어 디바이스의 사용자 인터페이스의 필수 부분(integral part)이 될 수 있다. 관련시키는 것 및/또는 매핑시키는 것은 다른 디바이스(108)에서 및/또는 셀폰/스마트폰/데이터폰(106b)에서 수행될 수 있다. 관련시키는 것 및/또는 매핑시키는 것이 다른 디바이스(108)에서 수행되는 경우에, 관련된 및/또는 매핑된 데이터는 다른 디바이스(108)로부터 셀폰/스마트폰/데이터폰(106b)으로 전송될 수 있다.According to another embodiment of the present invention, a plurality of handheld devices, for example, multimedia devices 106a and / or cell / smartphone / dataphones 106b and / or PCs, laptops or notebook computers 106c One or more of the devices of may be operable to receive one or more inputs defining a user interface from another device 108. The other device 108 may be a PC, laptop or notebook computer 106c and / or a handheld device, such as one or more of a multimedia device 106a and / or a cell phone / smartphone / data phone 106b. have. In this regard, data may be transferred from another device 108 to the cell phone / smartphone / data phone 106b and this data may be transmitted through a service provider such as a cellular or PCS service provider 106b. May be related to or mapped to media content that may be accessed remotely). The transmitted data associated with or mapped to the media content can be used to customize the user interface 107b of the cell phone / smart phone / data phone 106b. In this regard, the media content associated with one or more received inputs may be an integral part of the user interface of the controlled device. Association and / or mapping may be performed at other device 108 and / or at cell phone / smartphone / data phone 106b. When associating and / or mapping is performed at another device 108, the associated and / or mapped data may be sent from the other device 108 to the cell phone / smartphone / data phone 106b.

본 발명의 예시적인 실시예에서, 다른 디바이스(108)로부터 셀폰/스마트폰/데이터폰(106b)으로 전송된 아이콘은 셀폰/스마트폰(106b)의 서비스 제공자를 통해 셀폰/스마트폰/데이터폰(106b)에 의해 원격으로 액세스될 수 있는, RSS 피드, HTML 또는 XML과 같은 마크업 언어와 같은 미디어 콘텐트에 관련되거나 매핑될 수 있다. 따라서, 사용자(102)가 MEMS 감지 및 처리 모듈(104)에 불 때, MEMS 감지 및 처리 모듈(104)에 의해 생성된 제어 신호들은 아이콘으로 탐색하고 아이콘을 선택할 수 있다. 일단 아이콘이 선택되면, 셀폰/스마트폰/데이터폰(106b)의 서비스 제공자를 통해 RSS 피드 또는 마크업 언어가 액세스될 수 있고 대응하는 RSS 피드 또는 마크업 언어 콘텐트가 사용자 인터페이스(107b) 상에 디스플레이될 수 있다. 2008년 3월 26일에 출원된 미국 출원 일련 번호 12/056,187은 디바이스의 사용자 인터페이스를 커스터마이즈하기 위한 예시적인 방법 및 시스템을 개시하고 이로써 그 전체가 참고로 여기에 통합된다.In an exemplary embodiment of the present invention, the icon sent from the other device 108 to the cell phone / smartphone / data phone 106b is transferred to the cell phone / smartphone / data phone through the service provider of the cell phone / smartphone 106b. 106 may be associated or mapped to media content, such as a markup language such as RSS feeds, HTML or XML, which can be accessed remotely. Thus, when the user 102 blows into the MEMS sensing and processing module 104, the control signals generated by the MEMS sensing and processing module 104 may navigate with and select an icon. Once the icon is selected, an RSS feed or markup language can be accessed through the service provider of the cell phone / smartphone / data phone 106b and the corresponding RSS feed or markup language content is displayed on the user interface 107b. Can be. US application serial number 12 / 056,187, filed March 26, 2008, discloses an exemplary method and system for customizing a user interface of a device and is hereby incorporated by reference in its entirety.

동작 중에, 사용자(102)는 열린 공간으로 내쉴 수 있고 내쉰 숨 또는 공기는 MEMS 감지 및 처리 모듈(104) 내의 하나 이상의 센서들, 감지 부재들 및/또는 감지 세그먼트들과 같은, 하나 이상의 검출 디바이스들 또는 검출기들에 의해 감지될 수 있다. MEMS 감지 및 처리 모듈(104)은 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는 움직임을 검출하도록 동작 가능할 수 있다. 인간의 숨의 방출에 의해 야기되는 움직임의 검출에 응답하여 MEMS 감지 및 처리 모듈(104) 내의 하나 이상의 검출 디바이스들 또는 검출기들에 의해 하나 이상의 전기, 광학 및/또는 자기 신호들이 생성될 수 있다. MEMS 감지 및 처리 모듈(104) 내의 프로세서 펌웨어는 다양한 알고리즘들을 이용하여 하나 이상의 검출 디바이스(들) 또는 검출기(들)로부터의 수신된 전기, 광학 및/또는 자기 신호들을 처리하고 피제어 디바이스, 예를 들면, 멀티미디어 디바이스(106a)에 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있다. 생성된 하나 이상의 제어 신호들은 유선 및/또는 무선 신호를 통해 피제어 디바이스, 예를 들면, 멀티미디어 디바이스(106a)에 전달될 수 있다. 피제어 디바이스 내의 프로세서는 전달된 제어 신호들을 이용하여 멀티미디어 디바이스(106a)의 사용자 인터페이스(107a), 셀폰/스마트폰/데이터폰(106b)의 사용자 인터페이스(107b), 퍼스널 컴퓨터(PC), 랩톱 또는 노트북 컴퓨터(106c)의 사용자 인터페이스(107c), 디스플레이 디바이스(106d)의 사용자 인터페이스(107d), TV/게임 콘솔/기타 플랫폼(106e)의 사용자 인터페이스(107e), 및 모바일 멀티미디어 플레이어 및/또는 원격 제어기의 사용자 인터페이스와 같은, 피제어 디바이스의 사용자 인터페이스를 제어할 수 있다.In operation, the user 102 may exhale into an open space and exhaled breath or air may be one or more detection devices, such as one or more sensors, sensing members and / or sensing segments in the MEMS sensing and processing module 104. Or by detectors. MEMS sensing and processing module 104 may be operable to detect movement caused by the release of human breath by user 102. One or more electrical, optical and / or magnetic signals may be generated by one or more detection devices or detectors in MEMS sensing and processing module 104 in response to the detection of movement caused by the release of human breath. The processor firmware in MEMS sensing and processing module 104 uses various algorithms to process received electrical, optical and / or magnetic signals from one or more detection device (s) or detector (s) and to control the controlled device, e. For example, the multimedia device 106a may be operable to generate one or more control signals. The generated one or more control signals may be communicated to the controlled device, eg, the multimedia device 106a via wired and / or wireless signals. The processor in the controlled device uses the transmitted control signals to transmit the user interface 107a of the multimedia device 106a, the user interface 107b of the cell phone / smartphone / dataphone 106b, a personal computer (PC), a laptop or the like. User interface 107c of notebook computer 106c, user interface 107d of display device 106d, user interface 107e of TV / game console / other platform 106e, and mobile multimedia player and / or remote controller It is possible to control the user interface of the controlled device, such as the user interface of.

도 1b는 본 발명의 실시예에 따른, 인간의 숨을 검출하는 예시적인 검출 디바이스 또는 검출기의 블록도이다. 도 1b를 참조하면, 사용자(102) 및 감지 모듈(110)이 도시되어 있다. 감지 모듈(110)은 센서 제어 칩(109) 및 복수의 센서들(예를 들면, 111a, 111b, 111c, 및 111d)을 포함할 수 있다. 그럼에도 불구하고, 본 발명은 그렇게 제한되지 않을 수 있고 감지 모듈(110)은 본 발명의 범위를 제한하지 않고 도 1b에 도시된 센서들 또는 감지 부재들 또는 세그먼트들의 수보다 더 많이 또는 더 적게 포함할 수 있다. 따라서, 원하는 사이즈, 감도, 및 원하는 해상도에 따라서 임의의 수의 검출기들 및 소스들이 이용될 수 있다. 유사하게, 소스들 및 검출기들의 유형은 가시광 이외에 다른 감지 메커니즘들을 포함할 수 있다. 예를 들면, 센서 제어 칩(109)에 전달될 신호를 생성하기 위해 편향된 MEMS 부재들에 의해 압전기, 초음파, 홀 효과, 정전기, 및/또는 영구 또는 전자석 센서들이 활성화될 수 있다.1B is a block diagram of an exemplary detection device or detector for detecting human breath, in accordance with an embodiment of the present invention. Referring to FIG. 1B, the user 102 and the sensing module 110 are shown. The sensing module 110 may include a sensor control chip 109 and a plurality of sensors (eg, 111a, 111b, 111c, and 111d). Nevertheless, the invention may not be so limited and the sensing module 110 may include more or less than the number of sensors or sensing members or segments shown in FIG. 1B without limiting the scope of the invention. Can be. Thus, any number of detectors and sources can be used depending on the desired size, sensitivity, and desired resolution. Similarly, the type of sources and detectors may include other sensing mechanisms in addition to visible light. For example, piezoelectric, ultrasonic, hall effect, electrostatic, and / or permanent or electromagnet sensors may be activated by the deflected MEMS members to produce a signal to be transmitted to the sensor control chip 109.

감지 모듈(110)은, 예를 들면, 전기 화학 센서 또는 임의의 다른 유형의 숨 분석 센서일 수 있다. 복수의 센서들 또는 감지 부재들 또는 세그먼트들(111a-d)은 사용자(102)의 숨으로부터의 공기 흐름의 다양한 속도들의 검출을 가능하게 할 수 있는 하나 이상의 MEMS 디바이스들의 필수 부분일 수 있다. 복수의 센서들 또는 감지 부재들 또는 세그먼트들(111a-d)은 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는 운동 에너지 및/또는 움직임을 검출하도록 동작 가능할 수 있다. 센서 제어 칩(109)은 인간의 숨의 방출에 의해 야기되는 운동 에너지 및/또는 움직임의 검출에 응답하여 프로세서에 전달될 수 있는 전기, 광학 및/또는 자기 신호를 생성하도록 동작 가능할 수 있다.The sensing module 110 may be, for example, an electrochemical sensor or any other type of breath analysis sensor. The plurality of sensors or sensing members or segments 111a-d may be an integral part of one or more MEMS devices that may enable detection of various velocities of air flow from the breath of the user 102. The plurality of sensors or sensing members or segments 111a-d may be operable to detect kinetic energy and / or movement caused by the release of human breath by the user 102. The sensor control chip 109 may be operable to generate electrical, optical and / or magnetic signals that may be delivered to the processor in response to the detection of kinetic energy and / or movement caused by the release of human breath.

도 1c는 본 발명의 실시예에 따른, 인간의 숨을 이용하여 디바이스의 사용자 인터페이스를 제어하기 위한 예시적인 시스템의 다른 실시예의 블록도이다. 도 1c를 참조하면, 사용자(102), 및 멀티미디어 디바이스(106a), 셀폰/스마트폰/데이터폰(106b), PC, 랩톱 또는 노트북 컴퓨터(106c), 디스플레이 디바이스(106d) 및/또는 TV/게임 콘솔/기타 플랫폼(106e)과 같은 피제어 디바이스(106)가 도시되어 있다. 피제어 디바이스(106)는 정보의 사이드 로딩을 위해 복수의 다른 디바이스들(108)에 유선 및/또는 무선 연결될 수 있다. 피제어 디바이스(106)는 MEMS 감지 및 처리 모듈(104) 및 사용자 인터페이스(107)를 포함할 수 있다.1C is a block diagram of another embodiment of an exemplary system for controlling a user interface of a device using human breath, according to an embodiment of the present invention. Referring to FIG. 1C, the user 102, and the multimedia device 106a, the cell phone / smartphone / data phone 106b, the PC, laptop or notebook computer 106c, the display device 106d and / or the TV / game Shown is a controlled device 106, such as a console / other platform 106e. The controlled device 106 can be wired and / or wirelessly connected to the plurality of other devices 108 for side loading of information. The controlled device 106 can include a MEMS sensing and processing module 104 and a user interface 107.

MEMS 감지 및 처리 모듈(104)은 감지 모듈(110), 처리 모듈(112) 및 수동 디바이스들(113)을 포함할 수 있다. 저항기, 커패시터 및/또는 인덕터를 포함할 수 있는, 수동 디바이스들(113)은 MEMS 처리 감지 및 처리 모듈(104)의 기판 재료 내에 내장될 수 있다. 처리 모듈(112)은, 예를 들면, ASIC을 포함할 수 있다. 감지 모듈(110)은 일반적으로 검출 디바이스 또는 검출기로 지칭될 수 있고, 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는 운동 에너지 및/또는 움직임을 검출하도록 동작 가능할 수 있는 하나 이상의 센서들, 감지 부재들 및/또는 감지 세그먼트들을 포함할 수 있다. 감지 모듈(110)은 인간의 숨의 방출에 의해 야기되는 운동 에너지 및/또는 움직임의 검출에 응답하여 처리 모듈(112)에 전달될 수 있는 전기, 광학 및/또는 자기 신호를 생성하도록 동작 가능할 수 있다.MEMS sensing and processing module 104 may include sensing module 110, processing module 112, and passive devices 113. Passive devices 113, which may include resistors, capacitors, and / or inductors, may be embedded within the substrate material of MEMS process sensing and processing module 104. Processing module 112 may include, for example, an ASIC. The sensing module 110 may generally be referred to as a detection device or detector and may be operable to detect kinetic energy and / or movement caused by the release of human breath by the user 102. , Sensing members and / or sensing segments. The sensing module 110 may be operable to generate electrical, optical and / or magnetic signals that may be transmitted to the processing module 112 in response to the detection of kinetic energy and / or movement caused by the release of human breath. have.

처리 모듈(112)은 감지 모듈(110)로부터 생성된 전기 신호를 수신하고 피제어 디바이스(106)에 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있는 적합한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 이에 관련하여, 처리 모듈(112)은 감지된 신호를 하나 이상의 제어 신호들을 생성하기 위해 이용될 수 있는 하나 이상의 디지털 신호들로 변환하도록 동작 가능할 수 있는 하나 이상의 아날로그/디지털 컨버터들을 포함할 수 있다. 생성된 하나 이상의 제어 신호들은 피제어 디바이스(106)의 사용자 인터페이스(107)를 제어하도록 동작 가능할 수 있다.Processing module 112 receives suitable electrical signals generated from sensing module 110 and generates suitable logic, circuitry, interfaces, and / or code that may be operable to generate one or more control signals to controlled device 106. It may include. In this regard, the processing module 112 may include one or more analog / digital converters that may be operable to convert the sensed signal into one or more digital signals that may be used to generate one or more control signals. The generated one or more control signals may be operable to control the user interface 107 of the controlled device 106.

따라서, MEMS 감지 및 처리 모듈(104)로부터의 생성된 하나 이상의 신호들은 사용자 인터페이스(107)를 제어하기 위해 이용될 수 있다. 본 발명의 예시적인 실시예에서, MEMS 감지 및 처리 모듈(104)에 의해 생성된 하나 이상의 신호들은 사용자 인터페이스(107) 내의 항목들이 선택되고 및/또는 조작될 수 있도록 피제어 디바이스(106) 상의 포인터를 제어하도록 동작 가능할 수 있다. 본 발명의 예시적인 실시예에서, 피제어 디바이스는 사용자 인터페이스(107)를 커스터마이즈하거나 정의하기 위해 이용될 수 있는 하나 이상의 입력들을 다른 디바이스들(108)로부터 수신하도록 동작 가능할 수 있다. 다른 디바이스(108)는 PC, 랩톱 또는 노트북 컴퓨터(106c) 및/또는 핸드헬드 디바이스, 예를 들면, 멀티미디어 디바이스(106a) 및/또는 셀폰/스마트폰/데이터폰(106b) 중 하나 이상일 수 있다. 이에 관련하여, 다른 디바이스(108)는 피제어 디바이스(106)의 유형과 유사하거나 상이할 수 있다. 본 발명의 일부 실시예들에서, 다른 디바이스(108) 내의 프로세서는 피제어 디바이스(106)에 의해 원격으로 액세스 가능한 미디어 콘텐트에 데이터를 관련시키거나 매핑하도록 동작 가능할 수 있다. 본 발명의 다른 실시예들에서, 피제어 디바이스(106) 내의 프로세서는 피제어 디바이스(106)에 의해 원격으로 액세스 가능한 미디어 콘텐트에 데이터를 관련시키거나 매핑하도록 동작 가능할 수 있다. 2008년 3월 26일에 출원된 미국 출원 일련 번호 12/056,187은 디바이스의 사용자 인터페이스를 커스터마이즈하기 위한 예시적인 방법 및 시스템을 개시하고 있고 이로써 그 전체가 참고로 여기에 통합된다.Thus, one or more signals generated from MEMS sensing and processing module 104 may be used to control user interface 107. In an exemplary embodiment of the present invention, one or more signals generated by the MEMS sensing and processing module 104 are pointers on the controlled device 106 such that items in the user interface 107 can be selected and / or manipulated. It may be operable to control. In an exemplary embodiment of the invention, the controlled device may be operable to receive one or more inputs from other devices 108 that may be used to customize or define the user interface 107. The other device 108 may be one or more of a PC, laptop or notebook computer 106c and / or handheld device, such as a multimedia device 106a and / or a cell phone / smartphone / data phone 106b. In this regard, the other device 108 may be similar or different from the type of the controlled device 106. In some embodiments of the invention, a processor in another device 108 may be operable to associate or map data to media content that is remotely accessible by the controlled device 106. In other embodiments of the invention, the processor in controlled device 106 may be operable to associate or map data to media content that is remotely accessible by controlled device 106. US application serial number 12 / 056,187, filed March 26, 2008, discloses an exemplary method and system for customizing the user interface of a device, which is hereby incorporated by reference in its entirety.

도 1d는 본 발명의 실시예에 따른, 피제어 디바이스와 상호 작용하는 예시적인 프로세서의 블록도이다. 도 1d를 참조하면, 멀티미디어 디바이스(106a), 셀폰/스마트폰/데이터폰(106b), PC, 랩톱 또는 노트북 컴퓨터(106c), 디스플레이 디바이스(106d) 및/또는 TV/게임 콘솔/기타 플랫폼(106e)과 같은 피제어 디바이스(106)가 도시되어 있다. 피제어 디바이스(106)는 처리 모듈(112), 통신 모듈(120), 프로세서(122), 메모리(123), 펌웨어(124), 디스플레이(126), 및 사용자 인터페이스(128)를 포함할 수 있다. 처리 모듈(112)은 ASIC일 수 있고 하나 이상의 아날로그/디지털 컨버터들(ADC들)(114), 프로세서 펌웨어(116), 및 통신 모듈(118)을 포함할 수 있다. 피제어 디바이스(106)는, 예를 들면, 피어-투-피어 연결, 및/또는 네트워크 연결을 통한, 및 유선 및/또는 무선 통신에 의한 사이드 로딩, 또는 로딩을 통한 정보의 로딩을 위해 복수의 다른 디바이스들(108)에 유선 및/또는 무선 연결될 수 있다.1D is a block diagram of an exemplary processor interacting with a controlled device, in accordance with an embodiment of the invention. Referring to FIG. 1D, a multimedia device 106a, a cell phone / smartphone / data phone 106b, a PC, laptop or notebook computer 106c, a display device 106d and / or a TV / game console / other platform 106e. Controlled device 106 is shown. The controlled device 106 can include a processing module 112, a communication module 120, a processor 122, a memory 123, a firmware 124, a display 126, and a user interface 128. . Processing module 112 may be an ASIC and may include one or more analog / digital converters (ADCs) 114, processor firmware 116, and communication module 118. The controlled device 106 can be configured with a plurality of devices, for example, via a peer-to-peer connection, and / or a network connection, and for side loading by wired and / or wireless communication, or loading information via loading. Wired and / or wireless connections may be made to other devices 108.

처리 모듈(112)은 감지 모듈(110)로부터 디지털 감지 신호 및/또는 아날로그 감지 신호를 수신하도록 동작 가능할 수 있는 적합한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. ADC(114)는 감지 모듈(110)로부터 생성된 아날로그 감지 신호를 수신하고 수신된 신호를 디지털 신호로 변환하도록 동작 가능할 수 있는 적합한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다.Processing module 112 may include suitable logic, circuitry, interfaces, and / or code that may be operable to receive digital sense signals and / or analog sense signals from sense module 110. ADC 114 may include suitable logic, circuitry, interfaces, and / or code that may be operable to receive an analog sense signal generated from sense module 110 and convert the received signal into a digital signal.

프로세서 펌웨어(116)는 ADC(114)로부터의 디지털 신호 및/또는 감지 모듈(110)로부터의 디지털 감지 신호를 수신하고 복수의 알고리즘들을 이용하여 처리하여 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있는 적합한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 예를 들면, 프로세서 펌웨어(116)는 감지 모듈(110)의 출력들을 판독하고, 저장하고, 조정하고, 필터링하고, 모델화하고, 계산하고 및/또는 비교하도록 동작 가능할 수 있다. 프로세서 펌웨어(116)는 또한 특정한 사용자(102)의 호흡 패턴에 적응하기 위해 인공 지능(AI) 알고리즘들을 통합하도록 동작 가능할 수 있다. 프로세서 펌웨어(116)는 수신된 디지털 신호들을 처리하는 것에 기초하여 피제어 디바이스(106)에 대한 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있다. 생성된 하나 이상의 제어 신호들은 피제어 디바이스(106)의 사용자 인터페이스를 제어하도록, 예를 들면, 피제어 디바이스(106) 내에서 스크롤링, 주밍, 및/또는 3-D 탐색하도록 동작 가능할 수 있다.Processor firmware 116 may be operable to receive a digital signal from ADC 114 and / or a digital sense signal from sense module 110 and process it using a plurality of algorithms to generate one or more control signals. Logic, circuitry, interfaces, and / or code. For example, processor firmware 116 may be operable to read, store, adjust, filter, model, calculate, and / or compare the outputs of sense module 110. Processor firmware 116 may also be operable to integrate artificial intelligence (AI) algorithms to adapt to the breathing pattern of a particular user 102. Processor firmware 116 may be operable to generate one or more control signals for controlled device 106 based on processing the received digital signals. The generated one or more control signals may be operable to control the user interface of the controlled device 106, eg, to scroll, zoom, and / or 3-D navigate within the controlled device 106.

통신 모듈(118)은 생성된 하나 이상의 제어 신호들을 수신하고 통신 모듈(120)에 전달하도록 동작 가능할 수 있는 적합한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 통신 모듈들(118 및 120)은 복수의 인터페이스들을 지원할 수 있다. 예를 들면, 통신 모듈들(118 및 120)은 외부 메모리 인터페이스, UART(universal asynchronous receiver transmitter) 인터페이스, eSPI(enhanced serial peripheral interface), GPIO(general purpose input/output) 인터페이스, PCM(pulse-code modulation) 및/또는 I2S(inter-IC sound) 인터페이스, I2C(inter-integrated circuit) 버스 인터페이스, USB(universal serial bus) 인터페이스, 블루투스 인터페이스, 지그비 인터페이스, IrDA 인터페이스, 및/또는 W-USB(wireless USB) 인터페이스를 지원할 수 있다.The communication module 118 may include suitable logic, circuitry, interfaces, and / or code that may be operable to receive and transmit the generated one or more control signals to the communication module 120. Communication modules 118 and 120 may support a plurality of interfaces. For example, communication modules 118 and 120 may include an external memory interface, a universal asynchronous receiver transmitter (UART) interface, an enhanced serial peripheral interface (eSPI), a general purpose input / output (GPIO) interface, and pulse-code modulation. ) And / or I 2 S (inter-IC sound) interface, I 2 C (inter-integrated circuit) bus interface, universal serial bus (USB) interface, Bluetooth interface, Zigbee interface, IrDA interface, and / or W-USB (wireless USB) interface can be supported.

통신 모듈(120)은 전달된 제어 신호들을 유선 및/또는 무선 신호를 통해 수신하도록 동작 가능할 수 있다. 프로세서(122)는 수신된 하나 이상의 제어 신호들을 이용하여 사용자 인터페이스(128) 및/또는 디스플레이(126)를 제어하도록 동작 가능할 수 있는 적합한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 메모리는 피제어 디바이스(106)에 데이터를 저장하도록 동작 가능할 수 있는 적합한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 펌웨어(124)는 수신된 제어 신호들을 기능 명령들로 변환하는 복수의 드라이브들 및 운영 체제(OS) 라이브러리들을 포함할 수 있다. 펌웨어(124)는 로컬 기능들을 매핑하고, 수신된 제어 신호들을 사용자 커스터마이제이션 특징들, 애플릿들, 및/또는 플러그인들과 같은 호환되는 데이터로 변환하여 사용자 인터페이스(128)를 제어하도록 동작 가능할 수 있다.The communication module 120 may be operable to receive the transmitted control signals via wired and / or wireless signals. Processor 122 may include suitable logic, circuitry, interfaces, and / or code that may be operable to control user interface 128 and / or display 126 using one or more control signals received. . The memory may include suitable logic, circuitry, interfaces, and / or code that may be operable to store data in the controlled device 106. The firmware 124 may include a plurality of drives and operating system (OS) libraries that convert the received control signals into function instructions. The firmware 124 may be operable to control the user interface 128 by mapping local functions and converting received control signals into compatible data such as user customization features, applets, and / or plug-ins.

피제어 디바이스(106)는 다른 디바이스(108)로부터 사용자 인터페이스(128)를 정의하는 하나 이상의 입력들을 수신하도록 동작 가능할 수 있다. 다른 디바이스(108)는 사용자 인터페이스(129) 및 프로세서(125)를 포함할 수 있다. 다른 디바이스(108)는 PC, 랩톱 또는 노트북 컴퓨터(106c) 및/또는 핸드헬드 디바이스, 예를 들면, 멀티미디어 디바이스(106a) 및/또는 셀폰/스마트폰/데이터폰(106b) 중 하나 이상일 수 있다. 이에 관련하여, 다른 디바이스(108)로부터 셀폰/스마트폰/데이터폰(106b)과 같은 피제어 디바이스로 데이터가 전송될 수 있고 이 데이터는 셀룰러 또는 PCS 서비스 제공자와 같은 서비스 제공자를 통해 셀폰/스마트폰/데이터폰(106b)에 의해 원격으로 액세스될 수 있는 미디어 콘텐트에 관련되거나 매핑될 수 있다. 미디어 콘텐트에 관련되거나 매핑되는 전송된 데이터는 셀폰/스마트폰/데이터폰(106b)과 같은 피제어 디바이스의 사용자 인터페이스(128)를 커스터마이즈하기 위해 이용될 수 있다. 이에 관련하여, 하나 이상의 수신된 입력들과 관련된 미디어 콘텐트는 피제어 디바이스(106)의 사용자 인터페이스(128)의 필수 부분이 될 수 있다.The controlled device 106 can be operable to receive one or more inputs that define the user interface 128 from another device 108. The other device 108 can include a user interface 129 and a processor 125. The other device 108 may be one or more of a PC, laptop or notebook computer 106c and / or handheld device, such as a multimedia device 106a and / or a cell phone / smartphone / data phone 106b. In this regard, data may be transferred from another device 108 to a controlled device, such as a cell phone / smartphone / data phone 106b, which data may be transferred through a service provider such as a cellular or PCS service provider. / May be related to or mapped to media content that can be accessed remotely by the dataphone 106b. The transmitted data associated with or mapped to the media content may be used to customize the user interface 128 of the controlled device, such as cell phone / smart phone / data phone 106b. In this regard, media content associated with one or more received inputs may be an integral part of the user interface 128 of the controlled device 106.

본 발명의 일부 실시예들에서, 다른 디바이스(108) 내의 프로세서(125)는 피제어 디바이스(106)에 의해 원격으로 액세스 가능한 미디어 콘텐트에 데이터를 관련시키거나 매핑하도록 동작 가능할 수 있다. 본 발명의 다른 실시예들에서, 피제어 디바이스(106) 내의 프로세서(122)는 피제어 디바이스(106)에 의해 원격으로 액세스 가능한 미디어 콘텐트에 데이터를 관련시키거나 매핑하도록 동작 가능할 수 있다.In some embodiments of the present invention, processor 125 in another device 108 may be operable to associate or map data to media content that is remotely accessible by controlled device 106. In other embodiments of the present invention, processor 122 in controlled device 106 may be operable to associate or map data to media content that is remotely accessible by controlled device 106.

도 1e는 본 발명의 실시예에 따른, 둘 이상의 디바이스들 사이의 정보의 사이드 로딩을 위한 예시적인 시스템의 블록도이다. 도 1e를 참조하면, 캐리어 네트워크(124), 복수의 모바일 폰(130a, 130b, 130c, 및 130d)과 같은 복수의 피제어 디바이스(106), 인터넷과 같은 네트워크(134)에 연결된 PC, 랩톱 또는 노트북 컴퓨터(132)가 도시되어 있다. 네트워크(134)는 웹 서버(136), 무선 캐리어 포털(138), 웹 포털(140) 및/또는 데이터베이스(142)에 연결될 수 있다. 복수의 피제어 디바이스들(106) 각각은 사용자 인터페이스를 가질 수 있다. 예를 들면, 모바일 폰(130a)은 사용자 인터페이스(131a)를 가질 수 있고, 모바일 폰(130b)은 사용자 인터페이스(131b)를 가질 수 있고, 모바일 폰(130c)은 사용자 인터페이스(131c)를 가질 수 있고, 모바일 폰(130d)은 사용자 인터페이스(131d)를 가질 수 있다. PC, 랩톱 또는 노트북 컴퓨터(132)는 사용자 인터페이스(133)를 가질 수 있다.1E is a block diagram of an example system for side loading of information between two or more devices, in accordance with an embodiment of the invention. Referring to FIG. 1E, a carrier network 124, a plurality of controlled devices 106, such as a plurality of mobile phones 130a, 130b, 130c, and 130d, a PC connected to a network 134, such as the Internet, or a laptop; Notebook computer 132 is shown. The network 134 may be connected to the web server 136, the wireless carrier portal 138, the web portal 140, and / or the database 142. Each of the plurality of controlled devices 106 may have a user interface. For example, mobile phone 130a may have user interface 131a, mobile phone 130b may have user interface 131b, and mobile phone 130c may have user interface 131c. Mobile phone 130d may have a user interface 131d. PC, laptop or notebook computer 132 may have a user interface 133.

캐리어 네트워크(124)는 무선 액세스 캐리어 네트워크일 수 있다. 예시적인 캐리어 네트워크들은 2G, 2.5G, 3G, 4G, IEEE802.11, IEEE802.16 및/또는 음성, 비디오 및/또는 데이터 통신을 다룰 수 있는 적합한 네트워크를 포함할 수 있다. 복수의 피제어 디바이스들(106)은 캐리어 네트워크(124)에 무선 연결될 수 있다. 모바일 폰(130a)과 같은, 피제어 디바이스들 중 하나는 예를 들면 피어-투-피어(P2P) 네트워크를 통해 복수의 모바일 폰들(130b, 130c 및 130d)에 연결될 수 있다. 모바일 폰(130a)과 같은 피제어 디바이스는 유선 또는 무선 네트워크를 통해 PC, 랩톱, 또는 노트북 컴퓨터(132)에 통신 연결될 수 있다. 예를 들면, 모바일 폰(130a)은 IR(infrared) 링크, 광학 링크, USB 링크, 무선 USB, 블루투스 링크 및/또는 지그비 링크를 통해 PC, 랩톱, 또는 노트북 컴퓨터(132)에 통신 연결될 수 있다. 그럼에도 불구하고, 본 발명은 그렇게 제한되지 않을 수 있고 본 발명의 범위를 제한하지 않고 다른 유선 및/또는 무선 링크들이 이용될 수 있다. PC, 랩톱, 또는 노트북 컴퓨터(132)는 유선 또는 무선 네트워크를 통해 예를 들면 인터넷 네트워크(134)와 같은 네트워크(134)에 통신 연결될 수 있다. 복수의 모바일 폰(130a, 130b, 130c, 및 130d)과 같은 복수의 피제어 디바이스는 인터넷 네트워크(134)에 무선 연결될 수 있다.Carrier network 124 may be a radio access carrier network. Exemplary carrier networks can include 2G, 2.5G, 3G, 4G, IEEE802.11, IEEE802.16 and / or suitable networks capable of handling voice, video and / or data communications. The plurality of controlled devices 106 may be wirelessly connected to the carrier network 124. One of the controlled devices, such as mobile phone 130a, may be connected to the plurality of mobile phones 130b, 130c and 130d, for example, via a peer-to-peer (P2P) network. A controlled device, such as mobile phone 130a, may be communicatively connected to a PC, laptop, or notebook computer 132 via a wired or wireless network. For example, mobile phone 130a may be communicatively connected to a PC, laptop, or notebook computer 132 via an IR (infrared) link, optical link, USB link, wireless USB, Bluetooth link, and / or Zigbee link. Nevertheless, the present invention may not be so limited and other wired and / or wireless links may be used without limiting the scope of the present invention. PC, laptop, or notebook computer 132 may be communicatively connected to a network 134 such as, for example, the Internet network 134 via a wired or wireless network. A plurality of controlled devices, such as a plurality of mobile phones 130a, 130b, 130c, and 130d, may be wirelessly connected to the internet network 134.

웹 서버(136)는 인터넷 네트워크(134)를 통해 PC, 랩톱, 또는 노트북 컴퓨터(132) 상에 설치된 클라이언트들 또는 웹 브라우저들로부터 예를 들면 HTTP 및/또는 FTP 요청들을 수신하고, 예를 들면 HTML 문서들 및 링크된 오브젝트들과 같은 옵션의 데이터 콘텐츠와 함께 HTTP 응답을 생성하도록 동작 가능할 수 있는 적합한 로직, 회로, 및/또는 코드를 포함할 수 있다.The web server 136 receives, for example, HTTP and / or FTP requests from clients or web browsers installed on the PC, laptop, or notebook computer 132 via the Internet network 134, for example HTML It may include suitable logic, circuitry, and / or code that may be operable to generate an HTTP response with optional data content such as documents and linked objects.

무선 캐리어 포털(138)은 예를 들면 모바일 폰(130a)과 같은 모바일 디바이스를 통해 인터넷 네트워크(134) 상의 정보에의 액세스 포인트로서 기능하도록 동작 가능할 수 있는 적합한 로직 및/또는 코드를 포함할 수 있다. 예를 들면 무선 캐리어 포털(138)은 예를 들면 모바일 웹 페이지를 통해 단일 기능을 제공하도록 동작 가능할 수 있는 웹사이트일 수 있다.The wireless carrier portal 138 may include suitable logic and / or code that may be operable to function as an access point to information on the internet network 134 via a mobile device such as mobile phone 130a, for example. . For example, the wireless carrier portal 138 may be a website that may be operable to provide a single function, for example, via a mobile web page.

웹 포털(140)은 인터넷(134) 상의 정보에의 액세스 포인트로서 기능하도록 동작 가능할 수 있는 적합한 로직 및/또는 코드를 포함할 수 있다. 웹 포털(140)은 예를 들면 웹 페이지 또는 사이트를 통해 단일 기능을 제공하도록 동작 가능할 수 있는 사이트일 수 있다. 웹 포털(140)은 이메일, 뉴스, 주식 가격, 인포테인먼트 및 다양한 다른 특징들과 같은 다양한 소스들로부터의 정보를 통합된 방식으로 제공할 수 있다. 데이터베이스(142)는 예를 들면 레코드들 또는 데이터의 구조화된 컬렉션을 저장하도록 동작 가능할 수 있는 적합한 로직, 회로, 및/또는 코드를 포함할 수 있다. 데이터베이스(142)는 소프트웨어를 이용하여 데이터의 저장을 조직하도록 동작 가능할 수 있다.Web portal 140 may include suitable logic and / or code that may be operable to function as an access point to information on the Internet 134. Web portal 140 may be a site that may be operable to provide a single function, for example, via a web page or site. Web portal 140 may provide information from various sources, such as email, news, stock prices, infotainment, and various other features in an integrated manner. Database 142 may include suitable logic, circuitry, and / or code that may be operable to store, for example, a structured collection of records or data. Database 142 may be operable to organize storage of data using software.

본 발명의 실시예에 따르면, 모바일 폰(130a)과 같은 피제어 디바이스는 PC, 랩톱, 또는 노트북 컴퓨터(132)와 같은 다른 디바이스로부터 사용자 인터페이스(128)를 정의하는 하나 이상의 입력들을 수신하도록 동작 가능할 수 있다. 피제어 디바이스(106) 내의 하나 이상의 프로세서들(122)은 하나 이상의 수신된 입력들과 관련된 콘텐트가 모바일 폰(130a)과 같은 피제어 디바이스의 사용자 인터페이스(128)의 필수 부분이 될 수 있도록 모바일 폰(130a)과 같은 피제어 디바이스의 사용자 인터페이스(128)를 커스터마이즈하도록 동작 가능할 수 있다. 모바일 폰(130a)은 캐리어 네트워크(124)로부터보다는 PC, 랩톱, 또는 노트북 컴퓨터(132)로부터 직접 콘텐트에 액세스하도록 동작 가능할 수 있다. 캐리어 네트워크(124)로부터보다는 PC, 랩톱, 또는 노트북 컴퓨터(132)로부터 직접 커스터마이즈된 정보를 업로드하고 및/또는 다운로드하는 이 방법은 사이드 로딩으로 지칭될 수 있다.According to an embodiment of the present invention, a controlled device, such as mobile phone 130a, may be operable to receive one or more inputs defining user interface 128 from another device, such as PC, laptop, or notebook computer 132. Can be. The one or more processors 122 in the controlled device 106 may allow the content associated with one or more received inputs to become an integral part of the user interface 128 of the controlled device, such as the mobile phone 130a. It may be operable to customize the user interface 128 of the controlled device, such as 130a. Mobile phone 130a may be operable to access content directly from PC, laptop, or notebook computer 132 rather than from carrier network 124. This method of uploading and / or downloading customized information directly from the PC, laptop, or notebook computer 132 rather than from the carrier network 124 may be referred to as side loading.

본 발명의 일 실시예에 따르면, 사용자 인터페이스(128)는 사용자(102)에 의해 생성되고, 수정되고 및/또는 조직될 수 있다. 이에 관련하여, 사용자(102)는 사용자 인터페이스(128) 및/또는 하나 이상의 콘텐트 컴포넌트들을 위해 이용되도록 콘텐트를 고르고, 선택하고, 생성하고, 배열하고, 조작하고 및/또는 조직할 수 있다. 예를 들면, 사용자(102)는 스크린 상의 콘텐트 컴포넌트들을 조직할 수 있고 배경 및/또는 아이콘 이미지들에 대한 개인 사진들과 같은 콘텐트를 고를 수 있다. 또한, 사용자(102)는 콘텐트 컴포넌트들이 활성화되거나 사용자(102)에게 제공되는 방법을 생성하고 및/또는 수정할 수 있다. 예를 들면, 사용자(102)는 사용자 인터페이스(128)를 위한 아이콘들 및/또는 배경들을 만들고, 가져오고(import) 및/또는 편집할 수 있다. 따라서, 사용자(102)는 사용자(102)가 아이콘을 통해 기능을 가능하게 하거나 활성화할 수 있도록 기능에 아이콘을 관련시키고 및/또는 매핑할 수 있다. 예시적인 아이콘들은 하이퍼-링크들, 북 마크들, 프로그램들/애플리케이션들, 단축 아이콘들(shortcuts), 위젯들, RSS 또는 마크업 언어 피드들 또는 정보, 및/또는 페이버릿 버디즈(favorite buddies)와 같은 기능들을 가능하게 할 수 있다.According to one embodiment of the invention, the user interface 128 may be created, modified and / or organized by the user 102. In this regard, user 102 may select, select, create, arrange, manipulate, and / or organize content for use for user interface 128 and / or one or more content components. For example, user 102 may organize content components on the screen and may select content such as personal photos for background and / or icon images. In addition, user 102 may create and / or modify how content components are activated or presented to user 102. For example, user 102 can create, import, and / or edit icons and / or backgrounds for user interface 128. Thus, user 102 may associate and / or map an icon to a function such that user 102 may enable or activate the function via the icon. Example icons include hyper-links, book marks, programs / applications, shortcuts, widgets, RSS or markup language feeds or information, and / or favorite buddies. You can enable features like

또한, 사용자(102)는 사용자 인터페이스(128) 내의 콘텐트 컴포넌트들을 조직하고 및/또는 배열할 수 있다. 예를 들면, 아이콘들은 카테고리에 의해 그룹들로 조직될 수 있다. 콘텐트 컴포넌트들과 같은 아이콘들의 그룹들은 예를 들면 어피니티 뱅크들(affinity banks)로 지칭될 수 있다. 본 발명의 일부 실시예들에서, 다른 디바이스(108) 내의 프로세서(125)는 피제어 디바이스(106)에 의해 원격으로 액세스 가능할 수 있는 미디어 콘텐트에 데이터를 관련시키거나 매핑하도록 동작 가능할 수 있다. 본 발명의 다른 실시예들에서, 피제어 디바이스(106) 내의 프로세서(122)는 피제어 디바이스(106)에 의해 원격으로 액세스 가능할 수 있는 미디어 콘텐트에 데이터를 관련시키거나 매핑하도록 동작 가능할 수 있다. 예를 들면, 프로세서(122)는 사용자(102)가 아이콘을 통해 기능을 가능하게 하거나 활성화할 수 있고 사용자 인터페이스(128) 내의 콘텐트 컴포넌트들을 조직하고 및/또는 배열할 수 있도록 기능에 아이콘을 관련시키고 및/또는 매핑하도록 동작 가능할 수 있다.In addition, user 102 may organize and / or arrange content components within user interface 128. For example, icons can be organized into groups by category. Groups of icons, such as content components, may be referred to as affinity banks, for example. In some embodiments of the invention, the processor 125 in another device 108 may be operable to associate or map data to media content that may be remotely accessible by the controlled device 106. In other embodiments of the present invention, processor 122 within controlled device 106 may be operable to associate or map data to media content that may be remotely accessible by controlled device 106. For example, processor 122 may associate an icon with a function such that user 102 may enable or activate the function via an icon and may organize and / or arrange content components within user interface 128. And / or to map.

사용자 인터페이스(128) 및/또는 콘텐트 컴포넌트들의 생성, 수정 및/또는 조직은 모바일 폰(130a)과 같은 피제어 디바이스에서 수행될 수 있고 및/또는 PC, 랩톱, 또는 노트북 컴퓨터(132)와 같은 다른 디바이스에서 수행될 수 있다. 이에 관련하여, PC, 랩톱, 또는 노트북 컴퓨터(132)와 같은 다른 디바이스에서 생성되고, 수정되고 및/또는 조직될 수 있는 사용자 스크린 및/또는 오디오가 모바일 폰(130a)과 같은 피제어 디바이스에 사이드 로딩될 수 있다. 또한, 사이드 로딩된 사용자 인터페이스(128)는 모바일 폰(130a)과 같은 피제어 디바이스에서 수정되고 및/또는 조직될 수 있다. 예를 들면, 사용자 인터페이스(128)가 PC, 랩톱, 또는 노트북 컴퓨터(132)로부터 모바일 폰(130a)으로 사이드 로딩될 수 있고 모바일 폰(130a)에서 커스터마이즈될 수 있다. 하나 이상의 도구들이 사용자 인터페이스(128) 및/또는 오디오 또는 비주얼 콘텐트 컴포넌트들의 생성, 수정 및/또는 조직을 가능하게 할 수 있다.The creation, modification and / or organization of user interface 128 and / or content components may be performed on a controlled device such as mobile phone 130a and / or other such as PC, laptop, or notebook computer 132. May be performed on the device. In this regard, user screens and / or audio that may be created, modified, and / or organized on other devices, such as PCs, laptops, or notebook computers 132, may be side-by-side to the controlled device, such as mobile phone 130a. Can be loaded. In addition, the side loaded user interface 128 may be modified and / or organized in a controlled device, such as mobile phone 130a. For example, user interface 128 may be side loaded from PC, laptop, or notebook computer 132 to mobile phone 130a and customized at mobile phone 130a. One or more tools may enable the creation, modification and / or organization of user interface 128 and / or audio or visual content components.

도 2a는 본 발명의 실시예에 따른, 디바이스에 내장된 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다. 도 2a를 참조하면, 사용자(102) 및 셀폰/스마트폰/데이터폰(106b)과 같은 피제어 디바이스가 도시되어 있다. 셀폰/스마트폰/데이터폰(106b)은 사용자 인터페이스(107b), 및 내장된 MEMS 감지 및 처리 모듈(104)을 포함할 수 있다. 본 발명의 일 실시예에서, 사용자(102)는 열린 공간으로 및 MEMS 감지 및 처리 모듈(104)로 내쉴 수 있게 될 수 있다.2A is a diagram illustrating an exemplary MEMS sensing and processing module embedded in a device, in accordance with an embodiment of the invention. Referring to FIG. 2A, a controlled device such as a user 102 and a cell phone / smart phone / data phone 106b is shown. Cellphone / smartphone / dataphone 106b may include a user interface 107b and an embedded MEMS sensing and processing module 104. In one embodiment of the invention, the user 102 may be able to exhale into an open space and into the MEMS sensing and processing module 104.

MEMS 감지 및 처리 모듈(104)은 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는 움직임을 검출하도록 동작 가능할 수 있다. 인간의 숨의 방출에 의해 야기되는 움직임의 검출에 응답하여, MEMS 감지 및 처리 모듈(104)은 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있다. MEMS 감지 및 처리 모듈(104)은 인간의 숨의 방출에 의해 생성된 운동 에너지를 감지하고 그에 따라 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있는 하나 이상의 세그먼트들 또는 부재들을 포함할 수 있다. 생성된 하나 이상의 제어 신호들은 셀폰/스마트폰/데이터폰(106b)의 사용자 인터페이스(107b)를 제어하도록 동작 가능할 수 있다. 본 발명의 다른 실시예에 따르면, MEMS 감지 및 처리 모듈(104)은 대화식 키오스크 또는 패널, 예를 들면, ATM 머신에 내장될 수 있다. 사용자(102)는 예를 들면 대화식 키오스크의 사용자 인터페이스에 액세스하고 및/또는 그것과 상호 작용하기 위하여 대화식 키오스크에 내장되는 MEMS 감지 및 처리 모듈(104)에 공기의 입김(puff of air)을 불 수 있게 될 수 있다.MEMS sensing and processing module 104 may be operable to detect movement caused by the release of human breath by user 102. In response to detecting movement caused by the release of human breath, MEMS sensing and processing module 104 may be operable to generate one or more control signals. MEMS sensing and processing module 104 may include one or more segments or members that may be operable to sense kinetic energy generated by the release of human breath and thus generate one or more control signals. The generated one or more control signals may be operable to control the user interface 107b of the cell phone / smart phone / data phone 106b. According to another embodiment of the present invention, MEMS sensing and processing module 104 may be embedded in an interactive kiosk or panel, such as an ATM machine. The user 102 may, for example, blow a puff of air into the MEMS sensing and processing module 104 embedded in the interactive kiosk to access and / or interact with the user interface of the interactive kiosk. Can be.

도 2b는 본 발명의 실시예에 따른, USB 인터페이스를 통해 디바이스에 통신으로 연결되는 독립형 디바이스에 위치하는 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다. 도 2b를 참조하면, 독립형 디바이스(262), 및 PC, 랩톱, 또는 노트북 컴퓨터(132)와 같은 다른 디바이스가 도시되어 있다. 독립형 디바이스(262)는 임의의 적합한 표면 상에 예를 들면 테이블 또는 데스크 톱(263) 상에 놓일 수 있다. 독립형 디바이스(262)는 유연한 지지 구조(264)를 포함할 수 있다. 지지 구조(264)는 예를 들면 한쪽 단부에 위치한 MEMS 감지 및 처리 모듈(104)을 포함할 수 있다. 그럼에도 불구하고, 본 발명은 그렇게 제한되지 않을 수 있고 MEMS 감지 및 처리 모듈(104)은 독립형 디바이스(262) 상의 다른 위치들에, 예를 들면 독립형 디바이스(262)의 기부에 위치할 수 있다. 그럼에도 불구하고, 본 발명은 이에 관련하여 제한되지 않을 수 있고, 독립형 디바이스(262) 내의 또는 상의 MEMS 감지 및 처리 모듈(104)의 위치는 적절히 변할 수 있다. MEMS 감지 및 처리 모듈(104)은 예를 들면 USB 인터페이스(265)를 통해 PC, 랩톱, 또는 노트북 컴퓨터(132)에 통신으로 연결될 수 있다.2B is a diagram illustrating an exemplary MEMS sensing and processing module located in a standalone device that is communicatively connected to the device via a USB interface, in accordance with an embodiment of the invention. 2B, a standalone device 262 and other devices such as a PC, laptop, or notebook computer 132 are shown. Standalone device 262 may be placed on any suitable surface, for example on a table or desktop 263. Standalone device 262 may include flexible support structure 264. Support structure 264 may include, for example, MEMS sensing and processing module 104 located at one end. Nevertheless, the present invention may not be so limited and the MEMS sensing and processing module 104 may be located at other locations on the standalone device 262, for example at the base of the standalone device 262. Nevertheless, the present invention may not be limited in this regard, and the position of the MEMS sensing and processing module 104 in or on the standalone device 262 may vary as appropriate. MEMS sensing and processing module 104 may be communicatively coupled to a PC, laptop, or notebook computer 132 via, for example, a USB interface 265.

MEMS 감지 및 처리 모듈(104)은 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는 움직임을 검출하도록 동작 가능할 수 있다. 인간의 숨으로부터 공기와 같은 유체의 방출에 의해 야기되는 움직임의 검출에 응답하여, MEMS 감지 및 처리 모듈(104)은 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있다. MEMS 감지 및 처리 모듈(104)은 인간의 숨의 방출에 의해 생성된 운동 에너지를 감지하고 그에 따라 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있는 하나 이상의 세그먼트들 또는 부재들을 포함할 수 있다. 생성된 하나 이상의 제어 신호들은 PC, 랩톱, 또는 노트북 컴퓨터(132)와 같은, 다른 피제어 디바이스에 전달될 수 있다. 생성된 하나 이상의 제어 신호들은 PC, 랩톱, 또는 노트북 컴퓨터(132)의 사용자 인터페이스(133)를 제어하도록 동작 가능할 수 있다.MEMS sensing and processing module 104 may be operable to detect movement caused by the release of human breath by user 102. In response to the detection of movement caused by the release of a fluid, such as air, from the human breath, MEMS sensing and processing module 104 may be operable to generate one or more control signals. MEMS sensing and processing module 104 may include one or more segments or members that may be operable to sense kinetic energy generated by the release of human breath and thus generate one or more control signals. The one or more control signals generated may be communicated to another controlled device, such as a PC, laptop, or notebook computer 132. The one or more control signals generated may be operable to control the user interface 133 of the PC, laptop, or notebook computer 132.

도 2c는 본 발명의 실시예에 따른, 스타일러스에 위치하는 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다. 도 2c를 참조하면, 사용자(102) 및 셀폰/스마트폰/데이터폰(106b)과 같은 피제어 디바이스가 도시되어 있다. 셀폰/스마트폰/데이터폰(106b)는 사용자 인터페이스(107b), 및 스타일러스(202)를 포함할 수 있다. 스타일러스(202)는 쑥 들어가게 할 수 있고(retractable), 접을 수 있고, 축 또는 축들의 주위에 회전 가능하고 및/또는 유연할 수 있으며 셀폰/스마트폰/데이터폰(106b)의 본체 내에 넣어질 수 있다. 그럼에도 불구하고, 스타일러스(202)는 본 발명의 범위를 제한하지 않고 셀폰/스마트폰/데이터폰(106b)의 본체에 클립으로 고정될 수 있는 접을 수 있는 디바이스일 수 있다.2C is a diagram illustrating an exemplary MEMS sensing and processing module located in a stylus, in accordance with an embodiment of the invention. Referring to FIG. 2C, a controlled device such as a user 102 and a cell phone / smart phone / data phone 106b is shown. Cellphone / smartphone / dataphone 106b may include a user interface 107b and a stylus 202. The stylus 202 can be retractable, collapsible, rotatable and / or flexible around an axis or axes and can be encased within the body of a cell phone / smartphone / data phone 106b. have. Nevertheless, the stylus 202 can be a collapsible device that can be clipped to the body of the cell phone / smart phone / data phone 106b without limiting the scope of the invention.

스타일러스(202)는 예를 들면 한쪽 단부에 위치하는 MEMS 감지 및 처리 모듈(104)을 포함할 수 있다. 본 발명의 일 실시예에서, 사용자(102)는 스타일러스(202)를 쑥 들어가게 하고 열린 공간으로 및 MEMS 감지 및 처리 모듈(104)로 내쉴 수 있게 될 수 있다.Stylus 202 may include, for example, MEMS sensing and processing module 104 located at one end. In one embodiment of the invention, the user 102 may be able to retract the stylus 202 and exhale into an open space and into the MEMS sensing and processing module 104.

MEMS 감지 및 처리 모듈(104)은 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는 움직임을 검출하도록 동작 가능할 수 있다. 인간의 숨의 방출에 의해 야기되는 움직임의 검출에 응답하여, MEMS 감지 및 처리 모듈(104)은 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있다. MEMS 감지 및 처리 모듈(104)은 인간의 숨의 방출에 의해 생성된 운동 에너지를 감지하고 그에 따라 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있는 하나 이상의 세그먼트들 또는 부재들을 포함할 수 있다. 생성된 하나 이상의 제어 신호들은 셀폰/스마트폰/데이터폰(106b)의 사용자 인터페이스(107b)를 제어하도록 동작 가능할 수 있다.MEMS sensing and processing module 104 may be operable to detect movement caused by the release of human breath by user 102. In response to detecting movement caused by the release of human breath, MEMS sensing and processing module 104 may be operable to generate one or more control signals. MEMS sensing and processing module 104 may include one or more segments or members that may be operable to sense kinetic energy generated by the release of human breath and thus generate one or more control signals. The generated one or more control signals may be operable to control the user interface 107b of the cell phone / smart phone / data phone 106b.

도 2d는 본 발명의 실시예에 따른, 군인을 위한 헤드세트에 위치하는 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다. 도 2d를 참조하면, 사용자(102)가 도시되어 있다. 사용자(102)는 분리할 수 있는 헬멧(208)을 착용할 수 있다. 분리할 수 있는 헬멧(208)은 분리할 수 있는 안경(204), 분리할 수 있는 마이크(206), 및 분리할 수 있는 헤드세트(210)를 포함할 수 있다. 분리할 수 있는 헤드세트(210)는 예를 들면 한쪽 단부에 위치한 MEMS 감지 및 처리 모듈(104)을 포함할 수 있다.2D is a diagram illustrating an exemplary MEMS sensing and processing module located in a headset for a soldier, in accordance with an embodiment of the present invention. Referring to FIG. 2D, user 102 is shown. User 102 may wear a removable helmet 208. The detachable helmet 208 may include detachable glasses 204, detachable microphone 206, and detachable headset 210. The detachable headset 210 may include, for example, a MEMS sensing and processing module 104 located at one end.

분리할 수 있는 안경(204)은 예를 들면 나이트 비전(night vision) 및/또는 적외선 비전(infrared vision) 능력들을 포함할 수 있다. 분리할 수 있는 마이크(206)는 예를 들면 다른 사용자들과 통신하기 위해 이용될 수 있다. 본 발명의 일 실시예에서, 사용자(102)는 열린 공간으로 내쉴 수 있게 될 수 있고 MEMS 감지 및 처리 모듈(104)은 그 내쉼을 감지하거나 검출하도록 동작 가능할 수 있다. 내쉼은 사용자(102)의 콧구멍 및/또는 입으로부터 발생할 수 있다.Detachable glasses 204 can include night vision and / or infrared vision capabilities, for example. Detachable microphone 206 may be used to communicate with other users, for example. In one embodiment of the invention, the user 102 may be able to exhale into an open space and the MEMS sensing and processing module 104 may be operable to detect or detect its exhalation. Exhalation may occur from the nostrils and / or mouth of the user 102.

MEMS 감지 및 처리 모듈(104)은 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는 움직임을 검출하도록 동작 가능할 수 있다. 인간의 숨의 방출에 의해 야기되는 움직임의 검출에 응답하여, MEMS 감지 및 처리 모듈(104)은 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있다. 생성된 하나 이상의 제어 신호들은 멀티미디어 디바이스(106a)의 사용자 인터페이스(107a), 셀폰/스마트폰/데이터폰(106b)의 사용자 인터페이스(107b), 퍼스널 컴퓨터(PC), 랩톱 또는 노트북 컴퓨터(106c)의 사용자 인터페이스(107c) 및/또는 디스플레이 디바이스(106d)의 사용자 인터페이스(107d)와 같은 피제어 디바이스의 사용자 인터페이스를 제어하도록 동작 가능할 수 있다.MEMS sensing and processing module 104 may be operable to detect movement caused by the release of human breath by user 102. In response to detecting movement caused by the release of human breath, MEMS sensing and processing module 104 may be operable to generate one or more control signals. The generated one or more control signals may be generated by the user interface 107a of the multimedia device 106a, the user interface 107b of the cell phone / smartphone / data phone 106b, of the personal computer (PC), laptop or notebook computer 106c. It may be operable to control the user interface of the controlled device, such as user interface 107c and / or user interface 107d of display device 106d.

도 2e는 본 발명의 실시예에 따른, 의자 장치의 머리 받침에 위치하는 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다. 도 2e를 참조하면, 의자 장치(220)가 도시되어 있다. 의자 장치(220)는 머리 받침(222), 등받이(226)를 포함할 수 있다. 머리 받침(222)은 분리할 수 있는 헤드세트(224)를 포함할 수 있다. 사용자(102)는 의자 장치(220)에 앉을 수 있게 될 수 있다.2E is a diagram illustrating an exemplary MEMS sensing and processing module located on the headrest of a chair device, in accordance with an embodiment of the present invention. Referring to FIG. 2E, the chair device 220 is shown. Chair device 220 may include a headrest 222, a backrest 226. Headrest 222 may include a removable headset 224. User 102 may be able to sit on chair device 220.

분리할 수 있는 헤드세트(224)는 예를 들면 한쪽 단부에 위치한 MEMS 감지 및 처리 모듈(104)을 포함할 수 있다. 본 발명의 일 실시예에서, 사용자(102)는 열린 공간으로 및 MEMS 감지 및 처리 모듈(104)로 내쉴 수 있게 될 수 있다. 일 실시예에서, 의자 장치(220)는 예를 들면 차 또는 임의의 다른 자동차 또는 탈것 안에 위치할 수 있다. 그럼에도 불구하고, 본 발명은 그렇게 제한되지 않을 수 있고 MEMS 감지 및 처리 모듈(104)은 본 발명의 범위를 제한하지 않고 다른 위치들에 위치할 수 있다.The detachable headset 224 may include, for example, the MEMS sensing and processing module 104 located at one end. In one embodiment of the invention, the user 102 may be able to exhale into an open space and into the MEMS sensing and processing module 104. In one embodiment, chair device 220 may be located, for example, in a car or any other car or vehicle. Nevertheless, the invention may not be so limited and the MEMS sensing and processing module 104 may be located in other locations without limiting the scope of the invention.

MEMS 감지 및 처리 모듈(104)은 의자 장치(220)에 앉은 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는 움직임을 검출하도록 동작 가능할 수 있다. 인간의 숨의 방출에 의해 야기되는 움직임의 검출에 응답하여, MEMS 감지 및 처리 모듈(104)은 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있다. 생성된 하나 이상의 제어 신호들은 멀티미디어 디바이스(106a)의 사용자 인터페이스(107a), 셀폰/스마트폰/데이터폰(106b)의 사용자 인터페이스(107b), 퍼스널 컴퓨터(PC), 랩톱 또는 노트북 컴퓨터(106c)의 사용자 인터페이스(107c), 디스플레이 디바이스(106d)의 사용자 인터페이스(107d), 및/또는 오디오 및/또는 비디오 플레이어와 같은 멀티미디어 플레이어의 사용자 인터페이스와 같은 피제어 디바이스의 사용자 인터페이스를 제어하도록 동작 가능할 수 있다.The MEMS sensing and processing module 104 may be operable to detect movement caused by the release of human breath by the user 102 sitting on the chair device 220. In response to detecting movement caused by the release of human breath, MEMS sensing and processing module 104 may be operable to generate one or more control signals. The generated one or more control signals may be generated by the user interface 107a of the multimedia device 106a, the user interface 107b of the cell phone / smartphone / data phone 106b, of the personal computer (PC), laptop or notebook computer 106c. It may be operable to control the user interface of the controlled device, such as the user interface 107c, the user interface 107d of the display device 106d, and / or the user interface of the multimedia player, such as an audio and / or video player.

도 2f는 본 발명의 실시예에 따른, 자동차 내에 위치하는 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다. 도 2f를 참조하면, 자동차(230)가 도시되어 있다. 자동차(230)는 바이저(visor)(232) 및 핸들(234)을 포함할 수 있다.2F is a diagram illustrating an exemplary MEMS sensing and processing module located in a motor vehicle, in accordance with an embodiment of the present invention. Referring to FIG. 2F, a motor vehicle 230 is shown. The vehicle 230 may include a visor 232 and a handle 234.

본 발명의 일 실시예에서, 바이저(232)는 유연한 지지 구조(233)를 포함할 수 있다. 지지 구조(233)는 예를 들면 한쪽 단부에 위치한 MEMS 감지 및 처리 모듈(104)을 포함할 수 있다. 본 발명의 다른 실시예에서, 핸들(234)은 유연한 지지 구조(235)를 포함할 수 있다. 지지 구조(235)는 예를 들면 한쪽 단부에 위치한 MEMS 감지 및 처리 모듈(104)을 포함할 수 있다. 그럼에도 불구하고, 본 발명은 그렇게 제한되지 않을 수 있고 MEMS 감지 및 처리 모듈(104)은 본 발명의 범위를 제한하지 않고 자동차(230) 내의 다른 위치들에 위치할 수 있다.In one embodiment of the invention, the visor 232 may include a flexible support structure 233. Support structure 233 may include, for example, MEMS sensing and processing module 104 located at one end. In another embodiment of the invention, the handle 234 may include a flexible support structure 235. Support structure 235 may include, for example, MEMS sensing and processing module 104 located at one end. Nevertheless, the present invention may not be so limited and the MEMS sensing and processing module 104 may be located at other locations within the motor vehicle 230 without limiting the scope of the present invention.

예를 들면 제한 없이, 사용자(102)는 핸들(234) 뒤에 의자에 앉을 수 있고, 처리 모듈(104)은 핸들(234)에 설치된다. 사용자(102)는 핸들(234) 뒤에 의자에 앉을 수 있다. 사용자(102)는 열린 공간으로 및 MEMS 감지 및 처리 모듈(104)로 내쉴 수 있게 될 수 있다. MEMS 감지 및 처리 모듈(104)은 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는 움직임을 검출하도록 동작 가능할 수 있다. 인간의 숨의 방출에 의해 야기되는 움직임의 검출에 응답하여, MEMS 감지 및 처리 모듈(104)은 멀티미디어 디바이스(106a)의 사용자 인터페이스(107a), 셀폰/스마트폰/데이터폰(106b)의 사용자 인터페이스(107b), 퍼스널 컴퓨터(PC), 랩톱 또는 노트북 컴퓨터(106c)의 사용자 인터페이스(107c), 디스플레이 디바이스(106d)의 사용자 인터페이스(107d), 및/또는 오디오 및/또는 비디오 플레이어 또는 내비게이션(예를 들면, GPS) 디바이스와 같은 멀티미디어 또는 다른 디바이스의 사용자 인터페이스와 같은 피제어 디바이스의 사용자 인터페이스를 제어하기 위해 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있다.For example and without limitation, user 102 may sit on a chair behind handle 234 and processing module 104 is installed on handle 234. User 102 may sit on a chair behind handle 234. The user 102 can be extruded into an open space and into the MEMS sensing and processing module 104. MEMS sensing and processing module 104 may be operable to detect movement caused by the release of human breath by user 102. In response to the detection of movement caused by the release of human breath, the MEMS sensing and processing module 104 is configured to include a user interface 107a of a multimedia device 106a, a user interface of a cell phone / smartphone / data phone 106b. 107b, user interface 107c of the personal computer (PC), laptop or notebook computer 106c, user interface 107d of the display device 106d, and / or audio and / or video player or navigation (e.g., For example, it may be operable to generate one or more control signals for controlling a user interface of a controlled device, such as a multimedia such as a GPS) device or a user interface of another device.

도 2g는 본 발명의 실시예에 따른, 분리할 수 있는 안경에 위치하는 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다. 도 2g를 참조하면, 사용자(102)가 도시되어 있다. 사용자(102)는 예를 들면 분리할 수 있는 고글 또는 임의의 다른 유형의 안경(240)을 착용할 수 있다. 분리할 수 있는 안경(240)은 분리할 수 있는 헤드세트(242)를 포함할 수 있다. 분리할 수 있는 헤드세트(242)는 유연하고 및/또는 구부릴 수 있다. 분리할 수 있는 헤드세트(242)는 예를 들면 한쪽 단부에 위치한 MEMS 감지 및 처리 모듈(104)을 포함할 수 있다. 본 발명의 일 실시예에서, 사용자(102)는 열린 공간으로 및 MEMS 감지 및 처리 모듈(104)로 내쉴 수 있게 될 수 있다.2G is a diagram illustrating an exemplary MEMS sensing and processing module located in detachable eyeglasses, in accordance with an embodiment of the invention. 2G, user 102 is shown. User 102 may, for example, wear removable goggles or any other type of glasses 240. Detachable eyeglasses 240 may include a removable headset 242. The removable headset 242 can be flexible and / or bent. Detachable headset 242 may include, for example, MEMS sensing and processing module 104 located at one end. In one embodiment of the invention, the user 102 may be able to exhale into an open space and into the MEMS sensing and processing module 104.

MEMS 감지 및 처리 모듈(104)은 의자 장치(102)에 앉은 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는 움직임을 검출하도록 동작 가능할 수 있다. 인간의 숨의 방출에 의해 야기되는 움직임의 검출에 응답하여, MEMS 감지 및 처리 모듈(104)은 멀티미디어 디바이스(106a)의 사용자 인터페이스(107a), 셀폰/스마트폰/데이터폰(106b)의 사용자 인터페이스(107b), 퍼스널 컴퓨터(PC), 랩톱 또는 노트북 컴퓨터(106c)의 사용자 인터페이스(107c), 디스플레이 디바이스(106d)의 사용자 인터페이스(107d), 및/또는 오디오 및/또는 비디오 플레이어와 같은 멀티미디어 플레이어의 사용자 인터페이스와 같은 피제어 디바이스의 사용자 인터페이스를 제어하기 위해 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있다.The MEMS sensing and processing module 104 may be operable to detect movement caused by the release of human breath by the user 102 sitting on the chair device 102. In response to the detection of movement caused by the release of human breath, the MEMS sensing and processing module 104 is configured to include a user interface 107a of a multimedia device 106a, a user interface of a cell phone / smartphone / data phone 106b. 107b, the user interface 107c of the personal computer (PC), laptop or notebook computer 106c, the user interface 107d of the display device 106d, and / or a multimedia player such as an audio and / or video player. It may be operable to generate one or more control signals to control the user interface of the controlled device, such as the user interface.

도 2h는 본 발명의 실시예에 따른, 넥세트(neckset)에 위치하는 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다. 도 2h를 참조하면, 분리할 수 있는 넥세트(250)가 도시되어 있다. 분리할 수 있는 넥세트(250)는 유연한 인쇄 회로 기판(PCB)(254) 및 처리 및/또는 통신 회로(252)를 포함할 수 있다. 유연한 PCB(254)는 예를 들면 한쪽 단부에 위치한 MEMS 감지 및 처리 모듈(104)을 포함할 수 있다.2H is a diagram illustrating an exemplary MEMS sensing and processing module located in a neckset, in accordance with an embodiment of the invention. 2H, a detachable neckset 250 is shown. The detachable neckset 250 may include a flexible printed circuit board (PCB) 254 and processing and / or communication circuitry 252. Flexible PCB 254 may include, for example, MEMS sensing and processing module 104 located at one end.

처리 및/또는 통신 회로(252)는 배터리, 전압 조정기, 하나 이상의 스위치들, 하나 이상의 발광 다이오드들(LED들), 액정 디스플레이(LCD), 저항기, 커패시터, 인덕터와 같은 다른 수동 디바이스들, 블루투스 및/또는 하나 이상의 유선 인터페이스들과 같은 하나 이상의 통신 프로토콜들을 다룰 수 있는 통신 칩을 포함할 수 있다. 본 발명의 예시적인 실시예에서, 처리 및/또는 통신 회로(252)는 PCB 내에 패키징될 수 있다. 그럼에도 불구하고, 본 발명은 그렇게 제한되지 않고 처리 및/또는 통신 회로(252)는 본 발명의 범위를 제한하지 않고 다른 컴포넌트들 및 회로들을 포함할 수 있다.The processing and / or communication circuitry 252 may include a battery, a voltage regulator, one or more switches, one or more light emitting diodes (LEDs), a liquid crystal display (LCD), other passive devices such as resistors, capacitors, inductors, Bluetooth and And / or a communication chip capable of handling one or more communication protocols, such as one or more wired interfaces. In an exemplary embodiment of the invention, the processing and / or communication circuitry 252 may be packaged in a PCB. Nevertheless, the present invention is not so limited and the processing and / or communication circuitry 252 may include other components and circuits without limiting the scope of the present invention.

본 발명의 일 실시예에서, 사용자(102)는 그의 목 주위에 넥세트(250)를 착용하고 열린 공간에 내쉴 수 있게 될 수 있고 MEMS 감지 및 처리 모듈(104)은 그 내쉼을 감지하거나 검출하도록 동작 가능할 수 있다. 내쉼은 사용자(102)의 콧구멍 및/또는 입으로부터 발생할 수 있다.In one embodiment of the invention, the user 102 may be able to wear the neckset 250 around his neck and exhale in an open space and the MEMS sensing and processing module 104 may detect or detect its inhalation It may be operable. Exhalation may occur from the nostrils and / or mouth of the user 102.

MEMS 감지 및 처리 모듈(104)은 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는 움직임을 검출하도록 동작 가능할 수 있다. 인간의 숨의 방출에 의해 야기되는 움직임의 검출에 응답하여, MEMS 감지 및 처리 모듈(104)은 유연한 PCB(254)를 통해 하나 이상의 제어 신호들을 처리 및/또는 통신 회로(252)에 생성하도록 동작 가능할 수 있다. 처리 및/또는 통신 회로(252)는 생성된 하나 이상의 제어 신호들을 처리하고 멀티미디어 디바이스(106a), 셀폰/스마트폰/데이터폰(106b), 퍼스널 컴퓨터(PC), 랩톱 또는 노트북 컴퓨터(106c) 및/또는 디스플레이 디바이스(106d)와 같은 피제어 디바이스에 전달하도록 동작 가능할 수 있다. 피제어 디바이스 내의 하나 이상의 프로세서들은 전달된 제어 신호들을 이용하여 멀티미디어 디바이스(106a)의 사용자 인터페이스(107a), 셀폰/스마트폰/데이터폰(106b)의 사용자 인터페이스(107b), 퍼스널 컴퓨터(PC), 랩톱 또는 노트북 컴퓨터(106c)의 사용자 인터페이스(107c) 및/또는 디스플레이 디바이스(106d)의 사용자 인터페이스(107d)와 같은 피제어 디바이스의 사용자 인터페이스를 제어하도록 동작 가능할 수 있다.MEMS sensing and processing module 104 may be operable to detect movement caused by the release of human breath by user 102. In response to detection of movement caused by the release of human breath, MEMS sensing and processing module 104 is operative to generate one or more control signals to processing and / or communication circuitry 252 via flexible PCB 254. It may be possible. Processing and / or communication circuitry 252 processes the generated one or more control signals and processes multimedia device 106a, cell / smartphone / dataphone 106b, personal computer (PC), laptop or notebook computer 106c and And / or deliver to a controlled device, such as display device 106d. One or more processors in the controlled device use the transmitted control signals to transmit the user interface 107a of the multimedia device 106a, the user interface 107b of the cell phone / smartphone / data phone 106b, the personal computer (PC), It may be operable to control the user interface of the controlled device, such as the user interface 107c of the laptop or notebook computer 106c and / or the user interface 107d of the display device 106d.

도 2i는 본 발명의 실시예에 따른, 클립에 위치하는 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다. 도 2i를 참조하면, 사용자(102) 및 클립(272)이 도시되어 있다. 클립(272)은 의류의 임의의 적합한 조각에, 예를 들면, 셔츠의 칼라, 코트 또는 호주머니의 접은 옷깃에 배치될 수 있다. 클립(272)은 예를 들면 유연한 지지 구조(274)를 포함할 수 있다. 클립(272)이 예시되었지만, 지지 구조(274)를 부착하기 위해 다른 적합한 부착 구조가 이용될 수 있다. 지지 구조(274)는 MEMS 감지 및 처리 모듈(104)을 포함할 수 있고, 후자는 예를 들면 지지 구조(274)의 한쪽 단부에 또는 그것의 어디에나 위치할 수 있다. 본 발명의 다른 예시적인 실시예들에서, 지지 구조(274)는 이용되지 않을 수 있고 MEMS 감지 및 처리 모듈(104)은 클립(272) 또는 다른 적합한 부착 구조에 부착될 수 있다.2I is a diagram illustrating an exemplary MEMS sensing and processing module located in a clip, in accordance with an embodiment of the invention. Referring to FIG. 2I, user 102 and clip 272 are shown. The clip 272 may be placed on any suitable piece of clothing, for example on the collar of a shirt, on a coat or on a folded collar of a pocket. Clip 272 may include, for example, flexible support structure 274. Although clip 272 is illustrated, other suitable attachment structures may be used to attach support structure 274. The support structure 274 can include the MEMS sensing and processing module 104, the latter can be located at or at one end of the support structure 274, for example. In other exemplary embodiments of the invention, the support structure 274 may not be used and the MEMS sensing and processing module 104 may be attached to the clip 272 or other suitable attachment structure.

MEMS 감지 및 처리 모듈(104)은 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는 움직임을 검출하도록 동작 가능할 수 있다. 인간의 숨의 방출에 의해 야기되는 움직임의 검출에 응답하여, MEMS 감지 및 처리 모듈(104)은 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있다. MEMS 감지 및 처리 모듈(104)은 인간의 숨의 방출에 의해 생성된 운동 에너지를 감지하고 그에 따라서 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있는 하나 이상의 세그먼트들 또는 부재들을 포함할 수 있다. 생성된 하나 이상의 제어 신호들은 셀폰/스마트폰/데이터폰(106b)의 사용자 인터페이스(107b)를 제어할 수 있게 될 수 있다.MEMS sensing and processing module 104 may be operable to detect movement caused by the release of human breath by user 102. In response to detecting movement caused by the release of human breath, MEMS sensing and processing module 104 may be operable to generate one or more control signals. MEMS sensing and processing module 104 may include one or more segments or members that may be operable to sense kinetic energy generated by the release of human breath and thus generate one or more control signals. The generated one or more control signals may be able to control the user interface 107b of the cell phone / smart phone / data phone 106b.

도 2j는 본 발명의 실시예에 따른, 직물에 내장된 예시적인 MEMS 감지 및 처리 모듈을 예시하는 도면이다. 도 2j를 참조하면, 사용자(102) 및 직물(276)이 도시되어 있다. 직물(276)은 의류의 임의의 적합한 조각, 예를 들면, 셔츠의 칼라, 코트 또는 호주머니의 접은 옷깃일 수 있다. 직물(276)은 내장된 MEMS 감지 및 처리 모듈(104)을 포함할 수 있고, 후자는 예를 들면 직물(276) 내에 또는 그 위의 어디에나 위치할 수 있다. 그럼에도 불구하고, 본 발명은 그렇게 제한되지 않을 수 있고 MEMS 감지 및 처리 모듈(104)은 본 발명의 범위를 제한하지 않고 사용자(102)의 외투 또는 내복의 다른 위치들에 배치될 수 있다. 이에 관련하여, MEMS 감지 및 처리 모듈(104)은 MEMS 감지 및 처리 모듈(104)이 직물(276) 안에 놓이거나 그것에 짜넣어질 수 있도록 유연하도록 제조될 수 있다.2J is a diagram illustrating an exemplary MEMS sensing and processing module embedded in a fabric, in accordance with an embodiment of the invention. Referring to FIG. 2J, user 102 and fabric 276 are shown. Fabric 276 can be any suitable piece of clothing, for example a collar of a shirt, a collar or a folded collar of a pocket. Fabric 276 may include embedded MEMS sensing and processing module 104, the latter may be located anywhere in or on fabric 276, for example. Nevertheless, the present invention may not be so limited and the MEMS sensing and processing module 104 may be placed in other locations of the overcoat or underwear of the user 102 without limiting the scope of the present invention. In this regard, the MEMS sensing and processing module 104 may be manufactured to be flexible so that the MEMS sensing and processing module 104 may be placed in or incorporated into the fabric 276.

MEMS 감지 및 처리 모듈(104)은 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는 움직임을 검출하도록 동작 가능할 수 있다. 인간의 숨의 방출에 의해 야기되는 움직임의 검출에 응답하여, MEMS 감지 및 처리 모듈(104)은 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있다. MEMS 감지 및 처리 모듈(104)은 인간의 숨의 방출에 의해 생성된 운동 에너지를 감지하고 그에 따라서 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있는 하나 이상의 세그먼트들 또는 부재들을 포함할 수 있다. 생성된 하나 이상의 제어 신호들은 셀폰/스마트폰/데이터폰(106b)의 사용자 인터페이스(107b)를 제어할 수 있게 될 수 있다.MEMS sensing and processing module 104 may be operable to detect movement caused by the release of human breath by user 102. In response to detecting movement caused by the release of human breath, MEMS sensing and processing module 104 may be operable to generate one or more control signals. MEMS sensing and processing module 104 may include one or more segments or members that may be operable to sense kinetic energy generated by the release of human breath and thus generate one or more control signals. The generated one or more control signals may be able to control the user interface 107b of the cell phone / smart phone / data phone 106b.

도 3a는 본 발명의 실시예에 따른, 구분 사용자 인터페이스를 통해 제어될 수 있는 예시적인 전자 디바이스를 예시하는 도면이다. 도 3a를 참조하면, 터치스크린 디스플레이(304)를 포함하는 전자 디바이스(302)가 도시되어 있다. 이에 관련하여, 예시를 위해 터치스크린 디스플레이가 이용되지만, 전자 디바이스(302)는 본 발명의 범위에서 벗어나지 않고 터치스크린이 아닌 디스플레이 및 트랙볼, 하나 이상의 다기능 버튼들, 및/또는 키보드와 같은 하나 이상의 입력 디바이스들을 포함할 수 있다.3A is a diagram illustrating an example electronic device that can be controlled via a segmented user interface, in accordance with an embodiment of the invention. Referring to FIG. 3A, an electronic device 302 is illustrated that includes a touchscreen display 304. In this regard, although a touchscreen display is used for illustrative purposes, the electronic device 302 may be one or more inputs such as a display and trackball, one or more multifunction buttons, and / or a keyboard that is not within the scope of the present invention and is not a touchscreen. May include devices.

전자 디바이스(302)는 사용자가 전자 디바이스(302) 상의 다양한 애플리케이션들 및/또는 기능들을 통해 탐색하고 그것들을 시작하게 할 수 있는 그래픽 사용자 인터페이스(GUI)와 같은 사용자 인터페이스를 포함할 수 있다. 이에 관련하여, 사용자 인터페이스는 내쉼과 같은 호흡 입력들, 버튼 누름과 같은 촉각 입력들, 음성 명령들과 같은 오디오 액션들, 및/또는 가속도계 및/또는 자이로스코프에 의해 검출되는 것들과 같은 전자 디바이스(302)의 움직임들을 통해 전자 디바이스와 상호 작용하는 것을 가능하게 할 수 있다. 이에 관련하여, 사용자 인터페이스는 그 입력 방법들 중 하나 이상의 임의의 조합을 통해 전자 디바이스(302)와 상호 작용하는 것을 가능하게 할 수 있다. 또한, 사용자 인터페이스는 하나 이상의 입력 방법들의 오류 및/또는 잘못(failure) 및 하나 이상의 다른 입력 방법들의 불이행(default)을 검출하도록 동작 가능할 수 있다. 이런 식으로, 사용자 인터페이스와 상호 작용하는 것은 특정한 입력 방법의 잘못 및/또는 부재에 의해 위태롭게 영향을 받지 않을 수 있다.Electronic device 302 may include a user interface such as a graphical user interface (GUI) that allows a user to navigate through and launch various applications and / or functions on electronic device 302. In this regard, the user interface may include electronic devices such as breathing inputs such as exhalation, tactile inputs such as button presses, audio actions such as voice commands, and / or electronic devices such as those detected by accelerometers and / or gyroscopes. It may be possible to interact with the electronic device through the movements of 302. In this regard, the user interface may enable interaction with the electronic device 302 via any combination of one or more of its input methods. In addition, the user interface may be operable to detect errors and / or failures of one or more input methods and defaults of one or more other input methods. In this way, interacting with the user interface may not be jeopardized by the wrong and / or absence of a particular input method.

전자 디바이스(302)의 사용자 인터페이스는 전자 디바이스(302)의 상태 및/또는 능력들에 관한 정보를 디스플레이하고 및/또는 전자 디바이스(302) 상의 하나 이상의 애플리케이션들에 의해 생성된 정보 및/또는 콘텐트를 디스플레이할 수 있다. 본 발명의 다양한 실시예들에서, 전자 디바이스(302)의 전원을 켬과 동시에, 사용자 인터페이스의 홈스크린이 디스플레이되거나 제공될 수 있다. 본 발명의 다양한 실시예들에서, 전자 디바이스(302)는 셀룰러폰, 스마트폰, 무선 전화, 노트북 컴퓨터, PMP(personal media player), PDA(personal digital assistant), 멀티미디어 디바이스, 핸드헬드 디바이스 및/또는 다기능 모바일 디바이스 중 하나 이상을 포함할 수 있다.The user interface of the electronic device 302 displays information about the state and / or capabilities of the electronic device 302 and / or displays information and / or content generated by one or more applications on the electronic device 302. Can be displayed. In various embodiments of the present invention, upon turning on the electronic device 302, a home screen of the user interface may be displayed or provided. In various embodiments of the invention, the electronic device 302 may be a cellular phone, a smartphone, a cordless phone, a notebook computer, a personal media player (PMP), a personal digital assistant, a multimedia device, a handheld device and / or It may include one or more of the multifunction mobile device.

사용자 인터페이스는 하나 이상의 고정 구역들(311)을 포함하는 고정 영역(310), 하나 이상의 제어 구역들(315)을 포함하는 제어 영역(314), 및 하나 이상의 콘텐트 구역들(319)을 포함하는 콘텐트 영역(318) 중 하나 이상으로 구분될 수 있다. 이에 관련하여, 영역들(310, 314, 및 318) 각각은, 존재할 때, 임의의 사이즈 및/또는 형상일 수 있고 디스플레이(304)의 임의의 위치(들)에 있을 수 있다. 또한, 영역들(310, 314, 및 318)의 존재, 사이즈, 형상, 및 위치(들)는 전자 디바이스(302)의 사용자에 의해 구성(즉, 개인화 또는 커스터마이즈)될 수 있다. 예를 들면, 전자 디바이스(302)는 사용자가 오른손잡이인지 왼손잡이인지와 같은 선호들에 기초하여 사용자 인터페이스의 영역들을 구성하기 위해 사용자가 실행할 수 있는 사용자 인터페이스 커스터마이제이션 애플리케이션을 포함할 수 있다. 이에 관련하여, 사용자 인터페이스의 예시적인 구성들(306a, 306b, 및 306c)이 도 3b에 예시되어 있다.The user interface includes a fixed area 310 that includes one or more fixed zones 311, a control area 314 that includes one or more control zones 315, and a content that includes one or more content zones 319. It may be divided into one or more of the regions 318. In this regard, each of regions 310, 314, and 318, when present, may be of any size and / or shape and may be in any position (s) of display 304. In addition, the presence, size, shape, and location (s) of regions 310, 314, and 318 can be configured (ie, personalized or customized) by the user of electronic device 302. For example, the electronic device 302 can include a user interface customization application that the user can execute to configure areas of the user interface based on preferences such as whether the user is right handed or left handed. In this regard, exemplary configurations 306a, 306b, and 306c of the user interface are illustrated in FIG. 3B.

고정 영역(310)은 제어 영역(314)의 상태 및/또는 그 영역에서의 활동에 관계없는 정보를 디스플레이할 수 있다. 고정 영역(310)에 디스플레이될 수 있는 예시적인 정보는 날짜, 시간, 날씨, 캘린더의 약속들, RSS(또는 XML, 다른 마크업 언어) 피드들, 최근 이메일 연락들, 및/또는 최근 전화 연락들을 포함할 수 있다. 그러나, 전술한 것들은 고정 영역(310)에서 디스플레이될 수 있는 정보의 예들에 불과하고 본 발명은 그렇게 제한되지 않을 수 있다. 또한, 고정 영역(310)의 사이즈, 형상 및/또는 위치는 전자 디바이스(302)에서 어떤 기능들 및/또는 애플리케이션들이 실행 중인지에 따라서 변할 수 있다. 또한, 고정 영역(310)에서 디스플레이된 정보의 유형 및/또는 양은 전자 디바이스(302)의 사용자에 의해 커스터마이즈될 수 있다. 이에 관련하여, 도 3c는 일부 예시적인 고정 영역들(310a, 310b, 및 310c)을 예시한다.The fixed area 310 may display information independent of the state of the control area 314 and / or activity in that area. Exemplary information that may be displayed in the fixed area 310 may include date, time, weather, calendar appointments, RSS (or XML, other markup language) feeds, recent email contacts, and / or recent phone contacts. It may include. However, the foregoing are merely examples of information that can be displayed in the fixed area 310 and the present invention may not be so limited. In addition, the size, shape and / or location of the fixed area 310 may vary depending on what functions and / or applications are being executed in the electronic device 302. In addition, the type and / or amount of information displayed in the fixed area 310 can be customized by the user of the electronic device 302. In this regard, FIG. 3C illustrates some example fixed regions 310a, 310b, and 310c.

제어 영역(314)은 전자 디바이스(302)에서 원하는 정보가 디스플레이되고 및/또는 원하는 애플리케이션들 및/또는 기능들이 시작될 수 있도록 전자 디바이스(302)를 제어하는 것을 가능하게 할 수 있다. 이에 관련하여, 사용자 인터페이스의, 텍스트, 이미지들, 링크들, 및/또는 아이콘들과 같은, 오브젝트들을 스크롤링하거나, 선택하거나, 조작하거나, 다른 방법으로 그것들에 영향을 미치기 위해 호흡 및/또는 촉각 입력이 이용될 수 있다. 이에 관련하여, 호흡 및 촉각 입력을 이용하여 사용자 인터페이스의 오브젝트들과 상호 작용하는 것의 추가적인 상세들이 도 3e에 관하여 아래에 설명된다. 또한, 제어 영역(314)에서 디스플레이된 정보의 유형 및/또는 양은 전자 디바이스(302)의 사용자에 의해 커스터마이즈될 수 있다. 또한, 제어 영역(314)의 사이즈, 형상 및/또는 위치는 전자 디바이스(302)에서 어떤 기능들 및/또는 애플리케이션들이 실행 중인지에 따라서 변할 수 있다.The control area 314 may enable controlling the electronic device 302 such that desired information is displayed at the electronic device 302 and / or desired applications and / or functions can be started. In this regard, breathing and / or tactile input to scroll, select, manipulate, or otherwise affect objects of the user interface, such as text, images, links, and / or icons. This can be used. In this regard, further details of interacting with objects of the user interface using breathing and tactile input are described below with respect to FIG. 3E. In addition, the type and / or amount of information displayed in the control area 314 may be customized by the user of the electronic device 302. In addition, the size, shape and / or location of the control region 314 may vary depending on what functions and / or applications are being executed in the electronic device 302.

콘텐트 영역(318)은 제어 영역(314)의 상태 및/또는 그 영역에서의 활동에 의존할 수 있는 정보를 디스플레이할 수 있다. 예를 들면, 콘텐트 영역(318) 내의 정보는 제어 영역에서의 액티브 아이콘에 의존할 수 있다. 이에 관련하여, 액티브 아이콘은 (숨 및/또는 촉각 입력을 통해) 그것에 탐색되었지만 "클릭"(예를 들어, 터치 스크린 상의 탭, 버튼 누름 또는 공기의 입김)을 통해 선택되지 않은 아이콘일 수 있다. 본 발명의 하나의 예시적인 실시예에서, 액티브 아이콘은 웹사이트에의 링크일 수 있고 콘텐트 영역(318)은 그 웹사이트로부터의 RSS 피드들을 디스플레이할 수 있다. 본 발명의 다른 실시예에서, 액티브 아이콘은 이메일 클라이언트를 시작하는 단축 아이콘일 수 있고 콘텐트 영역(318)은 하나 이상의 최근 이메일 메시지들을 디스플레이할 수 있다. 이에 관련하여, 콘텐트 영역(318)에 디스플레이된 예시적인 정보는 RSS 또는 XML 피드들, 이미지들, 캘린더, 최근 통화들, 최근 텍스트들, 및/또는 최근 이메일들을 포함할 수 있다. 그러나, 전술한 것들은 예들에 불과하고 본 발명은 그렇게 제한되지 않는다. 또한, 콘텐트 영역(318)에 디스플레이된 정보는 전자 디바이스(302)의 사용자에 의해 커스터마이즈될 수 있다. 또한, 콘텐트 영역(318)의 사이즈, 형상 및/또는 위치는 전자 디바이스(302)에서 어떤 기능들 및/또는 애플리케이션들이 실행 중인지에 따라서 변할 수 있다. 이에 관련하여, 도 3d는 몇 개의 예시적인 콘텐트 영역들(318a, 318b 및 318c)을 예시한다.The content area 318 can display information that may depend on the state of the control area 314 and / or the activity in that area. For example, the information in the content area 318 may depend on the active icon in the control area. In this regard, an active icon may be an icon that has been navigated to it (via breath and / or tactile input) but not selected via a “click” (eg, a tap on a touch screen, a button press or breathing of air). In one exemplary embodiment of the invention, the active icon can be a link to a website and the content area 318 can display RSS feeds from that website. In another embodiment of the present invention, the active icon may be a shortcut icon for starting an email client and the content area 318 may display one or more recent email messages. In this regard, example information displayed in content area 318 may include RSS or XML feeds, images, calendar, recent calls, recent texts, and / or recent emails. However, the foregoing are only examples and the present invention is not so limited. In addition, the information displayed in the content area 318 can be customized by the user of the electronic device 302. In addition, the size, shape and / or location of the content area 318 may vary depending on what functions and / or applications are being executed in the electronic device 302. In this regard, FIG. 3D illustrates several exemplary content regions 318a, 318b, and 318c.

본 발명의 다양한 실시예들에서, 디스플레이(304)는 터치스크린일 수 있고 제어 영역(314)은, 촉각 입력들에 대해 제한된 응답을 가질 수 있는 고정 영역(310) 및/또는 콘텐트 영역(318)과 대조적으로, 다양한 촉각 입력들에 응답할 수 있다. 예를 들면, 제어 영역(314)은 촉각 움직임들, 다수의 터치들, 및/또는 터치들의 지속에 응답할 수 있는 데 반해, 고정 영역(310) 및 콘텐트 영역(318)은 다중 터치들(예를 들면, 더블 탭)에 응답할 수 있다. 이런 식으로, 제어 영역(314)에 할당될 수 있는 디스플레이(304)의 양을 제한하는 것은 아이콘들을 탐색하고 선택하기 위해 도달할 수 있기 위해 사용자가 필요로 하는 영역의 양을 줄일 수 있고, 따라서 전자 디바이스(302)의 한 손 동작을 용이하게 한다. 또한, 고정 영역(310) 및 콘텐트 영역(318)의 촉각 응답성을 제한하는 것은 의도하지 않은 액션들 및/또는 선택들(즉, 의도하지 않은 "클릭들")을 줄일 수 있다.In various embodiments of the invention, the display 304 may be a touchscreen and the control area 314 may have a fixed area 310 and / or content area 318 that may have a limited response to tactile inputs. In contrast, it can respond to various tactile inputs. For example, control area 314 may respond to tactile movements, multiple touches, and / or duration of touches, while fixed area 310 and content area 318 may be multiple touches (eg, For example, double tap). In this way, limiting the amount of display 304 that can be assigned to control area 314 can reduce the amount of area that a user needs to be able to reach to navigate and select icons, and thus Facilitate one-handed operation of the electronic device 302. In addition, limiting the tactile responsiveness of the fixed area 310 and the content area 318 can reduce unintended actions and / or choices (ie, unintended “clicks”).

고정 영역(310) 및/또는 콘텐트 영역(318) 내의 정보는 이미지들, 텍스트, 링크들 및/또는 아이콘들과 같은 하나 이상의 오브젝트들의 형태로 디스플레이될 수 있다. 본 발명의 다양한 실시예들에서, 고정 영역(310) 및/또는 콘텐트 영역(318) 내의 오브젝트들은 촉각 및/또는 호흡 입력을 통해 선택 가능할 수 있다. 그러나, 고정 영역(310) 및/또는 콘텐트 영역(318)의 응답은, 전술한 바와 같이, 의도하지 않은 클릭들을 방지하기 위해 제한될 수 있다. 또한, 본 발명의 다양한 실시예들에서, 콘텐트 영역(318) 내의 오브젝트들은 그것들이 선택 가능하게 될 수 있도록 제어 영역(314) 내로 스크롤링될 수 있다. 예를 들면, 호흡 입력은 제어 영역(314)에의 촉각 입력을 통해 오브젝트가 선택될 수 있도록 콘텐트 영역(318)로부터 제어 영역(314) 안으로 오브젝트들을 스크롤링하기 위해 이용될 수 있다.Information in the fixed area 310 and / or content area 318 may be displayed in the form of one or more objects, such as images, text, links, and / or icons. In various embodiments of the present invention, objects within the fixed area 310 and / or content area 318 may be selectable via tactile and / or breath input. However, the response of the fixed area 310 and / or content area 318 may be limited to prevent unintended clicks, as described above. In addition, in various embodiments of the present invention, objects in the content area 318 may be scrolled into the control area 314 so that they become selectable. For example, breath input can be used to scroll objects from content area 318 into control area 314 such that the object can be selected via tactile input to control area 314.

따라서, 전자 디바이스(302)의 구분 사용자 인터페이스는 전통적인 그래픽 사용자 인터페이스들에 비하여 이점들을 제공할 수 있는 UCAM(universal content access manager)으로 칭해질 수 있다. 하나의 이점은 UCAM의 구성 가능성(즉, 커스터마이제이션 또는 개인화)은 종래의 그래픽 사용자 인터페이스를 갖는 유사한 디바이스에 비하여 전자 디바이스(302)의 유용 및/또는 사용의 용이함을 크게 증가시킬 수 있다는 것이다. 이에 관련하여, 각각의 부분 내의 오브젝트들은 사용자가 원하는 정보, 애플리케이션들, 및/또는 기능들에 빠르게 액세스할 수 있도록 순차 배열되고, 병치되고, 겹치고, 오버레이되고, 또는 다른 식으로 배치되고 및/또는 조직될 수 있다. 다른 이점은 UCAM을 하나 이상의 영역들로 구분하는 능력은 종래의 그래픽 사용자 인터페이스를 갖는 유사한 디바이스에 비하여 전자 디바이스(302)의 유용 및/또는 사용의 용이함을 크게 증가시킬 수 있다는 것이다. 이에 관련하여, 각각의 영역의 부분들은 각종의 입력 유형들에 응답하거나 응답하지 않도록 구성될 수 있고 거기에 디스플레이된 정보 및/또는 오브젝트들에 관하여 능동적이거나(예를 들면, 실시간으로 업데이트되거나) 또는 수동적이도록(예를 들면, 사용자에 의해 변경될 때까지 정적으로 디스플레이되도록) 구성될 수 있다. UCAM의 또 다른 이점은 각종의 플랫폼들과의 그것의 호환성일 수 있다. 이에 관련하여, 사용자가 모든 사용자의 전자 디바이스들과 동일한 방식으로 상호 작용할 수 있도록 복수의 그의 전자 디바이스들에 그 UCAM을 로딩할 수 있다.Thus, the separate user interface of the electronic device 302 may be referred to as a universal content access manager (UCAM), which may provide advantages over traditional graphical user interfaces. One advantage is that the configurability of UCAM (ie, customization or personalization) can greatly increase the usefulness and / or ease of use of electronic device 302 compared to similar devices with conventional graphical user interfaces. In this regard, the objects within each portion are arranged, juxtaposed, overlapped, overlaid, or otherwise arranged and / or to provide quick access to the information, applications, and / or functions desired by the user. Can be organized. Another advantage is that the ability to divide the UCAM into one or more regions can greatly increase the usefulness and / or ease of use of the electronic device 302 compared to a similar device having a conventional graphical user interface. In this regard, portions of each region may be configured to respond to or not respond to various input types and are active (eg, updated in real time) with respect to the information and / or objects displayed therein or It may be configured to be passive (eg, statically displayed until changed by the user). Another advantage of UCAM may be its compatibility with various platforms. In this regard, it is possible to load the UCAM on a plurality of its electronic devices such that the user can interact with all the user's electronic devices in the same manner.

도 3b는 본 발명의 실시예에 따른, 구분 사용자 인터페이스의 몇몇 예시적인 구성들을 예시하는 도면이다. 도 3b를 참조하면, 예시적인 사용자 인터페이스 구성들(306a, 306b, 306c)이 도시되어 있고, 각각은 하나 이상의 고정 구역들(311)을 포함하는 고정 영역(310), 하나 이상의 제어 구역들(315)을 포함하는 제어 영역(314), 및 하나 이상의 콘텐트 구역들(319)을 포함하는 콘텐트 영역(318)을 갖는다. 이에 관련하여, 고정 영역(310), 제어 영역(314), 및 콘텐트 영역(318)의 사이즈, 형상, 및/또는 위치는 사용자 선호들에 기초하여 및/또는 전자 디바이스(302)에서 실행 중인 기능 및/또는 애플리케이션에 기초하여 구성될 수 있다.3B is a diagram illustrating some exemplary configurations of a segmented user interface, in accordance with an embodiment of the invention. Referring to FIG. 3B, exemplary user interface configurations 306a, 306b, 306c are shown, each of which comprises a fixed area 310, one or more control zones 315, including one or more fixed zones 311. ), And a content area 318 including one or more content zones 319. In this regard, the size, shape, and / or location of the fixed area 310, the control area 314, and the content area 318 are based on user preferences and / or functions being executed on the electronic device 302. And / or based on the application.

도 3c는 본 발명의 실시예에 따른, 구분 사용자 인터페이스의 몇몇 예시적인 고정 영역들을 예시하는 도면이다. 도 3c를 참조하면, 고정 영역들(310a, 310b, 및 310c)이 도시되어 있다. 이에 관련하여, 고정 영역들(310a) 각각은 하나 이상의 오브젝트들(312)을 포함할 수 있다. 또한, 각각의 오브젝트(312)에 할당된 고정 영역(310)의 부분은 임의의 형상 및/또는 사이즈를 갖도록 구성될 수 있다. 예시적인 오브젝트들(312)은 날짜, 시간, 날씨 정보, 캘린더의 약속들, RSS 또는 XML 피드들, 최근 이메일 연락들, 및/또는 최근 전화 연락들에 대응할 수 있는 텍스트, 이미지들, 링크들 및/또는 아이콘들을 포함할 수 있다.3C is a diagram illustrating some exemplary fixed areas of a segmented user interface, in accordance with an embodiment of the invention. Referring to FIG. 3C, the fixed regions 310a, 310b, and 310c are shown. In this regard, each of the fixed areas 310a may include one or more objects 312. In addition, the portion of the fixed area 310 assigned to each object 312 may be configured to have any shape and / or size. Example objects 312 may include text, images, links, and / or correspondence to date, time, weather information, calendar appointments, RSS or XML feeds, recent email contacts, and / or recent phone contacts. And / or icons.

도 3d는 본 발명의 실시예에 따른, 구분 사용자 인터페이스의 몇몇 예시적인 콘텐트 영역들을 예시하는 도면이다. 이에 관련하여, 본 발명의 다양한 실시예들에서, 사용자는 디스플레이된 오브젝트들의 수, 디스플레이된 오브젝트들의 사이즈, 및 디스플레이된 오브젝트들의 순서와 같은 콘텐트 영역(318)의 속성들을 구성할 수 있다. 예를 들면, 콘텐트 영역(318)은 각각의 아이콘, 아이콘들의 각각의 그룹, 및/또는 각각의 사용자에 대하여 상이한 속성들을 갖도록 커스터마이즈될 수 있다. 따라서, 콘텐트 영역(318)에 디스플레이될 수 있는 정보의 유형들뿐만 아니라 콘텐트 영역(318)의 커스터마이즈 가능성의 표시를 제공하기 위해, 예시적인 콘텐트 영역들(318a, 318b, 및 318c)이 도시되어 있다.3D is a diagram illustrating some example content areas of a segmented user interface, in accordance with an embodiment of the invention. In this regard, in various embodiments of the present invention, a user may configure attributes of the content area 318 such as the number of displayed objects, the size of the displayed objects, and the order of the displayed objects. For example, the content area 318 can be customized to have different attributes for each icon, each group of icons, and / or each user. Thus, exemplary content regions 318a, 318b, and 318c are shown to provide an indication of the possibility of customization of the content region 318 as well as the types of information that can be displayed in the content region 318. .

콘텐트 영역(318a)은, 예를 들면, 디지털 사진들을 포함하는 폴더 또는 웹사이트일 수 있는 액티브 아이콘에 대응할 수 있다. 따라서, 오브젝트들(3201, ..., 3204)은 폴더 또는 웹사이트에 업로드된 마지막 4개의 사진들에 대응할 수 있다. 콘텐트 영역(318b)은, 예를 들면, 소셜 네트워킹 웹사이트에의 링크일 수 있는 액티브 아이콘에 대응할 수 있다. 따라서, 오브젝트들(3221, ..., 322N)은 쇼셜 네트워킹 사이트 상의 하나 이상의 프로파일들에서 발생한 마지막 'N'개의 이벤트들에 대응할 수 있다. 다른 예에서, 콘텐트 영역(318b)은, 예를 들면, 이메일 클라이언트를 시작할 수 있는 액티브 아이콘에 대응할 수 있고 오브젝트들(3221, ..., 322N)은 송신되거나 수신된 마지막 'N'개의 이메일들에 대응할 수 있다. 콘텐트 영역(318c)은, 예를 들면, 웹 브라우저를 시작하는 단축 아이콘일 수 있는 액티브 아이콘에 대응할 수 있다. 따라서, 오브젝트들(3241 및 3242)은 즐겨찾기 및/또는 최근 방문한 웹 페이지들에의 링크들일 수 있다. 다른 실시예에서, MEMS 감지 및 처리 모듈(104)은 제어 영역(314)의 하나 이상의 부분들을 활성화하는 것에 의해 피제어 디바이스(106)의 사용자 인터페이스와의 상호 작용을 수정하도록 동작 가능할 수 있다. 예를 들면, 사용자(102)는 피제어 디바이스(106) 상의 모바일 게임 내의 옵션들 또는 메뉴들을 통하여 스크롤링하는 배경 자동 스크롤링(background auto-scrolling)의 속도를 제어할 수 있게 될 수 있다.The content area 318a may correspond to an active icon, which may be, for example, a folder or website containing digital photos. Thus, objects 320 1 ,..., 320 4 may correspond to the last four photos uploaded to a folder or website. Content area 318b may correspond to an active icon, which may be, for example, a link to a social networking website. Thus, objects 322 1 ,..., 322 N may correspond to the last 'N' events that occurred in one or more profiles on the social networking site. In another example, content area 318b may correspond to, for example, an active icon that may launch an email client and objects 322 1 ,..., 322 N may contain the last 'N' number of transmitted or received. Can correspond to emails. The content area 318c may correspond to an active icon, which may be, for example, a shortcut icon for starting a web browser. Thus, objects 324 1 and 324 2 may be links to favorites and / or recently visited web pages. In another embodiment, MEMS sensing and processing module 104 may be operable to modify interaction with the user interface of controlled device 106 by activating one or more portions of control area 314. For example, the user 102 may be able to control the speed of background auto-scrolling scrolling through options or menus in a mobile game on the controlled device 106.

도 3e는 본 발명의 실시예에 따른, 호흡 및 촉각 입력을 통해 전자 디바이스의 구분 사용자 인터페이스와 상호 작용하는 것을 예시한다. 도 3e를 참조하면, 액티브 아이콘 영역(328)을 포함할 수 있는 제어 영역(314a)이 도시되어 있다. 도 3e에 도시된 제어 영역(314a)은 제어 영역(314)의 예시적인 구성이고 본 발명은 도시된 실시예에 제한되지 않는다. 본 발명의 다양한 실시예들에서, 아이콘들은 각종의 방법으로 표현될 수 있고 이미지들 및/또는 텍스트와 같은 비주얼 정보를 포함할 수 있고 및/또는 음들, 노래들, 및/또는 말과 같은 오디오 정보를 포함할 수 있다.3E illustrates interacting with a segmented user interface of an electronic device via breathing and tactile input, according to an embodiment of the invention. Referring to FIG. 3E, a control region 314a is shown that may include an active icon region 328. The control region 314a shown in FIG. 3E is an exemplary configuration of the control region 314 and the present invention is not limited to the illustrated embodiment. In various embodiments of the present invention, icons may be represented in a variety of ways and may include visual information such as images and / or text and / or audio information such as sounds, songs, and / or words. It may include.

액티브 아이콘 영역(328)은 콘텐트 영역(318)에 디스플레이된 정보뿐만 아니라 전자 디바이스(302)가 촉각 및/또는 호흡 입력에 어떻게 응답할 수 있는지를 적어도 부분적으로 결정할 수 있다. 이에 관련하여, 도 3a 및 3d에 관하여 설명된 바와 같이, 콘텐트 영역(318)은 액티브 아이콘 영역(328)에 있는 아이콘에 대응하는 정보를 디스플레이할 수 있다. 또한, "클릭"(예를 들면, 터치스크린 탭, 버튼 누름 또는 공기의 입김)과 동시에 액티브 아이콘 영역(328) 내의 아이콘과 관련된 애플리케이션 또는 기능이 시작될 수 있다.The active icon area 328 can at least partially determine how the electronic device 302 can respond to tactile and / or breathing inputs, as well as information displayed in the content area 318. In this regard, as described with respect to FIGS. 3A and 3D, the content area 318 may display information corresponding to an icon in the active icon area 328. In addition, an application or function associated with an icon in the active icon area 328 may be launched simultaneously with a "click" (eg, touchscreen tap, button press or breathing of air).

본 발명의 다양한 실시예들에서, 아이콘들은 카테고리로 그룹화될 수 있고 각각의 카테고리는 하나 이상의 아이콘들을 포함할 수 있다. 이에 관련하여, 카테고리들의 수 및/또는 각각의 카테고리 내의 아이콘들의 수는 사용자에 의해 구성될 수 있다. 이에 관련하여, 도 3e에 도시된 예시적인 실시예에서는, 10개의 카테고리(카테고리들 00, 10, ..., 90)가 있고, 각각의 카테고리는 9개의 아이콘(아이콘들 1, 2, ..., 9)을 포함한다. 예시적인 카테고리들은 전화 및 메시징, 뉴스, 멀티미디어, 음악, 사진, 및 비디오를 포함할 수 있다. 또한, 고정 구역(310)에 디스플레이된 정보 및/또는 오브젝트들은 어느 카테고리가 액티브인지에 기초하여 결정될 수 있다.In various embodiments of the present invention, icons may be grouped into categories and each category may include one or more icons. In this regard, the number of categories and / or the number of icons in each category may be configured by the user. In this regard, in the exemplary embodiment shown in FIG. 3E, there are ten categories (categories 00, 10, ..., 90), and each category has nine icons (icons 1, 2,...) , 9). Example categories may include telephone and messaging, news, multimedia, music, photos, and video. In addition, the information and / or objects displayed in the fixed area 310 may be determined based on which category is active.

본 발명의 다양한 실시예들에서, 각각의 아이콘은 어떤 기능들 및/또는 애플리케이션들이 그 아이콘과 관련될 수 있는지를 나타내기 위해, 사용자에 의해 구성 가능한, 설명적인 텍스트, 이미지(들) 및/또는 오디오를 포함할 수 있다.In various embodiments of the invention, each icon is descriptive text, image (s) and / or configurable by the user to indicate what functions and / or applications may be associated with the icon. It may include audio.

본 발명의 다양한 실시예들에서, 디스플레이(304)의, 사용자에 의해 구성 가능한, 배경 이미지가 각각의 카테고리와 관련될 수 있고 어떤 카테고리가 현재 선택되었는지를 나타낼 수 있다. 액티브 아이콘 영역(328)에 원하는 아이콘을 배치하기 위하여, 사용자는 촉각 및/또는 호흡 입력을 이용하여 카테고리들 사이에 스크롤링할 수 있고 호흡 및/또는 촉각 입력을 이용하여 아이콘들 사이에 스크롤링할 수 있다. 이에 관련하여, 스크롤의 속도, 방향, 및/또는 지속은 촉각 및/또는 호흡 입력들의 유형, 지속, 강도, 방향, 및/또는 수에 기초하여 결정될 수 있다.In various embodiments of the present invention, a background image, configurable by the user, of display 304 may be associated with each category and indicate which category is currently selected. To place the desired icon in the active icon area 328, the user can scroll between categories using tactile and / or breathing input and scroll between icons using breathing and / or tactile input. . In this regard, the speed, direction, and / or duration of the scroll may be determined based on the type, duration, intensity, direction, and / or number of tactile and / or breathing inputs.

본 발명의 예시적인 실시예에서, 사용자는 촉각 입력을 이용하여 카테고리들 사이에 스크롤링할 수 있고 호흡 입력을 이용하여 아이콘들 사이에 스크롤링할 수 있다. 예를 들면 사용자는 제어 영역(314) 내의 그의 엄지손가락의 위치를 이동시키는 것에 의해 또는 트랙볼을 굴리는 것에 의해 카테고리들 00, 10, ..., 90을 통하여 스크롤링할 수 있고; 사용자는 내쉬는 것에 의해 액티브 카테고리(326) 내의 아이콘들을 통하여 스크롤링할 수 있다. 사용자는 전자 디바이스(302) 상에 디스플레이된 배경 이미지가 원하는 카테고리에 대응할 때까지 카테고리들을 통하여 스크롤링할 수 있다. 사용자는 액티브 아이콘 영역(328) 내의 아이콘이 원하는 기능 및/또는 애플리케이션에 대응하고 및/또는 콘텐트 영역(318) 내에 원하는 정보 및/또는 오브젝트들로 귀결될 때까지 아이콘들을 통하여 스크롤링할 수 있다.In an exemplary embodiment of the present invention, the user may scroll between categories using tactile input and scroll between icons using breath input. For example, the user can scroll through categories 00, 10, ..., 90 by moving the position of his thumb in control area 314 or by rolling a trackball; The user may scroll through the icons in the active category 326 by exhaling. The user can scroll through the categories until the background image displayed on the electronic device 302 corresponds to the desired category. The user may scroll through the icons until the icon in the active icon area 328 corresponds to the desired function and / or application and / or results in the desired information and / or objects in the content area 318.

도 3f는 스크롤링할 때 카테고리들 및/또는 아이콘들의 시퀀스의 표시를 제공할 수 있는 예시적인 구분 사용자 인터페이스를 예시한다. 이에 관련하여, 아이콘들 및/또는 카테고리들은 처음(예를 들면, 가장 왼편 또는 꼭대기) 및 마지막(예를 들면, 가장 오른편 또는 밑바닥) 아이콘들 및/또는 카테고리들이 있는 선형 방식으로 스크롤링할 수 있다. 대안적으로, 아이콘들 및/또는 카테고리들은 스크롤의 처음에 어느 아이콘 및/또는 카테고리가 액티브인지에 관계없이 어느 한쪽의 방향으로 스크롤링하는 것에 의해 모든 아이콘들 및/또는 카테고리들이 액세스될 수 있는 순환 방식으로 스크롤링할 수 있다. 아이콘들 및/또는 카테고리들이 스크롤링하는 방식에도 불구하고, 스크롤링 시퀀스에서 다음 및/또는 이전 아이콘들 및/또는 카테고리들의 표시를 사용자에게 제공하는 것이 바람직할 수 있다. 따라서, 본 발명의 다양한 양태들은 고정 영역(310), 제어 영역(314), 및/또는 콘텐트 영역(318)에 다음 및/또는 이전 아이콘들 및/또는 카테고리들의 표시를 디스플레이하는 것을 가능하게 할 수 있다. 이에 관련하여, 그 표시는 사용자가 가장 빠른 및/또는 가장 효율적인 방식으로 원하는 아이콘 및/또는 카테고리에 도달하기 위해 어느 방향으로 아이콘들 및/또는 카테고리들을 스크롤링할지를 결정하게 할 수 있다. 예를 들면, 고정 영역(310), 제어 영역(314) 및/또는 콘텐트 영역(318)의 부분(들)은 스크롤링 시퀀스에서 다음 아이콘(들) 및/또는 카테고리/카테고리들의 반투명 이미지(들)에 의해 오버레이될 수 있다. 이에 관련하여, 이 반투명성은 사용자가 다음 및/또는 이전 아이콘(들) 및/또는 카테고리/카테고리들을 식별하기에 충분히 불투명할 수 있고 고정 영역(310) 내의 및 콘텐트 영역(318) 내의 정보가 위태롭게 가로막히지 않을 수 있도록 충분히 투명할 수 있다.3F illustrates an example segmented user interface that can provide an indication of a sequence of categories and / or icons when scrolling. In this regard, icons and / or categories may scroll in a linear fashion with first (eg leftmost or top) and last (eg rightmost or bottom) icons and / or categories. Alternatively, the icons and / or categories may be accessed in a circular manner by scrolling in either direction at the beginning of the scroll, regardless of which icon and / or category is active. You can scroll with. Despite the manner in which icons and / or categories scroll, it may be desirable to provide a user with an indication of next and / or previous icons and / or categories in a scrolling sequence. Thus, various aspects of the present invention may enable displaying an indication of next and / or previous icons and / or categories in the fixed area 310, the control area 314, and / or the content area 318. have. In this regard, the indication may allow the user to determine in which direction to scroll the icons and / or categories to reach the desired icon and / or category in the fastest and / or most efficient manner. For example, the portion (s) of the fixed area 310, the control area 314 and / or the content area 318 may be added to the next icon (s) and / or semitransparent image (s) of the categories / categories in the scrolling sequence. Can be overlaid by In this regard, this translucency may be opaque enough for a user to identify the next and / or previous icon (s) and / or category / categories and may jeopardize information in the fixed area 310 and in the content area 318. It can be transparent enough to avoid clogging.

도 3f에 도시된 발명의 예시적인 실시예에서, 아이콘들 및 카테고리들은 "풍차(pinwheel)" 또는 "슬롯머신" 방식으로 스크롤링될 수 있다. 이에 관련하여, 하나 이전 카테고리(340)의 2개 이전 아이콘(330b), 하나 이전 아이콘(330a), 현재 아이콘(330), 하나 다음 아이콘(330c), 및 2개 다음 아이콘(330d)의 반투명한 이미지들이 사용자 인터페이스 상에 오버레이될 수 있다. 유사하게, 액티브 카테고리(326)의 2개 이전 아이콘(332b), 하나 이전 아이콘(332a), 현재 아이콘(332), 하나 다음 아이콘(332c), 및 2개 다음 아이콘(332d)의 반투명한 이미지들이 사용자 인터페이스 상에 오버레이될 수 있다. 유사하게, 하나 다음 카테고리(342)의 2개 이전 아이콘(334b), 하나 이전 아이콘(334a), 현재 아이콘(334), 하나 다음 아이콘(334c), 및 2개 다음 아이콘(334d)의 반투명한 이미지들이 사용자 인터페이스 상에 오버레이될 수 있다.In the exemplary embodiment of the invention shown in FIG. 3F, icons and categories may be scrolled in a “pinwheel” or “slot machine” manner. In this regard, translucent of two previous icons 330b, one previous icon 330a, one current icon 330, one next icon 330c, and two next icons 330d in one previous category 340 Images can be overlaid on the user interface. Similarly, translucent images of the two previous icons 332b, one previous icon 332a, current icon 332, one next icon 332c, and two next icons 332d of the active category 326 are displayed. Can be overlaid on the user interface. Similarly, translucent images of two previous icons 334b, one previous icon 334a, one current icon 334, one next icon 334c, and two next icons 334d in one next category 342. Can be overlaid on the user interface.

도 3g는 본 발명의 실시예에 따른, 호흡 및 촉각 입력을 통해 예시적인 구분 사용자 인터페이스와 상호 작용하는 것을 예시한다. 도 3g를 참조하면 촉각 및 호흡 입력을 통해 예시적인 구분 사용자 인터페이스와 상호 작용하는 사용자가 도시되어 있다.3G illustrates interacting with an example segmented user interface via breathing and tactile input, according to an embodiment of the invention. Referring to FIG. 3G, a user is shown interacting with an exemplary segmented user interface via tactile and breathing input.

사용자 인터페이스의 영역(340)은 제어 영역일 수 있고 영역(340)에서 호흡 입력에 의해 옮겨지고 엄지손가락 탭에 의해 선택될 수 있는 엘리먼트들을 디스플레이할 수 있다. 도 3g의 화살표(344)는 아이콘들의 카테고리들이 영역(340)에서 엄지손가락 이동(shifting)(즉, 엄지손가락의 약간의 드래그)을 통해 스크롤링될 수 있는 것을 예시하기 위해 이용된다.Region 340 of the user interface can be a control region and display elements that can be moved by breath input and selected by the thumb tab in region 340. Arrow 344 of FIG. 3G is used to illustrate that categories of icons can be scrolled through thumb shifting (ie, a slight drag of the thumb) in area 340.

영역들(342)에 디스플레이된 정보 및/또는 오브젝트들은 사용자가 다음 및 이전 아이콘들의 프리뷰들을 볼 수 있게 하는 겹쳐진 투명성들일 수 있다. 영역들(342)에 디스플레이된 정보 및/또는 오브젝트들은 고정될 수 있고 또는 변하고 및/또는 업데이트할 수 있다. 영역들(342)에 디스플레이된 일부 오브젝트들은 엄지손가락 탭을 통해 선택 가능할 수 있다.Information and / or objects displayed in areas 342 may be overlapping transparency that allows the user to see previews of next and previous icons. Information and / or objects displayed in regions 342 may be fixed or may vary and / or update. Some objects displayed in regions 342 may be selectable through the thumb tab.

따라서, 호흡 및 촉각 입력들 및 그 입력들에 대한 명확히 정의된 응답들의 조합으로 인해, 영역들(340 및 342)을 포함하는 구분 사용자 인터페이스는 종래의 사용자 인터페이스들에 비하여 명확해진 솔루션을 제공할 수 있다. 이에 관련하여, 구분 사용자 인터페이스는 전자 디바이스의 구성 가능한(즉, 커스터마이즈된 또는 개인화된) 및 예측 가능한 제어 및 콘텐트의 다층 및/또는 다차원 디스플레이를 가능하게 할 수 있다.Thus, due to the combination of breathing and tactile inputs and clearly defined responses to those inputs, a segmented user interface comprising regions 340 and 342 can provide a clearer solution compared to conventional user interfaces. have. In this regard, the partitioning user interface may enable configurable (ie, customized or personalized) and predictable control and multi-layer and / or multidimensional display of content of the electronic device.

도 3h는 스크롤링할 때 카테고리들 및/또는 아이콘들의 시퀀스의 표시를 제공할 수 있는 다른 예시적인 구분 사용자 인터페이스를 예시한다. 도 3h에 도시된 본 발명의 예시적인 실시예들에서, 아이콘들 및 카테고리들은 "플립북(flipbook)" 방식으로 스크롤링될 수 있다. 이에 관련하여, 액티브 카테고리(326)의 2개 이전 아이콘(332b), 하나 이전 아이콘(332a), 현재 아이콘(332), 하나 다음 아이콘(332c), 및 2개 다음 아이콘(332d)의 반투명한 이미지들이 사용자 인터페이스 상에 오버레이될 수 있다.3H illustrates another example segmented user interface that can provide an indication of a sequence of categories and / or icons when scrolling. In the exemplary embodiments of the present invention shown in FIG. 3H, icons and categories may be scrolled in a “flipbook” manner. In this regard, translucent images of two previous icons 332b, one previous icon 332a, one current icon 332, one next icon 332c, and two next icons 332d of the active category 326. Can be overlaid on the user interface.

도 4a는 본 발명의 실시예에 따른, 촉각 및 호흡 입력을 이용하여 사용자 인터페이스를 통해 애플리케이션을 시작하는 것을 예시한다. 도 4a를 참조하면 원하는 아이콘으로 탐색하고 그 아이콘과 관련된 애플리케이션을 시작하는 예시적인 액션들의 시퀀스를 도시하는 예시적인 스크린 샷들(410a, 410b, 410c, 및 410d)이 도시되어 있다.4A illustrates launching an application through a user interface using tactile and respiratory input, in accordance with an embodiment of the invention. Referring to FIG. 4A, example screen shots 410a, 410b, 410c, and 410d are shown illustrating an example sequence of actions to navigate to a desired icon and launch an application associated with the icon.

이 액션들의 시퀀스는 스크린샷(410a)에 의해 도시된 상태에서 전자 디바이스(302)로 시작될 수 있다. 이에 관련하여, 스크린샷(410a)에서는, 아이콘(402)이 제어 영역(314a)의 액티브 아이콘 영역(328)에 있을 수 있다. 따라서, 사선 줄무늬들의 배경 이미지는 그 아이콘(402)이 속할 수 있는 카테고리에 대응할 수 있다. 또한, 콘텐트 영역(318a) 내의 오브젝트들(4021, ..., 4024)은 아이콘(402)에 대응할 수 있다.The sequence of these actions may begin with the electronic device 302 in the state shown by the screenshot 410a. In this regard, in screenshot 410a, icon 402 may be in active icon area 328 of control area 314a. Thus, the background image of the diagonal stripes may correspond to the category to which the icon 402 may belong. Also, the objects 402 1 ,..., 402 4 in the content area 318a may correspond to the icon 402.

그 후, 사용자는 엄지손가락 이동 또는 트랙볼의 굴리기와 같은 촉각 움직임을 통해 카테고리들의 시퀀스를 통하여 스크롤링할 수 있다. 이에 관련하여, 사용자는 점들의 배경 이미지와 관련된 카테고리를 찾을 수 있다. 따라서, 사용자가 점들의 배경 이미지에 도달할 때 디바이스는 스크린샷(410b)에서 도시된 상태에 있을 수 있다. 스크린샷(410b)에서는, 아이콘(404)이 제어 영역(314b)의 액티브 아이콘 영역(328)에 있을 수 있고 콘텐트 영역(318b) 내의 오브젝트들(4041, ..., 404N)은 아이콘(404)에 대응할 수 있다.The user can then scroll through the sequence of categories through tactile movements such as thumb movement or rolling the trackball. In this regard, the user may find a category related to the background image of the dots. Thus, the device may be in the state shown in screenshot 410b when the user reaches the background image of the dots. In screenshot 410b, icon 404 may be in active icon area 328 of control area 314b and objects 404 1 ,..., 404 N in content area 318b may appear in icon ( 404).

그 후, 사용자는 하나 이상의 내쉼과 같은 호흡 입력을 통해 점들의 배경 이미지를 갖는 카테고리 내의 아이콘들을 통하여 스크롤링할 수 있다. 이에 관련하여, 사용자는 디바이스가 스크린샷(410c)에서 도시된 상태에 있을 때까지 아이콘들의 시퀀스를 통하여 스크롤링할 수 있다. 스크린샷(410c)에서는, 원하는 기능 또는 애플리케이션에 대응하는 아이콘(406)이 제어 영역(314c)의 액티브 아이콘 영역(328)에 있을 수 있다. 따라서, 콘텐트 영역(318c) 내의 오브젝트들(4061, ..., 406N)은 아이콘(406)에 대응할 수 있다.The user can then scroll through the icons in the category with the background image of the dots through one or more breathing inputs, such as inhalation. In this regard, the user may scroll through a sequence of icons until the device is in the state shown in screenshot 410c. In screenshot 410c, an icon 406 corresponding to the desired function or application may be in the active icon area 328 of the control area 314c. Thus, objects 406 1 ,..., 406 N in content area 318c may correspond to icon 406.

이런 식으로, 스크린샷(410c)에서, 사용자는 그의 원하는 아이콘, 아이콘(406)에 도달하였을 수 있고, 터치스크린의 탭 또는 버튼 누름과 같은 촉각 입력을 통해 아이콘(406)을 선택하는 것에 의해 원하는 애플리케이션 및/또는 기능을 시작할 수 있다. 도 4a, 410d에 도시된 본 발명의 예시적인 실시예에서, 웹 페이지가 아이콘(406)과 관련될 수 있고 아이콘(406)을 선택함과 동시에, 웹 브라우저가 시작될 수 있고 스크린샷(410d)에 도시된 바와 같이 풀-스크린으로 웹 페이지가 디스플레이될 수 있다.In this way, in screenshot 410c, the user may have reached his desired icon, icon 406, and desired by selecting the icon 406 through tactile input, such as a tap or button press on the touchscreen. Application and / or function can be started. In the exemplary embodiment of the invention shown in FIGS. 4A, 410D, a web page may be associated with icon 406 and upon selecting icon 406, a web browser may be launched and screen shot 410d may appear. As shown, the web page may be displayed full-screen.

도 4b는 본 발명의 실시예에 따른, 전자 디바이스에서 실행중인 애플리케이션과의 예시적인 상호 작용을 예시한다. 도 4b를 참조하면, 본 발명의 양태들은 호흡 및 촉각 입력들의 조합을 통해 줌인하고(확대하고) 및/또는 줌아웃하는(축소하는) 것을 가능하게 할 수 있다. 예를 들면, 전자 디바이스(302)에서 실행중인 웹 브라우저는 풀 웹페이지(422)를 디스플레이하고 있을 수 있고 사용자는 웹 페이지의 일부(424)에 줌인하기를 원할 수 있다. 따라서, 사용자는 줌을 위한 기준점(들)을 제어하기 위해 촉각 입력을 이용하고 줌의 방향 및/또는 양을 제어하기 위해 호흡 입력을 이용할 수 있다. 예를 들면, 사용자는 터치스크린 상의 기준점을 터치할 수 있고 내쉬는 것에 의해 그 기준점에 기초하여 줌인하거나 줌아웃할 수 있다. 이에 관련하여, 줌의 방향 및/또는 양은, 예를 들면, 내쉼들의 강도, 지속, 방향, 및/또는 수에 의해 제어될 수 있다.4B illustrates an example interaction with an application running on an electronic device, in accordance with an embodiment of the invention. Referring to FIG. 4B, aspects of the present invention may enable zooming in (enlarging) and / or zooming out (collapse) through a combination of breathing and tactile inputs. For example, a web browser running on the electronic device 302 may be displaying a full webpage 422 and the user may want to zoom in to a portion 424 of the webpage. Thus, the user may use haptic input to control the reference point (s) for zooming and respiratory input to control the direction and / or amount of zoom. For example, a user can touch a reference point on the touch screen and zoom in or out based on that reference point by exhaling. In this regard, the direction and / or amount of the zoom can be controlled by, for example, the intensity, duration, direction, and / or number of endothelials.

도 4c는 본 발명의 실시예에 따른, 전자 디바이스에서 실행중인 애플리케이션과의 예시적인 상호 작용을 예시한다. 도 4c를 참조하면, 본 발명의 양태들은 호흡 및 촉각 입력들의 조합을 통해 스크롤링하는 것을 가능하게 할 수 있다. 예시적인 애플리케이션들은 웹 브라우저, 미디어 플레이어, 스틸 카메라, 비디오 카메라, 및 파일 시스템 브라우저를 포함할 수 있다. 예를 들면, 웹 브라우저는 웹페이지(424)의 일부를 디스플레이하고 있을 수 있고 사용자는 그 웹페이지의 다른 부분(428)으로 스크롤링하기를 원할 수 있다. 따라서, 사용자는 대강의 스크롤(coarse scroll)을 수행하기 위해 호흡 입력을 이용하고 정교한 스크롤(fine scroll)을 수행하기 위해 촉각 입력을 이용할 수 있다. 예를 들면, 사용자는 웹페이지의 부분(426)에 도달하기 위해 그가 원하는 방향으로 내쉬고 그 후 웹페이지의 부분(428)이 디스플레이되도록 트랙볼의 굴리기를 통해 웹페이지의 위치를 정교하게 조정할 수 있다.4C illustrates an example interaction with an application running on an electronic device, in accordance with an embodiment of the invention. With reference to FIG. 4C, aspects of the present invention may enable scrolling through a combination of breathing and tactile inputs. Example applications can include a web browser, media player, still camera, video camera, and file system browser. For example, a web browser may be displaying a portion of a webpage 424 and the user may want to scroll to another portion 428 of that webpage. Thus, the user can use the breath input to perform coarse scroll and the tactile input to perform fine scroll. For example, a user may finely adjust the position of a webpage by rolling the trackball such that he exhales in the desired direction to reach the portion 426 of the webpage and then displays the portion 428 of the webpage.

도 5는 본 발명의 실시예에 따른, MEMS 감지 및 처리 모듈 및 호스트 시스템과 상호 작용하는 예시적인 사용자 인터페이스의 블록도이다. 도 5를 참조하면, 피제어 디바이스(106)가 도시되어 있다. 피제어 디바이스(106)는 통신 모듈(502), 사용자 인터페이스(504) 및 호스트 인터페이스(506), 복수의 드라이버들 및/또는 라이브러리들(506, 518, 520 및 522) 및 복수의 애플릿들(508, 510, 512 및 514)을 포함할 수 있다. 사용자 인터페이스(504)는 예를 들면 그래픽 사용자 인터페이스(GUI)일 수 있다.5 is a block diagram of an exemplary user interface interacting with a MEMS sensing and processing module and a host system, in accordance with an embodiment of the invention. Referring to FIG. 5, the controlled device 106 is shown. The controlled device 106 includes a communication module 502, a user interface 504 and a host interface 506, a plurality of drivers and / or libraries 506, 518, 520 and 522, and a plurality of applets 508. , 510, 512, and 514). User interface 504 may be, for example, a graphical user interface (GUI).

통신 모듈(502)은 HID(human interface device)와 같은 인터페이스, 및/또는 드라이버로서 기능하도록 동작 가능한 MEMS 감지 및 처리 모듈(104)로부터 하나 이상의 신호들을 수신하도록 동작 가능할 수 있는 적합한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 예를 들면, 수신된 신호가 지원되는 HID 프로파일에 따르는 것이 아니라면, 즉, 그 신호가 지원되는 HID 클래스가 아니라면, 수신된 신호는 피제어 디바이스(106) 상에서의 처리를 위해 커스텀 공기 방출 드라이버(custom expulsion of air driver) 또는 공기 검출 드라이버와 같은 드라이버에 전달될 수 있다. 수신된 신호는 드라이버를 이용하여 피제어 디바이스(106)에서 처리될 수 있다. 하나 이상의 신호들은 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는 공기의 움직임의 검출에 응답하여 생성될 수 있다. 통신 모듈(502)은 유선 및/또는 무선 신호를 통해 MEMS 감지 및 처리 모듈(104)로부터 하나 이상의 신호들을 수신하도록 동작 가능할 수 있다. 통신 모듈(502)은 복수의 드라이버들, 인터페이스들 및/또는 HID 프로파일들을 지원할 수 있다. 예를 들면, 통신 모듈(120)은 외부 메모리 인터페이스, UART(universal asynchronous receiver transmitter) 인터페이스, eSPI(enhanced serial peripheral interface), GPIO(general purpose input/output) 인터페이스, PCM(pulse-code modulation) 및/또는 I2S(inter-IC sound) 인터페이스, I2C(inter-integrated circuit) 버스 인터페이스, USB(universal serial bus) 인터페이스 및/또는 HID 프로파일, 블루투스 인터페이스 및/또는 HID 프로파일, 지그비 인터페이스 및/또는 HID 프로파일, IrDA 인터페이스 및/또는 HID 프로파일, 및/또는 W-USB(wireless USB) 인터페이스 및/또는 HID 프로파일을 지원할 수 있다.The communication module 502 may be an interface such as a human interface device (HID), and / or suitable logic, circuitry, interface that may be operable to receive one or more signals from the MEMS sensing and processing module 104 operable to function as a driver. And / or code. For example, if a received signal does not conform to a supported HID profile, that is, if the signal is not a supported HID class, then the received signal is a custom air emission driver for processing on the controlled device 106. expulsion of air driver) or an air detection driver. The received signal can be processed at the controlled device 106 using a driver. One or more signals may be generated in response to the detection of movement of air caused by the release of human breath by the user 102. The communication module 502 may be operable to receive one or more signals from the MEMS sensing and processing module 104 via wired and / or wireless signals. The communication module 502 may support a plurality of drivers, interfaces, and / or HID profiles. For example, the communication module 120 may include an external memory interface, a universal asynchronous receiver transmitter (UART) interface, an enhanced serial peripheral interface (eSPI), a general purpose input / output (GPIO) interface, pulse-code modulation (PCM) and / or the like. Or I 2 S (inter-IC sound) interface, I 2 C (inter-integrated circuit) bus interface, universal serial bus (USB) interface and / or HID profile, Bluetooth interface and / or HID profile, Zigbee interface and / or It may support HID profiles, IrDA interfaces and / or HID profiles, and / or W-USB (wireless USB) interfaces and / or HID profiles.

사용자(102)는 하나 이상의 수신된 신호들을 통해 피제어 디바이스(106)의 GUI(504)와 인터페이스할 수 있게 될 수 있다. 수신된 하나 이상의 신호들은 하나 이상의 드라이버들, 예를 들면 무선 USB HID 클래스 및/또는 지그비 HID 클래스와 같은, USB HID 클래스 및/또는 무선 프로토콜 HID 클래스에 따를 수 있다. 그럼에도 불구하고, 본 발명은 그렇게 제한되지 않을 수 있고 본 발명의 범위를 제한하지 않고 하나 이상의 드라이버들 및/또는 다른 무선 프로토콜 HID 클래스들이 이용될 수 있다. 일반적으로, 블루투스는 USB HID 클래스를 이용한다. 또한, 만일 수신된 신호가 지원되는 HID 프로파일에 따르지 않는다면, 즉, 그 신호가 지원되는 HID 클래스가 아니라면, 수신된 신호는 피제어 디바이스(106) 상에서의 처리를 위해 커스텀 공기 방출 드라이버 또는 공기 검출 드라이버와 같은 드라이버에 전달될 수 있다. 수신된 신호는 드라이버를 이용하여 피제어 디바이스(106)에서 처리될 수 있다.The user 102 may be able to interface with the GUI 504 of the controlled device 106 via one or more received signals. The one or more signals received may be in accordance with one or more drivers, for example a USB HID class and / or a wireless protocol HID class, such as a wireless USB HID class and / or a Zigbee HID class. Nevertheless, the present invention may not be so limited and one or more drivers and / or other radio protocol HID classes may be used without limiting the scope of the present invention. In general, Bluetooth uses the USB HID class. Also, if the received signal does not conform to the supported HID profile, that is, the signal is not a supported HID class, then the received signal is a custom air release driver or air detection driver for processing on the controlled device 106. Can be passed to a driver such as The received signal can be processed at the controlled device 106 using a driver.

통신 모듈(502)은 수신된 하나 이상의 신호들을 HID 프로파일로 포맷하도록 동작 가능할 수 있다. HID 프로파일은 피제어 디바이스(106)의 GUI(504)와의 인터페이싱을 가능하게 할 수 있는 하나 이상의 드라이버들 및/또는 라이브러리들(516-522)을 포함할 수 있다. 하나 이상의 드라이버들 및/또는 라이브러리들(516-522)은 MEMS 감지 및 처리 모듈(104)과의 피제어 디바이스(106)에 의한 통신의 개시, 확립 및/또는 종료 중 하나 이상을 가능하게 할 수 있다. HID 프로파일은 블루투스와 같은, 유선 및/또는 무선 링크를 통하여 MEMS 감지 및 처리 모듈(104)과 같은, HID를 이용하기 위한 프로토콜들, 절차들, 및/또는 사용 시나리오들을 정의할 수 있다. 피제어 디바이스(106)는 MEMS 감지 및 처리 모듈(104)과 같은, HID들을 발견하기 위해 SDP(Service Discovery Protocol)를 이용할 수 있는 블루투스 스택과 같은, 무선 프로토콜 스택을 호스팅할 수 있다.The communication module 502 may be operable to format the received one or more signals into a HID profile. The HID profile may include one or more drivers and / or libraries 516-522 that may enable interfacing with the GUI 504 of the controlled device 106. One or more drivers and / or libraries 516-522 may enable one or more of initiating, establishing and / or terminating communication by the controlled device 106 with the MEMS sensing and processing module 104. have. The HID profile may define protocols, procedures, and / or usage scenarios for using HID, such as MEMS sensing and processing module 104 over a wired and / or wireless link, such as Bluetooth. The controlled device 106 can host a wireless protocol stack, such as a Bluetooth stack that can use the Service Discovery Protocol (SDP) to discover HIDs, such as the MEMS sensing and processing module 104.

하나 이상의 피제어 디바이스들(106)의 사용자 인터페이스는 또한 버튼 또는 키로 활성화되는 기능 모드들에 기초하여 활성화되고 수정될 수 있다. 그 기능 모드들은 MEMS 감지 및 처리 모듈(104)에 내장된 펌웨어의 부분들 및 피제어 디바이스(106)에 설치된 하나 이상의 애플리케이션들, 드라이버들, 및/또는 라이브러리들을 포함할 수 있다. 그 기능 모드들은 MEMS 감지 및 처리 모듈(104)로부터, 및/또는 피제어 디바이스(106)에 대한 하나 이상의 자극들을 통해 활성화될 수 있다. 하나 이상의 자극들은 공기의 입김, 터치, 오디오, 비주얼, 제스처, 및/또는 다른 자극들을 포함할 수 있다.The user interface of one or more controlled devices 106 may also be activated and modified based on functional modes activated by a button or a key. The functional modes may include portions of firmware embedded in MEMS sensing and processing module 104 and one or more applications, drivers, and / or libraries installed in controlled device 106. The functional modes may be activated from the MEMS sensing and processing module 104 and / or via one or more stimuli to the controlled device 106. One or more stimuli may include breathing air, touch, audio, visual, gesture, and / or other stimuli.

본 발명의 실시예에 따라, 피제어 디바이스(106)는 그것이 활성화되기 전에 MEMS 감지 및 처리 모듈(104)과 같은, HID로부터, 클래스 드라이버들 및/또는 라이브러리들(516-522)에 대한 설명자들(descriptors)과 같은 디바이스 정보를 수신하도록 동작 가능할 수 있다. 드라이버들 및/또는 라이브러리들(516-522)은 피제어 디바이스(106)에 대한 제어들을 가능하게 하기 위하여 디바이스 특징들을 결정하기 위해 그 설명자들을 이용하도록 동작 가능할 수 있다.In accordance with an embodiment of the present invention, the controlled device 106 may describe descriptors for class drivers and / or libraries 516-522 from the HID, such as MEMS sensing and processing module 104 before it is activated. may be operable to receive device information, such as descriptors. Drivers and / or libraries 516-522 may be operable to use the descriptors to determine device features to enable controls for the controlled device 106.

예를 들면, 라이브러리, variable #1(516)은 MEMS 감지 및 처리 모듈(104)과 같은 HID로의 인간의 숨의 방출의 방향을 검출하고 따라서 수신된 신호를 사용자 인터페이스(504)의 하나 이상의 컴포넌트들을 제어하는 방향 신호로 변환하도록 동작 가능할 수 있다. 라이브러리, momentum #1(518)은 사용자(102)에 의해 내쉬어진 공기의 입김을 검출하고 따라서 MEMS 감지 및 처리 모듈(104)로부터의 대응하는 수신된 신호를 이용하여 사용자 인터페이스(504)의 하나 이상의 메뉴들을 통하여 스크롤링하고 특정한 시간 기간 후에 속도를 늦추도록 동작 가능할 수 있다. 예를 들면, 라이브러리, momentum #1(518)은 특정한 시간 내에 인간의 숨의 입김들의 반복된 수, 또는 특정한 시간 내에 인간의 숨의 방향성 입김들의 조합, 또는 사용자(102)에 의해 내쉬어진 인간의 숨의 입김의 빠른 왼쪽-오른쪽-왼쪽 시퀀스를 검출하고, 피제어 디바이스(106)의 사용자 인터페이스를 통하여 활성화하고 및/또는 스위칭하는 제어 신호를 생성하도록 동작 가능할 수 있다. 예를 들면, MEMS 감지 및 처리 모듈(104)에 공기의 입김을 부는 것에 의해, 왼쪽 하단으로부터 오른쪽 상단까지 MEMS 감지 및 처리 모듈(104)의 표면을 가로질러 공기의 흐름에 기초하여 스크롤링의 방향 및 속도가 결정될 수 있다. MEMS 감지 및 처리 모듈(104)은 사용자 인터페이스의 대응하는 2-축 스크롤링으로 귀결될 수 있는 제어 신호를 생성할 수 있고, 스크롤링의 속도는 MEMS 감지 및 처리 모듈(104)에 대한 공기의 흐름을 감지하는 지속 기간 또는 공기의 흐름의 압력의 강도에 기초하여 결정될 수 있다. 다른 실시예에서, 스크롤링 상호 작용 후에 특정한 시간 기간 내에 MEMS 감지 및 처리 모듈(104)에의 하나 이상의 고정된 공기의 입김들이 스크롤링의 결과로서 눈에 보이는 영역으로 줌인하는 것을 가능하게 할 수 있는 줌 기능 모드로서 처리될 수 있다. 사용자(102)는 MEMS 감지 및 처리 모듈(104)에 다시 공기를 불고 다시 스크롤 기능 모드로 되돌아가는 것에 의해 줌 기능 모드를 끝낼 수 있게 될 수 있다.For example, the library, variable # 1 516, detects the direction of the human breath's release to the HID, such as the MEMS sensing and processing module 104, and thus receives the received signal into one or more components of the user interface 504. It may be operable to convert to a controlling direction signal. The library, momentum # 1 518, detects breathing of air exhaled by the user 102 and thus uses one or more of the user interfaces 504 using the corresponding received signal from the MEMS sensing and processing module 104. It may be operable to scroll through the menus and slow down after a certain period of time. For example, the library, momentum # 1 518, is a repeated number of breaths of human breath within a certain time, or a combination of directional breaths of human breath within a particular time, or of a human exhaled by the user 102. It may be operable to detect a fast left-right-left sequence of breathing and generate a control signal to activate and / or switch through the user interface of the controlled device 106. For example, by blowing air to the MEMS sensing and processing module 104, the direction of scrolling based on the flow of air across the surface of the MEMS sensing and processing module 104 from the lower left to the upper right and Speed can be determined. MEMS sensing and processing module 104 may generate a control signal that may result in a corresponding two-axis scrolling of the user interface, the rate of scrolling sensing the flow of air to MEMS sensing and processing module 104. Can be determined based on the duration or intensity of the pressure of the flow of air. In another embodiment, a zoom function mode that may enable one or more fixed air breaths into the MEMS sensing and processing module 104 within a specific time period after the scrolling interaction to zoom in to the visible area as a result of scrolling. Can be treated as The user 102 may be able to exit the zoom function mode by blowing air back into the MEMS sensing and processing module 104 and back to the scroll function mode.

라이브러리, Boolean #1(520)은 MEMS 감지 및 처리 모듈(104)로부터의 수신된 신호를 이용하여 사용자 인터페이스(504) 내의 하나 이상의 메뉴들 및/또는 아이콘들을 선택하도록 동작 가능할 수 있다. 라이브러리, Boolean #2(522)도 MEMS 감지 및 처리 모듈(104)로부터의 수신된 신호를 이용하여 사용자 인터페이스(504) 내의 하나 이상의 메뉴들 및/또는 아이콘들을 선택하도록 동작 가능할 수 있다. 라이브러리, Boolean #2(522)는 또한 특정한 시간 기간 내에 인간의 숨의 입김들의 수신된 시퀀스에 기초하여 기능 모드를 결정하도록 동작 가능할 수 있다. 예를 들면, 특정한 시간 기간 내에 수신된 인간의 숨의 다수의 입김들은 사용자 인터페이스(504) 내에서 스크롤링 기능 모드로부터 확대 기능 모드로 기능 모드를 스위칭할 수 있다. 그럼에도 불구하고, 본 발명은 그렇게 제한되지 않을 수 있고 본 발명의 범위를 제한하지 않고 다른 드라이버들 및/또는 라이브러리들이 이용될 수 있다.The library, Boolean # 1 520, may be operable to select one or more menus and / or icons within the user interface 504 using the received signal from the MEMS sensing and processing module 104. The library, Boolean # 2 522, may also be operable to select one or more menus and / or icons within the user interface 504 using the received signal from the MEMS sensing and processing module 104. The library, Boolean # 2 522, may also be operable to determine a function mode based on the received sequence of human breaths within a specific time period. For example, multiple breaths of the human breath received within a particular time period may switch the function mode from the scrolling function mode to the magnification function mode within the user interface 504. Nevertheless, the present invention may not be so limited and other drivers and / or libraries may be used without limiting the scope of the present invention.

피제어 디바이스(106)는 하나 이상의 애플릿들(508-514)을 이용하여 MEMS 감지 및 처리 모듈(104)과 같은, 검출 디바이스와 인터페이스하도록 동작 가능할 수 있다. 애플릿들(508-514)은 예를 들면 웹 브라우저와 같은 다른 프로그램의 컨텍스트에서 실행하도록 동작 가능할 수 있는 소프트웨어 컴포넌트들, 코드 및/또는 프로그램들을 포함할 수 있다. 예를 들면, 애플릿, UI skin #1(508)은 풍차로서 기능할 수 있는 소프트웨어 컴포넌트, 코드 및/또는 프로그램을 포함할 수 있고, 여기서 복수의 아이콘들이 사용자 인터페이스(504)의 배경을 통하여 순환할 수 있다. 사용자(102)는 피제어 디바이스(106)의 사용자 인터페이스(504)의 배경으로부터 하나 이상의 아이콘들을 선택하도록 촉구받을 수 있다. 애플릿, UI skin #2(510)는, 예를 들면, 사용자(102)가 GUI(504) 상에 디스플레이되어 있는 아이콘들에 공기를 불 때, 사용자 인터페이스(504) 상의 하나 이상의 아이콘들을 먼지로 분해하는 것을 가능하게 할 수 있는 소프트웨어 컴포넌트, 코드 및/또는 프로그램을 포함할 수 있다. 다른 실시예에서, 애플릿들 중 하나는 예를 들면 활성화될 때 사용자 인터페이스(504)의 하나 이상의 컴포넌트들 사이에 스위칭할 수 있는 소프트웨어 컴포넌트, 코드 및/또는 프로그램을 포함할 수 있다.The controlled device 106 can be operable to interface with a detection device, such as the MEMS sensing and processing module 104, using one or more applets 508-514. Applets 508-514 may include software components, code, and / or programs that may be operable to execute in the context of another program, such as, for example, a web browser. For example, the applet, UI skin # 1 508 can include software components, code and / or programs that can function as windmills, where a plurality of icons will cycle through the background of the user interface 504. Can be. The user 102 may be prompted to select one or more icons from the background of the user interface 504 of the controlled device 106. The applet, UI skin # 2 510, decomposes one or more icons on the user interface 504 into dust, for example, when the user 102 blows up the icons displayed on the GUI 504. Software components, code, and / or programs that may make it possible to do so. In another embodiment, one of the applets may include a software component, code, and / or program that, for example, can switch between one or more components of the user interface 504 when activated.

다른 실시예에서, 애플릿들 중 하나는 3-D 플립북으로서 기능할 수 있는 소프트웨어 컴포넌트, 코드 및/또는 프로그램을 포함할 수 있고, 여기서 사용자(102)는 책 내의 하나 이상의 페이지들을 넘기기 위해 GUI(504) 상의 책에 공기를 불 수 있게 될 수 있다. 애플릿, Faves #1(521)은, 사용자(102)가 GUI(504) 상의 사용자들 또는 친구들의 둘 이상의 사진들에 공기를 불 때, GUI(504) 상의 사용자들 또는 친구들의 둘 이상의 사진들을 단 하나의 사진으로 모핑(morphing)하는 것을 가능하게 할 수 있는 소프트웨어 컴포넌트, 코드 및/또는 프로그램을 포함할 수 있다. 애플릿, Scroll Function(514)은 GUI(504) 상의 복수의 메뉴들, 페이지들 및/또는 아이콘들을 통하여 스크롤링하는 것을 가능하게 할 수 있는 소프트웨어 컴포넌트, 코드 및/또는 프로그램을 포함할 수 있다. 피제어 디바이스(106)의 GUI(504)는 애플릿들(508-514)에 의해 생성된 하나 이상의 출력들에 기초하여 MEMS 감지 및 처리 모듈(104)과 인터페이스하도록 동작 가능할 수 있다.In another embodiment, one of the applets may include a software component, code, and / or program that may function as a 3-D flipbook, where the user 102 may use a GUI (eg, to turn over one or more pages in a book). 504 may be able to blow air into the book. The applet, Faves # 1 521, may delete two or more photos of the users or friends on the GUI 504 when the user 102 blows up two or more photos of the users or friends on the GUI 504. It may include software components, code, and / or programs that may enable morphing into one picture. The applet, Scroll Function 514, may include software components, code, and / or programs that may enable scrolling through a plurality of menus, pages, and / or icons on the GUI 504. The GUI 504 of the controlled device 106 may be operable to interface with the MEMS sensing and processing module 104 based on one or more outputs generated by the applets 508-514.

호스트 컴퓨터 인터페이스(HCI)(506)는 예를 들면 컨트롤러 관리, 링크 확립, 및/또는 유지를 위해 피제어 디바이스(106) 내에 디스플레이, 다른 하드웨어 및/또는 프로세서들에의 인터페이스를 포함할 수 있다. 피제어 디바이스(106) 내의 다른 하드웨어에 HCI 명령들을 전달하기 위해 HCI 전송층이 동작 가능할 수 있다.The host computer interface (HCI) 506 may include a display in the controlled device 106, an interface to other hardware and / or processors, for example, for controller management, link establishment, and / or maintenance. The HCI transport layer may be operable to deliver HCI commands to other hardware in the controlled device 106.

본 발명의 실시예에 따르면, MEMS 감지 및 처리 모듈(104)은 피제어 디바이스(106)에서 복수의 기능 모드들을 가능하게 하기 위해 이용될 수 있다. 예를 들면, MEMS 감지 및 처리 모듈(104)은 다차원 축에서 문서를 통하여 스크롤링하는 것을 가능하게 하는 스크롤 기능 모드, 문서에 줌인하고 문서에서 줌아웃하는 것을 가능하게 하거나 방향성 확대(directional magnification)를 가능하게 하여, 텍스트의 본문에서 커서를 옮겨 놓는 줌 기능 모드, 클릭들이 MEMS 감지 및 처리 모듈(104)에서 한 번 이상 공기를 부는 예시적인 실시예일 수 있는, 포인트 앤 클릭(point and click) 기능 모드, 아이템에서 포인터를 잠시 멈추고, 그 아이템을 드래그하는 것에 의해 사용자 인터페이스(128) 상의 아이템을 드래그하고 그 후 MEMS 감지 및 처리 모듈(104)에 다시 공기를 부는 것에 의해 그 아이템을 드롭하는 것을 가능하게 하는 드래그 앤 드롭 기능 모드를 가능하게 하도록 동작 가능할 수 있다.In accordance with an embodiment of the present invention, MEMS sensing and processing module 104 may be used to enable a plurality of functional modes in controlled device 106. For example, MEMS sensing and processing module 104 may be a scrolling function mode that enables scrolling through a document on a multi-dimensional axis, to enable zooming in and out of a document, or to enable directional magnification. A point and click function mode, which may be an exemplary embodiment in which the zoom function mode of moving the cursor in the body of text, the clicks blowing air one or more times in the MEMS sensing and processing module 104. Pauses the pointer at, and drags the item on the user interface 128 by dragging the item and then dragging the item to allow the item to be dropped by blowing air back into the MEMS sensing and processing module 104. It may be operable to enable the n-drop function mode.

예를 들면, MEMS 감지 및 처리 모듈(104)은, 하나 이상의 차원들에서, 게임들 및 다른 멀티미디어 애플리케이션들 내의 캐릭터 및/또는 아바타를 움직이고, 자동 스크롤 속도를 제어하는 것에 의해 배경을 옮겨 놓거나 게임들 및 다른 애플리케이션들 내의 다른 겹쳐진 요소들을 옮겨 놓고, 게임플레이의 중단 없이 옵션들의 리스트를 통하여 스크롤하고 선택하고, 게임들에서 사격하면서 무기들을 교환하고, 및/또는 더 많은 동시 입력들을 가능하게 하기 위해 숨에 의해 조작될 특정 컨트롤들을 매핑하는 것에 기초하여 게임들에서 기존의 컨트롤러들에 커스터마이즈 가능한 입력들을 추가하도록 동작 가능할 수 있다. 예를 들면, MEMS 감지 및 처리 모듈(104)은 키보드, 마우스, 또는 임의의 다른 입력 디바이스를 이용한 멀티모드 입력(multimodal input)을 가능하게 하고, 터치스크린을 이용한 멀티모드 입력을 가능하게 하고, 가상 요소들의 움직임과 같은, GUI 기반 상호 작용을 위한 음성 및/또는 말을 이용한 멀티모드 입력을 가능하게 하고, 및/또는 제스처 및/또는 움직임 추적을 이용한 멀티모드 입력을 가능하게 하도록 동작 가능할 수 있다.For example, the MEMS sensing and processing module 104 may, in one or more dimensions, move backgrounds or games by moving a character and / or avatar in games and other multimedia applications, and controlling the automatic scrolling speed. And moving other overlapping elements in other applications, scrolling and selecting through a list of options without interrupting gameplay, exchanging weapons while shooting in games, and / or breathing to enable more simultaneous inputs. It may be operable to add customizable inputs to existing controllers in games based on mapping the particular controls to be manipulated by. For example, MEMS sensing and processing module 104 enables multimodal input using a keyboard, mouse, or any other input device, enables multimode input using a touchscreen, and virtual It may be operable to enable multimode input using voice and / or speech for GUI based interaction, such as movement of elements, and / or to enable multimode input using gesture and / or motion tracking.

본 발명의 다른 실시예에 따르면, MEMS 감지 및 처리 모듈(104)은 도 2f에 예시된 바와 같이 핸들에 사용자의 손들을 두고 오디오 레벨 또는 볼륨을 설정하는 것, 오디오-비디오 디바이스에서 앞쪽으로 또는 뒤쪽으로 트랙들을 건너뛰는 것, 및/또는 전화에서 음성 메시지들을 건너뛰는 것과 같은 비-GUI 가변 기능들의 제어를 가능하고 하고, 데이터를 입력하면서 아이콘들, 애플리케이션들, 창들, 또는 위젯들을 통하여 브라우징하고, 및/또는 내비게이션 시스템, 또는 차내 대시보드 및 엔터테인먼트 시스템과 상호 작용하도록 동작 가능할 수 있다.According to another embodiment of the present invention, the MEMS sensing and processing module 104 sets the audio level or volume with the user's hands on the handle as illustrated in FIG. 2F, forward or backward in the audio-video device. Enable control of non-GUI variable functions, such as skipping tracks, and / or skipping voice messages on the phone, browsing through icons, applications, windows, or widgets while entering data, And / or to interact with the navigation system, or the in-car dashboard and entertainment system.

본 발명의 다른 실시예에 따르면, MEMS 감지 및 처리 모듈(104)은 가상 현실 환경들 및 게임들에서 바람에 날리는 불, 양초, 풍차, 비누 거품, 또는 먼지의 표류와 같은 실생활 상호 작용들을 흉내내는 것을 가능하게 하고, 음악을 재생하면서 필터들, 피치, 또는 소스와 같은, 오디오 및/또는 비디오 파라미터들을 수정하도록 동작 가능할 수 있다. 예를 들면, MEMS 감지 및 처리 모듈(104)은 도 2d에 개시된 헤드 마운티드 디스플레이(head mounted display)에서의 스크롤 또는 줌 콘텐트와 같은, 기능 모드들을 가능하게 하는 것에 의해 기업, 법 시행, 국토 안보, 의료 응급, 군사 작전에서 착용 가능한 장비의 핸즈프리 조작을 가능하게 하고, 대형 디스플레이 또는 비디오 프로젝터와 원격으로 상호 작용하고, 및/또는 움직임의 방향, 및/또는 속도를 조정하는 것에 의해 장난감 또는 전자 디바이스를 제어하고, 예를 들면, 그리거나 또는 다른 입력을 제공하면서, 그래픽 설계 편집 애플리케이션들에서 라인 폭과 같은 파라미터들을 설정하도록 동작 가능할 수 있다.According to another embodiment of the present invention, MEMS sensing and processing module 104 mimics real-world interactions such as drift of fire, candles, windmills, soap bubbles, or dust blowing in virtual reality environments and games. And may be operable to modify audio and / or video parameters, such as filters, pitch, or source while playing music. For example, the MEMS sensing and processing module 104 may be configured to enable functional modes, such as scrolling or zooming content in the head mounted display disclosed in FIG. 2D, to enable corporate, law enforcement, homeland security, Enabling toys or electronic devices by enabling hands-free operation of wearable equipment in medical emergencies, military operations, interacting remotely with large displays or video projectors, and / or adjusting the direction and / or speed of movement It may be operable to set parameters such as line width in graphical design editing applications, while controlling, for example, drawing or providing other input.

그럼에도 불구하고, 본 발명은 그렇게 제한되지 않을 수 있고 MEMS 감지 및 처리 모듈은 본 발명의 범위를 제한하지 않고 다른 응용들에서 이용될 수 있다.Nevertheless, the present invention may not be so limited and the MEMS sensing and processing module may be used in other applications without limiting the scope of the present invention.

본 발명의 실시예에 따르면, GUI(504)와 상호 작용하는 인간 또는 사용자(102)는 피제어 디바이스(106) 상의 임의의 특정한 운영 체제(OS) 플랫폼에 대해 불가지론적일 수 있다. 예를 들면, 피제어 디바이스(106)는 윈도즈 OS, 심비안 OS, 안드로이드 OS, 팜 OS, 또는 아이폰 또는 블랙베리 폰과 같은 다른 모바일 폰들 상의 다른 운영 체제들 중 어느 하나 이상의 운영 체제 상에서 실행하고 있을 수 있다. 그럼에도 불구하고, 본 발명은 그렇게 제한되지 않을 수 있고 본 발명의 범위를 제한하지 않고 다른 운영 체제들이 이용될 수 있다.According to embodiments of the present invention, a human or user 102 who interacts with GUI 504 may be agnostic for any particular operating system (OS) platform on controlled device 106. For example, controlled device 106 may be running on any one or more of Windows OS, Symbian OS, Android OS, Palm OS, or other operating systems on other mobile phones, such as iPhone or BlackBerry phones. have. Nevertheless, the present invention may not be so limited and other operating systems may be used without limiting the scope of the present invention.

도 6은 인간의 숨을 이용하여 디바이스를 제어하는 신호들을 처리하기 위한 예시적인 단계들을 예시하는 순서도이다. 도 6을 참조하면, 예시적인 단계들이 단계 602에서 시작될 수 있다. 단계 604에서, MEMS 감지 및 처리 모듈(104)과 같은 HID(human interface device)로서 기능하도록 동작 가능한, 검출 디바이스로부터 하나 이상의 신호들이 수신될 수 있다. 이 검출 디바이스는 피제어 디바이스에 내장될 수 있는 MEMS(micro-electro-mechanical system) 검출기를 포함할 수 있다. 하나 이상의 신호들은 인간의 숨의 방출에 의해 야기되는 공기의 움직임의 검출에 응답하여 생성될 수 있다. 단계 606에서, 피제어 디바이스(106)는 수신된 하나 이상의 신호들을 HID 프로파일로 포맷하도록 동작 가능할 수 있다. HID 프로파일은 피제어 디바이스(106)의 GUI(504)와의 상호 작용을 가능하게 할 수 있는 하나 이상의 드라이버들 및/또는 라이브러리들(516-522)을 포함할 수 있다. 단계 608에서, 하나 이상의 드라이버들 및/또는 라이브러리들(516-522)은 MEMS 감지 및 처리 모듈(104)과의 피제어 디바이스(106)에 의한 통신의 개시, 확립 및/또는 종료 중 하나 이상을 가능하게 할 수 있다. 단계 610에서, 피제어 디바이스(106) 내의 하나 이상의 애플릿들(508-514)이 MEMS 감지 및 처리 모듈(104)과 같은 검출 디바이스와 인터페이스하도록 동작 가능할 수 있다. 단계 612에서, 사용자(102)는 하나 이상의 애플릿들(508-514)을 이용하여 하나 이상의 수신된 신호들을 통해 피제어 디바이스(106)의 그래픽 사용자 인터페이스(GUI)(128)와 인터페이스할 수 있게 될 수 있다. 그 후 제어는 종료 단계 614로 넘어간다.6 is a flowchart illustrating exemplary steps for processing signals that control a device using human breath. Referring to FIG. 6, example steps may begin at step 602. At step 604, one or more signals may be received from a detection device operable to function as a human interface device (HID), such as MEMS sensing and processing module 104. The detection device may comprise a micro-electro-mechanical system (MEMS) detector that may be embedded in the controlled device. One or more signals may be generated in response to the detection of movement of air caused by the release of human breath. At step 606, the controlled device 106 may be operable to format the received one or more signals into a HID profile. The HID profile may include one or more drivers and / or libraries 516-522 that may enable interaction with the GUI 504 of the controlled device 106. In step 608, one or more drivers and / or libraries 516-522 may initiate one or more of initiating, establishing, and / or terminating communication by the controlled device 106 with the MEMS sensing and processing module 104. You can do that. At step 610, one or more applets 508-514 in the controlled device 106 may be operable to interface with a detection device, such as the MEMS sensing and processing module 104. In step 612, the user 102 may be able to interface with the graphical user interface (GUI) 128 of the controlled device 106 via one or more received signals using one or more applets 508-514. Can be. Control then passes to end step 614.

도 7a는 본 발명의 실시예에 따른, 인간의 숨을 이용하여 디바이스의 사용자 인터페이스를 제어하기 위한 예시적인 단계들을 예시하는 순서도이다. 도 7a를 참조하면, 예시적인 단계들이 단계 702에서 시작될 수 있다. 단계 704에서, MEMS 감지 및 처리 모듈(104) 내의 감지 모듈(110)은 예를 들면 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는, 주위 공기 조성과 같은 조성의 움직임 또는 변화를 검출하도록 동작 가능할 수 있다. 단계 706에서, 감지 모듈(110)은 인간의 숨의 방출에 의해 야기되는 움직임의 검출에 응답하여 하나 이상의 전기, 광학 및/또는 자기 신호들을 생성하도록 동작 가능할 수 있다. 단계 708에서, 프로세서 펌웨어(116)는 다양한 알고리즘들을 이용하여 감지 모듈(110)로부터의 수신된 전기, 자기 및/또는 광학 신호들을 처리하도록 동작 가능할 수 있다. 프로세서 펌웨어(116)는 또한 특정한 사용자(102)의 호흡 패턴에 적응하기 위해 인공 지능(AI) 알고리즘들을 통합하도록 동작 가능할 수 있다.7A is a flowchart illustrating exemplary steps for controlling a user interface of a device using human breath, according to an embodiment of the invention. Referring to FIG. 7A, example steps may begin at step 702. In step 704, the sensing module 110 in the MEMS sensing and processing module 104 detects a movement or change in composition, such as an ambient air composition, caused by, for example, the release of human breath by the user 102. It may be operable to do so. In step 706, the sensing module 110 may be operable to generate one or more electrical, optical and / or magnetic signals in response to the detection of movement caused by the release of human breath. At step 708, processor firmware 116 may be operable to process received electrical, magnetic and / or optical signals from sensing module 110 using various algorithms. Processor firmware 116 may also be operable to integrate artificial intelligence (AI) algorithms to adapt to the breathing pattern of a particular user 102.

단계 710에서, 프로세서 펌웨어(116)는 감지 모듈(110)로부터의 수신된 전기, 광학 및/또는 자기 신호들을 처리하는 것에 기초하여 피제어 디바이스(106)에 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있다. 단계 712에서, 생성된 하나 이상의 제어 신호들은 멀티미디어 디바이스(106a)의 사용자 인터페이스(107a), 셀폰/스마트폰/데이터폰(106b)의 사용자 인터페이스(107b), 퍼스널 컴퓨터(PC), 랩톱 또는 노트북 컴퓨터(106c)의 사용자 인터페이스(107c), 디스플레이 디바이스(106d)의 사용자 인터페이스(107d), TV/게임 콘솔/기타 플랫폼(106e)의 사용자 인터페이스(107e), 및 모바일 멀티미디어 플레이어 및/또는 원격 제어기의 사용자 인터페이스와 같은, 피제어 디바이스(106)의 사용자 인터페이스(128)를 제어하도록 동작 가능할 수 있다. 그 후 제어는 종료 단계 714로 넘어간다.In step 710, the processor firmware 116 may be operable to generate one or more control signals to the controlled device 106 based on processing the received electrical, optical and / or magnetic signals from the sensing module 110. have. In step 712, the generated one or more control signals are the user interface 107a of the multimedia device 106a, the user interface 107b of the cell phone / smartphone / dataphone 106b, a personal computer (PC), a laptop or notebook computer. User interface 107c of 106c, user interface 107d of display device 106d, user interface 107e of TV / game console / other platform 106e, and user of a mobile multimedia player and / or remote controller It may be operable to control the user interface 128 of the controlled device 106, such as an interface. Control then passes to end step 714.

도 7b는 본 발명의 실시예에 따른, 정보의 사이드 로딩을 위한 예시적인 단계들을 예시하는 순서도이다. 도 7b를 참조하면, 예시적인 단계들이 단계 752에서 시작될 수 있다. 단계 754에서, 모바일 폰(130a)과 같은 피제어 디바이스(106)는 PC, 랩톱, 또는 노트북 컴퓨터(132)와 같은 다른 디바이스(108)로부터 데이터 및/또는 미디어 콘텐트를 수신하도록 동작 가능할 수 있다. 단계 756에서, 모바일 폰(130a)과 같은 피제어 디바이스(106)는 인터넷(134)과 같은 네트워크로부터 데이터 및/또는 미디어 콘텐트를 검색하도록 동작 가능할 수 있다. 예를 들면, 검색된 데이터 및/또는 미디어 콘텐트는 RSS 피드, URL 및/또는 멀티미디어 콘텐트를 포함할 수 있다.7B is a flow chart illustrating exemplary steps for side loading of information, in accordance with an embodiment of the invention. Referring to FIG. 7B, example steps may begin at step 752. At step 754, the controlled device 106, such as mobile phone 130a, may be operable to receive data and / or media content from another device 108, such as a PC, laptop, or notebook computer 132. At step 756, the controlled device 106, such as mobile phone 130a, may be operable to retrieve data and / or media content from a network, such as the Internet 134. For example, the retrieved data and / or media content may include RSS feeds, URLs, and / or multimedia content.

단계 758에서, 랩톱, PC 및/또는 노트북(132)이 수신된 데이터 및/또는 미디어 콘텐트와 검색된 데이터 및/또는 미디어 콘텐트의 관련 및/또는 매핑을 수행할 수 있다. 만일 그 관련 또는 매핑이 랩톱, PC 및/또는 노트북(132)에서 수행된다면, 제어는 단계 760으로 넘어간다. 단계 760에서, 랩톱, PC 및/또는 노트북(132) 내의 하나 이상의 프로세서들이 수신된 및 검색된 데이터 및/또는 미디어 콘텐트를 아이콘들 또는 그룹들로 관련시키고 및/또는 매핑시키도록 동작 가능할 수 있다. 예를 들면, 랩톱, PC 및/또는 노트북(132)은 사용자(102)가 아이콘을 통해 기능을 가능하게 하거나 활성화할 수 있도록 기능에 아이콘을 관련시키고 및/또는 매핑시키도록 동작 가능할 수 있다. 예시적인 아이콘들은 하이퍼-링크들, 북 마크들, 단축 아이콘들, 위젯들, RSS 피드들 및/또는 페이버릿 버디즈와 같은 기능들을 가능하게 할 수 있다. 단계 762에서, 랩톱, PC 및/또는 노트북(132)은 모바일 폰(130a)과 같은 피제어 디바이스(106)에 관련된 아이콘들 또는 그룹들을 전달하도록 동작 가능할 수 있다. 그 후 제어는 단계 766으로 넘어간다.In step 758, the laptop, PC and / or notebook 132 may perform association and / or mapping of the received data and / or media content with the retrieved data and / or media content. If the association or mapping is to be performed at the laptop, PC and / or notebook 132, control passes to step 760. At step 760, one or more processors in the laptop, PC and / or notebook 132 may be operable to associate and / or map the received and retrieved data and / or media content with icons or groups. For example, laptop, PC and / or notebook 132 may be operable to associate and / or map an icon to a function such that user 102 may enable or activate the function via the icon. Exemplary icons may enable functions such as hyper-links, bookmarks, shortcuts, widgets, RSS feeds, and / or Favorite Buddys. At step 762, the laptop, PC and / or notebook 132 may be operable to deliver icons or groups related to the controlled device 106, such as the mobile phone 130a. Control then passes to step 766.

만일 그 관련 또는 매핑이 랩톱, PC 및/또는 노트북(132)에서 수행되지 않는다면, 제어는 단계 764로 넘어간다. 단계 764에서, 모바일 폰(130a)과 같은 피제어 디바이스(106) 내의 하나 이상의 프로세서들이 수신된 및 검색된 데이터 및/또는 미디어 콘텐트를 아이콘들 또는 그룹들로 관련시키고 및/또는 매핑시키도록 동작 가능할 수 있다. 예를 들면, 모바일 폰(130a)은 사용자(102)가 아이콘을 통해 기능을 가능하게 하거나 활성화할 수 있도록 기능에 아이콘을 관련시키고 및/또는 매핑시키도록 동작 가능할 수 있다.If the association or mapping is not performed at the laptop, PC and / or notebook 132, control passes to step 764. At step 764, one or more processors in the controlled device 106, such as mobile phone 130a, may be operable to associate and / or map the received and retrieved data and / or media content with icons or groups. have. For example, mobile phone 130a may be operable to associate and / or map an icon to a function such that user 102 may enable or activate the function via the icon.

단계 766에서, 모바일 폰(130a)과 같은 피제어 디바이스(106)는 수신된 데이터 및/또는 미디어 콘텐트와 관련된 콘텐트가 모바일 폰(130a)과 같은 피제어 디바이스(106)의 사용자 인터페이스(131a)의 필수 부분이 될 수 있도록 관련된 아이콘들 또는 그룹들을 커스터마이즈하도록 동작 가능할 수 있다. 사용자 인터페이스(131a)는 사용자(102)에 의해 수정되고 및/또는 조직될 수 있다. 이에 관련하여, 사용자(102)는 사용자 인터페이스(131a) 및/또는 하나 이상의 콘텐트 컴포넌트들을 위해 이용될 콘텐트를 선택하고, 생성하고, 배열하고 및/또는 조직할 수 있다. 예를 들면, 사용자(102)는 스크린 상의 콘텐트 컴포넌트들을 조직할 수 있고 배경 및/또는 아이콘 이미지들을 위해 개인 사진들과 같은 콘텐트를 선택할 수 있다. 또한, 사용자(102)는 콘텐트 컴포넌트들이 활성화되거나 사용자(102)에게 제시되는 방법을 생성하고 및/또는 수정할 수 있다. 예를 들면, 사용자(102)는 사용자 인터페이스(128)를 위한 아이콘들 및/또는 배경들을 만들고, 가져오고 및/또는 편집할 수 있다. 그 후 제어는 종료 단계 768로 넘어간다.In step 766, the controlled device 106, such as mobile phone 130a, may cause the content associated with the received data and / or media content of the user interface 131a of the controlled device 106, such as mobile phone 130a, to change. It may be operable to customize related icons or groups to be an integral part. User interface 131a may be modified and / or organized by user 102. In this regard, the user 102 may select, create, arrange, and / or organize content to be used for the user interface 131a and / or one or more content components. For example, user 102 may organize content components on the screen and select content, such as personal photos, for background and / or icon images. In addition, user 102 can create and / or modify how content components are activated or presented to user 102. For example, user 102 may create, import, and / or edit icons and / or backgrounds for user interface 128. Control then passes to end step 768.

본 발명의 실시예에 따르면, 인간의 숨을 이용하여 디바이스의 사용자 인터페이스를 제어하기 위한 방법 및 시스템은 내장된 MEMS(micro-electro-mechanical system) 감지 및 처리 모듈(104)(도 1a)을 포함하는 디바이스(106)(도 1a)를 포함할 수 있다. MEMS 감지 및 처리 모듈(104)은 사용자(102)에 의한 인간의 숨의 방출에 의해 야기되는 움직임을 검출하도록 동작 가능할 수 있다. 인간의 숨의 방출에 의해 야기되는 움직임의 검출에 응답하여, MEMS 감지 및 처리 모듈(104)은 하나 이상의 제어 신호들을 생성하도록 동작 가능할 수 있다. 생성된 하나 이상의 제어 신호들은 멀티미디어 디바이스(106a), 셀폰/스마트폰/데이터폰(106b), PC, 랩톱 또는 노트북 컴퓨터(106c), 디스플레이 디바이스(106d), TV/게임 콘솔/기타 플랫폼(106e), 및 모바일 멀티미디어 플레이어 및/또는 원격 제어기와 같은, 디바이스(106)의 사용자 인터페이스(128)를 제어하기 위해 이용될 수 있다.According to an embodiment of the present invention, a method and system for controlling a user interface of a device using human breath includes an embedded micro-electro-mechanical system (MEMS) sensing and processing module 104 (FIG. 1A). Device 106 (FIG. 1A). MEMS sensing and processing module 104 may be operable to detect movement caused by the release of human breath by user 102. In response to detecting movement caused by the release of human breath, MEMS sensing and processing module 104 may be operable to generate one or more control signals. The one or more control signals generated are the multimedia device 106a, the cell phone / smartphone / data phone 106b, the PC, laptop or notebook computer 106c, the display device 106d, the TV / game console / other platform 106e. And a user interface 128 of the device 106, such as a mobile multimedia player and / or a remote controller.

본 발명의 예시적인 실시예에서, 인간의 숨의 방출에 의해 야기되는 움직임의 검출은 채널의 이용 없이 발생할 수 있다. 인간의 숨의 방출에 의해 야기되는 움직임의 검출은 열린 공간으로 및 그 검출을 가능하게 하는 MEMS 감지 및 처리 모듈(104) 내의 하나 이상의 검출기들로 내쉬어지는 인간의 숨에 응답할 수 있다.In an exemplary embodiment of the invention, the detection of movement caused by the release of human breath may occur without the use of a channel. The detection of movement caused by the release of human breath may be responsive to human breath exhaled into one or more detectors in MEMS sensing and processing module 104 to enable the detection and open space.

본 발명의 다른 실시예에 따르면, MEMS 감지 및 처리 모듈(104)은 생성된 하나 이상의 제어 신호들을 통해 하나 이상의 피제어 디바이스들(106)의 사용자 인터페이스 내에서 탐색하도록 동작 가능할 수 있다. MEMS 감지 및 처리 모듈(104)은 생성된 하나 이상의 제어 신호들을 통해 피제어 디바이스들(106)의 사용자 인터페이스(128) 내의 하나 이상의 컴포넌트들을 선택하도록 동작 가능할 수 있다. 생성된 하나 이상의 제어 신호들은 외부 메모리 인터페이스, UART(universal asynchronous receiver transmitter) 인터페이스, eSPI(enhanced serial peripheral interface), GPIO(general purpose input/output) 인터페이스, PCM(pulse-code modulation) 및/또는 I2S(inter-IC sound) 인터페이스, I2C(inter-integrated circuit) 버스 인터페이스, USB(universal serial bus) 인터페이스, 블루투스 인터페이스, 지그비 인터페이스, IrDA 인터페이스, 및/또는 W-USB(wireless USB) 인터페이스 중 하나 이상을 통해 피제어 디바이스에 전달될 수 있다.According to another embodiment of the present invention, MEMS sensing and processing module 104 may be operable to navigate within the user interface of one or more controlled devices 106 via the generated one or more control signals. The MEMS sensing and processing module 104 may be operable to select one or more components within the user interface 128 of the controlled devices 106 via the generated one or more control signals. The one or more control signals generated may be external memory interface, universal asynchronous receiver transmitter (UART) interface, enhanced serial peripheral interface (eSPI), general purpose input / output (GPIO) interface, pulse-code modulation (PCM) and / or I 2. Inter-IC sound (S) interface, I 2 C (inter-integrated circuit) bus interface, universal serial bus (USB) interface, Bluetooth interface, Zigbee interface, IrDA interface, and / or W-USB (wireless USB) interface. It may be delivered to the controlled device via one or more.

MEMS 감지 및 처리 모듈(104)은 디바이스(106)에 의한 통신의 개시, 확립 및/또는 종료 중 하나 이상을 가능하게 하도록 동작 가능할 수 있다. MEMS 감지 및 처리 모듈(104)은 인간의 숨의 방출 또는 공기와 같은 유체의 방출, 버튼 누름과 같은 촉각 입력들, 음성 명령들과 같은 오디오 입력들, 및/또는 가속도계 및/또는 자이로스코프에 의해 검출된 것들과 같은 피제어 디바이스(106)의 움직임들 중 하나 이상에 기초하여 피제어 디바이스(106)의 사용자 인터페이스(128) 내의 상호 작용을 가능하게 동작 가능할 수 있다.MEMS sensing and processing module 104 may be operable to enable one or more of initiation, establishment, and / or termination of communication by device 106. MEMS sensing and processing module 104 may be provided by the release of human breath or the release of a fluid such as air, tactile inputs such as button presses, audio inputs such as voice commands, and / or by accelerometers and / or gyroscopes. The interaction within the user interface 128 of the controlled device 106 may be operable based on one or more of the movements of the controlled device 106, such as those detected.

본 발명의 다른 실시예에 따르면, MEMS 감지 및 처리 모듈(104)은 하나 이상의 피제어 디바이스들(106)의 사용자 인터페이스(128) 내의 하나 이상의 아날로그 및/또는 디지털 기능들을 제어하는 제어 신호들을 생성하도록 동작 가능할 수 있다. MEMS 감지 및 처리 모듈(104)은 극히 낮은 압력의 공기의 입김들을 전방향성으로 검출하도록 동작 가능할 수 있다. MEMS 감지 및 처리 모듈(104)은 스크롤, 팬, 줌, 및/또는 클릭 기능 모드들과 같은 직관적인 기능 모드들을 허용하고, 고의가 아닌 콘텐트의 선택을 방지하고, 및/또는 콘텐트의 폐색을 최소화하도록 동작 가능할 수 있다.According to another embodiment of the present invention, the MEMS sensing and processing module 104 is adapted to generate control signals for controlling one or more analog and / or digital functions within the user interface 128 of one or more controlled devices 106. It may be operable. MEMS sensing and processing module 104 may be operable to omnidirectionally detect breaths of extremely low pressure air. MEMS sensing and processing module 104 allows intuitive functional modes such as scroll, pan, zoom, and / or click functional modes, prevents inadvertent selection of content, and / or minimizes occlusion of content. It may be operable to do so.

핸드헬드 디바이스, 예를 들면, 멀티미디어 디바이스(106a) 및/또는 셀폰/스마트폰/데이터폰(106b) 및/또는 PC, 랩톱 또는 노트북 컴퓨터(106c)와 같은 복수의 디바이스들 중 하나 이상은 다른 디바이스(108)로부터 사용자 인터페이스(128)를 정의하는 하나 이상의 입력들을 수신하도록 동작 가능할 수 있다. 다른 디바이스(108)는 PC, 랩톱 또는 노트북 컴퓨터(106c) 및/또는 핸드헬드 디바이스, 예를 들면, 멀티미디어 디바이스(106a) 및/또는 셀폰/스마트폰/데이터폰(106b) 중 하나 이상일 수 있다. 이에 관련하여, 다른 디바이스(108)로부터 셀폰/스마트폰/데이터폰(106b)으로 데이터가 전송될 수 있고 이 데이터는 셀룰러 또는 PCS 서비스 제공자와 같은 서비스 제공자를 통해 셀폰/스마트폰/데이터폰(106b)에 의해 원격으로 액세스될 수 있는 미디어 콘텐트에 관련되거나 매핑될 수 있다. 미디어 콘텐트에 관련되거나 매핑되는 전송된 데이터는 셀폰/스마트폰/데이터폰(106b)의 사용자 인터페이스를 커스터마이즈하기 위해 이용될 수 있다. 이에 관련하여, 하나 이상의 수신된 입력들과 관련된 미디어 콘텐트는 피제어 디바이스(106)의 사용자 인터페이스(128)의 필수 부분이 될 수 있다.One or more of a plurality of devices, such as a handheld device, for example a multimedia device 106a and / or a cell phone / smartphone / data phone 106b and / or a PC, laptop or notebook computer 106c, may be another device. It may be operable to receive one or more inputs defining user interface 128 from 108. The other device 108 may be one or more of a PC, laptop or notebook computer 106c and / or handheld device, such as a multimedia device 106a and / or a cell phone / smartphone / data phone 106b. In this regard, data may be transferred from another device 108 to the cell phone / smartphone / data phone 106b and this data may be transmitted through a service provider such as a cellular or PCS service provider 106b. May be related to or mapped to media content that may be accessed remotely). The transmitted data associated with or mapped to the media content may be used to customize the user interface of the cell phone / smart phone / data phone 106b. In this regard, media content associated with one or more received inputs may be an integral part of the user interface 128 of the controlled device 106.

본 발명은 숨의 방출에 제한되지 않는다. 따라서, 본 발명의 다양한 예시적인 실시예들에서, MEMS는 공기와 같은 임의의 유형의 유체의 방출을 검출하도록 동작 가능할 수 있고, 유체의 소스는 동물, 기계 및/또는 디바이스일 수 있다.The present invention is not limited to the release of breath. Thus, in various exemplary embodiments of the present invention, the MEMS may be operable to detect the release of any type of fluid, such as air, and the source of fluid may be an animal, a machine, and / or a device.

본 발명의 다른 실시예들은 기계 및/또는 컴퓨터에 의해 실행 가능하고, 그에 의해 그 기계 및/또는 컴퓨터가 인간의 숨을 이용하여 디바이스의 사용자 인터페이스를 제어하기 위한 여기에 설명된 단계들을 수행하게 하는 적어도 하나의 코드 섹션을 갖는 기계 코드 및/또는 컴퓨터 프로그램이 저장되어 있는 비일시적(non-transitory) 컴퓨터 판독 가능한 매체 및/또는 저장 매체, 및/또는 비일시적 기계 판독 가능한 매체 및/또는 저장 매체를 제공할 수 있다.Other embodiments of the present invention are executable by a machine and / or computer, thereby causing the machine and / or computer to perform the steps described herein for controlling the user interface of the device using human breath. A non-transitory computer readable medium and / or storage medium having machine code and / or computer program having at least one code section stored therein, and / or non-transitory machine readable medium and / or storage medium Can provide.

따라서, 본 발명의 양태들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 실현될 수 있다. 본 발명은 적어도 하나의 컴퓨터 시스템에 중앙 집중된 방식으로 또는 몇 개의 상호 연결된 컴퓨터 시스템들에 걸쳐서 상이한 요소들이 분산되어 있는 분산된 방식으로 실현될 수 있다. 여기에 설명된 방법들을 수행하기 위해 적응된 임의의 종류의 컴퓨터 시스템 또는 다른 장치가 적합하다. 하드웨어, 소프트웨어 및 펌웨어의 전형적인 조합은, 로딩되어 실행될 때, 컴퓨터 시스템이 여기에 설명된 방법들을 수행하도록 그것을 제어하는 컴퓨터 프로그램을 갖는 범용 컴퓨터 시스템일 수 있다.Accordingly, aspects of the invention may be realized in hardware, software, firmware or a combination thereof. The invention can be realized in a centralized manner in at least one computer system or in a distributed manner in which different elements are distributed over several interconnected computer systems. Any kind of computer system or other apparatus adapted for carrying out the methods described herein is suitable. A typical combination of hardware, software and firmware may be a general purpose computer system having a computer program that, when loaded and executed, controls the computer system to perform the methods described herein.

본 발명의 일 실시예는 보드 레벨 제품으로서, 단일 칩, ASIC(application specific integrated circuit)으로서, 또는 개별 컴포넌트들로서 시스템의 다른 부분들과 단일 칩 상에 다양한 레벨들이 집적되어 구현될 수 있다. 시스템의 집적 정도는 주로 속도 및 비용 문제들에 의해 결정될 것이다. 최신 프로세서들의 정교한 특징 때문에, 본 시스템의 ASIC 구현의 외부에 구현될 수 있는, 상업적으로 입수 가능한 프로세서를 이용하는 것이 가능하다. 대안적으로, 프로세서가 ASIC 코어 또는 로직 블록으로서 입수 가능하다면, 상업적으로 입수 가능한 프로세서는 펌웨어로서 구현된 다양한 기능들을 갖는 ASIC 디바이스의 일부로서 구현될 수 있다.One embodiment of the present invention may be implemented by integrating various levels on a single chip with other parts of the system as a board level product, as a single chip, an application specific integrated circuit (ASIC), or as separate components. The degree of integration of the system will depend primarily on speed and cost issues. Because of the sophisticated nature of modern processors, it is possible to use commercially available processors that can be implemented outside the ASIC implementation of the present system. Alternatively, if a processor is available as an ASIC core or logic block, a commercially available processor may be implemented as part of an ASIC device with various functions implemented as firmware.

본 발명은 또한 컴퓨터 프로그램 제품에 내장될 수 있고, 그것은 여기에 설명된 방법들의 구현을 가능하게 하는 모든 특징들을 포함하고, 그것은 컴퓨터 시스템에 로딩될 때 이들 방법들을 수행할 수 있다. 본 컨텍스트에서 컴퓨터 프로그램은, 예를 들면, 정보 처리 능력을 가진 시스템이 직접 또는 a) 다른 언어, 코드 또는 표기법으로의 변환; b) 상이한 자료 형태로의 재현 중 어느 한쪽의 후에 또는 양쪽 모두의 후에 특정한 기능을 수행하게 하도록 의도된 명령어들의 세트의, 임의의 언어, 코드 또는 표기법으로 된, 임의의 표현을 의미할 수 있다. 그러나, 숙련된 당업자들의 이해 범위 내의 컴퓨터 프로그램의 다른 의미들도 본 발명에 의해 고려된다.The invention may also be embedded in a computer program product, which includes all the features that enable the implementation of the methods described herein, which may perform these methods when loaded into a computer system. In this context, a computer program can be, for example, directly or a) by a system with information processing capabilities or into another language, code or notation; b) can mean any representation, in any language, code or notation, of a set of instructions intended to perform a particular function after either or both of the representations in different data forms. However, other meanings of computer program within the understanding of those skilled in the art are also contemplated by the present invention.

특정한 실시예들에 관하여 본 발명이 설명되었지만, 숙련된 당업자들은 본 발명의 범위에서 벗어나지 않고 다양한 변경들이 이루어질 수 있고 동등물들이 대체될 수 있다는 것을 이해할 것이다. 또한, 본 발명의 범위에서 벗어나지 않고 본 발명의 교시 내용들에 특정한 상황 또는 재료를 적응시키기 위해 많은 수정들이 이루어질 수 있다. 그러므로, 본 발명은 개시된 특정한 실시예들에 제한되지 않고, 본 발명은 부속된 청구항들의 범위 내에 있는 모든 실시예들을 포함할 것이라고 의도된다.While the invention has been described with respect to specific embodiments, those skilled in the art will understand that various changes may be made and equivalents may be substituted without departing from the scope of the invention. In addition, many modifications may be made to adapt a particular situation or material to the teachings of the invention without departing from its scope. Therefore, it is intended that the invention not be limited to the particular embodiments disclosed, but that the invention will include all embodiments falling within the scope of the appended claims.

Claims (30)

상호 작용을 위한 방법으로서,
내장된 MEMS(micro-electro-mechanical system) 감지 및 처리 모듈을 포함하는 디바이스에서,
상기 MEMS 감지 및 처리 모듈에 의해, 인간의 숨의 방출(expulsion)에 의해 야기되는 움직임을 검출하는 단계; 및
상기 검출에 응답하여, 상기 디바이스의 사용자 인터페이스를 제어하는 하나 이상의 제어 신호들을 생성하는 단계
를 포함하는 방법.As a way to interact,
In a device that includes an embedded micro-electro-mechanical system (MEMS) sensing and processing module,
Detecting, by the MEMS sensing and processing module, movement caused by the expulsion of human breath; And
In response to the detection, generating one or more control signals for controlling the user interface of the device
&Lt; / RTI &gt; 제1항에 있어서,
상기 디바이스는 퍼스널 컴퓨터(PC), 랩톱, 노트북 컴퓨터, 텔레비전(TV), 게임 콘솔, 디스플레이 디바이스, 및/또는 핸드헬드 디바이스 중 하나 이상을 포함하는 방법.The method of claim 1,
The device comprises one or more of a personal computer (PC), laptop, notebook computer, television (TV), game console, display device, and / or handheld device. 제2항에 있어서,
상기 핸드헬드 디바이스는 모바일 전화, 모바일 멀티미디어 플레이어, 내비게이션 디바이스 및/또는 원격 제어기 중 하나 이상을 포함하는 방법.The method of claim 2,
The handheld device comprises one or more of a mobile telephone, a mobile multimedia player, a navigation device and / or a remote controller. 제1항에 있어서,
상기 인간의 숨의 상기 방출에 의해 야기되는 상기 움직임의 상기 검출은 채널의 이용 없이 발생하는 방법.The method of claim 1,
Said detection of said movement caused by said release of said human breath occurs without the use of a channel. 제1항에 있어서,
상기 인간의 숨의 상기 방출에 의해 야기되는 상기 움직임의 상기 검출은 상기 인간의 숨이 열린 공간으로 및 상기 검출을 가능하게 하는 상기 MEMS 감지 및 처리 모듈 내의 하나 이상의 검출기들에 내쉬어지는 것에 응답하는 방법.The method of claim 1,
The detection of the movement caused by the release of the human breath is responsive to being exhaled into the open space of the human and at one or more detectors in the MEMS sensing and processing module to enable the detection. . 제1항에 있어서,
상기 생성된 하나 이상의 제어 신호들을 외부 메모리 인터페이스, UART(universal asynchronous receiver transmitter) 인터페이스, eSPI(enhanced serial peripheral interface), GPIO(general purpose input/output) 인터페이스, PCM(pulse-code modulation) 및/또는 I2S(inter-IC sound) 인터페이스, I2C(inter-integrated circuit) 버스 인터페이스, USB(universal serial bus) 인터페이스, 블루투스 인터페이스, 지그비 인터페이스, IrDA 인터페이스, 및/또는 W-USB(wireless USB) 인터페이스 중 하나 이상을 통해 상기 디바이스에 전달하는 단계를 포함하는 방법.The method of claim 1,
The generated one or more control signals may be transferred to an external memory interface, a universal asynchronous receiver transmitter (UART) interface, an enhanced serial peripheral interface (eSPI), a general purpose input / output (GPIO) interface, pulse-code modulation (PCM) and / or I 2 inter-IC sound (I) interface, I 2 inter-integrated circuit (I C) bus interface, universal serial bus (USB) interface, Bluetooth interface, Zigbee interface, IrDA interface, and / or W-USB (wireless USB) interface Delivering to the device via one or more of the following. 제1항에 있어서,
상기 생성된 하나 이상의 제어 신호들을 통해 상기 사용자 인터페이스 내에서 탐색하는(navigating) 단계를 포함하는 방법.The method of claim 1,
Navigating within the user interface via the generated one or more control signals. 제1항에 있어서,
상기 생성된 하나 이상의 제어 신호들을 통해 상기 사용자 인터페이스 내의 하나 이상의 컴포넌트들을 선택하는 단계를 포함하는 방법.The method of claim 1,
Selecting one or more components in the user interface via the generated one or more control signals. 제1항에 있어서,
상기 디바이스에 의한 통신의 개시, 확립 및/또는 종료 중 하나 이상을 가능하게 하는 단계를 포함하는 방법.The method of claim 1,
Enabling one or more of initiating, establishing, and / or terminating communication by the device. 제1항에 있어서,
상기 인간의 숨의 상기 방출, 촉각 입력들, 오디오 입력들, 및/또는 상기 디바이스의 움직임들 중 하나 이상에 기초하여 상기 디바이스의 상기 사용자 인터페이스 내의 상호 작용을 가능하게 하는 단계를 포함하는 방법.The method of claim 1,
Enabling interaction within the user interface of the device based on one or more of the release of the human breath, tactile inputs, audio inputs, and / or movements of the device. 상호 작용을 위한 적어도 하나의 코드 섹션을 갖는 컴퓨터 프로그램이 저장되어 있는 비일시적(non-transitory) 기계 판독 가능한 저장 매체로서, 상기 적어도 하나의 코드 섹션은 기계에 의해 실행 가능하고 그 기계로 하여금,
내장된 MEMS(micro-electro-mechanical system) 감지 및 처리 모듈을 포함하는 디바이스에서,
상기 MEMS 감지 및 처리 모듈에 의해, 인간의 숨의 방출에 의해 야기되는 움직임을 검출하는 단계; 및
상기 검출에 응답하여, 상기 디바이스의 사용자 인터페이스를 제어하는 하나 이상의 제어 신호들을 생성하는 단계
를 포함하는 단계들을 수행하게 하는 비일시적 기계 판독 가능한 저장 매체.A non-transitory machine readable storage medium having a computer program having at least one code section for interaction stored thereon, the at least one code section being executable by a machine and causing the machine to:
In a device that includes an embedded micro-electro-mechanical system (MEMS) sensing and processing module,
Detecting, by the MEMS sensing and processing module, movement caused by the release of human breath; And
In response to the detection, generating one or more control signals for controlling the user interface of the device
A non-transitory machine readable storage medium for performing the steps comprising a. 제11항에 있어서,
상기 디바이스는 퍼스널 컴퓨터(PC), 랩톱, 노트북 컴퓨터, 텔레비전(TV), 게임 콘솔, 디스플레이 디바이스, 및/또는 핸드헬드 디바이스 중 하나 이상을 포함하는 비일시적 기계 판독 가능한 저장 매체.The method of claim 11,
The device comprises one or more of a personal computer (PC), laptop, notebook computer, television (TV), game console, display device, and / or handheld device. 제12항에 있어서,
상기 핸드헬드 디바이스는 모바일 전화, 모바일 멀티미디어 플레이어, 내비게이션 디바이스 및/또는 원격 제어기 중 하나 이상을 포함하는 비일시적 기계 판독 가능한 저장 매체.The method of claim 12,
The handheld device comprises one or more of a mobile telephone, a mobile multimedia player, a navigation device and / or a remote controller. 제11항에 있어서,
상기 인간의 숨의 상기 방출에 의해 야기되는 상기 움직임의 상기 검출은 채널의 이용 없이 발생하는 비일시적 기계 판독 가능한 저장 매체.The method of claim 11,
And the detection of said movement caused by said release of said human breath occurs without the use of a channel. 제11항에 있어서,
상기 인간의 숨의 상기 방출에 의해 야기되는 상기 움직임의 상기 검출은 상기 인간의 숨이 열린 공간으로 및 상기 검출을 가능하게 하는 상기 MEMS 감지 및 처리 모듈 내의 하나 이상의 검출기들에 내쉬어지는 것에 응답하는 비일시적 기계 판독 가능한 저장 매체.The method of claim 11,
The detection of the movement caused by the release of the human breath is a ratio responsive to being exhaled into the open space of the human and at one or more detectors in the MEMS sensing and processing module to enable the detection. Temporary machine readable storage medium. 제11항에 있어서,
상기 적어도 하나의 코드 섹션은 상기 생성된 하나 이상의 제어 신호들을 외부 메모리 인터페이스, UART(universal asynchronous receiver transmitter) 인터페이스, eSPI(enhanced serial peripheral interface), GPIO(general purpose input/output) 인터페이스, PCM(pulse-code modulation) 및/또는 I2S(inter-IC sound) 인터페이스, I2C(inter-integrated circuit) 버스 인터페이스, USB(universal serial bus) 인터페이스, 블루투스 인터페이스, 지그비 인터페이스, IrDA 인터페이스, 및/또는 W-USB(wireless USB) 인터페이스 중 하나 이상을 통해 상기 디바이스에 전달하기 위한 코드를 포함하는 비일시적 기계 판독 가능한 저장 매체.The method of claim 11,
The at least one code section is configured to transfer the generated one or more control signals to an external memory interface, a universal asynchronous receiver transmitter (UART) interface, an enhanced serial peripheral interface (eSPI), a general purpose input / output (GPIO) interface, and a pulse- code modulation and / or I 2 S (inter-IC sound) interface, I 2 C (inter-integrated circuit) bus interface, universal serial bus (USB) interface, Bluetooth interface, Zigbee interface, IrDA interface, and / or W A non-transitory machine readable storage medium comprising code for communicating to the device via one or more of a wireless USB (USB) interface. 제11항에 있어서,
상기 적어도 하나의 코드 섹션은 상기 생성된 하나 이상의 제어 신호들을 통해 상기 사용자 인터페이스 내에서 탐색하기 위한 코드를 포함하는 비일시적 기계 판독 가능한 저장 매체.The method of claim 11,
And the at least one code section comprises code for navigating within the user interface via the generated one or more control signals. 제11항에 있어서,
상기 적어도 하나의 코드 섹션은 상기 생성된 하나 이상의 제어 신호들을 통해 상기 사용자 인터페이스 내의 하나 이상의 컴포넌트들을 선택하기 위한 코드를 포함하는 비일시적 기계 판독 가능한 저장 매체.The method of claim 11,
And the at least one code section comprises code for selecting one or more components in the user interface via the generated one or more control signals. 제11항에 있어서,
상기 적어도 하나의 코드 섹션은 상기 디바이스에 의한 통신의 개시, 확립 및/또는 종료 중 하나 이상을 가능하게 하기 위한 코드를 포함하는 비일시적 기계 판독 가능한 저장 매체.The method of claim 11,
And the at least one code section comprises code for enabling one or more of initiating, establishing, and / or terminating communication by the device. 제11항에 있어서,
상기 적어도 하나의 코드 섹션은 상기 인간의 숨의 상기 방출, 촉각 입력들, 오디오 입력들, 및/또는 상기 디바이스의 움직임들 중 하나 이상에 기초하여 상기 디바이스의 상기 사용자 인터페이스 내의 상호 작용을 가능하게 하기 위한 코드를 포함하는 비일시적 기계 판독 가능한 저장 매체.The method of claim 11,
The at least one code section enables interaction within the user interface of the device based on one or more of the release, tactile inputs, audio inputs, and / or movements of the device of the human breath. A non-transitory machine readable storage medium containing the code for the. 상호 작용을 위한 시스템으로서,
내장된 MEMS(micro-electro-mechanical system) 감지 및 처리 모듈을 포함하는 디바이스에서 사용되는 하나 이상의 프로세서들 및/또는 회로들을 포함하고,
상기 하나 이상의 프로세서들 및/또는 회로들은,
상기 MEMS 감지 및 처리 모듈에 의해, 인간의 숨의 방출에 의해 야기되는 움직임을 검출하고;
상기 검출에 응답하여, 상기 디바이스의 사용자 인터페이스를 제어하는 하나 이상의 제어 신호들을 생성하도록 동작 가능한 시스템.As a system for interaction,
One or more processors and / or circuits used in a device including an embedded micro-electro-mechanical system (MEMS) sensing and processing module,
The one or more processors and / or circuits,
Detecting, by the MEMS sensing and processing module, movement caused by the release of human breath;
In response to the detection, operable to generate one or more control signals for controlling the user interface of the device. 제21항에 있어서,
상기 디바이스는 퍼스널 컴퓨터(PC), 랩톱, 노트북 컴퓨터, 텔레비전(TV), 게임 콘솔, 디스플레이 디바이스, 및/또는 핸드헬드 디바이스 중 하나 이상을 포함하는 시스템.The method of claim 21,
The device includes one or more of a personal computer (PC), laptop, notebook computer, television (TV), game console, display device, and / or handheld device. 제22항에 있어서,
상기 핸드헬드 디바이스는 모바일 전화, 모바일 멀티미디어 플레이어, 내비게이션 디바이스 및/또는 원격 제어기 중 하나 이상을 포함하는 시스템.The method of claim 22,
The handheld device includes one or more of a mobile telephone, a mobile multimedia player, a navigation device and / or a remote controller. 제21항에 있어서,
상기 인간의 숨의 상기 방출에 의해 야기되는 상기 움직임의 상기 검출은 채널의 이용 없이 발생하는 시스템.The method of claim 21,
The detection of the movement caused by the release of the human breath occurs without the use of a channel. 제21항에 있어서,
상기 인간의 숨의 상기 방출에 의해 야기되는 상기 움직임의 상기 검출은 상기 인간의 숨이 열린 공간으로 및 상기 검출을 가능하게 하는 상기 MEMS 감지 및 처리 모듈 내의 하나 이상의 검출기들에 내쉬어지는 것에 응답하는 시스템.The method of claim 21,
The detection of the movement caused by the release of the human breath is responsive to being exhaled into the open space of the human and at one or more detectors in the MEMS sensing and processing module to enable the detection. . 제21항에 있어서,
상기 하나 이상의 프로세서들 및/또는 회로들은 상기 생성된 하나 이상의 제어 신호들을 외부 메모리 인터페이스, UART(universal asynchronous receiver transmitter) 인터페이스, eSPI(enhanced serial peripheral interface), GPIO(general purpose input/output) 인터페이스, PCM(pulse-code modulation) 및/또는 I2S(inter-IC sound) 인터페이스, I2C(inter-integrated circuit) 버스 인터페이스, USB(universal serial bus) 인터페이스, 블루투스 인터페이스, 지그비 인터페이스, IrDA 인터페이스, 및/또는 W-USB(wireless USB) 인터페이스 중 하나 이상을 통해 상기 디바이스에 전달하도록 동작 가능한 시스템.The method of claim 21,
The one or more processors and / or circuits may control the generated one or more control signals to an external memory interface, a universal asynchronous receiver transmitter (UART) interface, an enhanced serial peripheral interface (eSPI), a general purpose input / output (GPIO) interface, a PCM. (pulse-code modulation) and / or I 2 S (inter-IC sound) interface, I 2 C (inter-integrated circuit) bus interface, universal serial bus (USB) interface, Bluetooth interface, Zigbee interface, IrDA interface, and And / or a system operable to communicate to the device via one or more of a wireless USB (W-USB) interface. 제21항에 있어서,
상기 하나 이상의 프로세서들 및/또는 회로들은 상기 생성된 하나 이상의 제어 신호들을 통해 상기 사용자 인터페이스 내에서 탐색하도록 동작 가능한 시스템.The method of claim 21,
The one or more processors and / or circuits are operable to navigate within the user interface via the generated one or more control signals. 제21항에 있어서,
상기 하나 이상의 프로세서들 및/또는 회로들은 상기 생성된 하나 이상의 제어 신호들을 통해 상기 사용자 인터페이스 내의 하나 이상의 컴포넌트들을 선택하도록 동작 가능한 시스템.The method of claim 21,
The one or more processors and / or circuits are operable to select one or more components in the user interface via the generated one or more control signals. 제21항에 있어서,
상기 하나 이상의 프로세서들 및/또는 회로들은 상기 디바이스에 의한 통신의 개시, 확립 및/또는 종료 중 하나 이상을 가능하게 하도록 동작 가능한 시스템.The method of claim 21,
The one or more processors and / or circuits are operable to enable one or more of initiating, establishing and / or terminating communication by the device. 제21항에 있어서,
상기 하나 이상의 프로세서들 및/또는 회로들은 상기 인간의 숨의 상기 방출, 촉각 입력들, 오디오 입력들, 및/또는 상기 디바이스의 움직임들 중 하나 이상에 기초하여 상기 디바이스의 상기 사용자 인터페이스 내의 상호 작용을 가능하게 하도록 동작 가능한 시스템.The method of claim 21,
The one or more processors and / or circuits may interact with the user interface of the device based on one or more of the release, tactile inputs, audio inputs, and / or movements of the device of the human breath. System operable to enable.
KR1020127009299A 2009-09-11 2010-09-13 Method and system for controlling a user interface of a device using human breath KR20130022401A (en)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US24137609P 2009-09-11 2009-09-11
US61/241,376 2009-09-11
US24220109P 2009-09-14 2009-09-14
US61/242,201 2009-09-14
US12/813,292 US20110010112A1 (en) 1999-02-12 2010-06-10 Method and System for Controlling a User Interface of a Device Using Human Breath
US12/813,292 2010-06-10
PCT/US2010/048646 WO2011032096A2 (en) 2009-09-11 2010-09-13 Method and system for controlling a user interface of a device using human breath

Publications (1)

Publication Number Publication Date
KR20130022401A true KR20130022401A (en) 2013-03-06

Family

ID=43733125

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127009299A KR20130022401A (en) 2009-09-11 2010-09-13 Method and system for controlling a user interface of a device using human breath

Country Status (5)

Country Link
EP (1) EP2475969A4 (en)
JP (1) JP2013542470A (en)
KR (1) KR20130022401A (en)
CN (1) CN102782459A (en)
WO (1) WO2011032096A2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102266426B1 (en) * 2020-01-10 2021-06-16 이종민 Smartphone control method using breath
US11170767B2 (en) 2016-08-26 2021-11-09 Samsung Electronics Co., Ltd. Portable device for controlling external device, and audio signal processing method therefor

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9164997B2 (en) * 2012-01-19 2015-10-20 Microsoft Technology Licensing, Llc Recognizing cloud content
JP5870841B2 (en) * 2012-05-17 2016-03-01 株式会社デンソー Vehicle display device
JP2014063344A (en) * 2012-09-21 2014-04-10 Sharp Corp Portable terminal device, display program, and recording medium
CN104000719B (en) * 2013-02-22 2016-08-17 陈青越 A kind of network airflow sensor remotely controls massaging tool system
JP6488556B2 (en) * 2014-05-14 2019-03-27 凸版印刷株式会社 Terminal device, display control method, and program
CN104536556B (en) * 2014-09-15 2021-01-15 联想(北京)有限公司 Information processing method and electronic equipment
CN107481491B (en) * 2016-07-20 2019-09-20 宝沃汽车（中国）有限公司 The control system and mobile terminal of electric appliance
CN106354504B (en) * 2016-08-29 2020-08-11 北京小米移动软件有限公司 Message display method and device
CN112153269B (en) * 2019-06-27 2022-04-29 京东方科技集团股份有限公司 Picture display method, device and medium applied to electronic equipment and electronic equipment
US20230045458A1 (en) * 2020-01-31 2023-02-09 Sony Group Corporation Information processing apparatus and information processing method
CN111588955A (en) * 2020-05-27 2020-08-28 北京无线电测量研究所 Breathing machine shows accuse terminal
CN111625146B (en) * 2020-05-27 2023-08-04 北京无线电测量研究所 Electronic product with double touch screens
CN111627371A (en) * 2020-05-27 2020-09-04 北京无线电测量研究所 Electronic product with double display screens
WO2023036810A1 (en) * 2021-09-07 2023-03-16 PI-A Creative Systems Ltd Method for detecting user input to a breath input configured user interface

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6213955B1 (en) * 1998-10-08 2001-04-10 Sleep Solutions, Inc. Apparatus and method for breath monitoring
US6449496B1 (en) * 1999-02-08 2002-09-10 Qualcomm Incorporated Voice recognition user interface for telephone handsets
US7739061B2 (en) * 1999-02-12 2010-06-15 Pierre Bonnat Method and system for controlling a user interface of a device using human breath
ES2254141T3 (en) * 1999-02-12 2006-06-16 Pierre Bonnat PROCEDURE AND CONTROL DEVICE OF AN ELECTRONIC OR INFORMATIC SYSTEM THROUGH A FLUID FLOW.
US20110178613A9 (en) * 2000-02-14 2011-07-21 Pierre Bonnat Method And System For Processing Signals For A MEMS Detector That Enables Control Of A Device Using Human Breath
US9116544B2 (en) * 2008-03-26 2015-08-25 Pierre Bonnat Method and system for interfacing with an electronic device via respiratory and/or tactual input
JP2004177992A (en) * 2002-11-22 2004-06-24 Panasonic Mobile Communications Co Ltd Mobile terminal with wind pressure sensor, and program executable by mobile terminal with wind pressure sensor
US7580540B2 (en) * 2004-12-29 2009-08-25 Motorola, Inc. Apparatus and method for receiving inputs from a user
US7587277B1 (en) * 2005-11-21 2009-09-08 Miltec Corporation Inertial/magnetic measurement device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170767B2 (en) 2016-08-26 2021-11-09 Samsung Electronics Co., Ltd. Portable device for controlling external device, and audio signal processing method therefor
KR102266426B1 (en) * 2020-01-10 2021-06-16 이종민 Smartphone control method using breath

Also Published As

Publication number Publication date
JP2013542470A (en) 2013-11-21
WO2011032096A3 (en) 2014-03-20
EP2475969A4 (en) 2016-11-02
CN102782459A (en) 2012-11-14
WO2011032096A2 (en) 2011-03-17
EP2475969A2 (en) 2012-07-18

Similar Documents

Publication Publication Date Title
US9753533B2 (en) Method and system for controlling a user interface of a device using human breath
KR20130022401A (en) Method and system for controlling a user interface of a device using human breath
US8701015B2 (en) Method and system for providing a user interface that enables control of a device via respiratory and/or tactual input
US11692840B2 (en) Device, method, and graphical user interface for synchronizing two or more displays
US7739061B2 (en) Method and system for controlling a user interface of a device using human breath
EP3246788B1 (en) Head mounted display device and method for controlling the same
KR102540163B1 (en) Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments
US9116544B2 (en) Method and system for interfacing with an electronic device via respiratory and/or tactual input
US11635928B2 (en) User interfaces for content streaming
US9250443B2 (en) Head mounted display apparatus and contents display method
US9007299B2 (en) Motion control used as controlling device
JP6083072B2 (en) Smart air mouse
US20170322622A1 (en) Head mounted display device and method for controlling the same
US11966556B2 (en) User interfaces for tracking and finding items
US20130254714A1 (en) Method and apparatus for providing floating user interface
TW201621612A (en) Column interface for navigating in a user interface
CN105739813A (en) User terminal device and control method thereof
US20150193103A1 (en) User terminal apparatus and control method thereof
CN102272707A (en) Gesture mapped scrolling
WO2013058546A1 (en) Display apparatus and contents display method
EP2538308A2 (en) Motion-based control of a controllled device
JP2023519389A (en) Scratchpad creation method and electronic device
CN108292193B (en) Cartoon digital ink
US20220289029A1 (en) User interfaces with variable appearances
CN114995710A (en) Wearable device interaction method, wearable device and readable storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application