TWI490778B - 來自使用者的音頻輸入 - Google Patents

來自使用者的音頻輸入 Download PDF

Info

Publication number
TWI490778B
TWI490778B TW102113029A TW102113029A TWI490778B TW I490778 B TWI490778 B TW I490778B TW 102113029 A TW102113029 A TW 102113029A TW 102113029 A TW102113029 A TW 102113029A TW I490778 B TWI490778 B TW I490778B
Authority
TW
Taiwan
Prior art keywords
user
computing device
audio input
viewing
sensor
Prior art date
Application number
TW102113029A
Other languages
English (en)
Other versions
TW201403458A (zh
Inventor
Evan Scheessele
Original Assignee
Hewlett Packard Development Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co filed Critical Hewlett Packard Development Co
Publication of TW201403458A publication Critical patent/TW201403458A/zh
Application granted granted Critical
Publication of TWI490778B publication Critical patent/TWI490778B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Description

來自使用者的音頻輸入
本發明係關於用於接收音頻輸入之方法及其計算裝置。
當使用一裝置以輸入一例如是音頻輸入的輸入時，使用者最 初可以使用該計算裝置的一例如是滑鼠或鍵盤的輸入構件，以致能該計算裝置的一音頻輸入構件。該使用者可以繼續使用該滑鼠或鍵盤以在該計算裝置上啟動一應用程式，以接收來自該使用者的音頻輸入。當該使用者操縱該輸入構件時，時間可能被浪費掉，而且該使用者可能會犯錯，此導致令人沮喪的使用者經驗。
根據一第一觀點，本申請案提供一種計算裝置，其係包括：一用以偵測一觀看該計算裝置的使用者的感測器；一用以在該使用者被偵測到為觀看該計算裝置時輸出一提示訊號的輸出構件；以及一控制器，其係用以在該感測器偵測到該使用者繼續觀看與被輸出的該提示訊號相關的該計算裝置一段預設的時間量時，利用一音頻輸入構件以接收來自該使用者的一音頻輸入。
根據一第二觀點，本申請案提供一種用於接收音頻輸入之方法，其係包括：利用一感測器偵測觀看一計算裝置之一使用者；若該使用者正在觀看該計算裝置，則利用一輸出構件以輸出一提示訊號；判斷該使 用者是否正在觀看該輸出構件一段預設的時間量；以及若該使用者正在觀看該輸出構件該段預設的時間量，則啟動該計算裝置的一傾聽模式以接收來自該使用者的一音頻輸入。
根據一第三觀點，本申請案提供一種包括指令之非揮發性電 腦可讀取媒體，若執行該些指令，其係使得一控制器以：利用一感測器來偵測觀看一計算裝置的一使用者；若該使用者正在觀看該計算裝置，則利用一輸出構件來輸出一提示訊號；偵測該使用者是否持續觀看與被輸出的該提示訊號相關的該輸出構件一段預設的時間量；以及若該使用者正在觀看該輸出構件該段預設的時間量，則啟動該計算裝置的一傾聽模式以接收來自該使用者的一音頻輸入。
100‧‧‧計算裝置
120‧‧‧控制器
130‧‧‧感測器
140‧‧‧音頻輸入構件
145‧‧‧音頻輸入
150‧‧‧通訊通道
160‧‧‧輸出構件
165‧‧‧提示訊號
200‧‧‧計算裝置
205‧‧‧使用者
230‧‧‧感測器
240‧‧‧音頻輸入構件
260‧‧‧輸出構件
265‧‧‧提示訊號
310‧‧‧語音應用程式
320‧‧‧控制器
330‧‧‧感測器
340‧‧‧音頻輸入構件
360‧‧‧輸出構件
400-430‧‧‧步驟
500-580‧‧‧步驟
所揭露的實施例的各種特點及優點從以下結合所附的圖式所做的詳細說明將會是明顯的，該詳細說明與圖式係一起描繪例如是所揭露的實施例的特點。
圖1係描繪根據一例子的一種具有一感測器、一輸出構件以及一音頻輸入構件之計算裝置。
圖2係描繪根據一例子的一輸出提示訊號的輸出構件以及一偵測觀看計算裝置的使用者的感測器。
圖3係描繪根據一例子的一偵測來自使用者的音頻輸入之語音應用程式的方塊圖。
圖4是描繪根據一例子的一種用於偵測音頻輸入之方法的流程圖。
圖5是描繪根據一例子的一種用於偵測音頻輸入之方法的流程圖。
一種計算裝置係包含一例如是影像捕捉構件的感測器，以偵測觀看該計算裝置的使用者。為了此申請案之目的，若該感測器偵測到使用者的臉或眼睛面對該計算裝置，則該使用者是正在觀看該計算裝置。若該使用者正在觀看該計算裝置，則一例如是視覺指示器、音頻輸出揚聲器及/或觸覺回授的馬達之輸出構件可以提供一提示訊號給該使用者。該提示訊號可以是一視覺、音頻及/或觸覺回授的提示訊號，其係通知該使用者該計算裝置係備妥以接收來自該使用者的音頻輸入。當該提示訊號被輸出時，該計算裝置可以使用該感測器以偵測觀看該計算裝置及/或該輸出構件的使用者一段預設的時間量。
若該計算裝置判斷該使用者在該提示訊號被輸出時正繼續觀看該計算裝置該預設的時間量，則該計算裝置可以確認該使用者想要和該計算裝置介接。該計算裝置的一例如是麥克風的音頻輸入構件接著可以接收來自該使用者的一音頻輸入。在一實施例中，當接收音頻輸入時，該計算裝置係啟動該計算裝置的一傾聽模式以致能、取消靜音及/或校準該音頻輸入構件，以接收來自該使用者的音頻輸入。該些音頻輸入可以是一語音命令、一語音詢問及/或任何由該使用者產生並且藉由該計算裝置接收作為一輸入之額外的聲音。因此，該使用者可以在不實際使用或操縱該計算裝置的輸入構件下，便利地利用音頻輸入和該裝置互動。
圖1係描繪根據一例子的一種具有一感測器130、一輸出構件160以及一音頻輸入構件140之計算裝置100。在一實施例中，該計算裝置100可以是一桌上型電腦、一膝上型電腦、一筆記型電腦、一平板電腦、 一小筆電、一個全一體化系統及/或一伺服器。在另一實施例中，該計算裝置100可以是一蜂巢式裝置、一PDA(個人數位助理)、一電子書、一平板電腦、一攝影機、及/或任何可包含一感測器130、一輸出構件160以及一音頻構件140之額外的裝置。
該計算裝置100係包含一控制器120、一感測器130、一輸 出構件160、一音頻輸入構件140以及一用於該計算裝置100及/或該裝置100的一或多個構件彼此通訊的通訊通道150。在一實施例中，該計算裝置100亦包含一儲存在一內含在該計算裝置100中或是該計算裝置100可存取之非揮發性電腦可讀取的媒體上的語音應用程式。為了此申請案之目的，該語音應用程式是一可以獨立地被利用及/或結合該控制器120被利用的應用程式，以管理該計算裝置100的音頻輸入145。為了此申請案之目的，音頻輸入145係包含一來自使用者而被接收作為一用於該計算裝置100的輸入之語音及/或聲音。
當管理音頻輸入145時，一感測器130最初可被用來偵測一 使用者是否正在觀看該計算裝置100。為了此申請案之目的，該感測器130是一例如為影像捕捉構件及/或紅外線構件的硬體構件，其可以捕捉在該計算裝置100的前面之一視景以偵測一觀看該計算裝置100的使用者。偵測觀看該計算裝置100的使用者係包含判斷該使用者的臉是否面對該計算裝置100。在一實施例中，該控制器320及/或該語音應用程式可以使用人臉偵測技術及/或視線偵測技術以判斷該使用者的臉或眼睛是否正在觀看該計算裝置100。
若該使用者被偵測到是在觀看該計算裝置100，則該控制器 120及/或該語音應用程式係指示一輸出構件160來輸出一提示訊號165給該使用者。為了此申請案之目的，一提示訊號165是一來自該輸出構件160的信號或通知，以通知該使用者該計算裝置100係備妥以接收來自該使用者的音頻輸入145。該輸出構件160是該計算裝置100的一硬體構件，其可以提供一視覺的提示訊號、一音頻提示訊號及/或一觸覺回授的提示訊號給該使用者。在一實施例中，該輸出構件160可以是一視覺指示器、一音頻輸出揚聲器、一觸覺馬達及/或任何可以輸出一提示訊號165之額外的構件。
該控制器110及/或該語音應用程式可以使用該感測器130 以偵測該使用者是否正在觀看該計算裝置100一段預設的時間量。該預設的時間量可以藉由該控制器120、語音應用程式及/或該使用者來界定。例如，該預設的時間量可被界定為半秒、2秒、或是任何另外的時間量。若該感測器130偵測到該使用者繼續觀看該計算裝置100該預先界定的時間量，則該控制器110及/或該語音應用程式係判斷該使用者正在觀看該計算裝置100該預設的時間量。
在另一實施例中，當偵測該使用者觀看該計算裝置100該預 設的時間量時，該感測器130可進一步偵測該使用者觀看該計算裝置100的輸出構件160。該控制器120及/或該語音應用程式可以辨識該使用者的一視線來判斷該使用者是否正在觀看該計算裝置100及/或該輸出構件160。該控制器120及/或該語音應用程式可以使用人臉偵測技術及/或視線偵測技術以辨識該使用者的視線。
若該使用者持續觀看該計算裝置100及/或該輸出構件160 該預設的時間量，則該控制器120及/或該語音應用程式可以判斷該使用者 的意圖是要和該計算裝置100互動，並且繼續利用一音頻輸入構件140以接收來自該使用者的音頻輸入145。為了此申請案之目的，該音頻輸入構件140是一例如是麥克風的硬體構件，其可以接收來自該使用者的音頻輸入145。
為了此申請案之目的，一音頻輸入145係包含來自該使用者 之可聽見的聲音，該控制器110及/或該語音應用程式可以接收該聲音作為一用於該計算裝置100的輸入。例如，該音頻輸入145可以是一傳送給該計算裝置100的語音命令及/或一詢問。在一實施例中，接收音頻輸入145係包含該控制器120及/或該語音應用程式啟動該計算裝置100的一傾聽模式。為了此申請案之目的，該計算裝置100的傾聽模式係對應於該計算裝置100的一輸入模式，以接收來自該使用者的音頻輸入145。若該計算裝置100是在該傾聽模式，則該音頻輸入構件140係被致能並且取消靜音以接收該音頻輸入145。
圖2係描繪根據一例子，一輸出構件260係回應於一感測器 230偵測到一觀看計算裝置200的使用者205來輸出一提示訊號265。為了此申請案之目的，該感測器230是該計算裝置200的一硬體構件，其係偵測觀看該計算裝置200的使用者205。該感測器230可以是一影像捕捉構件、一紅外線構件及/或任何可以偵測觀看該計算裝置200的使用者205之額外的構件。在一實施例中，該感測器230亦可以偵測該使用者205在該計算裝置200的周圍的身體貼近。該使用者205的身體貼近係對應於該使用者到該音頻輸入構件240的一位置或距離。該使用者205可以是任何可以和該計算裝置200互動並且輸入一或多個音頻輸入至該計算裝置200的人。
該感測器230最初可以捕捉在該計算裝置200的前面的一視 景，以偵測該使用者205。若該使用者205被偵測到，則該控制器及/或該語音應用程式可以使用人臉偵測技術及/或視線偵測技術來偵測該使用者205是否正在觀看該計算裝置200。該控制器及/或該語音應用程式可以使用該人臉偵測技術及/或視線偵測技術來判斷該計算裝置200是否在該使用者205的視線內。若該計算裝置200是在該使用者的視線內，則該控制器及/或該語音應用程式係判斷出該使用者205正在觀看該計算裝置200。
若該使用者205被偵測到是正在觀看該計算裝置200，則該 輸出構件260繼續輸出一提示訊號265以通知該使用者205該計算裝置200是備妥以接收來自該使用者205的音頻輸入。在一實施例中，該控制器及/或該語音應用程式可進一步在指示該輸出構件260輸出該提示訊號265之前，先判斷該使用者是否持續觀看該計算裝置200一段預設的時間量。如上所提到的，該預設的時間量可以藉由該控制器、語音應用程式及/或藉由該使用者205來加以界定為半秒、2秒及/或任何的時間量。
若該使用者205持續觀看該計算裝置200該預設的時間量， 則該輸出構件260可被利用以輸出一提示訊號265。為了此申請案之目的，該輸出構件260是該計算裝置200的一輸出該提示訊號265的硬體構件，例如一視覺指示器、一顯示器構件、一音頻輸出揚聲器及/或一觸覺馬達。該提示訊號265係包含一視覺的信號、一音頻信號、一觸覺回授及/或任何額外的提示訊號265中之至少一個，其係通知該使用者205該計算裝置200是備妥以接收音頻輸入。例如，該視覺的信號可以是一光源照明。該音頻信號可以是一被輸出之可聽見的音調。該觸覺回授可包含一或多個震動。
在一實施例中，該輸出構件260是一具有有限的視野之方向 性的視覺指示器，並且該提示訊號265係根據該使用者205的位置而被輸出給該使用者205。如上所提到的，該感測器230可被利用以偵測該使用者205的一身體位置或貼近。該方向性的視覺指示器可包含一陣列的光源，其係具有一有限的視野。在該使用者205的附近的一或多個光源可被點亮以輸出該提示訊號265以讓該使用者205看到。其它不在該使用者205的附近之光源則不被點亮。因此，該使用者205以及該計算裝置200的安全性可以增高，此係藉由在該提示訊號265的一有限的視野內輸出該提示訊號265使得其它個人並不會察覺到該提示訊號265並且看見該使用者205和該計算裝置200互動。
當該提示訊號265藉由該輸出構件260被輸出時，該控制器 及/或該語音應用程式係判斷該使用者205是否正在觀看和被輸出的提示訊號265相關之計算裝置200預設的時間量。為了此申請案之目的，若該使用者205在該輸出構件160輸出該提示訊號265時持續觀看該計算裝置200，則該使用者205可被判斷為正在觀看和該提示訊號265相關的計算裝置200。例如，若該使用者205是和該提示訊號265被輸出並行地持續觀看該計算裝置200該預設的時間量，則該使用者205係被判斷為正在觀看和被輸出的提示訊號265相關之計算裝置200。
在另一實施例中，相對於觀看該計算裝置200，該控制器及 /或該語音應用程式可以偵測觀看和被輸出的提示訊號265相關之輸出構件260該預設的時間量之使用者205。在其它實施例中，該感測器230亦偵測一在該使用者205的臉部表情或是來自該使用者205之持續的注視上的變化。當偵測在臉部表情上的變化時，該感測器230係偵測一笑容、一皺眉、 一眨眼、一挑眉及/或任何在來自該使用者205的臉部表情上之另外的變化。當偵測持續的注視時，該感測器230係偵測持續觀看該計算裝置200或輸出構件260該預設的時間量之使用者205的臉或眼睛。
若該使用者205正在觀看和被輸出的提示訊號265相關之計 算裝置200及/或輸出構件260該預設的時間量，則該控制器及/或該語音應用程式係判斷該使用者想要利用一音頻輸入來和該計算裝置200互動。如在圖2中所示，一音頻輸入構件240可被利用以偵測來自該使用者205的音頻輸入。為了此申請案之目的，該音頻輸入構件240是一例如是麥克風的硬體構件，其係偵測語音、聲音及/或雜訊以作為一用於該計算裝置200的音頻輸入。在一實施例中，來自該使用者205的音頻輸入可以是一用於該計算裝置200執行一指令或命令的語音命令。該指令或命令可以是啟動或終止一應用程式、開啟或關閉一檔案及/或聽寫被輸入到電子郵件、一應用程式及/或一網路瀏覽器中的字母與數字的文字。
在另一實施例中，該音頻輸入可以是一針對於來自該計算裝 置200的資訊之語音詢問。該詢問可以是針對於該計算裝置200的一狀態、針對於一本地的氣象預報及/或針對於可從該計算裝置200或是另一裝置擷取的資訊。當捕捉來自該使用者205的一語音命令及/或一詢問時，該感測器230可進一步捕捉該使用者的205的嘴部之一視景。該使用者205的嘴部的視景可被該控制器及/或該語音應用程式利用來改善辨識來自該使用者205的一語音命令及/或一詢問的正確性。在其它實施例中，該使用者205可以使用一手、一身體部分及/或一配件來產生音訊以供該音頻輸入構件240接收作為一音頻輸入。
圖3係描繪根據一例子的一種偵測來自一使用者的音頻輸 入之語音應用程式310的方塊圖。如上所提到的，該語音應用程式310可獨立地及/或結合該控制器320而被利用以管理音頻輸入。在一實施例中，該語音應用程式310可以是一被內嵌到該計算裝置的一或多個構件之韌體。 在另一實施例中，該語音應用程式310可以是一可從該計算裝置之一非揮發性電腦可讀取的記憶體利用之應用程式。該電腦可讀取的記憶體是一實體的裝置，其係包含、儲存、通訊或是傳輸該應用程式，以供該裝置使用或是與該裝置連線。在一實施例中，該電腦可讀取的記憶體是一硬碟機、一光碟、一隨身碟、一網路磁碟機或是任何耦接至該計算裝置之其它型式的實體裝置。
如在圖3中所示，該感測器330已經偵測到一觀看該計算裝 置的使用者。作為回應的是，該控制器320及/或該語音應用程式310係指示該輸出構件360輸出一視覺、音頻及/或觸覺回授的提示訊號給該使用者。在一實施例中，當該提示訊號被輸出時，該控制器320及/或該語音應用程式310可以利用臉部辨識技術來驗證該使用者。該控制器320及/或該語音應用程式310可以指示該感測器330來捕捉該使用者的臉的一影像，並且比較該使用者的臉的影像與該計算裝置之驗證過的使用者的影像。該些驗證過的使用者的影像可以是本地儲存在該計算裝置的一儲存構件上、或是在該控制器320及/或該語音應用程式310可存取的另一裝置上。
在一實施例中，若該使用者的影像並不符合一驗證過的使用 者的影像，則該使用者係驗證失敗，並且該控制器320及/或該語音應用程式310係禁能該計算裝置的一傾聽模式。當禁能該傾聽模式時，該控制器 320及/或該語音應用程式310可以禁能該音頻輸入構件340、靜音該音頻輸入構件340及/或拒絕任何來自該使用者的音頻輸入。若該使用者的影像符合一驗證過的使用者的影像，則該使用者將會已經成功地被驗證，並且該控制器320及/或該語音應用程式310係繼續判斷該使用者是否持續觀看該計算裝置或輸出構件一段預設的時間量。
若該使用者被判斷出是正在觀看該計算裝置及/或該輸出構 件該預設的時間量，則該控制器320及/或該輸入應用程式310係判斷該使用者想要和該計算裝置互動，並且繼續啟動該傾聽模式。在另一實施例中，該控制器320及/或該語音應用程式310可進一步在該使用者持續觀看該計算裝置及/或該輸出構件時，偵測來自該使用者的持續的注視或是臉部表情上的變化。藉由偵測該持續的注視或是在臉部表情上的變化，該控制器320及/或該語音應用程式310可進一步確認該使用者要和該計算裝置互動的意圖。
該控制器320及/或該語音應用程式310接著可以啟動該計 算裝置的傾聽模式。當啟動該傾聽模式時，該控制器320及/或該語音應用程式310可以致能該音頻輸入構件340並且取消靜音該音頻輸入構件340，以接收來自該使用者的音頻輸入。在一實施例中，當啟動該傾聽模式時，該控制器320及/或該語音應用程式係載入一和該使用者的一身分相關的話音(speech)輪廓。為了此申請案之目的，該話音輪廓係包含使用者的語音或話音模式的資訊，該控制器320及/或該語音應用程式310係使用該資訊來改善偵測及辨識來自該使用者的一音頻輸入。該資訊可包含該使用者的話音的一音調、該使用者說話的一速率、該使用者的話音的一發音及/或任何 該使用者的語音或話音模式之額外的資訊。
在一實施例中，該控制器320及/或該語音應用程式310亦 指示該感測器330偵測該使用者相對於該音頻輸入構件340的身體貼近。如上所提到的，該使用者的身體貼近係對應於該使用者到該音頻輸入構件340的一位置或距離。根據該使用者的該位置及距離，該控制器320及/或該語音應用程式310可以校準該音頻輸入構件340以改善偵測來自該使用者的音頻輸入的正確性。校準該音頻輸入構件340可包含導引該音頻輸入構件340以從該使用者的一位置接收音頻輸入。在另一實施例中，校準該音頻輸入構件340可包含根據該使用者的該位置及/或距離來施加一雜訊濾波或抵消的演算法。
回應於偵測到來自該使用者的音頻輸入，該控制器320及/ 或該語音應用程式310係辨識和來自該使用者的音頻輸入相關的該計算裝置的一命令、指令、輸入及/或詢問。在一實施例中，當該音頻輸入被該音頻輸入構件340偵測到時，該感測器330亦可以捕捉該使用者的嘴部的一視景。藉由捕捉該使用者的嘴部的視景，辨識對應於該音頻輸入的該計算裝置的命令、指令及/或查詢的正確性可被改善。該使用者的嘴部的視景亦可被利用作為一用於該音頻輸入構件340開始接收來自該使用者的音頻輸入的提示。
圖4是描繪根據一例子的一種用於偵測音頻輸入之方法的 流程圖。一例如在影像捕捉構件中的感測器最初可以在400之處偵測一觀看該計算裝置的使用者。若該使用者正在觀看該計算裝置，則該控制器及/或該語音應用程式可以在410之處指示一例如是一視覺指示器、音頻揚聲 器及/或一觸覺馬達的輸出構件來輸出一視覺、音頻及/或觸覺回授提示訊號。該提示訊號可被利用來通知該使用者該計算裝置係備妥以啟動一傾聽模式，以接收來自該使用者的音頻輸入。當該提示訊號被輸出時，該控制器及/或該語音應用程式可以在420之處判斷該使用者是否在該提示訊號被輸出時繼續觀看該輸出構件一段預設的時間量。若該使用者持續觀看該輸出構件該預設的時間量，則該控制器及/或該語音應用程式係判斷該使用者想要輸入一語音命令及/或詢問，並且該計算裝置的一傾聽模式係在430之處針對一音頻輸入構件來加以啟動，以接收來自該使用者的一音頻輸入。 該方法接著完成。在其它實施例中，圖4的方法係包含除了那些在圖4中描繪的步驟之外及/或替代的額外步驟。
圖5是描繪根據一例子的一種用於偵測音頻輸入之方法的 流程圖。一例如是影像捕捉構件的感測器可被利用來捕捉一使用者的視景，並且該控制器及/或該語音應用程式可以在500之處使用人臉偵測技術及/或視線偵測技術來判斷該使用者是否正在觀看該計算裝置。該控制器及/或該語音應用程式係在510之處藉由判斷該使用者的臉是否面對該計算裝置及/或該使用者的視線是否觀看該計算裝置，以偵測該使用者是否正在觀看該計算裝置。若該使用者並未觀看該計算裝置，則該控制器及/或該語音應用程式繼續在500之處偵測觀看該計算裝置的使用者。
若該使用者被判斷出是正在觀看該計算裝置，一輸出構件可 在520之處被利用以輸出一視覺、音頻及/或觸覺回授的提示訊號來通知該使用者該計算裝置係備妥以啟動一傾聽模式。當該提示訊號被輸出時，該控制器及/或該語音應用程式可以在530之處判斷該使用者是否持續觀看該 輸出構件一段預設的時間量。若該使用者並不觀看該輸出構件該預設的量，則該控制器及/或該語音應用程式繼續在500之處偵測觀看該計算裝置的使用者。
在一實施例中，若該使用者被判斷出是正在觀看該輸出構件 該預設的時間量，則該控制器及/或該語音應用程式可以在540之處判斷在臉部表情上的一變化，例如一挑眉、一眨眼及/或一笑容是否已經在該使用者上偵測到。若在臉部表情沒有偵測到變化，則該控制器及/或該語音應用程式在530之處繼續判斷該使用者是否正在觀看該輸出構件該預設的時間量。若在臉部表情偵測到一變化，則該使用者接著可以在550之處利用臉部辨識技術來加以驗證。若該使用者驗證失敗，則一傾聽模式並不予以啟動，並且該控制器及/或該語音應用程式在500之處繼續偵測是否另一使用者正在觀看該計算裝置。
若該使用者成功地加以驗證，則該控制器及/或該語音應用 程式係在560之處載入一和該使用者的身分相關的話音輪廓。該話音輪廓係被用來改善偵測及辨識來自該使用者的一音頻輸入。該控制器及/或該語音應用程式接著可以在570之處藉由致能一例如是麥克風的音頻輸入構件來啟動該計算裝置的傾聽模式，以接收來自該使用者的一音頻輸入。在一實施例中，該感測器及/或該音頻輸入構件亦可以在580之處辨識該使用者的身體貼近，並且根據該使用者的身體貼近來繼續校準該音頻輸入構件。 在另一實施例中，當該傾聽模式被啟動時，該控制器及/或該語音應用程式亦可以禁能在該計算裝置上之其它形式的輸入，例如觸控輸入、鍵盤輸入、滑鼠輸入及/或其它形式的用於該計算裝置的輸入。該方法係接著完成。在 其它實施例中，圖5的方法係包含除了那些在圖5中描繪的步驟之外及/或替代之額外的步驟。
100‧‧‧計算裝置
120‧‧‧控制器
130‧‧‧感測器
140‧‧‧音頻輸入構件
145‧‧‧音頻輸入
150‧‧‧通訊通道
160‧‧‧輸出構件
165‧‧‧提示訊號

Claims (15)

  1. 一種計算裝置，其係包括：一用以偵測一觀看該計算裝置的使用者的感測器；一用以在該使用者被偵測到為觀看該計算裝置時輸出一提示訊號的輸出構件；以及一控制器，其係用以在該感測器偵測到該使用者繼續觀看與被輸出的該提示訊號相關的該計算裝置一段預設的時間量時，利用一音頻輸入構件以接收來自該使用者的一音頻輸入，其中，該感測器可進一步捕捉該使用者的嘴部之一視景，且其中該使用者的嘴部的視景可被該控制器利用來改善辨識來自該使用者的該音頻輸入的正確性。
  2. 如申請專利範圍第1項之計算裝置，其中該提示訊號係包含一視覺信號、一音頻信號、一觸覺回授中的其中至少一個，其係對該使用者指出該計算裝置係備妥以啟動一傾聽模式來接收音頻輸入。
  3. 如申請專利範圍第1項之計算裝置，其中該音頻輸入是一來自該使用者的語音命令或詢問。
  4. 如申請專利範圍第1項之計算裝置，其中該感測器係包含一影像捕捉構件以及一紅外線構件中的其中至少一個。
  5. 如申請專利範圍第1項之計算裝置，其中該輸出構件係包含一視覺指示器、一音頻揚聲器以及一觸覺馬達中的其中至少一個，以輸出該提示訊號。
  6. 如申請專利範圍第1項之計算裝置，其中該控制器係在偵測該使用者 觀看該計算裝置時，偵測來自該使用者之一持續的注視或是在該使用者的一臉部表情上的一變化。
  7. 一種用於接收音頻輸入之方法，其係包括：利用一感測器偵測觀看一計算裝置之一使用者；若該使用者正在觀看該計算裝置，則利用一輸出構件以輸出一提示訊號；判斷該使用者是否正在觀看該輸出構件一段預設的時間量；以及若該使用者正在觀看該輸出構件該段預設的時間量，則啟動該計算裝置的一傾聽模式以接收來自該使用者的一音頻輸入，其中，該感測器可進一步捕捉該使用者的嘴部之一視景，且其中該使用者的嘴部的視景可被該計算裝置利用來改善辨識來自該使用者的該音頻輸入的正確性。
  8. 如申請專利範圍第7項之用於接收音頻輸入之方法，其進一步包括若該使用者正在觀看該輸出構件，則利用臉部辨識技術來驗證該使用者。
  9. 如申請專利範圍第7項之用於接收音頻輸入之方法，其進一步包括載入一和該使用者的一身分相關的語音輪廓。
  10. 如申請專利範圍第7項之用於接收音頻輸入之方法，其進一步包括利用該感測器來辨識該使用者的一身體貼近，並且根據該使用者的該身體貼近來校準該計算裝置的一音頻輸入構件。
  11. 如申請專利範圍第8項之用於接收音頻輸入之方法，其中若該使用者的驗證失敗，則該計算裝置的該傾聽模式並不被致能。
  12. 一種包括指令之非揮發性電腦可讀取媒體，若執行該些指令，其係 使得一控制器以：利用一感測器來偵測觀看一計算裝置的一使用者；若該使用者正在觀看該計算裝置，則利用一輸出構件來輸出一提示訊號；偵測該使用者是否持續觀看與被輸出的該提示訊號相關的該輸出構件一段預設的時間量；以及若該使用者正在觀看該輸出構件該段預設的時間量，則啟動該計算裝置的一傾聽模式以接收來自該使用者的一音頻輸入，其中，該感測器可進一步捕捉該使用者的嘴部之一視景，且其中該使用者的嘴部的視景可被該計算裝置利用來改善辨識來自該使用者的該音頻輸入的正確性。
  13. 如申請專利範圍第12項之非揮發性電腦可讀取媒體，其中在該音頻輸入構件偵測來自該使用者的該音頻輸入時，該感測器係另外捕捉該使用者的嘴部的一視景。
  14. 如申請專利範圍第12項之非揮發性電腦可讀取媒體，其中該控制器係辨識與音頻輸入以及該使用者的嘴部的該視景相關之該計算裝置的一輸入命令。
  15. 如申請專利範圍第12項之非揮發性電腦可讀取媒體，其中該輸出構件是具有一有限的視野之方向性的視覺指示器，並且該提示訊號係根據該使用者的一位置而被輸出給該使用者。
TW102113029A 2012-04-27 2013-04-12 來自使用者的音頻輸入 TWI490778B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/035538 WO2013162603A1 (en) 2012-04-27 2012-04-27 Audio input from user

Publications (2)

Publication Number Publication Date
TW201403458A TW201403458A (zh) 2014-01-16
TWI490778B true TWI490778B (zh) 2015-07-01

Family

ID=49483700

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102113029A TWI490778B (zh) 2012-04-27 2013-04-12 來自使用者的音頻輸入

Country Status (7)

Country Link
US (1) US9626150B2 (zh)
EP (1) EP2842014A4 (zh)
JP (1) JP6001758B2 (zh)
CN (1) CN104094192B (zh)
BR (1) BR112014018604B1 (zh)
TW (1) TWI490778B (zh)
WO (1) WO2013162603A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI832575B (zh) * 2022-11-23 2024-02-11 酷碼科技股份有限公司 振動裝置及其運作方法

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
JP5872736B2 (ja) * 2013-10-21 2016-03-01 三井化学株式会社 光学材料用重合性組成物および光学材料
TWI514258B (zh) * 2014-02-17 2015-12-21 Hooloop Corp 語音管理方法及系統，及其電腦程式產品
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
JP6555858B2 (ja) * 2014-08-01 2019-08-07 シャープ株式会社 機器、音声出力方法、音声出力プログラム、ネットワークシステム、サーバ、および通信機器
KR102337682B1 (ko) * 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
KR102390853B1 (ko) * 2015-03-26 2022-04-27 삼성전자주식회사 컨텐츠 제공 방법 및 이를 수행하는 전자 장치
FR3034215B1 (fr) * 2015-03-27 2018-06-15 Valeo Comfort And Driving Assistance Procede de commande, dispositif de commande, systeme et vehicule automobile comprenant un tel dispositif de commande
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
TWI564791B (zh) * 2015-05-19 2017-01-01 卡訊電子股份有限公司 播音控制系統、方法、電腦程式產品及電腦可讀取紀錄媒體
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
JP6516585B2 (ja) * 2015-06-24 2019-05-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御装置、その方法及びプログラム
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
WO2017160487A1 (en) * 2016-03-14 2017-09-21 Apple Inc. lDENTIFICATION OF VOICE INPUTS PROVIDING CREDENTIALS
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10103699B2 (en) * 2016-09-30 2018-10-16 Lenovo (Singapore) Pte. Ltd. Automatically adjusting a volume of a speaker of a device based on an amplitude of voice input to the device
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10366691B2 (en) * 2017-07-11 2019-07-30 Samsung Electronics Co., Ltd. System and method for voice command context
US20190050195A1 (en) * 2017-08-14 2019-02-14 Lenovo (Singapore) Pte. Ltd. Output provision based on gaze detection
US11295735B1 (en) * 2017-12-13 2022-04-05 Amazon Technologies, Inc. Customizing voice-control for developer devices
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
EP4130941A1 (en) * 2018-05-04 2023-02-08 Google LLC Hot-word free adaptation of automated assistant function(s)
KR20230173211A (ko) 2018-05-04 2023-12-26 구글 엘엘씨 감지된 입 움직임 및/또는 시선을 기반으로 자동화된 어시스턴트 적응
JP7277569B2 (ja) 2018-05-04 2023-05-19 グーグル エルエルシー 検出されたジェスチャおよび凝視に基づく自動化アシスタントの機能の呼び出し
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
CN108854052A (zh) * 2018-06-22 2018-11-23 福州市马尾区朱雀网络信息技术有限公司 一种游戏声音实时反馈方法和***
EP3848788A4 (en) 2018-09-07 2021-11-10 Sony Group Corporation TERMINAL DEVICE AS WELL AS THE MANUFACTURING PROCESS OF THE SAME, AND RECORDING MEDIA
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11151993B2 (en) * 2018-12-28 2021-10-19 Baidu Usa Llc Activating voice commands of a smart display device based on a vision-based mechanism
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11271762B2 (en) * 2019-05-10 2022-03-08 Citrix Systems, Inc. Systems and methods for virtual meetings
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN110602556A (zh) * 2019-09-20 2019-12-20 深圳创维－Rgb电子有限公司 播放方法、云端服务器及存储介质
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11955137B2 (en) 2021-03-11 2024-04-09 Apple Inc. Continuous dialog with a digital assistant
US12021806B1 (en) 2021-09-21 2024-06-25 Apple Inc. Intelligent message delivery
US12020704B2 (en) 2022-01-19 2024-06-25 Google Llc Dynamic adaptation of parameter set used in hot word free adaptation of automated assistant

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060192775A1 (en) * 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
TW200720991A (en) * 2005-11-22 2007-06-01 Delta Electronics Inc Voice control methods
CN101674363A (zh) * 2009-09-23 2010-03-17 中兴通讯股份有限公司 移动设备及通话方法
TW201033852A (en) * 2009-03-02 2010-09-16 Univ Nat Central Apparatus and method for recognizing gaze
US20100312547A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Contextual voice commands
US20110310001A1 (en) * 2010-06-16 2011-12-22 Visteon Global Technologies, Inc Display reconfiguration based on face/eye tracking
TW201216115A (en) * 2010-02-24 2012-04-16 Intel Corp Facial tracking electronic reader

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192653A (ja) 1997-02-28 2004-07-08 Toshiba Corp マルチモーダルインタフェース装置およびマルチモーダルインタフェース方法
US6118888A (en) 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
JPH1124694A (ja) * 1997-07-04 1999-01-29 Sanyo Electric Co Ltd 命令認識装置
JP2001070293A (ja) * 1999-09-06 2001-03-21 Toshiba Corp Ｘ線診断装置
JP2001134256A (ja) 1999-11-05 2001-05-18 Sony Corp ディスプレイ装置の利用者検出回路
JP2002041084A (ja) 2000-07-26 2002-02-08 Victor Co Of Japan Ltd 対話処理システム
JP2003044089A (ja) * 2001-07-26 2003-02-14 Matsushita Electric Works Ltd 音声認識装置及び音声認識方法
GB2388209C (en) 2001-12-20 2005-08-23 Canon Kk Control apparatus
US7762665B2 (en) 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7522065B2 (en) * 2004-10-15 2009-04-21 Microsoft Corporation Method and apparatus for proximity sensing in a portable electronic device
US7438414B2 (en) * 2005-07-28 2008-10-21 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
JP4992218B2 (ja) 2005-09-29 2012-08-08 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7429108B2 (en) 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
KR20080106218A (ko) 2006-02-01 2008-12-04 토비 테크놀로지 에이비 컴퓨터 시스템에서 그래픽 피드백의 생성
US8364486B2 (en) * 2008-03-12 2013-01-29 Intelligent Mechatronic Systems Inc. Speech understanding method and system
EP2395420B1 (en) * 2009-02-05 2018-07-11 Panasonic Intellectual Property Corporation of America Information display device and information display method
US8416715B2 (en) 2009-06-15 2013-04-09 Microsoft Corporation Interest determination for auditory enhancement
US9274744B2 (en) 2010-09-10 2016-03-01 Amazon Technologies, Inc. Relative position-inclusive device interfaces
US9202105B1 (en) * 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060192775A1 (en) * 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
TW200720991A (en) * 2005-11-22 2007-06-01 Delta Electronics Inc Voice control methods
TW201033852A (en) * 2009-03-02 2010-09-16 Univ Nat Central Apparatus and method for recognizing gaze
US20100312547A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Contextual voice commands
CN101674363A (zh) * 2009-09-23 2010-03-17 中兴通讯股份有限公司 移动设备及通话方法
TW201216115A (en) * 2010-02-24 2012-04-16 Intel Corp Facial tracking electronic reader
US20110310001A1 (en) * 2010-06-16 2011-12-22 Visteon Global Technologies, Inc Display reconfiguration based on face/eye tracking

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI832575B (zh) * 2022-11-23 2024-02-11 酷碼科技股份有限公司 振動裝置及其運作方法

Also Published As

Publication number Publication date
BR112014018604B1 (pt) 2022-02-01
US9626150B2 (en) 2017-04-18
CN104094192B (zh) 2017-09-29
WO2013162603A1 (en) 2013-10-31
JP2015514254A (ja) 2015-05-18
EP2842014A4 (en) 2015-12-02
EP2842014A1 (en) 2015-03-04
CN104094192A (zh) 2014-10-08
US20150033130A1 (en) 2015-01-29
JP6001758B2 (ja) 2016-10-05
TW201403458A (zh) 2014-01-16
BR112014018604A8 (pt) 2021-03-09

Similar Documents

Publication Publication Date Title
TWI490778B (zh) 來自使用者的音頻輸入
EP3179474B1 (en) User focus activated voice recognition
KR102481454B1 (ko) 방향성 인터페이스를 갖는 핸즈 프리 디바이스
US20190237076A1 (en) Augmentation of key phrase user recognition
US8963806B1 (en) Device authentication
US8700392B1 (en) Speech-inclusive device interfaces
US20160019886A1 (en) Method and apparatus for recognizing whisper
TW201606760A (zh) 從音頻訊號的即時情緒辨識
US20130304479A1 (en) Sustained Eye Gaze for Determining Intent to Interact
US20140129207A1 (en) Augmented Reality Language Translation
US9870521B1 (en) Systems and methods for identifying objects
US20220028406A1 (en) Audio-visual sound enhancement
JP2013162525A (ja) 通信システムにおける音声レベルを変化させるための制御システムおよび制御方法
TW200809768A (en) Method of driving a speech recognition system
US20200019688A1 (en) Voice activated authentication
KR20210011146A (ko) 비음성 웨이크업 신호에 기반한 서비스 제공 장치 및 그 방법
JP6911938B2 (ja) 装置及び方法
CN110337030A (zh) 视频播放方法、装置、终端和计算机可读存储介质
WO2018056169A1 (ja) 対話装置、処理方法、プログラム
TW201621737A (zh) 基於眼球識別的防窺系統及方法
CN111652624A (zh) 购票处理方法、检票处理方法、装置、设备及存储介质
US11869510B1 (en) Authentication of intended speech as part of an enrollment process
US11778361B1 (en) Headset activation validation based on audio data
WO2020192247A1 (zh) 人机交互方法及***、介质和计算机***
KR102627254B1 (ko) 전자 장치 및 얼굴 인식 시스템, 그리고 이의 스푸핑 방지 방법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees