TWI440573B - 多模組辨識系統及其控制方法 - Google Patents

多模組辨識系統及其控制方法 Download PDF

Info

Publication number
TWI440573B
TWI440573B TW100122060A TW100122060A TWI440573B TW I440573 B TWI440573 B TW I440573B TW 100122060 A TW100122060 A TW 100122060A TW 100122060 A TW100122060 A TW 100122060A TW I440573 B TWI440573 B TW I440573B
Authority
TW
Taiwan
Prior art keywords
module
identification
user
vehicle
signal
Prior art date
Application number
TW100122060A
Other languages
English (en)
Other versions
TW201300265A (zh
Inventor
Tai Chang Yang
Yin Pin Chang
Wen Yan Chang
Hong Long Chou
Original Assignee
Altek Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altek Corp filed Critical Altek Corp
Priority to TW100122060A priority Critical patent/TWI440573B/zh
Priority to US13/207,857 priority patent/US20120327232A1/en
Publication of TW201300265A publication Critical patent/TW201300265A/zh
Application granted granted Critical
Publication of TWI440573B publication Critical patent/TWI440573B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224—Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244—Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B60N2/0248—Non-manual adjustments, e.g. with electrical operation with logic circuits with memory of positions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224—Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244—Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B60N2/0268—Non-manual adjustments, e.g. with electrical operation with logic circuits using sensors or detectors for adapting the seat or seat part, e.g. to the position of an occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224—Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244—Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B60N2/0272—Non-manual adjustments, e.g. with electrical operation with logic circuits using sensors or detectors for detecting the position of seat parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/16—Electromagnetic waves
    • B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
    • B60N2210/24—Cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2220/00—Computerised treatment of data for controlling of seats
    • B60N2220/10—Computerised treatment of data for controlling of seats using a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

多模組辨識系統及其控制方法
本發明係關於一種多模組辨識系統及其控制方法，且特別是有關於一種結合人臉辨識、手勢辨識、語音辨識或頭部移動辨識裝置，並能提供多樣化的車用設備設定的多模組辨識系統及其控制方法。
現今，不論是一般家庭或是公司行號中，經常會有多人共同使用同一輛汽車的情形。由於每位駕駛者之身高、體重、性別及駕駛習慣的不同，因此時常需要調整方向盤及座椅的高度或傾斜度等，甚為不便，這種情況尤其常發生在不同性別或身材差異大的駕駛上。再者，良好的坐姿對於行車安全來說非常的重要，適合駕駛身材的座椅能夠減少行車時的視野死角，避免受到車身或玻璃窗阻礙視線，行車時便於觀察近端路面狀況，避免衝撞行人或障礙物，停車時便於觀察路面四周狀況。而傳統的汽車座椅調整方法只能透過二至三組記憶按鈕的方式來調整，擴充性不足而無法適用於多人共同使用同一輛汽車的情形，且若是不同駕駛身材差異過大，便無法滿足每位駕駛的需求。
而不同的駕駛者對於車輛內之燈光、冷氣的溫度及音樂音量的大 小也常有不同的需求，若是使用傳統的汽車中控系統，只能手動調整。
另外，除了調整方向盤及座椅的需求之外，駕駛者在車上常會收聽廣播節目，由於每位駕駛者喜愛的節目不盡相同。因此，若是多人共同使用同一輛汽車，廣播節目的頻道也需經常調整。此外，若是駕駛者欲更換不同的廣播節目，需手動調整頻率以搜尋欲收聽之廣播節目頻道，而傳統的汽車中控系統，可以設定的廣播頻道大約只有一至二組，使用上甚為不便。
而汽車音響應該是最受歡迎之汽車設備，若是多人共同使用同一輛汽車，每位駕駛者通常會將自己喜愛之音樂CD或DVD放入音響。因此，不同的駕駛者常常需要不斷的切換試聽，以找出自己喜愛之音樂CD，不但操作不便，而容易造成正在駕駛汽車的駕駛者無法專心駕駛而導致危險。
由於科技的進步，車輛的功能及人性化的人機介面愈來愈被重視，智慧汽車的概念已成為各大車廠研發的重點，並且被視為下一波啟動全球電子產業成長的另一波商機。而在各大車廠、汽車電子廠及半導體晶片商等的推動之下，智慧汽車的功能與特性正逐步落實。而智慧汽車與傳統汽車最主要的差異，便是在於機電整合，即為車載系統的電子化。
因此，如何改善傳統汽車調整座椅方法擴充性不足的問題，而導致多人共同使用同一輛汽車時常需要重新調整座椅及方向盤，且無法滿足身材差異過大的不同駕駛者的需求。並解決傳統的汽車中控系統中，冷氣及燈光等只能透過手動調整的問題。並解決傳 統汽車音響中，需要駕駛者不斷的切換試聽，才能找到自己喜愛的音樂CD的問題。並解決傳統汽車音響中，切換不同的廣播節目需要不斷手動調整頻率以搜尋欲收聽之廣播節目頻道，且在廣播節目頻道的設定上，擴充性不足的問題。並且開發出適合新一代智慧型汽車且更為人性化之人機介面，已成為一刻不容緩的議題。
有鑑於上述習知技藝之問題，本發明之目的就是在提供一種多模組辨識系統，以解決習知技藝中若欲調整車用設備之設定，但車用設備控制系統操作過程繁瑣且擴充性不足的問題。
為達到上述目的，本發明提出一種多模組辨識系統，其包含，一儲存模組，係儲存至少一臉部特徵值及該至少一車用設備設定值；一影像擷取模組，係擷取一影像；一第一辨識模組，係電性連結於該影像擷取模組，並分析該影像中之一臉部影像，再由該臉部影像中提取一臉部特徵點；一第二辨識模組，係分析一使用者自然操作而產生一辨識訊號；一處理模組，係電性連結於該儲存模組、該第一辨識模組、該第二辨識模組及至少一車用設備，並比對該臉部特徵點及該至少一臉部特徵值並分析該辨識訊號以產生一分析結果，且根據該分析結果提取該儲存模組中之該至少一車用設備設定值之一，來控制該至少一車用設備運作。
其中，更包含一輸入模組，係電性連結於該儲存模組，用於輸入該至少一車用設備設定值。
其中，該車用設備，可為一車用座椅、一影音設備、一照明設備 、一空調設備、一網路設備及一導航設備。
其中，該第二辨識模組可為一語音辨識模組，該使用者自然操作可為語音，而該辨識訊號可為一語音辨識訊號，該第二辨識模組係分析使用者之語音產生該語音辨識訊號，並傳送至該處理模組。
其中，該第二辨識模組可為一頭部移動辨識模組，該使用者自然操作可為頭部動作，而該辨識訊號可為一頭部動作辨識訊號，該第二辨識模組係分析使用者之頭部動作產生該頭部動作辨識訊號，並傳送至該處理模組。
其中，該第二辨識模組可為一手勢辨識模組，該使用者自然操作可為手勢，而該辨識訊號可為一手勢辨識訊號，該第二辨識模組係分析使用者之手勢產生該手勢辨識訊號，並傳送至該處理模組。
此外，本發明更提出一種多模組辨識系統控制方法，其包含下列步驟：以一儲存模組儲存至少一臉部特徵值及至少一車用設備設定值；以一影像擷取模組擷取一影像；以一第一辨識模組分析該影像中之一臉部影像，再由該臉部影像中提取一臉部特徵點；以一第二辨識模組分析一使用者自然操作而產生一辨識訊號；以一處理模組比對該臉部特徵值及該臉部特徵點，及分析該辨識訊號，以產生一分析結果，並根據該分析結果提取該儲存模組中之該至少一車用設備設定值之一，來控制至少一車用設備運作。
其中，更包含下列步驟：以一輸入模組輸入該至少一設備設定值。
其中，該車用設備，可為一車用座椅、一影音設備、一照明設備、一空調設備、一網路設備及一導航設備。其中，該第二辨識模組可為一語音辨識模組，該使用者自然操作可為語音，而該辨識訊號可為一語音辨識訊號。
其中，該第二辨識模組可為一頭部動作辨識模組，該使用者自然操作可為頭部動作，而該辨識訊號可為一頭部動作辨識訊號。
其中，該第二辨識模組可為一手勢辨識模組，該使用者自然操作可為手勢，而該辨識訊號可為一手勢辨識訊號。
承上所述，依本發明之具有以動能充電功能之電子鎖，其可具有一或多個下述優點：
(1)此多模組辨識系統及其控制方法可藉由第一辨識模組迅速判定使用者之身份，並提取預先儲存於儲存模組並對應於該使用者之至少一個車用設備設定值。並藉由第二辨識模組，供使用者以簡單之自然操作(Natural Interaction)，選擇欲採用之設備設定值。藉此可解決習知技藝中，不同使用者使用同一車輛時，經常需手動調整座椅、方向盤及空調等使用不便的問題。
(2)此多模組辨識系統及其控制方法可藉由儲存模組儲存多組車用設備設定值，並透過第二辨識模組供使用者以簡單之手勢等選擇欲採用之車用設備設定值。藉此可解決習知技藝中擴充性不足的問題。
(3)此多模組辨識系統及其控制方法可藉由輸入模組輸入專屬於特定使用者之車用設備設定值。如此使用者可直接鎖定欲收聽之廣播頻道及音樂CD時，並能夠迅速切換至欲收聽之廣播頻道及音 樂CD。藉此可解決習知技藝中使用者需不斷切換試聽才能找到欲收聽之之廣播頻道及音樂CD。
1‧‧‧多模組辨識系統
11‧‧‧儲存模組
111‧‧‧臉部特徵值
112‧‧‧車用設備設定值
12‧‧‧影像擷取模組
13‧‧‧第一辨識模組
131‧‧‧臉部特徵點
14‧‧‧第二辨識模組
142‧‧‧辨識訊號
15‧‧‧處理模組
151‧‧‧分析結果
16‧‧‧輸入模組
17‧‧‧車用設備
18‧‧‧使用者
181‧‧‧影像
1811‧‧‧臉部影像
182‧‧‧自然操作
S21~S31‧‧‧步驟流程
S51~S60‧‧‧步驟流程
S81~S86‧‧‧步驟流程
第一圖 係為本發明之多模組辨識系統之第一實施例之方塊圖。
第二圖 係為本發明之多模組辨識系統之第二實施例之實際應用示意圖。
第三圖 係為本發明之多模組辨識系統之第二實施例之操作流程圖。
第四圖 係為本發明之多模組辨識系統之第三實施例之實際應用示意圖。
第五圖 係為本發明之多模組辨識系統之第三實施例之操作流程圖。
第六圖 係為本發明之多模組辨識系統之第四實施例之實際應用示意圖。
第七圖 係為本發明之多模組辨識系統之第五實施例之實際應用示意圖。
第八圖 係為本發明之多模組辨識系統控制方法之流程圖。
以下將參照相關圖式，說明依本發明之多模組辨識系統及控制方法之實施例，為使便於理解，下述實施例中之相同元件係以相同之符號標示來說明。
本發明之多模組辨識系統及控制方法可以應用在一般家庭用或公 司行號用之客車或貨車，但也可以應用於私人飛機或大型客機，甚至也可使用於火車、公車、捷運及地下鐵等大眾運輸系統中，但為便於更暸解本發明之技術特徵，以下是小客車為實施例，但並不以此為限。
請參閱第一圖，係為本發明之多模組辨識系統之第一實施例之方塊圖。如圖所示，本發明之多模組辨識系統1包含一儲存模組11、影像擷取模組12、第一辨識模組13、第二辨識模組14、處理模組15及輸入模組16。儲存模組11係儲存臉部特徵值111及車用設備設定值112，儲存模組11可儲存多組客製化的車用設備設定值112，有別於傳統汽車中控系統只能儲存少數公用的設定。影像擷取模組12係擷取使用者18之影像181，其可包含感光元件如互補式金氧半導體元件(Complementary Metal-Oxide-Semiconductor，CMOS)或電荷耦合元件(Charge-Coupled-Device，CCD)等。
第一辨識模組13係電性連結於影像擷取模組12，並分析影像181中之臉部影像1811，並提取出臉部特徵點131。附帶一提，第一辨識模組13人臉偵測的功能也可應用於偵測車廂動態。例如，可根據每個座位上是否有乘客來調整空調、音量及燈光等，以提高舒適度。另外，第一辨識模組13也可以結合閉眼偵測功能，可根據座位之乘客是否進入睡眠狀態來調整空調、音量及燈光等。
而第二辨識模組14分析使用者自然操作182，並產生辨識訊號142。這裡需注意的是，前述之自然操作(Natural Interaction)係指「語音」、「手勢」及「身體動作」等比較直覺，操作者可以用簡單的肢體動作或簡短的語音，達成操作的目的。另外，第二 辨識模組14也不限於只能辨識一種自然操作，其也可以包含二種以上，例如結合「語音」及「手勢」，或甚至結合「語音」、「手勢」及「頭部動作」等。
處理模組15係電性連結儲存模組11、第一辨識模組13、第二辨識模組14及車用設備17，並比對臉部特徵點131及臉部特徵值111，以判定使用者18之身份，若是使用者18已註冊於系統中，處理模組15則可結合該辨識訊號142以產生分析結果151，且根據分析結果151提取儲存模組11中之車用設備設定值112其中之一，以控制車用設備17之作動。例如設定方向盤的位置、座椅的傾斜度、重覆播放固定的音樂CD、鎖定廣播節目的頻道、音量的大小、控制車用數位電視播放的節目、冷氣的大小及燈光的設定等。除此之外，處理模組15更可具備自動學習的功能。例如，當使用者18手動調整好方向盤及座椅的位置，並放置新的音樂CD至音響中時，自動記錄此設定，並於該使用者18下次使用車輛時啟用此設定。
請參閱第二圖，係為本發明之多模組辨識系統之第二實施例之實際應用示意圖。須注意的是，在本實施例中，第二辨識模組14辨識之自然操作182為語音，即第二辨識模組14為語音辨識模組，係分析使用者18之語音，而產生之辨識訊號142為語音辨識訊號。
如圖所示，當使用者18進入駕駛座時，影像擷取模組12擷取使用者18之影像181。此時，第一辨識模組13則會開始分析影像181中的臉部影像1811，並從中提取臉部特徵點131。而此時處理模組15則比對臉部特徵點131與儲存於儲存模組11中之臉部特徵值111，以判定使用者18之身份，並找出儲存於儲存模組11中對應的車 用設備設定值112。若是該對應的車用設備設定值112僅有一組，則處理模組15則依照該唯一一組車用設備設定值112進行車用設備設定。若有二組以上，多模組辨識系統1則要求使用者18輸入語音之自然操作182。圖中，使用者18說出數字「1」，第二辨識模組14分析該數字「1」，即了解到使用者18欲採用第一組設定，便產生辨識訊號142。處理模組15比對臉部特徵點131與臉部特徵值111找出使用者18之身份，再加上辨識訊號142即可產生一分析結果151，並依其提取相應之車用設備設定值112以設定車用設備17。此外，在本發明所屬領域中具有通常知識者應當明瞭，語音的型態也不限於數字，也可為「是」或「否」；同樣的，語音的型態也不限於中文，也可為英文或其它多種實施態樣，端看實際應用之需求而定。
當然，也有無效輸入的情況。例如，使用者18說出數字「3」，但儲存模組11中只儲存二組對應於該使用者18之車用設備設定值112，則處理模組15無法提取相應之車用設備設定值112。同樣的，也有使用者18未註冊的情形，即儲存模組11中並未儲存使用者18之臉部特徵值111，當然也不會有相應之車用設備設定值112，此時便進入註冊程序。
值得一提的是，儲存多組車用設備設定值112好處在於，使用者18可以根據天氣、路況、乘客人數、路況甚至是心情，隨意調整車用設備17，以因應不同之情況。例如，出門上班時自動調整廣播頻道為新聞頻道，而出門旅遊時則播放輕鬆的音樂，後座有乘客時則開啟後座冷氣及音響。由於可以客製化專屬於個人的車用設備設定值112，更提供了一個更為人性化的人機介面。例如， 可固定播放使用者18指定之的音樂CD，而封鎖其它未指定的，如此，使用者18切換音樂CD時總是能切換到自己喜愛的專輯；或是，鎖定使用者18指定之廣播頻道，如此，使用者18可快速切換到自己喜愛的廣播頻道，可節省不少時間。
更進一步，本發明之多模組辨識系統1，更可具備自動學習功能，即處理模組15可自動記錄使用者18手動操作之車用設備17的設定。例如，使用者18進入駕駛座，影像擷取模組12擷取使用者18之影像181，而第一辨識模組13分析影像181內之臉部影像1811，並從中提取臉部特徵點131，並儲存於儲存模組11中。使用者18放置一片新的音樂CD至汽車音響內，並調高方向盤，調低座椅的角度，並將音量調高，冷氣調低，處理模組15記錄此設定，並儲存於儲存模組11。而當使用者18下次進入駕駛座時，多模組辨識系統1經由第一辨識模組13確認使用者18之身份，則優先採用上述設定。
在另一方面，本發明之多模組辨識系統1更可整合防盜功能於其中，使防盜系統有複合辨識功能。例如，同時具有人臉辨識及語音辨識二種功能之防盜系統。當使用者18進入駕駛座時，第一辨識模組13則進行人臉辨識，以確認使用者之身份，同時多模組辨識系統1會要求使用者18輸入特定之語音，以供第二辨識模組14做聲紋辨識，以確認使用者18有合法之使用權。當使用者身份確認程序結束後，再進入車用設備設定程序。
請參閱第三圖，係為本發明之多模組辨識系統之第二實施例之操作流程圖。
在步驟S31中，使用者進入車輛。
在步驟S32中，影像擷取模組擷取使用者之影像。
在步驟S33中，第一辨識模組分析該影像中之臉部影像，並提取出臉部特徵點。
在步驟S34中，處理模組比對臉部特徵點及儲存於儲存模組之臉部特徵值，以判定使用者是否已註冊於系統？以及使用者之身份為何？若是，表示使用者已註冊於系統中，可進行身份判定，則進入步驟S35；若否，表示使用者未註冊於系統中，則進入步驟S341。
在步驟S341中，系統詢問使用者是否要開始註冊程序？若是，則進入步驟S342，開始註冊程序。並於註冊程序完畢後進入步驟S1，結束車用設備設定程序；若否，則直接進入步驟S31，結束車用設備設定程序。
在步驟S35中，處理模組根據使用者之身份，判定儲存模組中，是否有一個以上對應於該使用者之車用設備設定值？若是，表示使用者已儲存多組車用設備設定值供其選用，則進入步驟S36；若否，表示使用者只儲存一組車用設備設定值於系統中，則進入步驟S351。
在步驟S351中，處理模組由儲存模組中提取該唯一一組車用設備設定值，並輸入至車用設備使其作動，並於輸入完畢後進入步驟S41，結束車用設備設定程序。
在步驟S36中，系統要求使用者輸入語音。
在步驟S37中，第二辨識模組分析使用者之語音，產生語音辨識訊號。
在步驟S38中，處理模組分析語音辨識訊號，並判定其是否為有效訊號？若是，表示該語音辨識訊號為有效輸入，則進入步驟S39；若否，表示該語音辨識訊號為無效輸入，須重新輸入，則回到步驟S36，系統要求使用者輸入語音。
步驟S39中，處理模組分析使用者之身份及語音辨識訊號，產生分析結果。
步驟S40中，處理模組根據分析結果由儲存模組中提取一對應之車用設備設定值，並輸入該車用設備設定值至車用設備使其作動。
在步驟S41，結束車用設備設定程序。
請參閱第四圖，係為本發明之多模組辨識系統之第三實施例之實際應用示意圖。與第二實施例不同的是，在本實施例中，第二辨識模組14辨識之自然操作182為頭部動作，即第二辨識模組14為頭部動作辨識模組，係分析使用者18之頭部動作，而產生之辨識訊號142為頭部動作辨識訊號。
如圖所示，與第二實施例不同的是，若使用者18有二組以上之車用設備設定值112時，處理模組15會依序執行該二組以上之車用設備設定值112，並要求使用者18輸入頭部動作(在本實施例為點頭或搖頭)之自然操作182。圖中，當使用者18進入駕駛座時，本發明之多模組辨識系統1則開始設定方向盤、座椅、空調、音樂及燈光等，使用者18以「點頭」代表同意當前的設定，第二辨識 模組14分析該動作「點頭」，即了解到使用者18同意當前的設定，便產生辨識訊號142。處理模組15比對臉部特徵點131與臉部特徵值111找出使用者18之身份，再加上辨識訊號142即可產生一分析結果151，並依其保留當前之設定或是執行另一組車用設備設定值112。
同樣的，第二辨識模組14辨識之自然操作182也可為手勢，即第二辨識模組14為手勢辨識模組，係分析使用者18之手勢，而產生之辨識訊號142為手勢辨識訊號。
此外，在本發明所屬領域中具有通常知識者應當明瞭，第二辨識模組14可包含二種以上的自然操作辨識功能。例如，第二辨識模組14同時包含頭部動作及手勢辨識功能，本發明之多模組辨識系統1可以先執行使用者18最常使用之車用設備設定值112，由使用者點頭18確認。而在車輛行駛一段時間後，使用者18想要更換車用設備設定值112，則可以利用手勢隨時更換。當然，第二辨識模組14的自然操作辨識功能可包含更多不同的組合，端看實際應用之需求而定。
同樣的，利用包含二種以上的自然操作辨識功能的第二辨識模組14，可以用於操作不同之車用設備17。例如，以手勢操作汽車音響播放不同的音樂CD，而以語音調整數位電視播放之頻道等。
請參閱第五圖，係為本發明之多模組辨識系統之第三實施例之操作流程圖。
在步驟S51中，使用者進入車輛。
在步驟S52中，影像擷取模組擷取使用者之影像。
在步驟S53中，第一辨識模組分析該影像中之臉部影像，並提取出臉部特徵點。
在步驟S54中，處理模組比對臉部特徵點及儲存於儲存模組之臉部特徵值，以判定使用者是否已註冊於系統？以及使用者之身份為何？若是，表示使用者已註冊於系統中，可進行身份判定，則進入步驟S45；若否，表示使用者未註冊於系統中，則進入步驟S441。
在步驟S541中，系統詢問使用者是否要開始註冊程序？若是，則進入步驟S542，開始註冊程序。並於註冊程序完畢後進入步驟S50，結束車用設備設定程序；若否，則直接進入步驟S50，結束車用設備設定程序。
在步驟S55中，處理模組根據使用者之身份，判定儲存模組中，是否有一個以上對應於該使用者之車用設備設定值？若是，表示使用者已儲存多組車用設備設定值供其選用，則進入步驟S56；若否，表示使用者只儲存一組車用設備設定值於系統中，則進入步驟S551。
在步驟S551中，處理模組由儲存模組中提取該唯一一組車用設備設定值，並輸入至車用設備使其作動，並於輸入完畢後進入步驟S60，結束車用設備設定程序。
在步驟S56中，處理模組依序輸入儲存模組中，對應於該使用者之一個以上之設備設定值，至車用設備使其作動。
在步驟S57中，系統要求使用者輸入頭部動作(點頭或搖頭)。
在步驟S58中，第二辨識模組分析使用者之頭部動作，產生頭部動作辨識訊號。
在步驟S59中，處理模組分析頭部動作辨識訊號，並判定其同意(點頭)，或是不同意(搖頭)？若為同意(點頭)，表示使用者接受現有之車用設備設定值，則進入步驟S60；若否，表示使用者不接受現有之車用設備設定值，需更換另一組車用設備設定值，則回到步驟S56，處理模組依序輸入儲存模組中，對應於該使用者之一個以上之設備設定值，至車用設備使其作動。
步驟S60中，結束車用設備設定程序。
請參閱第六圖，係為本發明之多模組辨識系統之第四實施例之實際應用示意圖。如圖所示，當後座有乘客進入時，具備車廂動態偵測功能之多模組辨識系統6偵測到後車廂之乘客，因此開啟後座冷氣及音響，使後座乘客更為舒適。另外，也可以偵測座位上是否有乘客來決定冷氣的開關等。
此外，在本發明所屬領域中具有通常知識者應當明瞭，本發明之多模組辨識系統1也不限於圖中後視鏡上方及駕駛座後方的位置，更可位於駕駛座車門、後座車門、方向盤上方等。而影像擷取模組12與第二辨識模組14更可以分開設置，端看實際應用之需求而定。
請參閱第七圖，係為本發明之多模組辨識系統之第五實施例之實際應用示意圖。如圖所示，具備閉眼偵測功能之多模組辨識系統1偵測到後座乘客閉眼，因此調整後座冷氣之溫度及調低後座音響之音量等，以提供後座乘客一適合休憩的環境。或是，同時傳 送警示訊號給駕駛者，使駕駛者得知後座乘客的狀況。當然，此功能也可以應用於駕駛座上，若是偵測到駕駛座上之駕駛者閉眼，多模組辨識系統1則發出警示訊號，提醒駕駛者需做適當的休息，再繼續駕駛。另外，也可以利用乘客是否長時間的處於側臉狀態，來判斷其是否在睡眠的狀態。
請參閱第八圖，係為本發明之多模組辨識系統控制方法之流程圖。如圖所示，本發明之多模組辨識系統控制方法適用於一多模組辨識系統，該多模組辨識系統包含一輸入模組、一儲存模組、一影像擷取模組、一第一辨識模組、一第二辨識模組、一處理模組。多模組辨識系統之多模組辨識系統控制方法包含下列步驟：(S81)以一輸入模組輸入該至少一車用設備設定值；(S82)藉由一儲存模組儲存至少一臉部特徵值及至少一車用設備設定值；(S83)利用一影像擷取模組擷取一影像；(S84)以一第一辨識模組分析該影像中之一臉部影像，再由該臉部影像中提取一臉部特徵點；(S85)由一第二辨識模組分析一使用者自然操作而產生一辨識訊號；以及(S86)利用一處理模組比對該臉部特徵值及該臉部特徵點，及分析該辨識訊號，以產生一分析結果，並根據該分析結果提取該儲存模組中之該至少一車用設備設定值之一，來控制至少一車用設備運作。
本發明之多模組辨識系統之多模組辨識系統控制方法的詳細說明以及實施方式已於前面敘述本發明之多模組辨識系統時描述過，在此為了簡略說明便不再重覆敘述。
綜上所述，本發明之多模組辨識系統及其控制方法可迅速判定使用者之身份，並提取預先儲存於系統中對應於該使用者之車用設備設定值，以供使用者選取。使用者更可藉由簡單的自然操作，操作系統控制車用設備之作動，並且可儲存多組車用設備設定值。因此，本發明之多模組辨識系統及其控制方法不但改善了習知技術中擴充性不足及操作不便等問題，更為新一代智慧型汽車提供了優良的人機介面。
以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。
無<AlEx>
1‧‧‧多模組辨識系統
11‧‧‧儲存模組
111‧‧‧臉部特徵值
112‧‧‧車用設備設定值
12‧‧‧影像擷取模組
13‧‧‧第一辨識模組
131‧‧‧臉部特徵點
14‧‧‧第二辨識模組
142‧‧‧辨識訊號
15‧‧‧處理模組
151‧‧‧分析結果
16‧‧‧輸入模組
17‧‧‧車用設備
18‧‧‧使用者
181‧‧‧影像
1811‧‧‧臉部影像
182‧‧‧自然操作

Claims (12)

  1. 一種多模組辨識系統，其包含：一儲存模組，係儲存至少一臉部特徵值及該至少一車用設備設定值；一影像擷取模組，係擷取一影像；一第一辨識模組，係電性連結於該影像擷取模組，並分析該影像中之一臉部影像，再由該臉部影像中提取一臉部特徵點；一第二辨識模組，係分析一使用者自然操作而產生一辨識訊號；一處理模組，係電性連結於該儲存模組、該第一辨識模組、該第二辨識模組及至少一車用設備，並比對該臉部特徵點及該至少一臉部特徵值並分析該辨識訊號以產生一分析結果，且根據該分析結果提取該儲存模組中之該至少一車用設備設定值其中之一，以控制該至少一車用設備之作動，而該處理模組更具有一自動學習功能，當該使用者對該至少一車用設備以手動調整時，該處理模組係藉由該自動學習功能將該使用者手動調整後之該車用設備設定值儲存於該儲存模組中，待下次產生對應該使用者之該分析結果時，由該儲存模組中提取該車用設備設定值以控制該至少一車用設備作動。
  2. 如申請專利範圍第1項所述之多模組辨識系統，其中該多模組辨識系統更包含一輸入模組，係電性連結於該儲存模組，該輸入模組係用於輸入該至少一車用設備設定值。
  3. 如申請專利範圍第2項所述之多模組辨識系統，其中該車用設備 ，係為一車用座椅、一影音設備、一照明設備、一空調設備、一網路設備及一導航設備。
  4. 如申請專利範圍第3項所述之多模組辨識系統，其中該第二辨識模組為一語音辨識模組，該使用者自然操作為語音，而該辨識訊號為一語音辨識訊號，該第二辨識模組係分析使用者之語音產生該語音辨識訊號，並傳送至該處理模組。
  5. 如申請專利範圍第3項所述之多模組辨識系統，其中該第二辨識模組為一頭部動作辨識模組，該使用者自然操作為頭部動作，而該辨識訊號為一頭部動作辨識訊號，該第二辨識模組係分析使用者之頭部動作產生該頭部動作辨識訊號，並傳送至該處理模組。
  6. 如申請專利範圍第3項所述之多模組辨識系統，其中該第二辨識模組為一手勢辨識模組，該使用者自然操作為手勢，而該辨識訊號為一手勢辨識訊號，該第二辨識模組係分析使用者之手勢產生該手勢辨識訊號，並傳送至該處理模組。
  7. 一種多模組辨識系統控制方法，係包含下列步驟：利用一儲存模組儲存至少一臉部特徵值及至少一設備設定值；藉一影像擷取模組擷取一影像；以一第一辨識模組分析該影像中之一臉部影像，再由該臉部影像中提取一臉部特徵點；藉由一第二辨識模組分析一使用者自然操作而產生一辨識訊號；以一處理模組比對該臉部特徵值及該臉部特徵點，及分析該辨識訊號，以產生一分析結果，並根據該分析結果提取該儲存模組中之該至少一設備設定值之一，來控制至少一車用設備運作；藉由該處理模組之一自動學習功能，當該使用者對該至少一車用設備以手動調整時，該處理模組係藉由該自動學習功能將該使用 者手動調整後之該車用設備設定值儲存於該儲存模組中，待下次產生對應該使用者之該分析結果時，由該儲存模組中提取該車用設備設定值以控制該至少一車用設備作動。
  8. 如申請專利範圍第7項所述之多模組辨識系統控制方法，其中更包含下列步驟：以一輸入模組輸入該至少一車用設備設定值。
  9. 如申請專利範圍第8項所述之多模組辨識系統控制方法，其中該車用設備，係為一車用座椅、一影音設備、一照明設備、一空調設備、一網路設備及一導航設備。
  10. 如申請專利範圍第9項所述之多模組辨識系統控制方法，其中該第二辨識模組為一語音辨識模組，該使用者自然操作為語音，而該辨識訊號為一語音辨識訊號。
  11. 如申請專利範圍第9項所述之多模組辨識系統控制方法，其中該第二辨識模組為一頭部動作辨識模組，該使用者自然操作為頭部動作，而該辨識訊號為一頭部動作辨識訊號。
  12. 如申請專利範圍第9項所述之多模組辨識系統控制方法，其中該第二辨識模組為一手勢辨識模組，該使用者自然操作為手勢，而該辨識訊號為一手勢辨識訊號。
TW100122060A 2011-06-23 2011-06-23 多模組辨識系統及其控制方法 TWI440573B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100122060A TWI440573B (zh) 2011-06-23 2011-06-23 多模組辨識系統及其控制方法
US13/207,857 US20120327232A1 (en) 2011-06-23 2011-08-11 Automobile Equipment Control System and Control Method Thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100122060A TWI440573B (zh) 2011-06-23 2011-06-23 多模組辨識系統及其控制方法

Publications (2)

Publication Number Publication Date
TW201300265A TW201300265A (zh) 2013-01-01
TWI440573B true TWI440573B (zh) 2014-06-11

Family

ID=47361482

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100122060A TWI440573B (zh) 2011-06-23 2011-06-23 多模組辨識系統及其控制方法

Country Status (2)

Country Link
US (1) US20120327232A1 (zh)
TW (1) TWI440573B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI756966B (zh) * 2020-12-04 2022-03-01 緯創資通股份有限公司 視訊裝置與其操作方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101371975B1 (ko) * 2011-09-16 2014-03-07 현대자동차주식회사 운전자의 자세 제어 장치
US9517812B2 (en) * 2011-12-13 2016-12-13 Shimano Inc. Bicycle component operating device for controlling a bicycle component based on a sensor touching characteristic
US9117120B2 (en) 2013-05-24 2015-08-25 Honda Motor Co., Ltd. Field of vision capture
US9701258B2 (en) * 2013-07-09 2017-07-11 Magna Electronics Inc. Vehicle vision system
KR20150076627A (ko) 2013-12-27 2015-07-07 한국전자통신연구원 차량 운전 학습 시스템 및 방법
US9342797B2 (en) 2014-04-03 2016-05-17 Honda Motor Co., Ltd. Systems and methods for the detection of implicit gestures
US10466657B2 (en) 2014-04-03 2019-11-05 Honda Motor Co., Ltd. Systems and methods for global adaptation of an implicit gesture control system
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US10936050B2 (en) 2014-06-16 2021-03-02 Honda Motor Co., Ltd. Systems and methods for user indication recognition
DE102014223629A1 (de) * 2014-11-19 2016-05-19 Bayerische Motoren Werke Aktiengesellschaft Kamera in einem Fahrzeug
US10589676B2 (en) 2016-06-02 2020-03-17 Magna Electronics Inc. Vehicle display system with user input display
WO2018023592A1 (zh) * 2016-08-04 2018-02-08 薄冰 根据人脸播放音乐技术的使用调整方法以及播放***
WO2018023593A1 (zh) * 2016-08-04 2018-02-08 薄冰 根据人脸识别自动播放音乐的方法以及播放***
US10020785B2 (en) * 2016-12-09 2018-07-10 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Automatic vehicle occupant audio control
WO2018113752A1 (en) * 2016-12-22 2018-06-28 Dongxia Datong (Beijing) Management And Consulting Co., Ltd. Systems and methods for monitoring a vehicle
FR3067309B1 (fr) * 2017-06-09 2020-02-07 STMicroelectronics (Grand Ouest) SAS Procede et systeme de reglage automatique d'au moins un equipement d'un vehicule automobile
US11465631B2 (en) * 2017-12-08 2022-10-11 Tesla, Inc. Personalization system and method for a vehicle based on spatial locations of occupants' body portions
CN111071113A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 车辆座椅智能调节方法和装置、车辆、电子设备、介质
US11570016B2 (en) 2018-12-14 2023-01-31 At&T Intellectual Property I, L.P. Assistive control of network-connected devices
CN110370996B (zh) * 2019-07-15 2021-08-31 浙江宏立至信汽车部件制造有限公司 智能汽车电动座椅
KR20210050938A (ko) * 2019-10-29 2021-05-10 현대자동차주식회사 얼굴 인식 장치 및 방법
CN113525264A (zh) * 2020-04-20 2021-10-22 上汽通用汽车有限公司 车内氛围控制***和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003280516A1 (en) * 2002-07-01 2004-01-19 The Regents Of The University Of California Digital processing of video images
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI756966B (zh) * 2020-12-04 2022-03-01 緯創資通股份有限公司 視訊裝置與其操作方法

Also Published As

Publication number Publication date
TW201300265A (zh) 2013-01-01
US20120327232A1 (en) 2012-12-27

Similar Documents

Publication Publication Date Title
TWI440573B (zh) 多模組辨識系統及其控制方法
CN108725357B (zh) 基于人脸识别的参数控制方法、***与云端服务器
CN110114825A (zh) 语音识别***
JP4305289B2 (ja) 車両用制御装置およびその装置を備える車両用制御システム
US9487218B2 (en) Event sensitive learning interface
US9428126B2 (en) Time sensitive learning interface
CN108657186B (zh) 智能驾驶舱交互方法和装置
US20150353037A1 (en) Location Sensitive Learning Interface
JP2017090613A (ja) 音声認識制御システム
CN104317397A (zh) 车载人机交互方法
CN111717083B (zh) 一种车辆交互方法和一种车辆
CN111845631A (zh) 一种车辆启动方法、装置、设备及存储介质
JP2018027731A (ja) 車載装置、車載装置の制御方法およびコンテンツ提供システム
CN110682921A (zh) 车辆交互方法、装置、车辆及机器可读介质
CN115158197B (zh) 一种基于声源定位的车载智能座舱娱乐的控制***
CN105824255A (zh) 一种车载终端控制方法及装置
JP2017090614A (ja) 音声認識制御システム
JP2010013054A (ja) 車載用電子装置、メディアソース選択方法およびメディアソース選択プログラム
JP2020064267A (ja) 音声認識装置、端末、音声認識方法および音声認識プログラム
CN113407758A (zh) 数据处理方法、装置、电子设备及存储介质
JP6385624B2 (ja) 車載情報処理装置、車載装置および車載情報処理方法
US10977505B2 (en) Occupant monitoring device for vehicle
US20150116121A1 (en) Vehicle system, apparatus and method for controlling a vehicle
CN102837649A (zh) 多模组辨识***及其控制方法
US10999624B2 (en) Multimedia device, vehicle including the same, and broadcast listening method of the multimedia device

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees