TWI534656B - 辨識裝置、智慧裝置以及資訊提供方法 - Google Patents

辨識裝置、智慧裝置以及資訊提供方法 Download PDF

Info

Publication number
TWI534656B
TWI534656B TW103129726A TW103129726A TWI534656B TW I534656 B TWI534656 B TW I534656B TW 103129726 A TW103129726 A TW 103129726A TW 103129726 A TW103129726 A TW 103129726A TW I534656 B TWI534656 B TW I534656B
Authority
TW
Taiwan
Prior art keywords
smart device
module
image
angular rate
user action
Prior art date
Application number
TW103129726A
Other languages
English (en)
Other versions
TW201608417A (zh
Inventor
林敬文
陳振寰
江偉銘
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW103129726A priority Critical patent/TWI534656B/zh
Priority to CN201410471732.9A priority patent/CN105487644B/zh
Priority to US14/555,711 priority patent/US9354712B2/en
Publication of TW201608417A publication Critical patent/TW201608417A/zh
Application granted granted Critical
Publication of TWI534656B publication Critical patent/TWI534656B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/434Query formulation using image data, e.g. images, photos, pictures taken by a user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Description

辨識裝置、智慧裝置以及資訊提供方法
本揭示內容是有關於一種辨識裝置、智慧裝置以及資訊提供方法,特別是有關於一種應用於人機介面的辨識裝置、智慧裝置以及資訊提供方法。
隨著資訊科技的快速進展,人們的日常生活與機器越來越密不可分,如何有效率地操作機器以幫助人類提高生產力或達到其他目的,更是一個重要的研究領域。
人機介面(Human Machine Interface)是機電系統和操作者間進行訊息交換、溝通與互動的媒介,隨著運算能力以及硬體技術的進步,人機介面由文字模式演進至圖型模式,也不再限於傳統的滑鼠與鍵盤,更為人性化的介面如觸控式和語音式介面等亦紛紛出籠。
然而,上述的人機介面中,使用者在利用人機介面取得資訊時,皆需主動切換機器至一接收輸入指令模式,操作流程並不自然也不便利。
為了克服現存人機介面使用上不自然便利的缺點,亟需一種利用使用者自然動作來進行人機互動的裝置與方法,以提供更佳的使用者經驗(User Experience)。
本揭示內容之一態樣為一辨識裝置,辨識裝置辨識對於一智慧裝置之一使用者動作,且包含一感測器模組與一啟動模組。感測器模組包含一磁力儀與一陀螺儀。磁力儀偵測使用者動作之一方向,陀螺儀偵測使用者動作之至少一角速率。啟動模組根據方向及角速率判斷使用者動作,並根據使用者動作啟動智慧裝置之一影像擷取功能。
根據本揭示內容之一實施例,啟動模組根據至少一角速率計算至少一角速率累加值,且根據方向計算一角度變化,最後根據至少一角速率累加值及角度變化,啟動智慧裝置之影像擷取功能。
根據本揭示內容之一實施例,啟動模組計算至少一角速率累加值之一絕對向量值,當絕對向量值小於一第一預設值時,啟動智慧裝置之影像擷取功能。
根據本揭示內容之一實施例,啟動模組計算角度變化之一絕對值,當絕對值小於一第二預設值時,啟動智慧裝置之影像擷取功能。
根據本揭示內容之一實施例,辯識裝置包含一通訊模組,通訊模組與一場域信標通訊以判斷智慧裝置所處之一位置,啟動模組根據該位置與該使用者動作啟動智慧裝置之影像擷取功能。
根據本揭示內容之一實施例,感測器模組另包含一 加速計,加速計偵測使用者動作之一加速度,啟動模組根據加速度判斷使用者動作。
根據本揭示內容之一實施例,感測器模組另包含一近接感測器,近接感測器偵測智慧裝置之前方是否有阻隔物,並產生一偵測結果,啟動模組根據偵測結果判斷使用者動作。
本揭示內容之另一態樣為一智慧裝置,包含一感測器模組、一啟動模組、一影像擷取模組、一影像辨識模組與一資訊提供模組。感測器模組包含一磁力儀與一陀螺儀。磁力儀偵測使用者動作之一方向,陀螺儀偵測使用者動作之至少一角速率。啟動模組根據方向及角速率判斷使用者動作,並根據使用者動作產生一啟動訊號。影像擷取模組根據啟動訊號擷取一影像,影像辨識模組辨識影像之內容,以產生一影像相關資訊,資訊提供模組提供影像相關資訊。
根據本揭示內容之一實施例,啟動模組根據至少一角速率計算至少一角速率累加值,且根據方向計算一角度變化,最後根據至少一角速率累加值及角度變化,產生該啟動訊號。
根據本揭示內容之一實施例,啟動模組計算至少一角速率累加值之一絕對向量值,當絕對向量值小於一第一預設值時,產生該啟動訊號。
根據本揭示內容之一實施例,啟動模組計算角度變化之一絕對值,當絕對值小於一第二預設值時,產生該啟 動訊號。
根據本揭示內容之一實施例,智慧裝置包含一通訊模組,通訊模組與一場域信標通訊以判斷智慧裝置所處之一位置,啟動模組根據該位置與該使用者動作產生該啟動訊號。
根據本揭示內容之一實施例,感測器模組另包含一加速計,加速計偵測使用者動作之一加速度,啟動模組根據加速度判斷使用者動作。
根據本揭示內容之一實施例,感測器模組另包含一近接感測器,近接感測器偵測智慧裝置之前方是否有阻隔物,並產生一偵測結果,啟動模組根據偵測結果判斷使用者動作。
根據本揭示內容之一實施例,智慧裝置更包含一資料庫,儲存影像相關資訊,影像辨識模組根據影像之內容,搜尋並讀取該資料庫,以提供影像相關資訊。
本揭示內容之又一態樣為一種資訊提供方法,用來在一智慧裝置上提供一影像之一影像相關資訊。資訊提供方法包含下列步驟。首先,偵測對於智慧裝置之一使用者動作之一方向以及使用者動作之至少一角速率。接著,根據方向及角速率,判斷使用者動作,並且根據使用者動作,產生一啟動訊號。根據啟動訊號,擷取一影像,並且辨識影像之內容,以產生影像相關資訊,最後提供影像相關資訊。
根據本揭示內容之一實施例,資訊提供方法根據方 向及角速率判斷使用者動作,並根據使用者動作產生啟動訊號的步驟,包含根據至少一角速率計算至少一角速率累加值,且根據方向計算一角度變化,並根據至少一角速率累加值及角度變化,產生啟動訊號。
根據本揭示內容之一實施例,根據至少一角速率累加值及角度變化產生啟動訊號的步驟,包含計算至少一角速率累加值之一絕對向量值,當絕對向量值小於一第一預設值時,產生啟動訊號。
根據本揭示內容之一實施例,根據至少一角速率累加值及角度變化產生啟動訊號的步驟,包含計算角度變化之一絕對值,當絕對值小於一第二預設值時,產生啟動訊號。
根據本揭示內容之一實施例,其中產生啟動訊號的步驟包含根據一位置產生啟動訊號,智慧裝置所處之位置係透過與一場域信標通訊而得。
根據本揭示內容之一實施例,資訊提供方法更包含偵測使用者動作之一加速度,並根據加速度判斷使用者動作。
根據本揭示內容之一實施例,資訊提供方法更包含偵測智慧裝置之前方是否有阻隔物,並據以產生一偵測結果,根據偵測結果判斷使用者動作。
根據本揭示內容之一實施例,其中辨識影像之內容產生影像相關資訊的步驟,包含搜尋並讀取智慧裝置包含之一資料庫以提供影像相關資訊。
本揭示內容描述一結合多種感測器之智慧裝置與辨識裝置以及其相關之資訊提供方法,可提供以使用者自然動作操作的人機介面,使用者不需切換智慧裝置與辨識裝置之模式,使其進入接收指令之狀態,因此可打造出簡便流暢的操作過程,得到幾乎無感的使用者經驗。本揭示內容更結合通訊技術之定位功能,以在特定場域中啟動智慧裝置與辨識裝置,讓使用者可利用自然動作之操作開啟影像擷取與辨識之功能,如此一來,不只可降低影像擷取與辨識之能源消耗以避免能源浪費,更可降低智慧裝置之電量需求,進一步使智慧裝置更加輕量化,以提升配戴舒適度。
100‧‧‧智慧裝置
110‧‧‧辨識裝置
120‧‧‧感測器模組
122‧‧‧磁力儀
124‧‧‧陀螺儀
130‧‧‧啟動模組
150‧‧‧影像擷取模組
160‧‧‧影像辨識模組
170‧‧‧資訊提供模組
S210~S280‧‧‧步驟
300‧‧‧智慧裝置
310‧‧‧辨識裝置
320‧‧‧感測器模組
322‧‧‧磁力儀
324‧‧‧陀螺儀
326‧‧‧加速計
328‧‧‧近接感測器
330‧‧‧啟動模組
340‧‧‧通訊模組
350‧‧‧影像擷取模組
360‧‧‧影像辨識模組
362‧‧‧資料庫
370‧‧‧資訊提供模組
400‧‧‧智慧裝置
410‧‧‧場域信標
420a~420d‧‧‧展覽品
500‧‧‧資訊提供方法
S510~S560‧‧‧步驟
S610~S620‧‧‧步驟
630‧‧‧資訊提供方法
S631~S636‧‧‧步驟
為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附圖式之說明如下:第1圖為根據第一實施例所繪示的智慧裝置與辨識裝置的示意方塊圖;第2圖為根據第一實施例所繪示的判斷使用者動作之流程圖;第3圖為根據第二實施例所繪示的智慧裝置與辨識裝置的示意方塊圖;第4圖為根據第三實施例所繪示的智慧裝置之使用場景示意圖;第5圖為根據第四實施例所繪示的資訊提供方法之流程 圖;以及第6圖為根據第五實施例所繪示的使用者操作之流程圖。
下文係舉實施例配合所附圖式作詳細說明,但所提供之實施例並非用以限制本揭示內容所涵蓋的範圍,而結構操作之描述非用以限制其執行之順序,任何由元件重新組合之結構,所產生具有均等功效的裝置,皆為本揭示內容所涵蓋的範圍。此外,圖式僅以說明為目的,並未依照原尺寸作圖。為使便於理解,下述說明中相同元件將以相同之符號標示來說明。
關於本文中所使用之『第一』、『第二』、…等,並非特別指稱次序或順位的意思,亦非用以限定本揭示內容,其僅僅是為了區別以相同技術用語描述的元件或操作而已。
於實施方式與申請專利範圍中,除非內文中對於冠詞有所特別限定,否則『一』與『該』可泛指單一個或複數個。
第1圖為根據第一實施例所繪示的智慧裝置與辨識裝置的示意方塊圖。一智慧裝置100包含一辨識裝置110、一影像擷取模組150、一影像辨識模組160與一資訊提供模組170,辨識裝置110連接至影像擷取模組150,影像擷取模組150連接至影像辨識模組160,且影像辨識模組160與資訊提供模組170連接。
辨識裝置110中更包含一感測器模組120與一啟動模組130。感測器模組120內包含數種感測器,以感測配戴智慧裝置100之使用者對於智慧裝置100之一使用者動作。啟動模組130根據感測器模組120對於使用者動作之感測結果,判斷是否產生一啟動訊號。影像擷取模組150根據啟動訊號擷取一影像,而影像辨識模組160辨識影像之內容,以產生一影像相關資訊,資訊提供模組170則提供影像相關資訊給配戴智慧裝置100之使用者。
於本實施例中,感測器模組120包含一磁力儀(Magnetometer)122與一陀螺儀(Gyroscope)124。磁力儀122偵測使用者動作之一方向,而陀螺儀124則偵測使用者動作之至少一角速率。
磁力儀122又稱磁強計或高斯計,又可根據硬體實作原理以及功能分為數種類型,於一實施例中,磁力儀122為一利用磁組效應原理實作之平面電子羅盤(E-compass)。於另一實施例中,磁力儀122為一利用霍爾效應(Hall Effect)原理實作之3D電子羅盤(E-compass)。
陀螺儀124用來測量角速率,根據量測軸向多寡可分二軸陀螺儀與三軸陀螺儀,另外也可根據實作原理細分為多種。於一實施例中,使用傳統機械陀螺儀。於另一實施例中,使用微機電系統(Micro Electronic Mechanical System,MEMS)陀螺儀。於又一實施例中,使用光纖陀螺儀(Optical Fiber Gyroscope)。
啟動模組130根據磁力儀122與陀螺儀124對方向 與至少一角速率之感測結果,判斷使用者動作是否保持同一面對方向。啟動模組130為一微處理器(Microprocessor)、微控制器(Microcontroller)或一積體電路(Integrated Circuit)。在使用者動作保持同一面對方向時,根據自然行為,可判斷使用者對面對方向投入注意力或表示興趣。第2圖為根據本實施例所繪示的判斷使用者動作之流程圖。
S210步驟中,啟動模組130於磁力儀122與陀螺儀124開始偵測方向與至少一角速率時,記錄一起始時間為T0。
S220步驟中,啟動模組130計算從起始時間T0到目前時間T1間,陀螺儀124前後方向之角速率累加值Vs1,與左右方向之角速率累加值Vs2,並計算前後方向之角速率累加值Vs1與左右方向之角速率累加值Vs2的絕對向量值。S230步驟中,啟動模組130計算起始時間T0到目前時間T1間,磁力儀122所量測到的角度變化。
S240步驟中,判斷起始時間T0到目前時間T1之一時間差是否小於一預設值T,若是,則重新回到S220步驟,若否,則繼續進行S250步驟。
S250步驟中,判斷絕對向量值是否大於一第一預設值。S260步驟中,判斷角度變化是否大於一第二預設值。
若S250步驟或S260步驟之任一步驟判斷為是,表示使用者動作並無保持同一面對方向,進行S270步驟,判 斷使用者不關注某一物體,且重置起始時間T0為現在時間。
若S250步驟與S260步驟皆為否,表示前後與左右方向之角速率累加值的絕對向量值與角度變化的絕對值分別小於第一預設值與第二預設值,也就是說,使用者動作大致保持同一面對方向,並且至少持續了預設值T的時間。
預設值T可根據所欲達到之使用者操作效果訂定,於一實施例中,將預設值T定為2秒,因此,使用者動作保持同一面對方向2秒後,判斷使用者動作關注所面對方向之物體,使用者操作之反應時間即為2秒。於另一實施例中,預設值T定為5秒,預設值T較長,因此反應時間不如前一實施例迅速,然而可避免在使用者並無關注面對方向時,誤判使用者之意向。於又一實施例中,使用者可根據自身需要設定預設值T。
第一預設值之數值係用於判斷陀螺儀124所量測之至少一角速率累加值,因此可根據陀螺儀124之精度與預設值T訂定。於一實施例中,使用一微機電系統(MEMS)陀螺儀,MEMS陀螺儀精度為0.1度/秒,預設值T為3秒,第一預設值設為0.4度/秒,若預設值T為4秒,第一預設值設為0.57度/秒。於另一實施例中,使用一光纖陀螺儀,光纖陀螺儀精度為0.01度/秒,預設值T為3秒,第一預設值設為0.04度/秒,若預設值T為4秒,第一預設值設為0.057度/秒。
第二預設值之數值可根據磁力儀122之精度設 定,於一實施例中,使用之電子羅盤為磁力儀122,精度為1度,第二預設值設為2度,以避免磁力儀122之誤差造成誤判。於另一實施例中,磁力儀122使用較高精度之電子羅盤,精度為0.5度,第二預設值設為1度。
如上所述,若S250步驟與S260步驟皆為否,使用者關注面對方向之物體,則進行S280步驟,啟動模組130產生一啟動訊號,影像擷取模組150根據啟動訊號擷取一影像,以拍攝使用者表示興趣之物體,而影像辨識模組160則辨識影像之內容,並且產生一影像相關資訊。
於一實施例中,影像擷取模組150為一針孔攝影機。於另一實施例中,影像擷取模組150為一無線微型攝影機。
影像辨識模組160接收影像,以機器視覺(Machine Vision)之技術,針對影像之不同特徵進行解析辨識,並產生影像相關資訊。影像辨識模組160為一微處理器(Microprocessor)、微控制器(Microcontroller)或一系統單晶片(System on Chip)。於一實施例中,影像辨識模組160辨識影像中之文字信息以產生影像相關資訊。於另一實施例中,影像辨識模組160將影像比對至已知影像資料以產生影像相關資訊。
資訊提供模組170自影像辨識模組160接收影像相關資訊,並提供影像相關資訊給配戴智慧裝置100之使用者。資訊提供模組170為一微處理器(Microprocessor)、微控制器(Microcontroller)或一系統單晶片(System on Chip)。
於一實施例中,資訊提供模組170更包含一顯示器,並以顯示器顯示影像相關資訊。於另一實施例中,資訊提供模組170更包含一語音播放裝置,並以語音播放裝置播報影像相關資訊。
第3圖為根據第二實施例所繪示的智慧裝置與辨識裝置的示意方塊圖。智慧裝置300包含一辨識裝置310、一影像擷取模組350、一影像辨識模組360與一資訊提供模組370。智慧裝置300所包含之上述模組相互作用之方式與第一實施例中之智慧裝置100相似,故不在此贅述。
於本實施例中,辨識裝置310中之一感測器模組320除一磁力儀322與一陀螺儀324外,更包含一加速計(Accelerometer)326與一近接感測器(Proximity sensor)328。辨識裝置310所包含之一啟動模組330除了利用磁力儀322與陀螺儀324以判斷對於智慧裝置300之一使用者動作的一面對方向外,亦可利用加速計326與近接感測器328來判斷使用者動作。
於一實施例中,加速計326偵測使用者動作之一加速度,啟動模組330根據加速度判斷使用者動作是否為移動狀態,並在使用者動作為靜止時,啟動影像擷取模組350,以免影像擷取模組350於運動狀態中拍攝出模糊影像,不利影像辨識模組360進行辨識。加速計326為一壓阻式加速計(Piezoresistive Accelerometer)、電容式加速計(Capacitive Accelerometer)或熱對流式加速計(Thermal Accelerometer)。
於另一實施例中,啟動模組330除判斷使用者動作之面對方向外,更以近接感測器328偵測智慧裝置300前方是否有阻隔物,並產生一偵測結果,啟動模組330根據偵測結果判斷使用者動作。啟動模組330於使用者動作保持同一面對方向,且近接感測器328判斷前方有阻隔物時,判斷使用者關注之對象在近接感測器328之感測距離內,並產生一啟動訊號,使影像擷取模組350擷取一影像,如此影像擷取模組350所擷取之影像能清楚拍攝所關注之物體,以利影像辨識模組360辨識影像。近接感測器328為一電感式近接感測器(Inductive Sensor)、電容式近接感測器(Capacitive Sensor)、雷射式近接感測器(Laser Rangefinder)或渦電流式位移感測器(Eddy-Current Sensor)。
智慧裝置300之辨識裝置310更包含一通訊模組340,通訊模組340與一場域信標(Beacon)通訊,以判斷智慧裝置300所處之一位置,啟動模組330根據位置與使用者動作產生啟動訊號。舉例來說,智慧裝置300可藉由通訊模組340與場域信標(Beacon)通訊,判斷智慧裝置300是否所處在一場域範圍內,若判斷智慧裝置300是所處於該場域範圍內,且使用者動作為保持同一面對方向,則啟動模組330產生啟動訊號。通訊模組340為一藍牙(Bluetooth)通訊模組、一WiFi通訊模組或一紅外線(Infrared)通訊模組。
智慧裝置300之影像辨識模組360更包含一資料庫362,資料庫362中儲存有多筆影像資料以及其對應之影像 相關資訊,影像辨識模組360接收影像擷取模組350所擷取之影像後,將影像與資料庫362之影像資料做比對辨識,並在辨識成功後,提取資料庫362中對應之影像相關資訊,由資訊提供模組370提供給智慧裝置300之使用者。
於一實施例中,資料庫362儲存場域信標通訊範圍內之複數筆影像資料,使用者配戴智慧裝置300進入場域信標之通訊範圍內後,通訊模組340可做定位並判斷智慧裝置300所處之一位置,啟動模組330利用該位置以及使用者動作產生一啟動信號。
辨識裝置310中之感測器模組320亦可結合其他感測器,並在啟動模組330中針對不同感測器實作判斷使用者動作之演算法,以更精準地偵測配戴智慧裝置300的使用者對於智慧裝置300之使用者動作,並利用各感測器之不同特點互相彌補,以提供自然流暢的使用者體驗。
如上所述之啟動模組130、330、影像辨識模組160、360以及資訊提供模組170、370等,其具體實施方式可為軟體、硬體與/或軔體。舉例來說,若以執行速度及精確性為首要考量,則該等模組基本上可選用硬體與/或軔體為主;若以設計彈性為首要考量,則該等模組基本上可選用軟體為主;或者,該等模組可同時採用軟體、硬體及軔體協同作業。應瞭解到,以上所舉的這些例子並沒有所謂孰優孰劣之分,亦並非用以限制本揭示內容,熟習此項技藝者當視當時需要,彈性選擇該等模組的具體實施方式。舉例來說,該等模組可整合至中央處理器執行。
如上所述之資料庫362,其具體實施方式,可儲存於同一儲存裝置,例如電腦硬碟、或其他電腦可讀取之紀錄媒體等。
第4圖為根據第三實施例所繪示的智慧裝置之使用場景示意圖,一參觀展覽之使用者配戴一智慧裝置400,展場內設置一場域信標410與展覽品420a~420d,智慧裝置400內儲存有各展覽品420a~420d之複數筆影像資料,智慧裝置400根據其是否可利用與場域信標410之通訊判斷一位置決定其是否位於展場內,智慧裝置400更判斷一使用者動作是否靜止且保持同一面對方向,以及前方是否有阻隔物,若以上皆是,則擷取一影像並辨識其是否為展覽品420a~420d之相片,若是則智慧裝置400提供對應展覽品420a~420d之多媒體資訊給使用者。上述之實施例展覽品數量僅為示例,不應用來限制本揭示內容之範圍。
第5圖為根據第四實施例所繪示的資訊提供方法之流程圖。為了方便及清楚說明,以下資訊提供方法500的說明以第3圖所示的智慧裝置300為例,但本揭示內容並不以此為限。雖然以下對於資訊提供方法500係以特定順序的步驟來做描述,然此並不限制本發明所提及步驟的前後順序,另外在實作中可增加或減少所述步驟。
S510步驟中,偵測對於智慧裝置300之一使用者動作之一方向以及至少一角速率。於S520步驟中,根據方向及至少一角速率,判斷使用者動作。於一實施例中,S520步驟中判斷使用者動作是否保持同一面對方向,判斷之細 節如第2圖之描述,於此不再贅述。
S530步驟中,根據使用者動作,產生一啟動訊號。於一實施例中,使用者動作為保持同一面對方向時,產生啟動訊號。於另一實施例中,亦可判斷使用者動作為搖頭或點頭等與方向或角速率有關之自然動作,並且根據使用者動作之判斷結果產生啟動訊號。
S540步驟中,根據啟動訊號,擷取一影像。於一實施例中,更可以對所擷取之影像做銳利化、去雜訊或白平衡等影像處理,以利下一步驟之進行。
接著進行S550步驟,辨識S540步驟中影像之內容,以產生一影像相關資訊。於一實施例中,影像相關資訊係比對影像與資料庫362內儲存之複數筆影像資訊所得。
S560步驟中,提供S550步驟所產生之影像相關資訊。於一實施例中,若影像相關資訊係影像或影片格式,利用一顯示器顯示影像相關資訊。於另一實施例中,若影像相關資訊係語音格式,利用一語音播放裝置播放影像相關資訊。於又一實施例中,若影像相關資訊為文字格式,可視使用者需要,利用顯示器顯示或利用語音合成(TTS)技術播放文字格式之影像相關資訊。
使用傳統之語音導覽裝置或模式時,使用者需要手動按鈕以取得對應展覽品之語音檔案,而利用資訊提供方法500,使用者則在固定一面對方向欣賞展覽品時,以自然動作啟動擷取並辨識該展覽品影像之功能,取得對應之導覽語音解說,大幅提升欣賞展覽的使用者經驗。
第6圖為根據第五實施例所繪示的使用者操作流程圖。為了方便及清楚說明,以下使用者操作流程的說明以第3圖所示的智慧裝置300為例,但本揭示內容並不以此為限。雖然以下對於使用者操作流程係以特定順序的步驟來做描述,然此並不限制本發明所提及步驟的前後順序,另外在實作中可增加或減少所述步驟。
S610步驟中,使用者配戴一智慧裝置300,並開啟一程式。該程式為以程式語言實作資訊提供方法630所得之一機器指令組合。S631步驟至S636步驟則為資訊提供方法630實作為一電腦程式之執行步驟,該電腦程式儲存於一電腦可讀取之記錄媒體中,電腦讀取此記錄媒體後,令一智慧裝置300執行本資訊提供方法。
S631步驟中,透過與一場域信標通訊取得一位置,判斷是否位處一特定場域。於一實施例中,特定場域為一展覽會場。於另一實施例中,資訊提供方法630中之資料庫362包含一預先設定之環境範圍的相關資訊,故該特定場域設定為預先設定之環境範圍。
於本實施例中,若S631步驟中判斷智慧裝置300並不位處特定場域,則進行S620步驟,結束該程式。如此一來,可避免多餘的運算資源與能源消耗,以達到省電及智慧裝置300輕量化之目的。
若S631步驟中判斷智慧裝置300位處特定場域,則進行S632步驟,偵測對於智慧裝置300一使用者動作之一加速度,根據加速度判斷使用者動作是否為靜止。若使 用者動作為移動狀態,則表示使用者並無關注之焦點,若使用者動作為靜止,則進行S633步驟。
S633步驟為偵測智慧裝置300前方是否有阻隔物,若其前方有阻隔物,表示配戴智慧裝置300之使用者前方有牆面等物體,且阻隔物位於近接感測器328之感測範圍內。
接著,進行S634步驟,偵測使用者動作之一方向與至少一角速率,判斷使用者動作是否維持同一面對方向,若是,表示有吸引使用者關注之物體,吸引使用者關注之物體位於近接感測器328之感測範圍內,且使用者動作為靜止。S634步驟之詳細操作如第2圖之描述,故不在此贅述。
利用S632步驟到S634步驟判斷配戴智慧裝置300之使用者的確關注一目標之後,進行S635步驟,產生一啟動訊號以擷取一影像,影像中包含使用者關注之目標。接著,於S636步驟中,辨識影像之內容,以產生並提供影像相關資訊,亦即使用者關注目標之相關資訊。
智慧裝置300可實作為一眼鏡、一耳機或一帽子等方便使用者穿戴之配件。其應用範圍不僅限於展覽會場之導覽,智慧裝置300亦可做為大型室內商場之促銷機器,當使用者動作為接近某一商店時,智慧裝置300可辨識商店之招牌,提供商店特價商品資訊以及商場內類似性質其他商店的特賣及位置資訊等給使用者。無論應用於何種場合,本揭示內容之智慧裝置以及利用智慧裝置之資料提供 方法皆可提供使用者無感的操作經驗。
雖然本揭示內容已以實施方式揭露如上,然其並非用以限定本揭示內容,任何熟習此技藝者,在不脫離本揭示內容之精神和範圍內,當可作各種之更動與潤飾,因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧智慧裝置
110‧‧‧辨識裝置
120‧‧‧感測器模組
122‧‧‧磁力儀
124‧‧‧陀螺儀
130‧‧‧啟動模組
150‧‧‧影像擷取模組
160‧‧‧影像辨識模組
170‧‧‧資訊提供模組

Claims (23)

  1. 一種辨識裝置,辨識對於一智慧裝置之一使用者動作,該辨識裝置包含:一感測器模組,包含:一磁力儀,偵測該使用者動作之一方向;一陀螺儀,偵測該使用者動作之至少一角速率;以及一啟動模組,根據該方向及該至少一角速率判斷該使用者動作,並根據該使用者動作啟動該智慧裝置之一影像擷取功能。
  2. 如請求項1所述之辨識裝置,其中該啟動模組執行以下指令:根據該至少一角速率,計算至少一角速率累加值;根據該方向,計算一角度變化;以及根據該至少一角速率累加值及該角度變化,啟動該智慧裝置之該影像擷取功能。
  3. 如請求項2所述之辨識裝置,其中該啟動模組計算該至少一角速率累加值之一絕對向量值,當該絕對向量值小於一第一預設值時,啟動該智慧裝置之該影像擷取功能。
  4. 如請求項2所述之辨識裝置,其中該啟動模組計算該角度變化之一絕對值,當該絕對值小於一第二預設值 時,啟動該智慧裝置之該影像擷取功能。
  5. 如請求項1所述之辨識裝置,更包含一通訊模組,該通訊模組與一場域信標通訊以判斷該智慧裝置所處之一位置,該啟動模組根據該位置及該使用者動作啟動該智慧裝置之該影像擷取功能。
  6. 如請求項1所述之辨識裝置,其中該感測器模組另包含一加速計,該加速計偵測該使用者動作之一加速度,該啟動模組根據該加速度判斷該使用者動作。
  7. 如請求項1所述之辨識裝置,其中該感測器模組另包含一近接感測器,該近接感測器偵測該智慧裝置之前方是否有阻隔物,並產生一偵測結果,該啟動模組根據該偵測結果判斷該使用者動作。
  8. 一種智慧裝置,包含:一感測器模組,包含:一磁力儀,偵測對於該智慧裝置之一使用者動作之一方向;以及一陀螺儀,偵測該使用者動作之至少一角速率;一啟動模組,根據該方向及該至少一角速率判斷該使用者動作,並根據該使用者動作,產生一啟動訊號; 一影像擷取模組,根據該啟動訊號擷取一影像;一影像辨識模組,辨識該影像之內容,以產生一影像相關資訊;以及一資訊提供模組,提供該影像相關資訊。
  9. 如請求項8所述之智慧裝置,其中該啟動模組執行以下操作:根據該至少一角速率,計算至少一角速率累加值;根據該方向,計算一角度變化;以及根據該至少一角速率累加值及該角度變化,產生該啟動訊號。
  10. 如請求項9所述之智慧裝置,其中該啟動模組計算該至少一角速率累加值之一絕對向量值,當該絕對向量值小於一第一預設值時,產生該啟動訊號。
  11. 如請求項9所述之智慧裝置,其中該啟動模組計算該角度變化之一絕對值,當該絕對值小於一第二預設值時,產生該啟動訊號。
  12. 如請求項8所述之智慧裝置,更包含一通訊模組,該通訊模組與一場域信標通訊,以判斷該智慧裝置所處之一位置,該啟動模組根據該位置與該使用者動作產生該啟動訊號。
  13. 如請求項8所述之智慧裝置,其中該感測器模組另包含一加速計,該加速計偵測該使用者動作之一加速度,該啟動模組根據該加速度判斷該使用者動作。
  14. 如請求項8所述之智慧裝置,其中該感測器模組包含一近接感測器,該近接感測器偵測該智慧裝置之前方是否有阻隔物,並據以產生一偵測結果,該啟動模組根據該偵測結果判斷該使用者動作。
  15. 如請求項8所述之智慧裝置,更包含一資料庫,儲存該影像相關資訊,該影像辨識模組根據該影像之該內容,搜尋並讀取該資料庫,以提供該影像相關資訊。
  16. 一種資訊提供方法,用來在一智慧裝置上提供一影像之一影像相關資訊,該資訊提供方法包含:偵測對於該智慧裝置之一使用者動作之一方向以及該使用者動作之至少一角速率;根據該方向及該至少一角速率,判斷該使用者動作;根據該使用者動作,產生一啟動訊號;根據該啟動訊號,擷取一影像;辨識該影像之內容,以產生一影像相關資訊;以及提供該影像相關資訊。
  17. 如請求項16所述之資訊提供方法,其中根據該方向及該至少一角速率,判斷該使用者動作,並根據該使用者動作,產生該啟動訊號的步驟,包含:根據該至少一角速率,計算至少一角速率累加值;根據該方向,計算一角度變化;以及根據該至少一角速率累加值及該角度變化,產生該啟動訊號。
  18. 如請求項17所述之資訊提供方法,其中根據該至少一角速率累加值及該角度變化,產生該啟動訊號的步驟,包含:計算該至少一角速率累加值之一絕對向量值;以及當該絕對向量值小於一第一預設值時,產生該啟動訊號。
  19. 如請求項17所述之資訊提供方法,其中根據該至少一角速率累加值及該角度變化,產生該啟動訊號的步驟,包含:計算該角度變化之一絕對值;以及當該絕對值小於一第二預設值時,產生該啟動訊號。
  20. 如請求項16所述之資訊提供方法,其中產生該啟動訊號的步驟包含根據一位置與該使用者動作產生該啟動訊號,該智慧裝置所處之該位置係透過與一場域信標通訊 而得。
  21. 如請求項16所述之資訊提供方法,更包含:偵測該使用者動作之一加速度,並根據該加速度判斷該使用者動作。
  22. 如請求項16所述之資訊提供方法,更包含:偵測該智慧裝置之前方是否有阻隔物,並據以產生一偵測結果,根據該偵測結果判斷該使用者動作。
  23. 如請求項16所述之資訊提供方法,其中辨識該影像之該內容,產生該影像相關資訊的步驟包含:搜尋並讀取該智慧裝置包含之一資料庫,以提供該影像相關資訊。
TW103129726A 2014-08-28 2014-08-28 辨識裝置、智慧裝置以及資訊提供方法 TWI534656B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW103129726A TWI534656B (zh) 2014-08-28 2014-08-28 辨識裝置、智慧裝置以及資訊提供方法
CN201410471732.9A CN105487644B (zh) 2014-08-28 2014-09-16 辨识装置、智能装置以及信息提供方法
US14/555,711 US9354712B2 (en) 2014-08-28 2014-11-28 Recognition device, intelligent device and information providing method for human machine interaction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103129726A TWI534656B (zh) 2014-08-28 2014-08-28 辨識裝置、智慧裝置以及資訊提供方法

Publications (2)

Publication Number Publication Date
TW201608417A TW201608417A (zh) 2016-03-01
TWI534656B true TWI534656B (zh) 2016-05-21

Family

ID=55402444

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103129726A TWI534656B (zh) 2014-08-28 2014-08-28 辨識裝置、智慧裝置以及資訊提供方法

Country Status (3)

Country Link
US (1) US9354712B2 (zh)
CN (1) CN105487644B (zh)
TW (1) TWI534656B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI646494B (zh) * 2017-05-04 2019-01-01 崑山科技大學 智慧導覽系統及其方法
TWI710749B (zh) * 2019-09-04 2020-11-21 宏碁股份有限公司 提升準確率之室內定位方法及應用其之行動裝置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2999316A1 (fr) * 2012-12-12 2014-06-13 Sagemcom Broadband Sas Dispositif et procede de reconnaissance de gestes pour un controle d'interface utilisateur
TWI617993B (zh) * 2017-03-03 2018-03-11 財團法人資訊工業策進會 辨識系統及辨識方法
TWI647624B (zh) * 2017-06-08 2019-01-11 財團法人資訊工業策進會 辨識系統、辨識方法及非暫態電腦可讀取媒體
CN109240142B (zh) * 2017-07-10 2021-10-19 神讯电脑(昆山)有限公司 自动开启信息撷取装置的方法及智慧行动监控***
CN107590874A (zh) * 2017-08-10 2018-01-16 福州中优奕信息技术服务有限公司 安全巡检方法和巡检移动终端
CN109830077A (zh) * 2019-01-15 2019-05-31 苏州佳世达光电有限公司 监控装置及监控方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9357118B2 (en) * 2010-02-15 2016-05-31 Sony Corporation Photograph prediction including automatic photograph recording with autofocus and method
US20140118257A1 (en) * 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
US10423214B2 (en) * 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US20140184854A1 (en) * 2012-12-28 2014-07-03 Motorola Mobility Llc Front camera face detection for rear camera zoom function
EP2770783B1 (en) * 2013-02-21 2018-06-20 Apple Inc. A wearable information system having at least one camera
US9529385B2 (en) * 2013-05-23 2016-12-27 Medibotics Llc Smart watch and human-to-computer interface for monitoring food consumption

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI646494B (zh) * 2017-05-04 2019-01-01 崑山科技大學 智慧導覽系統及其方法
TWI710749B (zh) * 2019-09-04 2020-11-21 宏碁股份有限公司 提升準確率之室內定位方法及應用其之行動裝置

Also Published As

Publication number Publication date
CN105487644A (zh) 2016-04-13
TW201608417A (zh) 2016-03-01
CN105487644B (zh) 2018-11-27
US9354712B2 (en) 2016-05-31
US20160062472A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
TWI534656B (zh) 辨識裝置、智慧裝置以及資訊提供方法
US20220057226A1 (en) Navigation methods and apparatus for the visually impaired
US8972174B2 (en) Method for providing navigation information, machine-readable storage medium, mobile terminal, and server
US9696859B1 (en) Detecting tap-based user input on a mobile device based on motion sensor data
US20160306433A1 (en) Touch fee interface for augmented reality systems
TWI544447B (zh) 擴增實境的方法及系統
KR102109585B1 (ko) 건물 내 위치 기반 서비스 구현 방법, 저장 매체, 서버 및 전자 장치
CN105164610B (zh) 深度传感器
KR101341727B1 (ko) 3d gui 제어 장치 및 방법
CN104137045A (zh) 用户手势识别
KR102203810B1 (ko) 사용자 입력에 대응되는 이벤트를 이용한 유저 인터페이싱 장치 및 방법
JP2023541619A (ja) 倉庫保管ロボットの位置決めと地図作成方法、ロボット及び記憶媒体
JP6127564B2 (ja) タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム
KR20140104597A (ko) 제스처를 이용하여 데이터를 송수신하는 모바일 기기들
KR102668301B1 (ko) 전자 장치의 움직임을 결정하는 방법 및 이를 사용하는 전자 장치
KR20190035798A (ko) 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들
JP2015118442A (ja) 情報処理装置、情報処理方法およびプログラム
KR20200144363A (ko) 로봇 및 그의 구동 방법
KR20160023428A (ko) 복수의 센서를 이용한 동작 인식 방법 및 장치
US20140210763A1 (en) Touch screen imaging sensor
RU2681346C2 (ru) Способ и система точной локализации слабовидящего или слепого человека
JP5413593B2 (ja) ユーザインターフェイス装置及びコンピュータプログラム
TW201839558A (zh) 追蹤系統的操作方法、控制器、追蹤系統及非揮發性電腦可讀取記錄媒體
KR20210113871A (ko) 위치 판단에 이용되는 데이터 처리 방법 및 이를 지원하는 전자 장치
Chu et al. A study of motion recognition system using a smart phone