TWI689844B - 行動裝置以及控制方法 - Google Patents
行動裝置以及控制方法 Download PDFInfo
- Publication number
- TWI689844B TWI689844B TW107123555A TW107123555A TWI689844B TW I689844 B TWI689844 B TW I689844B TW 107123555 A TW107123555 A TW 107123555A TW 107123555 A TW107123555 A TW 107123555A TW I689844 B TWI689844 B TW I689844B
- Authority
- TW
- Taiwan
- Prior art keywords
- wireless device
- candidate object
- feature description
- wireless
- wireless communication
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/45—Network directories; Name-to-address mapping
- H04L61/4541—Directories for service discovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W76/00—Connection management
- H04W76/10—Connection setup
- H04W76/14—Direct-mode setup
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L2012/284—Home automation networks characterised by the type of medium used
- H04L2012/2841—Wireless
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2101/00—Indexing scheme associated with group H04L61/00
- H04L2101/60—Types of network addresses
- H04L2101/618—Details of network addresses
- H04L2101/622—Layer-2 addresses, e.g. medium access control [MAC] addresses
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
Abstract
一種控制方法,適用於行動裝置,其中行動裝置包含相機單元。控制方法包含以下流程:透過第一無線通訊獲取第一無線裝置的一特徵描述,其中第一無線裝置鄰近於行動裝置;利用相機單元擷取物理環境的第一影像;於第一影像中辨識第一候選物件;將第一候選物件與第一無線裝置的特徵描述進行配對;若第一候選物件匹配於第一無線裝置的特徵描述,且相機單元接收到第一預設指示,依據第一無線裝置的特徵描述產生第一指令,其中第一指令透過第二無線通訊傳輸至第一無線裝置,且用於操作第一無線裝置。
Description
本揭示文件有關一種行動裝置以及控制方法,尤指一種可辨識和遙控其他無線裝置的行動裝置以及控制方法。
擴增虛擬實境裝置可將虛擬物件與現實融合,所以可提供給使用者豐富的視覺饗宴。隨著與擴增虛擬實境技術有關的軟硬體逐漸演進,人們將會在日常生活中長時間配戴著擴增虛擬實境裝置。
然而,配戴著擴增虛擬實境裝置的使用者難以操作遠處的其他電子裝置。例如,使用者的活動範圍可能受限於擴增虛擬實境裝置的傳輸線的長度。因此,為了操作其他電子裝置,使用者往往得暫停或是中斷使用擴增虛擬實境裝置來進行的活動,進而降低了使用者體驗。
本揭示文件提供一種控制方法。控制方法適用於行動裝置,其中行動裝置包含相機單元。控制方法包含以下流程:透過第一無線通訊獲取第一無線裝置的一特徵描 述,其中第一無線裝置鄰近於行動裝置;利用相機單元擷取物理環境的第一影像;於第一影像中辨識第一候選物件;將第一候選物件與第一無線裝置的特徵描述進行配對;若第一候選物件匹配於第一無線裝置的特徵描述,且相機單元接收到第一預設指示,依據第一無線裝置的特徵描述產生第一指令,其中第一指令透過第二無線通訊傳輸至第一無線裝置,且用於操作第一無線裝置。
本揭示文件提供一種行動裝置。行動裝置包含相機單元、無線通訊電路和處理器電路。相機單元用於擷取物理環境的第一影像。無線通訊電路用於透過第一無線通訊獲取第一無線裝置的特徵描述,其中第一無線裝置鄰近於行動裝置。處理器電路耦接於相機單元和無線通訊電路,且被設置為執行以下運作:於第一影像中辨識第一候選物件;將第一候選物件與第一無線裝置的特徵描述進行匹配;若第一候選物件匹配於第一無線裝置的特徵描述,且相機單元接收到第一預設指示,依據第一無線裝置的特徵描述產生第一指令,其中第一指令透過第二無線通訊傳輸至第一無線裝置,且用於操作第一無線裝置。
應理解的是,前述的概括性描述和以下的詳細描述只是示範性的實施例,且是用於為請求項所描述的發明內容提供進一步的解釋。
100‧‧‧行動裝置
110‧‧‧處理器電路
120‧‧‧相機單元
130‧‧‧無線通訊電路
140‧‧‧顯示電路
150‧‧‧記憶體模組
210a~210d‧‧‧無線裝置
220‧‧‧普通裝置
300、700‧‧‧控制方法
S301~S310、S705~S709‧‧‧流程
400‧‧‧第一影像
410a~410d‧‧‧候選物件
420a~420d‧‧‧訊息框
610‧‧‧虛擬使用者介面
810a~810c‧‧‧第一通知~第三通知
為讓揭示文件之上述和其他目的、特徵、優點 與實施例能更明顯易懂,所附圖式之說明如下:第1圖為依據本揭示文件一實施例的行動裝置簡化後的功能方塊圖。
第2圖為依據本揭示文件一實施例的物理環境簡化後的示意圖。
第3圖為依據本揭示文件一實施例的控制方法簡化後的流程圖。
第4~6圖為依據本揭示文件一實施例的第1圖的顯示電路所顯示的多個圖像簡化後的示意圖。
第7A~7B圖共同繪示了依據本揭示文件另一實施例的控制方法簡化後的流程圖。
第8圖為依據本揭示文件一實施例的第1圖的顯示電路所顯示的圖像簡化後的示意圖。
以下將配合相關圖式來說明本揭示文件的實施例。在圖式中,相同的標號表示相同或類似的元件或方法流程。
在此所使用的「及/或」的描述方式,包含所列舉的其中之一或多個項目的任意組合。另外,除非說明書中特別指明,否則任何單數格的用語都同時包含複數格的涵義。
第1圖為依據本揭示文件一實施例的行動裝置100簡化後的功能方塊圖。行動裝置100包含處理器電路 110、相機單元120、無線通訊電路130、顯示電路140以及記憶體模組150。處理器電路110耦接於相機單元120、無線通訊電路130、顯示電路140以及記憶體模組150。在本實施例中,行動裝置100可以是擴增虛擬實境裝置或是混合虛擬實境(mixed reality)裝置,但本揭示文件並不以此為限。
相機單元120用於擷取行動裝置100所在的物理環境的影像。無線通訊電路130用於獲取無線裝置210a~210d的特徵描述。顯示電路140用於顯示相機單元120擷取到的影像。記憶體模組150用於儲存處理器電路110運作所需的各種資料。
實作上,每個無線裝置210a~210d的特徵描述可包含服務設定識別符(Service Set Identifier,簡稱SSID)、媒體存取控制位址(media access control address,簡稱MAC address)、操作指令清單以及裝置型號,但本揭示文件並不以此為限。裝置型號可用於表示無線裝置210a~210d的製造商或裝置類型。
第2圖為依據本揭示文件一實施例的前述之物理環境簡化後的示意圖。在此物理環境中,無線裝置210a~210d以及普通裝置220的位置鄰近於行動裝置100的位置。無線裝置210a~210d具有建立無線通訊的功能,而普通裝置220則不具有無線通訊的功能。
實作上,無線裝置210a~210c可以用各種具有無線通訊功能的智慧家電來實現,例如冷氣機、冰箱、微波 爐或是空氣清淨機等等。處理器電路110可以用各種具有計算能力的積體電路來實現,例如特定應用積體電路(application-specific integrated circuit,簡稱ASIC)或是現場可程式閘陣列(field-programmable gate array,簡稱FPGA)。記憶體模組150可以用各種合適的唯讀記憶體或是快閃記憶體來實現。顯示電路140可以用各種合適的顯示面板來實現,例如有機發光二極體(active-matrix organic light-emitting diode,簡稱AMOLED)顯示面板或是液晶顯示面板。無線通訊電路130可以用各種符合無線通訊相關規範的介面電路來實現,例如Wi-Fi介面電路、藍牙介面電路或是低功耗藍牙介面電路。
第3圖為依據本揭示文件一實施例的控制方法300簡化後的流程圖。控制方法300使行動裝置100能夠遠端控制無線裝置210a~210d。在流程S301中,當行動裝置100接近無線裝置210a~210d時,處理器電路110會指示無線通訊電路130獲取無線裝置210a~210d的特徵描述。例如,行動裝置100可以透過多種廣播封包和無線裝置210a~210d進行無線通訊。
接著,在流程S302中,處理器電路110會指示相機單元120擷取物理環境的第一影像400。
在流程S303中,如第4圖所示,處理器電路110會指示顯示電路140顯示第一影像400,以及顯示所獲取到的無線裝置210a~210d的特徵描述。處理器電路110可接著執行流程S304,以依據預設的幾何特徵於第一影像400中 辨識多個候選物件410a~410d,其中預設的幾何特徵是儲存於記憶體模組150之中。
值得注意的是,訊息框420a~420d分別包含無線裝置210a~210d的特徵描述。訊息框420a~420d重疊於第一影像400,所以遮蓋了部分的第一影像400。多個候選物件410a~410d各自對應於無線裝置210a~210d的其中之一或是普通裝置220。詳細而言,多個候選物件410a~410d分別對應於無線裝置210a~210c以及普通裝置220。
在流程S304中,如第4圖所示,處理器電路110還可指示顯示電路140強調顯示候選物件410a~410d每一者的輪廓,以提示使用者候選物件410a~410d的所在位置。在本實施例中,處理器電路110可使用實線或虛線來強調顯示候選物件410a~410d的輪廓。
實作上,預設的幾何特徵可以是各種家電的幾何特徵,例如冷氣機的幾何特徵或是微波爐的幾何特徵,但本揭示文件並不以此為限。
在流程S305中,行動裝置100會依據接收到的指示,將無線裝置210a~210d的特徵描述與候選物件410a~410d進行配對。例如,行動裝置100可以發出提示訊息,以提示使用者藉由手勢將無線裝置210a~210d的特徵描述與候選物件410a~410d的至少其中之一進行配對。前述的提示訊息可以是由顯示電路140顯示,也可以是由揚聲器(未繪示於第1圖中)撥放。行動裝置100接著可以透過相機單元120擷取使用者手勢,並將使用者手勢轉譯為進行配 對運作所需的指令。
更具體而言,如第5圖所示,使用者可以藉由手勢拖動訊息框420a~420c,以使訊息框420a~420c分別重疊於候選物件410a~410c。使用者還可以不拖動訊息框420d,使得訊息框420d不重疊於候選物件410d。如此一來,處理器電路110會將無線裝置210a的特徵描述與候選物件410a進行配對,將無線裝置210b的特徵描述與候選物件410b進行配對,以及將無線裝置210c的特徵描述與候選物件410c進行配對,依此類推。值得注意的是,由於沒有任何特徵描述被拖動至與候選物件410d重疊,處理器電路110不會將候選物件410d與任何特徵描述進行配對。
藉由將無線裝置210a~210c的特徵描述與候選物件410a~410c分別配對,行動裝置100便可以得知對應於候選物件410a~410c每一者的服務設定識別符、媒體存取控制位址及/或裝置編號。亦即,行動裝置100可以得知候選物件410a~410c每一者的身分。
在流程S306中,若候選物件410a~410c匹配於無線裝置210a~210c的特徵描述,處理器電路110會指示無線通訊電路130於無線通訊電路130和無線裝置210a~210c每一者之間建立無線通訊。無線通訊電路130和無線裝置210a~210c每一者之間的無線通訊,分別是依據無線裝置210a~210c的特徵描述所建立。
值得注意的是,由於無線裝置210d的特徵描述沒有匹配於任何候選物件,行動裝置100不會使用無線裝置 210d的特徵描述來建立無線通訊。
接著,行動裝置100會執行流程S307,以透過無線通訊週期性地自無線裝置210a~210c獲取無線裝置210a~210c的運作資訊。
在本實施例中,行動裝置100可偵測使用者的眼球運動。在流程S308中,如第6圖所示,當使用者注視著已與無線裝置210a~210c的特徵描述配對完成的候選物件410a~410c的其中一者時,處理器電路110可指示顯示電路140依據被注視著的候選物件410a~410c的該其中一者的位置來顯示虛擬使用者介面610。
例如,當使用者注視著候選物件410a時,處理器電路110會指示顯示電路140於鄰近於候選物件410a的位置顯示虛擬使用者介面610。虛擬使用者介面610可包含自第一無線裝置210a週期性地獲取的第一無線裝置210a的運作資訊。
在某些實施例中,虛擬使用者介面610的輪廓的至少一部分,連接於候選物件410a的輪廓的至少一部分。
在另外一些實施例中,顯示電路140顯示的影像包含位於影像中心的一區域。只有當候選物件410a~410c的其中一者重疊於該區域時,處理器電路110才指示顯示電路140顯示虛擬使用者介面610。
在流程S309中,當使用者藉由預設指示(例如,預設的多個使用者手勢)透過虛擬使用者介面610與候選物件410a互動時,相機單元120會接收使用者的手勢。接 著,處理器電路110可以轉譯使用者手勢,並依據轉譯後的使用者手勢以及第一無線裝置210a的特徵描述中的運作指令清單來產生對應的指令。
在流程S310中,當處理器電路110接收到來自使用者的進一步的指示(例如,多個其他的使用者手勢)時,處理器電路110會指示無線通訊電路130經由行動裝置100與第一無線裝置210a之間的無線通訊,傳送前述對應的指令至第一無線裝置210a,以對第一無線裝置210a進行操作。
在某些實施例中,使用者可以依據虛擬使用者介面610顯示的運作資訊,透過語音命令來與候選物件410a~410c進行互動。處理器電路110會轉譯語音命令以產生對應的指令,並指示無線通訊電路130傳輸前述對應的指令第一無線裝置210a。
在另一實施例中,在相機單元120擷取第一影像400後,處理器電路110可以進一步指示相機單元120擷取物理環境的一系列影像。處理器電路110可於前述一系列影像中辨識候選物件410a~410c,並接著執行相似於流程S303~S309的運作。並且,當處理器電路110判定候選物件410a~410c的其中一者於預設時間中皆沒有出現於前述的一系列影像時,處理器電路110會指示無線通訊電路130斷開行動裝置100與某一無線裝置之間的無線通訊,其中該某一無線裝置對應於前述沒有出現於一系列影像中的候選物件410a~410c的該其中一者。如此一來,對應於候選物件 410a~410c的該其中一者的該某一無線裝置的功率消耗便可降低。
在又一實施例中,虛擬使用者介面610的大小正相關於候選物件410a的大小。
第3圖的控制方法300有可能發生配對錯誤的情況。例如,使用者可能錯誤地將訊息框420a與對應於普通裝置220的候選物件410d進行配對,而普通裝置220並沒有無線通訊的能力。在此情況下,當使用者透過虛擬使用者介面610與候選物件410d互動時,使用者實際控制的裝置將會是第一無線裝置210a。
第7A~7B圖共同繪示了依據本揭示文件另一實施例的控制方法700簡化後的流程圖。控制方法700可使行動裝置100遠端控制無線裝置210a~210d。在本實施例中,行動裝置100會自動將無線裝置210a~210d的特徵描述與候選物件410a~410d進行配對,以避免發生前述的配對錯誤情況。
控制方法700的流程S301~S304,相似於控制方法300的流程S301~S304,為了簡潔起見,在此不重複贅述。請參考第7A圖,在流程S705中,處理器電路110會指示無線通訊電路130於行動裝置100與無線裝置210a~210d的每一者之間建立無線通訊,其中行動裝置100與無線裝置210a~210d的每一者之間的無線通訊是依據無線裝置210a~210d的特徵描述所建立。
在流程S706中,如第8圖所示,處理器電路110 會指示顯示電路140強調顯示訊息框420a,並指示無線通訊電路130依據第一無線裝置210a的特徵描述,傳輸第一確認指令至第一無線裝置210a。如此一來,第一無線裝置210a會便被觸發而產生第一通知810a。
在流程S707中,處理器電路110會判斷相機單元120是否偵測到第一通知810a。若相機單元120偵測到第一通知810a,且第一通知810a是位於被候選物件410a的輪廓所包圍的一區域中,行動裝置100會執行流程S708,以將第一無線裝置210a的特徵描述與候選物件410a進行配對。
若於預設時間中相機單元120沒有偵測到第一通知810a,或是流程S708已執行完畢,處理器電路110會執行流程S709以判斷行動裝置100是否已傳送確認指令至無線裝置210a~210d的每一者。若行動裝置100尚未傳送確認指令至無線裝置210a~210d的每一者,處理器電路110會再次執行流程S706。
例如,當處理器電路110再次執行流程S706時,處理器電路110可以指示顯示電路140強調顯示訊息框420b。處理器電路110也可以指示無線通訊電路130依據無線裝置210b的特徵描述,傳送第二確認指令至無線裝置210b。如此一來,無線裝置210b便會被觸發而產生第二通知810b。
如第8圖所示,若相機單元120偵測到第二通知810b,且第二通知810b是位於被候選物件410b的輪廓所包 圍的一區域中,處理器電路110會將無線裝置210b的特徵描述與候選物件410b進行配對。相似地,當處理器電路110又一次執行流程S706時,若相機單元120偵測到第三通知810c,且第三通知810c是位於被候選物件410c的輪廓所包圍的一區域中,處理器電路110會將無線裝置210c的特徵描述與候選物件410c進行配對,其餘依此類推。
亦即,行動裝置100依據無線裝置210a~210d的特徵描述,依序傳送確認指令至無線裝置210a~210d,以觸發無線裝置210a~210d依序產生通知。
若行動裝置100已傳送確認指令至無線裝置210a~210d的每一者,處理器電路110會執行類似於前述流程S307~S310的運作,為簡潔起見,在此不重複贅述。
值得注意的是,因為無線裝置210d沒有出現於相機單元120所擷取到的影像中,相機單元120並不會偵測到無線裝置210d所產生的第四通知。因此,處理器電路110不會將無線裝置210d的特徵描述與任何的候選物件進行配對,使得行動裝置100不會依據無線裝置210d的特徵描述傳輸任何指令以操作無線裝置210d。
總結來說,控制方法700藉由依序傳輸確認指令至鄰近的所有無線裝置,以及依序分析所偵測到的通知的位置來避免配對錯誤。並且,藉由依序強調顯示訊息框420a~420d,行動裝置100可以提示使用者無線裝置210a~210d的特徵描述與候選物件410a~410d之間的關係,以避免使用者對候選物件410a~410d進行錯誤操作。
綜上所述,行動裝置100、控制方法300和700的配合運作讓使用者能直覺地遠端控制多種無線裝置。
請注意,第3圖和第7A~7B圖中的流程順序只是示範性的實施例,並非用於限制本揭示文件的實施方式。例如,在一實施例中,流程S301~S302可以同時執行,流程S307~S310也可同時執行。
在說明書及申請專利範圍中使用了某些詞彙來指稱特定的元件。然而,所屬技術領域中具有通常知識者應可理解,同樣的元件可能會用不同的名詞來稱呼。說明書及申請專利範圍並不以名稱的差異做為區分元件的方式,而是以元件在功能上的差異來做為區分的基準。在說明書及申請專利範圍所提及的「包含」為開放式的用語,故應解釋成「包含但不限定於」。另外,「耦接」在此包含任何直接及間接的連接手段。因此,若文中描述第一元件耦接於第二元件,則代表第一元件可通過電性連接或無線傳輸、光學傳輸等信號連接方式而直接地連接於第二元件,或者通過其他元件或連接手段間接地電性或信號連接至該第二元件。
前述有關本揭示文件之許多示例性實施方式的說明,旨在使本揭示文件之內容更加易於了解,並非有意將本揭示文件之實施方式限制於前述的多個特定實施例。因此,本揭示文件之範圍應以專利保護範圍之請求項來界定,而不應以上述之說明和實施例來對本發明之範圍加以限定。
本領域之通常知識者應當理解,在不偏離本揭示文件的精神和範圍的情形下,本揭示文件仍有許多變化與 修飾之方式。依據上述之內容,凡依本揭示文件請求項所做的均等變化與修飾,皆應屬本揭示文件的涵蓋範圍。
100‧‧‧行動裝置
110‧‧‧處理器電路
120‧‧‧相機單元
130‧‧‧無線通訊電路
140‧‧‧顯示電路
150‧‧‧記憶體模組
Claims (22)
- 一種控制方法,適用於一行動裝置,其中該行動裝置包含一相機單元,該控制方法包含:透過一第一無線通訊獲取一第一無線裝置的一特徵描述,其中該第一無線裝置鄰近於該行動裝置;利用該相機單元擷取一物理環境的一第一影像;於該第一影像中辨識一第一候選物件;將該第一候選物件與該第一無線裝置的該特徵描述進行配對;若該第一候選物件匹配於該第一無線裝置的該特徵描述,且該相機單元接收到一第一預設指示,依據該第一無線裝置的該特徵描述產生一第一指令,其中該第一指令透過一第二無線通訊傳輸至該第一無線裝置,且用於操作該第一無線裝置;若該第一候選物件匹配於該第一無線裝置的該特徵描述,利用該相機單元擷取該物理環境的一第二影像;於該第二影像中尋找該第一候選物件;以及若該第二影像不包含該第一候選物件,斷開該第二無線通訊。
- 如請求項1的控制方法,其中該第一預設指示包含多個使用者手勢。
- 如請求項1的控制方法,其中將該第一候選物件與該第一無線裝置的該特徵描述進行配對的流程包 含:顯示該第一候選物件;強調顯示該第一候選物件的一輪廓;顯示該第一無線裝置的該特徵描述;依據該多個使用者手勢將該第一候選物件與該第一無線裝置的該特徵描述進行配對或匹配;以及若該第一候選物件匹配於該第一無線裝置的該特徵描述,依據該第一無線裝置的該特徵描述於該第一無線裝置與該行動裝置之間建立該第二無線通訊。
- 如請求項3的控制方法,另包含:透過該第二無線通訊週期性地自該第一無線裝置獲取一運作資訊;以及依據該第一候選物件的一位置顯示一虛擬使用者介面,其中該虛擬使用者介面是依據獲取到的該運作資訊所產生。
- 如請求項4的控制方法,其中當該第一候選物件重疊於位於該第一影像的中心的一區域時,或是當該第一候選物件被一使用者注視時,該行動裝置才會顯示該虛擬使用者介面。
- 如請求項4的控制方法,其中該虛擬使用者介面的一輪廓的至少一部份,連接於該第一候選物件的該輪廓的至少一部分。
- 如請求項1的控制方法,另包含:透過一第三無線通訊獲取一第二無線裝置的一特徵描述,其中該第二無線裝置鄰近於該行動裝置;於該第一影像中辨識一第二候選物件;將該第一候選物件與該第一無線裝置的該特徵描述進行配對,以及將該第二候選物件與該第二無線裝置的該特徵描述進行配對;以及若該第二候選物件匹配於該第二無線裝置的該特徵描述,且該相機單元接收到一第二預設指示,依據該第二無線裝置的該特徵描述產生一第二指令,其中該第二指令透過一第四無線通訊傳輸至該第二無線裝置,且用於操作該第二無線裝置。
- 如請求項7的控制方法,其中將該第一候選物件與該第一無線裝置的該特徵描述進行配對,以及將該第二候選物件與該第二無線裝置的該特徵描述進行配對的流程包含:依據該第一無線裝置的該特徵描述,於該第一無線裝置和該行動裝置之間建立該第二無線通訊;依據該第二無線裝置的該特徵描述,於該第二無線裝置和該行動裝置之間建立該第四無線通訊;透過該第二無線通訊傳輸一第一確認指令至該第一無線裝置,以觸發該第一無線裝置產生一第一通知;判斷該相機單元是否偵測到該第一通知; 透過該第四無線通訊傳輸一第二確認指令至該第二無線裝置,以觸發該第二無線裝置產生一第二通知;判斷該相機單元是否偵測到該第二通知;若該相機單元偵測到該第一通知,判斷該第一候選物件匹配於該第一無線裝置的該特徵描述;以及若該相機單元偵測到該第二通知,判斷該第二候選物件匹配於該第二無線裝置的該特徵描述。
- 如請求項8的控制方法,其中該行動裝置依序傳輸該第一確認指令和該第二確認指令。
- 如請求項8的控制方法,其中當該第一通知位於被該第一候選物件的一輪廓包圍的一區域中時,該行動裝置才配對或匹配該第一候選物件與該第一無線裝置,當該第二通知位於被該第二候選物件的一輪廓包圍的一區域中時,該行動裝置才配對或匹配該第二候選物件與該第二無線裝置。
- 如請求項1的控制方法,其中該第一無線裝置的該特徵描述包含一媒體存取控制位址以及一操作指令清單,其中該行動裝置依據該第一無線裝置的該媒體存取控制位址建立該第二無線通訊,且依據該第一無線裝置的該操作指令清單傳輸該第一指令。
- 一行動裝置,包含:一相機單元,用於擷取一物理環境的一第一影像;一無線通訊電路,用於透過一第一無線通訊獲取一第一無線裝置的一特徵描述,其中該第一無線裝置鄰近於該行動裝置;一處理器電路,耦接於該相機單元和該無線通訊電路,且被設置為執行以下運作:於該第一影像中辨識一第一候選物件;將該第一候選物件與該第一無線裝置的該特徵描述進行匹配;以及若該第一候選物件匹配於該第一無線裝置的該特徵描述,且該相機單元接收到一第一預設指示,依據該第一無線裝置的該特徵描述產生一第一指令,其中該第一指令透過一第二無線通訊傳輸至該第一無線裝置,且用於操作該第一無線裝置;其中若該第一候選物件匹配於該第一無線裝置的該特徵描述,該處理器電路指示該相機單元擷取該物理環境的一第二影像,且該處理器電路於該第二影像中尋找該第一候選物件,若該第二影像不包含該第一候選物件,則該處理器電路指示該無線通訊電路斷開該第二無線通訊。
- 如請求項12的行動裝置,其中該第一預設指示包含多個使用者手勢。
- 如請求項12的行動裝置,另包含:一顯示電路,耦接於該處理器電路;其中該處理器電路更被設置為執行以下運作:指示該顯示電路顯示該第一影像,其中該第一影像包含該第一候選物件;指示該顯示電路強調顯示該第一候選物件的一輪廓;指示該顯示電路顯示該第一無線裝置的該特徵描述;依據該多個使用者手勢將該第一候選物件與該第一無線裝置的該特徵描述進行配對或匹配;以及若該第一候選物件匹配於該第一無線裝置的該特徵描述,依據該第一無線裝置的該特徵描述於該第一無線裝置與該無線通訊電路之間建立該第二無線通訊。
- 如請求項14的行動裝置,其中該處理器電路指示該無線通訊電路透過該第二無線通訊週期性地自該第一無線裝置獲取一運作資訊,並指示該顯示電路依據該第一候選物件的一位置顯示一虛擬使用者介面,其中該虛擬使用者介面是依據獲取到的該運作資訊所產生。
- 如請求項15的行動裝置,其中當該第一候選物件重疊於位於該第一影像中心的一區域時,或是當該第一候選物件被一使用者注視時,該顯示電路才顯示該虛擬使用者介面。
- 如請求項15的行動裝置,其中該虛擬使用者介面的一輪廓的至少一部份連接於該第一候選物件的該輪廓的至少一部份。
- 如請求項12的行動裝置,其中該無線通訊電路還用於透過一第三無線通訊獲取一第二無線裝置的一特徵描述,其中該第二無線裝置鄰近於該行動裝置,其中該處理器電路更被設置為執行以下運作:於該第一影像中辨識一第二候選物件;將該第一候選物件與該第一無線裝置的該特徵描述進行配對,以及將該第二候選物件與該第二無線裝置的該特徵描述進行配對;以及若該第二候選物件匹配於該第二無線裝置的該特徵描述,且該相機單元接收到一第二預設指示,依據該第二無線裝置的該特徵描述產生一第二指令,其中該第二指令透過一第四無線通訊傳輸至該第二無線裝置,且用於操作該第二無線裝置。
- 如請求項18的行動裝置,其中當該處理器電路將該第一候選物件與該第一無線裝置的該特徵描述進行配對,以及將該第二候選物件與該第二無線裝置的該特徵描述進行配對時,該處理器電路更被設置為進行以下運作:依據該第一無線裝置的該特徵描述,於該第一無線裝置和該無線通訊電路之間建立該第二無線通訊; 依據該第二無線裝置的該特徵描述,於該第二無線裝置和該無線通訊電路之間建立該第四無線通訊;指示該無線通訊電路透過該第二無線通訊傳輸一第一確認指令至該第一無線裝置,以觸發該第一無線裝置產生一第一通知;判斷該相機單元是否偵測到該第一通知;指示該無線通訊電路透過該第四無線通訊傳輸一第二確認指令至該第二無線裝置,以觸發該第二無線裝置產生一第二通知;判斷該相機單元是否偵測到該第二通知;若該相機單元偵測到該第一通知,判斷該第一候選物件匹配於該第一無線裝置的該特徵描述;以及若該相機單元偵測到該第二通知,判斷該第二候選物件匹配於該第二無線裝置的該特徵描述。
- 如請求項19的行動裝置,其中該處理器電路指示該無線通訊電路依序傳輸該第一確認指令和該第二確認指令。
- 如請求項19的行動裝置,其中當該第一通知位於被該第一候選物件的一輪廓包圍的一區域中時,該處理器電路才配對或匹配該第一候選物件與該第一無線裝置,當該第二通知位於被該第二候選物件的一輪廓包圍的一區域中時,該處理器電路才配對或匹配該第二候選物件與該第二無線裝置。
- 如請求項12的行動裝置,其中該第一無線裝置的該特徵描述包含一媒體存取控制位址以及一操作指令清單,其中該處理器電路依據該第一無線裝置的該媒體存取控制位址建立該第二無線通訊,以及依據該第一無線裝置的該操作指令清單傳輸該第一指令。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762530862P | 2017-07-11 | 2017-07-11 | |
US62/530,862 | 2017-07-11 | ||
US15/980,731 | 2018-05-15 | ||
US15/980,731 US10602046B2 (en) | 2017-07-11 | 2018-05-15 | Mobile device and control method |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201908924A TW201908924A (zh) | 2019-03-01 |
TWI689844B true TWI689844B (zh) | 2020-04-01 |
Family
ID=62909338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107123555A TWI689844B (zh) | 2017-07-11 | 2018-07-06 | 行動裝置以及控制方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10602046B2 (zh) |
EP (1) | EP3429133A1 (zh) |
CN (1) | CN109243153B (zh) |
TW (1) | TWI689844B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11303815B2 (en) * | 2017-11-29 | 2022-04-12 | Sony Corporation | Imaging apparatus and imaging method |
CN108536295B (zh) * | 2018-03-30 | 2021-08-10 | 腾讯科技(深圳)有限公司 | 虚拟场景中的对象控制方法、装置及计算机设备 |
US10725629B2 (en) * | 2018-06-25 | 2020-07-28 | Google Llc | Identifying and controlling smart devices |
WO2020022780A1 (en) * | 2018-07-25 | 2020-01-30 | Samsung Electronics Co., Ltd. | Method and apparatus for establishing device connection |
US11163434B2 (en) * | 2019-01-24 | 2021-11-02 | Ademco Inc. | Systems and methods for using augmenting reality to control a connected home system |
CN111489448A (zh) * | 2019-01-24 | 2020-08-04 | 宏达国际电子股份有限公司 | 检测真实世界光源的方法、混合实境***及记录介质 |
US20200265647A1 (en) * | 2019-02-18 | 2020-08-20 | Eaton Intelligent Power Limited | Augmented Reality-Based Lighting System Design And Commissioning |
CN109886191A (zh) * | 2019-02-20 | 2019-06-14 | 上海昊沧***控制技术有限责任公司 | 一种基于ar的识别物管理方法及*** |
GB2602452A (en) * | 2020-12-18 | 2022-07-06 | Supra Uk Ltd | Instigating communication |
US11930270B2 (en) | 2021-10-29 | 2024-03-12 | Snap Inc. | Identifying a video camera for an object |
US20230152947A1 (en) * | 2021-11-17 | 2023-05-18 | Snap Inc. | Point and control object |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110037712A1 (en) * | 2009-08-11 | 2011-02-17 | Lg Electronics Inc. | Electronic device and control method thereof |
TW201350912A (zh) * | 2012-03-29 | 2013-12-16 | Sony Corp | 資訊處理裝置,資訊處理系統及資訊處理方法 |
US20150133051A1 (en) * | 2012-04-12 | 2015-05-14 | Telefonaktiebolaget L M Ericsson (Publ) | Pairing A Mobile Terminal With A Wireless Device |
CN105676456A (zh) * | 2016-04-06 | 2016-06-15 | 众景视界(北京)科技有限公司 | 模块化头戴式电子设备 |
CN105808071A (zh) * | 2016-03-31 | 2016-07-27 | 联想(北京)有限公司 | 一种显示控制方法、装置和电子设备 |
TW201708883A (zh) * | 2015-08-19 | 2017-03-01 | 宏達國際電子股份有限公司 | 電子系統、可攜式顯示裝置及導引裝置 |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU5158800A (en) * | 1999-05-28 | 2000-12-18 | Basic Resources, Inc. | Wireless transceiver network employing node-to-node data messaging |
US6686838B1 (en) * | 2000-09-06 | 2004-02-03 | Xanboo Inc. | Systems and methods for the automatic registration of devices |
JP2004246644A (ja) * | 2003-02-14 | 2004-09-02 | Pentax Corp | 画像処理装置、画像処理方法および画像処理プログラム |
WO2005036821A1 (de) * | 2003-09-16 | 2005-04-21 | Ip2H Ag | Verteilte steuerung von unterschiedlichen heimnetzgeräten |
JP2005175666A (ja) * | 2003-12-09 | 2005-06-30 | Toshiba Corp | 周辺オブジェクト通信方法、装置及びシステム |
US8639214B1 (en) * | 2007-10-26 | 2014-01-28 | Iwao Fujisaki | Communication device |
JP5652993B2 (ja) * | 2008-06-30 | 2015-01-14 | キヤノン株式会社 | 表示制御装置、表示制御装置の制御方法及びプログラム |
JP5171436B2 (ja) * | 2008-06-30 | 2013-03-27 | キヤノン株式会社 | 通信装置、データ通信システム、通信装置の制御方法及びプログラム |
US8131322B2 (en) * | 2008-09-19 | 2012-03-06 | Apple Inc. | Enabling speaker phone mode of a portable voice communications device having a built-in camera |
KR20100045188A (ko) * | 2008-10-23 | 2010-05-03 | 삼성전자주식회사 | 원격 조정 장치 및 상기 원격 조정 장치를 이용하여 디바이스를 제어하는 방법 |
US9014685B2 (en) * | 2009-06-12 | 2015-04-21 | Microsoft Technology Licensing, Llc | Mobile device which automatically determines operating mode |
US8682391B2 (en) * | 2009-08-27 | 2014-03-25 | Lg Electronics Inc. | Mobile terminal and controlling method thereof |
US20110157024A1 (en) * | 2009-12-29 | 2011-06-30 | Gary Chao | System-expandable remote control with touch panel, and method for expanding systems |
US8315674B2 (en) * | 2010-10-08 | 2012-11-20 | Research In Motion Limited | System and method for displaying object location in augmented reality |
WO2012083415A1 (en) * | 2010-11-15 | 2012-06-28 | Tandemlaunch Technologies Inc. | System and method for interacting with and analyzing media on a display using eye gaze tracking |
KR102051418B1 (ko) | 2012-09-28 | 2019-12-03 | 삼성전자주식회사 | 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치 |
CN104904158A (zh) * | 2013-04-15 | 2015-09-09 | 三星电子株式会社 | 用于控制外部设备的方法和*** |
TW201445988A (zh) * | 2013-05-17 | 2014-12-01 | Apacer Technology Inc | 虛擬遙控介面與行動裝置 |
JP6206099B2 (ja) * | 2013-11-05 | 2017-10-04 | セイコーエプソン株式会社 | 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置 |
JP6160482B2 (ja) * | 2013-12-27 | 2017-07-12 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
KR102218295B1 (ko) * | 2014-02-06 | 2021-02-22 | 삼성전자주식회사 | 가전 기기, 가전 기기의 네트워크 연결 시스템 및 가전 기기의 네트워크 연결 방법 |
US9886162B2 (en) | 2014-06-02 | 2018-02-06 | Qualcomm Incorporated | Device-provided tracking data for augmented reality |
WO2016017945A1 (en) * | 2014-07-29 | 2016-02-04 | Samsung Electronics Co., Ltd. | Mobile device and method of pairing the same with electronic device |
KR20160024143A (ko) * | 2014-08-25 | 2016-03-04 | 삼성전자주식회사 | 영상 처리 방법 및 전자 장치 |
CN104640060B (zh) * | 2015-01-28 | 2019-08-23 | 惠州Tcl移动通信有限公司 | 一种数据共享的方法及其*** |
US10921896B2 (en) | 2015-03-16 | 2021-02-16 | Facebook Technologies, Llc | Device interaction in augmented reality |
US10268892B1 (en) * | 2015-05-15 | 2019-04-23 | 4Dmobile Llc | System and methods for volume dimensioning for supply chains and shelf sets |
CN204721496U (zh) * | 2015-06-23 | 2015-10-21 | 上海弘视通信技术有限公司 | 虚拟全景智能视频监控*** |
EP3246660B1 (en) * | 2016-05-19 | 2019-10-30 | Hexagon Technology Center GmbH | System and method for referencing a displaying device relative to a surveying instrument |
JP6682365B2 (ja) * | 2016-06-01 | 2020-04-15 | キヤノン株式会社 | 通信装置、通信装置の制御方法、及び、プログラム |
CN106293395A (zh) * | 2016-08-03 | 2017-01-04 | 深圳市金立通信设备有限公司 | 一种虚拟现实眼镜及其界面交互方法 |
US11563895B2 (en) * | 2016-12-21 | 2023-01-24 | Motorola Solutions, Inc. | System and method for displaying objects of interest at an incident scene |
EP3434334A1 (en) * | 2017-07-26 | 2019-01-30 | Honeywell International Inc. | Enhanced vision for firefighter using heads up display and gesture sensing |
JP7116542B2 (ja) * | 2017-12-12 | 2022-08-10 | キヤノン株式会社 | 電子機器およびその制御方法、プログラム |
US20190230323A1 (en) * | 2018-01-22 | 2019-07-25 | Magna Electronics Inc. | Vehicle vision system with wireless camera pairing |
-
2018
- 2018-05-15 US US15/980,731 patent/US10602046B2/en active Active
- 2018-06-26 EP EP18179788.7A patent/EP3429133A1/en active Pending
- 2018-07-06 TW TW107123555A patent/TWI689844B/zh active
- 2018-07-10 CN CN201810749706.6A patent/CN109243153B/zh active Active
-
2020
- 2020-02-10 US US16/785,671 patent/US10979617B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110037712A1 (en) * | 2009-08-11 | 2011-02-17 | Lg Electronics Inc. | Electronic device and control method thereof |
TW201350912A (zh) * | 2012-03-29 | 2013-12-16 | Sony Corp | 資訊處理裝置,資訊處理系統及資訊處理方法 |
US20150133051A1 (en) * | 2012-04-12 | 2015-05-14 | Telefonaktiebolaget L M Ericsson (Publ) | Pairing A Mobile Terminal With A Wireless Device |
TW201708883A (zh) * | 2015-08-19 | 2017-03-01 | 宏達國際電子股份有限公司 | 電子系統、可攜式顯示裝置及導引裝置 |
CN105808071A (zh) * | 2016-03-31 | 2016-07-27 | 联想(北京)有限公司 | 一种显示控制方法、装置和电子设备 |
CN105676456A (zh) * | 2016-04-06 | 2016-06-15 | 众景视界(北京)科技有限公司 | 模块化头戴式电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109243153B (zh) | 2021-03-26 |
TW201908924A (zh) | 2019-03-01 |
US20190020809A1 (en) | 2019-01-17 |
US10602046B2 (en) | 2020-03-24 |
US10979617B2 (en) | 2021-04-13 |
US20200177792A1 (en) | 2020-06-04 |
EP3429133A1 (en) | 2019-01-16 |
CN109243153A (zh) | 2019-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI689844B (zh) | 行動裝置以及控制方法 | |
US9892559B2 (en) | Portable terminal device, and portable control device | |
US20170048077A1 (en) | Intelligent electric apparatus and controlling method of same | |
US20170045866A1 (en) | Methods and apparatuses for operating an appliance | |
US11445026B2 (en) | Methods, systems, and media for indicating a security status of an internet of things device | |
US20160191621A1 (en) | Method of sharing data and electronic device thereof | |
KR102161100B1 (ko) | 위치 관련 정보 제공 방법 및 이를 지원하는 전자 장치 | |
CN104536561B (zh) | 采用可穿戴设备控制终端设备操作的方法及可穿戴设备 | |
EP3474517B1 (en) | Electronic device for controlling iot device to correspond to state of external electronic device and operation method thereof | |
KR20120079245A (ko) | 공기 조화기의 제어 방법 | |
US11032862B2 (en) | Device and communication connection method for connecting multiple devices | |
US20160209997A1 (en) | Apparatus and method for displaying connection status in network | |
JP6602212B2 (ja) | 電子機器、方法及びプログラム | |
US20150074569A1 (en) | Display Device, Display Method and Display System | |
US11372612B2 (en) | Display device and method for controlling same | |
US20140223321A1 (en) | Portable device and method for controlling external device thereof | |
CN108702306B (zh) | 电子设备及其传感器布置方法 | |
US11452159B2 (en) | Electronic device and control method thereof | |
WO2018133205A1 (zh) | 实现增值服务的方法、装置与云服务器 | |
KR101742444B1 (ko) | 적응형 패턴 인식 기반 고속 디바이스 커플링 방법 및 시스템 | |
KR101196761B1 (ko) | 제스처 인식을 이용한 콘텐츠 전송 방법 및 그 단말기 | |
JP2015148396A (ja) | 制御システム、および制御方法 | |
JP6352077B2 (ja) | 遠隔操作システム、及び専用操作器 | |
US20160124523A1 (en) | Electronic device, display device, and method for controlling the same | |
CN113808379A (zh) | 控制方法、电子设备及存储介质 |