TWI537775B - 滑鼠圖示控制方法及系統 - Google Patents

滑鼠圖示控制方法及系統 Download PDF

Info

Publication number
TWI537775B
TWI537775B TW101126989A TW101126989A TWI537775B TW I537775 B TWI537775 B TW I537775B TW 101126989 A TW101126989 A TW 101126989A TW 101126989 A TW101126989 A TW 101126989A TW I537775 B TWI537775 B TW I537775B
Authority
TW
Taiwan
Prior art keywords
screen
mouse
electronic device
mouse icon
icon
Prior art date
Application number
TW101126989A
Other languages
English (en)
Other versions
TW201405377A (zh
Inventor
王欣偉
Original Assignee
群邁通訊股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 群邁通訊股份有限公司 filed Critical 群邁通訊股份有限公司
Priority to TW101126989A priority Critical patent/TWI537775B/zh
Priority to US13/869,790 priority patent/US20140028559A1/en
Publication of TW201405377A publication Critical patent/TW201405377A/zh
Application granted granted Critical
Publication of TWI537775B publication Critical patent/TWI537775B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)

Description

滑鼠圖示控制方法及系統
本發明涉及一種滑鼠圖示控制方法及系統。
隨著投影技術的發展，投影技術被嵌入電子裝置，特別是被嵌入手機、平板電腦、個人數位助理等移動電子裝置，投影技術嵌入使電子裝置螢幕從機身上的小螢幕變成由投影裝置投影形成的大螢幕。但是現有技術只能將用戶自身電子裝置上的資訊投影到螢幕上並由用戶獨自控制螢幕，無法實現用戶以外的人對螢幕控制從而實現互動。
本發明提供一種滑鼠圖示控制方法，該方法包括：建立步驟，建立滑鼠圖示形態與對螢幕畫面操作的關聯關係，並將該關聯關係添加到一對應關係表中；投射步驟，第一投影裝置將第一電子裝置的螢幕畫面投射成螢幕；觸發步驟，當第二投影裝置將第二電子裝置的滑鼠圖示投射出時，觸發第一電子裝置的攝像裝置拍攝上述螢幕；獲取步驟，從上述攝像裝置獲取拍攝到的螢幕；辨識步驟，當螢幕中存在第二電子裝置的滑鼠圖示時，辨識該滑鼠圖示的形態和該滑鼠圖示在螢幕上的位置變化；查詢步驟，根據辨識得到的滑鼠圖示形態從所述對應關係表中查詢相應的對螢幕畫面的操作；控制步驟，根據查詢到的對螢幕畫面的操作以及辨識得到的滑鼠圖示在螢幕上的位置變化控制第一電子裝置的螢幕畫面做出相應操作，該螢幕畫面控制過程顯示在上述螢幕上。
本發明提供一種滑鼠圖示控制系統，該系統包括：建立模組，用於建立滑鼠圖示形態與對該滑鼠圖示操作的關聯關係，並將該關聯關係添加到一對應關係表中；觸發模組，用於當第二投影裝置將第二電子裝置的滑鼠圖示投射出時，觸發第一電子裝置的攝像裝置拍攝由第一投影裝置將第一電子裝置的螢幕畫面投射成的螢幕；獲取模組，用於從上述攝像裝置獲取拍攝到的螢幕；辨識模組，用於當獲取到的螢幕中存在第二電子裝置的滑鼠圖示時，辨識該滑鼠圖示形態和該滑鼠在螢幕上的位置變化；查詢模組，用於根據滑鼠圖示形態從所述對應關係表中查詢相應的對螢幕畫面的操作；控制模組，用於根據查詢到的對螢幕畫面的操作以及辨識得到的滑鼠圖示在螢幕上的位置變化控制第一電子裝置的螢幕畫面做出相應動作，該螢幕畫面控制過程顯示在上述螢幕上。
本發明利用投影技術實現通過辨識滑鼠圖示控制多個電子裝置的投影螢幕。
如圖1所示，是本發明滑鼠圖示控制系統較佳實施例的運行環境圖。滑鼠圖示控制系統10運行在第一電子裝置1上，所述第一電子裝置1包括第一記憶體12、第一處理器14、攝像裝置16、第一投影裝置18。所述第二電子裝置2可以包括第二投影裝置20及第二記憶體22。
所述第一電子裝置1與第二電子裝置2可以為手機、平板電腦或個人數位助理等電子裝置。
第一記憶體12用於存儲滑鼠圖示控制系統10的程式碼等資料。
所述第一投影裝置18集成在第一電子裝置1內，用於將第一電子裝置1的螢幕畫面投射成螢幕3。
第二投影裝置20集成在第二電子裝置2內，用於投射滑鼠圖示到螢幕3。
第二記憶體22用於存儲各種形狀的滑鼠圖示4。
攝像裝置16用於當第二投影裝置20將滑鼠圖示4投射出去時，拍攝螢幕3。
在本實施例中，所述滑鼠圖示控制系統10可以被分割成一個或多個模組，所述一個或多個模組被存儲在第一電子裝置1的第一記憶體12中並被配置成由一個或多個處理器（本實施例為一個處理器14）執行，以完成本發明。例如，參閱圖2所示，所述滑鼠圖示控制系統10被分割成建立模組100、觸發模組102、獲取模組104、判斷模組106、辨識模組108、查詢模組110、控制模組112。本發明所稱的模組是完成一特定功能的程式段，比程式更適合於描述軟體在第一電子裝置1中的執行過程，關於各模組的功能參閱圖3的描述。
如圖3所示，是本發明滑鼠圖示控制方法的較佳實施例的流程圖。
步驟S200，建立模組100建立滑鼠圖示4的形態與對螢幕畫面操作的關聯關係，並將該關聯關係添加到一對應關係表中，該對應關係表如圖4所示，例如當控制螢幕畫面進行拖拉操作時，滑鼠圖示4的形態為一個“小手”形態；當要把螢幕畫面翻到下一頁時，滑鼠圖示4的形態為一個向左的箭頭；當滑鼠圖示4形態為一個向右的箭頭時，表示把螢幕畫面翻到上一頁，白色的箭頭表示標準選擇。
步驟S202，第一投影裝置18將第一電子裝置1的螢幕畫面投射成螢幕3。
步驟S204，當第二投影裝置20將滑鼠圖示4投射出時，觸發模組102觸發攝像裝置16拍攝螢幕3，本實施方式中，第一電子裝置1與第二電子裝置2通過有線或者無線方式連接通訊，當第二投影裝置20投射出滑鼠圖示4時，第二電子裝置2通知第一電子裝置1以啟動觸發模組102觸發攝像裝置16拍攝螢幕3。
步驟S206，獲取模組104從攝像裝置16獲取拍攝到的螢幕3。
步驟S208，判斷模組106判斷拍攝到的螢幕3中是否存在滑鼠圖示4，如果存在，進入步驟S210，否則返回步驟S204。在本實施方式中，當第二投影裝置20投射出滑鼠圖示4時，觸發模組102觸發攝像裝置16拍攝螢幕3，判斷模組106判斷螢幕3上除第一電子裝置1的螢幕畫面外是否還包括滑鼠圖示4，此處可以利用開源電腦視覺庫OpenCV（Open Source Computer Vision Library）對拍攝到的螢幕3的畫面進行辨識，看螢幕3上是否包括滑鼠圖示4，所述OpenCV是一個跨平臺電腦視覺庫，可以運行在Linux、Windows作業系統上，它由一系列C函數和少量C++類構成，它同時提供了Python、Ruby、MATLAB等語言的介面，實現了圖像處理和電腦視覺方面的很多通用演算法。此處之所以會加入步驟S208，是因為第二投影裝置20投射滑鼠圖示4時，未必一定投射在螢幕3上。
步驟S210，辨識模組108辨識滑鼠圖示4的形態和滑鼠圖示4在螢幕3上的位置變化。本實施方式中，所述辨識模組108可以利用OpenCV對拍攝到的螢幕3上的滑鼠圖示4的形態與位置變化進行辨識。在確定滑鼠圖示4的位置變化時，以螢幕3左上角為座標原點建立二維座標系，則螢幕3左上角座標為(0，0)，調用OpenCV取得滑鼠圖示4的多個頂點，例如圖1所示頂點A、B、C及中心點相對於原點座標，根據多個頂點與中心點的相對座標確定滑鼠圖示4在螢幕3上的位置，當滑鼠圖示4在螢幕3上變換位置時，確定滑鼠圖示4在螢幕3上變換位置的過程中各點的相對座標，最終確定滑鼠圖示4在螢幕3上的位置變化。
步驟S212，查詢模組110根據辨識得到的螢幕3中的滑鼠圖示4的形態從所述對應關係表中查詢相應的對螢幕畫面的操作，例如，滑鼠圖示4的形態為“小手”形態，那麼對應的對螢幕畫面的操作為“拖拉”。
步驟S214，控制模組112根據查詢到的對螢幕畫面的操作以及辨識得到的滑鼠圖示4在螢幕3上位置變化控制第一電子裝置的螢幕畫面做出相應動作，該操作過程顯示在螢幕3上，例如，控制模組112將第一電子裝置1螢幕畫面最左端的圖片拖拉到螢幕畫面最右端，該拖拉過程顯示在螢幕3上為將螢幕3最左端的圖片拖拉到螢幕3的最右邊。
以上步驟S200至步驟S214利用投影技術實現通過辨識投射到螢幕上的滑鼠圖示來控制多個電子裝置的投影螢幕。
最後應說明的是，以上實施例僅用以說明本發明的技術方案而非限制，儘管參照較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。
1．．．第一電子裝置
2．．．第二電子裝置
3．．．螢幕
4．．．滑鼠圖示
10．．．滑鼠圖示控制系統
12．．．第一記憶體
14．．．處理器
16．．．攝像裝置
18．．．第一投影裝置
20．．．第二投影裝置
22．．．第二記憶體
100．．．建立模組
102．．．觸發模組
104．．．獲取模組
106．．．判斷模組
108．．．辨識模組
110．．．查詢模組
112．．．控制模組
圖1是本發明滑鼠圖示控制系統的較佳實施方式的運行環境圖。
圖2是本發明滑鼠圖示控制系統的較佳實施方式的功能模組圖。
圖3是本發明滑鼠圖示控制方法的較佳實施方式的流程圖。
圖4是本發明滑鼠圖示控制方法的較佳實施方式的滑鼠圖示形態與對螢幕畫面操作的對應關係表。
10．．．滑鼠圖示控制系統
100．．．建立模組
102．．．觸發模組
104．．．獲取模組
106．．．判斷模組
108．．．辨識模組
110．．．查詢模組
112．．．控制模組

Claims (9)

  1. 一種滑鼠圖示控制方法，應用在第一電子裝置上，該第一電子裝置連接第二電子裝置並進行通訊，第一電子裝置包括第一投影裝置，第二電子裝置包括第二投影裝置，其中，該方法包括：
    建立步驟，建立滑鼠圖示形態與螢幕畫面操作的關聯關係，並將該關聯關係添加到一對應關係表中；
    投射步驟，第一投影裝置將第一電子裝置的螢幕畫面投射成螢幕；
    觸發步驟，當第二投影裝置將存儲在第二電子裝置的滑鼠圖示投射出時，觸發第一電子裝置的攝像裝置拍攝上述螢幕；
    獲取步驟，從上述攝像裝置獲取拍攝到的螢幕；
    辨識步驟，當螢幕中存在第二電子裝置的滑鼠圖示時，辨識該滑鼠圖示的形態和該滑鼠圖示在螢幕上的位置變化；
    查詢步驟，根據辨識得到的滑鼠圖示形態從所述對應關係表中查詢相應的對螢幕畫面的操作；
    控制步驟，根據查詢到的對螢幕畫面的操作以及辨識得到的滑鼠圖示在螢幕上的位置變化控制第一電子裝置的螢幕畫面做出相應操作，該螢幕畫面控制過程顯示在上述螢幕上。
  2. 如申請專利範圍第1項所述之滑鼠圖示控制方法，其中，所述第一電子裝置和第二電子裝置為手機。
  3. 如申請專利範圍第1項所述之滑鼠圖示控制方法，其中，當拍攝得到的螢幕中不存在第二電子裝置的滑鼠圖示時，返回觸發步驟。
  4. 如申請專利範圍第1項所述之滑鼠圖示控制方法，其中，所述對螢幕畫面的控制為拖拉、翻頁、移動或選擇文字。
  5. 如申請專利範圍第1項所述之滑鼠圖示控制方法，其中，所述辨識步驟包括利用開源電腦視覺庫OpenCV對拍攝到的螢幕上的滑鼠圖示形態與位置變化進行辨識，在辨識滑鼠圖示在螢幕上的位置變化時，以螢幕左上角為座標原點建立二維座標系，調用OpenCV取得滑鼠圖示的多個頂點及中心點相對於原點的座標，根據該多個頂點與中心點的相對座標確定滑鼠圖示在螢幕上的位置，利用該確定滑鼠圖示位置的方法，當滑鼠圖示在螢幕上變換位置時確定滑鼠圖示在螢幕上變換位置過程中的各頂點相對座標，最終確定滑鼠圖示在螢幕上的位置變化。
  6. 一種滑鼠圖示控制系統，運行在第一電子裝置上，該第一電子裝置連接第二電子裝置並進行通訊，第一電子裝置包括第一投影裝置，第二電子裝置包括第二投影裝置，其中，該系統包括：
    建立模組，用於建立滑鼠圖示形態與對螢幕畫面操作的關聯關係，並將該關聯關係添加到一對應關係表中；
    觸發模組，用於當第二投影裝置將存儲在第二電子裝置的滑鼠圖示投射出時，觸發第一電子裝置的攝像裝置拍攝由第一投影裝置將第一電子裝置的螢幕畫面投射成的螢幕；
    獲取模組，用於從上述攝像裝置獲取拍攝到的螢幕；
    辨識模組，用於當獲取到的螢幕中存在第二電子裝置的滑鼠圖示時，辨識該滑鼠圖示形態和該滑鼠圖示在螢幕上的位置變化；
    查詢模組，用於根據滑鼠圖示形態從所述對應關係表中查詢相應的對螢幕畫面的操作；
    控制模組，用於根據查詢到的對螢幕畫面的操作以及辨識得到的滑鼠圖示在螢幕上位置變化控制第一電子裝置的螢幕畫面做出相應動作，該螢幕畫面控制過程顯示在上述螢幕上。
  7. 如申請專利範圍第6項所述之滑鼠圖示控制系統，其中，所述第一電子裝置和第二電子裝置為手機。
  8. 如申請專利範圍第6項所述之滑鼠圖示控制系統，其中，所述對螢幕畫面的控制為拖拉、翻頁、移動或選擇文字。
  9. 如申請專利範圍第6項所述之滑鼠圖示控制系統，其中，所述辨識模組還用於利用OpenCV對拍攝到的螢幕上的滑鼠圖示的形態與位置變化進行辨識，在辨識滑鼠圖示在螢幕上的位置變化時，以螢幕左上角為座標原點建立二維座標系，調用OpenCV取得滑鼠圖示的多個頂點及中心點相對於原點的座標，根據多個頂點與中心點的相對座標確定滑鼠圖示在螢幕上的位置，利用該確定滑鼠圖示位置的方法，當滑鼠圖示在螢幕上變換位置時確定滑鼠圖示在螢幕上變換位置過程中的各頂點相對座標，最終確定滑鼠圖示在螢幕上的位置變化。
TW101126989A 2012-07-26 2012-07-26 滑鼠圖示控制方法及系統 TWI537775B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW101126989A TWI537775B (zh) 2012-07-26 2012-07-26 滑鼠圖示控制方法及系統
US13/869,790 US20140028559A1 (en) 2012-07-26 2013-04-24 Projector device and method for controlling a projection screen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101126989A TWI537775B (zh) 2012-07-26 2012-07-26 滑鼠圖示控制方法及系統

Publications (2)

Publication Number Publication Date
TW201405377A TW201405377A (zh) 2014-02-01
TWI537775B true TWI537775B (zh) 2016-06-11

Family

ID=49994369

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101126989A TWI537775B (zh) 2012-07-26 2012-07-26 滑鼠圖示控制方法及系統

Country Status (2)

Country Link
US (1) US20140028559A1 (zh)
TW (1) TWI537775B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10516863B1 (en) * 2018-09-27 2019-12-24 Bradley Baker Miniature portable projector device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5115230A (en) * 1989-07-19 1992-05-19 Bell Communications Research, Inc. Light-pen system for projected images
US5712658A (en) * 1993-12-28 1998-01-27 Hitachi, Ltd. Information presentation apparatus and information display apparatus
US5568603A (en) * 1994-08-11 1996-10-22 Apple Computer, Inc. Method and system for transparent mode switching between two different interfaces
US6512507B1 (en) * 1998-03-31 2003-01-28 Seiko Epson Corporation Pointing position detection device, presentation system, and method, and computer-readable medium
US6727885B1 (en) * 1999-09-07 2004-04-27 Nikon Corporation Graphical user interface and position or attitude detector
US6346933B1 (en) * 1999-09-21 2002-02-12 Seiko Epson Corporation Interactive display presentation system
JP2004318823A (ja) * 2003-03-28 2004-11-11 Seiko Epson Corp 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
WO2011052261A1 (ja) * 2009-10-27 2011-05-05 シャープ株式会社 ポインティング装置
JP5853394B2 (ja) * 2011-04-07 2016-02-09 セイコーエプソン株式会社 カーソル表示システム、カーソル表示方法、及び、プロジェクター

Also Published As

Publication number Publication date
TW201405377A (zh) 2014-02-01
US20140028559A1 (en) 2014-01-30

Similar Documents

Publication Publication Date Title
US10887546B2 (en) Display apparatus and control methods thereof
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US9117274B2 (en) System and method for interactive markerless paper documents in 3D space with mobile cameras and projectors
US9645735B2 (en) Information processing device and information processing method
EP2790089A1 (en) Portable device and method for providing non-contact interface
WO2015161653A1 (zh) 一种终端操作方法及终端设备
US20150169134A1 (en) Methods circuits apparatuses systems and associated computer executable code for providing projection based human machine interfaces
JP6260241B2 (ja) ユーザの入力を受け付けるシステム、プログラムおよび方法
WO2017181844A1 (zh) 控制光标的方法及装置、显示设备
WO2019205634A1 (zh) 智能交互平板的触摸控制方法、装置及智能交互平板
JP2014029656A (ja) 画像処理装置および画像処理方法
JP2016103137A (ja) ユーザインタフェース装置、画像処理装置及び制御用プログラム
JP2016071546A (ja) 情報処理装置とその制御方法、プログラム、記憶媒体
CN106569716B (zh) 单手操控方法及操控***
US20160266648A1 (en) Systems and methods for interacting with large displays using shadows
CN106598422B (zh) 混合操控方法及操控***和电子设备
WO2018171363A1 (zh) 一种位置信息确定方法、投影设备和计算机存储介质
JP7495651B2 (ja) オブジェクト姿勢制御プログラムおよび情報処理装置
TWI537775B (zh) 滑鼠圖示控制方法及系統
CN103576906B (zh) 鼠标图标控制方法及***
CN116301551A (zh) 触控识别方法、触控识别装置、电子设备及介质
JP6618301B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
KR20140060807A (ko) 사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법
JP2018063555A (ja) 情報処理装置、情報処理方法及びプログラム
CN103581589B (zh) 投影方法及***

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees