TW201610750A - 可與３ｄ影像互動之手勢控制系統 - Google Patents

可與３ｄ影像互動之手勢控制系統 Download PDF

Info

Publication number
TW201610750A
TW201610750A TW103130340A TW103130340A TW201610750A TW 201610750 A TW201610750 A TW 201610750A TW 103130340 A TW103130340 A TW 103130340A TW 103130340 A TW103130340 A TW 103130340A TW 201610750 A TW201610750 A TW 201610750A
Authority
TW
Taiwan
Prior art keywords
image
hand
processing unit
control system
user
Prior art date
Application number
TW103130340A
Other languages
English (en)
Inventor
Zheng-Hao Wang
Original Assignee
Liquid3D Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liquid3D Solutions Ltd filed Critical Liquid3D Solutions Ltd
Priority to TW103130340A priority Critical patent/TW201610750A/zh
Priority to US14/509,045 priority patent/US9405378B2/en
Priority to CN201410538194.0A priority patent/CN105425937A/zh
Publication of TW201610750A publication Critical patent/TW201610750A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一種可與3D影像互動之手勢控制系統，包括：一3D影像顯示裝置、一手勢辨識裝置、以及一資料處理單元，該3D影像顯示裝置係顯示一3D影像，而該手勢辨識裝置係擷取手部影像，並計算一手部座標，傳輸至該資料處理單元與一3D影像座標進行配對疊合後，由該3D影像顯示裝置輸出，以達到可與3D影像互動的功效。

Description

可與3D影像互動之手勢控制系統
本發明係關於一種手勢控制系統，特別是關於一種可與3D影像互動之手勢控制系統。
習知的手勢辨識系統，請參閱第1圖所示，其動作感應器200可透過驅動程式連結至安裝在電腦主機300的作業系統(例如：Windows)，而該電腦主機300與顯示器100耦接，使用者可在動作感應器200前作出手勢，經過動作感應器200辨識後模擬成滑鼠的操作，進而透過顯示器100操作該作業系統。
然而，上述手勢辨識系統是利用使用者手部向前推及往後縮的手勢來模擬滑鼠的按壓操作及鬆開的簡單控制操作，並無法進行較複雜的連結互動，故，近來有業者研發出可抓取特徵姿勢的體感控制系統，藉由各種姿勢、動作的判定，達到用身體與電腦互動的目的，例如：體感遊戲機xbox，係藉由感應人體運動以推動遊戲的進行，讓身體隨著遊戲裡的角色或景物的變動而動作。
但是，上述體感控制系統與影像之間終究存在著一距離感，而且，影像中的虛擬物件缺乏立體的真實感，難以想像在現實生活中應呈現的狀態，而無法達成虛實合一之境界，令其趣味性大打折扣。
有鑑於此，本發明人有感於上述問題之可改善，乃 潛心研究並配合學理之運用，期能提供一種手勢控制系統，達到可與3D影像互動的功效，以符合消費者之需求，為本發明之研創動機者。
本發明之目的即是提供一種可與3D影像互動之手勢控制系統，以改善習知技術之問題。
本發明為解決習知技術之問題所採用之技術手段，係為一種可與3D影像互動之手勢控制系統，包含一3D影像顯示裝置、一手勢辨識裝置、以及一資料處理單元。該3D影像顯示裝置係顯示一3D影像；該手勢辨識裝置係包含一手部影像偵測模組及一手部座標追蹤模組，該手部影像偵測模組與該手部座標追蹤模組係電性連接，該手部影像偵測模組係擷取一使用者的手部影像，該手部座標追蹤模組係根據使用者手部動作時產生的影像變化計算一手部座標；該資料處理單元係電性連接該3D影像顯示裝置及該手勢辨識裝置，而該資料處理單元係包含一中央處理器及一圖形處理器，該中央處理器與該圖形處理器係電性連接，該中央處理器係內建一演算程式，該圖形處理器係內建一3D影像座標編譯程式，係依據一3D影像資料建立一3D影像座標，且該手勢辨識裝置之上方係界定一感測區域，令該使用者手部於該感測區域內動作，藉由該手勢辨識裝置擷取使用者手部影像，並根據該使用者手部動作時產生的影像變化計算一手部座標，傳輸至該資料處理單元演算並與3D影像座標進行配對疊合後，由該3D影像顯示裝置輸出。
在本發明的實施例中，該3D影像顯示裝置係選自液晶顯示器、電漿顯示器、有機發光二極體顯示器之其中一種。
在本發明的實施例中，該手勢辨識裝置係選自3D 攝影機、單眼攝影機、紅外線感應器、時差感應器之其中一種。
在本發明的實施例中，該手部影像係包含該使用者手部動作的節點圖及深度圖。
在本發明的實施例中，該資料處理單元係配設一資料儲存模組，該資料儲存模組係電性連接該中央處理器及該圖形處理器。
在本發明的實施例中，該資料儲存模組係內建多數個3D影像資料，該些3D影像資料為影像檔或圖檔，且經該資料處理單元讀取，由該3D影像顯示裝置輸出。
經由本發明所採用之技術手段，藉由該手部影像偵測模組擷取一使用者的手部影像，該手部座標追蹤模組根據使用者手部動作時產生的影像變化計算一手部座標，傳輸至該資料處理單元演算並與3D影像座標進行配對疊合後，由該3D影像顯示裝置輸出，以達到可與3D影像互動的功效。
本發明所採用的具體實施例，將藉由以下之實施例及附呈圖式作進一步之說明。
10‧‧‧3D影像顯示裝置
20‧‧‧手勢辨識裝置
21‧‧‧手部影像偵測模組
22‧‧‧手部座標追蹤模組
30‧‧‧資料處理單元
31‧‧‧中央處理器
32‧‧‧圖形處理器
33‧‧‧資料儲存模組
A‧‧‧3D影像座標
B‧‧‧手部座標
100‧‧‧顯示器
200‧‧‧動作感應器
300‧‧‧電腦主機
第1圖為習知的手勢辨識系統之使用狀態示意圖。
第2圖為本發明之可與3D影像互動之手勢控制系統之結構示意圖。
第3圖為本發明之可與3D影像互動之手勢控制系統之2D影像座標圖。
第4圖為本發明之可與3D影像互動之手勢控制系統之3D影像裝置之3D影像座標圖。
第5圖為本發明之可與3D影像互動之手勢控制系統之3D影像真實座標圖
第6圖為本發明之可與3D影像互動之手勢控制系統之手部座標圖。
第7圖為本發明之可與3D影像互動之手勢控制系統之3D影像座標與手部座標疊合示意圖。
第8圖為第7圖疊合一3D影像之使用狀態示意圖。
請參閱第2圖所示，本發明之可與3D影像互動之手勢控制系統之實施例，包括一3D影像顯示裝置10、一手勢辨識裝置20、以及一資料處理單元30。
該3D影像顯示裝置10，係自該資料處理單元30讀取一3D影像資料，並顯示一3D影像供使用者觀看，而該3D影像顯示裝置10可選自液晶顯示器(英文：Liquid Crystal Display，縮寫：LCD)、電漿顯示器(英文：Plasma Display Panel，縮寫：PDP)、有機發光二極體顯示器(英文：Organic Light-Emitting Diode，縮寫：OLED)之其中一種，本實施例中，該3D影像顯示 裝置10係選自一液晶顯示器。
該手勢辨識裝置20，係包含一手部影像偵測模組21及一手部座標追蹤模組22，該手部影像偵測模組21與該手部座標追蹤模組22係電性連接，其中，該手勢辨識裝置20之上方係由位置及座標界定一感測區域，該感測區域之大小係依據該手勢辨識裝置20之感測元件種類、數量、配置等不同而異，該手勢辨識裝置20係選自3D攝影機(英文：3D stereo camera)、單眼攝影機(英文：single camera)、紅外線感應器(英文：infrared sensor)、時差感應器(英文：Time Of Flight sensor)之其中一種。令該使用者手部於該感測區域內動作，該手部影像偵測模組21係擷取一使用者的手部影像，其中，該手部影像係包含該使用者手部動作的節點圖及深度圖，而該手部座標追蹤模組22係根據使用者手部動作時產生的影像變化計算一手部座標B，並透過一傳輸線傳至該資料處理單元30。
該資料處理單元30，係電性連接該3D影像顯示裝置10及該手勢辨識裝置30，而該資料處理單元30包含一中央處理器31(英文：Central Processing Unit，縮寫：CPU)及一圖形處理器32(英文：Graphics Processing Unit，縮寫：GPU)，該中央處理器31與該圖形處理器32係電性連接，該中央處理器31係內建一演算程式，而該圖形處理器32係內建一3D影像座標編譯程式，係依據一3D影像資料建立一3D影像座標A，且該3D影像座標A將會因為該3D影像顯示裝置10之尺寸不同而異，該中央處理器31係內建之演算程式係用以比對該手部座標B及3D影像座標A並進行影像疊合作業，本實施例中，該資料處理單元30係配設一資料儲存模組33，該資料儲存模組33係電性連接該 資料儲存模組33之中央處理器31及圖形處理器32，且該資料儲存模組33係內建多數個影像檔或圖檔，經該圖形處理器32讀取，由該3D影像顯示裝置10輸出，所述影像檔或圖檔可為動態的影像檔或靜態的圖檔，當然，所述動態的影像檔或靜態的圖檔亦可經由光碟片(英文：DVD)、通用序列匯流排(英文：USB)或固態硬碟(英文：Hard Disk)所儲存，再載入該資料處理單元30。
使用時，該3D影像顯示裝置10，係自該資料處理單元30讀取一3D影像資料，並顯示一3D影像供使用者觀看，此時，該資料處理單元30之該圖形處理器32係依據該3D影像資料建立一3D影像座標A，假設真實座標(英文：Real World Coordinate)之中心點為(0,0,0)，請參閱第3~5圖及表1如下，
令該使用者之手部(手掌及手指)於該手勢辨識裝置20上方之感測區域活動，透過該手勢辨識裝置20之手部影像偵測模組21擷取其手部影像，建立手部動作的節點圖及深度圖，並根據該使用者手部動作時產生的影像變化計算一手部座標B，假設感測區域之相對真實座標為(α,β,γ)，請參閱第6圖及 表2如下，
將該手部座標B數據傳輸至該資料處理單元30之中央處理器31運算，並與該3D影像座標A進行配對疊合，請參閱第7圖及表3如下，
最後，請參閱第8圖，由該3D影像顯示裝置10輸出，使該影像中之虛擬物件與真實生活中之手部看似接觸或接 合，而達到虛實合一之境界，較佳地，該資料處理單元30之該資料儲存模組33係內建多數個影像檔或圖檔，該些影像檔或圖檔係預先編設放映順序，當該手部座標B數據傳輸至該資料處理單元30之中央處理器31運算，再與圖形處理器32建立之3D影像座標A進行配對疊合，由該3D影像顯示裝置10輸出後，該些影像檔或圖檔會進行連續地動態式變化或色彩變化，令使用者有與3D影像互動的真實感覺。
綜上所述，本發明之可與3D影像互動之手勢控制系統的特點在於：藉由該手部影像偵測模組21擷取一使用者的手部影像，該手部座標追蹤模組22根據使用者手部動作時產生的影像變化計算一手部座標B，傳輸至該資料處理單元30之中央處理器31運算，並與圖形處理器32建立之3D影像座標A進行配對疊合後，由該3D影像顯示裝置10輸出，以達到可與3D影像互動的功效。
以上之敘述僅為本發明之較佳實施例說明，凡精於此項技藝者當可依據上述之說明而作其它種之改良，惟這些改變仍屬於本發明之創作精神及以下所界定之專利範圍中。
10‧‧‧3D影像顯示裝置
20‧‧‧手勢辨識裝置
21‧‧‧手部影像偵測模組
22‧‧‧手部座標追蹤模組
30‧‧‧資料處理單元
31‧‧‧中央處理器
32‧‧‧圖形處理器
33‧‧‧資料儲存模組

Claims (6)

  1. 一種可與3D影像互動之手勢控制系統，係包括：一3D影像顯示裝置，係顯示一3D影像；一手勢辨識裝置，係包含一手部影像偵測模組及一手部座標追蹤模組，該手部影像偵測模組與該手部座標追蹤模組係電性連接，該手部影像偵測模組係擷取一使用者的手部影像，該手部座標追蹤模組係根據使用者手部動作時產生的影像變化計算一手部座標；一資料處理單元，係電性連接該3D影像顯示裝置及該手勢辨識裝置，而該資料處理單元係包含一中央處理器及一圖形處理器，該中央處理器與該圖形處理器係電性連接，該中央處理器係內建一演算程式，該圖形處理器係內建一3D影像座標編譯程式，係依據一3D影像資料建立一3D影像座標，且該手勢辨識裝置之上方係界定一感測區域，令該使用者手部於該感測區域內動作，藉由該手勢辨識裝置擷取使用者手部影像，並手部影像偵測模組根據該使用者手部動作時產生的影像變化計算一手部座標，傳輸至該資料處理單元演算並與3D影像座標進行配對疊合後，由該3D影像顯示裝置輸出。
  2. 如請求項1所述之可與3D影像互動之手勢控制系統，其中，該3D影像顯示裝置係選自液晶顯示器、電漿顯示器、有機發光二極體顯示器之其中一種。
  3. 如請求項1所述之可與3D影像互動之手勢控制系統，其中，該手勢辨識裝置係選自3D攝影機、單眼攝影機、紅外線感應器、時差感應器之其中一種。
  4. 如請求項1所述之可與3D影像互動之手勢控制系統，其中， 該手部影像係包含該使用者手部動作的節點圖及深度圖。
  5. 如請求項1所述之可與3D影像互動之手勢控制系統，其中，該資料處理單元係配設一資料儲存模組，該資料儲存模組係電性連接該中央處理器及該圖形處理器。
  6. 如請求項5所述之可與3D影像互動之手勢控制系統，其中，該資料儲存模組係內建多數個3D影像資料，該些3D影像資料為影像檔或圖檔，且經該資料處理單元讀取，由該3D影像顯示裝置輸出。
TW103130340A 2014-09-03 2014-09-03 可與３ｄ影像互動之手勢控制系統 TW201610750A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW103130340A TW201610750A (zh) 2014-09-03 2014-09-03 可與３ｄ影像互動之手勢控制系統
US14/509,045 US9405378B2 (en) 2014-09-03 2014-10-07 Gesture control system capable of interacting with 3D images
CN201410538194.0A CN105425937A (zh) 2014-09-03 2014-10-13 可与3d影像互动的手势控制***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103130340A TW201610750A (zh) 2014-09-03 2014-09-03 可與３ｄ影像互動之手勢控制系統

Publications (1)

Publication Number Publication Date
TW201610750A true TW201610750A (zh) 2016-03-16

Family

ID=55402443

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103130340A TW201610750A (zh) 2014-09-03 2014-09-03 可與３ｄ影像互動之手勢控制系統

Country Status (3)

Country Link
US (1) US9405378B2 (zh)
CN (1) CN105425937A (zh)
TW (1) TW201610750A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI645328B (zh) * 2017-03-24 2018-12-21 華碩電腦股份有限公司 動態桌布的顯示方法、電子裝置及非暫態電腦可讀取記錄媒體
US10444853B1 (en) 2018-05-10 2019-10-15 Acer Incorporated 3D display with gesture recognition function

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289206B2 (en) * 2015-12-18 2019-05-14 Intel Corporation Free-form drawing and health applications
US20190147665A1 (en) * 2016-07-16 2019-05-16 Hewlett-Packard Development Company, L.P. Gesture based 3-dimensional object transformation
CN106886286B (zh) * 2017-03-22 2023-11-24 广州幻境科技有限公司 一种基于光电感应的手势识别装置及方法
CN107168525B (zh) * 2017-04-21 2020-10-30 北京师范大学 一种运用精细手势识别装置辅助自闭症儿童配对训练的***及方法
CN110581987A (zh) * 2018-06-07 2019-12-17 宏碁股份有限公司 具备手势感测功能的三维显示器
CN109358748B (zh) * 2018-09-30 2019-09-10 深圳仓谷创新软件有限公司 一种用手与手机ar虚拟物体交互的设备和方法
CN112130659A (zh) * 2019-06-25 2020-12-25 幻景启动股份有限公司 互动式立体显示装置与互动感应方法
CN111726921B (zh) * 2020-05-25 2022-09-23 磁场科技(北京)有限公司 一种体感交互灯光控制***
TWI757871B (zh) * 2020-09-16 2022-03-11 宏碁股份有限公司 基於影像的手勢控制方法與使用此方法的電子裝置
CN113220126B (zh) * 2021-05-21 2023-06-09 南京大学 一种基于Mavlink协议的自由立体显示器三维输入交互装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
JP4885867B2 (ja) * 2005-09-27 2012-02-29 株式会社タムラ製作所 位置情報検出装置、位置情報検出方法及び位置情報検出プログラム
KR20120052091A (ko) * 2010-11-15 2012-05-23 삼성전자주식회사 컴퓨터, 모니터, 기록매체 및 이에 적용되는 3차원 영상 제공방법
CN102622081B (zh) * 2011-01-30 2016-06-08 北京新岸线移动多媒体技术有限公司 一种实现体感交互的方法和***
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
CN102981599A (zh) * 2011-09-05 2013-03-20 硕擎科技股份有限公司 三维人机界面***及其方法
KR101885341B1 (ko) * 2011-10-20 2018-08-07 삼성전자 주식회사 디스플레이 드라이버와 이미지 데이터 처리 장치의 동작 방법
TWI444851B (zh) * 2012-04-18 2014-07-11 Au Optronics Corp 三度空間互動系統及三度空間互動方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI645328B (zh) * 2017-03-24 2018-12-21 華碩電腦股份有限公司 動態桌布的顯示方法、電子裝置及非暫態電腦可讀取記錄媒體
US10444853B1 (en) 2018-05-10 2019-10-15 Acer Incorporated 3D display with gesture recognition function
TWI697810B (zh) * 2018-05-10 2020-07-01 宏碁股份有限公司 具備手勢感測功能之三維顯示器

Also Published As

Publication number Publication date
US9405378B2 (en) 2016-08-02
CN105425937A (zh) 2016-03-23
US20160062471A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
TW201610750A (zh) 可與３ｄ影像互動之手勢控制系統
US9829989B2 (en) Three-dimensional user input
US10290152B2 (en) Virtual object user interface display
EP3311250B1 (en) System and method for spawning drawing surfaces
US20190250714A1 (en) Systems and methods for triggering actions based on touch-free gesture detection
CN110456626B (zh) 全息键盘显示
EP2946264B1 (en) Virtual interaction with image projection
JP2022540315A (ja) 人工現実環境において周辺デバイスを使用する仮想ユーザインターフェース
KR20140043522A (ko) 투명 양면형 디스플레이 제어 장치 및 그 제어 방법
US20150033157A1 (en) 3d displaying apparatus and the method thereof
CN114514493A (zh) 增强设备
US9122346B2 (en) Methods for input-output calibration and image rendering
US10175780B2 (en) Behind-display user interface
WO2019244409A1 (ja) 映像表示システム，映像表示方法，及びコンピュータプログラム
GB2533777A (en) Coherent touchless interaction with steroscopic 3D images
PL411338A1 (pl) Sposób interakcji z wirtualnymi obiektami w przestrzeni trójwymiarowej oraz system do interakcji z wirtualnymi obiektami w przestrzeni trójwymiarowej
TWM529539U (zh) 互動式三維立體寵物遊戲系統
Samini Perspective Correct Hand-held Augmented Reality for Improved Graphics and Interaction
Lee et al. Beyond: collapsible input device for direct 3D manipulation beyond the screen
JP5826244B2 (ja) ゲームシステム
Cyborra et al. Touch & move: A portable stereoscopic multi-touch table
Daiber Interaction with stereoscopic data on and above multi-touch surfaces.