TWI707306B - 用於提升在虛擬環境中找尋感興趣區域之效率的方法及裝置 - Google Patents

用於提升在虛擬環境中找尋感興趣區域之效率的方法及裝置 Download PDF

Info

Publication number
TWI707306B
TWI707306B TW107107458A TW107107458A TWI707306B TW I707306 B TWI707306 B TW I707306B TW 107107458 A TW107107458 A TW 107107458A TW 107107458 A TW107107458 A TW 107107458A TW I707306 B TWI707306 B TW I707306B
Authority
TW
Taiwan
Prior art keywords
scene
interest
region
visual scene
center
Prior art date
Application number
TW107107458A
Other languages
English (en)
Other versions
TW201939438A (zh
Inventor
林湧達
廖以圻
鄧善元
鍾宜汝
詹力韋
陳炳宇
Original Assignee
國立臺灣大學
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣大學, 聯發科技股份有限公司 filed Critical 國立臺灣大學
Priority to TW107107458A priority Critical patent/TWI707306B/zh
Priority to US16/012,582 priority patent/US10990843B2/en
Publication of TW201939438A publication Critical patent/TW201939438A/zh
Application granted granted Critical
Publication of TWI707306B publication Critical patent/TWI707306B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本案提供一種用於提升在虛擬環境中找尋感興趣區域之效率的方法及裝置。在至少一些實施例中，虛擬環境係由可視場景與非可視場景所組成，且可在可視場景中顯示子圖以作為非可視場景中的感興趣區域之方向導引及距離提示，藉此節省使用者在尋找感興趣區域時的時間，並提升找尋感興趣區域之效率。

Description

用於提升在虛擬環境中找尋感興趣區域之效率的方法及裝置
本發明係關於一種提升在虛擬環境中找尋感興趣區域之效率的技術，特別是一種將非可視場景中的感興趣區域以子圖(picture-in-picture；PIP)形式呈現於可視場景中，藉此提升在虛擬環境中找尋感興趣區域之效率的方法及裝置。
近年來，360度全景視頻日益流行，特別是應用在移動及虛擬實境領域時，更能為使用者提供身歷其境的視覺體驗。
此外，360度全景視頻可以顯示虛擬實境之全場景內容，但受限於使用者可觀看視野及電子裝置(如：具觸控螢幕之電子裝置及頭戴式顯示裝置等)的顯示器尺寸，使用者在當下所能觀看到的僅是虛擬實境之部分內容。
這樣的觀看方式，雖然可以為一般使用者(即，隨意瀏覽、沒有主題限制的使用者)帶來較為自然的視覺體驗， 然而對於想要在虛擬實境中找尋感興趣物件(如：ET外星人、氣球、貓狗、飛機、偶像歌手等)或感興趣區域(region-of-interest；ROI)的使用者而言，卻極不方便。
傳統上，使用者可以藉由操作電子裝置來在虛擬實境找尋感興趣物件或感興趣區域(如：在電子裝置的觸控螢幕上進行手勢操作；或在使用頭戴式顯示裝置時，以頭部進行傾斜、轉向等操作)。
此舉，對於想要找尋的感興趣區域是位於可觀看視野時，有其便利性；但是如果感興趣區域是位於可觀看視野之外，則使用者無法事先得知找到感興趣區域需花費多少時間。
究其原因，在於使用者並不清楚可觀看視野外的感興趣區域，是位於可觀看視野的哪個方位、及與可觀看視野之距離有多遠？
如此，讓使用者在360度全景視頻中找尋位於可觀看視野之外的感興趣區域會降低使用者在進行虛擬實境時的視覺體驗；而且，也會導致使用者在找尋感興趣區域的過程中，錯過了一些重要事件(如：虛擬實境中出現了其他更為有趣的虛擬物件)。
鑑於前述問題，著實有必要提供提升在虛擬實境中找尋感興趣區域之效率的方法，來協助使用者快速找到位於可觀看視野之外的感興趣區域。
鑑於先前技術所存在的問題，本發明揭示了用於提升 在虛擬實境(虛擬環境)中找尋感興趣區域之效率的方法及電子裝置。相較於先前技術，本發明一實施例揭示了將感興趣區域以子圖(picture-in-picture；PIP)形式呈現於可視場景中，以節省使用者在尋找感興趣區域時的時間。
本發明之一實施例提供了一種用於提升在虛擬環境中找尋感興趣區域(region-of-interest)之效率的方法，其中，該虛擬環境係由一可視場景及一非可視場景所構成，該方法包含以下步驟：(1)找出在該非可視場景中之一感興趣區域的所在位置，並找出該可視場景之場景中心的所在位置；以及(2)在該感興趣區域所在位置與該可視場景之場景中心的所在位置之連線與該可視場景之邊界的交點處，顯示該感興趣區域以作為該可視場景之一子圖(picture-in-picture)。
在一實施例中，該感興趣區域的所在位置係該感興趣區域之質心座標。
在一實施例中，該方法更包含將該可視場景及該子圖以一投影方式投影到一顯示裝置。
在一實施例中，該投影方式係以下列之一者進行投影：等距柱狀圖投影(Equirectangular Projection)、立方投影(cube mapping)及等角立方投影(Equi-Angular Cubemapping)。
在一實施例中，該方法更包含將該子圖圍繞著該子圖的中心旋轉以產生一旋轉圖，其中，該旋轉圖之一外部邊緣(outer edge)係面向該感興趣區域，而該旋轉圖之一內部 邊緣(inner edge)係面向該可視場景之場景中心。
在一實施例中，該方法更包含固定住該旋轉圖之該外部邊緣，而將該旋轉圖沿著三維空間中的Z軸方向以一傾斜角進行傾斜來產生一擬真圖。
在一實施例中，該傾斜角之角度係基於該感興趣區域與該可視場景之場景中心的距離而變化。
在一實施例中，該傾斜角之最大角度為105度，而該傾斜角之最小角度為0度。
本發明之又一實施例提供了一種用於提升在虛擬環境中找尋感興趣區域之效率的方法，其中，該虛擬環境係由一可視場景及一非可視場景所構成，該方法包含以下步驟：(1)找出在該非可視場景中之一感興趣區域的所在位置，並找出該可視場景之場景中心的所在位置；以及(2)在該感興趣區域所在位置與該可視場景之場景中心的所在位置之連線與該可視場景之邊界的交點處，顯示一導引符號以指向該感興趣區域。
在一實施例中，該導引符號係為一箭頭。
在一實施例中，使用以下列之一者來表示該感興趣區域相較於該場景中心之距離遠近：該箭頭之長度、該箭頭之寬度、該箭頭之面積大小及該箭頭之形狀。
在一實施例中，當該箭頭之長度越長，表示該感興趣區域相較於該場景中心之距離越遠，而當該箭頭之長度越短，表示該感興趣區域相較於該場景中心之距離越近。
本發明之再一實施例提供了一種用於提升在虛擬環境 中找尋感興趣區域之效率的方法，其中，該虛擬環境係由一可視場景及一非可視場景所構成，該方法包含以下步驟：(1)計算該非可視場景中之一第一感興趣區域與該可視場景之場景中心的一第一距離，並計算該非可視場景中之一第二感興趣區域與該可視場景之場景中心的一第二距離，其中，該第一感興趣區域及該第二感興趣區域係分別對應於該可視場景中的一第一子圖及一第二子圖，該第二子圖係與該第一子圖部分重疊，且該第一距離係小於該第二距離；以及(2)基於該第一距離及該第二距離，使用一線性插值法(linear interpolation)以在該可視場景之場景中心與該第一子圖所在位置之間找出一顯示位置來顯示該第二子圖。
在一實施例中，該步驟(2)係使用以下線性插值法來找出顯示該第一子圖的該顯示位置：pip_near=pos_center+(pip_far-pos_center)* dist_near/dist_far。其中，pip_near表示顯示該第一子圖的該顯示位置，pip_far表示該第二子圖所在位置，pos_center表示該可視場景之場景中心所在位置，dist_near表示該第一距離，及dist_far表示該第二距離。
本發明之又一實施例提供了一種用於提升在虛擬環境中找尋感興趣區域之效率的電子裝置，包含：一儲存單元，其儲存電腦可讀取程式碼；以及一處理器，其執行該等電腦可讀取程式碼以實施用於提升在虛擬環境中找尋感興趣區域之效率的方法。
應理解，以上描述的標的可實施為電腦控制的設備、電腦程式、計算系統，或作為製品，諸如，電腦可讀取儲存媒體。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明。在以下描述內容中將部分闡述本發明之額外特徵及優點，且此等特徵及優點將部分自所述描述內容顯而易見，或可藉由對本發明之實踐習得。本發明之特徵及優點借助於在申請專利範圍中特別指出的元件及組合來認識到並達到。應理解，前文一般描述與以下詳細描述兩者均僅為例示性及解釋性的，且不欲約束本發明所主張之範圍。
100‧‧‧行動裝置
110‧‧‧虛擬環境
120‧‧‧可視場景
130‧‧‧非可視場景
140‧‧‧感興趣區域
150‧‧‧子圖
200‧‧‧可視場景
210‧‧‧場景中心
220‧‧‧感興趣區域
230‧‧‧顯示位置
235‧‧‧子圖
236‧‧‧旋轉圖
237‧‧‧擬真圖
240‧‧‧連線方向
250‧‧‧邊界
280‧‧‧非可視場景
290‧‧‧虛擬環境
810‧‧‧星星
820‧‧‧三角形
815、825、826‧‧‧位置
1000‧‧‧電子裝置
1100‧‧‧儲存單元
1200‧‧‧感測單元
1300‧‧‧計算單元
1400‧‧‧顯示單元
2361‧‧‧外部邊緣
2362‧‧‧內部邊緣
S310~S330‧‧‧步驟
S410~S420‧‧‧步驟
S710~S730‧‧‧步驟
S910~S930‧‧‧步驟
201‧‧‧導引符號
第1圖所示係為在行動裝置上，將感興趣區域以子圖(picture-in-picture；PIP)形式呈現於可視場景中，以提升找尋感興趣區域效率的示意圖；第2圖所示係為將非可視場景中的感興趣區域以子圖形式在可視場景中呈現的示意圖；第3圖所示係為根據本發明之一實施例，將感興趣區域以子圖形式呈現於可視場景中的方法流程圖；第4圖所示係為依據本發明一實施例，將可視場景中的子圖進行擬真處理之方法流程圖；請參考第5a~5d圖，其係分別為依據本發明一實施例，將子圖進行擬真處理的過程中，可視場景與子圖變化的示意圖； 第6圖所示係為根據本發明一實施例，在可視場景中新增導引符號來提升找尋感興趣區域效率的示意圖；第7圖所示係為根據本發明一實施例，在可視場景中新增導引符號的方法流程圖；第8a及8b圖所示係為根據本發明一實施例，將可視場景中部分重疊之子圖分開，以提升找尋感興趣區域效率的示意圖；第9圖所示係為根據本發明之一實施例，將部分重疊之子圖分開的方法流程圖；及第10圖所示係為依據本發明具體實施例之電子裝置示意圖。
以下藉由特定的具體實施形態說明本發明之實施方式，熟悉此技術之人士可由本說明書所揭示之內容輕易地了解本發明之其他優點與功效，亦可藉由其他不同的具體實施形態加以施行或應用。
此外，本文中的方法或流程之一些或全部操作及/或實質上相等的操作可藉由執行包括在電腦儲存媒體上的電腦可讀取指令(如本文所定義的)來執行。在描述及申請專利範圍中使用的術語「電腦可讀取指令」及「電腦可讀取指令」的變體，在本文經引申使用以包括常式、應用程式、應用模組、程式模組、程式、元件、資料結構、演算法等等。電腦可讀取指令可在各種系統組態上實施，包括單一處理器或多處理器系統、迷你電腦、大型電腦、個人電腦、 掌上型計算裝置、基於微處理器的可程式化消費者電子設備或所述者的組合等等。
因此，應理解，本文描述的邏輯操作經實施作為電腦實施的動作序列或計算系統上執行的程式模組及/或作為計算系統內部的互連機器邏輯電路或電路模組。實施為取決於計算系統的效能及其他要求的選擇問題。因此，本文描述的邏輯操作不同地被稱為狀態、操作、結構裝置、動作或模組。此等操作、結構裝置、動作及模組可在軟體中、在韌體中、在特殊用途數位邏輯中及所述者的任何組合中實施。
本發明揭示了一種用於提升在虛擬環境中找尋感興趣區域之效率的方法。現在參閱第1圖，係為在行動裝置上，將感興趣區域以子圖(picture-in-picture；PIP)形式呈現於可視場景中，以提升找尋感興趣區域效率的示意圖。
首先，當使用者使用行動裝置100來進行虛擬環境110(虛擬環境110係由可視場景120及非可視場景130所組成)之體驗時，倘若使用者想要找尋的感興趣區域140(如：ET外星人、氣球、貓狗、飛機、偶像歌手等)是位於虛擬環境110中的非可視場景130時，藉由使用本發明所提供的技術，可將位於非可視場景130的感興趣區域140以子圖150的形式在可視場景120中呈現。
爾後，使用者可以藉由查看可視場景120中的子圖150，來瞭解在非可視場景130中存在哪些感興趣區域140，以及感興趣區域140是位於可視場景120的哪個(些) 方位。如此，當使用者欲找尋非可視場景130中的感興趣區域140時，便可節省許多找尋時間。
現在參看第2圖，係為將非可視場景中的感興趣區域以子圖形式在可視場景中呈現的示意圖。
如第2圖所示，在可視場景200與非可視場景280所構成的虛擬環境290中，可視場景200之可視範圍係為場景中心210到邊界250間的區域，而使用者想要找尋的感興趣區域220係位於非可視場景280中。
在一實施例中，當欲將位於非可視場景280的感興趣區域220引入(introduce)可視場景200中以作為子圖呈現(顯示)時，用於呈現該子圖的位置是位於感興趣區域220與場景中心210的連線方向240上。
如此，當使用者在顯示位置230看到該子圖時，便可得知與該子圖對應的感興趣區域220係位於連線方向240上，從而使用者只要從顯示位置230往連線方向240尋找，便可找到感興趣區域220。
在一實施例中，當欲將位於非可視場景280的感興趣區域220引入可視場景200中以作為子圖呈現時，用於呈現該子圖的位置是位於可視場景200的邊界250上。
如此，當使用者想要找尋存在非可視場景280中的多個(如：二個、三個、四個等)感興趣區域時，雖然可視場景200中會顯示多個與該些感興趣區域相對應的子圖，然而由於該些子圖係在可視場景200的邊界250上呈現，而非呈現於可視場景200的主要視野區域(如：場景中心210 附近區域)，從而當使用者在查看該些子圖來找尋多個感興趣區域220時，不會因為可視場景200的主要視野區域被佔據，而降低了使用者的視覺體驗。
本領域具通常知識者應瞭解，在本文中所提到在可視場景200的邊界250上呈現子圖，包含但不限於在可視場景200中呈現整張子圖(即，整張子圖都在邊界250內)；及在可視場景200中呈現部分子圖(即，部分子圖是在落在邊界250之外。此時，落在邊界250之外的部分將不在可視場景200中呈現)。
現在參看第3圖，係為根據本發明之一實施例，將感興趣區域以子圖形式呈現於可視場景中的方法流程圖。
首先，在步驟S310中，對於非可視場景280中的感興趣區域220進行定位來找出感興趣區域220在虛擬環境290中的所在位置。其中，可使用感興趣區域220的質心座標(如：在虛擬環境290中之經緯度)來表示感興趣區域220在虛擬環境290中的所在位置。
在一實施例中，可採用人工選取、標記感興趣區域220的方式來手動標註、紀錄感興趣區域220在虛擬環境290中的所在位置，以對於非可視場景280中的感興趣區域220進行定位。
或者，亦可採用特徵工程之辨識技術或是深度學習等人工智慧方式來找出非可視場景280中有哪些感興趣區域220、及該些感興趣區域220的位置所在。熟習該項技藝者亦可使用其他辨識、定位技術來找出感興趣區域220在非 可視場景280中的所在位置，凡其原理未脫離本發明之技藝精神者，均應視為等效實施。
接著，在步驟S320中，找出可視場景200之場景中心210在虛擬環境290中的所在位置。
爾後，在步驟S330中，沿著感興趣區域220所在位置與場景中心210所在位置的連線方向240，與可視場景200之邊界250的交點(即，顯示位置230)處，來顯示感興趣區域220以作為可視場景200的子圖。
在一實施例中，可將可視場景200和子圖以投影方式投影到電子裝置的顯示器上顯示。電子裝置包含但不限於桌上型電腦、筆記型電腦、智能型手機、及穿戴式裝置。
此外，可以使用等距柱狀圖投影(Equirectangular Projection)、立方投影(Cube Mapping)、等角立方投影(Equi-Angular Cubemapping；EAC)等方法來將可視場景200和子圖投影到電子裝置的顯示器。熟習該項技藝者可使用其它投影方式來達成前述目的，凡其原理未脫離本發明之技藝精神者，均應視為等效實施。
現在參看第4圖，係為依據本發明一實施例，將可視場景中的子圖進行擬真處理之方法流程圖。
首先，在步驟S410中，將顯示位置230處的子圖圍繞著該子圖的中心進行旋轉來產生旋轉圖。其中，旋轉圖的外部邊緣(outer edge)是面向非可視場景280中的感興趣區域220，而旋轉圖之內部邊緣(inner edge)是面向可視場景200的場景中心210。
在一實施例中，旋轉的方向及角度可以根據感興趣區域220是位於可視場景200之場景中心210的哪個方位而改變。
舉例而言，當感興趣區域220是位於場景中心210的東方、東南方、或東北方時，此時子圖可以圍繞著該子圖的中心進行順時針(或逆時針)旋轉來產生旋轉圖；而當感興趣區域220是位於場景中心210的西方、西南方、或西北方時，則子圖可以圍繞著該子圖的中心進行逆時針(或順時針)旋轉來產生旋轉圖。
接著，在步驟S420中，先固定住旋轉圖之外部邊緣不動，然後將旋轉圖沿著三維空間中的Z軸方向以一傾斜角Φ進行傾斜來產生一擬真圖。
相較於未經擬真處理的子圖，擬真圖呈現更多三度空間的空間資訊，因此當使用者進行虛擬實境體驗時，能讓其感受到更為真實(realistic)的空間體驗、且較易捕捉到感興趣區域的視覺訊息。
在一實施例中，傾斜角之角度大小可基於感興趣區域220與可視場景200之場景中心210之距離遠近而變化。
舉例而言，當感興趣區域220距離場景中心210越遠時，可設定越大(或越小)的傾斜角來對於旋轉圖進行傾斜處理以產生擬真圖。
如此，使用者在觀看對應於不同感興趣區域220之多個擬真圖時，便可依據傾斜角的角度大小來判斷不同感興趣區域220與可視場景200之場景中心210的距離遠近。
在一實施例中，傾斜角之最大角度(maxTilt)為105度，而傾斜角之最小角度(minTilt)為0度。其中，使用(minTilt,maxTilt)範圍的傾斜角來對旋轉圖進行傾斜處理所產生的擬真圖，讓使用者在觀看時，不會因為過度傾斜而看不出擬真圖中所呈現的感興趣區域之圖像為何，從而達到擬真的效果。
在一實施例中，可使用以下公式來設定傾斜角Φ：Φ=maxTilt+(0-maxTilt) * (dist_max-dist)/dist_max
其中，dist_max表示在非可視場景280中，距離場景中心210最遠的感興趣區域與場景中心210之最遠距離；而dist表示對應於欲進行傾斜之旋轉圖的感興趣區域與場景中心210之距離。
請參考第5a~5d圖，係分別為依據本發明一實施例，將子圖進行擬真處理的過程中，可視場景與子圖變化的示意圖。
請參見第5a圖，可視場景200中的子圖235係位於可視場景200的邊界250與連線方向240之交點處，其對應沿著連線方向240往外延伸的感興趣區域(第5a圖中未顯示)。
請參見第5b圖，可視場景200中的子圖235經過步驟S410處理後會產生旋轉圖236。其中，旋轉圖236的外部邊緣2361朝向可視場景200外的感興趣區域，而旋轉圖236的內部邊緣2362朝向可視場景200的場景中心210。
請參見第5c圖，旋轉圖236經過步驟S420處理後會產生擬真圖237。其中，Φ是旋轉圖236沿著三維空間中的Z軸方向傾斜時的傾斜角。應注意的是，為了方便看出旋轉圖236沿著三維空間中的Z軸方向傾斜後所呈現之擬真圖237的空間效果，故以轉換視角(轉了Φ度)的方式來呈現可視場景200及擬真圖237(如第5c圖所示)。
接著，請參見第5d圖，係以原本的視角來觀看第5(c)圖中的可視場景200及擬真圖237。
現在參看第6圖，係根據本發明一實施例，在可視場景中新增導引符號來提升找尋感興趣區域效率的示意圖。
如第6圖所示，當使用者想要尋找的感興趣區域220是位於可視場景200之外(即，非可視場景中280)時，藉由使用本發明所提供的技術，可新增導引符號201來引導使用者往感興趣區域220的所在方位找尋，以節省找尋時間。
其中，導引符號201的數目可隨著感興趣區域220數量之變化而改變。舉例而言，當非可視場景280中存在3個感興趣區域220時，則在可視場景200中顯示3個導引符號201，若非可視場景280中增加(或減少)1個感興趣區域220時，可視場景200中的導引符號201數目也會變為4個(或3個)。
現在參看第7圖，係根據本發明一實施例，在可視場景中新增導引符號的方法流程圖。請注意，第7圖的步驟S710及S720與第3圖的步驟S310及S320大致相同，不 同處在於步驟S730。
在步驟730中，沿著感興趣區域220所在位置與場景中心210所在位置的連線方向240，與可視場景200之邊界250的交點(即，顯示位置230)處，可顯示導引符號201以指向感興趣區域220。
在一實施例中，可使用箭頭來作為指向感興趣區域220的導引符號201。除了可使用箭頭作為指向感興趣區域220的方向導引外，亦可使用箭頭的物理資訊(如：箭頭的長度、寬度、面積及/或形狀等)來表示感興趣區域220相較於場景中心210之距離遠近。
舉例而言，可以設定為：當箭頭的長度越長(或越短)時，表示感興趣區域220相較於場景中心210越遠(或越近)。或者，可以設定為：當箭頭的寬度越粗(或越細)時，表示感興趣區域220相較於場景中心210越遠(或越近)。再者，亦可以設定為：當箭頭的整體面積越大(或越小)時，表示感興趣區域220相較於場景中心210越遠(或越近)
熟習該項技藝者應瞭解，除了使用箭頭來作為感興趣區域220的方向導引及距離遠近之提示外，亦可使用其他表示符號、圖形符號、或文字符號等來達成前述目的，凡其原理未脫離本發明之技藝精神者，均應視為等效實施。
接下來，請參見第8a及8b圖，係根據本發明一實施例，將可視場景中部分重疊之子圖分開，以提升找尋感興趣區域效率的示意圖。
如第8a圖所示，當使用者找尋的感興趣區域係為星星 810及三角形820時，會看到在可視場景200的位置815處所呈現對應於星星810的星星子圖與在可視場景200的位置825處所呈現對應於三角形820的三角形子圖有部分重疊的現象。
此外，隨著感興趣區域數量的增加，在場景中的子圖數目也會變多，此時容易發生子圖間互相重疊的問題。如此一來，不僅讓使用者不容易在重疊的子圖中捕捉到感興趣區域之視覺資訊，甚至在子圖重疊情況嚴重時，亦會讓使用者無法藉由觀看子圖來得知感興趣區域的所在方位。
藉由使用本發明所提供的技術，可將原本應該在位置825處呈現的三角形子圖，利用線性插值法(linear interpolation)的方式找到另一位置826來呈現三角形子圖(如第8b圖所示)。如此，便可降低子圖重疊的問題，從而提升找尋感興趣區域的效率。
現在參看第9圖，係根據本發明一實施例，將部分重疊之子圖分開的方法流程圖。
首先，在步驟S910中，計算非可視場景280中距離場景中心210較遠之感興趣區域(即，星星810)與可視場景200之場景中心210的距離。
接著，在步驟S920中，計算非可視場景280中距離場景中心210較近之感興趣區域(即，三角形820)與可視場景200之場景中心210的距離。
應注意的是，雖然星星810與場景中心210的距離大於三角形820與場景中心210的距離，然而在位置815處 所呈現對應於星星810的星星子圖與在位置825處所呈現對應於三角形820的三角形子圖係存在部分重疊。
爾後，在步驟S930中，可以基於星星810與場景中心210的距離及三角形820與場景中心210的距離，使用線性插值法以在場景中心210與位置815之間找出一顯示位置(位置826)來顯示對應於非可視場景280中三角形820的三角形子圖。
舉例而言，可以利用如下的線性插值法公式pip_near來找出在可視場景200中顯示三角形子圖之顯示位置。
pip_near=pos_center+(pip_far-pos_center) * dist_near/dist_far
其中，pip_near表示在可視場景200中呈現對應於距離場景中心210較近之感興趣區域之子圖的位置，pip_far表示在可視場景200中呈現對應於距離場景中心210較遠之感興趣區域之子圖的位置，pos_center表示場景中心210的位置，dist_near表示距離場景中心210較近之感興趣區域位置與場景中心210之距離，而dist_far表示距離場景中心210較遠之感興趣區域位置與場景中心210之距離。
應注意的是，在使用前述線性插值法公式pip_near來找出可視場景200中的顯示位置時，較遠之感興趣區域與較近之感興趣區域需位於相同方位。
在一實施例中，可以設定在可視場景200中用於呈現子圖之區域範圍。如此，可避免在顯示子圖時，子圖的顯示位置過於靠近場景中心210而佔據了可視場景200的主 要視野區域，從而降低了使用者的視覺體驗。
同時，亦可避免在顯示子圖時，子圖的顯示位置過於靠近可視場景200之邊界250，使得部分子圖超過邊界250而無法在可視場景200中顯示，從而使用者在觀看時只能捕捉到感興趣區域的局部視覺訊息。
在一實施例中，當在可視場景200中呈現子圖時，可以設定用於顯示子圖的顯示位置與場景中心210的最遠距離為MaxShowDist(如：可視場景200之長度(寬度)的35%、40%、45%等)；及用於顯示子圖的顯示位置與場景中心210的最近距離為MinShowDist(如：可視場景200之長度(寬度)的5%、10%、15%等)。
在一實施例中，非可視場景280中存在一感興趣區域A(未圖示)與場景中心210的距離為dist_max，其對應子圖的顯示位置pip_max與場景中心210的距離為MaxShowDist。此外，非可視場景280中亦存在另一感興趣區域B(未圖示)與場景中心210的距離為dist_min，其對應子圖的顯示位置pip_min與場景中心210的距離為MinShowDist。
那麼，對於與感興趣區域A及感興趣區域B位於相同方位的另一感興趣區域C(未圖示，但其與場景中心210的距離為dist_candidate)，可使用以下線性插值法公式pip_candidate來在可視場景200中找出對應於感興趣區域C之子圖的顯示位置。
pip_candidate= pip_min+(MaxShowDist-MinShowDist) * dist_max/dist_candidate
現在參看第10圖，係圖示用於實施本發明之實施例所示的方法及步驟的電子裝置。
如第10圖所示，電子裝置1000包含儲存單元1100、感測單元1200、計算單元1300、及顯示單元1400。電子裝置1000包含但不限於桌上型電腦、筆記型電腦、智能型手機、及穿戴式電子裝置。
儲存單元1100可為電腦可讀取記憶體裝置，該電腦可讀取儲存媒體可經由揮發性電腦記憶體、非揮發性記憶體、硬碟、快閃驅動器、軟碟或壓縮光碟，及可比較媒體中之一或更多者來實施。其中，儲存單元1100可儲存本案各實施例中用於提升在虛擬環境中找尋感興趣區域的效率之方法的電腦可執行指令、及虛擬環境290的相關資料，如可視場景200、非可視場景280、及感興趣區域220等的圖像資訊、位置資訊等。
感測單元1200可偵測電子裝置之物理資訊，包含但不限於電子裝置之面向方位(如：東、西、南、北方)、電子裝置之水平狀態(如：電子裝置是否與水平面呈現仰角或俯角等)。在一些實施例中，感測單元1200可實施為一加速度感測器、一陀螺儀、或其他可偵測電子裝置之物理資訊的裝置。
計算單元1300可依計算機處理器方式來實施，包含但不限制於單核心處理器、雙微處理器、多核心處理器、 AMD® Athlon®、Duron®以及Opteron®處理器、以及Intel® Celeron®、核心(2)Duo®、核心(2)Quad®、核心i3®、核心i5®、核心i7®處理器。其控制在虛擬環境中找尋感興趣區域時相關軟體與硬體之作業，並執行儲存單元1100中之電腦可執行指令，以實施本案各實施例中用於提升在虛擬環境中找尋感興趣區域的效率之方法。
顯示單元1400可以實施為各式實體及/或虛擬顯示設備，包含但不限於電腦螢幕、膝上型電腦螢幕、行動裝置螢幕、個人數位助理(PDA)螢幕、平板電腦螢幕、穿戴式電子裝置之顯示螢幕。顯示單元1400可顯示在虛擬環境中找尋感興趣區域的相關資料，如：可視場景及子圖等。
上述實施形態僅例示性說明本發明之原理、特點及其功效，並非用以限制本發明之可實施範疇，任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施形態進行修飾與改變。任何運用本發明所揭示內容而完成之等效改變及修飾，均仍應為申請專利範圍所涵蓋。因此，本發明之權利保護範圍，應如申請專利範圍所列。
S310~S330‧‧‧步驟

Claims (12)

  1. 一種用於提升在虛擬環境中找尋感興趣區域(region-of-interest)之效率的方法，其中，該虛擬環境係由一可視場景及一非可視場景所構成，該可視場景為電子裝置上顯示之場景，該非可視場景為該電子裝置上未顯示之場景，該方法包含以下步驟：(1)找出在該非可視場景中之一感興趣區域的所在位置，並找出該可視場景之場景中心的所在位置；以及(2)在該感興趣區域的所在位置與該可視場景之場景中心的所在位置之連線與該可視場景之邊界的交點處，顯示該感興趣區域以作為該可視場景之一子圖(picture-in-picture)；其中，該方法更包含將該子圖圍繞著該子圖的中心旋轉以產生一旋轉圖，且其中，該旋轉圖之一外部邊緣係面向該感興趣區域，而該旋轉圖之一內部邊緣係面向該可視場景之場景中心。
  2. 如申請專利範圍第1項所述之方法，其中，該感興趣區域的所在位置係該感興趣區域之質心座標。
  3. 如申請專利範圍第1項所述之方法，更包含將該可視場景及該子圖以一投影方式投影到一顯示裝置。
  4. 如申請專利範圍第3項所述之方法，其中，該投影方式係以下列之一者進行投影：等距柱狀圖投 影(Equirectangular Projection)、立方投影(cube mapping)及等角立方投影(Equi-Angular Cubemapping)。
  5. 如申請專利範圍第1項所述之方法，更包含固定住該旋轉圖之該外部邊緣，該可視場景具有三維空間中的X軸方向、Y軸方向及Z軸方向，而將該旋轉圖沿著該可視場景之三維空間中的Z軸方向以一傾斜角進行傾斜來產生一擬真圖。
  6. 如申請專利範圍第5項所述之方法，其中，該傾斜角之角度係基於該感興趣區域與該可視場景之場景中心的距離而變化。
  7. 如申請專利範圍第5項所述之方法，其中，該傾斜角之最大角度為105度，而該傾斜角之最小角度為0度。
  8. 一種用於提升在虛擬環境中找尋感興趣區域之效率的方法，其中，該虛擬環境係由一可視場景及一非可視場景所構成，該可視場景為電子裝置上顯示之場景，該非可視場景為該電子裝置上未顯示之場景，該方法包含以下步驟：(1)找出在該非可視場景中之一感興趣區域的所在位置，並找出該可視場景之場景中心的所在位置；以及(2)在該感興趣區域的所在位置與該可視場景之場景中心的所在位置之連線與該可視場景之 邊界的交點處，顯示一導引符號以指向該感興趣區域；其中，該導引符號係為一箭頭，而且該箭頭之寬度表示該感興趣區域相較於該場景中心之距離遠近。
  9. 如申請專利範圍第8項所述之方法，其中，該導引符號的數目隨著該感興趣區域的數量之變化而改變。
  10. 一種用於提升在虛擬環境中找尋感興趣區域之效率的方法，其中，該虛擬環境係由一可視場景及一非可視場景所構成，該可視場景為電子裝置上顯示之場景，該非可視場景為該電子裝置上未顯示之場景，該方法包含以下步驟：(1)計算該非可視場景中之一第一感興趣區域與該可視場景之場景中心的一第一距離，並計算該非可視場景中之一第二感興趣區域與該可視場景之場景中心的一第二距離，其中，該第一感興趣區域及該第二感興趣區域係分別對應於該可視場景中的一第一子圖及一第二子圖，該第二子圖係與該第一子圖部分重疊，且該第一距離係小於該第二距離；以及(2)基於該第一距離及該第二距離，使用一線性插值法(linear interpolation)以在該可視場景之場景中心與該第二子圖所在位置之間找出一顯 示位置來顯示該第一子圖。
  11. 如申請專利範圍第10項所述之方法，其中，該步驟(2)係使用以下線性插值法來找出顯示該第一子圖的該顯示位置：pip_near=pos_center+(pip_far-pos_center)* dist_near/dist_far其中，pip_near表示顯示該第一子圖的該顯示位置，pip_far表示該第二子圖所在位置，pos_center表示該可視場景之場景中心所在位置，dist_near表示該第一距離，及dist_far表示該第二距離。
  12. 一種用於提升在虛擬環境中找尋感興趣區域之效率的電子裝置，包含：一儲存單元，其儲存電腦可讀取程式碼；以及一處理器，其執行該等電腦可讀取程式碼以完成申請專利範圍第1至11項中任一項所述之方法。
TW107107458A 2018-03-06 2018-03-06 用於提升在虛擬環境中找尋感興趣區域之效率的方法及裝置 TWI707306B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107107458A TWI707306B (zh) 2018-03-06 2018-03-06 用於提升在虛擬環境中找尋感興趣區域之效率的方法及裝置
US16/012,582 US10990843B2 (en) 2018-03-06 2018-06-19 Method and electronic device for enhancing efficiency of searching for regions of interest in a virtual environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107107458A TWI707306B (zh) 2018-03-06 2018-03-06 用於提升在虛擬環境中找尋感興趣區域之效率的方法及裝置

Publications (2)

Publication Number Publication Date
TW201939438A TW201939438A (zh) 2019-10-01
TWI707306B true TWI707306B (zh) 2020-10-11

Family

ID=67844552

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107107458A TWI707306B (zh) 2018-03-06 2018-03-06 用於提升在虛擬環境中找尋感興趣區域之效率的方法及裝置

Country Status (2)

Country Link
US (1) US10990843B2 (zh)
TW (1) TWI707306B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
US10827225B2 (en) * 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469132A (zh) * 2013-09-23 2015-03-25 Lg电子株式会社 移动终端和该移动终端的控制方法
CN104731337A (zh) * 2009-08-18 2015-06-24 Metaio有限公司 用于在真实环境中表示虚拟信息的方法
US20170206417A1 (en) * 2012-12-27 2017-07-20 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
TWI610097B (zh) * 2015-08-19 2018-01-01 宏達國際電子股份有限公司 電子系統、可攜式顯示裝置及導引裝置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180288354A1 (en) * 2017-03-31 2018-10-04 Intel Corporation Augmented and virtual reality picture-in-picture

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731337A (zh) * 2009-08-18 2015-06-24 Metaio有限公司 用于在真实环境中表示虚拟信息的方法
US20170206417A1 (en) * 2012-12-27 2017-07-20 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
CN104469132A (zh) * 2013-09-23 2015-03-25 Lg电子株式会社 移动终端和该移动终端的控制方法
TWI610097B (zh) * 2015-08-19 2018-01-01 宏達國際電子股份有限公司 電子系統、可攜式顯示裝置及導引裝置

Also Published As

Publication number Publication date
US10990843B2 (en) 2021-04-27
TW201939438A (zh) 2019-10-01
US20190279015A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
US9715743B2 (en) Image processing apparatus, image processing method, and program
JP6121647B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN114080628A (zh) 纹理化网格构建
JP5592011B2 (ja) マルチスケール３次元配向
US11054963B2 (en) Method for displaying navigator associated with content and electronic device for implementing the same
TWI707306B (zh) 用於提升在虛擬環境中找尋感興趣區域之效率的方法及裝置
US20110261048A1 (en) Electronic device and method for displaying three dimensional image
WO2022072200A1 (en) Dynamic configuration of user interface layouts and inputs for extended reality systems
US20150063785A1 (en) Method of overlappingly displaying visual object on video, storage medium, and electronic device
CN109448050B (zh) 一种目标点的位置的确定方法及终端
JP7154789B2 (ja) 表示制御装置、その制御方法、プログラム及び記憶媒体
US9628706B2 (en) Method for capturing and displaying preview image and electronic device thereof
CN111448542A (zh) 在模拟现实环境中显示应用程序
CN108205431A (zh) 显示设备及其控制方法
US20230126214A1 (en) User interface
Lai et al. Mobile edutainment with interactive augmented reality using adaptive marker tracking
KR102297514B1 (ko) 디스플레이 장치 및 그 제어 방법
CN117897682A (zh) 在物理表面上显示数字媒体内容
KR101912252B1 (ko) 투명 플렉서블 양면 터치 스크린을 이용하는 인터페이스 제공 방법, 그 방법을 수행하기 위한 기록 매체 및 장치
TWI766258B (zh) 用於選擇在設備的顯示媒介上的交互物件的方法
JP2016029591A (ja) 情報処理装置、情報処理方法およびプログラム
US20180290055A1 (en) Rhythm game displaying method and terminal for performing the method
TWI614640B (zh) 實境資訊影片之播放管理方法及系統，及其相關電腦程式產品
Franco Augmented reality selection through smart glasses
JP2005107061A (ja) 地図上の画像表示方法