TWI767179B - 混合實境中偵測真實世界光源的方法、混合實境系統及記錄媒體 - Google Patents

混合實境中偵測真實世界光源的方法、混合實境系統及記錄媒體 Download PDF

Info

Publication number
TWI767179B
TWI767179B TW109101491A TW109101491A TWI767179B TW I767179 B TWI767179 B TW I767179B TW 109101491 A TW109101491 A TW 109101491A TW 109101491 A TW109101491 A TW 109101491A TW I767179 B TWI767179 B TW I767179B
Authority
TW
Taiwan
Prior art keywords
dimensional vectors
light
mixed reality
mounted display
head
Prior art date
Application number
TW109101491A
Other languages
English (en)
Other versions
TW202043848A (zh
Inventor
林奕瑱
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202043848A publication Critical patent/TW202043848A/zh
Application granted granted Critical
Publication of TWI767179B publication Critical patent/TWI767179B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/33—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving directional light or back-light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一種混合實境中偵測真實世界光源的方法、混合實境系統及記錄媒體。此方法適用於具有計算裝置及頭戴式顯示器的混合實境系統。此方法分析多個連續影像的多個光線區域，並根據對應連續影像的頭戴式顯示器的座標位置投影每一光線區域產生三維向量。之後，將三維向量進行分群，以預測當前影像中的方向光。最後，計算三維向量之間的多個交集點，並根據交集點預測當前影像中的點光源。

Description

混合實境中偵測真實世界光源的方法、混合實境系統及記錄媒體
本發明是有關於一種混合實境的技術，且特別是有關於一種混合實境中偵測真實世界光源的方法、混合實境系統及記錄媒體。
混合實境（Mixed Reality，MR）是一種利用電腦模擬技術將虛擬世界疊加或融合於真實世界產生三維空間中混合世界的技術。藉由將虛擬畫面顯示在使用者配戴的頭戴式顯示器（head-mounted display，HMD）上，使用者可同時觀看到真實世界的物理實體和數位虛擬物體共存，而可提供一個以視覺為主且結合聽覺、觸覺等感知的混合環境。體驗混合實境的使用者如同身處在真實世界，並可以與混合環境中的物理實體或虛擬物體互動。
真實世界的物理實體和虛擬物體會共存在混合環境，為了渲染出符合真實世界的虛擬物體，在建立混合環境時需要建立真實世界的光線資料。一般來說，真實世界的光線資料可以透過當前圖框的影像強度（intensity）的平均值及當前圖框的色溫（color temperature）的平均值來產生。然而，利用當前圖框強度的平均值及色溫的平均值來決定光線資料，虛擬物體所受的照光在混合環境中的任何位置都會相同。因此，會造成在虛擬物體接近光源而單側所受的照光較強時，虛擬物體所受的照光無法符合物體在真實世界中實際所受的照光的情形，並且也無法產生符合實際照光的陰影，而使得虛擬物體沒有真實感。
有鑑於此，本發明提供一種混合實境中偵測真實世界光源的方法、混合實境系統及記錄媒體，其可利用影像偵測方向光（directional light）與點光源（point light）在混合實境空間中的位置以產生光線資料。
本發明提供一種混合實境中偵測真實世界光源的方法，適用於具有計算裝置及頭戴式顯示器的混合實境系統，其中所述頭戴式顯示器包括影像擷取裝置，所述方法包括下列步驟：分析多個連續影像的多個光線區域，並根據對應所述連續影像的所述頭戴式顯示器的座標位置投影每一所述光線區域產生三維向量，其中所述連續影像包括當前影像；將所述三維向量進行分群，以預測所述當前影像中的方向光；以及計算所述三維向量之間的多個交集點，並根據所述交集點預測所述當前影像中的點光源。
在本發明的一實施例中，上述的分析所述連續影像的所述光線區域的步驟包括：根據所述連續影像的亮度分割所述連續影像，以產生多個候選區域；以及選擇像素的平均亮度大於亮度閾值的所述候選區域作為所述光線區域。
在本發明的一實施例中，上述的根據對應所述連續影像的所述頭戴式顯示器的所述座標位置投影每一所述光線區域產生所述三維向量的步驟包括：根據對應所述連續影像的所述頭戴式顯示器的所述座標位置，利用對應所述連續影像的所述影像擷取裝置的內部參數與姿態投影每一所述光線區域至三維空間，以獲取所述光線區域對應於所述頭戴式顯示器的所述三維向量。
在本發明的一實施例中，上述的將所述三維向量進行分群，以預測所述當前影像中的所述方向光的步驟包括：利用分群法將所述三維向量進行分群，以產生多個光線分群；以及根據每一光線分群的信賴度與一信賴度閾值，從所述光線分群中決定所述方向光。
在本發明的一實施例中，上述的利用所述分群法分群所述三維向量的步驟包括：針對包括一方向向量的所述三維向量進行分群。
在本發明的一實施例中，上述的分群法包括K-means分群法或Mean-shift分群法。
在本發明的一實施例中，上述的連續影像包括先前影像，並且計算所述三維向量之間的所述交集點，並根據所述交集點預測所述當前影像中的所述點光源的步驟包括：計算所述三維向量中所述當前影像對應的多個第一三維向量與所述先前影像對應的多個第二三維向量之間的所述交集點，以獲取第一交集點樣本；以及將所述第一交集點樣本與所述先前影像對應的第二交集點樣本進行分群，以預測所述當前影像中的所述點光源。
在本發明的一實施例中，上述的計算所述三維向量中所述當前影像對應的所述第一三維向量與所述先前影像對應的所述第二三維向量之間的所述交集點，以獲取所述第一交集點樣本的步驟包括：根據所述第一三維向量與所述第一三維向量對應的光線分群決定所述第一三維向量的信賴度；以及根據所述信賴度與信賴度閾值選擇所述第一三維向量，並計算所述選擇的第一三維向量與所述第二三維向量之間的所述交集點，以獲取所述第一交集點樣本。
在本發明的一實施例中，上述的將所述第一交集點樣本與所述先前影像對應的所述第二交集點樣本進行分群，以預測所述當前影像中的所述點光源的步驟更包括：根據所述第一交集點樣本與所述第二交集點樣本中包括的所述交集點存在所述連續影像的持續時間決定每一所述交集點對應的持續度；將對應的所述持續度大於持續度閾值的所述交集點進行分群，以產生多個交集點分群；以及根據所述交集點分群決定所述點光源。
本發明的混合實境系統包括頭戴式顯示器、儲存裝置以及計算裝置。儲存裝置儲存一或多個指令。計算裝置，連接所述頭戴式顯示器及所述儲存裝置，經配置以執行所述指令以：分析多個連續影像的多個光線區域，並根據對應所述連續影像的所述頭戴式顯示器的座標位置投影每一所述光線區域產生多個三維向量，其中所述連續影像包括當前影像；將所述三維向量進行分群，以預測所述當前影像中的方向光；以及計算所述三維向量之間的多個交集點，並根據所述交集點預測所述當前影像中的點光源。
本發明更提供一種非暫態電腦可讀記錄媒體，經配置以記錄程式，其中所述程式通過計算裝置中的處理器載入以執行以下步驟：分析多個連續影像的多個光線區域，並根據對應所述連續影像的所述頭戴式顯示器的座標位置投影每一所述光線區域產生三維向量，其中所述連續影像包括當前影像；將所述三維向量進行分群，以預測所述當前影像中的方向光；以及計算所述三維向量之間的多個交集點，並根據所述交集點預測所述當前影像中的點光源。
為讓本案的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明分析多個連續影像中的多個光線區域，並根據對應連續影像的頭戴式顯示器的座標位置投影光線區域產生三維向量。在分析光源時，利用分群法分群三維向量來預測方向光，並計算三維向量之間的多個交集點來預測點光源。藉此，可建立符合真實世界的光線資料，以利在渲染虛擬物體時獲得具有真實感的虛擬物體。
圖1是依照本發明一實施例所繪示的混合實境系統的方塊圖。請參照圖1，本實施例的混合實境系統10包括頭戴式顯示器12、儲存裝置14以及計算裝置16，以上裝置的功能分述如下。
頭戴式顯示器12例如是液晶顯示器（Liquid-Crystal Display，LCD）、發光二極體（Light-Emitting Diode，LED）顯示器或其他合適類型的顯示器，其以頭盔或眼鏡的型式製造，而可供使用者穿戴於頭部。頭戴式顯示器12中還額外配置影像擷取裝置121以及重力感測器、陀螺儀等運動感測器122。影像擷取裝置121可以是任何有感光耦合元件（charge coupled device，CCD）鏡頭、互補性氧化金屬半導體（complementary metal oxide semiconductor transistors，CMOS）鏡頭或紅外線鏡頭（infrared lens）的單鏡頭相機（mono camera）或立體相機（stereo camera），但本發明不限於此。影像擷取裝置121可以是一或多個，並且配置於頭戴式顯示器12上，其例如是配置在使用者配戴頭戴式顯示器12時視線的前方，而可拍攝使用者視線前方的影像。運動感測器122則能夠檢測使用者頭部的轉動或傾斜角度，並且可將感測數據反饋至計算裝置16，計算裝置16可據以計算影像擷取裝置121的姿態。
儲存裝置14可以是任何型態的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）或類似元件或上述元件的組合。在本實施例中，儲存裝置14用以儲存資料、不同的預設閾值及可由計算裝置16執行的程式，這些程式包括一或多個指令。
計算裝置16例如是檔案伺服器、資料庫伺服器、應用程式伺服器、工作站或個人電腦等具有運算能力的裝置，其中包括處理器。處理器例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合。計算裝置16連接頭戴式顯示器12及儲存裝置14，其會從儲存裝置14載入程式，據以執行本發明混合實境中偵測真實世界光源的方法。
混合實境系統10更可額外配置***18，用以定位配戴頭戴式顯示器的使用者。***18連接計算裝置16，其例如包括雷射或紅外線的發射器及接收器，並可用以偵測三維空間中物體的距離。***18搭配配置於物體（例如頭戴式顯示器12）上的多個標定器，即可定位出該物體於三維空間中的位置。***18可放置於使用者活動空間的角落，其不僅可定位出使用者於三維空間中的位置，亦可界定出此活動空間的邊界。此邊界的位置可在使用者接近邊界時在頭戴式顯示器12中顯示，藉此提示使用者避免走出活動空間或碰撞位於活動空間之外的物體。計算裝置16可通過有線或無線的方式與***18連接以供資料傳輸。
需說明的是，在一實施例中，儲存裝置14與計算裝置16係獨立於頭戴式顯示器12之外而分開設置，並以有線或無線的方式與頭戴式顯示器12連接以傳輸資料。在此實施例中，儲存裝置14可配置在計算裝置16中。而在另一實施例中，儲存裝置14與計算裝置16可集成於頭戴式顯示器12中，並與頭戴式顯示器12通過傳輸線連接以相互傳輸資料，本發明不在此限制。本發明的混合實境中偵測真實世界光源的方法的詳細步驟在下文描述。
圖2是依照本發明一實施例所繪示的混合實境中偵測真實世界光源的方法的流程圖。參考圖2，本發明實施例的方法適用於圖1的混合實境系統10，以下即搭配混合實境系統10中的各項元件說明本實施例混合實境中偵測真實世界光源的方法的詳細步驟。
首先，計算裝置16分析多個連續影像的多個光線區域，並根據對應所述連續影像的頭戴式顯示器12的座標位置投影每一光線區域產生三維向量，其中所述連續影像包括當前影像（步驟S202）。具體而言，計算裝置16控制影像擷取裝置121拍攝多個連續影像並儲存至儲存裝置14，儲存的連續影像包括當前影像及先前影像。
在分析光線區域的步驟中，計算裝置16根據各連續影像的亮度分割各連續影像，以產生多個候選區域，並且選擇像素的平均亮度大於亮度閾值的候選區域作為光線區域。以下以分割當前影像為範例說明分析光線區域的步驟。舉例而言，計算裝置16可以利用中位切割演算法（median cut）針對亮度對當前影像進行影像分割，本發明不在此限制根據亮度分割影像的方法。
圖4是依照本發明一實施例所繪示的分析影像中二維光線的範例。以中位切割演算法分析當前影像401的多個光線區域為例，計算裝置16根據當前影像401包括的像素的亮度來分割當前影像401。請參照圖4，當前影像401中包括物體OBJ1 。計算裝置16會取得當前影像401中像素的亮度，並根據當前影像401的長邊與對邊的垂直線決定可以將當前影像401分割為亮度相同的兩個分割區域的分割線L1。例如圖4中分割線L1將當前影像401分割為左右兩個分割區域。接著，計算裝置16根據兩個分割區域各自的長邊與對邊的垂直線決定可以分別將對應的分割區域再分割為亮度相同的兩個分割區域的分割線L2、L7。例如圖4中分割線L2將分割線L1左邊的分割區域分割為上下兩個分割區域，並且分割線L7將分割線L1右邊的分割區域分割為上下兩個分割區域。如果迭代次數小於預設次數n，則計算裝置16對分割出的分割區域再次分割為亮度相同的兩個分割區域。在本實施例中，計算裝置16分割當前影像401後，可以根據分割線L1~L12分割產生多個候選區域，並選擇像素的平均亮度大於亮度閾值的候選區域作為光線區域。像素的平均亮度是指單一候選區域中所有像素的亮度的平均值。在本實施例中，選擇出的候選區域例如是圖4中光線區域的A1~A4。
接著，在投影光線區域產生三維向量的步驟中，計算裝置16根據對應連續影像的頭戴式顯示器12的座標位置，利用對應連續影像的影像擷取裝置121的內部參數（intrinsic parameters）與姿態（pose）投影每一光線區域至三維空間，以獲取各光線區域對應於頭戴式顯示器12的三維向量。
接續圖4的範例，從當前影像401分析出光線區域A1~A4後，計算裝置16會根據頭戴式顯示器12的座標位置投影每一光線區域產生三維向量。圖5是依照本發明一實施例所繪示的轉換二維光線為三維向量的範例。請參照圖5，當前影像501表示圖4中的當前影像401在空間510中對應的位置。本實施例以產生光線區域A1對應至頭戴式顯示器12的向量為例。首先，計算裝置16計算當前影像401中光線區域A1的中心（或質心）OA ，並以中心的座標位置OA （x1 , y1 ）來代表光線區域A1。接著，計算裝置16根據頭戴式顯示器12的座標位置OHMD （x0 , y0 , z0 ），利用影像擷取裝置121的內部參數和姿態（如，轉動或傾斜角度）投影光線區域A1至三維空間，以獲取光線區域A1對應於頭戴式顯示器的三維向量
Figure 02_image001
。其中，針對如何利用影像擷取裝置的內部參數和姿態投影光線區域至三維空間，本領域技術人員應可根據其對於座標投影的知識而獲致足夠的教示，故在此不再贅述。
在一實施例中，頭戴式顯示器12的座標位置OHMD （x0 , y0 , z0 ）可以是利用***18偵測使用者於三維空間中的位置而得。其中，***18例如是配置在房間中相對的兩個角落，而可定位出配戴頭戴式顯示器12的使用者在此房間中的座標位置，並將座標位置提供給計算裝置16。
在另一實施例中，頭戴式顯示器12的座標位置可以是利用影像擷取裝置121擷取到多個的影像計算得出。計算裝置16可以先取得頭戴式顯示器12的原始座標。使用影像辨識分析擷取影像中特徵點的位移及變形量來決定頭戴式顯示器12的旋轉或傾斜角度及前後移動的變化，並根據變化量及原始座標計算頭戴式顯示器12在房間中的的座標位置。
在又一實施例中，計算裝置16可融合以上多種定位技術來獲取頭戴式顯示器12在房間中的的座標位置，並據以計算光線區域A1對應於頭戴式顯示器的三維向量
Figure 02_image001
，本發明不在此限制。
在產生三維向量後，計算裝置16將三維向量儲存至包括從先前影像分析出的多個三維向量的光線資料庫中。圖6是依照本發明一實施例所繪示的多個三維向量的範例。在本實施例中，若將當前影像401對應的多個三維向量及先前影像對應的所有三維向量顯示在空間601中，則可例如為圖6所示出的範例。圖6包括物體OBJ1 、物體OBJ2 以及目前光線資料庫中的所有三維向量。
接著，計算裝置16將所述三維向量進行分群，以預測當前影像中的方向光（步驟S204）。其中，分群法例如是K-means分群法、Mean-shift分群法或其他分群法，本發明不在此限制。其中，針對如何利用K-means分群法、Mean-shift分群法或其他分群法進行分群的方法，本領域技術人員應可根據其對於分群法的知識而獲致足夠的教示，故在此不再贅述。
在一般的圖形內容中，方向光的數量通常控制在四個以下。因此在本發明一實施例中，可以利用縮減器（reducer）在進行分群時減少方向光的分群數量。舉例而言，可先按照嚴格的標準將多個三維向量進行分群，然後濾除低信賴度的光線分群或將多個光線分群合併為一個，以保持數量較少的方向光。縮減器的限制原則例如是只允許保留一個從頂部發出的方向光，以及保留三個從側面發出的方向光。
具體而言，計算裝置16利用分群法將各三維向量進行分群，以產生多個光線分群，並且根據每一光線分群的信賴度與信賴度閾值，從上述光線分群中決定方向光。詳細而言，計算裝置16在利用分群法將多個三維向量進行分群時，可以計算每一光線分群對應的分群向量。接著計算裝置16計算每一三維向量與其所屬光線分群的分群向量的內積（dot），並設定1-dot為每一三維向量的信賴度。換句話說，三維向量與其所屬光線分群對應的分群方向的夾角越小，則對應的信賴度越高。基此，計算裝置16選擇平均信賴度大於信賴度閾值的光線分群為方向光，以減少方向光的數量。
在另一實施例中，計算裝置16還可以在利用分群法將三維向量進行分群時，針對一方向向量的三維向量進行分群。舉例而言，圖7是依照本發明一實施例所繪示的預測方向光的範例。請參照圖7，空間701中包括物體OBJ3 ，物體OBJ3 例如是可提供方向光的窗戶。一般而言，窗戶可提供側面光線。然而在計算裝置16投影光線區域為三維向量時，由於某些光線區域的高度低於頭戴式顯示器12的座標位置OHMD ，投影這些高度低於頭戴式顯示器12的光線區域會產生具有向上分量的的三維向量。因此計算裝置16可以在利用分群法將各三維向量進行時，針對平行方向向量的三維向量進行分群，以排除這些具有向上分量的三維向量。
最後，計算裝置16計算所述三維向量之間的多個交集點，並根據所述交集點預測當前影像中的點光源（步驟S206）。其中，連續影像包括多個先前影像。其中，計算裝置16計算多個三維向量中當前影像對應的多個第一三維向量與先前影像對應的多個第二三維向量之間的多個交集點，以獲取第一交集點樣本。並且，計算裝置16利用分群法將第一交集點樣本與先前影像對應的第二交集點樣本進行分群，以預測當前影像中的點光源。具體而言，計算裝置16利用分群法將第一交集點樣本與第二交集點樣本中包括的各交集點進行分群，以產生多個交集點分群。並且計算裝置16根據上述交集點分群決定點光源。其中，分群法例如是K-means分群法、Mean-shift分群法或其他分群法，本發明不在此限制。
詳細而言，計算裝置16會計算從當前影像分析出的多個第一三維向量與光線資料庫中儲存的從先前影像分析出的多個第二三維向量之間的多個交集點，以獲取第一交集點樣本。其中，第一交集點樣本包括上述從當前影像分析出的多個第一三維向量與光線資料庫中儲存的從先前影像分析出的多個第二三維向量之間的多個交集點。並且，計算裝置16將從當前影像分析出的第一交集點樣本儲存至包括從先前影像分析出的第二交集點樣本的交集點資料庫中。從先前影像分析出第二交集樣本的方法與從當前影像401分析出的第一交集點樣本的方法相同，故在此不再贅述。在本實施例中，第二交集樣本可以是多個，第二交集樣本的數量取決於計算裝置16分析多少張先前影像。接著，計算裝置16根據第一交集點樣本與第二交集點樣本預測當前影像401中的點光源。
此外，本發明實施例在分群各交集點樣本中包括的各交集點時，將根據篩選條件選擇超過所述篩選條件對應的預設閾值的樣本進行分群，以濾除一些異常值。在本實施例中，篩選條件例如是三維向量的信賴度（confidence）及/或交集點的持續度（persistence）。計算裝置16根據信賴度決定是否在計算交集點時保留此三維向量，或根據持續度決定是否在進行分群時保留此交集點。
在一實施例中，計算裝置16根據當前影像對應的每一第一三維向量與每一第一三維向量對應的光線分群決定每一第一三維向量的信賴度。並且計算裝置16根據信賴度與信賴度閾值選擇第一三維向量，並計算選擇的第一三維向量與先前影像對應的多個第二三維向量之間的交集點，以獲取第一交集點樣本。詳細而言，計算裝置16在利用分群法將多個三維向量進行分群時（請參步驟S204的內容），可以判斷從當前影像中分析出的每一第一三維向量分別屬於哪個光線分群。據此，計算裝置16計算每一第一三維向量所屬光線分群對應的分群向量，並計算每一第一三維向量與其所屬光線分群的分群向量的內積（dot），並設定1-dot為當前影像對應的每一第一三維向量的信賴度。計算裝置16可以將計算出的信賴度儲存在儲存裝置14中，以供後續計算使用。換句話說，當前影像對應的第一三維向量與其所屬光線分群對應的分群向量的夾角越小，則對應的信賴度越高。基此，計算裝置16在計算當前影像對應的第一三維向量與光線資料庫中儲存的從先前影像分析出的多個第二三維向量之間的多個交集點時，先根據信賴度與信賴度閾值選擇第一三維向量，再計算選擇出的第一三維向量與第二三維向量之間的交集點。在一實施例中，計算裝置16選擇信賴度大於信賴度閾值的第一三維向量與第二三維向量進行交集點計算。
此外，計算裝置16可以計算每個交集點對應的持續度。計算裝置16根據第一交集點樣本與第二交集點樣本中包括的交集點存在連續影像（包括先前影像與當前影像）的持續時間決定每一交集點對應的持續度，並根據持續度決定是否在分群時保留此交集點。接著，計算裝置16利用分群法將對應的持續度大於持續度閾值的交集點進行分群，以產生多個交集點分群。並且根據產生的交集點分群決定點光源。
詳細而言，從先前影像分析出的點光源會具有對應的交集點分群，並且對應的交集點分群會包括多個交集點。當這些交集點被決定為對應至點光源的交集點時，計算裝置16會分別設定一個大於持續度閾值的設定值（即，持續度）給這些交集點，並將計算出的持續度儲存在儲存裝置14中，以供後續計算使用。若交集點不存在於先前影像的下一影像中預測的點光源中，則計算裝置16根據一預設值減少此交集點對應的持續度。在分析當前影像時，計算裝置16可以取得每個交集點當前的持續度，並在交集點當前的持續度大於持續度閾值時，在分群時保留此交集點。換句話說，計算裝置16利用K-means分群法將對應的持續度大於持續度閾值的多個交集點進行分群，以產生多個交集點分群。
在另一實施例中，計算裝置16也可以同時根據信賴度決定是否在計算交集點時保留此三維向量，並根據持續度決定是否在分群時保留此交集點，本發明不在此限制。計算裝置16經過信賴度及持續度的篩選，可以決定產生的多個交集點分群為點光源。
圖3是依照本發明一實施例所繪示的混合實境中偵測真實世界光源的方法的流程圖。請同時參照圖1及圖3，本實施例的方法適用於上述的混合實境系統10。
需先說明的是，頭戴式顯示器12包括的影像擷取裝置121可以有多個。本實施例以其中一個影像擷取裝置121所擷取的連續影像作為範例說明本發明實施例，其中作為範例說明的影像擷取裝置121例如設置在左眼位置。在其他實施例中，影像擷取裝置121也可以設置在頭戴式顯示器12的不同位置，本發明不在此限制。
首先，計算裝置16控制影像擷取裝置121擷取左眼擷取影像（即，當前影像）。計算裝置16對左眼擷取影像進行當前影像分析（步驟S3021），以產生左眼擷取影像對應的三維光線（即，三維向量）。接著，計算裝置16將光線合併（步驟S304）。在光線合併的步驟中，計算裝置16將從左眼擷取影像分析出的多個三維向量儲存至包括從先前影像分析出的多個三維向量的光線資料庫中。
之後，計算裝置16進行方向光預測（步驟S306）。計算裝置16根據光線資料庫中包括的所有三維向量預測方向光。預測方向光的方法可參照上述步驟S204所述的內容，於此不再贅述。在計算裝置16分群光線資料庫中包括的三維向量後，可產生例如圖7中的一個光線分群。
最後，計算裝置16進行點光源預測（S308）。計算裝置16根據左眼擷取影像對應的三維向量與光線資料庫中包括的所有三維向量預測點光源。預測點光源的方法可參照上述步驟S206所述的內容，於此不再贅述。在另一實施例中，計算裝置16控制影像擷取裝置121擷取右眼擷取影像，並且對右眼擷取影像進行當前影像分析（步驟S3022），以產生右眼擷取影像對應的三維光線（即，三維向量）。於此，計算裝置16可以根據右眼擷取影像對應的三維光線、左眼擷取影像對應的三維向量與光線資料庫中包括的所有三維向量預測點光源。
基於上述，在預測出方向光與點光源後，計算裝置16可以利用方向光與點光源渲染虛擬物體。
本發明進一步提供一種非暫時性電腦可讀記錄媒體，其經配置以記錄通過計算裝置中的處理器載入以執行混合實境中偵測真實世界光源的方法的每一步驟的程式。電腦程式由多個程式部分（例如，構造組織圖式程式部分，批准清單程式部分，設置程式部分以及部署程式部分等）構成。在程式部分載入到處理器中且被執行之後，可完成混合實境中偵測真實世界光源的方法的步驟。
綜上所述，本發明混合實境中偵測真實世界光源的方法、混合實境系統及記錄媒體可根據頭戴式顯示器的座標位置投影光線區域產生三維向量來預測方向光與點光源，以提供渲染虛擬物體所需的方向光與點光源。藉此，可建立符合真實世界的光線資料，以利在渲染虛擬物體時獲得具有真實感的虛擬物體。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:混合實境系統 12:頭戴式顯示器 121:影像擷取裝置 122:運動感測器 14:儲存裝置 16:計算裝置 18:*** 401、501:當前影像 510、601、701:空間 A1~A4:光線區域
Figure 02_image001
:三維向量 L1~L12:分割線 OBJ1、OBJ2、OBJ3:物體 OA:中心 OA（x1,y1,z1）、OHMD（x0,y0,z0）:座標位置 S202~S206、S3021、S3022、S304~S308:步驟
圖1是依照本發明一實施例所繪示的混合實境系統的方塊圖。 圖2是依照本發明一實施例所繪示的混合實境中偵測真實世界光源的方法的流程圖。 圖3是依照本發明一實施例所繪示的混合實境中偵測真實世界光源的方法的流程圖。 圖4是依照本發明一實施例所繪示的分析影像中二維光線的範例。 圖5是依照本發明一實施例所繪示的轉換二維光線為三維向量的範例。 圖6是依照本發明一實施例所繪示的多個三維向量的範例。 圖7是依照本發明一實施例所繪示的預測方向光的範例。
S202~S206:步驟

Claims (20)

  1. 一種混合實境中偵測真實世界光源的方法，適用於具有計算裝置及頭戴式顯示器的混合實境系統，其中該頭戴式顯示器包括影像擷取裝置，該方法包括下列步驟：分析多個連續影像的多個光線區域，並根據對應該些連續影像的該頭戴式顯示器的座標位置投影每一該些光線區域產生多個三維向量，其中該些連續影像包括當前影像，且該些三維向量反映該頭戴式顯示器與每一該些光線區域之間的位置相對關係；將該些三維向量進行分群，以預測該當前影像中的方向光；以及計算該些三維向量之間的多個交集點，並根據該些交集點預測該當前影像中的點光源。
  2. 如申請專利範圍第1項所述的混合實境中偵測真實世界光源的方法，其中分析該些連續影像的該些光線區域的步驟包括：根據該些連續影像的亮度分割該些連續影像，以產生多個候選區域；以及選擇像素的平均亮度大於一亮度閾值的該些候選區域作為該些光線區域。
  3. 如申請專利範圍第1項所述的混合實境中偵測真實世界光源的方法，其中根據對應該些連續影像的該頭戴式顯示器的該座標位置投影每一該些光線區域產生該些三維向量的步驟包括： 根據對應該些連續影像的該頭戴式顯示器的該座標位置，利用對應該些連續影像的該影像擷取裝置的內部參數與姿態投影每一該些光線區域至三維空間，以獲取該些光線區域對應於該頭戴式顯示器的該些三維向量。
  4. 如申請專利範圍第1項所述的混合實境中偵測真實世界光源的方法，其中將該些三維向量進行分群，以預測該當前影像中的該方向光的步驟包括：利用分群法將該些三維向量進行分群，以產生多個光線分群；以及根據每一光線分群的信賴度與一信賴度閾值，從該些光線分群中決定該方向光。
  5. 如申請專利範圍第4項所述的混合實境中偵測真實世界光源的方法，其中利用該分群法分群該些三維向量的步驟包括：針對一方向向量的該些三維向量進行分群。
  6. 如申請專利範圍第4項所述的混合實境中偵測真實世界光源的方法，其中該分群法包括K-means分群法或Mean-shift分群法。
  7. 如申請專利範圍第1項所述的混合實境中偵測真實世界光源的方法，其中該些連續影像包括先前影像，並且計算該些三維向量之間的該些交集點，並根據該些交集點預測該當前影像中的該點光源的步驟包括：計算該些三維向量中該當前影像對應的多個第一三維向量與 該先前影像對應的多個第二三維向量之間的該些交集點，以獲取第一交集點樣本；以及將該第一交集點樣本與該先前影像對應的第二交集點樣本進行分群，以預測該當前影像中的該點光源。
  8. 如申請專利範圍第7項所述的混合實境中偵測真實世界光源的方法，其中計算該些三維向量中該當前影像對應的該些第一三維向量與該先前影像對應的該些第二三維向量之間的該些交集點，以獲取該第一交集點樣本的步驟包括：根據該些第一三維向量與該些第一三維向量對應的光線分群決定該些第一三維向量的信賴度；以及根據該信賴度與一信賴度閾值選擇該些第一三維向量，並計算該些選擇的第一三維向量與該些第二三維向量之間的該些交集點，以獲取該第一交集點樣本。
  9. 如申請專利範圍第7項所述的混合實境中偵測真實世界光源的方法，其中將該第一交集點樣本與該先前影像對應的該第二交集點樣本進行分群，以預測該當前影像中的該點光源的步驟更包括：根據該第一交集點樣本與該第二交集點樣本中包括的該些交集點存在該些連續影像的持續時間決定每一該些交集點對應的持續度；將對應的該持續度大於一持續度閾值的該些交集點進行分群，以產生多個交集點分群；以及 根據該些交集點分群決定該點光源。
  10. 一種混合實境系統，包括：頭戴式顯示器；儲存裝置，儲存一或多個指令；以及計算裝置，連接該頭戴式顯示器及該儲存裝置，經配置以執行該些指令以：分析多個連續影像的多個光線區域，並根據對應該些連續影像的該頭戴式顯示器的座標位置投影每一該些光線區域產生多個三維向量，其中該些連續影像包括當前影像，且該些三維向量反映該頭戴式顯示器與每一該些光線區域之間的位置相對關係；將該些三維向量進行分群，以預測該當前影像中的方向光；以及計算該些三維向量之間的多個交集點，並根據該些交集點預測該當前影像中的點光源。
  11. 如申請專利範圍第10項所述的混合實境系統，其中該計算裝置經配置以根據該些連續影像的亮度分割該些連續影像，以產生多個候選區域，並且選擇像素的平均亮度大於一亮度閾值的該些候選區域作為該些光線區域。
  12. 如申請專利範圍第10項所述的混合實境系統，其中該頭戴式顯示器更包括：影像擷取裝置，連接該計算裝置， 其中該計算裝置經配置以根據對應該些連續影像的該頭戴式顯示器的該座標位置，利用對應該些連續影像的該影像擷取裝置的內部參數與姿態投影每一該些光線區域至三維空間，以獲取該些光線區域對應於該頭戴式顯示器的該些三維向量。
  13. 如申請專利範圍第10項所述的混合實境系統，其中該頭戴式顯示器更包括：***，連接該計算裝置以及經配置以定位該頭戴式顯示器的該座標位置。
  14. 如申請專利範圍第10項所述的混合實境系統，其中該計算裝置經配置以利用分群法將該些三維向量進行分群，以產生多個光線分群，並且根據每一光線分群的信賴度與一信賴度閾值，從該些光線分群中決定該方向光。
  15. 如申請專利範圍第10項所述的混合實境系統，其中該計算裝置經配置以針對一方向向量的該些三維向量進行分群。
  16. 如申請專利範圍第14項所述的混合實境系統，其中該分群法包括K-means分群法或Mean-shift分群法。
  17. 如申請專利範圍第10項所述的混合實境系統，其中該些連續影像包括先前影像，該計算裝置經配置以計算該些三維向量中該當前影像對應的多個第一三維向量與該先前影像對應的多個第二三維向量之間的該些交集點，以獲取第一交集點樣本，並且將該第一交集點樣本與該先前影像對應的第二交集點樣本進行分群，以預測該當前影像中的該點光源。
  18. 如申請專利範圍第17項所述的混合實境系統，其中該計算裝置經配置以根據該些第一三維向量與該些第一三維向量對應的光線分群決定該些第一三維向量的信賴度，並且根據該信賴度與一信賴度閾值選擇該些第一三維向量，並計算該些選擇的第一三維向量與該些第二三維向量之間的該些交集點，以獲取該第一交集點樣本。
  19. 如申請專利範圍第17項所述的混合實境系統，其中該計算裝置經配置以根據該第一交集點樣本與該第二交集點樣本中包括的該些交集點存在該些連續影像的持續時間決定每一該些交集點對應的持續度，將對應的該持續度大於一持續度閾值的該些交集點進行分群，以產生多個交集點分群，並且根據該些交集點分群決定該點光源。
  20. 一種非暫態電腦可讀記錄媒體，經配置以記錄程式，其中該些程式通過計算裝置中的處理器載入以執行以下步驟：分析多個連續影像的多個光線區域，並根據對應該些連續影像的該頭戴式顯示器的座標位置投影每一該些光線區域產生三維向量，其中該些連續影像包括當前影像；將該些三維向量進行分群，以預測該當前影像中的方向光；以及計算該些三維向量之間的多個交集點，並根據該些交集點預測該當前影像中的點光源。
TW109101491A 2019-01-24 2020-01-16 混合實境中偵測真實世界光源的方法、混合實境系統及記錄媒體 TWI767179B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962796558P 2019-01-24 2019-01-24
US62/796,558 2019-01-24

Publications (2)

Publication Number Publication Date
TW202043848A TW202043848A (zh) 2020-12-01
TWI767179B true TWI767179B (zh) 2022-06-11

Family

ID=71732747

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109101491A TWI767179B (zh) 2019-01-24 2020-01-16 混合實境中偵測真實世界光源的方法、混合實境系統及記錄媒體

Country Status (3)

Country Link
US (1) US11361511B2 (zh)
CN (1) CN111489448A (zh)
TW (1) TWI767179B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302658A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Compensating for ambient light in augmented or virtual reality systems
US20180211440A1 (en) * 2015-07-21 2018-07-26 Dolby Laboratories Licensing Corporation Surround ambient light sensing, processing and adjustment

Family Cites Families (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546139A (en) * 1993-06-28 1996-08-13 Bacs, Jr.; Aron Moving imagery projection system
JP3512992B2 (ja) * 1997-01-07 2004-03-31 株式会社東芝 画像処理装置および画像処理方法
US6226006B1 (en) * 1997-06-27 2001-05-01 C-Light Partners, Inc. Method and apparatus for providing shading in a graphic display system
GB9717656D0 (en) * 1997-08-20 1997-10-22 Videologic Ltd Shading three dimensional images
US6753875B2 (en) * 2001-08-03 2004-06-22 Hewlett-Packard Development Company, L.P. System and method for rendering a texture map utilizing an illumination modulation value
US20040070565A1 (en) * 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
US7505604B2 (en) * 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
JP4248822B2 (ja) * 2002-08-29 2009-04-02 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 線維描出方法および線維描出装置
JP3748545B2 (ja) * 2002-09-19 2006-02-22 株式会社ナムコ プログラム、情報記憶媒体及び画像生成装置
JP3972784B2 (ja) * 2002-09-30 2007-09-05 ソニー株式会社 画像処理装置およびその方法
US6819421B1 (en) * 2003-04-11 2004-11-16 Point Source Technologies, Llc Detection of new species of particles
JP2005115645A (ja) * 2003-10-07 2005-04-28 Digital Fashion Ltd シェーディング情報取得装置及び画像処理装置
US7696995B2 (en) * 2004-05-07 2010-04-13 Valve Corporation System and method for displaying the effects of light illumination on a surface
KR100609145B1 (ko) * 2004-12-20 2006-08-08 한국전자통신연구원 실시간 전역조명 효과를 위한 렌더링 장치 및 그 방법
US7324688B2 (en) * 2005-02-14 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. Face relighting for normalization of directional lighting
JP3938184B2 (ja) * 2005-03-22 2007-06-27 キヤノン株式会社 情報処理方法及びその装置
EP1720131B1 (en) * 2005-05-03 2009-04-08 Seac02 S.r.l. An augmented reality system with real marker object identification
US8164594B2 (en) * 2006-05-23 2012-04-24 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
JP4784555B2 (ja) * 2007-05-25 2011-10-05 トヨタ自動車株式会社 形状評価方法、形状評価装置および三次元検査装置
JP4902456B2 (ja) * 2007-07-31 2012-03-21 シャープ株式会社 スジムラ評価装置、スジムラ評価方法、スジムラ評価プログラム、記録媒体及びカラーフィルタの製造方法
JP2009080580A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 映像表示装置及び方法
EP2293541B1 (en) * 2008-06-26 2018-09-12 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image division program and image synthesising method
US8310525B2 (en) * 2008-10-07 2012-11-13 Seiko Epson Corporation One-touch projector alignment for 3D stereo display
JP5237066B2 (ja) * 2008-11-28 2013-07-17 キヤノン株式会社 複合現実感提示システムおよび複合現実感提示方法、プログラム
GB2465792A (en) * 2008-11-28 2010-06-02 Sony Corp Illumination Direction Estimation using Reference Object
JP5466876B2 (ja) * 2009-05-14 2014-04-09 オリンパス株式会社 画像取得装置、画像取得装置の制御方法、及び顕微鏡システム
JP5602392B2 (ja) * 2009-06-25 2014-10-08 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP5582778B2 (ja) * 2009-12-21 2014-09-03 キヤノン株式会社 投射装置、プログラム、及び投射装置の制御方法
US20110234631A1 (en) * 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
US8694553B2 (en) * 2010-06-07 2014-04-08 Gary Stephen Shuster Creation and use of virtual places
US8600538B2 (en) * 2011-04-11 2013-12-03 Disney Enterprises, Inc. System and method for producing three-dimensional multi-layer objects from digital models
TW201248340A (en) * 2011-05-23 2012-12-01 Era Optoelectronics Inc Floating virtual hologram display apparatus
US8432435B2 (en) * 2011-08-10 2013-04-30 Seiko Epson Corporation Ray image modeling for fast catadioptric light field rendering
US9177988B2 (en) * 2011-12-16 2015-11-03 Chromatra, Llc. Systems and methods for creating full-color image in low light
CN102760308B (zh) * 2012-05-25 2014-12-03 任伟峰 一种点选三维虚拟现实场景中物体的方法和装置
US9058690B2 (en) * 2012-10-05 2015-06-16 Disney Enterprises, Inc. Ray cone hierarchy renderer
US9857470B2 (en) * 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9858721B2 (en) * 2013-01-15 2018-01-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
KR102161958B1 (ko) * 2013-02-19 2020-10-06 에이지씨 가부시키가이샤 투명 기체의 광학 특성을 평가하는 방법
US11719990B2 (en) * 2013-02-21 2023-08-08 View, Inc. Control method for tintable windows
US20150374210A1 (en) * 2013-03-13 2015-12-31 Massachusetts Institute Of Technology Photometric stereo endoscopy
RU2523929C1 (ru) * 2013-03-18 2014-07-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ для автоматического планирования видов в объемных изображениях мозга
JP5851461B2 (ja) * 2013-08-30 2016-02-03 本田技研工業株式会社 意匠層データ作成装置及び方法並びに意匠シュミレーション装置
JP6337433B2 (ja) * 2013-09-13 2018-06-06 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR102116981B1 (ko) * 2013-10-02 2020-05-29 삼성전자 주식회사 광선 추적 가속 방법 및 장치
US9396544B2 (en) * 2014-01-08 2016-07-19 Adobe Systems Corporation Single image photometric stereo for colored objects
US9952424B2 (en) * 2014-02-27 2018-04-24 Konica Minolta, Inc. Image projection apparatus
CN106133796B (zh) * 2014-03-25 2019-07-16 苹果公司 用于在真实环境的视图中表示虚拟对象的方法和***
US9607411B2 (en) * 2014-04-23 2017-03-28 Ebay Inc. Specular highlights on photos of objects
EP3139589B1 (en) * 2014-04-30 2022-04-06 Sony Group Corporation Image processing apparatus and image processing method
JP2015228186A (ja) * 2014-06-02 2015-12-17 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
US10593113B2 (en) * 2014-07-08 2020-03-17 Samsung Electronics Co., Ltd. Device and method to display object with visual effect
US9885668B2 (en) * 2014-08-29 2018-02-06 Konica Minolta, Inc. Surface inspection device, surface inspection method, and program
US10242485B2 (en) * 2014-09-04 2019-03-26 Nvidia Corporation Beam tracing
KR102281180B1 (ko) * 2014-11-21 2021-07-23 삼성전자주식회사 영상 처리 장치 및 방법
KR102292923B1 (ko) * 2014-12-15 2021-08-24 삼성전자주식회사 3d 렌더링 방법 및 장치
GB2533553B (en) * 2014-12-15 2020-09-09 Sony Interactive Entertainment Inc Image processing method and apparatus
US9958682B1 (en) * 2015-02-17 2018-05-01 Thalmic Labs Inc. Systems, devices, and methods for splitter optics in wearable heads-up displays
EP3101383A1 (en) * 2015-06-01 2016-12-07 Canon Kabushiki Kaisha Shape measurement apparatus, shape calculation method, system, and method of manufacturing an article
US9754405B1 (en) * 2015-08-10 2017-09-05 Ngrain (Canada) Corporation System, method and computer-readable medium for organizing and rendering 3D voxel models in a tree structure
EP3131063A1 (en) * 2015-08-11 2017-02-15 Thomson Licensing Method and apparatus for real-time rendering of images of specular surfaces
US10217189B2 (en) * 2015-09-16 2019-02-26 Google Llc General spherical capture methods
US9922452B2 (en) * 2015-09-17 2018-03-20 Samsung Electronics Co., Ltd. Apparatus and method for adjusting brightness of image
CN113358045A (zh) * 2015-11-04 2021-09-07 奇跃公司 光场显示度量
EP3196633B1 (en) * 2016-01-20 2021-11-17 Canon Kabushiki Kaisha Apparatus and method for measuring a reflection characteristic of an object
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
US9818221B2 (en) * 2016-02-25 2017-11-14 Qualcomm Incorporated Start node determination for tree traversal for shadow rays in graphics processing
US10976809B2 (en) * 2016-03-14 2021-04-13 Htc Corporation Interaction method for virtual reality
WO2017171005A1 (ja) * 2016-04-01 2017-10-05 株式会社ｗｉｓｅ ３ｄグラフィック生成、人工知能の検証・学習システム、プログラム及び方法
TW201805894A (zh) * 2016-05-06 2018-02-16 國立臺灣大學 三維渲染方法以及三維繪圖處理裝置
US11527142B2 (en) * 2016-06-06 2022-12-13 Makusafe Corp. Device, system and method for health and safety monitoring
KR102296267B1 (ko) * 2016-06-30 2021-08-30 매직 립, 인코포레이티드 3d 공간에서의 포즈 추정
KR102609330B1 (ko) * 2016-07-15 2023-12-05 라이트 필드 랩 인코포레이티드 라이트 필드 및 홀로그램 도파관 어레이에서의 에너지의 선택적 전파
EP3485464B1 (en) * 2016-07-18 2023-09-06 Universität Basel Computer system and method for improved gloss representation in digital images
JP2018031607A (ja) * 2016-08-23 2018-03-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、電子装置、および、測距装置の制御方法
CN107808398B (zh) * 2016-09-08 2023-04-07 松下知识产权经营株式会社 摄像头参数算出装置以及算出方法、程序、记录介质
US10678397B2 (en) * 2016-09-26 2020-06-09 Htc Corporation Method for providing demonstration information in simulation environment, and associated simulation system
US10896544B2 (en) * 2016-10-07 2021-01-19 Htc Corporation System and method for providing simulated environment
EP3340180A1 (en) * 2016-12-20 2018-06-27 Thomson Licensing Device and method for scene rendering by path tracing with complex lighting
CN108345108A (zh) * 2017-01-25 2018-07-31 北京三星通信技术研究有限公司 头戴式显示设备、三维图像信息的生成方法及装置
US10430978B2 (en) * 2017-03-02 2019-10-01 Adobe Inc. Editing digital images utilizing a neural network with an in-network rendering layer
JP6774603B2 (ja) * 2017-03-06 2020-10-28 株式会社Ｊｖｃケンウッド レーザ光照射検出装置、レーザ光照射検出方法、レーザ光照射検出システム
US10477200B2 (en) * 2017-04-13 2019-11-12 Facebook, Inc. Panoramic camera systems
US10242458B2 (en) * 2017-04-21 2019-03-26 Qualcomm Incorporated Registration of range images using virtual gimbal information
WO2018200337A1 (en) * 2017-04-28 2018-11-01 Pcms Holdings, Inc. System and method for simulating light transport between virtual and real objects in mixed reality
JP7038346B2 (ja) * 2017-05-01 2022-03-18 パナソニックＩｐマネジメント株式会社 カメラパラメータ算出方法、カメラパラメータ算出プログラム、及びカメラパラメータ算出装置
CN107134005A (zh) * 2017-05-04 2017-09-05 网易（杭州）网络有限公司 光照适配方法、装置、存储介质、处理器及终端
US10771773B2 (en) * 2017-05-11 2020-09-08 Htc Corporation Head-mounted display devices and adaptive masking methods thereof
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
US10515466B2 (en) * 2017-06-09 2019-12-24 Sony Interactive Entertainment Inc. Optimized deferred lighting in a foveated rendering system
US11002606B2 (en) * 2017-06-15 2021-05-11 Suntracker Technologies Ltd. Spectral lighting modeling and control
US10602046B2 (en) * 2017-07-11 2020-03-24 Htc Corporation Mobile device and control method
US20190033989A1 (en) * 2017-07-31 2019-01-31 Google Inc. Virtual reality environment boundaries using depth sensors
CN207008717U (zh) * 2017-08-14 2018-02-13 杭州晴光科技有限公司 一种裸眼混合实境设备
JP6425847B1 (ja) * 2017-08-14 2018-11-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN109389951B (zh) * 2017-08-14 2021-01-26 京东方科技集团股份有限公司 背光源的驱动方法及驱动电路、背光源和显示装置
JP2020531965A (ja) * 2017-08-30 2020-11-05 コンペディア ソフトウェア アンド ハードウェア デベロップメント リミテッドＣｏｍｐｅｄｉａ Ｓｏｆｔｗａｒｅ Ａｎｄ Ｈａｒｄｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｌｔｄ． 支援型の拡張現実
CN107563438B (zh) * 2017-08-31 2019-08-30 西南交通大学 一种快速鲁棒的多模态遥感影像匹配方法和***
US20190073820A1 (en) * 2017-09-01 2019-03-07 Mira Labs, Inc. Ray Tracing System for Optical Headsets
JP2019067323A (ja) * 2017-10-05 2019-04-25 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
CN114777678B (zh) * 2017-10-06 2024-06-14 维西公司 生成一个或多个亮度边缘以形成物体的三维模型
JP6962165B2 (ja) * 2017-12-11 2021-11-05 株式会社島津製作所 Ｘ線透視撮影装置
US10600205B2 (en) * 2018-01-08 2020-03-24 Htc Corporation Anchor recognition in reality system
CN112074782A (zh) * 2018-01-14 2020-12-11 光场实验室公司 用于渲染来自3d环境的数据的***和方法
JP7167947B2 (ja) * 2018-01-16 2022-11-09 ソニーグループ株式会社 照明制御装置及び照明制御方法、照明装置、並びに照明システム
US10636200B2 (en) * 2018-01-19 2020-04-28 Htc Corporation Electronic device, method for displaying an augmented reality scene and non-transitory computer-readable medium
AU2018201472A1 (en) * 2018-02-28 2019-09-12 Canon Kabushiki Kaisha System and method of rendering a surface
WO2019182906A1 (en) * 2018-03-17 2019-09-26 Nvidia Corporation Shadow denoising in ray-tracing applications
CN108525298B (zh) * 2018-03-26 2020-08-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108510545B (zh) * 2018-03-30 2021-03-23 京东方科技集团股份有限公司 空间定位方法、空间定位设备、空间定位***及计算机可读存储介质
JP7059076B2 (ja) * 2018-03-30 2022-04-25 キヤノン株式会社 画像処理装置、その制御方法、プログラム、記録媒体
CN108510956B (zh) * 2018-05-02 2020-01-07 京东方科技集团股份有限公司 显示面板的图像显示亮度调节方法、装置及显示装置
US11595637B2 (en) * 2018-05-14 2023-02-28 Dell Products, L.P. Systems and methods for using peripheral vision in virtual, augmented, and mixed reality (xR) applications
US11543663B2 (en) * 2018-05-16 2023-01-03 Cartosense Pvt. Ltd. System and method for alignment between real and virtual objects in a head-mounted optical see-through display
CN108566504B (zh) * 2018-05-22 2021-01-26 京东方科技集团股份有限公司 一种双摄像头模组、电子设备及其图像获取方法
CN110536125A (zh) * 2018-05-25 2019-12-03 光宝电子(广州)有限公司 影像处理***及影像处理方法
JP7319303B2 (ja) * 2018-05-31 2023-08-01 マジック リープ， インコーポレイテッド レーダ頭部姿勢位置特定
US10606364B2 (en) * 2018-06-14 2020-03-31 Dell Products, L.P. Two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
US10579153B2 (en) * 2018-06-14 2020-03-03 Dell Products, L.P. One-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
WO2020013416A1 (ko) * 2018-07-12 2020-01-16 에스케이텔레콤 주식회사 영상 투사 장치
CN112840378B (zh) * 2018-07-26 2024-06-07 辉达公司 在路径追踪中使用共享光照贡献进行相互作用的全局照明
US10725536B2 (en) * 2018-08-21 2020-07-28 Disney Enterprises, Inc. Virtual indicium display system for gaze direction in an image capture environment
US10573067B1 (en) * 2018-08-22 2020-02-25 Sony Corporation Digital 3D model rendering based on actual lighting conditions in a real environment
US10937243B2 (en) * 2018-08-29 2021-03-02 Dell Products, L.P. Real-world object interface for virtual, augmented, and mixed reality (xR) applications
JP7247501B2 (ja) * 2018-09-21 2023-03-29 富士フイルムビジネスイノベーション株式会社 画像処理装置およびプログラム
US10805585B2 (en) * 2018-12-17 2020-10-13 Lightform, Inc. System and methods or augmenting surfaces within spaces with projected light
US10931972B2 (en) * 2019-01-24 2021-02-23 Dell Products, L.P. Forward channel contextual error concealment and sync for virtual, augmented, or mixed reality (XR) content in connectivity-constrained environments
US10762697B1 (en) * 2019-02-27 2020-09-01 Verizon Patent And Licensing Inc. Directional occlusion methods and systems for shading a virtual object rendered in a three-dimensional scene
US11145110B2 (en) * 2019-03-18 2021-10-12 Nvidia Corporation Adaptive ray tracing suitable for shadow rendering
US11620800B2 (en) * 2019-03-27 2023-04-04 Electronic Arts Inc. Three dimensional reconstruction of objects based on geolocation and image data
US11029408B2 (en) * 2019-04-03 2021-06-08 Varjo Technologies Oy Distance-imaging system and method of distance imaging
US11413094B2 (en) * 2019-05-24 2022-08-16 University Health Network System and method for multi-client deployment of augmented reality instrument tracking
US11436743B2 (en) * 2019-07-06 2022-09-06 Toyota Research Institute, Inc. Systems and methods for semi-supervised depth estimation according to an arbitrary camera
US11049315B2 (en) * 2019-07-31 2021-06-29 Verizon Patent And Licensing Inc. Methods and devices for bifurcating graphics rendering between a media player device and a multi-access edge compute server
US11790594B2 (en) * 2019-08-18 2023-10-17 Nvidia Corporation Ray-tracing with irradiance caches
CN114245907A (zh) * 2019-08-18 2022-03-25 辉达公司 自动曝光的光线追踪
US11538216B2 (en) * 2019-09-03 2022-12-27 Adobe Inc. Dynamically estimating light-source-specific parameters for digital images using a neural network
US10984242B1 (en) * 2019-09-05 2021-04-20 Facebook Technologies, Llc Virtual proximity compass for navigating artificial reality environments
US11303875B2 (en) * 2019-12-17 2022-04-12 Valve Corporation Split rendering between a head-mounted display (HMD) and a host computer

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302658A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Compensating for ambient light in augmented or virtual reality systems
US20180211440A1 (en) * 2015-07-21 2018-07-26 Dolby Laboratories Licensing Corporation Surround ambient light sensing, processing and adjustment

Also Published As

Publication number Publication date
US11361511B2 (en) 2022-06-14
TW202043848A (zh) 2020-12-01
US20200242843A1 (en) 2020-07-30
CN111489448A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN108780578B (zh) 增强现实***和操作增强现实***的方法
CN112926428B (zh) 使用合成图像训练对象检测算法的方法和***和存储介质
CN107004279B (zh) 自然用户界面相机校准
US10293252B2 (en) Image processing device, system and method based on position detection
US10950031B2 (en) Techniques for locating virtual objects relative to real physical objects
US9740282B1 (en) Gaze direction tracking
US10782780B2 (en) Remote perception of depth and shape of objects and surfaces
US10628964B2 (en) Methods and devices for extended reality device training data creation
US12008686B2 (en) Augmented reality map curation
US20180189955A1 (en) Augumented reality (ar) method and system enhanced through efficient edge detection of image objects
JP7459051B2 (ja) 角検出のための方法および装置
US11636656B1 (en) Depth rate up-conversion
CN108629799B (zh) 一种实现增强现实的方法及设备
US20190164281A1 (en) Robotic pill filling, counting, and validation
JP6221292B2 (ja) 集中度判定プログラム、集中度判定装置、および集中度判定方法
US11615549B2 (en) Image processing system and image processing method
US11729573B2 (en) Audio enhanced augmented reality
US20200082626A1 (en) Methods and devices for user interaction in augmented reality
TWI767179B (zh) 混合實境中偵測真實世界光源的方法、混合實境系統及記錄媒體
KR102173608B1 (ko) 제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법
US11170578B1 (en) Occlusion detection
US20210192782A1 (en) Methods and apparatuses for corner detection
US10620436B2 (en) Head-mounted apparatus
US11863860B2 (en) Image capture eyewear with context-based sending
US11863963B2 (en) Augmented reality spatial audio experience