TWI712918B

TWI712918B - 擴增實境的影像展示方法、裝置及設備

Info

Publication number: TWI712918B
Application number: TW108124231A
Authority: TW
Inventors: 周岳峰
Original assignee: 開曼群島商創新先進技術有限公司
Priority date: 2018-09-28
Filing date: 2019-07-10
Publication date: 2020-12-11
Also published as: TW202013149A; WO2020063100A1; CN109615703A; CN109615703B

Abstract

本說明書實施例提供一種擴增實境的影像展示方法、裝置及設備，本說明書實施例獲取人物攝影模組所採集的人物影像，利用人物影像中的人眼區域與其所在影像的關係，確定人眼與人物攝影模組的相對位置；並至少基於人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊，確定人眼位置資訊；以人眼位置資訊作為渲染參數中場景攝影模組的位置資訊，並對三維模型進行渲染，獲得投影在顯示螢幕上的投影影像，實現將擴增實境展示內容由攝影模組視角的投影影像更改為人眼視角的投影影像，使投影影像跟隨人眼位置的變更而變更。

Description

擴增實境的影像展示方法、裝置及設備

本說明書涉及影像處理技術領域，尤其涉及擴增實境的影像展示方法、裝置及設備。

擴增實境(Augmented Reality，簡稱AR)，可以是指透過攝影機攝影的位置及角度並加上影像分析技術，讓虛擬世界能夠與實境世界場景進行結合與互動的技術。這種技術可以將真實的環境和虛擬的物件疊加到同一個畫面而同時存在，從而給與使用者超越實境的感官體驗。在AR場景中，可以將相機位置作為渲染參數之一，對由虛擬物件和實境場景所獲得的三維模型進行渲染，獲得投影影像。然而，所展示的投影影像與行動設備的位姿相關，而針對設備靜止且拍攝者運動的情況，設備不能做出相應的回應。

為克服相關技術中存在的問題，本說明書提供了擴增實境的影像展示方法、裝置及設備。根據本說明書實施例的第一態樣，提供一種擴增實境的影像展示方法，所述方法包括：獲取人物攝影模組所採集的人物影像，並利用人物影像中人眼區域與所述人物影像的關係，確定人眼與人物攝影模組的相對位置；至少基於人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊，確定人眼位置資訊；以人眼位置資訊作為渲染參數中場景攝影模組的位置資訊，對三維模型進行渲染，獲得投影在顯示螢幕上的投影影像，所述三維模型基於將虛擬物件與場景攝影模組所掃描實境場景相結合而獲得。在一個實施例中，所述方法應用於電子設備，所述人物攝影模組包括所述電子設備的前置攝影機，所述場景攝影模組包括所述電子設備的後置攝影機。在一個實施例中，所述三維模型的構建步驟包括：利用場景攝影模組所採集的實景影像，對實境場景進行三維重建，獲得場景模型；基於預設疊加策略，將虛擬物件疊加至場景模型，獲得三維模型。在一個實施例中，所述至少基於人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊，確定人眼位置資訊，包括：獲取人物攝影模組和場景攝影模組的相對位置；利用人物攝影模組和場景攝影模組的相對位置，將人眼與人物攝影模組的相對位置，轉換為人眼與場景攝影模組的相對位置；結合人眼與場景攝影模組的相對位置、以及場景攝影模組的位置資訊，計算獲得人眼位置資訊。在一個實施例中，所述方法還包括：在確定人眼位置之前，根據當前所獲得的人眼與人物攝影模組的相對位置，與上一次所獲得的人眼與人物攝影模組的相對位置，判定人眼與人物攝影模組的相對位置發生變更。根據本說明書實施例的第二態樣，提供一種擴增實境的影像展示裝置，所述裝置包括：相對位置確定模組，用於：獲取人物攝影模組所採集的人物影像，並利用人物影像中人眼區域與所述人物影像的關係，確定人眼與人物攝影模組的相對位置；人眼位置確定模組，用於：至少基於人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊，確定人眼位置資訊；影像渲染模組，用於：以人眼位置資訊作為渲染參數中場景攝影模組的位置資訊，對三維模型進行渲染，獲得投影在顯示螢幕上的投影影像，所述三維模型基於將虛擬物件與場景攝影模組所掃描實境場景相結合而獲得。在一個實施例中，所述裝置設於電子設備，所述人物攝影模組包括所述電子設備的前置攝影機，所述場景攝影模組包括所述電子設備的後置攝影機。在一個實施例中，所述裝置還包括三維模型構建模組，用於：利用場景攝影模組所採集的實景影像，對實境場景進行三維重建，獲得場景模型；基於預設疊加策略，將虛擬物件疊加至場景模型，獲得三維模型。在一個實施例中，所述人眼位置確定模組，具體用於：獲取人物攝影模組和場景攝影模組的相對位置；利用人物攝影模組和場景攝影模組的相對位置，將人眼與人物攝影模組的相對位置，轉換為人眼與場景攝影模組的相對位置；結合人眼與場景攝影模組的相對位置、以及場景攝影模組的位置資訊，計算獲得人眼位置資訊。在一個實施例中，所述裝置還包括位置判斷模組，用於：在確定人眼位置之前，根據當前所獲得的人眼與人物攝影模組的相對位置，與上一次所獲得的人眼與人物攝影模組的相對位置，判定人眼與人物攝影模組的相對位置發生變更。根據本說明書實施例的第三態樣，提供一種電腦設備，包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的電腦程序，其中，所述處理器執行所述程序時實現如上述任一項所述方法。本說明書的實施例提供的技術方案可以包括以下有益效果：本說明書實施例獲取人物攝影模組所採集的人物影像，並利用人物影像中人眼區域與所述人物影像的關係，確定人眼與人物攝影模組的相對位置；並至少基於人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊，確定人眼位置資訊；以人眼位置資訊作為渲染參數中場景攝影模組的位置資訊，結合其他渲染參數對三維模型進行渲染，獲得投影在顯示螢幕上的投影影像，實現將擴增實境展示內容由攝影模組視角的投影影像更改為人眼視角的投影影像，使投影影像跟隨人眼位置的變更而變更。應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，並不能限制本說明書。

這裡將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數位表示相同或相似的要素。以下示例性實施例中所描述的實施方式並不代表與本說明書相一致的所有實施方式。相反，它們僅是與如所附申請專利範圍中所詳述的、本說明書的一些態樣相一致的裝置和方法的例子。在本說明書使用的術語是僅僅出於描述特定實施例的目的，而非旨在限制本說明書。在本說明書和所附申請專利範圍中所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式，除非上下文清楚地表示其他含義。還應當理解，本文中使用的術語“及/或”是指並包含一個或多個相關聯的列出項目的任何或所有可能組合。應當理解，儘管在本說明書可能採用術語第一、第二、第三等來描述各種資訊，但這些資訊不應限於這些術語。這些術語僅用來將同一類型的資訊彼此區分開。例如，在不脫離本說明書範圍的情況下，第一資訊也可以被稱為第二資訊，類似地，第二資訊也可以被稱為第一資訊。取決於語境，如在此所使用的詞語“如果”可以被解釋成為“在……時”或“當……時”或“回應於確定”。擴增實境(Augmented Reality，簡稱AR)技術，是一種將真實世界資訊和虛擬世界資訊無縫整合的新技術，該技術可以透過電腦技術，將虛擬的資訊應用到真實世界，真實環境和虛擬物體即時地疊加到了同一個畫面或空間同時存在。 AR技術一種常見的應用場景是，使用者透過手持或佩戴等行動設備中的攝影模組拍攝真實環境，提供AR伺服的軟體可以基於所拍攝的初始影像資料，在初始影像資料上渲染一個或多個虛擬物件。實現上述場景的關鍵在於如何將虛擬物件與實際拍攝的實境場景結合，一態樣，可以提供AR伺服的軟體可以預先配置一個或多個對應虛擬物件的模型，每個虛擬物件的模型規定該虛擬物件對應的狀態演變規則，以決定虛擬物件的不同運動狀態。另一態樣，軟體還可以根據設備所拍攝的影像資料，確定虛擬物件在實境場景中的位置，進而確定虛擬物件渲染到影像資料上的哪個位置，在成功渲染後，使用者即可觀看到基於真實環境疊加有虛擬物件的畫面。然而，對由虛擬物件和實境場景所構建的三維模型進行渲染時，是以攝影模組的視角進行渲染。增強顯示方案依賴設備的陀螺儀、加速度及重力感應器來感知設備角度變化。因此，如果攝影模組沒有行動而拍攝者/觀看者行動的情況，成像影像不會做出相應的回應，代入感和立體感較差。舉例來說，如圖1所示，是本說明書根據一示例性實施例提供的一種AR場景拍攝示意圖。圖1中以虛擬物件為小狗、AR系統採用普通顯示器顯示為例進行示例，在該情況下，使用者無需穿戴任何顯示設備即可從顯示螢幕中看到真實環境與虛擬物件的融合效果。拍攝者/觀看者利用手機後置攝影機拍攝實境場景，在手機螢幕中展示包括小狗的投影影像。然而，拍攝者/觀看者保持手機不動而眼睛與手機的相對位置發生改變時，手機螢幕所展示畫面不會有任何改變。鑒於此，本說明書提供一種擴增實境的影像展示方法，透過將設備的擴增實境展示內容由攝影機視角的複合影像改為人眼視角的複合影像，從而使得展示的影像更接近人眼視角的效果，增強立體感和代入感。其中，攝影模組之所以能攝影成像，主要是靠鏡頭將被攝體結成影像投在攝影管或固體攝影裝置的成像面上。攝影機鏡頭能涵蓋多大範圍的景物，通常以角度來表示，該角度可以稱為鏡頭的視角。本說明書實施例所指人眼視角，並非指人眼所能看到的全部視角，而可以是透過顯示螢幕所能看到的視角。以下結合附圖對本說明書實施例進行示例說明。如圖2所示，是本說明書根據一示例性實施例示出的一種擴增實境的影像展示方法的流程圖，所述方法包括：在步驟202中，獲取人物攝影模組所採集的人物影像，並利用人物影像中人眼區域與所述人物影像的關係，確定人眼與人物攝影模組的相對位置；在步驟204中，至少基於人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊，確定人眼位置資訊；在步驟206中，以人眼位置資訊作為渲染參數中場景攝影模組的位置資訊，對三維模型進行渲染，獲得投影在顯示螢幕上的投影影像，所述三維模型基於將虛擬物件與場景攝影模組所掃描實境場景相結合而獲得。在本說明書實施例中，人物攝影模組和場景攝影模組是不同的拍攝模組，兩個拍攝模組的拍攝區域不同。在一個例子中，人物攝影模組和場景攝影模組的攝影方向相反，人物攝影模組的攝影機與顯示螢幕在電子設備的同一面，甚至人物攝影模組的攝影機鏡面與顯示螢幕在同一平面，進一步的，兩個攝影模組設於同一電子設備。例如，實際應用中，由於由後置攝影機採集的影像相比於由前置攝影機採集的影像清晰度高，拍攝者/觀看者往往習慣用後置攝影機拍攝實境場景，同時，前置攝影機的鏡面與顯示螢幕在同一平面。因此，人物攝影模組可以是前置攝影機，場景攝影模組可以是後置攝影機，從而實現利用後置攝影機進行擴增實境態樣的應用，並利用前置攝影機輔助AR增強。可以理解的是，人物拍攝模組和場景拍攝模組都是拍攝模組，只是為了區分不同拍攝模組，而進行不同的命名。在其他例子中，某些終端可能正面和反面均具有顯示螢幕，因此可以將後置攝影機作為人物攝影模組，將前置攝影機作為場景攝影模組；又或者，人物攝影模組與場景攝影模組為設置於不同設備上的拍攝模組等。人眼位置資訊是用於表示拍攝者/觀看者人眼在空間的位置，可以是人眼在世界座標系或場景攝影模組座標系下的三維座標。步驟202和步驟204介紹如何確定人眼位置資訊。作為一種應用實例，可以先確定人眼與人物攝影模組的相對位置，再根據人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊，確定人眼位置資訊。關於步驟202，人物攝影模組可以採集人物影像，特別是在人物拍攝模組所能拍攝範圍內的攝影者的影像。人眼與人物攝影模組的相對位置，可以是相對位姿，包括相對距離和相對方向。在一個例子中，相對位置可以利用帶方向的向量表示。人眼與人物攝影模組的相對位置，可以利用人臉檢測算法對人物影像進行人臉檢測而獲得。例如，可以先檢測人物影像中人臉區域，進而根據人眼與人臉的關係從人臉區域中確定人眼區域，根據人眼區域與影像的關係，確定人眼與人物攝影模組的相對位置。在一個實施例中，可以利用深度學習訓練模型來確定人眼與人物攝影模組的相對位置。例如，可以以標注有人眼與攝影模組的相對位置的人物影像構建訓練樣本，利用訓練樣本對預設初始模型進行訓練，獲得用於檢測人眼與攝影模組的相對位置的檢測模型。在應用階段，利用檢測模型對待檢測影像進行檢測，獲得人眼與攝影模組的相對位置。可以理解的是，在其他例子中，每組訓練樣本中還可以包括其他有助於提高相對位置檢測結果的樣本特徵，例如，人臉區域框等。另外，也可以採用其他方式，透過對人物影像的識別，獲得人眼與人物攝影模組的相對位置，在此不一一贅述。關於步驟204，場景攝影模組的位置資訊用於表示場景攝影模組在空間的位置，可以是場景攝影模組在世界座標系或場景攝影模組座標系下的三維空間座標，例如，場景攝影模組的位置資訊可以在對場景攝影模組進行相機標定時獲得。可以理解的是，人眼位置和場景攝影模組的位置，是在同一座標系的座標。在影像測量過程以及機器視覺應用中，為確定空間物體表面某點的三維幾何位置與其在影像中對應點之間的相互關係，可以建立攝影機成像的幾何模型，幾何模型參數即攝影機參數。攝影機參數可以包括內參、外參、畸變參數等。實際應用中，可以採用相關技術中的標定方法對攝影機進行標定，例如，線性標定法、非線性最佳化標定法、Tsai的經典兩步標定法等，在此不做限制。在獲得人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊後，可以至少基於人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊，確定人眼位置資訊。在某些應用場景中，人物攝影模組的設置位置和場景攝影模組的設置位置較近，可以忽略兩模組間的相對位置。特別是針對人物攝影模組與場景攝影模組背對設置的情況，可以忽略兩模組間的相對位置，因此，可以直接根據人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊，確定人眼位置資訊。例如，假設後置攝影機在場景中的位置是X，人眼相對於前置攝影機的位置是Y，則人眼位置可以是X+Y，朝向可以為-Y。在某些應用場景中，為了提高人眼位置資訊的準確性，還可以結合人物攝影模組和場景攝影模組的相對位置來確定人眼位置資訊。針對人物攝影模組和場景攝影模組設置在同一設備的情況，人物攝影模組和場景攝影模組的相對位置是固定的，可以基於其所在設備的設備資訊而確定。相應的，所述至少基於人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊，確定人眼位置資訊，可以包括：獲取人物攝影模組和場景攝影模組的相對位置；利用人物攝影模組和場景攝影模組的相對位置，將人眼與人物攝影模組的相對位置，轉換為人眼與場景攝影模組的相對位置；結合人眼與場景攝影模組的相對位置、以及場景攝影模組的位置資訊，計算獲得人眼位置資訊。可見，在該實施例中，透過人物攝影模組和場景攝影模組的相對位置，可以獲得人眼與場景攝影模組的相對位置，從而提高人眼位置資訊的準確性。本說明書實施例欲透過人眼視角替換攝影機視角，從而以人眼視角動態渲染背景場景(實境場景)和虛擬物件，增強立體感和代入感。因此，以人眼位置資訊作為渲染參數中場景攝影模組的位置資訊，對三維模型進行渲染，獲得投影在顯示螢幕上的投影影像，所述三維模型基於將虛擬物件與場景攝影模組所掃描實境場景相結合而獲得，渲染參數是對三維模型進行渲染時所需參數。在對模型進行渲染獲得投影影像時，最主要的渲染參數包括相機位置和投影面資訊，而本實施例主要調整渲染參數中的相機位置，實現將相機視角調整為人眼視角。為此，在該實施例中，可以人眼位置資訊作為渲染參數中場景攝影模組的位置資訊，以實現用人眼視角替換場景攝影模組的視角，利用調整後的渲染參數對三維模型進行渲染，可以獲得投影在顯示螢幕上的投影影像。其中，渲染參數中的投影面資訊可以根據顯示螢幕資訊而定。此外，渲染參數還包括渲染時所需的其他參數，例如光照參數等，在此不一一列舉。在該實施例中，可以透過人眼位置調整渲染參數，將渲染參數和三維模型輸入渲染模組，由渲染模組渲染出投影影像。在AR系統的傳統流程中，可以從真實世界出發，經過數位成像，然後系統透過影像資料和感測器資料一起對三維世界進行感知理解，同時得到對三維互動的理解。3D互動理解的目的是告知系統要“增強”的內容。3D環境理解的目的就是告知系統要“增強”的位置。一旦系統確定了要增強的內容和位置以後，就可以進行虛實結合，即透過渲染模組完成。最後，合成的視訊被傳遞到使用者的視覺系統中，就達到了擴增實境的效果。而本說明書的三維模型，可以是基於將虛擬物件與場景攝影模組所掃描顯示場景相結合而獲得的模型。三維模型基於場景建模和虛擬物件疊加而獲得。以下列舉其中一種三維模型構建方法，在該實施例中，三維模型的構建步驟可以包括：利用場景攝影模組所採集的實景影像，對實境場景進行三維重建，獲得場景模型；基於預設疊加策略，將虛擬物件疊加至場景模型，獲得三維模型。其中，所述場景模型又稱為空間模型，包括但不限於用於實現擴增實境的初始化場景模型。在本說明書實施例中可以透過對實境場景進行三維重建，獲得場景模型。三維重建(3D Reconstruction)是從輸入資料中建立實境場景中物體的3D模型。基於視覺的三維重建，可以指透過攝影機獲取場景物體的資料影像，並對此影像進行分析處理，再結合電腦視覺知識推導出實境環境中物體的三維資訊。在一個實施例中，可以以二維影像作為輸入，重建出場景中的三維場景模型。透過對物體的不同角度拍攝的RGB影像，使用相關的電腦圖形學和視覺技術，便可以重建出該物體的三維模型。而隨著深度相機的出現，在另一個實施例中，場景攝影模組可以是深度相機。對於實境場景中的點，深度相機掃描得到的每一幀資料不僅包括場景中的點的彩色RGB影像，還可以包括每個點到深度相機所在的垂直平面的距離值。該距離值可以被稱為深度值(depth)，而深度值共同組成這一幀的深度影像。深度影像可以理解為一副灰階影像，其中影像中每個點的灰階值代表該點的深度值，即該點在實境中的位置到相機所在垂直平面的真實距離。因此，可以深度相機採集的RGB影像和深度影像作為輸入，重建場景中的三維場景模型。在三維重建過程中，可以涉及影像獲取、攝影機標定、特徵提取、立體匹配、三維重建等過程。由於三維重建技術是一種較為成熟的現有技術，此處不再贅述。例如，可以採用即時定位與地圖構建(SLAM，simultaneous localization and mapping)等方法實現對實境場景的三維重建。在獲得場景模型後，可以基於預設疊加策略，篩選出虛擬物件，並定位虛擬物件所需疊加的位置，從而將虛擬物件疊加至場景模型，進而獲得三維模型。預設疊加策略可以是確定待增強的內容和位置的策略，在此不做限制。由上述實施例可見，在使用場景攝影模組進行擴增實境應用的同時，使用人物攝影模組對人眼進行定位，從而以人眼視角動態渲染實境場景和虛擬物件，可以在人眼與攝影模組位置發生變更時，所展示的投影影像做出相適應的回應，增強立體感和代入感。在一個實施例中，在確定人眼位置之前，根據當前所獲得的人眼與人物攝影模組的相對位置，與上一次所獲得的人眼與人物攝影模組的相對位置，判定人眼與人物攝影模組的相對位置發生變更。從而實現在人眼與人物攝影模組的相對位置發生變更時，執行步驟204和206，而在人眼與人物攝影模組的相對位置未發生變更時，不執行步驟204和206，從而避免即時計算導致的資源浪費。以上實施方式中的各種技術特徵可以任意進行組合，只要特徵之間的組合不存在衝突或矛盾，但是限於篇幅，未進行一一描述，因此上述實施方式中的各種技術特徵的任意進行組合也屬本說明書公開的範圍。以下以其中一種組合進行示例說明。如圖3A所示，是本說明書根據一示例性實施例示出的另一種擴增實境的影像展示方法的流程圖。所述方法可以應用於行動設備中，將行動設備的擴增實境展示內容由攝影機視角的複合影像改為人眼視角的複合影像。所述方法可以包括：在步驟302中，透過後置攝影機採集的影像進行設備背面場景的三維重建，並疊加虛擬物件，獲得三維模型。在步驟304中，透過前置攝影機採集的影像，使用人臉檢測算法檢測到使用者的人眼位置。在步驟306中，透過人眼的位置，重新計算重建的三維場景在設備螢幕上的投影以及虛擬物件在設備螢幕位置的投影，並獲得投影影像。在步驟308中，將投影影像展示在設備螢幕上。圖3A中與圖2中相關技術相似，在此不一一贅述。為了方便理解，還結合附圖3B對本實施例中虛擬物件的顯示位置與現有技術中虛擬物件顯示位置進行對比說明。後置攝影機的視角往往大於人眼透過螢幕框所能看到的景物的視角(簡稱人眼視角)，因此，攝影機視角下虛擬物件的遮擋區大於人眼視角下虛擬物件的遮擋區。圖中32表示利用本實施例方案後，虛擬物件在螢幕中的顯示位置，34表示利用現有技術方案後，虛擬物件在螢幕中的顯示位置。本實施例透過前置攝影機對人眼位置的判斷來調節顯示內容，使得顯示場景更接近人眼視角的效果，代入感和立體感更強。使用三維場景重建來對背景建模，可以更好的回應人眼位置的變化而顯示不同角度的背景。同時，使用三維場景重建的方式可以對設備靜止而背景運動的場景做出更恰當的回應。與前述擴增實境的影像展示方法的實施例相對應，本說明書還提供了擴增實境的影像展示裝置及其所應用的電子設備的實施例。本說明書擴增實境的影像展示裝置的實施例可以應用在電腦設備。裝置實施例可以透過軟體實現，也可以透過硬體或者軟硬體結合的方式實現。以軟體實現為例，作為一個邏輯意義上的裝置，是透過其所在電腦設備的處理器將非揮發性記憶體中對應的電腦程序指令讀取到內部記憶體中運行形成的。從硬體層面而言，如圖4所示，為本說明書擴增實境的影像展示裝置所在電腦設備的一種硬體結構圖，除了圖4所示的處理器410、網路介面420、內部記憶體430、以及非揮發性記憶體440之外，實施例中擴增實境的影像展示裝置431所在的電腦設備通常根據該設備的實際功能，還可以包括其他硬體，對此不再贅述。如圖5所示，是本說明書根據一示例性實施例示出的一種擴增實境的影像展示裝置的方塊圖，所述裝置包括：相對位置確定模組52，用於：獲取人物攝影模組所採集的人物影像，並利用人物影像中人眼區域與所述人物影像的關係，確定人眼與人物攝影模組的相對位置；人眼位置確定模組54，用於：至少基於人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊，確定人眼位置資訊；影像渲染模組56，用於：以人眼位置資訊作為渲染參數中場景攝影模組的位置資訊，對三維模型進行渲染，獲得投影在顯示螢幕上的投影影像，所述三維模型基於將虛擬物件與場景攝影模組所掃描實境場景相結合而獲得。在一個實施例中，所述裝置設於電子設備，所述人物攝影模組包括所述電子設備的前置攝影機，所述場景攝影模組包括所述電子設備的後置攝影機。在一個實施例中，所述裝置還包括三維模型構建模組(圖5未示出)，用於：利用場景攝影模組所採集的實景影像，對實境場景進行三維重建，獲得場景模型；基於預設疊加策略，將虛擬物件疊加至場景模型，獲得三維模型。在一個實施例中，所述人眼位置確定模組，具體用於：獲取人物攝影模組和場景攝影模組的相對位置；利用人物攝影模組和場景攝影模組的相對位置，將人眼與人物攝影模組的相對位置，轉換為人眼與場景攝影模組的相對位置；結合人眼與場景攝影模組的相對位置、以及場景攝影模組的位置資訊，計算獲得人眼位置資訊。在一個實施例中，所述裝置還包括位置判斷模組(圖5未示出)，用於：在確定人眼位置之前，根據當前所獲得的人眼與人物攝影模組的相對位置，與上一次所獲得的人眼與人物攝影模組的相對位置，判定人眼與人物攝影模組的相對位置發生變更。對於裝置實施例而言，由於其基本對應於方法實施例，所以相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的模組可以是或者也可以不是實體上分開的，作為模組顯示的部件可以是或者也可以不是實體模組，即可以位於一個地方，或者也可以分佈到多個網路模組上。可以根據實際的需要選擇其中的部分或者全部模組來實現本說明書方案的目的。本領域普通技術人員在不付出進步性勞動的情況下，即可以理解並實施。相應的，本說明書實施例還提供一種電腦設備，包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的電腦程序，其中，所述處理器執行所述程序時實現如下方法：獲取人物攝影模組所採集的人物影像，並利用人物影像中人眼區域與所述人物影像的關係，確定人眼與人物攝影模組的相對位置；至少基於人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊，確定人眼位置資訊；以人眼位置資訊作為渲染參數中場景攝影模組的位置資訊，對三維模型進行渲染，獲得投影在顯示螢幕上的投影影像，所述三維模型基於將虛擬物件與場景攝影模組所掃描實境場景相結合而獲得。本說明書中的各個實施例均採用漸進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於設備實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。一種電腦儲存媒體，所述儲存媒體中儲存有程序指令，所述程序指令包括：獲取人物攝影模組所採集的人物影像，並利用人物影像中人眼區域與所述人物影像的關係，確定人眼與人物攝影模組的相對位置；至少基於人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊，確定人眼位置資訊；以人眼位置資訊作為渲染參數中場景攝影模組的位置資訊，對三維模型進行渲染，獲得投影在顯示螢幕上的投影影像，所述三維模型基於將虛擬物件與場景攝影模組所掃描實境場景相結合而獲得。本說明書實施例可採用在一個或多個其中包含有程式碼的儲存媒體(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程序產品的形式。電腦可用儲存媒體包括永久性和非永久性、可行動和非可行動媒體，可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程序的模組或其他資料。電腦的儲存媒體的例子包括但不限於：相變內部記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可抹除可編程唯讀記憶體(EEPROM)、快閃記憶體或其他內部記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁卡式磁帶，磁帶式磁碟儲存器磁碟或其他磁性儲存設備或任何其他非傳輸媒體，可用於儲存可以被電腦設備存取的資訊。本領域技術人員在考慮說明書及實踐這裡申請的發明後，將容易想到本說明書的其它實施方案。本說明書旨在涵蓋本說明書的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本說明書的一般性原理並包括本說明書未申請的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本說明書的真正範圍和精神由下面的權利要求指出。應當理解的是，本說明書並不局限於上面已經描述並在附圖中示出的精確結構，並且可以在不脫離其範圍進行各種修改和改變。本說明書的範圍僅由所附的權利要求來限制。以上所述僅為本說明書的較佳實施例而已，並不用以限制本說明書，凡在本說明書的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本說明書保護的範圍之內。

202:步驟 204:步驟 206:步驟 302:步驟 304:步驟 306:步驟 308:步驟 32:顯示位置 34:顯示位置 410:處理器 420:網路介面 430:內部記憶體 431:擴增實境的影像展示裝置 440:非揮發性記憶體 52:相對位置確定模組 54:人眼位置確定模組 56:影像渲染模組

此處的附圖被併入說明書中並構成本說明書的一部分，示出了符合本說明書的實施例，並與說明書一起用於解釋本說明書的原理。圖1是本說明書根據一示例性實施例提供的一種AR場景拍攝示意圖。圖2是本說明書根據一示例性實施例示出的一種擴增實境的影像展示方法的流程圖。圖3A是本說明書根據一示例性實施例示出的另一種擴增實境的影像展示方法的流程圖。圖3B是本說明書根據一示例性實施例示出一種虛擬物件顯示位置對比示意圖。圖4是本說明書根據一示例性實施例示出的一種擴增實境的影像展示裝置所在電腦設備的一種硬體結構圖。圖5是本說明書根據一示例性實施例示出的一種擴增實境的影像展示裝置的方塊圖。

Claims

一種擴增實境的影像展示方法，所述方法包括：獲取人物攝影模組所採集的人物影像，並利用人物影像中人眼區域與所述人物影像的關係，確定人眼與人物攝影模組的相對位置；至少基於人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊，確定人眼位置資訊；以人眼位置資訊作為渲染參數中場景攝影模組的位置資訊，對三維模型進行渲染，獲得投影在顯示螢幕上的投影影像，所述三維模型基於將虛擬物件與場景攝影模組所掃描實境場景相結合而獲得。
根據請求項1所述的方法，所述方法應用於電子設備，所述人物攝影模組包括所述電子設備的前置攝影機，所述場景攝影模組包括所述電子設備的後置攝影機。
根據請求項1所述的方法，所述三維模型的構建步驟包括：利用場景攝影模組所採集的實景影像，對實境場景進行三維重建，獲得場景模型；基於預設疊加策略，將虛擬物件疊加至場景模型，獲得三維模型。
根據請求項1至3任一項所述的方法，所述至少基於人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊，確定人眼位置資訊，包括：獲取人物攝影模組和場景攝影模組的相對位置；利用人物攝影模組和場景攝影模組的相對位置，將人眼與人物攝影模組的相對位置，轉換為人眼與場景攝影模組的相對位置；結合人眼與場景攝影模組的相對位置、以及場景攝影模組的位置資訊，計算獲得人眼位置資訊。
根據請求項1至3任一項所述的方法，所述方法還包括：在確定人眼位置之前，根據當前所獲得的人眼與人物攝影模組的相對位置，與上一次所獲得的人眼與人物攝影模組的相對位置，判定人眼與人物攝影模組的相對位置發生變更。
一種擴增實境的影像展示裝置，所述裝置包括：相對位置確定模組，用於：獲取人物攝影模組所採集的人物影像，並利用人物影像中人眼區域與所述人物影像的關係，確定人眼與人物攝影模組的相對位置；人眼位置確定模組，用於：至少基於人眼與人物攝影模組的相對位置、以及場景攝影模組的位置資訊，確定人眼位置資訊；影像渲染模組，用於：以人眼位置資訊作為渲染參數中場景攝影模組的位置資訊，對三維模型進行渲染，獲得投影在顯示螢幕上的投影影像，所述三維模型基於將虛擬物件與場景攝影模組所掃描實境場景相結合而獲得。
根據請求項6所述的裝置，所述裝置設於電子設備，所述人物攝影模組包括所述電子設備的前置攝影機，所述場景攝影模組包括所述電子設備的後置攝影機。
根據請求項6所述的裝置，所述裝置還包括三維模型構建模組，用於：利用場景攝影模組所採集的實景影像，對實境場景進行三維重建，獲得場景模型；基於預設疊加策略，將虛擬物件疊加至場景模型，獲得三維模型。
根據請求項6至8任一項所述的裝置，所述人眼位置確定模組，具體用於：獲取人物攝影模組和場景攝影模組的相對位置；利用人物攝影模組和場景攝影模組的相對位置，將人眼與人物攝影模組的相對位置，轉換為人眼與場景攝影模組的相對位置；結合人眼與場景攝影模組的相對位置、以及場景攝影模組的位置資訊，計算獲得人眼位置資訊。
根據請求項6至8任一項所述的裝置，所述裝置還包括位置判斷模組，用於：在確定人眼位置之前，根據當前所獲得的人眼與人物攝影模組的相對位置，與上一次所獲得的人眼與人物攝影模組的相對位置，判定人眼與人物攝影模組的相對位置發生變更。
一種電腦設備，包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的電腦程序，其中，所述處理器執行所述程序時實現如請求項1至5任一項所述方法。