TWI506563B - A method and apparatus for enhancing reality of two - dimensional code - Google Patents

A method and apparatus for enhancing reality of two - dimensional code Download PDF

Info

Publication number
TWI506563B
TWI506563B TW102132889A TW102132889A TWI506563B TW I506563 B TWI506563 B TW I506563B TW 102132889 A TW102132889 A TW 102132889A TW 102132889 A TW102132889 A TW 102132889A TW I506563 B TWI506563 B TW I506563B
Authority
TW
Taiwan
Prior art keywords
dimensional code
video frame
frame image
augmented reality
captured video
Prior art date
Application number
TW102132889A
Other languages
English (en)
Other versions
TW201430714A (zh
Inventor
hai-long Liu
Original Assignee
Tencent Tech Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201310031075.1A external-priority patent/CN103971079B/zh
Application filed by Tencent Tech Shenzhen Co Ltd filed Critical Tencent Tech Shenzhen Co Ltd
Publication of TW201430714A publication Critical patent/TW201430714A/zh
Application granted granted Critical
Publication of TWI506563B publication Critical patent/TWI506563B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

一種二維碼的增強現實實現方法和裝置
本發明實施方式涉及二維碼技術領域，更具體地，涉及一種二維碼的增強現實實現方法和裝置。
隨著社會的進步與資訊***時代的來臨，人們越來越多地依靠各式各樣的消費電子設備(如移動終端、個人數位助理(PDA)等)來獲取各種資訊。比如：打電話與別人溝通，流覽網頁獲取新聞和查看電子郵件等。目前廣泛應用的人機對話模式包括依靠傳統的鍵盤滑鼠等硬體設備，以及近幾年逐漸流行起來的觸控式螢幕等。
人們對於現存的人機對話模式並不滿足，人們期望新一代的人機交互能像人與人交互一樣自然、準確和快捷。於是在20世紀90年代人機交互的研究進到了多模態階段，稱為人機自然交互(Human-Computer Nature Interaction,HCNI或Human-Machine Nature Interaction,HMNI)。
虛擬實境(Virtual Reality，VR)技術是利用電腦模擬產生一個三維空間的虛擬世界，提供使用者關於視覺、聽覺、觸覺等感官的模擬，讓使用者如同身歷其境一般，可以及時、沒有限制地觀察三維空間內的事物，並與虛擬世界中的元素進行交互。虛擬實境技術具有超越現實 的虛擬性。它是伴隨多媒體技術發展起來的電腦新技術，它利用三維圖形生成技術、多傳感交互技術以及高解析度顯示技術，生成三維逼真的虛擬環境。
增強現實(Augmented Reality，AR)是在虛擬實境的基礎上發展起來的新技術，也被稱之為混合現實。增強現實是通過電腦系統提供的資訊增加使用者對現實世界感知的技術，將虛擬的資訊應用到真實世界，並將電腦生成的虛擬物體、場景或系統提示資訊疊加到真實場景中，從而實現對現實的增強。
隨著二維碼技術的普及，近年來也出現了一些用於二維碼的增強現實方法。當前已有的二維碼增強現實方法主要基於開源二維碼識別庫，其優點是實現簡單，定位準確，缺點是一方面二維碼檢測與識別演算法混合在一起，速度非常慢；另一方面針對每一幀都需要檢測與識別，檢測成功率很低，而且無法達到移動終端的即時要求。
本發明實施方式提出一種二維碼的增強現實實現方法，以提高二維碼運算速度。
本發明實施方式還提出一種二維碼的增強現實實現裝置，以提高二維碼運算速度。
本發明實施方式的技術方案如下：一種二維碼的增強現實實現方法，該方法包括：在攝像視頻幀影像中檢測二維碼以獲取二維碼輪廓； 識別該檢測出二維碼輪廓的二維碼以獲取二維碼的內容資訊，並跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀影像中的位置資訊；根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，對該二維碼執行增強現實處理。
一種二維碼的增強現實實現裝置，該裝置包括：二維碼檢測單元、識別跟蹤單元和增強現實單元，其中：二維碼檢測單元，用於在攝像視頻幀影像中檢測二維碼以獲取二維碼輪廓；識別跟蹤單元，用於識別該檢測出二維碼輪廓的二維碼以獲取二維碼的內容資訊，並跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀影像中的位置資訊；增強現實單元，用於根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，對該二維碼執行增強現實處理。
從上述技術方案可以看出，在本發明實施方式中，在攝像視頻幀影像中檢測二維碼以獲取二維碼輪廓；識別該檢測出二維碼輪廓的二維碼以獲取二維碼的內容資訊，並跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀影像中的位置資訊；根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，對該二維碼執行增強現實處理。由此可見，應用本發明實施方式之後，將二維碼檢測與識別過程進行分離，對於檢測能夠得到二 維碼的情形才進行二維碼的識別，減少了運算較慢的二維碼識別處理。
而且，本發明實施方式將二維碼檢測與跟蹤過程進行分離，對於檢測能夠得到二維碼輪廓的二維碼才進行特徵點的跟蹤，在跟蹤丟失滿足一定條件後再重啟檢測，通過這一方法減少了運算較慢和檢出成功率較低的二維碼檢測過程的執行次數，提高了二維碼運算的速度，並且提高了二維碼位置獲取的穩定性與連續性。
901‧‧‧二維碼檢測單元
902‧‧‧識別跟蹤單元
903‧‧‧增強現實單元
為了更清楚地說明本發明實施例的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。
圖1為根據本發明實施方式二維碼的增強現實實現方法流程圖；圖2為根據本發明實施方式二維碼的增強現實實現方法的示範性流程圖；圖3為根據本發明實施方式QR二維碼錨點示意圖；圖4為根據本發明實施方式QR二維碼錨點特徵示意圖；圖5為根據本發明實施方式二維碼檢測方法流程圖；圖6為根據本發明實施方式QR二維碼橫向和縱向特徵掃描示意圖；圖7為根據本發明實施方式二維碼檢測和跟蹤流程圖； 圖8為根據本發明實施方式二維碼跟蹤的示範性流程圖；圖9為根據本發明實施方式二維碼的增強現實實現裝置結構圖。
為使本發明的目的、技術方案和優點更加清楚，下面結合附圖對本發明作進一步的詳細描述。
在現有技術中，利用增強現實技術的展示系統主要包括兩種方案，分別是用於特定標誌的增強現實方法和用於自然圖片的增強現實方法。
在用於特定標誌的增強現實方法中，已經具有使用自訂的黑白標識碼進行定位的技術，例如常用的有由華盛頓大學HIT實驗室開發的ARToolKit增強現實開源庫所用的BCH碼、同心圓標誌等。此類方案標識碼簡單，檢測演算法簡單，用戶端運行速度較快，同時識別演算法由於不需要大量特徵庫的支援，通常可以放入用戶端。但是此類方案的缺點是通常標識碼本身比較固定簡單，信息量少，同時標識碼格式不通用難以普及。比如，現有技術中對於類似BCH碼等特定標記的增強現實演算法(例如ARToolKit所使用的BCH碼)，總共可以表現0-4095共4096個數位，無法表示更多數位內容，也無法表現文本等更豐富的資訊，而更多的自訂特定標記表現的信息量則更少。
在現有技術中近些年非常流行的一種增強現實方法是用於自然圖片的增強現實方法。這種方法不用採用特定的標誌只需把自然平面圖片作為標誌進行定位即 可。此類方法通常使用關鍵點檢測的方式(例如SIFT、SURF、FAST等等關鍵點檢測演算法)和局部特徵描述子(例如SIFT、SURF、BRIEF等等局部特徵描述子)。對於匹配的特徵點最後還需要採用幾何驗證(例如RANSAC和PROSAC等幾何驗證演算法)獲得其單應矩陣。因此其前端檢測演算法非常複雜，很難做到即時。同時更重要的是其識別需要離線訓練好特徵資料庫，而訓練和識別演算法執行時間非常長，同時對於海量圖片必須在伺服器端建立索引資料庫，因此識別演算法無法放入用戶端，使得對於多目標的增強現實方式無法實現。
隨著二維碼技術的普及，近年來也出現了一些用於二維碼的增強現實方法。當前已有的二維碼增強現實方法基於ZBar、ZXing等開源二維碼識別庫，其優點是實現簡單，定位準確，但是缺點是一方面檢測與識別演算法混合在一起，速度非常慢；另一方面每一幀都需要檢測與識別，檢測成功率很低同時無法達到各種移動設備即時的要求。
傳統QR二維碼識別演算法運算速度較慢無法達到移動設備即時性的要求。具體地，傳統的QR二維碼識別演算法(例如ZBar、ZXing等)可以達到在PC上接近即時的速度，但是在移動設備上每秒只能處理1-2幀，無法達到即時性的要求(每秒處理25幀)，因此把傳統的QR二維碼識別庫用於增強現實技術無法實現即時定位和即時顯示的效果。這主要是由於兩點原因造成：一個是傳統的QR二維碼識別演算法識別與檢測模組耦合，而瓶頸主要在 識別部分；另一個是傳統的QR二維碼識別演算法不具備QR二維碼的跟蹤模組，因此無法實現即時跟蹤QR二維碼的位置。
針對上述現有技術缺陷，本發明實施方式提出了一種二維碼的增強現實實現方法。
首先，對本發明實施方式的相應描述中可能出現的相應詞語進行說明。攝像視頻幀影像：特指從攝像頭所獲得的視頻的每一幀中得到的影像資料；起始攝像灰度幀：特指在跟蹤啟動時的第一個攝像視頻幀影像進行灰度轉換後得到的灰度影像；當前攝像灰度幀：特指對當前攝像視頻幀影像進行灰度轉換後得到的灰度影像：前一攝像灰度幀：特指對上一攝像視頻幀影像進行灰度轉換後得到的灰度影像；顯示視頻幀影像：特指從作為顯示素材疊加到攝像視頻幀影像上的顯示視頻中的每一幀上所得到的影像資料；原始二維碼影像：特指沒有任何變換的原始二維碼正向影像；攝像二維碼影像：特指從攝像頭中所獲得的攝像視頻幀影像中包含的二維碼影像的部分。
圖1為根據本發明實施方式的二維碼的增強現實實現方法流程圖。
如圖1所示，該方法包括：步驟101：在攝像視頻幀影像中檢測二維碼以獲取二維碼輪廓。
在這裡，攝像視頻幀影像為攝像頭所獲得的視頻的每一幀中得到的影像資料。
在一個實施方式中，二維碼具體為快速反應 (QR)二維碼。
在一個實施方式中，步驟101所述在攝像視頻幀影像中檢測二維碼以獲取二維碼輪廓可以包括：將該攝像視頻幀影像轉換為灰度影像，並將所述灰度影像轉換為二值影像；針對該二值影像執行橫向錨點特徵掃描和縱向錨點特徵掃描，獲得橫向錨點特徵線和縱向錨點特徵線；計算所述橫向錨點特徵線和縱向錨點特徵線的交點，以獲得QR二維碼的錨點位置；根據計算出的QR二維碼的錨點位置，獲取該QR二維碼輪廓。
在一個實施方式中，該方法可以進一步包括：當在攝像視頻幀影像中沒有檢測到二維碼時，針對該攝像視頻幀影像執行降採樣處理，並在執行降採樣處理後的攝像視頻幀影像中再次檢測二維碼。
步驟102：識別該檢測出二維碼輪廓的二維碼以獲取二維碼的內容資訊，並跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀影像中的位置資訊。
在一個實施方式中，二維碼具體為快速反應(QR)二維碼。此時，步驟102所述跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀影像中的位置資訊包括：根據二維碼輪廓獲取對應的起始攝像視頻灰度幀，並在該二維碼輪廓內計算起始跟蹤點集合；當起始跟蹤點集合數大於預先設定的門限值時，獲取當前攝像視頻灰度幀、前一跟蹤點集合和前一攝像視頻灰度幀；將當前攝像視頻灰度幀、前一跟蹤點集合和前一攝像視頻灰度幀作為參數應用光流跟蹤方式，以獲取當前攝像視頻幀影像 所跟蹤到的當前跟蹤點集合；根據起始跟蹤點集合和當前跟蹤點集合中對應的點對，計算出單應矩陣。
優選地，在獲取當前攝像視頻幀影像所跟蹤到的當前跟蹤點集合之後，當判定該當前跟蹤點集合多於初始跟蹤點集合的預先設定比例時，進一步判斷當前已經跟蹤的攝像視頻幀影像數是否大於預先設定的門限值，如果不是則根據起始跟蹤點集合和當前跟蹤點集合中對應的點對，計算出單應矩陣。
步驟103：根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，對該二維碼執行增強現實處理。
在這裡，可以根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，在該二維碼的位置顯示平面視頻。其中，在該二維碼的位置顯示平面視頻具體可以包括：將顯示視頻幀影像大小轉化為原始二維碼影像大小；對於顯示視頻幀影像，按照二維碼在攝像視頻幀影像中的位置資訊進行變換，並將變換後的顯示視頻幀影像疊加到攝像視頻幀影像中。
可選地，可以根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，在該二維碼的位置顯示立體3D模型。其中在該二維碼的位置顯示3D模型可以包括：計算3D模型的世界座標到投影螢屏平面座標的變換矩陣；應用該變換矩陣，按照二維碼在攝像視頻幀影像中的位置資訊，將3D模型疊加到攝像視頻幀影像中。
本發明實施方式所提出的演算法流程在功能 上可以分為三大模組，分別為檢測跟蹤模組、資訊識別模組和資訊顯示模組。在檢測跟蹤模組中，包含二維碼檢測、二維碼跟蹤和位置資訊獲取的功能實現。在資訊識別模組中，包含二維碼識別和內容資訊獲取的功能實現。在資訊顯示模組中主要包含增強現實顯示內容的功能實現。
基於上述分析，圖2為根據本發明實施方式二維碼的增強現實實現方法的示範性流程圖。
如圖2所示，該方法包括：步驟201：在攝像視頻幀影像中檢測二維碼，其中攝像視頻幀影像為攝像頭所獲得的視頻的每一幀中得到的影像資料。
步驟202：判斷是否檢測到二維碼，如果是，則執行步驟209及其後續步驟，並且同時執行步驟203及其後續步驟，如果沒有，則返回執行步驟201。也就是說，如果判定檢測到二維碼，則同時執行兩個“是”分支，一個分支是循序執行步驟203、步驟204、步驟205和步驟206；另一個分支是循序執行步驟209、步驟210和步驟211。
下面描述第一個分支：步驟203：執行二維碼跟蹤處理。
步驟204：判斷是否跟蹤到二維碼，如果是則執行步驟205及其後續步驟，否則返回執行步驟201及其後續步驟。
步驟205：判斷是否跟蹤了30幀，如果是則返回執行步驟201及其後續步驟，否則執行步驟206。
步驟206：獲取二維碼的位置資訊。
至此，判定步驟202檢測到二維碼的第一個“是”分支執行完畢。
下面描述第二個分支：步驟209：在步驟202中判定檢測到二維碼後，執行二維碼識別。
步驟210：判斷二維碼識別是否成功，如果是，則執行步驟211，否則返回執行步驟201。
步驟211：獲取二維碼的內容資訊。比如：該內容資訊可以是URL、名片資訊等多種形式的內容。
至此，判定步驟202檢測到二維碼的第二個“是”分支執行完畢。
當這兩個分支都執行完畢之後，執行步驟207和步驟208。
步驟207：利用第一個“是”分支獲取的二維碼位置資訊以及第二個“是”分支獲取的二維碼內容資訊，執行二維碼增強現實顯示。比如：可以根據二維碼位置資訊，在攝像視頻中的相應位置處，通過平面視頻或3D視頻的形式展示該二維碼內容資訊。
步驟208：判斷是否結束本流程，如果是則結束本流程，如果不是則返回執行步驟201。
下面對QR二維碼為實例，對二維碼檢測的過程進行詳細說明。
首先，對QR二維碼進行介紹說明。圖3為根據本發明實施方式QR二維碼錨點示意圖；圖4為根據本發明實施方式QR二維碼錨點特徵示意圖。
在二維碼檢測中，可以利用QR二維碼的錨點進行定位。QR二維碼的四個錨點定義如圖3所示，可以將這四個錨點分別定義為錨點A、錨點B、錨點C和錨點D。同時可以將二維碼影像矩陣中的白色圖元點定義為w，將黑色圖元點定義為b。
根據二維碼國際標準的定義，二維碼四個錨點需要滿足的特徵如下：對於錨點A、B、C錨點，需要滿足其從水準中心線和垂直中心線從外到內掃描依次為b-w-b-b-b-w-b類型特徵；對於錨點D需要滿足依次為b-w-b-w-b類型特徵，關於此特徵的描述如圖4所示。
因此，針對QR二維碼的這一特徵定義，可以在檢測影像中的二維碼過程中採用橫向和縱向兩次掃描，通過先獲得橫向錨點特徵線，再獲得縱向錨點特徵線，最後由橫向和縱向錨點特徵線求交點的方式獲得最終的錨點位置。同時，本發明實施方式還可以由錨點位置計算出單應矩陣和二維碼輪廓以用於後續的二維碼跟蹤演算法。
圖5為根據本發明實施方式QR二維碼檢測方法流程圖。
如圖5所示，該方法包括：步驟501：輸入攝像視頻幀影像。
步驟502：將攝像視頻幀影像轉換為灰度影像。
在這裡，對於輸入的攝像視頻幀影像，設其三個彩色通道的圖元值分別為R、G、B，其相應的灰度值為Y。則使用以下公式將彩色影像轉換為灰度影像：
步驟503：轉換為二值影像。
在這裡，示範性地，可以採用Ni-black局部二值化方法進行影像的二值化。
步驟504~506：執行橫向特徵掃描和縱向特徵掃描，計算特徵線交點。
在這裡，圖6所示為橫向和縱向特徵掃描示意圖。對於二值化以後的影像進行橫向和縱向的逐圖元掃描，基於圖4所述的QR二維碼特徵中的描述可知，只有經過二維碼的錨點A、B、C的中心點的橫向掃描過程才可以獲得黑圖元與白圖元比例依次為b-w-b-b-b-w-b類型的橫向錨點特徵線，只有經過二維碼的錨點A、B、C的中心點的縱向掃描過程才可以獲得黑圖元與白圖元依次為b-w-b-b-b-w-b類型的縱向錨點特徵線。因此，由橫向錨點特徵線和縱向錨點特徵線的交點即可獲得QR二維碼錨點A、B、C的中心點。
同理，基於圖4所述的QR二維碼特徵中的描述可知只有經過二維碼的錨點D的中心點的橫向掃描過程才可以獲得黑圖元與白圖元比例依次為b-w-b-w-b類型的橫向錨點特徵線，只有經過二維碼的錨點D的中心點的縱向掃描過程才可以獲得黑圖元與白圖元依次為b-w-b-w-b類型的縱向錨點特徵線。因此由橫向錨點特徵線和縱向錨點特徵線的交點即可獲得QR二維碼錨點D的中心點。
通過這樣的掃描過程，可以定位出三個滿足 b-w-b-b-b-w-b類型的錨點(記為P1、P2、P3)和一個滿足b-w-b-w-b類型的錨點D。根據二維碼錨點的特徵，可以採用如下方法區分三個滿足b-w-b-b-b-w-b類型的錨點：首先計算三個錨點與錨點D的距離，距離最遠的一個錨點為錨點A(假設為P1)。然後連接向量、和。如果在的右側，則P2為錨點；，如果在的左側，則P2為錨點C。
步驟507~508：計算單應矩陣和二維碼輪廓。
在這裡，設錨點A、B、C、D在原始二維碼影像中的位置分別為(x 1 ,y 1 )、(x 2 ,y 2 )、(x 3 ,y 3 )、(x 4 ,y 4 )；設錨點A、B、C、D在需要檢測的影像中的位置分別為、、、。則由以下公式計算二維碼單應矩陣Homo。
，其中i=1…4。
設原始二維碼影像中二維碼四個邊角點的位置分別為(px 1 ,py 1 )、(px 2 ,py 2 )、(px 3 ,py 3 )、(px 4 ,py 4 )，由以上公式可以計算出需要檢測影像中二維碼的四個邊角點的位置分別為、、、。由此獲得檢測影像中二維碼的輪廓。
特別需要說明的是，在實際的應用中，本發明實施方式還可以適當結合以下方式提高二維碼的檢出率：對於輸入的攝像視頻幀影像，如果無法檢測到二維碼，則進行比例為0.5的降採樣，在降採樣後的影像上繼續進行二維碼檢測，如果沒有檢測到二維碼，則繼續進行比例為 0.5的降採樣並重複此過程3次。如果重複3次後仍然無法掃描到二維碼則認為二維碼未檢測到。在此過程中可以根據實際情況採用0.5、0.6、0.7、0.8等不同的降採樣比例。
下面繼續以QR二維碼為例，對本發明實施方式的二維碼跟蹤流程進行說明。由於攝像頭在增強現實應用中通常處於移動狀態，因此在檢測到二維碼之後，還需要對二維碼進行跟蹤處理。
圖7為根據本發明實施方式二維碼檢測和跟蹤流程圖。
如圖7所示，該方法包括：步驟701：執行二維碼檢測。
步驟702：判斷是否檢測到二維碼，如果是，則執行步驟703及其後續步驟，否則返回執行步驟701。
步驟703：執行二維碼跟蹤。
步驟704：判斷是否跟蹤到二維碼，如果是，則執行步驟705及其後續步驟，否則返回執行步驟701。
步驟705：判斷是否跟蹤了30幀，如果否，則執行步驟706，是則返回執行步驟701。
步驟706：獲取二維碼位置資訊。
在本發明實施方式中，可以使用Good Feature to Track方法獲得需要跟蹤的角點集合，使用光流跟蹤方法進行角點集合的跟蹤。二維碼跟蹤過程分為初始化和跟蹤兩大部分。
圖8為根據本發明實施方式二維碼跟蹤的示範性流程圖。如圖8所示，二維碼跟蹤過程分為初始化和跟 蹤兩大部分。
初始化部分：二維碼跟蹤的初始化過程，第一步：根據二維碼檢測模組所得的二維碼輪廓記錄其所對應的灰度幀。第二步：在二維碼檢測中所得的二維碼輪廓內，使用Good Feature to Track等演算法求出適合跟蹤的起始跟蹤點集合。第三步：判斷起始跟蹤點集合數目，如果數量大於20個則繼續後續的跟蹤過程，並將起始的灰度幀作為上一灰度幀，將起始的跟蹤點集合作為上一跟蹤點集合；如果數量不足二十則不進行跟蹤。
跟蹤部分：二維碼的跟蹤過程，第一步：獲取當前攝像灰度幀、獲取前一跟蹤點集合和前一攝像灰度幀。第二步：使用光流跟蹤的方法由上一步獲取的三個參數獲得當前攝像視頻幀影像跟蹤到的當前跟蹤點集合。第三步：判斷當前跟蹤點集合是否多於初始跟蹤點集合的70%數量，如果是則進行下一步，如果不是則結束。第四步：判斷當前已經跟蹤的幀數，如果已經跟蹤超過30幀則結束跟蹤，如果不是則進行下一步。第五步：將初始跟蹤點集合和當前跟蹤點集合中對應的點對，使用PROSAC等演算法，計算出初始幀到當前幀的單應矩陣Homo’，則原始二維碼的單應矩陣可由檢測所得Homo乘以跟蹤所得Homo’相乘而得到。
在上述方法中，對於二維碼增強現實的識別，本發明實施方式可以採用ZBar所提供的識別演算法。該識別引擎具有識別標準QR二維碼的功能並且能夠獲得QR二維碼的編碼資訊和位置資訊。但是其運行速度較慢。在本 發明中，可以將檢測能夠獲得二維碼影像的幀作為ZBar演算法的輸入同時，在重啟檢測前對於能夠跟蹤到的幀不重新進行二維碼的識別，這樣大幅減少了二維碼識別演算法的運行次數，使得系統能夠保證即時性。
本發明實施方式中，對於二維碼增強現實的顯示，可以根據需要顯示的內容分為兩種，一種是在二維碼的位置顯示平面視頻，另一種是在二維碼的位置顯示3D模型或者動畫。根據兩種不同的顯示方式有兩種不同的處理方式。
對於顯示平面視頻的方式：對於需要在二維碼位置顯示平面視頻的顯示方式，本發明實施方式首先將顯示視頻幀影像轉換成原始二維碼影像大小。設(x ,y )對應顯示視頻幀影像的原始位置，設(x ’,y ’)對應顯示視頻幀影像轉換後的的位置，w’和h’對應原始二維碼影像的寬和高，w和h為原始顯示視頻幀影像的寬和高，公式如下：，其中：設(x" ,y" )對應二維碼在攝像視頻幀影像中的位置，則由所得的單應矩陣定義可知顯示視頻幀影像轉換到攝像視頻幀影像中相應位置的轉換矩陣如以下公式所示： 對於每一幀的顯示視頻影像，應用作為變換矩陣進行變換，然後將變換後的顯示視頻幀影像疊加在攝像視頻幀影像上即可實現增強現實的顯示效果。
對於顯示3D模型和動畫的方式：對於需要在二維碼位置顯示3D模型和動畫的顯示方式，本發明實施方式使用如下公式通過內參與外參獲得3D模型或者動畫的三維座標(世界坐標系)到螢屏顯示的投影矩陣。
一幅視圖是通過透視變換將三維空間中的點投影到影像平面。投影公式如下：s ．m' =A ．[R |t ]．M' ；或者 在本公式中(X,Y,Z)是一個點的世界座標；(u,v)是點投影在影像平面的座標，以圖元為單位；A被稱作攝像機矩陣，或者內參數矩陣；(cx,cy)是基準點(通常在影像的中心)；fx,fy是以圖元為單位的焦距。如果因為某些因素對來自於攝像機的一幅影像升採樣或者降採樣，所有這些參數(fx,fy,cx和cy)都將被縮放(乘或者除)同樣的尺度。內參數矩陣不依賴場景的視圖，一旦計算出，可以被重複使用(只要焦距固定)。旋轉-平移矩陣[R|t]被稱作外參數矩陣，它用來描述相機相對於一個固定場景的運 動，或者相反，物體圍繞相機的剛性運動。也就是，[R|t]將點(X,Y,Z)的座標變換到某個坐標系，這個坐標系相對於攝像機來說是固定不變的。
上面的變換等價與下面的形式(z≠0)： x'=x/z；y'=y/z；u =fx ．x' +cx ；v =fy ．y' +cy ；真正的鏡頭通常有一些形變，主要的變形為徑向形變，也會有輕微的切向形變。所以上面的模型可以擴展為： x'=x/z；y'=y/z；x" =x' ．(1+k 1 ．r 2 +k 2 ．r 4 )+2．p 1 ．x' ．y' +p 2 ．(r 2 +2x' 2 )；y" =y' ．(1+k 1 ．r 2 +k 2 ．r 4 )+p 1 ．(r 2 +2．y' 2 )+2．p 2 ．x' ．y' ；這兒，r2=x'2+y'2；u =fx ．x" +cx ；v =fy ．y" +cy ； k1和k2是徑向形變係數，p1和p1是切向形變係數。對於上述的R和t本發明中採用RPP(Robust Pose estimation from a Planar target)姿態估計演算法獲得。由此即可得出由3D模型的世界座標(X，Y，Z)到投影螢屏的(u，v)平面座標變換矩陣。使用OpenGL等電腦圖形顯示庫，此矩陣即可用於顯示3D模型疊加在攝像視頻幀影像中二維碼的位置上，實現增強現實的效果。
以上描述中，採用的增強現實識別方案使用ZBar開源庫提供的識別演算法，在實際的應用中，本發明實施方式同樣可以採用ZXing以及其他二維碼識別演算法。
以上描述中，採用Good Feature to Track的角點選取演算法和光流跟蹤的角點跟蹤演算法進行二維碼的跟蹤。在實際的應用中，本發明實施方式同樣可以採用FAST、Harris等其他的角點選取演算法或者卡爾曼濾波等其他的特徵點跟蹤演算法。
以上描述中，採用RPP的姿態估計演算法進行3D模型到平面的投影變換矩陣，在實際的應用中，本發明實施方式同樣可以採取EPnP等姿態估計演算法。
以上描述中，以QR二維碼為實例對本發明實施方式進行了詳細說明。本領域技術人員可以意識到，本發明實施方式並不局限於QR二維碼，而是適用於任意的二維碼。
由此可見，在本發明實施方式中，將二維碼檢測與識別過程進行分離，通過對於檢測能夠得到二維碼的 時候，再進行二維碼的識別，減少了運算較慢的二維碼識別處理。
而且，本發明實施方式將二維碼檢測與跟蹤過程進行分離，通過對於檢測能夠得到二維碼的二維碼輪廓進行特徵點的跟蹤，在跟蹤丟失滿足一定條件後再重啟檢測，通過這一方法減少了運算較慢和檢出成功率較低的二維碼檢測過程執行次數，提高了二維碼運算的速度並且提高了二維碼位置獲取的穩定性與連續性。
在本發明實施方式中，QR二維碼可以通過靈活的可擴展的編碼格式使得其所存儲的信息量可以自由擴展。符號規格從版本1(21×21模組)到版本40(177×177模組)，每提高一個版本，每邊增加4個模組。對於最大的40版本可通納數位資料：7,089個字元，字母資料：4,296個字元，8位元位元組資料：2,953個字元，中國/日本漢字資料：1,817個字元。在信息量較多的時候，只需擴大QR二維碼資料的內容即可適應更大資料量的編碼。
而且，本發明實施方式使用的QR二維碼是國際標準的資料格式。QR二維碼是由日本Denso公司於1994年9月研製的一種矩陣二維碼符號，它具有一維條碼及其它二維條碼所具有的資訊容量大、可靠性高、可表示漢字及圖像多種文字資訊、保密防偽性強等優點。日本QR碼的標準JIS X 0510在1999年1月發佈，而其對應的ISO國際標準ISO/IEC18004，則在2000年6月獲得批准。中國的國家標準GB/T 18284-2000也在2000年發佈。這些都表明了QR二維碼是一種通用的格式，已經得到了國際認可， 相較於其他類型二維碼和自訂的標誌位元，其編碼格式更加具有通用性和規範性。
還有。本發明實施方式所使用的QR二維碼識別演算法本身比較簡單速度較快(在普通PC機上一般50-100ms)，同時QR二維碼本身已經包含了很多資訊，也可以不需要後端資料庫的支援。
在本發明實施方式中，針對二維碼增強現實的檢測方法，包括：根據二維碼的錨點特徵採用橫向和縱向通過兩次掃描，根據錨點黑白圖元比例特點，獲得二維碼橫向錨點特徵線和縱向錨點特徵線。根據橫向和縱向錨點特徵線計算交點，通過錨點D與其他錨點距離、向量方向關係區分錨點A、B、C。通過對多次降採樣的影像進行檢測提高二維碼檢測率。
在本發明實施方式中，針對二維碼增強現實的跟蹤方法，包括：使用二維碼檢測所得的二維碼輪廓，對於輪廓內的點求出初始化特徵點。對於輪廓內的初始化特徵點進行特徵點的跟蹤。在滿足一定的跟蹤丟失率和跟蹤時間的時候重啟檢測過程。
在本發明實施方式中，針對二維碼增強現實的顯示方法，包括：根據不同的顯示模式使用不同的顯示策。其中，針對二維平面視頻，採用單應矩陣作為轉換矩陣轉換影像；針對3D模型或者動畫，採用姿態估計方法。
基於上述詳細分析，本發明實施方式還提出來一種二維碼的增強現實實現裝置。
圖9為根據本發明實施方式二維碼的增強現實 實現裝置的結構圖。
如圖9所示，該裝置包括：二維碼檢測單元901、識別跟蹤單元902和增強現實單元903。其中：二維碼檢測單元901用於在攝像視頻幀影像中檢測二維碼以獲取二維碼輪廓。
識別跟蹤單元902用於識別該檢測出二維碼輪廓的二維碼以獲取二維碼的內容資訊，並跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀影像中的位置資訊。
增強現實單元903用於根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，對該二維碼執行增強現實處理。
在一個實施方式中，所述二維碼為快速反應QR二維碼。
在一個實施方式中，二維碼檢測單元901用於將該攝像視頻幀影像轉換為灰度影像，並將所述灰度影像轉換為二值影像；針對該二值影像執行橫向錨點特徵掃描和縱向錨點特徵掃描，獲得橫向錨點特徵線和縱向錨點特徵線；計算所述橫向錨點特徵線和縱向錨點特徵線的交點，以獲得QR二維碼的錨點位置；根據計算出的QR二維碼的錨點位置，獲取該QR二維碼輪廓。
在一個實施方式中，二維碼檢測單元901進一步用於當在攝像視頻幀影像中沒有檢測到二維碼時，針對該攝像視頻幀影像執行降採樣處理，並在執行降採樣處理後的攝像視頻幀影像中檢測二維碼。
在一個實施方式中，所述二維碼為快速反應QR二維碼。此時，識別跟蹤單元902用於根據二維碼輪廓獲取對應的起始攝像視頻灰度幀，並在該二維碼輪廓內計算起始跟蹤點集合；當起始跟蹤點集合數大於預先設定的門限值時，獲取當前攝像視頻灰度幀、前一跟蹤點集合和前一攝像視頻灰度幀；將當前攝像視頻灰度幀、前一跟蹤點集合和前一攝像視頻灰度幀作為參數應用光流跟蹤方式，以獲取當前攝像視頻幀影像所跟蹤到的當前跟蹤點集合；根據起始跟蹤點集合和當前跟蹤點集合中對應的點對，計算出單應矩陣。
在一個實施方式中，識別跟蹤單元902進一步用於在獲取當前攝像視頻幀影像所跟蹤到的當前跟蹤點集合之後，當判定該當前跟蹤點集合多於初始跟蹤點集合的預先設定比例時，進一步判斷當前已經跟蹤的攝像視頻幀影像數是否大於預先設定的門限值，如果不是則根據起始跟蹤點集合和當前跟蹤點集合中對應的點對，計算出單應矩陣。
在一個實施方式中，增強現實單元903用於根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，在該二維碼的位置顯示平面視頻。
在一個實施方式中，增強現實單元903用於將顯示視頻幀影像大小轉化為原始二維碼影像大小；對於顯示視頻幀影像，按照二維碼在攝像視頻幀影像中的位置資訊進行變換，並將變換後的顯示視頻幀影像疊加到攝像視頻幀影像中。
在一個實施方式中，增強現實單元903用於根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，在該二維碼的位置顯示立體3D模型。
在一個實施方式中，增強現實單元903用於計算3D模型的世界座標到投影螢屏平面座標的變換矩陣；應用該變換矩陣，按照二維碼在攝像視頻幀影像中的位置資訊，將3D模型疊加到攝像視頻幀影像中。
可以將圖8所示裝置集成到各種網路的硬體實體當中。比如，可以將二維碼的增強現實實現裝置集成到：功能手機、智慧手機、掌上型電腦、個人電腦(PC)、平板電腦或個人數位助理(PDA)，等等設備之中。
實際上，可以通過多種形式來具體實施本發明實施方式所提出的二維碼的增強現實實現裝置。比如，可以遵循一定規範的應用程式介面，將二維碼的增強現實實現裝置編寫為安裝到流覽器中的外掛程式程式，也可以將其封裝為應用程式以供使用者自行下載使用。當編寫為外掛程式程式時，可以將其實施為ocx、dll、cab等多種外掛程式形式。也可以通過Flash外掛程式、RealPlayer外掛程式、MMS外掛程式、MI五線譜外掛程式、ActiveX外掛程式等具體技術來實施本發明實施方式所提出的使用者生成內容提及的二維碼的增強現實實現裝置。
可以通過指令或指令集存儲的儲存方式將本發明實施方式所提出的二維碼的增強現實實現方法存儲在各種存儲介質上。這些存儲介質包括但是不局限於：軟碟、光碟、DVD、硬碟、快閃記憶體、U盤、CF卡、SD卡、 MMC卡、SM卡、記憶棒(Memory Stick)、xD卡等。
另外，還可以將本發明實施方式所提出的二維碼的增強現實實現方法應用到基於快閃記憶體(Nand flash)的存儲介質中，比如U盤、CF卡、SD卡、SDHC卡、MMC卡、SM卡、記憶棒、xD卡等。
綜上所述，在本發明實施方式中，在攝像視頻幀影像中檢測二維碼以獲取二維碼輪廓；識別該檢測出二維碼輪廓的二維碼以獲取二維碼的內容資訊，並跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀影像中的位置資訊；根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，對該二維碼執行增強現實處理。由此可見，應用本發明實施方式之後，將二維碼檢測與識別過程進行分離，對於檢測能夠得到二維碼的情形才進行二維碼的識別，減少了運算較慢的二維碼識別處理。
而且，本發明實施方式將二維碼檢測與跟蹤過程進行分離，對於檢測能夠得到二維碼的二維碼輪廓才進行特徵點的跟蹤，在跟蹤丟失滿足一定條件後再重啟檢測，通過這一方法減少了運算較慢和檢出成功率較低的二維碼檢測過程執行次數，提高了二維碼運算的速度，並且提高了二維碼位置獲取的穩定性與連續性。
以上所述，僅為本發明的較佳實施例而已，並非用於限定本發明的保護範圍。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。

Claims (16)

  1. 一種二維碼的增強現實實現方法，其特徵在於，該方法包括：在攝像視頻幀影像中檢測二維碼以獲取二維碼輪廓；識別該檢測出二維碼輪廓的二維碼以獲取二維碼的內容資訊，並跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀影像中的位置資訊；根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，對該二維碼執行增強現實處理；所述二維碼為快速反應QR二維碼；所述跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀影像中的位置資訊包括：根據二維碼輪廓獲取對應的起始攝像視頻灰度幀，並在該二維碼輪廓內計算起始跟蹤點集合；當起始跟蹤點集合數大於預先設定的門限值時，獲取當前攝像視頻灰度幀、前一跟蹤點集合和前一攝像視頻灰度幀；將當前攝像視頻灰度幀、前一跟蹤點集合和前一攝像視頻灰度幀作為參數應用光流跟蹤方式，以獲取當前攝像視頻幀影像所跟蹤到的當前跟蹤點集合；根據起始跟蹤點集合和當前跟蹤點集合中對應的點對，計算出單應矩陣。
  2. 如請求項1所述的二維碼的增強現實實現方法，其特徵在於，所述在攝像視頻幀影像中檢測二維碼以獲取二維碼輪廓包括： 將該攝像視頻幀影像轉換為灰度影像，並將所述灰度影像轉換為二值影像；針對該二值影像執行橫向錨點特徵掃描和縱向錨點特徵掃描，獲得橫向錨點特徵線和縱向錨點特徵線；計算所述橫向錨點特徵線和縱向錨點特徵線的交點，以獲得QR二維碼的錨點位置；根據計算出的QR二維碼的錨點位置，獲取該QR二維碼輪廓。
  3. 如請求項1所述的二維碼的增強現實實現方法，其特徵在於，該方法進一步包括：當在攝像視頻幀影像中沒有檢測到二維碼時，針對該攝像視頻幀影像執行降採樣處理，並在執行降採樣處理後的攝像視頻幀影像中再次檢測二維碼。
  4. 如請求項1所述的二維碼的增強現實實現方法，其特徵在於，該方法進一步包括：在獲取當前攝像視頻幀影像所跟蹤到的當前跟蹤點集合之後，當判定該當前跟蹤點集合多於初始跟蹤點集合的預先設定比例時，進一步判斷當前已經跟蹤的攝像視頻幀影像數是否大於預先設定的門限值，如果不是則根據起始跟蹤點集合和當前跟蹤點集合中對應的點對，計算出單應矩陣。
  5. 如請求項1所述的二維碼的增強現實實現方法，其特徵在於，所述根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，對該二維碼執行增強現實處理包括： 根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，在該二維碼的位置顯示平面視頻。
  6. 如請求項5所述的二維碼的增強現實實現方法，其特徵在於，所述在該二維碼的位置顯示平面視頻包括：將顯示視頻幀影像大小轉化為原始二維碼影像大小；對於顯示視頻幀影像，按照二維碼在攝像視頻幀影像中的位置資訊進行變換，並將變換後的顯示視頻幀影像疊加到攝像視頻幀影像中。
  7. 如請求項1所述的二維碼的增強現實實現方法，其特徵在於，所述根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，對該二維碼執行增強現實處理包括：根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，在該二維碼的位置顯示立體3D模型。
  8. 如請求項7所述的二維碼的增強現實實現方法，其特徵在於，所述在該二維碼的位置顯示3D模型包括：計算3D模型的世界座標到投影螢屏平面座標的變換矩陣；應用該變換矩陣，按照二維碼在攝像視頻幀影像中的位置資訊，將3D模型疊加到攝像視頻幀影像中。
  9. 一種二維碼的增強現實實現裝置，其特徵在於，該裝置包括：二維碼檢測單元、識別跟蹤單元和增強現實單元，其中：所述二維碼檢測單元用於在攝像視頻幀影像中檢測二 維碼以獲取二維碼輪廓；所述識別跟蹤單元用於識別該檢測出二維碼輪廓的二維碼以獲取二維碼的內容資訊，並跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀影像中的位置資訊；所述增強現實單元用於根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，對該二維碼執行增強現實處理；所述二維碼為快速反應QR二維碼；所述識別跟蹤單元用於根據二維碼輪廓獲取對應的起始攝像視頻灰度幀，並在該二維碼輪廓內計算起始跟蹤點集合；當起始跟蹤點集合數大於預先設定的門限值時，獲取當前攝像視頻灰度幀、前一跟蹤點集合和前一攝像視頻灰度幀；將當前攝像視頻灰度幀、前一跟蹤點集合和前一攝像視頻灰度幀作為參數應用光流跟蹤方式，以獲取當前攝像視頻幀影像所跟蹤到的當前跟蹤點集合；根據起始跟蹤點集合和當前跟蹤點集合中對應的點對，計算出單應矩陣。
  10. 如請求項9所述的二維碼的增強現實實現裝置，其特徵在於，所述二維碼檢測單元用於將該攝像視頻幀影像轉換為灰度影像，並將所述灰度影像轉換為二值影像；針對該二值影像執行橫向錨點特徵掃描和縱向錨點特徵掃描，獲得橫向錨點特徵線和縱向錨點特徵線；計算所述橫向錨點特徵線和縱向錨點特徵線的交點，以獲得QR二維碼的錨點位 置；根據計算出的QR二維碼的錨點位置，獲取該QR二維碼輪廓。
  11. 如請求項9所述的二維碼的增強現實實現裝置，其特徵在於，所述二維碼檢測單元進一步用於當在攝像視頻幀影像中沒有檢測到二維碼時，針對該攝像視頻幀影像執行降採樣處理，並在執行降採樣處理後的攝像視頻幀影像中檢測二維碼。
  12. 如請求項9所述的二維碼的增強現實實現裝置，其特徵在於，所述識別跟蹤單元進一步用於在獲取當前攝像視頻幀影像所跟蹤到的當前跟蹤點集合之後，當判定該當前跟蹤點集合多於初始跟蹤點集合的預先設定比例時，進一步判斷當前已經跟蹤的攝像視頻幀影像數是否大於預先設定的門限值，如果不是則根據起始跟蹤點集合和當前跟蹤點集合中對應的點對，計算出單應矩陣。
  13. 如請求項9所述的二維碼的增強現實實現裝置，其特徵在於，所述增強現實單元用於根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，在該二維碼的位置顯示平面視頻。
  14. 如請求項13所述的二維碼的增強現實實現裝置，其特徵在於，所述增強現實單元用於將顯示視頻幀影像大小轉化為原始二維碼影像大小；對於顯示視頻幀影像，按照二維碼 在攝像視頻幀影像中的位置資訊進行變換，並將變換後的顯示視頻幀影像疊加到攝像視頻幀影像中。
  15. 如請求項9所述的二維碼的增強現實實現裝置，其特徵在於，所述增強現實單元用於根據所述二維碼的內容資訊和二維碼在攝像視頻幀影像中的位置資訊，在該二維碼的位置顯示立體3D模型。
  16. 如請求項15所述的二維碼的增強現實實現裝置，其特徵在於，所述增強現實單元用於計算3D模型的世界座標到投影螢屏平面座標的變換矩陣；應用該變換矩陣，按照二維碼在攝像視頻幀影像中的位置資訊，將3D模型疊加到攝像視頻幀影像中。
TW102132889A 2013-01-28 2013-09-12 A method and apparatus for enhancing reality of two - dimensional code TWI506563B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310031075.1A CN103971079B (zh) 2013-01-28 一种二维码的增强现实实现方法和装置

Publications (2)

Publication Number Publication Date
TW201430714A TW201430714A (zh) 2014-08-01
TWI506563B true TWI506563B (zh) 2015-11-01

Family

ID=51226892

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102132889A TWI506563B (zh) 2013-01-28 2013-09-12 A method and apparatus for enhancing reality of two - dimensional code

Country Status (5)

Country Link
KR (1) KR20150105479A (zh)
CA (1) CA2898668A1 (zh)
SG (1) SG11201505496VA (zh)
TW (1) TWI506563B (zh)
WO (1) WO2014114118A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337408A1 (en) * 2014-08-18 2017-11-23 Kumoh National Institute Of Technology Industry-Academic Cooperation Foundation Sign, vehicle number plate, screen, and ar marker including boundary code on edge thereof, and system for providing additional object information by using boundary code
JP2017033128A (ja) * 2015-07-30 2017-02-09 株式会社きもと 情報提供システム、コンピュータプログラム及び印刷物
KR102335060B1 (ko) * 2015-11-09 2021-12-03 에스케이텔레콤 주식회사 증강 현실 제공 방법
CN105786184A (zh) * 2016-03-02 2016-07-20 广州聚变网络科技有限公司 一种虚拟现实***
CN106897648B (zh) * 2016-07-22 2020-01-31 阿里巴巴集团控股有限公司 识别二维码位置的方法及其***
CN107067272B (zh) * 2017-04-18 2020-12-25 北京首溯科技有限公司 一种农副产品流通环节高效追溯方法
US11610013B2 (en) 2020-04-17 2023-03-21 Intertrust Technologies Corporation Secure content augmentation systems and methods
CN111476528B (zh) * 2020-04-27 2023-07-11 上海东普信息科技有限公司 基于快递出库的数据处理方法、装置、设备及存储介质
CN113673283A (zh) * 2020-05-14 2021-11-19 惟亚(上海)数字科技有限公司 一种基于增强现实的平滑跟踪方法
CN111931538B (zh) * 2020-07-07 2024-03-29 广东奥普特科技股份有限公司 一种Micro QR二维码的定位方法
CN113763466B (zh) * 2020-10-10 2024-06-14 北京京东乾石科技有限公司 一种回环检测方法、装置、电子设备和存储介质
WO2022152778A2 (en) 2021-01-15 2022-07-21 Agc Glass Europe Method for aligning a 3d model of an object with an image comprising at least a portion of said object to obtain an augmented reality
IT202100030080A1 (it) * 2021-11-29 2023-05-29 Nazario Luzi Carta dei vini digitale
CN114418048B (zh) * 2021-12-31 2023-07-18 三维码（厦门）网络科技有限公司 一种加强视觉效果的人像三维码快速生成方法
CN116542926B (zh) * 2023-05-04 2024-06-21 上海感图网络科技有限公司 电池的二维码缺陷识别方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101505A (zh) * 2006-07-07 2008-01-09 华为技术有限公司 一种实现三维增强现实的方法及***
TW200901089A (en) * 2007-06-22 2009-01-01 Mo Fz Tang Co Ltd Virtual reality image superimposing system and method thereof
TW200915193A (en) * 2007-09-20 2009-04-01 Microsoft Corp Techniques for decoding images of barcodes
US7693702B1 (en) * 2002-11-01 2010-04-06 Lockheed Martin Corporation Visualizing space systems modeling using augmented reality
TWM434978U (en) * 2012-01-17 2012-08-01 Yuan-Hong Li Direction indication device with augmented reality identification tag and augmented reality device thereof
CN102800065A (zh) * 2012-07-13 2012-11-28 苏州梦想人软件科技有限公司 基于二维码识别跟踪的增强现实设备及方法
CN102843349A (zh) * 2011-06-24 2012-12-26 中兴通讯股份有限公司 实现移动增强现实业务的方法及***、终端及服务器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7693702B1 (en) * 2002-11-01 2010-04-06 Lockheed Martin Corporation Visualizing space systems modeling using augmented reality
CN101101505A (zh) * 2006-07-07 2008-01-09 华为技术有限公司 一种实现三维增强现实的方法及***
TW200901089A (en) * 2007-06-22 2009-01-01 Mo Fz Tang Co Ltd Virtual reality image superimposing system and method thereof
TW200915193A (en) * 2007-09-20 2009-04-01 Microsoft Corp Techniques for decoding images of barcodes
CN102843349A (zh) * 2011-06-24 2012-12-26 中兴通讯股份有限公司 实现移动增强现实业务的方法及***、终端及服务器
TWM434978U (en) * 2012-01-17 2012-08-01 Yuan-Hong Li Direction indication device with augmented reality identification tag and augmented reality device thereof
CN102800065A (zh) * 2012-07-13 2012-11-28 苏州梦想人软件科技有限公司 基于二维码识别跟踪的增强现实设备及方法

Also Published As

Publication number Publication date
CA2898668A1 (en) 2014-07-31
TW201430714A (zh) 2014-08-01
KR20150105479A (ko) 2015-09-16
CN103971079A (zh) 2014-08-06
SG11201505496VA (en) 2015-08-28
WO2014114118A1 (en) 2014-07-31

Similar Documents

Publication Publication Date Title
TWI506563B (zh) A method and apparatus for enhancing reality of two - dimensional code
US20140210857A1 (en) Realization method and device for two-dimensional code augmented reality
KR101469398B1 (ko) 텍스트 기반 3ｄ 증강 현실
US20220114750A1 (en) Map constructing method, positioning method and wireless communication terminal
US9633479B2 (en) Time constrained augmented reality
US11393200B2 (en) Hybrid feature point/watermark-based augmented reality
CN112435338B (zh) 电子地图的兴趣点的位置获取方法、装置及电子设备
CN104156998A (zh) 一种基于图片虚拟内容融合真实场景的实现方法及***
CN112200187A (zh) 一种目标检测方法、装置、机器可读介质及设备
CN115496863B (zh) 用于影视智能创作的情景互动的短视频生成方法及***
Dong et al. EGFNet: Edge-aware guidance fusion network for RGB–thermal urban scene parsing
CN115008454A (zh) 一种基于多帧伪标签数据增强的机器人在线手眼标定方法
Turk et al. Computer vision for mobile augmented reality
Seo et al. Real-time visual tracking of less textured three-dimensional objects on mobile platforms
Zhang et al. Key point localization and recurrent neural network based water meter reading recognition
Nafea et al. A Review of Lightweight Object Detection Algorithms for Mobile Augmented Reality
Baig et al. Text writing in the air
CN115004261A (zh) 文本行检测
Chen et al. 3D registration based perception in augmented reality environment
Rodrigues et al. AR contents superimposition on walls and persons
CN110827411A (zh) 自适应环境的增强现实模型显示方法、装置、设备及存储介质
Wang et al. PVONet: point-voxel-based semi-supervision monocular three-dimensional object detection using LiDAR camera systems
Liao et al. Feature Extraction Method Based on Gray Value Star-shaped Projection
Kang et al. Development of tangible user interface for linking context modeling and 3D map in smartphone
Yang et al. Sparse Color-Code Net: Real-Time RGB-Based 6D Object Pose Estimation on Edge Devices