TWI503786B - 用於生成全景視頻的移動設備和系統 - Google Patents

用於生成全景視頻的移動設備和系統 Download PDF

Info

Publication number
TWI503786B
TWI503786B TW102140648A TW102140648A TWI503786B TW I503786 B TWI503786 B TW I503786B TW 102140648 A TW102140648 A TW 102140648A TW 102140648 A TW102140648 A TW 102140648A TW I503786 B TWI503786 B TW I503786B
Authority
TW
Taiwan
Prior art keywords
cameras
video
processing unit
mobile device
graphics processing
Prior art date
Application number
TW102140648A
Other languages
English (en)
Other versions
TW201445505A (zh
Inventor
Zhen Jia
Lili Huang
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of TW201445505A publication Critical patent/TW201445505A/zh
Application granted granted Critical
Publication of TWI503786B publication Critical patent/TWI503786B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

用於生成全景視頻的移動設備和系統
本發明總地涉及移動設備領域,且更具體地涉及用於生成全景視頻的移動設備和系統。
隨著科技的發展和社會的進步,人們對資訊的需求越來越多,要求也越來越高。人類所獲得的外界資訊80%以上來自於視覺,而圖像或視頻是人類獲得視覺資訊的主要途徑。全景成像技術是一種可以呈現360°範圍內的場景資訊的技術,使得觀眾不受固定視角觀察場景的限制。全景圖是把分開的圖像資訊在一幅圖像上完整地表現出來。全景圖的表示模式主要有柱面全景圖,立方體全景圖和球面全景圖。全景視頻包括在不同時刻採集的全景圖序列,其承載的信息量非常豐富,可以即時地表現變化的場景。
現在,市場上大部分移動設備僅僅具有一個或兩個攝像頭。為了獲得全景圖片,使用者需要手持移動設備水準旋轉並且使用移動設備的攝像頭從不同的角度拍攝數張圖片,之後利用軟體將這些圖片合成為一 張全景圖片。一般地,合成全景圖片的過程是在移動設備的中央處理單元(Central Processing Unit,CPU)中進行的。旋轉移動設備使得所拍攝的圖片不是同步的。特別是在場景中存在運動的物體時,會造成軟體無法正確合成全景圖片。另外,軟體合成全景圖片時,需要拼接數張圖片。因此,其對於實際拍照時要重疊的部分有面積的要求,這對於用戶不好控制。由於合成全景圖片的運算量比較大,所以耗時也比較長。全景視頻的幀數一般為20-30fps。要達到即時生成全景視頻的速率,則每秒鐘的計算量將會是數十倍于全景圖的計算量,這對硬體系統的處理能力和軟體系統的工作效率都是極大的挑戰。因此,基於當前用來生成全景圖的移動設備的硬體系統和軟體系統來即時生成全景視頻幾乎是不可能的。
在一個實施例中,公開了一種用於生成全景視頻的系統。所述系統包括多個攝像頭和移動設備。移動設備進一步包括CPU和圖形處理單元(Graphics Processing Unit,GPU)。多個攝像頭用於在平面360°範圍內從不同方向採集視頻幀以生成多路視頻流。CPU配置為向圖形處理單元發出處理多路視頻流的指令。圖形處理單元配置為根據指令利用平行計算拼接多路視頻流的同步視頻幀以即時生成全景視頻。
在另一個實施例中,提供一種用於生成全景視頻的移動設備。所述移動設備包括CPU、圖形處理單元和USB介面。USB介面用於接收來自多個攝像頭的多路視頻流。CPU配置為向圖形處理單元發出處理多路視頻流的指令。圖形處理單元配置為根據指令利用平行計算拼接 多路視頻流的同步視頻幀以即時生成全景視頻。
100‧‧‧系統
101‧‧‧攝像頭
102‧‧‧CPU
103‧‧‧GPU
104‧‧‧設備記憶體
105‧‧‧系統記憶體
106‧‧‧顯示幕
1,2,3,,4,5,6,7,8‧‧‧視場
300a‧‧‧系統
301a‧‧‧攝像頭
302a‧‧‧平面
303a‧‧‧頂表面
300b‧‧‧系統
301b‧‧‧攝像頭
302b‧‧‧平面
303b‧‧‧頂表面
304‧‧‧中垂線
305‧‧‧平面
結合附圖及以下之說明描述本發明。
圖1示出了根據本發明一個實施例的用於生成全景視頻的系統的示範性框圖;圖2A示出了根據本發明一個實施例的包括8個60°視角的攝像頭的系統的示意性俯視圖;圖2B示出了根據本發明另一個實施例的包括6個65°視角的攝像頭的系統的示意性俯視圖;圖3A示出了根據本發明一個實施例的系統的示意圖,其中多個攝像頭集成在移動設備中;以及圖3B示出了根據本發明另一個實施例的系統的示意圖,其中多個攝像頭集成到單獨的視頻拍攝模組中。
本發明公開了一種用於生成全景視頻的系統。圖1示出了根據本發明一個實施例的用於生成全景視頻的系統100的示範性框圖。系統100包括多個攝像頭101和移動設備。移動設備進一步包括CPU 102和GPU 103。例如,移動設備可以包括Tegra處理器,CPU 102和GPU 103集成在Tegra處理器內。GPU 103在浮點運算和並行運算方面的能力遠遠強於CPU 102,其可以並行處理大量計算資料。多個攝像頭101用於在平面 360°範圍內從不同方向採集視頻幀以生成多路視頻流。CPU 102配置為向GPU 103發出處理多路視頻流的指令。GPU 103配置為根據指令利用平行計算拼接多路視頻流的同步視頻幀以即時生成全景視頻。本發明的實施例利用GPU 103強大的平行計算能力來更加快速地拼接同步視頻幀以生成全景視頻並且所生成的全景視頻可以是高清的。
在一個實施例中,通過多個攝像頭101從不同的方向進行全方位覆蓋的視頻幀採集,可以生成某時刻周圍場景的全景圖。採用多個攝像頭的方式使使用者不需要旋轉移動設備即可獲得全景視頻所需的視頻幀並且所獲得的視頻幀是同步的。該方法可有效地將運動物體清晰地呈現在全景視頻內。多個攝像頭101中的各個攝像頭之間的位置關係是固定的,因此無需用戶控制所拍攝的場景的重疊部分的面積,為使用者提供了便利。每個攝像頭可以包括鏡頭、圖像感測器和數位信號處理晶片(DSP)等。景物通過鏡頭生成的光學圖像投射到圖像感測器表面上。圖像感測器將經過模數(A/D)轉換後變為數位圖像信號。之後將數位圖像信號送到DSP中進行處理即可輸出為視頻幀。連續的視頻幀組成視頻流。鏡頭可以包括透鏡、鏡筒和間隔環等。鏡頭可以採用玻璃鏡頭、塑膠鏡頭和半塑膠半玻璃鏡頭。圖像感測器可以是互補式金屬氧化物半導體(CMOS)感測器或電荷耦合元件(CCD)感測器。CCD感測器的靈敏度高、雜訊小、信噪比大。CMOS感測器的集成度高、功耗低、成本低。
可選地,系統100還可以包括一個或多個閃光燈,用於在光線較暗時增加曝光量。
在一個實施例中,多個攝像頭101中的任意一個與其相鄰攝像頭之間存在重疊的視場部分,重疊的視場部分在多個攝像頭101的光軸所在的面內的角度α為3°至5°。在拼接同步視頻幀時可以利用來自相鄰場景的視頻幀的重疊部分進行圖像匹配,因此多個攝像頭101的相鄰攝像頭之間存在適當的重疊的視場部分有利於後續對同步視頻幀的有效拼接。該重疊的視場部分太大則增加計算量,太小則可能導致圖像匹配不準確。角度α為3°至5°的重疊的視場部分可以滿足圖像匹配的要求,也可以保證合理地利用硬體和軟體資源。
在一個實施例中,多個攝像頭101中的每一個的視角不小於60°。因為多個攝像頭101的總視角需要覆蓋平面360°的範圍,因此,多個攝像頭101中的每一個的視角限制了攝像頭的最小數目。在每個攝像頭的視角確定的情況下,可以計算出攝像頭的最小數目。優選地,多個攝像頭101的所有攝像頭具有相同的視角,有利於多個攝像頭101的設計和安裝,並且有利於隨後的視頻幀的拼接。在一個實施例中,攝像頭的數目為8個,每個攝像頭的視角是60°。圖2A示出了根據本發明一個實施例的包括8個60°視角的攝像頭的系統的示意性俯視圖。其中,示出了8個攝像頭各自的視場1、2、……8,以及視場6和視場7之間的重疊部分的角度α。在另一個實施例中,攝像頭的數目為6個,每個攝像頭的視角是65°。圖2B示出了根據本發明另一個實施例的包括6個65°視角的攝像頭的系統的示意性俯視圖。其中,示出了6個攝像頭各自的視場1、2、……6,以及視場4和視場5之間的重疊部分的角度α。當每個攝像頭的視角增大時,相應的攝像頭的數目可以減小。
在一個實施例中,多個攝像頭101集成在移動設備中。多個攝像頭101中的每一個包括CMOS感測器介面(CMOS Sensor Interface,CSI),其用於將多路視頻流中對應的一路傳送到GPU 103。CSI包括在移動產業處理器介面(Mobile Industry Processor Interface,MIPI)中,受MIPI協議的制約,其適用於移動設備。圖3A示出了根據本發明一個實施例的系統300a的示意圖,其中多個攝像頭301a集成在移動設備中。將多個攝像頭集成在移動設備中有利於與現有技術結合,設計方便。同時這樣的一體化設計方便用戶使用。
在一個實施例中,多個攝像頭301a設置在與移動設備的頂表面303a平行的同一平面302a上。移動設備的頂表面303a指移動設備正常豎直使用時的上表面。例如,當使移動設備的頂表面303a與地面平行時,多個攝像頭301a可以保持各光軸處於同一水平面上,因此所拍攝的場景位於同一水準高度。
在另一個實施例中,多個攝像頭集成到單獨的視頻拍攝模組中。視頻拍攝模組進一步包括USB介面,用於連接到移動設備的USB介面。圖3B示出了根據本發明另一個實施例的系統300b的示意圖,其中多個攝像頭301b集成到單獨的視頻拍攝模組中。將多個攝像頭集成到單獨的視頻拍攝模組中有利於減輕移動設備的重量,因此使用者攜帶更方便。採用USB介面使得視頻拍攝模組可以實現熱插拔。視頻拍攝模組的USB介面與移動設備的USB介面相匹配,可以採用USB 2.0介面或USB 3.0介面。可選地,視頻拍攝模組的USB介面是公口,移動設備的USB介面是母口。
多個攝像頭301b的解析度(圖元)和刷新率(幀數)可以基於視頻拍攝模組的USB介面的頻寬來確定。對於特定的USB介面,其頻寬(傳輸速率)是確定的。攝像頭的解析度與刷新率的乘積與USB介面的頻寬成正比,從而充分利用頻寬。
在一個實施例中,多個攝像頭301b可以設置在當視頻拍攝模組與移動設備相連接時與移動設備的頂表面303b平行的同一平面302b上。例如,當視頻拍攝模組與移動設備相連接且移動設備正常豎直使用時時,多個攝像頭301b可以保持各光軸處於同一水平面上,因此所拍攝的場景也處於同一水準高度。
在一個實施例中,多個攝像頭301b固定在視頻拍攝模組中。在另一個實施例中,多個攝像頭301b能夠旋轉使得多個攝像頭301b的光軸的方向在當視頻拍攝模組與移動設備相連接時在過攝像頭和移動設備的中垂線的平面內可調。將當移動設備的頂表面303b與地面平行時沿移動設備的重力方向的直線定義為移動設備的中垂線。在圖3B中,示出了移動設備的中垂線304以及過中垂線304和多個攝像頭301b中的某一個攝像頭的平面305。該攝像頭的光軸方向在平面305內可調。由於攝像頭的光軸方向是可調的,因此其可以拍攝更豐富的場景,而不必局限在某一平面上。可選地,多個攝像頭301b是聯動的。聯動的攝像頭使得調節更方便,並且有利於保持所有光軸方向在一個平面或近似錐面內。由於多個攝像頭之間的位置關係是固定的,可以使後續的處理過程更簡單。例如,當用戶希望從高處拍攝下方的場景時,類似於監控設備的拍攝方式,使用者可以對多個攝像頭301b在各自的可調平面內加以調節。 由於多個攝像頭301b是聯動的,通過將一個攝像頭的光軸向移動設備的下方偏轉使得所有攝像頭的光軸向下方進行等量偏轉。因此,使用者可以根據需要方便地改變攝像頭的拍攝角度,獲得不同的場景圖像。
返回參考圖1,CPU 102可以與GPU 103通信,其通過向GPU 103發送指令來控制GPU 103處理各種任務。在本發明的實施例中,GPU 103接收到來自CPU 102的指令之後,拼接來自多個攝像頭101的多路視頻流的同步視頻幀。拼接同步視頻幀的過程包括圖像預處理、圖像匹配、圖像再投影和圖像融合等。
採用圖像預處理對視頻幀進行模式化的先期處理,諸如修改視頻幀的色彩模式、視頻幀的大小或者進行濾波、畸變校正等,以提供能夠滿足後續的處理要求且易於處理的圖像。圖像匹配是根據視頻幀資料或攝像頭模型,將在不同方向使用不同攝像頭所採集到的兩幅或兩幅以上的視頻幀進行空間上的對齊的過程。例如,可以根據視頻幀的重疊的視場部分來實施圖像匹配。GPU 103可以採用基於特徵的匹配演算法或基於區域的匹配演算法來實施圖像匹配。優選地,GPU 103採用基於區域的匹配演算法來實施圖像匹配。基於區域的匹配演算法的邏輯判斷和分支處理比較少,包括大量高度並行化的重複性計算,因此其有利於在GPU上實現並且可以取得更好的加速性能。基於區域的匹配演算法包括利用整幅圖像的資訊建立兩幅圖像之間的相似性關係,然後採用某種搜索方法尋找相似性度量值最大或最小的變換模型的參數值。例如,以待匹配圖像中M的待匹配點P為中心圖元來創建匹配視窗(或匹配範本)。用匹配視窗內圖像的灰度資訊來表徵該圖元的特徵,同時在匹配圖像N 的搜索區域S中取出與匹配視窗同樣大小的圖元鄰域。根據相似性度量準則計算兩個視窗之間的相似程度。圖像再投影是求解所匹配的視頻幀間的變換模型,並且利用匹配參數將所有的同步視頻幀投影到同一坐標系下以合成一副圖像的過程。圖像融合是對所合成的圖像進行平滑處理,消除圖像合成時在重疊區域上出現的拼接縫和匹配誤差以改善所拼接的圖像的視覺效果的過程。由於在拼接同步視頻幀的過程中存在大量的平行計算,而GPU有強大的平行計算能力,因此其非常適合用來拼接同步視頻幀。GPU處理視頻幀的速度比CPU快,可以滿足即時生成全景視頻的要求。
在一個實施例中,GPU 103基於單指令多資料(Single Instruction Multiple Data,SIMD)機制,其包括多個流處理器,用於並行地執行拼接同步視頻幀的任務。優選地,GPU 103可以配置為基於CUDA拼接同步視頻幀。在CUDA程式設計環境中,CPU 102作為主機(Host),而GPU 103作為設備(Device)。CPU 102負責進行邏輯性強的交易處理和串列計算,以及GPU 103上執行緒的創建、顯存的申請與資料存取等工作。GPU 103專用於執行高度執行緒化的平行計算。在本發明的實施例中,在GPU 103中,拼接同步視頻幀的任務被組織成大量的平行線程,用於在流處理器中執行,該拼接視頻幀的任務包括圖像預處理、圖像匹配、圖像再投影和圖像融合等。CUDA採用統一處理架構,可以使得程式設計難度降低並且可以簡單地利用GPU的並行運算能力進行高強度運算。
優選地,移動設備進一步包括設備記憶體104,用於緩存將由GPU 103所處理的多路視頻流以及由GPU 103所生成的全景視頻。設 備記憶體104可以是獨立的記憶體或者是駐留在移動設備的系統記憶體內的記憶體。在一個實施例中,多個攝像頭101將多路視頻流經由移動設備中的資料匯流排直接傳送到設備記憶體104。之後GPU 103讀取存儲在設備記憶體104中的多路視頻流以進行處理。使用設備記憶體104來緩存多路視頻流有利於同步多個攝像頭的傳輸速率和GPU 103的處理速度。當GPU 103利用多路視頻流生成全景視頻之後,可以將所生成的全景視頻存儲在設備記憶體104中。
優選地,移動設備進一步包括系統記憶體105。在一個實施例中,多個攝像頭101將多路視頻流經由移動設備中的資料匯流排傳送到系統記憶體105,之後傳送到設備記憶體104。此外,存儲在設備記憶體104中的由GPU 103所生成的全景視頻可以傳送到系統記憶體105中。CPU 102可以讀取存儲在系統記憶體105中的全景視頻用於進一步的處理。
在一個實施例中,移動設備進一步包括顯示幕106,用於至少部分地顯示全景視頻。存儲在設備記憶體104中的全景視頻可以經由顯示幕介面輸出到顯示幕106上用於顯示。
在一個實施例中,全景視頻的每個幀都是可編輯的。可以在生成全景視頻的同時由GPU 103即時地對全景視頻的幀進行編輯。還可以由CPU 102對存儲在系統記憶體105中的全景視頻進行編輯。類似地,可以在採集視頻幀期間以及在對視頻幀進行處理之後即時地回應來自於使用者的控制指令。
在一個實施例中,GPU 103進一步配置為根據使用者指令 調整全景視頻在顯示幕106上的顯示內容。移動設備可以通過顯示幕或按鍵接收使用者調整顯示內容的指令。GPU 103根據使用者輸入的指令調整顯示內容,諸如調整視頻的亮度、對比度、色調等等或者改變全景視頻的大小、觀看角度等。全景視頻包括平面360°範圍內的場景資訊,使用者可以根據需要自由地選擇希望觀看的部分。
可選地,GPU 103進一步配置為根據使用者指令對全景視頻進行物件追蹤;顯示幕106進一步用於顯示所追蹤的物件。移動設備可以通過顯示幕或按鍵接收使用者追蹤物件的指令。GPU 103可以首先根據使用者的指令檢測待追蹤的物件,即目標物件。檢測就是從全景視頻的視頻幀序列中將感興趣的區域(目標物件區域)從背景圖像中提取出來,形成目標範本。之後GPU 103在視頻幀序列中尋找與目標範本最相似的圖像的位置以追蹤物件。GPU 103可以使用基於物件特徵點、物件範本或物件運動資訊的物件追蹤方法來追蹤物件。
可選地,GPU 103可以進一步配置為對全景視頻進行防抖運算。防抖運算包括圖像預處理、幀間運動估計、運動補償等。GPU 103可以首先對全景視頻的視頻幀進行圖像預處理,包括採用例如中值濾波、高斯去噪等來消除隨機的點狀雜訊,同時對圖像進行歸一化,例如轉變顏色空間以消除光照的影響。幀間運動估計演算法可以包括塊匹配演算法、代表點比較法、邊沿檢測匹配演算法、位元平面匹配演算法、投影演算法等。優選地,採用塊匹配演算法,其將每個視頻幀分為多個互不重疊的巨集塊,並且認為巨集塊內所有圖元的位移量相同。對於每個宏塊,即當前塊,在參考視頻幀中的某一給定的搜素範圍內根據特定 的匹配準則找出與該宏塊最相似的塊,即匹配塊。匹配塊與當前塊的相對位移是運動向量。運動補償是在運動向量的基礎上,利用前一幀對當前幀進行補償。由於全景視頻包括平面360°範圍內的場景資訊,因此當利用前一幀對當前幀進行補償時,邊緣部分不會出現陰影。
在一個實施例中,GPU 103基於CUDA實施上述的顯示內容的調整、物件追蹤和防抖運算。
根據本發明另一方面,還公開了一種用於生成全景視頻的移動設備。該移動設備包括CPU、GPU和USB介面。USB介面用於接收來自多個攝像頭的多路視頻流。CPU配置為向GPU發出處理多路視頻流的指令。GPU配置為根據指令利用平行計算拼接多路視頻流的同步視頻幀以即時生成全景視頻。
可選地,移動設備的USB介面與多個攝像頭所位於的視頻拍攝模組所使用的USB介面相匹配,其可以是母口。移動設備的USB介面可以是USB 2.0介面或USB 3.0介面。
移動設備可以進一步包括設備記憶體,用於緩存將由GPU所處理的多路視頻流以及由GPU所生成的全景視頻。
移動設備可以進一步包括顯示幕,用於至少部分地顯示全景視頻。
在上面關於用於生成全景視頻的系統的實施例描述中,已經描述了上述用於生成全景視頻的移動設備所涉及的USB介面、CPU、GPU、設備記憶體和顯示幕。為了簡潔,在此省略其具體描述。本領域的技術人員參考圖1和圖3B並結合上面的描述能夠理解其具體結構和運 行方式。
優選地,圖形處理單元進一步配置為基於統一計算設備架構(Compute Unified Device Architecture,CUDA)拼接同步視頻幀。優選地,多個攝像頭集成在移動設備中,其中多個攝像頭中的每一個包括CMOS感測器介面,其用於將多路視頻流中對應的一路傳送到圖形處理單元。優選地,多個攝像頭設置在與移動設備的頂表面平行的同一平面上。優選地,多個攝像頭集成到單獨的視頻拍攝模組中,視頻拍攝模組進一步包括通用序列匯流排(USB)介面,用於連接到移動設備的USB介面。
優選地,多個攝像頭的解析度和刷新率基於視頻拍攝模組的USB介面的頻寬來確定。優選地,多個攝像頭設置在當視頻拍攝模組與移動設備相連接時與移動設備的頂表面平行的同一平面上。優選地,多個攝像頭的每個能夠旋轉使其中光軸的方向在當視頻拍攝模組與移動設備相連接時在過攝像頭和移動設備的中垂線的平面內可調。
優選地,多個攝像頭是聯動的。優選地,多個攝像頭中的任意一個與其相鄰攝像頭之間存在重疊的視場部分,重疊的視場部分在多個攝像頭的光軸所在的面內的角度為3°至5°。優選地,多個攝像頭中的每一個的視角不小於60°。優選地,移動設備進一步包括設備記憶體,用於緩存將由圖形處理單元所處理的多路視頻流以及由圖形處理單元所生成的全景視頻。
優選地,移動設備進一步包括顯示幕,用於至少部分地顯示全景視頻。優選地,圖形處理單元進一步配置為根據使用者指令調整 全景視頻在顯示幕上的顯示內容。優選地,圖形處理單元進一步配置為根據使用者指令對全景視頻進行物件追蹤;顯示幕進一步用於顯示所追蹤的物件。優選地,圖形處理單元進一步配置為對全景視頻進行防抖運算。
優選地,圖形處理單元進一步配置為基於CUDA拼接同步視頻幀。優選地,移動設備進一步包括設備記憶體,用於緩存將由圖形處理單元所處理的多路視頻流以及由圖形處理單元所生成的全景視頻。優選地,移動設備進一步包括顯示幕,用於至少部分地顯示全景視頻。
熟識有關本發明之領域知識者藉由上述所說明之各實施例將知曉其它可能的改變包含進一步之增加、刪除、取代及修飾等。
1,2,3,4,5,6,7,8‧‧‧視場

Claims (9)

  1. 一種用於生成全景視頻的系統,包括多個攝像頭和移動設備,所述移動設備進一步包括中央處理單元和圖形處理單元,其中所述多個攝像頭用於在平面360°範圍內從不同方向採集視頻幀以生成多路視頻流;所述多個攝像頭中的任意一個與其相鄰攝像頭之間存在重疊的視場部分,而所述重疊的視場部分在所述多個攝像頭的光軸所在的面內的角度為3°至5°;所述中央處理單元配置為向所述圖形處理單元發出處理所述多路視頻流的指令;以及所述圖形處理單元配置為根據所述指令利用平行計算拼接所述多路視頻流的同步視頻幀以即時生成全景視頻。
  2. 如請求項1所述的系統,所述圖形處理單元進一步配置為基於統一計算設備架構拼接所述同步視頻幀。
  3. 如請求項1所述的系統,所述多個攝像頭集成在所述移動設備中,其中所述多個攝像頭中的每一個包括CMOS感測器介面,其用於將所述多路視頻流中對應的一路傳送到所述圖形處理單元。
  4. 如請求項1所述的系統,所述多個攝像頭集成到單獨的視頻拍攝模 組中,所述視頻拍攝模組進一步包括USB介面,用於連接到所述移動設備的USB介面。
  5. 如請求項1所述的系統,所述多個攝像頭中的每一個的視角不小於60°。
  6. 如請求項1所述的系統,所述移動設備進一步包括設備記憶體,用於緩存將由所述圖形處理單元所處理的所述多路視頻流以及由所述圖形處理單元所生成的所述全景視頻。
  7. 如請求項1所述的系統,所述移動設備進一步包括顯示幕,用於至少部分地顯示所述全景視頻。
  8. 如請求項1所述的系統,所述圖形處理單元進一步配置為對所述全景視頻進行防抖運算。
  9. 一種用於生成全景視頻的移動設備,包括中央處理單元、圖形處理單元和USB介面,其中所述USB介面用於接收來自多個攝像頭的多路視頻流;所述多個攝像頭中的任意一個與其相鄰攝像頭之間存在重疊的視場部分,而所述重疊的視場部分在所述多個攝像頭的光軸所在的面內的角 度為3°至5°;所述中央處理單元配置為向所述圖形處理單元發出處理所述多路視頻流的指令;以及所述圖形處理單元配置為根據所述指令利用平行計算拼接所述多路視頻流的同步視頻幀以即時生成全景視頻。
TW102140648A 2013-05-22 2013-11-08 用於生成全景視頻的移動設備和系統 TWI503786B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310193080.2A CN104184961A (zh) 2013-05-22 2013-05-22 用于生成全景视频的移动设备和***

Publications (2)

Publication Number Publication Date
TW201445505A TW201445505A (zh) 2014-12-01
TWI503786B true TWI503786B (zh) 2015-10-11

Family

ID=51935121

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102140648A TWI503786B (zh) 2013-05-22 2013-11-08 用於生成全景視頻的移動設備和系統

Country Status (3)

Country Link
US (1) US20140347439A1 (zh)
CN (1) CN104184961A (zh)
TW (1) TWI503786B (zh)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9565416B1 (en) 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
US9544574B2 (en) * 2013-12-06 2017-01-10 Google Inc. Selecting camera pairs for stereoscopic imaging
JP6434209B2 (ja) 2013-12-20 2018-12-05 株式会社リコー 画像生成装置、画像生成方法、およびプログラム
CN105100688B (zh) * 2014-05-12 2019-08-20 索尼公司 图像处理方法、图像处理装置和监视***
TWI516118B (zh) * 2014-12-22 2016-01-01 晶睿通訊股份有限公司 攝影裝置控制方法及其攝影裝置
CN104717470B (zh) * 2015-03-19 2017-10-10 天津大学 基于双路摄像头视频拼接的缓存与显示的装置与方法
CN104754231B (zh) * 2015-03-31 2019-02-19 Oppo广东移动通信有限公司 拍摄人物视频的方法及装置
CN110049206B (zh) * 2015-04-28 2021-08-10 腾讯科技(深圳)有限公司 图像处理方法、装置及计算机可读存储介质
US10582125B1 (en) * 2015-06-01 2020-03-03 Amazon Technologies, Inc. Panoramic image generation from video
CN105187753A (zh) * 2015-08-06 2015-12-23 佛山六滴电子科技有限公司 一种录制全景视频的***
CN105979242A (zh) * 2015-11-23 2016-09-28 乐视网信息技术(北京)股份有限公司 一种视频的播放方法和装置
EP3179712A1 (en) * 2015-12-10 2017-06-14 Thomson Licensing Method for generating or capturing a panoramic view, computer readable storage medium and apparatus configured to generate or capture a panoramic view
CN105872353A (zh) * 2015-12-15 2016-08-17 乐视网信息技术(北京)股份有限公司 一种在移动设备上实现播放全景视频的***和方法
CN105516596A (zh) * 2015-12-30 2016-04-20 完美幻境(北京)科技有限公司 一种全景拍摄处理方法、装置及***
CN106991701A (zh) 2016-04-21 2017-07-28 深圳市圆周率软件科技有限责任公司 一种用于全景拍摄设备参数的标定***及方法
CN106027886B (zh) * 2016-05-17 2019-08-06 深圳市极酷威视科技有限公司 一种全景视频实现同步帧的方法及***
CN106028115A (zh) * 2016-05-18 2016-10-12 乐视控股(北京)有限公司 视频播放方法和装置
CN105959562A (zh) * 2016-06-14 2016-09-21 完美幻境(北京)科技有限公司 获取全景拍摄数据的方法、装置以及便携式全景拍摄设备
CN110248103B (zh) * 2016-06-27 2021-07-16 联想(北京)有限公司 拍照方法、装置及电子设备
CN107872626B (zh) * 2016-09-26 2020-06-09 中国电信股份有限公司 全景视频播放方法和***以及用于全景视频播放的服务器
CN107948393A (zh) * 2016-10-13 2018-04-20 阿里巴巴集团控股有限公司 基于场景的应用操作方法、装置、终端设备和操作***
CN107959769B (zh) * 2016-10-17 2020-03-13 杭州海康威视数字技术股份有限公司 一种摄像机
US10432856B2 (en) * 2016-10-27 2019-10-01 Mediatek Inc. Method and apparatus of video compression for pre-stitched panoramic contents
CN106572312B (zh) * 2016-11-16 2020-08-04 深圳市梦网视讯有限公司 一种全景视频自适应光照补偿方法和***
CN106791886B (zh) * 2016-11-16 2020-03-17 深圳市梦网百科信息技术有限公司 一种基于视觉特性的全景视频分发方法和***
US11470249B1 (en) * 2017-01-02 2022-10-11 Gn Audio A/S Panoramic camera device
CN106815807B (zh) * 2017-01-11 2018-02-06 重庆市地理信息中心 一种基于gpu‑cpu协同的无人机影像快速镶嵌方法
US10506255B2 (en) 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
US11054886B2 (en) 2017-04-01 2021-07-06 Intel Corporation Supporting multiple refresh rates in different regions of panel display
US10506196B2 (en) 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
US10882453B2 (en) 2017-04-01 2021-01-05 Intel Corporation Usage of automotive virtual mirrors
US10904535B2 (en) 2017-04-01 2021-01-26 Intel Corporation Video motion processing including static scene determination, occlusion detection, frame rate conversion, and adjusting compression ratio
US10453221B2 (en) 2017-04-10 2019-10-22 Intel Corporation Region based processing
US10638124B2 (en) 2017-04-10 2020-04-28 Intel Corporation Using dynamic vision sensors for motion detection in head mounted displays
US10574995B2 (en) 2017-04-10 2020-02-25 Intel Corporation Technology to accelerate scene change detection and achieve adaptive content display
US10587800B2 (en) 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
CN107026995A (zh) * 2017-04-13 2017-08-08 安徽森云科教设备有限公司 录播设备及录播方法
US10547846B2 (en) 2017-04-17 2020-01-28 Intel Corporation Encoding 3D rendered images by tagging objects
US10623634B2 (en) 2017-04-17 2020-04-14 Intel Corporation Systems and methods for 360 video capture and display based on eye tracking including gaze based warnings and eye accommodation matching
US10402932B2 (en) 2017-04-17 2019-09-03 Intel Corporation Power-based and target-based graphics quality adjustment
US10726792B2 (en) 2017-04-17 2020-07-28 Intel Corporation Glare and occluded view compensation for automotive and other applications
US10456666B2 (en) 2017-04-17 2019-10-29 Intel Corporation Block based camera updates and asynchronous displays
CN107027042B (zh) * 2017-04-19 2020-08-07 中国电子科技集团公司电子科学研究院 一种基于多gpu的全景实时视频流处理方法及装置
US10939038B2 (en) 2017-04-24 2021-03-02 Intel Corporation Object pre-encoding for 360-degree view for optimal quality and latency
US10424082B2 (en) 2017-04-24 2019-09-24 Intel Corporation Mixed reality coding with overlays
US10643358B2 (en) 2017-04-24 2020-05-05 Intel Corporation HDR enhancement with temporal multiplex
US10908679B2 (en) 2017-04-24 2021-02-02 Intel Corporation Viewing angles influenced by head and body movements
US10979728B2 (en) 2017-04-24 2021-04-13 Intel Corporation Intelligent video frame grouping based on predicted performance
US10475148B2 (en) 2017-04-24 2019-11-12 Intel Corporation Fragmented graphic cores for deep learning using LED displays
US10525341B2 (en) 2017-04-24 2020-01-07 Intel Corporation Mechanisms for reducing latency and ghosting displays
US10158833B2 (en) 2017-04-24 2018-12-18 Intel Corporation High dynamic range imager enhancement technology
US10565964B2 (en) 2017-04-24 2020-02-18 Intel Corporation Display bandwidth reduction with multiple resolutions
CN107396068A (zh) * 2017-08-30 2017-11-24 广州杰赛科技股份有限公司 全景视频同步拼接***、方法及全景视频显示装置
GB2571502B (en) * 2017-09-30 2022-07-13 Onyenobi Timothy Mobile device multi camera system
WO2019075617A1 (zh) * 2017-10-16 2019-04-25 深圳市大疆创新科技有限公司 一种视频处理方法、控制终端及可移动设备
WO2019090699A1 (zh) * 2017-11-10 2019-05-16 陈加志 一种双镜头智能摄像设备及其摄像方法
US10496579B2 (en) * 2017-11-13 2019-12-03 Bobby Gene Burrough Graphics processing unit with sensor interface
CN108391050B (zh) * 2018-02-12 2020-04-14 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108510445A (zh) * 2018-03-30 2018-09-07 长沙全度影像科技有限公司 一种全景图像拼接方法
CN109688327B (zh) * 2018-12-18 2020-08-07 影石创新科技股份有限公司 一种全景视频防抖的方法、装置及便携式终端
CN109688329B (zh) * 2018-12-24 2020-12-11 天津天地伟业信息***集成有限公司 一种针对高精度全景视频的防抖方法
CN111192230B (zh) * 2020-01-02 2023-09-19 北京百度网讯科技有限公司 基于多相机的图像处理方法、装置、设备和可读存储介质
CN113469200A (zh) 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法和***、存储介质、计算设备
CN113905171B (zh) * 2020-07-06 2024-04-26 瑞昱半导体股份有限公司 多路图像处理装置及方法
CN112291593B (zh) * 2020-12-24 2021-03-23 湖北芯擎科技有限公司 数据同步方法和数据同步装置
CN114885087A (zh) * 2021-02-05 2022-08-09 三赢科技(深圳)有限公司 全景拍照装置及全景图像的拍摄方法
CN113225491B (zh) * 2021-04-01 2023-01-31 桂林电子科技大学 一种嵌入式多镜头全景视频成像方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101082766A (zh) * 2006-06-01 2007-12-05 上海杰图软件技术有限公司 一种快速采集全景图像的设备和方法
TW201228332A (en) * 2010-12-20 2012-07-01 Hui-Chuan Chien Mobile electronic device
TW201233156A (en) * 2011-01-26 2012-08-01 Altek Corp Method and system for controlling external lens
US8416282B2 (en) * 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8824730B2 (en) * 2004-01-09 2014-09-02 Hewlett-Packard Development Company, L.P. System and method for control of video bandwidth based on pose of a person
US20120229596A1 (en) * 2007-03-16 2012-09-13 Michael Kenneth Rose Panoramic Imaging and Display System With Intelligent Driver's Viewer
JP5593695B2 (ja) * 2009-12-28 2014-09-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
CN102457713B (zh) * 2010-10-29 2014-06-25 西门子公司 轨道侧故障检测***及其实现方法和装置
JP5020398B1 (ja) * 2011-06-29 2012-09-05 パナソニック株式会社 画像変換装置、カメラ、画像変換方法およびプログラム
CN104350734B (zh) * 2012-06-11 2017-12-12 索尼电脑娱乐公司 图像生成设备以及图像生成方法
US20140321771A1 (en) * 2013-04-24 2014-10-30 Qualcomm Incorporated Techniques for real-time clearing and replacement of objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101082766A (zh) * 2006-06-01 2007-12-05 上海杰图软件技术有限公司 一种快速采集全景图像的设备和方法
US8416282B2 (en) * 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image
TW201228332A (en) * 2010-12-20 2012-07-01 Hui-Chuan Chien Mobile electronic device
TW201233156A (en) * 2011-01-26 2012-08-01 Altek Corp Method and system for controlling external lens

Also Published As

Publication number Publication date
US20140347439A1 (en) 2014-11-27
TW201445505A (zh) 2014-12-01
CN104184961A (zh) 2014-12-03

Similar Documents

Publication Publication Date Title
TWI503786B (zh) 用於生成全景視頻的移動設備和系統
US11276149B2 (en) Double non-local means denoising
US9639935B1 (en) Apparatus and methods for camera alignment model calibration
CN110663245B (zh) 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法
US10999512B2 (en) Apparatus and methods for rolling shutter compensation for multi-camera systems
US9426451B2 (en) Cooperative photography
US11523101B2 (en) System and method for capturing omni-stereo videos using multi-sensors
US11323628B2 (en) Field of view adjustment
US10148875B1 (en) Method and system for interfacing multiple channels of panoramic videos with a high-definition port of a processor
WO2015081870A1 (zh) 一种图像处理方法、装置及终端
US11412150B2 (en) Entropy maximization based auto-exposure
WO2018121401A1 (zh) 一种全景视频图像的拼接方法及全景相机
US20210224543A1 (en) Scene classification for image processing
WO2017112800A1 (en) Macro image stabilization method, system and devices
TWI615808B (zh) 全景即時影像處理方法
US10051192B1 (en) System and apparatus for adjusting luminance levels of multiple channels of panoramic video signals
US11636708B2 (en) Face detection in spherical images
CN208572246U (zh) 基于以太网同步的阵列相机

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees