TW201905850A - 在影像中去除處理物件客體的方法及執行這種方法的裝置 - Google Patents

在影像中去除處理物件客體的方法及執行這種方法的裝置

Info

Publication number
TW201905850A
TW201905850A TW107122400A TW107122400A TW201905850A TW 201905850 A TW201905850 A TW 201905850A TW 107122400 A TW107122400 A TW 107122400A TW 107122400 A TW107122400 A TW 107122400A TW 201905850 A TW201905850 A TW 201905850A
Authority
TW
Taiwan
Prior art keywords
image
processing
omnidirectional
shooting
omnidirectional image
Prior art date
Application number
TW107122400A
Other languages
English (en)
Inventor
金勇國
趙成來
金勇進
金俊世
Original Assignee
南韓商林克普洛股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商林克普洛股份有限公司 filed Critical 南韓商林克普洛股份有限公司
Publication of TW201905850A publication Critical patent/TW201905850A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

本發明涉及在影像中去除處理物件客體的方法及執行這種方法的裝置。在影像中去除處理物件客體的方法包括：影像處理裝置在上述影像中確定上述處理物件客體的步驟；以及上述影像處理裝置執行與上述處理物件客體有關的影像後處理的步驟，上述處理物件客體可以為未想拍攝的客體。

Description

在影像中去除處理物件客體的方法及執行這種方法的裝置
本發明涉及在影像中去除處理物件客體的方法及執行這種方法的裝置，更詳細地，涉及透過影像後處理去除由影像處理裝置拍攝的視頻資訊中的不必要（或不恰當）的客體的影像處理方法及裝置。
全方位（omnidirectional）影像系統為能夠以特定視點為基準來記錄所有方向（360度）的影像資訊的影像系統。與以往的影像系統相比，可獲取更廣的視野角度（field-of-view）的影像，因此，近來在應用於電腦視覺、移動機器人等的研究領域的同時還應用於監視系統、虛擬實境系統、雲台變焦（PTZ，pan-tilt-zoom）攝像頭、視訊會議等的實用領域，應用範圍逐漸變大。
為了獲取全方位影像，可以使用多種方法。例如，接合以滿足單一視點（single view point）的光軸（optical axis）為基準來通過使一個攝像頭旋轉而獲取的影像，從而生成全方位影像。或者，也可以使用以環形結構排列多個攝像頭並組合各個攝像頭所獲取的影像的方法。使用人員可使用多種全方位影像處理裝置（或全方位影像處理攝像頭、360度攝像頭）來生成全方位影像。
在透過全方位影像處理裝置生成全方位影像的情況下，有可能存在不必要（或不恰當）地拍攝的客體，從而需要對這種不必要（或不恰當）地拍攝的客體進行後續處理。
技術問題
本發明的目的在於解決上述問題。
並且，本發明的目的在於，在透過全方位影像處理裝置拍攝的全方位影像中，將不必要（或不恰當）地拍攝的客體確定為處理物件客體，在全方位影像中，透過影像後處理對處理物件客體進行處理。
並且，本發明的另一目的在於，在全方位影像中，即使在進行和處理物件客體有關的影像後處理之後，也可透過影像插值於去除處理物件客體之後生成自然的全方位影像。解決問題的方案
用於實現上述目的的本發明的代表性結構如下。
根據本發明的一實施方式，在影像中去除處理物件客體的方法可包括：影像處理裝置在上述影像中確定上述處理物件客體的步驟；以及上述影像處理裝置執行和上述處理物件客體有關的影像後處理的步驟，上述處理物件客體可以為未想拍攝的客體。
根據本發明的另一實施方式，在影像中去除處理物件客體的影像處理裝置包括：通訊部，用於與外部裝置進行通訊；以及處理器，以可進行操作（operatively）的方式與上述通訊部相連接，上述處理器在上述影像中確定上述處理物件客體，可執行和上述處理物件客體有關的影像後處理，上述處理物件客體可以為未想拍攝的客體。發明的效果
根據本發明，本發明具有如下效果，即，在透過全方位影像處理裝置拍攝的全方位影像中，將不必要（或不恰當）地拍攝的客體確定為處理物件客體，在全方位影像中，透過影像後處理來對處理物件客體進行處理。
並且，根據本發明，本發明具有如下效果，即，在全方位影像中，即使在進行和處理物件客體有關的影像後處理之後，也可透過影像插值於去除處理物件客體之後生成自然的全方位影像。
對於以下所述本發明的詳細說明可參照以實施本發明的特定實施例為例示所顯示之附圖。以下將詳細說明此種實施例，以使本發明所屬技術領域的普通技術人員可以實施本發明。本發明的多種實施例雖然互不相同，但是相互沒有排他性。例如，在本說明書中記載的特定形狀、結構及特性可在不超出本發明的思想和範圍的情況下從一實施例變更為其他實施例。並且，各個實施例或個別結構要素的位置或配置也可以在不超出本發明的思想和範圍的情況下變更。因此，以下所述的詳細說明並不用於限定本發明，本發明的範圍應理解為包括與本發明要求保護範圍中的權利要求項所申請的範圍及等同的所有範圍。圖中，相似的附圖標記在多個方面表示相同或相似的結構要素。
以下，參照附圖，詳細說明本發明的多個較佳實施例，以使本發明所屬技術領域的通常知識者可以輕鬆實施本發明。
以下，本發明實施例的影像處理裝置可包括全方位影像處理裝置。全方位影像處理裝置可包括可拍攝全方位影像（或360度影像）的全方位攝像頭（360度攝像頭）。
並且，以下，在本發明的實施例中公開的影像資訊、視頻資訊可包含全方位影像（或360度影像）。
圖1為本發明實施例的全方位影像處理裝置的示意圖。
圖1中揭露全方位影像處理裝置的結構。
參照圖1，全方位影像處理裝置100形成為可穿戴結構，即，可形成為與可佩戴在使用人員的脖子上的項鍊相似的形狀。如圖1所示，全方位影像處理裝置100可形成為一面開放的項鍊形狀，也可形成為一面未開放的項鍊形狀。以下，在本發明的實施例中，全方位影像處理裝置100呈一面開放的U字形狀。此種U字形狀的全方位影像處理裝置100能夠以可穿戴（wearable device）形態掛在使用人員的脖子上來拍攝全方位影像。
在本發明的實施例中，為了說明的便利，全方位影像處理裝置100以項鍊形態（或，一面開放的項鍊形態，U字形態）穿戴在使用人員的脖子。但是，全方位影像處理裝置100並非簡單穿戴在使用人員的脖子。例如，全方位影像處理裝置100以穿戴或附著的多種形態設置於使用人員的其他身體部位或外部物體（或客體）、裝置、結構物等來獲取全方位影像。
使用人員在脖子上戴上以可穿戴裝置形式形成的全方位影像處理裝置100，於雙手自由的狀態下，可獲取用於生成全方位影像的多個影像。
全方位影像處理裝置100可包括多個影像拍攝部。多個影像拍攝部分別在全方位影像處理裝置以特定間隔（或預先設定的間隔）設置，來單獨拍攝基於視場、拍攝線的影像。多個影像拍攝部各個的位置可固定於全方位影像處理裝置100，多個影像拍攝部各自均可移動，多個影像拍攝部各自的位置可以改變。
例如，全方位影像處理裝置100可包括3個影像拍攝部，3個影像拍攝部可按規定視場（field of view）（例如，120度至180度）拍攝全方位影像。3個影像拍攝部可以為第一影像拍攝部110、第二影像拍攝部120、第三影像拍攝部130。
以下，為了方便說明，揭露全方位影像處理裝置100包括3個影像拍攝部的結構。但是，全方位影像處理裝置100可包括多個（例如，2、4、5、6個等）影像拍攝部，而並非3個，由此拍攝全方位影像，此種形態亦屬於本發明的發明要求保護範圍。
第一影像拍攝部110、第二影像拍攝部120、第三影像拍攝部130可根據視場來拍攝影像。在相同時間資源內，透過第一影像拍攝部110生成第一影像，透過第二影像拍攝部120生成第二影像，透過第三影像拍攝部130生成第三影像。第一影像拍攝部110、第二影像拍攝部120、第三影像拍攝部130各自的視場可以為120度以上，在第一影像、第二影像及第三影像中，可存在重疊的拍攝區域。之後，透過全方位影像處理裝置100對在相同時間資源內拍攝的第一影像、第二影像及第三影像進行拼接、修正來生成全方位影像。對於多個影像的拼接與/或修正步驟可在全方位影像處理裝置自身執行，還可基於可與全方位影像處理裝置100進行通訊的使用人員裝置（智慧手機）來執行。即，和所生成的多個影像有關的追加影像處理步驟可透過全方位影像處理裝置100與/或其他影像處理裝置（智慧手機、個人電腦（PC，personal computer）等）來執行。
以下，具體說明全方位影像處理裝置的具體特徵及全方位影像生成方法。
圖2為本發明的全方位影像處理裝置所處的多個影像拍攝部的特性的示意圖。
圖2中揭露在U字形的全方位影像處理裝置所處的多個影像拍攝部的特徵。圖2中揭露的影像拍攝部的位置為例示性的。多個影像拍攝部可為了拍攝用於生成全方位影像的多個影像而分別位於全方位影像處理裝置上的多種位置。
在圖2的上端部分示出全方位影像處理裝置的後部面。
全方位影像處理裝置所包括的第一影像拍攝部210及第二影像拍攝部220可位於全方位影像處理裝置中的存在曲率的彎曲部分。具體地，在使用人員將作為可穿戴裝置的全方位影像處理裝置戴在脖子上的情況下，可在與脖子的後部相接觸的彎曲區域設置第一影像拍攝部210及第二影像拍攝部220。例如，以U字形的全方位影像處理裝置的最大曲率位置（例如，U字形的中間部分）為基準，第一影像拍攝部210及第二影像拍攝部220可位於規定距離上。第一影像拍攝部210可對包括以使用人員的視線（line of sight）方向為基準的後面左側死角區域在內的區域進行拍攝。第二影像拍攝部220可對包括以使用人員的視線為基準的後面右側死角區域在內的區域進行拍攝。具體地，第一影像拍攝部210具有第一視場，可對與第一視場相對應的區域進行拍攝。第二影像拍攝部220具有第二視場，可對與第二視場相對應的區域進行拍攝。例如，第一視場及第二視場可以為120度至180度。
在基於第一影像拍攝部210及第二影像拍攝部220進行拍攝的情況下，可產生因第一視場和第二視場而重疊的第一重疊區域215。之後，可基於考慮到重疊區域的拼接來生成全方位影像。
在圖2的下端部分顯示全方位影像處理裝置的前面部。
可在全方位影像處理裝置的前面部設置第三影像拍攝部230。具體地，第三影像拍攝部230可位於全方位影像處理裝置的末端部（U字形的末端部分）。在使用人員將全方位影像處理裝置作為可穿戴裝置來戴在脖子上的情況下，U字形的全方位影像處理裝置的末端部分可位於使用人員的前面方向（使用人員的視線方向）。全方位影像處理裝置包括第一末端部和第二末端部，第三影像拍攝部230可位於第一末端部和第二末端部中的一個末端部。
第三影像拍攝部230可透過沿著與使用人員的視線方向相同的方向執行拍攝來執行對與使用人員視線相對應的區域的拍攝。
具體地，第三影像拍攝部230具有第三視場，可執行對於與第三視場相對應的區域的拍攝。例如，第三視場可以為120度至180度。在基於第三影像拍攝部230執行拍攝的情況下，可產生第一影像拍攝部210的第一視場與第三影像拍攝部230的第三視場之間的第二重疊區域225。在基於第三影像拍攝部230執行拍攝的情況下，可產生第二影像拍攝部220的第二視場與第三影像拍攝部230的第三視場之間的第三重疊區域235。
因戴在脖子的可穿戴裝置的結構方面的原因，在脖子上戴上全方位影像處理裝置的情況下，第一影像拍攝部210、第二影像拍攝部220能夠以地面為基準來位於第三影像拍攝部230的上方。並且，第三影像拍攝部230僅位於一側末端部分。
在以往的全方位影像處理裝置中，位於相同高度的多個影像拍攝部具有規定角度，相反，在本發明實施例的全方位影像處理裝置中，多個影像拍攝部之間的角度可不同，所處的高度也可不同。因此，與透過多個影像拍攝部生成的多個影像有關的第一重疊區域215、第二重疊區域225及第三重疊區域235的大小、形態可不同。
之後，基於對透過考慮第一重疊區域215、第二重疊區域225及第三重疊區域235的第一影像拍攝部210、第二影像拍攝部220及第三影像拍攝部230分別生成的第一影像、第二影像及第三影像進行影像處理步驟（拼接、校準）來生成全方位影像。
第一視場、第二視場、第三視場的大小可以相同，也可以不同，這種實施例也屬於本發明的範圍。
圖3為本發明實施例的影像拍攝部的拍攝線的示意圖。
圖3顯示設置於全方位影像處理裝置的多個影像拍攝部各個的拍攝線。在假設地面與由X軸和Z軸構成的XZ平面平行的情況下，拍攝線可以為在以X軸、Y軸、Z軸表示的空間中垂直貫通全方位影像處理裝置中的多個影像拍攝部各自的鏡頭的中央的線。
以往的全方位影像處理裝置可在相同高度使多個影像拍攝部按規定角度（例如，120度）隔開。於此種情況下，以往的全方位影像處理裝置中的多個影像拍攝部的多個拍攝線與地面（或XZ平面）平行並可以為在多個拍攝線之間形成規定角度（例如，120度）的多個線。
如上所述，本發明實施例的全方位影像處理裝置可在拍攝時使得多個影像拍攝部的高度（或多個影像拍攝部的設置位置）及多個影像拍攝部之間的角度（或在拍攝先之間形成的角度）變得不同。因此，本發明實施例的全方位影像處理裝置的拍攝線的特性與以往的全方位影像處理裝置的拍攝線的特性存在差異。
圖3為用於呈現多個影像拍攝部各自的拍攝線與因可穿戴設備的特性所引起的多個拍攝部各自的拍攝線之間的特性（例如，高度、角度）的差異的例示。並且，在圖3中，拍攝線可以為在穿戴全方位影像處理裝置的使用人員沒有進行移動或者全方位影像處理裝置在特定狀態下固定的情況下的拍攝線。
在圖3的上端部分顯示第一影像拍攝部310及第二影像拍攝部320的拍攝線。第一影像拍攝部310及第二影像拍攝部320可位於比第三影像拍攝部330相對高的位置。在假設穿戴全方位影像處理裝置的使用人員的站立方向為Y軸方向的情況下，因戴在脖子的可穿戴設備的結構方面的原因，在全方位影像拍攝裝置中，第一影像拍攝部310及第二影像拍攝部320所在的具有曲率的部分（U字形中的曲線、中央部分）相對位於上方，第三影像拍攝330所在的腿部分（U字形中的末端部分）相對位於下方。
例如，第一影像拍攝部310的第一拍攝線315與XZ平面平行，在Y軸的座標a上，可與X軸形成第一角度，可與Y軸形成第二角度，可與Z軸形成第三角度。
第二影像拍攝部320的第二拍攝線325與XZ平面平行，在Y軸中的座標a上，可與X軸形成第四角度，可與Y軸形成第五角度，可與Z軸形成第六角度。
參照圖3的下端部分，第三影像拍攝部330的第三拍攝線335與XZ平面平行，在Y軸的座標b上，可與X軸形成第七角度，可與Y軸形成第八角度，可與Z軸形成第九角度。b的值可小於a的值。第三影像拍攝部330的第三拍攝線335與XZ平面平行，與使用人員的視線相同地朝向前部面（例如，與XZ平面垂直的方向）。
即，第一拍攝線315及第二拍攝線325以Y軸為基準來具有相同高度，第三拍攝線335能夠以Y軸為基準來位於比第一拍攝線及第二拍攝線相對低的位置。圖3中示出的第一拍攝線315、第二拍攝線325及第三拍攝線335為具有不同特性的拍攝線的一個例示，可形成其他多種拍攝線並可拍攝全方位影像。
圖4為本發明實施例的多個影像拍攝部的拍攝線的示意圖。
圖4中揭露與圖3不同的多個影像拍攝部的拍攝線。同樣，在圖4中，假設地面與由X軸和Z軸形成的XZ平面平行。
在圖4的上端部分示出第一影像拍攝部410及第二影像拍攝部420的拍攝線。
第一影像拍攝部410及第二影像拍攝部420的位置高於第三影像拍攝部430的位置。同樣，在假設使用人員站立的方向為Y軸方向的情況下，因戴在脖子的可穿戴設備的結構方面的原因，在全方位影像拍攝裝置中，第一影像拍攝部410及第二影像拍攝部420所在的具有曲率的部分（U字形中的曲線部分）相對位於上方，第三影像拍攝部430所在的腿部分（U字形中的末端部分）相對位於下方，從而拍攝影像。
例如，第一影像拍攝部410的第一拍攝線415與XZ平面平行，在Y軸的座標a上，可與X軸形成第一角度，可與Y軸形成第二角度，可與Z軸形成第三角度。
第二影像拍攝部420的第二拍攝線425與XZ平面平行，在Y軸的座標a上，可與X軸形成第四角度，可與Y軸形成第五角度，可與Z軸形成第六角度。
在圖4的下端部分顯示第三影像拍攝部430的拍攝線。
第三影像拍攝部430的第三拍攝線435可不與XZ平面平行，將Y軸的座標b作為起始位置，可與X軸形成第七角度，可與Y軸形成第八角度，可與Z軸形成第九角度。
第三影像拍攝部430位於全方位影像處理裝置的末端部，因此，拍攝線可不與XZ平面平行，而與XZ平面形成規定角度（例如，0度至30度）。
即，第一拍攝線415及第二拍攝線425以Y軸為基準來具有相同高度，第三拍攝線435以Y軸為基準來位於比第一拍攝線415及第二拍攝線425相對低的位置。並且，第一拍攝線415及第二拍攝線425與XZ平面平行，但是，第三拍攝線435可不與XZ平面平行。
作為本發明的另一實施例，例如，第一影像拍攝部的第一拍攝線與XZ平面形成第一角度'，以Y軸的座標a作為起始位置，可與X軸形成第一角度，可與Y軸形成第二角度，可與Z軸形成第三角度。或者，第二影像拍攝部的第二拍攝線與XZ平面形成第一角度'，以Y軸的座標a作為起始位置，可與X軸形成第四角度，可與Y軸形成第五角度，可與Z軸形成第六角度。第三影像拍攝部的第三拍攝線與XZ平面形成第二角度'，以Y軸的座標b作為起始位置，可與X軸形成第七角度，可與Y軸形成第八角度，可與Z軸形成第九角度。
作為本發明的另一實施例，例如，第一影像拍攝部的第一拍攝線與XZ平面形成第一角度'，以Y軸的座標a作為起始位置，可與X軸形成第一角度，可與Y軸形成第二角度，可與Z軸形成第三角度。並且，第二影像拍攝部的第二拍攝線與XZ平面形成第二角度'，以Y軸的座標a作為起始位置，可與X軸形成第四角度，可與Y軸形成第五角度，可與Z軸形成第六角度。第三影像拍攝部的第三拍攝線與XZ平面形成第三角度'，以Y軸的座標b作為起始位置，可與X軸形成第七角度，可與Y軸形成第八角度，可與Z軸形成第九角度。
即，與現有的多個影像拍攝部各自的拍攝線在相同的Y軸位置與地面形成相同角度的影像處理裝置不同，在本發明實施例的全方位影像處理裝置中，多個影像拍攝部各自的拍攝線位於Y軸上的不同位置，可與地面（或XZ平面）形成不同角度。
本發明實施例的可穿戴全方位影像處理裝置很難自由地特定需要拍攝的被拍攝體，不僅如此，存在有可能非必要地拍攝身體部位的可能性。如圖4的處理物件客體450，存在對身體部位進行拍攝的可能性。
例如，當全方位影像處理裝置進行拍攝時，靠近全方位影像處理裝置的身體部位有可能被拍攝。若全方位影像裝置位於頭部附近，則將在所拍攝的全方位影像中包含關於頭髮等的圖像，若全方位影像裝置呈現戴在脖子的形態，則將在所拍攝的全方位影像中主要包含關於下巴和肩膀的圖像。
在全方位影像中包含被拍攝的身體的一部分的情況下，有可能會對欣賞全方位影像產生影響。因此，需使全方位影像處理裝置具有在全方位影像中判斷不必要（或不恰當）地包括在全方位影像中的客體（例如，身體部位）來自動去除的功能、透過指定有效的拍攝區域並進行拍攝使欣賞人員欣賞到更加高品質的拍攝結果物的功能。
以下，在本發明的實施例中，不必要（或不恰當）地包括在全方位影像的客體可能夠以處理物件客體此一術語所表示。有效的拍攝區域可以為除包括處理物件客體的拍攝區域之外的區域。
對於處理物件客體的判斷及處理可透過全方位影像處理裝置或從全方位影像處理裝置接收全方位影像資訊來進行處理的額外的外部裝置所執行。以下，判斷處理物件客體並執行影像後處理的裝置能夠以影像處理裝置此一術語所表示。影像處理裝置可包括全方位影像處理裝置與/或外部裝置。
在影像中對處理物件客體進行處理的影像處理裝置可包括：通訊部，用於與外部裝置進行通訊；以及處理器，以可進行操作（operatively）的方式與通訊部相連接。處理器可執行以下在本發明中所述對於處理物件客體的影像處理。
並且，以下，在本發明的實施例中，為了說明的便利，揭露在全方位影像中去除處理物件客體的方法，亦可於非為全方位影像的普通影像中去除處理物件客體的方法中採用本發明，此種實施例亦屬於本發明的範圍。
以下，具體說明對於處理物件客體的判斷方法及對於處理物件客體的影像後處理方法。
圖5為本發明實施例的與處理物件客體有關的影像處理方法的示意圖。
參照圖5，為了判斷是否存在處理物件客體，可在全方位影像中確定判斷物件區域（步驟S500）。
判斷物件區域可以為在全方位影像中判斷是否存在處理物件客體的區域。作為另一種表達，判斷物件區域可以為在全方位影像中的透過全方位影像處理裝置拍攝的未想拍攝的處理物件客體所在的區域。
判斷物件區域可基於多種方法確定。判斷物件區域可預先設定或者基於拍攝距離所確定，或者透過學習所確定。判斷物件區域的確定方法將於以下所述。預先設定判斷物件區域，並迅速判斷在判斷物件區域內是否存在處理物件客體。
可對處理物件客體是否存在於判斷物件區域內進行判斷（步驟S510）。
處理物件客體可以為在全方位影像中不必要（或不恰當）地拍攝的客體。如上所述，在全方位影像處理裝置為可穿戴裝置的情況下，使用人員的特定身體部位（下巴、肩膀等）被不必要（或不恰當）地拍攝並存在於全方位影像。作為其他表達，處理物件客體可以為未想拍攝的客體。
處理物件客體為基於預設的身體部位或影像拍攝部的位置以臨界距離以下進行接近並拍攝的客體。例如，如下巴或肩膀等的部位基於影像拍攝部的位置在臨界距離以下的靠近距離進行拍攝，以此，在臨界距離以下的靠近距離拍攝的客體可被確定為處理物件客體。
或者，處理物件客體亦可以為基於影像拍攝部的位置在臨界距離以下靠近拍攝使焦點變得不準的客體。
接著，可執行對於處理物件客體的影像後處理（步驟S520）。
在判斷物件區域內存在處理物件客體的情況下，可執行對於處理物件客體的影像後處理。
具體地，全方位影像包括多個幀，在多個幀中，可對包括處理物件客體的幀執行後處理。具體地，去除處理物件客體或者處理物件客體可基於其他幀的影像資訊、包括處理物件客體的幀的周邊影像資訊進行插值。將於後述內容中具體說明影像後處理方法。
在判斷物件區域內不存在處理物件客體的情況下，能夠以不進行對於處理物件客體的追加的影像後處理的方式提供全方位影像。
並且，根據本發明的實施例，亦能夠以不確定判斷物件區域的方式在全方位影像中直接判斷是否存在處理物件客體之後執行對於處理物件客體的影像後處理。即，在全方位影像中，能夠以不設定單獨區域的方式判斷是否存在處理物件客體，並執行對於處理物件客體的影像後處理。
圖6為本發明實施例的對判斷物件區域進行確定的方法的示意圖。
圖6中揭露在全方位影像中對用於探索處理物件客體的判斷物件區域進行確定的方法。
參照圖6，在使用人員將全方位影像處理裝置戴在脖子上的情況下，透過全方位影像處理裝置來拍攝處理物件客體600（例如，使用人員的肩膀區域圖像）。即，全方位影像可包括處理物件客體600。
判斷物件區域650可為全方位影像內的包括透過全方位影像處理裝置拍攝到並不想拍攝的處理物件客體600的區域。作為另一表達，判斷物件區域650可為在全方位影像內用於判斷是否存在處理物件客體600的區域。即，判斷物件區域650可為用於判斷處理物件客體600是否存在於全方位區域內而預先定義的區域。
或者，判斷物件區域650可為超出當前所要透過全方位影像處理裝置進行拍攝的關心區域的區域（或焦點未對準（out of focus）區域）。關心區域為全方位影像處理裝置的焦點正確的區域或者以所要拍攝的全方位影像的中心為基準的規定範圍內的區域。或者，判斷物件區域650可以為與位於全方位影像的拍攝中心的客體之間的關聯度低的背景區域。
或者，判斷物件區域650可為拍攝距離與臨界距離（例如，30cm）相比更接近的區域。拍攝距離可為全方位影像處理裝置的影像拍攝部與客體之間的距離。例如，如在上述的本發明的實施例中揭露的全方位影像處理裝置，在將全方位影像處理裝置戴在脖子的情況下，佩戴全方位影像處理裝置的使用人員的肩膀可位於臨界距離以內的拍攝距離，與臨界距離以內的拍攝距離相對應的區域可被確定為判斷物件區域。
圖7為本發明實施的對判斷物件區域進行確定的方法的示意圖。
圖7中揭露在全方位影像中對包含處理物件圖像的判斷物件區域進行確定的方法。圖7中，尤其，揭露基於學習（learning）來確定判斷物件區域的方法。
參照圖7，當考慮全方位影像處理裝置的結構時，在全方位影像的特定區域持續拍攝到使用人員的特定身體部位（例如，肩膀）的可能性高。於此種情況下，在全方位影像中，可將存在使用人員的特定身體部位的圖像的可能性高的區域設定為判斷物件區域700。
可將存在使用人員的肩膀圖像的可能性高的區域設定為判斷物件區域700，亦可透過對存在使用人員的肩膀圖像的可能性高的區域進行學習來設定判斷物件區域700。
例如，收集透過全方位影像處理裝置拍攝的全方位影像，可在所收集的全方位影像內執行和作為處理物件客體存在的肩膀圖像有關的學習。於此種情況下，存在處理物件客體的判斷物件區域700透過學習適應性產生變更。對全方位影像執行和處理物件客體的位置有關的學習，可將存在處理物件客體的可能性達到臨界百分比以上的區域確定為判斷物件區域700。
圖8為本發明實施例的處理物件客體確定方法的示意圖。
圖8中揭露在全方位影像的判斷物件區域中確定處理物件客體的方法。
參照圖8，可以預先設定處理物件客體840。如上所述，在全方位影像處理裝置為可穿戴裝置的情況下，特定身體部位（下巴、肩膀等）可作為處理物件客體840來被拍攝。
在全方位影像中，在有可能存在處理物件客體840的判斷物件區域或在整體全方位影像區域中可以判斷處理物件客體840是否存在。在全方位區域內存在處理物件客體840的情況下，透過影像後處理去除處理物件客體840，或者處理物件客體840基於包含處理物件客體840的幀的周邊影像資訊與/或其他幀的影像資訊進行插值。將於後述內容中詳細說明影像後處理方法。
為了確定在判斷物件區域是否存在處理物件客體840，與處理物件客體840有關的範本圖像作為基準處理物件圖像800以預先存儲。在處理物件客體圖像為因全方位處理裝置的結構而非必要地拍攝的使用人員的下巴、肩膀等的圖像的情況下，基準處理物件圖像800可為作為用於對在全方位影像中非必要地拍攝的使用人員的下巴、肩膀等的圖像進行判斷的基準圖像。
基於基準處理物件圖像800和所拍攝的全方位影像中的判斷物件客體圖像820之間的比較來判斷物件客體是否為處理物件客體840。
例如，在判斷物件區域存在第一客體、第二客體、第三客體的情況下，第一客體、第二客體、第三客體為判斷物件客體，第一客體、第二客體、第三客體各自的圖像可以為判斷物件客體圖像820。
分析判斷物件客體圖像820與基準處理物件圖像800之間的類似度（或匹配度），在類似度高的情況下，判斷物件客體可被確定為處理物件客體。
根據本發明的實施例，可執行和處理物件客體有關的學習。如上所述，透過對在全方位影像中的處理物件客體的持續學習，基準處理物件圖像800可以更新，可增加與處理物件客體有關之判斷的準確度。
在未對處理物件客體840預先設定的情況下，如下圖像可被設定為判斷物件客體。
例如，判斷物件客體可以為：1）在臨界時間內存在於判斷物件區域的客體；2）在判斷物件區域內反復出現的客體；3）即使全方位影像處理裝置的拍攝位置產生移動，也在臨界時間內存在於判斷物件區域或者在判斷物件區域反復出現的客體；4）在臨界時間內存在於全方位影像中的客體；5）在全方位影像中反復出現的客體；以及6）即使全方位影像處理裝置的拍攝位置產生移動，也在臨界時間內存在於全方位影像或者反復出現的客體。
於存在如上所述的判斷物件客體的情況下，向執行全方位影像拍攝的使用人員請求對是否進行與物件客體有關的後處理進行判斷。
例如，在使用人員的頭髮、使用人員的下巴圖像被判斷為判斷物件客體的情況下，可向使用人員請求是否執行與使用人員的頭髮、使用人員的下巴圖像有關的影像後處理。在使用人員請求對於相應客體的影像後處理的情況下，可執行對於客體的影像後處理。
圖9為本發明實施例的處理物件客體的影像後處理方法的示意圖。
圖9揭露與處理物件客體有關的影像後處理方法。尤其，揭露基於包括處理物件客體的物件幀的周邊影像資訊來執行對於包括處理物件客體的影像區域的插值的方法。
參照圖9，亦透過與包括處理物件客體的區域有關的單獨的影像插值以生成全方位影像。包括處理物件客體的幀以插值物件幀900此一術語來表示，執行包括處理物件客體的影像插值的區域能夠以插值物件區域920此一術語來表示。
具體地，基於物件幀的周邊像素資訊來執行影像插值並生成後處理全方位影像。
在插值物件幀900的插值物件區域920包含處理物件客體的情況下，基於位於插值物件區域920的外圍區域940的像素資訊來執行和插值物件區域920有關的影像插值。例如，外圍區域940為以插值物件區域920的外圍線為基準，向與處理物件客體的中心方向的相反方向存在n（其中，n為自然數）個像素所在的區域，或者，包含以區域的外圍線為基準來沿著與處理物件客體的中心方向相反的方向位於規定距離的像素的區域。
與基於在外圍區域940所處的像素資訊的插值物件區域920有關的插值可基於多種方法來執行。
插值物件區域920可被分為多個下位插值物件區域，多個下位插值物件區域基於最靠近的外圍區域的像素資訊（亮度資訊、色差資訊等）來進行插值。
為了提高插值準確度，多個下位插值物件區域的劃分可考慮外圍區域940的像素特性所執行。例如，考慮外圍區域940的像素特性的變化程度，可執行多個下位插值物件區域的劃分。具體地，考慮外圍區域940中的像素的亮度資訊及色差資訊的變化程度，判斷變化度是否為規定臨界變化度以上，來執行與外圍區域940有關的劃分。透過此種劃分，可提高插值準確度。
圖10為本發明實施例的處理物件客體的影像後處理方法的示意圖。
圖10中揭露與處理物件客體有關的影像後處理方法。於圖10中，尤其揭露以包括處理物件客體的物件幀為基準來以考慮之前幀的影像資訊的方式對包含處理物件客體的影像區域進行插值的方法。
參照圖10，第n幀為插值對象幀1000，插值物件區域1020可包括處理物件客體。作為參照幀1050的第n-a幀（其中，a為自然數）可為用於插值物件幀1000的影像後處理而參照的幀。參照幀1050以插值對象幀1000的生成時間點為基準來在臨界時間內生成的幀。或者，參照幀1050亦可為用於插值物件幀1000的譯碼/編碼而參照的幀，或者，可為影像特性資訊的類似度相對高的幀。可基於參照幀1050中的參照區域的影像資訊來執行與插值物件區域1020有關的插值。
為了方便說明，揭露一個參照幀1050、參照區域1070，但參照幀、參照區域可為多個，多個參照幀的影像資訊亦可用於插值物件幀1000的插值。
參照幀1050可透過考慮插值物件幀1000的影像資訊所確定。在參照的幀的影像資訊和插值幀的影像資訊之間的類似度不高的情況下，當進行插值時，影像的異質感進一步增加。於此種情況下，不進行基於參照區域的影像插值步驟。
為確定參照幀1050，判斷類似度的幀可透過參照候補幀此一術語來表示。參照候補幀可包括與插值物件區域1020相對應的參照候補區域。基於插值物件幀之間的類似度來將參照候補幀確定為參照幀1050，參照後補區域可被確定為參照區域1070。
參照候補幀的影像資訊與插值物件幀1000的影像資訊之間的類似度基於參照候補幀的參照候補區域的外圍區域的像素特性資訊及插值物件區域1020的外圍區域的像素特性資訊來確定。具體地，可確定參照候補區域的外圍區域的像素特性資訊（例如，亮度資訊、色差資訊）和插值物件區域1020的外圍區域的像素特性資訊（例如，亮度資訊、色差資訊）之間的類似度。
如上所述，外圍區域為以插值物件區域1020的外圍線為基準向與處理物件客體的中心相反方向形成n（其中，n為自然數）個像素的區域，或者，以區域的外圍線為基準，向處理獨享客體的中心的相反方向包括位於規定距離的像素的區域。
透過對插值物件區域1020的像素特性資訊與參照候補區域的像素特性資訊的比較來確定類似度。或者，插值物件區域1020的外圍區域可以被分為多個第一下位外圍區域，參照候補區域的候補外圍區域可被分為多個第二下位外圍區域，與多個第一下位外圍區域和多個第二下位外圍區域相對應，透過與像素特性資訊有關的比較來確定類似度。在類似度為臨界類似度以上的情況下，參照候補幀被確定為參照幀1050，參照候補區域被確定為參照區域1070。
與基於位於參照區域1070的影像資訊的插值物件區域1020有關的插值可基於多種方法執行。
位於參照區域的影像資訊可作為插值物件區域1020的影像資訊。或者，插值物件區域1020被分為多個下位插值物件區域，多個下位插值物件區域基於最靠近的外圍區域的像素資訊（亮度資訊、色差資訊等）來插值。為提高插值準確度，多個下位插值物件區域的分割考慮外圍區域的像素特性來執行。例如，考慮外圍區域的像素特性的變化程度來執行多個下位插值物件區域的分割。
基於圖9中揭露的插值物件幀的影像資訊來執行與插值物件區域有關的插值的方法及基於圖10中的參照區域的影像資訊來執行影像插值的方法可以組合使用。
例如，均考慮位於插值物件區域1020的外圍區域的像素資訊、參照區域1070的像素資訊，可執行與插值物件區域有關的插值。具體地，插值物件區域1020中，中心部分為考慮參照區域1070的像素資訊以執行插值，插值物件區域1020中，除中心部分之外的外圍部分為考慮位於插值物件區域1020的外圍區域的像素資訊以執行插值。
或者，未插值地執行與包括處理物件客體的區域有關的刪除。未插值地執行與包括處理物件客體的區域有關的刪除的區域可為去除物件區域。例如，在全方位影像中的規定區域繼續拍攝使用人員的肩膀圖像的情況下，將肩膀圖像確定為處理物件客體，去除包括肩膀圖像的區域（或包含包括肩膀圖像的區域的去除物件區域）來生成後處理全方位影像。去除物件區域可為與規定範圍的視覺相對應的區域，去除物件區域可在全方位影像中去除。
圖11為本發明實施例的處理物件客體的影像後處理方法的示意圖。
圖11中揭露與處理物件客體有關的判斷方法。
參照圖11，對各個幀判斷是否存在處理物件客體有可能對影像後處理產生負擔。因此，基於與特徵幀有關的處理物件客體的判斷結果，對特定幀的之後幀使用特定幀的判斷結果來追加執行與處理物件客體有關的判斷。
具體地，基於上述方法，可確定在第一幀1100存在處理物件客體。於第一幀1100存在處理物件客體的情況下，有可能在第一幀之後拍攝幀1150也持續或反復拍攝處理物件客體。因此，與第一幀之後拍攝幀1150有關的處理物件客體的存在與否的判斷可基於在第一幀1100存在的處理物件客體來執行。
提取在第一幀1100存在的處理物件客體的特性資訊，判斷具有與處理物件客體的特性資訊類似的特性資訊的客體是否在第一幀之後拍攝幀1150存在。即，第一幀1100的處理物件客體圖像被設定為一個基準，之後，對第一幀之後拍攝幀1150，基於第一幀1100的處理物件客體圖像的類似度來確定是否存在處理物件客體。
即，對第一幀之後拍攝幀1150不執行與個別幀有關的處理物件客體的存在與否判斷，透過與第一幀1100的處理物件客體的存在與否有關的推定，判斷處理物件客體是否包含在之後幀。與處理物件客體的存在與否有關的推定基於客體的移動向量來執行，或者在設定的判斷物件區域內執行。
圖12為本發明實施例的全方位影像處理裝置的動作的示意圖。
圖12中揭露全方位影像處理裝置的動作。
參照圖12，如上所述，全方位影像處理裝置1200可包括多個影像拍攝部1250。
多個影像拍攝部1250各個的鏡頭部基於硬體來物理驅動，從而可調節特定方向的視覺（或拍攝線的角度），或者，基於軟體來調節特定方向的視覺（或拍攝線的角度）。
根據本發明的實施例，全方位影像處理裝置1200可回饋和處理物件客體有關的判斷結果資訊。全方位影像處理裝置1200基於和處理物件客體有關的判斷結果資訊來確定與需要變更的特定方向的視覺（或拍攝線的角度）有關的資訊（以下，驅動控制資訊）並控制多個影像拍攝部1250各個的驅動。
並且，基於與處理物件客體有關的判斷結果資訊來確定與需要變更的特定方向的視覺（或拍攝線的角度）有關的資訊（以下，驅動控制資訊），全方位影像處理裝置1200基於回饋驅動控制資訊以控制多個影像拍攝部1250各個的驅動。
在全方位影像內確定處理物件客體的位置，基於處理物件客體的位置以確定驅動控制資訊。驅動控制資訊在全方位影像內，除處理物件客體，包含與用於拍攝的視覺有關的資訊。
在全方位影像內，除處理物件客體之外，確定用於拍攝的第一視覺，與第一視覺有關的資訊作為第一次驅動控制資訊向全方位影像處理裝置1200傳送。
基於第一次驅動控制資訊，全方位影像處理裝置1200的影像拍攝部1250可以變更視覺。基於第一次驅動控制資訊，根據變更的視覺，追加判斷拍攝的全方位影像是否包含處理物件客體。在全方位影像包含處理物件客體的情況下，生成用於追加驅動控制的第二次驅動控制資訊，並向全方位影像處理裝置1200傳送。
即，透過此種回饋方式的視覺調節，透過全方位影像處理裝置1200拍攝的影像不會包含處理物件客體或者最大程度減少處理物件客體呈現的區域。
在執行與全方位影像處理裝置1200有關的視覺調節的過程中，限制需要調節的視覺的範圍，來防止因過度視覺調節而引起的影像的減少。例如，在限制或調節的視覺的範圍大的情況下，無法對全方位影像的一部分視覺的拍攝。因此，設定可調節的視覺的範圍，以防止超出可調節的視覺的範圍的方式設定視覺。
以上說明的本發明的實施例以可透過多種電腦結構要素執行的程式指令的形態體現，並記錄在電腦可讀記錄介質。上述電腦可讀記錄介質可包括程式指令、資料檔案、資料結構等單獨或其等之組合。在上述電腦可讀記錄介質記錄的程式指令為了本發明而特殊設計的結構，電腦軟體領域的普通技術人員可以公知使用。電腦可讀記錄介質的例如下，如硬碟、軟碟與磁帶的磁介質、如CD-ROM與DVD的光記錄介質、如光碟（floptical disk）的磁光介質（magneto-optical medium）及如ROM、RAM、快閃記憶體等以存儲程式指令並執行的方式特殊構成的硬體裝置。作為程式指令的範例，包括透過編譯器形成的機械代碼與使用翻譯器等來透過電腦執行的高階語言代碼。硬體裝置為了執行本發明的處理而變更為一個以上的軟體模組，反之亦然。
以上，本發明透過如具體結構要素等的特定事項和限定實施例及附圖說明，這些僅係為幫助理解本發明的整體內容所提供，本發明並未局限於上述實施例，本發明所屬技術領域的通常知識者可由此種記載進行多種修改及變更。
因此，本發明的思想並不局限於上述說明的實施例，發明要求保護案範圍、與上述發明要求保護範圍等同或與其等同的變更的所有範圍均屬於本發明的思想範疇。
100‧‧‧全方位影像處理裝置
110‧‧‧第一影像拍攝部
120‧‧‧第二影像拍攝部
130‧‧‧第三影像拍攝部
210‧‧‧第一影像拍攝部
215‧‧‧第一重疊區域
220‧‧‧第二影像拍攝部
225‧‧‧第二重疊區域
230‧‧‧第三影像拍攝部
235‧‧‧第三重疊區域
310‧‧‧第一影像拍攝部
315‧‧‧第一拍攝線
320‧‧‧第二影像拍攝部
325‧‧‧第二拍攝線
330‧‧‧第三影像拍攝部
335‧‧‧第三拍攝線
410‧‧‧第一影像拍攝部
415‧‧‧第一拍攝線
420‧‧‧第二影像拍攝部
425‧‧‧第二拍攝線
430‧‧‧第三影像拍攝部
435‧‧‧第三拍攝線
450‧‧‧處理物件客體
600‧‧‧處理物件客體
650‧‧‧判斷物件區域
700‧‧‧判斷物件區域
800‧‧‧基準處理物件圖像
820‧‧‧判斷物件客體圖像
840‧‧‧處理物件客體
900‧‧‧插值物件幀
920‧‧‧插值物件區域
940‧‧‧外圍區域
1000‧‧‧插值對象幀
1020‧‧‧插值物件區域
1050‧‧‧參照幀
1070‧‧‧參照區域
1100‧‧‧第一幀
1150‧‧‧第一幀之後拍攝幀
1200‧‧‧全方位影像處理裝置
1250‧‧‧影像拍攝部
a‧‧‧座標
b‧‧‧座標
S500‧‧‧步驟
S510‧‧‧步驟
S520‧‧‧步驟
圖1為本發明實施例的全方位影像處理裝置的示意圖。 圖2為在本發明實施例的全方位影像處理裝置所處的多個影像拍攝部的特性的示意圖。 圖3為本發明實施例的多個影像拍攝部的拍攝線的示意圖。 圖4為本發明實施例的多個影像拍攝部的拍攝線的示意圖。 圖5為本發明實施例的與處理物件客體有關的影像處理方法的示意圖。 圖6為本發明實施例的對判斷物件區域進行確定的方法的示意圖。 圖7為本發明實施例的對判斷物件區域進行確定的方法的示意圖。 圖8為本發明實施例的處理物件客體確定方法的示意圖。 圖9為本發明實施例的處理物件客體的影像後處理方法的示意圖。 圖10為本發明實施例的處理物件客體的影像後處理方法的示意圖。 圖11為本發明實施例的處理物件客體的影像後處理方法的示意圖。 圖12為本發明實施例的全方位影像處理裝置的動作的示意圖。

Claims (11)

  1. 一種全方位影像處理裝置，其特徵在於，包括： 多個影像拍攝部，用於生成全方位影像的生成所需的多個影像；以及 處理器，用於處理該多個影像， 該多個影像基於該多個影像拍攝部各自的多個拍攝線所生成， 該多個拍攝線分別為垂直通過該多個影像拍攝部各自所包括的多個攝像頭各自的中心的虛擬線。
  2. 如請求項1所述之全方位影像處理裝置，其中，該多個拍攝線中的至少一拍攝線與地面之間的角度不同於該多個拍攝線中的除該至少一拍攝線之外的剩餘拍攝線與該地面之間的角度。
  3. 如請求項2所述之全方位影像處理裝置，其中，以該地面作為基準，該多個影像拍攝部中的至少一影像拍攝部的位置位於相對於該多個影像拍攝部中的除該至少一影像拍攝部之外的剩餘影像拍攝部的位置更低的位置。
  4. 如請求項3所述之全方位影像處理裝置，其中，該處理器在該多個影像中確定該處理物件客體，執行與該處理物件客體有關的影像後處理，該處理物件客體為未想拍攝的客體。
  5. 如請求項4所述的全方位影像處理裝置，其中，對該處理物件客體是否存在於判斷物件區域內進行判斷，該判斷物件區域透過對於與在該多個影像中所包含的該處理物件客體相同的客體的拍攝位置進行學習所確定。
  6. 一種全方位影像處理方法，其特徵在於，包括： 多個影像拍攝部生成全方位影像的生成所需的多個影像的步驟；以及 透過處理該多個影像以生成全方位影像的步驟， 該多個影像基於該多個影像拍攝部各自的多個拍攝線所生成， 該多個拍攝線分別為垂直通過該多個影像拍攝部各自所包括的多個攝像頭各自的中心的虛擬線。
  7. 如請求項6所述之全方位影像處理方法，其中，該多個拍攝線中的至少一拍攝線與地面之間的角度不同於該多個拍攝線中的除該至少一拍攝線之外的剩餘拍攝線與該地面之間的角度。
  8. 如請求項7所述之全方位影像處理方法，其中，以該地面作為基準，該多個影像拍攝部中的至少一影像拍攝部的位置位於相對於該多個影像拍攝部中的除該至少一影像拍攝部之外的剩餘影像拍攝部的位置更低的位置。
  9. 如請求項8所述之全方位影像處理方法，其中，進一步包括： 在該多個影像中確定該處理物件客體的步驟；以及 執行與該處理物件客體有關的影像後處理的步驟， 該處理物件客體為未想拍攝的客體。
  10. 如請求項9所述之全方位影像處理方法，其中，對該處理物件客體是否存在於判斷物件區域內進行判斷，該判斷物件區域透過對於與在該多個影像中所包含的該處理物件客體相同的客體的拍攝位置進行學習所確定。
  11. 一種電腦可讀記錄介質，其特徵在於，記錄有用於執行請求項6至10中任一項所述之全方位影像處理方法之電腦程式。
TW107122400A 2017-06-29 2018-06-28 在影像中去除處理物件客體的方法及執行這種方法的裝置 TW201905850A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170082441A KR101856546B1 (ko) 2017-06-29 2017-06-29 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치
??10-2017-0082441 2017-06-29

Publications (1)

Publication Number Publication Date
TW201905850A true TW201905850A (zh) 2019-02-01

Family

ID=62185772

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107122400A TW201905850A (zh) 2017-06-29 2018-06-28 在影像中去除處理物件客體的方法及執行這種方法的裝置

Country Status (7)

Country Link
US (1) US11076096B2 (zh)
EP (1) EP3648051A4 (zh)
JP (1) JP2020525922A (zh)
KR (1) KR101856546B1 (zh)
CN (1) CN110892444A (zh)
TW (1) TW201905850A (zh)
WO (1) WO2019004530A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI772018B (zh) * 2020-05-21 2022-07-21 聯詠科技股份有限公司 用於編碼及解碼私密資料的方法及圖像處理裝置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101843336B1 (ko) * 2017-06-29 2018-05-14 링크플로우 주식회사 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치
JP6985609B2 (ja) * 2018-05-21 2021-12-22 日本電信電話株式会社 符号化装置、画像補間システム及び符号化プログラム
USD966263S1 (en) * 2019-11-09 2022-10-11 Olivier Sosak Wearable digital assistant device
KR102495926B1 (ko) * 2020-11-26 2023-02-06 주식회사 라온솔루션 연산량을 분배할 수 있는 스마트 아이티 레퍼런스 보드 시스템
US11706710B2 (en) 2021-07-13 2023-07-18 Hewlett Packard Enterprise Development Lp Optimizing service period negotiations in WLAN networks

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100353792B1 (ko) * 1999-12-08 2002-09-26 주식회사 문화방송 초상권 보호 장치 및 그 방법
JP2009294955A (ja) * 2008-06-05 2009-12-17 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置、画像処理方法、画像処理プログラムおよび同プログラムを記録した記録媒体。
JP5246275B2 (ja) * 2011-01-25 2013-07-24 株式会社ニコン 撮像装置およびプログラム
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
KR101640527B1 (ko) * 2012-10-09 2016-07-18 에스케이 텔레콤주식회사 단일객체의 크기를 추정하는 영상 감시장치 및 방법
US20140321771A1 (en) * 2013-04-24 2014-10-30 Qualcomm Incorporated Techniques for real-time clearing and replacement of objects
KR101946019B1 (ko) * 2014-08-18 2019-04-22 삼성전자주식회사 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법
JP2016103806A (ja) * 2014-11-28 2016-06-02 キヤノン株式会社 撮像装置、画像処理装置、撮像システム、画像処理方法およびプログラム
KR101764845B1 (ko) * 2015-06-08 2017-08-03 군산대학교 산학협력단 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
KR101723210B1 (ko) * 2015-12-22 2017-04-05 우덕명 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법
CN106157502A (zh) * 2016-08-28 2016-11-23 烟台三环锁业集团股份有限公司 一种基于多传感器融合技术主动防御智能入侵探测设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI772018B (zh) * 2020-05-21 2022-07-21 聯詠科技股份有限公司 用於編碼及解碼私密資料的方法及圖像處理裝置
US11463240B2 (en) 2020-05-21 2022-10-04 Novatek Microelectronics Corp. Methods and image processing devices for encoding and decoding private data

Also Published As

Publication number Publication date
US20200120276A1 (en) 2020-04-16
JP2020525922A (ja) 2020-08-27
CN110892444A (zh) 2020-03-17
EP3648051A4 (en) 2021-01-13
US11076096B2 (en) 2021-07-27
WO2019004530A1 (ko) 2019-01-03
KR101856546B1 (ko) 2018-05-11
EP3648051A1 (en) 2020-05-06

Similar Documents

Publication Publication Date Title
TW201905850A (zh) 在影像中去除處理物件客體的方法及執行這種方法的裝置
US10666856B1 (en) Gaze-directed photography via augmented reality feedback
JP6632443B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
JP6025690B2 (ja) 情報処理装置および情報処理方法
US20190172227A1 (en) Information processing apparatus and method and program
US20170345183A1 (en) Robust Head Pose Estimation with a Depth Camera
US20170316582A1 (en) Robust Head Pose Estimation with a Depth Camera
JP2015088095A (ja) 情報処理装置および情報処理方法
JP2015088096A (ja) 情報処理装置および情報処理方法
US20140009503A1 (en) Systems and Methods for Tracking User Postures to Control Display of Panoramas
JP2015088098A (ja) 情報処理装置および情報処理方法
US10419670B2 (en) Omnidirectional image capturing method and apparatus performing the method
JP2020053774A (ja) 撮像装置および画像記録方法
KR101810671B1 (ko) 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
KR101856547B1 (ko) 사용자 신호 처리 방법 및 이러한 방법을 수행하는 장치
US10917566B2 (en) Optimum situation determination imaging method and device for performing the method
KR102178990B1 (ko) 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
KR20190002281A (ko) 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치
KR102213308B1 (ko) 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치
KR20190002279A (ko) 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치
JP5808787B2 (ja) 情報処理装置および情報処理方法
KR20190002282A (ko) 사용자 신호 처리 방법 및 이러한 방법을 수행하는 장치