TWI569641B - 影像擷取方法及電子裝置 - Google Patents

Description

影像擷取方法及電子裝置

本揭示文件係關於影像擷取方法，尤指一種用以產生全景影像的影像擷取方法。

近來，數位相機、智慧型手機及平板電腦等電子裝置已普遍成為現代生活中的必備物品，藉此，使用者可以便利地記錄生活周遭的景物或重要事件。然而，電子裝置上的攝影鏡頭通常有一定的限制(例如廣角端僅能容納一定的取像範圍)。當使用者想拍攝壯觀的自然景色、巨大的建築物、圓形廣場的人群、大篇幅的藝術創作或是在拍攝團體照時，經常會遭遇到無法在同一張照片中容納攝影主題的全貌。

在高階的攝影器材中或許可以更換超廣角的鏡頭或利用特殊的魚眼鏡頭來擷取更大角度的景色，但一般的數位相機、智慧型手機及平板電腦並無法任意更換鏡頭或相機模組。

近來發展出以軟體處理方式實現全景影像(PANORAMA IMAGE)攝影的解決方案。一般來說，進入全景影像攝影模式時，由使用者手動拍攝多張影像，隨後將多張影像接合形成全景影像。

目前常見的作法，是由使用者自行調整多張影像取景位置，再由攝影裝置或電腦進行影像處理與接合，產生全景影像。然而，目前的作法使用者需要一定的拍攝技巧，由使用者自行判斷應該旋轉多少角度後拍攝下一張影像，否則會造成影像接合的處理難度提高(例如無法判斷兩張待接合影像之間的相對關係)，或是影像接合後的整體效果不如預期(例如影像接合處明顯不自然或有錯誤)。

依據本揭示文件之一實施態樣，其揭示一種用於電子裝置的影像擷取方法，影像擷取方法包含：計算電子裝置拍攝之第一影像畫面中的複數個特徵點；根據第一影像畫面中該些特徵點之分佈，計算電子裝置往一方向旋轉時的最大旋轉角度；以及，當電子裝置往該方向旋轉已達最大旋轉角度時，自動拍攝第二影像畫面。

依據本揭示文件之另一實施態樣，其揭示一種用於電子裝置的全景影像產生方法，全景影像產生方法包含：拍攝第一影像畫面；計算第一影像畫面中的複數個特徵點；根據第一影像畫面中該些特徵點之分佈，計算電子裝置往一方向旋轉時的最大旋轉角度；當電子裝置往該方 向旋轉已達最大旋轉角度時，自動拍攝第二影像畫面，第一影像畫面與第二影像畫面用以接合為全景影像。

依據本揭示文件之另一實施態樣，其揭示一種電子裝置，包含動態感測器、影像擷取單元、顯示單元以及處理單元。動態感測器用以偵測電子裝置之軸向。顯示單元用以顯示使用者介面。處理單元耦接動態感測器、影像擷取單元以及顯示單元。

當影像擷取單元拍攝第一影像畫面時，處理單元用以計算第一影像畫面中的複數個特徵點，根據第一影像畫面中該些特徵點之分佈計算電子裝置往一方向旋轉時的最大旋轉角度，並於使用者介面上提示最大旋轉角度的相對位置。

當動態感測器偵測電子裝置往該方向旋轉已達最大旋轉角度時，處理單元用以驅動影像擷取單元拍攝第二影像畫面，第一影像畫面與第二影像畫面用以接合為全景影像。

如上述實施態樣，本揭示文件提出影像擷取方法、全景影像產生方法以及電子裝置，其可根據當前的影像畫面計算其中的特徵點之分佈，並根據各方向邊界上的特徵點分佈，得知各方向上的最大旋轉角度，方便使用者快速的將電子裝置旋轉至最佳的位置，確保影像接合的效果，並可有效利用較少的影像擷取次數形成覆蓋最大視角範圍的全景影像。

為讓本揭示內容能更明顯易懂，所附符號之說明如下：

100‧‧‧影像擷取方法

200‧‧‧電子裝置

220‧‧‧動態感測器

240‧‧‧影像擷取單元

260‧‧‧顯示單元

280‧‧‧處理單元

ZONE1‧‧‧右側畫面

ZONE2‧‧‧左側畫面

IMG1‧‧‧第一影像畫面

IMG2R、IMG2L、IMG2T、IMG2B‧‧‧第二影像畫面

FP‧‧‧特徵點

AX0‧‧‧初始軸向

AX1、AX2、AX3、AX4‧‧‧軸向

OL1、OL2、OL3、OL4‧‧‧重疊部份

θ 1、θ 2、θ 3、θ 4‧‧‧最大旋轉角度

TO、TR、TL、TT、TB‧‧‧對焦框

S102~S116‧‧‧步驟

為讓本案能更明顯易懂，所附圖式之說明如下：第1圖繪示根據本揭示文件之一實施例中一種影像擷取方法的方法流程圖；第2圖繪示根據本揭示文件之一實施例中一種電子裝置的功能方塊圖；第3A圖繪示根據本揭示文件之一實施例中電子裝置拍攝之第一影像畫面的示意圖；第3B圖繪示第3A圖之第一影像畫面中的特徵點的示意圖；第4圖繪示在不同方向上旋轉並拍攝之第二影像畫面的示意圖；以及第5圖繪示在不同方向上旋轉並拍攝之第二影像畫面的示意圖。

以下將以圖式及詳細敘述清楚說明本揭示內容之精神，任何所屬技術領域中具有通常知識者在瞭解本揭示內容之較佳實施例後，當可由本揭示內容所教示之技術，加以改變及修飾，其並不脫離本揭示內容之精神與範圍。

請參閱第1圖，其繪示根據本揭示文件之一實施例中一種影像擷取方法100的方法流程圖，於此實施例中，影像擷取方法100可用來產生全景影像(panorama image)，也就是說，影像擷取方法100所擷取的多個影像可彼此接合(stitch)為對應較大視角的全景影像。

此實施例中的影像擷取方法100可應用於電子裝置上，請參閱第2圖，其繪示根據本揭示文件之一實施例中一種電子裝置200的功能方塊圖。如第2圖所示，電子裝置200包含動態感測器220、影像擷取單元240、顯示單元260以及處理單元280。處理單元280耦接動態感測器220、影像擷取單元240以及顯示單元260。

影像擷取單元240可包含鏡頭、光學模組以及影像感測單元，此為習知技藝之人所熟知，在此不另贅述，影像擷取單元240可設置於電子裝置200其中一側表面上，朝向取景之方向拍攝影像畫面。電子裝置200可為數位相機、數位單反相機、數位無反相機、照相手機、智慧型手機或其他具有影像擷取單元240的等效性電子設備。

動態感測器220用以偵測電子裝置200之軸向，例如電子裝置200的機身的水平偏轉向量、垂直偏轉向量、相較地磁北的偏轉角度至少其一。也就是說，動態感測器220可得知影像擷取單元240拍攝影像畫面時所面對的取景軸向；此外，在取景過程中顯示即時畫面的同時，動態感測器220亦可偵測影像擷取單元240當下面對的即時軸向。實際應用中，動態感測器220包含陀螺儀(gyro sensor)、電子羅盤(electronic compass)與重力感測器(gravity sensor,G-sensor)中至少一者。

顯示單元260用以顯示使用者介面(user interface,UI)，使用者介面上可展示影像擷取單元240所擷取的影像畫面、取景過程中的即時取景畫面、攝影過程的相關訊息(例 如光圈、快門、電量、時間、焦距等)以及其他的使用提示。

如第1圖之實施例所示，影像擷取方法100首先執行步驟S102，利用影像擷取單元240拍攝第一影像畫面。於此實施例中，當第一影像畫面拍攝時，影像擷取方法100執行步驟S104，利用動態感測器220取得電子裝置200之初始軸向，第一影像畫面拍攝時電子裝置200的三維軸向。

接著，影像擷取方法100執行步驟S106，計算拍攝之第一影像畫面中的複數個特徵點。請一併參閱第3A圖及第3B圖，第3A圖繪示根據本揭示文件之一實施例中電子裝置200拍攝之第一影像畫面IMG1的示意圖，第3B圖繪示第3A圖之第一影像畫面IMG1中的特徵點FP的示意圖。如第3A圖所示之例子，步驟S106拍攝的第一影像畫面IMG1，內容可能包含多個物件，例如，人物、背景、車輛、樹木或各種物體、形狀、色塊等。處理單元280可根據第一影像畫面IMG1的內容進行影像處理，以找出第一影像畫面IMG1中的複數個特徵點(feature point)FP，第一影像畫面IMG1中包含許多個特徵點FP，特徵點FP的分佈情況如第3B圖所示。

在影像處理的實際應用中，在影像內容中辨識特徵點的演算法有非常多方式，例如人臉特徵辨識、指紋辨識、邊緣偵測、轉角偵測、區塊偵測、脊偵測等各種在影像中擷取特徵點的演算法，本實施例可採用一種或結合多種演算法由第一影像畫面IMG1找出特徵點FP，第3A圖與第3B圖所繪示的特徵點FP主要是以邊緣偵測演算法作例 示性的說明，但本揭示文件並不以特定演算法為限。

此外，本揭示文件以特徵點FP來舉例說明影像處理後得到之特徵圖案位置所在，但特徵點FP並不僅限於單一個點(point)或單一個座標，亦可為多個像素組成的圖像區塊或圖像特徵範圍等。

影像擷取方法100執行步驟S108，根據第一影像畫面IMG1中該些特徵點FP之分佈，計算電子裝置200往特定方向旋轉時的最大旋轉角度。下列段落將詳細說明如何由第一影像畫面IMG1中該些特徵點FP之分佈計算最大旋轉角度。

如第3A圖及第3B圖所示的例子當中，第一影像畫面IMG1原構圖的右側畫面ZONE1變化較少、物件較分散或可分辨的特徵較少；相對的左側畫面ZONE2變化較多、物件較集中或可分辨的特徵較多。第一影像畫面IMG1中右側畫面ZONE1的特徵點FP密度較低，左側畫面ZONE2的特徵點FP密度較高。

當使用者旋轉電子裝置200試圖想要拍攝另一影像畫面，並且將另一影像畫面與原影像畫面(即第一影像畫面IMG1)接合，使兩張影像畫面結合為視角範圍較廣的全景影像時，使用者必須決定需要旋轉電子裝置200多少角度。

若使用者旋轉的角度過大，使另一影像畫面與原影像畫面重疊的部分過少(甚至沒有任何重疊)時，電子裝置200將無法透過影像處理的分式找出兩個影像之間的對應關係，因此無法進行有效的影像接合(image stitching)。若旋 轉的角度過小，使另一影像畫面與原影像畫面重疊的部分過大(甚至兩張影像角度差異不大)時，則電子裝置200需要多次拍攝新的影像才能覆蓋新的視野角度，因此，使用者可能需要拍攝許多張影像，並反覆進行許多次的影像接合，將造成處理效率低落。

請一併參閱第4圖，其繪示在不同方向上旋轉並拍攝之第二影像畫面IMG2R,IMG2L的示意圖。上述步驟S108中，往特定方向旋轉時的最大旋轉角度之計算，是基於第一影像畫面IMG1中對應特定方向之側邊界附近的特徵點密度。

假設，使用者將往右側旋轉拍攝下一張影像畫面，以便與第一影像畫面IMG1接合。步驟S108更包含計算第一影像畫面IMG1中與預定拍攝之第二影像畫面IMG2R的重疊部份OL1涵蓋之特徵點FP的數目(如第4圖所示)，並使得第一影像畫面IMG1中與第二影像畫面IMG2R重疊部份OL1涵蓋之特徵點FP的數目在門檻值以上，假設於此實施例中，特徵點FP的門檻值為至少十個特徵點，電子裝置200的處理單元280需要十個特徵點方可對第一影像畫面IMG1中與第二影像畫面IMG2R進行有效的影像接合。

如此一來，處理單元280可在第一影像畫面IMG1中右側方向的側邊界附近，決定需要多大(水平寬度多少)的重疊部份OL1方能具備十個特徵點。進而，由重疊部份OL1的大小，得知往右側方向旋轉時最大旋轉角度θ 1，以及推算出最大旋轉角度θ 1對應之第二影像畫面IMG2R的 位置所在。

另一方面，假設，使用者將往左側旋轉拍攝下一張影像畫面，以便與第一影像畫面IMG1接合。步驟S108更包含計算第一影像畫面IMG1中與預定拍攝之第二影像畫面IMG2L的重疊部份OL2涵蓋之特徵點FP的數目(如第4圖所示)，並使得第一影像畫面IMG1中與第二影像畫面IMG2L重疊部份OL2涵蓋之特徵點FP的數目為至少十個特徵點。

如此一來，處理單元280可在第一影像畫面IMG1中左側方向的側邊界附近，決定需要多大(水平寬度多少)的重疊部份OL2方能具備十個特徵點。進而，由重疊部份OL2的大小，得知往右側方向旋轉時最大旋轉角度θ 2，以及推算出最大旋轉角度θ 2對應之第二影像畫面IMG2L的位置所在。

如第4圖所示，第一影像畫面IMG1往右側方向的側邊界附近的特徵點密度較低，因此，所需的重疊部份OL1較大才能符合影像接合的最低門檻，因此，步驟S108計算得到往右側旋轉的最大旋轉角度θ 1較小。另一方面，第一影像畫面IMG1往左側方向的側邊界附近的特徵點密度較高，因此，所需的重疊部份OL2較小即可符合影像接合的最低門檻，因此，步驟S108計算得到往左側旋轉的最大旋轉角度θ 2較大。於此實施例中，最大旋轉角度θ 1與θ 2正相關於第一影像畫面IMG1右側與左側邊界附近的特徵點密度。

於上述第4圖之實施例中繪示，影像擷取方法100與電子裝置200可在水平旋轉方向(向右旋轉或向左旋轉)上計算不同的最大旋轉角度，並確保水平方向上的第二影像畫面IMG2R,IMG2L與第一影像畫面IMG1的重疊部分具有足夠的特徵點FP，但本揭示文件並不僅以水平方向為限。請一併參閱第5圖，其繪示在不同方向上旋轉並拍攝之第二影像畫面IMG2T、IMG2B的示意圖。

如第5圖所示，第一影像畫面IMG1往頂部方向的側邊界附近的特徵點密度較高，因此，所需的重疊部份OL3較小即能符合影像接合的最低門檻，因此，步驟S108計算得到往上方旋轉的最大旋轉角度θ 3較大。另一方面，第一影像畫面IMG1往底部方向的側邊界附近的特徵點密度較低，因此，所需的重疊部份OL4較大方能符合影像接合的最低門檻，因此，步驟S108計算得到往下方旋轉的最大旋轉角度θ 4較小。於此實施例中，最大旋轉角度θ 3與θ 4正相關於第一影像畫面IMG1頂部與底部邊界附近的特徵點密度。

綜合第4圖與第5圖之實施例，第一影像畫面IMG1包含多個側邊界，影像擷取方法100的步驟S108可根據該些側邊界附近的特徵點密度，分別計算往左、右水平方向或上、下垂直方向旋轉時各自的最大旋轉角度，並且各最大旋轉角度分別正相關於相對應之各側邊界附近的特徵點密度。

於該最大旋轉角度計算完成後(即步驟S108完成 後)，影像擷取方法100可執行步驟S110，透過電子裝置200之顯示單元260，在使用者介面上提示沿著特定方向(如右、左、上或下)之最大旋轉角度θ 1、θ 2、θ 3及/或θ 4。

舉例來說，當電子裝置200沿著初始軸向AX0拍攝第一影像畫面IMG1時，第一影像畫面IMG1的中心點位於對焦框TO。當最大旋轉角度θ 1、θ 2、θ 3及θ 4計算完成之後，即可得到對應最大旋轉角度θ 1、θ 2、θ 3及θ 4的目標對焦框TR、TL(如第4圖所示)與TT、TB(如第5圖所示)。

接著，使用者可參考上述提示，並沿著水平方向或垂直方向旋轉電子裝置200的軸向。在使用者旋轉電子裝置200的過程中，影像擷取方法100執行步驟S112，利用動態感測器220偵測電子裝置200之即時軸向。

接著，影像擷取方法100可執行步驟S114，利用動態感測器220感測的即時軸向相對初始軸向(參見步驟S104)的差距，進而判斷電子裝置200往特定方向(如右、左、上或下)的旋轉是否已達最大旋轉角度θ 1、θ 2、θ 3及/或θ 4。例如，當動態感測器220感測的即時軸向為軸向AX1時，此時利用即時軸向AX1相對初始軸向AX0的差距判斷電子裝置200已往右旋轉達最大旋轉角度θ 1；同理，可根據軸向AX2、軸向AX3、軸向AX4與初始軸向AX0的差距進行判斷。

若步驟S114判斷目前電子裝置200的即時軸向尚未達到特定方向的最大旋轉角度θ 1、θ 2、θ 3及/或θ 4， 則回到步驟S112，繼續監控偵測電子裝置200之即時軸向。

若步驟S114判斷目前電子裝置200的即時軸向已達到特定方向的最大旋轉角度θ 1、θ 2、θ 3及/或θ 4，則影像擷取方法100執行步驟S116，拍攝第二影像畫面。於部份實施例中，當即時軸向已達到特定方向的最大旋轉角度時，電子裝置200係自動觸發拍攝第二影像畫面，不需要額外的使用者指令，提高操作上的便利性。如第4圖所示，若已達最大旋轉角度θ 1則自動拍攝第二影像畫面IMG2R，若已達最大旋轉角度θ 2則自動拍攝第二影像畫面IMG2L；如第5圖所示，若已達最大旋轉角度θ 3則自動拍攝第二影像畫面IMG2T，若已達最大旋轉角度θ 4則自動拍攝第二影像畫面IMG2B。

前述第一影像畫面IMG1與第二影像畫面IMG2R、IMG2L、IMG2T或IMG2B可以用以接合為全景影像。

於一實施例中，影像擷取方法100可更進一步將第二影像畫面IMG2R、IMG2L、IMG2T或IMG2B與第一影像畫面IMG1接合，藉此形成全景影像。此外，全景影像的產生並不僅限於兩張影像畫面的接合，影像擷取方法100可循環進行以實現三張、四張或更多張影像的接合，以形成更廣視角的全景影像，循環進行的作法可由上述兩張影像的接合得知，在此不另贅述。須特別說明的是，當兩張的接合影像形成後，影像擷取方法100可根據接合後的影像產生新的特徵點分佈，藉由新的特徵點分佈中各側邊界的 特徵點密度計算新的各方向上最大旋轉角度。此外，多次擷取的影像並不僅限於同一旋轉方向，例如來說，可先往右擷取下一張影像畫面，接著往上擷取另一張影像畫面，再接著往右擷取再一張影像畫面。

此外，影像擷取方法100並不限於拍攝兩個影像畫面後立刻進行影像接合。於另一實施例中，用以產生全景影像的影像擷取方法100可連續拍攝多個影像畫面(如兩個影像畫面、三個影像畫面或更多個影像畫面)或當使用者將所有影像畫面都拍攝完成後一次進行影像接合。

此外，當使用者旋轉電子裝置200的過程中，動態感測器220將感測電子裝置200的即時軸向。同時，顯示單元260的使用者介面上顯示即時的取景畫面將顯示此即時軸向上的中央對焦點。當使用者往右旋轉接近最大旋轉角度θ 1時，目標對焦框TR將出現在顯示單元260的使用者介面中，使用者僅需要根據使用者介面上提示的目標對焦框TR，將中央對焦點對準目標對焦框TR，便可確保電子裝置200準確地旋轉到預定的最大旋轉角度θ 1。同理，往其他方向旋轉時亦然，目標對焦框TL、目標對焦框TT與目標對焦框TB可用以提示使用者將電子裝置200準確地旋轉到預定的最大旋轉角度θ 2、θ 3與θ 4。

綜上所述，本揭示文件提出影像擷取方法、全景影像產生方法以及電子裝置，其可根據當前的影像畫面計算其中的特徵點之分佈，並根據各方向邊界上的特徵點分佈，得知各方向上的最大旋轉角度，方便使用者快速的將 電子裝置旋轉至最佳的位置，確保影像接合的效果，並可有效利用較少的影像擷取次數形成覆蓋最大視角範圍的全景影像。

雖然本案已以實施例揭露如上，然其並非用以限定本案，任何熟習此技藝者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾，因此本案之保護範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧影像擷取方法

S102~S116‧‧‧步驟

Claims (10)

1. 一種影像擷取方法，用於一電子裝置，該影像擷取方法包含：計算該電子裝置拍攝之一第一影像畫面中的複數個特徵點；根據該第一影像畫面中該些特徵點之分佈，計算該電子裝置往一方向旋轉時的一最大旋轉角度；以及當該電子裝置往該方向旋轉已達該最大旋轉角度時，自動拍攝一第二影像畫面。
2. 如申請專利範圍第1項所述之影像擷取方法，其中往該方向旋轉時的該最大旋轉角度之計算，係基於該第一影像畫面中對應該方向之一側邊界附近的特徵點密度，並且該最大旋轉角度正相關於該側邊界附近的特徵點密度。
3. 如申請專利範圍第2項所述之影像擷取方法，其中該最大旋轉角度之計算，包含計算該第一影像畫面中與預定拍攝之該第二影像畫面的一重疊部份涵蓋之特徵點的數目，並使得該第一影像畫面中該重疊部份涵蓋之特徵點的數目在一門檻值以上。
4. 如申請專利範圍第1項所述之影像擷取方法，其中該第一影像畫面包含複數個側邊界，該影像擷取方法根據該些側邊界附近的特徵點密度，分別計算往左、右水平方向或上、下垂直方向旋轉時各自的最大旋轉角度，並且各最大旋轉角度分別正相關於相對應之各側邊界附近的特徵點密度。
5. 如申請專利範圍第1項所述之影像擷取方法，更包含：取得該第一影像畫面拍攝時該電子裝置之一初始軸向；偵測該電子裝置之一即時軸向；以及利用該即時軸向相對該初始軸向的差距，判斷該電子裝置往該方向旋轉是否已達該最大旋轉角度。
6. 如申請專利範圍第1項所述之影像擷取方法，於該最大旋轉角度計算完成後，更包含：於該電子裝置之一使用者介面上，提示沿著該方向之該最大旋轉角度。
7. 如申請專利範圍第1項所述之影像擷取方法，其中該第一影像畫面與該第二影像畫面用以接合為一全景影像。
8. 一種電子裝置，包含：一動態感測器，用以偵測該電子裝置之一軸向；一影像擷取單元；一顯示單元，用以顯示一使用者介面；以及一處理單元，耦接該動態感測器、該影像擷取單元以及該顯示單元，其中當該影像擷取單元拍攝一第一影像畫面時，該處理單元用以計算該第一影像畫面中的複數個特徵點，根據該第一影像畫面中該些特徵點之分佈計算該電子裝置往一方向旋轉時的一最大旋轉角度，並於該使用者介面上提示該最大 旋轉角度的相對位置，其中當該動態感測器偵測該電子裝置往該方向旋轉已達該最大旋轉角度時，該處理單元用以驅動該影像擷取單元拍攝一第二影像畫面，該第一影像畫面與該第二影像畫面用以接合為一全景影像。
9. 如申請專利範圍第8項所述之電子裝置，其中當該影像擷取單元拍攝該第一影像畫面時，該處理單元透過該動態感測器取得該第一影像畫面拍攝時該電子裝置之一初始軸向，並記錄該初始軸向。
10. 如申請專利範圍第8項所述之電子裝置，其中該動態感測器偵測該電子裝置之一即時軸向，該處理單元利用該即時軸向相對該初始軸向的差距，判斷該電子裝置往該方向旋轉是否已達該最大旋轉角度。