TWI531984B - 影像處理方法以及影像處理裝置 - Google Patents

Description

影像處理方法以及影像處理裝置

本發明有關於影像處理方法以及影像處理裝置，特別有關於可得到一去背景雜訊後的目標影像的影像處理方法以及影像處理裝置。

近年來，自動清掃裝置 (例如：掃地機器人)逐漸普及，即使使用者不在場，此種裝置仍然可以自行進行清掃工作。此類裝置在不進行清掃時，可連接在一基座進行充電，而在預定清掃時間到或是感應到環境髒亂時，會自行離開基座進行清掃工作。而在進行完清掃工作後，會自動回到基座進行充電。因此，自動清掃裝置須具有量測距離的功能，來量測自動清掃裝置與週邊物體的距離。否則在進行自動清掃工作時，可能會撞擊到物體而造成自動清掃裝置的損壞，或是造成物體的損壞。

自動清掃裝置通常會包含一距離量測裝置用來量測距離，此距離量測裝置可運用多種機制來量測距離。其中一種機制為利用影像來量測距離。此機制下，距離量測裝置會包含一影像感測器來擷取目標物 (例如牆)的多個影像，並根據這些影像來計算出距離。舉例來說，可根據多個影像中物件的距離、角度或形變來計算出距離。

然而，擷取的影像可能會受到週遭環境的干擾 (例如環境光)，使得在計算距離時產生誤差。為了改善這樣的狀況，會對擷取的影像施行”去背景雜訊”的步驟來對擷取的影像進行校正，並以校正後的影像來計算出距離。通常的作法為，先以光源對目標物照光並擷取影像A，然後在不發光的狀態下擷取影像B，並以A影像減去B影像後即可得到去背景雜訊後的目標影像，然後再以此去背景雜訊後的目標影像來進行距離的計算。然而，此類去背景雜訊的機制在自動清掃裝置移動且圖框率 (frame rate)較低時，可能會產生一些問題。

第1A圖繪示了習知技術中，一自動清潔裝置逐漸遠離目標物W的示意圖。在第1A圖的例子中，自動清潔裝置R逐漸遠離目標物W(例如牆)，因此如第1A圖所示，其擷取的影像範圍會有所不同。自動清潔裝置R在位置P1、P2、P3時，所擷取的影像分別為f1、f2、f3，且自動清潔裝置R在位置P1、P3時，其內的光源是開啟的狀態，而在位置P2時，其內的光源是關閉的狀態。因此會以影像f3減去影像f2來得到去背景雜訊後的目標影像。然而，因為自動清潔裝置R在位置P2和P3時，所擷取的影像範圍有所不同，因此影像f2相較於影像f3會少了部份資訊 (第1B圖中的斜線部份)，且物件Ob1、Ob2的大小可能有所不同。因此在去背景雜訊時可能會計算出錯誤的目標影像。

而自動清潔裝置相對於目標物W (平行或呈現一角度)移動或是旋轉時，亦可能有相同的問題。第2A圖繪示了習知技術中，一自動清潔裝置相對於目標物W移動的示意圖，第2B圖繪示了第2A圖的例子中，如何得到去背景雜訊後的目標影像的示意圖。如第2B圖所示，自動清潔裝置R是相對於目標物W移動，在位置P1、P2、P3時，所擷取的影像分別為f1、f2、f3。且自動清潔裝置R在位置P1、P3時，其內的光源是開啟的狀態，而在位置P2時，其內的光源是關閉的狀態。因此會以影像f3減去影像f2來得到去背景雜訊後的目標影像。但因為影像f2、f3包含了不同的內容，如第2B圖所示，影像f2包含物件ob1、ob2，但影像f3僅包含物件ob2，因此若將影像f2、f3相減會得到錯誤的去背景雜訊後的目標影像，進而影響到距離的計算。而自動清潔裝置旋轉時，亦可能發生如第2A圖和第2B圖所述的狀況。

綜上所述，若使用習知技術的去背景雜訊計算方法，因為自動清潔裝置的移動，會得到錯誤的去背景雜訊後的目標影像，進而影響到距離的計算。此類問題在自動清潔裝置快速移動或圖框率 (即影像擷取頻率)較低時，會更為明顯。

因此，本發明一目的為提供一種可計算出正確去背景雜訊後的目標影像的影像處理方法。

本發明另一目的為提供一種可計算出正確去背景雜訊後的目標影像的影像處理裝置。

本發明一實施例揭露了一種影像處理方法，施行在一影像處理裝置上，影像處理裝置包含一光源以及一影像感測器。影像處理方法包含：在光源運作於一第一模式下時，以影像感測器擷取一第一影像；在光源運作於一第二模式下時，以影像感測器擷取一第二影像；在光源運作於第一模式下時，以影像感測器擷取一第三影像；以第一影像以及第三影像形成一混合影像；以第二影像減去混合影像以得到一去背景雜訊後的目標影像。

本發明另一實施例揭露了一種影像處理裝置上，包含一光源、一影像感測器以及一影像計算單元。在光源運作於一第一模式下時，影像感測器擷取一第一影像；在光源運作於一第二模式下時，影像感測器擷取一第二影像；在光源運作於第一模式下時，影像感測器擷取一第三影像。影像計算單元以第一影像以及第三影像形成一混合影像，並以第二影像減去混合影像以得到一去背景雜訊後的目標影像。

本發明所提供的去背景雜訊計算方法可避免習知技術中因為自動清潔裝置R的移動而計算出錯誤的去背景雜訊後的目標影像，進而計算出正確的距離。

以下將以不同實施例來說明本發明的內容，然請留意以下實施例僅用以說明，並不限定本案的範圍僅限制於以下實施例。

第3圖、第4圖繪示了根據本發明一實施例的影像處理方法的示意圖。請留意，第3圖、第4圖的實施例是對應第1A圖的移動方式，因此請共同參照第1A圖、第3圖、第4圖以更為了解本發明。第3圖繪示了自動清潔裝置R在不同位置P1、P2、P3時所擷取的影像f1、f2、f3的示意圖。且擷取影像f1、f3時，自動清潔裝置R內的光源是處於一第一模式，而擷取影像f2時，自動清潔裝置R內的光源是處於一第二模式。在一實施例中，第一模式下光源不會發出光照射目標物W，而第二模式下光源會發出光。在另一實施例中，第一模式下光源會發出光，而第二模式下光源不會發出光照射目標物W。

如第3圖所示，相較於影像f2，影像f1一樣具有影像區域I1的內容，但缺少了影像區域Ia和Ib的內容。而相較於影像f2，影像f3具有影像區域I1、Ia和Ib的內容，但多了影像區域Ic和Id的內容。不論影像f2是和影像f1或是影像f3直接相減，都會得到錯誤的去背景雜訊後的目標影像。

因此，會先將影像f3和影像f1合成來形成一混合影像，並將影像f2減去此混合影像來得到去背景雜訊後的目標影像。第4圖繪示了混合影像fm的示範性實施例。在此實施例中，混合影像fm包含了影像f1的影像區域I1的內容，且包含了影像f3的影像區域Ia和Ib的內容。也就是說，混合影像fm包含了所有影像f1的內容以及影像f3僅一部份的內容，且影像f2的大小等於混合影像fm的大小。影像f2與目標物W的對應位置與混合影像fm和目標物的對應位置相同。由於影像f2和影像f1、f3有不同方向的差異，例如和影像f1有負的差異，然後和影像f3有正的差異，因此若以影像f1的內容取代掉部份影像f3的內容來形成混合影像，可使差異互相抵消，來得到更正確的去背景雜訊後的目標影像。然請留意，第4圖的實施例僅用以說明，所有根據第4圖實施例教示的相關變化均應在本發明的範圍之內。

第5圖、第6圖繪示了根據本發明一實施例的影像處理方法的示意圖，其對應本案第2A圖的移動方式，亦可對應自動清潔裝置R旋轉時的情況。第5圖繪示了自動清潔裝置R在不同位置P1、P2、P3時所擷取的影像f1、f2、f3的示意圖。且擷取影像f1、f3時，自動清潔裝置R內的光源是處於一第一模式，而擷取影像f2時，自動清潔裝置R內的光源是處於一第二模式。在一實施例中，第一模式下光源不會發出光照射目標物W，而第二模式下光源會發出光。在另一實施例中，第一模式下光源會發出光，而第二模式下光源不會發出光照射目標物W。

如第5圖所示，因為自動清潔裝置R移動的關係，影像f1、f2、f3會包含不同的內容。詳細言之，影像f1僅包含物件ob1，影像f2包含了物件ob1和ob2，而影像f3僅包含物件ob2，不論影像f2是和影像f1或是影像f3相減，都會得到錯誤的去背景雜訊後的目標影像。因此，在此實施例中，會以影像f1的一部份和影像f3的一部份來形成混合影像。如第6圖所示，混合影像fm包含了影像f1的右半邊影像和影像f3的左半邊影像，如此混合影像fm包含了物件ob1和ob2，因此影像f2減去混合影像fm後，可得到較正確的去背景雜訊後的目標影像。由於要取影像f1和影像f3的那一部份來形成混合影像跟自動清潔裝置R的移動方向有關，因此在一實施例中，是根據自動清潔裝置R的移動方向，來決定要採用前後影像的那一部份來產生混合影像。

在一實施例中，前述產生影像f1、f2、f3的步驟，產生混合影像的步驟，以及計算出去背景雜訊後的目標影像的步驟，會在自動清潔裝置R移動時，或是如第1A圖、第2A圖般的移動，或者自動清潔裝置R與目標物的距離改變，或者旋轉時，才會執行。也就是說，在靜止時自動清潔裝置R並不會如前述實施例所述般來產生混合影像，藉此可節省電能。

請留意，前述方法所得到去背景雜訊後的目標影像，不限制於運用在量測距離上，亦可使用在其他目的。而且，此方法不限制於一定要使用在連續的三個影像。因此，根據前述實施例，可得到一種影像處理方法，用以得到一去背景雜訊後的目標影像，此方法施行在一影像處理裝置上，此影像處理裝置包含一光源以及一影像感測器。此影像處理方法包含第7圖所示的步驟：

步驟701

在光源運作於一第一模式下時，以影像感測器擷取第一影像 (例如f1)。於一實施例中，第一影像包含目標物(例如牆)至少一部份的影像。

步驟703

在光源運作於一第二模式下時，以影像感測器擷取一第二影像(例如f2)。於一實施例中，第二影像包含目標物至少一部份的影像。

步驟705

在光源運作於第一模式下時，以影像感測器擷取一第三影像(例如f3)。於一實施例中，第三影像包含目標物至少一部份的影像。

步驟707

以第一影像以及第三影像形成一混合影像(例如fm)。

步驟709

以第二影像減去混合影像以得到一去背景雜訊後的目標影像。

第8圖繪示了根據本發明一實施例的影像處理裝置的方塊圖。在此實施例中，影像處理裝置801是設置於自動清潔裝置R中，但並不限定，亦可設置於其他待測電子裝置中。如第8圖所示，影像處理裝置801包含一影像感測器803、一光源805、一光源控制器807以及一影像計算單元809。光源805被光源控制器807控制而發光或不發光。影像感測器803用以如前所述般擷取光源805在不同模式時的影像，影像計算單元809根據影像感測器803擷取的影像如前述實施例般計算出去背景雜訊後的目標影像然後此目標影像再經過校正後，將校正後影像CF傳送給距離計算單元811。距離計算單元811會根據多個校正後的影像CF 計算出自動清潔裝置R與目標物的距離，距離計算單元811亦可位於影像處理裝置801中。然請留意第8圖實施例僅用以舉例，並非用以限定本發明，各元件可以互相整合或再分割成多個元件。

綜上所述，本發明所提供的去背景雜訊計算方法可避免習知技術中因為自動清潔裝置R的移動而計算出錯誤的去背景雜訊後的目標影像，進而計算出正確的距離。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

R‧‧‧自動清潔裝置

f1、f2、f3‧‧‧影像

ob1、ob2‧‧‧物件

I1、Ia、Ib、Ic、Id‧‧‧影像區域

fm‧‧‧混合影像

701-709‧‧‧步驟

801‧‧‧影像處理裝置

803‧‧‧影像感測器

805‧‧‧光源

807‧‧‧光源控制器

809‧‧‧影像計算單元

811‧‧‧距離計算單元

第1A圖繪示了習知技術中，一自動清潔裝置逐漸遠離目標物的示意圖。 第1B圖繪示了第1A圖的例子中，如何得到去背景雜訊後的目標影像的示意圖。 第2A圖繪示了習知技術中，一自動清潔裝置相對於目標物移動的示意圖。 第2B圖繪示了第2A圖的例子中，如何得到去背景雜訊後的目標影像的示意圖。 第3圖、第4圖繪示了根據本發明一實施例的影像處理方法的示意圖。 第5圖、第6圖繪示了根據本發明一實施例的影像處理方法的示意圖。 第7圖繪示了根據本發明一實施例的影像處理方法的流程圖。 第8圖繪示了根據本發明一實施例的影像處理裝置的方塊圖。

701-709‧‧‧步驟

Claims (29)

1. 一種影像處理方法，施行在一影像處理裝置上，該影像處理裝置包含一光源以及一影像感測器，該影像處理方法包含：在該光源運作於一第一模式下時，以該影像感測器擷取一第一影像；在該光源運作於一第二模式下時，以該影像感測器擷取一第二影像；在該光源運作於該第一模式下時，以該影像感測器擷取一第三影像；以該第一影像以及該第三影像形成一混合影像；以及以該第二影像與該混合影像以得到一去背景雜訊後的目標影像；其中該混合影像包含了該第一影像僅一部份的內容以及該第三影像僅一部份的內容。
2. 如請求項第1項所述的影像處理方法，其中該第二影像是在擷取該第一影像後被擷取，且該第三影像是在擷取該第二影像後被擷取。
3. 如請求項第1項所述的影像處理方法，其中該光源運作於該第一模式時會發光，該光源運作於該第二模式時不發光。
4. 如請求項第1項所述的影像處理方法，其中該光源運作於該第一模式時不發光，該光源運作於該第二模式時會發光。
5. 如請求項第1項所述的影像處理方法，更包含：根據該去背景雜訊後的目標影像計算出一待測電子裝置以及一目標物的距離，其中該待測電子裝置包含該影像處理裝置。
6. 如請求項第5項所述的影像處理方法，其中該第一影像、該第二影像、該第三影像、該混合影像以及該去背景雜訊後的目標影像是在該待測電子裝置移動時產生。
7. 如請求項第6項所述的影像處理方法，其中該第一影像、該第二影像、該第三影像、該混合影像以及該去背景雜訊後的目標影像是在該待測電子裝置與該目標物的距離改變時產生。
8. 如請求項第6項所述的影像處理方法，其中該第一影像、該第二影像、該第三影像、該混合影像以及該去背景雜訊後的目標影像是在該待測電子裝置相對於該目標物移動時產生。
9. 如請求項第6項所述的影像處理方法，其中該第一影像、該第二影像、該第三影像、該混合影像以及該去背景雜訊後的目標影像是在該待測電子裝置執行旋轉動作時產生。
10. 如請求項第1項所述的影像處理方法，其中該第二影像的大小等於該混合影像的大小，且該第二影像與一目標物的對應位置與該混合影像和該目標物的對應位置相同。
11. 如請求項第1項所述的影像處理方法，其中以該第一影像以及該第三影像形成一混合影像的該步驟是根據該待測電子裝置的移動方向形成該混合影像。
12. 如請求項第1項所述的影像處理方法，其中該混合影像包含了該第一影像右半邊的內容以及該第三影像左半邊的內容。
13. 一種影像處理裝置，包含：一光源；一影像感測器；在該光源運作於一第一模式下時，該影像感測器擷取一第一影像；在該光源運作於一第二模式下時，該影像感測器擷取一第二影像；在該光源運作於該第一模式下時，該影像感測器擷取一第三影像；以及一影像計算單元，以該第一影像以及該第三影像形成一混合影像，並以該第二影像減去該混合影像以得到一去背景雜訊後的目標影像；其中該混合影像包含了該第一影像僅一部份的內容以及該第三影像僅一部份的內容。
14. 如請求項第13項所述的影像處理裝置，其中該第二影像是在擷取該第一影像後被擷取，且該第三影像是在擷取該第二影像後被擷取。
15. 如請求項第13項所述的影像處理裝置，其中該光源運作於該第一模式時會發光，該光源運作於該第二模式時不發光。
16. 如請求項第13項所述的影像處理裝置，其中該光源運作於該第一模式時不發光，該光源運作於該第二模式時會發光。
17. 如請求項第13項所述的影像處理裝置，更包含一距離計算單元，根 據該去背景雜訊後的目標影像計算出一待測電子裝置以及一目標物的距離，其中該待測電子裝置包含該影像處理裝置。
18. 如請求項第17項所述的影像處理裝置，其中該第一影像、該第二影像、該第三影像、該混合影像以及該去背景雜訊後的目標影像是在該待測電子裝置移動時產生。
19. 如請求項第18項所述的影像處理裝置，其中該第一影像、該第二影像、該第三影像、該混合影像以及該去背景雜訊後的目標影像是在該待測電子裝置與該目標物的距離改變時產生。
20. 如請求項第18項所述的影像處理裝置，其中該第一影像、該第二影像、該第三影像、該混合影像以及該去背景雜訊後的目標影像是在該待測電子裝置相對於該目標物移動時產生。
21. 如請求項第18項所述的影像處理裝置，其中該第一影像、該第二影像、該第三影像、該混合影像以及該去背景雜訊後的目標影像是在該待測電子裝置執行旋轉動作時產生。
22. 如請求項第13項所述的影像處理裝置，其中該第二影像的大小等於該混合影像的大小，且該第二影像與一目標物的對應位置與該混合影像和該目標物的對應位置相同。
23. 如請求項第13項所述的影像處理裝置，其中該影像計算單元根據該 待測電子裝置的移動方向形成該混合影像。
24. 一種影像處理方法，施行在一影像處理裝置上，該影像處理裝置包含一光源以及一影像感測器，該影像處理方法包含：在該光源運作於一第一模式下時，以該影像感測器擷取一第一影像；在該光源運作於一第二模式下時，以該影像感測器擷取一第二影像；在該光源運作於該第一模式下時，以該影像感測器擷取一第三影像；以該第一影像以及該第三影像形成一混合影像；以該第二影像與該混合影像以得到一去背景雜訊後的目標影像；根據該去背景雜訊後的目標影像計算出一待測電子裝置以及一目標物的距離，其中該待測電子裝置包含該影像處理裝置；其中該第一影像、該第二影像、該第三影像、該混合影像以及該去背景雜訊後的目標影像是在該待測電子裝置移動時產生；其中該第一影像、該第二影像、該第三影像、該混合影像以及該去背景雜訊後的目標影像是在該待測電子裝置執行旋轉動作時產生。
25. 一種影像處理方法，施行在一影像處理裝置上，該影像處理裝置包含一光源以及一影像感測器，該影像處理方法包含：在該光源運作於一第一模式下時，以該影像感測器擷取一第一影像；在該光源運作於一第二模式下時，以該影像感測器擷取一第二影像；在該光源運作於該第一模式下時，以該影像感測器擷取一第三影像；以該第一影像以及該第三影像形成一混合影像；以及以該第二影像與該混合影像以得到一去背景雜訊後的目標影像；其中該第二影像的大小等於該混合影像的大小，且該第二影像與一目標物的對應位置與該混合影像和該目標物的對應位置相同。
26. 一種影像處理方法，施行在一影像處理裝置上，該影像處理裝置包含一光源以及一影像感測器，該影像處理方法包含：在該光源運作於一第一模式下時，以該影像感測器擷取一第一影像；在該光源運作於一第二模式下時，以該影像感測器擷取一第二影像；在該光源運作於該第一模式下時，以該影像感測器擷取一第三影像；以該第一影像以及該第三影像形成一混合影像；以該第二影像與該混合影像以得到一去背景雜訊後的目標影像；其中該混合影像包含了所有該第一影像的內容以及該第三影像僅一部份的內容。
27. 一種影像處理裝置，包含：一光源；一影像感測器；在該光源運作於一第一模式下時，該影像感測器擷取一第一影像；在該光源運作於一第二模式下時，該影像感測器擷取一第二影像；在該光源運作於該第一模式下時，該影像感測器擷取一第三影像；以及一影像計算單元，以該第一影像以及該第三影像形成一混合影像，並以該第二影像減去該混合影像以得到一去背景雜訊後的目標影像；其中該第一影像、該第二影像、該第三影像、該混合影像以及該去背景雜訊後的目標影像是在該待測電子裝置執行旋轉動作時產生。
28. 一種影像處理裝置，包含：一光源；一影像感測器；在該光源運作於一第一模式下時，該影像感測器擷取一第一影像；在該光源運作於一第二模式下時，該影像感測器擷取一第二影像；在該光源運作於該第一模式下時，該影像感測器擷取一第三影像；以及 一影像計算單元，以該第一影像以及該第三影像形成一混合影像，並以該第二影像減去該混合影像以得到一去背景雜訊後的目標影像；其中該第二影像的大小等於該混合影像的大小，且該第二影像與一目標物的對應位置與該混合影像和該目標物的對應位置相同。
29. 一種影像處理裝置，包含：一光源；一影像感測器；在該光源運作於一第一模式下時，該影像感測器擷取一第一影像；在該光源運作於一第二模式下時，該影像感測器擷取一第二影像；在該光源運作於該第一模式下時，該影像感測器擷取一第三影像；以及一影像計算單元，以該第一影像以及該第三影像形成一混合影像，並以該第二影像減去該混合影像以得到一去背景雜訊後的目標影像；其中該混合影像包含了所有該第一影像的內容以及該第三影像僅一部份的內容。