TWI817702B

TWI817702B - 圖片篩選方法與圖片篩選裝置

Info

Publication number: TWI817702B
Application number: TW111133531A
Authority: TW
Inventors: 黃文亮; 周哲玄; 張鴻銘; 陳冠儒
Original assignee: 宏碁股份有限公司
Priority date: 2022-09-05
Filing date: 2022-09-05
Publication date: 2023-10-01
Also published as: TW202411882A

Abstract

一種圖片篩選方法及裝置。所述方法包括下列步驟：通過通訊裝置從網路接收多張圖片；解析各個圖片以獲得至少一個參數，而根據參數區分圖片為清晰圖片或模糊圖片；使用第一模型辨識各清晰圖片是否為適當圖片，並使用第二模型辨識各模糊圖片是否為適當圖片，其中第一模型為使用從專業網站取得的經標籤化的多張清晰圖片訓練的機器學習模型，第二模型為使用從網路蒐集且經標籤化的多張實際照片訓練的機器學習模型；以及篩選被辨識為適當圖片的圖片送入電子裝置執行的通訊軟體，並阻擋被辨識為非屬適當圖片的圖片。

Description

圖片篩選方法與圖片篩選裝置

本發明是有關於一種圖片處理方法及裝置，且特別是有關於一種圖片篩選方法與圖片篩選裝置。

即時通訊軟體是現代人聯繫感情、溝通意見的常用方式，在使用即時通訊軟體時，使用者除了互相傳送訊息外，也會傳輸圖片或影像。由於在即時通訊軟體上傳輸或分享圖片相當方便，使用者常會接收到他人轉寄的圖片或是影片，但其中可能包涵了血腥、暴力、情色等不適於公眾觀看或是使用者厭惡的圖片或影片，且可能嵌入了惡意的軟體程式或是連結，當使用者點選或觀看圖片時，可能造成公眾電腦或是手機遭受侵入。

因此，有需要開發一種圖片篩選機制，在使用者接受他人傳來的圖片之前，先行分析並辨識圖片的適當性，以適時地阻擋或過濾掉不適當的圖片，避免使用者接收到不適當的圖片。

有鑑於此，本發明提出一種圖片篩選方法與圖片篩選裝置，通過解析所接收圖片的類型，並使用不同的機器學習模型辨識圖片的適當性，可避免使用者接收到不適當的圖片。

本發明實施例提供一種圖片篩選方法，適用於具通訊裝置及處理器的電子裝置。所述方法包括下列步驟：通過通訊裝置從網路接收多張圖片；解析各個圖片以獲得至少一個參數，並根據參數區分圖片為清晰圖片或模糊圖片；使用第一模型辨識各清晰圖片是否為適當圖片，並使用第二模型辨識各模糊圖片是否為適當圖片，其中第一模型為使用從專業網站取得的經標籤化的多張清晰圖片訓練的機器學習模型，第二模型為使用從網路蒐集且經標籤化的多張實際照片訓練的機器學習模型；以及篩選被辨識為適當圖片的圖片送入電子裝置執行的通訊軟體，並阻擋被辨識為非屬適當圖片的圖片。

本發明實施例提供一種圖片篩選裝置，其包括通訊裝置、儲存裝置及處理器。通訊裝置用以連結網路。儲存裝置用以儲存電腦程式。處理器，耦接通訊裝置及儲存裝置，載入並執行電腦程式以：通過通訊裝置從網路接收多張圖片；解析各個圖片以獲得至少一個參數，並根據參數區分圖片為清晰圖片或模糊圖片；使用第一模型辨識各清晰圖片是否為適當圖片，並使用第二模型辨識各模糊圖片是否為適當圖片，其中第一模型為使用從專業網站取得的經標籤化的多張清晰圖片訓練的機器學習模型，第二模型為使用從網路蒐集且經標籤化的多張實際照片訓練的機器學習模型；以及篩選被辨識為適當圖片的圖片送入電子裝置執行的通訊軟體，並阻擋被辨識為非屬適當圖片的圖片。

基於上述，於本發明的實施例中，通過解析圖片類型並使用不同的機器學習模型辨識圖片的適當性，可避免接收到不適當或嵌入有惡意程式的圖片。此外，通過強化學習清晰化圖片，並使用物件偵測縮減圖片辨識的範圍，可減少圖片辨識的計算量，並提高圖片辨識的正確性。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

基於即時通訊軟體接收到的圖片除了清晰的照片或畫作外，更多時候接收到的會是畫素不良的手機側錄或是監視器畫面。對於此類圖片，若使用單純的經清晰圖片訓練的機器學習模型來進行辨識，會很難正確地辨識出傳來的圖片。對此，本發明實施例除了通過解析圖片來區分圖片並使用不同的機器學習模型來辨識適當圖片外，還可利用YOLO（You only look once）等物件偵測模型先對圖片中的「人物」進行辨識，接著再對人物周圍的圖片進行辨識及篩選，最終將適當的圖片提供給通訊軟體以供使用者檢視。藉此，可避免使用者接收到不適當的圖片。

圖1是根據本發明一實施例所繪示的圖片篩選裝置的方塊圖。請參考圖1，本發明實施例的圖片篩選裝置10例如是桌上型電腦或筆記型電腦等計算機裝置，或是智慧型手機、個人數位助理、平板電腦等行動裝置，本實施例不限制其種類。圖片篩選裝置10包括通訊裝置12、儲存裝置14及處理器16等元件，這些元件的功能分述如下：

通訊裝置12例如是支援乙太網路（Ethernet）或是支援802.11g、802.11n、802.11ac等無線網路標準的網路卡或網路設備，或是支援全球行動通信（GSM）、個人手持式電話系統（Personal Handy-phone System，PHS）、通用封包無線服務（General Packet Radio Service，GPRS）、碼分碼多工存取（CDMA）、長期演進（LTE）等無線通訊技術的通訊設備，本實施例不限制其種類。通訊裝置12使得圖片篩選裝置10可連接網路，並經由網路連接外部網站或其他使用者的電子裝置。

儲存裝置14例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合，其係用以儲存可由處理器16執行的電腦程式和其他資料。

處理器16例如是中央處理單元（central processing unit，CPU）、圖形處理單元（graphic processing unit，GPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、影像訊號處理器（image signal processor，ISP）、可程式化控制器、特殊應用積體電路（application specific integrated circuits，ASIC）、可程式化邏輯裝置（programmable logic device，PLD）或其他類似裝置或這些裝置的組合。在本實施例中，處理器16可從儲存裝置14載入電腦程式，以執行本發明實施例的圖片篩選方法。

圖2是根據本發明一實施例所繪示的圖片篩選方法的流程圖。請同時參照圖1以及圖2，本實施例的方法適用於圖1中的圖片篩選裝置10，以下即搭配圖片篩選裝置10中的各項元件說明本實施例方法的詳細流程。

在步驟S202中，圖片篩選裝置10的處理器16通過通訊裝置12從網路接收多張圖片。在一些實施例中，處理器16是執行即時通訊軟體，並通過即時通訊軟體接收他人傳送而來的圖片。在其他實施例中，處理器16也可以是執行社群軟體或其他應用程式，並通過這些軟體或程式從網路接收圖片，本實施例不限定接收圖片所使用的軟體或方式。

在步驟S204中，處理器16解析各個圖片以獲得參數。所述的參數可以是圖片的解析度、銳利度、亮度、白平衡、攝像資訊或來源資訊。其中，處理器16可以直接解析圖片內容以獲得解析度、銳利度、亮度、白平衡等圖片資訊，也可以解析圖片的元資料（metadata），以獲得拍攝圖片所使用的裝置型號、光圈、快門、感光度（ISO）、拍攝地點等攝像資訊，或是取得圖片的網址、網際網路協定（Internet Protocol，IP）地址等來源資訊，本實施例不限定所解析的參數種類及解析方式。

在步驟S206中，處理器16根據解析所得的參數將所接收的圖片區分為清晰圖片或模糊圖片。在一些實施例中，處理器16可根據圖片的解析度（即，大小）或銳利度來區分圖片的清晰程度。在其他實施例中，處理器16也可以根據圖片的來源（專業網站或一般網站）、拍攝裝置（單眼相機或手機）或其他參數來區分清晰圖片或模糊圖片，本實施例不限定區分圖片的方式。

在步驟S206中，若圖片被區分為清晰圖片，則在步驟S208中，處理器16使用第一模型辨識各個清晰圖片是否為適當圖片，其中第一模型例如是使用從專業網站取得的經標籤化的多張清晰圖片訓練的機器學習模型；而若圖片被區分為模糊圖片，則在步驟S210中，處理器16使用第二模型辨識各個模糊圖片是否為適當圖片，其中第二模型例如是使用從網路蒐集且經標籤化的多張實際照片訓練的機器學習模型。

詳細而言，圖3是根據本發明一實施例所繪示的清晰圖片區分模型的訓練方法的流程圖。請同時參照圖1及圖3，本實施例的清晰圖片區分模型例如是由圖片篩選裝置或是即時通訊軟體10的業者預先建立，並儲存於圖片篩選裝置10的儲存裝置14或業者的雲端伺服器，以供圖片篩選裝置10在執行圖片辨識時使用。

在步驟S302中，由業者的電腦、伺服器或工作站等計算機裝置從專業網站取得多張清晰圖片。所述的專業網站例如是Pixta、Pixabay等商用圖庫，但不限於此。

在步驟S304中，由計算機裝置標籤化清晰圖片中屬於不適當類型的圖片。所述的不適當類型包括血腥、暴力或情色，但不限於此。在一些實施例中，從專業網站取得的清晰圖片已標記有許多標籤，計算機裝置可根據這些標籤將圖片區分為屬於上述三種類型的不適當圖片以及不屬於上述三種類型的適當圖片。在一些實施例中，從專業網站取得的清晰圖片亦可採用人工標記的方式，將每張圖片標記為適當圖片或不適當圖片。

在步驟S306中，由計算機裝置使用經標籤化的清晰圖片訓練機器學習模型，以產生經訓練的第一模型。所述的機器學習模型例如是採用卷積神經網路（Convolutional Neural Network，CNN）、深度神經網路（Deep Neural Network，DNN）等機器學習演算法所建立的模型，在此不設限。

本實施例的機器學習模型在經過標籤化的清晰圖片訓練後，即可分辨各種清晰圖片的內容，並將其區分為適當圖片或不適當圖片。

圖4是根據本發明一實施例所繪示的模糊圖片區分模型的訓練方法的流程圖。請同時參照圖1及圖4，本實施例的清晰圖片區分模型例如是由即時通訊軟體或是圖片篩選裝置10的業者預先建立，並儲存於圖片篩選裝置10的儲存裝置14或雲端伺服器，以供圖片篩選裝置10在執行圖片辨識時使用。

在步驟S402中，由業者的電腦、伺服器或工作站等計算機裝置從網路蒐集多張實際照片。在一些實施例中，計算機裝置是使用Python等網路爬蟲（web scraping）程式，從眾多的網站中蒐集各式各樣的照片。其中，基於所蒐集照片的種類包羅萬象，其清晰度參差不齊。

針對所蒐集的實際照片存在畫質不佳或是較為模糊的情況，本實施例在步驟S404中，是由計算機裝置利用YOLO等物件偵測模型偵測各個實際照片中的主體（例如，人），並擷取主體周圍的部分圖片。其中，通過偵測並定位出現在照片中的人，並擷取該人周圍的圖片以進行後續分類，可提高圖片的畫質或清晰度，從而增加後續辨識的正確性。

在步驟S406中，由計算機裝置標籤化實際照片中屬於不適當類型的圖片。所述的不適當類型包括血腥、暴力或情色，但不限於此。其中，所述的標籤化例如是採用自動或人工方式進行，在此不設限。

在步驟S408中，由計算機裝置使用經標籤化的部分圖片訓練機器學習模型，以產生經訓練的第二模型。所述的機器學習模型例如是採用卷積神經網路（CNN）、深度神經網路（DNN）等機器學習演算法所建立的模型，在此不設限。

本實施例的機器學習模型在使用經過物件偵測及標籤化的模糊圖片訓練後，即可分辨各種圖片的內容，並將其區分為適當圖片或不適當圖片。

回到圖2的流程，在經過第一模型和第二模型辨識適當圖片後，在步驟S212中，處理器16會篩選被辨識為適當圖片的圖片以送入圖片篩選裝置10所執行的通訊軟體，並阻擋被辨識為非屬適當圖片的圖片。所述的通訊軟體例如是即時通訊軟體、社群軟體等可從外部網站或裝置取得圖片的軟體或應用程式。通過經訓練的第一、第二模型辨識後，處理器16即可從所接收的圖片中篩選出適當的圖片送入通訊軟體，並阻擋不適當的圖片，藉此可避免使用者觀看到不適當的圖片，亦可避免圖片篩選裝置10接收到不適當或嵌入有惡意程式的圖片，防止圖片篩選裝置10受到攻擊或被竊取資料。

在一些實施例中，因公眾和私人電子產品在使用需求和安全上有所不同，私人電腦或手機產品要接受較多元的資訊以利回應，而公眾電腦或手機產品因為涵蓋較廣，若任意接收惡意資訊可能會造成多人的損害，因此需要在接受之前就先行阻擋。據此，處理器16可根據圖片篩選裝置10的種類（公眾電腦、個人裝置）或圖片來源（公眾網域或私人網域），來決定先接收所有圖片再進行圖片辨識，或是在接收到每張圖片時即先進行圖片辨識，在此不設限。

在一些實施例中，針對從網路上取得的較不清晰的圖片，可使用強化學習（reinforcement learning）的方式，將原本的「模糊圖片」清晰化到「清晰圖片」，而可使用上述的清晰圖片區分模型進行圖片辨識，以獲得較正確的辨識結果。即便經清晰化後的圖片經解析後仍被歸類到模糊圖片，仍可透過物件偵測的方式，將用來進行圖片辨識的區域縮小到圖片中主體周圍的部分圖片，從而提高用於圖片辨識的清晰度，增加辨識的正確性。

詳細而言，圖5是根據本發明一實施例所繪示的圖片篩選方法的流程圖。請同時參照圖1以及圖5，本實施例的方法適用於圖1中的圖片篩選裝置10，以下即搭配圖片篩選裝置10中的各項元件說明本實施例方法的詳細流程。

在步驟S202中，圖片篩選裝置10的處理器16通過通訊裝置12從網路接收多張圖片，並在步驟S204中，使用強化學習清晰化各個圖片。其中，處理器16例如是執行即時通訊軟體、社群軟體或其他應用程式，以從網路接收他人傳輸的各種圖片，包括貼圖、照片、影片等，並在接收過程中不斷訓練強化學習模型。通過在每次的訊息傳輸中不斷地訓練，可以略去事先收集大量資料並訓練所花費的時間。

舉例來說，圖6是根據本發明一實施例所繪示的使用強化學習清晰化圖片的方法流程圖。請參照圖6，本實施例說明圖5的步驟S504的詳細流程。

在步驟S602中，處理器16通過即時通訊軟體接收他人傳輸的圖片。在其他實施例中，處理器16亦可通過社群軟體或其他通訊軟體接收圖片，本實施例不限制圖片的取得方式。

在步驟S604中，處理器16標籤化所接收圖片中屬於不適當類型的圖片，並根據所屬不適當類型的種類，給予不同權重的獎勵（reward）。所述的不適當類型包括血腥、暴力、情色，但不限於此。在訓練強化學習模型的過程中，可將所接收圖片在強化學習中的獎勵設定為0以將其歸類為適當圖片，讓即時通訊軟體可以接收圖片。

而相較於前述實施例僅將血腥、暴力、情色這三種類型的圖片歸類到不適當的類別，本實施例進一步根據這三種類型的圖片在現實生活中出現的比例，分別給予30%、20%、50%不等的權重，並針對強化學習中執行動作後的獎勵，依照此比例給予不同權重的獎勵。

在步驟S606中，處理器16使用經標籤化的圖片訓練用以清晰化圖片的強化學習模型，並根據圖片清晰化的程度產生對應的獎勵。詳細而言，在使用強化學習模型清晰化圖片之後，圖片清晰化的程度可視為強化學習的動作（action），而強化學習模型可根據不同的動作產生對應的獎勵。其中，基於每次接收到的圖片都是獨立的，其環境和先前的圖片並無關聯，因此強化學習模型的訓練僅看動作及其所產生的獎勵。

在步驟S608中，處理器16判斷即時通訊軟體的狀態是否改變。在一些實施例中，處理器16可根據即時通訊軟體是否接收到新的圖片或從新的對象接收到圖片，來判斷即時通訊軟體的狀態是否改變。

若判斷即時通訊軟體的狀態有改變，則回到步驟S602，處理器16重新接收圖片並進行強化學習。反之，則進入步驟S610，處理器16產生經訓練的強化學習模型。在一些實施例中，所述經訓練的強化學習模型可直接用來清晰化從網路接收的圖片。而在其他實施例中，所述經訓練的強化學習模型可在清晰化圖片的過程中持續學習，以提升其清晰化圖片的能力。

回到圖5的流程，在使用強化學習清晰化圖片之後，處理器16在步驟S506中，解析各個圖片以獲得參數，並在步驟S508中，根據解析所得的參數將所接收的圖片區分為清晰圖片或模糊圖片。若圖片被區分為清晰圖片，則在步驟S510中，處理器16將使用第一模型辨識各個清晰圖片是否為適當圖片。上述步驟S506至步驟S510與前述實施例中的步驟S204至步驟S208相同或相似，故其詳細內容在此不再贅述。

與前述實施例不同的是，在本實施例中，若在步驟S508中圖片是被區分為模糊圖片，則處理器16在步驟S512中，會利用物件偵測模型偵測各個模糊圖片中的主體，以擷取主體周圍的部分圖片，並在步驟S514中，使用第二模型辨識各個部分圖片是否為適當圖片。也就是說，處理器16是取圖片中的「人」周圍的部分圖片來進行圖片辨識。

最後，在步驟S212中，處理器16會篩選被辨識為適當圖片的圖片送入圖片篩選裝置10執行的通訊軟體，並阻擋被辨識為非屬適當圖片的圖片。

通過強化學習來清晰化從網路接收的圖片，並使用物件偵測鎖定用於圖片辨識的對象，本實施例不僅可減少圖片辨識的計算量，還可提高圖片辨識的正確性。

綜上所述，本發明實施例的圖片篩選方法及裝置，針對通訊軟體從外部或他人裝置接收的圖片，根據清晰度區分圖片種類並使用不同的模型來區分適當和不適當圖片，據此篩選送入通訊軟體的圖片，並阻擋不適當圖片。藉此，可避免接收到不適當或嵌入有惡意程式的圖片。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10:圖片篩選裝置 12:通訊裝置 14:儲存裝置 16:處理器 S202～S212、S302～S306、S402～S408、S502～S516、S602～S610:步驟

圖1是根據本發明一實施例所繪示的圖片篩選裝置的方塊圖。圖2是根據本發明一實施例所繪示的圖片篩選方法的流程圖。圖3是根據本發明一實施例所繪示的清晰圖片區分模型的訓練方法的流程圖。圖4是根據本發明一實施例所繪示的模糊圖片區分模型的訓練方法的流程圖。圖5是根據本發明一實施例所繪示的圖片篩選方法的流程圖。圖6是根據本發明一實施例所繪示的使用強化學習清晰化圖片的方法流程圖。

S202~S212:步驟

Claims

一種圖片篩選方法，適用於具通訊裝置及處理器的電子裝置，所述方法包括下列步驟：通過所述通訊裝置從網路接收多張圖片；解析各所述圖片以獲得至少一參數，並根據所述參數區分所述圖片為清晰圖片或模糊圖片；使用第一模型辨識各所述清晰圖片是否為適當圖片，並使用第二模型辨識各所述模糊圖片是否為適當圖片，其中所述適當圖片為不屬於不適當類型的圖片，且所述不適當類型包括血腥、暴力或情色，所述第一模型為使用從專業網站取得的經標籤化的多張清晰圖片訓練的機器學習模型，所述第二模型為使用從所述網路蒐集且經標籤化的多張實際照片訓練的機器學習模型；以及篩選被辨識為所述適當圖片的所述圖片送入所述電子裝置執行的通訊軟體，並阻擋被辨識為非屬所述適當圖片的所述圖片。
如請求項1所述方法，其中使用所述第一模型辨識各所述清晰圖片是否為所述適當圖片的步驟包括：使用所述第一模型辨識所述清晰圖片是否為所述不適當類型的圖片，並在辨識所述清晰圖片不屬於所述不適當類型的圖片時，辨識所述清晰圖片為所述適當圖片。
如請求項1所述方法，其中使用所述第二模型辨識各所述模糊圖片是否為所述適當圖片的步驟包括：利用物件偵測模型偵測各所述模糊圖片中的主體，擷取所述主體周圍的部分圖片，並使用所述第二模型辨識所述部分圖片是否為所述適當圖片。
如請求項3所述方法，其中使用所述第二模型辨識所述部分圖片是否為適當圖片的步驟包括：使用所述第二模型辨識所述部分圖片是否為所述不適當類型的圖片，並在辨識所述部分圖片不屬於所述不適當類型的圖片時，辨識所述部分圖片為所述適當圖片。
如請求項1所述方法，更包括：使用強化學習模型清晰化各所述模糊圖片；解析經清晰化的各所述模糊圖片以獲得所述參數，並根據所述參數區分經清晰化的所述模糊圖片為所述清晰圖片或所述模糊圖片；以及使用所述第二模型辨識被區分為所述清晰圖片的經清晰化的所述模糊圖片是否為所述適當圖片。
一種圖片篩選裝置，包括：通訊裝置，連結網路；儲存裝置，儲存電腦程式；以及處理器，耦接所述通訊裝置及所述儲存裝置，載入並執行所述電腦程式以：通過所述通訊裝置從所述網路接收多張圖片；解析各所述圖片以獲得至少一參數，並根據所述參數區分所述圖片為清晰圖片或模糊圖片；使用第一模型辨識各所述清晰圖片是否為適當圖片，並使用第二模型辨識各所述模糊圖片是否為適當圖片，其中所述適當圖片為不屬於不適當類型的圖片，且所述不適當類型包括血腥、暴力或情色，所述第一模型為使用從專業網站取得的經標籤化的多張清晰圖片訓練的機器學習模型，所述第二模型為使用從所述網路蒐集且經標籤化的多張實際照片訓練的機器學習模型；以及篩選被辨識為所述適當圖片的所述圖片送入所述圖片篩選裝置執行的通訊軟體，並阻擋被辨識為非屬所述適當圖片的所述圖片。
如請求項6所述圖片篩選裝置，其中所述處理器包括使用所述第一模型辨識所述清晰圖片是否為所述不適當類型的圖片，並在辨識所述清晰圖片不屬於所述不適當類型的圖片時，辨識所述清晰圖片為所述適當圖片。
如請求項6所述圖片篩選裝置，其中所述處理器包括利用物件偵測模型偵測各所述模糊圖片中的主體，擷取所述主體周圍的部分圖片，並使用所述第二模型辨識所述部分圖片是否為所述適當圖片。
如請求項8所述圖片篩選裝置，其中所述處理器包括使用所述第二模型辨識所述部分圖片是否為所述不適當類型的圖片，並在辨識所述部分圖片不屬於所述不適當類型的圖片時，辨識所述部分圖片為所述適當圖片。
如請求項6所述圖片篩選裝置，其中所述處理器更使用強化學習模型清晰化各所述模糊圖片，解析經清晰化的各所述模糊圖片以獲得所述參數，並根據所述參數區分經清晰化的所述模糊圖片為所述清晰圖片或所述模糊圖片，以及使用所述第二模型辨識被區分為所述清晰圖片的經清晰化的所述模糊圖片是否為所述適當圖片。