TWI582626B - 餐飲環境圖像自動分類系統與其方法 - Google Patents

餐飲環境圖像自動分類系統與其方法 Download PDF

Info

Publication number
TWI582626B
TWI582626B TW104134437A TW104134437A TWI582626B TW I582626 B TWI582626 B TW I582626B TW 104134437 A TW104134437 A TW 104134437A TW 104134437 A TW104134437 A TW 104134437A TW I582626 B TWI582626 B TW I582626B
Authority
TW
Taiwan
Prior art keywords
classification
picture
module
analysis module
pictures
Prior art date
Application number
TW104134437A
Other languages
English (en)
Other versions
TW201715415A (zh
Inventor
黃健維
Original Assignee
數位左右有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 數位左右有限公司 filed Critical 數位左右有限公司
Priority to TW104134437A priority Critical patent/TWI582626B/zh
Priority to US15/132,313 priority patent/US9916523B2/en
Publication of TW201715415A publication Critical patent/TW201715415A/zh
Application granted granted Critical
Publication of TWI582626B publication Critical patent/TWI582626B/zh
Priority to US15/918,957 priority patent/US10599956B2/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36Indoor scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

餐飲環境圖像自動分類系統與其方法
本發明係關於一種圖像分類系統,特別係一種餐飲環境圖像自動分類系統。
隨著行動裝置的發展,現代人的生活已與網際網路相關,而網路上有關餐廳飲食的網誌已成為現代人了解餐廳的途徑之一,因此常可看見人們在餐廳裡拍照,並且將照片上傳至部落格上,以讓其它人了解餐廳的內容。然而此種模式需要使用者自行將照片分類,然而若是該使用者一次拍攝大量的照片,將會使得分類行為耗時且麻煩,且容易分類錯誤。再者,此種模式下,其它人並無法即時得知餐廳的資訊,而是需要透過搜尋後才能找到該篇網誌,其便利性仍有待提升。
有鑑於此,本發明提供一種新的餐飲環境圖像自動分類系統,以提供一使用者快速且自動化的照片分類功能,並可將更為便利的介面,讓其它人可更便利地取得該使用者所提供的餐廳資訊。
本發明的一目的是提供一種餐飲環境圖像自動分類系統,包括:一圖片上傳模組,設置於一電子裝置上,用以透過網路來傳送一組圖片;一伺服器,用以直接或間接接收被傳送的該組圖片,該伺服器具有一圖片分析模組,用以將該組圖片中的一圖片從至少二分類中分類,並產生一分析結果;其中,該分析結果產生後,該伺服器將該分析結果傳送至一網路平台系統,該網路平台系統顯示該圖片及該分析結果。
在一較佳實施例裡,該圖片分析模組包括至少二分析模組,該至少二分類模組係選自一外觀分析模組、一人員分析模組、一菜單分析模組、一主餐分析模組、一飲品分析模組及一甜點分析模組中的至少二種分析模組。因此,該圖片分析模組可以將圖片分類為餐廳外觀分類、人員分類、菜單分類、主餐分類、飲品分類及甜點分類中的至少二種分類。
在一較佳實施例裡,該伺服器更包括一分類檢查模組,該分類檢查模組判斷該組圖片中的一受檢查圖片的前後圖片是否屬於同一分類,若是,則將對應該受檢查圖片的最大分類權重值與對應該等前後圖片的分類的一權重相似值相比,若該最大分類權重值小於該權重相似值,則將該受檢查圖片重新分類為前後圖片的分類。
藉此,該餐飲環境圖像自動分類系統可以將使用者所選擇的圖片自動分類,並發佈於該網路平台系統上。當其它使用者連線至該網路平台系統上時,便可以瀏覽該等圖片,並藉由分類快速取得想要的資訊。此外,該餐飲環境圖像自動分類系統的分析具有一驗證檢查的功能,使得分類的結果更加精準。
本發明的另一目的是提供一種餐飲環境圖像自動分類方法,係透過一餐飲環境圖像自動分類系統來執行,該方法包括:利用一圖片上傳模組,透過網路來傳送一組圖片;一伺服器直接或間接接收該組圖片;該伺服器利用一圖片分析模組,將該組圖片中的一圖片從至少二分類中分類,並產生一分析結果;該伺服器將分析結果傳送至一網路平台系統;該網路平台系統顯示該圖片及分析結果。
其中,該圖片分析模組包括至少二分析模組,該至少二分類模組係選自一外觀分析模組、一人員分析模組、一菜單分析模組、一主餐分析模組、一飲品分析模組及一甜點分析模組中的至少二種分析模組。因此,該圖片分析模組可以將圖片分類為餐廳外觀分類、人員分類、菜單分類、主餐分類、飲品分類及甜點分類中的至少二種分類。
在一較佳實施例裡,更包括使用一分類檢查模組,該分類檢查模組判斷該組圖片中的一受檢查圖片的前後圖片是否屬於同一分類,若是,則將對應該受檢查圖片的最大分類權重值與對應該等前後圖片的分類的一權重相似值相比,若該最大分類權重值小於該權重相似值,則將該受檢查圖片重新分類為前後圖片的分類。
藉此,利用該餐飲環境圖像自動分類方法可以將使用者所選擇的圖片自動分類,並發佈於該網路平台系統上。當其它使用者連線至該網路平台系統上時,便可以瀏覽該等圖片,並藉由分類快速取得想要的資訊。此外,該餐飲環境圖像自動分類系統的分析具有一驗證檢查的功能,使得分類的結果更加精準。
1‧‧‧餐飲環境圖像自動分類系統
20‧‧‧圖片上傳模組
201‧‧‧顯示介面
202‧‧‧操作介面
21‧‧‧電子裝置
30‧‧‧網路平台系統
301‧‧‧社群網路平台
302‧‧‧儲存區域
40‧‧‧伺服器
416‧‧‧甜點分析模組
61‧‧‧圖片
62‧‧‧中間圖片
801~806‧‧‧操作介面
S41~S46‧‧‧步驟
S51~S55‧‧‧步驟
S61~S64‧‧‧步驟
S71~S74‧‧‧步驟
S731‧‧‧步驟
S81~S85‧‧‧步驟
401‧‧‧圖片分析模組
402‧‧‧圖片學習引擎
403‧‧‧資料庫
404‧‧‧分類檢查模組
41‧‧‧圖片分析模組
411‧‧‧外觀分析模組
412‧‧‧人員分析模組
413‧‧‧菜單分析模組
414‧‧‧主餐分析模組
415‧‧‧飲品分析模組
71、74‧‧‧時間檢核點
72、73‧‧‧不尋常分類的圖片
圖1係本發明一種餐飲環境圖像自動分類系統之系統架構示意圖。
圖2係本發明之該圖片上傳模組之一較佳實施例之架構示意圖。
圖3係本發明之網路平台系統之一較佳實施例之架構示意圖。
圖4(A)係本發明之伺服器之一較佳實施例之架構示意圖。
圖4(B)係本發明之伺服器之一較佳實施例之運作流程圖。
圖5(A)係本發明之分類檢查模組之執行一檢查之運作流程圖。
圖5(B)係圖5(A)流程的實際過程示意圖。
圖6(A)係該分類檢查模組之執行另一檢查之流程圖。
圖6(B)係圖6(A)流程的實際過程示意圖。
圖7(A)係該分類檢查模組之執行又另一檢查方法之流程圖。
圖7(B)係圖7(A)流程的實際過程示意圖。
圖7(C)係圖7(A)之檢查方法之另一實施例之實際過程示意圖。
圖7(D)係圖7(A)之檢查方法之一誤判防止方法之流程圖。
圖8(A)係本發明之餐飲環境圖像自動分類系統所執行的自動分類方法之流程圖。
圖8(B)係該圖片上傳模組的實際運作情形之示意圖。
圖8(C)係一社群網路平台的實際運作情形之示意圖。
圖1係本發明一種餐飲環境圖像自動分類系統1之系統架構示意圖,該餐飲環境圖像自動分類系統1包括一圖片上傳模組20、一網路平台系統30及一伺服器40。該圖片上傳模組20、該網路平台系統30及該伺服器40之間可透過網際網路、無線網路的方式來相互連結,但連結方式並非限定。該網路平台系統30與該伺服器40可以是同一裝置,抑或是該網路平台系統30架設於該伺服器40上,再透過網路與該圖片上傳模組20產生連結,但該網路平台系統30亦可以架設於該伺服器40的以外其它位置上。該圖片上傳模組20係設置於一電子裝置21上,並用以將圖片傳送至該電子裝置20的外部,例如將使用者所拍攝的餐廳圖片上傳至該網路平台系統30。該網路平台系統30用以接收來自該電子裝置20的圖片,並傳送圖片至該伺服器40,此外,該網路平台系統30亦可以顯示圖片,並透過網路讓複數個使用者瀏覽。該伺服器40包括一圖片分析模組41,用以分析圖片的內容,並自動將圖片分類,再將分類好的圖片與分析結果傳送至該網路平台系統30,由網路平台系統30顯示分類好的圖片。在其它實施例裡,該圖片上傳模組20也可以不透過該網路平台系統30,而直接將該等圖片傳送至該伺服器40進行處理。藉此,當使用者在一次用餐經驗裡所拍攝的照片可透過該圖片上傳模組20上傳至網路上,由該伺服器40進行分析且自動分類,而將分類好的圖片發佈到該網路平台系統30上。
該圖片上傳模組20設置於該電子裝置21上,該電子裝置21較佳係具有微處理器的計算機裝置,例如個人電腦等裝置,更加地係可隨身攜帶的行動裝置,例如智慧型手機、筆記型電腦、平板電腦等,實際上只要是能夠具有網路通訊功能且能的裝置,都可以視為用來設置該圖片上傳模組20的電子裝置21。該圖片上傳模組20較佳是一種電腦程式產品,其係安裝在該電子裝置21上, 用以將儲存於該電子裝置21裡的圖片上傳至網路上,例如上傳至該網路平台系統30,但在某些實施例裡,該圖片上傳模組20也可以係該電子裝置21本身的微處理器或微控制器或傳輸介面,亦或者係該電子裝置21的硬體的驅動軟體,用以驅動該電子裝置21進行上傳圖片的動作。
當該圖片上傳模組20係屬於電腦程式產品的情況下,該圖片上傳模組20可具有一顯示介面201與一操作介面202,如圖2所示。圖2係本發明之該圖片上傳模組20之細部結構示意圖,該圖片上傳模組20的該顯示介面201會顯示一組圖片,較佳地該組圖片是一段時間內的一組圖片,例如使用者在一次用餐經驗裡所拍攝的複數張照片。該操作介面202係用以讓使用者選擇欲想要上傳的圖片,當使用者選擇完欲上傳的圖片後,該圖片上傳模組20會透過網路,將該等被選擇的圖片上傳至該網路平台系統30,但在其它實施例裡,該圖片上傳模組20也可以透過網路直接將該等圖片傳送至該伺服器40。此外,值得注意的係,假如該電子裝置21係具有觸控功能的裝置,該顯示介面201與該操作介面202可以整合在一起,讓使用者直接以觸控的方式進行圖片的選取。
圖3係本發明之網路平台系統30之一較佳實施例之示意圖,該網路平台系統30包括有一社群網路平台301及一儲存區域302。該社群網路平台301可與複數個使用者的電子裝置21產生連結,並可以將資料顯示,讓使用者透過電子裝置21來瀏覽資料,例如,當一使用者將一組圖片上傳至該網路平台系統30後,其它使用者可能在該社群網路平台301上瀏覽到該組圖片。該儲存單元302則用以儲存該網路平台系統30的資料,當該網路平台系統30接收到一組圖片後,可將該組圖片儲存於該儲存單元302裡,該網路平台系統30再透過網路將該組圖片傳輸至該伺服器40,當該伺服器40分析好該組圖片後,該網路平台系統 接收來自該伺服器40的分析結果,並將每一圖片的分析結果儲存在該儲存單元302裡。值得注意的係,若是在該圖片上傳模組20直接將圖片傳至該伺服器40進行分析的情況下,該伺服器40會將圖片及分析結果一併傳送該網路平台系統30。
圖4(A)係本發明之伺服器40之一較佳實施例之示意圖,該伺服器40具有一圖片分析模組401、一圖片學習引擎402、及一資料庫403。該圖片分析模組401、該圖片學習引擎402以及該負料庫403彼此間可相互連結。該圖片分析模組401較佳係由一外觀分析模組411、一人員分析模組412、一菜單分析模組413、一主餐分析模組414、一飲品分析模組415及一甜點分析模組416所組成,在實施中,該圖片分析模組401至少包括上述模組411~416中的其中二個模組。上述每一模組411~416係用以分析圖片的類型,假如該圖片分析模組401具有上述六種模組411~416,則使用者所拍攝並上傳至該伺服器40的該等照片將可以被分為餐廳外觀、人員、菜單、主餐、飲品及甜點六種分類。另外,上述的模組亦可以各自合併為一模組,例如在某些情況下,主餐與甜點係被使用者為同一類,此時該主餐分析模組414極該甜點分析模組416即為同一模組,並將主餐及甜點的照片分為同一類。
其中,該外觀分析模組411係用以分析圖片是否屬於以餐廳的外觀為主的照片,該人員分析模組412係用以分析圖片是否屬於以人類為主的照片,該菜單分析模組413係用以分析圖片是否屬於以菜單為主的照片,該主餐分析模組414係用以分析圖片是否屬於以主餐為主的照片,該飲品分析模組用以分析圖片是否屬於以飲料為主的照片,該甜點分析模組416用以分析圖片是否屬於以甜點為主的照片。該圖片學習引擎402係一種根據演算法的編寫而自動尋找出圖片規則性的引擎架構,較佳地,該圖片學習引擎402係使用如Caffe深度學習演 算法框架,此演算法架構係該圖片學習引擎402在大量的圖片中自動找出規則性,例如使用者預先輸入大量的已分類好且屬於同一分類的圖片至該伺服器40,則該圖片學習引擎402會在該等圖片中找出規則性,並使用該規則去分析之後使用者所上傳的圖片。該資料庫403係用以儲存複數張圖片,較佳地,該資料庫403係預先儲存每一分類的大量相關圖片,該等相關圖片是預先被輸入至該資料庫403裡,並且皆已被分類好,使該圖片學習引擎402能在每一分類中的多張相關圖片自動找尋出該分類的特徵,例如主餐分類裡預先被輸入了100張相關圖片,則該圖片學習引擎402會在該等100張相關圖片中抽取出該等100張相關圖片特徵,做為分析後來所接收到的圖片的分類之依據。
因此,當該伺服器40接收來自該圖片上傳模組20或該網路平台系統30的一組圖片後,該圖片分析模組401裡的每一分析模組411~416會各自將該組圖片中的每一圖片進行分析,例如該主餐分析模組414將該圖片與大量的主餐分類的圖片之間的關聯性進行比對,以取得該圖片在主餐分類上的一權重,當該圖片的比對結果越符合該關聯性,則權重的分數越高。當每一分類的分析模組411~416皆取得該張圖片的權重後,該圖片分析模組401會比較每一分類的權重來找出一最高分類權重值,並將該最高分類權重值所對應的分類作為該圖片的分類,最後產生一分析結果。之後,該伺服器40將該圖片與該分析結果傳送至該網路平台系統30。
圖4(B)是該伺服器40的詳細運作流程圖,首先步驟S41被執行,該伺服器40取得多個分類的大量相關圖片,並儲存於該資料庫403裡。之後步驟S42被執行,該圖片學習引擎402各自對該資料庫30裡的每一分類進行運算,以找出每一分類中的多張相關圖片的關聯性以做為該分類的依據,並儲存於該資 料庫30裡。之後步驟S43被執行,該伺服器40從外部接收一組圖片。之後步驟S44被執行,該圖片分析模組401的該等分析模組411~416各自對該組圖片中的每一圖片進行分析,其中每一分析模組411~416係從該資料庫30取得每一分類的依據,並與每一圖片進行比對,以給予每一圖片在每一分類中的分類權重值,即每一圖片皆會具有6個分類權重值。之後步驟S45被執行,該圖片分析模組402對每一圖片各自進行分析,將一張圖片中的最大分類權重值所對應的分類設定為該張圖片的分類,並產生一分析結果。之後步驟S46,該伺服器40將每一圖片的分析結果傳送至該網路平台系統30。
此外,請再次參考圖4(A),在本發明之另一較佳實施例裡,該伺服器40可進一步包括一分類檢查模組404,該分類檢查模組404係用以檢查該圖片分析模組401產生的分析結果是否需要修正。其係由於,在分析的過程中,有可能會遇到圖片在兩種分類下的權重分數很接近而導致分類錯誤,例如三張圖片實際上都應該屬於甜點分類,但因為拍攝時的某些情況,使得中間圖片的特徵並不明顯,造成該中間圖片在甜點分類的權重值略小於在主餐分類的權重值,因此被分類到主餐分類,如此一來即會造成分類上的失誤,此時即需要該分類檢查模組404的檢查及修正。
該分類檢查模組404會將每一分類預設一權重相似值,並利用此權重相似值來檢查該待檢查圖片是否需要修正分類,其詳細運作流程如圖5(A)所示。圖5(A)係該分類檢查模組404之一較佳實施例之運作流程圖,首先步驟S51被執行,該分類檢查模組404依照圖片建立的順序(即拍攝順序)選取N張圖片,N為3以上的正整數。之後步驟S52被執行,該分類檢查模組404判斷該N張圖片中的第一張圖片與最後一張圖片的分類是否相同,若不相同,則結束此次選取的 檢查,並由圖片建立的順序選取由第二張圖片開始的N張圖片,進行另一次的檢查;若第一張圖片與最後一張圖片的分類相同,則進行步驟S53,該分類檢查模組404將中間圖片中(即去除第一張及最後一張圖片後的複數張圖片)每張圖片的最大分類權重值各自與第一張圖片與最後一張圖片的分類的該權重相似值相比,當有一圖片的最大分類權重值小於該權重相似值,則進行步驟S54,將該圖片的分類置換成對應該權重相似值的分類,反之則進行步驟S55,當有一圖片的最大分類權重值大於該權重相似值,則維持該圖片的分類。之後,由圖片建立的順序選取由第二張圖片開始的N張圖片,進行另一次的檢查。
圖5(B)係圖5(A)流程的實際過程示意圖,在此N值係設定為3,如圖5(B)所示,3張圖片中的第一張圖片與最後一張圖片的分類皆是甜點,中間圖片的分類是主餐,則該分類檢查模組404將中間圖片的最大分類權重值與甜點分類的權重相似值進行比較,在此實施例裡,該中間圖片的最大分類權重值為6,而甜點分類的權重相似值為7,因此該分類檢查模組404會將該中間圖片的分類變更為甜點。
另外,在某些情況下,該分類檢查模組404係會被預先設定一個檢測值,來決定欲檢查分類的圖片數量,例如檢查20張圖片的分類(即進行20次檢查),藉此維持伺服器的穩定性。但此設定會有一缺點,即例如當使用者上傳超過21張圖片時,最後1張圖片便無法被檢查,因此在某些實施例裡,該分類檢查模組404會再執行另一檢查。
圖6(A)係該分類檢查模組404所進行的另一檢查之流程圖,首先步驟S61被執行,該分類檢查模組404檢視使用者上傳的圖片數量是否大於系統設定的該檢測值,若是大於則進行步驟S62,該分類檢查模組404將最後一張圖 片的最大分類權重值與一預設最後分類權重相似值進行比較,其中該預設最後分類通常係設定為甜點,其係由於一般用餐中最後一道菜通常是甜點。假如最後一張圖片的最大分類權重值小於該預設最後分類的權重相似值,則進行步驟S63,將該最後一張圖片的分類變更為該預設最後分類。之後步驟S64被執行,將最後一張圖片為首的倒數N張圖片進行一次如步驟S52~S53的檢查,其中N為大於3的正整數。
圖6(B)係圖6(A)流程的實際過程示意圖,在此N值係設定為3,如圖6(B)所示,該檢測值為7,因此該分類檢查模組404將第8張圖片61的最大分類權重值與甜點分類的權重相似值進行比較,由於該張圖片61的最大分類權重值小於該權重相似值,因此該圖片61的分類被變更為甜點,之後,以該圖片61為首對倒數3張圖片進行步驟S52~S53的檢查,由於中間圖片62的最大分類權重值小於甜點分類的權重相似值,因此該中間圖片62的分類被變更為甜點。
此外,本發明的該分類檢查模組404亦可執行又另一種檢查方法。圖7(A)係該分類檢查模組404所進行的又另一檢查方法之流程圖,首先步驟S71被執行,該分類檢查模組404取得其中一分類的一時間檢核點,其中該分類的該時間檢核點較佳係該分類在全部圖片的建立時間中第一次出現的時間點,例如假如一般的用餐時間是兩個小時,而甜點是在一個半小時時上菜,則使用者可將該甜點的時間檢核點設定為第一張圖片的拍攝時間後的一個半小時,值得注意的係,每一分類的該時間檢核點係由使用者自由設定。
之後,步驟S72被執行,該分類檢查模組檢查404拍攝時間早於該分類的該時間檢核點之前的所有圖片中是否有不尋常的分類的圖片,例如假設主餐分類的時間檢核點是第一張圖片建立後的半小時,甜點分類的時間檢核點 是第一張圖片的建立時間後的一個半小時,即甜點分類的照片的建立時間應比主餐分類的圖片晚,則該分類檢查模組404會檢查在該主餐分類的時間檢核點之前的圖片中是否有甜點分類的圖片,其係由於在主餐分類之前會出現甜點分類的圖片的機率很低;假如有,則進行步驟S73,該分類檢查模組404檢查該不尋常的分類的圖片的最大分類權重值是否小於該分類的權重相似值,例如該分類檢查模組404發現在該主餐分類的時間檢核點之前存在了一張甜點分類的圖片,則該分類檢查模組404會將該甜點分類的圖片的最大分類權重值與主餐分類的權重相似值相比;假如該甜點分類的最大分類權重值小於主餐分類的權重相似值,則進行步驟S74,該分類檢查模組404將該甜點分類的圖片轉換為主餐分類。
圖7(B)係圖7(A)流程的實際過程示意圖,如圖7(B)所示,一時間檢核點71係對應主餐的分類,該主餐分類的權重值為7,而拍攝時間早於該時間檢核點71的圖片中出現了甜點分類的圖片,其中一不尋常分類(甜點分類)的圖片72的最大權重值為5,由於該最大權重值小於主餐分類的權重相似值,則該分類檢查模組404會將該圖片72轉換為主餐分類。此外,另一不尋常分類(甜點分類)的圖片73的最大權重值為8,由於該最大權重值大於主餐分類的權重相似值,因此該圖片73被維持為甜點分類。
此外由於使用者使用習慣的不同,有時時間檢核點設定的精準度會略有偏差,因此在一實施例裡,該檢查方法係設定為只要時間檢核點的前一張圖片是主餐分類,則不論時間檢核點是不適主餐分類,該分類檢查模組404皆會執行步驟S71~S74。圖7(C)係圖7(A)之檢查方法之另一實施例之示意圖,如圖7(C)所示,雖然一時間檢核點74的分類並非主餐分類,但該時間檢核點74對應的 圖片的前一張圖片係主餐分類,則該分類檢查模組404仍會將最大分類權重值小於主餐分類的權重相似值的不尋常分類圖片的轉換為主餐分類。
另外,圖7(A)之檢查方法可進一步具有一誤判防止的方法步驟,如圖7(D)所示,在執行完圖7(A)中步驟S71~S73後,該分類檢查模組404會執行步驟S731,用以檢查該等不尋常圖片的所有分類的分類權重值,假如一不尋常的圖片的尚有其它分類的分類權重值大於該時間檢核點的分類的分類權重值,則該分類檢查模組404將不轉換該不尋常圖片的分類。例如,該分類檢查模組404發現在該主餐分類的時間檢核點之前存在了一張甜點分類的圖片,其中該圖片在主餐分類的分類權重值為3,在飲品分類的分類權重值為4,在甜點分類的分類權重值為5,而主餐分類的權重相似值為8,則雖然該甜點分類的圖片的最大分類權重值小於主餐分類的權重相似值(5<8),但是由於該甜點分類的圖片在飲品分類的分類權重值(4)大於在主餐分類的分類權重值(3),則該甜點分類的圖片將不會被轉換,以避免誤判。
藉此,本發明之餐飲環境圖像自動分類系統1可具有多重驗證分類結果的功能,使得分類結果更為精準。
圖8(A)係本發明之餐飲環境圖像自動分類系統1所執行的自動分類方法之流程圖,為了使整體發明更為清楚,以下將以一較佳實施例來說明,並請同時參考圖1。在此較佳實施例裡,該電子裝置21係為一智慧型手機,該圖片上傳模組20係安裝於該智慧型手機裡的一應用軟體(APP),該圖片分析模組401係由該外觀分析模組411、該人員分析模組412、該菜單分析模組413、該主餐分析模組414、該飲品分析模組415及該甜點分析模組416所構成,因此,圖片將被分為六類。
首先步驟S81被執行,一使用者利用該圖片上傳模組20選取在一次用餐經驗裡所拍攝的複數張照片並上傳,並請同時參考圖8(B)之該圖片上傳模組20的實際運作情形示意圖,該圖片上傳模組20會於該顯示介面201上顯示多張照片,且使用者可藉由操作介面202選取欲上傳的照片並上傳。此外,該圖片上傳模組20亦可與該電子裝置21上的一照相機進行連結,當使用者透過該圖片上傳模組20驅動該照相機進行拍照時,該圖片上傳模組20可以即時將所拍攝的照片上傳。
上傳圖片後,步驟S82被執行,該伺服器40直接或間接接收到該等被上傳的圖片。之後步驟S83被執行,該圖片分析模組401將該等圖片中的每一照片分類,並產生每一照片的分析結果。每一照片的分析結果可以藉由該分類檢查模組404進行檢查並修正。之後步驟S84被執行,該伺服器40透過網路將該等分析結果傳送至該網路平台系統30。之後步驟S85被執行,該網路平台系統30將該等照片依照分類結果顯示於該社群網路平台301上。藉此,網友即可以藉由網路連線至該社群網路平台301,並依照分類結果來觀看該分類結果的照片。
圖8(C)是該社群網路平台301顯示該等照片的示意圖,其中該社群網路平台301係包括六個分類的操作介面801~806,且每個分類具有被分類好的照片,當網友點選其中一分類的操作介面801~806時,該社群網路平台301便會顯示出該分類的照片。另外,該社群網路平台301係與一編輯介面303連結,該編輯介面303可以取得使用者或網友從外部所輸入的指令,並使該社群網路平台301產生回饋。在一較佳實施例裡,該編輯介面303包括有留言指令,用以讓使用者或網友對該等分類好的照片發表評論。該編輯介面303亦可包括一修正分類的指令,讓使用者利用手動的方式修改照片的分類,此外該社群網路平台上 亦具有一資訊討論區域304,用以顯示使用者所提供的資訊及網友的留言。另外,在一較佳實施例裡,該圖片上傳模組20亦可以顯示顯示該社群網路平台301上的資料,例如可簡略地顯示該等分類的照片以及相關留言。
藉此,本發明提出一種餐飲環境圖像自動分類系統,用以將使用者於一次用餐經驗中所拍攝的照片自動分類為多種餐飲相關的分類,藉此節省大量的人力,且該系統更提供將這些照片整合的一社群網路平台,使得使用者可以更方便地取得該等餐飲的資訊。此外,本發明的餐飲環境圖像自動分類系統更包括了檢查分類的功能,用以使分類的結果更加精準。
上述實施例僅係為了方便說明而舉例而已,本發明所主張之權利範圍自應以申請專利範圍所述為準,而非僅限於上述實施例
1‧‧‧餐飲環境圖像自動分類系統
20‧‧‧圖片上傳模組
21‧‧‧電子裝置
30‧‧‧網路平台系統
40‧‧‧伺服器
401‧‧‧圖片分析模組
402‧‧‧圖片學習引擎

Claims (12)

  1. 一種餐飲環境圖像自動分類系統,包括:一圖片上傳模組,設置於一電子裝置上,用以透過網路來傳送一圖片組;一伺服器,用以直接或間接接收被傳送的該圖片組,該伺服器具有一圖片分析模組,用以將該圖片組中的一圖片從至少二分類中分類,並產生一分析結果;其中,該分析結果產生後,該伺服器將該分析結果傳送至一網路平台系統,該網路平台系統顯示該圖片及該分析結果;其中,圖片分析模組係將該圖片於該至少二分類中進行分析,以取得該圖片對應該至少二分類的至少二分類權重值,並將最大的分類權重值所對應的分類作為該圖片的分析結果,且該伺服器更包括一分類檢查模組,以根據該圖片的最大分類權重值作為依據來檢查該圖片的分類是否需要更改。
  2. 如申請專利範圍第1項所述的餐飲環境圖像自動分類系統,其中該網路平台系統具有一編輯介面,用以接收並回饋外部所輸入的訊息。
  3. 如申請專利範圍第1項所述的餐飲環境圖像自動分類系統,其中該分類檢查模組判斷該圖片組中的一受檢查圖片的前後圖片是否屬於同一分類,若是,則將對應該受檢查圖片的最大分類權重值與對應該等前後圖片的分類的一權重相似值相比,若該最大分類權重值小於該權重相似值,則將該受檢查圖片重新分類為前後圖片的分類。
  4. 如申請專利範圍第1項所述的餐飲環境圖像自動分類系統,其中該分類檢查模組判斷對應該圖片組中的最後一張圖片的最大分類權重值與一預設 分類的一權重相似值相比,若該最大分類權重值小於該權重相似值,則將該最後一張圖片重新分類為該預設分類。
  5. 如申請專利範圍第1項所述的餐飲環境圖像自動分類系統,其中該分類檢查模組判斷建立時間早於一時間檢核點的複數張圖片中是否有不尋常分類的圖片,若有,則將該不尋常分類的圖片的最大分類權重值與該時間檢核點的分類的權重相似值相比,以決定是否將該不尋常分類的圖片轉換為其它分類。
  6. 如申請專利範圍第1項所述的餐飲環境圖像自動分類系統,其中該圖片分析模組包括至少二分析模組,其係為選自一外觀分析模組、一人員分析模組、一菜單分析模組、一主餐分析模組、一飲品分析模組及一甜點分析模組中的至少二種分析模組。
  7. 一種餐飲環境圖像自動分類方法,係透過一餐飲環境圖像自動分類系統來執行,該方法包括:利用一圖片上傳模組,透過網路來傳送一圖片組;一伺服器直接或間接接收該圖片組;該伺服器利用一圖片分析模組,將該組圖片中的一圖片從至少二分類中分類,並產生一分析結果;該伺服器將分析結果傳送至一網路平台系統;該網路平台系統顯示該圖片及分析結果;其中該圖片分析模組係將該圖片於該至少二分類中進行分析,以取得該圖片對應該至少二分類的至少二分類權重值,並將最大的分類權重值所對應的分類作為該圖片的分析結果,且該伺服器更包括一分類檢查模組,以根據該圖片的最大分類權重值作為依據來檢查該圖片的分類是否需要更改。
  8. 如申請專利範圍第7項所述的餐飲環境圖像自動分類方法,其中該網路平台系統具有一編輯介面,用以接收並回饋外部所輸入的訊息。
  9. 如申請專利範圍第7項所述的餐飲環境圖像自動分類方法,其中該分類檢查模組判斷該圖片組中的一受檢查圖片的前後圖片是否屬於同一分類,若是,則將對應該受檢查圖片的最大分類權重值與對應前後圖片的分類的一權重相似值相比,若該最大分類權重值小於該權重相似值,則將該受檢查圖片重新分類為前後圖片的分類。
  10. 如申請專利範圍第7項所述的餐飲環境圖像自動分類方法,其中該分類檢查模組判斷對應該圖片組中的最後一張圖片的最大分類權重值與一預設分類的一權重相似值相比,若該最大分類權重值小於該權重相似值,則將該最後一張圖片重新分類為該預設分類。
  11. 如申請專利範圍第7項所述的餐飲環境圖像自動分類方法,其中該分類檢查模組判斷建立時間早於一時間檢核點的複數張圖片中是否有不尋常分類的圖片,若有,則將該不尋常分類的圖片的最大分類權重值與該時間檢核點的分類的權重相似值相比,以決定是否將該不尋常分類的圖片轉換為其它分類。
  12. 如申請專利範圍第7項所述的餐飲環境圖像自動分類方法,其中該圖片分析模組包括至少二分析模組,其係為選自一外觀分析模組、一人員分析模組、一菜單分析模組、一主餐分析模組、一飲品分析模組及一甜點分析模組中的至少二種分析模組。
TW104134437A 2015-10-20 2015-10-20 餐飲環境圖像自動分類系統與其方法 TWI582626B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW104134437A TWI582626B (zh) 2015-10-20 2015-10-20 餐飲環境圖像自動分類系統與其方法
US15/132,313 US9916523B2 (en) 2015-10-20 2016-04-19 Automatic picture classifying system and method in a dining environment
US15/918,957 US10599956B2 (en) 2015-10-20 2018-03-12 Automatic picture classifying system and method in a dining environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104134437A TWI582626B (zh) 2015-10-20 2015-10-20 餐飲環境圖像自動分類系統與其方法

Publications (2)

Publication Number Publication Date
TW201715415A TW201715415A (zh) 2017-05-01
TWI582626B true TWI582626B (zh) 2017-05-11

Family

ID=58523914

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104134437A TWI582626B (zh) 2015-10-20 2015-10-20 餐飲環境圖像自動分類系統與其方法

Country Status (2)

Country Link
US (2) US9916523B2 (zh)
TW (1) TWI582626B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI582626B (zh) * 2015-10-20 2017-05-11 數位左右有限公司 餐飲環境圖像自動分類系統與其方法
TW201901598A (zh) * 2017-05-15 2019-01-01 浩鑫股份有限公司 飲食資訊建議系統及其飲食資訊建議方法
CN109242030A (zh) * 2018-09-21 2019-01-18 京东方科技集团股份有限公司 画单生成方法及装置,电子设备,计算机可读存储介质
CN110971632B (zh) * 2018-09-29 2023-06-27 北京京东尚科信息技术有限公司 图片处理方法、***、介质和计算机***
CN111128341A (zh) * 2019-11-07 2020-05-08 北京航空航天大学 一种基于深度学习的菜品识别app

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120170801A1 (en) * 2010-12-30 2012-07-05 De Oliveira Luciano Reboucas System for Food Recognition Method Using Portable Devices Having Digital Cameras
CN104361357A (zh) * 2014-11-07 2015-02-18 北京途迹科技有限公司 基于图片内容分析的相片集分类***及分类方法
TW201508511A (zh) * 2013-08-22 2015-03-01 Apacer Technology Inc 基於時間之相片分類方法及其系統、及電腦可讀取記錄媒體
CN104778374A (zh) * 2015-05-04 2015-07-15 哈尔滨理工大学 一种基于图像处理识别方法的自动膳食评估装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311294B2 (en) * 2009-09-08 2012-11-13 Facedouble, Inc. Image classification and information retrieval over wireless digital networks and the internet
KR100735553B1 (ko) * 2005-10-10 2007-07-04 삼성전자주식회사 사진 분류 방법 및 장치
US8805079B2 (en) * 2009-12-02 2014-08-12 Google Inc. Identifying matching canonical documents in response to a visual query and in accordance with geographic information
CN103164713B (zh) * 2011-12-12 2016-04-06 阿里巴巴集团控股有限公司 图像分类方法和装置
US9363220B2 (en) * 2012-03-06 2016-06-07 Apple Inc. Context-sensitive help for image viewing and editing application
US20140205139A1 (en) * 2013-01-18 2014-07-24 Caterpillar Inc. Object recognition system implementing image data transformation
US9349076B1 (en) * 2013-12-20 2016-05-24 Amazon Technologies, Inc. Template-based target object detection in an image
WO2015164828A1 (en) * 2014-04-24 2015-10-29 Nantworks, LLC Robust feature identification for image-based object recognition
US9898685B2 (en) * 2014-04-29 2018-02-20 At&T Intellectual Property I, L.P. Method and apparatus for analyzing media content
US9779330B2 (en) * 2014-12-26 2017-10-03 Deere & Company Grain quality monitoring
TWI582626B (zh) * 2015-10-20 2017-05-11 數位左右有限公司 餐飲環境圖像自動分類系統與其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120170801A1 (en) * 2010-12-30 2012-07-05 De Oliveira Luciano Reboucas System for Food Recognition Method Using Portable Devices Having Digital Cameras
TW201508511A (zh) * 2013-08-22 2015-03-01 Apacer Technology Inc 基於時間之相片分類方法及其系統、及電腦可讀取記錄媒體
CN104361357A (zh) * 2014-11-07 2015-02-18 北京途迹科技有限公司 基于图片内容分析的相片集分类***及分类方法
CN104778374A (zh) * 2015-05-04 2015-07-15 哈尔滨理工大学 一种基于图像处理识别方法的自动膳食评估装置

Also Published As

Publication number Publication date
US20180268260A1 (en) 2018-09-20
TW201715415A (zh) 2017-05-01
US20170109614A1 (en) 2017-04-20
US10599956B2 (en) 2020-03-24
US9916523B2 (en) 2018-03-13

Similar Documents

Publication Publication Date Title
TWI582626B (zh) 餐飲環境圖像自動分類系統與其方法
US20210319345A1 (en) Providing intelligent storage location suggestions
US10318884B2 (en) Venue link detection for social media messages
US10084964B1 (en) Providing subject information regarding upcoming images on a display
US9275347B1 (en) Online content classifier which updates a classification score based on a count of labeled data classified by machine deep learning
US10896355B2 (en) Automatic canonical digital image selection method and apparatus
US8587604B1 (en) Interactive color palettes for color-aware search
US10380461B1 (en) Object recognition
WO2017000109A1 (zh) 搜索方法、搜索装置、用户设备和计算机程序产品
US10417492B2 (en) Conversion of static images into interactive maps
US20150242761A1 (en) Interactive visualization of machine-learning performance
WO2019223552A1 (zh) 文章推荐方法、装置、计算机设备及存储介质
JP6109970B2 (ja) オンライン・ソーシャル・ネットワーク上での画像に対するタグ付けの提案
US20180189597A1 (en) Training an Image Classifier
US11601391B2 (en) Automated image processing and insight presentation
US9626423B2 (en) Information processing apparatus, information processing method, and program for processing and clustering post information and evaluation information
US8694529B1 (en) Refinement surfacing for search hierarchies
US11995670B2 (en) User experience management system
US9727312B1 (en) Providing subject information regarding upcoming images on a display
CN106777066B (zh) 一种图像识别匹配媒体文件的方法和装置
CN111798337A (zh) 餐饮企业的环境卫生监管方法、装置、设备及存储介质
US10706601B2 (en) Interface for receiving subject affinity information
JP2016122252A (ja) 情報処理装置、方法及びプログラム
JP6050800B2 (ja) 情報処理装置、方法及びプログラム
US20240126562A1 (en) Automated configuration of software systems using images of computing devices or peripherals

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees