TWI766674B - 廚餘辨識系統及其辨識方法 - Google Patents

廚餘辨識系統及其辨識方法 Download PDF

Info

Publication number
TWI766674B
TWI766674B TW110116227A TW110116227A TWI766674B TW I766674 B TWI766674 B TW I766674B TW 110116227 A TW110116227 A TW 110116227A TW 110116227 A TW110116227 A TW 110116227A TW I766674 B TWI766674 B TW I766674B
Authority
TW
Taiwan
Prior art keywords
dish
image
sub
module
identification
Prior art date
Application number
TW110116227A
Other languages
English (en)
Other versions
TW202244786A (zh
Inventor
謝萬雲
王冠惟
陳昱宏
葉俊威
Original Assignee
長庚大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 長庚大學 filed Critical 長庚大學
Priority to TW110116227A priority Critical patent/TWI766674B/zh
Application granted granted Critical
Publication of TWI766674B publication Critical patent/TWI766674B/zh
Publication of TW202244786A publication Critical patent/TW202244786A/zh

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Of Solid Wastes (AREA)

Abstract

本發明提供一種廚餘辨識系統及其辨識方法,該廚餘辨識系統包括有圖像擷取模組、菜餚辨識模組、像素計算模組、重量計算模組、資料庫模組以及廚餘計算模組。該圖像擷取模組擷取圖像。該菜餚辨識模組接收該圖像,將該圖像切割為子圖像,辨識出該圖像中包含之菜餚類別。該像素計算模組計算出相同該菜餚類別之子圖像之像素值。該重量計算模組接收該像素值,運算後輸出該菜餚類別之重量值。該資料庫模組用以儲存該菜餚辨識模組、該像素計算模組以及該重量計算模組所輸出之資料。該廚餘計算模組根據該資料庫模組之資料進行廚餘數量計算,得到廚餘數量值。藉由上述,讓業者能根據客人的喜好準備菜色菜單,以有效減少食材的浪費。

Description

廚餘辨識系統及其辨識方法
本發明為一種辨識系統之技術領域,尤指一種廚餘辨識系統及其辨識方法。
影像辨識領域是近年來深度學習最蓬勃發展的一塊領域,像是智慧家居、自駕車、生產瑕疵品檢測、安防監控、醫療影像等應用,都和深度學習影像辨識技術有關。
根據知名飯店主廚說,一般知名餐廳每天食材成本約3萬5000元,假日更要5萬元以上。消費者取後不吃的比例約占盤中食物一成五到兩成,大多是每種咬一口試味道後就丟棄,一天浪費掉的食物總成本超過1萬5000元。而2015年聯合國指出,每年生產出的食物,約有三分之一遭到浪費。
有鑑於此,如何有效運用食材、減少食材的浪費將是刻不容緩的事務。
本發明之一目的,在希望能借由影像辨識,分析客人的飲食習慣,讓業者能根據食用者的喜好準備菜色菜單,以有效減少食材的浪費。本發明之另一目的,在讓企業廚餘量減少,藉此減少成本,更能減少浪費。本發明之又一目的,在設計出一套辨識顧客夾的菜色、剩餘廚餘的種類與份量,同時連結資料庫進行比對和分析利用,使餐廳內的菜單菜色管理與廚餘管理更方便快速。
為達到上述目的,本發明提供一種廚餘辨識系統,係應用於一餐廳,該餐廳為一特定區域內所包含之人數供餐,該廚餘辨識系統包括有:
一圖像擷取模組,該圖像擷取模組進行攝像後,擷取一圖像,該圖像擷取模組具有一發送單元用於傳送該圖像;
一菜餚辨識模組,該菜餚辨識模組與該圖像擷取模組電性連接,該菜餚辨識模組包括有一圖像處理單元、一判斷單元、一辨識單元以及一比對單元,該圖像處理單元接收該圖像後進行圖像切割,將該圖像分割成複數個子圖像,該判斷單元接收該子圖像後進行一圖像判斷,該辨識單元接收該圖像判斷後之該子圖像,進行一特徵辨識作業,得到複數個特徵,該比對單元接收該特徵進行一比對作業,辨識出每一該子圖像之一菜餚類別;
一像素計算模組,該像素計算模組與該菜餚辨識模組電性連接,該像素計算模組將相同該菜餚類別之每一該子圖像進行圖像點陣轉換,將該菜餚類別之每一該子圖像中包含該菜餚之區塊所佔有之像數值進行計算,輸出一像素值;
一重量計算模組,該重量計算模組與該像素計算模組電性連接,該重量計算模組接收該像素值,藉由一運算,輸出該菜餚類別之每一該子圖像之重量值;
一資料庫模組,該資料庫模組分別與該菜餚辨識模組、該像素計算模組以及該重量計算模組電性連接,用以儲存該菜餚辨識模組、該像素計算模組以及該重量計算模組所輸出之資料;以及
一廚餘計算模組,該廚餘計算模組與該資料庫模組電性連接,該廚餘計算模組根據該資料庫模組之資料進行廚餘數量計算,得到一今日廚餘數量值。
進一步地,該圖像擷取模組包括有一第一攝影單元、一第二攝影單元以及一第三攝影單元,該第一攝影單元自一第一高度擷取出該圖像,該圖像為廚師烹煮完成每一菜餚之一菜餚圖像,該第一攝影單元包括有一輸入單元,該輸入單元可輸入每一該菜餚圖像名稱以及每一該菜餚之一初始重量值,並儲存於該資料庫模組之一今日菜餚資料庫;該第二攝影單元自一第二高度擷取另一圖像,另一該圖像為一顧客取菜完成之一菜盤圖像;該第三攝影單元自一第三高度擷取又一圖像,又一該圖像為該顧客用餐後之一剩菜菜盤圖像。
再進一步地,該特徵包括有一第一特徵,一第二特徵以及一第三特徵,該菜餚圖像經由該辨識單元辨識出複數個該第一特徵,儲存於該今日菜餚資料庫;該菜盤圖像經由該辨識單元辨識出複數個該第二特徵,該比對單元將複數個該第二特徵與複數個該第一特徵進行該比對作業,辨識出該菜盤圖像具有之該菜餚類別,並儲存於該資料庫單元之該今日菜盤資料庫;該剩菜菜盤圖像經由該辨識單元辨識出複數個該第三特徵,該比對單元將複數個該第三特徵與該資料庫模組之一剩菜資料庫之特徵進行該比對作業,辨識出該剩菜菜盤圖像具有之該菜餚類別,並儲存於該資料庫單元之一今日剩菜菜盤資料庫。
更進一步地,該運算為自該第一高度拍攝到該菜餚圖像之該像素總和值與該初始重量值,與自該第二高度拍攝到該菜盤圖像中該菜餚之該像素總和值進行比例值運算,得到該菜盤圖像中該菜餚之一第二重量值;以及該運算為自該第一高度拍攝到之該菜餚圖像之該像素總和值與該初始重量值,與自該第三高度拍攝到之該剩菜菜盤圖像中該菜餚之該像素總和值進行比例值運算,得到該剩菜菜盤圖像中該菜餚之一第三重量值。
於上述中,將複數個剩餘菜餚經由該第一攝影單元分別進行擷取圖像,分別取得複數個該剩餘菜餚相對應之一第四重量值,將複數個該第四重量值進行加總後,再加上該第三重量值,為該今日廚餘數量值。
於前述中,該圖像判斷為該子圖像中是否只包含一種菜餚;當該子圖像不是只包含一種菜餚,則將該子圖像傳回該圖像處理單元進行第二次圖像切割;當該子圖像只包含一種菜餚,則將該子圖像傳送至該辨識單元。
另外,於前述中該特徵辨識作業為辨識該子圖像之醬汁顏色、骨頭、配料、蔬菜的顏色、菜梗以及菜葉,前述中之至少一種。
為達到上述目的,本發明同時提供一種廚餘辨識方法,係應用於一餐廳,該餐廳為一特定區域內所包含之人數供餐,該廚餘辨識方法步驟如下:
步驟S1:將複數個菜餚分別用具有一第一高度之一第一攝影單元擷取出一菜餚圖像,且自一輸入單元輸入該菜餚圖像之菜餚名稱以及初始重量值,並儲存於一資料庫模組之一今日菜餚資料庫。
步驟S2:將該菜餚圖像傳送至一菜餚辨識模組,該菜餚辨識模組執行一第一辨識模式,取得每一該菜餚之一第一特徵、一像素值,並儲存於該今日菜餚資料庫。
步驟S3:確認完成本次菜餚圖像辨識作業。
步驟S4:確認完成複數個菜餚之辨識作業。
步驟S5:將複數個菜盤分別用具有一第二高度之一第二攝影單元擷取出一菜盤圖像。
步驟S6:將該菜餚圖像傳送至一菜餚辨識模組,該菜餚辨識模組執行一第二辨識模式,取得每一該菜盤之一第二特徵、一像素值以及一第二重量值,並儲存於該今日菜盤資料庫。
步驟S7:確認完成本次菜盤圖像辨識完成。
步驟S8:確認完成複數個菜盤之辨識作業。
步驟S9:將複數個剩菜菜盤分別用具有一第三高度之一第三攝影單元擷取出一剩菜菜盤圖像。
步驟S10:將該菜餚圖像傳送至一菜餚辨識模組,該菜餚辨識模組執行一第三辨識模式,取得每一該剩菜菜盤之一第三特徵、一像素值以及一第三重量值,並儲存於該今日剩菜菜盤資料庫。
步驟S11:確認完成本次剩菜菜餚圖像辨識完成。
步驟S12:確認完成複數個剩菜菜餚之辨識作業。
步驟S13:將複數個剩餘菜餚經由該第一攝影單元分別進行擷取圖像,分別取得複數個該剩餘菜餚相對應之一第四重量值。
步驟S14:一廚餘計算模組根據該資料庫模組之資料進行廚餘數量計算,將複數個該第四重量值進行加總後,再加上該第三重量值,得到一今日廚餘數量值。
進一步地,該第一辨識模式之步驟如下:
步驟S20:以有線或無線傳輸將該菜餚圖像傳送至一圖像處裡單元,該圖像處裡單元將該圖像切割為複數個子菜餚圖像,並傳送至一判斷單元。
步驟S21:該判斷單元確認該子菜餚圖像中只包含單一菜餚後,將該子菜餚圖像傳送至一辨識單元。
步驟S22:該辨識單元連線一資料庫模組之預設特徵資料,該辨識單元依據該預設特徵資料進行該子菜餚圖像之特徵辨識作業,並取得該子菜餚圖像之複數個第一特徵後,將該第一特徵傳送至該今日菜餚資料庫,同時將該子菜餚圖像傳送至一像素計算模組。
步驟S23:該像素計算模組將每一該子菜餚圖像進行圖像點陣轉換,輸出每一該子菜餚圖像中包含該菜餚之一像素值,儲存於該今日菜餚資料庫。
進一步地,該第二辨識模式之步驟如下:
步驟S60:以有線或無線傳輸將該菜盤圖像傳送至一圖像處裡單元,該圖像處裡單元將該菜盤圖像切割為複數個子菜盤圖像,並傳送至一判斷單元。
步驟S61:該判斷單元確認該子菜盤圖像中只包含單一菜餚後,將該子菜盤圖像傳送至一辨識單元。
步驟S62:該辨識單元連線該預設特徵資料,該辨識單元依據該預設特徵資料進行該子菜盤圖像之特徵辨識作業,並取得該子菜盤圖像之複數個第二特徵後,將該第二特徵傳送至該資料庫模組之一今日菜盤資料庫,且將該第二特徵傳送至一比對單元。
步驟S63:該比對單元連線該今日菜餚資料庫,該比對單元依據複數個該第一特徵比對複數個該第二特徵,得到該子菜盤圖像之一菜餚類別,並傳送至一像素計算模組。
步驟S64:該像素計算模組將每一該子菜盤圖像進行圖像點陣轉換,輸出每一該子菜盤圖像中包含該菜餚之一像素值,儲存於該今日菜盤資料庫,同時傳送該像素值至一重量計算模組。
步驟S65:該重量計算模組,自該第一高度拍攝到該菜餚圖像之該像素總和值與該初始重量值,與自該第二高度拍攝到該菜盤圖像中該菜餚之該像素總和值進行比例值運算,得到該菜盤圖像中該菜餚之一第二重量值,並儲存至該今日菜盤資料庫。
進一步地,該第三辨識模式之步驟如下:
步驟S100:以有線或無線傳輸將該剩菜菜盤圖像傳送至一圖像處裡單元,該圖像處裡單元將該剩菜菜盤圖像切割為複數個子剩菜菜盤圖像,並傳送至一判斷單元。
步驟S101:該判斷單元確認該子剩菜菜盤圖像中只包含單一菜餚後,將該子剩菜菜盤圖像傳送至一辨識單元。
步驟S102:該辨識單元連線該預設特徵資料,該辨識單元依據該預設特徵資料進行該子剩菜菜盤圖像之特徵辨識作業,並取得該子剩菜菜盤圖像之複數個第三特徵後,將該第三特徵傳送至該資料庫模組之一今日剩菜菜盤資料庫,且將該第三特徵傳送至一比對單元。
步驟S103:該比對單元連線該資料庫模組之一剩菜資料庫之特徵,該比對單元依據該剩菜資料庫之特徵比對複數個該第三特徵,得到該子剩菜菜餚圖像之一菜餚類別,並傳送至一像素計算模組。
步驟S104:該像素計算模組將每一該子剩菜菜餚圖像進行圖像點陣轉換,輸出每一該子剩菜菜餚圖像中包含該菜餚之一像素值,儲存於該今日剩菜菜餚資料庫,同時傳送該像素值至一重量計算模組。
步驟S105:該重量計算模組,自該第一高度拍攝到該菜餚圖像之該像素總和值與該初始重量值,與自該第三高度拍攝到該剩菜菜餚圖像中該菜餚之該像素總和值進行比例值運算,得到該剩菜菜餚圖像中該菜餚之一第三重量值,並儲存至該今日剩菜菜餚資料庫。
綜上所述,本發明利用圖像辨識配合深度學習辨識出各個菜餚以及辨識出各菜餚所剩下的廚餘,並且藉由辨識結果來讓業者調整菜餚種類及出菜餚份量達到減少廚餘的目的,也可分析客人對菜色的喜好。
本創作將由圖式配合以下說明而得到充分瞭解,使得熟習本技藝之人士可據以完成,然本案之實施並非可由下列實施例而被限制其實施型態。
請參閱圖1至圖5所示,本發明提供一種廚餘辨識系統 1,係應用於一餐廳,該餐廳為一特定區域內所包含之人數供餐,該廚餘辨識系統 1 包括有一圖像擷取模組 2、一菜餚辨識模組 3、一像素計算模組 4、一重量計算模組 5、一資料庫模組 6 以及一廚餘計算模組 7。
該圖像擷取模組 2 進行攝像後,擷取一圖像 20,該圖像擷取模組 2 具有一發送單元 24 用於傳送該圖像。
該資料庫模組 6 分別與該菜餚辨識模組 3、該像素計算模組 4 以及該重量計算模組 5 電性連接,用以儲存該菜餚辨識模組 3、該像素計算模組 4 以及該重量計算模組 5 所輸出之資料。
該圖像擷取模組 2 包括有一第一攝影單元 21、一第二攝影單元 22 以及一第三攝影單元 23,該第一攝影單元 21自一第一高度 H1 擷取出該圖像 20,該圖像 20 為廚師烹煮完成每一菜餚之一菜餚圖像 211,該第一攝影單元 21 包括有一輸入單元 212,該輸入單元 212 可輸入每一該菜餚之一菜餚名稱 213 以及每一該菜餚之一初始重量值 214 (如圖2所示),並儲存於該資料庫模組 6 之一今日菜餚資料庫 61;該第二攝影單元 22 自一第二高度 H2 擷取另一圖像 20,另一該圖像 20 為一顧客取菜完成之一菜盤圖像 221 (如圖3所示);該第三攝影單元 23 自一第三高度 H3 擷取又一圖像 20,又一該圖像 20 為該顧客用餐後之一剩菜菜盤圖像 231 (如圖4所示)。
該菜餚辨識模組 3 與該圖像擷取模組 2 電性連接,該菜餚辨識模組 3 包括有一圖像處理單元 31、一判斷單元 32、一辨識單元 33 以及一比對單元 34,該圖像處理單元 31 接收該圖像 20 後進行圖像切割,將該圖像 20 分割成複數個子圖像 200,於本實施例中,為利用畫面中的差異擷取,將畫面聚焦於所需要的部分 (如圖11所示),該判斷單元 32 接收該子圖像 200 後進行一圖像判斷 8,該辨識單元 33 接收該圖像判斷 8 後之該子圖像 200,進行一特徵辨識作業 81,得到複數個特徵 82,該比對單元 34 接收該特徵 82 進行一比對作業 9,辨識出每一該子圖像之一菜餚類別 91。
於上述中,該特徵辨識作業 81 為辨識該子圖像 200 之醬汁顏色、骨頭、配料、蔬菜的顏色、菜梗以及菜葉,前述中之至少一種。
於上述中,該圖像判斷 8 為該子圖像 200 中是否只包含一種菜餚;當該子圖像 200 不只包含一種菜餚,則將該子圖像 200 傳回該圖像處理單元 31 進行第二次圖像切割 (如圖12所示);當該子圖像 200 只包含一種菜餚,則將該子圖像 200 傳送至該辨識單元 33。
於上述中,該特徵 82 包括有一第一特徵,一第二特徵以及一第三特徵,該菜餚圖像 211 經由該辨識單元 33 辨識出複數個該第一特徵,儲存於該今日菜餚資料庫 61;該菜盤圖像 221 經由該辨識單元 33 辨識出複數個該第二特徵,並儲存於該資料庫模組 6 之一今日菜盤資料庫 62;該剩菜菜盤圖像 231 經由該辨識單元 33 辨識出複數個該第三特徵,並儲存於該資料庫模組 6 之一今日剩菜菜盤資料庫 63。
於上述中,該比對作業 9 為將複數個該第二特徵與複數個該第一特徵進行比對,辨識出該菜盤圖像 221 具有之該菜餚類別 91;以及該比對作業 9 將複數個該第三特徵與該資料庫模組 6 之一剩菜資料庫 64 之特徵進行該比對,辨識出該剩菜菜盤圖 631 像具有之該菜餚類別 91。
該像素計算模組 4 與該菜餚辨識模組 3 電性連接,該像素計算模組 4 將相同該菜餚類別 91 之每一該子圖像 200 進行圖像點陣轉換 (如圖13所示),將該菜餚類別 91 之每一該子圖像 200 中包含該菜餚之區塊所佔有之像數值進行計算,輸出一像素值。
該重量計算模組 5 與該像素計算模組 4 電性連接,該重量計算模組 5 接收該像素值 41,藉由一運算,輸出該菜餚類別 91 之每一該子圖像 200 之一重量值。
該運算為自該第一高度 H1 拍攝到該菜餚圖像 211 之該像素總和值與該初始重量值 214,與自該第二高度 H2 拍攝到該菜盤圖像 221 中該菜餚之該像素總和值進行比例值運算,得到該菜盤圖像 221 中該菜餚之一第二重量值;以及該運算為自該第一高度 H1 拍攝到之該菜餚圖像 211 之該像素總和值與該初始重量值 214,與自該第三高度 H3 拍攝到之該剩菜菜盤圖像 231 中該菜餚之該像素總和值進行比例值運算,得到該剩菜菜盤圖像 231 中該菜餚之一第三重量值。
此外,將複數個剩餘菜餚經由該第一攝影單元 21 分別進行擷取圖像後,分別取得複數個該剩餘菜餚相對應之一第四重量值。
該廚餘計算模組 7 與該資料庫模組 6 電性連接,該廚餘計算模組 7 根據該資料庫模組 6 之資料進行廚餘數量計算,該廚餘計算模組將複數個該第四重量值進行加總後,再加上該第三重量值,得到一今日廚餘數量值。
於本實施例中,資料庫模組 6 是一個跨平台的電腦視覺庫模組(Open Source Computer Vision Library,OpenCV) 的程式撰寫應用與處理,開發即時的圖像處理以及圖型識別程式,另外更搭配卷積神經網路(Convolutional Neural Network, CNN) 演算法執行,使其可以進行特徵萃取 (Feature Extraction),進而應用在圖像辨識。
請參閱圖5以及圖6所示,係為本發明之功能架構圖以及本發明廚餘辨識方法之流程圖。本發明提供一種廚餘辨識方法,係應用於一餐廳,該餐廳為一特定區域內所包含之人數供餐,該廚餘辨識方法步驟如下:
步驟S1:將複數個菜餚分別用具有一第一高度之一第一攝影單元擷取出一菜餚圖像,且自該第一攝影單元之一輸入單元輸入該菜餚圖像之菜餚名稱以及初始重量值,並儲存於一資料庫模組之一今日菜餚資料庫。
步驟S2:將該菜餚圖像傳送至一菜餚辨識模組,該菜餚辨識模組執行一第一辨識模式,取得每一該菜餚之一第一特徵、一像素值,並儲存於該今日菜餚資料庫。
步驟S3:確認完成本次菜餚圖像辨識作業;若未完成本次菜餚圖像辨識作業則回到步驟S1。
步驟S4:確認完成複數個菜餚之辨識作業;若未完成複數個菜餚之辨識作業則回到步驟S1。
步驟S5:將複數個菜盤分別用具有一第二高度之一第二攝影單元擷取出一菜盤圖像。
步驟S6:將該菜餚圖像傳送至一菜餚辨識模組,該菜餚辨識模組執行一第二辨識模式,取得每一該菜盤之一第二特徵、一像素值以及一第二重量值,並儲存於該今日菜盤資料庫。
步驟S7:確認完成本次菜盤圖像辨識作業;若未完成本次菜盤圖像辨識作業則回到步驟S5。
步驟S8:確認完成複數個菜盤之辨識作業;若未完成複數個菜盤之辨識作業則回到步驟S5。
步驟S9:將複數個剩菜菜盤分別用具有一第三高度之一第三攝影單元擷取出一剩菜菜盤圖像。
步驟S10:將該菜餚圖像傳送至一菜餚辨識模組,該菜餚辨識模組執行一第三辨識模式,取得每一該剩菜菜盤之一第三特徵、一像素值以及一第三重量值,並儲存於該今日剩菜菜盤資料庫。
步驟S11:確認完成本次剩菜菜餚圖像辨識作業;若未完成本次剩菜菜餚圖像辨識作業則回到步驟S9。
步驟S12:確認完成複數個剩菜菜餚之辨識作業;若未完成複數個剩菜菜餚之辨識作業則回到步驟S9。
步驟S13:將複數個剩餘菜餚經由該第一攝影單元分別進行擷取圖像,分別取得複數個該剩餘菜餚相對應之一第四重量值。
步驟S14:一廚餘計算模組根據該資料庫模組之資料進行廚餘數量計算,將複數個該第四重量值進行加總後,再加上該第三重量值,得到一今日廚餘數量值。
請參閱圖7所示,係為本發明第一辨識模式之流程圖。於上述中,該第一辨識模式之步驟如下:
步驟S20:以有線或無線傳輸將該菜餚圖像傳送至一圖像處裡單元,該圖像處裡單元將該圖像切割為複數個子菜餚圖像,並傳送至一判斷單元。
步驟S21:該判斷單元確認該子菜餚圖像中只包含單一菜餚後,將該子菜餚圖像傳送至一辨識單元。
步驟S22:該辨識單元連線一資料庫模組之預設特徵資料,該辨識單元依據該預設特徵資料進行該子菜餚圖像之特徵辨識作業,並取得該子菜餚圖像之複數個第一特徵後,將該第一特徵傳送至該今日菜餚資料庫,同時將該子菜餚圖像傳送至一像素計算模組。
步驟S23:該像素計算模組將每一該子菜餚圖像進行圖像點陣轉換,輸出每一該子菜餚圖像中包含該菜餚之一像素值,儲存於該今日菜餚資料庫。
請參閱圖8所示,係為本發明第二辨識模式之流程圖。於上述中,該第二辨識模式之步驟如下:
步驟S60:以有線或無線傳輸將該菜盤圖像傳送至一圖像處裡單元,該圖像處裡單元將該菜盤圖像切割為複數個子菜盤圖像,並傳送至一判斷單元。
步驟S61:該判斷單元確認該子菜盤圖像中只包含單一菜餚後,將該子菜盤圖像傳送至一辨識單元。
步驟S62:該辨識單元連線該預設特徵資料,該辨識單元依據該預設特徵資料進行該子菜盤圖像之特徵辨識作業,並取得該子菜盤圖像之複數個第二特徵後,將該第二特徵傳送至該資料庫模組之一今日菜盤資料庫,且將該第二特徵傳送至一比對單元。
步驟S63:該比對單元連線該今日菜餚資料庫,該比對單元依據複數個該第一特徵比對複數個該第二特徵,得到該子菜盤圖像之一菜餚類別,並傳送至一像素計算模組。
步驟S64:該像素計算模組將每一該子菜盤圖像進行圖像點陣轉換,輸出每一該子菜盤圖像中包含該菜餚之一像素值,儲存於該今日菜盤資料庫,同時傳送該像素值至一重量計算模組。
步驟S65:該重量計算模組,自該第一高度拍攝到該菜餚圖像之該像素總和值與該初始重量值,與自該第二高度拍攝到該菜盤圖像中該菜餚之該像素總和值進行比例值運算,得到該菜盤圖像中該菜餚之一第二重量值,並儲存至該今日菜盤資料庫。
請參閱圖9所示,係為本發明第三辨識模式之流程圖。於上述中,該第三辨識模式之步驟如下:
步驟S100:以有線或無線傳輸將該剩菜菜盤圖像傳送至一圖像處裡單元,該圖像處裡單元將該剩菜菜盤圖像切割為複數個子剩菜菜盤圖像,並傳送至一判斷單元。
步驟S101:該判斷單元確認該子剩菜菜盤圖像中只包含單一菜餚後,將該子剩菜菜盤圖像傳送至一辨識單元。
步驟S102:該辨識單元連線該預設特徵資料,該辨識單元依據該預設特徵資料進行該子剩菜菜盤圖像之特徵辨識作業,並取得該子剩菜菜盤圖像之複數個第三特徵後,將該第三特徵傳送至該資料庫模組之一今日剩菜菜盤資料庫,且將該第三特徵傳送至一比對單元。
步驟S103:該比對單元連線該資料庫模組之一剩菜資料庫之特徵,該比對單元依據該剩菜資料庫之特徵比對複數個該第三特徵,得到該子剩菜菜餚圖像之一菜餚類別,並傳送至一像素計算模組。
步驟S104:該像素計算模組將每一該子剩菜菜餚圖像進行圖像點陣轉換,輸出每一該子剩菜菜餚圖像中包含該菜餚之一像素值,儲存於該今日剩菜菜餚資料庫,同時傳送該像素值至一重量計算模組。
步驟S105:該重量計算模組,自該第一高度拍攝到該菜餚圖像之該像素總和值與該初始重量值,與自該第三高度拍攝到該剩菜菜餚圖像中該菜餚之該像素總和值進行比例值運算,得到該剩菜菜餚圖像中該菜餚之一第三重量值,並儲存至該今日剩菜菜餚資料庫。
綜上所述,本發明廚餘辨識系統及其辨識方法,具有之優點如下:
1. 提供用餐客戶記錄客戶裝盤後與剩菜廚餘的照片,提供醫院或企業進行人員記錄管理。
2. 提供醫院或企業管理者本發明廚餘辨識系統,可以辨識出餐前與廚餘的照片進行紀錄,讓業者達到食安的標準。
3. 提供管理者本發明廚餘辨識系統,了解各個菜餚的廚餘量,讓醫院或企業之員工餐廳之廚餘量減少,並藉此減少成本,更能減少浪費。
4. 具有三種辨識模式,第一辨識模式用來辨識當天所提供各道菜餚;第二辨識模式用來辨識客人所夾的菜餚;第一辨識模式用來辨識廚餘原本是哪道菜餚。
上述僅為本發明的較佳實施例而已,並非用來限定本發明實施的範圍,在不背離本發明精神及其實質的情況下,熟悉本領域的技術人員當可根據本發明作出各種相應的改變和變形,但這些相應的改變和變形都應屬於本發明所附的權利要求的保護範圍。
1:廚餘辨識系統 2:圖像擷取模組 20:圖像 200:子圖像 21:第一攝影單元 211:菜餚圖像 212:輸入單元 213:菜餚名稱 214:初始重量值 22:第二攝影單元 221:菜盤圖像 23:第三攝影單元 231:剩菜菜盤圖像 24:發送單元 3:菜餚辨識模組 31:圖像處理單元 32:判斷單元 33:辨識單元 34:比對單元 4:像素計算模組 5:重量計算模組 6:資料庫模組 61:今日菜餚資料庫 62:今日菜盤資料庫 63:今日剩菜菜盤資料庫 64:剩菜資料庫 7:廚餘計算模組 8:圖像判斷 81:特徵辨識作業 82:特徵 9:比對作業 91:菜餚類別 H1:第一高度 H2:第二高度 H3:第三高度 步驟S1~步驟S14 步驟20~步驟23 步驟60~步驟65 步驟101~步驟105
圖1係為本發明廚餘辨識系統之系統架構圖。 圖2係為本發明第一攝影模組之使用架構示意圖。 圖3係為本發明第二攝影模組之使用架構示意圖。 圖4係為本發明第三攝影模組之使用架構示意圖。 圖5係為本發明之功能架構圖。 圖6係為本發明廚餘辨識方法之流程圖。 圖7係為接續圖6之流程圖。 圖8係為本發明第一辨識模式之流程圖。 圖9係為本發明第二辨識模式之流程圖。 圖10係為本發明第三辨識模式之流程圖。 圖11係為本發明之菜盤圖像切割示意圖。 圖12係為本發明之菜盤圖像第二次圖像切割示意圖。 圖13係為本發明之菜盤圖像進行圖像點陣轉換之示意圖。
1:廚餘辨識系統
2:圖像擷取模組
21:第一攝影單元
212:輸入單元
22:第二攝影單元
23:第三攝影單元
24:發送單元
3:菜餚辨識模組
31:圖像處理單元
32:判斷單元
33:辨識單元
34:比對單元
4:像素計算模組
5:重量計算模組
6:資料庫模組
61:今日菜餚資料庫
62:今日菜盤資料庫
63:今日剩菜菜盤資料庫
64:剩菜資料庫
7:廚餘計算模組

Claims (12)

  1. 一種廚餘辨識系統,包括有: 一圖像擷取模組,該圖像擷取模組進行攝像後,擷取一圖像,該圖像擷取模組具有一發送單元用於傳送該圖像; 一菜餚辨識模組,該菜餚辨識模組與該圖像擷取模組電性連接,該菜餚辨識模組包括有一圖像處理單元、一判斷單元、一辨識單元以及一比對單元,該圖像處理單元接收該圖像後進行圖像切割,將該圖像分割成複數個子圖像,該判斷單元接收該子圖像後進行一圖像判斷,該辨識單元接收該圖像判斷後之該子圖像,進行一特徵辨識作業,得到複數個特徵,該比對單元接收該特徵進行一比對作業,辨識出每一該子圖像之一菜餚類別; 一像素計算模組,該像素計算模組與該菜餚辨識模組電性連接,該像素計算模組將相同該菜餚類別之每一該子圖像進行圖像點陣轉換,將該菜餚類別之每一該子圖像中包含該菜餚之區塊所佔有之像數值進行計算,輸出一像素值; 一重量計算模組,該重量計算模組與該像素計算模組電性連接,該重量計算模組接收該像素值,藉由一運算,輸出該菜餚類別之每一該子圖像之重量值; 一資料庫模組,該資料庫模組分別與該菜餚辨識模組、該像素計算模組以及該重量計算模組電性連接,用以儲存該菜餚辨識模組、該像素計算模組以及該重量計算模組所輸出之資料;以及 一廚餘計算模組,該廚餘計算模組與該資料庫模組電性連接,該廚餘計算模組根據該資料庫模組之資料進行廚餘數量計算,得到一今日廚餘數量值。
  2. 如請求項1所述的廚餘辨識系統,其中,該圖像擷取模組包括有一第一攝影單元、一第二攝影單元以及一第三攝影單元,該第一攝影單元自一第一高度擷取出該圖像,該圖像為廚師烹煮完成每一菜餚之一菜餚圖像,該第一攝影單元包括有一輸入單元,該輸入單元可輸入每一該菜餚圖像名稱以及每一該菜餚之一初始重量值,並儲存於該資料庫模組之一今日菜餚資料庫;該第二攝影單元自一第二高度擷取另一圖像,另一該圖像為一顧客取菜完成之一菜盤圖像;該第三攝影單元自一第三高度擷取又一圖像,又一該圖像為該顧客用餐後之一剩菜菜盤圖像。
  3. 如請求項2所述的廚餘辨識系統,其中,該特徵包括有一第一特徵,一第二特徵以及一第三特徵,該菜餚圖像經由該辨識單元辨識出複數個該第一特徵,儲存於該今日菜餚資料庫;該菜盤圖像經由該辨識單元辨識出複數個該第二特徵,並儲存於該資料庫單元之該今日菜盤資料庫;該剩菜菜盤圖像經由該辨識單元辨識出複數個該第三特徵,並儲存於該資料庫單元之一今日剩菜菜盤資料庫。
  4. 如請求項3所述的廚餘辨識系統,其中,該比對作業為將複數個該第二特徵與複數個該第一特徵進行比對,辨識出該菜盤圖像具有之該菜餚類別;以及該比對作業將複數個該第三特徵與該資料庫模組之一剩菜資料庫之特徵進行該比對作業,辨識出該剩菜菜盤圖像具有之該菜餚類別。
  5. 如請求項2所述的廚餘辨識系統,其中,該運算為自該第一高度拍攝到該菜餚圖像之該像素總和值與該初始重量值,與自該第二高度拍攝到該菜盤圖像中該菜餚之該像素總和值進行比例值運算,得到該菜盤圖像中該菜餚之一第二重量值;以及該運算為自該第一高度拍攝到之該菜餚圖像之該像素總和值與該初始重量值,與自該第三高度拍攝到之該剩菜菜盤圖像中該菜餚之該像素總和值進行比例值運算,得到該剩菜菜盤圖像中該菜餚之一第三重量值。
  6. 如請求項4所述的廚餘辨識系統,其中,將複數個剩餘菜餚經由該第一攝影單元分別進行擷取圖像,分別取得複數個該剩餘菜餚相對應之一第四重量值,將複數個該第四重量值進行加總後,再加上該第三重量值,為該今日廚餘數量值。
  7. 如請求項1所述的廚餘辨識系統,其中,該圖像判斷為該子圖像中是否只包含一種菜餚;當該子圖像不是只包含一種菜餚,則將該子圖像傳回該圖像處理單元進行第二次圖像切割;當該子圖像只包含一種菜餚,則將該子圖像傳送至該辨識單元。
  8. 如請求項1所述的廚餘辨識系統,其中,該特徵辨識作業為辨識該子圖像之醬汁顏色、骨頭、配料、蔬菜的顏色、菜梗以及菜葉,前述中之至少一種。
  9. 一種廚餘辨識方法,步驟如下: 步驟S1:將複數個菜餚分別用具有一第一高度之一第一攝影單元擷取出一菜餚圖像,且自一輸入單元輸入該菜餚圖像之菜餚名稱以及初始重量值,並儲存於一資料庫模組之一今日菜餚資料庫; 步驟S2:將該菜餚圖像傳送至一菜餚辨識模組,該菜餚辨識模組執行一第一辨識模式,取得每一該菜餚之一第一特徵、一像素值,並儲存於該今日菜餚資料庫; 步驟S3:確認完成本次菜餚圖像辨識作業; 步驟S4:確認完成複數個菜餚之辨識作業; 步驟S5:將複數個菜盤分別用具有一第二高度之一第二攝影單元擷取出一菜盤圖像; 步驟S6:將該菜餚圖像傳送至一菜餚辨識模組,該菜餚辨識模組執行一第二辨識模式,取得每一該菜盤之一第二特徵、一像素值以及一第二重量值,並儲存於該今日菜盤資料庫; 步驟S7:確認完成本次菜盤圖像辨識作業; 步驟S8:確認完成複數個菜盤之辨識作業; 步驟S9:將複數個剩菜菜盤分別用具有一第三高度之一第三攝影單元擷取出一剩菜菜盤圖像; 步驟S10:將該菜餚圖像傳送至一菜餚辨識模組,該菜餚辨識模組執行一第三辨識模式,取得每一該剩菜菜盤之一第三特徵、一像素值以及一第三重量值,並儲存於該今日剩菜菜盤資料庫; 步驟S11:確認完成本次剩菜菜餚圖像辨識作業; 步驟S12:確認完成複數個剩菜菜餚之辨識作業; 步驟S13:將複數個剩餘菜餚經由該第一攝影單元分別進行擷取圖像,分別取得複數個該剩餘菜餚相對應之一第四重量值; 步驟S14:一廚餘計算模組根據該資料庫模組之資料進行廚餘數量計算,將複數個該第四重量值進行加總後,再加上該第三重量值,得到一今日廚餘數量值。
  10. 如請求項9所述的廚餘辨識方法,其中,該第一辨識模式包含步驟如下: 步驟S20:以有線或無線傳輸將該菜餚圖像傳送至一圖像處裡單元,該圖像處裡單元將該圖像切割為複數個子菜餚圖像,並傳送至一判斷單元; 步驟S21:該判斷單元確認該子菜餚圖像中只包含單一菜餚後,將該子菜餚圖像傳送至一辨識單元; 步驟S22:該辨識單元連線一資料庫模組之預設特徵資料,該辨識單元依據該預設特徵資料進行該子菜餚圖像之特徵辨識作業,並取得該子菜餚圖像之複數個第一特徵後,將該第一特徵傳送至該今日菜餚資料庫,同時將該子菜餚圖像傳送至一像素計算模組; 步驟S23:該像素計算模組將每一該子菜餚圖像進行圖像點陣轉換,輸出每一該子菜餚圖像中包含該菜餚之一像素值,儲存於該今日菜餚資料庫。
  11. 如請求項9所述的廚餘辨識方法,其中,該第二辨識模式包含步驟如下: 步驟S60:以有線或無線傳輸將該菜盤圖像傳送至一圖像處裡單元,該圖像處裡單元將該菜盤圖像切割為複數個子菜盤圖像,並傳送至一判斷單元; 步驟S61:該判斷單元確認該子菜盤圖像中只包含單一菜餚後,將該子菜盤圖像傳送至一辨識單元; 步驟S62:該辨識單元連線該預設特徵資料,該辨識單元依據該預設特徵資料進行該子菜盤圖像之特徵辨識作業,並取得該子菜盤圖像之複數個第二特徵後,將該第二特徵傳送至該資料庫模組之一今日菜盤資料庫,且將該第二特徵傳送至一比對單元; 步驟S63:該比對單元連線該今日菜餚資料庫,該比對單元依據複數個該第一特徵比對複數個該第二特徵,得到該子菜盤圖像之一菜餚類別,並傳送至一像素計算模組; 步驟S64:該像素計算模組將每一該子菜盤圖像進行圖像點陣轉換,輸出每一該子菜盤圖像中包含該菜餚之一像素值,儲存於該今日菜盤資料庫,同時傳送該像素值至一重量計算模組; 步驟S65:該重量計算模組,自該第一高度拍攝到該菜餚圖像之該像素總和值與該初始重量值,與自該第二高度拍攝到該菜盤圖像中該菜餚之該像素總和值進行比例值運算,得到該菜盤圖像中該菜餚之一第二重量值,並儲存至該今日菜盤資料庫。
  12. 如請求項9所述的廚餘辨識方法,其中,該第三辨識模式包含步驟如下: 步驟S100:以有線或無線傳輸將該剩菜菜盤圖像傳送至一圖像處裡單元,該圖像處裡單元將該剩菜菜盤圖像切割為複數個子剩菜菜盤圖像,並傳送至一判斷單元; 步驟S101:該判斷單元確認該子剩菜菜盤圖像中只包含單一菜餚後,將該子剩菜菜盤圖像傳送至一辨識單元; 步驟S102:該辨識單元連線該預設特徵資料,該辨識單元依據該預設特徵資料進行該子剩菜菜盤圖像之特徵辨識作業,並取得該子剩菜菜盤圖像之複數個第三特徵後,將該第三特徵傳送至該資料庫模組之一今日剩菜菜盤資料庫,且將該第三特徵傳送至一比對單元; 步驟S103:該比對單元連線該資料庫模組之一剩菜資料庫之特徵,該比對單元依據該剩菜資料庫之特徵比對複數個該第三特徵,得到該子剩菜菜餚圖像之一菜餚類別,並傳送至一像素計算模組; 步驟S104:該像素計算模組將每一該子剩菜菜餚圖像進行圖像點陣轉換,輸出每一該子剩菜菜餚圖像中包含該菜餚之一像素值,儲存於該今日剩菜菜餚資料庫,同時傳送該像素值至一重量計算模組; 步驟S105:該重量計算模組,自該第一高度拍攝到該菜餚圖像之該像素總和值與該初始重量值,與自該第三高度拍攝到該剩菜菜餚圖像中該菜餚之該像素總和值進行比例值運算,得到該剩菜菜餚圖像中該菜餚之一第三重量值,並儲存至該今日剩菜菜餚資料庫。
TW110116227A 2021-05-05 2021-05-05 廚餘辨識系統及其辨識方法 TWI766674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW110116227A TWI766674B (zh) 2021-05-05 2021-05-05 廚餘辨識系統及其辨識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110116227A TWI766674B (zh) 2021-05-05 2021-05-05 廚餘辨識系統及其辨識方法

Publications (2)

Publication Number Publication Date
TWI766674B true TWI766674B (zh) 2022-06-01
TW202244786A TW202244786A (zh) 2022-11-16

Family

ID=83103713

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110116227A TWI766674B (zh) 2021-05-05 2021-05-05 廚餘辨識系統及其辨識方法

Country Status (1)

Country Link
TW (1) TWI766674B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9098884B2 (en) * 2009-09-09 2015-08-04 David Borowski Waste recycling systems, processes, and methods
TW201823665A (zh) * 2016-09-09 2018-07-01 日商螺法股份有限公司 傳感器結構、具有傳感器結構之構件及傳感器結構之圖案化方法
CN110610201A (zh) * 2019-08-30 2019-12-24 厦门快商通科技股份有限公司 厨余回收分类方法、***、移动终端及存储介质
CN111674763A (zh) * 2020-06-27 2020-09-18 徐仪 生活垃圾分类识别软件

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9098884B2 (en) * 2009-09-09 2015-08-04 David Borowski Waste recycling systems, processes, and methods
TW201823665A (zh) * 2016-09-09 2018-07-01 日商螺法股份有限公司 傳感器結構、具有傳感器結構之構件及傳感器結構之圖案化方法
CN110610201A (zh) * 2019-08-30 2019-12-24 厦门快商通科技股份有限公司 厨余回收分类方法、***、移动终端及存储介质
CN111674763A (zh) * 2020-06-27 2020-09-18 徐仪 生活垃圾分类识别软件

Also Published As

Publication number Publication date
TW202244786A (zh) 2022-11-16

Similar Documents

Publication Publication Date Title
CN106371337B (zh) 智能烹饪控制方法、智能厨房控制***和智能厨房***
TWI621092B (zh) Restaurant meal scheduling management system and method thereof
CN110059654A (zh) 一种基于细粒度识别的菜品自动结算及饮食健康管理方法
CN109493254B (zh) 一种菜品制作排序与催菜方法、装置以及菜品处理***
US8768741B1 (en) Displaying an item of work in a workflow context
CN109166614A (zh) 一种推荐个人健康菜谱的***及方法
US20180330224A1 (en) Diet information recommendation system and diet information recommendation method
JP7376489B2 (ja) 食品を分類する方法及びシステム
CN110335666A (zh) 医学影像评估方法、装置、计算机设备及存储介质
WO2020145085A1 (ja) 画像認識装置、画像認識プログラム、および画像認識方法
KR20210109166A (ko) Ai와 빅데이터 기술을 활용하여 외식업체를 방문 및 주문한 고객들의 음식선호도 여론조사 방법과 시스템
CN109817319A (zh) 设备运营状态统计分析***平台和设备运营状态实时监控方法及***
CN112184494A (zh) 食品留样的联动控制方法、***及设备
TWI766674B (zh) 廚餘辨識系統及其辨識方法
CN103841175A (zh) 一种图像特征信息传输方法、装置及***
CN116129349A (zh) 一种连锁门店标准化监控方法和***
CN109377416A (zh) 菜单信息的生成方法、装置及设备
US11032489B2 (en) Camera normalization
WO2022113188A1 (ja) 情報処理装置
CN104809588B (zh) 餐饮任务的分配方法及***
CN107803838B (zh) 一种基于服务机器人的饮食管理方法及服务机器人
CN109545362B (zh) 一种使用目标数据控制结果数据的视觉识别分析***
CN113284589A (zh) 一种基于区域区块链的大数据统计***及统计方法
CN112506078A (zh) 烹饪食材管理机器人及其控制方法
JP4496624B2 (ja) 食事管理支援システム及び食事管理支援方法