TW202321130A - 貨物管理系統及其方法 - Google Patents
貨物管理系統及其方法 Download PDFInfo
- Publication number
- TW202321130A TW202321130A TW111136395A TW111136395A TW202321130A TW 202321130 A TW202321130 A TW 202321130A TW 111136395 A TW111136395 A TW 111136395A TW 111136395 A TW111136395 A TW 111136395A TW 202321130 A TW202321130 A TW 202321130A
- Authority
- TW
- Taiwan
- Prior art keywords
- cargo
- item
- dock
- images
- cnn
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/987—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Studio Devices (AREA)
Abstract
本發明揭露了做為範例的貨物管理系統和方法。在一種實施方式中,技術從感測器塔接收至少一個廣角相機影像,其中感測器塔位於裝卸台附近並且廣角相機影像與裝卸台的至少一部分相關聯。該技術還從感測器塔接收多個高精度相機影像,其中多個高精度相機影像與裝卸台的至少一部分相關聯。該技術使用第一個卷積神經網路 (CNN) 處理廣角影像,並使用第二個 CNN 處理多個高精度影像。該技術基於處理後的高精度影像來識別裝卸台附近的貨物項目。
Description
本公開內容涉及管理倉庫操作,包括經由裝卸台運送和接收貨物。
運送和接收物品的倉庫和其他建築物通常使用裝卸台在倉庫和運送和接收任何數量的物品的卡車之間轉移那些物品。在一些情況下,叉車和其他設備可以將物品從卡車卸載到倉庫中並且可以將物品從倉庫裝載到卡車上。
重要的是追蹤這些物品的移動、確認接收到的貨物包含正確的物品、檢查接收到的貨物中的損壞物品、檢查篡改物品的證據等。通常,這些活動由人工操作員手動執行,操作員檢查收到的貨物並將其與提貨單或其他追蹤系統進行比較。這些手動操作通常很慢並且容易出錯。
本發明揭露一種貨物管理系統,包含:一個或多個處理器;以及一個或多個非暫時電腦可讀取媒體,儲存可由所述一個或多個處理器執行的指令,其中指令在被執行時使所述系統執行包括以下操作:從感測器塔接收至少一個廣角相機影像,其中所述感測器塔位於裝卸台附近並且所述廣角相機影像與所述裝卸台的至少一部分相關聯;從所述感測器塔接收複數個高精度相機影像,其中所述複數個高精度相機影像與所述裝卸台的至少一部分相關聯;預處理所述廣角相機影像和所述複數個高精度相機影像以生成預處理廣角影像和複數個預處理高精度影像;使用第一卷積神經網路(CNN)處理所述預處理廣角影像;以及使用第二卷積神經網路(CNN)處理所述複數個預處理高精度影像。
所述之貨物管理系統,更包含基於使用第二CNN處理所述複數個預處理高精度影像來識別在所述裝卸台附近操作的至少一個設備。
所述系統執行的操作還包含基於使用第二CNN處理所述複數個預處理高精度影像來識別接近所述裝卸台的貨物項目。所述系統執行的操作還包含基於使用該第二CNN處理所述複數個預處理高精度影像來識別與該貨物項目相關聯的複數個物件。該操作更進一步包含基於使用該第二CNN處理所述複數個預處理高精度影像的結果來接收人工輸入。該操作還包含基於接收到的該人工輸入來訓練該第二 CNN。該操作更進一步包含分析所述預處理高精度影像以識別與該貨物項目相關聯的至少一個物件是否損壞或識別與該貨物項目相關聯的至少一個事件是否被篡改。該操作還包含確定該貨物項目是否正在通過所述裝卸台進行裝載或卸載。該操作還包含識別至少一個在所述裝卸台附近操作的設備。該操作進一步包含基於使用該第二 CNN處理複數個預處理高精度影像來檢測與靠近所述裝卸台的至少一個項目相關聯的一資訊紋理。該操作進一步包含將檢測到的與靠近所述裝卸台的至少一個物件相關聯的所述資訊紋理傳送到一遠端運算系統。該操作進一步包含將所述資訊紋理與特定產品相關聯。該操作進一步包含將所述特定產品資料與更高級別的物流資料整合。
所述之貨物管理系統,其中識別該貨物項目包含分析該貨物項目上的標籤、分析該貨物項目上的文字、分析該貨物項目上的標誌、分析該貨物項目的尺寸、分析該貨物項目的顏色或分析該貨物項目材積中的至少一種。
本發明更揭露一種貨物管理方法,包含以下步驟:從感測器塔接收至少一個廣角相機影像,其中所述感測器塔位於裝卸台附近並且所述至少一個廣角相機影像與所述裝卸台的至少一部分相關聯;從所述感測器塔接收複數個高精度相機影像,其中所述複數個高精度相機影像與所述裝卸台的至少一部分相關聯;使用第一卷積神經網路(CNN)處理所述廣角影像;使用第二卷積神經網路(CNN)處理所述複數個高精度影像;以及根據處理過的複數個高精度影像識別所述裝卸台附近的貨物項目。
所述之貨物管理方法,其中更進一步包含預處理所述至少一個廣角相機影像和所述複數個高精度相機影像以生成預處理廣角影像和複數個預處理高精度影像。所述之貨物管理方法,更進一步包含基於使用第二CNN處理所述複數個高精度影像來識別與該貨物項目相關聯的複數個物件。其中識別該貨物項目包括分析該貨物項目上的標籤、分析該貨物項目上的文字、分析該貨物項目上的標誌、分析該貨物項目的尺寸、分析該貨物項目的顏色或分析該貨物項目的材積中的至少一種。其中更進一步包含分析處理過的所述複數個高精度影像以識別至少一個與該貨物項目相關聯的物件是否損壞或識別至少一個與貨物相關聯的物件是否被篡改。
所述之貨物管理方法,更進一步包含基於接收到與處理過的所述複數個高精度影像相關聯的人工輸入來訓練第二CNN。
本發明主張2021年9月28日申請之美國申請案17/488,031以及17/488,033的優先權,基於所有的目的將其所有內容引用併入本文中。
在一些實施例中,本文討論的系統和方法執行與倉庫操作相關聯的各種活動,例如進出貨物和類似物品。在特定實施例中,這些系統和方法與識別、分析和追蹤移動通過倉庫或其他設施處的裝卸台的貨物項目相關聯。
在下面的揭露中,參考了構成揭露內容的一部分的圖式,並且在圖式中以舉例的方式說明了可以在其中實現本揭露的具體實施方式。應當理解,在不脫離本公開範圍的情況下,可以使用其他實施方式並且可以進行結構改變。說明書中對“一個實施例”、“一實施例”、“一個示範性實施例”等的參考引用表示所描述的實施例可能包括特定特徵、結構或特性,但每個實施例不一定都必須包括所述的特定特徵、結構或特性。此外,這樣的表達方式不一定指稱相同的實施例。此外,當結合實施例描述的特定特徵、結構或特性時,無論有或沒有明確描述,可以認為在本領域技術人員的知識範圍內結合其他實施例影響此類特徵、結構或特性。
本文公開的系統、設備和方法的實施方式可以包括或利用專用或通用電腦,包括電腦硬體,例如一個或多個處理器和系統記憶體,如本文所討論的。本公開範圍內的實施方式還可以包括用於攜帶或儲存電腦可執行指令和/或資料結構的物理和其他電腦可讀取媒體。這樣的電腦可讀取媒體可以是通用或專用電腦系統可以存取的任何可用媒體。儲存電腦可執行指令的電腦可讀取媒體是電腦儲存媒體(設備)。攜帶電腦可執行指令的電腦可讀取媒體是傳輸媒體。因此,作為範例而非限制,本公開的實施方式可以包括至少兩種截然不同的電腦可讀取媒體:電腦儲存媒體(設備)和傳輸媒體。
電腦儲存媒體(設備)包括RAM、ROM、EEPROM、CD-ROM、固態硬碟(“SSD”)(例如,基於RAM)、快閃記憶體、相變記憶體(“PCM”)、其他類型的記憶體、其他光碟儲存、磁碟儲存或其他磁儲存設備,或任何其他可用於以電腦可執行指令或資料結構的形式儲存所需程式碼手段的媒體,並且可以由通用或專用電腦存取。
本文公開的設備、系統和方法的實現可以通過電腦網路進行通訊。“網路”被定義為一個或多個資料鏈路,能夠在電腦系統和/或模組和/或其他電子設備之間傳輸電子資料。當資訊透過網路或其他通訊連接(有線、無線或有線或無線的組合)傳輸或提供給電腦時,電腦正確地將連接視為傳輸媒體。傳輸媒體可包括網路和/或資料鏈路,其可用於承載電腦可執行指令或資料結構形式的所需程式碼手段,並且可被通用或專用電腦存取。以上的組合也應包括在電腦可讀取媒體的範圍內。
電腦可執行指令包括例如:指令和資料,當在處理器處執行時,這些指令和資料使通用電腦、專用電腦或專用處理設備執行某一特定功能或多個功能的功能組。電腦可執行指令可以是例如:二進位文件、諸如組合語言的中介格式指令,或者甚至是原始碼。儘管標的是用特定於結構特徵和/或方法動作的語言所描述的,但是應當理解,權利要求中所定義的標的不一定限於本文描述的特徵或動作。相反的,在本揭露中所描述的特徵和動作是作為實施權利要求的示範形式。
本領域的技術人員將理解,可以在具有許多類型的電腦系統配置的網路運算環境中實現本公開內容,包括個人電腦、桌上電腦、筆記型電腦、訊息處理機、手持設備、多處理器系統、基於微處理器或可程式的消費電子產品、網路PC、小型電腦、大型主機電腦、行動電話、PDA、平板電腦、尋呼機(pagers)、路由器、交換機、各種儲存設備等。本公開還可以在分散式系統環境中實現,其中透過網路鏈接(通過固線資料鏈路、無線資料鏈路,或者通過固線和無線資料鏈路的組合)的本地和遠端電腦系統都執行任務。在分散式系統環境中,程式模組可能位於本地和遠端的記憶體儲存設備中。
此外,在適當的情況下,可以在以下一項或多項中執行本文描述的功能:硬體、軟體、韌體、數位組件或類比組件。例如,一個或多個特殊應用積體電路(ASIC)可以被程式化用以執行這裡描述的一個或多個系統和程序。在整個描述和權利要求中使用某些術語來指稱特定的系統組件。正如本領域的技術人員將理解的那樣,組件可以用不同的名稱來指稱。本文並無意區分名稱不同但功能相同的組件。
應當注意,本文討論的感測器實施例可以包括電腦硬體、軟體、韌體或其任意組合以執行它們的至少一部分功能。例如,感測器可以包括配置為在一個或多個處理器中執行的程式碼,並且可以包括由程式碼控制的硬體邏輯/電路。這些範例設備在本文中出於說明的目的而提供,並且不旨在限制。本公開的實施例可以在其他類型的設備中實現,如相關領域的技術人員已知的那樣。
本揭露的至少一些實施例針對包括儲存在任何電腦可用媒體上的這種邏輯(例如,以軟體的形式)的電腦程式產品。當在一個或多個資料處理設備中執行時,這樣的軟體使設備如本文所描述的那樣操作。
「第1圖」是說明可以在其中實現範例實施例的環境100的方塊圖。如「第1圖」所示,第一感測器塔104和第二感測器塔106位於裝卸台102的相對側。在一些實施例中,環境100是倉庫、製造設施、分揀設施或具有至少一個裝卸台的任何其他設施。儘管「第1圖」中顯示了兩個感測器塔104、106。 如「第1圖」所示,其他實施例可包括位於裝卸台102一側的單個感測器塔。在一些實施例中,裝卸台102可以具有門(未示出)以控制從設施外部進入裝卸台102。
任何數量的貨物項目 108 都可以穿過裝卸台 102,例如貨物項目 108 被裝載到卡車或其他車輛上,以及貨物項目 108 從卡車或其他車輛被接收。貨物項目108可以包括任何類型的容器、物品集合或可以通過裝卸台102運送和通過的其他物品。貨物項目 108 包括貨盤包裝物品、承載一個或多個物品的架子、單個大件物品(例如液體或乾食品物品的大容器、油桶和車輛發動機)、收縮包裝或捆綁在一起的多個物品等。在一些實施例中,叉車、機器人或其他機器在卸載或裝載卡車或其他車輛時將貨物項目108移動穿過裝卸台102。
在操作中,貨物項目 108 以叉車或移動貨物項目的其他機器的正常操作速度移動穿過裝卸台 102。感測器塔104和106具有多個相機,當叉車或其他機器以其正常運行速度穿過裝卸台102時,這些相機可以即時掃描貨物項目108。因此,感測器塔 104 和 106 可以安裝在現有的裝卸台 102 上,而不會中斷接收和運送貨物項目 108 的正常操作。如本文更詳細地討論的,感測器塔104和106包括多個相機,其在貨物項目108穿過裝卸台102時被動地掃描貨物項目108。
在一些實施例中,特定的感測器塔可以掃描各種貨物項目而不需要在不同類型的貨物項目之間進行重新配置。例如,一個或多個感測器塔可以掃描貨盤包裝貨物項目,然後掃描單個集裝箱貨物項目,然後是貨架貨物項目。這些不同類型的貨物項目可以由一個或多個感測器塔連續掃描,而無需對感測器塔進行任何更改。因此,具適應性的感測器塔允許裝載和卸載貨物,而不管與特定卡車相關聯的各種類型的貨物。
如「第1圖」所示,感測器塔104和106可以經由資料通訊網路110耦合到其他設備和系統。在一些實施例中,資料通訊網路110包括使用任何通訊協議的任何類型的網路拓撲。另外,資料通訊網路110可以包括兩個或更多個通訊網路的組合。 在一些實施例中,資料通訊網路110包括蜂巢式通訊網路、網際網路、區域網路、廣域網路或任何其他通信網路。
在環境 100 的示例中,感測器塔 104 和 106 被耦合以與一個或多個可穿戴設備 112、一個或多個機器人設備 114、一個或多個叉車 116、一個或多個倉庫設備 118、一個或多個操作平台120,以及一個或多個基於雲(cloud-based)的運算系統122。可穿戴設備112可以包括由倉庫工人(例如,叉車操作員)佩戴以提供與一個或多個倉庫活動相關的反饋(例如,聽覺、視覺或觸覺反饋)的任何設備。可以通過可穿戴設備 112 傳達給倉庫人員的範例資訊包括通過感測器塔 104 和 106 的物品的時間差異,物品被運往或運出,一個或多個物品中的視覺缺陷的識別, 無法讀取的標籤或其他標記,或者感測器塔 104 和 106 之一無法識別與貨物相關的物件。
機器人設備 114 可以包括協助設施操作的任何設備,例如移動物件、掃描物件、定位貨物項目等。叉車116可包括自動叉車或人工叉車。倉庫設備118可以包括管理倉庫內物流的任何其他設備以及管理庫存、裝運、接收、調度等所需的任何其他任務。操作平台120可以向一個或多個系統和人員提供各種物流和操作資訊。此處討論關於操作平台120的附加細節。基於雲的運算系統122可以包括任意數量的運算設備,例如伺服器,其可以執行各種任務、活動、資料儲存等。如本文所討論的,基於雲的運算系統122可以執行對感測器塔104和106所擷取的影像的分析,以及與貨物項目108相關聯的一個或多個物件的識別。
如本文所討論的,每個感測器塔104和106包括獨立的運算設備,其執行各種任務,諸如分析擷取的影像和識別與貨物項目108相關聯的一個或多個物件。在一些實施例中,感測器塔104和106還可以訪問一個或多個基於雲的運算系統122以執行擷取的圖像的至少一些分析和與貨物項目108相關聯的物件的識別。在其他實施例中,感測器塔104和106可能不包括它們自己的運算設備。在這種情況下,感測器塔104和106可以依賴於一個或多個基於雲的計算系統122來執行擷取影像的分析和與貨物項目108相關聯的物件的識別。
在另一個實施例中,感測器塔 104 具有其自己的運算設備,該運算設備分析擷取的影像並識別與貨物項目 108 相關聯的一個或多個物件。然而,在這個實施例中,感測器塔106沒有它自己的運算設備。 在這種情況下,感測器塔 104 中的運算設備可以對感測器塔 106 擷取的影像進行分析,並識別感測器塔 106 擷取的影像中的物件。例如,感測器塔106可以將其擷取的影像傳送到感測器塔104以供處理。
在一些實施例中,本文討論的系統和方法可以確定貨物項目中物件的存在或不存在,並檢測與物件或貨物項目的物理損壞、洩漏和篡改。所描述的系統和方法還可以確定貨物項目的尺寸,檢測包裝資訊的類型(例如,有效期或標誌),並感測物件或貨物項目的溫度。這些系統和方法可以進一步識別沒有標準標籤、條碼或其他標識符的物件或貨物項目。此外,所描述的系統和方法可以追蹤將貨物裝載到卡車上、從卡車上卸載貨物以及其他與裝卸台相關的操作所花費的時間。
「第2圖」說明了包括11個編號為202-222之相機的感測器塔200的實施例。感測器塔200可以包括至少一個外殼,該外殼為相機202-222和與感測器塔200相關聯的其他組件提供支撐,如本文所討論的。外殼可以具有任何形狀、任何數量的零件,並且可以由任何一種或多種材料製成。感測器塔104和106可以與感測器塔200相似或相同。在一些實施例中,相機202-222可以是不同類型的相機,例如廣角相機和高精度相機。相機202-222可以在可見光譜或任何其他光譜中操作。 在一些實施例中,相機202-222可以基於裝卸台的尺寸(例如,寬度)而具有不同的鏡頭。在一些實施例中,相機202-222中的至少一個可以是單色感測器並且其他相機202-222中的至少一個是彩色相機。在其他實施方式中,不同的相機202-222可以具有不同數量的像素或不同的像素尺寸。在具體實施例中,相機202-222中的一個或多個可以是IR(紅外線)相機、3D(三維)飛行時間相機、熱成像相機等。
在一些實施例中,裝卸台 102 的尺寸和感測器塔之間的距離以及塔和貨物項目之間的距離可能需要具有不同焦距(例如,焦距)的不同相機鏡頭。例如,較小焦距的鏡頭可用於貨物項目經過更靠近感測器塔的情況。當使用較大焦距的鏡頭時,靠近感測器塔擷取的資訊較少,但遠離塔的資訊更精確。
在特定實施方式中,相機206是廣角相機並且其餘相機(202、204和208-222)是高精度相機。在該實施方式中,廣角相機被定位為相機206以在地板上方提供足夠的高度,從而允許本文描述的系統和方法更好地利用廣角視野。高精度相機202、204和208-222在不同的垂直視點擷取更高解析度的影像。高精度相機202、204和208-222的佈置提供重疊的視野,例如,在「第5圖」中所示。
在一些實施例中,相機 202-222 瞄準垂直於感測器塔 200 的垂直軸。在其他實施例中,相機202-222中的一個或多個相對於感測器塔200的垂直軸以不同角度瞄準,以從不同角度和不同視角擷取影像。
在一些實施例中,相機202-222被同步使得所有相機202-222同時擷取影像。在特定實施方式中,可以透過觸發感測器塔200中的所有其他相機的控制系統或主相機來執行同步。在一些實施例中,相機 202-222 具有快速快門速度(例如,小於 100 微秒)。
感測器塔 200 還包括四個燈條 224、226、228 和 230,它們照亮通過裝卸台的貨物項目。在一些實施例中,燈條224-230可以用與相機202-222擷取影像相同的頻率閃爍。例如,燈條可以用24Hz頻率閃爍並且相機202-222可以用24Hz頻率擷取影像。儘管圖中顯示了四個燈條224-230,如「第2圖」所示,但在其他替代實施例中可以在感測器塔 200 中包括任意數量的燈條。此外,其他替代實施例中可以包括具有任何形狀的燈,例如多個圓形燈、方形燈和其他形狀或配置。在一些實施例中,燈條224-230的頻閃(strobing)速度是相機擷取影像的三倍。因此,如果相機以 24 Hz 擷取影像,則燈條 224-230 以 72 Hz 頻閃。在一些實施例中,一個或多個燈條224-230的亮度是基於環境光水平來調整。例如,如果環境光水平低,一個或多個燈條224-230可以被調整到更亮的水平以更好地照亮貨物項目。類似地,如果環境光水平高,一個或多個燈條224-230可以被調整到較低的亮度水平以避免貨物項目被光過度飽和(over-saturating)。在一些實施例中,調整一個或多個燈條224-340的亮度以最佳化與貨物項目相關聯或與貨物項目相關聯之物件的標籤、印刷、標記等的檢測和識別。
感測器塔 200 還包括狀態燈 232。在一些實施例中,狀態燈232在感測器塔200未運行時為紅色,而在感測器塔200正常運行時為綠色。感測器塔200可能不工作,例如,當裝卸台門關閉時或當裝卸台被物件阻擋時。在替代實施例中,任何數量的狀態燈232可以被包含在感測器塔200中。在這些替代實施例中,狀態燈232可以用任何配置方式進行佈置。例如,如果感測器塔200具有四個狀態燈232,則這四個燈可以指示網路狀態、處理狀態、運動狀態和一般系統狀態。
在「第2圖」的範例中,感測器塔200包括作為感測器的各種相機200-222。在其他實施例中,感測器塔200可以包括額外類型的感測器,例如:無線射頻識別(RFID)感測器、光檢測和測距(光學雷達)感測器、熱感測器、飛行時間(ToF)感測器、鄰近感測器(proximity sensors)、 重量感測器、超音波感測器、紅外線感測器和空氣純度感測器。在特定實施方式中,感測器塔200可以包括任何數量的不同類型的感測器以擷取不同類型的資訊。來自所有類型感測器的資料可以被聚集以提供對貨物項目的加強分析和對與貨物項目相關聯的一個或多個物件的改進識別。
在一些實施例中,感測器塔200可以包括在感測器塔200的相對側上的兩組相機200-222。例如,如果兩個裝卸台彼此靠近,則具有兩組相機200-222的感測器塔200可以定位在兩個裝卸台之間。在一些實施方式中,第一組相機 200-222 可以擷取由第一運算系統處理的第一組影像(與第一裝卸台相關聯),並且第二組相機 200-222 可以擷取由第二運算系統處理的第二組影像(與第二裝卸台相關聯)。這種佈置允許單個感測器塔200擷取兩個相鄰裝卸台上的貨物項目的影像。
「第3圖」說明了包括編號為302-328的十四個相機的感測器塔300的實施例。感測器塔300可包括至少一個外殼,該外殼為相機302-328和與感測器塔300相關聯的其他組件提供支撐,如本文所討論的。外殼可以具有任何形狀、任何數量的零件,並且可以由任何一種或多種材料製成。感測器塔104和106可以與感測器塔300相似或相同。在一些實施例中,相機302-328可以是不同類型的相機,例如廣角相機和高精度相機。相機302-328可以在可見光譜或任何其他光譜中操作。 在一些實施例中,相機302-328可以根據裝卸台的尺寸(例如,寬度)而具有不同的鏡頭。
在特定實施方式中,相機308和322是廣角相機並且其餘相機(302-306、310-320和324-328)是高精度相機。 在該實施方式中,廣角相機被定位成可以最大化廣角相機308和322在感測器塔300之工作範圍內的視野。高精度相機302-306、310-320和324-328在不同的垂直視點擷取更高解析度的影像。 高精度相機302-306、310-320和324-328的佈置提供重疊的視場,例如,如「第5圖」所示。
在一些實施例中,相機302-328被同步使得所有相機302-328同時擷取影像。在特定實施方式中,可以使用觸發感測器塔300中的所有其他相機的控制系統或主相機來執行同步。在一些實施例中,相機302-328具有快速快門速度(例如,小於100微秒)。
感測器塔 300 還包括四個燈條 330、332、334 和 336,它們照亮通過裝卸台的貨物項目。在一些實施例中,燈條330-336可以用與相機302-328擷取影像相同的頻率閃爍。例如,燈條可以用24Hz頻閃並且相機302-328可以用24Hz擷取影像。儘管「第3圖」中顯示了四個燈條330-336,替代實施例可以在感測器塔 300 中包括任何數量的燈條。
感測器塔 300 還包括狀態燈 338。在一些實施例中,狀態燈 338 在感測器塔 300 未運行時為紅色,而在感測器塔 300 正常運行時為綠色。感測器塔300可能不工作,例如,當裝卸台門關閉時或當裝卸台被物件阻擋時。
在「第3圖」的範例中,感測器塔300包括作為感測器的各種相機302-328。在其他實施例中,感測器塔 300 可以包括其他類型的感測器,例如:無線射頻識別(RFID)感測器、光檢測和測距(光學雷達)感測器、熱感測器、飛行時間(ToF)感測器、鄰近感測器、 重量感測器和空氣純度感測器。在特定實施方式中,感測器塔300可以包括任何數量的不同類型的感測器以擷取不同類型的資訊。來自所有類型感測器的資料可以被聚集以提供對貨物項目的加強分析和對與貨物項目相關聯的一個或多個物件的改進識別。
「第4圖」是說明感測器塔400的實施例的方塊圖。如「第4圖」所示,感測器塔400包括通訊管理器402、處理器404和記憶體406。通訊管理器402允許感測器塔400與其他系統和組件通訊。處理器404執行各種指令以執行由感測器塔400提供的功能,如本文所討論的。記憶體406儲存這些指令以及處理器404和包含在感測器塔400中的其他模組和組件使用的其他資料。
感測器塔 400 還可以包括圖形處理單元 408、反饋系統 410 和光管理器 412。圖形處理單元 408 可以處理和管理由與感測器塔 400相關聯的相機擷取的各種影像。圖形處理單元408還可以管理擷取影像的分析和分析結果的儲存。在一些實施例中,圖形處理單元408被最佳化用於處理由本文討論的感測器塔擷取的類型的影像。例如,圖形處理單元408可以分析擷取的影像以識別影像內的感興趣區域並且識別特定標記或可以確定與貨物項目相關聯之物件的內容的其他標識符。反饋系統410可以向位於感測器塔400附近的用戶或系統提供反饋。在一些實施例中,反饋系統410以光信號、音頻信號(例如,通過揚聲器)等形式提供反饋。光管理器412可以管理與感測器塔400相關聯的一個或多個燈條和一個或多個狀態燈。例如,光管理器412可以確定燈條是否應該被啟動並且確定狀態燈的顏色(例如,紅色或綠色)。
另外,感測器塔400可以包括深度學習加速器414、頻閃控制器416、乙太網路交換器418、配電系統420、相機422和一個或多個儲存設備424。深度學習加速器414可以執行各種深度學習系統,例如神經網路。在一些實施例中,深度學習加速器414可以基於在擷取的影像中所檢測到的資訊來識別與貨物項目相關聯的一個或多個物件。此處討論了關於物件識別的附加細節。頻閃控制器416可以控制燈條閃爍的頻率。如本文所討論的,在一些實施例中,燈條以24Hz閃爍以匹配相機的頻率。乙太網路交換機418可以提供感測器塔相機和其他系統或組件之間的切換。配電系統420可以管理到感測器塔400中的各種系統和組件的配電。如本文所討論的,相機422擷取移動通過裝卸台之貨物的影像。 一個或多個儲存設備424能夠儲存各種類型的資訊,例如擷取的影像、識別的貨物項目、識別的與貨物項目相關聯的物件等。儲存設備424包括例如:固態硬碟、記憶體設備等。
「第5圖」是貨物項目移動穿過兩個感測器塔之間的裝卸台的實施例500。如「第5圖」所示,感測器塔502和504位於裝卸台的相對兩側。貨物項目 506正在穿過裝卸台。如本文所討論的,感測器塔502和504各自具有多個相機,其在貨物項目通過裝卸台時掃描貨物項目506。如「第5圖」所示,廣角相機具有更大的視野508。相比之下,高精度相機具有更窄的視野510。多個視野508和510如「第5圖」所示彼此重疊。
「第6圖」說明多個裝卸台的實施例600,其中每個裝卸台具有位於裝卸台相對側的兩個感測器塔606。如「第6圖」所示,第一裝卸台602包括一對感測器塔606,第二裝卸台604具有另一對感測器塔606。雖然「第6圖」的例子僅顯示兩個裝卸台602和604,實際上任何數量的成對感測器塔606可以與任何數量的裝卸台一起使用。在一些實施例中,單個感測器塔606可以與每個裝卸台一起使用而不是一對感測器塔。
「第7圖」是一個流程圖,說明當貨物項目移動穿過裝卸台時使用兩個感測器塔掃描貨物項目的過程700的實施例。最初,貨物項目接近裝卸台(步驟702)。當貨物項目移動經過第一感測器塔時,第一感測器塔擷取貨物項目第一側的多個影像(步驟704)。當貨物項目移動經過第二感測器塔時,第二感測器塔擷取貨物項目第二側的多個影像(步驟706)。
隨著運算設備分析貨物項目的第一側和貨物項目的第二側的多個影像(步驟708),過程700繼續進行。運算設備識別與貨物項目相關聯之至少一個物件(步驟710)。例如,物件可以是貨盤上的物品、容器中的物品等。在一些實施例中,可以基於多種屬性從擷取的影像中識別物件。例如,擷取的影像可以包括產品標籤、條碼、公司標誌、產品標誌、部件號、產品號、有效期、批號和識別物件並且可以將物件與特定製造商相關聯的其他標記。
在一些實施例中,與貨物項目相關聯的一些物件沒有被標記並且沒有任何其他區分標記。在這些情況下,本文描述的系統和方法可以確定物件的尺寸和其他特徵。例如,如果物件在盒子裡,系統和方法可以確定盒子的尺寸、盒子的顏色、盒子的反射率、盒子的紋理、用於製作盒子的材料,以及類似特徵。在一些實施例中,可以進一步基於物件的溫度來識別物件。
在一些實施例中,所描述的系統和方法還可以識別對物件的任何損壞、篡改物件的證據或物件內容物洩漏的證據。
再次參考到過程700,運算設備進一步將關於識別的物件的資訊傳送到操作平台(步驟712)。隨著操作平台基於關於識別的物件的資訊更新各種供應鏈資訊和倉庫操作資訊(步驟714),過程700繼續。
「第8圖」是一個流程圖,說明當貨物項目移動穿過裝卸台時使用一個感測器塔掃描貨物項目的過程800的實施例。最初,貨物項目接近裝卸台(步驟802)。當貨物項目移動通過感測器塔時,感測器塔擷取貨物項目的多個影像(步驟804)。隨著感測器塔中的運算設備分析貨物項目的多個影像(步驟806),過程800繼續。運算設備然後識別與貨物項目相關聯的至少一個物件(步驟808)。如上所述,物件可以是貨盤上的物品、容器中的物品等。隨著運算設備將關於識別的物件的資訊傳送到操作平台(步驟810),過程800繼續。操作平台基於關於識別物件的資訊更新各種供應鏈資訊和倉庫操作資訊(步驟812)。
「第9圖」是說明經由本文討論的系統和方法所掃描之特定貨物項目的貨物記錄900的實施例。做為範例的貨物記錄900包括與從卡車運送到裝卸台之特定貨盤的物件相關的資訊。該資訊包括例如卡車編號、交貨時間、貨盤資訊、箱子數量等。貨物記錄 900的其他實施例可以包含「第9圖」中未顯示的附加資訊。在具體實現中,貨物記錄可以包括物品來自哪裡或去哪裡(例如,地址)、物流公司資訊、貨運公司標識符、貨盤重量、關於貨盤內容的特殊資訊(例如,不要堆疊超過三個更多的貨盤或溫度限制),等等。
「第10圖」是感測器塔的實施例的示意圖1000。在「第10圖」的例子中,感測器塔包括此處討論的許多組件和系統。例如,示意圖 1000 說明連接到相機陣列 1004 的乙太網路交換機 1002、配電盤 1006 和運算系統(例如,邊緣運算單元)1008。示意圖中還說明閘道 1010 和狀態指示器(例如,LED) 1012。在一些實施例中,閘道1010 連接到乙太網路交換機 1002 和配電盤 1006。閘道 1010 可以包含無線通訊模組,例如 LTE(長期演進技術)、WiFi、BLE(低功耗藍芽)和 GPS(全球定位系統)。閘道1010還可以包括與無線通訊模組相關聯的任何數量的天線。一個或多個無線通訊模組可以將資料從感測器塔傳輸到其他系統,例如:基於雲的運算設備。
「第10圖」進一步說明LED照明1014和音頻揚聲器1016。配電盤1006還連接到24V AC/DC轉換器1018和頻閃控制器1020。24V AC/DC轉換器1018將交流電轉換為24V的直流電。然後將 24V 電源軌連接到配電盤1006 和由 24V 供電的其他系統和組件。儘管本文描述的一些系統和方法使用 24V,但替代實施例可以使用不同的電壓。此外,感測器塔的一些實施例可以使用兩個或多個電壓,例如:5V、12V、24V、48V等。頻閃控制器1020管理與感測器塔相關聯的各種燈的頻閃頻率。「第10圖」中所示的各種組件和系統和本文中所討論的組件和系統類似。
「第11圖」說明操作平台1100的實施例的方塊圖。在一些實施例中,操作平台1100類似於「第1圖」中說明的操作平台120。如「第11圖」所示,操作平台1100包括感測器管理器1102,其管理一個或多個感測器塔中的各種感測器(例如,相機和其他感測器)。硬體管理器1104管理各種特徵,例如反饋燈、溫度控制等。例如,硬體管理器1104可以響應於檢測和掃描貨物項目而啟動一個狀態燈兩秒。操作平台1100還包括資訊紋理檢測器1106,其檢測與貨物項目相關聯的各種紋理或與貨物項目相關聯的特定物件。資訊紋理提取器1108能夠從資訊紋理檢測器1106擷取到所檢測之資訊紋理資料中提取資訊紋理資訊。資訊紋理識別器1110基於檢測和提取的資訊紋理資料識別特定的貨物項目或與貨物項目相關聯的物件。
操作平台1100還包括與一個或多個基於雲的系統進行通訊的邊緣-雲通訊管理器1112。例如,邊緣-雲通訊管理器1112可以將識別的資料發送到雲、將遙測資料發送到雲、從雲接收操作命令等。事件處理器1114能夠處理各種事件,例如卡車到達、卡車離開、貨物裝載事件、貨物卸載事件、貨物識別、物件識別等。物流資料處理器 1116 能夠處理各種類型的物流資料,例如:處理高階物流資料以推斷來自先前步驟的資訊(例如,卡車庫存、卡車裝載時間、卡車卸載時間和裝卸台吞吐量)。
另外,操作平台1100包括能夠監控和記錄與軟體和硬體操作狀態相關聯的資料的監控和記錄管理器1118。例如,監控和記錄管理器1118可以記錄與CPU負載過高、溫度過高、是否有足夠的記憶體或磁碟儲存空間等相關聯的操作狀態。資料儲存管理器1120處理此處所討論之任何系統和組件所生成或使用的資料的儲存和取回。資料安全管理器1122能夠保護由本文描述的系統和組件所接收和生成的各種類型的資料。在一些範例中,資料安全管理器1122可以處理資料加密、檢測到入侵時刪除的資料等。
操作平台1100還包括分析模組1124,分析模組1124執行各種類型的分析以生成商業見解和與本文描述的系統和方法的操作相關聯的其他資料。另外包含儀表板和外部應用程式程式介面(API)模組 1126。例如,儀表板可以顯示與貨物項目的移動、卡車的移動、貨物項目裝運的調度、時間延遲、裝載或卸載卡車或其他車輛的時間等相關聯的各種資訊。機器學習模組1128管理和執行各種機器學習操作,這些機器學習操作可以例如幫助識別貨物項目、與貨物項目相關聯的物件等。
「第12圖」是說明用於管理與操作平台相關聯的操作的過程1200之實施例的流程圖。最初,操作平台(例如,操作平台120或1100)檢測一件或多件物品(例如,貨物項目)正在通過裝卸台裝載或卸載(步驟1202)。在一些實施例中,一個或多個物品移動接近一個或多個感測器,例如包含在一個或多個感測器塔中的感測器。感測器塔擷取視頻饋送(例如,一系列擷取的影像)(步驟1204)。
過程 1200 繼續識別和追踪在裝卸台中和附近操作的系統和設備(步驟1206)。在一些實施例中,系統和設備可以包括叉車、卡車、貨盤、帶有可穿戴設備的工人、與貨物項目相關聯的個體物件、機器人設備等。過程1200進一步檢測與正在裝載或卸載的物品相關聯的資訊紋理(步驟1208)。在一些實施例中,資訊紋理可以包括標誌、標籤和本文討論的類型的其他圖形標記或圖形資訊。過程1200繼續從視頻或影像中提取資訊紋理(步驟1210)。
在一些實施例中,過程1200可以將提取的資訊紋理資料傳送到雲(步驟1212)。這是可選的,並且在一些實施例中,資訊紋理資料儲存在本地(例如,在倉庫或其他本地設施內)。然後將提取的資訊紋理與特定產品或貨物裝運相關聯(步驟1214)。例如,系統可以基於對已知產品或貨物裝運的紋理的標識的資訊紋理標識符,將提取的資訊紋理與特定產品或貨物裝運相關聯。
過程 1200 繼續將特定產品或貨物裝運整合到更高級別的物流資料中(步驟1216),例如庫存資料、卡車資料、裝卸台資料、設施資料等。然後驗證更高級別的物流資料並比較差異,並計算額外的統計資料(步驟1218)。例如,附加統計資料可以包括卡車庫存、卡車裝載時間、卡車卸載時間、裝卸台吞吐量等。
「第13圖」是說明使用卷積神經網路(CNN)處理影像資料的過程1300的實施例的流程圖。最初,過程1300接收或擷取廣角相機影像(步驟1302)和高精度相機影像(步驟1304)。如本文所討論的,廣角相機影像1302和高精度相機影像1304可以從一個或多個感測器塔中的任何數量的相機接收(或擷取)。過程1300繼續預處理所有相機影像(例如,所有廣角相機影像1302和所有高精度相機影像1304)(步驟1306)。預處理操作的範例可能包括縮放影像、變換影像和其他影像處理操作,以將原始擷取影像更改為 CNN 期望作為輸入的格式和內容。
如「第13圖」所示,過程1300可以用第一CNN處理廣角相機影像(步驟1308)並且用第二CNN處理高精度相機影像(步驟1310)。在一些實施例中,所描述的系統和方法可以使用任意數量的CNN來處理影像資料和其他類型的資料。在具體實施中,廣角相機影像是了解整體場景(例如,整體裝卸台資訊)的過程。高精度相機影像可以處理用以識別資訊紋理、提取資訊紋理等。在一些實施例中,步驟1308中對廣角相機影像的處理,包括檢測諸如叉車、卡車、貨盤、貨物項目和裝卸台中的其他物品的物件。高精度相機影像的處理(步驟 1310)可以檢測或識別小物件紋理(例如,標誌、純文字和標籤)和其他特定資訊。
過程1300繼續接收關於CNN輸出的人工輸入(步驟1312)。 在一些實施例中,人工輸入可以驗證 CNN 對數據的檢測或識別。在其他實施例中,人工輸入可以糾正 CNN 對資料的檢測或識別。過程1300可以進一步基於人工輸入向CNN提供訓練反饋(步驟1314)。當 CNN 從人工驗證或校正中學習時,這種訓練反饋可能會改善 CNN 未來對資料的檢測或識別。
「第14圖」說明了適用於實現本文所述的系統和方法的運算設備1400的範例方塊圖。在一些實施例中,通過網路互連的運算設備集群可用於實現本文所討論的系統的任何一個或多個組件。
運算設備 1400 可以用於執行各種過程,例如本文所討論的那些。 運算設備1400可以用作伺服器、客戶端或任何其他運算實體。運算設備可以執行這裡討論的各種功能,並且可以執行一個或多個應用程序,例如這裡描述的應用程序。運算設備1400可以是多種運算設備中的任何一種,例如桌上電腦、筆記型電腦、伺服器電腦、手持電腦、平板電腦等。
運算設備1400包括一個或多個處理器1402、一個或多個記憶體設備1404、一個或多個介面1406、一個或多個大容量儲存設備1408、一個或多個輸入 /輸出 (I/O) 設備 1410 和顯示設備 1430 所有這些都耦合到匯流排 1412。處理器1402包括一個或多個處理器或控制器,其執行儲存在記憶體設備1404和/或大容量儲存設備1408中的指令。處理器1402還可以包括各種類型的電腦可讀取媒體,例如:快取記憶體。
記憶體設備 1404 包括各種電腦可讀取媒體,例如揮發性記憶體(例如,隨機存取記憶體(RAM) 1414)和/或非揮發性記憶體(例如,唯讀記憶體(ROM) 1416)。 記憶體設備1404還可以包括可重複讀寫ROM,例如快閃記憶體。
大容量儲存設備1408 包括各種電腦可讀取媒體,例如磁帶、磁碟、光碟、固態記憶體(例如,快閃記憶體)等。如「第14圖」所示,特定的大容量儲存設備是硬碟1424。各種驅動器也可以包括在大容量儲存設備1408中以使得能夠讀取和/或寫入各種電腦可讀取媒體。大容量儲存設備1408包括可移除媒體1426和/或不可移除媒體。
輸入 /輸出 (I/O) 設備1410包括允許資料和/或其他資訊輸入到運算設備1400或從運算設備1400取回的各種設備。範例的輸入 /輸出 (I/O) 設備1410包括游標控制設備、鍵盤、小鍵盤、麥克風、監視器或其他顯示設備、揚聲器、印表機、網路介面卡、數據機、鏡頭、CCD或其他影像擷取設備等。
顯示設備1430包括能夠向運算設備1400的一個或多個用戶顯示資訊的任何類型的設備。顯示設備1430的範例包括監視器、顯示終端、視頻投影設備等。
介面1406 包括允許運算設備 1400 與其他系統、設備或運算環境交互的各種介面。範例介面1406包括任何數量的不同網路介面1420,例如區域網路(LAN)、廣域網路(WAN)、無線網路和網際網路的介面。其他介面包括用戶介面1418和週邊設備介面1422。介面1406還可以包括一個或多個用戶介面元素1418。介面1406還可以包括一個或多個週邊介面,例如用於印表機、指向設備(滑鼠、觸控板等)、鍵盤等的介面。
匯流排 1412 允許處理器 1402、儲存設備 1404、介面 1406、大容量儲存設備 1408 和輸入 /輸出 (I/O) 設備1410相互通訊,以及耦合到匯流排 1412 的其他設備或組件。匯流排1412表示幾種類型的匯流排結構中的一種或多種,例如系統匯流排、PCI匯流排、IEEE 1394匯流排、USB匯流排等等。
出於說明的目的,程式和其他可執行程式組件在本文中被呈現為分離的功能方塊,儘管應理解此類程式和組件可在不同時間駐留在運算設備1400的不同儲存組件中,並且由處理器(s)1402執行。或者,本文描述的系統和程序可以以硬體或硬體、軟體和/或韌體的組合來實現。例如,一個或多個特殊應用積體電路(ASIC)可以被程式化用以執行這裡描述的一個或多個系統和程序。
雖然本文描述了本公開的各種實施例,但是應該理解它們僅以範例的方式呈現,而不是限制。對於相關領域的技術人員來說顯而易見的是,在不脫離本公開的精神和範圍的情況下,可以對其中的形式和細節進行各種改變。因此,本公開的廣度和範圍不應受所描述的任何範例性實施例的限制,而應僅根據所附權利要求及其等同物來限定。此處的描述是為了說明和描述的目的而呈現的。其並非旨在詳盡無遺或將公開內容限制為所公開的精確形式。根據所公開的教導,許多修改和變化是可能的。此外,應當注意,本文討論的任何或所有替代實施方式可以以形成本公開的附加混合實施方式所需的任何組合使用。
100:環境
102:裝卸台
104:第一感測器塔
106:第二感測器塔
108:貨物項目
110:資料通訊網路
112:可穿戴設備
114:機器人設備
116:叉車
118:倉庫設備
120:操作平台
122:基於雲的運算系統
200:感測器塔
202、204、206、208、210、212、214、216、218、220、222:相機
224、226、228、230:燈條
232:狀態燈
300:感測器塔
302、304、306、308、310、312、314、316、318、320、322、324、326、328:相機
330、332、334、336:燈條
338:狀態燈
400:感測器塔
402:通訊管理器
404:處理器
406:記憶體
408:圖形處理單元
410:反饋系統
412:光管理器
414:深度學習加速器
416:頻閃控制器
418:乙太網路交換器
420:配電系統
422:相機
424:儲存設備
500:實施例
502、504:感測器塔
506:貨物項目
508、510:視野
600:實施例
602:第一裝卸台
604:第二裝卸台
606:感測器塔
700:過程
800:過程
900:貨物記錄
1000:示意圖
1002:乙太網路交換機
1004:相機陣列
1006:配電盤
1008:運算系統
1010:閘道
1012:狀態指示器
1014:LED照明
1016:音頻揚聲器
1018:24V AC/DC轉換器
1020:頻閃控制器
1100:操作平台
1102:感測器管理器
1104:硬體管理器
1106:資訊紋理檢測器
1108:資訊紋理提取器
1110:資訊紋理識別器
1112:邊緣-雲通訊管理器
1114:事件處理器
1116:物流資料處理器
1118:監控和記錄管理器
1120:資料儲存管理器
1122:資料安全管理器
1124:分析模組
1126:儀表板和外部應用程式程式介面(API)模組
1128:機器學習模組
1200:過程
1300:過程
1400:運算設備
1402:處理器
1404:記憶體設備
1406:介面
1408:大容量儲存設備
1410:輸入 /輸出 (I/O) 設備
1412:匯流排
1414:隨機存取記憶體
1416:唯讀記憶體
1418:用戶介面
1420:網路介面
1422:週邊設備介面
1424:硬碟
1426:可移除媒體
1430:顯示設備
步驟702:貨物項目接近裝卸台
步驟704:當貨物項目移動經過第一感測器塔時,第一感測器塔擷取貨物項目第一側的多個影像
步驟706:當貨物項目移動經過第二感測器塔時,第二感測器塔擷取貨物項目第二側的多個影像
步驟708:運算設備分析貨物項目的第一側和貨物項目的第二側的多個影像
步驟710:運算設備識別與貨物項目相關聯之至少一個物件
步驟712:運算設備進一步將關於識別的物件的資訊傳送到操作平台
步驟714:操作平台基於關於識別的物件的資訊更新各種供應鏈資訊和倉庫操作資訊
步驟802:貨物項目接近裝卸台
步驟804:當貨物項目移動通過感測器塔時,感測器塔擷取貨物項目的多個影像
步驟806:感測器塔中的運算設備分析貨物項目的多個影像
步驟808:運算設備識別與貨物項目相關聯的至少一個物件
步驟810:運算設備將關於識別的物件的資訊傳送到操作平台
步驟812:操作平台基於關於識別物件的資訊更新各種供應鏈資訊和倉庫操作資訊
步驟1202:操作平台檢測一件或多件物品正在通過裝卸台裝載或卸載
步驟1204:感測器塔擷取視頻饋送(例如,一系列擷取的影像)
步驟1206:識別和追踪在裝卸台中和附近操作的系統和設備
步驟1208:檢測與正在裝載或卸載的物品相關聯的資訊紋理
步驟1210:從視頻或影像中提取資訊紋理
步驟1212:將提取的資訊紋理資料傳送到雲
步驟1214:將提取的資訊紋理與特定產品或貨物裝運相關聯
步驟1216:將特定產品或貨物裝運整合到更高級別的物流資料(例如庫存資料、卡車資料、裝卸台資料、設施資料)
步驟1218:驗證更高級別的物流資料並比較差異,並計算額外的統計資料
步驟1302:接收或擷取廣角相機影像
步驟1304:接收或擷取高精度相機影像
步驟1306:預處理所有相機影像
步驟1308:用第一CNN處理廣角相機影像
步驟1310:用第二CNN處理高精度相機影像
步驟1312:接收關於CNN輸出的人工輸入
步驟1314:基於人工輸入向CNN提供訓練反饋
第1圖說明可在其中實施示範性實施例的環境的方塊圖。
第2圖說明包含十一個相機的感測器塔的實施例。
第3圖說明包含十四個相機的感測器塔的實施例。
第4圖說明感測器塔的實施例的方塊圖。
第5圖說明貨物穿過兩個感測器塔之間的裝卸台的實施例。
第6圖說明多個裝卸台的實施例,其中每個裝卸台都有兩個感測器塔,位於裝卸台的相對兩側。
第7圖說明當貨物項目穿過裝卸台時使用兩個感測器塔掃描貨物項目的過程的實施例流程圖。
第8圖說明當貨物項目穿過裝卸台時使用一個感測器塔掃描貨物項目的過程的實施例流程圖。
第9圖說明使用本文討論的系統和方法掃描的特定貨物項目的貨物記錄的實施例。
第10圖說明感測器塔的一個實施例的示意圖。
第11圖說明操作平台的實施例的方塊圖。
第12圖說明用於管理與操作平台相關聯之操作過程的實施例流程圖。
第13圖說明使用卷積神經網路處理影像資料的過程的實施例流程圖。
第14圖說明運算設備的示範方塊圖。
100:環境
102:裝卸台
104:第一感測器塔
106:第二感測器塔
108:貨物項目
110:資料通訊網路
112:可穿戴設備
114:機器人設備
116:叉車
118:倉庫設備
120:操作平台
122:基於雲的運算系統
Claims (20)
- 一種貨物管理系統,包含: 一個或多個處理器;以及 一個或多個非暫時電腦可讀取媒體,儲存可由所述一個或多個處理器執行的指令,其中指令在被執行時使所述系統執行包括以下操作: 從一感測器塔接收至少一個廣角相機影像,其中所述感測器塔位於一裝卸台附近並且所述廣角相機影像與所述裝卸台的至少一部分相關聯; 從所述感測器塔接收複數個高精度相機影像,其中所述複數個高精度相機影像與所述裝卸台的至少一部分相關聯; 預處理所述廣角相機影像和所述複數個高精度相機影像以生成一預處理廣角影像和複數個預處理高精度影像; 使用一第一卷積神經網路(CNN)處理所述預處理廣角影像;以及 使用一第二卷積神經網路(CNN)處理所述複數個預處理高精度影像。
- 如請求項1所述之貨物管理系統,更包含基於使用該第二CNN處理所述複數個預處理高精度影像來識別在所述裝卸台附近操作的至少一個設備。
- 如請求項1所述之貨物管理系統,該操作還包含基於使用該第二CNN處理所述複數個預處理高精度影像來識別接近所述裝卸台的一貨物項目。
- 如請求項3所述之貨物管理系統,該操作還包含基於使用該第二CNN處理所述複數個預處理高精度影像來識別與該貨物項目相關聯的複數個物件。
- 如請求項3所述之貨物管理系統,其中識別該貨物項目包含分析該貨物項目上的標籤、分析該貨物項目上的文字、分析該貨物項目上的標誌、分析該貨物項目的尺寸、分析該貨物項目的顏色或分析該貨物項目材積中的至少一種。
- 如請求項1所述之貨物管理系統,該操作更進一步包含基於使用該第二CNN處理所述複數個預處理高精度影像的結果來接收一人工輸入。
- 如請求項6所述之貨物管理系統,該操作還包含基於接收到的該人工輸入來訓練該第二 CNN。
- 如請求項1所述之貨物管理系統,該操作更進一步包含分析所述預處理高精度影像以識別與該貨物項目相關聯的至少一個物件是否損壞或識別與該貨物項目相關聯的至少一個事件是否被篡改。
- 如請求項1所述之貨物管理系統,該操作還包含確定該貨物項目是否正在通過所述裝卸台進行裝載或卸載。
- 如請求項1所述之貨物管理系統,該操作還包含識別至少一個在所述裝卸台附近操作的設備。
- 如請求項1所述之貨物管理系統,該操作進一步包含基於使用該第二 CNN處理複數個預處理高精度影像來檢測與靠近所述裝卸台的至少一個項目相關聯的一資訊紋理。
- 如請求項11所述之貨物管理系統,該操作進一步包含將檢測到的與靠近所述裝卸台的至少一個物件相關聯的所述資訊紋理傳送到一遠端運算系統。
- 如請求項11所述之貨物管理系統,該操作進一步包含將所述資訊紋理與一特定產品相關聯。
- 如請求項13所述之貨物管理系統,該操作進一步包含將所述特定產品資料與更高級別的物流資料整合。
- 一種貨物管理方法,包含以下步驟: 從一感測器塔接收至少一個廣角相機影像,其中所述感測器塔位於一裝卸台附近並且所述至少一個廣角相機影像與所述裝卸台的至少一部分相關聯; 從所述感測器塔接收複數個高精度相機影像,其中所述複數個高精度相機影像與所述裝卸台的至少一部分相關聯; 使用一第一卷積神經網路(CNN)處理所述廣角影像; 使用一第二卷積神經網路(CNN)處理所述複數個高精度影像;以及 根據處理過的複數個高精度影像識別所述裝卸台附近的一貨物項目。
- 如請求項15所述之貨物管理方法,其中更進一步包含預處理所述至少一個廣角相機影像和所述複數個高精度相機影像以生成一預處理廣角影像和複數個預處理高精度影像。
- 如請求項15所述之貨物管理方法,其中更進一步包含基於使用該第二 CNN處理所述複數個高精度影像來識別與該貨物項目相關聯的複數個物件。
- 如請求項15所述之貨物管理方法,其中識別該貨物項目包括分析該貨物項目上的標籤、分析該貨物項目上的文字、分析該貨物項目上的標誌、分析該貨物項目的尺寸、分析該貨物項目的顏色或分析該貨物項目的材積中的至少一種。
- 如請求項15所述之貨物管理方法,其中更進一步包含分析處理過的所述複數個高精度影像以識別至少一個與該貨物項目相關聯的物件是否損壞或識別至少一個與貨物相關聯的物件是否被篡改。
- 如請求項15所述之貨物管理方法,其中更進一步包含基於接收到與處理過的所述複數個高精度影像相關聯的一人工輸入來訓練該第二CNN。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/488,033 US20230101794A1 (en) | 2021-09-28 | 2021-09-28 | Freight Management Systems And Methods |
US17/488,031 | 2021-09-28 | ||
US17/488,031 US20230098677A1 (en) | 2021-09-28 | 2021-09-28 | Freight Management Systems And Methods |
US17/488,033 | 2021-09-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202321130A true TW202321130A (zh) | 2023-06-01 |
Family
ID=85783444
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111136395A TW202321130A (zh) | 2021-09-28 | 2022-09-26 | 貨物管理系統及其方法 |
TW111136394A TW202321129A (zh) | 2021-09-28 | 2022-09-26 | 貨物管理設備及其方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111136394A TW202321129A (zh) | 2021-09-28 | 2022-09-26 | 貨物管理設備及其方法 |
Country Status (2)
Country | Link |
---|---|
TW (2) | TW202321130A (zh) |
WO (2) | WO2023055714A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5554987B2 (ja) * | 2009-12-28 | 2014-07-23 | キヤノン株式会社 | オブジェクト識別装置及びその制御方法 |
AU2015305303B2 (en) * | 2014-08-21 | 2021-03-25 | Identiflight International, Llc | Avian detection systems and methods |
FI20155171A (fi) * | 2015-03-13 | 2016-09-14 | Conexbird Oy | Kontin tarkastusjärjestely, -menetelmä, -laitteisto ja -ohjelmisto |
WO2019075276A1 (en) * | 2017-10-11 | 2019-04-18 | Aquifi, Inc. | SYSTEMS AND METHODS FOR IDENTIFYING OBJECT |
CA3123632A1 (en) * | 2018-12-21 | 2020-06-25 | Canscan Softwares And Technologies Inc. | Automated inspection system and associated method for assessing the condition of shipping containers |
US10984378B1 (en) * | 2019-10-31 | 2021-04-20 | Lineage Logistics, LLC | Profiling pallets and goods in a warehouse environment |
-
2022
- 2022-09-26 TW TW111136395A patent/TW202321130A/zh unknown
- 2022-09-26 TW TW111136394A patent/TW202321129A/zh unknown
- 2022-09-27 WO PCT/US2022/044833 patent/WO2023055714A1/en unknown
- 2022-09-27 WO PCT/US2022/044831 patent/WO2023055712A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
TW202321129A (zh) | 2023-06-01 |
WO2023055714A1 (en) | 2023-04-06 |
WO2023055712A1 (en) | 2023-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9505554B1 (en) | Capturing packaging image via scanner | |
US9171278B1 (en) | Item illumination based on image recognition | |
US20170066597A1 (en) | Information processing device, information processing system, distribution system, information processing method, and program storage medium | |
US10229487B2 (en) | Optical vibrometric testing of container for items | |
US11393207B1 (en) | Multi-video annotation | |
EP2542994B1 (en) | Method and apparatus for simulating a physical environment to facilitate vehicle operation and task completion | |
WO2021087490A1 (en) | Profiling pallets and goods in a warehouse environment | |
JP6489562B1 (ja) | 物流倉庫内作業把握システム | |
US20210374659A1 (en) | Real Time Event Tracking and Digitization for Warehouse Inventory Management | |
CN111587444B (zh) | 用于移动包裹尺寸计算和预测性状况分析的***和方法 | |
US10611372B2 (en) | Dual-mode data capture system for collision detection and object dimensioning | |
JP2023010638A (ja) | 倉庫ロケーションの監視方法、コンピュータ装置及び記憶媒体 | |
US20240103447A1 (en) | Product identification system and method | |
US11398094B1 (en) | Locally and globally locating actors by digital cameras and machine learning | |
EP3982310A1 (en) | Lidar based monitoring in material handling environment | |
Borstell et al. | Pallet monitoring system based on a heterogeneous sensor network for transparent warehouse processes | |
US11443516B1 (en) | Locally and globally locating actors by digital cameras and machine learning | |
TW202321130A (zh) | 貨物管理系統及其方法 | |
US20230101794A1 (en) | Freight Management Systems And Methods | |
US20230098677A1 (en) | Freight Management Systems And Methods | |
EP3647236B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
CN116310405A (zh) | 基于库位的货物识别方法、无人叉车及存储介质 | |
CN113978987B (zh) | 栈板物品打包提货方法、装置、设备及介质 | |
US11896144B1 (en) | Determining inventory levels using rotatable counting devices and visual imagery | |
EP3689789B1 (en) | Baggage recognition device, baggage sorting system, and baggage recognition method |