TWI731484B

TWI731484B - 經由藥物泡型包裝影像建立藥物資料庫及管理藥物之方法及系統

Info

Publication number: TWI731484B
Application number: TW108143018A
Authority: TW
Inventors: 鍾聖倫; 伍森德; 陳智芳
Original assignee: 台灣基督長老教會馬偕醫療財團法人馬偕紀念醫院; 國立臺灣科技大學
Priority date: 2019-11-26
Filing date: 2019-11-26
Publication date: 2021-06-21
Also published as: TW202121283A

Abstract

本發明關於一種改良的藥物管理系統以及透過藥物泡型包裝影像建立藥物資料庫的方法。所述方法包含以下步驟：(a) 分別取得該藥物泡型包裝之一第一影像及一第二影像，其中該第一影像及該第二影像分別包含該藥物泡型包裝之一第一面及一第二面；(b) 分別對該第一影像及該第二影像進行影像糾正，以產生一糾正後第一影像及一糾正後第二影像；(c) 規整該糾正後第一影像及該糾正後第二影像，以產生一合併影像；(d) 處理該合併影像以產生一參考影像；以及(e) 借助於該參考影像以建立該藥物資料庫。所述系統包含一影像處理器，其經編程指令以執行前述方法。

Description

經由藥物泡型包裝影像建立藥物資料庫及管理藥物之方法及系統

本揭示內容是關於藥物管理系統的領域，特別是有關於一種可經由藥物泡型包裝影像來分類及識別該藥物的方法及系統。

對於醫院系統的順利運作以及提供優質病患照護來說，藥品核實確實與否是，是保證病患用藥安全的基本先決條件。雖然全自動配藥櫃(automated dispensing cabinets，ADCs)被引入醫療院所已有20年的歷史，但仍存在藥事上的疏失。由於全自動配藥櫃的給藥在很大程度上仍仰賴臨床人員對於標準流程的精確遵守，特別是依賴人眼經由藥物外觀來識別該藥物，這樣一來將不可避免地產生外觀辨識錯誤的狀況。為了降低人為疏失，例如誤將相似的藥品存放在錯誤的藥櫃、或是臨床人員可能從鄰近的藥櫃上拿到外觀上看起來相似的藥品，有必要對藥物管理系統做進一步的改良。

深度學習(deep learning)是機器學習系列中，基於多級別學習數據表示(representation)的一種方法。這些方法是透過組合簡單但非線性的模塊(module)所獲得，每個模塊將一個級別的表示轉換為更高、更抽象一點的級別來表示。通過這些轉換足夠的組合，可以學習較為複雜的功能(例如分類任務)，例如將深度學習應用於臨床的藥事管理。在深度學習可識別物體外觀的基礎功能上，輔以系統性地對藥物外觀進行影像處理之後，深度學習有望為目前藥物分配技術的缺點帶來解決之道。

然而，考慮到涉及某些外觀相似之藥物包裝的種類繁多，且一般藥物包裝係由正面與反面構成。為了增加短時間內的辨識效率，有必要提供一種可精準地取得藥物包裝外觀的影像處理方法，以利應用至深度學習系統中，提升深度學習成效及辨識精準度。

鑑於上述，現有技術有必要提供一種用於藥物管理(例如，經由藥物泡型包裝來分類和識別該藥物)的改善方法及系統。

為了給讀者提供基本的理解，以下提供本揭示內容的簡要發明內容。此發明內容不是本揭示內容的廣泛概述，同時非用來識別本發明的關鍵/必需元件或勾勒本發明的範圍。其唯一目的是以簡化的概念形式呈現本揭示內容的一些概念，以作為呈現於後文中更詳細描述的序言。

如本文所體現和廣泛描述的，本揭示內容的目的是提供一種改善的藥品管理系統以及透過該系統識別臨床藥物的實施方法，藉此可大幅改善配藥的效率及精確性。

本揭示內容的一態樣是關於一種用以建立一藥物泡型包裝影像之藥物資料庫的電腦實施方法。在某些實施方式中，該方法包含：(a) 分別取得該藥物泡型包裝之一第一影像及一第二影像，其中該第一影像及該第二影像分別包含該藥物泡型包裝之一第一面及一第二面；(b) 分別對該第一影像及該第二影像進行影像糾正(image rectification)，以產生一糾正後第一影像及一糾正後第二影像；(c) 規整(juxtapose)該糾正後第一影像及該糾正後第二影像，以產生一合併影像；(d) 處理該合併影像以產生一參考影像；以及(e)借助於該參考影像以建立該藥物資料庫。

根據本揭示內容的某些實施方式，在步驟(b)中，可以下述步驟來對該第一影像進行影像糾正：(b-1) 提供一參考矩形；(b-2) 選定該第一影像中四個角點，其中該四個角點構成一四邊形；(b-3) 基於步驟(b-1)提供之該參考矩形與步驟(b-2)選定之該四邊形的對應關係，計算該參考矩形與該四邊形之對應關係的一第一單應性矩陣(homography matrix)；以及(b-4) 根據該第一單應性矩陣對該第一影像進行透視校正(perspective correction)，以獲得該糾正後第一影像。

根據本揭示內容的某些實施方式，前述步驟(b-2)之該四邊形可對應該藥物泡型包裝第一面之一輪廓。

較佳地，前述步驟(b)中，以下述步驟來對該第二影像進行影像糾正：(b-i) 基於該糾正後第一影像與該第二影像之間的對應關係，計算兩者間的一第二單應性矩陣；以及(b-ii) 根據該第二單應性矩陣對該第二影像進行透視校正，以獲得該糾正後第二影像。

根據本揭示內容的某些實施方式，步驟(c)包含：(c-1) 提取該糾正後第一影像及該糾正後第二影像中，該藥物泡型包裝第一面及第二面之輪廓，以分別產生一第一輪廓影像及一第二輪廓影像；(c-2) 識別該第一輪廓影像及該第二輪廓影像中各輪廓的角點，以確定該角點之座標；(c-3) 根據步驟(c-2)之該座標，旋轉步驟(c-1)之該第一輪廓影像及該第二輪廓影像，以分別形成一第一處理影像及一第二處理影像；以及(c-4) 規整步驟(c-3)之該第一處理影像及第二處理影像，以產生該合併影像。

較佳地，是以一直線轉換演算法或一質心演算法來執行步驟(c-2)。

較佳地，是以一機器學習演算法來執行步驟(d)。

根據本揭示內容的某些實施方式，所述第一面與第二面分別是該藥物泡型包裝的正面及反面。

本揭示內容的另一態樣是關於一種藥物管理系統，其包含一以前述電腦實施方法建立的藥物資料庫、一影像擷取裝置、一影像處理器以及一機器學習處理器，設以實現藥物管理。

具體而言，所述藥物資料庫係用以提供一參考影像；該影像擷取裝置用以擷取一藥物的一泡型包裝之影像，其中該影像擷取裝置包含一透明板體，用以使該藥物放置其上；一第一影像擷取單元，設置於該透明板體之一側，用以以一第一角度擷取該藥物的一第一影像，其中該第一影像包含該藥物泡型包裝之一第一面；以及一第二影像擷取單元，設置於該透明板體之另一側，用以以一第二角度擷取該藥物的一第二影像，其中該第二影像包含該藥物泡型包裝之一第二面。該影像處理器則經指令編程執行一第一電腦實施方法，係用於產生一候選影像，其中該第一電腦實施方法包含：(a) 分別對該第一影像及該第二影像進行影像糾正，以分別產生一糾正後第一影像及一糾正後第二影像；以及(b) 規整該糾正後第一影像及該糾正後第二影像，以產生該候選影像。機器學習處理器係經指令編程執行一第二電腦實施方法，用於比對該候選影像與如請求項1所述之電腦實施方法建立的該藥物資料庫之參考影像。

根據本揭示內容的某些實施方式，前述步驟(b)包含：(b-1) 提取該糾正後第一影像及該糾正後第二影像中，該藥物泡型包裝之該第一面及該第二面之輪廓，以分別產生一第一輪廓影像及一第二輪廓影像；(b-2) 識別該第一輪廓影像及該第二輪廓影像中各輪廓的角點，以確定該角點之座標；(b-3) 根據步驟(b-2)的該座標，旋轉步驟(b-1)之該第一輪廓影像及該第二輪廓影像，以分別形成一第一處理影像及一第二處理影像；以及(b-4) 規整步驟(b-3)之該第一處理影像及第二處理影像，以產生該候選影像。

根據本揭示內容的較佳實施方式，該第一面與該第二面分別是該藥物泡型包裝的正面及反面。

根據本揭示內容某些實施方式，該第一角度以及該第二角度分別相對於該透明板體之水平面為40至90度。

為了使本揭示內容的敘述更加詳盡與完備，下文針對了本發明的實施態樣與具體實施例提出了說明性的描述；但這並非實施或運用本發明具體實施例的唯一形式。實施方式中涵蓋了多個具體實施例的特徵以及用以建構與操作這些具體實施例的方法步驟與其順序。然而，亦可利用其他具體實施例來達成相同或均等的功能與步驟順序。

I. 定義

為了便於說明，此處統整性地說明本說明書、實施例以及後附的申請專利範圍中所記載的特定術語。除非本說明書另有定義，此處所用的科學與技術詞彙之含義與本發明所屬技術領域中具有通常知識者所理解與慣用的意義相同。此外，在不和上下文衝突的情形下，本說明書所用的單數名詞涵蓋該名詞的複數型；而所用的複數名詞時亦涵蓋該名詞的單數型。具體而言，除非上下文另有明確說明，本文和後附的申請專利範圍所使用的單數形式「一」(a及an)包含複數形式。此外，在本說明書與申請專利範圍中，「至少一」(at least one)與「一或更多」(one or more)等表述方式的意義相同，兩者都代表包含了一、二、三或更多。

雖然用以界定本發明較廣範圍的數值範圍與參數皆是約略的數值，此處已盡可能精確地呈現具體實施例中的相關數值。然而，任何數值本質上不可避免地含有因個別測試方法所致的標準偏差。在此處，「約」(about)通常係指實際數值在一特定數值或範圍的正負10%、5%、1%或0.5%之內。或者是，「約」一詞代表實際數值落在平均值的可接受標準誤差之內，視本發明所屬技術領域中具有通常知識者的考量而定。除了實驗例之外，或除非另有明確的說明，當可理解此處所用的所有範圍、數量、數值與百分比（例如用以描述材料用量、時間長短、溫度、操作條件、數量比例及其他相似者）均經過「約」的修飾。因此，除非有相反的說明，本說明書與附隨申請專利範圍所揭示的數值參數皆為約略的數值，且可視需求而更動。至少應將這些數值參數理解為所指出的有效位數與套用一般進位法所得到的數值。在此處，將數值範圍表示成由一端點至另一段點或介於二端點之間；除非另有說明，此處所述的數值範圍皆包含端點。

本文使用的「泡型包裝」(blister pack或blister package)一詞涵蓋產品被包含在片體材料之間的任何類型的分層包裝；其中該些片體材料可藉由所屬技術領域中具有通常知識者熟知的方法黏合或封裝，舉例來說，這些片體可藉由熱及/或壓力活化膠加以黏合。可從市售獲得這些可做為單獨片體(用於手工包裝)或作為捲料上連續卷片(用於機器包裝)的片體材料。泡型包裝的主要結構是由可成形網(通常是熱塑性塑膠)製成的空腔或袋體。空腔或袋體足夠大以容納在在泡型包裝中的物品。根據應用，泡型包裝可具有熱塑性材料的背襯。對於製藥領域，泡型包裝常用作藥片的單劑量包裝，且包含印刷在該泡型包裝反面的藥物資訊。此外，這些片體有各種厚度可以選擇。一般而言，將空腔或袋體裝有單劑量藥丸的那面視為正面，將另一印刷藥物資訊的面視為反面。

本文使用的影像「糾正」(rectification)或「校正」(correction)，係指經特定手段，將一非正視角度拍攝、因而導致影像內容目標物變形的失真原始影像，改正回具有正視角度及具有統一比例尺及統一座標方位的正射影像(orthophoto)的一種過程。具體的手段則可透過數學原理，例如矩陣或多元一次方程組來求得正視影像。

本文使用的「規整」(juxtapose)一詞是指將兩個物件並排對齊放置。在本揭示內容中，具體是指將兩張影像，特別是經影像處理後、規格尺寸相同的兩張影像並排放置的步驟。在文中，為了明確地說明相關內容，可以相似的「對齊放置」、「並排」、「合併」等詞來替換說明。

II. 本發明實施方式

本發明旨在提供一種改良的影像處理，並配合誘導式深度學習方法，藉以解決習知臨床配藥所面臨的辨識失誤問題。此外，本發明亦旨在發展一種自動藥物驗證(automatic medication verification，AMV)設備，採用實時操作系統，藉以減低臨床人員的工作負荷。

具體來說，所謂誘導式的深度學習是指將特徵或影像輸入演算法之前，處理或醒目化該些特徵或影像的方法，藉此以更強調的方式學習該些特徵資訊。為了更好地劃分所識別的目標並曝光固有的描述性特徵，一般是藉由各種影像處理步驟以達成特徵處理，該些步驟是將藥物的泡型包裝外觀的正反兩面剪裁影像整合至一固定尺寸的模板中，從而利於後續學習網路的分類過程。

1. 建立藥物資料庫的方法

本揭示內容的第一態樣是關於一種用於在電腦可讀取儲存媒體中建立藥物資料庫的方法100，並配合第1圖(根據本揭示內容一實施方式所繪示的流程圖)來說明之。

須說明的是，在實施方法100之前，可藉由任何已知的方式，例如一影像擷取裝置(例如，攝像機)來擷取一藥物泡型包裝的一或多個原始影像。接著，在本揭示內容方法100的步驟102中，經擷取的影像被自動地轉發到其嵌有用於執行本發明方法100之指令的裝置及/或系統，用以後續建立藥物資料庫之步驟。

在方法100中，首先分別取得一藥物在泡型包裝的整體外觀的第一影像及第二影像(步驟102)。第一影像包含藥物泡型包裝的第一面，而第二影像則包含藥物泡型包裝的第二面。具體來說，泡型包裝是一種藥片的單劑量包裝，且包含印刷在該泡型包裝反面的藥物資訊。在特定實施方式中，由於泡型包裝係由上下兩片體材料壓合而成，故具有兩面。一般而言，將空腔或袋體裝有單劑量藥丸的一面視為正面，且將印有印刷藥物資訊的一面視為反面。換句話說，在本揭示內容中，所述該藥物泡型包裝之第一面或第二面，即分別指藥物泡型包裝的正面或反面。

取得包含藥物泡型包裝之完整面的第一影像及第二影像後，分別對第一影像及第二影像進行影像糾正(image rectification)，以產生糾正後第一影像及糾正後第二影像(步驟104)。

具體而言，在步驟104中，可以分別對第一影像及第二影像進行影像糾正。配合第1圖，在步驟104中，係以步驟1041、1043、1045及1047來對第一影像進行影像糾正；而步驟1042及1044則用以對第二影像進行影像糾正。首先，步驟1041為提供一參考矩形。在本揭示內容中，參考矩形具體是一虛擬正視影像，且對齊笛卡兒平面座標系之X軸與Y軸的正四邊形；較佳是根據一同為矩形的參考背景物，選定在特定照相視野內具有特定長寬比的一虛擬矩形。在本案較佳實施例中，可將用以放置承載欲拍攝藥物之透明板體的固定尺寸作為背景參考物，選定正視拍攝視野內具有相同長寬比之透明板體的四個角點所構成正四邊形，以作為參考矩形。在本案之另一實施例中，亦可將特定正視視野內呈現的藥物泡型包裝的輪廓(所對應的固定尺寸與長寬比的四邊形)來作為參考矩形。

接著，在第一影像中，選定可構成一個四邊形的任意四個角點(步驟1043)。具體而言，任意選擇可構成一四邊形的四個角點，該四邊形可以不限任意形狀，例如：梯形、菱形、平行四邊形、任意四邊形或正四邊形。在本揭示內容的較佳實施方式中，所述四邊形是對應前述透明板體的四個角點所形成的四邊形；在另一較佳實施方式中，所述四邊形係對應該藥物泡型包裝第一面的輪廓。具體來說，可視情況而定，使所述四邊形對應於藥物泡型包裝的正面或反面輪廓。

對第一影像定義出一四邊形之後，可接續進行求找第一單應性矩陣(homography matrix)的步驟，如第1圖步驟1045。具體作法是根據步驟1041的參考矩形與步驟1043之選定四邊形兩者之間的對應關係，來計算該參考矩形與該四邊形之對應關係的第一單應性矩陣。本揭示內容的具體實施方式中，可依照特定正視視野內呈現的藥物泡型包裝的輪廓與第一影像中選定的藥物泡型包裝之輪廓，兩者之間於座標系上的座標對應關係，求得第一單應性矩陣。在另一具體實施方式中，是依照正視拍攝視野內透明板體的四個角點所構成的參考矩形，以及第一影像中前述相同角點所形成之四邊形的對應關係，以求得第一單應性矩陣。單應性矩陣的求解方式為本領域之通常知識，在此不予以贅述。

求得第一單應性矩陣之後，則可對前述步驟102取得之第一影像進行透視校正(perspective correction)，以獲得糾正後第一影像。經由前述步驟1041–1047獲得的糾正後第一影像是呈現藥物泡型包裝之第一面的正視影像，以利後續提取輪廓及規整步驟的進行。

繼續配合第1圖，方法100之步驟104中，還可以以下步驟對第二影像進行糾正。步驟包含：基於糾正後第一影像與第二影像之間的對應關係，計算兩者之間的第二單應性矩陣(步驟1042)；以及根據所述第二單應性矩陣對第二影像進行透視校正，以獲得糾正後第二影像(步驟1044)。具體來說，糾正後第一影像與第二影像均包含相同的參考背景物(例如，前述之透明板體)，且糾正後第一影像應為一正視影像，故而可根據糾正後第一影像與第二影像之間的關係，求得兩者之間的第二單應性矩陣。接著根據第二單應性矩陣，對第二影像進行透視校正，以獲得糾正後第二影像。如同前述，糾正後第二影像是呈現藥物泡型包裝之第二面的正視影像。根據本揭示內容的一特定實施方式，經糾正後，藥物泡型包裝的第二面在糾正後第二影像內的相對位置與第一面在糾正後第一影像內的相對位置相同。

值得一提的是，可以同時或依序進行第一影像與第二影像的影像糾正程序，只要最終可分別獲得糾正後第一影像與糾正後第二影像即可。非必要性地，若第一影像已經呈現正視影像狀態時，則可僅對第二影像進行影像糾正步驟(亦即步驟1042及1044)。

當得到糾正後第一影像與糾正後第二影像之後，為了使該影像具有固定規格與格式，將糾正後第一影像及糾正後第二影像進行規整，以產生一合併影像(如第1圖步驟106所示)。此步驟主要是為了增進後續機器學習程序對外觀辨識的精確度，而對一影像進行處理及醒目化，藉以給出具有預定特徵(例如固定在預定的像素尺寸等)的一乾淨影像，且較佳是在乾淨影像中，移除非主體(即，藥物泡型包裝的影像)的背景部分。

根據本揭示內容較佳實施方式，前述合併影像具體是同時呈現藥物泡型包裝的正面與反面，且原本糾正後第一影像與糾正後第二影像中，移除非藥物泡型包裝的其餘背景部分。

根據本揭示內容一特定實施方式，具體規整步驟106通常包含下列步驟： (1061) 提取前述糾正後第一影像及糾正後第二影像中，藥物泡型包裝第一面及第二面之輪廓，以分別產生第一輪廓影像及第二輪廓影像； (1063) 識別第一輪廓影像及第二輪廓影像中各輪廓的角點，以確定該角點之座標； (1065) 根據步驟(1063)之座標，旋轉步驟(1061)之第一輪廓影像及第二輪廓影像，以分別形成第一處理影像及第二處理影像；以及 (1067) 規整步驟(1065)之第一處理影像及第二處理影像，以產生本揭示內容的合併影像。

步驟1061利用一影像處理器分別處理所述糾正後第一影像及糾正後第二影像，目的是提取出該些影像中藥物泡型包裝第一面與第二面的輪廓，以產生分別具有明確定義之輪廓的第一輪廓影像及第二輪廓影像。影像處理器執行數種演算法，以消除影像的背景雜訊並提取目標特徵。具體來說，步驟1061的提取影像係透過以下影像處理：(i)灰階轉換處理、(ii)雜訊濾除處理、(iii)邊緣識別處理、(iv)凸包(convex hull)運算處理以及(v)尋找輪廓處理。須注意的是，可獨立地以任何順序執行前述(i)至(v)各處理，較佳是以(i)至(v)之順序進行。

具體來說，(i)使用色彩轉換演算法執行灰階轉換處理，以將BGR色彩(彩色)轉換成灰階；(ii)使用過濾器演算法執行雜訊濾除處理，以將背景雜訊減至最少；(iii)使用邊緣識別演算法執行邊緣識別處理，以測定影像中藥物泡型包裝之各邊緣的座標；(iv)使用凸包運算演算法(一種用來在平面或其他低維度找到有限點集合(set of points)之凸包的演算法)執行凸包運算處理，以計算影像中藥物泡型包裝的實際面積；以及(v)使用輪廓定義演算法執行尋找輪廓處理，以提取及醒目化藥物泡型包裝的主要區域。藉由執行前述(i)至(v)各處理，從糾正後第一影像及糾正後第二影像產生各具有經定義輪廓的第一輪廓影像及第二輪廓影像，其中，背景雜訊均被消除，且該泡型包裝的主要部分被提取並醒目化，以利後續影像處理程序。

續行步驟1063，該步驟係定義出第一輪廓影像與第二輪廓影像中各輪廓的角點。不論藥物之泡型包裝的輪廓形狀為何，此步驟可確定每一張輪廓影像的至少一角點之座標。較佳地，確定從步驟1061獲取的第一輪廓影像與第二輪廓影像的四個角點座標。此步驟的目標在於從藥物泡型包裝的輪廓邊緣預測出至少三條直線，接著透過幾何學推理方式以獲得最貼近泡型包裝邊緣的四邊形以及各角點相對於平面座標系上的座標。由於泡型包裝可能具有多種形狀及/或輪廓，因此，可採用不同演算法來從第一輪廓影像及第二輪廓影像中識別角點。舉例來說，若前述輪廓影像中的藥物泡型包裝的輪廓形狀是常規的四邊形(如：矩形)，則可採用直線轉換演算法來識別四個角點，進而確立該該角點的座標。另一方面，若該些輪廓影像中藥物泡型包裝的輪廓形狀是非常規四邊形，像是具有三個直線邊緣及一個曲線邊緣的非典型多邊形，那麼則採用質心演算法來進行角點識別。透過前述設計，不論藥物包裝的方向及形狀為何，均能確定每個角點的座標。

於步驟1063中，識別每一處理影像的角點不僅是為了建立後續旋轉步驟(1065)及規整步驟(1067)的定錨點，同時也是為了確保整個藥物泡型包裝有被包含在第一輪廓影像與第二輪廓影像中以便後續分析。值得注意的是，前述泡型包裝輪廓經確定的四個角點的座標必須以順時針或逆時針方式排列，據此可基於該四個角點的確定座標將第一輪廓影像及第二輪廓影像旋轉至一預定的位置(步驟1065)，以分別形成第一處理影像及第二處理影像。預定的位置可隨著實際實施需求變化。在某些實施例中，預定位置是指藥物泡型包裝的短邊與長邊分別與平面座標系統的X軸及Y軸平行。泡型包裝較佳的定向方式是僅需旋轉一次影像就可使其短邊與長邊分別與笛卡兒座標系統的X軸及Y軸平行。實際施用時，可使用多種透視轉換演算法旋轉第一輪廓影像及第二輪廓影像，其設有預定像素尺寸(例如 448×224像素)，藉以分別產生有預定位置的第一處理影像及第二處理影像。

接著，在步驟1067，將前述步驟所得之第一處理影像及第二處理影像並排放置，進行規整以產生一合併影像。應注意的是從此步驟獲得的合併影像可包含數種組合，這有利於盡可能地建立藥物資料庫數據。第一處理影像及第二處理影像可以分別呈現正立或倒立狀態。較佳地，是相同方向且分別呈現藥物泡型包裝正反兩面的第一及第二處理影像彼此規整，以產生一次性包含該藥物泡型包裝最多特徵資訊的合併影像。

繼續參考第1圖，為了建立藥物資料庫，在步驟108及110中，將合併影像用於訓練嵌入計算機的機器學習演算法，以產生參考影像。包含藥物資訊的合併影像是以儲存在藥物資料庫的參考影像來分類，且之後可讀取用於識別候選包裝。在某些實施方式中，可將多種藥物之至少一合併影像輸入至機器學習演算法中。在例示性實施方式，可將超過10至20,000張的合併影像，例如10、100、200、300、400、500、1000、1,100、1,200、1,300、1,400、1,500、2,000、2,500、3,000、3,500、4,000、4,500、5,000、5,500、10,000、11,000、12,000、13,000、14,000、15,000、16,000、17,000、18,000、19,000及20,000張合併影像輸入至機器學習演算法，以建立藥物資料庫。每張影像可用於訓練機器學習系統以將該影像資訊轉換成參考資訊，接著可將該參考資訊儲存在裝置及/或系統內建的資料庫中。

須注意的是，適用於本揭示內容的機器學習程式系統可以是任何本技術領域習知的視覺對象偵測模型，根據實際需要在某些準則下優化或不優化，該些模型包含但不限於：可變型組件模型(formable parts model，DPM)、區域卷積神經網路(region convolutional neural network，R-CNN)、快速區域卷積神經網路(Fast R-CNN)、高速區域卷積神經網路(Faster R-CNN)、遮罩區域卷積神經網路(mask R-CNN)以及YOLO。較佳地，對適用於訓練本揭示內容之學習步驟的視覺對象偵測模型進行優化，至少對參數(像是輸入的影像像素、定界框(bounding box)及錨框(anchor box)的數目和尺寸)進行優化。根據本揭示內容，經前述步驟處理且後續輸入至學習系統的合併影像應為符合預定尺寸(例如固定像素)的「滿版影像」(full bleed image)。因此，錨框的數目及尺寸可被最小化(例如最小化至僅有一個錨框)，以增進計算速度與效能。換言之，藉由上述取得正視影像，並將兩張正視影像規整成一張的步驟，使得機器學習系統在處理大規模藥物包裝的大量數據時，也能順暢快速地運行。更甚者，可縮短整體處理時間，這大幅地增進建立藥物資料庫的效能。

另，本文所述之標的可以使用儲存有處理器可讀取指令的非暫時、有形的處理器可讀取儲存媒體來實施。當受到一可程式化裝置的處理器執行時，所述指令可控制該可程式化裝置以執行根據本揭示內容實施方式的方法。適用於實現本文所述之標的的例示性處理器可讀取儲存媒體可包含(但不限於)RAM、ROM、EPROM、EEPROM、快閃記憶體或其他故態記憶體技術：CD-ROM、DVD或其他光儲存、磁卡式、磁碟儲存或其他磁性儲存裝置，以及其他可用於儲存所需資訊且可由處理器讀取的媒體。此外，實現本發明標的之處理器可讀取儲存媒體可以位於單一裝置或計算平台上，或者也可分佈在多個裝置或計算平台上。在某些實施方式中，計算平台是具有實時計算約束的嵌入式系統。

本揭示內容經處理及醒目化的影像，並藉由將兩張處理影像規整成一張的「合併影像」，實際上增加計算效能與準確度。藉由上述技術特徵，本揭示內容目的在於透過藥物泡型包裝影像所建立的藥物資料庫，並根據該藥物資料庫作為識別藥物之基準，可以於配藥過程增進藥物識別的準確度並消除人為疏失，藉此改善藥物使用安全及病患照護的品質。

2. 藥物管理系統

本發明標的之另一個態樣是提供一藥物管理系統。參考繪示藥物管理系統200之第2圖，藥物管理系統200包含一影像擷取裝置210、一影像處理器220、一藥物資料庫230以及一機器學習處理器240，其中該影像擷取裝置210及機器學習處理器240分別耦合至該影像處理器220，而該藥物資料庫230係以通訊式或實體與機器學習處理器240連接。

影像擷取裝置210設以擷取一藥物之泡型包裝的一或多個影像。在某些實施方式中，影像擷取裝置210其結構包含有一透明板體211以及分別設置在該透明板體211兩側的第一影像擷取單元213與第二影像擷取單元215。該透明板體211可以是由玻璃或丙烯酸聚合物製成。具體來說，第一影像擷取單元213設置在透明板體211的上側(如第2圖)，以第一角度θ擷取一藥物的第一影像，其中該第一影像包含藥物泡型包裝的第一面(例如正面)；第二影像擷取單元215設置在透明板體211的下側，以第二角度擷取該藥物的第二影像，第二影像包含藥物泡型包裝的第二面(例如反面)。在特定實施方式中，第一角度及第二角度是第一影像擷取單元213與第二影像擷取單元215分別相對於該透明板體211之水平面為40至90度，例如：40、45、50、55、60、65、70、75、80、85或90度。在實施上，藥物放置在透明板體211上，第一影像擷取單元213以45至60度之俯角對藥物進行影像擷取，較佳為50度。另一方面，第二影像擷取單元215則以仰角90度從透明板體211下方朝上，對藥物進行影像擷取(如第2圖所示)。較佳地，第一影像擷取單元213與第二影像擷取單元215是同時擷取該藥物泡型包裝的正反面影像。舉例來說，第一影像擷取單元213與第二影像擷取單元215是實時數位相機。

除非另有說明，根據本揭示內容，影像處理器220及機器學習處理器240分別包含用於儲存複數個指令的記憶體，該些指令可使處理器實現本發明的方法，包含前述態樣建立藥物資料庫230的方法以及本態樣識別藥物的方法。在某些實施方式中，是將影像處理器220及機器學習處理器240設成兩個獨立的裝置；或者也可將兩者設置在相同硬體中。在某些實施方式中，影像處理器220及機器學習處理器240是可通訊式彼此連接。具體而言，影像處理器220是可通訊式與影像擷取裝置210連接，以接受經由該影像擷取裝置210擷取的影像，並設以執行本發明第一電腦實施方法的影像處理步驟(亦即前述步驟104及106)，據此產生用於建立藥物資料庫230的合併影像及/或用於後續識別的候選影像。本發明經前述方法100建立之藥物資料庫230，可以儲存在透過電纜連接或無線網路與機器學習處理器240相連的儲存裝置中以提供一參考影像，或是非必要地，將藥物資料庫230是儲存於機器學習處理器240中。在第2圖描述的例示性實施方式中，本發明藥物資料庫230係以通訊式與機器學習處理器240連接。機器學習處理器240還可通訊式與影像處理器220連接，並設以實現本發明第二電腦實施方法之影像比對，以用於藥物識別。此方法包含將候選影像與以本發明前述方法100所建立之藥物資料庫230中的參考影像進行比對。

在某些實施方式中，藥物管理系統200更包含一使用者介面(未示出)，設以輸出藥物識別結果、接受來自外部使用者之指令、以及將使用者輸入反饋至影像處理器220及機器學習處理器240。

可使用各種技術實施影像擷取裝置210、影像處理器220、藥物資料庫230及影像學習處理器240之間的通訊。舉例來說，本發明藥物管理系統200可包含一網路介面以允許影像擷取裝置210、影像處理器220、藥物資料庫230以及機器學習處理器240之間通過網路(例如一區域通信網路(LAN)、一廣域網路(WAN)、網路或無線網路)來通訊。在其他實施例中，該系統可具有一系統匯流排(system bus)，其耦合各種系統組件(包含影像擷取裝置210)至該影像處理器220。

下文提出多個實施例來說明本發明的某些態樣，以利本發明所屬技術領域中具有通常知識者實作本發明。不應將這些實驗例視為對本發明範圍的限制。無須進一步說明，據信所屬技術領域中具有通常知識者可根據本文的描述，最大限度地利用本發明。本文引用的所有公開文獻均透過引用其整體併入本文。

實施例1：構建藥物資料庫

對初始拍攝影像進行影像糾正的策略

從馬偕紀念醫院(臺北，臺灣)醫院藥房收集市售現有的250多種藥物。為了構建藥物資料庫的數據庫，盡可能地取得所有藥物泡型包裝的照片。在進行影像擷取時，隨機選擇一藥物放置在配備有玻璃製成之透明板體的特製櫃體上，不限該藥物放置的具體位置。設置圍繞透明板體的光源以利照明，並將兩個BRIO網路攝影機 (Logitech, USA)個別設置在透明板體的兩側(與板體保持一距離)，確保該網路攝影機的視野能涵蓋整個板體區域。其中，設置於上方的網路攝影機相對於透明板體平面具有一50度之俯角；設置於下方的網路攝影機則垂直向上方拍攝。在攝得影像非正視視野影像的情況下，利用影像糾正的概念對所拍攝的影像進行糾正。

第3圖例示性地呈現如何將藥物泡型包裝之第一影像及第二影像分別糾正為糾正後第一影像及糾正後第二影像。如第3圖所示，首先定義攝於透明板體上方之攝影機為

，其斜向水平的玻璃板體，所拍攝的第一影像為

，通常包含藥物泡型包裝的正面；另假設一虛擬垂直正上方攝影機

，假定該虛擬攝影機

所拍攝的虛擬影像為

，應呈現與第一影像

相近視野的正視視角。下方攝影機

，由

所拍攝的第二影像為

，通常是藥物泡型包裝的反面。第一影像

及第二影像

經影像糾正之後，分別以

與

表示。

首先在虛擬影像

與第一影像

之間尋找一第一單應性矩陣

，具體方法是根據玻璃透明板體的實際長寬比例，在虛擬影像

及第一影像

中分別定義出可互相對應的各四個角點(例如第3圖，第一影像

中的四個圓點)。具體可以定義位於虛擬影像

正中間一玻璃的四個角點，同時第一影像

也具有該矩形的對應四個角點，進而求得

。求得虛擬影像

與第一影像

之間的第一單應性矩陣

之後，將第一影像

與第一單應性矩陣

相乘則可得到糾正後第一影像

。

接著，求得糾正後第一影像

之後，還可以利用在虛擬影像

正中間呈現的玻璃四個角點(其與糾正後第一影像

中玻璃四個角點同)與第二影像

之間的對應關係，求得

，並將

乘上

後得到糾正後第二影像

。由於糾正後第二影像

追本溯源仍是從上方正視虛擬影像

得來，因此可知道糾正後第二影像

中，藥物泡型包裝反面影像出現的相對位置與糾正後第一影像

中藥物泡型包裝正面影像的相對位置相同(如第3圖所示)。

製備糾正雙面影像 (Rectified Two-sided Images ， RTIs)

得到糾正後第一影像

及糾正後第二影像

後，利用編程在影像處理器中的開發函式庫(Open Source Computer Vision 2，OpenCV 2)函式，對各影像進行裁剪以最小化背景雜訊並對其進行處理，以產生去背景之藥物泡型包裝正面輪廓影像

及去背景之藥物泡型包裝反面輪廓影像

。除了從糾正後第二影像

進行提取去背來獲得藥物泡型包裝反面輪廓影像

之外，由於糾正後第一影像

可視為虛擬影像

，因此也可以透過對去背景之藥物泡型包裝正面輪廓影像

直接乘上

，來產生去背景之藥物泡型包裝反面輪廓影像

。接著將去背景之藥物泡型包裝正面輪廓影像

及去背景之藥物泡型包裝反面輪廓影像

經旋轉後，規整產生合併影像(本發明稱為『校正雙面併整影像(RTIs)』)。每個RTI可與一預定模板(以下稱為校正雙面併整模板(rectified two-sided template，RTT)適配並且包含一藥物泡型包裝的正面與反面。預定模板是指規整合併影像成448 × 224像素之尺寸。總共取得18,000的RTIs，並利用CNN模型進行後續深度學習處理程序。

偵測藥物泡型包裝之不規則四邊形角點的策略

承前所述，為了對去背景之藥物泡型包裝影像

及

進行旋轉，需偵測藥物泡型包裝輪廓的各角點。在待測藥物泡型包裝具有三直線邊緣及一曲線邊緣構成的不規則四邊形形狀之情況下，利用質心算法(表1)透過幾何學推理以測定曲線邊緣和未定義角點。表1：用於偵測不規則四邊形形狀角點的質心演算法

輸入：三條邊緣線 L以及泡型包裝的輪廓形狀資訊 blisterContour輸出：透過直線交點以及幾何學推理找到的四個角點 P ₁ 、 P ₂ 、 P ₃ 及 P ₄ (以循環順序排列)

1: 程序 FINDCORNERS( L, blisterContour) 2: P ₁, P ₄ ← 三條線 L的兩個交點。 3: M ← 兩交點 P ₁ 、P ₄ 之間的中點。 4: B ← 泡型包裝輪廓形狀的質心 blisterContour。 5:

← 從 M至 B的位移向量。 6: P ₂ ← P ₁ + 2

7: P ₃ ← P ₄ + 2

第4圖例示性地呈現如何對具有不規則四邊形之藥物包裝執行角點識別。如第4圖所繪，具有三條直線邊緣( L ₁ 、 L ₂ 、 L ₃ )及一曲線邊緣(C ₁)的泡型包裝呈現隨機的方向，其中將 L ₁ 及 L ₂ 的交點指定為 P ₁ ，而 L ₂ 及 L ₃ 的交點則指定為 P ₄ 。目標是要確定 P ₂ 及 P ₃ 的座標，據此四個點( P ₁ 、 P ₂ 、 P ₃ 及 P ₄ )以及四個邊緣( L ₁ 、 L ₂ 、 L ₃ 及 C ₁ )包圍的區域會涵蓋整個包裝的影像。首先確定 P ₁ 及 P ₄ 之間在邊緣 L ₂ 上的中點 M，接著可透過演算法cv2.moments (OpenCV 2)確定藥物泡型包裝面積的質心 B。基於中點 M及質心 B的座標計算出位移向量 v。最後可確定分別距交點 P ₁ 及 P ₄ 兩倍位移向量之位置便是 P ₂ 及 P ₃ 之座標。透過前述流程，四個交點或角點 P ₁ 、 P ₂ 、 P ₃ 及 P ₄ 可自動地以順時針或逆時針方向排序。

實施例2：評估基於實施例1的藥物資料庫執行機器學習的藥物管理系統的分類效率

處理並合併影像

為了評估本揭示內容RTIs的視覺辨識效能，將藥物的原始影像(未處理且未合併)及RTIs(經處理並合併)分別輸入至訓練模型(經優化的Tiny YOLO)以進行深度學習。表2總結訓練結果。根據表2的數據，相較於未處理的原始影像，本揭示內容的「醒目化」影像在訓練視覺辨識方面具高效能。訓練的F1-分數越高，表示深度學習網路對包裝影像的視覺辨識的效果越好。相較於那些未經處理的影像，經處理成RTT的RTIs也顯著地增加訓練效果。表2：未處理影像與RTIs之比較

實驗組別	組別I	組別II	組別III
影像類型	未處理影像(正面)	未處理影像(反面)	如實施例1經處理影像(RTIs)
訓練時間(分)	362	462	23
訓練型樣	65	83	5
精密度(%)	77.03	89.39	--
召回	67.44	87.68	--
F1-分數	65.39	86.48	99.82

實時藥物識別應用

操作時，隨機選擇一藥物放置在配備有玻璃製成之透明板體上。設置圍繞透明板體的光源以利照明，並將兩個BRIO網路攝影機 (Logitech, USA)個別設置在透明板體的兩側(與板體保持一距離)，確保該網路攝影機的視野能涵蓋整個板體區域。另一方面，先將實施例1建好的藥物資料庫儲存在實時嵌入式計算裝置JETSON ^TMTX2 (NVIDIA, USA)中。JETSON ^TMTX2，稱為「開發者套件(developer kit)」，其包含記憶體、 CPU、GPU、USB埠、網形天線以及其他計算元件，藉此使影像處理步驟及機器學習步驟可在相同裝置內執行。操作上，兩個網路攝影機可透過USB電纜與 JETSON ^TMTX2連接，據此所選藥物的正面與反面影像可實時地同時傳送給處理器。將所選藥物泡型包裝的兩張原始影像處理成一張RTI，接著該RTI接受編程在JETSON ^TMTX2內的學習模型Tiny YOLO進行後續程序。 Tiny YOLO模型的視覺辨識速度可達每秒約200幀(FPS)。總流程(即，從擷取影像至視覺識別)所花費的時間約每秒6.23幀。識別結果可實時呈現在一外部顯示裝置上，例如電腦螢幕或是行動電話使用介面。因此，外部使用者幾乎可與藥物放上玻璃板體上後，同時獲得該藥物之識別結果。

再者，為了評估本發明系統是否可有效地降低配藥過程人為疏失之機率，再次進行另一比較。舉例來說，一抗焦慮藥物：樂耐平(Lorazepam)，其外觀與其他藥物的相似度頗高，因此在配藥過程中是最容易誤認的藥物。首先，將樂耐平的RTI輸入本發明系統，以與該資料庫中的所有藥物進行比較。經計算後，學習模型提出經該學習模型分析後基於外觀相似度可能誤認的數種候選藥物。候選表單可協助臨床人員複核所選藥物是否正確。因此，藉由本揭示內容的藥物管理系統，可改善配藥的準確度，也可以將人為疏失減至最小以確保病患安全。

總言之，本發明用於藥物管理之方法和系統可藉由在一個半開放式機構下執行影像處理步驟以將影像合併成一張，以及以實時的方式執行深度學習模型，藉以達成前述目的。本揭示內容的優勢不僅在於無論物體(即：藥物)的方位為何及初始攝像的角度為何，皆可快速地將原始影像經糾正規整程序製成一句有固定規格尺寸的整併影像，不僅利於機器學習的效率，還可經由藥物外觀增加藥物分類的準確性。

應當理解的是，前述對實施方式的描述僅是以實施例的方式給出，且本領域所屬技術領域中具有通常知識者可進行各種修改。以上說明書、實施例及實驗結果提供本發明之例示性實施方式之結構與用途的完整描述。雖然上文實施方式中揭露了本發明的各種具體實施例，然其並非用以限定本發明，本發明所屬技術領域中具有通常知識者，在不悖離本發明之原理與精神的情形下，當可對其進行各種更動與修飾，因此本發明之保護範圍當以附隨申請專利範圍所界定者為準。

100 方法 102–110 步驟 200 藥物管理系統 210 影像擷取裝置 211 透明板體 213 第一影像擷取單元 215 第二影像擷取單元 220 影像處理器 230 藥物資料庫 240 機器學習處理器

為讓本發明的上述與其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下。

第1圖是根據本揭示內容實施方式的方法100繪示的流程圖。

第2圖是繪示本揭示內容一實施方式的藥物管理系統200。

第3圖繪示本揭示內容之一實例，以例示如何透過單應性矩陣求糾正影像。

第4圖繪示本揭示內容之一實例，以例示如何透過質心演算法定義包裝的角點。

根據慣常的作業方式，圖中各種元件與特徵並未依比例繪製，其繪製方式是為了以最佳的方式呈現本發明相關的具體特徵與元件。此外，在不同的圖式間，以相同或相似的元件符號來指稱相似的元件/部件。

100 方法 102–110 步驟

Claims

一種用以建立一藥物泡型包裝影像之藥物資料庫的電腦實施方法，包含：(a)分別取得該藥物泡型包裝之一第一影像及一第二影像，其中該第一影像及該第二影像分別包含該藥物泡型包裝之一第一面及一第二面；(b)分別對該第一影像及該第二影像進行影像糾正(image rectification)，以產生一糾正後第一影像及一糾正後第二影像；(c)規整(juxtapose)該糾正後第一影像及該糾正後第二影像，以產生一合併影像；(d)以一機器學習演算法來訓練該合併影像，以產生一參考影像；以及(e)借助於該參考影像以建立該藥物資料庫，其中步驟(c)包含：(c-1)提取該糾正後第一影像及該糾正後第二影像中，該藥物泡型包裝第一面及第二面之輪廓，以分別產生一第一輪廓影像及一第二輪廓影像；(c-2)識別該第一輪廓影像及該第二輪廓影像中各輪廓的角點，以確定該角點之座標；(c-3)根據步驟(c-2)之該座標，旋轉步驟(c-1)之該第一輪廓影像及該第二輪廓影像，以分別形成一第一處理影像及一第二處理影像；以及(c-4)規整步驟(c-3)之該第一處理影像及第二處理影像，以產生該合併影像。
如請求項1所述之電腦實施方法，其中在步驟(b)中，以下述步驟來對該第一影像進行影像糾正：(b-1)提供一參考矩形；(b-2)選定該第一影像中四個角點，其中該四個角點構成一四邊形；(b-3)基於步驟(b-1)提供之該參考矩形與步驟(b-2)選定之該四邊形的對應關係，計算該參考矩形與該四邊形之對應關係的一第一單應性矩陣(homography matrix)；以及(b-4)根據該第一單應性矩陣對該第一影像進行透視校正(perspective correction)，以獲得該糾正後第一影像。
如請求項2所述之電腦實施方法，其中步驟(b-2)之該四邊形係對應該藥物泡型包裝第一面之一輪廓。
如請求項1或2所述之電腦實施方法，其中在步驟(b)中，以下述步驟來對該第二影像進行影像糾正：(b-i)基於該糾正後第一影像與該第二影像之間的對應關係，計算兩者間的一第二單應性矩陣；以及(b-ii)根據該第二單應性矩陣對該第二影像進行透視校正，以獲得該糾正後第二影像。
如請求項1所述之電腦實施方法，其中以一直線轉換演算法或一質心演算法來執行步驟(c-2)。
如請求項1所述之電腦實施方法，其中該第一面與該第二面分別是該藥物泡型包裝的正面及反面。
一種藥物管理系統，包含：一影像擷取裝置，用以擷取一藥物的一泡型包裝之影像，包含：一透明板體，用以使該藥物放置其上；一第一影像擷取單元，設置於該透明板體之一側，用以以一第一角度擷取該藥物的一第一影像，其中該第一影像包含該藥物泡型包裝之一第一面；以及一第二影像擷取單元，設置於該透明板體之另一側，用以以一第二角度擷取該藥物的一第二影像，其中該第二影像包含該藥物泡型包裝之一第二面，一影像處理器，經指令編程執行一第一電腦實施方法，係用於產生一候選影像，其中該第一電腦實施方法包含：(a)分別對該第一影像及該第二影像進行影像糾正，以分別產生一糾正後第一影像及一糾正後第二影像；以及(b)規整該糾正後第一影像及該糾正後第二影像，以產生該候選影像，一如請求項1所述之電腦實施方法建立的藥物資料庫，用以提供一參考影像；以及一機器學習處理器，經指令編程執行一第二電腦實施方法，係用於比對該候選影像與該如請求項1所述之電腦實施方法建立的該藥物資料庫之該參考影像。
如請求項7所述之系統，其中步驟(b)包含：(b-1)提取該糾正後第一影像及該糾正後第二影像中，該藥物泡型包裝之該第一面及該第二面之輪廓，以分別產生一第一輪廓影像及一第二輪廓影像；(b-2)識別該第一輪廓影像及該第二輪廓影像中各輪廓的角點，以確定該角點之座標；(b-3)根據步驟(b-2)的該座標，旋轉步驟(b-1)之該第一輪廓影像及該第二輪廓影像，以分別形成一第一處理影像及一第二處理影像；以及(b-4)規整步驟(b-3)之該第一處理影像及第二處理影像，以產生該候選影像。
如請求項7所述之系統，其中該第一面與該第二面分別是該藥物泡型包裝的正面及反面。
如請求項7所述之系統，其中該第一角度以及該第二角度分別相對於該透明板體之水平面為40至90度。