JP7364888B2 - Type discrimination device - Google Patents
Type discrimination device Download PDFInfo
- Publication number
- JP7364888B2 JP7364888B2 JP2019224015A JP2019224015A JP7364888B2 JP 7364888 B2 JP7364888 B2 JP 7364888B2 JP 2019224015 A JP2019224015 A JP 2019224015A JP 2019224015 A JP2019224015 A JP 2019224015A JP 7364888 B2 JP7364888 B2 JP 7364888B2
- Authority
- JP
- Japan
- Prior art keywords
- drug
- unit
- similarity
- type
- master
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Medical Preparation Storing Or Oral Administration Devices (AREA)
Description
本発明は、薬剤の種類を自動で判別する種類判別装置等に関する。 The present invention relates to a type discrimination device and the like that automatically discriminates the type of medicine.
従来、返品された複数種類の薬剤は、薬剤師または医師の手により種類毎に仕分けられていた。返品される薬剤は、様々な患者に処方される、または処方された調剤後の薬剤である。そのため、１患者単位の処方箋情報に基づいて、調剤機器等に予め薬種単位でまとめられた薬種群（薬剤カセット）から、一服用時期単位毎に、（１種または複数種の）薬剤（錠剤）を取りまとめる（分包する）調剤業務に比べて、複数の患者に処方された薬剤がまとめて返品される薬剤の種類は非常に多い。そのため、返品された薬剤を自動的に仕分けて、再利用することの有用性は高い。なお、一服用時期用に調剤される薬剤は、一般に２～３種類程度であり、多くても１０種類程度である。 Conventionally, multiple types of returned drugs have been sorted by type by pharmacists or doctors. The returned medication is the compounded medication that is or has been prescribed to various patients. Therefore, based on the prescription information for each patient, drugs (tablets) (one or more types) are prepared for each dosage period from a group of drugs (drug cassettes) that are pre-organized by drug type in a dispensing device, etc. Compared to dispensing services where drugs are compiled (divided into packages), there are many types of drugs that are prescribed to multiple patients and are returned together. Therefore, it is highly useful to automatically sort and reuse returned drugs. Note that the number of drugs that are prepared for each dose is generally about 2 to 3 types, and about 10 types at most.
なお、仕分け業務にかかる時間、手間、または仕分け間違い（薬剤カセットへの戻し間違い）による誤投与のリスクを避けるため、返品された薬剤を、そのまま廃棄する薬局または病院（正確には院内薬剤部）も存在している。 In addition, in order to avoid the time and effort required for sorting, or the risk of erroneous administration due to incorrect sorting (misplacement of drugs into cassettes), returned drugs must be disposed of as is at pharmacies or hospitals (more precisely, in-hospital pharmacy departments). also exists.
特許文献１には、返品されたアンプルまたはバイアルを自動的に認識して格納する薬剤仕分装置が開示されている。この薬剤仕分装置は、アンプルまたはバイアルの向き及び姿勢と、アンプルまたはバイアルの性状（例：形状、大きさ、種類及び使用期限）とを認識する。そして、認識されたアンプルまたはバイアルの大きさに応じて格納時に個々のアンプルまたはバイアルに設定される格納領域と、個々のアンプルまたはバイアルの識別情報とを関連付けて、アンプルまたはバイアルを個別に配置し、それによって個別のアンプルまたはバイアルを取り出し可能に格納する。
特許文献１での返品対象は、アンプルまたはバイアルであり、錠剤またはカプセル等の、容器等に収容されていない薬剤、または包装等が施されていない薬剤自体ではない。そのため、特許文献１では、このような薬剤（例：錠剤またはカプセル）そのものを識別し、自動的に仕分けることについてまでは想定されていない。薬剤の自動仕分けを行う薬剤仕分装置を実現しようとした場合、予め種類が既知の薬剤について、その外観の特徴を示すマスタデータを作成して記憶しておき、そのマスタデータを用いて仕分け対象の薬剤の種類の判別を行うことが考えられる。なお、マスタデータとの照合に用いる、仕分け対象の薬剤の外観の特徴は、該薬剤を撮像した画像を解析することで特定すればよい。
The items to be returned in
しかしながら、同じ薬剤を撮像した場合であっても、撮像装置や撮像環境が変われば、得られる画像に差異が生じ得る。また、撮像装置や撮像環境を同じにしたとしても、装置（撮像装置のみならず照明装置等の周辺装置も含む）の経時劣化により、得られる画像に差異が生じ得る。つまり、撮像によって得られる画像は、マスタデータの作成時に想定していたものから変化する可能性があり、このような変化が生じた場合、種類の判別に要する時間が増加する等の支障が生じる可能性がある。 However, even when the same drug is imaged, differences may occur in the images obtained if the imaging device or imaging environment changes. Further, even if the imaging device and imaging environment are the same, differences may occur in the images obtained due to deterioration over time of the device (including not only the imaging device but also peripheral devices such as lighting devices). In other words, the image obtained by imaging may change from what was assumed when the master data was created, and if such a change occurs, problems such as an increase in the time required to distinguish the type may occur. there is a possibility.
本発明の一態様は、薬剤を撮像した画像とマスタデータとを用いた薬剤の種類の判別において、撮像によって得られる画像が、マスタデータの作成時に想定していたものから変化した場合であっても、適切に種類の判別を行うことができる種類判別装置等を実現することを目的とする。 One aspect of the present invention is to determine the type of drug using an image of the drug and master data, when the image obtained by imaging changes from what was assumed at the time of creating the master data. Another object of the present invention is to realize a type discrimination device etc. that can appropriately discriminate types.
上記の課題を解決するために、本発明の一態様に係る種類判別装置は、薬剤の照合用のマスタデータを用いて、種類不明の対象薬剤を撮像した撮像画像から、前記対象薬剤の種類を判別する種類判別装置であって、前記マスタデータには、薬剤の色を示すマスタ色データが含まれており、前記撮像画像から生成された、前記対象薬剤の外観の特徴を示す情報と、前記マスタデータとを照合し、該照合の結果に基づいて前記対象薬剤の種類を判別する判別部と、前記判別部が前記対象薬剤の種類の判別に成功したときに、当該判別に使用された、前記対象薬剤の色を示す判別成功色データを、新たな前記マスタ色データとするマスタ更新部と、を備える。 In order to solve the above problems, a type discrimination device according to one aspect of the present invention uses master data for drug verification to identify the type of a target drug from a captured image of an unknown type of target drug. The type discrimination device discriminates the type, and the master data includes master color data indicating the color of the drug, and information indicating the external appearance characteristics of the target drug generated from the captured image; a discriminating unit that collates the target drug with master data and determines the type of the target drug based on the result of the collation; The apparatus further includes a master updating unit that sets successful discrimination color data indicating the color of the target drug as new master color data.
本発明の一態様によれば、判別成功色データを新たなマスタ色データとするので、対象薬剤の撮像によって得られる画像が、マスタデータの作成時に想定していたものから変化した場合であっても、適切に種類の判別を行うことができる。なお、「適切に」とは、必ずしも種類の判別精度が高いことを意味しない。例えば、適正な時間で種類の判別ができることも「適切に」の範疇に含まれる。 According to one aspect of the present invention, successful discrimination color data is used as new master color data, so even if the image obtained by imaging the target drug changes from what was assumed when the master data was created, It is also possible to appropriately determine the type. Note that "appropriately" does not necessarily mean that the accuracy of type discrimination is high. For example, being able to determine the type in an appropriate amount of time is also included in the category of "appropriately."
〔実施形態１〕
〔薬剤仕分装置１の概要〕
まず、薬剤仕分装置１の概要について図１および図２を用いて説明する。図１は、薬剤仕分装置１の全体構成を示すブロック図である。図２は、薬剤仕分装置１の構成例を示す図であり、（ａ）は薬剤仕分装置１の斜視図であり、（ｂ）は、薬剤仕分領域２の基本構成を示す斜視図である。図１、並びに、図２の（ａ）および（ｂ）に示すように、薬剤仕分装置１は、薬剤仕分領域２、タッチパネル３、印刷出力部４、および分包機構６を備える。
[Embodiment 1]
[Overview of drug sorting device 1]
First, an overview of the
薬剤仕分装置１は、複数種類の薬剤のそれぞれについて撮像し、撮像の結果得られた画像に基づき薬剤の種類を判別し、種類毎に薬剤を仕分ける。具体的には、薬剤仕分領域２においてこの処理が行われる。薬剤仕分領域２（薬剤仕分装置１の内部構成）については後述する。なお、種類毎に仕分けられた薬剤は、ユーザによる目視鑑査が行われた後、分包されたり、薬剤棚または分包機へと返却されたりする。
The
本実施形態では、複数種類の薬剤は、容器等に収容されていない薬剤、または包装等が施されていない薬剤であり、その一例として、錠剤またはカプセルであるものとして説明する。また、複数種類の薬剤が返品された薬剤であるものとして説明する。薬剤の返品としては、薬局または病院における採用薬が当該薬局または病院にて「返品薬」として返品される場合と、当該薬局または病院において、当該採用薬以外に、他の薬局または病院で発行された薬剤も含み得る「持参薬」が返品される場合とが含まれる。換言すれば、返品される薬剤という概念には、上記「返品薬」および「持参薬」の少なくともいずれかが含まれる。薬剤仕分装置１は、薬剤が返品された後、撮像から仕分までの処理を自動的に行うことが可能である。
In this embodiment, the multiple types of drugs are drugs that are not contained in a container or the like, or are not packaged, and will be described as tablets or capsules as an example. Further, the description will be made assuming that a plurality of types of medicines are returned medicines. Drug returns include cases in which a drug adopted at a pharmacy or hospital is returned as a "returned drug," and cases in which a drug is issued at another pharmacy or hospital in addition to the adopted drug. This includes cases where ``medications brought in'' are returned, which may include drugs that have been taken. In other words, the concept of returned medicine includes at least one of the above-mentioned "returned medicine" and "bringing medicine." The
タッチパネル３は、操作部３１にて各種ユーザ入力を受け付けるとともに、表示部３２にて各種画像（例：薬剤仕分の推移を示す画像、目視鑑査用の画像）を表示する。
The
印刷出力部４は、目視鑑査後のユーザ入力に従って、目視鑑査後の薬剤に関する薬剤データ（例：薬剤名、製造元または成分を示すデータ）を表すジャーナルを印字する。薬剤データには、薬剤固有の画像を示す画像データが含まれていてもよい。
The
分包機構６は仕分けられた薬剤を分包する。分包機構６はオプション機構である。分包機構６が薬剤仕分装置１に備えられる場合、返品された薬剤の仕分から、目視鑑査を経た後の分包までの処理を、薬剤仕分装置１で一括して行うことが可能となる。特に、搬送・仕分ユニット１２により分包機構６へ薬剤が投入される場合には、目視鑑査を除き、上記仕分から分包までの処理を自動で行うことができる。
The
分包機構６としては、従来から用いられている錠剤分包機または散薬分包機の分包部を採用することが可能である。この場合、例えば、同一薬種毎に仕分けられた仕分カップ１４１内の薬剤を、一包または複数包に分包することができる。
As the
また、薬剤仕分装置１は、第１ＲＦＩＤ（Radio Frequency Identifier）リーダ・ライタユニット５を備えている。第１ＲＦＩＤリーダ・ライタユニット５は、図２の（ｂ）に示すように、台座１９の、薬剤の取出し側に設けられている。
The
第１ＲＦＩＤリーダ・ライタユニット５は、第２収容部１４の各仕分カップ１４１の底部に設けられたＲＦＩＤタグ（不図示）に記憶された、各仕分カップ１４１に格納された薬剤に関するデータを読取る。当該データとしては、例えば、格納された薬剤の個数、薬剤データ、および撮像ユニット１３が取得した画像データが挙げられる。当該データは、目視鑑査によって決定された薬剤データ（目視鑑査後の薬剤データ）を含んでもよい。また、上記ＲＦＩＤタグに目視鑑査後の薬剤データを書込んでもよい。目視鑑査後の薬剤データは、対応する仕分カップ１４１に格納された薬剤を、（１）分包機構６、もしくは薬剤仕分装置１とは異なる分包機で分包する時、または（２）薬剤棚へ返却する時に用いられる。また、図２の（ａ）に示すように、薬剤仕分装置１は、薬剤の取出し側を開閉可能とする開閉シャッター５１と開閉扉５２とを備えている。
The first RFID reader/writer unit 5 reads data related to the medicine stored in each sorting
〔薬剤仕分領域２の基本構成〕
次に、図１および図２の（ｂ）を用いて、薬剤仕分領域２の基本構成（薬剤仕分装置１の内部構成）について説明する。
[Basic configuration of medicine sorting area 2]
Next, the basic configuration of the medicine sorting area 2 (internal configuration of the medicine sorting device 1) will be explained using FIG. 1 and FIG. 2(b).
図１および図２の（ｂ）に示すように、薬剤仕分領域２は、ハードウェアとして主に、第１収容部１１、搬送・仕分ユニット１２（仕分部）、撮像ユニット１３、第２収容部１４、待機トレイ１５、回収トレイ１６、薬剤投入口１７および第２ＲＦＩＤリーダ・ライタユニット１８を備える。そして、搬送・仕分ユニット１２を除く各部材は台座１９に設けられている。搬送・仕分ユニット１２、撮像ユニット１３、および第２ＲＦＩＤリーダ・ライタユニット１８の主要機能については、後述の各処理の説明において詳細に説明する。
As shown in FIGS. 1 and 2(b), the drug sorting area 2 mainly includes hardware such as a
第１収容部１１は、ユーザによって返品された複数種類の薬剤を混在した状態で収容する。本実施例では、第１収容部１１は、複数の収容部に分割されている。この場合、例えば、１つの収容部に収容された薬剤の全てが搬送・仕分ユニット１２によって搬送されると、当該収容部に隣接する収容部に収容された薬剤が搬送対象となる。また、第１収容部１１がＺ軸（円柱形状の中心）に対して回動可能に設けられてもよい。この場合、コンピュータ（種類判別装置）６０の制御部６０ａは、例えば１つの収容部が空になったタイミングで、搬送・仕分ユニット１２が薬剤を取得しやすいように第１収容部１１を回動させてもよい。
The
第２収容部１４は、薬剤を種類毎に仕分けられた状態で収容する複数の仕分カップ１４１を備える。制御部６０ａは、撮像ユニット１３で撮像された薬剤の画像に基づき薬剤の種類を判別し、その判別結果に基づき当該薬剤を格納する仕分カップ１４１を決定する。当該薬剤は、その決定された仕分カップ１４１に搬送・仕分ユニット１２により搬送され、格納される。
The
待機トレイ１５は、薬剤が仮置きされる収容部である。例えば、仕分カップ１４１の全てに薬剤が格納されている場合に、制御部６０ａによりそれら以外の種類であると判別された薬剤が、待機トレイ１５に仮置きされる。この場合、仕分カップ１４１から薬剤が取り除かれた後、待機トレイ１５から当該仕分カップ１４１に搬送されてもよい。
The
また、本実施形態では、待機トレイ１５には、薬剤であると推定された推定薬剤（後述）が仮置きされても構わない。推定薬剤が仮置きされた場合、制御部６０ａの判別結果に応じて、第２収容部１４の所定領域に搬送される。
Further, in the present embodiment, an estimated drug (described later) that is estimated to be a drug may be temporarily placed on the
回収トレイ１６は、制御部６０ａにより種類が判別できなかった物（例：薬剤以外の異物）を格納する収容部である。薬剤以外の異物としては、例えば、ＰＴＰ（Press Through Pack）シートの破片が挙げられる。ＰＴＰシートの破片は、薬剤の返品時に第１収容部１１に混入する可能性がある。また、制御部６０ａは、薬剤データベースに廃棄する薬剤として登録されている薬剤、またはユーザが廃棄することを所望する薬剤（例：製造日の古い薬剤）についても、回収トレイ１６に格納する。
The
薬剤投入口１７は、薬剤仕分装置１に分包機構６が備えられている場合に、第２収容部１４に格納された薬剤を、搬送・仕分ユニット１２により分包機構６へ搬送するためのものである。当然ながら、薬剤仕分装置１に分包機構６が備えられていない場合には、薬剤投入口１７は不要な構成である。
The
また、図１に示すように、薬剤仕分装置１の上記各部材（ハードウェア）を統括して制御するコンピュータ６０を備える。コンピュータ６０は、制御部６０ａと記憶部８０を備えている。そして、制御部６０ａには、搬送制御部６１、仕分制御部６２、撮像制御部６３、判別部６４、判別成否判定部６５、操作入力部６６、表示制御部６７、ＲＦＩＤ制御部６８、印刷出力制御部６９、登録部７０、マスタ更新部７１、および重み更新部（評価情報更新部）７２が含まれる。搬送制御部６１、仕分制御部６２、撮像制御部６３、判別部６４、判別成否判定部６５、マスタ更新部７１、および重み更新部７２については、後述の各処理の説明において詳細に説明する。記憶部８０に予め記憶されているか、あるいは記憶される各情報についても後述する。
Further, as shown in FIG. 1, a
操作入力部６６および表示制御部６７は、それぞれタッチパネル３の操作部３１および表示部３２を制御する。ＲＦＩＤ制御部６８は、第１ＲＦＩＤリーダ・ライタユニット５および第２ＲＦＩＤリーダ・ライタユニット１８を制御する。印刷出力制御部６９は、操作入力部６６が受け付けたユーザ入力に従って、印刷出力部４を制御する。なお、薬剤仕分装置１が分包機構６を備える場合には、制御部６０ａは、分包機構６を制御する分包制御部を備えることとなる。
The
登録部７０は、判別部６４によって画像データに対応する薬剤データが存在しないと判定された薬剤に関する薬剤データを、薬剤データベース８１に登録する。具体的には、登録部７０は、判別部６４により対応する薬剤データが存在しないと判定された薬剤について、当該薬剤の撮像画像８２と、ユーザにより特定された薬剤データとを紐付けて薬剤データベース８１に登録する。
The
また、コンピュータ６０は記憶部８０を備える。記憶部８０には、複数種類の薬剤に関する薬剤データを管理する薬剤データベース（薬剤マスタ）８１が予め記憶されていると共に、薬剤仕分装置１による仕分けが行われるにつれて、撮像画像８２および判別成功色データ８３が記憶される。撮像画像８２は、第１カメラ１３１が撮像した画像である。なお、記憶部８０に記憶された各種データは、記憶部８０にて管理されていなくてもよく、例えば外部装置で管理されてもよい。この場合、制御部６０ａは、上記各種データを、必要に応じて、インターネット等の通信回線を通じて当該外部装置から取得してもよい。また、薬剤データベースは、新たな薬剤データが追加されることにより、更新されてもよい。
The
〔薬剤仕分装置１における処理の概要〕
薬剤仕分装置１では、搬送・仕分ユニット１２が、第１収容部１１に返品された各薬剤を撮像ユニット１３まで搬送する。搬送された各薬剤を順次撮像ユニット１３が撮像する。制御部６０ａは、撮像された画像に基づき各薬剤の種類を判別するとともに、判別した各薬剤の第２収容部１４における仕分位置を決定する。搬送・仕分ユニット１２は、決定された仕分位置に各薬剤を搬送する。そして、第２収容部１４に格納された薬剤についての情報は、仕分カップ１４１のＲＦＩＤタグに書き込まれたり、記憶部８０に記憶されたり、タッチパネル３に表示されたりする。また、薬剤の仕分が完了した後、または仕分の途中において、ユーザがタッチパネル３を操作することで、目視鑑査、分包等の処理が行われる。以降、各処理について具体的に説明する。
[Outline of processing in drug sorting device 1]
In the
〔撮像ユニット１３への薬剤搬送処理〕
まず、第１収容部１１から撮像ユニット１３への薬剤搬送処理について、図１および図２の（ａ）を用いて説明する。
[Medicine transport process to imaging unit 13]
First, the process of transporting the medicine from the
具体的には、搬送・仕分ユニット１２は、第１収容部１１に収容された薬剤を、撮像ユニット１３が薬剤を受け入れる受入領域Ａｒ１（図３の（ｂ）参照）まで搬送させる。搬送制御部６１は、搬送・仕分ユニット１２による当該搬送処理を制御する。
Specifically, the transport/
搬送・仕分ユニット１２は、第２カメラ１２１、吸着・シャッター機構１２２、および搬送機構１２３を備える。
The conveyance/
第２カメラ１２１は、搬送対象とする薬剤を特定するために、第１収容部１１を逐次撮像する。撮像制御部６３は、第２カメラ１２１の撮像処理を制御する。第２カメラ１２１は、搬送・仕分ユニット１２の（具体的には、少なくとも吸着・シャッター機構１２２を含む筐体の）、台座１９と対向する側の端部に設けられる。第２カメラ１２１は、後述の吸着機構の先端部に設けられてもよい。撮像制御部６３は、撮像された画像を解析して、当該画像に薬剤が含まれるか否かを判定する。搬送制御部６１は、薬剤が含まれると判定された場合には、例えば、上記先端部を第１収容部１１に近づけ、そのとき撮像された画像に含まれる薬剤を搬送対象の薬剤として特定する。
The
吸着・シャッター機構１２２は、搬送対象として特定された薬剤を吸着する吸着機構と、吸着機構が吸着した薬剤が落下することを防止するシャッター機構とを含む。吸着機構はＺ軸方向に移動可能に設けられる。シャッター機構は上記端部の前方に、ＸＹ平面と略平行に移動可能に設けられる。
The adsorption/
吸着機構は、薬剤取得時に、上記端部から延伸して、その先端部において、特定された薬剤を吸着した後、上記端部の位置まで戻る。この状態において、搬送制御部６１は、上記端部と対向する位置にシャッター機構を移動させ、薬剤搬送中、シャッター機構の位置を維持する（閉状態とする）。搬送制御部６１は、受入領域Ａｒ１に配置された薬剤保持機構１３３の薬剤載置台１３３ａ（図３の（ｂ）参照）と対向する位置まで吸着・シャッター機構１２２を移動させると、シャッター機構を上記端部と対向しない位置に移動させる（開状態とする）。そして、吸着機構を上記端部から延伸させた後、吸着状態を解除することにより、薬剤載置台１３３ａに薬剤を載置する。
At the time of drug acquisition, the adsorption mechanism extends from the end, adsorbs the specified drug at its tip, and then returns to the end. In this state, the
搬送機構１２３は、搬送制御部６１の制御を受けて、Ｘ軸およびＹ軸方向に吸着・シャッター機構１２２を移動させる。この搬送機構１２３により、第１収容部１１上での搬送対象となる薬剤の探索時の吸着・シャッター機構１２２の動き、または第１収容部１１から薬剤載置台１３３ａまでの薬剤搬送が可能となる。また、薬剤仕分処理においても、薬剤載置台１３３ａから、第２収容部１４、待機トレイ１５または回収トレイ１６への薬剤搬送が可能となる。なお、薬剤仕分処理では、仕分制御部６２が、受入領域Ａｒ１に配置された薬剤を、判別部６４による判別結果に基づき、仕分ユニット１２を制御して、第２収容部１４の所定の仕分カップ１４１または待機トレイ１５まで搬送する。
The
〔薬剤撮像処理〕
次に、撮像ユニット１３による薬剤撮像処理について、図１、図２の（ｂ）、図３および図４を用いて説明する。図３の（ａ）および（ｂ）は、撮像ユニット１３の全体構成を示す斜視図であり、図３の（ｃ）は、薬剤載置台１３３ａの一例を示す斜視図である。図４の（ａ）および（ｂ）は、撮像ユニット１３の旋回について説明するための図である。上記薬剤撮像処理は、主として、撮像ユニット１３および撮像制御部６３により行われる。
[Drug imaging processing]
Next, drug imaging processing by the
具体的には、撮像ユニット１３は、薬剤載置台１３３ａに載置され、図３の（ｂ）に示す撮像対象となる薬剤を配置する配置領域Ａｒ２（撮像領域）に配置された薬剤を撮像する。撮像制御部６３は、撮像ユニット１３による当該撮像処理と、第１カメラ１３１および照明器１３４の旋回移動と、薬剤保持機構１３３の移動とを制御する。撮像ユニット１３は、図１および図３に示すように、第１カメラ１３１（撮像部）、回転機構１３２（回動部）、薬剤保持機構１３３（薬剤載置台、移動機構）、および照明器１３４（紫外光照射部、可視光照射部）を備える。
Specifically, the
第１カメラ１３１は、後述の判別部６４において薬剤の種類を判別するために、第１カメラ１３１と対向する配置領域Ａｒ２に配置された薬剤を撮像する。薬剤保持機構１３３は、薬剤を保持する機構であり、図３の（ａ）および（ｂ）に示すように、薬剤載置台（シャーレ）１３３ａと、旋回機構１３３ｂ（移動機構）と、薬剤載置台１３３ａおよび旋回機構１３３ｂを接続する軸部１３３ｃとを備える。薬剤載置台１３３ａは、撮像対象となる薬剤を載置するものである。旋回機構１３３ｂは、薬剤載置台１３３ａを移動させるものであり、具体的には、薬剤載置台１３３ａをＸＹ平面に対して旋回させるとともに、軸部１３３ｃを、軸部１３３ｃの周方向に旋回させる。
The
撮像制御部６３は、薬剤載置台１３３ａに第１収容部１１から搬送された薬剤が載置されると、旋回機構１３３ｂを駆動し、当該薬剤載置台１３３ａを受入領域Ａｒ１から配置領域Ａｒ２へと移動させる。その後、少なくとも第１カメラ１３１および照明器１３４を制御して、配置領域Ａｒ２に配置された薬剤を撮像する。撮像した画像は記憶部８０に撮像画像８２として記憶される。撮像制御部６３は、例えば撮像が完了した後に、旋回機構１３３ｂを駆動し、撮像された薬剤が載置された薬剤載置台１３３ａを配置領域Ａｒ２から受入領域Ａｒ１へと移動させる。
When the medicine transported from the
本実施形態では、薬剤載置台１３３ａは軸部１３３ｃの先端部（端部）に２つ設けられている。旋回機構１３３ｂは、軸部１３３ｃを旋回させることにより、一方の薬剤載置台１３３ａを配置領域Ａｒ２に配置したとき、他方の薬剤載置台１３３ａを受入領域Ａｒ１に配置する。配置領域Ａｒ２での薬剤撮像時に、搬送・仕分ユニット１２により、受入領域Ａｒ１に存在する薬剤載置台１３３ａに、第１収容部１１から薬剤を搬送しておくことで、連続的な薬剤の撮像処理が可能となる。なお、当該薬剤載置台１３３ａは、第２収容部１４への薬剤仕分処理後等、薬剤が載置されていない状態であることが前提である。
In this embodiment, two drug mounting tables 133a are provided at the tip (end) of the
また、本実施形態では、薬剤載置台１３３ａは透明性を有する。そのため、第１カメラ１３１は、薬剤載置台１３３ａに載置された薬剤を、薬剤載置台１３３ａを通して多方面から撮像できる。
Further, in this embodiment, the medicine mounting table 133a has transparency. Therefore, the
また、図３の（ｃ）に示すように、薬剤載置台１３３ａは底部が凹んだ状態の断面略Ｖ字形状であってもよい。また、図３の（ｂ）および図４に示すように、薬剤載置台１３３ａが受入領域Ａｒ１および配置領域Ａｒ２に配置されている場合、断面略Ｖ字形状の溝方向（軸部１３３ｃの延伸方向）は、回転機構１３２による撮像機構（後述）の旋回軸Ａｙに対して略平行である。また、薬剤載置台１３３ａの底部は、鋭角なＶ字形状ではなくてよい。図３の（ｃ）に示すように、底部は、底面部１３３ａａと、底面部１３３ａａの対向する２箇所から傾斜した傾斜面部１３３ａｂとを備えていてもよい。底部の形状は、薬剤載置台１３３ａの裏側から見ても（撮像しても）、薬剤の刻印またはプリントが示す情報（刻印情報または印字情報）を認識できる程度で、かつ薬剤が固定される程度の形状であればよい。
Further, as shown in FIG. 3C, the medicine table 133a may have a substantially V-shaped cross section with a concave bottom. Further, as shown in FIG. 3B and FIG. 4, when the drug placement table 133a is arranged in the receiving area Ar1 and the placement area Ar2, the direction of the groove having a substantially V-shaped cross section (the direction in which the
薬剤がカプセルまたは変形錠（例：ラグビーボール形）の場合、薬剤載置台１３３ａの底部が平坦であれば、ＸＹ平面上で薬剤の向きがそろわずに、鮮明な薬剤の画像（刻印情報または印字情報）を取得することが困難になる可能性がある。断面略Ｖ字形状であれば、最下端部にカプセルまたは変形錠が嵌合され、当該薬剤を固定できる。そのため、鮮明な薬剤の画像が取得しやすくなる。なお、錠剤の場合には、例えば、軸部１３３ｃを軸部１３３ｃの周方向に旋回させることで、薬剤載置台１３３ａの平面部分（傾斜面部１３３ａｂ）を第１カメラ１３１に対向させることで、当該薬剤を確実に動かないようにしてもよい。
When the drug is a capsule or a modified tablet (e.g. rugby ball shape), if the bottom of the drug mounting table 133a is flat, the orientation of the drug will not be aligned on the XY plane and a clear image of the drug (engraved information or printed information) may be difficult to obtain. If the cross section is approximately V-shaped, a capsule or a modified tablet can be fitted to the lowermost end to fix the drug. Therefore, it becomes easier to obtain a clear image of the drug. In the case of a tablet, for example, by rotating the
その他、旋回機構１３３ｂは、薬剤載置台１３３ａを振動させる（小さく動かす、ゆする）ことも可能である。この場合、例えば、薬剤載置台１３３ａに載置されたカプセルに振動を与えて転がすことで、カプセルのプリントが付された部分を所定の方向に向かせることができる（例：当該部分を、後述の初期位置に配置された第１カメラ１３１と対向させることができる）。また、上記振動により、例えば円筒状（底部が円形状）の錠剤が上記平面部分に立った状態で載置されたとしても、錠剤を横に倒す（錠剤の底部が当該平面部分に対向するように配置する）ことができる。
In addition, the
照明器１３４は、撮像制御部６３の制御により、薬剤の撮像時に、薬剤に照射される光を出射する。照明器１３４は、図３の（ａ）に示すように、薬剤に可視光を照射する可視光照射部（第１照射部１３４ａおよび第２照射部１３４ｂ）と、薬剤に紫外光を照射する紫外光照射部１３４ｃとを備える。
Under the control of the
第１照射部１３４ａおよび第２照射部１３４ｂは、可視光として白色光を薬剤に照射する。第１照射部１３４ａはバー形状の可視光源（バー照明）であり、第２照射部１３４ｂはリング形状の可視光源（リング照明）である。第１カメラ１３１は、第１照射部１３４ａまたは第２照射部１３４ｂから出射され、薬剤で反射した可視光を受光することにより、可視光に基づく画像（可視光画像）を取得する。撮像制御部６３は、第１カメラ１３１が取得した可視光画像を示す画像データを撮像画像８２として記憶部８０に記憶する。
The
紫外光照射部１３４ｃは、薬剤に紫外光（例：３６５ｎｍ以上４１０ｎｍ以下のピーク波長を有する光）を照射することで、薬剤に含まれる成分を励起させる。これにより、薬剤から蛍光（例：４１０ｎｍ以上８００ｎｍ以下のピーク波長を有する光）が取り出される。第１カメラ１３１は、薬剤から発せられた蛍光を受光することにより、紫外光に基づく画像（紫外光画像）を取得する。撮像制御部６３は、第１カメラ１３１が取得した紫外光画像を示す画像データを撮像画像８２として記憶部８０に記憶する。
The ultraviolet
回転機構１３２は、図３および図４に示すように、撮像対象となる薬剤が配置される配置領域Ａｒ２（当該位置に配置された薬剤載置台１３３ａ）の周囲を旋回するように第１カメラ１３１を回動させる。第１カメラ１３１は、回転機構１３２が回動させた複数の位置から、配置領域Ａｒ２に配置された薬剤を撮像する。具体的には、第１カメラ１３１および照明器１３４を含む撮像機構を、配置領域Ａｒ２の周囲を旋回するように回動させる。そのため、配置領域Ａｒ２に対する第１カメラ１３１および照明器１３４の位置関係を維持したまま、第１カメラ１３１が複数の方向から薬剤を撮像できる。
As shown in FIGS. 3 and 4, the
回転機構１３２は、図３の（ａ）に示すように、撮像機構駆動部１３２ａと動力伝達機構１３２ｂとを含む。撮像機構駆動部１３２ａは、撮像機構を配置領域Ａｒ２の周囲を旋回させるための動力を発生する。動力伝達機構１３２ｂは、撮像機構駆動部１３２ａが発生させた動力を撮像機構へと伝達する。撮像機構駆動部１３２ａは、撮像制御部６３の制御により駆動し、配置領域Ａｒ２の周囲における撮像機構の位置を変更する。
The
回転機構１３２は、撮像機構を、初期位置と、初期位置と対向する位置との間において旋回させる。初期位置とは、配置領域Ａｒ２に対して略垂直方向の位置であって、配置領域Ａｒ２の上方の位置である。初期位置と対向する位置とは、配置領域Ａｒ２に対して略垂直方向の位置であって、配置領域Ａｒ２の下方の位置である。また、当該位置は、第１カメラ１３１が配置領域Ａｒ２に存在する薬剤載置台１３３ａの底部と対向する位置であるともいえる。
The
図４に示すように、配置領域Ａｒ２の中心を通りＺ軸と平行な軸を軸Ａｘ０とし、配置領域Ａｒ２の中心および撮像機構の中心を通る軸を軸Ａｘ１とする。また、軸Ａｘ０と軸Ａｘ１とのなす角をθとする。本実施形態では、回転機構１３２は、撮像機構を、θ＝０°（初期位置）、４５°、１３５°および１８０°の位置のいずれかに配置する。なお、図４の（ａ）は撮像機構がθ＝０°の位置にある場合を示し、図４の（ｂ）は撮像機構が初期位置から旋回してθ＝４５°の位置にある場合を示す。
As shown in FIG. 4, an axis passing through the center of the arrangement area Ar2 and parallel to the Z-axis is defined as an axis Ax0, and an axis passing through the center of the arrangement area Ar2 and the center of the imaging mechanism is defined as an axis Ax1. Further, the angle formed by the axis Ax0 and axis Ax1 is assumed to be θ. In this embodiment, the
このように、撮像機構を配置領域Ａｒ２の周囲を旋回させることにより、薬剤を配置領域Ａｒ２に固定した状態で、複数の方向から薬剤を撮像できる。また、薬剤載置台１３３ａをゆすっても薬剤（錠剤）が立っている場合であっても、斜め方向（θ＝４５°または１３５°）からの撮像で、薬剤に付された刻印等が示す情報を取得できる。 In this manner, by rotating the imaging mechanism around the placement area Ar2, images of the drug can be captured from a plurality of directions while the drug is fixed in the placement area Ar2. In addition, even if the drug (tablet) remains standing even when the drug table 133a is shaken, the information indicated by the markings etc. on the drug can be obtained by imaging from an oblique direction (θ=45° or 135°). can be obtained.
なお、撮像機構を固定し薬剤を回動させることで複数の方向から当該薬剤を撮像してもよい。 Note that the drug may be imaged from a plurality of directions by fixing the imaging mechanism and rotating the drug.
（撮像位置制御）
次に、撮像機構の位置制御の一例について説明する。撮像制御部６３は、まず撮像機構を初期位置にセットし、第１カメラ１３１に、当該初期位置おいて配置領域Ａｒ２に配置された薬剤を撮像させる。このとき、第１カメラ１３１は、第１照射部１３４ａおよび第２照射部１３４ｂからの可視光に基づく可視光画像（２つの可視光画像）を取得するとともに、紫外光照射部１３４ｃからの紫外光に基づく紫外光画像を取得する。
(imaging position control)
Next, an example of position control of the imaging mechanism will be described. The
次に、撮像制御部６３は、撮像機構を初期位置とは対向する位置にセットし、第１カメラ１３１に、当該位置において配置領域Ａｒ２に配置された薬剤を撮像させ、２つの可視光画像および紫外光画像を取得する。判別部６４は、これら６つの画像を解析することにより、薬剤の種類を判別する。薬剤の種類を１つに特定できなかった場合、撮像制御部６３は、θ＝４５°および１３５°の位置において、第１照射部１３４ａおよび第２照射部１３４ｂから可視光を出射させ、第１カメラ１３１に薬剤を撮像させる。判別部６４は、このときの可視光画像を解析して薬剤の種類を判別する。
Next, the
上記に限らず、撮像機構の位置制御は種々の方法が挙げられる。例えば、初期位置と対向する位置から撮像した後、初期位置から撮像を行ってもよい。また、θ＝４５°の位置から撮像したときの可視光画像に基づく薬剤の判別処理を行い、薬剤の種類を１つに特定できなかった場合にのみθ＝１３５°の位置から撮像したときの可視光画像を取得してもよい。また、初期位置および初期位置と対向する位置において紫外光画像のみを取得し、当該紫外光画像に基づく薬剤の判別処理を行った後、当該位置における可視光画像を取得してもよい。また、全ての位置において可視光画像および紫外光画像を取得してもよい。 The position control of the imaging mechanism is not limited to the above method, and various methods can be used. For example, after imaging from a position facing the initial position, imaging may be performed from the initial position. In addition, drug discrimination processing is performed based on the visible light image taken from the position of θ = 45°, and only when the type of drug cannot be identified as one, the image taken from the position of θ = 135° is processed. A visible light image may also be acquired. Alternatively, only ultraviolet light images may be acquired at the initial position and a position facing the initial position, and after performing drug discrimination processing based on the ultraviolet light image, a visible light image at the position may be acquired. Furthermore, visible light images and ultraviolet light images may be acquired at all positions.
〔画像処理・判別処理〕
次に、撮像ユニット１３により撮像された画像に対する画像処理と、画像処理の結果に基づく薬剤の判別処理について、図１を用いて説明する。上記画像処理は、主として撮像制御部６３により行われ、上記判別処理は、主として判別部６４により行われる。
[Image processing/discrimination processing]
Next, image processing for an image captured by the
判別部６４は、第１カメラ１３１により撮像された薬剤の画像に基づき、薬剤の種類を判別する。具体的には、判別部６４は、第１照射部１３４ａまたは第２照射部１３４ｂから可視光が照射された状態で撮像された薬剤の撮像結果（可視光画像）に基づき、薬剤の種類を判別する。また、判別部６４は、紫外光が照射された状態で撮像された薬剤の撮像結果（紫外光画像）に基づき、薬剤の種類を判別する。
The determining
判別部６４は、可視光画像および／または紫外光画像のそれぞれにおいて画像解析を実行することにより、当該画像に含まれる薬剤の特徴を抽出する。薬剤の特徴としては、例えば、大きさ、形状、刻印、プリント、割線、代表色（刻印またはプリントが付された領域の色）が挙げられる。ＯＣＲ（Optical Character Recognition）等を行った場合には、薬剤の特徴として、刻印またはプリントにより表された薬剤名（例：識別コード）または製造元を示す識別情報（薬剤を識別する識別情報）、使用期限等のその他の情報が抽出される。また、紫外光画像の場合には、薬剤の特徴として、画像中の薬剤における代表色が挙げられる。判別部６４は、抽出した各薬剤の特徴を示す情報を、薬剤の撮像画像８２に紐づけて記憶部８０に記憶する。なお、薬剤の特徴抽出は、公知の技術により行われてもよい。
The
抽出した薬剤の特徴には、上述のように画像中の薬剤の代表色が含まれている。以下では、この代表色を示すデータを色データ（薬剤の色を示すデータ）と呼ぶ。色データには、可視光画像から生成されたものと、紫外光画像から生成されたものとが含まれる。なお、以下の説明では、特に断らない限り、単に「色データ」と記載した場合には、可視光画像から生成された色データと、紫外光画像から生成された色データの両方を指す。色データは、薬剤を撮像した画像における所定領域（薬剤が写っている領域の少なくとも一部、典型的には刻印またはプリントが付された領域）の色を示すデータである。例えば、当該領域に含まれる各画素のＲＧＢ値の平均値を色データとしてもよい。 The extracted drug characteristics include the representative color of the drug in the image, as described above. Hereinafter, data indicating this representative color will be referred to as color data (data indicating the color of the drug). The color data includes data generated from visible light images and data generated from ultraviolet light images. In the following description, unless otherwise specified, the term "color data" refers to both color data generated from visible light images and color data generated from ultraviolet light images. The color data is data indicating the color of a predetermined area (at least a part of the area where the drug is photographed, typically an area with a stamp or print) in an image of the drug. For example, the color data may be the average value of the RGB values of each pixel included in the area.
判別部６４は、各薬剤の特徴を薬剤データベース８１と照合することにより薬剤の種類を判別する。詳細は後述するが、判別部６４は、色データに基づいて、薬剤データベースの中から、撮像された薬剤に関する薬剤データの候補を順位づけする。その後、判別部６４は、上記順位に従って、他の特徴に基づく種類の判別を行う。
The determining
また、判別部６４は、パターンマッチング等を用いて抽出した薬剤の特徴（対象特徴）が薬剤データベースに無い場合であっても、対象特徴の少なくとも一部に基づき薬剤（錠剤またはカプセル）であると推定される場合には、薬剤の種類を推定薬剤として判別する。この場合、推定薬剤も、第２収容部１４または待機トレイ１５への仕分け対象とすることができる。本実施形態では、推定薬剤は、まず待機トレイ１５へ仮置きされても構わない。
Furthermore, even if the characteristics of the drug (target features) extracted using pattern matching or the like are not in the drug database, the
このように、判別部６４は、予め登録された複数種類の薬剤に関する薬剤データ（薬剤データベース８１）の中に、第１カメラ１３１によって撮像された撮像画像８２に対応する薬剤データが存在するか否かを判定している。
In this way, the
判別部６４は、薬剤の種類の判別結果を仕分制御部６２に出力する。例えば、薬剤の種類を１つに特定できた場合、または所定数以内の候補数に絞込んだ場合には、当該薬剤に関する薬剤データを判別結果として出力する。この場合、判別部６４は、当該薬剤に関する薬剤データを、当該薬剤の撮像画像８２に紐づけて記憶部８０に記憶する。
The
判別部６４は、薬剤の種類を推定薬剤として判別した場合には、薬剤の特徴（推定薬剤として推定された物の特徴）を判別結果として出力する。一方、判別部６４は、薬剤データベースに廃棄する薬剤として登録された薬剤であると判別した場合、または第１収容部１１に収容された物が薬剤以外の異物であると判別した場合、仕分対象外の薬剤である旨を判別結果として出力する。
When determining the type of drug as a presumed drug, the determining
〔判別成否判定〕
判別成否判定部６５は、判別部６４が薬剤の種類の判別に成功したか否かを判定する。例えば、判別成否判定部６５は、判別部６４が薬剤の種類を一意に判別することができた場合（薬剤の種類を１つに絞り込むことができた場合）に、判別成功と判定してもよい。また、例えば、判別成否判定部６５は、判別部６４の判定結果に従って仕分けられた薬剤の鑑査結果に基づいて上記判定を行ってもよい。鑑査は、仕分けられた薬剤そのものを鑑査員（例えば医師や薬剤師等）が目視することによって行ってもよいし、仕分けられた薬剤の画像を例えばタッチパネル３の表示部３２に表示させ、表示された画像を鑑査員が目視することによって行ってもよい。また、鑑査結果は、例えば鑑査員がタッチパネル３の操作部３１を操作することによってコンピュータ６０に入力されてもよい。
[Judgment of success/failure]
The discrimination success/
また、判別成否判定部６５は、判別部６４が正しく判別したと判定した場合、判別部６４が当該判別に用いた各種データと、判別部６４が判別した種類とを紐付けて、判別成功データとして記憶部８０に記憶する。本実施形態では、上記判別成功データが、判別部６４が上記判別に用いた撮像画像８２から生成された色データ（判別成功色データ８３）である例を説明する。
Further, when the discrimination success/
なお、判別成功データは、色データ以外の各種データ（判別部６４が上記判別に用いた、薬剤の特徴を示すデータ）を含んでいてもよいし、判別部６４が上記判別に用いた撮像画像８２を判別成功データとして記憶してもよい。ただし、撮像画像８２を判別成功データとする場合、記憶部８０に記憶させるデータ量が多くなるため、本実施形態のように判別成功色データ８３を判別成功データとして記憶する構成とすることが好ましい。
Note that the discrimination success data may include various data other than color data (data indicating characteristics of the drug used by the
〔薬剤データベース（マスタデータ）８１の更新方法〕
図５に基づいて、薬剤データベース８１の更新方法を説明する。図５は、薬剤データベース８１の更新方法を説明する図である。以下説明するように、薬剤データベース８１の更新はマスタ更新部７１によって行われる。
[How to update the drug database (master data) 81]
A method for updating the
薬剤データベース８１には、複数種類の薬剤について、その薬剤に関する薬剤データがそれぞれ薬剤の照合用のマスタデータとして登録されている。また、図５に示すように、各種類の薬剤のマスタデータには、薬剤の特徴を示すデータの１つとして、当該薬剤の色を示す色データであるマスタ色データが含まれている。具体的には、図５の薬剤データベース８１には、薬剤Ａのマスタデータとしてマスタ色データ８１１ａが登録されている。また、同様に、薬剤Ａ、Ｂのマスタデータとして、マスタ色データ８１１ｂ、８１１ｃがそれぞれ登録されている。なお、マスタ色データにも、可視光画像から生成されたものと、紫外光画像から生成されたものとが含まれる。
In the
また、上述のように、記憶部８０には判別成功色データ８３が記憶される。図５の例では、薬剤Ａについて判別成功色データ８３ａ～８３ｃが記憶されている。つまり、この例では、薬剤仕分装置１が、種類不明の薬剤を薬剤Ａであると仕分けし、その仕分けにおける種類の判別結果が正しかったことが過去に少なくとも３回はあったことを想定している。同様に、図５の例では、薬剤Ｂ、Ｃについて判別成功色データ８３ｄ～８３ｅおよび８３ｆ～８３ｈがそれぞれ記憶されている。
Furthermore, as described above, the
マスタ更新部７１は、判別成功色データ８３を、新たなマスタ色データとすることにより、薬剤データベース８１（より詳細にはマスタデータに含まれるマスタ色データ）を更新する。この更新は各種類の薬剤のそれぞれについて行う。例えば、図５の例では、マスタ色データ８１１ａ～８１１ｃがそれぞれ更新される。
The
ここで、更新の際に、一種類の薬剤に対して、複数の判別成功色データ８３が紐付けられて記憶されていれば、マスタ更新部７１は、最新の（記憶されたタイミングが最も新しい）判別成功色データ８３を新たなマスタ色データとすることが好ましい。これにより、撮像条件の変化等によって撮像画像８２に写る薬剤の色が変化した場合であっても、適切に種類の判別を行うことが可能になる。なお、新たなマスタ色データを追加した後、更新前のマスタ色データ８１１ａ～８１１ｃは削除（言い換えれば上書き更新）してもよいし、記憶した状態のまま維持してもよい。
Here, at the time of updating, if a plurality of discrimination
〔色スコアの算出方法〕
判別部６４は、仕分けの対象薬剤を撮像した撮像画像８２（以下、対象画像と呼ぶ）から生成された色データである対象色データとマスタ色データとの類似度を示す色スコアを算出する。なお、１つの対象画像には可視光画像と紫外光画像とが含まれる。色スコアの算出式（類似度評価情報）は、例えば下記のような算出式であってもよい。
[How to calculate color score]
The determining
（色スコア）＝（可視光画像におけるＲＧＢ値の類似度）×ｗ１
＋（可視光画像におけるＣＩＥＬａｂ値の類似度）×ｗ２
＋（紫外光画像におけるＲＧＢ値の類似度）×ｗ３
＋（紫外光画像におけるＣＩＥＬａｂ値の類似度）×ｗ４
上記算出式におけるｗ１～ｗ４は重みであり、ｗ１～ｗ４の和は例えば１であるが、ｗ１～ｗ４の和が１未満の値あるいは１より大きい値となっても構わない。重みｗ１～ｗ４の値を適切に調整することによって、対象色データとマスタ色データとの類似度をより正確に反映させた色スコアを算出することができる。例えば、ある薬剤のマスタ色データにおいて、その薬剤を可視光で撮像した画像に基づくＣＩＥＬａｂ値がその薬剤の色の特徴を的確に反映したものとなっている場合がある。このような場合、ｗ２が他の重みよりも相対的に大きくなっていれば、算出される色スコアは、薬剤の色の特徴を的確に反映した、可視光撮像画像に基づくＣＩＥＬａｂ値の類似度の影響を強く受ける。よって、ｗ２を他の重みよりも相対的に大きくした上記算出式を用いることにより、実際の類似度を正確に反映させた色スコアを算出することができる。詳細は後述するが、実際の類似度を正確に反映させた色スコアを算出することができる状態が維持されるように、ｗ１～ｗ４は重み更新部７２によって随時更新される。ｗ１～ｗ４の初期値は適宜定めておけばよい。
(Color score) = (Similarity of RGB values in visible light image) x w 1
+ (Similarity of CIELab values in visible light images) x w 2
+ (similarity of RGB values in ultraviolet light image) x w 3
+ (Similarity of CIELab values in ultraviolet light images) x w 4
In the above calculation formula, w 1 to w 4 are weights, and the sum of w 1 to w 4 is, for example, 1, but the sum of w 1 to w 4 may be a value less than 1 or a value greater than 1. do not have. By appropriately adjusting the values of the weights w 1 to w 4 , it is possible to calculate a color score that more accurately reflects the similarity between the target color data and the master color data. For example, in master color data for a certain drug, CIELab values based on an image of the drug captured using visible light may accurately reflect the color characteristics of the drug. In such a case, if w2 is relatively larger than the other weights, the calculated color score will be based on the similarity of the CIELab values based on the visible light image, which accurately reflects the color characteristics of the drug. strongly influenced by degree. Therefore, by using the above calculation formula in which w 2 is relatively larger than other weights, it is possible to calculate a color score that accurately reflects the actual degree of similarity. Although details will be described later, w 1 to w 4 are updated as needed by the
なお、上記算出式におけるＲＧＢ値とは、薬剤を撮像した画像における所定領域（薬剤が写っている領域の少なくとも一部）の色をＲ値、Ｇ値、およびＢ値の組み合わせで表した値であり、典型的には当該領域に含まれる各画素のＲＧＢ値の平均値である。また、ＲＧＢ値の類似度とは、対象画像のＲＧＢ値と、マスタ色データが示すＲＧＢ値との類似度である。ＲＧＢ値の類似度の算出方法は特に限定されない。例えば、対象画像のＲＧＢ値とマスタ色データが示すＲＧＢ値とをそれぞれ三次元ベクトルとみなし、それら２つのベクトル間の距離を類似度としてもよい。なお、上記算出式では、ＲＧＢ値の類似度とＣＩＥＬａｂ値の類似度とを加算するので、これらの類似度は例えば０～１の数値範囲となるように規格化しておく。 Note that the RGB value in the above calculation formula is a value that represents the color of a predetermined area (at least a part of the area where the drug is captured) in the image of the drug as a combination of the R value, G value, and B value. Typically, it is the average value of the RGB values of each pixel included in the area. Furthermore, the degree of similarity of RGB values is the degree of similarity between the RGB values of the target image and the RGB values indicated by the master color data. The method for calculating the similarity of RGB values is not particularly limited. For example, the RGB values of the target image and the RGB values indicated by the master color data may be regarded as three-dimensional vectors, and the distance between these two vectors may be defined as the degree of similarity. Note that in the above calculation formula, the similarity of RGB values and the similarity of CIELab values are added, so these similarities are normalized to fall within the numerical range of 0 to 1, for example.
また、上記算出式におけるＣＩＥＬａｂ値とは、薬剤を撮像した画像における所定領域（薬剤が写っている領域の少なくとも一部）の色をＣＩＥＬａｂ色空間におけるＬ＊値、ａ＊値、およびｂ＊値の組み合わせで表した値である。ＣＩＥＬａｂ値は、ＲＧＢ値をまずＸＹＺ色空間における値に変換し、その値をさらにＣＩＥＬａｂ色空間における値に変換することにより算出することができる。ＣＩＥＬａｂ値の類似度は、上述したＲＧＢ値の類似度と同様にして算出することができる。 In addition, the CIELab value in the above calculation formula refers to the color of a predetermined area (at least a part of the area where the drug is captured) in the image of the drug as the L* value, a* value, and b* value in the CIELab color space. It is a value expressed as a combination of . The CIELab value can be calculated by first converting the RGB value into a value in the XYZ color space, and then further converting the value into a value in the CIELab color space. The similarity of CIELab values can be calculated in the same manner as the similarity of RGB values described above.
〔色スコアによる順位づけ〕
薬剤データベース８１には各種類の薬剤のマスタ色データが登録されている。判別部６４は、これらのマスタ色データのそれぞれについて、上述のようにして対象色データとの色スコアを算出する。そして、判別部６４は、算出した色スコアの高い順に、各種類の薬剤のマスタデータを順位づけする。この後、判別部６４は、順位の高いマスタデータから順に、対象画像との照合を行う。つまり、判別部６４は、対象色データと、各種類の薬剤に対応するマスタ色データのそれぞれとの類似度を示す色スコアを算出すると共に、該色スコアの順に、対象画像の特徴を示す情報とマスタデータとの照合を行って対象薬剤の種類を判別する。照合においては、例えばマスタデータに含まれる刻印情報（薬剤の刻印の内容を示す情報）と、対象画像からＯＣＲ等によって読み取った刻印情報との照合等が行われ、対象薬剤の種類が特定される。
[Ranking by color score]
Master color data for each type of medicine is registered in the
このような順位づけを行う理由としては、一般に、薬剤には色が類似したものが多い点が挙げられる。つまり、対象色データとの色スコアが同程度の値となるマスタ色データが複数生じることもあり、また、対象色データとの色スコアが最も高いマスタ色データの薬剤が、対象薬剤とは異なる薬剤であることもある。このため、色スコアのみで対象薬剤の種類を一意に特定することは一般に難しい。 The reason for this ranking is that, in general, many drugs have similar colors. In other words, there may be multiple pieces of master color data that have the same color score as the target color data, and the drug in the master color data that has the highest color score with the target color data is different from the target drug. It may also be a drug. For this reason, it is generally difficult to uniquely identify the type of target drug using only the color score.
そこで、判別部６４は、色スコアをマスタデータとの照合における順位づけに用いている。色データは、刻印情報等の読み取りと比べて、簡易かつ短時間の情報処理によって生成できるから、色スコアの算出および照合も簡易に短時間で行うことが可能である。よって、色スコアによる順位づけを行うことにより、順位づけを行うことなくマスタデータとの照合を行う場合と比べて、短時間で照合を完了することが可能になる。また、以下説明するように、重み更新部７２が色スコアの算出式の重みを適切に更新するので、例えば対象薬剤が薬剤Ａであった場合には、薬剤Ａのマスタ色データの順位が高くなりやすい。よって、マスタデータとの照合をより短時間で完了させることが可能になる。
Therefore, the
〔色スコアの算出式における重みの更新方法〕
図６に基づいて、上述した色スコアの算出式における重み（ｗ１～ｗ４）の更新方法について説明する。図６は、色スコアの算出式における重みの更新方法を説明する図である。以下説明するように、色スコアの算出式における重みの更新は重み更新部７２によって行われる。
[How to update the weights in the color score calculation formula]
A method for updating the weights (w 1 to w 4 ) in the color score calculation formula described above will be explained based on FIG. 6. FIG. 6 is a diagram illustrating a method for updating weights in a color score calculation formula. As explained below, the weights in the color score calculation formula are updated by the
重みの更新には、複数の判別成功色データ８３を用いる。図６の例では、薬剤Ａ～Ｚのそれぞれに複数の判別成功色データ８３が紐付けられている。重み更新部７２は、これらの判別成功色データ８３を訓練データとして、確率的勾配降下法により、色スコアの算出式における重みを最適なものに更新する。確率的勾配降下法を用いることにより、最適ではない局所解を抜けて、最適解に到達することが期待できる。
A plurality of pieces of successfully discriminated
具体的には、まず、重み更新部７２は、判別成功色データ８３から所定数のミニバッチデータを作成する。この作成において、各ミニバッチデータには、全種類の薬剤について少なくとも１つの判別成功色データ８３が含まれるようにし、かつ、各ミニバッチデータに含まれる判別成功色データ８３の数が所定範囲内に収まるようにする。
Specifically, first, the
図６には、薬剤Ａ～Ｚのそれぞれについて１つの判別成功色データ８３が含まれるｎ個のミニバッチデータＢ１～Ｂｎを記載している。ｎは、薬剤データベース８１に登録されている薬剤の種類数や、前回の重みの更新後の経過時間等に応じて決定すればよく、例えば４０程度であってもよい。なお、１つの判別成功色データ８３を複数のミニバッチデータに含めてもよい。
FIG. 6 shows n pieces of mini-batch data B1 to Bn that include one successful
次に、重み更新部７２は、作成したミニバッチデータを用いて、確率的勾配降下法により、重み（ｗ１～ｗ４）を更新する。更新後の重みが、更新前の重みよりも妥当な値となっているか否かは、当該更新後の重みを用いて算出した色スコアから判定することができる。例えば、各種類の薬剤のマスタ色データと判別成功色データ８３とについて、色スコアをそれぞれ算出して、その色スコアの順位から判定することもできる。
Next, the
例えば、図６の例では、薬剤Ａ～Ｚの２６種類の薬剤についてマスタ色データが登録されている。そして、ミニバッチデータＢｎには、薬剤Ａの判別成功色データ８３ｂが含まれている。このミニバッチデータＢｎを用いた重みの更新においては、薬剤Ａのマスタ色データと判別成功色データ８３ｂとについて算出した色スコアの順位が高くなるように重みを更新すればよい。具体的な計算内容については以下で説明するが、この更新においては、可視光ＲＧＢ値の重み（ｗ１）を＋ｓｃａｌｅする。なお、＋ｓｃａｌｅは、重みの変化量（正の数）である。同様に、他の重み（ｗ２～ｗ４）についても＋ｓｃａｌｅする。このように、確率的勾配降下法では、各重みを所定の変化量（＋ｓｃａｌｅ）ずつ変化させながら、最適な重みを探索する演算を行う。
For example, in the example of FIG. 6, master color data is registered for 26 types of drugs A to Z. The mini-batch data Bn includes successful
具体的には、上記演算には勾配平均を用いる。勾配平均は、例えば下記の数式で算出することができる。なお、下記の数式におけるＺは１つのミニバッチデータに含まれる判別成功色データ８３の数である。また、Σは、１つのミニバッチデータにおける１番目の判別成功色データ８３からＺ番目の判別成功色データ８３までの和を表す。また、平均順位は、各ミニバッチデータに含まれる判別成功色データ８３から算出した順位を、全てのミニバッチデータで平均した値である。なお、順位づけの方法は「色スコアによる順位づけ」で上述したとおりであるから説明は繰り返さない。
Specifically, gradient averaging is used in the above calculation. The gradient average can be calculated using the following formula, for example. Note that Z in the following formula is the number of successfully discriminated
（勾配平均）＝｛Σ（重みをずらした後の平均順位－重みをずらす前の平均順位）／重みの変化量}／Ｚ
そして、重み更新部７２は、下記の数式により重みを更新する。なお、学習率は適宜設定すればよい。
(Gradient average) = {Σ(Average rank after shifting the weight - Average rank before shifting the weight)/Amount of change in weight}/Z
Then, the
（更新後の重み）＝（現在の重み）－（学習率×勾配平均）
〔判別成功色データ８３を記憶する処理の流れ〕
図７に基づいて判別成功色データ８３を記憶する処理の流れを説明する。図７は、判別成功色データ８３を記憶する処理の一例を示すフローチャートである。なお、図７では、種類不明の対象薬剤の撮像が行われて、記憶部８０に撮像画像８２が記憶された後の処理の流れを示している。
(Updated weight) = (current weight) - (learning rate x gradient average)
[Flow of processing for storing successful discrimination color data 83]
The flow of processing for storing the successfully discriminated
まず、判別部６４は、対象画像から対象色データを生成する（Ｓ１）。続いて、判別部６４は、Ｓ１で生成した対象色データと、薬剤データベース８１に登録されているマスタ色データのそれぞれとの類似度を示す色スコアを算出する（Ｓ２）。そして、判別部６４は、マスタデータとの照合順を、Ｓ２で算出した色スコアの高い順とし（Ｓ３）、その照合順で照合を行い（Ｓ４）、対象薬剤の種類を判別する（Ｓ５）。
First, the
次に、Ｓ５にて対象薬剤の種類の判別に成功したことを受け、判別成否判定部６５は、Ｓ１で生成された対象色データをＳ５で判別された種類の薬剤の判別成功色データ８３として記憶部８０に記憶し、図７の処理は終了する。
Next, in response to the successful discrimination of the type of target drug in S5, the discrimination success/
〔薬剤データベース８１を更新する処理の流れ〕
図８に基づいて薬剤データベース８１を更新する処理の流れを説明する。図８は、薬剤データベース８１を更新する処理の一例を示すフローチャートである。
[Flow of processing for updating drug database 81]
The flow of processing for updating the
まず、マスタ更新部７１は、薬剤データベース８１を更新するか否か、より詳細には薬剤データベース８１に含まれるマスタ色データを更新するか否かを判定する（Ｓ１１）。マスタ色データの更新条件は特に限定されない。例えば、コンピュータ６０の動作終了時（例えば一日の終り）に更新するようにしてもよい。また、例えば、所定期間（例えば１日）毎に更新の要否を問い合わせるメッセージをユーザに提示し、そのメッセージに対して、更新する旨のユーザ入力が行われたときにマスタ色データを更新してもよい。また、例えば、直近数回の種類判別の平均処理時間（撮像後、判別結果が出るまでの時間）が所定時間以上であること、撮像リトライの発生頻度が閾値以上であること（種類判別の失敗頻度が閾値以上であること）等を条件としてもよい。この他にも、例えば、前回の更新から所定期間（例えば３０日）経過したことを条件として、マスタ色データを更新してもよい。
First, the
Ｓ１２では、マスタ更新部７１は、記憶部８０に記憶されている判別成功色データ８３のうち、最新の（記憶されたタイミングが最も新しい）判別成功色データ８３を取得する。そして、Ｓ１３では、マスタ更新部７１は、Ｓ１２で取得した判別成功色データ８３を、新たなマスタ色データとして薬剤データベース８１に追加する。これにより、図８の処理は終了する。なお、Ｓ１２およびＳ１３の処理は、少なくとも一種類の薬剤について行えばよく、例えば薬剤データベース８１に登録されている全種類の薬剤について行ってもよいし、一部の種類の薬剤について行ってもよい。
In S12, the
このように、判別部６４は、対象画像から生成された、対象薬剤の外観の特徴を示す情報と、前記マスタデータとを照合し、該照合の結果に基づいて前記対象薬剤の種類を判別する（図７のＳ５）。そして、マスタ更新部７１は、判別部６４が対象薬剤の種類の判別に成功したときに、当該判別に使用された判別成功色データ８３を、新たなマスタ色データとする（図８のＳ１３）。
In this way, the
したがって、薬剤仕分装置１によれば、対象薬剤の撮像によって得られる対象画像が、マスタデータの作成時に想定していたものから変化した場合であっても、適切に種類の判別を行うことができる。これにより、例えば薬剤仕分装置１をある薬局に導入した場合に、デフォルトのマスタデータを、その薬局における撮像条件に適合したものに更新することができる。また、薬剤仕分装置１の導入後に、撮像装置や照明装置等の経時劣化によって、撮像画像の色味が変化した場合にも、適切に種類の判別を行うことができる状態を維持することができる。
Therefore, according to the
〔色スコアの算出式における重みを更新する処理の流れ〕
図９に基づいて色スコアの算出式における重みを更新する処理の流れを説明する。図９は、色スコアの算出式における重みを更新する処理の一例を示すフローチャートである。なお、図９の処理を行う条件は特に限定されない。例えば、薬剤仕分装置１が日時更新の要否を問い合わせるメッセージをユーザに提示し、そのメッセージに対して日時更新を行う旨のユーザ操作が行われた場合に、日時更新を行う前に図９の処理を開始してもよい。なお、日時更新は、図９の処理が終了次第行われる。また、例えば、前回の重みの更新から所定期間（例えば３０日）経過したことを条件として図９の処理を開始してもよいし、所定数の判別成功色データ８３が蓄積されたことを条件として図９の処理を開始してもよい。また、マスタ色データの更新が行われたときには、更新後のマスタ色データに対して、現行の重みが適切な値となっていない可能性があるため、マスタ色データの更新が行われたことを条件として図９の処理を開始してもよい。
[Processing flow for updating the weights in the color score calculation formula]
The flow of processing for updating the weights in the color score calculation formula will be explained based on FIG. FIG. 9 is a flowchart illustrating an example of a process for updating the weights in the color score calculation formula. Note that the conditions for performing the process in FIG. 9 are not particularly limited. For example, when the
まず、重み更新部７２は、記憶部８０に記憶されている所定期間の判別成功色データ８３を取得する（Ｓ２１）。例えば、上記所定期間が３０日間であれば、重み更新部７２は、直近３０日に記憶された全ての判別成功色データ８３を取得する。そして、重み更新部７２は、Ｓ２１で取得した判別成功色データ８３からミニバッチデータを作成し（Ｓ２２）、作成したミニバッチデータを用いて色スコアの算出式における重みを最適化する（Ｓ２３）。
First, the
なお、Ｓ２３では、過去に重みが更新されていた場合であっても、更新後の重み値ではなく、重みの初期値から最適化演算を行うことが好ましい。これにより、最適化後の重み値が、重みの初期値からかけ離れた値となりにくくすることができるので、安定した最適化が可能になる。 Note that in S23, even if the weights have been updated in the past, it is preferable to perform the optimization calculation from the initial values of the weights rather than the updated weight values. This makes it possible to prevent the weight value after optimization from being a value that is far from the initial value of the weight, thereby making it possible to perform stable optimization.
次に、重み更新部７２は、Ｓ２３で算出した重み（最適化した重み）が、現行の重み（過去に更新が行われている場合には直近の更新後の重み）よりも高精度な値となっているか否かを判定する（Ｓ２４）。なお、重みの精度の評価は、その重みを適用した算出式によって算出された色スコアに基づいて行えばよい。例えば、重み更新部７２は、Ｓ２１で取得した判別成功色データ８３の一部または全部について色スコアを算出して色スコアの順位を求め、平均順位が高くなっているか否かにより、重みが高精度な値となっているか否かを判定してもよい。なお、色スコアの順位とは、ある薬剤の判別成功色データ８３と各種類の薬剤のマスタ色データとで算出した各色スコアのうち、上記ある薬剤の判別成功色データ８３と当該ある薬剤の判別成功色データ８３とで算出した色スコアの順位である。
Next, the
Ｓ２４において高精度な値となっていると判定された場合（Ｓ２４でＹＥＳ）、Ｓ２５の処理に進み、重み更新部７２は、現行の重みの代わりにＳ２３で算出した重みを適用する。これにより、以後の仕分けにおいては更新後の重みが使用される。一方、高精度な値となっていないと判定された場合（Ｓ２４でＮＯ）、図９の処理は終了する。つまり、この場合には重みは更新されず、以後の仕分けにおいては現行の重みが引き続き使用される。
If it is determined in S24 that the value is highly accurate (YES in S24), the process proceeds to S25, and the
以上のように、重み更新部７２は、複数の判別成功色データ８３を訓練データとして取得し（Ｓ２１）、取得した訓練データを用いて色スコアの算出式（より詳細には色スコアの算出式における重みｗ１～ｗ４）を更新する（Ｓ２５）。したがって、薬剤仕分装置１によれば、対象薬剤の撮像によって得られる対象画像が、マスタデータの作成時に想定していたものから変化した場合であっても、またマスタ色データが更新された後であっても、適切な重み値を用いて算出した適切な色スコアに基づき、適切に種類の判別を行うことができる。
As described above, the
〔変形例〕
上記実施形態では、ミニバッチを用いた確率的勾配降下法により重みを更新する例を示したが、重みの更新には他のアルゴリズムを適用することもできる。例えば、ミニバッチを用いない確率的勾配降下法を用いてもよいし、局所解の問題を考慮する必要がなければ、通常の勾配降下法を用いてもよい。また、勾配降下法以外の最適化アルゴリズムを適用することもできる。
[Modified example]
In the above embodiment, an example was shown in which weights are updated by stochastic gradient descent using mini-batch, but other algorithms can also be applied to update weights. For example, a stochastic gradient descent method that does not use mini-batches may be used, or if there is no need to consider the problem of local solutions, a normal gradient descent method may be used. Moreover, optimization algorithms other than gradient descent can also be applied.
また、薬剤データベース８１の更新処理と重みの更新処理の少なくとも何れかを、薬剤仕分装置１の外部の情報処理装置（コンピュータ）に実行させてもよい。この場合、当該情報処理装置を薬剤仕分装置１と通信可能な状態としておくことにより、情報処理装置から、薬剤仕分装置１が使用する薬剤データベース８１と色スコアの算出式における重みを更新することができる。
Further, an information processing device (computer) external to the
〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
[Embodiment 2]
Other embodiments of the invention will be described below. For convenience of explanation, members having the same functions as the members described in the above embodiment are given the same reference numerals, and the description thereof will not be repeated.
〔薬剤仕分装置の構成〕
図１０は、本実施形態に係る薬剤仕分装置１が備える制御部６０ｂの要部構成の一例を示すブロック図である。なお、図１０では、本実施形態に特徴的な構成を中心に図示しているが、制御部６０ｂには図１に示した制御部６０ａに含まれる他のブロックも含まれていてもよい。
[Configuration of drug sorting device]
FIG. 10 is a block diagram showing an example of the main configuration of the
制御部６０ｂには、マーク検出部７３と類似性判定部７４と一致判定部７５と判別部６４とが含まれている。また、類似性判定部７４には、７４１－１から７４１－ｎまでのｎ個の識別器が含まれている。なお、ｎは２以上の整数である。また、各識別器を区別する必要がないときには、単に識別器７４１と記載する。
The
本実施形態の薬剤仕分装置１も、実施形態１の薬剤仕分装置１と同様に、種類不明の対象薬剤を撮像した撮像画像から、その対象薬剤の種類を判別する。そして、この判別は実施形態１と同様に判別部６４が行う。本実施形態では、判別部６４の判定材料の１つとして、対象薬剤のマークが薬剤の照合用のマスタデータに登録されている登録マークと一致するか否かを複数の識別器７４１を用いて判定する点で実施形態１と相違している。
Similarly to the
より詳細には、マーク検出部７３は、対象薬剤に形成されたマークを撮像画像から検出する。続いて、類似性判定部７４が、マーク検出部７３が検出した検出マークと、薬剤の照合用のマスタデータに登録されている登録マークとの類似性を、複数の識別器７４１により判定する。そして、一致判定部７５は、各識別器７４１による判定の結果に基づいて検出マークと登録マークとが一致するか判定する。
More specifically, the
上記の構成によれば、複数の識別器７４１による類似性の判定結果に基づいて検出マークと登録マークとが一致するか判定する。したがって、マークの一致判定の精度を高めることが可能になる。そして、判別部６４は、マーク検出部７３の判定結果に基づいて対象薬剤の種類を判別するので、マークを的確に考慮して対象薬剤の種類判別の精度を高めることができる。
According to the above configuration, it is determined whether the detection mark and the registration mark match based on the similarity determination results by the plurality of
一般に、薬剤に形成されたマークは、その形状がバリエーションに富んでいるため、ＯＣＲ（optical character reader）等による識別は難しい。また、マークが薬剤の表面を彫り込むことにより形成される場合には、撮像時の薬剤への光の当たり方により撮像画像へのマークの写り方が変わるため、一致判定の精度を上げることが難しかった。しかし、上記の構成によれば、薬剤の表面を彫り込むことにより形成されたマークについても、高精度に一致判定を行うことが可能である。 In general, marks formed on drugs have a wide variety of shapes, so it is difficult to identify them using an OCR (optical character reader) or the like. Additionally, if the mark is formed by carving the surface of the drug, the way the mark appears in the captured image changes depending on how the light hits the drug during imaging, so it is difficult to improve the accuracy of match determination. was difficult. However, according to the above configuration, it is possible to perform a match determination with high precision even for marks formed by engraving the surface of a drug.
〔情報処理装置の構成〕
上述の類似性判定部７４と一致判定部７５は、情報処理装置１００によって構築される。ここでは、情報処理装置１００の構成を図１１に基づいて説明する。図１１は、情報処理装置１００の要部構成の一例を示すブロック図である。
[Configuration of information processing device]
The above-described
情報処理装置１００は、情報処理装置１００の各部を統括して制御する制御部１１０と、情報処理装置１００が使用する各種データを記憶する記憶部１５０を備えている。また、情報処理装置１００は、情報処理装置１００に対する入力を受け付ける入力部１３０、および情報処理装置１００がデータを出力するための出力部１４０を備えている。
The
制御部１１０には、識別器群生成部１１１、判定領域設定部１１２、類似性判定部１１３、評価部１１４、選抜部１１５、重み設定部１１６、信頼度算出部１１７、および識別器構築部１１８が含まれている。また、記憶部１５０には、識別器ＤＢ（データベース）１５１、登録マークＤＢ１５２、および学習用ＤＢ１５３が記憶されている。
The
識別器群生成部１１１は、類似性判定部１１３が類似性の判定に使用する識別器群を生成する。具体的には、識別器群生成部１１１は、識別器ＤＢ１５１に格納されている識別器が類似性判定に用いる閾値のバリエーションを増やすことにより、１１３１－１から１１３１－ＮまでのＮ個の識別器からなる識別器群を生成する。この識別器群により類似性判定部１１３が構成される。なお、Ｎは２以上の整数である。また、各識別器を区別する必要がないときには、単に識別器１１３１と記載する。
The classifier
判定領域設定部１１２は、撮像画像における検出マークが写っている領域を区分して、類似性判定部１１３が類似性の判定を行う対象となる判定領域を複数設定する。判定領域の設定については図１２に基づいて後述する。
The determination
類似性判定部１１３は、識別器群生成部１１１が生成した識別器群に含まれる各識別器１１３１を用いて、登録マークＤＢ１５２に格納されている登録マーク画像に写る登録マークと学習用ＤＢ１５３に含まれる各テスト画像に写るマークとの類似性の判定を行う。上述のように、この判定は、判定領域設定部１１２が設定した判定領域毎に行う。なお、テスト画像の詳細は図１２に基づいて後述する。
The
評価部１１４は、類似性判定部１１３に含まれる各識別器１１３１による類似性の判定結果を評価する。評価手法は、各識別器１１３１の類似性の判定精度に応じた評価値を算出できるものであればよい。本実施形態では、評価部１１４が、各識別器１１３１のエラー率を算出する例を説明する。エラー率は、類似性の判定を行った総回数に対する判定結果が誤りであった回数の割合を示す数値であり、エラー率が低いほど類似性の判定精度は高いといえる。
The
選抜部１１５は、識別器群生成部１１１が生成した識別器群、すなわち類似性判定部１１３に含まれる識別器１１３１の中から、評価部１１４が評価した類似性の判定精度に基づいて複数の識別器を選抜する。また、選抜部１１５は、この選抜において、重み設定部１１６が設定した重みを考慮する。
The
重み設定部１１６は、各識別器１１３１による類似性の判定対象となる各テスト画像に重みを設定する。重みの設定方法および重みを考慮した識別器の選抜方法については、図１４に基づいて後述する。
The
信頼度算出部１１７は、選抜部１１５が選抜した各識別器の信頼度を算出する。詳細は後述するが、この信頼度は、薬剤仕分装置１による一致判定で用いられる。また、信頼度の算出方法についても後述する。
The
識別器構築部１１８は、選抜部１１５が選抜した複数の識別器を用いて、検出マークと登録マークとが一致するか否かを判定するための識別器を構築する。そして、薬剤仕分装置１は、識別器構築部１１８が構築した識別器を用いて一致判定を行う。
The
識別器ＤＢ１５１には、薬剤の撮像画像から検出された検出マークと、薬剤の照合用のマスタデータに登録されている登録マークとの類似性を判定する識別器が格納されている。上述のように、識別器群生成部１１１が識別器ＤＢ１５１に格納されている識別器の閾値のバリエーションを増やし、これにより選抜部１１５による選抜の対象となる識別器群が生成される。このため、識別器ＤＢ１５１には、少なくとも１種類の識別器が格納されていればよい。ただし、複数種類の識別器が格納されていれば、複数種類の識別器から選抜された識別器からなる、より判定精度の高い識別器を構築し得るため好ましい。識別器ＤＢ１５１に格納されている識別器の具体例は後述する。
The
登録マークＤＢ１５２には、実施形態１の薬剤データベース８１に薬剤の照合用のマスタデータとして登録されている、登録マークが写っている画像である登録マーク画像が格納されている。登録マーク画像は、薬剤データベース８１に格納されているマスタ画像８１２からマークが写っている部分を切り出すことによって生成されたものであってもよい。
The registered
学習用ＤＢ１５３には、上述のように、各識別器１１３１の類似性の判定精度の評価に用いるテスト画像が格納されている。テスト画像の詳細は図１２に基づいて後述する。
As described above, the learning
以上のように、情報処理装置１００は、撮像画像から検出された検出マークと登録マークとの類似性を判定する識別器１１３１－１～１１３１－Ｎの中から、類似性の判定精度に基づいて複数の識別器を選抜する選抜部１１５を備えている。また、情報処理装置１００は、選抜部１１５が選抜した複数の識別器を用いて、検出マークと登録マークとが一致するか否かを判定するための識別器を構築する識別器構築部１１８を備えている。
As described above, the
上記の構成によれば、類似性の判定精度に基づいて選抜された複数の識別器による判定結果に基づいて検出マークと登録マークとが一致するかを判定するための識別器を構築することができる。そして、本実施形態の薬剤仕分装置１は、このようにして構築された識別器を用いることにより、マークの一致判定を高精度に行うことが可能になり、その判定結果に基づく対象薬剤の種類判別も高精度に行うことが可能になる。
According to the above configuration, it is possible to construct a discriminator for determining whether a detected mark and a registered mark match based on the determination results of a plurality of discriminators selected based on similarity determination accuracy. can. By using the discriminator constructed in this manner, the
〔判定領域の設定〕
図１２は、判定領域の設定例を示す図である。より詳細には、図１２には、マスタ画像８１２から登録マークのマスタデータである登録マーク画像１５２１を生成し、この登録マーク画像１５２１にＡ２－１からＡ２－ＭまでのＭ個の判定領域を設定した例を示している。
[Setting the judgment area]
FIG. 12 is a diagram showing an example of setting the determination area. More specifically, in FIG. 12, a
図１２に示すマスタ画像８１２においては、錠剤Ｔ１が写っていると共に、錠剤Ｔ１の表面部分にマークＴ１１と番号Ｔ１２が写っている。登録マーク画像１５２１は、このようなマスタ画像８１２からマークが写っている領域Ａ１を検出し、この部分を切り出すことにより生成される。切り出した画像はそのまま登録マーク画像１５２１としてもよいし、所定サイズに拡大あるいは縮小する等の処理を行った上で登録マーク画像１５２１としてもよい。登録マーク画像１５２１は、登録マークＤＢ１５２に格納される。
In the
判定領域設定部１１２は、登録マーク画像１５２１に複数の判定領域を設定する。図１２の例では、Ａ２－１からＡ２－ＭまでのＭ個の判定領域を設定している。なお、Ｍは２以上の整数である。また、各判定領域を区別する必要がないときには、単に判定領域Ａ２と記載する。
The determination
判定領域設定部１１２は、登録マーク画像１５２１の全画像領域が、少なくとも何れかの判定領域Ａ２に含まれるように判定領域を設定することが好ましい。また、図１２の例における判定領域Ａ２－１とＡ２－２のように、判定領域設定部１１２は、一部が重畳するように判定領域を設定してもよい。また、判定領域設定部１１２は、判定領域Ａ２－１とＡ２－Ｍのようにサイズの異なる判定領域を設定してもよいし、形状の異なる判定領域を設定してもよい。
It is preferable that the determination
判定領域２Ａの個数および各判定領域２Ａのサイズは特に限定されない。ただし、識別器１１３１による類否判定に支障が出ない程度のサイズおよび個数、つまり各判定領域２Ａにマークの特徴が表れる程度のサイズおよび個数とすることが好ましい。一例として、判定領域設定部１１２は、数百個の判定領域Ａ２を設定してもよい。
The number of determination areas 2A and the size of each determination area 2A are not particularly limited. However, it is preferable that the size and number of marks be set to such an extent that the similarity determination by the
なお、判定領域設定部１１２は、自動で判定領域２Ａを設定してもよい。例えば、判定領域設定部１１２は、所定サイズの判定領域２Ａを所定の方向に所定の距離だけずらしながら登録マーク画像１５２１の全画像領域をカバーする複数の判定領域２Ａを設定してもよい。また、判定領域設定部１１２は、例えば、入力部１３０を介したユーザの入力に従って各判定領域２Ａを設定してもよい。
Note that the determination
また、判定領域設定部１１２は、テスト画像に対しても登録マーク画像１５２１と同じ判定領域Ａ２を設定する。テスト画像は、登録マーク画像１５２１との類似性判定の対象となる画像であり、学習用ＤＢ１５３に格納されている。
The determination
学習用ＤＢ１５３に格納されているテスト画像には、登録マーク画像１５２１に写るマークと同一のマークが写ったテスト画像１５３１と、登録マーク画像１５２１に写るマークとは異なるマークが写ったテスト画像１５３２がそれぞれ複数含まれている。テスト画像１５３１および１５３２は、類似性の判定が容易なものから、困難なものまで、できるだけバリエーションに富んだものを用意することが好ましい。これにより、薬剤の多様な撮像画像についてマークの一致判定を高精度に行うことが可能になる。
The test images stored in the
類似性判定部１１３は、登録マーク画像１５２１とテスト画像の類似性の判定を、上述のようにして設定された各判定領域のそれぞれについて行う。具体的には、類似性判定部１１３は、登録マーク画像１５２１の判定領域Ａ２－１と、テスト画像１５３１の判定領域Ａ２－１との類似性を判定する。また、類似性判定部１１３は、テスト画像１５３２についても同様の判定を行う。そして、類似性判定部１１３は、判定領域Ａ２－２からＡ２－Ｍについても同様に、登録マーク画像１５２１とテスト画像１５３１、ならびに、登録マーク画像１５２１とテスト画像１５３２の類似性の判定を行う。
The
そして、選抜部１１５は、複数の判定領域のそれぞれにおける類似性の判定精度に基づいて複数の識別器を選抜する。これにより、各判定領域における判定精度の高い識別器が選抜され、選抜されたそれらの識別器によりマークの一致判定を行うための識別器が構築される。このようにして構築された識別器では、例えば、マークの形状の特徴が表れた判定領域については形状の判定精度が高い識別器で判定し、マークの色の特徴が表れた判定領域については色の判定精度が高い識別器で判定する、といった適材適所の判定が可能である。
Then, the
また、このようにして構築された識別器を用いる薬剤仕分装置１の類似性判定部７４は、撮像画像の検出マークが写っている領域を区分した複数の判定領域のそれぞれについて、当該判定領域に応じた識別器により類似性の判定を行う。これにより、領域の違いを考慮した高精度な判定を行うことが可能になる。
Furthermore, the
〔使用する識別器〕
上述のように、薬剤仕分装置１の類似性判定部７４は、複数の識別器７４１により類似性の判定を行う。この類似性判定部７４は、類似性の判定方法が異なる複数種類の識別器により検出マークと登録マークとの類似性の判定を行ってもよい。この構成によれば、複数の判定方法を考慮してマークの一致判定を行うので、１種類の判定方法で類似性の判定を行う場合と比べて、当該判定の精度を高めることが可能になる。
[Discriminator used]
As described above, the
また、複数種類の識別器を用いる場合、それらの識別器の中には、色の類似性を判定する識別器と、形状の類似性を判定する識別器とが含まれている、ことが好ましい。この構成によれば、色の類似性と形状の類似性の両方を考慮してマークの一致判定を行うので、判定の精度を高めることが可能になる。 Furthermore, when using multiple types of classifiers, it is preferable that these classifiers include a classifier that determines color similarity and a classifier that determines shape similarity. . According to this configuration, since the matching of marks is determined taking into account both the color similarity and the shape similarity, it is possible to improve the accuracy of the determination.
ここで、識別器７４１は、情報処理装置１００の類似性判定部１１３に含まれる識別器１１３１－１～１１３１－Ｎの中から選抜されたものであり、これらの識別器１１３１は識別器ＤＢ１５１に格納されている識別器が基になっている。
Here, the
よって、この基になる識別器を複数種類とし、その中に、色の類似性を判定する識別器と、形状の類似性を判定する識別器とを含めておけば、薬剤仕分装置１において上述のような効果が期待できる。
Therefore, if there are multiple types of discriminators that serve as the base, and if they include a discriminator that determines color similarity and a discriminator that determines shape similarity, the
また、薬剤によっては色による類似性の判定が難しいものも存在するが、そのような薬剤については、色の類似性を判定する識別器の判定精度が低くなるため、そのような識別器は選抜され難い。よって、識別器ＤＢ１５１に色の類似性を判定する識別器を含めておいても、色による類似性の判定が難しい薬剤の類似性の判定には、色の類似性を判定する識別器を用いないようにすることができる。
Additionally, for some drugs, it is difficult to determine similarity based on color, but for such drugs, the accuracy of the discriminator that determines color similarity is low, so such discriminators are not used selectively. It's hard to get caught. Therefore, even if the
形状の類似性を判定する識別器としては、例えば、類似性の判定対象となる画像について下記のような値を算出して、算出した値と所定の閾値とを比較することにより、類似か非類似かを判定する識別器を用いることもできる。 For example, a discriminator that determines shape similarity calculates the following values for images to be determined for similarity, and then compares the calculated values with a predetermined threshold to determine whether they are similar or not. A classifier that determines similarity can also be used.
（１）ＨＯＧ（Histograms of Oriented Gradients）特徴量の距離
（２）Average Hash法により算出したHash値の距離
（３）Perceptual Hash法により算出したHash値の距離
（４）ＨＳＶ（Ｈ：Hue、Ｓ：Saturation・Chroma、Ｖ：Value・Brightness）変換により生成したＳ成分画像でのＨＯＧ特徴量の距離
（５）先鋭化した画像の特徴点抽出（ＯＲＢ：Oriented FAST and Rotated BRIEF）により得た特徴の類似度
（６）ソーベルフィルタリングした画像から特徴点抽出アルゴリズムであるＡＫＡＺＥにより得た特徴量の類似度
（７）グラディエントフィルタリングした画像から特徴点抽出アルゴリズムであるＡＫＡＺＥにより得た特徴量の類似度
（８）数字等が写る画像からその数字等の特徴ベクトルを出力するように学習した畳み込みニューラルネットワークに類似性の判定対象となる各画像を入力して得た各特徴ベクトル間の距離
また、色の類似性を判定する識別器としては、例えば、ＨＳＶ変換画像の平均色距離を算出して、算出した値と所定の閾値とを比較することにより、類似か非類似かを判定する識別器を用いることもできる。
(1) Distance of HOG (Histograms of Oriented Gradients) feature quantity (2) Distance of Hash value calculated by Average Hash method (3) Distance of Hash value calculated by Perceptual Hash method (4) HSV (H: Hue, S :Saturation/Chroma, V:Value/Brightness) conversion (5) Distance of HOG feature amount in S component image generated by conversion Similarity (6) Similarity of features obtained from Sobel filtered images using AKAZE, a feature point extraction algorithm (7) Similarity of features obtained from gradient filtered images using AKAZE, a feature point extraction algorithm ( 8) The distance between each feature vector obtained by inputting each image to be judged for similarity to a convolutional neural network trained to output feature vectors of numbers, etc. from images containing numbers, etc. As a classifier that determines similarity, for example, a classifier that calculates the average color distance of HSV-converted images and compares the calculated value with a predetermined threshold value to determine similarity or dissimilarity is used. You can also do that.
〔閾値の相違による類似性の判定精度の相違〕
上述のように、識別器群生成部１１１は、閾値が異なる識別器群を生成する。ここでは、閾値の相違による類似性の判定精度の相違について図１３に基づいて説明する。図１３は、閾値が相違することにより類似性の判定精度に相違が生じた例を示す図である。
[Difference in similarity judgment accuracy due to difference in threshold]
As described above, the classifier
この例では、登録マーク画像１５２１における領域Ａ２とテスト画像における同領域との類似度を、識別器ＤＢ１５１に格納されている識別器の１つである第１識別器と、該第１識別器の閾値をより大きい値に変更した第２識別器とで判定している。テスト画像には、登録マーク画像１５２１に写るマークと同一のマークが写るテスト画像Ａ～Ｃと、非同一のマークが写るテスト画像ａ～ｃが含まれている。
In this example, the degree of similarity between the area A2 in the
第１識別器と第２識別器は、類似と非類似の判定閾値が異なるだけで、同じ識別器であるから、これらの識別器が算出する、登録マーク画像１５２１とテスト画像の類似度は同じ値である。図１３の例では、テスト画像Ａが登録マーク画像１５２１との類似度が最も高く、以下類似度の高い順に、テスト画像Ｂ、ａ、ｂ、Ｃ、ｃと続く結果となっている。
Since the first classifier and the second classifier are the same classifier, the only difference being the threshold for determining similarity and dissimilarity, the degrees of similarity between the registered
第１識別器と第２識別器は、算出した上記類似度が閾値以上であれば類似、閾値未満であれば非類似との判定結果を出力する。この例では、第１識別器の判定結果は、テスト画像Ａ、Ｂ、ａ、ｂは登録マーク画像１５２１と類似しており、テスト画像Ｃ、ｃは登録マーク画像１５２１と類似していない、となっている。これら６つの結果のうち、テスト画像ａ、ｂ、Ｃについての判定結果は誤判定であるから、第１識別器のエラー率は３／６である。
The first classifier and the second classifier output a determination result that if the calculated degree of similarity is greater than or equal to a threshold value, the two are similar, and if it is less than the threshold value, the two are dissimilar. In this example, the determination result of the first classifier is that test images A, B, a, and b are similar to the registered
一方、第２識別器の判定結果は、テスト画像Ａ、Ｂ、ａは登録マーク画像１５２１と類似しており、テスト画像ｂ、Ｃ、ｃは登録マーク画像１５２１と類似していない、となっている。これら６つの結果のうち、テスト画像ａ、Ｃについての判定結果は誤判定であるから、第２識別器のエラー率は２／６である。
On the other hand, the judgment results of the second classifier are that test images A, B, and a are similar to registered
これら第１識別器と第２識別器のように、同じ値の類似度を算出する識別器であっても、類似性の判定に用いる閾値の値が変われば、判定精度が変化し得る。よって、類似性判定に用いる閾値のバリエーションを増やすことにより、登録マーク画像１５２１の類似性の判定に適した識別器を含む識別器群を生成することができる。
Even if the first classifier and the second classifier are classifiers that calculate the same value of similarity, the determination accuracy may change if the threshold value used for determining the similarity changes. Therefore, by increasing the variations of the threshold values used for determining the similarity, it is possible to generate a classifier group including classifiers suitable for determining the similarity of the registered
なお、識別器群生成部１１１が各識別器に設定する閾値を決定する方法、および閾値のバリエーションの数は、特に限定されない。バリエーションを多くする程、最適な閾値の識別器を含む識別器群を構築できる可能性が高くなるが、その分、最終的な識別器の構築までに要する演算量が増大する。このため、許容できる演算量と求められる判定精度等に基づいて閾値の決定方法および閾値のバリエーションの数を設定すればよい。例えば、識別器群生成部１１１は、各識別器の出力値の範囲を複数に等分する各値を閾値に設定してもよい。例えば、識別器群生成部１１１は、出力値の範囲を１０等分する９つの値を閾値に設定してもよい。これにより、１つの識別器に９つのバリエーションを持たせることができる。
Note that the method by which the classifier
〔識別器を構築する処理の流れ〕
図１４および図１５に基づいて、情報処理装置１００が識別器を構築する処理（情報処理方法）の流れを説明する。図１４は、識別器を構築する処理の一例を示すフローチャートである。また、図１５は、識別器を構築する処理の具体例を示す図である。
[Processing flow for constructing a discriminator]
The flow of processing (information processing method) in which the
図１４の処理を開始する前に、識別器群生成部１１１は、識別器ＤＢ１５１に格納されている識別器の閾値のバリエーションを増やすことにより識別器群を生成している。また、判定領域設定部１１２は、判定領域を設定している。
Before starting the process in FIG. 14, the classifier
上記識別器群について、図１５の例では、識別器群生成部１１１は、識別器ＤＢ１５１に格納されているｍ種類（ｍは自然数）の識別器の閾値のバリエーションをそれぞれ増やすことにより、識別器１１３１－１から１１３１－ＮまでのＮ個の識別器を含む識別器群を生成している。
Regarding the discriminator group, in the example of FIG. 15, the discriminator
また、図１５の例では、判定領域設定部１１２は、Ａ２－１からＡ２－ＭまでのＭ個の判定領域を設定している。上述のように、判定領域Ａ２－１～Ａ２－Ｍは、登録マーク画像１５２１とテスト画像１５３１および１５３２との類似性の判定に用いられる。
Further, in the example of FIG. 15, the determination
図１４のＳ３１では、類似性判定部１１３が、識別器群生成部１１１が生成した上述の識別器群に含まれる各識別器を用いて、登録マークＤＢ１５２に格納されている登録マークと、学習用ＤＢ１５３に格納されているテスト画像１５３１および１５３２との類似性の判定を行う。この判定は、判定領域設定部１１２が設定した判定領域のそれぞれについて行われる。
In S31 of FIG. 14, the
例えば、図１５の例では、Ｍ個の判定領域が設定されているから、１つの識別器による判定は、１つのテスト画像につきＭ回行われる。また、識別器は合計でＮ個あるから、１つのテスト画像につき合計でＭ×Ｎ回の判定が行われる。 For example, in the example of FIG. 15, since M determination areas are set, determination by one classifier is performed M times for one test image. Furthermore, since there are a total of N classifiers, a total of M×N determinations are performed for one test image.
Ｓ３２では、評価部１１４が、Ｓ３１で行われた各判定の判定精度を評価する。上述のように、評価部１１４は、エラー率を算出することにより判定精度を評価してもよい。また、この評価には、重み設定部１１６が各テスト画像に設定した重みが考慮される。以下説明するように、Ｓ３２～Ｓ３６の処理は所定回数繰り返されるが、初回の評価では各テスト画像の重みは初期値（全てのテスト画像の重みは同一）とする。
In S32, the
Ｓ３３では、選抜部１１５が、Ｓ３２で評価された識別器の中から、当該評価の結果に基づいて識別器を選抜する。例えば、選抜部１１５は、エラー率が最も低かった１つの識別器を選抜してもよい。なお、この際に、選抜部１１５は、選抜した識別器と、その識別器の判定領域とを対応付けておく。
In S33, the
Ｓ３４では、信頼度算出部１１７が、Ｓ３３で選抜された識別器の信頼度を算出する。例えば、信頼度算出部１１７は、下記の数式により信頼度を算出してもよい。なお、下記の数式において、「ｌｎ」は、ｌｏｇｅである。
In S34, the
（信頼度）＝１／２・ｌｎ［{１－（エラー率）}／（エラー率）］
Ｓ３５では、識別器構築部１１８が、学習が終了したか否かを判定する。例えば、識別器構築部１１８は、Ｓ３２～Ｓ３６の処理の繰り返し回数が所定数に達していれば学習が終了したと判定し、所定回数に達していなければ学習は終了していないと判定してもよい。Ｓ３５で学習が終了したと判定された場合（Ｓ３５でＹＥＳ）にはＳ３７の処理に進み、終了していないと判定された場合（Ｓ３５でＮＯ）にはＳ３６の処理に進む。
(Reliability) = 1/2・ln[{1-(Error rate)}/(Error rate)]
In S35, the
Ｓ３６では、重み設定部１１６が、テスト画像の重みを更新する。この更新において、重み設定部１１６は、直近のＳ３３の処理で選抜された識別器が誤判定したテスト画像の重みが、同識別器が正しく判定したテスト画像の重みよりも大きくなるように更新する。
In S36, the
Ｓ３６の後、処理はＳ３２に戻り、評価部１１４が、更新後の重みを用いて、Ｓ３１で行われた各判定の判定精度を再評価する。この再評価では、直近のＳ３３の処理で選抜された識別器が誤判定したテスト画像の重みが相対的に大きくなっているので、このテスト画像の判定精度が高い識別器の評価が相対的に高くなる。
After S36, the process returns to S32, and the
よって、続くＳ３３では、前回選抜された識別器が誤判定したテスト画像の判定精度が高い識別器が選抜されやすくなる。このような繰り返し処理により、互いに欠点を補い合う識別器を順次選抜することができる。 Therefore, in the subsequent S33, a classifier with high determination accuracy for the test image that was incorrectly determined by the previously selected classifier is likely to be selected. Through such repeated processing, it is possible to sequentially select classifiers that compensate for each other's deficiencies.
Ｓ３７では、識別器構築部１１８が、これまでの繰り返し処理によって選抜された識別器を用いて、検出マークと登録マークとが一致するかを判定するための識別器を構築する。例えば、識別器構築部１１８は、選抜された識別器の出力値に当該識別器の信頼度で重みを付けた値を、選抜された全識別器について合計した値（以下、一致度と呼ぶ）を出力する識別器を構築してもよい。
In S37, the
また、識別器構築部１１８は、上記一致度の閾値を設定する。閾値は、構築した上記識別器の判定精度が少なくとも許容下限値以上となるように設定すればよい。例えば、識別器構築部１１８は、構築した上記識別器により算出された、登録マーク画像に写る登録マークと、複数のテスト画像１５３１および１５３２に写るマークとの一致度を取得してもよい。そして、識別器構築部１１８は、取得した一致度の平均と分散から一致度の標準偏差σを算出し、この標準偏差σを基準に上記閾値を設定してもよい。例えば、識別器構築部１１８は、閾値を５σとしたときに、構築した上記識別器の誤判定率が許容下限値以上となる場合に、閾値を５σとしてもよい。
Further, the
識別器が構築されることにより、図示の処理は終了となる。なお、Ｓ３７で構築した識別器は、記憶部１５０に記憶してもよいし、出力部１４０に出力させてもよい。また、情報処理装置１００と薬剤仕分装置１が通信機能を備えている場合、情報処理装置１００は、該通信機能により薬剤仕分装置１に構築した識別器を送信してもよい。
Once the classifier is constructed, the illustrated process ends. Note that the classifier constructed in S37 may be stored in the
薬剤仕分装置１の類似性判定部７４に含まれる複数の識別器７４１は、以上のように、登録マークの画像と他のマークの画像とを含むテスト画像群についての類似性の判定精度に基づいて選抜された識別器である。この構成によれば、テスト画像群についての類似性の判定精度に基づいて選抜された識別器による類似性の判定結果に基づいてマークの一致判定を行うので、高精度な判定を行うことが可能になる。
As described above, the plurality of
〔構築した識別器を用いたマークの一致判定処理の流れ〕
図１６および図１７に基づいて、上述のようにして構築した識別器を用いた、薬剤仕分装置１によるマークの一致判定処理（判定方法）の流れを説明する。図１６は、マークの一致判定処理の一例を示すフローチャートである。また、図１７は、マークの一致判定の具体例を示す図である。
[Flow of mark match determination process using the constructed discriminator]
Based on FIGS. 16 and 17, the flow of the mark match determination process (determination method) by the
Ｓ４１では、マーク検出部７３が、対象薬剤を撮像した撮像画像８２から、当該対象薬剤に形成されたマークを検出する。図１７の例では、撮像画像８２には、表面にマークＴ１１と番号Ｔ１２が記された錠剤Ｔ１が写っている。この例では、マーク検出部７３は、マークＴ１１を検出して、検出したマークＴ１１が写る矩形状の領域Ａ１を撮像画像８２から切り出して所定サイズに変更し、マーク画像８４を生成している。なお、所定サイズは、登録マーク画像１５２１と同じサイズである。
In S41, the
Ｓ４２では、類似性判定部７４が、Ｓ４１で検出された検出マークと登録マークとの類似性を、複数の識別器７４１により判定する。図１７の例では、類似性判定部７４は、識別器７４１－１から７４１－ｍのそれぞれを用いて、マーク画像８４に写る検出マークと、登録マーク画像１５２１に写る登録マークとの類似性を判定する。
In S42, the
なお、この判定は、各識別器７４１に対応付けられた判定領域Ａ２毎に行う。例えば、識別器７４１－１に対応付けられた判定領域がＡ２－１であり、識別器７４１－２に対応付けられた判定領域がＡ２－５であったとする。この場合、識別器７４１－１を用いた判定は判定領域Ａ２－１について行い、識別器７４１－２を用いた判定は判定領域Ａ２－５について行う。
Note that this determination is performed for each determination area A2 associated with each
Ｓ４３では、一致判定部７５が、Ｓ４２の判定結果に基づいて判定用スコアを算出する。図１７の例では、各識別器７４１は、類似していることを示す判定結果である「１」または非類似であることを示す判定結果である「－１」を出力している。そして、一致判定部７５は、上記判定結果にその判定を行った識別器７４１の信頼度を乗じて足し合わせることにより、判定用スコアを算出している。
In S43, the
Ｓ４４では、一致判定部７５は、Ｓ４３で算出した判定用スコアが閾値以上であるか否かにより、Ｓ４１で検出された検出マークと登録マークとが一致するか否かを判定する。このように、一致判定部７５は、各識別器７４１による判定の結果に、各識別器７４１の信頼度に応じた重み付けを行った上で、検出マークと登録マークとが一致するか判定する。これにより、各識別器７４１の信頼度をマークの一致判定に反映させることができるので、高精度な判定を行うことが可能になる。
In S44, the
最後に、Ｓ４５では、一致判定部７５は、Ｓ４５の判定結果を判別部６４に出力し、これにより図１６の処理は終了する。なお、Ｓ４４の判定結果が一致していないという結果であった場合、類似性の判定対象の登録マークを変更して、再度Ｓ４２～Ｓ４４の処理を行ってもよい。そして、Ｓ４４の判定結果が一致しているとの結果となるまでこれらの処理を繰り返してもよい。
Finally, in S45, the
図１６の処理の終了後、Ｓ４５の判定結果を受信した判別部６４は、マーク検出部７３の判定結果と、対象薬剤の色や形状、番号等のその他の検出結果や判定結果に基づいて、対象薬剤の種類を判別する。
After the process of FIG. 16 is completed, the
〔ソフトウェアによる実現例〕
薬剤仕分装置１の制御ブロック（特に、制御部６０ａおよび６０ｂに含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
[Example of implementation using software]
The control block of the drug sorting device 1 (particularly each part included in the
後者の場合、薬剤仕分装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the
同様に、情報処理装置１００の制御ブロック（特に制御部１１０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよい。そして、これら制御ブロックは、上述のようにしてソフトウェアによって実現してもよい。 Similarly, the control blocks of the information processing device 100 (particularly the units included in the control unit 110) may be realized by logic circuits (hardware) formed in an integrated circuit (IC chip) or the like. These control blocks may also be realized by software as described above.
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
[Additional notes]
The present invention is not limited to the embodiments described above, and various modifications can be made within the scope of the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. are also included within the technical scope of the present invention.
１ 薬剤仕分装置
６０ コンピュータ（種類判別装置）
６４ 判別部
７１ マスタ更新部
７２ 重み更新部（評価情報更新部）
８１ 薬剤データベース
８２ 撮像画像
８１１ａ、８１１ｂ マスタ色データ
７３ マーク検出部
７４ 類似性判定部
７４１ 識別器
７５ 一致判定部
１００ 情報処理装置
１１５ 選抜部
１１８ 識別器構築部
1
64
81
Claims (12)
前記マスタデータには、薬剤の色を示すマスタ色データが含まれており、
前記撮像画像から生成された、前記対象薬剤の外観の特徴を示す情報と、前記マスタデータとを照合し、該照合の結果に基づいて前記対象薬剤の種類を判別する判別部と、
前記判別部が前記対象薬剤の種類の判別に成功したときに、当該判別に使用された、前記対象薬剤の色を示す判別成功色データを、新たな前記マスタ色データとするマスタ更新部と、を備え、
前記判別部は、前記対象薬剤の色を示す対象色データと、各種類の薬剤に対応する前記マスタ色データのそれぞれとの類似度を算出すると共に、該類似度の順に、前記対象薬剤の特徴を示す前記情報と前記マスタデータとの照合を行って前記対象薬剤の種類を判別することを特徴とする種類判別装置。 A type discrimination device that discriminates the type of a target drug from a captured image of an unknown type of target drug using master data for drug verification,
The master data includes master color data indicating the color of the drug,
a determination unit that compares information indicating the appearance characteristics of the target drug generated from the captured image with the master data, and determines the type of the target drug based on the result of the comparison;
a master updating unit that, when the discrimination unit successfully discriminates the type of the target drug, sets successful discrimination color data indicating the color of the target drug used for the discrimination as new master color data; Equipped with
The discrimination unit calculates the degree of similarity between the target color data indicating the color of the target drug and each of the master color data corresponding to each type of drug, and calculates the characteristics of the target drug in the order of the similarity. A type discrimination device characterized in that the type of the target drug is discriminated by comparing the information indicating the target drug with the master data .
前記マスタデータには、薬剤の色を示すマスタ色データが含まれており、The master data includes master color data indicating the color of the drug,
前記撮像画像から生成された、前記対象薬剤の外観の特徴を示す情報と、前記マスタデータとを照合し、該照合の結果に基づいて前記対象薬剤の種類を判別する判別部と、a determination unit that compares information indicating the appearance characteristics of the target drug generated from the captured image with the master data, and determines the type of the target drug based on the result of the comparison;
前記判別部が前記対象薬剤の種類の判別に成功したときに、当該判別に使用された、前記対象薬剤の色を示す判別成功色データを、新たな前記マスタ色データとするマスタ更新部と、a master updating unit that, when the discrimination unit successfully discriminates the type of the target drug, sets successful discrimination color data indicating the color of the target drug used for the discrimination as new master color data;
複数の前記判別成功色データを訓練データとして、前記対象薬剤の色を示す対象色データと前記マスタ色データとから前記対象色データと各種類の薬剤に対応する前記マスタ色データのそれぞれとの類似度を算出するための類似度評価情報を更新する評価情報更新部と、を備えることを特徴とする種類判別装置。Using a plurality of the successfully discriminated color data as training data, the similarity between the target color data and the master color data corresponding to each type of drug is calculated from the target color data indicating the color of the target drug and the master color data. A type discrimination device comprising: an evaluation information update unit that updates similarity evaluation information for calculating a degree.
前記マスタデータには、薬剤の色を示すマスタ色データが含まれており、
前記撮像画像から生成された、前記対象薬剤の色を示す対象色データと、各種類の薬剤に対応する前記マスタ色データのそれぞれとの類似度を算出すると共に、該類似度に基づいて前記対象薬剤の種類を判別する判別部と、
前記判別部の判別結果が正しかったときに、当該判別に使用された前記対象色データである判別成功色データを複数取得して訓練データとし、該訓練データを用いて、前記対象色データと前記マスタ色データとから前記類似度を算出するための類似度評価情報を更新する評価情報更新部と、を備えることを特徴とする種類判別装置。 A type discrimination device that discriminates the type of a target drug from a captured image of an unknown type of target drug using master data for drug verification,
The master data includes master color data indicating the color of the drug,
The degree of similarity between the target color data indicating the color of the target drug generated from the captured image and each of the master color data corresponding to each type of drug is calculated, and the degree of similarity between the target color data indicating the color of the target drug generated from the captured image and each of the master color data corresponding to each type of drug is calculated, and the degree of similarity is calculated based on the similarity. a discrimination unit that discriminates the type of drug;
When the discrimination result of the discriminator is correct, a plurality of successfully discriminated color data, which is the target color data used for the discrimination, are obtained as training data, and using the training data, the target color data and the A type discrimination device comprising: an evaluation information update unit that updates similarity evaluation information for calculating the similarity from master color data.
前記撮像画像から前記対象薬剤に形成されたマークを検出するマーク検出部と、
前記マーク検出部が検出した検出マークと、薬剤の照合用のマスタデータに登録されている登録マークとの類似性を、複数の識別器により判定する類似性判定部と、
各識別器による前記判定の結果に基づいて前記検出マークと前記登録マークとが一致するか判定する一致判定部と、を備えることを特徴とする種類判別装置。 A type discrimination device that discriminates the type of a target drug from a captured image of an unknown type of target drug, comprising:
a mark detection unit that detects a mark formed on the target drug from the captured image;
a similarity determination unit that uses a plurality of discriminators to determine the similarity between the detection mark detected by the mark detection unit and a registered mark registered in master data for drug verification;
A type discriminating device comprising: a match determining unit that determines whether the detection mark and the registration mark match based on the results of the determination by each classifier.
前記選抜部が選抜した複数の前記識別器を用いて、前記検出マークと前記登録マークとが一致するか否かを判定するための識別器を構築する識別器構築部と、を備えることを特徴とする情報処理装置。 Based on the accuracy of similarity judgment, multiple discriminators are selected from a group of discriminators that judge the similarity between the detection mark detected from the captured image of the drug and the registered mark registered in the master data for drug matching. a selection department that selects a discriminator;
A discriminator construction unit that constructs a discriminator for determining whether or not the detection mark and the registered mark match, using the plurality of discriminators selected by the selection unit. Information processing equipment.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023168701A JP2023165958A (en) | 2018-12-27 | 2023-09-28 | Type discrimination device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018246003 | 2018-12-27 | ||
| JP2018246003 | 2018-12-27 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023168701A Division JP2023165958A (en) | 2018-12-27 | 2023-09-28 | Type discrimination device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020103885A JP2020103885A (en) | 2020-07-09 |
| JP7364888B2 true JP7364888B2 (en) | 2023-10-19 |
Family
ID=71447563
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019224015A Active JP7364888B2 (en) | 2018-12-27 | 2019-12-11 | Type discrimination device |
| JP2023168701A Pending JP2023165958A (en) | 2018-12-27 | 2023-09-28 | Type discrimination device |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023168701A Pending JP2023165958A (en) | 2018-12-27 | 2023-09-28 | Type discrimination device |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7364888B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016015093A (en) | 2014-07-03 | 2016-01-28 | アレイ株式会社 | Tablet identifying apparatus and method thereof, and packaged tablet monitoring apparatus |
| US20170103195A1 (en) | 2015-10-13 | 2017-04-13 | Samsung Electronics Co., Ltd. | Electronic device and method for authenticating fingerprint in an electronic device |
| WO2018173649A1 (en) | 2017-03-23 | 2018-09-27 | 富士フイルム株式会社 | Drug recognizing device, drug recognizing method, and drug recognizing program |
| WO2018190394A1 (en) | 2017-04-14 | 2018-10-18 | 株式会社湯山製作所 | Drug sorting device, sorting container, and drug return method |
-
2019
- 2019-12-11 JP JP2019224015A patent/JP7364888B2/en active Active
-
2023
- 2023-09-28 JP JP2023168701A patent/JP2023165958A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016015093A (en) | 2014-07-03 | 2016-01-28 | アレイ株式会社 | Tablet identifying apparatus and method thereof, and packaged tablet monitoring apparatus |
| US20170103195A1 (en) | 2015-10-13 | 2017-04-13 | Samsung Electronics Co., Ltd. | Electronic device and method for authenticating fingerprint in an electronic device |
| WO2018173649A1 (en) | 2017-03-23 | 2018-09-27 | 富士フイルム株式会社 | Drug recognizing device, drug recognizing method, and drug recognizing program |
| WO2018190394A1 (en) | 2017-04-14 | 2018-10-18 | 株式会社湯山製作所 | Drug sorting device, sorting container, and drug return method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023165958A (en) | 2023-11-17 |
| JP2020103885A (en) | 2020-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7120370B2 (en) | system | |
| JP7238942B2 (en) | drug identification software | |
| JP5916032B2 (en) | Drug test support apparatus and method | |
| JP6009888B2 (en) | Drug inspection apparatus and method | |
| JP7264105B2 (en) | Drug sorting device | |
| CN105307622B (en) | Subpackage medicament check device and method | |
| TW201625195A (en) | Inspection assistance system and tablet packaging device | |
| CN110418627A (en) | Medicament identification device, medicament recognition methods and medicament recognizer | |
| KR20170001467A (en) | Medicine packets inspection apparatus and method for inspecting medicine packets | |
| JP2024052916A (en) | Drug inspection support device, drug inspection support system, and drug inspection method | |
| JPWO2020044933A1 (en) | Object collation device and object collation method | |
| JP7364888B2 (en) | Type discrimination device | |
| JPWO2019082858A1 (en) | Dispensing support system | |
| WO2022092130A1 (en) | Type discriminating device, type discriminating method, type discriminating program, and drug sorting device | |
| JP2024000962A (en) | Medicine sorting device and type discrimination device | |
| JP7360070B2 (en) | Pharmaceutical sorting device | |
| JP7230985B2 (en) | Drug sorting device | |
| JP5582610B2 (en) | Image identification apparatus and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221018 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230818 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230918 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7364888 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |