JP2015512075A - 自動化された医薬品錠剤の識別 - Google Patents

自動化された医薬品錠剤の識別 Download PDF

Info

Publication number
JP2015512075A
JP2015512075A JP2014553533A JP2014553533A JP2015512075A JP 2015512075 A JP2015512075 A JP 2015512075A JP 2014553533 A JP2014553533 A JP 2014553533A JP 2014553533 A JP2014553533 A JP 2014553533A JP 2015512075 A JP2015512075 A JP 2015512075A
Authority
JP
Japan
Prior art keywords
image
tablet
features
computer
pharmaceutical composition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014553533A
Other languages
English (en)
Other versions
JP6154826B2 (ja
Inventor
ガースティン ユージーン
ガースティン ユージーン
ジェイコブス アラン
ジェイコブス アラン
ゲバラ アレクサンダー
ゲバラ アレクサンダー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interlink AI Inc
Original Assignee
Perceptimed Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Perceptimed Inc filed Critical Perceptimed Inc
Publication of JP2015512075A publication Critical patent/JP2015512075A/ja
Application granted granted Critical
Publication of JP6154826B2 publication Critical patent/JP6154826B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/66Trinkets, e.g. shirt buttons or jewellery items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2528Combination of methods, e.g. classifiers, working on the same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2552Combination of methods, e.g. classifiers, working on different input data, e.g. sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

錠剤識別システムは、医薬組成物の画像から、医薬組成物に対する錠剤の種類を識別する。このシステムは、錠剤を撮影した画像から特徴を抽出する。錠剤画像から抽出された特徴は、錠剤の色、寸法、形状及び表面特徴を含む。特に、特徴は、画像が撮影された際の様々な向きからでも錠剤を識別することを可能とする回転独立な表面特徴を含む。各画像に対して錠剤の同一性を決める分類器に特徴ベクトルを適用する。各画像に対する錠剤の同一性を採点し、医薬組成物に対する同一性を判別する。【選択図】図1

Description

本出願は、2012年1月23日に出願された米国仮出願第61/589,750号の利益を主張するものであり、参照によりその開示の全体を本明細書に援用する。
本開示は、一般には画像処理に関し、より具体的には、自動化された手段による医薬組成物(例えば、錠剤)の識別に関するものである。
米国においては、投薬ミスは、毎日少なくとも1人の死亡の原因となり、年間で約130万人を害している。致命的な投薬ミスに関する食品医薬品局(FDA)の研究により、投薬に伴う最も一般的な過誤は、薬物の不適切な用量(41%)と誤った薬物の投与(14%)に関連するものであることがわかった。致命的な投薬ミスのほぼ半分は、複数の処方薬を取ることの多い60歳以上の人々に発生している。このような投薬ミスは、固体経口剤形態の全ての薬物に識別コード刷り込むことを義務付けた1995年施行の連邦規制にもかかわらず、継続して発生している。
病院や養護施設の環境で患者に薬物を投与する作業は、品質保証に限界があり、人為的エラーに非常に陥りやすい作業を伴う手作業が残ったままである。典型的には、看護師は、患者の処方箋を読み、意図する薬物の錠剤の瓶を開け、標識の付いていない小さなプラスチック製のカップ内に錠剤を置き、患者のベッドサイドにカップを運び、カップの中に錠剤を飲むように患者に指示する。1)正しい薬物及び数の錠剤がプラスチックカップの中に置かれたこと、2)薬物が正しい患者に届けられたこと、又は3)薬物が正しい時間(例えば4時間毎未満)に投与されていること、を確認する独立した品質保証工程は存在しない。
同様に、家庭環境にいる患者は、自分の薬物を管理することについて相当の責任を負い、これが投薬ミスにつながる可能性がある。種々の問題の中でも、家庭で多い過誤は、錠剤の用量又は分量を誤った服用、ある薬物又は用量の服用の忘れ、誤った時間での薬物の服用、1日の服用回数過多、又は、1日の服用回数不足が挙げられる。患者が、一日に複数の薬物を服用したり、複雑な時期及び投与要因を伴う投薬計画があったりするので、薬物を慎重に日々管理することは非常に困難となり得る。
また、薬物の間違いは、薬局の環境で発生する可能性もある。記入済みの処方箋が、錠剤の誤った用量又は分量と、誤った薬物を間違って表示する可能性がある。薬剤師が、薬、分量、又は用量を間違って調剤することもあり、これは、患者の重傷又は死亡事故につながり得る。働きすぎたり気を取られたりした結果として、又は、名前が類似した薬物、もしくは物理的外観が類似した薬物との間の混乱により、薬剤師がこの種の過ちを犯す可能性がある。
必要とされているのは、正しい薬物及び用量が提供されていることを確認するための、自動化された方法で薬物を迅速かつ容易に識別するための機構である。自動化された薬物及び用量システムの一部として、錠剤が識別され、それが患者のために意図されたものとして確認されなければならない。錠剤の識別の自動化に関する固有の課題は、錠剤を、製薬会社が選択した任意の印によって識別するという点である。例えば、錠剤は、任意の形状、表面性状、印刷文字のフォント及び向き、色等を含むことができる。錠剤の特徴に関するこれらの態様により、錠剤の識別方法に特有の課題が生じる。また、識別のために特定の方法で薬の向きを変える必要がある解決手段では、機械又はオペレータが錠剤の向きを変えるので、過度の遅延が生じる。
錠剤を撮影した画像から特徴を抽出することにより錠剤を識別する錠剤の識別システムを提供する。錠剤画像から抽出された特徴は、回転独立な表面特徴を含んでおり、これによって、画像が撮影された向きにかかわらず錠剤の識別が可能となる。
医薬組成物を識別するためのコンピュータで実行するシステム、方法、及びコンピュータ可読媒体を提供する。医薬組成物の少なくとも1つの画像であって、それぞれが医薬組成物の明確な画像を提供する画像がアクセスされる。医薬組成物の各画像から特徴を抽出するが、この特徴には、画像中の表面特徴の回転独立な尺度が含まれる。特徴ベクトルは、その画像に対して抽出された特徴を含む医薬組成物の各画像に対して生成される。少なくとも一つの分類器が、各画像に関連する少なくとも一つの分類を決定するために、特徴ベクトルの各々に適用される。錠剤識別は、各画像に対して少なくとも一つの分類を蓄積することによって決定される。
一実施形態に係る例示的な錠剤検証システムの概念図を提供する。 一実施形態に係る錠剤画像から錠剤を識別するための方法の概要を示す。 一実施形態に係る特徴抽出及び画像分類の実施形態の概要を示す。 一実施形態に係る錠剤輪郭識別プロセスを示す。 一実施形態に係る他の錠剤輪郭識別プロセスを示す。 一実施形態に係る、錠剤画像から特徴を抽出する方法を示す。 一実施形態に係る、錠剤画像から表面特徴を抽出する方法を示す。 一実施形態に係る、表面特徴を抽出するために使用される画像処理技術を示す。 一実施形態に係る、表面特徴を抽出するために使用される画像処理技術を示す。 一実施形態に係る、表面特徴を抽出するために使用される画像処理技術を示す。 一実施形態に係る、表面特徴を抽出するために使用される画像処理技術を示す。 一実施形態に係る、表面特徴を抽出するために使用される画像処理技術を示す。 一実施形態に係る、表面特徴を抽出するために使用される画像処理技術を示す。 一実施形態に係る、表面特徴を抽出するために使用される画像処理技術を示す。 一実施形態に係る、錠剤特徴ベクトルの色成分を生成する方法を示す。 一実施形態に係る、錠剤画像の特徴ベクトルを識別するための階層的な分類方法を示す。 一実施形態に係る、分類器得点を用いた錠剤識別方法を示す。 一実施形態に係る錠剤識別システムを示す。
図面は、例示のみの目的で、本発明の様々な実施形態を示す。当業者は、本明細書に例示の構造及び方法の代替的な実施形態を、本明細書に記載の本発明の原理から逸脱することなく用いることができることを、以下の説明から認識するであろう。
(a)概要
一実施態様によれば、医薬組成物、例えば、任意の種類の錠剤、タブレット、カプセル、又は他の医薬組成物を含むことができる錠剤を識別するための画像分類方法及びシステムが提供される。画像処理方法は、錠剤の撮影画像から特徴を抽出し、抽出された特徴に採点アルゴリズムを適用し、錠剤識別データベースから各画像に最も適合する錠剤を識別し、識別された最も適合する錠剤から、最も確度の高い最も適当する錠剤にしたがって錠剤を識別することにより、錠剤の識別を提供する。
一実施形態では、画像分類システムは、錠剤分配及び/又は検証システムの一部である。このようなシステムの一例が、2011年3月9日に出願された米国仮特許出願番号第61/311,900の優先権を主張する、2011年3月8日に出願された国際特許出願番号PCT/US2011/027586号に開示されている。これら双方の文献の全体を本明細書に援用するが、分配及び/又は検証のための他のシステムも用いることができ、又は、画像分類を、かかる分配及び/又は検証システムとは独立して行うことができる。この例示的な錠剤分配及び検証システムでは、錠剤はシステムに導入され、システムは、錠剤の周囲に配置されたカメラ又は他の撮影装置を用いて錠剤を撮影する。画像を画像分類システムに提供して、錠剤画像がデータベース内の錠剤の特性と一致するかどうかを決定する。具体的には、特徴を錠剤画像から抽出し特徴ベクトルを形成して、画像と、特徴データベース内の既知の錠剤の特徴との比較を可能にする。錠剤識別がシステムにより使用され、例えば、錠剤が、患者に対して処方された用量の一部であるかどうかを判別する。
図1は、例示的な錠剤検証システムの概念図を示す。錠剤100は、撮影プロセス中に、チューブ110又は経路を下る。チューブ110は、一般的に透明であり、カメラ120が、遮られることなく錠剤100を視野に入れることを可能とする。チューブ100は、少なくとも部分的に錠剤の向きを合わせ、錠剤画像間のばらつきを低減するよう構成することができる。一実施形態では、四角形のチューブ100を傾けて使用し、任意の角度で自由落下するのではなく、錠剤の平坦な面に沿って錠剤が滑るように促している。カメラ120は、錠剤100がチューブ110を通過する間に錠剤100の画像を撮影し、画像は錠剤識別のために処理される。これらの錠剤画像は、錠剤がシステムを進む間に撮影することができる。このシステムは、画像が撮影されている間に錠剤を停止又は静止状態とすることを必要としないが、その代わりに、動いている錠剤の画像を撮ることができる。
一実施形態では、チューブ110の端部は、錠剤画像を処理している間等の、識別が完了するまでの間、錠剤を停止するゲート130を含む。いくつかの実施形態は、ゲート130を含まない。識別が完了すると、誘導器150を動かし、正又は負の結果のいずれかの容器140に錠剤を向ける。錠剤が、患者に処方された錠剤及び用量であるものとして識別された場合には、錠剤は、正の結果の容器140に誘導され、そうでない場合には、負の容器に誘導される。誘導器が所定の位置となると、ゲート130が開き、錠剤は、適切な結果容器140に向けられる。他の実施形態では、他の基準により、正の容器に錠剤を入れるかどうかを決定する。例えば、いくつかの構成では、検出された錠剤の特定の種類を任意の量で正の容器に誘導する。さらなる実施形態では、複数の結果容器140を使用し、各種類の錠剤が、その識別に応じて誘導される。複数の結果容器を用いて、例えば、異なる種類の錠剤の混合物を分類することができる。これにより、ユーザは、検証システムに錠剤を加え、錠剤の同一性の迅速かつ自動的な決定を受け取る。錠剤は、チューブ110を通って進む間に同定されるので、システムは迅速に錠剤を識別し、分類することができる。他の実施形態では、正及び負の容器を用いる代わりに、システムは、各錠剤が、正又は負と識別されるかどうか(すなわち、指定された錠剤の種類に適合又は不適合である)を示すか、さもなければ、錠剤の種類又は同一性に関する表示又は情報を提供する。
(b)錠剤の分類の概要
図2は、一実施形態による錠剤の画像から錠剤を識別する(201)方法の概要を示す。この図は、本方法に含めることができる工程の単なる一例を提供するが、他の実施態様では、手順は変わる場合があり、又は順番が異なる場合がある。同じことが、本明細書に記載された全ての方法に当てはまる。図2において、まずシステムは、例えば、カメラ120からの、医薬組成物(例えば、錠剤)の画像にアクセスする(202)。あるいは、錠剤画像は、カメラ120とは別に、システムから錠剤画像を受信することによってアクセスされる。すなわち、本明細書に記載の錠剤識別方法は、1つ又は複数の錠剤画像から錠剤を識別するあらゆる用途に有用であり得る。
錠剤を分類するために、錠剤画像の各々から特徴を抽出する(203)。以下に詳細に説明するように、任意の適切な特徴又は特徴の組を用いることができるが、本実施形態では、錠剤から抽出された特徴は、色、寸法、形状、及び表面特徴を含む。抽出された特徴を用いて、錠剤の画像に関連付けられた特徴を用い、錠剤画像の代理となる特徴ベクトルを作成する。次に、カメラからの各画像は、画像内に表された可能性が最も高い錠剤を識別する分類アルゴリズムによって分類される(204)。各画像の分類後、分類器からの結果を採点し(205)、様々な画像からの結果を結合する。画像は、異なる錠剤識別を提供することがあるので、採点(205)は、候補となる錠剤の種類の各々に対して得点を求め、得点が最も高かった錠剤の種類を選択する(206)。
特徴抽出及び画像分類方法(例えば、図2の工程203及び204)の実施形態の概要を、図3を参照しつつ説明する。画像分類は、錠剤の未加工の画像写真や他の画像から開始する(301)。錠剤に対応する画像から特徴を抽出するために、錠剤を含む画像の部分が識別される。錠剤を識別するために、錠剤識別システムは、錠剤の輪郭を決定し、画像内の反射を除去する(302)。錠剤が識別されると、さまざまな画像処理技術により錠剤画像から特徴ベクトルを生成する(303)。すなわち、本実施形態では、各錠剤画像は、錠剤画像を代表する特徴ベクトルに関連付けられている。錠剤画像から抽出された特徴は、分類アルゴリズムによって分類される(304)。分類アルゴリズムは、様々な分類法を使用して、画像に対するブールベストマッチな錠剤の種類を出力でき、又は代替的に、分類法は、信頼値を用いて、ベストマッチな錠剤の種類を示す。分類器は、例えば、サポートベクターマシン(SVM)等の任意の適切な機械学習分類システムであってもよい。
特徴ベクトルを分類する(304)に先立ち、錠剤分類器を、既知の錠剤の複数の画像で訓練する。訓練工程を使用して、種々の訓練画像であって、これら訓練画像に対して対応する錠剤の種類に関する情報を含む訓練画像が使用される。錠剤分類器は、各錠剤の種類を特徴付ける特徴を決定するために、訓練画像から抽出された特徴で訓練される。単一錠剤分類器として説明を行ってきたが、錠剤分類器は、複数の分類器を含むことができ、各分類器は、その特定の分類器に対する特徴と錠剤の種類の組で訓練される。後述するように、分類器を階層的に組織化し、高位の分類器を、容易に識別される特徴ベクトルの区別に用いる。例えば、高位の分類器は、色に基づいて区別を行い、錠剤を白、茶、赤、青等と識別することができる。訓練において、錠剤は、特定の種類(例えば、色)に属するようにオペレータが指定してもよいし、特徴ベクトルを自動的にクラスタ化してもよい。クラスタ内で錠剤の種類に関連付けられた特徴ベクトルを用いて、高位の分類器を訓練する。高位の群での分類の後、下位の分類器は、追加のクラスタをさらに区別するか、又は特徴ベクトルを錠剤の種類として分類することもできる。一実施形態では、分類器は、錠剤の分類データベースで管理される。
(c)錠剤輪郭検出
一実施形態において、画像を処理して特徴を抽出するに先立ち、錠剤の画像を処理して、画像内の錠剤の位置を特定し、錠剤の向きを合わせる。この錠剤輪郭識別は、画像を清浄化し、画像から抽出された特徴が、錠剤を起原とし、背景雑音や画像の他の側面からのものではない特徴であることを確認するために使用される。また、画像は、画像の様々な領域に位置する錠剤の全部又は一部を取り込むことができ、かつ、特定の錠剤の種類には、様々な形状及び寸法があるので、この錠剤画像識別も用いられる。
錠剤輪郭識別プロセスの一実施形態を、図4Aを参照して説明する。画像をグレースケールに変換する(402)ことにより、錠剤輪郭識別プロセスが開始される(401)。次に、画像の階調範囲を動的に測定し(403)、元のグレースケール画像の色範囲を完全な階調範囲に較正する。換言すれば、元の階調範囲を、0〜255とすることが可能な処理範囲にて、20〜60の範囲の値を使用する場合、20〜60という値の範囲が、0〜255の範囲全体を使用するような縮尺とされる。次に、錠剤画像内に含まれる縁を検出する(404)。これは、キャニーフィルタや縁を識別するための別の仕組みを用いて行うことができる。検出された縁は、錠剤の実際の縁等の、別の部分から際立って対照的な錠剤画像の一部のみならず、錠剤上の任意のレタリング、錠剤上の他の押印、及びコントラストの高い画像の外観等の表面マークを含むことができる。したがって、この部分に記載されている「縁」とは、当初は錠剤の輪郭を形成していない。
錠剤輪郭識別のための本実施形態を続けると、検出された縁は、輪郭リストに変換される(405)。各輪郭は、画像内で検出された個々の連続した縁に対応している。セグメントを検査し、最小のしきい値に達していない輪郭を輪郭リストから除去する(406)。例えば、輪郭は、例えば、最小長、0.1よりも大きいアスペクト比等の最小アスペクト比、及び最小面積(すなわち、輪郭の画素数)を満たす必要があり得る。このようにして、影及び他のノイズを検出して除去することができ、このことは、錠剤輪郭の一部である輪郭のみが選択されている確率を増加させる。次に、オープンエンドの輪郭を分析し、隣接するオープンエンドの輪郭を識別し、隣接する輪郭を接続する(407)ことによって、1つの輪郭の開口部が、隣接するオープンエンドの輪郭と一致するか否かを判定する。輪郭を接続した後、輪郭は閉鎖された空間を含む。最小面積を囲むことができない閉鎖的な空間は、排斥される(408)。次に、輪郭は、関心領域に変換される(409)。他のフィルタリング工程は、アスペクト比が最小しきい値を超えている関心領域と、視野の端に近すぎる領域とを取り除く(410)。換言すると、錠剤の縁に近すぎる、又は過度に細長い関心領域は、輪郭検出の目的では、錠剤の一部を構成していないと仮定される。
関心領域の残部は、単一の関心の領域に結合され(411)、関心領域内の全ての穴が埋められる(412)。次に、関心領域は、開口フィルタを適用して(413)関心領域の輪郭外の突起を除去することによって平滑化される。最後に、内部空間を埋めて、関心空間を拡張する。すなわち、内部空間は、関心領域の凸部にまで拡大される(414)。これは、錠剤の特徴を抽出するために用いることができる錠剤の輪郭を作成する。
一実施態様に従う錠剤輪郭を同定する別の方法を図4Bに示す。この方法では、錠剤の輪郭は、並列に動作する2つの錠剤輪郭化方法によって決定される。2つの方法を比較し、どちらの方法が良好な結果を与え、最終的な錠剤の輪郭を生成するために組み合わせることができるかを決める。錠剤輪郭識別を開始した(430)後、工程は、画像内のチューブの境界を識別する(431)。カメラ120で撮影された錠剤100の画像は、錠剤画像内に管の一部を含んでもよい。位置は、チューブ110とカメラ120の配置に基づいて変化するものの、チューブの境界は、典型的には、画像の上下領域において識別される。一実施形態では、チューブの境界は、画像の隅(左上、右上、下左、右下)の強度の低い領域によって識別される。チューブの境界の位置及び角度が特定され、算出される。
第1の輪郭判定方法では、画像内のコントラストの高い領域を特定することにより、画像内での輪郭の組を識別する(440)。縁は、例えば、キャニーフィルタを介する等の、任意の適当な方法によって検出することができる。次に、画像内で識別された、互いに隣接している縁を接合する(441)。一実施形態では、接合された隣接する縁は、互いに余接である。結合後、錠剤の領域は、閉じた輪郭を形成する縁から作成される。
次に、反射領域を識別し除去する(460)。反射領域は、チューブの境界と画像の縁に錠剤領域を比較することによって決定される。チューブ境界の一部である錠剤領域、及び、画像の縁付近に主にある領域(例えば、上部及び底部)を錠剤領域リストから除去する。錠剤領域の残部に対して、背景画素数を求める(461)が、この画素数は、錠剤の背景の一部である可能性が高い画素を包囲する錠剤領域の程度を示している。すべての色チャンネル(すなわち、全ての色の種類の)において暗い画素を識別することにより、背景画素を決定する。暗さのしきい値は、チューブ110とカメラ120の構成に基づいて決めることができる。背景の画素数が多い場合には、錠剤領域が錠剤よりもかなり大きい可能性を示し、錠剤輪郭判定において誤りがあった可能性を示している。最終的に、錠剤領域を錠剤領域リストの凸部にまで埋める(462)。これにより、錠剤領域が結合され、負の曲率の変曲点を除去する錠剤輪郭が生成される。
第2の輪郭検出方法は、元のRGB画像に由来する、2つの異なる数学的に誘導された画像のグレースケール分割から始まる(450)。最初のグレースケール画像は、彩度色チャネルの変化から作成される。色は領域毎に錠剤内で変化することがあるが、典型的には、彩度は、錠剤とノイズの多い背景部分を通して、比較的一貫している。第2のグレースケール画像は、RGBのカラーチャンネルの各々についてグレースケールの画素値が最大となる画像である。各画像からセグメント化した結果は、単一の錠剤領域に結合される。次に、反射線を識別することによって、錠剤反射を判別する(451)。反射線は、畳み込みカーネルを用いて、水平線の画素を識別する。水平線の画素をチューブ境界内で識別して、反射性が高い部分を識別する。畳み込みカーネルからの画素を組み合わせて、反射線を識別する(451)。反射線を使って、グレースケール分割450で生成された関心領域を、錠剤領域452からの反射を分離することによって、複数の非連結領域に分割する。錠剤領域の分離は、反射線に基づく。反射に関連付けられ錠剤領域を取り除き(460)、背景画素を数え(461)、上記のように領域が凸部にまで埋められる(462)。したがって、縁検出を介して生成される第1の組と、グレースケール分割を介して生成される第2の組との2組の関心領域が生成される。
次に、2つの錠剤輪郭を組み合わせる(470)。縁基準の輪郭とグレースケール基準の輪郭からの輪郭を用いて、単一の錠剤の輪郭を決定する。組み合わせた輪郭は、2つの錠剤輪郭のうちの一方からの錠剤輪郭であってもよいし、錠剤輪郭の組み合わせであってもよい。組み合わせた輪郭のいずれを使用するかの決定は、各関心領域の背景画素数に基づいて決定される。一方の錠剤輪郭の背景画素数が、他方の画素数に比べて有意に低い場合には、画素数の低い錠剤輪郭を組み合わせ錠剤輪郭として選択する。両方の錠剤輪郭が同様の画素数を有する場合、各錠剤種類に対する関心領域の和集合を用いて、両方に対して共通の関心領域を決定する。また、残りの変曲点は、関心領域における変曲点を分析することによって識別することができる。変曲点を調べて、変曲点が直線を構成するかどうかを判断する。そのような直線が、チューブに関連付けられた画像の領域内で識別された場合は、直線に関連付けられた関心領域が錠剤輪郭から削除され、関心領域の残部を錠剤輪郭として戻す。
前述の方法の結果として、錠剤の輪郭が識別され、錠剤分類方法で使用するための錠剤の特徴を抽出するために使用することができる。前述の説明は、錠剤輪郭識別方法の一実施形態であり、他の実施形態では、錠剤の輪郭を識別する他の方法を使用することができる。
(d)特徴ベクトル
画像から識別された錠剤の形状を用いて、特徴を画像から抽出し、特徴ベクトル構成して、錠剤画像を特徴付ける。特徴ベクトルは、既知の錠剤の種類に錠剤画像を関連付けることによって分類器を訓練するため、及び、訓練された分類器を用いることによって未知の錠剤を識別するために、分類システムによって使用される。一実施例では、特徴ベクトルは、錠剤の形状及び寸法から抽出された成分、錠剤の表面特徴、及び錠剤の色成分を含む。
錠剤画像から特徴を抽出する方法の一実施形態を図5に示す。特徴ベクトルの作成は、上述したように錠剤の輪郭を決定した後に開始する(501)。まず、錠剤の輪郭を囲む矩形を生成し、この矩形を錠剤の輪郭の周囲であらゆる方向に向けて、錠剤の輪郭を囲む最小の矩形が判定されるまで、矩形を小さくする(502)。次に、錠剤輪郭の矩形が水平になるように、包囲された錠剤輪郭を回転する(503)。すなわち、矩形を用いて錠剤を主に水平位置に回転させて、複数の錠剤画像にわたって、アスペクト比及び他の特徴を容易にかつ一貫して測定するようにする。水平位置に錠剤画像を回転させる他の方法を用いてもよいし、いくつかの実施形態では、錠剤画像を回転させずに特徴を計算する。この実施形態では、特徴は、回転した錠剤画像から抽出される。概して、錠剤輪郭から、形状及び寸法成分を計算し(504)、表面特徴成分を計算し(505)、色成分を計算する(506)。これらの様々な成分の生成を以下でさらに詳細に説明する。これらの成分は、画像に関連付けられた特徴ベクトルに加えられる(507)。
また、錠剤を撮影した他の画像からの特徴を特徴ベクトルに加え、ある種の特徴を際立たせてもよい。この実施形態では、各画像からの寸法及び色の特徴を、各画像の特徴ベクトルのそれぞれの部分に加えている。例えば、各画像の寸法に関連した領域の特徴を、各画像の領域特徴ベクトルに加える。領域特徴データを加えるに先立ち、画像データを統合し選別する。したがって、3枚の画像が、関連する領域の特徴19、32、及び25を含む場合は、領域特徴が統合され選別されて、3枚の画像に対して各特徴ベクトルに加えられる領域機能(19、25、32)の組が生成される。このようなデータの追加は、例えば、錠剤の短辺を示す画像が、実際には、略長円形の錠剤の短辺であることを表すデータで分類器を訓練することを可能にする。このようにして各特徴ベクトルに加えられる特徴は、以下でより詳細に説明するが、面積、長さ及びアスペクト比からなる寸法基準の特徴を含む。各画像の表面特徴の複雑さを表す特徴を各特徴ベクトルに加えてもよい。この特徴は、例えば、一般に、錠剤の種々の側面の表面テクスチャの分布を示すことができる。
(e)特徴ベクトル−形状及び寸法成分
錠剤画像及び輪郭を使用して、一実施形態では、特徴ベクトルの様々な形状及び寸法成分を生成する。寸法及び形状の計算には、例えば、最長部の長さ、錠剤輪郭の長さ、面積、アスペクト比、円形度、緻密度、凸度、嵩高、及び構造係数を含む。
円形度は、円形に対する錠剤の輪郭の類似度を測定し、一実施形態では、領域の面積を計算し、この面積を、中心から輪郭ピクセルまでの最大距離を二乗し円周率を乗じたもので除することで計算される(円形度=(面積)/(最大距離)×π)。
緻密度は、領域の面積に対する輪郭の長さを測定する。緻密度は、一実施形態において、輪郭の長さを二乗し、その結果を、領域の面積の4倍に円周率を乗じた値で除することによって測定される(緻密度=(輪郭長)/(4×面積×π))。
凸度は入力領域を測定し、ある領域の凸度の程度の測定値を求める。一実施形態において、凸度は、領域の元の面積を、凸部の面積で除することにより測定される(凸度=(領域の面積)/(凸部の面積))。
嵩高と構造係数は、領域に由来する楕円パラメータから導出することができる特徴である。領域は、半径AR、半径BR、及び面積Aに対する楕円測定値に変換され、ここでR≧Rである。一実施形態において、付加的特徴である不等軸性は、RとRの比として計算することができる(不等軸性=R/R)。一実施形態において、嵩高は、円周率にR及びRを乗じたものをAで除したものとして計算される(嵩高=π×R×R/A)。一実施形態において、構造係数は、不等軸性に嵩高を乗じて一を減じたものとして計算される(構造係数=(不等軸性×嵩高)−1)。
(f) 特徴ベクトル−回転独立性を有する表面特徴
また、一実施形態において、付加的特徴は、錠剤の表面特徴を反映するように、画像から抽出することができる。図6は、一実施形態における、錠剤画像から表面特徴を抽出する方法を示すフローチャートである。図7〜13は、表面特徴を抽出するための実施形態にしたがって使用される画像処理技術を示す。画像処理を説明するために図7〜13も同時に参照しつつ、図6の説明を行う。表面特徴抽出を開始した(600)後、錠剤画像にアクセスする(601)。アクセスした画像は、図7に示すようにグレースケールに変換される。図5に示す画像で、錠剤のグレースケール画像は、カメラ又は他の撮影装置から受信した画像を平滑化した後のものを示している。
次に、錠剤の輪郭を使用して、錠剤の縁が侵食され、錠剤から錠剤画像の残部への移行を円滑にするように、錠剤の境界を外方に複製する(602)。得られた浸食と複製を図8に示す。異方性フィルタを適用し(603)、錠剤画像をさらに平滑化し、錠剤内の対照的な特徴を増強する。異方性フィルタ後の錠剤画像を図9に示す。
次に、グレーレンジフィルタを適用する(604)。グレーレンジフィルタは、各画素の値が画素周囲の所定の大きさの正方形におけるグレー値のレンジ差と等しくなるように、画像を変換する。その結果は、画像中の表面特徴を強調しており、図10に示されている。一実施形態では、表面の複雑さを表す特徴は、図10に示す画像全体を積分することによって獲得される。表面の複雑さの特徴は、画像内の錠剤表面から利用可能な表面情報の量の代用の機能を果たすことができ、後述するように、錠剤の分類を採点するために使用することができる。他の実施形態では、表面の複雑さの測定値は、表面特徴プロセスの他の点で得ることができる。
画像は、様々な角度から撮影された可能性があるので、特に、画像が撮影された際に、錠剤が回転又は他の運動をしている場合に、次の処理工程は、図11に示すように、極座標に画像を変換することで、撮影画像に回転独立性を与える(605)。極座標及び極から独立した統計との組み合わせを用いることにより、種々の錠剤の回転は、同様の特徴ベクトルを生成する。極座標変換により、元の画像における錠剤回転とは独立している極座標画像の行に対して計算された統計が可能となるので、類似特徴ベクトルが可能である。回転独立性により、様々な錠剤画像を使用した信頼性のある分類が可能となる。
図12に示すように、一実施形態では、極座標画像を副次標本する(606)。副次標本技術は、データを一般化し、同じ錠剤型によって生成された特徴が実質的に異なる可能性を減らす。次に、副次標本された画像を、図13に示すように、複数の行に分割することができる。各行1301を用いて、回転独立の表面特徴の組を生成する(607)。各行は極座標であるので、各行は、元の画像の中心から半径方向外方の「リング」を表す。行1301から抽出された特徴は、画素の順序とは独立である。その結果、特徴が、原画像の中心から外方に延びる各リングを特徴付ける。極座標と、画素順序とは独立に測定された特徴との使用により、回転独立な特徴の組が得られる。行1301から抽出された特徴は、平均グレー値、グレー値の標準偏差、グレー値のエントロピー、及びグレー値の異方性を含むことができる。実際には、回転独立の行の測定値を提供する任意の特徴を用いることができる。副次標本された極座標画像から抽出された特徴は、特徴ベクトルに加えられる。
(g) 特徴ベクトル−色成分
図14に示すように、さらなる特徴を抽出して、錠剤の画像の色成分を分析する。一実施形態では、元のカラー画像を用いて、色成分の計算を開始する(1401)。カラー画像は、色相−彩度−値画像に変換される(1402)。次に、二次元ヒストグラムを、各画素に対する色相及び彩度値に基づいて作成する(1403)。二次元ヒストグラム内の各瓶は、色相及び彩度の特定の組み合わせを表し、その特定の組み合わせに関連付けられた画素を含む。このように、この実施形態では、色相−彩度−値の「値」成分は破棄され、ヒストグラムは、画素の明るさを含まない。一実施形態では、ヒストグラムをさらに正規化して、種々のヒストグラムにわたる比較を増強する。質量座標の中心とグレー値モーメントの楕円軸を含むヒストグラム統計を計算する(1404)。次に、色相−彩度ヒストグラムの解像度を減らす(1405)。ヒストグラムの解像度の低減は、表面特徴に関して上で使用される副次標本技術と同様である。解像度の低減は、特徴ベクトルの次元数を低減し、それによって、データを一般化する。さらに低解像度ヒストグラムに対して統計を算出する(1406)。一実施形態では、各行及び列の平均グレー値を低解像度ヒストグラムに対して測定する。カラーヒストグラムから抽出された付加的な特徴が、特徴ベクトルに加えられる。
(h) 結合された画像特徴
個々の画像統計に加えて、一実施形態では、各画像の特徴ベクトルが、錠剤の画像の組を表す特徴とともに、増強される。例えば、特定の錠剤の種類は、錠剤の異なる側に異なる色を有する。これらの錠剤に対して、個々の画像は、錠剤の1つの色のみを取り込むことができ、錠剤の種類を誤分類する傾向がある。錠剤の他の画像は、錠剤の他の色を含むことができるので、他の画像からの色データを個々の画像の分類に含めることは、その個々の画像の錠剤分類を向上させる。例えば、錠剤の一方の側が白色で、他方の側が青色である場合、錠剤の白色側の画像は、異なる白色の錠剤として分類されるおそれが大きい。しかし、青色側も含む画像からの情報を含めることで、この誤分類を最小化又は排除する。
このように、錠剤の画像の組からの特徴は、各画像の特徴ベクトルに付加される。画像の組から付加された特徴は、画像の角度が異なると変化し、高い差別値を有することができる任意の特徴を含むことができる。例えば、これらの特徴は、上述した色に関連する特徴、並びに、上述の寸法及び形状の特徴を含むことができる。寸法及び形状の特徴に関しては、錠剤の短辺の画像は、長辺が類似するが、より小さな異なる錠剤として誤って分類され得る。しかしながら、特徴ベクトルの別の画像からの最大長辺の長さを含めることにより、このような誤分類を最小化又は排除することができる。
前述の特徴抽出技術の結果として、特徴ベクトルが錠剤の撮影画像から抽出される。次に、特徴ベクトルを、単数又は複数の分類器への入力として用いて、画像がどの錠剤を写しているかを決定する。あるいは、特徴ベクトルを用いて、後に錠剤を識別するための分類器を訓練する。
(i) 錠剤の分類
錠剤分類器は、様々は機械学習技術を用いて実現することができる。例えば、一実施形態では、機械学習技術はサポートベクターマシン(SVM)を用いて実現される。別の実施形態では、ガウス混合モデルを用いる。さらなる実施形態では、ニューラルネットワークを用いる。分類器は、典型的には、入力として特徴ベクトルを受け、出力として錠剤の種類を生成する数学関数として実施される。たとえば、分類器は、一致又は一致しないことを示すブール値を出力することができ、あるいは、錠剤の種類に対する信頼度スコアを示す値の範囲を出力することができる。典型的には、分類器が将来の画像内の錠剤の種類を識別できるように、分類器を、特定の錠剤の種類と識別された錠剤画像の組を用いて訓練することができる。分類器の採点を用いて、錠剤画像において、どの種類の錠剤が識別されたかを決定する。
図15は、錠剤画像に対して特徴ベクトルを識別するための階層的な分類方法を示す。識別される錠剤の種類は、数千、数万、又はそれ以上も存在するので、一つの分類器でこれらの個々の薬を区別しようとする分類器では、満足のいく結果が得られないことがある。この方法では、複数の分類器を階層的に用いて、錠剤の種類を区別する。特徴ベクトルは、最初に最上位の分類器1510に提供される。最上位の分類器1510は、特徴ベクトルの色のみに基づく成分を使用して、特徴ベクトルを分類する。この例では、画像の特徴ベクトルは、錠剤を撮影した他の錠剤の画像からの色に基づいた特徴を含んでいる。最上位の分類器は、特徴ベクトルがどの種類の錠剤のクラスタに属するかを決定するように構成されている。例えば、色を使用する場合には、錠剤を、錠剤の色に基づいた組にグループ化又はクラスタ化してもよい。この場合、最上位の分類器1510は、特徴ベクトルが白色錠剤であるかを判定する。白色の錠剤に対応する中間分類器1520が選択される。
本実施形態では、中間分類器1520は、最上位の分類器と同様にして、色、寸法、形状要素に基づいて、錠剤をさらに区別する。この例では、中位分類器1520は、象牙色で、小さく、楕円形の錠剤として特徴ベクトル1500を分類する。このように、中位の分類器1520は、最上位の分類器1510と比較してより細かい色の違いを区別することができる。分類に関するこの説明は、錠剤の分類の階層的概念を理解するのには役立つが、実際には、次の層の分類器の選択に関してこのような形式的な定義はされない。具体的には、階層内の各層の錠剤は、各分類レベルで使用される特徴に応じて、錠剤をクラスタリングすることによって決定することができる。すなわち、最上位の色分類器1510は、色特徴ベクトルにしたがって錠剤の種類をクラスタリングすることによって訓練され、錠剤をクラスタ1、クラスタ2等に分類するように訓練される。階層的分類をさらに理解するためだけに、「白」の説明を行った。したがって、例えば、中位分類器1520は、名目上錠剤を含む最下位の分類器1530の組の間で、特徴ベクトルを、(象牙色で、小さく、楕円)及び(象牙色で、中位で、楕円)等の、人間の目に類似して分類することができる。
中位の分類器1520による分類に対応した最下位の分類器1530を識別した後、最下位の分類器1530は、特徴ベクトル全体を用いて、錠剤を分類する。このように、最下位の分類器は、特定の錠剤の識別1540として錠剤を識別する。この例に示すように、最下位の分類器は、錠剤の順位、例えば、第1の錠剤識別1540(ワトソン349)の可能性が最も高いというだけでなく、二番目に可能性の高い錠剤識別(ジョーンズ150)をも示すことができる。付加的な順位を、最下位の分類器1530によってさらに生成することができる。階層的な分類方法を用いることで、各層の分類器が、各層の差別的な特徴に焦点を合わせることができる。加えて、各分類器は、単一の分類器を使用した場合に使用される数千又は数万ものしきい値ではなく、限られた数の分類を行う。このようにして、錠剤識別1540を、各特徴ベクトルに対して判定する。
(j) 分類採点
分類器の採点を用いた錠剤識別法を図16に示す。この実施形態では、各分類結果は、錠剤画像に対する錠剤の種類として、最終的にどの錠剤の種類を返すのかを決定するための「投票」として使用される。どの錠剤の種類を返すかを決定する一つの方法が図16に示されている。この図で使用した方法は、「最も可能性の高い」分類と「二番目に可能性の高い」分類を返すことができるが、信頼度得点を返さないSVMが分類器である場合の実施形態を示す。
開始点1601で、錠剤を撮影した複数の画像を、特徴ベクトルを抽出することによって処理する。次に、各錠剤画像に分類器を適用し(1602)、各画像に対して最も可能性の高い錠剤の種類と二番目に可能性の高い錠剤の種類を判定する(1603)。採点方法は、最も可能性の高い分類に1.0点を与え、二番目に可能性の高い分類に0.5点を与える等、分類結果に得点を割り当てる(1604)ことによって行う。最も可能性の高い分類及び二番目に可能性の高い分類の得点を、分類の信頼値によって変更してもよい。信頼値を本来提供しない分類器に対して、分類器の結果を分析することによって信頼値を決定することができる。SVMに関して、SVMは個々の二値分類器で構成されている。特定の錠剤が他の錠剤よりも可能性が高いとSVMが判断した場合、SVMの個々の二値分類器は、より可能性の高い状態に対して「投票」を行う。したがって、最下位の分類器1530にアクセスして、最下位の分類器1530内の個々の二値分類器からの結果を判定してもよい。最も可能性の高い錠剤の種類と二番目に可能性の高い錠剤の種類との間の識別の差異を用いて、結果の得点を調整してもよい。少差の二値分類器により二番目に可能性の高いものとなった場合には、二番目に可能性の高い錠剤の分類に対する得点は、最も可能性の高い錠剤識別の値に近くなるように増やされる。
一実施形態では、各画像の錠剤に対する得点を決めた後、各画像に対する得点を、各画像の表面の複雑度に応じて重み付けしてもよい。上述したように、表面の複雑さ特徴は、各錠剤画像上の表面特徴と他の特性の程度を表す。したがって、表面特徴の複雑性が小さい錠剤画像は、正確な錠剤の種類を識別するに用いられる際立った特性が少ない。このように、複雑さが低減された錠剤画像に関連付けられた得点を重み付けして、分類から採点を減らす。
錠剤の各種類に対する投票に得点を用いて(1604)、錠剤画像の分類結果を集計する。最高得点の錠剤の種類が、その錠剤に対する錠剤の種類として識別された種類である。この錠剤分類システムの例を以下の表1に示す。
表1は、4つの錠剤の種類に応じて分類された4つの画像の組を示す。各画像を分類して、最も可能性の高い錠剤の種類と二番目に可能性の高い錠剤の種類を識別する。この表中の得点は、各画像の信頼値と相対的な表面特徴の複雑さを考慮して調整されている。錠剤分類の信頼値は、画像の各錠剤の種類の値を比較することによって理解できるであろう。例えば、分類器が錠剤の種類1と2を同様に順位付けしているので、画像Aは、錠剤の種類2に対して同じような得点となっており、特に、最下位の分類器1530にある数個の二値分類器のみによって異なる場合がある。表面特徴の複雑さは、各画像の最大得点を比較することによって理解できるであろう。画層Dの最大得点は0.5であるのに対して、画像Aの最大得点は1.0であるが、これは、画像Aが、画像Dよりも複雑な表面に対して有しており、より大きな重みを与えているからである。分類得点が集計され、錠剤の種類1が画像の中で最高得点の錠剤の種類として識別される。錠剤の種類1を識別し(1606)、その錠剤に対する錠剤の種類として報告する。一実施形態では、錠剤の種類が識別されるよりも前に、集計値がしきい値に達しなければならない。しきい値を使用すると、システムによって訓練されていない種類の錠剤が、誤って既存の錠剤の種類に分類される可能性が低くなる。
別の実施形態では、分類器は、「最も可能性の高い」錠剤の種類ではなく、各錠剤の種類対する信頼度得点を生成する。また、信頼度得点を用いて、システムは、いずれの錠剤の種類も一致とするには信頼度が不十分であると判断することができ、したがって、錠剤は、公知の錠剤の種類としては識別されない。
(k) 錠剤識別システム
錠剤識別システム1700の一実施形態を図17に示す。錠剤識別システム1700を、図1に示すシステムに接続して、錠剤の画像を取り込むことができる。錠剤画像を錠剤識別システム1700に提供し、得られた錠剤の識別は、錠剤を入れる結果容器140を決定する。他の実施形態では、錠剤識別システム1700は、錠剤画像を撮影するシステムから離れて配置されてもよい。
錠剤識別システム1700は、錠剤の未加工の写真を含む錠剤写真データベース1701を含む。錠剤画像データベースは、カメラにより撮影された写真を受け取り、無期限に、又は指定された期間で、それらを保存することができる。一実施形態では、錠剤写真データベースは、新しい錠剤の写真を受け取り、錠剤識別プロセスの間だけ写真を保持する。上述したように、錠剤画像から、寸法、形状、色、及び表面特徴を抽出し、特徴ベクトルを構築することによって、特徴抽出モジュール1702は、錠剤の写真から特徴を抽出する。得られた特徴ベクトルは、特徴データベース1703に保存される。
分類器訓練モジュール1704は、抽出された錠剤の特徴と錠剤の種類の指定に基づいて、分類器又は分類器の組を訓練する。錠剤の種類の指定を、関連する特徴ベクトルと組み合わせて用いて、分類器を訓練する。訓練された分類器又は分類器の組は、新しい錠剤を分類するために使用されるべく、錠剤分類器データベース1705に保存される。いくつかの実施形態では、錠剤識別システムが分類器を訓練しないように、錠剤識別システムは事前に構成された分類器の組を含んでおり、かつ、分類器は事前に構成されている。また、分類器は、ネットワークから分類子を送信し、又は、外部不揮発性記憶装置からそれらを受信するなどにより、外部ソースから読み込むことができる。これにより、外部システムは、データベースによって分類された錠剤を変更する更新を提供することができる。これらの構成により、分類器のトレーニングモジュール1704を省略することができる。
錠剤分類器からの、各画像との特徴ベクトルに関連付けられた錠剤の分類を使用して、分類器投票モジュール1706は、個々の錠剤の判定を提供する。上述したように、分類器投票モジュール1706は、適用された複数の写真から、分類の投票を重み付けする。分類器投票モジュール1706は、最も可能性が高い錠剤の分類を錠剤の種類としてユーザに提供し、又は、図1に示すように、ゲート130及びダイバータ150を制御する。
本発明の実施形態の上記の説明は、例示を目的として提示されたものであり、網羅的であること、又は開示された形態そのものに本発明を限定することを意図するものではない。関連技術の当業者であれば、多くの修正及び変更が、上記の開示に照らして可能であることを理解することができる。
本明細書のいくつかの部分は、情報に関するアルゴリズム及び操作の記号表現に関して、本発明の実施形態を説明する。これらのアルゴリズムの説明及び表現は、データ処理技術における当業者によって、他の当業者に効果的に作業内容を伝えるために一般的に使用される。これらの操作は、機能的、算術的、又は論理的に記載されているが、コンピュータプログラム又は等価電気回路、マイクロコード等によって実現されるものと理解される。さらに、一般性を失うことなく、動作のこれらの配置をモジュールとして称することが、時として便利であることも証明されている。説明した操作及びそれらの関連モジュールは、ソフトウェア、ファームウェア、ハードウェア、又はそれらの任意の組合せで実施することができる。
本明細書に記載の工程、操作、又はプロセスのいずれも、1つ以上のハードウェア又はソフトウェアモジュールを、単独で又は他の装置と組み合わせて用いて、実施又は実現することができる。一実施形態では、ソフトウェアモジュールが、説明された工程、操作、又はプロセスのいずれか又はすべてを実行するためのコンピュータ・プロセッサにより実行可能なコンピュータプログラムコードを含むコンピュータ可読媒体を含むコンピュータプログラム製品で実装される。
本発明の実施形態は、本明細書における操作を実行するための装置にも関する。この装置は、必要な目的のために特別に構築されてもよいし、及び/又はコンピュータに記憶されたコンピュータプログラムによって選択的に活性化又は再構成される汎用コンピューティングデバイスを含むことができる。持続性のある有形のコンピュータ可読記憶媒体、又はコンピュータシステムバスに接続することができる、電子的命令を記憶するのに適した任意の種類の媒体に、このようなコンピュータプログラムを記憶することができる。さらに、本明細書にいう任意のコンピューティングシステムは、単一のプロセッサを含んでもよく、又は計算能力の増大のために複数のプロセッサ設計を採用するアーキテクチャであってもよい。
本発明の実施形態は、本明細書に記載の演算処理により製造される製品に関連してもよい。このような製品は演算処理から生じる情報を含み、この情報は、持続性のある有形のコンピュータ可読記憶媒体に記憶され、かつ、コンピュータプログラム製品又は本明細書に記載の他のデータの組み合わせの任意の実施形態を含むことができる。
最後に、本明細書で使用される用語は、主として読み易さ及び教示の目的で選択されており、それは本発明の主題を限定又は制限するために選択されていない場合がある。したがって、本発明の範囲は、発明の詳細な説明によってではなく、むしろ請求項によってのみ限定されるものである。したがって、本発明の実施形態の開示は、以下の特許請求の範囲に記載される本発明の範囲の例示を意図しており、限定することは意図していない。

Claims (19)

  1. 医薬組成物を識別するためのコンピュータで実行する方法であって、
    前記医薬組成物の少なくとも1つの画像であって、それぞれが前記医薬組成物の明確な画像を含む画像にアクセスすること、
    前記医薬組成物の各画像から、前記画像中の前記医薬組成物の表面特徴の回転独立な尺度を含む特徴と抽出すること、
    前記画像に対して抽出された前記特徴を含む前記医薬組成物の各画像に関連付けられた特徴ベクトルを生成すること、
    各画像に関連付けられた少なくとも一つの分類を決定するために、前記特徴ベクトルの各々に少なくとも一つの分類器を適用すること、及び
    各画像に対して少なくとも一つの分類を蓄積することによって錠剤の同一性を決定する、ことを含む方法。
  2. 所望の錠剤の種類を特定した錠剤確認要求を受信すること、
    前記錠剤識別が前記所望の錠剤の種類と一致するか否かを判別すること、及び
    前記錠剤識別が前記所望の錠剤の種類と一致するか否かの判別を報告すること、をさらに含む、請求項1に記載のコンピュータで実行する方法。
  3. 前記錠剤識別が前記所望の錠剤の種類と一致したことに応答して前記医薬組成物を合格容器に向け、一致しなかったことに応答して前記医薬組成物を不合格容器に向けることをさらに含む、請求項2に記載のコンピュータで実行する方法。
  4. 前記抽出された特徴は、色、形状、寸法及び表面特徴をさらに含む、請求項1に記載のコンピュータで実行する方法。
  5. 各画像の前記特徴抽出は、
    前記画像の錠剤輪郭を識別するステップと、
    前記画像の錠剤輪郭に侵食フィルタを適用するステップと、
    前記侵食フィルタを適用した後に、前記錠剤輪郭を前記画像の外方に複製するステップと、
    前記錠剤輪郭を複製した後に、前記画像に異方性フィルタを適用するステップと、を実行することを含む、請求項4に記載のコンピュータで実行する方法。
  6. 前記画像を極座標画像に変換するステップと、
    前記極座標画像を副次標本するステップと、
    前記副次標本された極座標画像から表面特徴の前記回転独立な尺度を抽出するステップと、を実行することにより、各画像に対して表面特徴の前記回転独立な尺度を判別する、請求項1に記載のコンピュータで実行する方法。
  7. 前記医薬組成物の各画像に関連付けられた前記特徴ベクトルは、他の画像から抽出された、形状、色及び寸法の少なくとも1つに関する特徴を含む、請求項1に記載のコンピュータで実行する方法。
  8. 他の画像から抽出された特徴を、前記医薬組成物の画像からの特徴で並べ替えた後、この並べ替えた特徴を前記特徴ベクトルに加える、請求項7に記載のコンピュータで実行する方法。
  9. 少なくとも1つの分類器が、少なくとも1つの最上位分類器と少なくとも1つの最下位分類器とを含む階層的分類器の組を含む、請求項1に記載のコンピュータで実行する方法。
  10. 前記特徴ベクトルは色特徴を含み、前記最上位分類器は、前記特徴ベクトルの色特徴に基づいて分類を行う、請求項9に記載のコンピュータで実行する方法。
  11. 前記特徴ベクトルは寸法特徴及び形状特徴を含み、前記階層的分類器の組は、前記特徴ベクトルの前記寸法特徴及び形状特徴に基づいて分類を行う少なくとも1つの中位分類器を含む、請求項9に記載のコンピュータで実行する方法。
  12. 前記少なくとも1つの最下位分類器は、回転独立な表面特徴に基づいて分類を行う、請求項9に記載のコンピュータで実行する方法。
  13. 各画像に対して前記少なくとも1つの分類を蓄積することにより錠剤の同一性を決定することが、それぞれの分類の信頼レベルに基づいて各画像分類に対する重み付けを決めることを含む、請求項1に記載のコンピュータで実行する方法。
  14. 各画像に関連付けられた前記特徴ベクトルは表面の複雑さ特徴を含み、各画像に対して前記少なくとも1つの分類を蓄積することにより錠剤の同一性を決定することが、前記画像に関連付けられた特徴ベクトルの前記表面の複雑さ特徴に基づいて各画像分類に対する重み付けを決めることを含む、請求項1に記載のコンピュータで実行する方法。
  15. 医薬組成物を識別するためのコンピュータで実行する方法であって、
    前記医薬組成物の少なくとも1つの画像にアクセスすること、
    前記少なくとも1つの画像のそれぞれに対して、
    前記画像内で、前記医薬組成物の輪郭を識別し、
    前記画像から、前記識別した輪郭に少なくとも部分的に基づいて、前記画像の回転独立な特性を計算し、
    前記画像の回転独立な特性の解像度を落とし、
    前記画像の解像度を落とした回転独立な特性から、前記画像に対して構築された前記特徴の少なくとも一部を含む、前記画像の表面特等を表す特徴を抽出する、ことによって特徴の組を構築すること、及び
    各画像に対する前記特徴の組を、医薬組成物識別のために分類器を訓練する分類モジュールに提供すること、を含む方法。
  16. 前記抽出ステップは、前記少なくとも1つの画像から、色特徴、寸法特徴及び形状特徴をさらに抽出する、請求項15に記載のコンピュータで実行する方法。
  17. 前記医薬組成物の輪郭は、縁検出アルゴリズムを用いて識別される、請求項15に記載のコンピュータで実行する方法。
  18. 前記医薬組成物の輪郭は、グレースケール分割アルゴリズムを用いて識別される、請求項15に記載のコンピュータで実行する方法。
  19. 各画像に対する特徴の組に少なくとも部分的に基づいて階層的分類器の組を訓練することをさらに含む、請求項15に記載のコンピュータで実行する方法。
JP2014553533A 2012-01-23 2013-01-23 自動化された医薬品錠剤の識別 Expired - Fee Related JP6154826B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261589750P 2012-01-23 2012-01-23
US61/589,750 2012-01-23
PCT/US2013/022754 WO2013112591A1 (en) 2012-01-23 2013-01-23 Automated pharmaceutical pill identification

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017109898A Division JP6409094B2 (ja) 2012-01-23 2017-06-02 自動化された医薬品錠剤の識別

Publications (2)

Publication Number Publication Date
JP2015512075A true JP2015512075A (ja) 2015-04-23
JP6154826B2 JP6154826B2 (ja) 2017-06-28

Family

ID=48873866

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014553533A Expired - Fee Related JP6154826B2 (ja) 2012-01-23 2013-01-23 自動化された医薬品錠剤の識別
JP2017109898A Expired - Fee Related JP6409094B2 (ja) 2012-01-23 2017-06-02 自動化された医薬品錠剤の識別

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017109898A Expired - Fee Related JP6409094B2 (ja) 2012-01-23 2017-06-02 自動化された医薬品錠剤の識別

Country Status (9)

Country Link
US (3) US9842257B2 (ja)
EP (1) EP2807610A4 (ja)
JP (2) JP6154826B2 (ja)
CN (1) CN104205128B (ja)
AU (2) AU2013212273B2 (ja)
BR (1) BR112014018171A8 (ja)
CA (1) CA2862071C (ja)
HK (2) HK1204819A1 (ja)
WO (1) WO2013112591A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018165926A (ja) * 2017-03-28 2018-10-25 株式会社Nttドコモ 類似画像検索装置
WO2018207885A1 (ja) * 2017-05-10 2018-11-15 日本電気株式会社 解析装置、地層年代推定装置、解析方法、地層年代推定方法、およびプログラム
WO2020036191A1 (ja) * 2018-08-15 2020-02-20 日本電信電話株式会社 学習データ作成装置、学習データ作成方法、及びプログラム
JPWO2020039567A1 (ja) * 2018-08-23 2021-08-10 日本電気株式会社 物体照合装置
JP2021522070A (ja) * 2018-04-26 2021-08-30 ソルテラ・アロイズ・インコーポレイテッド スクラップからのコインのリサイクル
US11964304B2 (en) 2015-07-16 2024-04-23 Sortera Technologies, Inc. Sorting between metal alloys
US11969764B2 (en) 2016-07-18 2024-04-30 Sortera Technologies, Inc. Sorting of plastics
US11975365B2 (en) 2015-07-16 2024-05-07 Sortera Technologies, Inc. Computer program product for classifying materials
US12017255B2 (en) 2022-03-16 2024-06-25 Sortera Technologies, Inc. Sorting based on chemical composition

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111357B2 (en) * 2012-06-07 2015-08-18 Medsnap, Llc System and method of pill identification
AU2013305511A1 (en) 2012-08-24 2015-03-05 Perceptimed, Inc. Point of sale verification system
US9886751B2 (en) * 2013-08-09 2018-02-06 Perceptimed, Inc. Remote pharmaceutical verification
US9940439B2 (en) * 2013-11-29 2018-04-10 Atabak Reza Royaee Method and device for identification and/or sorting of medicines
US9842281B2 (en) * 2014-06-05 2017-12-12 Xerox Corporation System for automated text and halftone segmentation
JP6422250B2 (ja) * 2014-07-08 2018-11-14 キヤノン株式会社 画像処理方法、画像処理装置、プログラム及び記録媒体
US10489555B2 (en) * 2014-07-21 2019-11-26 Qualanex, Llc Medication processing kiosk
US10255524B2 (en) * 2016-06-03 2019-04-09 Becton Dickinson Rowa Germany Gmbh Method for providing a singling device of a storage and dispensing container
CA2933860C (fr) * 2016-06-23 2017-08-29 Matthieu Grosfils Systemes et equipements permettant de controler le contenu d'un ou des compartiment(s) d'un distributeur de medicaments, methode de fabrication des systemes et equipements et methode d'utilisation correspondantes
CN106355574B (zh) * 2016-08-31 2018-11-16 上海交通大学 一种基于深度学习的腹内脂肪分割方法
IL248641A0 (en) * 2016-10-31 2017-02-28 Rafael Advanced Defense Systems Ltd A system and method for testing and classifying discrete objects
WO2019003972A1 (ja) * 2017-06-28 2019-01-03 日本電気株式会社 服薬管理システム、服薬管理方法、管理装置およびプログラム記憶媒体
WO2019006196A1 (en) 2017-06-28 2019-01-03 Perceptimed, Inc. INVENTORY MANAGEMENT
TWI831775B (zh) * 2018-06-19 2024-02-11 日商湯山製作所股份有限公司 藥劑分類裝置
US10872688B2 (en) * 2018-07-30 2020-12-22 Arxium, Inc. Visual analysis pill dispenser
US10699162B2 (en) * 2018-07-30 2020-06-30 Mackay Memorial Hospital Method and system for sorting and identifying medication via its label and/or package
WO2020061368A1 (en) * 2018-09-20 2020-03-26 Siemens Healthcare Diagnostics Inc. Visualization analysis apparatus and visual learning methods
US11263738B2 (en) 2018-10-19 2022-03-01 Genentech, Inc. Defect detection in lyophilized drug products with convolutional neural networks
CN109978018A (zh) * 2019-03-06 2019-07-05 颐保医疗科技(上海)有限公司 一种中药材人工智能鉴别***及其鉴别方法
CN109934277B (zh) * 2019-03-06 2023-05-12 颐保医疗科技(上海)有限公司 一种基于人工智能的中药材采收时间的鉴别方法
CN110111868A (zh) * 2019-04-19 2019-08-09 无锡市第九人民医院 一种裸药药片信息采集装置及方法
US11145397B1 (en) 2020-01-31 2021-10-12 Express Scripts Strategie Development, Inc. System and method for augmented reality detection of loose pharmacy items
KR102576853B1 (ko) * 2021-01-08 2023-09-08 주식회사 센다코리아 알약 계수 이미지 프로세싱 방법
WO2022177954A1 (en) * 2021-02-18 2022-08-25 Parata Systems, Llc Methods, systems, and computer program product for validating drug product package contents based on characteristics of the drug product packaging system
KR20220167613A (ko) * 2021-06-14 2022-12-21 (주)제이브이엠 약포 검사 시스템
CN114871120B (zh) * 2022-05-26 2023-11-07 江苏省徐州医药高等职业学校 基于图像数据处理的药品确定分拣方法及装置
CN115273053B (zh) * 2022-09-28 2022-12-20 江苏南通鼎顺网络科技有限责任公司 一种基于数据处理的药物崩解性能识别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001312725A (ja) * 2000-04-28 2001-11-09 Minolta Co Ltd 画像処理装置および画像処理方法
JP2003517335A (ja) * 1998-07-30 2003-05-27 コントラック・テクノロジーズ・エルエルシー 薬事錠剤の認識及び確認システム
JP2003518294A (ja) * 1999-12-22 2003-06-03 ナショナル・リサーチ・カウンシル・オブ・カナダ 3次元画像検索方法
JP2004288170A (ja) * 2003-03-05 2004-10-14 Olympus Corp 三次元モデル検索方法及びシステム
US20070110292A1 (en) * 2005-11-14 2007-05-17 Jinbo Bi System and method for computer aided detection via asymmetric cascade of sparse linear classifiers
JP2008310796A (ja) * 2007-06-15 2008-12-25 Mitsubishi Electric Research Laboratories Inc コンピュータにより実施される、訓練データから分類器を構築し、前記分類器を用いてテストデータ中の移動物体を検出する方法
JP2011517818A (ja) * 2008-04-14 2011-06-16 イーストマン コダック カンパニー 撮影位置シーケンス情報を用いた画像分類
WO2011112606A1 (en) * 2010-03-09 2011-09-15 Perceptimed, Inc. Medication verification and dispensing
US20110229029A1 (en) * 2010-01-19 2011-09-22 Pixar Selective diffusion of filtered edges in images

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5363968A (en) 1991-08-23 1994-11-15 Pfizer Inc. Automatic blister inspection system
US5502944A (en) 1993-12-03 1996-04-02 Owen Healthcare, Inc. Medication dispenser system
US5700998A (en) 1995-10-31 1997-12-23 Palti; Yoram Drug coding and delivery system
US20020188466A1 (en) 2001-04-18 2002-12-12 Barrette Pierre Philip Secure digital medical intellectual property (IP) distribution, market applications, and mobile devices
WO2002091987A2 (en) 2001-05-15 2002-11-21 E-Medication Aps A medicine dispenser
US6735329B2 (en) 2001-05-18 2004-05-11 Leonard S. Schultz Methods and apparatus for image recognition and dictation
US6640008B1 (en) 2001-06-29 2003-10-28 Shih-Jong J. Lee Rotation and scale invariant pattern matching method
US6771369B2 (en) 2002-03-12 2004-08-03 Analytical Spectral Devices, Inc. System and method for pharmacy validation and inspection
CN100375121C (zh) * 2003-07-17 2008-03-12 松下电器产业株式会社 虹彩码生成方法、个人认证方法、虹彩码注册装置、个人认证装置
US7028723B1 (en) 2003-11-03 2006-04-18 Alouani Ali Tahar Apparatus and method for automatic prescription verification
US7348884B2 (en) 2004-07-29 2008-03-25 Omnicell, Inc. RFID cabinet
US8121392B2 (en) 2004-10-25 2012-02-21 Parata Systems, Llc Embedded imaging and control system
US7930064B2 (en) 2004-11-19 2011-04-19 Parata Systems, Llc Automated drug discrimination during dispensing
DK2024899T3 (en) * 2005-09-05 2016-02-15 Alpvision S A Means of use of the material surface microstructure as a unique identifier
US7844084B2 (en) 2006-02-27 2010-11-30 Donald Martin Monro Rotation compensated iris comparison
US7747454B2 (en) 2006-05-06 2010-06-29 Irody, Inc. System and method for real time management of a drug regimen
US8616393B2 (en) 2006-06-12 2013-12-31 Becton, Dickinson And Company Medication delivery control systems and methods
US8727208B2 (en) 2006-06-30 2014-05-20 Intel-Ge Care Innovations Llc Method for identifying pills via an optical device
US8060249B2 (en) 2006-11-22 2011-11-15 Senticare Inc. Medication dispenser with integrated monitoring system
US8065035B2 (en) 2007-05-02 2011-11-22 Carefusion 303, Inc. Automated medication handling system
US20090012818A1 (en) 2007-07-06 2009-01-08 Valence Broadband, Inc. Dispensing medication and verifying proper medication use
US8448846B2 (en) 2007-11-18 2013-05-28 Intel-Ge Care Innovations Llc Medication recording device
US8311344B2 (en) * 2008-02-15 2012-11-13 Digitalsmiths, Inc. Systems and methods for semantically classifying shots in video
CN101539991B (zh) * 2008-03-20 2011-07-06 中国科学院自动化研究所 用于虹膜识别的有效图像区域检测和分割方法
US8155887B2 (en) 2008-08-14 2012-04-10 Srr Patent Holdings, Llc Computer visualized drug interaction information retrieval
US8135171B2 (en) 2008-08-19 2012-03-13 Au Optronics Corp. Multipoint tracking method and related device
EP2379044A1 (en) * 2008-12-23 2011-10-26 Alpvision SA Method to authenticate genuine tablets manufactured by compressing powder
US20100182615A1 (en) * 2009-01-21 2010-07-22 Kabushiki Kaisha Toshiba Image forming apparatus and control method of the same
JP2011233650A (ja) 2010-04-26 2011-11-17 Toshiba Corp 半導体発光装置
US8861816B2 (en) * 2011-12-05 2014-10-14 Illinois Tool Works Inc. Method and apparatus for prescription medication verification
US9111357B2 (en) * 2012-06-07 2015-08-18 Medsnap, Llc System and method of pill identification

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003517335A (ja) * 1998-07-30 2003-05-27 コントラック・テクノロジーズ・エルエルシー 薬事錠剤の認識及び確認システム
JP2003518294A (ja) * 1999-12-22 2003-06-03 ナショナル・リサーチ・カウンシル・オブ・カナダ 3次元画像検索方法
JP2001312725A (ja) * 2000-04-28 2001-11-09 Minolta Co Ltd 画像処理装置および画像処理方法
JP2004288170A (ja) * 2003-03-05 2004-10-14 Olympus Corp 三次元モデル検索方法及びシステム
US20070110292A1 (en) * 2005-11-14 2007-05-17 Jinbo Bi System and method for computer aided detection via asymmetric cascade of sparse linear classifiers
JP2008310796A (ja) * 2007-06-15 2008-12-25 Mitsubishi Electric Research Laboratories Inc コンピュータにより実施される、訓練データから分類器を構築し、前記分類器を用いてテストデータ中の移動物体を検出する方法
JP2011517818A (ja) * 2008-04-14 2011-06-16 イーストマン コダック カンパニー 撮影位置シーケンス情報を用いた画像分類
US20110229029A1 (en) * 2010-01-19 2011-09-22 Pixar Selective diffusion of filtered edges in images
WO2011112606A1 (en) * 2010-03-09 2011-09-15 Perceptimed, Inc. Medication verification and dispensing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TIN KAM HO, ET AL.: "Decision Combination in Multiple Classifier Systems", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 16, no. 1, JPN6016048487, January 1994 (1994-01-01), pages 66 - 75, XP000446421, ISSN: 0003531507, DOI: 10.1109/34.273716 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11975365B2 (en) 2015-07-16 2024-05-07 Sortera Technologies, Inc. Computer program product for classifying materials
US11964304B2 (en) 2015-07-16 2024-04-23 Sortera Technologies, Inc. Sorting between metal alloys
US11969764B2 (en) 2016-07-18 2024-04-30 Sortera Technologies, Inc. Sorting of plastics
JP2018165926A (ja) * 2017-03-28 2018-10-25 株式会社Nttドコモ 類似画像検索装置
JPWO2018207885A1 (ja) * 2017-05-10 2020-03-12 日本電気株式会社 解析装置、地層年代推定装置、解析方法、地層年代推定方法、およびプログラム
US11448634B2 (en) 2017-05-10 2022-09-20 Nec Corporation Analysis apparatus, stratum age estimation apparatus, analysis method, stratum age estimation method, and program
CN110622042A (zh) * 2017-05-10 2019-12-27 日本电气株式会社 分析设备、地层断代设备、分析方法、地层断代方法和程序
WO2018207885A1 (ja) * 2017-05-10 2018-11-15 日本電気株式会社 解析装置、地層年代推定装置、解析方法、地層年代推定方法、およびプログラム
JP2021522070A (ja) * 2018-04-26 2021-08-30 ソルテラ・アロイズ・インコーポレイテッド スクラップからのコインのリサイクル
JPWO2020036191A1 (ja) * 2018-08-15 2021-06-10 日本電信電話株式会社 学習データ作成装置、学習データ作成方法、及びプログラム
JP7068596B2 (ja) 2018-08-15 2022-05-17 日本電信電話株式会社 学習データ作成装置、学習データ作成方法、及びプログラム
WO2020036191A1 (ja) * 2018-08-15 2020-02-20 日本電信電話株式会社 学習データ作成装置、学習データ作成方法、及びプログラム
JPWO2020039567A1 (ja) * 2018-08-23 2021-08-10 日本電気株式会社 物体照合装置
JP7215485B2 (ja) 2018-08-23 2023-01-31 日本電気株式会社 物体照合装置
US11983864B2 (en) 2018-08-23 2024-05-14 Nec Corporation Object matching device
US12017255B2 (en) 2022-03-16 2024-06-25 Sortera Technologies, Inc. Sorting based on chemical composition

Also Published As

Publication number Publication date
EP2807610A1 (en) 2014-12-03
JP6154826B2 (ja) 2017-06-28
US20190258860A1 (en) 2019-08-22
US20180046862A1 (en) 2018-02-15
CA2862071C (en) 2019-01-08
EP2807610A4 (en) 2016-03-02
HK1205315A1 (en) 2015-12-11
JP2017199388A (ja) 2017-11-02
AU2018204543B2 (en) 2019-12-19
US9842257B2 (en) 2017-12-12
CN104205128A (zh) 2014-12-10
CA2862071A1 (en) 2013-08-01
AU2018204543A1 (en) 2018-07-12
AU2013212273A1 (en) 2014-08-14
JP6409094B2 (ja) 2018-10-17
US10229321B2 (en) 2019-03-12
BR112014018171A2 (ja) 2017-06-20
US10467477B2 (en) 2019-11-05
AU2013212273B2 (en) 2018-07-19
HK1204819A1 (en) 2015-12-04
BR112014018171A8 (pt) 2017-07-11
US20150302255A1 (en) 2015-10-22
CN104205128B (zh) 2018-02-16
WO2013112591A1 (en) 2013-08-01

Similar Documents

Publication Publication Date Title
JP6409094B2 (ja) 自動化された医薬品錠剤の識別
US10204260B2 (en) Device and method for classifying a condition based on image analysis
CN105095827B (zh) 人脸表情识别装置和方法
CN105139027B (zh) 胶囊头缺陷检测方法和装置
KR101744123B1 (ko) 의약품 식별 장치 및 그 방법
Caban et al. Automatic identification of prescription drugs using shape distribution models
JP5997120B2 (ja) 薬剤照合装置、薬剤照合システム、及び薬剤照合方法
Cunha et al. Helpmepills: A mobile pill recognition tool for elderly persons
JP2016523405A (ja) 錠剤の識別における印の解析を使用したシステム及び方法
US11583477B2 (en) Medication dispensing system
CA3013602C (en) Method of monitoring medication regimen with portable apparatus
Wang et al. Highlighted deep learning based identification of pharmaceutical blister packages
Maitrichit et al. Intelligent medicine identification system using a combination of image recognition and optical character recognition
US10664987B2 (en) Apparatus and method for object recognition
US20220222844A1 (en) Method, device, and program for measuring food
CN110781709A (zh) 经由药物包装及/或标签以分类及辨识该药物的方法及***
TWI692356B (zh) 藉由行動裝置實現的藥片服用輔助方法
Suksawatchon et al. Shape Recognition Using Unconstrained Pill Images Based on Deep Convolution Network
Caliolio et al. Integration of a smart medicine container with medicine sorting using YOLOv4 and OCR
US11817207B1 (en) Medication inventory system including image based boundary determination for generating a medication tray stocking list and related methods
Ponte et al. Automatic Pill Identification System based on Deep Learning and Image Preprocessing
KR20150053075A (ko) 객체 확인 시스템
Forshaw et al. Region of Interest Identification in Breast MRI Images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170602

R150 Certificate of patent or registration of utility model

Ref document number: 6154826

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees