JP7106688B2 - 薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム - Google Patents

薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム Download PDF

Info

Publication number
JP7106688B2
JP7106688B2 JP2020571113A JP2020571113A JP7106688B2 JP 7106688 B2 JP7106688 B2 JP 7106688B2 JP 2020571113 A JP2020571113 A JP 2020571113A JP 2020571113 A JP2020571113 A JP 2020571113A JP 7106688 B2 JP7106688 B2 JP 7106688B2
Authority
JP
Japan
Prior art keywords
drug
image
images
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020571113A
Other languages
English (en)
Other versions
JPWO2020162262A1 (ja
Inventor
一央 岩見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Toyama Chemical Co Ltd
Original Assignee
Fujifilm Toyama Chemical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Toyama Chemical Co Ltd filed Critical Fujifilm Toyama Chemical Co Ltd
Publication of JPWO2020162262A1 publication Critical patent/JPWO2020162262A1/ja
Application granted granted Critical
Publication of JP7106688B2 publication Critical patent/JP7106688B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00—Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/0069—Trays for holding or distributing medicines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J2205/00—General identification or selection means
    • A61J2205/40—General identification or selection means by shape or form, e.g. by using shape recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J2205/00—General identification or selection means
    • A61J2205/60—General identification or selection means using magnetic or electronic identifications, e.g. chips, RFID, electronic tags
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラムに係り、特に識別対象の薬剤を簡易な装置により識別する技術に関する。
従来、カメラを含むスマートフォン等のモバイル機器を使用して、錠剤（薬剤）の識別のための画像を取得し、取得した画像を元に薬剤を識別するシステムが提案されている（特許文献１）。
特許文献１に記載の表面（薬剤が載置されるトレーの表面）は、薬剤が載置される矩形の背景の領域と、背景の領域を囲む境界の領域とを有している。背景の領域は、背景と薬剤とを区別できるように高密度の着色チェッカーボードパターンを有し、境界の領域は、色が既知（白）の色特性を有する。また、境界の領域（矩形の背景の４隅に対応する領域）には、４つの既知の対象物（黄色い円）が設けられ、この対象物の中心にはアンカーポイントが設けられている。
境界領域に付された４つの対象物は、モバイル機器により薬剤を撮影する際に、モバイル機器が予め設定された位置及び姿勢で撮影できるようにユーザを支援する機能を有する。
モバイル機器の画面には、４つの対象物に対応する対象物の領域が予め表示されており、表示された４つの対象物の領域に、アンカーポイントを有する４つの対象物が適切に位置するようにモバイル機器の位置及び姿勢を決定して薬剤を撮影することで、薬剤のサイズ及び形状を規格化して撮影できるようにしている。
また、特許文献１に記載のシステムは、境界領域に付されている既知の色に基づいて薬剤に属する画素の色を、理想的な照明条件で撮影された画素の色になるように補正している。
特表２０１５－５３５１０８号公報
特許文献１には、薬剤の形状、サイズ、色、及びインプリント（刻印又は印字された文字や数字）により薬剤を識別する記載があるが、刻印又は印字を強調する強調処理に関する記載はない。
また、特許文献１には、カメラ付きのモバイル機器により薬剤の形状及びサイズを規格化して撮影できるように、モバイル機器の位置及び姿勢の調整を支援するシステムが記載されているが、ユーザがモバイル機器の位置及び姿勢を調整して撮影する必要があり、撮影が煩雑であるという問題がある。
本発明はこのような事情に鑑みてなされたもので、カメラ付き携帯端末を使用した簡易な装置により薬剤を良好に識別することができる薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラムを提供することを目的とする。
上記目的を達成するために一の態様に係る発明は、薬剤のサイズ及び形状の規格化に使用する指標を有し、識別対象の薬剤が載置されるトレーと、ディスプレイと同じ面側にカメラを有するカメラ付き携帯端末と、カメラ付き携帯端末により撮影された画像に基づいて薬剤を識別する薬剤識別装置と、から構成された薬剤識別システムであって、カメラ付き携帯端末は、薬剤識別の指示入力を受け付けると、ディスプレイの発光領域を変更し、トレーに載置された薬剤への照明方向を複数回変更するディスプレイ制御部と、ディスプレイの発光領域の変更により照明方向が異なる薬剤をカメラにより複数回撮影させ、薬剤の複数の第１画像を取得する画像取得部と、を備え、薬剤識別装置は、複数の第１画像に写っている指標に基づいて複数の第１画像をそれぞれ規格化する規格化部と、規格化後の複数の第１画像からそれぞれ薬剤領域の画像を抽出する画像抽出部と、抽出された複数の薬剤領域の画像に基づいて薬剤に付された刻印又は印字を強調する強調処理を施した第２画像を生成する画像処理部と、生成された第２画像に基づいて薬剤を識別する薬剤識別部と、を備える。
本発明の一の態様では、カメラ付き携帯端末は、トレーに設けられた指標とともに、トレーに載置された薬剤を撮影する。薬剤を撮影する場合、カメラと同じ面側のディスプレイを照明手段として使用する。特にディスプレイの発光領域を変更することで、トレーに載置された薬剤への照明方向を複数回変更し、照明方向が異なる薬剤をカメラにより複数回撮影させ、複数の画像（第１画像）を取得する。規格化部は、複数の第１画像に写っている指標に基づいて複数の第１画像をそれぞれ規格化し、これにより撮影時のカメラの位置及び姿勢に依存しない画像にしている。画像抽出部は、規格化後の複数の第１画像からそれぞれ薬剤領域の画像を抽出し、画像処理部は、抽出された複数の薬剤領域の画像に基づいて薬剤に付された刻印又は印字を強調する強調処理を施した画像（第２画像）を生成する。この第２画像によれば、薬剤のサイズ及び形状が分かり、また、薬剤に付された刻印又は印字が強調されているため、薬剤を良好に識別することができる。更に、本発明の一の態様によれば、専用の照明装置やカメラ等が不要であり、簡易な装置により薬剤を識別することができる。
本発明の他の態様に係る薬剤識別システムにおいて、画像処理部は、抽出された複数の薬剤領域の画像からそれぞれ照明方向に応じた方向のエッジ抽出フィルタを使用して複数のエッジ画像を取得し、複数のエッジ画像を使用して第２画像を生成することが好ましい。
本発明の更に他の態様に係る薬剤識別システムにおいて、トレーは、サイズ及び形状が既知の格子状の仕切りを有し、格子状の仕切りにより区画された載置面には薬剤が載置され、格子状の仕切りは指標を兼ねる。格子状の仕切りにより区画された複数の載置面に種類の異なる複数の薬剤を載置することで、複数の薬剤を識別するための撮影を同時に行うことができ、また、格子状の仕切りを手掛かりにして薬剤領域の画像を容易に抽出する（切り出す）ことができる。
本発明の更に他の態様に係る薬剤識別システムにおいて、トレーの格子状の仕切りにより区画された薬剤の載置面の色は、色相、明度及び彩度のうちの少なくとも１つが、１又は複数の載置面毎に異なることが好ましい。薬剤は、その薬剤の色とは、色相、明度及び彩度のうちの１つが異なる載置面を選んで載置することが好ましい。薬剤領域の画像と載置面（背景）とを区別しやすくし、画像抽出部による薬剤領域の画像の切り出しを容易にするためである。
本発明の更に他の態様に係る薬剤識別システムにおいて、画像取得部は、複数の第１画像として、照明方向が異なる３つ以上の画像とディスプレイを消灯させた状態の画像とを取得し、薬剤識別装置は、３つ以上の画像からそれぞれディスプレイを消灯させた状態の画像を減算し、環境光の影響を除去した複数の第１画像を生成する生成部を備えることが好ましい。これにより、環境光の影響を受けずに、薬剤領域の画像の色を薬剤本来の色に再現することができる。
本発明の更に他の態様に係る薬剤識別システムにおいて、ディスプレイは、偏光板を有するディスプレイであり、カメラは、撮影レンズの前にディスプレイから出射される光の偏光方向に対して偏光方向が９０度異なる偏光板が設置されることが好ましい。これにより、鏡面反射成分が除去された画像を撮影することができる。
本発明の更に他の態様に係る薬剤識別システムにおいて、薬剤識別部は、第２画像の特徴量を演算する特徴量演算部と、第２画像の特徴量に基づいて薬剤が登録薬剤のうちのいずれに近いかを推論する推論部とを有することが好ましい。
本発明の更に他の態様に係る薬剤識別システムにおいて、特徴量演算部及び推論部は、登録薬剤に対応する第２画像と登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークで構成されることが好ましい。
本発明の更に他の態様に係る薬剤識別システムにおいて、薬剤識別部は、推論部での推論により絞り込んだ登録薬剤の画像と、第２画像とのテンプレートマッチングにより薬剤を識別することが好ましい。
本発明の更に他の態様に係る薬剤識別システムにおいて、トレーは、カメラ付き携帯端末を保護する保護カバーを兼ねることが好ましい。
更に他の態様に係る発明は、カメラ付き携帯端末により撮影された画像に基づいて識別対象の薬剤を識別する薬剤識別装置であって、カメラ付き携帯端末は、ディスプレイと同じ面側にカメラを有し、薬剤のサイズ及び形状の規格化に使用する指標を有するトレーに載置された識別対象の薬剤を撮影する際に、ディスプレイの発光領域を変更し、トレーに載置された薬剤への照明方向を複数回変更し、ディスプレイの発光領域の変更により照明方向が異なる薬剤をカメラにより複数回撮影し、薬剤の複数の第１画像を取得するものであり、カメラ付き携帯端末から薬剤の複数の第１画像を受け付ける画像受付部と、複数の第１画像に写っている指標に基づいて複数の第１画像をそれぞれ規格化する規格化部と、規格化後の複数の第１画像からそれぞれ薬剤領域の画像を抽出する画像抽出部と、抽出された複数の薬剤領域の画像に基づいて薬剤に付された刻印又は印字を強調する強調処理を施した第２画像を生成する画像処理部と、生成された第２画像に基づいて薬剤を識別する薬剤識別部と、を備える。
更に他の態様に係る発明は、薬剤のサイズ及び形状の規格化に使用する指標を有するトレーに載置された識別対象の薬剤を識別する薬剤識別方法であって、ディスプレイ制御部が、ディスプレイと同じ面側にカメラを有するカメラ付き携帯端末のディスプレイの発光領域を変更し、トレーに載置された薬剤への照明方向を複数回変更する第１ステップと、画像取得部が、ディスプレイの発光領域の変更により照明方向が異なる薬剤をカメラにより複数回撮影させ、薬剤の複数の第１画像を取得する第２ステップと、規格化部が、複数の第１画像に写っている指標に基づいて複数の第１画像をそれぞれ規格化する第３ステップと、画像抽出部が、規格化後の複数の第１画像からそれぞれ薬剤領域の画像を抽出する第４ステップと、画像処理部が、抽出された複数の薬剤領域の画像に基づいて薬剤に付された刻印又は印字を強調する強調処理を施した第２画像を生成する第５ステップと、薬剤識別部が、生成された第２画像に基づいて薬剤を識別する第６ステップと、を含む。
本発明の更に他の態様に係る薬剤識別方法において、第５ステップは、抽出された複数の薬剤領域の画像からそれぞれ照明方向に応じた方向のエッジ抽出フィルタを使用して複数のエッジ画像を取得し、複数のエッジ画像を使用して第２画像を生成することが好ましい。
本発明の更に他の態様に係る薬剤識別方法において、トレーは、サイズ及び形状が既知の格子状の仕切りを有し、格子状の仕切りにより区画された載置面には薬剤が載置され、格子状の仕切りは、指標を兼ねることが好ましい。
本発明の更に他の態様に係る薬剤識別方法において、トレーの格子状の仕切りにより区画された薬剤の載置面の色は、色相、明度及び彩度のうちの少なくとも１つが、１又は複数の載置面毎に異なることが好ましい。
本発明の更に他の態様に係る薬剤識別方法において、第２ステップは、複数の第１画像として、照明方向が異なる３つ以上の画像とディスプレイを消灯させた状態の画像とを取得し、生成部が、３つ以上の画像からそれぞれディスプレイを消灯させた状態の画像を減算し、環境光の影響を除去した複数の第１画像を生成するステップを含むことが好ましい。
本発明の更に他の態様に係る薬剤識別方法において、第１ステップから第５ステップは、それぞれトレーに載置された薬剤が反転された後に、反転された薬剤に対して同じ処理を行い、第６ステップは、反転前及び反転後の薬剤に対してそれぞれ生成された第２画像に基づいて薬剤を識別することが好ましい。
更に他の態様に係る発明は、上記の薬剤識別システムを構成するカメラ付き携帯端末にインストールされるプログラムであって、薬剤識別の指示入力を受け付けると、ディスプレイの発光領域を変更し、トレーに載置された薬剤への照明方向を複数回変更するディスプレイ制御機能と、ディスプレイの発光領域の変更により照明方向が異なる薬剤をカメラにより複数回撮影させ、薬剤の複数の第１画像を取得する画像取得機能と、をカメラ付き携帯端末に実現させる。
本発明の更に他の態様に係るプログラムにおいて、複数の第１画像に写っている指標に基づいて複数の第１画像をそれぞれ規格化する規格化機能と、規格化後の複数の第１画像からそれぞれ薬剤領域の画像を抽出する画像抽出機能と、抽出された複数の薬剤領域の画像に基づいて薬剤に付された刻印又は印字を強調する強調処理を施した第２画像を生成する画像処理機能と、生成された第２画像に基づいて薬剤を識別する薬剤識別機能と、をカメラ付き携帯端末に実現させることが好ましい。
本発明によれば、トレーに設けられた指標とともに、トレーに載置された薬剤をカメラ付き携帯端末により撮影することで、画像に写っている指標に基づいて画像（薬剤のサイズ及び形状）の規格化を行うことができる。また、カメラと同じ面側のディスプレイを照明手段として使用し、特にディスプレイの発光領域を変更することで、トレーに載置された薬剤への照明方向が異なる薬剤をカメラにて撮影することができ、撮影された照明方向が異なる複数の画像（第１画像）に基づいて薬剤に付された刻印又は印字を強調処理した画像（第２画像）を生成するため、第２画像により薬剤を良好に識別することができる。
図１は、本発明に係る薬剤識別システムの実施形態を示すシステム構成図である。 図２は、図１に示した薬剤識別システムを構成するスマートフォンの外観図である。 図３は、図２に示したスマートフォンの内部構成を示すブロック図である。 図４は、図１に示した薬剤識別システムの電気的な構成を示す要部ブロック図である。 図５は、図１に示した薬剤識別システムを構成するトレーの構成、及びスマートフォンによりトレー上に載置された薬剤を撮影する状況を示す図である。 図６は、トレーに載置された薬剤を５回撮影する場合に制御されるディスプレイの発光領域を示す図である。 図７は、図４に示したサーバの規格化部、画像抽出部及び画像処理部を示すブロック図である。 図８は、規格化後の５つの第１画像の一例を示す図である。 図９は、薬剤の中心を通るｘ－ｙ平面で切断した薬剤の断面構造の模式図である。 図１０は、エッジ画像生成部でのエッジ抽出に使用するソーベルフィルタの一例を示す図である。 図１１は、図４に示した薬剤識別部の第１実施形態の薬剤識別部による薬剤の識別処理の概要を示す図である。 図１２は、第１実施形態の薬剤識別部の主要な機能を示す機能ブロック図である。 図１３は、第２実施形態に係る薬剤識別部を示すブロック図である。 図１４は、本発明に係る薬剤識別システムに使用されるトレーの他の実施形態を示す図である。 図１５は、本発明に係る薬剤識別方法の実施形態を示すフローチャートである。
以下、添付図面に従って本発明に係る薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラムの好ましい実施形態について説明する。
［薬剤識別システムの構成］
図１は、本発明に係る薬剤識別システムの実施形態を示すシステム構成図である。
図１に示すように、薬剤識別システムは、トレー１０と、カメラ付き携帯端末であるスマートフォン１００と、薬剤識別装置として機能するサーバ２００とから構成され、スマートフォン１００とサーバ２００とはインターネット、ＬＡＮ（Local Area Network）等のネットワーク２を介してデータ通信可能に接続されている。
トレー１０は、識別対象の１又は複数の薬剤２０が載置されるもので、後述するように薬剤のサイズ及び形状の規格化に使用する指標を有している。また、トレー１０は、スマートフォン１００を保護する保護カバーを兼ねることが好ましい。
スマートフォン１００は、ディスプレイと同じ面側にカメラ（インカメラ）を有するもので、カメラによりトレー１０上の薬剤２０を撮影する。スマートフォン１００は、撮影した薬剤２０の画像をネットワーク２を介してサーバ２００に送信する。
サーバ２００は、スマートフォン１００からアップロードされた薬剤２０の画像に基づいて薬剤２０の識別を行い、その識別結果（例えば、薬剤名、商品名、略称又はこれらの組合せからなる薬剤識別情報）を、薬剤２０の画像を送信したスマートフォン１００に送信する。
ところで、薬剤（錠剤）の表面には、薬剤の種別を識別するための識別コード情報が付されている。この識別コード情報は、一般に、刻印又は印字（印刷）によって付される。
サーバ２００は、薬剤に付された識別コード情報を利用することで、薬剤の識別力を向上させているが、その詳細については後述する。
尚、薬剤に付された刻印とは、薬剤の表面に陥没領域である溝を形成することによって識別コード情報が形成されたものをいう。溝は、表面を掘って形成されたものに限定されず、表面を押圧することで形成されたものでもよい。また、刻印は、割線等の識別機能を伴わないものを含んでもよい。
また、薬剤に付された印字とは、薬剤の表面に接触又は非接触で可食性インク等を付与することによって識別コード情報が形成されたものをいう。ここでは、印字によって付されたとは、印刷によって付されたと同義である。
＜スマートフォンの構成＞
図２に示すスマートフォン１００は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となって形成されるディスプレイ１２０が設けられる。表示パネル１２１は液晶パネルから構成されており、本例のディスプレイ１２０は液晶ディスプレイである。
また、その筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１とを備える。カメラ部１４１は、ディスプレイ１２０と同じ面側に設けられたカメラ（インカメラ）である。スマートフォン１００は、ディスプレイ１２０が設けられる筐体１０２の表面ではなく、筐体１０２の背面にも図示しないカメラ（アウトカメラ）を備えている。尚、カメラ部１４１のレンズの前方に別のレンズ（近距離撮影用のアダプタレンズ）を取り付けてもよい。
図３は、図２に示したスマートフォン１００の内部構成を示すブロック図である。
図３に示すようにスマートフォン１００は、主たる構成要素として、無線通信部１１０と、ディスプレイ１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０（出力部）と、ＧＰＳ（global positioning system）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１０１とを備える。また、スマートフォン１００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部１１０は、主制御部１０１の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びウェブデータやストリーミングデータなどの受信が行われる。
ディスプレイ１２０は、表示パネル１２１の画面上に配設された操作パネル１２２を備えたいわゆるタッチパネル付きディスプレイであり、主制御部１０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。
表示パネル１２１は、ＬＣＤ(Liquid Crystal Display)を表示デバイスとして用いる。尚、表示パネル１２１は、ＬＣＤに限らず、例えば、ＯＬＥＤ（organic light emitting diode）でもよい。
操作パネル１２２は、表示パネル１２１の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される１又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル１２２は、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。
通話部１３０は、スピーカ１３１及びマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力したりする。
操作部１４０は、キースイッチなどを用いたハードウエアキーであって、ユーザからの指示を受け付ける。例えば、図２に示すように、操作部１４０は、スマートフォン１００の筐体１０２の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。
記憶部１５０は、主制御部１０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ウェブブラウジングによりダウンロードしたウェブデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。
また、記憶部１５０は、内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２とにより構成される。尚、記憶部１５０を構成する内部記憶部１５１及び外部記憶部１５２のそれぞれは、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ、ＲＡＭ(Random Access Memory)、或いはＲＯＭ(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部１６０は、スマートフォン１００に連結される全ての外部機器とのインターフェースの役割を果たし、通信等（例えば、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、無線ＬＡＮ(Local Area Network)、ブルートゥース(Bluetooth)（登録商標））により他の外部機器に直接的又は間接的に接続する。
ＧＰＳ受信部１７０は、主制御部１０１の指示に従って、ＧＰＳ衛星ＳＴ１、ＳＴ２～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１００の緯度、経度及び高度によって特定される位置情報（ＧＰＳ情報）を取得する。ＧＰＳ受信部１７０は、無線通信部１１０及び／又は外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示に従って、スマートフォン１００の物理的な動きを検出する。スマートフォン１００の物理的な動きを検出することにより、スマートフォン１００の動く方向や加速度が検出される。その検出の結果は、主制御部１０１に出力される。
電源部１９０は、主制御部１０１の指示に従って、スマートフォン１００の各部に、バッテリ（図示しない）に蓄えられる電力を供給する。
主制御部１０１は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１００の各部を統括して制御する。また、主制御部１０１は、無線通信部１１０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、ソフトウェア処理機能とを備える。
ソフトウェア処理機能は、記憶部１５０が記憶するソフトウェアに従って主制御部１０１が動作することにより実現される。ソフトウェア処理機能としては、例えば、外部入出力部１６０を制御することで電子メールの送受信を行う電子メール機能、及びウェブページを閲覧するウェブブラウジング機能の他、本発明に係る薬剤識別システムを利用するための機能などがある。本発明に係る薬剤識別システムを利用するための機能は、薬剤識別装置として機能するサーバ２００又はサーバ２００を運営する事業者のサイト等から対応するソフトウェア（本発明に係るプログラム）をダウンロードすることにより実現することができる。
また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像をディスプレイ１２０に表示する等の画像処理機能を備える。
更に、主制御部１０１は、ディスプレイ１２０に対する表示制御と、操作部１４０や操作パネル１２２を通じたユーザ操作を検出する操作検出制御とを実行する。
カメラ部１４１は、主制御部１０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic Experts Group）などの圧縮した画像データに変換し、その画像データを記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることができる。
また、カメラ部１４１は、スマートフォン１００の各種機能に利用することができる。本例では、薬剤を識別する場合、薬剤の撮影に利用される。カメラ部１４１からの画像をソフトウェア内で利用することもできる。
＜薬剤識別システムの電気的な構成＞
図４は、薬剤識別システムの電気的な構成を示す要部ブロック図である。
スマートフォン１００の主制御部１０１は、本発明に係るプログラム（アプリケーション）がインストールされており、このアプリケーションを実行することにより、ディスプレイ制御部１０１Ａ、画像取得部１０１Ｂ、及び通信制御部１０１Ｃとして機能する。
ディスプレイ制御部１０１Ａは、ディスプレイ１２０を薬剤撮影時の照明手段として制御し、特にディスプレイ１２０の発光領域を複数回変更し、トレー１０に載置された薬剤２０への照明方向を変更する制御を行う。
画像取得部１０１Ｂは、ディスプレイ１２０の発光領域の変更により照明方向が異なる薬剤２０をカメラ部１４１により複数回撮影させ、カメラ部１４１から薬剤の複数の画像（第１画像）を取得する。
通信制御部１０１Ｃは、画像取得部１０１Ｂが取得した複数の第１画像を無線通信部１１０及びネットワーク２を介してサーバ２００に送信し、複数の第１画像に基づいてサーバ２００により識別された薬剤２０の識別結果をネットワーク２及び無線通信部１１０を介して取得する。
図５は、トレー１０の構成、及びスマートフォン１００によりトレー１０上に載置された薬剤２０を撮影する状況を示す図である。
図５に示すようにトレー１０には、薬剤２０が載置される載置面（本例では、薬剤の背景となる矩形の載置面）１２と、薬剤のサイズ及び形状の規格化に使用する指標（４つの指標）１４Ａ，１４Ｂ，１４Ｃ，１４Ｄとが設けられている。
載置面１２は、撮影された画像から薬剤に対応する領域（薬剤領域）の画像の抽出（切り出し）を容易にするために、特定の背景色（薬剤の色と異なる色）や特定の細かい背景パターンを有することが好ましい。薬剤の背景色は、薬剤の色の色相、明度及び彩度のうちの少なくとも１つが異なることが好ましい。
４つの指標１４Ａ，１４Ｂ，１４Ｃ及び１４Ｄは、相互に位置関係が既知のものである。尚、４つの指標１４Ａ，１４Ｂ，１４Ｃ及び１４Ｄの代わりに、例えば、載置面１２の形状にかかわる情報（矩形の載置面１２の４隅の座標や４辺の長さ等）を指標とすることができる。
トレー１０に載置された薬剤２０をスマートフォン１００により撮影する場合、カメラ部１４１の撮影範囲内に４つの指標１４Ａ，１４Ｂ，１４Ｃ及び１４Ｄが収まるようにスマートフォン１００（カメラ部１４１）の位置及び姿勢を決めて撮影を行う必要がある。尚、薬剤２０に正対し、かつ薬剤２０が大きくなる位置及び姿勢で撮影することが好ましいが、カメラ部１４１の位置及び姿勢は、少なくとも４つの指標１４Ａ，１４Ｂ，１４Ｃ及び１４Ｄが撮影範囲内に収まっていればよい。
また、トレー１０に載置された薬剤２０をスマートフォン１００により撮影する場合、カメラ部１４１と同じ面側のディスプレイ１２０を照明手段として使用し、カメラ部１４１により薬剤２０が載置されたトレー１０を複数回（本例では５回）撮影させる。
図６は、トレー１０に載置された薬剤２０を５回撮影する場合に制御されるディスプレイ１２０の発光領域を示す図である。
ディスプレイ制御部１０１Ａは、例えば、本例のアプリケーションが起動され、その後、操作部から撮影指示入力（薬剤識別の指示入力）を受け付けると、図６に示すようにディスプレイ１２０の発光領域を、時刻ｔ１、時刻ｔ２、時刻ｔ３、時刻ｔ４、時刻ｔ５の５回の撮影タイミングに合せて変更させる。
時刻ｔ１の撮影タイミングでは、ディスプレイ１２０を消灯させ、環境光３０（図５）のみが照明光となる状態で薬剤２０の撮影が行われる。
尚、本例のディスプレイ１２０は、表示パネル１２１として液晶パネルを使用する液晶ディスプレイであるため、ディスプレイ１２０を消灯させるとは、液晶パネル全体の透過光量を最小にする（黒を表示させる）ことをいう。
続いて、時刻ｔ２の撮影タイミングでは、ディスプレイ１２０の発光領域を、ディスプレイ１２０の左半分とし、環境光３０とディスプレイ１２０からの照明光とが混在している状態で薬剤２０の撮影が行われる。ここで、ディスプレイ１２０の発光領域を、ディスプレイ１２０の左半分にするとは、液晶パネルの左半分の透過光量を高く（好ましくは最大）にし、右半分の光透過量を最小にすることをいう。
同様にして、時刻ｔ３の撮影タイミングでは、ディスプレイ１２０の発光領域を、ディスプレイ１２０の右半分とし、時刻ｔ４の撮影タイミングでは、ディスプレイ１２０の発光領域を、ディスプレイ１２０の上半分とし、時刻ｔ５の撮影タイミングでは、ディスプレイ１２０の発光領域を、ディスプレイ１２０の下半分とし、それぞれの撮影タイミングで薬剤２０の撮影が行われる。
画像取得部１０１Ｂは、時刻ｔ１、時刻ｔ２、時刻ｔ３、時刻ｔ４、時刻ｔ５の５回の撮影タイミングでカメラ部１４１を撮影動作させ、カメラ部１４１から薬剤２０を撮影した５枚の第１画像を取得する。時刻ｔ２、時刻ｔ３、時刻ｔ４、時刻ｔ５のディスプレイ１２０の発光領域は、それぞれディスプレイ１２０の左半分、右半分、上半分、下半分であるため、薬剤２０に対するディスプレイ１２０からの照明光は、それぞれ照明方向が異なる。また、それぞれ照明方向が異なる照明光が照射された薬剤２０を撮影して得られる第１画像は、照明方向に伴って輝度ムラが発生し、薬剤２０に刻印が付されている場合には、刻印の影の出方が異なる。
５回の撮影時におけるカメラ部１４１の位置及び姿勢の変化が最小になるように、各撮影タイミングの時間間隔は短いことが好ましい。
ディスプレイ１２０は、偏光板を有する液晶ディスプレイであるため、ディスプレイ１２０から出射される照明光は、偏光板に対応した偏光した光である。そこで、ディスプレイ１２０から出射される光の偏光方向に対して偏光方向が９０度異なる偏光板（偏光フィルタ）をカメラ部１４１の撮影レンズの前に設置することが好ましい。
カメラ部１４１に偏光フィルタを設置することで、カメラ部１４１は、鏡面反射成分が除去された第１画像を撮影することができる。
尚、薬剤２０に刻印又は印字が付されている場合には、刻印又は印字が付されている面が上になるように薬剤２０をトレー１０に載置することが好ましい。薬剤２０の両面に刻印又は印字が付されている場合には、識別コード情報としての機能が高い刻印又は印字が付されている面が上になるように薬剤２０をトレー１０に載置することが好ましい。
＜サーバ２００＞
図４に示すサーバ２００は、薬剤識別装置として機能するものであり、主として通信部２１０、ＣＰＵ（Central Processing Unit）２２０、規格化部２３０、画像抽出部２４０、薬剤ＤＢ（database）２５０、メモリ２６０、画像処理部２７０及び薬剤識別部２８０から構成されている。
ＣＰＵ２２０は、サーバ２００の各部を統括制御する部分であり、スマートフォン１００から送信された複数の第１画像を受け付ける画像受付部として機能する通信部２１０と、受け付けた複数の第１画像に対して規格化部２３０、画像抽出部２４０、画像処理部２７０及び薬剤識別部２８０により各処理を実行させる。そして、ＣＰＵ２２０は、薬剤の識別結果を通信部２１０を介して第１画像を送信したスマートフォン１００に送信する。
薬剤ＤＢ２５０は、薬剤の名前等の薬剤識別情報と関連付けて薬剤の画像（薬剤の表側及び裏側の薬剤画像）を登録及び管理する部分である。薬剤ＤＢ２５０に登録された薬剤（登録薬剤）の薬剤画像は、識別対象の薬剤が、登録薬剤のうちのいずれの登録薬剤に近いかを分類する機械学習器を学習させる場合の教師データとして使用され、あるいは識別対象の薬剤の画像とのテンプレートマッチングにより識別対象の薬剤を識別する場合のテンプレート画像として使用される。
メモリ２６０は、薬剤識別サービスを提供するプログラムが格納される記憶部、及びＣＰＵ２２０の作業領域となる部分を含む。
図７は、図４に示したサーバ２００の規格化部２３０、画像抽出部２４０及び画像処理部２７０を示すブロック図である。
ディスプレイ１２０の発光領域を変更して撮影された５枚の第１画像５０は、規格化部２３０に加えられ、ここで、カメラ部１４１の位置及び姿勢に依存しない画像に規格化される。
第１画像５０には、図５に示したトレー１０に付された４つの指標１４Ａ，１４Ｂ，１４Ｃ，１４Ｄが写り込んでいる。規格化部２３０は、第１画像５０における４つの指標１４Ａ，１４Ｂ，１４Ｃ，１４Ｄの座標を求め、４つの指標１４Ａ，１４Ｂ，１４Ｃ，１４Ｄの座標と、相互に位置関係が既知の４つの指標１４Ａ，１４Ｂ，１４Ｃ及び１４Ｄとの関係から射影変換パラメータを求める。規格化部２３０は、求めた射影変換パラメータにより第１画像５０を射影変換することで、第１画像５０（薬剤２０）の形状を規格化する。また、４つの指標１４Ａ，１４Ｂ，１４Ｃ及び１４Ｄの実寸も既知であるため、薬剤２０のサイズも規格化することができる。
また、規格化後の５つの第１画像の一例を、図８に示す。尚、図８には、説明を簡単にするために、薬剤２０の画像を含む第１画像の一部が図示されている。
図８において、４つの第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤは、ディスプレイ１２０の左半分、右半分、上半分、及び下半分を点灯させ、それぞれディスプレイ１２０からの照明光の照明方向がそれぞれ異なる状態で撮影された画像であり、第１画像ＧＡは、ディスプレイ１２０を消灯させた状態で撮影された画像である。
図８に示す４つの第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤには、それぞれ照明方向に伴って輝度ムラが発生している。また、図８に示す各画像上の「Ａ」は、刻印Ｓを示している。画像ＧＬ，ＧＲ，ＧＵ及びＧＤの刻印Ｓは、薬剤の表面の凹凸形状であり、後述するように照明光の照明方向に伴って刻印Ｓの影の出方が異なるものとなる。
規格化部２３０は、ディスプレイ１２０の照明方向が異なる４つ第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤから、それぞれディスプレイ１２０を消灯させた状態の第１画像ＧＡを減算し、環境光の影響を除去した４つの第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤを生成する生成部を含む。この生成部により環境光の影響が除去された４つの第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤは、ディスプレイ１２０の照明光のみにより照明された画像であるため、規格化部２３０は、ディスプレイ１２０の照明光の色温度（既知の色温度）に対応するホワイトバランスゲインにより４つの第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤのホワイトバランス調整を行うことで、４つの第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤの色を、薬剤２０の本来の色と一致させる。
尚、トレー１０の既知の色（例えば、４つの指標１４Ａ，１４Ｂ，１４Ｃ，１４Ｄが設けられている領域の色であって、好ましくは白色）が再現できるように、ホワイトバランス調整を行うことで、環境光の影響を除去又は低減するようにしてもよい。この場合、ディスプレイ１２０を消灯させた状態の第１画像ＧＡの取得は不要である。
規格化部２３０により薬剤２０のサイズ及び形状が規格化され、かつ環境光の影響が除去又は低減された４つの第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤは、画像抽出部２４０に出力される。
画像抽出部２４０は、規格化後の４つの第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤからそれぞれ薬剤領域の画像を抽出する（切り出す）。画像抽出部２４０は、図５に示すようにトレー１０の薬剤２０が載置される載置面１２の背景色、又は載置面１２の背景パターンを利用することで、薬剤領域の画像を適切に切り出すことができる。
画像抽出部２４０により切り出された、刻印Ｓの影の出方が異なる４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤは、それぞれ画像処理部２７０に加えられる。
画像処理部２７０のエッジ画像生成部２７４は、４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤからそれぞれ照明光の照射方向に応じた方向のエッジ抽出フィルタ（例えば、ソーベルフィルタ）を使用し、４つのエッジ画像を生成する。
図９は、薬剤Ｔの中心を通るｘ－ｙ平面で切断した薬剤Ｔの断面構造の模式図であり、１画素分のラインのプロファイルを示している。
図９上の薬剤Ｔは、直径がＤであり、表面には断面がＶ字状の溝からなる割線である刻印Ｓが形成されている。刻印Ｓの溝の幅はＷである。尚、刻印Ｓの溝の幅とは、溝の延伸方向と直交する方向における溝の一方の端から他方の端までの距離であって、薬剤Ｔの表面における距離をいう。
ここで、ディスプレイ１２０の発光領域を左半分とし、その発光領域の照明光ＬＬにより薬剤Ｔを照明する場合と、ディスプレイ１２０の発光領域を右半分とし、その発光領域の照明光ＬＲにより薬剤Ｔを照明する場合とでは、刻印Ｓの影の出方が異なる。
即ち、照明光ＬＬにより薬剤Ｔを照明する場合、刻印Ｓの右側の面ＳＲは照明光ＬＬが照射されるが、刻印Ｓの左側の面ＳＬには照明光ＬＬは照射されなくなり、刻印Ｓの左側の面ＳＬに影が発生する。同様に、照明光ＬＬとは反対方向の照明光ＬＲにより薬剤Ｔを照明する場合、刻印Ｓの左側の面ＳＬは照明光ＬＲが照射されるが、刻印Ｓの右側の面ＳＲには照明光ＬＲは照射されなくなり、刻印Ｓの右側の面ＳＲに影が発生する。
図１０は、エッジ画像生成部２７４でのエッジ抽出に使用するソーベルフィルタの一例を示す図である。
ソーベルフィルタＦＬは、左方向からの照明光ＬＬが照射された薬剤Ｔの画像ＧＬからエッジ抽出する場合に使用され、ソーベルフィルタＦＲは、右方向から照明光ＬＲが照射された薬剤Ｔの画像ＧＲからエッジ抽出する場合に使用される。
図１０に示すソーベルフィルタＦＬ、ＦＲのカーネルサイズは、本例ではｘ軸方向３画素×ｙ軸方向３画素であるが、これに限らず、カメラ部１４１の解像度に依存して変更することが好ましい。また、ソーベルフィルタＦＬ、ＦＲのカーネルサイズは、刻印Ｓの幅Ｗ（の画素数）の半分より大きいサイズのソーベルフィルタを用いることが好ましい。例えば、刻印Ｓの溝の幅の画素数が４画素であれば、その半分の２画素より大きいサイズのソーベルフィルタを用いる。刻印Ｓの溝の幅の画素数を鑑みたサイズのエッジ抽出フィルタを用いることで、溝を精度よく抽出するとともに、溝の幅よりも小さい表面の模様及び傷等の刻印以外の情報を低減することができる。尚、ソーベルフィルタのフィルタサイズとフィルタ係数の導出方法は、http://sssiii.seesaa.net/article/368842002.htmlに記載されている。
エッジ画像生成部２７４は、画像ＧＬ、ＧＲに対してそれぞれソーベルフィルタＦＬ、ＦＲを使用し、画像ＧＬ、ＧＲに対応するエッジ画像を生成する。また、エッジ画像生成部２７４は、ディスプレイ１２０の発光領域を上半分とした、上方向からの照明光が照射された薬剤Ｔの画像ＧＵ、及びディスプレイ１２０の発光領域を下半分とした、下方向からの照明光が照射された薬剤Ｔの画像ＧＤに対しても、上記と同様に照明光の方向に応じたソーベルフィルタを使用することで、エッジ画像を生成する。
尚、エッジ画像合成部２７２におけるエッジ抽出フィルタ処理に使用するフィルタとしては、ソーベルフィルタに限らず、ラプラシアンフィルタ、キャニーフィルタ等を使用することができる。
エッジ画像生成部２７４は、４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤに対してそれぞれ生成した４つのエッジ画像を、画像処理部２７０のエッジ画像合成部２７２に出力する。
エッジ画像合成部２７２の他の入力には、画像抽出部２４０から４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤが加えられており、エッジ画像合成部２７２は、例えば、４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤのうちの１つの画像を選択し、選択した１つの画像の輝度ムラを検出し、検出した輝度ムラに基づいて選択した画像の輝度ムラを補正する輝度ムラ補正処理を施すことで、輝度ムラの少ない画像を生成する。そして、エッジ画像合成部２７２は、この輝度ムラの少ない画像にエッジ画像合成部２７２により生成された４つのエッジ画像を合成する。
これにより、画像処理部２７０は、照明光による輝度ムラの少ない薬剤の画像に対して、刻印を強調する強調処理が施された画像（第２画像）６０を生成することができる。
＜薬剤識別部の第１実施形態＞
図１１は、図４に示した薬剤識別部２８０の第１実施形態の薬剤識別部２８０－１による薬剤の識別処理の概要を示す図である。
図１１において、６０は、画像処理部２７０により刻印が強調された薬剤の第２画像の一例を示す図である。
薬剤識別部２８０－１は、第２画像６０に基づいて識別対象の薬剤が、登録薬剤のうちのいずれに近いかを推論する。推論には深層学習(classification)を利用する。本例では、薬剤識別部２８０－１により推論するが、その詳細については後述する。
推論結果は、表示器、プリンタ等の出力部により視認可能に出力する。
推論結果として、登録された薬剤の情報（薬剤識別情報と薬剤画像等）を、識別対象の薬剤に近い順（Rank 1,Rank 2,Rank 3,…）に出力することができる。また、最も近い１つの薬剤の情報、又は予め設定された上位の複数の薬剤の情報を出力することができる。
図１２は、第１実施形態の薬剤識別部２８０－１の主要な機能を示す機能ブロック図である。
図１２に示す薬剤識別部２８０－１は、本例では、機械学習器の一態様である畳み込みニューラルネットワーク（ＣＮＮ： Convolutional Neural Network））２８０－１により構成され、識別対象の薬剤が、登録された薬剤（登録薬剤）のうちのいずれの登録薬剤に近いかを分類するものである。ＣＮＮ２８０－１は、登録薬剤毎に対応する教師データにより事前に学習し、又は追加する登録薬剤に対応する教師データにより追加の学習が可能である。
登録薬剤に対応する教師データは、例えば、登録薬剤を撮影した画像について刻印又は印字を強調する強調処理が施された薬剤画像と、その登録薬剤の名前等の正解データであることが好ましい。尚、学習に使用した、又は使用する教師データは、薬剤ＤＢ２５０（図４）に保存しておくことが好ましい。また、教師データを使用した学習方法は公知であるため、その詳細な説明は省略する。
図１２に示すＣＮＮ２８０－１は、識別対象の第２画像６０を入力画像とするとき、その第２画像６０の特徴量を抽出（演算）する特徴量演算部２８２と、演算した特徴量に基づいて入力画像に対応する薬剤が登録薬剤のうちのいずれに近いかを推論する推論部２８４として機能する。ＣＮＮ２８０－１は、複数のレイヤ構造を有し、複数の重みパラメータを保持している。重みパラメータは、畳み込み層での畳み込み演算に使用されるカーネルと呼ばれるフィルタのフィルタ係数などである。
ＣＮＮ２８０－１は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから登録薬剤毎に学習を行う学習済みモデルに変化しうる。
このＣＮＮ２８０－１は、入力層２８０Ａと、畳み込み層２８６Ａ１、正規化層２８６Ｂ１、活性化関数による活性化処理部２８６Ｃ１、プーリング層２８６Ｄ１から構成される複数セット（本例では、６セット）、及び全結合層２８６Ｅ１を有する中間層２８０Ｂと、出力層２８０Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。
ＣＮＮ２８０－１の構造は、図１２に例示するものに限らず、代表的な学習モデルであるVGG16、AlexNetなどを適用することができる。
ＣＮＮ２８０－１の入力層２８０Ａには、識別対象の薬剤の第２画像６０が入力画像として入力される。本例では、第２画像６０は、ＲＧＢ（Red Green Blue）のカラー画像であるため、３枚のＲ画像、Ｇ画像、Ｂ画像であり、合計３枚の画像セットが入力画像である。
畳み込み層２８６Ａ１～２８６Ａ６は、画像からのエッジ抽出等の特徴抽出の役割を担う部分である。畳み込み層２８６Ａ１～２８６Ａ６は、入力層２８０Ａから入力した画像セットや前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得するもので、画像からのエッジ抽出等の特徴抽出の役割を担う。
１番目の畳み込み層２８６Ａ１は、画像セットとフィルタとの畳み込み演算を行う。ここで、画像セットは、Ｒ画像、Ｇ画像、Ｂ画像の３チャンネル（３枚）であるため、例えば、サイズ５のフィルタの場合、フィルタサイズは、５×５×３のフィルタになる。
５×５×３のフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル(１枚)の「特徴マップ」が生成される。したがって、Ｎ個のフィルタを使用すると、Ｎチャンネルの「特徴マップ」を生成することができる。
２番目の畳み込み層２８６Ａ２（図示せず）で使用されるフィルタは、例えばサイズ３のフィルタの場合、フィルタサイズは、３×３×Ｎのフィルタになる。
正規化層２８６Ｂ１～２８６Ｂ６は、入力画像に対して輝度やコントラスト等の正規化を行う部分であり、入力画像だけでなく、ＣＮＮ２８０－１の途中経過の「特徴マップ」に対しても正規化を行う。
活性化処理部２８６Ｃ１～２８６Ｃ６は、活性化関数（例えば、ステップ関数、シグモイド関数、ソフトマックス関数)により入力信号を処理する部分であり、次の層に渡す値を整えるような役割を果たす。
プーリング層２８６Ｄ１は、畳み込み層２８６Ａ１（本例では、活性化処理部２８６Ｃ１）から出力された特徴マップを縮小して新たな特徴マップとする。「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。
推論部２８４として機能する１つ又は複数の全結合層２８６Ｅ１は、前の層の全てのノード（本例では、活性化処理部２８６Ｃ６から出力される特徴マップ）と重み付き結合し、活性化関数によって変換された値（特徴変数）を出力する。ノードの数を増加させると、特徴量空間の分割数が増加し、特徴変数の数も増加する。
推論部２８４として機能する出力層２８０Ｃは、全結合層２８６Ｅ１からの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、それぞれの領域（本例ではそれぞれの薬剤）に正しく分類される確率を最大化する（最尤推定法）ことによって分類を行う。尚、最終段の全結合層を出力層と呼ぶこともある。
出力層２８０Ｃは、図１１に示したように薬剤の第２画像６０（入力画像）が、登録薬剤のうちのいずれに近いかを示す推論結果を出力部２８８に出力する。
推論結果は、識別対象の薬剤に近い順（Rank 1,Rank 2,Rank 3,…）に、登録薬剤の情報（薬剤識別情報と薬剤画像等）やその確率として出力部２８８から出力することができる。
ユーザは、出力部２８８から出力される推論結果を、識別対象の薬剤を監査、鑑別する際の支援情報として使用することができる。
＜薬剤識別部の第２実施形態＞
図１３は、第２実施形態に係る薬剤識別部２８０－２を示すブロック図である。
図１３に示す薬剤識別部２８０－２は、主としてＣＮＮ２８０－１と、テンプレートマッチング部２８９とから構成されている。
ＣＮＮ２８０－１は、図１２に示したものと同一であるため、その詳細な説明は省略する。
ＣＮＮ２８０－１による推論結果は、テンプレートマッチング部２８９に加えられる。
テンプレートマッチング部２８９の他の入力には、識別対象の第２画像６０が加えられており、テンプレートマッチング部２８９は、薬剤ＤＢ２５０に登録されている登録薬剤のうち、ＣＮＮ２８０－１による推論結果により絞り込んだ登録薬剤の画像と、第２画像６０とのテンプレートマッチングにより薬剤を識別する。例えば、事前に得られている薬剤の画像（刻印又は印字が強調された薬剤の画像）について、クラスタリングをしておく。識別対象の第２画像６０が、クラスタリング内のどのクラスに入るかをＣＮＮ２８０－１により推論し、テンプレートマッチング部２８９は、そのクラス中でテンプレートマッチングを行う。これにより、テンプレートマッチングの処理時間の短縮化を図ることができる。
＜トレーの他の実施形態＞
図１４は、本発明に係る薬剤識別システムに使用されるトレーの他の実施形態を示す図である。
図１４に示すトレー４０は、格子状の仕切りを有し、格子状の仕切りにより区画された９つの領域A11,A12,A13,A21,A22,A23,A31,A32,A33にそれぞれ１つの薬剤が載置可能になっている。このトレー４０は、格子状の仕切りにより９つの領域A11～A33に区画されているが、仕切りにより区画される領域の数は、これに限定されない。
また、トレー４０の格子状の仕切りは、サイズ及び形状が既知となっている。即ち、サイズ及び形状が既知の格子状の仕切りは、図５に示した指標１４Ａ～１４Ｄと同様に薬剤のサイズ及び形状の規格化に使用する指標を兼ねている。
更に、仕切りにより区画された９つの領域A11～A33の薬剤の載置面の色は、色相、明度及び彩度のうちの少なくとも１つが、１又は複数の載置面毎に異なっている。
したがって、ユーザが識別対象の薬剤２０を、９つ領域A11～A33のいずれかに載置する場合、識別対象の薬剤２０の色と異なる色を有する載置面に薬剤２０を載置することが好ましい。
例えば、白等の濃度の低い薬剤は、黒等の濃度の高い載置面を選択して載置することが好ましい。カメラ部１４１により撮影された画像から薬剤２０に対応する薬剤領域の画像の切り出しを容易にするためである。
このトレー４０は、９つ領域A11～A33の載置面を有するため、複数（最大で９個）の薬剤を同時に載置することができ、これらの複数の薬剤は、スマートフォン１００のカメラ部１４１により同時に撮影することができる。
また、薬剤の両面に刻印又は印字が付されている場合には、トレー４０に載置された薬剤の一方の面の撮影が終了すると、トレー４０上の薬剤を反転させ、薬剤の他の面の撮影を行うことが好ましい。反転前の薬剤を撮影した複数の画像から生成した第２画像と、反転後の薬剤を撮影した複数の画像から生成した第２画像とに基づいて薬剤を識別することが好ましい。これによれば、薬剤の両面に付された刻印又は印字の情報を薬剤の識別に使用することができ、薬剤の識別の精度を上げることができる。
尚、スマートフォン１００による薬剤の撮影方法及び撮影された薬剤の画像の処理方法は、１個の薬剤を撮影する場合と同様に行うことができるため、ここではその詳細な説明は省略する。
［薬剤識別方法］
図１５は、本発明に係る薬剤識別方法の実施形態を示すフローチャートであり、図４に示した薬剤識別システムの各部の処理手順に関して示している。
図１２において、ユーザは、識別対象の薬剤２０をトレー１０の載置面１２（図５）を載置する。続いて、ユーザはスマートフォン１００を操作し、スマートフォン１００により薬剤２０の撮影を実行させる。
即ち、スマートフォン１００のディスプレイ制御部１０１Ａは、ディスプレイ１２０を消灯した状態にし、画像取得部１０１Ｂは、ディスプレイ１２０が消灯した状態でカメラ部１４１による薬剤２０の撮影を実行させ、環境光のみが照射された薬剤２０の画像（第１画像）を取得する（ステップＳ１０）。
続いて、ディスプレイ制御部１０１Ａは、ディスプレイ１２０の発光領域を順次変更し（第１ステップ）、画像取得部１０１Ｂは、ディスプレイ１２０の発光領域の変更により照明方向が異なる薬剤２０をカメラ部１４１により複数回（本例では４回）撮影させ、４枚の画像（第１画像）を取得する（第２ステップＳ１２）。
スマートフォン１００の通信制御部１０１Ｃは、ステップＳ１０で取得したディスプレイ１２０が消灯した状態で撮影された１枚の第１画像と、第２ステップＳ１２で取得したディスプレイ１２０の発光領域の変更により照明方向が異なる４枚の第１画像（合計５枚の第１画像）５０を、サーバ２００に送信する。
サーバ２００の規格化部２３０は、複数の第１画像における４つの指標１４Ａ，１４Ｂ，１４Ｃ，１４Ｄの座標を求め、４つの指標１４Ａ，１４Ｂ，１４Ｃ，１４Ｄの座標と、相互に位置関係が既知の４つの指標１４Ａ，１４Ｂ，１４Ｃ及び１４Ｄとの関係に基づいて複数の第１画像（薬剤２０）の形状及びサイズを規格化する（第３ステップＳ１４）。また、規格化部２３０は、ディスプレイ１２０の照明方向が異なる複数（本例では４枚）の第１画像ＧＬ，ＧＲ，ＧＵ及びＧＤから、それぞれディスプレイ１２０を消灯させた状態の第１画像ＧＡを減算し、環境光の影響を除去した複数の第１画像を生成する。
画像抽出部２４０は、規格化後の複数（本例では４枚）の第１画像からそれぞれ薬剤領域の第１画像ＧＬ，ＧＲ，ＧＵ，ＧＤを抽出する（切り出す）（第４ステップＳ１６）。
画像処理部２７０のエッジ画像生成部２７４は、複数の画像ＧＬ，ＧＲ，ＧＵ，及びＧＤに対してそれぞれ照明光の照明方向に応じたソーベルフィルタを使用することで、エッジ画像を生成する（ステップＳ１８）。
エッジ画像合成部２７２は、複数の画像ＧＬ，ＧＲ，ＧＵ，及びＧＤのうちの１つの画像を選択し、選択した１つの画像の輝度ムラを検出し、検出した輝度ムラに基づいて選択した画像の輝度ムラを補正する輝度ムラ補正処理を施ことで、輝度ムラの少ない画像を生成する。そして、エッジ画像合成部２７２は、この輝度ムラの少ない画像にステップＳ１８で生成された複数のエッジ画像を合成し、合成画像（第２画像）を生成する（第５ステップＳ２０）。
薬剤識別部２８０は、生成された第２画像に基づいて識別対象の薬剤２０を識別する（第６ステップＳ２２）。薬剤識別部２８０は、学習済みのＣＮＮ２８０－１により薬剤の第２画像（入力画像）が、登録薬剤のうちのいずれに近いかを示す推論結果を視認可能に出力したり、テンプレートマッチング部２８９により推論結果により絞り込んだ登録薬剤の画像と、第２画像とのテンプレートマッチングにより薬剤を識別し、識別結果を視認可能に出力する。
［その他］
本実施形態では、ディスプレイの発光領域の変更により照明方向からそれぞれ異なる４つの薬剤の画像を撮影するが、照明方向が異なる複数の画像は４つに限らず、３つ以上であればよい。また、ディスプレイの発光領域の変更もディスプレイの左半分、右半分、上半分及び下半分に限らず、ディスプレイの発光領域（発光強度の強弱パターンも含む）の変更により薬剤への照明方向が異なればよい。
また、薬剤識別装置は、サーバに限らず、スマートフォンに代表されるカメラ付き携帯端末と通信可能な装置であれば、如何なるものでもよい。
薬剤識別装置のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
また、本実施形態では、カメラ付き携帯端末は、照明方向が異なる複数の画像を撮影する機能を備えているが、薬剤識別装置の一部の機能（例えば、規格化部、画像抽出部、及び画像処理部の機能）を備えるものでもよいし、薬剤識別装置の全ての機能を備えるものでもよい。後者の場合、カメラ付き携帯端末とは別体の薬剤識別装置は不要になる。
更に、薬剤識別部による薬剤の識別方法は、本実施形態に限定されず、薬剤に付された刻印又は印字が強調された画像（第２画像）に基づいて薬剤を識別する方法であれば、如何なる方法でもよい。
また、本発明は、汎用のカメラ付き携帯端末にインストールされることにより、本発明に係るカメラ付き携帯端末として各種の機能（ディスプレイ制御機能、画像取得機能等）を実現させるプログラム、及びこのプログラムが記録された記録媒体を含む。
更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
２ ネットワーク
１０、４０ トレー
１２ 載置面
１４Ａ、１４Ｂ、１４Ｃ、１４Ｄ 指標
２０ 薬剤
３０ 環境光
５０ 第１画像
６０ 第２画像
１００ スマートフォン
１０１ 主制御部
１０１Ａ ディスプレイ制御部
１０１Ｂ 画像取得部
１０１Ｃ 通信制御部
１０２ 筐体
１１０ 無線通信部
１２０ ディスプレイ
１２１ 表示パネル
１２２ 操作パネル
１３０ 通話部
１３１ スピーカ
１３２ マイクロホン
１４０ 操作部
１４１ カメラ部
１５０ 記憶部
１５１ 内部記憶部
１５２ 外部記憶部
１６０ 外部入出力部
１７０ ＧＰＳ受信部
１８０ モーションセンサ部
１９０ 電源部
２００ 薬剤識別装置（サーバ）
２１０ 通信部
２２０ ＣＰＵ
２３０ 規格化部
２４０ 画像抽出部
２５０ 薬剤ＤＢ
２６０ メモリ
２７０ 画像処理部
２７２ エッジ画像合成部
２７４ エッジ画像生成部
２８０ 薬剤識別部
２８０－１ 薬剤識別部（ＣＮＮ）
２８０－２ 薬剤識別部
２８０Ａ 入力層
２８０Ｂ 中間層
２８０Ｃ 出力層
２８２ 特徴量演算部
２８４ 推論部
２８８ 出力部
２８９ テンプレートマッチング部
Ｓ 刻印

Claims (20)

  1. 薬剤のサイズ及び形状の規格化に使用する指標を有し、識別対象の薬剤が載置されるトレーと、
    ディスプレイと同じ面側にカメラを有するカメラ付き携帯端末と、
    前記カメラ付き携帯端末により撮影された画像に基づいて前記薬剤を識別する薬剤識別装置と、から構成された薬剤識別システムであって、
    前記カメラ付き携帯端末は、
    薬剤識別の指示入力を受け付けると、前記ディスプレイの発光領域を変更し、前記トレーに載置された前記薬剤への照明方向を複数回変更するディスプレイ制御部と、
    前記ディスプレイの発光領域の変更により照明方向が異なる前記薬剤を前記カメラにより複数回撮影させ、前記薬剤の複数の第１画像を取得する画像取得部と、を備え、
    前記薬剤識別装置は、
    前記複数の第１画像に写っている前記指標に基づいて前記複数の第１画像をそれぞれ規格化する規格化部と、
    前記規格化後の前記複数の第１画像からそれぞれ薬剤領域の画像を抽出する画像抽出部と、
    前記抽出された複数の薬剤領域の画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理を施した第２画像を生成する画像処理部と、
    前記生成された前記第２画像に基づいて前記薬剤を識別する薬剤識別部と、を備えた、
    薬剤識別システム。
  2. 前記画像処理部は、前記抽出された複数の薬剤領域の画像からそれぞれ前記照明方向に応じた方向のエッジ抽出フィルタを使用して複数のエッジ画像を取得し、前記複数のエッジ画像を使用して前記第２画像を生成する請求項１に記載の薬剤識別システム。
  3. 前記トレーは、サイズ及び形状が既知の格子状の仕切りを有し、
    前記格子状の仕切りに区画された載置面には薬剤が載置され、
    前記格子状の仕切りは指標を兼ねる請求項１又は２に記載の薬剤識別システム。
  4. 前記トレーの前記格子状の仕切りにより区画された前記薬剤の載置面の色は、色相、明度及び彩度のうちの少なくとも１つが、１又は複数の載置面毎に異なる請求項３に記載の薬剤識別システム。
  5. 前記画像取得部は、前記複数の第１画像として、照明方向が異なる３つ以上の画像と前記ディスプレイを消灯させた状態の画像とを取得し、
    前記薬剤識別装置は、前記３つ以上の画像からそれぞれ前記ディスプレイを消灯させた状態の画像を減算し、環境光の影響を除去した前記複数の第１画像を生成する生成部を備えた請求項１から４のいずれか１項に記載の薬剤識別システム。
  6. 前記ディスプレイは、偏光板を有するディスプレイであり、
    前記カメラは、撮影レンズの前に前記ディスプレイから出射される光の偏光方向に対して偏光方向が９０度異なる偏光板が設置される請求項１から５のいずれか１項に記載の薬剤識別システム。
  7. 前記薬剤識別部は、前記第２画像の特徴量を演算する特徴量演算部と、前記第２画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する推論部とを有する請求項１から６のいずれか１項に記載の薬剤識別システム。
  8. 前記特徴量演算部及び前記推論部は、前記登録薬剤に対応する前記第２画像と前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークで構成される請求項７に記載の薬剤識別システム。
  9. 前記薬剤識別部は、前記推論部での推論により絞り込んだ前記登録薬剤の画像と、前記第２画像とのテンプレートマッチングにより前記薬剤を識別する請求項７又は８に記載の薬剤識別システム。
  10. 前記トレーは、前記カメラ付き携帯端末を保護する保護カバーを兼ねる請求項１から９のいずれか１項に記載の薬剤識別システム。
  11. カメラ付き携帯端末により撮影された画像に基づいて識別対象の薬剤を識別する薬剤識別装置であって、
    前記カメラ付き携帯端末は、ディスプレイと同じ面側にカメラを有し、薬剤のサイズ及び形状の規格化に使用する指標を有するトレーに載置された前記識別対象の薬剤を撮影する際に、前記ディスプレイの発光領域を変更し、前記トレーに載置された前記薬剤への照明方向を複数回変更し、前記ディスプレイの発光領域の変更により照明方向が異なる前記薬剤を前記カメラにより複数回撮影し、前記薬剤の複数の第１画像を取得するものであり、
    前記カメラ付き携帯端末から前記薬剤の複数の第１画像を受け付ける画像受付部と、
    前記複数の第１画像に写っている前記指標に基づいて前記複数の第１画像をそれぞれ規格化する規格化部と、
    前記規格化後の前記複数の第１画像からそれぞれ薬剤領域の画像を抽出する画像抽出部と、
    前記抽出された複数の薬剤領域の画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理を施した第２画像を生成する画像処理部と、
    前記生成された前記第２画像に基づいて前記薬剤を識別する薬剤識別部と、
    を備えた薬剤識別装置。
  12. 薬剤のサイズ及び形状の規格化に使用する指標を有するトレーに載置された識別対象の薬剤を識別する薬剤識別方法であって、
    ディスプレイ制御部が、ディスプレイと同じ面側にカメラを有するカメラ付き携帯端末の前記ディスプレイの発光領域を変更し、前記トレーに載置された前記薬剤への照明方向を複数回変更する第１ステップと、
    画像取得部が、前記ディスプレイの発光領域の変更により照明方向が異なる前記薬剤を前記カメラにより複数回撮影させ、前記薬剤の複数の第１画像を取得する第２ステップと、
    規格化部が、前記複数の第１画像に写っている前記指標に基づいて前記複数の第１画像をそれぞれ規格化する第３ステップと、
    画像抽出部が、前記規格化後の前記複数の第１画像からそれぞれ薬剤領域の画像を抽出する第４ステップと、
    画像抽出部が、前記抽出された複数の薬剤領域の画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理を施した第２画像を生成する第５ステップと、
    薬剤識別部が、前記生成された前記第２画像に基づいて前記薬剤を識別する第６ステップと、
    を含む薬剤識別方法。
  13. 前記第５ステップは、前記抽出された複数の薬剤領域の画像からそれぞれ前記照明方向に応じた方向のエッジ抽出フィルタを使用して複数のエッジ画像を取得し、前記複数のエッジ画像を使用して前記第２画像を生成する請求項１２に記載の薬剤識別方法。
  14. 前記トレーは、サイズ及び形状が既知の格子状の仕切りを有し、
    前記格子状の仕切りにより区画された載置面には薬剤が載置され、
    前記格子状の仕切りは、前記指標を兼ねる請求項１２又は１３に記載の薬剤識別方法。
  15. 前記トレーの前記格子状の仕切りにより区画された前記薬剤の載置面の色は、色相、明度及び彩度のうちの少なくとも１つが、１又は複数の載置面毎に異なる請求項１４に記載の薬剤識別方法。
  16. 前記第２ステップは、前記複数の第１画像として、照明方向が異なる３つ以上の画像と前記ディスプレイを消灯させた状態の画像とを取得し、
    生成部が、前記３つ以上の画像からそれぞれ前記ディスプレイを消灯させた状態の画像を減算し、環境光の影響を除去した前記複数の第１画像を生成するステップを含む請求項１２から１５のいずれか１項に記載の薬剤識別方法。
  17. 前記第１ステップから前記第５ステップは、それぞれ前記トレーに載置された前記薬剤が反転された後に、前記反転された前記薬剤に対して同じ処理を行い、
    前記第５ステップは、反転前及び反転後の前記薬剤に対してそれぞれ生成された前記第２画像に基づいて前記薬剤を識別する請求項１２から１６のいずれか１項に記載の薬剤識別方法。
  18. 請求項１から１０のいずれか１項に記載の薬剤識別システムを構成する前記カメラ付き携帯端末にインストールされるプログラムであって、
    薬剤識別の指示入力を受け付けると、前記ディスプレイの発光領域を変更し、前記トレーに載置された前記薬剤への照明方向を複数回変更するディスプレイ制御機能と、
    前記ディスプレイの発光領域の変更により照明方向が異なる前記薬剤を前記カメラにより複数回撮影させ、前記薬剤の複数の第１画像を取得する画像取得機能と、
    を前記カメラ付き携帯端末に実現させるプログラム。
  19. 前記複数の第１画像に写っている前記指標に基づいて前記複数の第１画像をそれぞれ規格化する規格化機能と、
    前記規格化後の前記複数の第１画像からそれぞれ薬剤領域の画像を抽出する画像抽出機能と、
    前記抽出された複数の薬剤領域の画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理を施した第２画像を生成する画像処理機能と、
    前記生成された前記第２画像に基づいて前記薬剤を識別する薬剤識別機能と、
    を前記カメラ付き携帯端末に実現させる請求項１８に記載のプログラム。
  20. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１８又は１９に記載のプログラムをコンピュータに実行させる記録媒体。
JP2020571113A 2019-02-08 2020-01-28 薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム Active JP7106688B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019021802 2019-02-08
JP2019021802 2019-02-08
PCT/JP2020/002946 WO2020162262A1 (ja) 2019-02-08 2020-01-28 薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020162262A1 JPWO2020162262A1 (ja) 2021-11-25
JP7106688B2 true JP7106688B2 (ja) 2022-07-26

Family

ID=71948236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020571113A Active JP7106688B2 (ja) 2019-02-08 2020-01-28 薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム

Country Status (5)

Country Link
US (1) US20210312219A1 (ja)
EP (1) EP3922232B1 (ja)
JP (1) JP7106688B2 (ja)
CN (1) CN113301883A (ja)
WO (1) WO2020162262A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116367805A (zh) * 2020-10-29 2023-06-30 株式会社汤山制作所 种类判别装置、种类判别方法、种类判别程序及药剂分类装置
AU2021416750A1 (en) * 2021-01-05 2023-08-17 It Access Co., Ltd Imaging assistance tool and skin imaging device
JPWO2022163508A1 (ja) * 2021-01-26 2022-08-04
TWI781856B (zh) * 2021-12-16 2022-10-21 新加坡商鴻運科股份有限公司 藥物影像辨識方法、電腦設備及儲存介質

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015535108A (ja) 2012-10-31 2015-12-07 メドスナップ・リミテッド・ライアビリティ・カンパニーＭｅｄｓｎａｐ， ＬＬＣ デジタル画像における錠剤の認識のための適応色補正のシステム及び方法
JP2017194413A (ja) 2016-04-22 2017-10-26 富士フイルム株式会社 薬剤監査装置及び方法並びにプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4923282B2 (ja) * 2002-11-22 2012-04-25 グローリー株式会社 薬剤認識装置
EP1852693A4 (en) * 2005-02-23 2010-05-26 Panasonic Elec Works Co Ltd METHOD FOR EXAMINING GRANULAR MATERIAL AND EXAMINATION DEVICE FOR CARRYING OUT SAID METHOD
CN201534392U (zh) * 2009-07-16 2010-07-28 上海理工大学 药片冲压设备高精度检测***
US8224391B2 (en) * 2009-07-20 2012-07-17 Lg Electronics Inc. Mobile terminal having an LED backlight unit
US20120127290A1 (en) * 2010-05-20 2012-05-24 Tsuyoshi Tojo Liquid medicine identification apparatus and liquid medicine identification method
JP5748624B2 (ja) * 2011-09-14 2015-07-15 株式会社トーショー 薬品管理システム
JP2014053791A (ja) * 2012-09-07 2014-03-20 Panasonic Corp 画像処理装置、画像処理プログラムおよび画像撮影装置
JP2014095652A (ja) * 2012-11-12 2014-05-22 Kansai Seiki Kogyo Kk 薬剤認識方法および薬剤認識装置
US9994347B2 (en) * 2013-02-20 2018-06-12 Yuyama Mfg. Co., Ltd. Medicine inspection device and medicine packaging system
EP2987106A4 (en) * 2013-04-18 2016-12-14 Digimarc Corp ACQUIRING AND ANALYZING PHYSIOLOGICAL DATA
US20140378810A1 (en) * 2013-04-18 2014-12-25 Digimarc Corporation Physiologic data acquisition and analysis
US20140313303A1 (en) * 2013-04-18 2014-10-23 Digimarc Corporation Longitudinal dermoscopic study employing smartphone-based image registration
JP6100136B2 (ja) * 2013-09-30 2017-03-22 富士フイルム株式会社 薬剤認識装置及び方法
US9940439B2 (en) * 2013-11-29 2018-04-10 Atabak Reza Royaee Method and device for identification and/or sorting of medicines
US9462169B2 (en) * 2013-12-31 2016-10-04 Huawei Technologies Co., Ltd. Shooting method, apparatus, and terminal
CN106031156B (zh) * 2014-02-26 2019-10-22 华为终端有限公司 一种拍摄补光的控制方法、装置及终端
WO2015133287A1 (ja) * 2014-03-07 2015-09-11 新日鐵住金株式会社 表面性状指標化装置、表面性状指標化方法及びプログラム
US10969218B2 (en) * 2014-03-31 2021-04-06 Yuyama Mfg. Co., Ltd. Medicine photographing device
WO2016047569A1 (ja) * 2014-09-25 2016-03-31 株式会社湯山製作所 鑑査支援システム、錠剤分包装置
KR102322987B1 (ko) * 2015-06-26 2021-11-09 (주)제이브이엠 약포 검사 장치 및 약포 검사 방법
JP6419984B2 (ja) * 2015-09-28 2018-11-07 富士フイルム株式会社 薬剤検査装置及び方法並びにプログラム
JP2017130887A (ja) * 2016-01-22 2017-07-27 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、撮像方法、及びプログラム
US10713540B2 (en) * 2017-03-07 2020-07-14 Board Of Trustees Of Michigan State University Deep learning system for recognizing pills in images
JP2018190085A (ja) * 2017-04-28 2018-11-29 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理システムの制御方法、およびプログラム
CN112585667A (zh) * 2018-05-16 2021-03-30 康耐克斯数字有限责任公司 智能平台柜台展示***和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015535108A (ja) 2012-10-31 2015-12-07 メドスナップ・リミテッド・ライアビリティ・カンパニーＭｅｄｓｎａｐ， ＬＬＣ デジタル画像における錠剤の認識のための適応色補正のシステム及び方法
JP2017194413A (ja) 2016-04-22 2017-10-26 富士フイルム株式会社 薬剤監査装置及び方法並びにプログラム

Also Published As

Publication number Publication date
US20210312219A1 (en) 2021-10-07
EP3922232A1 (en) 2021-12-15
EP3922232B1 (en) 2022-11-23
CN113301883A (zh) 2021-08-24
JPWO2020162262A1 (ja) 2021-11-25
EP3922232A4 (en) 2022-03-23
WO2020162262A1 (ja) 2020-08-13

Similar Documents

Publication Publication Date Title
JP7106688B2 (ja) 薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム
CN109804622B (zh) 红外图像流的重新着色
US7426293B2 (en) Rapid color recognition method
US7801359B2 (en) Systems and methods for obtaining information associated with an image
CN105283902A (zh) 图像处理装置、图像处理方法、以及图像处理程序
RU2008143205A (ru) Эффективное кодирование множества видов
CN107683403A (zh) 距离图像获取装置以及距离图像获取方法
WO2018083971A1 (ja) プリントシステム、サーバ、プリント方法及びプログラム
CN109565577A (zh) 色彩校正装置、色彩校正***、色彩校正用全息图、色彩校正方法以及程序
US20230368552A1 (en) Drug identification device, drug identification method and program, drug identification system, drug loading table, illumination device, imaging assistance device, trained model, and learning device
KR20200036314A (ko) 식품 정보 추정을 위한 가이드 카드, 이를 이용한 식품 정보 추정 시스템 및 방법
CN112703492A (zh) 用于在增强现实显示装置中操作的***和方法
JP2012205089A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN113412615B (zh) 信息处理终端、记录介质、信息处理***及颜色校正方法
TW201541935A (zh) 具有影像處理功能的事務機
JP7225416B2 (ja) 画像処理装置、携帯端末、画像処理方法及びプログラム
JP6628105B2 (ja) 画像形成システムおよび画像形成装置
US20160063763A1 (en) Image processor and information processor
US20240111470A1 (en) System, terminal, server, image display method, and program
JP2006058959A (ja) 類似画像判定方法、プログラム及び装置
US20240212366A1 (en) Drug identification apparatus, drug identification method and program
JP5435815B2 (ja) 二次元画像コード、コード領域を含む領域を特定する方法、コード領域を含む領域を特定するプログラム、コード領域を含む領域を特定する装置
US20220366158A1 (en) Information code, information code generation device, information code readout device, program, and information code utilization system
JP2007288409A (ja) 画像データ分類機能を備えた撮像装置およびプログラム
JP2011028374A (ja) 画像処理システム及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210624

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220713

R150 Certificate of patent or registration of utility model

Ref document number: 7106688

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150