CN113301883A - 药剂识别***、药剂识别装置、药剂识别方法以及程序 - Google Patents

药剂识别***、药剂识别装置、药剂识别方法以及程序 Download PDF

Info

Publication number
CN113301883A
CN113301883A CN202080008525.3A CN202080008525A CN113301883A CN 113301883 A CN113301883 A CN 113301883A CN 202080008525 A CN202080008525 A CN 202080008525A CN 113301883 A CN113301883 A CN 113301883A
Authority
CN
China
Prior art keywords
medicine
images
image
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080008525.3A
Other languages
English (en)
Inventor
岩见一央
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyama Chemical Co Ltd
Fujifilm Toyama Chemical Co Ltd
Original Assignee
Toyama Chemical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyama Chemical Co Ltd filed Critical Toyama Chemical Co Ltd
Publication of CN113301883A publication Critical patent/CN113301883A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00—Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/0069—Trays for holding or distributing medicines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J2205/00—General identification or selection means
    • A61J2205/40—General identification or selection means by shape or form, e.g. by using shape recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J2205/00—General identification or selection means
    • A61J2205/60—General identification or selection means using magnetic or electronic identifications, e.g. chips, RFID, electronic tags
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供能通过使用带摄像机的便携终端的简易的装置良好地识别药剂的药剂识别***、药剂识别方法以及程序。在与显示器相同面侧具有摄像机的智能手机(100)对显示器的发光区域进行变更而变更向载置于具有在药剂的尺寸以及形状的标准化中使用的指标的托盘(10)的药剂(20)的照明方向，通过摄像机拍摄照明方向不同的药剂(20)。药剂识别装置基于第1图像中拍到的指标(14A‑14D)对通过拍摄取得的多个第1图像的尺寸以及形状进行标准化，从标准化后的多个第1图像中分别提取药剂区域的图像。基于提取的多个药剂区域的图像生成实施了对附于药剂(20)的刻印或印字进行强调的强调处理的第2图像，基于生成的第2图像对药剂进行识别。

Description

药剂识别***、药剂识别装置、药剂识别方法以及程序
技术领域
本发明涉及药剂识别***、药剂识别装置、药剂识别方法以及程序，特别涉及用简易的装置对识别对象的药剂进行识别的技术。
背景技术
过去，提出一种***，使用包含摄像机的智能手机等移动设备来取得用于药片(药剂)的识别的图像，以取得的图像为基础来识别药剂(专利文献1)。
专利文献1记载的表面(载置药剂的托盘的表面)具有：载置药剂的矩形的背景区域；和包围背景区域的边界区域。背景区域为了能区分背景和药剂而具有高密度的着色棋盘图案，边界区域具有颜色为已知(白色)的颜色特性。另外，在边界区域(与矩形的背景的4角对应的区域)设有4个已知的对象物(黄色的圆)，在该对象物的中心设有锚点。
附于边界区域的4个对象物具有在用移动设备拍摄药剂时辅助用户以使得移动设备能以预先设定的位置以及姿势进行拍摄的功能。
在移动设备的画面上预先显示与4个对象物对应的对象物的区域，通过决定移动设备的位置以及姿势来拍摄药剂，以使得具有锚点的4个对象物合适地位于所显示的4个对象物的区域，能将药剂的尺寸以及形状标准化来进行拍摄。
另外，专利文献1记载的***基于附于边界区域的已知的颜色来将属于药剂的像素的颜色补正成为在理想的照明条件下拍摄的像素的颜色。
先行技术文献
专利文献
专利文献1：JP特表2015-535108号公报
发明内容
发明要解决的课题
在专利文献1中记载了通过药剂的形状、尺寸、颜色以及印记(被刻印或印字的字符、数字)来识别药剂，但并没有关于强调刻印或印字的强调处理的记载。
另外，在专利文献1中记载了对移动设备的位置以及姿势的调整进行辅助以便能用带摄像机的移动设备将药剂的形状以及尺寸标准化来进行拍摄的***，但需要用户调整移动设备的位置以及姿势来进行拍摄，存在拍摄繁琐这样的问题。
本发明鉴于这样的事情而提出，其目的在于，提供能通过使用了带摄像机的便携终端的简易的装置良好地识别药剂的药剂识别***、药剂识别装置、药剂识别方法以及程序。
用于解决课题的手段
为了达成上述目的，一个方式所涉及的发明是药剂识别***，由如下要素构成：托盘，具有在药剂的尺寸以及形状的标准化中使用的指标，载置识别对象的药剂；带摄像机的便携终端，在与显示器相同面侧具有摄像机；和药剂识别装置，基于由带摄像机的便携终端拍摄的图像，对药剂进行识别，带摄像机的便携终端具备：显示器控制部，若接受药剂识别的指示输入，就变更显示器的发光区域，多次变更向载置于托盘的药剂的照明方向；和图像取得部，通过摄像机多次拍摄照明方向因显示器的发光区域的变更而不同的药剂，取得药剂的多个第1图像，药剂识别装置具备：标准化部，基于多个第1图像中拍到的指标，将多个第1图像分别标准化；图像提取部，从标准化后的多个第1图像中分别提取药剂区域的图像；图像处理部，基于提取的多个药剂区域的图像，生成实施了对附于药剂的刻印或印字进行强调的强调处理的第2图像；和药剂识别部，基于生成的第2图像，对药剂进行识别。
在发明的一个方式中，带摄像机的便携终端拍摄设于托盘的指标，并拍摄载置于托盘的药剂。在拍摄药剂的情况下，将与摄像机相同面侧的显示器作为照明单元来使用。特别地，通过变更显示器的发光区域来多次变更向载置于托盘的药剂的照明方向，并通过摄像机多次拍摄照明方向不同的药剂，取得多个图像(第1图像)。标准化部基于多个第1图像中拍到的指标来将多个第1图像分别标准化，由此成为不依赖于拍摄时的摄像机的位置以及姿势的图像。图像提取部从标准化后的多个第1图像中分别提取药剂区域的图像，图像处理部基于提取的多个药剂区域的图像来生成实施了对附于药剂的刻印或印字进行强调的强调处理的图像(第2图像)。根据该第2图像，由于知道药剂的尺寸以及形状，并且附于药剂的刻印或印字被强调，因此能良好地识别药剂。进而，根据本发明的一个方式，不需要专用的照明装置、摄像机等，能通过简易的装置识别药剂。
在本发明的其他方式所涉及的药剂识别***中，优选地，图像处理部分别使用与照明方向相应的方向的边缘提取滤波器从提取的多个药剂区域的图像取得多个边缘图像，使用多个边缘图像生成第2图像。
在发明的再其他方式所涉及的药剂识别***中，托盘具有尺寸以及形状为已知的格子状的分区，在由格子状的分区划分出的载置面载置药剂，格子状的分区兼作指标。通过在由格子状的分区划分出的多个载置面载置种类不同的多个药剂，能同时进行用于识别多个药剂的拍摄，并且能以格子状的分区为线索容易地提取(切取)药剂区域的图像。
在发明的再其他方式所涉及的药剂识别***中，优选地，托盘的由格子状的分区划分出的药剂的载置面的颜色的色调、明度以及彩度当中的至少1者，按每1个或每多个载置面不同。药剂优选选择色调、明度以及彩度当中的1者与该药剂的颜色不同的载置面来载置。这是为了易于区分药剂区域的图像和载置面(背景)，使图像提取部的药剂区域的图像的切取容易。
在本发明的再其他方式所涉及的药剂识别***中，优选地，图像取得部取得照明方向不同的3个以上的图像和使显示器熄灭的状态的图像来作为多个第1图像，药剂识别装置具备：生成部，从3个以上的图像中分别减去使显示器熄灭的状态的图像，生成除去了环境光的影响的多个第1图像。由此，能不受环境光的影响地将药剂区域的图像的颜色重现成药剂本来的颜色。
在本发明的再其他方式所涉及的药剂识别***中，优选地，显示器是具有偏振板的显示器，摄像机在拍摄镜头前设置偏振方向与从显示器出射的光的偏振方向不同90度的偏振板。由此，能拍摄除去了镜面反射分量的图像。
在本发明的再其他方式所涉及的药剂识别***中，优选地，药剂识别部具有：特征量运算部，运算第2图像的特征量；和推断部，基于第2图像的特征量，推断药剂接近于登记药剂当中的哪一者。
在本发明的再其他方式所涉及的药剂识别***中，优选地，特征量运算部以及推断部由学习完毕的卷积神经网络构成，该学习完毕的卷积神经网络将与登记药剂对应的第2图像和确定登记药剂的药剂识别信息作为教师数据来使用，并按每个登记药剂进行了学习。
在本发明的再其他方式所涉及的药剂识别***中，优选地，药剂识别部通过根据推断部中的推断而缩小了范围的登记药剂的图像与第2图像的模板匹配对药剂进行识别。
在本发明的再其他方式所涉及的药剂识别***中，优选地，托盘兼作保护带摄像机的便携终端的保护罩。
再其他方式所涉及的发明是药剂识别装置，基于由带摄像机的便携终端拍摄的图像来对识别对象的药剂进行识别，带摄像机的便携终端在与显示器相同面侧具有摄像机，在拍摄载置于具有在药剂的尺寸以及形状的标准化中使用的指标的托盘的识别对象的药剂时，变更显示器的发光区域，多次变更向载置于托盘的药剂的照明方向，通过摄像机多次拍摄照明方向因显示器的发光区域的变更而不同的药剂，取得药剂的多个第1图像，该药剂识别装置具备：图像接受部，从带摄像机的便携终端接受药剂的多个第1图像；标准化部，基于多个第1图像中拍到的指标，将多个第1图像分别标准化；图像提取部，从标准化后的多个第1图像中分别提取药剂区域的图像；图像处理部，基于提取的多个药剂区域的图像，生成实施了对附于药剂的刻印或印字进行强调的强调处理的第2图像；和药剂识别部，基于生成的第2图像，对药剂进行识别。
再其他方式所涉及的发明是药剂识别方法，识别载置于具有在药剂的尺寸以及形状的标准化中使用的指标的托盘的识别对象的药剂，包含：第1步骤，显示器控制部变更在与显示器相同面侧具有摄像机的带摄像机的便携终端的显示器的发光区域，多次变更向载置于托盘的药剂的照明方向；第2步骤，图像取得部通过摄像机多次拍摄照明方向因显示器的发光区域的变更而不同的药剂，取得药剂的多个第1图像；第3步骤，标准化部基于多个第1图像中拍到的指标，将多个第1图像分别标准化；第4步骤，图像提取部从标准化后的多个第1图像中分别提取药剂区域的图像；第5步骤，图像提取部基于提取的多个药剂区域的图像，生成实施了对附于药剂的刻印或印字进行强调的强调处理的第2图像；和第6步骤，药剂识别部基于生成的第2图像，对药剂进行识别。
在本发明的再其他方式所涉及的药剂识别方法中，优选地，在第5步骤中，分别使用与照明方向相应的方向的边缘提取滤波器从提取的多个药剂区域的图像取得多个边缘图像，使用多个边缘图像生成第2图像。
在本发明的再其他方式所涉及的药剂识别方法中，优选地，托盘具有尺寸以及形状为已知的格子状的分区，在由格子状的分区划分出的载置面载置药剂，格子状的分区兼作指标。
在发明的再其他方式所涉及的药剂识别方法中，优选地，托盘的由格子状的分区划分出的药剂的载置面的颜色的色调、明度以及彩度当中的至少1者，按每1个或每多个载置面不同。
在本发明的再其他方式所涉及的药剂识别方法中，优选地，在第2步骤中，取得照明方向不同的3个以上的图像和使显示器熄灭的状态的图像来作为多个第1图像，该药剂识别方法包含如下步骤：生成部从3个以上的图像中分别减去使显示器熄灭的状态的图像，生成除去了环境光的影响的多个第1图像。
在本发明的再其他方式所涉及的药剂识别方法中，优选地，在从第1步骤到第5步骤中，分别在将载置于托盘的药剂翻转后，对翻转的药剂进行相同处理，在第5步骤中，基于对翻转前以及翻转后的药剂分别生成的第2图像，对药剂进行识别。
再其他方式所涉及的发明是程序，安装于构成上述的药剂识别***的带摄像机的便携终端，该程序使带摄像机的便携终端实现：显示器控制功能，若接受药剂识别的指示输入，就变更显示器的发光区域，多次变更向载置于托盘的药剂的照明方向；和图像取得功能，通过摄像机多次拍摄照明方向因显示器的发光区域的变更而不同的药剂，取得药剂的多个第1图像。
在本发明的再其他方式所涉及的程序中，优选地，使带摄像机的便携终端实现：标准化功能，基于多个第1图像中拍到的指标，将多个第1图像分别标准化；图像提取功能，从标准化后的多个第1图像中分别提取药剂区域的图像；图像处理功能，基于提取的多个药剂区域的图像，生成实施了对附于药剂的刻印或印字进行强调的强调处理的第2图像；和药剂识别功能，基于生成的第2图像，对药剂进行识别。
发明效果
根据本发明，通过由带摄像机的便携终端拍摄设于托盘的指标并拍摄载置于托盘的药剂，能基于图像中拍到的指标来进行图像(药剂的尺寸以及形状)的标准化。另外，将与摄像机相同面侧的显示器作为照明单元来使用，特别地，通过变更显示器的发光区域，能用摄像机拍摄向载置于托盘的药剂的照明方向不同的药剂，由于基于所拍摄的照明方向不同的多个图像(第1图像)来生成对附于药剂的刻印或印字进行了强调处理的图像(第2图像)，因此能通过第2图像良好地识别药剂。
附图说明
图1是表示本发明所涉及的药剂识别***的实施方式的***结构图。
图2是表示构成图1所示的药剂识别***的智能手机的外观图。
图3是表示图2所示的智能手机的内部结构的框图。
图4是表示图1所示的药剂识别***的电气结构的主要部分框图。
图5是表示构成图1所示的药剂识别***的托盘的结构、以及通过智能手机拍摄载置于托盘上的药剂的状况的图。
图6是表示在拍摄5次载置于托盘的药剂的情况下所控制的显示器的发光区域的图。
图7是表示图4所示的服务器的标准化部、图像提取部以及图像处理部的框图。
图8是表示标准化后的5个第1图像的一例的图。
图9是用穿过药剂的中心的x-y平面切断的药剂的截面结构的示意图。
图10是表示在边缘图像生成部的边缘提取中使用的Sobel滤波器的一例的图。
图11是表示图4所示的药剂识别部的第1实施方式的药剂识别部所进行的药剂的识别处理的概要的图。
图12是表示第1实施方式的药剂识别部的主要的功能的功能框图。
图13是表示第2实施方式所涉及的药剂识别部的框图。
图14是表示在本发明所涉及的药剂识别***中使用的托盘的其他实施方式的图。
图15是表示本发明所涉及的药剂识别方法的实施方式的流程图。
具体实施方式
以下按照附图来说明本发明所涉及的药剂识别***、药剂识别装置、药剂识别方法以及程序的优选的实施方式。
[药剂识别***的结构]
图1是表示本发明所涉及的药剂识别***的实施方式的***结构图。
如图1所示那样，药剂识别***由托盘10、作为带摄像机的便携终端的智能手机100、和作为药剂识别装置发挥功能的服务器200构成，智能手机100和服务器200经由因特网、LAN(Local Area Network，局域网)等网络2以能进行数据通信的方式连接。
托盘10载置识别对象的1个或多个药剂20，如后述那样，具有在药剂的尺寸以及形状的标准化中使用的指标。另外，托盘10优选兼作保护智能手机100的保护罩。
智能手机100在与显示器相同面侧具有摄像机(内置摄像机)，通过摄像机拍摄托盘10上的药剂20。智能手机100将所拍摄的药剂20的图像经由网络2发送到服务器200。
服务器200基于从智能手机100上传的药剂20的图像来进行药剂20的识别，将其识别结果(例如药剂名、商品名、略称或由它们的组合构成的药剂识别信息)发送到发送药剂20的图像的智能手机100。
顺便一提，在药剂(药片)的表面附有用于识别药剂的类别的识别码信息。该识别码信息一般通过刻印或印字(印刷)而附加。
服务器200通过利用附于药剂的识别码信息来提升药剂的识别力，该详细情况后述。
另外，所谓附于药剂的刻印是通过在药剂的表面形成下陷区域即槽来形成识别码信息的形式。槽并不限定于挖掘表面而形成，也可以通过按压表面而形成。另外，刻印也可以包含割线等不带有识别功能的形式。
另外，所谓附于药剂的印字，是通过对药剂的表面以接触或非接触的方式赋予可食性墨水等来形成识别码信息的形式。在此，所谓通过印字来附加，与通过印刷来附加同义。
<智能手机的结构>
图2所示的智能手机100具有平板状的外壳102，在外壳102的一个面设有显示器120，该显示器120由作为显示部的显示面板121和作为输入部的操作面板122成为一体而形成。显示面板121由液晶面板构成，本例的显示器120是液晶显示器。
另外，该外壳102具备扬声器131、麦克风132、操作部140和摄像机部141。摄像机部141是设于与显示器120相同面侧的摄像机(内置摄像机)。智能手机100不是在设置显示器120的外壳102的表面，而是在外壳102的背面还具备未图示的摄像机(外置摄像机)。另外，也可以在摄像机部141的镜头的前方安装其他镜头(近距离拍摄用的转接镜头)。
图3是表示图2所示的智能手机100的内部结构的框图。
如图3所示那样，智能手机100具备无线通信部110、显示器120、通话部130、操作部140、摄像机部141、存储部150、外部输入输出部160(输出部)、GPS(global positioningsystem，全球定位***)接收部170、运动传感器部180、电源部190和主控制部101来作为主要的构成要素。另外，作为智能手机100的主要的功能，具备进行经由基站装置和移动通信网的移动无线通信的无线通信功能。
无线通信部110按照主控制部101的指示在与连接到移动通信网的基站装置之间进行无线通信。使用该无线通信来进行声音数据以及图像数据等各种文件数据、电子邮件数据等的收发、以及Web数据、流数据等的接收。
显示器120是具备配设于显示面板121的画面上的操作面板122的所谓带触控面板的显示器，通过主控制部101的控制来显示图像(静止图像以及动态图像)、字符信息等，从而在视觉上对用户传递信息，并且检测针对所显示的信息的用户操作。
显示面板121将LCD(Liquid Crystal Display，液晶显示器)用作显示设备。另外，显示面板121并不限于LCD，例如可以是OLED(organic light emitting diode，有机发光二极管)。
操作面板122以能视觉辨识显示于显示面板121的显示面上的图像的状态进行设置，是检测由用户的手指、尖笔来操作的1个或多个坐标的设备。若通过用户的手指、尖笔来操作该设备，则操作面板122将缘于操作而产生的检测信号输出到主控制部101。接下来，主控制部101基于接收到的检测信号来检测显示面板121上的操作位置(坐标)。
通话部130具备扬声器131以及麦克风132，将经过麦克风132而输入的用户的声音变换成能由主控制部101进行处理的声音数据并输出到主控制部101，或者将通过无线通信部110或外部输入输出部160接收到的声音数据解码并从扬声器131输出。
操作部140是利用按键开关等的硬件按键，接受来自用户的指示。例如如图2所示那样，操作部140搭载于智能手机100的外壳102的侧面，是按钮式的开关，若用手指等按下，就成为开关接通状态，若将手指离开，就通过弹簧等的复原力而成为开关断开状态。
存储部150存储主控制部10I的控制程序、控制数据、将通信对方的名称、电话号码等建立对应的地址数据、收发的电子邮件的数据、通过Web浏览下载的Web数据、以及下载的内容数据等，并且暂时存储流数据等。
另外，存储部150由内部存储部151和具有拆装自由的外部存储器插槽的外部存储部152构成。另外，构成存储部150的内部存储部151以及外部存储部152各自使用闪速存储器型、硬盘型、多媒体卡微型、卡型的存储器、RAM(Random Access Memory，随机存取存储器)或ROM(Read Only Memory，只读存储器)等存放介质来实现。
外部输入输出部160起到与连结于智能手机100的全部外部设备之间的接口的作用，通过通信等(例如USB(Universal Serial Bus，通用串行总线)、IEEE1394等)或网络(例如无线LAN(Local Area Network，局域网)、蓝牙(Bluetooth)(注册商标)与其他外部设备直接或间接连接。
GPS接收部170按照主控制部101的指示来接收从GPS卫星ST1、ST2～STn发送的GPS信号，执行基于接收到的多个GPS信号的定位运算处理，取得根据智能手机100的纬度、经度以及高度确定的位置信息(GPS信息)。在能从无线通信部110以及/或者外部输入输出部160(例如无线LAN)取得位置信息的情况下，GPS接收部170还能使用该位置信息来检测位置。
运动传感器部180例如具备3轴的加速度传感器等，按照主控制部101的指示来检测智能手机100的物理的运动。通过检测智能手机100的物理的运动来检测智能手机100的运动的方向、加速度。将其检测的结果输出到主控制部101。
电源部190按照主控制部101的指示来对智能手机100的各部提供蓄积于蓄电池(未图示)的电力。
主控制部101具备微处理器，按照存储部150所存储的控制程序、控制数据而动作，集中地控制智能手机100的各部。另外，主控制部101为了通过无线通信部110进行声音通信以及数据通信而具备控制通信***的各部的移动通信控制功能和软件处理功能。
软件处理功能是通过主控制部101按照存储部150所存储的软件进行动作来实现的。作为软件处理功能，除了例如通过控制外部输入输出部160来进行电子邮件的收发的电子邮件功能、以及阅览Web页面的Web浏览功能以外，还有用于利用本发明所涉及的药剂识别***的功能等。用于利用本发明所涉及的药剂识别***的功能能通过从作为药剂识别装置发挥功能的服务器200或从运营服务器200的运营商的站点等下载对应的软件(本发明所涉及的程序)来实现。
另外，主控制部101具备基于接收数据、下载的流数据等图像数据(静止图像、动态图像的数据)来将影像显示于显示器120等的图像处理功能。
进而，主控制部101执行：对显示器120的显示控制；和检测通过操作部140、操作面板122进行的用户操作的操作检测控制。
摄像机部141还能通过主控制部101的控制来将通过摄像得到的图像数据变换成例如JPEG(Joint Photographic Experts Group，联合图像专家组)等压缩的图像数据，并将该图像数据记录到存储部150，或者通过外部输入输出部160、无线通信部110进行输出。
另外，摄像机部141能利用在智能手机100的各种功能中。在本例中，在对药剂进行识别的情况下利用在药剂的拍摄中。还能在软件内利用来自摄像机部141的图像。
<药剂识别***的电气结构>
图4是表示药剂识别***的电气结构的主要部分框图。
智能手机100的主控制部101通过安装本发明所涉及的程序(应用)并执行该应用，来作为显示器控制部101A、图像取得部101B以及通信控制部101C发挥功能。
显示器控制部101A将显示器120作为药剂拍摄时的照明单元进行控制，特别地，进行多次变更显示器120的发光区域并变更向载置于托盘10的药剂20的照明方向的控制。
图像取得部101B通过摄像机部141多次拍摄照明方向因显示器120的发光区域的变更而不同的药剂20，从摄像机部141取得药剂的多个图像(第1图像)。
通信控制部101C将图像取得部101B所取得的多个第1图像经由无线通信部110以及网络2发送到服务器200，并经由网络2以及无线通信部110取得由服务器200基于多个第1图像识别出的药剂20的识别结果。
图5是表示托盘10的结构以及通过智能手机100拍摄载置在托盘10上的药剂20的状况的图。
如图5所示那样，在托盘10设有载置药剂20的载置面(本例中是成为药剂的背景的矩形的载置面)12和在药剂的尺寸以及形状的标准化中使用的指标(4个指标)14A、14B、14C、14D。
载置面12为了使从所拍摄的图像中提取(切取)与药剂对应的区域(药剂区域)的图像容易，而优选具有特定的背景色(与药剂的颜色不同的颜色)、特定的细小的背景图案。药剂的背景色优选药剂的颜色的色调、明度以及彩度当中的至少1者不同。
4个指标14A、14B、14C以及14D的相互位置关系是已知的。另外，也可以取代4个指标14A、14B、14C以及14D，例如能将载置面12的形状所涉及的信息(矩形的载置面12的4角的坐标、4边的长度等)作为指标。
在通过智能手机100拍摄载置于托盘10的药剂20的情况下，需要决定智能手机100(摄像机部141)的位置以及姿势来进行拍摄，以使得4个指标14A、14B、14C以及14D收在摄像机部141的拍摄范围内。另外，优选以正对药剂20且药剂20变大的位置以及姿势进行拍摄，但摄像机部141的位置以及姿势至少将4个指标14A、14B、14C以及14D收在拍摄范围内即可。
另外，在通过智能手机100拍摄载置于托盘10的药剂20的情况下，将与摄像机部141相同面侧的显示器120作为照明单元来使用，并通过摄像机部141多次(本例中5次)拍摄载置有药剂20的托盘10。
图6是表示在拍摄5次载置于托盘10的药剂20的情况下进行控制的显示器120的发光区域的图。
显示器控制部101A例如启动本例的应用，之后若从操作部接受拍摄指示输入(药剂识别的指示输入)，就如图6所示那样，使显示器120的发光区域配合时刻t1、时刻t2、时刻t3、时刻t4、时刻t5这5次拍摄定时来变更。
在时刻t1的拍摄定时，使显示器120熄灭，以仅环境光30(图5)成为照明光的状态进行药剂20的拍摄。
另外，本例的显示器120由于是使用液晶面板来作为显示面板121的液晶显示器，因此所谓使显示器120熄灭，是指使液晶面板整体的透过光量最小(使其显示黑色)。
接着，在时刻t2的拍摄定时，使显示器120的发光区域为显示器120的左半部分，以环境光30和来自显示器120的照明光混合存在的状态进行药剂20的拍摄。在此，所谓使显示器120的发光区域为显示器120的左半部分，是指使液晶面板的左半部分的透过光量高(优选最大)且使右半部分的光透过量最小。
同样地，在时刻t3的拍摄定时，使显示器120的发光区域为显示器120的右半部分，在时刻t4的拍摄定时，使显示器120的发光区域为显示器120的上半部分，在时刻t5的拍摄定时，使显示器120的发光区域为显示器120的下半部分，在各个拍摄定时进行药剂20的拍摄。
图像取得部101B在时刻t1、时刻t2、时刻t3、时刻t4、时刻t5这5次拍摄定时下使摄像机部141进行拍摄动作，从摄像机部141取得拍摄药剂20而得的5张第1图像。由于时刻t2、时刻t3、时刻t4、时刻t5的显示器120的发光区域分别是显示器120的左半部分、右半部分、上半部分、下半部分，因此针对药剂20的来自显示器120的照明光的照明方向分别不同。另外，拍摄被照射了照明方向分别不同的照明光的药剂20而得的第1图像伴随照明方向而产生亮度不均匀，在药剂20附有刻印的情况下，刻印的影的出现的样子不同。
优选使各拍摄定时的时间间隔短，以使得5次拍摄时的摄像机部141的位置以及姿势的变化最小。
由于显示器120是具有偏振板的液晶显示器，因此从显示器120出射的照明光是与偏振板对应的发生了偏振的光。因此，优选在摄像机部141的拍摄镜头前设置偏振方向与从显示器120出射的光的偏振方向不同90度的偏振板(偏振滤波器)。
通过在摄像机部141设置偏振滤波器，摄像机部141能拍摄除去了镜面反射分量的第1图像。
另外，在药剂20附有刻印或印字的情况下，优选将药剂20载置于托盘10，以使得附有刻印或印字的面成为上。在药剂20的两面附有刻印或印字的情况下，优选将药剂20载置于托盘10，以使得附有作为识别码信息的功能高的刻印或印字的面成为上。
<服务器200>
图4所示的服务器200作为药剂识别装置发挥功能，主要由通信部210、CPU(Central Processing Unit，中央处理器)220、标准化部230、图像提取部240、药剂DB(database，数据库)250、存储器260、图像处理部270以及药剂识别部280构成。
CPU220是对服务器200的各部进行集中控制的部分，通过作为接受从智能手机100发送的多个第1图像的图像接受部发挥功能的通信部210和针对接受到的多个第1图像的标准化部230、图像提取部240、图像处理部270以及药剂识别部280来执行各处理。并且，CPU220将药剂的识别结果经由通信部210发送到发送第1图像的智能手机100。
药剂DB250是与药剂的名称等药剂识别信息建立关联地对药剂的图像(药剂的表侧以及背侧的药剂图像)进行登记以及管理的部分。登记于药剂DB250的药剂(登记药剂)的药剂图像作为使机器学习器进行学习的情况下的教师数据使用，其中，该机器学习器对识别对象的药剂接近于登记药剂当中的哪一个登记药剂进行分类，或者，作为通过与识别对象的药剂的图像之间的模板匹配来对识别对象的药剂进行识别的情况下的模板图像使用。
存储器260包含存放提供药剂识别服务的程序的存储部以及成为CPU220的作业区域的部分。
图7是表示图4所示的服务器200的标准化部230、图像提取部240以及图像处理部270的框图。
变更显示器120的发光区域而拍摄的5张第1图像50被加入到标准化部230，在这里被标准化成不依赖于摄像机部141的位置以及姿势的图像。
在第1图像50中拍入图5所示的附于托盘10的4个指标14A、14B、14C、14D。标准化部230求取第1图像50中的4个指标14A、14B、14C、14D的坐标，根据4个指标14A、14B、14C、14D的坐标与相互位置关系为已知的4个指标14A、14B、14C以及14D的关系来求取投影变换参数。标准化部230通过根据求得的投影变换参数对第1图像50进行投影变换，来将第1图像50(药剂20)的形状标准化。另外，由于4个指标14A、14B、14C以及14D的实际尺寸也为已知，因此药剂20的尺寸也能进行标准化。
另外，在图8示出标准化后的5个第1图像的一例。另外，在图8中，为了使说明简单而图示了包含药剂20的图像的第1图像的一部分。
在图8中，4个第1图像GL、GR、GU以及GD是在使显示器120的左半部分、右半部分、上半部分、以及下半部分点亮而分别使来自显示器120的照明光的照明方向分别不同的状态下拍摄的图像，第1图像GA是在使显示器120熄灭的状态下拍摄的图像。
在图8所示的4个第1图像GL、GR、GU以及GD分别伴随照明方向而产生亮度不均匀。另外，图8所示的各图像上的“A”表示刻印S。图像GL、GR、GU以及GD的刻印S是药剂的表面的凹凸形状，如后述那样，伴随照明光的照明方向，刻印S的影的出现的样子变得不同。
标准化部230包含生成部，该生成部从显示器120的照明方向不同的4个第1图像GL、GR、GU以及GD中分别减去使显示器120熄灭的状态的第1图像GA，来生成除去了环境光的影响的4个第1图像GL、GR、GU以及GD。由于由生成部除去了环境光的影响的4个第1图像GL、GR、GU以及GD是仅通过显示器120的照明光照明的图像，因此标准化部230通过根据与显示器120的照明光的色温(已知的色温)对应的白平衡增益进行4个第1图像GL、GR、GU以及GD的白平衡调整，来使4个第1图像GL、GR、GU以及GD的颜色与药剂20的本来的颜色一致。
另外，也可以通过进行白平衡调整来除去或减轻环境光的影响，以使得能重现托盘10的已知的颜色(例如是设置有4个指标14A、14B、14C、14D的区域的颜色，优选白色)。在该情况下，不需要取得使显示器120熄灭的状态的第1图像GA。
将通过标准化部230对药剂20的尺寸以及形状进行标准化且环境光的影响被除去或减轻的4个第1图像GL、GR、GU以及GD输出到图像提取部240。
图像提取部240从标准化后的4个第1图像GL、GR、GU以及GD中分别提取(切取)药剂区域的图像。图像提取部240能通过利用如图5所示那样托盘10的载置药剂20的载置面12的背景色、或载置面12的背景图案来合适地切取药剂区域的图像。
由图像提取部240切取出的刻印S的影的出现的样子不同的4个图像GL、GR、GU、以及GD分别被加入到图像处理部270。
图像处理部270的边缘图像生成部274分别使用与照明光的照射方向相应的方向的边缘提取滤波器(例如Sobel滤波器)从4个图像GL、GR、GU、以及GD生成4个边缘图像。
图9是用穿过药剂T的中心的x-y平面切断的药剂T的截面结构的示意图，表示1像素的量的行的侧面像。
图7上的药剂T的直径是D，在表面形成由截面为V字状的槽构成的割线即刻印S。刻印S的槽的宽度是W。另外，所谓刻印S的槽的宽度，是指与槽的延伸方向正交的方向上的从槽的一端到另一端的药剂T的表面上的距离。
在此，在将显示器120的发光区域设为左半部分并通过该发光区域的照明光LL对药剂T进行照明的情况下、和将显示器120的发光区域设为右半部分并通过该发光区域的照明光LR对药剂T进行照明的情况下，刻印S的影的出现的样子不同。
即，在通过照明光LL对药剂T进行照明的情况下，刻印S的右侧的面SR被照射照明光LL，但照明光LL不会照射到刻印S的左侧的面SL，在刻印S的左侧的面SL产生影。同样地，在通过与照明光LL相反的方向的照明光LR对药剂T进行照明的情况下，刻印S的左侧的面SL被照射照明光LR，但照明光LR不会照射到刻印S的右侧的面SR，在刻印S的右侧的面SR产生影。
图10是表示在边缘图像生成部274的边缘提取中使用的Sobel滤波器的一例的图。
Sobel滤波器FL在从被照射来自左方的照明光LL的药剂T的图像GL进行边缘提取的情况下使用，Sobel滤波器FR在从被照射来自右方的照明光LR的药剂T的图像GR进行边缘提取的情况下使用。
图10所示的Sobel滤波器FL、FR的内核尺寸在本例中是x轴方向3像素×y轴方向3像素，但并不限于此，优选依赖于摄像机部141的分辨率而变更。另外，Sobel滤波器FL、FR的内核尺寸优选使用比刻印S的宽度W(的像素数)的一半大的尺寸的Sobel滤波器。例如若刻印S的槽的宽度的像素数是4像素，则使用比其一半的2像素大的尺寸的Sobel滤波器。通过使用借鉴了刻印S的槽的宽度的像素数的尺寸的边缘提取滤波器，能精度良好地提取槽，并且能减少比槽的宽度小的表面的纹样以及伤痕等刻印以外的信息。另外，Sobel滤波器的滤波器尺寸和滤波器系数的导出方法记载于http：//sssiii.seesaa.net/article/368842002.html。
边缘图像生成部274对图像GL、GR分别使用Sobel滤波器FL、FR，生成与图像GL、GR对应的边缘图像。另外，边缘图像生成部274对于将显示器120的发光区域设为上半部分的被照射来自上方的照明光的药剂T的图像GU、以及将显示器120的发光区域设为下半部分的被照射来自下方的照明光的药剂T的图像GD，也通过与上述同样地使用与照明光的方向相应的Sobel滤波器来生成边缘图像。
另外，作为在边缘图像合成部272的边缘提取滤波处理中使用的滤波器，并不限于Sobel滤波器，还能使用拉普拉斯滤波器、Canny滤波器等。
边缘图像生成部274将对4个图像GL、GR、GU以及GD分别生成的4个边缘图像输出到图像处理部270的边缘图像合成部272。
从图像提取部240对边缘图像合成部272的其他输入加入4个图像GL、GR、GU以及GD，边缘图像合成部272例如选择4个图像GL、GR、GU以及GD当中的1个图像，检测所选择的1个图像的亮度不均匀，并实施基于检测到的亮度不均匀来补正所选择的图像的亮度不均匀的亮度不均匀补正处理，由此生成亮度不均匀少的图像。然后，边缘图像合成部272对该亮度不均匀少的图像合成由边缘图像合成部272生成的4个边缘图像。
由此，图像处理部270能生成对照明光所引起的亮度不均匀少的药剂的图像实施了对刻印进行强调的强调处理的图像(第2图像)60。
<药剂识别部的第1实施方式>
图11是表示图4所示的药剂识别部280的第1实施方式的药剂识别部280-1所进行的药剂的识别处理的概要的图。
在图11中，60是表示通过图像处理部270强调了刻印的药剂的第2图像的一例的图。
药剂识别部280-1基于第2图像60来推断识别对象的药剂接近于登记药剂当中的哪一个。在推断中利用深度学习(classification)。在本例中，通过药剂识别部280-1进行推断，其详细情况后述。
推断结果由显示器、打印机等输出部以能视觉辨识的方式输出。
作为推断结果，能将登记的药剂的信息(药剂识别信息和药剂图像等)按接近于识别对象的药剂的顺序(级别1，级别2，级别3，...)进行输出。另外，能输出最接近的1个药剂的信息或预先设定的上位的多个药剂的信息。
图12是表示第1实施方式的药剂识别部280-1的主要的功能的功能框图。
图12所示的药剂识别部280-1在本例中由作为机器学习器的一个方式的卷积神经网络(CNN：Convolutional Neural Network))280-1构成，对识别对象的药剂接近于所登记的药剂(登记药剂)当中的哪一个登记药剂进行分类。CNN280-1按每个登记药剂通过对应的教师数据事先进行学习，或者能通过与要追加的登记药剂对应的教师数据进行追加的学习。
与登记药剂对应的教师数据例如优选是对拍摄登记药剂的图像实施了对刻印或印字进行强调的强调处理的药剂图像、和该登记药剂的名称等的正解数据。另外，学习中使用了的或要使用的教师数据优选保存在药剂DB250(图4)中。另外，使用教师数据的学习方法由于是公知的，因此省略其详细说明。
图12所示的CNN280-1作为特征量运算部282和推断部284发挥功能，该特征量运算部282在将识别对象的第2图像60作为输入图像时提取(运算)该第2图像60的特征量，该推断部284基于运算出的特征量来推断与输入图像对应的药剂接近于登记药剂当中的哪一者。CNN280-1具有多个层结构，并保持多个权重参数。权重参数是在卷积层中的卷积运算中使用的被称作内核的滤波器的滤波器系数等。
CNN280-1会通过将权重参数从初始值更新为最佳值而从未学习模型变化成按每个登记药剂进行学习的学习完毕模型。
该CNN280-1具备输入层280A、中间层280B和输出层280C，其中，中间层280B具有由卷积层286A1、归一化层286B1、基于激活函数的激活处理部286C1、池化层286D1构成的多组(本例中是6组)以及全连接层286E1，各层成为将多个“节点”用“边缘”连起来的结构。
CNN280-1的结构并不限定于图12的例示，能运用作为代表性的学习模型的VGG16、AlexNet等。
对CNN280-1的输入层280A输入识别对象的药剂的第2图像60作为输入图像。在本例中，第2图像60由于是RGB(Red Green Blue，红绿蓝)的彩色图像，因此是3张R图像、G图像、B图像，且合计3张的图像集是输入图像。
卷积层286A1～286A6是承担从图像进行的边缘提取等特征提取的任务的部分。卷积层285A1～286A6对从输入层280A输入的图像集、在前一层中位于附近的节点进行滤波处理(进行使用滤波器的卷积运算)，取得“特征图”，承担从图像进行的边缘提取等特征提取的任务。
第1个卷积层286A1进行图像集与滤波器的卷积运算。在此，图像集由于是R图像、G图像、B图像的3通道(3张)，因此，例如在尺寸5的滤波器的情况下，滤波器尺寸成为5×5×3的滤波器。
通过利用5×5×3的滤波器的卷积运算，来对1个滤波器生成1通道(1张)的“特征图”。因此，若使用N个滤波器，就能生成N通道的“特征图”。
在第2个卷积层285A2(未图示)中使用的滤波器例如是尺寸3的滤波器的情况下，滤波器尺寸成为3×3×N的滤波器。
归一化层286B1～286B6是对输入图像进行亮度、对比度等的归一化的部分，不仅对输入图像，还对CNN280-1的中途经过的“特征图”进行归一化。
激活处理部286C1～286C6是通过激活函数(例如步进函数、S型函数、softmax函数)对输入信号进行处理的部分，起到将要交到下一层的值准备好的作用。
池化层286D1将从卷积层286A1(本例中是激活处理部286C1)输出的特征图缩小来形成新的特征图。“池化层”承担赋予健壮性以使得所提取的特征不受平行移动等带来的影响的作用。
作为推断部284发挥功能的1个或多个全连接层286E1与前一层的全部节点(本例中是从激活处理部286C6输出的特征图)进行加权连接，输出通过激活函数变换而得到的值(特征变量)。若使节点的数量增加，则特征量空间的分割数就增加，特征变量的数量也增加。
作为推断部284发挥功能的输出层280C以来自全连接层286E1的输出(特征变量)为基础使用softmax函数变换成概率，通过将正确分类到各个区域(本例中是各个药剂)的概率最大化(最大似然估计法)，来进行分类。另外，有时也将最终级的全连接层称作输出层。
输出层280C如图11所示那样将表示药剂的第2图像60(输入图像)接近于登记药剂当中的哪一者的推断结果输出到输出部288。
推断结果能按接近于识别对象的药剂的顺序(级别1，级别2，级别3，...)作为登记药剂的信息(药剂识别信息和药剂图像等)、其概率而从输出部288输出。
用户能将从输出部288输出的推断结果作为对识别对象的药剂进行监查、鉴别时的辅助信息来使用。
<药剂识别部的第2实施方式>
图13是表示第2实施方式所涉及的药剂识别部280-2的框图。
图13所示的药剂识别部280-2主要由CNN280-1和模板匹配部289构成。
CNN280-1由于与图12所示相同，因此省略其详细说明。
将CNN280-1的推断结果加入到模板匹配部289。
将识别对象的第2图像60加入到模板匹配部289的其他输入中，模板匹配部289通过登记于药剂DB250的登记药剂当中根据CNN280-1的推断结果而缩小了范围的登记药剂的图像与第2图像60的模板匹配来识别药剂。例如预先对事先得到的药剂的图像(强调了刻印或印字的药剂的图像)进行聚类。通过CNN280-1来推断识别对象的第2图像60进入到聚类内的哪一个类，模板匹配部289在该类中进行模板匹配。由此，能谋求模板匹配的处理时间的缩短。
<托盘的其他实施方式>
图14是表示在本发明所涉及的药剂识别***中使用的托盘的其他实施方式的图。
图14所示的托盘40具有格子状的分区，能在由格子状的分区划分出的9个区域A11、A12、A13、A21、A22、A23、A31、A32、A33分别载置1个药剂。该托盘40由格子状的分区划分成9个区域A11～A33，但通过分区而划分的区域的数量并不限定于此。
另外，托盘40的格子状的分区的尺寸以及形状是已知的。即，尺寸以及形状为已知的格子状的分区与图5所示的指标14A～14D同样地兼作在药剂的尺寸以及形状的标准化中使用的指标。
进而，由分区划分出的9个区域A11～A33的药剂的载置面的颜色的色调、明度以及彩度当中的至少1者按每1个或每多个载置面不同。
因此，优选在用户将识别对象的药剂20载置于9个区域A11～A33中的任一者的情况下，在具有与识别对象的药剂20的颜色不同的颜色的载置面载置药剂20。
例如，白色等浓度低的药剂优选选择黑色等浓度高的载置面进行载置。这是为了容易地从由摄像机部141拍摄的图像中切取与药剂20对应的药剂区域的图像。
该托盘40由于具有9个区域A11～A33的载置面，因此能同时载置多个(最大9个)药剂，这多个药剂能由智能手机100的摄像机部141同时拍摄。
另外，在药剂的两面附有刻印或印字的情况下，优选若载置于托盘40的药剂的一面的拍摄结束，就将托盘40上的药剂翻转，进行药剂的另一面的拍摄。优选基于从拍摄翻转前的药剂的多个图像生成的第2图像、和从拍摄翻转后的药剂的多个图像生成的第2图像来识别药剂。据此，能在药剂的识别中使用附于药剂的两面的刻印或印字的信息，能提高药剂的识别精度。
另外，智能手机100的药剂的拍摄方法以及所拍摄的药剂的图像的处理方法由于能与拍摄1个药剂的情况同样地进行，因此在此省略其详细的说明。
[药剂识别方法]
图15是表示本发明所涉及的药剂识别方法的实施方式的流程图，关于图4所示的药剂识别***的各部的处理次序而示出。
在图12中，用户将识别对象的药剂20载置于托盘10的载置面12(图5)。接着，用户操作智能手机100，通过智能手机100来执行药剂20的拍摄。
即，智能手机100的显示器控制部101A将显示器120设为熄灭的状态，图像取得部101B在显示器120熄灭的状态下执行基于摄像机部141的药剂20的拍摄，取得仅被照射环境光的药剂20的图像(第1图像)(步骤S10)。
接着，显示器控制部101A依次变更显示器120的发光区域(第1步骤)，图像取得部101B通过摄像机部141多次(本例中是4次)拍摄照明方向因显示器120的发光区域的变更而不同的药剂20，取得4张图像(第1图像)(第2步骤S12)。
智能手机100的通信控制部101C将步骤S10中取得的在显示器120熄灭的状态下拍摄的1张第1图像、和第2步骤S12中取得的照明方向因显示器120的发光区域的变更而不同的4张第1图像(合计5张第1图像)50发送到服务器200。
服务器200的标准化部230求取多个第1图像中的4个指标14A、14B、14C、14D的坐标，基于4个指标14A、14B、14C、14D的坐标与相互位置关系为已知的4个指标14A、14B、14C以及14D的关系来将多个第1图像(药剂20)的形状以及尺寸标准化(第3步骤S14)。另外，标准化部230从显示器120的照明方向不同的多个(本例中是4张)第1图像GL、GR、GU以及GD中分别减去使显示器120熄灭的状态的第1图像GA，生成除去了环境光的影响的多个第1图像。
图像提取部240从标准化后的多个(本例中是4张)第1图像中分别提取(切取)药剂区域的第1图像GL、GR、GU、GD(第4步骤S16)。
图像处理部270的边缘图像生成部274通过对多个图像GL、GR、GU、以及GD分别使用与照明光的照明方向相应的Sobel滤波器来生成边缘图像(步骤S18)。
边缘图像合成部272选择多个图像GL、GR、GU以及GD当中的1个图像，检测所选择的1个图像的亮度不均匀，实施基于检测到的亮度不均匀来补正所选择的图像的亮度不均匀的亮度不均匀补正处理，由此生成亮度不均匀少的图像。然后，边缘图像合成部272对该亮度不均匀少的图像合成步骤S18中生成的多个边缘图像，生成合成图像(第2图像)(第5步骤S20)。
药剂识别部280基于生成的第2图像来识别识别对象的药剂20(第6步骤S22)。药剂识别部280通过学习完毕的CNN280-1以能视觉辨识的方式输出表示药剂的第2图像(输入图像)接近于登记药剂当中的哪一者的推断结果，或者，由模板匹配部289通过根据推断结果而缩小了范围的登记药剂的图像与第2图像的模板匹配来识别药剂，以能视觉辨识的方式输出识别结果。
[其他]
在本实施方式中，拍摄照明方向因显示器的发光区域的变更而分别不同的4个药剂的图像，但照明方向不同的多个图像并不限定于4个，只要是3个以上即可。另外，显示器的发光区域的变更也并不限定于显示器的左半部分、右半部分、上半部分以及下半部分，只要向药剂的照明方向因显示器的发光区域(还包含发光强度的强弱模式)的变更而不同即可。
另外，药剂识别装置并不限定于服务器，只要是能与以智能手机为代表的带摄像机的便携终端进行通信的装置，就可以是任何装置。
药剂识别装置的硬件上的结构是如下所示那样的各种处理器(processor)。在各种处理器中包含执行软件(程序)来作为各种控制部发挥功能的通用的处理器即CPU(Central Processing Unit，中央处理器)、FPGA(Field Programmable Gate Array，现场可编程门阵列)等能在制造后变更电路结构的处理器即可编程逻辑器件(ProgrammableLogic Device：PLD)、ASIC(Application Specific Integrated Circuit)等具有为了执行特定的处理而专用地设计的电路结构的处理器即专用电气电路等。
1个处理部可以由这些各种处理器当中的1个构成，也可以由同种或异种的2个以上的处理器(例如多个FPGA、或者CPU与FPGA的组合)构成。另外，也可以由1个处理器构成多个控制部。作为由1个处理器构成多个控制部的示例，第1有如下形态：如客户端、服务器等计算机所代表的那样，由1个以上的CPU与软件的组合构成1个处理器，该处理器作为多个控制部发挥功能。第2有如下形态：如***级芯片(System On Chip：SoC)等所代表的那样，使用由1个IC(Integrated Circuit，集成电路)芯片实现包含多个控制部的***整体的功能的处理器。如此地，各种控制部作为硬件上的结构，使用1个以上的上述各种处理器来构成。
另外，在本实施方式中，带摄像机的便携终端具备拍摄照明方向不同的多个图像的功能，但也可以具备药剂识别装置的一部分功能(例如标准化部、图像提取部以及图像处理部的功能)，还可以具备药剂识别装置的全部功能。在后者的情况下，不需要与带摄像机的便携终端分体的药剂识别装置。
进而，药剂识别部的药剂的识别方法并不限定于本实施方式，只要是基于强调了附于药剂的刻印或印字的图像(第2图像)来识别药剂的方法，就可以是任何方法。
另外，本发明包含通过安装于通用的带摄像机的便携终端而作为本发明所涉及的带摄像机的便携终端来实现各种功能(显示器控制功能、图像取得功能等)的程序、以及记录该程序的记录介质。
进而，本发明并不限定于上述的实施方式，能在不脱离本发明的精神的范围内进行各种变形，这是不言自明的。
附图标记说明
2 网络
10、40 托盘
12 载置面
14A、14B、14C、14D 指标
20 药剂
30 环境光
50 第1图像
60 第2图像
100 智能手机
101 主控制部
101A 显示器控制部
101B 图像取得部
101C 通信控制部
102 外壳
110 无线通信部
120 显示器
121 显示面板
122 操作面板
130 通话部
131 扬声器
132 麦克风
140 操作部
141 摄像机部
150 存储部
151 内部存储部
152 外部存储部
160 外部输入输出部
170 GPS接收部
180 运动传感器部
190 电源部
200 药剂识别装置(服务器)
210 通信部
220 CPU
230 标准化部
240 图像提取部
250 药剂DB
260 存储器
270 图像处理部
272 边缘图像合成部
274 边缘图像生成部
280 药剂识别部
280-1 药剂识别部(CNN)
280-2药剂识别部
280A 输入层
280B 中间层
280C 输出层
282 特征量运算部
284 推断部
288 输出部
289 模板匹配部
S 刻印

Claims (20)

1.一种药剂识别***，由如下要素构成：
托盘，具有在药剂的尺寸以及形状的标准化中使用的指标，载置识别对象的药剂；
带摄像机的便携终端，在与显示器相同面侧具有摄像机；和
药剂识别装置，基于由所述带摄像机的便携终端拍摄的图像，对所述药剂进行识别，
所述药剂识别***的特征在于，
所述带摄像机的便携终端具备：
显示器控制部，若接受药剂识别的指示输入，就变更所述显示器的发光区域，多次变更向载置于所述托盘的所述药剂的照明方向；和
图像取得部，通过所述摄像机多次拍摄照明方向因所述显示器的发光区域的变更而不同的所述药剂，取得所述药剂的多个第1图像，
所述药剂识别装置具备：
标准化部，基于所述多个第1图像中拍到的所述指标，将所述多个第1图像分别标准化；
图像提取部，从所述标准化后的所述多个第1图像中分别提取药剂区域的图像；
图像处理部，基于所述提取的多个药剂区域的图像，生成实施了对附于所述药剂的刻印或印字进行强调的强调处理的第2图像；和
药剂识别部，基于所述生成的所述第2图像，对所述药剂进行识别。
2.根据权利要求1所述的药剂识别***，其特征在于，
所述图像处理部分别使用与所述照明方向相应的方向的边缘提取滤波器从所述提取的多个药剂区域的图像取得多个边缘图像，使用所述多个边缘图像生成所述第2图像。
3.根据权利要求1或2所述的药剂识别***，其特征在于，
所述托盘具有尺寸以及形状为已知的格子状的分区，
在由所述格子状的分区划分出的载置面载置药剂，
所述格子状的分区兼作指标。
4.根据权利要求3所述的药剂识别***，其特征在于，
所述托盘的由所述格子状的分区划分出的所述药剂的载置面的颜色的色调、明度以及彩度当中的至少1者，按每1个或每多个载置面不同。
5.根据权利要求1～4中任一项所述的药剂识别***，其特征在于。
所述图像取得部取得照明方向不同的3个以上的图像和使所述显示器熄灭的状态的图像来作为所述多个第1图像，
所述药剂识别装置具备：
生成部，从所述3个以上的图像中分别减去使所述显示器熄灭的状态的图像，生成除去了环境光的影响的所述多个第1图像。
6.根据权利要求1～5中任一项所述的药剂识别***，其特征在于，
所述显示器是具有偏振板的显示器，
所述摄像机在拍摄镜头前设置偏振方向与从所述显示器出射的光的偏振方向不同90度的偏振板。
7.根据权利要求1～6中任一项所述的药剂识别***，其特征在于，
所述药剂识别部具有：
特征量运算部，运算所述第2图像的特征量；和
推断部，基于所述第2图像的特征量，推断所述药剂接近于登记药剂当中的哪一者。
8.根据权利要求7所述的药剂识别***，其特征在于，
所述特征量运算部以及所述推断部由学习完毕的卷积神经网络构成，该卷积神经网络将与所述登记药剂对应的所述第2图像和确定所述登记药剂的药剂识别信息作为教师数据来使用，并按每个登记药剂进行了学习。
9.根据权利要求7或8所述的药剂识别***，其特征在于，
所述药剂识别部通过根据所述推断部中的推断而缩小了范围的所述登记药剂的图像与所述第2图像的模板匹配，对所述药剂进行识别。
10.根据权利要求1～9中任一项所述的药剂识别***，其特征在于，
所述托盘兼作保护所述带摄像机的便携终端的保护罩。
11.一种药剂识别装置，基于由带摄像机的便携终端拍摄的图像来对识别对象的药剂进行识别，所述药剂识别装置的特征在于，
所述带摄像机的便携终端在与显示器相同面侧具有摄像机，在拍摄载置于具有在药剂的尺寸以及形状的标准化中使用的指标的托盘的所述识别对象的药剂时，变更所述显示器的发光区域，多次变更向载置于所述托盘的所述药剂的照明方向，通过所述摄像机多次拍摄照明方向因所述显示器的发光区域的变更而不同的所述药剂，取得所述药剂的多个第1图像，
所述药剂识别装置具备：
图像接受部，从所述带摄像机的便携终端接受所述药剂的多个第1图像；
标准化部，基于所述多个第1图像中拍到的所述指标，将所述多个第1图像分别标准化；
图像提取部，从所述标准化后的所述多个第1图像中分别提取药剂区域的图像；
图像处理部，基于所述提取的多个药剂区域的图像，生成实施了对附于所述药剂的刻印或印字进行强调的强调处理的第2图像；和
药剂识别部，基于所述生成的所述第2图像，对所述药剂进行识别。
12.一种药剂识别方法，识别载置于具有在药剂的尺寸以及形状的标准化中使用的指标的托盘的识别对象的药剂，
所述药剂识别方法的特征在于，包含：
第1步骤，显示器控制部变更在与显示器相同面侧具有摄像机的带摄像机的便携终端的所述显示器的发光区域，多次变更向载置于所述托盘的所述药剂的照明方向；
第2步骤，图像取得部通过所述摄像机多次拍摄照明方向因所述显示器的发光区域的变更而不同的所述药剂，取得所述药剂的多个第1图像；
第3步骤，标准化部基于所述多个第1图像中拍到的所述指标，将所述多个第1图像分别标准化；
第4步骤，图像提取部从所述标准化后的所述多个第1图像中分别提取药剂区域的图像；
第5步骤，图像提取部基于所述提取的多个药剂区域的图像，生成实施了对附于所述药剂的刻印或印字进行强调的强调处理的第2图像；和
第6步骤，药剂识别部基于所述生成的所述第2图像，对所述药剂进行识别。
13.根据权利要求12所述的药剂识别方法，其特征在于，
在所述第5步骤中，分别使用与所述照明方向相应的方向的边缘提取滤波器从所述提取的多个药剂区域的图像取得多个边缘图像，使用所述多个边缘图像生成所述第2图像。
14.根据权利要求12或13所述的药剂识别方法，其特征在于，
所述托盘具有尺寸以及形状为已知的格子状的分区，
在由所述格子状的分区划分出的载置面载置药剂，
所述格子状的分区兼作所述指标。
15.根据权利要求14所述的药剂识别方法，其特征在于，
所述托盘的由所述格子状的分区划分出的所述药剂的载置面的颜色的色调、明度以及彩度当中的至少1者，按每1个或每多个载置面不同。
16.根据权利要求12～15中任一项所述的药剂识别方法，其特征在于，
在所述第2步骤中，取得照明方向不同的3个以上的图像和使所述显示器熄灭的状态的图像来作为所述多个第1图像，
该药剂识别方法包含如下步骤：
生成部从所述3个以上的图像中分别减去使所述显示器熄灭的状态的图像，生成除去了环境光的影响的所述多个第1图像。
17.根据权利要求12～16中任一项所述的药剂识别方法，其特征在于，
在从所述第1步骤到所述第5步骤中，分别在将载置于所述托盘的所述药剂翻转后，对所述翻转的所述药剂进行相同处理，
在所述第5步骤中，基于对翻转前以及翻转后的所述药剂分别生成的所述第2图像，对所述药剂进行识别。
18.一种程序，安装于构成权利要求1～10中任一项所述的药剂识别***的所述带摄像机的便携终端，其特征在于，
所述程序使所述带摄像机的便携终端实现：
显示器控制功能，若接受药剂识别的指示输入，就变更所述显示器的发光区域，多次变更向载置于所述托盘的所述药剂的照明方向；和
图像取得功能，通过所述摄像机多次拍摄照明方向因所述显示器的发光区域的变更而不同的所述药剂，取得所述药剂的多个第1图像。
19.根据权利要求18所述的程序，其特征在于，
使所述带摄像机的便携终端实现：
标准化功能，基于所述多个第1图像中拍到的所述指标，将所述多个第1图像分别标准化；
图像提取功能，从所述标准化后的所述多个第1图像中分别提取药剂区域的图像；
图像处理功能，基于所述提取的多个药剂区域的图像，生成实施了对附于所述药剂的刻印或印字进行强调的强调处理的第2图像；和
药剂识别功能，基于所述生成的所述第2图像，对所述药剂进行识别。
20.一种记录介质，是非临时性且计算机可读的记录介质，其特征在于，
在存放于所述记录介质的指令由计算机读取的情况下，使计算机执行权利要求18或19所述的程序。
CN202080008525.3A 2019-02-08 2020-01-28 药剂识别***、药剂识别装置、药剂识别方法以及程序 Pending CN113301883A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-021802 2019-02-08
JP2019021802 2019-02-08
PCT/JP2020/002946 WO2020162262A1 (ja) 2019-02-08 2020-01-28 薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム

Publications (1)

Publication Number Publication Date
CN113301883A true CN113301883A (zh) 2021-08-24

Family

ID=71948236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080008525.3A Pending CN113301883A (zh) 2019-02-08 2020-01-28 药剂识别***、药剂识别装置、药剂识别方法以及程序

Country Status (5)

Country Link
US (1) US20210312219A1 (zh)
EP (1) EP3922232B1 (zh)
JP (1) JP7106688B2 (zh)
CN (1) CN113301883A (zh)
WO (1) WO2020162262A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI781856B (zh) * 2021-12-16 2022-10-21 新加坡商鴻運科股份有限公司 藥物影像辨識方法、電腦設備及儲存介質

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230054711A (ko) * 2020-10-29 2023-04-25 가부시키가이샤 유야마 세이사쿠쇼 종류 판별 장치, 종류 판별 방법, 종류 판별 프로그램, 및 약제 분류 장치
JP6891360B1 (ja) * 2021-01-05 2021-06-18 アイティアクセス株式会社 撮影補助治具及び肌撮影装置
JPWO2022163508A1 (zh) * 2021-01-26 2022-08-04

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004167158A (ja) * 2002-11-22 2004-06-17 Glory Ltd 薬剤認識装置
CN101175990A (zh) * 2005-02-23 2008-05-07 松下电工株式会社 粒状物体的检查方法及实施该方法的检查装置
CN201534392U (zh) * 2009-07-16 2010-07-28 上海理工大学 药片冲压设备高精度检测***
CN102472707A (zh) * 2010-05-20 2012-05-23 松下电器产业株式会社 药液判定装置及药液判定方法
US20140119644A1 (en) * 2012-10-31 2014-05-01 Medsnap, Llc System and method of adaptive color correction for pill recognition in digital images
JP2014095652A (ja) * 2012-11-12 2014-05-22 Kansai Seiki Kogyo Kk 薬剤認識方法および薬剤認識装置
CN105073082A (zh) * 2013-02-20 2015-11-18 株式会社汤山制作所 药剂检查装置和药剂分包***
CN105393252A (zh) * 2013-04-18 2016-03-09 数字标记公司 生理数据采集和分析
CN106104261A (zh) * 2014-03-07 2016-11-09 新日铁住金株式会社 表面性状指标化装置、表面性状指标化方法以及程序
CN106290383A (zh) * 2015-06-26 2017-01-04 Jvm有限公司 药包检查装置以及药包检查方法
CN106415251A (zh) * 2014-03-31 2017-02-15 株式会社汤山制作所 药剂拍摄装置
CN107072881A (zh) * 2014-09-25 2017-08-18 株式会社汤山制作所 检查辅助***、片剂分包装置
CN107920956A (zh) * 2015-09-28 2018-04-17 富士胶片株式会社 药剂检查装置及方法以及程序
US20180260665A1 (en) * 2017-03-07 2018-09-13 Board Of Trustees Of Michigan State University Deep learning system for recognizing pills in images
JP2018190085A (ja) * 2017-04-28 2018-11-29 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理システムの制御方法、およびプログラム
CN109073564A (zh) * 2016-04-22 2018-12-21 富士胶片株式会社 药剂监查装置及方法以及程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224391B2 (en) * 2009-07-20 2012-07-17 Lg Electronics Inc. Mobile terminal having an LED backlight unit
JP5748624B2 (ja) * 2011-09-14 2015-07-15 株式会社トーショー 薬品管理システム
JP2014053791A (ja) * 2012-09-07 2014-03-20 Panasonic Corp 画像処理装置、画像処理プログラムおよび画像撮影装置
US20140378810A1 (en) * 2013-04-18 2014-12-25 Digimarc Corporation Physiologic data acquisition and analysis
US20140313303A1 (en) * 2013-04-18 2014-10-23 Digimarc Corporation Longitudinal dermoscopic study employing smartphone-based image registration
JP6100136B2 (ja) * 2013-09-30 2017-03-22 富士フイルム株式会社 薬剤認識装置及び方法
US9940439B2 (en) * 2013-11-29 2018-04-10 Atabak Reza Royaee Method and device for identification and/or sorting of medicines
US9462169B2 (en) * 2013-12-31 2016-10-04 Huawei Technologies Co., Ltd. Shooting method, apparatus, and terminal
US20160360084A1 (en) * 2014-02-26 2016-12-08 Huawei Device Co., Ltd. Method and Apparatus for Controlling Photographic Fill-In Light and Terminal
JP2017130887A (ja) * 2016-01-22 2017-07-27 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、撮像方法、及びプログラム
WO2019222541A1 (en) * 2018-05-16 2019-11-21 Conex Digital Llc Smart platform counter display system and method

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004167158A (ja) * 2002-11-22 2004-06-17 Glory Ltd 薬剤認識装置
CN101175990A (zh) * 2005-02-23 2008-05-07 松下电工株式会社 粒状物体的检查方法及实施该方法的检查装置
CN201534392U (zh) * 2009-07-16 2010-07-28 上海理工大学 药片冲压设备高精度检测***
CN102472707A (zh) * 2010-05-20 2012-05-23 松下电器产业株式会社 药液判定装置及药液判定方法
US20140119644A1 (en) * 2012-10-31 2014-05-01 Medsnap, Llc System and method of adaptive color correction for pill recognition in digital images
JP2014095652A (ja) * 2012-11-12 2014-05-22 Kansai Seiki Kogyo Kk 薬剤認識方法および薬剤認識装置
CN105073082A (zh) * 2013-02-20 2015-11-18 株式会社汤山制作所 药剂检查装置和药剂分包***
CN105393252A (zh) * 2013-04-18 2016-03-09 数字标记公司 生理数据采集和分析
CN106104261A (zh) * 2014-03-07 2016-11-09 新日铁住金株式会社 表面性状指标化装置、表面性状指标化方法以及程序
CN106415251A (zh) * 2014-03-31 2017-02-15 株式会社汤山制作所 药剂拍摄装置
CN107072881A (zh) * 2014-09-25 2017-08-18 株式会社汤山制作所 检查辅助***、片剂分包装置
CN106290383A (zh) * 2015-06-26 2017-01-04 Jvm有限公司 药包检查装置以及药包检查方法
CN107920956A (zh) * 2015-09-28 2018-04-17 富士胶片株式会社 药剂检查装置及方法以及程序
CN109073564A (zh) * 2016-04-22 2018-12-21 富士胶片株式会社 药剂监查装置及方法以及程序
US20180260665A1 (en) * 2017-03-07 2018-09-13 Board Of Trustees Of Michigan State University Deep learning system for recognizing pills in images
JP2018190085A (ja) * 2017-04-28 2018-11-29 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理システムの制御方法、およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI781856B (zh) * 2021-12-16 2022-10-21 新加坡商鴻運科股份有限公司 藥物影像辨識方法、電腦設備及儲存介質

Also Published As

Publication number Publication date
JP7106688B2 (ja) 2022-07-26
US20210312219A1 (en) 2021-10-07
EP3922232A1 (en) 2021-12-15
JPWO2020162262A1 (ja) 2021-11-25
WO2020162262A1 (ja) 2020-08-13
EP3922232A4 (en) 2022-03-23
EP3922232B1 (en) 2022-11-23

Similar Documents

Publication Publication Date Title
CN113301883A (zh) 药剂识别***、药剂识别装置、药剂识别方法以及程序
CN109684980B (zh) 自动阅卷方法及装置
US9953433B2 (en) Distance image acquisition apparatus and distance image acquisition method
CA2779946A1 (en) Method and system for reading and validating identity documents
JP6680899B2 (ja) プリントシステム、サーバ、プリント方法及びプログラム
CN111461097A (zh) 识别图像信息的方法、装置、电子设备及介质
CN111310575B (zh) 一种人脸活体检测的方法、相关装置、设备及存储介质
CN108494996B (zh) 图像处理方法、装置、存储介质及移动终端
CN111368820A (zh) 文本标注方法、装置及存储介质
CN110378318B (zh) 文字识别方法、装置、计算机设备及存储介质
US20230368552A1 (en) Drug identification device, drug identification method and program, drug identification system, drug loading table, illumination device, imaging assistance device, trained model, and learning device
JP2012205089A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
WO2021039437A1 (ja) 画像処理装置、携帯端末、画像処理方法及びプログラム
CN114333029A (zh) 模板图像生成方法、装置及存储介质
US20160063763A1 (en) Image processor and information processor
EP4362481A1 (en) Method for displaying guide for position of camera, and electronic device
US20240111470A1 (en) System, terminal, server, image display method, and program
JP2024100083A (ja) 薬剤識別装置、薬剤識別方法及びプログラム
JP2024047385A (ja) 薬剤識別装置、薬剤識別方法及びプログラム
JP2024092621A (ja) 薬剤識別装置、薬剤識別方法及びプログラム
US20240143951A1 (en) Information code, information code generation device, information code readout device, program, and information code utilization system
WO2013146421A1 (ja) 携帯端末、シンボル用シート、補助具、画像処理プログラム、及び画像処理方法
TWI387323B (zh) 具有輔助定位功能的取像裝置
CN116830149A (zh) 药剂识别装置、药剂识别方法及程序、药剂识别***、药剂载置台、照明装置、拍摄辅助装置、已学习模型及学习装置
JP6317714B2 (ja) プリント受付装置、プリント受付サーバ、及びプリント受付方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210824

WD01 Invention patent application deemed withdrawn after publication