JP6101878B1 - 診断装置 - Google Patents

診断装置 Download PDF

Info

Publication number
JP6101878B1
JP6101878B1 JP2016563215A JP2016563215A JP6101878B1 JP 6101878 B1 JP6101878 B1 JP 6101878B1 JP 2016563215 A JP2016563215 A JP 2016563215A JP 2016563215 A JP2016563215 A JP 2016563215A JP 6101878 B1 JP6101878 B1 JP 6101878B1
Authority
JP
Japan
Prior art keywords
visible light
image
unit
region
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016563215A
Other languages
English (en)
Other versions
JPWO2018025404A1 (ja
Inventor
俊二 菅谷
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Application granted granted Critical
Publication of JP6101878B1 publication Critical patent/JP6101878B1/ja
Publication of JPWO2018025404A1 publication Critical patent/JPWO2018025404A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015By temperature mapping of body part
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00Other apparatus for animal husbandry
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7282Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485Automatic selection of region of interest
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/40Animals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Environmental Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Animal Husbandry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Radiation Pyrometers (AREA)

Abstract

診断システム(100)は、カメラにて撮像された、可視光画像および赤外線画像を取得する取得部(310)と、前記可視光画像において、前記カメラにて撮影された動物の所定の部位に対応する領域を特定する第1画像処理部(321)と、前記第1特定部にて特定された領域に対応する、前記赤外線画像における領域を特定する第2画像処理部(322)と、前記第2画像処理部にて特定された領域の温度に基づいて、前記動物を診断する診断部(323)とを有する。

Description

本発明は、動物を撮像して診断を行う装置に関する。
牛などの家畜をサーモグラフィー画像で撮像して各部位の体表温度を測定することにより、その体調を把握するという技術がある(非特許文献1)。
「赤外線サーモグラフィを用いた健康牛の各部位における体表温度差」 インターネット<URL:https://www.naro.affrc.go.jp/project/results/laboratory/niah/2013/niah13_s23.html>
一般に、牛等の動物は、体の部位ごとに温度差が存在し、健康状態を正確に把握するためには、温度を測定すべき対象の各部位の温度を正確に決定することが求められる。しかし、サーモグラフィー画像から牛等の輪郭やおおよその部位を特定することができるが、カメラから被写体までの距離その他の要因によって、各部位の正確な位置を特定することは困難である。結果的に、各部位について測定した温度の精度を向上させることに限界があった。
本発明は、対象の各部位の温度の測定精度を向上させることを目的とする。
本発明は、一の態様において、カメラにて撮像された、可視光画像および赤外線画像を取得する取得部と、前記可視光画像において、前記カメラにて撮影された動物の所定の部位に対応する領域を特定する第1画像処理部と、前記第1画像処理部にて特定された領域に対応する、前記赤外線画像における領域を特定する第2画像処理部と、前記第2画像処理部にて特定された領域の温度に基づいて、前記動物を診断する診断部とを有する診断装置を提供する。
本発明によれば、温度の測定対象の各部位について測定の精度が向上する。
診断システム100の概要図。 診断システム100の機能図。 情報処理装置300の機能図。 取得した画像の例。 特定した領域の例。 データベースDB1に記憶される情報の例。 診断システム100の動作例。
100・・・診断システム、300・・・情報処理装置、310・・・第1取得部、320・・・制御部、330・・・記憶部、340・・・調整部、321・・・第1画像処理部、322・・・第2画像処理部、323・・・診断部、350・・・第2取得部、400・・・センサ、500・・・牛、600・・・環境調整部、201・・・可視光カメラ、202・・・赤外線カメラ、400・・・センサ
図1は診断システム100の概要を示す。診断システム100は、牛や豚などの家畜を管理する区域に設けられた、可視光カメラ201(201−1、201−2)と、赤外線カメラ202(202−1、202−2)と、センサ400と、牛500(牛500−A、牛500−B、牛500−C)と、環境調整部600(600−1、600−1)とを含む。
図1における可視光カメラ201、赤外線カメラ202、センサ400の位置や個数は、例示に過ぎない。また、同図では、屋外の放牧エリアGRで牛を飼育・管理する例を示しているが、屋内で管理する家畜の場合は診断システム100の全ての構成要素は屋内に設置されてもよいし、一部を屋内(屋外)に設置されてもよい。
各可視光カメラ201の詳細な機能は、同一であってもよいし異なっていてもよい。同様に、各環境調整部600の詳細の機能は同一であってもよいし異なっていてもよい。
センサ400は、照量、風向、風速、温度、気温、湿度、気圧等の、放牧エリアGRの環境についての情報を測定する。
環境調整部600は、情報処理装置300の制御の下で動作する、放牧エリアGRの環境を変化させる装置で、例えば、送風機などの空調機器や照明装置である。
図2は、診断システム100の機能図である。診断システム100は、可視光カメラ201と、赤外線カメラ202と、情報処理装置300と、環境調整部600と、センサ400と、900含む。情報処理装置300は、パーソナルコンピュータ等の汎用の情報処理装置であって、診断システム100のユーザによって用いられる。
可視光カメラ201は、レンズ等の光学系や光検出素子、画像処理プロセッサ等を含み、被写体から光を検出して画像データ(可視光画像データという)を生成する。
赤外線カメラ202は、レンズ等の光学系や赤外線を検出素子や画像処理プロセッサ等を含み、撮像素子被写体から発せされる赤外線を感知して赤外線画像データ(サーモグラフィー)を生成する。赤外線画像とは、被写体の部位ごとに温度を色によって表わしたものである。
生成された赤外線画像データおよび可視光画像データは、900を介して情報処理装置300に送信される。900は有線または無線LANまたはインターネットである。
また、900は、センサ400にて測定されたデータを情報処理装置300に送信する。また、900を介し、情報処理装置300から各環境調整部600へ制御信号が供給される。制御信号には。例えば、電源のON/OFFタイミング、送風量(回転数)が含まれる。
可視光カメラ201および赤外線カメラ202の少なくともいずれか一方において、レンズの向き、撮影範囲(ズーム)やピント等の制御は、図示せぬ遠隔装置によって診断システム100の管理者が行ってもよい。具体的には、ユーザは可視光カメラ201および赤外線カメラ202から情報処理装置300に供給された画像データを目で確認して被写体の捜索や特定を行い、画角、ピントやズーム等の撮影条件を規定する制御信号を制御部320から可視光カメラ201および赤外線カメラ202へ送信する。
あるいは、可視光カメラ201および赤外線カメラ202の少なくともいずれか一方は、所定の画像認識アルゴリズムに従って、自動で、レンズの向き、画角、ピントやズームの調整、生成した画像データの送信タイミングの指定等の決定を行ってもよい。この場合、用いた撮影条件は画像データとともに情報処理装置300に送信される。すなわち、情報処理装置300は、全ての可視光カメラ201および赤外線カメラ202の動作状態を常に把握している。
同図では、赤外線カメラ202および可視光カメラ201は異なる位置に設けられるので、赤外線カメラ202および可視光カメラ201が同一の被写体を撮影したとしても、撮影視点が異なることになる。一つの赤外線カメラ202および一つの可視光カメラ201は一体構造であってもよい。この場合、得られる画像データの撮影視点は同一または実質的に同一となる。
赤外線画像データおよび可視光画像データが情報処理装置300に供給されるタイミングは、独立していてもよいし、同期していてもよい。可視光画像および赤外線画像は、それぞれ、静止画でもよいし、複数の時点において撮像された複数の静止画像から構成される一つの動画であってもよい。
図3は情報処理装置300の機能を示す。情報処理装置300は、第1取得部310と、制御部320と、記憶部330と、調整部340と、第2取得部350とを含む。第1取得部310は、LANモジュール等の通信インタフェースとして実装され、可視光画像および赤外線画像をそれぞれ可視光カメラ201および赤外線カメラ202から取得すると、それぞれ第1画像処理部321および第2画像処理部322へ供給する。
第1取得部310にて取得された画像データが表す画像の例を図4に示す。可視光画像IM1および赤外線画像IM2は、それぞれ、ある被写体を一つの可視光カメラ201にて撮影した可視光画像および当該被写体を一つの赤外線カメラ202にて撮影した赤外線画像である。なお、同図(b)においては、便宜上、色の違いをハッチングの種類によって表現している。
図3に戻り、第2取得部350は、通信インタフェースとして実装され、監視対象の動物である牛500‐1、500‐2、500‐3の生活環境を示す環境情報をセンサ400から取得する。
記憶部330は、1以上のメモリやハードディスクとして実装された記憶装置であって、記憶部330のプロセッサにて実行されると、後述する情報処理装置300の機能を実現するためのプログラムのほか、動物の複数の部位の各々に対応する複数の基準温度を記述したデータベースDB1を格納する。なお、このプログラムは、例えばインターネット等の通信網を介して300にダウンロードされてインストールされる。
図6は、データベースDB1に記憶される情報の例である。この例では、データベースDB1において、監視対象の個体ごとに、部位と基準温度とを対応付けたテーブル(個体A用、個体B用)のほか、個体に関係なく適用される汎用のテーブル(一般用)が格納される。
基準温度とは、例えば正常(健康)な状態における温度である。なお、登録される部位の位置や数は例示であり、動物の種類、診断したい内容等に応じて適宜定めることができる。なお、個体ごとにテーブルを有する必要はなく、例えば一つの品種の動物に対して一つのテーブルを有していてもよい。
図3に戻り、記憶部330には、更に、可視光画像および赤外線画像を解析するアルゴリズムが記憶される。また、記憶部330には、診断システム100を構成する全てのカメラの設置位置(撮影視点)が記憶される。制御部320は、取得した可視光画像を生成した可視光カメラ201と、赤外線画像を生成した赤外線カメラ202との位置関係と、可視光カメラ201および赤外線カメラ202の撮影条件とに基づいて、可視光画像データにおける被写体の部位と赤外線画像における当該被写体の部位の位置の対応関係を決定する。換言すると、可視光画像上の位置と赤外線画像上の位置との間のマッピングが行われる。
制御部320は、1以上のプロセッサによって実装され、少なくとも一つの可視光カメラ201と少なくとも一つの赤外線カメラ202から供給された可視光画像データおよび赤外線画像データに基づいて、動物の診断を行う。
なお、複数の可視光カメラ201および赤外線カメラ202のうちどの可視光カメラ201およびどの赤外線カメラ202で生成された画像データを用いるかは任意であって、必ずしも設置位置が互いに近接している一組の可視光カメラ201および赤外線カメラ202にて生成された画像データを採用する必要はない。要するに、取得した可視光画像上の位置と、赤外線画像上の位置との対応関係が特定できればよい。
具体的には、制御部320は、第1画像処理部321と、第2画像処理部322と、診断部323とを含む。第1画像処理部321は画像処理プロセッサによって実装され、第1取得部310から供給された可視光画像に対して画像解析を行う。具体的には、第1画像処理部321は監視対象の動物が可視光画像に映っているかを判定する。そして、第1画像処理部321は所定のパターンマッチングアルゴリズムを用いて、第1取得部310から供給された可視光画像における、各可視光カメラ201にて撮影された動物について予め定められた各部位に対応する領域を特定する。
加えて、第1画像処理部321は、各可視光カメラ201にて撮像された複数の個体をそれぞれ識別してもよい。例えば、各個体の所定の部位に固有の識別コードが形成されたタグが取り付けられている場合、識別コードを読み取り、記憶部330に記憶されたデータベースを参照して個体を特定する。あるいは、体型や毛の模様、部位の形状等の個体特有の外見に関する情報を記憶部330に記憶しておき、可視光画像データから形状や模様を認識することで個体を特定してもよい。
さらに、第1画像処理部321は、第1の個体と第2の個体との位置関係を特定してもよい。
制御部320は、ある可視光カメラ201にて撮影された動物に対して予め定められた部位の少なくとも一部が認識できない場合、全てカメラ201から取得した可視光画像データを解析し、その動物についての当該少なくとも一部の部位の全部または一部が撮影された他の可視光カメラ201を特定して、当該他の可視光カメラ201にて生成された可視光画像をさらに用いてもよい。すなわち、一つの動物に対して2以上の可視光画像データを用いる。具体的には、制御部320は、特定した部位に過不足があるかを、DB1を参照して判定し、不足している部位があれば可視光カメラの配置についての情報を用いて好適な他の可視光カメラ201を特定する。該特定した他の可視光カメラ201についての映像が存在しない場合は、当該他の可視光カメラ201に撮影した可視光画像データを送信するように、第1取得部310を介して供給してもよい。
例えば、ある可視光カメラ201が動物を正面から撮影した場合、体の後ろ側の部位は映らない場合があるが、このような場合でも、当該動物の背後に設置された可視光カメラ201にて当該動物を撮影した可視光カメラ201の可視光画像データを合わせて用いることで、当該動物に対して診断に必要と定められた全ての部位を撮影した可視光画像データを得ることができる。
第2画像処理部322は画像処理プロセッサとして実装され、記憶部330に記憶された画像変換アルゴリズムに基づいて第1画像処理部321にて特定された領域に対応する、赤外線画像における領域を特定する。
図5は、同一の個体について撮影された可視光画像および赤外線画像に基づいて、第1画像処理部321および第2画像処理部322にて特定された領域の例を示す。この例では、第1画像処理部321にて、解析した輪郭や模様のパターン等に基づいて、予め定められた可視光画像IM1上の部位R1〜R10が特定され、特定された部位R1〜R10にそれぞれ対応する赤外線画像IM2上の領域がR1´〜R10´であると特定されている。なお、第1画像処理部321および第2画像処理部322で特定されるのは有限の大きさの領域ではく、一点の座標であってもよい。要するに、温度に基づく診断を行うのに必要な測定対象として定められた位置における温度が測定できればよい。
なお、第1画像処理部321において一つの動物に対して複数の可視光画像データが用いられた場合、可視光画像データごとに、その可視光画像を生成した可視光カメラ201に最も近接に配置されている赤外線カメラ202にて生成された赤外線画像データを特定し、可視光画像データ上で特定した部位ごとに温度を測定する。
ここで、用いる可視光画像データと赤外線画像データの枚数は一致しなくてもよい。赤外線カメラ202の設置位置と可視光カメラ201の設置位置の関係に依存する。要するに、ある動物について1以上の可視光カメラ201にて特定した全ての部位の温度が、1以上の赤外線画像データに基づいて決定されればよい。
診断部323は、第2画像処理部322にて特定された1以上の領域についての温度に基づいて、動物を診断する。好ましい態様において、診断部323は、第2画像処理部322にて特定された複数の領域における温度と各基準温度とを比較し、各部位について測定された温度の基準温度から差に基づいて、動物の状態(病気を発症しているか否かといった情報のほか、出産や発情までの期間がどの程度なのかといった生理サイクルにおける時期、その他、気分、興奮度、受けているストレスなど諸状態)を判定する。例えば、各部位ずれの平均値などの統計量が所定の閾値以上である場合は、健康でない状態にあると判定する。あるいは、部位ごとに閾値を定め、症状と1以上の着目部位とを対応付け、所定の症状を発症していると判定する。第1画像処理部321にて個体が識別された場合は、診断部323は個体ごとに診断結果を出力してもよい。
診断部323は、複数の個体のうち一の個体について診断を行うに際し、測定済みの他の個体の温度を参照してもよい。例えば、監視対象の全ての個体で測定した温度差について平均値や中央値の算出等の統計処理を行い、ある個体について測定された温度を、算出した統計量を用いて補正することによって、当該個体についての温度を決定する。これにより、例えば監視対象の複数の動物に共通してみられた温度変化の特徴を加味して、各個体の状態を判定することができる。例えば、体温の上昇が複数の牛500でみられた場合、病気等の症状によるものではなく、外気温が上昇した結果であるという可能性が高いところ、誤った診断結果が生成される可能性が減少する。
温度変化が環境の影響なのか体調に起因するものなのかについての判定精度を上げるべく、診断部323は第2取得部350にて取得した環境情報を加味して診断を行ってもよい。具体的には、センサ400にて測定された、気温、湿度、日照量、季節等に応じて、基準温度を補正する。
また、診断部323は第1画像処理部321にて算出した動物どうしの位置関係の情報を用いて診断を行ってもよい。例えば、第1画像処理部321において温度を計測する対象の動物から所定の距離範囲に他の動物が存在する時間の合計や頻度を算出し、算出した情報に基づいて当該対象の動物のストレス度を算出する。あるいは、第1画像処理部321にて上記位置関係の時間変化(動き)を算出してストレス度を算出してもよい。
診断部323は、一つの個体について所定の期間内に撮像された、複数の可視光画像および複数の赤外線画像を用いてもよい。例えば、10秒間に連続撮影された計10組の、可視光画像と赤外線画像とを使用し、各部位について、10回測定して得られた温度に対して統計処理(例えば平均値の算出)を経て得られた数値を出力する。こうすることで、瞬間の突発的な温度の変動やノイズの影響が取り除かれ、温度の計測精度が向上する。
あるいは、動物の症状や状態によっては、診断には温度の計時変化の情報が求められることを踏まえ、一つの個体に対し、数日ないし数週間という期間で、温度変化を計測してもよい。一つの個体について長期間にわたる温度の変化傾向を把握することで、診断できる病状の範囲が広がり、あるいは診断の精度が向上する。
調整部340は、プロセッサおよび通信インタフェースとして実装され、診断部323にて出力された診断の結果を表す情報に基づいて、制御信号を生成して1以上の環境調整部600に送信する。具体的には、調整部340は診断の結果を表す情報に基づいて、各環境調整部600について制御情報の送信の要否および制御の内容を決定し、必要な1以上の環境調整部600に決定した制御内容を表す制御信号を送信する。
図7は診断システム100の動作例を示す。第1取得部310にて可視光画像および赤外線画像が取得されると(S102)、第1画像処理部321にて画像解析が実行される。具体的には、監視対象として予め定められた動物が映っているか否かが検出され(S104)、映っている場合は、当該動物の個体を識別する(S106)。さらに、当該動物について予め定められた1以上の着目部位を特定(S108)する。
続いて、第2画像処理部322は、特定した各部位を赤外線画像上にマッピング(S110)し、赤外線画像に基づいて、特定した各部位の温度を決定する(S112)。
続いて診断部323は、データベースDB1を参照して、各部位の温度と基準温度とのズレに基づいて被写体について診断する(S114)。323は、診断結果を記憶部330に記憶し(S116)し、必要に応じてデータベースDB1に登録された基準温度を更新してもよい。そして、診断部323は、診断結果に基づいて取るべきアクションを決定する。具体的には、診断結果に基づいて各環境調整部600について制御の要否および内容を決定し(S118)、必要に応じて制御信号を1以上の環境調整部600に送信する。
なお、S102〜S118の一連の処理は、画像を取得する度に行ってもよいし、画像の取得タイミングとは無関係なスケジュールで(例えば定期的に)行ってもよいし、監視対象として登録されている全ての個体が検出されるまで繰り返してもよい。
上記の実施例においては、可視光画像を用いて、被写体の部位の位置(および領域)を正確に特定し、特定した領域の温度を計測することができる。この結果、サーモグラフィー画像のみによって部位の特定と温度の測定とを行う場合に比べて、予め定められた部位についての温度の測定精度が向上する。この結果、監視対象動物の状態(健康なのか病気なのかといった体調、出産が近いのか否か、気分、興奮度、ストレスを受けている状態など)を、より正確に把握することができる。
上記の実施例においては本発明の実施の一態様にすぎない。本発明の診断装置は、要するに、カメラにて撮像された、可視光画像および赤外線画像を取得する取得部と、前記可視光画像において、前記カメラにて撮影された動物の所定の部位に対応する領域を特定する第1画像処理部と、前記第1画像処理部にて特定された領域に対応する、前記赤外線画像における領域を特定する第2画像処理部と、前記第2画像処理部にて特定された領域の温度に基づいて、前記動物を診断する診断部とを有していればよい。

Claims (10)

  1. カメラにて撮像された、可視光画像および赤外線画像を取得する取得部と、
    前記可視光画像において、前記カメラにて撮影された動物の所定の部位に対応する領域を特定する第1画像処理部と、
    前記第1画像処理部にて特定された領域に対応する、前記赤外線画像における領域を特定する第2画像処理部と、
    前記第2画像処理部にて特定された領域の温度に基づいて、前記動物を診断する診断部と
    を有する診断装置。
  2. 前記動物の複数の部位の各々に対応する複数の基準温度を記憶した記憶部をさらに備え、
    前記第1画像処理部は、複数の所定の部位の各々に対応する複数の領域を特定し、
    前記診断部は、前記第2画像処理部にて特定された複数の領域における温度と各基準温度とを比較する、
    請求項1に記載の診断装置。
  3. 前記第1画像処理部は、前記カメラにて撮像された複数の個体をそれぞれ識別し、
    前記診断部は個体ごとに診断結果を出力する、
    請求項1または2に記載の診断装置。
  4. 前記診断部は、前記複数の個体のうち一の個体について診断を行うに際し、他の個体の温度を用いる、
    請求項3に記載の診断装置。
  5. 前記第1画像処理部は、第1の個体と第2の個体との位置関係を特定し、
    前記診断部は前記位置関係を用いる、
    請求項3に記載の診断装置。
  6. 前記動物の生活環境を示す環境情報を取得する第2取得部を更に有し、
    前記診断部は前記環境情報を用いる、
    請求項1〜4のいずれか一つに記載の診断装置。
  7. 前記可視光画像および前記赤外線画像は、それぞれ複数の時点において撮像され、
    前記診断部は、所定の期間内に撮像された複数の可視光画像および複数の赤外線画像を用いる、
    請求項1〜6のいずれか一つに記載の診断装置。
  8. 前記診断部にて出力された診断の結果を表す情報に基づいて生活環境を調整する調整部を更に有する、
    請求項1〜7のいずれか一つに記載の診断装置。
  9. カメラにて撮像された、可視光画像および赤外線画像を取得するステップと、
    前記可視光画像において、前記カメラにて撮影された動物の所定の部位に対応する領域を特定するステップと、
    前記特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定するステップと、
    前記特定された領域の温度に基づいて前記動物を診断するステップと
    を有する、動物の診断方法。
  10. コンピュータに、
    カメラにて撮像された、可視光画像および赤外線画像を取得するステップと、
    前記可視光画像において、前記カメラにて撮影された動物の所定の部位に対応する領域を特定するステップと、
    前記特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定するステップと、
    前記特定された領域の温度に基づいて前記動物を診断するステップと
    を実行させるためのプログラム。
JP2016563215A 2016-08-05 2016-08-05 診断装置 Active JP6101878B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/073122 WO2018025404A1 (ja) 2016-08-05 2016-08-05 診断装置

Publications (2)

Publication Number Publication Date
JP6101878B1 true JP6101878B1 (ja) 2017-03-22
JPWO2018025404A1 JPWO2018025404A1 (ja) 2018-08-02

Family

ID=58363267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016563215A Active JP6101878B1 (ja) 2016-08-05 2016-08-05 診断装置

Country Status (3)

Country Link
US (1) US10687713B2 (ja)
JP (1) JP6101878B1 (ja)
WO (1) WO2018025404A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101931263B1 (ko) * 2018-04-25 2018-12-20 주식회사 근옥 근거리 무선 통신을 이용한 돼지 사육 시스템
KR101931270B1 (ko) * 2018-04-25 2018-12-20 주식회사 근옥 영상 분석을 이용한 자돈 사육 시스템
WO2019059363A1 (ja) * 2017-09-25 2019-03-28 株式会社トプコン 動物の健康状態管理システム及び管理方法
KR20190033892A (ko) * 2017-09-22 2019-04-01 국립생태원 야생동물 모니터링 시스템 및 그 방법
EP3669645A4 (en) * 2017-09-22 2020-10-21 Panasonic Intellectual Property Management Co., Ltd. LIVESTOCK INFORMATION MANAGEMENT SYSTEM, LIVESTOCK STALL, LIVESTOCK INFORMATION MANAGEMENT PROGRAM AND LIVESTOCK INFORMATION MANAGEMENT PROCESS
CN113273179A (zh) * 2019-01-02 2021-08-17 Lg伊诺特有限公司 用于管理养殖场环境的装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018073899A1 (ja) * 2016-10-18 2018-04-26 株式会社オプティム コンピュータシステム、植物の診断方法及びプログラム
JP6592613B2 (ja) * 2016-10-31 2019-10-16 株式会社オプティム コンピュータシステム、植物の診断方法及びプログラム
JP6441546B2 (ja) * 2016-10-31 2018-12-19 株式会社オプティム コンピュータシステム、物体の診断方法及びプログラム
CN109029779B (zh) * 2018-04-28 2020-02-14 华映科技(集团)股份有限公司 一种实时人体温度快速侦测法
WO2020044869A1 (ja) * 2018-08-30 2020-03-05 パナソニックIpマネジメント株式会社 動物情報管理システム、及び、動物情報管理方法
SE542755C2 (en) * 2018-11-09 2020-07-07 Bmp Innovation Ab Methods and systems for accurate temperature readings of animals of interest
TWI830907B (zh) * 2019-06-05 2024-02-01 日商索尼半導體解決方案公司 圖像辨識裝置及圖像辨識方法
GB2591432B (en) * 2019-10-11 2024-04-10 Caucus Connect Ltd Animal detection
TW202207867A (zh) * 2020-08-24 2022-03-01 禾企電子股份有限公司 體溫異常個體快篩系統
CN113155292B (zh) * 2021-03-30 2024-06-28 芯算一体(深圳)科技有限公司 人脸测温方法、人脸测温仪及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120458A (ja) * 1997-10-14 1999-04-30 Hitachi Eng & Service Co Ltd 火災検知装置
JP2002022652A (ja) * 2000-07-10 2002-01-23 Horiba Ltd 波長分析型赤外画像および可視画像解析装置
JP2002132341A (ja) * 2000-10-26 2002-05-10 Toshiba Corp 現場点検装置
JP2003310055A (ja) * 2002-04-26 2003-11-05 Matsushita Electric Ind Co Ltd 植物育成装置および植物育成方法、並びにその方法を記録した記録媒体
JP2010194074A (ja) * 2009-02-25 2010-09-09 Terumo Corp 赤外線サーモグラフィ装置
JP2014135993A (ja) * 2013-01-16 2014-07-28 Nippon Avionics Co Ltd 体温測定装置、体温測定方法及び体温管理システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2530442A1 (en) * 2011-05-30 2012-12-05 Axis AB Methods and apparatus for thermographic measurements.
AU2013350867B2 (en) * 2012-12-02 2017-08-31 Agricam Ab Systems and methods for predicting the outcome of a state of a subject

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120458A (ja) * 1997-10-14 1999-04-30 Hitachi Eng & Service Co Ltd 火災検知装置
JP2002022652A (ja) * 2000-07-10 2002-01-23 Horiba Ltd 波長分析型赤外画像および可視画像解析装置
JP2002132341A (ja) * 2000-10-26 2002-05-10 Toshiba Corp 現場点検装置
JP2003310055A (ja) * 2002-04-26 2003-11-05 Matsushita Electric Ind Co Ltd 植物育成装置および植物育成方法、並びにその方法を記録した記録媒体
JP2010194074A (ja) * 2009-02-25 2010-09-09 Terumo Corp 赤外線サーモグラフィ装置
JP2014135993A (ja) * 2013-01-16 2014-07-28 Nippon Avionics Co Ltd 体温測定装置、体温測定方法及び体温管理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
福井陽士ら: "赤外線サーモグラフィを用いた健康牛における体表各部の表面温度解析及び左右差の検討", 日本獣医師会雑誌, vol. 67巻/4号, JPN6017002390, 20 May 2014 (2014-05-20), JP, pages 249 - 254, ISSN: 0003487471 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190033892A (ko) * 2017-09-22 2019-04-01 국립생태원 야생동물 모니터링 시스템 및 그 방법
KR101984983B1 (ko) 2017-09-22 2019-05-31 국립생태원 야생동물 모니터링 시스템 및 그 방법
EP3669645A4 (en) * 2017-09-22 2020-10-21 Panasonic Intellectual Property Management Co., Ltd. LIVESTOCK INFORMATION MANAGEMENT SYSTEM, LIVESTOCK STALL, LIVESTOCK INFORMATION MANAGEMENT PROGRAM AND LIVESTOCK INFORMATION MANAGEMENT PROCESS
WO2019059363A1 (ja) * 2017-09-25 2019-03-28 株式会社トプコン 動物の健康状態管理システム及び管理方法
JP2019058079A (ja) * 2017-09-25 2019-04-18 株式会社トプコン 動物の健康状態管理システム及び管理方法
KR101931263B1 (ko) * 2018-04-25 2018-12-20 주식회사 근옥 근거리 무선 통신을 이용한 돼지 사육 시스템
KR101931270B1 (ko) * 2018-04-25 2018-12-20 주식회사 근옥 영상 분석을 이용한 자돈 사육 시스템
CN113273179A (zh) * 2019-01-02 2021-08-17 Lg伊诺特有限公司 用于管理养殖场环境的装置
CN113273179B (zh) * 2019-01-02 2024-02-13 Lg伊诺特有限公司 用于管理养殖场环境的装置
US12014541B2 (en) 2019-01-02 2024-06-18 Lg Innotek Co., Ltd. Device for managing environment of breeding farm

Also Published As

Publication number Publication date
US20190159681A1 (en) 2019-05-30
JPWO2018025404A1 (ja) 2018-08-02
WO2018025404A1 (ja) 2018-02-08
US10687713B2 (en) 2020-06-23

Similar Documents

Publication Publication Date Title
JP6101878B1 (ja) 診断装置
US9922242B2 (en) Systems and methods for predicting the outcome of a state of a subject
JP6560833B2 (ja) コンピュータシステム、植物の診断方法及びプログラム
Ma et al. Development of noncontact body temperature monitoring and prediction system for livestock cattle
US10292369B1 (en) Non-contact detection of physiological characteristics of experimental animals
US20210216758A1 (en) Animal information management system and animal information management method
JP6618631B2 (ja) コンピュータシステム、動物の診断方法及びプログラム
CN114155216A (zh) 猪只温度检测方法及装置
JP2022529250A (ja) 動物の健康状態を検出するための方法および制御装置
KR101558227B1 (ko) 가축의 열화상을 이용한 가축의 유두부에 대한 질병 판독 시스템
US20230225294A1 (en) Apparatus and methodologies for improved detection of important biological states in animals
US20220000077A1 (en) System for measuring body temperature in poultry
KR20130088667A (ko) 가축생산성 향상을 위한 u―IT기반 원격 화상 진료 장치
KR20190075253A (ko) 열화상 이미지를 활용한 가축 질병 감지 시스템
Milan et al. Survey and future prospects in precision dairy farming
Landgraf et al. Modelling and correction of influences on surface temperature measurements using infrared thermography for animal health and welfare assessments
JP5635637B2 (ja) 動物異常検知装置、動物異常検知方法、およびプログラム
Yuan et al. Stress-free detection technologies for pig growth based on welfare farming: A review
Wang et al. Body temperature measurement of pigs based on infrared thermal imaging and SwinEAR
KR200497533Y1 (ko) 가축 질병 모니터링 서버
US20210145320A1 (en) Animal physical activity tracking device and system having the same
JP2022148725A (ja) 位置推定モデル学習方法、位置推定モデル学習装置、位置推定モデル学習プログラム、位置推定方法、位置推定装置、及び位置推定プログラム
KR20210085384A (ko) IoT센서와 영상정보를 이용한 농작물상태분석시스템
KR20240066873A (ko) 군집 사육 가축의 운동 활력도 측정 장치 및 방법
JP6096738B2 (ja) 動物異常検知装置、動物異常検知方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161222

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20161222

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170227

R150 Certificate of patent or registration of utility model

Ref document number: 6101878

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250