JP2018092495A - 画像センサ - Google Patents

画像センサ Download PDF

Info

Publication number
JP2018092495A
JP2018092495A JP2016237178A JP2016237178A JP2018092495A JP 2018092495 A JP2018092495 A JP 2018092495A JP 2016237178 A JP2016237178 A JP 2016237178A JP 2016237178 A JP2016237178 A JP 2016237178A JP 2018092495 A JP2018092495 A JP 2018092495A
Authority
JP
Japan
Prior art keywords
processing unit
image sensor
sensor according
image
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016237178A
Other languages
English (en)
Inventor
小林　正嗣
Masatsugu Kobayashi
正嗣 小林
さや香 志田
Sayaka Shida
さや香 志田
孝貴 光浪
Koki Mitsunami
孝貴 光浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2016237178A priority Critical patent/JP2018092495A/ja
Priority to US16/337,148 priority patent/US10904429B2/en
Priority to PCT/JP2017/037869 priority patent/WO2018105248A1/ja
Publication of JP2018092495A publication Critical patent/JP2018092495A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Veterinary Medicine (AREA)
  • Geometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】画像センサにおいて、表示のための低速画像データとは異なる高速画像データを用いて、高速な認識処理を行う。
【解決手段】撮像素子は、対象物を撮像して時系列に並ぶ画像データのフレームを生成する。二値化処理部は、フレームの各々に対して二値化処理を行って二値化フレームを生成する。トラッキング処理部は、時系列に隣接する二値化フレームの間の差分を生成して二値化フレームに含まれる対象物の位置の変化を追跡する。
【選択図】図１

Description

本技術は、画像センサに関する。詳しくは、撮像された画像データを利用して認識処理を行うための画像センサに関する。
従来、撮像された画像データを利用して様々な認識処理が行われている。そのような認識処理の一例として、撮像された画像データから人の身振りや手振りなどのジェスチャを操作情報として認識するマンマシンインターフェースが組み込まれた端末装置が提案されている（例えば、特許文献１参照。）。
特開２０１３−０２０３１１号公報
上述の従来技術では、画像データを表示画像として出力するデータフローと、画像データから必要な情報を抽出して認識処理を行うデータフローとに大別される。画像を表示するためには、一般に３０乃至１２０ｆｐｓ（フレーム／秒）程度の処理速度で足りるが、高度な認識処理を行うためにはそれでは不十分である。すなわち、通常のカメラで捉えた低フレームレート画像では、フレーム画像間隔が広いため、画像処理を用いた物体の移動量や、移動速度、回転速度などといった動作に基づく測定においてはリアルタイム性が低くなり、動作物体の計測に不向きである。また、高速に動作する物体検出に対応するためには、フレーム補間などの処理が必要になるが、そのような画像を解析するためには、画像を保持するための大容量のデータベースと多大な処理時間とが必要となってしまう。
本技術はこのような状況に鑑みて生み出されたものであり、認識処理に必要な処理部を画像センサに設けて、表示のための低速画像データとは異なる高速画像データを用いて高速な認識処理を行うことを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、対象物を撮像して時系列に並ぶ画像データのフレームを生成する撮像素子と、上記フレームの各々に対して二値化処理を行って二値化フレームを生成する二値化処理部と、時系列に隣接する上記二値化フレームの間の差分を生成して上記二値化フレームに含まれる上記対象物の位置の変化を追跡するトラッキング処理部とを具備する画像センサである。これにより、撮像されたフレームを画像センサ内において二値化して対象物の追跡を行うという作用をもたらす。
また、この第１の側面において、上記フレームの各々に対してフィルタ処理を施すフィルタ処理部をさらに具備し、上記二値化処理部は、上記フィルタ処理の施されたフレームの各々に対して上記二値化処理を行うようにしてもよい。これにより、フレームの各々に対してフィルタ処理を施すという作用をもたらす。
また、この第１の側面において、上記トラッキング処理部による結果に基づいて上記二値化フレームに含まれる前記対象物のモーメントを算出するモーメント生成部をさらに具備してもよい。これにより、二値化フレームに含まれる対象物の面積の変化量を生成するという作用をもたらす。
また、この第１の側面において、上記モーメント生成部によって生成された上記モーメントに基づいて上記二値化フレームに含まれる上記対象物の重心位置を生成する重心位置生成部をさらに具備してもよい。これにより、二値化フレームに含まれる対象物の重心位置を生成するという作用をもたらす。
また、この第１の側面において、上記重心位置生成部によって生成された上記対象物の重心位置に基づいて上記対象物に関する集計処理を行う集計処理部をさらに具備してもよい。これにより、対象物に関する集計処理を行うという作用をもたらす。
また、この第１の側面において、上記集計処理部による上記集計処理の結果を表示させるための表示制御部をさらに具備してもよい。これにより、集計処理の結果を表示させるという作用をもたらす。
また、この第１の側面において、上記集計処理部は、上記対象物の個数、サイズ、および、運動率の少なくとも何れか一つを集計するようにしてもよい。これにより、対象物の個数、サイズ、および、運動率を集計するという作用をもたらす。
また、この第１の側面において、上記集計処理部は、上記対象物の形状変化を検出し、上記トラッキング処理部は、上記対象物の形状変化が検出されると上記追跡を開始してもよい。これにより、対象物の形状変化をトリガとして対象物を追跡させるという作用をもたらす。
また、この第１の側面において、上記集計処理部は、上記対象物の速度を計測し、上記対象物が複数ある場合にそれら対象物の速度の統計値を算出するようにしてもよい。これにより、複数の対象物の速度の統計値を算出するという作用をもたらす。
また、この第１の側面において、上記撮像素子は、上記対象物として生体の眼を撮像し、上記二値化処理部は、上記撮像された生体の眼において瞳孔を検出し、上記トラッキング処理部は、上記撮像された生体の眼における視線を追跡し、上記モーメント生成部は、上記撮像された生体の眼における瞳孔の面積を算出し、上記集計処理部は、上記瞳孔の面積と上記瞳孔が継続して認識されている時間とからまばたきの実施を検出するようにしてもよい。これにより、撮像された眼からまばたきの実施を検出するという作用をもたらす。また、この場合において、上記まばたきの実施の態様に応じて操作入力を受け付けるインターフェースをさらに具備してもよい。これにより、まばたきの実施の態様に応じた操作入力を行うという作用をもたらす。
また、この第１の側面において、上記重心位置生成部は、上記撮像された生体の眼における瞳孔の重心位置を生成し、上記集計処理部は、上記瞳孔の重心位置から視線方向を判定するようにしてもよい。これにより、撮像された眼から視線方向を判定するという作用をもたらす。また、この場合において、上記まばたきの実施の態様および上記視線方向に応じて操作入力を受け付けるインターフェースをさらに具備してもよい。これにより、まばたきの実施の態様および視線方向に応じた操作入力を行うという作用をもたらす。
また、この第１の側面において、上記集計処理部は、上記まばたきの実施が検出されると上記瞳孔の検出を再度行うよう上記二値化処理部を制御するようにしてもよい。これにより、まばたきの実施をトリガとして、瞳孔の検出を再開するという作用をもたらす。
また、この第１の側面において、上記集計処理部は、上記対象物の速度を計測し、上記対象物の速度が所定の条件を満たさない場合には異常を検知するようにしてもよい。これにより、撮像された対象物の速度により異常を検知するという作用をもたらす。
また、この第１の側面において、上記集計処理部は、上記対象物の振動量を計測し、上記対象物の振動量が所定の条件を満たさない場合には異常を検知するようにしてもよい。これにより、撮像された対象物の振動量により異常を検知するという作用をもたらす。
また、この第１の側面において、上記集計処理部は、上記対象物の回転量を計測し、上記対象物の回転量が所定の条件を満たさない場合には異常を検知するようにしてもよい。これにより、撮像された対象物の回転量により異常を検知するという作用をもたらす。
本技術によれば、画像センサにおいて高速な認識処理を行うことができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態における画像処理システムの一構成例を示す図である。 本技術の実施の形態の第１の適用例における細胞計測の例を示す図である。 本技術の実施の形態の第１の適用例における細胞計測の処理手順例を示す流れ図である。 本技術の実施の形態の第２の適用例における細胞***計測の例を示す図である。 本技術の実施の形態の第２の適用例における細胞***計測の処理手順例を示す流れ図である。 本技術の実施の形態の第３の適用例における細胞動作計測の例を示す図である。 本技術の実施の形態の第３の適用例における細胞動作計測の処理手順例を示す流れ図である。 本技術の実施の形態の第４の適用例におけるまばたき検出および視線検出の例を示す図である。 本技術の実施の形態の第４の適用例におけるまばたき検出および視線検出の処理手順例を示す流れ図である。 本技術の実施の形態の第５の適用例における血流速度計測の例を示す図である。 本技術の実施の形態の第５の適用例における血流速度計測の処理手順例を示す流れ図である。 本技術の実施の形態の第６の適用例における振動量計測による不調検出の例を示す図である。 本技術の実施の形態の第６の適用例における振動量計測による不調検出の処理手順例を示す流れ図である。 本技術の実施の形態の第７の適用例における回転量計測による不調検出の例を示す図である。 本技術の実施の形態の第７の適用例における回転量計測による不調検出の処理手順例を示す流れ図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．実施の形態（画像処理システムの構成例）
２．第１の適用例（細胞計測の例）
３．第２の適用例（細胞***計測の例）
４．第３の適用例（細胞動作計測の例）
５．第４の適用例（まばたき検出および視線検出の例）
６．第５の適用例（血流速度計測の例）
７．第６の適用例（振動量計測による不調検出の例）
８．第７の適用例（回転量計測による不調検出の例）
＜１．実施の形態＞
図１は、本技術の実施の形態における画像処理システムの一構成例を示す図である。この実施の形態における画像処理システムは、画像センサ１００と、集計部２００と、操作入力装置３１０と、表示装置３２０とを備える。
画像センサ１００は、対象物を含む被写体を撮像して、対象物の認識処理を行うものである。集計部２００は、画像センサ１００によって得られた各種データに基づいて集計を行うものである。操作入力装置３１０は、外部からの操作入力を受け付けるものである。表示装置３２０は、集計部２００によって得られた集計結果を表示するものである。
なお、ここでは一例として、集計部２００の各機能が画像センサ１００から独立した態様について説明するが、集計部２００の一部または全部の機能を画像センサ１００に組み込むような態様であってもよい。
画像センサ１００は、撮像部１１０と、フィルタ処理部１２０と、二値化処理部１３０と、トラッキング処理部１４０と、モーメント生成部１５０と、重心位置生成部１６０とを備える。
撮像部１１０は、対象物を含む被写体を撮像する撮像素子である。この撮像部１１０は、所定のフレームレートにより、時系列に並ぶ画像データのフレームを生成する。ここで、フレームレートとしては、１秒当たり１０００フレーム（１０００ｆｐｓ）以上の高フレームレートを想定する。この撮像部１１０によって撮像された画像データのフレームは、その全てが画像センサ１００の外部に供給される必要はない。高フレームレートの画像データは以下に説明する認識処理を目的としたものであり、表示のためにはこれよりも低いフレームレートで十分である。すなわち、高フレームレートの画像データを画像センサ１００内の参照に留めることにより、画像センサ１００のバンド幅を有効に活用することが可能となる。なお、撮像部１１０は、特許請求の範囲に記載の撮像素子の一例である。また、対象物は、人物や動物などの生物のみならず、非生物を広く含むオブジェクトである。
フィルタ処理部１２０は、撮像部１１０によって撮像された画像データのフレームの各々に対してフィルタ処理を施すものである。このフィルタ処理部１２０におけるフィルタ処理としては、例えば、移動平均フィルタやメディアンフィルタなどによるノイズ除去処理、Ｓｏｂｅｌフィルタなどによる輪郭検出処理、ラプラシアンフィルタなどによるエッジ検出などが想定される。また、このフィルタ処理部１２０によって画像のオイラー数を求めることにより、画像に含まれる対象物の個数を算出することも可能である。オイラー数とは、成分数から孔の数を引いた数である。
二値化処理部１３０は、フィルタ処理部１２０によってフィルタ処理の施されたフレームの各々に対して二値化処理を行うものである。この二値化処理部１３０は、各フレームの画像データに含まれる輝度や色のヒストグラム情報に基づいてその画像データを二値化して、二値化データからなる二値化フレームを生成する。
トラッキング処理部１４０は、二値化処理部１３０によって生成された二値化フレームについて、時系列に隣接するフレーム間の差分を生成することにより、二値化フレームに含まれる対象物を検出して、その対象物の位置の変化を追跡するものである。対象物の検出の際には、画像における特定の領域を測定対象として指定することが可能である。
モーメント生成部１５０は、トラッキング処理部１４０による結果に基づいて、二値化フレームにおける２変数関数のモーメントを算出するものである。０次モーメントは、その二値化フレームに含まれる対象物の面積の変化量を表し、画像の回転や拡大縮小に対して不変な値である。
重心位置生成部１６０は、モーメント生成部１５０によって生成されたモーメントに基づいて、二値化フレームに含まれる対象物の重心位置を生成するものである。水平方向および垂直方向の各１次モーメントをそれぞれ０次モーメントで除算した値が、重心位置を表す。
集計部２００は、集計処理部２１０と、制御部２２０と、インターフェース２３０とを備える。集計処理部２１０は、画像センサ１００によって得られた各種データに基づいて集計処理を行うものである。この集計処理部２１０は、以下の適用例に示すように、動作するアプリケーションに応じて必要な処理を行う。制御部２２０は、集計部２００および画像センサ１００の各部に対する動作制御を行うものである。インターフェース２３０は、外部とのインターフェースを司るものである。この例では、インターフェース２３０は表示装置３２０と接続して、集計部２００によって得られた集計結果を表示装置３２０に表示させるための入出力制御を行う。なお、インターフェース２３０は、特許請求の範囲に記載のインターフェースおよび表示制御部の一例である。
なお、この図においては、重心位置生成部１６０からの出力が集計処理部２１０および制御部２２０に供給される経路を明示しているが、画像センサ１００の各部から集計部２００に対して各種データを供給する経路が必要に応じて設けられてもよい。
このように構成することにより、認識処理に合わせてフレーム単位の処理の中にプログラム演算を埋め込むことができ、対象物の移動量およびサイズ、移動方向、ヒストグラム情報といったフレーム毎の演算結果をセンシング情報として高速に出力することができる。また、後段において画像を処理する必要がなく、演算結果のみを利用して解析を行うことができる。
＜２．第１の適用例＞
図２は、本技術の実施の形態の第１の適用例における細胞計測の例を示す図である。本実施の形態における画像処理システムを用いて細胞計測を行うためには、測定の対象物となる細胞を培養する細胞培養プレート等を用意し、顕微鏡を介して撮像部１１０によって撮像する。これにより、画像６１１に示すように時系列のフレームからなる動画像として細胞の動きを、高フレームレートにより観測することができる。
撮像された各フレームは、フィルタ処理部１２０によって、一定サイズ以外のノイズが除去される。また、フィルタ処理部１２０において、画像６１２に示すように、Ｓｏｂｅｌフィルタなどによる輪郭検出処理が行われる。
フィルタ処理部１２０において輪郭検出処理が行われた後、二値化処理部１３０において輪郭内の有効化が行われて、画像６１３に示すように二値化される。白い部分が個々の細胞を示す。
二値化された画像６１３に基づいて、トラッキング処理部１４０においてフレーム間の差分が生成され、各細胞の動きが追跡される。また、モーメント生成部１５０においてモーメントが計算される。
画像６１４に示すように操作入力装置３１０によって特定の領域が測定対象として定義されると、この特定の領域においてフレーム間差分およびモーメント演算が行われ、その特定の領域における細胞の運動率が算出される。また、画像６１５に示すように操作入力装置３１０によって複数の領域が測定対象として定義されると、その複数の領域毎に細胞の運動率が算出される。
図３は、本技術の実施の形態の第１の適用例における細胞計測の処理手順例を示す流れ図である。
まず、測定対象となる細胞を含む画像データが取得される（ステップＳ８１１）。そのために、例えば顕微鏡を介して細胞培養プレートの画像が撮像部１１０によって撮像される。取得された画像データは、時系列のフレームを構成する。
取得された各フレームは、フィルタ処理部１２０によって、一定サイズ以外のノイズが除去（ノイズリダクション）される（ステップＳ８１２）。そして、そのノイズ除去されたフレームについて、フィルタ処理部１２０において、輪郭検出処理が行われる（ステップＳ８１３）。
その後、操作入力装置３１０からの指示に従って処理が選択される（ステップＳ８１４）。細胞の運動率の算出が選択されると、二値化処理部１３０において輪郭検出処理が行われたフレームの輪郭内の有効化が行われて、フレームは二値化される（ステップＳ８１５）。
操作入力装置３１０からの指示により特定の領域が測定対象として設定されると（ステップＳ８１６）、この特定の領域において時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成される（ステップＳ８１７）。そして、設定された特定の領域について、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８１８）。
演算されたモーメントに基づいて、集計処理部２１０において特定の領域毎に細胞の運動率が算出される（ステップＳ８１９）。算出された細胞の運動率は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８２１）。
輪郭個数の算出が選択されると（ステップＳ８１４）、集計処理部２１０は、二値化処理部１３０において輪郭検出処理が行われた画像のオイラー数を求めることにより、その画像に含まれる対象物の個数を算出する（ステップＳ８２２）。例えば、所望の細胞のサイズをナノメートル単位で予め設定しておいて、その所定サイズの細胞がいくつあるかを計算する。このようにして算出された輪郭個数は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８２３）。
輪郭サイズの算出が選択されると（ステップＳ８１４）、集計処理部２１０は、モーメント生成部１５０によって生成されたモーメントに基づいて画像に含まれる輪郭のサイズを算出する（ステップＳ８２４）。これにより、画像に含まれる複数の細胞のそれぞれのサイズが得られる。集計処理部２１０は、得られた細胞のサイズをソートして、その最大値および最小値を求める。これら細胞のサイズの最大値および最小値は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８２５）。
これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
なお、この例においては、集計処理部２１０が独立して動作することを想定しているため、ステップＳ８１５乃至Ｓ８１８の処理とステップＳ８２２乃至Ｓ８２５の処理とは、互いに並列に実行することができる。
＜３．第２の適用例＞
図４は、本技術の実施の形態の第２の適用例における細胞***計測の例を示す図である。本実施の形態における画像処理システムを用いて細胞***計測を行うためには、上述の細胞計測の例と同様に、測定の対象物となる細胞を培養する細胞培養プレート等を用意し、顕微鏡を介して撮像部１１０によって撮像する。これにより、画像６２１に示すように時系列のフレームからなる動画像として細胞の動きを、高フレームレートにより観測することができる。
撮像された各フレームは、上述の細胞計測の例と同様に、フィルタ処理部１２０によって、一定サイズ以外のノイズが除去される。また、フィルタ処理部１２０において、画像６１２に示すように、Ｓｏｂｅｌフィルタなどによる輪郭検出処理が行われる。このようにして得られた画像６２２は、細胞***の直前の状態を示す画像６２４として保持される。
画像６２２に示すように操作入力装置３１０によって特定の領域が測定対象として定義されると、この特定の領域において輪郭個数の変化が検知される。画像６２３に示すように輪郭の個数が変化した場合、その特定の領域において細胞の***が発生したと推定される。この細胞***が発生したタイミングでフレーム間の差分が生成され、その結果からターゲットが画像６２５に示すように指定されてトラッキングが開始する。これにより、その後の細胞の動作が観測される。
図５は、本技術の実施の形態の第２の適用例における細胞***計測の処理手順例を示す流れ図である。
まず、測定対象となる細胞を含む画像データが取得される（ステップＳ８３１）。そのために、例えば顕微鏡を介して細胞培養プレートの画像が撮像部１１０によって撮像される。取得された画像データは、時系列のフレームを構成する。
取得された各フレームは、フィルタ処理部１２０によって、一定サイズ以外のノイズが除去される（ステップＳ８３２）。そして、そのノイズ除去されたフレームについて、フィルタ処理部１２０において、輪郭検出処理が行われる（ステップＳ８３３）。
その後、操作入力装置３１０からの指示に従って処理が選択される（ステップＳ８３４）。画像センサ１００内のハードウェアによる連動処理が選択されると、二値化処理部１３０において輪郭検出処理が行われたフレームの輪郭内の有効化が行われて、フレームは二値化される（ステップＳ８３５）。その後、輪郭個数の変化が検知されるまで待機される（ステップＳ８３６）。
一方、集計部２００における輪郭個数の変化検知が選択されると（ステップＳ８３４）、集計処理部２１０は、二値化処理部１３０において輪郭検出処理が行われた画像のオイラー数を求めることにより、輪郭の個数を算出する（ステップＳ８４４）。算出された輪郭個数は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８４５）。そして、輪郭個数の変化が検知されると、制御部２２０はトラッキング処理部１４０にその旨を通知する（ステップＳ８４６）。
輪郭個数の変化検知が通知されると（ステップＳ８３６）、トラッキング処理部１４０は、時系列に隣接するフレーム間の差分を生成される（ステップＳ８３７）。この結果から追跡すべきターゲットが設定され（ステップＳ８３８）、トラッキング処理部１４０によるターゲットトラッキングが開始する（ステップＳ８３９）。そして、設定されたターゲットについて、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８４１）。
そして、フレーム毎の個別移動量が重心位置生成部１６０によって算出される（ステップＳ８４２）。また、フレーム毎の個別移動量が集計処理部２１０において集計され、複数のフレームの集計結果として、平均速度や速度のばらつき等の集計移動量が得られる。そして、このようにして得られた個別移動量や集計移動量は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８４３）。
これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
なお、この例においては、集計処理部２１０が独立して動作することを想定しているため、ステップＳ８３５乃至Ｓ８４１の処理とステップＳ８４４乃至Ｓ８４６の処理とは、互いに並列に実行することができる。
＜４．第３の適用例＞
図６は、本技術の実施の形態の第３の適用例における細胞動作計測の例を示す図である。本実施の形態における画像処理システムを用いて細胞動作計測を行うためには、上述の細胞計測の例と同様に、測定の対象物となる細胞を培養する細胞培養プレート等を用意し、顕微鏡を介して撮像部１１０によって撮像する。これにより、画像６３１に示すように時系列のフレームからなる動画像として細胞の動きを、高フレームレートにより観測することができる。
撮像された各フレームは、上述の細胞計測の例と同様に、フィルタ処理部１２０によって、一定サイズ以外のノイズが除去される。また、二値化処理部１３０において二値化処理が行われる。
操作入力装置３１０によって特定の領域が測定対象として定義されると、この特定の領域においてフレーム間差分およびモーメント演算が行われ、画像６３２に示すように、その特定の領域における細胞の移動量が算出される。また、細胞の遊動率や移動速度を演算することができる。
さらに、特定のターゲットの動き出しを検知し、それをトリガにして、データ解析の開始を定義することができる。これにより、不要な画像解析の負荷を削減することができる。
また、個別に測定対象となる細胞を定義した場合、トラッキング処理部１４０においてターゲットトラッキングを行うことにより、細胞の移動速度を算出することができる。これにより、例えば、がん細胞などの悪性度を判定することができる。
また、本実施の形態のように高速な撮像を前提とすることにより、***のように１５０ｆｐｓ程度の速度を必要とし、不規則に動く対象についても、特定の領域内において元気に動いている割合を示す遊走率を計測することができる。
図７は、本技術の実施の形態の第３の適用例における細胞動作計測の処理手順例を示す流れ図である。
まず、測定対象となる細胞を含む画像データが取得される（ステップＳ８５１）。そのために、例えば顕微鏡を介して細胞培養プレートの画像が撮像部１１０によって撮像される。取得された画像データは、時系列のフレームを構成する。
取得された各フレームは、フィルタ処理部１２０によって、一定サイズ以外のノイズが除去される（ステップＳ８５２）。そして、そのノイズ除去されたフレームについて、フィルタ処理部１２０において、規定サイズ以下の対象物が除去される（ステップＳ８５３）。
その後、操作入力装置３１０からの指示に従って処理が選択される（ステップＳ８５４）。画像センサ１００内のハードウェアによる連動処理が選択されると、二値化処理部１３０においてフレームの二値化処理が行われる（ステップＳ８５５）。
操作入力装置３１０からの指示により単独の個体が測定対象として設定されると（ステップＳ８５６）、その単独の個体について時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成される（ステップＳ８５７）。そして、その単独の個体について、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８５８）。また、その単独の個体について、個別移動量（移動速度）が重心位置生成部１６０によって算出される（ステップＳ８５９）。このようにして得られた個別移動量は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８６１）。
操作入力装置３１０からの指示により複数の個体が測定対象として設定されると（ステップＳ８５６）、その複数の個体のそれぞれについて時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成される（ステップＳ８６２）。そして、その複数の個体について、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８６３）。その後、複数の個体について、個別移動量が重心位置生成部１６０によって算出される（ステップＳ８６４）。集計処理部２１０は、得られた個別移動量をソートして、その最大値および最小値を求める。これら個別移動量の最大値および最小値は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８６５）。
対象物の個数の算出が選択されると（ステップＳ８５４）、集計処理部２１０は、画像のオイラー数を求めることにより、その画像に含まれる対象物の個数を算出する（ステップＳ８６６）。例えば、所望の細胞のサイズをナノメートル単位で予め設定しておいて、その所定サイズの細胞がいくつあるかを計算する。このようにして算出された個数は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８６７）。
対象物のサイズの算出が選択されると（ステップＳ８５４）、集計処理部２１０は、モーメント生成部１５０によって生成されたモーメントに基づいて画像に含まれる対象物のサイズを算出する（ステップＳ８６８）。これにより、画像に含まれる複数の対象物のそれぞれのサイズが得られる。集計処理部２１０は、得られた対象物のサイズをソートして、その最大値および最小値を求める。これら対象物のサイズの最大値および最小値は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８６９）。
これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
なお、この例においては、集計処理部２１０が独立して動作することを想定しているため、ステップＳ８５５乃至Ｓ８５８の処理とステップＳ８６６乃至Ｓ８６９の処理とは、互いに並列に実行することができる。
＜５．第４の適用例＞
図８は、本技術の実施の形態の第４の適用例におけるまばたき検出および視線検出の例を示す図である。人間のまばたき動作を捉えるためには６０乃至１２５ｆｐｓの速度を必要とするが、本実施の形態における画像処理システムを用いて人間の眼を対象物として撮像して、瞳孔の面積および継続時間を生成することにより、まばたきの実施の有無を判定することができる。また、両目の瞳孔の重心位置を生成することにより、視線方向を判定することができる。
これにより、使用環境に限定されることのないユーザインターフェースを実現することができると同時に、慣れ親しんだ機器と同様の操作を行うことができる。また、左右の手が自由に使えるため、機器に縛られないウェアラブルデバイスの利点を有効活用することができる。
例えば、人間の眼を含む画像６４４を撮像して、左目のウィンクが検知されると、マウスの左ボタン６４１が押下されたのと同様の動作を行うことが考えられる。また、右目のウィンクが検知されると、マウスの右ボタン６４２が押下されたのと同様の動作を行うことが考えられる。さらに、視線方向に応じてマウスのホイール６４３が操作されたのと同様の動作を行うことが考えられる。
図９は、本技術の実施の形態の第４の適用例におけるまばたき検出および視線検出の処理手順例を示す流れ図である。
まず、測定対象となる人間の眼を含む画像データが取得される（ステップＳ８７１）。そのために、例えば、ウェアラブルデバイスやアイウェアデバイスを撮像部１１０として利用することができる。
そして、二値化処理部１３０において二値化処理が行われて、瞳孔領域が検出される（ステップＳ８７２）。また、トラッキング処理部１４０において、瞳孔の動きが追跡される（ステップＳ８７３）。
このようにして認識された瞳孔について、重心位置生成部１６０によってその瞳孔の重心が算出され（ステップＳ８７４）、モーメント生成部１５０によってモーメント演算が行われ、瞳孔の面積が算出される（ステップＳ８７５）。これにより、まばたきが検出される。また、重心位置生成部１６０によって生成された瞳孔の重心に基づいて、集計処理部２１０において視線方向が判定される（ステップＳ８７６）。例えば、ユーザが映像として３０ｃｍ先の空間に浮かぶ映像を観る場合、重心位置生成部１６０によって生成された瞳孔の座標情報を集計処理部２１０が補正することなどが想定される。
その結果、左目のまばたきが検知されたと判定された場合には（ステップＳ８８１：Ｙｅｓ）、左クリック処理が行われる（ステップＳ８８２）。一方、右目のまばたきが検知されたと判定された場合には（ステップＳ８８３：Ｙｅｓ）、右クリック処理が行われる（ステップＳ８８４）。なお、両目のまばたきが検知されたと判定された場合には（ステップＳ８７７：Ｙｅｓ）、これらの処理は行われない。
これら何れかのまばたきが検出された場合、まばたきにより瞳孔が完全に隠れた際に、再検出のための制御が実施される（ステップＳ８７８）。そして、表示装置３２０において画面描画が行われる（ステップＳ８７９）。その後、ステップＳ８７３以降の処理が繰り返される。
なお、上述の適用例では瞳孔を検出してその面積を算出したが、虹彩を検出してその面積を算出するようにしてもよい。
＜６．第５の適用例＞
図１０は、本技術の実施の形態の第５の適用例における血流速度計測の例を示す図である。ゼブラフィッシュは、コイ科の小型魚類で、最近１０年において最も発展したモデル脊椎動物である。このゼブラフィッシュは、体内が透けて見えることから、脳や内臓の形成を研究するために適していることが知られている。一方、このゼブラフィッシュの血流を捉えるためには６００ｆｐｓの速度を必要とする。本実施の形態における画像処理システムでは、このゼブラフィッシュの血流を高フレームレートにより撮像することにより、その観測を可能にする。
ゼブラフィッシュの血流を計測するためには、まず、撮像の対象物として、無害なカラーボールをゼブラフィッシュに飲み込ませる。そして、画像６５１に示すようにそのカラーボール６５５がフレームに出現した瞬間に、画像６５２に示す枠表示６５６と共に録画を開始する。そして、画像６５３に示すようにカラーボール６５５が流れきったところで録画を停止して、そのフレーム数から速度を求めることができる。
図１１は、本技術の実施の形態の第５の適用例における血流速度計測の処理手順例を示す流れ図である。
まず、測定対象となる画像データが取得される（ステップＳ７１１）。そのために、例えば、顕微鏡を介してゼブラフィッシュの血流部分の画像を撮像部１１０により撮像することができる。
取得された各フレームは、フィルタ処理部１２０によって、一定サイズ以外のノイズが除去される（ステップＳ７１２）。また、二値化処理部１３０において画像データの色成分に従って二値化処理が行われる（ステップＳ７１３）。
そして、時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成されて、操作入力装置３１０によって指定された領域内の動体が検索される（ステップＳ７１４）。ここで、動体が検出されるまで待機される（ステップＳ７１５）。
操作入力装置３１０によって単体がトラッキング対象として指定されると（ステップＳ７１６）、その単体についてトラッキング処理部１４０においてターゲットトラッキングが行われる（ステップＳ７１７）。そして、その単体について、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ７１８）。また、その単体について、個別移動量が重心位置生成部１６０によって算出される（ステップＳ７１９）。このようにして得られた個別移動量は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ７２１）。
一方、操作入力装置３１０によって複数個体がトラッキング対象として指定されると（ステップＳ７１６）、それら複数個体についてトラッキング処理部１４０においてターゲットトラッキングが行われる（ステップＳ７２２）。そして、その複数個体について、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ７２３）。また、その複数個体について、それぞれの個別移動量が重心位置生成部１６０によって算出される（ステップＳ７２４）。集計処理部２１０は、得られた個別移動量をソートして、その最大値および最小値を求める。これら個別移動量の最大値および最小値は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ７２５）。
これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
なお、この例では血流速度の計測および統計値の算出の例について示したが、血流速度をデータベースなどに保持された期待値と比較して、その期待値の範囲を満たさない場合には異常を検知するようにしてもよい。
＜７．第６の適用例＞
図１２は、本技術の実施の形態の第６の適用例における振動量計測による不調検出の例を示す図である。機器の振動量を計測するために通常用いられる振動センサでは、機器に直接接続する必要があり、機器に固定するための手間を要するだけでなく、安全性についても配慮しなければならない。一方、外観を観測する場合、例えばアイドリング時に回転数が１２００ｒｐｍ（rotation per minute：毎分の回転数）のエンジンの１次振動の周波数は２０Ｈｚ程度であるが、動作時には２００Ｈｚ程度になる。本実施の形態における画像処理システムでは、機器の外観を高フレームレートにより撮像することにより、その観測を可能にする。
対象物である機器６６１の振動量を観測する場合、観測対象となる位置や幅を、操作入力装置３１０によって画像上の枠６６２または６６３のように指定する。時系列に並ぶフレームにおいて動作を観察し、領域毎の期待値と比較することにより、機器６６１の不調を検出することができる。
図１３は、本技術の実施の形態の第６の適用例における振動量計測による不調検出の処理手順例を示す流れ図である。
まず、測定対象となる画像データが取得される（ステップＳ７３１）。そのために、例えば、撮像部１１０により測定対象の機器の画像が撮像される。
取得された各フレームは、フィルタ処理部１２０によって、ノイズが除去される（ステップＳ７３２）。また、フィルタ処理部１２０によって、エッジ検出が行われる（ステップＳ７３３）。そして、検出されたエッジ部分を有効とする二値化処理が二値化処理部１３０によって行われる（ステップＳ７３４）。
測定対象となる画像データのフレームにおいて、操作入力装置３１０によって観測対象となる領域が設定される（ステップＳ７３５）。その設定された領域は、制御部２２０からトラッキング処理部１４０に供給される。
トラッキング処理部１４０では、時系列に隣接するフレーム間の差分が生成される（ステップＳ７３６）。そして、設定された領域毎にモーメント生成部１５０によってモーメント演算が行われる（ステップＳ７３７）。領域毎に生成されたモーメントに基づいて、集計処理部２１０において領域毎の振動率が算出される（ステップＳ７３８）。
その後、操作入力装置３１０からの指示に従って処理が選択される（ステップＳ７３９）。振動率の出力が指示された場合は、集計処理部２１０において算出された領域毎の振動率がインターフェース２３０を介して表示装置３２０に表示される（ステップＳ７４１）。
振動量の期待値判定が指示されると（ステップＳ７３９）、データベースなどに保持された期待値と集計処理部２１０において算出された領域毎の振動率とが比較される。振動率が期待値の範囲内であれば（ステップＳ７４２：Ｙｅｓ）、正常であるとの判定結果がインターフェース２３０を介して表示装置３２０に表示される（ステップＳ７４３）。一方、振動率が期待値と大きく異なる場合には（ステップＳ７４２：Ｎｏ）、異常が発生した旨の判定結果がインターフェース２３０を介して表示装置３２０に表示される（ステップＳ７４４）。
なお、これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
＜８．第７の適用例＞
図１４は、本技術の実施の形態の第７の適用例における回転量計測による不調検出の例を示す図である。ドローンや換気扇のように機器の主要部にプロペラを備える場合において、対象物であるプロペラの回転量を観測することにより不調を検出することが可能である。例えば、家庭用扇風機では強設定で１５００乃至１６００ｒｐｍ程度、台所の換気扇で２５００ｒｐｍ程度である。また、ボートのスクリューはフルスロットルで５０００乃至６０００ｒｐｍ程度、プロペラ機のプロペラは２３００乃至２４００ｒｐｍ程度、ラジコンやドローンでは１３００乃至２５００ｒｐｍ程度である。
ボートのスクリューやプロペラ機のプロペラなどについては、内蔵のタコメータによって計測することが可能であるが、タコメータの故障もあり得るため、外側からの客観的な観測により不調を検出できることは有用である。本実施の形態における画像処理システムでは、機器の外観を高フレームレートにより撮像することにより、その観測を可能にする。
例えば、ドローン６７１のプロペラ部分を対象物として携帯端末６７２のカメラによって撮像する。その際、複数枚のプロペラのうち特定の１枚のプロペラにマーカとなるシールを貼り付けておいて、ターゲットトラッキングを行うことによりその移動量を計測することができる。また、エッジ検出を行い、それによって得られた形状についてトラッキングすることも可能である。
このようなアプリケーションを携帯端末６７２に搭載することにより、撮像されたプロペラ部分の回転率を、携帯端末６７２の表示部にリアルタイムに表示させることができる。
図１５は、本技術の実施の形態の第７の適用例における回転量計測による不調検出の処理手順例を示す流れ図である。
まず、測定対象となる画像データが取得される（ステップＳ７５１）。そのために、例えば、撮像部１１０により測定対象の機器におけるプロペラ部分の画像が撮像される。
取得された各フレームは、フィルタ処理部１２０によって、ノイズが除去される（ステップＳ７５２）。そして、二値化処理部１３０によって色および輝度による二値化処理が行われて、プロペラ部分に貼り付けられたシールのマーカが検出される（ステップＳ７５３）。
検出されたマーカに対して画像上の領域が設定され（ステップＳ７５４）、トラッキング処理部１４０によってターゲットトラッキングが行われる（ステップＳ７５５）。また、設定された領域についてモーメント生成部１５０によってモーメント演算が行われる（ステップＳ７５６）。そして、その生成されたモーメントに基づいて、集計処理部２１０において回転率が算出される（ステップＳ７５７）。
その後、操作入力装置３１０からの指示に従って処理が選択される（ステップＳ７５８）。回転率の出力が指示された場合は、集計処理部２１０において算出された回転率がインターフェース２３０を介して表示装置３２０に表示される（ステップＳ７５９）。
回転率の期待値判定が指示されると（ステップＳ７５８）、データベースなどに保持された期待値と集計処理部２１０において算出された回転率とが比較される。回転率が期待値の範囲内であれば（ステップＳ７６１：Ｙｅｓ）、正常であるとの判定結果がインターフェース２３０を介して表示装置３２０に表示される（ステップＳ７６２）。一方、回転率が期待値と大きく異なる場合には（ステップＳ７６１：Ｎｏ）、異常が発生した旨の判定結果がインターフェース２３０を介して表示装置３２０に表示される（ステップＳ７６３）。
なお、これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
このように、本技術の実施の形態によれば、対象物（物体や機器）を高フレームレートにより撮像して画像センサ内で画像処理することにより、画像データを出力することなく測定結果を定量化することができる。これにより、画像解析の時間を短縮し、保持するデータストレージ量を削減することができる。また、センサレベルで演算結果を生成できるため、携帯機器を含む小型システムにおいても実現することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）対象物を撮像して時系列に並ぶ画像データのフレームを生成する撮像素子と、
前記フレームの各々に対して二値化処理を行って二値化フレームを生成する二値化処理部と、
時系列に隣接する前記二値化フレームの間の差分を生成して前記二値化フレームに含まれる前記対象物の位置の変化を追跡するトラッキング処理部と
を具備する画像センサ。
（２）前記フレームの各々に対してフィルタ処理を施すフィルタ処理部をさらに具備し、
前記二値化処理部は、前記フィルタ処理の施されたフレームの各々に対して前記二値化処理を行う
前記（１）に記載の画像センサ。
（３）前記トラッキング処理部による結果に基づいて前記二値化フレームのモーメントを算出して前記二値化フレームに含まれる前記対象物の面積の変化量を生成するモーメント生成部をさらに具備する前記（１）または（２）に記載の画像センサ。
（４）前記モーメント生成部によって生成された前記モーメントに基づいて前記二値化フレームに含まれる前記対象物の重心位置を生成する重心位置生成部をさらに具備する前記（３）に記載の画像センサ。
（５）前記重心位置生成部によって生成された前記対象物の重心位置に基づいて前記対象物に関する集計処理を行う集計処理部をさらに具備する前記（４）に記載の画像センサ。
（６）前記集計処理部による前記集計処理の結果を表示させるための表示制御部をさらに具備する前記（５）に記載の画像センサ。
（７）前記集計処理部は、前記対象物の個数、サイズ、および、運動率の少なくとも何れか一つを集計する前記（５）に記載の画像センサ。
（８）前記集計処理部は、前記対象物の形状変化を検出し、
前記トラッキング処理部は、前記対象物の形状変化が検出されると前記追跡を開始する
前記（５）に記載の画像センサ。
（９）前記集計処理部は、前記対象物の速度を計測し、前記対象物が複数ある場合にそれら対象物の速度の統計値を算出する前記（５）に記載の画像センサ。
（１０）前記撮像素子は、前記対象物として生体の眼を撮像し、
前記二値化処理部は、前記撮像された生体の眼において瞳孔を検出し、
前記トラッキング処理部は、前記撮像された生体の眼における視線を追跡し、
前記モーメント生成部は、前記撮像された生体の眼における瞳孔の面積を算出し、
前記集計処理部は、前記瞳孔の面積と前記瞳孔が継続して認識されている時間とからまばたきの実施を検出する
前記（５）に記載の画像センサ。
（１１）前記まばたきの実施の態様に応じて操作入力を受け付けるインターフェースをさらに具備する前記（１０）に記載の画像センサ。
（１２）前記重心位置生成部は、前記撮像された生体の眼における瞳孔の重心位置を生成し、
前記集計処理部は、前記瞳孔の重心位置から視線方向を判定する
前記（１０）に記載の画像センサ。
（１３）前記まばたきの実施の態様および前記視線方向に応じて操作入力を受け付けるインターフェースをさらに具備する前記（１２）に記載の画像センサ。
（１４）前記集計処理部は、前記まばたきの実施が検出されると前記瞳孔の検出を再度行うよう前記二値化処理部を制御する前記（１０）に記載の画像センサ。
（１５）前記集計処理部は、前記対象物の速度を計測し、前記対象物の速度が所定の条件を満たさない場合には異常を検知する前記（５）に記載の画像センサ。
（１６）前記集計処理部は、前記対象物の振動量を計測し、前記対象物の振動量が所定の条件を満たさない場合には異常を検知する前記（５）に記載の画像センサ。
（１７）前記集計処理部は、前記対象物の回転量を計測し、前記対象物の回転量が所定の条件を満たさない場合には異常を検知する前記（５）に記載の画像センサ。
１００ 画像センサ
１１０ 撮像部
１２０ フィルタ処理部
１３０ 二値化処理部
１４０ トラッキング処理部
１５０ モーメント生成部
１６０ 重心位置生成部
２００ 集計部
２１０ 集計処理部
２２０ 制御部
２３０ インターフェース
３１０ 操作入力装置
３２０ 表示装置

Claims (17)

  1. 対象物を撮像して時系列に並ぶ画像データのフレームを生成する撮像素子と、
    前記フレームの各々に対して二値化処理を行って二値化フレームを生成する二値化処理部と、
    時系列に隣接する前記二値化フレームの間の差分を生成して前記二値化フレームに含まれる前記対象物の位置の変化を追跡するトラッキング処理部と
    を具備する画像センサ。
  2. 前記フレームの各々に対してフィルタ処理を施すフィルタ処理部をさらに具備し、
    前記二値化処理部は、前記フィルタ処理の施されたフレームの各々に対して前記二値化処理を行う
    請求項１記載の画像センサ。
  3. 前記トラッキング処理部による結果に基づいて前記二値化フレームに含まれる前記対象物のモーメントを算出するモーメント生成部をさらに具備する請求項１記載の画像センサ。
  4. 前記モーメント生成部によって生成された前記モーメントに基づいて前記二値化フレームに含まれる前記対象物の重心位置を生成する重心位置生成部をさらに具備する請求項３記載の画像センサ。
  5. 前記重心位置生成部によって生成された前記対象物の重心位置に基づいて前記対象物に関する集計処理を行う集計処理部をさらに具備する請求項４記載の画像センサ。
  6. 前記集計処理部による前記集計処理の結果を表示させるための表示制御部をさらに具備する請求項５記載の画像センサ。
  7. 前記集計処理部は、前記対象物の個数、サイズ、および、運動率の少なくとも何れか一つを集計する請求項５記載の画像センサ。
  8. 前記集計処理部は、前記対象物の形状変化を検出し、
    前記トラッキング処理部は、前記対象物の形状変化が検出されると前記追跡を開始する
    請求項５記載の画像センサ。
  9. 前記集計処理部は、前記対象物の速度を計測し、前記対象物が複数ある場合にそれら対象物の速度の統計値を算出する請求項５記載の画像センサ。
  10. 前記撮像素子は、前記対象物として生体の眼を撮像し、
    前記二値化処理部は、前記撮像された生体の眼において瞳孔を検出し、
    前記トラッキング処理部は、前記撮像された生体の眼における視線を追跡し、
    前記モーメント生成部は、前記撮像された生体の眼における瞳孔の面積を算出し、
    前記集計処理部は、前記瞳孔の面積と前記瞳孔が継続して認識されている時間とからまばたきの実施を検出する
    請求項５記載の画像センサ。
  11. 前記まばたきの実施の態様に応じて操作入力を受け付けるインターフェースをさらに具備する請求項１０記載の画像センサ。
  12. 前記重心位置生成部は、前記撮像された生体の眼における瞳孔の重心位置を生成し、
    前記集計処理部は、前記瞳孔の重心位置から視線方向を判定する
    請求項１０記載の画像センサ。
  13. 前記まばたきの実施の態様および前記視線方向に応じて操作入力を受け付けるインターフェースをさらに具備する請求項１２記載の画像センサ。
  14. 前記集計処理部は、前記まばたきの実施が検出されると前記瞳孔の検出を再度行うよう前記二値化処理部を制御する請求項１０記載の画像センサ。
  15. 前記集計処理部は、前記対象物の速度を計測し、前記対象物の速度が所定の条件を満たさない場合には異常を検知する請求項５記載の画像センサ。
  16. 前記集計処理部は、前記対象物の振動量を計測し、前記対象物の振動量が所定の条件を満たさない場合には異常を検知する請求項５記載の画像センサ。
  17. 前記集計処理部は、前記対象物の回転量を計測し、前記対象物の回転量が所定の条件を満たさない場合には異常を検知する請求項５記載の画像センサ。
JP2016237178A 2016-12-07 2016-12-07 画像センサ Pending JP2018092495A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016237178A JP2018092495A (ja) 2016-12-07 2016-12-07 画像センサ
US16/337,148 US10904429B2 (en) 2016-12-07 2017-10-19 Image sensor
PCT/JP2017/037869 WO2018105248A1 (ja) 2016-12-07 2017-10-19 画像センサ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016237178A JP2018092495A (ja) 2016-12-07 2016-12-07 画像センサ

Publications (1)

Publication Number Publication Date
JP2018092495A true JP2018092495A (ja) 2018-06-14

Family

ID=62490938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016237178A Pending JP2018092495A (ja) 2016-12-07 2016-12-07 画像センサ

Country Status (3)

Country Link
US (1) US10904429B2 (ja)
JP (1) JP2018092495A (ja)
WO (1) WO2018105248A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019218771A (ja) * 2018-06-21 2019-12-26 関西電力株式会社 監視システム
JP2021096180A (ja) * 2019-12-18 2021-06-24 日本ユニシス株式会社 動物の***検査装置及び***検査方法
JP2022554119A (ja) * 2020-01-23 2022-12-28 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 内視鏡画像処理方法、装置、電子機器及びコンピュータプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230135867A1 (en) * 2021-10-29 2023-05-04 Honeywell International Inc. System and method for vision based graphical fluid flow anomaly detection for display verification

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07129781A (ja) 1993-11-05 1995-05-19 Ken Ishihara 時系列画像情報抽出装置および方法
JP3644668B2 (ja) 1999-09-03 2005-05-11 三菱電機株式会社 画像監視装置
JP4906588B2 (ja) 2007-05-18 2012-03-28 日本放送協会 特定動作判定装置、リファレンスデータ生成装置、特定動作判定プログラム及びリファレンスデータ生成プログラム
RU2484531C2 (ru) * 2009-01-22 2013-06-10 Государственное научное учреждение центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики (ЦНИИ РТК) Устройство обработки видеоинформации системы охранной сигнализации
JP2012238293A (ja) 2011-04-28 2012-12-06 Nextedge Technology Inc 入力装置
JP5747695B2 (ja) 2011-07-07 2015-07-15 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2013169296A (ja) * 2012-02-20 2013-09-02 Canon Inc 画像処理装置及び画像処理方法
JP6334925B2 (ja) * 2013-01-18 2018-05-30 キヤノンメディカルシステムズ株式会社 動作情報処理装置及び方法
US20160140390A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Liveness detection using progressive eyelid tracking
WO2016195066A1 (ja) * 2015-06-05 2016-12-08 聖 星野 眼球の運動を検出する方法、そのプログラム、そのプログラムの記憶媒体、及び、眼球の運動を検出する装置
US9830708B1 (en) * 2015-10-15 2017-11-28 Snap Inc. Image segmentation of a video stream
EP3474534B1 (en) * 2016-06-17 2023-12-20 Sony Group Corporation Image processing apparatus, imaging apparatus, and image processing system
JP7058010B2 (ja) * 2016-09-08 2022-04-21 ソニーグループ株式会社 演算装置およびセンサー

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019218771A (ja) * 2018-06-21 2019-12-26 関西電力株式会社 監視システム
JP7023803B2 (ja) 2018-06-21 2022-02-22 関西電力株式会社 監視システム
JP2021096180A (ja) * 2019-12-18 2021-06-24 日本ユニシス株式会社 動物の***検査装置及び***検査方法
JP2022554119A (ja) * 2020-01-23 2022-12-28 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 内視鏡画像処理方法、装置、電子機器及びコンピュータプログラム

Also Published As

Publication number Publication date
US10904429B2 (en) 2021-01-26
WO2018105248A1 (ja) 2018-06-14
US20190289202A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
WO2018105248A1 (ja) 画像センサ
US10535160B2 (en) Markerless augmented reality (AR) system
JP2018026108A (ja) 物体追跡方法、物体追跡装置およびプログラム
US20190026948A1 (en) Markerless augmented reality (ar) system
CN107748890A (zh) 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN104969261B (zh) 用于检测移动物体的方法和***
JP2012053756A (ja) 画像処理装置及び画像処理方法
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
WO2012091144A4 (en) Information processing apparatus and method
CN106709452B (zh) 一种基于智能巡检机器人的仪表位置检测方法
JP2013065103A (ja) 追跡装置、追跡方法およびプログラム
JPWO2018154709A1 (ja) 動作学習装置、技能判別装置および技能判別システム
CN107610086A (zh) 一种基于仿生复眼结构的工业并联机器人快速视觉检测算法
JP2017182785A (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
CN108582075A (zh) 一种智能机器人视觉自动化抓取***
JP2016014954A (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
CN110832542A (zh) 识别处理设备、识别处理方法和程序
WO2020212776A1 (en) Creating training data variability in machine learning for object labelling from images
JP2014170368A (ja) 画像処理装置、方法及びプログラム並びに移動体
JP6103765B2 (ja) 行動認識装置、方法及びプログラム並びに認識器構築装置
JP2020109644A (ja) 転倒検出方法、転倒検出装置及び電子機器
Guan et al. A video-based fall detection network by spatio-temporal joint-point model on edge devices
US11501577B2 (en) Information processing apparatus, information processing method, and storage medium for determining a contact between objects
JP2013137591A (ja) 最近傍点探索装置およびその方法、プログラム、３次元位置・姿勢認識装置およびその方法
CN105046637B (zh) 基于 OmapL138芯片的光流跟踪实现方法