JP6246441B1 - 画像解析システム、画像解析方法、およびプログラム - Google Patents

画像解析システム、画像解析方法、およびプログラム Download PDF

Info

Publication number
JP6246441B1
JP6246441B1 JP2017545425A JP2017545425A JP6246441B1 JP 6246441 B1 JP6246441 B1 JP 6246441B1 JP 2017545425 A JP2017545425 A JP 2017545425A JP 2017545425 A JP2017545425 A JP 2017545425A JP 6246441 B1 JP6246441 B1 JP 6246441B1
Authority
JP
Japan
Prior art keywords
image
past
image analysis
camera
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017545425A
Other languages
English (en)
Other versions
JPWO2018078862A1 (ja
Inventor
俊二 菅谷
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Application granted granted Critical
Publication of JP6246441B1 publication Critical patent/JP6246441B1/ja
Publication of JPWO2018078862A1 publication Critical patent/JPWO2018078862A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 カメラで撮像した画像を解析する画像解析システムにおいて、画像解析における被写体の検出および識別精度を向上させる。【解決手段】 過去に画像解析を行った過去画像と、過去画像撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットを複数記憶しておき、撮像した画像を取得する取得モジュール２１１と、撮像画像と類似する過去画像を抽出する類似画像抽出モジュール２１２とを備え、抽出された過去画像の撮像環境データセットを取得した撮像画像に適用して画像解析を行う。【選択図】図１

Description

本発明は、カメラで撮像した画像を解析する画像解析システムにおいて、画像解析における被写体の検出および識別精度を向上させる画像解析システム、画像解析方法、およびプログラムに関する。
画像撮影装置には、過去に撮影された記録画像と同じ内容の撮影設定情報を使用して今回の画像撮影をできるようにするものがある（特許文献１）。
特開２００９−２２５０９７号公報
しかしながら、特許文献１の装置では、今回の撮影前に記録画像と同じ内容の撮影設定情報を適用する必要があり、既に撮像された画像に対して、適切な画像処理を行うことはできない。近年では、無人航空機に搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ等で撮像した、様々なものが映っている大量の画像を画像解析するニーズが生じており、そのような場合には、撮像前の設定が必要な特許文献１の手法は適さない。また、画像解析を行う際には、撮像時の環境を使用することで、より被写体の検出や識別の精度を向上できると期待される。
本発明では、これらの課題に鑑み、カメラで撮像した画像を解析する画像解析システムにおいて、画像解析における被写体の検出および識別精度を向上させる画像解析システム、画像解析方法、およびプログラムを提供することを目的とする。
本発明では、以下のような解決手段を提供する。
第１の特徴に係る発明は、
過去に画像解析を行った過去画像と、当該過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットと、を対応付けて複数記憶する過去画像記憶手段と、
撮像した画像を取得する取得手段と、
記憶した前記過去画像の中から、前記取得した画像と類似する過去画像を抽出する類似画像抽出手段と、
前記取得した画像の画像解析を行う際に、前記抽出した過去画像を画像解析した際の撮像環境データセットを適用して画像解析を行う画像解析手段と、を備えることを特徴とする画像解析システムを提供する。
第１の特徴に係る発明によれば、画像解析システムにおいて、過去に画像解析を行った過去画像と、当該過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットと、を対応付けて複数記憶する過去画像記憶手段と、撮像した画像を取得する取得手段と、記憶した前記過去画像の中から、前記取得した画像と類似する過去画像を抽出する類似画像抽出手段と、前記取得した画像の画像解析を行う際に、前記抽出した過去画像を画像解析した際の撮像環境データセットを適用して画像解析を行う画像解析手段と、を備える。
第１の特徴に係る発明は、画像解析システムのカテゴリであるが、画像解析方法、およびプログラムであっても同様の作用、効果を奏する。
第２の特徴に係る発明は、第１の特徴に係る発明である画像解析システムであって、
前記過去画像記憶手段は、前記取得した画像と、前記画像解析手段で適用された撮像環境データセットと、を対応付けて新たに記憶することを特徴とする画像解析システムを提供する。
第２の特徴に係る発明によれば、第１の特徴に係る発明である画像解析システムにおいて、前記過去画像記憶手段は、前記取得した画像と、前記画像解析手段で適用された撮像環境データセットと、を対応付けて新たに記憶する。
第３の特徴に係る発明は、第１の特徴または第２の特徴に係る発明である画像解析システムであって、
前記過去画像記憶手段で記憶された複数の過去画像は、３６０度撮像によって撮像された画像であることを特徴とする画像解析システムを提供する。
第３の特徴に係る発明によれば、第１の特徴または第２の特徴に係る発明である画像解析システムにおいて、前記過去画像記憶手段で記憶された複数の過去画像は、３６０度撮像によって撮像された画像である。
第４の特徴に係る発明は、
過去に画像解析を行った過去画像と、当該過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットと、を対応付けて複数記憶するステップと、
撮像した画像を取得するステップと、
記憶した前記過去画像の中から、前記取得した画像と類似する過去画像を抽出するステップと、
前記取得した画像の画像解析を行う際に、前記抽出した過去画像を画像解析した際の撮像環境データセットを適用して画像解析を行うステップと、を備えることを特徴とする画像解析方法を提供する。
第５の特徴に係る発明は、コンピュータシステムに、
過去に画像解析を行った過去画像と、当該過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットと、を対応付けて複数記憶するステップ、
撮像した画像を取得するステップ、
記憶した前記過去画像の中から、前記取得した画像と類似する過去画像を抽出するステップ、
前記取得した画像の画像解析を行う際に、前記抽出した過去画像を画像解析した際の撮像環境データセットを適用して画像解析を行うステップ、を実行させるためのプログラムを提供する。
本発明によれば、カメラで撮像した画像を解析する画像解析システムにおいて、画像解析における被写体の検出および識別精度を向上させる画像解析システム、画像解析方法、およびプログラムを提供することが可能となる。
図１は、本発明の好適な実施形態の概要図である。 図２は、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。 図３は、カメラ１００での撮像画像をコンピュータ２００で画像解析処理を行う場合のフローチャート図である。 図４は、画像解析処理に使用した撮像画像と環境データセットを新たに記憶させる場合のフローチャート図である。 図５は、カメラ１００で被写体４００を撮像した場合の一例を示す図である。 図６は、撮像環境データセットのデータ構造の一例を示す表である。 図７は、画像解析処理に使用した撮像画像と環境データセットを新たに記憶させた場合の撮像環境データセットのデータ構造の一例を示す表である。 図８は、カメラ１００の撮像角度を取得する方法を模式的に説明するための図である。
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
［画像解析システムの概要］
図１は、本発明の好適な実施形態の概要図である。この図１に基づいて、本発明の概要を説明する。画像解析システムは、カメラ１００、コンピュータ２００、通信網３００から構成される。
なお、図１において、カメラ１００の数は１つに限らず複数であってもよい。また、コンピュータ２００は、実在する装置に限らず、仮想的な装置であってもよい。
カメラ１００は、図２に示すように、撮像部１０、制御部１１０、通信部１２０から構成される。また、コンピュータ２００は、同じく図２に示すように、制御部２１０、通信部２２０、記憶部２３０、入出力部２４０、から構成される。制御部２１０は通信部２２０と協働して取得モジュール２１１を実現する。また、制御部２１０は記憶部２３０と協働して類似画像抽出モジュール２１２、画像解析モジュール２１３を実現する。また、記憶部２３０は、制御部２１０と協働して過去画像記憶モジュール２３１を実現する。通信網３００は、インターネット等の公衆通信網でも専用通信網でも良く、カメラ１００とコンピュータ２００間の通信を可能とする。
カメラ１００は、コンピュータ２００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備え、被写体までの距離を測定可能な、または、被写体を複数の異なる方向から同時に撮像可能な撮像装置である。ここでは、例としてＷＥＢカメラを図示しているが、デジタルカメラ、デジタルビデオカメラ、無人航空機に搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ、車載カメラ、３６０度カメラ等の必要な機能を備える撮像装置であってよい。
コンピュータ２００は、カメラ１００とデータ通信可能な計算装置である。ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。
図１の画像解析システムにおいて、コンピュータ２００は、過去画像記憶データベースを備える。過去画像記憶データベースには、過去に画像解析を行った過去画像と、その過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットとを対応付けて記憶する。ここで撮像環境データセットとは、撮像時のカメラの水平方向からの角度、被写体の種類、被写体までの距離、照度、場所、天候、等の撮像時の環境データをセットとしたものである。コンピュータ２００の過去画像記憶モジュール２３１は、あらかじめ複数の過去画像とその撮像環境データセットを、過去画像記憶データベースに記憶しておくものとする。
カメラ１００の撮像部１０は、対象物である被写体の動画又は静止画等の画像を撮像する（ステップＳ０１）。カメラ１００は、被写体として、人間、動物、風景、物品、農作物、樹木等を撮像する。
コンピュータ２００の取得モジュール２１１は、カメラ１００が撮像した画像を取得する（ステップＳ０２）。
図５は、カメラ１００で被写体４００を撮像した場合の一例を示す図である。ここでは、カメラ１００と通信網３００で接続されたコンピュータ２００の取得モジュール２１１が、２０１６年８月８日の０９：１０：１１に撮像したＩｍａｇｅＸという撮像画像を取得したことを示している。
コンピュータ２００の類似画像抽出モジュール２１２は、ステップＳ０２で取得した撮像画像と、過去画像記憶データベースに登録済の過去画像とを比較して、類似画像を抽出する（ステップＳ０３）。
図６は、撮像環境データセットのデータ構造の一例を示す表である。ここでは、撮像環境データセットとあわせて、撮像画像を記憶済みであるとする。「Ｓｅｔ１」の撮像画像が「ＩｍａｇｅＡ」、「Ｓｅｔ２」の撮像画像が「ＩｍａｇｅＢ」、「Ｓｅｔ３」の撮像画像が「ＩｍａｇｅＣ」、「Ｓｅｔ４」の撮像画像が「ＩｍａｇｅＤ」である。「ＩｍａｇｅＡ」から「ＩｍａｇｅＤ」の撮像画像がどんなものであるか、図６にあわせて概要を示す。ステップＳ０２で取得した撮像画像が、前述の図５の被写体４００である場合、これと類似した過去画像は、「Ｓｅｔ４」の「ＩｍａｇｅＤ」であるため、ステップＳ０３では「ＩｍａｇｅＤ」を類似画像として抽出する。
最後に、コンピュータ２００の画像解析モジュール２１３は画像解析を行う（ステップＳ０４）。ここで、「ＩｍａｇｅＸ」の画像解析を行う際に、「Ｓｅｔ４」の撮像環境データセットである「撮像時のカメラの水平方向からの角度が３０度、被写体の種類が植物、被写体までの距離が８メートル、照度が２４０ルクス、場所が屋外、天候が晴れ」を利用する。「ＩｍａｇｅＸ」と類似の「ＩｍａｇｅＤ」の撮像環境データセットである「Ｓｅｔ４」を使用して画像解析を行うことで、例えば、「Ｓｅｔ１」の「撮像時のカメラの水平方向からの角度が１０度、被写体の種類が人間、被写体までの距離が３メートル、照度が１００ルクス、場所が屋外、天候が曇り」の環境データセットを使用して画像解析を行う場合より、短時間で識別精度の良い結果を得ることが可能である。
ここでの画像解析は、例えば、個人判定用の顔認識、農作物の害虫被害状況の判別、倉庫内の在庫確認、医療診断用の患部画像認識、等、個々の目的に応じた適切なものであるとする。また、画像解析パラメータも、前述の目的に応じて、例えば、フィルタ処理を行う範囲、フィルタ処理の強度、二値化の閾値、画像処理の順番、等、適切なものであるとする。
以上のように、本発明によれば、カメラで撮像した画像を解析する画像解析システムにおいて、画像解析における被写体の検出および識別精度を向上させる画像解析システム、画像解析方法、およびプログラムを提供することが可能となる。
［各機能の説明］
図２は、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。カメラ１００は、撮像部１０、制御部１１０、通信部１２０から構成される。また、コンピュータ２００は、制御部２１０、通信部２２０、記憶部２３０、入出力部２４０、から構成される。制御部２１０は通信部２２０と協働して取得モジュール２１１を実現する。また、制御部２１０は記憶部２３０と協働して類似画像抽出モジュール２１２、画像解析モジュール２１３を実現する。また、記憶部２３０は、制御部２１０と協働して過去画像記憶モジュール２３１を実現する。通信網３００は、インターネット等の公衆通信網でも専用通信網でも良く、カメラ１００とコンピュータ２００間の通信を可能とする。
カメラ１００は、コンピュータ２００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備え、被写体までの距離を測定可能な、または、被写体を複数の異なる方向から同時に撮像可能な撮像装置である。ここでは、例としてＷＥＢカメラを図示しているが、デジタルカメラ、デジタルビデオカメラ、無人航空機に搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ、車載カメラ、３６０度カメラ等の必要な機能を備える撮像装置であってよい。
カメラ１００は、撮像部１０として、レンズ、撮像素子、各種ボタン、フラッシュ等の撮像デバイス等を備え、動画や静止画等の撮像画像として撮像する。また、撮像して得られる画像は、画像解析に必要なだけの情報量を持った精密な画像であるものとし、画素数や画質を指定可能であるものとする。
制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。
通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイス又は第３世代、第４世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。
コンピュータ２００は、カメラ１００とデータ通信可能な計算装置である。ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。
制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。制御部２１０は通信部２２０と協働して取得モジュール２１１を実現する。また、制御部２１０は記憶部２３０と協働して類似画像抽出モジュール２１２、画像解析モジュール２１３を実現する。
通信部２２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイス又は第３世代、第４世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。
記憶部２３０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像画像や、類似画像抽出結果、抽出した類似画像と撮像環境データセット、画像解析結果等の処理に必要なデータ等を記憶する。また、記憶部２３０は、制御部２１０と協働して過去画像記憶モジュール２３１を実現する。記憶部２３０に、過去画像記憶データベースを備えても良い。
入出力部２４０は、画像解析システムを利用するために必要な機能を備えるものとする。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。また、出力を実現するための例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の表示と音声出力等の形態が考えられる。入出力方法により、本発明は特に機能を限定されるものではない。
［画像解析処理］
図３は、カメラ１００での撮像画像をコンピュータ２００で画像解析処理を行う場合のフローチャート図である。上述した各モジュールが実行する処理について、本処理にあわせて説明する。
はじめに、コンピュータ２００の過去画像記憶モジュール２３１は、記憶部２３０に過去に画像解析を行った過去画像と、その過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットとを対応付けて複数記憶する（ステップＳ３０１）。記憶部２３０に過去画像記憶データベースを備え、データベースに記憶することとしてもよい。ここで、撮像環境データセットとは、撮像時のカメラの水平方向からの角度、被写体の種類、被写体までの距離、照度、場所、天候、等の撮像時の環境データをセットとしたものである。ここであらかじめ、複数の過去画像とその撮像環境データセットを、過去画像記憶データベースに記憶しておくものとする。過去画像とあわせて、画像解析を行った際の結果や、画像解析のパラメータを記憶させても良い。なお、既に複数の過去画像とその撮像環境データセットが記憶されている場合には、この処理はスキップしてよいものとする。
次に、カメラ１００の撮像部１０は、対象物である被写体の動画又は静止画等の画像を撮像する（ステップＳ３０２）。カメラ１００は、被写体として、人間、動物、風景、物品、農作物、樹木等を撮像する。撮像の指示は、コンピュータ２００から行っても良い。
コンピュータ２００の取得モジュール２１１は、カメラ１００が撮像した画像を取得する（ステップＳ３０３）。
図５は、カメラ１００で被写体４００を撮像した場合の一例を示す図である。ここでは、カメラ１００と通信網３００で接続されたコンピュータ２００の取得モジュール２１１が、２０１６年８月８日の０９：１０：１１に撮像したＩｍａｇｅＸという撮像画像を取得したことを示している。
コンピュータ２００の類似画像抽出モジュール２１２は、ステップＳ３０３で取得した撮像画像と、過去画像記憶データベースに登録済の過去画像とを比較して、類似画像を抽出する（ステップＳ３０４）。
図６は、撮像環境データセットのデータ構造の一例を示す表である。ここでは、撮像環境データセットとあわせて、撮像画像を記憶済みであるとする。「Ｓｅｔ１」の撮像画像が「ＩｍａｇｅＡ」、「Ｓｅｔ２」の撮像画像が「ＩｍａｇｅＢ」、「Ｓｅｔ３」の撮像画像が「ＩｍａｇｅＣ」、「Ｓｅｔ４」の撮像画像が「ＩｍａｇｅＤ」である。「ＩｍａｇｅＡ」から「ＩｍａｇｅＤ」の撮像画像がどんなものであるか、図６にあわせて概要を示す。ステップＳ３０３で取得した撮像画像が、前述の図５の被写体４００である場合、これと類似した過去画像は、「Ｓｅｔ４」の「ＩｍａｇｅＤ」であるため、ステップＳ３０４では「ＩｍａｇｅＤ」を類似画像として抽出する。
最後に、コンピュータ２００の画像解析モジュール２１３は画像解析を行う（ステップＳ３０５）。ここで、「ＩｍａｇｅＸ」の画像解析を行う際に、「Ｓｅｔ４」の撮像環境データセットである「撮像時のカメラの水平方向からの角度が３０度、被写体の種類が植物、被写体までの距離が８メートル、照度が２４０ルクス、場所が屋外、天候が晴れ」を利用する。「ＩｍａｇｅＸ」と類似の「ＩｍａｇｅＤ」の撮像環境データセットである「Ｓｅｔ４」を使用して画像解析を行うことで、例えば、「Ｓｅｔ１」の「撮像時のカメラの水平方向からの角度が１０度、被写体の種類が人間、被写体までの距離が３メートル、照度が１００ルクス、場所が屋外、天候が曇り」の環境データセットを使用して画像解析を行う場合より、短時間で識別精度の良い結果を得ることが可能である。
ここでの画像解析は、例えば、個人判定用の顔認識、農作物の害虫被害状況の判別、倉庫内の在庫確認、医療診断用の患部画像認識、等、個々の目的に応じた適切なものであるとする。また、画像解析パラメータも、前述の目的に応じて、例えば、フィルタ処理を行う範囲、フィルタ処理の強度、二値化の閾値、画像処理の順番、等、適切なものであるとする。
以上のように、本発明によれば、カメラで撮像した画像を解析する画像解析システムにおいて、画像解析における被写体の検出および識別精度を向上させる画像解析システム、画像解析方法、およびプログラムを提供することが可能となる。
［撮像環境データセット追加記憶処理］
図４は、画像解析処理に使用した撮像画像と環境データセットを新たに記憶させる場合のフローチャート図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。図４のステップＳ４０１からステップＳ４０５の処理は、図３のステップＳ３０１からステップＳ３０５の処理に相当するため、ステップＳ４０６以降について説明する。
過去画像記憶モジュール２３１は、ステップＳ４０５での画像解析後、「Ｓｅｔ４」の撮像環境データセットを使用した画像解析結果が、良好であったかどうかを確認する（ステップＳ４０６）。
ステップＳ４０５の画像解析結果が良好であった場合には、過去画像記憶モジュール２３１は、ステップＳ４０３で取得した撮像画像を「Ｓｅｔ４」の撮像環境データセットと併せて新たな撮像画像と撮像環境データセットとして記憶する（ステップＳ４０７）。
図７は、画像解析処理に使用した撮像画像と環境データセットを新たに記憶させた場合の撮像環境データセットのデータ構造の一例を示す表である。図６の状態から、新たに「Ｓｅｔ５」として、撮像画像である「ＩｍａｇｅＸ」と併せて「撮像時のカメラの水平方向からの角度が３０度、被写体の種類が植物、被写体までの距離が８メートル、照度が２４０ルクス、場所が屋外、天候が晴れ」の環境データセットを追加して記憶させている。これにより、次回撮像時から「Ｓｅｔ５」の撮像環境データセットも利用可能となる。
ステップＳ４０５の画像解析結果が良好でなかった場合には、過去画像記憶モジュール２３１はなにも行わず処理を終了する。
ステップＳ４０５において、画像解析結果が良好であったかどうかとは、個人判定用の顔認識、農作物の害虫被害状況の判別、倉庫内の在庫確認、医療診断用の患部画像認識、等、個々の画像解析の目的に応じて閾値等を用いて自動で判断しても良いし、人間が判断してもよい。
以上のように、本発明によれば、カメラで撮像した画像を解析する画像解析システムにおいて、良好な画像解析結果を得た撮像画像と撮像環境データセットを新たに登録することで、画像解析における被写体の検出および識別精度をより一層向上させる画像解析システム、画像解析方法、およびプログラムを提供することが可能となる。
［撮像角度取得処理］
本発明でのカメラ１００は、被写体までの距離を測定可能、または、被写体を複数の異なる方向から同時に撮像可能な撮像装置である。被写体までの距離を測定する方法については、カメラ１００のセンサ等から取得する他に、被写体を複数の異なる方向から同時に撮像可能である場合には、その複数のカメラそれぞれで撮像した画像のズレの長さと、実際の距離を学習させて、距離を測定することも可能である。また、その測定した距離を用いて、撮像角度を算出することも可能である。複数のカメラから距離を測定する方法については、既存技術として知られているため、ここでは、図８に基づいて、撮像角度を取得する方法について説明する。
図８は、カメラ１００の撮像角度を取得する方法を模式的に説明するための図である。図８において、カメラ１００は、被写体４００と、壁８１０と、床８２０を撮像した状態である。カメラ１００またはコンピュータ２００が、撮像画像を画像解析し、撮像角度を取得する場合、撮像画像中に存在する同じパターン（模様）面積が、最大の領域を床又は地面等の平面と認識し、平面の傾きから自身の撮像角度を取得する。ここでは、床８２０が平面に該当する。
カメラ１００の撮像角度を取得する方法は、カメラ１００またはコンピュータ２００のいずれで行っても良いが、以下では簡略化のために、コンピュータ２００で行うものとして記載する。コンピュータ２００は、撮像位置から床８２０までの２か所の所定位置８３０，８３１をサンプルとして抽出する。この所定位置８３０，８３１と、撮像地点の中心位置８３２とを結んだ三角形８３３を形成する。三角形８３３は、辺８４０、辺８４１、辺８４２の３辺により形成される。コンピュータ２００は、中心位置８３２から床８２０へ垂線８５０を形成し、辺８４２と垂線８５０の交点８３４を形成する。コンピュータ２００は、複数のカメラで撮像した画像のずれの長さと実際の距離を学習させ、距離を推定することにより辺８４０，８４１及び垂線８５０の長さを算出する。コンピュータ２００は、辺８４２において、所定位置８３０と交点８３４とを結ぶ線分８６０と、所定位置８３１と交点８３４とを結ぶ線分８６１との長さを算出する。コンピュータ２００は、三角関数により、角度８７０を算出し、この算出した角度８７０を自身の３次元の撮像角度として取得する。
以上のように、本発明によれば、カメラに被写体までの距離を測定する機能が無い場合にも、被写体を複数の異なる方向から同時に撮像する機能を利用することにより、被写体までの距離を算出するとともに、撮像時の水平方向からの角度を算出することが可能である。
上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態であってもよいし、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）、コンパクトメモリ等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
１００ カメラ、２００ コンピュータ、３００ 通信網、４００ 被写体

Claims (5)

  1. 過去に画像解析を行った過去画像と、当該過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットと、を対応付けて複数記憶する過去画像記憶手段と、
    撮像した画像を取得する取得手段と、
    記憶した前記過去画像の中から、前記取得した画像と類似する過去画像を抽出する類似画像抽出手段と、
    前記取得した画像の画像解析を行う際に、前記抽出した過去画像を画像解析した際の撮像環境データセットを適用して画像解析を行う画像解析手段と、を備えることを特徴とする画像解析システム。
  2. 前記過去画像記憶手段は、前記取得した画像と、前記画像解析手段で適用された撮像環境データセットと、を対応付けて新たに記憶することを特徴とする請求項１に記載の画像解析システム。
  3. 前記過去画像記憶手段で記憶された複数の過去画像は、３６０度撮像によって撮像された画像であることを特徴とする請求項１または請求項２に記載の画像解析システム。
  4. 過去に画像解析を行った過去画像と、当該過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットと、を対応付けて複数記憶するステップと、
    撮像した画像を取得するステップと、
    記憶した前記過去画像の中から、前記取得した画像と類似する過去画像を抽出するステップと、
    前記取得した画像の画像解析を行う際に、前記抽出した過去画像を画像解析した際の撮像環境データセットを適用して画像解析を行うステップと、を備えることを特徴とする画像解析方法。
  5. コンピュータシステムに、
    過去に画像解析を行った過去画像と、当該過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットと、を対応付けて複数記憶するステップ、
    撮像した画像を取得するステップ、
    記憶した前記過去画像の中から、前記取得した画像と類似する過去画像を抽出するステップ、
    前記取得した画像の画像解析を行う際に、前記抽出した過去画像を画像解析した際の撮像環境データセットを適用して画像解析を行うステップ、を実行させるためのプログラム。
JP2017545425A 2016-10-31 2016-10-31 画像解析システム、画像解析方法、およびプログラム Active JP6246441B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/082297 WO2018078862A1 (ja) 2016-10-31 2016-10-31 画像解析システム、画像解析方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP6246441B1 true JP6246441B1 (ja) 2017-12-13
JPWO2018078862A1 JPWO2018078862A1 (ja) 2018-11-01

Family

ID=60659052

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017545425A Active JP6246441B1 (ja) 2016-10-31 2016-10-31 画像解析システム、画像解析方法、およびプログラム

Country Status (3)

Country Link
US (1) US10535154B2 (ja)
JP (1) JP6246441B1 (ja)
WO (1) WO2018078862A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019229789A1 (ja) * 2018-05-28 2019-12-05 株式会社オプティム 学習済モデル提案システム、学習済モデル提案方法、およびプログラム
JP7205332B2 (ja) * 2019-03-20 2023-01-17 株式会社リコー 診断処理装置、診断システム、診断処理方法、及びプログラム
CN114520861A (zh) * 2022-01-21 2022-05-20 中冶赛迪重庆信息技术有限公司 一种图像采集分析***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000306095A (ja) * 1999-04-16 2000-11-02 Fujitsu Ltd 画像照合・検索システム
JP2011192093A (ja) * 2010-03-15 2011-09-29 Omron Corp 照合装置、デジタル画像処理システム、照合装置制御プログラム、コンピュータ読み取り可能な記録媒体、および照合装置の制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5019228B2 (ja) 2008-03-17 2012-09-05 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 画像撮影装置及びプログラム
KR101977703B1 (ko) * 2012-08-17 2019-05-13 삼성전자 주식회사 단말의 촬영 제어 방법 및 그 단말
US9407815B2 (en) * 2014-11-17 2016-08-02 International Business Machines Corporation Location aware photograph recommendation notification
EP3113523B1 (en) * 2015-07-02 2018-10-31 Nokia Technologies Oy A video region indicator that indicates that video content is available
US10230866B1 (en) * 2015-09-30 2019-03-12 Amazon Technologies, Inc. Video ingestion and clip creation
US10296525B2 (en) * 2016-04-15 2019-05-21 Google Llc Providing geographic locations related to user interests

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000306095A (ja) * 1999-04-16 2000-11-02 Fujitsu Ltd 画像照合・検索システム
JP2011192093A (ja) * 2010-03-15 2011-09-29 Omron Corp 照合装置、デジタル画像処理システム、照合装置制御プログラム、コンピュータ読み取り可能な記録媒体、および照合装置の制御方法

Also Published As

Publication number Publication date
JPWO2018078862A1 (ja) 2018-11-01
US20180350092A1 (en) 2018-12-06
US10535154B2 (en) 2020-01-14
WO2018078862A1 (ja) 2018-05-03

Similar Documents

Publication Publication Date Title
WO2020224479A1 (zh) 目标的位置获取方法、装置、计算机设备及存储介质
CN111445583B (zh) 增强现实处理方法及装置、存储介质和电子设备
JP6404527B1 (ja) カメラ制御システム、カメラ制御方法、およびプログラム
CN112927363B (zh) 体素地图构建方法及装置、计算机可读介质和电子设备
CN111784765B (zh) 物体测量、虚拟对象处理方法及装置、介质和电子设备
JP6474946B1 (ja) 画像解析結果提供システム、画像解析結果提供方法、およびプログラム
WO2021136386A1 (zh) 数据处理方法、终端和服务器
US20140218291A1 (en) Aligning virtual camera with real camera
WO2023093897A1 (zh) 图像处理方法、装置、电子设备及存储介质
JP6246441B1 (ja) 画像解析システム、画像解析方法、およびプログラム
KR20200101741A (ko) 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법
CN110062157B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
US10645297B2 (en) System, method, and program for adjusting angle of camera
KR101176743B1 (ko) 객체 인식 장치 및 방법과 이를 이용한 정보 컨텐츠 제공 장치 및 정보 컨텐츠 관리 서버
CN111832579A (zh) 地图兴趣点数据处理方法、装置、电子设备以及可读介质
CN111126159A (zh) 用于实时跟踪行人的方法、装置、电子设备和介质
CN109816628A (zh) 人脸评价方法及相关产品
CN110222576B (zh) 拳击动作识别方法、装置和电子设备
CN117201931A (zh) 摄像机参数采集方法、装置、计算机设备和存储介质
CN105683959A (zh) 信息处理设备、信息处理方法及信息处理***
US20170193668A1 (en) Intelligent Equipment-Based Motion Sensing Control Method, Electronic Device and Intelligent Equipment
JP2008276613A (ja) 移動体判定装置、コンピュータプログラム及び移動体判定方法
JP2018066687A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP6246440B1 (ja) 画像解析システム、画像解析方法、およびプログラム
JP6404525B2 (ja) 全天球カメラ撮像画像表示システム、全天球カメラ撮像画像表示方法及びプログラム

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171114

R150 Certificate of patent or registration of utility model

Ref document number: 6246441

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250