JP2021071907A - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2021071907A JP2021071907A JP2019198017A JP2019198017A JP2021071907A JP 2021071907 A JP2021071907 A JP 2021071907A JP 2019198017 A JP2019198017 A JP 2019198017A JP 2019198017 A JP2019198017 A JP 2019198017A JP 2021071907 A JP2021071907 A JP 2021071907A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- images
- specific objects
- less
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】 認識対象である特定の物体の計数結果に認識対象ではない物体が含まれてしまうことの抑制を目的としている。【解決手段】 推定手段は、撮像手段により撮像された画像に対し設定された複数の領域の各々に含まれる特定物体の数を推定する推定処理を実行する。判定手段は、撮像手段により撮像された複数の画像の各々に対する推定処理の結果に基づき、複数の領域の各々について、複数の画像における特定物体の数の変化の度合いが第1閾値未満かを判定する。設定手段は、判定手段により変化の度合いが第1閾値未満であると判定された領域を計数結果に含めない対象外領域として設定する。【選択図】 図3
Description
本発明は、画像処理技術に関する。
近年、撮像装置で所定の領域を撮像し、撮像した画像を解析することによって画像中の人物を計数するシステムが提案されている。このようなシステムは、公共の空間での混雑の検知及び混雑時の人の流れを把握することでイベント時の混雑解消や災害時の避難誘導への活用が期待されている。
非特許文献1では、機械学習によって得た認識モデルを用いて、画像の所定の領域に映る人数を直接推定する方法が開示されている。
また、特許文献1では、画像に対し複数の小領域を設定し、機械学習手法に基づいて学習した回帰器を用いて、当該複数の小領域ごとに回帰器を用いて人数を推定する方法が開示されている。
池田浩雄,大網亮磨,宮野博義.CNNを用いた群衆パッチ学習に基づく人数推定の高精度化.FIT,2014
しかしながら、上記の従来技術では、本来認識対象ではない物体を誤って認識対象であると認識してしまい、認識対象である特定の物体の計数結果に当該物体が含まれてしまうことがある。
そこで、本発明は、認識対象である特定の物体の計数結果に認識対象ではない物体が含まれてしまうことの抑制を目的としている。
上記課題を解決するために、本発明の画像処理装置は以下の構成を備える。すなわち、撮像手段により撮像された画像に含まれる特定物体の数を示す計数結果を出力する画像処理装置であって、前記撮像手段により撮像された画像に対し設定された複数の領域の各々に含まれる前記特定物体の数を推定する推定処理を実行する推定手段と、前記撮像手段により撮像された複数の画像の各々に対する前記推定処理の結果に基づき、前記複数の領域の各々について、前記複数の画像における前記特定物体の数の変化の度合いが第1閾値未満かを判定する判定手段と、前記判定手段により前記変化の度合いが前記第1閾値未満であると判定された領域を前記計数結果に含めない対象外領域として設定する設定手段とを有する。
本発明によれば、認識対象である特定の物体の計数結果に認識対象ではない物体が含まれてしまうことを抑制することができる。
以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。
(実施形態1)
図1は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、画像処理装置100、撮像装置110、記録装置120、およびディスプレイ130を有している。
図1は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、画像処理装置100、撮像装置110、記録装置120、およびディスプレイ130を有している。
画像処理装置100、撮像装置110、および記録装置120は、ネットワーク140を介して相互に接続されている。ネットワーク140は、例えばETHERNET(登録商標)等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。
なお、ネットワーク140は、インターネットや有線LAN(Local Area Network)、無線LAN(Wireless Lan)、WAN(Wide Area Network)等により実現されてもよい。
画像処理装置100は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。撮像装置110は、画像を撮像する装置である。撮像装置110は、撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置110を識別する情報である識別情報とを関連付けて、ネットワーク140を介し、画像処理装置100や記録装置120等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置110は1つとするが、複数であってもよい。
記録装置120は、撮像装置110が撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置110を識別する識別情報とを関連付けて記録する。そして、画像処理装置100からの要求に従って、記録装置120は、記録したデータ(画像、識別情報など)を画像処理装置100へ送信する。
ディスプレイ130は、LCD(Liquid Crystal Display)等により構成されており、画像処理装置100の画像処理の結果や、撮像装置110が撮像した画像などを表示する。ディスプレイ130は、HDMI(登録商標)(High Definition Multimedia Interface)等の通信規格に準拠したディスプレイケーブルを介して画像処理装置100と接続されている。
また、ディスプレイ130は、表示手段として機能し、撮像装置110が撮像した画像や、後述する画像処理による結果等を表示する。なお、ディスプレイ130、画像処理装置100、および記録装置120の少なくともいずれか2つ又は全ては、単一の筐体に設けられてもよい。また、画像処理装置100および撮像装置110は単一の筐体に設けられていてもよい。すなわち、撮像装置110が後述する画像処理装置100の機能および構成を有していてもよい。
なお、画像処理装置100の画像処理の結果や、撮像装置110により撮像された画像は、画像処理装置100にディスプレイケーブルを介して接続されたディスプレイ130に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク140を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。
次に、図2に示す本実施形態に係る画像処理装置100の機能ブロックを参照して、本実施形態に係る画像処理装置100の画像処理について説明する。なお、図2に示す各機能は、本実施形態の場合、図8を参照して後述するROM(Read Only Memory)802とCPU(Central Processing Unit)800とを用いて、次のようにして実現されるものとする。図2に示す各機能は、画像処理装置100のROM802に格納されたコンピュータプログラムを画像処理装置100のCPU800が実行することにより実現される。
通信部200は、図8を参照して後述するI/F(Interface)804によって実現でき、ネットワーク140を介して、撮像装置110や記録装置120と通信を行う。通信部200は、例えば、撮像装置110が撮像した画像の画像データを受信したり、撮像装置110を制御するための制御コマンドを撮像装置110へ送信したりする。なお、制御コマンドは、例えば、撮像装置110に対して画像を撮像するよう指示を行うコマンドなどを含む。
記憶部201は、図8を参照して後述するRAM(Random Access Memory)801やHDD(Hard Disk Drive)803等によって実現でき、画像処理装置100による画像処理に関わる情報やデータを記憶する。例えば、記憶部201は、画像から推定された特定物体の位置に関する情報を記憶する。
出力制御部202は、撮像装置110が撮像した画像、本実施形態に係る画像処理に関する設定を行う設定画面、または、画像処理の結果を示す情報などを外部装置に出力したり、ディスプレイ130に表示させたりする。なお、出力制御部202による情報の出力先である外部装置は、例えば、他の画像処理装置(不図示)や記録装置120を含む。操作受付部203は、キーボードやマウス等の入力装置(不図示)を介して、ユーザが行った操作を受け付ける。
設定部204は、撮像装置110により撮像された画像に対し複数の小領域を設定する。設定部204は、例えば、画像を分割することで複数の小領域を設定する。なお、設定部204は、例えば、操作受付部203が受け付けた小領域を指定するユーザの操作に基づき、画像に対し複数の小領域を設定する。
また、設定部204は、小領域のサイズと検出対象である特定物体のサイズとの比率が略一定となる制約を加えることで、後述する小領域に対する推定処理の精度向上を図ることもできる。設定部204は、例えば、画像上の任意の位置における特定物体のサイズの情報を取得し、小領域における特定物体のサイズの平均値と当該小領域のサイズとの比率が略一定となるよう画像に対し複数の小領域を設定する。
推定部205は、設定部204により設定された画像における複数の小領域の各々に含まれる特定物体の数を推定する推定処理を実行する。本実施形態における推定部205は、ある固定サイズSの小画像を入力とし、その小画像に写っている特定物体の数を出力とする回帰器を用いることで小領域における特定物体の数を推定する。推定部205による特定物体の数を推定する推定処理の詳細な説明については後述する。
判定部206は、撮像された複数の画像の各々に対する推定処理の結果に基づき、設定部204により設定された複数の小領域の各々について、当該複数の画像における特定物体の数の変化の度合いが第1閾値未満かを判定する判定処理を実行する。そして、設定部204は、判定部206により特定物体の数の変化の度合いが第1閾値未満であると判定された領域を計数結果に含めない対象外領域として設定する。
計数部207は、撮像された画像に対し設定された小領域のうち設定部204により設定された対象外領域以外の小領域である対象領域に対し実行された推定処理の結果を合算することで計数結果を取得する。出力制御部202は、対象領域に対する推定処理の結果を合算した計数結果を示す情報を外部装置(ディスプレイ130等)へ出力する。
ここで、図3を参照して本実施形態に係る画像処理について具体的に説明する。なお、以降の説明において認識対象の特定物体を人物として説明するが、人物に限定されるものではない。例えば、認識対象の物体は、道路等を走行している各種車両、工場内のコンベアー上を流れている部品や製品、その他、動物等であってもよい。
図3(a)に示す画像300は、撮像装置110により撮像された画像の一例である。図3(a)に示すように、画像300には複数の人物301、看板302、窓303、および木304などが含まれている。設定部204は、画像300に対して複数の小領域を設定する。図3(b)は、画像300に対し設定部204により設定された複数の小領域を示している。図3(b)に示すように、複数の小領域310が画像300に対し設定されている。
図3(c)は、画像300に対し設定された複数の小領域の各々に対する推定処理の結果を示している。ここで、本実施形態における推定部205による推定処理についてより具体的に説明する。本実施形態における推定部205は、ある固定サイズSの小画像を入力とし、その小画像に映っている特定物体の数を出力とする回帰器(学習済みモデル)を用いることで小領域における特定物体の数を推定する。本実施形態では特定物体を人物としているが、この場合は予め、人物の頭部などの位置が既知である大量の小画像を学習データとして、サポートベクターマシンや深層学習等の既知の機械学習手法に基づいて回帰器を学習しておく。このとき、回帰器の精度向上を図るため、学習データは、小画像のサイズと映っている人物のサイズとの比率がほぼ一定であることが望ましい。推定部205は、複数の小領域の各々について、該小領域の画像を固定サイズSにリサイズしたものを小画像とし、該小画像を回帰器に入力することで「該小領域内の人物の位置」を回帰器からの出力として求める。回帰器からの出力結果の精度を向上させるためには、人物のサイズに応じて画像に対し複数の小領域を設定することが望ましい。つまり設定部204は、小領域のサイズと認識対象である人物のサイズとの比率が、学習データにおける小画像の固定サイズSと当該小画像における人物のサイズとの比率と略一定となるように制約を加えることで、回帰器の出力値の精度向上を図ることができる。
図3(c)に示すように、小領域内に示している数値320は、当該小領域に対する推定部205の推定処理により推定された当該小領域における人物の位置の個数(=人物の数)を示す情報である。なお、推定部205が推定する特定物体の数は必ずしも整数とは限らず、実数を取ることもありえる。推定部205は、実数を四捨五入により整数に丸めて扱ってもよいし、実数のまま扱ってもよい。
なお、出力制御部202は、図3(c)に示すような、複数の小領域と、当該複数の小領域の各々に対する推定処理の結果を示す情報とを画像300に重畳した出力画像を生成し、当該出力画像を外部装置(ディスプレイ130等)に出力してもよい。例えば、出力制御部202は、複数の小領域と、当該複数の小領域の各々に対する推定処理の結果を示す情報とを画像300に重畳することで生成した出力画像をディスプレイ130に表示するようにしてもよい。図3(d)に示す画像330は、画像300が撮像された時刻(撮像時刻)よりも後に撮像された画像を示す。また、本実施形態における設定部204は、画像330に設定された小領域のうち、判定部206の判定処理により複数の画像における人物の数の変化の度合いが第1閾値未満であると判定された小領域を対象外領域として設定する。図3(d)に示す対象外領域321〜323は、設定部204により設定された対象外領域を示している。対象外領域が設定された場合、本実施形態における計数部207は、対象外領域に対する推定処理により推定された人物の数は計数結果に含めず、対象外領域以外の領域である対象領域に対する推定処理により推定された人物の数を計数結果に含める。図3(d)に示す例では、計数部207は、画像に対し設定された複数の小領域のうち対象外領域321〜323以外の小領域に対する推定処理により推定された人物の数を合算した計数結果を取得する。なお、本実施形態における出力制御部202は、図3(d)に示すように、複数の小領域における対象外領域と、対象領域と、対象領域各々に対する推定処理によりされた人物の数を示す情報とを画像330に重畳した出力画像を生成する。またこのとき、出力制御部202は、対象外領域と対象領域とを画像に重畳した出力画像を生成するにあたって、対象外領域の表示態様と対象領域の表示態様とを異ならせてもよい。具体的には、出力制御部202は、例えば、図3(d)に示すように、対象外領域の色と、対象領域の色とを異ならせてもよい。
次に、図4に示すフローを参照して本実施形態における画像処理について更に詳細に説明する。なお、図4(a)に示すフローを実行することで、複数の小領域において対象領域および対象外領域を設定することができる。また、図4(b)に示すフローを実行することで、画像における対象領域に対する推定処理により推定された人物の数を合算した計数結果を出力することができる。なお、図4(a)に示すフローの処理は、例えば、ユーザによる指示に従って、開始又は終了するものとする。そして、図4(b)に示すフローの処理は、図4(a)に示すフロー処理が実行され対象領域および対象外領域が決定されたのちに実行される。なお、図4に示すフローチャートの処理は、画像処理装置100のROM802に格納されたコンピュータプログラムを画像処理装置100のCPU800が実行して実現される図2に示す機能ブロックにより実行されるものとする。
まず、図4(a)に示すフローの処理について説明する。S401にて、通信部200は、撮像装置110により撮像された処理対象の画像を取得する。なお、通信部200は、ネットワーク140を介して撮像装置110や記憶装置120から処理対象の画像を取得してもよいし、画像処理装置100の記憶部201から処理対象の画像を取得してもよい。
次に、S402にて、設定部204は、画像に対して複数の小領域を設定する。このとき、設定部204は、例えば、操作受付部203が受け付けた小領域を指定するユーザの操作に基づき、画像に対し複数の小領域を設定する。
次に、S403にて、推定部205は、設定部204により設定された複数の小領域の各々に対し人物の数を推定する推定処理を実行する。本実施形態における推定部205は、複数の小領域の各々について、固定サイズSにリサイズした小領域の画像を入力とし、その小画像に映っている人物の数を出力とする回帰器を用いることで小領域における人物の数を推定する。
次に、S404にて、記憶部201は、S403にて推定された複数の小領域ごとの推定結果と、現在処理対象とする画像を識別する識別情報とを関連付けて記憶する。図5に示すテーブル550は、S404にて記憶部201により作成および記憶されるテーブルを示す。テーブル550における画像ID500の列には、処理対象とした画像を識別する識別情報が格納される。記憶部201は、S401で通信部200により取得された画像に対し識別情報を付与し画像ID500に当該識別情報を格納する。例えば、記憶部201は、図4(a)に示すフローの処理を開始して最初にS401で取得された画像に対し画像ID500として“1”を付与しテーブル550にその識別情報を格納する。また、記憶部201は、現在処理対象とする画像における複数の小領域に対する推定処理の結果をテーブル550に記憶する。例えば、現在処理対象とする画像が画像ID“1”の画像である場合を想定する。このとき、S404にて、記憶部201は、画像ID500として“1”が付与された現在処理対象とする画像における複数の小領域の各々に対する推定処理により推定された人物の数をテーブル550に格納する。なお、本実施形態では図3(b)に示すように12個の小領域が画像に対し設定されているものとし、当該12個の小領域の各々に対し小領域を識別する識別情報が付与されているものとする。よって、図5に示すテーブル550における小領域A501〜小領域L512のそれぞれは、異なる小領域に対応する。例えば、図3(b)に示す画像に設定された複数の小領域のうち左端かつ上端に位置する小領域には識別情報として“小領域A”が付与され、当該小領域の右に隣接する小領域には識別情報として“小領域B”が付与される。図5に示すテーブル500の例では、画像ID“1”について、例えば、小領域Aに対して推定された値は“2.0”であり、小領域Bに対して推定された値は“3.0”であることを示す。
次に、S405にて、判定部206は、現在処理対象とした画像のフレーム数が所定値N(Nは整数)に達したかを判定する。現在処理対象とした画像のフレーム数が所定値に達していないと判定された場合(S405にてNo)、S401に遷移し、S401にて、通信部200は、次のフレームの画像を処理対象の画像として取得する。このとき、記憶部201は、通信部200により取得された当該次のフレームの画像に対し新規の画像ID500を付与する。このように、処理対象とした画像のフレーム数が所定値に達するまでS401〜S404の処理が繰り返される。なお、S402の処理が繰り返されるにあたって、複数の撮像画像の各々に対し複数の小領域が設定されることになる。このとき、複数の撮像画像の各々に設定される複数の小領域の位置およびサイズは当該複数の撮像画像において変化しないものとする。
S405にて、現在処理対象とした画像のフレーム数が所定値に達したと判定された場合(S405にてYes)、S406へ遷移する。S406にて、判定部206は、設定部204により設定された複数の小領域のうち、まだ注目対象としていない小領域から1つの小領域を注目対象として決定する。例えば、図3に示すような12個の小領域が設定されている場合、画像のより上部、かつ、画像のより左端に位置する小領域を注目対象として決定する。
S407にて、現在注目対象としている小領域について、複数の画像における人物の数の変化の度合いが第1閾値未満かを判定する判定処理を実行する。このとき、判定部206は、N個(Nは整数)のフレームの画像にわたって注目対象の小領域に対し推定された人物の数の変化の度合いが第1閾値未満かを判定する。なお変化の度合いは、例えば、N個のフレームの画像にわたって注目対象の小領域に対し推定された人物の数の最小値と最大値との差分値である。また、変化の度合いは、例えば、N個のフレームの画像にわたって注目対象の小領域に対し推定された人物の数の標準偏差や分散であってもよい。また、ここでの人物の数の変化の度合いとの比較対象となる第1閾値は、予め設定された数であってもよいし、ユーザによる指示に応じて変更されてもよい。
S408にて、設定部204は、S407における注目対象の小領域に対する判定処理の結果に基づき、当該小領域を対象領域または対象外領域として設定する。このとき、設定部204は、S407にて注目対象の小領域における人物の数の変化の度合いが第1閾値未満であると判定された場合、当該小領域を対象外領域として設定する。一方、設定部204は、S407にて注目対象の小領域における人物の数の変化の度合いが第1閾値以上であると判定された場合、当該小領域を対象領域として設定する。
S409にて、判定部206は、設定部204により設定された複数の小領域の全てを注目対象として決定したかを判定する。設定部204により設定された複数の小領域の全てを注目対象として決定してないと判定された場合(S409にてNo)、S406へ遷移し、注目対象としていない小領域から次の注目対象を決定する。一方、設定部204により設定された複数の小領域の全てを注目対象として決定したと判定された場合(S409にてYes)、図4(a)に示すフローの処理を終了する。
次に、図4(b)に示すフローの処理について説明する。なお、上述したように、図4(b)に示す処理は、図4(b)に示すフローの処理をへて複数の小領域について対象領域または対象外領域が設定されたあとで実行されるものとする。
まずS441にて、通信部200は、撮像装置110により撮像された処理対象の画像を取得する。なお、通信部200は、ネットワーク140を介して撮像装置110や記憶装置120から処理対象の画像を取得してもよいし、画像処理装置100の記憶部201から処理対象の画像を取得してもよい。
次に、S442にて、設定部204は、画像に対して複数の小領域を設定する。なおこのとき設定される複数の小領域は、S402で設定される複数の小領域と位置およびサイズが同一である。
次に、S443にて、推定部205は、設定部204により設定された複数の小領域のうちS408にて対象領域として設定された小領域に対し推定処理を実行する。本実施形態における推定部205は、固定サイズSにリサイズした小領域の画像を入力とし、その小画像に映っている人物の数を出力とする回帰器を用いることで小領域における人物の数を推定する。
次に、S444にて、計数部207は、現在処理対象とする画像において設定された複数の小領域のうち対象領域に対し実行された推定処理の結果を合算することで計数結果を取得する。次に、S445にて、出力制御部202は、対象領域に対する推定処理の結果を合算した計数結果を示す情報を外部装置(ディスプレイ130等)へ出力する。
S446にて、終了指示がない場合(S446にてNo)、S441へ遷移し、通信部200は次のフレームの画像を処理対象の画像として取得する。一方、終了指示がある場合(S446にてYes)、図4(b)に示すフローの処理を終了する。
なお、本実施形態において、撮像された複数の画像の各々について、複数の画像において推定された人物の数の変化の度合いが第1閾値未満であるかを判定し、第1閾値未満であると判定された小領域は対象外領域として設定されるが、これに限らない。例えば、判定部206は、撮像された複数の画像の各々について、複数の画像において推定された人物の数の変化の度合いが第1閾値未満、かつ、当該複数の画像において推定された人物の数の平均値が第2閾値未満かを判定するようにしてもよい。この場合、複数の画像において推定された人物の数の変化の度合いが第1閾値未満、かつ、当該複数の画像において推定された人物の数の平均値が第2閾値未満であると判定された小領域は対象外領域であると設定部204により設定される。一方、複数の画像において推定された人物の数の変化の度合いが第1閾値未満、かつ、当該複数の画像において推定された人物の数の平均値が第2閾値未満であると判定されなかった小領域は対象領域であると設定部204により設定される。なお、このとき、複数の画像において推定された人物の数の平均値と第2閾値とを比較するものとしたが、これに限らない。例えば、複数の画像において推定された人物の数における最大値または中央値と第2閾値とを比較するようにしてもよい。
なお、図4(a)に示す対象領域または対象外領域を設定する設定処理が実行される頻度は、ユーザによって設定されるようにしてもよい。例えば、一定時間ごとに当該設定処理が実行されてもよいし、図4(b)に示す処理において推定処理が実行されるフレーム数が所定値に達するたびに当該設定処理が実行されてもよい。また、図6に示すように、画像600における複数の小領域において対象外領域601と隣接する小領域の全てが小領域である場合、図4(a)に示す設定処理が実行される頻度を高めるようにしてもよい。また、図6に示すように、画像600における複数の小領域において対象外領域601と隣接する小領域の全てが小領域である場合、対象外領域601を対象領域に変更するようにしてもよい。
なお、複数の小領域各々が対象領域または対象外領域として設定部204により設定されたのち、ユーザによる操作に基づき、対象領域または対象外領域の設定が変更されてもよい。ここで、この処理について図7に示す設定画面を参照して説明する。図7に示す設定画面700は、対象領域または対象外領域の設定を変更するための画面であり、出力制御部202によりディスプレイ130に表示される。設定画面700には、対象領域と対象外領域とが設定された画像330が表示されている。このとき、ユーザは、例えば、小領域のいずれかを選択し、ボタン701を押下することで当該小領域を対象外領域に設定することができる。同様に、ユーザは、小領域のいずれかを選択し、ボタン702を押下することで、当該小領域を対象領域に設定することができる。なお、図3(d)を参照して説明したように、出力制御部202は、対象外領域と対象領域とで表示態様を異ならせて表示する。最後に、ユーザはOKボタン703を押下することで、対象領域および対象外領域の設定が保存され、ダイアログは閉じられる。一方、キャンセルボタン704が押下された場合は、ユーザによる設定は保存されずにダイアログが閉じられる。
以上説明したように、本実施形態における画像処理装置100は、複数の小領域の各々について、複数のフレームの画像にわたって推定された特定物体の数の変化の度合いが第1閾値未満かを判定する。そして、本実施形態における画像処理装置100は、特定物体の数の変化の度合いが第1閾値未満であると判定された小領域は対象外領域として決定し、当該対象外領域に対する推定処理の結果は計数結果から除外する。図3(a)に示す検出対象ではない看板302、窓303、および木304などの物体を誤って検出対象として推定してしまっても当該推定の結果を計数結果から除外することができる。
(その他の実施形態)
次に図8を参照して、各実施形態の各機能を実現するための画像処理装置100のハードウェア構成を説明する。なお、以降の説明において画像処理装置100のハードウェア構成について説明するが、記録装置120および撮像装置110も同様のハードウェア構成によって実現されるものとする。
次に図8を参照して、各実施形態の各機能を実現するための画像処理装置100のハードウェア構成を説明する。なお、以降の説明において画像処理装置100のハードウェア構成について説明するが、記録装置120および撮像装置110も同様のハードウェア構成によって実現されるものとする。
本実施形態における画像処理装置100は、CPU800と、RAM801と、ROM802、HDD803と、I/F804と、を有している。
CPU800は画像処理装置100を統括制御する中央処理装置である。RAM801は、CPU800が実行するコンピュータプログラムを一時的に記憶する。また、RAM801は、CPU800が処理を実行する際に用いるワークエリアを提供する。また、RAM801は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。
ROM802は、CPU800が画像処理装置100を制御するためのプログラムなどを記憶する。HDD803は、画像データ等を記録する記憶装置である。
I/F804は、ネットワーク140を介して、TCP/IPやHTTPなどに従って、外部装置との通信を行う。
なお、上述した各実施形態の説明では、CPU800が処理を実行する例について説明するが、CPU800の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ130にGUI(GRAPHICAL USER INTERFACE)や画像データを表示する処理は、GPU(GRAPHICS PROCESSING UNIT)で実行してもよい。また、ROM802からプログラムコードを読み出してRAM801に展開する処理は、転送装置として機能するDMA(DIRECT MEMORY ACCESS)によって実行してもよい。
なお、本発明は、上述の実施形態の1以上の機能を実現するプログラムを1つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。また、画像処理装置100の各部は、図7に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。
なお、上述した各実施形態に係る画像処理装置100の1以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る画像処理装置100の1以上の機能を撮像装置110が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。
100 画像処理装置
110 撮像装置
120 記憶装置
130 ディスプレイ
200 通信部
201 記憶部
202 出力制御部
203 操作受付部
204 設定部
205 推定部
206 判定部
207 計数部
110 撮像装置
120 記憶装置
130 ディスプレイ
200 通信部
201 記憶部
202 出力制御部
203 操作受付部
204 設定部
205 推定部
206 判定部
207 計数部
Claims (17)
- 撮像手段により撮像された画像に含まれる特定物体の数を示す計数結果を出力する画像処理装置であって、
前記撮像手段により撮像された画像に対し設定された複数の領域の各々に含まれる前記特定物体の数を推定する推定処理を実行する推定手段と、
前記撮像手段により撮像された複数の画像の各々に対する前記推定処理の結果に基づき、前記複数の領域の各々について、前記複数の画像における前記特定物体の数の変化の度合いが第1閾値未満かを判定する判定手段と、
前記判定手段により前記変化の度合いが前記第1閾値未満であると判定された領域を前記計数結果に含めない対象外領域として設定する設定手段とを有することを特徴とする画像処理装置。 - 前記設定手段は、
前記判定手段により前記変化の度合いが前記第1閾値未満ではないと判定された領域を前記計数結果に含める対象領域として設定することを特徴とする請求項1に記載の画像処理装置。 - 前記計数結果は、前記撮像手段により撮像された画像における前記複数の領域のうち前記対象領域に対して前記推定処理により推定された前記特定物体の数を合算した数であることを特徴とする請求項2に記載の画像処理装置。
- 前記判定手段は、前記複数の領域の各々について、前記複数の画像における前記特定物体の数の変化の度合いが前記第1閾値未満、かつ、前記複数の画像における前記特定物体の数の平均値が第2閾値未満かを判定し、
前記設定手段は、前記判定手段により前記変化の度合いが前記第1閾値未満であり、前記平均値が前記第2閾値未満である判定された領域を前記対象外領域として設定することを特徴とする請求項1に記載の画像処理装置。 - 前記設定手段は、前記撮像手段により撮像された画像に対し前記複数の領域を設定することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記変化の度合いは、前記複数の画像における前記特定物体の数のうち最大値と最小値との差分値、前記複数の画像における前記特定物体の数の標準偏差、または、前記複数の画像における前記特定物体の数の分散であることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記推定手段は、前記特定物体に関する学習済みモデルを用いて、前記領域に含まれる人物の数を推定することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 前記特定物体は人物であることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 撮像手段により撮像された画像に含まれる特定物体の数を示す計数結果を出力する画像処理方法であって、
前記撮像手段により撮像された画像に対し設定された複数の領域の各々に含まれる前記特定物体の数を推定する推定処理を実行する推定工程と、
前記撮像手段により撮像された複数の画像の各々に対する前記推定処理の結果に基づき、前記複数の領域の各々について、前記複数の画像における前記特定物体の数の変化の度合いが第1閾値未満かを判定する判定工程と、
前記判定工程において前記変化の度合いが前記第1閾値未満であると判定された領域を前記計数結果に含めない対象外領域として設定する設定工程とを有することを特徴とする画像処理方法。 - 前記設定工程において、
前記判定工程において前記変化の度合いが前記第1閾値未満ではないと判定された領域を前記計数結果に含める対象領域として設定することを特徴とする請求項9に記載の画像処理方法。 - 前記計数結果は、前記撮像手段により撮像された画像における前記複数の領域のうち前記対象領域に対して前記推定処理により推定された前記特定物体の数を合算した数であることを特徴とする請求項10に記載の画像処理方法。
- 前記判定工程において、前記複数の領域の各々について、前記複数の画像における前記特定物体の数の変化の度合いが前記第1閾値未満、かつ、前記複数の画像における前記特定物体の数の平均値が第2閾値未満かを判定し、
前記設定工程において、前記判定工程において前記変化の度合いが前記第1閾値未満であり、前記平均値が前記第2閾値未満である判定された領域を前記対象外領域として設定することを特徴とする請求項9に記載の画像処理方法。 - 前記設定工程において、前記撮像手段により撮像された画像に対し前記複数の領域を設定することを特徴とする請求項9乃至12のいずれか1項に記載の画像処理方法。
- 前記変化の度合いは、前記複数の画像における前記特定物体の数のうち最大値と最小値との差分値、前記複数の画像における前記特定物体の数の標準偏差、または、前記複数の画像における前記特定物体の数の分散であることを特徴とする請求項9乃至13のいずれか1項に記載の画像処理方法。
- 前記推定工程において、前記特定物体に関する学習済みモデルを用いて、前記領域に含まれる人物の数を推定することを特徴とする請求項9乃至14のいずれか1項に記載の画像処理方法。
- 前記特定物体は人物であることを特徴とする請求項9乃至15のいずれか1項に記載の画像処理方法。
- コンピュータを、請求項1乃至8のいずれか1項に記載された画像処理装置の各手段として機能させるためのプログラム
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019198017A JP2021071907A (ja) | 2019-10-30 | 2019-10-30 | 画像処理装置、画像処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019198017A JP2021071907A (ja) | 2019-10-30 | 2019-10-30 | 画像処理装置、画像処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021071907A true JP2021071907A (ja) | 2021-05-06 |
Family
ID=75713181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019198017A Pending JP2021071907A (ja) | 2019-10-30 | 2019-10-30 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021071907A (ja) |
-
2019
- 2019-10-30 JP JP2019198017A patent/JP2021071907A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10810438B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
US9600898B2 (en) | Method and apparatus for separating foreground image, and computer-readable recording medium | |
US9807300B2 (en) | Display apparatus for generating a background image and control method thereof | |
US9323982B2 (en) | Display apparatus for performing user certification and method thereof | |
US9536321B2 (en) | Apparatus and method for foreground object segmentation | |
WO2016187888A1 (zh) | 基于字符识别的关键词通知方法及设备、计算机程序产品 | |
WO2015058381A1 (zh) | 从连拍图像中选择图像的方法和终端 | |
EP3284395B1 (en) | Line-of-sight detection device, line-of-sight detection method, and line-of-sight detection program | |
JP2019200715A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10719543B2 (en) | Information processing apparatus, information processing method, and program | |
JP6991045B2 (ja) | 画像処理装置、画像処理装置の制御方法 | |
WO2015168893A1 (zh) | 一种视频质量检测的方法及装置 | |
KR101648786B1 (ko) | 객체 인식 방법 | |
EP3477544A1 (en) | Information processing apparatus, information processing method, imaging apparatus, network camera system, and program | |
KR20160035104A (ko) | 오브젝트 검출 방법 및 오브젝트 검출 장치 | |
JP2021071907A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20220262031A1 (en) | Information processing apparatus, information processing method, and storage medium | |
US11521330B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US20220036093A1 (en) | Information processing apparatus, information processing method, and storage medium | |
KR20200102933A (ko) | 화상 처리 장치, 화상 처리 방법 및 저장 매체 | |
JP2021056899A (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR102669621B1 (ko) | 지능형 고해상도 내시경 영상을 획득하여 저장하는 영상 제공 방법 및 장치 | |
JP2022011926A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2015118142A (ja) | 画像表示装置、画像表示プログラム及び画像表示方法 | |
US20220201220A1 (en) | Information processing apparatus, information processing method, and storage medium |