JP7418074B2 - Image processing device, image processing method, and program - Google Patents
Image processing device, image processing method, and program Download PDFInfo
- Publication number
- JP7418074B2 JP7418074B2 JP2019030373A JP2019030373A JP7418074B2 JP 7418074 B2 JP7418074 B2 JP 7418074B2 JP 2019030373 A JP2019030373 A JP 2019030373A JP 2019030373 A JP2019030373 A JP 2019030373A JP 7418074 B2 JP7418074 B2 JP 7418074B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- area
- foreground
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims description 69
- 238000001514 detection method Methods 0.000 claims description 60
- 238000000605 extraction Methods 0.000 claims description 34
- 239000000284 extract Substances 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 description 44
- 230000008569 process Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 15
- 239000003086 colorant Substances 0.000 description 13
- 230000008859 change Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 4
- 230000001934 delay Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 235000019642 color hue Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理技術に関する。 The present invention relates to image processing technology.
近年、監視カメラが広く設置されるようになっている。このような監視カメラが用いられるシステムは、撮像された人物の動きを特定することにより、防犯、マーケティング分析、サービス向上を行うことができる点で有用である。その一方で、このようなシステムでは、撮像された人物に関するプライバシーが保護されることが重要である。 In recent years, surveillance cameras have become widely installed. A system using such a surveillance camera is useful in that it can perform crime prevention, marketing analysis, and service improvement by specifying the movements of the photographed person. On the other hand, in such a system, it is important that the privacy of the imaged person is protected.
特許文献1では、予め撮像された背景画像に対して、画像から検出された人物が移動しているか否かに応じて色が異なる人型アイコンを重畳する技術が開示されている。
しかしながら、特許文献1では、人物ではない物体に対して人物であると検出した場合に、当該物体に対応する人型アイコンを背景画像に重畳してしまうことがある。つまり、実際には人物ではない物体を人物として検出した場合に、当該物体に対応する人型アイコンを背景画像に重畳した不適切な出力画像が生成されることがある。
However, in
そこで、本発明は、撮像された画像における適切な領域を隠蔽した画像を生成可能とする技術を提供することを目的とする。 Therefore, an object of the present invention is to provide a technique that makes it possible to generate an image in which an appropriate area in a captured image is hidden.
本発明の一態様による画像処理装置は、撮像された入力画像から前景領域を抽出する抽出手段と、前記入力画像から特定の物体を検出する検出手段と、前記検出手段により検出された特定の物体の位置に基づいて、少なくとも一部が曲線の形状の領域である特定領域を設定する設定手段と、前記設定手段により設定された特定領域以外の前記前景領域は、前記入力画像に対応する所定の画像に重畳せず、前記設定手段により設定された特定領域における前記前景領域を抽象化したシルエット画像を、前記所定の画像に重畳した出力画像を生成する生成手段と、前記入力画像における混雑領域を判定する判定手段と、を有し、前記設定手段は、前記判定手段により判定された混雑領域に位置する人物に対し、水平方向の幅を所定の倍率だけ縮小させた特定領域を設定する。 An image processing device according to one aspect of the present invention includes an extraction unit that extracts a foreground region from a captured input image, a detection unit that detects a specific object from the input image, and a specific object that is detected by the detection unit. a setting means for setting a specific area, at least a part of which is a curved area, based on the position of the foreground area other than the specific area set by the setting means; generating means for generating an output image in which a silhouette image that abstracts the foreground region in the specific area set by the setting means is superimposed on the predetermined image without superimposing it on the image; and a determining means for determining, and the setting means sets a specific area whose horizontal width is reduced by a predetermined magnification for a person located in the crowded area determined by the determining means.
本発明によれば、撮像された画像における適切な領域を隠蔽した画像を生成可能とする技術を提供することができる。 According to the present invention, it is possible to provide a technique that makes it possible to generate an image in which an appropriate area in a captured image is hidden.
以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。 Embodiments of the present invention will be described below with reference to the accompanying drawings. Note that the configuration shown in the following embodiments is only an example, and the configuration is not limited to the illustrated configuration.
(実施形態1)
図1は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、画像処理装置100、撮像装置110、記録装置120、およびディスプレイ130を有している。
(Embodiment 1)
FIG. 1 is a diagram showing the system configuration in this embodiment. The system in this embodiment includes an
画像処理装置100、撮像装置110、および記録装置120は、ネットワーク140を介して相互に接続されている。ネットワーク140は、例えばETHERNET(登録商標)等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。
The
なお、ネットワーク140は、インターネットや有線LAN(Local Area Network)、無線LAN(Wireless Lan)、WAN(Wide Area Network)等により実現されてもよい。
Note that the
画像処理装置100は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。
The
撮像装置110は、画像を撮像する装置である。撮像装置110は、撮像した画像に基づく画像データと、画像を撮像した撮像時刻の情報と、撮像装置110を識別する情報である識別情報とを関連付けて、ネットワーク140を介し、画像処理装置100や記録装置120等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置110は1つとするが、複数であってもよい。
The
記録装置120は、撮像装置110が撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置110を識別する識別情報とを関連付けて記録する。そして、画像処理装置100からの要求に従って、記録装置120は、記録したデータ(画像、識別情報など)を画像処理装置100へ送信する。
The
ディスプレイ130は、LCD(Liquid Crystal Display)等により構成されており、画像処理装置100の画像処理の結果や、撮像装置110が撮像した画像などを表示する。ディスプレイ130は、HDMI(登録商標)(High Definition Multimedia Interface)等の通信規格に準拠したディスプレイケーブルを介して画像処理装置100と接続されている。
The
また、ディスプレイ130は、表示手段として機能し、撮像装置110が撮像した画像や、後述する画像処理に係る設定画面等を表示する。なお、ディスプレイ130、画像処理装置100、および記録装置120の少なくともいずれか2つ又は全ては、単一の筐体に設けられてもよい。
Further, the
なお、画像処理装置100の画像処理の結果や、撮像装置110により撮像された画像は、画像処理装置100にディスプレイケーブルを介して接続されたディスプレイ130に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク140を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。
Note that the results of image processing by the
次に、図2に示す本実施形態に係る画像処理装置100の機能ブロックを参照して、本実施形態に係る画像処理装置100の画像処理について説明する。
Next, image processing of the
なお、図2に示す各機能は、本実施形態の場合、図14を参照して後述するROM(Read Only Memory)1420とCPU(Central Processing Unit)1400とを用いて、次のようにして実現されるものとする。図2に示す各機能は、画像処理装置100のROM1420に格納されたコンピュータプログラムを画像処理装置100のCPU1400が実行することにより実現される。なお、以降の説明において、特定の物体は、人物であるものとする。
In this embodiment, each function shown in FIG. 2 is realized as follows using a ROM (Read Only Memory) 1420 and a CPU (Central Processing Unit) 1400, which will be described later with reference to FIG. shall be carried out. Each function shown in FIG. 2 is realized by the
通信部200は、図14を参照して後述するI/F(Interface)1440によって実現でき、ネットワーク140を介して、撮像装置110や記録装置120と通信を行う。通信部200は、例えば、撮像装置110が撮像した画像の画像データを受信したり、撮像装置110を制御するための制御コマンドを撮像装置110へ送信したりする。なお、制御コマンドは、例えば、撮像装置110に対して画像を撮像するよう指示を行うコマンドなどを含む。
The
記憶部201は、図14を参照して後述するRAM(Random Access Memory)1410やHDD(Hard Disk Drive)1430等によって実現でき、画像処理装置100による画像処理に関わる情報やデータを記憶する。例えば、記憶部201は、画像から検出された人物の位置に関する情報を記憶する。
The
表示制御部202は、撮像装置110が撮像した画像や、本実施形態に係る画像処理に関する設定を行う設定画面、画像処理の結果を示す情報などをディスプレイ130に表示させる。例えば、表示制御部202は、後述する生成部207により生成された出力画像をディスプレイ130に表示させる。操作受付部203は、キーボードやマウス等の入力装置(不図示)を介して、ユーザが行った操作を受け付ける。
The
抽出部204は、撮像された入力画像から前景領域を抽出する。抽出部204は、通信部200が受信した入力画像と背景画像とを比較することにより、前景領域を抽出する。なお、背景画像は、画像にプライバシーを保護する対象(隠蔽対象)とする特定の物体(本実施形態では人物)が含まれていない状態の画像であるものとする。
The
抽出部204は、通信部200が受信した入力画像と背景画像とを比較することにより、前景領域を抽出する。抽出部204は、例えば、背景画像に対する差分の領域を示す前景領域を「1」とし、その他の領域を「0」とする2値画像を生成する。この場合、抽出部204は、例えば、背景画像の各画素と入力画像の各画素とで差分値を算出し、算出した差分値が閾値以上の画素については前景領域を表す「1」を設定し、閾値未満の場合は「0」を設定することにより、2値画像を生成することができる。なお、抽出部204は、背景差分のみならず、他の手法によって前景領域を特定してもよい。
The
検出部205は、画像から特定の物体を検出する。例えば、検出部205は、照合パターン(辞書)を用いて、画像から特定の物体を検出する。なお、画像から人物を検出する場合において、人物が正面向きである場合と横向きである場合とで使用する照合パターンを両方使うことで検出精度の向上が期待できる。例えば、正面(背面)向きの人体の画像と照合させるための照合パターンと、横向きの人物の画像と照合させるための照合パターンとを保持し、撮像装置110の設置状態やユーザの指定に基づいて両方使うことができる。
The
また、照合パターンは、斜め方向からや上方向からなど他の角度からのものを用意しておいてもよい。また、人物を検出する場合、必ずしも全身の特徴を示す照合パターン(辞書)を用意しておく必要はなく、上半身、下半身、頭部、顔、足などの人物の一部について照合パターンを用意してもよい。なお、検出部205は、画像から特定の物体として人物を検出する機能を有していればよく、パターンマッチング処理にのみ限定されるものではない。
Further, the matching pattern may be prepared from other angles such as from an oblique direction or from above. Furthermore, when detecting a person, it is not necessarily necessary to prepare matching patterns (dictionaries) that indicate the characteristics of the whole body, but rather to prepare matching patterns for parts of the person such as the upper body, lower body, head, face, and feet. You can. Note that the
なお、以降の説明において、本実施形態における検出部205は、人物の上半身の照合パターンを用いて画像から人物の上半身を検出するものとする。そして、検出部205は、検出した人物の上半身を示す画像の領域(画像領域)から当該人物の全身の画像領域を特定する。例えば、検出部205は、人物の上半身を示す画像領域の垂直方向のサイズを所定の倍率(例えば2倍)だけ画像の垂直方向における下方向に拡大した画像領域を当該人物の全身の画像領域として特定する。なお、検出部205により検出された人物の位置は、画像の左上の端点を原点として、当該人物の全身の画像領域における重心点の座標であるものとする。
In the following description, it is assumed that the
設定部206は、検出部205により検出された特定の物体の画像における位置に基づいて、当該特定の物体に対応する形状の領域(特定領域)を設定する。本実施形態における設定部206は、検出部205により検出された画像における人物の位置に基づいて、人物に対応する形状の領域である特定領域を設定する。例えば、設定部206は、検出部205により検出された人物の全身の画像領域を囲うように特定領域を設定する。なお、以降の説明において、人物領域とは、検出された人物に対し設定された特定領域であるものとして説明する。
Based on the position of the specific object detected by the
生成部207は、設定部206により設定された人物領域における前景領域を抽象化したシルエット画像を生成する。言い換えれば、生成部207は、抽出部204が抽出した前景領域のうち、設定部206により設定された特定領域以外の前景領域を、隠蔽対象(抽象化の対象)から外す。そして、生成部207は、設定部206により設定された人物領域における前景領域を、例えば、任意の色(RGB値)で塗りつぶすことで抽象化(隠蔽)したシルエット画像を生成する。なお、人物領域における前景領域を抽象化したシルエット画像としては、例えば、テクスチャを付与した画像や、モザイク処理を施したモザイク画像、ぼかし処理を施したぼかし画像などであってもよい。
The
そして、生成部207は、設定部206により設定された人物領域における前景領域を抽象化したシルエット画像を、所定の画像に重畳した出力画像を生成する。なお、本実施形態における生成部207は、シルエット画像を、背景画像に重畳するものとするが、例えば表示する用途として予め用意した画像である表示用画像に重畳してもよいし、通信部200が受信した画像(入力画像)に重畳してもよい。
Then, the
次に、図3および図4を参照して、本実施形態に係る画像処理装置100の画像処理について更に詳細に説明する。図3は、本実施形態に係る画像処理装置100の画像処理の流れを示すフローチャートである。また、図4は、本実施形態に係る画像処理装置100の画像処理を説明するための図である。
Next, image processing by the
なお、図3に示すフローを実行することで、設定された人物領域における前景領域を抽象化したシルエット画像を背景画像に重畳した出力画像を生成することができる。なお、図3に示すフローの処理は、例えば、ユーザによる指示に従って、開始又は終了するものとする。なお、図3に示すフローチャートの処理は、撮像装置110のROM1420に格納されたコンピュータプログラムを撮像装置110のCPU1400が実行して実現される図2に示す機能ブロックにより実行されるものとする。
Note that by executing the flow shown in FIG. 3, it is possible to generate an output image in which a silhouette image, which is an abstraction of the foreground region in the set human region, is superimposed on the background image. Note that the processing of the flow shown in FIG. 3 is started or ended, for example, according to an instruction from a user. It is assumed that the processing in the flowchart shown in FIG. 3 is executed by the functional blocks shown in FIG. 2, which are realized by the
まず、S301にて、通信部200は、撮像装置110が撮像した画像(入力画像)を受信する。図4(a)は、通信部200が受信する入力画像の一例を示す図である。図4(a)に示す画像には、開閉可能な扉400、人物401~402が含まれている。
First, in S301, the
次に、S302にて、抽出部204は、背景画像を取得する。なお、抽出部204は、例えば、予め設定された背景画像を取得してもよい。また、抽出部204は、現在のフレームから過去Nフレーム分の入力画像に基づいて生成された背景画像を取得してもよい。例えば、生成部207は、現在のフレームから直近5フレーム分の入力画像の各画素値の平均値を求めることで背景画像を生成する。そして、抽出部204は、生成部207により生成された背景画像を取得してもよい。図4(b)に示す画像は、S302にて抽出部204により取得される背景画像の一例を示す図であり、図4(a)に示す画像との差異は、人物401、及び402の有無である。
Next, in S302, the
次に、S303にて、抽出部204は、撮像された入力画像から前景領域を抽出する。本実施形態における抽出部204は、通信部200が受信した入力画像と背景画像とを比較することにより、前景領域を抽出する。図4(c)は図4(a)とは時間的に異なるタイミングで撮像された入力画像の一例である。図4(b)とは、人物401、及び402の有無及び、扉400の開閉状態が異なる。なお、図4(c)では、扉400の開閉状態が異なることにより扉400の周囲の光源の状態が変化している例を示している。そして、図4(c)に示す領域403は、扉400の奥にある不図示の光源からの光が差し込むことによって、図4(b)に示す背景画像に対し画素値の変化が大きい領域を示している。
Next, in S303, the
図4(d)に示す前景領域404、405は、S303にて、抽出部204により、図4(c)に示す入力画像と、図4(b)に示す背景画像とを比較することにより抽出された前景領域である。図4(d)に示す例において、前景領域404は、人物401に対応する前景領域であり、周囲に他の前景領域が無いことから人物の形状が明瞭である。一方、人物402に対応する前景領域は、人物402の周囲に発生している画素値の変化が大きい領域403に対応する前景領域405に紛れてしまい、人物402の形状や位置の判別は困難である。
The
なお、図4(e)に示す画像は、S303にて抽出部204により抽出された前景領域を抽象化したシルエット画像を背景画像に重畳した出力画像を示す図である。図4(e)に示すように、抽出された前景領域を単純に抽象化したシルエット画像を背景画像に重畳した出力画像では、撮像装置110の撮像された環境の状況をうかがい知ることが困難になることがある。
Note that the image shown in FIG. 4E is an output image in which a silhouette image obtained by abstracting the foreground region extracted by the
次に、S304にて、検出部205は、照合パターン(辞書)を用いて、入力画像から人物を検出する。図4に示す例において、検出部205は、図4(c)に示す入力画像から、人物401および人物402を検出する。
Next, in S304, the
次に、S305にて、設定部206は、検出部205により検出された人物の位置に基づいて、人物に対応する形状の領域である人物領域を設定する。図4(f)に示す人物領域406は、検出部205により検出された人物401の位置に基づいて、設定部206により、人物401の全身を囲うよう設定された人物領域である。また、図4(f)に示す人物領域407は、検出部205により検出された人物402の位置に基づいて、設定部206により、人物402の全身を囲うよう設定された人物領域である。なお、図4(f)に示す人物領域406、407の形状は楕円形であり、検出された各々の人物のサイズに対応したサイズで設定部206により設定される。なお、人物領域406、407の形状は楕円形であるが、例えば、人物の少なくとも頭部に対応する第1形状と、人物の動体に対応する第2形状とを含む形状の領域であってもよい。なお、人物領域の形状は、検出された人物の全身を全て囲うような形状にしてもよいし、人物の一部がはみ出るような形状であっても構わない。例えば、人物領域の形状は、人物の頭部、上半身など人物の一部のみを覆う形状であってもよい。なお、設定部206により設定される人物領域の形状についての詳細な説明は、図5を参照して後述する。
Next, in S305, the
次に、S306にて、生成部207は、設定部206により設定された人物領域における前景領域を抽象化したシルエット画像を生成する。図4(g)に示す画像は、図4(d)に示す前景領域に対して、設定部206により設定された人物領域406~407の各々における前景領域を抽象化したシルエット画像を示す。図4(g)に示すように、人物領域406では、内部に存在する前景領域が人物401に対応する前景領域404のみである。そのため、当該前景領域404を抽象化してシルエット画像を生成しても、差分領域404の形状がシルエット画像の形状としてそのまま抽出される。一方、人物領域407は、人物402の周囲に差分領域が存在するため詳細な人物402の形状を抽象化したシルエット画像の生成は難しい。しかしながら、人物402の位置とサイズに対応した人物領域407における前景領域405を抽象化したシルエット画像を生成する。このようにすることで、当該人物402の位置やサイズなどを大まかに把握することが可能なシルエット画像を生成することができる。
Next, in S306, the
次に、S307にて、生成部207は、設定部206により設定された人物領域における前景領域を抽象化したシルエット画像を、背景画像に重畳した出力画像を生成する。図4(h)に示す図は、S306により生成されたシルエット画像を背景画像に重畳した出力画像の一例を示す図である。図4(h)に示すシルエット画像408は、人物領域406における前景領域を抽象化したシルエット画像である。また、図4(h)に示すシルエット画像409は、人物領域407における前景領域を抽象化したシルエット画像である。図4(h)に示すように、扉400の開閉などによる画像における輝度の変化等の環境変化が少ない領域では、シルエット画像408に示すように実際に存在する人物の形状を反映したシルエット画像を生成することが可能である。そのため、撮像環境の様子を詳細に把握することができる。一方、環境変化の多い領域では、シルエット画像409に示すように、人物の位置とサイズに対応するシルエット画像を生成することが可能になるため、環境変化が大きい領域あっても当該領域における人物が存在しているか否かの状況が把握することができる。
Next, in S307, the
次に、S308にて、表示制御部202は、生成部207により生成された出力画像を出力する。なお、本実施形態において、表示制御部202は、生成部207により生成された出力画像をディスプレイ130に表示させる。
Next, in S308, the
次に、S309にて、ユーザにより処理を終了する指示がある場合(S309にてYes)、処理を終了する。一方、ユーザにより処理を終了する指示がない場合(S309にてNo)、S301へ戻り、通信部200は次のフレームの画像(入力画像)を受信する。
Next, in S309, if the user instructs to end the process (Yes in S309), the process ends. On the other hand, if there is no instruction from the user to end the process (No in S309), the process returns to S301, and the
以上説明したように本実施形態に係る画像処理装置100の画像処理は、検出された人物の位置に基づいて人物領域を設定し、設定した人物領域における前景領域を抽象化したシルエット画像を背景画像に重畳した出力画像を生成する。このようにすることで、撮像された画像の適切な領域を隠蔽した画像を生成可能とする技術を提供することができる。
As explained above, the image processing of the
次に、図5を参照して、設定部206により設定される人物領域の形状について説明する。図4を参照して説明した上述の内容においては、設定部206により設定される人物領域406、407として、図5に示す楕円形状500を例に挙げて説明したが、これに限らない。人物領域の形状としては、例えば、図5に示す矩形501や台形502といった単純な図形でもよい。
Next, with reference to FIG. 5, the shape of the human region set by the
また、人物領域の形状としては、人物の少なくとも頭部に対応する第1形状と、人物の胴体に対応する第2形状とを含む形状であってもよい。例えば、人物領域の形状として、形状503のように、頭部に対応する円形の第1形状510と、人物の胴体に対応する三角形の第2形状511とを含む形状であってもよい。また、人物領域の形状として、形状504のように、頭部に対応する円形の第1形状520と、人物の胴体に対応する楕円を一部である第2形状521とを含む形状であってもよい。また、人物領域の形状として、形状505のように、頭部に対応する円形の第1形状530と、人物の胴体に対応する略矩形の第2形状531とを含む形状であってもよい。
Further, the shape of the person region may include a first shape corresponding to at least the head of the person and a second shape corresponding to the torso of the person. For example, the shape of the person region may be a shape such as
なお、人物領域の形状の一例である形状503~505に示すように、上述したように、人物の頭部を模した第1形状と、人物の胴体を模した第2形状とを含む形状であるが、これに限らない。例えば、人物領域の形状としては、人物の頭部を模した第1形状と、人物の胴体を模した第2形状と、更に、例えば、人物の下半身を模した第3形状を含む形状であってもよい。
Note that, as shown in
なお、本実施形態における人物領域の形状は、図5に示す矩形501や台形502のように曲線を有していない形状であってもよいし、楕円形500、形状503~505のように、一部曲線を有する形状であってもよい。このように、一部曲線を有する形状の人物領域を用いることで、人物の形状により近いシルエット画像を生成することが可能となる。
Note that the shape of the person area in this embodiment may be a shape without a curve, such as a
図5に示す形状503~505のように、人物の形状により近い人物領域を用いることで、より人物の形状に近いシルエット画像を生成することが可能となる。例えば、図5(h)において人物402に対応するシルエット画像409は楕円形であるが、前景領域が大きい領域内にて検出された人物に対して、人物の形状により近い人物領域を用いることで、人物の存在をより分かり易くユーザに提示することが可能となる。
By using a person region closer to the shape of a person, such as
以上説明したように、本実施形態に係る画像処理装置100の画像処理は、検出された人物の位置に基づいて人物領域を設定し、設定した人物領域における前景領域を抽象化したシルエット画像を背景画像に重畳した出力画像を生成する。このようにすることで、撮像された人物の位置に基づくシルエット画像を生成して表示することが可能であるため、プライバシーを確保しつつ、人の存在が分かりやすい表示を行うことが可能となる。また、画像に映る人物を覆うようにサイズが大きい前景領域が抽出された場合であっても、撮像環境の様子を把握しやすい画像の表示を行うことが可能となる。また更に、人物を検出する処理において、本来検出対象(隠蔽対象)としていない物体(例えば人物を含むポスター)を検出してしまった場合でも、前景領域が存在していなければシルエット画像が生成されない。そのため、ユーザに誤解を与えるような出力画像が生成されることを抑制し、より実際の状況を反映させた出力画像を生成することが可能となる。以上より、本実施形態に係る画像処理装置100の画像処理によれば、撮像された画像の適切な領域を隠蔽した画像を生成可能とする技術を提供することができる。
As explained above, the image processing of the
(実施形態2)
本実施形態では、駅やショッピングモールなど、多くの人物で混雑が発生するような場合であっても、プライバシーを保護しつつ、画像に映る人物の存在をユーザが把握しやすくする実施形態について説明する。以下、実施形態1と異なる部分を主に説明し、実施形態1と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。
(Embodiment 2)
This embodiment describes an embodiment that makes it easier for users to understand the presence of people in images while protecting privacy even in cases where there are many people in a crowded place such as a station or shopping mall. do. Hereinafter, parts that are different from
以下、図6を参照して、本実施形態に係る画像処理について説明する。図6は、本実施形態に係る画像処理を説明するための図である。図6(a)は撮像装置110によって撮像された入力画像の一例を示している。図6(a)における人物600は、複数の人物で混雑している領域660(混雑領域)外に単独で存在している人物を示している。また、人物601は領域660に存在する複数の人物を示している。影602は、領域660において人物が作る影の領域である。
Image processing according to this embodiment will be described below with reference to FIG. 6. FIG. 6 is a diagram for explaining image processing according to this embodiment. FIG. 6A shows an example of an input image captured by the
図6(b)は、本実施形態において用いられる背景画像の一例を示している。図6(c)は、図6(a)に示す入力画像と、図6(b)に示す背景画像とを比較することにより抽出部204により抽出された前景領域を示す。図6(c)に示す例において、前景領域603は、単独で存在する人物600に対応する前景領域を示している。また、図6(c)に示す前景領域604は、領域660に存在する複数の人物、及び当該複数の人物が作り出す影領域602に対応する前景領域を示している。
FIG. 6(b) shows an example of a background image used in this embodiment. FIG. 6(c) shows a foreground region extracted by the
図6(d)は、図6(a)に示す入力画像に対して検出部205により検出された人物の位置に基づき、設定部206が設定した人物領域を示す図である。単独で存在する人物600の位置に基づいて設定された人物領域605では他の人物領域との重なりが無い。一方、領域660(混雑領域)に存在する複数の人物601に対応する複数の人物領域606は他の人物領域と重なってしまう。ここで、実施形態1で説明した画像処理と同様にして、図7(d)に示す人物領域における前景領域を抽象化したシルエット画像を生成し、生成したシルエット画像を背景画像に重畳した出力画像を生成する場合を想定する。このようにして生成された出力画像の一例を図6(e)に示す。図6(e)では、単独で存在する人物600に対応するシルエット画像607では人物を区別しながら表示できている。しかしながら、混雑領域に存在する複数の人物601に対応するシルエット画像608では、シルエット画像が重なった状態の出力画像が生成されてしまうため、撮像された画像における人物の状況を把握することが困難となる。
FIG. 6(d) is a diagram showing a person area set by the
そこで、複数の人物で混雑するような状況であっても、画像における人物の状況を把握しやすくするため、本実施形態に係る画像処理装置100は、例えば、次のような処理を実行する。すなわち、本実施形態に係る生成部207は、設定部206により設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせるようにする。シルエット画像の表示形態を異ならせる方法としては、設定部206により設定された人物領域ごとに、人物領域における前景領域の色を異ならせたり、人物領域に対して付与するテクスチャの種類を異ならせたりする方法がある。しかしながら、人物領域ごとに、識別可能とするようにできればよく、上述した方法に限らない。
Therefore, in order to make it easier to understand the situation of the people in the image even in a situation where the image is crowded with a plurality of people, the
また、上述したように混雑領域660における複数の人物領域が示すように人物領域同士が重なる場合において、人物領域ごとに表示形態を異ならせる際には、画像の手前側に位置する人物領域に対応するシルエット画像が優先的に表示されるようにするとよい。なお、生成部207は、例えば、画像の奥側に位置する人物領域に対応するシルエット画像に対し、画像の手前側に位置する人物領域に対応するシルエット画像が表側に位置するような出力画像を生成することで優先的な表示を行う。
In addition, when the human areas overlap each other as shown by the plurality of human areas in the
具体的には、まず、検出部205は、検出した人物の足元の位置を特定する。例えば、検出部205は、検出した人物の全身の画像領域において、最も下部に位置する点を当該人物の足元の位置として特定する。そして、生成部207は、より撮像装置110に近い人物、例えば、画像の垂直方向のより下側に足元が位置する人物に対応するシルエット画像を優先的に表示するようにする。なお、人物に対応するシルエット画像とは、当該人物に対し設定された人物領域における前景領域を抽象化したシルエット画像とする。なお、生成部207は、画像の垂直方向のより上側に足元が位置する人物に対応するシルエット画像に対し、より下側に足元が位置する人物に対応するシルエット画像が表側に位置するような出力画像を生成する。
Specifically, first, the
ここで、図3に示すフローを参照して、本実施形態に係る生成部207の処理について説明する。本実施形態に係る生成部207は、S306にて、設定部206により設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせつつ、シルエット画像を生成する。
Here, the processing of the
図6(f)は、上述した本実施形態に係る生成部207の処理により生成されたシルエット画像を背景画像に重畳した出力画像の一例を示している。図6(f)に示すように、単独で存在する人物600に対応するシルエット画像609のみならず、混雑領域に存在する複数の人物601に対応するシルエット画像610であっても各シルエット画像を識別可能な出力画像を生成できる。
FIG. 6F shows an example of an output image in which the silhouette image generated by the processing of the
以上説明したように、本実施形態に係る生成部207は、設定部206により設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせた。このようにすることで、複数の人物で混雑するような状況であっても、画像に含まれる人物のプライバシーを保護しつつ、画像に含まれる人物の状況を把握しやすくする。
As described above, the
(実施形態3)
実施形態2に係る生成部207は、複数の人物で混雑するような状況であっても、画像における人物の状況を把握しやすくするため、設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせた。
(Embodiment 3)
The
本実施形態に係る生成部207は、複数の人物で混雑するような状況であっても、画像における人物の状況を把握しやすくするため、次のような処理を実行する。すなわち、本実施形態に係る生成部207は、画像における複数の人物で混雑する混雑領域の位置に基づいて、設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。以下、図7を参照して、本実施形態に係る生成部207の処理について説明する。なお、実施形態1~2と異なる部分を主に説明し、実施形態1~2と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。
The
図7は、本実施形態に係る画像処理装置100の機能ブロックを示す図である。なお、図7の機能ブロックが示す各機能は、本実施形態において、ROM1420とCPU1400とを用いて、次のようにして実現されるものとする。図7に示す各機能は、画像処理装置100のROM1420に格納されたコンピュータプログラムを画像処理装置100のCPU1400が実行することにより実現される。
FIG. 7 is a diagram showing functional blocks of the
図7における通信部200、記憶部201、表示制御部202、操作受付部203、抽出部204、検出部205、設定部206の処理は、実施形態1と同様であるため説明を省略する。
The processes of the
図7に示す判定部708は、画像における混雑領域を判定する。例えば、判定部708は、検出部205により検出された人物の数に基づいて、画像における混雑領域を判定する。この場合、判定部708は、例えば、画像の全体の領域を複数の分割領域に分割し、分割領域毎に検出された人物の数を計数し、人物の数が閾値以上の分割領域を混雑領域として判定する。
A determining
また、判定部708は、例えば、画像から抽出部204により抽出された前景領域の位置とサイズに基づいて、混雑領域を判定する。具体的には、判定部708は、抽出部204により抽出された前景領域のサイズが閾値以上である場合に当該前景領域を混雑領域として判定してもよい。なお、1つの前景領域を、2値画像において前景領域を示す「1」である画素のうち、隣接した画素を連結させることで形成される領域とする。そして、判定部708は、画像から複数の前景領域が抽出された場合において、当該複数の前景領域の各々について、前景領域のサイズと、閾値とを比較して、混雑領域である前景領域を判定する。
Further, the determining
また、判定部708は、例えば、画像から抽出部204により抽出された前景領域の位置およびサイズと、画像から検出部205により検出された人物の数とに基づいて、画像における混雑領域を判定してもよい。具体的には、判定部708は、例えば、画像から抽出されたサイズが第1閾値以上の前景領域、または、画像を複数のエリアに分割したときに検出された人物の数が第2閾値以上のエリア、を混雑領域として判定する。
Further, the determining
そして、本実施形態に係る生成部207は、判定部708により判定された画像における混雑領域に位置する人物に対し設定された人物領域の各々について、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。例えば、判定部708により、図6に示す人物で混雑した領域660を混雑領域として判定する。この場合、生成部207は、判定部708により混雑領域であると判定された領域660に位置する人物に対して設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる方法は、実施形態2で説明した内容と同様であるため、説明を省略する。なお、判定部708は、例えば、検出された人物の全身の画像領域と混雑領域とが重畳している割合である重畳率が閾値以上である場合、当該人物を混雑領域に位置する人物と判定する。
Then, the
以上説明したように、本実施形態に係る生成部207は、判定部708により判定された画像における混雑領域の位置に基づいて、設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。このようにすることで、複数の人物で混雑するような状況であっても、画像に含まれる人物のプライバシーを保護しつつ、画像に含まれる人物の状況を把握しやすくする。
As described above, the
(実施形態4)
実施形態2に係る生成部207は、複数の人物で混雑するような状況であっても、画像における人物の状況を把握しやすくするため、設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせた。
(Embodiment 4)
The
本実施形態に係る画像処理装置100は、複数の人物で混雑するような状況であっても、画像における人物の状況を把握しやすくするため、次のような処理を実行する。すなわち、本実施形態に係る画像処理装置100の設定部206は、画像に含まれる人物の混雑領域に基づき、形状が異なる人物領域の設定を行う。以下、図7を参照して、本実施形態に係る設定部206の処理について説明する。なお、実施形態1~3と異なる部分を主に説明し、実施形態1~3と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。
The
図8は、混雑が発生している場合において設定される人物領域の形状を説明する図である。図8に示す人物領域800は、混雑が発生していない領域において単独で存在する人物801に対して設定部206により設定された人物領域であって、人物801の全身が収まるサイズの人物領域である。なお、本実施形態における人物領域は、便宜的に、図5に示す楕円500の形状とするが、これに限らない。例えば、設定される人物領域としては、図5に示す楕円500以外の他の形状であってもよい。
FIG. 8 is a diagram illustrating the shape of a person area that is set when congestion occurs. A
ここで、人物領域800における人物801の全身の画像領域を前景領域として抽出部204により抽出された場合を想定したとき、生成部207は、当該前景領域を抽象化してシルエット画像802を生成する。シルエット画像802が示すように、混雑が発生してない領域における人物に対し設定された人物領域において、前景領域を抽象化したシルエット画像は、人物の形状が比較的分かり易い。
Here, assuming that the
一方、人物領域810は、混雑領域(図6に示す領域660等)に存在する人物811および人物812のうち人物812に対して設定された人物領域であり、人物領域800と同じ形状の人物領域である。人物812の全身の画像領域と人物811の全身の画像領域とを前景領域として抽出部204により抽出された場合を想定したとき、生成部207は、人物812に対し設定された人物領域810における前景領域を抽象化してシルエット画像813を生成する。ここでは、人物812の背後に位置する人物811が人物領域810に一部入り込んでしまった結果、人物811の一部がシルエット画像として生成されてしまう例を示している。シルエット画像813が示すように、混雑が発生している領域における人物に対し設定された人物領域において、前景領域を抽象化したシルエット画像は、人物の形状として不自然な形状が表示されてしまい、ユーザによって見にくくなってしまうことがある。
On the other hand, a
人物領域820は、混雑領域に存在する複数の人物821および人物822のうち人物822に対し設定部206により設定された人物領域である。また、人物領域820は人物領域800および人物領域810と比較して、水平方向の幅を所定の倍率だけ縮小した人物領域の一例を示している。人物821の全身の画像領域と人物822の全身の画像領域とを前景領域として抽出部204により抽出された場合を想定したとき、生成部207は、人物822に対し設定された人物領域820における前景領域を抽象化してシルエット画像823を生成する。
The
人物領域820のように、混雑領域に存在する人物822に対しては、本実施形態に係る設定部206は、水平方向の幅を所定の倍率だけ縮小した人物領域を設定する。例えば、図7に示す判定部708は、画像における混雑領域を判定し、設定部206は、判定部708により判定された混雑領域に存在する人物の各々に対しては、水平方向の幅を所定の倍率だけ縮小した人物領域を設定する。このとき、例えば、判定部708が、画像を複数のエリアに分割し、エリア毎に検出された人物の数を計数し、人物の数が閾値を超えるエリアを混雑領域として判定する場合を想定する。この場合、設定部206は、混雑領域として判定されていないエリアにおいて検出された人物に対しては、実施形態1と同様に予め用意した人物領域を設定する。一方、設定部206は、混雑領域として判定されていないエリアにおいて検出された人物に対しては、水平方向の幅を所定の倍率だけ縮小した人物領域を設定する。
For a
また、判定部708が、画像から抽出部204により抽出された前景領域の位置とサイズに基づいて、混雑領域を判定する場合を想定する。具体的には、判定部708が、抽出部204により抽出された前景領域のサイズが閾値以上である場合に当該前景領域を混雑領域として判定する場合を想定する。この場合、設定部206は、閾値以上のサイズの前景領域に位置する人物(例えば、当該前景領域に包含されるよう位置する人物)に対しては、水平方向に所定の倍率縮小した人物領域を設定する。
Further, assume that the determining
また、判定部708が、画像から抽出部204により抽出された前景領域の位置およびサイズと、画像から検出部205により検出された人物の数とに基づいて、画像における混雑領域を判定する場合を想定する。具体的には、判定部708が、例えば、画像から抽出されたサイズが第1閾値以上の前景領域、または、画像を複数のエリアに分割したときに検出された人物の数が第2閾値以上のエリア、を混雑領域として判定する場合を想定する。この場合、設定部206は、そのように判定した混雑領域において検出された人物に対し、水平方向の幅を所定の倍率だけ縮小した人物領域を設定する。
Further, the case where the determining
以上説明したように本実施形態に係る設定部206は、判定部708により判定された画像における混雑領域に存在する人物(図8に示す人物822等)に対しては、水平方向に所定の倍率だけ縮小した人物領域を設定する。このように設定した人物領域における前景領域を抽象化したシルエット画像は、本来の人物の形状が削られたシルエット画像となることがある。しかしながら、そのようなシルエット画像は、当該人物の近傍に位置する他の人物の一部が混入したシルエット画像となることを抑制することができる。また混雑領域に存在する複数の人物の各々に対し、同様の処理を実行することで、複数の人物で混雑するような領域であっても、画像における人物の各々を個別に把握しやすくすることができる。
As explained above, the
(実施形態5)
実施形態2では、複数の人物で混雑するような状況であっても、画像における人物の状況を把握しやすくするため、設定された人物領域ごとに、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる実施形態について説明した。
(Embodiment 5)
In the second embodiment, in order to make it easier to understand the situation of the person in the image even in a situation where the image is crowded with multiple people, a silhouette image is created in which the foreground area of the person area is abstracted for each set person area. An embodiment in which the display mode of is changed has been described.
本実施形態における生成部207は、画像における人物の移動状況に応じて、当該人物に設定された人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。
The
以下本実施形態に係る画像処理装置100の処理について説明する。なお、実施形態1~4と異なる部分を主に説明し、実施形態1~4と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。
The processing of the
本実施形態に係る検出部205は、画像から人物を検出する処理に加え、更に、画像に含まれる人物を追尾する。例えば、判定部708は、現在のフレーム(現在フレーム)よりも1つ以上フレーム前のフレームの画像から検出した人物と同じ人物を着目フレームの画像から検出した場合、それぞれのフレームにおける人物同士を対応づける。すなわち、時間的に近い複数のフレームの画像間で人物を追尾する。
In addition to the process of detecting a person from an image, the
検出部205が複数のフレームの画像にわたって同じ人物であると判断する方法として、例えば、検出された人物の移動ベクトルを用いて人物の移動予測位置と検出した人物位置とが一定距離内であれば同一人物であるとする方法がある。また、検出部205は、人物の色、形状、大きさ(画素数)等を用いて、複数のフレームの画像間で相関の高い人物を対応付けてもよい。このように、検出部205は、複数のフレームの画像にわたって同じ人物であると判断して、当該人物を追尾できればよく、特定の方法に限定されるものではない。
As a method for the
本実施形態に係る判定部708は、検出部205により追尾される人物の移動の状況(移動状況)を判定する。なお、人物の移動状況としては、例えば、当該人物の移動速度や、当該人物の移動の有無などがある。ここで、判定部708は、検出部205により追尾される人物の移動速度を判定する場合を想定する。この場合、判定部708は、撮像装置110が画像を撮像するフレームレートと、検出部205により追尾される人物の画像における位置の変化とに基づき、当該人物の移動速度を判定する。
The
また、判定部708は、検出部205により追尾される人物の移動の有無を判定する場合を想定する。この場合、判定部708は、検出部205により追尾される人物について、現在のフレームにおける当該人物の位置と、1つ前のフレームにおける当該人物の位置とを比較し、当該人物の移動距離を算出する。そして、判定部708は、算出した移動距離と閾値とを比較し、当該人物の移動の有無を判定する。具体的には、判定部708は、算出した移動距離が閾値以上である場合、当該人物は移動していると判定し、算出した移動距離が閾値未満である場合、当該人物は移動していないと判定する。
Further, it is assumed that the
また、人物の移動の有無を判定する他の方法としては、複数の入力画像のフレーム間差分に基づく方法を用いてもよい。例えば、判定部708は、人物領域と、フレーム間差分により特定される動体領域のサイズとに基づいて、人物の移動の有無を判定する。具体的には、判定部708は、例えば、人物に対し設定された人物領域と、動体領域とが重畳している割合である重畳率が閾値以上である場合、当該人物は移動していると判定する。一方、判定部708は、人物に対し設定された人物領域と、動体領域との重畳率が閾値未満である場合、当該人物は移動していない判定する。なお、動体領域を特定する方法としては、抽出部204により背景画像を用いて抽出された前景領域を動体領域として特定してもよい。なお、人物の移動の有無を判定する処理は、画像を複数に分割して得られる分割領域ごとに行ってもよい。
Further, as another method for determining whether or not a person has moved, a method based on inter-frame differences of a plurality of input images may be used. For example, the
本実施形態に係る生成部207は、判定部708により判定された人物の移動状況に基づき、当該人物に設定された人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。例えば、生成部207は、判定部708により判定された人物の移動速度に基づき、当該人物に設定された人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。また、例えば、生成部207は、判定部708により判定された人物の移動の有無に基づき、当該人物に設定された人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。
The
なお、例えば、移動状況に応じて、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる方法としては、次のような処理を行ってもよい。すなわち、生成部207は、移動している人物に対し設定された人物領域における前景領域を所定の色で塗りつぶす際には、移動速度に応じて、暖色系の色の中で用いる色を異ならせる。一方、生成部207は、移動していない人物に対し設定された人物領域における前景領域を所定の色で塗りつぶす際には、寒色系の色相の中で用いる色を異ならせて表示する。このように、色の大まかな種類(暖色系の色、寒色系の色など)を移動の有無に応じて割り当て、更に、移動速度に応じて、色の大まかな種類の各々において色を異ならせるようにしてもよい。なお、人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる方法については、特定の方法に限られず、例えば、実施形態2にて説明したようなシルエット画像の表示態様を異ならせる方法を用いればよい。
Note that, for example, as a method of varying the display mode of a silhouette image in which the foreground region in the human region is abstracted depending on the movement situation, the following processing may be performed. That is, when filling the foreground area in the person area set for a moving person with a predetermined color, the
以上説明したように、本実施形態に係る画像処理装置100の生成部207は、画像における人物の移動状況に応じて、当該人物に設定された人物領域における前景領域を抽象化したシルエット画像の表示態様を異ならせる。このように、人物の移動状況に応じてシルエット画像の表示態様を異ならせることで、画像における人物の行動の様子をより把握しやすくすることが可能となる。
As described above, the
(実施形態6)
上述の各実施形態において、図6を参照して説明したように人の重なりが生じている場合であっても個々の人物の表示形態を異ならせることにより、画像に含まれる人物のプライバシーを保護しつつ、画像に含まれる人物の状況を把握しやすくすることができる。
(Embodiment 6)
In each of the above embodiments, the privacy of the people included in the image is protected by changing the display form of each person even when there are overlapping people as described with reference to FIG. At the same time, the situation of the person included in the image can be easily understood.
本実施形態では、人の重なりが生じている場合において、より明確に個々の人物を区別可能な状態で、画像に含まれる人物のプライバシーを保護しつつ、画像に含まれる人物の状況を把握しやすくする出力画像を生成する方法に関して説明する。なお、実施形態1~5と異なる部分を主に説明し、実施形態1~5と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。
In this embodiment, when people overlap, it is possible to understand the situation of the person included in the image while protecting the privacy of the person included in the image, in a state where each person can be more clearly distinguished. A method for generating an output image that is easy to use will be explained. Note that parts that are different from
図9は、本実施形態に関わる画像処理を説明するための図である。図9(a)は撮像装置110によって撮像された入力画像の一例を示しており、被写体として人物900~903が映っている。
FIG. 9 is a diagram for explaining image processing related to this embodiment. FIG. 9A shows an example of an input image captured by the
図9(b)は、本実施形態において用いられる背景画像の一例を示している。図9(c)に示す人物領域990は、本実施形態における人物領域を示しており、検出部205により検出された人物が十分に収まる大きさであり、検出された人物の位置に対し設定部206により設定される。
FIG. 9(b) shows an example of a background image used in this embodiment. A
図9(d)は、実施形態1に係る画像処理によって、生成部207により生成されたシルエット画像を背景画像に重畳した出力画像である。具体的には、図9(a)に示す入力画像から検出された人物に対して設定部206は人物領域990を設定する。そして、設定部206により設定された人物領域990における前景領域を抽象化したシルエット画像を図9(b)に示す背景画像に重畳することで生成部207は出力画像を生成する。このようにして生成部207により生成された出力画像が図9(d)に示す画像である。
FIG. 9D is an output image in which the silhouette image generated by the
ここで、図9(d)では、重なりのある人物のシルエット画像905~907は各々異なる色を用いて表示形態を異ならせている出力画像の例を示している。これより、図9(d)に示すように、単独で存在する人物900に対応するシルエット画像904のみならず、混雑領域に存在する複数の人物901~903に対応するシルエット画像905~907であっても各シルエット画像を識別可能な出力画像を生成できる。
Here, FIG. 9(d) shows an example of an output image in which overlapping
図9(d)に示す出力画像をディスプレイ130に表示する場合、ディスプレイ130の表示性能次第では、似たような色は見た目に区別ができなくなる可能性がある。この場合、多数の人物が映っている画像中では、重なった人物同士の色の差が見えにくくなる可能性がある。また、色の違いにより明示的に表示形態を異ならせる場合において、視覚的に大きく異なる色の組み合わせを使用する必要があるため、使用可能な色数に制約を設ける必要がある。しかし、使用可能な色数に比べ多数の人物が映っている場合には、使用可能な色数が不足してしまい、重なっている人物同士に同じ色が適用されて区別ができなくなる可能性もある。そこで本実施形態では、更に明確な人の区別をつけることが可能な実施形態を説明する。
When displaying the output image shown in FIG. 9D on the
図9(e)は本実施形態の好適な出力画像例を示す図である。図9(e)においては、人物領域毎に表示形態を異ならせるようにする処理に加え、人物領域の外縁であって、前景領域と重複する外縁のみ、人物領域の内部とは異なる表示形態で表示する。 FIG. 9(e) is a diagram showing a suitable example of an output image of this embodiment. In FIG. 9(e), in addition to the process of making the display form different for each person area, only the outer edge of the person area, which overlaps with the foreground area, is displayed in a different display form from the inside of the person area. indicate.
本実施形態における人物領域990は検出される人物の実際のサイズよりも大きい。そのため、例えば、画像から検出された人物900に対して人物領域990を設定する場合、人物900から抽出された前景領域と、人物900に対し設定された人物領域990の外縁とは重複しない。一方、人物同士の重なりがある人物901~903の各々に対して人物領域990を設定する場合、人物901~903の各々から抽出された前景領域と、人物901~903の各々に対する人物領域990の外縁とで重複するラインが存在する。図9(e)に示すライン908は、人物901~903から抽出された前景領域と、人物902に対し設定された人物領域990の外縁とで重複するライン(以下、重複ライン)である。また、ライン909は、人物901~903から抽出された前景領域と、人物903に対し設定された人物領域990の外縁とで重複する重複ラインである。本実施形態における生成部207は、重複ラインであるライン908およびライン909の色を、シルエット画像の色と異ならせる。例えば、生成部207は、ライン908およびライン909の色を黒色とし、シルエット画像904~907の色を黒色以外とする。このように、人物同士の重なりが存在する箇所であるライン908およびライン909を明示的に示すことで、複数の人物同士が重なった場合でも当該人物同士を容易に区別することができる。
The
なお、本実施形態における人物領域990は画像における人物が十分に収まる大きさであるものとして説明したが、これに限るものではない。例えば、多数の人物がいる状態において、実施形態4で説明したように、水平方向の幅を所定の倍率だけ縮小した人物領域を設定する場合を想定する。このような場合、人物同士の重なりが無い人物900であっても、水平方向の幅を所定の倍率だけ縮小した人物領域が設定されると、人物900から抽出される前景領域と、人物領域の外縁とで重複する重複ラインが存在する。本実施形態における生成部207は、当該重複ラインをシルエット画像と異なる色で表示させる。例えば、生成部207は、当該重複ラインを黒、シルエット画像を黒以外の色とする。なお、重複ラインに対する表示形態は人物(人物領域)毎に同じ表示形態にしてもよいし、人物(人物領域)毎に異なる表示形態にしてもよい。或いは、各々の人物の移動の有無や移動方向など特定の同じグループに分類できる人物には同じ表示形態を適用し、グループ毎に異なる表示形態にするなどを行ってもよい。
Note that although the
更に、上述の説明においては人物領域毎に内部の色を切り替え、更に人物領域の外縁における重複ラインのみ異なる表示形態にする例を示した。しかし、人物領域の外縁における重複ラインによる区別だけで十分な場合には、人物領域毎に内部の色を切り替える必要はなく、同じ色にしてもよい。或いは、何らかの分類により、同じグループに属する人物には同じ色を人物領域内部に適用し、グループ毎に異なる表示形態にするなどを行ってもよい。 Furthermore, in the above description, an example has been shown in which the internal color is changed for each human region, and only the overlapping lines at the outer edge of the human region are displayed in a different manner. However, if it is sufficient to distinguish the overlapping lines at the outer edge of the human area, it is not necessary to change the internal color for each human area, and the same color may be used. Alternatively, by some classification, the same color may be applied to the inside of the person area for people belonging to the same group, and the display format may be different for each group.
(実施形態7)
従来、駅のホームなどを撮像した静止画から電車に乗れそうか否かをユーザが把握したいというケースがある。例えば、事故や災害の発生時に、ホームや駅が人で溢れていて駅に向かっても電車に乗れるのか、それとも、電車に乗れないのかを確認したいという要求がある。このような場合において、画像に含まれる人物を抽象化したシルエット画像を含む静止画1枚からでは、電車に乗れるのか否かの状況を判断することは難しい場合がある。
(Embodiment 7)
Conventionally, there are cases in which a user wants to understand whether or not he or she is likely to board a train from a still image taken of a station platform or the like. For example, in the event of an accident or disaster, there is a demand to confirm whether the platform or station is overflowing with people and whether it is possible to board the train even if you head to the station, or whether you will not be able to board the train. In such a case, it may be difficult to determine whether or not the person can board the train based on a single still image that includes a silhouette image that is an abstraction of the person included in the image.
画像に多くの人物が存在する場合であっても当該多くの人物が流動しているとユーザは判別できれば電車に乗れそうだとユーザは判別できるが、静止画1枚からでは当該多くの人物が流動しているとユーザは判別することができない。そのため、ユーザは電車に乗れそうか否かを判別できない。一方、人物が動いているか否かに応じてシルエット画像の色を異ならせる方法により静止画1枚から人物が流動しているかをユーザは判別できる。しかしながら、画像に多くの人物がいる場合、人物同士が重なることで動きの検出に失敗してしまい、結果として人物が流動しているかを判別できず、ユーザは電車に乗れそうか否かを判断できない場合がある。そこで、本実施形態では、人物を抽象化した静止画1枚であっても、駅などで電車に乗れそうかを容易に判別できる出力画像を生成することを目的としている。以下、本実施形態における画像処理について説明するが、実施形態1~6と異なる部分を主に説明し、実施形態1~6と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。
Even if there are many people in an image, if the user can determine that many people are moving, the user can determine that they are likely to get on the train, but from a single still image, it is difficult to see that many people are moving. The user cannot tell if this is the case. Therefore, the user cannot determine whether it is likely that he or she will be able to board the train. On the other hand, a user can determine whether a person is moving from a single still image by changing the color of the silhouette image depending on whether the person is moving or not. However, when there are many people in an image, motion detection fails because the people overlap, and as a result, it is not possible to determine whether the people are moving, and the user has to judge whether or not they can get on the train. It may not be possible. Therefore, the present embodiment aims to generate an output image that can easily determine whether a person is likely to board a train at a station or the like, even if it is a single still image that abstracts a person. The image processing in this embodiment will be described below, but the differences from
まず図10に示す機能ブロックを参照して、本実施形態にかかる画像処理装置100の画像処理について説明する。なお、図10に示す各機能は、本実施形態の場合、図14を参照して後述するROM1420とCPU1400とを用いて、次のようにして実現されるものとする。図10に示す各機能は、画像処理装置100のROM1420に格納されたコンピュータプログラムを画像処理装置100のCPU1400が実行することにより実現される。
First, image processing by the
判定部708は、撮像装置110によって連続的に撮像された画像中の物体の動きを判定する。例えば、判定部708は、通信部200が連続的に受信した入力画像間のフレーム間差分に基づいて画像中の動き量を判定する。例えば、判定部708は、前のフレームの各画素値と、現在のフレームの各画素値とで差分値を算出し、算出した差分値が閾値以上の画素を動きのある画素とし、その動きのある画素の数の合計を動き量とする。動き量の判定は、画像全体で動きの量を判定するようにしてもよい。或いは、画像を複数の領域に分割し、該分割領域毎に動き量を判定するようにしてもよい。更に、判定する内容として、動き量ではなく、実施形態5で説明したように単純に動きの有無を判定するようにしてもよい。例えば、判定部708は、画像に含まれる物体を追尾し、前のフレームから現在のフレームまでの当該物体の移動距離を算出する。そして、判定部708は、算出した移動距離と閾値とを比較し、移動距離が閾値以上なら移動していると判定し、閾値以下なら移動していないと判定する。
The determining
また、判定部708は、例えば、検出部205により検出された特定の物体の位置を、通信部200が連続的に受信した入力画像間で追尾することで、特定の物体の動きを判定する。動きの判定を行う際には、例えば、画像内に映っている特定の物体の全てを対象に判定を行うようにする。或いは、所定の画像位置毎に選択した代表物体を対象に動きの判定を行い、代表物体の周辺に映っている他の特定の物体の動きに反映する。或いは、画像内を複数の領域に分割し、分割領域内で一つ以上の代表物体を選択して動きの判定を行い、分割領域内に映っている他の特定の物体の動きに反映する。このように代表物体の動きを周辺の特定の物体の動きに反映することにより、追尾や動きの判定処理を削減することが可能になる。
Further, the
調整部1000は、判定部708の判定結果に基づいて、検出部205で検出された特定の物体のうち、抽象化してシルエット画像とする特定の物体(抽象化対象)の数を調整する。例えば、判定部708の判定の結果から得られた画像内全体の動き量が所定値以上であれば、検出部205で検出された人物の全てを抽象化対象とするのでなく、一部の人物を抽象化対象とする。言い換えれば、調整部1000は、抽象化対象の人物の数を削減する。
Based on the determination result of the
削減の方法としては、例えば、動き量に基づいて上限数を設定し、検出部205で検出された人物の数が上限数を超えていた場合には、上限数までシルエット画像とする人物の数を削減する。上限数の決定方法としては、動き量が多いほど上限数を減らす。なお、動き量が所定以下では上限数を設けないようにしてもよい。
As a reduction method, for example, an upper limit is set based on the amount of movement, and if the number of people detected by the
更に、調整部1000における抽象化対象の特定の物体の削減方法における他の好適な例としては、所定の割合で削減する、或いは所定数まで一律に削減するなど他の方法を適用してもよい。また、調整部1000における抽象化対象としない物体(非抽象化対象)の決定方法としては、画像中の物体の位置がなるべく分散するように非抽象化対象の物体を決定するとよい。非抽象化対象の物体の決定方法としては、例えば、視覚的な影響の大きいと考えられる画像の手前側の物体から遠方の物体に順番に代表物体を設定し、該代表物体に最も近い物体を非抽象化対象とする。これを削減数まで繰り返すことで、画像中の物体を平均的に間引くように抽象化対象の数を削減することが可能になる。或いは、削減物体の決定方法としては、例えば、物体間の距離が近い複数の特定の物体を検索し、該距離が近い複数物体の中から非抽象化対象の物体を決定する。これを削減数まで繰り返すことで、画像中の物体密度の高い領域から非抽象化対象の物体が選択されるため、画像中の物体の密度の偏りを少なくするように抽象化対象とする物体の数を削減することが可能になる。
Further, as other preferable examples of the method for reducing specific objects to be abstracted in the
更に、調整部1000における抽象化対象の物体の削減方法、或いは非抽象化対象の物体の決定方法としては、例えば、画像を複数の領域に分割し、分割領域毎に上述の処理を適用する。このようにすることで、特定の画像領域において検出された物体の削減を他の画像領域と異ならせることが可能になり、撮像場面に応じた抽象化対象の物体の数の調整が可能となる。更に、調整部1000における物体数の調整方法は上述の方法に限定するものではなく、乱数などを使用してランダムに決定するなど、同様の効果をもたらす他の方法により実現してもよい。
Furthermore, as a method for reducing objects to be abstracted or determining objects to be non-abstracted in the
生成部207は、調整部1000による調整の結果に基づき、抽象化対象とされた特定の物体に対応する領域を抽象化したシルエット画像を生成する。本実施形態において、生成部207は、抽象化対象とされた特定の物体に対し設定された特定領域における前景領域を抽象化したシルエット画像を生成する。そして、生成部207は、生成したシルエット画像を背景画像に重畳することで出力画像を生成する。
The
次に、図11および図12を参照して、本実施形態に係る画像処理装置100の画像処理について更に詳細に説明する。図11は、本実施形態に係る画像処理装置100の画像処理の流れを示すフローチャートである。また、図12は、本実施形態に係る画像処理装置100の画像処理を説明するための図である。
Next, image processing by the
なお、図11に示すフローを実行することで、設定された人物領域における前景領域を抽象化したシルエット画像を、抽象化対象の数の調整を行った後に背景画像に重畳した出力画像を生成することができる。なお、図11に示すフローの処理は、例えば、ユーザによる指示に従って、開始又は終了するものとする。なお、図11に示すフローチャートの処理は、撮像装置110のROM1420に格納されたコンピュータプログラムを撮像装置110のCPU1400が実行して実現される図2に示す機能ブロックにより実行されるものとする。
Note that by executing the flow shown in FIG. 11, an output image is generated in which a silhouette image in which the foreground region in the set human region is abstracted is superimposed on the background image after adjusting the number of abstraction targets. be able to. It is assumed that the processing of the flow shown in FIG. 11 is started or ended, for example, according to an instruction from a user. Note that the processing in the flowchart shown in FIG. 11 is executed by the functional blocks shown in FIG. 2, which are realized by the
まず、S1101にて、通信部200は、撮像装置110が撮像した画像(入力画像)を受信する。図12(a)は、通信部200が受信する入力画像の一例を示す図である。図12(a)に示す画像には、複数の人物が含まれている。
First, in S1101, the
次に、S1102にて、抽出部204は、背景画像を取得する。図12(b)は、S1102にて抽出部204により取得される背景画像の一例を示す図であり、図12(a)に示す画像との差異は、人物1201~1209の有無である。
Next, in S1102, the
次に、S1103にて、抽出部204は、撮像された入力画像から前景領域を抽出する。本実施形態における抽出部204は、通信部200が受信した入力画像と背景画像とを比較することにより、前景領域を抽出する。図12(c)は、S1103にて、抽出部204により、図12(a)に示す入力画像と、図12(b)に示す背景画像とを比較することにより抽出された前景領域を含む画像である。図12(c)に示す前景領域は黒色で示されている。
Next, in S1103, the
次に、S1104にて、検出部205は、照合パターン(辞書)を用いて、入力画像から人物を検出する。図12に示す例において、検出部205は、図12(a)に示す入力画像から、人物1201~1209を検出する。
Next, in S1104, the
次に、S1105にて、判定部708は、連続して受信した複数の入力画像から検出された人物の動き量を判定する。ここで、駅などにおいて通常の場合であれば人が歩行している場面を撮像すると、人物の動きが検出される。一方、駅に入場規制がかかっている場合、多くの人が動けない状況で行列を形成することになるため、検出部205では、所定未満の人物の動きしか検出されない。このように、画像内の動きの量を人の流れが滞留している可能性を示唆している情報(滞留可能性情報)であるとする。
Next, in S1105, the
次に、S1106にて、調整部1000は、S1105において判定した人物の動きに基づいて、検出された人物1201~1209のうち抽象化対象とする人物の数の調整を行う。例えば、調整部1000は、S1105で判定された動き量が所定値以上であれば、検出部205で検出された人物の全てを抽象化対象とするのでなく、一部の人物を抽象化対象とする。
Next, in S1106, the
調整部1000が行う調整内容の具体例としては、滞留が発生している可能性が低い場合には、後述する出力画像において人が動ける空間が十分にあることを視覚的にわかりやすくするために、抽象化対象とする人物の削減を行う。このようにすることで、混雑が発生しているものの、滞留状態にはなっていないことを、後述する出力画像に反映させることが可能となる。
As a specific example of the adjustment content performed by the
一方、滞留が発生している可能性が高い場合には、後述する出力画像において実際の状況を視覚的にわかりやすくするため、抽象化対象とする人物の削減を行わないようにする。或いは、滞留の発生している可能性に応じて削減割合を変更する。ここで、判定部206において、滞留が発生している可能性が高いと判断された場合であっても、実際には混雑が発生しているとは限らない。しかし、この場合であっても抽象化対象とする人物が削減されないだけであり、混雑が発生していない実際の状況を、後述する出力画像に反映させることが可能となる。
On the other hand, if there is a high possibility that stagnation has occurred, the number of people to be abstracted is not reduced in order to make the actual situation easier to visually understand in the output image described later. Alternatively, the reduction rate is changed depending on the possibility that stagnation has occurred. Here, even if the determining
次に、S1107にて、設定部206は、検出部205により検出され、更に調整部1000において人数調整が行われた結果得られた人物の位置、及び大きさに基づいて、人物に対応する形状の領域である人物領域を設定する。つまり、設定部206は、抽象化対象とされた人物に対し人物領域を設定する。
Next, in S1107, the
次に、S1108にて、生成部207は、設定部206により設定された人物領域における前景領域を抽象化したシルエット画像を生成する。
Next, in S1108, the
次に、S1109にて、生成部207は、S1108において生成したシルエット画像を、背景画像に重畳した出力画像を生成する。図12(d)に示す画像は、調整部1000において人数の調整が行われなかった場合に、生成部209において生成される出力画像の例であり、検出部205において検出された人物の動きが少なかった場合に対応している。一方、図12(e)は、調整部1000で人数の調整を行った場合に生成部207において生成される出力画像の例であり、検出部205において検出された人物の動きが多かった場合に対応している。
Next, in S1109, the
図12(e)に示すように、抽象化対象とする人物の数の調整が行われた結果人物が間引かれた場合、シルエット画像中の人物間に隙間が多くなる。その結果、図12(e)に示す画像からは、あまり混雑していない様子を表示することが可能になる。図12(e)に示す画像は実際の検出人数を反映していないものの、撮像領域は人が動くことが可能であることを一目でわかりやすい形で閲覧者に提示することが可能となるため、例えば駅に入場できないような状況にはなっていないことが容易に判断可能となる。 As shown in FIG. 12E, when people are thinned out as a result of adjusting the number of people to be abstracted, there are many gaps between the people in the silhouette image. As a result, from the image shown in FIG. 12(e), it becomes possible to display an appearance that is not very crowded. Although the image shown in FIG. 12(e) does not reflect the actual number of people detected, it is possible to present to the viewer in a form that is easy to understand at a glance that people can move in the imaging area. For example, it can be easily determined that the situation is not such that it is impossible to enter the station.
一方、図12(d)に示すように、抽象化対象とする人物の数の調整が行われた結果人物が間引かれなかった場合、シルエット画像中の人物間の隙間は検出部205の検出結果に基づいて決定される。ここで、調整部1000において人数の変更が行われなかった場合であっても、撮像範囲内にいる人数が少なかった場合には検出部205で検出される人数は少ないため、結果として人物間に隙間の多いシルエット画像が生成されることになる。一方、撮像範囲内に多くの人物が存在していた場合、検出部205で検出される人数が多くなり、結果として人物間に隙間が少ないシルエット画像が生成されることになる。人物間に隙間が少ない画像が閲覧者に提示された場合、閲覧者は混雑している様子をシルエット画像から確認することができる。
On the other hand, as shown in FIG. 12(d), when the number of people to be abstracted is adjusted and the people are not thinned out, the gaps between the people in the silhouette image are detected by the
次に、S1110にて、表示制御部202は、生成部207により生成された出力画像を出力する。なお、本実施形態において、表示制御部202は、生成部207により生成された出力画像をディスプレイ130に表示させる。
Next, in S1110, the
次に、S1111にて、ユーザにより処理を終了する指示がある場合(S1111にてYes)、処理を終了する。一方、ユーザにより処理を終了する指示がない場合(S1111にてNo)、S1101へ戻り、通信部200は次のフレームの画像(入力画像)を受信する。
Next, in S1111, if the user instructs to end the process (Yes in S1111), the process ends. On the other hand, if there is no instruction from the user to end the process (No in S1111), the process returns to S1101, and the
なお上述の説明においては、背景差分法により前景領域を抽出し、人物領域における前景領域を抽象化したシルエット画像を背景画像に重畳させることで出力画像を生成したが、これに限定されるものではない。例えば、入力画像にエッジ抽出処理を施して得られたエッジ成分を、検出部205により検出された人物の位置に基づいて切り出すことにより得られるエッジをシルエット画像として用いてもよい。或いは、検出部205により検出された人物の領域の輪郭線をシルエット画像として用いてもよい。或いは、該輪郭線の内部領域を塗りつぶした結果得られる塗りつぶし画像をシルエット画像として用いてもよい。或いは、検出部205により検出された入力画像における人物の位置に対応する背景画像における位置に当該人物の存在を示すアイコンを重畳してもよい。つまり、人物の存在を示すアイコンをシルエット画像として用いてもよい。その他、人数調整が適用可能なシルエット画像の生成方法であれば、いかなる方法を適用してもよい。
In the above explanation, the foreground region is extracted by the background subtraction method, and the output image is generated by superimposing a silhouette image, which is an abstraction of the foreground region in the human region, on the background image, but the present invention is not limited to this. do not have. For example, edges obtained by performing edge extraction processing on the input image and cutting out edge components based on the position of the person detected by the
更に、上述の例を適用する際には、入力画像全体に同一の処理を行うのみならず、入力画像を複数領域に分割して、分割領域毎に異なる抽象化対象とする人物の数の調整を行うようにしてもよい。 Furthermore, when applying the above example, in addition to performing the same processing on the entire input image, it is also necessary to divide the input image into multiple regions and adjust the number of people to be abstracted differently for each divided region. You may also do this.
以上説明したように、本実施形態に係る画像処理装置によれば、人の動きの量に応じて閲覧者が見る画像中の様子を異ならせることが可能になる。その結果、人が動けないような混雑状況が発生している場合には混雑している様子を示す画像を提示することが可能になる。一方混雑してはいるものの、電車の乗り降りなどにより人が動いている状況であれば、人が動ける状況である様子を示す画像を提示することが可能になる。このようにすることで、本実施形態では、人物を抽象化した静止画1枚であっても、駅などで電車に乗れそうかを容易に判別できる出力画像を生成することができる。なお、画像中の人の動き方は撮像したカメラの設置場所や設置方法によって異なるため、同じ動き量が得られた場合であってもカメラの設置場所、或いは駅によって異なる対応が必要になる場合がある。そのため、S1105において判定した人物の動きに加え、所定の判断基準に基づいて判定を行うようにし、当該判定結果に基づいてS1106の調整を行うようにしてもよい。 As described above, according to the image processing device according to the present embodiment, it is possible to change the appearance of the image that the viewer sees depending on the amount of movement of the person. As a result, when a crowded situation occurs where people cannot move, it becomes possible to present an image showing the congestion. On the other hand, if the situation is crowded but people are moving, such as getting on and off the train, it is possible to present an image that shows the situation in which people can move. By doing so, in this embodiment, even if it is a single still image in which a person is abstracted, it is possible to generate an output image that can easily determine whether a person is likely to board a train at a station or the like. Please note that the way people move in an image varies depending on the location and installation method of the camera that captured the image, so even if the same amount of movement is obtained, different measures may be required depending on the location of the camera or station. There is. Therefore, in addition to the movement of the person determined in S1105, the determination may be made based on a predetermined criterion, and the adjustment in S1106 may be performed based on the determination result.
(実施形態8)
実施形態7においては、検出された特定の物体の動きを滞留可能性情報とし、該滞留可能性情報に基づいて、抽象化対象とする特定の物体の数の調整を行った後に、シルエット画像の生成を行う例を示した。本実施形態においては、特定の物体の動き以外の情報を滞留可能性情報として該特定の物体の数の調整を行い、シルエット画像の生成を行う例を説明する。以下、実施形態1~7と異なる部分を主に説明し、実施形態1~7と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。
(Embodiment 8)
In the seventh embodiment, the detected movement of a specific object is used as residence possibility information, and the number of specific objects to be abstracted is adjusted based on the residence possibility information, and then the silhouette image is An example of generation is shown. In this embodiment, an example will be described in which the number of specific objects is adjusted using information other than the movement of specific objects as residence possibility information, and a silhouette image is generated. Hereinafter, parts that are different from
プラットホーム、駅、博物館、美術館、ショッピングモール、スタジアムなどの人が集まる施設のような場所においては、何らかの理由により人が殺到して円滑な利用が困難になる場合がある。このような場合、円滑な利用が困難になったことを示す情報(利用情報)が発せられる。利用情報の具体例としては、電車など交通機関の運行情報(遅延の発生の有無、遅延時間、運転再開までの予想時間など)、プラットホームや駅、博物館など施設への入場規制の有無の情報、施設への入場待ち時間の情報などが挙げられる。そして、該利用情報が発信された場合には、円滑な利用ができなくなっている可能性があることから、滞留が発生する可能性がある。特に、待ち時間が長くなることを示す情報が発信された場合には、時間の経過とともに混雑度合が増えてゆき、最終的には人の滞留につながる可能性がある。そこで、本実施形態においては、該利用情報を滞留可能性情報として、調整部1000により調整を行う例を示す。
BACKGROUND ART In places such as platforms, stations, museums, art galleries, shopping malls, stadiums, and other facilities where people gather, for some reason, people may rush in and make it difficult to use the facilities smoothly. In such a case, information (usage information) indicating that smooth use has become difficult is issued. Specific examples of usage information include information on the operation of trains and other means of transportation (whether or not there will be delays, delay times, estimated time until operations resume, etc.), information on whether or not there are restrictions on entry to platforms, stations, museums, and other facilities, Examples include information on waiting times to enter the facility. If the usage information is sent out, it may not be possible to use it smoothly, so there is a possibility that stagnation will occur. In particular, if information indicating that waiting times will be longer is sent out, the degree of congestion will increase over time, which may eventually lead to people staying behind. Therefore, in this embodiment, an example is shown in which the
以下、図13を参照して、本実施形態に係る画像処理について説明する。なお、図13に示すS1101~S1104までの処理は図11で説明した内容と同様であるため説明を省略する。図13においてS1300にて、通信部200は、上述の利用情報を受信する。なお、S1300にて、本実施形態における通信部200は、利用情報として運行情報を受信するものとする。次に、S1301にて、調整部1000は、S1300において受信した運行情報に基づいて、検出された人物1201~1209の一部を抽象化対象とすることで、抽象化対象とする人の数の調整を行う。なお、図13に示すS1107~S1111までの処理は図11で説明した内容と同様であるため説明を省略する。
Image processing according to this embodiment will be described below with reference to FIG. 13. Note that the processing from S1101 to S1104 shown in FIG. 13 is the same as that described in FIG. 11, and therefore the description thereof will be omitted. In S1300 in FIG. 13,
なお、利用情報には様々な種類があるだけでなく、同じ利用情報であってもカメラの設置場所、或いは駅によって異なる対応が必要になる場合がある。例えば、同じ遅延時間の情報を受信した場合でも、駅によって発生する混雑状況は異なる。そのため、S1300において受信した利用情報を、所定の判断基準に基づいて判定し、該判定結果に基づいてS1301の調整を行うようにしてもよい。その結果、同じ利用情報から異なる調整を行った結果に基づくシルエット画像を生成することが可能になる。 Note that not only are there various types of usage information, but even the same usage information may require different responses depending on the location where the camera is installed or the station. For example, even if information about the same delay time is received, the congestion situation that occurs differs depending on the station. Therefore, the usage information received in S1300 may be determined based on predetermined criteria, and the adjustment in S1301 may be performed based on the determination result. As a result, it becomes possible to generate a silhouette image based on the results of performing different adjustments from the same usage information.
本実施形態における利用情報に基づく調整の例としては、次のような方法がある。すなわち、利用情報が電車の遅延の発生などの運行情報、或いは入場規制中であることを示す情報であった場合、混雑している様子がシルエット画像に反映されるように、抽象化対象とする人物の数の調整は行わないようにする。一方、利用情報が発せられていない、或いは平常時を示す情報の場合には、人数の調整を行うようにする。更に、利用情報に遅延時間や運転再開までの予想時間が含まれていた場合には、該遅延時間、或いは該予想時間が長いほど混雑する可能性が高まるため、人数調整による削減の割合が少なくなるようにする。このように、人が動けないような混雑が発生する可能性が高い場合には、実際の混雑状態を反映したシルエット画像を生成し、人が動ける程度の混雑度合であった場合には人が動けることを容易に把握可能なシルエット画像を生成することが可能となる。なお、本実施例においては上述の利用情報に基づいて、抽象化対象とする人物の数の調整を行う例を示したが、これに限定するものではない。例えば、利用情報に加えて、実施形態7において図11のS1105で説明した人物の物体の動きを併せて考慮するようにしてもよい。 Examples of adjustments based on usage information in this embodiment include the following method. In other words, if the usage information is operational information such as train delays, or information indicating that admission is being restricted, it will be abstracted so that the congestion is reflected in the silhouette image. Avoid adjusting the number of people. On the other hand, if the usage information has not been issued or the information indicates normal times, the number of people will be adjusted. Furthermore, if the usage information includes the delay time or the expected time until operation resumes, the longer the delay time or the expected time, the higher the possibility of congestion, so the reduction rate by adjusting the number of people will be smaller. I will make it happen. In this way, if there is a high possibility that congestion will occur where people cannot move, a silhouette image will be generated that reflects the actual congestion, and if the congestion is such that people can move, it will be possible to create a silhouette image that reflects the actual congestion. It is possible to generate a silhouette image that allows easy movement. In addition, in this embodiment, an example was shown in which the number of people to be abstracted is adjusted based on the above-mentioned usage information, but the present invention is not limited to this. For example, in addition to the usage information, the movement of the person's object described in S1105 of FIG. 11 in the seventh embodiment may also be considered.
(実施形態9)
実施形態7~8では、S1106、或いはS1301において行う調整部1000による調整の処理として、抽象化対象とする人数を削減する方法について説明した。本実施形態では、他の調整方法について説明する。
(Embodiment 9)
In the seventh and eighth embodiments, a method of reducing the number of abstraction targets has been described as an adjustment process performed by the
混雑が発生して人の密度が高くなると人物同士の重なりが増えるため、S1104で行われる人物検出の方法によっては人としての特徴を捉えることが難しくなり、検出される人数が少なくなる場合がある。例えば、照合パターンを用いる場合に、照合する対象の人物領域が隠れてしまう場合などが挙げられる。この場合には、連続する複数の入力画像において、S1103で行われる前景領域の抽出の結果、前景領域の面積が減少していないにもかかわらず検出される人数が少なくなる。そこで、連続する複数の入力画像間において前景領域が減少していないにもかかわらず検出人数が減少した場合には、人物検出が困難な混雑が発生している可能性があると判定し、抽象化対象とする人物の数を増やすように調整する。このようにすることで、人物検出に失敗している人が発生しているにもかかわらず、人が動けないほどの混雑が発生している状況を示すシルエット画像の生成を行うことが可能になる。 When congestion occurs and the density of people increases, the number of people overlapping each other increases, so depending on the method of person detection performed in S1104, it may be difficult to capture human characteristics, and the number of detected people may decrease. . For example, when using a matching pattern, a person area to be matched may be hidden. In this case, as a result of the extraction of the foreground region performed in S1103 in the plurality of consecutive input images, the number of people detected decreases even though the area of the foreground region does not decrease. Therefore, if the number of detected people decreases even though the foreground area does not decrease between multiple consecutive input images, it is determined that there is a possibility of congestion that makes it difficult to detect people, and abstract Adjust to increase the number of people targeted. By doing this, it is possible to generate a silhouette image that shows a situation where people are so crowded that they cannot move, even though there are people whose detection fails. Become.
抽象化対象とする人物の数を増やすように調整を行うかどうかの判定の具体例としては、以下のようにしてもよい。すなわち、調整部1000は、前景領域が所定面積以上ある場合において、過去の画像における検出人数と前景領域の割合に比べ、検出人数が所定以上減少した場合に、抽象化対象とする人の数を増やす方向で調整すると判定するとよい。なお、該判定の際の検出人数と前景領域の割合は実行時に動的に決定してもよいが、予め測定した結果を固定的に保持しておくようにしてもよい。
A specific example of determining whether to make adjustments to increase the number of people to be abstracted may be as follows. That is, when the foreground region has a predetermined area or more, the
更に、上述の例においては前景領域を用いて判定を行うようにしたが、本実施形態はこれに限るものではない。例えば、背景画像と入力画像について各々画像中のエッジを検出し、検出されたエッジの類似度によって画像中に発生している変化の大きさを判定する。この変化の大きさが所定以上発生しているにもかかわらず、検出された人数が減少している場合に抽象化対象とする人数を増やす方向で調整を行うようにしてもよい。その他、画像中の時間的な変化を捉えることが可能な方法であればいかなる方法を用いてもよい。 Further, in the above example, the foreground region is used for determination, but the present embodiment is not limited to this. For example, edges in the background image and input image are detected, and the magnitude of change occurring in the image is determined based on the degree of similarity between the detected edges. If the number of people detected is decreasing even though the magnitude of this change is greater than a predetermined value, adjustments may be made to increase the number of people to be abstracted. Any other method may be used as long as it is capable of capturing temporal changes in the image.
また、抽象化対象とする人の数を増やす際の人物挿入方法としては、画像中の変化が発生している位置であって、且つ検出されている人物間の空間が埋まるように人物の位置を決定するとよい。また、増やす人物の大きさは、周囲で検出された人物の大きさに基づいて決定するとよいが、その際に撮像画角の影響で位置によって人の大きさが大きく変化する場合があるため、この変化を考慮するようにしてもよい。更に、増加させる抽象化対象の人数に関しては、前述の検出された人物の隙間が埋まるまで行うようにするとよい。或いは、所定時間内において検出された最大人数まで増加させる、最大人数に対して所定の人数を超えるまで増加させるなど、視覚的に混雑が発生している様子が表現される人数まで増加させるようにする様々な方法が適用可能である。 In addition, when increasing the number of people to be abstracted, the method of inserting people is to insert the person at a position where a change occurs in the image and to fill the space between the detected people. It is a good idea to decide. Also, the size of the person to be added should be determined based on the size of the people detected in the surrounding area, but at that time, the size of the person may change greatly depending on the position due to the influence of the imaging angle of view. This change may be taken into consideration. Furthermore, regarding the number of abstraction targets to be increased, it is preferable to increase the number of abstraction targets until the aforementioned gaps between detected persons are filled. Alternatively, the number of people may be increased to a level that visually indicates that congestion has occurred, such as increasing the number of people to the maximum number of people detected within a predetermined time, or increasing the number of people until a predetermined number of people exceeds the maximum number of people. Various methods are applicable.
本実施形態で説明したように人数調整を行った後に、前述の実施形態において説明したシルエット画像の生成を行うことにより、様々な状況下においても汎用的に混雑状況を閲覧者が把握可能な画像を生成することが可能になる。 After adjusting the number of people as described in this embodiment, by generating the silhouette image as described in the previous embodiment, the image allows the viewer to understand the congestion situation in a general manner under various situations. It becomes possible to generate.
(その他の実施形態)
次に図14を参照して、各実施形態の各機能を実現するための画像処理装置100のハードウェア構成を説明する。なお、以降の説明において画像処理装置100のハードウェア構成について説明するが、記録装置120および撮像装置110も同様のハードウェア構成によって実現されるものとする。
(Other embodiments)
Next, with reference to FIG. 14, the hardware configuration of the
本実施形態における画像処理装置100は、CPU1400と、RAM1410と、ROM1420、HDD1430と、I/F1440と、を有している。
The
CPU1400は画像処理装置100を統括制御する中央処理装置である。RAM1410は、CPU1400が実行するコンピュータプログラムを一時的に記憶する。また、RAM1410は、CPU1400が処理を実行する際に用いるワークエリアを提供する。また、RAM1410は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。
The
ROM1420は、CPU1400が画像処理装置100を制御するためのプログラムなどを記憶する。HDD1430は、画像データ等を記録する記憶装置である。
The
I/F1440は、ネットワーク140を介して、TCP/IPやHTTPなどに従って、外部装置との通信を行う。
The I/
なお、上述した各実施形態の説明では、CPU1400が処理を実行する例について説明するが、CPU1400の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ130にGUI(GRAPHICAL USER INTERFACE)や画像データを表示する処理は、GPU(GRAPHICS PROCESSING UNIT)で実行してもよい。また、ROM1420からプログラムコードを読み出してRAM1401に展開する処理は、転送装置として機能するDMA(DIRECT MEMORY ACCESS)によって実行してもよい。
In addition, in the description of each embodiment mentioned above, an example will be described in which the
なお、本発明は、上述の実施形態の1以上の機能を実現するプログラムを1つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。また、画像処理装置100の各部は、図14に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。
Note that the present invention can also be implemented by a process in which one or more processors read and execute a program that implements one or more of the functions of the embodiments described above. The program may be supplied to a system or device having a processor via a network or a storage medium. The present invention can also be implemented by a circuit (eg, an ASIC) that implements one or more of the functions of the embodiments described above. Further, each part of the
なお、上述の各実施形態において、隠蔽対象(抽象化の対象)である特定の物体を人物として説明したが、本発明はこれに限らない。例えば、背景画像上に映っていない物体であって、撮像範囲の状況を把握するために有用な物体であれば人物検出と同様に当該物体検出を行い、上述の処理を適用してシルエット画像を生成して背景画像に重畳した出力画像を生成してもよい。状況の把握に有用な物体としては例えば、邪魔になりやすい旅行用の大きなカバンや、工事個所に設置される進入禁止を示すバリケードなど様々な物体が挙げられる。 Note that in each of the embodiments described above, the specific object that is the object of concealment (object of abstraction) is described as a person, but the present invention is not limited to this. For example, if it is an object that is not visible in the background image and is useful for understanding the situation in the imaging range, the object is detected in the same way as human detection, and the above processing is applied to create a silhouette image. An output image may be generated and superimposed on the background image. Objects useful for understanding the situation include various objects, such as large travel bags that tend to get in the way, and barricades set up at construction sites to indicate that entry is prohibited.
なお、上述した各実施形態に係る画像処理装置100の1以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る画像処理装置100の1以上の機能を撮像装置110が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。
Note that another device may have one or more functions of the
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。 Although the present invention has been described above along with the embodiments, the above embodiments are merely examples of implementation of the present invention, and the technical scope of the present invention is interpreted to be limited by these embodiments. It's not a thing. That is, the present invention can be implemented in various forms without departing from its technical idea or main features. For example, a combination of each embodiment is also included in the disclosure content of this specification.
100 画像処理装置
110 撮像装置
200 通信部
201 記憶部
202 表示制御部
203 操作受付部
204 抽出部
205 検出部
206 設定部
207 生成部
708 判定部
1000 調整部
100
Claims (13)
前記入力画像から特定の物体を検出する検出手段と、
前記検出手段により検出された特定の物体の位置に基づいて、少なくとも一部が曲線の形状の領域である特定領域を設定する設定手段と、
前記設定手段により設定された特定領域以外の前記前景領域は、前記入力画像に対応する所定の画像に重畳せず、前記設定手段により設定された特定領域における前記前景領域を抽象化したシルエット画像を、前記所定の画像に重畳した出力画像を生成する生成手段と、
前記入力画像における混雑領域を判定する判定手段と、を有し、
前記設定手段は、前記判定手段により判定された混雑領域に位置する人物に対し、水平方向の幅を所定の倍率だけ縮小させた特定領域を設定することを特徴とする画像処理装置。 Extracting means for extracting a foreground region from the captured input image;
detection means for detecting a specific object from the input image;
Setting means for setting a specific area, at least a part of which is a curved area, based on the position of the specific object detected by the detection means;
The foreground area other than the specific area set by the setting means is not superimposed on a predetermined image corresponding to the input image, but a silhouette image is created by abstracting the foreground area in the specific area set by the setting means. , generating means for generating an output image superimposed on the predetermined image;
determining means for determining a crowded area in the input image,
The image processing apparatus is characterized in that the setting means sets a specific area whose horizontal width is reduced by a predetermined magnification for a person located in the crowded area determined by the determination means.
前記入力画像から特定の物体を検出する検出工程と、
前記検出工程により検出された特定の物体の位置に基づいて、少なくとも一部が曲線の形状の領域である特定領域を設定する設定工程と、
前記設定工程により設定された特定領域以外の前記前景領域は、前記入力画像に対応する所定の画像に重畳せず、前記設定工程により設定された特定領域における前記前景領域を抽象化したシルエット画像を、前記所定の画像に重畳した出力画像を生成する生成工程と、前記入力画像における混雑領域を判定する判定工程と、を有し、
前記設定工程は、前記判定工程により判定された混雑領域に位置する人物に対し、水平方向の幅を所定の倍率だけ縮小させた特定領域を設定することを特徴とする画像処理装置の制御方法。 an extraction step of extracting a foreground region from the captured input image;
a detection step of detecting a specific object from the input image;
a setting step of setting a specific region, at least a part of which is a curved region, based on the position of the specific object detected in the detection step;
The foreground area other than the specific area set in the setting step is not superimposed on a predetermined image corresponding to the input image, but a silhouette image is created by abstracting the foreground area in the specific area set in the setting step. , a generation step of generating an output image superimposed on the predetermined image, and a determination step of determining a crowded area in the input image,
The method for controlling an image processing apparatus is characterized in that the setting step sets a specific area whose horizontal width is reduced by a predetermined magnification for a person located in the crowded area determined in the determining step.
A program for causing a computer to function as each means of the image processing apparatus according to claim 1.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018242175 | 2018-12-26 | ||
JP2018242175 | 2018-12-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020107297A JP2020107297A (en) | 2020-07-09 |
JP7418074B2 true JP7418074B2 (en) | 2024-01-19 |
Family
ID=71449226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019030373A Active JP7418074B2 (en) | 2018-12-26 | 2019-02-22 | Image processing device, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7418074B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7455715B2 (en) * | 2020-09-24 | 2024-03-26 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Crowd situation estimation device, method and program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005117163A (en) | 2003-10-03 | 2005-04-28 | Canon Inc | Camera server apparatus, control method thereof, computer program and computer-readable storage medium |
JP2005235104A (en) | 2004-02-23 | 2005-09-02 | Jr Higashi Nippon Consultants Kk | Mobile object detecting system, mobile object detecting device, mobile object detecting method, and mobile object detecting program |
JP2009225398A (en) | 2008-03-19 | 2009-10-01 | Secom Co Ltd | Image distribution system |
JP2014063470A (en) | 2012-08-29 | 2014-04-10 | Jvc Kenwood Corp | Depth estimation device, depth estimation method, depth estimation program, image processing device, image processing method, and image processing program |
JP2017098879A (en) | 2015-11-27 | 2017-06-01 | パナソニックIpマネジメント株式会社 | Monitoring device, monitoring system and monitoring method |
JP2018195292A (en) | 2017-05-12 | 2018-12-06 | キヤノン株式会社 | Information processing apparatus, information processing system, information processing method, and program |
-
2019
- 2019-02-22 JP JP2019030373A patent/JP7418074B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005117163A (en) | 2003-10-03 | 2005-04-28 | Canon Inc | Camera server apparatus, control method thereof, computer program and computer-readable storage medium |
JP2005235104A (en) | 2004-02-23 | 2005-09-02 | Jr Higashi Nippon Consultants Kk | Mobile object detecting system, mobile object detecting device, mobile object detecting method, and mobile object detecting program |
JP2009225398A (en) | 2008-03-19 | 2009-10-01 | Secom Co Ltd | Image distribution system |
JP2014063470A (en) | 2012-08-29 | 2014-04-10 | Jvc Kenwood Corp | Depth estimation device, depth estimation method, depth estimation program, image processing device, image processing method, and image processing program |
JP2017098879A (en) | 2015-11-27 | 2017-06-01 | パナソニックIpマネジメント株式会社 | Monitoring device, monitoring system and monitoring method |
JP2018195292A (en) | 2017-05-12 | 2018-12-06 | キヤノン株式会社 | Information processing apparatus, information processing system, information processing method, and program |
Non-Patent Citations (1)
Title |
---|
米司 健一,他5名,駅構内モニタカメラを用いた混雑度可視化技術,情報処理学会 デジタルプラクティス[online] ,日本,情報処理学会,2017年04月15日,第8巻 第2号,第152-159頁,ISSN 2188-4390 |
Also Published As
Publication number | Publication date |
---|---|
JP2020107297A (en) | 2020-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7173196B2 (en) | Image processing device, image processing method, and program | |
US10614311B2 (en) | Automatic extraction of secondary video streams | |
US8848053B2 (en) | Automatic extraction of secondary video streams | |
WO2018103244A1 (en) | Live streaming video processing method, device, and electronic apparatus | |
US10540791B2 (en) | Image processing apparatus, and image processing method for performing scaling processing based on image characteristics | |
EP3291549B1 (en) | Display control apparatus, display control method, and program | |
EP2602692A1 (en) | Method for recognizing gestures and gesture detector | |
JP2016085742A (en) | Foreground image diving method and foreground image dividing device | |
JP2005149144A (en) | Object detection device, object detection method, and recording medium | |
US9148463B2 (en) | Methods and systems for improving error resilience in video delivery | |
KR102387357B1 (en) | A method and apparatus for detecting an object in an image by matching a bounding box on a space-time basis | |
WO2014194501A1 (en) | Combining a digital image with a virtual entity | |
KR20140066428A (en) | A method and apparatus for processing image data corresponding to successive motions of objects in time | |
TW202109454A (en) | Object tracking device, control method, and program | |
JP7418074B2 (en) | Image processing device, image processing method, and program | |
JP5693147B2 (en) | Photographic interference detection method, interference detection device, and surveillance camera system | |
US20170186223A1 (en) | Detection of shadow regions in image depth data caused by multiple image sensors | |
JP3784796B2 (en) | Mobile body-associated information display device | |
JP7297455B2 (en) | Image processing device, image processing method, and program | |
JP7327936B2 (en) | Image processing device, image processing method, and program | |
KR102468685B1 (en) | Workplace Safety Management Apparatus Based on Virtual Reality and Driving Method Thereof | |
JP7455545B2 (en) | Information processing device, information processing method, and program | |
Umeda et al. | Real-time manga-like depiction based on interpretation of bodily movements by using kinect | |
JP2012212235A (en) | Object detection system, object detection method, and program | |
JP2008178088A (en) | Monitoring system, monitoring method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231128 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7418074 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |