JP2023154181A - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP2023154181A JP2023154181A JP2022063325A JP2022063325A JP2023154181A JP 2023154181 A JP2023154181 A JP 2023154181A JP 2022063325 A JP2022063325 A JP 2022063325A JP 2022063325 A JP2022063325 A JP 2022063325A JP 2023154181 A JP2023154181 A JP 2023154181A
- Authority
- JP
- Japan
- Prior art keywords
- image
- view
- angle
- image processing
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 68
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000003384 imaging method Methods 0.000 claims abstract description 42
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 description 38
- 238000001514 detection method Methods 0.000 description 28
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000007639 printing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は画像処理装置および画像処理方法に関する。 The present invention relates to an image processing device and an image processing method.
現在、介護施設や病院の入居者の見守り用として監視カメラが普及している。一方で、監視カメラに映る個人のプライバシー保護の重要性が高まっている。個人のプライバシーを保護するための技術として、入力された画像を背景画像と比較することによって、人物等の前景物をシルエット画像等により隠蔽することにより、個人のプライバシーを保護した画像(プライバシー保護画像)を生成する技術がある。当該技術を実行するには入力された画像と比較される背景画像が必要である。特許文献1には、画像から背景画像を生成する手法が記載されている。
Surveillance cameras are currently in widespread use for monitoring residents in nursing homes and hospitals. On the other hand, the importance of protecting the privacy of individuals captured on surveillance cameras is increasing. As a technology to protect personal privacy, the input image is compared with the background image, and foreground objects such as people are hidden by silhouette images, etc., so that the privacy of the individual is protected (privacy protection image). ) is available. Implementing the technique requires a background image to be compared with the input image.
カメラの画角が変化したとき、背景を更新することが必要になる。しかしながら特許文献1の技術では、背景の更新が完了するまで時間を要し、その間はプライバシー保護画像を表示することが出来ない。
When the angle of view of the camera changes, it becomes necessary to update the background. However, with the technique of
本発明の目的は、撮影画角に応じて効率的に背景画像とシルエット画像を合成することができる画像処理装置を提供することである。 An object of the present invention is to provide an image processing device that can efficiently combine a background image and a silhouette image according to the shooting angle of view.
上記した目的を達成するために、本発明の1つの態様による画像処理装置は、撮像装置により複数の異なる画角で撮影した画像から、パノラマ背景画像を生成する第一の生成手段と、前記撮像装置の現在の画角に対応する背景画像を前記パノラマ背景画像から取得する取得手段と、前記背景画像と前記現在の画角の撮影画像との差分に基づいて、シルエット画像を生成する第二の生成手段と、前記シルエット画像を前記背景画像に合成する合成手段と、を備える。 In order to achieve the above object, an image processing device according to one aspect of the present invention includes a first generation means for generating a panoramic background image from images photographed at a plurality of different angles of view by an imaging device; an acquisition unit that acquires a background image corresponding to the current angle of view of the device from the panoramic background image; and a second acquisition unit that generates a silhouette image based on a difference between the background image and a captured image at the current angle of view. The image forming apparatus includes a generating means and a synthesizing means for synthesizing the silhouette image with the background image.
本発明によれば、撮影画角に応じて効率的に背景画像とシルエット画像を合成することができる。 According to the present invention, it is possible to efficiently combine a background image and a silhouette image according to the shooting angle of view.
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. Note that the following embodiments do not limit the claimed invention. Although a plurality of features are described in the embodiments, not all of these features are essential to the invention, and the plurality of features may be arbitrarily combined. In the accompanying drawings, the same or similar components are designated by the same reference numerals, and redundant description will be omitted.
第一の実施形態
図1は、本実施形態に係る画像処理システム100の構成例を示す。画像処理システム100は、一例として、録画装置(撮像装置)101と表示装置102を有する。録画装置101および表示装置102のそれぞれは、例えば図2のようなハードウェア構成を有し得る。なお、図2は一例であり、録画装置101および表示装置102は図2に示されたハードウェア構成以外の構成を有してもよいし、図2に示された構成の一部を有さなくてもよい。
First Embodiment FIG. 1 shows a configuration example of an
録画装置101および表示装置各装置102は、図2に示すように、記憶部201、制御部202、機能部203、入力部204、出力部205および通信部206を有する。
記憶部201は、ROM、RAMの両方、または、いずれか一方により構成され、後述する各種動作を行うためのプログラムや、通信や各種処理のためのパラメータ等の各種情報を記憶する。なお、記憶部201として、ROMおよびRAMの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリカード、DVDなどの記憶媒体が用いられてもよい。ROMはRead Only Memoryの略である。RAMはRandom Access Memoryの略である。CD-ROMのCDはCompact Discの略である。CD-RはCompact Disc Recordableの略である。DVDはDigital Versatile Discの略である。
The
The
制御部202は、例えば、CPUやMPU等のプロセッサー、ASIC(特定用途向け集積回路)、DSP(デジタルシグナルプロセッサ)、FPGA(フィールドプログラマブルゲートアレイ)等により構成される。CPUはCentral Processing Unitの略である。MPUはMicro Processing Unitの略である。制御部202は、記憶部201に記憶されたプログラムを実行することにより装置全体を制御する。なお、制御部202は、記憶部201に記憶されたプログラムとOS(Operating System)との協働により装置全体を制御するようにしてもよい。
The
また、制御部202は、機能部203を制御して、撮像等の所定の処理を実行する。機能部203は、装置が所定の処理を実行するためのハードウェアである。例えば、図2の装置が録画装置(撮像装置)101である場合、機能部203は撮像部であり、撮像処理を行う。撮像部はレンズおよびセンサを有する。図2の装置が表示装置102であって、表示装置102がプリント機能を有する場合、機能部203は、例えば、印刷部である。表示装置102がプロジェクタ機能を有する場合、機能部203は、例えば、投影部である。機能部203が処理するデータは、記憶部201に記憶されているデータであってもよいし、通信部206を介して他の装置から受信したデータであってもよい。
Further, the
入力部204は、ユーザからの各種操作の受け付ける(受け入れる)。入力部204は例えば、テンキー、ボタン、スイッチ、マウス等を含む。入力部204はタッチパネルを含んでもよい。
出力部205は、ユーザに対して各種出力を行う。出力部205による出力とは、画面上への表示や、スピーカーによる音声出力、振動出力等の少なくとも1つを含む。つまり、出力部205は、ディスプレイ、スピーカー、振動体などを備える。なお、タッチパネルのように入力部204と出力部205の両方を1つのモジュールで実現するようにしてもよい。
The
The
通信部206は、例えば有線通信(又は無線通信)の制御や、IP通信の制御を行う。図2の装置(録画装置101、表示装置各装置102)は通信部206を介して、画像データ、文書データ、映像データ等のコンテンツを相手側装置(102、101)や他の装置に送信する。例えば、録画装置101と表示装置102との間の通信は、各装置の通信部206を介して行われる。
The
図1に示すように、録画装置101は、その機能構成として、画像取得部111、画像保存部112、画像送信部113およびPTZ制御部114を含む。PTZはPan(パン)、Tilt(チルト)、Zoom(ズーム)の略である。本実施形態の画像処理システム100では、事前設定として、録画装置101のパンおよびチルトを変化させながらパノラマ画像(16個の画角の撮影画像からなる)を生成し、当該パノラマ画像から特徴点を抽出して記憶する。特徴点とは画像上で特徴のある点である。例えば、構造物の角や隅などの輝度の変化が大きくて検出しやすい点を特徴点とする。パノラマ画像は例えば図4に示したような画像である。事前設定については、図3~図5を用いて後述する。
画像取得部111は、例えば制御部202が記憶部201に記憶されたプログラムを実行して機能部(撮像部)203を制御することで実現される。画像取得部111は、機能部(撮像部)203を用いて、所定の間隔で画像を取得して、当該画像を画像保存部112に供給する。
As shown in FIG. 1, the
The
画像保存部112は、例えば記憶部201によって実現される。画像保存部112は、画像取得部111から取得した画像を保存する。すなわち機能部(撮像部)203によって撮像された画像が、画像保存部112に録画されることになる。
画像送信部113は、例えば通信部206によって実現される。画像送信部113は、表示装置102から画像の取得要求を受信したことに応じて、画像保存部112に保存された画像の中から、要求された画像を取得して表示装置102へと送信する。なお、画像送信部113が表示装置102から受信する取得要求は、例えば、少なくとも画像の撮影時刻を指定する情報を含む信号であり、画像送信部113は、当該情報により指定された撮影時刻に従って、表示装置102に送信すべき画像を決定することができる。
PTZ制御部114は、例えば、録画装置101の撮影方向を変化(変動)させる。
The
The
For example, the
表示装置102は、その機能構成として、画像受信部121、検出部122、パノラマ画像生成部123、画角算出部124、背景更新部125、パノラマ背景保存部126および表示用背景保存部127を有する。また、表示装置102は、その機能構成として、シルエット画像生成部128、差分用背景保存部129、出力部130、特徴点抽出部131、特徴点保存部132および画角保存部133を含む。表示装置102は、録画装置101から受信した画像を処理するので、画像処理装置と称してもよい。
The
画像受信部121は、例えば通信部206によって実現される。画像受信部121は、録画装置101へ画像の取得要求を送信し、録画装置101からその応答として画像を受信して取得する。そして、画像受信部121は、取得した画像を検出部122、画角算出部124、背景更新部125、シルエット画像生成部128および特徴点抽出部131へ供給する。以下の記載において、画像受信部121により取得された画像を取得画像と称する場合がある。
The
検出部122は、例えば制御部202が記憶部201に記憶されたプログラムを実行することによって実現される。検出部122は、取得画像に写っている人物の領域を検出する。人物の領域の検出は、例えばパターンマッチング法を用いて実行される。検出部122は、取得画像に人物が写っているか否かを判定し、人物が1つ以上写っている場合に当該人物それぞれが写っている取得画像上の領域の座標の情報を生成する。以下の記載では、検出部122により生成された情報を検出結果と称する。本実施形態において、領域の座標は、人物が写っている領域を含む矩形領域の座標であるとする。なお、領域の座標は、例えば、人物の形状に沿った曲線で囲まれた領域を特定するための座標であってもよい。人物が写っている領域は、例えば、人物の顔と体が写っている領域である。人物が写っている領域は、例えば、人物の顔のみを含む領域であってもよい。以下の記載では、人物が写っている領域を人物領域と称する。検出部122は、取得画像の中の人物領域を所定の画像に置き換え、人物を画像から削除することもできる。人物を画像から削除して得られた画像を、検出画像または検出後画像と称する。
The
なお、検出部122は、人物を検出する処理ではなく、背景差分法を用いた動体検出処理やその他の物体検出処理など、取得画像から任意の前景物の領域を抽出する任意の処理を実行しうる。検出部122は、さらに、人や車など物体領域の属性を判定し、人などの所定の属性を持つ背景物でない物体の領域のみを検出結果としてもよい。検出部122は、動画符号化に使用するフレーム間の動き情報を、物体の有無を示す情報として用いてもよい。検出結果の生成は、背景画像の生成時に行われてもよいが、これに限定されない。例えば、録画装置101において、画像保存部112に画像を保存する際や、画像取得部111が撮影された画像を取得した際に、上述のような検出処理が行われてもよい。この場合、検出結果が、画像と共に、メタデータとして画像保存部112に保存されるようにしてもよい。
Note that the
パノラマ画像生成部123は、例えば制御部202が記憶部201に記憶されたプログラムを実行することによって実現される。パノラマ画像生成部123は、検出部122から供給された検出後画像を合成してパノラマ背景画像を生成する。パノラマ画像生成部123は、パノラマ背景生成部と称してもよい。
特徴点抽出部131は、例えば制御部202が記憶部201に記憶されたプログラムを実行することによって実現される。徴点抽出部131は、画像受信部121から取得画像を受け取り、当該取得画像から特徴点を抽出する。画像から特徴点を抽出する方法は、公知のものを使用する。
特徴点保存部132は、例えば制御部202が記憶部201に記憶されたプログラムを実行することによって実現される。特徴点保存部132は、特徴点抽出部131が抽出した特徴点を保存する。
The panoramic
The feature
The feature
画角算出部124は、例えば制御部202が記憶部201に記憶されたプログラムを実行することによって実現される。画角算出部124は、録画装置101の画角を算出する。画角を算出する方法として、例えば、特徴点を使用する方法がある。本実施形態では、事前にパノラマ画像400(図4)を生成しており、パノラマ画像400を生成する過程において画像中の特徴点の特徴と位置を、例えば、記憶部201に保存している。記憶部201に保存された特徴点と、撮影されて取得された取得画像から特徴点抽出部131により抽出され特徴点保存部132に保存された特徴点とのマッチング(照合)を行い、その結果を用いて画角を算出する。算出された画角は、以下の記載において、算出画角と称される場合がある。
The angle of
背景更新部125は、例えば制御部202が記憶部201に記憶されたプログラムを実行することによって実現される。背景更新部125は、差分用背景画像と表示用背景画像の更新を行う。差分用背景画像は、取得画像との差分に基づいて、人物のシルエット画像(隠蔽画像)を生成するための画像である。
パノラマ背景保存部126は、例えば制御部202が記憶部201に記憶されたプログラムを実行することによって実現される。パノラマ背景保存部126は、パノラマ画像生成部123により生成されたパノラマ背景画像を保存する。
表示用背景保存部127は、例えば制御部202が記憶部201に記憶されたプログラムを実行することによって実現される。表示用背景保存部127は、背景更新部125から表示用背景画像を受け取り、当該表示用背景画像を保存する。
差分用背景保存部129は、例えば制御部202が記憶部201に記憶されたプログラムを実行することによって実現される。差分用背景保存部129は、背景更新部125から差分用背景画像を受け取り、当該差分用背景画像を保存する。
The
The panoramic
The display
The difference
シルエット画像生成部128は、例えば制御部202が記憶部201に記憶されたプログラムを実行することによって実現される。シルエット画像生成部128は、差分用背景画像と取得画像の差分に基づいて、人物のシルエット画像を生成する。なお、シルエット画像生成部128は、人物に限らずに前景物のシルエット画像を生成しうるが、例えばパターン認識によって人物を特定し、人物以外についてはシルエット画像を生成しないようにしてもよい。シルエット画像生成部128は、例えば、差分用背景画像を差分用背景保存部129から取得し、取得画像を画像受信部121から取得する。シルエット画像は人物等の所定のオブジェクト(被写体)を隠蔽する画像であるので、オブジェクト隠蔽画像と称してもよい。
The silhouette
出力部130は、例えば図2の出力部205によって実現される。出力部130は、表示用背景保存部127に保存されている表示用背景画像にシルエット画像生成部128が生成したシルエット画像を合成してディスプレイの表示画面(不図示)のいずれかに出力する。表示用背景画像にシルエット画像を合成した画像を、本実施形態では、プライバシー保護画像と称する。
画角保存部133は、例えば制御部202が記憶部201に記憶されたプログラムを実行することによって実現される。画角保存部133は、画角算出部124が算出した画角を保存する。
The
The view
本実施形態の処理を行う前に事前設定を行う。事前設定は、パノラマ背景画像の作成とパノラマ背景画像の特徴点の抽出とを含む。
図3、図4及び図5を用いてパノラマ背景画像の生成と特徴点の抽出を説明する。図中、Sはステップの略である。本実施形態では、16個の画角でパノラマ背景画像の撮影・生成が行われるとする。
Prior settings are made before performing the processing of this embodiment. The presetting includes creating a panoramic background image and extracting feature points from the panoramic background image.
Generation of a panoramic background image and extraction of feature points will be explained using FIGS. 3, 4, and 5. In the figure, S stands for step. In this embodiment, it is assumed that a panoramic background image is photographed and generated at 16 angles of view.
まずS301で録画装置101はPTZ制御部114により機能部(撮像部)203を所定の画角に設定する。所定の画角とは、図4に示した「1」から「16」までの16個の画角である。なお、「1」~「16」は、図中〇の中に数字を記載している。
図4はパノラマ画像400が録画装置101の16個の画角「1」~「16」で撮影した16個の撮影画像401~416から構成されていることを表した図である。撮影画像401~416の各々は、パノラマ画像400の部分画像と称してもよい。なお画角の個数は16個に限定されない。16個の画角「1」~「16」はPTZ制御部114の最大限の可動範囲での画角の構成である。図4に示した画角「1」~「16」は、隣接する撮影画像の間にすき間が出来ないように設定されていて、撮影画像の周辺部には隣接する撮影画像と重複する領域がある。例えば、図4の撮影画像401と撮影画像405の間の縦2本線は、撮影画像401と撮影画像405が重複する領域を示している。PTZ制御部114は、まず「1」の画角を設定し、その後、順次、「2」「3」・・・「15」の画角を設定し、「16」の画角の設定をして終了する。なお、画角の設定の順番は「1」→「2」→「3」→・・・→「16」に限定されない。パノラマ画像400を生成する際、PTZ制御部114はズーム機能を使用しなくてよい。
First, in S301, the
FIG. 4 is a diagram showing that a
次にS302で検出部122は画像受信部121から取得画像を取得する。
次にS303で特徴点抽出部131は取得画像から特徴点を抽出する。
次にS304で特徴点保存部132は、抽出した特徴点の位置と特徴を保存する。図5はパノラマ画像400上に抽出した特徴点を配置したことを表す図である。録画装置101が撮影方向(パン、チルト)を変えた時に撮影されている画像から抽出される特徴点と保存されている特徴点をマッチングさせ撮影方向(画角)を算出することができる。
Next, in S302, the
Next, in S303, the feature
Next, in S304, the feature
次にS305で検出部122は取得画像から人物領域を検出する。
次にS306で検出部122は、検出した人物領域(人物画像)を所定の画像に置き換え、人物を画像から削除する(人物画像の除去)。
次にS307で検出部122は、検出画像(部分画像401)を保存する。
Next, in S305, the
Next, in S306, the
Next, in S307, the
次にS308でパノラマ画像生成部123は検出画像を、図4の4行×4列のマトリックス内の所定の位置に配置する。
次にS309で全ての画角(「1」~「16」)の撮影が終了したか判定し、終了していなければS301に戻り、終了していればS310に進む。
次にS310でパノラマ画像生成部123が配置された検出画像(部分画像401~416)を合成してパノラマ画像400を生成する。
以上でパノラマ背景画像生成と特徴点の抽出を終了する。
Next, in S308, the panoramic
Next, in S309, it is determined whether photography of all angles of view ("1" to "16") has been completed. If not, the process returns to S301, and if it has been completed, the process advances to S310.
Next, in S310, the panoramic
This completes the panoramic background image generation and feature point extraction.
次に事前設定後の処理について説明する。
画像処理システム100は録画装置101がパンチルトを制御しながら画像を撮影し、その画像を表示装置102が取得し、適切な背景に更新し、更新した背景を用いてプライバシー保護画像を生成して表示する。以下のその詳細を説明する。
Next, processing after presetting will be explained.
In the
画像処理システム100の処理の概要を図6で説明する。
まずS601で録画装置101が画像を撮影する。
次にS602で表示装置102が画像を取得する。
次にS603で表示装置102が差分用背景画像と表示用背景画像を更新する。
次にS604で表示装置102がプライバシー保護画像を生成して表示する。
次にS605で処理を終了するかしないかの判定をする。終了しない場合はS601に戻ってS601~S605を繰り返す。以上が画像処理システム100の処理の概要である。
An overview of the processing of the
First, in S601, the
Next, in step S602, the
Next, in S603, the
Next, in step S604, the
Next, in S605, it is determined whether or not to end the process. If it does not end, return to S601 and repeat S601 to S605. The above is an overview of the processing of the
次にS603の差分用背景画像と表示用背景画像の更新について、図7と図8を用いて説明する。
まず差分用背景画像の更新を図7のフローチャートで説明する。
まずS701で背景更新部125は画角算出部124から、表示装置101の現在のフレームの算出画角を取得する。また、背景更新部125は画角保存部133から前フレーム(現在のフレームの前のフレーム)の画角を取得する。
Next, updating of the difference background image and the display background image in S603 will be explained using FIGS. 7 and 8.
First, updating of the difference background image will be explained with reference to the flowchart of FIG.
First, in step S<b>701 , the
次にS702で背景更新部125は算出画角と前フレーム画角を比較し、算出画角が前フレーム画角から変化しているか否かを判定する。算出画角が前フレーム画角から変化している場合にはS703に進み、変化していない場合にはS706に進む。
S703で背景更新部125は取得した画角に相当する背景画像をパノラマ背景保存部126から取得する。この画像を取得背景画像と称する。
Next, in S702, the
In S703, the
次にS704で背景更新部125は差分用背景画像をパノラマ背景保存部126から取得した取得背景画像を用いて更新する。取得背景画像と差分用背景画像の画像サイズが異なる場合は、取得背景画像を差分用背景画像の画像サイズにリサイズして更新する。
次にS705で背景更新部125は、更新した差分用背景画像を、差分用背景保存部129に保存する。
Next, in step S704, the
Next, in S705, the
算出画角(現在の画角)が前フレーム画角(以前の画角)から変化していない場合、S706で、背景更新部125は、画像受信部121から取得画像を取得する。
次にS707で背景更新部125は、検出部122から検出結果を取得する。
次にS708で背景更新部125は、取得画像と検出結果を用いて差分用背景画像を更新する。そしてS705に進む。
以上で差分用背景画像の更新を終了する。
If the calculated angle of view (current angle of view) has not changed from the previous frame angle of view (previous angle of view), the
Next, in S707, the
Next, in S708, the
This completes the updating of the differential background image.
次に表示用背景画像の更新を図8のフローチャートで説明する。
まずS801で背景更新部125は画角算出部124から表示装置101の算出画角を取得する。また、背景更新部125は画角保存部133から前フレーム画角を取得する。
次にS802で背景更新部125は算出画角と前フレーム画角を比較し、算出画角が前フレーム画角から変化しているか否かを判定する。算出画角が前フレーム画角から変化している場合にはS803に進み、変化していない場合は処理を終了する。
Next, updating of the display background image will be explained with reference to the flowchart of FIG.
First, in step S<b>801 , the
Next, in S802, the
S803で背景更新部125は取得した画角に相当する背景画像をパノラマ背景保存部126から取得する。この画像は取得背景画像である。
次にS804で背景更新部125は表示用背景画像を、パノラマ背景保存部126から取得した取得背景画像を用いて更新する。取得背景画像と表示用背景画像の画像サイズが異なる場合は、取得背景画像を表示用背景画像の画像サイズにリサイズして更新する。
次にS805で背景更新部125は、更新した表示用背景画像を表示用背景保存部127に保存する。
以上で表示用背景画像の更新を終了する。
In S803, the
Next, in S804, the
Next, in S805, the
This completes the updating of the display background image.
本実施形態では、予め16個の画角で撮影したパノラマ背景画像を用意してある。従って、画像録画装置(撮像装置)101の画角が変化したとき、それに対応する背景画像は既に用意されている。よって、特許文献1の技術と比べて、背景画像の更新に要する時間を短縮することができる。
本実施形態によれば、録画装置(撮像装置)101の撮影画角が変わっても、背景画像を短時間で更新し、更新された背景画像に人物(人体)のマスク画像を重畳・合成してプライバシー保護画像を作成することが出来る。
In this embodiment, panoramic background images taken at 16 angles of view are prepared in advance. Therefore, when the angle of view of the image recording device (imaging device) 101 changes, a background image corresponding to the change has already been prepared. Therefore, compared to the technique of
According to this embodiment, even if the shooting angle of view of the recording device (imaging device) 101 changes, the background image is updated in a short time, and the mask image of the person (human body) is superimposed and synthesized on the updated background image. You can create privacy-protected images using
なお、録画装置101のPTZ制御部114、表示装置102の検出部122、パノラマ画像生成部123、画角算出部124、背景更新部125、シルエット画像生成部128および特徴点抽出部131は、ASIC等の専用のハードウェアで実装されてもよい。ハードウェアとして実装される場合は、各機能部それぞれ又はいくつかをまとめた専用のハードウェアモジュールとして実装してもよい。ASICは、Application Specific Integrated Circuit(特定用途向け集積回路)の略である。
また、画像処理システム100は、録画装置101および表示装置102の機能を有する1つの画像処理装置によって構成されてもよい。つまり、撮像装置である録画装置101は、表示装置102に内蔵されてもよい。あるいは、録画装置101は複数の装置やモジュール等によって構成されてもよいし、表示装置102も複数の装置やモジュール等によって構成されてもよい。
また、表示装置102は、自装置内で画角を算出するのではなく、録画装置101から画角情報そのものを取得してもよい。
Note that the
Further, the
Furthermore, the
第二の実施形態
図9に、本実施形態に係る画像処理システム100Aの構成例を示す。本実施形態は第一の実施形態の構成から特徴点抽出部131と特徴点保存部132を外し、PT送信部911とPT受信部921を追加したものである。PT送信部911は録画装置101に設けられ、PT受信部921は表示装置102に設けられる。第一の実施形態との動作の違いは録画装置101の画角の算出方法である。第一の実施形態では画角の算出に画像の特徴点を用いたが、本実施形態では特徴点を用いない。特徴点を用いないので第一の実施形態の事前設定で行われた特徴点の抽出と保存は省略される。本実施形態では、予め画角算出部124に録画装置101のレンズ情報を入力されているとする。以下、第一実施形態との相違点について説明する。
Second Embodiment FIG. 9 shows a configuration example of an
PT送信部911は、例えば制御部202が記憶部201に記憶されたプログラムを実行することによって実現される。PT送信部911は、PTZ制御部114で用いているパン、チルトの値を表示装置102に送信する。パン、チルトの値はパンチルト情報と称してよい。
PT受信部921は、例えば制御部202が記憶部201に記憶されたプログラムを実行することによって実現される。PT受信部921は、PT送信部911から送信されたパン、チルトの値を受信する。
The
The
本実施形態の画角の算出について説明する。画角算出部124はPT受信部921から録画装置101のパン、チルト情報を取得する。画角算出部124はパン、チルト情報とレンズ情報を用いて録画装置101の画角を算出する。
なお、録画装置101のレンズ情報は、予め表示装置102に入力されていなくてもよい。例えば、録画装置101のレンズ情報は、録画装置101から表示装置102に送信されてもよい。
Calculation of the angle of view in this embodiment will be explained. The view
Note that the lens information of the
第二の実施形態においても、第一の実施形態と同様に、録画装置(撮像装置)101の撮影画角が変化しても、背景画像を短時間で更新し、更新された背景画像に人体のマスク画像を重畳してプライバシー保護画像を作成することが出来る。 In the second embodiment, as in the first embodiment, even if the shooting angle of view of the recording device (imaging device) 101 changes, the background image is updated in a short time, and a human body is included in the updated background image. It is possible to create a privacy protection image by superimposing the mask image.
第三の実施形態
本実施形態の画像処理システム100の構成は第一の実施形態(図1)と同じである。第一の実施形態との違いは差分用背景画像の更新に関する処理である。以下、第一実施形態との相違点について説明する。
画角が変化したときに(例えば、図4の「6」の画角から「1」の画角へ変化したとき)、変化前の画角の画像(例えば、画像406)と変化後の画角の画像(例えば、画像401)に重複領域がある場合がある。この場合、重複領域の差分用背景画像はそのまま画角変化後も使用することができる。本実施形態では、重複領域の差分用背景画像を画角変化後も使用する。これが、本実施形態と第一の実施形態との違いである。画角が変化したときに重複領域があるとは図10のような場合を表す。画角の変化前と変化後に重複領域(重複領域画像、差分用背景画像)がある場合は、図11のように画角変化前の重複領域の画像を画角変化後の重複領域に複製する(コピーする)。
Third Embodiment The configuration of an
When the angle of view changes (for example, from the angle of view "6" in FIG. 4 to the angle of view "1"), the image at the angle of view before the change (for example, image 406) and the image after the change are displayed. There may be an overlapping area in the corner image (for example, image 401). In this case, the background image for difference in the overlapping area can be used as is even after the viewing angle is changed. In this embodiment, the background image for difference in the overlapping area is used even after the viewing angle is changed. This is the difference between this embodiment and the first embodiment. The presence of an overlapping region when the angle of view changes refers to the case shown in FIG. 10. If there is an overlapping area (overlapping area image, background image for difference) before and after changing the viewing angle, the image of the overlapping area before changing the viewing angle is duplicated into the overlapping area after changing the viewing angle, as shown in Figure 11. (make a copy).
図12のフローチャートを用いて、重複領域の差分用背景画像の設定について説明する。
まずS1201で背景更新部125は画角算出部124から表示装置101の算出画角を取得する。また、背景更新部125は画角保存部133から前フレーム画角を取得する。
次にS1202で背景更新部125は算出画角と前フレーム画角を比較し、算出画角が前フレーム画角から変化しているか否かを判定する。算出画角が前フレーム画角から変化している場合にはS1203に進み、変化していない場合にはS1209に進む。
Setting of the background image for difference in the overlapping area will be explained using the flowchart of FIG. 12.
First, in S1201, the
Next, in S1202, the
S1203で背景更新部125は取得した画角に相当する背景画像をパノラマ背景保存部126から取得する。この画像は取得背景画像である。
次にS1204で背景更新部125は算出画角と前フレーム画角に基づいて、算出画角の画像と前フレーム画角の画像との重複領域を算出することにより、重複領域(重複領域画像)が存在するか否かを判定する。重複領域が存在すればS1205に進み、存在していない場合にはS1208に進む。
In S1203, the
Next, in S1204, the
S1205で背景更新部125は前フレーム画角の重複領域の差分用背景画像で算出画角の重複領域の差分用背景画像を更新する。前フレーム画角の重複領域と算出画角の重複領域の画像サイズが異なる場合は、算出画角の重複領域の画像サイズにリサイズして更新する。
次にS1206で背景更新部125は差分用背景画像の非重複領域をパノラマ背景保存部126から取得した取得背景画像を用いて更新する。取得背景画像と差分用背景画像の非重複領域の画像サイズが異なる場合は、取得背景画像を差分用背景画像の画像サイズにリサイズして更新する。
In S1205, the
Next, in S1206, the
次にS1207で背景更新部125は、更新した差分用背景画像を、差分用背景保存部129に保存する。
算出画角と前フレーム画角に重複領域がなかった場合(つまり、S1208に進んだ場合)、背景更新部125は差分用背景画像をパノラマ背景保存部126から取得した取得背景画像を用いて更新する。取得背景画像と差分用背景画像の画像サイズが異なる場合は、取得背景画像を差分用背景画像の画像サイズにリサイズして更新する。
Next, in S1207, the
If there is no overlapping area between the calculated angle of view and the angle of view of the previous frame (that is, if the process advances to S1208), the
算出画角が前フレーム画角から変化していない場合(つまり、S1209に進んだ場合)、背景更新部125は、画像受信部121から取得画像を取得する。
次にS1210で背景更新部125は、検出部122から検出結果を取得する。
次にS1211で背景更新部125は、取得画像と検出結果を用いて差分用背景画像を更新する。そしてS705に進む。
以上で差分用背景画像の更新を終了する。
第三の実施形態においても、第一の実施形態と同様に、録画装置(撮像装置)101の撮影画角が変化しても、背景画像を短時間で更新し、更新された背景画像に人体のマスク画像を重畳してプライバシー保護画像を作成することが出来る。
本実施形態では、録画装置101の現在の画角の画像と前フレームの画角の画像で重複領域がある場合、シルエット画像生成部128が使用する背景画像は、当該重複領域において、前フレームの画角の画像の重複領域から複製した重複領域画像を使用することになる。
If the calculated angle of view has not changed from the angle of view of the previous frame (that is, if the process advances to S1209), the
Next, in S1210, the
Next, in S1211, the
This completes the updating of the differential background image.
In the third embodiment, as in the first embodiment, even if the shooting angle of view of the recording device (imaging device) 101 changes, the background image is updated in a short time, and a human body is added to the updated background image. It is possible to create a privacy protection image by superimposing the mask image.
In this embodiment, if there is an overlapping area between the image at the current angle of view of the
その他の実施形態
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行することによっても達成できる。 従って、本発明の機能処理をコンピュータで実現するために、当該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明には、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Other Embodiments The present invention provides a program that implements one or more of the functions of the embodiments described above to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device. This can also be achieved by reading and executing a program. Therefore, in order to realize the functional processing of the present invention on a computer, the program code itself installed in the computer also realizes the present invention. That is, the present invention also includes the computer program itself for realizing the functional processing of the present invention. In that case, as long as it has the function of a program, it may be in the form of an object code, a program executed by an interpreter, script data supplied to the OS, or the like. The present invention can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
本実施形態の開示は、以下の構成および方法を含む。
構成1
撮像装置により複数の異なる画角で撮影した画像から、パノラマ背景画像を生成する第一の生成手段と、
前記撮像装置の現在の画角に対応する背景画像を前記パノラマ背景画像から取得する取得手段と、
前記背景画像と前記現在の画角の撮影画像との差分に基づいて、シルエット画像を生成する第二の生成手段と、
前記シルエット画像を前記背景画像に合成する合成手段と、
を備えることを特徴とする画像処理装置。
構成2
前記第一の生成手段は、前記複数の異なる画角で撮影した画像の各々から人物画像を除去する除去手段を有することを特徴とする構成1に記載の画像処理装置。
構成3
前記撮像装置の現在の画角を算出する算出手段をさらに備えることを特徴とする構成2に記載の画像処理装置。
構成4
前記画像処理装置は、前記複数の異なる画角で撮影した画像の各々から特徴点を抽出する抽出手段をさらに備え、
前記算出手段は、前記算出した画角の撮影画像の特徴点と前記抽出手段により抽出した特徴点とを照合して、前記画角を算出することを特徴とする構成3に記載の画像処理装置。
構成5
前記算出手段は、前記撮像装置の向きと前記撮像装置のレンズ情報から前記画角を算出することを特徴とする構成3に記載の画像処理装置。
構成6
前記撮像装置の向きは、前記撮像装置のパンチルト情報を含むことを特徴とする構成5に記載の画像処理装置。
構成7
前記撮像装置の現在の画角の画像とそれ以前の画角の画像で重複領域がある場合、前記第二の生成手段が使用する前記背景画像は、前記重複領域において、前記それ以前の画角の画像の重複領域から複製した重複領域画像を使用することを特徴とする構成1乃至6のいずれか1項に記載の画像処理装置。
構成8
前記現在の画角の重複領域の画像サイズと前記それ以前の画角の重複領域の画像サイズが異なる場合、前記それ以前の画角の重複領域の画像サイズを前記現在の画角の重複領域の画像サイズに合わせることを特徴とする構成7に記載の画像処理装置。
構成9
前記撮像装置は、前記画像処理装置に内蔵されていることを特徴とする構成1乃至8のいずれか1項に記載の画像処理装置。
方法
撮像装置により複数の異なる画角で撮影した画像から、パノラマ背景画像を生成するステップと、
前記撮像装置の現在の画角に対応する背景画像を前記パノラマ背景画像から取得するステップと、
前記背景画像と前記現在の画角の撮影画像との差分に基づいて、シルエット画像を生成するステップと、
前記シルエット画像を前記背景画像に合成するステップと、
を有することを特徴とする画像処理方法。
The disclosure of this embodiment includes the following configuration and method.
a first generation means for generating a panoramic background image from images taken at a plurality of different angles of view by an imaging device;
acquisition means for acquiring a background image corresponding to the current angle of view of the imaging device from the panoramic background image;
a second generation means for generating a silhouette image based on a difference between the background image and the photographed image at the current angle of view;
compositing means for compositing the silhouette image with the background image;
An image processing device comprising:
The image processing apparatus according to
The image processing device according to
The image processing device further includes extraction means for extracting feature points from each of the images taken at the plurality of different angles of view,
The image processing device according to
The image processing device according to
The image processing device according to
If there is an overlapping area between an image at the current angle of view of the imaging device and an image at a previous angle of view, the background image used by the second generation means is based on the image at the previous angle of view in the overlapping area. 7. The image processing apparatus according to any one of
If the image size of the overlapping area of the current angle of view is different from the image size of the overlapping area of the previous angle of view, the image size of the overlapping area of the previous angle of view is the same as that of the overlapping area of the current angle of view. The image processing device according to
9. The image processing device according to any one of
Method: Generating a panoramic background image from images taken at a plurality of different angles of view by an imaging device;
obtaining a background image corresponding to the current angle of view of the imaging device from the panoramic background image;
generating a silhouette image based on a difference between the background image and the captured image at the current angle of view;
compositing the silhouette image with the background image;
An image processing method comprising:
100…画像処理システム、101…録画装置(撮像装置)、102…表示装置、121…画像受信部、122…検出部、123…パノラマ画像生成部、124…画角算出部、125…背景更新部、128…シルエット画像生成部、130…出力部、131…特徴点抽出部
DESCRIPTION OF
Claims (18)
前記撮像装置の現在の画角に対応する背景画像を前記パノラマ背景画像から取得する取得手段と、
前記背景画像と前記現在の画角の撮影画像との差分に基づいて、シルエット画像を生成する第二の生成手段と、
前記シルエット画像を前記背景画像に合成する合成手段と、
を備えることを特徴とする画像処理装置。 a first generation means for generating a panoramic background image from images taken at a plurality of different angles of view by an imaging device;
acquisition means for acquiring a background image corresponding to the current angle of view of the imaging device from the panoramic background image;
a second generation means for generating a silhouette image based on a difference between the background image and the photographed image at the current angle of view;
compositing means for compositing the silhouette image with the background image;
An image processing device comprising:
前記算出手段は、前記算出した画角の撮影画像の特徴点と前記抽出手段により抽出した特徴点とを照合して、前記画角を算出することを特徴とする請求項3に記載の画像処理装置。 The image processing device further includes extraction means for extracting feature points from each of the images taken at the plurality of different angles of view,
The image processing according to claim 3, wherein the calculation means calculates the angle of view by comparing the feature points of the captured image of the calculated angle of view with the feature points extracted by the extraction means. Device.
前記撮像装置の現在の画角に対応する背景画像を前記パノラマ背景画像から取得するステップと、
前記背景画像と前記現在の画角の撮影画像との差分に基づいて、シルエット画像を生成するステップと、
前記シルエット画像を前記背景画像に合成するステップと、
を有することを特徴とする画像処理方法。 generating a panoramic background image from images taken at a plurality of different angles of view by an imaging device;
obtaining a background image corresponding to the current angle of view of the imaging device from the panoramic background image;
generating a silhouette image based on a difference between the background image and the captured image at the current angle of view;
compositing the silhouette image with the background image;
An image processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022063325A JP2023154181A (en) | 2022-04-06 | 2022-04-06 | Image processing device and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022063325A JP2023154181A (en) | 2022-04-06 | 2022-04-06 | Image processing device and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023154181A true JP2023154181A (en) | 2023-10-19 |
Family
ID=88372672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022063325A Pending JP2023154181A (en) | 2022-04-06 | 2022-04-06 | Image processing device and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023154181A (en) |
-
2022
- 2022-04-06 JP JP2022063325A patent/JP2023154181A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4970302B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
US9807300B2 (en) | Display apparatus for generating a background image and control method thereof | |
JP3770859B2 (en) | Surveillance camera device | |
JPH114398A (en) | Digital wide camera | |
JP2019134269A (en) | Image processing device, image processing method, and program | |
JP2006217161A (en) | Image photographing system | |
JP7086552B2 (en) | Information processing equipment, imaging equipment, information processing methods and programs | |
JP5477777B2 (en) | Image acquisition device | |
JP4539015B2 (en) | Image communication apparatus, image communication method, and computer program | |
JP2016213677A (en) | Remote communication system, and control method and program for the same | |
JP7084795B2 (en) | Image processing equipment, image providing equipment, their control methods and programs | |
WO2009119288A1 (en) | Communication system and communication program | |
WO2018168823A1 (en) | Image processing device and electronic equipment | |
KR102138835B1 (en) | Apparatus and method for providing information exposure protecting image | |
JP2023154181A (en) | Image processing device and image processing method | |
JP4702015B2 (en) | Image display apparatus and program | |
JP6355333B2 (en) | Imaging apparatus, image processing apparatus, image processing method, and program | |
JP2006180022A (en) | Image processing system | |
JP6700672B2 (en) | Remote communication system, its control method, and program | |
JP4185810B2 (en) | Imaging device | |
JP7065708B2 (en) | Recording / playback device and program | |
JP6625598B2 (en) | Image generation apparatus, image generation method, image generation program, and image generation system | |
WO2018168825A1 (en) | Image processing device and electronic equipment | |
JP2008263500A (en) | Communication device and communication program | |
JP2018112991A (en) | Image processor, image processing system, method for image processing, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20240614 |