JP2023154181A - Image processing device and image processing method - Google Patents

Abstract

To provide an image processing device capable of efficiently composing a background image and a silhouette image corresponding to the angle of field of imaging.SOLUTION: The image processing device comprises: first generation means which generates a panorama background image from an image captured with a plurality of different angles of field by an imaging apparatus; acquisition means which acquires a background image corresponding to the present angle of field of the imaging apparatus from the panorama background image; second generation means which on the basis of the difference between the background image and captured image of the present angle of field, generates a silhouette image; and composition means which composes the silhouette image on the background image.SELECTED DRAWING: Figure 1

Description

本発明は画像処理装置および画像処理方法に関する。 The present invention relates to an image processing device and an image processing method.

現在、介護施設や病院の入居者の見守り用として監視カメラが普及している。一方で、監視カメラに映る個人のプライバシー保護の重要性が高まっている。個人のプライバシーを保護するための技術として、入力された画像を背景画像と比較することによって、人物等の前景物をシルエット画像等により隠蔽することにより、個人のプライバシーを保護した画像（プライバシー保護画像）を生成する技術がある。当該技術を実行するには入力された画像と比較される背景画像が必要である。特許文献１には、画像から背景画像を生成する手法が記載されている。 Surveillance cameras are currently in widespread use for monitoring residents in nursing homes and hospitals. On the other hand, the importance of protecting the privacy of individuals captured on surveillance cameras is increasing. As a technology to protect personal privacy, the input image is compared with the background image, and foreground objects such as people are hidden by silhouette images, etc., so that the privacy of the individual is protected (privacy protection image). ) is available. Implementing the technique requires a background image to be compared with the input image. Patent Document 1 describes a method of generating a background image from an image.

特開２０１８－１１２９９１号公報Japanese Patent Application Publication No. 2018-112991

カメラの画角が変化したとき、背景を更新することが必要になる。しかしながら特許文献１の技術では、背景の更新が完了するまで時間を要し、その間はプライバシー保護画像を表示することが出来ない。 When the angle of view of the camera changes, it becomes necessary to update the background. However, with the technique of Patent Document 1, it takes time to complete updating the background, and the privacy protected image cannot be displayed during that time.

本発明の目的は、撮影画角に応じて効率的に背景画像とシルエット画像を合成することができる画像処理装置を提供することである。 An object of the present invention is to provide an image processing device that can efficiently combine a background image and a silhouette image according to the shooting angle of view.

上記した目的を達成するために、本発明の１つの態様による画像処理装置は、撮像装置により複数の異なる画角で撮影した画像から、パノラマ背景画像を生成する第一の生成手段と、前記撮像装置の現在の画角に対応する背景画像を前記パノラマ背景画像から取得する取得手段と、前記背景画像と前記現在の画角の撮影画像との差分に基づいて、シルエット画像を生成する第二の生成手段と、前記シルエット画像を前記背景画像に合成する合成手段と、を備える。 In order to achieve the above object, an image processing device according to one aspect of the present invention includes a first generation means for generating a panoramic background image from images photographed at a plurality of different angles of view by an imaging device; an acquisition unit that acquires a background image corresponding to the current angle of view of the device from the panoramic background image; and a second acquisition unit that generates a silhouette image based on a difference between the background image and a captured image at the current angle of view. The image forming apparatus includes a generating means and a synthesizing means for synthesizing the silhouette image with the background image.

本発明によれば、撮影画角に応じて効率的に背景画像とシルエット画像を合成することができる。 According to the present invention, it is possible to efficiently combine a background image and a silhouette image according to the shooting angle of view.

第一の実施形態の画像処理システムの構成例を示すブロック図。FIG. 1 is a block diagram showing a configuration example of an image processing system according to a first embodiment. 画像処理システム内の各装置のハードウェア構成例を示すブロック図。FIG. 2 is a block diagram showing an example of the hardware configuration of each device in the image processing system. パノラマ背景画像の生成処理の例を示すフローチャート。5 is a flowchart illustrating an example of panoramic background image generation processing. パノラマ背景画像の画角構成例を示す図。FIG. 3 is a diagram illustrating an example of a view angle configuration of a panoramic background image. パノラマ背景画像の画角構成に特徴点を重ねた例を示す図。FIG. 3 is a diagram illustrating an example in which feature points are superimposed on the angle of view configuration of a panoramic background image. プライバシー保護画像の生成処理の例を示すフローチャート。5 is a flowchart illustrating an example of privacy protection image generation processing. 第一の実施形態の差分用背景画像更新の処理の例を示すフローチャート。5 is a flowchart illustrating an example of a difference background image update process according to the first embodiment. 第一の実施形態の表示用背景画像更新の処理の例を示すフローチャート。5 is a flowchart illustrating an example of a display background image update process according to the first embodiment. 第二の実施形態の画像処理システムの構成例を示すブロック図。FIG. 2 is a block diagram showing a configuration example of an image processing system according to a second embodiment. 画角の変化前と変化後の領域が重複している例を示す図。The figure which shows the example where the area|region before and after a change of an angle of view overlaps. 画角変化前の重複領域を差分用背景画像へコピーする例を示す図。FIG. 7 is a diagram showing an example of copying an overlapping area before the angle of view changes to a difference background image. 第三の実施形態の差分用背景画像更新の処理の例を示すフローチャート。12 is a flowchart illustrating an example of a difference background image update process according to the third embodiment.

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. Note that the following embodiments do not limit the claimed invention. Although a plurality of features are described in the embodiments, not all of these features are essential to the invention, and the plurality of features may be arbitrarily combined. In the accompanying drawings, the same or similar components are designated by the same reference numerals, and redundant description will be omitted.

第一の実施形態
図１は、本実施形態に係る画像処理システム１００の構成例を示す。画像処理システム１００は、一例として、録画装置（撮像装置）１０１と表示装置１０２を有する。録画装置１０１および表示装置１０２のそれぞれは、例えば図２のようなハードウェア構成を有し得る。なお、図２は一例であり、録画装置１０１および表示装置１０２は図２に示されたハードウェア構成以外の構成を有してもよいし、図２に示された構成の一部を有さなくてもよい。 First Embodiment FIG. 1 shows a configuration example of an image processing system 100 according to the present embodiment. The image processing system 100 includes, as an example, a recording device (imaging device) 101 and a display device 102. Each of the recording device 101 and the display device 102 may have a hardware configuration as shown in FIG. 2, for example. Note that FIG. 2 is an example, and the recording device 101 and the display device 102 may have a hardware configuration other than that shown in FIG. 2, or may have a part of the configuration shown in FIG. You don't have to.

録画装置１０１および表示装置各装置１０２は、図２に示すように、記憶部２０１、制御部２０２、機能部２０３、入力部２０４、出力部２０５および通信部２０６を有する。
記憶部２０１は、ＲＯＭ、ＲＡＭの両方、または、いずれか一方により構成され、後述する各種動作を行うためのプログラムや、通信や各種処理のためのパラメータ等の各種情報を記憶する。なお、記憶部２０１として、ＲＯＭおよびＲＡＭの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体が用いられてもよい。ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＣＤ－ＲＯＭのＣＤはＣｏｍｐａｃｔ Ｄｉｓｃの略である。ＣＤ－ＲはＣｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅの略である。ＤＶＤはＤｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃの略である。 The recording device 101 and the display device 102 each include a storage section 201, a control section 202, a functional section 203, an input section 204, an output section 205, and a communication section 206, as shown in FIG.
The storage unit 201 is configured with a ROM and/or a RAM, and stores various information such as programs for performing various operations to be described later and parameters for communication and various processes. In addition to ROM and RAM, the storage unit 201 may include storage media such as flexible disks, hard disks, optical disks, magneto-optical disks, CD-ROMs, CD-Rs, magnetic tapes, non-volatile memory cards, and DVDs. You can. ROM is an abbreviation for Read Only Memory. RAM is an abbreviation for Random Access Memory. CD in CD-ROM is an abbreviation for Compact Disc. CD-R is an abbreviation for Compact Disc Recordable. DVD is an abbreviation for Digital Versatile Disc.

制御部２０２は、例えば、ＣＰＵやＭＰＵ等のプロセッサー、ＡＳＩＣ（特定用途向け集積回路）、ＤＳＰ（デジタルシグナルプロセッサ）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）等により構成される。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＭＰＵはＭｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。制御部２０２は、記憶部２０１に記憶されたプログラムを実行することにより装置全体を制御する。なお、制御部２０２は、記憶部２０１に記憶されたプログラムとＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）との協働により装置全体を制御するようにしてもよい。 The control unit 202 includes, for example, a processor such as a CPU or an MPU, an ASIC (application specific integrated circuit), a DSP (digital signal processor), an FPGA (field programmable gate array), and the like. CPU is an abbreviation for Central Processing Unit. MPU is an abbreviation for Micro Processing Unit. The control unit 202 controls the entire device by executing a program stored in the storage unit 201. Note that the control unit 202 may control the entire apparatus through cooperation between a program stored in the storage unit 201 and an OS (Operating System).

また、制御部２０２は、機能部２０３を制御して、撮像等の所定の処理を実行する。機能部２０３は、装置が所定の処理を実行するためのハードウェアである。例えば、図２の装置が録画装置（撮像装置）１０１である場合、機能部２０３は撮像部であり、撮像処理を行う。撮像部はレンズおよびセンサを有する。図２の装置が表示装置１０２であって、表示装置１０２がプリント機能を有する場合、機能部２０３は、例えば、印刷部である。表示装置１０２がプロジェクタ機能を有する場合、機能部２０３は、例えば、投影部である。機能部２０３が処理するデータは、記憶部２０１に記憶されているデータであってもよいし、通信部２０６を介して他の装置から受信したデータであってもよい。 Further, the control unit 202 controls the functional unit 203 to execute predetermined processing such as imaging. The functional unit 203 is hardware for the device to execute predetermined processing. For example, when the device in FIG. 2 is the recording device (imaging device) 101, the functional unit 203 is an imaging unit and performs imaging processing. The imaging section has a lens and a sensor. If the device in FIG. 2 is the display device 102 and the display device 102 has a printing function, the functional unit 203 is, for example, a printing unit. When the display device 102 has a projector function, the functional unit 203 is, for example, a projection unit. The data processed by the functional unit 203 may be data stored in the storage unit 201 or may be data received from another device via the communication unit 206.

入力部２０４は、ユーザからの各種操作の受け付ける（受け入れる）。入力部２０４は例えば、テンキー、ボタン、スイッチ、マウス等を含む。入力部２０４はタッチパネルを含んでもよい。
出力部２０５は、ユーザに対して各種出力を行う。出力部２０５による出力とは、画面上への表示や、スピーカーによる音声出力、振動出力等の少なくとも１つを含む。つまり、出力部２０５は、ディスプレイ、スピーカー、振動体などを備える。なお、タッチパネルのように入力部２０４と出力部２０５の両方を１つのモジュールで実現するようにしてもよい。 The input unit 204 receives (accepts) various operations from the user. The input unit 204 includes, for example, a numeric keypad, buttons, switches, a mouse, and the like. Input unit 204 may include a touch panel.
The output unit 205 performs various outputs to the user. The output by the output unit 205 includes at least one of display on the screen, audio output from a speaker, vibration output, and the like. That is, the output unit 205 includes a display, a speaker, a vibrating body, and the like. Note that, like a touch panel, both the input section 204 and the output section 205 may be implemented in one module.

通信部２０６は、例えば有線通信（又は無線通信）の制御や、ＩＰ通信の制御を行う。図２の装置（録画装置１０１、表示装置各装置１０２）は通信部２０６を介して、画像データ、文書データ、映像データ等のコンテンツを相手側装置（１０２、１０１）や他の装置に送信する。例えば、録画装置１０１と表示装置１０２との間の通信は、各装置の通信部２０６を介して行われる。 The communication unit 206 controls wired communication (or wireless communication) and IP communication, for example. The devices in FIG. 2 (recording device 101, display device 102) transmit content such as image data, document data, video data, etc. to the other device (102, 101) or other devices via the communication unit 206. . For example, communication between the recording device 101 and the display device 102 is performed via the communication unit 206 of each device.

図１に示すように、録画装置１０１は、その機能構成として、画像取得部１１１、画像保存部１１２、画像送信部１１３およびＰＴＺ制御部１１４を含む。ＰＴＺはＰａｎ（パン）、Ｔｉｌｔ（チルト）、Ｚｏｏｍ（ズーム）の略である。本実施形態の画像処理システム１００では、事前設定として、録画装置１０１のパンおよびチルトを変化させながらパノラマ画像（１６個の画角の撮影画像からなる）を生成し、当該パノラマ画像から特徴点を抽出して記憶する。特徴点とは画像上で特徴のある点である。例えば、構造物の角や隅などの輝度の変化が大きくて検出しやすい点を特徴点とする。パノラマ画像は例えば図４に示したような画像である。事前設定については、図３～図５を用いて後述する。
画像取得部１１１は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行して機能部（撮像部）２０３を制御することで実現される。画像取得部１１１は、機能部（撮像部）２０３を用いて、所定の間隔で画像を取得して、当該画像を画像保存部１１２に供給する。 As shown in FIG. 1, the recording device 101 includes an image acquisition section 111, an image storage section 112, an image transmission section 113, and a PTZ control section 114 as its functional configuration. PTZ is an abbreviation for Pan, Tilt, and Zoom. In the image processing system 100 of this embodiment, a panoramic image (consisting of captured images of 16 angles of view) is generated while changing the pan and tilt of the recording device 101 as a preliminary setting, and feature points are extracted from the panoramic image. Extract and memorize. A feature point is a characteristic point on an image. For example, a point such as a corner or a corner of a structure where a change in brightness is large and is easy to detect is set as a feature point. The panoramic image is, for example, an image as shown in FIG. The presetting will be described later using FIGS. 3 to 5.
The image acquisition unit 111 is realized, for example, by the control unit 202 executing a program stored in the storage unit 201 and controlling the functional unit (imaging unit) 203. The image acquisition unit 111 uses the functional unit (imaging unit) 203 to acquire images at predetermined intervals and supplies the images to the image storage unit 112.

画像保存部１１２は、例えば記憶部２０１によって実現される。画像保存部１１２は、画像取得部１１１から取得した画像を保存する。すなわち機能部（撮像部）２０３によって撮像された画像が、画像保存部１１２に録画されることになる。
画像送信部１１３は、例えば通信部２０６によって実現される。画像送信部１１３は、表示装置１０２から画像の取得要求を受信したことに応じて、画像保存部１１２に保存された画像の中から、要求された画像を取得して表示装置１０２へと送信する。なお、画像送信部１１３が表示装置１０２から受信する取得要求は、例えば、少なくとも画像の撮影時刻を指定する情報を含む信号であり、画像送信部１１３は、当該情報により指定された撮影時刻に従って、表示装置１０２に送信すべき画像を決定することができる。
ＰＴＺ制御部１１４は、例えば、録画装置１０１の撮影方向を変化（変動）させる。 The image storage unit 112 is realized by the storage unit 201, for example. The image storage unit 112 stores the image acquired from the image acquisition unit 111. That is, the image captured by the functional unit (imaging unit) 203 is recorded in the image storage unit 112.
The image transmitting unit 113 is realized by, for example, the communication unit 206. In response to receiving an image acquisition request from the display device 102, the image transmitting unit 113 acquires the requested image from among the images stored in the image storage unit 112 and transmits it to the display device 102. . Note that the acquisition request that the image transmitting unit 113 receives from the display device 102 is, for example, a signal that includes at least information specifying the photographing time of the image, and the image transmitting unit 113 performs the acquisition request according to the photographing time specified by the information. Images to be sent to display device 102 can be determined.
For example, the PTZ control unit 114 changes (varies) the shooting direction of the recording device 101.

表示装置１０２は、その機能構成として、画像受信部１２１、検出部１２２、パノラマ画像生成部１２３、画角算出部１２４、背景更新部１２５、パノラマ背景保存部１２６および表示用背景保存部１２７を有する。また、表示装置１０２は、その機能構成として、シルエット画像生成部１２８、差分用背景保存部１２９、出力部１３０、特徴点抽出部１３１、特徴点保存部１３２および画角保存部１３３を含む。表示装置１０２は、録画装置１０１から受信した画像を処理するので、画像処理装置と称してもよい。 The display device 102 has an image receiving section 121, a detecting section 122, a panoramic image generating section 123, a view angle calculating section 124, a background updating section 125, a panoramic background storing section 126, and a display background storing section 127 as its functional configuration. . The display device 102 also includes a silhouette image generation section 128, a difference background storage section 129, an output section 130, a feature point extraction section 131, a feature point storage section 132, and a view angle storage section 133 as its functional configuration. Since the display device 102 processes images received from the recording device 101, it may also be referred to as an image processing device.

画像受信部１２１は、例えば通信部２０６によって実現される。画像受信部１２１は、録画装置１０１へ画像の取得要求を送信し、録画装置１０１からその応答として画像を受信して取得する。そして、画像受信部１２１は、取得した画像を検出部１２２、画角算出部１２４、背景更新部１２５、シルエット画像生成部１２８および特徴点抽出部１３１へ供給する。以下の記載において、画像受信部１２１により取得された画像を取得画像と称する場合がある。 The image receiving unit 121 is realized, for example, by the communication unit 206. The image receiving unit 121 transmits an image acquisition request to the recording device 101, and receives and acquires an image as a response from the recording device 101. The image receiving unit 121 then supplies the acquired image to the detecting unit 122, the angle of view calculating unit 124, the background updating unit 125, the silhouette image generating unit 128, and the feature point extracting unit 131. In the following description, the image acquired by the image receiving unit 121 may be referred to as an acquired image.

検出部１２２は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。検出部１２２は、取得画像に写っている人物の領域を検出する。人物の領域の検出は、例えばパターンマッチング法を用いて実行される。検出部１２２は、取得画像に人物が写っているか否かを判定し、人物が１つ以上写っている場合に当該人物それぞれが写っている取得画像上の領域の座標の情報を生成する。以下の記載では、検出部１２２により生成された情報を検出結果と称する。本実施形態において、領域の座標は、人物が写っている領域を含む矩形領域の座標であるとする。なお、領域の座標は、例えば、人物の形状に沿った曲線で囲まれた領域を特定するための座標であってもよい。人物が写っている領域は、例えば、人物の顔と体が写っている領域である。人物が写っている領域は、例えば、人物の顔のみを含む領域であってもよい。以下の記載では、人物が写っている領域を人物領域と称する。検出部１２２は、取得画像の中の人物領域を所定の画像に置き換え、人物を画像から削除することもできる。人物を画像から削除して得られた画像を、検出画像または検出後画像と称する。 The detection unit 122 is realized, for example, by the control unit 202 executing a program stored in the storage unit 201. The detection unit 122 detects a region of a person appearing in the acquired image. Detection of a person's area is performed using, for example, a pattern matching method. The detection unit 122 determines whether or not a person is included in the obtained image, and when one or more persons are included, generates information on the coordinates of the area on the obtained image in which each of the persons is included. In the following description, the information generated by the detection unit 122 will be referred to as a detection result. In this embodiment, it is assumed that the coordinates of the area are the coordinates of a rectangular area that includes the area in which the person is photographed. Note that the coordinates of the area may be, for example, coordinates for specifying an area surrounded by a curved line that follows the shape of a person. The area where a person is photographed is, for example, an area where a person's face and body are photographed. The area in which the person is photographed may be, for example, an area that includes only the person's face. In the following description, an area in which a person is photographed will be referred to as a person area. The detection unit 122 can also replace the person area in the acquired image with a predetermined image and delete the person from the image. An image obtained by removing a person from an image is referred to as a detected image or a post-detection image.

なお、検出部１２２は、人物を検出する処理ではなく、背景差分法を用いた動体検出処理やその他の物体検出処理など、取得画像から任意の前景物の領域を抽出する任意の処理を実行しうる。検出部１２２は、さらに、人や車など物体領域の属性を判定し、人などの所定の属性を持つ背景物でない物体の領域のみを検出結果としてもよい。検出部１２２は、動画符号化に使用するフレーム間の動き情報を、物体の有無を示す情報として用いてもよい。検出結果の生成は、背景画像の生成時に行われてもよいが、これに限定されない。例えば、録画装置１０１において、画像保存部１１２に画像を保存する際や、画像取得部１１１が撮影された画像を取得した際に、上述のような検出処理が行われてもよい。この場合、検出結果が、画像と共に、メタデータとして画像保存部１１２に保存されるようにしてもよい。 Note that the detection unit 122 does not perform the process of detecting a person, but executes any process of extracting an arbitrary foreground object area from the acquired image, such as a moving body detection process using a background subtraction method or other object detection process. sell. The detection unit 122 may further determine the attributes of an object region such as a person or a car, and may only detect regions of objects other than background objects that have a predetermined attribute such as a person. The detection unit 122 may use interframe motion information used for video encoding as information indicating the presence or absence of an object. The detection result may be generated when the background image is generated, but is not limited thereto. For example, in the recording device 101, the above-described detection process may be performed when an image is stored in the image storage unit 112 or when the image acquisition unit 111 acquires a captured image. In this case, the detection result may be stored as metadata in the image storage unit 112 together with the image.

パノラマ画像生成部１２３は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。パノラマ画像生成部１２３は、検出部１２２から供給された検出後画像を合成してパノラマ背景画像を生成する。パノラマ画像生成部１２３は、パノラマ背景生成部と称してもよい。
特徴点抽出部１３１は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。徴点抽出部１３１は、画像受信部１２１から取得画像を受け取り、当該取得画像から特徴点を抽出する。画像から特徴点を抽出する方法は、公知のものを使用する。
特徴点保存部１３２は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。特徴点保存部１３２は、特徴点抽出部１３１が抽出した特徴点を保存する。 The panoramic image generation unit 123 is realized, for example, by the control unit 202 executing a program stored in the storage unit 201. The panoramic image generation unit 123 synthesizes the detected images supplied from the detection unit 122 to generate a panoramic background image. The panoramic image generation section 123 may also be referred to as a panoramic background generation section.
The feature point extraction unit 131 is realized, for example, by the control unit 202 executing a program stored in the storage unit 201. The feature point extracting unit 131 receives the acquired image from the image receiving unit 121 and extracts feature points from the acquired image. A known method is used to extract feature points from an image.
The feature point storage unit 132 is realized, for example, by the control unit 202 executing a program stored in the storage unit 201. The feature point storage unit 132 stores the feature points extracted by the feature point extraction unit 131.

画角算出部１２４は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。画角算出部１２４は、録画装置１０１の画角を算出する。画角を算出する方法として、例えば、特徴点を使用する方法がある。本実施形態では、事前にパノラマ画像４００（図４）を生成しており、パノラマ画像４００を生成する過程において画像中の特徴点の特徴と位置を、例えば、記憶部２０１に保存している。記憶部２０１に保存された特徴点と、撮影されて取得された取得画像から特徴点抽出部１３１により抽出され特徴点保存部１３２に保存された特徴点とのマッチング（照合）を行い、その結果を用いて画角を算出する。算出された画角は、以下の記載において、算出画角と称される場合がある。 The angle of view calculation unit 124 is realized, for example, by the control unit 202 executing a program stored in the storage unit 201. The angle of view calculation unit 124 calculates the angle of view of the recording device 101. As a method of calculating the angle of view, for example, there is a method of using feature points. In this embodiment, a panoramic image 400 (FIG. 4) is generated in advance, and in the process of generating the panoramic image 400, the characteristics and positions of feature points in the image are stored in, for example, the storage unit 201. Matching (verification) is performed between the feature points stored in the storage unit 201 and the feature points extracted by the feature point extracting unit 131 from the captured image and stored in the feature point storage unit 132, and the result is Calculate the angle of view using The calculated angle of view may be referred to as a calculated angle of view in the following description.

背景更新部１２５は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。背景更新部１２５は、差分用背景画像と表示用背景画像の更新を行う。差分用背景画像は、取得画像との差分に基づいて、人物のシルエット画像（隠蔽画像）を生成するための画像である。
パノラマ背景保存部１２６は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。パノラマ背景保存部１２６は、パノラマ画像生成部１２３により生成されたパノラマ背景画像を保存する。
表示用背景保存部１２７は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。表示用背景保存部１２７は、背景更新部１２５から表示用背景画像を受け取り、当該表示用背景画像を保存する。
差分用背景保存部１２９は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。差分用背景保存部１２９は、背景更新部１２５から差分用背景画像を受け取り、当該差分用背景画像を保存する。 The background update unit 125 is realized, for example, by the control unit 202 executing a program stored in the storage unit 201. The background update unit 125 updates the difference background image and the display background image. The difference background image is an image for generating a silhouette image (hidden image) of a person based on the difference with the obtained image.
The panoramic background storage unit 126 is realized, for example, by the control unit 202 executing a program stored in the storage unit 201. The panoramic background storage unit 126 stores the panoramic background image generated by the panoramic image generation unit 123.
The display background storage section 127 is realized, for example, by the control section 202 executing a program stored in the storage section 201. The display background storage unit 127 receives the display background image from the background update unit 125 and stores the display background image.
The difference background storage unit 129 is realized, for example, by the control unit 202 executing a program stored in the storage unit 201. The difference background storage unit 129 receives the difference background image from the background update unit 125 and stores the difference background image.

シルエット画像生成部１２８は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。シルエット画像生成部１２８は、差分用背景画像と取得画像の差分に基づいて、人物のシルエット画像を生成する。なお、シルエット画像生成部１２８は、人物に限らずに前景物のシルエット画像を生成しうるが、例えばパターン認識によって人物を特定し、人物以外についてはシルエット画像を生成しないようにしてもよい。シルエット画像生成部１２８は、例えば、差分用背景画像を差分用背景保存部１２９から取得し、取得画像を画像受信部１２１から取得する。シルエット画像は人物等の所定のオブジェクト（被写体）を隠蔽する画像であるので、オブジェクト隠蔽画像と称してもよい。 The silhouette image generation unit 128 is realized, for example, by the control unit 202 executing a program stored in the storage unit 201. The silhouette image generation unit 128 generates a silhouette image of a person based on the difference between the difference background image and the acquired image. Note that the silhouette image generation unit 128 can generate silhouette images of not only people but also foreground objects, but may specify a person by pattern recognition, for example, and not generate silhouette images for anything other than people. The silhouette image generation unit 128 acquires a background image for difference from the background storage unit 129 for difference, and acquires an acquired image from the image reception unit 121, for example. Since the silhouette image is an image that hides a predetermined object (subject) such as a person, it may also be referred to as an object concealment image.

出力部１３０は、例えば図２の出力部２０５によって実現される。出力部１３０は、表示用背景保存部１２７に保存されている表示用背景画像にシルエット画像生成部１２８が生成したシルエット画像を合成してディスプレイの表示画面（不図示）のいずれかに出力する。表示用背景画像にシルエット画像を合成した画像を、本実施形態では、プライバシー保護画像と称する。
画角保存部１３３は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。画角保存部１３３は、画角算出部１２４が算出した画角を保存する。 The output unit 130 is realized by the output unit 205 in FIG. 2, for example. The output unit 130 combines the display background image stored in the display background storage unit 127 with the silhouette image generated by the silhouette image generation unit 128, and outputs the result to one of the display screens (not shown) of the display. In this embodiment, an image in which a silhouette image is combined with a display background image is referred to as a privacy protection image.
The view angle storage unit 133 is realized, for example, by the control unit 202 executing a program stored in the storage unit 201. The angle of view storage unit 133 stores the angle of view calculated by the angle of view calculation unit 124.

本実施形態の処理を行う前に事前設定を行う。事前設定は、パノラマ背景画像の作成とパノラマ背景画像の特徴点の抽出とを含む。
図３、図４及び図５を用いてパノラマ背景画像の生成と特徴点の抽出を説明する。図中、Ｓはステップの略である。本実施形態では、１６個の画角でパノラマ背景画像の撮影・生成が行われるとする。 Prior settings are made before performing the processing of this embodiment. The presetting includes creating a panoramic background image and extracting feature points from the panoramic background image.
Generation of a panoramic background image and extraction of feature points will be explained using FIGS. 3, 4, and 5. In the figure, S stands for step. In this embodiment, it is assumed that a panoramic background image is photographed and generated at 16 angles of view.

まずＳ３０１で録画装置１０１はＰＴＺ制御部１１４により機能部（撮像部）２０３を所定の画角に設定する。所定の画角とは、図４に示した「１」から「１６」までの１６個の画角である。なお、「１」～「１６」は、図中〇の中に数字を記載している。
図４はパノラマ画像４００が録画装置１０１の１６個の画角「１」～「１６」で撮影した１６個の撮影画像４０１～４１６から構成されていることを表した図である。撮影画像４０１～４１６の各々は、パノラマ画像４００の部分画像と称してもよい。なお画角の個数は１６個に限定されない。１６個の画角「１」～「１６」はＰＴＺ制御部１１４の最大限の可動範囲での画角の構成である。図４に示した画角「１」～「１６」は、隣接する撮影画像の間にすき間が出来ないように設定されていて、撮影画像の周辺部には隣接する撮影画像と重複する領域がある。例えば、図４の撮影画像４０１と撮影画像４０５の間の縦２本線は、撮影画像４０１と撮影画像４０５が重複する領域を示している。ＰＴＺ制御部１１４は、まず「１」の画角を設定し、その後、順次、「２」「３」・・・「１５」の画角を設定し、「１６」の画角の設定をして終了する。なお、画角の設定の順番は「１」→「２」→「３」→・・・→「１６」に限定されない。パノラマ画像４００を生成する際、ＰＴＺ制御部１１４はズーム機能を使用しなくてよい。 First, in S301, the recording device 101 uses the PTZ control unit 114 to set the functional unit (imaging unit) 203 to a predetermined angle of view. The predetermined angles of view are 16 angles of view from "1" to "16" shown in FIG. In addition, the numbers "1" to "16" are written in circles in the figure.
FIG. 4 is a diagram showing that a panoramic image 400 is composed of 16 captured images 401 to 416 captured by the recording device 101 at 16 angles of view “1” to “16”. Each of the captured images 401 to 416 may be referred to as a partial image of the panoramic image 400. Note that the number of angles of view is not limited to 16. The 16 angles of view “1” to “16” are the configuration of angles of view within the maximum movable range of the PTZ control unit 114. The angles of view "1" to "16" shown in Fig. 4 are set so that there are no gaps between adjacent captured images, and there are areas in the periphery of captured images that overlap with adjacent captured images. be. For example, two vertical lines between the photographed image 401 and the photographed image 405 in FIG. 4 indicate an area where the photographed image 401 and the photographed image 405 overlap. The PTZ control unit 114 first sets the angle of view "1", then sequentially sets the angle of view "2", "3", ... "15", and then sets the angle of view "16". and exit. Note that the order of setting the angle of view is not limited to "1" → "2" → "3" → ... → "16". When generating the panoramic image 400, the PTZ control unit 114 does not need to use the zoom function.

次にＳ３０２で検出部１２２は画像受信部１２１から取得画像を取得する。
次にＳ３０３で特徴点抽出部１３１は取得画像から特徴点を抽出する。
次にＳ３０４で特徴点保存部１３２は、抽出した特徴点の位置と特徴を保存する。図５はパノラマ画像４００上に抽出した特徴点を配置したことを表す図である。録画装置１０１が撮影方向（パン、チルト）を変えた時に撮影されている画像から抽出される特徴点と保存されている特徴点をマッチングさせ撮影方向（画角）を算出することができる。 Next, in S302, the detection unit 122 acquires an acquired image from the image reception unit 121.
Next, in S303, the feature point extraction unit 131 extracts feature points from the acquired image.
Next, in S304, the feature point storage unit 132 stores the positions and features of the extracted feature points. FIG. 5 is a diagram showing the arrangement of extracted feature points on a panoramic image 400. The shooting direction (angle of view) can be calculated by matching the feature points extracted from the image being shot when the recording device 101 changes the shooting direction (pan, tilt) with the stored feature points.

次にＳ３０５で検出部１２２は取得画像から人物領域を検出する。
次にＳ３０６で検出部１２２は、検出した人物領域（人物画像）を所定の画像に置き換え、人物を画像から削除する（人物画像の除去）。
次にＳ３０７で検出部１２２は、検出画像（部分画像４０１）を保存する。 Next, in S305, the detection unit 122 detects a human region from the acquired image.
Next, in S306, the detection unit 122 replaces the detected person area (person image) with a predetermined image and deletes the person from the image (removal of the person image).
Next, in S307, the detection unit 122 stores the detected image (partial image 401).

次にＳ３０８でパノラマ画像生成部１２３は検出画像を、図４の４行×４列のマトリックス内の所定の位置に配置する。
次にＳ３０９で全ての画角（「１」～「１６」）の撮影が終了したか判定し、終了していなければＳ３０１に戻り、終了していればＳ３１０に進む。
次にＳ３１０でパノラマ画像生成部１２３が配置された検出画像（部分画像４０１～４１６）を合成してパノラマ画像４００を生成する。
以上でパノラマ背景画像生成と特徴点の抽出を終了する。 Next, in S308, the panoramic image generation unit 123 arranges the detected image at a predetermined position in the matrix of 4 rows and 4 columns in FIG.
Next, in S309, it is determined whether photography of all angles of view ("1" to "16") has been completed. If not, the process returns to S301, and if it has been completed, the process advances to S310.
Next, in S310, the panoramic image generation unit 123 synthesizes the arranged detected images (partial images 401 to 416) to generate a panoramic image 400.
This completes the panoramic background image generation and feature point extraction.

次に事前設定後の処理について説明する。
画像処理システム１００は録画装置１０１がパンチルトを制御しながら画像を撮影し、その画像を表示装置１０２が取得し、適切な背景に更新し、更新した背景を用いてプライバシー保護画像を生成して表示する。以下のその詳細を説明する。 Next, processing after presetting will be explained.
In the image processing system 100, a recording device 101 captures an image while controlling pan/tilt, a display device 102 acquires the image, updates it to an appropriate background, and generates and displays a privacy protection image using the updated background. do. The details will be explained below.

画像処理システム１００の処理の概要を図６で説明する。
まずＳ６０１で録画装置１０１が画像を撮影する。
次にＳ６０２で表示装置１０２が画像を取得する。
次にＳ６０３で表示装置１０２が差分用背景画像と表示用背景画像を更新する。
次にＳ６０４で表示装置１０２がプライバシー保護画像を生成して表示する。
次にＳ６０５で処理を終了するかしないかの判定をする。終了しない場合はＳ６０１に戻ってＳ６０１～Ｓ６０５を繰り返す。以上が画像処理システム１００の処理の概要である。 An overview of the processing of the image processing system 100 will be explained with reference to FIG.
First, in S601, the recording device 101 captures an image.
Next, in step S602, the display device 102 acquires an image.
Next, in S603, the display device 102 updates the difference background image and the display background image.
Next, in step S604, the display device 102 generates and displays a privacy protection image.
Next, in S605, it is determined whether or not to end the process. If it does not end, return to S601 and repeat S601 to S605. The above is an overview of the processing of the image processing system 100.

次にＳ６０３の差分用背景画像と表示用背景画像の更新について、図７と図８を用いて説明する。
まず差分用背景画像の更新を図７のフローチャートで説明する。
まずＳ７０１で背景更新部１２５は画角算出部１２４から、表示装置１０１の現在のフレームの算出画角を取得する。また、背景更新部１２５は画角保存部１３３から前フレーム（現在のフレームの前のフレーム）の画角を取得する。 Next, updating of the difference background image and the display background image in S603 will be explained using FIGS. 7 and 8.
First, updating of the difference background image will be explained with reference to the flowchart of FIG.
First, in step S<b>701 , the background update unit 125 obtains the calculated angle of view of the current frame of the display device 101 from the angle of view calculation unit 124 . The background update unit 125 also acquires the angle of view of the previous frame (the frame before the current frame) from the angle of view storage unit 133.

次にＳ７０２で背景更新部１２５は算出画角と前フレーム画角を比較し、算出画角が前フレーム画角から変化しているか否かを判定する。算出画角が前フレーム画角から変化している場合にはＳ７０３に進み、変化していない場合にはＳ７０６に進む。
Ｓ７０３で背景更新部１２５は取得した画角に相当する背景画像をパノラマ背景保存部１２６から取得する。この画像を取得背景画像と称する。 Next, in S702, the background update unit 125 compares the calculated angle of view with the angle of view of the previous frame, and determines whether the calculated angle of view has changed from the angle of view of the previous frame. If the calculated angle of view has changed from the angle of view of the previous frame, the process advances to S703, and if it has not changed, the process advances to S706.
In S703, the background update unit 125 acquires a background image corresponding to the acquired angle of view from the panoramic background storage unit 126. This image is called an acquired background image.

次にＳ７０４で背景更新部１２５は差分用背景画像をパノラマ背景保存部１２６から取得した取得背景画像を用いて更新する。取得背景画像と差分用背景画像の画像サイズが異なる場合は、取得背景画像を差分用背景画像の画像サイズにリサイズして更新する。
次にＳ７０５で背景更新部１２５は、更新した差分用背景画像を、差分用背景保存部１２９に保存する。 Next, in step S704, the background update unit 125 updates the difference background image using the acquired background image acquired from the panoramic background storage unit 126. If the image sizes of the acquired background image and the background image for difference are different, the acquired background image is resized and updated to the image size of the background image for difference.
Next, in S705, the background update unit 125 stores the updated background image for difference in the background storage unit 129 for difference.

算出画角（現在の画角）が前フレーム画角（以前の画角）から変化していない場合、Ｓ７０６で、背景更新部１２５は、画像受信部１２１から取得画像を取得する。
次にＳ７０７で背景更新部１２５は、検出部１２２から検出結果を取得する。
次にＳ７０８で背景更新部１２５は、取得画像と検出結果を用いて差分用背景画像を更新する。そしてＳ７０５に進む。
以上で差分用背景画像の更新を終了する。 If the calculated angle of view (current angle of view) has not changed from the previous frame angle of view (previous angle of view), the background updating unit 125 acquires the acquired image from the image receiving unit 121 in S706.
Next, in S707, the background update unit 125 obtains the detection result from the detection unit 122.
Next, in S708, the background update unit 125 updates the difference background image using the acquired image and the detection result. Then, the process advances to S705.
This completes the updating of the differential background image.

次に表示用背景画像の更新を図８のフローチャートで説明する。
まずＳ８０１で背景更新部１２５は画角算出部１２４から表示装置１０１の算出画角を取得する。また、背景更新部１２５は画角保存部１３３から前フレーム画角を取得する。
次にＳ８０２で背景更新部１２５は算出画角と前フレーム画角を比較し、算出画角が前フレーム画角から変化しているか否かを判定する。算出画角が前フレーム画角から変化している場合にはＳ８０３に進み、変化していない場合は処理を終了する。 Next, updating of the display background image will be explained with reference to the flowchart of FIG.
First, in step S<b>801 , the background update unit 125 obtains the calculated angle of view of the display device 101 from the angle of view calculation unit 124 . Further, the background updating unit 125 obtains the previous frame view angle from the view angle storage unit 133.
Next, in S802, the background updating unit 125 compares the calculated angle of view with the angle of view of the previous frame, and determines whether the calculated angle of view has changed from the angle of view of the previous frame. If the calculated angle of view has changed from the angle of view of the previous frame, the process advances to S803, and if it has not changed, the process ends.

Ｓ８０３で背景更新部１２５は取得した画角に相当する背景画像をパノラマ背景保存部１２６から取得する。この画像は取得背景画像である。
次にＳ８０４で背景更新部１２５は表示用背景画像を、パノラマ背景保存部１２６から取得した取得背景画像を用いて更新する。取得背景画像と表示用背景画像の画像サイズが異なる場合は、取得背景画像を表示用背景画像の画像サイズにリサイズして更新する。
次にＳ８０５で背景更新部１２５は、更新した表示用背景画像を表示用背景保存部１２７に保存する。
以上で表示用背景画像の更新を終了する。 In S803, the background update unit 125 acquires a background image corresponding to the acquired angle of view from the panoramic background storage unit 126. This image is the acquired background image.
Next, in S804, the background updating unit 125 updates the display background image using the acquired background image acquired from the panoramic background storage unit 126. If the image sizes of the acquired background image and the display background image are different, the acquired background image is resized and updated to the image size of the display background image.
Next, in S805, the background update unit 125 stores the updated display background image in the display background storage unit 127.
This completes the updating of the display background image.

本実施形態では、予め１６個の画角で撮影したパノラマ背景画像を用意してある。従って、画像録画装置（撮像装置）１０１の画角が変化したとき、それに対応する背景画像は既に用意されている。よって、特許文献１の技術と比べて、背景画像の更新に要する時間を短縮することができる。
本実施形態によれば、録画装置（撮像装置）１０１の撮影画角が変わっても、背景画像を短時間で更新し、更新された背景画像に人物（人体）のマスク画像を重畳・合成してプライバシー保護画像を作成することが出来る。 In this embodiment, panoramic background images taken at 16 angles of view are prepared in advance. Therefore, when the angle of view of the image recording device (imaging device) 101 changes, a background image corresponding to the change has already been prepared. Therefore, compared to the technique of Patent Document 1, the time required to update the background image can be shortened.
According to this embodiment, even if the shooting angle of view of the recording device (imaging device) 101 changes, the background image is updated in a short time, and the mask image of the person (human body) is superimposed and synthesized on the updated background image. You can create privacy-protected images using

なお、録画装置１０１のＰＴＺ制御部１１４、表示装置１０２の検出部１２２、パノラマ画像生成部１２３、画角算出部１２４、背景更新部１２５、シルエット画像生成部１２８および特徴点抽出部１３１は、ＡＳＩＣ等の専用のハードウェアで実装されてもよい。ハードウェアとして実装される場合は、各機能部それぞれ又はいくつかをまとめた専用のハードウェアモジュールとして実装してもよい。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）の略である。
また、画像処理システム１００は、録画装置１０１および表示装置１０２の機能を有する１つの画像処理装置によって構成されてもよい。つまり、撮像装置である録画装置１０１は、表示装置１０２に内蔵されてもよい。あるいは、録画装置１０１は複数の装置やモジュール等によって構成されてもよいし、表示装置１０２も複数の装置やモジュール等によって構成されてもよい。
また、表示装置１０２は、自装置内で画角を算出するのではなく、録画装置１０１から画角情報そのものを取得してもよい。 Note that the PTZ control unit 114 of the recording device 101, the detection unit 122 of the display device 102, the panoramic image generation unit 123, the angle of view calculation unit 124, the background update unit 125, the silhouette image generation unit 128, and the feature point extraction unit 131 are implemented using an ASIC. It may also be implemented with dedicated hardware such as. When implemented as hardware, each functional unit or several functional units may be implemented as a dedicated hardware module. ASIC is an abbreviation for Application Specific Integrated Circuit.
Further, the image processing system 100 may be configured by one image processing device having the functions of the recording device 101 and the display device 102. That is, the recording device 101, which is an imaging device, may be built into the display device 102. Alternatively, the recording device 101 may be composed of a plurality of devices, modules, etc., and the display device 102 may also be composed of a plurality of devices, modules, etc.
Furthermore, the display device 102 may acquire the viewing angle information itself from the recording device 101 instead of calculating the viewing angle within itself.

第二の実施形態
図９に、本実施形態に係る画像処理システム１００Ａの構成例を示す。本実施形態は第一の実施形態の構成から特徴点抽出部１３１と特徴点保存部１３２を外し、ＰＴ送信部９１１とＰＴ受信部９２１を追加したものである。ＰＴ送信部９１１は録画装置１０１に設けられ、ＰＴ受信部９２１は表示装置１０２に設けられる。第一の実施形態との動作の違いは録画装置１０１の画角の算出方法である。第一の実施形態では画角の算出に画像の特徴点を用いたが、本実施形態では特徴点を用いない。特徴点を用いないので第一の実施形態の事前設定で行われた特徴点の抽出と保存は省略される。本実施形態では、予め画角算出部１２４に録画装置１０１のレンズ情報を入力されているとする。以下、第一実施形態との相違点について説明する。 Second Embodiment FIG. 9 shows a configuration example of an image processing system 100A according to this embodiment. In this embodiment, the feature point extraction section 131 and the feature point storage section 132 are removed from the configuration of the first embodiment, and a PT transmission section 911 and a PT reception section 921 are added. The PT transmitter 911 is provided in the recording device 101 , and the PT receiver 921 is provided in the display device 102 . The difference in operation from the first embodiment is the method of calculating the angle of view of the recording device 101. In the first embodiment, the feature points of the image were used to calculate the angle of view, but in this embodiment, the feature points are not used. Since no feature points are used, the extraction and storage of feature points performed in the presetting of the first embodiment is omitted. In this embodiment, it is assumed that the lens information of the recording device 101 is input to the angle of view calculation unit 124 in advance. Hereinafter, differences from the first embodiment will be explained.

ＰＴ送信部９１１は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。ＰＴ送信部９１１は、ＰＴＺ制御部１１４で用いているパン、チルトの値を表示装置１０２に送信する。パン、チルトの値はパンチルト情報と称してよい。
ＰＴ受信部９２１は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現される。ＰＴ受信部９２１は、ＰＴ送信部９１１から送信されたパン、チルトの値を受信する。 The PT transmission section 911 is realized, for example, by the control section 202 executing a program stored in the storage section 201. The PT transmitter 911 transmits the pan and tilt values used by the PTZ controller 114 to the display device 102. The pan and tilt values may be referred to as pan and tilt information.
The PT receiving unit 921 is realized, for example, by the control unit 202 executing a program stored in the storage unit 201. The PT receiving section 921 receives the pan and tilt values transmitted from the PT transmitting section 911.

本実施形態の画角の算出について説明する。画角算出部１２４はＰＴ受信部９２１から録画装置１０１のパン、チルト情報を取得する。画角算出部１２４はパン、チルト情報とレンズ情報を用いて録画装置１０１の画角を算出する。
なお、録画装置１０１のレンズ情報は、予め表示装置１０２に入力されていなくてもよい。例えば、録画装置１０１のレンズ情報は、録画装置１０１から表示装置１０２に送信されてもよい。 Calculation of the angle of view in this embodiment will be explained. The view angle calculating unit 124 acquires pan and tilt information of the recording device 101 from the PT receiving unit 921. The angle of view calculation unit 124 calculates the angle of view of the recording device 101 using pan and tilt information and lens information.
Note that the lens information of the recording device 101 does not need to be input to the display device 102 in advance. For example, lens information of the recording device 101 may be transmitted from the recording device 101 to the display device 102.

第二の実施形態においても、第一の実施形態と同様に、録画装置（撮像装置）１０１の撮影画角が変化しても、背景画像を短時間で更新し、更新された背景画像に人体のマスク画像を重畳してプライバシー保護画像を作成することが出来る。 In the second embodiment, as in the first embodiment, even if the shooting angle of view of the recording device (imaging device) 101 changes, the background image is updated in a short time, and a human body is included in the updated background image. It is possible to create a privacy protection image by superimposing the mask image.

第三の実施形態
本実施形態の画像処理システム１００の構成は第一の実施形態（図１）と同じである。第一の実施形態との違いは差分用背景画像の更新に関する処理である。以下、第一実施形態との相違点について説明する。
画角が変化したときに（例えば、図４の「６」の画角から「１」の画角へ変化したとき）、変化前の画角の画像（例えば、画像４０６）と変化後の画角の画像（例えば、画像４０１）に重複領域がある場合がある。この場合、重複領域の差分用背景画像はそのまま画角変化後も使用することができる。本実施形態では、重複領域の差分用背景画像を画角変化後も使用する。これが、本実施形態と第一の実施形態との違いである。画角が変化したときに重複領域があるとは図１０のような場合を表す。画角の変化前と変化後に重複領域（重複領域画像、差分用背景画像）がある場合は、図１１のように画角変化前の重複領域の画像を画角変化後の重複領域に複製する（コピーする）。 Third Embodiment The configuration of an image processing system 100 of this embodiment is the same as that of the first embodiment (FIG. 1). The difference from the first embodiment is the process related to updating the background image for difference. Hereinafter, differences from the first embodiment will be explained.
When the angle of view changes (for example, from the angle of view "6" in FIG. 4 to the angle of view "1"), the image at the angle of view before the change (for example, image 406) and the image after the change are displayed. There may be an overlapping area in the corner image (for example, image 401). In this case, the background image for difference in the overlapping area can be used as is even after the viewing angle is changed. In this embodiment, the background image for difference in the overlapping area is used even after the viewing angle is changed. This is the difference between this embodiment and the first embodiment. The presence of an overlapping region when the angle of view changes refers to the case shown in FIG. 10. If there is an overlapping area (overlapping area image, background image for difference) before and after changing the viewing angle, the image of the overlapping area before changing the viewing angle is duplicated into the overlapping area after changing the viewing angle, as shown in Figure 11. (make a copy).

図１２のフローチャートを用いて、重複領域の差分用背景画像の設定について説明する。
まずＳ１２０１で背景更新部１２５は画角算出部１２４から表示装置１０１の算出画角を取得する。また、背景更新部１２５は画角保存部１３３から前フレーム画角を取得する。
次にＳ１２０２で背景更新部１２５は算出画角と前フレーム画角を比較し、算出画角が前フレーム画角から変化しているか否かを判定する。算出画角が前フレーム画角から変化している場合にはＳ１２０３に進み、変化していない場合にはＳ１２０９に進む。 Setting of the background image for difference in the overlapping area will be explained using the flowchart of FIG. 12.
First, in S1201, the background updating unit 125 obtains the calculated angle of view of the display device 101 from the angle of view calculation unit 124. Further, the background updating unit 125 obtains the previous frame view angle from the view angle storage unit 133.
Next, in S1202, the background update unit 125 compares the calculated angle of view with the angle of view of the previous frame, and determines whether the calculated angle of view has changed from the angle of view of the previous frame. If the calculated angle of view has changed from the previous frame angle of view, the process advances to S1203, and if it has not changed, the process advances to S1209.

Ｓ１２０３で背景更新部１２５は取得した画角に相当する背景画像をパノラマ背景保存部１２６から取得する。この画像は取得背景画像である。
次にＳ１２０４で背景更新部１２５は算出画角と前フレーム画角に基づいて、算出画角の画像と前フレーム画角の画像との重複領域を算出することにより、重複領域（重複領域画像）が存在するか否かを判定する。重複領域が存在すればＳ１２０５に進み、存在していない場合にはＳ１２０８に進む。 In S1203, the background update unit 125 acquires a background image corresponding to the acquired angle of view from the panoramic background storage unit 126. This image is the acquired background image.
Next, in S1204, the background update unit 125 calculates an overlapping area between the image of the calculated angle of view and the image of the previous frame angle of view based on the calculated angle of view and the angle of view of the previous frame, thereby creating an overlapping area (overlapping area image). Determine whether or not exists. If an overlapping area exists, the process advances to S1205, and if no overlap area exists, the process advances to S1208.

Ｓ１２０５で背景更新部１２５は前フレーム画角の重複領域の差分用背景画像で算出画角の重複領域の差分用背景画像を更新する。前フレーム画角の重複領域と算出画角の重複領域の画像サイズが異なる場合は、算出画角の重複領域の画像サイズにリサイズして更新する。
次にＳ１２０６で背景更新部１２５は差分用背景画像の非重複領域をパノラマ背景保存部１２６から取得した取得背景画像を用いて更新する。取得背景画像と差分用背景画像の非重複領域の画像サイズが異なる場合は、取得背景画像を差分用背景画像の画像サイズにリサイズして更新する。 In S1205, the background updating unit 125 updates the background image for difference in the overlapping area of the calculated angle of view with the background image for difference in the overlapping area of the previous frame's angle of view. If the image sizes of the overlapping area of the previous frame angle of view and the overlapping area of the calculated angle of view are different, the image is resized to the image size of the overlapping area of the calculated angle of view and updated.
Next, in S1206, the background update unit 125 updates the non-overlapping area of the difference background image using the acquired background image acquired from the panoramic background storage unit 126. If the image sizes of the non-overlapping regions of the acquired background image and the difference background image are different, the acquired background image is resized and updated to the image size of the difference background image.

次にＳ１２０７で背景更新部１２５は、更新した差分用背景画像を、差分用背景保存部１２９に保存する。
算出画角と前フレーム画角に重複領域がなかった場合（つまり、Ｓ１２０８に進んだ場合）、背景更新部１２５は差分用背景画像をパノラマ背景保存部１２６から取得した取得背景画像を用いて更新する。取得背景画像と差分用背景画像の画像サイズが異なる場合は、取得背景画像を差分用背景画像の画像サイズにリサイズして更新する。 Next, in S1207, the background update unit 125 stores the updated background image for difference in the background for difference storage unit 129.
If there is no overlapping area between the calculated angle of view and the angle of view of the previous frame (that is, if the process advances to S1208), the background update unit 125 updates the background image for difference using the acquired background image acquired from the panoramic background storage unit 126. do. If the image sizes of the acquired background image and the background image for difference are different, the acquired background image is resized and updated to the image size of the background image for difference.

算出画角が前フレーム画角から変化していない場合（つまり、Ｓ１２０９に進んだ場合）、背景更新部１２５は、画像受信部１２１から取得画像を取得する。
次にＳ１２１０で背景更新部１２５は、検出部１２２から検出結果を取得する。
次にＳ１２１１で背景更新部１２５は、取得画像と検出結果を用いて差分用背景画像を更新する。そしてＳ７０５に進む。
以上で差分用背景画像の更新を終了する。
第三の実施形態においても、第一の実施形態と同様に、録画装置（撮像装置）１０１の撮影画角が変化しても、背景画像を短時間で更新し、更新された背景画像に人体のマスク画像を重畳してプライバシー保護画像を作成することが出来る。
本実施形態では、録画装置１０１の現在の画角の画像と前フレームの画角の画像で重複領域がある場合、シルエット画像生成部１２８が使用する背景画像は、当該重複領域において、前フレームの画角の画像の重複領域から複製した重複領域画像を使用することになる。 If the calculated angle of view has not changed from the angle of view of the previous frame (that is, if the process advances to S1209), the background updating unit 125 acquires the acquired image from the image receiving unit 121.
Next, in S1210, the background update unit 125 obtains the detection result from the detection unit 122.
Next, in S1211, the background update unit 125 updates the difference background image using the acquired image and the detection result. Then, the process advances to S705.
This completes the updating of the differential background image.
In the third embodiment, as in the first embodiment, even if the shooting angle of view of the recording device (imaging device) 101 changes, the background image is updated in a short time, and a human body is added to the updated background image. It is possible to create a privacy protection image by superimposing the mask image.
In this embodiment, if there is an overlapping area between the image at the current angle of view of the recording device 101 and the image at the angle of view of the previous frame, the background image used by the silhouette image generation unit 128 is An overlapping area image duplicated from the overlapping area of the image of the viewing angle will be used.

その他の実施形態
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行することによっても達成できる。 従って、本発明の機能処理をコンピュータで実現するために、当該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明には、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 Other Embodiments The present invention provides a program that implements one or more of the functions of the embodiments described above to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device. This can also be achieved by reading and executing a program. Therefore, in order to realize the functional processing of the present invention on a computer, the program code itself installed in the computer also realizes the present invention. That is, the present invention also includes the computer program itself for realizing the functional processing of the present invention. In that case, as long as it has the function of a program, it may be in the form of an object code, a program executed by an interpreter, script data supplied to the OS, or the like. The present invention can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.

本実施形態の開示は、以下の構成および方法を含む。
構成１
撮像装置により複数の異なる画角で撮影した画像から、パノラマ背景画像を生成する第一の生成手段と、
前記撮像装置の現在の画角に対応する背景画像を前記パノラマ背景画像から取得する取得手段と、
前記背景画像と前記現在の画角の撮影画像との差分に基づいて、シルエット画像を生成する第二の生成手段と、
前記シルエット画像を前記背景画像に合成する合成手段と、
を備えることを特徴とする画像処理装置。
構成２
前記第一の生成手段は、前記複数の異なる画角で撮影した画像の各々から人物画像を除去する除去手段を有することを特徴とする構成１に記載の画像処理装置。
構成３
前記撮像装置の現在の画角を算出する算出手段をさらに備えることを特徴とする構成２に記載の画像処理装置。
構成４
前記画像処理装置は、前記複数の異なる画角で撮影した画像の各々から特徴点を抽出する抽出手段をさらに備え、
前記算出手段は、前記算出した画角の撮影画像の特徴点と前記抽出手段により抽出した特徴点とを照合して、前記画角を算出することを特徴とする構成３に記載の画像処理装置。
構成５
前記算出手段は、前記撮像装置の向きと前記撮像装置のレンズ情報から前記画角を算出することを特徴とする構成３に記載の画像処理装置。
構成６
前記撮像装置の向きは、前記撮像装置のパンチルト情報を含むことを特徴とする構成５に記載の画像処理装置。
構成７
前記撮像装置の現在の画角の画像とそれ以前の画角の画像で重複領域がある場合、前記第二の生成手段が使用する前記背景画像は、前記重複領域において、前記それ以前の画角の画像の重複領域から複製した重複領域画像を使用することを特徴とする構成１乃至６のいずれか１項に記載の画像処理装置。
構成８
前記現在の画角の重複領域の画像サイズと前記それ以前の画角の重複領域の画像サイズが異なる場合、前記それ以前の画角の重複領域の画像サイズを前記現在の画角の重複領域の画像サイズに合わせることを特徴とする構成７に記載の画像処理装置。
構成９
前記撮像装置は、前記画像処理装置に内蔵されていることを特徴とする構成１乃至８のいずれか１項に記載の画像処理装置。
方法
撮像装置により複数の異なる画角で撮影した画像から、パノラマ背景画像を生成するステップと、
前記撮像装置の現在の画角に対応する背景画像を前記パノラマ背景画像から取得するステップと、
前記背景画像と前記現在の画角の撮影画像との差分に基づいて、シルエット画像を生成するステップと、
前記シルエット画像を前記背景画像に合成するステップと、
を有することを特徴とする画像処理方法。 The disclosure of this embodiment includes the following configuration and method.
Configuration 1
a first generation means for generating a panoramic background image from images taken at a plurality of different angles of view by an imaging device;
acquisition means for acquiring a background image corresponding to the current angle of view of the imaging device from the panoramic background image;
a second generation means for generating a silhouette image based on a difference between the background image and the photographed image at the current angle of view;
compositing means for compositing the silhouette image with the background image;
An image processing device comprising:
Configuration 2
The image processing apparatus according to configuration 1, wherein the first generation means includes a removal means for removing a human image from each of the images taken at the plurality of different angles of view.
Configuration 3
The image processing device according to configuration 2, further comprising calculation means for calculating the current angle of view of the imaging device.
Configuration 4
The image processing device further includes extraction means for extracting feature points from each of the images taken at the plurality of different angles of view,
The image processing device according to configuration 3, wherein the calculation means calculates the angle of view by comparing the feature points of the photographed image of the calculated angle of view with the feature points extracted by the extraction means. .
Configuration 5
The image processing device according to configuration 3, wherein the calculation means calculates the angle of view from the orientation of the imaging device and lens information of the imaging device.
Configuration 6
The image processing device according to configuration 5, wherein the orientation of the imaging device includes pan-tilt information of the imaging device.
Configuration 7
If there is an overlapping area between an image at the current angle of view of the imaging device and an image at a previous angle of view, the background image used by the second generation means is based on the image at the previous angle of view in the overlapping area. 7. The image processing apparatus according to any one of configurations 1 to 6, characterized in that an overlapping area image copied from an overlapping area of images of is used.
Configuration 8
If the image size of the overlapping area of the current angle of view is different from the image size of the overlapping area of the previous angle of view, the image size of the overlapping area of the previous angle of view is the same as that of the overlapping area of the current angle of view. The image processing device according to configuration 7, characterized in that the image processing device matches the image size.
Configuration 9
9. The image processing device according to any one of configurations 1 to 8, wherein the imaging device is built in the image processing device.
Method: Generating a panoramic background image from images taken at a plurality of different angles of view by an imaging device;
obtaining a background image corresponding to the current angle of view of the imaging device from the panoramic background image;
generating a silhouette image based on a difference between the background image and the captured image at the current angle of view;
compositing the silhouette image with the background image;
An image processing method comprising:

１００…画像処理システム、１０１…録画装置（撮像装置）、１０２…表示装置、１２１…画像受信部、１２２…検出部、１２３…パノラマ画像生成部、１２４…画角算出部、１２５…背景更新部、１２８…シルエット画像生成部、１３０…出力部、１３１…特徴点抽出部
DESCRIPTION OF SYMBOLS 100... Image processing system, 101... Recording device (imaging device), 102... Display device, 121... Image receiving part, 122... Detecting part, 123... Panoramic image generation part, 124... Angle of view calculation part, 125... Background updating part , 128... Silhouette image generation section, 130... Output section, 131... Feature point extraction section

Claims (18)

撮像装置により複数の異なる画角で撮影した画像から、パノラマ背景画像を生成する第一の生成手段と、
前記撮像装置の現在の画角に対応する背景画像を前記パノラマ背景画像から取得する取得手段と、
前記背景画像と前記現在の画角の撮影画像との差分に基づいて、シルエット画像を生成する第二の生成手段と、
前記シルエット画像を前記背景画像に合成する合成手段と、
を備えることを特徴とする画像処理装置。 a first generation means for generating a panoramic background image from images taken at a plurality of different angles of view by an imaging device;
acquisition means for acquiring a background image corresponding to the current angle of view of the imaging device from the panoramic background image;
a second generation means for generating a silhouette image based on a difference between the background image and the photographed image at the current angle of view;
compositing means for compositing the silhouette image with the background image;
An image processing device comprising: 前記第一の生成手段は、前記複数の異なる画角で撮影した画像の各々から人物画像を除去する除去手段を有することを特徴とする請求項１に記載の画像処理装置。 2. The image processing apparatus according to claim 1, wherein the first generation means includes a removal means for removing a human image from each of the images taken at the plurality of different angles of view. 前記撮像装置の現在の画角を算出する算出手段をさらに備えることを特徴とする請求項２に記載の画像処理装置。 The image processing apparatus according to claim 2, further comprising calculation means for calculating the current angle of view of the imaging device. 前記画像処理装置は、前記複数の異なる画角で撮影した画像の各々から特徴点を抽出する抽出手段をさらに備え、
前記算出手段は、前記算出した画角の撮影画像の特徴点と前記抽出手段により抽出した特徴点とを照合して、前記画角を算出することを特徴とする請求項３に記載の画像処理装置。 The image processing device further includes extraction means for extracting feature points from each of the images taken at the plurality of different angles of view,
The image processing according to claim 3, wherein the calculation means calculates the angle of view by comparing the feature points of the captured image of the calculated angle of view with the feature points extracted by the extraction means. Device. 前記算出手段は、前記撮像装置の向きと前記撮像装置のレンズ情報から前記画角を算出することを特徴とする請求項３に記載の画像処理装置。 The image processing apparatus according to claim 3, wherein the calculation means calculates the angle of view from the orientation of the imaging device and lens information of the imaging device. 前記撮像装置の向きは、前記撮像装置のパンチルト情報を含むことを特徴とする請求項５に記載の画像処理装置。 The image processing apparatus according to claim 5, wherein the orientation of the imaging device includes pan-tilt information of the imaging device. 前記撮像装置の現在の画角の画像とそれ以前の画角の画像で重複領域がある場合、前記第二の生成手段が使用する前記背景画像は、前記重複領域において、前記それ以前の画角の画像の重複領域から複製した重複領域画像を使用することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。 If there is an overlapping area between an image at the current angle of view of the imaging device and an image at a previous angle of view, the background image used by the second generation means is based on the image at the previous angle of view in the overlapping area. 7. The image processing apparatus according to claim 1, wherein an overlapping area image copied from an overlapping area of images of is used. 前記現在の画角の重複領域の画像サイズと前記それ以前の画角の重複領域の画像サイズが異なる場合、前記それ以前の画角の重複領域の画像サイズを前記現在の画角の重複領域の画像サイズに合わせることを特徴とする請求項７に記載の画像処理装置。 If the image size of the overlapping area of the current angle of view is different from the image size of the overlapping area of the previous angle of view, the image size of the overlapping area of the previous angle of view is the same as that of the overlapping area of the current angle of view. The image processing apparatus according to claim 7, wherein the image processing apparatus is adapted to match the image size. 前記撮像装置は、前記画像処理装置に内蔵されていることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。 The image processing device according to any one of claims 1 to 6, wherein the imaging device is built in the image processing device. 前記撮像装置は、前記画像処理装置に内蔵されていることを特徴とする請求項７に記載の画像処理装置。 The image processing device according to claim 7, wherein the image capturing device is built in the image processing device. 前記撮像装置は、前記画像処理装置に内蔵されていることを特徴とする請求項８に記載の画像処理装置。 The image processing device according to claim 8, wherein the image capturing device is built in the image processing device. 撮像装置により複数の異なる画角で撮影した画像から、パノラマ背景画像を生成するステップと、
前記撮像装置の現在の画角に対応する背景画像を前記パノラマ背景画像から取得するステップと、
前記背景画像と前記現在の画角の撮影画像との差分に基づいて、シルエット画像を生成するステップと、
前記シルエット画像を前記背景画像に合成するステップと、
を有することを特徴とする画像処理方法。 generating a panoramic background image from images taken at a plurality of different angles of view by an imaging device;
obtaining a background image corresponding to the current angle of view of the imaging device from the panoramic background image;
generating a silhouette image based on a difference between the background image and the captured image at the current angle of view;
compositing the silhouette image with the background image;
An image processing method comprising: コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として動作させるためのプログラム。 A program for causing a computer to operate as each means of the image processing apparatus according to claim 1. コンピュータを、請求項７に記載の画像処理装置の各手段として動作させるためのプログラム。 A program for causing a computer to operate as each means of the image processing apparatus according to claim 7. コンピュータを、請求項８に記載の画像処理装置の各手段として動作させるためのプログラム。 A program for causing a computer to operate as each means of the image processing apparatus according to claim 8. コンピュータを、請求項９に記載の画像処理装置の各手段として動作させるためのプログラム。 A program for causing a computer to operate as each means of the image processing apparatus according to claim 9. コンピュータを、請求項１０に記載の画像処理装置の各手段として動作させるためのプログラム。 A program for causing a computer to operate as each means of the image processing apparatus according to claim 10. コンピュータを、請求項１１に記載の画像処理装置の各手段として動作させるためのプログラム。 A program for causing a computer to operate as each means of the image processing apparatus according to claim 11.

Images