JP2017158065A - Information processing apparatus, information processing method, and program - Google Patents

Information processing apparatus, information processing method, and program Download PDF

Info

Publication number
JP2017158065A
JP2017158065A JP2016040506A JP2016040506A JP2017158065A JP 2017158065 A JP2017158065 A JP 2017158065A JP 2016040506 A JP2016040506 A JP 2016040506A JP 2016040506 A JP2016040506 A JP 2016040506A JP 2017158065 A JP2017158065 A JP 2017158065A
Authority
JP
Japan
Prior art keywords
image
image data
information processing
comparison
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016040506A
Other languages
Japanese (ja)
Other versions
JP6736916B2 (en
Inventor
直也 守田
Naoya Morita
直也 守田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2016040506A priority Critical patent/JP6736916B2/en
Publication of JP2017158065A publication Critical patent/JP2017158065A/en
Application granted granted Critical
Publication of JP6736916B2 publication Critical patent/JP6736916B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To protect privacy of a photographed person even in the case of photographing the person while moving a photographing apparatus.SOLUTION: An information processing apparatus includes: a first extraction part for calculating an area where a current image that is currently photographed and an image for comparison based on an image photographed before overlap, and extracting first image data of an area overlapping the image for comparison in the current image, and second image data of an area overlapping the current image in the image for comparison; a second extraction part for comparing the first image data with the second image data to extract a changed area from the second image data in the first image data; and a mask processing part for performing mask processing of the area extracted by the second extraction part in the current image.SELECTED DRAWING: Figure 4

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。   The present invention relates to an information processing apparatus, an information processing method, and a program.

従来、撮影された映像や画像において、人が動いていることを検知し、人が動いていることにより変化した領域を、モザイク処理やぼかし処理を行うことにより、プライバシーを保護する技術が知られている。   Conventionally, there is a known technology that protects privacy by detecting the movement of people in captured images and images, and performing mosaic processing and blurring processing on areas that have changed due to movement of people. ing.

この技術において、例えば、撮影機器を予め固定位置に設置しておき、一の画像の画像データと、複数の画像を平均化した比較用データとを比較して、差分がある領域を変化した領域として検知することが知られている（例えば、特許文献１参照）。   In this technology, for example, an imaging device is installed in a fixed position in advance, and the image data of one image is compared with comparison data obtained by averaging a plurality of images, and the region where the difference exists is changed. It is known to detect (see, for example, Patent Document 1).

しかし、従来技術には、撮影機器を移動させながら撮影した場合、画像の全領域を変化した領域として検知されるため、当該全領域に、モザイク処理やぼかし処理が行われるという問題があった。   However, the conventional technique has a problem in that when the image is taken while moving the photographing device, the entire area of the image is detected as a changed area, and thus mosaic processing and blurring processing are performed on the entire area.

そこで、撮影機器を移動させながら撮影した場合であっても、撮影された人物のプライバシーを保護することを目的とする。   Therefore, it is an object of the present invention to protect the privacy of a photographed person even when photographing while moving the photographing device.

情報処理装置において、現在撮影された現画像と、以前に撮影された画像に基づく比較用画像とが重なり合う領域を算出し、前記現画像における前記比較用画像と重なる領域の第１の画像データと、前記比較用画像における前記現画像と重なる領域の第２の画像データを抽出する第１の抽出部と、前記第１の画像データと前記第２の画像データとを比較し、前記第１の画像データにおける前記第２の画像データから変化した領域を抽出する第２の抽出部と、前記現画像における、前記第２の抽出部により抽出された領域にマスク処理を行うマスク処理部と、を備える。   In the information processing apparatus, an area where a currently captured current image and a comparison image based on a previously captured image overlap is calculated, and first image data of an area overlapping the comparison image in the current image A first extraction unit that extracts second image data in a region overlapping the current image in the comparison image, the first image data and the second image data are compared, and the first image data is compared. A second extraction unit that extracts a region changed from the second image data in the image data; and a mask processing unit that performs a mask process on the region extracted by the second extraction unit in the current image. Prepare.

開示の技術によれば、撮影機器を移動させながら撮影した場合であっても、撮影された人物のプライバシーを保護することが可能となる。   According to the disclosed technology, it is possible to protect the privacy of a photographed person even when the photographing apparatus is photographed while moving.

実施形態におけるビデオ配信システムの構成例を示す図である。It is a figure which shows the structural example of the video delivery system in embodiment. 実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the information processing apparatus which concerns on embodiment. 情報処理装置の機能ブロック図である。It is a functional block diagram of an information processor. マスク処理の一例を示すフローチャートである。It is a flowchart which shows an example of a mask process. 比較対象範囲算出処理の一例を示すフローチャートである。It is a flowchart which shows an example of a comparison object range calculation process. 比較対象範囲算出処理について説明する図である。It is a figure explaining the comparison object range calculation processing. マスク領域設定の一例を示すフローチャートである。It is a flowchart which shows an example of a mask area | region setting. 比較対象範囲算出処理の他の一例を示すフローチャートである。It is a flowchart which shows another example of a comparison object range calculation process. 被写体と情報処理装置の移動に応じた撮影領域を説明する図である。It is a figure explaining the imaging | photography area | region according to a to-be-photographed object and the movement of information processing apparatus.

以下、図面に基づいて本発明の実施形態を説明する。図１は、実施形態におけるビデオ配信システムの構成例を示す図である。図１において、ビデオ配信システム１は、情報処理装置（撮影機器）１０、及びビデオ配信サーバ２０を含む。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram illustrating a configuration example of a video distribution system according to an embodiment. In FIG. 1, the video distribution system 1 includes an information processing apparatus (photographing device) 10 and a video distribution server 20.

情報処理装置１０とビデオ配信サーバ２０とは、インターネット等の通信回線によって通信可能に接続される。   The information processing apparatus 10 and the video distribution server 20 are communicably connected via a communication line such as the Internet.

情報処理装置１０は、例えば、ビデオカメラ、スマートフォン、タブレット型端末、ノートＰＣ（Personal Computer）等の端末である。情報処理装置１０は、撮影した映像において、人が動いていることにより変化した領域を検出し、当該領域に、モザイク処理やぼかし処理等のマスク処理を行う。情報処理装置１０は、マスク処理した映像を、ビデオ配信サーバ２０にアップロードする。情報処理装置１０にてマスク処理を行うため、ビデオ配信サーバ２０からマスク処理前の映像が情報漏洩し、プライバシーを侵害するリスクを低減できる。   The information processing apparatus 10 is, for example, a terminal such as a video camera, a smartphone, a tablet terminal, or a notebook PC (Personal Computer). The information processing apparatus 10 detects a region that has changed due to the movement of a person in the captured video, and performs mask processing such as mosaic processing or blurring processing on the region. The information processing apparatus 10 uploads the masked video to the video distribution server 20. Since the information processing apparatus 10 performs the mask process, the video before the mask process leaks information from the video distribution server 20 and the risk of infringing on privacy can be reduced.

ビデオ配信サーバ２０は、情報処理装置１０にて撮影された映像を、他の端末に配信する。なお、ビデオ配信サーバ２０における処理は、公知の技術を用いて行われてもよい。   The video distribution server 20 distributes the video shot by the information processing apparatus 10 to other terminals. Note that the processing in the video distribution server 20 may be performed using a known technique.

図２は、実施形態に係る情報処理装置１０のハードウェア構成の一例を示す図である。   FIG. 2 is a diagram illustrating an example of a hardware configuration of the information processing apparatus 10 according to the embodiment.

情報処理装置１０は、それぞれバスＢで相互に接続されているドライブ装置１０１、ＨＤＤ（Hard disk drive）１０２、メモリ装置１０３、ＣＰＵ（Central Processing Unit；演算処理装置）１０４、通信インターフェース（Ｉ／Ｆ）１０５、操作Ｉ／Ｆ１０６、ＡＤＣ（Analog-to-Digital Converter）１０７、レンズ／センサユニット１０８で構成される。   The information processing apparatus 10 includes a drive device 101, an HDD (Hard disk drive) 102, a memory device 103, a CPU (Central Processing Unit) 104, and a communication interface (I / F) that are connected to each other via a bus B. ) 105, operation I / F 106, ADC (Analog-to-Digital Converter) 107, and lens / sensor unit 108.

ＨＤＤ１０２は、インストールされたプログラムを格納すると共に、必要なファイル、データ等を格納する。メモリ装置１０３は、コンピュータの起動時にＨＤＤ１０２からプログラムを読み出して格納する。そして、ＣＰＵ１０４はメモリ装置１０３に格納されたプログラムに従って、後述するような各種処理を実現する。   The HDD 102 stores installed programs and necessary files, data, and the like. The memory device 103 reads the program from the HDD 102 and stores it when the computer is activated. Then, the CPU 104 realizes various processes as will be described later in accordance with a program stored in the memory device 103.

通信Ｉ／Ｆ１０５は、ＵＳＢポート、無線ＬＡＮ（Local Area Network）カード、ＬＡＮカードなどで構成されており、ネットワークに接続するために用いられる。   The communication I / F 105 includes a USB port, a wireless local area network (LAN) card, a LAN card, and the like, and is used for connecting to a network.

操作Ｉ／Ｆ１０６は、キーボードやディスプレイ等で実現され、情報処理装置１０を操作するための操作画面が表示される。   The operation I / F 106 is realized by a keyboard, a display, or the like, and displays an operation screen for operating the information processing apparatus 10.

ＡＤＣ１０７は、レンズ／センサユニット１０８から入力されたアナログ映像データを、デジタル映像データに変換する。   The ADC 107 converts the analog video data input from the lens / sensor unit 108 into digital video data.

後述する実施形態の情報処理方法がプログラムによって実現される場合、プログラムは例えば記録媒体１１０の配布やネットワークからのダウンロードなどによって提供される。記録媒体１１０は、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。   When an information processing method according to an embodiment described later is realized by a program, the program is provided by, for example, distribution of the recording medium 110 or downloading from a network. The recording medium 110 is a recording medium that records information optically, electrically, or magnetically, such as a CD-ROM (Compact Disc Read Only Memory), flexible disk, or magneto-optical disk, ROM (Read Only Memory), flash Various types of recording media such as a semiconductor memory that electrically records information, such as a memory, can be used.

また、実施形態のプログラムを記録した記録媒体１１０がドライブ装置１０１にセットされると、記録媒体１１０からドライブ装置１０１を介してＨＤＤ１０２にインストールされる。プログラムをネットワークからダウンロードした場合は、通信Ｉ／Ｆ１０５を介してＨＤＤ１０２にインストールされる。   Further, when the recording medium 110 storing the program of the embodiment is set in the drive device 101, the program is installed from the recording medium 110 to the HDD 102 via the drive device 101. When the program is downloaded from the network, it is installed in the HDD 102 via the communication I / F 105.

ビデオ配信サーバ２０のハードウェア構成は、サーバ用のコンピュータのハードウェア構成であり、図２に示す情報処理装置１０のハードウェア構成例と同様である。   The hardware configuration of the video distribution server 20 is the hardware configuration of a server computer, and is the same as the hardware configuration example of the information processing apparatus 10 shown in FIG.

次に、図３を参照し、情報処理装置１０の機能構成について説明する。図３は、情報処理装置１０の機能ブロック図である。情報処理装置１０は、ビデオ入力部１１、比較用画像更新部１４、画像補正処理部１５、変化領域抽出部１６、マスク処理部１７、ビデオ出力部１８、及び認証部１９を有する。これら各部は、情報処理装置１０にインストールされた１以上のプログラムが、情報処理装置１０のＣＰＵ１０４に実行させる処理により実現される。   Next, the functional configuration of the information processing apparatus 10 will be described with reference to FIG. FIG. 3 is a functional block diagram of the information processing apparatus 10. The information processing apparatus 10 includes a video input unit 11, a comparative image update unit 14, an image correction processing unit 15, a change area extraction unit 16, a mask processing unit 17, a video output unit 18, and an authentication unit 19. Each of these units is realized by processing that one or more programs installed in the information processing apparatus 10 cause the CPU 104 of the information processing apparatus 10 to execute.

また、情報処理装置１０は、現画像記憶部１２、及び比較用画像記憶部１３を有する。これらの記憶部は、例えば、補助記憶装置１０２等を用いて実現される。   The information processing apparatus 10 includes a current image storage unit 12 and a comparison image storage unit 13. These storage units are realized using, for example, the auxiliary storage device 102 or the like.

現画像記憶部１２は、現在（今回）撮影された映像の画像（現画像）を記憶する。   The current image storage unit 12 stores an image (current image) of a currently taken video (current image).

比較用画像記憶部１３は、現画像記憶部１２に記憶される現画像と比較するための比較用画像データを記憶する。   The comparison image storage unit 13 stores comparison image data for comparison with the current image stored in the current image storage unit 12.

ビデオ入力部１１は、レンズ／センサユニット１０８よりアナログのビデオ信号を入力し、デジタルデータに変換する。   The video input unit 11 receives an analog video signal from the lens / sensor unit 108 and converts it into digital data.

比較用画像更新部１４は、所定のルールに基づいて、比較用画像記憶部１３の比較用画像データの作成、更新処理を行う。比較用画像更新部１４は、例えば、以前（今回よりも前）に撮影された所定数（例えば５）フレーム分の画像が保存された場合に、当該所定数のフレームの画像データの平均を算出し、算出したデータを比較用画像データとする。   The comparison image update unit 14 creates and updates comparison image data in the comparison image storage unit 13 based on a predetermined rule. For example, when a predetermined number (for example, 5) frames of images previously captured (before this time) are stored, the comparison image update unit 14 calculates an average of the image data of the predetermined number of frames. The calculated data is used as comparison image data.

画像補正処理部１５は、比較対象範囲算出処理により、情報処理装置１０が移動することによる、現画像と比較用画像とのずれを検出する。そして、画像補正処理部１５は、現画像における比較対象範囲の画像と、比較用画像における比較対象範囲の画像を各々生成する。なお、比較対象範囲算出処理の詳細は後述する。   The image correction processing unit 15 detects a shift between the current image and the comparison image due to the movement of the information processing apparatus 10 by the comparison target range calculation process. Then, the image correction processing unit 15 generates an image in the comparison target range in the current image and an image in the comparison target range in the comparison image. Details of the comparison target range calculation process will be described later.

変化領域抽出部１６は、画像補正処理部１５より出力された補正後の現画像データ（第１の画像データ）と、補正後の比較用画像データ（第２の画像データ）と比較して差分をとり、現画像データにおける変化領域を抽出する。   The change area extraction unit 16 compares the corrected current image data (first image data) output from the image correction processing unit 15 with the corrected comparison image data (second image data), and makes a difference. And a change area in the current image data is extracted.

マスク処理部１７は、マスク領域設定部１７１、第１のマスク画像作成部１７２、第２のマスク画像作成部１７３、及び重ね合わせ部１７４を有する。   The mask processing unit 17 includes a mask area setting unit 171, a first mask image creation unit 172, a second mask image creation unit 173, and an overlay unit 174.

マスク領域設定部１７１は、現画像においてマスクする領域を設定するマスク領域設定処理を行う。マスク領域設定部１７１は、マスク領域設定処理において、以下の処理を行う。   The mask area setting unit 171 performs a mask area setting process for setting an area to be masked in the current image. The mask area setting unit 171 performs the following process in the mask area setting process.

マスク領域設定部１７１は、変化領域抽出部１６で抽出された現画像データにおける変化領域のうち、人物が写っている領域を、マスク領域として特定する。マスク領域設定部１７１は、例えば、変化領域内の各輝度値を所定の閾値で２値化して、例えばパターン認識等により人物が写っている領域を判定し、当該領域を含む（外接する）矩形や正方形等の領域をマスク領域とする。   The mask area setting unit 171 specifies, as a mask area, an area in which a person is reflected among the change areas in the current image data extracted by the change area extraction unit 16. The mask area setting unit 171 binarizes each luminance value in the change area with a predetermined threshold, for example, determines an area in which a person is shown by pattern recognition or the like, and includes (circumscribes) a rectangle including the area An area such as a square is used as a mask area.

また、マスク領域設定部１７１は、変化領域抽出部１６により以前に撮影された画像から抽出された領域に対応する現画像における領域を、マスク領域として特定する。それにより、以前に移動していた人物が今回の画像において静止していた場合でも、プライバシーを保護することができる。なお、以前に撮影された画像から抽出された領域に対応する現画像における領域の算出は、上述した図６と同様に現画像と比較用画像のマッチング処理により算出してもよい。また、後述する図８と同様に現画像と比較用画像の位置情報と角度情報に基づいて算出してもよい。   In addition, the mask area setting unit 171 specifies an area in the current image corresponding to an area extracted from an image previously captured by the change area extraction unit 16 as a mask area. Thereby, even when a person who has moved before is still in the current image, privacy can be protected. Note that the area in the current image corresponding to the area extracted from the previously captured image may be calculated by matching processing between the current image and the comparison image, as in FIG. 6 described above. Further, similarly to FIG. 8 described later, it may be calculated based on position information and angle information of the current image and the comparison image.

また、マスク領域設定部１７１は、複数のマイクを用いて音源が位置する方向を推定し、推定した方向以外の領域を、マスク領域として特定する。それにより、例えば悲鳴が挙がった方向を推定し、その方向の範囲にはマスク処理をしないことにより、犯人等が写っている領域にマスク処理を行わないようにすることができる。   Also, the mask area setting unit 171 estimates the direction in which the sound source is located using a plurality of microphones, and specifies an area other than the estimated direction as the mask area. As a result, for example, the direction in which the scream is raised is estimated, and the mask process is not performed in the range of the direction, so that the mask process is not performed on the area where the criminal or the like is shown.

また、マスク領域設定部１７１は、現画像と、予め登録している画像とを例えばパターン認識によりマッチングし、現画像における登録している画像と一致する領域を、マスク領域として特定する。例えば、工場のラインにおいてベルトコンベアー上に流れている製品を写したくない場合に、ラインの画像パターンを予め登録しておく。それにより、例えば、情報処理装置１０を移動させても、そのパターンにマッチ（一致）する箇所はマスク処理を行うことができる。   In addition, the mask area setting unit 171 matches the current image and a previously registered image by pattern recognition, for example, and identifies an area that matches the registered image in the current image as a mask area. For example, when it is not desired to copy a product flowing on a belt conveyor in a factory line, a line image pattern is registered in advance. Thereby, for example, even if the information processing apparatus 10 is moved, a portion that matches the pattern can be masked.

第１のマスク画像作成部１７２は、マスク領域設定部１７１により特定されたマスク領域内を覆う第１のマスク画像データを作成する。例えば、マスク領域内の画素の値を黒を示す値に変換することにより、マスク画像データを作成する。   The first mask image creation unit 172 creates first mask image data that covers the mask area specified by the mask area setting unit 171. For example, the mask image data is created by converting the value of the pixel in the mask area into a value indicating black.

第２のマスク画像作成部１７３は、補正後の比較用画像データ（第２の画像データ）を用いて、第２のマスク画像を作成する。それにより、マスク処理される領域内に存在する人物以外の物体を把握することができる。   The second mask image creation unit 173 creates a second mask image using the corrected comparison image data (second image data). Thereby, an object other than a person existing in the area to be masked can be grasped.

第２のマスク画像作成部１７３は、例えば、第２のマスク画像作成部１７３は、第１のマスク画像作成部１７２により作成された第１のマスク画像データ、及び補正後の比較用画像データ（第２の画像データ）に基づき、第２のマスク画像を作成する。この場合、例えば、第１のマスク画像データと、補正後の比較用画像データにおけるマスク領域に対応する領域とを合成した後、モザイク処理やぼかし処理等のマスク処理をすることにより、第２のマスク画像を作成する。   For example, the second mask image creation unit 173 is configured such that the second mask image creation unit 173 includes the first mask image data created by the first mask image creation unit 172 and the corrected comparison image data ( A second mask image is created based on the second image data. In this case, for example, the first mask image data and the region corresponding to the mask region in the corrected comparison image data are combined, and then mask processing such as mosaic processing or blurring processing is performed, so that the second Create a mask image.

重ね合わせ部１７４は、現画像記憶部１２に記憶されている現画像に、第２のマスク画像作成部１７３で作成された第２のマスク画像を重ね合わせた画像（重ね合わせ画像）を作成する。   The superimposing unit 174 creates an image (superimposed image) obtained by superimposing the second mask image created by the second mask image creating unit 173 on the current image stored in the current image storage unit 12. .

ビデオ出力部１８は、重ね合わせ画像のビデオ信号をＤ／Ａ変換し、操作Ｉ／Ｆ１０６の表示部に出力する。また、ビデオ出力部１８は、重ね合わせ画像を、通信Ｉ／Ｆ１０５を介してビデオ配信サーバ２０に送信する。   The video output unit 18 performs D / A conversion on the video signal of the superimposed image and outputs it to the display unit of the operation I / F 106. In addition, the video output unit 18 transmits the superimposed image to the video distribution server 20 via the communication I / F 105.

認証部１９は、指紋やパスワード等を用いて、ユーザの認証を行う。認証部１９は、ユーザの認証に成功すると、人が動いていることにより変化した領域のマスク処理を行わずに、Ａ／Ｄ変換部１２２から入力した映像を、ビデオ出力部１８に出力する。それにより、認証された撮影者のみが、マスク処理を受ける前の映像を見ることができる。   The authentication unit 19 performs user authentication using a fingerprint, a password, or the like. If the authentication unit 19 succeeds in the user authentication, the authentication unit 19 outputs the video input from the A / D conversion unit 122 to the video output unit 18 without performing mask processing of the area changed by the movement of the person. Thereby, only the authenticated photographer can view the video before undergoing the mask process.

次に、図４を参照し、情報処理装置１０の、人が動いていることにより変化した領域のマスク処理について説明する。図４は、人が動いていることにより変化した領域のマスク処理の一例を示すフローチャートである。   Next, with reference to FIG. 4, the mask process of the area changed by the movement of the person in the information processing apparatus 10 will be described. FIG. 4 is a flowchart illustrating an example of mask processing for a region that has changed due to a person moving.

比較用画像更新部１４は、比較用画像データを作成し、比較用画像記憶部１３に記憶する（ステップＳ１０１）。   The comparison image update unit 14 creates comparison image data and stores it in the comparison image storage unit 13 (step S101).

現画像記憶部１２は、現在撮影された映像の画像（現画像）を記憶する（ステップＳ１０２）。   The current image storage unit 12 stores an image (current image) of a currently captured video (step S102).

画像補正処理部１５は、比較対象範囲算出処理により、情報処理装置１０が移動することによる、現画像と比較用画像とのずれを検出する（ステップＳ１０３）。   The image correction processing unit 15 detects a shift between the current image and the comparison image due to the movement of the information processing apparatus 10 by the comparison target range calculation process (step S103).

続いて、画像補正処理部１５は、比較対象範囲算出処理により検出した、現画像と比較用画像との間で一致する領域を比較対象範囲とし、現画像における比較対象範囲の画像と、比較用画像における比較対象範囲の画像を各々生成する（ステップＳ１０４）。   Subsequently, the image correction processing unit 15 sets a matching area between the current image and the comparison image detected by the comparison target range calculation process as a comparison target range, and compares the comparison target range image in the current image with the comparison target range. Each image in the comparison target range in the image is generated (step S104).

変化領域抽出部１６は、補正後の現画像データと、補正後の比較用画像データと比較して差分をとり、現画像データにおける変化領域を抽出する（ステップＳ１０５）。   The change area extraction unit 16 compares the corrected current image data with the corrected comparison image data, obtains a difference, and extracts a change area in the current image data (step S105).

マスク領域設定部１７１は、現画像においてマスクする領域（マスク領域）を設定するマスク領域設定処理を行う（ステップＳ１０６）。なお、マスク領域設定処理の詳細は後述する。   The mask area setting unit 171 performs a mask area setting process for setting an area to be masked (mask area) in the current image (step S106). Details of the mask area setting process will be described later.

第１のマスク画像作成部１７２は、マスク領域内を覆う第１のマスク画像データを作成する（ステップＳ１０７）。   The first mask image creation unit 172 creates first mask image data that covers the mask area (step S107).

第２のマスク画像作成部１７３は、第１のマスク画像作成部１７２により作成された第１のマスク画像データ、及び比較用画像のマスク領域に対応する領域の画像データに基づき、第２のマスク画像を作成する（ステップＳ１０８）。   The second mask image creation unit 173 generates a second mask based on the first mask image data created by the first mask image creation unit 172 and the image data of an area corresponding to the mask area of the comparison image. An image is created (step S108).

重ね合わせ部１７４は、現画像に、第２のマスク画像を重ね合わせた画像（重ね合わせ画像）を作成する（ステップＳ１０９）。   The superimposing unit 174 creates an image (superimposed image) obtained by superimposing the second mask image on the current image (step S109).

ビデオ出力部１８は、重ね合わせ画像を出力する（ステップＳ１１０）。   The video output unit 18 outputs a superimposed image (step S110).

次に、図５を参照し、図４のステップＳ１０３の、画像補正処理部１５による比較対象範囲算出処理について説明する。図５は、比較対象範囲算出処理の一例を示すフローチャートである。   Next, the comparison target range calculation processing by the image correction processing unit 15 in step S103 of FIG. 4 will be described with reference to FIG. FIG. 5 is a flowchart illustrating an example of the comparison target range calculation process.

画像補正処理部１５は、比較用画像を小領域に分割する（ステップＳ２０１）。   The image correction processing unit 15 divides the comparison image into small regions (step S201).

続いて、画像補正処理部１５は、各小領域について、現画像において一致する領域を探索する（ステップＳ２０２）。   Subsequently, the image correction processing unit 15 searches for a matching area in the current image for each small area (step S202).

続いて、画像補正処理部１５は、現画像と比較用画像とで一致する各小領域を含む最少の矩形または正方形の領域を、現画像と比較用画像との間で一致する領域とする（ステップＳ２０３）。   Subsequently, the image correction processing unit 15 sets the smallest rectangular or square area including each small area that matches between the current image and the comparison image as a matching area between the current image and the comparison image ( Step S203).

次に、図６を参照し、画像補正処理部１５による比較対象範囲算出処理について説明する。図６は、比較対象範囲算出処理について説明する図である。   Next, the comparison target range calculation processing by the image correction processing unit 15 will be described with reference to FIG. FIG. 6 is a diagram illustrating the comparison target range calculation process.

情報処理装置１０が移動することにより、現画像４０１と比較用画像４０２とは、例えば図６（Ａ）に示すようなずれが生じる。   As the information processing apparatus 10 moves, the current image 401 and the comparison image 402 are displaced as shown in FIG. 6A, for example.

ここで、撮影するフレームレートは情報処理装置１０の能力により異なるが、現画像４０１と比較用画像４０２のフレーム間での情報処理装置１０の移動時間を考慮すると、それほど大きなずれはない。   Here, the shooting frame rate varies depending on the capability of the information processing apparatus 10, but there is no significant difference when considering the movement time of the information processing apparatus 10 between frames of the current image 401 and the comparison image 402.

そのため、図６（Ｂ）のように、比較用画像４０２を小領域４０３（タイル、例えば８×８画素）に分割し、各小領域ついて、現画像４０１とのマッチング処理を行う。   Therefore, as shown in FIG. 6B, the comparison image 402 is divided into small regions 403 (tiles, for example, 8 × 8 pixels), and matching processing with the current image 401 is performed for each small region.

画像補正処理部１５は、現画像４０１において小領域４０３と一致する領域を探索する。例えば、現画像４０１における比較対象の領域を１画素づつ横または縦にずらしながら、一致する（各画素値の差の合計が所定の閾値以下である）領域を探索する。そして、現画像４０１において、小領域４０３との差が閾値以下であり、かつ差が最も小さい領域を、一致する領域と判定する。   The image correction processing unit 15 searches for a region that matches the small region 403 in the current image 401. For example, the comparison target region in the current image 401 is shifted horizontally or vertically one pixel at a time, and a matching region (the sum of the differences between the pixel values is equal to or less than a predetermined threshold value) is searched. Then, in the current image 401, an area where the difference from the small area 403 is equal to or smaller than the threshold and the smallest difference is determined as a matching area.

なお、マッチング処理は、単純に画素単位での一致の程度を判定してもよいし、画像の明暗差なども考慮し、周辺画素とあわせて画素の変化の傾向から一致の程度を判定してもよい。例えば画像のＳＩＦＴ(Scale-Invariant Feature Transform)やＨＯＧ(Histograms of Oriented Gradients)特徴量の一致の程度を判定してもよい
また、比較用画像４０２における各小領域を順次マッチング処理をしてもよいし、例えば比較用画像４０２における４隅に対し並列にマッチング処理をしてもよい。 Note that the matching process may simply determine the degree of matching in pixel units, or determine the degree of matching based on the tendency of pixel changes together with surrounding pixels, taking into account the difference in brightness of the image. Also good. For example, the degree of coincidence of SIFT (Scale-Invariant Feature Transform) and HOG (Histograms of Oriented Gradients) features of the image may be determined, and each subregion in the comparison image 402 may be sequentially matched. For example, matching processing may be performed in parallel on the four corners of the comparison image 402.

画像補正処理部１５は、現画像と比較用画像とで一致する各小領域を含む最少の矩形または正方形の領域を、現画像４０１と比較用画像４０２との間で一致する領域４０４とする。   The image correction processing unit 15 sets a minimum rectangular or square area including each small area that matches between the current image and the comparison image as a matching area 404 between the current image 401 and the comparison image 402.

そして、画像補正処理部１５は、現画像４０１における領域４０４の画像データを、補正後の現画像データとし、比較用画像４０２領域４０４の画像データを、補正後の比較用画像データとする。   Then, the image correction processing unit 15 sets the image data of the region 404 in the current image 401 as corrected current image data, and sets the image data of the comparison image 402 region 404 as corrected comparison image data.

次に、図７を参照し、図４のステップＳ１０６の、マスク領域設定部１７１による、現画像においてマスクする領域を設定するマスク領域設定処理の詳細について説明する。図７は、マスク領域設定の一例を示すフローチャートである。   Next, the details of the mask area setting process for setting the area to be masked in the current image by the mask area setting unit 171 in step S106 of FIG. 4 will be described with reference to FIG. FIG. 7 is a flowchart showing an example of mask area setting.

まず、マスク領域設定部１７１は、変化領域抽出部１６で抽出された現画像データにおける変化領域のうち、人物が写っている領域を、マスク領域として特定する（ステップＳ３０１）。   First, the mask area setting unit 171 specifies, as a mask area, an area in which a person is reflected among the change areas in the current image data extracted by the change area extraction unit 16 (step S301).

続いて、マスク領域設定部１７１は、変化領域抽出部１６により以前に撮影された画像から抽出された領域に対応する現画像における領域を、マスク領域として特定する（ステップＳ３０２）。   Subsequently, the mask area setting unit 171 specifies an area in the current image corresponding to the area extracted from the image previously captured by the change area extraction unit 16 as a mask area (step S302).

続いて、マスク領域設定部１７１は、複数のマイクを用いて音源が位置する方向を推定し、推定した方向の領域を、マスク領域から除外する（ステップＳ３０３）。   Subsequently, the mask area setting unit 171 estimates the direction in which the sound source is located using a plurality of microphones, and excludes the area of the estimated direction from the mask area (step S303).

続いて、マスク領域設定部１７１は、現画像と、予め登録している画像とをマッチングし、現画像における登録している画像と一致する領域を、マスク領域として特定する（ステップＳ３０４）。   Subsequently, the mask area setting unit 171 matches the current image with a previously registered image, and identifies an area that matches the registered image in the current image as a mask area (step S304).

＜変形例＞
次に、図８を参照し、図４のステップＳ１０３の画像補正処理部１５による比較対象範囲算出処理の他の例として、情報処理装置１０の移動情報から比較用画像を生成する例について説明する。図８は、比較対象範囲算出処理の他の一例を示すフローチャートである。 <Modification>
Next, an example in which a comparison image is generated from movement information of the information processing apparatus 10 will be described as another example of the comparison target range calculation process by the image correction processing unit 15 in step S103 of FIG. 4 with reference to FIG. . FIG. 8 is a flowchart illustrating another example of the comparison target range calculation process.

画像補正処理部１５は、情報処理装置１０の相対位置を取得するため、情報処理装置１０の電源ＯＮ後、１枚目の現画像が記憶されると、情報処理装置１０の位置情報をリセットする（ステップＳ４０１）。   In order to acquire the relative position of the information processing apparatus 10, the image correction processing unit 15 resets the position information of the information processing apparatus 10 when the first current image is stored after the information processing apparatus 10 is turned on. (Step S401).

画像補正処理部１５は、２枚目以降の現画像が記憶される度に、現在の位置情報及び角度情報を取得する（ステップＳ４０２）。なお、現在の位置情報及び角度情報は、例えば、情報処理装置１０の加速度センサを用いて取得する。   The image correction processing unit 15 acquires the current position information and angle information every time the second and subsequent current images are stored (step S402). The current position information and angle information are acquired using, for example, an acceleration sensor of the information processing apparatus 10.

画像補正処理部１５は、比較用画像更新部１４により、比較用画像データの作成 、更新処理を行われると、比較用画像の位置情報及び角度情報を算出する（ステップＳ４０３）。例えば、以前に撮影された所定数フレーム分の画像データを平均した画像を比較用画像とする場合、当該所定数フレーム分の画像の位置情報及び角度情報をそれぞれ平均した値を、比較用画像の位置情報及び角度情報とする。   When the comparison image update unit 14 creates and updates the comparison image data, the image correction processing unit 15 calculates position information and angle information of the comparison image (step S403). For example, when an image obtained by averaging a predetermined number of frames of image data previously captured is used as a comparison image, the average value of the position information and the angle information of the predetermined number of frames is used as the comparison image. Let it be position information and angle information.

画像補正処理部１５は、現画像と比較用画像の位置情報及び角度情報の差分を算出する（ステップＳ４０４）。   The image correction processing unit 15 calculates the difference between the position information and the angle information between the current image and the comparison image (step S404).

画像補正処理部１５は、当該差分に基づき、比較対象範囲のX,Y座標の移動量、及び拡大縮小率を算出する（ステップＳ４０５）。   Based on the difference, the image correction processing unit 15 calculates the movement amount of the X and Y coordinates of the comparison target range and the enlargement / reduction ratio (step S405).

画像補正処理部１５は、現画像と比較用画像との拡大・縮小率Ｓを判定する（ステップＳ４０６）。   The image correction processing unit 15 determines the enlargement / reduction rate S between the current image and the comparison image (step S406).

現画像と比較用画像との拡大・縮小率Ｓが１より大きい（現画像の方が大きい）場合（ステップＳ４０６で「Ｓ＞１」）、比較用画像をＳに応じて拡大し、現画像の画像サイズと合わせ（ステップＳ４０７）、ステップＳ４０９の処理に進む。   When the enlargement / reduction ratio S between the current image and the comparison image is larger than 1 (the current image is larger) (“S> 1” in step S406), the comparison image is enlarged according to S, and the current image (Step S407), the process proceeds to step S409.

現画像と比較用画像との拡大・縮小率Ｓが１である場合（ステップＳ４０６で「Ｓ＝１」）、ステップＳ４０９の処理に進む。   When the enlargement / reduction ratio S between the current image and the comparison image is 1 (“S = 1” in step S406), the process proceeds to step S409.

現画像と比較用画像との拡大・縮小率Ｓが１より小さい（比較用画像の方が大きい）場合（ステップＳ４０６で「Ｓ＜１」）、原画像をＳに応じて拡大し、比較用画像の画像サイズと合わせ（ステップＳ４０８）、ステップＳ４０９の処理に進む。   When the enlargement / reduction ratio S between the current image and the comparison image is smaller than 1 (the comparison image is larger) (“S <1” in step S406), the original image is enlarged according to S and used for comparison. Matching with the image size of the image (step S408), the process proceeds to step S409.

画像補正処理部１５は、現画像の比較用画像に対するＸ座標の移動量Ｘｓを判定する（ステップＳ４０９）。   The image correction processing unit 15 determines the movement amount Xs of the X coordinate with respect to the comparison image of the current image (step S409).

現画像の比較用画像に対するＸ座標の移動量Ｘｓが０より大きい場合（ステップＳ４０９でＸｓ＞０）、比較用画像の比較開始位置を、Ｘ軸方向にＸｓ分加算し（ステップＳ４１０）、ステップＳ４１２の処理に進む。   If the movement amount Xs of the X coordinate relative to the comparison image of the current image is larger than 0 (Xs> 0 in step S409), the comparison start position of the comparison image is added by Xs in the X-axis direction (step S410), and step The process proceeds to S412.

現画像の比較用画像に対するＸ座標の移動量Ｘｓが０である場合（ステップＳ４０９でＸｓ＝０）、ステップＳ４１２の処理に進む。   If the movement amount Xs of the X coordinate with respect to the comparison image of the current image is 0 (Xs = 0 in step S409), the process proceeds to step S412.

現画像の比較用画像に対するＸ座標の移動量Ｘｓが０より小さい場合（ステップＳ４０９でＸｓ＜０）、原画像の比較開始位置を、Ｘ軸方向にＸｓ分加算し（ステップＳ４１１）、ステップＳ４１２の処理に進む。   If the movement amount Xs of the X coordinate relative to the comparison image of the current image is smaller than 0 (Xs <0 in step S409), the comparison start position of the original image is added by Xs in the X-axis direction (step S411), and step S412 Proceed to the process.

画像補正処理部１５は、現画像の比較用画像に対するＹ座標の移動量Ｙｓを判定する（ステップＳ４１２）。   The image correction processing unit 15 determines the movement amount Ys of the Y coordinate with respect to the comparison image of the current image (step S412).

現画像の比較用画像に対するＹ座標の移動量Ｙｓが０より大きい場合（ステップＳ４１２でＹｓ＞０）、比較用画像の比較開始位置を、Ｙ軸方向にＹｓ分加算し（ステップＳ４１３）、処理を終了する。   If the amount of movement Ys of the Y coordinate relative to the comparison image of the current image is greater than 0 (Ys> 0 in step S412), the comparison start position of the comparison image is added by Ys in the Y-axis direction (step S413), and processing Exit.

現画像の比較用画像に対するＹ座標の移動量Ｙｓが０である場合（ステップＳ４１２でＹｓ＝０）、処理を終了する。   If the amount of movement Ys of the Y coordinate relative to the comparison image of the current image is 0 (Ys = 0 in step S412), the process ends.

現画像の比較用画像に対するＹ座標の移動量Ｙｓが０より小さい場合（ステップＳ４１２でＹｓ＜０）、原画像の比較開始位置を、Ｙ軸方向にＹｓ分加算し（ステップＳ４１４）、処理を終了する。   If the amount of movement Ys of the Y coordinate relative to the comparison image of the current image is smaller than 0 (Ys <0 in step S412), the comparison start position of the original image is added by Ys in the Y-axis direction (step S414), and the process is performed. finish.

次に、図９を参照し、現画像に写る人（被写体、移動体）の移動と、情報処理装置１０の移動に応じて変化する撮影される領域について説明する。図９は、被写体と情報処理装置の移動に応じた撮影領域を説明する図である。   Next, with reference to FIG. 9, a description will be given of a region to be photographed that changes in accordance with the movement of a person (subject, moving body) in the current image and the movement of the information processing apparatus 10. FIG. 9 is a diagram for explaining a shooting area according to the movement of the subject and the information processing apparatus.

図９（Ａ）は、時刻がｔ０、ｔ１、ｔ２と経過するに応じた、情報処理装置１０の各位置５０１、５０２、５０３、当該各位置における情報処理装置１０から所定距離離れた地点の撮影領域５１１、５１２、５１３、及び移動体の各位置６０１、６０２、６０３の例を示す。   FIG. 9A shows the photographing of the positions 501, 502, and 503 of the information processing apparatus 10 and the points at a predetermined distance from the information processing apparatus 10 at the respective positions as the times t0, t1, and t2 elapse. Examples of the areas 511, 512, and 513 and the positions 601 602 and 603 of the moving object are shown.

図９（Ｂ）は、図９（Ａ）の情報処理装置１０の各位置５０１、５０２、５０３で撮影した画像５１１ａ、５１２ａ、５１３ａの例を示す。   FIG. 9B illustrates an example of images 511a, 512a, and 513a captured at the respective positions 501, 502, and 503 of the information processing apparatus 10 illustrated in FIG.

時刻ｔ０からｔ１では、移動体がＸ軸のプラス方向、Ｚ軸のマイナス方向に移動しているため、画像５１１ａで移動体が中心付近に写ると、画像５１２ａでは移動体が左下付近に写る。また、図９（Ａ）の例では、情報処理装置１０は移動体ほど移動していないが、同じ向きに移動しているため、画像５１１ａで円柱の静止物が右側に写ると、画像５１２ａでは円柱の右半分が写らない状態となる。   From time t0 to t1, since the moving body moves in the positive direction of the X axis and the negative direction of the Z axis, if the moving body appears in the vicinity of the center in the image 511a, the moving body appears in the vicinity of the lower left in the image 512a. In the example of FIG. 9A, the information processing apparatus 10 does not move as much as the moving body, but moves in the same direction. Therefore, when a cylindrical stationary object appears on the right side in the image 511a, the image 512a The right half of the cylinder is not visible.

また、時刻ｔ１からｔ２では、移動体がＹ軸のマイナス方向に移動し、情報処理装置１０はＸ軸にプラス方向に移動しているため、画像５１３ａでは、移動体は中央付近に小さく写っている。   Also, from time t1 to t2, the moving body moves in the negative direction of the Y axis, and the information processing apparatus 10 moves in the positive direction on the X axis. Therefore, in the image 513a, the moving body appears small near the center. Yes.

このように被写体である移動体や情報処理装置１０が移動している場合でも、図８の処理を行うことにより、現画像における移動体が写っている領域をマスク処理することができる。   As described above, even when the moving object that is the subject or the information processing apparatus 10 is moving, by performing the processing of FIG. 8, it is possible to perform mask processing on the region in which the moving object appears in the current image.

なお、上述した実施形態におけるシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。   It should be noted that the system configuration in the above-described embodiment is an example, and it goes without saying that there are various system configuration examples depending on the application and purpose.

例えば、情報処理装置１０は、例えば１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。   For example, the information processing apparatus 10 may be realized by cloud computing including, for example, one or more computers.

１０ 情報処理装置
１１ ビデオ入力部
１２ 現画像記憶部
１３ 比較用画像記憶部
１４ 比較用画像更新部
１５ 画像補正処理部（「第１の抽出部」の一例）
１６ 変化領域抽出部（「第２の抽出部」の一例）
１７ マスク処理部
１７１ マスク領域設定部
１７２ 第１のマスク画像作成部
１７３ 第２のマスク画像作成部
１７４ 重ね合わせ部
１８ ビデオ出力部
１９ 認証部
２０ ビデオ配信サーバ DESCRIPTION OF SYMBOLS 10 Information processing apparatus 11 Video input part 12 Current image storage part 13 Comparison image storage part 14 Comparison image update part 15 Image correction process part (an example of "first extraction part")
16 Change region extraction unit (an example of “second extraction unit”)
17 mask processing unit 171 mask area setting unit 172 first mask image creation unit 173 second mask image creation unit 174 superposition unit 18 video output unit 19 authentication unit 20 video distribution server

特許５４０８１５６号公報Japanese Patent No. 5408156

Claims (9)

現在撮影された現画像と、以前に撮影された画像に基づく比較用画像とが重なり合う領域を算出し、前記現画像における前記比較用画像と重なる領域の第１の画像データと、前記比較用画像における前記現画像と重なる領域の第２の画像データを抽出する第１の抽出部と、
前記第１の画像データと前記第２の画像データとを比較し、前記第１の画像データにおける前記第２の画像データから変化した領域を抽出する第２の抽出部と、
前記現画像における、前記第２の抽出部により抽出された領域にマスク処理を行うマスク処理部と、
を備えることを特徴とする情報処理装置。 A region where a current image currently captured and a comparison image based on a previously captured image overlap is calculated, first image data of a region overlapping the comparison image in the current image, and the comparison image A first extraction unit for extracting second image data in a region overlapping with the current image in
A second extraction unit that compares the first image data with the second image data and extracts a changed area from the second image data in the first image data;
A mask processing unit that performs mask processing on the region extracted by the second extraction unit in the current image;
An information processing apparatus comprising: 前記第１の抽出部は、前記現画像の画素と、前記比較用画像の画素とをマッチングし、前記重なり合う領域を算出する、
ことを特徴とする請求項１記載の情報処理装置。 The first extraction unit matches the pixel of the current image with the pixel of the comparison image, and calculates the overlapping region.
The information processing apparatus according to claim 1. 前記第１の抽出部は、前記現画像の位置情報及び角度情報と、前記比較用画像の位置情報及び角度情報とに基づいて、前記重なり合う領域を算出する、
ことを特徴とする請求項１記載の情報処理装置。 The first extraction unit calculates the overlapping region based on position information and angle information of the current image and position information and angle information of the comparison image.
The information processing apparatus according to claim 1. 前記マスク処理部は、前記第２の抽出部により以前に撮影された画像から抽出された領域に対応する前記現画像における領域に、マスク処理を行う、
ことを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。 The mask processing unit performs mask processing on a region in the current image corresponding to a region extracted from an image previously captured by the second extraction unit;
The information processing apparatus according to any one of claims 1 to 3. 前記マスク処理部は、複数のマイクを用いて音源が位置する方向を推定し、推定した方向以外の領域に、マスク処理を行う、
ことを特徴とする請求項１乃至４のいずれか一項に記載の情報処理装置。 The mask processing unit estimates a direction in which a sound source is located using a plurality of microphones, and performs mask processing on a region other than the estimated direction.
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus. 前記マスク処理部は、前記現画像と、登録している画像とをマッチングし、前記現画像における前記登録している画像と一致する領域に、マスク処理を行う、
ことを特徴とする請求項１乃至５のいずれか一項に記載の情報処理装置。 The mask processing unit matches the current image with a registered image, and performs a mask process on an area that matches the registered image in the current image.
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus. 前記マスク処理部は、前記第２の画像データを用いて、前記現画像における、前記第２の抽出部により抽出された領域にマスク処理を行う、
ことを特徴とする請求項１乃至６のいずれか一項に記載の情報処理装置。 The mask processing unit performs mask processing on the region extracted by the second extraction unit in the current image using the second image data.
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus. コンピュータが、
現在撮影された現画像と、以前に撮影された画像に基づく比較用画像とが重なり合う領域を算出し、前記現画像における前記比較用画像と重なる領域の第１の画像データと、前記比較用画像における前記現画像と重なる領域の第２の画像データを抽出するステップと、
前記第１の画像データと前記第２の画像データとを比較し、前記第１の画像データにおける前記第２の画像データから変化した領域を抽出するステップ、
前記現画像における、前記変化した領域を抽出するステップにより抽出された領域にマスク処理を行うステップと、
を実行することを特徴とする情報処理方法。 Computer
A region where a current image currently captured and a comparison image based on a previously captured image overlap is calculated, first image data of a region overlapping the comparison image in the current image, and the comparison image Extracting second image data in a region overlapping with the current image in
Comparing the first image data and the second image data, and extracting a changed region from the second image data in the first image data;
Masking the region extracted by the step of extracting the changed region in the current image;
The information processing method characterized by performing. コンピュータに、
現在撮影された現画像と、以前に撮影された画像に基づく比較用画像とが重なり合う領域を算出し、前記現画像における前記比較用画像と重なる領域の第１の画像データと、前記比較用画像における前記現画像と重なる領域の第２の画像データを抽出するステップと、
前記第１の画像データと前記第２の画像データとを比較し、前記第１の画像データにおける前記第２の画像データから変化した領域を抽出するステップ、
前記現画像における、前記変化した領域を抽出するステップにより抽出された領域にマスク処理を行うステップと、
を実行させることを特徴とするプログラム。 On the computer,
A region where a current image currently captured and a comparison image based on a previously captured image overlap is calculated, first image data of a region overlapping the comparison image in the current image, and the comparison image Extracting second image data in a region overlapping with the current image in
Comparing the first image data and the second image data, and extracting a changed region from the second image data in the first image data;
Masking the region extracted by the step of extracting the changed region in the current image;
A program characterized by having executed.
JP2016040506A 2016-03-02 2016-03-02 Information processing apparatus, information processing method, and program Expired - Fee Related JP6736916B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016040506A JP6736916B2 (en) 2016-03-02 2016-03-02 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016040506A JP6736916B2 (en) 2016-03-02 2016-03-02 Information processing apparatus, information processing method, and program

Publications (2)

Publication Number Publication Date
JP2017158065A true JP2017158065A (en) 2017-09-07
JP6736916B2 JP6736916B2 (en) 2020-08-05

Family

ID=59810313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016040506A Expired - Fee Related JP6736916B2 (en) 2016-03-02 2016-03-02 Information processing apparatus, information processing method, and program

Country Status (1)

Country Link
JP (1) JP6736916B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020025265A (en) * 2018-07-31 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 Solid-state imaging device and imaging device
US11983931B2 (en) 2018-07-31 2024-05-14 Sony Semiconductor Solutions Corporation Image capturing device and vehicle control system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331821A (en) * 1998-05-11 1999-11-30 Toyo Commun Equip Co Ltd Monitoring system
JP2005117163A (en) * 2003-10-03 2005-04-28 Canon Inc Camera server apparatus, control method thereof, computer program and computer-readable storage medium
JP2005277856A (en) * 2004-03-25 2005-10-06 National Univ Corp Shizuoka Univ Video image content editing system
WO2014100455A1 (en) * 2012-12-20 2014-06-26 Microsoft Corporation Camera with privacy modes
JPWO2013150829A1 (en) * 2012-04-03 2015-12-17 ソニー株式会社 Image processing apparatus, image processing apparatus control method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331821A (en) * 1998-05-11 1999-11-30 Toyo Commun Equip Co Ltd Monitoring system
JP2005117163A (en) * 2003-10-03 2005-04-28 Canon Inc Camera server apparatus, control method thereof, computer program and computer-readable storage medium
JP2005277856A (en) * 2004-03-25 2005-10-06 National Univ Corp Shizuoka Univ Video image content editing system
JPWO2013150829A1 (en) * 2012-04-03 2015-12-17 ソニー株式会社 Image processing apparatus, image processing apparatus control method, and program
WO2014100455A1 (en) * 2012-12-20 2014-06-26 Microsoft Corporation Camera with privacy modes

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020025265A (en) * 2018-07-31 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 Solid-state imaging device and imaging device
JP2020182219A (en) * 2018-07-31 2020-11-05 ソニーセミコンダクタソリューションズ株式会社 Solid-state imaging device, electronic apparatus, and control method
JP7090666B2 (en) 2018-07-31 2022-06-24 ソニーセミコンダクタソリューションズ株式会社 Solid-state image sensor, electronic equipment and control method
US11643014B2 (en) 2018-07-31 2023-05-09 Sony Semiconductor Solutions Corporation Image capturing device and vehicle control system
US11820289B2 (en) 2018-07-31 2023-11-21 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
JP7414869B2 (en) 2018-07-31 2024-01-16 ソニーセミコンダクタソリューションズ株式会社 Solid-state imaging device, electronic equipment, and control method for solid-state imaging device
US11983931B2 (en) 2018-07-31 2024-05-14 Sony Semiconductor Solutions Corporation Image capturing device and vehicle control system

Also Published As

Publication number Publication date
JP6736916B2 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
US9275281B2 (en) Mobile image capture, processing, and electronic form generation
JP5445460B2 (en) Impersonation detection system, impersonation detection method, and impersonation detection program
US11004214B2 (en) Image processing apparatus, image processing method, and storage medium
CN110008795B (en) Image target tracking method and system and computer readable recording medium
JP2011165008A (en) Image recognition apparatus and method
WO2013145589A1 (en) Image-processing device, image-capturing device, and image-processing method
EP3093822B1 (en) Displaying a target object imaged in a moving picture
CN111598777A (en) Sky cloud image processing method, computer device and readable storage medium
CN114298902A (en) Image alignment method and device, electronic equipment and storage medium
JP2018088049A (en) Device, method and program for image processing
JP6564136B2 (en) Image processing apparatus, image processing method, and program
JP6736916B2 (en) Information processing apparatus, information processing method, and program
CN111885371A (en) Image occlusion detection method and device, electronic equipment and computer readable medium
JP2017157043A (en) Image processing device, imaging device, and image processing method
JP6777507B2 (en) Image processing device and image processing method
US8824734B2 (en) Device, method and recording to determine depressed portions of image regions using shortcut line analysis
WO2019078310A1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium
KR102474697B1 (en) Image Pickup Apparatus and Method for Processing Images
JP2016149678A (en) Camera calibration unit, camera calibration method and camera calibration program
JP2018092507A (en) Image processing apparatus, image processing method, and program
JP6600090B2 (en) Image processing apparatus, image processing method, and program
JP2009267803A (en) Image processor
JPWO2008081527A1 (en) Authentication device, portable terminal device, and authentication method
JP2010154323A (en) Image processing apparatus, image extraction method, and, program
KR101711307B1 (en) Portable and Computer Equipment Unlock System using Depth Face Recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200629

R151 Written notification of patent or utility model registration

Ref document number: 6736916

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees