WO2021033293A1 - 画像処理方法、画像処理装置及びプログラム - Google Patents

画像処理方法、画像処理装置及びプログラム Download PDF

Info

Publication number
WO2021033293A1
WO2021033293A1 PCT/JP2019/032663 JP2019032663W WO2021033293A1 WO 2021033293 A1 WO2021033293 A1 WO 2021033293A1 JP 2019032663 W JP2019032663 W JP 2019032663W WO 2021033293 A1 WO2021033293 A1 WO 2021033293A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
visible light
unit
camera
mask
Prior art date
Application number
PCT/JP2019/032663
Other languages
English (en)
French (fr)
Inventor
泰恵 岸野
白井　良成
敬之 須山
伸 水谷
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2021541412A priority Critical patent/JP7456446B2/ja
Priority to PCT/JP2019/032663 priority patent/WO2021033293A1/ja
Priority to US17/636,835 priority patent/US20220277490A1/en
Publication of WO2021033293A1 publication Critical patent/WO2021033293A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to an image processing method, an image processing device, and a program.
  • Many cameras are installed around us for various purposes such as monitoring suspicious persons and measuring the effect of digital signage. Many of these cameras are connected to a network and send captured image data to a server. At the destination, the video is confirmed by a person, and a suspicious person is automatically identified.
  • a camera installed in a public space also captures personal information that is unnecessary for its original purpose.
  • Non-Patent Document 1 For example, assume that a camera is installed next to the digital signage for the purpose of counting the number of people who stop in front of the digital signage (Non-Patent Document 1). Faces, which are personally identifiable information, are easily reflected in the images taken by this camera. In addition, if digital signage is used as a meeting place, there is a high possibility that the screen of the smartphone operated by the waiting person will also be photographed. Information that can identify a person (such as a face) and information that the person originally does not want to see (such as information displayed on an individual's smartphone) are essentially unnecessary for measuring the effect of digital signage. Nevertheless, the camera collects information that could invade such privacy.
  • Non-Patent Document 2 the purpose of estimating the movement path of a person based on the images taken by a plurality of cameras. It is necessary to match the persons taken by different cameras. It is difficult for the image processing device on the side to execute all the processing according to the purpose. In such a case, it is considered realistic that the camera side collects the image and only performs simple processing to send the image to the server, and the server side performs the image processing according to the purpose.
  • the present invention has been made in view of the above points, and an object of the present invention is to prevent leakage of privacy from an image taken by a camera.
  • the image processing method includes a specific procedure for specifying a part of a region based on a threshold value for temperature in a thermal image corresponding to a visible light image, and the specific procedure for the visible light image.
  • the computer executes the processing procedure for processing the specified area.
  • the transmission cost should be reduced as much as possible, that is, the amount of transmitted data should be reduced. it is conceivable that. This is because by reducing the amount of data to be transmitted, not only can the wireless communication band be stably secured, but also the power consumption associated with the communication can be expected to be reduced.
  • the camera unit 1 of the present embodiment includes a thermo camera 22 in addition to the visible light camera 21.
  • the thermosaic method proposed in Non-Patent Document 3 is used to remove privacy information from images.
  • the sir mosaic method is a method of applying a mosaic to a human region (or a non-human region) by utilizing the fact that the temperature of a human region is generally higher than that of a surrounding region on a thermal image.
  • a function for realizing the thermosaic method is implemented on the camera unit 1.
  • screens such as smartphones and laptop computers on which personal information may be displayed usually generate heat, by using a thermal image taken by using the thermo camera 22, these screen areas can be displayed. It is also possible to detect.
  • a part of a visible light image corresponding to a pixel having a temperature equal to or higher than the threshold value in a thermal image with a specific temperature as a threshold value is a part of a visible light image corresponding to a pixel having a temperature equal to or higher than the threshold value in a thermal image with a specific temperature as a threshold value.
  • Mask area the area
  • the threshold value when you want to mask a person's face, if you set the threshold value to around 30 degrees, you can mask the area of the person whose average body temperature is about 36 degrees (the part where the skin is exposed such as the face).
  • FIG. 1 is a first diagram showing a specific example of a mask.
  • (a) shows a visible light image in which a certain person is a subject.
  • (B) shows a thermal image of the subject taken at the same timing as (a).
  • (C) shows a mask region where the temperature is equal to or higher than the threshold value (30 degrees) in the thermal image of (b).
  • (D) shows the unmasked image in which the masked area of (c) is masked with respect to the visible light image of (a).
  • the face of the person is masked.
  • a temperature slightly lower than the approximate temperature of the smartphone screen (hereinafter referred to as " ⁇ degree") is set as a threshold value, and the area above the threshold value can be masked. Just do it.
  • FIG. 2 is a second diagram showing a specific example of the mask.
  • (a) shows a visible light image with a smartphone as a subject.
  • (B) shows a thermal image of the subject taken at the same timing as (a).
  • (C) shows a mask region where the temperature is equal to or higher than the threshold value ( ⁇ degree) in the thermal image of (b).
  • (D) shows the unmasked image in which the masked area of (c) is masked with respect to the visible light image of (a).
  • the screen of the smartphone is masked.
  • the threshold value may have a width (upper limit, lower limit). For example, in the case of FIG. 1, if the upper limit is about 45 degrees and the area of 30 degrees or more and 45 degrees or less is targeted for masking, there is a possibility that the masking of the fluorescent lamp portion can be avoided.
  • the visible light image before masking is deleted.
  • the image after masking is compressed in order to reduce the communication cost.
  • existing compression technology such as jpeg or png may be used or an original algorithm may be used, but when removing privacy information, it is preferable to apply a mask using the compression characteristics of the adopted algorithm. ..
  • the compression algorithms adopted in these generally utilize that the compression efficiency becomes higher as the image features are less complicated.
  • Huffman code https://ja.wikipedia.org/wiki/Huffman code
  • the higher the statistical bias of the data the higher the compression efficiency.
  • By assigning a short code to information that appears frequently and a long code to information that appears infrequently information can be expressed with a smaller amount of data than when data is expressed by a fixed-length code.
  • an image in which a large number of pixels of the same color exist can be expected to have a high compression ratio by assigning a short code to that color.
  • thermosaic method when masking a portion above a certain threshold value, a high compression ratio can be realized by applying a monochromatic mask.
  • a monochromatic mask For example, in FIG. 2, when the visible light image and the post-masked image were jpeg-compressed at the same compression ratio, the visible light image was 208 KB and the post-masked image was 158 KB.
  • a higher compression rate can be achieved by calculating a color that frequently appears on the original visible light image and using that color as the mask color.
  • the color frequently appearing in the image and the color used as the mask are the same color, care must be taken when the server side wants to distinguish between the mask area and the non-mask area.
  • the masking method should be selected according to the purpose of using the image on the server side.
  • FIG. 3 is a diagram showing a configuration example of the camera unit 1 according to the embodiment of the present invention.
  • the camera unit 1 includes a camera unit 20 and a sensor node unit 10.
  • the camera unit 20 and the sensor node unit 10 have, for example, one HDMI® (registered trademark) having a maximum length of about 1 m to 1.5 m. High-Definition Multimedia Interface) Connected with a cable.
  • the camera unit 20 is a substrate including a visible light camera 21, a thermo camera 22, and a microcomputer.
  • the camera unit 20 is connected by a cable to a visible light image and a thermal image taken by the visible light camera 21 or the thermo camera 22 and information indicating the temperature of the thermo camera 22 itself (hereinafter, referred to as “temperature information”). It is sent to the sensor node unit 10.
  • the sensor node unit 10 is a substrate including a microcomputer or a computer such as a PC (Personal Computer).
  • the sensor node unit 10 performs mask processing on the visible light image based on the thermal image and the temperature information, and then transmits the masked image obtained as a processing result to a server, cloud, or the like.
  • FIG. 4 is a diagram showing a hardware configuration example of the sensor node unit 10 according to the embodiment of the present invention.
  • the sensor node unit 10 of FIG. 4 has a drive device 100, an auxiliary storage device 102, a memory device 103, a CPU 104, an interface device 105, and the like, which are connected to each other by a bus B, respectively.
  • the program that realizes the processing in the sensor node unit 10 is provided by a recording medium 101 such as a CD-ROM.
  • a recording medium 101 such as a CD-ROM.
  • the program is installed in the auxiliary storage device 102 from the recording medium 101 via the drive device 100.
  • the program does not necessarily have to be installed from the recording medium 101, and may be downloaded from another computer via the network.
  • the auxiliary storage device 102 stores the installed program and also stores necessary files, data, and the like.
  • the memory device 103 reads and stores the program from the auxiliary storage device 102 when the program is instructed to start.
  • the CPU 104 executes the function related to the sensor node unit 10 according to the program stored in the memory device 103.
  • the interface device 105 is used as an interface for connecting to a network.
  • the sensor node unit 10 may be a computer such as a PC (Personal Computer), or a substrate or the like in which a microcomputer is incorporated.
  • PC Personal Computer
  • FIG. 5 is a diagram showing a functional configuration example of the camera unit 1 according to the embodiment of the present invention.
  • the camera unit 20 includes a visible light camera 21, a thermo camera 22, a synchronous shooting unit 23, a camera temperature acquisition unit 24, a transmission unit 25, and the like.
  • the synchronous shooting unit 23, the camera temperature acquisition unit 24, and the transmission unit 25 are realized by a process in which a program installed in the microcomputer of the camera unit 20 is executed by the microcomputer.
  • the synchronous shooting unit 23 synchronizes the visible light camera 21 and the thermo camera 22 to shoot. As a result, the visible light image and the thermal image are taken at the same timing.
  • the synchronous photographing unit 23 acquires a visible light image from the visible light camera 21 by MIPI (Mobile Industry Processor Interface), and acquires a thermal image from the thermo camera 22 by SPI (Serial Peripheral Interface).
  • MIPI Mobile Industry Processor Interface
  • SPI Serial Peripheral Interface
  • the camera temperature acquisition unit 24 acquires temperature information indicating the temperature of the thermo camera 22 itself.
  • the transmission unit 25 collectively transmits the visible light image, the thermal image, and the temperature information to the sensor node unit 10.
  • the sensor node unit 10 includes a receiving unit 11, a mask generating unit 12, an image synthesizing unit 13, an image compression unit 14, an image transmitting unit 15, and the like.
  • Each of these parts is realized by a process of causing the CPU 104 to execute one or more programs installed in the sensor node part 10.
  • FIG. 6 is a flowchart for explaining an example of the processing procedure executed by the sensor node unit 10.
  • the receiving unit 11 When the receiving unit 11 receives the data (visible light image, thermal image, and temperature information) transmitted from the camera unit 20, the receiving unit 11 expands the data on the memory (S101).
  • the mask generation unit 12 calculates the actual temperature of each pixel of the thermal image (hereinafter, simply referred to as “temperature”) based on the temperature information (S102).
  • the temperature of each pixel of the thermal image can be calculated by using a known method.
  • the mask generation unit 12 specifies the mask region by comparing the calculated temperature for each pixel of the thermal image with the threshold value (S103). As described above, for example, a region of pixels whose temperature is equal to or higher than a threshold value is specified as a mask region.
  • the mask generation unit 12 generates an image for masking the mask area (that is, an image composed of pixels included in the mask image) (hereinafter, referred to as “mask image”) (S104). ).
  • the mask image may be generated so that a high compression ratio can be achieved.
  • the mask image may be generated as a monochromatic image.
  • the image synthesizing unit 13 superimposes the mask image generated by the mask generation unit 12 on the visible light image taken by the visible light camera 21, so that the mask area in the visible light image is filled with the mask image.
  • An image after masking is generated (S105).
  • the image synthesizing unit 13 not only fills the visible light image by superimposing the images, but also sets the portion (region) specified by the mask image in the visible light image as the original image (for example, a human face or the like). You may perform processing such as blurring or mosaicking so that you do not know).
  • the image compression unit 14 compresses the masked image (S106).
  • the compression algorithm is as described above.
  • the image transmission unit 15 transmits the compressed image after masking to a default server, cloud system, or the like via the network (S107).
  • the image compression unit 14 not only compresses the image after masking, but also an object captured from the visible light image before masking for the convenience of the destination (server, cloud system, etc.) of the compressed image after masking. However, only the feature amount may be extracted and the feature amount may be compressed together with the masked image as additional information. By doing so, the server, cloud system, or the like can obtain supplementary information regarding the image processing of the visible light image in which the amount of information is lost due to masking.
  • the mask region is specified based on the thermal image corresponding to the visible light image, and the mask region in the visible light image is processed (changed).
  • the thermal image corresponding to the visible light image is processed (changed).
  • the amount of data to be transmitted can be reduced.
  • the human face, hands, etc. are painted, but since the captured visible light image is transmitted to the server as it is, the present embodiment is also applied to the conventional algorithm for counting the number of people and tracking the flow of people. It is considered applicable. This is because the conventional algorithm discriminates a person by using the shape of the person, the color of clothes, and the like. However, since some algorithms use human contour information, there is a possibility that a contour that does not originally exist may be extracted by filling in such an algorithm.
  • the image synthesizing unit 13 can extract the same person while protecting privacy by slightly adjusting the algorithm, such as blurring only the central part of the face (mask area) instead of filling the mask area. Conceivable.
  • the algorithm such as blurring only the central part of the face (mask area) instead of filling the mask area. Conceivable.
  • a person can be detected by preparing a filled image as learning data and completing transfer learning in advance.
  • the depth information of the object displayed on the screen can be extracted by using the parallax of the images acquired from the two cameras arranged adjacent to each other.
  • the visible light camera 21 and the thermo camera 22 are arranged adjacent to each other, they can be regarded as two camera images having parallax. Since the visible light image and the thermal image are taken in different colors even if they are the same object, it is not possible to simply use the algorithm for a conventional stereo camera, but the visible light image and the thermal image can be obtained by deep learning or the like. If the correspondence of the areas of can be obtained, it is considered that the depth information can be obtained.
  • the sensor node unit 10 is an example of an image processing device.
  • the mask generation unit 12 is an example of a specific unit.
  • the image composition unit 13 is an example of a processing unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

可視光画像に対応する熱画像において、温度に対する閾値に基づいて一部の領域を特定する特定手順と、前記可視光画像について、前記特定手順が特定した領域を加工する加工手順と、をコンピュータが実行することで、カメラによって撮影された画像からのプライバシーの漏洩を防止する。

Description

画像処理方法、画像処理装置及びプログラム
　本発明は、画像処理方法、画像処理装置及びプログラムに関する。
　不審者の監視やデジタルサイネージの効果測定等、様々な目的で多くのカメラが身の回りに設置されている。これらのカメラの多くはネットワークに接続されており、撮影した画像データをサーバに送信している。送信先では、人によって映像が確認されたり、自動で不審者が特定されたりしている。
　安価で小型のカメラが利用可能になるにつれて、今後ますますカメラは様々な目的で様々な場所に設置されると推測される。そのような世の中において、プライバシーの保護は重要な課題である。公共空間に設置されたカメラは、本来の目的には不要な個人情報も同時に撮影してしまう。
　例えば、デジタルサイネージの前で立ち止まる人の人数をカウントする目的で、デジタルサイネージの横にカメラが設置されたとする（非特許文献１）。このカメラによる撮影映像には、個人を特定できる情報である顔が容易に映り込んでしまう。また、デジタルサイネージが待ち合わせ場所として利用されていれば、待っている人が操作しているスマートフォンの画面も撮影されてしまう可能性が高い。人物を特定できる情報（顔など）や、その人物が本来見られたくない情報（個人のスマートフォン上に表示された情報など）は、デジタルサイネージの効果測定には本来不要である。それにもかかわらず、このようなプライバシーを侵害しかねない情報をカメラは収集してしまう。さらに、このような画像がネットワーク経由でサーバに送信されると、それらの情報が漏洩してしまう危険性が高まってしまう。そのため、デジタルサイネージの効果測定では、画像処理ができるコンピュータ（汎用ＰＣ等）を現場に設置し、処理結果のみをサーバに送信し、処理後の画像を速やかに消去する、といったことが行われている。
杵渕哲也他，画像処理による広告効果測定技術，NTT 技術ジャーナル，2009 井尻善久他，視野を共有しない複数カメラ間での人物照合，信学技報, PRMU, パターン認識・メディア理解，Vol. 111, No.317, pp.117-124, 2011 西貝吉晃, 飯田誠, 苗村健，"Thermosaic: 温度情報を利用した自動モザイク処理"， 映情学誌, 59, 3, pp. 422 - 426, 2005
　しかしながら、画像処理性能の高いコンピュータの設置は、設置スペースの確保や盗難対策など、別の課題を引き起こしてしまう。また、複数のカメラで撮影された画像に基づいて、人物の移動経路を推定するような目的の場合（非特許文献２）、別々のカメラで撮影された人物のマッチングを行う必要があり、カメラ側の画像処理装置で目的に応じた全ての処理を実行することは困難である。このような場合、カメラ側では、画像の収集や簡単な加工処理のみを行って画像をサーバに送信し、サーバ側で目的に応じた画像処理を行うのが現実的であると考えられる。
　本発明は、上記の点に鑑みてなされたものであって、カメラによって撮影された画像からのプライバシーの漏洩を防止することを目的とする。
　そこで上記課題を解決するため、画像処理方法は、可視光画像に対応する熱画像において、温度に対する閾値に基づいて一部の領域を特定する特定手順と、前記可視光画像について、前記特定手順が特定した領域を加工する加工手順と、をコンピュータが実行する。
　カメラによって撮影された画像からのプライバシーの漏洩を防止することができる。
マスクの具体例を示す第１の図である。 マスクの具体例を示す第２の図である。 本発明の実施の形態におけるカメラユニット１の構成例を示す図である。 本発明の実施の形態におけるセンサノード部１０のハードウェア構成例を示す図である。 本発明の実施の形態におけるカメラユニット１の機能構成例を示す図である。 センサノード部１０が実行する処理手順の一例を説明するためのフローチャートである。
　以下、図面に基づいて本発明の実施の形態を説明する。現在、ネットワークカメラを設置するためには、給電用と通信用のケーブルを敷設する必要がある。敷設を簡単化するため、給電及び通信を一本のケーブルで可能にしている場合が多いが、それでも敷設には工事等が必要になる場合が多い。設置の容易性等を考えると、バッテリー駆動が可能であり、かつ、無線通信機能を備えたカメラユニット１の普及が今後進んでいくと考えてられる。
　このようなカメラユニット１において、前述するプライバシーの課題を解消しつつ、サーバに画像を送信するには以下を実現する必要がある。
１．プライバシー情報の画像からの除去
２．プライバシー情報を除去した画像の伝送コスト削減
　すなわち、まず第一に、サーバに送信する画像からプライバシー情報を除去する必要がある。プライバシー情報の除去は、例えば、画像に写っている顔や、スマートフォンの画面などに加工を行う（マスクをかける）ことで実現する。但し、バッテリーによる運用が可能な演算装置での処理を考えると、低消費電力のＣＰＵでも高速に処理可能なアルゴリズムを用いる必要がある。
　次に、加工（マスク）された画像（以下、「マスク後画像」という。）をサーバに送信する際には、伝送コストをできるだけ削減する、すなわち、送信データ量を減らすようにすべきであると考えられる。伝送するデータ量を減らすことで、無線通信の帯域を安定的に確保できるだけでなく、通信に付随した電力消費の削減も期待できるからである。
　上記２つの要件を実現するため、本実施の形態のカメラユニット１は、可視光カメラ２１の他にサーモカメラ２２を具備する。
　画像からのプライバシー情報の除去には、非特許文献３において提案されているサーモザイク手法を利用する。サーモザイク手法は、熱画像上で人間の領域が周囲の領域より一般に温度が高いことを利用して、人間の領域（もしくは人間外の領域）にモザイクをかける手法である。本実施の形態では、サーモザイク手法を実現する機能をカメラユニット１上に実装する。サーモザイク手法を用いることで、個人を特定可能な顔などに簡単にモザイクやマスクをかけることができる。熱画像が用意できれば、モザイクやマスクをかけるアルゴリズムは単純であり、低消費電力の演算装置でも十分に処理可能である。
　また、スマートフォン、ノートパソコン等、個人情報が表示される可能性のある画面は、通常発熱しているため、サーモカメラ２２を利用して撮影した熱画像を利用することで、これらの画面領域の検知も行うことが可能である。
　上記より、プライバシー情報の除去のための単純な実装として、本実施の形態では、特定の温度を閾値として、熱画像において閾値以上の温度を持ったピクセルに対応する可視光画像上の一部の領域（以下、「マスク領域」という。）にマスクをかける。
　例えば、人の顔をマスクしたい場合、３０度前後を閾値とすれば、平均体温が３６度程度である人の領域（顔など肌が露出している部分）にマスクをかけることができる。
　図１は、マスクの具体例を示す第１の図である。図１において、（ａ）は或る人物を被写体とする可視光画像を示す。（ｂ）は当該被写体を（ａ）と同じタイミングで撮影した熱画像を示す。（ｃ）は、（ｂ）の熱画像において温度が閾値（３０度）以上のマスク領域を示す。（ｄ）は、（ａ）の可視光画像について、（ｃ）のマスク領域がマスクされたマスク後画像を示す。（ｄ）では、人物の顔がマスクされている。
　また、例えば、スマートフォンの画面領域をマスクしたい場合には、スマートフォンの画面のおおよその温度より若干低い温度（以下、「α度」とする。）を閾値とし、当該閾値以上の領域にマスクをかければよい。
　図２は、マスクの具体例を示す第２の図である。図２において、（ａ）はスマートフォンを被写体とする可視光画像を示す。（ｂ）は当該被写体を（ａ）と同じタイミングで撮影した熱画像を示す。（ｃ）は、（ｂ）の熱画像において温度が閾値（α度）以上のマスク領域を示す。（ｄ）は、（ａ）の可視光画像について、（ｃ）のマスク領域がマスクされたマスク後画像を示す。（ｄ）では、スマートフォンの画面がマスクされている。
　なお、図１の（ｄ）では、３０度より高温であった蛍光灯の領域もマスクされている。また、図２の（ｄ）では、α度より高温であった、スマートフォンを把持する手及び腕の領域もマスクされている。このように、本来マスクをかけたい領域以外に対するマスクを避けるため、閾値に幅（上限、下限）を持たせてもよい。例えば、図１の場合であれば、４５度くらいを上限とし、３０度以上４５度以下の領域をマスク対象とすれば、蛍光灯の部分のマスクを回避できる可能性がある。
　なお、プライバシーの保護を促進するため、マスクされた画像の作成後は、マスク前の可視光画像を消去する。
　更に、本実施の形態では、通信コストを削減するため、マスク後画像を圧縮する。圧縮にはｊｐｅｇやｐｎｇ等、既存の圧縮技術が用いられても独自のアルゴリズムが用いられても良いが、プライバシー情報の除去時に、採用したアルゴリズムの圧縮特性を利用したマスクをかけるようにするとよい。例えば、ｊｐｅｇ等を利用するのであれば、これらで採用されている圧縮アルゴリズムが、一般的に、画像特徴が複雑でないものほど圧縮効率が高くなることを利用する。
　ｊｐｅｇなどでも採用されているハフマン符号（「https://ja.wikipedia.org/wiki/ハフマン符号」）を例にとる。ハフマン符号化では、データの統計的な偏りが高いと圧縮効率が高くなる。登場頻度が多い情報に短い符号を割り当て、登場頻度が少ない情報には長い符号を割り当てることで、固定長符号でデータを表現した時よりも、少ないデータ量で情報を表現できる。画像で言えば、同色のピクセルの数が大量に存在するような画像はその色に短い符号を割り当てることで、高い圧縮率を期待できる。このような特性を利用すると、前述したサーモザイク手法において、一定の閾値以上の部分にマスクをかける際に、単色のマスクをかけることで、高圧縮率を実現することができる。例えば、図２において、同様の圧縮率で、可視光画像とマスク後画像をｊｐｅｇ圧縮したところ、可視光画像は２０８ＫＢ、マスク後画像は１５８ＫＢとなった。
　本手法の場合、もとの可視光画像上で出現頻度の高い色を算出し、その色をマスクの色として利用することで、より高い圧縮率を達成できるだろう。但し、この場合、画像中に高頻度で出現する色とマスクとして利用する色が同色となるため、サーバ側でマスク領域とそうでない領域を区別したい場合には注意が必要である。サーバ側における画像の利用目的に応じて、マスク方法を選択すべきであろう。
　以下、上述の内容を実現するカメラユニット１について具体的に説明する。図３は、本発明の実施の形態におけるカメラユニット１の構成例を示す図である。図３において、カメラユニット１は、カメラ部２０及びセンサノード部１０を含む。カメラ部２０とセンサノード部１０は、カメラ（可視光カメラ２１及びサーモカメラ２２）の設置の自由度を確保するため、例えば、最大１ｍから１．５ｍ程度の１本のＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ケーブルで接続される。カメラ部２０は、可視光カメラ２１及びサーモカメラ２２とマイコンとを含む基板である。カメラ部２０は、可視光カメラ２１又はサーモカメラ２２が撮影した可視光画像及び熱画像と、サーモカメラ２２自体の温度を示す情報（以下、「温度情報」という。）とをケーブルで接続されたセンサノード部１０へ送る。
　センサノード部１０は、マイコンを含む基板又はＰＣ（Personal Computer）等のコンピュータである。センサノード部１０は、熱画像及び当該温度情報に基づいて可視光画像に対してマスク処理をした後で、処理結果として得られるマスク後画像をサーバやクラウドなどへ送信する。
　図４は、本発明の実施の形態におけるセンサノード部１０のハードウェア構成例を示す図である。図４のセンサノード部１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。
　センサノード部１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従ってセンサノード部１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
　なお、センサノード部１０は、ＰＣ（Personal Computer）等のコンピュータでもよいし、マイコンが組み込まれた基板等であってもよい。
　図５は、本発明の実施の形態におけるカメラユニット１の機能構成例を示す図である。図５において、カメラ部２０は、可視光カメラ２１、サーモカメラ２２、同期撮影部２３、カメラ温度取得部２４及び送信部２５等を含む。このうち、同期撮影部２３、カメラ温度取得部２４及び送信部２５は、カメラ部２０のマイコンにインストールされたプログラムが、当該マイコンに実行させる処理により実現される。
　同期撮影部２３は、可視光カメラ２１とサーモカメラ２２とを同期させて撮影させる。その結果、可視光画像及び熱画像が同じタイミングで撮影される。同期撮影部２３は、可視光カメラ２１からはＭＩＰＩ（Mobile Industry Processor Interface）で可視光画像を取得し、サーモカメラ２２からはＳＰＩ（Serial Peripheral Interface）で熱画像を取得する。
　カメラ温度取得部２４は、サーモカメラ２２そのものの温度を示す温度情報を取得する。送信部２５は、可視光画像及び熱画像と、温度情報とをセンサノード部１０にまとめて送信する。
　一方、センサノード部１０は、受信部１１、マスク生成部１２、画像合成部１３、画像圧縮部１４及び画像送信部１５等を含む。これら各部は、センサノード部１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。
　以下、センサノード部１０が実行する処理手順について説明する。図６は、センサノード部１０が実行する処理手順の一例を説明するためのフローチャートである。
　受信部１１は、カメラ部２０から送信されたデータ（可視光画像、熱画像及び温度情報）を受信すると、当該データをメモリ上に展開する（Ｓ１０１）。
　続いて、マスク生成部１２は、当該温度情報に基づいて、当該熱画像の各画素の実際の温度（以下、単に「温度」という。）を計算する（Ｓ１０２）。なお、熱画像の各画素の温度の計算は、公知の方法を用いて行うことが可能である。
　続いて、マスク生成部１２は、当該熱画像の各画素について計算された温度を閾値と比較することで、マスク領域を特定する（Ｓ１０３）。上述したように、例えば、温度が閾値以上の画素の領域がマスク領域として特定される。
　続いて、マスク生成部１２は、マスク領域に対してマスクをかけるための画像（すなわち、マスク画像に含まれる画素によって構成される画像）（以下、「マスク画像」という。）を生成する（Ｓ１０４）。上述したように、マスク画像は、高い圧縮率を達成できるように生成されてもよい。例えば、マスク画像は単色の画像として生成されてもよい。
　続いて、画像合成部１３は、マスク生成部１２が生成したマスク画像を、可視光カメラ２１が撮影した可視光画像に重ね合わせることで、当該可視光画像におけるマスク領域がマスク画像によって塗りつぶされたマスク後画像を生成する（Ｓ１０５）。この際、画像合成部１３は、単純な画像の重畳による塗りつぶしだけでなく、可視光画像において、マスク画像で指定された箇所（領域）を当該箇所にける元の画像（例えば、人の顔等）が分からないようにぼかしやモザイクをかけるといった加工処理を行ってもよい。
　続いて、画像圧縮部１４は、当該マスク後画像を圧縮する（Ｓ１０６）。圧縮アルゴリズムについては上記した通りである。続いて、画像送信部１５は、圧縮されたマスク後画像を既定のサーバやクラウドシステムなどにネットワークを介して送信する（Ｓ１０７）。
　なお、画像圧縮部１４は、マスク後画像を圧縮するだけでなく、圧縮されたマスク後画像の送信先（サーバやクラウドシステム等）の便宜のため、マスク前の可視光画像から写っている物体が具体的にわかないよう、特徴量のみを抽出し、当該特徴量を付加情報としてマスク後画像と共に圧縮してもよい。そうすることで、サーバやクラウドシステム等は、マスクされることで情報量が失われた可視光画像の画像処理に関して、補足的な情報を得ることができる。
　上述したように、本実施の形態によれば、可視光画像に対応する熱画像に基づいて、マスク領域が特定され、当該可視光画像における当該マスク領域が加工（変更）される。その結果、可視光画像について、プライバシーを侵害すると思われる部分を加工する（当該部分にマスクをかける）ことができる。したがって、カメラによって撮影された画像からのプライバシーの漏洩を防止することができる。
　また、圧縮に適したマスク表現を選択してマスク画像が生成されることで、伝送するデータ量を減らすことができる。
　以下に、本実施の形態の具体的な適用例について説明する。
　［適用例１：人数カウント、人流追跡］
　或る空間内に存在する人の数をカウントしたり、人の流れを追跡したりするのは、カメラを使った監視の典型的な応用例である。本実施の形態では、人の顔や手などを塗りつぶしはするが、撮影した可視光の画像をそのままサーバへ送信するので、従来の人数カウントや人流追跡のアルゴリズムに対しても本実施の形態を適用可能であると考えられる。従来のアルゴリズムでは、人物の形状や服の色等を利用して人の判別を行うためである。但し、アルゴリズムによっては、人の輪郭の情報を使っているものがあるため、こういったアルゴリズムに対しては、塗りつぶすことによって、本来存在しない輪郭が抽出されてしまう可能性がある。そこで、画像合成部１３は、マスク領域を塗りつぶす代わりに顔（マスク領域）の中心部分だけをぼかすといったように、若干アルゴリズムを調整すれば、プライバシーを保護しつつ、同一人物の抽出が可能だと考えられる。また、教師あり学習を使うようなアルゴリズムに対しては、塗りつぶした画像を学習データとして用意し、事前に転移学習を済ませれば、人物の検出が可能になると考えられる。
　［適用例２：熱画像を用いた画像領域分割の精度向上］
　熱画像においては、写っている物体が変われば温度も変化する可能性が高い。そこで、画像の写っている対象の物体を、領域を分割して識別しようとする応用に関しては、熱画像と可視光画像を合わせて処理することで、従来の可視光画像のみを用いて領域を分割するアルゴリズムよりも高い精度で領域分割を行える可能性がある。このように、本実施の形態によれば、単に、プライバシー上問題がある領域を隠すだけでなく、２つのカメラを組み合わせることで、従来の可視光画像のみを使った場合よりも高い精度で画像処理を行える可能性がある。
　［適用例３：奥行情報の抽出］
　ステレオカメラでは、隣接して配置された２つのカメラから取得された画像の視差を利用して、画面に映った物体の奥行情報を抽出できる。本実施の形態では、可視光カメラ２１とサーモカメラ２２を隣接して配置しているので、視差のある２つのカメラ画像ととらえることもできる。可視光画像と熱画像では、同じ物体であっても異なる色で撮影されているため、単純に従来のステレオカメラ向けのアルゴリズムを用いることはできないが、深層学習などにより、可視光画像と熱画像の領域の対応関係を取得することができれば、奥行の情報を取得できると考えられる。
　なお、本実施の形態において、センサノード部１０は、画像処理装置の一例である。マスク生成部１２は、特定部の一例である。画像合成部１３は、加工部の一例である。
　以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１　　　　　　カメラユニット
１０　　　　　センサノード部１０部
１１　　　　　受信部
１２　　　　　マスク生成部
１３　　　　　画像合成部
１４　　　　　画像圧縮部
１５　　　　　画像送信部
２０　　　　　カメラ部
２１　　　　　可視光カメラ
２２　　　　　サーモカメラ
２３　　　　　同期撮影部
２４　　　　　カメラ温度取得部
２５　　　　　送信部
１００　　　　ドライブ装置
１０１　　　　記録媒体
１０２　　　　補助記憶装置
１０３　　　　メモリ装置
１０４　　　　ＣＰＵ
１０５　　　　インタフェース装置
Ｂ　　　　　　バス

Claims (5)

  1. 　可視光画像に対応する熱画像において、温度に対する閾値に基づいて一部の領域を特定する特定手順と、
    　前記可視光画像について、前記特定手順が特定した領域を加工する加工手順と、
    をコンピュータが実行することを特徴とする画像処理方法。
  2. 　前記加工手順は、前記領域を単色にする、
    ことを特徴とする請求項１記載の画像処理方法。
  3. 　可視光画像に対応する熱画像において、温度に対する閾値に基づいて一部の領域を特定する特定部と、
    　前記可視光画像について、前記特定部が特定した領域を加工する加工部と、
    を有することを特徴とする画像処理装置。
  4. 　前記加工部は、前記領域を単色にする、
    ことを特徴とする請求項３記載の画像処理装置。
  5. 　請求項１又は２記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2019/032663 2019-08-21 2019-08-21 画像処理方法、画像処理装置及びプログラム WO2021033293A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021541412A JP7456446B2 (ja) 2019-08-21 2019-08-21 画像処理方法、画像処理装置及びプログラム
PCT/JP2019/032663 WO2021033293A1 (ja) 2019-08-21 2019-08-21 画像処理方法、画像処理装置及びプログラム
US17/636,835 US20220277490A1 (en) 2019-08-21 2019-08-21 Image processing method, image processing apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/032663 WO2021033293A1 (ja) 2019-08-21 2019-08-21 画像処理方法、画像処理装置及びプログラム

Publications (1)

Publication Number Publication Date
WO2021033293A1 true WO2021033293A1 (ja) 2021-02-25

Family

ID=74660459

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/032663 WO2021033293A1 (ja) 2019-08-21 2019-08-21 画像処理方法、画像処理装置及びプログラム

Country Status (3)

Country Link
US (1) US20220277490A1 (ja)
JP (1) JP7456446B2 (ja)
WO (1) WO2021033293A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023019643A (ja) * 2021-07-29 2023-02-09 株式会社日本総合研究所 情報処理システム及びプログラム
WO2024047807A1 (ja) * 2022-08-31 2024-03-07 日本電信電話株式会社 閾値決定装置、方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210344852A1 (en) * 2020-05-04 2021-11-04 Rebellion Photonics, Inc. Apparatuses, systems, and methods for thermal imaging

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011176454A (ja) * 2010-02-23 2011-09-08 Canon Inc ネットワークカメラ装置、指定装置
JP2017143339A (ja) * 2016-02-08 2017-08-17 日本電信電話株式会社 画像合成装置、画像合成装置の動作方法およびコンピュータプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690421A (ja) * 1992-09-09 1994-03-29 Olympus Optical Co Ltd 画像記録装置
US8212872B2 (en) * 2004-06-02 2012-07-03 Robert Bosch Gmbh Transformable privacy mask for video camera images
US7602942B2 (en) * 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
JP6098841B2 (ja) 2015-01-06 2017-03-22 マツダ株式会社 車両用歩行者画像取得装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011176454A (ja) * 2010-02-23 2011-09-08 Canon Inc ネットワークカメラ装置、指定装置
JP2017143339A (ja) * 2016-02-08 2017-08-17 日本電信電話株式会社 画像合成装置、画像合成装置の動作方法およびコンピュータプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023019643A (ja) * 2021-07-29 2023-02-09 株式会社日本総合研究所 情報処理システム及びプログラム
JP7324805B2 (ja) 2021-07-29 2023-08-10 株式会社日本総合研究所 情報処理システム及びプログラム
WO2024047807A1 (ja) * 2022-08-31 2024-03-07 日本電信電話株式会社 閾値決定装置、方法及びプログラム

Also Published As

Publication number Publication date
US20220277490A1 (en) 2022-09-01
JP7456446B2 (ja) 2024-03-27
JPWO2021033293A1 (ja) 2021-02-25

Similar Documents

Publication Publication Date Title
WO2021033293A1 (ja) 画像処理方法、画像処理装置及びプログラム
CN104079830B (zh) 暗码添加方法和装置、暗码照片处理方法和装置
WO2016188154A1 (zh) 图像处理方法及装置
JP6910772B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
Nguyen Canh et al. Deep compressive sensing for visual privacy protection in flatcam imaging
WO2016002152A1 (ja) 個人情報に配慮した画像処理システム、画像処理方法及びプログラム記憶媒体
CN110958390B (zh) 图像处理方法及相关装置
WO2014187265A1 (zh) 一种照片拍摄处理方法、设备和计算机存储介质
US11409890B2 (en) Video recording apparatus and video recording verification system, and video recording method and video verification method
JPWO2017026356A1 (ja) 画像処理装置、画像処理方法およびプログラム
KR20130114037A (ko) 프라이버시 영역의 마스킹 및 복원 방법
CN108712400A (zh) 数据传输方法、装置、计算机可读存储介质和电子设备
CN111294482B (zh) 一种图像处理方法及***
JP2010193227A (ja) 映像処理システム
CN109963081B (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
JP7084795B2 (ja) 画像処理装置、画像提供装置、それらの制御方法及びプログラム
CN106529307B (zh) 一种照片的加密方法及装置
CN110990088B (zh) 数据处理方法及相关设备
CN117496029A (zh) 基于云端渲染技术的slam***ar实时可视化方法和***
JP2000059771A (ja) 画像撮像装置および画像データ利用システム
EP3398108A1 (en) A method and system for visual privacy protection for mobile and wearable devices
JP2005050037A (ja) 画像処理方法および装置
CN105900052B (zh) 摄像装置、摄像***、摄像装置的控制方法和摄像装置的控制程序
CN114374773A (zh) 一种图像采集同步信息加密和使用端解密还原恢复的方法
JP2018081424A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19942460

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021541412

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19942460

Country of ref document: EP

Kind code of ref document: A1