JP7491317B2 - 情報処理システム、情報処理方法、撮像装置 - Google Patents
情報処理システム、情報処理方法、撮像装置 Download PDFInfo
- Publication number
- JP7491317B2 JP7491317B2 JP2021554157A JP2021554157A JP7491317B2 JP 7491317 B2 JP7491317 B2 JP 7491317B2 JP 2021554157 A JP2021554157 A JP 2021554157A JP 2021554157 A JP2021554157 A JP 2021554157A JP 7491317 B2 JP7491317 B2 JP 7491317B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- information
- unit
- feature information
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 242
- 230000010365 information processing Effects 0.000 title claims description 172
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000001514 detection method Methods 0.000 claims description 130
- 238000012545 processing Methods 0.000 claims description 114
- 230000004044 response Effects 0.000 claims description 26
- 230000005540 biological transmission Effects 0.000 claims description 25
- 230000005856 abnormality Effects 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 description 174
- 230000008569 process Effects 0.000 description 140
- 238000004364 calculation method Methods 0.000 description 68
- 238000010586 diagram Methods 0.000 description 36
- 238000005516 engineering process Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 25
- 239000002131 composite material Substances 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000009434 installation Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000010949 copper Substances 0.000 description 4
- 230000037308 hair color Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241000269350 Anura Species 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282994 Cervidae Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
- H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
- H04N21/23476—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/913—Television signal processing therefor for scrambling ; for copy protection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Vascular Medicine (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
この種のシステムにおいて、例えば、監視目的等であれば、対象とする被写体が撮像されたか否か、すなわち、特定の人物等のターゲットとする被写体が現場に出現したか否かを画像解析等によって検知する(判定する)システムを構築することが考えられる。
そして、前記撮像装置、又は前記情報処理装置が、前記特徴検出部が検出した前記特徴情報である検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する判定部を備えるものである。
被写体の特徴検出のための画像処理をアレイセンサと同一パッケージ内で行うことができるので、該画像処理をセンサパッケージ外で行う場合よりも画像内容の漏洩の可能性を低減することが可能となる。
これにより、ターゲット被写体の有無の判定に係る処理負担が各撮像装置に分散され、情報処理装置が該判定の処理を実行する必要がなくなる。
これにより、ターゲット被写体の有無の判定に係る処理を撮像装置側で行う必要がなくなる。
ターゲット被写体が出現した場合には、ターゲット被写体が出現した際の撮像画像を情報処理装置に送信することが考えられる。上記のように暗号化した撮像画像を情報処理装置に送信する構成とすれば、そのようにターゲット被写体が出現した際の撮像画像を情報処理装置側に送信する際に、画像内容が漏洩してしまうことの防止を図ることが可能となる。
これにより、疑似乱数を用いる場合よりも解読が困難な暗号化を実現することが可能とされる。
画素からの読み出し信号に対して暗号化を行うことで、メモリに平文による撮像画像信号が保存されないようにすることが可能とされる。
これにより、撮像画像内の被写体の特徴を示す情報を情報処理装置に取得させることが可能となる。
抽象度の異なる特徴の例として、例えば、被写体が人物の場合であれば、身長や性別等といった高抽象度の特徴と、服装の色や髪の色等の低抽象度の特徴(つまりより具体的な特徴)とを挙げることができる。或いは、被写体が車両の場合であれば、車両の色や普通車/大型車等の高抽象度の特徴と、具体的な車種やナンバプレートのナンバ等の低抽象度の特徴とを挙げることができる。特徴情報を利用するアプリケーションによっては、例えば高抽象度の特徴情報のみが必要とされ低抽象度の特徴情報は不要とされる場合もある。上記のように抽象度の異なる特徴ごとに特徴情報の検出を行うことで、検出した特徴情報のうち特定の抽象度による特徴情報のみを選択的に出力したり、検出した特徴情報を抽象度を問わず全て出力したりすることが可能となる。
これにより、複数の視点からの撮像画像に基づいてターゲット被写体の有無を判定することが可能とされる。
これにより、ターゲット被写体が出現したことをユーザに対して通知することが可能とされる。
「物理的にあり得ないタイミングで検出される」とは、撮像画像内にターゲット被写体が検出された二つの撮像装置について、それら撮像装置間でのターゲット被写体の検出時間差が、それら撮像装置の設置位置間をターゲット被写体としての物体が移動するのに要する最小の時間よりも短くなっていることを意味する。異なる撮像装置が物理的にあり得ないタイミングでターゲット被写体を検出した場合には、ターゲット被写体の検出精度に問題があるか、或いはターゲット被写体としての物体の偽物が出回っている等、ターゲット被写体の検出アルゴリズムに係る異常、又はターゲット被写体としての物体に係る異常の何れか生じていると推定できる。
このような情報処理方法によっても、上記した本技術に係る情報処理システムと同様の作用が得られる。
<1.情報処理システムの構成>
[1-1.システム全体構成]
[1-2.撮像装置の構成]
[1-3.情報処理装置の構成]
<2.セキュリティ対策について>
[2-1.暗号化に用いる乱数について]
[2-2.暗号化対象とする信号について]
[2-3.耐タンパー化について]
[2-4.画像暗号化のための処理手順]
[2-5.レベル別暗号化]
[2-6.レベル別暗号化のための処理手順]
<3.特徴情報に係る処理(通常モード)>
<4.特徴情報に係る処理(ターゲットサーチモード)>
[4-1.第一例]
[4-2.第二例]
[4-3.第三例]
<5.変形例>
<6.実施形態のまとめ>
<7.本技術>
[1-1.システム全体構成]
図1は、本技術に係る実施形態としての情報処理システム100の概略構成例を示したブロック図である。
図示のように情報処理システム100は、複数の撮像装置1と、フォグサーバ2と、クラウドサーバ3と、ユーザ端末4とを少なくとも備える。本例では、フォグサーバ2、クラウドサーバ3、及びユーザ端末4は、例えばインターネットとされたネットワークNtを介した通信を行うことが可能に構成されている。
フォグサーバ2、クラウドサーバ3、及びユーザ端末4は、CPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM( Random Access Memory)を有するマイクロコンピュータを備えた情報処理装置として構成されている。ここで、ユーザ端末4は、情報処理システム100を用いたサービスの受け手であるユーザによって使用されることが想定される情報処理装置である。
フォグサーバ2は、各撮像装置1との間でデータ通信を行うことが可能に構成され、撮像装置1より例えば撮像画像データ等の各種データを受信したり、撮像装置1に対し指示データ等の各種データを送信することが可能とされる。
一例として、例えば店舗における監視カメラシステムが考えられ、その場合には、各撮像装置1を店舗内のそれぞれ所定位置に配置して、ユーザが来店客の客層や店舗内での行動(動線)等を確認できるようにする。
或いは、街中等の屋外の監視用途や、FA(ファクトリーオートメーション)における製造のラインの監視用途等も考えられる。
なお、撮像装置1のアプリケーションとしては種々考えられ、例えばセキュリティカメラ、顧客情報を収集するために用いられる店内カメラ、顔認証入退出管理システム、ドライブレコーダ、車内カメラ、交通監視カメラ、店舗におけるレジやPOSシステム、ロボット(例えばFAで用いられるロボット等)等を挙げることができる。
図2は、撮像装置1の内部構成例を示したブロック図である。
図示のように撮像装置1は、撮像用センサ部10、画像プロセッサ21、センサ部22、制御部23、メモリ部24、及び通信部25を備えている。
ここでの図示は省略するが、撮像用センサ部10は、ハードウェアとしては、イメージセンサデバイス、DRAM(Dynamic Random Access Memory)等のメモリデバイス、及びプロセッサとしての構成部位を有している。そして、これら三つが3レイヤ積層構造とされたり、1レイヤでいわゆる平置き構成とされたり、或いは2レイヤ(例えばメモリデバイスとプロセッサが同一レイヤ)積層構造とされたりするなどして一体型のデバイスとされている。
本例の撮像用センサ部10は、画像解析による物体検出機能を備えるものとし、インテリジェントアレイセンサと呼ぶことのできる装置とされる。
また、ADC/ピクセルセレクタ13は、アレイセンサ12の画素(受光素子)に対するピクセル選択の機能を持つ。これにより、アレイセンサ12における選択した画素のみについて、光電変換信号を取得してデジタルデータ化して出力することが可能とされている。つまりADC/ピクセルセレクタ13は、通常は1フレームの画像を構成する有効な画素の全てについて光電変換信号のデジタルデータ化出力を行うが、選択した画素のみについての光電変換信号のデジタルデータ化出力を行うことも可能とされている。
例えばロジック部15では、色補正、ガンマ補正、色階調処理、ゲイン処理、輪郭強調処理等の処理により画質調整を行うことが可能とされる。またロジック部15ではデータ圧縮処理、解像度変換、フレームレート変換など、データサイズを変更する処理を行うことも考えられる。
これらロジック部15で行われる各処理については、それぞれの処理に用いるパラメータが設定される。例えば色や輝度の補正係数、ゲイン値、圧縮率、フレームレートなどの設定値がある。ロジック部15では、それぞれの処理について設定されたパラメータを用いて必要な処理を行う。本実施形態では、これらのパラメータを演算部18が設定する場合がある。
メモリ16に記憶された画像データは、必要なタイミングでインタフェース部17により画像プロセッサ21や制御部23、メモリ部24に送信出力される。
ここで言う「検出対象の物体」とは、画像からの認識を目的として検出対象となり得る物体のことを指す。情報処理システム100の用途等に応じて、どのような物体が検出対象とされるかは異なるが、あらゆる物体が、ここで言う検出対象の物体とされる可能性がある。あくまで一部であるが例示すると、人を含む動物、移動体(自動車、自転車、航空機等)、自然物(野菜、植物等)、工業製品/部品、建造物、施設、山、海、川、星、太陽、雲など、あらゆる物体が該当する可能性がある。
また、本例における物体領域認識部82は、バウンディングボックスに基づいて、処理の対象とすべき領域(関心領域)を示す領域情報であるROI(Region of Interest)を算出する処理を実行する。
クラスとは、物体のカテゴリを表す情報であり、例えば「人」「自動車」「飛行機」「船」「トラック」「鳥」「猫」「犬」「鹿」「蛙」「馬」などのように、検出すべき物体をクラス分けしたものである。
特徴検出部85が検出する特徴情報の例としては多様に考えられる。
一例として、対象とする被写体が人物である場合には、身長、性別、年齢といった特徴や、歩き方などの動きに関する特徴の情報が挙げられる。或いは、対象とする被写体が自動車等の車両である場合には、色、普通車/大型車等の車両タイプ、ナンバプレートに記載されるナンバや乗車人数等の情報が挙げられる。
また、対象とする被写体がFA(Factory Automation)で扱われる部品とされる場合には、部品の種類や、部品に印字されたナンバ又はバーコード等の部品識別子等の情報が挙げられる。
なお、上記した歩き方などの被写体の動きについての特徴情報については、例えば動きの特徴をコード化した情報として生成することが考えられる。
例えば、対象とする被写体が人物の場合であれば、高抽象度特徴情報としては、上述した身長や性別等の情報を検出し、低抽象度特徴情報としては、服装の色や髪の色の情報等、高抽象度特徴情報よりも具体的な特徴を示す情報を検出する。
或いは、対象とする被写体が車両の場合であれば、高抽象度特徴情報としては車両の色や普通車/大型車等の車両タイプの情報を検出し、低抽象度特徴情報としてはより具体的な特徴となる車種やナンバプレートのナンバ等の情報を検出する。
また、対象とする被写体がFAで扱われる部品である場合には、高抽象度特徴情報としては部品の種類の情報等を検出し、低抽象度特徴情報としては部品に印字されたナンバ又はバーコード等の部品識別子等の情報を検出する。
例えば、制御部23は、撮像用センサ部10に対する指示を行って撮像画像データの取得処理等の各種処理の実行制御を行う。同様に、画像プロセッサ21についても各種処理の実行制御を行う。
また、制御部23は、メモリ部24に対する各種データの書き込みや読み出しについての制御を行う。メモリ部24は、例えばHDD(Hard Disk Drive)やフラッシュメモリ装置等の不揮発性の記憶デバイスとされ、例えば撮像用センサ部10により得られた撮像画像データ等の各種のデータの保存先(記録先)として用いられる。
さらに、制御部23は、通信部25を介して外部装置との間で各種データ通信を行う。本例における通信部25は、図1に示したフォグサーバ2との間でのデータ通信を行うことが可能に構成されている。
図3は、クラウドサーバ3としての情報処理装置の内部構成例を示したブロック図である。なお、図1に示したフォグサーバ2及びユーザ端末4のハードウェア構成は図3に示すものと同様となるため、重複説明は避ける。
CPU31、ROM32、及びRAM33は、バス34を介して相互に接続されている。このバス34には、入出力インタフェース35も接続されている。CPU31は、ROM32に記憶されているプログラム、又は記憶部38からRAM33にロードされたプログラムに従って各種の処理を実行する。RAM33にはまた、CPU31が各種の処理を実行する上において必要なデータ等も適宜記憶される。
入力部36は、ユーザからの操作入力情報を検出する例えばキーボード、マウス、タッチパネル等の操作入力検出デバイスを包括的に表している。
出力部37は、例えばLCD(Liquid Crystal Display)、有機EL(Electroluminescence)パネル等よりなるディスプレイ、並びにスピーカ等により構成される。
記憶部38はHDD(Hard Disk Drive)やフラッシュメモリ装置等により構成される。
通信部39は、ネットワークNtを介しての通信処理や機器間通信を行う。
[2-1.暗号化に用いる乱数について]
ここで、本実施形態の撮像装置1では、撮像画像データについての暗号化を行うが、本例では、この暗号化に光電乱数を用いる。すなわち、撮像画像データの暗号化に用いる暗号鍵を光電乱数に基づき生成する。
ここで、光電乱数とは、アレイセンサ12による光電変換に基づき得られる乱数を意味する。具体的に、本例では、アレイセンサ12の光電変換により得られる画素ごとの電気信号の値を光電乱数として取得し、暗号鍵を生成する。
先ず、図中左側は、アレイセンサ12の光電変換により得られる画素ごとの電気信号の値を例示している。本例において、光電乱数としては、アレイセンサ12での撮像により得られる画像(静止画)の各画素値(輝度値)を用いる。
ここで以下、光電乱数を得るために撮像されたフレーム画像、換言すれば、光電乱数の元となったフレーム画像のことを「シードフレーム」と表記する。
上記のように画素位置をシャッフルさせた形式による光電乱数とすることで、画素ごとの電気信号の値をそれら電気信号の値が得られた画素位置にそのまま割り当てた光電乱数を用いる場合と比較して、暗号鍵の解読が困難とされ、セキュリティを高めることができる。
なお、暗号鍵の生成にあたっては、上記のような画素位置のシャッフルを行うことは必須でなく、画素ごとの電気信号の値そのものを暗号鍵として用いることもできる。
これに対し、上記の光電乱数は真の乱数となり得るものであり、光電乱数に基づき暗号鍵を生成することで暗号鍵の解読を困難化することが可能となる。
従来、アレイセンサ12での撮像により得られる画像信号について暗号化を行う場合には、アレイセンサ12から読み出された画像信号を一旦平文の状態でメモリに保存し、該保存した画像信号に対し暗号化を施すことが通常とされている。
しかしながら、このような暗号化手法を採った場合には、マルウェアなどを使って暗号化のタイミングで意図的にエラーを起こし、メモリ内容をダンプファイルで出力させ、メモリに置かれた平文をコピーするというハッキングが可能となってしまう。
具体的に、本例では、図2に示した振幅制御回路19により、アレイセンサ12の画素からの読み出し信号に対し図4に示した暗号鍵(暗号化フィルタ)に応じた係数による振幅制御を実行させることで、読み出し信号に対する暗号化を実現する。
図示のようにアレイセンサ12における各画素からの読み出し信号(この場合は電荷信号)に対し、振幅制御回路19が備えるアンプによって暗号鍵に応じた係数を乗じる。 図2に示した撮像装置1では、このように画素ごとの読み出し信号がアナログ信号の段階で振幅制御された上で、ADC/ピクセルセレクタ13によりA/D変換され、バッファ14及びロジック部15を介してメモリ16に保存(記録)される。
この場合の撮像装置1では、撮像用センサ部10内において、振幅制御回路19に代えて、ADC/ピクセルセレクタ13によりデジタル信号に変換された読み出し信号について振幅制御を行う振幅制御回路19Aが設けられる。
しかしながら、例えば対象とする画像が人物等のターゲットの特徴、属性や行動の分析に用いられる場合には、画像の再現性としてはターゲットの検出や分析が可能な程度であればよく、実用上の問題は生じないと考えられる。
ストリーム暗号方式では、暗号化の対象信号についてデータの長さを揃える必要がなく、そのため、対象信号に対する暗号化の前処理が不要とされる。従って、ストリーム暗号方式の採用により、暗号化処理の高速化を図ることができる。
本例の撮像用センサ部10は、ハードウェア面での耐タンパー化を図るべく、図7に例示するようにアレイセンサ12、メモリ16、演算部18の各チップが1パッケージ化されている。すなわち、各チップが同一の半導体パッケージ内に形成されている。
図7の例では、演算部18としてのチップ上にメモリ16としてのチップが積層され、さらにメモリ16としてのチップ上にアレイセンサ12としてのチップが積層されている。
本例において、読み出し信号に対する暗号化を施す暗号化部は、例えばアレイセンサ12としてのチップ内に形成されている。
また、光電乱数に基づく暗号鍵を生成し、上記の暗号化部に該暗号鍵に基づく暗号化を実行させる暗号化制御部85は、演算部18としてのチップに含まれている。
図9は、撮像用センサ部10の構造のさらに別例を示しており、図7との差はメモリ16としてのチップが複数積層された点(図の例では2層)である。
なお、図示は省略したが、撮像用センサ部10としては、メモリ16を演算部18と同レイヤに形成して2レイヤの構造としたり、アレイセンサ12、メモリ16、及び演算部18を同レイヤに形成した1レイヤの構造とすることもできる。
続いて、上記により説明した画像暗号化を実現するために演算部18が実行する処理の手順について、図10のフローチャートを参照して説明する。
なお、以下で説明する処理のうち少なくとも一部についてはハードウェアによる処理として実現することもできる。
なお、図10に示す処理は、撮像用センサ部10に対する不正アクセス(例えば、メモリ16に対する不正アクセス)の検知に応じて開始することもできる。そうすることで、光電乱数の取得(S101)や暗号鍵の生成(S105)が不正アクセスの検知に応じて実行される、すなわち、不正アクセスの検知に応じて光電乱数が再取得され、再取得された光電乱数に基づき暗号鍵が再生成される。これにより、ソフトウェア面での耐タンパー化が図られる。
或いは、図10に示す処理は、外部からの指示(例えば操作入力に応じた指示)に応じて開始したり、一定時間おきに開始したりする等、他の条件に基づき開始することもできる。
ステップS101の静止画撮像処理が実行されることで、メモリ16にシードフレームとしての画像データが保存される。
なお、画素値の均一性チェック処理としては、読み出し信号の値を対象とした均一性のチェック処理として実行することもできる。
ステップS102でカウントした画素の数が上記閾値以上であり、均一性が過剰であるとの判定結果を得た場合、演算部18はステップS104に進んでシードフレームを消去する処理、すなわちメモリ16に保存されたシードフレームとしての画像データを消去する処理を実行した上で、ステップS101に戻る。
これにより、シードフレームの画素値のランダム性が低い場合に対応して、シードフレームを撮像し直すことができる。すなわち、光電乱数のランダム性が低い場合に対応して、光電乱数を取得し直すことができる。
従って、ランダム性の低い乱数に基づく暗号鍵により暗号化が行われてしまうことの防止を図ることが可能とされ、セキュリティの向上を図ることができる。
これにより、暗号鍵の解読が困難とされ、セキュリティの向上を図ることができる。
このシードフレームの消去処理を行うことで、光電乱数の元となった画像が流出して光電乱数が推定されてしまうことの防止を図ることができる。
このような既存鍵の消去処理を行うことで、過去に暗号化に用いた暗号鍵の流出防止を図ることが可能とされ、過去に暗号化した信号が不正に復号化されてしまうことの防止を図ることができる。
ステップS108の保存処理を実行したことに応じ、演算部18は図10に示す一連の処理を終える。
本例では、アレイセンサ12は動画像の撮像を行うものとされ、振幅制御回路19(又は19A)による暗号化は動画像を構成する各フレーム画像に対して行われる。
これにより、暗号化画像から暗号鍵が推定されることの困難性が高められ、セキュリティの向上を図ることができる。
なお、暗号化対象の画像データと同一フレーム期間に得た光電乱数に基づき画像データの暗号化を行うことも可能である。
本例の撮像装置1では、画像データにおける所定のターゲット領域を対象とした暗号化を行う。具体的には、画像全体とターゲット領域とで異なる暗号鍵に基づく暗号化を行うと共に、ターゲット領域については、特定部位の領域とそれ以外の領域とで異なる暗号鍵に基づく暗号化を行うことで、画像の受け手側に保有させる復号鍵の別によって、情報の秘匿レベルを段階的に変化させる(レベル別暗号化)。
図11は、ターゲットのクラスが人物である場合におけるレベル別暗号化のイメージを示している。
図11Aは暗号化前の画像を示している。この場合、ターゲット領域ATは、画像内で人物が映し出されている部分の全域とされる。またこの場合、特定部位の領域である特定領域ASは、人物の顔の領域とされる。
図11Bは、特定領域ASのみが暗号化された画像、図11Cは特定領域ASを含むターゲット領域ATのみが暗号化された画像、図11Dは画像全域が暗号化された画像を示している。
この場合、ターゲット領域ATは、画像内で車両が映し出されている部分の全域とされ、特定領域ASは、車両の搭乗者、及びナンバープレートの領域とされる。
図12Bは、特定領域ASのみが暗号化された画像、図12Cは特定領域ASを含むターゲット領域ATのみが暗号化された画像、図12Dは画像全域が暗号化された画像である。
本例では、対象の画像に対し第一、第二、第三暗号鍵に基づく暗号化をそれぞれ個別に施すことはせず、これら複数の暗号鍵を合成した合成鍵に基づき対象の画像に対する暗号化を行う。
そして、第三暗号鍵については、第三乱数の数値のうち、特定領域ASの各画素の数値を抽出した暗号鍵として生成する。
また、第二暗号鍵については、第二乱数の数値のうち、ターゲット領域ATの各画素の数値を抽出した暗号鍵として生成する。
第一暗号鍵については、第一乱数をそのまま適用した暗号鍵として生成する。
そして、該合成鍵に基づき、対象の画像の暗号化が行われるようにする。
図14は、秘匿レベルの変化例についての説明図である。
ここでは、鍵の保有に関するレベルとして、レベル0からレベル3までの4レベルを定義する。図示のようにレベル0は鍵なし、レベル1は第一暗号鍵のみ保有、レベル2は第一、第二暗号鍵の合成鍵を保有、レベル3は第一、第二、及び第三暗号鍵の合成鍵を保有、をそれぞれ意味する。
レベル1の場合、画像の受け手側では第一暗号鍵を用いてターゲット領域AT以外の領域を復号化することができ、従ってターゲット領域ATのみが暗号化された画像が得られる。
レベル3の場合、画像の受け手側では第一、第二、及び第三暗号鍵の合成鍵を用いて画像全域を復号化することができ、この場合には情報の秘匿のない画像を得ることができる。
なお、図15において、ターゲットのクラスは「人物」であるとする。また、図15では説明の便宜上、ターゲット領域ATにおいて特定領域ACとそれ以外の領域とを区別せず、画像内のターゲット領域ATとそれ以外の領域とについてのみ暗号化し分ける例を挙げる。
演算部18は、この際の復号化をオンザフライ方式により行う。これにより、ターゲットの追尾を行う際に平文状態の画像信号が流出してしまう可能性を低減することが可能とされ、セキュリティの向上を図ることができる。
このようにターゲットクラスとしての物体を識別した場合、演算部18(物体領域認識部82)は、当該物体のエリアを囲う正確な位置座標のバウンディングボックス40の算出を行う。
例えば図15Cにターゲットクラスである人物の画像についてのバウンディングボックス40の例を示している。すなわちバウンディングボックス40はターゲットクラスに該当する物体のより正確な領域として計算される。
さらに演算部18(物体領域認識部82)は、バウンディングボックス40を元に、関心領域であるROI41を算出する。
本例では、画素からの読み出し信号に対して暗号化を施す手法を採るため、ターゲットクラス発見フレームについては、ROI41に対し第二暗号鍵に基づく暗号化を施すことができない。ターゲットクラス発見フレームについては、既に第一暗号鍵のみに基づく暗号化が施されてメモリ16に保存されている。このように第一暗号鍵のみに基づく暗号化が施されたターゲットクラス発見フレームがそのまま出力されてしまうと、第一暗号鍵のみの保有者に対し、ROI41の画像領域が秘匿されずに開示されてしまうことになる。
ターゲットクラス発見フレームの次のフレームFより、ROI41を対象とした第二暗号鍵に基づく暗号化を施す。ここでのROI41は、ターゲットクラス発見フレームであるフレームF2の時点で算出されたROI41である。
ターゲットクラスとしての「人物」が移動している場合には、フレームF3では、フレームF2よりも人物が移動方向側に進むことになるが、ROI41がバウンディングボックス40よりも大きな範囲とされることで、フレームF3においてROI41内にターゲットクラスとしての人物が収まることになる。すなわち、ターゲットクラスとしての人物が第二暗号鍵に基づく暗号化の対象範囲内に収まる。
そして、フレームF4以降では、フレームF3と同様に、一つ前のフレームFで算出されたROI41を対象として、第二暗号鍵に基づく暗号化が施されるようにする(図15G参照)。
例えばセマンティックセグメンテーション、すなわち画素レベルでの物体エリア検出を用いて、そのターゲットクラスの物体のエリアからROI41を計算してもよい。
例えば突起物のあるトラック、自転車に乗っている人など、矩形のROI41では一部が含まれなかったり、或いは大きすぎる状態になってしまうことがある。画素レベルの物***置に応じて非矩形のROI41を生成すれば、ターゲットに係る秘匿領域を過不足なく適切に設定することが可能となる。
上記により説明した第二実施形態としての画像暗号化を実現するために演算部18が実行する処理の手順について、図17及び図18のフローチャートを参照して説明する。
図17は、シードフレームの撮像から暗号鍵の元となる乱数の保存までに対応した処理を示している。なお、図17において、既に図10で説明した処理と同様となる処理については同一ステップ番号を付して説明を省略する。
図10の処理と同様、図17の処理は、起動時に開始することができる。或いは、撮像用センサ部10に対する不正アクセスの検知に応じて開始したり、一定時間おきに開始する等、他の条件に基づき開始することもできる。
なお、図17及び図18で説明する処理のうち少なくとも一部についてはハードウェアによる処理として実現することもできる。
なお、シードフレームの光電乱数に基づき各種の乱数を生成する手法については既に説明したため重複説明は避ける。
そして、ステップS106の消去処理を実行したことに応じ、演算部18はステップS152で既存乱数があれば消去する処理を実行する。すなわち、過去に実行されたステップS153の処理でメモリ16に保存された各レベルの乱数(第一乱数と第二乱数)があれば、それらの乱数を消去する処理である。
ステップS152に続くステップS153で演算部18は、ステップS151で生成した各レベルの乱数をメモリ16に保存する処理を行い、図17に示す一連の処理を終える。
先ず、演算部18はステップS401で、暗号化対象とする画像の撮像開始を待機しており、撮像開始となったら、ステップS402で第一暗号鍵による暗号化処理を実行する。すなわち、振幅制御回路19(又は19A)に第一暗号鍵に基づく画素ごとの係数を指示してアレイセンサ12の読み出し信号に対する暗号化を実行させる。先の説明から理解されるように、本例では、第一暗号鍵は、第一乱数をそのまま適用した暗号鍵とされる。
なお、演算部18は、ステップS403及びS404の処理については、ステップS402や後述するステップS413で暗号化されたフレーム画像をオンザフライ方式で復号化しながら実行する。
ターゲットクラスが存在しなければ、演算部18はステップS406で次のフレームを待機(次のフレーム期間の到来を待機)した上で、ステップS402に戻る。すなわち、ターゲットクラスが検出されるまで、ステップS402による画像全域の暗号化処理、ステップS403の物体領域認識処理、及びステップS404のクラス識別処理がフレームごとに繰り返し実行される。
さらに、続くステップS409で演算部18は、ROI41のみに第二乱数の数値を適用した第二暗号鍵と、第一暗号鍵とを合成した合成鍵を生成する。
撮像終了でなければ、演算部18はステップS403に戻る。これにより、撮像終了となるまで、これまで説明した処理が繰り返される。すなわち、引き続きターゲットクラスが存在すれば、該ターゲットクラスについてのROI41の算出、及び算出したROI41に基づく合成鍵の生成、及び一つ前のフレームで生成した合成鍵に基づく暗号化処理が行われ、ターゲットクラスが存在しなくなった場合は、合成鍵による暗号化処理が行われず、第一暗号鍵による暗号化処理が実行される。
例えば、フレームレートが低いと、フレーム間隔の時間が長くなり人物などの物体の移動量も大きくなるため、フレームレートが高い場合よりもROI41を広くすることが考えられる。
先に述べたように、本実施形態の撮像装置1は、特徴検出部85によって撮像画像内の被写体についての特徴情報を検出可能とされている。具体的に本例の特徴検出部85は、前述したクラスのうちターゲットとするクラスの物体(被写体)について、その特徴を示す特徴情報を検出することが可能とされている。
例えば、アレイセンサ12での撮像により得られる画像が店内の監視画像である場合において、ターゲットクラスとして人物(顧客)が設定されていれば、前述した人物についての特徴情報に基づき、ユーザに顧客の性別や年齢、身長等といった顧客の属性を把握させたり、店内における顧客の移動軌跡(動線)や姿勢の変化等といった顧客の動作を把握させることが可能となる。
或いは、アレイセンサ12での撮像により得られる画像が道路を通行する車両の監視画像である場合において、ターゲットクラスとして車両が設定されていれば、車両の車種や色、搭乗者数、搭乗者の性別等といった属性や、道路上での動線、車速等の動作に係る情報をユーザに把握させることが可能とされる。
通常モード時には、各撮像装置1が図10や図17及び図18に示した処理を行うことで得られる暗号化された撮像画像(図中「暗号化画像」と表記)と、特徴検出部85が検出した被写体の特徴情報とが各撮像装置1からフォグサーバ2及びネットワークNtを経由してクラウドサーバ3にアップロードされる。
クラウドサーバ3は、このようにアップロードされた撮像画像と特徴情報を例えば記憶部38(図3参照)に保存する。
図20の処理は演算部18が実行し、図21の処理は制御部23が実行する。
ここで、検出した特徴情報には、検出対象としたターゲットクラスのIDを対応づける。本例において、演算部18は、画像内から新たなターゲットクラスが検出されるごとに、検出したターゲットクラスにID(以下「被写体ID」と表記する)を割り当てる。そして、演算部18は、ステップS504で特徴情報の検出を行ったことに応じ、検出した特徴情報に対し、検出対象としたターゲットクラスの被写体IDを対応づける。
なお、特徴情報を記録する際には、撮像画像データ側との時間同期がとられるように、特徴情報にタイムスタンプ等の撮像画像側との同期管理のための情報を付すことが望ましい。
先ず、制御部23はステップS510で、サーバ(クラウドサーバ3)への特徴情報送信設定がONになっているか否かを判定する。該送信設定がONになっていれば、制御部23はステップS511に進み、記録された未送信の特徴情報をサーバに送信する処理を行う。このとき、特徴情報の送信先は、フォグサーバ2とすることもできる。その場合、フォグサーバ2は、撮像装置1から特徴情報を受信したことに応じ、受信した特徴情報をクラウドサーバ3に送信する。或いは、特徴情報の送信先をクラウドサーバ3とすることもできる。その場合、フォグサーバ2は、送信先情報に基づいて、撮像装置1から受信した特徴情報をクラウドサーバ3に送信する。
ステップS511に続くステップS512で制御部23は、送信済みとなった特徴情報をメモリ16から消去する処理を実行し、ステップS513に処理を進める。
録画データ送信設定がONになっていれば、制御部23はステップS514に進み、未送信の特徴情報をサーバに送信する処理を行う。ここでの送信手法は、先のステップS511での特徴情報の送信手法と同様である。これにより、メモリ16に記録された未送信の暗号化撮像画像データがクラウドサーバ3に送信される。
そして、続くステップS515で制御部23は、送信済みとなった録画データをメモリ16から消去する処理を実行し、図21に示す一連の処理を終える。
また、撮像装置1において、送信済みとなった暗号化撮像画像、特徴情報をメモリから消去することは必須ではない。
[4-1.第一例]
本実施形態の情報処理システム100は、特徴情報に係る動作モードとして、上述した通常モード以外にターゲットサーチモードを有する。ターゲットサーチモードは、撮像装置1の撮像画像に基づき、ターゲットとする被写体の有無を判定するモードである。換言すれば、撮像視野内からターゲットとする被写体を探索するモードである。
このターゲットサーチモードの用途としては種々考えられる。代表的な一例としては、撮像対象とする現場における人探しの用途を挙げることができる。例えば、店舗における万引き犯のサーチ用途として、或る店舗が万引き被害にあった場合に、犯人が再度その店舗に訪れて撮像画像に捉えられたことに応じ、ユーザにその旨を通知するという機能を実現することが考えられる。
或いは、他の用途としては、交通監視システムにおける特定車両のサーチ用途を挙げることができる。具体的には、特定の車両が撮像画像に捉えられたことに応じ、ユーザにその旨を通知するという機能を実現するものである。
なお以下、「サーチターゲットとする被写体」は「ターゲット被写体」と表記することもある。
図示のように各撮像装置1は、特徴検出部85、判定部86、及び第一通知処理部51を備えている。また、クラウドサーバ3は、ターゲット特徴情報送信部50と第二通知処理部52を備えている。
なお図22において、実際には、各撮像装置1とクラウドサーバ3との間の通信はフォグサーバ2及びネットワークNtを介して行われ、クラウドサーバ3とユーザ端末4との間の通信はネットワークNtを介して行われるが、ここでは図示の都合からフォグサーバ2とネットワークNtの図示は省略している。
例えば、前述した万引き犯のサーチ用途の場合であれば、ユーザは、犯行推定時刻付近の撮像画像を閲覧しながら、犯人の特定を行うことが考えられる。この場合には、ユーザ端末4は、撮像画像の閲覧時にユーザから犯人としての被写体の指定操作(例えば画面に対するタッチ操作等)を受け付け、該指定操作により指定された被写体のID(被写体ID)をクラウドサーバ3に指示する。クラウドサーバ3(CPU31)は、指示された被写体IDに対応づけられた特徴情報をターゲット特徴情報としてターゲット特徴情報送信部50により各撮像装置1に送信する。
このとき、ターゲット特徴情報としては、被写体IDに対応づけられた全ての特徴情報とすることもできるし、一部の特徴情報のみとすることもできる。また、「ターゲット特徴情報」として用いる特徴情報をユーザが選択できるようにしてもよい。
また、ターゲット特徴情報として複数の特徴情報を用いる場合において、特徴情報が類似するとは、複数の特徴情報のうち所定数以上の特徴情報が一致する場合(全ての特徴情報が一致する場合は除く)、或いは、全ての特徴情報の類似度が一定度合い以上である場合、或いは類似度が一定度合い以上の特徴情報が所定数以上である場合などを含む。
このように判定部86による判定処理は、「検出特徴情報」と「ターゲット特徴情報」との一致/不一致の判定や類似度に基づいた判定として行われる。
続くステップS702でユーザ端末4は、サーチターゲットの被写体IDをターゲットIDとしてサーバに送信する。すなわち、ステップS701で受け付けた指定操作によって指定された被写体についての被写体IDをターゲットIDとしてクラウドサーバ3に送信する処理を行う。
ターゲット特徴情報が指示された判定部86は、特徴検出部85が検出する検出特徴情報とターゲット特徴情報とに基づき、前述したターゲット被写体が存在するか否かを判定する処理を行う。
ここで、ステップS704の通知処理としては、例えば出力部37におけるディスプレイを介した通知のための画像情報の出力処理や、スピーカを介した通知音の出力処理等とすることができる。
図24は、第二例としての情報処理システム100のターゲットサーチモードに係る機能構成、及び動作の説明図である。なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号や同一ステップ番号を付して説明を省略する。
またこの場合、クラウドサーバ3におけるターゲット特徴情報送信部50は、ターゲット特徴情報をフォグサーバ2に送信する。
この場合、クラウドサーバ3は、ステップS601でユーザ端末4からのターゲットIDを受信したことに応じ、ステップS610でターゲットIDに対応する特徴情報をターゲット特徴情報としてフォグサーバ2に送信する処理を行う。
そして、フォグサーバ2は、ステップS803に続くステップS804で、ターゲット被写体が存在するとの判定結果が得られるまで待機し、ターゲット被写体が存在するとの判定結果が得られた場合は、ステップS805でサーバ(クラウドサーバ3)に発見通知を行う。さらにフォグサーバ2は続くステップS806で、先のステップS803で開始した判定処理を終了し、ステップS807で各撮像装置1に対するサーチ終了通知を行い、図25に示す一連の処理を終える。
従って、撮像装置1の処理負担軽減により撮像装置1の回路規模の縮小化及び小型化を図ることができ、例えば監視カメラ用途等、撮像装置1の小型化が求められる場合に好適となる。
図26は、第三例としての情報処理システム100’の概略構成例を示したブロック図である。
図示のように第三例としての情報処理システム100’は、複数の撮像装置1と、ユーザ端末4とを備えており、図1に示したフォグサーバ2及びクラウドサーバ3は省略されている。この場合における各撮像装置1は、ネットワークNt介してユーザ端末4との間でデータ通信を行うことが可能に構成されている。
第三例においても、ユーザ端末4において、ユーザ操作に基づきサーチターゲットとする被写体の被写体IDが指定される。
そして、この場合の各撮像装置1は、第二通知処理部52を備えており、第二通知処理部52は、判定部86によりターゲット被写体が存在するとの判定が得られたことに応じて、ユーザ端末4に通知信号を出力する。
なお、図26に示した情報処理システム100’の構成において、ユーザ端末4に判定部86を設けることもできる。この場合には、図24の場合と同様に、撮像装置1に特徴情報送信部53を設け、特徴検出部85が検出した特徴情報をユーザ端末4に送信するようにする。
なお、実施形態としては、これまでに説明した具体例に限定されるものではなく、多様な変形例が考えられる。
例えば、上記では、アレイセンサ12の画素からの読み出し信号に対して暗号化を行う手法、及びターゲット領域を対象とした暗号化を行う手法に関して、暗号化に光電乱数を用いる例を挙げたが、これらの手法に関して、暗号化に用いる乱数は光電乱数に限定されない。例えば、疑似乱数を用いることもできる。或いは、真の乱数を用いるのであれば、例えば熱や音の変化など、予測や再現が実質的に不可能な自然現象を対応するセンサで検知して、その値を基に乱数を生成する手法を挙げることができる。
特徴情報の暗号化については、光電乱数に基づく暗号化とすることができる。或いは、疑似乱数に基づく暗号化を行うものとしてもよい。
例えば、ユーザがユーザ端末4に対して、判定対象とする日付けや期間、及びターゲット特徴情報をクラウドサーバ3に指定するための操作を行う。クラウドサーバ3は、保存された特徴情報のうち、指定された日付けや期間において検出された特徴情報に基づいて、指定されたターゲット特徴情報と一致又は類似する特徴情報を有する被写体のIDを探索する。この場合において、ターゲット特徴情報としては、高抽象度特徴情報のみ、低抽象度特徴情報のみ、又は双方の組み合わせの何れかとすることができる。
また、ターゲット被写体が存在すると判定された場合には、ターゲット被写体に関する情報をユーザに提示するが、その際の提示情報としては、該当する被写体のIDに限らず、例えば、該当する被写体の数(例えば、人数)、該当する被写体の画像等を提示することもできる。
しかしながら、例えば判定部86における判定の精度(つまりターゲット被写体の検出精度)が低い場合には、例えばターゲット被写体としての同一人物についての発見通知が複数の撮像装置1から同時的に行われる可能性がある。
或いは、ターゲット被写体が例えば一点物の美術品であるとして、その偽物(贋作)が出回っている場合においては、該美術品としてのターゲット被写体についての発見通知が複数の撮像装置1から同時的に行われる可能性がある。
先の図22に示した情報処理システム100との相違点は、クラウドサーバ3に代えてクラウドサーバ3Aが設けられた点である。
クラウドサーバ3Aは、クラウドサーバ3と比較して、前述したターゲット特徴情報送信部50と第二通知処理部52としての機能に加え、異常検出判定部55としての機能を有する点が異なる。
ここで、「物理的にあり得ないタイミングで検出される」とは、撮像画像内にターゲット被写体が検出された二つの撮像装置1について、それら撮像装置1間でのターゲット被写体の検出時間差が、それら撮像装置1の設置位置間をターゲット被写体としての物体が移動するのに要する最小の時間よりも短くなっていることを意味する。
このような判定を行うことで、ターゲット被写体の検出精度に係る異常、又はターゲット被写体としての物体側に係る異常の発生有無を適切に判定することができる。
この場合、撮像装置1、ユーザ端末4は、それぞれ図23に示した処理と同様の処理を行う。
クラウドサーバ3Aは、ステップS603の判定処理で撮像装置1からの発見通知があったと判定した以降において、ステップS620の処理を実行する。具体的に本例では、ステップS603で発見通知があったと判定した場合において、ステップS604の通知処理を実行したことに応じてステップS620の処理を実行する。
ここで、ステップS620の判定の具体的な手法としては、次のような二種の例が考えられる。
第一の手法は、物理的にあり得ないタイミングであるかを推し量るための閾値時間を固定値とするものである。具体的には、先ず、過去所定時間(=閾値時間:例えば1時間等の固定値)以内に同一のターゲット被写体について複数の撮像装置1が発見通知を行ったか否かを判定し、該当する撮像装置1があった場合に、それら撮像装置1の設置位置間距離が所定距離(例えば500km)を超えているか否かを判定する。この判定の結果、所定距離を超えていなければステップS620の判定結果として否定結果(つまり物理的にあり得ないタイミングで発見通知が行われてはいない)を得、一方、所定距離を超えていればステップS620の判定結果として肯定結果を得る。
第二の手法は、上記の閾値時間を設置位置間距離に応じて可変設定する手法である。先ず、例えば過去24時間以内等、十分に長い対象期間内において複数の撮像装置1が同一のターゲット被写体について発見通知を行っていたか否かを判定し、該当する撮像装置1がある場合は、それら撮像装置1間の設置位置間距離を求めると共に、それら撮像装置1が発見通知を行ったタイミング間の時間差(以下「通知時間差」と表記)を求める。求めた設置位置間距離に基づき、閾値時間を設定する。この閾値時間は、求めた設置位置間距離をターゲット被写体としての物体が移動するのに要する最小の時間よりも短い時間に設定する。そして、このように設定した閾値時間を用いて、通知時間差が該閾値時間以下であるか否かを判定する。通知時間差が閾値時間以下でなければステップS620の判定結果として否定結果を得、通知時間差が閾値時間以下であればステップS620の判定結果として肯定結果を得る。
なお、ステップS620の判定手法は上記手法に限定されるものではない。例えば、どの撮像装置1の組み合わせにおいても設置位置間距離が十分に離れていることが前提であれば、ステップS620の判定処理は、同一のターゲット被写体の発見通知を行った各撮像装置1について、それらの通知時間差が所定時間以下であるか否かの判定として行うことも考えられる。又は、或る撮像装置1からの発見通知があった場合に、当該発見通知が行われたタイミングから所定時間以内に別の撮像装置1からの発見通知があったか否かの判定として行うことも考えられる。
このような異常発見フラグに基づき、クラウドサーバ3Aは、異常の発生を例えばクラウドサーバ3Aのユーザやユーザ端末4のユーザに対して通知する(アラートする)ことができる。異常の発生が認められた場合、ユーザは、ターゲット被写体の検出精度の改善を図ったり、或いは、贋作が発見されたことへの対応策を講じたりすることができる。
上記のように実施形態の情報処理システム(同100又は100’又は100A)は、撮像装置(同1)と情報処理装置(フォグサーバ2、クラウドサーバ3、3A、又はユーザ端末4)とを備えた情報処理システムであって、撮像装置が、被写体を撮像した撮像画像を得る撮像部(アレイセンサ12等)と、撮像画像に基づき、被写体の特徴を示す情報である特徴情報を検出する特徴検出部(同85)と、を備えている。
そして、撮像装置、又は情報処理装置が、特徴検出部が検出した特徴情報である検出特徴情報と、ターゲットとする特徴情報であるターゲット特徴情報とに基づき、検出特徴情報がターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が撮像画像内に存在するか否かを判定する判定部(同86)を備えるものである。
従って、撮像画像に基づいてターゲットとする被写体の有無を判定するシステムについて、判定に要する通信データ量の削減を図ることができる。
被写体の特徴検出のための画像処理をアレイセンサと同一パッケージ内で行うことができるので、該画像処理をセンサパッケージ外で行う場合よりも画像内容の漏洩の可能性を低減することが可能となる。
従って、セキュリティの向上を図ることができる。
これにより、ターゲット被写体の有無の判定に係る処理負担が各撮像装置に分散され、情報処理装置が該判定の処理を実行する必要がなくなる。
従って、情報処理装置の処理負担軽減を図ることができる。また、各撮像装置から情報処理装置への特徴情報の送信を不要とすることができ、通信データ量の削減を図ることができる。
これにより、ターゲット被写体の有無の判定に係る処理を撮像装置側で行う必要がなくなる。
従って、撮像装置の処理負担軽減により撮像装置の回路規模の縮小化及び小型化を図ることができ、例えば監視カメラ用途等、撮像装置の小型化が求められる場合に好適である。
ターゲット被写体が出現した場合には、ターゲット被写体が出現した際の撮像画像を情報処理装置に送信することが考えられる。上記のように暗号化した撮像画像を情報処理装置に送信する構成とすれば、そのようにターゲット被写体が出現した際の撮像画像を情報処理装置側に送信する際に、画像内容が漏洩してしまうことの防止を図ることが可能となる。
従って、セキュリティの向上を図ることができる。
これにより、疑似乱数を用いる場合よりも解読が困難な暗号化を実現することが可能とされる。
従って、セキュリティの向上を図ることができる。
画素からの読み出し信号に対して暗号化を行うことで、メモリに平文による撮像画像信号が保存されないようにすることが可能とされる。
従って、セキュリティの向上を図ることができる。
これにより、撮像画像内の被写体の特徴を示す情報を情報処理装置に取得させることが可能となる。
従って、情報処理装置に被写体の特徴情報を取得させるにあたり、情報処理装置側で撮像画像に基づく特徴情報の検出処理を行う必要がなくなる、換言すれば、情報処理装置に撮像画像を送信する必要を無くすことが可能となり、通信データ量の削減を図ることができる。或いは、情報処理装置に被写体の特徴情報と共に撮像画像を取得させることが要請される場合であっても、情報処理装置が撮像画像に基づき特徴情報の検出処理を行う必要がないため、撮像装置が撮像画像を暗号化して送信することを許容することができ、セキュリティを高めることができる。
抽象度の異なる特徴の例として、例えば、被写体が人物の場合であれば、身長や性別等といった高抽象度の特徴と、服装の色や髪の色等の低抽象度の特徴(つまりより具体的な特徴)とを挙げることができる。或いは、被写体が車両の場合であれば、車両の色や普通車/大型車等の高抽象度の特徴と、具体的な車種やナンバプレートのナンバ等の低抽象度の特徴とを挙げることができる。特徴情報を利用するアプリケーションによっては、例えば高抽象度の特徴情報のみが必要とされ低抽象度の特徴情報は不要とされる場合もある。上記のように抽象度の異なる特徴ごとに特徴情報の検出を行うことで、検出した特徴情報のうち特定の抽象度による特徴情報のみを選択的に出力したり、検出した特徴情報を抽象度を問わず全て出力したりすることが可能となる。
従って、出力する特徴情報の選択自由度を高めることができる。
例えば、必要とされる抽象度による特徴情報のみを選択的に出力する場合には、特徴情報の通信データ量を削減することができる。
また、抽象度の異なる特徴ごとに特徴情報の検出を行うものとすれば、抽象度が異なる特徴情報に基づくターゲット被写体の判定処理を行うことも可能となる。具体的には、例えば、身長や性別等の高抽象度の特徴情報に基づいた第一判定処理を行って被写体を絞った上で、服装の色や髪の色等といった低抽象度の特徴情報に基づいた第二判定処理を行って最終的な判定結果を得るといったことが可能となる。
これにより、複数の視点からの撮像画像に基づいてターゲット被写体の有無を判定することが可能とされる。
従って、ターゲットとする被写体のサーチ範囲を広げることができる。
これにより、ターゲット被写体が出現したことをユーザに対して通知することが可能とされる。
従って、ユーザがターゲット被写体の出現を知る上でシステムに逐次問合せを行う必要がなくなり、ユーザの負担軽減を図ることができる。
「物理的にあり得ないタイミングで検出される」とは、撮像画像内にターゲット被写体が検出された二つの撮像装置について、それら撮像装置間でのターゲット被写体の検出時間差が、それら撮像装置の設置位置間をターゲット被写体としての物体が移動するのに要する最小の時間よりも短くなっていることを意味する。異なる撮像装置が物理的にあり得ないタイミングでターゲット被写体を検出した場合には、ターゲット被写体の検出精度に問題があるか、或いはターゲット被写体としての物体の偽物が出回っている等、ターゲット被写体の検出アルゴリズムに係る異常、又はターゲット被写体としての物体に係る異常の何れか生じていると推定できる。
従って、上記構成によれば、これらターゲット被写体の検出精度に係る異常、又はターゲット被写体としての物体側に係る異常の何れかの発生有無を適切に判定することができる。
このような情報処理方法によっても、上記した実施形態としての情報処理システムと同様の作用及び効果を得ることができる。
本技術は以下のような構成も採ることができる。
(1)
撮像装置と情報処理装置とを備えた情報処理システムであって、
前記撮像装置が、
被写体を撮像した撮像画像を得る撮像部と、
前記撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出する特徴検出部と、を備え、
前記撮像装置、又は前記情報処理装置が、
前記特徴検出部が検出した前記特徴情報である検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する判定部を備える
情報処理システム。
(2)
前記撮像部は、
可視光又は非可視光の受光素子を有する画素が一次元又は二次元に複数配列されたアレイセンサを有し、
前記特徴検出部が、前記アレイセンサと同一パッケージ内に設けられた
前記(1)に記載の情報処理システム。
(3)
前記撮像装置が前記判定部を備える
前記(1)又は(2)に記載の情報処理システム。
(4)
前記情報処理装置が前記判定部を備える
前記(1)又は(2)に記載の情報処理システム。
(5)
前記撮像装置は、
前記撮像画像を暗号化する暗号化部と、
前記暗号化部により暗号化された前記撮像画像を前記情報処理装置に送信する処理を行う画像送信部と、を備える
前記(1)から(4)の何れかに記載の情報処理システム。
(6)
前記撮像部は、
可視光又は非可視光の受光素子を有する画素が一次元又は二次元に複数配列されたアレイセンサを有し、
前記暗号化部は、
前記アレイセンサによる光電変換に基づき得られる乱数である光電乱数に基づき前記撮像画像を暗号化する
前記(5)に記載の情報処理システム。
(7)
前記暗号化部は、
前記アレイセンサにおける前記画素からの読み出し信号に対して前記暗号化を行う
前記(6)に記載の情報処理システム。
(8)
前記撮像装置は、
前記特徴検出部が検出した前記特徴情報を前記情報処理装置に送信する処理を行う特徴送信部を備える
前記(1)から(7)の何れかに記載の情報処理システム。
(9)
前記特徴検出部は、
前記被写体が有する抽象度の異なる特徴ごとに前記特徴情報の検出を行う
前記(1)から(8)の何れかに記載の情報処理システム。
(10)
前記撮像装置を複数備えた
前記(1)から(9)の何れかに記載の情報処理システム。
(11)
前記判定部により前記ターゲット被写体が存在すると判定されたことに応じて通知情報を出力する処理を行う通知処理部を備える
前記(1)から(10)の何れかに記載の情報処理システム。
(12)
前記撮像装置を複数備え、
前記情報処理装置が、
前記判定部の判定結果に基づき、異なる前記撮像装置による撮像画像内に前記ターゲット被写体が物理的にあり得ないタイミングで検出されたか否かを判定する異常検出判定部を備えた
前記(1)から(11)の何れかに記載の情報処理システム。
(13)
撮像装置と情報処理装置とを備えた情報処理システムにおける情報処理方法であって、
前記撮像装置が、
被写体を撮像した撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出し、
前記撮像装置、又は前記情報処理装置が、
前記検出した前記特徴情報である検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する
情報処理方法。
(14)
被写体を撮像した撮像画像を得る撮像部と、
前記撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出する特徴検出部と、
前記特徴検出部が検出した前記特徴情報である検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する判定部と、を備える
撮像装置。
(15)
被写体を撮像した撮像画像を得る撮像部と、前記撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出する特徴検出部と、を有する撮像装置より、前記特徴検出部が検出した前記特徴情報である検出特徴情報を取得し、取得した前記検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する判定部を備える
情報処理装置。
1 撮像装置
2 フォグサーバ
3,3A クラウドサーバ
4 ユーザ端末
10 撮像用センサ部
12 アレイセンサ
18 演算部
19,19A 振幅制御回路
82 物体領域認識部
83 クラス識別部
84 暗号化制御部
85 特徴検出部
86 判定部
23 制御部
25 通信部
31 CPU
32 ROM
33 RAM
34 バス
35 入出力インタフェース
36 入力部
37 出力部
38 記憶部
39 通信部
50 ターゲット特徴情報送信部
51 第一通知処理部
52 第二通知処理部
53 特徴情報送信部
54 ターゲット特徴情報取得部
55 異常検出判定部
Claims (12)
- 撮像装置と情報処理装置とを備えた情報処理システムであって、
前記撮像装置が、
可視光又は非可視光の受光素子を有する画素が一次元又は二次元に複数配列されたアレイセンサを有し、被写体を撮像した撮像画像を得る撮像部と、
前記撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出する特徴検出部と、を備え、
前記撮像装置、又は前記情報処理装置が、
前記特徴検出部が検出した前記特徴情報である検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する判定部を備え、
前記撮像装置は、
前記撮像画像を暗号化する暗号化部と、
前記暗号化部により暗号化された前記撮像画像を前記情報処理装置に送信する処理を行う画像送信部と、をさらに備え
前記暗号化部は、
前記アレイセンサの各画素による光電変換に基づき得られる乱数である光電乱数に基づき前記撮像画像を暗号化する
情報処理システム。 - 前記撮像部は、
前記特徴検出部が、前記アレイセンサと同一パッケージ内に設けられた
請求項1に記載の情報処理システム。 - 前記撮像装置が前記判定部を備える
請求項1に記載の情報処理システム。 - 前記情報処理装置が前記判定部を備える
請求項1に記載の情報処理システム。 - 前記暗号化部は、
前記アレイセンサにおける前記画素からの読み出し信号に対して前記暗号化を行う
請求項1に記載の情報処理システム。 - 前記撮像装置は、
前記特徴検出部が検出した前記特徴情報を前記情報処理装置に送信する処理を行う特徴送信部を備える
請求項1に記載の情報処理システム。 - 前記特徴検出部は、
前記被写体が有する抽象度の異なる特徴ごとに前記特徴情報の検出を行う
請求項1に記載の情報処理システム。 - 前記撮像装置を複数備えた
請求項1に記載の情報処理システム。 - 前記判定部により前記ターゲット被写体が存在すると判定されたことに応じて通知情報を出力する処理を行う通知処理部を備える
請求項1に記載の情報処理システム。 - 前記撮像装置を複数備え、
前記情報処理装置が、
前記判定部の判定結果に基づき、異なる前記撮像装置による撮像画像内に前記ターゲット被写体が物理的にあり得ないタイミングで検出されたか否かを判定する異常検出判定部を備えた
請求項1に記載の情報処理システム。 - 撮像装置と情報処理装置とを備えた情報処理システムにおける情報処理方法であって、
前記撮像装置が、
可視光又は非可視光の受光素子を有する画素が一次元又は二次元に複数配列されたアレイセンサによって被写体を撮像した撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出し、
前記撮像装置、又は前記情報処理装置が、
前記検出した前記特徴情報である検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定し、
前記撮像装置は、さらに、
前記撮像画像を暗号化し、暗号化された前記撮像画像を前記情報処理装置に送信する処理を行うと共に、前記撮像画像の暗号化として、前記アレイセンサの各画素による光電変換に基づき得られる乱数である光電乱数に基づく暗号化を行う
情報処理方法。 - 可視光又は非可視光の受光素子を有する画素が一次元又は二次元に複数配列されたアレイセンサを有し、被写体を撮像した撮像画像を得る撮像部と、
前記撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出する特徴検出部と、
前記特徴検出部が検出した前記特徴情報である検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する判定部と、
前記撮像画像を暗号化する暗号化部と、
前記暗号化部により暗号化された前記撮像画像を情報処理装置に送信する処理を行う画像送信部と、を備え、
前記暗号化部は、
前記アレイセンサの各画素による光電変換に基づき得られる乱数である光電乱数に基づき前記撮像画像を暗号化する
撮像装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019197084 | 2019-10-30 | ||
JP2019197084 | 2019-10-30 | ||
PCT/JP2020/034689 WO2021084944A1 (ja) | 2019-10-30 | 2020-09-14 | 情報処理システム、情報処理方法、撮像装置、情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021084944A1 JPWO2021084944A1 (ja) | 2021-05-06 |
JP7491317B2 true JP7491317B2 (ja) | 2024-05-28 |
Family
ID=75715064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021554157A Active JP7491317B2 (ja) | 2019-10-30 | 2020-09-14 | 情報処理システム、情報処理方法、撮像装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220375197A1 (ja) |
EP (1) | EP4054171A4 (ja) |
JP (1) | JP7491317B2 (ja) |
KR (1) | KR20220091471A (ja) |
CN (1) | CN114503550A (ja) |
WO (1) | WO2021084944A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11977766B2 (en) * | 2022-02-28 | 2024-05-07 | Nvidia Corporation | Hierarchical network for stacked memory system |
CN116260842B (zh) * | 2023-02-21 | 2024-01-23 | 华智生物技术有限公司 | 温室大棚的物联网数据采集方法、***、装置及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005045705A (ja) | 2003-07-25 | 2005-02-17 | Matsushita Electric Ind Co Ltd | 暗号化撮像システム |
JP2006157426A (ja) | 2004-11-29 | 2006-06-15 | Hitachi Kokusai Electric Inc | 暗号化データ通信装置 |
JP2013503374A (ja) | 2009-08-27 | 2013-01-31 | ユニベルシテ リブル ドゥ ブリュッセル | ネットワーク分散量子乱数発生 |
WO2016132769A1 (ja) | 2015-02-19 | 2016-08-25 | シャープ株式会社 | 撮影装置、撮影装置の制御方法、および制御プログラム |
JP2018191230A (ja) | 2017-05-11 | 2018-11-29 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子及びその駆動方法、並びに、電子機器 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100226495A1 (en) * | 2007-10-29 | 2010-09-09 | Michael Kelly | Digital readout method and apparatus |
KR100920266B1 (ko) * | 2007-12-17 | 2009-10-05 | 한국전자통신연구원 | 카메라간 협업을 이용한 영상 감시 카메라 및 방법 |
US20180278894A1 (en) * | 2013-02-07 | 2018-09-27 | Iomniscient Pty Ltd | Surveillance system |
JP2017184198A (ja) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | イメージセンサ、撮像装置、イメージセンサ特定方法、画像偽造防止方法および画像改変制限方法 |
JP2018055607A (ja) * | 2016-09-30 | 2018-04-05 | 富士通株式会社 | イベント検知プログラム、イベント検知装置、及びイベント検知方法 |
JP2019057880A (ja) | 2017-09-22 | 2019-04-11 | 学校法人東京理科大学 | 撮影装置、画像処理システム、画像処理プログラム、検索プログラム、及び撮影プログラム |
US10742399B2 (en) * | 2017-12-28 | 2020-08-11 | Intel Corporation | Context-aware image compression |
-
2020
- 2020-09-14 WO PCT/JP2020/034689 patent/WO2021084944A1/ja unknown
- 2020-09-14 CN CN202080068480.9A patent/CN114503550A/zh active Pending
- 2020-09-14 JP JP2021554157A patent/JP7491317B2/ja active Active
- 2020-09-14 KR KR1020227012482A patent/KR20220091471A/ko unknown
- 2020-09-14 EP EP20880650.5A patent/EP4054171A4/en active Pending
- 2020-09-14 US US17/769,757 patent/US20220375197A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005045705A (ja) | 2003-07-25 | 2005-02-17 | Matsushita Electric Ind Co Ltd | 暗号化撮像システム |
JP2006157426A (ja) | 2004-11-29 | 2006-06-15 | Hitachi Kokusai Electric Inc | 暗号化データ通信装置 |
JP2013503374A (ja) | 2009-08-27 | 2013-01-31 | ユニベルシテ リブル ドゥ ブリュッセル | ネットワーク分散量子乱数発生 |
WO2016132769A1 (ja) | 2015-02-19 | 2016-08-25 | シャープ株式会社 | 撮影装置、撮影装置の制御方法、および制御プログラム |
JP2018191230A (ja) | 2017-05-11 | 2018-11-29 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子及びその駆動方法、並びに、電子機器 |
Also Published As
Publication number | Publication date |
---|---|
KR20220091471A (ko) | 2022-06-30 |
EP4054171A4 (en) | 2022-11-09 |
JPWO2021084944A1 (ja) | 2021-05-06 |
EP4054171A1 (en) | 2022-09-07 |
US20220375197A1 (en) | 2022-11-24 |
CN114503550A (zh) | 2022-05-13 |
WO2021084944A1 (ja) | 2021-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020158540A1 (ja) | センサ装置、暗号化方法 | |
JP7491317B2 (ja) | 情報処理システム、情報処理方法、撮像装置 | |
US20220271930A1 (en) | Cipher key generation apparatus and cipher key generation method | |
WO2020158539A1 (ja) | 暗号化装置、暗号化方法 | |
WO2020158541A1 (ja) | センサ装置、暗号化方法 | |
JP2019095872A (ja) | 捜索システム、捜索装置、端末装置、捜索方法、及びプログラム | |
CN111523434A (zh) | 基于区块链与bim的工地人员异常聚集检测*** | |
CN116456127B (zh) | 一种视频处理***、方法、装置、电子设备及存储介质 | |
JP2006054719A (ja) | 画像処理装置、画像処理システム | |
JP2021064021A (ja) | 時空間事象予測装置、時空間事象予測方法及び時空間事象予測システム | |
JP7170929B1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2022201973A1 (ja) | 情報処理システム及び学習モデルの生成方法 | |
WO2022102508A1 (ja) | 撮像素子、撮像方法、撮像装置および画像処理システム | |
JP7483140B2 (ja) | 画像処理システム、撮像装置、端末装置及び画像処理方法 | |
US20240232431A1 (en) | Systems and methods for image encryption | |
US20240214209A1 (en) | Imaging apparatus, information processing apparatus, information processing method, and program | |
Chidambaram et al. | Tamper Detection of Medical Images Using Modified Hashing Algorithm | |
JP2021166381A (ja) | 情報処理装置、改ざん検知装置、情報処理方法、および検知方法 | |
Padhi et al. | Intelligent Intrusion Detection Using TensorFlow | |
KR20230050187A (ko) | 보행자 얼굴 검출 정보를 매개로 한 영상 보안 장치 및 그 방법 | |
CN118379527A (zh) | 节点分类方法、装置、设备以及介质 | |
CN117077175A (zh) | 图像数据保护方法、装置、电子设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230724 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240429 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7491317 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |