JP7337094B2 - 固体撮像装置、固体撮像方法および電子機器 - Google Patents
固体撮像装置、固体撮像方法および電子機器 Download PDFInfo
- Publication number
- JP7337094B2 JP7337094B2 JP2020559919A JP2020559919A JP7337094B2 JP 7337094 B2 JP7337094 B2 JP 7337094B2 JP 2020559919 A JP2020559919 A JP 2020559919A JP 2020559919 A JP2020559919 A JP 2020559919A JP 7337094 B2 JP7337094 B2 JP 7337094B2
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- authentication
- unit
- solid
- state imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 88
- 230000005540 biological transmission Effects 0.000 claims description 180
- 239000004065 semiconductor Substances 0.000 claims description 54
- 238000013528 artificial neural network Methods 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 23
- 230000004048 modification Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- 238000013500 data storage Methods 0.000 description 9
- 238000003705 background correction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0407—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the identity of one or more communicating identities is hidden
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25875—Management of end-user data involving end-user authentication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/27—Server based end-user applications
- H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
- H04N21/2743—Video hosting of uploaded data from client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
- H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
- H04N21/45452—Input to filtering algorithms, e.g. filtering a region of the image applied to an object-based stream, e.g. MPEG-4 streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
- H04N21/4751—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user accounts, e.g. accounts for children
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/02—Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/108—Network architectures or network communication protocols for network security for controlling access to devices or network resources when the policy decisions are valid for a limited amount of time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Graphics (AREA)
- Child & Adolescent Psychology (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
0.概要
1.実施形態の詳細
1.1.システム構成例
1.2.イメージセンサの構成例
1.3.第1の実施形態
1.4.第2の実施形態
1.5.第3の実施形態
1.6.第4の実施形態
2.むすび
近年、カメラによって撮影される人物(以下、「被写体」とも言う。)のプライバシー保護を強化するための技術が知られている。例えば、撮影者の意図しないときに携帯電話のインカメラを用いて撮影者が撮影されてしまうことを防ぐために、インカメラが動作中である場合には、インカメラが動作中であることを通知する技術が開示されている。しかし、カメラによって撮影される人物のプライバシー保護をより強化することが可能な技術が提供されることが望まれる。
[1.1.システム構成例]
続いて、図1を参照しながら、本開示の実施形態に係る固体撮像システムの構成例について説明する。図1を参照すると、本開示の実施形態に係る固体撮像システム1は、電子機器10、サーバ装置40およびネットワーク50を有する。電子機器10およびサーバ装置40は、ネットワーク50を介して通信可能である。なお、図1に示された例では、電子機器10がネットワーク50に接続されているが、複数の電子機器10がネットワーク50に接続されていてよく、複数の電子機器10それぞれが、ネットワーク50を介してサーバ装置40と通信可能であってよい。
続いて、本開示の実施形態に係るイメージセンサ20の構造の例について説明する。図2は、イメージセンサ20の構造の第1の例を示す図である。図3は、イメージセンサ20の構造の第2の例を示す図である。図2を参照すると、イメージセンサ20は、第1の半導体チップL1および第2の半導体チップL2を含んで構成されている。図3を参照すると、イメージセンサ20は、第1の半導体チップL1、第2の半導体チップL2および第3の半導体チップL3を含んで構成されている。
続いて、本開示の第1の実施形態に係る固体撮像システム1の詳細構成について説明する。図4は、本開示の第1の実施形態に係る固体撮像システム1の詳細構成例を示す図である。なお、図4からは、紙面の都合上、アプリケーション30およびネットワーク50が省略されている。図4を参照すると、イメージセンサ20およびサーバ装置40が示されている。
続いて、本開示の第2の実施形態について説明する。本開示の第2の実施形態に係る固体撮像システム1の詳細構成について説明する。図16は、本開示の第2の実施形態に係る固体撮像システム1の詳細構成例を示す図である。図16に示されるように、本開示の第2の実施形態は、イメージセンサ20がローカル認証部231およびローカル認証用データ記憶部232を有していない点が、本開示の第1の実施形態と異なる。この場合には、イメージセンサ20からメタデータがサーバ装置40に送信されない。
続いて、本開示の第3の実施形態について説明する。本開示の第3の実施形態に係る固体撮像システム1の詳細構成について説明する。図18は、本開示の第3の実施形態に係る固体撮像システム1の詳細構成例を示す図である。図18に示されるように、本開示の第3の実施形態は、固体撮像システム1が、検出装置60を有している点が、本開示の第1の実施形態と異なる。この場合には、検出装置60によって第1の動作が検出され得る。例えば、検出装置60がマイクロフォンを含む場合、第1の動作として、撮像画像から認識されるジェスチャの代わりに、所定の音声の発話が用いられてもよい。あるいは、検出装置60が入力装置(例えば、タッチパネルなど)を含む場合には、第1の動作として、所定の入力操作(例えば、タッチパネルへのタッチ操作など)が用いられてもよい。
続いて、本開示の第4の実施形態について説明する。本開示の第4の実施形態に係る固体撮像システム1の詳細構成について説明する。図19は、本開示の第4の実施形態に係る固体撮像システム1の詳細構成例を示す図である。図19に示されるように、本開示の第4の実施形態は、固体撮像システム1が、サーバ装置40の代わりに外部記録媒体70を有している点が、本開示の第1の実施形態と異なる。この場合には、イメージセンサ20から送信された第2の撮像画像または第2の撮像画像に基づくデータ(メタデータ)が外部記録媒体70に記録されてよい。なお、第2の撮像画像または第2の撮像画像に基づくデータ(メタデータ)は、イメージセンサ20からアプリケーション30に出力されてもよい。
以上説明したように、本開示の実施形態によれば、第1の撮像画像を撮像する撮像部と、第1の撮像画像からの被写体の第1の動作の検出に関する情報に基づいて、前記第1の撮像画像から前記被写体の第1の特徴量を抽出して記憶部に記憶させる記憶制御部と、前記撮像部による第2の撮像画像から前記第1の特徴量と一致または類似する第2の特徴量が抽出されたことに基づいて、前記第2の撮像画像または前記第2の撮像画像に基づくデータの送信を制御する送信制御部と、を備える、固体撮像装置が提供される。
(1)
第1の撮像画像を撮像する撮像部と、
第1の撮像画像からの被写体の第1の動作の検出に関する情報に基づいて、前記第1の撮像画像から前記被写体の第1の特徴量を抽出して記憶部に記憶させる記憶制御部と、
前記撮像部による第2の撮像画像から前記第1の特徴量と一致または類似する第2の特徴量が抽出されたことに基づいて、前記第2の撮像画像または前記第2の撮像画像に基づくデータの送信を制御する送信制御部と、
を備える、固体撮像装置。
(2)
前記固体撮像装置は、
前記第2の撮像画像から前記第2の特徴量が抽出された場合に、前記第2の撮像画像に基づいて第1の認証を行う第1の認証部を備え、
前記送信制御部は、前記第1の認証が成功した場合には、前記第2の撮像画像に基づくデータの送信を制御し、前記第1の認証に失敗した場合には、前記第2の撮像画像の送信を制御する、
前記(1)に記載の固体撮像装置。
(3)
前記第1の認証部は、機械学習済みの第1のニューラルネットワークを含んで構成される、
前記(2)に記載の固体撮像装置。
(4)
前記第2の撮像画像の送信先に、機械学習済みの第2のニューラルネットワークを含んで構成された第2の認証部が存在し、
前記第1の認証部は、前記第2の認証部によって前記第2の撮像画像に基づく第2の認証が成功した場合、前記第2のニューラルネットワークの第2のパラメータに基づいて前記第1のニューラルネットワークの第1のパラメータを更新する、
前記(3)に記載の固体撮像装置。
(5)
前記固体撮像装置は、複数の半導体チップを含んで構成され、
前記第1の認証部は、前記複数の半導体チップのうち、前記撮像部を含む第1の半導体チップとは異なる第2の半導体チップに含まれる、
前記(2)~(4)のいずれか一項に記載の固体撮像装置。
(6)
前記第1の認証部は、前記第2の半導体チップに含まれるDSPによって実現される、
前記(5)に記載の固体撮像装置。
(7)
前記固体撮像装置は、前記撮像部からの出力信号に対して信号処理を行う信号処理部を備え、
前記信号処理部は、前記複数の半導体チップのうち、前記第1の半導体チップおよび前記第2の半導体チップとは異なる第3の半導体チップ、または、前記第2の半導体チップに含まれる、
前記(5)または(6)に記載の固体撮像装置。
(8)
前記記憶部は、前記複数の半導体チップのうち、前記第1の半導体チップおよび前記第2の半導体チップとは異なる第3の半導体チップ、または、前記第2の半導体チップに含まれる、
前記(5)~(7)のいずれか一項に記載の固体撮像装置。
(9)
前記送信制御部は、前記第1の特徴量が前記記憶部に記憶されてからの経過時間が所定時間を超えている場合、前記第2の撮像画像または前記第2の撮像画像に基づくデータの送信を停止する、
前記(1)~(8)のいずれか一項に記載の固体撮像装置。
(10)
前記送信制御部は、前記第2の撮像画像から前記被写体の第2の動作を検出した場合、前記第2の撮像画像または前記第2の撮像画像に基づくデータの送信を停止する、
前記(1)~(9)のいずれか一項に記載の固体撮像装置。
(11)
前記送信制御部は、再帰型ニューラルネットワークを用いて前記第2の動作を検出する、
前記(10)に記載の固体撮像装置。
(12)
前記第1の特徴量および前記第2の特徴量は、機械学習済みの第3のニューラルネットワークを用いて抽出される、
前記(1)~(11)のいずれか一項に記載の固体撮像装置。
(13)
前記記憶制御部は、前記第1の動作が検出されたことに基づいて、前記第1の特徴量を抽出して前記記憶部に記憶させる、
前記(1)~(12)のいずれか一項に記載の固体撮像装置。
(14)
前記記憶制御部は、前記第1の動作が検出されなかったことに基づいて、前記第1の特徴量を抽出して前記記憶部に記憶させる、
前記(1)~(12)のいずれか一項に記載の固体撮像装置。
(15)
前記送信制御部は、前記第2の撮像画像または前記第2の撮像画像に基づくデータの、アプリケーション、サーバ装置または外部記録媒体への送信を制御する、
前記(1)~(14)のいずれか一項に記載の固体撮像装置。
(16)
前記第1の認証が成功した場合、前記第1の認証によって得られたデータに基づく処理が実行される、
前記(2)~(8)のいずれか一項に記載の固体撮像装置。
(17)
前記第1の認証によって得られたデータは、前記第2の撮像画像から識別される被写体の識別情報を含む、
前記(16)に記載の固体撮像装置。
(18)
前記第2の認証が成功した場合、前記第2の認証によって得られたデータに基づく処理が実行される、
前記(4)に記載の固体撮像装置。
(19)
第1の撮像画像を撮像することと、
プロセッサが、第1の撮像画像からの被写体の第1の動作の検出に関する情報に基づいて、前記第1の撮像画像から前記被写体の第1の特徴量を抽出して記憶部に記憶させ、第2の撮像画像から前記第1の特徴量と一致または類似する第2の特徴量が抽出されたことに基づいて、前記第2の撮像画像または前記第2の撮像画像に基づくデータの送信を制御することと、
を備える、固体撮像方法。
(20)
アプリケーションと、
第1の撮像画像を撮像する撮像部と、
第1の撮像画像からの被写体の第1の動作の検出に関する情報に基づいて、前記第1の撮像画像から前記被写体の第1の特徴量を抽出して記憶部に記憶させ、前記撮像部による第2の撮像画像から前記第1の特徴量と一致または類似する第2の特徴量が抽出されたことに基づいて、前記第2の撮像画像または前記第2の撮像画像に基づくデータの前記アプリケーションへの送信を制御する送信制御部と、
を備える、電子機器。
10 電子機器
20 イメージセンサ
210 CIS
211 撮像素子
212 A/D変換器
220 ロジック回路
221 信号処理部
2211 シェーディング補正部
2212 混色補正部
2213 デジタルゲイン調整部
2214 ホワイトバランスゲイン調整部
2215 検波部
2216 デモザイク処理部
2217 γ補正部
230 DSP
231 ローカル認証部
2311 正規化処理部
2312 ローカル認証処理部
232 ローカル認証用データ記憶部
233 データ送信判断部
2331 送信制御部
2332 記憶制御部
234 データ送信可能リスト記憶部
240 メモリ
250 セレクタ
261 データ送信部
262 データ受信部
30 アプリケーション
40 サーバ装置
410 データ受信部
420 サーバ認証部
430 サーバ認証用データ記憶部
440 データ送信部
50 ネットワーク
60 検出装置
70 外部記録媒体
L1 第1の半導体チップ
L2 第2の半導体チップ
L3 第3の半導体チップ
Claims (19)
- 第1の撮像画像を撮像する撮像部と、
第1の撮像画像からの被写体の第1の動作の検出に関する情報に基づいて、前記第1の撮像画像から前記被写体の第1の特徴量を抽出して記憶部に記憶させる記憶制御部と、
前記撮像部による第2の撮像画像から前記第1の特徴量と一致または類似する第2の特徴量が抽出されたことに基づいて、前記第2の撮像画像または前記第2の撮像画像に基づくデータの送信を制御する送信制御部と、
前記第2の撮像画像から前記第2の特徴量が抽出された場合に、前記第2の撮像画像に基づいて第1の認証を行う第1の認証部と、
を備え、
前記送信制御部は、前記第1の認証が成功した場合には、前記第2の撮像画像に基づくデータの送信を制御し、前記第1の認証に失敗した場合には、前記第2の撮像画像の送信を制御する、
固体撮像装置。 - 前記第1の認証部は、機械学習済みの第1のニューラルネットワークを含んで構成される、
請求項1に記載の固体撮像装置。 - 前記第2の撮像画像の送信先に、機械学習済みの第2のニューラルネットワークを含んで構成された第2の認証部が存在し、
前記第1の認証部は、前記第2の認証部によって前記第2の撮像画像に基づく第2の認証が成功した場合、前記第2のニューラルネットワークの第2のパラメータに基づいて前記第1のニューラルネットワークの第1のパラメータを更新する、
請求項2に記載の固体撮像装置。 - 前記固体撮像装置は、複数の半導体チップを含んで構成され、
前記第1の認証部は、前記複数の半導体チップのうち、前記撮像部を含む第1の半導体チップとは異なる第2の半導体チップに含まれる、
請求項1に記載の固体撮像装置。 - 前記第1の認証部は、前記第2の半導体チップに含まれるDSPによって実現される、
請求項4に記載の固体撮像装置。 - 前記固体撮像装置は、前記撮像部からの出力信号に対して信号処理を行う信号処理部を備え、
前記信号処理部は、前記複数の半導体チップのうち、前記第1の半導体チップおよび前記第2の半導体チップとは異なる第3の半導体チップ、または、前記第2の半導体チップに含まれる、
請求項4に記載の固体撮像装置。 - 前記記憶部は、前記複数の半導体チップのうち、前記第1の半導体チップおよび前記第2の半導体チップとは異なる第3の半導体チップ、または、前記第2の半導体チップに含まれる、
請求項4に記載の固体撮像装置。 - 前記送信制御部は、前記第1の特徴量が前記記憶部に記憶されてからの経過時間が所定時間を超えている場合、前記第2の撮像画像または前記第2の撮像画像に基づくデータの送信を停止する、
請求項1に記載の固体撮像装置。 - 前記送信制御部は、前記第2の撮像画像から前記被写体の第2の動作を検出した場合、前記第2の撮像画像または前記第2の撮像画像に基づくデータの送信を停止する、
請求項1に記載の固体撮像装置。 - 前記送信制御部は、再帰型ニューラルネットワークを用いて前記第2の動作を検出する、
請求項9に記載の固体撮像装置。 - 前記第1の特徴量および前記第2の特徴量は、機械学習済みの第3のニューラルネットワークを用いて抽出される、
請求項1に記載の固体撮像装置。 - 前記記憶制御部は、前記第1の動作が検出されたことに基づいて、前記第1の特徴量を抽出して前記記憶部に記憶させる、
請求項1に記載の固体撮像装置。 - 前記記憶制御部は、前記第1の動作が検出されなかったことに基づいて、前記第1の特徴量を抽出して前記記憶部に記憶させる、
請求項1に記載の固体撮像装置。 - 前記送信制御部は、前記第2の撮像画像または前記第2の撮像画像に基づくデータの、アプリケーション、サーバ装置または外部記録媒体への送信を制御する、
請求項1に記載の固体撮像装置。 - 前記第1の認証が成功した場合、前記第1の認証によって得られたデータに基づく処理が実行される、
請求項1に記載の固体撮像装置。 - 前記第1の認証によって得られたデータは、前記第2の撮像画像から識別される被写体の識別情報を含む、
請求項15に記載の固体撮像装置。 - 前記第2の認証が成功した場合、前記第2の認証によって得られたデータに基づく処理が実行される、
請求項3に記載の固体撮像装置。 - 第1の撮像画像を撮像することと、
プロセッサが、第1の撮像画像からの被写体の第1の動作の検出に関する情報に基づいて、前記第1の撮像画像から前記被写体の第1の特徴量を抽出して記憶部に記憶させ、第2の撮像画像から前記第1の特徴量と一致または類似する第2の特徴量が抽出されたことに基づいて、前記第2の撮像画像または前記第2の撮像画像に基づくデータの送信を制御することと、
プロセッサが、前記第2の撮像画像から前記第2の特徴量が抽出された場合に、前記第2の撮像画像に基づいて第1の認証を行うことと、
を含み、
前記制御することは、前記第1の認証が成功した場合には、前記第2の撮像画像に基づくデータの送信を制御し、前記第1の認証に失敗した場合には、前記第2の撮像画像の送信を制御する、
固体撮像方法。 - アプリケーションと、
第1の撮像画像を撮像する撮像部と、
第1の撮像画像からの被写体の第1の動作の検出に関する情報に基づいて、前記第1の撮像画像から前記被写体の第1の特徴量を抽出して記憶部に記憶させ、前記撮像部による第2の撮像画像から前記第1の特徴量と一致または類似する第2の特徴量が抽出されたことに基づいて、前記第2の撮像画像または前記第2の撮像画像に基づくデータの前記アプリケーションへの送信を制御する送信制御部と、
前記第2の撮像画像から前記第2の特徴量が抽出された場合に、前記第2の撮像画像に基づいて第1の認証を行う第1の認証部と、
を備え、
前記送信制御部は、前記第1の認証が成功した場合には、前記第2の撮像画像に基づくデータの送信を制御し、前記第1の認証に失敗した場合には、前記第2の撮像画像の送信を制御する、
電子機器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018229603 | 2018-12-07 | ||
JP2018229603 | 2018-12-07 | ||
PCT/JP2019/045745 WO2020116197A1 (ja) | 2018-12-07 | 2019-11-22 | 固体撮像装置、固体撮像方法および電子機器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020116197A1 JPWO2020116197A1 (ja) | 2021-10-14 |
JP7337094B2 true JP7337094B2 (ja) | 2023-09-01 |
Family
ID=70975392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020559919A Active JP7337094B2 (ja) | 2018-12-07 | 2019-11-22 | 固体撮像装置、固体撮像方法および電子機器 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP3893487A4 (ja) |
JP (1) | JP7337094B2 (ja) |
CN (1) | CN113170045B (ja) |
TW (1) | TW202037147A (ja) |
WO (1) | WO2020116197A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016038621A (ja) | 2014-08-05 | 2016-03-22 | アルパイン株式会社 | 空間入力システム |
JP2017157936A (ja) | 2016-02-29 | 2017-09-07 | カシオ計算機株式会社 | 撮像装置、送信制御方法及びプログラム |
JP2018107538A (ja) | 2016-12-23 | 2018-07-05 | シャープ株式会社 | 情報処理装置、情報処理装置の制御方法および制御プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5273998B2 (ja) * | 2007-12-07 | 2013-08-28 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
KR102057531B1 (ko) * | 2013-02-20 | 2020-01-23 | 삼성전자주식회사 | 제스처를 이용하여 데이터를 송수신하는 모바일 기기들 |
JP6324079B2 (ja) | 2014-01-14 | 2018-05-16 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
US10554829B2 (en) * | 2014-06-03 | 2020-02-04 | Sony Corporation | Information processing device, photographing device, image sharing system, and method of information processing |
KR102184272B1 (ko) * | 2014-06-25 | 2020-11-30 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
US20170039010A1 (en) * | 2015-08-03 | 2017-02-09 | Fuji Xerox Co., Ltd. | Authentication apparatus and processing apparatus |
US9769367B2 (en) * | 2015-08-07 | 2017-09-19 | Google Inc. | Speech and computer vision-based control |
US9946355B2 (en) * | 2015-09-01 | 2018-04-17 | Samsung Electronics Co., Ltd. | System and method for operating a mobile device using motion gestures |
US9818031B2 (en) * | 2016-01-06 | 2017-11-14 | Orcam Technologies Ltd. | Crowd-sourced vision-based information collection |
CN107358079A (zh) * | 2017-06-16 | 2017-11-17 | 微梦创科网络科技(中国)有限公司 | 实时人脸识别登录验证方法及*** |
CN108038179A (zh) * | 2017-12-07 | 2018-05-15 | 泰康保险集团股份有限公司 | 身份信息认证方法与装置 |
-
2019
- 2019-11-22 CN CN201980079314.6A patent/CN113170045B/zh active Active
- 2019-11-22 WO PCT/JP2019/045745 patent/WO2020116197A1/ja unknown
- 2019-11-22 EP EP19893741.9A patent/EP3893487A4/en active Pending
- 2019-11-22 JP JP2020559919A patent/JP7337094B2/ja active Active
- 2019-11-29 TW TW108143583A patent/TW202037147A/zh unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016038621A (ja) | 2014-08-05 | 2016-03-22 | アルパイン株式会社 | 空間入力システム |
JP2017157936A (ja) | 2016-02-29 | 2017-09-07 | カシオ計算機株式会社 | 撮像装置、送信制御方法及びプログラム |
JP2018107538A (ja) | 2016-12-23 | 2018-07-05 | シャープ株式会社 | 情報処理装置、情報処理装置の制御方法および制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN113170045B (zh) | 2023-11-21 |
EP3893487A1 (en) | 2021-10-13 |
US20220006952A1 (en) | 2022-01-06 |
CN113170045A (zh) | 2021-07-23 |
WO2020116197A1 (ja) | 2020-06-11 |
EP3893487A4 (en) | 2022-01-26 |
JPWO2020116197A1 (ja) | 2021-10-14 |
TW202037147A (zh) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109756671B (zh) | 使用多个相机记录图像的电子装置及其操作方法 | |
JP6580783B2 (ja) | 人物再識別システム及び方法 | |
US8610812B2 (en) | Digital photographing apparatus and control method thereof | |
KR20200081450A (ko) | 생체 검출 방법, 장치 및 시스템, 전자 기기 및 저장 매체 | |
KR20140026512A (ko) | 하나 이상의 피사체의 이미지에 대한 캡쳐의 자동 최적화 기법 | |
JP2005242677A (ja) | 複合認証システムおよびその方法ならびにプログラム | |
US20210117708A1 (en) | Method for obtaining face data and electronic device therefor | |
KR20190101841A (ko) | 시계(field of view)가 다른 복수의 카메라를 이용하여 생체 인증을 수행하는 방법 및 이를 위한 전자 장치 | |
JP2006319550A (ja) | 撮像装置、携帯端末 | |
JP4747894B2 (ja) | 認証装置、認証方法、認証プログラムおよびコンピュータ読み取り可能な記録媒体 | |
JP6428152B2 (ja) | 肖像権保護プログラム、情報通信装置及び肖像権保護方法 | |
JP7357640B2 (ja) | 固体撮像装置、固体撮像方法および電子機器 | |
JP7337094B2 (ja) | 固体撮像装置、固体撮像方法および電子機器 | |
US12052463B2 (en) | Solid-state imaging device, solid-state imaging method, and electronic equipment | |
JP6833571B2 (ja) | 画像処理装置、画像処理システム、および、制御方法 | |
JP2012004720A (ja) | 監視装置、及び監視システム | |
KR20200083188A (ko) | 라이브니스 검출 방법 및 장치, 이를 이용한 객체 인식 방법 | |
JP7390634B2 (ja) | ロビーインターホン、インターホンシステム、画像情報出力方法及びプログラム | |
JP7390670B2 (ja) | 共同玄関子機、共同玄関子機の画像出力方法、及びプログラム | |
JP2018186412A (ja) | 撮像装置、情報処理装置、情報処理方法及びプログラム | |
US20240242543A1 (en) | Control apparatus, image pickup apparatus, and control method | |
JP2018120266A (ja) | 情報加工モジュール、情報加工方法、情報加工プログラム及び情報処理装置 | |
CN114092984A (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
WO2023122440A1 (en) | Apparatus and methods for spoofing detection using machine learning processes | |
JP2015095856A (ja) | 端末装置、情報収集システム、情報収集方法、および、情報収集プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7337094 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |