TWI820194B - 電子機器及固體攝像裝置 - Google Patents

電子機器及固體攝像裝置 Download PDF

Info

Publication number
TWI820194B
TWI820194B TW108130709A TW108130709A TWI820194B TW I820194 B TWI820194 B TW I820194B TW 108130709 A TW108130709 A TW 108130709A TW 108130709 A TW108130709 A TW 108130709A TW I820194 B TWI820194 B TW I820194B
Authority
TW
Taiwan
Prior art keywords
aforementioned
image data
unit
processing
electronic device
Prior art date
Application number
TW108130709A
Other languages
English (en)
Other versions
TW202032968A (zh
Inventor
浴良仁
卓 青木
竜太 佐藤
Original Assignee
日商索尼半導體解決方案公司
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司, 日商索尼股份有限公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202032968A publication Critical patent/TW202032968A/zh
Application granted granted Critical
Publication of TWI820194B publication Critical patent/TWI820194B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本發明抑制隨著功能實現而致使處理時間及電力消耗增大。實施形態之電子機器具備：攝像部(11)，其產生圖像資料；處理部(14)，其對基於自前述攝像部讀出之圖像資料的資料，執行基於神經網路計算模型之處理；功能執行部(12)，其基於前述處理之結果，執行特定功能；及檢測部(32)，其檢測變位；且前述處理部當前述檢測部檢測到變位之情形下，執行前述處理。

Description

電子機器及固體攝像裝置
本揭示係關於一種電子機器及固體攝像裝置。
近年來，伴隨著搭載於數位靜態相機、視訊攝影機、可攜式電話機等之小型照相機等之攝像裝置之高性能化，業界開發搭載自動調整曝光之自動曝光(AE)功能、自動調整焦點之自動對焦(AF)功能、自動進行快門動作之自動快門功能、或根據被攝體或場景自動調整彩色矩陣之自動色修正功能等之攝像裝置。 [先前技術文獻] [專利文獻]
[專利文獻1]日本特開2018-061290號公報 [專利文獻2]日本特開2017-183775號公報
[發明所欲解決之問題]
然而，先前，為了執行自動曝光、自動對焦、自動快門、及自動色修正功能等之附加之功能，需要進行對於1～數圖框份之圖像資料之圖像處理。因此，存在為了實現功能而處理時間及電力消耗增大之課題。
因此，在本揭示中，提議一種能夠抑制隨著功能實現而致使處理時間及電力消耗增大之電子機器及固體攝像裝置。 [解決問題之技術手段]
為了解決上述課題，本揭示之一形態之電子機器具備：攝像部，其產生圖像資料；處理部，其對基於自前述攝像部讀出之圖像資料的資料，執行基於神經網路計算模型之處理；功能執行部，其基於前述處理之結果，執行特定功能；及檢測部，其檢測變位；且前述處理部當前述檢測部檢測到變位之情形下，執行前述處理。
以下，對於本揭示之一實施形態基於圖式詳細地進行說明。再者，在以下之實施形態中，藉由對於同一部位賦予同一符號而省略重複之說明。
又，依照以下所示之項目順序說明本揭示。 1.第1實施形態 1.1電子機器之概略構成例 1.2處理部之動作 1.2.1運算動作之具體例 1.3利用運算結果之附加之功能之執行 1.4作用/效果 2.第2實施形態 2.1動作例 2.2作用/效果 3.第3實施形態 3.1電子機器之概略構成例 3.2動作例 3.3作用/效果 4.第4實施形態 4.1電子機器之概略構成例 4.2動作例 4.3作用/效果 5.第5實施形態 5.1電子機器之概略構成例 5.2動作例 5.3作用/效果 6.第6實施形態 6.1電子機器之概略構成例 6.2動作例 6.3作用/效果 7.第7實施形態 7.1動作例 7.2作用/效果 8.第8實施形態 8.1動作例 8.2作用/效果 9.針對移動體之應用例 10.針對內視鏡手術系統之應用例
1.第1實施形態 首先，對於第1實施形態，參照圖式詳細地進行說明。 1.1電子機器之概略構成例 圖1係顯示第1實施形態之電子機器之概略構成例之方塊圖。如圖1所示般，電子機器1具備作為固體攝像裝置之圖像感測器10、及應用處理器20。圖像感測器10具備：攝像部11、控制部12、信號處理部13、DSP(Digital Signal Processor，數位信號處理器)14、記憶體15、及選擇器(亦稱為輸出部)16。
控制部12例如依照使用者之操作或被設定之動作模式，控制圖像感測器10內之各部分。
攝像部11例如具備像素陣列部101，該像素陣列部101具備2維矩陣狀地配列有單位像素之構成，該單位像素包含具備變焦透鏡、對焦透鏡、光圈等之光學系統104，及光電二極體等之受光元件(亦稱為光電轉換部)。自外部入射之光藉由經由光學系統104而在像素陣列部101之排列有受光元件之受光面成像。像素陣列部101之各單位像素藉由將入射至該受光元件之光進行電轉換，而可讀出地蓄積與入射光之光量相應之電荷。
信號處理部13對於自攝像部11之各單位像素讀出之像素信號執行各種信號處理。例如，信號處理部13將自像素陣列部101之各單位像素讀出之類比之像素信號轉換為數位值之圖像資料。又，信號處理部13例如在圖像資料為彩色圖像之情形下，將該圖像資料格式轉換為YUV圖像資料或RGB圖像資料等。進而，信號處理部13例如對於圖像資料根據需要執行雜訊去除或白平衡調整等之處理。另外，信號處理部13對於圖像資料執行成為DSP 14處理該圖像資料所需之各種信號處理(亦稱為前處理)。
DSP 14例如作為處理部發揮功能，該處理部藉由讀出儲存於記憶體15之程式並執行，而利用藉由利用深度神經網路(Deep neural network，DNN)之機器學習製作之已學習模型執行各種處理。例如，DSP 14藉由執行基於記憶於記憶體15之已學習模型之運算處理，執行將記憶於記憶體15之辭典係數與圖像資料相乘之處理。根據如此之運算處理獲得之結果(運算結果)被朝記憶體15及/或選擇器16輸出。再者，於運算結果內，可包含：藉由執行利用已學習模型之運算處理而獲得之圖像資料、基於運算結果而加工之圖像資料、或自圖像資料獲得之各種資訊(表示圖像之一部分區域之區域資訊等。以下稱為後設資料)等。又，於DSP 14，可組入控制對記憶體15之存取之記憶體控制器。
於運算處理，例如，存在利用神經網路計算模型之一例即已學習之學習模型者。例如，DSP 14可利用已學習之學習模型執行各種處理即DSP處理。例如，DSP 14自記憶體15讀出圖像資料並輸入已學習之學習模型，而取得臉部之輪廓或臉部圖像之區域等之臉部位置作為已學習模型之輸出結果。然後，DSP 14對於圖像資料之中被提取之臉部位置執行遮蔽、馬賽克、虛擬化等之處理，而產生加工圖像資料。其後，DSP 14將所產生之經加工之圖像資料(加工圖像資料)儲存於記憶體15。
又，於已學習之學習模型中，包含有利用學習資料，已學習了人物之臉部位置之檢測等之DNN或支援向量機等。已學習之學習模型若被輸入判別對象之資料即圖像資料，則輸出判別結果亦即特定臉部位置之位址等之區域資訊。再者，DSP 14可藉由利用學習資料變更學習模型內之各種參數之加權而更新學習模型，預先準備複數個學習模型而根據運算處理之內容變更所使用之學習模型，或自外部之裝置取得或更新已學習之學習模型，而執行上述運算處理。
再者，DSP 14作為處理對象之圖像資料，既可為自像素陣列部101通常讀出之圖像資料，亦可為藉由省略減少該通常讀出之圖像資料之像素而將資料大小加以縮小之圖像資料。或者是，還可為藉由對於像素陣列部101執行省略減少像素之讀出而以較通常小之資料大小讀出之圖像資料。再者，此處之通常之讀出，亦可為在不省略減少像素下進行讀出。
藉由利用如此之學習模型進行之臉部位置之提取或加工處理，而可產生圖像資料之臉部位置被遮蔽之加工圖像資料、圖像資料之臉部位置被馬賽克處理之加工圖像資料、或圖像資料之臉部位置被置換為角色之經虛擬化之加工圖像資料等。
記憶體15根據需要記憶由DSP 14獲得之運算結果等。又，記憶體15將DSP 14所執行之已學習之學習模型之演算法作為程式及辭典係數而記憶。已學習之學習模型之程式及辭典係數，例如既可為將由外部之雲端伺服器30等製作之程式及辭典係數經由網路40載入電子機器1而儲存於記憶體15，亦可在電子機器1之發貨前儲存於記憶體15。
選擇器16例如藉由依照來自控制部12之選擇控制信號，選擇性地輸出自信號處理部13輸出之圖像資料、與自DSP 14輸出之運算結果。再者，DSP 14既可將藉由運算處理獲得之運算結果直接朝選擇器16輸出，亦可在暫時儲存於記憶體15後，自記憶體15讀出並朝選擇器16輸出。
如以上所述般自選擇器16輸出之圖像資料或運算結果被輸入處理顯示或使用者介面等之應用處理器20。應用處理器20例如利用CPU(Central Processing Unit，中央處理單元)等而構成，執行作業系統或各種應用軟體等。於該應用處理器20，可搭載有GPU(Graphics Processing Unit，圖形處理單元)或基頻處理器等之功能。應用處理器20對於被輸入之圖像資料或運算結果，執行根據需要之各種處理，或執行針對使用者之顯示，或者經由特定之網路40朝外部之雲端伺服器30發送。
又，於電子機器1設置有顯示器17，該顯示器17用於顯示用於自圖像感測器10輸出之圖像資料或功能設定/執行之各種選單。該顯示器17例如既可作為視野取景器發揮功能，亦可作為顯示應用處理器20所執行之作業系統或應用軟體之GUI(Graphical User Interface，圖形使用者介面)畫面之顯示器發揮功能。再者，顯示器17還可為作為使用者介面發揮功能之觸控屏。
再者，關於特定之網路40，例如，可應用網際網路、有線LAN(Local Area Network，區域網路)或無線LAN、移動體通訊網、或藍芽(Bluetooth)(註冊商標)等各種網路。又，圖像資料或運算結果之發送對象並不限定於雲端伺服器30，亦可為單一地動作之伺服器、保管各種資料之檔案伺服器、或可攜式電話機等通訊終端等的具有通訊功能之各種資訊處理裝置(系統)。
1.2處理部之動作 其次，對於在本實施形態中作為處理部發揮功能之DSP 14之動作，以下，參照圖式詳細地進行說明。
本實施形態之DSP 14如上述般，藉由讀出儲存於記憶體15之已學習之學習模型並執行，而作為利用DNN之處理部發揮功能。圖2顯示使DSP 14作為處理部發揮功能時之圖像感測器10之動作例。
如圖2所示般，在本動作中，首先，DSP 14自記憶體15讀出已學習之學習模型並執行(步驟S121)。藉此，DSP 14作為處理部發揮功能。
其次，控制部12開始來自攝像部11之圖框讀出(步驟S122)。在該圖框讀出中，例如，1圖框份之圖像資料以水平列單位(亦稱為line單位)依次被讀出。
其次，在讀出1圖框之特定列數之圖像資料時(步驟S123之是)，DSP 14對於所讀出之特定列數份之圖像資料，執行利用CNN(Convolution Neural Network，捲積神經網路)之運算處理(步驟S124)。亦即，DSP 14以特定列數之圖像資料為單位區域，執行利用已學習之學習模型之運算處理。又，在利用CNN之運算處理中，例如，執行臉部檢測、臉部認證、視線檢測、表情辨識、臉部方向檢測、物體檢測、物體辨識或移動(移動物體)檢測、寵物檢測、場景辨識、狀態檢測、或迴避對象物辨識等。
此處，所謂臉部檢測，係檢測圖像資料所含之人物之臉部之處理。所謂臉部認證係作為生物體認證之一項，而認證圖像資料所含之人物之臉部與預先登錄之人物之臉部是否一致之處理。所謂視線檢測，係檢測圖像資料所含之人物之視線之方向之處理。所謂表情辨識，係辨識圖像資料所含之人物之表情之處理。所謂臉部方向檢測，係檢測圖像資料所含之人物之臉部之上下方向之處理。所謂物體檢測，係檢測圖像資料所含之物體之處理。所謂物體辨識，係辨識圖像資料所含之物體為何種物體之處理。所謂移動(移動物體)檢測，係檢測圖像資料所含之移動物體之處理。所謂寵物檢測，係檢測圖像資料所含之狗或貓等之寵物之處理，所謂場景辨識，係辨識所拍攝之場景(海或山等)之處理。所謂狀態檢測，係檢測圖像資料所含之人物等之狀態(是通常之狀態還是異常之狀態等)之處理。所謂迴避對象物辨識，係辨識自身移動時之位於其行進方向前方之迴避對象之物體之處理。
當利用CNN之運算處理成功之情形下(步驟S125之是)，本動作前進至步驟S129。另一方面，當利用CNN之運算處理失敗之情形下(步驟S125之否)，等待自攝像部11讀出後續之特定列數之圖像資料(步驟S126之否)。
再者，在本說明中，所謂運算處理成功，例如，意指在如上述例示之臉部檢測或臉部認證等中，獲得一定之檢測結果、辨識結果、或認證。另一方面，所謂運算處理失敗，例如，意指在如上述例示之臉部檢測或臉部認證等中，未能獲得充分之檢測結果、辨識結果或認證。
其次，在步驟S126中，在讀出後續之特定列數之圖像資料時(單位區域)(步驟S126之是)，DSP 14對於所讀出之特定列數之圖像資料，執行利用RNN(Recurrent Neural Network，遞歸神經網路)之運算處理(步驟S127)。在利用RNN之運算處理中，例如，對於同一圖框之圖像資料亦利用目前為止所執行之利用CNN或RNN之運算處理之結果。
當利用RNN之運算處理成功之情形下(步驟S128之是)，本動作前進至步驟S129。
在步驟S129中，在步驟S124或S127中已成功之運算結果，例如，或者自DSP 14經由選擇器16朝應用處理器20輸出，或者儲存於記憶體15。
又，在步驟S127中，在利用RNN之運算處理失敗之情形下(步驟S128之否)，判定是否已完成1圖框份之圖像資料之讀出 (步驟S130)，在未完成之情形下(步驟S130之否)，返回步驟S126，而執行對於後續之特定列數之圖像資料之處理。
另一方面，在完成1圖框份之圖像資料之讀出之情形下(步驟S130之是)，例如，控制部12判定是否結束本動作(步驟S131)，在不結束之情形下(步驟S131之否)，返回步驟S122，而對於後續圖框執行同樣之動作。又，在結束之情形下(步驟S131之是)，結束本動作。
再者，是否轉移至後續圖框(步驟S131)，例如，既可基於是否自應用處理器20等之外部輸入有結束之指示而判斷，亦可基於是否完成對預先決定之特定圖框數之圖像資料之一系列處理而判斷。
又，在連續地進行臉部檢測、臉部認證、視線檢測、表情辨識、臉部方向檢測、物體檢測、物體辨識、移動(移動物體)檢測、場景辨識、及狀態檢測等之運算處理之情形下，當在即將進行之運算處理失敗之情形下，可跳過後續之運算處理。例如，當在臉部檢測之後執行臉部認證之情形下，在臉部檢測失敗時，可跳過後續之臉部認證。
1.2.1運算動作之具體例 接著，利用具體例對於利用圖2所說明之處理部之動作進行說明。再者，以下，例示利用DNN執行臉部檢測之情形。
圖3係顯示1圖框份之圖像資料之一例之圖。圖4係用於說明本實施形態之DSP所執行之運算處理之流程之圖。
在藉由運算處理對於如圖3所示之圖像資料執行臉部檢測之情形下，如圖4(a)所示般，於DSP 14，首先，輸入有特定列數份之圖像資料(相當於圖2之步驟S123)。DSP 14藉由對於被輸入之特定列數份之圖像資料執行利用CNN之運算處理，而執行臉部檢測(相當於圖2之步驟S124)。然而，在圖4(a)之階段下，由於尚未輸入有臉部整體之圖像資料，故DSP 14在臉部檢測上失敗(相當於圖2之步驟S125之否)。
接著，如圖4(b)所示般，於DSP 14輸入有後續之特定列數份之圖像資料(相當於圖2之步驟S126)。DSP 14利用對於在圖4(a)中被輸入之特定列數份之圖像資料所執行之利用CNN之運算處理之結果，且對於新輸入之特定列數份之圖像資料執行利用RNN之運算處理，藉此而執行臉部檢測(相當於圖2之步驟S127)。
在圖4(b)之階段下，與在圖4(a)之階段下所輸入之特定列數份之總資料相結合，而輸入有臉部整體之圖像資料。因此，在圖4(b)之階段下，DSP 14在臉部檢測上成功(相當於圖2之步驟S128之是)。如是，在本動作中，無需讀出後續以後之圖像資料(圖4(c)～圖4(f)之圖像資料)，而輸出臉部檢測之結果(相當於圖2之步驟S129)。
如此般，藉由對於每特定列數之圖像資料執行利用DNN之運算處理，而可省略對於在臉部檢測成功之時點以後之圖像資料之讀出或運算處理之執行。藉此，由於可在短時間內完成檢測、辨識或認證等之處理，故可實現處理時間之縮短及電力消耗之降低。
再者，特定列數係根據已學習之學習模型之演算法所要求之濾波器之大小而決定之列數，其最小數為1列。
又，自攝像部11讀出之圖像資料亦可為在行方向及/或列方向省略減少之圖像資料。該情形下，例如，當在行方向每隔著一列讀出圖像資料之情形下，讀出第2(N-1)(N為1以上之整數)列之圖像資料。
又，在已學習之學習模型之演算法所要求之濾波器不是列單位，而例如是1×1像素或5×5像素等之像素單位之矩形區域之情形下，可將與該濾波器之形狀或大小相應之矩形區域之圖像資料作為DSP 14執行運算處理之單位區域之圖像資料取代特定列數之圖像資料，輸入DSP 14。
進而，在上述中，例示CNN與RNN作為DNN之示例，但並不限定於此，例如，亦可利用GAN(Generative Adversarial Network，生成對抗網路)等其他學習模型。
1.3利用運算結果之附加之功能之執行 其次，對於利用DSP 14所執行之運算處理之結果執行附加之功能時之動作，參照圖式詳細地進行說明。再者，以下，作為利用運算結果而執行之附加之功能，例示自動曝光(AE)功能、自動對焦(AF)功能、自動快門(AS)功能、及自動色修正功能，但並不限定於該等功能，可適用各種功能。
圖5係顯示利用本實施形態之運算處理之結果執行附加之功能時之動作之一例之流程圖。如圖5所示般，在本動作中，例如，當電子機器1藉由使用者之電源投入而啟動時，首先，圖像感測器10啟動(步驟S101)。藉此，開始由圖像感測器10獲得之圖像之朝電子機器1之作為視野取景器發揮功能之顯示器17之顯示。
其次，藉由執行利用圖2所說明之動作，而執行運算處理之檢測處理或辨識處理等(步驟S102)。例如，在執行自動曝光功能之情形下，藉由DSP 14所執行之運算處理，而檢測映入攝像部11之人或物等(以下稱為被攝體)之亮度。又，在執行自動對焦功能之情形下，藉由DSP 14所執行之運算處理，而檢測距被攝體之距離。進而，在執行自動快門功能之情形下，藉由DSP 14所執行之運算處理，而檢測被攝體之表情、姿勢、或移動等。進而，又，在執行自動色修正功能之情形下，藉由DSP 14所執行之運算處理，而檢測場景或被攝體。再者，關於場景，除了海或山等之風景以外，亦可包含晴天或陰天等之天氣等。
其次，判定由DSP 14進行之運算是否成功，亦即，判定藉由運算處理是否獲得一定之檢測結果或辨識結果等(步驟S103)。當在運算成功之情形下(步驟S103之是)，例如，執行由使用者設定為有效之功能(步驟S104)。
例如，在自動曝光功能被設定為有效之情形下，且在使用者按下電子機器1之快門按鈕時，根據由DSP 14執行之運算處理獲得之被攝體之亮度，控制部12(功能執行部之一形態)自動地控制光圈及快門速度。
又，在自動對焦功能被設定為有效之情形下，根據由DSP 14執行之運算處理獲得之距被攝體之距離，控制部12(功能執行部之一形態)自動地控制光學系統104之焦點距離。
進而，在自動快門功能被設定為有效之情形下，根據由DSP 14執行之運算處理獲得之被攝體之表情、姿勢或移動等，控制部12(功能執行部之一形態)自動地執行快門動作。
進而，又，在自動色修正功能被設定為有效之情形下，根據由DSP 14執行之運算處理而檢測到之場景或被攝體，而應用處理器20(功能執行部之一形態)自動地變更彩色矩陣。再者，彩色矩陣不僅可針對圖像整體被變更，而且可就映入被攝體之每一區域被變更。例如，可針對映入人物之區域，使用人物用之彩色矩陣，而於可映入蘋果或柑橘等之物體之區域，使用與該物體相應之彩色矩陣。
其後，在步驟S105中，判定是否結束本動作，在結束之情形下(步驟S105之是)，圖像感測器10停止(步驟S106)，而結束本動作。另一方面，在不結束之情形下(步驟S105之否)，返回至步驟S102，而重複執行以後之動作。
1.4作用/效果 如以上所示般，根據本實施形態，藉由對於每特定列數之圖像資料執行運算處理，而可省略對於在運算處理成功之時點以後之圖像資料之讀出或運算處理之執行。藉此，由於可在短時間內完成檢測、辨識或認證等之處理，故可實現處理時間之縮短及電力消耗之降低。
又，藉由設為基於對於每特定列數之圖像資料執行之運算處理之結果而執行附加之功能之構成，而可在短時間內完成檢測、辨識、或認證等之處理，故可實現處理時間之縮短及電力消耗之降低。
進而，由於可在短時間內檢測場景或被攝體而執行自動曝光、自動對焦、或自動色修正，故可相應於場景或被攝體而取得更美麗之靜止圖像或動畫圖像。
進而，又，由於可提高執行自動快門時之反應速度，故可在更佳之時機下自動地按下快門。
2.第2實施形態 其次，對於第2實施形態，參照圖式詳細地進行說明。在上述第1實施形態中，例示執行自動曝光(AE)功能、自動對焦(AF)功能、自動快門(AS)功能、自動色修正功能等之附加之功能之情形作為運算結果之利用形態。相對於此，在第2實施形態中，例示對於特定之應用軟體自動輸入評估等之情形。
於Youtube(註冊商標)、Twitter(註冊商標)、Facebook(註冊商標)、Instagram(註冊商標)等之社交網路服務(Social Networking Service，SNS)、網際網路論壇、新聞網站、部落格等，存在組入有用於其他使用者對於使用者投稿之動畫、照片、或文章等之內容輸入評估或好感度等之功能(Social button，社交按鈕)之情形。因此，在本實施形態中，對於藉由運算處理辨識瀏覽/播放該等內容之使用者之表情等，並基於該結果，自動輸入評估或好感度等之情形，舉例進行說明。
本實施形態之電子機器之概略構成例與在第1實施形態中利用圖1所說明之電子機器1相同。其中，本實施形態之電子機器係智慧型手機或筆記本型個人電腦等具備照相機功能與內容瀏覽/播放功能之通訊終端。
2.1動作例 圖6係顯示本實施形態之電子機器之概略動作例之流程圖。再者，在本說明中，為了明確化，而對於播放由Youtube(註冊商標)等提供之動畫圖像之內容之情形進行說明。
如圖6所示般，在本動作中，首先，應用處理器20依照使用者輸入之操作，啟動內容播放用之特定之應用軟體(步驟S201之是)。
其次，應用處理器20依照使用者輸入之操作，開始播放指定之內容(步驟S202)。如是，以與該內容播放連動之形式，將圖像感測器10啟動(步驟S203)。
啟動後之圖像感測器10依照第1實施形態中使用圖2所說明之運算處理，對於收看內容之使用者依次執行臉部檢測(步驟S204)、視線檢測(步驟S205)、及表情辨識(步驟S206)之運算處理，基於藉此獲得之表情辨識之結果，判定使用者是否做出笑臉、哭臉、或生氣的臉等特定表情(步驟S207)。
若收看內容之使用者未做出特定表情(步驟S207之否)，本動作便進入步驟S210。另一方面，若使用者做出特定表情(步驟S207之是)，則圖像感測器10將與在步驟S206中辨識到之表情相關之後設資料向應用處理器20輸出(步驟S208)。相對於此，應用處理器20(功能執行部之一形態)利用執行中之應用軟體之社交按鈕，將與表情相應之評估輸入應用軟體(步驟S209)。其後，本動作進入步驟S210。
在步驟S210中，應用處理器20判定同一內容之播放是否已停止或結束，在既未停止亦未結束之情形下(步驟S210之否)，本動作返回步驟S204，而繼續以後之動作。另一方面，若內容之播放已停止或結束(步驟S210之是)，應用處理器20將圖像感測器10停止(步驟S211)。接著，應用處理器20判定應用軟體是否已結束(步驟S212)，若已結束(步驟S212之是)，則本動作結束。另一方面，若應用軟體未結束(步驟S212之否)，則本動作返回步驟S202，對下一內容播放執行以後之動作。
2.2作用/效果 如以上所述般，根據本實施形態，由於可省略對於在表情辨識成功之時點以後執行圖像資料之讀出或運算處理，故可抑制內容瀏覽或播放時之電力消耗之增加，且可自動地輸入對內容之評估或好感度等。再者，由於其他之構成、動作及效果可與上述實施形態相同，故於此處省略詳細之說明。
3.第3實施形態 其次，對於第3實施形態，參照圖式詳細地進行說明。在本實施形態中，例示下述情形，即：在智慧型手機等具備根據姿勢而使顯示器17之顯示方向旋轉之功能之電子機器中，當正在執行特定之應用軟體時，利用運算結果而控制顯示器17之顯示方向。
3.1電子機器之概略構成例 圖7係顯示第3實施形態之電子機器之概略構成例之方塊圖。如圖7所示般，電子機器3除了與在第1實施形態中使用圖1說明之電子機器1同樣之構成以外，更具備用於檢測電子機器3之姿勢之變化(以下稱為變位)之慣性量測裝置(Inertial Measurement Unit：IMU)32。又，於電子機器3之圖像感測器10中，更組入有基於IMU 32之檢測結果而檢測電子機器3之姿勢之CPU(Central Processing Unit，中央處理單元)31。
IMU 32例如利用3軸陀螺儀與3方向之加速度計而構成，輸出3維之角速度與加速度作為檢測結果。
CPU 31基於自IMU 32輸出之檢測結果，檢測電子機器3例如相對於重力方向處於何種姿勢。
應用處理器20例如根據由CPU 31檢測到之電子機器3之姿勢，控制顯示器17之顯示方向。例如，在基於運算處理之結果而不控制顯示器17之顯示方向之情形下，應用處理器20在電子機器3之長度方向較水平方向更接近於垂直方向之狀態下，將顯示器17之顯示方向設為縱方向，在長度方向較垂直方向更接近於水平方向之狀態下，將顯示器17之顯示方向設為橫方向。
另一方面，在基於運算處理之結果而控制顯示器17之顯示方向之情形下，應用處理器20以作為DSP 14之運算處理之結果而獲得之使用者之臉部之上下方向、與顯示器17之顯示方向一致之方式，控制顯示器17之顯示方向。例如，儘管電子機器3之長度方向為較水平方向更接近於垂直方向之狀態，但是若使用者之臉部之上下方向為較垂直方向更接近於水平方向之狀態，則應用處理器20將顯示器17之顯示方向設為與使用者之臉部之上下方向相同之橫方向。另一方面，儘管電子機器3之長度方向為較垂直方向更接近於水平方向之狀態，但是若使用者之臉部之上下方向為較水平方向更接近於垂直方向之狀態，則應用處理器20將顯示器17之顯示方向設為與使用者之臉部之上下方向相同之縱方向。
3.2動作例 圖8係顯示本實施形態之電子機器之概略動作例之流程圖。如圖8所示般，在本動作中，首先，在應用處理器20依照使用者所輸入之操作，而啟動特定之應用軟體時(步驟S301之是)，CPU 31基於由IMU 32檢測到之資訊，檢測電子機器3之姿勢之變化(變位)(步驟S302)。在未檢測到變位之情形下(步驟S302之否)，本動作前進至步驟S309。另一方面，在檢測到變位之情形下(步驟S302之是)，圖像感測器10啟動(步驟S303)。
所啟動之圖像感測器10依照在第1實施形態中利用圖2所說明之運算處理，針對使用電子機器3之使用者，依次執行臉部檢測(步驟S304)、與臉部方向檢測(步驟S305)之運算處理，基於藉此辨識到之臉部方向，將與使用者之臉部相對於攝像部11或顯示器17之上下方向相關之後設資料朝應用處理器20輸出(步驟S306)。相對於此，應用處理器20(功能執行部之一形態)將顯示器17之顯示方向鎖定為與使用者之臉部之上下方向一致之方向(步驟S307)。然後，圖像感測器10停止(步驟S308)。
其後，應用處理器20判定是否結束應用軟體(步驟S309)，在結束之情形下(步驟S309之是)，本動作結束。另一方面，在應用軟體未結束之情形下(步驟S309之否)，本動作返回步驟S302，而執行以後之動作。
3.3作用/效果 如以上所述般，根據本實施形態，在執行特定之應用軟體時，可基於處理時間及電力消耗降低之運算處理之結果，將顯示器17之顯示方向根據使用者之臉部之上下方向進行控制。由於其他之構成、動作及效果與上述實施形態同樣即可，故於此處省略詳細之說明。
再者，由IMU 32獲得之檢測結果例如亦可活用於自動快門功能。作為具體例，例如，可構成為在藉由IMU 32及CPU 31檢測到電子機器靜止之情形下，自動地執行快門動作。
又，作為電子機器，例如，在應用如ToF(Time Of Flight，飛行時間)感測器之在攝像時亦伴隨著光源之動作之電子機器之情形下，由於可基於由IMU 32獲得之檢測結果，與利用圖像感測器10執行攝像之時機配合而驅動光源，故減少光源之驅動時間而能夠進一步實現省電化。
4.第4實施形態 其次，對於第4實施形態，參照圖式詳細地進行說明。在本實施形態中，例示在智慧型手機等搭載出於保全等之理由而鎖定顯示於顯示器17之畫面之功能之電子機器中，在藉由臉部認證而解除畫面鎖定時，利用運算結果之情形。
4.1電子機器之概略構成例 圖9係顯示第4實施形態之電子機器之概略構成例之方塊圖。如圖9所示般，電子機器4除了與在第3實施形態中利用圖7所說明之電子機器3同樣之構成以外，更具備非揮發性記憶體43。
非揮發性記憶體43例如由快閃記憶體等構成，非揮發地記憶用於臉部認證或虹膜認證等之認證資訊。再者，在圖9中，例示非揮發性記憶體43設置於圖像感測器10之晶片外之情形，但並不限定於此，亦可於圖像感測器10之晶片內設置非揮發性記憶體43。
4.2動作例 圖10係顯示本實施形態之電子機器之概略動作例之流程圖。如圖10所示般，在本動作中，首先，藉由應用處理器20判定電子機器4是否處於畫面鎖定之狀態(步驟S401)。再者，電子機器4之畫面鎖定例如由應用處理器20執行。在電子機器4處於畫面鎖定之狀態之情形下(步驟S401之是)，CPU 31基於由IMU 32檢測到之資訊，檢測電子機器1之姿勢之變化(變位)(步驟S402)。然後，在檢測到電子機器4之變位時(步驟S402之是)，圖像感測器10啟動(步驟S403)。
所啟動之圖像感測器10依照在第1實施形態中利用圖2所說明之運算處理，針對使用電子機器3之使用者，依次執行臉部檢測(步驟S404)、視線檢測(步驟S405)、臉部認證(步驟S406)之運算處理。再者，在步驟S406之臉部認證中，例如，基於根據自圖像感測器10就每特定列數輸入之圖像資料而特定之臉部之資訊、與預先儲存於非揮發性記憶體43之所有者之臉部之生物體資訊，判定當前正在操作電子機器3之使用者是否為該電子機器4之所有者。
當在步驟S406之臉部認證失敗之情形下，例如，在判定為當前正在操作電子機器3之使用者不是該電子機器4之所有者之情形下(步驟S407之否)，維持電子機器4之畫面鎖定不變，而本動作返回步驟S402。
另一方面，當在步驟S406之臉部認證成功之情形下，例如，在判定為當前正在操作電子機器3之使用者係該電子機器4之所有者之情形下(步驟S407之是)，將臉部認證成功之主旨自圖像感測器10通知給應用處理器20(步驟S408)。
被通知到臉部認證成功之主旨之應用處理器20(功能執行部之一形態)，解除畫面鎖定(步驟S409)。其後，圖像感測器10停止(步驟S410)，本動作結束。
4.3作用/效果 如以上所述般，根據本實施形態，在由IMU 32檢測到電子機器4之變位時，基於處理時間及電力消耗降低之運算處理之結果，而解除畫面鎖定。又，由於在畫面鎖定中無需常時預先啟動圖像感測器10，而可進一步降低待機中之電力消耗。
再者，在圖10所示之動作中，可執行虹膜認證取代步驟S406中之臉部認證。該情形下，於非揮發性記憶體43，預先儲存有與所有者之虹膜相關之生物體資訊。由於其他之構成、動作及效果與上述實施形態同樣即可，故於此處省略詳細之說明。
5.第5實施形態 其次，對於第5實施形態，參照圖式詳細地進行說明。在本實施形態中，例如，對於將第1實施形態之電子機器1應用於防止犯罪系統之情形，舉例進行說明。
5.1電子機器之概略構成例 圖11係顯示第5實施形態之電子機器之概略構成例之方塊圖。如圖11所示般，電子機器5除了與在第1實施形態中利用圖1所說明之電子機器1同樣之構成以外，更具備非揮發性記憶體43。
非揮發性記憶體43例如可為在第4實施形態中所例示之非揮發性記憶體43。其中，於非揮發性記憶體43，例如儲存有用於對家人或公司職員等預先登錄之人物執行生物體認證之生物體資訊。再者，在圖11中，例示非揮發性記憶體43設置於圖像感測器10之晶片外之情形，但並不限定於此，亦可於圖像感測器10之晶片內設置非揮發性記憶體43。
5.2動作例 圖12係顯示本實施形態之電子機器之概略動作例之流程圖。如圖12所示般，在本動作中，例如，當電子機器1藉由使用者之電源投入而啟動時，首先，圖像感測器10啟動(步驟S501)。
所啟動之圖像感測器10依照在第1實施形態中利用圖2所說明之運算處理，依次執行移動(移動物體)檢測(步驟S502)、人體檢測(步驟S503)、臉部檢測(步驟S504)、臉部認證(步驟S505)之運算處理。
當在步驟S505之臉部認證失敗之情形下，例如，在判定為映入由圖像感測器10取得之圖像資料之人物不是登錄於非揮發性記憶體43之登錄者之情形下(步驟S506之否)，攝像圖像自圖像感測器10朝應用處理器20被輸出(步驟S507)。相對於此，應用處理器20(功能執行部之一形態)將自圖像感測器10輸出之攝像圖像、與該攝像圖像之攝像時刻例如保存於非揮發性記憶體43(步驟S508)。再者，應用處理器20亦可取代朝非揮發性記憶體43之保存、或與朝非揮發性記憶體43之保存一起將攝像圖像與攝像時刻經由網路40朝外部之雲端伺服器30發送。
其後，例如，藉由應用處理器20判定是否結束本動作(步驟S509)，在結束之情形下(步驟S509之是)，在停止圖像感測器10後(步驟S510)，本動作結束。另一方面，在不結束之情形下(步驟S509之否)，本動作返回步驟S502。
5.3作用/效果 如以上所述般，根據本實施形態，可基於處理時間及電力消耗降低之運算處理之結果，而判定所拍攝之人物是否為可疑人物。再者，由於其他之構成、動作及效果與上述實施形態同樣即可，故於此處省略詳細之說明。
6.第6實施形態 其次，對於第6實施形態，參照圖式詳細地進行說明。在本實施形態中，例如，對於將第1實施形態之電子機器1例如應用於監護家庭內等之特定之區域內之寵物之監視照相機之情形，距離進行說明。
6.1電子機器之概略構成例 圖13係顯示第6實施形態之電子機器之概略構成例之方塊圖。如圖13所示般，電子機器6除了與第1實施形態中利用圖1所說明之電子機器1同樣之構成以外，亦搭載有為了追隨到處移動之寵物而變更其視野角之控制機構21。
6.2動作例 圖14係顯示本實施形態之電子機器之概略動作例之流程圖。如圖14所示般，在本動作中，例如，在電子機器6藉由使用者之電源投入而啟動時，首先，圖像感測器10啟動(步驟S601)。
所啟動之圖像感測器10依照在第1實施形態中利用圖2所說明之運算處理，依次執行移動(移動物體)檢測(步驟S602)、與寵物檢測(步驟S603)之運算處理，以由此所檢測到之寵物位於視野角之例如大致中心之方式驅動控制機構21(功能執行部之一形態)，藉此控制電子機器1之側滾角、縱傾角及/或側傾角(步驟S604)。
其後，例如，藉由應用處理器20判定是否結束本動作(步驟S605)，在結束之情形下(步驟S605之是)，在停止圖像感測器10後(步驟S606)，本動作結束。另一方面，在不結束之情形下(步驟S605之否)，本動作返回步驟S602。
6.3作用/效果 如以上所述般，根據本實施形態，基於處理時間及電力消耗降低之運算處理之結果，可監護家庭內等之特定之區域內之寵物。再者，由於其他之構成、動作及效果與上述實施形態同樣即可，故於此處省略詳細之說明。
7.第7實施形態 其次，對於第7實施形態，參照圖式詳細地進行說明。在本實施形態中，例如，對於將第1實施形態之電子機器1例如應用於監護家庭內等之特定之區域內之孩子、老人、或需要照料者等之人(以下稱為對象者)之監視照相機之情形，舉例進行說明。
本實施形態之電子機器之概略構成例可與在第1實施形態中利用圖1所說明之電子機器1或在第6實施形態中利用圖13所說明之電子機器6相同。
7.1動作例 圖15係顯示本實施形態之電子機器之概略動作例之流程圖。如圖15所示般，在本動作中，例如，在電子機器1藉由使用者之電源投入而啟動時，首先，圖像感測器10啟動(步驟S701)。
所啟動之圖像感測器10依照在第1實施形態中利用圖2所說明之運算處理，依次執行人體檢測(步驟S702)、與狀態檢測(步驟S703)之運算處理。
當在步驟S703之狀態檢測中未檢測到對象者之狀態異常之情形下(步驟S704之否)，本動作進入步驟S707。另一方面，在檢測到狀態異常之情形下(步驟S704之是)，自圖像感測器10朝應用處理器20輸出表示狀態異常之後設資料(步驟S705)。再者，所謂狀態異常，例如可為人作出呼叫救助之動作，長時間持續哭泣，以不自然之姿勢於一定時間以上不移動，或在原本不該躺倒之場所(例如，廚房等)躺倒等與通常相異之狀態。
如此般被通知有狀態異常之應用處理器20(功能執行部之一形態)，例如，朝已預先登錄之聯絡對象通知檢測到狀態異常之主旨(步驟S706)，進入步驟S707。再者，所謂已預先登錄之聯絡對象，既可為對象者之親屬、或簽訂契約之服務公司等之電子郵件地址或電話號碼等，亦可為經由網路40連接之雲端伺服器30。
其後，在步驟S707中，例如，藉由應用處理器20判斷是否結束本動作，在結束之情形下(步驟S707之是)，在停止圖像感測器10後(步驟S708)，本動作結束。另一方面，在不結束之情形下(步驟S707之否)，本動作返回步驟S702。
7.2作用/效果 如以上所述般，根據本實施形態，基於處理時間及電力消耗降低之運算處理之結果，可監護家庭內等之特定之區域內之孩子、老人或需要照料者等之對象者。再者，由於其他之構成、動作及效果與上述實施形態同樣即可，故於此處省略詳細之說明。
8.第8實施形態 其次，對於第8實施形態，參照圖式詳細地進行說明。在本實施形態中，例如，對於將第1實施形態之電子機器1組入例如搭載於汽車等之交通工具之自動駕駛系統、自主機器人、或無人機等之自主移動體等之自主系統之情形，舉例進行說明。
本實施形態之電子機器之概略構成例與在第1實施形態中利用圖1所說明之電子機器1相同。其中，在本實施形態中，網路40例如係車內網路，雲端伺服器30係構成自動駕駛系統之資訊處理裝置。
8.1動作例 圖16係顯示本實施形態之電子機器之概略動作例之流程圖。如圖16所示般，在本動作中，例如，與駕駛者之汽車之引擎始動連動，而圖像感測器10啟動(步驟S801)。
所啟動之圖像感測器10依照在第1實施形態中利用圖2所說明之運算處理，依次執行位於一定距離內之物體之檢測(步驟S802)、與所檢測到之物體是否為迴避對象物之辨識(步驟S803)之運算處理。
在步驟S803之辨識中辨識為物體不是迴避對象物之情形下(步驟S804之否)，本動作返回步驟S802。另一方面，在辨識為迴避對象物之情形下(步驟S804之是)，自圖像感測器10朝應用處理器20輸出圖像資料、及表示映入該圖像資料之物體為迴避對象物之後設資料(步驟S805)。
被輸入圖像資料與後設資料之應用處理器20，例如，藉由解析被輸入之圖像資料，而再次辨識被通知為迴避對象物之物體實際上是否為迴避對象物(步驟S806)。在辨識為被通知為迴避對象物之物體不是迴避對象物之情形下(步驟S807之否)，本動作就此朝步驟S809前進。另一方面，在再次辨識為迴避對象物之情形下(步驟S807之是)，應用處理器20(功能執行部之一形態)朝構成自動駕駛系統之資訊處理裝置指示對於迴避對象物加以迴避之迴避動作(步驟S808)，朝步驟S809前進。
在步驟S809中，例如，藉由應用處理器20判斷是否結束本動作，在結束之情形下(步驟S809之是)，在停止圖像感測器10後(步驟S810)，本動作結束。另一方面，在不結束之情形下(步驟S809之否)，本動作返回步驟S802。
8.2作用/效果 如以上所述般，根據本實施形態，由於可基於處理時間及電力消耗降低之運算處理之結果辨識迴避對象物，故可實現自動駕駛系統中之迅速之迴避對象物之辨識與電力消耗之降低。再者，由於其他之構成、動作及效果與上述實施形態同樣即可，故於此處省略詳細之說明。
再者，在上述第1～第8實施形態中，例示了使DSP 14作為處理部進行動作之情形，但並不限定於此。亦即，若為可獲得同樣之檢測、辨識或認證之結果之處理，則並不限定於基於學習模型之處理，可使DSP 14執行各種處理。
9.針對移動體之應用例 本揭示之技術(本發明)可應用於各種產品。例如，本發明揭示之技術可實現為搭載於汽車、電動汽車、混合動力汽車、自動二輪車、自行車、個人移動性裝置、飛機、無人機、船舶、機器人等之任一種類之移動體之裝置。
圖17係顯示作為可應用本揭示之技術之移動體控制系統之一例之車輛控制系統之概略構成例之方塊圖。
車輛控制系統12000具備經由通訊網路12001連接之複數個電子控制單元。在圖17所示之例中，車輛控制系統12000具備：驅動系統控制單元12010、車體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040、及綜合控制單元12050。又，作為綜合控制單元12050之功能構成，圖示有微電腦12051、聲音圖像輸出部12052、及車載網路I/F(Interface，介面)12053。
驅動系統控制單元12010依照各種程式控制與車輛之驅動系統相關聯之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等之用於產生車輛之驅動力之驅動力產生裝置、用於將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛之舵角之轉向機構、及產生車輛之制動力之制動裝置等的控制裝置發揮功能。
車體系統控制單元12020依照各種程式控制裝備於車體之各種裝置之動作。例如，車體系統控制單元12020作為無鑰匙進入系統、智慧型鑰匙系統、動力車窗裝置、或前照燈、尾燈、煞車燈、方向指示燈或霧燈等各種燈之控制裝置發揮功能。該情形下，對於車體系統控制單元12020，可輸入有自代替鑰匙之可攜式裝置發出之電波或各種開關之信號。車體系統控制單元12020受理該等之電波或信號之輸入，而控制車輛之車門鎖閉裝置、動力車窗裝置、燈等。
車外資訊檢測單元12030檢測搭載車輛控制系統12000之車輛之外部之資訊。例如，於車外資訊檢測單元12030連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，且接收所拍攝之圖像。車外資訊檢測單元12030可基於所接收之圖像，進行人、車、障礙物、標識或路面上之文字等之物體檢測處理或距離檢測處理。
攝像部12031係接受光且輸出與該光之受光量相應之電信號之光感測器。攝像部12031既可將電信號作為圖像輸出，亦可作為測距之資訊輸出。又，攝像部12031所接受之光既可為可視光，亦可為紅外線等非可視光。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040連接有例如檢測駕駛者之狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之照相機，車內資訊檢測單元12040基於自駕駛者狀態檢測部12041輸入之檢測資訊，既可算出駕駛者之疲勞度或集中度，亦可判別駕駛者是否打瞌睡。
微電腦12051可基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車內外之資訊，運算驅動力產生裝置、轉向機構或制動裝置之控制目標值，且對驅動系統控制單元12010輸出控制指令。例如，微電腦12051可進行以實現包含車輛之碰撞避免或衝擊緩和、基於車距之追隨行駛、車速維持行駛、車輛之碰撞警告、或車輛之車道脫離警告等的ADAS(Advanced Driver Assistance Systems，先進駕駛輔助系統)之功能為目的之協調控制。
又，微電腦12051藉由基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車輛之周圍之資訊控制驅動力產生裝置、轉向機構或制動裝置等，而可進行以在不依賴於駕駛者之操作下自主地行駛之自動駕駛等為目的之協調控制。
又，微電腦12051可基於由車外資訊檢測單元12030取得之車外之資訊，對車體系統控制單元12020輸出控制指令。例如，微電腦12051與由車外資訊檢測單元12030檢測到之前方車或對向車之位置相應而控制前照燈，而可進行將遠光切換為近光等之以謀求防眩為目的之協調控制。
聲音圖像輸出部12052朝可針對車輛之乘客或車外視覺性或聽覺性通知資訊之輸出裝置發送聲音及圖像中之至少一者之輸出信號。在圖17之例中，作為輸出裝置例示有音訊揚聲器12061、顯示部12062及儀錶板12063。顯示部12062例如可包含機載顯示器及抬頭顯示器之至少一者。
圖18係顯示攝像部12031之設置位置之例之圖。
在圖18中，作為攝像部12031具有攝像部12101、12102、12103、12104、12105。
攝像部12101、12102、12103、12104、12105例如設置於車輛12100之前端突出部、側視鏡、後保險槓、後背門及車廂內之擋風玻璃之上部等之位置。前端突出部所具備之攝像部12101及車廂內之擋風玻璃之上部所具備之攝像部12105主要取得車輛12100之前方之圖像。側視鏡所具備之攝像部12102、12103主要取得車輛12100之側方之圖像。後保險槓或後背門所具備之攝像部12104主要取得車輛12100之後方之圖像。車廂內之擋風玻璃之上部所具有之攝像部12105主要用於前方車輛或行人、障礙物、信號燈、交通標誌或車道等之檢測。
又，在圖18中，顯示攝像部12101至12104之攝影範圍之一例。攝像範圍12111表示設置於前端突出部之攝像部12101之攝像範圍，攝像範圍12112、12113表示分別設置於側視鏡之攝像部12102、12103之攝像範圍，攝像範圍12114表示設置於後保險槓或後背門之攝像部12104之攝像範圍。例如，藉由重合由攝像部12101至12104拍攝到之圖像資料，而可獲得自上方觀察車輛12100之俯瞰圖像。
攝像部12101至12104之至少1個可具有取得距離資訊之功能。例如，攝像部12101至12104之至少1個既可為含有複數個攝像元件之立體照相機，亦可為具有相位差檢測用之像素之攝像元件。
例如，微電腦12051藉由基於自攝像部12101至12104取得之距離資訊，求得距攝像範圍12111至12114內之各立體物之距離、及該距離之時間性變化(相對於車輛12100之相對速度)，而可在尤其是位於車輛12100之前進路上之最近之立體物中，將朝與車輛12100大致相同之方向以特定之速度(例如，0 km/h以上)行進之立體物作為前方車提取。進而，微電腦12051設定在前方車之近前應預先確保之車距，而可進行自動制動控制(亦包含追隨停止控制)或自動加速控制(亦包含追隨起步控制)等。如此般可進行以在不依賴於駕駛者之操作下自主地行駛之自動駕駛等為目的之協調控制。
例如，微電腦12051可基於自攝像部12101至12104取得之距離資訊，將與立體物相關之立體物資料分類為2輪車、普通車輛、大型車輛、行人、電線桿等其他立體物並提取，而用於障礙物之自動迴避。例如，微電腦12051將車輛12100之周邊之障礙物識別為車輛12100之駕駛員能夠視認之障礙物及難以視認之障礙物。然後，微電腦12051判斷表示與各障礙物之碰撞之危險度之碰撞風險，在碰撞風險為設定值以上而有碰撞可能性之狀況時，藉由經由音訊揚聲器12061或顯示部12062對駕駛員輸出警報，或經由驅動系統控制單元12010進行強制減速或迴避操舵，而可進行用於避免碰撞之駕駛支援。
攝像部12101至12104之至少1個可為檢測紅外線之紅外線照相機。例如，微電腦12051可藉由判定在攝像部12101至12104之攝像圖像中是否有行人而辨識行人。如此之行人之辨識藉由例如提取作為紅外線照相機之攝像部12101至12104之攝像圖像之特徵點之程序、針對表示物體之輪廓之一系列特徵點進行圖案匹配處理而判別是否為行人之程序而進行。當微電腦12051判定在攝像部12101至12104之攝像圖像中有行人，且辨識為行人時，聲音圖像輸出部12052以針對該被辨識出之行人重疊顯示用於強調之方形輪廓線之方式控制顯示部12062。又，聲音圖像輸出部12052亦可以將表示行人之圖標等顯示於所期望之位置之方式控制顯示部12062。
以上，對於可應用本揭示之技術之車輛控制系統之一例進行了說明。本揭示之技術可應用於以上所說明之構成中之攝像部12031等。藉由將本揭示之技術應用於攝像部12031等，而可削減經由通訊網路12001發送/接收之資料量，且可削減在車外資訊檢測單元12030或綜合控制單元12050等中應該處理之資料量。藉此，由於可更迅速地取得辨識處理或檢測處理等之結果，故可更確切且迅速地進行車輛1200之控制或對駕駛者之資訊提供等。
10.針對內視鏡手術系統之應用例 本揭示之技術(本技術)可應用於各種產品。例如，本揭示之技術可應用於內視鏡手術系統。
圖19係顯示可應用本揭示之技術(本技術)之內視鏡手術系統之概略性構成之一例之圖。
在圖19中，圖示手術者(醫生)11131使用內視鏡手術系統11000對病床11133上之患者11132進行手術之樣態。如圖示般，內視鏡手術系統11000包含內視鏡11100、氣腹管11111、能量處置具11112等其他手術器具11110、支持內視鏡11100之支持臂裝置11120、及搭載有用於內視鏡下手術之各種裝置之推車11200。
內視鏡11100包含：鏡筒11101，其自前端起特定長度之區域***患者11132之體腔內；及照相機頭11102，其連接於鏡筒11101之基端。在圖示之例中，圖示構成為具有硬性鏡筒11101之所謂硬性鏡之內視鏡11100，但內視鏡11100亦可構成為具有軟性鏡筒之所謂軟性鏡。
於鏡筒11101之前端，設置有嵌入物鏡之開口部。於內視鏡11100連接有光源裝置11203，由該光源裝置11203產生之光藉由被延設至鏡筒11101之內部之光導件導光至該鏡筒之前端，經由物鏡朝向患者11132之體腔內之觀察對象進行照射。再者，內視鏡11100可為直視鏡，亦可為斜視鏡或側視鏡。
於照相機頭11102之內部設置有光學系統及攝像元件，來自觀察對象之反射光(觀察光)藉由該光學系統而朝該攝像元件集光。觀察光藉由該攝像元件予以光電變換，產生與觀察光對應之電信號，亦即產生與觀察圖像對應之圖像信號。將該圖像信號作為RAW資料發送至照相機控制單元(Camera Control Unit：CCU)11201。
CCU 11201由CPU(Central Processing Unit，中央處理單元)或GPU(Graphics Processing Unit，圖形處理單元)等構成，統括地控制內視鏡11100及顯示裝置11202之動作。再者，CCU 11201自照相機頭11102接收圖像信號，且對該圖像信號施以例如顯影處理(解馬賽克處理)等之用於顯示基於該圖像信號之圖像的各種圖像處理。
顯示裝置11202根據來自CCU 11201之控制，顯示基於由該CCU 11201施行圖像處理後之圖像信號之圖像。
光源裝置11203，例如由LED(light emitting diode，發光二極體)等之光源構成，對內視鏡11100供給拍攝手術部位等時之照射光。
輸入裝置11204係針對內視鏡手術系統11000之輸入介面。使用者可經由輸入裝置11204對於內視鏡手術系統11000進行各種資訊之輸入或指示輸入。例如，使用者輸入變更內視鏡11100之攝像條件(照射光之種類、倍率及焦距等)之主旨之指示等。
處置具控制裝置11205控制用於組織之灼燒、切開或封閉血管等之能量處置具11112之驅動。氣腹裝置11206基於確保內視鏡11100之視野及確保手術者之作業空間之確保之目的，為了使患者11132之體腔膨起，而經由氣腹管11111將氣體送入該體腔內。記錄器11207係可記錄與手術相關之各種資訊之裝置。印表機11208係可將與手術相關之各種資訊以文字、圖像或圖表等各種形式列印之裝置。
再者，對內視鏡11100供給在拍攝手術部位時之照射光之光源裝置11203可包含白色光源，該白色光源由例如LED、雷射光源或該等之組合構成。在藉由RGB雷射光源之組合構成白色光源之情形下，由於可高精度地控制各色(各波長)之輸出強度及輸出時機，故在光源裝置11203中可進行拍攝圖像之白平衡之調整。又，該情形下，將來自RGB雷射光源各者之雷射光按照時間分割朝觀察對象照射，藉由與該照射時機同步地控制照相機頭11102之攝像元件之驅動，而可將與RGB各者對應之圖像按照時間分割進行拍攝。根據該方法，即便於該攝像元件不設置彩色濾光器，仍可獲得彩色圖像。
又，光源裝置11203亦可以將所輸出之光之強度就每特定之時間進行變更之方式控制其驅動。藉由與該光之強度之變更之時機同步地控制照相機頭11102之攝像元件之驅動而按照時間分割取得圖像，且合成該圖像，而可產生所謂之無黑斑及跳白之高動態範圍之圖像。
又，光源裝置11203可構成為可供給對應特殊光觀察之特定之波長頻帶之光。在特殊光觀察中，例如，藉由利用身體組織之光之吸收之波長依存性，照射與通常之觀察時之照射光(亦即，白色光)相比更窄頻帶之光，而進行在高對比度下拍攝黏膜表層之血管等之特定之組織之所謂窄頻帶光觀察(Narrow Band Imaging)。或者是，在特殊光觀察中，亦可進行利用藉由照射激發光而產生之螢光獲得圖像之螢光觀察。在螢光觀察中，可進行對身體組織照射激發光而觀察來自該身體組織之螢光(自身螢光觀察)、或將靛氰綠(Indocyanine Green，ICG)等之試劑局部注入身體組織，且對該身體組織照射與該試劑之螢光波長對應之激發光而獲得螢光圖像等。光源裝置11203可構成為能夠供給與如此之特殊光觀察對應之窄頻帶光及/或激發光。
圖20係顯示圖19所示之照相機頭11102及CCU 11201之功能構成之一例之方塊圖。
照相機頭11102具有：透鏡單元11401、攝像部11402、驅動部11403、通訊部11404、及照相機頭控制部11405。CCU 11201具有：通訊部11411、圖像處理部11412、及控制部11413。照相機頭11102與CCU 11201藉由傳送纜線11400可相互通訊地連接。
透鏡單元11401係設置於與鏡筒11101之連接部之光學系統。自鏡筒11101之前端擷取入之觀察光被到導光至照相機頭11102，而朝該透鏡單元11401入射。透鏡單元11401係組合有包含變焦透鏡及對焦透鏡之複數個透鏡而構成。
構成攝像部11402之攝像元件既可為1個(所謂之單板式)，也可為複數個(所謂之多板式)。在攝像部11402由多板式構成時，例如由各攝像元件產生與RGB各者對應之圖像信號，藉由將其等合成而可獲得彩色圖像。或者是，攝像部11402可構成為具有用於分別取得與3D(dimensional，維度)顯示對應之右眼用及左眼用之圖像信號的一對攝像元件。藉由進行3D顯示，而手術者11131可更正確地掌握手術部位之生物體組織之深度。此外，在攝像部11402由多板式構成時，與各攝像元件對應地，透鏡單元11401也可設置複數個系統。
又，攝像部11402可不一定設置於照相機頭11102。例如，攝像部11402可在鏡筒11101之內部設置於物鏡之正後方。
驅動部11403係由致動器構成，藉由來自照相機頭控制部11405之控制，而使透鏡單元11401之變焦透鏡及對焦透鏡沿光軸移動特定之距離。藉此，可適宜地調整由攝像部11402拍攝之攝像圖像之倍率及焦點。
通訊部11404係由用於在與CCU 11201之間發送接收各種資訊之通訊裝置構成。通訊部11404將自攝像部11402獲得之圖像信號作為RAW資料經由傳送纜線11400朝CCU 11201發送。
又，通訊部11404自CCU 11201接收用於控制照相機頭11102之驅動之控制信號，並供給至照相機頭控制部11405。在該控制信號中，例如包含指定攝像圖像之圖框率之意旨之資訊、指定攝像時之曝光值之意旨之資訊、以及/或指定攝像圖像之倍率及焦點之意旨之資訊等關於攝像條件之資訊。
此外，上述之圖框率或曝光值、倍率、焦點等攝像條件既可由使用者適當指定，也可基於所取得之圖像信號由CCU 11201之控制部11413自動地設定。在為後者之情形下，所謂之AE(Auto Exposure，自動曝光)功能、AF(Auto Focus，自動對焦)功能、及AWB(Auto White Balance，自動白平衡)功能搭載於內視鏡11100。
照相機頭控制部11405基於經由通訊部11404接收之來自CCU 11201之控制信號控制照相機頭11102之驅動。
通訊部11411係由用於在與照相機頭11102之間發送/接收各種信息之通訊裝置構成。通訊部11411接收自照相機頭11102經由傳送纜線11400發送之圖像信號。
又，通訊部11411對照相機頭11102發送用於控制照相機頭11102之驅動之控制信號。圖像信號或控制信號可藉由電氣通訊或光通訊等發送。
圖像處理部11412對自照相機頭11102發送之作為RAW數據之圖像信號實施各種圖像處理。
控制部11413進行與由內視鏡11100進行之手術部位等之攝像、及由手術部位等之攝像獲得之攝像圖像之顯示相關之各種控制。例如，控制部11413產生用於控制照相機頭11102之驅動之控制信號。
又，控制部11413基於由圖像處理部11412實施圖像處理之圖像信號使拍攝到手術部位等之攝像圖像顯示於顯示裝置11202。此時，控制部11413可利用各種圖像辨識技術辨識攝像圖像內之各種物體。例如，控制部11413藉由檢測攝像圖像中所含之物體之邊緣之形狀或顏色等，而可辨識鑷子等手術器具、特定之生物體部位、出血、能量處置具11112之使用時之霧氣等。控制部11413可在使顯示裝置11202顯示攝像圖像時，利用該辨識結果使各種手術支援資訊重疊顯示於該手術部位之圖像。藉由重疊顯示手術支援資訊，並提示給手術者11131，而可減輕手術者11131之負擔，從而手術者11131可準確地進行手術。
連接照相機頭11102及CCU 11201之傳送纜線11400可為對應電信號之通訊之電信號纜線、對應光通訊之光纖、或其等之複合纜線。
此處，在圖示之例中，係利用傳送纜線11400利用有線進行通訊，但照相機頭11102與CCU 11201之間之通訊亦可利用無線進行。
以上，對於可應用本揭示之技術之內視鏡手術系統之一例進行了說明。本揭示之技術可應用於以上所說明之構成之中，例如照相機頭11102之攝像部11402等。藉由將本揭示之技術應用於攝像部11402，而可削減在CCU 11201等中應該處理之資料量。藉此，由於可更迅速地取得圖像處理結果，而可更確切且迅速地進行圖框、曝光值、倍率、或焦點等之攝像條件之設定或更新以及對使用者之資訊提供等。
再者，此處，作為一例而說明了內視鏡手術系統，但本揭示之技術亦可應用於其他例如顕微鏡手術系統等。
以上，對於本揭示之實施形態進行了說明，但本揭示之技術範圍並不限定於上述各實施形態其本身，在不脫離本揭示之要旨之範圍內，可進行各種變更。又，可適當組合不同之實施形態及變化例之構成要素。
又，本說明書記載之各實施形態之效果終極而言僅為例示而非限定者，亦可具有其他效果。
進而，上述各實施形態既可各自單獨使用，亦可與其他實施形態組合使用。
此外，本技術亦可採用如以下之構成。 (1) 一種電子機器，其具備：攝像部，其產生圖像資料； 處理部，其對基於自前述攝像部讀出之圖像資料的資料，執行基於神經網路計算模型之處理； 功能執行部，其基於前述處理之結果，執行特定功能；及 檢測部，其檢測變位；且 前述處理部當前述檢測部檢測到變位之情形下，執行前述處理。 (2) 如前述(1)之電子機器，其中前述功能執行部具備設定/解除前述電子機器之畫面鎖定之功能，且 前述處理部當在已設定前述電子機器之畫面鎖定之狀態下由前述檢測部檢測到前述電子機器變位之情形下，對基於自前述攝像部讀出之圖像資料的資料執行使用前述神經網路計算模型之臉部認證， 前述功能執行部當前述處理部之臉部認證成功之情形下，解除前述電子機器之畫面鎖定。 (3) 如前述(1)或(2)之電子機器，其中前述功能執行部具備使前述電子機器之畫面之顯示方向旋轉之功能，且 當前述檢測部檢測到前述電子機器變位之情形下，對基於自前述攝像部讀出之圖像資料的資料，執行使用前述神經網路計算模型之臉部方向檢測， 前述功能執行部相應於由前述處理部檢測到之臉部之上下方向，控制前述電子機器之畫面之顯示方向。 (4) 如前述(1)至(3)中任一項之電子機器，其中前述處理部對基於同一圖框之前述圖像資料的資料中最初輸入之單位區域之資料，執行使用CNN(Convolution Neural Network，捲積神經網路)之處理。 (5) 如前述(4)之電子機器，其中前述處理部當對前述最初輸入之單位區域之資料執行利用前述CNN之處理失敗之情形下，對基於前述同一圖框之圖像資料的資料中之其次輸入之單位區域之資料，執行利用RNN(Recurrent Neural Network，遞歸神經網路)之處理。 (6) 如前述(4)或(5)之電子機器，其更具備控制部，該控制部自前述攝像部以列單位讀出圖像資料， 前述單位區域之資料係基於前述圖像資料的資料中之前述列單位之資料， 於前述處理部，以前述列單位輸入有前述資料。 (7) 如前述(4)或(5)之電子機器，其中前述單位區域之資料係基於前述圖像資料的資料中之特定列數份之資料。 (8) 如前述(4)或(5)之電子機器，其中前述單位區域之資料係基於前述圖像資料的資料中之矩形區域之資料。 (9) 如前述(1)至(8)中任一項之電子機器，其更具備記憶體，該記憶體記錄前述神經網路計算模型之程式，且 前述處理部藉由自前述記憶體讀出前述程式並執行，而執行前述處理。 (10) 如前述(1)至(9)中任一項之電子機器，其中前述處理係臉部檢測、臉部認證、視線檢測、表情辨識、臉部方向檢測、物體檢測、物體辨識、移動檢測、寵物檢測、場景辨識、狀態檢測、及迴避對象物辨識中之至少一者。 (11) 如前述(10)之電子機器，其中前述臉部檢測係檢測圖像資料所含之人物之臉部之處理， 前述臉部認證係認證圖像資料所含之人物之臉部與預先登錄之人物之臉部是否一致之處理， 前述視線檢測係檢測圖像資料所含之人物之視線之方向之處理， 前述表情辨識係辨識圖像資料所含之人物之表情之處理， 前述臉部方向檢測係檢測圖像資料所含之人物之臉部之上下方向之處理， 前述物體檢測係檢測圖像資料所含之物體之處理， 前述物體辨識係辨識圖像資料所含之物體之處理， 前述移動檢測係檢測圖像資料所含之移動物體之處理， 前述寵物檢測係檢測圖像資料所含之寵物之處理， 前述場景辨識係辨識取得前述圖像資料時之場景之處理， 前述狀態檢測係檢測圖像資料所含之人物或物體之狀態之處理， 前述迴避對象物辨識係辨識圖像資料所含之迴避對象之物體之處理。 (12) 如前述(1)至(11)中任一項之電子機器，其中前述特定功能係自動曝光功能、自動對焦功能、自動快門功能、及自動色修正功能中之至少1者。 (13) 如前述(1)至(11)中任一項之電子機器，其中前述功能執行部具備執行播放與用於輸入使用者之評估之社交按鈕建立對應關係之內容的應用軟體之功能，且 前述處理部在前述應用軟體正在播放內容時，對基於自前述攝像部讀出之圖像資料的資料執行使用前述神經網路計算模型之表情辨識， 前述功能執行部根據由前述處理部辨識到之表情，利用前述社交按鈕輸入對前述內容之評估。 (14) 如前述(2)、(10)或(11)之電子機器，其更具備非揮發性記憶體，該非揮發性記憶體記憶使用於前述臉部認證之生物體資訊， 前述處理部使用自前述非揮發性記憶體讀出之前述生物體資訊而執行前述臉部認證。 (15) 如前述(1)至(14)中任一項之電子機器，其中前述處理部對於基於自前述攝像部讀出之前述圖像資料的資料，執行使用前述神經網路計算模型之臉部認證， 前述功能執行部當前述處理部之臉部認證失敗之情形下，輸出包含前述圖像資料之1圖框份之圖像資料與前述圖像資料之攝像時刻。 (16) 如前述(1)至(15)中任一項之電子機器，其更具備控制機構，該控制機構變更前述攝像部之視野角，且 前述處理部對於基於自前述攝像部讀出之前述圖像資料的資料，執行使用前述神經網路計算模型之寵物檢測， 前述功能執行部基於前述處理部之寵物檢測之結果，控制前述控制機構。 (17) 如前述(1)至(16)中任一項之電子機器，其中前述處理部對基於自前述攝像部讀出之前述圖像資料的資料，執行使用前述神經網路計算模型之狀態認證， 當藉由前述處理部之狀態認證而檢測到對象者之異常狀態之情形下，前述功能執行部向預先登錄之聯絡對象通知前述異常狀態。 (18) 如前述(1)至(17)中任一項之電子機器，其中前述處理部對基於自前述攝像部讀出之前述圖像資料的資料，執行使用前述神經網路計算模型之第1迴避對象物認證， 前述功能執行部當藉由前述處理部之第1迴避對象物認證而辨識到位於行進方向前方之迴避對象物之情形下，對基於自前述攝像部讀出之圖像資料的資料執行第2迴避對象物認證，當藉由前述第2迴避對象物認證而再次辨識到位於前述行進方向前方之前述迴避對象物之情形下，向外部指示前述迴避對象物之迴避動作。 (19) 一種固體攝像裝置，其具備：攝像部，其產生圖像資料； 處理部，其對基於自前述攝像部讀出之圖像資料的資料，執行使用神經網路計算模型之處理；及 輸出部，其輸出前述處理之結果。
1:電子機器 3:電子機器 4:電子機器 5:電子機器 6:電子機器 10:圖像感測器 11:攝像部 12:控制部 13:信號處理部 14:處理部、DSP 15:記憶體 16:選擇器(輸出部) 17:顯示器 20:應用處理器 21:控制機構 30:雲端伺服器 31:CPU 32:檢測部、慣性量測裝置、IMU 40:網路 43:非揮發性記憶體 101:像素陣列部 104:光學系統 11000:內視鏡手術系統 11100:內視鏡 11101:鏡筒 11102:照相機頭 11110:其他術具 11111:氣腹管 11112:能量處置具 11120:支持臂裝置 11131:手術者(醫生) 11132:患者 11133:病床 11200:推車 11201:照相機控制單元(CCU) 11202:顯示裝置 11203:光源裝置 11204:輸入裝置 11205:處置具控制裝置 11206:氣腹裝置 11207:記錄器 11208:印表機 11400:傳送纜線 11401:透鏡單元 11402:攝像部 11403:驅動部 11404:通訊部 11405:照相機頭控制部 11411:通訊部 11412:圖像處理部 11413:控制部 12000:車輛控制系統 12001:通訊網路 12010:驅動系統控制單元 12020:車體系統控制單元 12030:車外資訊檢測單元 12031:攝像部 12040:車內資訊檢測單元 12041:駕駛者狀態檢測部 12050:綜合控制單元 12051:微電腦 12052:聲音圖像輸出部 12053:車載網路I/F 12061:音訊揚聲器 12062:顯示部 12063:儀錶板 12100:車輛 12101:攝像部 12102:攝像部 12103:攝像部 12104:攝像部 12105:攝像部 12111:攝像範圍 12112:攝像範圍 12113:攝像範圍 12114:攝像範圍 S101～S106:步驟 S121～S131:步驟 S201～S212:步驟 S301～S309:步驟 S401～S410:步驟 S501～S510:步驟 S601～S606:步驟 S701～S606:步驟 S801～S810:步驟
圖1係顯示作為第1實施形態之電子機器之攝像裝置之概略構成例之方塊圖。 圖2係顯示在使第1實施形態之DSP作為處理部發揮功能時之圖像感測器之動作例之流程圖。 圖3係顯示1圖框份之圖像資料之一例之圖。 圖4(a)～圖4(f)係用於說明第1實施形態之DSP所執行之運算處理之流程之圖。 圖5係顯示利用第1實施形態之運算處理之結果執行附加之功能時之動作之一例之流程圖。 圖6係顯示第2實施形態之電子機器之概略動作例之流程圖。 圖7係顯示第3實施形態之電子機器之概略構成例之方塊圖。 圖8係顯示第3實施形態之電子機器之概略動作例之流程圖。 圖9係顯示第4實施形態之電子機器之概略構成例之方塊圖。 圖10係顯示第4實施形態之電子機器之概略動作例之流程圖。 圖11係顯示第5實施形態之電子機器之概略構成例之方塊圖。 圖12係顯示第5實施形態之電子機器之概略動作例之流程圖。 圖13係顯示第6實施形態之電子機器之概略構成例之方塊圖。 圖14係顯示第6實施形態之電子機器之概略動作例之流程圖。 圖15係顯示第7實施形態之電子機器之概略動作例之流程圖。 圖16係顯示第8實施形態之電子機器之概略動作例之流程圖。 圖17係顯示車輛控制系統之概略構成之一例之方塊圖。 圖18係顯示車外資訊檢測部及攝像部之設置位置之一例之說明圖。 圖19係顯示內視鏡手術系統之概略性構成之一例之圖。 圖20係顯示照相機頭及CCU之功能構成之一例之方塊圖。
1:電子機器
10:圖像感測器
11:攝像部
12:控制部
13:信號處理部
14:處理部、DSP
15:記憶體
16:選擇器(輸出部)
17:顯示器
20:應用處理器
30:雲端伺服器
40:網路
101:像素陣列部
104:光學系統

Claims (19)

  1. 一種電子機器，其具備：攝像部，其產生圖像資料；處理部，其對基於自前述攝像部讀出之圖像資料的資料，執行基於神經網路計算模型之處理；功能執行部，其基於前述處理之結果，執行特定功能(predetermined function)而改善上述圖像資料；及檢測部，其檢測上述電子機器之變位(displacement)；且前述處理部係：於前述檢測部檢測到任何變位之情形時，執行前述處理。
  2. 如請求項1之電子機器，其中前述功能執行部執行：設定/解除前述電子機器之畫面鎖定，且前述處理部係：於在前述電子機器之畫面鎖定經設定之狀態下由前述檢測部檢測到前述電子機器之任何變位之情形時，對基於自前述攝像部讀出之圖像資料的資料執行使用前述神經網路計算模型之臉部認證，前述功能執行部係：於前述臉部認證成功之情形時，解除前述電子機器之畫面鎖定。
  3. 如請求項1之電子機器，其中前述功能執行部執行：使前述電子機器之畫面之顯示方向旋轉，且前述處理部係：於前述檢測部檢測到前述電子機器之變位之情形 時，對基於自前述攝像部讀出之圖像資料的資料，執行使用前述神經網路計算模型之臉部方向檢測，前述功能執行部相應於由前述處理部檢測到之臉部之上下方向，控制前述電子機器之畫面之顯示方向。
  4. 如請求項1之電子機器，其中前述處理部對基於同一圖框之前述圖像資料的資料中最初輸入之單位區域之資料，執行利用CNN(Convolution Neural Network，捲積神經網路)之處理。
  5. 如請求項4之電子機器，其中前述處理部係：於對前述最初輸入之單位區域之資料執行利用前述CNN之處理失敗之情形時，對基於前述同一圖框之圖像資料的資料中之其次輸入之單位區域之資料，執行利用RNN(Recurrent Neural Network，遞歸神經網路)之處理。
  6. 如請求項4之電子機器，其更具備控制部，該控制部自前述攝像部以列單位(line unit)讀出圖像資料，前述單位區域之資料係基於前述圖像資料的資料中之前述列單位之資料，前述資料係以前述列單位輸入至前述處理部。
  7. 如請求項4之電子機器，其中前述單位區域之資料係基於前述圖像資料的資料中之特定列數份之資料。
  8. 如請求項4之電子機器，其中前述單位區域之資料係基於前述圖像資料的資料中之矩形區域之資料。
  9. 如請求項1之電子機器，其更具備記憶體，該記憶體記錄前述神經網路計算模型之程式，且前述處理部藉由自前述記憶體讀出前述程式並執行，而執行前述處理。
  10. 如請求項1之電子機器，其中前述處理係臉部檢測、臉部認證、視線檢測、表情辨識、臉部方向檢測、物體檢測、物體辨識、移動檢測、寵物檢測、場景辨識、狀態檢測、及迴避對象物辨識中之至少一者。
  11. 如請求項10之電子機器，其中前述臉部檢測係檢測圖像資料所含之人物之臉部之處理，前述臉部認證係認證圖像資料所含之人物之臉部與預先登錄之人物之臉部是否一致之處理，前述視線檢測係檢測圖像資料所含之人物之視線之方向之處理，前述表情辨識係辨識圖像資料所含之人物之表情之處理，前述臉部方向檢測係檢測圖像資料所含之人物之臉部之上下方向之處理，前述物體檢測係檢測圖像資料所含之物體之處理，前述物體辨識係辨識圖像資料所含之物體之處理，前述移動檢測係檢測圖像資料所含之移動物體之處理， 前述寵物檢測係檢測圖像資料所含之寵物之處理，前述場景辨識係辨識取得前述圖像資料時之場景之處理，前述狀態檢測係檢測圖像資料所含之人物或物體之狀態之處理，前述迴避對象物辨識係辨識圖像資料所含之迴避對象之物體之處理。
  12. 如請求項1之電子機器，其中前述特定功能係自動曝光功能、自動對焦功能、自動快門功能、及自動色修正功能中之至少一者。
  13. 如請求項1之電子機器，其中前述功能執行部執行：播放(reproducing)與用於輸入使用者之評估之社交按鈕建立對應關係之內容的應用軟體，且前述處理部係：於前述應用軟體播放內容時，對基於自前述攝像部讀出之圖像資料的資料，使用前述神經網路計算模型而辨識表情，前述功能執行部根據由前述處理部辨識到之表情，利用前述社交按鈕輸入對前述內容之評估。
  14. 如請求項2之電子機器，其更具備非揮發性記憶體，該非揮發性記憶體記憶使用於前述臉部認證之生物體資訊，前述處理部使用自前述非揮發性記憶體讀出之前述生物體資訊而執行前述臉部認證。
  15. 如請求項1之電子機器，其中前述處理部對基於自前述攝像部讀出之 前述圖像資料的資料，執行使用前述神經網路計算模型之臉部認證，前述功能執行部係：於藉由前述處理部之臉部認證失敗之情形時，輸出包含前述圖像資料之1圖框份之圖像資料與前述圖像資料之攝像時刻。
  16. 如請求項1之電子機器，其更具備控制機構，該控制機構變更前述攝像部之視野角，且前述處理部對基於自前述攝像部讀出之前述圖像資料的資料，執行使用前述神經網路計算模型之寵物檢測，前述功能執行部基於前述寵物檢測之結果，控制前述控制機構。
  17. 如請求項1之電子機器，其中前述處理部對基於自前述攝像部讀出之前述圖像資料的資料，執行使用前述神經網路計算模型之狀態認證，於藉由前述處理部之狀態認證而檢測到對象者之異常狀態之情形時，前述功能執行部向預先登錄之聯絡對象通知前述異常狀態。
  18. 如請求項1之電子機器，其中前述處理部對基於自前述攝像部讀出之前述圖像資料的資料，執行使用前述神經網路計算模型之第1迴避對象物認證，前述功能執行部係：於藉由前述處理部之第1迴避對象物認證而辨識到位於行進方向前方之迴避對象物之情形時，對基於自前述攝像部讀出之圖像資料的資料執行第2迴避對象物認證，且於藉由前述第2迴避對象物認證而再次辨識到位於前述行進方向前方之前述迴避對象物之情形時，向外 部指示前述迴避對象物之迴避動作。
  19. 一種圖像處理裝置，其具備：處理部，其係：對基於自攝像部讀出之圖像資料的資料，執行使用神經網路計算模型之處理，其中上述處理包含：對基於同一圖框之前述圖像資料的資料中最初輸入之單位區域之資料，利用CNN之處理，及於對前述最初輸入之單位區域之資料利用前述CNN之處理失敗之情形時，對基於前述同一圖框之圖像資料的資料中之其次輸入之單位區域之資料，利用RNN之處理；及輸出前述處理之結果。
TW108130709A 2018-08-31 2019-08-27 電子機器及固體攝像裝置 TWI820194B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018163700 2018-08-31
JP2018-163700 2018-08-31
JP2019152201 2019-08-22
JP2019-152201 2019-08-22

Publications (2)

Publication Number Publication Date
TW202032968A TW202032968A (zh) 2020-09-01
TWI820194B true TWI820194B (zh) 2023-11-01

Family

ID=69642811

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108130709A TWI820194B (zh) 2018-08-31 2019-08-27 電子機器及固體攝像裝置

Country Status (7)

Country Link
US (1) US11889177B2 (zh)
EP (1) EP3846442A4 (zh)
JP (1) JP7386792B2 (zh)
KR (1) KR20210052441A (zh)
CN (1) CN112585942B (zh)
TW (1) TWI820194B (zh)
WO (1) WO2020045598A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6635222B1 (ja) * 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US11375968B2 (en) 2020-04-06 2022-07-05 GE Precision Healthcare LLC Methods and systems for user and/or patient experience improvement in mammography
KR20220028928A (ko) * 2020-08-31 2022-03-08 삼성전자주식회사 부분 영상 기반의 영상 처리 방법 및 장치
JP7413481B1 (ja) 2022-10-21 2024-01-15 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128967A (ja) * 2003-10-27 2005-05-19 Sozo Gijutsu Kenkyusho:Kk 医療用動き検出装置、医療用動き検出方法、医療用動き検出プログラム並びにコンピュータで読取可能な記録媒体
WO2007119818A1 (ja) * 2006-04-14 2007-10-25 Nec Corporation 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム
JP2011203860A (ja) * 2010-03-24 2011-10-13 Ntt Docomo Inc 情報端末及び表示切替方法
WO2012073421A1 (ja) * 2010-11-29 2012-06-07 パナソニック株式会社 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
WO2018037521A1 (ja) * 2016-08-25 2018-03-01 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体
JP2018055138A (ja) * 2016-09-26 2018-04-05 株式会社デンソーウェーブ 認証システム、認証データ管理装置、ゲート管理装置および認証方法

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2910534B2 (ja) 1993-11-18 1999-06-23 ノーリツ鋼機株式会社 写真フィルム用コード情報読取装置
US6252975B1 (en) 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
DE60237553D1 (de) 2001-01-22 2010-10-14 Hand Held Prod Inc Optisches Lesegerät mit Partial-Frame-Betriebsmodus
US20040028137A1 (en) 2002-06-19 2004-02-12 Jeremy Wyn-Harris Motion detection camera
JP4130180B2 (ja) 2004-05-26 2008-08-06 株式会社リコー 画像読取装置、画像形成装置及び画像読取方法
JP4546157B2 (ja) 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
US20060242434A1 (en) * 2005-04-22 2006-10-26 Tsung-Jen Lee Portable device with motion sensor
JP2007201660A (ja) 2006-01-25 2007-08-09 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理方法及びプログラム
JP5150067B2 (ja) 2006-07-05 2013-02-20 パナソニック株式会社 監視システム、監視装置及び監視方法
CN101205772B (zh) * 2006-12-18 2012-06-06 汉王科技股份有限公司 人脸识别无锁孔报警防盗门锁
JP4362537B2 (ja) 2007-06-06 2009-11-11 シャープ株式会社 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
TWI359381B (en) * 2007-12-25 2012-03-01 Htc Corp Method for unlocking a locked computing device and
JP5288915B2 (ja) 2008-07-08 2013-09-11 キヤノン株式会社 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体
JP4816768B2 (ja) 2009-06-22 2011-11-16 ソニー株式会社 固体撮像装置とその製造方法、及び電子機器
JP2011035771A (ja) * 2009-08-04 2011-02-17 Olympus Corp 撮像装置、編集装置および撮像システム
KR20110056616A (ko) 2009-11-23 2011-05-31 한국전자통신연구원 객체 검출 유닛 및 이를 이용한 데이터 전송 방법
JP2011160044A (ja) 2010-01-29 2011-08-18 Sanyo Electric Co Ltd 撮像装置
JP5505007B2 (ja) 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
GB2478911B (en) 2010-03-22 2014-01-08 Timocco Ltd Object locating and tracking in video frames using smoothness check along specified line sections
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5220828B2 (ja) 2010-11-11 2013-06-26 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラム及び記録媒体
US8994499B2 (en) * 2011-03-16 2015-03-31 Apple Inc. Locking and unlocking a mobile device using facial recognition
JP5691736B2 (ja) 2011-03-29 2015-04-01 ブラザー工業株式会社 読取装置
KR101739380B1 (ko) * 2011-04-11 2017-06-08 삼성전자주식회사 디지털 영상 촬영 장치 및 방법
JP5923723B2 (ja) * 2011-06-02 2016-05-25 パナソニックＩｐマネジメント株式会社 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
JP5979967B2 (ja) 2011-06-30 2016-08-31 キヤノン株式会社 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム
JP5987306B2 (ja) * 2011-12-06 2016-09-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5909147B2 (ja) 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP5955170B2 (ja) 2012-09-06 2016-07-20 キヤノン株式会社 表示制御装置、表示制御方法、及びプログラム
JP2014139732A (ja) 2013-01-21 2014-07-31 Sony Corp 画像処理装置、画像処理方法、プログラムおよび表示装置
CN103077407B (zh) 2013-01-21 2017-05-17 信帧电子技术（北京）有限公司 车标定位识别方法及***
US9894294B2 (en) 2013-01-25 2018-02-13 Innovaciones Microelectrónicas S.L. (Anafocus) Automatic region of interest function for image sensors
JP6155786B2 (ja) 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
CN103716661A (zh) 2013-12-16 2014-04-09 乐视致新电子科技（天津）有限公司 一种视频打分上报方法及装置
JP6350863B2 (ja) 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
JP6338436B2 (ja) 2014-04-25 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法
KR102192088B1 (ko) 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
JP6264459B2 (ja) 2014-07-23 2018-01-24 ソニー株式会社 撮像装置、撮像方法、及びプログラム
US9418319B2 (en) 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10045726B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
CN105373785B (zh) * 2015-11-30 2019-08-02 北京地平线机器人技术研发有限公司 基于深度神经网络的手势识别检测方法与装置
US9773196B2 (en) 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
JP2017183775A (ja) 2016-03-28 2017-10-05 ソニー株式会社 画像処理装置、画像処理方法および撮像素子
JP2017228975A (ja) 2016-06-23 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
JP2018005520A (ja) 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
JP2018081545A (ja) * 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像データ抽出装置及び画像データ抽出方法
JP6787102B2 (ja) 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
JP2018117309A (ja) 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
JP2018116589A (ja) * 2017-01-20 2018-07-26 Kddi株式会社 対象画像の変更画像群を用いる状態識別装置、プログラム及び方法
JP2018133749A (ja) * 2017-02-16 2018-08-23 オリンパス株式会社 ***縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラム
JP6780537B2 (ja) * 2017-02-22 2020-11-04 オムロン株式会社 光学センサ、学習装置、及び画像処理システム
AU2017279806B2 (en) * 2017-05-29 2023-10-12 Saltor Pty Ltd Method and system for abnormality detection
CN107563168A (zh) 2017-09-05 2018-01-09 广东欧珀移动通信有限公司 移动终端的解锁方法、装置及移动终端
CN107944351B (zh) 2017-11-07 2020-08-04 深圳市易成自动驾驶技术有限公司 图像识别方法、装置及计算机可读存储介质
US10275670B1 (en) * 2018-03-07 2019-04-30 State Farm Mutual Automobile Insurance Company Image analysis technologies for identifying abnormal vehicle conditions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128967A (ja) * 2003-10-27 2005-05-19 Sozo Gijutsu Kenkyusho:Kk 医療用動き検出装置、医療用動き検出方法、医療用動き検出プログラム並びにコンピュータで読取可能な記録媒体
WO2007119818A1 (ja) * 2006-04-14 2007-10-25 Nec Corporation 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム
JP2011203860A (ja) * 2010-03-24 2011-10-13 Ntt Docomo Inc 情報端末及び表示切替方法
WO2012073421A1 (ja) * 2010-11-29 2012-06-07 パナソニック株式会社 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
WO2018037521A1 (ja) * 2016-08-25 2018-03-01 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体
JP2018055138A (ja) * 2016-09-26 2018-04-05 株式会社デンソーウェーブ 認証システム、認証データ管理装置、ゲート管理装置および認証方法

Also Published As

Publication number Publication date
EP3846442A4 (en) 2021-09-15
TW202032968A (zh) 2020-09-01
CN112585942B (zh) 2024-04-26
US11889177B2 (en) 2024-01-30
US20210297585A1 (en) 2021-09-23
EP3846442A1 (en) 2021-07-07
WO2020045598A1 (ja) 2020-03-05
KR20210052441A (ko) 2021-05-10
JP7386792B2 (ja) 2023-11-27
CN112585942A (zh) 2021-03-30
JPWO2020045598A1 (ja) 2021-09-24

Similar Documents

Publication Publication Date Title
TWI820194B (zh) 電子機器及固體攝像裝置
JP6638851B1 (ja) 撮像装置、撮像システム、撮像方法および撮像プログラム
JP6937443B2 (ja) 撮像装置及び撮像装置の制御方法
KR102637069B1 (ko) 촬상 장치, 고체 이미지 센서, 및 전자 기기
US11119633B2 (en) Information processing device and method
JP2018200423A (ja) 撮像装置、および電子機器
WO2019049662A1 (ja) センサチップおよび電子機器
US20220058411A1 (en) Solid state image capturing system, solid state image capturing device, information processing device, image processing method, information processing method, and program
WO2020027229A1 (ja) 固体撮像装置および電子機器
CN110447221B (zh) 图像处理装置、图像处理方法和电子设备
CN110169051B (zh) 固态摄像元件和电子设备
WO2020217874A1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
JP2020068302A (ja) 撮像装置
JP6646347B2 (ja) 固体撮像装置および電子機器
JP2021190777A (ja) 光検出装置
JP2021064721A (ja) 固体撮像装置及び電子機器
TWI840483B (zh) 信號處理方法及攝像裝置
JP2023119701A (ja) 撮像装置および信号処理方法
CN113574855A (zh) 成像设备、成像信号处理设备和成像信号处理方法