CN107578014A - 信息处理装置及方法 - Google Patents
信息处理装置及方法 Download PDFInfo
- Publication number
- CN107578014A CN107578014A CN201710793531.4A CN201710793531A CN107578014A CN 107578014 A CN107578014 A CN 107578014A CN 201710793531 A CN201710793531 A CN 201710793531A CN 107578014 A CN107578014 A CN 107578014A
- Authority
- CN
- China
- Prior art keywords
- data
- vector
- unit
- memory cell
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 108
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 230000010365 information processing Effects 0.000 claims abstract description 22
- 238000003672 processing method Methods 0.000 claims abstract description 14
- 238000013500 data storage Methods 0.000 claims abstract description 6
- 230000003068 static effect Effects 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 6
- 210000004709 eyebrow Anatomy 0.000 claims description 6
- 210000001061 forehead Anatomy 0.000 claims description 6
- 210000001331 nose Anatomy 0.000 claims description 6
- 210000001097 facial muscle Anatomy 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 claims description 4
- 210000000088 lip Anatomy 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims 1
- 210000003205 muscle Anatomy 0.000 claims 1
- 230000007935 neutral effect Effects 0.000 abstract description 16
- 238000013461 design Methods 0.000 abstract description 7
- 230000036651 mood Effects 0.000 description 80
- 238000013528 artificial neural network Methods 0.000 description 40
- 210000004027 cell Anatomy 0.000 description 35
- 210000002569 neuron Anatomy 0.000 description 23
- 210000004205 output neuron Anatomy 0.000 description 20
- 230000002996 emotional effect Effects 0.000 description 13
- 230000004913 activation Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 210000002364 input neuron Anatomy 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 238000007619 statistical method Methods 0.000 description 6
- 210000005036 nerve Anatomy 0.000 description 5
- 241001269238 Data Species 0.000 description 3
- 206010041349 Somnolence Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3296—Power saving characterised by the action undertaken by lowering the supply or operating voltage
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0751—Error or fault detection not based on redundancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
- G06F11/1044—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices with specific ECC/EDC distribution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/18—Error detection or correction of the data by redundancy in hardware using passive fault-masking of the redundant circuits
- G06F11/186—Passive fault masking when reading multiple copies of the same data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
- G06F11/3062—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations where the monitored property is the power consumption
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0875—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with dedicated cache, e.g. instruction or stack
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
- G06F9/30047—Prefetch instructions; cache control instructions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
- G06F9/3893—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled in tandem, e.g. multiplier-accumulator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/324—Power saving characterised by the action undertaken by lowering clock frequency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1608—Error detection by comparing the output signals of redundant hardware
- G06F11/1612—Error detection by comparing the output signals of redundant hardware where the redundant component is persistent storage
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1666—Error detection or correction of the data by redundancy in hardware where the redundant component is memory or memory area
- G06F11/167—Error detection by comparing the memory output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/81—Threshold
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/45—Caching of specific data in cache memory
- G06F2212/452—Instruction code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/57—Arithmetic logic units [ALU], i.e. arrangements or devices for performing two or more of the operations covered by groups G06F7/483 – G06F7/556 or for performing logical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/3001—Arithmetic instructions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computer Security & Cryptography (AREA)
- Neurology (AREA)
- Medical Informatics (AREA)
- Algebra (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种信息处理装置,包括:存储单元,用于接收并存储数据及指令;以及数据处理单元,与所述存储单元连接,用于接收所述存储单元发送的数据及指令,对所述数据中包含的关键特征进行提取和运算处理,并根据运算处理结果生成多维向量。本公开还提供了一种信息处理方法。本***息处理装置及方法,实现了对人脸的精确,快速识别;支持离线运行神经网络,在没有云端服务器协助计算的情况下用户终端/前端离线即可实现人脸识别和相应控制的工作;具有很好的移植性,能够用于各种应用场景和设备,大大节省了设计成本。
Description
技术领域
本公开涉及信息处理技术领域,尤其涉及一种处理图像的装置和方法。
背景技术
现有使用通用的图像识别装置来识别人脸图像。图像识别装置包括表情采集单元,表情识别单元。表情采集单元采集用户的表情并形成模拟信号发送给表情识别单元,表情识别单元将模拟信号转换为数字信号,再经过数据处理模块产生输出,最终做出实现预期功能的响应。
然而,现有的识别人脸图像的装置及方法,其存在以下缺陷:信号的精度差,对人脸识别不精准,可移植性不够好,功能不具备好的拓展性,设计上通常针对一种或一类特定设备,不能通过机器学习等方法提高识别精度。
发明内容
(一)要解决的技术问题
为了解决或者至少部分缓解上述技术问题,本公开提供一种信息处理装置及方法,实现了对人脸的更精确,快速识别;支持离线运行神经网络,在没有云端服务器协助计算的情况下用户终端/前端离线即可实现人脸识别和相应控制的工作;具有很好的移植性,能够用于各种应用场景和设备,大大节省了设计成本。
(二)技术方案
根据本公开的一个方面,提供了一种信息处理装置,包括:存储单元,用于接收并存储数据及指令;以及数据处理单元,与所述存储单元连接,用于接收所述存储单元发送的数据及指令,对所述数据中包含的关键特征进行提取和运算处理,并根据运算处理结果生成多维向量。
在本公开一些实施例中,所述关键特征包括人脸的动作、表情及其对应的位置。
在本公开一些实施例中,所述输入数据包括一个或多个图像,所述数据处理单元根据运算处理结果为每一图像生成一多维向量。
在本公开一些实施例中,所述图像包括静态图片、组成视频的图片或视频;所述静态图片、组成视频的图片或视频包括人脸的一个或者多个部位的图像。
在本公开一些实施例中,所述人脸的一个或者多个部位为人脸面部肌肉,嘴唇,眼部,眉毛,鼻子,额头,耳朵及其组合。
在本公开一些实施例中,所述多维向量为情绪向量,其包括的每个元素表示人脸的一种情绪,该情绪包括愤怒,高兴,痛苦,沮丧,困倦或疑惑。
在本公开一些实施例中,所述情绪向量的每个元素的值为0和1之间的数,数值大小表示这一元素对应的情绪出现的概率;或所述情绪向量的每个元素的值为任意大于等于0的数,数值大小表示这一元素对应的情绪的强度;或所述情绪向量的一元素值为1,其余元素的值为0,这一情绪向量表示最显著的一情绪。
在本公开一些实施例中,所述的信息处理装置,还包括:转换模块,用于将多维向量转换为输出;该输出包括控制指令,数据,标签,或图片。
在本公开一些实施例中,所述控制指令包括鼠标单击/双击拖动、触摸屏的单点/多点/滑动、开关的开/关、快捷键。
在本公开一些实施例中,所述存储单元用于输入n个图像,每个图像对应一个真实情绪向量;n为大于等于1的正整数;所述数据处理单元用于接收所述n个图像,计算出与输入相同格式的输出情绪向量,即预测情绪向量,并根据预测情绪向量与真实情绪向量的对比结果更新所述信息处理装置的参数。
在本公开一些实施例中,所述数据处理单元采用欧式距离或内积的绝对值法对所述预测情绪向量与真实情绪向量进行对比。
在本公开一些实施例中,所述信息处理装置为人工神经网络芯片。
在本公开一些实施例中,所述数据处理单元包括:运算单元,用于根据所述存储单元中存储的指令对所述数据执行相应的运算;所述运算单元为标量计算单元,向量计算单元和/或混合计算单元,包括:乘法器,用于将输入其中的数据相乘得到相乘之后的输出;和/或一个或多个加法器,用于将输入其中的数据相加得到输出数据,所述多个加法器构成加法树,用于进行加法树运算,即将输入其中的数据逐级相加得到输出数据;激活函数单元,用于通过激活函数运算得到激活输出数据,该激活函数包括sigmoid、tanh、relu或softmax;以及池化单元,用于将输入数据(in)通过池化运算得到池化操作之后的输出数据(out),即out=pool(in),其中pool为池化操作,池化操作包括平均值池化,最大值池化,中值池化,输入数据in是和输出out相关的一个池化核中的数据。
在本公开一些实施例中,所述存储单元用于存储数据及指令,该数据包括神经元,权值,图像,及向量;所述信息处理装置还包括:预处理单元,用于对原始输入数据,即一个或多个图像,进行预处理,得到符合人工神经网络预设参数和数据格式的图像数据,所述预处理包括:切分、高斯滤波、二值化、正则化及归一化;指令缓存单元,用于缓存指令;权值缓存单元,用于缓存权值数据;输入神经元缓存单元,用于缓存输入到运算单元的输入神经元;输出神经元缓存单元,用于缓存运算单元输出的输出神经元;控制单元,用于从所述指令缓存单元中读取指令,并将其译码成运算单元指令并输入至运算单元;DMA(DirectMemory Access,直接内存存取),用于在所述存储单元、指令缓存单元、权值缓存单元、输入神经元缓存单元和输出神经元缓存单元中进行数据或者指令读写。
在本公开一些实施例中,所述运算单元包括:短位浮点数模块,用于进行正向计算;该短位浮点数模块包括:浮点数据统计模块,用于对所述人工神经网络正向运算所需的各个类型的数据进行统计分析,得到指数位的长度EL;短位浮点数据转换单元,用于根据所述浮点数据统计模块得到的指数位的长度EL来实现长位数浮点数据类型向短位数浮点数据类型的转换;以及短位浮点数据运算模块,用于在所述浮点数据转换单元将所有所述人工神经网络正向运算中所需的输入、权值和/或偏置数据均采用短位数浮点数据类型表示之后,对所述短位数浮点数据进行人工神经网络正向运算。
在本公开一些实施例中,所述浮点数据统计模块还用于对所述人工神经网络正向运算所需的各个类型的数据进行统计分析,得到指数位偏移量offset;所述短位浮点数据转换单元还用于根据所述浮点数据统计模块得到的所述指数位偏移量offset及指数位的长度EL来实现长位数浮点数据类型向短位数浮点数据类型的转换。
在本公开一些实施例中,所述短位浮点数据转换单元包括:运算缓存单元,用于存储所述正向运算的中间结果;数据转换单元,用于将所述运算缓存单元中的数据转换为短位数浮点数据;以及舍入单元,用于对超出短位浮点精度范围的数据进行舍入操作。
在本公开一些实施例中,所述舍入单元包括随机舍入单元、四舍五入单元、向上舍入单元、向下舍入单元以及截断舍入单元。
在本公开一些实施例中,所述随机舍入单元执行如下操作:
式中,y表示随机舍入后的短位浮点数据,x表示随机舍入前的32位浮点数据,ε为当前短位数浮点数据表示格式所能表示的最小正整数,即2offset-(X-1-EL),表示对原数据x直接截得短位数浮点数据所得的数,w.p.表示概率,即随机舍入获得的数据y为的概率为为的概率为
所述四舍五入单元执行如下操作:
式中,y表示四舍五入后的短位浮点数据,x表示四舍五入前的长位浮点数据,ε为当前短位数浮点数据表示格式所能表示的最小正整数,即2offset-(X-1-EL),为ε的整数倍,其值为小于或等于x的最大数;
所述向上舍入单元执行如下操作:
式中,y表示向上舍入后的短位浮点数据,x表示向上舍入前的长位浮点数据,为ε的整数倍,其值为大于或等于x的最小数,ε为当前短位数浮点数据表示格式所能表示的最小正整数,即2offset-(X-1-EL);
所述向下舍入单元执行如下操作:
式中,y表示向上舍入后的短位浮点数据,x表示向上舍入前的长位浮点数据,为ε的整数倍,其值为小于或等于x的最大数,ε为当前短位数浮点数据表示格式所能表示的最小正整数,即2offset-(X-1-EL);
所述截断舍入单元执行如下操作:
y=[x];
式中,y表示截断舍入后的短位浮点数据,x表示截断舍入前的长位浮点数据,[x]表示对原数据x直接截得短位数浮点数据所得的数。
根据本公开的另一个方面,还提供了一种终端,包括所述的信息处理装置,还包括图像采集装置;所述终端包括台式电脑,智能家居,交通工具或便携式电子设备。
根据本公开的另一个方面,还提供了一种云服务器,包括所述的信息处理装置。
根据本公开的另一个方面,还提供了一种信息处理方法,包括:存储单元接收并存储数据及指令;以及数据处理单元接收所述存储单元发送的数据及指令,对所述数据中包含的关键特征进行提取和运算处理,并根据运算处理结果生成多维向量。
在本公开一些实施例中,所述关键特征包括人脸的动作、表情及其对应的位置。
在本公开一些实施例中,所述输入数据包括一个或多个图像,所述数据处理单元根据运算处理结果为每一图像生成一多维向量。
在本公开一些实施例中,所述图像包括静态图片、组成视频的图片或视频;所述静态图片、组成视频的图片或视频包括人脸的一个或者多个部位的图像。
在本公开一些实施例中,所述人脸的一个或者多个部位为人脸面部肌肉,嘴唇,眼部,眉毛,鼻子,额头,耳朵及其组合。
在本公开一些实施例中,所述多维向量为情绪向量,其包括的每个元素表示人脸的一个情绪,该情绪包括愤怒,高兴,痛苦,沮丧,困倦或疑惑。
在本公开一些实施例中,所述情绪向量的每个元素的值为0和1之间的数,该值表示这一元素对应的情绪出现的概率;或所述情绪向量的每个元素的值为任意大于等于0的数,该值表示这一元素对应的情绪的强度;或所述情绪向量的一元素值为1,其余元素的值为0,这一情绪向量表示最显著的一情绪。
在本公开一些实施例中,所述的信息处理方法,还包括:转换模块将所述多维向量转换为输出;该输出包括控制指令,数据,标签,或图片。
在本公开一些实施例中,所述控制指令包括鼠标单击/双击拖动、触摸屏的单点/多点/滑动、开关的开/关、快捷键。
在本公开一些实施例中,将n个图像输入存储单元,每个图像对应一个真实情绪向量;n为大于等于1的正整数;数据处理单元接收存储单元发送的所述n个图像,计算出与输入相同格式的输出情绪向量,即预测情绪向量,并将所述预测情绪向量与真实情绪向量对比,根据对比结果更新所述信息处理方法的参数。
在本公开一些实施例中,所述数据处理单元采用欧式距离或内积的绝对值法对所述预测情绪向量与真实情绪向量进行对比。
在本公开一些实施例中,数据处理单元的运算单元根据所述存储单元中存储的指令对所述数据执行相应的运算:执行乘法运算,将输入神经元和权值数据相乘;执行加法运算,将所述乘法运算结果通过加法树逐级相加,得到加权和,选择性的对加权和加偏置;执行激活函数运算,得到输出神经元,所述激活函数为sigmoid函数、tanh函数、ReLU函数或softmax函数;执行池化运算,out=pool(in),其中pool为池化操作,池化操作包括但不限于:平均值池化,最大值池化,中值池化,输入数据in是和输出out相关的一个池化核中的数据。
在本公开一些实施例中,所述的信息处理方法还包括:预处理单元对原始输入数据,即一个或多个图像,进行预处理,得到与芯片所使用的人工神经网络的位于最底层的输入层规模相契合的图像数据,其中,所述预处理包括:切分、高斯滤波、二值化、正则化、归一化;输入数据经预处理单元传入存储单元或直接传入存储单元,指令传入存储单元,其中,所述该数据包括神经元,权值,图像,及向量;DMA接收所述存储单元发送的数据,将其分批传入相应的指令缓存单元,输入神经元缓存单元及权值缓存单元;控制单元从所述指令缓存单元中读取指令并进行译码;运算单元接收译码后的指令并根据指令执行相应的运算;运算单元执行神经网络运算至所有数据运算完毕,得到最终运算结果;该最终运算结果由神经网络最后一层的输出神经元得到,神经网络的最终输出层每个神经元对应所述情绪向量的一个元素;将所述最终运算结果传入输出神经元缓存单元中;输出神经元缓存单元将最终运算结果传入DMA,经DMA返回存储单元。
在本公开一些实施例中,运算单元采用短位浮点数模块进行正向计算。
在本公开一些实施例中,所述运算单元采用短位浮点数模块进行正向计算包括:浮点数据统计模块对所述人工神经网络正向运算所需的各个类型的数据进行统计分析,得到指数位的长度EL;短位浮点数据转换单元根据所述浮点数据统计模块得到的指数位的长度EL来实现长位数浮点数据类型向短位数浮点数据类型的转换;以及短位浮点数据运算模块在所述浮点数据转换单元将所有所述人工神经网络正向运算中所需的输入、权值和/或偏置数据均采用短位数浮点数据类型表示之后,对所述短位数浮点数据进行人工神经网络正向运算。
在本公开一些实施例中,浮点数据统计模块对所述人工神经网络正向运算所需的各个类型的数据进行统计分析,得到指数位偏移量offset;短位浮点数据转换单元根据所述浮点数据统计模块得到的所述指数位偏移量offset及指数位的长度EL实现长位数浮点数据类型向短位数浮点数据类型的转换。
在本公开一些实施例中,所述短位浮点数据转换单元根据所述浮点数据统计模块得到的所述指数位偏移量offset及指数位的长度EL实现长位数浮点数据类型向短位数浮点数据类型的转换的步骤包括:运算缓存单元存储正向运算的中间结果;数据转换单元将运算缓存单元中的数据转换为短位数浮点数据;以及舍入单元完成对超出短位浮点精度范围的数据进行舍入操作。
在本公开一些实施例中,所述舍入单元包括随机舍入单元、四舍五入单元、向上舍入单元、向下舍入单元以及截断舍入单元。
在本公开一些实施例中,所述随机舍入单元执行如下操作:
式中,y表示随机舍入后的短位浮点数据,x表示随机舍入前的32位浮点数据,ε为当前短位数浮点数据表示格式所能表示的最小正整数,即2offset-(X-1-EL),表示对原数据x直接截得短位数浮点数据所得的数,w.p.表示概率,即随机舍入获得的数据y为的概率为为的概率为
所述四舍五入单元执行如下操作:
式中,y表示四舍五入后的短位浮点数据,x表示四舍五入前的长位浮点数据,ε为当前短位数浮点数据表示格式所能表示的最小正整数,即2offset-(X-1-EL),为ε的整数倍,其值为小于或等于x的最大数;
所述向上舍入单元执行如下操作:
式中,y表示向上舍入后的短位浮点数据,x表示向上舍入前的长位浮点数据,为ε的整数倍,其值为大于或等于x的最小数,ε为当前短位数浮点数据表示格式所能表示的最小正整数,即2offset-(X-1-EL);
所述向下舍入单元执行如下操作:
式中,y表示向上舍入后的短位浮点数据,x表示向上舍入前的长位浮点数据,为ε的整数倍,其值为小于或等于x的最大数,ε为当前短位数浮点数据表示格式所能表示的最小正整数,即2offset-(X-1-EL);
所述截断舍入单元执行如下操作:
y=[x];
式中,y表示截断舍入后的短位浮点数据,x表示截断舍入前的长位浮点数据,[x]表示对原数据x直接截得短位数浮点数据所得的数。
(三)有益效果
从上述技术方案可以看出,本***息处理装置及方法至少具有以下有益效果其中之一:
(1)本***息处理装置,利用数据处理单元对数据中包含的关键特征进行提取和运算处理,并根据运算处理结果生成多维向量,实现了对人脸的精确,快速识别。
(2)信息处理装置采用人工神经网络芯片,对人脸的识别更精确,快速。
(3)人工神经网络芯片计算能力强大,支持离线运行神经网络,在没有云端服务器协助计算的情况下用户终端/前端离线即可实现人脸识别和相应控制的工作。当芯片联网,获得云端服务器协助计算的时候,芯片计算能力更加强大。
(4)通过对神经网络输入层和最终输出层的设计,实现了对人脸情绪的识别。设计允许整个装置功能可拓展,即通过改变输入输出层的结构或定义来配置具体的功能,使得装置和方法具有很好的移植性,能够用于各种应用场景和设备,大大节省了设计成本。
(5)芯片的自适应性训练使得芯片具有较高的初始精度,同时积累用户的数据自我学习,会逐渐适应用户的脸部特征,不断提高准确率。
(6)人工神经网络芯片中,采用专用的片上缓存(即指令缓存、输入神经元缓存、输出神经元缓存和权值缓存)和专用的人工神经网络运算、访存指令能有效提高运算、访存效率。
(7)人工神经网络芯片中,运算单元采用的加法树运算能对多组权值和输入神经元并行处理,有效提高运算效率。
(8)采用预处理单元,能使输入数据更适于人工神经网络处理,去除输入数据中的噪声和冗余,提高分类、识别精度等。
(9)采用短位浮点数运算单元能够有效减少计算开销,节省运算时间和功耗。
附图说明
图1为根据本公开实施例信息处理装置的第一功能模块示意图。
图2为根据本公开实施例信息处理装置的第二功能模块示意图。
图3为依据本公开实施例信息处理装置的第三功能模块示意图。
图4为依据本公开实施例信息处理装置的第四功能模块示意图。
图5为依据本公开实施例信息处理装置的第五功能模块示意图。
图6为依据本公开实施例信息处理装置的第六功能模块示意图。
图7为依据本公开实施例短位浮点数据转换单元的功能模块示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开作进一步的详细说明。
需要说明的是,在附图或说明书描述中,相似或相同的部分都使用相同的图号。附图中未绘示或描述的实现方式,为所属技术领域中普通技术人员所知的形式。另外,虽然本文可提供包含特定值的参数的示范,但应了解,参数无需确切等于相应的值,而是可在可接受的误差容限或设计约束内近似于相应的值。此外,以下实施例中提到的方向用语,例如“上”、“下”、“前”、“后”、“左”、“右”等,仅是参考附图的方向。因此,使用的方向用语是用来说明并非用来限制本公开。
本公开提供了一种信息处理装置。图1为根据本公开实施例信息处理装置的功能模块示意图,如图1所示,所述信息处理装置,包括:存储单元以及数据处理单元;其中,所述存储单元用于接收并存储输入数据、指令和输出数据,其中输入数据包括一个或多个图像;所述数据处理单元对输入数据中包含的关键特征进行提取和运算处理,并根据运算处理结果给每个图像生成一个多维向量。
其中,所述关键特征包括图像中人脸的动作、表情、关键点位置等,具体形式为神经网络当中的特征图(feature maps)。所述图像包括静态图片、组成视频的图片、或视频等。该静态图片、组成视频的图片、或视频包括人脸的一个或者多个部位的图像。所述人脸的一个或者多个部位为人脸面部肌肉,嘴唇,眼部,眉毛,鼻子,额头,耳朵以及它们的组合等。
所述向量的每个元素代表人脸的一个情绪,例如愤怒,高兴,痛苦,沮丧,困倦,疑惑。所述存储单元还用于在标注n维向量后输出n维向量,即输出计算得到的n维向量。
优选的,所述信息处理装置还包括:转换模块,用于将n维向量转换为相应的输出,输出可以是控制指令,数据(0,1输出),标签(开心,沮丧,等等);图片输出。
其中,所述控制指令可以是鼠标单击双击拖动;触摸屏的单点,多点,滑动;开关的开和关;快捷键。
优选的,所述信息处理装置用于进行自适应性训练,相应的,
存储单元用于输入n个图像,每个图像包括一个标签,每个图像对应一个向量(真实情绪向量);n为大于等于1等正整数;
数据处理单元以这些标定好的数据作为输入,计算出与输入相同格式的输出情绪向量,即预测情绪向量,并与真实情绪向量对比,根据对比结果更新装置的参数。
情绪向量包括n个元素。所述情绪向量的每个元素的取值可以包括以下几种情况:
(1)情绪向量的每个元素的值可以为0和1之间的数(代表某一情绪出现的概率);
(2)情绪向量的每个元素的值也可以是任何大于等于0的数(代表某一情绪的强度);
(3)情绪向量也可以是只有一个元素的值为1,其余元素为的值为0的。这种情况,一个情绪向量就只能代表最显著一种情绪。
具体的,所述预测情绪向量与真实情绪向量对比的方式可以有:求二者欧式距离、内积的绝对值。例如n为3,预测情绪向量为[a1,a2,a3],真实情绪向量为[b1,b2,b3]。二者欧式距离为[(a1-b1)2+(a2-b2)2+(a3-b2)2]1/2。二者内积的绝对值为|a1*b1+a2*b2+a3*b3|。本领域技术人员可以理解的是,此处对比方式并不限于欧式距离及内积的绝对值,也可以采用其他方法。
在本公开的一具体实施例中,如图2所示,所述信息处理装置为人工神经网络芯片。更新装置的参数包括自适应地更新神经网络的参数(权值、偏置等)
其中,人工神经网络芯片的存储单元,用于存储数据和指令,其中所述数据包括输入神经元,输出神经元,权值,图像,向量等等;人工神经网络芯片的数据处理单元包括:运算单元,用于根据所述存储单元中存储的指令对所述数据执行相应的运算;所述运算单元可以为标量计算单元,用于完成标量乘法、标量加法或标量乘加操作;或向量计算单元,用于完成向量乘法、向量加法或向量内积操作;或混合计算单元,用于完成矩阵乘法加法操作、向量内积计算和非线性计算、或卷积计算。所述运算单元执行运算包括神经网络计算。
在一个实施例里,计算单元包括但不仅限于:第一部分乘法器;第二部分一个或者多个加法器(更具体的,第二个部分的加法器组成加法树);第三部分为激活函数单元;和/或第四部分向量处理单元。更具体的,向量处理单元可以处理向量运算和/或池化运算。第一部分将输入数据1(in1)和输入数据2(in2)相乘得到相乘之后的输出(out),过程为:out=in1*in2;第二部分将输入数据in1通过加法器相加得到输出数据(out)。更具体的,第二部分为加法树时,将输入数据in1通过加法树逐级相加得到输出数据(out),其中in1是一个长度为N的向量,N大于1,过程为:out=in1[1]+in1[2]+...+in1[N],和/或将输入数据(in1)通过加法数累加之后和输入数据(in2)相加得到输出数据(out),过程为:out=in1[1]+in1[2]+...+in1[N]+in2,或者将输入数据(in1)和输入数据(in2)相加得到输出数据(out),过程为:out=in1+in2;第三部分将输入数据(in)通过激活函数(active)运算得到激活输出数据(out),过程为:out=active(in),激活函数active可以是sigmoid、tanh、relu、softmax等,除了做激活操作,第三部分可以实现其他的非线性函数,可将将输入数据(in)通过运算(f)得到输出数据(out),过程为:out=f(in)。向量处理单元将输入数据(in)通过池化运算得到池化操作之后的输出数据(out),过程为out=pool(in),其中pool为池化操作,池化操作包括但不限于:平均值池化,最大值池化,中值池化,输入数据in是和输出out相关的一个池化核中的数据。
所述运算单元执行运算包括第一部分是将所述输入数据1和输入数据2相乘,得到相乘之后的数据;和/或第二部分执行加法运算(更具体的,为加法树运算,用于将输入数据1通过加法树逐级相加),或者将所述输入数据1通过和输入数据2相加得到输出数据;和/或第三部分执行激活函数运算,对输入数据通过激活函数(active)运算得到输出数据;和/或第四部分执行池化运算,out=pool(in),其中pool为池化操作,池化操作包括但不限于:平均值池化,最大值池化,中值池化,输入数据in是和输出out相关的一个池化核中的数据。以上几个部分的运算可以自由选择一个多个部分进行不同顺序的组合,从而实现各种不同功能的运算。
在本公开的一具体实施例中,进一步参照图2所示,所述人工神经网络芯片还可以包括:
控制单元,用于从所述指令缓存中读取指令,并将其译码成运算单元指令并输入至运算单元;
指令缓存单元,用于存储指令;
权值缓存单元,用于缓存权值数据;
输入神经元缓存单元,用于缓存输入到运算单元的输入神经元;
输出神经元缓存单元,用于缓存运算单元输出的输出神经元;
DMA(Direct Memory Access,直接内存存取),用于在所述存储单元、指令缓存、权值缓存、输入神经元缓存和输出神经元缓存中进行数据或者指令读写。
在本公开的一具体实施例中,如图3所示,所述人工神经网络芯片还可以包括:转换单元,与存储单元连接,用于接收第一输出数据(最终输出神经元的数据)并转换成第二输出数据。
由于神经网络对输入图片的格式有要求,例如长、宽、色彩通道等,优选的,在本公开的一具体实施例中,如图4、5所示,人工神经网络芯片还包括:预处理单元,用于对原始输入数据,即一个或多个图像,进行预处理,得到与芯片所使用的人工神经网络的位于最底层的输入层规模相契合的图像数据,以满足神经网络预设参数和数据格式的要求。其中,所述预处理包括:切分、高斯滤波、二值化、正则化、归一化等。
其中,该预处理单元可独立于芯片存在,即一信息处理装置,包括预处理单元和芯片;该预处理单元和芯片如上所述。
在本公开的一具体实施例中,如图6所示,芯片的运算单元可以采用短位浮点数模块进行正向计算,包括浮点数据统计模块、短位浮点数据转换单元和短位浮点数据运算模块。其中
所述浮点数据统计模块用于对所述人工神经网络正向运算所需的各个类型的数据进行统计分析,得到指数位的长度EL(exponential length);
所述短位浮点数据转换单元用于根据所述浮点数据统计模块得到的指数位的长度EL来实现长位数浮点数据类型向短位数浮点数据类型的转换;
所述短位浮点数据运算模块用于在所述浮点数据转换单元将所有所述人工神经网络正向运算中所需的输入、权值和/或偏置数据均采用短位数浮点数据类型表示之后,对所述短位数浮点数据进行人工神经网络正向运算。
优选的,所述浮点数据统计模块还用于对所述人工神经网络正向运算所需的各个类型的数据进行统计分析,得到指数位偏移量offset;所述短位浮点数据转换单元用于根据所述浮点数据统计模块得到的所述指数位偏移量offset及指数位的长度EL来实现长位数浮点数据类型向短位数浮点数据类型的转换。通过指数位偏移量offset及指数位长度(EL)的设定使得尽可能的扩大可表示的数据范围,由此可以包含输入神经元和权值的所有数据。
更具体的,如图7所示,所述短位浮点数据转换单元包括运算缓存单元31、数据转换单元32、舍入单元33。
其中:运算缓存单元用精度较高的数据类型存储正向运算的中间结果,这是由于在正向运算时,加法或者乘法运算可能会导致数据范围扩大;运算结束后,对超出短位数浮点精度范围的数据,进行舍入操作,接着通过数据转换单元32将缓存区的数据转换为短位数浮点数据。
舍入单元33可以完成对超出短位浮点精度范围的数据进行舍入操作,该单元可以为随机舍入单元、四舍五入单元、向上舍入单元、向下舍入单元、截断舍入单元等,通过不同的舍入单元可以实现对超出短位数浮点精度范围数据进行不同的舍入操作。
随机舍入单元执行如下操作:
其中,y表示随机舍入后的短位浮点数据,x表示随机舍入前的32位浮点数据,ε为当前短位数浮点数据表示格式所能表示的最小正整数,即2offset-(X-1-EL),表示对原数据x直接截得短位数浮点数据所得的数(类似于对小数做向下取整操作),w.p.表示概率,即随机舍入获得的数据y为的概率为为的概率为
四舍五入单元执行如下操作:
其中,y表示四舍五入后的短位浮点数据,x表示四舍五入前的长位浮点数据,ε为当前短位数浮点数据表示格式所能表示的最小正整数,即2offset-(X-1-EL),为ε的整数倍,其值为小于或等于x的最大数。
向上舍入单元执行如下操作:
其中,y表示向上舍入后的短位浮点数据,x表示向上舍入前的长位浮点数据,为ε的整数倍,其值为大于或等于x的最小数,ε为当前短位数浮点数据表示格式所能表示的最小正整数,即2offset-(X-1-EL)。
向下舍入单元执行如下操作:
其中,y表示向上舍入后的短位浮点数据,x表示向上舍入前的长位浮点数据,为ε的整数倍,其值为小于或等于x的最大数,ε为当前短位数浮点数据表示格式所能表示的最小正整数,即2offset-(X-1-EL)。
截断舍入单元执行如下操作:
y=[x];
其中,y表示截断舍入后的短位浮点数据,x表示截断舍入前的长位浮点数据,[x]表示对原数据x直接截得短位数浮点数据所得的数。
另外,所述人工神经网络芯片可用于一终端。该终端除包括人工神经网络芯片之外,还可包括图像采集装置,该图像采集装置可以是摄像头,照相机。该终端可为台式电脑,智能家居,交通工具,便携式电子设备。便携式电子设备为摄像头,手机,笔记本,平板电脑,可穿戴设备等。可穿戴设备包括智能手表,智能手环,智能衣服等。所述人工神经网络芯片也可以用于云端(服务器),这样用户的设备上用到的就只是一个APP,设备将采集到的图像上传,通过本***息处理装置计算出输出,再通过用户终端做出响应。
另外,本公开还提供了一种信息处理方法,包括:
存储单元接收输入数据;该输入数据包括一个或多个图像;
数据处理单元对输入数据中包含的关键特征进行提取和处理,并根据处理结果给每个图像生成一个多维向量。
其中,所述关键特征包括图像中人脸的动作、表情、关键点位置等,具体形式为神经网络当中的特征图(feature maps)。所述图像包括静态图片、组成视频的图片、或视频等。该静态图片、组成视频的图片、或视频包括人脸的一个或者多个部位的图像。所述人脸的一个或者多个部位为人脸面部肌肉,嘴唇,眼部,眉毛,鼻子,额头,耳朵以及它们的组合等。
所述多维向量的每个元素代表人脸的一种情绪,例如愤怒,高兴,痛苦,沮丧,困倦,疑惑。进一步的,所述信息处理方法还包括:学习标注数据(已有对应多维向量的图像),以及在学习标注数据后输出多维向量并更新数据处理单元的参数。
更进一步的,所述信息处理方法还包括:将多维向量转换为转换相应的输出;输出可以是控制指令,数据(0,1输出),标签(开心,沮丧等);图片输出。
所述控制指令可以是鼠标单击双击拖动;触摸屏的单点,多点,滑动;开关的开和关;快捷键等。
优选的,所述信息处理方法还包括:进行自适应性训练,具体流程如下:
对存储单元输入n个图像,每个图像包括一个标签,每个图像对应一个向量(真实情绪向量);其中,n为大于等于1等正整数。
数据处理单元以这些标定好的数据作为输入,计算出与输入相同格式的输出情绪向量,即预测情绪向量,并与真实情绪向量对比,根据对比结果更新装置的参数。
其中,所述情绪向量包括n个元素。情绪向量的每个元素的取值可以是以下几种情况:
(1)情绪向量的每个元素的值可以为0-1的自然数(代表某一情绪出现的概率);
(2)情绪向量的每个元素的值也可以是任何大于等于0的数(代表某一情绪的强度);例如,预设表情为[高兴,难过,惊恐],一个勉强的笑脸图像对应的向量可以是[0.5,0.2,0]。
(3)情绪向量也可以是只有一个元素的值为1,其余元素为的值为0的。这种情况,一个情绪向量就只能代表最显著一种情绪。例如,预设表情为[高兴,难过,惊恐],一个明显的笑脸图像对应的向量可以是[1,0,0]。
所述预测情绪向量与真实情绪向量对比的方式可以为:求二者欧式距离、内积的绝对值等。例如:n为3,预测情绪向量为[a1,a2,a3],真实情绪向量为[b1,b2,b3];二者欧式距离为[(a1-b1)2+(a2-b2)2+(a3-b2)2]1/2;二者内积的绝对值为|a1*b1+a2*b2+a3*b3|。本领域技术人员可以理解的是,此处对比方式并不限于欧式距离及内积的绝对值,也可以采用其他方法。
优选的,信息处理装置为人工神经网络芯片。情绪向量的每个元素的值可以为0和1之间的数(代表某一情绪出现的概率),由于人的情绪可以是叠加的,所以在这种情绪向量中可以有多个不为0的数,以表达复杂的情绪。
在本公开的一具体实施例中,人工神经网络芯片得到情绪向量的方法包括:神经网络的最终输出层每个神经元对应情绪向量的一个元素,输出的神经元值为0和1之间的数,作为该种情绪的出现概率。计算出上述情绪向量的过程整体如下:
步骤S1,输入数据经预处理单元传入存储单元或直接传入存储单元;
步骤S2,DMA将其分批传入相应的片上缓存(即指令缓存,输入神经元缓存,权值缓存)中;
步骤S3,控制单元从指令缓存中读取指令,将其译码后传入运算单元;
步骤S4,根据指令,运算单元执行相应的运算:在神经网络的各个层中,运算主要分为三步:子步骤S41,将对应的输入神经元和权值相乘;子步骤S42,执行加法树运算,即将子步骤S41的结果通过加法树逐级相加,得到加权和,根据需要对加权和加偏置或不做处理;子步骤S43,对子步骤S42得到的结果执行激活函数运算,得到输出神经元,并将其传入输出神经元缓存中;
步骤S5,重复步骤S2到步骤S4,直到所有数据运算完毕,即得到功能需求的最终结果。其中所述最终结果由神经网络最后一层的输出神经元得到,神经网络的最终输出层每个神经元对应情绪向量的一个元素,输出的神经元值为0和1之间的数,作为该种情绪的出现概率。最终结果从运算单元输出到输出神经元缓存中,然后经DMA返回存储单元。
根据所述功能需求:需要在自适应训练阶段预设情绪向量大小(即表情种类,也是人工神经网络最终输出层的神经元个数)、与训练数据的真实情绪向量的对比形式(欧式距离、内积等)和网络参数更新方式(随机梯度下降、Adam算法等)。
情绪向量也可以只有一个元素的值为1,其余元素为的值为0。这种情况,一个情绪向量就只能代表最显著的一种情绪。
在本公开的一具体实施例中,人工神经网络芯片得到情绪向量的方法包括:神经网络的最终输出层每个神经元对应情绪向量的一个元素,但只有一个神经元输出为1,其余神经元输出为0。计算出上述情绪向量的整体过程为:
步骤S1,输入数据经预处理单元传入存储单元或直接传入存储单元;
步骤S2,DMA(Direct Memory Access,直接内存存取)将其分批传入指令缓存,输入神经元缓存,权值缓存中;
步骤S3,控制单元从指令缓存中读取指令,将其译码后传入运算单元;
步骤S4,根据指令,运算单元执行相应的运算:在神经网络的各个层中,运算主要分为三步:子步骤S41,将对应的输入神经元和权值相乘;子步骤S42,执行加法树运算,即将子步骤S41的结果通过加法树逐级相加,得到加权和,根据需要对加权和加偏置或不做处理;子步骤S43,对子步骤S42得到的结果执行激活函数运算,得到输出神经元,并将其传入输出神经元缓存中。
步骤S5,重复步骤S2到步骤S4,直到所有数据运算完毕,即得到功能需求的最终结果。其中所述最终结果由神经网络最后一层的输出神经元得到,神经网络的最终输出层每个神经元对应情绪向量的一个元素,但只有一个神经元输出为1,其余神经元输出为0。最终结果从运算单元输出到输出神经元缓存中,然后经DMA返回存储单元。
根据所述功能需求:需要在自适应训练阶段预设情绪向量大小(即表情种类,也是人工神经网络最终输出层的神经元个数)、与训练数据的真实情绪向量的对比形式(欧式距离、内积等)和网络参数更新方式(随机梯度下降、Adam算法等);此外该例的训练用到的真实情绪向量与例1不同,应当也是[1,0,0,0…]这样的“指示”向量。
本公开中,各功能单元/模块都是硬件,比如该硬件可以是电路,包括数字电路,模拟电路等等。硬件结构的物理实现包括但不局限于物理器件,物理器件包括但不局限于晶体管,忆阻器等等。所述计算装置中的计算模块可以是任何适当的硬件处理器,比如CPU、GPU、FPGA、DSP和ASIC等等。所述存储单元可以是任何适当的磁存储介质或者磁光存储介质,比如RRAM,DRAM,SRAM,EDRAM,HBM,HMC等等。
另外,本公开神经网络可以是卷积神经网络,还可以是全连接神经网络、RBM神经网络、及循环神经网络(RNN,Recurrent Neural Networks)等。在另外一些实施例中,针对的计算可以是卷积计算之外的其他神经网络中的操作,如全连接等。
以上所述的具体实施例,对本公开的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本公开的具体实施例而已,并不用于限制本公开,凡在本公开的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (10)
1.一种信息处理装置,包括:
存储单元,用于接收并存储数据及指令;以及
数据处理单元,与所述存储单元连接,用于接收所述存储单元发送的数据及指令,对所述数据中包含的关键特征进行提取和运算处理,并根据运算处理结果生成多维向量。
2.根据权利要求1所述的信息处理装置,其中,所述关键特征包括人脸的动作、表情及其对应的位置。
3.根据权利要求1或2所述的信息处理装置,其中,所述输入数据包括一个或多个图像,所述数据处理单元根据运算处理结果为每一图像生成一多维向量。
4.根据权利要求3所述的信息处理装置,其中,所述图像包括静态图片、组成视频的图片或视频;所述静态图片、组成视频的图片或视频包括人脸的一个或者多个部位的图像。
5.根据权利要求4所述的信息处理装置,其中,所述人脸的一个或者多个部位为人脸面部肌肉,嘴唇,眼部,眉毛,鼻子,额头,耳朵及其组合。
6.一种信息处理方法,包括:
存储单元接收并存储数据及指令;以及
数据处理单元接收所述存储单元发送的数据及指令,对所述数据中包含的关键特征进行提取和运算处理,并根据运算处理结果生成多维向量。
7.根据权利要求6所述的信息处理方法,其中,所述关键特征包括人脸的动作、表情及其对应的位置。
8.根据权利要求6或7所述的信息处理方法,其中,所述输入数据包括一个或多个图像,所述数据处理单元根据运算处理结果为每一图像生成一多维向量。
9.根据权利要求8所述的信息处理方法,其中,所述图像包括静态图片、组成视频的图片或视频;所述静态图片、组成视频的图片或视频包括人脸的一个或者多个部位的图像。
10.根据权利要求9所述的信息处理方法,其中,所述人脸的一个或者多个部位为人脸面部肌肉,嘴唇,眼部,眉毛,鼻子,额头,耳朵及其组合。
Priority Applications (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710793531.4A CN107578014B (zh) | 2017-09-06 | 2017-09-06 | 信息处理装置及方法 |
EP18828801.3A EP3637258A4 (en) | 2017-07-05 | 2018-07-05 | DATA PROCESSING APPARATUS AND METHOD |
CN202010617408.9A CN111553473B (zh) | 2017-07-05 | 2018-07-05 | 数据冗余方法及执行数据冗余方法的神经网络处理器 |
CN201880001841.0A CN109478144B (zh) | 2017-07-05 | 2018-07-05 | 一种数据处理装置和方法 |
EP19218378.8A EP3660629B1 (en) | 2017-07-05 | 2018-07-05 | Data processing apparatus and method |
PCT/CN2018/094710 WO2019007406A1 (zh) | 2017-07-05 | 2018-07-05 | 一种数据处理装置和方法 |
EP19217773.1A EP3660739A1 (en) | 2017-07-05 | 2018-07-05 | Data processing apparatus and method |
US16/698,993 US11086634B2 (en) | 2017-07-05 | 2019-11-28 | Data processing apparatus and method |
US16/698,997 US11307865B2 (en) | 2017-09-06 | 2019-11-28 | Data processing apparatus and method |
US16/698,996 US20200110635A1 (en) | 2017-07-05 | 2019-11-28 | Data processing apparatus and method |
US16/698,992 US11307864B2 (en) | 2017-07-05 | 2019-11-28 | Data processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710793531.4A CN107578014B (zh) | 2017-09-06 | 2017-09-06 | 信息处理装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107578014A true CN107578014A (zh) | 2018-01-12 |
CN107578014B CN107578014B (zh) | 2020-11-03 |
Family
ID=61029956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710793531.4A Active CN107578014B (zh) | 2017-07-05 | 2017-09-06 | 信息处理装置及方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11307865B2 (zh) |
CN (1) | CN107578014B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108639882A (zh) * | 2018-05-03 | 2018-10-12 | 中国科学院计算技术研究所 | 基于lstm网络模型的处理芯片与包含其的运算装置 |
CN109063826A (zh) * | 2018-03-19 | 2018-12-21 | 重庆大学 | 一种基于忆阻器的卷积神经网络实现方法 |
CN109117741A (zh) * | 2018-07-20 | 2019-01-01 | 苏州中德宏泰电子科技股份有限公司 | 离线待检测对象识别方法与装置 |
CN109165728A (zh) * | 2018-08-06 | 2019-01-08 | 济南浪潮高新科技投资发展有限公司 | 一种卷积神经网络的基本计算单元及计算方法 |
CN109359734A (zh) * | 2018-10-24 | 2019-02-19 | 电子科技大学 | 一种基于忆阻器单元的神经网络突触结构及其调节方法 |
CN109508727A (zh) * | 2018-04-23 | 2019-03-22 | 北京航空航天大学 | 一种基于加权欧氏距离的度量功能间相似性的方法 |
CN109697500A (zh) * | 2018-12-29 | 2019-04-30 | 北京中科寒武纪科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN110135563A (zh) * | 2019-05-13 | 2019-08-16 | 北京航空航天大学 | 一种卷积神经网络二值化方法及运算电路 |
CN110276447A (zh) * | 2018-03-14 | 2019-09-24 | 上海寒武纪信息科技有限公司 | 一种计算装置及方法 |
CN110364232A (zh) * | 2019-07-08 | 2019-10-22 | 河海大学 | 一种基于忆阻器-梯度下降法神经网络的高性能混凝土强度预测方法 |
TWI693556B (zh) * | 2018-01-22 | 2020-05-11 | 美商耐能有限公司 | 臉部辨識系統及臉部辨識方法 |
CN111209245A (zh) * | 2018-11-21 | 2020-05-29 | 上海寒武纪信息科技有限公司 | 数据处理装置、方法及相关产品 |
CN111626430A (zh) * | 2019-04-18 | 2020-09-04 | 中科寒武纪科技股份有限公司 | 一种数据处理方法及相关产品 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11663461B2 (en) * | 2018-07-05 | 2023-05-30 | International Business Machines Corporation | Instruction distribution in an array of neural network cores |
US20210326188A1 (en) * | 2019-01-08 | 2021-10-21 | Hewlett-Packard Development Company, L.P. | Stabilizing performance of processing devices |
US11592984B2 (en) * | 2020-09-11 | 2023-02-28 | Seagate Technology Llc | Onboard machine learning for storage device |
US11748251B2 (en) * | 2021-01-08 | 2023-09-05 | Microsoft Technology Licensing, Llc | Storing tensors in memory based on depth |
US20230385624A1 (en) * | 2022-05-27 | 2023-11-30 | Arizona Board Of Regents On Behalf Of Arizona State University | Computing in memory with artificial neurons |
CN118274248A (zh) * | 2024-06-03 | 2024-07-02 | 成都蓉悦科技有限公司 | 储气站数据自动测控装置、***及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11175535A (ja) * | 1997-12-08 | 1999-07-02 | Hitachi Ltd | 画像検索方法およびその装置およびこれを利用した検索サービス |
CN103258204A (zh) * | 2012-02-21 | 2013-08-21 | 中国科学院心理研究所 | 一种基于Gabor和EOH特征的自动微表情识别方法 |
CN106372622A (zh) * | 2016-09-30 | 2017-02-01 | 北京奇虎科技有限公司 | 一种人脸表情分类方法及装置 |
CN106649890A (zh) * | 2017-02-07 | 2017-05-10 | 税云网络科技服务有限公司 | 数据存储方法和装置 |
CN106991477A (zh) * | 2016-01-20 | 2017-07-28 | 南京艾溪信息科技有限公司 | 一种人工神经网络压缩编码装置和方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7016884B2 (en) * | 2002-06-27 | 2006-03-21 | Microsoft Corporation | Probability estimate for K-nearest neighbor |
JP4845755B2 (ja) | 2007-01-30 | 2011-12-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
US8219438B1 (en) * | 2008-06-30 | 2012-07-10 | Videomining Corporation | Method and system for measuring shopper response to products based on behavior and facial expression |
US8656145B2 (en) | 2008-09-19 | 2014-02-18 | Qualcomm Incorporated | Methods and systems for allocating interrupts in a multithreaded processor |
CN101547144B (zh) | 2008-12-29 | 2011-11-23 | 华为技术有限公司 | 一种提高数据传输质量的方法和装置 |
US8255774B2 (en) | 2009-02-17 | 2012-08-28 | Seagate Technology | Data storage system with non-volatile memory for error correction |
CN102314213B (zh) | 2010-07-09 | 2016-03-30 | 精英电脑股份有限公司 | 动态调整工作频率的计算机*** |
US9082235B2 (en) * | 2011-07-12 | 2015-07-14 | Microsoft Technology Licensing, Llc | Using facial data for device authentication or subject identification |
US20140089699A1 (en) | 2012-09-27 | 2014-03-27 | Advanced Micro Devices | Power management system and method for a processor |
US8861270B2 (en) | 2013-03-11 | 2014-10-14 | Microsoft Corporation | Approximate multi-level cell memory operations |
US9104907B2 (en) * | 2013-07-17 | 2015-08-11 | Emotient, Inc. | Head-pose invariant recognition of facial expressions |
WO2015017868A1 (en) * | 2013-08-02 | 2015-02-05 | Emotient | Filter and shutter based on image emotion content |
US9684559B1 (en) | 2014-04-25 | 2017-06-20 | Altera Corporation | Methods and apparatus for storing error correction information on a memory controller circuit |
GB2529670A (en) | 2014-08-28 | 2016-03-02 | Ibm | Storage system |
US9552510B2 (en) | 2015-03-18 | 2017-01-24 | Adobe Systems Incorporated | Facial expression capture for character animation |
US9600715B2 (en) | 2015-06-26 | 2017-03-21 | Intel Corporation | Emotion detection system |
CN107704433A (zh) | 2016-01-20 | 2018-02-16 | 南京艾溪信息科技有限公司 | 一种矩阵运算指令及其方法 |
CN110135581B (zh) | 2016-01-20 | 2020-11-06 | 中科寒武纪科技股份有限公司 | 用于执行人工神经网络反向运算的装置和方法 |
CN106201651A (zh) | 2016-06-27 | 2016-12-07 | 鄞州浙江清华长三角研究院创新中心 | 神经形态芯片的模拟器 |
CN106775977B (zh) | 2016-12-09 | 2020-06-02 | 北京小米移动软件有限公司 | 任务调度方法、装置及*** |
-
2017
- 2017-09-06 CN CN201710793531.4A patent/CN107578014B/zh active Active
-
2019
- 2019-11-28 US US16/698,997 patent/US11307865B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11175535A (ja) * | 1997-12-08 | 1999-07-02 | Hitachi Ltd | 画像検索方法およびその装置およびこれを利用した検索サービス |
CN103258204A (zh) * | 2012-02-21 | 2013-08-21 | 中国科学院心理研究所 | 一种基于Gabor和EOH特征的自动微表情识别方法 |
CN106991477A (zh) * | 2016-01-20 | 2017-07-28 | 南京艾溪信息科技有限公司 | 一种人工神经网络压缩编码装置和方法 |
CN106372622A (zh) * | 2016-09-30 | 2017-02-01 | 北京奇虎科技有限公司 | 一种人脸表情分类方法及装置 |
CN106649890A (zh) * | 2017-02-07 | 2017-05-10 | 税云网络科技服务有限公司 | 数据存储方法和装置 |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10885314B2 (en) | 2018-01-22 | 2021-01-05 | Kneron Inc. | Face identification system and face identification method with high security level and low power consumption |
TWI693556B (zh) * | 2018-01-22 | 2020-05-11 | 美商耐能有限公司 | 臉部辨識系統及臉部辨識方法 |
CN110276447A (zh) * | 2018-03-14 | 2019-09-24 | 上海寒武纪信息科技有限公司 | 一种计算装置及方法 |
CN109063826B (zh) * | 2018-03-19 | 2019-05-31 | 重庆大学 | 一种基于忆阻器的卷积神经网络实现方法 |
CN109063826A (zh) * | 2018-03-19 | 2018-12-21 | 重庆大学 | 一种基于忆阻器的卷积神经网络实现方法 |
CN109508727A (zh) * | 2018-04-23 | 2019-03-22 | 北京航空航天大学 | 一种基于加权欧氏距离的度量功能间相似性的方法 |
CN109508727B (zh) * | 2018-04-23 | 2021-07-16 | 北京航空航天大学 | 一种基于加权欧氏距离的度量功能间相似性的方法 |
CN108639882A (zh) * | 2018-05-03 | 2018-10-12 | 中国科学院计算技术研究所 | 基于lstm网络模型的处理芯片与包含其的运算装置 |
CN109117741A (zh) * | 2018-07-20 | 2019-01-01 | 苏州中德宏泰电子科技股份有限公司 | 离线待检测对象识别方法与装置 |
CN109165728A (zh) * | 2018-08-06 | 2019-01-08 | 济南浪潮高新科技投资发展有限公司 | 一种卷积神经网络的基本计算单元及计算方法 |
CN109165728B (zh) * | 2018-08-06 | 2020-12-18 | 浪潮集团有限公司 | 一种卷积神经网络的基本计算单元及计算方法 |
CN109359734B (zh) * | 2018-10-24 | 2021-10-26 | 电子科技大学 | 一种基于忆阻器单元的神经网络突触结构及其调节方法 |
CN109359734A (zh) * | 2018-10-24 | 2019-02-19 | 电子科技大学 | 一种基于忆阻器单元的神经网络突触结构及其调节方法 |
CN111209245A (zh) * | 2018-11-21 | 2020-05-29 | 上海寒武纪信息科技有限公司 | 数据处理装置、方法及相关产品 |
CN109697500A (zh) * | 2018-12-29 | 2019-04-30 | 北京中科寒武纪科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN111626430A (zh) * | 2019-04-18 | 2020-09-04 | 中科寒武纪科技股份有限公司 | 一种数据处理方法及相关产品 |
US11762690B2 (en) | 2019-04-18 | 2023-09-19 | Cambricon Technologies Corporation Limited | Data processing method and related products |
CN111626430B (zh) * | 2019-04-18 | 2023-09-26 | 中科寒武纪科技股份有限公司 | 一种数据处理方法及相关产品 |
CN110135563A (zh) * | 2019-05-13 | 2019-08-16 | 北京航空航天大学 | 一种卷积神经网络二值化方法及运算电路 |
CN110135563B (zh) * | 2019-05-13 | 2022-07-26 | 北京航空航天大学 | 一种卷积神经网络二值化方法及运算电路 |
CN110364232A (zh) * | 2019-07-08 | 2019-10-22 | 河海大学 | 一种基于忆阻器-梯度下降法神经网络的高性能混凝土强度预测方法 |
CN110364232B (zh) * | 2019-07-08 | 2021-06-11 | 河海大学 | 一种基于忆阻器-梯度下降法神经网络的高性能混凝土强度预测方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200104573A1 (en) | 2020-04-02 |
US11307865B2 (en) | 2022-04-19 |
CN107578014B (zh) | 2020-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107578014A (zh) | 信息处理装置及方法 | |
CN109472194B (zh) | 一种基于cblstm算法模型的运动想象脑电信号特征识别方法 | |
CN105512723B (zh) | 一种用于稀疏连接的人工神经网络计算装置和方法 | |
CN109478144B (zh) | 一种数据处理装置和方法 | |
Wu et al. | Evolving RBF neural networks for rainfall prediction using hybrid particle swarm optimization and genetic algorithm | |
CN107992486A (zh) | 一种信息处理方法及相关产品 | |
CN109754063A (zh) | 用于学习低精度神经网络的方法及装置 | |
CN111091045A (zh) | 一种基于时空注意力机制的手语识别方法 | |
CN106709461A (zh) | 基于视频的行为识别方法及装置 | |
CN110532996A (zh) | 视频分类的方法、信息处理的方法以及服务器 | |
CN109697510A (zh) | 具有神经网络的方法和装置 | |
CN109559300A (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
CN109657890A (zh) | 一种转账欺诈的风险确定方法及装置 | |
Smith et al. | Astronomia ex machina: a history, primer and outlook on neural networks in astronomy | |
Cho et al. | Exponentially increasing the capacity-to-computation ratio for conditional computation in deep learning | |
CN109522925A (zh) | 一种图像识别方法、装置和存储介质 | |
CN110442721A (zh) | 神经网络语言模型、训练方法、装置及存储介质 | |
CN114925320B (zh) | 一种数据处理方法及相关装置 | |
CN112561028A (zh) | 训练神经网络模型的方法、数据处理的方法及装置 | |
CN114330541A (zh) | 道路交通事故风险预测深度学习算法 | |
CN109670927A (zh) | 信用额度的调整方法及其装置、设备、存储介质 | |
CN109508640A (zh) | 一种人群情感分析方法、装置和存储介质 | |
CN117033985A (zh) | 一种基于ResCNN-BiGRU的运动想象脑电分类方法 | |
Cao et al. | A dual attention model based on probabilistically mask for 3D human motion prediction | |
CN108470212B (zh) | 一种能利用事件持续时间的高效lstm设计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |