KR101948417B1 - Multiple neuro-physiological signal based animal behavior control system and method thereof - Google Patents
Multiple neuro-physiological signal based animal behavior control system and method thereof Download PDFInfo
- Publication number
- KR101948417B1 KR101948417B1 KR1020170039216A KR20170039216A KR101948417B1 KR 101948417 B1 KR101948417 B1 KR 101948417B1 KR 1020170039216 A KR1020170039216 A KR 1020170039216A KR 20170039216 A KR20170039216 A KR 20170039216A KR 101948417 B1 KR101948417 B1 KR 101948417B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- animal
- equation
- quot
- vector
- Prior art date
Links
- 241001465754 Metazoa Species 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000001537 neural effect Effects 0.000 title claims abstract description 32
- 239000013598 vector Substances 0.000 claims abstract description 166
- 210000003792 cranial nerve Anatomy 0.000 claims abstract description 62
- 230000033001 locomotion Effects 0.000 claims abstract description 46
- 230000000638 stimulation Effects 0.000 claims abstract description 37
- 230000002490 cerebral effect Effects 0.000 claims abstract description 36
- 230000004044 response Effects 0.000 claims description 28
- 210000005036 nerve Anatomy 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000012706 support-vector machine Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000013186 photoplethysmography Methods 0.000 claims description 13
- 230000017531 blood circulation Effects 0.000 claims description 12
- 210000004556 brain Anatomy 0.000 claims description 10
- 230000003595 spectral effect Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 229910052709 silver Inorganic materials 0.000 claims description 6
- 239000004332 silver Substances 0.000 claims description 6
- 230000026058 directional locomotion Effects 0.000 claims description 5
- 238000002565 electrocardiography Methods 0.000 claims description 5
- 210000004727 amygdala Anatomy 0.000 claims description 4
- 238000000537 electroencephalography Methods 0.000 claims description 4
- 238000012880 independent component analysis Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000037361 pathway Effects 0.000 claims description 3
- 230000003238 somatosensory effect Effects 0.000 claims description 3
- 230000002269 spontaneous effect Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 210000004227 basal ganglia Anatomy 0.000 claims description 2
- 230000001447 compensatory effect Effects 0.000 claims description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 2
- 210000001103 thalamus Anatomy 0.000 claims description 2
- 210000002071 ventral thalamic nuclei Anatomy 0.000 claims description 2
- 210000000133 brain stem Anatomy 0.000 claims 1
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000009155 sensory pathway Effects 0.000 claims 1
- 230000000392 somatic effect Effects 0.000 claims 1
- 230000006399 behavior Effects 0.000 description 43
- 230000008569 process Effects 0.000 description 19
- 238000000605 extraction Methods 0.000 description 14
- 239000000284 extract Substances 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 208000032140 Sleepiness Diseases 0.000 description 5
- 206010041349 Somnolence Diseases 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000037321 sleepiness Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000036626 alertness Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000001256 tonic effect Effects 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 238000010009 beating Methods 0.000 description 2
- 210000003169 central nervous system Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000002509 periaqueductal gray Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000036982 action potential Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 230000009045 body homeostasis Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 210000004720 cerebrum Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 210000001428 peripheral nervous system Anatomy 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K15/00—Devices for taming animals, e.g. nose-rings or hobbles; Devices for overturning animals in general; Training or exercising equipment; Covering boxes
- A01K15/02—Training or exercising equipment, e.g. mazes or labyrinths for animals ; Electric shock devices ; Toys specially adapted for animals
- A01K15/029—Electric or similar shock devices, e.g. prods
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Animal Husbandry (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Biodiversity & Conservation Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Marine Sciences & Fisheries (AREA)
- Marketing (AREA)
- Animal Behavior & Ethology (AREA)
- Agronomy & Crop Science (AREA)
- Physical Education & Sports Medicine (AREA)
- Mining & Mineral Resources (AREA)
- Biophysics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Zoology (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
본 발명은 동물 행동 제어를 위한 시스템 및 방법에 관한 것으로, 본 발명의 따른 동물 행동 제어 시스템은 동물의 뇌신경신호 및 생리신호를 감지 및 기록하는 신호 감지 및 기록부; 상기 신호 감지 및 기록부로부터 전달받은 뇌신경신호 및 생리신호를 통해 각각의 뇌신경신호 특징벡터 및 생리신호 특징벡터를 추출하고, 추출된 특징벡터를 해독하여 동물의 운동 의도 및 생체 상태를 파악하는 신호 분석부; 파악된 동물의 운동 의도 및 생체 상태에 따라 전기 자극 파라미터를 조절하여 그에 상응하는 보상 혹은 처벌 자극을 주는 제어부; 및 조절된 전기 자극 파라미터를 이용하여 특정 대뇌 영역에 전기 자극을 출력하는 행동제어 명령 지시부;를 포함한다. 이를 이용하여 동물의 다중 신경생리신호를 기록 및 해독하여 동물의 운동 의도 및 생체 상태를 파악할 수 있고, 파악된 동물의 운동 의도 및 생체 상태를 통해 동물에게 적절한 전기 자극을 가해줌으로써 동물의 움직임을 효율적으로 제어하고 생체 상태를 조절할 수 있는 효과가 있다.The present invention relates to a system and a method for controlling animal behavior, and an animal behavior control system according to the present invention comprises a signal sensing and recording unit for sensing and recording a neural signal and a physiological signal of an animal; A signal analyzing unit for extracting each of the cranial nerve signal feature vector and physiological signal feature vector from the signal sensing and recording unit and receiving the cranial nerve signal and the physiological signal, ; A control unit for controlling electric stimulation parameters according to a motion intention and a living state of the identified animal to give corresponding compensation or punishment stimulation; And a behavior control instruction instructing unit to output electric stimulation to a specific cerebral region using the adjusted electric stimulation parameter. By using this, it is possible to record and decode animal's multi-nervous physiological signal to understand the motion intention and living state of the animal, and to apply the appropriate electric stimulation to the animal through the motion intention and the living state of the animal, And the living body state can be controlled.
Description
본 발명은 동물의 행동 제어를 위한 시스템에 관한 것으로, 보다 구체적으로는 다중 신경생리신호의 기록 및 해독을 통해 동물의 생체의 상태와 행동 상태를 확인할 수 있게 하여 보다 효과적으로 동물의 행동을 제어할 수 있는 동물 행동 제어 시스템 및 이를 이용한 동물 행동의 제어 방법에 관한 것이다.The present invention relates to a system for controlling the behavior of an animal, and more particularly, by recording and deciphering multiple neuronal physiological signals, it is possible to check the state and behavior of an animal's living body, And an animal behavior control system using the same.
생체는 주변의 환경 변화에 적응하고 몸의 항상성을 유지하기 위하여 몸에 적절한 변화를 일으킨다. 또한, 인지 활동을 포함한 운동을 실행하기 위해 생체는 주변의 변화를 감지하고 움직임에 대한 계획을 설립하고 계획을 실천하는 복잡한 생체 활동을 일으킨다. 그리고 그 과정에서 다양한 종류의 생체 신호를 획득하고 해석할 수 있으며 이를 통해 생체가 현재 어떤 일을 진행하고 있는지에 대해 간접적으로 확인할 수도 있다.The living body adapts itself to changes in the surrounding environment and causes appropriate changes in the body to maintain the body's homeostasis. In addition, in order to carry out the exercise including the cognitive activity, the living body senses the change around, establishes a plan of movement, and creates a complex bio-activity that implements the plan. In the process, various kinds of bio-signals can be acquired and analyzed, and indirectly checking what the living body is currently doing.
한편, 전 세계적으로 동물을 훈련하여 특수 목적에 사용하는 많은 케이스가 있고 국내의 경우에도 인명구조견, 마약탐지견 등 동물을 이용 및 제어하여 특수 목적에 사용하고 있다. 하지만, 동물을 훈련하는 데 있어도 동물 역시 생물인 한계로 강제적인 명령에 대한 복종은 불가능하고, 또 동물의 생체 상태를 수치적으로 확인하고 적절한 자극을 이용해 생체 상태를 완화시켜 임무 완수에 도움을 주기가 힘들다는 한계점이 분명하다.On the other hand, there are many cases in which animals are trained and used for special purposes all over the world, and even in Korea, animals are used and controlled for special purposes such as rescue dogs and drug detection dogs. However, even in the training of animals, animals are also limited to living creatures, and it is impossible to obey mandatory orders, and numerical confirmation of the animal's state of life and mitigation of vital conditions by using appropriate stimuli It is clear that the limit is difficult.
한국에 출원한 특허출원번호 제10-2015-0022655호에서는 마이크, 동물의 활동량, 체온 등을 제어 단말로 전송해 동물의 상태를 알 수 있게 하고 사용자의 목소리 등을 전달할 수 있으나 실질적인 자극을 통한 강제적 명령 복종 또는 생체 상태의 완화를 시킬 수 있게 하는 것은 아니다.Patent Application No. 10-2015-0022655 filed in Korea can transmit the microphone, the activity amount of the animal, and the body temperature to the control terminal so as to know the state of the animal and to transmit the voice of the user. However, It does not allow instruction obedience or relaxation of the living state.
또한, 한국에 출원한 특허출원번호 제10-2011-0033068호에서는 보상 및 처벌 자극을 이용해서 동물의 움직임을 유도하는 시스템이긴 하나 피드백의 방식이 수동 형식이고 가상 환경 장치 내에서 훈련하고 적용할 수 있는 한계점이 있는 문제점이 있다.Patent Application No. 10-2011-0033068 filed in Korea also discloses a system for inducing animal movement using compensation and punishment stimulation, but the feedback method is a manual type and can be trained and applied in a virtual environment apparatus There is a problem with the limit.
이에 상기와 같은 점을 감안한 본 발명은 동물의 뇌신경신호 및 다중신경생리신호의 기록(recording) 및 해독(decoding) 기술을 이용함으로써 동물의 운동 의도, 생체 상태를 파악하고, 동물에게 적절한 전기 전극을 가해줌으로써 동물 움직임을 효과적 제어하고 생체 상태를 조절할 수 있는 동물 행동 제어 시스템 및 방법의 제공에 목적이 있다.In view of the above, the present invention provides a method of recording an animal's movement intention and a living state by using a recording and decoding technique of an animal's brain signal and multiple nerve physiological signals, And an animal behavior control system and method capable of effectively controlling an animal movement and controlling a living body by applying the animal behavior control system.
상기와 같은 목적을 달성하기 위해 본 발명의 일 양태에 따른 다중 신경생리신호 기록 및 해석 기반의 동물행동 제어 시스템은, 동물의 뇌신경신호 및 생리신호를 감지 및 기록하는 신호 감지 및 기록부(100), 상기 신호 감지 및 기록부로부터 전달받은 뇌신경신호 및 생리신호를 통해 각각의 뇌신경신호 특징벡터 및 생리신호 특징벡터를 추출하고, 추출된 뇌신경신호 특징벡터 및 생리신호 특징벡터를 해독하여 동물의 운동 의도 및 생체 상태를 파악하는 신호 분석부(110), 파악된 동물의 운동 의도 및 생체 상태에 따라 전기 자극 파라미터를 조절하여 그에 상응하는 보상 혹은 처벌 자극을 주는 제어부(120) 및 조절된 전기 자극 파라미터를 이용하여 특정 대뇌 영역에 전기 자극을 출력하는 행동제어 명령 지시부(130)를 포함하여 구성될 수 있다.According to an aspect of the present invention, there is provided an animal behavior control system for recording and analyzing multiple neural physiological signals, comprising: a signal sensing and recording unit (100) for sensing and recording a neural signal and a physiological signal of an animal; And extracts the cranial nerve signal feature vector and the physiological signal feature vector through the cranial nerve signal and the physiological signal received from the signal sensing and recording unit, decodes the extracted cranial nerve signal feature vector and physiological signal feature vector, A
신호 감지 및 기록부(100)에서 측정되는 뇌신경신호는 신경세포로부터 발생하는 활동전위인 세포 외 기록 신호(extracellular recording signal), 국소뇌전위(local field potential), 뇌피질 뇌파(subdural electrocortigram, ECoG) 및 뇌전도(electroencephalography, EEG) 중에서 선택된 어느 하나 이상이다.The cranial nerve signal measured in the signal sensing and
상기 생리신호는 피부표면온도(skin temperature, SKT), 광혈류량(photo-plethysmography, PPG), 심전도(electrocardiography, ECG), 피부 전도도 반응(skin conductance response, SCR) 및 호흡 신호 중에서 선택되는 어느 하나 이상이다.The physiological signal may be at least one selected from skin temperature (SKT), photo-plethysmography (PPG), electrocardiography (ECG), skin conductance response to be.
상기 신호 감지 및 기록부(100)는 동물의 뇌신경신호를 감지 및 기록하는 뇌신경신호 기록 전극(100a), 동물의 생리신호를 감지 및 기록하는 생리신호 기록 전극(100b), 및 감지된 뇌신경신호 및 생리신호를 증폭하는 증폭부(100c)를 포함한다.The signal sensing and
상기 신호 분석부(110)는 뇌신경신호로부터 뇌신경신호 특징벡터를 추출하는 뇌신경신호 특징벡터 추출부(110a-1)와, 생리신호로부터 생리신호 특징벡터를 추출하는 생리신호 특징벡터 추출부(110a-2)로 이루어진 특징벡터 추출부(110a), 및 상기 뇌신경신호 특징벡터와 상기 생리신호 특징벡터를 해독하여 동물의 운동 의도와 생체 상태를 파악하는 해독부(110b)를 포함한다.The
상기 해독부(110b)는 서포트 벡터 머신(Support Vector Machine,이하 'SVM'라고도 함)에 의해 동물의 운동 의도를 이진 값으로 출력하는 이진 결정 의도 인식기(110b-1), 및 서포트 벡터 회귀(Support Vector Regression, 이하 'SVR'라고도함)에 의해 동물의 생체 상태를 연속된 실수 값으로 출력하는 회귀부(110b-2)를 포함한다.The
상기 제어부(120)는 파악된 동물의 운동 의도 및 생체 상태를 토대로 보상 혹은 처벌 여부를 결정하는 보상 혹은 처벌 결정부(120a), 및 상기 보상 혹은 처벌 결정부에서 수신받은 결정으로부터 동물의 행동을 제어하기 위한 전기 자극 파라미터를 생성하는 자극 생성 및 제시부(120b)를 포함한다.The
상기 행동제어 명령 지시부(130)는 동물의 행동 및 생체 상태의 제어에 대한 사용자 명령을 입력받는 입력부(130a), 상기 신호 분석부(110)로부터 수신된 운동 의도와 생체 상태를 디스플레이부로 출력하는 출력부(130b), 상기 출력부에서 출력된 운동 의도와 생체 상태를 표시하는 디스플레이부(130c), 및 상기 입력부로부터 전달받은 사용자 명령을 토대로 움직임 방향에 관한 큐(cue) 자극 명령을 받아 행동 제어 명령과 생체 상태를 조절할 수 있도록 동물의 특정 대뇌 영역에 전기 자극을 출력하는 명령 자극 제시부(130d)를 포함한다.The behavior control
또 다른 본 발명의 목적을 달성하기 위한 본 발명의 동물 행동 제어 시스템을 이용한 동물 행동의 제어 방법은 도 8을 참조하면, (a) 대상 동물로부터 뇌신경신호 및 생리신호를 측정 및 저장하는 단계(S110), (b) 뇌신경신호 및 생리신호를 분석하여 각각의 뇌신경신호 특징벡터 및 생리신호 특징벡터를 추출하는 단계(S120), (c) 추출된 뇌신경신호 특징벡터 및 생리신호 특징벡터를 해독하여 동물의 운동 의도 및 생체 상태를 파악하는 단계(S130), (d) 파악된 동물의 운동 의도 및 생체 상태를 기반으로 보상 혹은 처벌여부를 결정하거나 동물의 임무지속 가능여부를 결정하여 동물의 행동을 제어하기 위한 전기 자극 파라미터를 조절하는 단계(S140), (e) 결정된 전기 자극 파라미터에 따른 전기 자극 파형을 특정 대뇌 영역에 전달하여 동물의 행동을 제어하는 단계(S150)를 포함하여 이루어진다.According to another aspect of the present invention, there is provided a method of controlling animal behavior using an animal behavior control system, comprising the steps of: (a) measuring and storing a neural signal and a physiological signal from a subject animal; (b) analyzing a cranial nerve signal and a physiological signal to extract a cranial nerve signal characteristic vector and a physiological signal characteristic vector, respectively, (c) extracting the extracted cranial nerve signal characteristic vector and physiological signal characteristic vector, (D) determining whether the animal is to be compensated or punished based on the intention and the biological state of the animal, or determining whether the animal can sustain the animal's behavior, (S140) of controlling the electric stimulation parameters for the animal, (e) controlling the behavior of the animal by transmitting the electric stimulation waveform according to the determined electric stimulation parameter to a specific cerebral region It comprises a (S150).
상기 (a) 단계(S110)는 신호 감지 및 기록부(100)를 통해 동물의 뇌신경신호 및 생리신호를 측정하고 저장할 수 있다.The step (a) S110 may measure and store the cerebral nerve signal and the physiological signal of the animal through the signal sensing and
여기서 측정되는 동물의 뇌신경신호 및 생리신호는 앞서 설명한 동물행동 제어 시스템에서 측정된 뇌신경신호 및 생리신호와 동일하므로, 중복되는 설명은 생략하기로 한다.The cranial nerve signal and the physiological signal of the animal measured here are the same as the cranial nerve signal and the physiological signal measured in the animal behavior control system described above, and therefore, a duplicate description will be omitted.
상기 (b) 단계는 상기 (a) 단계 측정된 뇌신경신호 및 생리신호를 신호 분석부(110)의 특징벡터 추출부(110a)에서 각각의 뇌신경신호 및 생리신호 특징벡터를 추출하는 단계이다.The step (b) extracts the cranial nerve signals and the physiological signals from the feature
구체적으로 (b) 단계는 상기 신호 감지 및 기록부(100)에서 측정된 뇌신경신호를 이용하여 특징벡터 추출부(110a)의 뇌신경신호 특징벡터 추출부(110a-1)에서 스파이크 트레인(spike train), 파워 스펙트럼 밀도(power spectrum density), 대뇌 영역 간 기능적 연결도(functional connectivity), 및 대뇌 영역 간 효과적 연결도(effective connectivity) 중의 어느 하나 이상을 통해 뇌신경신호 특징벡터를 추출할 수 있다.More specifically, in step (b), a cranial nerve signal characteristic
상기 파워 스펙트럼 밀도(power spectrum density)는 측정된 뇌신경신호 중 어느 하나의 신호를 M차원(M은 1 이상의 정수)의 벡터 
[수학식 1][Equation 1]
수학식 1에서 
[수학식 2]&Quot; (2) "
수학식 2에서 
[수학식 3]&Quot; (3) "
수학식 3에서 
상기 대뇌 영역 간 기능적 연결도(functional connectivity)는 뇌신경신호 중 어느 둘의 뇌신경신호를 한 쌍의 M차원(M은 1 이상의 정수)의 벡터 
[수학식 4]&Quot; (4) "
수학식 4에서 
[수학식 5]&Quot; (5) "
수학식 5에서, 
[수학식 6]&Quot; (6) "
수학식 6에서, 
상기 대뇌 영역 간 효과적 연결도(effective connectivity)는 뇌신경신호 중 어느 둘의 뇌신경신호를 한 쌍의 M차원(M은 1 이상의 정수)의 벡터 
[수학식 7]&Quot; (7) "
수학식 7에서, 
[수학식 8]&Quot; (8) "
상기 수학식 8에서, 
[수학식 9]&Quot; (9) "
상기 수학식 9에서, 
그리고 (b) 단계에서는 신호 감지 및 기록부(100)에서 측정된 생리신호를 통해 특징벡터 추출부(110a)의 생리신호 특징벡터 추출부(110a-2)에서 피부표면온도(skin temperature, SKT)를 이용한 특징벡터, 광혈류량(photo-plethysmography, PPG)을 이용한 특징벡터, 심전도(electrocardiography, ECG)을 이용한 특징벡터, 피부 전도도 반응(skin conductance response, SCR)을 이용한 특징벡터 및 호흡 신호를 이용한 특징벡터 중에서 선택되는 어느 하나 이상으로 생리신호 특징벡터를 추출할 수 있다.In step (b), the skin temperature (SKT) is calculated in the physiological signal feature
일 구체예로 생리신호 특징벡터 추출부(110a-2)에서 추출하는 생리신호 특징 벡터는 아래에 설명하는 방법으로 추출할 수 있다.In one embodiment, the physiological signal feature vector extracted by the physiological signal feature
예를 들어 획득된 생리신호 중 피부 전도도(SCR)를 이용한 특징벡터의 경우, 피부 전도도 반응의 진폭 평균값(mean of SCR amplitude), 피부 전도도 반응의 음수 값의 평균값, 피부 전도도 반응의 표준 편차, 피부 전도도 반응의 1차 미분 신호의 평균값(mean of 1st derivative of SCR), 피부 전도도 반응의 2차 미분 신호의 평균값(mean of 2nd derivative of SCR), 피부 전도도 반응의 전체 샘플 개수 대비 음의 값을 가지는 샘플의 비율을 포함하는 특징 벡터를 추출하거나, 또는 피부 전도도가 느린 반응 값(skin conductance slow response, SCSR)을 이용하여 SCSR의 평균값(Mean of SCSR), SCSR 진폭의 평균값(mean of SCSR ampliutde), SCSR의 표준편차(standard deviation of SCSR), 1차 미분 신호의 평균값(mean of 1st derivative of SCSR), 2차 미분 신호의 평균값(mean of 2nd derivative of SCSR), SCSR occurrence 등을 포함하는 특징벡터를 추출할 수 있다.For example, in the case of feature vectors using skin conductivity (SCR) among acquired physiological signals, mean values of SCR amplitude of skin conductance response, mean value of negative values of skin conductivity response, standard deviation of skin conductivity response, The mean value of the first derivative signal of the conductivity response, the mean derivative of the second derivative signal of the skin conductivity response, and the negative value of the total number of samples of the skin conductivity response. The mean of the SCSR amplitude, the mean of the SCSR amplitude, and the mean value of the SCSR using the skin conductance slow response (SCSR) A feature vector including a standard deviation of the SCSR, a mean of the first derivative of the SCSR, a mean of the second derivative of the SCSR, Can be extracted.
또 다른 하나의 생리신호 특징벡터로 광혈류량을 이용한 특징벡터의 경우는, 광혈류량을 이용하여 얻을 수 있는 심박수의 평균, 심박 수 변이(Heart rate variability)의 평균, 광혈류량의 표준편차, 광혈류량의 1차 미분의 평균, 광혈류량의 1차 미분의 표준편차, 및 광혈류량의 저주파 성분과 고주파 성분의 비율중 어느 하나 이상을 포함하는 특징 벡터를 추출할 수 있다.In the case of the feature vector using the optical blood flow as the other physiological signal feature vector, the average of the heart rate obtained by using the optical blood flow, the average of the heart rate variability, the standard deviation of the optical blood flow, A standard deviation of the first derivative of the optical blood flow, and a ratio of the low-frequency component and the high-frequency component of the optical blood flow can be extracted.
또 다른 하나의 생리신호 특징벡터로 피부표면온도를 이용한 특징벡터 경우는, 피부 표면 온도 변화를 나타내는 1차 미분 값의 평균, 피부표면온도의 최대값, 및 0.1 내지 0.2 헤르츠(Hz)의 주파수 대역 스펙트럼 파워 중 어느 하나 이상을 포함하는 특징벡터를 추출할 수 있다.The feature vector using the skin surface temperature as the other physiological signal feature vector includes the average of the first derivative showing the skin surface temperature change, the maximum value of the skin surface temperature, and the frequency band of 0.1 to 0.2 hertz (Hz) The spectral power, and the spectral power.
(c) 단계(S130)는 상기 (b) 단계에서 추출된 뇌신경신호 특징벡터 및 생리신호 특징벡터를 신호 분석부(110)의 해독부(110b)를 통해 상기 뇌신경신호 특징벡터 및 생리신호 특징벡터를 이용하는 기계학습 알고리즘을 사용하여 동물의 운동 의도 및 생체 상태를 파악하는 단계이다.(c) In operation S130, the cranial nerve signal feature vector and the physiological signal feature vector extracted in the step (b) are input to the deciphering
여기서 상기 운동 의도는 동물의 움직임, 정지 및 움직임의 좌우 방향의 정보 중 어느 하나 이상이며, 상기 생체 상태는 두려움, 경계심, 정신적 워크로드, 피로도, 수면상태, 감정상태, 각성 상태 및 해마의 공간 지도 형성의 정보 중 어느 하나 이상이다.Here, the motion intention is at least one of information on the movement, stop, and movement of the animal, and the biological condition includes at least one of fear, vigilance, mental workload, fatigue, sleep state, emotional state, Forming information.
상기 기계학습 알고리즘은, 구체적으로 획득한 스파이크 파형을 주성분 분석법(principal component analysis, PCA)과 독립성분 분석법(independent component analysis, ICA)을 수행하여 뇌신경신호 및 생리신호에 관한 기저벡터를 추출하는 단계; 상기 기저 벡터로부터 특징벡터를 추출하는 단계; 상기 특징벡터를 서브클래스(subclass)로 뇌신경신호 특징벡터 및 생리신호 특징벡터로 분류하는 클러스터링(clustering) 단계; 및 상기 클러스터링 방법에 의하여 분류된 특징벡터를 서포터 벡터 머신(Support Vector Machine, SVM) 및 서포트 벡터 회귀(Support Vector Regression, SVR)을 기반으로 동물의 운동 의도 및 생체 상태를 파악하는 단계;를 포함할 수 있다.The machine learning algorithm includes extracting a basis vector related to a cranial nerve signal and a physiological signal by performing principal component analysis (PCA) and independent component analysis (ICA) on a spike waveform obtained in detail; Extracting a feature vector from the basis vector; A clustering step of classifying the feature vector into a cranial nerve signal feature vector and a physiological signal feature vector in a subclass; And a step of grasping the feature vector classified by the clustering method based on a support vector machine (SVM) and a support vector regression (SVR) .
상기 동물의 운동 의도 및 생체 상태를 파악하는 단계는 추출된 뇌신경신호 특징벡터 및 생리신호 특징벡터가 각각 해독부(110b)의 동물의 움직임 및 정지 여부와 왼쪽 및 오른쪽에 대한 방향성에 관한 운동 의도를 이진(binary) 값으로 출력하는 이진 결정 의도 인식기(110b-1)와 공포 수준, 경계심 수준, 피로도, 워크로드(스트레스), 졸림 수준 및 통증 수준 등을 포함한 생체 상태를 연속 실수 값으로 출력하는 회귀부(110b-2)에 입력되어 동물의 운동 의도 및 생체 상태를 파악할 수 있다.In the step of grasping the motion intention and the biological state of the animal, it is preferable that the extracted cranial nerve signal characteristic vector and physiological signal characteristic vector respectively indicate motion intention and stop motion of the animal of the
구체적으로 상기 (c) 단계는 상기 (b) 단계에서 분류된 특징벡터를 통해 이진 결정 의도 인식기(110b-1)에서 서포터 벡터 머신(SVM)을 기반으로 서포터 벡터 머신 모델을 생성하여 동물의 운동 의도를 출력하는 단계; 및 상기 (b) 단계에서 분류된 특징벡터를 통해 회귀부(110b-2)에서 서포트 벡터 회귀(SVR)을 기반으로 하여 동물의 생체 상태를 출력하는 단계;를 포함할 수 있다.Specifically, in the step (c), a supporter vector machine model is generated based on a supporter vector machine (SVM) in the binary decision intention recognizer 110b-1 through the feature vectors classified in the step (b) ; And outputting the biological state of the animal based on the support vector regression (SVR) in the
상기 서포터 벡터 머신(SVM)은 분류된 특징벡터를 
[수학식 10]&Quot; (10) "
상기 수학식 10에서, 
상기 수학식 10에서 상기 커널 함수는 다음의 수학식 11와 같이 결정되는 RBF(radial-basis function)이다.In Equation (10), the kernel function is a radial-basis function (RBF) determined according to Equation (11).
[수학식 11]&Quot; (11) "
상기 수학식 11에서, 
상기 서포트 벡터 회귀(SVR)는 분류된 특징벡터를 
(d) 단계(S140)는 상기 (c) 단계에서 파악된 동물의 운동 의도 및 생체 상태를 보상 혹은 처벌여부를 결정하거나 생체 상태를 통해 동물의 체력 소모 정도와 임무 지속 가능 여부를 파악하여 임무지속 가능 여부를 결정하며, 결정된 사항에 맞춰 동물의 행동을 제어하기 위한 전기 자극 파라미터를 조절하는 단계이다.(d) Step (S140) determines whether the animal's exercise intention and / or the biological state determined in the step (c) is compensated or punished, , And adjusting the electrical stimulation parameters to control the behavior of the animal in accordance with the decision.
상기 전기 자극 파라미터는 전기 펄스의 폭, 진폭, 주파수, 지속시간 중 선택되는 어느 하나 이상이며, 이에 한정되지 않는다.The electric stimulation parameter may be any one or more selected from among width, amplitude, frequency, and duration of the electric pulse, but is not limited thereto.
상기 (e) 단계(S150)는 (d) 단계(S140)에서 조절하여 결정된 전기 자극 파라미터를 통해 동물의 특정 대뇌 영역에 전기 신호 자극을 가하여 동물의 행동을 제어하는 단계로서 동물의 자발적인 방향성 있는 움직임 자극, 강제적인 방향성 있는 움직임 자극, 보상 자극 및 처벌 자극 중 어느 하나의 자극을 가하여 동물의 행동을 제어할 수 있다.The step (e) (S150) comprises the steps of (d) controlling an animal's behavior by applying electrical signal stimulation to a specific cerebral region of the animal through the electrical stimulation parameter determined in step (S140), wherein the spontaneous directional movement The behavior of the animal can be controlled by applying any one of stimulation, forced directional motion stimulation, compensation stimulation, and punitive stimulation.
상기 동물의 특정 대뇌 영역은 자발적인 방향성 있는 움직임을 제시하기 위한 대뇌 체성 감각 영역, 강제적인 방향성 있는 움직임을 시키기 위한 바닥핵(basal ganglia)의 흑색선조체 경로(nigrostriatal pathway) 또는 시상(thalamus)의 체성감각 통로인 복측후내측핵(ventral posteromedial nucleus), 보상 자극을 가하기 위한 뇌측전다발 영역, 및 공포심을 이용한 처벌 자극을 가하기 위한 편도체(amygdala) 중 어느 하나 이상을 포함할 수 있으며, 이에 한정되지 않고 동물의 행동을 제어할 수 있는 대뇌 영역이라면 본 발명의 실시 범위에 포함될 수 있다.The specific cerebral region of the animal may include a cerebral somatosensory region to present spontaneous directional movement, a nigrostriatal pathway of basal ganglia for forced directional movement, or a somatosensory sense of thalamus A ventral posteromedial nucleus which is a pathway, an area of a brain-conduction bundle for applying a compensatory stimulus, and an amygdala for applying a punitive stimulus by using a fear. The amygdala may include, but is not limited to, The cerebral region capable of controlling the behavior of the brain can be included in the scope of the present invention.
본 발명의 다중 신경생리신호 기반의 동물 행동 제어 시스템 및 방법은 실시간으로 동물의 운동 의도 및 생체 상태를 신속하게 파악하고, 파악된 동물의 운동 의도 및 생체상태를 토대로 동물에게 적절한 전기 전극을 가해줌으로써 동물 움직임을 효과적 제어하고 생체 상태를 조절할 수 있는 효과가 있다.The animal behavior control system and method based on the multiple neuronal physiological signals of the present invention can quickly identify an animal's exercise intention and a living state in real time and apply an appropriate electric electrode to the animal based on the animal's exercise intention and living state There is an effect that can control the animal movement effectively and control the biological state.
도 1은 본 발명에 따른 다중 신경생리신호 기록 및 해독 기반의 동물 행동 제어 시스템의 모식도이다.
도 2는 본 발명의 동물 행동 제어 시스템에서 신호 기록부(100)가 뇌신경 활동과 자율신경 활동을 검출하는 과정을 간략하게 보여주는 도면이다.
도 3은 본 발명의 동물 행동 제어 시스템에서 신호 분석부(110)가 다중 신경생리신호로부터 특징 벡터를 추출하고 운동 의도와 생체 상태를 디코딩하는 과정을 보여주는 도면이다.
도 4는 본 발명의 동물 행동 제어 시스템에서 신호 분석부(110)의 특징 벡터 추출부(110a)가 다중 뇌신경신호와 다중 생리신호로부터 뇌신경신호의 특징 벡터와 생리신호의 특징 벡터를 추출하는 과정을 보여주는 도면이다.
도 5는 본 발명의 동물 행동 제어 시스템에서 신호 분석부(110)의 해독부(110b)가 뇌신경신호와 생리신호로부터 추출된 특징 벡터를 통해 운동 의도와 생체 상태를 해독하는 과정을 보여주는 도면이다.
도 6은 본 발명의 동물 행동 제어 시스템에서 제어부(120)가 운동 의도와 생체 상태에 따른 보상 또는 처벌 여부를 결정하고 자극을 생성하는 과정을 보여주는 도면이다.
도 7은 본 발명의 동물 행동 제어 시스템에서 행동 제어 명령 지시부(130)가 운동 의도와 상태 상태를 출력하고 사용자로부터 수동으로 행동 제어 명령과 생체 상태 조절에 관한 자극을 입력받고 명령 자극을 제시하는 과정을 보여주는 도면이다.
도 8은 본 발명의 동물 행동 제어 시스템을 이용한 동물 행동 제어 방법의 순서도이다.FIG. 1 is a schematic diagram of an animal behavior control system based on recording and decoding of multiple neuronal physiological signals according to the present invention.
FIG. 2 is a schematic view showing a process in which the
FIG. 3 is a diagram illustrating a process in which the
4 is a flowchart illustrating a process of extracting a feature vector of a cranial nerve signal and a feature vector of a physiological signal from a multiple cranial nerve signal and a multiple physiological signal in a feature
FIG. 5 is a diagram illustrating a process in which the
FIG. 6 is a diagram illustrating a process in which the
FIG. 7 is a flowchart illustrating an operation of the behavior control
8 is a flowchart of an animal behavior control method using the animal behavior control system of the present invention.
이하, 본 발명을 도면을 참조하여 상세히 설명하기로 한다. 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Hereinafter, the present invention will be described in detail with reference to the drawings. The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms and the inventor may appropriately define the concept of the term in order to best describe its invention It should be construed as meaning and concept consistent with the technical idea of the present invention.
도 1은 본 발명의 동물행동 제어 시스템의 모식도이다.1 is a schematic diagram of an animal behavior control system of the present invention.
도 1을 참조하면, 본 발명의 동물행동 제어 시스템은 동물의 다중 뇌신경신호 및 다중 생리신호를 감지 및 기록하는 신호 감지 및 기록부(100), 상기 획득된 다중 뇌신경신호 및 다중 생리신호를 분석하고, 다중 뇌신경신호 및 다중 생리신호의 시간, 시간-주파수, 위상 영역에서 동물의 상태를 반영하는 특징을 수집하는 신호 분석부(110), 상기 수집된 특징을 분류하여 동물의 상태를 파악하고 방향성 있는 움직임을 제어하기 위하여 전기 자극 파라미터를 조절하는 제어부(120), 및 상기 조절된 자극 파라미터를 이용하여 특정 대뇌 영역에 전기 자극을 출력하는 행동제어 명령 지시부(130)를 포함하여 구성된다.Referring to FIG. 1, the animal behavior control system of the present invention includes a signal sensing and
상기 신호 감지 및 기록부(100)는 동물의 생리신호를 신호의 발생되는 해부학적 위치에 따라 중추 신경계(central nervous system) 신호와 말초 신경계(peripheral nervous system) 신호로 두 종류의 기록 전극을 이용하여 측정하며, 도 2에 도시된 바와 같이, 신호 감지 및 기록부(100)는 뇌신경신호 기록 전극(100a), 생리신호 기록 전극(100b) 및 증폭부(100c)를 포함한다.The signal sensing and
좀 더 상세하게 상기 뇌신경 신호 기록 전극(100a)은 생체 신호 중에서 중추 신경계(central nervous system) 반응에 의한 신경세포로부터 발생하는 활동전위, 국소뇌전위(local field potential), 뇌피질 뇌파(subdural electrocortigram, ECoG) 및 뇌전도(electroencephalography, EEG) 등을 포함한 다중 뇌신경신호를 획득하기 위해 복수의 미세전극을 이용한 세포외 기록(extracellular recording) 방법으로 측정되며, 여기서 사용되는 뇌신경 신호 기록 전극으로 미세전극 어레이(multi-electrode array, MEA), 경막하 전극, 심부 전극(deep electrode) 또는 뇌파 전극 중에서 선택되는 어느 하나 이상을 사용할 수 있다.In more detail, the nerve
상기 생리신호 기록 전극(100b)은 생체 신호 중에서 말초 신경계 반응에 의한 동물의 피부표면온도(skin temperature, SKT), 광혈류량(photo-plethysmography, PPG), 심전도(electrocardiography, ECG), 피부 전도도 반응(skin conductance response, SCR) 및 호흡 신호 등을 포함하는 다중 생리신호를 측정하기 위한 것으로, 동물의 체표면에 부착되는 다양한 생체 상대 감지 수단을 이용하여 상기 제시된 다중 생리신호를 얻을 수 있다.The physiological
이처럼 신호 감지 및 기록부(100)에서는 뇌신경신호 기록 전극(100a)과 생리신호 기록 전극(100b)을 통해 동물의 생체 신호로서 다중 뇌신경신호 및 다중 생리신호를 감지하고, 감지된 신호들을 기초로 동물의 생체신호를 기록한다.As described above, the signal sensing and
본 발명에서 뇌신경신호이나 생리신호를 측정할 때에는 머리를 포함한 신체의 여러 부분에서 신호를 측정하므로 본 발명의 뇌신경신호 및 생리신호는 단일의 신호 뿐만 아니라 둘 이상의 다중 신호를 측정한다. In the present invention, when measuring a cranial nerve signal or a physiological signal, since the signal is measured in various parts of the body including the head, the cranial and physiological signals of the present invention measure not only a single signal but also two or more multiple signals.
그러므로 신호 감지 및 기록부(100)에서 측정된 뇌신경신호 및 생리신호를 또 다른 용어로 다중 뇌신경신호 및 다중 생리신호라 명칭 할 수 있으며, 이하에서는 이러한 다중 뇌신경신호 및 다중 생리신호를 통틀어 "다중 신경생리신호"이라 명칭하기도 한다.Therefore, the cranial nerve signals and physiological signals measured by the signal sensing and
그리고 상기 신호 감지 및 기록부(100)에서 구성된 증폭부(100c)는 뇌신경신호 기록 전극(100a)과 생리신호 기록 전극(100b)을 통해 감지된 각각의 다중 신경생리신호를 증폭하고, 증폭된 다중 신경 생리신호를 신호 분석부(110)로 전송하는 역할을 한다.The
도 3 내지 도 5는 신호 분석부(110)에서 다중 신경생리신호로부터 추출된 특징벡터를 통해 운동 의도와 생체 상태를 해독하는 과정을 나타낸 것이다.FIGS. 3 to 5 illustrate a process of deciphering a motion intention and a living body through a feature vector extracted from a multi-nervous physiological signal in the
도 3를 참조하면, 신호 분석부(110)는 상기 신호 감지 및 기록부(100)에서 전송받은 다중 신경생리신호로부터 특징벡터를 추출하고, 추출된 특징벡터를 통해 대상 동물의 운동 의도와 생체 상태를 해독하는 것으로, 특징벡터 추출부(110a)와 해독부(110b)를 포함하여 구성될 수 있다.3, the
도 4에 도시된 바와 같이 특징벡터 추출부(110a)는 뇌신경신호 특징 벡터 추출부(110a-1)와 생리신호 특징벡터 추출부(110a-2)를 포함하여 구성되며, 상기 신호 감지 및 기록부(100)에서 측정된 다중 뇌신경신호 및 다중 생리신호를 입력신호로 하여 각 해당 입력 신호로부터 특징벡터를 추출한다. 4, the feature
뇌신경신호 특징벡터 추출부(110a-1)는 상기 뇌신경신호 기록 전극(100a)에서 얻은 뇌신경신호로부터 스파이크 트레인(spike train), 파워 스펙트럼 밀도(power spectrum density), 뇌 영역 간의 방향성을 포함하지 않는 연결정도를 표현하는 기능적 연결도(functional connectivity) 및 뇌 영역 간 방향성을 가지는 연결정도를 표현하는 효과적 연결도(effective connectivity)를 추출하여 뇌신경신호 특징벡터를 추출할 수 있다.The cranial nerve signal feature
구체적으로 뇌신경신호 특징 벡터 추출부(110a-1)는 아래와 같은 방법으로 계산되어 뇌신경신호 특징벡터를 추출할 수 있다.Specifically, the cranial nerve signal feature
스파이크 트레인(spike train)은 측정된 세포외 기록 신호(extracellular recording signal)를 300 헤르츠(Hz)의 컷오프 주파수를 가지는 고대역 통과 필터 (highpass filter)를 통과시켜 주변의 저주파 잡음과 국소뇌전위(local field potential)를 제거하는 단계; 상기 고대역 통과 필터를 통과한 출력 신호에 음의 값을 가지는 문턱치(threshold)를 적용하여 주변 잡음보다 값이 큰 피크를 잡는 피크설정 단계; 상기 피크설정 단계로 부터 얻어진 피크를 중심으로 좌우로 15개의 샘플을 획득하여 신경신호의 스파이크 파형을 획득하는 단계; 상기 획득된 스파이크 파형을 주성분 분석법(principal component analysis, PCA) 및 K-평균 알고리즘(K-means algorithm)을 이용해 스파이크들의 형태에 따라 두 그룹 내지는 세 그룹으로 분류하는 단계; 상기 분류된 스파이크로부터 단위시간에 들어있는 스파이크의 갯수를 요소(element)로 하는 뇌신경신호 특징벡터를 추출할 수 있다.The spike train passes the measured extracellular recording signal through a highpass filter with a cutoff frequency of 300 Hertz to generate low frequency noise and localized local removing a field potential; A peak setting step of applying a threshold value having a negative value to an output signal passed through the high pass filter to obtain a peak having a value larger than the ambient noise; Acquiring fifteen samples to the left and right about a peak obtained from the peak setting step to obtain a spike waveform of a neural signal; Classifying the obtained spike waveform into two or three groups according to the types of spikes using principal component analysis (PCA) and K-means algorithm; A cranial nerve signal feature vector having the number of spikes included in the unit time as an element can be extracted from the classified spikes.
뇌신경신호 특징벡터중 하나로 파워 스펙트럼 밀도(power spectrum density)는 측정된 뇌신경신호 중 어느 하나의 신호를 M차원의 벡터 
이하, 본 발명에서 설명하는 모든 수학식의 M차원의 벡터에서 변수 M은 이산 시계열의 길이를 의미하고, 바람직하게 M은 1 이상의 정수이며, 1 내지 1000의 정수일 수 있다.Hereinafter, the variable M in the M-dimensional vector of all the equations described in the present invention means the length of discrete time series, and preferably M is an integer of 1 or more, and may be an integer of 1 to 1000.
[수학식 1][Equation 1]
수학식 1에서 
[수학식 2]&Quot; (2) "
수학식 2에서 
[수학식 3]&Quot; (3) "
수학식 3에서 
본 발명의 일 구체예에 따르면 파워스펙트럼 밀도(power spectrum density)를 얻는 것은, 상기 측정된 뇌신경신호로 세포외 기록 신호(extracellular recording) 또는 뇌전도 신호를 저대역 통과 필터(lowpass filter)를 통과시켜 주변의 고주파 잡음을 제거하는 단계와, 상기 수학식 1로 이산 푸리에 변환(discrete Fourier transform)과 자동회귀 모델링(autoregressive modeling)을 이용하여 시간정보가 없는 파워스펙트럼 밀도를 얻거나, 상기 수학식 2로 단시간 푸리에 변환(short-time Fourier transform)를 계산하거나 또는 상기 수학식 3으로 웨이블릿 변환(wavelet transform)를 계산하여 시간 정보를 갖는 파워스펙트럼 밀도를 얻는 단계를 포함할 수 있다.According to one embodiment of the present invention, obtaining the power spectrum density is performed by passing the extracellular recording signal or the electroencephalogram signal through the low pass filter with the measured cranial nerve signal Frequency noise without time information is obtained by using discrete Fourier transform and autoregressive modeling in Equation (1), or the power spectral density without time information is obtained by Equation (1) Calculating a short-time Fourier transform or calculating a wavelet transform in Equation (3) to obtain a power spectral density having time information.
상기 대뇌 영역 간 기능적 연결도(functional connectivity)는 뇌신경신호 중 어느 둘의 뇌신경신호를 한 쌍의 M차원의 벡터 
[수학식 4]&Quot; (4) "
수학식 4에서 
[수학식 5]&Quot; (5) "
수학식 5에서 
[수학식 6]&Quot; (6) "
수학식 6에서 
보다 구체적으로 대뇌 영역 간 기능적 연결도는 뇌신경신호 중 어느 둘의 신호로 이루어진 한 쌍의 뇌신경신호에서 DC 성분을 제거하는 단계와, DC 성분이 제거된 한 쌍의 뇌신경신호를 관찰하고자 하는 주파수 대역 통과 필터로 통과시켜주는 단계와, 힐버트 변환(Hilbert transform)하여 순간 위상(instantaneous phase) 신호를 생성하는 과정과, 상기 수학식 8로 한 쌍의 뇌신경신호의 순간 위상(instantaneous phase)의 차이를 계산하는 단계와, 상기 수학식 9로 한 쌍의 뇌신경신호의 순간 위상의 차이, 
또 다른 대뇌 영역 간 기능적 연결도를 구하는 방법은 뇌신경신호 중 어느 둘의 신호로 이루어진 한 쌍의 뇌신경신호에서 DC 성분을 제거하는 과정, DC 성분이 제거된 한 쌍의 뇌신경신호의 상호스펙트럼(cross spectrum)을 구해주는 과정 및 상기 상호스펙트럼(cross spectrum)을 상기 수학식 9를 통해 얻을 수 있는 weighted phase lag index(wPLI)를 통해 기능적 연결도를 구해주는 과정을 포함할 수 있다.Another method for obtaining functional connectivity between the cerebral regions is to remove DC components from a pair of neuronal signals consisting of either of two signals of the nervous signal, to measure the cross spectrum of a pair of neuronal signals from which the DC component has been removed And a process of obtaining the cross spectrum of the functional connectivity through a weighted phase lag index (wPLI) obtained by Equation (9).
상기 대뇌 영역 간 효과적 연결도(effective connectivity)의 경우는 뇌신경신호 중 어느 둘의 뇌신경신호를 한 쌍의 M차원의 벡터 
[수학식 7]&Quot; (7) "
수학식 7에서 
[수학식 8]&Quot; (8) "
상기 수학식 8에서 
[수학식 9]&Quot; (9) "
상기 수학식 9에서 
생리신호 특징 벡터 추출부(110a-2)는 상기 생리신호 기록 전극(100b)로부터 얻은 다중 생리신호로부터 피부 전도도 반응 값(SCR)을 이용한 특징벡터, 광혈류량(PPG) 이용한 특징 벡터 및 피부표면온도(SKT)를 이용한 특징벡터를 계산하여 추출할 수 있다.The physiological signal feature
좀 더 상세하게 생리신호 특징벡터 추출부(110a-2)에서는 생리신호 특징 벡터를 추출하는 방법로서, 아래와 같이 설명하는 방법을 통해 생리신호 특징벡터를 추출할 수 있다.In more detail, the physiological signal feature
일예로 피부 전도도 반응(SCR)의 경우, 피부 전도도 반응 값(SCR)을 이용하여 피부 전도도 진폭의 평균값(mean of SCR amplitude), 피부 전도도 반응의 음수 값 평균값, 피부 전도도 반응의 표준 편차, 피부 전도도 반응의 1차 미분 신호의 평균값(mean of 1st derivative of SCR), 2차 미분 신호의 평균값(mean of 2nd derivative of SCR), 및 전체 샘플 개수 대비 음의 값을 가지는 샘플의 비율을 포함하는 특징 벡터를 구하거나, 또는 피부 전도도가 느린 반응 값(skin conductance slow response, SCSR)을 이용하여 SCSR의 평균값(Mean of SCSR), SCSR 진폭의 평균값(mean of SCSR ampliutde), SCSR의 표준편차(standard deviation of SCSR), 1차 미분 신호의 평균값(mean of 1st derivative of SCSR), 2차 미분 신호의 평균값(mean of 2nd derivative of SCSR), SCSR occurrence 등을 포함하는 특징 벡터를 검출할 수 있다.For example, in the case of skin conductivity response (SCR), mean value of SCR amplitude of skin conductance, mean value of skin conductivity response, standard deviation of skin conductivity response, skin conductivity A characteristic vector including a mean of a first derivative signal of the response (SCR), a mean of a second derivative signal (SCR), and a ratio of a sample having a negative value relative to the total number of samples (SCSR), the mean of the SCSR amplitudes, and the standard deviation of the SCSR using the skin conductance slow response (SCSR) (SCSR), a mean value of the first derivative signal (SCSR), a mean value of the second derivative signal (SCSR), and a SCSR occurrence.
예를 들어, 상기 피부 전도도 반응(skin conductance response, SCR)을 이용한 특징벡터는 측정한 피부전도도 반응 신호에서 분석하고자 하는 주파수 대역을 제한하기 위하여 샘플링 주파수를 변환하는 과정과, 피부전도도 변화를 관찰하기 위하여 미분 및 bartlett 윈도우(삼각형 윈도우)를 통한 컨볼루션(convolution) 과정과, 피부전도도의 상 활성(phasic activity)을 관찰하기 위하여 한계점을 초과하는 신호를 분리하는 과정과, 피부전도도의 긴장성 활성(tonic activity)을 관찰하기 위하여 피부전도도 반응 신호를 저대역 통과 필터(lowpass filter)에 통과시켜 주변의 고주파 잡음을 제거하는 과정과, 상대적인 변화 정도를 정규화하기 위하여 표준화(normalization)하는 과정과, 기저 수준에서 변화하는 생체 활동을 관찰하기 위하여 선형 트렌드를 제거해주는 디트렌드(detrend) 과정을 포함하여 추출할 수 있다.For example, the characteristic vector using the skin conductance response (SCR) may include a process of converting a sampling frequency to limit the frequency band to be analyzed in the measured skin conductivity response signal, A convolution process through differential and bartlett windows (a triangular window), a process of separating signals exceeding the threshold to observe the phasic activity of the skin conductivity, the process of tonic activity is filtered through a lowpass filter to remove the high frequency noise of the skin, a process of normalization to normalize the degree of relative change, Detrend, which removes linear trends to observe changing biological activity, A can be extracted, including.
또 다른 생리신호로 광혈류량의 경우는, 광혈류량을 이용하여 얻을 수 있는 심박수의 평균, 표준편차, 심박변이율의 평균, 표준편차, 1차 미분의 평균, 1차 미분의 표준편차, 저주파 성분과 고주파 성분의 비율을 포함하는 특징 벡터를 검출할 수 있다.In the case of photoperiod, the mean, standard deviation, mean, standard deviation, mean of the first derivative, standard deviation of the first derivative, low frequency component And a ratio of high-frequency components.
예를 들어, 상기 광혈류량(photo-plethysmography, PPG)를 이용한 특징벡터를 추출하는 방법은 측정한 광혈류량 측정 신호에서 지터(jitter)에 비하여 주기가 긴 변동을 제거해 주기 위한 기준선 변동 제거(baseline wander removal)하는 과정과, 심전도 신호 R파의 진폭 값을 추출하기 위하여 광혈류량 측정 신호를 두 번 미분한 후 부호(sign)의 변화에 따른 R파 진폭 부분을 분리해주는 R-peak 검출(R-peak detection) 과정과, 분리된 R파 진폭 간의 구간길이(R-R interval)를 구한 후 평활(smoothing)하여 심박 수 변이(heart rate variability) 신호를 얻는 보간(interpolation)하는 과정과, 심박 수 변이(heart rate variability) 신호를 자동 회귀 모델(autoregressive model)을 통하여 파워 스펙트럼(power spectrum)을 추정하는 과정을 포함하여 추출할 수 있다.For example, a method of extracting a feature vector using the photo-plethysmography (PPG) is a method of extracting a feature vector from a baseline wander to remove a long-period variation in a measured optical blood flow measurement signal from jitter (R-peak), which separates the R wave amplitude part according to the sign change after differentiating the optical blood flow measurement signal twice in order to extract the amplitude value of the R wave of the electrocardiogram signal, a step of interpolating a heart rate variability signal by smoothing the RR interval between the separated R wave amplitudes and a heart rate variability signal, and estimating the power spectrum of the variability signal through an autoregressive model.
또 다른 생리신호로 피부표면온도 경우는, 피부표면온도를 통해 얻을 수 있는 피부표면온도의 평균, 1차 미분 값의 평균, 최대값, 0.1 내지 0.2 헤르츠(Hz)의 주파수 성분의 스펙트럼 파워를 포함하는 특징벡터를 검출할 수 있다.As the other physiological signals, the case of the skin surface temperature includes the average of the skin surface temperature obtained through the skin surface temperature, the average of the first derivative, the maximum value, and the spectral power of the frequency component of 0.1 to 0.2 hertz (Hz) Can be detected.
예를 들어, 상기 피부표면온도(skin temperature, SKT)를 이용한 특징벡터를 추출하는 방법은 측정된 피부표면온도 신호에서 생체 상태를 반영하는 주파수 대역 분석을 위해 샘플링 주파수를 변환하는 과정, 생체 활동 변화를 관찰하기 위해 전체 DC를 제거해주는 기준선 제거(baseline removal) 과정, 긴장성(tonic) 변화를 관찰하기 위해 자동 회귀 모델(autoregressive model)을 이용하여 추정한 저 주파수 대역 스펙트럼 파워를 얻는 과정, 및 통상적인 피부 표면 온도 변화를 관찰하기 위해 미분을 하는 과정을 포함하여 특징벡터를 추출할 수 있다.For example, a method of extracting a feature vector using the skin temperature (SKT) includes a process of converting a sampling frequency to analyze a frequency band that reflects a living body in a measured skin surface temperature signal, A baseline removal process that removes the entire DC to observe the tonic change, a process of obtaining the low-frequency band spectral power estimated using an autoregressive model to observe the tonic change, A feature vector can be extracted including a process of differentiating to observe a skin surface temperature change.
도 5는 신호 분석부(110)의 해독부(110b)가 다중 신경생리신호로부터 추출된 특징 벡터를 통해 운동 의도와 생체 상태를 해독하는 과정을 나타낸 것으로, 도 5에 도시된 바와 같이 해독부(110b)는 이진 결정 의도 인식기(110b-1)와 회귀부(110b-2)를 포함하며, 해독부(110b)는 상기 특징벡터 추출부(110a)에서 추출된 상기 뇌신경신호의 특징 벡터와 생리 신호의 특징 벡터를 입력받아 이를 해독하여 동물의 운동 의도와 생체 상태를 파악한다.5 shows a process in which the
이때, 해독부(110b)에서 이진 결정 의도 인식기(110b-1)와 회귀부(110b-2)에 입력되는 특징 벡터는 뇌신경신호 특징벡터와 생리신호 특징벡터 모두를 입력하여 사용할 수 있다.At this time, the feature vector input to the binary
이진 결정 의도 인식기(110b-1)는 동물의 움직임 및 정지 여부와 왼쪽 및 오른쪽에 대한 방향성에 관한 운동 의도를 이진(binary) 값으로 출력하게 되고, 상기 회귀부(110b-2)는 공포 수준, 경계심 수준, 피로도, 워크로드(스트레스), 졸림 수준 및 통증 수준 등을 포함한 생체 상태를 연속 실수 값으로 출력하게 된다.The binary decision
좀 더 상세하게 이진 결정 의도인식기(110b-1)는 서포트 벡터 머신(SVM)을 기반으로 하여 이진 결정을 실시하게 된다. 여기서 서포트 벡터 머신(SVM)은 상기 분류된 특징 벡터를 
그러므로 이진 결정 의도인식기(110b-1)는 상기 다중 신경생리신호와 동물의 운동 의도의 관계에 대해 기록한 소정의 운동정보 데이터베이스를 통해 학습 될 수 있으며, 이것을 바탕으로 동물의 운동 의도를 인식할 수 있게 된다.Therefore, the binary
여기서, 운동정보 데이터베이스는 서포트 벡터 머신을 훈련하기 위하여 실험을 통해 제작된 뇌신경신호, 생리신호의 특징 벡터와 해당 특징 벡터에 대응하는 동물의 움직임과 정지 여부와, 좌우 움직임 방향 등을 스칼라 값으로 기록한 데이터 벡터이다.Herein, the exercise information database is a database for recording support information such as a cranial nerve signal, a physiological signal feature vector, an animal movement and a stop motion, and a left / right movement direction corresponding to the feature vector, Data vector.
[수학식 10]&Quot; (10) "
상기 수학식 10에서, 
상기 수학식 10에서 상기 커널 함수는 다음의 수학식 11과 같이 결정되는 RBF(radial-basis function)이다.In Equation (10), the kernel function is a radial-basis function (RBF) determined by Equation (11).
[수학식 11]&Quot; (11) "
상기 수학식 11에서, 
해독부(110b)에서 회귀부(110b-2)는 서포트 벡터 회귀(SVR)를 기반으로 하여 공포 수준, 경계심 수준, 피로도, 워크로드(workload), 졸림 수준, 통증 수준을 연속 실수 값으로 출력할 수 있게 된다.In the
여기서 서포트 벡터 회귀(SVR)는 상기 분류된 특징 벡터를 
여기서, 생체정보 데이터베이스는 서포트 벡터 회귀 알고리즘을 훈련하기 위하여 실험을 통해 제작된 뇌신경신호, 생리신호의 특징 벡터와 해당 특징벡터에 대응하는 공포 수준, 경계심 수준, 피로도, 워크로드, 졸림 수준, 통증 수준의 지표 값 등을 기록한 데이터 벡터이다.Here, the biometric information database includes a brain nerve signal, a feature vector of a physiological signal, a fear level corresponding to the feature vector, an alertness level, fatigue, a workload, a sleepiness level, a pain level And the like.
따라서 회귀부(110b-2)는 상기 다중 신경생리신호와 동물의 운동 의도의 관계에 대해 기록한 소정의 생체정보 데이터베이스를 통해 학습될 수 있으며, 이것을 바탕으로 동물의 생체 상태를 점수화 할 수 있게 된다.Therefore, the
도 6은 상기 신호 분석부(110)로부터 해독된 운동 의도와 생체 상태를 입력받아 보상 혹은 처벌 자극의 종류를 결정하게 되는 제어부(120)를 도시된 것으로, 제어부(120)는 보상 혹은 처벌 결정부(120a)와 자극생성 및 제시부(120b)를 포함한다.6 is a block diagram of a
상기 보상/처벌 결정부(120a)에서는 사용자가 행동제어 명령 지시부(130)를 통해 입력한 명령 자극과 일치하는 운동 의도를 보였을 경우 보상을 준다고 결정할 수 있으며, 또한 상기 명령자극과 불일치하는 운동 의도를 보였을 경우 처벌을 준다고 결정할 수 있다.The compensation /
또한 보상 혹은 처벌 결정부(120a)에서는 생체 상태에 따라 보상을 결정할 수 있으며, 예를 들어 피로도 또는 워크로드 또는 통증 수준이 문턱치(threshold)보다 높았을 경우 보상을 준다고 결정할 수 있다.In addition, the compensation or
자극생성 및 제시부(120b)는 상기 보상 혹은 처벌 결정부(120a)에서 결정된 보상 혹은 처벌 사항에 따라 자극 신호 파라미터로 전기 펄스의 폭, 진폭, 주파수, 지속시간 중 선택되는 어느 하나 이상을 조절하여 동물에게 보상 자극 및 처벌 자극을 준다. The stimulus generation and
도 7은 동물의 운동의도와 생체 상태를 사용자가 파악할 수 있도록 하는 출력부와 사용자가 동물에게 행동 제어 명령을 지시할 수 있도록 하는 행동제어 명령 지시부(130)를 도시한 것이며, 이 행동제어 명령 지시부(130)는 입력부(130a), 출력부(130b), 디스플레이부(130c), 명령 자극 제시부(130d)로 구성되어 있다.7 shows an output unit for allowing the user to grasp the movement state and the living body state of the animal and a behavior control
상기 출력부(130b)에서는 신호 분석부(110)로부터 운동 의도와 생체 상태에 대한 정보를 입력받아 디스플레이부(130c)를 통해 사용자에게 출력할 수 있다. 예를 들어 사용자는 출력부(130b)와 디스플레이부(130c)를 통해 동물의 운동 의도에 대한이진 값 결과와 생체 상태에 대한 점수를 확인할 수 있다.The
이렇게 디스플레이부(130c)를 통해 동물의 운동 의도 및 생체 상태에 정보를 확인한 사용자는 동물의 행동 및 생체 상태의 제어에 대한 명령을 입력부(130a)를 통해 입력한다. 구체적으로 상기 입력부(130a)에서는 사용자로부터 행동 명령에 관한 입력을 수동으로 행동 및 생체 상태 제어에 대한 지시 받으며, 예를 들어 조이스틱, 리모컨 등의 형태로 동물 행동에 대한 사용자 명령을 수동으로 입력 받을 수 있다.The user who has confirmed the information on the motion intention and the living state of the animal through the
상기 입력부(130a)에서 입력받은 사용자 명령은 명령 자극 제시부(130d)로 전달되어 사용자로부터 받은 행동 및 상체상태 제어 명령을 전기 자극을 통해 동물에게 제시할 수 있다. 예를 들어 왼쪽, 오른쪽의 방향에 관한 명령을 사용자로부터 받았다고 하면 명령 자극 제시부(130d)는 각각의 명령을 동물의 대뇌의 감각 영역의 오른쪽, 왼쪽에 전기 자극을 줌으로써 명령 자극을 제시할 수 있다.The user command received from the
또한 명령 자극 제시부 (130d)는 사용자로부터 받은 생체 상태 조절 자극 명령을 전기 자극을 통해 제시하는 기능을 가질 수 있다. 예를 들어, 동물의 공포 수준이 높아져 있다고 판단되면 편도체(amygdala)의 억제를 조절하는 변연계 아래 피질(infralimbic cortex)에 전기 자극을 가함으로써 공포 수준을 낮춰주는 조절을 할 수 있다.Also, the command
또한, 척수(spinal cord)의 등쪽뿔(dorsal horn)에서 통각 신호를 실시간으로 인지하여 심한 통증이 유발된다고 판단되면 수관주변 회색질(periaqueductal gray, PAG)에 전기 자극을 가함으로써 통각을 억제할 수 있다.In addition, when the sensory signal is recognized in real time in the dorsal horn of the spinal cord and it is judged that severe pain is caused, the pain can be suppressed by applying electrical stimulation to the periaqueductal gray (PAG) .
본 발명에 따른 동물 행동 제어 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 기록매체의 예로는 ROM(Read Only Memory), RAM(Random Access Memory), 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등을 포함한다.The animal behavior control system according to the present invention can be implemented as computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the recording medium include ROM (Read Only Memory), RAM (Random Access Memory), optical disk, magnetic tape, floppy disk, hard disk, nonvolatile memory and the like.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The computer-readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.
이상 본 발명의 동물 행동 제어 시스템의 구성 및 이를 이용한 동물 행동의 제어 방법에 대해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상이 벗어나지 않는 범주 내에서 여러 가지 변형이 가능함을 물론이다.While the present invention has been particularly shown and described with respect to the preferred embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention.
100 : 신호 감지 및 기록부
100a : 뇌신경신호 기록 전극
100b : 생리신호 기록 전극
100c : 증폭부
110 : 신호 분석부
110a : 특징벡터 추출부
110a-1 : 뇌신경신호 특징벡터 추출부
110a-2 : 신경신호 특징벡터 추출부
110b : 해독부
110b-1 : 이진 결정 의도 인식기
110b-2 : 회귀부
120 : 제어부
120a : 보상 혹은 처벌 결정부
120b : 자극 생성 및 제시부
130 : 행동제어 명령 지시부
130a : 입력부
130b : 출력부100: Signal detection and recording unit
100a: cranial nerve signal recording electrode
100b: physiological signal recording electrode
100c:
110: Signal Analysis Unit
110a: a feature vector extracting unit
110a-1: brain nerve signal feature vector extracting unit
110a-2: a neural signal characteristic vector extracting unit
110b:
110b-1: binary decision intention recognizer
110b-2:
120:
120a: compensation or punishment decision section
120b: stimulus generation and presentation unit
130: Behavior control command indicator
130a:
130b:
Claims (24)
(b) 획득된 뇌신경신호 및 생리신호를 분석하여 뇌신경신호 특징벡터 및 생리신호 특징벡터를 추출하는 단계;
(c) 추출된 뇌신경신호 특징벡터 및 생리신호 특징벡터를 해독하여 동물의 운동 의도 및 생체 상태를 파악하는 단계;
(d) 파악된 동물의 운동 의도 및 생체 상태를 기반으로 보상 혹은 처벌여부를 결정하거나 임무 지속 가능 여부를 결정하여 동물의 행동을 제어하기 위한 전기 자극 파라미터를 조절하는 단계; 및
(e) 결정된 전기 자극 파라미터에 따른 전기자극 파형을 특정 대뇌 영역에 전달하여, 동물의 행동을 제어하는 단계;를 포함하되,
상기 (c) 단계는,
상기 (b) 단계에서 분류된 특징벡터를 통해 서포터 벡터 머신(Support Vector Machine, SVM)을 기반으로 서포터 벡터 머신 모델을 생성하여 동물의 운동 의도를 출력하는 단계; 및
서포트 벡터 회귀(Support Vector Regression, SVR)을 기반으로 하여 동물의 생체 상태를 출력하는 단계;를 포함하며,
상기 서포터 벡터 머신은 분류된 특징벡터를
[수학식 10]
(수학식 10에서,
상기 수학식 10에서 상기 커널 함수는 다음의 수학식 11와 같이 결정되는 RBF(radial-basis function)임
[수학식 11]
(수학식 11에서,
(b) extracting a cranial nerve signal characteristic vector and a physiological signal characteristic vector by analyzing the obtained cranial nerve signal and physiological signal;
(c) decoding the extracted cranial nerve signal characteristic vector and physiological signal characteristic vector to determine the motion intention and the biological state of the animal;
(d) adjusting electrical stimulation parameters to control the behavior of the animal by determining whether compensation or punishment based on the animal's exercise intention and the biological state of the identified animal, or determining the sustainability of the mission; And
(e) delivering an electric stimulation waveform according to the determined electric stimulation parameter to a specific cerebral region to control the behavior of the animal,
The step (c)
Generating a supporter vector machine model based on a support vector machine (SVM) through the feature vectors classified in the step (b) and outputting the intention of the animal; And
Outputting the biological state of the animal on the basis of a support vector regression (SVR)
The supporter vector machine uses the sorted feature vector
&Quot; (10) "
(In equation (10)
In Equation (10), the kernel function is a radial-basis function (RBF) determined by Equation (11)
&Quot; (11) "
(In the equation (11)
상기 뇌신경신호는 세포 외 기록 신호(extracellular recording signal), 국소뇌전위(local field potential), 뇌피질 뇌파(subdural electrocortigram, ECoG) 및 뇌전도(electroencephalography, EEG) 중에서 선택된 어느 하나 이상인 것을 특징으로 하는 동물 행동 제어 방법.10. The method of claim 9,
Wherein the brain signal is at least one selected from an extracellular recording signal, a local field potential, a subdural electrocortigram (ECoG), and an electroencephalography (EEG) Control method.
상기 생리신호는 피부표면온도(skin temperature, SKT), 광혈류량(photo-plethysmography, PPG), 심전도(electrocardiography, ECG), 피부 전도도 반응(skin conductance response, SCR) 및 호흡 신호 중에서 선택되는 어느 하나 이상인 것을 특징으로 하는 동물 행동 제어 방법.10. The method of claim 9,
The physiological signal may be any one or more selected from skin temperature (SKT), photo-plethysmography (PPG), electrocardiography (ECG), skin conductance response ≪ / RTI >
상기 (b) 단계는,
상기 획득된 뇌신경신호를 통해 스파이크 트레인(spike train), 파워 스펙트럼 밀도(Power Spectrum Density), 대뇌 영역 간 기능적 연결도(functional connectivity), 및 대뇌 영역 간 효과적 연결도(effective connectivity) 중 선택되는 어느 하나의 뇌신경신호 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.11. The method according to claim 9 or 10,
The step (b)
The obtained neural signal is used to select either one of spike train, power spectral density, functional connectivity between cerebral regions, and effective connectivity between cerebral regions. And extracting a cranial nerve signal feature vector of the animal.
상기 파워 스펙트럼 밀도는 뇌신경신호 중 어느 하나의 신호를 M차원(M은 1 이상의 정수)의 벡터
하기 수학식 1을 통해 분석하는 푸리에 변환(Fourier transform);
하기 수학식 2를 통해 분석하는 단기간 푸리에 변환(short-time Fourier transform); 및
하기 수학식 3을 통해 분석하는 웨이브릿 변환(wavelet transform); 중의 어느 하나를 이용하여 특정 시간-주파수 대역의 파워를 얻어 뇌신경신호 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.
[수학식 1]
(수학식 1에서,
[수학식 2]
(수학식 2에서,
[수학식 3]
(수학식 3에서
The power spectral density is obtained by multiplying one of the signals of the cerebral nerve signal by an M-dimensional (M is an integer of 1 or more)
A Fourier transform analyzing by the following equation (1);
A short-time Fourier transform analyzing by the following equation (2); And
A wavelet transform to be analyzed through Equation (3); To obtain a power of a specific time-frequency band and to extract a brain nerve signal feature vector.
[Equation 1]
(In the equation (1)
&Quot; (2) "
(In the equation (2)
&Quot; (3) "
(3)
상기 대뇌 영역 간 기능적 연결성은 뇌신경신호 중 어느 둘의 뇌신경신호를 한 쌍의 M차원(M은 1 이상의 정수)의 벡터
하기 수학식 4을 통해 분석하는 간섭성(coherence);
하기 수학식 5를 통해 분석하는 위상 동기 값(phase locking value, PLV); 및
하기 수학식 6을 통해 분석하는 weighted phase lag index(wPLI); 중의 어느 하나 이상을 이용하여 한 쌍의 뇌신경 영역 간의 기능적 연결성을 확인하여 뇌신경신호 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.
[수학식 4]
(수학식 4에서,
[수학식 5]
(수학식 5에서,
[수학식 6]
(수학식 6에서,
The functional connectivity between the cerebral regions may be determined by connecting either of two neural signals of the cerebral nerve signal to a pair of M dimensions (M is an integer of 1 or more)
Coherence to be analyzed through Equation (4);
A phase locking value (PLV) analyzed through Equation (5); And
A weighted phase lag index (wPLI) analyzed through Equation (6); And extracting a cranial nerve signal feature vector by confirming the functional connectivity between the pair of cranial nerve regions.
&Quot; (4) "
(In Equation 4,
&Quot; (5) "
(In equation (5)
&Quot; (6) "
(In Equation 6,
상기 대뇌 영역 간 방향성 있는 연결성 분석은 뇌신경신호 중 어느 둘의 뇌신경신호를 한 쌍의 M차원(M은 1 이상의 정수)의 벡터
수학식 7을 통해 분석하는 그랜저 인과관계(Granger's causality);
수학식 8을 통해 분석하는 PDC(Partial Directed Coherence); 및
수학식 9를 통해 분석하는 DTF(Directed Transfer Function); 중 어느 하나를 이용하여 한 쌍의 뇌신경 영역 간의 방향성이 있는 연결성을 확인하여 뇌신경신호 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.
[수학식 7]
(수학식 7에서,
[수학식 8]
(수학식 8에서,
[수학식 9]
(수학식 9에서,
The directional connectivity analysis between the cerebral regions can be performed by connecting any two of the cerebral nerve signals of the cerebral nerve signal to a pair of M-dimensional (M is an integer of 1 or more)
Granger's causality analyzing through equation (7);
PDC (Partial Directed Coherence) to be analyzed through Equation (8); And
DTF (Directed Transfer Function) analyzed through Equation (9); And extracting a cranial nerve signal characteristic vector by confirming directional connectivity between the pair of cranial nerve regions.
&Quot; (7) "
(In equation (7)
&Quot; (8) "
(In equation (8)
&Quot; (9) "
(9)
상기 (b) 단계는,
상기 측정된 생리신호를 통해 피부표면온도(skin temperature, SKT)를 이용한 특징벡터, 광혈류량(photo-plethysmography, PPG)을 이용한 특징벡터, 심전도(electrocardiography, ECG)를 이용한 특징벡터, 피부 전도도 반응(skin conductance response, SCR)을 이용한 특징벡터 및 호흡 신호를 이용한 특징벡터 중에서 선택되는 어느 하나의 생리신호 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.11. The method according to claim 9 or 10,
The step (b)
A feature vector using skin temperature (SKT), a feature vector using photo-plethysmography (PPG), a feature vector using electrocardiography (ECG), skin conductivity response skin behavior response (SCR), and a feature vector using a respiration signal are extracted from the physiological signal feature vector.
상기 피부표면온도를 이용한 특징벡터는 피부표면온도의 평균, 피부 표면 온도 변화를 나타내는 1차 미분 값의 평균, 피부표면온도의 최대값, 및 0.1 내지 0.2 헤르츠(Hz)의 주파수 대역 스펙트럼 파워 중 어느 하나 이상을 포함하는 생리신호 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.17. The method of claim 16,
The characteristic vector using the surface temperature of the skin may be any one of an average of the skin surface temperature, an average of the first derivative indicating the skin surface temperature change, a maximum value of the skin surface temperature, and a spectral power of 0.1 to 0.2 hertz (Hz) And extracting physiological signal feature vectors including at least one of the physiological signal feature vectors.
상기 피부 전도도 반응을 이용한 특징벡터는 피부 전도도 반응 진폭의 평균값(mean of SCR amplitude), 피부 전도도 반응의 음수 값 평균값, 피부 전도도 반응의 표준 편차, 피부 전도도 반응의 1차 미분 신호 평균값(mean of 1st derivative of SCR), 피부 전도도 반응의 2차 미분 신호 평균값(mean of 2nd derivative of SCR), 및 피부 전도도 반응의 전체 샘플 개수 대비 음의 값을 가지는 샘플의 비율 중 어느 하나 이상을 포함하는 생리신호 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.17. The method of claim 16,
The feature vector using the skin conductivity response includes a mean of SCR amplitude, a mean value of the skin conductivity response, a standard deviation of the skin conductance response, a mean of the first derivative signal of the skin conductance response a derivative of SCR, a mean of a second derivative of the skin conductivity response, and a ratio of a sample having a negative value relative to the total number of samples of the skin conductivity response. And the vector is extracted.
상기 광혈류량을 이용한 특징벡터는 심박수의 평균, 표준편차, 심박 수 변이(Heart rate variability)의 평균, 광혈류량의 표준편차, 광혈류량의 1차 미분의 평균, 광혈류량의 1차 미분의 표준편차, 및 광혈류량의 저주파 성분과 고주파 성분의 비율중 어느 하나 이상을 포함하는 생리신호 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.17. The method of claim 16,
The feature vector using the optical blood flow can be expressed as the mean of the heart rate, the standard deviation, the average of the heart rate variability, the standard deviation of the optical blood flow, the average of the first derivative of the optical blood flow, , And a ratio of a low-frequency component and a high-frequency component of the optical blood flow to the physiological signal feature vector.
상기 (b) 단계는,
획득된 동물의 뇌신경신호 및 생리신호를 주성분 분석법(principal component analysis, PCA)과 독립성분 분석법(independent component analysis, ICA)을 수행하여 뇌신경신호 및 생리신호에 관한 기저벡터를 추출하는 단계;
상기 기저벡터로부터 특징벡터를 추출하는 단계; 및
상기 특징벡터를 서브클래스(subclass)로 분류하는 클러스터링(clustering) 단계;를 더 포함하여 특징벡터를 추출하는 것을 특징으로 하는 동물 행동 제어 방법.10. The method of claim 9,
The step (b)
Extracting a base vector related to a cranial nerve signal and a physiological signal by performing principal component analysis (PCA) and independent component analysis (ICA) on the nerve signal and physiological signal of the obtained animal;
Extracting a feature vector from the basis vector; And
And a clustering step of classifying the feature vectors into subclasses, wherein the feature vectors are extracted.
상기 서포트 벡터 회귀는 분류된 특징벡터를
The support vector regression may be performed by
상기 (e) 단계에서 상기 동물의 특정 대뇌 영역은,
자발적인 방향성 있는 움직임 자극을 가하기 위한 대뇌 체성 감각 영역;
강제적인 방향성 있는 움직임 자극을 가하기 위한 바닥핵(basal ganglia)의 흑색선조체 경로(nigrostriatal pathway) 또는 시상(thalamus)의 체성감각 통로인 복측후내측핵 (ventral posteromedial nucleus);
보상 자극을 가하기 위한 뇌측전다발 영역; 및
처벌 자극을 가하기 위한 편도체(amygdala);를 포함하는 것을 특징으로 하는 동물 행동 제어 방법.10. The method of claim 9,
The specific cerebral region of the animal in the step (e)
A cerebral somatosensory area for applying spontaneous directional motion stimulation;
Ventral posteromedial nucleus, a somatic sensory pathway of the nigrostriatal pathway or thalamus of the basal ganglia for applying forced directional motor stimulation;
A brainstem bundle region for applying compensatory stimulation; And
And an amygdala for applying a punitive stimulus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170039216A KR101948417B1 (en) | 2017-03-28 | 2017-03-28 | Multiple neuro-physiological signal based animal behavior control system and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170039216A KR101948417B1 (en) | 2017-03-28 | 2017-03-28 | Multiple neuro-physiological signal based animal behavior control system and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180109451A KR20180109451A (en) | 2018-10-08 |
| KR101948417B1 true KR101948417B1 (en) | 2019-02-14 |
Family
ID=63864778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170039216A KR101948417B1 (en) | 2017-03-28 | 2017-03-28 | Multiple neuro-physiological signal based animal behavior control system and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101948417B1 (en) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015145422A1 (en) | 2014-03-26 | 2015-10-01 | Scr Engineers Ltd | Livestock location system |
| US11071279B2 (en) | 2014-09-05 | 2021-07-27 | Intervet Inc. | Method and system for tracking health in animal populations |
| US10986817B2 (en) | 2014-09-05 | 2021-04-27 | Intervet Inc. | Method and system for tracking health in animal populations |
| AU2019261293A1 (en) | 2018-04-22 | 2020-12-10 | Vence, Corp. | Livestock management system and method |
| CN112911927B (en) | 2018-10-10 | 2023-06-27 | 世亚工程设备有限公司 | Method and device for drying milk of livestock |
| CN109566446A (en) * | 2018-12-07 | 2019-04-05 | 中国人民解放军军事科学院军事医学研究院 | The training device and method grasped for primate moving target object |
| KR102245768B1 (en) * | 2019-06-28 | 2021-04-28 | 국방과학연구소 | Animal Behavior Control Apparatus and System including the same |
| KR102296838B1 (en) | 2019-08-12 | 2021-09-02 | 단국대학교 천안캠퍼스 산학협력단 | Motion Intention Discrimination Method and Prosthesis Control Method by Linking EEG Signal and Peripheral Nerve Signal |
| CN110743101B (en) * | 2019-10-29 | 2023-08-25 | 中国电子科技集团公司第五十四研究所 | Animal robot movement behavior recording and analyzing method |
| KR102439639B1 (en) * | 2020-03-24 | 2022-09-02 | 비웨이브 주식회사 | Method for providing information of major depressive disorders and device for providing information of major depressive disorders using the same |
| USD990063S1 (en) | 2020-06-18 | 2023-06-20 | S.C.R. (Engineers) Limited | Animal ear tag |
| USD990062S1 (en) | 2020-06-18 | 2023-06-20 | S.C.R. (Engineers) Limited | Animal ear tag |
| IL275518B (en) | 2020-06-18 | 2021-10-31 | Scr Eng Ltd | An animal tag |
| CN113421141A (en) * | 2020-07-29 | 2021-09-21 | 阿里巴巴集团控股有限公司 | Shopping processing method and device based on brain-computer and brain nerve signals and electronic equipment |
| WO2022113062A1 (en) | 2020-11-25 | 2022-06-02 | Scr Engineers Ltd. | A system and method for tracing members of an animal population |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002345862A (en) * | 2001-05-22 | 2002-12-03 | Hokkaido Technology Licence Office Co Ltd | Individually adaptive biological signal passive-movement appliance control system and its control method |
| JP2006079321A (en) * | 2004-09-09 | 2006-03-23 | Nippon Telegr & Teleph Corp <Ntt> | Parameter estimation device, method, and program, and recording medium of parameter estimation program |
| JP2012055679A (en) * | 2010-09-10 | 2012-03-22 | Jiaotong Univ | Interactive biosensing device and method thereof |
-
2017
- 2017-03-28 KR KR1020170039216A patent/KR101948417B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002345862A (en) * | 2001-05-22 | 2002-12-03 | Hokkaido Technology Licence Office Co Ltd | Individually adaptive biological signal passive-movement appliance control system and its control method |
| JP2006079321A (en) * | 2004-09-09 | 2006-03-23 | Nippon Telegr & Teleph Corp <Ntt> | Parameter estimation device, method, and program, and recording medium of parameter estimation program |
| JP2012055679A (en) * | 2010-09-10 | 2012-03-22 | Jiaotong Univ | Interactive biosensing device and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180109451A (en) | 2018-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101948417B1 (en) | Multiple neuro-physiological signal based animal behavior control system and method thereof | |
| CA2524617C (en) | System and method of assessment of the efficacy of treatment of neurological disorders using the electroencephalogram | |
| US7706871B2 (en) | System and method of prediction of response to neurological treatment using the electroencephalogram | |
| Blinowska et al. | Electroencephalography (eeg) | |
| US9302111B2 (en) | Modulation and analysis of cerebral perfusion in epilepsy and other neurological disorders | |
| EP2575608B1 (en) | Detector for identifying physiological artifacts from physiological signals and method | |
| JP3769023B2 (en) | A system for predicting, early detection, warning, prevention or control of changes in brain activity | |
| EP3217869B1 (en) | Scoring method based on improved signals analysis | |
| JP2019528104A (en) | In-ear sensing system and method for monitoring biological signals | |
| JP2007515200A5 (en) | ||
| WO2020132315A1 (en) | Systems and methods to detect and treat obstructive sleep apnea and upper airway obstruction | |
| US11154234B2 (en) | Method for the management of nociception | |
| CN115486818B (en) | Method, system and device for motor nerve pathway detection and quantification | |
| JP6304626B2 (en) | Rehabilitation equipment | |
| Paulraj et al. | Fractal feature based detection of muscular and ocular artifacts in EEG signals | |
| Saidatul et al. | The assessment of developed mental stress elicitation protocol based on heart rate and EEG signals | |
| Dubey et al. | Digital analysis of EEG brain signal | |
| Prakash et al. | A study on artifacts removal from physiological signals | |
| KR20230136991A (en) | Method and device for neuro/biofeedback to stabilize motor cortex of tic-disorders based on biomedcal signals | |
| Hasan et al. | Artifact Reduction | |
| Zhang et al. | Estimation of mental fatigue based on wavelet packet parameters and kernel learning algorithms | |
| Hapuarachchi | Feature selection and artifact removal in sleep stage classification | |
| Qaraqe | Patient-Specific Epileptic Seizure Onset Detection via Fused Eeg and Ecg Signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |