KR102442529B1 - 인공지능을 이용한 반려동물 소통 서비스 제공 방법 - Google Patents
인공지능을 이용한 반려동물 소통 서비스 제공 방법 Download PDFInfo
- Publication number
- KR102442529B1 KR102442529B1 KR1020190113578A KR20190113578A KR102442529B1 KR 102442529 B1 KR102442529 B1 KR 102442529B1 KR 1020190113578 A KR1020190113578 A KR 1020190113578A KR 20190113578 A KR20190113578 A KR 20190113578A KR 102442529 B1 KR102442529 B1 KR 102442529B1
- Authority
- KR
- South Korea
- Prior art keywords
- companion animal
- artificial intelligence
- sound
- user
- management server
- Prior art date
Links
- 241001465754 Metazoa Species 0.000 title claims abstract description 177
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000004891 communication Methods 0.000 title claims description 15
- 230000008451 emotion Effects 0.000 claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 238000010801 machine learning Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 8
- 238000007670 refining Methods 0.000 claims description 8
- 230000002996 emotional effect Effects 0.000 description 11
- 241000282472 Canis lupus familiaris Species 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 235000008314 Echinocereus dasyacanthus Nutrition 0.000 description 1
- 240000005595 Echinocereus dasyacanthus Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Acoustics & Sound (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- User Interface Of Digital Computer (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
Abstract
심층 신경회로망 머신러닝 기반의 인공지능을 이용한 반려동물 소리 서비스 제공 방법이 개시된다. 이 방법은 관리 서버가 사용자 단말에서 실행되는 반려동물 애플리케이션으로 사용자 반려동물의 의사 또는 감정별 소리 녹음 및 업로드를 요청하는 단계, 반려동물 애플리케이션이 요청된 의사 또는 감정별 녹음된 사용자 반려동물의 소리 데이터를 관리 서버로 업로드하는 단계, 관리 서버가 업로드된 의사 또는 감정별 소리 데이터로 심층 신경회로망 머신러닝(Deep Neural Network Machine Learning) 기반의 인공지능 모델을 학습시키는 단계, 관리 서버가 학습 완료한 인공지능 모델을 반려동물 애플리케이션으로 제공하는 단계, 및 반려동물 애플리케이션이 사용자 입력에 해당하는 반려동물용 소리를 인공지능 모델을 이용해 생성하여 스피커를 통해 출력하는 단계를 포함한다.
Description
본 발명은 반려동물과의 소통을 위한 기술에 관한 것이다.
심층 신경회로망 머신러닝(Deep Neural Network Machine Learning) 기반의 인공지능 연구가 활발하게 진행되면서 심층 신경회로망 머신러닝 기반의 인공지능을 이용하여 인간의 음성을 합성하는 시스템 및 방법들이 등장하고 있다. 심층 신경회로망 머신러닝 기반의 인공지능을 이용한 인간 음성 합성 시스템 및 방법들은 종래의 인간 음성 합성 시스템 및 방법들과는 다르게 대규모의 인간 음성 데이터를 고성능 컴퓨터 시스템 상에서 구현된 심층 신경회로망 인공지능 모델에 학습시킨 후, 학습된 심층 신경회로망 인공지능 모델을 이용하여 고품질의 인간 음성을 합성하여 재현한다. 이러한 심층 신경회로망 머신러닝 기반의 인공지능 모델은 복잡한 인간 음성합성 모델을 사용하여 인간 음성을 합성하여 재현하는 종래의 방식들과 비교할 때, 복잡한 음성합성 모델을 사용하지 않고서도 고품질의 인간 음성을 합성하여 재현할 수 있는 안정적인 음성합성 시스템을 제공할 수 있다.
그러나 동물의 의사를 나타내는 동물 소리를 합성하는 종래의 시스템 및 방법들은 동물의 의사를 나타내는 모든 동물 소리를 일일이 녹음해서 모은 후에 원하는 의사를 표현하고자 할 경우에는 해당하는 동물 소리의 조각들을 조합한 후 합성하여 재현한다. 혹은 동물의 의사를 나타내는 모든 동물 소리를 일일이 녹음해서 모은 후에, 동물 소리를 주파수나 특정 요소로 분해해서 저장한 후 원하는 동물의 의사에 해당하는 동물 소리의 주파수나 특정 요소를 조합하여 동물 소리를 합성해서 재현하는 시스템 및 방법들이 사용된다. 이 같은 종래의 시스템 및 방법들은 동물의 의사를 나타내는 동물 소리를 수집, 취합하기가 너무 어렵다. 또한, 동물의 의사를 정확히 나타내는 고품질의 동물 소리를 합성하기 어렵거나, 해당 시스템과 방법들이 너무 복잡해서 사용이 어렵거나 매우 고비용이거나 오류에 약하거나 하는 등의 문제가 있다.
본 발명은 사용자가 반려동물의 상태를 확인하고, 반려동물에게 전달하고자 하는 표현을 반려동물 소리로 용이하게 재현할 수 있도록 하는 방안을 제공함을 목적으로 한다.
일 양상에 따른 인공지능을 이용한 반려동물 소통 서비스 제공 방법은, 관리 서버가 사용자 단말에서 실행되는 반려동물 애플리케이션으로 사용자 반려동물의 의사 또는 감정별 소리 녹음 및 업로드를 요청하는 단계, 반려동물 애플리케이션이 요청된 의사 또는 감정별 녹음된 사용자 반려동물의 소리 데이터를 관리 서버로 업로드하는 단계, 관리 서버가 업로드된 사용자 반려동물의 의사 또는 감정별 소리 데이터를 의사 또는 감정을 표현하는 글자와 글자에 대응하는 반려동물의 소리를 함께 묶고 분류해서, 심층 신경회로망 머신러닝 기반의 인공지능 모델을 학습시키기 위한 학습데이터로 정제하고 가공하는 단계, 관리 서버가 학습데이터를 정제하고 가공할 때, 반려동물의 의사 또는 감정별 소리 데이터를 의사 또는 감정을 표현하는 글자와 더불어, 소리의 음높이(pitch)와 소리의 지속시간(duration), 소리의 반복(repetition) 횟수 등을 분석/추출해서 함께 묶고 분류하여 심층 신경회로망 머신러닝 기반의 인공지능 모델을 학습시키기 위한 학습데이터로 정제하고 가공하는 단계, 관리 서버가, 함께 묶여서 정제되고 가공된 의사 또는 감정별 소리와 의사 또는 감정을 표현하는 글자, 소리의 음높이(pitch), 소리의 지속시간(duration), 소리의 반복(repetition) 횟수 등으로 구성된 학습데이터로 심층 신경회로망 머신러닝(Deep Neural Network Machine Learning) 기반의 인공지능 모델을 학습시키는 단계, 관리 서버가 학습 완료한 인공지능 모델을 반려동물 애플리케이션으로 제공하는 단계, 반려 동물 애플리케이션이 사용자 입력에 해당하는 반려동물용 소리를 인공지능 모델을 이용해 생성하여 스피커를 통해 출력하는 단계, 및 인공지능 모델이 사용자 입력이 나타내는 반려동물의 의사 또는 감정에 해당하는 반려동물의 소리를 생성할 때, 반려동물의 의사 또는 감정에 해당하는 소리의 음높이(pitch), 소리의 지속시간(duration), 소리의 반복(repetition) 횟수 등을 함께 생성하여 스피커를 통해 출력하는 단계를 포함할 수 있다.
소리 녹음 및 업로드 요청 단계는 사용자 반려동물이 소리로 표현 가능한 모든 의사 또는 감정 중에서 일부 의사 또는 감정을 나타내는 소리 녹음 및 업로드를 요청할 수 있다.
반려동물 소리 서비스 제공 방법은 관리 서버가 사용자 반려동물의 품종을 확인하는 단계를 더 포함할 수 있으며, 소리 녹음 및 업로드 요청 단계는 확인된 품종에 대응되는 일부 의사 또는 감정을 나타내는 소리 녹음 및 업로드를 요청할 수 있다.
품종 확인 단계는 반려동물 애플리케이션으로 사용자 반려동물 이미지를 요청하는 단계, 및 품종 확인을 위해 반려동물 애플리케이션으로부터 수신된 사용자 반려동물 이미지를 분석하는 단계를 포함할 수 있다.
반려동물 소리 서비스 제공 방법은 관리 서버가 복수의 인공지능 모델 중에서 사용자 반려동물의 품종에 대한 사전 학습데이터를 이용하여 사전 학습을 완료한 인공지능 모델을 선택하는 단계를 더 포함할 수 있으며, 학습 단계는 업로드된 의사 또는 감정별 소리 데이터로 선택된 인공지능 모델을 추가로 학습시킬 수 있다.
개시된 바에 따르면, 심층 신경회로망 머신러닝 기반의 인공지능을 이용하여 사용자가 반려동물의 상태를 확인하고 반려동물에게 전달하고자 하는 의사나 감정을 반려동물이 이해할 수 있는 소리로 용이하게 재현하는 것이 가능해진다.
도 1은 일 실시예에 따른 반려동물 소리 서비스 제공 시스템 블록도이다.
도 2는 일 실시예에 따른 사용자 반려동물용 인공지능 모델을 학습시키기 위한 학습데이터를 정제하고 가공하여 생성하는 시스템 블록도이다.
도 3은 일 실시예에 따른 학습데이터로 사용자 반려동물용 인공지능 모델을 학습시킨 후에, 학습이 완료된 인공지능 모델이 포함된 추론 시스템(Inference System)을 통해서 반려동물 소리를 생성하는 시스템 블록도이다.
도 4는 일 실시예에 따른 사용자 반려동물용 인공지능 모델의 제공 과정을 나타낸 흐름도이다.
도 5는 일 실시예에 따른 사용자 반려동물 소리 재현 과정을 나타낸 흐름도이다.
도 6은 다른 실시예에 따른 사용자 반려동물 소리 재현 과정을 나타낸 흐름도이다.
도 2는 일 실시예에 따른 사용자 반려동물용 인공지능 모델을 학습시키기 위한 학습데이터를 정제하고 가공하여 생성하는 시스템 블록도이다.
도 3은 일 실시예에 따른 학습데이터로 사용자 반려동물용 인공지능 모델을 학습시킨 후에, 학습이 완료된 인공지능 모델이 포함된 추론 시스템(Inference System)을 통해서 반려동물 소리를 생성하는 시스템 블록도이다.
도 4는 일 실시예에 따른 사용자 반려동물용 인공지능 모델의 제공 과정을 나타낸 흐름도이다.
도 5는 일 실시예에 따른 사용자 반려동물 소리 재현 과정을 나타낸 흐름도이다.
도 6은 다른 실시예에 따른 사용자 반려동물 소리 재현 과정을 나타낸 흐름도이다.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 통상의 기술자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 사용자 반려동물 맞춤형 소통 시스템 블록도이다. 도 1에 도시된 바와 같이, 사용자 반려동물 맞춤형 소통 시스템은 사용자 단말(100)과 관리 서버(300)를 포함할 수 있다. 아니면 사용자 반려동물 맞춤형 소통 시스템은 관리 서버(300)만을 의미할 수 있으며, 관리 서버(300)와 사용자 단말(100)에 설치되어 실행되는 반려동물 소통 애플리케이션(이하 ‘반려동물 앱’이라 한다)(200)을 포함하는 것일 수도 있다. 그리고 사용자 단말(100)과 관리 서버(300)는 네트워크를 통해 데이터 통신이 가능하다. 네트워크에는 복수의 이종 네트워크들이 포함될 수 있으며, 복수의 통신 프로토콜들을 지원할 수 있다. 예를 들어, 네트워크는 TCP/IP, IPX, SPX, NetBIOS, 이더넷, ARCNET, Fiber Distributed Data Interface(FDDI), IEEE 802.11, IEEE 802.11a 및 직접 동기화 연결 등의 통신 프로토콜들 중 적어도 일부를 지원한다. 사용자 단말(100)과 관리 서버(300)는 이 같은 네트워크를 통해 데이터 통신을 수행할 수 있다.
사용자 단말(100)은 컴퓨팅 기능을 가진 통신 단말로서, 스마트폰 등의 모바일 단말일 수 있다. 사용자 단말(100)은 반려동물 앱(200)을 포함한다. 반려동물 앱(200)은 사용자와 사용자의 반려동물 간에 소통이 이루어지도록 하는 서비스를 제공한다. 관리 서버(300)는 웹 서버, 웹 애플리케이션 서버(Web Application Server, WAS), 데이터베이스 서버, 심층 신경회로망 머신러닝(Deep Neural Network Machine Learning) 학습 서버(Training Server), 심층 신경회로망 머신러닝 추론 서버(Inference Server) 등을 포함하여 구성되는 서버 시스템일 수 있다. 관리 서버(300)는 윈도우 계열 운영체제나 MacOS, 자바, 유닉스 (UNIX) 또는 리눅스(LINUX)를 포함하거나, 이에 포함되지 않은 다양한 운영체제 하에서 운영될 수 있다. 관리 서버(300)는 반려동물 앱(200)과 연동하여 사용자에게 반려동물과의 소통을 위한 서비스와 인공지능 모델을 제공한다.
도 2는 일 실시예에 따른 사용자 반려동물용 인공지능 모델을 학습시키기 위한 학습데이터를 정제하고 가공하여 생성하는 시스템 블록도이다. 도 2에 도시된 바와 같이, 관리 서버(300)로 업로드된 사용자 반려동물의 의사 또는 감정별 소리 데이터는 의사 또는 감정을 표현하는 글자와 글자에 대응하는 반려동물의 소리가 함께 묶고 분류되어, 심층 신경회로망 머신러닝 기반의 인공지능 모델을 학습시키기 위한 학습데이터로 정제되고 가공된다. 관리 서버(300)가 학습데이터를 정제하고 가공할 때, 반려동물의 의사 또는 감정별 소리 데이터를 의사 또는 감정을 표현하는 글자와 더불어, 소리의 음높이(pitch), 소리의 지속시간(duration), 소리의 반복(repetition) 횟수 등과 함께 묶고 분류해서, 심층 신경회로망 머신러닝 기반의 인공지능 모델을 학습시키기 위한 학습데이터로 정제하고 가공할 수 있다.
도 3은 일 실시예에 따른 학습데이터로 사용자 반려동물용 인공지능 모델을 학습시킨 후에, 학습이 완료된 인공지능 모델이 포함된 추론 시스템(inference system)을 통해서 반려동물 소리를 생성하는 시스템 블록도이다. 도 3에 도시된 바와 같이, 정제되고 가공된 학습데이터들이 심층 신경회로망 머신러닝 기반의 인공지능 모델에 입력되어 학습이 이루어진다. 이때, 학습데이터는 반려동물의 소리와 그 소리에 대응하는 의사/감정 글자, 소리의 음높이(pitch), 소리의 지속시간(duration), 소리의 반복(repetition) 횟수 등으로 구성될 수 있다. 학습이 완료되면, 인공지능 모델이 포함된 추론 시스템(inference system)이 구성되며, 사용자가 나타내고자 하는 의사/감정 글자를 입력하면 심층 신경회로망 머신러닝 기반의 인공지능 모델 추론 시스템에 의해서 반려동물의 소리가 생성된다. 이 때, 추론 시스템은 나타내고자 하는 의사/감정 글자에 대응하는 소리와 소리의 음높이(pitch), 소리의 지속시간(duration), 소리의 반복(repetition) 횟수 등을 함께 생성할 수 있다.
나아가, 이러한 인공지능 모델 추론 시스템은 GAN(Generative Adversarial Networks) 모델을 이용할 수 있다. 이러한 GAN 모델은 생성자와 분류자의 쌍을 통해서 정교화된 신규 데이터를 생성하기 위한 것으로, 반려동물의 소리에 대한 정보를 학습하여 유사한 특징을 가지는 새로운 데이터를 생성할 수 있다. 따라서, 이러한 GAN 모델을 적용할 경우 소리와 음높이, 소리의 지속시간, 소리의 반복 및 이에 대응되는 의사/감정 글자로 구분되는 학습 내용 분류 내에서도 반려동물 소리 특유의 특성을 파악할 수 있으며, GAN 모델을 통해서 실제와 유사한 반려동물의 소리를 생성할 수 있게 된다. 예컨대, "산책가요"에 해당하는 다양한 종류의 반려동물의 소리를 학습하여 실제로 제공하고자 하는 소리를 자신의 반려동물이 내는 소리와 유사하게 만들어 준다거나, 사용자가 지정한 기준에 맞추어 변형하여 만들어 줄 수 있으며, 해당 반려동물에 대한 학습이 완료되지 않거나 학습 내용이 적은 경우에도 타 반려동물을 통해 학습한 내용을 토대로 학습이 완료되지 않거나 학습 내용이 적은 반려동물의 소리를 만들어 낼 수도 있다.
도 4 내지 도 6은 심층 신경회로망 머신러닝 기반의 인공지능을 이용한 반려동물 소리 서비스 제공 방법에 대한 흐름 예시도이다. 먼저, 도 4에 대해 설명한다. 도 4는 일 실시예에 따른 사용자 반려동물용 인공지능 모델의 제공 과정을 나타낸 흐름도이다. 반려동물 앱(200)은 사용자 조작에 의해 실행되어 사용자 명령에 따라 관리 서버(300)로 반려동물 리스트를 요청하며(S100), 관리 서버(300)는 반려동물 리스트를 반려동물 앱(200)으로 제공한다(S105). 반려동물 리스트에는 개, 고양이 등이 항목으로 포함된다. 반려동물 앱(200)은 반려동물 리스트를 수신하고 화면에 표시하여 사용자로 하여금 자신의 반려동물 종류를 선택할 수 있도록 한다. 다른 예로, 반려동물 앱(200)은 반려동물 리스트를 미리 가지고 있어 관리 서버(300)에 요청할 필요 없이 반려동물 리스트를 화면 표시한다.
사용자는 반려동물 리스트에서 반려동물 항목을 선택하는데, 자신의 반려동물이 개인 경우에는 반려동물 리스트에서 개를 선택하는 것이다. 반려동물 리스트에서 반려동물 항목이 선택되면, 반려동물 앱(200)은 관리 서버(300)로 반려동물 선택 정보를 전달한다(S110). 선택된 반려동물이 확인되면, 관리 서버(300)는 반려동물 앱(200)으로 사용자 반려동물의 이미지를 요청한다(S115). 이에 반려동물 앱(200)은 사용자에게 반려동물 이미지 요청이 있음을 알리며, 사용자는 자신의 반려동물을 촬영하거나 기저장된 자신의 반려동물 이미지를 선택한다. 반려동물 앱(200)은 촬영 또는 선택된 반려동물 이미지를 관리 서버(300)로 전달하며, 관리 서버(300)는 전달된 반려동물 이미지를 분석하여 사용자 반려동물의 품종을 확인한다. 참고로, 견종으로는 푸들, 진돗개, 말티즈, 시츄, 요크셔테리어, 치와와, 페모라니안, 삽살개, 시베리안 허스키 등이 있으며, 관리 서버(300)는 반려동물 이미지 분석을 통해 어떤 견종인지를 확인하는 것이다. 다른 예로, 관리 서버(300)는 반려동물 앱(200)으로 품종 리스트를 제시하면서 품종을 선택토록 할 수도 있으며, 품종 리스트는 반려동물 리스트에 반영되어 함께 제시될 수도 있다.
관리 서버(300)는 사용자 반려동물의 의사 또는 감정별 소리를 녹음하여 업로드할 것을 반려동물 앱(200)으로 요청한다(S130). 이때, 관리 서버(300)는 반려동물이 표현할 수 있는 모든 의사 또는 감정별 소리를 모두 녹음하여 업로드할 것을 요청하는 것이 아니라, 일부 의사 또는 감정별 소리를 녹음하여 업로드할 것을 요청한다. 이에 반려동물 앱(200)은 일부 의사 또는 감정별 사용자 반려동물의 소리를 녹음하여 업로드한다. 여기서, 일부 의사/감정은 반려동물별로 상이할 수 있으며, 반려동물의 품종별로도 상이할 수 있다. 이는 반려동물별로 그리고 같은 종류의 반려동물이라 하더라도 품종별로 특성이 상이하여 주로 표현하는 의사나 감정이 다르다는 점을 고려한 것이다.
일 실시예에 있어서, 반려동물 또는 품종별 일부 의사/감정 정보는 데이터베이스에 저장되어 있으며, 관리 서버(300)는 사용자 반려동물 또는 사용자 반려동물의 품종에 매핑된 일부 의사 또는 감정 정보를 데이터베이스에서 검색하여 반려동물 앱(200)으로 전달하면서 사용자 반려동물의 소리를 녹음하여 업로드할 것을 반려동물 앱(200)으로 요청한다. 요청을 확인한 사용자는 관리 서버(300)로부터 전달된 의사/감정 정보에 속하는 의사/감정 항목들을 확인하고, 자신의 반려동물이 확인된 의사/감정 항목에 대응되는 소리를 내는 것으로 판단하면 반려동물 앱(200)을 작동시켜 소리 녹음 및 업로드를 명령하며, 반려동물 앱(200)은 그 명령에 따라 해당 항목에 대한 반려동물의 소리를 녹음한 후에 그 녹음된 소리 데이터를 업로드한다(S135). 이 같은 방식으로 일부 의사/감정 정보에 속하는 모든 항목에 대해 반려동물의 소리가 녹음되고 업로드될 수 있다. 그리고 일부 의사/감정 정보에 속하는 항목은 일정 개수 이하일 수 있다. 예를 들어, 일부 의사/감정 정보는 “배고파요”, “소변이 마려워요”, “산책가요” 항목들로 이루어진다.
관리 서버(300)는 반려동물 앱(200)에 요청한 의사/감정 정보에 대한 모든 소리 데이터가 업로드되면 그 업로드된 모든 소리 데이터를 심층 신경회로망 머신러닝 기반의 인공지능 모델이 학습할 수 있는 데이터로 가공 및 정제한 후에 그 학습 데이터로 인공지능 모델을 학습시킨다(S140). 관리 서버(300)는 소리 데이터를 정제하고 가공하여 학습데이터로 생성할 때, 반려동물의 의사 또는 감정별 소리 데이터를 의사 또는 감정을 표현하는 글자와 더불어, 소리의 음높이(pitch), 소리의 지속시간(duration), 소리의 반복(repetition) 횟수 등과 함께 묶고 분류해서, 심층 신경회로망 머신러닝 기반의 인공지능 모델을 학습시키기 위한 학습데이터로 정제하고 가공할 수 있다.
일 실시예에 있어서, 관리 서버(300)는 사전에 미리 충분히 많은 양의 학습 데이터(사전 학습 데이터)를 이용하여 학습이 완료된 인공지능 모델들 중에서 사용자 반려동물 또는 사용자 반려동물의 품종에 해당하는 인공지능 모델을 선택하고, 그 선택된 인공지능 모델을, 반려동물 앱(200)으로부터 업로드된 후 정제되고 가공된 학습데이터로 추가 학습시킨다. 학습이 완료되면, 관리 서버(300)는 그 인공지능 모델을 반려동물 앱(200)으로 전송한다(S145).
이상의 도 4의 절차들 중에서 일부는 생략될 수 있다. 예를 들어, S100 내지 S125 중에서 적어도 일부는 생략 가능하다. 또한, 단계들의 선후도 뒤바뀔 수 있다. 한편, 소리 데이터를 가공 및 정제함에 있어서, 녹음된 소리를 적절한 비율로 학습(training)용과 검증(validation)용 및 테스트(test)용으로 가공하고 정제할 수 있다. 그리고 소리 데이터를 가공하고 정제하는 것은 관리 서버(300)가 아니라 반려동물 앱(200)에서 수행될 수도 있다. 즉, 반려동물 앱(200)이 녹음된 소리 데이터를 업로드하기 전에 심층 신경회로망 머신러닝 기반의 인공지능 모델이 학습할 수 있는 데이터로 가공하고 정제한 후에 업로드할 수 있다.
도 5는 일 실시예에 따른 사용자 반려동물 소리 재현 과정을 나타낸 흐름도이다. 사용자가 반려동물에게 의사나 감정을 표현하고자 반려동물 앱(200)을 조작하면, 반려동물 앱(200)은 반려동물에게 표현할 수 있는 의사/감정 리스트를 제시한다. 의사/감정 리스트에는 “산책가요”, “밥먹어요” 등과 같은 의사/감정 항목들이 포함된다. 사용자가 어느 하나의 항목을 선택하면, 반려동물 앱(200)은 선택된 항목에 해당하는 반려동물 소리를 인공지능 모델을 이용하여 생성한 후에 스피커를 통해 출력한다. 이를 통해, 사용자가 반려동물에게 표현하고자 하는 바를 반려동물이 인지할 수 있는 소리로 재현할 수 있다.
도 6은 다른 실시예에 따른 사용자 반려동물 소리 재현 과정을 나타낸 흐름도이다. 반려동물 앱(200)은 사용자로부터 음성을 입력받으며(S300), 입력된 음성을 분석하여 텍스트로 변환한다(S310). 반려동물 앱(200)은 텍스트에 해당하는 반려동물 소리를 인공지능 모델을 이용하여 생성한 후에 스피커를 통해 출력한다(S320). 일 실시예에 있어서, 반려동물 앱(200)은 의사/감정 리스트에 속한 의사/감정 항목들 중에서 변환된 텍스트에 대응되는 항목이 있는지 파악하며, 파악 결과 대응되는 항목이 존재할 경우에 그 대응 항목에 해당하는 반려동물 소리를 인공지능 모델을 이용하여 생성한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 : 사용자 단말 200 : 반려동물 앱
300 : 관리 서버
300 : 관리 서버
Claims (2)
- 관리 서버가 반려동물 애플리케이션이 실행되는 사용자 단말로 사용자 반려동물의 의사 또는 감정별 소리 녹음 및 업로드를 요청하는 단계;
상기 반려동물 애플리케이션이 실행되는 사용자 단말은 요청된 의사 또는 감정별 녹음된 사용자 반려동물의 소리 데이터를 관리 서버로 업로드하는 단계;
상기 관리 서버는 수신된 소리 데이터에 대해서 반려동물의 의사 또는 감정별 소리 데이터를 의사 또는 감정을 표현하는 글자와 더불어, 소리의 음높이(pitch), 소리의 지속시간(duration), 소리의 반복(repetition) 횟수 등과 함께 묶고 분류해서, 심층 신경회로망 머신러닝 기반의 인공지능 모델을 학습시키기 위한 학습데이터로 정제하고 가공하는 단계;
상기 관리 서버는 상기 정제 및 가공된 학습데이터로 반려동물의 의사 또는 감정을 표현하는 글자와 그에 대응되는 소리 데이터를 심층 신경회로망 머신러닝(Deep Neural Network Machine Learning) 기반의 인공지능 모델을 학습시켜 학습된 내용에 대한 추론이 가능하도록 하는 단계;
상기 관리 서버는 학습 완료되거나 학습 중인 심층 신경회로망 머신러닝 기반 인공지능 모델을 활용하는 GAN(Generative Adversarial Networks) 모델을 포함한 인공지능 모델 추론 시스템을 구성하는 단계와;
상기 관리 서버는 상기 인공지능 모델 추론 시스템을 이용하여 자신의 반려 동물이 내는 소리와 유사한 소리를 생성하거나 혹은 사용자가 지정한 기준에 맞추어 변형된 소리를 생성할 수 있도록 학습된 인공지능 모델을 상기 반려동물 애플리케이션이 실행되는 사용자 단말로 제공하는 단계; 및
상기 반려동물 애플리케이션이 실행되는 사용자 단말은 사용자 입력에 해당하는 반려동물용 소리를 인공지능 모델을 이용해 생성하여 스피커를 통해 출력하는 단계;를 포함하되,
상기 관리 서버는 상기 반려동물 애플리케이션이 실행되는 사용자 단말로 사용자 반려동물 이미지를 요청하는 단계; 및
품종 확인을 위해 상기 반려동물 애플리케이션이 실행되는 사용자 단말로부터 수신된 사용자 반려동물 이미지를 분석하여 품종을 결정하는 단계를 포함하고,
상기 관리 서버는 상기 인공지능 모델 추론 시스템을 이용하여 타 반려동물을 통해 학습한 내용을 토대로 학습 내용이 적은 반려동물의 소리를 생성하여 심층 신경회로망 머신러닝 기반 인공지능 모델 학습에 이용하는 인공지능을 이용한 반려동물 소통 서비스 제공 방법. - 제 1 항에 있어서,
상기 관리 서버는 복수의 인공지능 모델 중에서 사용자 반려동물의 품종에 대한 사전 학습데이터를 이용하여 사전 학습을 완료한 인공지능 모델을 선택하는 단계;를 더 포함하며,
상기 인공지능 모델을 학습시키는 단계는 업로드된 의사 또는 감정별 소리 데이터로 상기 선택 단계에서 선택된 인공지능 모델을 학습시키는 인공지능을 이용한 반려동물 소통 서비스 제공 방법.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180118401 | 2018-10-04 | ||
KR20180118401 | 2018-10-04 | ||
KR1020190008639A KR102023649B1 (ko) | 2018-10-04 | 2019-01-23 | 심층 신경회로망 머신러닝 기반의 인공지능을 이용한 반려동물 소리 서비스 제공 방법 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190008639A Division KR102023649B1 (ko) | 2018-10-04 | 2019-01-23 | 심층 신경회로망 머신러닝 기반의 인공지능을 이용한 반려동물 소리 서비스 제공 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200038849A KR20200038849A (ko) | 2020-04-14 |
KR102442529B1 true KR102442529B1 (ko) | 2022-09-13 |
Family
ID=68067316
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190008639A KR102023649B1 (ko) | 2018-10-04 | 2019-01-23 | 심층 신경회로망 머신러닝 기반의 인공지능을 이용한 반려동물 소리 서비스 제공 방법 |
KR1020190113578A KR102442529B1 (ko) | 2018-10-04 | 2019-09-16 | 인공지능을 이용한 반려동물 소통 서비스 제공 방법 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190008639A KR102023649B1 (ko) | 2018-10-04 | 2019-01-23 | 심층 신경회로망 머신러닝 기반의 인공지능을 이용한 반려동물 소리 서비스 제공 방법 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210383217A1 (ko) |
KR (2) | KR102023649B1 (ko) |
WO (1) | WO2020071696A1 (ko) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102023649B1 (ko) * | 2018-10-04 | 2019-09-20 | 임성기 | 심층 신경회로망 머신러닝 기반의 인공지능을 이용한 반려동물 소리 서비스 제공 방법 |
KR20220059841A (ko) | 2020-11-03 | 2022-05-10 | 주식회사 케이티 | 영상 기반의 동물 감정 분석 서버, 방법 및 컴퓨터 프로그램 |
WO2023084291A1 (en) * | 2021-11-12 | 2023-05-19 | Bagheri Hamed | Ai-based organization management |
KR102636790B1 (ko) * | 2021-12-08 | 2024-02-15 | 김진호 | 인공지능을 이용한 동물 음성 분석 장치 및 방법 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101785888B1 (ko) | 2017-01-18 | 2017-10-17 | 이동환 | 이종동물 양방향 커뮤니케이션 서비스 제공 방법 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI221574B (en) * | 2000-09-13 | 2004-10-01 | Agi Inc | Sentiment sensing method, perception generation method and device thereof and software |
JP2004212544A (ja) * | 2002-12-27 | 2004-07-29 | Casio Comput Co Ltd | 音声分析結果送信装置、動物用端末装置、音声分析結果表示装置及びプログラム |
KR20060081759A (ko) * | 2005-01-10 | 2006-07-13 | 주식회사 앳누리 | 휴대 전화를 이용한 개 감정분석 시스템 |
CN104700829B (zh) * | 2015-03-30 | 2018-05-01 | 中南民族大学 | 动物声音情绪识别***及其方法 |
KR102016455B1 (ko) | 2017-01-17 | 2019-08-30 | 양한성 | 애완동물 소통 방법 |
KR101905134B1 (ko) * | 2017-02-03 | 2018-10-05 | 주식회사 창의산업 | 고양이와의 의사소통을 위한 시스템 |
KR102023649B1 (ko) * | 2018-10-04 | 2019-09-20 | 임성기 | 심층 신경회로망 머신러닝 기반의 인공지능을 이용한 반려동물 소리 서비스 제공 방법 |
-
2019
- 2019-01-23 KR KR1020190008639A patent/KR102023649B1/ko active IP Right Grant
- 2019-09-16 KR KR1020190113578A patent/KR102442529B1/ko active IP Right Grant
- 2019-09-27 US US17/281,911 patent/US20210383217A1/en active Pending
- 2019-09-27 WO PCT/KR2019/012653 patent/WO2020071696A1/ko active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101785888B1 (ko) | 2017-01-18 | 2017-10-17 | 이동환 | 이종동물 양방향 커뮤니케이션 서비스 제공 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR102023649B1 (ko) | 2019-09-20 |
KR20200038849A (ko) | 2020-04-14 |
WO2020071696A1 (ko) | 2020-04-09 |
US20210383217A1 (en) | 2021-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102442529B1 (ko) | 인공지능을 이용한 반려동물 소통 서비스 제공 방법 | |
US11488576B2 (en) | Artificial intelligence apparatus for generating text or speech having content-based style and method for the same | |
US7890446B2 (en) | Software robot apparatus | |
KR102185469B1 (ko) | 인공지능을 이용한 반려동물 감성봇 장치 및 이를 이용한 교감 방법 | |
EP3493032A1 (en) | Robot control method and companion robot | |
KR20160108348A (ko) | 흉내 및 풍부한 멀티미디어로 응답하는 디지털 개인용 어시스턴트 상호작용 기법 | |
KR20160019942A (ko) | 인공지능형 에이전트 또는 시스템을 작성 및 구현하는 시스템 및 방법 | |
CN111201567A (zh) | 用于与数字媒体内容交互的口语、面部和姿势通信设备和计算体系架构 | |
KR102412134B1 (ko) | 음원 마스터링을 위한 전자 장치의 동작 방법 및 이를 지원하는 전자 장치 | |
CN110427499B (zh) | 多媒体资源的处理方法、装置及存储介质和电子装置 | |
CN117529773A (zh) | 用户自主个性化文本转语音的声音生成 | |
JP2021533489A (ja) | フィードバックを収集するためのコンピュータ実装システム及び方法 | |
JP6843409B1 (ja) | 学習方法、コンテンツ再生装置、及びコンテンツ再生システム | |
CN108806699A (zh) | 语音反馈方法、装置、存储介质及电子设备 | |
Rincon et al. | Using emotions for the development of human-agent societies | |
US11658928B2 (en) | Virtual content creation method | |
CN115455230A (zh) | 一种舞蹈生成方法及*** | |
CN114723398A (zh) | 舞台创意编排方法、舞台创意编排装置和电子设备 | |
JP2020177367A (ja) | エッジ主導型協働aiのためのコンピュータシステム、そのためのプログラム及び方法 | |
KR102600960B1 (ko) | 영상 콘텐츠 공유 서비스를 제공하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 | |
US11949967B1 (en) | Automatic connotation for audio and visual content using IOT sensors | |
CN108737538B (zh) | 后台数据处理方法及装置 | |
JP6930781B1 (ja) | 学習方法、及びコンテンツ再生装置 | |
US20240185880A1 (en) | Systems and Methods for Emotion Detection, Prediction, Annotation, and Coaching | |
CN118012551A (zh) | 媒体数据生成方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |