KR102438364B1 - 인공지능 기반 작곡 서비스 제공 장치 및 방법 - Google Patents

인공지능 기반 작곡 서비스 제공 장치 및 방법 Download PDF

Info

Publication number
KR102438364B1
KR102438364B1 KR1020200113560A KR20200113560A KR102438364B1 KR 102438364 B1 KR102438364 B1 KR 102438364B1 KR 1020200113560 A KR1020200113560 A KR 1020200113560A KR 20200113560 A KR20200113560 A KR 20200113560A KR 102438364 B1 KR102438364 B1 KR 102438364B1
Authority
KR
South Korea
Prior art keywords
instrument
composition
input
user
artificial intelligence
Prior art date
Application number
KR1020200113560A
Other languages
English (en)
Other versions
KR20220032147A (ko
Inventor
정혜경
정시연
민지영
Original Assignee
건국대학교 글로컬산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 글로컬산학협력단 filed Critical 건국대학교 글로컬산학협력단
Priority to KR1020200113560A priority Critical patent/KR102438364B1/ko
Publication of KR20220032147A publication Critical patent/KR20220032147A/ko
Application granted granted Critical
Publication of KR102438364B1 publication Critical patent/KR102438364B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

인공지능 기반 작곡 서비스 제공 장치 및 방법에 관한 것으로, 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치는 작곡에 기반이 되는 악기를 선택하는 사용자 입력을 수신하는 수신부, 상기 악기를 연주하기 위한 악기 인터페이스를 통한 악기 연주 입력을 수신하는 악기 제공부, 작곡을 위한 사용자의 음성으로부터 음계를 인식하는 음계 인식부 및 상기 사용자의 음성으로부터 인식된 음계 및 상기 악기 연주 입력으로부터 작곡 데이터를 생성하는 작곡부를 포함하되, 상기 음계 인식부는, 상기 사용자의 음성으로부터 음계의 높낮이를 결정하여 음계를 인식하는 인공지능 모델을 포함할 수 있다.

Description

인공지능 기반 작곡 서비스 제공 장치 및 방법{DEVICE AND METHOD FOR PROVIDING COMPOSITION SERVICE BASED ON ARTIFICIAL INTELLIGENCE}
본원은 인공지능 기반 작곡 서비스 제공 장치 및 방법에 관한 것이다.
음악 작곡은 떠오른 악상을 악기로 연주하면서 악보에 기록하는 과정이다. 그러나, 일반적으로 작곡은 음악에 대한 비전문가인 일반인들에게는 쉽지 않은 일이다. 예를 들어, 떠오른 악상을 악기를 이용하여 악보에 기입하는 것은 전문적인 연주 능력이 있거나 작곡 능력이 있어야 한다.
그러나 인터넷을 포함한 정보통신기술의 비약적인 발전에 따라 컴퓨터를 이용한 디지털 음원 처리기술과 전송기술이 일반화되고 또한 많은 사람들이 컴퓨터나 휴대형 디지털기기 등을 이용하여 디지털 음악을 즐기거나 사용하게 되면서 누구나 쉽게 각종 악기 음을 포함한 디지털 음을 생성하고 조작하여 다양한 형태의 음악이나 곡을 재생산할 수 있게 되었다.
또한, 요즘에는 사용자가 음악이나 동영상 등을 직접 제작하는 UCC(User Created Contents)의 활용도가 높아지면서 휴대단말기를 이용한 음악 작곡이나 영상물 제작에 대한 관심이 증가하고 있다. 이에 따라, 사용자는 휴대단말기의 키패드 입력, 터치스크린에 음표를 찍는 방법 혹은 터치스크린에 웨이브(Wave) 파를 그리는 방법을 통해 자신의 음악을 직접 작곡하여 자신만의 음악 파일로 만들어 듣거나 저장하고 있다.
그럼에도 불구하고, 작곡이나 편곡 작업은 음악에 관한 전문적인 지식과 청음감 등을 기초로 하여 자신이 생각하고 있는 패턴의 곡을 여러 악기를 동원하여 생성해야 하기 때문에, 일반인이 단순히 휴대단말기를 통해 악기음을 선택하여 작곡한다 하더라도, 일정한 형식을 갖춘 곡을 제작하는 것은 매우 어려운 것이라 할 수 있다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1191907호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 작곡에 대한 전문적인 지식이 없더라도, 본인의 음성을 음계로 인식할 수 있는 인공지능 기반 작곡 서비스 제공 장치 및 방법을 제공하는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 다양한 악기에 대한 가상의 인터페이스를 제공하여 각 악기를 활용한 작곡이 가능한 인공지능 기반 작곡 서비스 제공 장치 및 방법을 제공하는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들도 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치는, 작곡에 기반이 되는 악기를 선택하는 사용자 입력을 수신하는 수신부, 상기 악기를 연주하기 위한 악기 인터페이스를 통한 악기 연주 입력을 수신하는 악기 제공부, 작곡을 위한 사용자의 음성으로부터 음계를 인식하는 음계 인식부 및 상기 사용자의 음성으로부터 인식된 음계 및 상기 악기 연주 입력으로부터 작곡 데이터를 생성하는 작곡부를 포함하되, 상기 음계 인식부는, 상기 사용자의 음성으로부터 음계의 높낮이를 결정하여 음계를 인식하는 인공지능 모델을 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 악기 제공부는, 상기 악기 제공부와 연동하는 전방표시장치로부터 조사된 악기 형상의 실감 객체로 구현되는 상기 악기 인터페이스에 대한 사용자 입력으로부터 상기 악기 연주 입력을 수신할 수 있다.
본원의 일 실시예에 따르면, 상기 악기 인터페이스는 각 악기별로 사용자에 의한 연주 영역에 대응하여 구현될 수 있다.
본원의 일 실시예에 따르면, 상기 음계 인식부는, 상기 음성 및 상기 악기 연주 입력에 기반하여 발생된 소리의 노이즈를 제거할 수 있다.
본원의 일 실시예에 따르면, 상기 인공지능 모델은 상기 사용자의 음성을 입력으로 하고, 상기 음성으로부터 인식된 음계를 출력으로 하는 학습에 기초하여 구축될 수 있다.
본원의 일 실시예에 따르면, 작곡 교육을 위한 강의 일정을 관리하는 예약부를 더 포함하고, 상기 예약부는, 사용자 단말의 위치에 기반하여, 작곡 강의가 가능한 강사 및 학원에 대한 추천 정보를 상기 사용자 단말로 제공할 수 있다.
본원의 일 실시예에 따르면, 상기 예약부는, 상기 추천 정보를 참고하여 작곡 강의를 예약하는 사용자 입력에 기반하여 예약 정보를 생성하고, 상기 예약 정보를 상기 사용자 단말 및 상기 작곡 강의를 진행하는 강사 단말로 전송할 수 있다.
본원의 일 실시예에 따르면, 상기 예약부는, 상기 예약 정보에 기초하여 상기 강의 이전에 알람을 상기 사용자 단말 및 상기 강사 단말로 전송하되, 상기 알람에 대한 응답이 수신되지 않는 경우, 알람의 유형을 달리하여, 알람을 재전송할 수 있다.
본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 방법은, 작곡에 기반이 되는 악기를 선택하는 사용자 입력을 수신하는 단계, 상기 악기를 연주하기 위한 악기 인터페이스를 통한 악기 연주 입력을 수신하는 단계, 작곡을 위한 사용자의 음성으로부터 음계를 인식하는 단계 및 상기 사용자의 음성으로부터 인식된 음계 및 상기 악기 연주 입력으로부터 작곡 데이터를 생성하는 단계를 포함하되, 상기 음계를 인식하는 단계는, 상기 사용자의 음성으로부터 음계의 높낮이를 결정하여 음계를 인식하는 인공지능 모델에 기초하여 상기 음계를 인식할 수 있다.
본원의 일 실시예에 따르면, 상기 악기 연주 입력을 수신하는 단계는, 전방표시장치로부터 조사된 악기 형상의 실감 객체로 구현되는 상기 악기 인터페이스에 대한 사용자 입력으로부터 상기 악기 연주 입력을 수신할 수 있다.
본원의 일 실시예에 따르면, 상기 인공지능 모델은 상기 사용자의 음성을 입력으로 하고, 상기 음성으로부터 인식된 음계를 출력으로 하는 학습에 기초하여 구축될 수 있다.
본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 시스템은, 작곡에 기반이 되는 악기를 선택하는 사용자 입력을 수신하고, 상기 악기를 연주하기 위한 악기 인터페이스를 통한 악기 연주 입력을 수신하고, 작곡을 위한 사용자의 음성으로부터 음계를 인식하고, 상기 사용자의 음성으로부터 인식된 음계 및 상기 악기 연주 입력으로부터 작곡 데이터를 생성하는 인공지능 기반 작곡 서비스 제공 장치 및 상기 악기를 선택하는 사용자 입력 및, 악기 연주 입력을 상기 인공지능 기반 작곡 서비스 제공 장치로 전송하고, 인공지능 기반 작곡 서비스 제공 장치로부터 상기 작곡 데이터를 수신하여 출력하는 사용자 단말을 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 인공지능 기반 작곡 서비스 제공 장치는, 전방표시장치로부터 조사된 악기 형상의 실감 객체로 구현되는 상기 악기 인터페이스에 대한 사용자 입력으로부터 상기 악기 연주 입력을 수신할 수 있다.
본원의 일 실시예에 따르면, 상기 인공지능 기반 작곡 서비스 제공 장치는, 상기 사용자의 음성으로부터 음계의 높낮이를 결정하여 음계를 인식하는 인공지능 모델을 포함하고, 상기 인공지능 모델은 상기 사용자의 음성을 입력으로 하고, 상기 음성으로부터 인식된 음계를 출력으로 하는 학습에 기초하여 구축될 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 작곡에 대한 전문적인 지식이 없더라도, 본인의 음성을 음계로 인식할 수 있는 인공지능 기반 작곡 서비스 제공 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 다양한 악기에 대한 가상의 인터페이스를 제공하여 각 악기를 활용한 작곡이 가능한 인공지능 기반 작곡 서비스 제공 장치 및 방법을 제공할 수 있다.
도 1은 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 시스템의 구성을 도시한 도면이다.
도 2는 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치의 구성을 도시한 도면이다.
도 3은 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치의 악기 선택의 예를 도시한 도면이다.
도 4는 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치의 악기 인터페이스의 예를 도시한 도면이다.
도 5는 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치의 전방표시장치의 예를 도시한 도면이다.
도 6은 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치의 음성 녹음의 예를 도시한 도면이다.
도 7은 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치의 악기 녹음의 예를 도시한 도면이다.
도 8은 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치의 악기 녹음의 다른 예를 도시한 도면이다.
도 9는 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치의 작곡 데이터의 예를 도시한 도면이다.
도 10은 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 방법의 흐름을 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 시스템의 구성을 도시한 도면이다.
도 1을 참조하면, 인공지능 기반 작곡 서비스 제공 시스템은 인공지능 기반 작곡 서비스 제공 장치(100) 및 사용자 단말(200)을 포함할 수 있다. 인공지능 기반 작곡 서비스 제공 장치(100)는 사용자의 음성으로부터 음정을 인식하고, 사용자가 선택한 악기의 소리로 연주하여 음악을 작곡할 수 있다.
사용자 단말(200)에는 인공지능 기반 작곡 서비스 제공 장치(100)에 의해 제공된 어플리케이션이 설치될 수 있다. 사용자 단말(200)은 작곡시 사용할 악기를 선택하는 사용자 입력 및 선택된 악기로 작곡하기 위한 악기 연주 입력을 수신하여 인공지능 기반 작곡 서비스 제공 장치(100)로 전송할 수 있다. 또한, 사용자 단말(200)은 인공지능 기반 작곡 서비스 제공 장치(100)로부터 상기 작곡 데이터를 수신하여 어플리케이션을 통해 출력할 수 있다.
인공지능 기반 작곡 서비스 제공 장치(100) 및 사용자 단말(200)은 네트워크(10)를 통해 통신할 수 있으며, 네트워크(10)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(10)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
또한, 사용자 단말(200)은 스마트폰(Smartphone), 스마트패드(SmartPad), 스마트 TV, 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 같은 모든 종류의 무선 통신 장치를 포함할 수 있다.
도 2는 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치의 구성을 도시한 도면이다.
도 2를 참조하면, 인공지능 기반 작곡 서비스 제공 장치(100)는 수신부(110), 악기 제공부(120), 음계 인식부(130), 작곡부(140) 및 예약부(150)를 포함할 수 있다. 수신부(110)는 작곡에 기반이 되는 악기를 선택하는 사용자 입력을 수신할 수 있다.
도 3은 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치의 악기 선택의 예를 도시한 도면이다.
수신부(110)는 사용자 단말(200)로부터 악기 선택에 대한 사용자 입력을 수신할 수 있다. 악기 선택은 작곡을 통해 제작할 음악에 사용되는 악기를 선택하는 것이다. 도 3을 참조하면, 드럼, 피아노, 베이스, 기타 등 다양한 종류의 악기를 선택할 수 있으며, 하나의 악기 종류 중에서도 음색, 용도 등에 따라(예를 들어 드럼의 경우, 어쿠스틱, 일렉트로닉) 세부적인 종류의 악기(클래식 드럼, 힙합 드럼, 하우스 드럼 등)를 선택할 수 있다.
도 4는 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치의 악기 인터페이스의 예를 도시한 도면이고, 도 5는 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치의 전방표시장치의 예를 도시한 도면이다.
악기 제공부(120)는 악기를 연주하기 위한 악기 인터페이스를 통한 악기 연주 입력을 수신할 수 있다. 도 4를 참조하면, 악기 제공부(120)는 악기 인터페이스(220)에 대한 사용자 입력, 즉 악기 연주 입력을 수신할 수 있다. 구체적으로, 악기 제공부(120)는 악기 제공부(120)와 연동하는 전방표시장치(210)로부터 조사된 악기 형상의 실감 객체로 구현되는 악기 인터페이스(220)에 대한 사용자 입력으로부터 악기 연주 입력을 수신할 수 있다. 전방표시장치(210)는 악기 형상의 홀로그램인 악기 인터페이스를 조사하는 홀로그램 유닛(211) 및 악기 인터페이스에 대한 사용자 입력(악기 연주 입력)을 감지하는 입력 감지 유닛(212)을 포함할 수 있다. 홀로그램 유닛(211)은 악기 인터페이스를 구현하는 레이저 유닛을 포함할 수 있고, 입력 감지 유닛(212)은 적외선 유닛, 카메라 유닛 등 사용자 입력을 감지하기 위한 다양한 유닛을 포함할 수 있으나 전술한 예시에 한정되지 않는다.
홀로그램 유닛(211)은 사용자가 작곡을 위해 선택한 악기에 대응하여 다양한 악기 인터페이스(220)를 제공할 수 있다. 악기 인터페이스(220)는 각 악기별로 사용자의 연주에 의한 연주 영역에 대응하여 구현될 수 있다. 예시적으로, 피아노의 경우, 건반이 연주 영역일 수 있고, 피아노를 구성하는 외적인 부분, 예를 들어, 다리, 덮개 등은 실제 연주에는 불필요하므로, 악기 인터페이스로 구현되지 않을 수 있다. 다른 예로, 드럼의 경우에도 베이스, 스네어, 탐탐 등 소리가 발생하는 부분이 연주 영역에 해당하며, 연주 영역에 대응하여 악기 인터페이스가 구현될 수 있다.
또한, 입력 감지 유닛(212)은 악기 인터페이스별로 입력으로 인식하기 위한 유효 영역을 설정하여 유효 영역에 대응하는 사용자 입력이 있을 경우, 악기를 연주하기 위한 입력으로 인식할 수 있다. 입력 감지 유닛(212)은 각 악기 인터페이스의 연주 영역에 대응하여 유효 영역을 설정할 수 있다. 예시적으로, 악기 인터페이스(220)가 피아노의 경우, 각 건반별로 건반을 구분하기위해 상호간 이격된 유효 영역이 설정될 수 있다. 입력 감지 유닛(212)은 각 건반에 대응하는 유효 영역에 사용자 입력이 있을 경우, 해당 음계를 입력한 것으로 인식할 수 있다.
도 5를 참조하면, 전방표시장치(210)는 사용자 단말(200)의 상단에 거치될 수 있다. 도 5를 통한 예시에서는 전방표시장치가 사용자 단말(200)의 측면 상단에 거치된 것으로 도시하였으나, 이에 한정하지 않고 사용자 단말(200)의 다양한 부분에 고정 또는 거치될 수 있으며, 사용자 단말(200)에 거치되지 않고, 전방표시장치(210) 단독으로 구비될 수도 있다.
도 6은 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치의 음성 녹음의 예를 도시한 도면이고, 도 7은 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치의 악기 녹음의 예를 도시한 도면이다.
음계 인식부(130)는 작곡을 위한 사용자의 음성으로부터 음계를 인식할 수 있다. 구체적으로, 음계 인식부(130)는 사용자의 음성으로부터 음계의 높낮이를 결정하여 음계를 인식하는 인공지능 모델을 포함할 수 있다. 음계 인식부(130)는 인공지능 모델을 통해 사용자의 음성으로부터 음계를 인식할 수 있다. 도 6을 참조하면, 녹음을 시작하는 사용자 입력이 사용자 단말로 수신되면, 음계 인식부(130)는 사용자의 음성을 인식할 수 있고, 사용자의 음성으로부터 음계를 인식할 수 있다. 구체적으로 음계를 인식하는 인공지능 모델은 사용자의 음성을 입력으로 하고, 음성으로부터 인식된 음계를 출력으로 하는 학습에 기초하여 구축될 수 있다. 인공지능 모델은 입력인 사용자의 음성으로부터 추출된 피치 데이터를 기반으로 연속된 음성신호를 음절 단위로 분할함과 동시에 각 음절의 대표 피치값을 제공할 수 있다. 또한, 인공지능 모델은 분할된 음절을 음장 인식이 가능한 유효 단위 구간으로 변환하는 전처리를 수행한 후 각각의 음표 단위로 클러스터링하여 음장 정보를 추출하며, 분할된 첫 음절의 대표 피치값을 기준으로 상대 음정 주파수 표를 재구성한 후 재구성된 상대 음정 주파수 표를 토대로 음절의 대표 피치값을 매핑하여 음계를 추출하고, 추출된 피치 데이터에 임계값을 적용하여 임계값 이하의 비음성 구간인 휴지기를 추출한 후 추출된 휴지기 정보를 이용하여 마디를 검출할 수 있다. 즉, 음계의 변화 및 마디를 인식할 수 있다. 이처럼 인공지능 모델을 통한 음계 인식이 가능함에 따라 작곡에 대한 지식이나 경험이 없더라도, 자동적으로 음계 인식이 이루어져 작곡이 가능하고, 작곡에 사용된 음계를 데이터화 할 수 있다.
도 6은 사용자의 음성을 녹음하는 녹음 화면을 나타내고, 도 7은 악기 인터페이스를 통한 사용자의 연주에 기반하여 발생된 악기 소리의 녹음 화면을 나타낸다. 악기 연주 입력에 따라 발생된 소리의 음계는 악기에 의해 발생된 소리이며, 악기 인터페이스의 연주 영역에 대한 사용자 입력에 기반한 것이므로, 악기 연주 입력에 따라 발생된 소리의 음계는 자명히 인식될 수 있다. 음계 인식부(130)는 사용자의 음성과, 악기 연주 입력에 따른 소리 발생이 동시에 이루어지더라도, 각각의 음계를 인식할 수 있다. 또한, 음계 인식부(130)는 음성 및 상기 악기 연주 입력에 기반하여 발생된 소리의 노이즈를 제거할 수 있어, 보다 최적화된 음계 인식이 이루어질 수 있다.
도 8은 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치의 악기 녹음의 다른 예를 도시한 도면이다.
도 8을 참조하면, 악기 제공부(120)는 사용자 단말을 통해 출력되는 악기 인터페이스를 제공할 수 있다. 즉, 악기 제공부(120)는 실감 객체의 악기 인터페이스를 통한 연주 입력뿐만 아니라, 사용자 단말(200)을 통해 출력되는 악기 인터페이스를 통해서도 연주 입력을 수신할 수 있다. 따라서, 전술한 전방표시장치가 구비되지 않은 환경에서도 사용자 단말(200)을 활용한 악기 인터페이스를 통해 다양한 악기를 이용한 작곡이 가능할 수 있다.
도 9는 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 장치의 작곡 데이터의 예를 도시한 도면이다.
작곡부(140)는 사용자의 음성으로부터 인식된 음계 및 악기 연주 입력으로부터 작곡 데이터를 생성할 수 있다. 작곡부(140)는 상기 사용자의 음성에 의한 음계 및 악기 연주 입력에 따른 음계를 데이터화하여 작곡 데이터로 생성할 수 있다. 도 9를 참조하면, 작곡 데이터는 음성 또는 각 악기에 의한 소리를 개별적으로 출력할 수 있으며, 작곡에 활용된 다양한 소리 중 사용자가 선택한 소리만으로 선택적으로 출력할 수도 있다.
예약부(150)는 작곡 교육을 위한 강의 일정을 관리할 수 있다. 예시적으로 예약부(150)는 사용자 단말(200)의 위치에 기반하여, 작곡 강의가 가능한 강사 및 학원에 대한 추천 정보를 사용자 단말(200)로 제공할 수 있다. 사용자가 작곡에 대한 학습을 원하는 경우, 예약부(150)는 학원 및 강사에게 작곡 강의를 수강할 수 있도록 강의 정보 및 예약을 제공할 수 있다. 추천 정보는 사용자 단말(200)로부터 미리 설정된 거리 이내의 강사 또는 학원의 위치, 전화번호, 기본 정보, 공지사항을 포함할 수 있으나, 이에 한정되는 것은 아니다. 예시적으로 기본 정보는 강사 또는 학원에서 설정한 강의 시간, 휴무일을 포함할 수 있다.
예약부(150)는 추천 정보를 참고하여 작곡 강의를 예약하는 사용자 입력에 기반하여 예약 정보를 생성할 수 있다. 또한, 예약부(150)는 예약 정보를 사용자 단말 및 작곡 강의를 진행하는 강사 단말로 전송할 수 있다. 작곡 강의에 대한 예약이 이루어지면, 예약부(150)는 예약 정보에 기초하여 강의 이전에 알람을 사용자 단말(200) 및 강사 단말로 전송할 수 있다. 알람은 사용자 단말(200) 및 강사 단말에서 강의 이전에 출력될 수 있으며, 예약부(150)는 알람에 대한 확인을 사용자 단말(200) 및 강사 단말로부터 각각 수신할 수 있다. 이때, 예약부(150)는 알람에 대한 응답(즉, 알람에 대한 확인)이 수신되지 않은 경우, 알람의 유형을 달리하여 알람을 재전송할 수 있다. 예시적으로, 최초의 알람은 진동과 강의 일정에 대한 텍스트를 포함할 수 있고, 이에 대한 응답이 없을 경우, 소리와 진동, 텍스트가 포함된 알람이 제공될 수 있다. 예약부(150)는 상기 예시에 한정하지 않고, 다양한 종류의 알람을 조합하여 사용자 단말 및 강사 단말로 제공할 수 있다.
도 10은 본원의 일 실시예에 따른 인공지능 기반 작곡 서비스 제공 방법의 흐름을 도시한 도면이다.
도 10에 도시된 인공지능 기반 작곡 서비스 제공 방법은 앞선 도1 내지 도 9를 통해 설명된 인공지능 기반 작곡 서비스 제공 장치(100)에 의하여 수행될 수 있다. 따라서 이하 생략된 내용이라고 하더라도 도 1 내지 도 19를 통해 인공지능 기반 작곡 서비스 제공 장치(100)에 대하여 설명된 내용은 도 10에도 동일하게 적용될 수 있다.
도 10을 참조하면, 단계 S1010에서 수신부(110)는 작곡에 기반이 되는 악기를 선택하는 사용자 입력을 수신할 수 있다. 수신부(110)는 사용자 단말(200)로부터 악기 선택에 대한 사용자 입력을 수신할 수 있다. 악기 선택은 작곡을 통해 제작할 음악에 사용되는 악기를 선택하는 것이다.
단계 S1020에서 악기 제공부(120)는 악기를 연주하기 위한 악기 인터페이스를 통한 악기 연주 입력을 수신할 수 있다. 악기 제공부(120)는 악기 인터페이스(220)에 대한 사용자 입력, 즉 악기 연주 입력을 수신할 수 있다. 구체적으로, 악기 제공부(120)는 악기 제공부(120)와 연동하는 전방표시장치(210)로부터 조사된 악기 형상의 실감 객체로 구현되는 악기 인터페이스(220)에 대한 사용자 입력으로부터 악기 연주 입력을 수신할 수 있다. 전방표시장치(210)는 악기 형상의 홀로그램인 악기 인터페이스를 조사하는 홀로그램 유닛(211) 및 악기 인터페이스에 대한 사용자 입력(악기 연주 입력)을 감지하는 입력 감지 유닛(212)을 포함할 수 있다. 홀로그램 유닛(211)은 악기 인터페이스를 구현하는 레이저 유닛을 포함할 수 있고, 입력 감지 유닛(212)은 적외선 유닛, 카메라 유닛 등 사용자 입력을 감지하기 위한 다양한 유닛을 포함할 수 있으나 전술한 예시에 한정되지 않는다.
홀로그램 유닛(211)은 사용자가 작곡을 위해 선택한 악기에 대응하여 다양한 악기 인터페이스(220)를 제공할 수 있다. 악기 인터페이스(220)는 각 악기별로 사용자의 연주에 의한 연주 영역에 대응하여 구현될 수 있다. 예시적으로, 피아노의 경우, 건반이 연주 영역일 수 있고, 피아노를 구성하는 외적인 부분, 예를 들어, 다리, 덮개 등은 실제 연주에는 불필요하므로, 악기 인터페이스로 구현되지 않을 수 있다. 다른 예로, 드럼의 경우에도 베이스, 스네어, 탐탐 등 소리가 발생하는 부분이 연주 영역에 해당하며, 연주 영역에 대응하여 악기 인터페이스가 구현될 수 있다.
단계 S1030에서 음계 인식부(130)는 작곡을 위한 사용자의 음성으로부터 음계를 인식할 수 있다. 구체적으로, 음계 인식부(130)는 사용자의 음성으로부터 음계의 높낮이를 결정하여 음계를 인식하는 인공지능 모델을 포함할 수 있다. 음계 인식부(130)는 인공지능 모델을 통해 사용자의 음성으로부터 음계를 인식할 수 있다. 도 6을 참조하면, 녹음을 시작하는 사용자 입력이 사용자 단말로 수신되면, 음계 인식부(130)는 사용자의 음성을 인식할 수 있고, 사용자의 음성으로부터 음계를 인식할 수 있다. 구체적으로 음계를 인식하는 인공지능 모델은 사용자의 음성을 입력으로 하고, 음성으로부터 인식된 음계를 출력으로 하는 학습에 기초하여 구축될 수 있다.
단계 S1040에서 작곡부(140)는 사용자의 음성으로부터 인식된 음계 및 악기 연주 입력으로부터 작곡 데이터를 생성할 수 있다. 작곡부(140)는 상기 사용자의 음성에 의한 음계 및 악기 연주 입력에 따른 음계를 데이터화하여 작곡 데이터로 생성할 수 있다. 도 9를 참조하면, 작곡 데이터는 음성 또는 각 악기에 의한 소리를 개별적으로 출력할 수 있으며, 작곡에 활용된 다양한 소리 중 사용자가 선택한 소리만으로 선택적으로 출력할 수도 있다.
본원의 일 실시예에 따르면, 예약부(150)는 작곡 교육을 위한 강의 일정을 관리할 수 있다. 예시적으로 예약부(150)는 사용자 단말(200)의 위치에 기반하여, 작곡 강의가 가능한 강사 및 학원에 대한 추천 정보를 사용자 단말(200)로 제공할 수 있다. 사용자가 작곡에 대한 학습을 원하는 경우, 예약부(150)는 학원 및 강사에게 작곡 강의를 수강할 수 있도록 강의 정보 및 예약을 제공할 수 있다. 추천 정보는 사용자 단말(200)로부터 미리 설정된 거리 이내의 강사 또는 학원의 위치, 전화번호, 기본 정보, 공지사항을 포함할 수 있으나, 이에 한정되는 것은 아니다. 예시적으로 기본 정보는 강사 또는 학원에서 설정한 강의 시간, 휴무일을 포함할 수 있다.
예약부(150)는 추천 정보를 참고하여 작곡 강의를 예약하는 사용자 입력에 기반하여 예약 정보를 생성할 수 있다. 또한, 예약부(150)는 예약 정보를 사용자 단말 및 작곡 강의를 진행하는 강사 단말로 전송할 수 있다. 작곡 강의에 대한 예약이 이루어지면, 예약부(150)는 예약 정보에 기초하여 강의 이전에 알람을 사용자 단말(200) 및 강사 단말로 전송할 수 있다. 알람은 사용자 단말(200) 및 강사 단말에서 강의 이전에 출력될 수 있으며, 예약부(150)는 알람에 대한 확인을 사용자 단말(200) 및 강사 단말로부터 각각 수신할 수 있다. 이때, 예약부(150)는 알람에 대한 응답(즉, 알람에 대한 확인)이 수신되지 않은 경우, 알람의 유형을 달리하여 알람을 재전송할 수 있다. 예시적으로, 최초의 알람은 진동과 강의 일정에 대한 텍스트를 포함할 수 있고, 이에 대한 응답이 없을 경우, 소리와 진동, 텍스트가 포함된 알람이 제공될 수 있다. 예약부(150)는 상기 예시에 한정하지 않고, 다양한 종류의 알람을 조합하여 사용자 단말 및 강사 단말로 제공할 수 있다.
본원의 일 실시 예에 따른, 인공지능 기반 작곡 서비스 제공 방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 네트워크
100: 인공지능 기반 작곡 서비스 제공 장치
110: 수신부
120: 악기 제공부
130: 음계 인식부
140: 작곡부
150: 예약부
200: 사용자 단말
210: 전방표시장치
211: 홀로그램 유닛
212: 입력 감지 유닛
220: 악기 인터페이스

Claims (14)

  1. 인공지능 기반 작곡 서비스 제공 장치에 있어서,
    작곡에 기반이 되는 악기 종류를 선택하고, 상기 선택된 악기 종류 중에서 음색 및 용도에 따라 구분되는 세부 종류의 악기를 선택하는 악기 선택 입력을 사용자 단말로부터 수신하는 수신부;
    상기 악기를 연주하기 위한 악기 인터페이스를 통한 악기 연주 입력을 수신하는 악기 제공부;
    작곡을 위한 사용자의 음성으로부터 음계를 인식하는 음계 인식부;
    상기 사용자의 음성으로부터 인식된 음계 및 상기 악기 연주 입력으로부터 작곡 데이터를 생성하는 작곡부; 및
    작곡 교육을 위한 강의 일정을 관리하는 예약부,
    를 포함하되,
    상기 음계 인식부는,
    상기 사용자의 음성으로부터 음계의 높낮이를 결정하여 음계를 인식하는 인공지능 모델을 포함하고,
    상기 악기 제공부는,
    상기 사용자 단말에 전방표시장치가 고정 또는 거치되면, 상기 악기 제공부와 연동하는 전방표시장치로부터 조사된 악기 형상의 실감 객체로 구현되는 상기 악기 인터페이스에 대한 사용자 입력으로부터 상기 악기 연주 입력을 수신하고,
    상기 전방표시장치가 미구비되면, 상기 사용자 단말을 통해 출력되는 상기 악기 인터페이스에 기초하여 상기 악기 연주 입력을 수신하고,
    상기 악기 인터페이스는,
    상기 악기 선택 입력에 따른 상기 악기의 유형에 따라 소리가 발생하는 실제 연주에 필요한 부분에 대응하는 연주 영역을 포함하고, 상기 연주 영역 내에는 상기 악기 인터페이스에 대한 사용자 입력을 구분하기 위한 유효 영역이 설정되는 것을 특징으로 하고,
    상기 전방표시장치는,
    상기 유효 영역에 대응하여 인가된 사용자 입력을 상기 악기 연주 입력으로 인식하는 입력 감지 유닛을 포함하고,
    상기 예약부는,
    상기 사용자 단말의 위치에 기반하여, 작곡 강의가 가능한 강사 및 학원에 대한 추천 정보를 상기 사용자 단말로 제공하고, 상기 추천 정보를 참고하여 작곡 강의를 예약하는 사용자 입력에 기반하여 예약 정보를 생성하고, 상기 예약 정보를 상기 사용자 단말 및 상기 작곡 강의를 진행하는 강사 단말로 전송하고, 상기 예약 정보에 기초하여 상기 작곡 강의 이전에 진동 및 강의 일정에 대한 텍스트가 출력되도록 제1알람을 상기 사용자 단말 및 상기 강사 단말로 전송하되, 상기 제1알람에 대한 응답이 수신되지 않으면, 소리, 진동 및 상기 텍스트를 출력하는 제2알람을 재전송하는 것인,
    인공지능 기반 작곡 서비스 제공 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 음계 인식부는,
    상기 음성 및 상기 악기 연주 입력에 기반하여 발생된 소리의 노이즈를 제거하는 것인, 인공지능 기반 작곡 서비스 제공 장치.
  5. 제1항에 있어서,
    상기 인공지능 모델은 상기 사용자의 음성을 입력으로 하고, 상기 음성으로부터 인식된 음계를 출력으로 하는 학습에 기초하여 구축되는 것인, 인공지능 기반 작곡 서비스 제공 장치.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 인공지능 기반 작곡 서비스 제공 방법에 있어서,
    작곡에 기반이 되는 악기 종류를 선택하고, 상기 선택된 악기 종류 중에서 음색 및 용도에 따라 구분되는 세부 종류의 악기를 선택하는 악기 선택 입력을 사용자 단말로부터 수신하는 단계;
    상기 악기를 연주하기 위한 악기 인터페이스를 통한 악기 연주 입력을 수신하는 단계;
    작곡을 위한 사용자의 음성으로부터 음계를 인식하는 단계;
    상기 사용자의 음성으로부터 인식된 음계 및 상기 악기 연주 입력으로부터 작곡 데이터를 생성하는 단계; 및
    작곡 교육을 위한 강의 일정을 관리하는 단계,
    를 포함하되,
    상기 음계를 인식하는 단계는,
    상기 사용자의 음성으로부터 음계의 높낮이를 결정하여 음계를 인식하는 인공지능 모델에 기초하여 상기 음계를 인식하는 것이고,
    상기 악기 연주 입력을 수신하는 단계는,
    상기 사용자 단말에 전방표시장치가 고정 또는 거치되면, 악기 제공부와 연동하는 전방표시장치로부터 조사된 악기 형상의 실감 객체로 구현되는 상기 악기 인터페이스에 대한 사용자 입력으로부터 상기 악기 연주 입력을 수신하는 것이고,
    상기 전방표시장치가 미구비되면, 상기 사용자 단말을 통해 출력되는 상기 악기 인터페이스에 기초하여 상기 악기 연주 입력을 수신하고,
    상기 악기 인터페이스는,
    상기 악기 선택 입력에 따른 상기 악기의 유형에 따라 소리가 발생하는 실제 연주에 필요한 부분에 대응하는 연주 영역을 포함하고, 상기 연주 영역 내에는 상기 악기 인터페이스에 대한 사용자 입력을 구분하기 위한 유효 영역이 설정되는 것을 특징으로 하고,
    상기 전방표시장치는,
    상기 유효 영역에 대응하여 인가된 사용자 입력을 상기 악기 연주 입력으로 인식하는 입력 감지 유닛을 포함하고,
    상기 작곡 교육을 위한 강의 일정을 관리하는 단계는,
    상기 사용자 단말의 위치에 기반하여, 작곡 강의가 가능한 강사 및 학원에 대한 추천 정보를 상기 사용자 단말로 제공하고, 상기 추천 정보를 참고하여 작곡 강의를 예약하는 사용자 입력에 기반하여 예약 정보를 생성하고, 상기 예약 정보를 상기 사용자 단말 및 상기 작곡 강의를 진행하는 강사 단말로 전송하고, 상기 예약 정보에 기초하여 상기 작곡 강의 이전에 진동 및 강의 일정에 대한 텍스트가 출력되도록 제1알람을 상기 사용자 단말 및 상기 강사 단말로 전송하되, 상기 제1알람에 대한 응답이 수신되지 않으면, 소리, 진동 및 상기 텍스트를 출력하는 제2알람을 재전송하는 것인,
    인공지능 기반 작곡 서비스 제공 방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 인공지능 모델은 상기 사용자의 음성을 입력으로 하고, 상기 음성으로부터 인식된 음계를 출력으로 하는 학습에 기초하여 구축되는 것인, 인공지능 기반 작곡 서비스 제공 방법.
  12. 인공지능 기반 작곡 서비스 제공 시스템에 있어서,
    작곡에 기반이 되는 악기 종류를 선택하고, 상기 선택된 악기 종류 중에서 음색 및 용도에 따라 구분되는 세부 종류의 악기를 선택하는 악기 선택 입력을 사용자 단말로부터 수신하고, 상기 악기를 연주하기 위한 악기 인터페이스를 통한 악기 연주 입력을 수신하고, 작곡을 위한 사용자의 음성으로부터 음계를 인식하고, 상기 사용자의 음성으로부터 인식된 음계 및 상기 악기 연주 입력으로부터 작곡 데이터를 생성하고, 작곡 교육을 위한 강의 일정을 관리하고, 상기 사용자 단말에 전방표시장치가 고정 또는 거치되면, 악기 제공부와 연동하는 전방표시장치로부터 조사된 악기 형상의 실감 객체로 구현되는 상기 악기 인터페이스에 대한 사용자 입력으로부터 상기 악기 연주 입력을 수신하고, 상기 전방표시장치가 미구비되면, 상기 사용자 단말을 통해 출력되는 상기 악기 인터페이스에 기초하여 상기 악기 연주 입력을 수신하는 인공지능 기반 작곡 서비스 제공 장치; 및
    상기 작곡에 기반이 되는 악기 종류를 선택하고, 상기 선택된 악기 종류 중에서 음색 및 용도에 따라 구분되는 세부 종류의 악기를 선택하는 악기 선택 입력 및, 악기 연주 입력을 상기 인공지능 기반 작곡 서비스 제공 장치로 전송하고, 인공지능 기반 작곡 서비스 제공 장치로부터 상기 작곡 데이터를 수신하여 출력하는 상기 사용자 단말,
    을 포함하되,
    상기 악기 인터페이스는,
    상기 악기 선택 입력에 따른 상기 악기의 유형에 따라 소리가 발생하는 실제 연주에 필요한 부분에 대응하는 연주 영역을 포함하고, 상기 연주 영역 내에는 상기 악기 인터페이스에 대한 사용자 입력을 구분하기 위한 유효 영역이 설정되는 것을 특징으로 하고,
    상기 전방표시장치는,
    상기 유효 영역에 대응하여 인가된 사용자 입력을 상기 악기 연주 입력으로 인식하는 입력 감지 유닛을 포함하고,
    상기 인공지능 기반 작곡 서비스 제공 장치는,
    상기 사용자 단말의 위치에 기반하여, 작곡 강의가 가능한 강사 및 학원에 대한 추천 정보를 상기 사용자 단말로 제공하고, 상기 추천 정보를 참고하여 작곡 강의를 예약하는 사용자 입력에 기반하여 예약 정보를 생성하고, 상기 예약 정보를 상기 사용자 단말 및 상기 작곡 강의를 진행하는 강사 단말로 전송하고, 상기 예약 정보에 기초하여 상기 작곡 강의 이전에 진동 및 강의 일정에 대한 텍스트가 출력되도록 제1알람을 상기 사용자 단말 및 상기 강사 단말로 전송하되, 상기 제1알람에 대한 응답이 수신되지 않으면, 소리, 진동 및 상기 텍스트를 출력하는 제2알람을 재전송하는 것인,
    인공지능 기반 작곡 서비스 제공 시스템.
  13. 삭제
  14. 제12항에 있어서,
    상기 인공지능 기반 작곡 서비스 제공 장치는,
    상기 사용자의 음성으로부터 음계의 높낮이를 결정하여 음계를 인식하는 인공지능 모델을 포함하고,
    상기 인공지능 모델은 상기 사용자의 음성을 입력으로 하고, 상기 음성으로부터 인식된 음계를 출력으로 하는 학습에 기초하여 구축되는 것인, 인공지능 기반 작곡 서비스 제공 시스템.
KR1020200113560A 2020-09-07 2020-09-07 인공지능 기반 작곡 서비스 제공 장치 및 방법 KR102438364B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200113560A KR102438364B1 (ko) 2020-09-07 2020-09-07 인공지능 기반 작곡 서비스 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200113560A KR102438364B1 (ko) 2020-09-07 2020-09-07 인공지능 기반 작곡 서비스 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220032147A KR20220032147A (ko) 2022-03-15
KR102438364B1 true KR102438364B1 (ko) 2022-08-30

Family

ID=80816790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200113560A KR102438364B1 (ko) 2020-09-07 2020-09-07 인공지능 기반 작곡 서비스 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102438364B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100664677B1 (ko) * 2006-03-28 2007-01-03 주식회사 디오텍 휴대용 단말기에서의 음악 컨텐츠 생성 방법
KR101607804B1 (ko) * 2015-01-13 2016-03-31 인하대학교 산학협력단 전자 장치, 전자 장치를 이용하여 피아노를 구현하기 위한 방법 및 피아노 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150084333A (ko) * 2014-01-13 2015-07-22 이재황 음의 간섭현상을 이용한 음정인식 및 이를 이용한 음계채보 방법
KR102018674B1 (ko) * 2018-01-02 2019-09-05 주식회사 나우위고 일정 연계 기반의 학원 사회 관계망 형성 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100664677B1 (ko) * 2006-03-28 2007-01-03 주식회사 디오텍 휴대용 단말기에서의 음악 컨텐츠 생성 방법
KR101607804B1 (ko) * 2015-01-13 2016-03-31 인하대학교 산학협력단 전자 장치, 전자 장치를 이용하여 피아노를 구현하기 위한 방법 및 피아노 시스템

Also Published As

Publication number Publication date
KR20220032147A (ko) 2022-03-15

Similar Documents

Publication Publication Date Title
JP6505117B2 (ja) 模写によるデジタル携帯情報端末の対話、および応答時のリッチなマルチメディア
Weiss Listening to the world but hearing ourselves: Hybridity and perceptions of authenticity in world music
CN107705783A (zh) 一种语音合成方法及装置
Turchet et al. The internet of sounds: Convergent trends, insights, and future directions
CN102867526A (zh) 用于分布式音频文件编辑的门户网站
CN101657816A (zh) 用于分布式音频文件编辑的门户网站
Harkins Digital sampling: the design and use of music technologies
JP2010160316A (ja) 情報処理装置及びテキスト読み上げ方法
WO2022042418A1 (zh) 音乐合成方法、装置、设备和计算机可读介质
KR20160131505A (ko) 음성 변환 방법 및 음성 변환 장치
KR20200046734A (ko) 강의 콘텐츠 생성 장치 및 이를 위한 방법
US20140278404A1 (en) Audio merge tags
KR102438364B1 (ko) 인공지능 기반 작곡 서비스 제공 장치 및 방법
CN105976802A (zh) 基于机器学习技术的音乐自动生成***
US11790913B2 (en) Information providing method, apparatus, and storage medium, that transmit related information to a remote terminal based on identification information received from the remote terminal
Onsman et al. Disturbing perspectives of research in music
JP2005024815A (ja) 言語学習システムとその装置、方法、プログラム、及びこのプログラムを記録する記録媒体
Carlisle Conceptualising secondary aurality and its impact on possibility for engagement of children and adolescents within school music settings
Dzhambazov Towards a drum transcription system aware of bar position
Warnars et al. A literature review of music in computer science
JP5402141B2 (ja) メロディ作成装置、メロディ作成プログラムおよびメロディ作成方法
US20240054907A1 (en) Method, device and computer program for providing hearing ability level assessment and auditory training service
Mooney et al. Instrumental, hermeneutic, and ontological indeterminacy in Hugh Davies’s live electronic music
Martin et al. Music of 18 performances: Evaluating apps and agents with free improvisation
Bowen Mobile phones, group improvisation, and music: Trends in digital socialized music-making

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant