KR20150112048A - 모바일 앱 기반의 실시간 영상의 배경음악 생성방법 - Google Patents

모바일 앱 기반의 실시간 영상의 배경음악 생성방법 Download PDF

Info

Publication number
KR20150112048A
KR20150112048A KR1020140034772A KR20140034772A KR20150112048A KR 20150112048 A KR20150112048 A KR 20150112048A KR 1020140034772 A KR1020140034772 A KR 1020140034772A KR 20140034772 A KR20140034772 A KR 20140034772A KR 20150112048 A KR20150112048 A KR 20150112048A
Authority
KR
South Korea
Prior art keywords
background music
time image
motif
color
real
Prior art date
Application number
KR1020140034772A
Other languages
English (en)
Other versions
KR101657975B1 (ko
Inventor
김주섭
박채린
박지수
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020140034772A priority Critical patent/KR101657975B1/ko
Publication of KR20150112048A publication Critical patent/KR20150112048A/ko
Application granted granted Critical
Publication of KR101657975B1 publication Critical patent/KR101657975B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Telephone Function (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 관한 것으로, (a) 모바일 장치의 움직임 속도를 측정하고, 상기 측정된 속도에 따라 상기 모바일 장치가 촬영된 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계; (b) 상기 모바일 장치가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계; (c) 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계; 및 (d) 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프를 연속적으로 재생하는 단계를 포함한다.
이와 같이, 본 발명은 사용자의 실시간 시각적 경험을 색, 형태, 움직임의 분석을 통해 추측하여 음악적 경험으로 바꾸어 주는 실시간 영상 배경음악 생성 어플리케이션 서비스를 제공한다.

Description

모바일 앱 기반의 실시간 영상의 배경음악 생성방법{music-generation method based on real-time image}
본 발명은 실시간 비디오 소니피케이션을 이용하여 음악 생성 모바일 어플리케이션을 기반으로 하는 배경음악 생성방법에 관한 것이다.
디지털 이미지를 사운드로 바꾸는 연구는 오래 전부터 행해져 왔다. 이전의 소니피케이션(sonification) 관련 선행 연구의 경우, 영상(image)을 음향(sound)으로 변환할 때에 동작추적(motion tracking)을 이용해 얻은 데이터를 통해 소리를 만들거나, 색의 세가지 요소인 Hue, Saturation, Brightness data를 통해 사운드를 만들어 냈었다. 이러한 연구에서는 데이터를 사운드로 치환하는 것 자체에 중점을 두어 음악적인 미의 추구보다는 그 매핑 자체가 의미를 지녔다.
또한 많은 수의 예술가들이 음악을 제작하는 데 있어서 소니피케이션(sonification)을 이용하였는데 그러한 방법 중에는 반음계를 활용하여 이미지의 색상과 음악을 매핑하거나 이미지와 시간 도메인간의 관계를 이용하여 음악을 만드는 방법도 있었다.
그리고 종래의 매핑 방법을 통한 소니피케이션 기법과 더불어 음악 자체의 생성을 위한 다양한 작곡 또는 생성방법 들이 다양하게 제안 되어져 왔다. 그 예로, 대한민국 등록특허 제10-0762079호에서는 행들(rows)과 열들(columns)에 소정의 옥타브 범위에 해당하는 톤(tone, 음높이)들을 순차적으로 배열하고 각각의 행과 열의 교차지점에 열에 대응되는 톤이 생성될 확률값을 배치한 톤 데이터 테이블을 이용하는 자동 음악 작곡방법을 제안한다.
즉, 상기 종래의 발명은 입력 신호에 응답하여 임의의 톤(tone)을 출력하는 단계, 출력된 톤과 톤 데이터 테이블을 이용하여 다음에 생성될 톤을 결정하는 단계 및 다음 입력 신호에 응답하여 다음에 생성될 톤을 출력하는 단계를 포함하는 것을 특징으로 한다. 여기서 행에 배치된 톤들은 이전에 생성된 톤을 나타내고, 열들에 배치된 톤들은 다음에 생성될 톤을 나타낸다
그러나, 이와 같은 종래의 발명은 사용자 단말기로부터 발생되는 타이핑 신호나 특정 신호에 따라 음악이 자동으로 작곡되고, 단순히 음조(tone) 테이블을 매핑하여 음악을 작곡 또는 생성한다는 점에서, 실시간 영상에 알맞도록 다양하고 깊이 있는 배경 음악을 생성하여 제공하기가 어렵다는 문제점이 있다.
대한민국 등록특허 제10-0762079호 (등록일자: 2007년 09월 19일)
상술한 문제를 해결하고자 하는 본 발명의 과제는 실시간으로 영상의 색상과 형태를 분석하고 사용자의 움직임 속도를 측정하여, 사용자가 시각적으로 경험하고 있는 상황에 맞게 음악 모티프 데이타베이스(musical motif database)로부터 적절한 모티프들을 찾아 연속적으로 연결함으로써 실시간 영상에 알맞는 배경음악을 생성하는 방법을 제공하고자 함이다.
상술한 과제를 해결하고자 하는 본 발명의 제1 특징은 (a) 모바일 장치의 움직임 속도를 측정하고, 상기 측정된 속도에 따라 상기 모바일 장치가 촬영된 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계; (b) 상기 모바일 장치가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계; (c) 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계; 및 (d) 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프를 연속적으로 재생하는 단계를 포함한다.
여기서, 상기 (a) 단계에서, 상기 움직임 속도는 상기 모바일 장치에 내장된 GPS 및/또는 모션센서로부터 측정되는 것이 바람직하고, 상기 (a) 단계에서, 상기 측정된 속도에 따라 미리 디자인된 다수의 비트 중 어느 하나를 선택하여 상기 실시간 영상에 대응되는 배경음악의 리듬으로 결정하는 것이 바람직하다.
또한, 바람직하게는 상기 (b) 단계는, 상기 우울함을 회색계열 또는 채도 및 명도가 낮은 붉은 계열로 하는 색상과, 상기 활기참을 채도 및 명도가 높은 붉은 계열 또는 채도 및 명도가 높은 푸른 계열로 하는 색상과, 상기 고요함을 낮은 푸른 계열 또는 흰색과 검은색으로 하는 색상으로 분류하고, 각각의 색상에 따른 색조, 명도 및 채도 값이 결정되어 상기 색상 그룹을 형성하는 것일 수 있다.
또한, 상기 색상 그룹은 각각에 5개의 화성 패턴으로 구성된 것이 바람직하고, 상기 (c) 단계는, 상기 실시간 영상을 퓨리에 변환하여 퓨리에 영상을 생성하는 단계; 상기 퓨리에 영상에서 중심으로부터 서로 다른 반경을 갖는 5개의 원형 섹터로 구분하는 단계; 각각의 원형 섹터별 주파수 에너지 비율을 산출하고, 상기 주파수 에너지 비율에 따라 미리 구분된 5개의 주파수 대역의 음량 크기를 산출하는 단계; 상기 산출된 각 음량 크기에 따라 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계를 포함하는 것이 바람직하다.
더하여, 상기 5개의 주파수 대역은, 60Hz, 230Hz, 910Hz, 3.6KHz 및 14KHz 인 것이 바람직하고, 상기 (d) 단계에서, 상기 모티프 DB는, 리듬과 화성에 따라 분류되고, 8마디로 이루어진 모티프 다수개의 모티프로 구성되며, 각 모티프는 4마디 마다 개별적으로 독립되어 디자인된 것이 바람직하며, 상기 모티프가 연속적으로 재생되는 경우, 최소한 4마디의 모티프가 종료된 후, 다른 모티프로 변경되어 재생되는 것이 바람직하다.
그리고 본 발명의 제2 특징은 (a) 배경음악 생성 어플리케이션의 카메라 촬영을 실행하고, 촬영되는 실시간 영상을 배경음악 생성 서버로 전송하는 단계; (b) 모바일 장치의 움직임 속도 값을 측정하는 단계; (c) 상기 배경음악 생성서버가 상기 모바일 속도 값을 수신받고, 상기 속도 값에 따라 수신된 상기 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계; (d) 상기 배경음악 생성서버가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계; (e) 상기 배경음악 생성서버가 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계; (f) 상기 배경음악 생성서버가 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프가 재생되도록 배경음악을 생성하는 단계; 및 (g) 상기 생성된 배경음악 모티프를 상기 모바일 장치로 전송하여 배경음악을 실시간으로 재생하는 단계를 포함한다.
여기서, 상기 (c) 단계에서, 상기 측정된 속도에 따라 미리 디자인된 다수의 비트 중 어느 하나를 선택하여 상기 실시간 영상에 대응되는 배경음악의 리듬으로 결정하는 것이 바람직하고, 상기 (d) 단계는, 상기 우울함을 회색계열 또는 채도 및 명도가 낮은 붉은 계열로 하는 색상과, 상기 활기참을 채도 및 명도가 높은 붉은 계열 또는 채도 및 명도가 높은 푸른 계열로 하는 색상과, 상기 고요함을 낮은 푸른 계열 또는 흰색과 검은색으로 하는 색상으로 분류하고, 각각의 색상에 따른 색조, 명도 및 채도 값이 결정되어 상기 색상 그룹을 형성하는 것이 바람직하다.
또한, 상기 색상 그룹은 각각에 5개의 화성 패턴으로 구성된 것이 바람직하다. 상기 (e) 단계는, 상기 실시간 영상을 퓨리에 변환하여 퓨리에 영상을 생성하는 단계; 상기 퓨리에 영상에서 중심으로부터 서로 다른 반경을 갖는 5개의 원형 섹터로 구분하는 단계; 각각의 원형 섹터별 주파수 에너지 비율을 산출하고, 상기 주파수 에너지 비율에 따라 미리 구분된 5개의 주파수 대역의 음량 크기를 산출하는 단계; 상기 산출된 각 음량 크기에 따라 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계를 포함하는 것이 바람직하다.
더하여, 바람직하게는 상기 5개의 주파수 대역은, 60Hz, 230Hz, 910Hz, 3.6KHz 및 14KHz 인 것일 수 있고, 상기 (f) 단계에서, 상기 모티프 DB는, 리듬과 화성에 따라 분류되고, 8마디로 이루어진 모티프 다수개의 모티프로 구성되며, 각 모티프는 4마디 마다 개별적으로 독립되어 디자인된 것일 수 있으며, 상기 모티프가 연속적으로 재생되는 경우, 최소한 4마디의 모티프가 종료된 후, 다른 모티프로 변경되어 재생되는 것일 수 있다.
이와 같이, 본 발명은 사용자의 실시간 시각적 경험을 색, 형태, 움직임의 분석을 통해 음악적 경험으로 바꾸어 주는 실시간 영상 배경음악 생성 어플리케이션 서비스를 제공한다.
그리고, 본 발명은 실시간으로 들어오는 데이터를 종래의 방법처럼 완전히 알고리즘만을 사용해서 '사운드'로 치환하는 것이 아니라, 전문 작곡자가 모티프(motif) 데이타베이스를 미리 디자인하도록 하고, 알고리즘이 실행시 시각적 경험에 어울릴 것으로 추측되는 적절한 모티프들을 선택하게 하여 음악적 미를 지니는 음악을 생성하여 재생하는 방법을 제공하게 된다는 점에서 큰 장점이 있다.
또한, 본 발명은 모티프 데이타베이스와 독립적으로 작용하므로 일반인부터 전문 작곡자까지 본인만의 모티프 데이타베이스를 디자인하고 공유 또는 서비스할 수 있는 확장 가능성을 있고, 이때 모든 모티프간의 연결이 더욱 자연스럽게 되도록 일반인도 쉽게 모티프를 디자인하게 해주는 시스템적인 방법을 제공하는 것도 가능하여, 관련된 다양한 서비스를 제공할 수 있는 장점이 있다.
도 1은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법의 흐름을 나타낸 도면이고,
도 2는 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법의 모식도이고,
도 3은 본 발명의 실시예에 따른 배경음악 생성방법에 적용되는 GPS를 이용한 사용자 움직임 속도 측정 모식도이고,
도 4는 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 감정에 따른 색과 화성의 분류를 나타내는 모식도이고,
도 5는 본 발명의 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 영상의 대표색상에 따른 화성 결정의 예시를 나타낸 모식도이고,
도 6은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 음조 결정을 위한 이미지와 퓨리에 변환을 예시한 사진이고,
도 7은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 퓨리에변환 이미지와 배경음악 음조(tone)가 매핑을 나타낸 모식도이고,
도 8은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 한 모티프가 다른 모티프로 이어져 재생되는 과정을 나타내는 모식도이다.
본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.
도면들에 있어서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 또한 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소를 나타낸다.
본 명세서에서 "및/또는"이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.
이하에서 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법의 흐름을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법의 모식도이다.
도 1 및 도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 실시간 영상의 배경음악 생성방법은, (a) 모바일 장치의 움직임 속도를 측정하고, 상기 측정된 속도에 따라 상기 모바일 장치가 촬영된 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계(S100); (b) 상기 모바일 장치가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계(S200); (c) 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계(S300); 및 (d) 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프를 연속적으로 재생하는 단계(S400)를 포함하여 구성된다.
이와 같이 본 발명은 사용자가 시각적으로 경험하고 있는 상황을 음악 도메인으로 매핑하여 음악 도메인에서 그 상황을 경험하도록 바꿔주는 모바일 어플리케이션(이하 "앱"이라 한다.)을 이용한 실시간 영상의 배경음악 재생방법이다. 즉, 사용자의 시각적 경험을 추측하기 위해서 스마트폰을 이용하여 카메라로부터 입력되는 실시간 영상과 움직 속도를 검출하여 사용자의 현재 시각적 경험에 어울릴 것으로 판단되는 음악 모티프(musical motif) 들을 미리 디자인한 모티프 데이타베이스(motif database)에서 찾아 연결함으로써 음악을 생성하는 방법을 제안한다.
그리고 본 발명의 실시예는 리듬(rythem), 화성(harmony) 및 음조(tone)의 세가지 요소는 사용자의 움직 속도와 실시간으로 들어오는 영상의 색상과 형태의 특징을 분석하여 각각 결정된다.
이와 같이 본 발명의 실시예는 세상을 시각으로 아닌 청각으로 경험하게 하며 임의의 사운드가 아닌 전문 작곡자가 일정한 시간 길이를 가지는 음악 조각 (musical pieces)들을 디자인하고 알고리즘이 그 조각들을 맞추게 한다는 점에서 알고리즘이 순간 순간의 사운드를 합성하게 하는 대부분의 종래의 방식과 구별되는 특징이 있다.
도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법의 시스템 플로우를 살펴보면, 실시간 카메라 영상과 GPS 등의 좌표를 분석하여 이에 따른 적절한 음악을 생성한다. 카메라로부터 들어오는 영상으로부터 추출된 대표 색정보(dominant color)는 생성될 음악의 화성을 결정하며, 영상의 퓨리에변환을 통해 추출된 형태 정보는 음악의 톤을 마지막으로 GPS 정보를 통해 검출된 사용자의 이동 속도는 생될 음악의 리듬을 결정하게 된다.
(a) 단계로서(S100), 실시간 영상의 배경음악 리듬을 결정하는 방법을 살펴보면 다음과 같다.
생성될 음악의 요소 중 리듬을 결정하는 가장 자연적인 요소는 사용자의 움직임 속도라고 할 수 있다. 본 발명의 실시예에서는 생성되는 음악의 리듬은 사용자의 움직임 속도에 의해 결정되는데 이를 위해서 스마트 폰에 탑재된 GPS 등을 이용한다. 도 3 및 [표 1]에 나타낸 바와 같이, 그 빠르기가 5가지 범위로 나누어져 있으며, 측정된 속도에 따라 5가지 종류의 미리 디자인된 비트 중에 한 가지가 결정되어 사용된다. 도 3은 본 발명의 실시예에 따른 배경음악 생성방법에 적용되는 GPS를 이용한 사용자 움직임 속도 측정 모식도이고, [표 1]은 사용자 움직 속도에 따른 배경음악 리듬 결정을 위한 비트 테이블이다.
속도(m/s) 비트

0 ~ 2
Figure pat00001

2 ~ 4
Figure pat00002

4 ~ 6
Figure pat00003

6 ~ 8
Figure pat00004

8 ~ 10
Figure pat00005
그리고, 본 발명의 실시예에서는 사용자의 속도를 측정하기 위해, 모바일 장치내에 내장된 GPS 장치를 이용하는 것도 가능하고, 모션센서를 통해 모바일 장치의 속도를 측정하는 것도 가능하다. 여기서 모션세선는 자이로센서, 기울기 센서 등을 포함하는 것이 바람직하다. 또한, 모바일 장치는 스마트폰, 테블릿 PC 및 PDA 등 휴대가 용이한 모바일 컴퓨팅 장치면 모두 가능하다.
(b) 단계로서(S200), 실시간 영상의 배경음악 화성(harmony)을 결정하는 방법을 살펴보면 다음과 같다.
음악의 분위기를 결정하는 대표적인 요소는 화성으로서 이미지 도메인을 구성하는 요소 중 가장 관련된 요소는 색상이라고 할 수 있다. 그러므로 본 발명의 실시예에서 생성되는 음악의 화성은 실시간으로 받는 영상으로부터 추출된 대표 색상 값을 이용하여 결정된다. 인간의 여러 감정을 우울함, 활기참, 고요함 세가지로 나누고, 각각의 감정을 도 4에 나타낸 바와 같이 6개의 색 그룹과 매핑시킨다. 도 4는 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 감정에 따른 색과 화성의 분류를 나타내는 모식도이다.
각각의 색 그룹은 5개의 화성 패턴을 지니며 이 화성들 중 하나가 임의로 결정되어 사용된다. [표 2]는 본 발명의 실시예에서 사용되어진 각 감정과 HSB(Hue, Saturation, Brightness) 색 그룹간의 구체적인 매핑 디자인을 보여준다. 이러한 색과 감정간의 매핑 디자인에서 모든 색깔이 반드시 하나의 감정 그룹으로 매핑되도록 디자인한다.
도 5는 본 발명의 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 영상의 대표색상에 따른 화성 결정의 예시를 나타낸 모식도이다.
도 5는 실시간으로 들어온 영상의 대표 색상을 파악해서 화성을 결정하는 예를 보여주는 것으로, 이 예제에서 이미지의 대표 색상은 활기찬 분위기에 해당하는 Bright Blue & Green 그룹으로 판별이 되고 이에 따라 그에 속한 5개의 화성 중 하나가 임의로 결정이 되어 음악 생성에 사용되어 진다. 카메라에 비치는 영상의 대표 색상 값이 속하는 범위가 달라질 경우에 다른 범위에 속하는 화성이 사용되게 된다.
(C) 단계로서(S300), 실시간 영상의 배경음악 음조(tone)를 결정하는 방법을 살펴보면 다음과 같다.
도 6은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 음조 결정을 위한 이미지와 퓨리에 변환을 예시한 사진이다. 도 6에 나타낸 바와 같이, 본 발명의 실시예에서는 영상 속 형태(Shape)의 특징을 퓨리에 변환을 이용하여 검출하여 음악의 음조(tone)로 매핑한다. 퓨리에 변환을 통한 영상처리를 하게 되면 도 6과 같은 이미지를 얻게 되는데, 중심부는 저주파 에너지의 양을, 가장자리는 고주파 에너지의 양을 알려주므로 도 6과 같이 뚜렷한 많은 선들로 구성된 영상과 그렇지 않은 (예, 하늘, 바다 등) 영상간 구별을 가능하게 하여 준다.
도 7은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 퓨리에 변환 이미지와 배경음악 음조(tone)가 매핑을 나타낸 모식도이다.
도 7에 나타낸 바와 같이, 중심점을 기준으로 다섯 가지 섹터로 범위를 나눈 다음 각 섹터내의 에너지 값을 각각 합산한 후 그 값의 비율에 의해 실시간으로 생성되는 음악의 60Hz, 230Hz, 910Hz, 3.6KHz, 14KHz 주파수 대역의 음량 크기 비율를 결정하게 함으로써 본 음악 생성 시스템의 이퀄라이저(equalizer) 기능을 수행하게 된다.
(d) 단계로서(S400), 실시간 영상의 각 요소를 배경음악으로 합성 연속 재생하는 방법을 살펴보면 다음과 같다.
상술한 바와 같이 리듬, 화성 및 음조 값이 결정되면, 이 세가지 정보를 이용하여 음악을 생성하여 재생하게 된다. 결정된 리듬과 화성 정보에 따라 모티프 데이타베이스(DB)로부터 하나의 음악 모티프가 선택이 되며, 음조(tone) 정보는 선택된 모티프가 재생될 때 이퀄라이저(equalizer)에서 이용된다.
모티프 데이터베이스는 180개의 8마디로 이루어진 모티프들로 구성되어 있다. 하지만 각각의 모티프는 4마디 마다 독립성을 지니게 디자인 하여 각각의 모티프가 연속적으로 선택되서 재생될 때 반드시 최소한 4마디가 완전히 재생되고 다른 모티프로 바뀔 수 있도록 하였다. 이렇게 함으로써 각 모티프에게 충분한 음악적 특성을 부여함과 동시에 영상이 바뀔 때 음악이 부자연스럽게 끊기는 것을 막고 모티프들이 자연스럽게 연결되서 음악을 생성할 수 있게 하였다.
음악 생성 시, 다른 모티프로의 변환은 오직 새로 들어온 영상 정보가 기존의 정보와 다르며 그 지속 시간이 일정 시간 이상일 경우로 제한한다. 즉, 모바일 장치의 일시적인 흔들림은 노이즈로 분류하고 음악으로의 매핑을 하지 않음으로써 음악이 부자연스럽게 계속해서 바뀌는 것을 막는다. 도 8은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 한 모티프가 다른 모티프로 이어져 재생되는 과정을 나타내는 모식도이다.
그리고, 본 발명의 실시예에 또 다른 실시예로서, 모바일 앱 기반의 실시간 영상의 배경음악 생성방법은, (a) 배경음악 생성 어플리케이션의 카메라 촬영을 실행하고, 촬영되는 실시간 영상을 배경음악 생성 서버로 전송하는 단계; (b) 모바일 장치의 움직임 속도 값을 측정하는 단계; (c) 상기 배경음악 생성서버가 상기 모바일 속도 값을 수신받고, 상기 속도 값에 따라 수신된 상기 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계; (d) 상기 배경음악 생성서버가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계; (e) 상기 배경음악 생성서버가 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계; (f) 상기 배경음악 생성서버가 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프가 재생되도록 배경음악을 생성하는 단계; 및 (g) 상기 생성된 배경음악 모티프를 상기 모바일 장치로 전송하여 배경음악을 실시간으로 재생하는 단계를 포함하여 구성된다.(도시하지 않음)
본 발명의 실시예는 도 1의 실시예와 달리, 모바일 장치와 배경음악 생성서버간 인터넷 통신을 이용한 시스템을 이용하는 것으로, 모바일 장치에서 촬영된 영상을 실시간으로 상기 배경음악 생성서버로 전송하고, 배경음악 생성서버에서 상술한 음악 생성방법으로 음악을 생성하여 모바일 장치로 다시 실시간으로 전송하여 상기 모바일 장치에서 상기 음악을 재생하는 방법을 예시한다.
영상 및 소리 데이터를 인터넷을 통해 실시간을 송수신해야 한다는 점에서 데이터 처리 로드가 많고 데이터 전송속도에 영향을 받게 되지만, 최근 모바일 기기 발달과 인터넷 망의 처리속도가 매우 빨라져 상술한 시스템 및 방법을 적용하기에 충분하고, 배경음악 생성서버를 통해 사용자들에 커뮤니케이션 서비스 등 관련된 다양한 서비스를 용이하게 제공할 수 있다는 점에서 큰 장점이 있다.
이와 같이, 시각과 청각은 인간은 오감 중 인간의 대부분의 경험을 결정하는 가장 중요한 인지 기관으로 두 기관이 인지하는 것 사이에 서로 연결 부분이 있을 때 생기는 공감각(synesthesia)은 더 나은 경험을 하도록 도와주기 때문에, 본 발명에서는 사용자의 실시간 시각적 경험을 색, 형태, 움직임의 분석을 통해 추측하여 음악적 경험으로 바꾸어 주는 실시간 모바일 어플리케이션 서비스를 제안하는 것이다.
그리고 본 발명은 실시간으로 들어오는 데이터를 완전히 알고리즘만을 사용해서 '사운드'로 치환하는 것이 아니라, 전문 작곡자가 모티프(motif) 데이타베이스를 미리 디자인하도록 하고, 알고리즘이 실행시 시각적 경험에 어울릴 것으로 추측되는 적절한 모티프들을 선택하게 하여 음악적 미를 지니는 음악을 생성하여 재생하는 방법을 제공하게 된다는 점에서 특징이 있다.
또한, 본 발명은 모티프 데이타베이스와 독립적으로 작용하므로 일반인부터 전문 작곡자까지 본인만의 모티프 데이타베이스를 디자인하고 공유 또는 판매하게 할 수 있는 확장 가능성을 지닌다. 이때 모든 모티프간의 연결이 더욱 자연스럽게 되도록 일반인도 쉽게 모티프를 디자인하게 해주는 시스템적인 방법을 제공하는 것도 가능하다.
이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능 하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.

Claims (17)

  1. (a) 모바일 장치의 움직임 속도를 측정하고, 상기 측정된 속도에 따라 상기 모바일 장치가 촬영된 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계;
    (b) 상기 모바일 장치가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계;
    (c) 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계; 및
    (d) 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프를 연속적으로 재생하는 단계를 포함하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
  2. 제1항에 있어서,
    상기 (a) 단계에서,
    상기 움직임 속도는 상기 모바일 장치에 내장된 GPS 및/또는 모션센서로부터 측정되는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
  3. 제2항에 있어서,
    상기 (a) 단계에서,
    상기 측정된 속도에 따라 미리 디자인된 다수의 비트 중 어느 하나를 선택하여 상기 실시간 영상에 대응되는 배경음악의 리듬으로 결정하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 (b) 단계는,
    상기 우울함을 회색계열 또는 채도 및 명도가 낮은 붉은 계열로 하는 색상과, 상기 활기참을 채도 및 명도가 높은 붉은 계열 또는 채도 및 명도가 높은 푸른 계열로 하는 색상과, 상기 고요함을 낮은 푸른 계열 또는 흰색과 검은색으로 하는 색상으로 분류하고, 각각의 색상에 따른 색조, 명도 및 채도 값이 결정되어 상기 색상 그룹을 형성하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
  5. 제4항에 있어서,
    상기 색상 그룹은 각각에 5개의 화성 패턴으로 구성된 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
  6. 제5항에 있어서,
    상기 (c) 단계는,
    상기 실시간 영상을 퓨리에 변환하여 퓨리에 영상을 생성하는 단계;
    상기 퓨리에 영상에서 중심으로부터 서로 다른 반경을 갖는 5개의 원형 섹터로 구분하는 단계;
    각각의 원형 섹터별 주파수 에너지 비율을 산출하고, 상기 주파수 에너지 비율에 따라 미리 구분된 5개의 주파수 대역의 음량 크기를 산출하는 단계;
    상기 산출된 각 음량 크기에 따라 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계를 포함하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
  7. 제6항에 있어서,
    상기 5개의 주파수 대역은,
    60Hz, 230Hz, 910Hz, 3.6KHz 및 14KHz 인 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
  8. 제1항에 있어서,
    상기 (d) 단계에서,
    상기 모티프 DB는, 리듬과 화성에 따라 분류되고, 8마디로 이루어진 모티프 다수개의 모티프로 구성되며, 각 모티프는 4마디 마다 개별적으로 독립되어 디자인된 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
  9. 제8항에 있어서,
    상기 모티프가 연속적으로 재생되는 경우, 최소한 4마디의 모티프가 종료된 후, 다른 모티프로 변경되어 재생되는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
  10. (a) 배경음악 생성 어플리케이션의 카메라 촬영을 실행하고, 촬영되는 실시간 영상을 배경음악 생성 서버로 전송하는 단계;
    (b) 모바일 장치의 움직임 속도 값을 측정하는 단계;
    (c) 상기 배경음악 생성서버가 상기 모바일 속도 값을 수신받고, 상기 속도 값에 따라 수신된 상기 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계;
    (d) 상기 배경음악 생성서버가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계;
    (e) 상기 배경음악 생성서버가 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계;
    (f) 상기 배경음악 생성서버가 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프가 재생되도록 배경음악을 생성하는 단계; 및
    (g) 상기 생성된 배경음악 모티프를 상기 모바일 장치로 전송하여 배경음악을 실시간으로 재생하는 단계를 포함하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
  11. 제10항에 있어서,
    상기 (c) 단계에서,
    상기 측정된 속도에 따라 미리 디자인된 다수의 비트 중 어느 하나를 선택하여 상기 실시간 영상에 대응되는 배경음악의 리듬으로 결정하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
  12. 제10항 또는 제11항에 있어서,
    상기 (d) 단계는,
    상기 우울함을 회색계열 또는 채도 및 명도가 낮은 붉은 계열로 하는 색상과, 상기 활기참을 채도 및 명도가 높은 붉은 계열 또는 채도 및 명도가 높은 푸른 계열로 하는 색상과, 상기 고요함을 낮은 푸른 계열 또는 흰색과 검은색으로 하는 색상으로 분류하고, 각각의 색상에 따른 색조, 명도 및 채도 값이 결정되어 상기 색상 그룹을 형성하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
  13. 제12항에 있어서,
    상기 색상 그룹은 각각에 5개의 화성 패턴으로 구성된 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
  14. 제12항에 있어서,
    상기 (e) 단계는,
    상기 실시간 영상을 퓨리에 변환하여 퓨리에 영상을 생성하는 단계;
    상기 퓨리에 영상에서 중심으로부터 서로 다른 반경을 갖는 5개의 원형 섹터로 구분하는 단계;
    각각의 원형 섹터별 주파수 에너지 비율을 산출하고, 상기 주파수 에너지 비율에 따라 미리 구분된 5개의 주파수 대역의 음량 크기를 산출하는 단계;
    상기 산출된 각 음량 크기에 따라 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계를 포함하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
  15. 제14항에 있어서,
    상기 5개의 주파수 대역은,
    60Hz, 230Hz, 910Hz, 3.6KHz 및 14KHz 인 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
  16. 제10항에 있어서,
    상기 (f) 단계에서,
    상기 모티프 DB는, 리듬과 화성에 따라 분류되고, 8마디로 이루어진 모티프 다수개의 모티프로 구성되며, 각 모티프는 4마디 마다 개별적으로 독립되어 디자인 된 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
  17. 제16항에 있어서,
    상기 모티프가 연속적으로 재생되는 경우, 최소한 4마디의 모티프가 종료된 후, 다른 모티프로 변경되어 재생되는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.

KR1020140034772A 2014-03-25 2014-03-25 모바일 앱 기반의 실시간 영상의 배경음악 생성방법 KR101657975B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140034772A KR101657975B1 (ko) 2014-03-25 2014-03-25 모바일 앱 기반의 실시간 영상의 배경음악 생성방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140034772A KR101657975B1 (ko) 2014-03-25 2014-03-25 모바일 앱 기반의 실시간 영상의 배경음악 생성방법

Publications (2)

Publication Number Publication Date
KR20150112048A true KR20150112048A (ko) 2015-10-07
KR101657975B1 KR101657975B1 (ko) 2016-09-21

Family

ID=54343375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140034772A KR101657975B1 (ko) 2014-03-25 2014-03-25 모바일 앱 기반의 실시간 영상의 배경음악 생성방법

Country Status (1)

Country Link
KR (1) KR101657975B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160132533A1 (en) * 2014-04-22 2016-05-12 Sk Planet Co., Ltd. Device for providing image related to replayed music and method using same
WO2019132126A1 (ko) * 2017-12-28 2019-07-04 심재훈 그래픽 컨텐츠 기반 작곡서비스 운영장치
CN110858924A (zh) * 2018-08-22 2020-03-03 北京优酷科技有限公司 视频背景音乐的生成方法及装置
CN110933406A (zh) * 2019-12-10 2020-03-27 央视国际网络无锡有限公司 一种短视频配乐质量客观评价方法
US20210118416A1 (en) * 2018-09-14 2021-04-22 Bellevue Investments Gmbh & Co. Kgaa Method and system for template based variant generation of hybrid ai generated song
CN113473177A (zh) * 2021-05-27 2021-10-01 北京达佳互联信息技术有限公司 音乐推荐方法、装置、电子设备及计算机可读存储介质
CN116504206A (zh) * 2023-03-18 2023-07-28 深圳市狼视天下科技有限公司 一种识别环境并生成音乐的摄像头

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101982345B1 (ko) 2017-07-21 2019-05-24 주식회사 마인드셋 인공지능을 이용한 음악 생성 장치 및 방법
KR102579452B1 (ko) * 2018-09-05 2023-09-15 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR20230012693A (ko) 2021-07-16 2023-01-26 주식회사 바로세움 Ai를 이용한 음원 제조 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010077433A (ko) * 2000-02-02 2001-08-20 김경미 가상 음악 영상 시스템 및 그 시스템의 영상 표시 방법
KR100762079B1 (ko) 2006-04-25 2007-10-01 이경의 자동음악 작곡 방법 및 자동음악 작곡 시스템
KR20080082022A (ko) * 2006-12-27 2008-09-11 한국전자통신연구원 음악 특성 기반 유사도 측정 장치 및 그 방법과 그를이용한 음악 추천 시스템 및 그 방법
KR20100087945A (ko) * 2009-01-29 2010-08-06 삼성전자주식회사 음악 연동 사진 캐스팅 서비스 시스템 및 그 방법
KR20120021315A (ko) * 2012-01-18 2012-03-08 엔에이치엔(주) 자동으로 컨텐츠를 추천하는 모바일 시스템, 컨텐츠 추천 시스템 및 컨텐츠 추천 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010077433A (ko) * 2000-02-02 2001-08-20 김경미 가상 음악 영상 시스템 및 그 시스템의 영상 표시 방법
KR100762079B1 (ko) 2006-04-25 2007-10-01 이경의 자동음악 작곡 방법 및 자동음악 작곡 시스템
KR20080082022A (ko) * 2006-12-27 2008-09-11 한국전자통신연구원 음악 특성 기반 유사도 측정 장치 및 그 방법과 그를이용한 음악 추천 시스템 및 그 방법
KR20100087945A (ko) * 2009-01-29 2010-08-06 삼성전자주식회사 음악 연동 사진 캐스팅 서비스 시스템 및 그 방법
KR20120021315A (ko) * 2012-01-18 2012-03-08 엔에이치엔(주) 자동으로 컨텐츠를 추천하는 모바일 시스템, 컨텐츠 추천 시스템 및 컨텐츠 추천 방법

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339176B2 (en) * 2014-04-22 2019-07-02 Groovers Inc. Device for providing image related to replayed music and method using same
US20160132533A1 (en) * 2014-04-22 2016-05-12 Sk Planet Co., Ltd. Device for providing image related to replayed music and method using same
WO2019132126A1 (ko) * 2017-12-28 2019-07-04 심재훈 그래픽 컨텐츠 기반 작곡서비스 운영장치
CN110858924B (zh) * 2018-08-22 2021-11-26 阿里巴巴（中国）有限公司 视频背景音乐的生成方法、装置及存储介质
CN110858924A (zh) * 2018-08-22 2020-03-03 北京优酷科技有限公司 视频背景音乐的生成方法及装置
US11741922B2 (en) * 2018-09-14 2023-08-29 Bellevue Investments Gmbh & Co. Kgaa Method and system for template based variant generation of hybrid AI generated song
US20210118416A1 (en) * 2018-09-14 2021-04-22 Bellevue Investments Gmbh & Co. Kgaa Method and system for template based variant generation of hybrid ai generated song
CN110933406B (zh) * 2019-12-10 2021-05-14 央视国际网络无锡有限公司 一种短视频配乐质量客观评价方法
CN110933406A (zh) * 2019-12-10 2020-03-27 央视国际网络无锡有限公司 一种短视频配乐质量客观评价方法
CN113473177A (zh) * 2021-05-27 2021-10-01 北京达佳互联信息技术有限公司 音乐推荐方法、装置、电子设备及计算机可读存储介质
CN113473177B (zh) * 2021-05-27 2023-10-31 北京达佳互联信息技术有限公司 音乐推荐方法、装置、电子设备及计算机可读存储介质
CN116504206A (zh) * 2023-03-18 2023-07-28 深圳市狼视天下科技有限公司 一种识别环境并生成音乐的摄像头
CN116504206B (zh) * 2023-03-18 2024-02-20 深圳市狼视天下科技有限公司 一种识别环境并生成音乐的摄像头

Also Published As

Publication number Publication date
KR101657975B1 (ko) 2016-09-21

Similar Documents

Publication Publication Date Title
KR101657975B1 (ko) 모바일 앱 기반의 실시간 영상의 배경음악 생성방법
CN111836437B (zh) 一种灯光显示的控制方法及装置
US9918174B2 (en) Wireless exchange of data between devices in live events
CN109120983B (zh) 一种音频处理方法和装置
KR100322347B1 (ko) 화성법을 이용한 조화색 선정방법 및 장치와, 음색 및색음 변환방법 및 장치
CN108040497A (zh) 基于从异地分布的表演者捕获的内容自动产生协调的视听作品
JP2020003537A (ja) オーディオ抽出装置、学習装置、カラオケ装置、オーディオ抽出方法、学習方法及びプログラム
JP4738203B2 (ja) 画像から音楽を生成する音楽生成装置
JP5047163B2 (ja) オーディオデータの自動生成方法及びこれを利用した使用者端末機及び記録媒体
WO2007105927A1 (en) Method and apparatus for converting image to sound
US11037370B2 (en) Information processing apparatus, and information processing method and program therefor
CN110444185A (zh) 一种音乐生成方法及装置
KR101896193B1 (ko) 이미지를 음악으로 변환하는 방법
US9792835B2 (en) Proxemic interfaces for exploring imagery
KR20190033482A (ko) 색상 데이터를 음표로 변환하는 방법 및 장치
CN108960250A (zh) 图像至旋律的转换方法、装置与计算机可读存储介质
CN111108557A (zh) 修改音频对象的风格的方法、以及对应电子装置、计算机可读程序产品和计算机可读存储介质
US20180091234A1 (en) Terminal device, apparatus and method for transmitting an image
JP2020021098A (ja) 情報処理装置、電子機器及びプログラム
KR101452451B1 (ko) 모바일 장치를 이용한 오디오 및 조명 감성 제어 시스템 및 방법
CN110097618A (zh) 一种音乐动画的控制方法、装置、车辆及存储介质
KR20070094207A (ko) 영상을 소리로 변환하는 방법 및 장치
Pun et al. Sonification of colour and depth in a mobility aid for blind people
Kawakatsu Fluctuation analysis for photographs of tourist spots and music extraction from photographs
US20240127777A1 (en) Method and apparatus for generating music file, and electronic device and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 4