KR20070098804A - 악곡 데이터 재구성 장치, 악곡 데이터 재구성 방법, 음악콘텐츠 재생 장치 및 음악 콘텐츠 재생 방법 - Google Patents

악곡 데이터 재구성 장치, 악곡 데이터 재구성 방법, 음악콘텐츠 재생 장치 및 음악 콘텐츠 재생 방법 Download PDF

Info

Publication number
KR20070098804A
KR20070098804A KR1020077013293A KR20077013293A KR20070098804A KR 20070098804 A KR20070098804 A KR 20070098804A KR 1020077013293 A KR1020077013293 A KR 1020077013293A KR 20077013293 A KR20077013293 A KR 20077013293A KR 20070098804 A KR20070098804 A KR 20070098804A
Authority
KR
South Korea
Prior art keywords
music
information
data
unit
attribute information
Prior art date
Application number
KR1020077013293A
Other languages
English (en)
Inventor
고세이 야마시따
야스시 미야지마
모또유끼 다까이
요이찌로 사꼬
도시로 데라우찌
도루 사사끼
유이찌 사까이
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20070098804A publication Critical patent/KR20070098804A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/38—Chord
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G11B27/007—Reproducing at a different information rate from the information rate of recording reproducing continuously a part of the information, i.e. repeating
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/038—Cross-faders therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/125—Medley, i.e. linking parts of different musical pieces in one single piece, e.g. sound collage, DJ mix
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/555—Tonality processing, involving the key in which a musical piece or melody is played
    • G10H2210/565—Manual designation or selection of a tonality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571—Chords; Chord sequences
    • G10H2210/576—Chord progression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G10H2220/355—Geolocation input, i.e. control of musical parameters based on location or geographic position, e.g. provided by GPS, WiFi network location databases or mobile phone base station position databases
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/371—Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/295—Packet switched network, e.g. token ring
    • G10H2240/305—Internet or TCP/IP protocol use for any electrophonic musical instrument data or musical parameter transmission purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325—Synchronizing two or more audio tracks or files according to musical features or musical timings

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

청취하고 있는 유저의 기분, 기호나 주변 환경 등을 리얼 타임으로 악곡에 반영시켜, 악곡 자신을 재구성할 수 있도록 하는 장치를 제공한다. 악곡의 소절에 대응하는 주기의 신호와 악곡의 박자에 대응하는 주기의 신호를 포함하는 동기 신호 SYNC를 발생함과 함께, 악곡 재구성용 정보 ARI를 상기 동기 신호에 동기하여 발생하는 리듬 마스터부(210)와, 입력되는 음악 콘텐츠의 악곡 데이터를, 리듬 마스터부(210)로부터의 동기 신호 SYNC와, 악곡 재구성용 정보 ARI에 따라서 재구성하여, 출력 악곡 데이터를 생성해서 출력하는 리듬 슬레이브부(220)로 이루어진다.
생체 정보, 주변 환경, 동기 신호, 악곡 재구성용 정보, 리듬 마스터, 리듬 슬레이브

Description

악곡 데이터 재구성 장치, 악곡 데이터 재구성 방법, 음악 콘텐츠 재생 장치 및 음악 콘텐츠 재생 방법{MUSIC COMPOSITION DATA RECONSTRUCTION DEVICE, MUSIC COMPOSITION DATA RECONSTRUCTION METHOD, MUSIC CONTENT REPRODUCTION DEVICE, AND MUSIC CONTENT REPRODUCTION METHOD}
본 발명은, 예를 들면 디스크 쟈키가 음악 콘텐츠를 어레인지하여 재생하는 것과 동등한 재생 음성 데이터를 얻을 수 있도록 하는 악곡 데이터 재구성 장치, 악곡 데이터 재구성 방법, 음악 콘텐츠 재생 장치 및 음악 콘텐츠 재생 방법에 관한 것이다.
광 디스크나 하드디스크 등의 기록 매체의 기록 용량이 커졌다는 점으로부터, 그들 기록 매체에 대량의 음악 콘텐츠가 저장 가능하게 되었다. 그리고, 이 대용량의 기록 매체를 이용한 음악 콘텐츠의 재생 장치도 제공되고 있다.
종래의 이러한 음악 콘텐츠의 재생 장치에서는, 음악 시청을 행하는 유저 자신이, 대량의 음악 콘텐츠 중에서 자신이 듣고자 하는 음악 콘텐츠를 선택하여, 재생 조작을 행하고 있다.
또한, 예를 들면, 유저의 과거의 음악 콘텐츠에 관한 재생 이력을 이용하여, 유저에게, 재생 악곡 후보를 추천하는 시스템도 제공되고 있다(예를 들면, 일본 특 개 2003-173350 공보 참조).
<발명의 개시>
전술한 바와 같이, 종래에는, 유저가 선택하거나, 혹은 장치가 과거의 재생 이력에 기초하여 선택하거나 하여, 유저에게 재생 악곡 후보를 제시하는 방법은 제안되어 있다. 그러나, 종래의 음악 콘텐츠의 재생 장치에서는, 전술한 바와 같이 해서 선택되어 재생되는 악곡은, 악곡 제작자가 의도한 대로 그대로 재생될 뿐이며, 특히 유저마다 곡조의 변화가 실시되는 등의 개인의 기호성이 재생 악곡에 반영시키도록 하는 것은 존재하지 않았다.
즉, 아티스트 등의 제작측에서 만들어진 악곡은, 종래의 음악 콘텐츠의 재생 장치 상의 제약 등의 이유도 있고, 유저측에서는, 제작자가 의도한 대로, 단지 고정적으로 들을 뿐이었다.
그러나, 소위 디스크 쟈키와 같이, 그 악곡의 템포나 음정을 바꾸거나, 다른 악곡과의 리믹스를 하거나 하는 등으로 하여, 악곡을 그 자리의 기분에 맞도록 재구성하여 변경할 수 있다면, 악곡의 재생에 대하여, 엔터테인먼트성을 높일 수 있을 것으로 기대할 수 있다.
본 발명은, 이상의 점을 감안하여, 청취하고 있는 유저의 기분, 기호나 주변 환경 등을 리얼 타임으로 악곡에 반영시켜, 악곡 자신을 재구성할 수 있도록 하여, 악곡의 재생에 대하여, 엔터테인먼트성을 높일 수 있도록 하는 것을 목적으로 한다.
상기의 과제를 해결하기 위해서, 청구항 1의 발명에 따른 악곡 데이터 재구 성 장치는,
악곡의 소절에 대응하는 주기의 신호와 악곡의 박자에 대응하는 주기의 신호를 포함하는 동기 신호를 발생함과 함께, 악곡 재구성용 정보를 상기 동기 신호에 동기하여 발생하는 리듬 마스터부와,
입력되는 음악 콘텐츠의 악곡 데이터를, 상기 리듬 마스터부로부터의 상기 동기 신호와, 상기 악곡 재구성용 정보에 따라서 재구성하여, 출력 악곡 데이터를 생성해서 출력하는 리듬 슬레이브부로 이루어지는 것을 특징으로 한다.
이 청구항 1의 발명에 따르면, 리듬 마스터부로부터의 동기 신호 및 악곡 재구성용 정보에 따라서, 재생하고자 하는 음악 콘텐츠의 악곡 데이터를, 청취하고 있는 유저의 기분, 기호나 주변 환경 등을 리얼 타임으로 반영시켜, 재구성할 수 있다.
또한, 청구항 17의 발명에 따른 음악 콘텐츠 재생 장치는,
복수개의 음악 콘텐츠의 데이터가 저장되어 있는 음악 콘텐츠 데이터 기억부와,
상기 음악 콘텐츠 데이터 기억부로부터, 재생 대상의 음악 콘텐츠의 데이터를 취득하는 제1 취득 수단과,
악곡의 소절에 대응하는 주기의 신호와 악곡의 박자에 대응하는 주기의 신호를 포함하는 동기 신호를 발생함과 함께, 악곡 재구성용 정보를 상기 동기 신호에 동기하여 발생하는 리듬 마스터 수단과,
상기 제1 취득 수단에 의해 취득한 상기 재생 대상의 음악 콘텐츠 데이터를, 상기 리듬 마스터부로부터의 상기 동기 신호와 상기 악곡 재구성용 정보에 따라서 재구성하여, 출력 악곡 데이터를 생성해서 음향 재생 출력하는 리듬 슬레이브 수단을 구비하는 것을 특징으로 한다.
이 청구항 17의 발명에 따르면, 음악 콘텐츠 데이터 기억부에 저장되어 있는 음악 콘텐츠를 재생하는 경우에 있어서, 리듬 마스터부로부터의 동기 신호 및 악곡 재구성용 정보에 따라서, 상기 재생하고자 하는 해당 음악 콘텐츠의 악곡 데이터를 재구성할 수 있으므로, 리듬 마스터부로부터의 동기 신호 및 악곡 재구성용 정보를, 해당 악곡을 청취하고 있는 유저(리스너)의 기분, 기호나 주변 환경 등을 리얼 타임으로 반영시킴으로써, 유저(리스너)가 그 때에 청취 요구하여 악곡을 재생하는 것이 가능하게 된다.
도 1은 본 발명에 따른 음악 콘텐츠의 재생 장치의 제1 실시 형태가 적용된 기록 재생 장치의 블록도.
도 2는 실시 형태의 기록 재생 장치에서 이용되는 속성 정보의 일부의 정보를 설명하기 위한 도면.
도 3은 도 1의 기록 재생 장치에서의 처리의 일례의 플로우차트.
도 4는 도 1의 기록 재생 장치의 동작을 설명하기 위해 이용하는 플로우차트.
도 5는 도 1의 음악 콘텐츠 기억부의 예를 설명하기 위한 도면.
도 6은 도 1의 음악 콘텐츠 기억부의 예를 설명하기 위한 도면.
도 7은 도 1의 기록 재생 장치 중 기록 처리 동작부를 설명하기 위한 기능 블록도.
도 8은 도 1의 기록 재생 장치에서의 기록 처리 동작을 설명하기 위한 플로우차트의 일부.
도 9는 도 1의 기록 재생 장치에서의 기록 처리 동작을 설명하기 위한 플로우차트의 일부.
도 10은 도 1의 기록 재생 장치 중 재생 처리 동작부를 설명하기 위한 기능 블록도.
도 11은 도 1의 기록 재생 장치의 주요부의 기능 블록도.
도 12는 도 11의 기능 블록도의 설명을 위한 도면.
도 13은 도 11의 기능 블록도의 일부의, 더욱 상세한 기능 블록도.
도 14는 도 11의 기능 블록도의 일부의, 더욱 상세한 기능 블록도.
도 15는 도 11의 기능 블록도의 일부의 설명을 위한 도면.
도 16은 도 11의 기능 블록도의 설명을 위한 타이밍도.
도 17은 도 11의 기능 블록도의 설명을 위한 타이밍도.
도 18은 도 11의 기능 블록도의 설명을 위한 도면.
도 19는 도 1의 기록 재생 장치에서의 재생 처리 동작을 설명하기 위한 플로우차트의 일부.
도 20은 도 1의 기록 재생 장치에서의 재생 처리 동작을 설명하기 위한 플로우차트의 일부.
도 21은 도 11의 일부를 구성하는 리듬 마스터부의 처리 동작의 플로우차트.
도 22는 도 11의 일부를 구성하는 리듬 슬레이브부의 처리 동작의 플로우차트.
도 23은 본 발명에 따른 음악 콘텐츠의 재생 장치의 제2 실시 형태가 적용된 기록 재생 장치의 블록도.
도 24는 도 23의 제2 실시 형태의 기록 재생 장치 중 재생 처리 동작부를 설명하기 위한 기능 블록도.
도 25는 도 23의 제2 실시 형태의 기록 재생 장치의 주요부의 기능 블록도.
도 26은 도 23의 기능 블록도의 일부의, 더욱 상세한 기능 블록도.
도 27은 도 23의 일부를 구성하는 리듬 마스터부의 처리 동작의 플로우차트의 일부.
도 28은 도 23의 일부를 구성하는 리듬 마스터부의 처리 동작의 플로우차트의 일부.
도 29는 도 23의 일부를 구성하는 리듬 마스터부의 처리 동작의 플로우차트의 일부.
도 30은 도 23의 일부를 구성하는 리듬 마스터부의 처리 동작의 플로우차트의 일부.
도 31은 도 23의 기능 블록도의 설명을 위한 타이밍도.
[제1 실시 형태]
이하, 본 발명의 제1 실시 형태를, 도를 참조하면서 설명한다. 도 1은 본 발명의 음악 콘텐츠의 재생 장치의 제1 실시 형태와, 음악 콘텐츠 및 그 속성 정보의 기록 장치의 제1 실시 형태가 적용된 기록 재생 장치의 일례의 구성을 도시하는 블록도이다.
이 제1 실시 형태에서는, 기록 재생 장치는, 음악 콘텐츠 기억부를 구비하는데, 이 음악 콘텐츠 기억부에는, 음악 콘텐츠의 데이터로서 악곡의 음향 데이터 외에, 영상 데이터가 포함되는 경우도 있는 것을 상정하여, 영상 음향 데이터가 기억된다. 그리고, 이 제1 실시 형태에서는, 음악 콘텐츠의 데이터에 부수하여, 또한, 각 악곡에 관한 속성 정보가, 각 음악 콘텐츠의 식별 정보에 의해 대응지어져 기억된다.
이 속성 정보는, 템포, 키(조), 코드(chord) 등의 리듬 및 리듬과 결부지어져 곡조를 결정하기 위한 곡조 속성 정보(후술하는 악곡 구성 정보에 포함됨)뿐만 아니라, 후술하는 바와 같이 연주자 정보, 가사 정보, 감성 정보, 주변 환경 정보 등을 포함하는 것이다. 그리고, 음악 콘텐츠에 영상 정보를 포함할 때에는, 그 영상에 대한 속성에 관한 정보도 포함하는 경우가 있다.
후술하는 바와 같이, 음악 콘텐츠가 DVD(Digital Versatile Disc) 등의 리무버블(착탈 가능)한 기록 매체에 기억되어 있는 경우에, 이 속성 정보가 해당 기록 매체에 음악 콘텐츠에 대응지어져 기록되어 있는 경우에는, 그 기록 매체에 기록되어 있는 속성 정보를 이용할 수 있다.
그리고, DVD 등의 기록 매체로부터, 기록 재생 장치의 기억부에 음악 콘텐츠 의 데이터를 기록할 때에는, 속성 정보도, 대응지어서 기록하도록 한다.
기록 매체에, 속성 정보가 기록되어 있지 않은 경우에는, 해당 기록 매체로부터, 기록 재생 장치의 기억부에 음악 콘텐츠의 데이터를 기록할 때에, 기록 재생 장치에서, 필요한 속성 정보를 생성하고, 그 생성한 속성 정보를, 기록할 음악 콘텐츠에 대한 영상 음향 데이터에 대응지어서, 기록하도록 한다.
이 제1 실시 형태의 기록 재생 장치에서는, 음악 콘텐츠의 정보는, 예를 들면 인터넷 상에 있는 음악 콘텐츠 제공 서버로부터도 다운로드할 수 있도록 구성되어 있다.
이 예의 경우의 음악 콘텐츠 제공 서버의 음악 콘텐츠의 정보에는, 속성 정보가 부수되어 있는 것을 상정하고 있으며, 이 제1 실시 형태의 기록 재생 장치로부터의 음악 콘텐츠의 취득 요구를 수취하면, 음악 콘텐츠 제공 서버는, 요구된 음악 콘텐츠의 영상 음향 데이터와 함께, 속성 정보를 기록 재생 장치에 다운로드하도록 한다.
따라서, 기록 재생 장치는, 다운로드된 영상 음향 데이터와, 속성 정보를, 음악 콘텐츠의 식별 정보에 의해 대응지어서, 기억부에 기억하도록 한다.
이 예의 기록 재생 장치는, 마이크로 컴퓨터를 탑재하여 구성되는 것으로, 도 1에 도시한 바와 같이, CPU(Central Processing Unit)(1)에 대하여 시스템 버스(2)를 통하여 프로그램 ROM(Read Only Memory)(3) 및 워크 에리어용 RAM(Random Access Memory)(4)이 접속되어 있다.
그리고, 시스템 버스(2)에는, 또한, 유저 인터페이스(11)와, 인코드/디코드 부(12)와, 곡조 분석부(13)와, 통신 인터페이스(14)와, 재생 이력 정보 유지부(15)와, 광 디스크 드라이브(16)가 접속되어 있다.
유저 인터페이스(11)는, 유저의 조작 입력을 접수하는 버튼 조작부(도시를 생략)나, 예를 들면 LCD(Liquid Crystal Display)로 이루어지는 디스플레이를 포함한다.
인코드/디코드부(12)에는, 음악 콘텐츠 기억부(20)가 접속된다. 이 예에서는, 이 음악 콘텐츠 기억부(20)는, 예를 들면 대용량의 하드디스크 장치에 의해 구성된다. 또한, 대용량의 재기입 가능한 광 디스크를 이용하는 기입/읽어내기 장치부에 의해, 음악 콘텐츠 기억부(20)를 구성할 수도 있다.
인코드/디코드부(12)는, 이 음악 콘텐츠 기억부(20)를 구성하는 하드디스크 장치에 데이터를 기입할 때에, 기입 대상의 데이터를 하드디스크 장치에 기록할 수 있는 포맷의 데이터에 인코드 처리하고, 또한, 이 하드디스크 장치로부터 읽어낸 데이터에 대하여, 상기 인코드에 대응하는 디코드 처리를 실시하는 것이다. 이 경우에, 인코드 처리에는, 데이터 압축 처리를 포함할 수 있고, 그것에 대응하여 디코드 처리에는, 데이터 신장 처리를 포함할 수 있다.
이 예에서는, 음악 콘텐츠의 데이터에는, 악곡 데이터뿐만 아니라, 음악 콘텐츠에 관련한 영상 데이터와, 나아가서는, 음악 콘텐츠에 관한 속성 정보(나중에 상세히 설명함)가 포함되어 있다.
그리고, 음악 콘텐츠 기억부(20)는, 각각의 음악 콘텐츠에 관하여 악곡 데이터와 영상 데이터가 기억되는 영상 음향 데이터 기억부(21)와, 각각의 속성 정보가 기억되는 속성 정보 기억부(22)로 이루어진다. 영상 음향 데이터 기억부(21)의 악곡 데이터 및 영상 데이터와, 속성 정보 기억부(22)의 속성 정보는, 음악 콘텐츠마다 음악 콘텐츠의 각각을 식별하는 음악 콘텐츠 식별 정보(콘텐츠 ID)에 의해 상호 관련지어져 있다.
곡조 분석부(13)는, 음악 콘텐츠의 악곡 데이터를 음악 콘텐츠 기억부(20)의 영상 음향 데이터 기억부(21)에 기억할 때에, 악곡 데이터를 해석하여, 악곡의 악곡 소재 단위의 구획을 검출함과 함께, 해당 악곡 소재 단위의 악곡 구성 정보를 추출한다. 이 악곡 구성 정보는, 상기 속성 정보의 일부로서, 속성 정보 기억부(22)에 기록되도록 된다. 곡조 분석부(13)는, 기록할 음악 콘텐츠의 정보에 속성 정보가 부속되어 있지 않은 경우에만 동작하고, 추출된 악곡 구성 정보가 속성 정보의 일부로서 기록된다.
여기에서, 악곡 소재 단위란, 악곡의 박자, 소절 등, 코드를 붙일 수 있는 단위이다. 그리고, 악곡 구성 정보는, 악곡의 악곡 소재 단위의 템포, 키, 코드, 음량, 박자, 악보, 코드 진행 등의, 소위 곡조가 결정되는 기준으로 되는 정보로 이루어지는 것이다.
통신 인터페이스(14)는, 외부의 네트워크 예를 들면 인터넷(5)을 통하여 음악 콘텐츠 제공 서버 장치(6) 등에 접속하기 위해 이용되는 것이다. 이 예에서는, 음악 콘텐츠 제공 서버 장치(6)는, 악곡 데이터나 영상 데이터뿐만 아니라, 속성 정보도 제공할 수 있도록 구성되어 있다.
재생 이력 정보 유지부(15)는, 해당 기록 재생 장치에서, 과거에, 어느 악곡 을 어느 정도의 빈도나 시간으로 들었는지의 이력 정보를 보유한다. 재생된 음악 콘텐츠의 식별 정보(콘텐츠 ID)에 대응하여 재생 횟수(빈도), 그 재생 시간, 그 재생 시의 주변 환경 정보(주변 환경 정보에 대해서도 나중에 상세히 설명함) 등이, 이 재생 이력 정보 유지부(15)에는 기억되어 있다.
광 디스크 드라이브(16)는, CD(Compact Disc)나 DVD(Digital Versatile Disc) 등의 광 디스크(7)로부터, 악곡 데이터나 영상 데이터의 읽어들이기를 행한다. 광 디스크(7)에 음악 콘텐츠에 대한 속성 정보가 기록되어 있는 경우에는, 해당 속성 정보의 읽어들이기도 행한다.
이 예의 기록 재생 장치에서는, 시스템 버스(2)에는, 또한, 생체 정보 취득부(30)와, 주변 환경 정보 취득부(40)와, 영상 음향 출력부(50)가 접속되어 있다.
생체 정보 취득부(30)는, 생체 정보 센서(31)와 생체 정보 해석부(32)로 이루어진다. 생체 정보 센서(31)는, 음악 콘텐츠를 시청하고 있는 리스너가, 해당 음악 콘텐츠에 대하여 기호를 나타내고 있는지, 혹은, 기호를 나타내고 있지 않은지 등을 판별하기 위한 정보를 검지한다. 이 생체 정보 센서(31)는, 리스너의 예를 들면 신체 움직임, 호흡, 맥, 혈압, 신체 표면 온도, 피부 발한, 피부 저항 등의 생체 정보를 검출하고, 그들 생체 정보를 생체 정보 해석부(32)에 공급하는 것이다.
예를 들면, 리스너가 청취하고 있는 악곡에 기호를 나타내고 있고, 소위 「악곡을 타고 있는」 상태일 때에는, 리스너의 신체 움직임이나 호흡은, 연주되는 음악의 리듬이나 템포 등과 동기한 것으로 되는 경우가 있다. 예를 들면, 차분한 멜로디를 연주하도록 하고 싶을 때에는, 신체 움직임이나 호흡은, 그에 맞춘 차분한 것으로 되고, 또한, 급격히 큰 음으로 이행할 때에는, 그에 맞추어 신체 움직임이 커짐과 함께, 호흡도 그에 맞추어 흡기(吸氣)로부터, 일단, 숨을 멈추고, 단숨에 호기(呼氣)로 옮기는 등의 변화를 하는 경우가 있다.
또한, 리스너는, 기분이 고양하는 음악 파트에서는, 맥이나 심박이 많아짐과 함께, 피부 발한이 많아지고, 또한, 차분한 음악의 파트에서는 맥이나 심박은 차분하게 안정된 것으로 되는 등의 변화를 하는 경우가 있다.
생체 정보 해석부(32)에서는, 이상과 같은, 리스너의 감정적인 정보를, 생체 정보 센서로부터 수취하고, 리스너가 청취 중인 악곡에 기호를 나타내고 있는지의 여부의 판별 결과를 시스템 버스(2)에 송출한다. 이 경우에, 생체 정보 해석부(32)에서는, 재생 중인 악곡 구성 정보도 참조하여, 리스너의 신체 움직임 등이, 악곡에 동기하고 있는지의 여부도 판단하도록 하고 있다.
그리고, 이 실시 형태에서는, 생체 정보 해석부(32)는, 예를 들면 신체 움직임 등의 생체 정보에 기초한 기호의 정도에 대하여, 복수 단계의 스레숄드치를 갖고, 예를 들면, 「기호를 나타내지 않고 있다(곡을 타지 않는다)」, 「기호를 나타내고 있지만 기호의 정도가 낮다」, 「매우 기호를 나타내고 있다(곡을 타고 있다)」와 같은 복수 단계에 대한 판단 출력을 송출하도록 구성되어 있다.
주변 환경 정보 취득부(40)는, GPS 수신기(41)와, 위치 정보 입력 인터페이스(42)와, 환경 정보 센서(43)와, 환경 정보 생성부(44)로 이루어진다.
GPS 수신기(41)는, 복수개의 인공 위성으로부터 수신한 전파로부터 해당 GPS 수신기(41)의 위치를 산출하는 측위 연산을 하고, 그 연산 결과를, 위치 정보 입력 인터페이스(42)에 보낸다. 이 예에서는, 위치 정보 입력 인터페이스(42)는, GPS 수신기(41)로부터의 측위 연산 결과를, 예를 들면 지명 등의 위치 정보로 변환하여, 시스템 버스(2)에 송출한다. 이 위치 정보는, 해당 기록이 행해진 장소를 나타내는 것으로 되는 것으로써, 주변 환경 정보의 일부로서, 음악 콘텐츠가 기록되었을 때에, 그 속성 정보의 일부로서 기록된다.
환경 정보 센서(43)는, 온도 센서나 습도 센서 외에, 계절이나 일시를 검지하는 시계부를 포함하고 있다. 환경 정보 생성부(44)는, 환경 정보 센서(43)로부터의 정보를 수취하여, 온도, 습도, 계절, 일시 등의 정보를 시스템 버스(2)에 송출한다. 이들 정보도, 주변 환경 정보의 일부로서, 음악 콘텐츠가 기록될 때에, 그 속성 정보의 일부로서 기록된다.
영상·음향 출력부(50)는, 음향 데이터 디코드부(51)와, 음향 어레인지부(52)와, 음향 출력부(53)와, 영상 데이터 디코드부(54)와, 영상 어레인지부(55)와, 영상 출력부(56)와, I/O 포트(57)로 이루어진다.
음향 데이터 디코드부(51)는, 음성 데이터가, 비압축 음성 신호인 PCM 음성 신호인 경우에는, 그대로 음향 어레인지부(52)를 통하여 음향 출력부(53)에 출력한다. 음악 데이터에, ATRAC(Adaptive Transform Acoustic Coding)나 AAC(Advanced Audio Coding) 등의 압축이 걸려 있는 경우에는, 음향 데이터 디코드부(51)는, 해당 압축을 해동(신장)하여, 디지털 음성 신호로 디코드한다. 음성 데이터가 MIDI(Music Instrument Digital Interface)인 경우에는, 음향 데이터 디코드부(51) 는, 해당 MIDI의 데이터로부터 디지털 음성 신호를 생성 디코드한다.
음향 어레인지부(52)는, I/O 포트(57)를 통하여 이에 공급되는 제어 신호에 따라서, 특수 효과(이펙트) 처리를 하거나, 다른 악곡 데이터를 혼합(리믹스)하거나 한다.
이 실시 형태에서는, 음향 어레인지부(52)에서 행하는 이펙트 처리로서는, 음향 데이터에, 예를 들면, 디스토션(Distortion)을 걸거나, 리버브(Reverb)를 걸거나 하는 처리가 이루어진다.
리믹스는, 일반적인 디스크 쟈키에서 행해지고 있는 방법으로, 임의의 소절이나 박자 단위로 음악성을 손상시키지 않도록, 재생 중인 악곡에 복수의 음악 소재를 믹스하여 가는 방법이다. 이것은, 미리 준비된 소절의 단락(악곡 소재 단위의 구획)이나 템포 정보, 코드 정보 등의 악곡 구성 정보를 이용하여, 음악 이론에 따라서, 재생 중인 악곡에 복수의 음악 소재를, 위화감 없이 믹스하여 가는 것이다.
리믹스의 경우에는, CPU(1)의 지시에 따라서, 재생 중인 악곡 이외의 다른 악곡으로부터 추출되는 리믹스할 음향 데이터가, 음향 데이터 디코드부(51)에 공급된다. 따라서, 이 실시 형태에서는, 음향 데이터 디코드부(51)는, 재생 중인 음향 데이터의 디코드 처리와, 리믹스할 음향 데이터를 디코드 처리를 병행하여 실행할 수 있는 기능을 갖추고 있다.
음향 어레인지부(52)의 출력은, 음향 출력부(53)에 공급된다. 음향 출력부(53)에서는, 이에 입력되는 디지털 음성 신호를 아날로그 음성 신호로 변환하고, 해당 변환한 아날로그 음성 신호를 출력 앰프((도시 생략))를 통하여 스피커나, 출력 단자를 통하여 헤드폰(도시 생략)에 공급하여, 음향 재생한다.
영상 데이터 디코드부(54)는, 이 실시 형태에서는, 음악 콘텐츠에 부수되는 압축 영상 데이터를 디코드(압축 해동(압축 신장))한다. 이 경우, 부수되는 압축 영상 데이터로서는, JPEG(Joint Photographic Experts Group) 등에 의해 압축된 정지 화상 데이터, MPEG(Moving Picture Experts Group)2, MPEG4 등에 의해 압축된 동화상 데이터 등이 있으며, 영상 데이터 디코드부(54)는, 이들 압축을 신장 디코드하는 기능을 갖춘 것이다.
이 영상 데이터 디코드부(54)에서 디코드된 영상 데이터는, 영상 어레인지부(55)에 공급된다. 이 영상 어레인지부(55)에서는, 영상 데이터에, 예를 들면 특수 효과(이펙트)가 실시된다. 이 특수 효과로서는, 기존의 기술을 이용하는 것으로, 이 실시 형태에서는, 상세한 것은 생략한다.
이 영상 어레인지부(55)의 출력 영상 데이터는, 영상 출력부(56)에 공급된다. 영상 출력부(56)는, 디지털 영상 데이터를 디지털 영상 신호의 또한, 혹은 필요에 따라서 아날로그 영상 신호로 변환하고, 영상 출력 단자를 통하여 디스플레이의 화면에 표시된다.
[속성 정보의 설명]
이 실시 형태에서는, 각 음악 콘텐츠의 속성 정보는, 다음에 설명하는 바와 같은 각종 정보가, 각 악곡에 대응하여 기록된다.
(1) 악곡 구성 정보
이 악곡 구성 정보는, 전술한 악곡 소재 단위의 구획 정보를 포함함과 함께, 악곡의 템포/키/코드/음량/박자의 정보, 악보의 정보, 코드 진행의 정보, 반복해서 리믹스하는 루프용의 음악 파형의 상승 정보 등을 포함한다. 템포의 정보로서는, 예를 들면 BPM(Beat Per Minutes)치가 이용된다.
이 악곡 구성 정보는, 악곡의 곡조를 나타내는 것이고, 음악 콘텐츠의 기록 재생 장치는, 이 악곡 구성 정보를 해석하여, 해당 악곡 구성 정보가 비슷한 악곡은, 곡조가 비슷하다고 판단할 수 있다. 따라서, 재생 중인 악곡에 대하여 리스너가 기호를 나타내고 있을 때에는, 이 악곡 구성 정보의 해석 결과에 기초하여, 다음의 재생 악곡 후보로서 재생 중인 악곡과 비슷한 곡조의 악곡을 선택할 수 있다.
또한, 리스너가 재생 중인 악곡에 대하여 기호를 나타내고 있지 않을 때에는, 예를 들면 과거의 재생 이력으로부터 리스너가 좋아한다고 생각되는 악곡을 검출하고, 그 악곡의 악곡 구성 정보를 조사하여, 그 악곡 구성 정보와 비슷한 악곡을 다음의 악곡 재생 후보로 함으로써, 재생 이력에 기초하여, 리스너가 좋아한다고 생각되는 악곡과 곡조가 비슷한 악곡을, 다음의 악곡 재생 후보로 할 수 있다.
또한, 이 악곡 구성 정보에 포함되는 악곡 소재 단위의 구획 정보나, 악곡의 템포 등이나, 코드 진행 등의 정보를 이용함으로써, 위화감이 없는 리믹스가 가능해진다.
이 경우, 음악 콘텐츠의 영상 음향 데이터와 속성 정보는, 정확히 대응하고 있게 되어 있다. 예를 들면, 악곡 구성 정보로서 속성 정보 내에 기술되어 있는, 악곡 소재 단위로서의 예를 들면 소절의 구획의 타임 코드 정보와, 실제의 영상 음 향 데이터의 소절의 구획의 타임 코드가 정확하게 일치하고 있도록 구성되어 있다.
따라서, 이 악곡 구성 정보에 의해, 재생 중인 악곡의 악곡 소재 단위의 구획, 예를 들면 소절이나 박자의 구절의 타이밍을 검출할 수 있음과 함께, 리믹스하고자 하는 다른 악곡의 악곡 소재 단위의 정보를, 재생 중인 악곡의 악곡 소재 단위의 구획에 동기하여 가산할 수 있어, 위화감이 없는 리믹스를 행할 수 있다.
(2) 이펙트 정보
이펙트 정보는, 악곡에 거는 특수 효과의 정보로서, 예를 들면 전술한 디스토션이나 리버브용의 이펙트 파라미터로 이루어진다. 이 경우, 이펙트 파라미터가 시간적으로 변화되는 경우에는, 그 시간 변화에 따라서 변화되는 파라미터 정보로 된다.
이 이펙트 정보는, 이 예의 음악 콘텐츠의 기록 재생 장치가, 미리, 고정적으로 복수 종을 구비하는 것을 이용할 수 있다. 그러나, 각 악곡마다 효과적인 추천 이펙트 정보가 있는 경우에는, 속성 정보의 일부로서 포함되는 것이다. 이 추천의 이펙트 정보는, 예를 들면, 음악 콘텐츠의 제작자에 의해 공급된다. 이펙트 정보는, 1 종류가 아니라, 복수 종류를 속성 정보로서 포함할 수 있다.
이 이펙트 정보도, 악곡 소재 단위에 대응한 시간 길이분으로서, 속성 정보에 포함시키면 된다.
(3) 악기 정보
악기 정보는, 해당 악곡에서 사용되고 있는 드럼, 기타 등의 악기의 정보이다.
예를 들면, 1 소절 분의 드럼이나 퍼커션의 연주 패턴을, 속성 정보로서 기록해 놓고, 그것을 루프 형상으로 반복 이용하도록 할 수도 있다. 또한, 리믹스용으로 이들 악기의 연주 패턴 정보를 이용할 수도 있다.
또한, 이들 1 소절 분의 드럼이나 퍼커션의 연주 패턴의 정보는, 속성 정보로서 기록하는 것이 아니라, 미리, 기록 재생 장치가 리믹스용 등을 위해, 복수 패턴을 구비해 두도록 하여도 된다.
(4) 연주자 정보
연주자 정보는, 해당 악곡의 연주자(가수를 포함함)의 이름(그룹명을 포함함), 성별, 연령, 그룹 편성 등, 연주자에 관한 정보이다.
(5) 감성 정보
감성 정보는, 해당 악곡을 청취한 리스너의 감각적 인식을 나타내는 것으로써, 예를 들면 밝은 곡/어두운 곡, 조용한 곡/격한 곡, 즐거운 곡/슬픈 곡 등을 정량화한 데이터이다. 이 감성 정보는, 예를 들면 도 2에 도시한 바와 같이, 밝다/어둡다, 온화하다/격하다, 즐겁다/슬프다 등의 각각을, 미리 감성축으로서 정의해 놓고, 각 감성축에 대하여 주관적인 감각적 인식의 정도를 수치화한 것을, 리스너에 의해 설정하게 하는 등의 방법으로 취득한다.
예를 들면, 밝다/어둡다의 감성축의 경우, 도 2에 도시한 바와 같이, 주관적인 감각적 인식의 정도를, 예를 들면, 16 단계의 수치로 나타낸다. 도 2의 예에서는, 밝다고 되는 경우일수록 수치가 크고, 가장 어둡다고 하는 경우의 수치로서 「0」이 할당되어 있다. 온화하다/격하다, 즐겁다/슬프다 등의 다른 감성축에 대해 서도 마찬가지로 할 수 있다. 감성축은, 이들 이외에도 설정하는 것이 가능하다.
도 2와 같이, 이들 감성축 상의 값이 설정되면, 이들 값을 선으로 연결함으로써, 곡조에 따른 형태의 도형(도 2에서는 삼각형의 형태가 곡조에 따라서 변화)이 얻어진다. 바꾸어 말하면, 이들 감성축을 이용함으로써, 비슷한 곡조의 악곡을 용이하게 검색할 수 있다.
이 경우에, 기록 매체에 음악 콘텐츠의 데이터에 대응하여 기록하는 속성 정보나 음악 콘텐츠 제공 서버로부터 제공하는 속성 정보의 경우에는, 예를 들면 수십명의 리스너에게 해당 악곡을 듣게 하여, 각 감성축에 관한 주관적인 감각적 인식 정도의 수치를 보고하게 해서, 예를 들면, 그 평균치를 각 감성축에 관한 감성 정보로 하도록 할 수 있다.
후술하는 바와 같이, 기록 재생 장치의 사용자가 리스너로서, 악곡을 청취하여, 이 감성 정보를 설정 입력하는 경우도 있다. 또한, 기록 매체에 기록되어 있던 속성 정보에 포함되는 감성 정보의 수치나, 음악 콘텐츠 제공 서버로부터 취득한 속성 정보에 포함되는 감성 정보의 통지가, 실제로 리스너가 악곡을 청취한 결과, 서로 다르다고 리스너가 느낀 경우에는, 기록 재생 장치의 음악 콘텐츠 기억부에 기억하는 속성 정보의 감성 정보로서는, 리스너 자신에 의해, 그 감성 정보의 값을 재기입할 수 있도록 구성되어 있다.
(6) 주변 환경 정보
이 주변 환경 정보는, DVD의 제작자나, 음악 콘텐츠 제공 서버로부터의 음악 콘텐츠의 제공자 등에 의해 설정 입력되는, 해당 악곡을 듣기에 추천할 만한 장소, 예를 들면 산, 바다 등의 지역 정보를 포함한다. 또한, 후술하는 바와 같이, 기록 재생 장치에서의 악곡의 기록 시에, 전술한 주변 환경 정보 취득부(40)에서 취득된 기록(녹음)된 장소, 일시, 계절, 온도, 습도 등의 정보로 되는 경우도 있다. 또한, 그 기록 시에, 리스너에 의해 설정 입력되는, 해당 악곡을 듣기에 추천할 만한 장소 등의 지역 정보를 포함한다.
(7) 재생 이력 정보
재생 이력 정보는, 리스너가, 어느 악곡을, 어느 정도의 빈도나 시간으로 청취하고 있는지의 정보로서, 이 실시 형태에서는, 전술한 바와 같이, 기록 재생 장치의 재생 이력 정보 유지부(15)에 기억되어 유지된다. 이 재생 이력 정보는, 음악 콘텐츠의 데이터를, 음악 콘텐츠 기억부(20)에 기억하는 기록 처리 시에 속성 정보에 포함시켜, 음악 콘텐츠 기억부(20)의 속성 정보 기억부(22)에, 속성 정보의 일부로서 저장된다.
또한, 재생 이력 정보는, 제작자에 의해 제작되는 DVD나, 서버로부터 취득하는 속성 정보에는 포함되어 있지 않다.
[제1 실시 형태의 기록 재생 장치에서의 기록 처리]
다음으로, 이 제1 실시 형태의 기록 재생 장치에서의 기록 처리에 대하여 설명한다. 이 실시 형태에서의 기록 처리의 양태에는, 몇 가지 있다.
그 하나는, DVD에 기록되어 있는 음악 콘텐츠의 데이터를 읽어들이고, 음악 콘텐츠 기억부(20)에 기입하여 기록하는 양태이다. 다른 하나는, 인터넷(5)을 통하여, 음악 콘텐츠 제공 서버 장치(6)로부터 음악 콘텐츠의 데이터를 다운로드한 것을 기록하는 양태이다. 또한, 다른 하나는, 도시를 생략했지만, 외부 입력 단자를 통하여, 다른 재생 기기 등으로부터 음악 콘텐츠의 데이터를 전송하고, 그것을 음악 콘텐츠 기억부(20)에 기록하는 양태이다.
이들 양태에 있어서, 음악 콘텐츠의 데이터에 속성 정보가 포함되어 있는 경우에는, 이 실시 형태의 기록 재생 장치는, 음악 콘텐츠에 관한 영상 음향 데이터 외에, 그 속성 정보도 읽어들여, 음악 콘텐츠 기억부(20)에 기입하도록 한다. 이 실시 형태의 기록 재생 장치에서는, 이 기록 시에, 유저가 속성 정보를 추가, 변경을 하고 싶은 경우에는, 그 추가, 변경을 할 수 있도록 구성되어 있다.
또한, 음악 콘텐츠의 데이터에는, 영상 음향 데이터밖에 없고, 속성 정보가 포함되어 있지 않는 경우에는, 이 실시 형태의 기록 재생 장치에서는, 기록 재생 장치에서 속성 정보를 생성(설정)하여, 음악 콘텐츠 기억부(20)의 속성 정보 기억부(22)에 기억하도록 한다.
즉, 곡조 분석부(13)에서 DVD나 다운로드한 음향 데이터를 해석하여, 악곡 구성 정보를 취득해서, 그것을 속성 정보의 일부로서 기록한다. 또한, 유저는, 자신이 해당 악곡을 실제로 청취한 주관적인 감각적 정도치의 감성 정보로서, 전술한 바와 같은 16 단계의 어느 하나의 수치를 입력한다. 그리고, 이 감성 정보를 속성 정보의 일부로서 기록한다.
또한, 주변 환경 정보 취득부(40)에서 취득한 주변 환경 정보도 속성 정보의 일부로서 기록한다.
나아가서는, 재생 이력 정보도 필요에 따라서 속성 정보로서 기록하도록 한 다.
또한, 이 실시 형태에서는, 인터넷(5) 상에, 음악 콘텐츠의 식별 정보에 대응하여 속성 정보를 저장하는 속성 정보 제공 서버 장치를 설치하고, 이 서버 장치에, 음악 콘텐츠의 식별 정보를 수반하는 다운로드 요구를 보내, 해당 음악 콘텐츠의 식별 정보에 대응하는 속성 정보의 제공을 받도록 하는 것도 상정하고 있다.
도 3 및 도 4는, 음악 콘텐츠 제공 서버 장치(6)로부터 음악 콘텐츠 및 속성 정보를 취득하는 경우에서의 기록 재생 장치와 음악 콘텐츠 제공 서버 장치(6)의 동작의 플로우차트이다.
또한, 여기에서는, 기록 재생 장치가 음악 콘텐츠 제공 서버 장치(6)로부터 음악 콘텐츠의 데이터와, 이에 부수되는 속성 정보의 제공을 받는 경우를 예로 하여 설명하지만, 기본적으로는, 서로 다른 복수 대의 기록 재생 장치간에서 속성 정보의 송수신을 행하는 경우에도, 거의 마찬가지의 처리로 된다.
도 3은, 음악 콘텐츠의 데이터와 이에 부수되는 속성 정보의 제공을 요구하는 기록 재생 장치의 처리를, 또한, 도 4는, 음악 콘텐츠의 데이터와 이에 부수되는 속성 정보를 제공하는 음악 콘텐츠 제공 서버 장치(6)의 처리를, 각각 설명하기 위한 플로우차트이다.
기록 재생 장치에 대하여, 음악 콘텐츠 데이터와 이에 대한 속성 정보의 제공의 요구를 행하기 위한 프로그램을 기동하는 소정의 조작이 행해지면, 기록 재생 장치의 CPU(1)는, 도 3에 도시하는 처리를 실행하고, 우선, 다운로드할 음악 콘텐츠의 선택 입력을 접수한다(스텝 S11).
그리고, 접수한 선택 입력에 기초하여, 다운로드를 요구하는 음악 콘텐츠의 식별자를 포함하는 음악 콘텐츠의 제공 요구를 생성하고, 이것을 통신 인터페이스(14), 인터넷(5)을 통하여, 음악 콘텐츠 제공 서버 장치(6)에 송신한다(스텝 S12).
한편, 음악 콘텐츠 제공 서버 장치(6)의 제어부(CPU)는, 상시, 도 4에 도시하는 처리를 실행하고 있고, 인터넷(5) 및 자장치가 구비하는 통신 인터페이스를 통하여, 기록 재생 장치로부터의 음악 콘텐츠의 제공 요구를 수신 대기하도록 하고(스텝 S21), 제공 요구를 수신하였는지의 여부를 판단한다(스텝 S22). 스텝 S22에서, 음악 콘텐츠의 제공 요구를 수신하지 않았다고 판단했을 때에는, 스텝 S21부터의 처리를 반복하고, 음악 콘텐츠의 제공 요구의 수신 대기로 된다.
스텝 S22의 판단 처리에서, 음악 콘텐츠 제공 서버 장치(6)의 제어부가, 기록 재생 장치로부터의 음악 콘텐츠의 제공 요구를 수신하였다고 판단했을 때에는, 음악 콘텐츠 제공 서버 장치(6)의 제어부는, 수신한 제공 요구에 포함되는 음악 콘텐츠의 식별자에 기초하여, 음악 콘텐츠 제공 서버 장치(6)에 기억되어 있는 음악 콘텐츠 중으로부터, 목적으로 하는 음악 콘텐츠의 데이터와 이에 대한 속성 정보를 검색한다(스텝 S23).
그리고, 음악 콘텐츠 제공 서버 장치(6)의 제어부는, 목적으로 하는 음악 콘텐츠의 데이터가 존재하는지의 여부를 판단하여(스텝 S24), 존재한다고 판단했을 때에는, 요구원의 기록 재생 장치에, 통신 인터페이스 및 인터넷(5)을 통하여 송신한다(스텝 S25). 그리고, 스텝 S21로 되돌아가, 이 스텝 S21부터의 처리를 반복한 다.
또한, 스텝 S24의 판단 처리에서, 목적으로 하는 음악 콘텐츠의 데이터가 존재하지 않는다고 판단했을 때에는, 음악 콘텐츠 제공 서버 장치(6)의 제어부는, 그 취지를 나타내는 응답 메시지를 생성하고, 요구원의 기록 재생 장치에 대하여, 통신 인터페이스 및 인터넷(5)을 통하여 회신한다(스텝 S26). 그리고, 스텝 S21로 되돌아가, 이 스텝 S21부터의 처리를 반복한다.
한편, 요구원의 기록 재생 장치는, 음악 콘텐츠 제공 서버 장치(6)로부터의 응답(회신)을 통신 인터페이스(14)를 통하여 수신하고(스텝 S13), 수신한 응답에 기초하여, 요구한 음악 콘텐츠의 데이터가 송신되어 왔는지 여부를 판단한다(스텝 S14). 이 스텝 S14의 판단 처리에서, 요구한 음악 콘텐츠의 데이터를 수신하였다고 판단했을 때에는, 그 수신한 음악 콘텐츠의 데이터와, 해당 음악 콘텐츠의 데이터에 부수되어 제공된 속성 정보를 음악 콘텐츠 기억부에 기록(저장)하고(스텝 S15), 이 도 3에 도시하는 처리를 종료한다.
또한, 스텝 S14의 판단 처리에서, 요구한 음악 콘텐츠의 데이터를 수신하지 않았다(대응하는 음악 콘텐츠의 데이터가 존재하지 않는다는 메시지를 수신했다)고 판단했을 때에는, 기록 재생 장치의 제어부는, 도 1에는 도시하지 않았지만, 자장치가 구비하는 LCD(Liquid Crystal Display) 등의 표시 소자나 LED(Dight Emitting Diode) 등의 발광 소자, 혹은, 버저나 알람 등을 이용하여, 목적으로 하는 음악 콘텐츠의 데이터가 존재하지 않았던 것을 기록 재생 장치의 유저에 대하여 통지하고(스텝 S16), 이 도 3에 도시하는 처리를 종료한다.
이상과 같이 해서, 이 실시 형태에서는, 기록 재생 장치는, 목적으로 하는 음악 콘텐츠의 데이터의 제공을 받을 때에, 이 음악 콘텐츠의 데이터에 부수되어 제공되는 속성 정보의 제공도 받을 수 있도록 되어 있다. 그리고, 제공을 받은 음악 콘텐츠의 데이터, 및, 해당 음악 콘텐츠의 데이터에 대한 속성 정보를 음악 콘텐츠 기억부(20)에 기억하여 재생 시에 이용할 수 있도록 된다.
또한, 음악 콘텐츠의 데이터에 속성 정보가 부수되어 있지 않을 때에는, 전술한 바와 같이, 곡조 분석부(13)에서 해석하여 얻어진 악곡 구성 정보나, 주변 환경 정보 취득부에서 취득된 주변 환경 정보 등으로부터 속성 정보가 구성되고, 그것이 음악 콘텐츠 기억부(20)에 음악 콘텐츠의 영상 음향 데이터와 대응지어져 기억된다.
또한, 기록 재생 장치의 음악 콘텐츠 기억부에는, 음악 콘텐츠의 악곡 데이터는, 이미 존재하고 있지만, 그 음악 콘텐츠의 속성 정보가 없을 때에는, 음악 콘텐츠의 식별 정보를 검색자로서, 음악 콘텐츠 제공 서버 장치(6)에 액세스하여, 그 속성 정보만을 다운로드하는 것도 가능하도록 되어 있다.
다음으로, 도 5는, 이 실시 형태의 기록 재생 장치의 음악 콘텐츠 기억부(20)의 일례로서의 하드디스크 장치의 개념적인 구성을 설명하기 위한 도면이다. 즉, 음악 콘텐츠 기억부(20)로서의 하드디스크 장치(20HD)는, 음악 콘텐츠의 영상 데이터나 음향 데이터 등의 영상 음향 데이터 Dt의 영역(23)과, 그 속성 정보 At의 영역(24)을 구비하고, 영역(23)은 영상 음향 데이터 기억부(21)를 구성하고, 영역(24)은 속성 정보 기억부(22)를 구성한다.
이 실시 형태에서는, 음악 콘텐츠 기억부(20)는, 하드디스크 장치에 의해 구성했지만, 리무버블(착탈 가능)의 기록 미디어로서의 DVD 등의 디스크 매체를 음악 콘텐츠 기억부로서 이용할 수도 있다. 도 6은, 그 경우에서의 음악 콘텐츠 기억부(20)의 다른 예로서의 디스크 매체(예를 들면 광 자기 디스크 등의 기록 재생 가능한 것)(20RD)의 일례를 설명하기 위한 도면이다.
이 도 6에 도시한 바와 같이, 음성 콘텐츠 데이터나 영상 콘텐츠 데이터 등의 콘텐츠 데이터(영상 음향 데이터) Dt가 광 디스크(20RD)의 데이터 저장 영역에 저장되어 있다. 그리고, 도 6에 도시한 바와 같이, 광 디스크(20RD)에는, 광 디스크에 통상 설치되는 리드 인 에리어, TOC(Table Of Contents) 에리어, 리드 아웃 에리어 이외에, 콘텐츠 속성 정보 At의 저장 에리어가 설치되고, 여기에 속성 정보가 저장되도록 되어 있다. 콘텐츠 데이터 Dt가, 복수의 악곡의 데이터를 포함하는 경우에는, 각각의 악곡에 관한 속성 정보가 기록된다. 이 경우, 콘텐츠 데이터 Dt와 속성 정보 At는, 전술한 바와 같이 음악 콘텐츠 식별 정보(음악 콘텐츠 ID)에 의해 대응지어져 있다.
또한, 광 디스크(20RD)는, 음악 콘텐츠의 제작자 등에 의해 음악 콘텐츠 데이터가 기록되어 시판되는 것 외에, 예를 들면, 일반 유저가, 퍼스널 컴퓨터 등을 이용하여, 인터넷으로 다운로드한 음악 콘텐츠를 기록하는 등으로 하여 작성하는 경우도 있다.
또한, 도 5, 도 6에 도시한 바와 같이, 기록 매체에 기록되는 속성 정보 At는, 기록 재생 장치에서 유저가 임의로 내용을 재기입하거나, 추가하거나, 삭제하 거나, 혹은, 기존의 속성 정보를 새로운 속성 정보에 치환하거나 하는 것도 가능하다. 예를 들면, 속성 정보 중에 악곡 소재 단위의 구획 정보를 추가하는 경우에는, 기록 재생 장치에서, 목적으로 하는 음악 콘텐츠 데이터를 자동 해석함으로써, 새로운 악곡 소재 단위의 구획 정보를 자동 생성하거나, 유저 인터페이스(11)를 통하여 유저로부터 입력된 구획 정보를 추가하거나 하는 것이 가능하다.
또한, 유저 인터페이스(11)를 통하여 유저로부터의 변경 지시 입력을 접수하여, 음악 콘텐츠 기억부(20)에 기록되어 있는 속성 정보를 변경하거나, 마찬가지로, 유저 인터페이스(11)를 통하여 유저로부터의 변경 지시 입력을 접수하여, 음악 콘텐츠 기억부(20)에 기록되어 있는 속성 정보를 삭제하거나, 또한, 이미 기록되어 있는 속성 정보를, 전술한 바와 같이 새롭게 생성하거나, 입력하거나 한 속성 정보에 의해 치환하거나 하는 것도 가능하게 된다.
또한, 새로운 속성 정보를, 인터넷(5)과 통신 인터페이스(14)를 통하여 제공을 받거나, 혹은, USB(Universal Serial Bus) 인터페이스 등의 디지털 인터페이스에 접속되는 다른 기록 재생 장치 등의 외부 기기로부터 제공을 받거나, 또한, 무선 인터페이스와 송수신 안테나를 통하여 무선 LAＮ 경유로 제공을 받거나 하여, 이것을 추가나 치환에 이용하는 것도 가능하다.
물론, 전술한 어떠한 경우에 있어서도, 음악 콘텐츠의 식별자에 의해, 음악 콘텐츠 데이터와 속성 정보는 반드시 대응하도록 되고, 어느 속성 정보가 어느 음악 콘텐츠 데이터에 부수되는 것인지는 명확하게 된다.
그리고, 이상과 같이, 음악 콘텐츠에는, 속성 정보를 부수시키도록 함으로 써, 음악 콘텐츠의 데이터의 유통에 수반하여, 그 속성 정보도 유통시켜, 음악 콘텐츠 데이터의 이용에 맞추어, 그 속성 정보를 유효하게 활용하고, 새로운 이용 양태로 음악 콘텐츠 데이터를 이용할 수 있게 할 수 있다.
또한, 광 디스크 드라이브(16)에서 읽어들이기를 행하는 광 디스크(7)가, 음악 콘텐츠 데이터로서 속성 정보를 부수하고 있는 경우에는, 도 6에 도시한 광 디스크(20RD)와 마찬가지의 구성을 구비하는 것이다.
다음으로, 도 1의 실시 형태의 기록 재생 장치에서의 기록 처리 동작의 일례를, 도면을 참조하여 설명한다. 도 7은, 이 실시 형태의 기록 재생 장치 중 기록 처리 부분을 기능적으로 추출하여 도시한 블록도이다. 또한, 도 8 및 도 9는, 그 기록 처리 동작의 일례를 설명하기 위한 플로우차트이다.
도 7에 도시한 바와 같이, 기록 재생 장치는, 기록의 기능적으로는, 2개의 요소로 구성된다.
하나는, 복수개의 음악 콘텐츠가 기억 유지되어 있는 음악 콘텐츠 기억부(20)이고, 또 하나는 음악 콘텐츠의 기록을 하는 기록부(100)이다. 음악 콘텐츠 기억부(20)에 대해서는, 전술한 그대로이므로, 여기에서는, 설명을 생략한다. 기록부(100)는, 음악 콘텐츠 데이터 및 속성 정보의 기록 처리를 행하는 부분이다. 이하, 이 기록부(100)의 구성에 대하여 설명한다.
기록부(100)는, 이 예에서는, 입력된 음악 콘텐츠의 데이터(영상 음향 데이터)와, 속성 정보를 대응지어서 음악 콘텐츠 기억부(20)에 기억한다. 이 경우에, 음악 콘텐츠에 대응하는 속성 정보가 입력되는 경우에는, 그것을 그대로, 혹은, 일 부변경하거나, 추가하거나 하여, 음악 콘텐츠 기억부(20)의 속성 정보 기억부(22)에 기억하도록 한다.
그러나, 속성 정보가 음악 콘텐츠에 부수되어 있지 않은 경우에는, 기록부(100)에서는, 속성 정보를 생성하여, 음악 콘텐츠의 데이터에 부여해서, 음악 콘텐츠 기억부(20)의 속성 정보 기억부(22)에 저장하도록 하는 기능을 갖춘다.
이 실시 형태에서는, 음악 콘텐츠의 데이터에 대한 속성 정보의 부여 방법으로서는, 최종적으로는 부여하는 유저가 주관적인 판단에 의해 부여를 행하도록 한다. 다만, 속성 정보의 일부의 정보는, 기록 재생 장치가 자동적으로 실제의 영상 음향 데이터로부터 계산하여 부여할 수도 있다. 즉, 속성 정보의 일부인 악곡 구성 정보의 템포 정보나, 기록 재생 장치의 존재하는 장소나 주변 환경 정보 등은, 자동적으로 산출하여, 자동적으로 부가할 수도 있다. 그러나, 이 예에서는, 기록 재생 장치는, 어디까지나 악곡 구성 정보나 주변 환경 정보를 취득할 뿐이며, 최종적으로, 음악 콘텐츠에 부여하는 속성 정보에 대하여, 그것이 최적인지 여부는 유저가 결정하도록 하고 있다.
기록부(100)는, 도 7에 도시한 바와 같이, 전술한 유저 인터페이스(11)와, 곡조 분석부(13)와, 재생 이력 정보 유지부(15)와, 주변 환경 정보 취득부(40)를 포함하는 것 외에, 기능적인 처리부로서, 음악 콘텐츠 기록 지시 제어부(101)와, 음악 콘텐츠 데이터 유지부(102)와, 영상 음향 데이터 기록 설정부(103)와, 속성 정보 기록 설정부(104)와, 인코드부(105)와, 악곡 구성 정보 취득부(106)를 구비한다.
음악 콘텐츠 기록 지시 제어부(101)는, 유저 인터페이스(11)를 통한 유저 지시에 따라서, 음악 콘텐츠의 기록 지시 제어를 행하는 부분으로서, CPU(1)가, ROM(3)에 기억되어 있는 기록을 위한 프로그램에 기초하여, RAM(4)을 워크 에리어로서 이용하여 실행하는 부분에 상당한다.
음악 콘텐츠 데이터 유지부(102)는, 이제부터 기록할 음악 콘텐츠의 영상 음향 데이터나, 부수되는 속성 정보도 있으며, 해당 속성 정보를 보유하는 부분이다.
이것은, 기록하고자 하는 음악 콘텐츠의 소스가 광 디스크 드라이브(16)에서 읽어들여지는 광 디스크(7)인 경우에는, 해당 광 디스크(7) 및 광 디스크 드라이브(16)의 부분에 상당한다.
또한, 기록하고자 하는 음악 콘텐츠의 소스가, 인터넷(5)을 통한 음악 콘텐츠 제공 서버 장치(6)인 경우에는, 통신 인터페이스(14)를 통하여 받아들인 음악 콘텐츠 데이터를 일시적으로 저장하는 버퍼 메모리 등이, 음악 콘텐츠 데이터 유지부(102)에 상당한다.
인코드부(105)는, 인코드/디코드부(12)의 인코드 부분만의 기능을 추출한 것에 상당한다.
영상 음향 데이터 기록 설정부(103)는, 인코드부(105)에 보내주는 영상 음향 데이터를 유지하는 것으로써, RAM(4)의 일부의 에리어가 이용된다.
속성 정보 기록 설정부(104)는, 인코더 회로에 보내주는 속성 정보의 데이터를 유지하는 것으로써, 이것도 RAM(4)의 일부의 에리어가 이용된다.
악곡 구성 정보 취득부(106)는, 음악 콘텐츠 데이터에 속성 정보가 부수되어 있지 않은 경우에, 기록하고자 하는 음악 콘텐츠에 대응하는 속성 정보를 취득하는 기능부이다. 이것은, 예를 들면, 전술한 바와 같이, 인터넷을 통하여, 속성 정보 제공 서버 장치에 음악 콘텐츠 ID를 검색자로서 액세스하여, 해당 음악 콘텐츠 ID에 대응하는 속성 정보를 취득하는 기능부나, 다른 기록 재생 장치 등으로부터, 해당 음악 콘텐츠에 대응하는 속성 정보를 취득하는 기능부 등으로 구성된다.
다음으로, 도 8 및 도 9의 플로우차트를 참조하면서, 기록 처리 동작에 대하여 설명한다. 또한, 이 도 8 및 도 9의 각 처리 스텝은, CPU(1)가 ROM(3)의 프로그램에 따라서, RAM(4)을 워크 에리어로서 이용하여 실행하는 것이다.
기록에 앞서, 유저는, 음악 콘텐츠로서 기록하고 싶은 악곡의 데이터를 준비하고, 음악 콘텐츠 데이터 유지부(102)에 보존해 둔다. 속성 정보가 부수되어 있는 경우에는, 음악 콘텐츠 데이터 유지부(102)에는, 해당 음악 콘텐츠로서의 악곡의 속성 정보도 보존된다. 음악 콘텐츠 데이터 유지부(102)는, 속성 정보가 해당 기록하고 싶은 악곡에 부수되어 있는지의 여부를, 음악 콘텐츠 기록 지시 제어부(101)에 보고한다. 이에 의해, 음악 콘텐츠 기록 지시 제어부(101)는, 기록할 음악 콘텐츠에 속성 정보가 부수되어 있는지의 여부를 미리 인식하고 있다.
다음으로, 유저가, 유저 인터페이스(11)의 조작부를 통하여 기록 지시를 하면, 음악 콘텐츠 기록 지시 제어부(101)는, 지정된 악곡의 기록 지시를 인식한다( 도 8의 스텝 S31). 음악 콘텐츠 기록 지시 제어부(101)는, 이 기록 지시를 인식하면, 지정된 악곡에는, 속성 정보가 부수되어 있는지의 여부를 판별하여(스텝 S32), 속성 정보가 부수되어 있다고 판별했을 때에는, 속성 정보 기록 설정부(104)에, 음 악 콘텐츠에 부수되는 속성 정보를 기록하도록 하는 기록 지시를 보낸다(스텝 S33).
음악 콘텐츠 기록 지시 제어부(101)는, 또한, 음악 콘텐츠 데이터 유지부(102)에, 유지하고 있는 기록 대상의 음악 콘텐츠의 영상 음향 데이터를 영상 음향 데이터 기록 설정부(103)에 송출하도록 함과 함께, 대응하는 속성 정보를 속성 정보 기록 설정부(104)에 송출하도록 지시한다(스텝 S34). 이 지시를 받은 음악 콘텐츠 데이터 유지부(102)는, 기록 대상의 음악 콘텐츠의 영상 음향 데이터를, 그 음악 콘텐츠 ID와 함께 영상 음향 데이터 기록 설정부(103)에 보냄과 함께, 대응하는 속성 정보를, 그 음악 콘텐츠 ID와 함께 속성 정보 기록 설정부(104)에 보낸다.
속성 정보 기록 설정부(104)는, 음악 콘텐츠 데이터 유지부(102)로부터의 속성 정보(음악 콘텐츠 ID를 포함함)를 수취하면, 기록할 속성 정보의 가 리스트를 작성하고(스텝 S35), 해당 작성한 속성 정보의 가 리스트를, 예를 들면 유저 인터페이스(11)의 디스플레이에 표시하는 등으로 하여, 유저에게 제시한다(스텝 S36).
이 기록할 속성 정보의 가 리스트의 제시를 받은 유저는, 속성 정보에 대하여 수정이나 추가가 필요하다고 판단했을 때에는, 유저 인터페이스(11)의 조작부를 통하여 소정의 조작을 행하고, 그대로의 속성 정보이면 된다고 했을 때에는, 유저 인터페이스(11)의 결정 키 등을 조작하여, 그 취지를 입력한다.
음악 콘텐츠 기록 지시 제어부(101)는, 유저로부터 속성 정보에 대한 수정 지시나 추가 지시가 있었는지 여부를 판별하여(스텝 S37), 수정 지시나 추가 지시가 있었다고 판별했을 때에는, 그 취지를 속성 정보 기록 설정부(104)에 전한다. 이 수정 지시나 추가 지시를 받은 속성 정보 기록 설정부(104)는, 유저 인터페이스(11)를 통한 수정 지시 내용이나 추가 지시 내용에 따라서, 속성 정보의 수정이나 추가를 행한다(스텝 S38).
속성 정보의 수정이나 추가 후, 혹은, 속성 정보의 수정이나 추가 없음에, 유저가 해당 속성 정보에 대하여 OK라고 하는 의미에서 결정 키를 조작하면, 음악 콘텐츠 기록 지시 제어부(101)는, 그 유저의 속성 정보에 대한 결정 입력을 검지하여(스텝 S39), 인코드부(105)에, 영상 음향 데이터 기록 설정부(103)로부터의 영상 음향 데이터와, 속성 정보 기록 설정부(104)로부터의 속성 정보를 수취하도록 지시함과 함께, 수취한 정보를 인코드하도록 지시한다. 인코드부(105)는, 이 지시를 받으면, 영상 음향 데이터와 속성 정보를 수취하여, 음악 콘텐츠 기억부(20)에 기억하기 위한 인코드 처리를 실행한다(스텝 S40).
그리고, 인코드부(105)는, 인코드한 영상 음향 데이터를, 영상 음향 데이터 기억부(21)에 기입함과 함께, 인코드한 속성 정보를, 속성 정보 기억부(22)에 기입한다(스텝 S41). 이상으로, 기록 처리는 종료로 된다.
한편, 스텝 S32에서, 속성 정보가 음악 콘텐츠에 부수되어 있지는 않다고 판별했을 때에는, 음악 콘텐츠 기록 지시 제어부(101)는, 속성 정보 기록 설정부(104)에, 음악 콘텐츠의 속성 정보를 자장치에서 생성하여 기록하도록 하는 지시를 보낸다(도 9의 스텝 S51).
음악 콘텐츠 기록 지시 제어부(101)는, 또한, 음악 콘텐츠 데이터 유지부(102)에, 유지하고 있는 기록 대상의 음악 콘텐츠의 영상 음향 데이터를 영상 음 향 데이터 기록 설정부(103)와, 곡조 분석부(13)에 송출하도록 지시한다(스텝 S52). 이 지시를 받은 음악 콘텐츠 데이터 유지부(102)는, 기록 대상의 음악 콘텐츠의 영상 음향 데이터를 그 음악 콘텐츠 ID와 함께 영상 음향 데이터 기록 설정부(103)에 보냄과 함께, 해당 음악 콘텐츠의 음향 데이터를 곡조 분석부(13)에 송출한다.
음악 콘텐츠 데이터 유지부(102)로부터의 음향 데이터를 수취한 곡조 분석부(13)는, 그 음향 데이터를 분석하여, 악곡 소재 단위의 템포, 키, 코드 등의 악곡 구성 정보를 추출한다(스텝 S53).
속성 정보 기록 설정부(104)는, 음악 콘텐츠 기록 지시 제어부(101)로부터의 자 장치에서 속성 정보를 생성한다는 취지의 지시를 수취하면, 지정된 악곡에 관한 재생 이력이 재생 이력 정보 유지부(15)에 유지되어 있는지의 여부를 판별하여, 유지되어 있으면, 그 재생 이력을 속성 정보의 일부로 하기 위해서 취득한다(스텝 S54). 또한, 재생 이력 정보가 없으면, 속성 정보로서의 재생 이력 정보는 없는 것을 의미하는 「null」로 된다.
또한, 속성 정보 기록 설정부(104)는, 기록 대상의 악곡을 청취한 유저로부터 유저 인터페이스(11)를 통하여 입력되는 해당 악곡에 관한 밝다/어둡다, 격하다/온화하다, 즐겁다/슬프다 등의 감성 정보의 수치 입력(예를 들면 전술의 16 단계의 수치)을 접수하여, 속성 정보의 일부로 한다(스텝 S55).
또한, 속성 정보 기록 설정부(104)는, 곡조 분석부(13)에서 분석되어 추출된 악곡 구성 정보를, 곡조 분석부(13)로부터 취득하고, 속성 정보의 일부로 한다(스 텝 S56). 그리고 또한, 속성 정보 기록 설정부(104)는, 주변 환경 정보 취득부(40)로부터 주변 환경 정보를 취득하여, 해당 주변 환경 정보를 속성 정보의 일부로 한다(스텝 S57).
다음으로, 속성 정보 기록 설정부(104)는, 스텝 S54∼스텝 S57에서 취득한 정보에 기초하여, 기록할 속성 정보의 가 리스트를 작성하고(스텝 S58), 해당 작성한 속성 정보의 가 리스트를, 예를 들면 유저 인터페이스(11)의 디스플레이에 표시하는 등으로 하여, 유저에게 제시한다(스텝 S36).
기록할 속성 정보의 가 리스트의 제시를 받은 유저는, 속성 정보에 대하여 수정이나 추가가 필요하다고 판단했을 때에는, 유저 인터페이스(11)의 조작부를 통하여 소정의 조작을 행하고, 그대로의 속성 정보로 좋다고 했을 때에는, 유저 인터페이스(11)의 결정 키 등을 조작하여, 그 취지를 입력한다.
음악 콘텐츠 기록 지시 제어부(101)는, 유저로부터 속성 정보에 대한 수정 지시나 추가 지시가 있었는지 여부를 판별하여(스텝 S37), 수정 지시나 추가 지시가 있었다고 판별했을 때에는, 그 취지를 속성 정보 기록 설정부(104)에 전한다. 이 수정 지시나 추가 지시를 받은 속성 정보 기록 설정부(104)는, 유저 인터페이스(11)를 통한 수정 지시 내용이나 추가 지시 내용에 따라서, 속성 정보의 수정이나 추가를 행한다(스텝 S38).
속성 정보의 수정이나 추가 후, 혹은, 속성 정보의 수정이나 추가 없음에, 유저가 해당 속성 정보에 대하여 OK라고 말하는 의미에서 결정 키를 조작하면, 음악 콘텐츠 기록 지시 제어부(101)는, 그 유저의 속성 정보에 대한 결정 입력을 검 지하고(스텝 S39), 인코드부(105)에, 영상 음향 데이터 기록 설정부(103)로부터의 영상 음향 데이터와, 속성 정보 기록 설정부(104)로부터의 속성 정보를 수취하도록 지시함과 함께, 수취한 정보를 인코드하도록 지시한다. 인코드부(105)는, 이 지시를 받으면, 영상 음향 데이터와 속성 정보를 수취하여, 음악 콘텐츠 기억부(20)에 기억하기 위한 인코드 처리를 실행한다(스텝 S40).
그리고, 인코드부(105)는, 인코드한 영상 음향 데이터를, 영상 음향 데이터 기억부(21)에 기입함과 함께, 인코드한 속성 정보를, 속성 정보 기억부(22)에 기입한다(스텝 S41). 이상으로, 기록 처리는 종료로 된다.
또한, 이상의 실시 형태에서는, 속성 정보의 악곡 구성 정보가 음악 콘텐츠에 부수되어 있지 않을 때에는, 곡조 분석부(13)에서 악곡 구성 정보를 추출하도록 했지만, 미리 악곡의 곡조가 보면 정보나 제작자의 정보에 의해 알고 있는 경우에는, 곡조 분석할 필요는 없고, 유저가 이 보면 정보에 기초한 템포, 키, 코드 등의 악곡 구성 정보를 속성 정보로서 입력할 수도 있다.
또한, 인터넷(5) 등의 네트워크를 통하여 악곡 구성 정보가 취득 가능한 경우에는, 속성 정보 기록 설정부(104)는, 악곡 구성 정보 취득부(106)를 통하여 악곡 구성 정보를 취득하여, 속성 정보의 일부로 하도록 할 수도 있다.
이 실시 형태의 기록 재생 장치에서는, 악곡의 재생을 반복하면, 재생 이력 정보 유지부(15)에, 과거의 유저의 재생 이력 정보가 축적되어 온다. 자주 듣는 곡은 리스너의 기호도가 높고, 반대로 재생 시간이 짧은 곡은 리스너의 기호도가 낮은 경우가 많다. 따라서, 이 악곡마다의 재생 빈도·재생 시간 정보가 갱신될 때마다, 각 악곡의 음악 콘텐츠의 속성 에리어에 추기해 간다.
또한, 속성 정보로 되어, 음악 콘텐츠 기억부(20)의 속성 정보 기억부(22)에 기억된 재생 이력 정보는, 음악 콘텐츠의 기록 시뿐만 아니라, 대응하는 악곡이 재생되고, 재생 이력 정보 유지부(15)의 재생 이력이 갱신될 때에, 동시에, 속성 정보 기억부(22)가 대응하는 악곡의 속성 정보의 재생 이력 정보도 갱신되도록 되어 있다.
자주 듣는 곡은 리스너의 기호도가 높고, 반대로 재생 시간이 짧은 곡은 리스너의 기호도가 낮은 경우가 많으므로, 이 재생 이력 정보를 참조함으로써, 리스너가 기호하는 악곡을 검지할 수 있음과 함께, 그 기호도의 높은 악곡의 곡조는, 리스너의 기호도가 높은 곡조라고 판정할 수 있다. 따라서, 이 악곡마다의 재생 빈도나 재생 시간 정보가 갱신될 때마다, 각 악곡의 속성 정보 기억부의 재생 이력 정보를 추기해 놓는 것에 의해, 이 속성 정보의 재생 이력 정보 및 악곡 구성 정보를 참조함으로써, 리스너에게 사랑받고 있는 악곡 및 그 곡조를 판정하여, 재생 시의 악곡의 재구성에 이용할 수 있다.
[제1 실시 형태의 기록 재생 장치에서의 재생 처리]
다음으로, 제1 실시 형태의 기록 재생 장치에서의 재생 처리에 대하여 설명한다. 이 실시 형태에서는, 재생 처리의 포인트로서는 2가지 있다.
하나는, 재생 스타터 조작을 하는 것만으로, 유저가 좋아할 악곡을 순차적으로 장치가 선택하여, 유저에게 제시하는 기능을 장치가 구비하는 점이다. 이 경우, 유저는, 최초의 곡을 선택하고, 연속 재생 스타터 조작을 유저 인터페이스(11) 의 조작부를 통하여 입력한다. 그렇게 하면, 이 실시 형태의 기록 재생 장치는, 그 최초로 선택된 악곡에 유저가 기호를 나타내고 있는지 여부를, 유저(리스너)로부터 취득한 생체 정보에 기초하여 판별하여, 기호를 나타내고 있으면, 최초로 선택된 악곡과 곡조가 비슷한 악곡을 다음의 악곡 재생 후보로 한다.
이 경우에 있어서, 악곡 청취자인 유저(리스너)의 생체 정보를 취득하여, 예를 들면, 음악을 타고 있을 때의 머리부나 발 등의 몸의 움직임이나 맥박 등으로부터, 그 때마다의 리스너의 기호도를 판정하도록 한다.
리스너가 청취 중인 악곡에 기호를 나타내고 있지 않다고 판별했을 때에는, 예를 들면 재생 이력 정보 유지부(15)에 유지되어 있는 재생 이력 정보에 기초하여, 리스너가 좋아한다고 생각되는 악곡을 선택하여, 해당 선택된 악곡과 곡조가 비슷한 악곡을 다음의 악곡 재생 후보로 한다. 혹은, 리스너의 주변 환경 정보를 취득하고, 해당 취득한 주변 환경 정보에 합치하는 악곡을, 속성 정보를 참조함으로써 검색하고, 검색 결과의 악곡 및 해당 악곡과 비슷한 곡조의 악곡을 다음의 악곡 재생 후보로 하도록 한다.
그리고, 2번째 이후의 악곡의 청취하고 있을 때에도, 리스너로부터 취득한 생체 정보에 기초하여, 해당 청취 중인 악곡에 기호를 나타내고 있는지를 항상 판정하여, 전술과 마찬가지의 처리를 행하고, 다음의 악곡 재생 후보를 갱신해 가도록 한다. 이에 의해, 이 실시 형태에 따르면, 리얼 타임으로, 다음의 악곡 재생 후보를 갱신하면서 유저에게 제시할 수 있다고 하는 효과가 있다.
종래의 악곡 재생 장치에서는, 예를 들면 수 백곡 이상의 악곡 데이터를 내 장 기억부에 기억하고 있을 때에, 자동 재생 모드에서는, 앨범 단위나, 기록된 순서, 난수에 의한 랜덤한 순서에서의 재생이 행해지고 있지만, 특히 유저(리스너)의 기호를 고려하여, 재생 순서가 결정되는 것은 없다.
또한, 소위 플레이 리스트(재생 악곡 후보의 리스트)를 유저측에서 작성하고, 그 순서로 재생한다고 하는 예도 있지만, 이 방법의 경우에는, 유저측에서, 일일이 플레이 리스트를 작성할 필요가 있고, 시간이 걸리는 것이다. 또한, 내장 기억부에 보존되는 악곡이 증가할 때마다, 해당 플레이 리스트를 고칠 필요가 있다고 하는 문제가 있었다. 그리고, 이 방법도, 유저의 기호를 적극적으로 고려하고 있는 것은 아니라고 하는 문제가 있었다.
이에 대하여, 이 실시 형태에서는, 재생 장치측이 과거의 유저의 재생 이력 정보나 유저로부터 리얼 타임으로 입력되는 생체 정보 등, 나아가서는, 재생 장치가 존재하는 지리적인 정보 등으로부터, 현재 재생되고 있는 악곡의 속성 정보와 대조하여 기호도의 예측을 행하고, 그 자리의 유저의 상태에 있어서 가장 듣고 싶다고 생각되는 악곡을 제공하는 것이다.
즉, 음악 콘텐츠의 재생 방법에 관하여, 악곡의 속성 정보와, 리스너의 생체 정보나, 재생 이력 정보, 주변 환경 정보를 이용하여, 그 때마다의 리스너의 기호에 최적이라고 생각되는 악곡의 후보를 동적으로 선택하고, 그것을 재생 제시하도록 하는 것이다.
예를 들면, 과거에 자주 들었던 악곡의 코드 진행이나 템포에 가까운 악곡을, 속성 정보 기억부(22)에 기억되어 있는 다수의 악곡의 속성 정보로부터 탐색하 여, 그것을 재생하거나, 현재 듣고 있는 악곡에서 리스너가 릴랙스하고 있다고 생각되는 생체 정보를 취득할 수 있던 경우에는, 그 구성에 가까운 악곡을, 상기 속성 정보로부터 탐색하여, 그것을 재생하거나 하는 것이다. 즉, 이 실시 형태에서는, 악곡의 속성 정보를 이용하여 리스너의 기호에 맞는 악곡을 동적으로 제시하는 것이다.
또한, 전술한 바와 같이, 이 실시 형태에서는, 속성 정보로서, 리스너가 어떻게 느끼는지의 악곡의 감성 정보(예를 들면 어두운/밝은 곡), 유저가 몇 회 이 악곡을 재생했는지 등의 재생 이력 정보나 연주자나 악기에 관한 정보, 어디에서 녹음된 것인가·어디에서 들으면 좋은지의 지리 정보 등의 주변 환경 정보 등도 기록되어 있다. 이들 정보를, 필요에 따라서 재생측에서 이용함으로써, 다수의 음악 콘텐츠 중으로부터, 보다 유저의 기호에 맞는 것을 추출할 수 있다.
이 실시 형태의 기록 재생 장치에서의 두 번째의 재생 처리의 포인트는, 청취 중인 악곡에 대하여, 그 속성 정보 중의 특히 악곡 구성 정보에 기초하여, 악곡 소재 단위로, 템포나 키(음정)를 바꾸거나, 리믹스하거나, 이펙트를 걸거나 하여, 악곡을 재구성하도록 하는 기능을 갖추는 점이다.
즉, 리스너의 그 때의 기분에 따라서, 디스크 쟈키와 같이 리믹스하는 등으로 하여 복수 곡을 동시에 재생하거나, 혹은 악곡 그 자체의 템포나 키 등의 곡조를 변경하거나 하여, 청취 중인 악곡을 동적으로 재구성하는 것이다. 이 동적인 재구성을 위해서, 이 실시 형태에서는, 악곡 데이터에, 전술과 같은 속성 정보, 특히 악곡 구성 정보를 부수시켜, 리스너가 놓인 분위기에 맞도록 악곡을 동적으로 재구성하면서 재생·합성하는 것이다. 재구성은, 어디까지나 리스너가 보다 즐거워지도록, 재생되는 악곡에 변화를 부여하는 것이며, 새로운 악곡의 즐기는 방법을 리스너에게 제안하는 것이다.
전술한 바와 같은 속성 정보는, 음악성을 손상하지 않고 악곡을 재구성 재생할 수 있도록 하는 것을 목적으로 한 것이다. 일반적으로, 음악(악곡)은, 소절, 박자 등으로 구획되어 있고, 또한, 이들 구획마다 코드가 정해져 있으므로, 음악 이론에 따르면, 예를 들면 소절마다 별도의 음악 소재를 조합하여 가더라도 음악성을 손상시키지 않고 곡조를 변경할 수 있다. 이것은, 일반적으로, 디스크 쟈키 등에서 행해지고 있는 리믹스라고 불리는 방법이다.
이상을 고려하여, 이 실시 형태에서는, 전술한 바와 같이, 특히 악곡을 재구성하는 것에 필요한 악곡의 구성 정보를, 해당 음악 콘텐츠의 영상 음향 데이터에 미리 부대시켜 속성 정보로서 기록해 두는 것이다. 여기에서, 악곡을 재구성하기 위해서 필요한 악곡의 구성 정보는, 전술한, 템포, 키, 코드, 음량, 박자 등의 악곡 소재 단위의 악곡 구성 정보이다.
또한, 속성 정보는, 항상 음악 콘텐츠의 영상 음향 데이터에 부대시켜 놓을 필요는 없으며, 예를 들면 필요할 때에만, 음악 콘텐츠의 식별 정보에 기초하여, 다른 저장 장소에 저장되어 있는 속성 정보를 읽어내거나, 네트워크를 통하여 해당 속성 정보의 서버 장치 등으로부터 취득하거나 하여도 된다.
이 실시 형태에서는, 악곡 구성 정보를 이용하여, 마구 재구성하는 것은 아니다. 예를 들면, 리스너로부터의 생체 정보를 재생 장치에 피드백하여, 리스너의 시청 상태를 동적으로 파악하고, 또한, 기록 재생 장치가 놓여 있는(존재하는) 장소의 주변 환경 정보를 동적으로 파악하여, 그 자리에 알맞은 악곡을 그 속성 정보로부터 재합성하여, 리스너에게 제공하는 것이다.
이하에 설명하는 바와 같이, 이 제1 실시 형태에서는, 리스너가 기호를 나타내고 있을 때에만 악곡을 재구성하도록 하여, 보다 리스너가 좋아하도록 하고 있다. 그러나, 리스너가 기호를 나타내고 있지 않을 때에도, 악곡을 재구성하여, 리스너에게 재구성 후의 악곡을 제시함으로써, 리스너에게 기호를 환기시키도록 해도 물론 좋다.
이 청취 중인 악곡의 재구성 시에도, 리스너의 생체 정보를 재생 장치에 피드백하거나, 재생 이력 정보를 참조하거나, 주변 환경 정보를 참조하거나 하여, 재구성을 위해서 리믹스할 악곡을 선택하거나, 이펙트를 선택하거나 하도록 해도 물론 좋다. 나아가서는, 속성 정보 중에 추천 이펙트 정보가 있으면, 그것을 사용하는 것도 물론 가능하다.
다음으로, 이상의 재생 처리의 상세 처리 동작예를, 도면을 참조하여 설명한다. 도 10은, 이 제1 실시 형태의 기록 재생 장치 중 재생 처리 부분을 기능적으로 추출하여 도시한 블록도이다. 또한, 도 11∼도 18은, 악곡의 재구성 처리를 설명하기 위한 도면이다. 또한, 도 19∼도 22는, 그 재생 처리 동작의 일례를 설명하기 위한 플로우차트이다.
도 10에 도시한 바와 같이, 이 제1 실시 형태의 기록 재생 장치의 재생 처리부도, 전술한 기록 처리부와 마찬가지로, 2개의 구성 요소로 이루어진다. 하나는, 복수개의 음악 콘텐츠가 기록 유지되어 있는 음악 콘텐츠 기억부(20)이고, 또 하나는, 음악 콘텐츠의 재생을 행하는 재생부(200)이다. 음악 콘텐츠 기억부(20)는, 전술한 대로이므로, 여기에서는, 재생부(200)에 대하여 설명한다.
재생부(200)는, 도 10에 도시한 바와 같이, 유저 인터페이스(11)와, 재생 이력 정보 유지부(15)와, 생체 정보 취득부(30)와, 주변 환경 정보 취득부(40)와, 음향 출력부(53)와, 영상 출력부(56)를 포함함과 함께, ROM(3)에 기억되어 있는 프로그램에 따라서 CPU(1)에 의한 처리에 의해 실현되는 기능적인 처리부로서, 영상 음향 데이터 선택 판단 제어부(201)와, 디코드부(202)와, 속성 정보 취득부(203)와, 영상 음향 데이터 취득부(204)와, 영상 음향 데이터 디코드부(205)와, 영상 음향 어레인지 처리부(206)를 구비한다.
영상 음향 데이터 선택 판단 제어부(201)는, 유저 인터페이스(11)를 통한 유저 지시에 따라서, 재생 대상의 음악 콘텐츠를 선택하거나, 그 재생 제어 처리(악곡 재구성 처리를 포함함)를 행하거나, 또한, 재생 이력 정보 유지부(15)로부터의 재생 이력 정보, 생체 정보 취득부(30)를 통하여 취득한 생체 정보, 주변 환경 정보 취득부(40)로부터 취득한 주변 환경 정보 등에 기초하여, 재생 대상의 음악 콘텐츠를 선택하거나, 그 재생 제어(악곡 재구성을 포함함)를 행하거나 하는 부분으로서, CPU(1)가, ROM(3)에 기억되어 있는 기록을 위한 프로그램에 기초하여, RAM(4)을 워크 에리어로서 이용하여 실행하는 부분에 상당한다.
디코드부(202)는, 영상 음향 데이터 선택 판단 제어부(201)로부터의 음악 콘텐츠의 선택 지시에 따라서, 음악 콘텐츠 기억부(20)로부터 영상 음향 데이터 및 속성 정보를 취득하여, 압축되어 있는 데이터를 신장 디코드 처리하는 것으로써, 인코드/디코드부(12)의 디코드부에 상당한다.
그리고, 디코드부(202)는, 음악 콘텐츠 기억부(20)로부터 읽어내어 신장 디코드한 속성 정보는, 속성 정보 취득부(203)에 전달함과 함께, 음악 콘텐츠 기억부(20)로부터 읽어내어 신장 디코드한 영상 음향 데이터는, 영상 음향 데이터 취득부(204)에 공급한다.
속성 정보 취득부(203)는, 디코드부(202)로부터의, 음악 콘텐츠 기억부(20)로부터 읽어내어 디코드된 속성 정보를 수취하고, 영상 음향 데이터 선택 판단 제어부(201)에 전달한다. 이 속성 정보 취득부(203)는, RAM(4)의 일부 영역을 이용하는 버퍼부로 구성되는 것이다.
영상 음향 데이터 취득부(204)는, 디코드부(202)로부터의, 음악 콘텐츠 기억부(20)로부터 읽어내어 디코드된 영상 음향 데이터를 수취하여, 영상 음향 데이터 디코드부(205)에 전달한다. 이 영상 음향 데이터 취득부(204)는, RAM(4)의 일부 영역을 이용하는 버퍼부로 구성되는 것이다.
영상 음향 데이터 디코드부(205)는, 음향 데이터 디코드부(51)와, 영상 데이터 디코드부(54)로 구성되는 부분으로, 음향 데이터를 디코드하여, 영상 음향 어레인지 처리부(206)에 전달함과 함께, 영상 데이터를 디코드하여, 영상 음향 어레인지 처리부(206)에 전달한다.
영상 음향 어레인지 처리부(206)는, 음향 어레인지부(52)와, 영상 어레인지부(55)로 구성되는 부분으로, 영상 음향 데이터 선택 판단 제어부(201)로부터의 제 어 신호를 받아, 디코드된 음향 데이터에, 다른 악곡의 음향 데이터를 리믹스하거나, 음향 데이터에 이펙트 처리를 실시하거나, 템포나 키 혹은 코드 진행을 바꾸거나 하여 악곡의 재구성 처리를 한다. 또한, 디코드된 영상 데이터에 이펙트 처리를 실시하거나 한다.
그리고, 영상 음향 어레인지 처리부(206)는, 리믹스하거나 이펙트 처리하거나 등 한 음향 데이터를 음향 출력부(53)에 공급함과 함께, 이펙트 처리 등 한 영상 데이터를 영상 출력부(56)에 공급한다.
생체 정보 취득부(30)에서 취득되는 리스너의 생체 정보는, 영상 음향 데이터 선택 판단 제어부(201)에 공급되어, 음악 콘텐츠의 선택 및 악곡의 재구성을 위해서 이용된다. 또한, 주변 환경 정보 취득부(40)에서 취득된 기록 재생 장치가 존재하는 장소의 정보 등의 주변 환경 정보는, 영상 음향 데이터 선택 판단 제어부(201)에 공급되어, 음악 콘텐츠의 선택 및 악곡의 재구성을 위해서 이용된다.
또한, 재생 이력 정보 유지부(15)는, 이에 공급되는 영상 음향 데이터 선택 판단 제어부(201)로부터의 읽어내기 요구에 따라서, 유지하고 있는 재생 이력 정보를 영상 음향 데이터 선택 판단 제어부(201)에 공급한다. 이 재생 이력 정보는, 영상 음향 데이터 선택 판단 제어부(201)에서, 음악 콘텐츠의 선택 및 악곡의 재구성을 위해서 이용된다.
도 11은, 도 10의 재생부(200)를, 악곡의 재구성 처리의 관점으로부터 본 기능 블록도의 구성을 도시하는 것으로, 실질상의 구성 내용은, 도 10과 바뀐 것은 없다.
이 도 11에 도시한 바와 같이, 재생부(200)는, 악곡 데이터의 재구성의 기준으로 되는 동기 신호와 악곡 재구성용 정보를 생성해서 출력하는 리듬 마스터부(210)와, 이 리듬 마스터부(210)로부터의 동기 신호 SYNC와 악곡 재구성용 정보 ARI를 받아, 악곡 데이터의 재구성을 실행하는 리듬 슬레이브부(220)로 이루어진다. 리듬 마스터부(210)로부터의 동기 신호 SYNC는, 악곡 데이터의 재생에 동기하여 출력되는 것으로, 또한, 악곡 재구성용 정보 ARI는, 동기 신호 SYNC에 동기하여 출력되고, 악곡 데이터의 재생에 동기하여 동적으로 변화되는 값이다.
리듬 마스터부(210)는, 콘서트로 말하면 지휘자에 상당하는 기능을 갖고, 또한, 리듬 슬레이브부(220)는, 연주자의 입장에 상당하는 기능을 갖는다.
영상 음향 데이터 선택 판단 제어부(201)는, 리듬 마스터부(210)에 속하는 영상 음향 데이터 선택 판단 제어 RM(RM은 리듬 마스터의 생략)부(201M)와, 리듬 슬레이브부(220)에 속하는 영상 음향 선택 판단 제어 RS(RS는, 리듬 슬레이브의 생략)부(201S)로 나뉘어진다. 또한, 속성 정보 취득부(203)는, 리듬 마스터부(210)와, 리듬 슬레이브부(220)의 양방에 속하는 것으로 된다.
즉, 리듬 마스터부(210)는, 영상 음향 데이터 선택 판단 제어 RM부(이하, RM부라고 함)(201M)와, 속성 정보 취득부(203)를 구비하여 구성된다.
또한, 리듬 슬레이브부(220)는, 영상 음향 데이터 선택 판단 제어 RS부(이하, RS부라고 함)(201S)와, 속성 정보 취득부(203) 외에, 생체 정보 취득부(30)와, 주변 환경 정보 취득부(40)와, 재생 이력 정보 유지부(15)와, 영상 음향 데이터 취득부(204)와, 영상 음향 데이터 디코드부(205)와, 영상 음향 어레인지 처리부(206) 를 구비하여 구성된다.
그리고, 이 제1 실시 형태에서는, 리듬 마스터부(210)의 RM부(201M)는, 속성 정보 취득부(203)에서 취득한 재생 중인 음악 콘텐츠의 속성 정보에 기초하여, 악곡의 재구성의 기준으로 되는 동기 신호 SYNC와, 악곡 구성용 데이터 ARI를 생성하고, 해당 생성한 동기 신호 SYNC 및 악곡 재구성용 데이터 ARI를, 리듬 슬레이브부(220)의 RS부(201S)에 공급한다.
이 실시 형태에서는, 이 동기 신호 SYNC로서, 도 12에 도시한 바와 같이, 악곡의 소절에 대응하는 주기의 소절 동기 신호 PHSY와, 악곡의 박자에 대응하는 주기의 비트 동기 신호 BTSY를 생성 출력한다. 이 경우에, RM부(201M)는, 이 제1 실시 형태에서는, 재생 중인 악곡의 소절 및 박자에 동기하는 신호를 생성 출력한다.
소절 동기 신호 PHSY는, 악곡의 소절의 머리를 나타내는 신호로서, 예를 들면 악곡의 소절의 선두에서만, 하강 엣지 펄스로 되어 있다. 또한, 비트 동기 신호 BTSY는, 악곡의 박자의 머리를 나타내는 신호로서, 예를 들면, 박자의 선두만 하강 엣지 펄스로 되어 있다. 몇 박자의 곡인지에 의해 소절당의 박자 수는 서로 다르다.
이들 동기 신호에 동기하는 형태로, 리듬 마스터부(210)로부터 리듬 슬레이브부(220)에 악곡 재구성용 데이터 ARI가 보내진다. 이 악곡 재구성용 데이터 ARI는, 다치의 데이터이므로 데이터 버스 등의 복수 비트 신호선 상을 흐르는 신호로 되어 있다.
이 제1 실시 형태에서는, RM부(201M)는, 악곡 재구성용 데이터 ARI로서, 도 12에 도시한 바와 같이, 악곡 구성 정보의 BPM치와, 키치와, 코드치의 3개를 생성하여, 리듬 슬레이브부(220)의 RS부(201S)에 공급하도록 한다. 각 값의 데이터는, 복수 비트의 신호선에 의해 전송하도록 하여도 되고, 각각 시리얼 데이터로서 1개씩의 신호선에 의해 전송하도록 하여도 된다.
BPM치는, 리듬 슬레이브부(220)에서, 악곡을 어느 정도의 템포로 재생할지의 마스터 템포로 되는 값이다. 이 BPM치는, 동기 신호 SYNC의 발진 주파수에 상당한다.
키치는, 재생할 음악 콘텐츠의 키를 결정하는 값이다. 특정한 키를 결정하지 않는 경우에는 「null」치여도 된다. 악곡 재구성용 데이터 ARI의 키치가 「null」치인 경우, 리듬 슬레이브부(220)에서는, 자유로운 키로 재생이 행해진다.
코드치는, 재생할 음악 콘텐츠의 코드 진행을 결정하는 값이다. 리듬 슬레이브부(220)는, 공급된 코드치로 재생하거나, 대리 코드로 재생하거나 한다. 음악 이론에 따라서, 조성이 무너지지 않으면 된다. 코드치는 「null」치이어도 된다. 악곡 재구성 데이터 ARI의 코드치가 「null」치인 경우, 리듬 슬레이브부(220)에서는, 자유로운 코드로 재생을 행한다.
또한, 이 제1 실시 형태의 경우에, RM부(201M)는, 재생 중인 악곡의 속성 정보로부터 추출한 BPM치와, 키치와, 코드치를, 그대로 악곡 재구성용 정보 ARI로서 출력한다.
도 13은, 이 제1 실시 형태에서의 리듬 마스터부(210)의 상세 구성예를 도시하는 도면으로, 특히 RM부(201M)의 기능의 상세 내용을 블록화한 것이다. 즉, RM 부(201M)는, 기능적으로는, 속성 정보 해석부(211)와, 동기 신호 생성부(212)와, 동기 신호 출력 회로(213)와, 악곡 재구성용 데이터 설정부(214)와, 악곡 재구성용 데이터 출력 회로(215)를 구비한다.
RM부(201M)의 속성 정보 해석부(211)에서는, 속성 정보 취득부(203)로부터, 재구성을 하고자 하는 재생 중인 악곡의 속성 정보를 수취하여 해석하고, 해당 재생 중인 악곡의 속성 정보 중의 전술한 악곡 구성 정보를 추출하고, 해당 추출된 악곡 구성 정보 중, 특히 소절이나 박자의 구획 정보의 하나인 템포 정보로서의 BPM치를 동기 신호 생성부(212)에 공급한다.
동기 신호 생성부(212)는, PLL(Phase Locked Loop) 회로(216)를 구비하고, 속성 정보 해석부(211)로부터의 BPM치에 상당하는 발진 주파수로 발진하고, 또한, 재생 대상의 음악 콘텐츠의 소절 및 박자에 위상 동기하는 소절 동기 신호 PHSY 및 비트 동기 신호 BTSY로 이루어지는 동기 신호 SYNC를, 상기 PLL 회로(216)를 이용하여 생성하고, 생성한 동기 신호 SYNC를 동기 신호 출력 회로(213)를 통하여, 도 12에 도시한 바와 같이, RS부(201S)에 공급한다.
RM부(201M)의 속성 정보 해석부(211)에서는, 또한, 속성 정보 취득부(203)로부터 수취한, 상기 재생 중인 악곡의 속성 정보의 악곡 구성 정보 중, BPM치와, 키치와, 코드치를 추출하여, 악곡 재구성용 데이터 설정부(214)에 공급한다.
악곡 재구성용 데이터 설정부(214)에서는, 수취한 BPM치는 BPM치 설정부(217)에 설정하고, 수취한 키치는 키치 설정부(218)에 설정하고, 수취한 코드치는 코드치 설정부(219)에 설정한다. 그리고, BPM치 설정부(217), 키치 설정 부(218) 및 코드치 설정부(219)에 설정된 BPM치, 키치 및 코드치는, 악곡 재구성용 데이터 설정부(214)로부터 악곡 재구성용 데이터 출력 회로(215)에 받아, 이 악곡 재구성용 데이터 출력 회로(215)로부터, 도 12에 도시한 바와 같이, 악곡 재구성용 데이터 ARI로서, RS부(201S)에 공급된다.
RM부(201M)는, 동기 신호 SYNC 및 악곡 재구성용 데이터 ARI를, 음악 콘텐츠의 악곡 데이터의 재생에 동기하여, 속성 정보 취득부(203)로부터의 속성 정보에 기초하여 리얼 타임으로 생성하고, 리듬 슬레이브부(220)의 RS부에 공급한다.
다음으로, 이 제1 실시 형태에서의 리듬 슬레이브부(220)의 상세 구성예를 도 14에 도시한다. 리듬 슬레이브부(220)의 RS부(201S)는, 기능적으로는, 도 14에 도시한 바와 같은 구성으로 되는 것으로, 어레인지 제어부(221)와, 템포 보정량 산출부(222)와, 음정 보정량 산출부(223)를 구비하고 있다. 또한, 리듬 슬레이브부(220)의 영상 음향 어레인지 처리부(206)는, 템포 보정 회로(225)와, 음정 보정 회로(226)와, 믹서 및 이펙트 회로(227)로 이루어진다.
어레인지 제어부(221)는, 미리, 음악 콘텐츠 기억부(20)의 속성 정보 기억부(22)로부터, 속성 정보 취득부(203)를 통하여, 모든 음악 콘텐츠의 속성 정보를 취득하고, 그 취득한 속성 정보로부터 악곡 재구성용 속성 정보 테이블(224)을 작성하여, 유지하고 있다.
이 악곡 재구성용 속성 정보 테이블(224)의 일례를 도 15에 도시한다. 여기에서는, 재구성 처리의 일례로서 리믹스를 행하므로, 악곡 재구성용 속성 정보 테이블(224)은, 리믹스용의 속성 정보 테이블의 구성으로 되어 있다. 즉, 도 15에 도시한 바와 같이, 이 악곡 재구성용 속성 정보 테이블(224)은, 각각의 악곡 소재명에 대하여, 코드치와, BPM치와, 악곡명과, 감성치로 이루어진다. 감성치는, 이 예에서는, 밝은 느낌만으로 하고 있지만, 당연히 이에 한정되는 것은 아니다.
어레인지 제어부(221)는, 리믹스 처리를 실행할 때는, RM부(201M)로부터 수취한 악곡 재구성용 데이터 ARI의 BPM치 및 코드치와 동등한, 혹은 해당 BPM치 및 코드치에 근사한 BPM치 및 코드치를 갖는 악곡 소재를, 리믹스하고자 하는 악기마다, 악곡 재구성용 속성 정보 테이블(224)로부터 검색한다.
그리고, 어레인지 제어부(221)는, 생체 정보 취득부(30)로부터의 생체 정보나 주변 환경 정보 취득부(40)로부터의 주변 환경 정보, 재생 이력 정보 유지부(15)로부터의 재생 이력 정보를 참조하여, 리스너가 밝은 느낌의 것을 요구하고 있는지, 그렇지 않은지를 판별하고, 악곡 재구성용 속성 정보 테이블의 감성치를 참조하여, 실제로 리믹스할 악곡 소재를 결정한다. 그리고, 어레인지 제어부(221)는, 결정한 해당 악곡 소재의 음향 데이터를 음악 콘텐츠 기억부(20)로부터 읽어내도록 하는 선택 지시를 디코드부(202)에 보낸다.
이것을 받은 디코드부(202)는, 선택 지시된 악곡 소재의 음성 데이터를 음악 콘텐츠 기억부(20)로부터 읽어내고, 이미 읽어내기를 하고 있는 재생 대상의 영상 음향 데이터 외에 추가로, 이들 리믹스용의 악곡 소재의 음향 데이터를 영상 음향 데이터 취득부(204)에 전달한다.
따라서, 영상 음향 데이터 취득부(204)는, 재생 대상의 영상 음향 데이터 외에 추가로, 이 리믹스용의 1개 또는 복수개의 악곡 소재의 음향 데이터를, 영상 음 향 데이터 디코드부(205)에 공급하게 된다.
이를 위해서, 영상 음향 데이터 디코드부(205) 및 영상 음향 어레인지 처리부(206)에서는, 이들 복수개의 영상 음향 데이터를 병행하여 처리하는 것이다. 즉, 영상 음향 데이터 디코드부(205)와, 영상 음향 어레인지 처리부(206)의 템포 보정 회로(225) 및 음정 보정 회로(226)는, 도 14에 도시한 바와 같이, 병행하여 처리하는 영상 음향 데이터의 수 분(도 14에서는 2개)의 처리 회로부를, 기능적으로, 각각 구비하는 구성으로 되어 있다.
도 16은, 리듬 슬레이브부(220)의 영상 음향 데이터 디코드부(205) 및 영상 음향 어레인지 처리부(206)에서의 악곡 신호의 흐름을, 리듬 마스터부(210)로부터의 동기 신호 SYNC에, 동기시켜 도시한 도면이다. 이 경우, 악곡 데이터(음향 데이터)의 재생 신호의 스트림의 하나를 악곡 트랙이라고 부르기로 한다. 전술한 바와 같이, 리듬 슬레이브부(220)에서는, 악곡 트랙은, 복수개로 이루어지고, 각각 악곡 트랙의 악곡 데이터에 대하여, 템포 보정이나 음정 보정이 필요에 따라서 이루어진 후, 믹서 및 이펙트 회로(227)에 있어서 최종적으로 믹스된다.
도 16의 예에서는, 영상 음향 데이터 디코드부(205)로부터 출력된 3개의 악곡 트랙이, 리듬 마스터부(210)로부터의 동기 신호 SYNC에 동기하여 재생되고, 최종단에서 믹스 출력되고 있는 모습을 도시하고 있다. 이 예에서는, 악곡 트랙 1은 재생 대상의 음악 콘텐츠의 악곡 데이터의 트랙이고, 악곡 트랙 2 및 악곡 트랙 3은, 리믹스할 악곡 소재의 트랙이다.
이 도 16의 악곡 트랙 2나 악곡 트랙 3과 같이, 리믹스되는 악곡 소재는, 모 든 소절 구간에 대응하여 모두 존재하고 있을 필요는 없고, 믹스할 소절 구간이나 복수 박자 분의 구간의 사이만, 띄엄띄엄 재생되도록 하여도 된다.
또한, 재생 대상의 음악 콘텐츠의 악곡 데이터에 대하여, 리믹스를 하지 않고, 특수 효과만을 가하는 경우에는, 재생 대상의 음악 콘텐츠의 악곡 데이터에 관한 스트림밖에 없으며, 믹서 및 이펙트 회로(227)에서는, 전술한 리버브나 디스토션 등의 특수 효과 처리가 재생 대상의 음악 콘텐츠의 악곡 데이터에 대하여 실시된다.
템포 보정량 산출부(222)는, 속성 정보 취득부(203)로부터 취득한 BPM치와, 리듬 마스터부(210)로부터의 악곡 재구성용 데이터 ARI 중의 BPM치(BPM치의 목표치(목표 BPM치)로 됨)의 차분으로부터 현재 재생 중인 악곡에 리믹스할 악곡 소재에 관한 템포 보정량을 산출한다. 이와 같이 보정할 필요가 있는 것은, BPM치가 목표 BPM치에 완전 일치하고 있는 것뿐만 아니라, 서로 다른 것이더라도, 키치나 코드치 등, 리믹스할 악곡 소재로서 적절한 것이라고 판단할 수 있는 것도 있으므로, 그러한 악곡 소재를 선택했을 때에, 그 BPM치를 목표 BPM치에 맞추기 위해서이다.
그리고, 템포 보정량 산출부(222)는, 산출한 템포 보정량을 템포 보정 회로(225)의 대응하는 악곡 소재용의 처리 회로부에 공급한다.
템포 보정 회로(225)는, 음향 데이터에 대하여, 음정을 일정하게 유지하면서 재생 템포만을 변경하도록 보정하는 회로이다. 이 보정의 알고리즘은, 상관 함수를 사용하는 방법 등, 다양한 방법이 존재하지만, 이 실시 형태는 그 알고리즘에 특징을 갖는 것이 아니므로, 여기에서는 그 상세한 설명은 생략한다.
음정 보정량 산출부(223)는, 속성 정보 취득부(203)로부터 취득한 키치/코드치와, 리듬 마스터부(210)로부터의 악곡 재구성용 데이터 ARI 중의 키치/코드치(키치/코드치의 목표치(목표 키치/목표 코드치)로 됨)의 차분으로부터 현재 재생 중인 악곡에 리믹스할 악곡 소재의 각각에 관한 음정 보정량을 산출한다. 이와 같이 보정할 필요가 있는 것은, 키치 및 코드치가 목표 키치 및 목표 코드치에 완전 일치하고 있는 것뿐만 아니라, 서로 다른 것이더라도, 그 밖의 조건 등으로부터 보아, 리믹스할 악곡 소재로서 적절한 것이라고 판단할 수 있는 것도 있으므로, 그러한 악곡 소재를 선택했을 때에, 그 키치 및 코드치를 목표치에 맞추기 위해서이다.
그리고, 음정 보정량 산출부(223)는, 산출한 음정 보정량을 음정 보정 회로(226)의, 대응하는 악곡 소재용의 처리 회로부에 각각 공급한다.
음정 보정 회로(226)는, 음향 데이터에 대하여, 템포를 일정하게 유지하면서 음정만을 변경하도록 보정하는 회로이다. 이 보정의 알고리즘으로서는, 다양한 방법이 존재하지만, 이 실시 형태는 그 알고리즘에 특징을 갖는 것이 아니므로, 여기에서는 그 상세한 설명은 생략한다.
믹서 및 이펙트 회로(227)는, 어레인지 제어부(221)로부터의 믹싱 제어 신호나 특수 효과 제어 신호를 받아, 음정 보정 회로(226)로부터의 영상 음향 데이터에 특수 효과를 가하거나, 음정 보정 회로(226)로부터의 복수개의 영상 음향 데이터를 믹싱하거나 한다. 어떤 특수 효과를 가할지는, 어레인지 제어부(221)로부터의 특수 효과 제어 신호에 의한다.
도 17은, 리듬 슬레이브부(220)의 영상 음향 데이터 디코드부(205) 및 영상 음향 어레인지 처리부(206)에서의 악곡 신호의 흐름을, 리듬 마스터부(210)로부터의 동기 신호 SYNC에, 동기시켜 도시함과 함께, 리듬 슬레이브부(220)의 영상 음향 어레인지 처리부(206)에서의 악곡 재구성의 동작을, 리듬 마스터부(210)의 악곡 재구성용 데이터 ARI의 대응시키면서 도시하는 도면이다.
도 17의 예의 경우에는, 악곡 재구성용 데이터 ARI는, 재생 대상의 음악 콘텐츠의 속성 정보로부터 추출한 것으로 되어 있고, 해당 재생 대상의 음악 콘텐츠는, 악곡 트랙 1의 재생 신호 스트림으로 되어 있다. 도 17의 예에서는, 악곡 재구성용 데이터 ARI로서, BPM치 「120」, 키치 「Cmajor」, 코드 진행 「C」→「G」→「F」의 목표치가 리듬 마스터부(210)로부터 리듬 슬레이브부(220)에 입력되어 있다.
그리고, 리듬 슬레이브부(220)에서는, 이 악곡 트랙 1의 재생 대상 음악 콘텐츠의 재생 신호 스트림에 대하여, 어레인지 제어부(221)에 의한 선택 지시에 기초하여 음악 콘텐츠 기억부(20)로부터 취득된 2개의 악곡 소재가 악곡 트랙 2, 악곡 트랙 3으로서 영상 음향 데이터 디코드부(205)로부터 출력되고, 상기 악곡 재구성용 데이터 ARI의 각각의 값의 목표치에 맞도록 보정되어, 최종적으로 믹스된다.
즉, 악곡 트랙 2, 3의 음향 데이터는, 영상 음향 어레인지 처리부(206)에서, 악곡 재구성용 데이터 ARI의 목표 BPM치나 목표 코드치에 합치하도록 보정된 후, 악곡 트랙 1의 악곡 데이터에 믹스되어, 리믹스 처리가 이루어진다.
이 경우, 도 17에 도시한 바와 같이, 소절 구간 Pa에서는, 악곡 트랙 3의 악 곡 소재 3이, 악곡 트랙 1의 음향 데이터에 믹스되지만, 속성 정보 취득부(203)를 통하여 취득된 이 악곡 소재 3의 소절 구간 Pa에서의 BPM치는 「120」으로서, 악곡 재구성용 데이터 ARI의 BPM치와 동일하므로, 악곡 소재 3의 악곡 데이터에 대해서는, 영상 음향 어레인지 처리부(206)에서는 템포의 보정은 이루어지지 않는다.
그러나, 속성 정보 취득부(203)를 통하여 취득된 악곡 소재 3의 소절 구간 Pa에서의 코드치는 「D」로서, 악곡 재구성용 데이터 ARI의 코드치 「C」는 서로 다르므로, 해당 악곡 소재 3의 악곡 데이터에 대해서는, 영상 음향 어레인지 처리부(206)의 음정 보정 회로(226)에서, 전술한 바와 같이 하여 음정 보정이 이루어지고, 「D」→「C」로 목표치로 되도록 변경된다.
또한, 다음의 소절 구간 Pb의 전반에서는, 악곡 트랙 2의 악곡 소재 2가 악곡 트랙 1의 음향 데이터에 믹스되고, 또한, 소절 구간 Pb의 후반에서는, 악곡 트랙 2의 악곡 소재 2와, 악곡 트랙 3의 악곡 소재 3이 악곡 트랙 1의 악곡 데이터에 믹스된다.
그리고, 속성 정보 취득부(203)에 의해 취득된 악곡 소재 2의 소절 구간 Pb의 전반에서의 BPM치는 「100」, 코드치는 「E」로서, 악곡 재구성용 데이터 ARI의 목표 BPM치 「120」 및 목표 코드치 「G」와 서로 다르다. 이 때문에, 악곡 소재 2의 악곡 데이터는, 소절 구간 Pb의 전반에서, 영상 음향 어레인지 처리부(206)에서, 「100」으로부터 「120」으로, 목표 BPM치에 합치하도록 템포의 보정이 이루어짐과 함께, 「E」로부터 「G」로, 목표 코드치에 합치하도록 음정의 보정이 이루어진다. 그리고, 소절 구간 Pb의 전반에서는, 이들 보정이 이루어진 악곡 소재 2의 악곡 데이터가, 악곡 트랙 1의 악곡 데이터에 가산된다.
또한, 이 소절 구간 Pb의 후반에서는, 악곡 소재 2의 BPM치는 「100」, 코드치는 「E」로서, 악곡 재구성용 데이터 ARI의 목표 BPM치 「120」 및 목표 코드치 「F」와 서로 다르지만, 악곡 소재 3의 BPM치는 「120」, 코드치는 「F」로서, 악곡 재구성용 데이터 ARI의 목표 BPM치 「120」 및 목표 코드치 「F」와 동일하다.
이 때문에, 소절 구간 Pb의 후반에서는, 악곡 트랙 2의 악곡 소재 2에 대해서는, 영상 음향 어레인지 처리부(206)에서 템포 및 음정의 보정이 이루어져 악곡 트랙 1의 악곡 데이터에 가산되고, 또한, 악곡 트랙 3의 악곡 소재 3에 대해서는 보정되지 않고, 악곡 트랙 1의 악곡 데이터에 가산된다.
이상과 같이 해서, 이 제1 실시 형태에서는, 재생 대상의 음악 콘텐츠에 대하여, 해당 음악 콘텐츠에 동기하는 동기 신호 SYNC와, 해당 음악 콘텐츠의 악곡 구성 정보에 기초한 악곡 재구성용 데이터 ARI를 생성하고, 이 동기 신호 SYNC 및 악곡 재구성용 데이터 ARI를 바탕으로 하여, 다른 악곡 소재를 믹스함으로써, 소위 리믹스 처리를 원래의 악곡에 대하여 위화감 없이, 실행할 수 있다.
또한, 동기 신호 SYNC에 의해, 소절이나 박자의 구획을 용이하게 검출할 수 있으므로, 악곡 데이터에 대하여 특수 효과를 실시하는 것도 용이하게 행할 수 있다.
이들 전술한 어레인지 제어는, 리얼 타임 또한 동적으로 실행할 수 있다. 예를 들면, 생체 정보 센서 입력과 같이 시시각각 변화되는 입력에 대해서도, 용이하게 추종할 수 있다.
또한, 이 실시 형태에서는, 리믹스의 특수 효과 처리의 하나로서, 루프 재생 처리를 할 수 있도록 하고 있다. 이 루프 재생 처리란, 예를 들면 1 또는 복수 소절 분 혹은 1 또는 복수 박자 분의 소량의 악곡 소재의 데이터를, 반복 재생하는 처리 기능을 말한다. 이 루프 재생함으로써, 소량의 악곡 소재뿐이더라도, 무한하게 음악을 연주할 수 있다. 이 루프 재생을 행하는 악곡 소재로서는, 드럼의 리듬 패턴 등을 예로서 들 수 있다.
예를 들면, 도 18의 (C)에 도시하는 바와 같은 원악곡 소재에는, 루프 재생의 개시점인 마크 인(MarkIn)점과, 루프 재생의 종료점인 마크 아웃(MarkOut)점이, 미리 지정되어 있다. 이 원악곡 소재의 정보는, 복수개가, 예를 들면 음악 콘텐츠 기억부(20)의 속성 정보 기억부(22)에, 별개로 설치된 「DJ 루프 정보 저장부」에 저장되어 있다. 속성 정보 기억부(22)가 아니라, 별도의 기억 에리어에 「DJ 루프 정보 저장부」를 설치하고, 해당 저장부에 원악곡 소재 정보를 저장하도록 해도 물론 된다.
복수의 원악곡 소재로부터 1개의 원악곡 소재가, 예를 들면 유저 인터페이스(11)를 통하여 선택 지정되고, 루프 재생이 지정되면, 속성 정보 기억부(22)로부터, 지정된 원악곡 소재 정보가 읽어내어져, 리듬 슬레이브부(220)의 영상 음향 데이터 디코드부(205)에 공급된다. 그리고, 이 영상 음향 데이터 디코드부(205)와, 영상 음향 어레인지 처리부(206)에서, 템포 보정 및 음정 보정을 필요에 따라서 행하면서, 루프 재생을 실행한다.
이 경우, 영상 음향 데이터 디코드부(205) 및 영상 음향 어레인지 처리 부(206)는, 동기 신호 SYNC의 소절 동기 신호 PHSY 또는 비트 동기 신호 BTSY(도 18의 (A) 참조)에 동기하여, 도 18의 (B)에 도시한 바와 같이, 루프 재생을 행하는 악곡 트랙에 있어서, 원 악곡 소재의 마크 인점으로부터 재생을 개시하여, 마크 아웃점까지 재생하면, 해당 마크 아웃점으로부터 마크 인점으로 점프함으로써, 루프 재생을 실행한다. 이 경우, 마크 아웃점으로부터 마크 인점으로 루프 점프하는 타이밍과 마크 아웃점에의 도달 타이밍은 일치하고 있는 것으로 한다.
이 경우, 루프 재생을 행하는 하나의 악곡 트랙뿐만 아니라, 모든 악곡 트랙이 동기 신호 SYNC에 동기하여 재생 동작하고 있으므로, 위화감 없이, DJ 루프 재생을 행할 수 있다.
다음으로, 도 19, 도 20의 플로우차트를 참조하면서, 전술한 재생 처리 동작에 대하여 설명한다. 또한, 이 도 19, 도 20의 각 처리 스텝은, CPU(1)가 ROM(3)의 프로그램에 따라서, RAM(4)을 워크 에리어로서 이용하여 실행하는 것이다.
유저는, 우선, 유저 인터페이스(11)의 디스플레이의 음악 콘텐츠의 선택 화면으로부터, 희망하는 음악 콘텐츠(악곡)를 선택하여, 영상 음향 데이터 선택 판단 제어부(201)에 대하여, 1곡째의 재생을 지시한다. 2곡째 이후는, 실시 형태의 기록 재생 장치에서 자동적으로 선택되어 재생이 속행된다.
유저 인터페이스(11)를 통하여 1곡째의 재생 지시를 받은 영상 음향 데이터 선택 판단 제어부(201)는, 해당 재생 지시를 받은 음악 콘텐츠를 인식함과 함께, 음악 콘텐츠 기억부(20)의 속성 정보 기억부(22)로부터, 해당 재생 지시를 받은 음악 콘텐츠의 속성 정보 및 그 밖의 전부의, 혹은 소정 량의 속성 정보를 읽어내도 록 디코드부(202)에 지시를 시작한다. 그리고, 그 지시에 따라서 디코드부(202)로부터 속성 정보 취득부(203)를 통하여 보내져 오는 속성 정보를 읽어들여, 해석한다(스텝 S61).
여기에서, 영상 음향 데이터 선택 판단 제어부(201)는, 후술하는 다음의 재생 악곡 후보의 선정이나, 청취 중인 악곡의 재구성을 위해서, 재생 지시된 음악 콘텐츠의 속성 정보와, 다른 음악 콘텐츠의 속성 정보를 미리 취득하고, 해석하여, 후술하는 다음의 재생 악곡 후보의 선정이나, 청취 중인 악곡의 재구성을 위한 사전 준비를 하는 것이다.
다음으로, 영상 음향 데이터 선택 판단 제어부(201)는, 디코드부(202)에, 재생 지시된 음악 콘텐츠의 영상 음향 데이터의 읽어내기를 지시한다. 그렇게 하면, 디코드부(202)는, 음악 콘텐츠 기억부(20)로부터 재생 지시된 음악 콘텐츠의 영상 음향 데이터를 읽어내어, 영상 음향 데이터 취득부(204)에 전달한다. 영상 음향 데이터 취득부(204)에서 취득된 영상 음향 데이터는, 영상 음향 데이터 디코드부(205)에 받아 디코드되고, 영상 음향 어레인지 처리부(206)를 통하여 음향 출력부(53)에 공급되어, 음향 출력됨과 함께, 영상 출력부(56)에 공급되어, 영상 출력되어, 재생이 개시된다(스텝 S62).
이렇게 해서, 음악 콘텐츠의 재생이 개시되면, 영상 음향 데이터 선택 판단 제어부(201)는 리스너의 생체 정보를, 생체 정보 취득부(30)로부터 취득함과 함께, 주변 환경 정보 취득부(40)로부터 주변 환경 정보를 취득한다(스텝 S63).
그리고, 영상 음향 데이터 선택 판단 제어부(201)는, 생체 정보 취득부(30) 로부터 취득한 리스너의 생체 정보로부터, 리스너는 청취 중인 악곡에 대하여 기호를 나타내고 있는지의 여부를 판별한다(스텝 S64).
영상 음향 데이터 선택 판단 제어부(201)는, 예를 들면, 몸의 움직임 등의 생체 정보를, 기록 재생 장치의 생체 정보 센서(31) 및 생체 정보 해석부(32)를 통하여 받음으로써, 리스너가 적극적으로 음악을 듣고 싶은 상태인지, 그렇지 않은 상태인지를 판단한다. 예를 들면, 음악을 타고 있는 상태에서는 자연과 음악에 맞추어 몸이 움직인다.
즉, 재생 중인 악곡의 악곡 구성 정보(악곡 소재 단위의 구획이나 템포 등)와, 몸의 움직임의 센서(가속도 센서 등)의 출력 신호의 상호 상관 함수를 계산하는 등으로 하면, 그 상관 계수에 의해 리스너가 적극적으로 음악을 시청하고 싶은 상태인지의 여부를 어느 정도 판단하는 것이 가능하다. 이 경우에, 속성 정보 중의 감성 정보도 고려하면 더욱 좋다. 즉, 심한 악곡이면, 리스너의 몸의 움직임도 그에 따라서 격렬하게 움직이고, 부드러운 악곡의 경우에는, 리스너의 몸의 움직임은 차분해진다고 예측할 수 있다.
상관 계수가 높을수록, 리스너가 음악을 적극적으로 시청하고 싶은, 소위 「신이 난」 상태라고 파악할 수 있다. 리스너가 적극적으로 음악을 듣고 있는 상태에 있는 경우에는, 보다 「신이 난」 수치가 높은 악곡의 반복 재생을 함으로써, 유저의 기호에 맞춘 악곡을 재생 제시할 수 있다고 생각된다.
또한, 반대로, 악곡 청취 중인 리스너의 몸의 움직임이 적고, 뇌파 등도 안정된 상태이면, 반대로, 「신이 난」 수치가 낮은 조용한 곡을 음량이 작은 상태 등으로 재생 제시함으로써, 유저는 보다 온화하게 음악을 즐길 수 있다고 생각된다.
또한, 「신이 난」뿐만 아니라, 재생 중인 음악 콘텐츠의 속성 정보에 포함되는 감성 정보, 예를 들면 「밝다/어둡다」, 「온화하다/격하다」, 「슬프다/즐겁다」 등의 감성적인 수치를 참조하면서, 리스너 생체 정보를 해석함으로써, 유저가 기호를 나타내고 있는지의 여부를 판단하도록 한다. 즉, 예를 들면 부드러운 악곡이나 슬픈 악곡 등은 「신이 난」 수치는 낮지만, 뇌파나 맥 등이 안정된 상태이면, 기호를 나타내고 있다고 하는 경우도 있다.
스텝 S64에서, 리스너는 재생 중인 악곡에 대하여 기호를 나타내고 있지는 않다고 판별했을 때에는, 영상 음향 데이터 선택 판단 제어부(201)는, 재생 이력 정보 유지부(15) 혹은 미리 취득한 속성 정보의 각 음악 콘텐츠에 포함되는 재생 이력 정보를 참조하여, 재생 빈도가 높은 악곡을 검출한다(스텝 S65).
다음으로, 영상 음향 데이터 선택 판단 제어부(201)는, 재생 빈도가 높은 악곡의 속성 정보의 악곡 구성 정보를 추출하여, 리스너가 좋아하고 있다고 생각되는 곡조를 판정한다. 이 경우, 재생 빈도가 높은 악곡이 복수개 있는데, 이들 곡조가 일치하고 있는 경우에는, 그 곡조의 악곡 구성 정보를 리스너가 좋아하고 있다고 판정한다. 또한, 재생 빈도가 높은 악곡이 복수 있고, 또한, 곡조도 복수 가지 있을 때에는, 예를 들면 곡조가 마찬가지의 고빈도 재생 악곡을 리스너가 좋아하고 있는 악곡 구성 정보라고 판정한다.
그리고, 영상 음향 데이터 선택 판단 제어부(201)는, 상기의 리스너가 좋아 한다고 판정한 곡조의 악곡 구성 정보와 비슷한 악곡 구성 정보를 구비하는 다른 악곡, 즉, 곡조가 비슷한 다른 악곡을 선출하고, 그들을 다음의 악곡 재생 후보로 한다(스텝 S66). 이것은, 리스너가 현재 재생 중인 악곡에 기호를 나타내고 있지 않으므로, 과거의 리스너의 재생 이력으로부터, 리스너가 기호하고 있다고 생각되는 악곡을, 리스너에게 제시하자고 하는 것이다.
그리고, 영상 음향 데이터 선택 판단 제어부(201)는, 재생 중인 악곡이 최후까지 재생되었는지를 감시하고(스텝 S67), 악곡의 최후까지 재생되었다고 판별했을 때에는, 해당 재생한 악곡(음악 콘텐츠)에 대한 재생 이력을, 재생 이력 정보 유지부(15)에서 갱신함과 함께, 해당 음악 콘텐츠의 속성 정보의 재생 이력 정보도 갱신한다(스텝 S68).
그리고, 영상 음향 데이터 선택 판단 제어부(201)는, 스텝 S66에서 결정한 재생 악곡 후보 중으로부터, 다음에 재생할 악곡의 음악 콘텐츠를 선택하여, 해당 음악 콘텐츠의 영상 음향 데이터의 읽어내기를 지시하고, 그 악곡의 재생을 개시하도록 한다(스텝 S69). 그리고, 스텝 S63으로 되돌아가, 해당 스텝 S63 이후의 처리를 반복한다.
스텝 S67에서, 악곡의 최후까지 이르지 않았다고 판별했을 때에는, 영상 음향 데이터 선택 판단 제어부(201)는, 리스너에 의해 유저 인터페이스(11)의 조작부에 설치되어 있는 다음 버튼이 눌러졌는지의 여부를 판별한다(스텝 S70). 이 다음 버튼은, 리스너가 현재 듣고 있는 악곡이 아니라, 다음의 악곡을 듣고 싶을 때에 눌러지는 버튼이다.
스텝 S70에서, 다음 버튼이 눌러졌다고 판별했을 때에는, 영상 음향 데이터 선택 판단 제어부(201)는, 스텝 S69로 진행하고, 스텝 S66에서 결정한 재생 악곡 후보 중으로부터, 다음에 재생할 악곡의 음악 콘텐츠를 선택하여, 해당 음악 콘텐츠의 영상 음향 데이터의 읽어내기를 지시하고, 그 악곡의 재생을 개시하도록 한다. 그리고, 스텝 S63으로 되돌아가, 해당 스텝 S63이후의 처리를 반복한다.
또한, 스텝 S70에서 다음 버튼이 눌러지지 않았다고 판별했을 때에는, 영상 음향 데이터 선택 판단 제어부(201)는, 유저 인터페이스(11)의 조작부의 정지 버튼이 유저에 의해 눌러졌는지의 여부를 판별하여(스텝 S71), 정지 버튼이 눌러지지 않았다고 판별했을 때에는, 스텝 S67로 되돌아가, 재생 악곡의 종료를 감시하고, 정지 버튼이 눌러졌다고 판별했을 때에는, 이 재생 처리 루틴을 종료한다.
또한, 스텝 S64에서, 리스너가 재생 중인 악곡에 기호를 나타내고 있다고 판별했을 때에는, 영상 음향 데이터 선택 판단 제어부(201)는, 리스너의 기호도는 높을 것인지의 여부, 예를 들면 전술한 「신이 난」 수치 등을 이용하여 판정한다( 도 12의 스텝 S81).
그리고, 리스너의 기호도가 그다지 높지 않다고 판별했을 때에는, 영상 음향 데이터 선택 판단 제어부(201)는, 이 실시 형태에서는, 주변 환경 정보 취득부(40)로부터 취득한 주변 환경 정보를 가미하여, 현재 재생 중인 악곡과 곡조가 비슷한 악곡을 다음의 재생 악곡 후보로 한다(스텝 S82). 즉, 예를 들면, 우선, 현재 재생 중인 악곡에 부수되는 속성 정보의 악곡 구성 정보와 비슷한 악곡 구성 정보를 속성 정보로 하는 다른 악곡을 선정한다. 그리고, 주변 환경 정보 취득부(40)로부 터 취득한 현재지의 정보, 예를 들면 산이나 바다 등의 정보를 취득하고, 이들 장소에 있어서 청취하는 것이 추천으로 되어 있는 주변 환경 정보를 속성 정보에 포함하는 악곡을, 그 선정된 악곡 중에서 선택하여, 다음의 재생 악곡 후보로 한다.
또한, 스텝 S82에서는, 현재 재생 중인 악곡과 곡조가 비슷한 악곡은 탐색하지 않고, 주변 환경 정보에민 기초하여, 다음의 재생 악곡 후보를 결정하도록 하여도 된다. 또한, 해당 주변 환경 정보에 합치하는 주변 환경 정보를 구비하는 악곡뿐만 아니라, 그 악곡의 악곡 구성 정보와 비슷한 악곡을 구하여, 이들을 다음의 재생 악곡 후보로 하도록 하여도 된다.
다음으로, 스텝 S81에서, 기호도가 높다고 판별했을 때에는, 영상 음향 데이터 선택 판단 제어부(201)는, 현재 재생 중인 악곡과 곡조가 비슷한 악곡을 다음의 재생 악곡 후보로 한다(스텝 S83). 즉, 현재 재생 중인 악곡에 부수되는 속성 정보의 악곡 구성 정보와 비슷한 악곡 구성 정보를 속성 정보로 하는 다른 악곡을 선정하고, 이들을 다음의 재생 악곡 후보로 한다.
또한, 영상 음향 데이터 선택 판단 제어부(201)는, 재생 중인 악곡의 속성 정보로부터, 악곡 소재 단위의 구획 정보와 함께, 템포나, 키나, 코드 진행 등의 악곡 소재 단위의 악곡 구성 정보를 취득한다(스텝 S84). 그리고, 이 악곡 소재 단위의 구획 정보나, 악곡 소재 단위의 악곡 구성 정보를 이용하여, 음악적으로 위화감이 없도록, 악곡의 음향 데이터를 재구성한다(스텝 S85). 또한, 이 스텝 S85에서는, 영상 데이터에도, 이펙트를 걸거나 하여도 된다.
음향 데이터의 재구성은, 예를 들면 전술한 리믹스나, 이펙트 외에, 템포를 빠르게 하거나, 느리게 하거나, 또한, 키를 올리거나, 내리거나, 코드 진행을 바꾸어 보거나 하는 등의 처리를 포함하는 것이다.
예를 들면, 리믹스의 경우에는, 다른 악곡의 악곡 구성 정보 중으로부터, 해당 재생 중인 악곡의 악곡 구성 정보와 비슷한 것을 선정하고, 상기 악곡 소재 단위의 단락을 고려하여, 위화감이 없이 원래의 악곡에 혼합하도록 한다. 이 리믹스 시에, 어떤 악곡 소재 단위의 곡 데이터를 믹스할지를, 속성 정보 중의 상기 감성 정보를 참조하도록 하여도 된다.
또한, 기록 재생 장치에, 미리 드럼에 의한 리듬의 일각이나, 퍼커션의 파트를 기억하여 준비해 두고, 이들을, 재생 중인 악곡에 악곡 소재 단위의 구획에 주의하면서 리믹스하도록 하도록 하여도 된다.
또한, 영상 음향 데이터 선택 판단 제어부(201)는, 리믹스할 다른 악곡을 선정하는 경우에, 주변 환경 정보를 참조하여, 해당 주변 환경에 적합한 악곡을, 그 속성 정보의 주변 환경 정보를 참조함으로써 탐색하도록 할 수도 있다.
또한, 재생 중인 악곡의 속성 정보 중에, 추천의 이펙트 파라미터가 포함되어 있는 경우에는, 그 이펙트의 파라미터를 이용하여, 악곡 소재 단위의 구획에 주의하여, 음악적으로 위화감이 없도록, 이펙트 처리를 행할 수도 있다.
또한, 전술한 예에서는, 리스너가 재생 중인 악곡에 기호를 나타내고 있지 않을 때에는, 스텝 S65에서 재생 이력 정보를 취득하고, 스텝 S66에서 해당 재생 이력 정보에 기초하여, 다음의 재생 악곡 후보를 정하도록 했지만, 스텝 S65에서, 주변 환경 정보 취득부(40)를 통하여 취득한 주변 환경 정보를 해석하여 예를 들면 산이라든지 바다라든지의 장소를 산출하고, 스텝 S66에서, 속성 정보로서, 해당 주변 환경 정보에 합치하는 주변 환경 정보를 구비하는 악곡을 다음의 재생 악곡 후보로서 정하도록 하여도 된다. 또한, 해당 주변 환경 정보에 합치하는 주변 환경 정보를 구비하는 악곡뿐만 아니라, 그 악곡의 악곡 구성 정보와 비슷한 악곡을 구하고, 이들을 다음의 재생 악곡 후보로 하도록 하여도 된다.
나아가서는, 영상 음향 데이터 선택 판단 제어부(201)는, 스텝 S66에서, 재생 이력 정보와, 주변 환경 정보의 양방을 이용하여, 다음의 재생 악곡 후보를 결정하도록 할 수도 있다.
도 21은, 리듬 마스터부(210)에서의 동기 신호 및 악곡 재구성용 데이터의 생성 출력 처리의 일례의 플로우차트이다.
우선, 영상 음향 데이터 선택 판단 제어 RM부(201M)는, 속성 정보 취득부(203)를 통하여 음악 콘텐츠 기억부(20)의 속성 정보 기억부(22)로부터 재생 대상의 음악 콘텐츠의 속성 정보를 취득하고(스텝 S91), 해당 취득한 속성 정보 중에서, BPM치, 키치 및 코드치를 추출한다(스텝 S92).
다음으로, 추출한 BPM치에 기초하여, 소절 동기 신호 PHSY 및 비트 동기 신호 BTSY로 되는 동기 신호 SYNC를 생성한다(스텝 S93). 또한, 추출한 BPM치, 키치 및 코드치를, BPM치 설정부, 키치 설정부 및 코드치 설정부에 설정한다(스텝 S94).
그리고, 스텝 S93에서 생성한 동기 신호 SYNC와, 스텝 S94에서 설정한 BPM치, 키치 및 코드치로 이루어지는 악곡 재구성용 데이터 ARI를, 리듬 슬레이브부(220)에 송출한다(스텝 S95).
그리고, 재생의 종료인지의 여부를 판별하여(스텝 S96), 재생의 종료이면 이 도 21의 처리 루틴을 종료한다. 또한, 재생의 종료가 아니면, 재생 중인 악곡이 최후까지 재생되어 종료로 되었는지 여부를 판별하여(스텝 S97), 악곡이 아직 종료가 아니라고 판별했을 때에는, 스텝 S93으로 되돌아가, 동기 신호 SYNC 및 악곡 재구성용 데이터 ARI를 리듬 슬레이브부(220)에 송출을 계속한다.
또한, 스텝 S97에서, 악곡은 종료되었다고 판별했을 때에는, 선택되어 있는 다음의 악곡의 재생 준비를 하고(스텝 S98), 스텝 S91로 되돌아가, 이상의 처리를 반복한다.
또한, 이 경우, 전술한 바와 같이, 예를 들면, 속성 정보 중에 기술되어 있는, 악곡 소재 단위로서의 예를 들면 소절의 구획의 타임 코드 정보와, 실제의 영상 음향 데이터의 소절의 구획의 타임 코드가 정확하게 일치하고 있도록 구성되어 있고, 음악 콘텐츠의 영상 음향 데이터와 속성 정보는, 정확히 대응하고 있도록 되어 있다. 따라서, 리듬 마스터부(210)로부터 리듬 슬레이브부(220)에 공급되는 동기 신호 SYNC 및 악곡 재구성용 데이터 ARI는, 리듬 슬레이브부(220)에 영상 음향 데이터 취득부(204)를 통하여 입력되는 영상 음향 데이터의 재생 신호 스트림과, 완전히 동기하고 있는 것이다.
다음으로, 도 22는, 리듬 슬레이브부(220)에서의 악곡 재구성 처리의 일례의 플로우차트이다. 또한, 여기에서는, 악곡 재구성 처리는, 리믹스 처리만을 예로서 설명하지만, 특수 효과 처리도 가능함은 전술한 바와 같다.
우선, 영상 음향 데이터 선택 판단 제어 RS부(201S)는, 속성 정보 취득 부(203)를 통하여 음악 콘텐츠 기억부(20)의 속성 정보 기억부(22)로부터, 재생 대상의 악곡뿐만 아니라, 복수개의 음악 콘텐츠의 속성 정보를 취득하고(스텝 S101), 해당 취득한 속성 정보에 기초하여, 재생 대상의 악곡에 리믹스할 악곡 소재를 검출한다(스텝 S102).
여기에서, 음악 콘텐츠 기억부(20)의 속성 정보 기억부(22)로부터, 모든 음악 콘텐츠의 속성 정보를 읽어내어 취득하도록 하여도 되지만, 음악 콘텐츠 기억부(20)에 기억되어 있는 음악 콘텐츠의 수가 대량으로 되면, 재생 대상의 악곡에 리믹스할 악곡 소재의 검출의 부하가 과대해진다. 따라서, 이 예에서는, 한번에 모든 속성 정보를 음악 콘텐츠 기억부(20)의 속성 정보 기억부(22)로부터 읽어내는 것이 아니라, 복수 회로 나누어 읽어내어, 각 회에 있어서 재생 대상의 악곡에 리믹스할 악곡 소재의 검출을 하도록 한다.
복수 회로 나누어, 속성 정보를 음악 콘텐츠 기억부(20)의 속성 정보 기억부(22)로부터 읽어내므로, 리믹스할 악곡 소재의 검출 처리는, 재생 대상의 악곡의 재생이 개시된 후에도 행해지게 되지만, 악곡의 재생 개시와 동시에 리믹스하는 일이 그다지 없는 것을 고려하면, 재생 대상의 악곡에 리믹스할 악곡 소재의 검출 처리로서는, 충분하다.
다음으로, 영상 음향 데이터 선택 판단 제어 RS부(201S)로부터의 선택 지시에 따라서 디코드부(202) 및 영상 음향 데이터 취득부(204)를 통하여, 재생 대상의 영상 음향 데이터를 취득하여 재생을 개시한다(스텝 S103). 이 재생은, 리듬 마스터부(210)로부터의 동기 신호 SYNC 및 악곡 재구성용 데이터 ARI에 동기하여 이루 어지는 것은 전술한 바와 같다.
다음으로, 영상 음향 데이터 선택 판단 제어 RS부(201S)는, 재생 중인 악곡에 리믹스 처리를 실시할 것인지의 여부를 판별하여(스텝 S104), 리믹스 처리를 하지 않는다고 판별했을 때에는, 재생 대상의 악곡 데이터를 영상 음향 데이터 디코드부(205) 및 영상 음향 어레인지 처리부(206)를 통하여 음향 출력부(53) 및 영상 출력부(56)에 송출한다(스텝 S105).
또한, 스텝 S104에서, 리믹스 처리를 한다고 판별했을 때에는, 스텝 S102에서 검출한 리믹스할 악곡 소재의 템포와 음정을, 전술한 바와 같이, 리듬 마스터부(210)로부터의 악곡 재구성용 데이터 ARI에 기초하여, 필요에 따라서 보정하면서, 재생 대상의 악곡 데이터에 리믹스한다(스텝 S106). 그리고, 리믹스 처리한 악곡 데이터를 출력한다(스텝 S107).
그리고, 재생의 종료인지의 여부를 판별하여(스텝 S108), 재생의 종료이면 이 도 22의 처리 루틴을 종료한다. 또한, 재생의 종료가 아니면, 재생 중인 악곡이 최후까지 재생되어 종료로 되었는지 여부를 판별하여(스텝 S109), 악곡이 아직 종료가 아니라고 판별했을 때에는, 스텝 S104로 되돌아가, 이 스텝 S104 이후의 처리를 반복한다.
또한, 스텝 S109에서, 악곡은 종료되었다고 판별했을 때에는, 선택되어 있는 다음의 악곡의 재생 준비를 하고(스텝 S110), 스텝 S101로 되돌아가, 이상의 처리를 반복한다.
[제2 실시 형태]
전술한 제1 실시 형태에서는, 리듬 마스터부(210)는, 재생 대상의 음악 콘텐츠의 속성 정보로부터 추출한 BPM치, 키치, 코드치를 기준으로, 재생 대상의 악곡에 대한 재구성 처리로서, 리믹스 처리를 하는 경우를 주로 하여 설명했다. 이 때문에, 재생 대상의 악곡의 템포나 음정을 변경하는 것은 행하지 않았지만, 리스너의 기분이나, 악곡을 청취하고 있는 장소 등의 주변 환경 등을 고려하여, 재생 대상의 악곡에 대해서도 템포나 음정을 변경 보정하는 것을, 악곡의 재구성 처리에 포함시킬 수도 있다.
또한, 경우에 따라서는, 리스너가 템포나 음정의 변경 지시를 하는 경우도 생각된다.
또한, 재생 대상의 악곡을, 기록 재생 장치가 놓여 있는 장소에서 연주되고 있는 드럼이나 피아노 등에 동기시켜 재생시키고자 하는 요구나, 기록 재생 장치에 외부로부터 입력되는 악곡에 동기시켜 재생시키고자 하는 요구도 있다.
이 제2 실시 형태는, 이들 요구를 실현할 수 있도록 한 기록 재생 장치를 제공하는 것이다.
도 23은, 이 제2 실시 형태의 경우에서의 기록 재생 장치의 블록도로, 도 1의 제1 실시 형태의 경우에서의 기록 재생 장치에서, 시스템 버스(2)에 대하여, 라인 입력 인터페이스(17)와, 마이크 입력 인터페이스(18)가 추가 접속되어 있는 구성으로 되어 있고, 하드웨어적으로는, 그 밖의 구성은, 제1 실시 형태와 완전 마찬가지이다.
그리고, 라인 입력 인터페이스(17)에는, 외부 입력 단자(8)가 접속되어 있 다. 라인 입력 인터페이스(17)는, 이 외부 입력 단자(라인 입력 단자(8))를 통하여 입력된 영상 음향 데이터를 시스템 버스(2)에 송출한다.
이 제2 실시 형태에서는, 외부 입력 단자(8)를 통하여 입력된 영상 음향 데이터는, 유저 인터페이스(11)를 통한 유저 지시 조작에 따라서, 인코드/디코드부(12)에서 기록 인코드되고, 음악 콘텐츠 기억부(20)의 영상 음향 데이터 기억부(21)에 저장된다.
또한, 외부 입력 단자(8)를 통하여 입력된 영상 음향 데이터가 곡조 분석부(13)에서 분석되고, 그 결과 얻어진 악곡 구성 정보가 인코드/디코드부(12)에 의해 기록 인코드되어, 음악 콘텐츠 기억부(20)의 속성 정보 기억부(22)에 저장된다. 이 경우, 음악 콘텐츠 기억부(20)에 저장되는 속성 정보와, 대응하는 영상 음향 데이터는, 그 식별 정보에 의해 대응지어지는 것은 전술한 바와 같다.
그리고, 이 제2 실시 형태에서는, 후술하는 바와 같이, 이 외부 입력 단자(8)를 통하여 입력된 영상 음향 데이터의 템포에 동기하여, 재생 대상의 악곡 데이터의 재생이 가능하게 되도록 구성되어 있다. 즉, 외부 입력 단자(8)를 통하여 입력된 영상 음향 데이터가 곡조 분석부(13)에서 분석되고, 그 분석 결과의 하나인 BPM치에 기초하여, 전술한 동기 신호 SYNC가 생성되는 것이다.
마이크 입력 인터페이스(18)에는, 수음 수단으로서의 마이크로폰(9)이 접속되어 있고, 이 마이크로폰(9)에서 수음되어 얻어지는 음성 신호가, 이 마이크 입력 인터페이스(18)에서 디지털 신호로 변환되어, 시스템 버스(2)에 송출된다.
그리고, 이 제2 실시 형태에서는, 후술하는 바와 같이, 마이크로폰(9)에서 수음되어, 마이크 입력 인터페이스(18)를 통하여 입력된 음향 데이터의 템포에 동기하여, 재생 대상의 악곡 데이터의 재생이 가능하게 되도록 구성되어 있다.
예를 들면, 기록 재생 장치의 근방에서 연주되고 있는 드럼, 피아노, 악곡이 마이크로폰(9)에서 수음되고, 곡조 분석부(13)에서 분석되어, BPM치가 검출되고, 검출된 BPM치에 기초하여, 전술한 동기 신호 SYNC가 생성된다.
도 24는, 전술의 제1 실시 형태의 도 10의 재생부에 대응하는 제2 실시 형태의 재생부(200)를 도시하는 것이다. 영상 음향 데이터 선택 판단 제어부(201)에 대하여, 라인 입력 인터페이스(17)가 접속됨과 함께, 마이크 입력 인터페이스(18)가 접속되어 있는 점이 서로 다름과 함께, 영상 음향 데이터 선택 판단 제어부(201)에서의 소프트웨어 처리가 제1 실시 형태의 경우와 서로 다르다. 그밖에는, 제1 실시 형태와 마찬가지이다.
도 25는, 도 24의 재생부(200)를, 악곡의 재구성 처리의 관점에서 본 기능 블록도의 구성을 도시하는 것으로써, 실질상의 구성 내용은, 도 24와 바뀐 것은 없다.
이 도 25에 도시한 바와 같이, 재생부(200)는, 악곡 데이터의 재구성의 기준으로 되는 동기 신호와 악곡 재구성용 정보를 생성해서 출력하는 리듬 마스터부(210)와, 이 리듬 마스터부(210)로부터의 동기 신호와 악곡 재구성용 정보를 받아, 악곡 데이터의 재구성을 실행하는 리듬 슬레이브부(220)로 이루어진다.
영상 음향 데이터 선택 판단 제어부(201)는, 제1 실시 형태와 마찬가지로, 리듬 마스터부(210)에 속하는 RM부(201M)와, 리듬 슬레이브부(220)에 속하는 RS 부(201S)로 나뉘어진다. 그리고, 이 제2 실시 형태에서는, 속성 정보 취득부(203)뿐만 아니라, 생체 정보 취득부(30)와, 주변 환경 정보 취득부(40)와, 재생 이력 정보 유지부(15)가, 리듬 마스터부(210)와, 리듬 슬레이브부(220)의 양방에 속하는 것으로 된다.
즉, 이 제2 실시 형태에서의 리듬 마스터부(210)는, RM부(201M)와, 속성 정보 취득부(203)와, 생체 정보 취득부(30)와, 주변 환경 정보 취득부(40)와, 재생 이력 정보 유지부(15)를 구비하여 구성된다.
한편, 이 제2 실시 형태에서의 리듬 슬레이브부(220)는, 제1 실시 형태와 마찬가지로, RS부(201S)와, 속성 정보 취득부(203)와, 생체 정보 취득부(30)와, 주변 환경 정보 취득부(40)와, 재생 이력 정보 유지부(15)와, 영상 음향 데이터 취득부(204)와, 영상 음향 데이터 디코드부(205)와, 영상 음향 어레인지 처리부(206)를 구비하여 구성된다. 즉, 리듬 슬레이브부는, 제1 실시 형태와 거의 마찬가지의 구성으로 된다.
그리고, 리듬 마스터부(210)의 RM부(201M)는, 속성 정보 취득부(203)로부터의 속성 정보에만 기초하여 악곡의 재구성의 기준으로 되는 동기 신호 SYNC를 생성하는 것은 아니다. 이 제2 실시 형태에서는, 리듬 마스터부(210)는, 유저 인터페이스(11)를 통한 유저 입력, 라인 입력 인터페이스(17)를 통하여 외부로부터 입력되는 영상 음향 데이터, 마이크 입력 인터페이스(18)를 통하여 입력되는 외부 수음 음성 데이터, 생체 정보 취득부(30)에서 취득된 리스너의 생체 정보, 주변 환경 정보 취득부(40)에서 취득된 주변 환경 정보, 재생 이력 정보 유지부(15)로부터 읽어 내어지는 재생 이력 정보에 기초하여, 악곡의 재구성의 기준으로 되는 동기 신호 SYNC를 생성하도록 한다.
또한, 이 제2 실시 형태에서는, 리듬 마스터부(210)는, 동기 신호 SYNC뿐만 아니라, 악곡 구성용 데이터 ARI도, 유저 인터페이스(11)를 통한 유저 입력, 라인 입력 인터페이스(17)를 통하여 외부로부터 입력되는 영상 음향 데이터, 마이크 입력 인터페이스(18)를 통하여 입력되는 외부 수음 음성 데이터, 생체 정보 취득부(30)에서 취득된 리스너의 생체 정보, 주변 환경 정보 취득부(40)에서 취득된 주변 환경 정보, 재생 이력 정보 유지부(15)로부터 읽어내어지는 재생 이력 정보에 기초하여, 생성하는 것이 가능하게 되어 있다.
도 26은, 이 제2 실시 형태에서의 리듬 마스터부(210)의 상세 구성예를 도시하는 도면으로, 특히 RM부(201M)의 기능의 상세 내용을 블록화한 것이다. 이 제2 실시 형태에서는, RM부(201M)는, 제1 실시 형태의 동기 신호 생성부(212) 대신에 동기 신호 생성부(230)를 구비함과 함께, 제1 실시 형태의 속성 정보 해석부(211) 대신에, 재생 양태 설정부(240)를 구비한다.
그리고, 재생 양태 설정부(240)에는, 속성 정보 취득부(203)뿐만 아니라, 생체 정보 취득부(30), 주변 환경 정보 취득부(40), 재생 이력 정보 유지부(15), 라인 입력 인터페이스(17), 마이크 입력 인터페이스(18) 및 유저 인터페이스(11)의 출력이 공급된다. 그밖에는, 제1 실시 형태의 리듬 마스터부(210)와 마찬가지로 구성된다.
동기 신호 생성부(230)는, 내부 리듬 동기 발생부(231)와, 외부 리듬 동기 발생부(232)와, 생체 리듬 동기 발생부(233)와, 이들 3종의 리듬 동기 발생부(231, 232, 233)로부터의 출력 동기 신호 중 어느 하나를 선택하는 선택 스위치 회로(234)를 구비하여 구성된다.
내부 리듬 동기 발생부(231)는, 예를 들면 PLL 회로를 구비하고, 제1 실시 형태와 마찬가지로, 재생 대상의 음악 콘텐츠의 속성 정보로부터 추출된 BPM치에 기초하여 동기 신호 SYNC를 생성하거나, 혹은, 유저 인터페이스(11)를 통하여 유저에 의해 설정된 BPM치에 기초하여 동기 신호 SYNC를 생성한다.
외부 리듬 동기 발생부(232)는, 예를 들면 PLL 회로를 구비하고, 라인 입력 인터페이스(17)를 통하여 입력된 외부 입력 신호로부터 추출된 BPM치나, 마이크 입력 인터페이스(18)를 통하여 입력된 외부 수음 음성 신호로부터 추출된 BPM치에 기초하여, 외부로부터 입력되는 음악 리듬에 동기하도록 동기 신호 SYNC를 생성한다.
생체 리듬 동기 발생부(233)는, 예를 들면 PLL 회로를 구비하고, 생체 정보 취득부(30)로부터 취득한 유저의 맥파나 보행 템포나 보행 속도, 팔이나 손을 흔드는 템포나 속도 등의 생체 정보로부터, 해당 생체 정보에 동기하는 동기 신호 SYNC를 생성한다. 또한, PLL 회로는, 3개의 동기 발생부(231, 232, 233)에서, 1개의 PLL 회로를 공통으로 이용할 수 있다.
재생 양태 설정부(240)는, 이 제2 실시 형태에서는, 유저 인터페이스(11)를 통한 유저의 동기 선택 입력에 의해, 동기 신호 SYNC의 발생을, 내부 리듬 동기, 외부 리듬 동기, 생체 리듬의 어느 것으로 할지를 결정하여, 동기 신호 생성부(230)의 선택 스위치 회로(234)의 선택 제어 신호를 생성한다.
[내부 리듬 동기]
(재생 대상 음악 콘텐츠에 동기)
내부 리듬 동기의 경우에는, 재생 대상의 음악 콘텐츠의 속성 정보에 동기시킬 것인지, 유저 인터페이스(11)를 통하여 유저 설정된 BPM치에 동기시킬 것인지가, 또한 선택된다. 마찬가지로, 외부 리듬 동기의 경우에는, 라인 입력 단자(8)를 통한 외부 입력 신호 또는 마이크로폰(9)에서 수음된 외부 음성의 어느 것에 동기시킬 것인지가, 또한 선택된다.
그리고, 내부 리듬 동기의 재생 대상의 음악 콘텐츠의 속성 정보 동기가 선택되었을 때에는, 재생 양태 설정부(240)는, 선택 스위치 회로(234)는, 내부 리듬 동기 발생부(231)의 출력을 선택하는 상태로 절환함과 함께, 속성 정보 취득부(203)를 통하여 재생 대상의 음악 콘텐츠의 속성 정보를 취득하고, 그 속성 정보로부터 BPM치를 추출하여 동기 신호 생성부(230)의 내부 리듬 동기 발생부(231)에 공급한다. 내부 리듬 동기 발생부(231)는, 이에 공급된 BPM치에 상당하는 발진 주파수로 발진하고, 또한, 재생 대상의 음악 콘텐츠의 음악 리듬에 위상 동기하는 동기 신호 SYNC를 생성한다.
따라서, 동기 신호 생성부(230)로부터는, 재생 대상의 음악 콘텐츠의 속성 정보 중의 BPM치에 기초하여 생성된 동기 신호 SYNC가 동기 신호 출력 회로(213)를 통하여 리듬 슬레이브부(220)에 출력된다.
또한, 이 때, 재생 양태 설정부(240)는, 속성 정보 취득부(203)를 통하여 취득한 재생 대상의 음악 콘텐츠의 속성 정보로부터, 키치와, 코드치를 추출하고, 상 기 추출한 BPM치와 함께, 악곡 재구성용 데이터 설정부(214)에 공급한다. 악곡 재구성용 데이터 설정부(214)는, 이들 BPM치, 키치, 코드치를 각각의 설정부(217, 218, 219)에 설정한다.
따라서, 재생 대상의 음악 콘텐츠의 속성 정보 중의 BPM치, 키치, 코드치를 포함하는 악곡 재구성용 데이터 ARI가, 동기 신호 SYNC에 동기하여, 리듬 슬레이브부(220)에 출력된다. 그 결과, 리듬 슬레이브부(220)에서는, 제1 실시 형태와 마찬가지로 해서, 재생 대상의 음악 콘텐츠의 속성 정보에 기초하여 악곡에 대한 재구성이 이루어진다.
(유저 입력에 동기)
또한, 내부 리듬 동기의 유저 입력 설정 동기가 선택되었을 때에는, 재생 양태 설정부(240)는, 선택 스위치 회로(234)를, 내부 리듬 동기 발생부(231)의 출력을 선택하는 상태로 절환함과 함께, 유저 인터페이스(11)를 통하여 BPM치의 입력을 접수하고, 해당 접수한 BPM 설정치를, 동기 신호 생성부(230)의 내부 리듬 동기 발생부(231)에 공급한다. 내부 리듬 동기 발생부(231)는, 이에 공급된 BPM치에 상당하는 발진 주파수로 발진하는 동기 신호 SYNC를 생성한다.
따라서, 동기 신호 생성부(230)로부터는, 유저에 의해 지정된 BPM치에 기초하여 생성된 동기 신호 SYNC가 동기 신호 출력 회로(213)를 통하여 리듬 슬레이브부(220)에 출력된다. 이에 의해, 동기 신호 생성부(230)로부터는, 유저가 설정한 BPM치에 기초하여 생성된 동기 신호 SYNC가 동기 신호 출력 회로(213)를 통하여 리듬 슬레이브부(220)에 공급된다.
또한, 이 때, 재생 양태 설정부(240)는, 유저 인터페이스(11)를 통하여, BPM치 외에, 키치 및 코드치(코드 진행)의 입력을 접수하고, 해당 접수한 BPM치, 키치, 코드치를 악곡 재구성용 데이터 설정부(214)에 공급한다. 이 경우, 키치나 코드치는, 시계열적으로 변화되는 양태도 유저에 의해 입력되게 된다. 악곡 재구성용 데이터 설정부(214)는, 이들 BPM치, 키치, 코드치를 각각의 설정부(217, 218, 219)에 설정한다.
따라서, 유저의 설정치에 따른 BPM치, 키치, 코드치를 포함하는 악곡 재구성용 데이터 ARI가, 동기 신호 SYNC에 동기하여, 리듬 슬레이브부(220)에 출력된다.
그 결과, 리듬 슬레이브부(220)로부터, 유저가 설정한 템포나 곡조로 악곡의 음향 재생 출력을 할 수 있다.
[외부 리듬 동기]
또한, 외부 리듬 동기가 선택되었을 때에는, 재생 양태 설정부(240)는, 선택 스위치 회로(234)를, 외부 리듬 동기 발생부(232)의 출력을 선택하는 상태로 절환함과 함께, 유저 선택에 따라서, 라인 입력 인터페이스(17)를 통하여, 혹은 마이크 입력 인터페이스(18)를 통하여 받아들인 음향 데이터를, 곡조 분석부(13)에서 분석하고, 그 분석 결과로서 얻어지는 BPM치를 외부 리듬 동기 발생부(232)에 공급한다. 외부 리듬 동기 발생부(232)는, 이에 공급된 BPM치에 상당하는 발진 주파수로 발진하고, 또한, 외부로부터 입력되는 음악 리듬에 위상 동기하는 동기 신호 SYNC를 생성한다.
이에 의해, 동기 신호 생성부(230)로부터는, 외부 입력 신호 또는 마이크 입 력 신호로부터 검출된 BPM치에 기초하여 생성된 동기 신호 SYNC가 동기 신호 출력 회로(213)를 통하여 리듬 슬레이브부(220)에 출력된다.
재생 양태 설정부(240)는, 또한, 속성 정보 취득부(203)를 통하여 취득한 재생 대상의 음악 콘텐츠의 속성 정보로부터, 키치와, 코드치를 추출하고, 상기 추출한 BPM치와 함께, 악곡 재구성용 데이터 설정부(214)에 공급한다. 악곡 재구성용 데이터 설정부(214)는, 이들 BPM치, 키치, 코드치를 각각의 설정부(217, 218, 219)에 설정한다.
따라서, 외부 입력 신호 또는 마이크 입력 신호로부터 검출된 BPM치, 키치, 코드치를 포함하는 악곡 재구성용 데이터 ARI가, 동기 신호 SYNC에 동기하여, 리듬 슬레이브부(220)에 출력된다.
이에 의해, 이 외부 리듬 동기의 상태에서는, 리듬 슬레이브부(220)로부터, 외부로부터 받아들인 악곡에 동기하여 설정된 템포로 악곡의 음향 재생 출력을 할 수 있다.
[생체 리듬 동기]
또한, 생체 리듬 동기가 선택되었을 때에는, 재생 양태 설정부(240)는, 선택 스위치 회로(234)를, 생체 리듬 동기 발생부(233)의 출력을 선택하는 상태로 절환함과 함께, 생체 정보 취득부(30)를 통하여 취득한 생체 정보로부터 템포나 리듬에 관한 성분을 추출하고, 추출한 성분으로부터 BPM치에 대응하는 정보를 생성하고, 해당 생성한 BPM치를, 동기 신호 생성부(230)의 생체 리듬 동기 발생부(231)에 공급한다.
이에 의해, 동기 신호 생성부(230)에서는, 유저의 생체 리듬에 상당하는 발진 주파수로 발진하고, 또한, 생체 리듬에 위상 동기된 동기 신호 SYNC가 생성되고, 해당 생성된 동기 신호 SYNC가 동기 신호 출력 회로(213)를 통하여 리듬 슬레이브부(220)에 공급된다. 따라서, 리듬 슬레이브부(220)로부터, 유저의 생체 리듬에 동기한 템포로 악곡의 음향 재생 출력을 할 수 있다.
또한, 이 생체 리듬 동기가 선택되었을 때에서는, 단순히, 생체 정보 취득부(30)를 통하여 취득한 생체 정보에만 기초하여 동기 신호 SYNC를 생성하는 것이 아니라, 주변 환경 정보 취득부(40)로부터의 주변 환경 정보도 참조하여, 동기 신호 SYNC를 생성할 수도 있다.
예를 들면, 주변 환경 정보로부터, 기록 재생 장치가 존재하는 위치가 「바다」이고, 기온이 높고, 날씨가 비는 아니라고 판별했을 때에는, 생체 정보에 동기하여, 업템포로 되는 동기 신호 SYNC를 생성하고, 또한, 기록 재생 장치가 존재하는 위치가 「산」일 때에는, 생체 정보에 동기하여, 슬로우 템포로 되는 동기 신호 SYNC를 생성하도록 할 수 있다.
또한, 재생 이력 정보 유지부(15)의 재생 이력 정보로서, 각 악곡에 대응하여, 해당 악곡을 시청중인 리스너의 맥 등의 생체 정보를 기억하여 유지해 놓고, 생체 정보 취득부(30)로부터 취득하여 생체 정보에 근사한 생체 정보로 되어 있는 악곡을, 재생 이력 정보 유지부(15)로부터 검색하고, 그 악곡의 속성 정보로부터 BPM치를 구하여, 동기 신호 SYNC를 생성하도록 하여도 된다. 그 경우에는, 동기 신호 SYNC는, 생체 정보 취득부(30)로부터 취득한 생체 정보에 동기시켜도 되고, 또한, 동기시키지 않아도 된다.
또한, 이 때, 재생 양태 설정부(240)는, 이 실시 형태에서는, 생체 정보 취득부(30)로부터의 생체 정보 및/또는 주변 환경 정보 취득부(40)로부터의 주변 환경 정보를 검색자로 하여, 재생 이력 정보 유지부(15)에 유지되어 있는 재생 이력 정보를 검색하고, 검색 결과의 악곡의 속성 정보로부터 BPM치, 키치, 코드치를 생성하고, 이들을 악곡 재구성용 데이터 설정부(214)에 전달한다. 악곡 재구성용 데이터 설정부(214)는, 이들 BPM치, 키치, 코드치를 각각의 설정부(217, 218, 219)에 설정한다.
예를 들면, 생체 정보로부터 리스너는 기분이 고양되어 있는 것이 판정된 경우에, 해당 기분이 고양되어 있을 때에 언제나 듣고 있는 악곡을 재생 이력으로부터 검출하고, 그 악곡의 BPM치에 기초하여 동기 신호 SYNC를 생성하고, 그 악곡의 BPM치, 키치, 코드 진행을 악곡 재구성용 데이터 ARI로서 생성하여, 리듬 마스터부(210)로부터 리듬 슬레이브부(220)에 공급할 수 있다. 이에 의해, 리스너는, 기분이 고양되어 있을 때에 언제나 듣고 있는 악곡에 근사한 템포나 곡조로 악곡을 재생하는 것이 가능하게 된다.
또한, 주변 환경 정보로부터, 바다 또는 산 등의 장소를 특정할 수 있거나, 비, 맑음, 등의 날씨를 특정할 수 있었던 경우에, 재생 이력 정보에 포함되는 이들 주변 환경 정보를 참조하여, 해당 장소나 환경 조건에서, 자주 듣고 있는 악곡을 재생 이력으로부터 검출하고, 그 악곡의 BPM치에 기초하여 동기 신호 SYNC를 생성하고, 그 악곡의 BPM치, 키치, 코드 진행을 악곡 재구성용 데이터 ARI로서 생성하 여, 리듬 마스터부(210)로부터 리듬 슬레이브부(220)에 공급할 수 있다. 이에 의해, 리스너는, 동일한 주변 환경 조건에 있어서, 에 언제나 듣고 있는 악곡에 근사한 템포나 곡조로 악곡을 재생하는 것이 가능하게 된다.
따라서, 생체 정보 및/또는 주변 환경 정보, 또한 재생 이력 정보에 기초하여 선정된 악곡의 속성 정보 중의 BPM치, 키치, 코드치를 포함하는 악곡 재구성용 데이터 ARI가, 동기 신호 SYNC에 동기하여, 리듬 슬레이브부(220)에 출력된다. 그 결과, 리듬 슬레이브부(220)에서는, 그 때의 유저의 기분이나, 주변 환경에 따른 템포 및 곡조로, 악곡이 재구성이 이루어지고, 음향 재생된다.
또한, 전술한 설명에서는, 생체 정보 취득부(30)로부터의 생체 정보 및/또는 주변 환경 정보 취득부(40)로부터의 주변 환경 정보의 검색자로 했지만, 이들 생체 정보 및/또는 주변 환경 정보로부터 생성한 검색자, 예를 들면 밝은 느낌이면서, 또한 업템포인 느낌, 무디한 느낌이면서 또한 슬로우 템포인 느낌, 등과 같은 검색자를 생체 정보 및/또는 주변 환경 정보로부터 생성하고, 그것을 검색자로서 이용하여, 재생 이력 정보 유지부(15)에 유지되어 있는 재생 이력 정보를 검색 하도록 하여도 된다.
또한, 생체 정보 및/또는 주변 환경 정보로부터, BPM치나, 키치, 코드치 및 코드 진행을 생성하도록 할 수도 있다. 예를 들면, 생체 정보 및/또는 주변 환경 정보의 다양한 조건에 대한, BPM치나, 키치, 코드치 및 코드 진행의 다양한 데이터치의 테이블을 미리 준비해 놓고, 생체 정보 및/또는 주변 환경 정보에 의해, 상기 테이블로부터, 대응하는 BPM치나, 키치, 코드치 및 코드 진행의 데이터를 읽어내도 록 하여도 된다. 이 테이블은, 리스너의 재생 이력으로부터 생성하거나, 리스너가 자기 자신이 생성해 두도록 하여도 된다.
또한, 이 제2 실시 형태에서, 동기 신호 SYNC의 발생의 방법으로서는, 전술한 예에 한정되는 것은 아니다. 예를 들면, 주변 환경 정보 취득부(40)에서 취득한 주변 환경 정보와, 재생 이력 정보 유지부(15)에 유지되어 있는 재생 이력으로부터 정한 동기 신호 SYNC를 발생하도록 할 수도 있다.
예를 들면, 주변 환경 정보 취득부(40)로부터 취득한 주변 환경 정보를 검색자로 하여, 재생 이력 정보 유지부(15)의 재생 이력을 검색하고, 해당 재생 이력 정보 유지부(15)에 기억되어 있는 재생 이력 정보에 포함되는 악곡의 속성 정보 중의 주변 환경 정보로서 동일한, 혹은 근사한 것을 검출하고, 해당 주변 환경 정보를 검색자로서 검색한 악곡의 속성 정보에 포함되는 BPM치에 기초하여, 동기 신호 SYNC를 생성하도록 하여도 된다.
전술한 제1 실시 형태에서는, 최초로 재생하는 악곡은, 유저가 선택하도록 했다.
이 제2 실시 형태에서도, 최초의 악곡은, 유저가 선택하도록 하여도 되지만, 내부 리듬 동기의 유저 설정에 의한 동기의 경우나, 외부 리듬 동기, 또한, 생체 리듬 동기에서는, 리듬 슬레이브부(220)에 있어서, 악곡 재구성용 데이터 ARI에 합치하는 혹은 근사한 악곡을, 음악 콘텐츠 기억부(20)의 속성 정보 기억부(22)에 기억되어 있는 속성 정보로부터 검출하여, 재생을 하도록 할 수도 있다.
또한, 재생 중인 악곡에 대한 재구성 처리는, 이 제2 실시 형태에서도, 리듬 마스터부(210)로부터의 동기 신호 SYNC 및 악곡 재구성용 데이터 ARI를 이용하여, 제1 실시 형태와 마찬가지로 해서 할 수 있는 것이다.
[리듬 마스터부(210)의 동작 설명]
이 제2 실시 형태에 있어서의 리듬 마스터부(210)에서의 처리 동작의 플로우차트를, 도 27∼도 29를 참조하면서 설명한다.
우선, 재생 양태 설정부(240)는, 이 실시 형태에서는, 유저 인터페이스(11)를 통하여, 유저에 의해 선택 지정된 동기 기준은 어떤 것인지 판별한다(스텝 S201).
이 스텝 S201에서, 내부 리듬 동기의 경우로서, 동기 기준은, 재생 대상의 음악 콘텐츠라고 판별하면, 영상 음향 데이터 선택 판단 제어 RM부(201M)의 재생 양태 설정부(240)는, 속성 정보 취득부(203)를 통하여 음악 콘텐츠 기억부(20)의 속성 정보 기억부(22)로부터 재생 대상의 음악 콘텐츠의 속성 정보를 취득하고(스텝 S202), 해당 취득한 속성 정보 중에서, BPM치, 키치 및 코드치를 추출한다(스텝 S203).
다음으로, 추출한 BPM치에 기초하여, 소절 동기 신호 PHSY 및 비트 동기 신호 BTSY로 되는 동기 신호 SYNC를 생성한다(스텝 S204). 또한, 추출한 BPM치, 키치 및 코드치를, BPM치 설정부, 키치 설정부 및 코드치 설정부에 설정한다(스텝 S205).
그리고, 스텝 S204에서 생성한 동기 신호 SYNC와, 스텝 S94에서 설정한 BPM치, 키치 및 코드치로 이루어지는 악곡 재구성용 데이터 ARI를, 리듬 슬레이브 부(220)에 송출한다(스텝 S206).
그리고, 재생의 종료인지의 여부를 판별하여(스텝 S207), 재생의 종료이면 이 처리 루틴을 종료한다. 또한, 재생의 종료가 아니면, 재생 중인 악곡이 최후까지 재생되어 종료로 되었는지 여부를 판별하여(스텝 S208), 악곡이 아직 종료가 아니라고 판별했을 때에는, 예를 들면 유저에 의해 유저 인터페이스(11)를 통하여, 동기 기준의 변경 조작이 되었는지의 여부를 판별하고(스텝 S210), 동기 기준의 변경 조작이 되었다고 판별했을 때에는, 스텝 S201로 되돌아가, 이 스텝 S201 이후의 처리를 반복한다.
또한, 스텝 S210에서 동기 기준의 변경 조작이 이루어지지 않았다고 판별했을 때에는, 스텝 S204로 되돌아가, 이 스텝 S204 이후의 처리를 반복한다.
또한, 스텝 S208에서, 악곡은 종료되었다고 판별했을 때에는, 선택되어 있는 다음의 악곡의 재생 준비를 하고(스텝 S209), 스텝 S202로 되돌아가, 이상의 처리를 반복한다.
다음으로, 스텝 S201에서, 설정된 동기 기준은, 내부 리듬 동기의 경우로서, 유저 설정 입력이라고 판별하면, 재생 양태 설정부(240)는, 유저 입력에 의해 설정된 BPM치를 취득하고(도 28의 스텝 S221), 해당 취득한 BPM치에 기초하여, 소절 동기 신호 PHSY 및 비트 동기 신호 BTSY로 이루어지는 동기 신호 SYNC를 생성한다(스텝 S222). 또한, 유저 입력에 의해 설정된 BPM치, 키치 및 코드치를 취득하고(스텝 S223), 해당 취득한 BPM치, 키치 및 코드치를, 악곡 재구성용 데이터 설정부(214)에 보내어, 그 BPM치 설정부(217), 키치 설정부(218) 및 코드치 설정 부(219)에 설정한다(스텝 S224).
그리고, 스텝 S222에서 생성한 동기 신호 SYNC와, 스텝 S223에서 설정한 BPM치, 키치 및 코드치로 이루어지는 악곡 재구성용 데이터 ARI를, 리듬 슬레이브부(220)에 송출한다(스텝 S225).
그리고, 재생의 종료인지의 여부를 판별하여(스텝 S226), 재생의 종료이면 이 처리 루틴을 종료한다. 또한, 재생의 종료가 아니면, 재생 중인 악곡이 최후까지 재생되어 종료로 되었는지 여부를 판별하여(스텝 S227), 악곡이 아직 종료가 아니라고 판별했을 때에는, 예를 들면 유저에 의해 유저 인터페이스(11)를 통하여, 동기 기준의 변경 조작이 되었는지의 여부를 판별하고(스텝 S229), 동기 기준의 변경 조작이 되었다고 판별했을 때에는, 스텝 S201로 되돌아가, 이 스텝 S201 이후의 처리를 반복한다.
또한, 스텝 S229에서 동기 기준의 변경 조작이 이루어지지 않았다고 판별했을 때에는, 스텝 S225로 되돌아가, 이 스텝 S225 이후의 처리를 반복한다.
또한, 스텝 S227에서, 악곡은 종료되었다고 판별했을 때에는, 선택되어 있는 다음의 악곡의 재생 준비를 하고(스텝 S228), 스텝 S225로 되돌아가, 이 스텝 S225 이후의 처리를 반복한다.
다음으로, 스텝 S201에서, 설정된 동기 기준은, 외부 리듬 동기라고 판별했을 때에는, 동기 기준으로 되는 외부 입력은, 외부 입력 단자(8)로부터의 입력 신호인지, 마이크로폰(9)에서 수음된 음성 신호인지를 판별한다( 도 29의 스텝 S231).
이 스텝 S231에서, 외부 입력 단자(8)로부터의 입력 신호를 동기 기준으로 한다고 판별했을 때에는, 재생 양태 설정부(240)는, 외부 입력 단자(8)를 통하여 입력된 음성 신호를 곡조 분석부(13)에 공급하여, 분석을 행하게 한다(스텝 S232). 또한, 스텝 S231에서, 마이크로폰(9)에서 수음한 음성 신호를 동기 기준으로 한다고 판별했을 때에는, 재생 양태 설정부(240)는, 마이크로폰(9)에서 수음된 음성 신호를 곡조 분석부(13)에 공급하여, 분석을 행하게 한다(스텝 S233).
스텝 S232 및 스텝 S233의 다음에는, 어느 것이나 스텝 S234로 진행하고, 곡조 분석부(13)에서의 분석 결과로부터 BPM치를 구하고, 구한 BPM치를 동기 신호 생성부(230)에 전달하여, 동기 신호 SYNC를 생성한다(스텝 S234).
또한, 곡조 분석부(13)에서의 분석 결과로부터 BPM치, 키치, 코드치를 구하고, 해당 구한 BPM치, 키치, 코드치를 악곡 재구성용 데이터 설정부(214)에 보내어, 그 BPM치 설정부(217), 키치 설정부(218), 코드치 설정부(219)에 설정한다(스텝 S235).
그리고, 스텝 S234에서 생성한 동기 신호 SYNC와, 스텝 S235에서 설정한 BPM치, 키치 및 코드치로 이루어지는 악곡 재구성용 데이터 ARI를, 리듬 슬레이브부(220)에 송출한다(스텝 S236).
그리고, 재생의 종료인지의 여부를 판별하여(스텝 S237), 재생의 종료이면 이 처리 루틴을 종료한다. 또한, 재생의 종료가 아니면, 재생 중인 악곡이 최후까지 재생되어 종료로 되었는지 여부를 판별하여(스텝 S238), 악곡이 아직 종료가 아니라고 판별했을 때에는, 예를 들면 유저에 의해 유저 인터페이스(11)를 통하여, 동기 기준의 변경 조작이 되었는지의 여부를 판별하고(스텝 S239), 동기 기준의 변경 조작이 되었다고 판별했을 때에는, 스텝 S201로 되돌아가, 이 스텝 S201 이후의 처리를 반복한다.
또한, 스텝 S239에서 동기 기준의 변경 조작이 이루어지지 않았다고 판별했을 때에는, 스텝 S234로 되돌아가, 이 스텝 S234 이후의 처리를 반복한다.
또한, 스텝 S238에서, 악곡은 종료되었다고 판별했을 때에는, 선택되어 있는 다음의 악곡의 재생 준비를 하고(스텝 S240), 스텝 S231로 되돌아가, 이 스텝 S231 이후의 처리를 반복한다.
다음으로, 스텝 S201에서, 설정된 동기 기준은, 생체 리듬 동기의 경우라고 판별하면, 재생 양태 설정부(240)는, 생체 정보 취득부(30)를 통하여 리스너의 생체 정보를 취득하고(스텝 S251), 또한, 기록 재생 장치의 주변 환경 정보를 취득한다(스텝 S252).
그리고, 취득한 생체 정보로부터, 템포 정보를 추출하고, 그 추출한 템포 정보를 동기 신호 생성부(230)에 공급하고, 해당 템포 정보로부터, 동기 신호 SYNC를 생성한다(스텝 S253). 그리고, 생체 정보와, 주변 환경 정보와, 재생 이력 정보 유지부(15)의 재생 이력 정보로부터, 전술한 바와 같이 해서, BPM치, 키치, 코드치를 결정한다(스텝 S254).
그리고, 결정한 BPM치, 키치 및 코드치를, 악곡 재구성용 데이터 설정부(214)에 보내어, 그 BPM치 설정부(217), 키치 설정부(218) 및 코드치 설정부(219)에 설정한다(스텝 S255).
그리고, 스텝 S253에서 생성한 동기 신호 SYNC와, 스텝 S255에서 설정한 BPM치, 키치 및 코드치로 이루어지는 악곡 재구성용 데이터 ARI를, 리듬 슬레이브부(220)에 송출한다(스텝 S256).
그리고, 재생의 종료인지의 여부를 판별하여(스텝 S257), 재생의 종료이면 이 처리 루틴을 종료한다. 또한, 재생의 종료가 아니면, 재생 중인 악곡이 최후까지 재생되어 종료로 되었는지 여부를 판별하여(스텝 S258), 악곡이 아직 종료가 아니라고 판별했을 때에는, 예를 들면 유저에 의해 유저 인터페이스(11)를 통하여, 동기 기준의 변경 조작이 되었는지의 여부를 판별하고(스텝 S260), 동기 기준의 변경 조작이 되었다고 판별했을 때에는, 스텝 S201로 되돌아가, 이 스텝 S201 이후의 처리를 반복한다.
또한, 스텝 S260에서 동기 기준의 변경 조작이 이루어지지 않았다고 판별했을 때에는, 스텝 S251로 되돌아가, 이 스텝 S251 이후의 처리를 반복한다.
또한, 스텝 S258에서, 악곡은 종료되었다고 판별했을 때에는, 선택되어 있는 다음의 악곡의 재생 준비를 하고(스텝 S259), 스텝 S251로 되돌아가, 이 스텝 S251 이후의 처리를 반복한다.
이상과 같이 해서, 이 제2 실시 형태에서는, 재생 대상의 악곡에 대해서도, 템포나 음정을 바꾸는 재구성을 행할 수 있다. 리스너는, 예를 들면 유저 인터페이스를 통하여, 템포나 음정의 변경 지시를 바꿈으로써, 재생 중인 악곡을, 해당 시청 시점에 있어서 자신이 좋아하도록 재구성하여, 음향 재생 출력할 수 있다.
또한, 재생 대상의 악곡을, 외부로부터 입력된 음성에 동기하여 재생하도록 재구성할 수 있다. 또한, 리스너의 보행에 맞추거나, 맥박에 맞추거나 해서, 악곡을 재생하는 것이 가능해진다. 또한, 주변 환경에 따라서, 템포를 올리거나, 내리거나, 또한, 키를 올리거나, 내리거나 할 수도 있다.
도 31은, 이 제2 실시 형태에서, 리듬 마스터부(210)로부터의 동기 신호 SYNC 및 악곡 재구성용 데이터 ARI를 받은 리듬 슬레이브부(220)의 영상 음향 데이터 디코드부(205) 및 영상 음향 어레인지 처리부(206)에서의 악곡 신호의 흐름을, 리듬 마스터부(210)로부터의 동기 신호 SYNC에, 동기시켜 나타냄과 함께, 리듬 슬레이브부(220)의 영상 음향 어레인지 처리부(206)에서의 악곡 재구성의 동작을, 리듬 마스터부(210)의 악곡 재구성용 데이터 ARI의 대응시키면서 도시하는 도면이다.
도 31의 예의 경우에는, 악곡 재구성용 데이터 ARI는, 재생 대상의 음악 콘텐츠의 속성 정보로부터 추출한 것으로 되어 있다고는 할 수 없으며, 재생 대상의 음악 콘텐츠의 BPM치와 서로 다르다. 또한, 악곡 재구성용 데이터 ARI에 포함되는 키치나 코드치도, 재생 대상의 음악 콘텐츠의 이들과 서로 다르다.
도 31에서, 재생 대상의 음악 콘텐츠는, 악곡 트랙 1의 재생 신호 스트림으로 되어 있다. 도 31의 예에서는, 악곡 재구성용 데이터 ARI로서, BPM치 「120」, 키치 「Cmajor」, 코드 진행 「C」→「G」→「F」의 목표치가 리듬 마스터부(210)로부터 리듬 슬레이브부(220)에 입력되어 있다.
그리고, 리듬 슬레이브부(220)에서는, 악곡 트랙 1의 재생 대상 음악 콘텐츠의 재생 신호 스트림에 대하여, 어레인지 제어부(221)에 의한 선택 지시에 기초하여 음악 콘텐츠 기억부(20)로부터 취득된 해당 재생 대상 음악 콘텐츠의 악곡 데이 터 자신의 템포나 음정이 보정됨과 함께, 2개의 악곡 소재가, 악곡 트랙 2, 악곡 트랙 3으로서 영상 음향 데이터 디코드부(205)로부터 출력되고, 그 2개의 악곡 소재의 악곡 데이터가, 상기 악곡 재구성용 데이터 ARI의 각각의 값의 목표치에 맞도록 보정되어, 악곡 트랙 1의 재생 대상 음악 콘텐츠에 대하여 최종적으로 믹스된다.
즉, 악곡 트랙 1의 음향 데이터는, 영상 음향 어레인지 처리부(206)에서, 악곡 재구성용 데이터 ARI의 목표 BPM치나 목표 코드치에 합치하도록 보정됨과 함께, 악곡 트랙 2, 3의 음향 데이터가, 영상 음향 어레인지 처리부(206)에서, 악곡 재구성용 데이터 ARI의 목표 BPM치나 목표 코드치에 합치하도록 보정된 후, 악곡 트랙 1의 악곡 데이터에 믹스되어, 리믹스 처리가 이루어진다.
이 경우, 도 31에 도시한 바와 같이, 악곡 트랙 1의 음향 데이터는, 속성 정보 취득부(203)를 통하여 취득된 이 악곡 소재 1의 소절 구간 Pa, Pb에서의 BPM치는 「140」으로서, 악곡 재구성용 데이터 ARI의 BPM치 「120」과 서로 다르므로, 영상 음향 어레인지 처리부(206)에서 템포의 보정이 이루어지고, 해당 소절 구간 Pa 및 Pb에서의 악곡 트랙 1의 악곡 데이터는, 그 BPM치가 「140」으로부터 「120」으로 되도록 보정된다.
또한, 악곡 트랙 1의 음향 데이터는, 속성 정보 취득부(203)를 통하여 취득된 이 악곡 소재 1의 소절 구간 Pa에서의 코드치는 「D」로서, 악곡 재구성용 데이터 ARI의 코드치 「C」와 서로 다르므로, 영상 음향 어레인지 처리부(206)에서 음정 보정이 이루어지고, 악곡 트랙 1의 악곡 데이터는, 그 코드치가 「D」로부터 「 C」로 되도록 보정된다.
그리고, 이 소절 구간 Pa에서는, 악곡 트랙 3의 악곡 소재 3이, 악곡 트랙 1의 음향 데이터에 믹스되지만, 속성 정보 취득부(203)를 통하여 취득된 이 악곡 소재 3의 소절 구간 Pa에서의 BPM치는 「120」으로서, 악곡 재구성용 데이터 ARI의 BPM치와 동일하므로, 악곡 소재 3의 악곡 데이터에 대해서는, 영상 음향 어레인지 처리부(206)에서는 템포의 보정은 이루어지지 않는다.
그러나, 속성 정보 취득부(203)를 통하여 취득된 악곡 소재 3의 소절 구간 Pa에서의 코드치는 「D」로서, 악곡 재구성용 데이터 ARI의 코드치 「C」와는 서로 다르므로, 해당 악곡 소재 3의 악곡 데이터에 대해서는, 영상 음향 어레인지 처리부(206)의 음정 보정 회로(226)에서, 전술한 바와 같이 해서 음정 보정이 이루어지고, 「D」→「C」로 목표치로 되도록 변경된다.
또한, 다음의 소절 구간 Pb의 전반에서는, 악곡 트랙 1의 음향 데이터는, 속성 정보 취득부(203)를 통하여 취득된 이 악곡 소재 1의 소절 구간 Pb의 전반에서의 코드치는 「D」로서, 악곡 재구성용 데이터 ARI의 코드치 「G」와 서로 다르므로, 영상 음향 어레인지 처리부(206)에서 음정 보정이 이루어지고, 악곡 트랙 1의 악곡 데이터는, 그 코드치가 「D」로부터 「G」로 되도록 보정된다.
그리고, 악곡 트랙 1의 음향 데이터는, 속성 정보 취득부(203)를 통하여 취득된 이 악곡 소재 1의 소절 구간 Pb의 후반에서의 코드치는 「D」로서, 악곡 재구성용 데이터 ARI의 코드치 「F」와 서로 다르므로, 영상 음향 어레인지 처리부(206)에서 음정 보정이 이루어지고, 악곡 트랙 1의 악곡 데이터는, 그 코드치가 「D」로부터 「F」로 되도록 보정된다.
그리고, 소절 구간 Pb의 전반에서는, 악곡 트랙 2의 악곡 소재 2가 악곡 트랙 1의 음향 데이터에 믹스되고, 또한, 소절 구간 Pb의 후반에서는, 악곡 트랙 2의 악곡 소재 2와, 악곡 트랙 3의 악곡 소재 3이 악곡 트랙 1의 악곡 데이터에 믹스된다.
그리고, 이 소절 구간 Pb의 전반에서는, 속성 정보 취득부(203)에 의해 취득된 악곡 소재 2의 소절 구간 Pb의 전반에서의 BPM치는 「100」, 코드치는 「E」로서, 악곡 재구성용 데이터 ARI의 목표 BPM치 「120」 및 목표 코드치 「G」와 서로 다르다. 이 때문에, 악곡 소재 2의 악곡 데이터는, 소절 구간 Pb의 전반에 있어서, 영상 음향 어레인지 처리부(206)에서, 「100」으로부터 「120」으로, 목표 BPM치에 합치하도록 템포의 보정이 이루어짐과 함께, 「E」로부터 「G」로, 목표 코드치에 합치하도록 음정의 보정이 이루어진다. 그리고, 소절 구간 Pb의 전반에서는, 이들 보정이 이루어진 악곡 소재 2의 악곡 데이터가, 악곡 트랙 1의 악곡 데이터에 가산된다.
또한, 이 소절 구간 Pb의 후반에서는, 악곡 소재 2의 BPM치는 「100」, 코드치는 「E」로서, 악곡 재구성용 데이터 ARI의 목표 BPM치 「120」 및 목표 코드치 「F」와 서로 다르지만, 악곡 소재 3의 BPM치는 「120」, 코드치는 「F」로서, 악곡 재구성용 데이터 ARI의 목표 BPM치 「120」 및 목표 코드치 「F」와 동일하다.
이 때문에, 소절 구간 Pb의 후반에서는, 악곡 트랙 2의 악곡 소재 2에 대해서는, 영상 음향 어레인지 처리부(206)에서 템포 및 음정의 보정이 이루어져 악곡 트랙 1의 악곡 데이터에 가산되고, 또한, 악곡 트랙 3의 악곡 소재 3에 대해서는 보정되지 않고, 악곡 트랙 1의 악곡 데이터에 가산된다.
이상과 같이 해서, 이 제2 실시 형태에서는, 리듬 마스터부로부터의 동기 신호 SYNC와, 악곡 재구성용 데이터 ARI를 바탕으로 하여, 재생 대상의 음악 콘텐츠에 대하여, 예를 들면, 리스너의 기분에 따른 재구성을 실시할 수 있음과 함께, 다른 악곡 소재를 믹스함으로써, 소위 리믹스 처리를 원래의 악곡에 대하여 위화감 없이, 실행할 수 있다.
또한, 이 제2 실시 형태에서도, 동기 신호 SYNC에 의해, 소절이나 박자의 구획을 용이하게 검출할 수 있으므로, 악곡 데이터에 대하여 특수 효과를 실시하는 것도 용이하게 행할 수 있다. 마찬가지로 하여, 이 제2 실시 형태에서도, 리믹스의 특수 효과 처리의 하나로서, 루프 재생 처리를 할 수 있다.
그리고, 이 제2 실시 형태에서는, 음향 재생된 악곡을 청취한 유저의 생체 정보나, 주변 환경 정보 혹은 유저의 재생 이력 정보에 기초하여, 동기 신호를 변경하는 것도 가능하도록 되어 있으므로, 유저의 기호나, 환경 변화에 따라서, 변화가 있는 음향 재생을 하는 것이 가능해진다.
[그 밖의 실시 형태 및 변형예]
전술한 실시 형태의 설명에서는, 음악 콘텐츠 기억부는, 하드디스크 장치로 구성하고, 음악 콘텐츠의 영상 음향 데이터와, 속성 정보가, 음악 콘텐츠 식별 정보(음악 콘텐츠 ID)를 통하여 대응지어서 기록되도록 했지만, 전술한 바와 같이, 음악 콘텐츠 기억부는, 리무벌 기록 미디어(착탈 가능 미디어)인 DVD 등의 광 디스 크로 구성할 수도 있다.
또한, 전술한 설명에서는, 음악 콘텐츠 기억부에서는, 음악 콘텐츠에는, 속성 정보가 반드시 부수되도록 설명했지만, 속성 정보는, 필요에 따라서, 예를 들면 인터넷으로부터, 음악 콘텐츠 ID를 검색자로서 취득하여 사용하도록 할 수도 있다.
그 경우에는, 인터넷에 접속되는 서버 장치가 속성 정보 기억부를 구성하게 된다.
즉, 음악 콘텐츠의 영상 음향 데이터와, 속성 정보는, 1개의 기억부에 저장되어 있을 필요는 없으며, 음악 콘텐츠 ID 등의 양자를 대응짓는 정보를 이용하여 대응하는 것이 가능한 양태이면, 별도의 기억부에 저장되어 있어도 된다.
또한, 전술한 실시 형태는, 기록 재생 장치의 경우이지만, 본 발명은, 기록 기능이 없는 재생 장치이어도 되는 것은 물론이다.
또한, 도 19 및 도 20의 재생 처리의 흐름은, 일례로서, 어떻게 재생을 행할지는, 이에 한정되는 것은 아니다.
예를 들면, 기호도가 높을 때에만, 재생 중인 악곡에 대하여, 템포나 키를 변경하거나, 리믹스하거나, 이펙트를 걸거나 하여 재구성 처리를 행하도록 했지만, 기호도에 관계없이, 재생 중인 악곡에 대하여 재구성 처리를 행하도록 하여도 된다.
또한, 재생 이력 정보 유지부(15)로부터 취득한 재생 이력 정보와, 재생 대상의 음악 콘텐츠에 대한 속성 정보의 악곡 구성 정보에 기초하여, 음향 재생 출력하는 재생 대상의 음악 콘텐츠의 데이터를 재구성하도록 하여도 된다. 이 경우, 과거의 재생 이력에 의해 예를 들면 시청 빈도가 높게 선호되고 있는 악곡을 검출하고, 예를 들면, 그 악곡의 속성 정보의 악곡 구성 정보와, 재생 중인 음악 콘텐츠의 속성 정보의 악곡 구성 정보를 이용하여, 위화감이 없도록, 고빈도 재생 이력의 악곡 데이터를 악곡 소재 단위로, 재생 중인 음악 콘텐츠의 데이터에 더하거나 하여, 리스너가 좋아하는 곡조로 재생 중 악곡을 재구성하는 것이 가능해진다.
또한, 주변 환경 정보 취득 수단으로부터 취득한 주변 환경 정보와, 재생 대상의 음악 콘텐츠에 대한 속성 정보에 기초하여, 음향 재생 출력하는 재생 대상의 음악 콘텐츠의 데이터를 재구성하도록 하여도 된다. 예를 들면, 바다, 산, 아침, 낮, 밤 등의 주변 환경 정보를 취득하고, 그 주변 환경 정보에 적합한 다른 악곡을, 속성 정보로서의 주변 환경 정보를 검색자로서 검색하고, 검색 결과의 다른 악곡의 데이터를, 재생 중인 음악 콘텐츠의 속성 정보의 악곡 구성 정보의 구획 정보에 맞추어, 위화감이 없도록 믹스하거나 함으로써, 음악 콘텐츠의 데이터를 재구성할 수 있으므로, 주변 환경에 따른 곡조에 재생 중 악곡을 재구성하는 것이 가능해진다.
또한, 유저의 유저 인터페이스를 통한 재구성 요구에 따라서, 음악 콘텐츠에 부수되는 속성 정보의 악곡 구성 정보를 이용하여 전술한 바와 같은 재구성 처리를 하도록 하여도 된다. 이 경우에, 유저가, 리믹스/이펙트/템포 변경/키 변경/코드 변경 중 어느 것을 행할지를 선택할 수 있도록 하여도 된다.
또한, 전술한 실시 형태에서는, 음악 콘텐츠로서는, 영상 데이터가 부수된 것을 취급하도록 했지만, 영상 데이터는 필수가 아닌 것은 물론이다.
또한, 전술한 제1 실시 형태에서는, 악곡의 재생을 개시할 때, 최초의 악곡은, 유저가 선택 지정하도록 했지만, 예를 들면, 리스너의 생체 정보나, 주변 환경 정보 혹은 재생 이력 정보로부터 최초의 악곡을 장치가 자동적으로 선택하도록 하여도 된다.
예를 들면, 리스너의 생체 정보로부터, 리스너가 흥분 상태 혹은 침정 상태인지를 판별하여, 그에 합치하는 혹은 반대의 곡조의 악곡을 최초의 곡으로서 선택하도록 하여도 된다. 또한, 현재 위치가 산인지, 바다인지를 주변 환경 정보로부터 판별하고, 속성 정보에 포함되는 주변 환경 정보를 참조하여, 해당 장소에 합치하는 악곡을 선택하여, 최초의 악곡으로 하여도 된다. 또한, 재생 이력으로부터 자주 듣고 있는 악곡을 최초의 악곡으로서 선택하도록 하여도 된다.
본 발명에 따르면, 청취하고 있는 유저의 기분, 기호나 주변 환경 등을 리얼 타임으로 악곡에 반영시켜, 악곡 데이터를 재구성할 수 있으므로, 악곡의 재생에 대하여, 엔터테인먼트성을 높일 수 있다.

Claims (37)

  1. 악곡의 소절에 대응하는 주기의 신호와 악곡의 박자에 대응하는 주기의 신호를 포함하는 동기 신호를 발생함과 함께, 악곡 재구성용 정보를 상기 동기 신호에 동기하여 발생하는 리듬 마스터부와,
    입력되는 음악 콘텐츠의 악곡 데이터를, 상기 리듬 마스터부로부터의 상기 동기 신호와, 상기 악곡 재구성용 정보에 따라서 재구성하여, 출력 악곡 데이터를 생성해서 출력하는 리듬 슬레이브부
    를 포함하는 것을 특징으로 하는 악곡 데이터 재구성 장치.
  2. 악곡의 소절에 대응하는 주기의 신호와 악곡의 박자에 대응하는 주기의 신호를 포함하는 동기 신호를 발생함과 함께, 악곡 재구성용 정보를 상기 동기 신호에 동기하여 발생하는 리듬 마스터부와,
    상기 리듬 마스터부로부터의 상기 동기 신호와 상기 악곡 재구성용 정보에 따라서, 복수의 음악 콘텐츠의 악곡 데이터를 가산하여 출력 악곡 데이터를 생성해서 출력하는 리듬 슬레이브부
    를 포함하는 것을 특징으로 하는 악곡 데이터 재구성 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 악곡 재구성용 정보는, 템포를 나타내기 위한 정보를 포함하는 것을 특 징으로 하는 악곡 데이터 재구성 장치.
  4. 제1항 또는 제2항에 있어서,
    상기 악곡 재구성용 정보는, 템포를 나타내기 위한 정보와, 키를 나타내는 정보를 포함하는 것을 특징으로 하는 악곡 데이터 재구성 장치.
  5. 제1항 또는 제2항에 있어서,
    상기 악곡 재구성용 정보는, 템포를 나타내기 위한 정보와, 코드 또는 코드 진행을 나타내는 정보를 포함하는 것을 특징으로 하는 악곡 데이터 재구성 장치.
  6. 제1항 또는 제2항에 있어서,
    상기 악곡 재구성용 정보는, 템포를 나타내기 위한 정보와, 키를 나타내는 정보와, 코드 또 코드 진행을 나타내는 정보를 포함하는 것을 특징으로 하는 악곡 데이터 재구성 장치.
  7. 제1항 또는 제2항에 있어서,
    상기 동기 신호는, 수음 수단에 의해 수음한 음성 신호를 해석함으로써 얻는 것을 특징으로 하는 악곡 데이터 재구성 장치.
  8. 제1항 또는 제2항에 있어서,
    상기 동기 신호는, 외부 입력 단자를 통하여 입력된 음성 신호를 해석함으로써 얻는 것을 특징으로 하는 악곡 데이터 재구성 장치.
  9. 제1항 또는 제2항에 있어서,
    유저 조작 입력을 접수하는 유저 조작 입력 접수 수단을 구비하고,
    상기 유저 조작 입력 접수 수단에 의해 접수한 상기 유저 조작 입력에 기초하여, 상기 리듬 마스터부는, 상기 동기 신호 및 상기 악곡 재구성용 정보를 생성하는 것을 특징으로 하는 악곡 데이터 재구성 장치.
  10. 제1항 또는 제2항에 있어서,
    상기 리듬 슬레이브부로부터 출력된 상기 출력 악곡 데이터를 음향 재생하는 수단과,
    상기 음향 재생 출력을 청취하는 리스너의 생체 정보를 취득하는 수단과,
    상기 취득한 리스너의 생체 정보에 기초하여, 상기 리듬 마스터부는, 상기 동기 신호 및 상기 악곡 재구성용 정보를 생성하는 것을 특징으로 하는 악곡 데이터 재구성 장치.
  11. 제1항 또는 제2항에 있어서,
    주변 환경 정보를 취득하는 주변 환경 정보 취득 수단을 구비하고,
    상기 주변 환경 정보 취득 수단에 의해 취득한 주변 환경 정보에 기초하여, 상기 리듬 마스터부는, 상기 동기 신호 및 상기 악곡 재구성용 정보를 생성하는 것을 특징으로 하는 악곡 데이터 재구성 장치.
  12. 제1항에 있어서,
    상기 리듬 슬레이브부에 상기 악곡 데이터가 입력되는 상기 음악 콘텐츠와 대응지어서, 적어도 상기 음악 콘텐츠의 악곡 소재 단위의 악곡 구성 정보를 포함하는 속성 정보를 취득하는 속성 정보 취득 수단을 구비하고,
    상기 리듬 마스터부는, 상기 동기 신호를, 상기 속성 정보 취득 수단에 의해 취득된 상기 속성 정보에 포함되는 상기 리듬을 나타내는 정보에 기초하여 발생시키도록 하는 것을 특징으로 하는 악곡 데이터 재구성 장치.
  13. 제2항에 있어서,
    복수개의 음악 콘텐츠의 데이터가 저장되어 있는 음악 콘텐츠 데이터 기억부로부터, 재생 대상의 음악 콘텐츠의 데이터를 취득하는 제1 취득 수단과,
    상기 음악 콘텐츠와 대응지어서, 적어도 상기 음악 콘텐츠의 악곡 소재 단위의 악곡 구성 정보를 포함하는 속성 정보를 기억하는 속성 정보 기억부로부터 상기 속성 정보를 취득하는 제2 취득 수단
    을 구비하고,
    상기 리듬 슬레이브부는, 제2 취득 수단에 의해 취득한 특정한 음악 콘텐츠의 상기 속성 정보를 해석하여, 상기 리듬 마스터부로부터의 상기 악곡 재구성용 정보에 근사하는 악곡 재구성용 정보를 갖는 복수의 음악 콘텐츠의 악곡 데이터를, 상기 제1 취득 수단을 통하여 취득하고, 상기 동기 신호에 기초하여, 그들 악곡 데이터를 가산하여 출력 악곡 데이터를 생성해서 출력하는
    것을 특징으로 하는 악곡 데이터 재구성 장치.
  14. 제13항에 있어서,
    상기 특정의 음악 콘텐츠는, 유저에 의해 선택된 음악 콘텐츠인 것을 특징으로 하는 악곡 데이터 재구성 장치.
  15. 제13항에 있어서,
    상기 특정의 음악 콘텐츠는, 재생 악곡 후보로서 장치에 의해 선택된 음악 콘텐츠인 것을 특징으로 하는 악곡 데이터 재구성 장치.
  16. 제1항 또는 제2항에 있어서,
    상기 리듬 마스터부는,
    설정된 발진 주파수에서 발진하는 발진 회로에 기초하여 상기 동기 신호를 얻는 제1 동기 신호 발생부와,
    수음 수단에 의해 수음한 음성 신호 또는 외부 입력 단자를 통하여 입력된 음성 신호를 해석함으로써 상기 동기 신호를 얻는 제2 동기 신호 발생부와,
    음향 재생 출력을 청취하는 리스너의 생체 정보를 취득하고, 상기 취득한 리 스너의 생체 정보에 기초하여 상기 동기 신호를 얻는 제3 동기 신호 발생부와,
    상기 제1 동기 신호 발생부, 상기 제2 동기 신호 발생부, 제3 동기 신호 발생부 중 어느 하나로부터의 동기 신호를 선택하여 출력하는 선택 수단
    을 구비하는 것을 특징으로 하는 악곡 데이터 재구성 장치.
  17. 제16항에 있어서,
    상기 선택 수단은, 유저의 선택 조작 입력에 기초하여 상기 동기 신호를 선택하는 것을 특징으로 하는 악곡 데이터 재구성 장치.
  18. 제16항에 있어서,
    상기 리듬 슬레이브부로부터 출력된 상기 출력 악곡 데이터를 음향 재생하는 수단과,
    상기 선택 수단은, 상기 음향 재생 출력을 청취하는 리스너의 생체 정보를 취득하는 수단과,
    상기 취득한 리스너의 생체 정보에 기초하여, 상기 선택 수단의 선택 신호를 생성하는
    것을 특징으로 하는 악곡 데이터 재구성 장치.
  19. 악곡의 소절에 대응하는 주기의 신호와 악곡의 박자에 대응하는 주기의 신호를 포함하는 동기 신호를 발생함과 함께, 악곡 재구성용 정보를 상기 동기 신호에 동기하여 발생하는 제1 스텝과,
    입력되는 음악 콘텐츠의 악곡 데이터를, 상기 제1 스텝에서 발생한 상기 동기 신호와, 상기 악곡 재구성용 정보에 따라서 보정하여, 출력 악곡 데이터를 생성해서 출력하는 제2 스텝
    을 포함하는 것을 특징으로 하는 악곡 데이터 재구성 방법.
  20. 악곡의 소절에 대응하는 주기의 신호와 악곡의 박자에 대응하는 주기의 신호를 포함하는 동기 신호를 발생함과 함께, 악곡 재구성용 정보를 상기 동기 신호에 동기하여 발생하는 제1 스텝과,
    상기 제1 스텝에서 발생하는 상기 동기 신호와 상기 악곡 재구성용 정보에 따라서, 복수의 음악 콘텐츠의 악곡 데이터를 가산하여 출력 악곡 데이터를 생성해서 출력하는 제2 스텝
    을 포함하는 것을 특징으로 하는 악곡 데이터 재구성 방법.
  21. 복수개의 음악 콘텐츠의 데이터가 저장되어 있는 음악 콘텐츠 데이터 기억부와,
    상기 음악 콘텐츠 데이터 기억부로부터, 재생 대상의 음악 콘텐츠의 데이터를 취득하는 제1 취득 수단과,
    악곡의 소절에 대응하는 주기의 신호와 악곡의 박자에 대응하는 주기의 신호를 포함하는 동기 신호를 발생함과 함께, 악곡 재구성용 정보를 상기 동기 신호에 동기하여 발생하는 리듬 마스터 수단과,
    상기 제1 취득 수단에 의해 취득한 상기 재생 대상의 음악 콘텐츠 데이터를, 상기 리듬 마스터부로부터의 상기 동기 신호와 상기 악곡 재구성용 정보에 따라서 재구성하여, 출력 악곡 데이터를 생성해서 음향 재생 출력하는 리듬 슬레이브 수단
    을 구비하는 것을 특징으로 하는 음악 콘텐츠 재생 장치.
  22. 제21항에 있어서,
    주위의 음성을 수음하는 수음 수단과,
    상기 수음 수단에 의해 수음한 음성 신호를 해석하는 해석 수단
    을 구비하고,
    상기 리듬 마스터 수단은,
    상기 해석 수단의 해석 결과로부터, 상기 수음 수단에 의해 수음한 음성의 곡조에 따른 상기 동기 신호 및 상기 악곡 재구성용 정보를 발생시키는
    것을 특징으로 하는 음악 콘텐츠 재생 장치.
  23. 제21항에 있어서,
    다른 장치로부터 음악 콘텐츠의 악곡 데이터를 입력하기 위한 외부 입력 단자와,
    상기 외부 입력 단자를 통하여 입력된 상기 악곡 데이터에 의한 상기 음악 콘텐츠의 곡조를 해석하는 곡조 해석 수단과,
    상기 곡조 해석 수단의 해석 결과로부터, 상기 외부 입력 단자를 통하여 입력된 상기 음악 콘텐츠의 곡조에 따른 상기 동기 신호 및 상기 악곡 재구성용 정보를 발생시키는
    것을 특징으로 하는 음악 콘텐츠 재생 장치.
  24. 제21항에 있어서,
    상기 음향 재생 출력을 청취하는 리스너의 생체 정보를 취득하는 수단과,
    상기 리듬 마스터 수단은, 상기 취득한 리스너의 생체 정보에 기초하여, 상기 동기 신호 및 상기 악곡 재구성용 정보를 생성하는
    것을 특징으로 하는 음악 콘텐츠 재생 장치.
  25. 제21항에 있어서,
    주변 환경 정보를 취득하는 주변 환경 정보 취득 수단을 구비하고,
    상기 리듬 마스터 수단은, 상기 주변 환경 정보 취득 수단에 의해 취득한 주변 환경 정보에 기초하여, 상기 동기 신호 및 상기 악곡 재구성용 정보를 생성하는
    것을 특징으로 하는 음악 콘텐츠 재생 장치.
  26. 제21항에 있어서,
    유저 조작 입력을 접수하는 유저 조작 입력 접수 수단을 구비하고,
    상기 유저 조작 입력 접수 수단에 의해 접수한 상기 유저 조작 입력에 기초 하여, 상기 리듬 마스터 수단은, 상기 동기 신호 및 상기 악곡 재구성용 정보를 생성하는
    것을 특징으로 하는 음악 콘텐츠 재생 장치.
  27. 복수개의 음악 콘텐츠의 데이터가 저장되어 있는 음악 콘텐츠 데이터 기억부로부터, 재생 대상의 음악 콘텐츠의 데이터를 취득하는 제1 취득 수단과,
    상기 음악 콘텐츠와 대응지어서, 적어도 상기 음악 콘텐츠의 악곡 소재 단위의 악곡 구성 정보를 포함하는 속성 정보를 기억하는 속성 정보 기억부로부터 상기 속성 정보를 취득하는 제2 취득 수단과,
    상기 제2 취득 수단에 의해 취득한 상기 재생 대상의 음악 콘텐츠의 상기 속성 정보에 기초하여, 악곡의 소절에 대응하는 주기의 신호와 악곡의 박자에 대응하는 주기의 신호를 포함하는 동기 신호를 발생함과 함께, 악곡 재구성용 정보를 상기 동기 신호에 동기하여 발생하는 리듬 마스터 수단과,
    상기 제1 취득 수단에 의해 취득한 상기 재생 대상의 음악 콘텐츠 데이터를, 상기 리듬 마스터부로부터의 상기 동기 신호와 상기 악곡 재구성용 정보에 따라서 재구성하여, 출력 악곡 데이터를 생성해서 음향 재생 출력하는 리듬 슬레이브 수단
    을 구비하는 것을 특징으로 하는 음악 콘텐츠 재생 장치.
  28. 제27항에 있어서,
    상기 음향 재생 출력을 청취하는 리스너의 생체 정보를 취득하는 수단과,
    상기 리듬 마스터 수단은, 상기 속성 정보 외에 상기 취득한 리스너의 생체 정보에 기초하여, 상기 동기 신호 및 상기 악곡 재구성용 정보를 생성하는
    것을 특징으로 하는 음악 콘텐츠 재생 장치.
  29. 제27항에 있어서,
    주변 환경 정보를 취득하는 주변 환경 정보 취득 수단을 구비하고,
    상기 리듬 마스터 수단은, 상기 속성 정보 외에 상기 주변 환경 정보 취득 수단에 의해 취득한 주변 환경 정보에 기초하여, 상기 동기 신호 및 상기 악곡 재구성용 정보를 생성하는
    것을 특징으로 하는 음악 콘텐츠 재생 장치.
  30. 제27항에 있어서,
    유저 조작 입력을 접수하는 유저 조작 입력 접수 수단을 구비하고,
    상기 리듬 마스터 수단은, 상기 속성 정보 외에 상기 유저 조작 입력 접수 수단에 의해 접수한 상기 유저 조작 입력에 기초하여, 상기 동기 신호 및 상기 악곡 재구성용 정보를 생성하는
    것을 특징으로 하는 음악 콘텐츠 재생 장치.
  31. 제27항에 있어서,
    음악 콘텐츠의 과거의 재생 이력이 유지되어 있는 재생 이력 정보 유지부와,
    상기 재생 이력 정보 유지부의 재생 이력을 참조하여, 재생 빈도가 높은 음악 콘텐츠를 검출하는 검출 수단
    을 구비하고,
    상기 검출 수단에 의해 검출한 상기 재생 빈도가 높은 음악 콘텐츠의 속성 정보를, 상기 제2 취득 수단을 통하여 상기 속성 정보 기억부로부터 취득하고,
    상기 리듬 마스터부는, 상기 취득한 상기 속성 정보에 기초하여, 상기 동기 신호 및 상기 악곡 재구성용 정보를 생성하는
    것을 특징으로 하는 음악 콘텐츠 재생 장치.
  32. 제21항 또는 제27항에 있어서,
    상기 악곡 재구성용 정보는, 템포를 나타내기 위한 정보를 포함하는 것을 특징으로 하는 음악 콘텐츠 재생 장치.
  33. 제21항 또는 제27항에 있어서,
    상기 악곡 재구성용 정보는, 템포를 나타내기 위한 정보와, 키를 나타내는 정보를 포함하는 것을 특징으로 하는 음악 콘텐츠 재생 장치.
  34. 제21항 또는 제27항에 있어서,
    상기 악곡 재구성용 정보는, 템포를 나타내기 위한 정보와, 코드 또는 코드 진행을 나타내는 정보를 포함하는 것을 특징으로 하는 음악 콘텐츠 재생 장치.
  35. 제21항 또는 제27항에 있어서,
    상기 악곡 재구성용 정보는, 템포를 나타내기 위한 정보와, 키를 나타내는 정보와, 코드 또는 코드 진행을 나타내는 정보를 포함하는 것을 특징으로 하는 음악 콘텐츠 재생 장치.
  36. 복수개의 음악 콘텐츠의 데이터가 저장되어 있는 음악 콘텐츠 데이터 기억부로부터, 재생 대상의 음악 콘텐츠의 데이터를 취득하는 취득 스텝과,
    악곡의 소절에 대응하는 주기의 신호와 악곡의 박자에 대응하는 주기의 신호를 포함하는 동기 신호를 발생함과 함께, 악곡 재구성용 정보를 상기 동기 신호에 동기하여 발생하는 리듬 마스터 스텝과,
    상기 제1 취득 스텝에서 취득한 상기 재생 대상의 음악 콘텐츠 데이터를, 상기 리듬 마스터 스텝에서 생성된 상기 동기 신호와 상기 악곡 재구성용 정보에 따라서 재구성하여, 출력 악곡 데이터를 생성해서 음향 재생 출력하는 리듬 슬레이브 스텝
    을 구비하는 것을 특징으로 하는 음악 콘텐츠 재생 방법.
  37. 복수개의 음악 콘텐츠의 데이터가 저장되어 있는 음악 콘텐츠 데이터 기억부로부터, 재생 대상의 음악 콘텐츠의 데이터를 취득하는 제1 취득 스텝과,
    상기 음악 콘텐츠와 대응지어서, 적어도 상기 음악 콘텐츠의 악곡 소재 단위 의 악곡 구성 정보를 포함하는 속성 정보를 기억하는 속성 정보 기억부로부터 상기 속성 정보를 취득하는 제2 취득 스텝과,
    상기 제2 취득 스텝에서 취득한 상기 재생 대상의 음악 콘텐츠의 상기 속성 정보에 기초하여, 악곡의 소절에 대응하는 주기의 신호와 악곡의 박자에 대응하는 주기의 신호를 포함하는 동기 신호를 발생함과 함께, 악곡 재구성용 정보를 상기 동기 신호에 동기하여 발생하는 리듬 마스터 스텝과,
    상기 제1 취득 스텝에서 취득한 상기 재생 대상의 음악 콘텐츠 데이터를, 상기 리듬 마스터 스텝으로부터의 상기 동기 신호와 상기 악곡 재구성용 정보에 따라서 재구성하여, 출력 악곡 데이터를 생성해서 음향 재생 출력하는 리듬 슬레이브 스텝
    을 구비하는 것을 특징으로 하는 음악 콘텐츠 재생 방법.
KR1020077013293A 2004-12-14 2005-12-09 악곡 데이터 재구성 장치, 악곡 데이터 재구성 방법, 음악콘텐츠 재생 장치 및 음악 콘텐츠 재생 방법 KR20070098804A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004360670A JP2006171133A (ja) 2004-12-14 2004-12-14 楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法
JPJP-P-2004-00360670 2004-12-14

Publications (1)

Publication Number Publication Date
KR20070098804A true KR20070098804A (ko) 2007-10-05

Family

ID=36587778

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077013293A KR20070098804A (ko) 2004-12-14 2005-12-09 악곡 데이터 재구성 장치, 악곡 데이터 재구성 방법, 음악콘텐츠 재생 장치 및 음악 콘텐츠 재생 방법

Country Status (6)

Country Link
US (1) US8022287B2 (ko)
EP (1) EP1830347B1 (ko)
JP (1) JP2006171133A (ko)
KR (1) KR20070098804A (ko)
CN (1) CN101080763B (ko)
WO (1) WO2006064722A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101133906B1 (ko) * 2009-12-24 2012-04-12 한국전자통신연구원 합주 연주 서비스 제공 방법 및 시스템

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE43379E1 (en) * 2003-10-09 2012-05-15 Pioneer Corporation Music selecting apparatus and method
JP4713129B2 (ja) * 2004-11-16 2011-06-29 ソニー株式会社 音楽コンテンツの再生装置、音楽コンテンツの再生方法および音楽コンテンツおよびその属性情報の記録装置
JP4626376B2 (ja) 2005-04-25 2011-02-09 ソニー株式会社 音楽コンテンツの再生装置および音楽コンテンツ再生方法
JP4259533B2 (ja) * 2006-03-16 2009-04-30 ヤマハ株式会社 演奏システム、このシステムに用いるコントローラ、およびプログラム
JP4573131B2 (ja) * 2006-07-21 2010-11-04 ソニー株式会社 コンテンツ再生装置、プログラム及びコンテンツ再生方法
JP2008046273A (ja) * 2006-08-11 2008-02-28 Xing Inc カラオケ装置
US7733214B2 (en) 2007-08-22 2010-06-08 Tune Wiki Limited System and methods for the remote measurement of a person's biometric data in a controlled state by way of synchronized music, video and lyrics
US20090083281A1 (en) * 2007-08-22 2009-03-26 Amnon Sarig System and method for real time local music playback and remote server lyric timing synchronization utilizing social networks and wiki technology
JP4470189B2 (ja) * 2007-09-14 2010-06-02 株式会社デンソー 自動車用音楽再生システム
US20090138332A1 (en) * 2007-11-23 2009-05-28 Dimitri Kanevsky System and method for dynamically adapting a user slide show presentation to audience behavior
US7895204B1 (en) * 2007-12-13 2011-02-22 Symantec Corporation Redirecting file uploads
US8881003B1 (en) 2007-12-13 2014-11-04 Symantec Corporation Online storage aggregation and publishing
KR101687942B1 (ko) * 2008-01-16 2017-01-02 코닌클리케 필립스 엔.브이. 환경 내의 사교적 설정 및 무드에 적합한 분위기를 자동 생성하기 위한 시스템 및 방법
KR20100089526A (ko) 2009-02-04 2010-08-12 삼성전자주식회사 생체 신호를 이용한 음악 생성 장치 및 그 방법
US8805854B2 (en) * 2009-06-23 2014-08-12 Gracenote, Inc. Methods and apparatus for determining a mood profile associated with media data
US8996538B1 (en) 2009-05-06 2015-03-31 Gracenote, Inc. Systems, methods, and apparatus for generating an audio-visual presentation using characteristics of audio, visual and symbolic media objects
US8071869B2 (en) * 2009-05-06 2011-12-06 Gracenote, Inc. Apparatus and method for determining a prominent tempo of an audio work
WO2010144505A2 (en) * 2009-06-08 2010-12-16 Skyrockit Method and apparatus for audio remixing
JP5392907B2 (ja) * 2009-09-10 2014-01-22 日本電信電話株式会社 再生速度同期装置、再生速度同期方法、及びプログラム
JP5671949B2 (ja) * 2010-11-04 2015-02-18 ソニー株式会社 情報処理装置、および情報記録媒体、並びに情報処理方法
JP5500058B2 (ja) * 2010-12-07 2014-05-21 株式会社Ｊｖｃケンウッド 曲順決定装置、曲順決定方法、および曲順決定プログラム
TW201237741A (en) * 2011-03-08 2012-09-16 Univ Tamkang Interactive sound and light art device with wireless transmission and sensing capability
JP5496935B2 (ja) * 2011-03-08 2014-05-21 日本電信電話株式会社 呼吸分布更新装置、呼吸分布更新方法、及びプログラム
FR2973549B1 (fr) * 2011-04-01 2014-02-21 Espace Musical Puce Muse Dispositif permettant de jouer de la musique enregistree
US9070352B1 (en) * 2011-10-25 2015-06-30 Mixwolf LLC System and method for mixing song data using measure groupings
WO2013114421A1 (ja) * 2012-01-30 2013-08-08 パイオニア株式会社 表示システム、表示制御装置、音響機器、表示方法およびプログラム
TW201411601A (zh) * 2012-09-13 2014-03-16 Univ Nat Taiwan 以情緒為基礎的自動配樂方法
JP2014115478A (ja) * 2012-12-10 2014-06-26 Ibex Technology Co Ltd 端末装置、創作物生成方法、創作物生成プログラム、仮想旅行装置及び仮想旅行システム
US9449646B2 (en) * 2013-06-10 2016-09-20 Htc Corporation Methods and systems for media file management
JP5599498B2 (ja) * 2013-09-03 2014-10-01 日本電信電話株式会社 再生速度同期装置、再生速度同期方法、及びプログラム
KR20150072597A (ko) 2013-12-20 2015-06-30 삼성전자주식회사 멀티미디어 장치 및 이의 음악 작곡 방법, 그리고 노래 보정 방법
CN103795897A (zh) * 2014-01-21 2014-05-14 深圳市中兴移动通信有限公司 自动生成背景音乐的方法和装置
US9495126B2 (en) 2014-02-28 2016-11-15 Hypnalgesics, LLC Self sedation and suggestion system
US10854180B2 (en) 2015-09-29 2020-12-01 Amper Music, Inc. Method of and system for controlling the qualities of musical energy embodied in and expressed by digital music to be automatically composed and generated by an automated music composition and generation engine
US9721551B2 (en) 2015-09-29 2017-08-01 Amper Music, Inc. Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions
JP2018054906A (ja) * 2016-09-29 2018-04-05 シャープ株式会社 サーバ装置、情報処理端末、システム、および方法
JP6805943B2 (ja) 2017-04-07 2020-12-23 トヨタ自動車株式会社 車両用再生音提供装置
CN110870322B (zh) * 2017-07-14 2023-04-04 索尼公司 信息处理设备、信息处理方法
CN108364629B (zh) * 2018-03-12 2023-11-10 南京工程学院 一种智能调节电子琴、其控制***及其控制方法
JP7343268B2 (ja) * 2018-04-24 2023-09-12 培雄 唐沢 任意信号挿入方法及び任意信号挿入システム
US10714065B2 (en) * 2018-06-08 2020-07-14 Mixed In Key Llc Apparatus, method, and computer-readable medium for generating musical pieces
CN108831425B (zh) * 2018-06-22 2022-01-04 广州酷狗计算机科技有限公司 混音方法、装置及存储介质
US11127386B2 (en) * 2018-07-24 2021-09-21 James S. Brown System and method for generating music from electrodermal activity data
CN109144271B (zh) * 2018-09-07 2021-07-20 武汉轻工大学 三维空间音频关注度分析方法、***、服务器及存储介质
GB2583441A (en) * 2019-01-21 2020-11-04 Musicjelly Ltd Data synchronisation
US10964299B1 (en) 2019-10-15 2021-03-30 Shutterstock, Inc. Method of and system for automatically generating digital performances of music compositions using notes selected from virtual musical instruments based on the music-theoretic states of the music compositions
US11024275B2 (en) 2019-10-15 2021-06-01 Shutterstock, Inc. Method of digitally performing a music composition using virtual musical instruments having performance logic executing within a virtual musical instrument (VMI) library management system
US11037538B2 (en) 2019-10-15 2021-06-15 Shutterstock, Inc. Method of and system for automated musical arrangement and musical instrument performance style transformation supported within an automated music performance system
US11743380B2 (en) * 2021-03-15 2023-08-29 Avaya Management L.P. System and method for context aware audio enhancement
US20230135778A1 (en) * 2021-10-29 2023-05-04 Spotify Ab Systems and methods for generating a mixed audio file in a digital audio workstation

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03163498A (ja) * 1990-10-23 1991-07-15 Yamaha Corp 電子楽器
JP2972431B2 (ja) * 1992-01-29 1999-11-08 株式会社河合楽器製作所 音響発生装置
JP3163498B2 (ja) 1994-08-25 2001-05-08 新明和工業株式会社 屋外露呈形の立体駐車装置
JP3464290B2 (ja) 1994-10-13 2003-11-05 ローランド株式会社 自動演奏装置
JP3598598B2 (ja) 1995-07-31 2004-12-08 ヤマハ株式会社 カラオケ装置
US5693902A (en) * 1995-09-22 1997-12-02 Sonic Desktop Software Audio block sequence compiler for generating prescribed duration audio sequences
JP2956569B2 (ja) 1996-02-26 1999-10-04 ヤマハ株式会社 カラオケ装置
JPH1063265A (ja) * 1996-08-16 1998-03-06 Casio Comput Co Ltd 自動演奏装置
MY121856A (en) * 1998-01-26 2006-02-28 Sony Corp Reproducing apparatus.
JP4094114B2 (ja) * 1998-04-23 2008-06-04 ローランド株式会社 波形読み出し制御データ処理装置
FR2785438A1 (fr) * 1998-09-24 2000-05-05 Baron Rene Louis Procede et dispositif de generation musicale
US6307141B1 (en) * 1999-01-25 2001-10-23 Creative Technology Ltd. Method and apparatus for real-time beat modification of audio and music signals
JP4219037B2 (ja) 1999-03-17 2009-02-04 シャープ株式会社 コンテンツ再生装置
JP2001184061A (ja) * 1999-12-24 2001-07-06 Sony Corp 再生装置および方法、並びに記録媒体
JP2001189969A (ja) 1999-12-28 2001-07-10 Matsushita Electric Ind Co Ltd 音楽配信方法、音楽配信システム、および車載情報通信端末
EP1837858B1 (en) * 2000-01-11 2013-07-10 Yamaha Corporation Apparatus and method for detecting performer´s motion to interactively control performance of music or the like
JP3646599B2 (ja) 2000-01-11 2005-05-11 ヤマハ株式会社 演奏インターフェイス
JP2001296865A (ja) 2000-04-10 2001-10-26 Mudix Inc 楽曲管理データベースシステム及び楽曲共同制作支援システム
IT1316734B1 (it) * 2000-07-07 2003-05-12 Korg Italy S P A Dispositivo elettronico avvalentesi di piu' sequecers capaci difunzionare in maniera indipendente o coordinata
US6384310B2 (en) * 2000-07-18 2002-05-07 Yamaha Corporation Automatic musical composition apparatus and method
JP2002114107A (ja) 2000-10-10 2002-04-16 Nissan Motor Co Ltd オーディオ装置及び音楽提供方法
US6888999B2 (en) * 2001-03-16 2005-05-03 Magix Ag Method of remixing digital information
JP2003005756A (ja) 2001-06-21 2003-01-08 Shinsuke Ohira 電子機器における音楽ファイルデータの再生、配信、放送時に、希望する曲調の時間的変化を伴った選曲順リスト自動生成と、その再生・配信システム。
JP2003173350A (ja) 2001-12-05 2003-06-20 Rainbow Partner Inc 音楽・映像コンテンツを推薦するシステム
JP3886372B2 (ja) 2001-12-13 2007-02-28 松下電器産業株式会社 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム
JP3823855B2 (ja) * 2002-03-18 2006-09-20 ヤマハ株式会社 記録装置、再生装置、記録方法、再生方法及び同期再生システム
DE10223735B4 (de) * 2002-05-28 2005-05-25 Red Chip Company Ltd. Verfahren und Vorrichtung zum Ermitteln von Rhythmuseinheiten in einem Musikstück
JP3926712B2 (ja) * 2002-09-06 2007-06-06 セイコーインスツル株式会社 同期拍報知システム
US7208672B2 (en) * 2003-02-19 2007-04-24 Noam Camiel System and method for structuring and mixing audio tracks
JP3912390B2 (ja) * 2004-04-12 2007-05-09 ヤマハ株式会社 テンポ設定装置及び方法
WO2007010637A1 (ja) * 2005-07-19 2007-01-25 Kabushiki Kaisha Kawai Gakki Seisakusho テンポ検出装置、コード名検出装置及びプログラム
JP4940588B2 (ja) * 2005-07-27 2012-05-30 ソニー株式会社 ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法
JP4823804B2 (ja) * 2006-08-09 2011-11-24 株式会社河合楽器製作所 コード名検出装置及びコード名検出用プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101133906B1 (ko) * 2009-12-24 2012-04-12 한국전자통신연구원 합주 연주 서비스 제공 방법 및 시스템

Also Published As

Publication number Publication date
CN101080763B (zh) 2014-05-14
CN101080763A (zh) 2007-11-28
EP1830347B1 (en) 2016-12-07
JP2006171133A (ja) 2006-06-29
WO2006064722A1 (ja) 2006-06-22
EP1830347A4 (en) 2012-01-11
US20090249945A1 (en) 2009-10-08
US8022287B2 (en) 2011-09-20
EP1830347A1 (en) 2007-09-05

Similar Documents

Publication Publication Date Title
KR101233800B1 (ko) 음악 콘텐츠의 재생장치 및 음악 콘텐츠 재생방법
KR20070098804A (ko) 악곡 데이터 재구성 장치, 악곡 데이터 재구성 방법, 음악콘텐츠 재생 장치 및 음악 콘텐츠 재생 방법
JP4713129B2 (ja) 音楽コンテンツの再生装置、音楽コンテンツの再生方法および音楽コンテンツおよびその属性情報の記録装置
JP4306754B2 (ja) 楽曲データ自動生成装置及び音楽再生制御装置
US7982120B2 (en) Performance apparatus and storage medium therefor
US8153880B2 (en) Performance apparatus and storage medium therefor
JP2006084749A (ja) コンテンツ生成装置およびコンテンツ生成方法
KR20060049374A (ko) 콘텐츠 이용장치, 콘텐츠 이용방법, 분배 서버 장치, 정보분배 방법 및 기록 매체
JP2006517679A (ja) オーディオ再生装置、方法及びコンピュータプログラム
KR20060049375A (ko) 콘텐츠 이용장치, 콘텐츠 이용방법, 분배 서버 장치, 정보분배 방법 및 기록 매체
JP2009093779A (ja) コンテンツ再生装置及びコンテンツ再生方法
JP2001324984A (ja) 時間的固定情報に対する補助データ配信システム
JP2007250053A (ja) コンテンツ再生装置およびコンテンツ再生方法
JPWO2006087891A1 (ja) 情報選択方法及び情報選択装置等
JP2004279462A (ja) カラオケ装置
JP2002268635A (ja) 光学的情報記録媒体の記録再生装置および光学的情報記録媒体並びに光学的情報記録媒体の再生方法
JP2006201389A (ja) 再生装置およびプログラム
JP2017151388A (ja) カラオケシステム用サーバ

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application