JP5486538B2 - Karaoke equipment - Google Patents
Karaoke equipment Download PDFInfo
- Publication number
- JP5486538B2 JP5486538B2 JP2011074999A JP2011074999A JP5486538B2 JP 5486538 B2 JP5486538 B2 JP 5486538B2 JP 2011074999 A JP2011074999 A JP 2011074999A JP 2011074999 A JP2011074999 A JP 2011074999A JP 5486538 B2 JP5486538 B2 JP 5486538B2
- Authority
- JP
- Japan
- Prior art keywords
- singer
- video
- microphone
- karaoke
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
本発明は、多数の演奏曲のうちから選択される演奏曲を出力させるカラオケ装置に関し、特に、カラオケ演奏に際して撮影される映像の編集に係る改良に関する。 The present invention relates to a karaoke apparatus that outputs a performance tune selected from a large number of performance tunes, and more particularly, to an improvement related to editing of a video shot during karaoke performance.
多数の演奏曲のうちから選択される演奏曲を出力させる音楽再生装置が知られている。例えば、カラオケボックス等で使用されるカラオケ装置がそれである。斯かるカラオケ装置によれば、予め記憶装置に記憶された多数のカラオケ演奏曲から選択されたカラオケ演奏曲の音楽情報を出力させると共に、そのカラオケ演奏曲の歌詞情報を含む映像をその出力に同期して画面に表示させることで、所望の歌のカラオケ演奏を楽しむことができる。 2. Description of the Related Art Music playback apparatuses that output a performance song selected from a large number of performance songs are known. For example, a karaoke device used in a karaoke box or the like. According to such a karaoke apparatus, music information of a karaoke performance song selected from a large number of karaoke performance songs stored in advance in a storage device is output, and an image including lyrics information of the karaoke performance song is synchronized with the output. By displaying it on the screen, it is possible to enjoy karaoke performance of a desired song.
ところで、本出願人は、前記カラオケ装置を通信端末装置としてインターネットにおける映像情報配信システムに組み込み、前記カラオケ装置による演奏曲の出力に際して撮像装置により撮影された映像情報及び音声入力装置により入力された音声情報の投稿を受け付けて閲覧可能とする技術を発案し、実用化している。そのように、撮像装置により撮影された映像における表示輝度を制御するための技術が提案されている。例えば、特許文献1に記載された双方向通信システムがそれである。この技術によれば、異なるサイトそれぞれに対応して撮影された映像における人物の顔の照度を検出して照度が合うように表示輝度を調整することにより、高い臨場感で相互に通信が可能な双方向通信システムを実現することができるとされている。 By the way, the present applicant incorporated the karaoke device as a communication terminal device into a video information distribution system on the Internet, and recorded video information captured by an imaging device and audio input by a voice input device when a performance song was output by the karaoke device. A technology that accepts and allows browsing of information has been devised and put into practical use. As such, a technique for controlling the display luminance in the video imaged by the imaging device has been proposed. For example, this is the bidirectional communication system described in Patent Document 1. According to this technology, it is possible to communicate with each other with a high sense of reality by detecting the illuminance of a person's face in images shot corresponding to different sites and adjusting the display luminance so that the illuminance matches. It is said that a bidirectional communication system can be realized.
ところで、前記カラオケ装置による演奏曲の出力に際して撮影される映像(演奏映像)には、歌唱者のみならず演奏を行っている部屋の風景や、同じ部屋で演奏を聞いている(或いは演奏待ちをしている)他の利用者の像等も映り込むが、前記映像情報配信システムに投稿するための映像としては歌唱者の映像を際立たせることが望まれる場合がある。しかしながら、前記従来の技術では、歌唱者の映像を特定することができず、カラオケ演奏に際して撮影される映像において歌唱者の映像を際立たせるために表示輝度を調整する等の制御を行うことが困難であった。すなわち、カラオケ演奏に際して撮影される映像において歌唱者の映像を簡便に際立たせる編集を実現するカラオケ装置は、未だ開発されていないのが現状である。 By the way, in the video (performance video) taken when the performance music is output by the karaoke device, the scene of the room where the performance is performed as well as the singer, or the performance is heard in the same room (or waiting for the performance). The image of other users is also reflected, but it may be desired to make the video of the singer stand out as the video for posting to the video information distribution system. However, with the conventional technology, it is difficult to specify the video of the singer, and it is difficult to perform control such as adjusting the display brightness in order to make the video of the singer stand out in the video shot during the karaoke performance. Met. That is, at present, a karaoke apparatus that realizes editing that easily highlights a singer's video in a video shot during karaoke performance has not yet been developed.
本発明は、以上の事情を背景として為されたものであり、その目的とするところは、カラオケ演奏に際して撮影される映像において歌唱者の映像を簡便に際立たせる編集を実現するカラオケ装置を提供することにある。 The present invention has been made against the background of the above circumstances, and an object of the present invention is to provide a karaoke apparatus that realizes editing that easily highlights a singer's video in a video shot during karaoke performance. There is.
斯かる目的を達成するために、本発明の要旨とするところは、多数の演奏曲のうちから選択される演奏曲を出力させると共にマイクロフォンにより入力される音声を増幅して出力させるカラオケ装置であって、そのカラオケ装置による演奏曲の出力に際してそのカラオケ装置を基準とする所定範囲の映像を撮影する撮像装置と、その撮像装置により撮影された映像に含まれる前記マイクロフォンに対応する位置を検出するマイクロフォン位置検出手段と、そのマイクロフォン位置検出手段により検出される前記マイクロフォンに対応する位置に基づいて、前記撮像装置により撮影された映像に含まれる歌唱者に対応する領域を判定する歌唱者領域判定手段と、前記撮像装置により撮影された映像において、その歌唱者領域判定手段により判定された歌唱者に対応する領域の相対的な明るさを変更する映像編集制御手段とを、備えたことを特徴とするものである。 In order to achieve such an object, the gist of the present invention is a karaoke apparatus that outputs a performance song selected from a large number of performance songs and amplifies and outputs a sound input by a microphone. An imaging device that captures a predetermined range of video with reference to the karaoke device when the performance music is output by the karaoke device, and a microphone that detects a position corresponding to the microphone included in the video captured by the imaging device A position detection unit, and a singer region determination unit that determines a region corresponding to a singer included in the video captured by the imaging device based on a position corresponding to the microphone detected by the microphone position detection unit; In the video shot by the imaging device, the singer area determination means determines The a video editing control means for changing the relative brightness of the region corresponding to the singer, is characterized in that it comprises.
このようにすれば、前記カラオケ装置による演奏曲の出力に際してそのカラオケ装置を基準とする所定範囲の映像を撮影する撮像装置と、その撮像装置により撮影された映像に含まれる前記マイクロフォンに対応する位置を検出するマイクロフォン位置検出手段と、そのマイクロフォン位置検出手段により検出される前記マイクロフォンに対応する位置に基づいて、前記撮像装置により撮影された映像に含まれる歌唱者に対応する領域を判定する歌唱者領域判定手段と、前記撮像装置により撮影された映像において、その歌唱者領域判定手段により判定された歌唱者に対応する領域の相対的な明るさを変更する映像編集制御手段とを、備えたものであることから、歌唱者が手にしているマイクロフォンの位置からその歌唱者に対応する領域を好適に特定することができ、その領域の相対的な明るさを変更することで歌唱者の映像を際立たせることができる。すなわち、カラオケ演奏に際して撮影される映像において歌唱者の映像を簡便に際立たせる編集を実現するカラオケ装置を提供することができる。 If it does in this way, when outputting the performance music by the karaoke device, an image pickup device which takes a picture of a predetermined range on the basis of the karaoke device, and a position corresponding to the microphone included in the video shot by the image pickup device A singer who determines a region corresponding to a singer included in the video photographed by the imaging device based on a position corresponding to the microphone detected by the microphone position detection unit An area determination means, and a video editing control means for changing the relative brightness of the area corresponding to the singer determined by the singer area determination means in the video taken by the imaging device Therefore, the area corresponding to the singer from the position of the microphone that the singer has in hand Can be specified to apply, it is possible to emphasize the image of the singer by changing the relative brightness of the region. That is, it is possible to provide a karaoke apparatus that realizes editing that easily highlights a singer's video in a video shot during karaoke performance.
ここで、好適には、前記歌唱者領域判定手段は、前記マイクロフォン位置検出手段により検出される前記マイクロフォンに対応する位置及び歌唱者の身長に関する情報に基づいて、前記撮像装置により撮影された映像に含まれる歌唱者に対応する領域を判定するものである。このようにすれば、カラオケ演奏に際して撮影される映像に含まれる利用者に対応する領域を簡便且つ実用的な態様で判定することができる。 Here, it is preferable that the singer area determination unit is configured to display the video imaged by the imaging device based on information on the position corresponding to the microphone detected by the microphone position detection unit and the height of the singer. The area corresponding to the included singer is determined. In this way, it is possible to determine the area corresponding to the user included in the video shot during the karaoke performance in a simple and practical manner.
また、好適には、歌唱者の性別に関する情報及び生年に関する情報から、その歌唱者の身長を算出する歌唱者身長算出手段を含み、前記歌唱者領域判定手段は、前記マイクロフォン位置検出手段により検出される前記マイクロフォンに対応する位置及び前記歌唱者身長算出手段により算出される歌唱者の身長に基づいて、前記撮像装置により撮影された映像に含まれる歌唱者に対応する領域を判定するものである。このようにすれば、カラオケ演奏に際して撮影される映像に含まれる利用者に対応する領域を簡便且つ実用的な態様で判定することができる。 Preferably, the apparatus further comprises a singer height calculating means for calculating the height of the singer from information relating to the gender of the singer and information relating to the year of birth, wherein the singer area determining means is detected by the microphone position detecting means. Based on the position corresponding to the microphone and the height of the singer calculated by the singer height calculating means, an area corresponding to the singer included in the video photographed by the imaging device is determined. In this way, it is possible to determine the area corresponding to the user included in the video shot during the karaoke performance in a simple and practical manner.
また、好適には、前記歌唱者領域判定手段は、前記撮像装置により撮影された映像に含まれる歌唱者に対応する、その映像における上方を1頂角とする三角形状の領域を判定するものであり、その歌唱者の身長に関する情報に基づいてその三角形の高さ寸法を決定するものである。このようにすれば、カラオケ演奏に際して撮影される映像に含まれる利用者に対応する領域を簡便且つ実用的な態様で判定することができ、あたかも歌唱者に上方からのサスペンションライトが当たっているかのような映像効果を実現することができる。 Preferably, the singer area determination means determines a triangular area corresponding to a singer included in the video imaged by the imaging device and having an apex angle at the top in the video image. Yes, the height dimension of the triangle is determined based on information about the height of the singer. In this way, the area corresponding to the user included in the video shot during the karaoke performance can be determined in a simple and practical manner, as if the singer is hitting the suspension light from above. Such a video effect can be realized.
また、好適には、前記歌唱者領域判定手段は、前記撮像装置により撮影された映像に含まれる歌唱者に対応する楕円形の領域を判定するものであり、その歌唱者の身長に関する情報に基づいてその楕円形の長軸寸法を決定するものである。このようにすれば、カラオケ演奏に際して撮影される映像に含まれる利用者に対応する領域を簡便且つ実用的な態様で判定することができ、あたかも歌唱者に前方からのスポットライトが当たっているかのような映像効果を実現することができる。 Preferably, the singer area determination means determines an oval area corresponding to a singer included in the video imaged by the imaging device, and is based on information about the height of the singer. The major axis dimension of the ellipse is determined. In this way, it is possible to determine in a simple and practical manner the area corresponding to the user included in the video shot during karaoke performance, as if the singer is hitting the spotlight from the front. Such a video effect can be realized.
また、好適には、前記歌唱者領域判定手段は、前記撮像装置により撮影された映像に含まれる歌唱者の顔部分に対応する領域を判定するものであり、前記映像編集制御手段は、前記撮像装置により撮影された映像において、前記歌唱者領域判定手段により判定された歌唱者の顔部分に対応する領域の相対的な明るさを暗くするものである。このようにすれば、歌唱者が顔を隠したいと希望する場合等において、あたかも歌唱者の顔部分にマスクがかけられているかのような映像効果を実現することができる。 Preferably, the singer area determination means determines an area corresponding to a singer's face part included in the video imaged by the imaging device, and the video editing control means is the imaging system. In the video imaged by the apparatus, the relative brightness of the area corresponding to the singer's face determined by the singer area determination means is darkened. In this way, when the singer desires to hide his / her face, the video effect can be realized as if the singer's face is masked.
また、好適には、前記マイクロフォン位置検出手段は、前記撮像装置により撮影された映像において輝度に基づく画像解析を行うことにより前記マイクロフォンに対応する位置を検出するものである。このようにすれば、歌唱者が手にしているマイクロフォンの位置からその歌唱者に対応する領域を実用的な態様で特定することができる。 Preferably, the microphone position detecting means detects a position corresponding to the microphone by performing image analysis based on luminance in an image captured by the imaging device. If it does in this way, the field corresponding to the singer can be specified in the practical form from the position of the microphone which the singer has.
また、好適には、前記マイクロフォンは、無線信号を介して前記カラオケ装置に音声情報を入力するものであり、前記マイクロフォンからの無線信号に基づいてそのマイクロフォンの存在する位置を検出する位置検出装置を備え、前記マイクロフォン位置検出手段は、その位置検出装置の検出結果に基づいて前記撮像装置により撮影された映像に含まれる前記マイクロフォンに対応する位置を検出するものである。このようにすれば、歌唱者が手にしているマイクロフォンの位置からその歌唱者に対応する領域を実用的な態様で特定することができる。 Preferably, the microphone inputs voice information to the karaoke device via a radio signal, and a position detection device that detects the position of the microphone based on the radio signal from the microphone is provided. The microphone position detection means detects a position corresponding to the microphone included in the video imaged by the imaging device based on a detection result of the position detection device. If it does in this way, the field corresponding to the singer can be specified in the practical form from the position of the microphone which the singer has.
また、好適には、前記映像編集制御手段により歌唱者に対応する領域の相対的な明るさが変更された映像を、前記カラオケ装置による演奏曲の出力に伴ってカラオケ背景映像として表示させるものである。このようにすれば、歌唱者に対応する映像が際立つように編集された映像をカラオケ演奏における背景映像として用いることができる。 Preferably, the video editing control means displays a video in which the relative brightness of the area corresponding to the singer has been changed as a karaoke background video in accordance with the output of a performance song by the karaoke device. is there. If it does in this way, the image edited so that the image corresponding to a singer may stand out can be used as a background image in karaoke performance.
以下、本発明の好適な実施例を図面に基づいて詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明のカラオケ装置が好適に適用されるカラオケシステム10を説明する概略図である。この図1に示すように、上記カラオケシステム10では、カラオケボックス、スナック、旅館等の店舗12における複数の個室14a、14b、14c、・・・(以下、特に区別しない場合には単に個室14と称する)にそれぞれ1台乃至は複数台ずつ(図1では1台ずつ)本発明の一実施例であるカラオケ装置16a、16b、16c、・・・(以下、特に区別しない場合には単にカラオケ装置16と称する)が設置されている。これら複数のカラオケ装置16は、ルータ28を介して公衆電話回線等による通信回線18に接続されており、同じくその通信回線18に接続されたカラオケサービス提供会社のサーバ装置(センタ装置)20との相互間でその通信回線18を介して情報の通信が可能とされている。このサーバ装置20は、カラオケ情報(楽曲データ)、背景映像情報、曲間情報等のデジタルコンテンツ(Digital Contents)の保管や入出力管理の基本的な制御を行うサーバであり、上記通信回線18を介して上記カラオケ装置16に定期的にコンテンツの配信を行うと共に、そのカラオケ装置16からの要求に応じて所定の機能制御プログラムを送信するものである。また、上記カラオケシステム10は、複数の電子早見本装置22a、22b、22c、・・・(以下、特に区別しない場合には単に電子早見本装置22と称する)を備えており、上記カラオケ装置16の利用に際して、各利用者(グループ)毎に1台乃至数台ずつの電子早見本装置22が貸与され、各個室14において後述するように上記カラオケ装置16の遠隔操作装置として用いられるようになっている。上記店舗12内には上記複数のカラオケ装置16を相互に接続するLAN24が敷設されており、上記電子早見本装置22からのカラオケ装置16への入力は、所定のアクセスポイント26及びLAN24を介したLAN通信等により行われる。 FIG. 1 is a schematic diagram illustrating a karaoke system 10 to which the karaoke apparatus of the present invention is preferably applied. As shown in FIG. 1, in the karaoke system 10, a plurality of private rooms 14 a, 14 b, 14 c,... In a store 12 such as a karaoke box, a snack, an inn, etc. Karaoke devices 16a, 16b, 16c, which are one embodiment of the present invention (hereinafter referred to simply as karaoke devices unless otherwise specified). 16). The plurality of karaoke devices 16 are connected to a communication line 18 such as a public telephone line via a router 28, and are connected to a server device (center device) 20 of a karaoke service providing company connected to the communication line 18. Information can be communicated between each other via the communication line 18. The server device 20 is a server that performs basic control of storage and input / output management of digital contents (Digital Contents) such as karaoke information (music data), background video information, and information between songs. The content is regularly distributed to the karaoke device 16 via the karaoke device 16 and a predetermined function control program is transmitted in response to a request from the karaoke device 16. The karaoke system 10 includes a plurality of electronic quick sample devices 22a, 22b, 22c,... (Hereinafter simply referred to as the electronic quick sample device 22 unless otherwise distinguished). 1 to several electronic quick sample devices 22 are lent for each user (group) and are used as remote control devices for the karaoke device 16 in each private room 14 as will be described later. ing. A LAN 24 for connecting the plurality of karaoke apparatuses 16 to each other is laid in the store 12, and an input to the karaoke apparatus 16 from the electronic quick sample apparatus 22 is made via a predetermined access point 26 and the LAN 24. This is performed by LAN communication or the like.
図2は、上記カラオケ装置16の構成を例示するブロック線図である。この図2に示すように、上記カラオケ装置16は、CRT(Cathode-ray Tube)やTFT(Thin Film Transistor Liquid Crystal)等の映像表示装置30と、ビデオボード(グラフィックスボード)等の映像出力制御部32と、映像情報デコーダ34と、ビデオミキサ36と、音源であるシンセサイザ38と、音声入力装置であるマイクロフォン40と、アンプミキサ42と、スピーカ44と、操作パネル46と、その操作パネル46等からの入力信号を処理する入出力インターフェイス48と、中央演算処理装置であるCPU50と、読出専用メモリであるROM52と、随時書込読出メモリであるRAM54と、記憶装置であるハードディスク56と、モデム58と、LANポート60と、上記電子早見本装置22やリモコン装置64等の入力装置からのリモコン信号を受信するためのリモコン受信部62と、撮像装置であるデジタルカメラ66と、赤外線光源位置検出装置68とを、備えて構成されている。 FIG. 2 is a block diagram illustrating the configuration of the karaoke apparatus 16. As shown in FIG. 2, the karaoke device 16 includes a video display device 30 such as a CRT (Cathode-ray Tube) or TFT (Thin Film Transistor Liquid Crystal), and a video output control such as a video board (graphics board). From the unit 32, the video information decoder 34, the video mixer 36, the synthesizer 38 as a sound source, the microphone 40 as an audio input device, the amplifier mixer 42, the speaker 44, the operation panel 46, the operation panel 46, etc. An input / output interface 48 for processing input signals, a CPU 50 as a central processing unit, a ROM 52 as a read-only memory, a RAM 54 as a write / read memory as needed, a hard disk 56 as a storage device, and a modem 58 , From the LAN port 60 and input devices such as the electronic sample device 22 and the remote control device 64. A remote control reception section 62 for receiving a remote control signal, the digital camera 66 is an imaging apparatus, an infrared light source position detector 68 is configured to include.
前記映像出力制御部32は、前記CPU50において生成された歌詞文字映像等の文字映像(テロップ)を出力する文字映像出力装置として機能する他、前記映像表示装置30による種々の映像表示を制御する表示制御装置である。また、前記映像情報デコーダ34は、利用者が歌詞を参照しながら歌唱する際に前記ハードディスク56の背景データベースに記憶された背景映像情報に基づいて所定の背景映像を再生(デコード)する背景映像再生装置である。この背景映像情報は、例えば、MPEG(Moving Picture Experts Group)形式のデータであり、そのMPEGデータに基づいて前記映像情報デコーダ34により再生された背景映像は、前記ビデオミキサ36へ送られる。また、そのビデオミキサ36は、前記CPU50において生成され且つ前記映像出力制御部32から出力される文字映像と、前記映像情報デコーダ34により再生される背景映像とを合成して前記映像表示装置30に表示させる映像合成装置である。 The video output control unit 32 functions as a character video output device that outputs a character video (telop) such as a lyric character video generated by the CPU 50, and also displays for controlling various video displays by the video display device 30. It is a control device. The video information decoder 34 reproduces (decodes) a predetermined background video based on the background video information stored in the background database of the hard disk 56 when the user sings while referring to the lyrics. Device. The background video information is, for example, MPEG (Moving Picture Experts Group) format data, and the background video reproduced by the video information decoder 34 based on the MPEG data is sent to the video mixer 36. The video mixer 36 synthesizes the character video generated by the CPU 50 and output from the video output control unit 32 with the background video reproduced by the video information decoder 34 to the video display device 30. This is a video composition device to be displayed.
前記シンセサイザ38は、前記ハードディスク56から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する音源である。この演奏情報は、例えば、MIDI(Musical Instrument Digital Interface)形式のデータであり、そのMIDIデータに基づいて前記シンセサイザ38により生成された音楽信号は、アナログ信号に変換されて前記アンプミキサ42へ送られる。前記マイクロフォン40は、音波によって生じる機械的な振動を電気信号としての音声情報に変換する電気音響変換器乃至音声入力装置であり、入力された音声情報を例えば赤外線信号等の無線信号を介して前記カラオケ装置16へ送信する。前記アンプミキサ42では、前記シンセサイザ38から送られてきた音楽信号と、前記マイクロフォン40からリモコン受信部62を介して入力される利用者(演奏者)の歌声とがミキシングされ、それらの信号が電気的に増幅されて前記スピーカ44から出力される。 The synthesizer 38 is a sound source that generates a music signal such as a musical instrument performance signal based on performance information of a karaoke performance song read from the hard disk 56 and sent. The performance information is, for example, data in MIDI (Musical Instrument Digital Interface) format, and the music signal generated by the synthesizer 38 based on the MIDI data is converted into an analog signal and sent to the amplifier mixer 42. The microphone 40 is an electroacoustic transducer or an audio input device that converts mechanical vibration generated by sound waves into audio information as an electric signal. The input audio information is transmitted via a radio signal such as an infrared signal, for example. It transmits to the karaoke apparatus 16. In the amplifier mixer 42, the music signal sent from the synthesizer 38 and the singing voice of the user (player) input from the microphone 40 via the remote control receiving unit 62 are mixed, and these signals are electrically mixed. And output from the speaker 44.
前記操作パネル46は、前記カラオケ装置16の利用者が歌いたいカラオケ演奏曲を選択したり、演奏曲の音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン(スイッチ)或いはつまみを備えた入力装置である。また、前記カラオケ装置16には、前記操作パネル46の一部機能を遠隔で実行するための入力装置として機能するリモコン装置64が備えられており、前記リモコン受信部62は、そのリモコン装置64から送信されるリモコン信号(赤外線信号)を受信して前記CPU50へ供給する。また、前記カラオケ装置16と電子早見本装置22との対応付け(くくりつけ)処理も前記リモコン受信部62を介して行われ、そのようにして前記カラオケ装置16に対応付けられた電子早見本装置22も同様に入力装置として機能する。なお、本実施例においては、前記カラオケ装置16に備えられたリモコン装置64や対応付け処理の行われた電子早見本装置22等の入力装置もそのカラオケ装置16の一部を構成するものであるとして以下の説明を行う。 The operation panel 46 allows the user of the karaoke apparatus 16 to select a karaoke performance song that the user wants to sing, adjust the pitch of the performance song, adjust the volume balance between the performance and the song, and perform echo and volume. , An input device provided with operation buttons (switches) or knobs for performing various adjustments such as tone. Further, the karaoke device 16 is provided with a remote control device 64 that functions as an input device for remotely executing a part of the function of the operation panel 46, and the remote control receiving unit 62 is connected to the remote control device 64 from the remote control device 64. A remote control signal (infrared signal) to be transmitted is received and supplied to the CPU 50. In addition, the association (sticking) processing between the karaoke device 16 and the electronic quick sample device 22 is also performed via the remote control receiving unit 62, and thus the electronic quick sample device associated with the karaoke device 16. 22 also functions as an input device. In this embodiment, an input device such as the remote control device 64 provided in the karaoke device 16 or the electronic quick sample device 22 subjected to the association processing also constitutes a part of the karaoke device 16. The following will be described.
前記CPU50は、前記RAM54の一時記憶機能を利用しつつ前記ROM52に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、前記電子早見本装置22やリモコン装置64等により所定のカラオケ演奏曲が選曲された場合、その選曲されたカラオケ演奏曲を前記RAM54に設けられた予約曲テーブルに登録したり、その予約曲テーブルの演奏順に従って前記ハードディスク56から前記RAM54に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報等を読み出したり、カラオケ演奏曲の演奏が進行するのに応じてそのRAM54から前記シンセサイザ38へ演奏情報を送信したり、歌詞情報に基づいて歌詞文字映像を生成して前記映像出力制御部32へ送ったり、選曲時には曲名文字映像を生成して前記映像出力制御部32へ送ったり、前記映像情報デコーダ34を制御して所定の背景映像を再生させたり、カラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させたり、前記通信回線18を介した前記サーバ装置20との間の情報通信制御等の基本的な制御に加えて、後述する本実施例の演奏映像編集制御等の各種制御を実行する。 The CPU 50 is a so-called microcomputer that processes and controls electronic information based on a predetermined program stored in advance in the ROM 52 using the temporary storage function of the RAM 54, and the electronic quick sample device 22 and the remote control device 64. When a predetermined karaoke performance song is selected by the above or the like, the selected karaoke performance song is registered in the reserved song table provided in the RAM 54, or from the hard disk 56 to the RAM 54 according to the performance order of the reserved song table. The performance information and lyrics information etc. of the selected karaoke performance song are read out, the performance information is transmitted from the RAM 54 to the synthesizer 38 as the performance of the karaoke performance song progresses, and the lyric characters are based on the lyrics information. Generate a video and send it to the video output control unit 32. A new character information is generated while a name character image is generated and sent to the image output control unit 32, a predetermined background image is reproduced by controlling the image information decoder 34, that is, during a karaoke performance, that is, between songs. In addition to basic control such as information communication control with the server device 20 via the communication line 18, output information between songs such as music selection rankings, store advertisements, etc. Various controls such as performance video editing control are executed.
前記モデム58は、前記カラオケ装置16を公衆電話回線等による通信回線18に接続するための装置であり、前記CPU50から出力されるディジタル信号をアナログ信号に変換して前記通信回線18に送り出すと共に、その通信回線18を介して伝送されるアナログ信号をディジタル信号に変換して前記CPU50に供給する処理を行う。なお、前記店舗12に備えられた複数のカラオケ装置16のうち何れかのカラオケ装置16が前記ルータ28の機能を備えてマスターコマンダとして前記通信回線18に接続される態様も考えられ、その場合、前記モデム58はそのマスターコマンダとして機能するカラオケ装置16には必要とされるが、そのマスターコマンダを介して前記サーバ装置20との間で情報の通信を行う他のカラオケ装置16には必ずしも設けられなくともよい。 The modem 58 is a device for connecting the karaoke device 16 to a communication line 18 such as a public telephone line, converts a digital signal output from the CPU 50 into an analog signal and sends it to the communication line 18. The analog signal transmitted via the communication line 18 is converted into a digital signal and supplied to the CPU 50. In addition, the aspect by which any karaoke apparatus 16 is equipped with the function of the said router 28 among the several karaoke apparatuses 16 with which the said store 12 was equipped, and is connected to the said communication line 18 as a master commander is also considered, In that case, The modem 58 is required for the karaoke device 16 that functions as the master commander, but is not necessarily provided for other karaoke devices 16 that communicate information with the server device 20 via the master commander. Not necessary.
前記LANポート60は、前記カラオケ装置16をLAN24を介して他のカラオケ装置16や電子早見本装置22等の他の機器に接続するための接続器であり、前記カラオケ装置16は、そのようにLAN24を介して接続されることで、他のカラオケ装置16や電子早見本装置22等の他の機器との間で情報の送受信が可能とされる。例えば、前記アクセスポイント26を介して受信される前記電子早見本装置22からの選曲入力を受け付けて前記RAM54に設けられた予約曲テーブルに記憶したり、そのアクセスポイント26を介して前記カラオケ装置16から電子早見本装置22へ所定の情報を送信したりというように、電波を介して前記カラオケ装置16と電子早見本装置22との間における相互の情報のやりとりが実行される。 The LAN port 60 is a connector for connecting the karaoke device 16 to other devices such as the other karaoke device 16 and the electronic quick sample device 22 via the LAN 24, and the karaoke device 16 is used as such. By being connected via the LAN 24, information can be transmitted / received to / from other devices such as the other karaoke apparatus 16 and the electronic quick sample apparatus 22. For example, the music selection input from the electronic quick sample device 22 received through the access point 26 is received and stored in a reserved music table provided in the RAM 54, or the karaoke device 16 through the access point 26. Thus, mutual exchange of information between the karaoke device 16 and the electronic quick sample device 22 is performed via radio waves, such as transmitting predetermined information to the electronic quick sample device 22.
前記デジタルカメラ66は、例えばCCD(charge coupled device)等の撮像素子及びレンズを備え、そのレンズから入射される映像をCCDにより検知し、その映像を電子情報(映像データ)として取得する所謂デジタルビデオカメラであり、少なくとも動画(時間の経過に従い変化する動きのある映像)を撮影し得るものであるが、必要に応じて静止画(スチル写真)を撮影できるように構成されたものであってもよい。このデジタルカメラ66により撮影された映像情報は、図示しないビデオ端子等のインターフェイスを介して前記CPU50等へ供給され、例えばAVI(Audio-Video Interleaved)形式、MPEG(Moving Picture Experts Group)形式、FLV(Flash Video)形式等の映像ファイルとして前記RAM54等に記憶される。なお、このデジタルカメラ66は、必ずしも前記カラオケ装置16の一部として備えられたものでなくともよく、例えば前記個室14における所定位置に固設された別体のビデオカメラ乃至各利用者が所有する携帯電話機に備えられた撮像装置等により撮影された映像が所定のインターフェイスを介して前記カラオケ装置16に入力される態様も考えられる。 The digital camera 66 includes, for example, an image sensor and a lens such as a CCD (charge coupled device), detects a video incident from the lens by the CCD, and acquires the video as electronic information (video data). A camera that can shoot at least moving images (moving images that change over time), but can be configured to shoot still images (still photos) as needed Good. Video information photographed by the digital camera 66 is supplied to the CPU 50 or the like via an interface such as a video terminal (not shown). For example, AVI (Audio-Video Interleaved) format, MPEG (Moving Picture Experts Group) format, FLV (FLV) Flash video) is stored in the RAM 54 or the like as a video file. The digital camera 66 does not necessarily have to be provided as a part of the karaoke device 16, and is owned by a separate video camera or each user fixed at a predetermined position in the private room 14, for example. A mode in which an image taken by an imaging device or the like provided in the mobile phone is input to the karaoke device 16 via a predetermined interface is also conceivable.
前記赤外線光源位置検出装置68は、赤外線信号を発する機器における赤外線光源の位置、すなわちその赤外線信号の出力部の位置を検出する。例えば、前記マイクロフォン40においては、図2等に示すように、棒状(長手状)の柄の一端部であって音声入力部(マイクロフォン本体)が設けられた側とは逆側の端部に赤外線光源40sが設けられており、前記マイクロフォン40により入力された音声はその赤外線光源40sから前記カラオケ装置16に対して赤外線信号として無線送信されるように構成されている。前記赤外線光源位置検出装置68は、例えば、前記カラオケ装置16の設置された各個室14に対応して予め定められた座標における上記赤外線光源40sの位置を検出し、それにより前記マイクロフォン40の前記個室14内における相対位置を検出する。すなわち、本実施例において、前記赤外線光源位置検出装置68は、前記マイクロフォン40からの無線信号に基づいてそのマイクロフォン40の存在する位置を検出する位置検出装置として機能する。 The infrared light source position detecting device 68 detects the position of the infrared light source in the device that emits the infrared signal, that is, the position of the output portion of the infrared signal. For example, in the microphone 40, as shown in FIG. 2 and the like, an infrared ray is formed at one end of a rod-like (longitudinal) handle opposite to the side on which the voice input unit (microphone main body) is provided. A light source 40 s is provided, and the sound input by the microphone 40 is wirelessly transmitted as an infrared signal from the infrared light source 40 s to the karaoke device 16. The infrared light source position detection device 68 detects, for example, the position of the infrared light source 40s at a predetermined coordinate corresponding to each individual room 14 in which the karaoke device 16 is installed, and thereby the individual room of the microphone 40 is detected. The relative position in 14 is detected. That is, in the present embodiment, the infrared light source position detection device 68 functions as a position detection device that detects the position of the microphone 40 based on the radio signal from the microphone 40.
前記ハードディスク56には、カラオケ演奏曲を出力させるための多数の楽曲データ(カラオケデータ)を記憶する楽曲データベースをはじめとする各種データベースが設けられている。カラオケボックス等の店舗12にそれぞれ備えられた複数のカラオケ装置16のうち所定のカラオケ装置16例えば前記カラオケ装置16aは、前記モデム58を介して前記通信回線18に接続されており、前記複数のカラオケ装置16によって常に新しい曲が演奏可能とされるように、随時新たな楽曲データ等が前記サーバ装置20から前記通信回線18を介して配信され、前記ハードディスク56の楽曲データベース等に記憶される。また、そのようにして前記サーバ装置20から情報を取得したカラオケ装置16aとその他のカラオケ装置16との間で前記LAN24を介した通信が行われることにより、各カラオケ装置16のハードディスク56に記憶される情報が共有され、上記楽曲データベース等の内容が等価なものとされる。 The hard disk 56 is provided with various databases including a music database for storing a large number of music data (karaoke data) for outputting karaoke performance music. Among a plurality of karaoke devices 16 provided in the store 12 such as a karaoke box, a predetermined karaoke device 16, for example, the karaoke device 16 a is connected to the communication line 18 via the modem 58, and the plurality of karaoke devices 16 New music data or the like is distributed from the server device 20 via the communication line 18 and stored in the music database or the like of the hard disk 56 so that new music can always be played by the device 16. In addition, communication is performed via the LAN 24 between the karaoke device 16 a that has acquired information from the server device 20 and the other karaoke devices 16, and is stored in the hard disk 56 of each karaoke device 16. Information is shared, and the contents of the music database and the like are equivalent.
上記楽曲データベースは、前記カラオケ装置16により出力可能な演奏曲にそれぞれ対応する多数(例えば、数万曲分)の楽曲データ(カラオケデータ)を記憶する。この楽曲データは、前記シンセサイザ38により所定の楽器の演奏音を生成するための演奏情報と、歌詞文字映像(歌詞テロップ)を生成するための歌詞情報と、その歌詞情報に基づいて生成された歌詞文字映像を演奏の進行に合わせて順次色替わりさせてゆくための歌詞色替情報とを、含むものであり、コンテンツIDである各演奏曲に固有の選曲番号により識別される。 The music database stores a large number (for example, tens of thousands of songs) of music data (karaoke data) corresponding to performance music that can be output by the karaoke device 16. The music data includes performance information for generating a performance sound of a predetermined instrument by the synthesizer 38, lyrics information for generating a lyrics character image (lyric telop), and lyrics generated based on the lyrics information. It includes lyrics color change information for sequentially changing the color of the character image in accordance with the progress of the performance, and is identified by a music selection number unique to each performance song as the content ID.
図3は、前記サーバ装置20の構成を説明するブロック線図である。この図3に示すように、前記サーバ装置20は、中央演算処理装置であるCPU70により随時書込読出メモリであるRAM74の一時記憶機能を利用しつつ読出専用メモリであるROM72に予め記憶されたプログラムに従って信号処理を行う所謂ノイマン型コンピュータであり、前記カラオケ装置16からの配信要求に応じた楽曲データ等のコンテンツ配信制御をはじめとする基本的な制御に加えて、前記カラオケシステム10の利用者を対象とするソーシャルネットワークサービス(Social Network Service)を管理運営する制御等、本実施例のカラオケシステム10に関する各種制御を実行する。このソーシャルネットワークサービスとは、例えば、予め会員登録された会員相互間に限定して情報の閲覧等のサービスを提供する会員制のコミュニティ型のウェブサイトをいう。なお、以下の説明において、ソーシャルネットワークサービスをSNSと略称する。 FIG. 3 is a block diagram illustrating the configuration of the server device 20. As shown in FIG. 3, the server device 20 uses a CPU 70 which is a central processing unit, a program stored in advance in a ROM 72 which is a read-only memory while using a temporary storage function of a RAM 74 which is a read / write memory as needed. A so-called Neumann computer that performs signal processing according to the above, and in addition to basic control including content distribution control such as music data in response to a distribution request from the karaoke device 16, the user of the karaoke system 10 is Various controls related to the karaoke system 10 of this embodiment, such as control for managing and operating a target social network service, are performed. This social network service refers to, for example, a member-based community-type website that provides services such as information browsing only between members who are registered in advance. In the following description, the social network service is abbreviated as SNS.
前記サーバ装置20は、ビデオボード78により制御されるCRTやTFT等の映像表示装置76と、インターフェイス82を介して接続されるキーボード等の入力装置80と、上記CPU70を前記通信回線18に接続するための装置であるモデム84とを、備えて構成されている。前記サーバ装置20は、このモデム84を介して前記通信回線18に接続されることにより、その通信回線18に接続された前記複数のカラオケ装置16との間で相互に情報の送受信が可能とされている。また、前記サーバ装置20には、前記カラオケ装置16に配信するための多数の前記カラオケデータを記憶する図示しない楽曲データベースの他、上記SNSに関する情報を記憶するSNSデータベース86等の各種データベースが設けられている。 The server device 20 connects the video display device 76 such as CRT and TFT controlled by the video board 78, the input device 80 such as a keyboard connected via the interface 82, and the CPU 70 to the communication line 18. And a modem 84, which is a device for this purpose. The server device 20 is connected to the communication line 18 via the modem 84, so that information can be transmitted to and received from the plurality of karaoke devices 16 connected to the communication line 18. ing. The server device 20 is provided with various databases such as an SNS database 86 for storing information related to the SNS in addition to a music database (not shown) that stores a large number of the karaoke data to be distributed to the karaoke device 16. ing.
上記SNSデータベース86は、前記カラオケシステム10を利用する各利用者毎の、前記カラオケ装置16を用いたカラオケ演奏に関する情報を、その利用者の識別情報(ユーザID)と関連付けて記憶する記憶装置である。このSNSデータベース86には、上記各利用者の前記カラオケ装置16を用いたカラオケ演奏に関する情報として、例えば、その利用者が過去に利用したカラオケ装置16に対応する店舗12(そのカラオケ装置16が設置された店舗12)に関する情報である来店履歴、その利用者が前記カラオケ装置16によるカラオケ演奏において十八番曲として登録した演奏曲(簡易な操作により選曲入力を行い得るように設定された演奏曲)に関する情報、その利用者が過去に前記カラオケ装置16によるカラオケ演奏において選曲した選曲履歴(カラオケ装置16において過去に選曲された演奏曲の履歴)としての演奏曲に関する情報、その利用者が前記カラオケ装置16によるカラオケ演奏において過去に行った演奏評価の評価結果に関する情報、その利用者が前記カラオケ装置16によるカラオケ演奏に際して前記デジタルカメラ66により撮影した映像データ等の情報、及びその利用者がフレンドとして登録した他の利用者に関する情報等が各利用者毎にその利用者のユーザIDと関連付けられて記憶される。 The SNS database 86 is a storage device that stores information related to karaoke performance using the karaoke device 16 for each user who uses the karaoke system 10 in association with identification information (user ID) of the user. is there. In this SNS database 86, as information on the karaoke performance using the karaoke device 16 of each user, for example, the store 12 corresponding to the karaoke device 16 used by the user in the past (the karaoke device 16 is installed). The store visit history, which is information related to the store 12), and the performance music that the user has registered as the eighteenth music in the karaoke performance by the karaoke device 16 (the performance music set so that the music selection input can be performed by a simple operation) Information, information related to a performance song as a music selection history (history of performance songs selected in the past by the karaoke device 16) that the user has selected in the karaoke performance by the karaoke device 16; Performance evaluation results of past performances of karaoke performances Information, such as video data photographed by the digital camera 66 when the user performed the karaoke performance by the karaoke device 16, and information on other users registered as friends by the user, etc. for each user. It is stored in association with the user ID of the user.
また、好適には、前記SNSデータベース86には、各利用者毎に、その利用者の名前(ニックネーム)、生年月日、年齢(実年齢)、性別、メールアドレス、地域、血液型、星座、パスワードを忘れたときのための質問及び解答、SNSへのログイン認証に用いられるパスワード、アバタ(ネット上において利用者を象徴する人型映像)に関する情報、及び利用者の歌年齢等の属性情報がその利用者のユーザIDと関連付けられて記憶されている。この歌年齢とは、利用者の演奏曲の好みの傾向がどの程度の年代(何歳)に相当するものかを示す仮想的な年齢情報であり、対象となる利用者が前記カラオケ装置16において過去に選曲(演奏)した演奏曲に基づいて判断される値であり、好適には、対象となる利用者が過去に選曲(演奏)した演奏曲を算出の基準として、その利用者のカラオケ演奏の傾向がどの程度の年齢に相当するかという観点から導出される値である。 Preferably, the SNS database 86 includes, for each user, the name (nickname), date of birth, age (actual age), gender, email address, region, blood type, constellation, Questions and answers for forgotten passwords, passwords used for SNS login authentication, information on avatars (humanoid images that symbolize users on the net), and attribute information such as the song's song age It is stored in association with the user ID of the user. The song age is virtual age information indicating how much age (how many years) the user's preference of the music piece corresponds to, and the target user uses the karaoke device 16 It is a value determined based on a performance song that has been selected (played) in the past. Preferably, a performance song previously selected (played) by the target user is used as a reference for calculation, and the user's karaoke performance It is a value derived from the viewpoint of how much age the tendency corresponds to.
また、好適には、前記カラオケ装置16において演奏可能な演奏曲に対応する楽曲データ(楽曲データベースに記憶されたデータ)には、属性情報として各演奏曲に対応する歌年齢(演奏曲の仮想的な歌年齢)が設定されており、前記利用者の歌年齢は、例えば、その利用者が前記カラオケ装置16(所定の店舗におけるカラオケ装置16に限られず、カラオケシステム10において利用可能とされた複数のカラオケ装置16の何れか)において過去に選曲した全ての演奏曲に対応付けられて記憶された歌年齢の平均値である。また、各楽曲データに対応付けられて記憶された歌年齢は、前記カラオケ装置16(所定の店舗におけるカラオケ装置16に限られず、カラオケシステム10において利用可能とされた複数のカラオケ装置16の何れか)において過去にその演奏曲を選曲した利用者の歌年齢又は実年齢に基づいて算出されるものであり、例えば、その演奏曲を前記カラオケ装置16において過去に選曲した全ての利用者に対応付けられて記憶された歌年齢又は実年齢の平均値である。斯かる利用者及び演奏曲の歌年齢は、前記サーバ装置20において統括的に管理され、前記カラオケ装置16においてカラオケ演奏が行われる毎に各利用者及び演奏曲の歌年齢が更新される。従って、若い世代によく歌われる演奏曲を選曲した場合、選曲主体である利用者の歌年齢は若くなる一方、年配の世代によく歌われる演奏曲を選曲した場合、選曲主体である利用者の歌年齢は高くなる。 Preferably, the song data (data stored in the song database) corresponding to the performance music that can be played by the karaoke apparatus 16 includes the song age (virtual music virtual) corresponding to each performance music as attribute information. The singing age of the user is, for example, a plurality of the singing ages of the user that the user can use in the karaoke system 10 (not limited to the karaoke device 16 in a predetermined store). Any of the karaoke apparatuses 16) is an average value of the song ages stored in association with all the performance songs selected in the past. Further, the song age stored in association with each piece of music data is the karaoke device 16 (not limited to the karaoke device 16 in a predetermined store, and any one of a plurality of karaoke devices 16 that can be used in the karaoke system 10). ) Is calculated based on the singing age or actual age of the user who selected the performance song in the past. For example, the performance song is associated with all users who have selected the performance song in the past in the karaoke device 16. It is the average value of the song age or the actual age stored and stored. The singing ages of such users and performance songs are comprehensively managed by the server device 20, and the singing ages of the respective users and performance songs are updated every time the karaoke device 16 performs a karaoke performance. Therefore, when a song that is often sung by the younger generation is selected, the song age of the user who is the song selection subject is younger, while when a song that is often sung by the older generation is selected, The song age gets higher.
前記サーバ装置20のCPU70は、前記カラオケシステム10におけるSNSに関する情報登録制御を行う。具体的には、前記カラオケ16の入力装置としての前記電子早見本装置22等による入力操作に応じて、前記SNSデータベース86に新規ユーザ(利用者)の登録を行ったり、そのSNSデータベース86に記憶された登録内容を変更(更新)したり、そのSNSデータベース86に記憶された複数の利用者をフレンドとして相互に関連付けて登録したり、前記カラオケ装置16による評価結果を各利用者毎に記憶したり、前記カラオケ装置16によるカラオケ演奏に際して前記デジタルカメラ66により撮影された映像データを各利用者毎に記憶したり、上述した利用者及び演奏曲に対応する歌年齢の更新を行ったりというように、前記カラオケシステム10におけるSNSの統括的な管理制御を行う。 The CPU 70 of the server device 20 performs information registration control regarding the SNS in the karaoke system 10. Specifically, a new user (user) is registered in the SNS database 86 or stored in the SNS database 86 in response to an input operation by the electronic quick sample apparatus 22 as an input device of the karaoke 16. The registered contents are changed (updated), a plurality of users stored in the SNS database 86 are registered in association with each other, and the evaluation result by the karaoke device 16 is stored for each user. Or the video data photographed by the digital camera 66 during the karaoke performance by the karaoke device 16 is stored for each user, or the song age corresponding to the above-mentioned user and performance music is updated. , SNS overall management control in the karaoke system 10 is performed.
また、前記サーバ装置20のCPU70は、前記カラオケ装置16、電子早見本装置22、或いは図示しない家庭用パーソナルコンピュータや携帯電話機等の通信端末装置から所定の映像データの配信要求があった場合には、その配信要求に応じて前記SNSデータベース86に記憶された配信要求に係る映像データを要求元である通信端末装置に前記通信回線18を介して配信する。斯かる処理により配信された映像データは、各通信端末装置に備えられたアプリケーションソフトによりその通信端末装置の表示部(カラオケ装置16の映像表示装置30等)に表示される。 The CPU 70 of the server device 20 receives a predetermined video data distribution request from the karaoke device 16, the electronic sample device 22, or a communication terminal device such as a home personal computer or a cellular phone (not shown). In response to the distribution request, the video data related to the distribution request stored in the SNS database 86 is distributed to the requesting communication terminal device via the communication line 18. The video data distributed by such processing is displayed on the display unit (such as the video display device 30 of the karaoke device 16) of the communication terminal device by application software provided in each communication terminal device.
図4は、前記カラオケ装置16によるカラオケ演奏に際して前記デジタルカメラ66によりそのカラオケ装置16を基準とする所定範囲の映像が撮影される様子を説明する図であり、前記カラオケ装置16が設置された個室14を破線で示している。この図4に示すように、前記デジタルカメラ66は、好適には、前記カラオケ装置16乃至そのカラオケ装置16が設置された前記個室14に対して位置固定に設けられており、その個室14内における前記カラオケ装置16を基準とする所定範囲の映像を撮影するように構成されている。すなわち、前記デジタルカメラ66のカメラアングルは固定されており、常に前記個室14内の同じ範囲の像が撮影されるようになっている。このカメラアングルは、好適には、前記カラオケ装置16の映像表示装置30の画面を見ながらカラオケ演奏を行う歌唱者90の像を撮像内に収めるように予め定められており、前記カラオケ装置16による演奏曲の出力に際して前記デジタルカメラ66による撮影が行われた場合、上記歌唱者90に対応する映像及びその歌唱者90が手にする(把持する)マイクロフォン40に対応する映像を含む映像(演奏映像)が撮影される。なお、上記カメラアングルは、例えば前記店舗12の店員等による所定の設定操作により変更し得るものであってもよい。また、前記デジタルカメラ66が歌唱者90に対応する像の動きに追従してカメラアングルの変更(首振り追跡)を行うものであってもよい。 FIG. 4 is a diagram for explaining a situation in which a video of a predetermined range based on the karaoke device 16 is taken by the digital camera 66 during a karaoke performance by the karaoke device 16, and a private room in which the karaoke device 16 is installed. 14 is indicated by a broken line. As shown in FIG. 4, the digital camera 66 is preferably provided in a fixed position with respect to the karaoke device 16 to the private room 14 in which the karaoke device 16 is installed. A predetermined range of video with respect to the karaoke device 16 is taken. That is, the camera angle of the digital camera 66 is fixed, and images in the same range in the private room 14 are always taken. The camera angle is preferably set in advance so that an image of a singer 90 performing a karaoke performance while looking at the screen of the video display device 30 of the karaoke device 16 is included in the imaging. When shooting with the digital camera 66 at the time of outputting a performance song, a video (performance video) including a video corresponding to the singer 90 and a video corresponding to the microphone 40 that the singer 90 holds (holds). ) Is shot. The camera angle may be changed by a predetermined setting operation by a clerk of the store 12, for example. Further, the digital camera 66 may change the camera angle (tracking the head) following the movement of the image corresponding to the singer 90.
図5は、前記カラオケ装置16のCPU50に備えられた制御機能の要部を説明する機能ブロック線図である。なお、この図5に示す各制御手段の一部乃至全部が前記電子早見本装置22のCPU等に備えられたものであってもよい。この図5に示すマイクロフォン位置検出手段92は、撮像装置である前記デジタルカメラ66により撮影された映像に含まれる前記マイクロフォン40に対応する位置を検出する。すなわち、前記デジタルカメラ66により撮影された映像全体における前記マイクロフォン40に対応する映像(部分映像)の相対位置を検出する。 FIG. 5 is a functional block diagram illustrating a main part of the control function provided in the CPU 50 of the karaoke apparatus 16. 5 may be provided in the CPU of the electronic quick sample apparatus 22 or the like. The microphone position detection means 92 shown in FIG. 5 detects a position corresponding to the microphone 40 included in an image taken by the digital camera 66 that is an imaging device. That is, the relative position of the image (partial image) corresponding to the microphone 40 in the entire image taken by the digital camera 66 is detected.
図6は、前記カラオケ装置16による演奏曲の出力に際して前記デジタルカメラ66により撮影される映像の一例である演奏映像100を示す図である。この図6に示すように、前記カラオケ装置16によるカラオケ演奏に際して撮影された演奏映像100に歌唱者に対応する映像102が含まれている場合、その歌唱者が手にする(把持する)前記マイクロフォン40に対応する映像104も同様にその演奏映像100に含まれていることが多いものと考えられる。上記マイクロフォン位置検出手段92は、このように前記デジタルカメラ66により撮影される演奏映像100内に含まれる部分映像としての前記マイクロフォン40に対応する映像104の位置を検出する。例えば、図6に示す演奏映像100全体におけるその映像104の相対的な位置を検出する。この検出の態様としては、長手状の前記マイクロフォン40全体の形状に対応する位置を検出するものであってもよいし、そのマイクロフォン40における赤外線光源40sや音声入力部(マイクロフォン本体)の位置すなわちマイクロフォン40の一部を検出するものであってもよい。更に、上記演奏映像100全体に対する前記映像104の重心の座標の位置を検出する等の制御を行うものであってもよい。なお、前記デジタルカメラ66により撮影される演奏映像100は、好適には経時的に変化する動画であるが、図6においては、便宜状、経時的に変化する演奏映像100の1コマ(所定タイミングの像)を例示している。また、上記演奏映像100が動画である場合、その演奏映像100の変化に伴い前記マイクロフォン40に対応する映像104の位置が移動することが考えられるため、例えば0.1秒毎といった短い所定時間毎に上記位置検出を行い、継続的に前記マイクロフォン40に対応する映像104の位置を検出することが好ましい。 FIG. 6 is a diagram showing a performance video 100 that is an example of a video shot by the digital camera 66 when the karaoke device 16 outputs a performance tune. As shown in FIG. 6, when a performance image 100 photographed during a karaoke performance by the karaoke device 16 includes a video 102 corresponding to a singer, the microphone that the singer obtains (holds). Similarly, it is considered that the video 104 corresponding to 40 is often included in the performance video 100 as well. The microphone position detecting means 92 detects the position of the video 104 corresponding to the microphone 40 as a partial video included in the performance video 100 photographed by the digital camera 66 in this way. For example, the relative position of the video 104 in the entire performance video 100 shown in FIG. 6 is detected. As a mode of this detection, a position corresponding to the overall shape of the longitudinal microphone 40 may be detected, or the position of the infrared light source 40s or the voice input unit (microphone main body) in the microphone 40, that is, the microphone. A part of 40 may be detected. Further, control such as detecting the position of the coordinates of the center of gravity of the video 104 with respect to the entire performance video 100 may be performed. The performance video 100 photographed by the digital camera 66 is preferably a moving image that changes with time, but in FIG. 6, one frame (predetermined timing) of the performance video 100 that changes with time is shown for convenience. Image). Further, when the performance video 100 is a moving image, the position of the video 104 corresponding to the microphone 40 may move with the change of the performance video 100. Therefore, for example, every short predetermined time such as every 0.1 second. It is preferable to detect the position of the image 104 corresponding to the microphone 40 continuously.
前記マイクロフォン位置検出手段92は、好適には、前記デジタルカメラ66により撮影された映像において輝度に基づく画像解析を行うことにより前記マイクロフォン40に対応する位置を検出する。前記カラオケ装置16に備えられる前記マイクロフォン40は、一般に、黒色或いは銀色(金属色)等の単一色を基調とする色彩を有し、且つ一方に部分球状の音声入力部(マイクロフォン本体)を備えた長手状(柄状)の特徴的な形状を有するものであるため、よく知られた輝度に基づく画像解析により比較的容易に検出することができる。図6においては、前記マイクロフォン位置検出手段92により斯かる画像解析を行うことで検出された前記マイクロフォン40に対応する映像104の位置104aを破線で示している。 The microphone position detection unit 92 preferably detects a position corresponding to the microphone 40 by performing image analysis based on luminance in the video imaged by the digital camera 66. The microphone 40 provided in the karaoke device 16 generally has a color based on a single color such as black or silver (metal color), and has a partially spherical audio input unit (microphone main body) on one side. Since it has a long (patterned) characteristic shape, it can be detected relatively easily by image analysis based on well-known luminance. In FIG. 6, the position 104a of the video image 104 corresponding to the microphone 40 detected by performing such image analysis by the microphone position detection unit 92 is indicated by a broken line.
また、前記マイクロフォン位置検出手段92は、好適には、前記赤外線光源位置検出装置68の検出結果に基づいて、前記デジタルカメラ66により撮影された映像に含まれる前記マイクロフォン40に対応する位置を検出する。前述のように、前記デジタルカメラ66のカメラアングル(撮影される範囲)は固定であるため、前記個室14における前記マイクロフォン40(赤外線光源40s)の相対位置が検出されると、そのデジタルカメラ66により撮影された演奏映像100内における前記マイクロフォン40に対応する映像104の相対的な位置を特定することができる。なお、斯かる態様においては、前記デジタルカメラ66のカメラアングル(撮影範囲)と前記赤外線光源位置検出装置68の検出範囲との対応関係を予め実験的に調査して前記RAM54等に記憶しておくことが好ましい。 In addition, the microphone position detection unit 92 preferably detects a position corresponding to the microphone 40 included in an image captured by the digital camera 66 based on the detection result of the infrared light source position detection device 68. . As described above, since the camera angle (shooting range) of the digital camera 66 is fixed, the digital camera 66 detects the relative position of the microphone 40 (infrared light source 40s) in the private room 14. The relative position of the video 104 corresponding to the microphone 40 in the photographed performance video 100 can be specified. In such an embodiment, the correspondence relationship between the camera angle (shooting range) of the digital camera 66 and the detection range of the infrared light source position detection device 68 is experimentally investigated in advance and stored in the RAM 54 or the like. It is preferable.
図5に示す歌唱者身長算出手段94は、歌唱者の性別に関する情報及び生年に関する情報から、その歌唱者の身長を算出する。例えば、前記RAM54に設けられた予約曲テーブルには、各予約曲の選曲番号に対応してその演奏曲を予約した利用者のユーザIDが記憶されるようになっており、上記歌唱者身長算出手段94は、各演奏曲の演奏に相前後して、前記SNSデータベース86に記憶された各利用者(歌唱者)の性別及び生年月日乃至年齢(実年齢)を前記通信回線18を介してダウンロードし、各性別毎に予め定められた生年毎の平均身長に基づいて対象となる歌唱者の身長を算出する。例えば、対象となる歌唱者の性別が「男」、生年月日が「2001年6月18日」であって、2001年生まれの男性の平均身長が「168cm」と定められている場合には、その歌唱者の身長は「168cm」と算出される。また、生年月日乃至年齢(実年齢)の代わりに、前記SNSデータベース86に記憶された各利用者の歌年齢に基づいてその歌唱者の身長を算出するものであってもよい。また、前記SNSデータベース86に登録されていないゲスト利用者に関しては、予め定められた「170cm」といったデフォルト値がその歌唱者の身長として算出される。 The singer height calculating means 94 shown in FIG. 5 calculates the singer's height from the information regarding the gender of the singer and the information regarding the year of birth. For example, the reserved music table provided in the RAM 54 stores the user ID of the user who reserved the performance music corresponding to the music selection number of each reserved music. The means 94 is connected with the gender and date of birth or age (actual age) of each user (singer) stored in the SNS database 86 via the communication line 18 in tandem with the performance of each performance piece. Download and calculate the height of the target singer based on the average height for each year of birth predetermined for each gender. For example, when the gender of the target singer is “male”, the date of birth is “June 18, 2001”, and the average height of a male born in 2001 is “168 cm” The height of the singer is calculated as “168 cm”. Further, instead of the date of birth or age (actual age), the height of the singer may be calculated based on the song age of each user stored in the SNS database 86. For guest users who are not registered in the SNS database 86, a predetermined default value such as “170 cm” is calculated as the height of the singer.
歌唱者領域判定手段96は、前記マイクロフォン位置検出手段92により検出される前記マイクロフォン40に対応する位置に基づいて、前記デジタルカメラ66により撮影された映像に含まれる歌唱者に対応する領域を判定する。図6を用いて前述したように、前記デジタルカメラ66により撮影された演奏映像100内における前記マイクロフォン40に対応する映像104の相対位置が検出された場合、そのマイクロフォン40を手にする歌唱者に対応する映像102がその付近乃至周囲に存在するものと考えられる。従って、上記歌唱者領域判定手段96は、好適には、前記マイクロフォン位置検出手段92により検出される前記マイクロフォン40に対応する位置を含む所定範囲を、前記演奏映像100において歌唱者が映っている領域として判定する。 The singer area determination unit 96 determines an area corresponding to the singer included in the video photographed by the digital camera 66 based on the position corresponding to the microphone 40 detected by the microphone position detection unit 92. . As described above with reference to FIG. 6, when the relative position of the image 104 corresponding to the microphone 40 in the performance image 100 photographed by the digital camera 66 is detected, the singer holding the microphone 40 is notified. It is considered that the corresponding video 102 exists in the vicinity or the periphery thereof. Therefore, the singer area determination means 96 is preferably an area in which the singer is shown in the performance video 100 within a predetermined range including the position corresponding to the microphone 40 detected by the microphone position detection means 92. Judge as.
図7は、図6に示す演奏映像100における前記マイクロフォン40に対応する位置に基づいて歌唱者に対応する領域を判定する制御の一例を説明する図である。この図7に示すように、上記歌唱者領域判定手段96は、好適には、前記デジタルカメラ66により撮影された演奏映像100において、前記マイクロフォン位置検出手段92により検出される前記マイクロフォン40に対応する位置を含む、その演奏映像100における上方を1頂角とする三角形状の領域を歌唱者に対応する領域106として判定する。すなわち、高さ方向が画面(演奏映像100)に対して縦方向となる三角形を設定し、前記マイクロフォン位置検出手段92により検出される前記マイクロフォン40に対応する位置がその三角形における上方の1頂角と重心とを結ぶ直線上であり且つその重心よりも上側の所定位置となるように上記歌唱者に対応する領域106を判定する。ここで、図7に示すように、上記歌唱者領域判定手段96により判定される歌唱者に対応する領域106は、必ずしもその歌唱者に対応する映像102と一致するものではなく、その歌唱者に対応する映像102を部分的に含むものであればよい。また、その領域106内には、歌唱者に対応する映像102以外の映像も含まれ得るし、その歌唱者に対応する映像102以外の映像に対応する割合(面積)の方が大きい場合も考えられる。 FIG. 7 is a diagram for explaining an example of control for determining an area corresponding to a singer based on a position corresponding to the microphone 40 in the performance video 100 shown in FIG. As shown in FIG. 7, the singer area determination means 96 preferably corresponds to the microphone 40 detected by the microphone position detection means 92 in the performance video 100 photographed by the digital camera 66. A triangular area including the position and having an apex angle in the upper part of the performance video 100 is determined as an area 106 corresponding to the singer. That is, a triangle whose height direction is the vertical direction with respect to the screen (performance video 100) is set, and the position corresponding to the microphone 40 detected by the microphone position detecting means 92 is an upper vertical angle in the triangle. The region 106 corresponding to the singer is determined so as to be a predetermined position on a straight line connecting the center of gravity and the center of gravity. Here, as shown in FIG. 7, the area 106 corresponding to the singer determined by the singer area determination means 96 does not necessarily match the video 102 corresponding to the singer, and the singer What is necessary is just to include the corresponding | compatible image | video 102 partially. In addition, the area 106 may include a video other than the video 102 corresponding to the singer, and a ratio (area) corresponding to a video other than the video 102 corresponding to the singer may be larger. It is done.
前記歌唱者領域判定手段96は、好適には、前記マイクロフォン位置検出手段92により検出される前記マイクロフォン40に対応する位置及び歌唱者の身長に関する情報例えば前記歌唱者身長算出手段94により算出される歌唱者の身長に基づいて、前記デジタルカメラ66により撮影された映像に含まれる歌唱者に対応する領域を判定する。例えば、図7に示すように歌唱者に対応する三角形の領域106を判定する態様においては、歌唱者の身長に基づいて斯かる三角形の高さ寸法(縦方向寸法)を決定する。すなわち、対象となる歌唱者の身長が高いほどその歌唱者に対応する三角形の高さ寸法を長く設定する。これにより、身長が比較的高い歌唱者に対応する領域は高さ寸法が比較的長くなり、結果として縦に長い三角形状の領域となる。また、身長が比較的低い歌唱者に対応する領域は高さ寸法が比較的短くなり、結果として縦に短い三角形状の領域となる。従って、各歌唱者の身長に合わせて好適な範囲がその歌唱者に対応する領域として判定される。 The singer area determining means 96 is preferably information relating to the position corresponding to the microphone 40 detected by the microphone position detecting means 92 and the height of the singer, for example, the singing calculated by the singer height calculating means 94. An area corresponding to the singer included in the video photographed by the digital camera 66 is determined based on the height of the person. For example, as shown in FIG. 7, in the aspect of determining the triangular area 106 corresponding to the singer, the height dimension (vertical dimension) of the triangle is determined based on the height of the singer. That is, the height dimension of the triangle corresponding to the singer is set longer as the height of the target singer is higher. Thereby, the area | region corresponding to a singer with comparatively high height becomes comparatively long in height dimension, and becomes a triangle-like area | region long vertically as a result. Moreover, the area | region corresponding to a singer with a comparatively low height becomes comparatively short in a height dimension, and, as a result, becomes a short triangular area | region vertically. Therefore, a range suitable for the height of each singer is determined as an area corresponding to the singer.
図5に示す映像編集制御手段98は、前記デジタルカメラ66により撮影された演奏映像100において、前記歌唱者領域判定手段96により判定された歌唱者に対応する領域106の相対的な明るさを変更する。例えば、前記演奏映像100において、前記歌唱者領域判定手段96により判定された歌唱者に対応する領域106の相対的な明るさが他の部分(演奏映像100における領域106以外の部分)より明るくなるように変更する。換言すれば、前記演奏映像100において、前記歌唱者領域判定手段96により判定された歌唱者に対応する領域106以外の部分がその領域106よりも暗くなるように明るさを変更する。この明るさの変更は、好適には、前記演奏映像100における明度、輝度、乃至コントラストを部分的に変更することにより行われるものであるが、その演奏映像100の前面側レイヤに半透明の映像(例えば、歌唱者に対応する領域106を抜いた黒ベタ映像であって透明度50%の映像)を合成することによって行われる態様や、予め定められた所定のフィルタ処理によって行われる態様等が考えられる。 The video editing control means 98 shown in FIG. 5 changes the relative brightness of the area 106 corresponding to the singer determined by the singer area determination means 96 in the performance video 100 taken by the digital camera 66. To do. For example, in the performance video 100, the relative brightness of the area 106 corresponding to the singer determined by the singer area determination means 96 is brighter than other parts (parts other than the area 106 in the performance video 100). Change as follows. In other words, the brightness of the performance video 100 is changed so that a portion other than the region 106 corresponding to the singer determined by the singer region determination means 96 is darker than the region 106. This change in brightness is preferably performed by partially changing the brightness, brightness, or contrast in the performance video 100, but a translucent video is displayed on the front layer of the performance video 100. For example, a mode performed by synthesizing (for example, a black solid video from which the area 106 corresponding to the singer is removed and a video with a transparency of 50%), a mode performed by a predetermined filter process, and the like are considered. It is done.
図8は、図6に示す演奏映像100において図7に示すように判定された歌唱者に対応する領域106の相対的な明るさを変更した編集後(調整後)の演奏映像108を例示する図である。この図8においては、前記デジタルカメラ66により撮影された演奏映像100において、歌唱者に対応する領域106の明るさが他の領域に比べて明るくなるように編集(調整)された演奏映像108を例示している。この編集後の演奏映像108は、好適には、前記映像出力制御部32等を介して前記映像表示装置30に表示されるものであるが、前記電子早見本装置22のタッチパネルディスプレイに表示されるものであってもよい。前述したように、前記演奏映像100が経時的に変化する動画である場合、前記歌唱者に対応する領域の映像108も同様に動画となるが、前記マイクロフォン位置検出手段92によりリアルタイムでマイクロフォン40の位置検出を行い、その検出結果に基づいて前記歌唱者に対応する領域106を判定することで、常に歌唱者の映像102が含まれる領域106が明るくなるように編集を行うことができ、あたかも演奏映像100内における歌唱者に上方からのサスペンションライトが当たっているかのような映像効果を実現することができる。なお、この場合において、サスペンションライトの光源に相当する上記領域106に対応する三角形の上方を1頂角を固定し、その底辺のみが移動するようにその領域106延いては他の部分よりも明るく編集する範囲を定めてもよい。 FIG. 8 illustrates an edited (adjusted) performance video 108 in which the relative brightness of the area 106 corresponding to the singer determined as shown in FIG. 7 in the performance video 100 shown in FIG. 6 is changed. FIG. In FIG. 8, in the performance video 100 photographed by the digital camera 66, a performance video 108 edited (adjusted) so that the brightness of the area 106 corresponding to the singer becomes brighter than other areas is shown. Illustrated. The edited performance video 108 is preferably displayed on the video display device 30 via the video output control unit 32 or the like, but is displayed on the touch panel display of the electronic quick sample device 22. It may be a thing. As described above, when the performance image 100 is a moving image that changes over time, the image 108 in the region corresponding to the singer also becomes a moving image, but the microphone position detection unit 92 performs real-time operation of the microphone 40. By performing position detection and determining the area 106 corresponding to the singer based on the detection result, editing can be performed so that the area 106 including the video 102 of the singer always becomes bright, as if performing. A video effect as if the singer in the video 100 is hitting the suspension light from above can be realized. In this case, one apex angle is fixed above the triangle corresponding to the area 106 corresponding to the light source of the suspension light, and the area 106 is extended so that only the bottom side moves and is brighter than the other parts. You may define the range to edit.
また、前記映像編集制御手段98は、好適には、前記歌唱者に対応する領域106の相対的な明るさが変更された演奏映像108を、前記カラオケ装置16による演奏曲の出力に伴ってカラオケ背景映像として表示させる。すなわち、カラオケ演奏に際して、図9に示すように、前記歌唱者に対応する領域106の相対的な明るさが変更された演奏映像108の前面側レイヤに演奏曲の歌詞文字映像110を合成して前記映像表示装置30に表示させる。これにより、あたかも前記カラオケ装置16によるカラオケ演奏に際して前記映像表示装置30に表示される映像の中で、歌唱者がサスペンションライトの明かりの下で歌っているような印象の演奏映像108を背景映像とするカラオケ映像を見ながらカラオケ演奏を楽しむことができる。 Further, the video editing control means 98 preferably displays the performance video 108 in which the relative brightness of the area 106 corresponding to the singer is changed along with the output of the performance music by the karaoke device 16. Display as background video. That is, when performing a karaoke performance, as shown in FIG. 9, the lyric character image 110 of the performance song is synthesized with the front layer of the performance image 108 in which the relative brightness of the area 106 corresponding to the singer is changed. The image is displayed on the video display device 30. As a result, the performance video 108 of the impression that a singer is singing under the light of the suspension light in the video displayed on the video display device 30 during the karaoke performance by the karaoke device 16 is used as the background video. You can enjoy karaoke performance while watching the karaoke video.
また、前記映像編集制御手段98は、好適には、図8等を用いて上述した実施例とは逆に、前記演奏映像100において、前記歌唱者領域判定手段96により判定された歌唱者に対応する領域106の相対的な明るさが他の部分より暗くなるように変更するものであってもよい。図10は、図6に示す演奏映像100において図7に示すように判定された歌唱者に対応する領域106の相対的な明るさを変更した編集後(調整後)の他の一例である演奏映像112を例示する図である。この図10においては、前記デジタルカメラ66により撮影された演奏映像100において、歌唱者に対応する領域106の明るさが他の領域に比べて暗くなるように編集(調整)された演奏映像112を例示している。歌唱者によっては、前記デジタルカメラ66により撮影された演奏映像100中における自身の映像102を目立たせるのではなく、逆に視認し難くすることを希望する場合がある。斯かる場合において、前記歌唱者領域判定手段96により判定された歌唱者に対応する領域106の相対的な明るさが他の部分より暗くなるように編集(調整)することで、あたかもその歌唱者に対応する部分にヴェールがかけられているような映像効果を実現でき、前記演奏映像100中における歌唱者に対応する映像102を視認し難くすることができる。 Also, the video editing control means 98 preferably corresponds to the singer determined by the singer area determination means 96 in the performance video 100, contrary to the embodiment described above with reference to FIG. The relative brightness of the area 106 to be changed may be changed to be darker than other portions. FIG. 10 is a performance as another example after editing (after adjustment) in which the relative brightness of the area 106 corresponding to the singer determined as shown in FIG. 7 in the performance video 100 shown in FIG. 6 is changed. It is a figure which illustrates the image | video 112. In FIG. 10, in the performance video 100 photographed by the digital camera 66, a performance video 112 edited (adjusted) so that the brightness of the area 106 corresponding to the singer is darker than other areas is shown. Illustrated. Depending on the singer, it may be desired not to make the player's own video 102 stand out in the performance video 100 photographed by the digital camera 66 but to make it difficult to visually recognize. In such a case, by editing (adjusting) the relative brightness of the area 106 corresponding to the singer determined by the singer area determination means 96 to be darker than other parts, it is as if the singer Thus, it is possible to realize a video effect in which a portion corresponding to is applied with a veil, making it difficult to visually recognize the video 102 corresponding to the singer in the performance video 100.
また、前記映像編集制御手段98により相対的な明るさが変更される領域は、図8等に示すような三角形状の領域には限られず、設計に応じて種々の態様が考えられる。図11は、図6に示す演奏映像100において判定された歌唱者に対応する領域114の相対的な明るさを変更した編集後(調整後)の更に別の一例である演奏映像116を例示する図である。この図11においては、前記デジタルカメラ66により撮影された演奏映像100において、歌唱者に対応する楕円形の領域114の明るさが他の領域に比べて明るくなるように編集(調整)された演奏映像116を例示している。前記歌唱者領域判定手段96は、好適には、前記デジタルカメラ66により撮影された演奏映像100において、前記マイクロフォン位置検出手段92により検出される前記マイクロフォン40に対応する位置を含む楕円形の領域を歌唱者に対応する領域114として判定する。例えば、長軸が画面(演奏映像100)に対して縦方向となる楕円を設定し、前記マイクロフォン位置検出手段92により検出される前記マイクロフォン40に対応する位置がその楕円における長軸上であり且つ中心よりも上側の所定位置となるように上記歌唱者に対応する領域114を判定する。この判定に対応して、前記映像編集制御手段98は、前記演奏映像100において、前記歌唱者領域判定手段96により判定された歌唱者に対応する楕円形の領域114の相対的な明るさを変更する。好適には、図11に示すように、その楕円形の領域114の明るさが他の領域に比べて明るくなるように編集することで、あたかも歌唱者に前方からのスポットライトが当たっているかのような映像効果を実現することができる。或いは、前述の実施例と同様に、上記楕円形の領域114の明るさが他の領域に比べて暗くなるように編集するものであってもよい。 Further, the area where the relative brightness is changed by the video editing control means 98 is not limited to the triangular area as shown in FIG. 8 and the like, and various modes can be considered according to the design. FIG. 11 illustrates a performance video 116 which is still another example after editing (after adjustment) in which the relative brightness of the region 114 corresponding to the singer determined in the performance video 100 shown in FIG. 6 is changed. FIG. In FIG. 11, in the performance video 100 photographed by the digital camera 66, the performance edited (adjusted) so that the brightness of the elliptical area 114 corresponding to the singer is brighter than the other areas. An image 116 is illustrated. The singer area determination means 96 preferably has an elliptical area including a position corresponding to the microphone 40 detected by the microphone position detection means 92 in the performance video 100 photographed by the digital camera 66. It determines as the area | region 114 corresponding to a singer. For example, an ellipse whose long axis is the vertical direction with respect to the screen (performance video 100) is set, and the position corresponding to the microphone 40 detected by the microphone position detecting means 92 is on the long axis of the ellipse and The region 114 corresponding to the singer is determined so as to be at a predetermined position above the center. In response to this determination, the video editing control means 98 changes the relative brightness of the oval area 114 corresponding to the singer determined by the singer area determination means 96 in the performance video 100. To do. Preferably, as shown in FIG. 11, by editing the elliptical area 114 so that the brightness of the elliptical area 114 is brighter than other areas, it is as if the singer is receiving a spotlight from the front. Such a video effect can be realized. Alternatively, similar to the above-described embodiment, editing may be performed so that the brightness of the elliptical region 114 is darker than other regions.
また、前記歌唱者領域判定手段96は、好適には、図11に示すように歌唱者に対応する楕円形の領域114を判定する態様においては、歌唱者の身長に基づいて斯かる楕円形の長軸寸法(縦方向寸法)を決定する。すなわち、対象となる歌唱者の身長が高いほどその歌唱者に対応する楕円形の長軸寸法を長く設定する。これにより、身長が比較的高い歌唱者に対応する領域は長軸寸法が比較的長く縦に長い領域となり、身長が比較的低い歌唱者に対応する領域は長軸寸法が比較的短く縦に短い領域となるため、各歌唱者の身長に合わせて好適な範囲がその歌唱者に対応する領域として判定される。 Moreover, the said singer area | region determination means 96 suitably has such an elliptical shape based on the height of a singer in the aspect which determines the elliptical area | region 114 corresponding to a singer as shown in FIG. Determine the major axis dimension (vertical dimension). That is, as the height of the target singer is higher, the elliptical long axis dimension corresponding to the singer is set longer. Thereby, the region corresponding to a singer with a relatively high height is a region with a long axis dimension that is relatively long and vertically long, and the region corresponding to a singer with a relatively low height is relatively short in length and short in length. Since it becomes an area | region, according to the height of each singer, a suitable range is determined as an area | region corresponding to the singer.
また、前記映像編集制御手段98により相対的な明るさが変更される領域は、前記演奏映像100における歌唱者の顔部分に対応する領域であってもよい。図12は、図6に示す演奏映像100において判定された歌唱者の顔部分に対応する領域118の相対的な明るさを変更した編集後(調整後)の一例である演奏映像120を例示する図である。この図12においては、前記デジタルカメラ66により撮影された演奏映像100において、歌唱者の顔部分に対応する円形の領域118の明るさが他の領域に比べて暗くなるように編集(調整)された演奏映像120を例示している。前記歌唱者領域判定手段96は、好適には、前記デジタルカメラ66により撮影された演奏映像100に含まれる歌唱者の顔部分に対応する領域118を判定する。例えば、前記演奏映像100において、前記マイクロフォン位置検出手段92により検出される前記マイクロフォン40に対応する位置104aの直ぐ上(その位置104aの一部を含むものであってもよい)における所定半径の円形の領域を設定し、その領域を歌唱者の顔部分に対応する領域118として判定する。また、前記映像編集制御手段98は、好適には、前記演奏映像100において、その歌唱者の顔部分に対応する領域118として判定された部分の相対的な明るさをそれ以外の部分に比べて暗くする。例えば、図12に示すように、前記演奏映像100における上記顔部分に対応する領域118を黒色の描線(フリードロー様の自由曲線)で塗り潰すように明度を変更する。この態様においては、上記顔部分に対応する領域118全体の明るさが変更されているのではなく、その領域118を覆うように黒色の描線が上書きされることで結果としてその領域118における少なくとも一部の明るさが変更されている。このように、上記歌唱者の顔部分に対応する領域118の明るさが他の部分に比べて暗くなるように編集した演奏映像120では、あたかも歌唱者の顔部分を塗り潰すような映像効果を実現することができ、歌唱者が自身の映像を視認し難くすることを希望する場合に好適である。 Further, the area where the relative brightness is changed by the video editing control means 98 may be an area corresponding to a singer's face portion in the performance video 100. FIG. 12 illustrates a performance video 120 that is an example after editing (after adjustment) in which the relative brightness of the region 118 corresponding to the face portion of the singer determined in the performance video 100 shown in FIG. 6 is changed. FIG. In FIG. 12, in the performance video 100 photographed by the digital camera 66, the circular area 118 corresponding to the singer's face is edited (adjusted) so that the brightness is darker than other areas. The performance image 120 is illustrated. The singer area determination means 96 preferably determines an area 118 corresponding to the singer's face part included in the performance video 100 photographed by the digital camera 66. For example, in the performance image 100, a circle having a predetermined radius immediately above the position 104a corresponding to the microphone 40 detected by the microphone position detecting unit 92 (may include a part of the position 104a). Is determined as an area 118 corresponding to the face portion of the singer. In addition, the video editing control means 98 preferably compares the relative brightness of the portion determined as the region 118 corresponding to the face portion of the singer in the performance video 100 compared to the other portions. Darken. For example, as shown in FIG. 12, the brightness is changed so that a region 118 corresponding to the face portion in the performance video 100 is filled with a black drawing line (free draw-like free curve). In this aspect, the brightness of the entire area 118 corresponding to the face portion is not changed, but the black drawn line is overwritten to cover the area 118, resulting in at least one in the area 118. The brightness of the part has been changed. Thus, in the performance video 120 edited so that the brightness of the area 118 corresponding to the singers' face portion becomes darker than other portions, the video effect is as if the face portion of the singer is filled. It can be realized, and is suitable when the singer desires to make it difficult to visually recognize his / her own video.
また、前記映像編集制御手段98は、単に前記歌唱者領域判定手段96により判定された領域の相対的な明るさを変更するのみならず、更に付加的な表示制御を行うものであってもよい。図13は、図6に示す演奏映像100において判定された歌唱者の顔部分に対応する領域118の相対的な明るさを変更すると共に付加的な表示制御を行った編集後(調整後)の演奏映像122を例示する図である。この図13においては、前記デジタルカメラ66により撮影された演奏映像100において、歌唱者の顔部分に対応する円形の領域118の明るさが他の領域に比べて暗くなるように編集(調整)された後、更にその領域118における前面側レイヤに目と口を模した映像が付加的に表示された演奏映像122を例示している。このように、前記歌唱者の顔部分に対応する領域118の明るさが他の部分に比べて暗くなるように編集した後、更にその前面側レイヤに目や口等を模した映像を付加的に表示する演奏映像122では、あたかも歌唱者の顔部分にマスクがかけられているかのような映像効果を実現することができ、歌唱者が自身の映像を視認し難くすることを希望する場合に好適である。 Further, the video editing control means 98 may not only change the relative brightness of the area determined by the singer area determination means 96 but also perform additional display control. . FIG. 13 shows a state after editing (after adjustment) in which the relative brightness of the region 118 corresponding to the face portion of the singer determined in the performance video 100 shown in FIG. 6 is changed and additional display control is performed. It is a figure which illustrates the performance image | video 122. In this FIG. 13, in the performance video 100 photographed by the digital camera 66, the circular area 118 corresponding to the singer's face is edited (adjusted) so that the brightness of the circular area 118 becomes darker than other areas. Then, a performance image 122 in which an image simulating eyes and mouth is additionally displayed on the front side layer in the region 118 is illustrated. In this way, after editing the area 118 corresponding to the singers' face part to be darker than the other parts, a video imitating eyes and mouth is further added to the front layer. In the performance video 122 displayed on the screen, the video effect can be realized as if the face portion of the singer is masked, and the singer wishes to make it difficult for the singer to view his / her own video. Is preferred.
また、好適には、前記映像編集制御手段98により編集された演奏映像108等は、前記通信回線18を介して前記サーバ装置20に送信され、前記SNSデータベース86に歌唱者のユーザIDと対応付けられて記憶される。更に好適には、その演奏映像108等を背景映像とするカラオケ演奏が終了した時点で歌唱者(利用者)によりその演奏映像108等をアップロードするか否かを選択可能とし、アップロードする旨の選択入力操作が行われた場合にその演奏映像108を前記SNSデータベース86に記憶させる。斯かる態様においては、前記歌詞文字映像110が合成されていない図8に示すような前記演奏映像108(歌唱者に対応する領域106の相対的な明るさが変更された映像)がアップロードされるのが好ましい。また、図6に示すような編集前(歌唱者に対応する領域106の相対的な明るさを変更していない)の演奏映像100を前記SNSデータベース86に記憶し、その演奏映像100に対応する動画の配信に際して逐一その演奏映像100における歌唱者に対応する領域106等の相対的な明るさを変更する映像表示制御を行うものであってもよい。 Preferably, the performance video 108 edited by the video editing control means 98 is transmitted to the server device 20 via the communication line 18, and is associated with the user ID of the singer in the SNS database 86. And memorized. More preferably, when the karaoke performance with the performance video 108 or the like as the background video is completed, the singer (user) can select whether or not to upload the performance video 108 or the like, and select to upload When an input operation is performed, the performance video 108 is stored in the SNS database 86. In such an aspect, the performance video 108 (video in which the relative brightness of the area 106 corresponding to the singer is changed) as shown in FIG. 8 in which the lyrics character video 110 is not synthesized is uploaded. Is preferred. Further, the performance video 100 before editing (the relative brightness of the area 106 corresponding to the singer is not changed) as shown in FIG. 6 is stored in the SNS database 86 and corresponds to the performance video 100. You may perform video display control which changes the relative brightness of the area | region 106 etc. corresponding to the singer in the performance video 100 at the time of the delivery of a moving image.
図14は、前記カラオケ装置16のCPU50による演奏映像編集制御の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。 FIG. 14 is a flowchart for explaining a main part of the performance video editing control by the CPU 50 of the karaoke apparatus 16, and is repeatedly executed at a predetermined cycle.
先ず、ステップ(以下、ステップを省略する)S1において、前記デジタルカメラ66により撮影された演奏映像100における歌唱者に対応する領域の明るさ編集モードが設定されているか否かが判断される。このS1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、S1の判断が肯定される場合には、S2において、前記RAM54における予約曲テーブルにおける所定の演奏曲(予約曲)の演奏順となる等して前記カラオケ装置16によるカラオケ演奏が開始されるか否かが判断される。このS2の判断が否定される場合には、S2の判断が繰り返されることにより待機させられるが、S2の判断が肯定される場合には、S3において、前記SNSデータベース86に記憶された歌唱者の性別及び生年月日乃至年齢が前記通信回線18を介してダウンロードされ、各性別毎に予め定められた生年毎の平均身長に基づいて対象となる歌唱者の身長が算出された後、S4において、演奏開始に係る演奏曲の楽曲データが楽曲データベースから読み出される。 First, in step (hereinafter, step is omitted) S1, it is determined whether or not the brightness editing mode of the area corresponding to the singer in the performance video 100 photographed by the digital camera 66 is set. If the determination in S1 is negative, the routine is terminated accordingly. If the determination in S1 is affirmative, in S2, a predetermined performance song (reserved song) in the reserved song table in the RAM 54 is determined. It is determined whether or not the karaoke performance by the karaoke device 16 is started. If the determination at S2 is negative, the determination at S2 is repeated to wait, but if the determination at S2 is affirmative, the singer's song stored in the SNS database 86 is stored at S3. After the gender and date of birth or age are downloaded via the communication line 18 and the height of the target singer is calculated based on the average height of each gender determined in advance for each gender, in S4, The music data of the performance music related to the performance start is read from the music database.
次に、S5において、S4にて読み出された楽曲データに基づくカラオケ演奏出力が開始される。また、斯かるカラオケ演奏出力と併行して、前記デジタルカメラ66による撮影が開始される。次に、S6において、前記デジタルカメラ66により撮影された映像に含まれる前記マイクロフォン40に対応する位置104aが、画像解析や赤外線光源40sの検出結果等に基づいて検出される。次に、S7において、S3にて算出された歌唱者の身長及びS6にて検出された前記マイクロフォン40に対応する位置104aに基づいて、前記デジタルカメラ66により撮影された映像に含まれる歌唱者に対応する領域106等が判定される。次に、S8において、前記デジタルカメラ66により撮影された映像において、S7にて判定された歌唱者に対応する領域106等の相対的な明るさが変更される。 Next, in S5, karaoke performance output based on the music data read in S4 is started. In addition to the karaoke performance output, the digital camera 66 starts photographing. Next, in S6, the position 104a corresponding to the microphone 40 included in the video imaged by the digital camera 66 is detected based on the image analysis, the detection result of the infrared light source 40s, and the like. Next, in S7, based on the height of the singer calculated in S3 and the position 104a corresponding to the microphone 40 detected in S6, the singer included in the video photographed by the digital camera 66 is selected. Corresponding areas 106 and the like are determined. Next, in S8, the relative brightness of the area 106 and the like corresponding to the singer determined in S7 is changed in the video taken by the digital camera 66.
次に、S9において、S8にて歌唱者に対応する領域106等の相対的な明るさが変更された演奏映像108等の前面側レイヤに歌詞文字映像110が合成された映像が前記映像表示装置30等に表示される。次に、S10において、カラオケ演奏終了であるか否かが判断される。このS10の判断が否定される場合には、S6以下の処理が再び実行されるが、S10の判断が肯定される場合には、S11において、カラオケ演奏に際して前記映像表示装置30等に表示されていた演奏映像108を前記サーバ装置20へアップロードするか否かが判断される。このS11の判断が否定される場合には、それをもって本ルーチンが終了させられるが、S11の判断が肯定される場合には、カラオケ演奏に際して前記映像表示装置30等に表示されていた編集後の演奏映像108或いは編集前の演奏映像100が所定形式の映像ファイルとして前記サーバ装置20へアップロードされ、前記SNSデータベース86に歌唱者のユーザIDと対応付けられて記憶された後、本ルーチンが終了させられる。以上の制御において、S6が前記マイクロフォン位置検出手段92の動作に、S3が前記歌唱者身長算出手段94の動作に、S7が前記歌唱者領域判定手段96の動作に、S8及びS9が前記映像編集制御手段98の動作にそれぞれ対応する。 Next, in S9, an image in which the lyrics character image 110 is combined with the front layer such as the performance image 108 in which the relative brightness of the region 106 corresponding to the singer is changed in S8 is the image display device. 30 or the like. Next, in S10, it is determined whether or not the karaoke performance has ended. If the determination in S10 is negative, the processing from S6 onward is executed again. However, if the determination in S10 is positive, the video display device 30 and the like are displayed during karaoke performance in S11. It is determined whether or not to upload the performance video 108 to the server device 20. If the determination in S11 is negative, the routine is terminated accordingly. If the determination in S11 is affirmative, the edited image displayed on the video display device 30 or the like during karaoke performance is displayed. After the performance video 108 or the performance video 100 before editing is uploaded to the server device 20 as a video file in a predetermined format and stored in the SNS database 86 in association with the user ID of the singer, this routine is terminated. It is done. In the above control, S6 is the operation of the microphone position detection means 92, S3 is the operation of the singer height calculation means 94, S7 is the operation of the singer area determination means 96, and S8 and S9 are the video editing. This corresponds to the operation of the control means 98, respectively.
このように、本実施例によれば、前記カラオケ装置16による演奏曲の出力に際してそのカラオケ装置16を基準とする所定範囲の映像を撮影する撮像装置としてのデジタルカメラ66と、そのデジタルカメラ66により撮影された映像に含まれる前記マイクロフォン40に対応する位置104aを検出するマイクロフォン位置検出手段92(S6)と、そのマイクロフォン位置検出手段92により検出される前記マイクロフォン40に対応する位置104aに基づいて、前記デジタルカメラ66により撮影された映像に含まれる歌唱者に対応する領域106等を判定する歌唱者領域判定手段96(S7)と、前記デジタルカメラ66により撮影された映像において、その歌唱者領域判定手段96により判定された歌唱者に対応する領域106等の相対的な明るさを変更する映像編集制御手段98(S8及びS9)とを、備えたものであることから、歌唱者が手にしているマイクロフォン40の位置からその歌唱者に対応する領域106等を好適に特定することができ、その領域106等の相対的な明るさを変更することで歌唱者の映像を際立たせることができる。すなわち、カラオケ演奏に際して撮影される映像において歌唱者の映像を簡便に際立たせる編集を実現するカラオケ装置16を提供することができる。 Thus, according to the present embodiment, the digital camera 66 as an imaging device that captures a predetermined range of video with the karaoke device 16 as a reference when the karaoke device 16 outputs the performance tune, and the digital camera 66. Based on the microphone position detecting means 92 (S6) for detecting the position 104a corresponding to the microphone 40 included in the photographed video, and the position 104a corresponding to the microphone 40 detected by the microphone position detecting means 92, The singer area determination means 96 (S7) for determining the area 106 corresponding to the singer included in the video photographed by the digital camera 66, and the singer area determination in the video photographed by the digital camera 66 Region 10 corresponding to the singer determined by means 96 Since the video editing control means 98 (S8 and S9) for changing the relative brightness of the microphone 40 is provided, the area corresponding to the singer from the position of the microphone 40 that the singer has in hand. 106 or the like can be suitably specified, and the video of the singer can be made to stand out by changing the relative brightness of the region 106 or the like. That is, it is possible to provide the karaoke apparatus 16 that realizes editing that easily highlights the singer's video in the video shot during the karaoke performance.
また、前記歌唱者領域判定手段96は、前記マイクロフォン位置検出手段92により検出される前記マイクロフォン40に対応する位置104a及び歌唱者の身長に関する情報に基づいて、前記デジタルカメラ66により撮影された映像に含まれる歌唱者に対応する領域106等を判定するものであるため、カラオケ演奏に際して撮影される映像に含まれる利用者に対応する領域を簡便且つ実用的な態様で判定することができる。 In addition, the singer area determination unit 96 applies the image captured by the digital camera 66 based on the position 104a corresponding to the microphone 40 detected by the microphone position detection unit 92 and information on the height of the singer. Since the area 106 corresponding to the included singer is determined, the area corresponding to the user included in the video shot during the karaoke performance can be determined in a simple and practical manner.
また、歌唱者の性別に関する情報及び生年に関する情報から、その歌唱者の身長を算出する歌唱者身長算出手段94(S3)を含み、前記歌唱者領域判定手段96は、前記マイクロフォン位置検出手段92により検出される前記マイクロフォン40に対応する位置104a及び前記歌唱者身長算出手段94により算出される歌唱者の身長に基づいて、前記デジタルカメラ66により撮影された映像に含まれる歌唱者に対応する領域106等を判定するものであるため、カラオケ演奏に際して撮影される映像に含まれる利用者に対応する領域を簡便且つ実用的な態様で判定することができる。 Further, it includes a singer height calculating means 94 (S3) for calculating the height of the singer from the information related to the gender of the singer and the information related to the year of birth, and the singer area determining means 96 includes the microphone position detecting means 92. Based on the detected position 104 a corresponding to the microphone 40 and the height of the singer calculated by the singer height calculation means 94, the area 106 corresponding to the singer included in the video photographed by the digital camera 66. Therefore, the area corresponding to the user included in the video shot during the karaoke performance can be determined in a simple and practical manner.
また、前記歌唱者領域判定手段96は、前記デジタルカメラ66により撮影された映像に含まれる歌唱者に対応する、その映像における上方を1頂角とする三角形状の領域106を判定するものであり、その歌唱者の身長に関する情報に基づいてその三角形の高さ寸法を決定するものであるため、カラオケ演奏に際して撮影される映像に含まれる利用者に対応する領域106を簡便且つ実用的な態様で判定することができ、あたかも歌唱者に上方からのサスペンションライトが当たっているかのような映像効果を実現することができる。 Further, the singer area determination means 96 determines a triangular area 106 corresponding to a singer included in the video photographed by the digital camera 66 and having an apex angle at the top in the video. Since the height dimension of the triangle is determined based on the information related to the height of the singer, the area 106 corresponding to the user included in the video shot during the karaoke performance is simply and practically used. The image effect can be realized as if the singer is hitting the suspension light from above.
また、前記歌唱者領域判定手段96は、前記デジタルカメラ66により撮影された映像に含まれる歌唱者に対応する楕円形の領域114を判定するものであり、その歌唱者の身長に関する情報に基づいてその楕円形の長軸寸法を決定するものであるため、カラオケ演奏に際して撮影される映像に含まれる利用者に対応する領域114を簡便且つ実用的な態様で判定することができ、あたかも歌唱者に前方からのスポットライトが当たっているかのような映像効果を実現することができる。 The singer area determination means 96 determines the oval area 114 corresponding to the singer included in the video photographed by the digital camera 66, and is based on information about the height of the singer. Since the major axis dimension of the ellipse is determined, the area 114 corresponding to the user included in the video shot during the karaoke performance can be determined in a simple and practical manner, as if to the singer. It is possible to realize an image effect as if a spotlight from the front is hit.
また、前記歌唱者領域判定手段96は、前記デジタルカメラ66により撮影された映像に含まれる歌唱者の顔部分に対応する領域118を判定するものであり、前記映像編集制御手段98は、前記デジタルカメラ66により撮影された映像において、前記歌唱者領域判定手段96により判定された歌唱者の顔部分に対応する領域118の相対的な明るさを暗くするものであるため、歌唱者が顔を隠したいと希望する場合等において、あたかも歌唱者の顔部分にマスクがかけられているかのような映像効果を実現することができる。 The singer area determination means 96 determines an area 118 corresponding to the face portion of the singer included in the video photographed by the digital camera 66, and the video editing control means 98 is the digital edit control means 98. In the video imaged by the camera 66, the relative brightness of the area 118 corresponding to the singer's face determined by the singer area determination means 96 is reduced, so that the singer hides his / her face. In the case where the user desires to do so, it is possible to realize a video effect as if a mask is put on the singer's face.
また、前記マイクロフォン位置検出手段92は、前記デジタルカメラ66により撮影された映像において輝度に基づく画像解析を行うことにより前記マイクロフォン40に対応する位置104aを検出するものであるため、歌唱者が手にしているマイクロフォン40の位置からその歌唱者に対応する領域を実用的な態様で特定することができる。 The microphone position detecting means 92 detects the position 104a corresponding to the microphone 40 by performing image analysis based on luminance in the video imaged by the digital camera 66. The region corresponding to the singer can be specified in a practical manner from the position of the microphone 40 that is being used.
また、前記マイクロフォン40は、無線信号を介して前記カラオケ装置16に音声情報を入力するものであり、前記マイクロフォン40からの無線信号に基づいてそのマイクロフォン40の存在する位置を検出する赤外線光源位置検出装置68を備え、前記マイクロフォン位置検出手段92は、その赤外線光源位置検出装置68の検出結果に基づいて前記デジタルカメラ66により撮影された映像に含まれる前記マイクロフォン40に対応する位置104aを検出するものであるため、歌唱者が手にしているマイクロフォン40の位置からその歌唱者に対応する領域を実用的な態様で特定することができる。 The microphone 40 inputs voice information to the karaoke device 16 via a radio signal, and detects an infrared light source position detection that detects the position of the microphone 40 based on the radio signal from the microphone 40. The microphone position detecting means 92 includes a device 68, and detects a position 104a corresponding to the microphone 40 included in an image photographed by the digital camera 66 based on a detection result of the infrared light source position detecting device 68. Therefore, the region corresponding to the singer can be specified in a practical manner from the position of the microphone 40 that the singer holds.
また、前記映像編集制御手段98により歌唱者に対応する領域106等の相対的な明るさが変更された映像を、前記カラオケ装置16による演奏曲の出力に伴ってカラオケ背景映像として表示させるものであるため、歌唱者に対応する映像が際立つように編集された映像をカラオケ演奏における背景映像として用いることができる。 The video editing control means 98 displays a video in which the relative brightness of the area 106 corresponding to the singer has been changed as a karaoke background video in accordance with the output of a performance song by the karaoke device 16. Therefore, a video edited so that a video corresponding to a singer stands out can be used as a background video in a karaoke performance.
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。 The preferred embodiments of the present invention have been described in detail with reference to the drawings. However, the present invention is not limited to these embodiments, and may be implemented in other modes.
例えば、前述の実施例において、前記マイクロフォン位置検出手段92、歌唱者身長算出手段94、歌唱者領域判定手段96、及び映像編集制御手段98は、何れも前記カラオケ装置16のCPU50に機能的に備えられたものであったが、本発明はこれに限定されるものではなく、それらの制御機能の一部乃至全部が前記電子早見本装置22のCPUに機能的に備えられたものであってもよい。また、前記デジタルカメラ66がCPUを備えた構成においては、前記制御機能の一部乃至全部が前記電子早見本装置22のCPUに機能的に備えられたものであってもよく、更には前記赤外線光源位置検出装置68が前記デジタルカメラ66に内蔵されたものであってもよい。また、前記マイクロフォン位置検出手段92、歌唱者身長算出手段94、歌唱者領域判定手段96、及び映像編集制御手段98の実質的な処理は前記サーバ装置20のCPU70により実行されるものであってもよく、前記カラオケシステム10の設計に応じて種々の実施態様が考えられる。 For example, in the above-described embodiment, the microphone position detecting unit 92, the singer height calculating unit 94, the singer area determining unit 96, and the video editing control unit 98 are all functionally provided in the CPU 50 of the karaoke apparatus 16. However, the present invention is not limited to this, and some or all of the control functions may be functionally provided in the CPU of the electronic quick sample device 22. Good. In the configuration in which the digital camera 66 includes a CPU, a part or all of the control functions may be functionally provided in the CPU of the electronic quick sample apparatus 22, and further, the infrared ray The light source position detection device 68 may be built in the digital camera 66. The substantial processing of the microphone position detection unit 92, singer height calculation unit 94, singer area determination unit 96, and video editing control unit 98 may be executed by the CPU 70 of the server device 20. Often, various embodiments are conceivable depending on the design of the karaoke system 10.
また、前述の実施例において、前記歌唱者領域判定手段96は、前記歌唱者身長算出手段94により算出される歌唱者の身長に基づいて前記歌唱者に対応する領域106を判定するものであったが、歌唱者の身長は必ずしも算出されるものでなくともよく、前記電子早見本装置22等を介して身長に対応する数値が直接的に入力されるものであってもよい。斯かる態様においては、前記歌唱者身長算出手段94は必ずしも設けられなくともよい。また、歌唱者に対応する領域のサイズそのものを選択可能とするものであってもよく、例えばS、M、Lの何れかの領域サイズを前記電子早見本装置22等により選択入力可能とする態様も考えられる。更に、上半身の撮影に対応する領域乃至全身の撮影に対応する領域の何れかを利用者に選択させ、その選択結果に応じて領域のサイズを変更するものであってもよい。また、図8〜図13を用いて説明した複数の態様から、前記映像編集制御手段98による明るさの変更態様を利用者が選択し得るように構成しても当然構わない。 Moreover, in the above-mentioned Example, the said singer area | region determination means 96 determined the area | region 106 corresponding to the said singer based on the height of the singer calculated by the said singer height calculation means 94. However, the height of the singer is not necessarily calculated, and a numerical value corresponding to the height may be directly input via the electronic quick sample device 22 or the like. In such an aspect, the singer height calculating means 94 is not necessarily provided. In addition, the size of the area corresponding to the singer may be selectable. For example, any one of the S, M, and L area sizes may be selected and input by the electronic quick sample apparatus 22 or the like. Is also possible. Furthermore, the user may select either an area corresponding to upper body imaging or an area corresponding to whole body imaging, and the size of the area may be changed according to the selection result. Of course, the user may select a brightness change mode by the video editing control means 98 from the plurality of modes described with reference to FIGS.
また、前述の実施例では、前記SNSデータベース86の存在を前提とする制御について説明したが、前記通信回線18に接続されない非通信型のカラオケ装置にも、本発明は好適に適用される。斯かる態様においては、前記映像編集制御手段98により編集された演奏映像108等が前記カラオケ装置16のハードディスク56に記憶されて再生可能とされるものであってもよいし、前記RAM54に記憶されてその日のカラオケ演奏が終了したら消去される等、当日限りの制御が行われるものであってもよい。 In the above-described embodiment, the control based on the presence of the SNS database 86 has been described. However, the present invention is preferably applied to a non-communication karaoke apparatus that is not connected to the communication line 18. In such an embodiment, the performance video 108 edited by the video editing control means 98 may be stored in the hard disk 56 of the karaoke device 16 and can be played back, or stored in the RAM 54. For example, the control may be performed only on the day, such as being deleted when the karaoke performance is completed on the day.
また、前述の実施例では特に言及していないが、前記マイクロフォン位置検出手段92は、カラオケ演奏における間奏中においてマイクロフォン40が一時的に机に置かれたり電源がオフとされる等して位置検出が難しい場合には、検出可能であった最後の時点における位置を前記マイクロフォン40の位置として維持する等の制御を行うものであってもよい。すなわち、本発明のカラオケ装置は、実用上必要とされる種々の補足的な制御を併せて実行するものである。 Although not particularly mentioned in the above-described embodiments, the microphone position detecting means 92 detects the position when the microphone 40 is temporarily placed on the desk or the power is turned off during the karaoke performance. If this is difficult, control such as maintaining the position at the last time point where detection was possible as the position of the microphone 40 may be performed. That is, the karaoke apparatus of the present invention executes various supplementary controls that are practically required.
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。 In addition, although not illustrated one by one, the present invention is implemented with various modifications within a range not departing from the gist thereof.
16:カラオケ装置、40:マイクロフォン、66:デジタルカメラ(撮像装置)、68:赤外線光源位置検出装置、90:歌唱者、92:マイクロフォン位置検出手段、94:歌唱者身長算出手段、96:歌唱者領域判定手段、98:映像編集制御手段、104a:マイクロフォンに対応する位置、106、114:歌唱者に対応する領域、118:歌唱者の顔部分に対応する領域 16: Karaoke device, 40: Microphone, 66: Digital camera (imaging device), 68: Infrared light source position detection device, 90: Singer, 92: Microphone position detection means, 94: Singer height calculation means, 96: Singer Area determination means, 98: video editing control means, 104a: position corresponding to the microphone, 106, 114: area corresponding to the singer, 118: area corresponding to the face part of the singer
Claims (6)
該カラオケ装置による演奏曲の出力に際して該カラオケ装置を基準とする所定範囲の映像を撮影する撮像装置と、
該撮像装置により撮影された映像に含まれる前記マイクロフォンに対応する位置を検出するマイクロフォン位置検出手段と、
該マイクロフォン位置検出手段により検出される前記マイクロフォンに対応する位置に基づいて、前記撮像装置により撮影された映像に含まれる歌唱者に対応する領域を判定する歌唱者領域判定手段と、
前記撮像装置により撮影された映像において、該歌唱者領域判定手段により判定された歌唱者に対応する領域の相対的な明るさを変更する映像編集制御手段と
を、備えたものであることを特徴とするカラオケ装置。 A karaoke apparatus that outputs a performance song selected from a large number of performance songs and amplifies and outputs sound input by a microphone,
An imaging device that captures an image of a predetermined range based on the karaoke device when the performance music is output by the karaoke device;
Microphone position detecting means for detecting a position corresponding to the microphone included in the video imaged by the imaging device;
A singer area determination unit that determines an area corresponding to a singer included in the video captured by the imaging device, based on a position corresponding to the microphone detected by the microphone position detection unit;
Video editing control means for changing the relative brightness of the area corresponding to the singer determined by the singer area determination means in the video imaged by the imaging device. Karaoke device.
前記歌唱者領域判定手段は、前記マイクロフォン位置検出手段により検出される前記マイクロフォンに対応する位置及び前記歌唱者身長算出手段により算出される歌唱者の身長に基づいて、前記撮像装置により撮影された映像に含まれる歌唱者に対応する領域を判定するものである
請求項1に記載のカラオケ装置。 From the information about the gender of the singer and the information about the year of birth, including singer height calculation means for calculating the height of the singer,
The singer area determination means is a video photographed by the imaging device based on the position corresponding to the microphone detected by the microphone position detection means and the height of the singer calculated by the singer height calculation means. The karaoke apparatus according to claim 1, wherein an area corresponding to a singer included in the song is determined.
前記マイクロフォンからの無線信号に基づいて該マイクロフォンの存在する位置を検出する位置検出装置を備え、
前記マイクロフォン位置検出手段は、該位置検出装置の検出結果に基づいて前記撮像装置により撮影された映像に含まれる前記マイクロフォンに対応する位置を検出するものである
請求項1から4の何れか1項に記載のカラオケ装置。 The microphone is for inputting voice information to the karaoke device via a radio signal,
A position detecting device for detecting the position of the microphone based on a radio signal from the microphone;
The said microphone position detection means detects the position corresponding to the said microphone contained in the image | video image | photographed with the said imaging device based on the detection result of this position detection apparatus. Karaoke apparatus as described in 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011074999A JP5486538B2 (en) | 2011-03-30 | 2011-03-30 | Karaoke equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011074999A JP5486538B2 (en) | 2011-03-30 | 2011-03-30 | Karaoke equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012208387A JP2012208387A (en) | 2012-10-25 |
JP5486538B2 true JP5486538B2 (en) | 2014-05-07 |
Family
ID=47188167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011074999A Active JP5486538B2 (en) | 2011-03-30 | 2011-03-30 | Karaoke equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5486538B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6269445B2 (en) * | 2014-11-06 | 2018-01-31 | ブラザー工業株式会社 | Control device, program, and playback system |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1124684A (en) * | 1997-07-08 | 1999-01-29 | Daiichi Kosho:Kk | Karaoke (sing-along music) amusement system |
JP2003263631A (en) * | 2002-03-07 | 2003-09-19 | Seiko Epson Corp | Image synthesizing method, image synthesizing device and image synthesizing program |
JP2007049375A (en) * | 2005-08-09 | 2007-02-22 | Nikon Corp | Image processor, camera, communication equipment, and program for realizing image processor |
JP2007072194A (en) * | 2005-09-07 | 2007-03-22 | Xing Inc | Man type picture control unit |
JP2008005122A (en) * | 2006-06-21 | 2008-01-10 | Konica Minolta Holdings Inc | System and method for two-way communication, and control program |
JP4557952B2 (en) * | 2006-10-31 | 2010-10-06 | 株式会社第一興商 | Karaoke device with display control system |
JP2008286912A (en) * | 2007-05-16 | 2008-11-27 | Nec Corp | Karaoke system |
JP2009288446A (en) * | 2008-05-28 | 2009-12-10 | Nippon Telegr & Teleph Corp <Ntt> | Karaoke video editing device, method and program |
JP3156336U (en) * | 2009-10-13 | 2009-12-24 | 功 川口 | Video and audio capture device for karaoke |
-
2011
- 2011-03-30 JP JP2011074999A patent/JP5486538B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012208387A (en) | 2012-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7425356B2 (en) | Information processing device, video distribution method, and video distribution program | |
JP7417176B2 (en) | Information processing device, video distribution method, and video distribution program | |
CN109616090B (en) | Multi-track sequence generation method, device, equipment and storage medium | |
JP7436912B2 (en) | Information processing device, video distribution method, and video distribution program | |
JP5550593B2 (en) | Karaoke equipment | |
JP2024020565A (en) | Information processing device, information processing system, and information processing program | |
JP5480090B2 (en) | Karaoke equipment | |
JP5486538B2 (en) | Karaoke equipment | |
JP5498341B2 (en) | Karaoke system | |
JP7364956B2 (en) | Information processing device, video compositing method, and video compositing program | |
JP7093006B2 (en) | Information processing equipment, video distribution method and video distribution program | |
JP2011053276A (en) | Karaoke system including background image variable display function | |
KR101489211B1 (en) | Method and apparatus for creating a video with photos | |
JP2020194030A (en) | Karaoke system | |
JP7311815B2 (en) | Information processing device, video distribution method, and video distribution program | |
KR20110104183A (en) | Accompaniement player system of sing and a game providing method for cheering up the mood thereby | |
JP6051028B2 (en) | Singing video data acquisition system | |
JP6063739B2 (en) | Singing video generation system | |
JP6276673B2 (en) | Karaoke device and program | |
JP2010072289A (en) | Karaoke device | |
JP2007199415A (en) | Karaoke system | |
JP5981867B2 (en) | Karaoke system | |
JP2005333309A (en) | Apparatus, method, system, and program for information processing | |
JP2015125270A (en) | Karaoke device, karaoke system and karaoke program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5486538 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |