JP2008136079A - Storage reproducing device and storage reproducing program - Google Patents
Storage reproducing device and storage reproducing program Download PDFInfo
- Publication number
- JP2008136079A JP2008136079A JP2006321749A JP2006321749A JP2008136079A JP 2008136079 A JP2008136079 A JP 2008136079A JP 2006321749 A JP2006321749 A JP 2006321749A JP 2006321749 A JP2006321749 A JP 2006321749A JP 2008136079 A JP2008136079 A JP 2008136079A
- Authority
- JP
- Japan
- Prior art keywords
- data
- screen
- unit
- storage
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、ネットワークを介して接続された電子機器との間で、画像及び音声コンテンツの配信や双方向通信を行う記憶再生装置及び記憶再生プログラムに関する。 The present invention relates to a storage / reproduction device and a storage / reproduction program that perform distribution and bidirectional communication of image and audio contents with an electronic device connected via a network.
従来、画像及び音声のコンテンツ配信は、地上波デジタル放送や衛生放送等に代表されるような電波による放送、又は画像及び音声コンテンツが記憶された記録媒体の流通等によって行われていた。 Conventionally, image and audio content distribution has been performed by radio wave broadcasting such as terrestrial digital broadcasting and sanitary broadcasting, or by distribution of recording media storing image and audio content.
しかしながら、昨今では、アナログコンテンツからデジタルコンテンツへの急速な移行、光通信網に代表されるようなネットワークインフラの整備促進、インターネットに接続可能な電子機器の普及、及びインターネットを介した様々なサービスの提供の増加等により画像及び音声コンテンツの配信方法に変化が生じつつある。 However, in recent years, the rapid transition from analog content to digital content, promotion of network infrastructure represented by optical communication networks, the spread of electronic devices that can be connected to the Internet, and various services via the Internet Changes in image and audio content distribution methods are occurring due to an increase in provision and the like.
例えば、放送局側から一方的に送られる信号を受けて画像及び音声コンテンツを再生するという方法ではなく、ネットワークを介し、オンデマンドで利用者に視聴したい画像及び音声コンテンツを選択させて、ストリーミング配信で再生するという方法がある。又、画像及び音声コンテンツを記録した記録媒体により流通させるのではなく、ネットワークを介してダウンロードさせることによって画像及び音声コンテンツ配信を行う方法等が一般的によく知られている。 For example, instead of receiving a unilaterally transmitted signal from the broadcast station and playing back the image and audio content, the user can select the image and audio content that the user wants to view on-demand via the network for streaming delivery. There is a method of playing with. In addition, a method for distributing images and audio contents by downloading them via a network rather than distributing them through a recording medium on which images and audio contents are recorded is generally well known.
さらにDLNA(Digital Living Network Alliance)は、家庭で使用するAV(Audio Visual)機器やパーソナルコンピュータをホームネットワークで接続し、コンテンツの共有を図るためのガイドライン策定を推進している。このガイドラインに沿って、家庭用のコンテンツ記録再生機器にもネットワーク接続可能なものが増加してきている。 Furthermore, DLNA (Digital Living Network Alliance) is promoting the formulation of guidelines for connecting AV (Audio Visual) devices and personal computers used at home via a home network to share content. In line with this guideline, the number of household content recording / playback devices that can be connected to the network is increasing.
また、画像及び音声コンテンツを配信しながら、利用者間でコミュニケーションすることを可能にするシステムもある。例えば、特許文献1には、配信サーバから配信される画像及び音声を物理的に離れた場所にある再生装置で同時に再生しながら、ネットワークを介して音声や文字による通信を可能にする画像コミュニケーションシステムが提案されている。
There is also a system that enables users to communicate with each other while delivering image and audio content. For example,
しかし、特許文献1に記載の画像コミュニケーションシステムでは、コンテンツ供給側及びコンテンツ受信側の利用者が同一のコンテンツを同時に視聴する場合、コンテンツ供給側が常に再生操作を行ってコンテンツ受信側へ画像を配信する。このため、コンテンツ受信側の利用者は一次停止、早送り、巻き戻し等の再生に関する操作を行うことができなかった。従って、コンテンツ受信側の利用者は画像コミュニケーションシステムを用いてコンテンツ供給側の利用者に再生に関する操作を依頼しなければならず、操作がわずらわしかった。
However, in the image communication system described in
また、離れた場所にいる利用者が通信することを可能にする装置として、テレビ電話、ネットワーク会議システム等が一般的に知られている。このような一般的な装置を用いて、双方向の通信を行う場合、主画像の上に子画面をオーバーレイして、子画面の中に相手側の顔を表示する。そのため、子画面を主画像に重ねる際、主画像の重要な部分が子画面で隠れて見えなくなる場合があった。 In addition, videophones, network conference systems, and the like are generally known as devices that allow users at remote locations to communicate. When bidirectional communication is performed using such a general device, a child screen is overlaid on the main image, and the face of the other party is displayed in the child screen. For this reason, when the sub-screen is superimposed on the main image, an important part of the main image may be hidden behind the sub-screen and become invisible.
そこで、例えば特許文献2には、子画面に表示される画像の動きに応じて子画面を透過表示させることにより、子画面によって隠れてしまう主画像の内容を子画面の内容と同時に表示させる子画面表示装置が提案されている。
しかし、特許文献2に記載の子画面表示装置では、子画面に表示される画像の動きに応じて子画面を透過表示させることにより、子画面によって隠れてしまう主画面の画像を子画面の画像と同時に表示させるので、子画面に表示される画像に動きがあったとしても、それが双方のコミュニケーションにおいて、重要なシーンであるとは限らない。そのため、双方の利用者にとって適切に子画面表示を制御できないという問題点があった。
However, in the sub-screen display device described in
本発明は、上記問題点に鑑みてなされたものであり、双方向から画像配信の操作を行うことができ、子画面の動きや子画面の音声状態に基づいて、子画面の表示を適切に制御することができる記憶再生装置及び記憶再生プログラムを提供することを目的とする。 The present invention has been made in view of the above problems, can perform image distribution operations from both directions, and can appropriately display a child screen based on the movement of the child screen and the sound state of the child screen. It is an object to provide a storage / reproduction device and a storage / reproduction program that can be controlled.
上記目的を達成するため、本発明に係る記憶再生装置の第1の特徴は、記憶装置に記憶された、画像データ及び音声データを含むコンテンツデータを読み出して配信するコンテンツ配信機能と、撮影した画像データ及び録音した音声データを含む通信データを送受信する双方向通信機能とを有する電子機器と接続され、この電子機器からのコンテンツデータを主画面として出力し、この主画面に重なるように通信データを子画面として出力する記憶再生装置であって、外部入力により、画像解析モード又は音声解析モードのいずれが選択されたかを示す選択信号を受信した場合に、電子機器から受信した通信データから動き信号を検出し、検出した動き信号が動き信号用閾値を超えた場合に通信中と判定する画像解析部と、選択信号が音声解析モードを示している場合に、電子機器から受信した通信データから音声データを抽出し、抽出した音声データの出力値が音声データ用閾値を超えた場合に通信中と判定する音声解析部と、画像解析部(14)及び/又は音声解析部により通話中と判定された場合には、子画面に表示する画像の透過度及び彩度、及び/又は子画面の音声として出力する音声の音量を設定する子画面制御部と、子画面制御部により設定された子画面に表示する画像の透過度及び彩度、又は子画面の音声として出力する音声の音量に基づいて、主画面のコンテンツデータと前記子画面の通信データを合成する合成部とを備えることにある。 In order to achieve the above object, the first feature of the storage / playback device according to the present invention is a content distribution function for reading and distributing content data including image data and audio data stored in the storage device, and a captured image. It is connected to an electronic device having a bidirectional communication function for transmitting and receiving communication data including data and recorded voice data. The content data from the electronic device is output as a main screen, and the communication data is overlapped on the main screen. A storage / reproduction device that outputs as a sub-screen, and when a selection signal indicating whether an image analysis mode or a sound analysis mode is selected by an external input, a motion signal is received from communication data received from an electronic device. And an image analysis unit that determines that communication is being performed when the detected motion signal exceeds a motion signal threshold, and the selection signal is a voice signal. An audio analysis unit that extracts audio data from communication data received from an electronic device when the mode is indicated, and determines that communication is in progress when an output value of the extracted audio data exceeds a threshold for audio data; If the analysis unit (14) and / or the voice analysis unit determines that a call is in progress, the transparency and saturation of the image displayed on the sub-screen and / or the volume of the audio output as the sub-screen audio are set. The main screen content data and the content data of the main screen based on the volume and volume of the audio output as the audio of the sub-screen, or the transparency and saturation of the image displayed on the sub-screen set by the sub-screen control unit And a combining unit that combines the communication data of the child screens.
上記目的を達成するため、本発明に係る記憶再生装置の第2の特徴は、コンテンツデータを記憶するコンテンツ記憶部と、電子機器の応答時間を計測する操作遅延計測部と、外部入力より操作信号を受け付けたときに、コンテンツ記憶部に記憶されたコンテンツデータに対応するコンテンツのタイトルインデックスを示すインデックス情報データを記憶部から読み込み、読み込んだインデックス情報データに操作信号に対応するコンテンツのタイトルンデックスが存在する場合には、操作信号を受け付けたときからの経過時間と操作遅延計測部により計測した遅延時間とを比較し、この経過時間が遅延時間を越えたときに、操作信号に従って、合成部により合成したデータを出力させる再生制御部とを更に備えることにある。 In order to achieve the above object, the second feature of the storage / playback apparatus according to the present invention is that a content storage unit that stores content data, an operation delay measurement unit that measures response time of an electronic device, and an operation signal from an external input Is received from the storage unit, index information data indicating the title index of the content corresponding to the content data stored in the content storage unit, and the title index of the content corresponding to the operation signal exists in the read index information data When the operation signal is received, the elapsed time from when the operation signal is received is compared with the delay time measured by the operation delay measurement unit, and when the elapsed time exceeds the delay time, the synthesis unit performs synthesis according to the operation signal. And a reproduction control unit for outputting the processed data.
本発明に係る記憶再生装置及び記憶再生プログラムによれば、ネットワークを介して接続された画像及び音声コンテンツを配信する装置に対して再生制御操作を行うことができ、双方向の通信に用いられる子画面に表示される画像の動きや子画面の音声状態に基づいて子画面を適切に制御することができる。 According to the storage / reproduction device and the storage / reproduction program according to the present invention, a reproduction control operation can be performed on an apparatus that distributes image and audio content connected via a network, and is used for bidirectional communication. The child screen can be appropriately controlled based on the movement of the image displayed on the screen and the sound state of the child screen.
以下、本発明の実施の形態について図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
本実施形態では、ネットワークを介して接続された記憶再生装置との間でコンテンツ配信及び双方向通信を行う記憶再生装置を例に挙げて説明する。 In the present embodiment, a storage / reproduction device that performs content distribution and bidirectional communication with a storage / reproduction device connected via a network will be described as an example.
図1は、本発明に係る記憶再生装置の一実施形態の構成を示したブロック図である。 FIG. 1 is a block diagram showing the configuration of an embodiment of a storage / playback apparatus according to the present invention.
本実施形態における記憶再生装置30は、記憶再生装置31とネットワーク100を介して接続されている。なお、記憶再生装置30と記憶再生装置31とは、同一の構成を有している。
The storage /
また、記憶再生装置30には、外部入力により画像解析モード、又は音声解析モードのいずれが選択されたかを示す選択信号を生成する解析モード選択インタフェース1と、例えば記憶再生装置30側の利用者等を撮影し、撮影した画像を電気信号に変換するカメラ2と、音声を電気信号に変換する鋭指向性マイク3と、映像及び音声コンテンツデータを記憶再生装置30へ送信する外部AV機器4と、外部入力により再生制御操作信号を受け付ける再生操作インタフェース5と、記憶再生装置30からの出力データを出力する出力部26とが接続されている。
Further, the storage /
記憶再生装置30は、画像入力部6と、音声入力部7と、コンテンツ記憶部8と、外部機器接続部9と、再生操作受信部10と、子画面エンコーダ部11と、雑音除去フィルタ12と、ネットワーク接続インタフェース13と、画像解析部14と、音声解析部15と、子画面制御部16と、子画面デコーダ部17と、コンテンツデコーダ部18と、画像合成部19と、音声合成部20と、操作遅延計測部21と、AV同期部22と、再生部23と、再生制御部24と、記憶部25とを備えている。
The storage /
雑音除去フィルタ12は、鋭指向性マイク3によって電気信号に変換された音声信号を音声入力部7を経由して受信する。そして受信した音声信号から雑音を除去して対話音声を強調し、雑音を除去した音声信号を子画面エンコーダ部11へ送信する。
The
ここで、雑音除去フィルタ12と上述した鋭指向性マイク3とは、利用者にとって余分な雑音を除去するために設けられる。
Here, the
例えば、記憶再生装置30又は記憶再生装置31のいずれか一方で再生されているコンテンツデータの音声が通信データの音声に混合されてくると、他方では、再生しているコンテンツデータの音声に対し少し遅延したコンテンツデータの音声が通信データの音声に重畳されることとなる。この少し遅延して重畳された音声は利用者にとって違和感を感じさせる原因となる。そこで、鋭指向性マイク3と雑音除去フィルタ12が、このような音声の重畳等による余分な雑音を除去する。
For example, when the audio of the content data being reproduced by either the storage /
子画面エンコーダ部11は、カメラ2によって撮影され電気信号に変換された画像データと、雑音除去フィルタ12から受信した音声データの各々をエンコードし、双方をマルチプレクサで多重化してネットワーク接続インタフェース13へ送信する。
The
子画面デコーダ部17は、ネットワーク100を介して記憶再生装置31から受信した子画面用の画像データ及び音声データをデコードする。
The
画像解析部14は、解析モード選択インタフェース1により選択信号を受信した場合に、子画面デコーダ部17から受信した通信データから動き信号を検出し、検出した動き信号が動き信号用閾値を超えた場合に通信中と判定する。
When the analysis signal is received by the analysis
音声解析部15は、解析モード選択インタフェース1により受け付けた選択信号が音声解析モードであった場合、子画面デコーダ部17から受信した通信データから音声データを抽出し、抽出した音声データの出力値が音声データ用閾値を超えた場合に通信中と判定する。
When the selection signal received by the analysis
子画面制御部16は、画像解析部14及び/又は音声解析部15の判定結果が通信中か否かによって、子画面に表示する画像の透過度及び彩度、及び/又は子画面の音声として出力する音声の音量を設定する。
Depending on whether or not the determination result of the
コンテンツデコーダ部18は、ネットワーク100を介して記憶再生装置31から受信した主画面用の画像データ及び音声データ、コンテンツデータを記憶したコンテンツ記憶部8から受信した主画面用の画像データ及び音声データ、又は外部AV機器4から外部機器接続部9を介して受信した主画面用の画像データ及び音声データのデコードを行う。
The
画像合成部19は、子画面制御部16により設定された子画面に表示する画像の透過度及び彩度に基づいて、コンテンツデコーダ部18から受信した主画面の画像データと子画面デコーダ部17から受信した子画面の画像データを合成する。
The
音声合成部20は、子画面の音声として出力する音声の音量に基づいて、コンテンツデコーダ部18から受信した主画面の音声データと子画面デコーダ部17から受信した子画面の音声データを合成する。
The
操作遅延計測部21は、記憶再生装置31の応答時間を計測する。
The operation
記憶部25は、インデックス情報データや遅延時間データ等を記憶し、コンテンツ記憶部8は、記憶部25に記憶されたインデックス情報データに対応するコンテンツデータを記憶する。
The
再生制御部24は、再生操作インタフェース5より操作信号を受け付けたときに、コンテンツ記憶部8に記憶されたコンテンツデータに対応するコンテンツのタイトルインデックスを示すインデックス情報データを記憶部25から読み込み、読み込んだインデックス情報データにこの操作信号に対応するコンテンツのタイトルインデックスが存在する場合には、この操作信号を受け付けたときからの経過時間と操作遅延計測部21により計測した遅延時間とを比較し、この経過時間が遅延時間を越えたときに、再生操作インタフェース5より受け付けた操作信号に従って、画像合成部19及び音声合成部20により合成したデータを出力させる。
When receiving an operation signal from the
AV同期部22は、画像合成部19から受信した画像データと音声合成部20から受信した音声データとの同期を図り、再生部23は、再生制御部24の制御信号に従ってAV同期部22から受信した画像データ及び音声データを出力部26へ出力する。
The
≪子画面表示設定処理≫
次に、図2のフローチャートに従って、本実施形態における記憶再生装置30の子画面表示設定処理の処理手順について説明する。
≪Sub-screen display setting process≫
Next, the processing procedure of the sub-screen display setting process of the storage /
まず、解析モード選択インタフェース1は、利用者による選択操作等により受信した“画像解析モード”、又は“音声解析モード”を示す選択信号を生成する。
First, the analysis
そして、生成した選択信号が示すモードが“画像解析モード”であった場合には、解析モード選択インタフェース1は、画像解析部14及び子画面制御部16へ“画像解析モード”の選択信号を送信する。一方、受信した選択信号が示すモードが“音声解析モード”であった場合には、解析モード選択インタフェース1は、画像解析部14、音声解析部15、及び子画面制御部16へ“音声解析モード”の選択信号を送信する(ステップS1)。
When the mode indicated by the generated selection signal is “image analysis mode”, the analysis
次に、子画面デコーダ部17が、ネットワーク100を介して記憶再生装置31より受信した撮影した画像データ及び録音した音声データを含む通信データをデコードし、デコードした通信データのうち画像データを画像解析部14及び画像合成部19へ送信し、デコードした通信データのうち音声データを音声解析部15及び音声合成部20へ送信する。
Next, the
次に、画像解析部14は、解析モード選択インタフェース1より受信した選択信号が示すモードが“画像解析モード”であった場合には、子画面デコーダ部17から受信した通信データのうち画像データがコミュニケーション中を示唆しているか否かを判定する(ステップS5)。
Next, when the mode indicated by the selection signal received from the analysis
具体的には、まず、画像解析部14が、“画像解析モード”を示す選択信号を受信すると、子画面デコーダ部17から受信した画像データをブロックに分割し、ブロック単位で前フレームの最も似ているブロックを探すブロックマッチング法を用いて、動きベクトルを抽出する。そして、抽出した動きベクトルが、予め定めた動き信号用閾値を越えた場合に、コミュニケーションは開始されたと判定する。
Specifically, first, when the
さらに、一定時間抽出した動きベクトルが、動き信号用閾値を下回るとコミュニケーションが終了したものと判定する。 Further, when the motion vector extracted for a certain time falls below the motion signal threshold, it is determined that the communication has ended.
ここで、この動き信号用閾値の設定は、高すぎるとコミュニケーションの開始を検出し難くなり、利用者がコミュニケーションを開始しても子画面が見にくい表示となってしまったり、子画面用の音声が聞こえにくくなる場合がある。逆に、動き信号用閾値の設定が低すぎるとコミュニケーションの開始を誤検知し易くなり、利用者がコミュニケーションを開始していないときにも、子画面を必要以上に鮮明に表示したり、子画面用の音声が主画面の音声の邪魔になる場合がある。そのため、予め提供者等が実測に基づいた適性な値を予め算出し、提供者や利用者等が予め適正な値を設定しておく必要がある。 Here, if the threshold value for the motion signal is set too high, it will be difficult to detect the start of communication, and even if the user starts communication, the child screen will be difficult to see, or the sound for the child screen will not be displayed. It may be difficult to hear. Conversely, if the threshold value for the motion signal is set too low, it is easy to misdetect the start of communication, and even when the user does not start communication, the sub screen is displayed more clearly than necessary, or the sub screen is displayed. Audio may interfere with the main screen audio. For this reason, it is necessary for the provider or the like to calculate in advance an appropriate value based on the actual measurement, and for the provider or the user to set an appropriate value in advance.
なお、コミュニケーション中を示唆しているか否かの判定は、上記のブロックマッチング法以外にも、ジェスチャー(手話)認識機能を実装し、それを字幕として表示し、この表示内容によりコミュニケーションが開始されたか否かを判定するようにしてもよい。 In addition to the block matching method described above, whether or not the communication is suggested is determined by implementing a gesture (sign language) recognition function and displaying it as subtitles. It may be determined whether or not.
次に、画像解析部14は、子画面デコーダ部17から受信した画像データがコミュニケーション中を示唆していると判定した場合、コミュニケーション中を示唆していることを示すコミュニケーション状態信号を子画面制御部16へ送信する。
Next, when the
そして、コミュニケーション状態信号を受信した子画面制御部16は、解析モード選択インタフェース1から受信した選択信号が示すモードが“画像解析モード”であること、及び画像解析部14から受信したコミュニケーション状態信号がコミュニケーション中を示唆していることから、子画面制御部16は最終的にこの子画面を利用している利用者がコミュニケーション中であると判定する(ステップS5)。
The
一方、子画面制御部16は、解析モード選択インタフェース1から受信した選択信号が示すモードが“音声解析モード”であった場合には、画像解析部14及び音声解析部15によりコミュニケーション中を示唆しているかを判定する(ステップS2)。
On the other hand, when the mode indicated by the selection signal received from the analysis
この場合、解析モード選択インタフェース1は、画像解析部14と音声解析部15の両方に“音声解析モード”の選択信号を送信し、これにより画像解析部14と音声解析部15とが共に解析動作する。
In this case, the analysis
具体的には、例えば画像解析部14は、“音声解析モード”を示す選択信号を受信すると、子画面デコーダ部17から受信した画像データの中から顔領域の検出を行う。顔領域の検出では、顔画像の複数のサンプルから平均的な「基準顔」のテンプレートを用意し、テンプレートマッチングを行う。ここで、検出精度を高めるため、画像解析モードで用いた方法と同様に動きベクトルを抽出し、その画像内において比較的動きの多い部分に重みをかけてマッチングを行うこととする。
Specifically, for example, when receiving a selection signal indicating “audio analysis mode”, the
これは、本実施形態に係る記憶再生装置30の利用状況を考慮したものであり、背景が複雑だったとしても、その背景はほとんど動くことがなく、コミュニケーションを行う人間の動きが画像中の大きな動き部分であることを利用している。
This is based on the usage situation of the storage /
そして、顔領域の検出を行った後、予め用意していた「基準顔」のテンプレートとの口領域周辺においての口パーツのみのパターンマッチングを行い、口の正確な位置を検出する。そして、口の位置をトラッキングしながら、口領域の動きベクトルを抽出し、抽出した動きベクトルが予め定めた動き信号用閾値を上回っている場合に、コミュニケーション中であることを示唆するコミュニケーション状態信号を子画面制御部16へ送信する。
Then, after detecting the face area, pattern matching of only the mouth parts around the mouth area with the template of the “reference face” prepared in advance is performed to detect the exact position of the mouth. Then, while tracking the position of the mouth, the motion vector of the mouth region is extracted, and when the extracted motion vector exceeds a predetermined motion signal threshold, a communication status signal indicating that communication is in progress This is transmitted to the
一方、音声解析部15は、“音声解析モード”を示す選択信号を受信すると、子画面デコーダ部17から受信した音声データの音声レベルがある予め定めた音声データ信号用閾値を上回っている場合に、コミュニケーション中であることを示すコミュニケーション状態信号を子画面制御部16へ送信する。
On the other hand, when the
最終的に、子画面制御部16では、画像解析部14と音声解析部15の双方からコミュニケーション中であることを示唆するコミュニケーション状態信号を受信した場合にのみ、この子画面を利用している利用者がコミュニケーション中であると判定する。
Finally, the
そして、子画面制御部16は、画像解析部14又は/及び音声解析部15によりコミュニケーション中を示唆していると判定した場合は、子画面に表示する画像の透過度を例えば“0”%に設定し(ステップS3)、子画面に表示する画像の彩度を例えばオリジナルのままの状態にすることで、子画面に表示する画像をカラー表示に設定する(ステップS4)。
If the child
これにより、利用者が子画面の画像を用いてコミュニケーション中である場合に、子画面の画像を鮮明に表示することができるので、利用者にとって見やすいように子画面の表示を適切に制御することができる。 As a result, when the user is communicating using the sub-screen image, the sub-screen image can be clearly displayed, so that the sub-screen display is appropriately controlled so that the user can easily see it. Can do.
また、子画面制御部16は、画像解析部14又は/及び音声解析部15によりコミュニケーション中を示唆していないと判定した場合は、子画面に表示する画像の透過度を例えば“60”%に設定し(ステップS3)、子画面に表示する画像の彩度を例えば最低にすることで、子画面に表示する画像を白黒表示に設定する(ステップS7)。
Further, when the
これにより、利用者が子画面の画像を用いてコミュニケーションしてない場合に、子画面の画像を透過させることで主画面表示の邪魔にならないようにでき、又、白黒表示とすることで、主画面の色彩との干渉を防ぐことができ、子画面の動きや子画面の音声状態に基づいて利用者にとって見やすいように子画面の表示を適切に制御することができる。 As a result, when the user is not communicating using the sub-screen image, the sub-screen image can be made transparent so that it does not interfere with the main screen display. Interference with the colors of the screen can be prevented, and the display of the sub-screen can be appropriately controlled so that it is easy for the user to see based on the movement of the sub-screen and the sound state of the sub-screen.
そして、画像合成部19は、子画面制御部16により設定された子画面に表示する画像の透過度及び彩度に基づいて、主画面上に子画面の画像を合成する。
Then, the
≪双方向操作処理≫
次に、図3のフローチャートに従って、本実施形態における記憶再生装置30の双方向操作処理の処理手順について説明する。
≪Bidirectional operation processing≫
Next, according to the flowchart of FIG. 3, the processing procedure of the bidirectional operation processing of the storage /
まず、再生操作インタフェース5は、利用者による選択操作等により受信した再生制御操作信号を再生操作受信部10を介して再生制御部24へ送信し、再生制御部24は、この再生制御操作信号を受信したとき、ネットワーク100を介して接続されている記憶再生装置31に再生制御操作中か否かを問い合わせる(ステップS11)。そして、記憶再生装置31が再生制御中である場合には、記憶再生装置31の再生制御操作を優先させるため、再生操作インタフェース5が受け付けた再生制御操作を禁止する(ステップS19)。
First, the
ここで再生制御操作中とは、早送り、巻き戻し、一時停止、コマ送り等の操作を行っていて通常の再生状態ではない状態のことをいい、再生制御操作信号とは、早送り、巻き戻し、一時停止、コマ送り等の通常の再生信号ではない操作信号のことをいう。 Here, during playback control operation, it means a state in which fast forward, rewind, pause, frame advance, etc. are being performed and it is not in the normal playback state, and playback control operation signals are fast forward, rewind, An operation signal that is not a normal playback signal such as pause or frame advance.
これにより、記憶再生装置31の再生制御操作中に記憶再生装置31から再生制御操作信号を送信することを防止することができる。
Thereby, it is possible to prevent the reproduction control operation signal from being transmitted from the storage /
そして、記憶再生装置31が再生制御操作中でない場合には、再生制御部24は、記憶再生装置30が再生制御操作中か否かを判定し(ステップS12)、再生制御操作中ではないと判定した場合、処理をステップS13へ移行させる。
If the storage /
次に、再生制御部24は、ステップS12にて記憶再生装置30が再生制御操作中ではないと判定した場合、受信した再生制御操作信号の対象が記憶再生装置30のコンテンツ記憶部8に記憶されているコンテンツか否かを判定する(ステップS13)。
Next, when the
具体的には、再生制御部24は、コンテンツ記憶部8に記憶された画像又は音声コンテンツデータに対応するコンテンツのタイトルインデックスを示すインデックス情報データを記憶部25から読み込み、読み込んだインデックス情報データに、再生操作インタフェース5が受け付けた再生制御操作信号に対応する画像又は音声コンテンツが存在するか否かで判定する。
Specifically, the
そして、再生制御部24は、読み込んだインデックス情報データに、再生操作インタフェース5が受け付けた再生制御操作信号に対応する画像又は音声コンテンツデータのインデックス情報データが存在しない場合、即ちその再生制御操作信号の対象が記憶再生装置30のコンテンツ記憶部8に記憶されているコンテンツではないと判定した場合(ステップS13)は、再生制御部24が、再生操作インタフェース5が受け付けた再生制御操作信号を記憶再生装置31へ送信する(ステップS18)。
Then, the
一方、ステップS13において、再生制御部24は、再生制御操作信号の対象が記憶再生装置30のコンテンツ記憶部8に記憶されているコンテンツであると判定した場合は、ステップS14へ処理を移行させる。
On the other hand, when the
これにより、再生操作インタフェース5が受け付けた再生制御操作信号を記憶再生装置30と記憶再生装置31の状態によって適切に割り振ることができる。
Thereby, the reproduction control operation signal received by the
次に、再生制御部24は、ステップS13において、再生制御操作信号の対象が記憶再生装置30のコンテンツ記憶部8に記憶されているコンテンツではないと判定した場合、記憶再生装置31の応答時間を示す遅延時間を計測させる計測指示信号を操作遅延計測部21へ送信する。
Next, when the
そして、計測指示信号を受信した操作遅延計測部21は、例えば記憶再生装置30へパケットを送信したときの応答時間を計測することによって、遅延時間を算出し、記憶部25へ記憶する(ステップS14)。
The operation
次に、再生制御部24は、ステップS14で算出した遅延時間と比較するための経過時間の計測を開始し(ステップS15)、記憶再生装置31からの再生制御操作信号が送信されてくるか否かを監視する(ステップS16)。
Next, the
そして、再生制御部24は、記憶部25から遅延時間を読み込み、ステップS15にて計測を開始した経過時間が読み込んだ遅延時間を越えた場合(ステップS17)に、ステップS18の処理を行う。
Then, the
一方、再生制御部24は、ステップS15にて計測を開始した経過時間が読み込んだ遅延時間を越えることなく(ステップS17)、記憶再生装置31からの再生制御操作信号を受信した場合、この再生制御操作信号を優先するため、記憶再生装置30の操作を禁止する(ステップS19)。
On the other hand, when the
これにより、記憶再生装置30及び記憶再生装置31の間において、先に受け付けた再生制御信号を優先的に処理することができるので、双方向からの操作が可能となる。
As a result, the previously received reproduction control signal can be preferentially processed between the storage /
以上のように、本実施形態における記憶再生装置30によれば、ネットワーク接続された記憶再生装置31との間で、同一のコンテンツを視聴しながら、双方向の操作を可能にし、子画面の表示の動きや子画面の音声状態に基づいて子画面の表示を適切に制御することができるので、利用者にとって、利便性を向上することことができる。
As described above, according to the storage /
例えば、家庭内の別の部屋にいる家族、より広い範囲でのネットワーク環境において、遠隔地にいる親族、友人、恋人等と同一コンテンツを共有することが可能となる。さらに離れた場所にいる利用者同士が共有している同じコンテンツを同時に視聴しながらコミュニケーションを取ることができるようなコミュニケーションシステムを実現することができ、物理的な距離は離れていても時間を共有するという状況を作り出すことができる。例えば、子供を持つ夫婦とこの夫婦と遠く離れた場所で暮らす夫婦の親とが、撮影した子供の姿を一緒に視聴しながら会話するといったことが可能になる。 For example, the same content can be shared with relatives, friends, lovers, and the like in a remote place in a family in a different room in the home or in a wider network environment. In addition, it is possible to realize a communication system that allows users to communicate while viewing the same content shared by users at remote locations, sharing time even if the physical distance is far away You can create a situation to do. For example, a couple having a child and a parent of a couple living far away from this couple can have a conversation while watching the photographed child together.
<変形例1>
本実施形態における記憶再生装置30は、ネットワーク100を介して接続した記憶再生装置31から受信した通信データから子画面の動きや子画面の音声状態に基づいて子画面の画像表示を適切に制御する構成とした。
<
The storage /
本実施形態の変形例1である記憶再生装置40では、子画面の画像表示及び子画面の音声の音量を適切に制御する構成とする。
The storage /
図4は、変形例1である記憶再生装置40の構成を示すブロック図である。
FIG. 4 is a block diagram illustrating a configuration of a storage /
図4に示すように、子画面制御部16が、子画面に表示する画像の透過度及び彩度の設定を行うと共に、子画面の音声として出力する音声の音量を設定し、設定値を画像合成部19及び音声合成部20へ送信する。そして、画像合成部19が設定された透過度及び彩度に基づいて主画面上に子画面の画像を合成し、音声合成部20が、設定された音声の音量に基づいて主画面の音声と子画面の音声とを合成する。
As shown in FIG. 4, the
具体的には、まず、子画面制御部16は、画像解析部14又は/及び音声解析部15によりコミュニケーション中を示唆していると判定した場合は、子画面に表示する画像の透過度を例えば“0”%に設定し、子画面に表示する画像の彩度を例えばオリジナルのままの状態にすることで、子画面に表示する画像をカラー表示に設定すると共に、子画面の音声として出力する音声の音量を利用者に聴こえ易いように、例えば“60”%に設定する。
Specifically, first, when the
また、子画面制御部16は、画像解析部14又は/及び音声解析部15によりコミュニケーション中を示唆していないと判定した場合は、子画面に表示する画像の透過度を例えば“60”%に設定し、子画面に表示する画像の彩度を例えば最低にすることで、子画面に表示する画像を白黒表示に設定すると共に、子画面の音声として出力する音声の音量を主画面を内容を視聴している利用者にとって邪魔にならないように、例えば“0”%に設定する。
Further, when the
そして、画像合成部19が、子画面制御部16により設定された子画面に表示する画像の透過度及び彩度に基づいて、主画面上に子画面の画像を合成し、音声合成部20が、子画面制御部16により設定された子画面の音声として出力する音声の音量に基づいて、主画面の音声と子画面の音声とを合成する。
Then, the
これにより、変形例1に係る記憶再生装置40は、ネットワーク100を介して接続した記憶再生装置41から受信した通信データから子画面の動きや子画面の音声状態に基づいて、子画面の画像表示及び子画面の音声の音量を適切に制御することができる。
As a result, the storage /
1…解析モード選択インタフェース
2…カメラ
3…鋭指向性マイク
4…機器
5…再生操作インタフェース
6…画面入力部
7…音声入力部
8…コンテンツ記憶部
9…外部機器接続部
10…再生操作受信部
11…子画面エンコーダ部
12…雑音除去フィルタ
13…ネットワーク接続インタフェース
14…画像解析部
15…音声解析部
16…子画面制御部
17…子画面デコーダ部
18…コンテンツデコーダ部
19…画像合成部
20…音声合成部
21…操作遅延計測部
22…AV同期部
23…再生部
24…再生制御部
25…記憶部
26…出力部
30…記憶再生装置
31…記憶再生装置
40…記憶再生装置
41…記憶再生装置
100…ネットワーク
DESCRIPTION OF
Claims (4)
外部入力により、画像解析モード又は音声解析モードのいずれが選択されたかを示す選択信号を受信した場合に、前記電子機器から受信した通信データから動き信号を検出し、検出した動き信号が動き信号用閾値を超えた場合に通信中と判定する画像解析部と、
前記選択信号が音声解析モードを示している場合に、前記電子機器から受信した通信データから音声データを抽出し、抽出した音声データの出力値が音声データ用閾値を超えた場合に通信中と判定する音声解析部と、
前記画像解析部及び/又は前記音声解析部により通話中と判定された場合には、前記子画面に表示する画像の透過度及び彩度、及び/又は前記子画面の音声として出力する音声の音量を設定する子画面制御部と、
前記子画面制御部により設定された子画面に表示する画像の透過度及び彩度、又は子画面の音声として出力する音声の音量に基づいて、前記主画面のコンテンツデータと前記子画面の通信データを合成する合成部と
を備えることを特徴とする記憶再生装置。 An electronic device having a content distribution function for reading and distributing content data including image data and audio data stored in a storage device, and a bidirectional communication function for transmitting and receiving communication data including captured image data and recorded audio data A storage / reproduction device connected to a device, outputting content data from the electronic device as a main screen, and outputting communication data as a sub-screen so as to overlap the main screen,
When a selection signal indicating whether the image analysis mode or the voice analysis mode is selected by an external input, a motion signal is detected from the communication data received from the electronic device, and the detected motion signal is used for a motion signal. An image analysis unit that determines that communication is in progress when the threshold is exceeded;
When the selection signal indicates a voice analysis mode, voice data is extracted from communication data received from the electronic device, and it is determined that communication is being performed when the output value of the extracted voice data exceeds a voice data threshold value. A voice analysis unit to
If the image analysis unit and / or the voice analysis unit determines that a call is in progress, the transparency and saturation of the image displayed on the sub-screen, and / or the volume of the audio output as the sub-screen audio A sub-screen control unit for setting
The content data of the main screen and the communication data of the child screen based on the transparency and saturation of the image displayed on the child screen set by the child screen control unit or the sound volume output as the sound of the child screen And a synthesizing unit for synthesizing the data.
前記電子機器の応答時間を計測する操作遅延計測部と、
外部入力より操作信号を受け付けたときに、前記コンテンツ記憶部に記憶されたコンテンツデータに対応するコンテンツのタイトルインデックスを示すインデックス情報データを記憶部から読み込み、読み込んだインデックス情報データに前記操作信号に対応するコンテンツのタイトルンデックスが存在する場合には、前記操作信号を受け付けたときからの経過時間と前記操作遅延計測部により計測した遅延時間とを比較し、この経過時間が前記遅延時間を越えたときに、前記操作信号に従って、前記合成部により合成したデータを出力させる再生制御部と
を更に備えることを特徴とする請求項1に記載の記憶再生装置。 A content storage unit for storing the content data;
An operation delay measuring unit for measuring a response time of the electronic device;
When an operation signal is received from an external input, index information data indicating the title index of content corresponding to the content data stored in the content storage unit is read from the storage unit, and the read index information data corresponds to the operation signal If there is a title index of the content to be processed, the elapsed time from when the operation signal is received is compared with the delay time measured by the operation delay measurement unit, and the elapsed time exceeds the delay time. The storage / reproducing apparatus according to claim 1, further comprising: a reproduction control unit that outputs data synthesized by the synthesizing unit according to the operation signal.
記憶再生装置を、
外部入力により、画像解析モード又は音声解析モードのいずれが選択されたかを示す選択信号を受信した場合に、前記電子機器から受信した通信データから動き信号を検出し、検出した動き信号が動き信号用閾値を超えた場合に通信中と判定する画像解析部と、
前記選択信号が音声解析モードを示している場合に、前記電子機器から受信した通信データから音声データを抽出し、抽出した音声データの出力値が音声データ用閾値を超えた場合に通信中と判定する音声解析部と、
前記画像解析部及び/又は前記音声解析部により通話中と判定された場合には、前記子画面に表示する画像の透過度及び彩度、及び/又は前記子画面の音声として出力する音声の音量を設定する子画面制御部と、
前記子画面制御部により設定された子画面に表示する画像の透過度及び彩度、又は子画面の音声として出力する音声の音量に基づいて、前記主画面のコンテンツデータと前記子画面の通信データを合成する合成部
として機能させるための記憶再生プログラム。 An electronic device having a content distribution function for reading and distributing content data including image data and audio data stored in a storage device, and a bidirectional communication function for transmitting and receiving communication data including captured image data and recorded audio data A storage / reproduction program applied to a storage / reproduction device connected to a device, outputting content data from the electronic device as a main screen, and outputting communication data as a sub-screen so as to overlap the main screen,
Storage and playback device
When a selection signal indicating whether the image analysis mode or the voice analysis mode is selected by an external input, a motion signal is detected from the communication data received from the electronic device, and the detected motion signal is used for a motion signal. An image analysis unit that determines that communication is in progress when the threshold is exceeded;
When the selection signal indicates a voice analysis mode, voice data is extracted from communication data received from the electronic device, and it is determined that communication is being performed when the output value of the extracted voice data exceeds a voice data threshold value. A voice analysis unit to
If the image analysis unit and / or the voice analysis unit determines that a call is in progress, the transparency and saturation of the image displayed on the sub-screen, and / or the volume of the audio output as the sub-screen audio A sub-screen control unit for setting
The content data of the main screen and the communication data of the child screen based on the transparency and saturation of the image displayed on the child screen set by the child screen control unit or the sound volume output as the sound of the child screen A storage / playback program for functioning as a synthesis unit that synthesizes.
前記コンテンツデータを記憶するコンテンツ記憶部と、
前記電子機器の応答時間を計測する操作遅延計測部と、
外部入力より操作信号を受け付けたときに、前記コンテンツ記憶部に記憶されたコンテンツデータに対応するコンテンツのタイトルインデックスを示すインデックス情報データを記憶部から読み込み、読み込んだインデックス情報データに前記操作信号に対応するコンテンツのタイトルンデックスが存在する場合には、前記操作信号を受け付けたときからの経過時間と前記操作遅延計測部により計測した遅延時間とを比較し、この経過時間が前記遅延時間を越えたときに、前記操作信号に従って、前記合成部により合成したデータを出力させる再生制御部と
として更に機能させるための請求項3に記載の記憶再生プログラム。 Storage and playback device
A content storage unit for storing the content data;
An operation delay measuring unit for measuring a response time of the electronic device;
When an operation signal is received from an external input, index information data indicating the title index of content corresponding to the content data stored in the content storage unit is read from the storage unit, and the read index information data corresponds to the operation signal If there is a title index of the content to be processed, the elapsed time from when the operation signal is received is compared with the delay time measured by the operation delay measurement unit, and the elapsed time exceeds the delay time. The storage / reproducing program according to claim 3, further causing a reproduction control unit to output data synthesized by the synthesizing unit in accordance with the operation signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006321749A JP2008136079A (en) | 2006-11-29 | 2006-11-29 | Storage reproducing device and storage reproducing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006321749A JP2008136079A (en) | 2006-11-29 | 2006-11-29 | Storage reproducing device and storage reproducing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008136079A true JP2008136079A (en) | 2008-06-12 |
Family
ID=39560585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006321749A Pending JP2008136079A (en) | 2006-11-29 | 2006-11-29 | Storage reproducing device and storage reproducing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008136079A (en) |
-
2006
- 2006-11-29 JP JP2006321749A patent/JP2008136079A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8391671B2 (en) | Information processing device and method, recording medium, and program | |
US20060025998A1 (en) | Information-processing apparatus, information-processing methods, recording mediums, and programs | |
US20070122786A1 (en) | Video karaoke system | |
US20080133604A1 (en) | Apparatus and method for linking basic device and extended devices | |
JP2006041887A (en) | Information processing apparatus and method, recording medium, and program | |
KR102156467B1 (en) | Method and apparatus for synchronizing playbacks at two electronic devices | |
JP2008219256A (en) | Information processor, projecting method and projection program | |
JP2005051703A (en) | Live streaming broadcasting method, live streaming broadcasting apparatus, live streaming broadcasting system, program, recording medium, broadcasting method, and broadcasting apparatus | |
JP2007104348A (en) | Information processor | |
JP7294337B2 (en) | Information processing device, information processing method, and information processing system | |
CN108449632A (en) | A kind of real-time synthetic method of performance video and terminal | |
JP6131053B2 (en) | Information playback terminal | |
JP6024002B2 (en) | Video distribution system | |
JP2010157906A (en) | Video display device | |
JP2010206265A (en) | Device and method for controlling sound, data structure of stream, and stream generator | |
JP2006005418A (en) | Apparatus, method, and program for receiving/reproducing information, and program recording medium | |
JP2009194594A (en) | Broadcast system, transmitter and transmission method, receiver and reception method, and program | |
JP2006086717A (en) | Image display system, image reproducer, and layout controller | |
US6473136B1 (en) | Television broadcast transmitter/receiver and method of transmitting/receiving a television broadcast | |
CN113077799A (en) | Decoder arrangement with two audio links | |
JP2006041884A (en) | Information processing apparatus and method therefor, recording medium and program | |
WO2020031453A1 (en) | Information processing device and information processing method, and video-audio output system | |
JP5265468B2 (en) | Video receiving device and display device | |
JP5084022B2 (en) | Content playback apparatus, content playback system, content playback method, and program | |
KR102417084B1 (en) | Method And System for Transmitting and Receiving Multi-Channel Media |