JP6471418B2 - 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム - Google Patents
画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム Download PDFInfo
- Publication number
- JP6471418B2 JP6471418B2 JP2014129902A JP2014129902A JP6471418B2 JP 6471418 B2 JP6471418 B2 JP 6471418B2 JP 2014129902 A JP2014129902 A JP 2014129902A JP 2014129902 A JP2014129902 A JP 2014129902A JP 6471418 B2 JP6471418 B2 JP 6471418B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- image
- microphone
- voice
- designated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、画像・音声をネットワークを介して配信する技術に関する。
音楽業界において、これまでのライブ（生演奏）の撮影は通常のカメラによるものがほとんどであり、現地に居る迫力は今ひとつ伝わらないものであった。そこで、様々なライブ映像の配信方法が考案され、その一つに３６０度配信というものがある。この配信方法は、カメラの設置位置を中心に３６０度の全方向の映像をすべて同時に取り込み、視聴者が指定した方向の映像を配信するものである。これにより、視聴者は自分の好きな視点の映像を選択して見ることができ、新しい映像体験によりライブ映像の付加価値を高めることができる。
なお、完全な３６０度の全方向の映像に限らず、一時に視聴できる視野（画角）を越える広視野で撮影するものであれば、同様の効果を得ることができる。特許文献１には、広視野撮影カメラについての記載がある。
上述したように、映像（画像）についてはリアリティーの追求が行われているが、画像がいかにリアルでも、ライブのように画像と音声とが同期するものは、音声のリアリティーも求められる。これまでは、音声はある定点の音声を採取し、それを画像（動画）と時間的に同期させて再生していただけであるため、方角という概念がなく、臨場感としては今ひとつであった。
なお、主に音楽のライブについて説明してきたが、スポーツやその他の各種のイベントの様子を画像と音声で伝える場面においても同様の問題がある。
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、画像と音声の両者に対して現場に居るようなリアリティーを再現できるようにすることにある。
上記の課題を解決するため、本発明にあっては、上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラと、前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクと、端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段と、前記マイクにより採取された音声から、前記指定された方向の音声を取得する音声処理手段と、前記画像処理手段により取得された画像と前記音声処理手段より取得された音声とを前記端末装置に送信する送信手段とを備え、前記音声処理手段は、前記指定された方向が第１マイクの方向と第２マイクの方向との間である場合、前記指定された方向の音声として、前記第１マイクにより採取された音声に、前記第１マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第２マイクにより採取された音声に、前記第２マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第３マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得する。
また、上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラと、前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクと、端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段と、前記画像処理手段により取得された画像と前記マイクにより採取された音声とを前記端末装置に送信する送信手段と、前記端末装置内で、受信した音声から、前記指定された方向の音声を取得する音声処理手段とを備え、前記音声処理手段は、前記指定された方向が第１マイクの方向と第２マイクの方向との間である場合、前記指定された方向の音声として、前記第１マイクにより採取された音声に、前記第１マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第２マイクにより採取された音声に、前記第２マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第３マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得するものとすることができる。
本発明にあっては、画像と音声の両者に対して現場に居るようなリアリティーを再現することができる。
以下、本発明の好適な実施形態につき説明する。
＜構成＞
図１は本発明の一実施形態にかかるシステムの構成例を示す図である。図１において、例えば、ライブ会場のステージ上等には、広視野カメラ１と複数のマイク２１〜２４が設けられ、広視野カメラ１の画像出力とマイク２１〜２４の音声出力は、サーバとして機能する情報処理装置３に入力されている。広視野カメラ１は、水平方向に視野を持つ６個のカメラ（１１〜１６）と、上方向に視野を持つ１個のカメラ（１７）を備えており、広視野カメラ１の設置位置を中心としてほぼ３６０度の画像を撮影する。
図１は本発明の一実施形態にかかるシステムの構成例を示す図である。図１において、例えば、ライブ会場のステージ上等には、広視野カメラ１と複数のマイク２１〜２４が設けられ、広視野カメラ１の画像出力とマイク２１〜２４の音声出力は、サーバとして機能する情報処理装置３に入力されている。広視野カメラ１は、水平方向に視野を持つ６個のカメラ（１１〜１６）と、上方向に視野を持つ１個のカメラ（１７）を備えており、広視野カメラ１の設置位置を中心としてほぼ３６０度の画像を撮影する。
なお、広視野カメラ１の視野は３６０度に限らず、一時に配信する画像の画角を越える広視野であればよい。また、広視野カメラ１を構成するカメラの個数は７個に限られず、これより少なくても多くてもよい。例えば、魚眼レンズを備えたカメラを水平方向に背中合わせに配置（カメラは計２個）することによっても、３６０度の視野を確保することができる。マイク２１〜２４は、モノラル音声を採取するモノラルタイプであってもよいし、ステレオ音声を採取するステレオタイプであってもよい。
また、情報処理装置３は有線または無線による接続経路を介してインターネット等のネットワーク４に接続され、ネットワーク４には視聴者の所有する情報処理装置５が有線または無線による接続経路を介して接続可能となっている。
図２はシステムの機能構成例を示す図である。図２において、情報処理装置３は、画像入力部３１と音声入力部３２と画像・音声保持部３３と画像・音声処理部３４と通信部３５とを備えている。
画像入力部３１は、広視野カメラ１を構成するカメラ１１〜１７から撮影された画像を入力する機能を有している。音声入力部３２は、マイク２１〜２４から採取された音声を入力する機能を有している。画像入力部３１および音声入力部３２は、画像・音声をアナログ信号として入力する場合、デジタルデータへの変換を行う。画像・音声保持部３３は、画像入力部３１により入力された画像および音声入力部３２により入力された音声をデータとして保持（格納）する機能を有している。保持するデータの形式については後述する。
画像・音声処理部３４は、情報処理装置５からの画像・音声の配信要求に応じ、リアルタイムに画像入力部３１および音声入力部３２により入力される画像および音声から配信（生配信）する画像および音声を取得するか、画像・音声保持部３３に保持された画像・音声から配信（蓄積配信）する画像・音声を取得する機能を有している。画像・音声の取得の処理の詳細については後述する。通信部３５は、ネットワーク４を介して情報処理装置５との間でデータ通信を行う機能を有している。
また、情報処理装置５には、画像・音声再生アプリ５１が設けられ、画像・音声再生アプリ５１には方向指定部５２と映像表示部５３と音声合成部５４と音声出力部５５とが設けられている。
方向指定部５２は、ユーザから視聴する方向の指定を受け付ける機能を有している。映像表示部５３は、情報処理装置３から配信される画像をモニタ上に表示する機能を有している。音声合成部５４は、情報処理装置５側で音声の合成（複数のマイク音声からの合成）を行う場合に、方向を考慮して音声の合成を行う機能を有している。情報処理装置３側で音声の合成を行う場合、音声合成部５４は不要となる。音声出力部５５は、情報処理装置３から配信される音声、または、情報処理装置５側で合成した音声をスピーカ等から出力する機能を有している。
図３は情報処理装置３、５のハードウェア構成例を示す図である。図３において、情報処理装置３、５は、システムバス３０１に接続されたＣＰＵ（Central Processing Unit）３０２、ＲＯＭ（Read Only Memory）３０３、ＲＡＭ（Random Access Memory）３０４、ＮＶＲＡＭ（Non-Volatile Random Access Memory）３０５を備えている。また、情報処理装置３、５は、Ｉ／Ｆ（Interface）３０６と、Ｉ／Ｆ３０６に接続された、Ｉ／Ｏ（Input/Output Device）３０７、ＨＤＤ（Hard Disk Drive）３０８、ＮＩＣ（Network Interface Card）３０９と、Ｉ／Ｏ３０７に接続されたモニタ３１０、キーボード３１１、マウス３１２等を備えている。Ｉ／Ｏ３０７にはＣＤ／ＤＶＤ（Compact Disk/Digital Versatile Disk）ドライブ等を接続することもできる。
＜動作＞
図４は上記の実施形態における画像・音声の入力時の処理例を示すフローチャートであり、情報処理装置３の画像入力部３１および音声入力部３２の処理である。
図４は上記の実施形態における画像・音声の入力時の処理例を示すフローチャートであり、情報処理装置３の画像入力部３１および音声入力部３２の処理である。
図４において、実演の開始等に併せて処理を開始すると、画像入力部３１は、広視野カメラ１の個々のカメラ１１〜１７から画像を入力する（ステップＳ１１）。この際、広視野カメラ１から出力される画像がアナログ信号である場合にはデジタル化を行う。
次いで、画像入力部３１は、各カメラ１１〜１７の光学的特性に応じて画像の歪みや明るさ・色調等の補正を行うとともに、各カメラの画像につき、隣接するカメラの画像との重なりの除去を行い、各カメラからの画像がシームレスにつながるように加工する（ステップＳ１２）。
次いで、画像入力部３１は、複数のカメラ１１〜１７からの画像を１つの画像データとする場合には、加工後の画像の統合を行う（ステップＳ１３）。統合された画像データは、時間軸の他に、方向と画像とが対応付けられている。なお、各カメラ１１〜１７の画像を個別に扱う場合には画像統合（ステップＳ１３）は必要ない。
次いで、画像入力部３１は、加工後の画像を、コンテンツのタイトル等のメタ情報とともに、画像・音声保持部３３に格納する（ステップＳ１４）。この際、各カメラ１１〜１７の画像を個別に扱う場合には、各カメラ１１〜１７に対応する画像であることがわかるように、カメラの識別子または画像の中心方向（基準となる方向との偏差、または方位）と対応付けて格納する。
一方、音声入力部３２は、各マイク２１〜２４から音声を入力する（ステップＳ１５）。この際、マイク２１〜２４から出力される音声がアナログ信号である場合にはデジタル化を行う。
次いで、音声入力部３２は、各マイク２１〜２４の音響的特性に応じて音声の音量・音質等の加工（補正）を行う（ステップＳ１６）。
次いで、音声入力部３２は、画像入力部３１により画像・音声保持部３３に格納された画像と対応付けて音声を格納する（ステップＳ１７）。
その後、入力処理の終了か否か判断し（ステップＳ１８）、終了でない場合（ステップＳ１８のＮｏ）は同様の処理を繰り返す。
図５は保持するデータの例を示す図であり、図５（ａ）は各カメラ１１〜１７の画像を個別に扱う場合の例を示し、図５（ｂ）は各カメラ１１〜１７の画像を統合した場合の例を示している。図５（ａ）では、メタ情報と、各カメラ１１〜１７の画像と、各マイク２１〜２４の音声とが含まれている。図５（ｂ）では、メタ情報と、各カメラ１１〜１７の画像を統合した画像と、各マイク２１〜２４の音声とが含まれている。
図６は画像・音声の配信時の処理例を示すフローチャートであり、情報処理装置５から情報処理装置３に対して画像・音声の配信リクエストが行われたことにより実行される処理を示している。また、図６はサーバとしての情報処理装置３側で音声の合成を行う例である。
また、図７は、サーバとしての情報処理装置３側で音声の合成は行わず、クライアントとしての情報処理装置５側で音声の合成等を行う例である。
図６において、情報処理装置３の画像・音声処理部３４は、リクエストにおいて指定された方向（水平方向、上下方向）を中心として左右・上下の所定の視野角（画角）の画像を、リアルタイムに画像入力部３１が入力する画像（加工後の画像）または画像・音声保持部３３に格納された画像から切り出す（ステップＳ２１）。この際、各カメラ１１〜１７の画像を個別に扱う場合、複数の画像に跨る場合は画像の合成を行う。
図８は画像の切り出しの概念図であり、３６０度のシームレスに連続する画像の中から、矢印で示す方向（リクエストで指定された方向）を中心に画像を切り出している様子を示している。
図６に戻り、画像・音声処理部３４は、リクエストにおいて指定された方向（水平方向、上下方向）に応じた係数に基づいて、リアルタイムに音声入力部３２が入力する音声（加工後の音声）または画像・音声保持部３３に格納された音声から、各マイク２１〜２４の音声を合成する（ステップＳ２２）。
図９は音声の合成の例を示す図であり、マイク２１の音声（加工後の音声）をＳＭ１（マイク２１がステレオタイプの場合は左側音声がＳＭ１Ｌ、右側音声がＳＭ１Ｒ）、マイク２２の音声（加工後の音声）をＳＭ２（マイク２２がステレオタイプの場合は左側音声がＳＭ２Ｌ、右側音声がＳＭ２Ｒ）、マイク２３の音声（加工後の音声）をＳＭ３（マイク２３がステレオタイプの場合は左側音声がＳＭ３Ｌ、右側音声がＳＭ３Ｒ）、マイク２４の音声（加工後の音声）をＳＭ４（マイク２４がステレオタイプの場合は左側音声がＳＭ４Ｌ、右側音声がＳＭ４Ｒ）とし、矢印で示す方向がリクエストで指定された場合の例を示している。
この場合、マイクがモノラルタイプでモノラル出力の場合、係数をＣ０、Ｃ１、Ｃ２、Ｃ３、Ｃ４として、音声出力Ｓは、
Ｓ＝Ｃ０×（Ｃ１・ＳＭ１＋Ｃ２・ＳＭ２＋Ｃ３・ＳＭ３＋Ｃ４・ＳＭ４）
となる。
Ｓ＝Ｃ０×（Ｃ１・ＳＭ１＋Ｃ２・ＳＭ２＋Ｃ３・ＳＭ３＋Ｃ４・ＳＭ４）
となる。
係数として、最も簡単な例としては、マイクの方向と指定された方向の一致した場合は、一致した方向のマイク以外の係数をすべて０とするものである。また、指定された方向が２つのマイクの方向の間にある場合は、２つのマイクの方向との角度差で按分した係数とし、他のマイクの係数を０とするものである。実際には、マイクの音響的な特性により、背後のマイク等の音声も所定の比率で加算することで臨場感が高まる場合もあるので、実測結果等に基づいて適切な係数を決定することになる。
また、マイクがモノラルタイプでステレオ出力の場合、係数をＣ０Ｌ、Ｃ１Ｌ、Ｃ２Ｌ、Ｃ３Ｌ、Ｃ４Ｌ、Ｃ０Ｒ、Ｃ１Ｒ、Ｃ２Ｒ、Ｃ３Ｒ、Ｃ４Ｒ、左側音声出力をＳＬ、右側音声出力をＳＲとすると、
ＳＬ＝Ｃ０Ｌ×（Ｃ１Ｌ・ＳＭ１＋Ｃ２Ｌ・ＳＭ２＋Ｃ３Ｌ・ＳＭ３＋Ｃ４Ｌ・ＳＭ４）
ＳＲ＝Ｃ０Ｒ×（Ｃ１Ｒ・ＳＭ１＋Ｃ２Ｒ・ＳＭ２＋Ｃ３Ｒ・ＳＭ３＋Ｃ４Ｒ・ＳＭ４）
となる。
ＳＬ＝Ｃ０Ｌ×（Ｃ１Ｌ・ＳＭ１＋Ｃ２Ｌ・ＳＭ２＋Ｃ３Ｌ・ＳＭ３＋Ｃ４Ｌ・ＳＭ４）
ＳＲ＝Ｃ０Ｒ×（Ｃ１Ｒ・ＳＭ１＋Ｃ２Ｒ・ＳＭ２＋Ｃ３Ｒ・ＳＭ３＋Ｃ４Ｒ・ＳＭ４）
となる。
また、マイクがステレオタイプでステレオ出力の場合、
ＳＬ＝Ｃ０Ｌ×（Ｃ１Ｌ・ＳＭ１Ｌ＋Ｃ２Ｌ・ＳＭ１Ｒ＋Ｃ３Ｌ・ＳＭ２Ｌ＋Ｃ４Ｌ・ＳＭ２Ｒ
＋Ｃ５Ｌ・ＳＭ３Ｌ＋Ｃ６Ｌ・ＳＭ３Ｒ＋Ｃ７Ｌ・ＳＭ４Ｌ＋Ｃ８Ｌ・ＳＭ４Ｒ）
ＳＲ＝Ｃ０Ｒ×（Ｃ１Ｒ・ＳＭ１Ｌ＋Ｃ２Ｒ・ＳＭ１Ｒ＋Ｃ３Ｒ・ＳＭ２Ｌ＋Ｃ４Ｒ・ＳＭ２Ｒ
＋Ｃ５Ｒ・ＳＭ３Ｌ＋Ｃ６Ｒ・ＳＭ３Ｒ＋Ｃ７Ｒ・ＳＭ４Ｌ＋Ｃ８Ｒ・ＳＭ４Ｒ）
となる。
ＳＬ＝Ｃ０Ｌ×（Ｃ１Ｌ・ＳＭ１Ｌ＋Ｃ２Ｌ・ＳＭ１Ｒ＋Ｃ３Ｌ・ＳＭ２Ｌ＋Ｃ４Ｌ・ＳＭ２Ｒ
＋Ｃ５Ｌ・ＳＭ３Ｌ＋Ｃ６Ｌ・ＳＭ３Ｒ＋Ｃ７Ｌ・ＳＭ４Ｌ＋Ｃ８Ｌ・ＳＭ４Ｒ）
ＳＲ＝Ｃ０Ｒ×（Ｃ１Ｒ・ＳＭ１Ｌ＋Ｃ２Ｒ・ＳＭ１Ｒ＋Ｃ３Ｒ・ＳＭ２Ｌ＋Ｃ４Ｒ・ＳＭ２Ｒ
＋Ｃ５Ｒ・ＳＭ３Ｌ＋Ｃ６Ｒ・ＳＭ３Ｒ＋Ｃ７Ｒ・ＳＭ４Ｌ＋Ｃ８Ｒ・ＳＭ４Ｒ）
となる。
図６に戻り、画像・音声処理部３４は、取得した画像と音声を通信に用いる所定のフォーマットに変換し（ステップＳ２３）、通信部３５によりリクエスト元の情報処理装置５に送信する（ステップＳ２４）。
図１０（ａ）は配信するデータの例を示す図であり、メタ情報と画像と音声（合成済）とを含んでいる。
画像・音声の配信を受けた情報処理装置５の映像表示部５３は、例えば、図１１に示すように、タイトル「ｘｘｘｘｘ」と画像を表示するとともに、カメラの方向を示すグラフ（ＣＡＭ）、マイクの合成比率（係数に相当）を示すグラフ（ＭＩＣ）を表示する。カメラの方向を示すグラフは、初期値としては正面を向いており、扇型の部分をマウス等で移動することにより、方向の指定を行うことができる（方向指定部５２に相当）。情報処理装置５の音声出力部５５は、情報処理装置３から受信した音声をそのまま再生する。この際、全体の音量の調整を行うことができる。
図６に戻り、画像・音声処理部３４は、視聴が継続されるか否か判断し（ステップＳ２５）、継続される場合（ステップＳ２５のＹｅｓ）は同様の処理を繰り返す。
なお、情報処理装置５側で方向の指定が変更された場合は、新たなリクエストとなり、上述したのと同様の処理を繰り返す。
次に、図７において、情報処理装置３の画像・音声処理部３４は、リクエストにおいて指定された方向（水平方向、上下方向）を中心として左右・上下の所定の視野角（画角）の画像を、リアルタイムに画像入力部３１が入力する画像（加工後の画像）または画像・音声保持部３３に格納された画像から切り出す（ステップＳ３１）。この際、各カメラ１１〜１７の画像を個別に扱う場合、複数の画像に跨る場合は画像の合成を行う。
一方、画像・音声処理部３４は、リアルタイムに音声入力部３２が入力する音声（加工後の音声）または画像・音声保持部３３に格納された音声を取得する（ステップＳ３２）。
次いで、画像・音声処理部３４は、取得（合成）した画像と音声を通信に用いる所定のフォーマットに変換し（ステップＳ３３）、通信部３５によりリクエスト元の情報処理装置５に送信する（ステップＳ３４）。
図１０（ｂ）は配信するデータの例を示す図であり、メタ情報と画像と各マイクの音声とを含んでいる。
図７に戻り、画像・音声処理部３４は、視聴が継続されるか否か判断し（ステップＳ３５）、継続される場合（ステップＳ３５のＹｅｓ）は同様の処理を繰り返す。
画像・音声の配信を受けた情報処理装置５では、リクエストで指定した方向（水平方向、上下方向）に応じた係数に基づいて、情報処理装置３から受信した各マイク２１〜２４の音声を音声合成部５４により合成し、再生する。
＜総括＞
以上説明したように、本実施形態によれば、画像の方向と同期して音声もその方向から聞こえるものとなるため、画像と音声の両者に対して現場に居るようなリアリティーを再現することができる。
以上説明したように、本実施形態によれば、画像の方向と同期して音声もその方向から聞こえるものとなるため、画像と音声の両者に対して現場に居るようなリアリティーを再現することができる。
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
１ 広視野カメラ
１１〜１７ カメラ
２１〜２４ マイク
３ 情報処理装置
３１ 画像入力部
３２ 音声入力部
３３ 画像・音声保持部
３４ 画像・音声処理部
３５ 通信部
４ ネットワーク
５ 情報処理装置
５１ 画像・音声再生アプリ
５２ 方向指定部
５３ 映像表示部
５４ 音声合成部
５５ 音声出力部
１１〜１７ カメラ
２１〜２４ マイク
３ 情報処理装置
３１ 画像入力部
３２ 音声入力部
３３ 画像・音声保持部
３４ 画像・音声処理部
３５ 通信部
４ ネットワーク
５ 情報処理装置
５１ 画像・音声再生アプリ
５２ 方向指定部
５３ 映像表示部
５４ 音声合成部
５５ 音声出力部
Claims (7)
- 上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラと、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクと、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段と、
前記マイクにより採取された音声から、前記指定された方向の音声を取得する音声処理手段と、
前記画像処理手段により取得された画像と前記音声処理手段より取得された音声とを前記端末装置に送信する送信手段と
を備え、
前記音声処理手段は、前記指定された方向が第１マイクの方向と第２マイクの方向との間である場合、前記指定された方向の音声として、前記第１マイクにより採取された音声に、前記第１マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第２マイクにより採取された音声に、前記第２マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第３マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得することを特徴とする画像・音声配信システム。 - 上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラと、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクと、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段と、
前記画像処理手段により取得された画像と前記マイクにより採取された音声とを前記端末装置に送信する送信手段と、
前記端末装置内で、受信した音声から、前記指定された方向の音声を取得する音声処理手段と
を備え、
前記音声処理手段は、前記指定された方向が第１マイクの方向と第２マイクの方向との間である場合、前記指定された方向の音声として、前記第１マイクにより採取された音声に、前記第１マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第２マイクにより採取された音声に、前記第２マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第３マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得することを特徴とする画像・音声配信システム。 - 請求項１または２のいずれか一項に記載の画像・音声配信システムにおいて、
前記音声処理手段は、前記マイクにより採取された複数の音声に対し、前記指定された方向に対応した係数を乗じて加算することで前記指定された方向に対応した音声を取得する
ことを特徴とする画像・音声配信システム。 - 上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラから画像を入力する画像入力手段と、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクから音声を入力する音声入力手段と、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段と、
前記マイクにより採取された音声から、前記指定された方向の音声を取得する音声処理手段と、
前記画像処理手段により取得された画像と前記音声処理手段より取得された音声とを前記端末装置に送信する送信手段と
を備え、
前記音声処理手段は、前記指定された方向が第１マイクの方向と第２マイクの方向との間である場合、前記指定された方向の音声として、前記第１マイクにより採取された音声に、前記第１マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第２マイクにより採取された音声に、前記第２マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第３マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得することを特徴とする画像・音声配信装置。 - 上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラから画像を入力する画像入力手段と、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクから音声を入力する音声入力手段と、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段と、
前記画像処理手段により取得された画像と前記マイクにより採取された音声とを前記端末装置に送信する送信手段と
を備え
前記端末装置内で、受信した音声から、前記指定された方向の音声を取得し、前記指定された方向が第１マイクの方向と第２マイクの方向との間である場合、前記指定された方向の音声として、前記第１マイクにより採取された音声に、前記第１マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第２マイクにより採取された音声に、前記第２マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第３マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得することを特徴とする画像・音声配信装置。 - コンピュータを、
上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラから画像を入力する画像入力手段、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクから音声を入力する音声入力手段、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段、
前記マイクにより採取された音声から、前記指定された方向の音声を取得する音声処理手段、
前記画像処理手段により取得された画像と前記音声処理手段より取得された音声とを前記端末装置に送信する送信手段
として機能させ、
前記音声処理手段は、前記指定された方向が第１マイクの方向と第２マイクの方向との間である場合、前記指定された方向の音声として、前記第１マイクにより採取された音声に、前記第１マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第２マイクにより採取された音声に、前記第２マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第３マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得する画像・音声配信プログラム。 - コンピュータを、
上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラから画像を入力する画像入力手段、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクから音声を入力する音声入力手段、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段、
前記画像処理手段により取得された画像と前記マイクにより採取された音声とを前記端末装置に送信する送信手段
として機能させ、
前記端末装置内で、受信した音声から、前記指定された方向の音声を取得し、前記指定された方向が第１マイクの方向と第２マイクの方向との間である場合、前記指定された方向の音声として、前記第１マイクにより採取された音声に、前記第１マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第２マイクにより採取された音声に、前記第２マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第３マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得する画像・音声配信プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014129902A JP6471418B2 (ja) | 2014-06-25 | 2014-06-25 | 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014129902A JP6471418B2 (ja) | 2014-06-25 | 2014-06-25 | 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016010021A JP2016010021A (ja) | 2016-01-18 |
| JP6471418B2 true JP6471418B2 (ja) | 2019-02-20 |
Family
ID=55227310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014129902A Expired - Fee Related JP6471418B2 (ja) | 2014-06-25 | 2014-06-25 | 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6471418B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6711118B2 (ja) * | 2016-05-02 | 2020-06-17 | 株式会社リコー | 画像管理システム、プログラム及び情報端末 |
| US11228754B2 (en) | 2016-05-06 | 2022-01-18 | Qualcomm Incorporated | Hybrid graphics and pixel domain architecture for 360 degree video |
| US10419671B2 (en) | 2016-06-30 | 2019-09-17 | Optim Corporation | System, method, and program for displaying omnidirectional camera image |
| JP6878974B2 (ja) * | 2017-03-16 | 2021-06-02 | 株式会社リコー | 撮像装置、撮像システム |
| JP2018157314A (ja) * | 2017-03-16 | 2018-10-04 | 株式会社リコー | 情報処理システム、情報処理方法及びプログラム |
| JP7337491B2 (ja) * | 2018-09-07 | 2023-09-04 | キヤノン株式会社 | 映像音声処理システムおよび映像音声処理システムの制御方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0955925A (ja) * | 1995-08-11 | 1997-02-25 | Nippon Telegr & Teleph Corp <Ntt> | 画像システム |
| JP2000172982A (ja) * | 1998-12-09 | 2000-06-23 | Riosu Corp:Kk | 実写画像データを記憶する移動体用監視システム |
| JP4928177B2 (ja) * | 2006-07-05 | 2012-05-09 | 日本放送協会 | 音像形成装置 |
| JP2014045282A (ja) * | 2012-08-24 | 2014-03-13 | Nippon Hoso Kyokai <Nhk> | 残響付加装置、残響付加プログラム |
-
2014
- 2014-06-25 JP JP2014129902A patent/JP6471418B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016010021A (ja) | 2016-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6471418B2 (ja) | 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム | |
| CN109040636B (zh) | 音频再现方法和声音再现*** | |
| WO2018082284A1 (zh) | 3d全景音视频直播***及音视频采集方法 | |
| JP6012342B2 (ja) | 再生装置、再生装置の制御方法 | |
| US10998870B2 (en) | Information processing apparatus, information processing method, and program | |
| CN110447071B (zh) | 信息处理装置、信息处理方法和记录程序的可拆卸介质 | |
| JP7428763B2 (ja) | 情報取得システム | |
| US9979766B2 (en) | System and method for reproducing source information | |
| KR102054116B1 (ko) | 맞춤형 무대 영상 제공 시스템 | |
| CN114339302B (zh) | 导播方法、装置、设备以及计算机存储介质 | |
| KR102561371B1 (ko) | 디스플레이장치와, 기록매체 | |
| US9491447B2 (en) | System for providing complex-dimensional content service using complex 2D-3D content file, method for providing said service, and complex-dimensional content file therefor | |
| Maempel | The virtual concert hall—A research tool for the experimental investigation of audiovisual room perception | |
| US20230276189A1 (en) | Real-time sound field synthesis by modifying produced audio streams | |
| US11503226B2 (en) | Multi-camera device | |
| CN110198457B (zh) | 视频播放方法及其设备、***、存储介质、终端、服务器 | |
| JP2013187841A (ja) | 電子機器及び出力制御方法並びにプログラム | |
| JP6893117B2 (ja) | 音声・映像再生装置 | |
| JP2011234139A (ja) | ３次元音声信号生成装置 | |
| KR101740569B1 (ko) | 영상의 객체 크기 비율에 따른 입체 음향 서비스 제공방법 | |
| KR20140104121A (ko) | 복합 차원 콘텐츠 제공 시스템, 그 제공 방법 및 복합 차원 콘텐츠 파일 | |
| US11979732B2 (en) | Generating audio output signals | |
| WO2023281667A1 (ja) | メディア加工装置、メディア加工方法及びメディア加工プログラム | |
| TWI791314B (zh) | 視訊會議系統及其方法、感測裝置及介面產生方法 | |
| Batke et al. | Spatial audio processing for interactive TV services |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170607 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181023 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190107 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6471418 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |