JP6471418B2 - 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム - Google Patents
画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム Download PDFInfo
- Publication number
- JP6471418B2 JP6471418B2 JP2014129902A JP2014129902A JP6471418B2 JP 6471418 B2 JP6471418 B2 JP 6471418B2 JP 2014129902 A JP2014129902 A JP 2014129902A JP 2014129902 A JP2014129902 A JP 2014129902A JP 6471418 B2 JP6471418 B2 JP 6471418B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- image
- microphone
- voice
- designated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
図1は本発明の一実施形態にかかるシステムの構成例を示す図である。図1において、例えば、ライブ会場のステージ上等には、広視野カメラ1と複数のマイク21〜24が設けられ、広視野カメラ1の画像出力とマイク21〜24の音声出力は、サーバとして機能する情報処理装置3に入力されている。広視野カメラ1は、水平方向に視野を持つ6個のカメラ(11〜16)と、上方向に視野を持つ1個のカメラ(17)を備えており、広視野カメラ1の設置位置を中心としてほぼ360度の画像を撮影する。
図4は上記の実施形態における画像・音声の入力時の処理例を示すフローチャートであり、情報処理装置3の画像入力部31および音声入力部32の処理である。
S=C0×(C1・SM1+C2・SM2+C3・SM3+C4・SM4)
となる。
SL=C0L×(C1L・SM1+C2L・SM2+C3L・SM3+C4L・SM4)
SR=C0R×(C1R・SM1+C2R・SM2+C3R・SM3+C4R・SM4)
となる。
SL=C0L×(C1L・SM1L+C2L・SM1R+C3L・SM2L+C4L・SM2R
+C5L・SM3L+C6L・SM3R+C7L・SM4L+C8L・SM4R)
SR=C0R×(C1R・SM1L+C2R・SM1R+C3R・SM2L+C4R・SM2R
+C5R・SM3L+C6R・SM3R+C7R・SM4L+C8R・SM4R)
となる。
以上説明したように、本実施形態によれば、画像の方向と同期して音声もその方向から聞こえるものとなるため、画像と音声の両者に対して現場に居るようなリアリティーを再現することができる。
11〜17 カメラ
21〜24 マイク
3 情報処理装置
31 画像入力部
32 音声入力部
33 画像・音声保持部
34 画像・音声処理部
35 通信部
4 ネットワーク
5 情報処理装置
51 画像・音声再生アプリ
52 方向指定部
53 映像表示部
54 音声合成部
55 音声出力部
Claims (7)
- 上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラと、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクと、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段と、
前記マイクにより採取された音声から、前記指定された方向の音声を取得する音声処理手段と、
前記画像処理手段により取得された画像と前記音声処理手段より取得された音声とを前記端末装置に送信する送信手段と
を備え、
前記音声処理手段は、前記指定された方向が第1マイクの方向と第2マイクの方向との間である場合、前記指定された方向の音声として、前記第1マイクにより採取された音声に、前記第1マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第2マイクにより採取された音声に、前記第2マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第3マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得することを特徴とする画像・音声配信システム。 - 上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラと、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクと、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段と、
前記画像処理手段により取得された画像と前記マイクにより採取された音声とを前記端末装置に送信する送信手段と、
前記端末装置内で、受信した音声から、前記指定された方向の音声を取得する音声処理手段と
を備え、
前記音声処理手段は、前記指定された方向が第1マイクの方向と第2マイクの方向との間である場合、前記指定された方向の音声として、前記第1マイクにより採取された音声に、前記第1マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第2マイクにより採取された音声に、前記第2マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第3マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得することを特徴とする画像・音声配信システム。 - 請求項1または2のいずれか一項に記載の画像・音声配信システムにおいて、
前記音声処理手段は、前記マイクにより採取された複数の音声に対し、前記指定された方向に対応した係数を乗じて加算することで前記指定された方向に対応した音声を取得する
ことを特徴とする画像・音声配信システム。 - 上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラから画像を入力する画像入力手段と、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクから音声を入力する音声入力手段と、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段と、
前記マイクにより採取された音声から、前記指定された方向の音声を取得する音声処理手段と、
前記画像処理手段により取得された画像と前記音声処理手段より取得された音声とを前記端末装置に送信する送信手段と
を備え、
前記音声処理手段は、前記指定された方向が第1マイクの方向と第2マイクの方向との間である場合、前記指定された方向の音声として、前記第1マイクにより採取された音声に、前記第1マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第2マイクにより採取された音声に、前記第2マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第3マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得することを特徴とする画像・音声配信装置。 - 上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラから画像を入力する画像入力手段と、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクから音声を入力する音声入力手段と、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段と、
前記画像処理手段により取得された画像と前記マイクにより採取された音声とを前記端末装置に送信する送信手段と
を備え
前記端末装置内で、受信した音声から、前記指定された方向の音声を取得し、前記指定された方向が第1マイクの方向と第2マイクの方向との間である場合、前記指定された方向の音声として、前記第1マイクにより採取された音声に、前記第1マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第2マイクにより採取された音声に、前記第2マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第3マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得することを特徴とする画像・音声配信装置。 - コンピュータを、
上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラから画像を入力する画像入力手段、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクから音声を入力する音声入力手段、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段、
前記マイクにより採取された音声から、前記指定された方向の音声を取得する音声処理手段、
前記画像処理手段により取得された画像と前記音声処理手段より取得された音声とを前記端末装置に送信する送信手段
として機能させ、
前記音声処理手段は、前記指定された方向が第1マイクの方向と第2マイクの方向との間である場合、前記指定された方向の音声として、前記第1マイクにより採取された音声に、前記第1マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第2マイクにより採取された音声に、前記第2マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第3マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得する画像・音声配信プログラム。 - コンピュータを、
上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラから画像を入力する画像入力手段、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクから音声を入力する音声入力手段、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段、
前記画像処理手段により取得された画像と前記マイクにより採取された音声とを前記端末装置に送信する送信手段
として機能させ、
前記端末装置内で、受信した音声から、前記指定された方向の音声を取得し、前記指定された方向が第1マイクの方向と第2マイクの方向との間である場合、前記指定された方向の音声として、前記第1マイクにより採取された音声に、前記第1マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第2マイクにより採取された音声に、前記第2マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第3マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得する画像・音声配信プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014129902A JP6471418B2 (ja) | 2014-06-25 | 2014-06-25 | 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014129902A JP6471418B2 (ja) | 2014-06-25 | 2014-06-25 | 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016010021A JP2016010021A (ja) | 2016-01-18 |
JP6471418B2 true JP6471418B2 (ja) | 2019-02-20 |
Family
ID=55227310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014129902A Expired - Fee Related JP6471418B2 (ja) | 2014-06-25 | 2014-06-25 | 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6471418B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6711118B2 (ja) * | 2016-05-02 | 2020-06-17 | 株式会社リコー | 画像管理システム、プログラム及び情報端末 |
US11228754B2 (en) | 2016-05-06 | 2022-01-18 | Qualcomm Incorporated | Hybrid graphics and pixel domain architecture for 360 degree video |
US10419671B2 (en) | 2016-06-30 | 2019-09-17 | Optim Corporation | System, method, and program for displaying omnidirectional camera image |
JP6878974B2 (ja) * | 2017-03-16 | 2021-06-02 | 株式会社リコー | 撮像装置、撮像システム |
JP2018157314A (ja) * | 2017-03-16 | 2018-10-04 | 株式会社リコー | 情報処理システム、情報処理方法及びプログラム |
JP7337491B2 (ja) * | 2018-09-07 | 2023-09-04 | キヤノン株式会社 | 映像音声処理システムおよび映像音声処理システムの制御方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0955925A (ja) * | 1995-08-11 | 1997-02-25 | Nippon Telegr & Teleph Corp <Ntt> | 画像システム |
JP2000172982A (ja) * | 1998-12-09 | 2000-06-23 | Riosu Corp:Kk | 実写画像データを記憶する移動体用監視システム |
JP4928177B2 (ja) * | 2006-07-05 | 2012-05-09 | 日本放送協会 | 音像形成装置 |
JP2014045282A (ja) * | 2012-08-24 | 2014-03-13 | Nippon Hoso Kyokai <Nhk> | 残響付加装置、残響付加プログラム |
-
2014
- 2014-06-25 JP JP2014129902A patent/JP6471418B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016010021A (ja) | 2016-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6471418B2 (ja) | 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム | |
CN109040636B (zh) | 音频再现方法和声音再现*** | |
WO2018082284A1 (zh) | 3d全景音视频直播***及音视频采集方法 | |
JP6012342B2 (ja) | 再生装置、再生装置の制御方法 | |
US10998870B2 (en) | Information processing apparatus, information processing method, and program | |
CN110447071B (zh) | 信息处理装置、信息处理方法和记录程序的可拆卸介质 | |
JP7428763B2 (ja) | 情報取得システム | |
US9979766B2 (en) | System and method for reproducing source information | |
KR102054116B1 (ko) | 맞춤형 무대 영상 제공 시스템 | |
CN114339302B (zh) | 导播方法、装置、设备以及计算机存储介质 | |
KR102561371B1 (ko) | 디스플레이장치와, 기록매체 | |
US9491447B2 (en) | System for providing complex-dimensional content service using complex 2D-3D content file, method for providing said service, and complex-dimensional content file therefor | |
Maempel | The virtual concert hall—A research tool for the experimental investigation of audiovisual room perception | |
US20230276189A1 (en) | Real-time sound field synthesis by modifying produced audio streams | |
US11503226B2 (en) | Multi-camera device | |
CN110198457B (zh) | 视频播放方法及其设备、***、存储介质、终端、服务器 | |
JP2013187841A (ja) | 電子機器及び出力制御方法並びにプログラム | |
JP6893117B2 (ja) | 音声・映像再生装置 | |
JP2011234139A (ja) | 3次元音声信号生成装置 | |
KR101740569B1 (ko) | 영상의 객체 크기 비율에 따른 입체 음향 서비스 제공방법 | |
KR20140104121A (ko) | 복합 차원 콘텐츠 제공 시스템, 그 제공 방법 및 복합 차원 콘텐츠 파일 | |
US11979732B2 (en) | Generating audio output signals | |
WO2023281667A1 (ja) | メディア加工装置、メディア加工方法及びメディア加工プログラム | |
TWI791314B (zh) | 視訊會議系統及其方法、感測裝置及介面產生方法 | |
Batke et al. | Spatial audio processing for interactive TV services |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190107 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6471418 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |