JP2017201743A - 画像管理システム、画像管理装置、プログラム及び情報端末 - Google Patents
画像管理システム、画像管理装置、プログラム及び情報端末 Download PDFInfo
- Publication number
- JP2017201743A JP2017201743A JP2016092674A JP2016092674A JP2017201743A JP 2017201743 A JP2017201743 A JP 2017201743A JP 2016092674 A JP2016092674 A JP 2016092674A JP 2016092674 A JP2016092674 A JP 2016092674A JP 2017201743 A JP2017201743 A JP 2017201743A
- Authority
- JP
- Japan
- Prior art keywords
- image
- omnidirectional image
- imaging device
- audio data
- omnidirectional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
[第1の実施形態]
<用語について>
視点とは閲覧者の視線が注がれる場所を言う。本実施形態では、全方位画像の全体のうち閲覧者がディスプレイに表示させた一部の画像を便宜的に視点という場合がある。この一部の画像を所定領域画像という。全方位画像における所定領域画像を特定するための情報を所定領域情報という。
ここでは図1〜図7を用いて、周囲360°の全方位を撮像可能な撮像装置について説明する。図1は撮像装置1の外観を説明する図の一例である。図1(a)は撮像装置1の左側面図であり、図1(b)は撮像装置1の正面図であり、図1(c)は撮像装置1の平面図である。
所定領域画像のアスペクト比で対角線と下辺のなす角βが分かるので、所定領域画像の各コーナーの座標も算出できる。例えば、左上コーナーのx座標はx−Lcosβ、y座標はy+Lsinβである。
図8は、画像管理システム200の概略構成図の一例である。画像管理システム200は、通信ネットワーク9を介して接続された撮像装置1、通信端末3、画像管理装置5及び情報端末7を有している。撮像装置1は撮影者Xにより操作される。情報端末7は閲覧者Yにより操作される。
次に、図9〜図11を用いて、本実施形態の撮像装置1、通信端末3,画像管理装置5及び情報端末7のハードウェア構成を説明する。
図9は、撮像装置1のハードウェア構成図の一例である。以下では、撮像装置1は、2つの撮像素子を使用した全方位撮像装置とするが、3つ以上の撮像素子を使用した全方位撮像装置としてもよい。また、撮像装置1は必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置1と同じ機能を有するようにしてもよい。
次に、図10を用いて、通信端末3のハードウェア構成を説明する。図10は、無線通信機能を有したクレードルの場合の通信端末3のハードウェア構成図である。
図11を用いて、画像管理装置5及び情報端末7のハードウェア構成例を説明する。図11は画像管理装置5及び情報端末7のハードウェア構成図である。図11は、情報端末7がノートPCの場合を示している。なお、画像管理装置5及び情報端末7は、ともにコンピュータである。そこで、以下では、画像管理装置5の構成について説明する。情報端末7の構成は画像管理装置5と同様であるとし、相違があるとしても本実施形態の説明に関し、支障がないものとする。
ここでは、本実施形態の画像管理システム200の一部を構成する、撮像装置1、通信端末3、画像管理装置5、及び情報端末7の各機能ブロックについて説明する。
図12は撮像装置の一例の機能ブロック図である。撮像装置1は、受付部12、撮像部13、集音部14、接続部15、記憶・読出部19、記憶部1000を有している。記憶部1000には撮像装置1用のプログラム及び各種データが記憶されている。
図13は通信端末の一例の機能ブロック図である。通信端末3は、送受信部31、受付部32、接続部33、記憶・読出部39及び記憶部3000を有している。送受信部31は無線ルータ9a及び通信ネットワーク9を介して、画像管理装置5と各種データの送受信を行う。
図14は画像管理装置の一例の機能ブロック図である。図14の画像管理装置5は、送受信部51、人物検出部52、サムネイル作成部53、画面作成部54、音声付加部55及び記憶・読出部59を有している。
図15は情報端末の一例の機能ブロック図である。情報端末7は、送受信部71、受付部72、表示制御部73、表示部74、音声再生部75、記憶・読出部79及び記憶部7000を有している。記憶部7000は各種データを記憶する。
図16は画像管理装置にアクセスした情報端末に表示される画面の一例について説明する図である。図16(a)は図3(c)のメルカトル画像であり、全方位画像の全体を表している。情報端末7は全方位画像の表示領域が表示された図16(b)に示す表示画面を表示する。このように、情報端末7には全方位画像の一部分である表示領域が画面に表示されることになる。
[第2の実施形態]
第1の実施形態は、表示している全方位画像の表示領域に対応する音声を選択して再生していた。第2の実施形態は、より大きい音量で録音されている音声データの方向に、全方位画像の表示領域を自動的に切り替えるものである。
[第3の実施形態]
第3の実施形態は、全方位画像の表示領域の中心と、図18の対応表により音声データと対応付けられている全方位画像の座標(画像位置)との距離により、再生する音声の音量を制御するものである。
[第4の実施形態]
第1〜第3の実施形態は、複数方向の音声から一つの方向の音声を選択して再生するものである。第4の実施形態は、閲覧者Yの周りに複数の音声再生部を配置し、複数の方向の音声を複数の音声再生部(例えばスピーカ)に割り当てて再生するものである。
本実施形態では、全方位画像(静止画、動画)に対し、録音に使用したマイクの指向性を考慮した全方位画像上の座標に音声データを対応付けることができる。このように本実施形態では、全方位画像(静止画、動画)と、音声を方向ごとに録音できるマイクにより録音した音声データとを、全方位画像上の座標で対応付けておくことで、閲覧している表示領域に応じた音声を出力できる。
3 通信端末
5 画像管理装置
7 情報端末
9 通信ネットワーク
9a 無線ルータ
13 撮像部
14 集音部
54 画面作成部
55 音声付加部
73 表示制御部
74 表示部
75 音声再生部
200 画像管理システム
1000 記憶部
Claims (12)
- 撮像装置が撮像した全方位画像を管理する画像管理装置と、前記全方位画像の表示領域を表示する情報端末と、を有する画像管理システムであって、
前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データを、前記撮像装置で撮像される全方位画像上の位置と対応付ける対応付け手段と、
前記情報端末において前記全方位画像上の表示領域を表示する表示手段と、
前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データのうち、表示する前記全方位画像上の表示領域と、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき、前記音声データを選択して再生する音声再生手段と
を有する画像管理システム。 - 前記音声再生手段は、前記全方位画像上の表示領域が動かされた場合、移動後の前記全方位画像上の表示領域と、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき選択した前記音声データに切り替えて再生すること
を特徴とする請求項1記載の画像管理システム。 - 前記音声再生手段は、前記全方位画像上の表示領域の拡大縮小により、再生する前記音声データの音量を制御すること
を特徴とする請求項1又は2記載の画像管理システム。 - 前記表示手段は、前記複数方向からの音声データのうち、最も大きい音量で録音されている前記音声データと対応付けられた前記全方位画像上の位置が表示されるように、前記全方位画像上の表示領域を切り替えること
を特徴とする請求項1乃至3何れか一項記載の画像管理システム。 - 前記表示手段は、最も大きい音量で録音されている前記音声データと対応付けられた前記全方位画像上の位置が表示されるように、前記全方位画像上の表示領域を切り替える機能を設定によりオン/オフできること
を特徴とする請求項4記載の画像管理システム。 - 前記音声再生手段は、前記全方位画像上の表示領域の中心の座標と、再生する前記音声データと対応付けられた前記全方位画像上の位置の座標との距離により、再生する前記音声データの音量を制御すること
を特徴とする請求項1乃至3何れか一項記載の画像管理システム。 - 前記音声再生手段は、前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データのうち、表示する前記全方位画像上の表示領域と、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき、ユーザの前方から再生する前記音声データを選択し、該選択した前記音声データを基準として前記ユーザの前方以外から再生する前記音声データを選択すること
を特徴とする請求項1乃至6何れか一項記載の画像管理システム。 - 前記全方位画像を撮像すると共に、前記全方位画像の撮像時に前記複数方向からの音声データを録音する前記撮像装置、を更に有すること
を特徴とする請求項1乃至7何れか一項記載の画像管理システム。 - 撮像装置が撮像した全方位画像を管理する画像管理装置であって、
前記撮像装置が撮像した全方位画像と、前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データとを、受信する受信手段と、
前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データを、前記撮像装置で撮像される全方位画像上の位置と対応付ける対応付け手段と、
前記撮像装置が撮像した全方位画像と、前記全方位画像上の位置と対応付けられた前記複数方向からの音声データとを、前記全方位画像の表示を行う情報端末に送信する送信手段と
を有する画像管理装置。 - 撮像装置が撮像した全方位画像を管理する画像管理装置を、
前記撮像装置が撮像した全方位画像と、前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データとを、受信する受信手段、
前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データを、前記撮像装置で撮像される全方位画像上の位置と対応付ける対応付け手段、
前記撮像装置が撮像した全方位画像と、前記全方位画像上の位置と対応付けられた前記複数方向からの音声データとを、前記全方位画像の表示を行う情報端末に送信する送信手段
として機能させるためのプログラム。 - 撮像装置が撮像した全方位画像の表示領域を表示する情報端末であって、
前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データを、前記撮像装置で撮像される全方位画像上の位置と対応付ける対応付け手段と、
前記全方位画像上の表示領域を表示する表示手段と、
前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データのうち、表示する前記全方位画像上の表示領域と、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき、前記音声データを選択して再生する音声再生手段と
を有する情報端末。 - 撮像装置が撮像した全方位画像の表示領域を表示する情報端末を、
前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データを、前記撮像装置で撮像される全方位画像上の位置と対応付ける対応付け手段、
前記全方位画像上の表示領域を表示する表示手段、
前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データのうち、表示する前記全方位画像上の表示領域と、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき、前記音声データを選択して再生する音声再生手段
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016092674A JP6711118B2 (ja) | 2016-05-02 | 2016-05-02 | 画像管理システム、プログラム及び情報端末 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016092674A JP6711118B2 (ja) | 2016-05-02 | 2016-05-02 | 画像管理システム、プログラム及び情報端末 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017201743A true JP2017201743A (ja) | 2017-11-09 |
JP6711118B2 JP6711118B2 (ja) | 2020-06-17 |
Family
ID=60264706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016092674A Active JP6711118B2 (ja) | 2016-05-02 | 2016-05-02 | 画像管理システム、プログラム及び情報端末 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6711118B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021508193A (ja) * | 2017-12-22 | 2021-02-25 | ノキア テクノロジーズ オーユー | キャプチャされた空間オーディオコンテンツの提示用の装置および関連する方法 |
JP2022007824A (ja) * | 2020-06-25 | 2022-01-13 | 蔵人 小方 | デジタルカメラ撮像環境の前後左右及び上下六方向音をピント合わせ操作段階から音源情報蓄積を開始し、シャッター動作で定められた時間内環境音響を映像と共に、sdメモリーにレジストするデジタルカメラ。 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0955925A (ja) * | 1995-08-11 | 1997-02-25 | Nippon Telegr & Teleph Corp <Ntt> | 画像システム |
JP2005094713A (ja) * | 2003-09-19 | 2005-04-07 | Ricoh Co Ltd | データ表示システム、データ表示方法、プログラムおよび記録媒体 |
JP2012119803A (ja) * | 2010-11-30 | 2012-06-21 | Canon Inc | 超広角映像の記録及び再生装置 |
US20120206565A1 (en) * | 2011-02-10 | 2012-08-16 | Jason Villmer | Omni-directional camera and related viewing software |
JP2013106170A (ja) * | 2011-11-14 | 2013-05-30 | Sony Corp | 画像処理装置、画像処理装置の制御方法およびプログラム |
JP2013250838A (ja) * | 2012-06-01 | 2013-12-12 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
JP2014143678A (ja) * | 2012-12-27 | 2014-08-07 | Panasonic Corp | 音声処理システム及び音声処理方法 |
US20160005435A1 (en) * | 2014-07-03 | 2016-01-07 | Gopro, Inc. | Automatic generation of video and directional audio from spherical content |
JP2016010021A (ja) * | 2014-06-25 | 2016-01-18 | 株式会社リコー | 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム |
-
2016
- 2016-05-02 JP JP2016092674A patent/JP6711118B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0955925A (ja) * | 1995-08-11 | 1997-02-25 | Nippon Telegr & Teleph Corp <Ntt> | 画像システム |
JP2005094713A (ja) * | 2003-09-19 | 2005-04-07 | Ricoh Co Ltd | データ表示システム、データ表示方法、プログラムおよび記録媒体 |
JP2012119803A (ja) * | 2010-11-30 | 2012-06-21 | Canon Inc | 超広角映像の記録及び再生装置 |
US20120206565A1 (en) * | 2011-02-10 | 2012-08-16 | Jason Villmer | Omni-directional camera and related viewing software |
JP2013106170A (ja) * | 2011-11-14 | 2013-05-30 | Sony Corp | 画像処理装置、画像処理装置の制御方法およびプログラム |
JP2013250838A (ja) * | 2012-06-01 | 2013-12-12 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
JP2014143678A (ja) * | 2012-12-27 | 2014-08-07 | Panasonic Corp | 音声処理システム及び音声処理方法 |
JP2016010021A (ja) * | 2014-06-25 | 2016-01-18 | 株式会社リコー | 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム |
US20160005435A1 (en) * | 2014-07-03 | 2016-01-07 | Gopro, Inc. | Automatic generation of video and directional audio from spherical content |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021508193A (ja) * | 2017-12-22 | 2021-02-25 | ノキア テクノロジーズ オーユー | キャプチャされた空間オーディオコンテンツの提示用の装置および関連する方法 |
US11223925B2 (en) | 2017-12-22 | 2022-01-11 | Nokia Technologies Oy | Apparatus and associated methods for presentation of captured spatial audio content |
JP7037654B2 (ja) | 2017-12-22 | 2022-03-16 | ノキア テクノロジーズ オーユー | キャプチャされた空間オーディオコンテンツの提示用の装置および関連する方法 |
JP2022007824A (ja) * | 2020-06-25 | 2022-01-13 | 蔵人 小方 | デジタルカメラ撮像環境の前後左右及び上下六方向音をピント合わせ操作段階から音源情報蓄積を開始し、シャッター動作で定められた時間内環境音響を映像と共に、sdメモリーにレジストするデジタルカメラ。 |
Also Published As
Publication number | Publication date |
---|---|
JP6711118B2 (ja) | 2020-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6756269B2 (ja) | 通信端末、画像通信システム、通信方法、及びプログラム | |
JP7322940B2 (ja) | 画像通信システム、画像通信端末、画像通信方法、プログラム、及び記録媒体 | |
US10721116B2 (en) | Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium | |
US10778865B2 (en) | Image processing apparatus, image processing system, and image processing method | |
JP6075066B2 (ja) | 画像管理システム、画像管理方法、及びプログラム | |
JP7420126B2 (ja) | システム、管理システム、画像管理方法、及びプログラム | |
JP2021039468A (ja) | 撮影装置、通信システム、通信方法およびプログラム | |
US20220070412A1 (en) | Communication terminal, image communication system, method of displaying image, and recording medium | |
JP6816465B2 (ja) | 画像表示システム、通信システム、画像表示方法、及びプログラム | |
JP2017212510A (ja) | 画像管理装置、プログラム、画像管理システム及び情報端末 | |
US10147160B2 (en) | Image management apparatus and system, and method for controlling display of captured image | |
JP2018036760A (ja) | 画像管理システム、画像管理方法、及びプログラム | |
JP6711118B2 (ja) | 画像管理システム、プログラム及び情報端末 | |
JP7017045B2 (ja) | 通信端末、表示方法、及びプログラム | |
JP2018026642A (ja) | 画像管理システム、画像通信システム、画像管理方法、及びプログラム | |
JP6586819B2 (ja) | 画像管理システム、画像通信システム、画像管理方法、及びプログラム | |
JP2017162014A (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP7205323B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP6992338B2 (ja) | 通信システム、通信管理方法、プログラム、システム及び通信方法 | |
JP7354733B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP6816403B2 (ja) | 画像管理システム、画像通信システム、画像管理方法、及びプログラム | |
JP2020162118A (ja) | 撮影装置、撮影システム、画像処理方法、及びプログラム | |
JP2018050123A (ja) | 画像表示システム、画像表示方法、及びプログラム | |
JP2017037423A (ja) | 画像管理システム、画像管理方法、画像通信システム及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200428 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200511 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6711118 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |