JP2018064235A - 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム - Google Patents
表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム Download PDFInfo
- Publication number
- JP2018064235A JP2018064235A JP2016202672A JP2016202672A JP2018064235A JP 2018064235 A JP2018064235 A JP 2018064235A JP 2016202672 A JP2016202672 A JP 2016202672A JP 2016202672 A JP2016202672 A JP 2016202672A JP 2018064235 A JP2018064235 A JP 2018064235A
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured images
- boundary
- display
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009940 knitting Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Digital Computer Display Output (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
Abstract
【課題】全天球画像の編集作業における負荷を軽減することが可能な表示制御方法及び当該表示制御方法をコンピュータに実現させるためのプログラムを提供する。【解決手段】表示制御方法は、マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、複数の撮影画像間の位置関係を特定するステップと、複数の撮影画像の各々を歪ませるステップと、前記位置関係と、複数の歪んだ撮影画像とに基づいて、複数の撮影画像の各々において、全天球画像の一部を構成する画像表示領域と、全天球画像の一部を構成しない非表示領域とを特定するステップと、複数の撮影画像の画像表示領域に基づいて、全天球画像のプレビュー画像を生成するステップと、隣接する画像表示領域間の境界が可視化された状態でプレビュー画像を表示部に表示させるステップと、を含む。【選択図】図4
Description
本開示は、表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラムに関する。
特許文献1では、各々が被写体を部分的に示す複数の部分画像を合成することで1つの被写体画像を生成するスティッチング処理が開示されている。特に、特許文献1では、スティッチング処理によって生成された被写体画像における複数の画像領域の連結位置(境界線)を示す画像を当該被写体画像に合成する技術が開示されている。
ところで、全天球画像(360度画像ともいう。)を生成するためには様々な方法が考えられるが、その中の一つの方法として、全天球画像を撮影するためのマルチカメラシステムの複数のサブカメラによって取得された複数の撮影画像をスティッチング処理することで全天球画像を生成する方法が知られている。複数の撮影画像をスティッチング処理する際には、隣接した撮影画像間の境界において画像の歪みが発生してしまう。特に、主要な被写体(換言すれば、映像コンテンツにおいて視聴者が注目する被写体)が隣接した撮影画像間の境界に位置する場合、当該被写体が歪んで表示されてしまい、全天球画像の品質の低下を招来する。
本開示は、全天球画像の編集作業における負荷を軽減することが可能な表示制御方法及び当該表示制御方法をコンピュータに実現させるためのプログラムを提供することを目的とする。
本開示が示す一態様によれば、表示制御方法は、
a)マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、
b)前記複数の撮影画像間の位置関係を特定するステップと、
c)前記複数の撮影画像の各々を歪ませるステップと、
d)前記位置関係と、前記複数の歪んだ撮影画像とに基づいて、前記複数の撮影画像の各々において、前記全天球画像の一部を構成する画像表示領域と、前記全天球画像の一部を構成しない非表示領域とを特定するステップと、
e)前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像のプレビュー画像を生成するステップと、
f)隣接する画像表示領域間の境界が可視化された状態で前記プレビュー画像を表示部に表示させるステップと、
を含む。
a)マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、
b)前記複数の撮影画像間の位置関係を特定するステップと、
c)前記複数の撮影画像の各々を歪ませるステップと、
d)前記位置関係と、前記複数の歪んだ撮影画像とに基づいて、前記複数の撮影画像の各々において、前記全天球画像の一部を構成する画像表示領域と、前記全天球画像の一部を構成しない非表示領域とを特定するステップと、
e)前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像のプレビュー画像を生成するステップと、
f)隣接する画像表示領域間の境界が可視化された状態で前記プレビュー画像を表示部に表示させるステップと、
を含む。
本開示によれば、全天球画像の編集作業における負荷を軽減することが可能な表示制御方法及び当該表示制御方法をコンピュータに実現させるためのプログラムを提供することができる。
[本開示が示す実施形態の説明]
本開示が示す実施形態の概要を説明する。
(1)a)マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、
b)前記複数の撮影画像間の位置関係を特定するステップと、
c)前記複数の撮影画像の各々を歪ませるステップと、
d)前記位置関係と、前記複数の歪んだ撮影画像とに基づいて、前記複数の撮影画像の各々において、前記全天球画像の一部を構成する画像表示領域と、前記全天球画像の一部を構成しない非表示領域とを特定するステップと、
e)前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像のプレビュー画像を生成するステップと、
f)隣接する画像表示領域間の境界が可視化された状態で前記プレビュー画像を表示部に表示させるステップと、
を含む、表示制御方法。
本開示が示す実施形態の概要を説明する。
(1)a)マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、
b)前記複数の撮影画像間の位置関係を特定するステップと、
c)前記複数の撮影画像の各々を歪ませるステップと、
d)前記位置関係と、前記複数の歪んだ撮影画像とに基づいて、前記複数の撮影画像の各々において、前記全天球画像の一部を構成する画像表示領域と、前記全天球画像の一部を構成しない非表示領域とを特定するステップと、
e)前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像のプレビュー画像を生成するステップと、
f)隣接する画像表示領域間の境界が可視化された状態で前記プレビュー画像を表示部に表示させるステップと、
を含む、表示制御方法。
上記方法によれば、隣接する画像表示領域間の境界が可視化された状態で全天球画像のプレビュー画像が表示部に表示される。このように、全天球画像を編集するユーザは、全天球画像が生成される前に、全天球画像のプレビュー画像を見ることで、全天球画像において主要な被写体(換言すれば、映像コンテンツにおいて視聴者が注目する被写体)が歪んで表示されているかどうかを確認することができる。特に、ユーザは、主要な被写体が画像表示領域間の境界に位置しているかどうかをプレビュー画像によって確認することができる。ここで、主要な被写体が画像表示領域間の境界上に位置している場合、主要な被写体は全天球画像上において歪んで表示される可能性が高い。
例えば、ユーザは、主要な被写体が画像表示領域間の境界上に位置しないように、当該境界の位置を調整(つまり、画像表示領域を調整)することで、全天球画像において主要な被写体が歪んで表示される状況を防ぐことができる。
従って、全天球画像の編集作業における負荷を軽減することが可能な表示制御方法を提供することができる。
例えば、ユーザは、主要な被写体が画像表示領域間の境界上に位置しないように、当該境界の位置を調整(つまり、画像表示領域を調整)することで、全天球画像において主要な被写体が歪んで表示される状況を防ぐことができる。
従って、全天球画像の編集作業における負荷を軽減することが可能な表示制御方法を提供することができる。
(2)前記ステップ(f)は、
隣接する画像表示領域間の境界と、前記複数の歪んだ撮影画像の各々の外縁が可視化された状態で前記プレビュー画像を前記表示部に表示させるステップを含む、項目(1)に記載の表示制御方法。
隣接する画像表示領域間の境界と、前記複数の歪んだ撮影画像の各々の外縁が可視化された状態で前記プレビュー画像を前記表示部に表示させるステップを含む、項目(1)に記載の表示制御方法。
上記方法によれば、隣接する画像表示領域間の境界と、前記複数の歪んだ撮影画像の各々の外縁が可視化された状態でプレビュー画像が表示部に表示される。このように、各撮影画像の外縁が可視化されているので、ユーザは、当該外縁を見ることで、隣接する画像表示領域間の境界の位置をどの程度まで動かすことができるのかを瞬時に把握することができる。
(3)g)ユーザからの入力操作に従って、前記複数の撮影画像の画像表示領域を更新するステップと、
h)前記複数の更新された画像表示領域に基づいて、前記プレビュー画像を更新するステップと、
をさらに含む、項目(1)又は(2)に記載の表示制御方法。
h)前記複数の更新された画像表示領域に基づいて、前記プレビュー画像を更新するステップと、
をさらに含む、項目(1)又は(2)に記載の表示制御方法。
上記方法によれば、ユーザからの入力操作に従って、複数の撮影画像の画像表示領域が更新される。さらに、複数の更新された画像表示領域に基づいて、プレビュー画像が更新される。このように、主要な被写体が画像表示領域間の境界上に位置している場合、ユーザは、主要な被写体が当該境界上に位置しないように、画像表示領域を調整することができる。
(4)a)マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、
b)前記複数の撮影画像間の位置関係を特定するステップと、
c)前記複数の撮影画像の各々を歪ませるステップと、
d)前記位置関係と、前記複数の歪んだ撮影画像とに基づいて、前記複数の撮影画像の各々において、前記全天球画像の一部を構成する画像表示領域と、前記全天球画像の一部を構成しない非表示領域とを特定するステップと、
e)前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像のプレビュー画像を生成するステップと、
f)前記プレビュー画像に含まれる被写体を特定するステップと、
g)隣接する画像表示領域間の境界が前記被写体上に位置している場合には、前記境界が前記被写体上に位置しないように前記境界の位置を更新するステップと、
h)前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像を生成するステップと、
を含む、表示制御方法。
b)前記複数の撮影画像間の位置関係を特定するステップと、
c)前記複数の撮影画像の各々を歪ませるステップと、
d)前記位置関係と、前記複数の歪んだ撮影画像とに基づいて、前記複数の撮影画像の各々において、前記全天球画像の一部を構成する画像表示領域と、前記全天球画像の一部を構成しない非表示領域とを特定するステップと、
e)前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像のプレビュー画像を生成するステップと、
f)前記プレビュー画像に含まれる被写体を特定するステップと、
g)隣接する画像表示領域間の境界が前記被写体上に位置している場合には、前記境界が前記被写体上に位置しないように前記境界の位置を更新するステップと、
h)前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像を生成するステップと、
を含む、表示制御方法。
上記方法によれば、例えば被写体が人間である場合に、所定の顔認証技術等を適用することでプレビュー画像中の被写体(人間)が特定され、画像表示領域間の境界が当該特定された被写体上に位置しないように当該境界の位置が更新される。このように、全天球画像において被写体が歪んで表示される状況が自動的にコンピュータにより防止されるので、全天球画像の編集作業における負荷を軽減することが可能な表示制御方法を提供することができる。
(5)項目(1)から(4)のうちいずれか一項に記載の表示制御方法をコンピュータに実行させるためのプログラム。
上記によれば、全天球画像の編集作業における負荷を軽減することが可能なプログラムを提供することができる。
[本開示が示す実施形態の詳細]
以下、本開示が示す実施形態について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。
以下、本開示が示す実施形態について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。
図1及び図2を参照してマルチカメラシステム1について以下に説明する。図1は、複数のサブカメラ2a〜2gを備えたマルチカメラシステム1を示す概要図(上面図)である。図2は、マルチカメラシステム1と全天球画像編集装置3(以下、単に編集装置3という。)を示すブロック図である。図1に示すように、マルチカメラシステム1は、複数のサブカメラ2a〜2gと、ホルダ40とを備えている。各サブカメラ2a〜2gは、ホルダ40によって所定の位置に固定されている。尚、図1ではサブカメラ2gが図示されていないが、サブカメラ2gは、サブカメラ2fの真下に配置されている。サブカメラ2fは、マルチカメラシステム1の上方の空間を撮像するように構成されている一方、サブカメラ2gは、マルチカメラシステム1の下方の空間を撮像するように構成されている。以降では説明の便宜上、サブカメラ2a〜2gを単にサブカメラ2と総称する場合がある。
サブカメラ2a〜2gの視野(撮像領域)は、水平方向(紙面に平行な方向)及び垂直方向(紙面に垂直な方向)におけるマルチカメラシステム1の全周囲(360度)の領域をカバーしている。また、隣接したサブカメラ2の視野の一部が互いに重複している。図1に示すように、例えば、サブカメラ2bの視野の一部とサブカメラ2aに隣接したサブカメラ2cの視野の一部が互いに重複している。このため、サブカメラ2bによって撮像された撮影画像中の一部の撮影領域とサブカメラ2aによって撮影された撮影画像の一部の領域が互いに重複している。サブカメラ2a〜2gによって撮像された複数の撮影画像を歪ませて、当該歪んだ複数の撮影画像をスティッチング処理することで、全天球画像(360度画像)が生成される。このように、サブカメラ2a〜2gによって撮像された撮影画像の各々は、全天球画像の一部を構成しており、マルチカメラシステム1を用いることで全天球画像を生成することができる。尚、本実施形態において、撮影画像とは、静止画像と動画像の両方を含む。
図2に示すように、マルチカメラシステム1は、有線又は無線により編集装置3に通信可能に接続されてもよい。特に、各サブカメラ2は、有線又は無線により編集装置3に通信可能に接続されてもよい。例えば、マルチカメラシステム1は、各サブカメラ2によって撮像された撮影画像(撮影画像データ)を編集装置3に送信してもよい。特に、各サブカメラ2は、無線又は有線により撮影画像を編集装置3に送信してもよい。また、各サブカメラ2が通信ネットワーク4(図3参照)を介して撮影画像を所定のサーバにアップロードした後に、編集装置3が所定のサーバに格納された撮影画像を通信ネットワーク4からダウンロードしてもよい。さらに、操作者は、各サブカメラ2に保存された撮影画像を記憶媒体(例えば、USBメモリ等)に記録してもよい。この場合、当該記憶媒体が編集装置3に通信可能に接続されることで、当該記憶媒体に記録された複数の撮影画像が編集装置3により取得される。
次に、図3を参照して編集装置3のハードウェア構成について説明する。図3は、編集装置3(コンピュータ)のハードウェア構成を示す図である。図3に示すように、編集装置3は、制御部31と、記憶部32と、I/O(入出力)インターフェース33と、入力操作部34と、表示部35と、通信インターフェース36と、バス37とを備える。制御部31と、記憶部32と、I/Oインターフェース33と、通信インターフェース36は、バス37により互いに通信可能に接続されている。編集装置3は、パーソナルコンピュータ、タブレット又はウェアラブルデバイスとして構成されてもよい。
制御部31は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたROM(Read Only Memory)やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するRAM(Random Access Memory)等から構成される。プロセッサは、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)及び/又はGPU(Graphics Processing Unit)であって、ROMに組み込まれた各種プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されている。
特に、プロセッサが本実施形態に係る表示制御方法をコンピュータに実行させるための表示制御プログラム(後述する)をRAM上に展開し、RAMとの協働で表示制御プログラムを実行することで、制御部31は、編集装置3の各種動作を制御してもよい。制御部31は、メモリや記憶部32に格納された表示制御プログラムを実行することで、表示部35に全天球画像のプレビュー画像10,10A,1B(図8から10参照)を表示してもよい。
記憶部(ストレージ)32は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、USBフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。例えば、記憶部32は、表示制御プログラムや各サブカメラ2によって撮像された複数の撮影画像を格納してもよい。さらに、記憶部32には、各種データを管理するためのテーブル(例えば、図5に示すテーブル60)を含むデータベースが構築されてもよい。
I/Oインターフェース33は、入力操作部34と表示部35をそれぞれ制御部31に通信可能に接続するように構成されており、例えば、USB(Universal Serial Bus)端子、DVI(Digital Visual Interface)端子、HDMI(登録商標)(High―Definition Multimedia Interface)端子等により構成されている。サブカメラ2によって撮像された撮像画像(撮像画像データ)は、I/Oインターフェース33を介して制御部31に送信されてもよい。
入力操作部34は、編集装置3を操作する操作者Pの入力操作を受付けると共に、当該入力操作に対応する操作信号を生成するように構成されている。入力操作部34は、例えば、表示部35上に重ねて配置されたタッチパネル、マウス又はキーボード等である。入力操作部34によって生成された操作信号は、バス37を介して制御部31に送信された後、制御部31は、操作信号に応じて所定の処理を実行する。表示部35は、液晶ディスプレイ、有機ELディスプレイ等である。例えば、プレビュー画像10,10A,10Bが表示部35に表示される。
通信インターフェース36は、編集装置3をLAN(Local Area Network)、WAN(Wide Area Network)又はインターネット等の通信ネットワーク4に接続させるように構成されている。通信インターフェース36は、通信ネットワーク4を介してネットワーク上の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク4を介して通信するための通信規格に適合するように構成されている。また、サブカメラ2によって撮像された撮像画像は、通信インターフェース36を介して制御部31に送信されてもよい。
次に、図4を参照して本実施形態に係る表示制御方法について以下に説明する。図4は、本実施形態に係る表示制御方法を説明するためのフローチャートである。最初に、図4に示すように、制御部31は、複数のサブカメラ2によって撮像された複数の撮影画像を取得する(ステップS10)。各撮影画像は、全天球画像の一部を構成する。既に述べたように、制御部31は、各サブカメラ2から撮影画像を受信してもよいし、通信ネットワーク4上の所定のサーバから複数の撮影画像をダウンロードしてもよい。さらに、制御部31は、編集装置3に接続された記憶媒体(USBメモリ等)から複数の撮影画像を取得してもよい。尚、以降の説明では、サブカメラ2a〜2gによって撮像された撮影画像をそれぞれ撮影画像M1〜M7という。ここで、サブカメラ2aによって撮像された撮影画像は、撮影画像M1であると共に、サブカメラ2gによって撮像された撮影画像は、撮影画像M7である。また、説明の便宜上、撮影画像M1〜M7を単に撮影画像Mという場合がある。
次に、ステップS11において、制御部31は、複数の撮影画像M間の位置関係を特定する。以下に、ステップS11の処理の一例について図5及び図6を参照して説明する。図5は、複数のカメラIDと複数の画像表示位置との間の対応関係を示すテーブル60を示す図である。図6は、複数の撮影画像M間の対応関係を説明するための図である。図5に示すように、テーブル60は、複数のカメラID(X1〜X7)と複数の画像表示位置P1〜P7との間の対応関係を示す。複数のカメラIDの各々は、複数のサブカメラ2a〜2gのうちの対応する一つを識別するためのカメラ識別情報として機能する。複数の画像表示位置P1〜P7の各々は、編集装置3の表示部35の表示画面上で撮影画像Mが配置される位置を示す(図6参照)。ここで、サブカメラ2a〜2gのカメラIDは、それぞれX1〜X7に相当する。例えば、テーブル60から、カメラIDのX4は画像表示位置P4に対応するので、サブカメラ2dにより撮像された撮影画像M4は、図6に示す画像表示位置P4に配置される。また、カメラIDのX6は画像表示位置P6に対応するので、サブカメラfにより撮像された撮影画像M6は、図6に示す画像表示位置P6に配置される。このように、制御部31は、テーブル60を参照することで、撮影画像M1〜M7の各々を複数の画像表示位置P1〜P7のうちの対応する一つに関連付ける。テーブル60は、記憶部32に保存されていてもよい。特に、テーブル60は、撮影者又はその補助者(撮影者等)の入力操作に従って生成された上で、記憶部32に保存されてもよい。
次に、制御部31は、撮影画像M1〜M7の各々を歪ませる(ステップS12)。全天球画像を生成するために、制御部31は、撮影画像M4を図6に示すように歪ませる。さらに、制御部31は、撮影画像M1,M2,M3,M5を図6に示す撮影画像M4と同様の態様で歪ませる。また、制御部31は、撮影画像M6を図6に示すように歪ませる。さらに、制御部31は、撮影画像M7を図6に示す撮影画像M6と同様の態様で歪ませる。図6に示す歪んだ撮影画像M4,M6の外形は一例である点に留意されたい。
次に、ステップS13において、制御部31は、歪んだ撮影画像M1〜M7の各々において、全天球画像の一部を構成する画像表示領域と、全天球画像の一部を構成しない非表示領域とを特定する。特に、制御部31は、テーブル60と、複数の歪んだ撮影画像M1〜M7とに基づいて、画像表示領域と非表示領域とを特定する。特に、制御部31は、テーブル60に基づいて、歪んだ撮影画像M1〜M7の各々を複数の画像表示位置P1〜P7のうちの関連する一つに配置する。ここで、図1に示すように、隣接したサブカメラ2の視野(撮像領域)の一部が互いに重複するため、隣接した2つの撮影画像のうち一方の撮影画像の撮影領域の一部と、他方の撮影画像の撮影領域の一部が互いに重複する。このため、制御部31は、撮影画像M1〜M7の各々の特徴点を抽出した上で、当該抽出した特徴点に基づいて、隣接した撮影画像Mにおいて撮像領域が互いに重複する領域である重複領域を特定する。その後、制御部31は、特定された重複領域に基づいて、歪んだ撮影画像M1〜M7の各々の画像表示領域と非表示領域を特定する。
例えば、図7に示すように、制御部31は、撮影画像M3,M5の特徴点を抽出した上で、当該抽出した特徴点に基づいて、互いに隣接した撮影画像M3,M5において撮像領域が互いに重複する重複領域Kを特定する。図中に示すように、符号R5は、撮影画像M5の画像表示領域を示す。符号N5は、撮影画像M5の非表示領域を示す。符号D5は、撮影画像M5の外縁を示す。また、符号R3は、撮影画像M3の画像表示領域を示す。符号D3は、撮影画像M3の外縁を示す。符号N3は、撮影画像M3の非表示領域を示す。符号B1は、撮影画像M5の画像表示領域R5と撮影画像M3の画像表示領域R3との間の境界を示す。また、図9に示すように、符号B2は、撮影画像M5の画像表示領域R5と撮影画像M6の画像表示領域R6との間の境界を示す。
次に、制御部31は、複数の撮影画像M1〜M7の画像表示領域R1〜R7(図9参照)に基づいて、全天球画像のプレビュー画像10(図8参照)を生成する(ステップS14)。その後、制御部31は、生成されたプレビュー画像10を表示部35に表示させる(ステップS15)。ここで、全天球画像のプレビュー画像とは、全天球画像を編集する編集者が視認可能なように2次元平面として表示される全天球画像である。つまり、編集者は、ヘッドマウントデバイス(Head Mounted Device:HMD)を装着せずに、プレビュー画像を見ることで全天球画像を編集することが可能となる。また、以降の説明では、画像表示領域R1〜R7を単に画像表示領域Rという場合がある。さらに、隣接する画像表示領域R間の境界を単に境界Bという場合がある。
ステップS15において、制御部31は、隣接する画像表示領域R間の境界Bが可視化された状態で全天球画像のプレビュー画像を表示部35に表示してもよい。この点において、図9に示すように、制御部31は、隣接する画像表示領域R間の境界Bが可視化されたプレビュー画像10Aを表示部35に表示させてもよい。具体的には、編集者が入力操作部34を用いて所定の操作を実行したときに、制御部31は、当該所定の操作に対応する操作信号に基づいて、プレビュー画像10(図8参照)をプレビュー画像10Aに変更してもよい。ここで、所定の操作とは、例えば、表示部35上に表示されたプレビュー画像の表示を切り替えるための切替表示ボタン(図示せず)の操作等である。
また、ステップS15において、制御部31は、隣接する画像表示領域R間の境界Bと複数の歪んだ撮影画像M1〜M7の外縁D1〜D7が可視化された状態で全天球画像のプレビュー画像を表示部35に表示させてもよい。この点において、制御部31は、図10に示すように、隣接する画像表示領域R間の境界Bと外縁D1〜D7が可視化されたプレビュー画像10Bを表示部35に表示させてもよい。具体的には、編集者が入力操作部34を用いて所定の操作(切替表示ボタンの操作等)を実行したときに、制御部31は、当該所定の操作に対応する操作信号に基づいて、プレビュー画像10又はプレビュー画像10Aをプレビュー画像10Bに変更してもよい。
次に、制御部31は、複数の撮影画像M1〜M7の画像表示領域R1〜R7に基づいて全天球画像を生成する(ステップS16)。当該生成された全天球画像(360度画像)とHMDの位置と傾きに基づいて、全天球画像の一部の画像である視野画像がHMDの表示部(図示せず)に表示される。
次に、制御部31は、編集者(ユーザ)が画像表示領域R間の境界Bを変更するための所定の操作を実行したかどうかを判定する(ステップS17)。例えば、編集者は、入力操作部34を用いて所定の境界Bを指定した上で、当該所定の境界Bに対してドラッグ・アンド・ドロップ操作を実行することで、当該所定の境界B(境界Bの位置や形状)を変更することができる。
隣接する2つの画像表示領域R間の境界Bの調整について図11を参照して説明する。図11(a)の上段は、編集者による境界B1に対する入力操作が実行される前の画像表示領域R5と画像表示領域R3を示す図である。図11(a)の下段は、編集者による境界B1に対する入力操作が実行される前の画像表示領域R5を示す図である。図11(b)の上段は、編集者による境界B1に対する入力操作が実行された後の画像表示領域R5と画像表示領域R3を示す図である。図11(b)の下段は、編集者による境界B1に対する入力操作が実行された後の画像表示領域R5を示す図である。
図11(a)に示すように、編集者による境界B1に対する入力操作が実行される前では、主要な被写体S(換言すれば、映像コンテンツにおいて視聴者が注目する被写体S)が境界B1上に表示されてしまう。この場合、全天球画像において被写体Sが歪んで表示されてしまい、全天球画像の品質の低下を招来する蓋然性が高い。
この状態において、編集者が入力操作部34を用いて境界B1を指定した上で、境界B1に対してドラッグ・アンド・ドロップ操作を実行すると、制御部31は、編集者が境界B1を変更するための所定の操作を実行したと判定する(ステップS17でYES)。その後、制御部31は、当該操作に対応する操作信号に基づいて、図11(b)に示すように、撮影画像M5の画像表示領域R5と非表示領域N5を変更すると共に、撮影画像M3の画像表示領域R3と非表示領域N3を変更する(ステップS18)。このように、制御部31は、画像表示領域R5と画像表示領域R3との間の境界B1の位置と形状を変更する。その後、制御部31は、更新された画像表示領域R3,R5に基づいて、全天球画像のプレビュー画像を更新する(ステップS19)。この結果、境界B1が被写体S上に位置しないため、全天球画像において被写体Sが歪んで表示される状況を防ぐことが可能となる。さらに、編集者は、更新されたプレビュー画像を見ることで、被写体Sが境界B1上に表示されていないかどうかを確認することができる。
このように、制御部31は、編集者が所定の境界Bを変更するための所定の操作を実行したと判定すると(ステップS17でYES)、所定の操作に従って、所定の境界Bを規定する隣接する2つの画像表示領域R(及び隣接する2つの非表示領域N)を更新する(ステップS18)。その後、制御部31は、更新された画像表示領域Rに基づいて、全天球画像のプレビュー画像を更新する(ステップS19)。その後、制御部31は、更新された画像表示領域Rに基づいて、全天球画像を更新する(ステップS20)。その後、編集者が全天球画像の編集作業を終了する場合(ステップS21でYES)、一連の処理が終了する。一方、編集者が全天球画像の編集作業を終了しない場合(ステップS21でNO)、処理はステップS17に戻る。
このように、本実施形態によれば、隣接した画像表示領域R間の境界Bが可視化された状態で全天球画像のプレビュー画像10A(又は10B)が表示される。このように、全天球画像を編集する編集者は、全天球画像が生成される前に、全天球画像のプレビュー画像を見ることで、全天球画像において主要な被写体Sが歪んで表示されているかどうかを確認することができる。特に、編集者は、主要な被写体Sが画像表示領域R間の境界Bに位置しているかどうかをプレビュー画像によって確認することができる。ここで、主要な被写体Sが画像表示領域R間の境界B上に位置している場合、主要な被写体Sは全天球画像上において歪んで表示される蓋然性が高い。
例えば、編集者は、主要な被写体Sが画像表示領域R間の境界B上に位置しないように、境界Bの位置を調整(つまり、画像表示領域Rを調整)することで、全天球画像において主要な被写体Sが歪んで表示される状況を防ぐことができる。従って、全天球画像の編者作業における負荷を軽減することが可能な表示制御方法を提供することができる。
また、本実施形態によれば、隣接する画像表示領域R間の境界Bと、歪んだ撮影画像M1〜M7の外縁D1〜D7が可視化されたプレビュー画像10Bが表示部35に表示される。このように、外縁D1〜D7が可視化されるので、編集者は、外縁D1〜D7を見ることで、隣接する画像表示領域R間の境界Bの位置をどの程度まで移動させることができるのかを瞬時に把握することができる。
また、本実施形態によれば、編集者からの入力操作に従って、複数の撮影領域Mの画像表示領域Rが更新される。さらに、複数の更新された画像表示領域Rに基づいて、プレビュー画像が更新される。このように、主要な被写体Sが画像表示領域R間の境界B上に位置している場合、編集者は、主要な被写体Sが境界B上に位置しないように、画像表示領域Rを調整することができる。
尚、本実施形態では、編集者からの入力操作に従って、制御部31は、境界Bが被写体S上に位置しないように境界Bの位置を更新しているが、本実施形態はこれには限定されない。例えば、被写体Sが人間である場合、制御部31は、所定の顔認証技術等を適用することでプレビュー画像中の被写体S(人間)を特定してもよい。この後、制御部31は、隣接する画像表示領域R間の境界Bが特定された被写体S上に位置しているかどうかを自動的に判定する。ここで、制御部31は、境界Bが被写体S上に位置していると判定した場合、境界Bが被写体S上に位置しないように境界Bの位置を更新してもよい。その後、制御部31は、複数の撮影画像M1〜M7の画像表示領域R1〜R7に基づいて、全天球画像を生成する。このように、全天球画像において被写体Sが歪んで表示される状況が自動的にコンピュータ(制御部31)により防止されるので、全天球画像の編集作業における負荷を軽減することが可能な表示制御方法を提供することができる。
制御部31によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る表示制御方法をコンピュータ(プロセッサ)に実行させるための表示制御プログラムが記憶部32又はROMに予め組み込まれていてもよい。または、表示制御プログラムは、磁気ディスク(HDD、フロッピーディスク)、光ディスク(CD−ROM,DVD−ROM、Blu−rayディスク等)、光磁気ディスク(MO等)、フラッシュメモリ(SDカード、USBメモリ、SSD等)等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が編集装置3に接続されることで、当該記憶媒体に格納された表示制御プログラムが、記憶部32に組み込まれる。そして、記憶部32に組み込まれた表示制御プログラムがRAM上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部31は本実施形態に係る表示制御方法を実行する。
また、表示制御プログラムは、通信ネットワーク4上のコンピュータから通信インターフェース36を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部32に組み込まれる。
以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。
本実施形態では、マルチカメラシステム1は、複数のサブカメラ2a〜2gとホルダ40によって構成されているが、マルチカメラシステム1は、複数のサブカメラ2a〜2gと、ホルダ40と、複数のサブカメラ2a〜2gを制御するためのサブカメラ制御部を備えてもよい。この場合、複数のサブカメラ2によって撮像された複数の撮影画像Mは、サブカメラ制御部を介して編集装置3に送信されてもよい。また、本実施形態において、サブカメラ2の台数は7つであるが、サブカメラ2の台数は特に限定されない。
1:マルチカメラシステム
2,2a〜2g:サブカメラ
3:編集装置(全天球画像編集装置)
4:通信ネットワーク
10,10A,10B:プレビュー画像
31:制御部
32:記憶部(ストレージ)
33:I/Oインターフェース
34:入力操作部
35:表示部
36:通信インターフェース
37:バス
40:ホルダ
60:テーブル
2,2a〜2g:サブカメラ
3:編集装置(全天球画像編集装置)
4:通信ネットワーク
10,10A,10B:プレビュー画像
31:制御部
32:記憶部(ストレージ)
33:I/Oインターフェース
34:入力操作部
35:表示部
36:通信インターフェース
37:バス
40:ホルダ
60:テーブル
Claims (5)
- a)マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、
b)前記複数の撮影画像間の位置関係を特定するステップと、
c)前記複数の撮影画像の各々を歪ませるステップと、
d)前記位置関係と、前記複数の歪んだ撮影画像とに基づいて、前記複数の撮影画像の各々において、前記全天球画像の一部を構成する画像表示領域と、前記全天球画像の一部を構成しない非表示領域とを特定するステップと、
e)前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像のプレビュー画像を生成するステップと、
f)隣接する画像表示領域間の境界が可視化された状態で前記プレビュー画像を表示部に表示させるステップと、
を含む、表示制御方法。 - 前記ステップ(f)は、
隣接する画像表示領域間の境界と、前記複数の歪んだ撮影画像の各々の外縁が可視化された状態で前記プレビュー画像を前記表示部に表示させるステップを含む、請求項1に記載の表示制御方法。 - g)ユーザからの入力操作に従って、前記複数の撮影画像の画像表示領域を更新するステップと、
h)前記複数の更新された画像表示領域に基づいて、前記プレビュー画像を更新するステップと、
をさらに含む、請求項1又は2に記載の表示制御方法。 - a)マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、
b)前記複数の撮影画像間の位置関係を特定するステップと、
c)前記複数の撮影画像の各々を歪ませるステップと、
d)前記位置関係と、前記複数の歪んだ撮影画像とに基づいて、前記複数の撮影画像の各々において、前記全天球画像の一部を構成する画像表示領域と、前記全天球画像の一部を構成しない非表示領域とを特定するステップと、
e)前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像のプレビュー画像を生成するステップと、
f)前記プレビュー画像に含まれる被写体を特定するステップと、
g)隣接する画像表示領域間の境界が前記被写体上に位置している場合には、前記境界が前記被写体上に位置しないように前記境界の位置を更新するステップと、
h)前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像を生成するステップと、
を含む、表示制御方法。 - 請求項1から4のうちいずれか一項に記載の表示制御方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016202672A JP6235094B1 (ja) | 2016-10-14 | 2016-10-14 | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016202672A JP6235094B1 (ja) | 2016-10-14 | 2016-10-14 | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017204822A Division JP2018063714A (ja) | 2017-10-23 | 2017-10-23 | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6235094B1 JP6235094B1 (ja) | 2017-11-22 |
JP2018064235A true JP2018064235A (ja) | 2018-04-19 |
Family
ID=60417571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016202672A Active JP6235094B1 (ja) | 2016-10-14 | 2016-10-14 | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6235094B1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7363068B2 (ja) * | 2019-03-20 | 2023-10-18 | 株式会社リコー | 3次元情報取得システム |
JP7346947B2 (ja) * | 2019-07-05 | 2023-09-20 | 株式会社リコー | 全天球撮像装置、画像処理装置及び画像処理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011211556A (ja) * | 2010-03-30 | 2011-10-20 | Nippon Telegr & Teleph Corp <Ntt> | 画像生成装置、画像生成方法、及びプログラム |
JP2016146543A (ja) * | 2015-02-06 | 2016-08-12 | パナソニックIpマネジメント株式会社 | 画像処理装置、撮像装置および画像処理方法 |
-
2016
- 2016-10-14 JP JP2016202672A patent/JP6235094B1/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011211556A (ja) * | 2010-03-30 | 2011-10-20 | Nippon Telegr & Teleph Corp <Ntt> | 画像生成装置、画像生成方法、及びプログラム |
JP2016146543A (ja) * | 2015-02-06 | 2016-08-12 | パナソニックIpマネジメント株式会社 | 画像処理装置、撮像装置および画像処理方法 |
Non-Patent Citations (2)
Title |
---|
360度VRパノラマ制作パーフェクトガイド, vol. 第1版, JPN6017036800, 1 January 2012 (2012-01-01), pages 142 - 145, ISSN: 0003648512 * |
INTERFACE, vol. 第41巻,第8号, JPN6017019634, 1 August 2015 (2015-08-01), pages 126 - 134, ISSN: 0003568096 * |
Also Published As
Publication number | Publication date |
---|---|
JP6235094B1 (ja) | 2017-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6167703B2 (ja) | 表示制御装置、プログラム及び記録媒体 | |
JP6446766B2 (ja) | プログラム、表示制御装置、記録媒体及び表示制御システム | |
US9906762B2 (en) | Communication apparatus, method of controlling communication apparatus, non-transitory computer-readable storage medium | |
US10074216B2 (en) | Information processing to display information based on position of the real object in the image | |
US7720258B1 (en) | Structured comparison of objects from similar images | |
US11301966B2 (en) | Per-pixel filter | |
US9554060B2 (en) | Zoom images with panoramic image capture | |
US10832460B2 (en) | Method and apparatus for generating image by using multi-sticker | |
JP6544996B2 (ja) | 制御装置及び制御方法 | |
WO2020042494A1 (zh) | Vr场景截图方法、设备及存储介质 | |
JP6686547B2 (ja) | 画像処理システム、プログラム、画像処理方法 | |
JP6235094B1 (ja) | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム | |
JP2013016973A (ja) | 画像処理装置および画像処理方法 | |
JP6617547B2 (ja) | 画像管理システム、画像管理方法、プログラム | |
JP2018005091A (ja) | 表示制御プログラム、表示制御方法および表示制御装置 | |
JP2018063714A (ja) | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム | |
JP6333914B2 (ja) | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム | |
JP6306822B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP5887297B2 (ja) | 画像処理装置および画像処理プログラム | |
US10109091B2 (en) | Image display apparatus, image display method, and storage medium | |
JP2018164259A (ja) | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム | |
JP2014085716A (ja) | 画像編集処理装置およびコンピュータプログラム | |
JP7369600B2 (ja) | ユーザー端末、制御方法及びコンピュータープログラム | |
JP5055462B2 (ja) | 画像処理装置,画像処理方法及び撮像装置 | |
JP2018041201A (ja) | 表示制御プログラム、表示制御方法および情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171025 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6235094 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |