JP6235094B1 - Display control method and program for causing a computer to execute the display control method - Google Patents

Display control method and program for causing a computer to execute the display control method Download PDF

Info

Publication number
JP6235094B1
JP6235094B1 JP2016202672A JP2016202672A JP6235094B1 JP 6235094 B1 JP6235094 B1 JP 6235094B1 JP 2016202672 A JP2016202672 A JP 2016202672A JP 2016202672 A JP2016202672 A JP 2016202672A JP 6235094 B1 JP6235094 B1 JP 6235094B1
Authority
JP
Japan
Prior art keywords
image
captured images
captured
boundary
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016202672A
Other languages
Japanese (ja)
Other versions
JP2018064235A (en
Inventor
典弘 久保
典弘 久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2016202672A priority Critical patent/JP6235094B1/en
Application granted granted Critical
Publication of JP6235094B1 publication Critical patent/JP6235094B1/en
Publication of JP2018064235A publication Critical patent/JP2018064235A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Digital Computer Display Output (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】全天球画像の編集作業における負荷を軽減することが可能な表示制御方法及び当該表示制御方法をコンピュータに実現させるためのプログラムを提供する。【解決手段】表示制御方法は、マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、複数の撮影画像間の位置関係を特定するステップと、複数の撮影画像の各々を歪ませるステップと、前記位置関係と、複数の歪んだ撮影画像とに基づいて、複数の撮影画像の各々において、全天球画像の一部を構成する画像表示領域と、全天球画像の一部を構成しない非表示領域とを特定するステップと、複数の撮影画像の画像表示領域に基づいて、全天球画像のプレビュー画像を生成するステップと、隣接する画像表示領域間の境界が可視化された状態でプレビュー画像を表示部に表示させるステップと、を含む。【選択図】図４The present invention provides a display control method capable of reducing the load in editing an omnidirectional image and a program for causing a computer to realize the display control method. A display control method includes a step of acquiring a plurality of captured images each captured by a plurality of sub-cameras constituting a multi-camera system, each of which forms a part of an omnidirectional image; An omnidirectional sphere in each of the plurality of captured images based on the step of specifying the positional relationship between the images, the step of distorting each of the plurality of captured images, and the positional relationship and the plurality of distorted captured images. A step of identifying an image display area that constitutes a part of the image and a non-display area that does not constitute a part of the omnidirectional image, and a preview of the omnidirectional image based on the image display areas of a plurality of captured images Generating an image, and displaying a preview image on the display unit in a state in which a boundary between adjacent image display areas is visualized. [Selection] Figure 4

Description

本開示は、表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラムに関する。   The present disclosure relates to a display control method and a program for causing a computer to execute the display control method.

特許文献１では、各々が被写体を部分的に示す複数の部分画像を合成することで１つの被写体画像を生成するスティッチング処理が開示されている。特に、特許文献１では、スティッチング処理によって生成された被写体画像における複数の画像領域の連結位置（境界線）を示す画像を当該被写体画像に合成する技術が開示されている。   Patent Document 1 discloses a stitching process in which one subject image is generated by combining a plurality of partial images each partially representing a subject. In particular, Patent Document 1 discloses a technique for combining an image showing a connection position (boundary line) of a plurality of image areas in a subject image generated by stitching processing with the subject image.

特開２０１３−２０４７５号公報JP 2013-20475 A

ところで、全天球画像（３６０度画像ともいう。）を生成するためには様々な方法が考えられるが、その中の一つの方法として、全天球画像を撮影するためのマルチカメラシステムの複数のサブカメラによって取得された複数の撮影画像をスティッチング処理することで全天球画像を生成する方法が知られている。複数の撮影画像をスティッチング処理する際には、隣接した撮影画像間の境界において画像の歪みが発生してしまう。特に、主要な被写体（換言すれば、映像コンテンツにおいて視聴者が注目する被写体）が隣接した撮影画像間の境界に位置する場合、当該被写体が歪んで表示されてしまい、全天球画像の品質の低下を招来する。   By the way, various methods are conceivable for generating an omnidirectional image (also referred to as a 360-degree image). One of the methods is a plurality of multi-camera systems for capturing an omnidirectional image. There is known a method of generating an omnidirectional image by performing a stitching process on a plurality of captured images acquired by the sub-camera. When stitching a plurality of captured images, image distortion occurs at the boundary between adjacent captured images. In particular, when the main subject (in other words, the subject that the viewer pays attention to in the video content) is located at the boundary between adjacent captured images, the subject is displayed distorted, and the quality of the omnidirectional image is reduced. Incurs a decline.

本開示は、全天球画像の編集作業における負荷を軽減することが可能な表示制御方法及び当該表示制御方法をコンピュータに実現させるためのプログラムを提供することを目的とする。   It is an object of the present disclosure to provide a display control method capable of reducing a load in editing an omnidirectional image and a program for causing a computer to realize the display control method.

本開示が示す一態様によれば、表示制御方法は、
ａ）マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、
ｂ）前記複数の撮影画像間の位置関係を特定するステップと、
ｃ）前記複数の撮影画像の各々を歪ませるステップと、
ｄ）前記位置関係と、前記複数の歪んだ撮影画像とに基づいて、前記複数の撮影画像の各々において、前記全天球画像の一部を構成する画像表示領域と、前記全天球画像の一部を構成しない非表示領域とを特定するステップと、
ｅ）前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像のプレビュー画像を生成するステップと、
ｆ）隣接する画像表示領域間の境界が可視化された状態で前記プレビュー画像を表示部に表示させるステップと、
を含む。 According to one aspect of the present disclosure, the display control method includes:
a) acquiring a plurality of captured images captured by a plurality of sub-cameras constituting a multi-camera system, each of which forms a part of an omnidirectional image;
b) identifying a positional relationship between the plurality of captured images;
c) distorting each of the plurality of captured images;
d) Based on the positional relationship and the plurality of distorted captured images, in each of the plurality of captured images, an image display area constituting a part of the omnidirectional image, and the omnidirectional image Identifying a non-display area that does not constitute a part;
e) generating a preview image of the omnidirectional image based on an image display area of the plurality of captured images;
f) displaying the preview image on a display unit in a state where a boundary between adjacent image display areas is visualized;
including.

本開示によれば、全天球画像の編集作業における負荷を軽減することが可能な表示制御方法及び当該表示制御方法をコンピュータに実現させるためのプログラムを提供することができる。   According to the present disclosure, it is possible to provide a display control method capable of reducing the load in the editing operation of the omnidirectional image and a program for causing a computer to realize the display control method.

複数のサブカメラを備えたマルチカメラシステムを示す概要図である。It is a schematic diagram which shows the multi camera system provided with the some sub camera. マルチカメラシステムと全天球画像編集装置を示すブロック図である。It is a block diagram which shows a multicamera system and a spherical image editing apparatus. 全天球画像編集装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of a spherical image editing apparatus. 本発明の実施形態（以下、単に本実施形態という。）に係る表示制御方法を説明するためのフローチャートである。It is a flowchart for demonstrating the display control method which concerns on embodiment (henceforth this embodiment only) of this invention. 複数のカメラＩＤと複数の画像表示位置との間の対応関係を示すテーブルを示す図である。It is a figure which shows the table which shows the correspondence between several camera ID and several image display position. 複数の撮影画像間の位置関係を説明するための図である。It is a figure for demonstrating the positional relationship between several picked-up images. 撮影画像の画像表示領域、非表示領域及び隣接する２つの画像表示領域間の境界のそれぞれを説明するための図である（本図では、隣接する２つの撮影画像が示されている）。It is a figure for demonstrating each of the boundary between the image display area of a picked-up image, a non-display area | region, and two adjacent image display areas (this figure shows two adjacent picked-up images). 表示部に表示された全天球画像のプレビュー画像（各画像表示領域間の境界と各撮影画像の外縁は非可視化）の一例を示す図である。It is a figure which shows an example of the preview image of the celestial sphere image displayed on the display part (The boundary between each image display area and the outer edge of each captured image are made invisible). 各画像表示領域間の境界が可視化されたプレビュー画像の一例を示す図である。It is a figure which shows an example of the preview image in which the boundary between each image display area was visualized. 各画像表示領域間の境界と各撮影画像の外縁が可視化されたプレビュー画像の一例を示す図である。It is a figure which shows an example of the preview image by which the boundary between each image display area and the outer edge of each picked-up image were visualized. 隣接する２つの画像表示領域間の境界の調整を説明するための図である。（ａ）は、編集者による境界に対する入力操作が実行される前の２つの画像表示領域を示す図である。（ｂ）は、編集者による境界に対する入力操作が実行された後の２つの画像表示領域を示す図である。It is a figure for demonstrating the adjustment of the boundary between two adjacent image display areas. (A) is a figure which shows two image display areas before input operation with respect to the boundary by an editor is performed. (B) is a figure which shows two image display areas after input operation with respect to the boundary by an editor was performed.

［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）ａ）マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、
ｂ）前記複数の撮影画像間の位置関係を特定するステップと、
ｃ）前記複数の撮影画像の各々を歪ませるステップと、
ｄ）前記位置関係と、前記複数の歪んだ撮影画像とに基づいて、前記複数の撮影画像の各々において、前記全天球画像の一部を構成する画像表示領域と、前記全天球画像の一部を構成しない非表示領域とを特定するステップと、
ｅ）前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像のプレビュー画像を生成するステップと、
ｆ）隣接する画像表示領域間の境界が可視化された状態で前記プレビュー画像を表示部に表示させるステップと、
を含む、表示制御方法。 [Description of Embodiments Presented by the Present Disclosure]
An overview of an embodiment indicated by the present disclosure will be described.
(1) a) acquiring a plurality of captured images that are captured by a plurality of sub-cameras constituting a multi-camera system, each of which forms a part of an omnidirectional image;
b) identifying a positional relationship between the plurality of captured images;
c) distorting each of the plurality of captured images;
d) Based on the positional relationship and the plurality of distorted captured images, in each of the plurality of captured images, an image display area constituting a part of the omnidirectional image, and the omnidirectional image Identifying a non-display area that does not constitute a part;
e) generating a preview image of the omnidirectional image based on an image display area of the plurality of captured images;
f) displaying the preview image on a display unit in a state where a boundary between adjacent image display areas is visualized;
Including a display control method.

上記方法によれば、隣接する画像表示領域間の境界が可視化された状態で全天球画像のプレビュー画像が表示部に表示される。このように、全天球画像を編集するユーザは、全天球画像が生成される前に、全天球画像のプレビュー画像を見ることで、全天球画像において主要な被写体（換言すれば、映像コンテンツにおいて視聴者が注目する被写体）が歪んで表示されているかどうかを確認することができる。特に、ユーザは、主要な被写体が画像表示領域間の境界に位置しているかどうかをプレビュー画像によって確認することができる。ここで、主要な被写体が画像表示領域間の境界上に位置している場合、主要な被写体は全天球画像上において歪んで表示される可能性が高い。
例えば、ユーザは、主要な被写体が画像表示領域間の境界上に位置しないように、当該境界の位置を調整（つまり、画像表示領域を調整）することで、全天球画像において主要な被写体が歪んで表示される状況を防ぐことができる。
従って、全天球画像の編集作業における負荷を軽減することが可能な表示制御方法を提供することができる。 According to the above method, the preview image of the omnidirectional image is displayed on the display unit in a state where the boundary between the adjacent image display areas is visualized. In this way, the user who edits the omnidirectional image looks at the preview image of the omnidirectional image before the omnidirectional image is generated, so that the main subject (in other words, It is possible to confirm whether or not (subject to be watched by the viewer) is displayed distorted in the video content. In particular, the user can confirm from the preview image whether the main subject is located at the boundary between the image display areas. Here, when the main subject is located on the boundary between the image display areas, the main subject is likely to be displayed distorted on the omnidirectional image.
For example, the user adjusts the position of the boundary so that the main subject is not located on the boundary between the image display areas (that is, adjusts the image display area), so that the main subject in the omnidirectional image is It is possible to prevent a situation where the image is displayed in a distorted manner.
Therefore, it is possible to provide a display control method capable of reducing the load in the editing operation of the omnidirectional image.

（２）前記ステップ（ｆ）は、
隣接する画像表示領域間の境界と、前記複数の歪んだ撮影画像の各々の外縁が可視化された状態で前記プレビュー画像を前記表示部に表示させるステップを含む、項目（１）に記載の表示制御方法。 (2) The step (f)
The display control according to item (1), including a step of displaying the preview image on the display unit in a state where a boundary between adjacent image display regions and an outer edge of each of the plurality of distorted captured images are visualized. Method.

上記方法によれば、隣接する画像表示領域間の境界と、前記複数の歪んだ撮影画像の各々の外縁が可視化された状態でプレビュー画像が表示部に表示される。このように、各撮影画像の外縁が可視化されているので、ユーザは、当該外縁を見ることで、隣接する画像表示領域間の境界の位置をどの程度まで動かすことができるのかを瞬時に把握することができる。   According to the above method, the preview image is displayed on the display unit in a state where the boundary between the adjacent image display areas and the outer edges of each of the plurality of distorted captured images are visualized. Thus, since the outer edge of each captured image is visualized, the user can instantly grasp how far the position of the boundary between adjacent image display areas can be moved by looking at the outer edge. be able to.

（３）ｇ）ユーザからの入力操作に従って、前記複数の撮影画像の画像表示領域を更新するステップと、
ｈ）前記複数の更新された画像表示領域に基づいて、前記プレビュー画像を更新するステップと、
をさらに含む、項目（１）又は（２）に記載の表示制御方法。 (3) g) updating image display areas of the plurality of photographed images according to an input operation from a user;
h) updating the preview image based on the plurality of updated image display areas;
The display control method according to item (1) or (2), further including:

上記方法によれば、ユーザからの入力操作に従って、複数の撮影画像の画像表示領域が更新される。さらに、複数の更新された画像表示領域に基づいて、プレビュー画像が更新される。このように、主要な被写体が画像表示領域間の境界上に位置している場合、ユーザは、主要な被写体が当該境界上に位置しないように、画像表示領域を調整することができる。   According to the above method, the image display areas of the plurality of captured images are updated according to the input operation from the user. Further, the preview image is updated based on the plurality of updated image display areas. As described above, when the main subject is located on the boundary between the image display regions, the user can adjust the image display region so that the main subject is not located on the boundary.

（４）ａ）マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、
ｂ）前記複数の撮影画像間の位置関係を特定するステップと、
ｃ）前記複数の撮影画像の各々を歪ませるステップと、
ｄ）前記位置関係と、前記複数の歪んだ撮影画像とに基づいて、前記複数の撮影画像の各々において、前記全天球画像の一部を構成する画像表示領域と、前記全天球画像の一部を構成しない非表示領域とを特定するステップと、
ｅ）前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像のプレビュー画像を生成するステップと、
ｆ）前記プレビュー画像に含まれる被写体を特定するステップと、
ｇ）隣接する画像表示領域間の境界が前記被写体上に位置している場合には、前記境界が前記被写体上に位置しないように前記境界の位置を更新するステップと、
ｈ）前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像を生成するステップと、
を含む、表示制御方法。 (4) a) acquiring a plurality of captured images each captured by a plurality of sub-cameras constituting the multi-camera system and each constituting a part of the omnidirectional image;
b) identifying a positional relationship between the plurality of captured images;
c) distorting each of the plurality of captured images;
d) Based on the positional relationship and the plurality of distorted captured images, in each of the plurality of captured images, an image display area constituting a part of the omnidirectional image, and the omnidirectional image Identifying a non-display area that does not constitute a part;
e) generating a preview image of the omnidirectional image based on an image display area of the plurality of captured images;
f) identifying a subject included in the preview image;
g) updating a position of the boundary so that the boundary is not positioned on the subject when a boundary between adjacent image display areas is positioned on the subject;
h) generating the omnidirectional image based on image display areas of the plurality of captured images;
Including a display control method.

上記方法によれば、例えば被写体が人間である場合に、所定の顔認証技術等を適用することでプレビュー画像中の被写体（人間）が特定され、画像表示領域間の境界が当該特定された被写体上に位置しないように当該境界の位置が更新される。このように、全天球画像において被写体が歪んで表示される状況が自動的にコンピュータにより防止されるので、全天球画像の編集作業における負荷を軽減することが可能な表示制御方法を提供することができる。   According to the above method, for example, when the subject is a human, the subject (human) in the preview image is specified by applying a predetermined face authentication technique or the like, and the boundary between the image display areas is the specified subject. The position of the boundary is updated so as not to be positioned above. In this way, since the computer automatically prevents the situation in which the subject is distorted and displayed in the omnidirectional image, a display control method capable of reducing the load in editing the omnidirectional image is provided. be able to.

（５）項目（１）から（４）のうちいずれか一項に記載の表示制御方法をコンピュータに実行させるためのプログラム。   (5) A program for causing a computer to execute the display control method according to any one of items (1) to (4).

上記によれば、全天球画像の編集作業における負荷を軽減することが可能なプログラムを提供することができる。   Based on the above, it is possible to provide a program capable of reducing the load in editing the omnidirectional image.

［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。 [Details of Embodiments Presented by the Present Disclosure]
Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. In addition, about the member which has the same reference number as the member already demonstrated in description of this embodiment, the description is not repeated for convenience of explanation.

図１及び図２を参照してマルチカメラシステム１について以下に説明する。図１は、複数のサブカメラ２ａ〜２ｇを備えたマルチカメラシステム１を示す概要図（上面図）である。図２は、マルチカメラシステム１と全天球画像編集装置３（以下、単に編集装置３という。）を示すブロック図である。図１に示すように、マルチカメラシステム１は、複数のサブカメラ２ａ〜２ｇと、ホルダ４０とを備えている。各サブカメラ２ａ〜２ｇは、ホルダ４０によって所定の位置に固定されている。尚、図１ではサブカメラ２ｇが図示されていないが、サブカメラ２ｇは、サブカメラ２ｆの真下に配置されている。サブカメラ２ｆは、マルチカメラシステム１の上方の空間を撮像するように構成されている一方、サブカメラ２ｇは、マルチカメラシステム１の下方の空間を撮像するように構成されている。以降では説明の便宜上、サブカメラ２ａ〜２ｇを単にサブカメラ２と総称する場合がある。   The multi-camera system 1 will be described below with reference to FIGS. 1 and 2. FIG. 1 is a schematic diagram (top view) showing a multi-camera system 1 including a plurality of sub-cameras 2a to 2g. FIG. 2 is a block diagram showing the multi-camera system 1 and the omnidirectional image editing device 3 (hereinafter simply referred to as the editing device 3). As shown in FIG. 1, the multi-camera system 1 includes a plurality of sub cameras 2 a to 2 g and a holder 40. Each of the sub cameras 2a to 2g is fixed at a predetermined position by a holder 40. Although the sub camera 2g is not shown in FIG. 1, the sub camera 2g is disposed directly below the sub camera 2f. The sub camera 2 f is configured to image the space above the multi camera system 1, while the sub camera 2 g is configured to image the space below the multi camera system 1. Hereinafter, for convenience of explanation, the sub cameras 2 a to 2 g may be simply referred to as the sub camera 2.

サブカメラ２ａ〜２ｇの視野（撮像領域）は、水平方向（紙面に平行な方向）及び垂直方向（紙面に垂直な方向）におけるマルチカメラシステム１の全周囲（３６０度）の領域をカバーしている。また、隣接したサブカメラ２の視野の一部が互いに重複している。図１に示すように、例えば、サブカメラ２ｂの視野の一部とサブカメラ２ａに隣接したサブカメラ２ｃの視野の一部が互いに重複している。このため、サブカメラ２ｂによって撮像された撮影画像中の一部の撮影領域とサブカメラ２ａによって撮影された撮影画像の一部の領域が互いに重複している。サブカメラ２ａ〜２ｇによって撮像された複数の撮影画像を歪ませて、当該歪んだ複数の撮影画像をスティッチング処理することで、全天球画像（３６０度画像）が生成される。このように、サブカメラ２ａ〜２ｇによって撮像された撮影画像の各々は、全天球画像の一部を構成しており、マルチカメラシステム１を用いることで全天球画像を生成することができる。尚、本実施形態において、撮影画像とは、静止画像と動画像の両方を含む。   The field of view (imaging area) of the sub-cameras 2a to 2g covers the entire circumference (360 degrees) of the multi-camera system 1 in the horizontal direction (direction parallel to the paper surface) and the vertical direction (direction perpendicular to the paper surface). Yes. Moreover, a part of the visual field of the adjacent sub camera 2 overlaps each other. As shown in FIG. 1, for example, a part of the visual field of the sub camera 2b and a part of the visual field of the sub camera 2c adjacent to the sub camera 2a overlap each other. For this reason, a part of the photographing region in the photographed image taken by the sub camera 2b and a part of the photographed image photographed by the sub camera 2a overlap each other. A plurality of captured images captured by the sub-cameras 2a to 2g are distorted, and stitching processing is performed on the plurality of distorted captured images, thereby generating an omnidirectional image (360-degree image). In this way, each of the captured images captured by the sub cameras 2a to 2g constitutes a part of the omnidirectional image, and the omnidirectional image can be generated by using the multi-camera system 1. . In the present embodiment, the captured image includes both a still image and a moving image.

図２に示すように、マルチカメラシステム１は、有線又は無線により編集装置３に通信可能に接続されてもよい。特に、各サブカメラ２は、有線又は無線により編集装置３に通信可能に接続されてもよい。例えば、マルチカメラシステム１は、各サブカメラ２によって撮像された撮影画像（撮影画像データ）を編集装置３に送信してもよい。特に、各サブカメラ２は、無線又は有線により撮影画像を編集装置３に送信してもよい。また、各サブカメラ２が通信ネットワーク４（図３参照）を介して撮影画像を所定のサーバにアップロードした後に、編集装置３が所定のサーバに格納された撮影画像を通信ネットワーク４からダウンロードしてもよい。さらに、操作者は、各サブカメラ２に保存された撮影画像を記憶媒体（例えば、ＵＳＢメモリ等）に記録してもよい。この場合、当該記憶媒体が編集装置３に通信可能に接続されることで、当該記憶媒体に記録された複数の撮影画像が編集装置３により取得される。   As shown in FIG. 2, the multi-camera system 1 may be communicably connected to the editing device 3 by wire or wireless. In particular, each sub camera 2 may be communicably connected to the editing device 3 by wire or wireless. For example, the multi-camera system 1 may transmit a captured image (captured image data) captured by each sub camera 2 to the editing device 3. In particular, each sub camera 2 may transmit a captured image to the editing device 3 wirelessly or by wire. In addition, after each sub camera 2 uploads a captured image to a predetermined server via the communication network 4 (see FIG. 3), the editing device 3 downloads the captured image stored in the predetermined server from the communication network 4. Also good. Further, the operator may record the captured image stored in each sub camera 2 in a storage medium (for example, a USB memory). In this case, the storage device is communicably connected to the editing device 3 so that a plurality of captured images recorded on the storage medium are acquired by the editing device 3.

次に、図３を参照して編集装置３のハードウェア構成について説明する。図３は、編集装置３（コンピュータ）のハードウェア構成を示す図である。図３に示すように、編集装置３は、制御部３１と、記憶部３２と、Ｉ／Ｏ（入出力）インターフェース３３と、入力操作部３４と、表示部３５と、通信インターフェース３６と、バス３７とを備える。制御部３１と、記憶部３２と、Ｉ／Ｏインターフェース３３と、通信インターフェース３６は、バス３７により互いに通信可能に接続されている。編集装置３は、パーソナルコンピュータ、タブレット又はウェアラブルデバイスとして構成されてもよい。   Next, the hardware configuration of the editing apparatus 3 will be described with reference to FIG. FIG. 3 is a diagram illustrating a hardware configuration of the editing apparatus 3 (computer). As shown in FIG. 3, the editing apparatus 3 includes a control unit 31, a storage unit 32, an I / O (input / output) interface 33, an input operation unit 34, a display unit 35, a communication interface 36, a bus 37. The control unit 31, the storage unit 32, the I / O interface 33, and the communication interface 36 are communicably connected to each other via a bus 37. The editing apparatus 3 may be configured as a personal computer, a tablet, or a wearable device.

制御部３１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び／又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。   The control unit 31 includes a memory and a processor. The memory includes, for example, a ROM (Read Only Memory) in which various programs are stored, a RAM (Random Access Memory) having a plurality of work areas in which various programs executed by the processor are stored, and the like. The processor is, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), and / or a GPU (Graphics Processing Unit), and a program specified from various programs embedded in the ROM is expanded on the RAM. It is comprised so that various processes may be performed in cooperation with.

特に、プロセッサが本実施形態に係る表示制御方法をコンピュータに実行させるための表示制御プログラム（後述する）をＲＡＭ上に展開し、ＲＡＭとの協働で表示制御プログラムを実行することで、制御部３１は、編集装置３の各種動作を制御してもよい。制御部３１は、メモリや記憶部３２に格納された表示制御プログラムを実行することで、表示部３５に全天球画像のプレビュー画像１０，１０Ａ，１Ｂ（図８から１０参照）を表示してもよい。   In particular, a control unit is developed by causing a processor to execute a display control program (to be described later) for causing a computer to execute the display control method according to the present embodiment on a RAM and executing the display control program in cooperation with the RAM. 31 may control various operations of the editing device 3. The control unit 31 displays a preview image 10, 10A, 1B (see FIGS. 8 to 10) of the omnidirectional image on the display unit 35 by executing a display control program stored in the memory or the storage unit 32. Also good.

記憶部（ストレージ）３２は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。例えば、記憶部３２は、表示制御プログラムや各サブカメラ２によって撮像された複数の撮影画像を格納してもよい。さらに、記憶部３２には、各種データを管理するためのテーブル（例えば、図５に示すテーブル６０）を含むデータベースが構築されてもよい。   The storage unit (storage) 32 is a storage device such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), or a USB flash memory, and is configured to store programs and various data. For example, the storage unit 32 may store a plurality of captured images captured by the display control program and each sub camera 2. Furthermore, a database including a table (for example, table 60 shown in FIG. 5) for managing various data may be constructed in the storage unit 32.

Ｉ／Ｏインターフェース３３は、入力操作部３４と表示部３５をそれぞれ制御部３１に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。サブカメラ２によって撮像された撮像画像（撮像画像データ）は、Ｉ／Ｏインターフェース３３を介して制御部３１に送信されてもよい。   The I / O interface 33 is configured to communicably connect the input operation unit 34 and the display unit 35 to the control unit 31, for example, a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, for example. , An HDMI (registered trademark) (High-Definition Multimedia Interface) terminal and the like. A captured image (captured image data) captured by the sub camera 2 may be transmitted to the control unit 31 via the I / O interface 33.

入力操作部３４は、編集装置３を操作する操作者Ｐの入力操作を受付けると共に、当該入力操作に対応する操作信号を生成するように構成されている。入力操作部３４は、例えば、表示部３５上に重ねて配置されたタッチパネル、マウス又はキーボード等である。入力操作部３４によって生成された操作信号は、バス３７を介して制御部３１に送信された後、制御部３１は、操作信号に応じて所定の処理を実行する。表示部３５は、液晶ディスプレイ、有機ＥＬディスプレイ等である。例えば、プレビュー画像１０，１０Ａ，１０Ｂが表示部３５に表示される。   The input operation unit 34 is configured to receive an input operation of the operator P who operates the editing device 3 and to generate an operation signal corresponding to the input operation. The input operation unit 34 is, for example, a touch panel, a mouse, a keyboard, or the like arranged on the display unit 35. After the operation signal generated by the input operation unit 34 is transmitted to the control unit 31 via the bus 37, the control unit 31 executes a predetermined process according to the operation signal. The display unit 35 is a liquid crystal display, an organic EL display, or the like. For example, preview images 10, 10 </ b> A, 10 </ b> B are displayed on the display unit 35.

通信インターフェース３６は、編集装置３をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はインターネット等の通信ネットワーク４に接続させるように構成されている。通信インターフェース３６は、通信ネットワーク４を介してネットワーク上の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク４を介して通信するための通信規格に適合するように構成されている。また、サブカメラ２によって撮像された撮像画像は、通信インターフェース３６を介して制御部３１に送信されてもよい。   The communication interface 36 is configured to connect the editing apparatus 3 to a communication network 4 such as a LAN (Local Area Network), a WAN (Wide Area Network), or the Internet. The communication interface 36 includes various wired connection terminals for communicating with external devices on the network via the communication network 4 and various processing circuits for wireless connection, and for communicating via the communication network 4. It is configured to conform to the communication standard. Further, the captured image captured by the sub camera 2 may be transmitted to the control unit 31 via the communication interface 36.

次に、図４を参照して本実施形態に係る表示制御方法について以下に説明する。図４は、本実施形態に係る表示制御方法を説明するためのフローチャートである。最初に、図４に示すように、制御部３１は、複数のサブカメラ２によって撮像された複数の撮影画像を取得する（ステップＳ１０）。各撮影画像は、全天球画像の一部を構成する。既に述べたように、制御部３１は、各サブカメラ２から撮影画像を受信してもよいし、通信ネットワーク４上の所定のサーバから複数の撮影画像をダウンロードしてもよい。さらに、制御部３１は、編集装置３に接続された記憶媒体（ＵＳＢメモリ等）から複数の撮影画像を取得してもよい。尚、以降の説明では、サブカメラ２ａ〜２ｇによって撮像された撮影画像をそれぞれ撮影画像Ｍ１〜Ｍ７という。ここで、サブカメラ２ａによって撮像された撮影画像は、撮影画像Ｍ１であると共に、サブカメラ２ｇによって撮像された撮影画像は、撮影画像Ｍ７である。また、説明の便宜上、撮影画像Ｍ１〜Ｍ７を単に撮影画像Ｍという場合がある。   Next, the display control method according to the present embodiment will be described below with reference to FIG. FIG. 4 is a flowchart for explaining the display control method according to the present embodiment. First, as shown in FIG. 4, the control unit 31 acquires a plurality of captured images captured by the plurality of sub cameras 2 (step S10). Each captured image constitutes a part of the omnidirectional image. As already described, the control unit 31 may receive captured images from each sub camera 2 or may download a plurality of captured images from a predetermined server on the communication network 4. Further, the control unit 31 may acquire a plurality of captured images from a storage medium (USB memory or the like) connected to the editing device 3. In the following description, the captured images captured by the sub cameras 2a to 2g are referred to as captured images M1 to M7, respectively. Here, the captured image captured by the sub camera 2a is the captured image M1, and the captured image captured by the sub camera 2g is the captured image M7. For convenience of explanation, the captured images M1 to M7 may be simply referred to as a captured image M.

次に、ステップＳ１１において、制御部３１は、複数の撮影画像Ｍ間の位置関係を特定する。以下に、ステップＳ１１の処理の一例について図５及び図６を参照して説明する。図５は、複数のカメラＩＤと複数の画像表示位置との間の対応関係を示すテーブル６０を示す図である。図６は、複数の撮影画像Ｍ間の対応関係を説明するための図である。図５に示すように、テーブル６０は、複数のカメラＩＤ（Ｘ１〜Ｘ７）と複数の画像表示位置Ｐ１〜Ｐ７との間の対応関係を示す。複数のカメラＩＤの各々は、複数のサブカメラ２ａ〜２ｇのうちの対応する一つを識別するためのカメラ識別情報として機能する。複数の画像表示位置Ｐ１〜Ｐ７の各々は、編集装置３の表示部３５の表示画面上で撮影画像Ｍが配置される位置を示す（図６参照）。ここで、サブカメラ２ａ〜２ｇのカメラＩＤは、それぞれＸ１〜Ｘ７に相当する。例えば、テーブル６０から、カメラＩＤのＸ４は画像表示位置Ｐ４に対応するので、サブカメラ２ｄにより撮像された撮影画像Ｍ４は、図６に示す画像表示位置Ｐ４に配置される。また、カメラＩＤのＸ６は画像表示位置Ｐ６に対応するので、サブカメラｆにより撮像された撮影画像Ｍ６は、図６に示す画像表示位置Ｐ６に配置される。このように、制御部３１は、テーブル６０を参照することで、撮影画像Ｍ１〜Ｍ７の各々を複数の画像表示位置Ｐ１〜Ｐ７のうちの対応する一つに関連付ける。テーブル６０は、記憶部３２に保存されていてもよい。特に、テーブル６０は、撮影者又はその補助者（撮影者等）の入力操作に従って生成された上で、記憶部３２に保存されてもよい。   Next, in step S <b> 11, the control unit 31 specifies the positional relationship between the plurality of captured images M. Hereinafter, an example of the processing in step S11 will be described with reference to FIGS. FIG. 5 is a diagram illustrating a table 60 indicating the correspondence between a plurality of camera IDs and a plurality of image display positions. FIG. 6 is a diagram for explaining the correspondence between a plurality of captured images M. As shown in FIG. 5, the table 60 shows the correspondence between the plurality of camera IDs (X1 to X7) and the plurality of image display positions P1 to P7. Each of the plurality of camera IDs functions as camera identification information for identifying a corresponding one of the plurality of sub cameras 2a to 2g. Each of the plurality of image display positions P1 to P7 indicates a position where the captured image M is arranged on the display screen of the display unit 35 of the editing device 3 (see FIG. 6). Here, the camera IDs of the sub cameras 2a to 2g correspond to X1 to X7, respectively. For example, since the camera ID X4 corresponds to the image display position P4 from the table 60, the captured image M4 captured by the sub camera 2d is arranged at the image display position P4 shown in FIG. Since the camera ID X6 corresponds to the image display position P6, the captured image M6 captured by the sub camera f is disposed at the image display position P6 shown in FIG. Thus, the control unit 31 refers to the table 60 to associate each of the captured images M1 to M7 with a corresponding one of the plurality of image display positions P1 to P7. The table 60 may be stored in the storage unit 32. In particular, the table 60 may be generated in accordance with an input operation of a photographer or an assistant (such as a photographer) and stored in the storage unit 32.

次に、制御部３１は、撮影画像Ｍ１〜Ｍ７の各々を歪ませる（ステップＳ１２）。全天球画像を生成するために、制御部３１は、撮影画像Ｍ４を図６に示すように歪ませる。さらに、制御部３１は、撮影画像Ｍ１，Ｍ２，Ｍ３，Ｍ５を図６に示す撮影画像Ｍ４と同様の態様で歪ませる。また、制御部３１は、撮影画像Ｍ６を図６に示すように歪ませる。さらに、制御部３１は、撮影画像Ｍ７を図６に示す撮影画像Ｍ６と同様の態様で歪ませる。図６に示す歪んだ撮影画像Ｍ４，Ｍ６の外形は一例である点に留意されたい。   Next, the control unit 31 distorts each of the captured images M1 to M7 (step S12). In order to generate the omnidirectional image, the control unit 31 distorts the captured image M4 as shown in FIG. Further, the control unit 31 distorts the captured images M1, M2, M3, and M5 in the same manner as the captured image M4 shown in FIG. Further, the control unit 31 distorts the captured image M6 as shown in FIG. Further, the control unit 31 distorts the captured image M7 in the same manner as the captured image M6 shown in FIG. Note that the external shapes of the distorted captured images M4 and M6 shown in FIG. 6 are examples.

次に、ステップＳ１３において、制御部３１は、歪んだ撮影画像Ｍ１〜Ｍ７の各々において、全天球画像の一部を構成する画像表示領域と、全天球画像の一部を構成しない非表示領域とを特定する。特に、制御部３１は、テーブル６０と、複数の歪んだ撮影画像Ｍ１〜Ｍ７とに基づいて、画像表示領域と非表示領域とを特定する。特に、制御部３１は、テーブル６０に基づいて、歪んだ撮影画像Ｍ１〜Ｍ７の各々を複数の画像表示位置Ｐ１〜Ｐ７のうちの関連する一つに配置する。ここで、図１に示すように、隣接したサブカメラ２の視野（撮像領域）の一部が互いに重複するため、隣接した２つの撮影画像のうち一方の撮影画像の撮影領域の一部と、他方の撮影画像の撮影領域の一部が互いに重複する。このため、制御部３１は、撮影画像Ｍ１〜Ｍ７の各々の特徴点を抽出した上で、当該抽出した特徴点に基づいて、隣接した撮影画像Ｍにおいて撮像領域が互いに重複する領域である重複領域を特定する。その後、制御部３１は、特定された重複領域に基づいて、歪んだ撮影画像Ｍ１〜Ｍ７の各々の画像表示領域と非表示領域を特定する。   Next, in step S13, the control unit 31 in each of the distorted captured images M1 to M7, an image display area that constitutes a part of the omnidirectional image and a non-display that does not constitute a part of the omnidirectional image. Identify areas. In particular, the control unit 31 specifies an image display area and a non-display area based on the table 60 and the plurality of distorted captured images M1 to M7. In particular, the control unit 31 arranges each of the distorted captured images M1 to M7 on the associated one of the plurality of image display positions P1 to P7 based on the table 60. Here, as shown in FIG. 1, since a part of the field of view (imaging area) of the adjacent sub camera 2 overlaps with each other, a part of the imaging area of one of the two adjacent captured images, Part of the shooting area of the other shot image overlaps. For this reason, the control unit 31 extracts the feature points of the captured images M1 to M7, and then, based on the extracted feature points, the overlapping region, which is a region where the imaging regions overlap each other in the adjacent captured image M. Is identified. Thereafter, the control unit 31 specifies the image display area and the non-display area of each of the distorted captured images M1 to M7 based on the specified overlapping area.

例えば、図７に示すように、制御部３１は、撮影画像Ｍ３，Ｍ５の特徴点を抽出した上で、当該抽出した特徴点に基づいて、互いに隣接した撮影画像Ｍ３，Ｍ５において撮像領域が互いに重複する重複領域Ｋを特定する。図中に示すように、符号Ｒ５は、撮影画像Ｍ５の画像表示領域を示す。符号Ｎ５は、撮影画像Ｍ５の非表示領域を示す。符号Ｄ５は、撮影画像Ｍ５の外縁を示す。また、符号Ｒ３は、撮影画像Ｍ３の画像表示領域を示す。符号Ｄ３は、撮影画像Ｍ３の外縁を示す。符号Ｎ３は、撮影画像Ｍ３の非表示領域を示す。符号Ｂ１は、撮影画像Ｍ５の画像表示領域Ｒ５と撮影画像Ｍ３の画像表示領域Ｒ３との間の境界を示す。また、図９に示すように、符号Ｂ２は、撮影画像Ｍ５の画像表示領域Ｒ５と撮影画像Ｍ６の画像表示領域Ｒ６との間の境界を示す。   For example, as illustrated in FIG. 7, the control unit 31 extracts the feature points of the captured images M3 and M5, and based on the extracted feature points, the imaging regions in the captured images M3 and M5 adjacent to each other are extracted from each other. An overlapping region K that overlaps is specified. As shown in the figure, the symbol R5 indicates an image display area of the captured image M5. A symbol N5 indicates a non-display area of the captured image M5. A symbol D5 indicates an outer edge of the captured image M5. Reference numeral R3 indicates an image display area of the captured image M3. A symbol D3 indicates an outer edge of the captured image M3. A symbol N3 indicates a non-display area of the captured image M3. Reference numeral B1 indicates a boundary between the image display region R5 of the captured image M5 and the image display region R3 of the captured image M3. Further, as shown in FIG. 9, reference numeral B2 indicates a boundary between the image display region R5 of the captured image M5 and the image display region R6 of the captured image M6.

次に、制御部３１は、複数の撮影画像Ｍ１〜Ｍ７の画像表示領域Ｒ１〜Ｒ７（図９参照）に基づいて、全天球画像のプレビュー画像１０（図８参照）を生成する（ステップＳ１４）。その後、制御部３１は、生成されたプレビュー画像１０を表示部３５に表示させる（ステップＳ１５）。ここで、全天球画像のプレビュー画像とは、全天球画像を編集する編集者が視認可能なように２次元平面として表示される全天球画像である。つまり、編集者は、ヘッドマウントデバイス（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｅｖｉｃｅ：ＨＭＤ）を装着せずに、プレビュー画像を見ることで全天球画像を編集することが可能となる。また、以降の説明では、画像表示領域Ｒ１〜Ｒ７を単に画像表示領域Ｒという場合がある。さらに、隣接する画像表示領域Ｒ間の境界を単に境界Ｂという場合がある。   Next, the control unit 31 generates the omnidirectional image preview image 10 (see FIG. 8) based on the image display areas R1 to R7 (see FIG. 9) of the plurality of captured images M1 to M7 (step S14). ). Thereafter, the control unit 31 displays the generated preview image 10 on the display unit 35 (step S15). Here, the preview image of the omnidirectional image is an omnidirectional image displayed as a two-dimensional plane so that an editor who edits the omnidirectional image can visually recognize. That is, the editor can edit the omnidirectional image by looking at the preview image without wearing a head-mounted device (HMD). In the following description, the image display areas R1 to R7 may be simply referred to as an image display area R. Furthermore, a boundary between adjacent image display regions R may be simply referred to as a boundary B.

ステップＳ１５において、制御部３１は、隣接する画像表示領域Ｒ間の境界Ｂが可視化された状態で全天球画像のプレビュー画像を表示部３５に表示してもよい。この点において、図９に示すように、制御部３１は、隣接する画像表示領域Ｒ間の境界Ｂが可視化されたプレビュー画像１０Ａを表示部３５に表示させてもよい。具体的には、編集者が入力操作部３４を用いて所定の操作を実行したときに、制御部３１は、当該所定の操作に対応する操作信号に基づいて、プレビュー画像１０（図８参照）をプレビュー画像１０Ａに変更してもよい。ここで、所定の操作とは、例えば、表示部３５上に表示されたプレビュー画像の表示を切り替えるための切替表示ボタン（図示せず）の操作等である。   In step S15, the control unit 31 may display a preview image of the omnidirectional image on the display unit 35 in a state where the boundary B between the adjacent image display regions R is visualized. In this regard, as illustrated in FIG. 9, the control unit 31 may cause the display unit 35 to display a preview image 10 </ b> A in which a boundary B between adjacent image display regions R is visualized. Specifically, when the editor performs a predetermined operation using the input operation unit 34, the control unit 31 performs preview image 10 (see FIG. 8) based on an operation signal corresponding to the predetermined operation. May be changed to the preview image 10A. Here, the predetermined operation is, for example, an operation of a switching display button (not shown) for switching the display of the preview image displayed on the display unit 35.

また、ステップＳ１５において、制御部３１は、隣接する画像表示領域Ｒ間の境界Ｂと複数の歪んだ撮影画像Ｍ１〜Ｍ７の外縁Ｄ１〜Ｄ７が可視化された状態で全天球画像のプレビュー画像を表示部３５に表示させてもよい。この点において、制御部３１は、図１０に示すように、隣接する画像表示領域Ｒ間の境界Ｂと外縁Ｄ１〜Ｄ７が可視化されたプレビュー画像１０Ｂを表示部３５に表示させてもよい。具体的には、編集者が入力操作部３４を用いて所定の操作（切替表示ボタンの操作等）を実行したときに、制御部３１は、当該所定の操作に対応する操作信号に基づいて、プレビュー画像１０又はプレビュー画像１０Ａをプレビュー画像１０Ｂに変更してもよい。   In step S15, the control unit 31 displays a preview image of the omnidirectional image with the boundary B between the adjacent image display regions R and the outer edges D1 to D7 of the plurality of distorted captured images M1 to M7 being visualized. You may display on the display part 35. FIG. In this regard, the control unit 31 may cause the display unit 35 to display a preview image 10B in which the boundary B between the adjacent image display regions R and the outer edges D1 to D7 are visualized as shown in FIG. Specifically, when the editor performs a predetermined operation (such as an operation of a switching display button) using the input operation unit 34, the control unit 31 is based on an operation signal corresponding to the predetermined operation. The preview image 10 or the preview image 10A may be changed to the preview image 10B.

次に、制御部３１は、複数の撮影画像Ｍ１〜Ｍ７の画像表示領域Ｒ１〜Ｒ７に基づいて全天球画像を生成する（ステップＳ１６）。当該生成された全天球画像（３６０度画像）とＨＭＤの位置と傾きに基づいて、全天球画像の一部の画像である視野画像がＨＭＤの表示部（図示せず）に表示される。   Next, the control unit 31 generates an omnidirectional image based on the image display areas R1 to R7 of the plurality of captured images M1 to M7 (step S16). Based on the generated omnidirectional image (360-degree image) and the position and inclination of the HMD, a field-of-view image that is a partial image of the omnidirectional image is displayed on a display unit (not shown) of the HMD. .

次に、制御部３１は、編集者（ユーザ）が画像表示領域Ｒ間の境界Ｂを変更するための所定の操作を実行したかどうかを判定する（ステップＳ１７）。例えば、編集者は、入力操作部３４を用いて所定の境界Ｂを指定した上で、当該所定の境界Ｂに対してドラッグ・アンド・ドロップ操作を実行することで、当該所定の境界Ｂ（境界Ｂの位置や形状）を変更することができる。   Next, the control unit 31 determines whether or not the editor (user) has performed a predetermined operation for changing the boundary B between the image display regions R (step S17). For example, the editor designates a predetermined boundary B using the input operation unit 34 and then performs a drag-and-drop operation on the predetermined boundary B, whereby the predetermined boundary B (boundary B position and shape) can be changed.

隣接する２つの画像表示領域Ｒ間の境界Ｂの調整について図１１を参照して説明する。図１１（ａ）の上段は、編集者による境界Ｂ１に対する入力操作が実行される前の画像表示領域Ｒ５と画像表示領域Ｒ３を示す図である。図１１（ａ）の下段は、編集者による境界Ｂ１に対する入力操作が実行される前の画像表示領域Ｒ５を示す図である。図１１（ｂ）の上段は、編集者による境界Ｂ１に対する入力操作が実行された後の画像表示領域Ｒ５と画像表示領域Ｒ３を示す図である。図１１（ｂ）の下段は、編集者による境界Ｂ１に対する入力操作が実行された後の画像表示領域Ｒ５を示す図である。   The adjustment of the boundary B between two adjacent image display regions R will be described with reference to FIG. The upper part of FIG. 11A is a diagram showing the image display region R5 and the image display region R3 before the editor performs an input operation on the boundary B1. The lower part of FIG. 11A is a diagram showing the image display region R5 before the editor performs an input operation on the boundary B1. The upper part of FIG. 11B is a diagram showing the image display region R5 and the image display region R3 after the editor performs an input operation on the boundary B1. The lower part of FIG. 11B is a diagram showing the image display region R5 after the editor performs an input operation on the boundary B1.

図１１（ａ）に示すように、編集者による境界Ｂ１に対する入力操作が実行される前では、主要な被写体Ｓ（換言すれば、映像コンテンツにおいて視聴者が注目する被写体Ｓ）が境界Ｂ１上に表示されてしまう。この場合、全天球画像において被写体Ｓが歪んで表示されてしまい、全天球画像の品質の低下を招来する蓋然性が高い。   As shown in FIG. 11A, before the editor performs an input operation on the boundary B1, the main subject S (in other words, the subject S that the viewer pays attention to in the video content) is on the boundary B1. It will be displayed. In this case, the subject S is displayed distorted in the omnidirectional image, and there is a high probability that the quality of the omnidirectional image will be degraded.

この状態において、編集者が入力操作部３４を用いて境界Ｂ１を指定した上で、境界Ｂ１に対してドラッグ・アンド・ドロップ操作を実行すると、制御部３１は、編集者が境界Ｂ１を変更するための所定の操作を実行したと判定する（ステップＳ１７でＹＥＳ）。その後、制御部３１は、当該操作に対応する操作信号に基づいて、図１１（ｂ）に示すように、撮影画像Ｍ５の画像表示領域Ｒ５と非表示領域Ｎ５を変更すると共に、撮影画像Ｍ３の画像表示領域Ｒ３と非表示領域Ｎ３を変更する（ステップＳ１８）。このように、制御部３１は、画像表示領域Ｒ５と画像表示領域Ｒ３との間の境界Ｂ１の位置と形状を変更する。その後、制御部３１は、更新された画像表示領域Ｒ３，Ｒ５に基づいて、全天球画像のプレビュー画像を更新する（ステップＳ１９）。この結果、境界Ｂ１が被写体Ｓ上に位置しないため、全天球画像において被写体Ｓが歪んで表示される状況を防ぐことが可能となる。さらに、編集者は、更新されたプレビュー画像を見ることで、被写体Ｓが境界Ｂ１上に表示されていないかどうかを確認することができる。   In this state, when the editor designates the boundary B1 using the input operation unit 34 and then performs a drag and drop operation on the boundary B1, the control unit 31 causes the editor to change the boundary B1. It is determined that a predetermined operation has been executed (YES in step S17). Thereafter, the control unit 31 changes the image display area R5 and the non-display area N5 of the captured image M5 based on the operation signal corresponding to the operation, and also changes the captured image M3. The image display area R3 and the non-display area N3 are changed (step S18). In this way, the control unit 31 changes the position and shape of the boundary B1 between the image display region R5 and the image display region R3. Thereafter, the control unit 31 updates the preview image of the omnidirectional image based on the updated image display areas R3 and R5 (step S19). As a result, since the boundary B1 is not located on the subject S, it is possible to prevent a situation in which the subject S is distorted and displayed in the omnidirectional image. Further, the editor can confirm whether or not the subject S is displayed on the boundary B1 by viewing the updated preview image.

このように、制御部３１は、編集者が所定の境界Ｂを変更するための所定の操作を実行したと判定すると（ステップＳ１７でＹＥＳ）、所定の操作に従って、所定の境界Ｂを規定する隣接する２つの画像表示領域Ｒ（及び隣接する２つの非表示領域Ｎ）を更新する（ステップＳ１８）。その後、制御部３１は、更新された画像表示領域Ｒに基づいて、全天球画像のプレビュー画像を更新する（ステップＳ１９）。その後、制御部３１は、更新された画像表示領域Ｒに基づいて、全天球画像を更新する（ステップＳ２０）。その後、編集者が全天球画像の編集作業を終了する場合（ステップＳ２１でＹＥＳ）、一連の処理が終了する。一方、編集者が全天球画像の編集作業を終了しない場合（ステップＳ２１でＮＯ）、処理はステップＳ１７に戻る。   As described above, when the control unit 31 determines that the editor has performed a predetermined operation for changing the predetermined boundary B (YES in step S17), the control unit 31 adjoins the predetermined boundary B according to the predetermined operation. The two image display areas R (and two adjacent non-display areas N) to be updated are updated (step S18). Thereafter, the control unit 31 updates the preview image of the omnidirectional image based on the updated image display region R (step S19). Thereafter, the control unit 31 updates the omnidirectional image based on the updated image display region R (step S20). Thereafter, when the editor finishes editing the omnidirectional image (YES in step S21), the series of processes is finished. On the other hand, if the editor does not finish editing the omnidirectional image (NO in step S21), the process returns to step S17.

このように、本実施形態によれば、隣接した画像表示領域Ｒ間の境界Ｂが可視化された状態で全天球画像のプレビュー画像１０Ａ（又は１０Ｂ）が表示される。このように、全天球画像を編集する編集者は、全天球画像が生成される前に、全天球画像のプレビュー画像を見ることで、全天球画像において主要な被写体Ｓが歪んで表示されているかどうかを確認することができる。特に、編集者は、主要な被写体Ｓが画像表示領域Ｒ間の境界Ｂに位置しているかどうかをプレビュー画像によって確認することができる。ここで、主要な被写体Ｓが画像表示領域Ｒ間の境界Ｂ上に位置している場合、主要な被写体Ｓは全天球画像上において歪んで表示される蓋然性が高い。   Thus, according to the present embodiment, the preview image 10A (or 10B) of the omnidirectional image is displayed in a state where the boundary B between the adjacent image display regions R is visualized. Thus, the editor who edits the omnidirectional image looks at the preview image of the omnidirectional image before the omnidirectional image is generated, so that the main subject S is distorted in the omnidirectional image. You can check whether it is displayed. In particular, the editor can confirm from the preview image whether or not the main subject S is located at the boundary B between the image display regions R. Here, when the main subject S is located on the boundary B between the image display regions R, the main subject S is highly likely to be displayed distorted on the omnidirectional image.

例えば、編集者は、主要な被写体Ｓが画像表示領域Ｒ間の境界Ｂ上に位置しないように、境界Ｂの位置を調整（つまり、画像表示領域Ｒを調整）することで、全天球画像において主要な被写体Ｓが歪んで表示される状況を防ぐことができる。従って、全天球画像の編者作業における負荷を軽減することが可能な表示制御方法を提供することができる。   For example, the editor adjusts the position of the boundary B (that is, adjusts the image display area R) so that the main subject S is not located on the boundary B between the image display areas R, so that the omnidirectional image is displayed. In this case, it is possible to prevent the main subject S from being distorted and displayed. Therefore, it is possible to provide a display control method capable of reducing the load in the knitting work of the omnidirectional image.

また、本実施形態によれば、隣接する画像表示領域Ｒ間の境界Ｂと、歪んだ撮影画像Ｍ１〜Ｍ７の外縁Ｄ１〜Ｄ７が可視化されたプレビュー画像１０Ｂが表示部３５に表示される。このように、外縁Ｄ１〜Ｄ７が可視化されるので、編集者は、外縁Ｄ１〜Ｄ７を見ることで、隣接する画像表示領域Ｒ間の境界Ｂの位置をどの程度まで移動させることができるのかを瞬時に把握することができる。   Further, according to the present embodiment, the preview image 10B in which the boundary B between the adjacent image display regions R and the outer edges D1 to D7 of the distorted captured images M1 to M7 are visualized is displayed on the display unit 35. Thus, since the outer edges D1 to D7 are visualized, the editor can see how much the position of the boundary B between the adjacent image display regions R can be moved by looking at the outer edges D1 to D7. It can be grasped instantly.

また、本実施形態によれば、編集者からの入力操作に従って、複数の撮影領域Ｍの画像表示領域Ｒが更新される。さらに、複数の更新された画像表示領域Ｒに基づいて、プレビュー画像が更新される。このように、主要な被写体Ｓが画像表示領域Ｒ間の境界Ｂ上に位置している場合、編集者は、主要な被写体Ｓが境界Ｂ上に位置しないように、画像表示領域Ｒを調整することができる。   Further, according to the present embodiment, the image display areas R of the plurality of shooting areas M are updated in accordance with an input operation from the editor. Further, the preview image is updated based on the plurality of updated image display areas R. In this way, when the main subject S is located on the boundary B between the image display regions R, the editor adjusts the image display region R so that the main subject S is not located on the boundary B. be able to.

尚、本実施形態では、編集者からの入力操作に従って、制御部３１は、境界Ｂが被写体Ｓ上に位置しないように境界Ｂの位置を更新しているが、本実施形態はこれには限定されない。例えば、被写体Ｓが人間である場合、制御部３１は、所定の顔認証技術等を適用することでプレビュー画像中の被写体Ｓ（人間）を特定してもよい。この後、制御部３１は、隣接する画像表示領域Ｒ間の境界Ｂが特定された被写体Ｓ上に位置しているかどうかを自動的に判定する。ここで、制御部３１は、境界Ｂが被写体Ｓ上に位置していると判定した場合、境界Ｂが被写体Ｓ上に位置しないように境界Ｂの位置を更新してもよい。その後、制御部３１は、複数の撮影画像Ｍ１〜Ｍ７の画像表示領域Ｒ１〜Ｒ７に基づいて、全天球画像を生成する。このように、全天球画像において被写体Ｓが歪んで表示される状況が自動的にコンピュータ（制御部３１）により防止されるので、全天球画像の編集作業における負荷を軽減することが可能な表示制御方法を提供することができる。   In this embodiment, according to the input operation from the editor, the control unit 31 updates the position of the boundary B so that the boundary B is not positioned on the subject S. However, the present embodiment is limited to this. Not. For example, when the subject S is a human, the control unit 31 may specify the subject S (human) in the preview image by applying a predetermined face authentication technique or the like. Thereafter, the control unit 31 automatically determines whether or not the boundary B between the adjacent image display regions R is located on the specified subject S. Here, when it is determined that the boundary B is located on the subject S, the control unit 31 may update the position of the boundary B so that the boundary B is not located on the subject S. Thereafter, the control unit 31 generates an omnidirectional image based on the image display areas R1 to R7 of the plurality of captured images M1 to M7. As described above, since the computer (control unit 31) automatically prevents the situation in which the subject S is displayed in the omnidirectional image is distorted, it is possible to reduce the load in the editing operation of the omnidirectional image. A display control method can be provided.

制御部３１によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る表示制御方法をコンピュータ（プロセッサ）に実行させるための表示制御プログラムが記憶部３２又はＲＯＭに予め組み込まれていてもよい。または、表示制御プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が編集装置３に接続されることで、当該記憶媒体に格納された表示制御プログラムが、記憶部３２に組み込まれる。そして、記憶部３２に組み込まれた表示制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部３１は本実施形態に係る表示制御方法を実行する。   In order to implement various processes executed by the control unit 31 by software, a display control program for causing a computer (processor) to execute the display control method according to the present embodiment is incorporated in the storage unit 32 or the ROM in advance. Also good. Alternatively, the display control program can be a magnetic disk (HDD, floppy disk), optical disk (CD-ROM, DVD-ROM, Blu-ray disk, etc.), magneto-optical disk (MO, etc.), flash memory (SD card, USB memory, It may be stored in a computer-readable storage medium such as SSD. In this case, the display control program stored in the storage medium is incorporated in the storage unit 32 by connecting the storage medium to the editing device 3. Then, the display control program incorporated in the storage unit 32 is loaded onto the RAM, and the control unit 31 executes the display control method according to the present embodiment by executing the loaded program.

また、表示制御プログラムは、通信ネットワーク４上のコンピュータから通信インターフェース３６を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部３２に組み込まれる。   The display control program may be downloaded from a computer on the communication network 4 via the communication interface 36. In this case as well, the downloaded program is incorporated into the storage unit 32.

以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。   As mentioned above, although embodiment of this indication was described, the technical scope of this invention should not be limitedly interpreted by description of this embodiment. This embodiment is an example, and it is understood by those skilled in the art that various modifications can be made within the scope of the invention described in the claims. The technical scope of the present invention should be determined based on the scope of the invention described in the claims and the equivalents thereof.

本実施形態では、マルチカメラシステム１は、複数のサブカメラ２ａ〜２ｇとホルダ４０によって構成されているが、マルチカメラシステム１は、複数のサブカメラ２ａ〜２ｇと、ホルダ４０と、複数のサブカメラ２ａ〜２ｇを制御するためのサブカメラ制御部を備えてもよい。この場合、複数のサブカメラ２によって撮像された複数の撮影画像Ｍは、サブカメラ制御部を介して編集装置３に送信されてもよい。また、本実施形態において、サブカメラ２の台数は７つであるが、サブカメラ２の台数は特に限定されない。   In the present embodiment, the multi-camera system 1 includes a plurality of sub cameras 2a to 2g and a holder 40. However, the multi camera system 1 includes a plurality of sub cameras 2a to 2g, a holder 40, and a plurality of sub cameras. You may provide the sub camera control part for controlling the cameras 2a-2g. In this case, the plurality of captured images M captured by the plurality of sub cameras 2 may be transmitted to the editing device 3 via the sub camera control unit. In the present embodiment, the number of sub cameras 2 is seven, but the number of sub cameras 2 is not particularly limited.

１：マルチカメラシステム
２，２ａ〜２ｇ：サブカメラ
３：編集装置（全天球画像編集装置）
４：通信ネットワーク
１０，１０Ａ，１０Ｂ：プレビュー画像
３１：制御部
３２：記憶部（ストレージ）
３３：Ｉ／Ｏインターフェース
３４：入力操作部
３５：表示部
３６：通信インターフェース
３７：バス
４０：ホルダ
６０：テーブル 1: Multi-camera system 2, 2a-2g: Sub camera 3: Editing device (Spherical image editing device)
4: Communication networks 10, 10A, 10B: Preview image 31: Control unit 32: Storage unit (storage)
33: I / O interface 34: input operation unit 35: display unit 36: communication interface 37: bus 40: holder 60: table

Claims (3)

ａ）マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、
ｂ）前記複数の撮影画像間の位置関係を特定するステップと、
ｃ）前記複数の撮影画像の各々を歪ませるステップと、
ｄ）前記位置関係と、前記複数の歪んだ撮影画像とに基づいて、前記複数の撮影画像の各々において、前記全天球画像の一部を構成する画像表示領域と、前記全天球画像の一部を構成しない非表示領域とを特定するステップと、
ｅ）前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像のプレビュー画像を生成するステップと、
ｆ）隣接する画像表示領域間の境界及び前記複数の歪んだ撮影画像の各々の外縁が可視化された状態で前記プレビュー画像を表示部に表示させるステップと、を含む、表示制御方法。 a) acquiring a plurality of captured images captured by a plurality of sub-cameras constituting a multi-camera system, each of which forms a part of an omnidirectional image;
b) identifying a positional relationship between the plurality of captured images;
c) distorting each of the plurality of captured images;
d) Based on the positional relationship and the plurality of distorted captured images, in each of the plurality of captured images, an image display area constituting a part of the omnidirectional image, and the omnidirectional image Identifying a non-display area that does not constitute a part;
e) generating a preview image of the omnidirectional image based on an image display area of the plurality of captured images;
and f) displaying the preview image on a display unit in a state in which a boundary between adjacent image display regions and an outer edge of each of the plurality of distorted captured images are visualized. ｇ）ユーザからの入力操作に従って、前記全天球画像に表示される被写体が前記複数の撮影画像のうちの一つの画像表示領域にのみ表示されるように前記複数の撮影画像の画像表示領域を更新するステップと、
ｈ）前記複数の更新された画像表示領域に基づいて、前記プレビュー画像を更新するステップと、
をさらに含む、請求項１に記載の表示制御方法。 g) The image display areas of the plurality of captured images are set so that the subject displayed on the omnidirectional image is displayed only in one image display area of the plurality of captured images in accordance with an input operation from the user. A step to update,
h) updating the preview image based on the plurality of updated image display areas;
The display control method according to claim 1, further comprising: 請求項１又は２に記載の表示制御方法をコンピュータに実行させるためのプログラム。 Program for executing a display control method according to the computer to claim 1 or 2.
JP2016202672A 2016-10-14 2016-10-14 Display control method and program for causing a computer to execute the display control method Active JP6235094B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016202672A JP6235094B1 (en) 2016-10-14 2016-10-14 Display control method and program for causing a computer to execute the display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016202672A JP6235094B1 (en) 2016-10-14 2016-10-14 Display control method and program for causing a computer to execute the display control method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017204822A Division JP2018063714A (en) 2017-10-23 2017-10-23 Display control method and program for causing computer to execute display control method

Publications (2)

Publication Number Publication Date
JP6235094B1 true JP6235094B1 (en) 2017-11-22
JP2018064235A JP2018064235A (en) 2018-04-19

Family

ID=60417571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016202672A Active JP6235094B1 (en) 2016-10-14 2016-10-14 Display control method and program for causing a computer to execute the display control method

Country Status (1)

Country Link
JP (1) JP6235094B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020153865A (en) * 2019-03-20 2020-09-24 株式会社リコー Three-dimensional information acquisition device, information processor, and system
JP2021012099A (en) * 2019-07-05 2021-02-04 株式会社リコー 360-degree spherical imaging apparatus, image processing apparatus, and image processing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011211556A (en) * 2010-03-30 2011-10-20 Nippon Telegr & Teleph Corp <Ntt> Device and method for generating image, and program
JP2016146543A (en) * 2015-02-06 2016-08-12 パナソニックＩｐマネジメント株式会社 Image processing device, imaging device and image processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011211556A (en) * 2010-03-30 2011-10-20 Nippon Telegr & Teleph Corp <Ntt> Device and method for generating image, and program
JP2016146543A (en) * 2015-02-06 2016-08-12 パナソニックＩｐマネジメント株式会社 Image processing device, imaging device and image processing method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
３６０度ＶＲパノラマ制作パーフェクトガイド, vol. 第１版, JPN6017036800, 1 January 2012 (2012-01-01), pages 142 - 145 *
ＩＮＴＥＲＦＡＣＥ, vol. 第４１巻，第８号, JPN6017019634, 1 August 2015 (2015-08-01), pages 126 - 134 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020153865A (en) * 2019-03-20 2020-09-24 株式会社リコー Three-dimensional information acquisition device, information processor, and system
JP7363068B2 (en) 2019-03-20 2023-10-18 株式会社リコー 3D information acquisition system
JP2021012099A (en) * 2019-07-05 2021-02-04 株式会社リコー 360-degree spherical imaging apparatus, image processing apparatus, and image processing method
JP7346947B2 (en) 2019-07-05 2023-09-20 株式会社リコー Omnidirectional imaging device, image processing device, and image processing method

Also Published As

Publication number Publication date
JP2018064235A (en) 2018-04-19

Similar Documents

Publication Publication Date Title
JP6167703B2 (en) Display control device, program, and recording medium
JP6446766B2 (en) Program, display control device, recording medium, and display control system
US10074216B2 (en) Information processing to display information based on position of the real object in the image
US9906762B2 (en) Communication apparatus, method of controlling communication apparatus, non-transitory computer-readable storage medium
US11301966B2 (en) Per-pixel filter
JP6544996B2 (en) Control device and control method
US20210065331A1 (en) Image processing apparatus, image communication system, image processing method, and recording medium
JP6686547B2 (en) Image processing system, program, image processing method
JP6235094B1 (en) Display control method and program for causing a computer to execute the display control method
US10147160B2 (en) Image management apparatus and system, and method for controlling display of captured image
US20210176409A1 (en) Electronic device and method of controlling electronic device
JP6617547B2 (en) Image management system, image management method, and program
JP2018005091A (en) Display control program, display control method and display controller
JP2018067851A (en) Imaging control program, imaging control method, and information processing device
JP2018063714A (en) Display control method and program for causing computer to execute display control method
JP6333914B2 (en) Display control method and program for causing a computer to execute the display control method
JP6306822B2 (en) Image processing apparatus, image processing method, and image processing program
JP6443505B2 (en) Program, display control apparatus, and display control method
JP5887297B2 (en) Image processing apparatus and image processing program
US10109091B2 (en) Image display apparatus, image display method, and storage medium
JP2018164259A (en) Display control method and program for computer to execute the same
JP7369600B2 (en) User terminal, control method and computer program
JP2014085716A (en) Image editing processing device and computer program
JP2022077221A (en) Image processing apparatus, image processing system, image processing method, and program
JP2022105044A (en) Image processing apparatus, processing method for the same, and program

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171025

R150 Certificate of patent or registration of utility model

Ref document number: 6235094

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250