JP2020022065A

JP2020022065A - Distribution device, camera device, distribution system, distribution method, and distribution program

Info

Publication number: JP2020022065A
Application number: JP2018144305A
Authority: JP
Inventors: 涼有賀; Ryo Ariga; 慶春東條; Yoshiharu Tojo
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2018-07-31
Filing date: 2018-07-31
Publication date: 2020-02-06
Anticipated expiration: 2038-07-31
Also published as: JP7176277B2

Abstract

To provide a distribution device that transmits a picked-up image picked up by an imaging apparatus to a receiving device to display the image, and reduce inconvenience that a received image has a low resolution in the receiving device during a communication delay.SOLUTION: An acquisition unit acquires a picked-up image picked up by an imaging apparatus, and a creation unit creates a composite image with an image of a partial area, of the entire area of the acquired picked-up image, having high image quality, the partial area being the partial area displayed on a receiving device, an image of an extended area obtained by extending the partial area in a transverse direction or a vertical direction having high image quality or middle image quality, and an image in an area other than the partial area and extended area having low image quality. A transmission unit transmits the created composite image to the receiving device. Thus, when display of an image of the extended area is designated on the receiving device, a high-quality image of the extended area can be displayed, which reduces inconvenience that an image with a low resolution is displayed even when a communication delay occurs.SELECTED DRAWING: Figure 11

Description

本発明は、配信装置、カメラ装置、配信システム、配信方法及び配信プログラムに関する。 The present invention relates to a distribution device, a camera device, a distribution system, a distribution method, and a distribution program.

近年、撮像位置を中心とした立体角３６０°の範囲である全天球を１回の撮像で撮像可能な、全天球カメラが実用化されている。また、全天球カメラで撮像した立体角３６０°の画角を持つ画像である全天球画像においては、全天球画像を観察する観察者が、任意の視点を選択することが可能である。また、この全天球画像を、ネットワークを介して受信装置に送信することで、物理的に離れた場所の現在の状況を、受信装置において任意の視点で確認することが可能な配信システムも、実用化されている。 2. Description of the Related Art In recent years, an omnidirectional camera that can capture an omnidirectional sphere within a range of a solid angle of 360 ° around an imaging position by one imaging has been put into practical use. In addition, in the omnidirectional image which is an image having a solid angle of 360 ° captured by the omnidirectional camera, the observer who observes the omnidirectional image can select an arbitrary viewpoint. . Also, by transmitting this celestial sphere image to the receiving device via a network, a distribution system capable of confirming the current situation of a physically distant location from an arbitrary viewpoint in the receiving device, Has been put to practical use.

特許文献１（特許第３９６３２６１号公報）には、魚眼レンズを含む広角レンズを備える広角カメラと、パン及びチルト機能を備えるパンチルトカメラとを組み合わせたシステムが記載されている。特許文献１によれば、広角カメラの撮像画像から移動物体の検出を行い、パンチルトカメラの撮像方向を検出された移動物体の方向に向けることで、移動物体の追跡を可能としている。 Patent Document 1 (Japanese Patent No. 3963261) describes a system in which a wide-angle camera including a wide-angle lens including a fish-eye lens and a pan-tilt camera having a pan and tilt function are combined. According to Patent Literature 1, a moving object is detected from an image captured by a wide-angle camera, and the imaging direction of the pan-tilt camera is directed to the detected moving object, thereby enabling tracking of the moving object.

しかし、従来は、送信時に通信遅延が生ずると、受信装置で受信される受信画像が低解像度となり、ユーザの操作にストレスを与える恐れがある。 However, conventionally, if a communication delay occurs at the time of transmission, the received image received by the receiving device has a low resolution, and there is a possibility that the operation of the user may be stressed.

本発明は、上述の課題に鑑みてなされたものであり、通信遅延時に低解像度の受信画像となる不都合を軽減した配信装置、カメラ装置、配信システム、配信方法及び配信プログラムの提供を目的とする。 The present invention has been made in view of the above-described problems, and has as its object to provide a distribution device, a camera device, a distribution system, a distribution method, and a distribution program that reduce the inconvenience of receiving a low-resolution image when communication is delayed. .

上述した課題を解決し、目的を達成するために、本発明は、撮像装置で撮像された撮像画像を取得する取得部と、取得した撮像画像の全領域のうち、受信装置で表示される部分的な領域である部分領域の画像を高画質化すると共に、部分領域を左右方向又は上下方向に延長した延長領域の画像を高画質化又は中画質化し、部分領域及び延長領域以外の領域の画像を低画質化した合成画像を生成する生成部と、生成された合成画像を、受信装置に送信する送信部とを有する。 In order to solve the above-described problem and achieve the object, the present invention provides an acquisition unit that acquires a captured image captured by an imaging device, and a part of the entire captured image that is displayed by a reception device. The image quality of the image of the partial area, which is a partial area, is enhanced, and the image of the extended area obtained by extending the partial area in the left-right direction or the vertical direction is enhanced or medium-quality, and the image of the area other than the partial area and the extended area is obtained. And a transmitting unit that transmits the generated composite image to the receiving device.

本発明によれば、通信遅延時に低解像度の受信画像となる不都合を軽減できるという効果を奏する。 ADVANTAGE OF THE INVENTION According to this invention, there exists an effect that the inconvenience which becomes a low resolution received image at the time of communication delay can be reduced.

図１は、実施の形態の配信システムのシステム構成を示す図である。FIG. 1 is a diagram illustrating a system configuration of a distribution system according to an embodiment. 図２は、全天球カメラの外観の構成を示す図である。FIG. 2 is a diagram showing the configuration of the appearance of the spherical camera. 図３は、全天球カメラのブロック図である。FIG. 3 is a block diagram of the spherical camera. 図４は、全天球カメラによって撮影された映像の一例を示す図である。FIG. 4 is a diagram illustrating an example of an image captured by a spherical camera. 図５は、全天球カメラの映像処理部による全天球画像の生成の仕方を説明するための図である。FIG. 5 is a diagram for explaining a method of generating an omnidirectional image by the video processing unit of the omnidirectional camera. 図６は、配信装置のブロック図である。FIG. 6 is a block diagram of the distribution device. 図７は、配信装置の機能ブロック図である。FIG. 7 is a functional block diagram of the distribution device. 図８は、受信装置のハードウェア構成を示す図である。FIG. 8 is a diagram illustrating a hardware configuration of the receiving device. 図９は、受信装置の機能ブロック図である。FIG. 9 is a functional block diagram of the receiving device. 図１０は、配信装置の配信動作の流れを示すフローチャートである。FIG. 10 is a flowchart illustrating the flow of the distribution operation of the distribution device. 図１１は、全天球画像のうち、高画質化する領域を説明するための図である。FIG. 11 is a diagram for explaining an area where the image quality is improved in the omnidirectional image. 図１２は、受信装置の処理の流れを示すフローチャートである。FIG. 12 is a flowchart showing the flow of the processing of the receiving device. 図１３は、指定領域を説明するための図である。FIG. 13 is a diagram for explaining the designated area. 図１４は、指定領域を説明するための他の図である。FIG. 14 is another diagram for explaining the designated area. 図１５は、実施の形態の第１の変形例を説明するための図である。FIG. 15 is a diagram for describing a first modification of the embodiment. 図１６は、実施の形態の第２の変形例を説明するための図である。FIG. 16 is a diagram for describing a second modification of the embodiment.

以下、配信装置、カメラ装置、配信システム、配信方法及び配信プログラムを適用した実施の形態となる配信システムの説明をする。 Hereinafter, a distribution system according to an embodiment to which a distribution device, a camera device, a distribution system, a distribution method, and a distribution program are applied will be described.

（システム構成）
図１は、実施の形態の配信システムのシステム構成を示す図である。この図１に示すように、配信システム１は、配信装置１０と受信装置４０とを含む。配信装置１０は、ネットワーク２を介して受信装置４０と接続可能とされている。例えば、受信装置４０は、無線通信が可能であって、ネットワーク２に接続されるＡＰ（アクセスポイント）３と無線通信を用いて通信して、ネットワーク２に接続される。 (System configuration)
FIG. 1 is a diagram illustrating a system configuration of a distribution system according to an embodiment. As shown in FIG. 1, the distribution system 1 includes a distribution device 10 and a receiving device 40. The distribution device 10 can be connected to the receiving device 40 via the network 2. For example, the receiving device 40 is capable of wireless communication, communicates with an AP (access point) 3 connected to the network 2 using wireless communication, and is connected to the network 2.

配信装置１０には、撮影装置の一例である全天球カメラ２０が接続される。なお、全天球カメラ２０の代りに、通常の画角のカメラ装置を設けてもよい。 The omnidirectional camera 20 which is an example of a photographing device is connected to the distribution device 10. Note that, instead of the spherical camera 20, a camera device having a normal angle of view may be provided.

全天球カメラ２０は、例えばそれぞれ画角が１８０°以上である２枚の魚眼レンズと、ミラーあるいはプリズムを含む光学系とを組み合わせて、画角が４π［ｓｒ］（ステラジアン）の撮影画像を取得可能となっている。以降、この全天球カメラ２０で撮影された、画角が４π［ｓｒ］（ステラジアン）の撮影画像を全天球画像と呼び、この４π［ｓｒ］の立体角の中心を画角中心と呼ぶ。また、全天球カメラ２０は、動画として撮影された全天球画像を出力可能である。全天球カメラ２０から出力された全天球画像は、配信装置１０に送信される。全天球カメラ２０は、例えば三脚２１により保持されて設置される。 The spherical camera 20 obtains a captured image having an angle of view of 4π [sr] (steradian) by combining, for example, two fish-eye lenses each having an angle of view of 180 ° or more and an optical system including a mirror or a prism. It is possible. Hereinafter, an image captured by the spherical camera 20 and having a view angle of 4π [sr] (steradian) is referred to as a spherical image, and the center of the solid angle of 4π [sr] is referred to as a view angle center. . Further, the omnidirectional camera 20 can output an omnidirectional image captured as a moving image. The spherical image output from the spherical camera 20 is transmitted to the distribution device 10. The spherical camera 20 is installed while being held by, for example, a tripod 21.

受信装置４０としては、例えばスマートフォン又はタブレット型のコンピュータ装置等を用いることができる。受信装置４０は、表示デバイスと、操作位置に応じた制御信号を出力する入力デバイスとが一体的に構成されたタッチパネル４２を有し、例えばＡＰ３から受信した受信信号に基づく画面をタッチパネル４２に表示させる。タッチパネル４２は、表示される画面に対する操作に応じた制御信号を出力する。 As the receiving device 40, for example, a smartphone or a tablet-type computer device can be used. The receiving device 40 has a touch panel 42 in which a display device and an input device that outputs a control signal according to an operation position are integrally formed. For example, a screen based on a received signal received from the AP 3 is displayed on the touch panel 42. Let it. Touch panel 42 outputs a control signal according to an operation on a displayed screen.

このような実施の形態の配信システム１において、配信装置１０は、全天球カメラ２０から出力された全天球画像を、ネットワーク２を介して受信装置４０に送信する。受信装置４０は、配信装置１０から受信した全天球画像のうち、指定領域の画像（全体のうちの一部の画像）を、タッチパネル４２に表示する。 In the distribution system 1 according to such an embodiment, the distribution device 10 transmits the omnidirectional image output from the omnidirectional camera 20 to the receiving device 40 via the network 2. The receiving device 40 displays, on the touch panel 42, the image of the designated region (a part of the whole image) among the omnidirectional images received from the distribution device 10.

ここで、受信装置４０において、タッチパネル４２に指定領域の画像が表示された状態で、タッチパネル４２上の任意の位置が、ユーザの手指４１等で接触操作された場合について考える。タッチパネル４２が手指４１等で接触操作された後、タッチパネル４２に対する手指４１の接触状態が保たれたまま手指４１の位置が移動されたとする。受信装置４０は、この手指４１のタッチパネル４２への接触状態を保った状態での移動を検知すると、移動方向および移動距離に応じて、全天球画像における指定領域の位置を移動させる。ここでは、タッチパネル４２上での手指４１の移動方向と、全天球画像における指定領域の移動方向とを一致させるものとする。これにより、ユーザは、タッチパネル４２に表示される画面により、全天球画像の所望の領域を指定して閲覧することができる。 Here, a case is considered where, in the receiving device 40, an arbitrary position on the touch panel 42 is touched with the user's finger 41 or the like while the image of the designated area is displayed on the touch panel 42. It is assumed that after the touch operation of the touch panel 42 with the finger 41 or the like, the position of the finger 41 is moved while the contact state of the finger 41 with the touch panel 42 is maintained. Upon detecting the movement of the finger 41 while keeping the state of contact with the touch panel 42, the receiving device 40 moves the position of the designated area in the omnidirectional image according to the moving direction and the moving distance. Here, it is assumed that the moving direction of the finger 41 on the touch panel 42 matches the moving direction of the designated area in the omnidirectional image. Thus, the user can specify and view a desired area of the omnidirectional image on the screen displayed on the touch panel 42.

なお、手指４１をタッチパネル４２に接触させる行為を、「タップ」と呼ぶ。また、手指４１をタッチパネル４２に接触させた状態を保った状態でタッチパネル４２上を移動させる行為を、「スワイプ」と呼ぶ。 The act of bringing the finger 41 into contact with the touch panel 42 is referred to as “tap”. The act of moving the finger 41 on the touch panel 42 while keeping the finger 41 in contact with the touch panel 42 is referred to as “swipe”.

次に、ユーザが、スワイプを行う手指４１の動きを、手指４１のタッチパネル４２への接触を保った状態で所定時間（例えば１秒）停止させたものとする。この場合、受信装置４０は、タッチパネル４２に表示される指定領域における手指４１の位置に対応する全天球画像の位置（座標）を取得し、取得した位置を示す位置情報を配信装置１０に送信する。 Next, it is assumed that the user stops the movement of the finger 41 performing the swipe for a predetermined time (for example, one second) while keeping the finger 41 in contact with the touch panel 42. In this case, the receiving device 40 acquires the position (coordinates) of the omnidirectional image corresponding to the position of the finger 41 in the designated area displayed on the touch panel 42, and transmits position information indicating the acquired position to the distribution device 10. I do.

配信装置１０は、受信装置４０から送信された位置情報を受信すると、受信した位置情報が示す位置を中心とする全天球画像が受信装置４０に送信する。後述するが、配信装置１０は、受信装置４０に送信する全天球画像のうち、中心に位置する指定領域は高画質の画像で送信する。また、配信装置１０は、指定領域の左右の領域は中画質の画像で送信する。また、配信装置１０は、指定領域及び指定領域の左右の領域の上下の領域（＝指定領域及び指定領域の左右の領域）は、低画質の画像で送信する。 When receiving the position information transmitted from the receiving device 40, the distribution device 10 transmits an omnidirectional image centered on the position indicated by the received position information to the receiving device 40. As will be described later, the distribution device 10 transmits a designated area located at the center of the omnidirectional image transmitted to the reception device 40 as a high-quality image. In addition, the distribution device 10 transmits the left and right regions of the designated region as medium-quality images. In addition, the distribution device 10 transmits low-quality images in the designated region and the upper and lower regions of the left and right regions of the designated region (= the designated region and the left and right regions of the designated region).

スワイプは、上下に操作される可能性よりも、左右に操作される可能性の方が高い。このため、指定領域の左右の領域の画像として中画質の画像を、配信装置１０から受信装置４０に予め送信しておくことで、左右のスワイプに応じて、中画質の画像を表示可能とすることができる。なお、この例では、指定領域の左右の領域の画像として中画質の画像を送信することとして説明するが、指定領域の左右の領域の画像として高画質の画像を送信してもよい。 The swipe is more likely to be operated left and right than the up and down operation. For this reason, by transmitting a medium-quality image as an image of the left and right regions of the designated region from the distribution device 10 to the receiving device 40 in advance, the medium-quality image can be displayed according to the left and right swipe. be able to. In this example, a description will be given assuming that a medium-quality image is transmitted as an image of the left and right areas of the designated area. However, a high-quality image may be transmitted as an image of the left and right areas of the designated area.

なお、高画質としては、例えばＨＤ（High Definition）画質（１２８０画素×＊７２０画素）、フルＨＤ画質（１９２０画素×１０８０画素）又は４Ｋ画質（３８４０画素×１９２０画素）等の画質である。また、中画質は、例えば「９６０画素×７２０画素」等の標準的な画質である。また、低画質は、「４８０画素×３６０画素」等の標準的な画質よりも低い画質である。このような画質の定義は、一例である。このため、高画質、中画質及び低画質は、総画素数等が「高画質＞中画質＞低画質」となるように、相対的に決定すればよい（比較によって決定すればよい）。 The high image quality is, for example, image quality such as HD (High Definition) image quality (1280 pixels × * 720 pixels), full HD image quality (1920 pixels × 1080 pixels), or 4K image quality (3840 pixels × 1920 pixels). The medium image quality is a standard image quality such as “960 pixels × 720 pixels”. The low image quality is an image quality lower than a standard image quality such as “480 pixels × 360 pixels”. This definition of image quality is an example. For this reason, the high image quality, the medium image quality, and the low image quality may be relatively determined so that the total number of pixels or the like is “high image quality> medium image quality> low image quality” (may be determined by comparison).

（全天球カメラの外観の構成）
図２は、全天球カメラ２０の外観の構成を示す図である。このうち、図２（ａ）は、全天球カメラ２０の上面図、図２（ｂ）は、全天球カメラ２０の正面図を示している。図２（ａ）において、レンズ２１０ａおよび２１０ｂは、それぞれ全天球カメラ２０の前面側および後方側の光を、２π［ｓｒ］以上の画角で集光する。図２（ｂ）において、全天球カメラ２０の前面側には、レンズ２１０ａの他に、シャッタボタン２１１、電源ランプ２１２およびモード表示部２１３が設けられる。モード表示部２１３は、現在、選択されている全天球カメラ２０の撮影モード（静止画撮影モード又は動画撮影モード）を示す。 (External configuration of spherical camera)
FIG. 2 is a diagram illustrating a configuration of an external appearance of the spherical camera 20. 2A shows a top view of the omnidirectional camera 20 and FIG. 2B shows a front view of the omnidirectional camera 20. In FIG. 2A, the lenses 210a and 210b collect the light on the front side and the rear side of the spherical camera 20 at an angle of view of 2π [sr] or more, respectively. In FIG. 2B, a shutter button 211, a power lamp 212, and a mode display unit 213 are provided on the front side of the spherical camera 20 in addition to the lens 210a. The mode display unit 213 indicates the currently selected shooting mode (still image shooting mode or moving image shooting mode) of the spherical camera 20.

図３は、全天球カメラ２０のブロック図である。この図３において、全天球カメラ２０は、撮影系の構成として、撮影ユニット２２０と、映像処理部２２３と、撮影制御部２２４とを含む。また、制御系の構成として、ＣＰＵ(Central Processing Unit)２３０と、ＲＯＭ(Read Only Memory)２３１と、ＲＡＭ(Random Access Memory)２３２と、操作Ｉ／Ｆ（インタフェース）２３３と、スイッチ２３４と、データＩ／Ｆ２３５と、無線Ｉ／Ｆ２３６と、これら各部を接続するバス２３７と、を含む。また、バス２３７には、映像処理部２２３および撮影制御部２２４も接続される。 FIG. 3 is a block diagram of the spherical camera 20. 3, the omnidirectional camera 20 includes a photographing unit 220, a video processing unit 223, and a photographing control unit 224 as a structure of a photographing system. The control system includes a CPU (Central Processing Unit) 230, a ROM (Read Only Memory) 231, a RAM (Random Access Memory) 232, an operation I / F (interface) 233, a switch 234, a data An I / F 235, a wireless I / F 236, and a bus 237 connecting these components are included. Further, to the bus 237, a video processing unit 223 and a photographing control unit 224 are also connected.

制御系の構成において、ＣＰＵ２３０は、ＲＯＭ２３１に予め記憶されるプログラムに従い、ＲＡＭ２３２をワークメモリとして用いて動作して、この全天球カメラ２０の全体の動作を制御する。スイッチ２３４は、上述したシャッタボタン２１１など１以上の操作子を含み、操作に応じた制御信号を出力する。スイッチ２３４から出力された制御信号は、操作Ｉ／Ｆ２３３を介してバス２３７に送られ、ＣＰＵ２３０に渡される。 In the configuration of the control system, the CPU 230 operates using the RAM 232 as a work memory according to a program stored in the ROM 231 in advance, and controls the overall operation of the omnidirectional camera 20. The switch 234 includes one or more operators such as the shutter button 211 described above, and outputs a control signal according to the operation. The control signal output from the switch 234 is sent to the bus 237 via the operation I / F 233 and passed to the CPU 230.

データＩ／Ｆ２３５は、ＵＳＢ(Universal Serial Bus)などのデータ通信に対応するインタフェースであって、ＣＰＵ２３０の制御に従い、外部の機器との間でデータ通信を行う。データＩ／Ｆ２３５による接続を行うためのコネクタは、例えば全天球カメラ２０の底面側に設けられる。無線Ｉ／Ｆ２３６は、ＣＰＵ２３０の制御に従い無線通信を行う。 The data I / F 235 is an interface corresponding to data communication such as USB (Universal Serial Bus), and performs data communication with an external device under the control of the CPU 230. A connector for performing connection by the data I / F 235 is provided, for example, on the bottom surface side of the spherical camera 20. The wireless I / F 236 performs wireless communication under the control of the CPU 230.

撮影系の構成において、撮影ユニット２２０は、全天球カメラ２０の前面側の撮影を行うための前面撮影素子２２１ａと、後方側の撮影を行うための後方撮影素子２２１ｂとを含む。前面撮影素子２２１ａおよび後方撮影素子２２１ｂは、それぞれ例えばＣＣＤ(Charge Coupled Device)を用いて構成され、レンズ２１０ａおよびレンズ２１０ｂから入射された光を電気信号に変換して撮影信号として出力する。 In the configuration of the photographing system, the photographing unit 220 includes a front photographing element 221a for photographing the front side of the spherical camera 20 and a rear photographing element 221b for photographing the rear side. The front photographing element 221a and the rear photographing element 221b are each configured using, for example, a CCD (Charge Coupled Device), and convert light incident from the lenses 210a and 210b into electric signals and output them as photographing signals.

撮像制御部２２４は、ＣＰＵ２３０の制御に従い、前面撮影素子２２１ａおよび後方撮影素子２２１ｂにおける撮影タイミングなど撮影処理の制御を行う。映像処理部２２３は、前面撮影素子２２１ａおよび後方撮影素子２２１ｂから出力された各信号に、ノイズ除去、レベル補正などの所定の処理を施し、その後Ａ／Ｄ変換してデジタル方式のデータによる撮影画像に変換する。さらに、映像処理部２２３は、前面撮影素子２２１ａおよび後方撮影素子２２１ｂによる各撮影画像を合成して、ＸＹ座標系による２次元の画像（全天球画像と呼ぶ）を生成する。映像処理部２２３で生成された全天球画像は、例えばデータＩ／Ｆ２３５から外部に出力することができる。 The imaging control unit 224 controls the imaging process such as the imaging timing of the front imaging element 221a and the rear imaging element 221b under the control of the CPU 230. The video processing unit 223 performs predetermined processing such as noise removal and level correction on each signal output from the front imaging element 221a and the rear imaging element 221b, and then performs A / D conversion to obtain a captured image using digital data. Convert to Further, the video processing unit 223 combines the captured images obtained by the front imaging element 221a and the rear imaging element 221b to generate a two-dimensional image (referred to as a spherical image) in an XY coordinate system. The spherical image generated by the video processing unit 223 can be output from the data I / F 235 to the outside, for example.

（撮影される映像の例）
図４は、全天球カメラ２０によって撮影された映像の一例を示す図である。このうち、図４（ａ）は、全天球カメラ２０の前面撮影素子２２１ａによって撮影された映像の例、図４（ｂ）は後方撮影素子２２１ｂによって撮影された映像の例である。なお、図４（ａ）と図４（ｂ）とでは、映像の天地が逆になっている。これは、光学系を簡略化し、全天球カメラ２０の筐体の前面および後方に配置されたレンズ２１０ａおよび２１０ｂから入射した光線を１つのミラーの表裏で上下に反射し、反射光の光軸上に前面撮影素子２２１ａと後方撮影素子２２１ｂとを配置したことによる。図４（ａ）および図４（ｂ）の映像は、映像処理部２２３により１つの映像に合成され、図４（ｃ）に例示する、正距円筒図法による全天球画像が形成される。 (Example of video to be shot)
FIG. 4 is a diagram illustrating an example of an image captured by the spherical camera 20. 4A shows an example of an image captured by the front imaging element 221a of the spherical camera 20, and FIG. 4B shows an example of an image captured by the rear imaging element 221b. 4A and 4B, the image is upside down. This simplifies the optical system, reflects light rays incident from the lenses 210a and 210b disposed on the front and rear of the housing of the spherical camera 20 up and down on the front and back of one mirror, and the optical axis of the reflected light. This is because the front photographing element 221a and the rear photographing element 221b are arranged above. The images in FIGS. 4A and 4B are combined into one image by the image processing unit 223 to form a spherical image by the equirectangular projection illustrated in FIG. 4C.

（全天球画像の生成の仕方）
図５は、全天球カメラ２０の映像処理部２２３による全天球画像の生成の仕方を説明するための図である。図５において、上段は、前面撮影素子２２１ａと後方撮影素子２２１ｂから得られる各映像の画素位置に対し、水平方向の角度θと垂直方向の角度φとの対応関係を示している。上段の左右では、一方の映像の天地が逆になっていることに対応し、角度φの正負が逆になっている。 (How to generate a spherical image)
FIG. 5 is a diagram for explaining how the image processing unit 223 of the spherical camera 20 generates a spherical image. In FIG. 5, the upper part shows the correspondence between the horizontal angle θ and the vertical angle φ with respect to the pixel position of each image obtained from the front imaging element 221a and the rear imaging element 221b. On the upper left and right sides, the sign of the angle φ is reversed, corresponding to the upside down of one image.

映像処理部２２３は、上段に示す各映像に含まれる各画素に対し、角度θと角度φとを直交する座標に変換するルックアップテーブルに基づいて、中段に示す各映像への変換を行う。次いで、映像処理部２２３は、中段に示す２つの映像を合成し、下段に示す、角度θが０°〜３６０°である１の映像を生成する。そして、これを３角形状のポリゴンに分解し、角度θと角度φと対応付けて３次元データとする。これが全天球画像として、映像処理部２２３から出力される。 The image processing unit 223 converts each pixel included in each image shown in the upper part into each image shown in the middle part based on a look-up table that converts the angle θ and the angle φ into orthogonal coordinates. Next, the video processing unit 223 combines the two videos shown in the middle, and generates one video whose angle θ is 0 ° to 360 ° shown in the lower. Then, this is decomposed into triangular polygons, and is made three-dimensional data in association with the angles θ and φ. This is output from the video processing unit 223 as a spherical image.

（配信装置のハードウェア構成）
図６は、配信装置１０のブロック図である。この図６において、配信装置１０は、ＣＰＵ１０００と、ＲＯＭ１００１と、ＲＡＭ１００２と、映像出力Ｉ／Ｆ１００３と、操作部Ｉ／Ｆ１００９と、を含み、これら各部がバス１０１１に接続される。配信装置１０は、さらに、通信Ｉ／Ｆ１００４と、データＩ／Ｆ１００５と、映像入力Ｉ／Ｆ１００６および１００７と、オーディオＩ／Ｆ１００８と、を含み、これら各部がバス１０１１に接続される。このように、配信装置１０は、バス１０１１で接続されたＣＰＵ１０００、ＲＯＭ１００１およびＲＡＭ１００２を含むコンピュータが搭載されていると考えることができる。 (Hardware configuration of distribution device)
FIG. 6 is a block diagram of the distribution device 10. 6, the distribution device 10 includes a CPU 1000, a ROM 1001, a RAM 1002, a video output I / F 1003, and an operation unit I / F 1009, and these units are connected to a bus 1011. The distribution device 10 further includes a communication I / F 1004, a data I / F 1005, video input I / Fs 1006 and 1007, and an audio I / F 1008, and these units are connected to the bus 1011. As described above, the distribution device 10 can be considered to include a computer including the CPU 1000, the ROM 1001, and the RAM 1002 connected by the bus 1011.

ＣＰＵ１０００は、ＲＯＭ１００１に予め記憶されるプログラムに従い、ＲＡＭ１００２をワークメモリとして用いて動作して、この配信装置１０の全体の動作を制御する。映像出力Ｉ／Ｆ１００３は、この配信装置１０にディスプレイを接続する際のインタフェースである。映像出力Ｉ／Ｆ１００３は、例えば、ＣＰＵ１０００からバス１０１１を介して供給された画像（映像）を、ディスプレイが対応可能な形式に変換して出力する。 The CPU 1000 operates using the RAM 1002 as a work memory in accordance with a program stored in the ROM 1001 in advance, and controls the overall operation of the distribution device 10. The video output I / F 1003 is an interface for connecting a display to the distribution device 10. The video output I / F 1003 converts, for example, an image (video) supplied from the CPU 1000 via the bus 1011 into a format compatible with the display, and outputs the converted image.

操作部Ｉ／Ｆ１００９は、操作入力部１０１０が接続される。操作入力部１０１０は、この配信装置１０を手動にて操作するための各種操作子を含み、操作に応じた制御信号を出力する。操作入力部１０１０から出力された制御信号は、操作部Ｉ／Ｆ１００９を介してバス１０１１に送られ、ＣＰＵ１０００に渡される。 The operation unit I / F 1009 is connected to the operation input unit 1010. The operation input unit 1010 includes various operators for manually operating the distribution device 10, and outputs a control signal according to the operation. The control signal output from the operation input unit 1010 is sent to the bus 1011 via the operation unit I / F 1009 and passed to the CPU 1000.

映像出力Ｉ／Ｆ１００３は、この配信装置１０にディスプレイを接続する際のインタフェースである。映像出力Ｉ／Ｆ１００３は、例えば、ＣＰＵ１０００からバス１０１１を介して供給された画像（映像）を、ディスプレイが対応可能な形式に変換して出力する。 The video output I / F 1003 is an interface for connecting a display to the distribution device 10. The video output I / F 1003 converts, for example, an image (video) supplied from the CPU 1000 via the bus 1011 into a format compatible with the display, and outputs the converted image.

通信Ｉ／Ｆ１００４は、ＣＰＵ１０００の制御に従い、ネットワーク２に対する通信を制御する。データＩ／Ｆ１００５は、ＵＳＢなどのデータ通信に対応するインタフェースであって、ＣＰＵ１０００の制御に従い、外部の機器との間でデータ通信を行う事が可能である。例えば、全天球カメラ２０のデータＩ／Ｆ２３５とデータＩ／Ｆ１００５とを接続し、配信装置１０から全天球カメラ２０動作を、データＩ／Ｆ１００５を介して制御することができる。 The communication I / F 1004 controls communication with the network 2 under the control of the CPU 1000. The data I / F 1005 is an interface corresponding to data communication such as USB, and can perform data communication with an external device under the control of the CPU 1000. For example, the data I / F 235 of the spherical camera 20 and the data I / F 1005 are connected, and the operation of the spherical camera 20 can be controlled from the distribution device 10 via the data I / F 1005.

映像入力Ｉ／Ｆ１００６および１００７は、それぞれ、外部からの画像（映像）の入力を受け付け、入力された画像をバス１０１１に出力する。例えば、上述した全天球カメラ２０から出力された全天球画像は、映像入力Ｉ／Ｆ１００６又は１００７に入力され、ＣＰＵ１０００に渡される。なお、通信Ｉ／Ｆ１００４やデータＩ／Ｆ１００５を、映像入力Ｉ／Ｆ１００６および１００７として用いることも可能である。 The video input I / Fs 1006 and 1007 each receive an input of an external image (video) and output the input image to the bus 1011. For example, the spherical image output from the spherical camera 20 described above is input to the video input I / F 1006 or 1007 and passed to the CPU 1000. Note that the communication I / F 1004 and the data I / F 1005 can be used as the video input I / Fs 1006 and 1007.

オーディオＩ／Ｆ１００８は、バス１０１１を介して供給されたデジタル方式の音声信号をＤ／Ａ変換によりアナログ方式の音声信号に変換し、さらに増幅等の処理を施して出力し、例えばスピーカに供給する。また、オーディオＩ／Ｆ１００８は、マイクロホンから入力されたアナログ方式の音声信号をＡ／Ｄ変換によりデジタル方式の音声信号に変換して、バス１０１１に出力する。 The audio I / F 1008 converts a digital audio signal supplied via the bus 1011 into an analog audio signal by D / A conversion, further performs processing such as amplification, and outputs the signal, and supplies the signal to, for example, a speaker. . The audio I / F 1008 converts an analog audio signal input from a microphone into a digital audio signal by A / D conversion, and outputs the digital audio signal to the bus 1011.

（配信装置の機能）
図７は、配信装置１０の機能ブロック図である。この図７において、配信装置１０は、制御部１００と、通信部１０１と、生成部１０２と、取得部１０３と、を含む。これら制御部１００、通信部１０１、生成部１０２および取得部１０３は、ＣＰＵ１０００上で動作する配信プログラムにより構成される。これに限らず、制御部１００、通信部１０１、生成部１０２および取得部１０３の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。 (Function of distribution device)
FIG. 7 is a functional block diagram of the distribution device 10. 7, the distribution device 10 includes a control unit 100, a communication unit 101, a generation unit 102, and an acquisition unit 103. The control unit 100, the communication unit 101, the generation unit 102, and the acquisition unit 103 are configured by a distribution program operating on the CPU 1000. However, the invention is not limited thereto, and some or all of the control unit 100, the communication unit 101, the generation unit 102, and the acquisition unit 103 may be configured by hardware circuits that operate in cooperation with each other.

制御部１００は、通信部１０１、生成部１０２および取得部１０３を含む配信装置１０の全体の動作を制御する。通信部１０１は、通信Ｉ／Ｆ１００４を制御して、ネットワーク２を介した通信を行う。生成部１０２は、ユーザのスワイプに応じて、上述のように高中低の各画質の画像で形成された全天球画像を形成する。 The control unit 100 controls the entire operation of the distribution device 10 including the communication unit 101, the generation unit 102, and the acquisition unit 103. The communication unit 101 controls the communication I / F 1004 to perform communication via the network 2. The generation unit 102 forms an omnidirectional image formed of high, medium, and low image quality images as described above in response to a user swipe.

取得部１０３は、全天球カメラ２０で撮像された全天球画像を取得する。取得部１０３により取得された情報は、制御部１００の制御により、通信部１０１を介して受信装置４０に送信される。 The acquisition unit 103 acquires an omnidirectional image captured by the omnidirectional camera 20. The information acquired by the acquiring unit 103 is transmitted to the receiving device 40 via the communication unit 101 under the control of the control unit 100.

このような図７に示す各機能と実現するための、配信装置１０の配信プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該配信プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該配信プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。 The distribution program of the distribution apparatus 10 for realizing each of the functions shown in FIG. 7 is a file in an installable format or an executable format in a CD (Compact Disk), a flexible disk (FD), a DVD (Digital It is provided by being recorded on a computer-readable recording medium such as a Versatile Disk. However, the present invention is not limited to this, and the distribution program may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. Further, the distribution program may be provided or distributed via a network such as the Internet.

この配信プログラムは、制御部１００、通信部１０１、生成部１０２および取得部１０３を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１０００がＲＯＭ１００１などの記憶媒体から当該配信プログラムを読み出して実行することにより、上述した各部がＲＡＭ１００２などの主記憶装置上にロードされ、制御部１００、通信部１０１、生成部１０２および取得部１０３が主記憶装置上に生成されるようになっている。 This distribution program has a module configuration including a control unit 100, a communication unit 101, a generation unit 102, and an acquisition unit 103. As actual hardware, the CPU 1000 reads out the distribution program from a storage medium such as the ROM 1001 and executes the distribution program, whereby the above-described units are loaded onto a main storage device such as the RAM 1002, and the control unit 100, the communication unit 101, and the The unit 102 and the acquisition unit 103 are generated on the main storage device.

なお、実施の形態の例では、このような配信装置１０と全天球カメラ２０とは別の装置として設けられていることとして説明を進めるが、全天球カメラ２０内に配信装置１０を設けることで、全天球カメラ２０と配信装置１０とは一つの装置として設けてもよい。この場合、図１に示す構成は、全天球カメラ２０がネットワーク２を介して受信装置４０と通信を行う構成となる。 In the example of the embodiment, description will be made assuming that the distribution device 10 and the spherical camera 20 are provided as separate devices, but the distribution device 10 is provided in the spherical camera 20. Thus, the spherical camera 20 and the distribution device 10 may be provided as one device. In this case, the configuration shown in FIG. 1 is a configuration in which the omnidirectional camera 20 communicates with the receiving device 40 via the network 2.

（受信装置のハードウェア構成）
図８は、受信装置４０のハードウェア構成を示す図である。この図８において、受信装置４０は、ＣＰＵ４０００と、ＲＯＭ４００１と、ＲＡＭ４００２と、オーディオＩ／Ｆ４００３と、ストレージ４００４と、通信Ｉ／Ｆ４００５と、映像出力Ｉ／Ｆ４００６と、入力Ｉ／Ｆ４００７と、を含み、これら各部がバス４０１０により接続される。このように、受信装置４０は、バス４０１０で接続されたＣＰＵ４０００、ＲＯＭ４００１およびＲＡＭ４００２を含むコンピュータが設けられていると考えることができる。 (Hardware configuration of receiving device)
FIG. 8 is a diagram illustrating a hardware configuration of the receiving device 40. 8, the receiving device 40 includes a CPU 4000, a ROM 4001, a RAM 4002, an audio I / F 4003, a storage 4004, a communication I / F 4005, a video output I / F 4006, and an input I / F 4007. , These parts are connected by a bus 4010. Thus, the receiving device 40 can be considered to be provided with a computer including the CPU 4000, the ROM 4001, and the RAM 4002 connected by the bus 4010.

ストレージ４００４は、記憶部の一例であり、不揮発性メモリやハードディスクドライブといった不揮発性の記憶媒体であって、ＣＰＵ４０００が動作するためのプログラムや、各種データを記憶することができる。ＣＰＵ４０００は、ＲＯＭ４００１およびストレージ４００４に予め記憶されるプログラムに従い、ＲＡＭ４００２をワークメモリとして用いて動作して、この受信装置４０の全体の動作を制御する。 The storage 4004 is an example of a storage unit, and is a non-volatile storage medium such as a non-volatile memory or a hard disk drive, and can store a program for operating the CPU 4000 and various data. The CPU 4000 operates using the RAM 4002 as a work memory according to a program stored in the ROM 4001 and the storage 4004 in advance, and controls the overall operation of the receiving device 40.

映像出力Ｉ／Ｆ４００６は、ディスプレイ４００８ａが接続され、ＣＰＵ４０００からバス４０１０を介して供給された画像（映像）や表示制御信号を、ディスプレイ４００８ａが対応可能な形式に変換して出力する。例えば、映像出力Ｉ／Ｆ４００６は、ディスプレイ４００８ａの各画素に対応して画像を記憶するフレームメモリを含み、フレームメモリに画素単位で記憶された画像をディスプレイ４００８ａに転送する。なお、ディスプレイ４００８ａは、例えばＬＣＤ(Liquid Crystal Display)による表示デバイスと、表示デバイスを駆動する駆動回路を含む。 The video output I / F 4006 is connected to the display 4008a, and converts an image (video) or a display control signal supplied from the CPU 4000 via the bus 4010 into a format that can be supported by the display 4008a and outputs it. For example, the video output I / F 4006 includes a frame memory that stores an image corresponding to each pixel of the display 4008a, and transfers an image stored in the frame memory in pixel units to the display 4008a. Note that the display 4008a includes a display device such as an LCD (Liquid Crystal Display) and a drive circuit for driving the display device.

入力Ｉ／Ｆ４００７は、位置に応じた制御信号を出力する入力デバイス４００８ｂが接続され、入力デバイス４００８ｂから出力された制御信号をＣＰＵ４０００が対応可能な形式に変換して、バス４０１０を介してＣＰＵ４０００に渡す。これらディスプレイ４００８ａと、入力デバイス４００８ｂとが一体的に形成されて、図１に示すタッチパネル４２が構成される。 The input I / F 4007 is connected to an input device 4008b that outputs a control signal corresponding to the position, converts the control signal output from the input device 4008b into a format that can be supported by the CPU 4000, and sends the control signal to the CPU 4000 via the bus 4010. hand over. The display 4008a and the input device 4008b are integrally formed to constitute the touch panel 42 shown in FIG.

通信Ｉ／Ｆ４００５は、無線通信による送受信の機能を備え、ＣＰＵ４０００の制御に従い、ＡＰ３と通信を行い、ネットワーク２を介した通信を行う。オーディオＩ／Ｆ４００３は、バス４０１０から供給されたデジタル方式の音声信号をＤ／Ａ変換によりアナログ方式の音声信号に変換し、さらに、増幅などの処理を施してスピーカＳＰ４０２０に出力する。 The communication I / F 4005 has a function of transmission and reception by wireless communication, performs communication with the AP 3 under the control of the CPU 4000, and performs communication via the network 2. The audio I / F 4003 converts the digital audio signal supplied from the bus 4010 into an analog audio signal by D / A conversion, further performs processing such as amplification, and outputs the analog audio signal to the speaker SP4020.

（受信装置の機能）
図９は、受信装置４０の機能ブロック図である。この図９において、受信装置４０は、制御部４００と、通信部４０１と、ＵＩ部４０２と、表示制御部４０３と、位置指定部４０６と、を含む。これら制御部４００、通信部４０１、ＵＩ部４０２、表示制御部４０３および位置指定部４０６は、ＣＰＵ４０００上で動作する受信プログラムにより構成される。これに限らず、制御部４００、通信部４０１、ＵＩ部４０２、表示制御部４０３および位置指定部４０６の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。 (Receiver function)
FIG. 9 is a functional block diagram of the receiving device 40. In FIG. 9, the receiving device 40 includes a control unit 400, a communication unit 401, a UI unit 402, a display control unit 403, and a position designation unit 406. The control unit 400, the communication unit 401, the UI unit 402, the display control unit 403, and the position designation unit 406 are configured by a reception program that operates on the CPU 4000. However, the present invention is not limited thereto, and some or all of the control unit 400, the communication unit 401, the UI unit 402, the display control unit 403, and the position specification unit 406 may be configured by hardware circuits operating in cooperation with each other.

制御部４００は、通信部４０１、ＵＩ部４０２、表示制御部４０３および位置指定部４０６を含む受信装置４０の全体の動作を制御する。通信部４０１は、通信Ｉ／Ｆ４００５を制御して、ネットワーク２を介した通信を行う。 The control unit 400 controls the overall operation of the receiving device 40 including the communication unit 401, the UI unit 402, the display control unit 403, and the position designation unit 406. The communication unit 401 controls the communication I / F 4005 to perform communication via the network 2.

ＵＩ部４０２は、タッチパネル４２における入力デバイス４００８ｂに対する入力操作を受け付ける。例えばＵＩ部４０２は、入力デバイス４００８ｂに対する手指４１の接触を検知し、手指４１が接触された位置を検出する。また、ＵＩ部４０２は、入力デバイス４００８ｂに対する手指４１の接触の検知結果に基づき、入力デバイス４００８ｂに対するタップ操作又はスワイプ操作の判定を行う。 The UI unit 402 receives an input operation on the input device 4008b on the touch panel 42. For example, the UI unit 402 detects contact of the finger 41 with the input device 4008b, and detects a position where the finger 41 is contacted. In addition, the UI unit 402 determines a tap operation or a swipe operation on the input device 4008b based on the detection result of the contact of the finger 41 with the input device 4008b.

表示制御部４０３は、描画部４０４と合成部４０５とを含み、ディスプレイ４００８ａに対する静止画像および動画像の表示を制御する。描画部４０４は、フレームメモリに対して静止画像あるいは動画像を描画する。このフレームメモリに描画された画像がディスプレイ４００８ａに転送されることで、ディスプレイ４００８ａに静止画像あるいは動画像が表示される。 The display control unit 403 includes a drawing unit 404 and a combining unit 405, and controls display of a still image and a moving image on the display 4008a. The drawing unit 404 draws a still image or a moving image in the frame memory. By transferring the image drawn in the frame memory to the display 4008a, a still image or a moving image is displayed on the display 4008a.

合成部４０５は、ディスプレイ４００８ａに表示されている画像に対して、他の画像の合成が指定された際に、例えば描画部４０４によりフレームメモリに描画された画像を、当該他の画像により上書きすることで、当該他の画像の合成を行う。 The synthesis unit 405 overwrites, for example, the image drawn in the frame memory by the drawing unit 404 with the other image when the synthesis of another image is specified for the image displayed on the display 4008a. Thus, the other image is synthesized.

位置指定部４０６は、タッチパネル４２において、ディスプレイ４００８ａに表示される、全天球画像の一部である指定領域に対して入力デバイス４００８ｂにより入力された位置に対応する、当該全天球画像の位置を指定する。位置指定部４０６により指定された位置を示す位置情報は、通信部４０１により配信装置１０に送信される。 The position designating unit 406 is a position on the touch panel 42 corresponding to the position input by the input device 4008b with respect to the designated area, which is displayed on the display 4008a and is a part of the whole celestial sphere image. Is specified. The position information indicating the position specified by the position specifying unit 406 is transmitted to the distribution device 10 by the communication unit 401.

このような受信装置４０の各機能を実現するための受信プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ、フレキシブルディスク、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該受信プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該受信プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。 A receiving program for realizing each function of the receiving device 40 is provided by being recorded in a computer-readable recording medium such as a CD, a flexible disk, and a DVD in a file in an installable format or an executable format. Is done. However, the present invention is not limited thereto, and the receiving program may be provided by being stored on a computer connected to a network such as the Internet, and being downloaded via the network. Further, the receiving program may be provided or distributed via a network such as the Internet.

この当該受信プログラムは、制御部４００、通信部４０１、ＵＩ部４０２、表示制御部４０３および位置指定部４０６を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ４０００がＲＯＭ４００１およびストレージ４００４などの記憶媒体から当該受信プログラムを読み出して実行することにより、上述した各部がＲＡＭ４００２などの主記憶装置上にロードされ、制御部４００、通信部４０１、ＵＩ部４０２、表示制御部４０３および位置指定部４０６が主記憶装置上に生成されるようになっている。 This receiving program has a module configuration including a control unit 400, a communication unit 401, a UI unit 402, a display control unit 403, and a position designation unit 406. As actual hardware, the CPU 4000 reads out the reception program from a storage medium such as the ROM 4001 and the storage 4004 and executes the reception program, whereby the above-described units are loaded on the main storage device such as the RAM 4002, and the control unit 400 and the communication unit 401, a UI unit 402, a display control unit 403, and a position designation unit 406 are generated on a main storage device.

（配信動作）
次に、第１の実施形態に係る配信システム１による画像の配信動作を説明する。図１０は、配信装置１０の配信動作の流れを示すフローチャートである。この図１０のフローチャートにおいて、まず、配信装置１０の取得部１０１は、通信部１０３を介して全天球カメラ２０から全天球画像を取得する（ステップS1）。次に、配信装置の生成部１０２は、例えば図１１に示すように、取得した全天球画像の全領域のうち、受信装置４０で最初に表示される領域である、例えば中央の領域ＨＲ（部分領域の一例）を高画質の画像とする。また、中央の領域ＨＲと同じ高さで水平方向にそれぞれ隣接する左右の領域（延長領域の一例）を、中画質の画像とする。これにより、図１１に示す全天球画像の中央の水平方向に帯状の領域（図１１のＢの領域）は、高画質の画像又は中画質の画像となる。さらに、生成部１０２は、高画質の画像として中央の領域、及び。中画質の画像とした中央の領域に隣接する左右の領域の上下の領域（図１１のＡ及びＣの領域）を低画質の画像とする。 (Distribution operation)
Next, an image distribution operation by the distribution system 1 according to the first embodiment will be described. FIG. 10 is a flowchart illustrating the flow of the distribution operation of the distribution device 10. In the flowchart of FIG. 10, first, the acquiring unit 101 of the distribution device 10 acquires an omnidirectional image from the omnidirectional camera 20 via the communication unit 103 (step S1). Next, the generation unit 102 of the distribution device, for example, as shown in FIG. 11, of the entire region of the acquired omnidirectional image, is the region displayed first on the receiving device 40, for example, the central region HR ( An example of the partial area) is a high-quality image. Further, left and right regions (an example of an extended region) adjacent to each other in the horizontal direction at the same height as the central region HR are taken as medium-quality images. As a result, the band-like region (region B in FIG. 11) in the horizontal direction at the center of the omnidirectional image shown in FIG. 11 becomes a high-quality image or a medium-quality image. Further, the generation unit 102 outputs a high-quality image in the center area, and The upper and lower regions (regions A and C in FIG. 11) of the left and right regions adjacent to the central region which is a medium quality image are defined as low quality images.

このように各解像度の画質の画像が合成された全天球画像（合成画像の一例）が生成されると、通信部１０１は、通信Ｉ／Ｆ１００４を介して受信装置４０に、この全天球画像を送信する（ステップＳ２）。 When an omnidirectional image (an example of a composite image) in which images of image quality of each resolution are combined is generated as described above, the communication unit 101 transmits the omnidirectional image to the receiving device 40 via the communication I / F 1004. The image is transmitted (Step S2).

なお、この例では、上述の左右の領域は中画質の画像としたが、これら左右の領域をそれぞれ高画質の画像としてもよい。この場合、図１１に示す全天球画像の中央の水平方向に帯状の領域（Ｂの領域）は、全て高画質の画像となる。 In this example, the above-mentioned left and right areas are medium-quality images, but these left and right areas may be high-quality images. In this case, the band-shaped region (region B) in the horizontal direction at the center of the omnidirectional image shown in FIG. 11 is a high-quality image.

次に、配信装置１０の制御部１００は、ステップＳ３において配信終了指示の有無を判別する（ステップＳ３）。配信終了が指示された場合（ステップＳ３：Ｙｅｓ）、そのまま図１０のフローチャートの処理を終了する。これに対して、配信終了の指示を検出しない場合（ステップＳ３：Ｎｏ）、図１０のフローチャートのステップＳ１に処理が戻り、取得部１０３が、引き続き、全天球カメラ２０で撮像された全天球画像を取得し、上述の中央の水平方向に帯状の領域（図１１のＢの領域）を高画質及び中画質とした合成画像を生成して受信装置４０に送信する動作を繰り返し実行する。これにより、配信終了の指示を検出するまでの間、上述の合成画像の動画（静止画像でもよい）が、受信装置４０に配信（ライブ配信）されることとなる。 Next, the control unit 100 of the distribution device 10 determines whether or not there is a distribution end instruction in step S3 (step S3). When the distribution end is instructed (step S3: Yes), the processing of the flowchart in FIG. On the other hand, when the distribution end instruction is not detected (step S3: No), the process returns to step S1 of the flowchart in FIG. 10 and the acquisition unit 103 continues to transmit the whole sky image captured by the spherical camera 20. The operation of acquiring a sphere image, generating a composite image in which the above-mentioned band-like region in the center in the horizontal direction (the region B in FIG. 11) has high image quality and medium image quality, and transmitting it to the receiving device 40 is repeatedly executed. As a result, the moving image (still image) of the composite image described above is distributed to the receiving device 40 (live distribution) until an instruction to end the distribution is detected.

（受信装置の処理）
図１２は、受信装置４０の処理の流れを示すフローチャートである。なお、全天球カメラ２０により撮影された動画像又は静止画像としての全天球画像が、配信装置１０を介して受信装置４０で受信されてタッチパネル４２に表示されることで、この図１２のフローチャートの処理が開始される。 (Processing of receiving device)
FIG. 12 is a flowchart showing the flow of the processing of the receiving device 40. In addition, the omnidirectional image as a moving image or a still image captured by the omnidirectional camera 20 is received by the receiving device 40 via the distribution device 10 and is displayed on the touch panel 42, and thus, in FIG. The processing of the flowchart is started.

ステップＳ１２０で、受信装置４０において、表示制御部４０３は、配信装置１０から送信された全天球画像を受信してストレージ４００４に記憶し、この全天球画像のうち、デフォルトの表示領域に相当する、全天球画像の中央の領域の画像を取得して、タッチパネル４２に表示する。図１１を用いて説明したように、全天球画像の中央の領域ＨＲの画像は、高画質の画像となっている。このため、タッチパネル４２には、高画質の画像が表示される。 In step S120, in the receiving device 40, the display control unit 403 receives the omnidirectional image transmitted from the distribution device 10 and stores the omnidirectional image in the storage 4004, and corresponds to the default display area in the omnidirectional image. Then, an image of the central region of the spherical image is acquired and displayed on the touch panel 42. As described with reference to FIG. 11, the image in the central region HR of the omnidirectional image is a high-quality image. Therefore, a high-quality image is displayed on the touch panel 42.

ステップＳ１２１では、ＵＩ部４０２が、入力デバイス４００８ｂに対する手指４１等による接触操作の有無を判定する。ＵＩ部４０２は、接触操作を検知しない場合（ステップＳ１２１：Ｎｏ）、処理をステップＳ１２１に戻す。一方、ＵＩ部４０２は、接触操作を検知した場合（ステップＳ１２１：Ｙｅｓ）、処理をステップＳ１２２に勧める。 In step S121, the UI unit 402 determines whether there is a touch operation on the input device 4008b with the finger 41 or the like. When the UI unit 402 does not detect a contact operation (step S121: No), the process returns to step S121. On the other hand, if the UI unit 402 detects a contact operation (step S121: Yes), the UI unit 402 recommends the process to step S122.

ステップＳ１２２では、表示制御部４０３が、ＵＩ部４０２から、接触が検知されたタッチパネル４２上の位置（接触位置）を取得し、ストレージ４００４に記憶されている全天球画像のうち、取得した接触位置に対応する指定領域の部分的な画像を読み出す。そして、描画部４０４が、接触位置に対応する指定領域の部分的な画像を、タッチパネル４２に表示するこれにより、ストレージ４００４に記憶された全天球画像のうち、スワイプ操作で指定された指定領域に相当する画像をタッチパネル４２に表示できる。 In step S122, the display control unit 403 acquires, from the UI unit 402, the position on the touch panel 42 where the contact is detected (the contact position), and, of the spherical image stored in the storage 4004, the acquired contact The partial image of the designated area corresponding to the position is read. Then, the drawing unit 404 displays a partial image of the designated area corresponding to the contact position on the touch panel 42, whereby the designated area designated by the swipe operation is selected from the spherical images stored in the storage 4004. Can be displayed on the touch panel 42.

ここで、ユーザのスワイプ操作は、指等の上下の移動操作よりも、左右の移動操作となることが多い。これに対応して、実施の形態の配信システムの場合、図１１を用いて説明したように、全天球画像のうち、中央の水平方向に帯状の領域の画像が、高画質又は中画質の画像となっている。このため、左右のスワイプ操作で指定領域が指定された際に、高確率で高画質又は中画質の画像を表示することができる。このため、配信装置１０と受信装置４０との間に通信遅延が生じても、受信装置４０側で表示する画像が低解像度の画像となる不都合を軽減することができる。 Here, the swipe operation of the user is often a left-right movement operation rather than a vertical movement operation of a finger or the like. Correspondingly, in the case of the distribution system according to the embodiment, as described with reference to FIG. It is an image. Therefore, when the designated area is designated by the left and right swipe operations, a high-quality or medium-quality image can be displayed with high probability. For this reason, even if a communication delay occurs between the distribution device 10 and the receiving device 40, it is possible to reduce the inconvenience that the image displayed on the receiving device 40 side is a low-resolution image.

次に、ステップＳ１２３では、表示制御部４０が、配信装置１０から新たな全天球画像を受信したか否かを判別する。新たな全天球画像を受信した場合（ステップＳ１２３：Ｙｅｓ）、制御部４００は、受信した全天球画像でストレージ４００４に記憶されている全天球画像を更新する。この更新後、処理は、ステップＳ１２０に戻る。 Next, in step S123, the display control unit 40 determines whether a new omnidirectional image has been received from the distribution device 10. When a new omnidirectional image is received (Step S123: Yes), the control section 400 updates the omnidirectional image stored in the storage 4004 with the received omnidirectional image. After this update, the process returns to step S120.

（指定領域の指定動作）
次に、図１３及び図１４を用いて、全天球画像の指定領域の指定動作を説明する。図１３は、指定領域の一例を示す図である。このうち、図１４（ａ）は、Ｘ軸、Ｙ軸、Ｚ軸の関係を示している。立体球ＣＳは、上述した全天球画像が仮想的に貼り付けられている球面である。図１４（ｂ）は、指定領域の特定のための仮想カメラＣＡＭの配置の例を示している。仮想カメラＣＡＭは、立体球ＣＳの内部に配置され、仮想カメラＣＡＭで捉えられる所定領域Ｔが指定領域となる。図１４（ｃ）は、仮想カメラＣＡＭの視野を示しており、所定領域Ｔの対角線の両端を挟む角度が視野角αとなる。距離ｆは、仮想カメラＣＡＭと、所定領域Ｔの中心点ＣＰとの距離である。 (Specified operation of specified area)
Next, referring to FIGS. 13 and 14, an operation of designating the designated area of the omnidirectional image will be described. FIG. 13 is a diagram illustrating an example of the designated area. FIG. 14A shows the relationship among the X axis, the Y axis, and the Z axis. The three-dimensional sphere CS is a spherical surface on which the above-mentioned omnidirectional image is virtually attached. FIG. 14B shows an example of an arrangement of virtual cameras CAM for specifying a designated area. The virtual camera CAM is arranged inside the three-dimensional sphere CS, and a predetermined area T captured by the virtual camera CAM is a designated area. FIG. 14C shows the field of view of the virtual camera CAM, and the angle between both ends of the diagonal line of the predetermined area T is the viewing angle α. The distance f is a distance between the virtual camera CAM and the center point CP of the predetermined area T.

図１４は、仮想カメラＣＡＭの位置と立体球ＣＳの原点との関係を示す図である。なお、図１４において、立体球ＣＳの半径は、「１」に正規化されている。このように、原点よりも距離ｄだけ後退した位置から立体球ＣＳを眺めたものが、視野角αとなる。距離ｄの位置が立体球ＣＳの内部にある場合は、原点からの画角ωで立体球ＣＳと交わる位置と視野角αで立体球ＣＳと交わる位置とが一致するものとする。一方、距離ｄの位置が立体球ＣＳの外部にある場合は、視野角αは、立体球ＣＳに外接するものとする。距離ｄが０の場合は、原点からの画角ωと視野角αとが一致する。全天球カメラ２０は、立体球ＣＳに対して距離ｄ＝０の位置に配置されるものと考えられ、このときの全天球カメラ２０の位置が画角中心の位置とされる。 FIG. 14 is a diagram illustrating the relationship between the position of the virtual camera CAM and the origin of the three-dimensional sphere CS. In FIG. 14, the radius of the solid sphere CS is normalized to “1”. In this manner, the viewing angle α is obtained by viewing the solid sphere CS from a position receded by the distance d from the origin. When the position of the distance d is inside the solid sphere CS, it is assumed that the position where the solid sphere CS intersects at the angle of view ω from the origin and the position where the solid sphere CS intersects at the viewing angle α. On the other hand, when the position of the distance d is outside the three-dimensional sphere CS, the viewing angle α circumscribes the three-dimensional sphere CS. When the distance d is 0, the angle of view ω from the origin and the viewing angle α match. It is considered that the omnidirectional camera 20 is arranged at a distance d = 0 with respect to the three-dimensional sphere CS, and the position of the omnidirectional camera 20 at this time is set as the center of the angle of view.

なお、画角ωと視野角αと距離ｄとを適当に制御することで、指定領域内の画像の拡大および縮小を行うことができる。拡大／縮小の倍率は、画角ω、視野角αおよび距離ｄにより決定される。縮小していくと、表示される映像の輪郭が円形になる。 Note that by appropriately controlling the angle of view ω, the viewing angle α, and the distance d, the image in the designated area can be enlarged and reduced. The enlargement / reduction magnification is determined by the angle of view ω, the viewing angle α, and the distance d. As the image is reduced, the outline of the displayed image becomes circular.

（実施の形態の効果）
以上の説明から明らかなように、スワイプ操作は、上下に操作される可能性よりも、左右に操作される可能性の方が高い。このため、実施の形態の配信システムでは、全天球画像のうち、中央の水平方向に帯状の領域の画像の画質を高画質及び中画質とする（中央の水平方向の帯状の領域を全て、高画質の画像としてもよい）。また、この他の領域の画像は、低画質の画像とする。これにより、配信装置１０と受信装置４０との間で、全ての領域の画像を高画質とした全天球画像を送受信するよりも、大幅にデータ量を削減できる。また、左右のスワイプ操作がされた場合には、配信装置１０と受信装置４０との間の通信状態にかかわらず、中画質又は高画質の画像を表示できる。従って、配信装置１０と受信装置４０との間に通信遅延が生じても、受信装置４０側で表示する画像が低解像度の画像となる不都合を軽減することができる。 (Effects of Embodiment)
As is clear from the above description, the swipe operation is more likely to be operated left and right than the up and down operation. For this reason, in the distribution system of the embodiment, among the celestial sphere images, the image quality of the central horizontal band-shaped area is set to high image quality and medium image quality (all central horizontal band-shaped areas are High-quality images may be used). Further, the images in the other areas are low-quality images. This makes it possible to significantly reduce the data amount between the distribution device 10 and the receiving device 40, compared to transmitting and receiving a full celestial sphere image in which images of all regions are of high quality. In addition, when the left and right swipe operations are performed, a medium-quality or high-quality image can be displayed regardless of the communication state between the distribution device 10 and the reception device 40. Therefore, even if a communication delay occurs between the distribution device 10 and the receiving device 40, it is possible to reduce the inconvenience that the image displayed on the receiving device 40 becomes a low-resolution image.

（第１の変形例）
上述の実施の形態の説明では、全天球画像のうち中央の水平方向の帯状の領域を高画質化する例であったが、全天球画像のうち中央の上下方向の帯状の領域を高画質化してもよい。図１５（ａ）は、掘削用の動力シャベルを備えたショベルカー３０に全天球カメラ２０を設けた例である。ショベルカー３０の場合、作業にあたって、動力シャベルの上下動を確認することが重要となる。 (First Modification)
In the description of the above-described embodiment, an example in which the center horizontal band-shaped area of the omnidirectional image is made to have high image quality, the center vertical band-shaped area of the omnidirectional image is heightened. The image quality may be improved. FIG. 15A shows an example in which a spherical camera 20 is provided on a shovel car 30 having a power shovel for excavation. In the case of the shovel car 30, it is important to check the up and down movement of the power shovel during work.

このため、この第１の変形例の場合、図１５（ｂ）に示すように、全天球カメラ２０は、動力シャベルを中央とする全天球画像を生成し、配信装置１０は、全天球画像のうち中央の上下方向の帯状の領域を高画質化（又は中画質化）し、それ以外の領域は低画質化して受信装置４０に送信する。これにより、ユーザにより上下方向のスワイプ操作がされた際には、このスワイプ操作に対応する位置の高画質の画像を表示することができる他、上述の実施の形態と同様の効果を得ることができる。 For this reason, in the case of this first modification, as shown in FIG. 15B, the omnidirectional camera 20 generates an omnidirectional image centered on the power shovel, and the distribution device 10 controls the omnidirectional image. In the spherical image, the image quality is improved in the central band-like area in the vertical direction in the center (or the medium image quality is improved), and the other areas are reduced in image quality and transmitted to the receiving device 40. Accordingly, when the user performs a vertical swipe operation, a high-quality image at a position corresponding to the swipe operation can be displayed, and the same effect as in the above-described embodiment can be obtained. it can.

（第２の変形例）
また、配信装置１０のＣＰＵ１０００が画像認識処理を行うことで、図１６（ａ）に示す動力シャベル３１の位置を特定し、特定した位置を含む領域を高画質とした全天球画像を受信装置４０に送信してもよい。これにより、図１６（ｂ）に示すように、例えばショベルカー３０の作業に重要な、動力シャベル３１周辺の画像を高画質化した全天球画像を受信装置４０に送信し、重要な部分を高画質で表示できる他、上述の実施の形態と同様の効果を得ることができる。 (Second Modification)
Also, the CPU 1000 of the distribution device 10 performs the image recognition process to specify the position of the power shovel 31 illustrated in FIG. 16A and to receive a celestial sphere image in which the area including the specified position has high image quality. 40. Thereby, as shown in FIG. 16B, for example, an image of the entire periphery of the power shovel 31 which is important for the operation of the excavator 30 is transmitted to the receiver 40 as a high-quality image of the periphery of the power shovel 31, and the important part is transmitted. In addition to displaying images with high image quality, effects similar to those of the above-described embodiment can be obtained.

なお、上述の実施の形態は、本発明の好適な実施の例ではあるが、本発明は、これに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。 Although the above-described embodiment is a preferred example of the present invention, the present invention is not limited to this, and can be implemented by various modifications without departing from the gist of the present invention. It is.

例えば、上述の実施の形態の説明では、全天球画像の中央の左右方向又は中央の上下方向の画質を高画質化することとしたが、全天球画像の中央の左右方向及び中央の上下方向の両方向の画質を高画質化してもよい。また、左右方向又は上下方向の他、斜め方向等の、他の方向の画質を高画質化してもよい。いずれの場合も、上述と同様の効果を得ることができる。 For example, in the description of the above-described embodiment, the image quality in the center left-right direction or the center vertical direction of the omnidirectional image is set to be high. The image quality in both directions may be improved. Further, the image quality in other directions, such as the diagonal direction, in addition to the horizontal direction or the vertical direction, may be improved. In any case, the same effect as described above can be obtained.

１配信システム
２ネットワーク
１０配信装置
２０全天球カメラ
４０受信装置
４２タッチパネル
１００制御部
１０１通信部
１０２生成部
１０３取得部
１０００ＣＰＵ
４００制御部
４０２ＵＩ部
４０３表示制御部 Reference Signs List 1 delivery system 2 network 10 delivery device 20 omnidirectional camera 40 receiving device 42 touch panel 100 control unit 101 communication unit 102 generation unit 103 acquisition unit 1000 CPU
400 control unit 402 UI unit 403 display control unit

特許第３９６３２６１号公報Japanese Patent No. 3963261

Claims

撮像装置で撮像された撮像画像を取得する取得部と、
取得した前記撮像画像の全領域のうち、受信装置で表示される部分的な領域である部分領域の画像を高画質化すると共に、前記部分領域を左右方向又は上下方向に延長した延長領域の画像を高画質化又は中画質化し、前記部分領域及び延長領域以外の領域の画像を低画質化した合成画像を生成する生成部と、
生成された前記合成画像を、前記受信装置に送信する送信部と
を有する配信装置。 An acquisition unit configured to acquire a captured image captured by the imaging device;
An image of an extended area obtained by extending the partial area, which is a partial area displayed by the receiving device, in the entire area of the acquired captured image and extending the partial area in the horizontal direction or the vertical direction. A generating unit that increases the image quality of medium or high image quality, and generates a composite image in which the image of the area other than the partial area and the extended area is reduced in quality.
A transmitting unit that transmits the generated composite image to the receiving device.

前記取得部は、前記撮像装置により３６０度の画角で撮像された全天球画像を、前記撮像画像として取得すること
を特徴とする請求項１に記載の配信装置。 The distribution device according to claim 1, wherein the acquisition unit acquires, as the captured image, a celestial sphere image captured by the imaging device at an angle of view of 360 degrees.

撮像画像を撮像する撮像部と、
撮像された前記撮像画像の全領域のうち、受信装置で表示される部分的な領域である部分領域の画像を高画質化すると共に、前記部分領域を左右方向又は上下方向に延長した延長領域の画像を高画質化又は中画質化し、前記部分領域及び延長領域以外の領域の画像を低画質化した合成画像を生成する生成部と、
生成された前記合成画像を、前記受信装置に送信する送信部と
を有するカメラ装置。 An imaging unit that captures a captured image;
Of the entire area of the captured image, the image of the partial area that is a partial area displayed on the receiving device is improved in image quality, and the extended area obtained by extending the partial area in the horizontal direction or the vertical direction A generation unit that increases the image quality or the medium image quality, and generates a composite image in which the image of the area other than the partial area and the extension area is reduced in quality,
A transmitting unit that transmits the generated composite image to the receiving device.

前記撮像部は、３６０度の画角の全天球画像を撮像すること
を特徴とする請求項３に記載のカメラ装置。 The camera device according to claim 3, wherein the imaging unit captures a 360 ° spherical image of the celestial sphere.

撮像画像を撮像する撮像装置と、
前記撮像装置で撮像された撮像画像を取得する取得部と、
取得した前記撮像画像の全領域のうち、受信装置で表示される部分的な領域である部分領域の画像を高画質化すると共に、前記部分領域を左右方向又は上下方向に延長した延長領域の画像を高画質化又は中画質化し、前記部分領域及び延長領域以外の領域の画像を低画質化した合成画像を生成する生成部と、
生成された前記合成画像を、前記受信装置に送信する送信部と、を備えた配信装置と、
前記合成画像を受信する受信部と、
受信した合成画像を記憶する記憶部と、
前記記憶部に記憶された前記合成画像のうち、操作部で指定された位置に対応する前記部分領域の画像を前記記憶部から読み出して表示部に表示する表示制御部と、を備えた前記受信装置と
を有する配信システム。 An imaging device that captures a captured image;
An acquisition unit configured to acquire a captured image captured by the imaging device;
An image of an extended area obtained by extending the partial area, which is a partial area displayed by the receiving device, in the entire area of the acquired captured image and extending the partial area in the horizontal direction or the vertical direction. A generating unit that increases the image quality of medium or high image quality, and generates a composite image in which the image of the area other than the partial area and the extended area is reduced in quality.
A transmitting unit that transmits the generated composite image to the receiving device,
A receiving unit that receives the composite image,
A storage unit for storing the received composite image,
A display control unit that reads, from the storage unit, an image of the partial area corresponding to the position specified by the operation unit from among the composite images stored in the storage unit and displays the image on a display unit. A distribution system comprising: a device;

取得部が、撮像装置で撮像された撮像画像を取得する取得ステップと、
生成部が、取得した前記撮像画像の全領域のうち、受信装置で表示される部分的な領域である部分領域の画像を高画質化すると共に、前記部分領域を左右方向又は上下方向に延長した延長領域の画像を高画質化又は中画質化し、前記部分領域及び延長領域以外の領域の画像を低画質化した合成画像を生成する生成ステップと、
送信部が、生成された前記合成画像を、前記受信装置に送信する送信ステップと
を有する配信方法。 An acquiring step of acquiring an image captured by the imaging device,
The generation unit, of the entire region of the acquired captured image, while improving the quality of the image of the partial region that is a partial region displayed on the receiving device, and extending the partial region in the horizontal direction or the vertical direction A generation step of increasing the quality of the image of the extended area or increasing the quality of the medium, and generating a composite image in which the quality of the image of the area other than the partial area and the extended area is reduced,
A transmitting step of transmitting a generated composite image to the receiving device by a transmitting unit.

コンピュータを、
撮像装置で撮像された撮像画像を取得する取得部と、
取得した前記撮像画像の全領域のうち、受信装置で表示される部分的な領域である部分領域の画像を高画質化すると共に、前記部分領域を左右方向又は上下方向に延長した延長領域の画像を高画質化又は中画質化し、前記部分領域及び延長領域以外の領域の画像を低画質化した合成画像を生成する生成部と、
生成された前記合成画像を、前記受信装置に送信する送信部として機能させること
を特徴とする配信プログラム。 Computer
An acquisition unit configured to acquire a captured image captured by the imaging device;
An image of an extended area obtained by extending the partial area, which is a partial area displayed by the receiving device, in the entire area of the acquired captured image and extending the partial area in the horizontal direction or the vertical direction. A generating unit that increases the image quality of medium or high image quality, and generates a composite image in which the image of the area other than the partial area and the extended area is reduced in quality.
A distribution program that causes the generated composite image to function as a transmission unit that transmits the composite image to the reception device.