JP2021078114A - Photographing device, distribution system, distribution method, and recording medium - Google Patents
Photographing device, distribution system, distribution method, and recording medium Download PDFInfo
- Publication number
- JP2021078114A JP2021078114A JP2020180570A JP2020180570A JP2021078114A JP 2021078114 A JP2021078114 A JP 2021078114A JP 2020180570 A JP2020180570 A JP 2020180570A JP 2020180570 A JP2020180570 A JP 2020180570A JP 2021078114 A JP2021078114 A JP 2021078114A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- encoding
- stream
- photographing
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、撮影装置、配信システム、配信方法および記録媒体に関する。 The present invention relates to a photographing device, a distribution system, a distribution method, and a recording medium.
近年、撮影装置を用いて撮影された撮影画像を、インターネット上の配信サービスを用いてストリーミング配信することが可能な技術が普及している。また、PCやスマートフォン等の端末を介さずに、撮影装置を直接インターネットに接続させてストリーミング配信を行うことができるシステムも知られている。 In recent years, a technique capable of streaming and distributing a photographed image photographed by a photographing device using a distribution service on the Internet has become widespread. Further, there is also known a system capable of performing streaming distribution by directly connecting a photographing device to the Internet without going through a terminal such as a PC or a smartphone.
さらに、このようなストリーミング配信において、閲覧側の端末で受信するストリームを選択することができるように、画質の異なる複数のストリームの画像を同時配信する技術が知られている。この場合、配信側の装置において、配信する画像データのエンコード処理を行うための処理能力が重要となるが、例えば、特許文献1には、ソフトウエアエンコーダとハードウエアエンコーダに処理を割り振って映像データをエンコードし、エンコードされたデータを一つのストリームに合成する内容が開示されている。 Further, in such streaming distribution, a technique for simultaneously distributing images of a plurality of streams having different image quality is known so that a stream to be received by a viewing terminal can be selected. In this case, the processing capacity for encoding the image data to be distributed is important in the device on the distribution side. For example, in Patent Document 1, the processing is allocated to the software encoder and the hardware encoder to allocate the processing to the video data. Is disclosed, and the contents of synthesizing the encoded data into one stream are disclosed.
しかしながら、従来の方法は、ハードウエアエンコーダの数に制約のある装置ではストリームごとのエンコード処理を並行して行うことができないため、複数のストリームの画像データを同時に配信することが困難であるという課題があった。 However, the conventional method has a problem that it is difficult to simultaneously deliver image data of a plurality of streams because the encoding process for each stream cannot be performed in parallel in a device having a limited number of hardware encoders. was there.
上述した課題を解決すべく、請求項1に係る発明は、複数のストリームの画像データを配信する撮影装置であって、撮影手段によって撮影された撮影画像データを取得する取得手段と、前記ストリームごとのエンコードパラメータに応じて、取得された前記撮影画像データのエンコード方法を決定する決定手段と、決定されたエンコード方法を用いて、前記ストリームごとのストリーミング画像データを生成する生成手段と、生成された複数のストリーミング画像データを配信する配信手段と、を備える撮影装置である。 In order to solve the above-mentioned problems, the invention according to claim 1 is an imaging device that distributes image data of a plurality of streams, and is an acquisition means for acquiring captured image data captured by the photographing means, and each of the streams. A determination means for determining the encoding method of the acquired captured image data according to the encoding parameters of the above, a generation means for generating streaming image data for each stream using the determined encoding method, and generation means. It is a photographing device including a distribution means for distributing a plurality of streaming image data.
本発明によれば、ハードウエアエンコーダの数に制約のある撮影装置を用いて、複数のストリームの画像データを同時に配信することができる。 According to the present invention, it is possible to simultaneously distribute image data of a plurality of streams by using a photographing device in which the number of hardware encoders is limited.
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。 Hereinafter, modes for carrying out the invention will be described with reference to the drawings. In the description of the drawings, the same elements are designated by the same reference numerals, and duplicate description will be omitted.
●第1の実施形態●
●システム構成
図1は、第1の実施形態に係る配信システムのシステム構成の一例を示す図である。図1に示されている配信システム1は、撮影装置10によって撮影されて取得された画像データを、ユーザが使用する通信端末50に対してストリーミング配信を行うことができるシステムである。
● First embodiment ●
● System Configuration FIG. 1 is a diagram showing an example of the system configuration of the distribution system according to the first embodiment. The distribution system 1 shown in FIG. 1 is a system capable of streaming distribution of image data captured and acquired by the photographing
図1に示されているように、配信システム1は、撮影装置10および通信端末50によって構成されている。撮影装置10および通信端末50は、通信ネットワーク5を介して通信可能に接続されている。通信ネットワーク5は、インターネット、移動体通信網、LAN(Local Area Network)等によって構築されている。なお、通信ネットワーク5には、有線通信だけでなく、3G(3rd Generation)、4G(4th Generation)、5G(5th Generation)、Wi−Fi(Wireless Fidelity(登録商標))、WiMAX(Worldwide Interoperability for Microwave Access)またはLTE(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。
As shown in FIG. 1, the distribution system 1 is composed of a
撮影装置10は、被写体を撮影して撮影画像を取得することができるデジタルカメラである。撮影装置10は、例えば、全天球(360°)パノラマ画像を得るための特殊なデジタルカメラである。なお、撮影装置10は、一般的なデジタルカメラ(一眼レフカメラ、コンパクトデジタルカメラ、監視カメラ、または映像(ビデオ)カメラ等)であってもよい。撮影装置10は、インターネット等の通信ネットワーク5を介して、撮影画像に係る画像データのストリーミング配信を行う。なお、撮影画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮影画像は、画像とともに音声を含んでもよい。
The photographing
通信端末50は、ユーザが使用するタブレット端末等の端末装置である。通信端末50は、インターネット等の通信ネットワーク5にアクセスすることによって、撮影装置10とデータ通信を行う。通信端末50は、撮影装置10から配信されるストリーミング画像データを受信することができる。なお、通信端末50は、タブレット端末に限られず、PC(Personal Computer)、スマートフォン、携帯電話、ウェアラブル端末、ゲーム機、ビデオ会議(テレビ会議)端末、IWB(Interactive White Board:相互通信が可能な電子式の黒板機能を有する白板)、テレプレゼンスロボット等であってもよい。
The
●概略
ここで、第1の実施形態に係る配信システムの処理の概略について説明する。なお、図2は、第1の実施形態に係る配信システムの概略を簡略的に説明したものであり、配信システム1が実現する機能等の詳細は、後述する図面等を用いて説明する。
● Outline Here, an outline of the processing of the distribution system according to the first embodiment will be described. Note that FIG. 2 briefly describes the outline of the distribution system according to the first embodiment, and details of the functions and the like realized by the distribution system 1 will be described with reference to the drawings and the like described later.
図2は、第1の実施形態に係る配信システムの処理の概略の一例を示す図である。配信システム1は、撮影装置10によって撮影されて取得された撮影画像データを複数のストリームで配信する場合、撮影装置10が有するエンコーダを各ストリームに割り当てて並行処理することで、複数のストリームの画像データの配信を行うことができるシステムである。
FIG. 2 is a diagram showing an outline example of processing of the distribution system according to the first embodiment. When the distribution system 1 distributes the captured image data captured and acquired by the photographing
まず、撮影装置10は、画像配信の対象となる撮影画像データを取得する。次に、撮影装置10は、例えば、通信ネットワーク5のネットワーク帯域の状態等に応じて通信端末50が所望の画質のデータを受信できるように、画質の異なる複数のストリームを準備する。撮影装置10は、ストリーミング配信を行うストリーム数およびストリームごとのエンコードパラメータに基づいて、ストリームごとの画像データのエンコード方法を決定する。エンコードパラメータとは、エンコーダによって処理される画像データの画質を示す情報である。そして、撮影装置10は、決定したエンコード方法を用いて、撮影画像データの1フレーム(例えば、フレームX)ごとにエンコード処理を行う。
First, the photographing
図2の例では、撮影装置10は、ストリーム1に対してハードウエアエンコーダ(HW)を用いてエンコード処理を行い、ストリーム2およびストリーム3に対してソフトウエアエンコーダ(SW)を用いてエンコード処理を行う。撮影画像データの1フレームであるフレームXは、所定の画像処理を経て三つのエンコーダに並列に入力され、それぞれのエンコーダが設定されたエンコードパラメータに応じて並行してエンコード処理を行う。
In the example of FIG. 2, the photographing
そして、撮影装置10は、エンコード処理された複数のストリーミング画像データをそれぞれ独立したストリームとして、通信ネットワーク5を介して通信端末50へ配信する。この場合、例えば、ストリーム1で配信されるストリーミング画像データは、高画質のデータであり、ストリーム2で配信されるストリーミング画像データは、中画質のデータであり、ストリーム3で配信されるストリーミング画像データは、低画質のデータである。
Then, the photographing
画質の異なる複数のストリームの画像データを同時配信する場合、配信側の装置では、専用のハードウエアエンコーダを使用することが多い。しかしながら、例えば、通常のデジタルカメラ等の撮影装置のような装置サイズもしくは装置内のレイアウト等の物理的な制約、または価格等の制約がある装置では、搭載されるハードウエアエンコーダの数に限りがあるため、複数のストリームを同時配信することが困難であった。そこで、配信システム1は、画質の異なる複数のストームを用いて画像データの配信を行う場合、ストリームごとのエンコードパラメータに応じて、ストリームごとに撮影装置10が備えるハードウエアエンコーダおよびソフトウエアエンコーダのいずれかを割り当てエンコード処理を行う。これにより、配信システム1は、ハードウエアエンコーダの数に制約のある撮影装置10を用いて、画質の異なる複数のストリームの画像データを配信することができる。
When simultaneously distributing image data of a plurality of streams having different image quality, the device on the distribution side often uses a dedicated hardware encoder. However, for example, in a device such as a photographing device such as a normal digital camera, which has physical restrictions such as the device size or layout in the device, or restrictions such as price, the number of hardware encoders installed is limited. Therefore, it was difficult to deliver multiple streams at the same time. Therefore, when the distribution system 1 distributes image data using a plurality of storms having different image quality, either the hardware encoder or the software encoder provided in the photographing
●ハードウエア構成
次に、図3および図4を用いて、実施形態における撮影装置10および通信端末50のハードウエア構成を説明する。なお、図3および図4に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。
● Hardware Configuration Next, the hardware configuration of the photographing
○撮影装置のハードウエア構成○
まず、図3を用いて、撮影装置10のハードウエア構成を説明する。図3は、第1の実施形態に係る撮影装置のハードウエア構成の一例を示す図である。以下では、撮影装置10は、二つの撮像素子を使用した全天球(全方位)撮影装置とするが、撮像素子は、二つ以上いくつでもよい。また、撮影装置10は、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に撮影装置10と同じ機能を有するようにしてもよい。
○ Hardware configuration of the shooting device ○
First, the hardware configuration of the photographing
図3に示すように、撮影装置10は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、ハードウエアエンコーダ106、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、外部ストレージI/F116、入出力I/F117、ネットワークI/F118および加速度・方位センサ119によって構成されている。
As shown in FIG. 3, the photographing
これらのうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている二つの撮像素子103a,103bを備えている。撮像素子103a,103bは、広角レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平または垂直同期信号や画素クロック等を生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータ等が設定されるレジスタ群等を有している。
Of these, the
撮像素子103a,103bは、それぞれ画像処理ユニット104とパラレルI/Fバスで接続されている。また、撮像素子103a,103bは、それぞれ撮像制御ユニット105とシリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104、撮像制御ユニット105および音処理ユニット109は、バスライン110を介してCPU111と接続される。さらに、バスライン110は、ROM112、SRAM113、DRAM114、操作部115、外部ストレージI/F116、入出力I/F117、ネットワークI/F118および加速度・方位センサ119と接続される。
The
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込む。そして、画像処理ユニット104は、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒射影画像(Equirectangular)のデータを作成する。
The
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
The image
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮影装置10は、ディスプレイによるプレビュー表示機能、静止画や動画の表示に対応する機能を持つ場合もある。動画の場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
Further, the image
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態において、撮影装置10は、ディスプレイが設けられていないが、表示部を設けてもよい。
Further, as will be described later, the image
ハードウエアエンコーダ106は、H.264またはMPEG−4等の符号化方式を用いたエンコード処理(圧縮処理)を行うエンコーダである。ハードウエアエンコーダ106は、同時に実行可能なエンコーダ処理の数には限りがある。
The
マイク108は、撮影装置10の周辺環境から集音し、集音した音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。マイク108は、それぞれ周辺環境から集音する集音手段を構成する。また、図3は、マイク108が撮影装置10に内蔵される場合のみを示すが、マイク108は、撮影装置10に外付けされてもよい。さらに、マイク108の数は、一つに限られず、所定の配置構成を有する複数のマイクを有していてもよい。また、マイク108は、アンビソニックス・マイクロフォンであってもよい。
The
CPU111は、撮影装置10の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している不揮発性のメモリである。SRAM113およびDRAM114は、CPU111のワークエリアとして使用され、CPU111で実行するプログラムや処理途中のデータ等を記憶する揮発性のメモリである。特にDRAM114は、例えば、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
The CPU 111 controls the overall operation of the photographing
操作部115は、シャッターボタン等の操作ボタンの総称である。ユーザは、操作部115を操作することで、種々の撮影モードや撮影条件等を入力する。外部ストレージI/F116は、記録メディア等の外部ストレージに対するデータの読み出しまたは書き込み(記憶)を制御する。外部ストレージには、エンコードされたストリーミング画像データを画像ファイル(動画ファイル)として記憶されてもよい。
The
入出力I/F117は、各種の外部機器との間で各種データまたは情報の入出力を行うために、外部機器と接続するためのインターフェースである。入出力I/F117は、無線、有線を問わず、例えば、USB(Universal Serial Bus)I/Fによる構成される。ネットワークI/F118は、通信ネットワーク5を介してデータ通信を行うためのインターフェースである。ネットワークI/F118は、有線NIC(Network Interface Card)、無線NICまたはUSBI/Fによる構成される。
The input / output I /
加速度・方位センサ119は、地球の磁気から撮影装置10の方位を算出し、方位情報を出力する。方位情報は、Exif(Exchangeable image file format)に沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮影日時、および画像データのデータ容量の各データを含む。
The acceleration / direction sensor 119 calculates the direction of the photographing
なお、撮影装置10は、全天球(全方位)撮影装置に限られず、通常のデジタルカメラ、監視カメラ、または映像カメラ等の撮影装置であってもよい。この場合、撮影手段としての撮像ユニット101は、一組のレンズと撮像素子によって構成される。
The photographing
〇通信端末のハードウエア構成○
続いて、図4を用いて、通信端末50のハードウエア構成を説明する。図4は、実施形態に係る通信端末のハードウエア構成の一例を示す図である。通信端末50は、CPU501、ROM502、RAM503、入力装置504、ディスプレイ505、外部ストレージI/F506、入出力I/F507およびネットワークI/F508を備えている。
〇Hardware configuration of communication terminal ○
Subsequently, the hardware configuration of the
CPU501は、通信端末50全体の動作を制御する。ROM502は、CPU501の駆動に用いられるプログラムを記憶する不揮発性のメモリである。RAM503は、CPU501のワークエリアとして使用される揮発性のメモリである。入力装置504は、ユーザによる操作入力を受け付ける入力手段の一種である。入力装置504は、例えば、キーボード、マウス、タッチパネル、ボタン、ダイヤルまたは音声入力のためのマイク等である。
The
ディスプレイ505は、カーソル、メニュー、ウィンドウ、文字、アイコンまたは画像等の各種情報を表示する液晶または有機EL等の表示手段の一種である。外部ストレージI/F506は、記録メディア等の外部ストレージに対するデータの読み出しまたは書き込み(記憶)を制御する。入出力I/F507は、各種の外部機器との間で各種データまたは情報の入出力を行うために、外部機器と接続するためのインターフェースである。ネットワークI/F508は、通信ネットワーク5を介してデータ通信を行うためのインターフェースである。また、通信端末50は、バスライン510を備えている。バスライン510は、CPU501等の各構成要素を電気的に接続するためのアドレスバスまたはデータバス等である。
The
なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、Blu-ray(登録商標)ディスク、SDカード、USBメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、撮影装置10は、本発明に係るプログラムが実行されることで本発明に係る配信方法を実現する。
Each of the above programs may be a file in an installable format or an executable format, and may be recorded and distributed on a computer-readable recording medium. Examples of recording media include CD-R (Compact Disc Recordable), DVD (Digital Versatile Disk), Blu-ray (registered trademark) disc, SD card, USB memory and the like. In addition, the recording medium can be provided domestically or internationally as a program product. For example, the photographing
●機能構成
次に、図5および図6を用いて、第1の実施形態に係る配信システムの機能構成について説明する。図5は、実施形態に係る配信システムの機能構成の一例を示す図である。なお、図5には、図1に示されている装置および端末のうち、後述する処理または動作に関連しているものが示されている。
● Functional configuration Next, the functional configuration of the distribution system according to the first embodiment will be described with reference to FIGS. 5 and 6. FIG. 5 is a diagram showing an example of the functional configuration of the distribution system according to the embodiment. Note that FIG. 5 shows the devices and terminals shown in FIG. 1 that are related to the processing or operation described later.
○撮影装置の機能構成○
まず、図5を用いて、撮影装置10の機能構成について説明する。撮影装置10は、通信部11、受付部12、入出力部13、判断部14、撮影処理部15、パラメータ設定部16、画像処理部17、エンコード処理部18および記憶・読出部19を有している。これら各部は、図3に示されている各構成要素のいずれかが、ROM112またはSRAM113からDRAM114上に展開されたプログラムに従ったCPU111からの命令によって動作することで実現される機能、または機能する手段である。また、撮影装置10は、図3に示されているROM112、SRAM113またはDRAM114によって構築される記憶部1000を有している。
○ Functional configuration of the imaging device ○
First, the functional configuration of the photographing
通信部11は、図3に示されているCPU111からの命令、およびネットワークI/F118によって実現され、通信ネットワーク5を介して、通信端末50との間で各種データ(または情報)の送受信を行う機能である。通信部11は、例えば、撮影処理部15によって撮影されて取得された画像データを、通信ネットワーク5を介して、通信端末50へ配信する。通信部11は、配信手段の一例である。
The
受付部12は、図3に示されているCPU111からの命令、および操作部115等の入力手段によって実現され、ユーザからの各種入力を受け付ける機能である。判断部14は、図3に示されているCPU111からの命令によって実現され、各種判断を行う機能である。入出力部13は、図3に示されているCPU111からの命令、および入出力I/F117によって実現され、外部機器との間で各種データまたは情報の入出力を行う機能である。判断部14は、例えば、ストリームごとのエンコードのパラメータに応じて、撮影画像データのエンコード方法を決定する。具体的には、判断部14は、ストリームごとの撮影画像データをハードウエアエンコーダおよびソフトウエアエンコーダのいずれでエンコード処理を行うかを決定する。判断部14は、決定手段の一例である。
The
撮影処理部15は、図3に示されているCPU111からの命令、並びに撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108および音処理ユニット109によって実現され、被写体や風景画像等を撮影して撮影画像データを取得する機能である。撮影処理部15は、取得手段の一例である。
The
パラメータ設定部16は、図3に示されているCPU111からの命令によって実現され、ストリームごとのエンコードパラメータを設定する機能である。パラメータ設定部16は、設定手段の一例である。画像処理部17は、図3に示されているCPU111からの命令によって実現され、撮影処理部15によって取得された撮影画像データに対して、各種処理を行う機能である。
The
エンコード処理部18は、図4に示されているCPU111からの命令によって実現され、決定されたエンコード方法を用いて、撮影画像データのエンコード処理を行う機能である。エンコード処理部18は、例えば、決定されたエンコード方法を用いたエンコード処理を行い、ストリームごとのストリーミング画像データを生成する。エンコード方法がハードウエアエンコーダを用いる方法である場合、エンコード処理部18は、図3に示されているハードウエアエンコーダ106を用いて、撮影画像データのエンコード処理を行う。一方で、エンコード方法がソフトウエアエンコーダを用いる方法である場合、エンコード処理部18は、図3に示されているCPU111が専用ソフトウエアを実行させることで動作するソフトウエアエンコーダを用いて、撮影画像データのエンコード処理を行う。エンコード処理部18は、生成手段の一例である。
The
記憶・読出部19は、図3に示されているCPU111からの命令によって実現され、記憶部1000に各種データを記憶させ、または記憶部1000から各種データを読み出す機能である。
The storage /
〇エンコードパラメータ管理テーブル
図6は、第1の実施形態に係るエンコードパラメータ管理テーブルの一例を示す概念図である。記憶部1000には、図6に示されているようなエンコードパラメータ管理テーブルによって構成されているエンコードパラメータ管理DB1001が構築されている。エンコードパラメータ管理テーブルは、エンコード処理部18を用いたストリームごとのエンコード方法を記憶して管理している。図6に示されているエンコードパラメータ管理テーブルには、図3に示されているような一つのハードウエアエンコーダ106が撮影装置10に備えられている場合の例である。また、この場合のハードウエアエンコーダ106が同時に実行可能なエンコード処理の数は一つである。
〇 Encoding parameter management table FIG. 6 is a conceptual diagram showing an example of the encoding parameter management table according to the first embodiment. In the
エンコードパラメータ管理テーブルには、画像データを配信するストリームごとに、エンコードパラメータおよびエンコード処理に用いるエンコーダを示す対象エンコーダが関連づけて記憶されて管理されている。このうち、エンコードパラメータには、ストリームごとの画像データの画質を示す情報が示されている。画質の示す情報には、例えば、画像データの解像度およびフレームレートが含まれている。なお、エンコードパラメータには、画像データのビットレートが含まれていてもよい。また、画像データが動画像データである場合、エンコードパラメータは、画質とともに音声データの音質を示す情報として扱われる。さらに、エンコードパラメータには、エンコード処理に用いる符号化の方式が含められていてもよい、符号化方式としては、例えば、静止画であればJPEG(Joint Photographic Experts Group)もしくはその発展系(JPEG2000)、またはGIF(Graphics Interchange Format)等が挙げられ、動画像であれば、MPEG(Moving Picture Experts Group)またはその発展系(H.264、H.265)等が挙げられる。 In the encoding parameter management table, an encoding parameter and a target encoder indicating an encoder used for encoding processing are stored and managed in association with each stream for delivering image data. Of these, the encoding parameter shows information indicating the image quality of the image data for each stream. The information indicated by the image quality includes, for example, the resolution and frame rate of the image data. The encoding parameter may include the bit rate of the image data. When the image data is moving image data, the encoding parameter is treated as information indicating the sound quality of the audio data as well as the image quality. Further, the encoding parameter may include a coding method used for the encoding process. As the coding method, for example, in the case of a still image, JPEG (Joint Photographic Experts Group) or an advanced system thereof (JPEG2000). , GIF (Graphics Interchange Format) and the like, and in the case of moving images, MPEG (Moving Picture Experts Group) or its development system (H.264, H.265) and the like can be mentioned.
対象エンコーダは、例えば、ストリーム1〜ストリーム3のうち、エンコードパラメータの処理負荷の大きい順に優先してハードウエアエンコーダ106が割り当てられる。エンコードパラメータ管理テーブルには、例えば、解像度が最も高いストリーム1にハードウエアエンコーダ106が割り当てられ、ストリーム2とストリーム3にソフトウエアエンコーダが割り当てられている。
As the target encoder, for example, the
○通信端末の機能構成○
続いて、図5を用いて、通信端末50の機能構成について説明する。通信端末50は、通信部51、受付部52、表示制御部53、判断部54および記憶・読出部59を有している。これら各部は、図4に示されている各構成要素のいずれかが、RAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能、または機能する手段である。また、通信端末50は、図4に示されているROM502または外部ストレージによって構築される記憶部5000を有している。
○ Functional configuration of communication terminals ○
Subsequently, the functional configuration of the
通信部51は、図4に示されているCPU501からの命令、およびネットワークI/F508によって実現され、通信ネットワーク5を介して、撮影装置10との間で各種データまたは情報の送受信を行う機能である。
The
受付部52は、図4に示されているCPU501からの命令、および入力装置504によって実現され、ユーザからの各種入力操作を受け付ける機能である。表示制御部53は、図3に示されているCPU501からの命令、およびディスプレイ505によって実現され、ユーザによる入力操作を受け付ける操作画面等の各種画面をディスプレイ505に表示させる機能である。判断部54は、図4に示されているCPU501からの命令によって実現され、各種判断を行う機能である。記憶・読出部59は、図4に示されているCPU501からの命令によって実行され、記憶部5000に各種データを記憶させ、または記憶部5000から各種データを読み出す機能である。
The
●第1の実施形態の処理または動作
次に、図7乃至図11を用いて、第1の実施形態に係る配信システムの処理または動作について説明する。まず、図7に用いて、配信システム1における処理または動作の全体的な流れについて説明する。図7は、第1の実施形態に係る配信システムにおける画像配信処理の一例を示すシーケンス図である。
● Processing or operation of the first embodiment Next, the processing or operation of the distribution system according to the first embodiment will be described with reference to FIGS. 7 to 11. First, the overall flow of processing or operation in the distribution system 1 will be described with reference to FIG. 7. FIG. 7 is a sequence diagram showing an example of image distribution processing in the distribution system according to the first embodiment.
まず、通信端末50の受付部52は、入力装置504に対するユーザの所定の入力操作を受け付けることで、ストリーミング画像の配信開始要求を受け付ける(ステップS11)。通信部51は、撮影装置10に対して、ストリーミング画像の配信を要求する旨を示す画像配信要求を送信する(ステップS12)。これにより、撮影装置10の通信部11は、通信端末50から送信された画像配信要求を受信する。なお、通信端末50から送信された画像配信要求には、画像配信を要求するストリームの数、およびストリームごとのエンコードパラメータの情報が含まれていてもよい。この場合、画像配信要求に含まれる画像配信を要求するストリームの数およびストリームごとのエンコードパラメータの情報は、入力装置504に対するユーザ入力が行われることで受付部52により受け付けられる。また、撮影装置10は、操作部115に対するユーザ操作または撮影装置10の電源オンをトリガーとして、自動的にデータ配信を行うための処理を開始してもよい。
First, the
次に、撮影装置10の撮影処理部15は、被写体の撮影処理を実行し、撮影画像データを取得する(ステップS13)。そして、撮影装置10は、撮影処理部15によって取得された撮影画像データに対するエンコード処理を実行する(ステップS14)。
Next, the
ここで、図8を用いて、撮影装置10による撮影画像データのエンコード処理の詳細を説明する。図8は、第1の実施形態に係る画像データのエンコード処理の一例を示すフローチャートである。
Here, the details of the encoding process of the photographed image data by the photographing
まず、パラメータ設定部16は、ストリーミング配信を行うストリームの数、ストリームごとのエンコードパラメータを設定する(ステップS101)。具体的には、パラメータ設定部16は、通信部11によって受信された画像配信要求に含まれている情報、または外部機器から入出力部13に入力された情報に基づいて、ストリームの数およびストリームごとのエンコードパラメータを、エンコードパラメータ管理DB1001(図6参照)に設定する。なお、パラメータ設定部16は、予めストリーミング配信を行うために記憶された情報を、エンコードパラメータとして設定してもよい。図6に示されている例の場合、パラメータ設定部16は、3つのストリームを設定し、それぞれのストリームに対するエンコードパラメータの情報を、エンコードパラメータ管理DB1001に記憶する。
First, the
次に、判断部14は、ハードウエアエンコーダ106の同時処理実行可能数を決定する(ステップS102)。判断部14は、例えば、ハードウエアエンコーダ106の処理能力またはステップS101で設定されたエンコードパラメータの値等に基づいて、ハードウエアエンコーダ106で同時に実行可能な処理の数を決定する。図6に示されているエンコードパラメータ管理テーブルの場合、判断部14は、同時処理実行可能数が一つであると決定する。
Next, the
次に、判断部14は、ステップS101で設定されたストリームごとの撮影画像データのエンコード方法として、各ストリームのエンコード処理を行う対象エンコーダを決定する(ステップS103)。具体的には、判断部14は、ステップS101で設定されたエンコードパラメータを用いて、ストリームごとにハードウエアエンコーダ106およびソフトウエアエンコーダのいずれを用いてエンコード処理を行うかを決定する。判断部14は、例えば、処理負荷の大きいストリームにハードウエアエンコーダ106が割り当てられるように対象エンコーダを決定する。ハードウエアエンコーダ106が割り当て可能なストリームの数は、ステップS102で決定された同時処理実行可能数に対応する。
Next, the
判断部14は、エンコードパラメータの一つである画像データの解像度の値に応じて、処理負荷の大きい高解像度のストリームに対してハードウエアエンコーダ106を割り当て、その他のストリームに対してソフトウエアエンコーダを割り当てる。図6に示されているエンコードパラメータ管理テーブルを用いる場合、判断部14は、最も解像度が高いストリーム1に対してハードウエアエンコーダ106を割り当て、ストリーム2およびストリーム3に対してソフトウエアエンコーダを割り当てる。
The
撮影処理部15は、撮影手段の一例である撮像ユニット101を用いて撮影されて取得された撮影画像データのうち、1フレーム分の撮影画像データを取り込む(ステップS104)。そして、画像処理部17は、取り込まれた撮影画像データの画像処理を実行する(ステップS105)。そして、エンコード処理部18は、ステップS105で処理された画像データに対する、ステップS103で決定された対象エンコーダを用いたエンコード処理を、各ストリームに設定されたエンコードパラメータに基づいて実行する(ステップS106)。そして、エンコード処理部18は、ストリームごとに対象エンコーダを用いたエンコード処理を行い、ストリームごとのストリーミング画像データを生成する。エンコード処理部18は、複数のストリームに係る対象エンコーダを用いたエンコード処理およびストリーミング画像データの生成を、ハードウエアエンコーダおよびソフトウエアエンコーダを用いて並列に処理する。
The photographing
そして、通信部11は、ステップS106でエンコード処理された撮影画像データであるストリーミング画像データを、通信端末50へ配信する(ステップS107)。なお、通信端末50へのストリーミング画像データの配信は、通信ネットワーク5を介さずに、入出力部13を用いて直接配信されてもよい。
Then, the
そして、撮影装置10は、撮影処理部15によって取得された全フレーム分の撮影画像データの配信が終了した場合(ステップS108のYES)、処理を終了する。一方で、撮影装置10は、撮影処理部15によって取得された撮影画像データのうち、配信が終了していないフレームが残っている場合(ステップS108のNO)、ステップS104からの処理を繰り返して、ストリーミング画像データの配信を継続する。
Then, when the distribution of the captured image data for all the frames acquired by the photographing
これにより、撮影装置10は、画質の異なる複数のストリームの画像データを配信する場合、ストリームごとの画像データの画質に応じて適切なエンコード方法(ハードとソフトのいずれのエンコーダを用いるか)を決定することができる。
As a result, when delivering image data of a plurality of streams having different image quality, the photographing
図7に戻り、撮影装置10の通信部11は、ステップS107で示されているように、ステップS14でエンコード処理されて生成された複数のストリーミング画像データを、通信ネットワーク5を介して、通信端末50へ送信(配信)する(ステップS15)。
Returning to FIG. 7, as shown in step S107, the
次に、通信端末50は、撮影装置10から配信された複数のストリーミング画像データのうち、受信するデータを選択する(ステップS16)。具体的には、通信端末50の受付部52は、入力装置504に対するユーザの所定の入力操作によって、受信するストリーミング画像データの選択を受け付ける。また、通信端末50の判断部54は、通信部51によるネットワーク帯域の情報に応じて、受信するストリーミング画像データを選択する。この場合、通信部11は、例えば、通信遅延の発生の有無等によって通信ネットワーク5の通信状態を監視する。判断部54は、現在の通信ネットワーク5の通信状態に対応するストリーミング画像データを選択する。そして、通信端末50の表示制御部53は、ステップS16で選択されて受信されたストリーミング画像データに係る画像を、ディスプレイ505に表示させる(ステップS17)。
Next, the
ここで、上述した判断部14によって決定される撮影画像データのエンコ―ド方法の別の例について説明する。まず、図9(A)に示されているエンコードパラメータ管理テーブルは、図6の例と異なり、図3に示されているような一つのハードウエアエンコーダ106において同時実行可能なエンコード処理の数が二つである場合の例である。図9(A)に示されているエンコードパラメータ管理テーブルには、例えば、解像度が最も高いストリーム1と二番目に解像度の高いストリーム2にハードウエアエンコーダが割り当てられ、ストリーム3にソフトウエアエンコーダが割り当てられている。このように、撮影装置10は、ハードウエアエンコーダ106の数または一つのハードウエアエンコーダ106で同時実行可能な処理の数に応じて、複数のストリームのエンコード処理にハードウエアエンコーダを割り当てることが可能である。
Here, another example of the method of encoding the captured image data determined by the
また、図9(B)に示されているエンコードパラメータ管理テーブルは、図6の例と異なり、エンコードパラメータのうち、フレームレートがストリームごとに異なる場合の例である。図9(B)に示されているエンコードパラメータ管理テーブルには、例えば、フレームレートが最も高いストリーム1にハードウエアエンコーダが割り当てられ、ストリーム2およびストリーム3にソフトウエアエンコーダが割り当てられている。このように、撮影装置10は、エンコードパラメータとして撮影画像データの解像度のみならず、画像データのフレームレートを用いてエンコーダの処理負荷を判断することによって、ストリームごとのエンコード処理に用いる対象エンコーダを決定することができる。
Further, the encoding parameter management table shown in FIG. 9B is an example in which the frame rate of the encoding parameters differs for each stream, unlike the example of FIG. In the encoding parameter management table shown in FIG. 9B, for example, a hardware encoder is assigned to stream 1 having the highest frame rate, and a software encoder is assigned to
なお、ストリームごとの対象エンコーダ(エンコード方法)の決定に用いるエンコ―ドパラメータの種類は、任意で設定可能である。例えば、判断部54は、複数のエンコードパラメータのうち、解像度の値を優先して対象エンコーダを決定してもよいし、フレームレートの値を優先して対象エンコーダを決定してもよい。
The type of encode parameter used to determine the target encoder (encoding method) for each stream can be set arbitrarily. For example, the
●第1の実施形態の効果
したがって、第1の実施形態に係る配信システムは、画質の異なるストリームごとのエンコードパラメータに応じて決定されたエンコード方法を用いて、ストリーミング画像データを生成することで、複数のストリームの画像データを同時に配信することができる。
● Effect of the first embodiment Therefore, the distribution system according to the first embodiment generates streaming image data by using an encoding method determined according to the encoding parameters for each stream having different image quality. Image data of multiple streams can be distributed at the same time.
●第1の実施形態の変形例
次に、図10および図11を用いて、第1の実施形態の変形例に係る配信システムついて説明する。なお、上述した実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。第1の実施形態の変形例に係る配信システム1aは、上述した配信システム1によって撮影装置10からストリーミング画像データが配信中に、画像データのエンコードパラメータを変更することができるシステムである。
● Modified Example of First Embodiment Next, the distribution system according to the modified example of the first embodiment will be described with reference to FIGS. 10 and 11. The same configurations and the same functions as those in the above-described embodiment are designated by the same reference numerals, and the description thereof will be omitted. The distribution system 1a according to the modification of the first embodiment is a system capable of changing the encoding parameters of the image data while the streaming image data is being distributed from the photographing
図10は、第1の実施形態の変形例に係る画像データのエンコード処理の一例を示すフローチャートである。なお、図10に示されているステップS201〜ステップS208の処理は、図8に示されているステップS101〜ステップS108の処理と同様であるため、説明を省略する。撮影装置10は、ストリーミング画像データの配信が継続中である場合(ステップS208のNO)、処理をステップS209へ移行させる。パラメータ設定部16は、エンコードパラメータの変更の有無を判断する(ステップS209)。パラメータ設定部16は、エンコードパラメータの変更の有無を判断し、エンコードパラメータの値を変更する。
FIG. 10 is a flowchart showing an example of image data encoding processing according to a modified example of the first embodiment. Since the processing of steps S201 to S208 shown in FIG. 10 is the same as the processing of steps S101 to S108 shown in FIG. 8, the description thereof will be omitted. When the distribution of the streaming image data is continuing (NO in step S208), the photographing
撮影装置10のパラメータ設定部16は、エンコードパラメータが変更された場合(ステップS209のYES)、処理をステップS210へ移行させる。具体的には、パラメータ設定部16は、通信部11または入出力部13によって通信端末50からのパラメータの変更要求が受信された場合、または受付部12によって配信者による入力操作によるパラメータの変更要求を受け付けられた場合、エンコードパラメータ管理DB1001に記憶されたエンコードパラメータの値を変更する。図11に示されている例の場合、パラメータ設定部16は、フレームレートがストリームごとに異なるエンコードパラメータのうち、ストリーム2のフレームレートを「10fps」から「30fps」に変更する。一方で、パラメータ設定部16は、エンコードパラメータを変更しない場合(ステップS209のNO)、ステップS204からの処理を繰り返す。
When the encoding parameter is changed (YES in step S209), the
次に、判断部14は、変更後のエンコードパラメータに応じて、ストリームごとのエンコード方法を変更して、エンコード処理に用いる対象エンコーダを変更する(ステップS210)。具体的には、図11に示されている例の場合、ストリーム2のフレームレートが変更された場合、判断部14は、エンコーダの割り当ての再計算を行い、最も処理負荷が大きい高フレームレートのストリーム2の対象エンコーダを、ソフトウエアエンコーダからハードウエアエンコーダに変更し、ストリーム2よりフレームレートの低いストリーム1の対象エンコーダをハードウエアエンコーダからソフトウエアエンコーダに変更する。
Next, the
そして、撮影装置10は、変更された対象エンコーダを用いてステップS204からの処理を繰り返し、ストリーミング画像データの配信を継続する。一方で、パラメータ設定部16は、エンコードパラメータが変更されていない場合、ステップS203によって決定された対象エンコーダを用いてエンコ―ド処理されたストリーミング画像データの配信を継続する。
Then, the photographing
これにより、配信システム1aは、画像データの配信中にエンコードパラメータが変更されたとしても、エンコーダの割り当てを再計算してエンコード方法に自動的に変更することができるので、最適なエンコーダ割り当てによる配信を継続することができる。 As a result, even if the encoding parameters are changed during the distribution of the image data, the distribution system 1a can recalculate the encoder allocation and automatically change to the encoding method, so that the distribution system 1a distributes with the optimum encoder allocation. Can be continued.
●第2の実施形態●
続いて、図12乃至図15を用いて、第2の実施形態に係る配信システムの構成について説明する。なお、第1の実施形態と同一の構成および同一の機能は、同一の符号を付して、その説明を省略する。第2の実施形態に係る配信システムは、撮影装置10によって生成されたストリーミング画像データを、配信制御装置90を介して通信端末50へ配信することができるシステムである。
● Second embodiment ●
Subsequently, the configuration of the distribution system according to the second embodiment will be described with reference to FIGS. 12 to 15. The same configurations and the same functions as those in the first embodiment are designated by the same reference numerals, and the description thereof will be omitted. The distribution system according to the second embodiment is a system capable of distributing the streaming image data generated by the photographing
●システム構成
図12は、第2の実施形態に係る配信システムのシステム構成の一例を示す図である。図12に示されている配信システム2は、第1の実施形態に係る構成に、配信制御装置90が追加されている。配信制御装置90は、通信ネットワーク5を介して、撮影装置10および通信端末50との間で相互通信を行うことができる。
● System Configuration FIG. 12 is a diagram showing an example of the system configuration of the distribution system according to the second embodiment. In the
配信制御装置90は、サーバコンピュータであり、撮影装置10から送信されたストリーミング画像データの配信を制御する。なお、配信制御装置90は、単一のコンピュータによって構築されてもよいし、各部(機能または手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。また、配信制御装置90のハードウエア構成は、図4に示されている通信端末50と同様またはその一部が変更されたハードウエア構成であるため、説明を省略する。
The
●概略
図13は、第2の実施形態に係る配信システムの処理の概略の一例を示す図である。なお、撮影装置10によってストリームごとのストリーミング画像データを生成する処理は、第1の実施形態において説明した処理と同様である。
● Schematic FIG. 13 is a diagram showing an outline example of processing of the distribution system according to the second embodiment. The process of generating the streaming image data for each stream by the photographing
撮影装置10は、通信ネットワーク5を介して、生成されたストリームごとのストリーミング画像データを、配信制御装置90へ送信する。配信制御装置90は、受信した複数のストリーミングデータを記憶部9000に記憶する。そして、配信制御装置90は、通信端末50からの要求に応じて、撮影装置10から送信されて記憶部9000に記憶させたストリーミング画像データを通信端末50へ配信(送信)する。
The photographing
図13に示されているように、配信制御装置90は、複数の通信端末50(通信端末50Aおよび通信端末50B)に対して、ストリーミング画像データを同時に配信することができる。また、配信制御装置90は、通信端末50からの要求に応じたストリームに対応するストリーミング画像データを配信することができるとともに、通信端末50ごとに異なるストリームのストリーミング画像データを配信することができる。これにより、配信システム2は、配信制御装置90を用いることで、撮影装置10から送信されるストリーミング画像データを、通信端末50ごとのネットワーク帯域の状態等に応じて、通信端末50ごとに適したストリームで配信することができる。
As shown in FIG. 13, the
●機能構成
次に、第2の実施形態に係る配信システムの機能構成について説明する。図14は、第2の実施形態に係る配信システムの機能構成の一例を示す図である。なお、撮影装置10および通信端末50(通信端末50A,50B)の機能構成は、図5に示されている構成と同様であるため説明を省略する。
● Functional configuration Next, the functional configuration of the distribution system according to the second embodiment will be described. FIG. 14 is a diagram showing an example of the functional configuration of the distribution system according to the second embodiment. Since the functional configurations of the photographing
配信制御装置90は、通信部91および記憶・読出部99を有している。これら各部は、図4に示されている各構成要素のいずれかが、RAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能、または機能する手段である。また、配信制御装置90は、図4に示されているROM502または外部ストレージによって構築される記憶部9000を有している。
The
通信部91は、図4に示されているCPU501からの命令、およびネットワークI/F508によって実現され、通信ネットワーク5を介して、撮影装置10および通信端末50との間で各種データまたは情報の送受信を行う機能である。記憶・読出部99は、図4に示されているCPU501からの命令によって実行され、記憶部9000に各種データを記憶させ、または記憶部9000から各種データを読み出す機能である。記憶部9000は、撮影装置10から送信されたストリーミング画像データを記憶している。
The
●第2の実施形態の処理または動作
次に、図15を用いて、第2の実施形態に係る配信システムの処理または動作について説明する。図15は、第2の実施形態に係る配信システムにおける画像配信処理の一例を示すシーケンス図である。
● Processing or operation of the second embodiment Next, the processing or operation of the distribution system according to the second embodiment will be described with reference to FIG. FIG. 15 is a sequence diagram showing an example of image distribution processing in the distribution system according to the second embodiment.
まず、配信制御装置90の通信部91は、撮影装置10に対して、ストリーミング画像の取得を要求する旨を示す画像取得要求を送信する(ステップS51)。これにより、撮影装置10の通信部11は、配信制御装置90から送信された画像取得要求を受信する。なお、配信制御装置90から送信される画像取得要求には、画像取得を要求するストリームの数、およびストリームごとのエンコードパラメータの情報が含まれていてもよい。この場合、配信制御装置90は、例えば、予め記憶部9000に記憶された情報を読み出して送信してもよいし、配信制御装置90に対するユーザからの入力によって受け付けられた情報を送信してもよい。また、撮影装置10は、操作部115に対するユーザ操作または撮影装置10の電源オンをトリガーとして、自動的に画像取得を行うための処理を開始してもよい。
First, the
次に、撮影装置10の撮影処理部15は、撮影処理を行う(ステップS52)。そして、撮影装置10は、撮影処理部15によって取得された撮影画像データに対するエンコード処理を実行する(ステップS53)。なお、ステップS53によるエンコード処理は、図8に示されている内容と同様であるため、説明を省略する。
Next, the photographing
次に、撮影装置10の通信部11は、ステップS14でエンコード処理された生成された複数のストリーミングデータを、通信ネットワーク5を介して、配信制御装置90へ送信(配信)する(ステップS54)。これにより、配信制御装置90の通信部91は、撮影装置10から送信されてきた複数のストリーミング画像データを受信する。そして、配信制御装置90の記憶・読出部99は、通信部91によって受信されたストリーミング画像データを、記憶部9000に記憶させる(ステップS55)。このように、配信制御装置90は、撮影装置10から送信されてきたストリーミング画像データを一時的に記憶する。
Next, the
次に、通信端末50Aの通信部51Aは、受付部52によって受け付けられたユーザからの要求に応じて、配信制御装置90に対して、ストリーミング画像の配信を要求する旨を示す画像配信要求を送信する(ステップS56)。これにより、配信制御装置90の通信部91は、通信端末50Aから送信された画像配信要求を受信する。次に、配信制御装置90の通信部91は、通信端末50Aに対して、記憶部9000に記憶された複数のストリーミング画像データを送信(配信)する(ステップS57)。
Next, the
通信端末50Aは、配信制御装置90から配信された複数のストリーミング画像データのうち、受信するデータを選択する(ステップS58)。具体的には、通信端末50Aの受付部52Aは、入力装置504に対するユーザの所定の入力操作によって、受信するストリーミング画像データの選択を受け付ける。また、通信端末50Aの判断部54Aは、通信部51Aによるネットワーク帯域の情報に応じて、受信するストリーミング画像データを選択する。そして、通信端末50Aの表示制御部53Aは、ステップS58で選択されて受信されたストリーミング画像データに係る画像を、ディスプレイ505に表示させる(ステップS59)。
The
一方で、通信端末50Bの通信部51Bは、受付部52Bによって受け付けられたユーザからの要求に応じて、配信制御装置90に対して、ストリーミング画像の配信を要求する旨を示す画像配信要求を送信する(ステップS60)。これにより、配信制御装置90の通信部91は、通信端末50Bから送信された画像配信要求を受信する。次に、配信制御装置90の通信部91は、通信端末50Bに対して、記憶部9000に記憶された複数のストリーミング画像データを送信(配信)する(ステップS61)。
On the other hand, the communication unit 51B of the
通信端末50Bは、ステップS58の処理と同様に、配信制御装置90から配信された複数のストリーミング画像データのうち、受信するデータを選択する(ステップS62)。そして、通信端末50Bの表示制御部53Bは、ステップS62で選択されて受信されたストリーミング画像データに係る画像を、ディスプレイ505に表示させる(ステップS63)。なお、ステップS56乃至ステップS59の処理とステップS60乃至ステップS63の処理の順序は前後してもよく、または並行して行われてもよい。
Similar to the process in step S58, the
●第2の実施形態の効果
したがって、第2の実施形態に係る配信システムは、配信制御装置90を用いることで、撮影装置10から送信されるストリーミング画像データを、通信端末50ごとのネットワーク帯域の状態等に応じて、通信端末50ごとに適したストリームで配信することができる。
● Effect of the Second Embodiment Therefore, the distribution system according to the second embodiment uses the
●まとめ●
以上説明したように、本発明の一実施形態に係る撮影装置は、複数のストリームの画像データを配信する撮影装置10であって、撮像ユニット101(撮影手段の一例)によって撮影された撮影画像データを取得する撮影処理部15(取得手段の一例)と、ストリームごとのエンコードパラメータに応じて、取得された撮影画像データのエンコード方法を決定する判断部14(決定手段の一例)と、決定されたエンコード方法を用いて、ストリームごとのストリーミング画像データを生成するエンコード処理部18(生成手段の一例)と、生成された複数のストリーミング画像データを配信する通信部11(配信手段の一例)と、を備える。これにより、撮影装置10は、画質に応じた適切なエンコード方法を用いてエンコード処理を行うことで、複数のストリームの画像データを同時配信することができる。
● Summary ●
As described above, the photographing device according to the embodiment of the present invention is the photographing
また、本発明の一実施形態に係る撮影装置は、少なくとも一つのハードウエアエンコーダ106およびソフトウエアエンコーダを備える。そして、撮影装置10において、エンコード処理部18(生成手段の一例)は、処理負荷の大きい高解像度または高フレームレートのエンコードパラメータに対応するストリームに対して、ハードウエアエンコーダ106を用いてストリーミング画像データを生成する。これにより、撮影装置10は、ハードウエアエンコーダの数に制約のある場合であっても、複数のストリームの画像データを同時配信することができる。
Further, the photographing apparatus according to the embodiment of the present invention includes at least one
さらに、本発明の一実施形態に係る撮影装置において、エンコード処理部18(生成手段の一例)は、ハードウエアエンコーダ106およびソフトウエアエンコーダを用いて、複数のストリーミング画像データを並行して生成する。これにより、撮影装置10は、ハードウエアエンコーダの数に制約のある撮影装置10を用いて、複数のストリームの画像データを同時配信することができる。
Further, in the photographing apparatus according to the embodiment of the present invention, the encoding processing unit 18 (an example of the generation means) generates a plurality of streaming image data in parallel by using the
また、本発明の一実施形態に係る撮影装置は、ストリームごとのエンコードパラメータを設定するパラメータ設定部16(設定手段の一例)を備える。そして、撮影装置10において、判断部14(決定手段の一例)は、設定されたエンコードパラメータが変更された場合、決定されたエンコード方法を変更する。これにより、撮影装置10は、ストリーミング画像データの配信中にエンコードパラメータが変更されたとしても、エンコーダの割り当てを再計算してエンコード方法に自動的に変更することができるので、最適なエンコーダ割り当てによるストリーミング配信を継続することができる。
Further, the photographing apparatus according to the embodiment of the present invention includes a parameter setting unit 16 (an example of setting means) for setting encoding parameters for each stream. Then, in the photographing
●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
● Supplement ●
Each function of the embodiment described above can be realized by one or more processing circuits. Here, the "processing circuit" in the present specification is a processor programmed to execute each function by software such as a processor implemented by an electronic circuit, or a processor designed to execute each function described above. It shall include devices such as ASICs (Application Specific Integrated Circuits), DSPs (digital signal processors), FPGAs (field programmable gate arrays), and conventional circuit modules.
また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり,コンピュータが,データ識別等の判断に必要なアルゴリズムを,事前に取り込まれる学習データから自律的に生成し,新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。 Further, the various tables of the embodiment described above may be generated by the learning effect of machine learning, and by classifying the data of each related item by machine learning, the table is not used. You may. Here, machine learning is a technology for making a computer acquire learning ability like a human being, and the computer autonomously generates an algorithm necessary for judgment such as data identification from learning data taken in advance. However, it refers to a technology that applies this to new data to make predictions. The learning method for machine learning may be any of supervised learning, unsupervised learning, semi-supervised learning, enhanced learning, and deep learning, and may be a learning method that combines these learning methods. Machine learning It doesn't matter how you learn for.
これまで本発明の一実施形態に係る撮影装置、配信システム、配信方法および記録媒体について説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 Although the photographing apparatus, the distribution system, the distribution method and the recording medium according to the embodiment of the present invention have been described so far, the present invention is not limited to the above-described embodiment, and the addition of other embodiments. Changes or deletions can be made within the range that can be conceived by those skilled in the art, and any aspect is included in the scope of the present invention as long as the actions and effects of the present invention are exhibited.
1 配信システム
5 通信ネットワーク
10 撮影装置
11 通信部(配信手段の一例)
14 判断部(決定手段の一例)
15 撮影処理部(取得手段の一例)
16 パラメータ設定部(設定手段の一例)
18 エンコード処理部(生成手段の一例)
50 通信端末
90 配信制御装置
101 撮像ユニット(撮影手段の一例)
1
14 Judgment unit (an example of decision-making means)
15 Shooting processing unit (example of acquisition means)
16 Parameter setting unit (example of setting means)
18 Encoding processing unit (example of generation means)
50
Claims (10)
撮影手段によって撮影された撮影画像データを取得する取得手段と、
前記ストリームごとのエンコードパラメータに応じて、取得された前記撮影画像データのエンコード方法を決定する決定手段と、
決定されたエンコード方法を用いて、前記ストリームごとのストリーミング画像データを生成する生成手段と、
生成された複数のストリーミング画像データを配信する配信手段と、
を備える撮影装置。 A shooting device that distributes image data of multiple streams.
An acquisition means for acquiring captured image data taken by the photographing means, and
Determining means for determining the encoding method of the acquired captured image data according to the encoding parameters for each stream, and
A generation means for generating streaming image data for each stream using the determined encoding method, and
A distribution method that distributes multiple generated streaming image data,
A shooting device equipped with.
少なくとも一つのハードウエアエンコーダとソフトウエアエンコーダを備え、
前記生成手段は、処理負荷の大きい前記エンコードパラメータに対応するストリームに対して、前記ハードウエアエンコーダを用いて前記ストリーミング画像データを生成する撮影装置。 The imaging device according to claim 1.
Equipped with at least one hardware encoder and software encoder
The generation means is a photographing device that generates the streaming image data by using the hardware encoder for a stream corresponding to the encoding parameter having a large processing load.
前記生成手段は、前記解像度の高いストリームに対して、前記ハードウエアエンコーダを用いて前記ストリーミング画像データを生成する請求項2に記載の撮影装置。 The encoding parameter is the resolution of the streaming image data.
The photographing apparatus according to claim 2, wherein the generation means generates the streaming image data for the stream having a high resolution by using the hardware encoder.
前記生成手段は、前記フレームレートの高いストリームに対して、前記ハードウエアエンコーダを用いて前記ストリーミング画像データを生成する請求項2または3に記載の撮影装置。 The encoding parameter is the frame rate of the streaming image data.
The imaging device according to claim 2 or 3, wherein the generation means generates the streaming image data for the stream having a high frame rate by using the hardware encoder.
前記ストリームごとのエンコードパラメータを設定する設定手段を備え、
前記決定手段は、設定されたエンコードパラメータに応じて、取得された前記撮影画像データのエンコード方法を決定する撮影装置。 The photographing apparatus according to any one of claims 1 to 5.
A setting means for setting the encoding parameter for each stream is provided.
The determination means is an imaging device that determines an encoding method of the acquired captured image data according to a set encoding parameter.
撮影手段によって撮影された撮影画像データを取得する取得手段と、
前記ストリームごとのエンコードパラメータに応じて、取得された前記撮影画像データのエンコード方法を決定する決定手段と、
決定されたエンコード方法を用いて、前記ストリームごとのストリーミング画像データを生成する生成手段と、
生成された複数のストリーミング画像データを配信する配信手段と、
を備える配信システム。 A distribution system equipped with a photographing device that distributes image data of a plurality of streams.
An acquisition means for acquiring captured image data taken by the photographing means, and
Determining means for determining the encoding method of the acquired captured image data according to the encoding parameters for each stream, and
A generation means for generating streaming image data for each stream using the determined encoding method, and
A distribution method that distributes multiple generated streaming image data,
Delivery system with.
撮影手段によって撮影された撮影画像データを取得する取得ステップと、
前記ストリームごとのエンコードパラメータに応じて、取得された前記撮影画像データのエンコード方法を決定する決定ステップと、
決定されたエンコード方法を用いて、前記ストリームごとのストリーミング画像データを生成する生成ステップと、
生成された複数のストリーミング画像データを配信する配信ステップと、
を実行する配信方法。 It is a distribution method executed by a shooting device that distributes image data of multiple streams.
The acquisition step of acquiring the captured image data captured by the photographing means, and
A determination step of determining the encoding method of the acquired captured image data according to the encoding parameters for each stream, and
A generation step of generating streaming image data for each stream using the determined encoding method, and
A distribution step that distributes multiple generated streaming image data,
Delivery method to execute.
撮影手段によって撮影された撮影画像データを取得する取得ステップと、
前記ストリームごとのエンコードのパラメータに応じて、取得された前記撮影画像データのエンコード方法を決定する決定ステップと、
決定されたエンコード方法を用いて、前記ストリームごとのストリーミング画像データを生成する生成ステップと、
生成された複数のストリーミング画像データを配信する配信ステップと、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 For shooting devices that distribute image data of multiple streams
The acquisition step of acquiring the captured image data captured by the photographing means, and
A determination step of determining the encoding method of the acquired captured image data according to the encoding parameters for each stream, and
A generation step of generating streaming image data for each stream using the determined encoding method, and
A distribution step that distributes multiple generated streaming image data,
A computer-readable recording medium that contains a program for executing the program.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011208121.7A CN112788198B (en) | 2019-11-11 | 2020-11-03 | Image capturing apparatus, image transfer system, image capturing apparatus, image transfer method, recording medium, and computer apparatus |
EP20205597.6A EP3820153A1 (en) | 2019-11-11 | 2020-11-04 | Image capturing device, distribution system, distribution method, and carrier means |
US17/088,744 US11284094B2 (en) | 2019-11-11 | 2020-11-04 | Image capturing device, distribution system, distribution method, and recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019203724 | 2019-11-11 | ||
JP2019203724 | 2019-11-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021078114A true JP2021078114A (en) | 2021-05-20 |
Family
ID=75898581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020180570A Pending JP2021078114A (en) | 2019-11-11 | 2020-10-28 | Photographing device, distribution system, distribution method, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021078114A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116055715A (en) * | 2022-05-30 | 2023-05-02 | 荣耀终端有限公司 | Scheduling method of coder and decoder and electronic equipment |
-
2020
- 2020-10-28 JP JP2020180570A patent/JP2021078114A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116055715A (en) * | 2022-05-30 | 2023-05-02 | 荣耀终端有限公司 | Scheduling method of coder and decoder and electronic equipment |
CN116055715B (en) * | 2022-05-30 | 2023-10-20 | 荣耀终端有限公司 | Scheduling method of coder and decoder and electronic equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6756269B2 (en) | Communication terminals, image communication systems, communication methods, and programs | |
JP6805861B2 (en) | Image processing equipment, image processing system, image processing method and program | |
US10003741B2 (en) | System for processing data from an omnidirectional camera with multiple processors and/or multiple sensors connected to each processor | |
JP2022031324A (en) | Communication management system, communication system, communication management method and program | |
WO2018014495A1 (en) | Real-time panoramic live broadcast network camera and system and method | |
US20140244858A1 (en) | Communication system and relaying device | |
US10645293B1 (en) | Three-dimensional, 360-degree virtual reality camera live preview | |
WO2016048015A1 (en) | Reconstruction of three-dimensional video | |
US9843725B2 (en) | Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor | |
KR101528863B1 (en) | Method of synchronizing tiled image in a streaming service providing system of panoramic image | |
US20180302630A1 (en) | Method And Apparatus For Improving Efficiency Of Content Delivery Based On Consumption Data | |
JP2011139200A (en) | Reception apparatus, reception method, and program | |
JP7177034B2 (en) | Method, apparatus and stream for formatting immersive video for legacy and immersive rendering devices | |
TWI572203B (en) | Media streaming system, control method and non-transitory computer readable storage medium | |
WO2017113534A1 (en) | Method, device, and system for panoramic photography processing | |
US11284094B2 (en) | Image capturing device, distribution system, distribution method, and recording medium | |
JP6270555B2 (en) | Image processing system, imaging apparatus, and control method thereof | |
KR20110052933A (en) | Camera apparatus and method for providing recorded image | |
JP2014116686A (en) | Information processing device, information processing method, output device, output method, program, and information processing system | |
US20140082208A1 (en) | Method and apparatus for multi-user content rendering | |
JP2021078114A (en) | Photographing device, distribution system, distribution method, and recording medium | |
KR102029604B1 (en) | Editing system and editing method for real-time broadcasting | |
JP2015177467A (en) | Imaging apparatus and control method thereof | |
JP2015130632A (en) | Image processing apparatus, transmission and reception system, image processing method, and program | |
JP2014150487A (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230824 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20231023 |