JP6391694B2 - ビデオ符号化方法及びシステム - Google Patents

Description

無人航空機（ＵＡＶ）によって取得されるビデオ等の取得されるビデオは、様々な方法によって符号化し得る。しかし、ＵＡＶのビデオ符号化方法及びシステムは理想に満たないことがある。例えば、ＵＡＶからの取得ビデオが符号化され送信される場合、特にビデオが大量の移動を含むとき、パケット損失が生じるおそれがある。

ＵＡＶ等の航空車両は、監視動作、捜索動作、及び救護動作、探索、及び他の分野を含む広範囲の用途のために開発された。そのようなＵＡＶは多くの場合、ビデオ取得のために搭載されたカメラモジュールを担持し得る。ＵＡＶによって取得されたビデオは、大量の移動を含み得る。

一定ビットレート（ＣＢＲ）の維持は、近代のビデオ符号化技術の重要な側面である。ＣＢＲは、デコーダに供給されるビット数が、経時にわたり、例えば、所定の閾値内の定数に維持される場合に維持し得る。ＣＢＲの維持は、ネットワークを介してビデオ等のデータを送信するために重要である。特に、送信データのビットレートが変動する場合、パケット損失及び／又は信号損失が生じるおそれがある。一定ビットレートの維持は、ビデオ符号化プロセスの復号化側で符号化ピクチャバッファ（ＣＰＢ）を使用してビデオ等のデータを処理する場合にも重要である。特に、処理中のデータのビットレートが変動する場合、デコーダバッファはオーバーフローし得る。したがって、最初にデータを符号化する際にビットレートを制御することは、符号化プロセッサを使用する場合に重要な技である。

したがって、ビデオデータが復号化される際にＣＢＲを維持するように、ビデオ取得デバイスから取得されたビデオを符号化する改善された方法及びシステムが必要とされる。ビデオ取得デバイスは、無人航空機（ＵＡＶ）等の無人車両によって担持し得る。ＵＡＶに関連付けられたセンサからの情報を利用することにより、ＵＡＶ上のビデオ取得デバイス等のビデオ取得デバイスによって取得されたビデオを符号化する方法が提供される。幾つかの実施形態では、ビデオ取得デバイスは、動きデータを含むビデオを取得し得る。さらに、ＵＡＶは、ＵＡＶに関連付けられたセンサを使用して、オプティカルフロー場の生成に使用し得る情報を取得し得る。取得ビデオが、ビデオと同様の時刻に取得されたセンサ情報に基づく対応するオプティカルフロー場と位置合わせされる場合、その結果生成される情報を使用して、ビデオデータを効率的に符号化し得る。特に、位置合わせされたビデオ及びオプティカルフロー場データを使用して、効率的に、ビデオフレーム構成要素の部分の符号化にビットを割り振り、且つ／又は量子化ステップを選び得る。特に、本明細書に記載されるシステム及び方法を使用して、高度の動きを有するビデオフレームのエリアを識別し得、高度の移動に関連付けられたビデオフレーム構成要素の部分を符号化する場合、より多数のビットを割り振り、且つ／又はより高い量子化ステップを利用し得る。例えば、より高い量子化ステップを使用して、高度の動きが関連付けられた第１のビデオフレームを符号化し得、より低い量子化ステップを使用して、高度の動きではない移動度が関連付けられた第２のビデオフレームを符号化し得る。高度の動きは、ビデオフレーム内の移動度が閾値移動度を超える場合に決定され得る。さらに、移動度は、ビデオフレーム内の移動度に基づいて査定し得る。さらに、ビデオフレーム構成要素に関連付けられた動きデータは、ビデオフレーム構成要素に関連付けられたオプティカルフロー場に基づいて特定し得る。したがって、方法は、オプティカルフロー場からの情報に基づいて、ビデオデータの符号化にビットを割り振り、且つ／又は量子化ステップを選択することに関し得る。特に、オプティカルフロー場をビデオデータと位置合わせして、ビデオ符号化プロセスの効率を改善し得る。

ＵＡＶからのセンサデータを使用して生成されるオプティカルフロー場を使用して、生成されたオプティカルフロー場と位置合わせされたビデオデータを効率的に符号化し得る。ビデオデータは、ＵＡＶにおける１つ又は複数のプロセッサ、ビデオ取得デバイス、又はＵＡＶ搭載の支持機構によって符号化し得る。ビデオデータは、ＵＡＶに通信可能に接続されるユーザ端末等のＵＡＶ外部の１つ又は複数のプロセッサによって符号化し得る。さらに、オプティカルフロー場はＵＡＶにおいて生成し得る。代替的には、オプティカルフロー場は、ＵＡＶに通信可能に接続される外部ロケーションにおいて生成し得る。オプティカルフロー場の生成に使用されるセンサ情報は、ＵＡＶにおいて検出し得る。追加又は代替として、オプティカルフロー場の生成に使用されるセンサ情報は、ＵＡＶに通信可能に接続される外部ソースからＵＡＶに提供し得る。したがって、ビデオ取得デバイスによって取得されるビデオデータは、ＵＡＶに関連付けられたセンサデータに基づいて生成されるオプティカルフロー場を使用して、効率的に符号化し得る。

特に、ビデオ取得デバイスによって取得されたビデオデータに対応するオプティカルフロー場を使用して、効率的にビデオデータの部分を符号化するビットを割り振り、且つ／又は量子化ステップを選択し得る。例えば、ビデオフレームを符号化する際、オプティカルフロー場データを使用して、フレーム単位で、ビデオデータの符号化に割り振るべきビット数を決定し得る。ビデオフレームに関連付けられたオプティカルフロー場によって特定されるように、取得ビデオが極わずかな移動を有する例では、符号化プロセッサは、フレーム単位で低移動ビデオデータの符号化により少数のビットを割り振ることを選び得る。さらに、ビデオフレームに関連付けられたオプティカルフロー場によって示されるように、ビデオフレームの部分が移動を殆ど有さない場合、ビデオエンコーダは、ビデオフレームのそれらの低移動部分の符号化により少数のビットを割り振ることを選び得る。

さらに、ビデオデータを符号化する際、ビデオデータをビデオフレーム構成要素に分割し、各フレームを何度も符号化するのではなく、ビデオフレーム構成要素間の認識された類似性を符号化することが有益である。この手法は、ブロック等のビデオフレーム構成要素が幾つかのフレームにわたって類似するか、又は複製である場合（例えば、遠く離れた山脈に向かって運転している場合、山脈は幾つかのビデオフレーム構成要素にわたって比較的同じに見える）に特に有益であり得る。特に、類似するか、又は複製であるブロックは、ブロック間の差又は残差に基づいて符号化し得る。この残差に必要なビット数は、同様又は複製である各ブロックを再び符号化するよりもはるかに少数であり得る。

しかし、幾つかのビデオデータは大きな移動を有し得るため、２つのビデオフレームの少なくとも幾つかのブロック間に大量の類似性がある場合であっても、ビデオフレーム間のブロックに関連付けることが難しいことがある。これは、大きな移動に伴い、ビデオフレーム内の類似要素のバイアスがビデオフレームにわたってシフトし得るためである。例えば、カメラが右にシフトすると、前はビデオフレームの右縁部にあったビデオの物体は左にシフトすることになる。しかし、ビデオデータを符号化する従来の方法は、第１のビデオフレーム上の特定のロケーションにあるブロックが、第２のビデオフレーム上の同じ特定のロケーションにあるブロックに関連するという仮定に基づく。これらの例では、オプティカルフロー場データを使用して、レート分布最適化（ＲＤＯ）とバランスして使用されるアルゴリズムを再査定し得る。特に、ビデオデータに関連付けられたオプティカルフロー場データは、符号化プロセッサによって使用されて、ビデオフレーム構成要素間の係数の符号化により多数のビットを割り振ることにフォーカスし得る。代替的には、ビデオデータに関連付けられたオプティカルフロー場データは、符号化プロセッサによって使用されて、ビデオフレーム構成要素内の動きベクトルの検索により多数のビットを割り振ることにフォーカスし得る。

ビデオデータを符号化する従来の方法のこの欠点に基づいて、本発明の態様は、ビデオデータをコンテキスト化するためにオプティカルフロー場データを使用することを提供する。特に、ビデオデータと位置合わせされたオプティカルフロー場は、符号化プロセッサによって使用されて、ビデオフレーム構成要素の符号化にビットを割り振り、且つ／又は量子化ステップを選択し得る。

本発明の態様は、動きデータに基づいてビデオを符号化する量子化ステップを決定する方法を含み得る。本方法は、画像取得デバイスによって取得されたビデオを受信するステップであって、ビデオはビデオフレーム構成要素を含む、ビデオを受信するステップを含み得る。本方法は、ビデオフレーム構成要素に関連付けられた動きデータを受信するステップを含むこともできる。さらに、本方法は、動きデータに基づいて、ビデオフレーム構成要素を符号化する量子化ステップを決定するステップを含み得る。

幾つかの実施形態では、本発明の態様は、動きデータに基づいてビデオを符号化する量子化ステップを決定するプログラム命令を含む非一時的コンピュータ可読媒体を含み得る。本コンピュータ可読媒体は、画像取得デバイスによって取得されたビデオを受信するプログラム命令であって、ビデオはビデオフレーム構成要素を含む、ビデオを受信するプログラム命令を含み得る。さらに、本コンピュータ可読媒体は、ビデオフレーム構成要素に関連付けられた動きデータを受信するプログラム命令を含み得る。本コンピュータ可読媒体は、動きデータに基づいて、ビデオフレーム構成要素を符号化する量子化ステップを決定するプログラム命令を含むこともできる。

本発明の態様は、動きデータに基づいてビデオを符号化する量子化ステップを決定するシステムを更に含み得る。本システムは、ビデオを取得するように構成された画像取得デバイスを含み得る。本システムは、個々に又は集合的に、画像取得デバイスによって取得されたビデオを受信するステップであって、ビデオはビデオフレーム構成要素を含む、ビデオを受信するステップを行うように構成された１つ又は複数のプロセッサを含むこともできる。１つ又は複数のプロセッサは、ビデオフレーム構成要素に関連付けられた動きデータを受信するステップを行うようにも構成し得る。さらに、１つ又は複数のプロセッサは、動きデータに基づいて、ビデオフレーム構成要素を符号化する量子化ステップを決定するステップを行うように構成し得る。

幾つかの他の実施形態では、本発明の態様は、動きデータに基づいてビデオを符号化する量子化ステップを決定する方法を含み得る。本方法は、画像取得デバイスによって取得されたビデオを受信するステップであって、ビデオは第１のビデオフレーム構成要素及び第２のビデオフレーム構成要素を含む、ビデオを受信するステップを含み得る。さらに、本方法は、第２のビデオフレーム構成要素に関連付けられた動きデータを受信するステップを含み得る。本方法は、第２のビデオフレーム構成要素に関連付けられた動きデータに基づいて、第１のビデオフレーム構成要素を符号化する量子化ステップを決定するステップを含むこともできる。

本発明の態様は、動きデータに基づいてビデオを符号化する量子化ステップを決定するプログラム命令を含む非一時的コンピュータ可読媒体を含むこともできる。本非一時的コンピュータ可読媒体は、画像取得デバイスによって取得されたビデオを受信するプログラム命令であって、ビデオは第１のビデオフレーム構成要素及び第２のビデオフレーム構成要素を含む、ビデオを受信するプログラム命令を含み得る。本非一時的コンピュータ可読媒体は、第２のビデオフレーム構成要素に関連付けられた動きデータを受信するプログラム命令を含むこともできる。さらに、本非一時的コンピュータ可読媒体は、第２のビデオフレーム構成要素に関連付けられた動きデータに基づいて、第１のビデオフレーム構成要素を符号化する量子化ステップを決定するプログラム命令を含み得る。

本発明の更なる態様は、動きデータに基づいてビデオを符号化する量子化ステップを決定するシステムを含み得る。本システムは、ビデオを取得するように構成される画像取得デバイスを含み得る。本システムは、画像取得デバイスによって取得されたビデオを受信するステップであって、ビデオは第１のビデオフレーム構成要素及び第２のビデオフレーム構成要素を含む、ビデオを受信するステップを行うように個々に又は集合的に構成された１つ又は複数のプロセッサを含むこともできる。１つ又は複数のプロセッサは、第２のビデオフレーム構成要素に関連付けられた動きデータを受信するステップを行うようにも構成し得る。さらに、１つ又は複数のプロセッサは、第２のビデオフレーム構成要素に関連付けられた動きデータに基づいて、第１のビデオフレーム構成要素を符号化する量子化ステップを決定するステップを行うように構成し得る。

本発明の別の態様は、動きデータに基づいてビデオを符号化するビットを割り振る方法を含み得る。本方法は、画像取得デバイスによって取得されたビデオを受信するステップであって、ビデオはビデオフレーム構成要素を含む、ビデオを受信するステップを含み得る。さらに、本方法は、ビデオフレーム構成要素に関連付けられた動きデータを受信するステップを含み得る。本方法は、動きデータに基づいて、ビデオフレーム構成要素の符号化に関連付けられたビットを割り振るステップを含むこともできる。

本発明の更なる態様は、動きデータに基づいてビデオを符号化するビットを割り振るプログラム命令を含む非一時的コンピュータ可読媒体を含み得る。本非一時的コンピュータ可読媒体は、画像取得デバイスによって取得されたビデオを受信するプログラム命令であって、ビデオはビデオフレーム構成要素を含む、ビデオを受信するプログラム命令を含み得る。本非一時的コンピュータ可読媒体は、ビデオフレーム構成要素に関連付けられた動きデータを受信するプログラム命令を含むこともできる。さらに、本非一時的コンピュータ可読媒体は、動きデータに基づいて、ビデオフレーム構成要素の符号化に関連付けられたビットを割り振るプログラム命令を含み得る。

本発明の態様は、動きデータに基づいてビデオを符号化するビットを割り振るシステムを含むこともできる。本システムは、ビデオを取得するように構成される画像取得デバイスを含み得る。さらに、本システムは、画像取得デバイスによって取得されたビデオを受信するステップであって、ビデオはビデオフレーム構成要素を含む、ビデオを受信するステップを行うように構成された１つ又は複数のプロセッサを含み得る。１つ又は複数のプロセッサは、ビデオフレーム構成要素に関連付けられた動きデータを受信するステップを行うようにも構成し得る。さらに、１つ又は複数のプロセッサは、動きデータに基づいて、ビデオフレーム構成要素の符号化に関連付けられたビットを割り振るステップを行うように構成し得る。

さらに、本発明の更なる態様は、動きデータに基づいてビデオを符号化するビットを割り振る方法を含み得る。本方法は、画像取得デバイスによって取得されたビデオを受信するステップであって、ビデオは第１のビデオフレーム構成要素及び第２のビデオフレーム構成要素を含む、ビデオを受信するステップを含み得る。本方法は、第２のビデオフレーム構成要素に関連付けられた動きデータを受信するステップを含むこともできる。さらに、本方法は、第２のビデオフレーム構成要素に関連付けられた動きデータに基づいて、第１のビデオフレーム構成要素の符号化に関連付けられたビットを割り振るステップを含み得る。

本発明の態様は、動きデータに基づいてビデオを符号化するビットを割り振るプログラム命令を含む非一時的コンピュータ可読媒体を含むこともできる。本非一時的コンピュータ可読媒体は、画像取得デバイスによって取得されたビデオを受信するプログラム命令であって、ビデオは第１のビデオフレーム構成要素及び第２のビデオフレーム構成要素を含む、ビデオを受信するプログラム命令を含み得る。さらに、本非一時的コンピュータ可読媒体は、第２のビデオフレーム構成要素に関連付けられた動きデータを受信するプログラム命令を含み得る。本非一時的コンピュータ可読媒体は、第２のビデオフレーム構成要素に関連付けられた動きデータに基づいて、第１のビデオフレーム構成要素の符号化に関連付けられたビットを割り振るプログラム命令を含むこともできる。

さらに、本発明の態様は、動きデータに基づいてビデオを符号化するビットを割り振るシステムを含み得る。本システムは、ビデオを取得するように構成された画像取得デバイスを含み得る。本システムは、画像取得デバイスによって取得されたビデオを受信するステップであって、ビデオは第１のビデオフレーム構成要素及び第２のビデオフレーム構成要素を含む、ビデオを受信するステップを行うように構成された１つ又は複数のプロセッサを含むこともできる。さらに、１つ又は複数のプロセッサは、第２のビデオフレーム構成要素に関連付けられた動きデータを受信するステップを行うように構成し得る。１つ又は複数のプロセッサは、第２のビデオフレーム構成要素に関連付けられた動きデータに基づいて、第１のビデオフレーム構成要素の符号化に関連付けられたビットを割り振るステップを行うようにも構成し得る。

本発明の異なる態様が個々に、集合的に、又は互いに組み合わせて理解され得ることが理解されるものとする。本明細書に記載される本発明の様々な態様は、以下に記載される任意の特定の用途又は任意の他のタイプの移動可能物体に適用し得る。無人航空機等の航空車両の本明細書での任意の説明は、任意の車両等の任意の移動可能物体に適用し得、使用され得る。さらに、ビデオ取得デバイスが航空移動（例えば、飛行）のビデオデータを取得している間にビデオを符号化する文脈の中で本明細書に開示されるシステム、デバイス、及び方法は、ビデオ取得デバイスが地上又は水上、水中の移動、又は宇宙空間での移動等の他のタイプの移動のビデオ取得を取得している間にビデオを符号化する文脈でも適用し得る。

本発明の他の目的及び特徴は、本明細書、特許請求の範囲、及び添付図の検討により明白になろう。

本明細書において言及される全ての公開物、特許、及び特許出願は、まるで個々の各公開物、特許、又は特許出願が特に個々に、参照により援用されるものとして示されるかのような程度まで、参照により本明細書に援用される。

本発明の新規の特徴は、特に添付の特許請求の範囲に記載される。本発明の特徴及び利点のよりよい理解は、本発明の原理が利用される例示的な実施形態を記載する以下の詳細な説明及び添付図面を参照することによって得られよう。

本発明の実施形態による、ビデオ取得に使用されるビデオ取得デバイスを担持する無人航空機（ＵＡＶ）の概略図を示す。 本発明の実施形態によるビデオ符号化の一般的なプロセスを示す。 本発明の実施形態による、ビデオ内の移動に基づいてビデオデータ圧縮を決定するプロセスを示す。 本発明の実施形態による、異なる動き成分を有するビデオフレーム間のビットレート及び量子化ステップ分布の概略を示す。 本発明の実施形態による、ビデオフレームを符号化する上からの回転図に関連付けられたオプティカルフロー場を示す。 本発明の実施形態による、ビデオフレームを符号化する異なる物体移動度を有する大域的オプティカルフロー場を示す。 本発明の実施形態による、ビデオフレームを符号化する超高速大域的カメラ移動に関連付けられたオプティカルフロー場を示す。 本発明の実施形態による、斜め大域的移動に関連付けられたオプティカルフロー場内の符号化すべき２つのビデオフレーム構成要素を示す。 本発明の実施形態による、カメラに関連付けられたズームイン特徴に関連付けられたオプティカルフロー場内の符号化すべき２つのビデオフレーム構成要素を示す。 本発明の実施形態による、上からの回転図に関連付けられたオプティカルフロー場内の符号化すべき２つのビデオフレーム構成要素を示す。 本発明の実施形態による、異なる物体移動度を有する大域的オプティカルフロー場内の符号化すべき３つのビデオフレーム構成要素を示す。 本発明の実施形態による、ビデオフレーム構成要素におけるブロック内のイントラ符号化の例を示す。 本発明の実施形態による、ビデオフレームにわたる同じロケーションにあるブロックをリンクする動きベクトルを示す。 本発明による、動きベクトルを検索するのではなくむしろ、フレーム間の係数の優先度を計算する構造を示す。 本発明の実施形態による、動きデータに基づいてビデオを符号化する量子化ステップを決定する方法を示すフローチャートである。 本発明の実施形態による、動きデータに基づいてビデオを符号化する量子化ステップを決定する別の方法を示すフローチャートである。 本発明の実施形態による、動きデータに基づいてビデオを符号化するビットを割り振る方法を示すフローチャートである。 本発明の実施形態による、動きデータに基づいてビデオを符号化するビット割り振りの別の方法を示すフローチャートである。 本発明の実施形態によるＵＡＶの外観を示す。 本発明の実施形態による支持機構及び搭載物を含む移動可能物体を示す。 本発明の実施形態による、移動可能物体を制御するシステムのブロック図による概略図である。

本明細書に記載される方法、デバイス、及び端末は、ＵＡＶ等のビデオ取得デバイスによって取得されたビデオを効率的に符号化する効率的な手法を提供する。本明細書に記載される方法、デバイス、及び端末を使用して、ビデオデータを取得し、ＵＡＶに関連付けられたセンサデータに基づいてオプティカルフロー場を生成し、生成されたオプティカルフロー場に基づいてビデオデータを符号化する量子化ステップ及び／又はビット割り振りを決定することができる。本明細書に開示される方法、デバイス、及び端末は、任意の適する移動可能物体又は静止物体に適用することができる。移動可能物体は、自己推進移動可能であり得（例えば、車両）、一方、静止物体は、自己推進移動可能でなくてよい。幾つかの実施形態では、移動可能物体は無人航空機（ＵＡＶ）であり得る。

ビデオデータを効率的に符号化するために使用し得る方法を提供することに加えて、ビデオが復号化される場合に一定ビットレート（ＣＢＲ）を維持するようにデータを符号化する方法が提供される。このようにして、符号化されたビデオデータは、復号化されたビデオをユーザにシームレスに提供するように送信し、処理し得る。さらに、ビデオデータがより効率的に符号化される場合、設定量の記憶空間を所与として、より大量のビデオデータを記録し得る。代替的には、容量を増大したビデオが、従来では同量の一般ビデオデータのみを記録可能であった同量の記憶空間内に記録可能である。これらの態様は、高精細ビデオの記録、高い移動度を有するビデオの記録、及びＣＢＲを維持しながらのビデオの提供において有益である。

ビデオフレーム構成要素の符号化に向けてある量のビットを効率的に割り振ることによる、本発明の方法がビデオデータを効率的に符号化し、復号化ビデオのＣＢＲを維持することが可能な方法。特に、高い移動度を有するビデオの部分は、移動の少ないビデオの部分よりも多くのビットを使用して符号化し得る。さらに、ビデオの部分の符号化に向けて割り振るのに十分なビットがない場合、ビデオの圧縮を変更し得る。例では、ビデオフレームの部分を符号化する場合、増大された量子化ステップが選ばれて、ビデオを圧縮し、ビデオを符号化する場合により少数のビットを使用し得る。そして、これは、一定ビットレートを維持するためにビデオの符号化に割り振られるビット量を維持するのに役立つ。特に、処理されているデータのビットレートが変動する場合、ビデオを復号化する場合、デコーダバッファがオーバーフローし得る。したがって、データを最初に符号化する場合にビットレートを制御することは、符号化プロセッサを使用する場合に重要な考慮事項である。

図１は、本発明の実施形態による、ビデオ取得に使用されるビデオ取得デバイス１４０を担持する無人航空機（ＵＡＶ）１００の概略図を示す。ＵＡＶは、ＵＡＶ本体１１０と、ＵＡＶの移動を行い得る１つ又は複数の推進ユニット１２０とを有し得る。ＵＡＶは１つ又は複数のセンサを有し得る。１つ又は複数のセンサは、オプティカルフロー場を生成するためにＵＡＶによって使用されるデータの収集に使用し得る。ＵＡＶは任意選択的に、オンボードオプティカルフロー場生成器１３０を有し得る。そして、ＵＡＶによって生成されるオプティカルフロー場は、ＵＡＶによって取得されるビデオの効率的な符号化に使用し得る。符号化プロセッサ１５０は任意選択的に、ＵＡＶによって担持され、ビデオの符号化に使用し得る。

ビデオは、ビデオ取得デバイス１４０を使用して取得し得る。ビデオ取得デバイスは、静止物体又はＵＡＶ等の移動可能物体上に支持し得る。ＵＡＶの本明細書での任意の説明は、ビデオ取得デバイスの任意の支持構造を含み得るＵＡＶ１００の本明細書での任意の説明は、航空車両等の任意のタイプの移動可能物体に適用し得る。ＵＡＶの説明は、任意のタイプの無人移動可能物体（例えば、空中、陸上、水中、又は空間を移動し得る）に適用し得る。ＵＡＶは、リモートコントローラからのコマンドに応答可能であり得る。リモートコントローラは、ＵＡＶに接続されなくてもよく、むしろ、リモートコントローラは、遠くのＵＡＶと無線で通信し得る。幾つかの場合、ＵＡＶは、自律的又は半自律的に動作可能であり得る。ＵＡＶは、１組の予めプログラムされた命令に従うことが可能であり得る。幾つかの場合、ＵＡＶは、リモートコントローラからの１つ又は複数のコマンドに応答し、その他の場合には自律的に動作することにより、半自律的に動作し得る。例えば、リモートコントローラからの１つ又は複数のコマンドは、１つ又は複数のパラメータに従ってＵＡＶによる一連の自律動作又は半自律動作を開始し得る。幾つかの実施形態では、ＵＡＶの本明細書での任意の説明は、ビデオ取得デバイスの支持体（例えば、スタンド、支柱、フェンス、建物、壁、天井、屋根、床、地面、家具、照明器具、木、植物、石、又は任意の他の静止物体）等の任意の静止物体に適用し得る。

ビデオ取得デバイスは、ビデオ取得デバイスによって取得される視野（ＦＯＶ）を変更可能であり得る。ビデオ取得デバイスは、並進移動（例えば、左右、前後、上下、又はそれらの任意の組合せ）を有して、ビデオ取得デバイスのＦＯＶを変更し得る。ビデオ取得デバイスは、回転移動（例えば、ビデオ取得デバイスのヨー軸、ピッチ軸、又はロール軸回り）を有して、ビデオ取得デバイスのＦＯＶを変更し得る。幾つかの場合、ビデオ取得デバイスは、回転移動なしで並進移動のみを有し得、並進移動なしで回転移動のみを有し得、又は並進移動及び回転移動の両方を有し得る。ビデオ取得デバイスからのビデオによって取得された移動は、ビデオ取得デバイスＦＯＶの変更を示し得る。ビデオ符号化システム及び方法を使用して、本明細書の他の箇所に更に詳細に説明するように、ビデオ取得デバイスによって取得されたビデオを符号化し得る。

ビデオ取得デバイスは任意選択的に、ＵＡＶ１００又は任意の他の支持構造体によって支持し得る。ＵＡＶは本体１１０を有し得る。幾つかの場合、本体は、１つ又は複数の分岐部材又は「アーム」を有し得る中央体であり得る。アームは、半径方向に本体から外側に延び、本体を介して結合し得る。アームの数は、ＵＡＶの推進ユニット又はロータの数に一致し得る。本体は筐体を備え得る。筐体は、筐体内にＵＡＶの１つ又は複数の構成要素を囲み得る。幾つかの場合、ＵＡＶの１つ又は複数の電気構成要素を筐体内に提供し得る。例えば、ＵＡＶの飛行コントローラが、筐体内に提供され得る。飛行コントローラは、ＵＡＶの１つ又は複数の推進ユニット１２０の動作を制御し得る。推進ユニットは各々、ロータ及び／又はモータを含み得る。さらに、１つ又は複数の推進ユニットは、ＵＡＶが空中であちこち移動できるようにし得る。１つ又は複数の推進ユニットは、ＵＡＶのアームに提供し得る。アームは、アームの基端部でＵＡＶの本体に接続し得る。１つ又は複数の推進ユニットは、アームの先端部に接続し得る。１つ又は複数の推進ユニットは、ＵＡＶが１つ又は複数、２つ以上、３つ以上、４つ以上、５つ以上、６つ以上の自由度で動き回れるようにし得る。幾つかの場合、ＵＡＶは、１つ、２つ、３つ以上の回転軸の回りで回転可能であり得る。回転軸は、互いに直交し得る。回転軸は、ＵＡＶの飛行の過程全体を通して互いに直交した状態を保ち得る。回転軸は、ピッチ軸、ロール軸、及び／又はヨー軸を含み得る。ＵＡＶは、１つ又は複数の次元に沿って移動可能であり得る。例えば、ＵＡＶは、１つ又は複数のロータによって生成される揚力に起因して、上方に移動可能であり得る。幾つかの場合、ＵＡＶは、Ｚ軸（ＵＡＶの向きに相対して上であり得る）、Ｘ軸、及び／又はＹ軸（横方向であり得る）に沿って移動可能であり得る。ＵＡＶは、互いに直交し得る１つ、２つ、又は３つの軸に沿って移動可能であり得る。

ＵＡＶはロータクラフトであり得る。幾つかの場合、ＵＡＶは、複数のロータを含み得るマルチロータクラフトであり得る。複数のロータは、回転してＵＡＶの揚力を生成することが可能であり得る。ロータは、ＵＡＶが、空中を自在にあちこち移動できるようにし得る推進ユニットであり得る。ロータは、同じ速度で回転得、且つ／又は同量の揚力又は推進力を生成し得る。ロータは任意選択的に、可変速度で回転し得、可変速度は異なる量の揚力又は推進力を生成し、且つ／又はＵＡＶが回転できるようにし得る。幾つかの場合、１つ、２つ、３つ、４つ、５つ、６つ、７つ、８つ、９つ、１０、又は１１以上のロータをＵＡＶに提供し得る。ロータは、回転軸が互いに平行するように構成し得る。幾つかの場合、ロータは、互いに相対して任意の角度の回転軸を有し得、これはＵＡＶの移動に影響し得る。

示されるＵＡＶは複数のロータを有し得る。ロータはＵＡＶの本体に接続し得、ＵＡＶの本体は、制御ユニットと、１つ又は複数のセンサと、プロセッサと、電源とを備え得る。センサは、ＵＡＶ環境についての情報を収集し得る視覚センサ及び／又は他のセンサを含み得る。センサからの情報を使用して、ＵＡＶのロケーションを特定し得る。ロータは、本体の中央部から分岐し得る１つ又は複数のアーム又は延長部を介して本体に接続し得る。例えば、１つ又は複数のアームは、ＵＡＶの中央本体から半径方向に延び得、アームの端部又はその近傍にロータを有し得る。

ＵＡＶの垂直位置及び／又は速度は、ＵＡＶの１つ又は複数の推進ユニットへの出力を維持及び／又は調整することによって制御し得る。例えば、ＵＡＶの１つ又は複数のロータの回転速度の増大は、ＵＡＶに高度を増大させること、又はより高速で高度を増大させることを支援し得る。１つ又は複数のロータの回転速度の増大は、ロータの推進力を増大させ得る。ＵＡＶの１つ又は複数のロータの回転速度の低減は、ＵＡＶに高度を低減させること、又はより高速で高度を低減させることを支援し得る。１つ又は複数のロータの回転速度の低減は、１つ又は複数のロータの推進力を低減させ得る。ＵＡＶが離陸中の場合、推進ユニットに提供される出力は、前の地上状態から増大させ得る。ＵＡＶが着陸中の場合、推進ユニットに提供される出力は、前の飛行状態から低減させ得る。ＵＡＶは、略垂直に離陸及び／又は着陸するように構成し得る。

ＵＡＶの横方向位置及び／又は速度は、ＵＡＶの１つ又は複数の推進ユニットへの出力を維持及び／又は調整することによって制御し得る。ＵＡＶの高度及びＵＡＶの１つ又は複数のロータの回転速度は、ＵＡＶの横方向移動に影響を及ぼし得る。例えば、ＵＡＶは、特定の方向に傾斜して、その方向に移動し得、ＵＡＶのロータの速度は、横方向移動の速度及び／又は移動の軌道に影響を及ぼし得る。ＵＡＶの横方向位置及び／又は速度は、ＵＡＶの１つ又は複数のロータの回転速度を変更又は維持することによって制御し得る。

ＵＡＶのアームは管又はロッドであり得る。ＵＡＶのアームは、円形断面を有し得る。ＵＡＶのアームは、正方形又は矩形断面を有し得る。ＵＡＶのアームは、楕円形断面を有し得る。ＵＡＶのアームは中空管であり得る。ＵＡＶのアームは中実管であり得る。ＵＡＶのアームは、金属、プラスチック、又は複合材料から形成し得る。ＵＡＶのアームは、軽量材料から形成し得る。ＵＡＶのアームは、炭素繊維から形成し得る。ＵＡＶのアームは、ＵＡＶの中央本体と一体形成し得る。代替的には、ＵＡＶのアームは、ＵＡＶと別個に形成されてもよく、又はＵＡＶとは別個であってもよい。

ＵＡＶは、１００ｃｍ以下の最大寸法（例えば、長さ、幅、高さ、対角線、直径）を有し得る。幾つかの場合、最大寸法は、１ｍｍ以下、５ｍｍ以下、１ｃｍ以下、３ｃｍ以下、５ｃｍ以下、１０ｃｍ以下、１２ｃｍ以下、１５ｃｍ以下、２０ｃｍ以下、２５ｃｍ以下、３０ｃｍ以下、３５ｃｍ以下、４０ｃｍ以下、４５ｃｍ以下、５０ｃｍ以下、５５ｃｍ以下、６０ｃｍ以下、６５ｃｍ以下、７０ｃｍ以下、７５ｃｍ以下、８０ｃｍ以下、８５ｃｍ以下、９０ｃｍ以下、９５ｃｍ以下、１００ｃｍ以下、１１０ｃｍ以下、１２０ｃｍ以下、１３０ｃｍ以下、１４０ｃｍ以下、１５０ｃｍ以下、１６０ｃｍ以下、１７０ｃｍ以下、１８０ｃｍ以下、１９０ｃｍ以下、２００ｃｍ以下、２２０ｃｍ以下、２５０ｃｍ以下、又は３００ｃｍ以下であり得る。任意選択的に、ＵＡＶの最大寸法は、本明細書に記載される任意の値以上であり得る。ＵＡＶは、本明細書に記載される値の任意の２つ間の範囲内の最大寸法を有し得る。ＵＡＶは軽量ＵＡＶであり得る。例えば、ＵＡＶは、１ｍｇ以下、５ｍｇ以下、１０ｍｇ以下、５０ｍｇ以下、１００ｍｇ以下、５００ｍｇ以下、１ｇ以下、２ｇ以下、３ｇ以下、５ｇ以下、７ｇ以下、１０ｇ以下、１２ｇ以下、１５ｇ以下、２０ｇ以下、２５ｇ以下、３０ｇ以下、３５ｇ以下、４０ｇ以下、４５ｇ以下、５０ｇ以下、６０ｇ以下、７０ｇ以下、８０ｇ以下、９０ｇ以下、１００ｇ以下、１２０ｇ以下、１５０ｇ以下、２００ｇ以下、２５０ｇ以下、３００ｇ以下、３５０ｇ以下、４００ｇ以下、４５０ｇ以下、５００ｇ以下、６００ｇ以下、７００ｇ以下、８００ｇ以下、９００ｇ以下、１ｋｇ以下、１．１ｋｇ以下、１．２ｋｇ以下、１．３ｋｇ以下、１．４ｋｇ以下、１．５ｋｇ以下、１．７ｋｇ以下、２ｋｇ以下、２．２ｋｇ以下、２．５ｋｇ以下、３ｋｇ以下、３．５ｋｇ以下、４ｋｇ以下、４．５ｋｇ以下、５ｋｇ以下、５．５ｋｇ以下、６ｋｇ以下、６．５ｋｇ以下、７ｋｇ以下、７．５ｋｇ以下、８ｋｇ以下、８．５ｋｇ以下、９ｋｇ以下、９．５ｋｇ以下、１０ｋｇ以下、１１ｋｇ以下、１２ｋｇ以下、１３ｋｇ以下、１４ｋｇ以下、１５ｋｇ以下、１７ｋｇ以下、又は２０ｋｇ以下の重量であり得る。ＵＡＶは、本明細書に記載される任意の値以上の重量を有し得る。ＵＡＶは、本明細書に記載される値の任意の２つ間の範囲内の重量を有し得る。

ＵＡＶは、ビデオ取得デバイス１４０を担持し得る。ビデオ取得デバイスは、移動する（例えば、ＵＡＶ）か、又は静止した任意の支持構造体によって支持し得る。幾つかの実施形態では、ビデオ取得デバイスはカメラであり得る。本明細書でのカメラの任意の説明は、任意のタイプのビデオ取得デバイスに適用し得る。カメラは、支持構造体にしっかりと結合し得る。代替的には、カメラは、最大で自由度６まで支持構造体に相対して移動可能であり得る。カメラは、支持構造体に直接搭載されてもよく、又は支持構造体に搭載された支持機構に結合してもよい。幾つかの実施形態では、支持機構はジンバルであり得る。幾つかの実施形態では、カメラは、ＵＡＶ等の支持構造体の搭載物の要素であり得る。

カメラは、ＵＡＶの環境の画像（例えば、ビデオ等の動的画像又はスナップショット等の静止画像）を取得し得る。カメラは、画像（例えば、ビデオ）を連続して取得し得る。代替的には、カメラは、指定された頻度で画像（例えば、ビデオ）を取得して、時間の経過に伴う一連の画像データ（例えば、ビデオデータ）を生成し得る。本明細書でのビデオの任意の説明は、動的画像、静止画像等、時間の経過に伴って取得される一連の画像等の任意のタイプの画像に適用し得る。画像は、ビデオレート（例えば、２５Ｈｚ、５０Ｈｚ、７５Ｈｚ、１００Ｈｚ、１５０Ｈｚ、２００Ｈｚ、又は２５０Ｈｚ）で取得し得る。幾つかの実施形態では、ビデオは、環境音の録音と同時に取得し得る。

幾つかの実施形態では、取得されたビデオはＵＡＶ搭載のメモリに記憶し得る。メモリは、１つ又は複数のメモリユニット（例えば、セキュアデジタル（ＳＤ）カード等のリムーバブル媒体若しくは外部記憶装置又はランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、若しくはフラッシュメモリ）を含み得る非一時的コンピュータ可読媒体であり得る。代替的には、取得されるビデオ及び／又は画像はリモート端末に送信し得る。取得されるビデオ及び／又は画像の送信は、無線周波数（ＲＦ）リンク、ＷｉＦｉリンク、ブルートゥース（登録商標）リンク、２Ｇリンク、３Ｇリンク、又はＬＴＥリンクを含むが、これらに限定されない無線リンクを介して実施し得る。メモリは、ＵＡＶによって担持されるカメラ、ＵＡＶの支持機構、及び／又はＵＡＶそれ自体（例えば、ＵＡＶ本体内又はＵＡＶのアーム）に存在し得る。メモリは、ＵＡＶ、支持機構、又はカメラから取り外し可能又は分離可能であってもよく、又はなくてもよい。

カメラは、画像センサと、１つ又は複数のレンズとを備え得る。１つ又は複数のレンズは、画像センサに光を向けるように構成し得る。画像センサは、光学画像を電子信号に変換するデバイスである。カメラの画像センサは、電荷結合デバイス（ＣＣＤ）型、相補形金属酸化物半導体（ＣＭＯＳ）型、Ｎ型金属酸化物半導体（ＮＭＯＳ）型、又は背面照明ＣＭＯＳ（ＢＳＩ−ＣＭＯＳ）型であり得る。

カメラは、焦点距離又は焦点距離範囲を有し得る。光学系の焦点距離は、システムがどの程度強く光を集中又は拡散させるかの尺度であり得る。カメラに関連付けられた焦点距離は、カメラによって取得されたビデオを使用して生成される、結果として生成されるオプティカルフロー場に影響を及ぼし得る。レンズの焦点距離は、最初にコリメートされた光線が焦点に集められる距離であり得る。カメラは、固定焦点レンズ又はズームレンズ等の任意のタイプのレンズを有し得る。固定焦点レンズは固定焦点距離を有し得、焦点距離は単一の焦点距離を包み得る。ズームレンズは可変焦点距離を有し得、焦点距離は複数の焦点距離を含み得る。

ビデオ取得デバイスは、経時変化し得るＦＯＶを有し得る。視野（ＦＯＶ）は、空間中で特定の位置及び特定の向きでカメラを通して見える世界の部分であり得、写真撮影時にＦＯＶ外部の物体は、ビデオデータに記録されない。これは、ビューコーンの角度サイズ、視角として表現されることが最も多い。通常のレンズの場合、視野はＦＯＶ＝２ａｒｃｔａｎ（ｄ／２ｆ）として計算し得、式中、ｄは画像センササイズであり、ｆはレンズの焦点距離である。固定サイズを有する画像センサの場合、単焦点レンズは固定ＦＯＶを有し得、ＦＯＶは単一のＦＯＶ角度を含み得る。固定サイズを有する画像センサの場合、ズームレンズは可変ＦＯＶ角度範囲を有し得、ＦＯＶ角度範囲は複数のＦＯＶ角度を含み得る。ＦＯＶのサイズ及び／又はロケーションは変更し得る。ビデオ取得デバイスのＦＯＶは、ＦＯＶのサイズを増減（例えば、ズームイン又はアウト）し、且つ／又はＦＯＶの中心点を変更する（例えば、ビデオ取得デバイスを並進移動及び／又は回転移動させる）ように変更し得る。ＦＯＶの変更は、ビデオ内に移動を生じさせ得る。

カメラに関連付けられたセンサからのデータを使用して、カメラによって取得されるビデオデータの符号化に有用なオプティカルフロー場の生成を支援し得る。カメラに関連付けられたセンサは、カメラ、カメラの支持構造体（例えば、ＵＡＶ）、及び／又は支持構造体上のカメラを支持する支持機構（例えば、ジンバル）に搭載し得る。代替的には、カメラに関連付けられたセンサは、カメラ、支持機構、及び／又はカメラの支持構造体からリモートであり得る。

例えば、カメラの支持構造体は１つ又は複数のセンサを支持し得る。例では、支持構造体はＵＡＶであり得る。ＵＡＶのセンサの任意の説明は、カメラの任意のタイプの支持構造体に適用し得る。ＵＡＶは、画像センサ等の１つ又は複数の視角センサを備え得る。例えば、画像センサは、単眼カメラ、立体視カメラ、レーダ、ソナー、又は赤外線カメラであり得る。ＵＡＶは、全地球測位システム（ＧＰＳ）センサ、慣性測定ユニット（ＩＭＵ）の一部又は別個に使用し得る慣性センサ（例えば、加速度計、ジャイロスコープ、磁力計）、ライダー、超音波センサ、音響センサ、ＷｉＦｉセンサ等のＵＡＶのロケーションの特定に使用し得るか、又はオプティカルフロー場情報の生成に有用であり得る他のセンサを更に備え得る。ＵＡＶは、追加の情報又は処理のためにＵＡＶからオフボードの追加構成要素と交信せずに、環境から直接情報を収集するＵＡＶ搭載のセンサを有し得る。例えば、環境で直接データを収集するセンサは、視覚センサ又は聴覚センサであり得る。

代替的には、ＵＡＶは、ＵＡＶ搭載であるが、ＵＡＶオフボードの１つ又は複数の構成要素と交信して、環境についてのデータを収集するセンサを有し得る。例えば、ＵＡＶオフボードの構成要素と交信して、環境についてのデータを収集するセンサは、衛星、塔、ルータ、サーバ、又は他の外部デバイス等の別のデバイスへの接続に頼るＧＰＳセンサ又は別のセンサであり得る。センサの様々な例は、ロケーションセンサ（例えば、全地球測位システム（ＧＰＳ）センサ、ロケーション三角測量を可能にするモバイルデバイス送信器）、視覚センサ（例えば、カメラ等の可視光、赤外線光、又は紫外線光を検出可能な撮像デバイス）、近接又は距離センサ（例えば、超音波センサ、ライダー、飛行時間又はデプスカメラ）、慣性センサ（例えば、加速度計、ジャイロスコープ、慣性測定ユニット（ＩＭＵ））、高度センサ、姿勢センサ（例えば、コンパス）、圧力センサ（例えば、気圧計）、聴覚センサ（例えば、マイクロホン）、又はフィールドセンサ（例えば、磁力計、電磁センサ）を含み得るが、これらに限定されない。１つ、２つ、３つ、４つ、５つ、又は６つ以上のセンサ等の任意の適する数及び組合せのセンサを使用し得る。任意選択的に、データは、異なるタイプ（例えば、２つ、３つ、４つ、５つ、又は６つ以上のタイプ）のセンサから受信し得る。異なるタイプのセンサは、異なるタイプの信号又は情報（例えば、位置、向き、速度、加速度、近接度、圧力等）を測定し、且つ／又は異なるタイプの測定技法を利用して、データを取得し得る。

これらの任意のセンサは、ＵＡＶからオフボードで提供することもできる。センサにはＵＡＶを関連付け得る。例えば、センサは、ＵＡＶの位置、ＵＡＶの速度、ＵＡＶの加速度、ＵＡＶの向き、ＵＡＶによって生成されるノイズ、ＵＡＶから発せられるか、又は反射される光、ＵＡＶによって生成される熱、又はＵＡＶの任意の他の特性等のＵＡＶの特性を検出し得る。センサはデータを収集し得、このデータを単独又はＵＡＶ搭載のセンサからのセンサデータと組み合わせて使用して、オプティカルフロー場情報を生成し得る。

センサは、能動センサ（例えば、エネルギーを生成し、各自のエネルギー源からのエネルギーを測定するセンサ）と受動センサ（例えば、利用可能なエネルギーを検出するセンサ）との任意の適する組合せを含み得る。別の例として、幾つかのセンサは、グローバル座標システムに関して提供される絶対測定データ（例えば、ＧＰＳセンサによって提供される位置データ、コンパス又は磁力計によって提供される姿勢データ）を生成し得、一方、他のセンサは、ローカル座標系に関して提供される相対測定データ（例えば、ジャイロスコープによって提供される相対角速度、加速度計によって提供される相対並進移動加速度、視覚センサによって提供される相対姿勢情報、超音波センサ、ライダー、又は飛行時間カメラによって提供される相対距離情報）を生成し得る。ＵＡＶ搭載又はＵＡＶオフボードのセンサは、ＵＡＶのロケーション、他の物体のロケーション、ＵＡＶ１００の向き、又は環境情報等の情報を収集し得る。単一のセンサが、環境内の情報一式を収集することが可能であり得る、又は一群のセンサが一緒に機能して、環境内の情報一式を収集し得る。センサは、ロケーションのマッピング、ロケーション間のナビゲーション、障害物の検出、又はターゲットの検出に使用し得る。さらに、本発明によれば、センサを使用して、ＵＡＶによって取得されたビデオデータの効率的な符号化に使用されるオプティカルフロー場の生成に使用されるデータを収集し得る。

したがって、ＵＡＶはオプティカルフロー場生成器１３０を有することもできる。オプティカルフロー場生成器は、ＵＡＶに搭載して（例えば、ＵＡＶ本体若しくはアーム、カメラ上、又は支持機構上）提供し得る。代替的には、生成されたオプティカルフロー場は、ＵＡＶにオフロードで（例えば、リモートサーバ、クラウド計算基盤、リモート端末、又は陸上局に）提供し得る。オプティカルフロー場生成器は、ＵＡＶに関連付けられたセンサデータに基づいてオプティカルフロー場を生成するように個々に又は集合的に構成される１つ又は複数のプロセッサを有し得る。オプティカルフロー場は、ビデオフレーム内で光がどのように流れるかを示す。この光の流れは、取得物体がビデオフレーム間でいかに移動しているかを示す。特に、オプティカルフロー場は、可動物体の方向及び速度を含む、ビデオ取得デバイスによって取得される物体がいかに移動しているかの特徴を記述することが可能である。例えば、ビデオ取得デバイスのＦＯＶ内で取得されたビデオは、１つ又は複数の静止物体又は可動物体を含み得る。例では、オプティカルフロー場を使用して、ビデオで移動中の物体の速度又は加速度を特定し得る。オプティカルフロー場を使用して、ビデオ内にある物体の移動方向を示すこともできる。ビデオ内で移動中の物体を記述するオプティカルフロー場の例については、図５〜図１１に関して以下に説明する。

オプティカルフロー場の生成に使用されるセンサデータは、ＵＡＶに関連付けられた１つ又は複数のセンサによって取得し得る。追加又は代替として、センサデータは、外部モニタシステム等の外部ソースによって取得し得る。外部センサデータは、通信チャネルを使用してＵＡＶに提供し得る。したがって、オプティカルフロー場はＵＡＶにおいて生成し得る。代替的には、オプティカルフロー場は、ＵＡＶ外部で生成し得る。特に、ＵＡＶは、ＵＡＶに関連付けられたセンサ情報を１つ又は複数の外部プロセッサに提供し得る。次に、１つ又は複数の外部プロセッサは、ＵＡＶに関連付けられたセンサデータを使用して、オプティカルフロー場を生成し得る。さらに、１つ又は複数の外部プロセッサは、生成されたオプティカルフロー場をＵＡＶに提供し得る。オプティカルフロー場生成器は、ＵＡＶ搭載であるか、それともオフボードであるかに関係なく、ＵＡＶに関連付けられたセンサからデータを受信し得（センサが搭載されるか、オフボードであるか、それともそれらの任意の組合せであるかに関係なく）、そのデータを使用してオプティカルフロー場を生成し得る。

センサデータは任意選択的に、カメラの空間配置（例えば、座標、並進移動位置、高さ、向き）又はカメラの移動（例えば、線形速度、角速度、線形加速度、角加速度）についての情報を含み得る。センサデータは、カメラのズーム状態（例えば、焦点距離、どのくらいズームイン又はアウトするか）を検出可能であり得る。センサデータは、カメラのＦＯＶをいかに変更し得るかの計算に有用であり得る。

本発明の実施形態により、符号化プロセッサ１５０を提供し得る。符号化プロセッサを使用して、ビデオ取得デバイスによって取得されたビデオの符号化し得る。エントロピー符号化ツールの例としては、ハフマン符号化、ランレベル符号化、及び算術符号化が挙げられる。本明細書で考察される例では、ＣＡＶＬＣ及びＣＡＢＡＣをＨ２６４において使用し得る。

さらに、符号化プロセッサは、ビデオに関連付けられたオプティカルフロー場を使用し得る。オプティカルフロー場を使用して、ビデオを効率的に符号化し得る。ビデオはビデオフレーム構成要素を含み得る。ビデオフレーム構成要素はビデオフレームを含み得る。代替的には、ビデオフレーム構成要素は、ブロック等のビデオフレームの部分を含み得る。ブロックは、円形、正方形、八角形、三角形、又は他の形状等の形状を有し得る。さらに、ビデオフレーム内のブロックは２つ以上の形状を含み得る。

符号化プロセッサは、オプティカルフロー場情報を受信し、オプティカルフロー場情報を使用して、ビデオを符号化し得る。例では、符号化プロセッサは、オプティカルフロー場情報を使用して、ビデオフレーム構成要素の符号化をビットを割り振り得る。特に、符号化プロセッサは、より多くの移動を有するエリアにより多数のビットを割り振り、符号化プロセスにおいてビデオフレーム間の分布を取得し得る。さらに、符号化プロセッサは、オプティカルフロー場情報を使用して、ビデオフレーム構成要素の符号化の量子化ステップを選択し得る。特に、符号化プロセッサは、高い移動度を有するビデオフレーム構成要素の符号化により高い量子化ステップを選択し得る。代替的には、符号化プロセッサは、略同様のビデオフレーム構成要素の符号化により低い量子化ステップを選択し得る。例では、符号化プロセッサは、本質的に同一のビデオフレーム構成要素の符号化に低い量子化ステップを選択し得る。

符号化プロセッサは、ビデオを符号化し得る１つ又は複数のプロセッサを含み得る。符号化プロセッサは、オプティカルフロー場生成器とは別個であってもよく、又はオプティカルフロー場生成器と同じ構成要素内にあってもよい。符号化プロセッサは、オプティカルフロー場生成器の１つ又は複数のプロセッサに重複しない１つ又は複数のプロセッサを含み得る。代替的には、符号化プロセッサの１つ又は複数のプロセッサは、オプティカルフロー場生成器の１つ又は複数のプロセッサと同じであり得る。幾つかの場合、符号化プロセッサの全てのプロセッサは、オプティカルフロー場生成器のプロセッサと同じであり得る。

符号化プロセッサは任意選択的に、ＵＡＶに搭載して提供し得る。例えば、符号化プロセッサは、ＵＡＶ本体若しくはアーム内にあってもよく、カメラ搭載であってもよく、又はカメラを支持する支持機構搭載であってもよい。代替的には、符号化プロセッサは、ＵＡＶオフボードで提供し得る。例えば、符号化プロセッサは、リモートサーバ、クラウド計算基盤、リモート端末、又は陸上局に提供し得る。符号化プロセッサは、オプティカルフロー場生成器と同じ又は異なるロケーションに提供し得る。

図２は、本発明の実施形態によるビデオ符号化の一般的なプロセス２００を示す。ビデオデータを符号化する場合、ビデオデータのビデオフレームはまず、ブロックに分割し得る（２０２）。次に、これらのブロックは、イントラフレームデータ及び／又はインターフレームデータに基づいて圧縮し得る。イントラフレームデータは、フレーム内のブロック間の空間関係に向けられる。逆に、インターフレームデータは、ビデオフレームにわたるブロック間の時間関係に向けられる。さらに、イントラ符号化フレームのビット消費は、再構築ピクチャが同じ品質のものである場合、時間的に関連するフレームにわたるインター符号化フレームによるビットコストの５倍を超える。さらに、一連のビデオフレームにわたって高速で移動している幾つかの物体と、ビデオフレーム内外に移動している他の物体とを有するビデオフレーム等のビデオフレーム内に高度の移動がある場合、時間的に関連するフレームのインター符号化のビットコストは大きく増大し得る。

図２に示されるように、入力ビデオ信号が受信される。入力ビデオ信号は、ビデオ取得デバイスから受信し得る。ビデオ取得デバイスは、ＵＡＶ等の支持構造体によって支持し得る。追加又は代替として、入力ビデオ信号は、ＵＡＶオフボードの外部デバイスから受信し得る。受信したビデオはマクロブロック２０２に分割し得る。マクロブロックは、任意の重複部分を有してもよく、又は有さなくてもよい。ビデオは、任意の数のマクロブロックに分割し得る。例えば、ビデオは、ｍ×ｎマクロブロックアレイに分割し得、ここで、ｍは、１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１２以上、１５以上、１６以上、１８以上、２０以上、２５以上、３０以上、４０以上、５０以上、６０以上、７０以上、８０以上、９０以上、１００以上、１２０以上、１５０以上、２００以上、２５０以上、又は３００以上の値を有し、ｎは、１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１２以上、１５以上、１６以上、１８以上、２０以上、２５以上、３０以上、４０以上、５０以上、６０以上、７０以上、８０以上、９０以上、１００以上、１２０以上、１５０以上、２００以上、２５０以上、又は３００以上の値を有する。マイクロブロックは、矩形、正方形、円形、又は任意の他の形状を有し得る。一実施形態では、マクロブロックは１６×１６ピクセルの寸法を有し得る。マクロブロックは、ｐ×ｑピクセル等の任意の寸法を有し得、ここで、ｐは、１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１２以上、１５以上、１６以上、１８以上、２０以上、２５以上、３０以上、３２以上、４０以上、５０以上、６０以上、６４以上、７０以上、８０以上、９０以上、１００以上、１２０以上、１２８以上、１５０以上、２００以上、２５０以上、２５６以上、又は３００以上の値を有し、ｑは、１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１２以上、１５以上、１６以上、１８以上、２０以上、２５以上、３０以上、３２以上、４０以上、５０以上、６０以上、６４以上、７０以上、８０以上、９０以上、１００以上、１２０以上、１２８以上、１５０以上、２００以上、２５０以上、２５６以上、又は３００以上の値を有する。近代のビデオ符号化規格では、７２０Ｐ又は１０８０Ｐの解像度を有するビデオフレームは、まず、ビデオフレームを小さなブロックに分割することによって符号化し得る。Ｈ２６４の場合、ブロックサイズは１６×１６ピクセルであり得、ＨＥＶＣの場合、ブロックサイズは６４×６４であり得る。各マクロブロックは、同じ寸法及び／又は形状を有し得る。例では、マクロブロックは、正方形、矩形、円形、三角形、台形、菱形、楕円形、又は他の形状であり得る。代替的には、２つ以上のマクロブロックは異なる寸法及び／又は形状を有し得る。マクロブロックは「ブロック」と呼ばれることもある。

符号化プロセッサを使用して、空間的及び／又は時間的なブロックの相関を除去し得る。したがって、ビデオフレームが小さなブロックに分割された後、ビデオデータのブロックは、図２に提供されるようなビデオ符号化アーキテクチャを通過し得る。

特に、ビデオデータは符号化制御装置２０４に進み得る。符号化制御装置を使用して、ビデオデータを直接、例えば、いかなる追加の変換ステップもなく変換するか、それともデータを変換／スケーリング／量子化（ＴＳＱ）構成要素に送信するかを判断し得る。例では、符号化制御装置は、ビデオデータをエントロピー符号化構成要素２０６に直接渡し得る。他の例では、符号化制御装置は、変換データをエントロピー符号化構成要素に提供する前に、ビデオデータをＴＳＱ構成要素２０８に渡し得る。ＴＳＱ構成要素において、ビデオデータは、ブロック等の空間及び時間的に関連するビデオフレーム構成要素間での類似性を圧縮するように変換し得る。このプロセスは、元々の入力ビデオ信号からのビデオを使用し得る。さらに、このプロセスは、前に符号化されたビデオデータを利用して、変換プロセスをより効率的にし得る。さらに、この圧縮プロセスは量子化及び変換係数２１０を生成し得、この係数は次に、エントロピー符号化構成要素に提供し得る。係数は、離散コサイン変換（ＤＣＴ）に基づいて計算し得、ビデオフレーム又はビデオフレーム内のブロック等のビデオフレーム構成要素間の差を表すために使用し得る。

ビデオデータを変換する場合、ビデオデータは、デコーダ２１２において再評価され、フィードバックとしてＴＳＱ構成要素に提供される前に変換されたビデオデータに鑑みて処理し得る。特に、変換されたビデオデータをＴＳＱ構成要素からスケーリング及び反転変換（ＳＩＴ）構成要素２１４に提供することにより、ビデオ圧縮フィードバックを生成し得る。ＳＩＴ構成要素において、ビデオデータの変換プロセスを逆にし得る。次に、このビデオデータは非ブロック化フィルタ２１６に提供し得、このフィルタ２１６を使用して、出力ビデオ信号２１８を生成し得る。次に、出力ビデオ信号は、動き補償構成要素２２０において動き補償係数を生成するための構成要素として使用し得る。

例では、動き補償構成要素は、出力ビデオ信号からの動きデータ及び動き推定構成要素２２２から生成される動きデータを使用し得る。特に、動き推定構成要素は、初期入力ビデオ信号から入力ビデオデータを受信し得る。次に、動き推定構成要素は、ビデオデータに基づいて動きデータを生成し得る。次に、この動きデータは、動き補償構成要素及びエントロピー符号化構成要素に提供し得る。

復号化ビデオデータが提供され、動き補償構成要素からの動きデータに基づいてコンテキスト化されると、ビデオデータは、イントラフレーム予測構成要素２２４を使用してイントラフレーム予測について評価され得る。インターフレーム予測について、追加の予測を生成することもできる。これらの予測は、フィードバックとしてＴＳＱ構成要素及び非ブロック化フィルタに提供し得る。したがって、ＴＳＱ構成要素から生成される量子化係数及び変換係数並びに非ブロック化フィルタによって生成される出力信号は、処理されたビデオデータからのフィードバックに基づいて改善し得る。

したがって、ビデオエンコーダを使用して、異なるビデオフレームのブロック間（時間的圧縮）及び同じビデオフレーム内のブロック間（空間的圧縮）の両方で重複する情報を簡略化して、情報を凝縮し得る。ビデオデータが凝縮されると、図２のアーキテクチャを利用して符号化されたビデオフレームは、１Ｄビットストリームに形成され得る。

図３は、本発明の実施形態による、ビデオ内の移動に基づいてビデオフレーム構成要素のビデオデータ圧縮を決定するプロセス３００を示す。ステップ３１０において、ビデオフレーム構成要素を符号化する符号化コストが、レート歪み最適化のアルゴリズムに基づいて特定される。レート歪み最適化は、再構成ビデオフレームの特定のビットレート及び歪みを提供するように変更されるパラメータの最適化である。レート歪み最適化は、動き情報、ブロックサイズ情報、及びブロック係数情報を使用して特定することができる。符号化コストは、特定のビデオフレーム構成要素の符号化に割り振り得るビットの範囲であり得る。特に、符号化コストは、レート歪み最適化のパラメータを査定し、再構築フレームのビットレートがＣＢＲ内にあることを保証するように、符号化に使用し得るビットを決定することによって特定される。本明細書で考察される実施形態では、符号化コストは提供され得、本明細書において提供される方法を使用して、提供された符号化コストのパラメータ内でビデオデータを効率的に符号化するように、ビットを割り振り、且つ／又は量子化ステップを選択し得る。

ステップ３２０において、ビデオフレーム構成要素に関連付けられた動き情報が受信される。例では、動き情報は、ビデオフレーム構成要素に関連付けられたオプティカルフロー場に基づき得る。動き情報は、ビデオフレーム構成要素に関連付けられた動きデータを含み得る。さらに、動き情報は、ビデオフレーム構成要素に隣接するビデオフレーム構成要素に関連付けられた動きデータを含み得る。さらに、オプティカルフロー場は、ビデオ取得デバイスの移動及び／又はＵＡＶの移動によって生成される動きデータを含み得る。動きデータは、並進移動及び／又は回転移動を含み得る。例では、動きデータは、ロール軸の回りでビデオ取得デバイスを回転させることによって生成し得る。動きデータは、カメラロールに自句の回りでＵＡＶを回転させることによって生成することもできる。例では、動きデータは、ピッチ及びヨー等の他の軸の回りでビデオ取得デバイス及び／又はＵＡＶを移動させることによって生成し得る。さらに、動きデータは、ビデオ取得デバイス及び／又はＵＡＶを横、上、下、ズームイン、ズームアウト、斜め移動、又はそれらの組合せで移動させることによって生成し得る。追加の例では、生成されたオプティカルフロー場は、移動物体の速度、ビデオ取得デバイスからの移動物体の距離、移動物体の湾曲移動、移動物体の方向性、及びオプティカルフロー場内の物体移動の他の特徴に関連する動きアスペクトを含み得る。

ステップ３３０において、ビデオフレーム構成要素の少なくとも一部分は、閾値移動量と突き合わせて査定される。例では、閾値移動量を超えると判断されたビデオフレーム構成要素の部分は、高度の移動を有するものとして査定し得る。さらに、閾値移動量未満であると判断されたビデオフレーム構成要素の部分は、低度の移動を有するものとして査定し得る。さらに、高度又は低度の移動を有さないビデオフレーム構成要素の部分は、標準度の移動を有すると判断し得る。

ステップ３４０において、ビットは、動きデータに基づいて、ビデオフレーム構成要素の少なくとも一部分に割り振られる。幾つかの場合、これは、閾値移動査定に基づいてビットを割り振ることを含み得る。特に、標準ビット量が、標準度の移動を有すると判断されたビデオフレーム構成要素の少なくとも一部分に割り振られ得る。さらに、より多量のビット量が、高度の移動を有すると判断されたビデオフレーム構成要素の少なくとも一部分に割り振られ得る。さらに、より小量のビット量が、低度の移動を有すると判断されたビデオフレーム構成要素の少なくとも一部分に割り振られ得る。例えば、より高度の移動を有するビデオフレーム構成要素の部分は、より低度の移動を有するビデオフレーム構成要素の部分よりも高いビット割り振りを受け取り得る。より高度の移動を有するビデオフレーム構成要素の部分の符号化により高いビット割り振りを割り振ることにより、ビデオフレーム間の差をより正確に反映し得る。特に、高度の移動を有するビデオは、より低度の移動を有するビデオよりも、ビデオフレーム内外に移動する多数の物体を有し得る。したがって、より多数のビットをこれらの差の符号化に割り振り得る。

利用可能な場合、高い移動度を有すると判断されたビデオフレーム構成要素の少なくとも一部分に増大したビット量を割り振り得るが、ビット量が制限され得る例がある。これらの例では、符号化プロセッサは、量子化ステップを使用して、ビデオデータを圧縮することを選び得る。量子化は、２つ以上の値を単一の量子値に圧縮することによって達成される不可逆的圧縮技法である。画像処理では、量子化は特に、輝度変動の周波数間の差であるが、人間の目では容易に区別できない差を圧縮することにおいて有用であり得る。例えば、人間の目は、大きな周波数にわたる輝度の差を知覚することに長け得るが、知覚可能な差の閾値よりも累積的に小さい変動周波数を区別することができないことがある。したがって、ビデオデータは、輝度に関連付けられたビデオデータ内の周波数をとり、標準値によって周波数を分割し、次に、結果として生成された周波数の計算を最も近い整数に切り上げる（又は下げる）ことによって圧縮し得る。周波数の変動がなお、周波数間の差の人間知覚閾値未満である限り、再構築されたビデオを見ているユーザは、元のビデオデータと変更されたビデオデータとの差異に気付かない。しかし、元々取得された範囲よりも小さな範囲の周波数を参照する能力により、再構築ビデオを提供するＣＢＲに関連付けられた符号化コストに一致したビット量にビデオデータを圧縮することが可能であり得る。

ビデオフレーム構成要素内のデータに対して量子化ステップを実行することを選ぶことに加えて、符号化プロセッサは、使用される量子化の程度を選ぶこともできる。特に、量子化の程度は、上述した輝度周波数等のデータセットの分割に使用される標準値の大きさを指す。データの分割に使用される標準値が増大するにつれて、圧縮量も増大し得る。したがって、標準値及び圧縮の程度は正比例し得る。例では、標準値及び圧縮の程度は線形正比例し得る。

ステップ３５０において、量子化ステップをビデオフレーム構成要素を圧縮するために必要であるか否かが判断される。この判断は、提供される符号化コスト及びビデオフレーム構成要素内の移動度に基づいて行い得る。特に、ビデオフレーム構成要素の少なくとも一部分に関連付けられた高度の移動があるが、高度の移動を有するビデオフレーム構成要素の少なくとも一部分に割り振るために利用可能なビットがない場合、ビデオフレーム構成要素のその少なくともオン部分に量子化ステップを選択すると判断し得る。さらに、使用し得る量子化の程度は、判断ステップ３５０中に計算し得る。特に、量子化の程度はやはり、ビデオフレーム構成要素の符号化コストと、再構成されたフレームがＣＢＲ内にあることを保証するために低減する必要があるデータ量とに基づいて計算し得る。

さらに、ステップ３６０において、ビデオフレーム構成要素の少なくとも一部分の量子化ステップが決定される。特に、選択された量子化ステップは、ビデオフレーム構成要素の少なくとも一部分のサイズに基づき得る。選択される量子化ステップは、ビデオフレーム構成要素の少なくとも一部分内の動き情報に基づくこともできる。さらに、選択される量子化ステップは、ビデオフレーム構成要素の少なくとも一部分に関連付けられたブロック係数情報に基づき得る。

したがって、ビデオフレーム構成要素を符号化して、再構築ビデオのＣＢＲに関連付けられた符号化コストの閾値内に留まり得る。特に、ビデオフレーム構成要素は、ビット割り振り及び／又は量子化ステップ選択を使用することにより、符号化プロセッサによって符号化して、符号化コスト内に留まり得る。しかし、ビデオフレーム構成要素は、様々な移動度を有し得るため、符号化プロセッサがビット割り振り対量子化ステップ選択を使用する程度も、ビデオフレーム構成要素内の移動に基づいて変化し得る。特に、ビデオフレーム構成要素を符号化する場合、ビデオフレーム構成要素内の移動に基づいて、特定のビット割り振り及び／又は量子化ステップを選択して、ビデオフレーム構成要素を符号化し得る。例では、選択される特定のビット割り振り及び／又は量子化ステップは、ビデオフレーム構成要素の符号化に関連付けられた符号化コストの閾値に基づき、それにより、符号化されたビデオが復号化される歳にＣＢＲを維持し得る。

ビデオフレーム構成要素にわたるこの不一致を示すために、図４は、本発明の実施形態による、異なる動き成分を有するビデオフレーム構成要素間のビットレート及び量子化ステップ分布の概略４００を示す。特に、分布４１０〜４３０は、フレーム単位でのビット割り振り及び／又は量子化ステップ選択を示し、分布４４０〜４７０は、ブロック単位でのビット割り振り及び／又は量子化ステップ選択を示す。

図４に見られるように、分布４１０は、ビット割り振りでの増大を示す。ビット割り振りを増大させて、ビデオフレーム構成要素の部分の符号化に割り振られるビット量を増大し得る。ビットは、ビデオフレーム構成要素内の移動量に基づいて、スライド制で増大し得る。ビットは、符号化するビデオフレーム構成要素に割り振られたビット量に関連付けられたカテゴリに基づいて増大し得る。特に、分布４１０は、ビデオフレームにわたるビット割り振りの増大を示す。ビット割り振りは、ビデオフレームが閾値移動量を超える移動量を含む場合、増大し得る。閾値移動量を超える移動量が存在する場合、より多量の移動を有するエリアの符号化により多数のビットを割り振り得、それにより、移動を正確に符号化し得る。特に、符号化プロセッサは、ビデオフレームが閾値移動量を超える移動量を有する部分を含む場合、ビット割り振りを増大し得る。分布４１０と同様の分布に関連付けられ得るオプティカルフロー場の例は、図５に提供される。

さらに、分布４２０は、ビット割り振りの低減を示す。ビット割り振りを低減して、ビデオフレーム構成要素の部分を符号化するために割り振られるビット量を低減し得る。ビットは、ビデオフレーム構成要素内の移動量に基づいて、スライド制で低減し得る。ビットは、符号化するビデオフレーム構成要素に割り振られたビット量に関連付けられたカテゴリに基づいて低減し得る。特に、分布４２０は、ビデオフレームにわたるビット割り振りの低減を示す。ビット割り振りは、ビデオフレームが閾値移動量未満の移動量を含む場合、低減し得る。特に、ビデオフレームが略同様である例では、同様のフレーム間の差を正確に表すために必要なビットはより少数のビットでよい。分布４２０と同様の分布に関連付けられ得るオプティカルフロー場の例は、図６に提供される。さらに、分布４３０は量子化ステップの増大を示す。特に、量子化ステップは、例えば、低量子化、中量子化、又は高量子化という異なるカテゴリを有し得る。量子化の程度は、異なる量子化カテゴリに鑑みて客観的又は相対的に査定され得る。量子化ステップは、ビデオフレーム内に閾値を超える移動量があり、且つビデオフレーム内の移動を符号化するために割り振られる十分なビットがない場合、増大され得る。したがって、符号化プロセッサは、閾値移動量を超える移動量を有するビデオフレームのエリアを特定し得、これらのエリアに割り振る十分なビットがあるか否かを査定し得る。

十分なビットがない場合、符号化プロセッサは、量子化ステップを増大させて、ビデオデータが復号化される際にＣＢＲを維持しながら、ビデオを符号化し得る。特に、分布４３０は、ビデオフレームにわたる量子化ステップの増大を示す。量子化ステップを増大させて、ビデオフレーム構成要素の圧縮の程度を増大させ、それにより、符号化するビデオフレーム構成要素に使用されるビット量を低減し得る。量子化ステップは、ビデオフレーム構成要素内の移動量に基づいてスライド制で増大し得る。量子化ステップは、符号化するビデオフレーム構成要素内の移動量に関連付けられたカテゴリに基づいて増大し得る。分布４３０と同様の分布に関連付けられ得るオプティカルフロー場の例は、図７に提供される。

量子化ステップは、分布４３０において示されるように増大し得るが、量子化ステップは低減することもできる。量子化ステップを低減して、ビデオフレーム構成要素の圧縮の程度を低減し得る。ビデオフレーム構成要素の符号化に向けて割り振るために十分なビットがある場合、量子化ステップを低減することが有益であり得る。特に、量子化ステップは不可逆的であり得、それにより、ビデオフレーム構成要素を符号化する際に潜在的に誤差を生じさせる。量子化ステップは、ビデオフレーム構成要素内の移動量に基づいて、スライド制で低減し得る。量子化ステップは、符号化するビデオフレーム構成要素内の移動量に関連付けられたカテゴリに基づいて低減し得る。さらに、量子化ステップは、ビデオフレーム内の動きが特定の量子化ステップに関連付けられた閾値未満であり、且つビデオフレーム内のビデオフレーム構成要素の符号化に割り振られる十分なビットがある場合、低減し得る。

さらに、図４に見られるように、分布４４０は標準ビット割り振りを示す。特に、分布４４０は、ビデオフレーム内のブロックにわたる標準ビット割り振りを示す。これは、同じサイズであり、同量のビットが割り振られることを示すブロック１及びブロック２として、分布４４０に示される。分布４４０と同様の分布に関連付けられ得るオプティカルフロー場の例は、図８に提供される。さらに、分布４５０は、不均等なビット割り振りを示す。特に、分布４５０は、ビデオフレーム内のブロックにわたる不均等ビット割り振りを示す。これは、ブロック１がブロック２よりも大きく、ブロック２よりもブロック１に多数のビットが割り振られることを示すように、分布４５０に示される。分布４５０と同様の分布に関連付けられ得るオプティカルフロー場の例は、図９に提供される。

これも図４に見られるように、分布４６０は、不均等相互増大ビット割り振りを示す。特に、分布４６０は、ビデオフレーム内のブロックにわたる不均等相互増大ビット割り振りを示す。これは、ブロック１及びブロック２の両方に、分布４４０のブロック１及び２に提供される標準割り振りよりも多数のビットが割り振られるように、分布４６０に示される。ビットの標準割り振りとは対照的に、分布４６０は、ブロック２に増大した量のビットが割り振られ、ブロック１にブロック２よりも多数のビットが割り振られることを提供する。分布４６０と同様の分布に関連付けられ得るオプティカルフロー場の例が、図１０に提供される。さらに、分布４７０は複数カテゴリビット割り振りを示す。特に、分布４７０は、ビデオフレーム内のブロックにわたる複数カテゴリビット割り振りを示す。これは、ブロック１に増大された量のビットが割り振られ、ブロック２に標準量のビットが割り振られ、ブロック３に低減された量のビットが割り振られるように、分布４７０に示される。分布４７０と同様の分布に関連付けられ得るオプティカルフロー場の例は、図１１に提供される。

ビデオフレーム当たりの一定符号化レートを所与として、異なるビット割り振りの程度対量子化ステップ選択を有し得るビデオフレームの例が、図５〜図７に提供される。例では、オプティカルフロー場を提供して、符号化プロセッサによって符号化されているビデオデータをコンテキスト化し得る。オプティカルフロー場は画像データに基づいて生成し得る。追加又は代替として、オプティカルフロー場はセンサデータに基づいて生成し得る。例では、オプティカルフロー場は、図１で考察されたように生成されるオプティカルフロー場を使用して生成し得る。幾つかの例では、オプティカルフロー場は、ビデオデータのコンテキスト化に役立つことができ、それにより、フレーム単位での符号かプロセッサによるビデオデータ符号化に役立つ。特に、フレーム単位で、符号化プロセッサは、ビデオフレーム上の物体が非常に高速で移動していることをそのフレームに関連付けられたオプティカルフロー場が示す場合、より多数のビットをフレームに割り振り得る。多量の移動を有するビデオフレームに割り振るために利用可能なビットがない例では、符号化プロセッサは代わりに、量子化ステップ（又はより高い量子化ステップ）を選び、何もしなければ生じるビデオフレーム内の高い移動度に起因するビットレートの増大を相殺し得る。さらに、符号化プロセッサは、ビデオフレームの大部分が比較的静止している場合、ビデオフレームに割り振られるビット数を低減し得る。代わりに、符号化プロセッサは、高い移動度を有し得る別のビデオフレームにビット割り振りを提供し得る。

図５は、本発明の実施形態による、ビデオフレームを符号化する上からの回転図に関連付けられたオプティカルフロー場５００を示す。オプティカルフロー場５００は上からであるが、カメラの光軸の回りを回転させるために使用される他の方法を使用して、回転図を生成することもできる。オプティカルフロー場内の動きは矢印を使用して示される。矢印の長さは、オプティカルフロー場にわたって生じている動きの量を示し、矢印の湾曲は、オプティカルフロー場にわたって生じている動きの方向を示す。例では、図５のビデオフレームは、ビデオフレーム全体を通して比較的通常量の動きを有し得る。図５のビデオフレームの中央部分には、そのエリアでの動きが密であるため、わずかに増大されたビット割り振りを割り振り得るが、図５に示されるビデオフレームの周縁部分の各々には、周縁部分での動きが中央領域よりも密ではないため、標準ビット量が割り振られ得る。したがって、図５は、図４の調整４１０と同様に、単に増大されたビット割り振りを有し得る。さらに、上述したように、図５に提供されるような増大されたビットの割り振りは、再構築ビデオのＣＢＲに関連付けられた符号化コストの閾値内にあり得る。

さらに、図６は、本発明の実施形態による、ビデオフレームを符号化するために異なる程度の物体移動を有する大域的オプティカルフロー場６００を示す。図６に見られるように、オプティカルフロー場の上部に近い幾つかの物体は比較的静止している。特に、同じ速度で移動している物体は、ビデオ取得デバイスからの物体の距離に基づいて異なる知覚速度を有するため、比較的静止して見える物体は画像取得デバイスから遠くにあり得る。代替的には、一定速度で移動している物体は、ビデオ取得デバイスが物体と同じ速度で同じ方向に移動している場合、比較的静止して見え得る。例では、ビデオ取得デバイスは、ビデオ取得デバイスに取り付けられるＵＡＶの移動に基づいて特定の速度で移動中であり得る。代替的には、ビデオ取得デバイスは、取り付けられたＵＡＶに相対してビデオ取得デバイスそれ自体の移動に基づいて特定の速度で移動中であり得る。

ビデオフレームに関連付けられたオプティカルフロー場内の相当量のエリアが、比較的静止して見える場合、符号化プロセッサは、ビデオフレームに割り振られるビット量を低減することを選び得る。特に、符号化プロセッサは、静止エリアを有するビデオフレームに割り振られ得る幾つかのビットをシフトし得、より多量の動きを有するエリアを有するビデオフレームにそれらのビットを割り振り得る。

図６のオプティカルフロー場の上部とは対照的に、オプティカルフロー場の中央部及び下部にある幾つかの物体は、比較的高速で移動している。特に、物体は、ビデオ取得デバイスに相対する移動に基づいて比較的高速で移動するように見え得る。特に、ビデオ取得デバイスが静止物体を超えて高速で移動している場合、静止物体は、ビデオ取得デバイスの移動に基づいて高速で移動しているように見え得る。例では、物体の知覚される移動は、ビデオ取得デバイスの移動に関連付けられた動き成分を有し得、且つ／又はビデオ取得デバイスが取り付けられる、ＵＡＶ等の移動可能物体の移動に関連付けられた動き成分を有し得る。

しかし、比較的静止したビデオフレーム内の大量のエリアを所与として、図６のビデオフレームへの全体的なビット割り振りは更に低減し得る。したがって、図６に提供されるビデオフレームは、図４の調整４２０と同様に、低減されたビット割り振りを有し得る。

別の例では、図７は、本発明の実施形態による、ビデオフレームを符号化するための超高速大域的カメラ移動に関連付けられたオプティカルフロー場７００を示す。特に、図７に提供されるオプティカルフロー場７００は、均一に下向きの方向を有する。さらに、動き矢印の下向き方向は、矢印の密度により高速であるものとして示される。例では、オプティカルフロー場の下向き方向は、ビデオ取得デバイスを通り越して素早く移動している１つ又は複数の物体に基づいて、ビデオデータにおいて高速であるように見え得る。他の例では、オプティカルフロー場の下向き方向は、取得されたビデオデータ内の物体に相対するビデオ取得デバイスの移動に基づいて、ビデオデータにおいて高速であるように見え得る。更なる例では、オプティカルフロー場内の動き矢印の下向きの方向は、ビデオ取得デバイスを通り過ぎて素早く移動している物体と、ビデオ取得デバイスそれ自体の高速移動との組合せに基づいて、ビデオデータにおいて高速に見え得る。

オプティカルフロー場の方向性は、均一に下向きの方向を有するため、ビデオフレームにわたって同量のビットを割り振り得る。しかし、大量の移動を所与として、高い移動度を取得するために利用可能な不十分なビットがあり得る。したがって、ビデオフレームに関連付けられたオプティカルフロー場内の相当量のエリアが、比較的高速に移動して見える場合、符号化プロセッサは、量子化ステップを選択すること（又は増大した量子化ステップを選択すること）を選び、ビデオフレームに関連付けられたビデオデータを符号化する際に使用し得る。したがって、図７に提供されるビデオフレームは、図４の調整４３０と同様に、符号化プロセッサによって選択される増大された量子化ステップを有し得る。

ビデオフレーム当たりの一定符号化レートを所与として、異なるビット割り振りの程度対量子化ステップ選択を有し得るビデオフレームの更なる例は、図８〜図１１に提供される。例では、オプティカルフロー場は、ビデオデータのコンテキスト化に役立つことができ、それにより、符号化プロセッサがブロック単位でビデオフレーム内のビデオデータを符号化するのに役立つ。特に、ビデオフレーム内の異なるブロックの中で、オプティカルフロー場は、ビデオフレームの幾つかの部分が他の部分よりも高速で移動しているか否かを示すことができる。ビデオフレームのこれらの部分は、ビデオフレーム内のブロックによって表され得る。したがって、ブロック単位で、符号化プロセッサは、ビデオフレーム内のブロックにわたり大域的且つ差別的にフレーム内のビットレートを割り振り得る。特に、符号化プロセッサは、ブロックを通して移動している物体が非常に高速に移動していることをオプティカルフロー場が示す場合、より多数のビットをブロックに割り振り得る。大量の動きに関連付けられたブロックに割り振るために利用可能な十分なビットがない例では、符号化プロセッサは代わりに、量子化ステップ（又はより高い量子化ステップ）を選び、普通ならばブロック内の高度の動きによって生じるビットレートの増大を相殺し得る。さらに、符号化プロセッサは、比較的静止しているブロックに割り振られるビット数を低減し得る。代わりに、符号化プロセッサは、高度の動きを有し得る別のブロックにビット割り振りを提供し得る。

例では、図８は、本発明の実施形態による、斜めの大域的動きに関連付けられたオプティカルフロー場８００内の符号化すべき２つのビデオフレーム構成要素を示す。特に、図８に提供されるオプティカルフロー場は、オプティカルフロー場の右下隅に向かって均一に傾斜する方向を有する。例では、オプティカルフロー場内の動き矢印の方向は、ビデオ取得デバイスを通り過ぎて斜めに移動している１つ又は複数の物体に基づいて、ビデオデータにおいて傾斜して見え得る。他の例では、オプティカルフロー場内の動き矢印の方向は、取得されたビデオデータ内の物体に相対するビデオ取得デバイスの斜め移動に基づいて、ビデオデータにおいて傾斜して見え得る。更なる例では、オプティカルフロー場内の動き矢印の方向は、ビデオ取得デバイスを通り過ぎて斜めに移動している物体と、ビデオ取得デバイスそれ自体の移動との組合せに基づいて、ビデオデータにおいて傾斜して見え得る。

図８は、ビデオフレームのビデオフレーム構成要素である２つのブロック：ブロック８１０及びブロック８２０も提供する。例では、ブロック８１０及び８２０を有するビデオフレームを符号化している符号化プロセッサは、ビデオフレームにわたってビットを均等又は不均等に割り振り得る。特に、ビデオフレームにわたるビットの分布は、ビデオフレームに関連付けられた動きデータに基づき得る。図８に見られるように、オプティカルフロー場によって提供される動きデータは、ビデオフレームにわたって均一な動きがあることを示す。したがって、符号化プロセッサは、ブロック８１０及び８２０にわたって等量のビットを割り振り得る。このようにして、図８は、図４の調整４４０と同様に、標準ビット割り振りを有し得る。

さらに、図９は、本発明の実施形態による、カメラに関連付けられたズームイン特徴に関連付けられたオプティカルフロー場内の符号化すべき２つのビデオフレーム構成要素を示す。例では、ズームイン特徴は、物体へのビデオ取得デバイスのズームイン、カメラがより近くに移動できるようにする航空車両のサポートエリア、又はこれらの２つの組合せに基づいて行われ得る。図９に見られるように、オプティカルフロー場の縁部での移動は、オプティカルフロー場の中間での移動よりも大きい。さらに、ズームインの方向性は、オプティカルフロー場にわたって等しい。換言すれば、垂直距離又は水平距離において明確なバイアスがなく、その理由は、各方向が同様に移動してるためである。しかし、方向性バイアスはないが、図９内の動きは、中央エリアの近くでより集中し、図９内の動きは周縁エリアの近くでより疎である。

図９は、ビデオフレームのビデオフレーム構成要素である２つのブロック：ブロック９１０及び９２０も提供する。例では、ブロック９１０及び９２０を有するビデオフレームを符号化している符号化プロセッサは、ビデオフレームにわたってビットを均等又は不均等に割り振り得る。特に、ビデオフレームにわたるビットの分布は、ビデオフレームに関連付けられた動きデータに基づき得る。図９に見られるように、オプティカルフロー場によって提供される動きデータは、ビデオフレームの周縁部よりもビデオフレームの中央部に大きな集中があることを示す。さらに、ブロック９１０は比較的中央に配置され、一方、ブロック９２０はビデオフレームの周縁部のより近くに配置される。したがって、符号化プロセッサは、ブロック９１０が高い移動度を有するビデオフレームの中央ロケーションを有するため、ブロック９１０により多数のビットを割り振り得る。逆に、ブロック９２０には、標準量のビット及び／又はブロック９１０よりも小量のビットを割り振り得る。したがって、符号化プロセッサは、ブロック９１０及び９２０にわたり不等量のビットを割り振り得る。したがって、図９は、図４の調整４５０と同様に、不均衡なビット割り振りを有し得る。

オプティカルフロー場内の物体の知覚されるサイズの関係は、オプティカルフロー場内の物体のロケーションに基づいて様々であり得る。例えば、オプティカルフロー場がズームイン動作に基づいて生成される場合、現実世界で同じサイズの物体は、オプティカルフロー場の縁部にあるほど大きく見え得る。これは図９に示され、図９は、オプティカルフロー場の中心にある正規化最小近傍にある第１のボール９３０と、オプティカルフロー場の周縁近傍にある第２のボール９４０とを示す。第１のボール９３０及び第２のボール９４０は等しいサイズであるが、オプティカルフロー場に関連して見る場合、異なるサイズに見える。したがって、物体の知覚されるサイズは、オプティカルフロー場にわたって変化し得る。特に、物体の知覚されるサイズは、線形に正比例若しくは反比例するように、又は物体がオプティカルフロー場にわたって異なるロケーションに配置される場合、別の式によってモデリングされるように変化し得る。

更なる例では、図１０は、本発明の実施形態による、上からの回転図に関連付けられたオプティカルフロー場１０００内の符号化すべき２つのビデオフレーム構成要素を示す。図５に見られるように、オプティカルフロー場内の動きは矢印を使用して示される。矢印の長さは、オプティカルフロー場にわたって生じている動きの量を示し、矢印の湾曲は、オプティカルフロー場にわたって生じている動きの方向を示す。図１０は、ビデオフレームのビデオフレーム構成要素である２つのブロック：ブロック１０１０及びブロック１０２０も提供する。符号化プロセッサがビデオフレームを符号化する場合、ビデオフレームにわたるビットの分布は、ビデオフレームに関連付けられた動きデータに基づき得る。図１０に見られるように、オプティカルフロー場によって提供される動きデータは、ビデオフレーム内の回転に関連付けられた相対移動が一般に一定であることを示す。しかし、図９と同様に、図１０内のオプティカルフロー場は、ビデオフレームの周縁部よりもビデオフレームの中央部により大きな動きの集中があることも示す。さらに、ブロック１０１０は比較的中央に配置され、一方、ブロック１０２０は、ビデオフレームの周縁部のより近くに配置される。したがって、符号化プロセッサは、ブロック１０１０が、より多量の動きを有するビデオフレームの中央場所を有するため、ブロック１０１０により多数のビットを割り振り得る。符号化プロセッサは、ブロック１０２０に追加のビットを割り振ることもできるが、ブロック１０２０の増大されたビットは、ブロック１０１０に割り振られるビット量未満であり得る。したがって、符号化プロセッサは、ブロック１０１０及び１０２０にわたり不等量のビットを割り振り得る。このようにして、図１０は、図４の調整４６０と同様に、不等であるが、相互に増大されたビット割り振りを有し得る。

さらに、図１１は、本発明の実施形態による、異なる程度の物体移動を有する大域的オプティカルフロー場１１００内の符号化すべき３つのビデオフレーム構成要素を示す。特に、図１１は、ビデオフレーム内の物体に関連付けられた異なる移動レートを有するオプティカルフロー場の例を提供する。図１１に見られるように、オプティカルフロー場の上部に近い幾つかの物体は比較的静止している。これとは対照的に、オプティカルフロー場の中央下部にある幾つかの物体は、比較的高速で移動している。特に、物体は、ビデオ取得デバイスに相対する移動に基づいて比較的高速に移動するように見え得る。

図１１に提供されるビデオフレームを符号化する符号化プロセッサは、ビデオフレームに関連付けられた動きデータに基づき得るビデオフレームにわたる少なくとも３つのビット分布カテゴリを提供し得る。例では、符号化プロセッサは、１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１１以上、１２以上、１３以上、１４以上、１５以上、１６以上、１７以上、１８以上、１９以上、２０以上、２１以上、２２以上、２３以上、２４以上、２５以上、３０以上、３５以上、４０以上、４５以上、５０以上、６０以上、７０以上、８０以上、９０以上、１００以上、又は１００を超えるビット分布のカテゴリを提供し得る。エンコーダによるビット分布に利用可能な全てのカテゴリが、任意の所与のビデオフレームに存在するわけではない。しかし、例では、少なくとも１つのビット分布カテゴリが、符号化プロセッサによりエンコーダである各ビデオフレームに提供し得る。図１１に見られるように、オプティカルフロー場によって提供される動きデータは、ビデオフレーム内の回転に関連付けられた相対移動が、少なくとも３つのカテゴリ：高速、標準、及び比較的静止に入ることを示す。特に、ブロック１１１０は高速であり、ブロック１１２０は標準であり、ブロック１１３０は比較的静止している。したがって、符号化プロセッサは、ブロック１１１０はブロック１１２０よりも多量の動きを有するため、ブロック１１１０にブロック１１２０よりも多数のビットを割り振り得る。さらに、符号化プロセッサは、ブロック１１２０がブロック１１３０よりも多量の動きを有するため、ブロック１１２０にブロック１１３０よりも多数のビットを割り振り得る。ブロック１１３０の静止性が移動閾値未満である例では、符号化プロセッサは、ブロック１１３０に割り振られるビット量を低減し得る。したがって、符号化プロセッサは、ブロック１１１０、１１２０、及び１１３０にわたり不等量のビットを割り振り得る。このようにして、図１１は、図４の調整４７０と同様に、複数のカテゴリに関連付けられたビット割り振りを有し得る。

ビデオフレーム当たりの一定の符号化コストを所与として、異なる程度のビット割り振り対量子化ステップ選択を有し得るビデオフレームの更なる例は、図１２〜図１４に提供される。例では、オプティカルフロー場は、ビデオデータのコンテキスト化に役立つことができ、それにより、符号化プロセッサによるビデオフレーム構成要素内又は間のビデオフレーム内のビデオデータの符号化に役立つ。特に、ブロック構成要素内又は間で、オプティカルフロー場を使用して、１）動きベクトルの識別及び２）係数の計算に割り振られるビットを調整し得る。例では、ビデオフレーム内の動きが激しく、それにより、ビデオフレームに関連付けられた動き情報の総量が増大する場合、調整戦略の例は、動きベクトルの識別よりも係数の計算により多数のビットを割り振り得る。特に、より多数のビットが係数の計算に割り振られる場合、一貫した動きベクトル場の保全性を維持し得る。この戦略下では、動きベクトル場の維持は、動きベクトルの検索よりも優先され、その理由は、ビデオフレーム構成要素間の動きが動きの特定の閾値を超える場合、一般に、動きベクトルの検索へのビット割り振りに関して非常に高コストであるためである。さらに、ビデオフレームに関連付けられた動きデータが活動の特定の閾値を超える場合、符号化プロセッサは動きベクトルの識別をより誤りやすい。さらに、動きベクトルの誤識別は、一連の誤差を伝搬し得、これらは一般にトレースバックすることが容易ではない。したがって、幾つかの戦略下では、ビットは、動きベクトルの識別よりも正確な係数の計算に優先的に割り振られる。

例では、動きベクトルの識別にわたる係数を計算する優先度は、現在のブロックの量子化ステップの決定及び動き検索でのＲＤＯへの寄与の両方に適用し得る。したがって、ビデオフレーム内の動きが激しい（例えば、特定の閾値を超える）場合、ＲＤＯ費用関数は、より正確な動きベクトルを識別し得るように調整し得る。このようにして、ビデオフレーム構成要素間の残差データの符号化に割り振り得るビットを節減し得る。追加又は代替として、より小さな量子化ステップを適用して、決定されたＲＤＯに関連付けられた閾値を超える再構成フレームの視覚的品質を生み出し得る。

したがって、ビデオデータを符号化する際の係数の計算は、ビデオフレーム内の動きが激しい場合、動きベクトルの識別よりも優先し得る。特に、係数の計算は、符号化プロセッサがイントラ符号化及び／又はインター符号化を利用する場合等、ビデオデータを符号化する際のビデオフレーム間の残差データに基づき得る。したがって、図１２は、本発明の実施形態による、ビデオフレーム構成要素におけるブロック内のピクセルのイントラ符号化の例を示す。

イントラ符号化を使用して、空間相関を凝縮し得る。ビデオフレーム内のブロックの場合、ブロック内のピクセル値の予測子は隣接ピクセルから推定し得る。例えば、ピクセル値の予測値は、左上、右上、及び左下の隣接ピクセル等の隣接ピクセルから推定し得る。これらの予測の例は、ピクセルブロック内のパターンに対応するように方向性を有し得る。Ｈ．２６４方向性イントラ予測の実証を図１２に提供する。

図１２は、本発明の実施形態による、ビデオフレーム構成要素におけるブロック内のピクセルのイントラ符号化の例を示す。図１２に見られるように、ブロックに隣接するピクセルを使用して、ブロック内のピクセルの動きを予測し得る。特に、イントラ符号化が使用される場合、ブロックに隣接ピクセルが、動きデータについて査定される。図１２では、査定されるピクセルは、ブロックの左側の列及びブロックの上の列にある。ブロックの査定される動きには、符号化プロセッサによって使用される特定のモードが関連付けられ得る。隣接ピクセルの全てが同じ動き情報を有するわけではないため、隣接ピクセルが、特定のモードに関連付けられた閾値数のピクセルを有する場合、査定動きのモードをブロックに割り当て得る。例では、隣接ピクセルの１００％、９５％、９０％、８５％、８０％、７５％、７０％、６５％、６０％、５５％、５０％超え、５０％、又は大部分のうちの任意の割合が特定のモードに関連付けられる場合、隣接ピクセルにその特定のモードを割り当て得る。

さらに、隣接ピクセルに割り当てられるモードを使用して、ブロック内のピクセルの予測動きを特定し得る。例えば、モード０において、ブロックに隣接するピクセルは、下向きの動きを有するものとして査定され得る。図１２に示されるように、下向きの動きを使用して、予測ピクセルを通して下向きの動きを予測し得る。図１２に提供されるように、予測ピクセルを通しての下向きの動きは全体的に、ブロックの上の隣接ピクセルの上列の査定動きに基づく。

モード１において、ブロックに隣接するピクセルは、横向きの動きを有するものとして査定し得る。図１２に示されるように、この横向きの動きを使用して、予測ピクセル全体を通して右への動きを予測し得る。図１２に提供されるように、予測ピクセルを通しての横向きの動きは全体的に、ブロックの隣の隣接ピクセルの左列の査定動きに基づく。モード２では、ブロックに隣接するピクセルは、通常又は中性の動きを有するものとして査定され得る。この査定に基づいて、ブロック内のピクセルは、中性移動を有するものとして同様にされ得る。

モード３では、ブロックに隣接し、ブロックの上部に近いピクセルは、斜め左の動きを有するものとして査定され得る。図１２に見られるように、この斜め左の動きを使用して、予測ピクセル全体を通しての斜め左への動きを予測し得る。図１２に提供されるように、予測ピクセルを通しての斜め下への動きは全体的に、ブロックの隣の隣接ピクセルの上列及びブロックの近傍にあるピクセルの上列の査定動きに基づく。同様に、モード７では、ブロックに隣接するピクセルはまた、斜め左下の動きを有するものとして査定され得る。しかし、モード７で見られる斜め左下の動きの角度は、モード３で見られる斜め下の動きよりも急であり得る。

モード４では、ブロックに隣接するピクセルは、斜め右の動きを有するものとして査定され得る。図１２に見られるように、斜め右の動きを使用して、予測ピクセル全体を通して右下への動きを予測し得る。同様に、モード５では、ブロックに隣接するピクセルはまた、斜め右の動きを有するものとして査定され得るが、モード５に示される斜めの動きは、モード４での斜めの動きよりも急である。さらに、モード６では、ブロックに隣接するピクセルはまた、斜め右の動きを有するものとして査定され得るが、モード６に示される斜めの動きは、モード４又は５の斜めの動きよりも浅い。

さらに、モード８は、隣接ピクセルを上向き且つ右側への動きを示すブロックに提供する。しかし、モード８は、ブロックの一部のみを予測可能であるという点で前のモードとは異なる。ブロック内の追加の予測ピクセルを査定するために、他の補助方法を使用し得る。

イントラ符号化は、現在ブロックの左列及び上行のピクセル等のブロックの隣接ピクセルを利用するが、ブロックの中央ピクセル内に含まれる相当量の残差情報が存在し得る。例では、ブロックの中央ピクセルは、イントラ符号化を使用して容易に予測することができないことがあるテクスチャ、オブジェクト、及び他の情報を含み得る。この情報を取得するために、フレーム間の情報（例えば、時間的圧縮）を凝縮し符号化し得る。

インター符号化を使用して、時間的相関を凝縮し得る。ビデオフレーム内のブロックについて、ブロック内のピクセル値の予測子は、前のフレーム内の相関付けブロックから推定し得る。ビデオフレームは数百万分の１秒しか隔てられていないことがあるため、フレーム間のブロックは一般に、あまり違わない。しかし、インター符号化の使用は、イントラフレーム符号化を使用して取得されないブロック内の細部の予測に有用であり得る。特に、これらの細部は、近傍のビデオフレームからのブロックを参照することによって予測される。特に、フレーム間で相関するブロックは、動きベクトルを使用してリンクし得る。

インター符号化を実施する場合、まず、インターフレーム動き推定を符号化ブロックに対して実行し得る。動き推定プロセスは、現在ブロックに最も類似し、且つ最もコストがかからないと見なし得るピクセルのグリッドを特定し得る。特に、動き推定は、ビデオフレームの検索エリア内で検索を行うことにより、最も類似すると見なされるピクセルのグリッドを特定し得る。現在ブロックに最も類似し、且つ最もコストがかからないと見なされるピクセルのグリッドが特定されると、動きベクトルを計算し得る。特に、動きベクトルは、第１のフレームの現在ブロックと、第１のフレームに時間的に関連するビデオフレームの参照ブロックとの間に２Ｄピクセルロケーション差を含むものとして計算し得る。例では、２Ｄピクセルロケーション差がサブピクセル補間を使用して、整数ピクセル、半ピクセル、１／４ピクセル等によりフレーム間の動きを定義し得る。動きベクトルを計算する図を図１３に示す。

したがって、図１３は、本発明の実施形態による、ビデオフレームにわたり同じ場所にあるブロックをリンクする動きベクトルの図１３００を提供する。特に、図１３は、本発明の実施形態による、ビデオフレームにわたり同じ場所にあるブロックをリンクする動きベクトルを示す。図１３に見られるように、動きベクトル１３１０は、ビデオフレームにわたるブロック１３２０〜１３４０をリンクし得る。動きベクトルを使用して、計算動きベクトルは、計算される逆方向動きベクトル（ＭＶ）１３１２及び計算される順方向ＭＶ１３１４によって示されるように、隣接するビデオフレームが時間的に先行する場合であっても、それらの隣接するビデオフレーム及び／又は近傍のビデオフレームから予測し得る。これは、インター符号化間の情報の圧縮に起因し得る。特に、インター符号化中、時間情報は、特に、動きベクトル及び他の関連情報を使用してブロックを一緒にリンクすることにより圧縮し得る。

動きベクトルが特定されると、動きベクトルは符号化システム内のデコーダ側に提供し得る。デコーダがこの情報を受信すると、デコーダは、処理中のブロックにリンクし得る参照フレーム上の第１のブロックの対応するロケーションを見つけ得る。このようにして、デコーダは動きベクトルを使用して、参照を見つけ得る。続けて、参照と現在ブロックとの差（例えば、動きベクトル）を処理し、送信し得る。

ヘッダ情報符号化は、ビデオデータの効率的な符号化に使用することもできる。特に、動きベクトルに関連するヘッダ情報及びスキップモードに関連するヘッダ情報を使用して、ＵＡＶによって取得されるビデオデータを符号化し得る。

動きベクトルに関して、同じビデオフレーム内の現在ブロック及び空間的に隣接するブロックは、同じ動きベクトルを共有する高い確率を有し得る。さらに、現在ブロックに時間的に対応する動きベクトルは、現在ブロックの動きベクトルの予測子としても機能し得る。したがって、現在ブロックの動きベクトル予測子（ＭＶＰ）は、現在ブロックの空間的に隣接するブロック及び時間的に隣接するブロックに基づいて計算し得る。ＭＶＰの計算は、符号化プロセッサの規格に依存し得る。

さらに、スキップモードに関して、現在ブロックのヘッダ内にある追加情報を隣接ブロックから予測することもできる。さらに、現在ブロックを隣接ブロックから完全に予測し得る例では、現在ブロックのヘッダはスキップブロックとして記され得る。特に、スキップブロックを使用して、残差情報が送信されないことを示し得る。例では、現在ブロックの隣接ブロックの情報に基づいて、現在ブロック内の情報を計算し得る場合、スキップを使用し得る。

図１４は、本発明の実施形態による、動きベクトルを検索するよりもフレーム間の係数の計算を優先する構造を示す。特に、図１４は、ＵＡＶによって取得されたビデオ内の２つのビデオフレームの図１４００を提供する。２つのビデオフレームは、木々、海岸、及びボート等の物体を含む。特に、第１のフレーム１４１０は現在符号化フレームであり、第２の隣接するフレーム１４２０は予測フレームである。係数の計算に関して、第１のフレーム１４１０と第２のフレーム１４２０との差を査定し得る。図１４に提供されるように、残差量は、木々の追加の部分及びピクチャ間のボードの部分の除去からなる。例では、２つのフレームの残差量は２つのフレーム間の差を含む。さらに、現在符号化フレームのブロック１４１５には特定の動きベクトルが関連付けられる。

ビデオフレーム内の動きデータが激しい例では、ビットは、好ましくは、係数の計算に向けて割り振られ得る。例えば、ビットは、第２のフレーム内の新しい木々を記述する残差及びボートの除去を説明する残差に向けて割り振り得る。特に、元のブロックとその予測ブロックとの差を残余と呼ぶことができ、このブロック間の残差は係数として表すことができる。さらに、ビデオフレーム内の動きデータは、ビデオフレームに関連付けられた動きデータ量の特定の閾値を超える場合、激しいと判断し得る。これは、ビデオフレーム内で位置合わせされるオプティカルフロー場に基づいて判断し得る。追加又は代替として、ビデオフレームに関連付けられた動きデータは、隣接及び／又は付近のビデオフレームの動きデータを査定することによって計算し得る。

ビデオフレーム内の動きデータが、「激しい」と見なされる動きデータの閾値を超えない場合等の他の例では、ビットは、ビデオフレームに関連付けられた係数の計算と、ビデオフレーム内の動きベクトルの識別とに等しく割り振り得る。特に、動きベクトルは、ビデオフレーム内に検索エリアを提供することによって識別し得る。ビデオフレーム内の動きが激しくなるにつれて、ビデオフレーム内の検索エリアのサイズを増大し得る。例では、検索エリアのサイズは、ビデオフレーム内の動きの強度が増大するにつれて増大し得る。さらに、ビデオフレーム内の動きの強度が増大するにつれて、検索エリアの形状を変更し得る。特に、ビデオフレーム内の動きの強度が増大するにつれて、検索エリアは正方形から円形に変更し得る。検索エリアの形状は、オプティカルフロー場に基づいて変更することもできる。特に、オプティカルフロー場が高度の垂直移動があることを示す場合、ビデオフレーム内の検索エリアは、その検索エリアの形状を正方形から垂直バイアスされた矩形に変更するなど、垂直成分を増大させ得る。隣接フレーム１４２０のブロックに関連付けられた検索エリア変更の図が提供される。特に、検索エリアは、第２のフレーム内のブロックに対応する動きベクトルを識別する動き推定予測評価の機会を増大するように変更される。ブロック１４２５を符号化ブロック１４１５にリンクする動きベクトルについてフレーム１４２０を評価する場合、検索エリア１４３０を査定し得る。

図１５は、本発明の実施形態による、動きデータに基づいてビデオを符号化する量子化ステップを決定する方法１５００を示すフローチャートである。ブロック１５１０において、画像取得デバイスによって取得されたビデオが受信される。特に、ビデオはビデオフレーム構成要素を含む。画像取得デバイスは、無人航空機等の移動可能物体に設置し得る。さらに、取得されるビデオは、ＵＡＶが飛行中、画像取得デバイスによって取得し得る。ブロック１５２０において、ビデオフレーム構成要素に関連付けられた動きデータが受信される。例では、動きデータはオプティカルフロー場データを含み得る。代替的には、動きデータはセンサデータを含み得る。例では、オプティカルフロー場データは、センサデータから生成し得る。更なる例では、動きデータは、ビデオフレームの第１の部分がビデオフレームの第２の部分よりも高度の移動を有することを示し得る。さらに、ブロック１５３０において、動きデータに基づいてビデオフレーム構成要素を符号化する量子化ステップが決定される。例では、量子化ステップを決定することは、符号化プロセッサが、ビデオフレームの第１の部分を符号化する第１の量子化ステップを選ぶことと、ビデオフレームの第２の部分を符号化する第２の、あまり大域的ではない量子化ステップを選ぶこととを含み得る。

図１６は、本発明の実施形態による、動きデータに基づいてビデオを符号化する量子化ステップを決定する別の方法１６００を示すフローチャートである。ブロック１６１０において、第１のビデオフレーム構成要素及び第２のビデオフレーム構成要素を含む、画像取得デバイスによって取得されたビデオが受信される。ビデオはビデオフレームを含む。ビデオは、画像取得デバイスによって取得し得る。ブロック１６２０において、第２のビデオフレーム構成要素に関連付けられた動きデータが受信される。例では、動きデータは、１つ又は複数のセンサを使用して取得し得る。更なる例では、センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ、及び高度計のうちのオン又は複数を含み得る。さらに、ブロック１６３０において、第１のビデオフレーム構成要素を符号化する量子化ステップが、第２のビデオフレーム構成要素に関連付けられた動きデータに基づいて決定される。特に、量子化ステップを決定することは、第１のビデオフレームと第２のビデオフレームとの間の係数を符号化するための損失を最小化する、第１のビデオフレームを符号化する量子化ステップを選ぶことを含み得る。追加の例では、量子化ステップは、ビデオフレーム内のブロック毎に決定され得る。

図１７は、本発明の実施形態による、動きデータに基づいてビデオを符号化するビットを割り振る方法１７００を示すフローチャートである。ブロック１７１０において、画像取得デバイスによって取得されたビデオが受信される。画像取得デバイスは移動可能物体に設置し得る。特に、画像取得デバイスはＵＡＶに設置し得る。さらに、ビデオはビデオフレーム構成要素を含む。

ブロック１７２０において、ビデオフレーム構成要素に関連付けられた動きデータが受信される。動きデータはオプティカルフロー場データを含み得る。さらに、動きデータは、ブロックが所定の閾値を超える移動を有することを示し得る。ブロック１７３０において、ビデオフレーム構成要素の符号化に関連付けられたビットは、動きデータに基づいて割り振られる。例では、ブロックを符号化するビット量は、所定の閾値を超える移動を有するブロックに相応するように割り振り得る。他の例では、ビットの割り振りは、割り振りビット量を選ぶことを含み得、動きデータがより高度の移動を示す場合、動きデータがより低度の移動を示す場合に選ばれるより低い割り振りビット量と比較して、より多量の割り振りビットが選ばれる。

図１８は、本発明の実施形態による、動きデータに基づいてビデオを符号化するビットを割り振る別の方法１８００を示すフローチャートである。ブロック１８１０において、画像取得デバイスによって取得されたビデオが受信される。ビデオは、第１及び第２のビデオフレーム構成要素を含む。例では、画像取得デバイスはカメラである。追加の例では、第１のビデオ構成要素は第１のビデオフレームであり得、第２のビデオ構成要素は第２のビデオフレームであり得る。さらに、第１のビデオフレームは、第２のビデオフレームに時間的に隣接し得る。ブロック１８２０において、第２のビデオフレーム構成要素に関連付けられた動きデータが受信される。例では、動きデータは、１つ又は複数のセンサを使用して取得し得る。さらに、ブロック１８３０において、第１のビデオフレーム構成要素の符号化に関連付けられたビットは、第２のビデオフレーム構成要素に関連付けられた動きデータに基づいて割り振られる。例では、ビットは、第１のビデオフレームと第２のビデオフレームとの間の係数を符号化するための損失を最小化するように、第１のビデオフレームの符号化に割り振られ得る。他の例では、第１のブロックと第２のブロックとの間の係数を符号化するための損失を最小化するビットが、第１のブロックの符号化に割り振られ得る。

ビデオ符号化に関して本明細書に記載されるシステム、デバイス、及び方法は、様々な物体によって支持されるビデオ取得デバイスによって取得される任意のビデオに適用し得る。特に、ビデオは、航空車両によって支持されるビデオ取得デバイスによって取得し得る。上述したように、ＵＡＶ等の航空車両の本明細書での任意の説明は、任意の移動可能物体に適用し得、使用し得る。航空車両の本明細書での任意の説明は、特にＵＡＶに適用し得る。本発明の移動可能物体は、空中（例えば、固定翼機、回転翼機、又は固定翼若しくは回転翼の何れも有さない航空機）、水中（例えば、船又は潜水艦）、陸上（例えば、車、トラック、バス、バン、オートバイ、自転車等の動力車、スティック、釣り竿等の移動可能構造若しくはフレーム、又は列車）、地中（例えば、地下鉄）、宇宙空間（例えば、宇宙飛行機、衛星、又は宇宙探査機）、又はこれらの環境の任意の組合せ等の任意の適する環境内で移動するように構成し得る。移動可能物体は、本明細書の他の箇所で記載される車両等の車両であり得る。幾つかの実施形態では、移動可能物体は、人間又は動物等の生体によって携帯されるか、又は生体から離陸し得る。適する動物は、アビネス（ａｖｉｎｅｓ）、イヌ科、ネコ科、ウマ科、ウシ科、ヒツジ科、ブタ科、イルカ科、齧歯類、又は昆虫を含み得る。

移動可能物体は、自由度６に関して環境内で自在に移動可能であり得る（例えば、並進移動での自由度３及び回転での自由度３）。代替的には、移動可能物体の移動は、所定の経路、トラック、又は向きになるなど、１つ又は複数の自由度に関して制限され得る。移動は、エンジン又はモータ等の任意の適する作動機構によって作動し得る。移動可能物体の作動機構は、電気エネルギー、磁気エネルギー、太陽エネルギー、風力、重力エネルギー、化学エネルギー、核エネルギー、又はそれらの任意の適する組合せ等の任意の適するエネルギー源によってエネルギー供給し得る。移動可能物体は、本明細書の他の箇所に記載のように、推進システムを介して自己推進し得る。推進システムは任意選択的に、電気エネルギー、磁気エネルギー、太陽エネルギー、風力、重力エネルギー、化学エネルギー、核エネルギー、又はそれらの任意の適する組合せ等のエネルギー源を燃料とし得る。代替的には、移動可能物体は生体によって運ばれ得る。

幾つかの場合、移動可能物体は航空車両であり得る。例えば、航空車両は、固定翼航空機（例えば、飛行機、グライダー）、回転翼航空機（例えば、ヘリコプター、ロータクラフト）、固定翼及び回転翼の両方を有する航空機、又は何れも有さない航空機（例えば、小型飛行船、熱気球）であり得る。航空車両は、空気を通しての自己推進等の自己推進式であり得る。自己推進式航空車両は、１つ又は複数のエンジン、モータ、車輪、車軸、磁石、ロータ、プロペラ、ブレード、ノズル、又はそれらの任意の適する組合せを含む推進システム等の推進システムを利用し得る。幾つかの場合、推進システムを使用して、移動可能物体が表面から離陸し、表面に着陸し、現在位置及び／又は向きを維持し（例えば、ホバリング）、向きを変更し、且つ／又は位置を変更できるようにし得る。

移動可能物体は、ユーザによってリモートに、又は移動可能物体内又は上の占有者によってローカルに制御し得る。移動可能物体は、別個の車両内の占有者を介してリモートに制御し得る。幾つかの実施形態では、移動可能物体は、ＵＡＶ等の無人移動可能物体である。ＵＡＶ等の無人移動可能物体は、移動可能物体に搭乗する占有者を有さなくてもよい。移動可能物体は、人間、自律制御システム（例えば、コンピュータ制御システム）、又はそれらの任意の適する組合せによって制御し得る。移動可能物体は、人工知能が構成されたロボット等の自律又は半自律ロボットであり得る。

移動可能物体は、任意の適するサイズ及び／又は寸法を有し得る。幾つかの実施形態では、移動可能物体は、車両内又は車両上に人間の占有者を有するサイズ及び／又は寸法のものであり得る。代替的には、移動可能物体は、車両内又は車両上に人間の占有者を有することが可能なものより小さなサイズ及び／又は寸法であり得る。移動可能物体は、人間により持ち上げられるか、又は運ばれるのに適するサイズ及び／又は寸法のものであり得る。代替的には、移動可能物体は、人間によって持ち上げられるか、又は運ばれるのに適するサイズ及び／又は寸法よりも大きなものであり得る。幾つかの場合、移動可能物体は、約２ｃｍ以下、約５ｃｍ以下、約１０ｃｍ以下、約５０ｃｍ以下、約１ｍ以下、約２ｍ以下、約５ｍ以下、又は約１０ｍ以下の最大寸法（例えば、長さ、幅、高さ、直径、対角線）を有し得る。最大寸法は、約２ｃｍ以上、約５ｃｍ以上、約１０ｃｍ以上、約５０ｃｍ以上、約１ｍ以上、約２ｍ以上、約５ｍ以上、又は約１０ｍ以上であり得る。例えば、移動可能物体の対向するロータのシャフト間の距離は、約２ｃｍ以下、約５ｃｍ以下、約１０ｃｍ以下、約５０ｃｍ以下、約１ｍ以下、約２ｍ以下、約５ｍ以下、又は約１０ｍ以下であり得る。代替的には、対向するロータ間の距離は、約２ｃｍ以上、約５ｃｍ以上、約１０ｃｍ以上、約５０ｃｍ以上、約１ｍ以上、約２ｍ以上、約５ｍ以上、又は約１０ｍ以上であり得る。

幾つかの実施形態では、移動可能物体は、１００ｃｍ×１００ｃｍ×１００ｃｍ未満、５０ｃｍ×５０ｃｍ×３０ｃｍ未満、又は５ｃｍ×５ｃｍ×３ｃｍ未満の容積を有し得る。移動可能物体の総容積は、約１ｃｍ^３、約２ｃｍ^３、約５ｃｍ^３、約１０ｃｍ^３、約２０ｃｍ^３、約３０ｃｍ^３、約４０ｃｍ^３、約５０ｃｍ^３、約６０ｃｍ^３、約７０ｃｍ^３、約８０ｃｍ^３、約９０ｃｍ^３、約１００ｃｍ^３、約１５０ｃｍ^３、約２００ｃｍ^３、約３００ｃｍ^３、約５００ｃｍ^３、約７５０ｃｍ^３、約１０００ｃｍ^３、約５０００ｃｍ^３、約１０，０００ｃｍ^３、約１００，０００ｃｍ^３３、約１ｍ^３、又は約１０ｍ^３以下であり得る。逆に、移動可能物体の総容積は、約１ｃｍ^３、約２ｃｍ^３、約５ｃｍ^３、約１０ｃｍ^３、約２０ｃｍ^３、約３０ｃｍ^３、約４０ｃｍ^３、約５０ｃｍ^３、約６０ｃｍ^３、約７０ｃｍ^３、約８０ｃｍ^３、約９０ｃｍ^３、約１００ｃｍ^３、約１５０ｃｍ^３、約２００ｃｍ^３、約３００ｃｍ^３、約５００ｃｍ^３、約７５０ｃｍ^３、約１０００ｃｍ^３、約５０００ｃｍ^３、約１０，０００ｃｍ^３、約１００，０００ｃｍ^３、約１ｍ^３、又は約１０ｍ^３以上であり得る。

幾つかの実施形態では、移動可能物体は、約３２，０００ｃｍ^２以下、約２０，０００ｃｍ^２以下、約１０，０００ｃｍ^２以下、約１，０００ｃｍ^２以下、約５００ｃｍ^２以下、約１００ｃｍ^２以下、約５０ｃｍ^２以下、約１０ｃｍ^２以下、又は約５ｃｍ^２以下のフットプリント（移動可能物体により包含される横方向断面積と呼ばれ得る）を有し得る。逆に、フットプリントは、約３２，０００ｃｍ^２以上、約２０，０００ｃｍ^２以上、約１０，０００ｃｍ^２以上、約１，０００ｃｍ^２以上、約５００ｃｍ^２以上、約１００ｃｍ^２以上、約５０ｃｍ^２以上、約１０ｃｍ^２以上、又は約５ｃｍ^２以上であり得る。

幾つかの場合、移動可能物体は１０００ｋｇ以下の重量であり得る。移動可能物体の重量は、約１０００ｋｇ以下、約７５０ｋｇ以下、約５００ｋｇ以下、約２００ｋｇ以下、約１５０ｋｇ以下、約１００ｋｇ以下、約８０ｋｇ以下、約７０ｋｇ以下、約６０ｋｇ以下、約５０ｋｇ以下、約４５ｋｇ以下、約４０ｋｇ以下、約３５ｋｇ以下、約３０ｋｇ以下、約２５ｋｇ以下、約２０ｋｇ以下、約１５ｋｇ以下、約１２ｋｇ以下、約１０ｋｇ以下、約９ｋｇ以下、約８ｋｇ以下、約７ｋｇ以下、約６ｋｇ以下、約５ｋｇ以下、約４ｋｇ以下、約３ｋｇ以下、約２ｋｇ以下、約１ｋｇ以下、約０．５ｋｇ以下、約０．１ｋｇ以下、約０．０５ｋｇ以下、又は約０．０１ｋｇ以下であり得る。逆に、重量は、約１０００ｋｇ以上、約７５０ｋｇ以上、約５００ｋｇ以上、約２００ｋｇ以上、約１５０ｋｇ以上、約１００ｋｇ以上、約８０ｋｇ以上、約７０ｋｇ以上、約６０ｋｇ以上、約５０ｋｇ以上、約４５ｋｇ以上、約４０ｋｇ以上、約３５ｋｇ以上、約３０ｋｇ以上、約２５ｋｇ以上、約２０ｋｇ以上、約１５ｋｇ以上、約１２ｋｇ以上、約１０ｋｇ以上、約９ｋｇ以上、約８ｋｇ以上、約７ｋｇ以上、約６ｋｇ以上、約５ｋｇ以上、約４ｋｇ以上、約３ｋｇ以上、約２ｋｇ以上、約１ｋｇ以上、約０．５ｋｇ以上、約０．１ｋｇ以上、約０．０５ｋｇ以上、又は約０．０１ｋｇ以上であり得る。

幾つかの実施形態では、移動可能物体は、移動可能物体によっては込まれる負荷に相対して小さなものであり得る。負荷は、本明細書の他の箇所で更に詳細に記載されるように、搭載物及び／又は支持機構を含み得る。幾つかの例では、移動可能物体の重量と負荷の重量との比は、約１：１超、約１：１未満、又は約１：１に等しいものであり得る。幾つかの場合、移動可能物体の重量と負荷の重量との比は、約１：１超、約１：１未満、又は約１：１に等しいものであり得る。任意選択的に、支持機構の重量と負荷の重量との比は、約１：１超、約１：１未満、又は約１：１に等しいものであり得る。所望の場合、移動可能物体の重量と負荷の重量との比は、約１：２以下、約１：３以下、約１：４以下、約１：５以下、約１：１０以下、又は約１：１０未満であり得る。逆に、移動可能物体の重量と負荷の重量との比は、約約２：１以上、約３：１以上、約４：１以上、約５：１以上、約１０：１以上、又は約１０：１超であり得る。

幾つかの実施形態では、移動可能物体は低いエネルギー消費を有し得る。例えば、移動可能物体は、約５Ｗ／ｈ未満、約４Ｗ／ｈ未満、約３Ｗ／ｈ未満、約２Ｗ／ｈ未満、約１Ｗ／ｈ未満を使用し得る。幾つかの場合、移動可能物体の支持機構は低いエネルギー消費を有し得る。例えば、支持機構は、約５Ｗ／ｈ未満、約４Ｗ／ｈ未満、約３Ｗ／ｈ未満、約２Ｗ／ｈ未満、約１Ｗ／ｈ未満を使用し得る。任意選択的に、移動可能物体の搭載物は、約５Ｗ／ｈ未満、約４Ｗ／ｈ未満、約３Ｗ／ｈ未満、約２Ｗ／ｈ未満、約１Ｗ／ｈ未満等の低いエネルギー消費を有し得る。

図１９は、本発明の実施形態による無人航空機（ＵＡＶ）１９００を示す。ＵＡＶは、本明細書に記載される移動可能物体の例であり得る。ＵＡＶ１９００は、４つのロータ１９０２、１９０４、１９０６、及び１９０８を有する推進システムを含み得る。任意の数のロータを提供し得る（例えば、１つ、２つ、３つ、４つ、５つ、６つ、又は７つ以上）。無人航空機のロータ、ロータ組立体、又は他の推進システムは、無人航空機が、ホバリング／位置を維持し、向きを変更し、且つ／又はロケーションを変更できるようにし得る。対向するロータのシャフト間の距離は、任意の適する長さ１９１０であり得る。例えば、長さ１９１０は２ｍ以下又は５ｍ以下であり得る。幾つかの実施形態では、長さ１９１０は、４０ｃｍ〜１ｍ、１０ｃｍ〜２ｍ、又は５ｃｍ〜５ｍの範囲内であり得る。ＵＡＶの本明細書での任意の説明は、異なるタイプの移動可能物体等の移動可能物体に適用し得、この逆も同様である。ＵＡＶは、本明細書に記載される補助装置付き離陸システム又は方法を使用し得る。

幾つかの実施形態では、移動可能物体は負荷を搬送するように構成し得る。負荷は、乗客、貨物、機器、器具等の１つ又は複数を含み得る。負荷は境界内に提供し得る。筐体は、移動可能物体の筐体とは別個であってもよく、又は移動可能物体の筐体の部分であってもよい。代替的には、負荷に筐体を提供し得、一方、移動可能物体は筐体を有さない。代替的には、負荷の部分又は負荷全体は、筐体なしで提供し得る。負荷は、移動可能物体にしっかりと固定し得る。任意選択的には、負荷は、移動可能物体に対して移動可能（例えば、移動可能物体に対して並進移動可能又は回転可能）であり得る。負荷は、本明細書の他の箇所に記載されるように、搭載物及び／又は支持機構を含み得る。

幾つかの実施形態では、固定参照枠（例えば、周囲環境）及び／又は互いに対する移動可能物体、支持機構、及び搭載物の移動は、端末によって制御し得る。端末は、移動可能物体、支持機構、及び／又は搭載物から離れたロケーションにあるリモート制御デバイスであり得る。端末は、支持プラットフォームに配置されてもよく、又は支持プラットフォームに固定されてもよい。代替的には、端末はハンドヘルドデバイス又はウェアラブルデバイスであり得る。例えば、端末は、スマートフォン、タブレット、ラップトップ、コンピュータ、眼鏡、手袋、ヘルメット、マイクロホン、又はそれらの任意の適する組合せを含み得る。端末は、キーボード、マウス、ジョイスティック、タッチスクリーン、又はディスプレイ等のユーザインターフェースを含み得る。手動入力コマンド、音声制御、ジェスチャ制御、又は位置制御（例えば、端末の移動、ロケーション、又は傾斜を介する）等の任意の適するユーザ入力を使用して、端末を対話し得る。

端末を使用して、移動可能物体、支持機構、及び／又は搭載物の任意の適する状態を制御し得る。例えば、端末を使用して、互いから及び／又は互いへの固定参照に対する移動可能物体、支持機構、及び／又は搭載物の位置及び／又は向きを制御し得る。幾つかの実施形態では、端末を使用して、支持機構の作動組立体、搭載物のセンサ、又は搭載物のエミッタ等の移動可能物体、支持機構、及び／又は搭載物の個々の要素を制御し得る。端末は、移動可能物体、支持機構、又は搭載物の１つ又は複数と通信するように構成される無線通信デバイスを含み得る。

端末は、可動物体、支持機構、及び／又は搭載物の情報の閲覧に適する表示ユニットを含み得る。例えば、端末は、位置、並進移動速度、並進移動加速度、向き、角速度、角加速度、又はそれらの任意の適する組合せに関して可動物体、支持機構、及び／又は搭載物の情報を表示するように構成し得る。幾つかの実施形態では、端末は、機能搭載物によって提供されるデータ等の搭載物によって提供される情報（例えば、カメラ又は他の画像取得装置によって記録される画像）を表示し得る。

任意選択的に、同じ端末が、可動物体、支持機構、及び／又は搭載物又は可動物体、支持機構、及び／又は搭載物の状態を制御するとともに、可動物体、支持機構、及び／又は搭載物から情報を受信し、且つ／又は表示し得る。例えば、端末は、搭載物によって取得された画像データ又は搭載物の位置についての情報を表示しながら、環境に相対する搭載物のポジショニングを制御し得る。代替的には、異なる端末を異なる機能に使用し得る。例えば、第１の端末は、可動物体、支持機構、及び／又は搭載物の移動又は状態を制御し得、一方、第２の端末は、可動物体、支持機構、及び／又は搭載物から情報を受信し、且つ／又は表示し得る。例えば、第１の端末を使用して、環境に対する搭載物のポジショニングを制御し得、一方、第２の端末は、搭載物によって取得された画像データを表示する。様々な通信モードが、両方とも可動物体を制御し、データを受信する可動物体と統合された端末との間、又は両方とも可動物体を制御し、データを受信する可動物体と複数の端末との間に利用可能である。例えば、少なくとも２つの異なる通信モードが、両方とも可動物体を制御し、可動物体からデータを受信する可動物体と端末との間に形成し得る。

図２０は、本発明の実施形態による、支持機構２００２と搭載物２００４とを含む可動物体２０００を示す。可動物体２０００は航空機として示されるが、この図は限定を意図せず、本明細書において上述したように、任意の適するタイプの可動物体を使用し得る。航空機システムの文脈で本明細書に記載される任意の実施形態を任意の適する可動物体（例えば、ＵＡＶ）に適用し得ることを当業者は理解する。幾つかの場合、搭載物２００４は、支持機構２００２を必要とせずに、可動物体２０００に提供し得る。可動物体２０００は、推進機構２００６、検知システム２００８、及び通信システム２０１０を含み得る。

推進機構２００６は、上述したように、ロータ、プロペラ、ブレード、エンジン、モータ、車輪、車軸、磁石、又はノズルの１つ又は複数を含み得る。可動物体は、１つ又は複数、２つ以上、３つ以上、又は４つ以上の推進機構を有し得る。推進機構は全て同じタイプであり得る。代替的には、１つ又は複数の推進機構は、異なるタイプの推進機構であり得る。推進機構２００６は、本明細書の他の箇所に記載のように、支持要素（例えば、駆動シャフト）等の任意の適する手段を使用して、可動物体２０００に搭載し得る。推進機構２００６は、上部、下部、前部、後部、側部、又はそれらの任意の適する組合せ等の可動物体２０００の任意の適する部分に搭載し得る。

幾つかの実施形態では、推進メカニズム２００６は、可動物体２０００が、可動物体２０００の任意の水平移動を必要とせずに（例えば、滑走路を下って移動せずに）、表面から垂直に離陸するか、又は表面に垂直に着陸できるようにし得る。任意選択的に、推進機構２００６は、可動物体２０００が特定の位置及び／又は向きで空中でホバリングできるようにするように動作可能であり得る。推進機構２００６の１つ又は複数は、その他の推進機構から独立して制御し得る。代替的には、推進機構２００６は、同時に制御されるように構成し得る。例えば、可動物体２０００は、揚力及び／又は推進力を可動物体に提供し得る複数の水平を向いたロータを有し得る。複数の水平を向いたロータを作動させて、垂直離陸機能、垂直直立機能、ホバリング機能を可動物体２０００に提供し得る。幾つかの実施形態では、水平を向いたロータの１つ又は複数は、時計回り方向にスピンし得、一方、水平を向いたロータの１つ又は複数は反時計回り方向にスピンし得る。例えば、時計回りロータの数は、反時計回りロータの数に等しいことができる。水平を向いたロータのそれぞれの回転率は、独立して変更して、各ロータによって生成される余力及び／又は推進力を制御し、それにより、可動物体２０００の空間配置、速度、及び／又は加速度を調整し得る（例えば、最高で３度の並進移動及び最高で３度の回転に関して）。

検知システム２００８は、可動物体２０００の空間配置、速度、及び／又は加速度を検知し得る（例えば、最高で３度の並進移動及び最高で３度の回転に関して）１つ又は複数のセンサを含み得る。１つ又は複数のセンサは、全地球測位システム（ＧＰＳ）センサ、移動センサ、慣性センサ、近接度センサ、又は画像センサを含み得る。検知システム２００８によって提供される検知データを使用して、可動物体２０００の空間配置、速度、及び／又は向きを制御し得る（例えば、後述するように、適する処理ユニット及び／又は制御モジュールを使用して）。代替的には、検知システム２００８を使用して、天候状況、潜在的な障害物への近接度、地理的特徴のロケーション、人造物のロケーション等の可動物体を取り巻く環境に関するデータを提供し得る。

通信システム２０１０は、無線信号２０１６を介して通信システム２０１４を有する端末２０１２と通信できるようにする。通信システム２０１０、２０１４は、無線通信に適する任意の数の送信器、受信器、及び／又は送受信器を含み得る。通信は、データを一方向でのみ送信し得るように、単方向通信であり得る。例えば、単方向通信は、可動物体２０００のみがデータを端末２０１２に送信するか、又はこの逆を含み得る。データは、通信システム２０１０の１つ又は複数の送信器から通信システム２０１４の１つ又は複数の受信器に送信し得、又はその逆であり得る。代替的には、通信は、データを可動物体２０００と端末２０１２との間で両方向で送信し得るように、双方向通信であり得る。双方向通信は、通信システム２０１０の１つ又は複数の送信器から通信システム２０１４の１つ又は複数の受信器にデータを送信すること、又はその逆を含み得る。

幾つかの実施形態では、端末２０１２は、可動物体２０００、支持機構２００２、及び搭載物２００４の１つ又は複数に制御データを提供し、可動物体２０００、支持機構２００２、及び搭載物２００４の１つ又は複数から情報（例えば、可動物体、支持機構、又は搭載物の位置及び／又は移動情報、搭載物カメラによって取得される画像データ等の搭載物によって検知されるデータ）を受信し得る。幾つかの場合、端末からの制御データは、可動物体、支持機構、及び／又は搭載物の相対位置、移動、作動、又は制御についての命令を含み得る。例えば、制御データは、可動物体のロケーション及び／又は向きを変更させるか（例えば、推進機構２００６の制御を介して）、又は可動物体に関する搭載物を移動させる（例えば、支持機構２００２の制御を介して）。端末からの制御データは、カメラ又は他の画像取得装置の動作の制御（例えば、静止画又は動画の撮影、ズームイン又はアウト、電源オンオフ、画像モードの切り換え、画像解像度の変更、フォーカスの変更、被写界深度の変更、露光時間の変更、視野角又は視野の変更）等の搭載物の制御を生じさせ得る。幾つかの場合、可動物体、支持機構、及び／又は搭載物からの通信は、１つ又は複数のセンサ（例えば、検知システム２００８又は搭載物２００４の）からの情報を含み得る。通信は、１つ又は複数の異なるタイプのセンサ（例えば、ＧＰＳセンサ、移動センサ、慣性センサ、近接度センサ、又は画像センサ）からの検知情報を含み得る。そのような情報は、可動物体、支持機構、及び／又は搭載物の位置（例えば、ロケーション、向き）、移動、又は加速度に関連し得る。搭載物からのそのような情報は、搭載物によって取得されたデータ又は搭載物の検知状態を含み得る。端末２０１２によって提供され送信される制御データは、可動物体２０００、支持機構２００２、又は搭載物２００４の１つ又は複数の状態を制御するように構成し得る。代替的又は組み合わせて、支持機構２００２及び搭載物２００４もそれぞれ、端末２０１２と通信するように構成される通信モジュールを含み得、それにより、端末は、可動物体２０００、支持機構２００２、及び搭載物２００４のそれぞれと独立して通信し制御し得る。

幾つかの実施形態では、可動物体２０００は、端末２０１２に加えて、又は端末２０１２の代わりに、別のリモート装置と通信するように構成し得る。端末２０１２は、別のリモート装置及び可動物体２０００と通信するように構成することもできる。例えば、可動物体２０００及び／又は端末２０１２は、別の可動物体又は別の可動物体の支持機構若しくは搭載物と通信し得る。所望の場合、リモート装置は第２の端末又は他の計算装置（例えば、コンピュータ、ラップトップ、タブレット、スマートフォン、又は他のモバイル装置）であり得る。リモート装置は、可動物体２０００にデータを送信し、可動物体２０００からデータを受信し、データを端末２０１２に送信し、且つ／又はデータを端末２０１２から受信するように構成し得る。任意選択的に、リモート装置は、インターネット又は他の電気通信ネットワークに接続し得、それにより、可動物体２０００及び／又は端末２０１２から受信されるデータは、ウェブサイト又はサーバにアップロードし得る。

図２１は、実施形態による可動物体を制御するシステム２１００のブロック図による概略図である。システム２１００は、本明細書に開示されるシステム、装置、及び方法の任意の適する実施形態と組み合わせて使用し得る。システム２１００は、検知モジュール２１０２、処理ユニット２１０４、非一時的コンピュータ可読媒体２１０６、制御モジュール２１０８、及び通信モジュール２１１０を含み得る。

検知モジュール２１０２は、可動物体に関連する情報を異なる方法で収集する異なるタイプのセンサを利用し得る。異なるタイプのセンサは、異なるタイプの信号又は異なるソースからの信号を検知し得る。例えば、センサは、慣性センサ、ＧＰＳセンサ、近接度センサ（例えば、ライダー）、又はビジョン／画像センサ（例えば、カメラ）を含み得る。検知モジュールは、複数のプロセッサを有する処理ユニット２１０４に動作可能に結合し得る。幾つかの実施形態では、検知モジュール２１０２は、適する外部装置又はシステムに検知データを直接送信するように構成された送信モジュール２１１２（例えば、ＷｉＦｉ画像送信モジュール）に動作可能に結合し得る。例えば、送信モジュール２１１２を使用して、検知モジュール２１０２のカメラによって取得された画像をリモート端末に送信し得る。

処理ユニット２１０４は、プログラマブルプロセッサ等の１つ又は複数のプロセッサ（例えば、中央演算処理装置（ＣＰＵ））を有し得る。処理ユニット２１０４は、非一時的コンピュータ可読媒体２１０６に動作可能に結合し得る。非一時的コンピュータ可読媒体２１０６は、処理ユニット２１０４によって実行可能であり、１つ又は複数のステップを実行する論理、コード、及び／又はプログラム命令を記憶し得る。非一時的コンピュータ可読媒体は、１つ又は複数のメモリユニット（例えば、ＳＤカード又はランダムアクセスメモリ（ＲＡＭ）等のリムーバブル媒体又は外部記憶装置）を含み得る。幾つかの実施形態では、検知モジュール２１０２からのデータは、非一時的コンピュータ可読媒体２１０６のメモリユニットに直接伝達され、記憶し得る。非一時的コンピュータ可読媒体２１０６のメモリユニットは、処理ユニット２１０４によって実行可能であり、本明細書に記載の方法の任意の適する実施形態を実行する論理、コード、及び／又はプログラム命令を記憶し得る。例えば、処理ユニット２１０４は、処理ユニット２１０４の１つ又は複数のプロセッサに、検知モジュールによって生成される検知データを分析させる命令を実行するように構成し得る。メモリユニットは、処理ユニット２１０４によって処理される検知モジュールからの検知データを記憶し得る。幾つかの実施形態では、非一時的コンピュータ可読媒体２１０６のメモリユニットを使用して、処理ユニット２１０４によって生成される処理結果を記憶し得る。

幾つかの実施形態では、処理ユニット２１０４は、可動物体の状態を制御するように構成される制御モジュール２１０８に動作可能に結合し得る。例えば、制御モジュール２１０８は、可動物体の推進機構を制御して、自由度６に関して可動物体の空間配置、速度、及び／又は加速度を調整し得る。代替的には、又は組み合わせて、制御モジュール２１０８は、支持機構、搭載物、又は検知モジュールの１つ又は複数を制御し得る。

処理ユニット２１０４は、１つ又は複数の外部装置（例えば、端末、表示装置、又は他のリモートコントローラ）からのデータを送信し、且つ／又は受信するように構成される通信モジュール２１１０に動作可能に結合し得る。優先通信又は無線通信等の任意の適する通信手段を使用し得る。例えば、通信モジュール２１１０は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、赤外線、電波、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信等のうちの１つ又は複数を利用し得る。任意選択的に、タワー、衛星、又は移動局塔の中継局を使用し得る。無線通信は、近接度に依存してもよく、又は依存しなくてもよい。幾つかの実施形態では、視線が通信に必要であってもよく、又はなくてもよい。通信モジュール２１１０は、検知モジュール２１０２からの検知データ、処理ユニット２１０４によって生成される処理結果、所定の制御データ、端末又はリモートコントローラからのユーザコマンド等の１つ又は複数を送信し、且つ／又は受信し得る。

システム２１００の構成要素は、任意の適する構成で配置し得る。例えば、システム２１００の構成要素の１つ又は複数は、可動物体、支持機構、搭載物、端末、検知システム、又は上記の１つ若しくは複数と通信する追加の外部装置に配置し得る。さらに、図２１は単一の処理ユニット２１０４及び単一の非一時的コンピュータ可読媒体２１０６を示すが、これは限定を意図せず、システム２１００が複数の処理ユニット及び／又は非一時的コンピュータ可読媒体を含み得ることを当業者は理解する。幾つかの実施形態では、複数の処理ユニット及び／又は非一時的コンピュータ可読媒体の１つ又は複数は、可動物体、支持機構、搭載物、端末、検知モジュール、上記の１つ又は複数と通信する追加の外部装置、又はそれらの適する組合せ等の異なるロケーションに配置し得、したがって、システム２１００によって実行される処理及び／又はメモリ機能の任意の適する態様は、上記ロケーションの１つ又は複数で行われ得る。

本発明の好ましい実施形態を本明細書に示し説明したが、そのような実施形態が単なる例として提供されることが当業者には明らかであろう。ここで、本発明から逸脱せずに、多くの変形、変更、及び置換を当業者は思い付くであろう。本発明を実施するに当たり、本明細書に記載された本発明の実施形態への様々な代替を利用し得ることを理解されたい。以下の請求項が本発明の範囲を規定し、これらの請求項及びそれらの均等物の範囲内の方法及び構造がそれにより包含されることが意図される。

Claims (12)

1. 動きデータに基づいてビデオを符号化する量子化ステップを決定する方法であって、
   １つ又は複数の回転軸を有する支持機構を介して支持される、１つ又は複数の回転軸を有する画像取得デバイス、及び、前記支持機構に搭載された１つ又は複数のセンサを備えた無人航空機の飛行中において、前記画像取得デバイスによって取得されたビデオを受信するステップであって、前記ビデオはビデオフレーム構成要素を含む、ビデオを受信するステップと、
   前記１つ又は複数のセンサからのデータであり、前記ビデオフレーム構成要素に関連付けられ、前記画像取得デバイス又は前記無人航空機のロール軸の周り、ピッチ軸の周り、及びヨー軸の周りの少なくとも一つの回転による動きデータを受信するステップと、
   前記動きデータに基づいて、前記ビデオフレーム構成要素を符号化する量子化ステップを決定するステップと
   を含む、方法。
2. 前記画像取得デバイスはビデオ取得デバイスである、請求項１に記載の方法。
3. 前記画像取得デバイスはビデオカメラである、請求項１に記載の方法。
4. 前記１つ又は複数のセンサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ、高度計のうちの少なくとも１つを含む、請求項１乃至請求項３の何れか１項に記載の方法。
5. 前記動きデータはオプティカルフロー場データを含む、請求項１乃至請求項４の何れか１項に記載の方法。
6. 前記ビデオフレーム構成要素は第１のビデオフレームである、請求項１乃至請求項５の何れか１項に記載の方法。
7. 前記動きデータは、前記第１のビデオフレームが、閾値移動度を超える移動度を有することを示す、請求項６に記載の方法。
8. 前記閾値移動度を超える移動度を有する前記第１のビデオフレームに基づいて、前記第１のビデオフレームを符号化する第１の量子化ステップを選ぶステップを更に含む、請求項７に記載の方法。
9. 前記ビデオは、第２のビデオフレーム構成要素を更に含む、請求項６乃至請求項８の何れか１項に記載の方法。
10. 前記第２のビデオフレーム構成要素は、閾値移動度よりも小さな移動度を有する第２のビデオフレームである、請求項９に記載の方法。
11. 前記閾値移動度よりも小さな移動度を有する前記第２のビデオフレームに基づいて、前記第２のビデオフレームを符号化する第２の量子化ステップを選ぶステップを更に含む、請求項１０に記載の方法。
12. 請求項１乃至請求項１１の何れか１項に記載の方法を実行するプロセッサを備える、システム。