JP7331831B2 - 画像処理装置および方法 - Google Patents

Description

本開示は、画像処理装置および方法に関し、特に、符号化効率の低減を抑制することができるようにした画像処理装置および方法に関する。

従来、飛行体にカメラを設け、その飛行体を飛行させながらそのカメラにより上空から地上等を撮像させるシステムがあった（例えば特許文献１参照）。撮像画像のデータはデータ量が大きく、一般的には、符号化されて記録されたり、伝送されたりする。

国際公開２０１６／０６９８７７号

しかしながら、そのデータ量に対して常に記憶容量や通信帯域が十分に大きいとは限らない。また、より高解像度の撮像画像を利用しようとするとそのデータ量は増大する。したがって、符号化効率のさらなる向上が求められていた。

本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制することができるようにするものである。

本技術の一側面の画像処理装置は、撮像部を備える移動体により撮像され、静止画像用の符号化方式で符号化された撮像画像の静止画符号化データを受信する受信部と、前記受信部により受信された前記静止画符号化データを復号する復号部と、前記復号部により生成された前記撮像画像をフレーム画像とする動画像を符号化対象とし、前記符号化対象を動画像用の符号化方式で符号化する符号化部とを備え、前記符号化部は、前記撮像画像を生成した位置を示す位置情報に基づいて、前記符号化対象を符号化する処理を制御する画像処理装置である。

本技術の一側面の画像処理方法は、撮像部を備える移動体により撮像され、静止画像用の符号化方式で符号化された撮像画像の静止画符号化データを受信し、受信された前記静止画符号化データを復号し、復号されて生成された前記撮像画像をフレーム画像とする動画像を符号化対象とし、前記符号化対象を動画像用の符号化方式で符号化し、前記撮像画像を生成した位置を示す位置情報に基づいて、前記符号化対象を符号化する処理を制御する画像処理方法である。

本技術の一側面の画像処理装置においては、撮像部を備える移動体により撮像され、静止画像用の符号化方式で符号化された撮像画像の静止画符号化データが受信され、その受信された静止画符号化データが復号され、その復号されて生成された撮像画像をフレーム画像とする動画像が符号化対象とされ、その符号化対象が動画像用の符号化方式で符号化され、その撮像画像を生成した位置を示す位置情報に基づいて、その符号化対象を符号化する処理が制御される。

本開示によれば、画像を処理することができる。特に、符号化効率の低減を抑制することができる。

本技術を適用した処理方法の一覧を示す図である。 本技術を適用したシステムの例を示す図である。 飛行体の主な構成例を示すブロック図である。 飛行体による撮像画像のファイル化の様子の例を示す図である。 地上局の主な構成例を示すブロック図である。 方法＃１について説明する図である。 撮像処理の流れの例を示すフローチャートである。 変換転送処理の流れの例を示すフローチャートである。 動画像符号化部の主な構成例を示すブロック図である。 動画像符号化処理の流れの例を説明するフローチャートである。 クラウドを情報処理装置として表現する場合の主な構成例を示すブロック図である。 クラウドが実現する動画像符号化部の主な構成例を示すブロック図である。 動画像復号処理の流れの例を示すフローチャートである。 方法＃１－１について説明する図である。 方法＃１－１について説明する図である。 参照フレーム選択処理の流れの例を説明するフローチャートである。 方法＃１－２について説明する図である。 動きベクトル算出処理の流れの例を説明するフローチャートである。 動きベクトル算出処理の流れの他の例を説明するフローチャートである。 方法＃１－３について説明する図である。 GOP構造設定処理の流れの例を説明するフローチャートである。 方法＃１－４について説明する図である。 方法＃１－４について説明する図である。 疑似２パスレート制御処理の流れの例を説明するフローチャートである。 符号化制御処理の流れの例を説明するフローチャートである。 方法＃１－５について説明する図である。 フレーム選択処理の流れの例を説明するフローチャートである。 ユーザデータ処理の流れの例を説明するフローチャートである。 本技術を適用したシステムの他の例を示す図である。 方法＃２について説明する図である。 方法＃２について説明する図である。 方法＃２について説明する図である。 変換転送処理の流れの例を説明するフローチャートである。 本技術を適用したシステムのさらに他の例を示す図である。 飛行体の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．飛行体からの撮像
２．共通コンセプト（各手法概要）
３．第１の実施の形態（方法＃１詳細）
４．第２の実施の形態（方法＃２詳細）
５．第３の実施の形態（方法＃３詳細）
６．付記

＜１．飛行体からの撮像＞
＜撮像画像の符号化＞
従来、例えば特許文献１に記載のように、飛行体にカメラを設け、その飛行体を飛行させながらそのカメラにより上空から地上等を撮像させるシステムがあった。例えば、このシステムを用いて、飛行体から地上等の所定の範囲を隙間なく撮像し、その撮像画像から地上等の３次元地図情報を生成することができる。このようなシステムで処理される撮像画像のデータはデータ量が大きいので、一般的に符号化されてデータ量が低減された状態で記録されたり、伝送されたりする。

しかしながら、そのデータ量に対して常に記憶容量や通信帯域が十分に大きいとは限らない。また、より高解像度の撮像画像を利用しようとするとそのデータ量は増大する。したがって、符号化効率のさらなる向上が求められていた。

＜位置情報に基づく符号化＞
そこで、撮像画像を、移動体が被写体を撮像してその撮像画像を生成した位置を示す位置情報に基づいて符号化するようにする。

例えば、画像処理装置において、撮像画像を、移動体が被写体を撮像してその撮像画像を生成した位置を示す位置情報に基づいて符号化する符号化部を備えるようにする。

このようにすることにより、符号化効率の低減を抑制することができる。

なお、この位置情報は、どのようなものであってもよく、例えば、移動体の位置に関する情報が含まれていてもよいし、移動体の動きに関する情報が含まれていてもよいし、撮像の制御情報が含まれていてもよい。また、この移動体の位置には、水平方向の位置だけでなく高さ方向の位置も含まれるようにしてもよい。また、この位置は、絶対位置（例えば緯度・経度のようなグローバルな座標）であってもよいし、何らかの基準に対する相対位置（例えば地上局を基準とする相対位置等）であってもよい。

また、移動体は、どのようなものであってもよい。例えば、所謂ドローン、飛行機、気球のような飛行体であってもよいし、例えば自動車や自転車等のような車であってもよいし、船舶であってもよいし、例えば人や動物等の生物であってもよい。

＜位置情報に基づくトランスコード＞
また、撮像部を備える移動体により撮像された撮像画像が符号化された符号化データを、その撮像画像を生成した位置を示す位置情報に基づいてトランスコードするようにする。

例えば、画像処理装置において、撮像部を備える移動体により撮像された撮像画像が符号化された符号化データを、その撮像画像を生成した位置を示す位置情報に基づいてトランスコードするトランスコード部を備えるようにする。

このようにすることにより、符号化効率の低減を抑制することができる。なお、この位置情報は、どのようなものであってもよく、例えば、移動体の位置に関する情報が含まれていてもよいし、移動体の動きに関する情報が含まれていてもよいし、撮像の制御情報が含まれていてもよい。また、この移動体の位置には、水平方向の位置だけでなく高さ方向の位置も含まれるようにしてもよい。また、この位置は、絶対位置（例えば緯度・経度のようなグローバルな座標）であってもよいし、何らかの基準に対する相対位置（例えば地上局を基準とする相対位置等）であってもよい。

＜２．共通コンセプト＞
＜各手法概要＞
このような符号化を利用して、例えば、図１の表に示されるような処理（方法＃１乃至方法＃３のいずれか）を行う。

例えば方法＃１では、位置情報を用いて静止画像用の符号化方式で符号化された静止画符号化データを、動画像用の符号化方式で符号化された動画符号化データに変換（以下においてはトランスコードとも称する）する。

撮像を行う飛行体では、筐体サイズや重量の制限、バッテリ駆動による電力消費量の制限等から、一般的に、負荷の大きな動画像用の符号化を行うことは困難である。そこで、飛行体は、静止画で撮像を行い、その静止画像の撮像画像を静止画像用の符号化方式で符号化する。ただし、静止画像用の符号化は、動画像用の符号化に比べて符号化効率（圧縮率）が低い。

また、３次元地図情報生成の為の撮像の場合、撮像範囲の多くが複数の撮像画像間で互いに重複するように撮像が行われる。つまり、飛行体において生成される撮像画像群には冗長な情報が多いが、静止画像用の符号化方式では、そのことを考慮せずに符号化を行う為、その分符号化効率が低減する。

そこで、飛行体が、地上等を撮像して撮像画像を生成し、それを静止画像用の符号化方式で符号化して静止画符号化データを生成し、その静止画符号化データを記録するようにする。また、その際、飛行体が、撮像時の位置情報等をメタデータとして静止画符号化データに付加するようにする。

そして、撮像終了後、飛行体から地上の中継局（以下、地上局とも称する）にその撮像画像群（静止画符号化データ群）を転送するようにする。そして、地上局が、その静止画符号化データ群を復号し、動画像用の符号化方式で再符号化するようにする。つまり、地上局が、撮像画像をトランスコードするようにする。その際、地上局が、各撮像画像に対応する位置情報等に基づいて、そのトランスコードを行って（動画像用の符号化方式で符号化して）動画符号化データを生成するようにする。

このように動画符号化データを生成することにより、地上局は、飛行体が生成する静止画符号化データよりもデータ量を低減させることができる。つまり、符号化効率の低減を抑制することができる。このようにすることにより、撮像画像のデータ量をより低減させて記録したり伝送したりすることができる。つまり、撮像画像の記録や伝送の負荷の増大を抑制することができる。

このような位置情報に基づく符号化として、例えば方法＃１－１のように、位置情報に基づいて参照フレームの選択を行うようにしてもよい。

動画像用の符号化方式には、他のフレームを参照して予測を行うことにより、フレーム間の冗長な情報を低減させることができるものがある。このような符号化方式で撮像画像を符号化する場合、各撮像画像をフレーム画像として符号化が行われる。ところで、撮像画像は、飛行体が移動しながら地上等を撮像したものであるので、位置が近い程、撮像画像間の相関が高いと言える。

そこで、参照するフレーム（つまり、他の撮像画像）をどれにするかを、撮像画像の位置情報に基づいて選択するようにする。つまり、より位置の近い撮像画像を参照するようにする。このようにすることにより、予測精度を向上させることができ、符号化効率をより向上させることができる。

また、例えば方法＃１－２のように、位置情報に基づいて動きベクトルを算出するようにしてもよい。

動画像用の符号化方式には、カレントフレームと参照フレームとの間で動き予測を行って動きベクトルを生成し、その動きベクトルを用いて符号化を行うものがある。上述のように飛行体は移動しながら撮像を行うので、撮像画像間の動きと飛行体の動き（カメラの動き等も含む）との相関性が高い。つまり、位置情報（飛行体の移動量）を考慮して動きベクトルの算出を行うことにより、より効率よく動きベクトルを算出することができる。

また、例えば、位置情報に基づいて符号化に用いられる符号化パラメータを求めるようにしてもよい。例えば方法＃１－３のように、位置情報に基づいてGOP構造を設定するようにしてもよい。

上述のように飛行体は移動しながら撮像を行うので、撮像画像間の相関性は、飛行体の動き（カメラの動き等も含む）に依存する。例えば、飛行体の動きが大きい程、撮像画像間の相関性は低くなり、飛行体の動きが小さい程、撮像画像間の相関性は高くなる。

したがって、位置情報（飛行体の移動量）を考慮してGOP構造を設定することにより、撮像画像間の相関性により適したGOP構造を設定することができ、符号化効率を向上させることができる。

また、例えば方法＃１－４のように、位置情報に基づいてレート制御を行うようにしてもよい。

例えば、位置情報を用いて符号量を見積もり、その見積もりに従って設定した符号化パラメータを用いて符号化を行うことにより、疑似的な２パスのエンコードを実現することができる。換言するに、符号化の際にはレート制御が行われるので、疑似的な２パスのレート制御（以下、疑似２パスレート制御とも称する）を実現することができる。したがって、より適切なレート制御を行うことができるので、符号化効率を向上させることができる。

また、例えば方法＃１－５のように、位置情報に基づいて撮像画像（フレーム）の取捨選択を行うようにしてもよい。

飛行体の移動（各撮像の撮像範囲）は安定しておらず、例えば風等の外的要因により意図しない撮像範囲を撮像してしまうこともあり得る。このような意図しない範囲の撮像画像は、利用価値がなく不要である可能性が高い。換言するに、そのような撮像画像を削除しても差し支えない（例えば、不都合無く３次元地図情報を生成することができる）。そこで、そのような不要な撮像画像であるか否かを、位置情報（すなわち撮像範囲）に基づいて判定し、不要な撮像画像を削除して符号化することにより、符号化効率の低減を抑制することができる。

また、例えば方法＃１－６のように、位置情報をユーザデータとして動画符号化データに付加する（関連付ける）ようにしてもよい。このようにすることにより、動画符号化データを復号して復元した撮像画像を処理する際に、その位置情報を利用することができる。例えば、地図情報を生成する際に、各撮像画像の位置情報用いることができ、より効率よく処理を行うことができる。

また、例えば方法＃２では、トランスコードの際に、複数移動体のそれぞれにおいて生成された撮像画像を、位置情報に基づいて並べ替え、並べ替えた撮像画像群を１本の動画像として、動画像用の符号化方式で符号化し動画符号化データを生成する。

例えば、複数の飛行体により互いに略同一の範囲を撮像する場合、各飛行体で生成された撮像画像同士は、撮像範囲の位置が近く、相関性が高い。したがって、このようにすることにより、生成した飛行体が異なる撮像画像を参照することができるので、より符号化効率を向上させることができる。

また、例えば方法＃３では、移動体において符号化データを送信するか記録するかを選択する。

例えば通信環境が十分に良い場合は、飛行体が静止画符号化データを、３次元地図情報を生成する設備（例えばクラウド等）に伝送する。このようにすることにより、より高速に撮像画像を、３次元地図情報を生成する設備に伝送することができる。また、地上局の負荷の増大を抑制することができる。

また、例えば通信環境が良くない（十分でない）場合は、飛行体が静止画符号化データを記録媒体に記録し、撮像終了後（飛行終了後）にその静止画符号化データを地上局に伝送し、地上局がその静止画符号化データを動画符号化データにトランスコードし、その動画符号化データを、３次元地図情報を生成する設備（例えばクラウド等）に伝送する。このようにすることにより、伝送するデータ量の増大を抑制することができ、より高速に撮像画像を、３次元地図情報を生成する設備に伝送することができる。

このように静止画符号化データを記録するかまたは伝送するか（システム全体としては撮像画像をどのように伝送するか）を選択することができるようにすることにより、状況に応じてより適切な方法で撮像画像を伝送させることができる。

＜３．第１の実施の形態＞
＜画像処理システム＞
次に、図１の各方法についてより具体的に説明する。本実施の形態においては、方法＃１（方法＃１－１乃至方法＃１－６を含む）について説明する。図２は、本技術を適用した画像処理システムの一態様の構成の一例を示すブロック図である。図２に示される画像処理システム１００は、上空から地上等を撮像し、その撮像画像を用いて、撮像したその地上等の３次元地図情報を生成し、利用するシステムである。

図２に示されるように、画像処理システム１００は、飛行体１０１、地上局１０２、クラウド１０３、および端末装置１０４を有する。

飛行体１０１は、移動体の一態様であり、空中を飛行する。飛行体１０１は、操縦者が乗る所謂有人の移動体であってもよいし、操縦者が遠隔操作により飛行する、または、プログラム等に従って飛行する所謂無人の移動体であってもよい。つまり、飛行体１０１は、操縦者による操縦、または、プログラム等による制御に従って飛行する。

飛行体１０１は、カメラ１０１Ａを有しており、飛行しながら被写体を撮像することができる。このカメラ１０１Ａは、可動式（撮像範囲（撮像方向）が飛行体１０１の筐体に対して可変）であってもよいし、固定式（撮像範囲（撮像方向）が飛行体１０１の筐体に対して固定）であってもよい。また、このカメラ１０１Ａは、飛行体１０１から着脱可能であるようにしてもよいし、飛行体１０１と一体化されている（着脱不可能である）ようにしてもよい。

例えば、飛行体１０１は、地上等の所望の範囲である被写体領域１１０上を飛行しながら、このカメラ１０１Ａを用いてその被写体領域１１０を撮像する。被写体領域１１０はカメラ１０１Ａの撮像範囲に対して広く、カメラ１０１Ａは一度に被写体領域１１０全体を撮像することは困難である。

そこで、飛行体１０１は、例えば、被写体領域１１０の上空を矢印のようにジグザグに移動しながらカメラ１０１Ａを用いて撮像を行う。例えば飛行体１０１は、上述のように移動したり、カメラ１０１Ａの角度を変えたりして撮像範囲を毎回変えて撮像を繰り返し、被写体領域１１０内を隙間なく撮像する。飛行体１０１は、このような撮像により生成した各撮像画像（静止画像）を静止画像用の符号化方式で符号化し、静止画符号化データを生成する。

なお、飛行体１０１は、撮像範囲の位置に関する情報を位置情報として静止画符号化データに付加する。この位置情報には、例えば、飛行体１０１の位置を示すGPS（Global Positioning System）情報、飛行体１０１の動きを示すIMU（Inertial Measurement Unit）情報、および、カメラ１０１Ａの向き（撮像の方向）等を示す撮像制御情報等が含まれる。このような位置情報が付加された静止画符号化データは、飛行体１０１の内部の記憶媒体に記憶される。

撮像（飛行）終了後、飛行体１０１と地上局１０２とが通信可能に接続され、飛行体１０１の記憶媒体に記憶されている静止画符号化データが地上局１０２に伝送される。この接続（通信）は、どのようなものであってもよく、例えば、有線接続（有線通信）であってもよいし、無線接続（無線通信）であってもよい。また、例えば、リムーバブルメディア等の記憶媒体を介して（記憶媒体に記憶された状態で）静止画符号化データが飛行体１０１から地上局１０２に伝送されるようにしてもよい。

地上局１０２は、情報処理装置（画像処理装置）の一態様であり、例えば被写体領域１１０の付近に設置され、撮像（飛行）終了後の飛行体１０１から静止画符号化データを取得する。地上局１０２は、取得したその静止画符号化データをトランスコードして動画符号化データに変換する。その際、地上局１０２は、静止画符号化データに付加された位置情報を利用して撮像画像を動画像用の符号化方式で符号化する。地上局１０２は、クラウド１０３と通信可能に接続されており（または接続可能であり）、その通信により、生成した動画符号化データをクラウド１０３に転送する。

クラウド１０３は、情報処理装置（画像処理装置）の一態様であり、任意の構成を有し、任意の処理を行うことができる。クラウド１０３のハードウエア性能は、十分に高性能であり、高度な処理（負荷の大きな複雑な処理）も容易に行うことができる。例えば、クラウド１０３は、地上局１０２から動画符号化データを取得し、その動画符号化データを復号して撮像画像を復元し、その撮像画像を用いて、被写体領域１１０の３次元測量を行い、被写体領域１１０の３次元地図情報を生成する。そして、クラウド１０３は、その生成した３次元地図情報をデータベース等に蓄積し、その３次元地図情報の配信サービスを提供する。

端末装置１０４は、情報処理装置（画像処理装置）の一態様であり、クラウド１０３が提供する配信サービスを受ける端末装置である。例えば、端末装置１０４は、クラウド１０３と通信可能に接続されており、（または接続可能であり）、その通信により、クラウド１０３に対して被写体領域１１０を指定し、その３次元地図情報の供給を要求する。クラウド１０３は、その要求された３次元地図情報を端末装置１０４に供給する。

端末装置１０４は、ユーザ操作等に従って、供給された３次元地図情報を画像としてモニタに表示する。端末装置１０４のユーザは、表示された３次元地図を利用することができる。

＜飛行体＞
図３は、飛行体１０１の主な構成例を示すブロック図である。図３に示されるように、飛行体１０１は、例えば、制御部１３１、飛行部１５１、IMU（Inertial Measurement Unit）部１５２、GPS（Global Positioning System）部１５３、撮像制御部１５４、撮像部１５５、符号化部１５６、情報付加部１５７、記憶部１５８、および送信部１５９を有する。

制御部１３１は、飛行体１０１の制御に関する処理を行う。例えば、制御部１３１は、飛行部１５１乃至送信部１５９の各処理部の動作を制御する。例えば、制御部１３１は、飛行体１０１の飛行の制御（経路制御や速度制御等）、撮像の制御（カメラ１０１Ａの姿勢（角度等）、焦点距離、ズーミング、撮像タイミング、露光時間等の制御）、撮像画像の符号化、位置情報の取得や付加、静止画符号化データの記憶や読み出し（送信）等の各種処理を制御する。

制御部１３１は、どのような構成を有するようにしてもよいが、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、そのCPUがROMや記憶部１５８等に記憶されているプログラムやデータ等をRAMにロードして実行することにより、飛行体１０１の制御に関する処理を行う。

また、制御部１３１は、図示せぬ入力部（操作部）を介して入力されるユーザ指示等に基づいて、飛行体１０１の制御に関する処理を行うことができる。さらに、制御部１３１は、図示せぬ通信部を介して他の装置から供給される制御情報に基づいて、飛行体１０１の制御に関する処理を行うことができる。

飛行部１５１は、例えばプロペラやモータ等、飛行体１０１が飛行するのに必要な機能を有する。つまり、飛行部１５１が駆動することにより、飛行体１０１が飛行する。飛行部１５１は、制御部１３１の制御に従って駆動する。例えば、飛行部１５１は、制御部１３１の指示に従って飛行を開始したり終了したりする。また、例えば、飛行部１５１は、位置、高さ、経路、速度等が制御部１３１の指示の通りになるように、飛行体１０１を飛行させる（移動させる）。

IMU部１５２は、３軸のジャイロ（角速度センサまたは各加速度センサ）と３方向の加速度センサとを有し、制御部１３１の制御に従ってそれらのセンサを駆動し、３次元の角速度と加速度を求める。つまり、IMU部１５２は、飛行体１０１の動きに関する情報を生成する。IMU部１５２は、生成した動きに関する情報（例えば３次元の角速度と加速度を含む）を、情報付加部１５７に供給する。

GPS部１５３は、制御部１３１により制御されて、GPS衛星１６１から送信される信号を受信し、その信号に基づいて飛行体１０１の位置（座標）を求める。つまり、GPS部１５３は、飛行体１０１の位置に関する情報を生成する。GPS部１５３は、生成した位置に関する情報（GPS情報）を、情報付加部１５７に供給する。

撮像制御部１５４は、制御部１３１により制御されて、撮像部１５５の駆動を制御する。例えば、撮像制御部１５４は、カメラ１０１Ａの姿勢（角度等）、焦点距離、ズーミング、撮像タイミング、露光時間等の制御を行う。また、撮像制御部１５４は、その制御内容（つまり撮像の方向等）を示す撮像制御情報を、情報付加部１５７に供給する。

撮像部１５５は、カメラ１０１Ａやそのカメラ１０１Ａの姿勢を制御する機構等を含み、撮像制御部１５４の制御に従って撮像に関する処理を行う。例えば、撮像部１５５は、撮像制御部１５４により指定された撮像タイミングにおいて、撮像制御部１５４により指定された姿勢、焦点距離、ズーミング、露光時間により被写体（例えば被写体領域１１０）を撮像し、静止画像の撮像画像（のデータ）を生成する。撮像部１５５は、その撮像画像を符号化部１５６に供給する。

符号化部１５６は、制御部１３１により制御されて、撮像部１５５から供給される各撮像画像を、静止画像用の符号化方式により符号化し、静止画符号化データを生成する。この静止画像用の符号化方式は任意である。例えばJPEG（Joint Photographic Experts Group）等であってもよいし、これ以外の方式であってもよい。符号化部１５６は、生成した静止画符号化データを情報付加部１５７に供給する。

情報付加部１５７は、制御部１３１により制御されて、静止画像データに、その撮像画像の位置に関する位置情報を付加する。この位置情報には、例えば、静止画符号化データに、GPS部１５３から供給されたGPS情報、IMU部１５２から供給されたIMU情報、撮像制御部１５４から供給された撮像制御情報の内、少なくともいずれか１つが含まれる。つまり、この位置情報には、飛行体１０１の位置や動きに関する情報、撮像の制御に関する情報等の内、少なくともいずれか１つが含まれる。なお、飛行体１０１の位置には、水平方向の位置（例えば、緯度や経度）が含まれるようにしてもよいし、垂直方向の位置（高さ）が含まれるようにしてもよいし、その両方が含まれるようにしてもよい。この高さは、例えば飛行体１０１に高度計を設け、その高度計により計測するようにしてもよいし、IMU情報等から算出するようにしてもよい。

情報付加部１５７は、その位置情報を、メタデータとして静止画符号化データに付加し、ファイル化する。このファイルフォーマットは任意である。例えば、情報付加部１５７は、Exif（Exchangeable Image File Format）を用いて位置情報を前記符号化データに付加するようにしてもよい。このようなフォーマットを利用することにより、位置情報へのアクセスをより容易にすることができる。

情報付加部１５７は、以上のように静止画符号化データに位置情報を付加して生成した画像ファイルを記憶部１５８に供給する。

記憶部１５８は、例えばハードディスクやフラッシュメモリ等の任意の記憶媒体を有し、制御部１３１に制御されて、情報付加部１５７から供給される画像ファイルをその記憶媒体に記憶する。また、記憶部１５８は、制御部１３１に制御されて、その記憶媒体に記憶されている画像ファイルを読み出し、送信部１５９に供給する。

送信部１５９は、例えばネットワークインタフェースを有し、制御部１３１に制御されて、そのネットワークインタフェースを介した送信に関する処理を行う。例えば、送信部１５９は、飛行後（撮像終了後）、地上局１０２に通信可能に接続された状態において、記憶部１５８に記憶されている画像ファイル（例えば今回の飛行において生成した画像ファイル）を読み出し、地上局１０２に送信する。この通信方法・通信方式は任意である。例えば、有線通信であってもよいし、無線通信であってもよい。

＜画像ファイル＞
撮像部１５５は、被写体領域１１０を撮像する際、撮像範囲が他と重畳するように撮像範囲を更新しながら撮像を繰り返す。したがって、例えば、図４のＡに示される撮像画像１７１乃至撮像画像１７４のように、互いの近傍を撮像した撮像画像同士では、多くの部分が重複している。実際には、３Ｄ画像（３次元地図情報）を生成するための撮像画像なので、撮像の角度（向き）が互いに異なる同一地点の複数の撮像画像を利用する場合もあり、重複部分だからといって単純に削減することはできないが、画像としての類似度は非重複部分よりも高くなり易い。つまり画像情報的には、これらの撮像画像群には、冗長な情報が多く含まれる。

ただし、飛行体１０１は、筐体サイズや重量の制限、バッテリ駆動による電力消費量の制限等から、一般的に、負荷の大きな動画像用の符号化を行うことは困難である。そこで、飛行体１０１は、上述のように、静止画で撮像を行い、その撮像画像を静止画像用の符号化方式で符号化する。

上述のように、これらの撮像画像は、それぞれ、位置情報が付加されファイル化される。例えば、図４のＢに示されるように、撮像画像１７１の静止画符号化データには、その撮像画像１７１に対応する位置情報１８１（撮像画像１７１を生成した撮像時の位置情報１８１）が所定のファイルフォーマットで付加され、画像ファイル１９１が生成される。この位置情報１８１には、例えば、GPS情報（GPS: xx; xx; xxx, xxx; xx; xxx）、IMU情報（IMU: xxx, xxx）、および撮像制御情報（カメラ角度: xxx, xxx）が含まれる。

同様に、撮像画像１７２の静止画符号化データには、その撮像画像１７２に対応する位置情報１８２（撮像画像１７２を生成した撮像時の位置情報１８２）が所定のファイルフォーマットで付加され、画像ファイル１９２が生成される。同様に、撮像画像１７３の静止画符号化データには、その撮像画像１７３に対応する位置情報１８３（撮像画像１７３を生成した撮像時の位置情報１８３）が所定のファイルフォーマットで付加され、画像ファイル１９３が生成される。同様に、撮像画像１７４の静止画符号化データには、その撮像画像１７４に対応する位置情報１８４（撮像画像１７４を生成した撮像時の位置情報１８４）が所定のファイルフォーマットで付加され、画像ファイル１９４が生成される。

したがって、これらの画像ファイルは、静止画符号化データを含み、動画符号化データに比べて符号量が大きい。また、静止画像用の符号化方式では、各撮像画像が独立に符号化されるため、上述のような撮像画像間の冗長な情報を低減させることは困難である。つまり、画像ファイルには図４のＡに示されるような冗長な情報が多く含まれている。したがって、符号化効率が低減している（向上させる余地がある）。

＜地上局＞
そこで、地上局１０２は、このような画像ファイル（静止画符号化データ）をトランスコードして動画符号化データに変換する。さらに、その際、静止画符号化データに付加されている位置情報を用いて符号化を行う。このようにすることにより、地上局１０２は、符号化効率を向上させた動画符号化データを生成することができる。つまり、符号化効率の低減を抑制することができる。

図５は、地上局１０２の主な構成例を示すブロック図である。図５に示されるように、地上局１０２は、例えば、受信部２０１、分離部２０２、復号部２０３、動画像符号化部２０４、送信部２０５、および記憶部２０６を有する。また、動画像符号化部２０４は、フレームメモリ２１１、動き予測部２１２、および符号化部２１３を有する。

受信部２０１は、例えばネットワークインタフェースを有し、そのネットワークインタフェースを介した受信に関する処理を行う。例えば、受信部２０１は、飛行体１０１に通信可能に接続された状態において、その飛行体１０１（送信部１５９）から送信された画像ファイルを受信する。受信部２０１は、受信した画像ファイルを分離部２０２に供給する。

分離部２０２は、供給された画像ファイルの位置情報と静止画符号化データとを分離する。分離部２０２は、静止画符号化データから分離した位置情報（GPS情報、IMU情報、撮像制御情報等）を動画像符号化部２０４（の動き予測部２１２および符号化部２１３）に供給する。また、分離部２０２は、位置情報から分離した静止画符号化データを復号部２０３に供給する。

復号部２０３は、供給された静止画符号化データを、その符号化方式に対応する復号方式により復号し、撮像画像（のデータ）を復元する。例えば、上述の例のように、撮像画像が１枚ずつ静止画像として静止画像用の符号化方式で符号化されている場合、復号部２０３は、その符号化方式に対応する静止画像用の復号方式で、各静止画符号化データを復号し、それぞれ撮像画像を復元する。復号部２０３は、復元した撮像画像（画像データ）を、動画像符号化部２０４のフレームメモリ２１１に供給する。

動画像符号化部２０４は、撮像画像の符号化に関する処理を行う。例えば、動画像符号化部２０４は、移動体が撮像した撮像画像を符号化する。例えば、動画像符号化部２０４は、移動体が被写体を撮像してその撮像画像を生成した位置に対応する位置情報に基づいてその符号化を行う。例えば、動画像符号化部２０４は、復号部２０３が復号する前の符号化データの符号化方式と異なる他の方式により、その符号化を行う。例えば、動画像符号化部２０４は、静止画符号化データを復号部２０３が復号して復元した複数の撮像画像を動画像のフレーム画像として符号化する。つまり、動画像符号化部２０４は、撮像画像群を、動画像用の符号化方式で符号化し、動画符号化データを生成する。この動画像用の符号化方式は任意である。例えば、MPEG（Moving Picture Experts Group）、AVC（Advanced Video Coding）、またはHEVC（High Efficiency Video Coding）等であってもよいし、これら以外の方式であってもよい。

例えば、動画像符号化部２０４は、動き予測を用いて撮像画像群を符号化する。フレームメモリ２１１は、復号部２０３から供給される撮像画像を取得し、記憶する。動き予測部２１２は、そのフレームメモリ２１１に記憶されている撮像画像と、分離部２０２から供給された位置情報とを用いて動き予測を行い、動きベクトルを生成する。動き予測部２１２は、生成した動きベクトルを符号化部２１３に供給する。符号化部２１３は、動き予測部２１２から供給される動きベクトルと、分離部２０２から供給された位置情報とを利用して、フレームメモリ２１１に記憶されている撮像画像群を符号化し、動画符号化データを生成する。

動画像符号化部２０４（符号化部２１３）は、生成した動画符号化データを送信部２０５若しくは記憶部２０６、またはその両方に供給する。

送信部２０５は、ネットワークインタフェースを有し、そのネットワークインタフェースを介した送信に関する処理を行う。例えば、送信部２０５は、動画像符号化部２０４（符号化部２１３）から供給される動画符号化データを、他の装置（例えば通信可能に接続されたクラウド１０３）に送信する。この通信方法・通信方式は任意である。例えば、有線通信であってもよいし、無線通信であってもよい。

記憶部２０６は、例えばハードディスクやフラッシュメモリ等の任意の記憶媒体を有し、動画像符号化部２０４（符号化部２１３）から供給される動画符号化データをその記憶媒体に記憶する。この記憶部２０６に記憶された動画符号化データは、任意の方法で利用することができる。例えば、地上局１０２が、３次元地図情報の生成等の所定の画像処理を行うようにし、その画像処理の際に、その動画像データを記憶部２０６から読み出し、利用するようにしてもよい。また例えば、その記憶部２０６からその動画符号化データが読み出され、送信部２０５を介して他の装置に伝送されるようにしてもよい。また例えば、記憶部２０６が他の装置に接続され（その際記憶部２０６が地上局１０２から外されてもよい）、他の装置によって記憶部２０６からその動画符号化データが読み出されるようにしてもよい。

＜処理の比較＞
静止画符号化データのままクラウド１０３に伝送する場合と、動画符号化データにトランスコードしてクラウド１０３に伝送する場合とで処理を比較したタイミングチャートの例を図６に示す。

静止画符号化データのままクラウド１０３に伝送する場合、飛行体１０１が飛行して撮像し静止画を記録する処理、静止画符号化データ（静止画像データ）をクラウド１０３にアップロードする処理、クラウド１０３がその撮像画像に基づいて３次元地図情報を生成する３Ｄ処理、端末装置１０４がその３次元地図情報（３Ｄデータ）をダウンロードする処理、および、端末装置１０４がダウンロードした３次元地図情報を画像として表示する処理が、図６のＡに示されるように行われる。

これに対して、動画符号化データにトランスコードしてクラウド１０３に伝送する場合、図６のＢに示されるように、静止画符号化データをクラウド１０３にアップロードする処理の代わりに、静止画符号化データを動画符号化データにトランスコードする処理とその動画符号化データ（動画像データ）をクラウド１０３にアップロードする処理が行われる。

このような画像処理システム１００により、容易に３次元地図情報を生成し、利用することができる。例えば広大であったり地形が複雑であったりして地上においての計測が困難な場合である程、その３次元地図情報生成の容易さがより顕著になるので、利用価値が高い。したがって、例えば郊外や山中等のような場所を、３次元地図情報を生成する現場（被写体領域１１０の場所）とすることも十分に想定される。しかしながら、このような場所では、通信設備も少なく、通信環境が良くない（通信帯域が狭い）場合も多い。

静止画符号化データのデータ量は動画符号化データに比べて非常に大きい為、通信環境が良くない（通信帯域が狭い）と、静止画符号化データのままクラウド１０３に伝送する場合、図６のＡのように静止画符号化データのアップロードに長時間かかってしまう。

そこで、地上局１０２が、上述のように静止画符号化データを動画符号化データにトランスコードすることにより、静止画符号化データに比べてデータ量を大幅に低減させることができる。さらに、位置情報を用いて符号化を行うことにより、さらに効率よく符号化を行うことができる。すなわち、符号化効率の低減を抑制することができる。

したがって、図６のＢに示されるように、トランスコードとアップロードの処理を合わせても、図６のＡの場合よりも高速に伝送することができる。換言するに、画像データ（符号化データ）のアップロードにおける通信の負荷の増大を抑制することができる。付言するに、この場合、３次元地図情報の生成、提供、利用等を、図６のＡの場合よりも早く行うことができる。

＜撮像処理の流れ＞
次に、このような画像処理システム１００において実行される処理について説明する。飛行体１０１は、撮像を行う場合、撮像処理を実行する。図７のフローチャートを参照して、飛行体１０１により実行される撮像処理の流れの例を説明する。

撮像処理が開始されると、飛行部１５１は、ステップＳ１０１において、制御部１３１に制御されて、被写体領域１１０の上空の所望の位置を飛行する。

ステップＳ１０２において、撮像制御部１５４は、制御部１３１に制御されて撮像部１５５を制御し、撮像方向を所望の方向に調整する。必要に応じて画角等も調整する。

ステップＳ１０３において、撮像部１５５は、制御部１３１に制御されて被写体（被写体領域１１０）を撮像し、撮像画像を生成する。また、IMU部１５２はその時点のIMU情報を生成し、GPS部１５３はその時点のGPS情報を生成し、撮像制御部１５４はその時点の撮像制御情報を生成する。

ステップＳ１０４において、符号化部１５６は、制御部１３１に制御されて、ステップＳ１０３において生成された撮像画像を、例えばJPEG等の静止画像用の符号化方式で符号化する。

ステップＳ１０５において、情報付加部１５７は、ステップＳ１０３において生成されたIMU情報、GPS情報、および撮像制御情報を含む位置情報を、ステップＳ１０４において生成された静止画符号化データに関連付ける。例えば、情報付加部１５７は、例えばExif等の所定のファイルフォーマットにより位置情報をメタデータとして静止画符号化データに付加し、画像ファイルを生成する。

ステップＳ１０６において、記憶部１５８は、ステップＳ１０５において生成された画像ファイルを記憶する。

ステップＳ１０６の処理が終了すると撮像処理が終了する。飛行体１０１は、例えば、このような撮像処理を繰り返すことにより、被写体領域１１０の全域を撮像する。

＜変換転送処理の流れ＞
飛行体１０１の飛行（撮像）が終了し、飛行体１０１が地上局１０２と通信可能に接続されると、地上局１０２は、変換転送処理を実行する。地上局１０２により実行される変換転送処理の流れの例を、図８のフローチャートを参照して説明する。

変換転送処理が開始されると、受信部２０１は、ステップＳ１２１において、飛行体１０１（送信部１５９）から送信された画像ファイルを取得する。

ステップＳ１２２において、分離部２０２は、ステップＳ１２１において取得した画像ファイルから位置情報を抽出し、位置情報と静止画符号化データとを分離する。

ステップＳ１２３において、復号部２０３は、ステップＳ１２２において位置情報から分離された静止画符号化データを復号し、撮像画像を復元する。

ステップＳ１２４において、フレームメモリ２１１は、ステップＳ１２３において復元された撮像画像（画像データ）を記憶する。

ステップＳ１２５において、動き予測部２１２は、ステップＳ１２２において抽出された位置情報と、ステップＳ１２４において記憶された撮像画像とを用いて動き予測を行い、動きベクトルを生成する。

ステップＳ１２６において、符号化部２１３は、ステップＳ１２２において抽出された位置情報を用いて符号化パラメータを設定する。

ステップＳ１２７において、符号化部２１３は、ステップＳ１２５において生成された動きベクトルと、ステップＳ１２６において設定された符号化パラメータとを用いて、ステップＳ１２４において記憶された撮像画像を、例えば、MPEG、AVC、HEVC等の動画像用の符号化方式で符号化し、動画符号化データを生成する。

ステップＳ１２８において、送信部２０５は、ステップＳ１２７において生成された動画符号化データをクラウド１０３に送信する。または、記憶部２０６が、ステップＳ１２７において生成された動画符号化データを記憶してもよい。

ステップＳ１２８の処理が終了すると変換転送処理が終了する。

以上のように各処理を実行することにより、符号化効率の低減を抑制することができる。

＜動画像符号化部の例＞
地上局１０２の動画像符号化部２０４が行う符号化の動画像用の符号化方式は、任意である。例えば、MPEG、AVC、HEVC等であってもよい。図９は、HEVCに準拠した符号化方式で撮像画像を符号化する場合の、動画像符号化部２０４の主な構成例を示すブロック図である。

この場合、動画像符号化部２０４は、制御部３０１、並べ替えバッファ３１１、演算部３１２、直交変換部３１３、量子化部３１４、符号化部３１５、蓄積バッファ３１６、逆量子化部３１７、逆直交変換部３１８、演算部３１９、インループフィルタ部３２０、フレームメモリ３２１、予測部３２２、およびレート制御部３２３を有する。

図５のフレームメモリ２１１は、図９の並べ替えバッファ３１１に対応する。また、図５の動き予測部２１２は、図９の制御部３０１および予測部３２２に対応する。また、図５の符号化部２１３は、図９の各処理部（制御部３０１乃至レート制御部３２３）に対応する。

制御部３０１は、動画像符号化部２０４による符号化の制御に関する処理を行う。例えば、制御部３０１は、各ブロック（各処理部）へ供給する符号化パラメータを、RDO(Rate-Distortion Optimization)に基づいて設定する。また、制御部３０１は、設定した符号化パラメータを、適宜、動画像符号化部２０４の各処理部（例えば、並べ替えバッファ３１１、直交変換部３１３、量子化部３１４、符号化部３１５、逆量子化部３１７、逆直交変換部３１８、インループフィルタ部３２０、および予測部３２２等）に供給することにより、各処理部において行われる処理を制御する。

また、制御部３０１は、例えば、その符号化パラメータを含む制御情報（例えば、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ等）を生成し、符号化部３１５に供給し、符号化データに含めて伝送させる。

また、制御部３０１は、並べ替えバッファ３１１により保持されている動画像データのフレームの並べ替えを制御したり、外部、または予め指定された処理単位のブロックサイズに基づいて、並べ替えバッファ３１１により保持されている動画像データを処理単位のブロック（CU, PU, 変換ブロックなど）へ分割したりする。

並べ替えバッファ３１１は、入力される撮像画像を動画像のフレーム画像として取得し、保持（記憶）する。その際の取得した順が再生順（表示順）とされる。並べ替えバッファ３１１は、制御部３０１の制御に基づいて、各撮像画像（入力画像）を符号化順（復号順）に並べ替えたり、処理単位のブロックに分割したりする。並べ替えバッファ３１１は、処理後の各撮像画像を演算部３１２に供給する。また、並べ替えバッファ３１１は、その各撮像画像（元画像）を、予測部３２２やインループフィルタ部３２０にも供給する。

演算部３１２は、処理単位のブロックに対応する撮像画像と、予測部３２２より供給されるそのブロックに対応する予測画像とを入力とし、撮像画像から予測画像を減算して、予測残差を生成し、それを直交変換部３１３に供給する。

直交変換部３１３は、制御部３０１から供給される符号化パラメータに基づいて、演算部３１２から供給される予測残差に対して直交変換を行い、変換係数を生成する。直交変換部３１３は、生成した変換係数を量子化部３１４に供給する。

量子化部３１４は、制御部３０１から供給される変換情報に基づいて、直交変換部３１３から供給される変換係数をスケーリング（量子化）する。なお、この量子化のレートは、レート制御部３２３により制御される。量子化部３１４は、このような量子化により得られた量子化後の変換係数（量子化変換係数とも称する）を、符号化部３１５および逆量子化部３１７に供給する。

符号化部３１５は、量子化部３１４から供給された量子化変換係数を可変長符号化（例えば、算術符号化）し、ビット列（符号化データ）を生成する。また、符号化部３１５は、その量子化変換係数から符号化パラメータを生成して符号化し、ビット列を生成する。さらに、符号化部３１５は、インループフィルタ部３２０から供給されるフィルタに関する情報、予測部３２２から供給される最適な予測モードに関する情報等を符号化し、ビット列を生成する。また、符号化部３１５は、制御部３０１より供給される各種の符号化パラメータを符号化し、ビット列を生成する。さらに、符号化部３１５は、以上のように生成された各種情報のビット列を多重化し、符号化データを生成する。符号化部３１５は、その符号化データを蓄積バッファ３１６に供給する。

蓄積バッファ３１６は、符号化部３１５において得られた符号化データを、一時的に保持する。蓄積バッファ３１６は、所定のタイミングにおいて、保持している符号化データを、例えばビットストリーム等として動画像符号化部２０４の外部（例えば送信部２０５や記憶部２０６）に出力する。

逆量子化部３１７は、制御部３０１から供給される符号化パラメータに基づいて、量子化部３１４から供給される量子化変換係数の値をスケーリング（逆量子化）する。なお、この逆量子化は、量子化部３１４において行われる量子化の逆処理であり、復号側の逆量子化部（後述する）により行われる逆量子化と同様の処理である。つまり、復号側の逆量子化について行う説明（後述する）をこの逆量子化部３１７の説明に適用することができる。逆量子化部３１７は、このような逆量子化により得られた変換係数を、逆直交変換部３１８に供給する。

逆直交変換部３１８は、制御部３０１から供給される符号化パラメータに基づいて、逆量子化部３１７から供給される変換係数に対して逆直交変換を行い、予測残差を生成する。なお、この逆直交変換は、直交変換部３１３において行われる直交変換の逆処理であり、復号側の逆直交変換部（後述する）により行われる逆直交変換と同様の処理である。つまり、復号側の逆直交変換について行う説明（後述する）をこの逆直交変換部３１８の説明に適用することができる。

演算部３１９は、逆直交変換部３１８から供給される予測残差と、予測部３２２から供給される、その予測残差に対応する予測画像とを加算し、局所復号画像を生成する。演算部３１９は、生成した局所復号画像をインループフィルタ部３２０およびフレームメモリ３２１に供給する。

インループフィルタ部３２０は、制御部３０１等から供給される符号化パラメータに基づいて、演算部３１９から供給される局所復号画像に対して適宜フィルタ処理を行う。なお、インループフィルタ部３２０が行うフィルタ処理は任意である。例えば、デブロッキングフィルタ（DBF（DeBlocking Filter））や、適応オフセットフィルタ（SAO（Sample Adaptive Offset））等が行われるようにしてもよい。これらの内、複数のフィルタ処理が行われるようにしてもよい。

インループフィルタ部３２０は、フィルタ処理された局所復号画像をフレームメモリ３２１に供給する。なお、例えばフィルタ係数等のフィルタに関する情報を復号側に伝送する場合、インループフィルタ部３２０は、そのフィルタに関する情報を符号化部３１５に供給する。

フレームメモリ３２１は、演算部３１９から供給される局所復号画像や、インループフィルタ部３２０から供給されるフィルタ処理された局所復号画像を保持（記憶）する。また、フレームメモリ３２１は、その局所復号画像を用いてピクチャ単位毎の復号画像を再構築し、保持する（フレームメモリ３２１内のバッファへ格納する）。フレームメモリ３２１は、予測部３２２の要求に応じて、その復号画像（またはその一部）を予測部３２２に供給する。

予測部３２２は、制御部３０１から供給される符号化パラメータや、並べ替えバッファ３１１から供給される入力画像（元画像）を用い、インター予測やイントラ予測等の予測処理を行い、復号画像を参照画像として参照して予測を行い、その予測結果に基づいて動き補償処理を行い、予測画像を生成する。予測部３２２は、生成した予測画像を演算部３１２および演算部３１９に供給する。また、予測部３２２は、以上の処理により選択した予測モード、すなわち最適な予測モードに関する情報を、必要に応じて符号化部３１５に供給する。

レート制御部３２３は、蓄積バッファ３１６に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部３１４の量子化動作のレートを制御する。

以上のような構成の動画像符号化部２０４において、制御部３０１は、分離部２０２から供給される位置情報を取得し、その位置情報に基づいて、動きベクトルや符号化パラメータを設定する。動画像符号化部２０４の各処理部（並べ替えバッファ３１１乃至レート制御部３２３）は、そのように設定された動きベクトルや符号化パラメータを用いて符号化を行う。つまり、動画像符号化部２０４は、位置情報を利用して撮像画像を符号化する。

したがって、動画像符号化部２０４は、上述のように符号化効率の低減を抑制することができる。

＜動画像符号化処理の流れ＞
図１０のフローチャートを参照して、このような符号化を行う際に動画像符号化部２０４が実行する動画像符号化処理の流れの例を説明する。

動画像符号化処理が開始されると、並べ替えバッファ３１１は、ステップＳ１４１において、復号部２０３より供給される撮像画像の画像データを取得し、蓄積する。

ステップＳ１４２において、制御部３０１は、符号化の制御に関する処理を行う。例えば、制御部３０１は、分離部２０２から供給される位置情報に基づいて、動き予測に関する制御や符号化パラメータの設定を行う。

ステップＳ１４３において、並べ替えバッファ３１１は、制御部３０１により制御されて、入力された動画像データのフレーム（撮像画像群）の順を表示順から符号化順に並べ替える。

ステップＳ１４４において、予測部３２２は、制御部３０１により制御されて、予測処理を行い、最適な予測モードの予測画像等を生成する。例えば、この予測処理において、予測部３２２は、イントラ予測を行って最適なイントラ予測モードの予測画像等を生成し、インター予測を行って最適なインター予測モードの予測画像等を生成し、それらの中から、コスト関数値等に基づいて最適な予測モードを選択する。例えば、予測部３２２は、インター予測において、制御部３０１により設定された参照フレームや動きベクトルを用いる。

ステップＳ１４５において、演算部３１２は、入力画像と、ステップＳ１４４の予測処理により選択された最適なモードの予測画像との差分を演算する。つまり、演算部３１２は、入力画像と予測画像との予測残差を生成する。このようにして求められた予測残差は、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。

ステップＳ１４６において、直交変換部３１３は、ステップＳ１４５の処理により生成された予測残差に対して直交変換処理を行い、変換係数を生成する。

ステップＳ１４７において、量子化部３１４は、ステップＳ１４２において設定された符号化パラメータを用いる等して、ステップＳ１４６の処理により生成された変換係数を量子化し、量子化変換係数を生成する。

ステップＳ１４８において、逆量子化部３１７は、ステップＳ１４７の処理により生成された量子化変換係数を、ステップＳ１４７の量子化の特性に対応する特性で逆量子化し、変換係数を生成する。

ステップＳ１４９において、逆直交変換部３１８は、ステップＳ１４８の処理により生成された変換係数を、ステップＳ１４６の直交変換処理に対応する方法で逆直交変換し、残差データを生成する。

ステップＳ１５０において、演算部３１９は、ステップＳ１４９の処理により生成された予測残差に、ステップＳ１４４の予測処理により生成された予測画像を加算することにより、局所的に復号された復号画像を生成する。

ステップＳ１５１において、インループフィルタ部３２０は、ステップＳ１５０の処理により生成された、局所的に復号された復号画像に対して、インループフィルタ処理を行う。

ステップＳ１５２において、フレームメモリ３２１は、ステップＳ１５０の処理により導出された、局所的に復号された復号画像や、ステップＳ１５１においてフィルタ処理された、局所的に復号された復号画像を記憶する。

ステップＳ１５３において、符号化部３１５は、ステップＳ１４７の処理により得られた量子化変換係数を符号化する。例えば、符号化部３１５は、画像に関する情報である量子化変換係数を、算術符号化等により符号化し、符号化データを生成する。また、このとき、符号化部３１５は、各種符号化パラメータを符号化する。さらに、符号化部３１５は、量子化変換係数から符号化パラメータを生成し、符号化する。

ステップＳ１５４において、蓄積バッファ３１６は、このようにして生成された符号化データを蓄積し、例えばビットストリームとして、それを動画像符号化部２０４の外部（送信部２０５または記憶部２０６）に出力する。

ステップＳ１５４の処理が終了すると、動画像符号化処理が終了する。

以上のように動画像符号化処理を実行することにより、位置情報を用いて撮像画像を符号化することができる。したがって、符号化効率の低減を抑制することができる。

＜クラウドの構成＞
次に、復号側について説明する。地上局１０２により生成された動画符号化データは、クラウド１０３に転送され、クラウド１０３により復号される。クラウド１０３のハードウエア構成は任意である。例えば、単数の情報処理装置により構成されるようにしてもよいし、複数の情報処理装置により構成されるようにしてもよい。

図１１は、クラウド１０３が例えば１台のコンピュータにより構成されるものとした場合の、主な構成例を示すブロック図である。

図１１に示されるように、クラウド１０３は、CPU４０１、ROM４０２、RAM４０３、バス４０４、入出力インタフェース４１０、入力部４１１、出力部４１２、記憶部４１３、通信部４１４、およびドライブ４１５を有する。

CPU４０１、ROM４０２、RAM４０３は、バス４０４を介して相互に接続されている。バス４０４にはまた、入出力インタフェース４１０も接続されている。入出力インタフェース４１０には、入力部４１１、出力部４１２、記憶部４１３、通信部４１４、およびドライブ４１５が接続されている。

入力部４１１は、ユーザ入力等の外部の情報を受け付ける任意の入力デバイスよりなる。例えば、入力部４１１が、操作ボタン、タッチパネル、カメラ、マイクロホン、および入力端子のいずれか１つ以上を有するようにしてもよい。また、例えば、入力部４１１が、光センサや温度センサ等の任意のセンサを１つ以上有するようにしてもよい。もちろん、入力部４１１が、これら以外の入力デバイスを有するようにしてもよい。

出力部４１２は、画像や音声等の情報を出力する任意の出力デバイスよりなる。例えば、出力部４１２が、ディスプレイ、スピーカ、および出力端子のいずれか１つ以上を有するようにしてもよい。もちろん、出力部４１２が、これら以外の出力デバイスを有するようにしてもよい。

記憶部４１３は、プログラムやデータ等の情報を記憶する任意の記憶媒体よりなる。例えば、記憶部４１３が、ハードディスク、RAMディスク、不揮発性メモリのいずれか１つ以上を有するようにしてもよい。もちろん、記憶部４１３が、これら以外の記憶媒体を有するようにしてもよい。

通信部４１４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う任意の通信デバイスにより構成される。通信部４１４は、例えば、任意のネットワークインタフェースにより構成されるようにしてもよい。例えば、通信部４１４は、他の装置と通信（プログラムやデータの授受）を行う。なお、通信部４１４が有線通信機能を有するようにしてもよいし、無線通信機能を有するようにしてもよいし、その両方を有するようにしてもよい。

ドライブ４１５は、自身に装着されたリムーバブルメディア４２１に記憶されている情報を読み出したり、自身に装着されたリムーバブルメディア４２１に情報を書き込んだりする。ドライブ４１５は、例えば、リムーバブルメディア４２１から情報を読み出し、その読み出した情報をCPU４０１やRAM４０３等に供給することができる。また、ドライブ４１５は、書き込み可能なリムーバブルメディア４２１が自身に装着された場合、CPU４０１やRAM４０３等から供給される情報（プログラムやデータ等）を、そのリムーバブルメディア４２１に記憶させることができる。リムーバブルメディア４２１は、ドライブ４１５に対して着脱可能な記録媒体である。例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどであってもよい。

CPU４０１は、例えば、ROM４０２や記憶部４１３に記憶されているプログラム等を、RAM４０３にロードして実行することにより、各種処理を行う。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU４０１は、このようにプログラム等を実行することにより、動画符号化データの復号に関する処理を行うことができる。

＜動画像復号部の構成＞
例えば、CPU４０１は、図１２に示されるような構成の動画像復号部の機能を実現する。図１２に示される動画像復号部５００は、図９の動画像符号化部２０４により生成された動画符号化データを復号する処理部であり、図９の動画像符号化部２０４の符号化方式、すなわち、HEVCに準拠した符号化方式に対応する復号方式で動画符号化データを復号する。

図１２において、動画像復号部５００は、蓄積バッファ５１１、復号部５１２、逆量子化部５１３、逆直交変換部５１４、演算部５１５、インループフィルタ部５１６、並べ替えバッファ５１７、フレームメモリ５１８、および予測部５１９を備える。なお、予測部５１９は、不図示のイントラ予測部、およびインター予測部を備える。

蓄積バッファ５１１は、動画像復号部５００に入力されたビットストリーム（動画符号化データ）を取得し、保持（記憶）する。蓄積バッファ５１１は、所定のタイミングにおいて、または、所定の条件が整う等した場合、蓄積しているビットストリームを復号部５１２に供給する。

復号部５１２は、シンタックステーブルの定義に沿って、蓄積バッファ５１１から供給されるビットストリームに含まれる、各シンタックス要素のシンタックス値を可変長復号し、パースして（解析して取得して）、復号パラメータを生成する。復号部５１２は、生成した復号パラメータを、動画像復号部５００の各処理部（例えば、逆量子化部５１３、逆直交変換部５１４、インループフィルタ部５１６、予測部５１９等）に、適宜供給する。

また、復号部５１２は、動画符号化データを復号して、各変換ブロックの量子化変換係数を生成する。復号部５１２は、その量子化変換係数を、逆量子化部５１３に供給する。

逆量子化部５１３は、復号部５１２から供給される復号パラメータに基づいて、復号部５１２から供給される量子化変換係数の値をスケーリング（逆量子化）し、逆量子化後の変換係数を生成する。なお、この逆量子化は、量子化部３１４による量子化の逆処理として行われる。つまり、この逆量子化は、逆量子化部３１７による逆量子化と同様の処理である。逆量子化部５１３は、生成した変換係数を逆直交変換部５１４に供給する。

逆直交変換部５１４は、復号部５１２から供給される復号パラメータに基づいて、逆量子化部５１３から供給される変換係数に対して逆直交変換処理を行い、残差データを生成する。なお、この逆直交変換は、直交変換部３１３による直交変換の逆処理として行われる。つまり、この逆直交変換は、逆直交変換部３１８による逆直交変換と同様の処理である。逆直交変換部５１４は、生成した残差データを演算部５１５に供給する。

演算部５１５は、逆直交変換部５１４から供給される残差データと、予測部５１９から供給される予測画像とを加算し、局所復号画像を生成する。演算部５１５は、生成した局所復号画像を、インループフィルタ部５１６およびフレームメモリ５１８に供給する。

インループフィルタ部５１６は、復号部５１２から供給される復号パラメータに基づいて、演算部５１５から供給される局所復号画像に対して適宜フィルタ処理を行う。なお、インループフィルタ部５１６が行うフィルタ処理は任意である。例えば、デブロッキングフィルタ（DBF（DeBlocking Filter））や、適応オフセットフィルタ（SAO（Sample Adaptive Offset））等が行われるようにしてもよい。これらの内、複数のフィルタ処理が行われるようにしてもよい。インループフィルタ部５１６は、フィルタ処理された局所復号画像を並べ替えバッファ５１７およびフレームメモリ５１８に供給する。

並べ替えバッファ５１７は、インループフィルタ部５１６から供給された局所復号画像を保持（記憶）する。並べ替えバッファ５１７は、その局所復号画像を用いてピクチャ単位毎の復号画像を再構築し、保持する（バッファ内に格納する）。並べ替えバッファ５１７は、得られた復号画像を、復号順から再生順に並べ替える。並べ替えバッファ５１７は、並べ替えた復号画像群を動画像データとして動画像復号部５００の外部に出力する。

フレームメモリ５１８は、演算部５１５より供給される局所復号画像からピクチャ単位毎の復号画像を再構築して、フレームメモリ５１８内のバッファへ格納する。また、フレームメモリ５１８は、インループフィルタ部５１６から供給される、インループフィルタ処理された局所復号画像から、ピクチャ単位毎の復号画像を再構築して、フレームメモリ５１８内のバッファへ格納する。フレームメモリ５１８は、適宜、その記憶している復号画像（またはその一部）を参照画像として予測部５１９に供給する。なお、フレームメモリ５１８が、復号画像の生成にかかる復号パラメータを記憶するようにしても良い。

予測部５１９は、復号部５１２から供給される復号パラメータによって指定される予測方法により予測を行い、予測画像を生成する。その際、予測部５１９は、その復号パラメータによって指定される、フレームメモリ５１８に格納されたフィルタ前またはフィルタ後の復号画像（またはその一部）を、参照画像として利用する。予測部５１９は、生成した予測画像を、演算部５１５に供給する。

以上のような構成の動画像復号部５００において、復号部５１２は、符号化側から伝送された復号パラメータ（符号化パラメータ）を抽出し、その復号パラメータを用いて動画符号化データを復号する。また、復号部５１２は、その復号パラメータを他の処理部（例えば、逆量子化部５１３、逆直交変換部５１４、インループフィルタ部５１６、予測部５１９等）に供給し、それらの処理部は、その復号パラメータを用いてそれぞれの処理を行う。つまり、動画像復号部５００は、復号パラメータを用いて復号を行う。つまり、動画像復号部５００は、位置情報に基づいて符号化された撮像画像群を正しく復号することができる。したがって、符号化効率の低減を抑制することができる。

＜動画像復号処理の流れ＞
図１３のフローチャートを参照して、このような復号を行う際に動画像復号部５００が実行する動画像復号処理の流れの例を説明する。

動画像復号処理が開始されると、蓄積バッファ５１１は、ステップＳ１７１において、動画像復号部５００の外部から供給される動画符号化データ（ビットストリーム）を取得して保持する（蓄積する）。

ステップＳ１７２において、復号部５１２は、その動画符号化データ（ビットストリーム）を復号し、量子化変換係数を生成する。また、復号部５１２は、この復号により、符号化データ（ビットストリーム）から各種復号パラメータ（符号化パラメータ）をパースする（解析して取得する）。

ステップＳ１７３において、逆量子化部５１３は、ステップＳ１７２の処理により生成された量子化変換係数に対して、符号化側で行われた量子化の逆処理である逆量子化を行い、変換係数を生成する。

ステップＳ１７４において、逆直交変換部５１４は、ステップＳ１７３の処理により生成された変換係数に対して、符号化側で行われた直交変換処理の逆処理である逆直交変換処理を行い、残差データを生成する。

ステップＳ１７５において、予測部５１９は、ステップＳ１７２においてパースされた復号パラメータに基づいて、符号化側より指定される予測方法で予測処理を実行し、予測画像を生成する。

ステップＳ１７６において、演算部５１５は、ステップＳ１７４の処理により生成された残差データと、ステップＳ１７５の処理により生成された予測画像とを加算し、局所復号画像を生成する。

ステップＳ１７７において、インループフィルタ部５１６は、ステップＳ１７６の処理により生成された局所復号画像に対して、インループフィルタ処理を行う。

ステップＳ１７８において、並べ替えバッファ５１７は、ステップＳ１７７の処理によりフィルタ処理された局所復号画像を用いて復号画像を生成し、その復号画像群の順序を復号順から再生順に並べ替える。再生順に並べ替えられた復号画像群は、動画像として動画像復号部５００の外部に出力される。

また、ステップＳ１７９において、フレームメモリ５１８は、ステップＳ１７６の処理により生成された局所復号画像、および、ステップＳ１７７の処理によりフィルタ処理された局所復号画像の内、少なくとも一方を記憶する。

ステップＳ１７９の処理が終了すると、画像復号処理が終了する。

以上のように動画像復号処理を行うことにより、動画像復号部５００は、符号化効率の低減を抑制することができる。

以上のように、本技術は、HEVCに準拠した符号化方式を利用して撮像画像を符号化する場合や、その符号化により生成された符号化データを、HEVCに準拠した復号方式を利用して復号する場合にも適用することができる。もちろん、例えばAVCやMPEG等、任意の他の符号化・復号方式の場合も基本的に同様に本技術を適用することができる。

＜方法＃１－１＞
次に方法＃１－１について説明する。図１を参照して説明したように、撮像画像を動画像用の符号化方式で符号化する際に、位置情報に基づいて参照フレームを設定するようにしてもよい（方法＃１－１）。

飛行体１０１は、被写体領域１１０を撮像するため、一般的に、位置がより近い撮像画像同士の方が、相関性が高い。したがって、動画像符号化部２０４が、撮像画像の撮像順をフレーム順（再生順）とする場合、フレーム番号が遠い撮像画像同士も、互いの位置が近く相関性が高くなる場合がある。

例えば、図１４に示される例のように、飛行体１０１が矢印のように移動しながら撮像を行い、・・・、フレーム番号９８（frame98）乃至フレーム番号１０１（frame101）、・・・、フレーム番号１２０（frame120）、フレーム番号１２１（frame121）、・・・のように、フレーム画像が得られるとする。この場合、フレーム番号１２１の撮像画像は、フレーム番号１２０だけでなく、フレーム番号１０１の撮像画像とも位置が近く、相関性が高い。

そこで動画像符号化部２０４は、各撮像画像の位置情報に基づいて、フレーム番号１２１をカレントフレーム（処理対象）とする場合、フレーム番号１２０だけでなくフレーム番号１０１も参照先（参照フレーム）として選択する。

例えば、図１５に示されるように、フレーム番号１２１の撮像画像の白地で示される部分領域は、フレーム番号１２０の撮像画像と重複する領域であり、フレーム番号１２０の撮像画像と相関性が高い。そこで、この部分領域は、フレーム番号１２０を参照フレームとしてインター符号化を行う。

また、図１５の例において、フレーム番号１２１の撮像画像の点線より左側の部分領域は、フレーム番号１０１の撮像画像と重複する領域であり、フレーム番号１０１の撮像画像と相関性が高い。そこで、その部分領域の内、フレーム番号１２０を参照フレームとしなかった部分、すなわち、フレーム番号１２１の撮像画像の薄いグレーで示される部分領域は、フレーム番号１０１を参照フレームとしてインター符号化を行う。

なお、これらのフレームとの相関性が低い部分領域（図中、濃いグレーで示される部分領域）は、イントラ符号化を行う。

つまり、カレントフレームと重畳する領域が大きいフレームから順に参照先として設定する。このように、位置情報に基づいて参照フレームの設定（選択）を行うことにより、例えば、フレーム番号１２１の撮像画像全体を、フレーム番号１２０を参照フレームとしてインター符号化する場合よりも、相関性の高いフレームを参照フレームとしてインター符号化することができる。したがって符号化効率の低減を抑制することができる。

また、例えば、フレーム番号１２１の白地の部分領域を、フレーム番号１２０を参照フレームとしてインター符号化し、その他の部分領域をイントラ符号化する場合よりも、より多くの領域をインター符号化することができるので、符号化効率の低減を抑制することができる。

図５の例の場合、動き予測部２１２が、位置情報に基づいて参照フレームの設定を行う。例えば、動き予測部２１２は、ステップＳ１２５（図８）において動き予測を行う際に、参照フレーム選択処理を行い、上述のように位置情報に基づいて参照フレームを設定する。

＜参照フレーム選択処理の流れ＞
その参照フレーム選択処理の流れの例を、図１６のフローチャートを参照して説明する。参照フレーム選択処理が開始されると、動き予測部２１２は、ステップＳ２０１において、位置情報に基づいて、カレントフレームの位置を求める。

ステップＳ２０２において、動き予測部２１２は、位置情報に基づいて、カレントフレームと撮像画像が重畳する符号化済みフレームが存在するか否かを判定する。存在すると判定された場合、処理はステップＳ２０３に進む。

ステップＳ２０３において、動き予測部２１２は、カレントフレームと重畳する面積が最大の符号化済みフレームを参照先として選択する。

ステップＳ２０４において、動き予測部２１２は、次の参照フレームの設定のために、カレントフレームの撮像画像からその重畳部分を削除する。

ステップＳ２０５において、動き予測部２１２は、設定した参照フレームの数が最大数に達したか否かを判定する。この参照フレーム数の最大値は任意である。例えば、２フレームであってもよいし、それ以外であってもよい。参照フレーム数が最大値に達していないと判定された場合、処理はステップＳ２０２に戻る。

カレントフレームに重畳する符号化済みフレームが存在する場合、参照フレーム数が最大値に達するまで、このようにステップＳ２０２乃至ステップＳ２０５の処理が繰り返される。そして、ステップＳ２０５において、参照フレーム数が最大値に達したと判定された場合、参照フレーム選択処理が終了する。

また、ステップＳ２０２において、カレントフレームと重畳する符号化済みフレームが存在しないと判定された場合、参照フレーム選択処理が終了する。

以上のようにして参照フレームが設定されたカレントフレームの部分領域は、その参照フレームを用いてインター符号化が行われる。また、カレントフレームの、参照フレームが設定されなかった部分領域は、イントラ符号化が行われる。

以上のように参照フレーム選択処理を行うことにより、動画像符号化部２０４は、位置情報に基づいて、相関性のより高い符号化済みフレームを参照先として設定することができ、符号化効率の低減を抑制することができる。

なお、例えば図９および図１０の場合、制御部３０１が、ステップＳ１４２において、上述の参照フレーム選択処理を行い、位置情報に基づいて、カレントフレームと重畳する面積が大きい順に参照フレームを設定する。予測部３２２は、ステップＳ１４４において、以上のように設定された参照フレームを用いてインター予測を行ったり、イントラ予測を行ったりする。したがって、この場合も、符号化効率の低減を抑制することができる。

＜方法＃１－２＞
次に方法＃１－２について説明する。図１を参照して説明したように、撮像画像を動画像用の符号化方式で符号化する際に、位置情報に基づいて動きベクトルを算出するようにしてもよい（方法＃１－２）。

上述のように飛行体は移動しながら撮像を行うので、撮像画像間の動きと飛行体の動き（カメラの動き等も含む）との相関性が高い。つまり、位置情報（飛行体の移動量）を考慮して動きベクトルの算出を行うことにより、より効率よく動きベクトルを算出することができる。例えば、動きベクトルが大きい場合、サーチレンジが大きくなりMEに計算コストがかかるが、概算値があればサーチレンジを小さくすることができる。また、ベクトルの暴れ（ばらつき）を低減させることができる。そこで、その動きベクトルの概算値を、位置情報を用いて求めるようにする。

＜疑似高さ情報を用いない方法＞
例えば、図１７に示されるように、地面６３０に木６３１および木６３２のように立体構造物が存在するとする。これらの木の高さを考慮しない場合、過去の位置情報（GPS情報、IMU情報、撮像制御情報等）と現在の位置情報（GPS情報、IMU情報、撮像制御情報等）とを用いて飛行体１０１の移動量を算出することができる。この移動量から動きベクトル（固定分）の候補をもとめ、それを中心にリファインすることでより効率よく動きベクトルを求めることができる。

図５の例の場合、動き予測部２１２が、このように位置情報に基づいて動きベクトルを算出する。例えば、動き予測部２１２は、ステップＳ１２５（図８）において動き予測を行う際に、動きベクトル算出処理を行い、上述のように位置情報に基づいて動きベクトルを算出する。

＜動きベクトル算出処理の流れ＞
その動きベクトル算出処理の流れの例を、図１８のフローチャートを参照して説明する。動きベクトル算出処理が開始されると、動き予測部２１２は、ステップＳ２２１において、位置情報および過去の動き予測結果から飛行体１０１の移動量を求める。

ステップＳ２２２において、動き予測部２１２は、その移動量に基づいて、動きベクトルの候補（概算値）を求める。

ステップＳ２２３において、動き予測部２１２は、その動きベクトルの候補を中心としてブロックマッチングによるリファインメントを行い、動きベクトルを設定する。

ステップＳ２２３の処理が終了すると動きベクトル算出処理が終了する。

以上のように動きベクトル算出処理を行うことにより、動画像符号化部２０４は、位置情報に基づいて、より効率よく動きベクトルを算出することができ、符号化の負荷の増大や、符号化効率の低減を抑制することができる。

なお、例えば図９および図１０の場合、制御部３０１が、ステップＳ１４２において、上述の動きベクトル算出処理（図１８）のステップＳ２２１およびステップＳ２２２の処理を行い、予測部３２２が、ステップＳ１４４において、上述の動きベクトル算出処理（図１８）のステップＳ２２３の処理を行う。したがって、この場合も、符号化の負荷の増大や、符号化効率の低減を抑制することができる。

＜疑似高さ情報を用いる方法＞
例えば、図１７の例において、木６３１や木６３２の高さを考慮する場合、複数の過去のフレームから動きベクトル（固定分）以外の成分（比例分）を算出することができる。この比例分は疑似的な高さ情報を表しているので、これを用いて現在の比例分を算出し、固定分と加算することで動きベクトルの概算値を求め、それを中心にリファインすることでより効率よく動きベクトルを求めることができる。

図５の例の場合、動き予測部２１２が、このように位置情報に基づいて動きベクトルを算出する。例えば、動き予測部２１２は、ステップＳ１２５（図８）において動き予測を行う際に、動きベクトル算出処理を行い、上述のように位置情報に基づいて動きベクトルを算出する。

＜動きベクトル算出処理の流れ＞
その動きベクトル算出処理の流れの例を、図１９のフローチャートを参照して説明する。動きベクトル算出処理が開始されると、動き予測部２１２は、ステップＳ２４１において、位置情報および過去の動き予測結果から飛行体１０１の移動量（固定分）を求める。

ステップＳ２４２において、動き予測部２１２は、その移動量に基づいて、対応する疑似高さ情報（比例分）の係数を取得する。

ステップＳ２４３において、動き予測部２１２は、移動量（固定分）および疑似高さ情報（比例分）に基づいて動きベクトルの候補（概算値）を求める。

ステップＳ２４４において、動き予測部２１２は、その動きベクトルの候補を中心としてブロックマッチングによるリファインメントを行い、動きベクトルを設定する。

ステップＳ２４４の処理が終了すると動きベクトル算出処理が終了する。

以上のように動きベクトル算出処理を行うことにより、動画像符号化部２０４は、位置情報に基づいて、より効率よく動きベクトルを算出することができ、符号化の負荷の増大や、符号化効率の低減を抑制することができる。

なお、例えば図９および図１０の場合、制御部３０１が、ステップＳ１４２において、上述の動きベクトル算出処理（図１９）のステップＳ２４１乃至ステップＳ２４３の処理を行い、予測部３２２が、ステップＳ１４４において、上述の動きベクトル算出処理（図１９）のステップＳ２４４の処理を行う。したがって、この場合も、符号化の負荷の増大や、符号化効率の低減を抑制することができる。

＜方法＃１－３＞
図１を参照して説明したように、位置情報に基づいて符号化に用いられる符号化パラメータを求めるようにしてもよい。例えば方法＃１－３のように、位置情報に基づいてGOP構造を設定するようにしてもよい。

上述のように飛行体１０１は移動しながら撮像を行うので、撮像画像間の相関性は、飛行体の動き（カメラの動き等も含む）に依存する。つまり、飛行体１０１の動き（移動量）に応じて、適切なGOP構造が変化する可能性がある。

例えば、飛行体の動きが小さい場合、撮像画像間の相関性は高くなるので、図２０のＡに示されるような、前方予測および後方予測を用いるGOP構造を適用することにより、フレーム間の相関性の高さを利用することができ、図２０のＢに示される前方予測のみを用いるGOP構造の場合よりも符号化効率の低減を抑制することができる。

これに対して、飛行体の動きが大きい場合、撮像画像間の相関性は低くなるため、フレーム間の相関性を利用しても符号化効率を向上させにくくなる。また、図２０のＡの例のGOP構造は、図２０のＢの例のGOP構造よりも複雑であるため、符号化処理の負荷が増大する可能性がある。つまり、符号化効率が向上しないのに、負荷が増大する可能性がある。

そこで、例えば、図２０のＢに示されるような、前方予測のみを用いるGOP構造を適用する。このようなGOP構造は、図２０のＡの例のGOP構造よりも単純であり、符号化処理の負荷の増大を抑制することができる。

以上のように、位置情報（から求まる飛行体１０１の動き（移動量））に応じて、より適切なGOP構造を設定することにより、符号化効率の低減を抑制したり、符号化処理の負荷の増大を抑制したりすることができる。

図５の例の場合、符号化部２１３が、位置情報に基づいてGOP構造の設定を行う。例えば、符号化部２１３は、ステップＳ１２６（図８）において符号化パラメータを設定する際に、GOP構造設定処理を行い、上述のように位置情報に基づいてGOP構造を設定する。

＜GOP構造設定処理の流れ＞
そのGOP構造設定処理の流れの例を、図２１のフローチャートを参照して説明する。GOP構造設定処理が開始されると、符号化部２１３は、ステップＳ２６１において、位置情報および動き予測結果に基づいて、飛行体１０１の移動量を算出する。

ステップＳ２６２において、符号化部２１３は、その移動量が所定の閾値以下であるか否かを判定する。飛行体１０１の移動量が閾値以下であると判定された場合、処理はステップＳ２６３に進む。

ステップＳ２６３において、符号化部２１３は、ＰピクチャまたはＩピクチャの繰返し周期（間隔）を示すパラメータＭを３に設定する。つまり、符号化部２１３は、図２０のＡの例のような、前方予測および後方予測を用いるGOP構造を選択する。ステップＳ２６３の処理が終了すると、GOP構造設定処理が終了する。

また、ステップＳ２６２において、飛行体１０１の移動量が所定の閾値より大きいと判定された場合、処理はステップＳ２６４に進む。

ステップＳ２６４において、符号化部２１３は、パラメータＭを１に設定する。つまり、符号化部２１３は、図２０のＢの例のような、前方予測のみを用いるGOP構造を選択する。ステップＳ２６４の処理が終了すると、GOP構造設定処理が終了する。

以上のようにGOP構造設定処理を行うことにより、動画像符号化部２０４は、位置情報に基づいて、より適切なGOP構造を選択することができ、符号化効率の低減を抑制したり、符号化処理の負荷の増大を抑制したりすることができる。

なお、例えば図９および図１０の場合、制御部３０１が、ステップＳ１４２において、上述のGOP構造設定処理（図２１）の各ステップの処理を行う。したがって、この場合も、符号化効率の低減を抑制したり、符号化処理の負荷の増大を抑制したりすることができる。

＜方法＃１－４＞
次に方法＃１－４について説明する。図１を参照して説明したように、位置情報に基づいてレート制御を行うようにしてもよい（方法＃１－４）。

例えば、位置情報を用いて符号量を見積もり、その見積もりに従って設定した符号化パラメータを用いて符号化を行う（疑似２パスレート制御を行う）。例えば、図２２に示されるように、各撮像画像のコンプレキシティ（＝符号量×量子化ステップ）を求める。静止画と動画のコンプレキシティには相関が認められる。次に、位置情報を用いて飛行体１０１の移動量を算出し、その移動量をコンプレキシティに反映させる。一般的に、動きが大きいと動画のコンプレキシティは増加する傾向がある。そして、そのコンプレキシティから、トータルの符号量が所望の値となるように、量子化ステップを設定する。

そしてその量子化ステップを用いて符号化を行う。このように、符号化パラメータとして、動画像の符号化において行われる量子化の量子化ステップを位置情報に基づいて設定し、その設定した量子化ステップを用いて再度符号化を行う疑似的な２パスのレート制御を行うことにより、より適切なレート制御を行うことができるので、符号化効率を向上させることができる。また、符号化処理の負荷の増大を抑制することができる。

例えば、このような疑似２パスのレート制御を行わない場合、各処理は図２３のＡに示されるように行われる。これに対して、疑似的な２パスレート制御は、図２３のＢに示される斜線部分において行われる。

図５の例の場合、符号化部２１３が、位置情報に基づいて疑似的な２パスレート制御を行う。例えば、符号化部２１３は、ステップＳ１２６（図８）において符号化パラメータを設定する際に、疑似２パスレート制御処理や符号化制御処理を行い、上述のように位置情報に基づいてレート制御を行う。

＜疑似２パスレート制御処理の流れ＞
その疑似２パスレート制御処理の流れの例を、図２４のフローチャートを参照して説明する。疑似２パスレート制御処理が開始されると、符号化部２１３は、ステップＳ２８１において、静止画圧縮後の符号量と量子化ステップに基づいて、各フレームのコンプレキシティ（＝符号量×量子化ステップ）を算出する。

ステップＳ２８２において、符号化部２１３は、位置情報に基づいて飛行体１０１の移動量を推定し、各フレームのコンプレキシティに反映する。

ステップＳ２８３において、符号化部２１３は、総符号量が所望の値になるような量子化ステップを、コンプレキシティに基づいて算出する。

ステップＳ２８３の処理が終了すると疑似２パスレート制御処理が終了する。

＜符号化制御処理の流れ＞
次に、符号化制御処理の流れの例を、図２５のフローチャートを参照して説明する。符号化制御処理が開始されると、符号化部２１３は、ステップＳ３０１において、疑似２パスレート制御処理において算出された量子化ステップを取得する。

ステップＳ３０２において、符号化部２１３は、カレントフレームの１つ前のフレームまでの実際の符号量と予測符号量との乖離等に応じて、量子化ステップを補正する。

ステップＳ３０３において、符号化部２１３は、補正後の量子化ステップを用いてカレントフレームの符号化を行う。

ステップＳ３０４において、符号化部２１３は、処理対象の動画像の全てのフレームを処理したか否かを判定する。未処理のフレームが存在すると判定された場合、処理はステップＳ３０１に戻る。

以上のように、全てのフレームが処理されるまで、ステップＳ３０１乃至ステップＳ３０４の処理が繰り返される。そして、ステップＳ３０４において全てのフレームが処理されたと判定された場合、符号化制御処理が終了する。

以上のように各処理を行うことにより、動画像符号化部２０４は、位置情報に基づいて疑似２パスレート制御を実現することができ、符号化効率を向上させることができる。

なお、例えば図９および図１０の場合、制御部３０１が、疑似２パスレート制御処理の各ステップの処理、並びに、符号化制御処理のステップＳ３０１、ステップＳ３０２、およびステップＳ３０４の各処理を行う。また、並べ替えバッファ３１１乃至レート制御部３２３が、動画像符号化処理として、ステップＳ３０３の処理を行う。したがって、この場合も、位置情報に基づいて疑似２パスレート制御を実現することができ、符号化効率の低減を抑制することができる。

＜方法＃１－５＞
次に方法＃１－５について説明する。図１を参照して説明したように、位置情報に基づいて撮像画像（フレーム）の取捨選択を行うようにしてもよい（方法＃１－５）。

飛行体の移動（各撮像の撮像範囲）は安定しておらず、例えば風等の外的要因により意図しない撮像範囲を撮像してしまうこともあり得る。例えば、図２６の例のように、フレーム番号９８乃至フレーム番号１０１の撮像画像が得られた場合、フレーム番号１００（frame100）の撮像画像（グレー）は、その位置情報が他のフレーム画像（撮像画像）の位置情報と大きく異なっている。なお、図中、この位置情報のGPS情報、IMU情報、および撮像制御情報（カメラ角度）がzを用いて表現され、他の撮像画像の位置情報のGPS情報、IMU情報、および撮像制御情報（カメラ角度）がｘを用いて表現されているのは、フレーム番号１００の位置情報が他のフレームの位置情報と大きく異なることを示している（ｘやｚが特定の値を示している訳ではない）。

このような意図しない範囲の撮像画像は、利用価値がなく不要である可能性が高い。換言するに、そのような撮像画像を削除しても差し支えない（例えば、不都合無く３次元地図情報を生成することができる）。そこで、そのような不要な撮像画像であるか否かを、位置情報（すなわち撮像範囲）に基づいて判定し、不要な撮像画像を削除して符号化する。例えば、図２６の場合、フレーム番号１００の撮像画像が削除される。

このようにすることにより、符号化効率の低減を抑制することができる。

図５の例の場合、符号化部２１３が、このようなフレーム画像の取捨選択を行う。例えば、符号化部２１３は、ステップＳ１２４（図８）において、フレームメモリ２１１に記憶された撮像画像群に対して、フレーム選択処理を行い、上述のような位置情報に基づくフレーム選択を行う。

＜フレーム選択処理の流れ＞
そのフレーム選択処理の流れの例を、図２７のフローチャートを参照して説明する。フレーム選択処理が開始されると、符号化部２１３は、ステップＳ３２１において、位置情報および動き予測結果に基づいて飛行体１０１の移動量を算出する。

ステップＳ３２２において、符号化部２１３は、その移動量が所定の閾値より大きいか否かを判定する。移動量が所定の閾値より大きいと判定された場合、符号化部２１３は、カレントフレームの撮像画像を削除する（符号化対象から除外する）。

ステップＳ３２３の処理が終了すると処理はステップＳ３２４に進む。また、ステップＳ３２２において、移動量が所定の閾値以下であると判定された場合、ステップＳ３２３の処理が省略され（カレントフレームの撮像画像を削除せずに）、処理はステップＳ３２４に進む。

ステップＳ３２４において、符号化部２１３は、符号化対象の動画像の全てのフレームを処理したか否かを判定する。その動画像に未処理のフレームが存在すると判定された場合、処理はステップＳ３２１に戻る。つまり、全てのフレームが処理されるまで、ステップＳ３２１乃至ステップＳ３２４の各処理が繰り返し実行される。そして、ステップＳ３２４において全てのフレームが処理されたと判定された場合、フレーム選択処理が終了する。

このようにフレーム選択処理を行うことにより、符号化効率の低減を抑制することができる。

なお、例えば図９および図１０の場合、制御部３０１が、ステップＳ１４２において、フレーム選択処理の各ステップの処理を行う。したがって、この場合も、位置情報に基づいて不要な撮像画像を削除することができ、符号化効率の低減を抑制することができる。

＜方法＃１－６＞
次に方法＃１－６について説明する。図１を参照して説明したように、位置情報をユーザデータとして動画符号化データに付加する（関連付ける）ようにしてもよい（方法＃１－６）。このようにすることにより、動画符号化データを復号して復元した撮像画像を処理する際に、その位置情報を利用することができる。例えば、地図情報を生成する際に、各撮像画像の位置情報用いることができ、より効率よく処理を行うことができる。

図５の例の場合、符号化部２１３が、位置情報をユーザデータとして動画符号化データに付加する。例えば、符号化部２１３は、ステップＳ１２７（図８）において、ユーザデータ処理を行い、位置情報を動画符号化データに付加する（関連付ける）。

＜ユーザデータ処理の流れ＞
そのユーザデータ処理の流れの例を、図２８のフローチャートを参照して説明する。ユーザデータ処理が開始されると、符号化部２１３は、ステップＳ３４１において、位置情報を含むユーザデータ（例えばSEI（Supplemental Enhancement Information））を生成する。

ステップＳ３４２において、符号化部２１３は、生成したユーザデータを、動画符号化データに含める。ステップＳ３４２の処理が終了するとユーザデータ処理が終了する。

このようにユーザデータ処理を行うことにより、動画符号化データを復号して復元した撮像画像を処理する際に、その位置情報を利用することができる。

なお、例えば図９および図１０の場合、制御部３０１が、ステップＳ１４２において、ユーザデータ処理のステップＳ３４１の処理を行う。また、符号化部３１５が、ステップＳ１５３において、ユーザデータ処理のステップＳ３４２の処理を行う。したがって、この場合も、位置情報を動画符号化データに付加することができ、その動画符号化データを復号して復元した撮像画像を処理する際に、その位置情報を利用することができる。

＜４．第２の実施の形態＞
＜方法＃２＞
次に方法＃２について説明する。図１を参照して説明したように、トランスコードの際に、複数移動体のそれぞれにおいて生成された撮像画像を、位置情報に基づいて並べ替え、並べ替えた撮像画像群を１本の動画像として、動画像用の符号化方式で符号化し動画符号化データを生成するようにしてもよい（方法＃２）。このようにすることにより、生成した飛行体１０１が異なる撮像画像を参照することができるので、より符号化効率を向上させることができる。

＜画像処理システム＞
この場合の画像処理システム１００は、図２９に示されるように、２台の飛行体１０１（飛行体１０１－１および飛行体１０１－２）を備える。この場合、被写体領域１１０を、これらの飛行体１０１－１および飛行体１０１－２が分担して撮像する。例えば、飛行体１０１－１は、図３０の太線矢印のように飛行しながら撮像を行い、・・・、A-frame98乃至A-frame101、・・・、A-frame120乃至A-frame123、・・・のように各撮像画像を生成する。また、飛行体１０１－２は、図３０の細線矢印のように飛行しながら撮像を行い、・・・、B-frame98乃至B-frame101、・・・、B-frame120乃至B-frame123、・・・のように各撮像画像を生成する。

つまり、この場合、飛行体１０１－１が撮像した撮像画像の列と、飛行体１０１－２が撮像した撮像画像の列とが交互に並ぶ。したがって、飛行体１０１－１が撮像した撮像画像と飛行体１０１－２が撮像した撮像画像との間においても互いの位置が近い組み合わせが存在する。つまり、相関性が高い組み合わせが存在する。したがって、両飛行体１０１が撮像した撮像画像をまとめて１本の動画像として符号化することにより、このような相関性を利用して符号化を行うことができるので、各飛行体１０１が生成した撮像画像をそれぞれ符号化する場合よりも、符号化効率の低減を抑制することができる。

例えば、図３０の各飛行体１０１が撮像した撮像画像を、図中点線矢印で示されるような整列順に並べ替えてまとめると、図３１の例の点線矢印のような順序の１本の動画像とすることができる。

例えば、１台の飛行体１０１で撮像を行うと図３２のＡのように処理時間がかかるとすると、２台の飛行体１０１で撮像を行った場合、図３２のＢに示されるように、撮像の時間を約半分にすることができる。したがって、図中点線部分のように、両飛行体１０１が撮像した撮像画像をその位置情報に基づいて１本の動画像にまとめる処理を行ったとしても、図３２のＡの場合よりも処理時間を短縮することができる。したがって、３次元地図情報の生成、提供、および利用を、より早く行うことができる。

＜変換転送処理の流れ＞
各飛行体１０１の飛行（撮像）が終了し、各飛行体１０１が地上局１０２と通信可能に接続されると、地上局１０２は、変換転送処理を実行する。地上局１０２により実行される、この場合の変換転送処理の流れの例を、図３３のフローチャートを参照して説明する。

変換転送処理が開始されると、地上局１０２は、各飛行体１０１について、ステップＳ４０１乃至ステップＳ４０４の各処理を、ステップＳ１２１乃至ステップＳ１２４の各処理と同様に実行する。

ステップＳ４０５において、地上局１０２は、全ての飛行体１０１について、これらの処理を行ったか否かを判定する。未処理の飛行体１０１が存在する場合、処理はステップＳ４０１に戻る。つまり、ステップＳ４０１乃至ステップＳ４０５の各処理が、各飛行体１０１について実行される。そして、ステップＳ４０５において全ての飛行体について処理が行われたと判定された場合、処理はステップＳ４０６に進む。

ステップＳ４０６において、符号化部２１３は、フレームメモリ２１１に記憶された、各飛行体１０１において生成された撮像画像を、それらの位置情報を用いて並べ替えて１本の動画像とする。

ステップＳ４０７乃至ステップＳ４１０の各処理は、ステップＳ４０６において生成された１本の動画像に対して、ステップＳ１２５乃至ステップＳ１２８の各処理と同様に実行される。

ステップＳ４１０が終了すると、変換転送処理が終了する。

以上のように各処理を実行することにより、符号化効率の低減を抑制することができる。

なお、例えば図９および図１０の場合、制御部３０１が、変換転送処理のステップＳ４０６乃至ステップＳ４０８の各処理を、図１０の動画像符号化処理のステップＳ１４２において行い、変換転送処理のステップＳ４０９の処理として、図１０の動画像符号化処理のステップＳ１４３乃至ステップＳ１５４を行えば良い。したがって、この場合も、符号化効率の低減を抑制することができる。

以上においては、飛行体１０１が２台の場合を例に説明したが、飛行体の台数は任意である。例えば、飛行体１０１が３台以上であってもよいし、１台でもよい。例えば、飛行体１０１が１台であっても、飛行経路が複雑であったり、撮像順が飛行経路に沿った順序でなかったりする場合も考えられる。そのような場合、位置情報に基づいて撮像画像の順序を並べ替えることにより、相関性の高い撮像画像を、順序が近いフレームとすることができ、符号化効率の低減を抑制することができる。

つまり、符号化部２１３が、どの飛行体１０１がどの撮像画像を生成したかによらず、複数の撮像画像をその位置情報に基づいて並べ替え、並べ替えた複数の撮像画像を動画像として符号化するようにしてもよい。このようにすることにより、符号化効率の低減を抑制することができる。

＜５．第３の実施の形態＞
＜方法＃３＞
次に方法＃３について説明する。図１を参照して説明したように、移動体において符号化データを送信するか記録するかを選択することができるようにしてもよい（方法＃３）。このようにすることにより、静止画符号化データを記録するかまたは伝送するか（システム全体としては撮像画像をどのように伝送するか）を選択することができ、状況に応じてより適切な方法で撮像画像を伝送させることができる。

＜画像処理システム＞
つまり、図３４に示されるように、飛行体１０１は、撮像画像（静止画符号化データ）をクラウド１０３に伝送するか、記憶部１５８に記憶した後地上局１０２に伝送するかを、状況等に応じて選択することができるようにする。

＜飛行体＞
その場合の飛行体１０１の主な構成例を、図３５に示す。図３５に示されるように、この場合の飛行体１０１も、第１の実施の形態の場合（図３）と基本的に同様の構成を有する。ただし、この場合の飛行体１０１は、選択部８１１および送信部８１２をさらに有する。

情報付加部１５７は、生成した画像ファイルを選択部８１１に供給する。選択部８１１は、任意の情報または任意の指示や制御等に基づいて、その画像ファイルを、記憶部１５８に供給するか、送信部８１２に供給するかを選択する。例えば、選択部８１１は、通信環境に応じてこの選択を行う。例えば、通信帯域が十分に広い場合、選択部８１１は、画像ファイルを送信部８１２に供給する。

送信部８１２は、任意のネットワークインタフェースを有し、そのネットワークインタフェースを介して、選択部８１１から供給される画像ファイルをクラウド１０３に送信する。

また、通信帯域が十分に広くない場合、選択部８１１は、画像ファイルを記憶部１５８に供給する。この場合、撮像画像（静止画符号化データ）は、第１の実施の形態と同様に記憶部１５８に記憶されて地上局１０２に伝送される。

以上のように、画像処理システム１００は、状況に応じてより適切な方法で撮像画像を伝送させることができる。

＜撮像処理の流れ＞
この場合の飛行体１０１が実行する撮像処理の流れの例を、図３６のフローチャートを参照して説明する。

ステップＳ５０１乃至ステップＳ５０５の各処理は、ステップＳ１０１乃至ステップＳ１０５の各処理（図７）と同様に実行される。

ステップＳ５０６において、選択部８１１は、通信環境（通信帯域幅）等に基づいて、画像ファイルを送信可能であるか否かを判定する。送信可能であると判定された場合、処理はステップＳ５０７に進む。

ステップＳ５０７において、送信部８１２は、その画像ファイルを例えばクラウド１０３に送信する。ステップＳ５０７の処理が終了すると撮像処理が終了する。この場合、地上局１０２による変換転送処理が省略される。

また、ステップＳ５０６において、送信不可能であると判定された場合、処理はステップＳ５０８に進む。ステップＳ５０８において、記憶部１５８は、その画像ファイルを記憶する。ステップＳ５０８の処理が終了すると撮像処理が終了する。この場合、地上局１０２は、第１の実施の形態において説明したように、変換転送処理を行う。

以上のように撮像処理を行うことにより、飛行体１０１は、状況に応じてより適切な方法で撮像画像を伝送させることができる。

＜６．付記＞
＜符号化方式とトランスコード＞
以上においては、飛行体１０１（移動体）が撮像画像を静止画像用の符号化方式で符号化し、地上局１０２がその静止画符号化データを動画符号化データにトランスコードする（動画像用の符号化方式で再符号化する）ように説明したが、飛行体１０１や地上局１０２に適用される符号化方式は任意であり、この例に限定されない。例えば、飛行体１０１が撮像画像を動画像用の符号化方式で符号化して動画符号化データを生成し、地上局１０２が、それを他の動画像用の符号化方式にトランスコードするようにしてもよい。また例えば、地上局１０２が静止画符号化データをトランスコードして生成した動画符号化データを再度トランスコードして、他の動画像用の符号化方式の動画符号化データに変換するようにしてもよい。さらに例えば、地上局１０２が、飛行体１０１により生成された静止画符号化データをトランスコードして、他の静止画像用の符号化方式の静止画符号化データに変換するようにしてもよい。

つまり、地上局１０２がトランスコードする符号化データ（地上局１０２に入力される符号化データ）の符号化方式は任意であり、静止画像用の符号化方式であってもよいし、動画像用の符号化方式であってもよい。換言するに、復号部２０３が復号する符号化データの符号化方式は任意であり、静止画像用の符号化方式であってもよいし、動画像用の符号化方式であってもよい。つまり復号部２０３が行う復号の復号方式は、任意であり、静止画像用の復号方式であってもよいし、動画像用の復号方式であってもよい。

また、地上局１０２がトランスコードして生成する符号化データ（地上局１０２から出力される符号化データ）の符号化方式は任意であり、静止画像用の符号化方式であってもよいし、動画像用の符号化方式であってもよい。換言するに、動画像符号化部２０４（符号化部２１３）が符号化して生成する符号化データの符号化方式（つまり動画像符号化部２０４（符号化部２１３）が行う符号化の符号化方式）は任意であり、静止画像用の符号化方式であってもよいし、動画像用の符号化方式であってもよい。

また、以上においては、地上局１０２がトランスコードを行って符号化方式を変換するように説明したが、このトランスコードは、符号化データを復号して再度符号化することにより何らかのパラメータを変換するものであればどのようなものであってもよい。例えば、地上局１０２が、符号化データを復号・再符号化してレートを変更する（トランスコードとしてトランスレートを行う）ようにしてもよい。

また、地上局１０２が行うトランスコードにおける復号・符号化は、方式やパラメータ等の所望の事項の変換に必要な処理が行われればよく、画像データを完全に復元しなくてもよい。例えば、地上局１０２が、符号化データの復号を一部のみ行って（複数の処理からなる復号処理の内の一部の処理のみを行って）、直交変換係数等の係数データを復元し、その係数データを再符号化して（複数の処理からなる符号化処理の内の一部の処理のみを行って）符号化データを生成するようにしてもよい。このように複数の処理からなる復号・符号化の必要な処理のみを行うようにすることにより、トランスコードに伴う処理の負荷の増大を抑制することができる。

＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図３７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図３７に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

＜本技術の適用対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。

本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。

さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。

＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） 撮像画像を、移動体が被写体を撮像し前記撮像画像を生成した位置を示す位置情報に基づいて符号化する符号化部
を備える画像処理装置。
（２） 前記位置情報は、前記移動体の位置を示すGPS（Global Positioning System）情報、前記移動体の動きを示すIMU（Inertial Measurement Unit）情報、および前記撮像画像の撮像方向を示す撮像制御情報の内、少なくともいずれか１つを含む
（１）に記載の画像処理装置。
（３） 前記符号化部は、前記撮像画像を動画像のフレーム画像として符号化する
（１）または（２）に記載の画像処理装置。
（４） 前記符号化部は、前記動画像の符号化において参照する参照フレームを前記位置情報に基づいて設定する
（３）に記載の画像処理装置。
（５） 前記符号化部は、前記動画像の符号化においてフレーム間予測を行い、動きベクトルを前記位置情報に基づいて設定する
（３）または（４）に記載の画像処理装置。
（６） 前記符号化部は、さらに符号化済みのフレームの動きベクトルに基づいて、カレントフレームの動きベクトルを設定する
（５）に記載の画像処理装置。
（７） 前記符号化部は、前記動画像の符号化に用いられる符号化パラメータを前記位置情報に基づいて設定する
（３）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記符号化部は、前記符号化パラメータとして、GOP構造を前記位置情報に基づいて設定する
（７）に記載の画像処理装置。
（９） 前記符号化部は、前記符号化パラメータとして、前記動画像の符号化において行われる量子化の量子化ステップを前記位置情報に基づいて設定する
（７）または（８）に記載の画像処理装置。
（１０） 前記符号化部は、符号化する撮像画像を前記位置情報に基づいて選択する
（３）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記符号化部は、符号化して生成した符号化データに前記位置情報を付加する
（３）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記撮像画像が所定の符号化方式で符号化された符号化データを、前記符号化方式に対応する復号方式で復号し、前記撮像画像を復元する復号部をさらに備え、
前記符号化部は、前記復号部により復元された前記撮像画像を、前記符号化方式と異なる他の方式で、前記位置情報に基づいて符号化する
（３）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記符号化データは、前記撮像画像が静止画像として１枚ずつ符号化されており、
前記復号部は、複数の前記撮像画像のそれぞれの前記符号化データを復号し、
前記符号化部は、復元された複数の前記撮像画像を動画像として符号化する
（１２）に記載の画像処理装置。
（１４） 前記位置情報は、Exifフォーマットにより前記符号化データに付加されている
（１３）に記載の画像処理装置。
（１５） 前記符号化部は、複数の前記撮像画像を前記位置情報に基づいて並べ替え、並べ替えた複数の前記撮像画像を動画像として符号化する
（３）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記複数の撮像画像は、複数の前記移動体により生成された撮像画像である
（１５）に記載の画像処理装置。
（１７） 前記符号化部により生成された符号化データを他の装置に送信する送信部
をさらに備える（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８） 前記符号化部により生成された前記符号化データを記録する記録部と、
前記符号化データを、前記送信部を介して前記他の装置に送信するか、前記記録部に記録するかを、前記送信部の通信状況に応じて選択する選択部と
をさらに備える（１７）に記載の画像処理装置。
（１９） 前記移動体は飛行体である
（１）乃至（１８）のいずれかに記載の画像処理装置。
（２０） 撮像画像を、移動体が被写体を撮像し前記撮像画像を生成した位置を示す位置情報に基づいて符号化する
画像処理方法。

（２１） 撮像部を備える移動体により撮像された撮像画像が符号化された符号化データを、前記撮像画像を生成した位置を示す位置情報に基づいてトランスコードするトランスコード部
を備える画像処理装置。
（２２） 前記トランスコード部は、
前記符号化データを復号して復号画像を生成する復号部と、
前記復号により生成された復号画像を符号化する符号化部と
を備える（２１）に記載の画像処理装置。
（２３） 前記符号化データは、前記撮像画像が静止画像として１枚ずつ符号化されており、
前記復号部は、複数の前記撮像画像のそれぞれの前記符号化データを復号して前記復号画像を生成し、
前記符号化部は、前記復号部により生成された複数の前記復号画像を動画像として符号化する
（２２）に記載の画像処理装置。
（２４） 前記符号化部は、動画像のフレーム画像として符号化する
（２２）または（２３）に記載の画像処理装置。
（２５） 前記符号化部は、前記動画像の符号化において参照する参照フレームを前記位置情報に基づいて設定する
（２４）に記載の画像処理装置。
（２６） 前記符号化部は、前記動画像の符号化においてフレーム間予測を行う際に用いる動きベクトルを前記位置情報に基づいて設定する
（２４）または（２５）に記載の画像処理装置。
（２７） 前記符号化部は、符号化済みのフレームの動きベクトルに基づいて、カレントフレームの動きベクトルを設定する
（２６）に記載の画像処理装置。
（２８） 前記符号化部は、前記動画像の符号化に用いられる符号化パラメータを前記位置情報に基づいて設定する
（２４）乃至（２７）のいずれかに記載の画像処理装置。
（２９） 前記符号化部は、前記符号化パラメータとして、GOP構造を前記位置情報に基づいて設定する
（２８）に記載の画像処理装置。
（３０） 前記符号化部は、前記符号化パラメータとして、前記動画像の符号化において行われる量子化の量子化ステップを前記位置情報に基づいて設定する
（２８）または（２９）に記載の画像処理装置。
（３１） 前記符号化部は、符号化する撮像画像を前記位置情報に基づいて選択する
（２３）乃至（３０）のいずれかに記載の画像処理装置。
（３２） 前記位置情報は、前記移動体の位置を示すGPS（Global Positioning System）情報、前記移動体の動きを示すIMU（Inertial Measurement Unit）情報、および前記撮像画像の撮像方向を示す撮像制御情報の内、少なくともいずれか１つを含む
（２１）乃至（３１）のいずれかに記載の画像処理装置。
（３３） 前記符号化データと前記位置情報とは関連づけられている
（２１）乃至（３２）のいずれかに記載の画像処理装置。
（３４） 前記位置情報は、Exifフォーマットにより前記符号化データに付加されている
（３３）に記載の画像処理装置。
（３５） 前記符号化部は、複数の前記復号画像を前記位置情報に基づいて並べ替え、並べ替えた複数の前記復号画像を動画像として符号化する
（２４）乃至（３４）のいずれかに記載の画像処理装置。
（３６） 前記複数の撮像画像は、複数の前記移動体により生成された撮像画像である
（３５）に記載の画像処理装置。
（３７） 前記符号化部により生成された再符号化データを他の装置に送信する送信部
をさらに備える（２３）乃至（３６）のいずれかに記載の画像処理装置。
（３８） 前記移動体は飛行体である
（２１）乃至（３７）のいずれかに記載の画像処理装置。
（３９） 前記移動体は車である
（２１）乃至（３８）のいずれかに記載の画像処理装置。
（４０） 撮像部を備える移動体により撮像された撮像画像が符号化された符号化データを、前記撮像画像を生成した位置を示す位置情報に基づいてトランスコードする
画像処理方法。

１００ 画像処理システム， １０１ 飛行体， １０２ 地上局， １０３ クラウド， １０４ 端末装置， １１０ 被写体領域， １３１ 制御部， １５１ 飛行部， １５２ IMU部， １５３ GPS部， １５４ 撮像制御部， １５５ 撮像部， １５６ 符号化部， １５７ 情報付加部， １５８ 記憶部， １５９ 送信部， ２０１ 受信部， ２０２ 分離部， ２０３ 復号部， ２０４ 動画像符号化部， ２０５ 送信部， ２０６ 記憶部， ２１１ フレームメモリ， ２１２ 動き予測部， ２１３ 符号化部， ３０１ 制御部， ３１１ 並べ替えバッファ， ３１４ 量子化部， ３１５ 符号化部， ３１７ 逆量子化部， ３２２ 予測部， ８１１ 選択部， ８１２ 送信部

Claims (20)

1. 撮像部を備える移動体により撮像され、静止画像用の符号化方式で符号化された撮像画像の静止画符号化データを受信する受信部と、
   前記受信部により受信された前記静止画符号化データを復号する復号部と、
   前記復号部により生成された前記撮像画像をフレーム画像とする動画像を符号化対象とし、前記符号化対象を動画像用の符号化方式で符号化する符号化部とを備え、
   前記符号化部は、前記撮像画像を生成した位置を示す位置情報に基づいて、前記符号化対象を符号化する処理を制御する
   画像処理装置。
2. 前記符号化部は、前記位置情報に基づいて、前記符号化対象を符号化する前記処理の内、予測に関する処理を制御する
   請求項１に記載の画像処理装置。
3. 前記符号化部は、前記位置情報に基づいて、前記予測において参照先とする参照フレームを設定する
   請求項２に記載の画像処理装置。
4. 前記符号化部は、前記位置情報に基づいて、カレントフレームと重畳する領域が大きいフレームから順に前記参照フレームとして設定する
   請求項３に記載の画像処理装置。
5. 前記符号化部は、前記位置情報に基づいて前記予測に用いる動きベクトルの概算値を設定し、前記概算値に基づいて前記動きベクトルを設定する
   請求項２に記載の画像処理装置。
6. 前記符号化部は、さらに立体構造物の高さを考慮して前記概算値を設定する
   請求項５に記載の画像処理装置。
7. 前記符号化部は、前記位置情報に基づいて前記予測の際のGOP構造を設定する
   請求項２に記載の画像処理装置。
8. 前記符号化部は、前記移動体の移動量が所定の閾値より大きい場合、より単純なGOP構造を設定する
   請求項７に記載の画像処理装置。
9. 前記符号化部は、前記移動体の移動量が所定の閾値以下である場合、より複雑なGOP構造を設定する
   請求項７に記載の画像処理装置。
10. 前記符号化部は、前記位置情報に基づいて、前記符号化対象を符号化する前記処理の内、量子化に関する処理を制御する
    請求項１に記載の画像処理装置。
11. 前記符号化部は、前記位置情報に基づいて、前記量子化の量子化ステップを設定する
    請求項１０に記載の画像処理装置。
12. 前記符号化部は、前記位置情報に基づいて前記移動体の移動量を推定し、推定した前記移動量に基づいてコンプレキシティを算出し、前記コンプレキシティに基づいて、総符号量が所望の値になるような量子化ステップを設定する
    請求項１１に記載の画像処理装置。
13. 前記符号化部は、前記位置情報に基づいて、前記符号化対象を符号化する前記処理の内、前記フレーム画像の並べ替えに関する処理を制御する
    請求項１に記載の画像処理装置。
14. 前記符号化部は、前記位置情報が示す位置が前記フレーム画像同士で近くなるように前記並べ替えを行う
    請求項１３に記載の画像処理装置。
15. 前記符号化部は、前記位置情報に基づいて、複数の前記移動体により生成された前記撮像画像の並べ替えを行う
    請求項１４に記載の画像処理装置。
16. 前記符号化部は、前記符号化対象を符号化して生成した動画符号化データに前記位置情報を付加する
    請求項１に記載の画像処理装置。
17. 前記符号化部により生成された動画符号化データを他の装置に送信する送信部
    をさらに備える請求項１に記載の画像処理装置。
18. 前記移動体は飛行体である
    請求項１に記載の画像処理装置。
19. 前記移動体は車である
    請求項１に記載の画像処理装置。
20. 撮像部を備える移動体により撮像され、静止画像用の符号化方式で符号化された撮像画像の静止画符号化データを受信し、
    受信された前記静止画符号化データを復号し、
    復号されて生成された前記撮像画像をフレーム画像とする動画像を符号化対象とし、前記符号化対象を動画像用の符号化方式で符号化し、
    前記撮像画像を生成した位置を示す位置情報に基づいて、前記符号化対象を符号化する処理を制御する
    画像処理方法。

Images