JP5595101B2

JP5595101B2 - データ送信方法及び装置

Info

Publication number: JP5595101B2
Application number: JP2010101314A
Authority: JP
Inventors: 陽子斉藤
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2010-04-26
Filing date: 2010-04-26
Publication date: 2014-09-24
Anticipated expiration: 2030-04-26
Also published as: US20110261198A1; JP2011234040A

Description

本発明は、データ送信方法及びデータ送信装置に関する。

ロボットや車両などの移動体に搭載された撮像装置が取得した画像データを用いて画像処理などのアプリケーションを実行する場合、当該画像データを取得した際の移動体に関連する関連データが必要となる。例えば、ロボットの頭部に搭載された撮像装置が取得した画像データを用いて画像処理を行い、物体の位置を認識する場合、少なくとも当該画像データを取得した際における頭部の姿勢が必要となる。そして、リアルタイム性が要求されるため、画像データと同時間に取得した関連データとはアプリケーション装置で扱う際に同期が保障されている必要がある。なお、特許文献１には、ビデオカメラから取り込んだ画像とマイクロフォンから取り込んだ音声を取り込み、表情及び音声情報を同期転送することが開示されている。

そこで、第１の方策として、画像データに同動時に取得した関連データを埋め込み送信することが想定され得る。

また、第２の方策として、画像データと関連データとを異なる送信部により別経路で送信し、受信部で画像データと関連データとを同期させることが想定され得る。

特開２００８−２５９８０８号公報

しかしながら、上記第１の方策の場合、関連データが埋め込まれた画像データは、本来の画像データと異なるため、微細なデータの変化で処理結果が大きく影響を受ける画像処理アプリケーションを実行することができない。

また、リアルタイム性が要求されるため、単位時間当たりに送信可能なデータ量に圧縮する必要があるが、非可逆圧縮方式を用いコーデックを行うと埋め込んだ関連データを復元できないので、可逆圧縮方式を用いてコーデックを行う必要がある。しかし、可逆圧縮方式を用いたコーデックは、一般に、圧縮処理時間が長くなりリアルタイム性を確保するには、非可逆圧縮方式のコーデックと比べて高価となる。なお、時間当たりの画像コマ数や画像サイズを小さくするなど、画像データ量を削減すれば、データを圧縮せずに送信することは可能となるが、画像データ量を削減すると画像解析精度が低下する。さらに、圧縮せずに大量のデータを送信可能な送信部を実現するには、高性能な装置や専用装置が必要となるため、コスト高となる。

上記第２の方策の場合、送信装置、受信装置及びこれらを接続する送信ケーブルの個数が増加し、送受信システムのサイズや重量が増加し、操作性も悪化する。さらに、受信部で画像データと関連データとの同期を合わせることは非常に困難である。例えば、画像データはイーサネット（登録商標）ケーブル、関連データはＵＳＢケーブルなど、画像データと関連データの伝送ケーブルの種別が異なれば、これら２つの動作クロックソースが異なるため、受信部の入力端での完全同期は不可能であり、同期を合わせるための新たな仕組みが必要となる。

本発明は、以上の点に鑑み、移動体に搭載された撮像装置が取得した画像データを当該画像データを取得した際の移動体に関連する関連データと同期させ、市販の送信装置を用いてリアルタイムに送信可能なデータ送信方法及び装置を提供することを目的とする。

本発明のデータ送信方法は、所定の画像フォーマットの画像フレーム及び所定の音声フォーマットの音声フレームを送信する送信部を用いて、移動体に備わる撮像装置が撮像して得た画像データ及び該移動体に関連する関連データを同期して送信するデータ送信方法であって、前記撮像装置が撮像して得た画像データを取得し、画像フレームを生成すると共に、前記撮像装置が撮像して得た画像データの取り込みが開始されたことを通知するための画像取込通知信号に基づき取得される現時刻を当該画像データの撮像時間を示す撮像時間データとして取得し、前記画像フレームに付加するステップと、前記撮像時間に取得した関連データを取得すると共に、前記撮像時間データを前記関連データに付加するステップと、前記撮像時間データが共通している前記画像フレームと前記関連データを取得し、前記画像フォーマットに変換した前記画像フレームと共に、前記音声フォーマット内の音声データ格納領域に格納した前記関連データからなる関連フレームを、前記送信部を用いて送信するステップとを備えることを特徴とする。

本発明のデータ送信方法によれば、撮像時間データが共通している画像フレームと共に、送信部が音声フレームを送信する場合に使用する音声フォーマット内の音声データ格納領域に格納した関連データを、送信部を用いて送信するので、撮像時間が共通している画像フレームと関連データを確実に同期させて送信することができる。

さらに、所定の画像フォーマットの画像フレーム及び所定の音声フォーマットの音声フレームを送信する送信部を用いて、画像フレームと関連データを同期させて送信するので、送信部として市販の安価な送信装置を使用することが可能となる。

また、本発明のデータ送信方法において、前記撮像時間データが共通している前記画像フレームと前記関連データを取得したとき、一旦、当該関連データを前記画像フレーム内の画像データが格納された領域外のブランクデータ領域に格納することが好ましい。

この場合、画像フレーム内の画像データが格納された領域外のブランクデータ領域に当該画像フレームと撮像時間データが共通している関連データを格納するので、これらのデータをそのまま同期させて出力することが可能となる。

また、本発明のデータ送信方法において、前記送信部は、非可逆圧縮方式を用いてデータを送信することが好ましい。

この場合、送信部は、非可逆圧縮方式を用いてデータを圧縮して送信するので、可逆圧縮方式を用いる場合と比較して、圧縮処理時間及び送信データ量を削減することが可能となると共に、安価な送信装置を使用することが可能となる。

また、本発明のデータ送信方法において、前記送信部が送信した前記画像フレームと関連データとを受信し、該画像フレームと関連データとを受信した時点を示す受信カウンタを生成し、該受信カウンタを当該画像フレーム及び関連データにそれぞれ付加するステップを備えることが好ましい。

この場合、撮像時間が共通している画像フレームと関連データを受信カウンタを介して関連付けることが可能となる。

本発明のデータ送信装置は、所定の画像フォーマットの画像フレーム及び所定の音声フォーマットの音声フレームを送信する送信部を用いて、移動体に備わる撮像装置が撮像して得た画像データ及び該移動体に関連する関連データを同期して送信するデータ送信装置であって、前記撮像装置が撮像して得た画像データを取得し、画像フレームを生成すると共に、前記撮像装置が撮像して得た画像データの取り込みが開始されたことを通知するための画像取込通知信号に基づき取得される現時刻を当該画像データの撮像時間を示す撮像時間データとして取得し、前記画像フレームに付加する画像フレーム生成部と、前記撮像時間に取得した関連データを取得すると共に、前記撮像時間データを前記関連データに付加する関連データ取得部と、前記撮像時間データが共通する前記画像フレームと前記関連データとを取得し、当該画像フレームを前記画像フォーマットに変換した画像フレーム、及び当該関連データを前記所定の音声フォーマット内の音声データ格納領域に格納したデータからなる関連フレームを生成する送信用フレーム生成部とを備え、前記送信用フレーム生成部が生成した前記画像フレーム及び関連フレームを、前記送信部を用いて送信することを特徴とする。

本発明のデータ送信装置によれば、撮像時間データが共通している画像フレームと共に、送信部が音声フレームを送信する場合に使用する音声フォーマット内の音声データ格納領域に格納した関連データを、送信部を用いて送信するので、撮像時間が共通している画像フレームと関連データを同期させて送信することができる。

また、本発明のデータ送信装置において、例えば、移動体はロボットである。そして、この場合、前記関連データ取得部は少なくとも当該ロボットが外界から得た外部情報を前記関連データとして取得することが好ましい。また、関連データ取得部は少なくとも当該ロボットが内界から得た内部情報を前記関連データとして取得することは好ましい。

さらに、本発明のデータ送信装置において、例えば、移動体は車両である。そして、前記関連データ取得部は少なくとも当該車両が外界から得た外部情報を前記関連データとして取得することが好ましい。また、前記関連データ取得部は少なくとも当該車両が内界から得た内部情報を前記関連データとして取得することが好ましい。

本発明の実施形態に係るロボットの概略構成を示す斜視図。ロボットとアプリケーション装置内の内部構成を示すブロック図。制御ユニット内のデータ処理を示すフローチャート。アプリケーション装置内のデータ処理を示すフローチャート。画像データと関連データの格納状態を模式的に示す図であり、（ａ）は画像フレーム生成部における画像フレームを、（ｂ）は画像フレーム生成部にて画像フレームのブランク領域に関連データを埋め込んだ状態を、（ｃ）は画像データ・関連データ分離部にて画像データと関連データが分離された状態を、（ｄ）は画像データ・関連データ分離部にて受信カウンタを付加した状態をそれぞれ示す。音声フレームのフォーマット内の音声データ格納領域に関連フレームを格納する一例を示す図。本発明の別の実施形態に係る車両の概略構成を示す斜視図。

以下、本発明の実施形態に係るデータ送信装置を備え、本発明の実施形態に係るデータ送信方法を実施するロボット１について図面を参照して説明する。ロボット１は本発明の移動体の一例である。

図１に示すように、ロボット１は、ここでは、胴部２、及び胴部２と関節（首関節、肩関節、股関節）を介してそれぞれ連結された頭部３、２本の脚体４，４、２本の腕体５，５を備えた人型ロボットである。胴部２は腰関節を介して連結された上胴部と下胴部とからなり、各脚体４はその先端に足平６を備え、複数の関節（膝関節、足首関節など）を有し、各腕体５はその先端にハンド７を備え、複数の関節（肘関節、手首関節など）を有している。

頭部３には、外界の画像を撮像する撮像装置であるカメラ８，８が搭載されている。ここでは、カメラ８，８は左右一対設けられており、各カメラ８は、ＣＣＤセンサなどの光電変換素子をアレイ状に配置されたイメージセンサアレイと、イメージセンサアレイの表面上にレンズを介して光学画像を集束するレンズとを備えている。画像はレンズを介してイメージセンサアレイ上に生成され、各画像要素すなわち画素によって、画素に当る光がアナログ信号へ変換され、カメラ８から出力される。

さらに、ロボット１は、ロボット１に関する各種制御を行う制御ユニット９を胴部２内に備えている。制御ユニット９は、マイクロコンピュータを有する電子回路ユニットにより構成されている。

図２に示すように、制御ユニット９は、本発明の関連データ取得部に相当する主制御部１０、画像フレーム生成部（画像フレーム制御部）２０、送信用フレーム生成部（映像生成部）３０、及び送信部（映像送信部）４０から構成されている。そして、送信部４０から有線又は無線によりデータ送信可能に構成されたアプリケーション装置５０が、ロボット１と別個に設けられている。

主制御部１０は、ロボット１の動作制御を行う。主制御部１０には、ロボット１の姿勢を検出する姿勢センサ１１及び外界からロボット１に対して生じる力を検出する力センサ１２の検出信号が入力される。

姿勢センサ１１として、例えば、胴体２（図１参照）内に搭載され、胴体２の傾斜角及びその変化速度（角速度）とを計測するための傾斜センサが含まれる。傾斜センサは、例えば、加速度センサとジャイロセンサ等のレートセンサ（角速度センサ）とから構成される。

力センサ１２として、例えば、ハンド７（図１参照）に生じた接触力を検出する力覚センサ、及び各脚体４の足首関節に搭載され、床から足平６を介して各脚体４に伝達される床反力の３軸方向の並進力成分及び３軸まわりのモーメント成分を検出する６軸力センサが含まれる。

主制御部１０は、姿勢センサ１１及び力センサ１２の検出信号などに基づいて、各関節の関節変位指令を算出して駆動制御部１３に出力する。そして、駆動制御部１３は、この関節変位指令に実関節変位を追従させるために必要な駆動信号を生成し、駆動機構部１４に出力する。

さらに、ロボット１は、外界の照度を検出する照度センサ１５、外界の温度を検出する温度センサ１６、外界の湿度を検出する湿度センサ１７を備え、これらセンサ１５〜１７の検出信号は主制御部１０に出力される。なお、これらのセンサ１５〜１７が検出した情報は、カメラ８，８が撮像して得た画像データの補正などに使用される。

また、制御ユニット９は、ＲＯＭやＲＡＭなどの記憶装置からなり、ロボット１に特有のＩＤ番号等の識別標識データ、各カメラの型式・補正データや、各センサの検出信号や各関節の関節変位指令などからなる履歴データを記憶する記憶部１８を備えている。主制御部１０は記憶部１８を参照して、記憶部１８に記憶されたデータを取得する。

また、制御ユニット９は、時刻を計時する時計部１９を備えている。主制御部１０は時計部１９を参照して、現時刻を取得する。

図２及び図３に示すように、画像フレーム生成部２０は、カメラ８，８からアナログの画像信号が入力される（Ｓ１）と、画像データの取り込みが開始されたことを通知するために画像取込通知信号（シャッタ情報）Ｓを主制御部１０に出力する（Ｓ２）。主制御部１０は、画像取込通知信号Ｓが入力されると、時計部１９を参照して現時刻を取得し、撮像時間データを示すタイムスタンプＴＳ（Ｓ３）を発行する。

また、画像フレーム生成部２０は、カメラ８，８から入力されたアナログ信号をデジタル化し、所定のフォーマットに従ってフレーム化して画像フレームを生成すると共に、主制御部１０が発行したタイムスタンプＴＳを付加する（Ｓ４）。ここで、フォーマットは、送信部４０で画像フレームを送信するに適したフォーマットであり、図５（ａ）に示すように、画像データが格納される領域Ｒ１と、それ以外のブランク領域Ｒ２とからなり、ブランク領域Ｒ２の一部の所定の領域Ｒ３にタイムスタンプデータが格納される。

主制御部１０は、画像取込通知信号Ｓが入力されると、外界自体、及び外界からロボット１に影響を及ぼす事柄に関する外部情報を示す外部関連データと、ロボット１自体及びその内部に関する内部情報を示す内部関連データとを取得する（Ｓ５）。外部情報には、外界自体に関する情報として、照度センサ１５、温度センサ１６、湿度センサ１７がそれぞれ検出した外界の照度、温度、湿度が挙げられ、ロボット１に影響を及ぼす事柄に関する情報として、力センサ１２が検出したロボット１に外界から作用する力が挙げられる。内部情報には、ロボット１自体に関する情報として、姿勢センサ１１が検出したロボット１の姿勢が挙げられ、ロボット１内部に関する情報として、ロボット１の各関節の関節角度、駆動速度、駆動加速度が挙げられる。

主制御部１０は、外部関連データと内部関連データとからなる関連データに、自身が発行したタイムスタンプＴＳを付加し、画像フレーム生成部２０に出力する（Ｓ６）。

なお、カメラ８，８が画像データを取得した時刻と、主制御部１０に画像取込通知信号Ｓが入力された時刻には、極短時間のタイムラグしかないので、これらの時刻を同時刻とみなしている。ただし、取得時刻と共に関連データを記憶部１８に一時記憶させておき、前記タイムラグを考慮して、カメラ８，８が画像データを取得した時刻と同時刻に取得した関連データに、当該時刻を示すタイムスタンプＴＳを付加して、画像フレーム生成部２０に出力してもよい。

画像フレーム生成部２０は、画像フレームとタイムスタンプＴＳが共通する関連データを取得し（Ｓ７）、図５（ｂ）に示すように、当該関連データを画像フレーム内の画像データが格納された領域Ｒ１外のブランクデータ領域Ｒ２に格納した画像・関連フレームを生成し、送信用フレーム生成部３０へ出力する（Ｓ８）。

送信用フレーム生成部３０は、画像・関連フレーム分離部（画像フレーム・関連データ受信部）３１、関連フレーム生成部（音声フレーム生成部）３２、及び画像フレーム・関連フレーム同期部（映像合成部）３３から構成されている。

画像・関連フレーム分離部３１は、入力されした画像・関連フレームから関連データを取り出し、タイムスタンプＴＳと共に関連フレーム生成部３２に出力する（Ｓ９）。また、画像・関連フレーム分離部３１は、画像・関連フレームから関連データを取り出された残部である画像フレームを、画像フレーム・関連フレーム同期部３３に送信する（Ｓ１０）。

本実施形態では、送受信システムとして映像送受信装置を用いるために、関連フレームを音声フレーム化している。

関連フレーム生成部３２は、入力された関連データ及びタイムスタンプＴＳを用いて、送信部４０の音声フレームのフォーマット内の音声データ格納領域に関連データを格納した関連フレームを生成する（Ｓ１１）。ここでは、音声信号のデジタル転送規格を例に挙げて説明する。

図６に示すように、この転送規格では、１ブロックは１９２個のフレームからなり、フレームは２個のサブフレーム、すなわちＬチャンネルサブフレームとＲチャンネルサブフレームとから構成さている。各サブフレームは１サンプル分のデータを、４ビット分のプリアンブルＢ、２４ビット分の音声データ、１ビット分のValidityフラグＶ、１ビット分のユーザーデータＵ、１ビット分のチャネルステータスＣ、及び１ビット分のパリティＰからなる３２ビットで構成されている。そして、元来音声データが格納される領域（図６におけるＬ音声データ及びＲ音声データの領域）に関連データを２４ビットずつに分割して格納する。なお、関連データは、該関連データを構成する各種のデータから構成される関連データボディ、及び該関連データに付随するヘッダ、管理番号、エラー保護用のＣＲＣ、フッタ、タイムスタンプＴＳなどが所定のフォーマットに従って、前記領域に格納される。

そして、関連フレーム生成部３２は、生成した関連フレームを画像フレーム・関連フレーム同期部３３に出力する。

画像フレーム・関連フレーム同期部３３は、タイムスタンプＴＳが共通している画像フレームと関連フレームとを同期させて、送信部４０へ出力する（Ｓ１２）。

送信部４０は、同期して入力された画像フレームと関連フレームをそれぞれＭＰＥＧなどの所定の方式で符号化（エンコード）して圧縮し、アプリケーション装置５０に送信する（Ｓ１３）。

市販の送信装置を用いて送信部４０を構成する場合、装置製造会社や送信規格によって、画像フレームのブランク領域に格納されたデータが無視されずに、何らかの意味を有することがある。そのため、送信部４０に入力される前に、画像フレームのブランク領域Ｒ２に格納された関連データを取り出し、ブランク領域Ｒ２にブランクデータを格納している。ただし、送信部４０を専用の送信装置を構成する場合、ブランク領域Ｒ２に関連データを格納したまま送信してもよい。

このように、タイムスタンプＴＳが共通している画像フレームと共に、送信部３０が音声フレームを送信する場合に使用する音声フォーマット内の音声データ格納領域に格納した関連データを、送信部３０を用いて送信するので、画像フレームの撮像（取得）タイミングと同タイミングの関連データとを確実に同期させて送信することができる。

さらに、所定の画像フォーマットの画像フレーム及び所定の音声フォーマットの音声フレームを送信する送信部３０を用いて、画像フレームと関連データを同期させて送信するので、送信部３０として市販の安価な送信装置を使用することが可能となる。

アプリケーション装置５０は、受信部（映像受信部）５１、画像データ・関連データ分離部（映像分離部）５２、及びアプリケーション部５３から構成されている。

受信部５１は、送信部４０から同期して受信した画像フレームと関連フレームを、それぞれ所定の方式で伸張化（デコード）して、画像データ・関連データ分離部５２へ出力する（Ｓ１４）。

画像データ・関連データ分離部５２は、図５（ｄ）に示すように、受信部５１から同期して入力された画像フレームから画像データを、関連フレームから関連データをそれぞれ取り出し（Ｓ１５）、画像データ及び関連データに共通する受信カウンタＣを付加する（Ｓ１６）。また、画像データ・関連データ分離部５２は、画像データを転送完了前に関連データ内からタイムスタンプＴＳの抽出を完了し、画像データの最後にタイムスタンプＴＳを付加する（Ｓ１７）。

そして、画像データ・関連データ分離部５２は、分離した画像データと関連データとを同期させてアプリケーション部に出力する（Ｓ１８）。

アプリケーション部５３は、入力された画像データ及び関連データを用いて所定のアプリケーションを実行する（Ｓ１９）。アプリケーションとしては、例えば、一対のカメラ８，８からの画像データを用いたステレオ画像作成、目標物などの特徴点抽出、顔認識などの各種画像処理、及びこれら画像処理に基づく自動巡回などの監視、定期的又はセンサ検出値の変化などの状況変化時における画像保存、画像通知、物体検知及びその位置把握などが挙げられる。

なお、アプリケーション部５３で得られた処理結果は、主制御部１０に送信されて、ロボット１の動作制御のために用いてもよい。

なお、アプリケーション部５３で画像処理などを行う画像データと関連データとをそれぞれ別個に処理する必要がために、画像データ・関連データ分離部５２でこれらを分離しているが、アプリケーション部５３での処理によっては、分離しなくともよい。

なお、以上、本発明の実施形態について説明したが、本発明はこれに限定されない。例えば、実施形態では、主制御部１０から関連データを画像フレーム生成部２０を介して画像・関連フレーム生成部３１に出力する場合について説明した。しかし、主制御部１０から関連データを画像・関連フレーム生成部３１に直接出力してもよい。ただし、主制御部１０、画像フレーム生成部２０及び送信フレーム生成部３０をそれぞれ別個に基板で構成する場合、送信フレーム生成部３０の入力ソースがシンプルな１系統になり、ケーブルやコネクタの部品点数を削減できるという利点がある。

本発明の移動体に相当するロボットが人型ロボットである場合について説明したが、これに限定されない。本発明の移動体に相当するロボットは、撮像装置を搭載された部分が少なくとも可動可能に構成されていればよく、脚体、腕体、ハンドや腕体など具備していなくともよい。

本発明の移動体はロボットに限定されない。本発明の移動体は、撮像装置を搭載された部分が少なくとも可動可能に構成されていればよく、例えば、車両、船舶、航空機や巡回可能に構成された監視装置であってもよい。

本発明の移動体を車両とする場合、例えば、図７に示すように、車両６１に撮像装置であるカメラ６２，６２を一対搭載する。この場合、外部関連データとして、外界自体、及び外界から車両６１に影響を及ぼす事柄に関する外部情報を示すデータ、例えば、外界の照度、温度、湿度、及び車両６１のバンパ等に搭載された接触センサが検出した接触圧などを取得する。そして、内部関連データとして、車両６１自体、及び車両６１内部に関する情報を示すデータ、例えば、車両６１に搭載した姿勢センサが検出した車両６１の姿勢、及び車両６１の駆動制御に関する速度や加速度などを取得する。

１…ロボット（移動体）、８、６２…カメラ（撮像装置）、９…制御ユニット、１０…主制御部（関連データ取得部）、１１…姿勢センサ、１２…力センサ、１３…駆動制御部、１４…駆動機構部、１５…照度センサ、１６…温度センサ、１７…湿度センサ、１８…記憶部、１９…時計部、２０…画像フレーム生成部、３０…送信用フレーム生成部、３１…画像・関連フレーム分離部、３２…関連フレーム生成部、３３…画像フレーム・関連フレーム同期部、４０…送信部、５０…アプリケーション装置、５１…受信部、５２…画像データ・関連データ分離部、５３…アプリケーション部、６１…車両（移動体）。

Claims

所定の画像フォーマットの画像フレーム及び所定の音声フォーマットの音声フレームを送信する送信部を用いて、移動体に備わる撮像装置が撮像して得た画像データ及び該移動体に関連する関連データを同期して送信するデータ送信方法であって、
前記撮像装置が撮像して得た画像データを取得し、画像フレームを生成すると共に、前記撮像装置が撮像して得た画像データの取り込みが開始されたことを通知するための画像取込通知信号に基づき取得される現時刻を当該画像データの撮像時間を示す撮像時間データとして取得し、前記画像フレームに付加するステップと、
前記撮像時間に取得した関連データを取得すると共に、前記撮像時間データを前記関連データに付加するステップと、
前記撮像時間データが共通している前記画像フレームと前記関連データを取得し、前記画像フォーマットに変換した前記画像フレームと共に、前記音声フォーマット内の音声データ格納領域に格納した前記関連データからなる関連フレームを、前記送信部を用いて送信するステップとを備えることを特徴とするデータ送信方法。
前記撮像時間データが共通している前記画像フレームと前記関連データを取得したとき、一旦、当該関連データを前記画像フレーム内の画像データが格納された領域外のブランクデータ領域に格納することを特徴とする請求項１に記載のデータ送信方法。
前記送信部は、非可逆圧縮方式を用いてデータを送信することを特徴とする請求項１又は２に記載のデータ送信方法。
前記送信部が送信した前記画像フレームと関連データとを受信し、該画像フレームと関連データとを受信した時点を示す受信カウンタを生成し、該受信カウンタを当該画像フレーム及び関連データにそれぞれ付加するステップを備えることを特徴とする請求項１から３のいずれか１項に記載のデータ送信方法。
所定の画像フォーマットの画像フレーム及び所定の音声フォーマットの音声フレームを送信する送信部を用いて、移動体に備わる撮像装置が撮像して得た画像データ及び該移動体に関連する関連データを同期して送信するデータ送信装置であって、
前記撮像装置が撮像して得た画像データを取得し、画像フレームを生成すると共に、前記撮像装置が撮像して得た画像データの取り込みが開始されたことを通知するための画像取込通知信号に基づき取得される現時刻を当該画像データの撮像時間を示す撮像時間データとして取得し、前記画像フレームに付加する画像フレーム生成部と、
前記撮像時間に取得した関連データを取得すると共に、前記撮像時間データを前記関連データに付加する関連データ取得部と、
前記撮像時間データが共通する前記画像フレームと前記関連データとを取得し、当該画像フレームを前記画像フォーマットに変換した画像フレーム、及び当該関連データを前記所定の音声フォーマット内の音声データ格納領域に格納したデータからなる関連フレームを生成する送信用フレーム生成部とを備え、
前記送信用フレーム生成部が生成した前記画像フレーム及び関連フレームを、前記送信部を用いて送信することを特徴とするデータ送信装置。
前記移動体はロボットであり、前記関連データ取得部は少なくとも当該ロボットが外界から得た外部情報を前記関連データとして取得することを特徴とする請求項５に記載のデータ送信装置。
前記移動体はロボットであり、前記関連データ取得部は少なくとも当該ロボットが内界から得た内部情報を前記関連データとして取得することを特徴とする請求項５又は６に記載のデータ送信装置。
前記移動体は車両であり、前記関連データ取得部は少なくとも当該車両が外界から得た外部情報を前記関連データとして取得することを特徴とする請求項５に記載のデータ送信装置。
前記移動体は車両であり、前記関連データ取得部は少なくとも当該車両が内界から得た内部情報を前記関連データとして取得することを特徴とする請求項５又は８に記載のデータ送信装置。