JP2023139913A - データ生成装置、プログラム、データ受信装置、データ構造 - Google Patents

Abstract

【課題】後段の処理部において適切な処理を実行できるようなデータを生成する。【解決手段】 データ生成装置は、受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータが格納されたラインデータを受信する受信部と、受信した前記ラインデータに係る出力データを生成するデータ生成部と、を備え、前記データ生成部は、データサイズが所定サイズ未満の前記ラインデータに係る前記出力データについて、データサイズが所定サイズとなるようにパディングデータを付加するものとした。【選択図】図５

Description

本技術は、イベント駆動型のイメージセンサにおいて生成されるイベントデータがペイロード領域に格納されたラインデータに基づいて出力データを生成するデータ生成装置及びそのデータ構造の技術に関する。

１フレーム期間に画素アレイ部から出力される画素データのデータ量を把握することは後段の処理部にとって非常に重要である。
下記特許文献１においては、Ｆｒａｍｅ ＳｔａｒｔやＦｒａｍｅ Ｅｎｄなどの付加的な情報を用いることにより、画素データのデータ量を把握することができる構成が開示されている。

特開２０１２－１２０１５８号公報

ところで、イベント駆動型イメージセンサにおいては、イベント信号の発生頻度が不定であるため、１フレーム期間において出力されるイベントデータの数が不定であるという特徴がある。特許文献１に記載の構成においては、フレームの終端を把握することは可能であるが、１フレーム期間において送出される最後のラインデータに格納されているイベントデータの数が不定であるため、最後のラインデータに格納されているイベントデータの数を把握することはできない。特に、ラインデータのデータサイズを統一するために「０」や「１」などのパディングデータを付加する場合においては、どこまでが有効なデータであるのかを把握することができないという問題がある。

本技術はこのような問題に鑑みて為されたものであり、後段の処理部において適切な処理を実行できるようなデータを生成することを目的とする。

本技術に係るデータ生成装置は、受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータが格納されたラインデータを受信する受信部と、受信した前記ラインデータに係る出力データを生成するデータ生成部と、を備え、前記データ生成部は、データサイズが所定サイズ未満の前記ラインデータに係る前記出力データについて、データサイズが所定サイズとなるようにパディングデータを付加するものである。
これにより、１フレーム期間に出力されるラインデータについてペイロード領域のデータサイズを一律一定とすることが可能となる。

本技術に係るプログラムは、コンピュータ装置が読み取り可能なプログラムであって、受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータが格納されたラインデータを受信する受信機能と、データサイズが所定サイズ未満の前記ラインデータについてデータサイズが所定サイズとなるようにパディングデータを付加するデータ生成機能と、をコンピュータ装置に実現させるものである。

本技術に係るデータ受信装置は、受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータとパディングデータとがペイロード領域に格納されデータサイズが所定サイズとされた出力データを受信するデータ受信部を備えたものである。

本技術に係るデータ構造は、受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータとパディングデータとがペイロード領域に格納されデータサイズが所定サイズとされた出力データを受信するデータ受信部を備えたデータ受信装置で用いられるデータ構造であって、前記イベントデータと、前記パディングデータとを含み、前記データ受信装置が、１フレーム期間において最後に発生したイベントの検出結果を示す最終イベントデータが格納された前記出力データを識別するために用いられるものである。

本技術のシステム構成を示すブロック図である。 ラインデータのデータ構造の一例を説明するための図である。 １フレーム期間においてＥＶＳから出力されるラインデータについて説明するための図である。 フォーマッタから出力されるフォーマットデータのデータ構造の一例を説明するための図である。 フォーマッタから出力されるフォーマットデータのデータ構造の別の例を説明するための図である。 前回と今回の１フレーム期間において受信したフォーマットデータが記憶されたデータ受信装置の記憶部の記憶態様について説明するための図である。 フォーマッタから出力されるフォーマットデータのデータ構造の例であり１フレーム期間の最後に出力されるフォーマットデータを説明するための図である。 前回と今回の１フレーム期間において受信したフォーマットデータが記憶されたデータ受信装置の記憶部の記憶態様について説明するための図であり問題点を解決した状態を説明するための図である。 フォーマッタヘッダのデータ構造の一つ目の例を説明するための図である。 フォーマッタヘッダのデータ構造の二つ目の例を説明するための図である。 フォーマッタヘッダのデータ構造の三つ目の例を説明するための図である。 フォーマッタヘッダのデータ構造の四つ目の例を説明するための図である。 第１の実施の形態においてフォーマッタが実行する処理の一例を示すフローチャートである。 第２の実施の形態において１フレーム期間にフォーマッタから出力されるフォーマットデータについて説明するための図である。 第２の実施の形態におけるフォーマッタヘッダのデータ構造の例を説明するための図である。 第２の実施の形態におけるフォーマッタヘッダのデータ構造の別の例を説明するための図である。 第２の実施の形態においてフォーマッタが実行する処理の一例を示すフローチャートである。 第３の実施の形態において１フレーム期間にＥＶＳから出力されるラインデータについて説明するための図である。 第３の実施の形態において１フレーム期間にフォーマッタから出力されるフォーマットデータについて説明するための図である。

以下、添付図面を参照し、本技術に係る実施の形態を次の順序で説明する。
＜１．第１の実施の形態＞
＜１－１．システム構成＞
＜１－２．処理フロー＞
＜２．第２の実施の形態＞
＜２－１．フォーマットデータのデータ構造＞
＜２－２．処理フロー＞
＜３．第３の実施の形態＞
＜４．変形例＞
＜５．まとめ＞
＜６．本技術＞

＜１．第１の実施の形態＞
＜１－１．システム構成＞
以下説明する第１の実施の形態においては、イベント駆動型イメージセンサ１において生成されるイベントデータに対して所定のデータフォーマットを適用した出力データを生成する。所定のデータフォーマットは、イベント駆動型イメージセンサ１の特徴である、１フレーム期間において検出されるイベントの数が不定であるという特徴を考慮したものであり、有効なデータと「０」や「１」のデータから成るパディングデータとの識別が後段の処理部において可能となるようにされたものである。

このようなデータフォーマットを取り扱うシステムの一例を図１に示す。
図１に示すように、本実施の形態におけるシステムは、イベント駆動型イメージセンサ１と、フォーマッタ２と、データ受信装置３とを備えている。

以降の説明において、イベント駆動型イメージセンサ１は、ＥＶＳ（Event-based Vision Sensor）１と記載する。

ＥＶＳ１は、画素アレイ部４と、アービタ５と、イベントエンコーダ６と、出力部７とを備えている。

画素アレイ部４は、画素Ｇが二次元格子状に配列されて成る。各画素Ｇは、入射光に基づく光電変換を行い電荷を生成する光電変換素子（例えばフォトダイオード）と、基準レベルと受光信号のレベルとの差分に基づいてイベントを検出するイベント検出部を有して構成されている。

イベント検出部は、受光量が一定量以上増加するＯＮイベントと受光量が一定量以上減少するＯＦＦイベントを区別して検出することが可能とされている。

アービタ５は、画素アレイ部４における画素Ｇからのリクエストを調停し、調停結果に基づいて決定された画素Ｇからイベント信号をイベントエンコーダ６に出力させる。

イベントエンコーダ６は、画素Ｇから出力されたイベント信号に基づいてイベントデータＥＤを生成する。

イベントデータＥＤは、少なくとも、イベントの種類（ＯＮイベントとＯＦＦイベントの別）と、イベントが発生した画素Ｇの位置を特定する情報（ｘ座標及びｙ座標）と、イベントが発生した時刻を特定するためのタイムスタンプ情報とが含まれる。

イベントエンコーダ６で生成されたイベントデータＥＤは、出力部７に出力される。

出力部７は、複数のイベントデータＥＤをまとめたデータをフォーマッタ２に出力する。出力部７（即ちＥＶＳ１）が出力するデータを「ラインデータＬＤ」と記載する。

ラインデータＬＤの一例について図２に示す。なお、本例においては、出力部７がＭＩＰＩ（Mobile Industry Processor Interface）の規格に準じたラインデータＬＤを出力する例について説明する。

ラインデータＬＤは、パケットヘッダ（以降、「ＭＰＨ」と記載）とペイロード領域とパケットフッタ（以降、「ＭＰＦ」と記載）を備えたデータ構造とされている。

ペイロード領域には、複数のイベントデータＥＤが格納されている。各イベントデータＥＤは、イベント種別、ｘ座標、ｙ座標、タイムスタンプの情報が含まれる。

本例では、ペイロード領域におけるイベントデータＥＤの最大のデータサイズが８１９２Ｂｙｔｅとされている。なお、このデータサイズはあくまで一例である。

一つのラインデータＬＤにおけるペイロード領域には、複数のイベントデータＥＤを格納することができる。図２に示す例ではｎ個のイベントデータＥＤ（１）、ＥＤ（２）、・・・ＥＤ（ｎ）がペイロード領域に格納されている。

ＥＶＳ１のイベントエンコーダ６からは、１フレーム期間において複数のイベントデータＥＤが出力されるが、イベントデータＥＤの数は不定とされている。従って、１フレーム期間において出力部７から出力されるラインデータＬＤは、一般的に、ｎ個のイベントデータＥＤがペイロード領域に格納されたラインデータＬＤがいくつか出力された後、ｎ個未満（例えばｍ個）のイベントデータＥＤがペイロード領域に格納されたラインデータＬＤが送出されて１フレーム期間が終了する。

具体的に図３に示す。
１フレーム期間の開始タイミング（時間ｔ１）の後、ｎ個のイベントデータＥＤがペイロード領域に格納されたラインデータＬＤ１、ＬＤ２、ＬＤ３・・・が順に出力部７から出力される。なお、ラインデータＬＤ１、ＬＤ２、ＬＤ３の出力タイミングは、イベントの検出タイミングによって決定されるため、一定間隔ではない。

その後、終了タイミング（時間ｔ２）に応じて、ペイロード領域にｍ個のイベントデータＥＤが格納されたラインデータＬＤｐが出力部７から出力される。このとき、ラインデータＬＤｐのデータサイズは、ペイロード領域に格納されるイベントデータＥＤの数が少ない分だけラインデータＬＤ１などよりも小さくされる。

なお、図３の例はあくまで一例であり、１フレーム期間において検出されたイベントが少ない場合には、ペイロード領域にｎ個未満のイベントデータＥＤが格納された一つ目のラインデータＬＤ１が出力され、且つ、当該１フレーム期間においてはラインデータＬＤ１が出力部７から出力される最初で最後のラインデータＬＤとされる場合もある。

また、１フレーム期間において最後に出力されるイベントデータＥＤｐのペイロード領域にｎ個のイベントデータＥＤが格納されている場合もある。この場合には、当該１フレーム期間に出力部７から出力される全てのラインデータＬＤのデータサイズが同一とされる。

図１の説明に戻る。
フォーマッタ２は、例えばＦＰＧＡ（Field Programmable Gate Array）などによって構成され、受信部８、データ生成部９、フォーマットデータ送信部１０を備えており、受信したラインデータＬＤに基づいてフォーマットデータＦＤを生成して出力する。

受信部８は、ラインデータＬＤを受信し、当該ラインデータＬＤをデータ生成部９に出力する。

データ生成部９は、受信部８から受け取ったラインデータＬＤに基づいてフォーマットデータＦＤを生成する。

フォーマットデータＦＤについて幾つかの例を説明する。
フォーマットデータＦＤは、ラインデータＬＤのペイロード領域にフォーマッタ２で付加するヘッダ情報を格納したものである。フォーマッタ２で付加するヘッダ情報（以降、フォーマッタヘッダＦＨ）は、ＭＩＰＩのペイロード領域に格納されるデータ規則に則ったものとされている。

ラインデータＬＤのペイロード領域には、最大ｎ個のイベントデータＥＤが格納されている。ｎ個のイベントデータＥＤが格納されたラインデータＬＤに基づいて生成されたフォーマットデータＦＤ１を図４に示す。

図４に示すフォーマットデータＦＤ１は、図３に示すラインデータＬＤ１、ＬＤ２、ＬＤ３に対応するフォーマットデータＦＤであり、ペイロード領域にはフォーマッタヘッダＦＨとｎ個のイベントデータＥＤが格納されている。

フォーマッタヘッダＦＨには、少なくともペイロード領域に格納されたイベントデータＥＤのデータサイズの情報が格納されている。即ち、フォーマッタヘッダＦＨには、ペイロード領域に格納されたイベントデータＥＤの数がｎ個であることが分かるようにデータサイズに関する情報が格納されている。具体的には後述する。

次に、ｍ個のイベントデータＥＤが格納されたラインデータＬＤに基づいて生成されたフォーマットデータＦＤｐを図５に示す。

図５に示すフォーマットデータＦＤｐは、図３に示すラインデータＬＤｐに対応するフォーマットデータであり、ペイロード領域にはフォーマッタヘッダＦＨとｍ個のイベントデータＥＤが格納されている。また、フォーマットデータＦＤｐのデータサイズをフォーマットデータＦＤ１などと合わせるために、データ生成部９は、フォーマットデータＦＤｐのペイロード領域の残りの領域にパディングデータＰＤを格納する。パディングデータＰＤは、例えば、「０」や「１」の何れかとされる。

フォーマットデータＦＤｐのフォーマッタヘッダＦＨには、ｍ個のイベントデータＥＤが格納されていることが分かるようにイベントデータＥＤのデータサイズに関する情報が格納されている。

図１の説明に戻る。
フォーマッタ２のフォーマットデータ送信部１０は、後段のデータ受信装置３へフォーマットデータＦＤを送信する。

データ受信装置３は、データ受信部１１を備え、該データ受信部１１によってフォーマットデータＦＤの受信が行われる。

ここで、データ受信装置３は、フォーマッタ２から１フレーム期間において受信した全てのフォーマットデータＦＤを一時的に記憶しておくための記憶領域を備えている場合がある。そして、当該記憶領域は、次の１フレーム期間において受信するフォーマットデータＦＤの一時記憶に再利用される。

このとき、当該記憶領域は、再利用される際にクリア処理が行われないことが考えられる。１フレーム期間の最後にフォーマッタ２から送信されるフォーマットデータＦＤｐには、前述したようにｎ個のラインデータＬＤが格納されている場合がある。即ち、当該１フレーム期間において受信した全てのフォーマットデータＦＤのペイロード領域にはｎ個のイベントデータＥＤが格納されている場合がある。

図６に示すように、このようなフォーマットデータＦＤがデータ受信装置３の記憶部に一時記憶された場合、データ受信装置３が記憶されたフォーマットデータＦＤを取得した際に、当該１フレーム期間に受信した最後のフォーマットデータＦＤが分からなくなる場合がある。即ち、前回の１フレーム期間において受信したフォーマットデータＦＤを今回の１フレーム期間において受信したフォーマットデータＦＤとして処理してしまう可能性がある。

このような事態を回避するために、データ生成部９は、図７に示すようにイベントデータＥＤが一つも含まれていないフォーマットデータＦＤｅを生成する。

図示するようにフォーマットデータＦＤｅのペイロード領域には、フォーマッタヘッダＦＨとパディングデータＰＤのみが格納されている。

フォーマットデータＦＤｅのフォーマッタヘッダＦＨには、０個のイベントデータＥＤが格納されていることが分かるようにデータサイズに関する情報が格納されている。

フォーマットデータＦＤｅのデータサイズは、フォーマットデータＦＤ１やフォーマットデータＦＤｐのデータサイズと一致されている。

図７に示すフォーマットデータＦＤｅは、１フレーム期間における最終出力データと言える。フォーマットデータＦＤｅを１フレーム期間の最後に出力した際にデータ受信装置３の記憶部に記憶されるフォーマットデータＦＤの態様を図８に示す。

図示するように、ペイロード領域にイベントデータＥＤが格納されていないフォーマットデータＦＤが記憶されることで、データ受信装置３は１フレーム期間において受信したフォーマットデータＦＤを特定することができる。

ここで、フォーマットデータＦＤのペイロード領域に格納されるフォーマッタヘッダＦＨについて幾つかの例を挙げる。

一つ目の例を図９に示す。本例は、フォーマッタヘッダＦＨに６ｂｉｔのデータとされたデータタイプＤＴと、２ＢｙｔｅのデータとされたワードカウントＷＣと、が格納された例である。なお、それ以外の領域には、ダミーデータＤＤが格納されている。

図９に示す例は、フォーマッタヘッダＦＨが４Ｂｙｔｅで構成されており、ＭＩＰＩのＭＰＨ（パケットヘッダ）のデータフォーマットに準拠した例である。

データタイプＤＴは、フォーマットデータＦＤのデータの種別を特定するためのデータであり、例えば、フォーマットデータＦＤのペイロード領域に格納されたデータがＲＯＷ８の規格に準じたデータであることや、ＲＯＷ１０の規格に準じたデータであることなどを特定するための情報が格納される。

ワードカウントＷＣは、フォーマットデータＦＤのペイロード領域に格納されるイベントデータＥＤのデータサイズ（Ｂｙｔｅ数）の情報が格納される。例えば、図４に示すフォーマットデータＦＤ１であれば、「８１９２」を２進数にした値である「００１０００００００００００００」がワードカウントＷＣとして格納される。また、図５に示すフォーマットデータＦＤｐであれば、「０」から「８１９２」の間の数値を２進数にした値がワードカウントＷＣとして格納される。更に、図７に示すフォーマットデータＦＤｅであれば、「０」を２進数にした値「００００００００００００００００」がワードカウントＷＣとして格納される。

二つ目の例を図１０に示す。本例は、フォーマッタヘッダＦＨが２Ｂｙｔｅで構成されており、２ＢｙｔｅのデータとされたワードカウントＷＣのみが格納されている。
一つ目の例と比較して、フォーマッタヘッダＦＨのデータサイズが小さくされ、データ効率の向上が図られている。

三つ目の例を図１１に示す。本例は、６ｂｉｔのデータタイプＤＴと、２Ｂｙｔｅで表されたワードカウントＷＣの上位８ｂｉｔと、２Ｂｙｔｅで表されたワードカウントＷＣの下位８ｂｉｔとがフォーマッタヘッダＦＨに格納されている。この例は、２Ｂｙｔｅ単位でデータを扱うＲＯＷ１０などに対応したデータフォーマットである。
なお、図１１に示す例は、図９に示す例と同様に、ＭＩＰＩのＭＰＨのデータフォーマットに準拠した例である。

四つ目の例を図１２に示す。本例は、フォーマッタヘッダＦＨが４Ｂｙｔｅで構成されており、２Ｂｙｔｅで表されたワードカウントＷＣの上位８ｂｉｔと、２Ｂｙｔｅで表されたワードカウントＷＣの下位８ｂｉｔのみがフォーマッタヘッダＦＨに格納されている。三つ目の例と比較して、フォーマッタヘッダＦＨのデータサイズが小さくされ、データ効率の向上が図られている。

＜１－２．処理フロー＞
第１の実施の形態においてフォーマッタ２の演算処理部が実行する処理の流れについて図１３に示す。

フォーマッタ２の演算処理部はステップＳ１０１において、出力部７からラインデータＬＤを受信したか否かを判定する。

ラインデータＬＤを受信したと判定した場合、フォーマッタ２の演算処理部はステップＳ１０２において、受信したラインデータＬＤに所定数（上記の例ではｎ個）のイベントデータＥＤが含まれているか否かを判定する。

所定数のラインデータＬＤがイベントデータＥＤに含まれていないと判定した場合、フォーマッタ２の演算処理部はステップＳ１０３において、ペイロード領域にパディングデータＰＤを付与することにより、ペイロード領域のデータサイズを統一する。

なお、ステップＳ１０２において、所定数のラインデータＬＤがイベントデータＥＤに含まれていると判定した場合、ステップＳ１０３の処理は実行されない。

フォーマッタ２の演算処理部はステップＳ１０４において、フォーマッタヘッダＦＨを付与する。ここで、フォーマッタヘッダＦＨには、ペイロード領域に格納されたイベントデータＥＤのデータサイズの情報がワードカウントＷＣとして格納される。

フォーマッタ２の演算処理部はステップＳ１０５において、フォーマットデータＦＤを後段のデータ受信装置３へ送信してステップＳ１０１の処理へと戻る。

ステップＳ１０１において、ラインデータＬＤを受信していないと判定した場合、フォーマッタ２の演算処理部はステップＳ１０６において、１フレーム期間が経過したか否かを判定する。１フレーム期間が経過していないと判定した場合、フォーマッタ２の演算処理部はステップＳ１０１の処理へと戻る。

一方、１フレーム期間が経過したと判定した場合、フォーマッタ２の演算処理部はステップＳ１０７において、フォーマットデータＦＤｅをデータ受信装置３に送信する。このフォーマットデータＦＤｅは、前述したように、ペイロード領域にフォーマッタヘッダＦＨとパディングデータＰＤのみが格納されたフォーマットデータＦＤであり、１フレーム期間に送信されるフォーマットデータＦＤがこれで最後であることを後段の処理部に知らせるためのものである。

＜２．第２の実施の形態＞
＜２－１．フォーマットデータのデータ構造＞
第２の実施の形態は、第１の実施の形態に対して、フォーマッタ２から出力されるフォーマットデータＦＤが異なる。
具体的に添付図を参照して説明する。

図１４は、１フレーム期間においてフォーマッタ２からデータ受信装置３へ送信されるフォーマットデータＦＤを表している。

図示するように、ペイロード領域にフォーマッタヘッダＦＨとイベントデータＥＤのみが格納されたフォーマットデータＦＤ１、ＦＤ２、ＦＤ３、ＦＤ４と、ペイロード領域にフォーマッタヘッダＦＨとイベントデータＥＤとパディングデータＰＤが格納されたフォーマットデータＦＤｐがデータ受信装置３へ送信される。

そして、第１の実施の形態と異なり、フォーマッタ２においてペイロード領域にフォーマッタヘッダＦＨとパディングデータＰＤのみが格納されたフォーマットデータＦＤｅは生成されず、データ受信装置３に送信されない。

ここで、１フレーム期間において受信したフォーマットデータＦＤを特定できないという上述した問題を解決するためのフォーマッタヘッダＦＨのデータ構成について図１５に示す。

フォーマッタヘッダＦＨには、６ｂｉｔのデータとされたデータタイプＤＴと、２ＢｙｔｅのデータとされたワードカウントＷＣと、１Ｂｙｔｅのデータとされた最終フラグＥＦと、が格納されている。

最終フラグＥＦは、１フレーム期間において最後に生成されるフォーマットデータＦＤであるか否かを表すフラグである。

具体的には、１フレーム期間において検出したイベントのうち最後に検出されたイベントに係るイベントデータＥＤが格納されたフォーマットデータＦＤの最終フラグＥＦについては「１」が格納される。そして、それ以外のフォーマットデータＦＤの最終フラグＥＦについては「０」が格納される。図１４の例においては、フォーマットデータＦＤ１、ＦＤ２、ＦＤ３、ＦＤ４についての最終フラグＥＦには「０」が格納され、フォーマットデータＦＤｐについての最終フラグＥＦには「１」が格納される。

なお、最終フラグＥＦのデータサイズは１ｂｉｔで十分である。従って、データタイプＤＴが格納される１ＢｙｔｅデータにおいてダミーデータＤＤが格納されている６ｂｉｔ目や７ｂｉｔ目に最終フラグＥＦが格納されてもよい。

本実施の形態におけるフォーマッタヘッダＦＨの他の例を図１６に示す。
フォーマッタヘッダＦＨには、６ｂｉｔのデータタイプＤＴと、２Ｂｙｔｅで表されたワードカウントＷＣの上位８ｂｉｔと、２Ｂｙｔｅで表されたワードカウントＷＣの下位８ｂｉｔと、２Ｂｙｔｅで表された最終フラグＥＦと、が格納されている。この例は、図１１や図１２と同様に、２Ｂｙｔｅ単位でデータを扱うＲＯＷ１０などに対応したデータフォーマットである。

なお、フォーマッタ２は、１フレーム期間においてＥＶＳ１の出力部７から受信したラインデータＬＤを記憶部に一時的に記憶しておく。そして、１フレーム期間の経過時において、１フレーム期間内に受信したラインデータＬＤのうち最後のラインデータＬＤを特定して最終フラグＥＦとして「１」を設定する。

＜２－２．処理フロー＞
第２の実施の形態においてフォーマッタ２の演算処理部が実行する処理の流れについて図１７に示す。なお、図１３に示す処理と同様の処理については同じステップ番号を付し適宜説明を省略する。

フォーマッタ２の演算処理部はステップＳ１０１において、出力部７からラインデータＬＤを受信したか否かを判定する。

ラインデータＬＤを受信したと判定した場合、フォーマッタ２の演算処理部はステップＳ１１１において、ラインデータＬＤを記憶部に一時的に記憶する処理を行う。ここで記憶されたラインデータＬＤは、１フレーム期間が経過するまで保持される。

一方、ステップＳ１０１において、ラインデータＬＤを受信していないと判定した場合、フォーマッタ２の演算処理部はステップＳ１０６において、１フレーム期間が経過したか否かを判定する。１フレーム期間が経過していないと判定した場合、フォーマッタ２の演算処理部はステップＳ１０１の処理へと戻る。

一方、１フレーム期間が経過したと判定した場合、フォーマッタ２の演算処理部はステップＳ１１２において、１フレーム期間内で最後に受信したラインデータＬＤを特定する。この処理では、フォーマッタ２の記憶部に一時的に記憶されているラインデータＬＤを用いる。

フォーマッタ２の演算処理部はステップＳ１０４において、フォーマッタヘッダＦＨを付与する。ここで、フォーマッタヘッダＦＨには、ペイロード領域に格納されたイベントデータＥＤのデータサイズの情報がワードカウントＷＣとして格納される。
また、ステップＳ１１２において特定した最後のラインデータＬＤについては、フォーマッタヘッダＦＨの最終フラグＥＦに「１」が設定される。そして、その他のラインデータＬＤについては最終フラグＥＦに「０」が設定される。

フォーマッタ２の演算処理部はステップＳ１０５において、フォーマットデータＦＤを後段のデータ受信装置３へ送信してステップＳ１０１の処理へと戻る。

＜３．第３の実施の形態＞
第３の実施の形態においては、ＥＶＳ１の出力部７は、イベントエンコーダ６から出力されるイベントデータＥＤが所定数蓄積されるまで待機することをせず、都度、ラインデータＬＤを後段のフォーマッタ２に対して出力する。

出力部７から出力されるラインデータＬＤの一例について図１８に示す。
ＥＶＳ１の画素アレイ部４の多くの画素Ｇにおいて受光量の変化が検出され多くのイベントデータＥＤがイベントエンコーダ６から出力部７に出力された場合には、図１８に示すラインデータＬＤ１、ＬＤ２のように、略同時に検出されたイベントのイベントデータＥＤのデータサイズが８１９２Ｂｙｔｅに収まらず、複数のラインデータＬＤが出力部７から順次出力される。

一方、画素アレイ部４の一部の画素Ｇにおいて受光量の変化が検出されたが、イベントデータＥＤの総データサイズが８１９２Ｂｙｔｅに満たない場合には、図１８に示すラインデータＬＤ３、ＬＤ４、ＬＤ５のように、ラインデータＬＤのペイロード領域にｎ個に満たないイベントデータＥＤが格納されたラインデータＬＤが出力部７から出力される。

ラインデータＬＤを受信したフォーマッタ２は、ラインデータＬＤを受信するごとに対応するフォーマットデータＦＤを生成して後段のデータ受信装置３に送信する。

フォーマッタ２で生成されて送信されるフォーマットデータＦＤの一例を図１９に示す。

フォーマットデータＦＤ１は、ラインデータＬＤ１に対応して生成されるデータである。同様に、フォーマットデータＦＤ２はラインデータＬＤ２に対応して生成され、フォーマットデータＦＤ３はラインデータＬＤ３に対応して生成され、フォーマットデータＦＤ４はラインデータＬＤ４に対応して生成され、フォーマットデータＦＤ５はラインデータＬＤ５に対応して生成される。

フォーマットデータＦＤ１は、ペイロード領域にｎ個のイベントデータＥＤが格納されているため、ペイロード領域にフォーマッタヘッダＦＨを格納することにより生成される。このときのフォーマッタヘッダＦＨのワードカウントＷＣには「８１９２」を２進数で表現した値が格納される。

フォーマットデータＦＤ２、ＦＤ３、ＦＤ４、ＦＤ５は、ペイロード領域にｎ個よりも少ないイベントデータＥＤが格納されている。従って、ペイロード領域にはフォーマッタヘッダＦＨと共にパディングデータＰＤが格納される。これにより、フォーマットデータＦＤ２、ＦＤ３、ＦＤ４、ＦＤ５をフォーマットデータＦＤ１と同じデータサイズに整形する。

なお、フォーマットデータＦＤ２のワードカウントＷＣには「５６３２」を２進数で表現した値が格納され、フォーマットデータＦＤ３のワードカウントＷＣには「１７９２」を２進数で表現した値が格納され、フォーマットデータＦＤ４のワードカウントＷＣには「４３５２」を２進数で表現した値が格納され、フォーマットデータＦＤ５のワードカウントＷＣには「３０７２」を２進数で表現した値が格納される。

１フレーム期間の終了タイミングである時間ｔ２においては、第１の実施の形態と同様に、ペイロード領域にイベントデータＥＤが含まれないフォーマットデータＦＤｅが生成されてデータ受信装置３に送信される。フォーマットデータＦＤｅのワードカウントＷＣには、「０」の値が格納される。

なお、本実施の形態においては、フォーマッタ２が１フレーム期間の最後にイベントデータＥＤを含まないフォーマットデータＦＤｅを生成して送信するのではなく、第２の実施の形態のように、フォーマッタヘッダＦＨに最終フラグＥＦを格納することにより、１フレーム期間において受信したフォーマットデータＦＤを特定できないという問題を解決してもよい。

第３の実施の形態においてフォーマッタ２の演算処理部が実行する処理は、図１３に示すものと同様であるため、説明を省略する。なお、第１の実施の形態においては、ステップＳ１０３の処理でパディングデータＰＤが付与されるフォーマットデータＦＤは、１フレーム期間において出力部７から受信した最後のラインデータＬＤについてのフォーマットデータＦＤのみ可能性があった。
本実施の形態においては、１フレーム期間において出力部７から受信したラインデータＬＤに基づく全てのフォーマットデータＦＤについて、ペイロード領域に格納されたイベントデータＥＤが所定数（例えばｎ個）に満たない場合にパディングデータＰＤの付与が行われる。

＜４．変形例＞
第２の実施の形態においては、最終フラグＥＦを用いることにより、イベントデータＥＤを含まずパディングデータＰＤによってペイロード領域が埋められたフォーマットデータＦＤｅを生成せずに済む例を説明した。

これ以外にも、フォーマットデータＦＤｅを生成せずに済む方法が存在する。
例えば、１フレーム期間に受信する全てのラインデータＬＤをフォーマッタ２が蓄積する。フォーマッタ２は、１フレーム期間の終了と共に、受信したラインデータＬＤに含まれるイベントデータＥＤのデータサイズ（例えばワードカウントＷＣ）を算出して、当該１フレーム期間に対応して後段のデータ受信装置３へ送信する一つ目のフォーマットデータＦＤのフォーマッタヘッダＦＨに当該イベントデータＥＤのデータサイズの情報を格納して送信する。

後段のデータ受信装置３は、１フレーム期間において最初に受信したフォーマットデータＦＤのフォーマッタヘッダＦＨを確認することにより、当該１フレーム期間において検出したイベントに係るイベントデータＥＤのデータサイズを把握する。即ち、当該１フレーム期間においてどの程度フォーマットデータＦＤを受信するかを把握する。これにより、データ受信装置３は、１フレーム期間において受信する最後のイベントデータＥＤを特定することができる。

上述した各例においては、フォーマッタ２がＥＶＳ１やデータ受信装置３とは異なる装置として設けられている例を説明したが、フォーマッタ２がＥＶＳ１と一体となって設けられていてもよいし、データ受信装置３に設けられていてもよい。
例えば、データ受信装置３に対して、フォーマッタ２としての機能を実現するソフトウェアを配信することにより、本来所定のサイズのラインデータＬＤのみを受信可能なデータ受信装置３に対して、不足するデータをパディングデータＰＤで埋めたフォーマットデータＦＤを生成する機能をインストールする。
これにより、データ受信装置３は、所定のサイズ未満のラインデータＬＤを受信した際に、インストールされた新たな機能を用いてパディングデータＰＤでペイロード領域を埋めたフォーマットデータＦＤに変換することで、従来のソフトウェア処理を適用することが可能となる。

＜５．まとめ＞
上述した各例において説明したように、データ生成装置としてのフォーマッタ２は、受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータＥＤが格納されたラインデータＬＤを受信する受信部８と、受信したラインデータＬＤに係る出力データ（フォーマットデータＦＤ）を生成するデータ生成部９と、を備え、データ生成部９は、データサイズが所定サイズ未満のラインデータＬＤに係る出力データについて、データサイズが所定サイズとなるようにパディングデータＰＤを付加するものである。
１フレーム期間に出力されるラインデータＬＤについてペイロード領域のデータサイズを一律一定とすることが可能となる。
従って、後段の処理部（例えばデータ受信装置３の処理部）が所定のデータサイズのデータしか受信できない場合においてデータを受信できるようにすることが可能となり、適切な処理を行うことができる。

図５、図７、図９から図１２の各図を参照して説明したように、データ生成装置としてのフォーマッタ２のデータ生成部９は、ラインデータＬＤに含まれるイベントデータＥＤのデータサイズに係る情報（ワードカウントＷＣ）を付加して出力データ（フォーマットデータＦＤ）を生成してもよい。
これにより、後段のデータ受信装置３において、フォーマットデータＦＤに含まれるイベントデータＥＤがｎ個に満たない場合であっても当該フォーマットデータＦＤに含まれるイベントデータＥＤの数を正確に把握することが可能となる。

図５、図６及び図７等を参照して説明したように、データ生成装置としてのフォーマッタ２のデータ生成部９は、イベントデータＥＤと、パディングデータＰＤと、データサイズに係る情報（ワードカウントＷＣ）と、を出力データ（フォーマットデータＦＤ）のペイロード領域に格納してもよい。
例えば、データ生成部９が生成するフォーマットデータＦＤはＭＩＰＩ準拠のデータ構造を有し、当該データ構造におけるペイロード領域にイベントデータＥＤとパディングデータＰＤとデータサイズに係る情報（ワードカウントＷＣ）が格納されたフォーマッタヘッダＦＨが格納される。従って、後段のデータ受信装置３においてＭＩＰＩデータについての受信処理を行うソフトウェアを流用することでペイロード領域に格納されたデータサイズに係る情報を取得することができる。即ち、データ受信装置３においてソフトウェアを流用できるため、開発に係る工数やコストを削減することができる。

図７及び図８等を参照して説明したように、データ生成装置としてのフォーマッタ２のデータ生成部９は、１フレーム期間において最後に発生したイベントの検出結果を示す最終イベントデータが格納されたラインデータＬＤに係る出力データ（フォーマットデータＦＤ）の次に出力する最終出力データ（フォーマットデータＦＤｅ）を生成し、最終出力データは、イベントデータＥＤを含まずパディングデータＰＤを含むものとされてもよい。
これにより、１フレーム期間において受信したフォーマットデータＦＤを特定することが可能となり、後段のデータ受信装置３において適切な処理を行うことが可能となる。

第３の実施の形態において説明したように、ラインデータＬＤはデータサイズが非一定とされ、データ生成装置としてのフォーマッタ２のデータ生成部９は、１フレーム期間において最後に発生したイベントの検出結果を示す最終イベントデータが格納されたラインデータ以外のラインデータについてもパディングデータＰＤを付加して出力データ（フォーマットデータＦＤ）を生成してもよい。
これにより、イベントデータＥＤが所定数蓄積されるまでフォーマットデータＦＤの生成を待機する必要がない。即ち、ＥＶＳ１においてイベントが検出されるたびに当該イベントデータＥＤに関する処理を逐次行うことができ、優れたリアルタイム性を発揮することができる。

図９、図１１等を参照して説明したように、データ生成装置としてのフォーマッタ２のデータ生成部９は、ＭＩＰＩ（Mobile Industry Processor Interface）のヘッダ領域（ＭＰＨ）のデータ構造に準拠した構造を用いて、データサイズに係る情報（ワードカウントＷＣ）をペイロード領域に格納してもよい。
具体的には、フォーマッタ２によって付加されるフォーマッタヘッダＦＨのデータ構造がＭＩＰＩに準拠したものとされる。従って、フォーマッタヘッダＦＨからデータを取り出す際に、ＭＩＰＩ対応のソフトウェアを用いた処理を適用することができるため、専用のソフトウェアを開発する必要が無く、開発コスト及び開発工数を削減することができる。

第２の実施の形態において説明したように、データ生成装置としてのフォーマッタ２のデータ生成部９は、１フレーム期間において最後に発生したイベントの検出結果を示す最終イベントデータが格納されたラインデータＬＤであるか否かを示す最終ラインフラグ情報（最終フラグＥＦ）を付加して出力データ（フォーマットデータＦＤ）を生成してもよい。
これにより、イベントデータＥＤが含まれずにパディングデータＰＤによって埋められたペイロード領域を有するフォーマットデータＰＤｅを生成しなくても、１フレーム期間において検出されたイベントについてのイベントデータＥＤを特定することが可能となる。従って、フォーマッタ２から出力されるデータ量を削減することができ、データ通信の効率を向上させることができる。

データ生成装置としてのフォーマッタ２が実行するプログラムは、コンピュータ装置が読み取り可能なプログラムであって、受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータＥＤが格納されたラインデータＬＤを受信する受信機能と、データサイズが所定サイズ未満のラインデータＬＤについてデータサイズが所定サイズとなるようにパディングデータＰＤを付加するデータ生成機能と、をコンピュータ装置に実現させるものである。
このようなプログラムは、図１３及び図１７に示す各処理を含むものであり、コンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤ（Hard Disk Drive）や、ＣＰＵ（Central Processing Unit）を有するマイクロコンピュータ内のＲＯＭ（Read Only Memory）等に予め記録しておくことができる。あるいはまたプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。

データ受信装置３は、受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータＥＤとパディングデータＰＤとがペイロード領域に格納されデータサイズが所定サイズとされた出力データ（フォーマットデータＦＤ）を受信するデータ受信部１１を備えたものである。
このようなデータ構造を有するフォーマットデータＦＤを受信することで、データ受信装置３は適切な処理を実行することが可能となる。

上述したように、受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータＥＤとパディングデータＰＤとがペイロード領域に格納されデータサイズが所定サイズとされた出力データ（フォーマットデータＦＤ）を受信するデータ受信部１１を備えたデータ受信装置３で用いられるデータ構造は、イベントデータＥＤと、パディングデータＰＤとを含み、データ受信装置３が、１フレーム期間において最後に発生したイベントの検出結果を示す最終イベントデータが格納された出力データを識別するために用いられるものである。
これにより、１フレーム期間において受信したイベントデータＥＤを適切に把握することができ、適切な処理を行うことができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

また、上述した各例はいかように組み合わせてもよく、各種の組み合わせを用いた場合であっても上述した種々の作用効果を得ることが可能である。

＜６．本技術＞
本技術は以下のような構成を採ることも可能である。
（１）
受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータが格納されたラインデータを受信する受信部と、
受信した前記ラインデータに係る出力データを生成するデータ生成部と、を備え、
前記データ生成部は、データサイズが所定サイズ未満の前記ラインデータに係る前記出力データについて、データサイズが所定サイズとなるようにパディングデータを付加する
データ生成装置。
（２）
前記データ生成部は、前記ラインデータに含まれるイベントデータのデータサイズに係る情報を付加して前記出力データを生成する
上記（１）に記載のデータ生成装置。
（３）
前記データ生成部は、前記イベントデータと、前記パディングデータと、前記データサイズに係る情報と、を前記出力データのペイロード領域に格納する
上記（２）に記載のデータ生成装置。
（４）
前記データ生成部は、１フレーム期間において最後に発生したイベントの検出結果を示す最終イベントデータが格納されたラインデータに係る前記出力データの次に出力する最終出力データを生成し、
前記最終出力データは、前記イベントデータを含まず前記パディングデータを含むものとされた
上記（１）から上記（３）の何れかに記載のデータ生成装置。
（５）
前記ラインデータはデータサイズが非一定とされ、
前記データ生成部は、１フレーム期間において最後に発生したイベントの検出結果を示す最終イベントデータが格納されたラインデータ以外のラインデータについても前記パディングデータを付加して前記出力データを生成する
上記（４）に記載のデータ生成装置。
（６）
前記データ生成部は、ＭＩＰＩ（Mobile Industry Processor Interface）のヘッダ領域のデータ構造に準拠した構造を用いて、前記データサイズに係る情報を前記ペイロード領域に格納する
上記（３）に記載のデータ生成装置。
（７）
前記データ生成部は、１フレーム期間において最後に発生したイベントの検出結果を示す最終イベントデータが格納されたラインデータであるか否かを示す最終ラインフラグ情報を付加して前記出力データを生成する
上記（１）から上記（６）の何れかに記載のデータ生成装置。
（８）
コンピュータ装置が読み取り可能なプログラムであって、
受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータが格納されたラインデータを受信する受信機能と、
データサイズが所定サイズ未満の前記ラインデータについてデータサイズが所定サイズとなるようにパディングデータを付加するデータ生成機能と、をコンピュータ装置に実現させる
プログラム。
（９）
受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータとパディングデータとがペイロード領域に格納されデータサイズが所定サイズとされた出力データを受信するデータ受信部を備えた
データ受信装置。
（１０）
受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータとパディングデータとがペイロード領域に格納されデータサイズが所定サイズとされた出力データを受信するデータ受信部を備えたデータ受信装置で用いられるデータ構造であって、
前記イベントデータと、前記パディングデータとを含み、
前記データ受信装置が、１フレーム期間において最後に発生したイベントの検出結果を示す最終イベントデータが格納された前記出力データを識別するために用いられる
データ構造。

２ フォーマッタ（データ生成装置）
３ データ受信装置
８ 受信部
９ データ生成部
１１ データ受信部
ＬＤ、ＬＤ１、ＬＤ２、ＬＤ３、ＬＤ４、ＬＤ５ ラインデータ
ＦＤ、ＦＤ１、ＦＤ２、ＦＤ３、ＦＤ４、ＦＤ５、ＦＤｍ、ＦＤｎ、ＦＤｅ フォーマットデータ（出力データ）
ＥＤ イベントデータ
ＰＤ パディングデータ

Claims (10)

1. 受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータが格納されたラインデータを受信する受信部と、
   受信した前記ラインデータに係る出力データを生成するデータ生成部と、を備え、
   前記データ生成部は、データサイズが所定サイズ未満の前記ラインデータに係る前記出力データについて、データサイズが所定サイズとなるようにパディングデータを付加する
   データ生成装置。
2. 前記データ生成部は、前記ラインデータに含まれるイベントデータのデータサイズに係る情報を付加して前記出力データを生成する
   請求項１に記載のデータ生成装置。
3. 前記データ生成部は、前記イベントデータと、前記パディングデータと、前記データサイズに係る情報と、を前記出力データのペイロード領域に格納する
   請求項２に記載のデータ生成装置。
4. 前記データ生成部は、１フレーム期間において最後に発生したイベントの検出結果を示す最終イベントデータが格納されたラインデータに係る前記出力データの次に出力する最終出力データを生成し、
   前記最終出力データは、前記イベントデータを含まず前記パディングデータを含むものとされた
   請求項１に記載のデータ生成装置。
5. 前記ラインデータはデータサイズが非一定とされ、
   前記データ生成部は、１フレーム期間において最後に発生したイベントの検出結果を示す最終イベントデータが格納されたラインデータ以外のラインデータについても前記パディングデータを付加して前記出力データを生成する
   請求項４に記載のデータ生成装置。
6. 前記データ生成部は、ＭＩＰＩ（Mobile Industry Processor Interface）のヘッダ領域のデータ構造に準拠した構造を用いて、前記データサイズに係る情報を前記ペイロード領域に格納する
   請求項３に記載のデータ生成装置。
7. 前記データ生成部は、１フレーム期間において最後に発生したイベントの検出結果を示す最終イベントデータが格納されたラインデータであるか否かを示す最終ラインフラグ情報を付加して前記出力データを生成する
   請求項１に記載のデータ生成装置。
8. コンピュータ装置が読み取り可能なプログラムであって、
   受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータが格納されたラインデータを受信する受信機能と、
   データサイズが所定サイズ未満の前記ラインデータについてデータサイズが所定サイズとなるようにパディングデータを付加するデータ生成機能と、をコンピュータ装置に実現させる
   プログラム。
9. 受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータとパディングデータとがペイロード領域に格納されデータサイズが所定サイズとされた出力データを受信するデータ受信部を備えた
   データ受信装置。
10. 受光量の変化をイベントとして検出した結果を示すイベント信号に基づいて生成されたイベントデータとパディングデータとがペイロード領域に格納されデータサイズが所定サイズとされた出力データを受信するデータ受信部を備えたデータ受信装置で用いられるデータ構造であって、
    前記イベントデータと、前記パディングデータとを含み、
    前記データ受信装置が、１フレーム期間において最後に発生したイベントの検出結果を示す最終イベントデータが格納された前記出力データを識別するために用いられる
    データ構造。

Images