JP2020522067A - 動的視覚センサ用ブロックマッチングオプティカルフローとステレオ視 - Google Patents
動的視覚センサ用ブロックマッチングオプティカルフローとステレオ視 Download PDFInfo
- Publication number
- JP2020522067A JP2020522067A JP2019565502A JP2019565502A JP2020522067A JP 2020522067 A JP2020522067 A JP 2020522067A JP 2019565502 A JP2019565502 A JP 2019565502A JP 2019565502 A JP2019565502 A JP 2019565502A JP 2020522067 A JP2020522067 A JP 2020522067A
- Authority
- JP
- Japan
- Prior art keywords
- time slice
- event
- visual sensor
- time
- slice frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
変更イベントは、少なくとも3つのタイムスライスフレーム、つまり、時刻tから始まる第1の現タイムスライスフレーム、時刻t−dから始まる第2のタイムスライスフレーム、時刻t−2*dから始まる第3のタイムスライスフレームに蓄積され、dは、スライス交換(例えば、回転)法に従って、特に異なる時間を含むそれぞれのタイムスライスフレームの持続時間であり、
変更イベントは、前記持続時間dにわたって現在の第1のタイムスライスフレームに蓄積され(現在のタイムスライスフレームは、変更イベントが発生する対応ピクセルでそれぞれの変化イベントを蓄積する)、第2のタイムスライスフレームの参照ブロック、現在の第1のタイムスライスフレームの最新の変更イベントのピクセルを中心とするピクセル(例えば、ピクセルの平方)を含む参照ブロックを、第3のタイムスライスフレームの検索ブロックと比較して、距離メトリックによりその参照ブロックに最も類似した検索ブロックを見つけ(特に、最新の変更イベントのピクセルに対する最も類似した検索ブロックの中心ピクセルの相対位置は、最新の変更イベントのピクセルの位置でのオプティカルフローを示し、特に、オプティカルフローの方向は、最新の変更イベントのピクセルから最も類似した検索ブロックの中心ピクセルを指す速度ベクトルによって与えられ、速度は、速度ベクトルの長さを第3のタイムスライスフレーム(t−2*d)の終わりから第2のタイムスライスフレーム(t−d)までの持続時間dで割った値によって与えられる)、
現在の第1のタイムスライスフレーム(t)が第2のタイムスライスフレーム(t−d)になり、第2のタイムスライスフレーム(t−d)が第3のタイムスライスフレーム(t−2*d)になり、第3のタイムスライスフレーム(t−2*d)がクリアされて現在の第1のタイムスライスフレーム(t)になるよう3つのタイムスライスフレームの交換(例えば、回転)を周期的に行う。
各視覚センサについて、変更イベントは、少なくとも2つのタイムスライスフレーム、つまり、時刻tから始まる第1の現タイムスライスフレームと、時刻t−dから始まる第2のタイムスライスフレームに蓄積され、
左視覚センサの変更イベントは、上記持続時間dにわたって、左視覚センサの現在の第1のタイムスライスフレームに蓄積され、右視覚センサの変更イベントは、上記持続時間dにわたって、右視覚センサの現在の第1のタイムスライスフレームに蓄積される(現在のタイムスライスフレームは、それぞれ、変更イベントが発生する対応ピクセルで各変更イベントを蓄積する)、
右視覚センサの第2のタイムスライスフレームの参照ブロック、右視覚センサの現在の第1のタイムスライスフレームの最新の変更イベントのピクセルを中心とするピクセル(例えば、ピクセルの平方)を含む参照ブロックを、左視覚センサの第2のタイムスライスフレームの検索ブロックと比較して、距離メトリックによりその参照ブロックに最も類似した検索ブロックを見つけ、左視覚センサの第2のタイムスライスフレームの追加参照ブロック、左視覚センサの現在の第1のタイムスライスフレームの最新の変更イベントのピクセルを中心とするピクセル(例えば、ピクセルの平方)を含む追加参照ブロックを、右視覚センサの第2のタイムスライスフレームの追加検索ブロックと比較して、距離メトリックによりその追加参照ブロックに最も類似した追加検索ブロックを見つけ、
左視覚センサの現在の第1のタイムスライスフレームが左視覚センサの第2のタイムスライスフレームになり、右視覚センサの第1のタイムスライスフレームが右視覚センサの第2のタイムスライスフレームになり、左右の視覚センサの第1のタイムスライスフレームがクリアされるよう4つのタイムスライスフレームの交換(例えば、回転)を周期的かつ同時に行う。
上記装置は、少なくとも3つのタイムスライスフレーム、つまり、時刻tから始まる第1の現タイムスライスフレームと、時刻t−dから始まる第2のタイムスライスフレームと、時刻t−2*dから始まる第3のタイムスライスフレームとに変更イベントを蓄積するよう構成され、dは、各タイムスライスフレームの持続時間であり、上記装置は、この持続時間にわたって現在の第1のタイムスライスフレームに変更イベントを蓄積するようさらに構成され(現在のタイムスライスフレームは、変更イベントが発生する対応ピクセルでそれぞれの変化イベントを蓄積する)、
上記装置は、第2のタイムスライスフレームの参照ブロック、現在の第1のタイムスライスフレームの最新の変更イベントのピクセルを中心とするピクセル(例えば、ピクセルの平方)を含む参照ブロックを、第3のタイムスライスフレームの検索ブロックと比較して、距離メトリックによりその参照ブロックに最も類似した検索ブロックを見つけるようさらに構成され、
上記装置は、現在の第1のタイムスライスフレームが第2のタイムスライスフレームになり、第2のタイムスライスフレームが第3のタイムスライスフレームになり、第3のタイムスライスフレームがクリアされて現在の第1のタイムスライスフレームになるよう3つのタイムスライスフレームの交換(例えば、回転)を周期的に行うようさらに構成されている。
上記装置は、各視覚センサについて、少なくとも2つのタイムスライスフレーム、つまり、時刻tから始まる第1の現タイムスライスフレームと、時刻t−dから始まる第2のタイムスライスフレームに変更イベントを蓄積するよう構成され、
上記装置は、上記持続時間dにわたって、左視覚センサの変更イベントを左視覚センサの現在の第1のタイムスライスフレームに蓄積するようさらに構成され、上記持続時間dにわたって、右視覚センサの変更イベントを右視覚センサの現在の第1のタイムスライスフレームに蓄積するようさらに構成され、
上記装置は、右視覚センサの第2のタイムスライスフレームの参照ブロック、右視覚センサの現在の第1のタイムスライスフレームの最新の変更イベントのピクセルを中心とするピクセル(例えば、ピクセルの平方)を含む参照ブロックを、左視覚センサの第2のタイムスライスフレームの検索ブロックと比較して、距離メトリックによりその参照ブロックに最も類似した検索ブロックを見つけるようさらに構成され、左視覚センサの第2のタイムスライスフレームの追加参照ブロック、左視覚センサの現在の第1のタイムスライスフレームの最新の変更イベントのピクセルを中心とするピクセル(例えば、ピクセルの平方)を含む追加参照ブロックを、右視覚センサの第2のタイムスライスフレームの追加検索ブロックと比較して、距離メトリックによりその追加参照ブロックに最も類似した追加検索ブロックを見つけるようさらに構成され、
上記装置は、左視覚センサの現在の第1のタイムスライスフレームが左視覚センサの第2のタイムスライスフレームになり、右視覚センサの第1のタイムスライスフレームが右視覚センサの第2のタイムスライスフレームになり、左右の視覚センサの第1のタイムスライスフレームがクリアされるよう4つのタイムスライスフレームの交換(例えば、回転)を周期的かつ同時に行うようさらに構成されている。
for (int s = 0; s < numScales; s++) { //iterate over all scales
final int xx = e.x ≫ s; // subsample the x address
final int yy = e.y ≫ s; // subsample the y address
int cv = currentSlice[s][xx][yy]; //find current value of slice at scale s
cv += rectifyPolarties ? 1 : (e. polarity == PolarityEvent.Polarity.On ? 1 : -1); // optionally, rectify the polarity
if (cv > sliceMaxValue) { // apply saturating math to limit range of result slice value to maximum allowed
cv = sliceMaxValue;
} else if (cv < -sliceMaxValue) {
cv = -sliceMaxValue;
}
currentSlice[s][xx][yy] = (byte) cv; //store the new slice value in the slice
}
}
{
// measure last hist to get control signal on slice duration
// measures avg match distance.
float radiusSum = 0;
int countSum = 0;
final int totSD = search Distance ≪ (numScales - 1 );
for (int xx = -totSD; xx <= totSD; xx++) {
for (int yy = -totSD; yy <= totSD; yy++) {
int count = resultHistogram[xx + totSD][yy + totSD];
if (count > 0) {
final float radius = (float) Math.sqrt((xx *xx) + (yy * yy));
countSum += count;
radiusSum += radius * count;
}
}
}
if (countSum > 0) {
avgMatchDistance = radiusSum / (countSum); // compute average match distance from reference block
}
switch (sliceMethod) {
case ConstantDuration:
int durChange = (int) (errSign *adapativeSliceDurationProportionalErrorGain * sliceDurationUs);
setSliceDurationUs(sliceDurationUs + durChange);
break;
case ConstantEventNumber:
case AreaEventNumber:
setSliceEventCount(Math.round(sliceEventCount * (1 + adapativeSliceDurationProportionalErrorGain *errSign)));
} }
}
2.得られたFPSが低すぎる場合、skipProcessingEventCountが増加する。そうでなければ、得られたFPSが十分に高い場合、skipProcessingEventCountが増加する。
3.また、skipProcessingEventCountの最大値は、多くのイベントと情報を見逃さないように設定されている。
2.既存のMF値と一致する場合にのみOFイベントを追加する任意の一貫性チェック(例えば、OFベクトルとMFベクトルのドット積が正であるかどうかをチェックし、同じ方向を指していることを示す)
3.調整可能な時定数でMF値をOF値に向けて更新するローパスフィルタリング工程、
4.そして、MF値とその近傍を平均化する任意の拡散工程。
* updates motion field
*
* @param timestamp in us
* @param x1 location pixel x before subsampling
* @param y1
* @param vx flow vx, pps
* @param vy
*/
synchronized public void update(int timestamp, int x, int y, float vx, float vy, float speed) {
int dtDecay = timestamp - lastDecayTimestamp;
if (decayTowardsZeroPendiclly && dtDecay > motionFieldTimeConstantMs * 1000 II dtDecay < 0) {
decayAIITowardsZero(timestamp);
lastDecayTimestamp = timestamp;
}
int x1 = x ≫ motionFieldSubsamplingShift, y1 = y ≫ motionFieldSubsamplingShift;
if (x1 < 0 II x1 >= velocities. length || y1 < 0 || y1 >= velocities[0]. length) { return;
}
if (checkConsistent(timestamp, x1 , y1 , vx, vy)) {
velocities[x1 ][y1 ].filter(vx, vy, speed, timestamp);
if (motionFieldDiffusionEnabled) {
// diffuse by average of neighbors and ourselves
int n = 0;
float dvx = 0, dvy = 0, dvs = 0;
for (int dx = -1 ; dx <= 1 ; dx++) {
int x2 = x1 + dx;
if (x2 >= 0 && x2 < velocities. length) {
for (int dy = -1 ; dy <= 1 ; dy++) {
int y2 = y1 + dy;
if (dx == 0 && dy == 0) {
continue; //don't count ourselves
}
if (y2 >= 0 && y2 < velocities[0]. length) {
n++;
Point3D p = velocities[x2][y2].getValue3D();
dvx += p.x;
dvy += p.y;
dvs += p.z;
}
}
}
}
float r = 1 f / n ; // recip of sum to compute average
LowpassFilter3D v = velocities[x1][y1 ];
Point3D c = v.getValue3D();
v.setlnternalValue3D(.5f * (c.x + r * dvx), .5f * (c.y + r * dvy), .5f *(c.z + r * dvs));
}
}
lastTs[x1 ][y1] = ts;
}
a.タイムスライス蓄積イベントカウント2D画像メモリt、t−d、t−2*d
b.現在のタイムスライスイベントカウントメモリtへのイベントカウントの累積。
c.最小ブロック画像距離一致基準によって、過去のタイムスライスt−dのスライスtにおける最新のイベント位置を中心とする参照ブロックをタイムスライスt−2*dの検索領域に一致させる。
d.現在のスライスtがスライスt−dに、スライスt−dがスライスt−2*dに、スライスt−2*dがクリアされてスライスtになるように、タイムスライスメモリを定期的に回転させる。
a.右(r)及び左(l)の目からのタイムスライスの蓄積イベントカウント2D画像メモリt(r)、(t−d)(r)、t(l)、(t−d)(l)
b.イベントカウントの現在のタイムスライスイベントカウントメモリt(r)、t(l)への蓄積。
c.左右の目からのイベントについて、最小ブロック画像距離マッチング基準により、スライス(td)(r)のスライスt(r)の最新のイベント位置を中心とする参照ブロックを、タイムスライス(td)(l)の検索領域に一致させる、その逆も同様。
d.現在のスライスt(r)がスライス(td)(r)になり、スライスt(l)がスライス(td)(l)になり、スライスt(r)とt(l)が クリアされるよう、タイムスライスメモリの回転を周期的かつ同時に行う。
[1]Baker S, Matthews I. Lucas−Kanade 20年:統合フレームワーク[J]。コンピュータ・ビジョンの国際ジャーナル、2004年、56(3):221−255.
[2]Horn B K P、Schunck B G.オプティカルフローの決定[J].人工知能、1981、17(1−3):185−203.
[3]Benosman R、Clercq C、Lagorce X他 イベントベースの視覚的フロー[J]。ニューラルネットワーク及び学習システムでのIEEEトランザクション、2014年、25(2):407−417。
[4]R.Benosman、S.−H.leng、C.Clercq、C.Bartolozzi、M.Srinivasan、非同期フレームレスイベントベースのオプティカルフロー、Neural Networks、vol.27、pp.32−37、2012。
[5]Conradt J.イベントベースの小型視覚センサ用のオンボードリアルタイムオプティカルフロー。//2015 IEEE International Conference on Robotics and Biomimetics(ROBIO)。IEEE、2015:1858−1863。
[6]Barranco F、Fermuller C、Aloimonos Y.イベント駆動型センサーを使用したバイオにヒントを得たモーション推定[C]。人工神経回路網に関する国際作業会議。Springer International Publishing、2015:309−321。
[7]Rueckauer B、Delbruck T.慣性測定センサからのグラウンドトゥルースを伴うオプティカルフローのイベントベースのアルゴリズムの評価[J]。神経科学のフロンティア、2016、10。
[8]「jAERオープンソースプロジェクト」、jAERオープンソースプロジェクト。[オンライン]。利用可能:http://jaerproject.org。
[9] Agha S、Dwayer V M. MPEG−4動き推定のためのアルゴリズムとVLSIアーキテクチャ[J]。電子システム及び制御部門の研究、2003:24−27。
[10] https://sourceforge.net/p/jaer/codeHEAD/tree/jAER/trunk/src/ch/unizh/ini/jaer/projects/minliu/PatchMatchFlow.java。
[11]Wong S、Vassiliadis S、CotofanaS FPGAハードウェアの絶対差合計の実装[C]、Euromicro Conference、2002。第28号会報。IEEE、2002:183−188。
[12] Lichtsteiner P、Posch C、Delbruck T.A 128×128 120 dB 15 us レイテンシー非同期時間コントラスト視覚センサ[J]。IEEEジャーナルオブソリッドステートサーキット、2008、43(2):566−576。
[13] Berner R、Delbruck T、Civit−Balcells A他 5 Meps ¥$100 USB2.0アドレスイベントモニタ・シーケンサーインタフェース[C]。//2007IEEE 回路とシステムに関する国際シンポジウム。IEEE、2007年:2451−2454。
[14] Barjatya A.動き推定のためのブロックマッチングアルゴリズム[J]。IEEE Transactions Evolution Computation、2004、8(3):225−239。
[15] Zhang L、Zhang Y、Tang J他 重み付きハミング距離を使用したバイナリコードのランキング[C] //コンピュータ・ビジョンとパターン認識に関するIEEE会議の議事録。2013:1586−1593。
Claims (25)
- 複数のピクセルを含み、変更イベントストリームを出力するよう構成されたイベントベースの視覚センサによってキャプチャされたシーンのオプティカルフローを計算する方法であって、各変更イベントは、ピクセルの1つによって検出された輝度の変化に対応し、タイムスタンプと、輝度の変化を検出したピクセルのピクセルアドレスと、その輝度変化の兆候を示すパラメータとを含み、
変更イベントは、少なくとも3つのタイムスライスフレーム、つまり、時刻tから始まる第1の現タイムスライスフレーム、時刻t−dから始まる第2のタイムスライスフレーム、時刻t−2*dから始まる第3のタイムスライスフレーム(t−2*d)に蓄積され、dは、それぞれのタイムスライスフレームの持続時間であり、
変更イベントは、前記持続時間dにわたって現在の第1のタイムスライスフレームに蓄積され、
第2のタイムスライスフレーム(t−d)の参照ブロックであって、現在の第1のタイムスライスフレーム(t)の最新の変更イベントのピクセルを中心とするピクセルを含む参照ブロックを、第3のタイムスライスフレーム(t−2*d)の検索ブロックと比較して、距離メトリックを使用してその参照ブロックに最も類似した検索ブロックを見つけ、そして
現在の第1のタイムスライスフレーム(t)が第2のタイムスライスフレーム(t−d)になり、第2のタイムスライスフレーム(t−d)が第3のタイムスライスフレーム(t−2*d)になり、第3のタイムスライスフレーム(t−2*d)がクリアされて現在の第1のタイムスライスフレーム(t)になるよう3つのタイムスライスフレームの交換を周期的に行う、方法。 - 前記距離メトリックは、参照ブロックピクセルと検索ブロックピクセルとの絶対差の合計である、ことを特徴とする請求項1に記載の方法。
- 前記イベントベースの視覚センサの元のアドレス空間をサブサンプリングする複数のタイムスライスフレーム群が使用される、ことを特徴とする請求項1又は2に記載の方法。
- 前記タイムスライスフレームの交換は、一定の時間間隔で行われる、ことを特徴とする請求項1〜3のいずれか一項に記載の方法。
- 前記タイムスライスフレームの交換は、前記第1のタイムスライスフレーム(t)に蓄積された特定の、特に一定の合計イベントカウントで行われる、ことを特徴とする請求項1〜3のいずれか一項に記載の方法。
- 前記タイムスライスフレームの交換は、現在の第1のタイムスライス(t)のサブエリアが特定数の変更イベントを蓄積する場合に行われる、ことを特徴とする請求項1〜3のいずれか一項に記載の方法。
- 前記タイムスライスフレームの交換は、タイムスライスフレームの最後の交換から統合された全運動が閾値を超える場合に行われる、ことを特徴とする請求項1〜3のいずれか一項に記載の方法。
- 前記タイムスライスフレームの交換後の持続時間dは、参照ブロックと各最も類似した検索ブロックとの平均一致距離(D)に応じて制御され、この平均一致距離は、計算されたオプティカルフロー分布のヒストグラムにより決定される、ことを特徴とする請求項1〜3のいずれか一項に記載の方法。
- 前記総イベントカウントは、参照ブロックと各最も類似する検索ブロックとの平均一致距離(D)に応じて制御され、この平均一致距離は、計算されたオプティカルフロー分布のヒストグラムにより決定される、ことを特徴とする請求項5に記載の方法。
- 前記特定数は、参照ブロックと各最も類似する検索ブロックとの平均一致距離(D)に応じて制御され、この平均一致距離は、計算されたオプティカルフロー分布のヒストグラムにより決定される、ことを特徴とする請求項6に記載の方法。
- 前記第1、第2、第3のタイムスライスフレームは、それぞれ、バイナリビットマップのタイムスライスフレームを形成する、ことを特徴とする請求項1〜10のいずれか一項に記載の方法。
- 前記第1、第2、第3のタイムスライスフレームは、それぞれ、マルチビットピクセルのタイムスライスフレームを形成する、ことを特徴とする請求項1〜10のいずれか一項に記載の方法。
- 各第3のタイムスライスフレームの徹底的な検索を行って、最も類似する検索ブロックを見つける、ことを特徴とする請求項1〜12のいずれか一項に記載の方法。
- ダイアモンド検索により前記最も類似した検索ブロックを見つける、ことを特徴とする請求項1〜12のいずれか一項に記載の方法。
- 外れ値を棄却するために十分な所定数の有効ピクセルを含む参照ブロック及び検索ブロックのみが比較され、有効ピクセルは、変更イベントが蓄積されたピクセルである、ことを特徴とする請求項1〜14のいずれか一項に記載の方法。
- 前記参照ブロックと前記最も類似する検索ブロックとの間の距離が距離閾値を超える場合、最も類似する検索ブロックは外れ値として棄却される、ことを特徴とする請求項1〜15のいずれか一項に記載の方法。
- 前記最新の変更イベントのいくつかは現在の第1のタイムスライスに蓄積されるが、スキップされることによってリアルタイムな性能を改善するための参照ブロックのセンタリングには使用されない、ことを特徴とする請求項1〜16のいずれか一項に記載の方法。
- 前記方法の実施に用いられる装置がまだ前の変更イベントからのオプティカルフローの処理でビジー状態である場合、前記スキップが行われる、ことを特徴とする請求項17に記載の方法。
- ピクセル位置(x,y)、速度ベクトル(vx,vy)、特に、速度ベクトルの方向の速度を含むオプティカルフローイベントは、各参照ブロック及び最も類似する検索ブロックから計算される、ことを特徴とする請求項1〜18のいずれか一項に記載の方法。
- 前記オプティカルフローイベントは、規則的に間隔を空けて、必要に応じて、サブサンプリングされたモーションフィールドに蓄積される、ことを特徴とする請求項19に記載の方法。
- 基準ブロックと探索ブロックとの間の絶対距離の合計が並行して計算される、ことを特徴とする請求項1〜20のいずれか一項に記載の、特に請求項2及び請求項4に記載の方法。
- 絶対距離の最小合計が並行して計算される、ことを特徴とする請求項1〜21のいずれか一項に記載の、特に請求項2及び4に記載の方法。
- 左右のイベントベースの視覚センサ(l、r)からステレオ視を計算する方法であって、各イベントベースの視覚センサ(l、r)は複数のピクセルを含み、変更イベントストリームを出力するよう構成され、各変更イベントは、ピクセルの1つによって検出された輝度の変化に対応し、タイムスタンプと、輝度の変化を検出したピクセルのピクセルアドレスと、その輝度変化の兆候を示すパラメータとを含み、
各視覚センサ(l、r)について、変更イベントは、少なくとも2つのタイムスライスフレーム、つまり、時刻tから始まる第1の現タイムスライスフレーム(t(l)、t(r))と、時刻t−dから始まる第2のタイムスライスフレーム((t−d)(l)、(t−d)(r))に蓄積され、
左視覚センサ(l)の変更イベントは、前記持続時間dにわたって、左視覚センサ(l)の現在の第1のタイムスライスフレーム(t(l))に蓄積され、右視覚センサ(r)の変更イベントは、前記持続時間dにわたって、右視覚センサ(r)の現在の第1のタイムスライスフレーム(t(r))に蓄積され、
右視覚センサ(r)の第2のタイムスライスフレーム((t−d)(r))の参照ブロック、右視覚センサ(r)の現在の第1のタイムスライスフレーム(t(r))の最新の変更イベントのピクセルを中心とするピクセルを含む参照ブロックを、左視覚センサ(l)の第2のタイムスライスフレーム((t−d)(l))の検索ブロックと比較して、距離メトリックにより前記参照ブロックに最も類似した検索ブロックを見つけ、左視覚センサ(l)の第2のタイムスライスフレーム((t−d)(l))の更なる参照ブロック、左視覚センサ(l)の現在の第1のタイムスライスフレーム(t(l))の最新の変更イベントのピクセルを中心とするピクセルを含む更なる参照ブロックを、右視覚センサ(r)の第2のタイムスライスフレーム((t−d)(r))の更なる検索ブロックと比較して、距離メトリックにより前記更なる参照ブロックに最も類似した更なる検索ブロックを見つけ、
左視覚センサ(l)の現在の第1のタイムスライスフレーム(t(l))が左視覚センサ(l)の第2のタイムスライスフレーム((t−d)(l))になり、右視覚センサ(r)の第1のタイムスライスフレーム(t(r))が右視覚センサ(r)の第2のタイムスライスフレーム((t−d)(r))になり、左右の視覚センサ(l、r)の第1のタイムスライスフレーム(t(l)、t(r))がクリアされるよう4つのタイムスライスフレーム(t(l)、t(r)、(t−d)(l)、(t−d)(r))の交換を周期的かつ同時に行う方法。 - イベントベースの視覚センサによってキャプチャされたシーンのオプティカルフローを計算する装置であって、複数のピクセルを含み、変更イベントストリームを出力するよう構成されたイベントベースの視覚センサを備え、各変更イベントは、ピクセルの1つによって検出された輝度の変化に対応し、タイムスタンプと、前記輝度の変化を検出したピクセルのピクセルアドレスと、その輝度変化の兆候を示すパラメータとを含み、
前記装置は、少なくとも3つのタイムスライスフレーム、つまり、時刻tから始まる第1の現タイムスライスフレーム(t)と、時刻t−dから始まる第2のタイムスライスフレーム(t−d)と、時刻t−2*dから始まる第3のタイムスライスフレーム(t−2*d)とに変更イベントを蓄積するよう構成され、dは、各タイムスライスフレームの持続時間であり、
前記装置は、前記持続時間dにわたって現在の第1のタイムスライスフレームに変更イベントを蓄積するようさらに構成され、
前記装置は、第2のタイムスライスフレーム(t−d)の参照ブロックであって、現在の第1のタイムスライスフレーム(t)の最新の変更イベントのピクセルを中心とするピクセルを含む参照ブロックを、第3のタイムスライスフレーム(t−2*d)の検索ブロックと比較して、距離メトリックによりその参照ブロックに最も類似した検索ブロックを見つけるようさらに構成され、
前記装置は、現在の第1のタイムスライスフレーム(t)が第2のタイムスライスフレーム(t−d)になり、第2のタイムスライスフレーム(t−d)が第3のタイムスライスフレーム(t−2*d)になり、第3のタイムスライスフレーム(t−2*d)がクリアされて現在の第1のタイムスライスフレーム(t)になるよう3つのタイムスライスフレーム(t、t−d、(t−2*d))の交換を周期的に行うようさらに構成されている、装置。 - シーンをキャプチャする左右のイベントベースの視覚センサ(l、r)を備えた、ステレオ視を計算する装置であって、各イベントベースの視覚センサ(l、r)は、複数のピクセルを含み、変更イベントストリームを出力するよう構成され、各変更イベントは、ピクセルの1つによって検出された輝度の変化に対応し、タイムスタンプと、前記輝度の変化を検出したピクセルのピクセルアドレスと、その輝度変化の兆候を示すパラメータとを含み、
前記装置は、各視覚センサ(l、r)について、少なくとも2つのタイムスライスフレーム、つまり、時刻tから始まる第1の現在のタイムスライスフレーム(t()l、t(r))と、時刻t−dから始まる第2のタイムスライスフレーム((t−d)(l)、(t−d)(r))に変更イベントをそれぞれ蓄積するよう構成され、
前記装置は、前記持続時間dにわたって、左視覚センサ(l)の変更イベントを左視覚センサ(l)の現在の第1のタイムスライスフレーム(t(l))に蓄積するようさらに構成され、前記装置は、前記持続時間dにわたって、右視覚センサ(r)の変更イベントを右視覚センサ(r)の現在の第1のタイムスライスフレーム(t(r))に蓄積するようさらに構成され、
前記装置は、右視覚センサ(r)の第2のタイムスライスフレーム((t−d)(r))の参照ブロックであって、右視覚センサ(r)の現在の第1のタイムスライスフレーム(t(r))の最新の変更イベントのピクセルを中心とするピクセルを含む参照ブロックを、左視覚センサ(l)の第2のタイムスライスフレーム((t−d)(l))の検索ブロックと比較して、距離メトリックにより前記参照ブロックに最も類似した検索ブロックを見つけるようさらに構成され、前記装置は、左視覚センサ(l)の第2のタイムスライスフレーム((t−d)(l))の更なる参照ブロックであって、左視覚センサ(l)の現在の第1のタイムスライスフレーム(t(l))の最新の変更イベントのピクセルを中心とするピクセルを含む更なる参照ブロックを、右視覚センサ(r)の第2のタイムスライスフレーム((t−d)(r))の更なる検索ブロックと比較して、距離メトリックにより前記更なる参照ブロックに最も類似した更なる検索ブロックを見つけるようさらに構成され、
前記装置は、左視覚センサ(l)の現在の第1のタイムスライスフレーム(t(l))が左視覚センサ(l)の第2のタイムスライスフレーム((t−d)(l))になり、右視覚センサ(r)の第1のタイムスライスフレーム(t(r))が右視覚センサ(r)の第2のタイムスライスフレーム((t−d)(r))になり、左右の視覚センサ(l、r)の第1のタイムスライスフレーム(t(l)、t(r))がクリアされるよう4つのタイムスライスフレームの交換を周期的かつ同時に行うようさらに構成されている、装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17173250.6 | 2017-05-29 | ||
EP17173250 | 2017-05-29 | ||
PCT/EP2018/064041 WO2018219931A1 (en) | 2017-05-29 | 2018-05-29 | Block-matching optical flow and stereo vision for dynamic vision sensors |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020522067A true JP2020522067A (ja) | 2020-07-27 |
JP7253258B2 JP7253258B2 (ja) | 2023-04-06 |
Family
ID=59061805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019565502A Active JP7253258B2 (ja) | 2017-05-29 | 2018-05-29 | 動的視覚センサ用ブロックマッチングオプティカルフローとステレオ視 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11227397B2 (ja) |
EP (1) | EP3631756B1 (ja) |
JP (1) | JP7253258B2 (ja) |
KR (1) | KR20200015589A (ja) |
CN (1) | CN110692083B (ja) |
WO (1) | WO2018219931A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11704818B2 (en) | 2021-01-20 | 2023-07-18 | Canon Kabushiki Kaisha | Motion vector calculation device, imaging device, and motion vector calculation method |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102668130B1 (ko) * | 2017-09-28 | 2024-05-23 | 애플 인크. | 이벤트 카메라를 이용한 정적 이미지들의 생성 |
US11216704B2 (en) | 2018-10-23 | 2022-01-04 | John M. Couse; | Recognition system using multimodality dataset |
CN109801314B (zh) * | 2019-01-17 | 2020-10-02 | 同济大学 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
EP3690736A1 (en) * | 2019-01-30 | 2020-08-05 | Prophesee | Method of processing information from an event-based sensor |
EP3693698A1 (de) * | 2019-02-05 | 2020-08-12 | Leica Geosystems AG | Vermessungsgerät mit ereignisbasierter kamera |
JP7298272B2 (ja) * | 2019-04-23 | 2023-06-27 | 沖電気工業株式会社 | 通信装置および通信方法 |
CN110415344A (zh) * | 2019-06-24 | 2019-11-05 | 武汉大学 | 基于事件相机的运动补偿方法 |
WO2021095853A1 (ja) * | 2019-11-15 | 2021-05-20 | 株式会社デンソーウェーブ | 画像復元装置、画像復元方法、及び画像復元プログラム |
CN111402146B (zh) * | 2020-02-21 | 2022-05-10 | 华为技术有限公司 | 图像处理方法以及图像处理装置 |
CN111669514B (zh) * | 2020-06-08 | 2021-02-26 | 北京大学 | 高动态范围成像方法和装置 |
KR102366187B1 (ko) * | 2020-06-10 | 2022-02-22 | 광주과학기술원 | 고해상도 강도 이미지 생성 방법 및 장치 |
CN111798485B (zh) * | 2020-06-30 | 2022-07-19 | 武汉大学 | 一种利用imu增强的事件相机光流估计方法及*** |
KR20220076943A (ko) | 2020-12-01 | 2022-06-08 | 삼성전자주식회사 | 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법 |
EP4060983A1 (en) | 2021-01-22 | 2022-09-21 | Toyota Jidosha Kabushiki Kaisha | A method for accumulating events using an event-based vision sensor and overlapping time windows |
EP4033398A1 (en) | 2021-01-25 | 2022-07-27 | Toyota Jidosha Kabushiki Kaisha | A clustering method applied to a change event stream produced by an event-based vision sensor |
CN112987571B (zh) * | 2021-02-25 | 2022-08-09 | 中国人民解放军国防科技大学 | 高动态视觉控制***及其视觉量测性能衰减容错控制方法 |
KR102538012B1 (ko) * | 2021-10-20 | 2023-05-30 | 주식회사 큐에스 | 가상공간 내 객체의 3차원 모델을 갱신하는 방법 및 장치 |
WO2024143825A1 (ko) * | 2022-12-26 | 2024-07-04 | 광운대학교 산학협력단 | 이벤트 신호 누적 기반의 객체 검출 시스템에서의 누적 간격 조절 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014002744A (ja) * | 2012-06-19 | 2014-01-09 | Samsung Electronics Co Ltd | イベントベースイメージ処理装置及びその装置を用いた方法 |
JP2015507261A (ja) * | 2011-12-21 | 2015-03-05 | ユニヴェルシテ・ピエール・エ・マリ・キュリ・(パリ・6) | 非同期光センサに基づいてオプティカルフローを推定する方法 |
US20160109955A1 (en) * | 2014-10-21 | 2016-04-21 | Samsung Electronics Co., Ltd. | Method and apparatus for displaying screen in response to event related to motion of external object |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6987866B2 (en) * | 2001-06-05 | 2006-01-17 | Micron Technology, Inc. | Multi-modal motion estimation for video sequences |
KR100534207B1 (ko) * | 2002-12-09 | 2005-12-08 | 삼성전자주식회사 | 비디오 부호화기의 움직임 추정기 및 그 방법 |
CA2609623C (en) | 2005-06-03 | 2015-12-29 | Universitaet Zuerich | Photoarray for detecting time-dependent image data |
US7728260B2 (en) | 2005-06-07 | 2010-06-01 | Johnson Steven X | Warm window system |
US9129172B2 (en) * | 2011-06-20 | 2015-09-08 | Metrologic Instruments, Inc. | Indicia reading terminal with color frame processing |
KR102072124B1 (ko) * | 2011-11-24 | 2020-02-04 | 에스케이텔레콤 주식회사 | 세밀한 예측 단위를 사용하는 효과적인 부호화/복호화 방법 및 장치 |
EP3131295A1 (en) * | 2015-08-14 | 2017-02-15 | Axis AB | Video encoding method and system |
CN105160703B (zh) * | 2015-08-25 | 2018-10-19 | 天津师范大学 | 一种使用时域视觉传感器的光流计算方法 |
CN105719290B (zh) * | 2016-01-20 | 2019-02-05 | 天津师范大学 | 一种使用时域视觉传感器的双目立体深度匹配方法 |
CN106597463B (zh) * | 2016-12-29 | 2019-03-29 | 天津师范大学 | 基于动态视觉传感器芯片的光电式接近传感器及探测方法 |
-
2018
- 2018-05-29 WO PCT/EP2018/064041 patent/WO2018219931A1/en unknown
- 2018-05-29 KR KR1020197038293A patent/KR20200015589A/ko not_active Application Discontinuation
- 2018-05-29 JP JP2019565502A patent/JP7253258B2/ja active Active
- 2018-05-29 CN CN201880035827.2A patent/CN110692083B/zh active Active
- 2018-05-29 EP EP18727304.0A patent/EP3631756B1/en active Active
- 2018-05-29 US US16/618,173 patent/US11227397B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015507261A (ja) * | 2011-12-21 | 2015-03-05 | ユニヴェルシテ・ピエール・エ・マリ・キュリ・(パリ・6) | 非同期光センサに基づいてオプティカルフローを推定する方法 |
JP2014002744A (ja) * | 2012-06-19 | 2014-01-09 | Samsung Electronics Co Ltd | イベントベースイメージ処理装置及びその装置を用いた方法 |
US20160109955A1 (en) * | 2014-10-21 | 2016-04-21 | Samsung Electronics Co., Ltd. | Method and apparatus for displaying screen in response to event related to motion of external object |
Non-Patent Citations (5)
Title |
---|
JUN HAENG LEE ET AL.: "Real-Time Gesture Interface Based on Event-Driven Processing from Stereo Silicon Retinas", IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, vol. 25, no. 12, JPN6022026345, 17 March 2014 (2014-03-17), ISSN: 0004807337 * |
KYOOBIN LEE ET AL.: "Four DoF Gesture Recognition with an Event-based Image Sensor", THE 1ST IEEE GLOBAL CONFERENCE ON CONSUMER ELECTRONICS 2012, JPN6022026343, 2 October 2012 (2012-10-02), ISSN: 0004807338 * |
MIN LIU, TOBI DELBRUCK: "Block-matching optical flow for dynamic vision sensors: Algorithm and FPGA implementation", 2017 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS), JPN6022026346, 28 May 2017 (2017-05-28), ISSN: 0004807336 * |
RYAD BENOSMAN ET AL.: "Event-Based Visual Flow", IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, vol. 25, no. 2, JPN6022026341, 5 September 2013 (2013-09-05), ISSN: 0004807339 * |
美濃導彦,東海彰吾: "能動カメラ群による動的シーンの映像化", 日本ロボット学会誌 第19巻 第4号, JPN6022026338, 15 May 2001 (2001-05-15), ISSN: 0004807340 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11704818B2 (en) | 2021-01-20 | 2023-07-18 | Canon Kabushiki Kaisha | Motion vector calculation device, imaging device, and motion vector calculation method |
Also Published As
Publication number | Publication date |
---|---|
WO2018219931A1 (en) | 2018-12-06 |
US11227397B2 (en) | 2022-01-18 |
US20200111220A1 (en) | 2020-04-09 |
EP3631756B1 (en) | 2022-01-19 |
EP3631756A1 (en) | 2020-04-08 |
JP7253258B2 (ja) | 2023-04-06 |
CN110692083A (zh) | 2020-01-14 |
CN110692083B (zh) | 2024-01-05 |
KR20200015589A (ko) | 2020-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7253258B2 (ja) | 動的視覚センサ用ブロックマッチングオプティカルフローとステレオ視 | |
Rebecq et al. | EMVS: Event-based multi-view stereo | |
US10354129B2 (en) | Hand gesture recognition for virtual reality and augmented reality devices | |
US10254845B2 (en) | Hand gesture recognition for cursor control | |
Matzen et al. | Scene chronology | |
Liu et al. | Block-matching optical flow for dynamic vision sensors: Algorithm and FPGA implementation | |
CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
Peng et al. | A hybrid approach to estimate the complex motions of clouds in sky images | |
US20180181816A1 (en) | Handling Perspective Magnification in Optical Flow Proessing | |
KR20200013585A (ko) | 복수의 카메라로부터 뷰를 결합하는 방법 및 카메라 시스템 | |
Liu et al. | EDFLOW: Event driven optical flow camera with keypoint detection and adaptive block matching | |
CN112449152B (zh) | 多路视频同步的方法、***及设备 | |
CN112084826A (zh) | 图像处理方法、图像处理设备以及监控*** | |
CN106558069A (zh) | 一种基于视频监控下的目标跟踪方法及*** | |
CN106612385A (zh) | 视频检测方法和视频检测装置 | |
CN110992393B (zh) | 一种基于视觉的目标运动跟踪方法 | |
Wang et al. | Object counting in video surveillance using multi-scale density map regression | |
CN105957060B (zh) | 一种基于光流分析的tvs事件分簇方法 | |
Zhu et al. | PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios | |
CN111915713A (zh) | 一种三维动态场景的创建方法、计算机设备、存储介质 | |
Tung et al. | Why accuracy is not enough: The need for consistency in object detection | |
JP2020046960A (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
KR20210133844A (ko) | 단안 이벤트-기반 센서를 사용하는 모션 추정의 시스템 및 방법 | |
JP2001307104A (ja) | 動画像のオブジェクト抽出装置 | |
Eibensteiner et al. | Event-driven stereo vision algorithm based on silicon retina sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210426 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220624 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220921 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7253258 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |