JP7420932B2 - スケーラブル位置追跡システムを用いた位置の追跡 - Google Patents
スケーラブル位置追跡システムを用いた位置の追跡 Download PDFInfo
- Publication number
- JP7420932B2 JP7420932B2 JP2022523941A JP2022523941A JP7420932B2 JP 7420932 B2 JP7420932 B2 JP 7420932B2 JP 2022523941 A JP2022523941 A JP 2022523941A JP 2022523941 A JP2022523941 A JP 2022523941A JP 7420932 B2 JP7420932 B2 JP 7420932B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- time window
- coordinates
- frame
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 125
- 230000004044 response Effects 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 45
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 238000012935 Averaging Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000007792 addition Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- -1 for example Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000002023 wood Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000007797 non-conventional method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
図1A~図1Dは、例示的な店舗空間に設置される追跡システムを示す。上述したように、買物客が従来の精算プロセスを行う必要がないように、追跡システムが店舗空間に設置され得る。本開示では店舗空間の例が使用されるが、本開示は、追跡システムが任意のタイプの物理的空間(例えば、倉庫、保管センター、アミューズメントパーク、空港、オフィスビルなど)に設置され、使用され得ることを企図する。一般に、追跡システム(またはその構成要素)は、任意の好適な目的で、これらの空間内の人物および/または物体の位置を追跡するために使用される。例えば、空港では、追跡システムは、セキュリティ目的で旅行者および従業員の位置を追跡することができる。別の例として、アミューズメントパークでは、追跡システムは、アトラクションの人気を把握するためにパークゲストの位置を追跡することができる。さらに別の例として、オフィスビルでは、追跡システムは、生産性レベルを監視するために従業員およびスタッフの位置を追跡することができる。
図3A~図3Rは、例示的なカメラサブシステム202および追跡システム132におけるその動作を示す。上述したように、カメラサブシステム202は、カメラ205と、カメラクライアント220と、カメラサーバ225とを含む。一般に、カメラ205は、空間のビデオをキャプチャし、そのビデオを処理のためにカメラクライアント220に送る。これらのビデオは、空間のフレームまたは画像のシーケンスである。カメラクライアント220は、フレーム内の人物(例えば、買物客105)の存在を検出し、それらの人物についてフレーム内の座標(「フレーム座標」とも呼ばれ得る)を決定する。カメラサーバ225は、各カメラクライアント220からのフレーム座標を分析して、空間内の人物の物理的位置を決定する。
図3Aは、例示的なカメラアレイ300を示す。図3Aに示すように、カメラアレイ300は、複数のカメラ305を含む。本開示は、12個のカメラ305を含むカメラアレイ300を示すが、カメラアレイ300は、任意の好適な数のカメラ305を含んでもよい。一般に、カメラアレイ300は、カメラ305が空間の一部の俯瞰ビデオをキャプチャすることができるように、空間の上方に配置される。次いで、これらのビデオは、カメラサブシステム202の他の構成要素によって処理され、空間内の人物(例えば、買物客105)の物理的位置が決定され得る。図3Aの例では、カメラアレイ300は、カメラ305A、305B、305C、305D、305E、305F、305G、305H、305I、305J、305K、および305Lを含む。
図3Fは、カメラサブシステム202の初期化を示す。図3Fに見られるように、カメラサブシステム202は、カメラアレイ300と、カメラクライアント1 220Aと、カメラクライアント2 220Bと、カメラクライアント3 220Cと、カメラサーバ225とを含む。カメラサブシステム202は、任意の好適な数のカメラアレイ300、カメラクライアント220、およびカメラサーバ225を含み得る。一般に、初期化の間に、カメラアレイ300のカメラ305が起動し、カメラクライアント220にビデオ302を送り始める。追加的に、カメラクライアント220およびカメラサーバ225が内部クロック304を同期させる。カメラアレイ300内のカメラ305が起動した後かつ内部クロック304が同期された後、カメラクライアント220は、カメラサブシステム202の追跡動作を実行するために、ビデオ302の処理およびカメラサーバ225への情報の通信を開始し得る。
図3G~図3Iは、カメラサブシステム202におけるカメラクライアント220の動作を示す。一般に、カメラクライアント320は、カメラ305からのビデオ302を処理する。カメラクライアント320は、これらのビデオ302のフレーム320内の人物または物体を識別し、これらの人物または物体の座標322を決定し得る。カメラクライアント320はまた、カメラクライアント320がいつ特定のフレーム320を受信したかを示すタイムスタンプ324を(例えば、内部クロック304を使用することによって)生成し得る。カメラクライアント320は、さらなる処理のために、これらのタイムスタンプ324および座標322をカメラサーバ225に通信する。
図3J~図3Pは、カメラサブシステム202内のカメラサーバ225の動作を示す。一般に、カメラサーバ225は、カメラサブシステム202内のカメラクライアント220からフレームデータ330(例えば、330A~330F)を受信する。カメラサーバ225は、フレームデータ330内のタイムスタンプ324に基づいて、フレームデータ330を特定の時間窓332に同期および/または割り当てる。次いで、カメラサーバ225は、特定の時間窓に割り当てられた情報を処理して、それらの時間窓332の間の空間内の人物および/または物体の物理的位置を決定する。
図3Qおよび図3Rは、カメラサブシステム202を動作させる例示的な方法342を示すフローチャートである。特定の実施形態では、カメラサブシステム202の様々な構成要素が方法342のステップを実行する。一般に、方法342を実行することによって、カメラサブシステム202は、空間内の人物または物体の物理的位置を決定する。
特定の実施形態では、カメラサブシステム202は、カメラサブシステム202の第1のカメラアレイ300と連携して動作する第2のカメラアレイを含み得る。図3Sは、2つのカメラアレイ300および354を含む実施形態を示す。カメラアレイ300はカメラ305Mを含む。カメラアレイ354はカメラ305Nを含む。カメラ305Nは、カメラ305Mと同様に動作し、図3A~図3Rを使用して説明した技法と同じ技法を使用して空間内の物体および/または人物の位置を決定するために使用され得る。
追跡システム132の特定の実施形態は、LiDARサブシステム204を含む。図4A~図4Dは、LiDARサブシステム204および追跡システム132内のその動作を示す。一般に、LiDARサブシステム204は、LiDARセンサおよびLiDARサーバを使用して、物理的空間内の人物および/または物体の位置を追跡する。LiDARサブシステム204は、空間内の人物および/または物体の位置を追跡するために、単独で、または他のサブシステム(例えば、カメラサブシステム202)と併せて使用され得る。
追跡システム132は、重量センサ215および重量サーバ235を含む重量サブシステム206を含む。一般に、重量センサ215は、重量センサ215の上方または近傍に配置された商品の重量を検出する。重量センサ215は、商品を保持する従来いないラック115上に配置されてもよい。重量サーバ235は、重量センサ215によって検出された重量を追跡して、商品130がラック115から取り出されたかどうかおよびいつ取り出されたかを決定する。重量センサ215、ラック115、および重量サーバ235は、図5Aから図5Jを使用してより詳細に説明される。
図6A~図6Cは、中央サーバ240の動作を示す。一般に、中央サーバ240は、様々なサブシステム(例えば、カメラサブシステム202、LiDARサブシステム204、重量サブシステム206など)からの情報を分析し、空間内のどの人物がどの商品を空間から取り出したかを決定する。前述したように、これらのサブシステムは、サブシステムにわたって位置合わせされた時間窓332に情報をグループ化する。位置合わせされた時間窓332へと情報をグループ化することによって、中央サーバ240は、異種のサブシステムからの情報間の関係を見出し、追加情報(例えば、どの人物がどの商品130を取り出したか)を集めることができる。いくつかの実施形態では、中央サーバ240はまた、人物が店舗100から出るときに、空間から取り出した商品の代金を請求する。
図7は、追跡システム132で使用される例示的なコンピュータ700を示す。一般に、コンピュータ700を使用して、追跡システム132の構成要素を実装することができる。例えば、コンピュータ700を使用して、カメラクライアント220、カメラサーバ225、LiDARサーバ230、重量サーバ235、および/または中央サーバ240を実装することができる。図7に見られるように、コンピュータ700は、プロセッサ705、メモリ710、グラフィックスプロセッサ715、入力/出力ポート720、通信インターフェース725、およびバス730などの様々なハードウェア構成要素を含む。本開示は、コンピュータ700の構成要素が、本明細書で説明したカメラクライアント220、カメラサーバ225、LiDARサーバ230、重量サーバ235、および/または中央サーバ240の機能のいずれかを実行するように構成されることを企図する。回路基板565はまた、コンピュータ700の特定の構成要素を含み得る。
システムであって、
空間の上方に配置されたカメラのアレイと、
第1のカメラクライアントと、
第1のカメラクライアントとは別個の第2のカメラクライアントと、
第1のカメラクライアントおよび第2のカメラクライアントとは別個のカメラサーバと、
空間内に配置される複数の重量センサと、
第1のカメラクライアント、第2のカメラクライアント、およびカメラサーバとは別個の重量サーバと、
第1のカメラクライアント、第2のカメラクライアント、カメラサーバ、および重量サーバとは別個の中央サーバと
を備え、
ここで、カメラのアレイの各カメラは空間の一部のビデオをキャプチャするように構成され、空間が人物を含み、
第1のカメラクライアントは、
カメラのアレイの第1のカメラから第1のビデオの第1の複数のフレームを受信することと、ここで、第1の複数のフレームの各フレームが空間内の人物を示し、
第1の複数のフレームのうちの第1のフレームについて、
第1のフレームに示される人物の周りの第1の境界エリアを決定することと、
第1のフレームが第1のカメラクライアントによって受信されたときの第1のタイムスタンプを生成することと、
第1の複数のフレームのうちの第2のフレームについて、
第2のフレームに示される人物の周りの第2の境界エリアを決定することと、
第2のフレームが第1のカメラクライアントによって受信されたときの第2のタイムスタンプを生成することと
を行うように構成され、
第2のカメラクライアントは、
カメラのアレイの第2のカメラから第2のビデオの第2の複数のフレームを受信することと、ここで、第2の複数のフレームの各フレームが空間内の人物を示し、
第2の複数のフレームのうちの第3のフレームについて、
第3のフレームに示される人物の周りの第3の境界エリアを決定することと、
第3のフレームが第2のカメラクライアントによって受信されたときの第3のタイムスタンプを生成することと、
第2の複数のフレームのうちの第4のフレームについて、
第4のフレームに示される人物の周りの第4の境界エリアを決定することと、
第4のフレームが第2のカメラクライアントによって受信されたときの第4のタイムスタンプを生成することと
を行うように構成され、
カメラサーバは、
第1のタイムスタンプが第1の時間窓内に入ると決定することと、
第1のタイムスタンプが第1の時間窓内に入ると決定することに応答して、第1の境界エリアを画定する座標を第1の時間窓に割り当てることと、
第2のタイムスタンプが第1の時間窓内に入ると決定することと、
第2のタイムスタンプが第1の時間窓内に入ると決定することに応答して、第2の境界エリアを画定する座標を第1の時間窓に割り当てることと、
第3のタイムスタンプが第1の時間窓内に入ると決定することと、
第3のタイムスタンプが第1の時間窓内に入ると決定することに応答して、第3の境界エリアを画定する座標を第1の時間窓に割り当てることと、
第4のタイムスタンプが第1の時間窓に続く第2の時間窓内に入ると決定することと、
第4のタイムスタンプが第2の時間窓内に入ると決定することに応答して、第4の境界エリアを画定する座標を第2の時間窓に割り当てることと、
第1の時間窓に割り当てられた座標が処理されるべきであると決定することと、
第1の時間窓に割り当てられた座標が処理されるべきであると決定することに応答して、
第1の境界エリアを画定する座標と第2の境界エリアを画定する座標とに少なくとも基づいて、第1のカメラからの第1のビデオに対する第1の時間窓中の人物の結合座標を計算すること、および
第3の境界エリアを画定する座標に少なくとも基づいて、第2のカメラからの第2のビデオに対する第1の時間窓中の人物の結合座標を計算すること
を行うことと、
第1のカメラからの第1のビデオに対する第1の時間窓中の人物の結合座標と、第2のカメラからの第2のビデオに対する第1の時間窓中の人物の結合座標とに少なくとも基づいて、第1の時間窓中の空間内の人物の位置を決定することと、
を行うように構成され、
複数の重量センサの各重量センサは、その重量センサが経験する重量を示す信号を生成するように構成され、
重量サーバは、複数の重量センサのうちの第1の重量センサによって生成された信号に少なくとも基づいて、第1の重量センサの上方に配置された商品が取り出されたと決定するように構成され、
中央サーバは、第1の時間窓中の空間内の人物の位置に少なくとも基づいて、人物が商品を取り出したと決定するように構成され、ここにおいて、第1の人物が商品を取り出したという決定に少なくとも基づいて、人物が空間を出るときに人物は商品に対して課金される、
システム。
空間の上方に配置された光検出および測距(LiDAR)センサのアレイと、
第1のカメラクライアント、第2のカメラクライアント、カメラサーバ、重量サーバ、および中央サーバとは別個のLiDARサーバと
をさらに備え、ここで、LiDARサーバは、LiDARセンサのアレイのLiDARセンサから受信された座標に少なくとも基づいて、第1の時間窓中の空間内の人物の位置を決定するように構成される、
条項1に記載のシステム。
第1の人物が商品を取り出したという決定は、(1)空間内の人物の位置と空間内の第1の重量センサの位置との間の距離、および(2)第1の重量センサによって生成された信号が重量サーバによって受信された時間が第1の時間窓内に入ることに少なくとも基づく、条項1に記載のシステム。
第1のカメラクライアントは、第1のフレームに示される人物の高さおよび第2のフレームに示される人物の高さを受信するようにさらに構成され、
第2のカメラクライアントは、第3のフレームに示される人物の高さおよび第4のフレームに示される人物の高さを受信するようにさらに構成され、
カメラサーバは、
第1のフレームに示される人物の高さと第2のフレームに示される人物の高さとに少なくとも基づいて、第1のカメラからの第1のビデオに対する第1の時間窓中の人物の結合高さを計算することと、
第3のフレームに示される人物の高さに少なくとも基づいて、第2のカメラからの第2のビデオに対する第1の時間窓中の人物の結合座標を計算することと
を行うようにさらに構成される、条項1に記載のシステム。
第1のカメラクライアントは、第1のタイムスタンプおよび第2のタイムスタンプを生成するために使用される第1のクロックを実装し、
第2のカメラクライアントは、第3のタイムスタンプおよび第4のタイムスタンプを生成するために使用される第2のクロックを実装し、
カメラサーバは第3のクロックを実装し、ここで、第1のクロック、第2のクロック、および第3のクロックは、クロック同期プロトコルを使用して同期される、
条項1に記載のシステム。
重量サーバは、クロック同期プロトコルを使用して第1のクロック、第2のクロック、および第3のクロックと同期される第4のクロックを実装する、条項5に記載のシステム。
第1のカメラからの第1のビデオに対する第1の時間窓中の人物の結合座標は、第1の境界エリアを画定する座標と第2の境界エリアを画定する座標との平均を含む、条項1に記載のシステム。
カメラのアレイは、第1のカメラクライアントに通信可能に結合されたカメラが、グリッドの同じ行または同じ列において、第1のカメラクライアントに通信可能に結合された別のカメラと直接隣接しないようにグリッド状に配置される、条項1に記載のシステム。
空間内のラックと、
引き出し内に配置された回路基板と
を備え、
ラックは、棚と、引き出しを備えたベースとを備え、ベースは棚よりも垂直方向下方に配置され、棚は第1の領域と第2の領域とに分割され、複数の重量センサのうちの第1の重量センサは、第1の領域内に配置され、第1の重量センサが経験する第1の領域内の重量に少なくとも基づいて第1の信号を生成するように構成され、複数の重量センサのうちの第2の重量センサは、第2の領域内に配置され、第2の重量センサが経験する第2の領域内の重量に少なくとも基づいて第2の信号を生成するように構成され、複数の重量センサの各重量センサは複数のロードセルを備え、
回路基板は、第1の重量センサおよび第2の重量センサに通信可能に結合され、回路基板は、
第1の信号および第2の信号を受信することと、
第1の重量センサが経験する重量を示す信号を重量サーバに通信することと、
第2の重量センサが経験する重量を示す信号を重量サーバに通信することと
を行うように構成される、
条項1に記載のシステム。
カメラサーバは、第1のカメラクライアントに第1のフレームを、第2のカメラクライアントに第3のフレームを要求するようにさらに構成され、人物の位置の決定は、さらに、第1のフレームおよび第3のフレームに少なくとも基づく、条項1に記載のシステム。
方法であって、
第1のカメラクライアントによって、カメラのアレイの第1のカメラから第1のビデオの第1の複数のフレームを受信することと、ここで、カメラのアレイは空間の上方に配置され、カメラのアレイの各カメラは空間の一部のビデオをキャプチャするように構成され、空間が人物を含み、第1の複数のフレームの各フレームが空間内の人物を示し、
第1の複数のフレームのうちの第1のフレームについて、
第1のカメラクライアントによって、第1のフレームに示される人物の周りの第1の境界エリアを決定することと、
第1のカメラクライアントによって、第1のフレームが第1のカメラクライアントによって受信されたときの第1のタイムスタンプを生成することと、
第1の複数のフレームのうちの第2のフレームについて、
第1のカメラクライアントによって、第2のフレームに示される人物の周りの第2の境界エリアを決定することと、
第1のカメラクライアントによって、第2のフレームが第1のカメラクライアントによって受信されたときの第2のタイムスタンプを生成することと、
第1のカメラクライアントとは別個の第2のカメラクライアントによって、カメラのアレイの第2のカメラから第2のビデオの第2の複数のフレームを受信することと、ここで、第2の複数のフレームの各フレームが空間内の人物を示し、
第2の複数のフレームのうちの第3のフレームについて、
第2のカメラクライアントによって、第3のフレームに示される人物の周りの第3の境界エリアを決定することと、
第2のカメラクライアントによって、第3のフレームが第2のカメラクライアントによって受信されたときの第3のタイムスタンプを生成することと、
第2の複数のフレームのうちの第4のフレームについて、
第2のカメラクライアントによって、第4のフレームに示される人物の周りの第4の境界エリアを決定することと、
第2のカメラクライアントによって、第4のフレームが第2のカメラクライアントによって受信されたときの第4のタイムスタンプを生成することと、
第1のカメラクライアントおよび第2のカメラクライアントとは別個のカメラサーバによって、第1のタイムスタンプが第1の時間窓内に入ると決定することと、
第1のタイムスタンプが第1の時間窓内に入ると決定することに応答して、カメラサーバによって、第1の境界エリアを画定する座標を第1の時間窓に割り当てることと、
カメラサーバによって、第2のタイムスタンプが第1の時間窓内に入ると決定することと、
第2のタイムスタンプが第1の時間窓内に入ると決定することに応答して、カメラサーバによって、第2の境界エリアを画定する座標を第1の時間窓に割り当てることと、
カメラサーバによって、第3のタイムスタンプが第1の時間窓内に入ると決定することと、
第3のタイムスタンプが第1の時間窓内に入ると決定することに応答して、カメラサーバによって、第3の境界エリアを画定する座標を第1の時間窓に割り当てることと、
カメラサーバによって、第4のタイムスタンプが第1の時間窓に続く第2の時間窓内に入ると決定することと、
第4のタイムスタンプが第2の時間窓内に入ると決定することに応答して、カメラサーバによって、第4の境界エリアを画定する座標を第2の時間窓に割り当てることと、
カメラサーバによって、第1の時間窓に割り当てられた座標が処理されるべきであると決定することと、
第1の時間窓に割り当てられた座標が処理されるべきであると決定することに応答して、
カメラサーバによって、第1の境界エリアを画定する座標と第2の境界エリアを画定する座標とに少なくとも基づいて、第1のカメラからの第1のビデオに対する第1の時間窓中の人物の結合座標を計算することと、
カメラサーバによって、第3の境界エリアを画定する座標に少なくとも基づいて、第2のカメラからの第2のビデオに対する第1の時間窓中の人物の結合座標を計算することと、
カメラサーバによって、第1のカメラからの第1のビデオに対する第1の時間窓中の人物の結合座標と、第2のカメラからの第2のビデオに対する第1の時間窓中の人物の結合座標とに少なくとも基づいて、第1の時間窓中の空間内の人物の位置を決定することと、
空間内に配置された複数の重量センサによって、複数の重量センサが経験する重量を示す信号を生成することと、
第1のカメラクライアント、第2のカメラクライアント、およびカメラサーバとは別個の重量サーバによって、複数の重量センサのうちの第1の重量センサによって生成された信号に少なくとも基づいて、第1の重量センサの上方に配置された商品が取り出されたと決定することと、
第1のカメラクライアント、第2のカメラクライアント、カメラサーバ、および重量サーバとは別個の中央サーバによって、第1の時間窓中の空間内の人物の位置に少なくとも基づいて、人物が商品を取り出したと決定することと、ここにおいて、第1の人物が商品を取り出したという決定に少なくとも基づいて、人物が空間を出るときに人物は商品に対して課金される、
を含む方法。
第1のカメラクライアント、第2のカメラクライアント、カメラサーバ、重量サーバ、および中央サーバとは別個の光検出および測距(LiDAR)サーバによって、空間の上方に配置されたLiDARセンサのアレイのLiDARセンサから受信された座標に少なくとも基づいて、第1の時間窓中の空間内の人物の位置を決定することをさらに含む、条項11に記載の方法。
第1の人物が商品を取り出したという決定は、(1)空間内の人物の位置と空間内の第1の重量センサの位置との間の距離、および(2)第1の重量センサによって生成された信号が重量サーバによって受信された時間が第1の時間窓内に入ることに少なくとも基づく、条項11に記載の方法。
第1のカメラクライアントによって、第1のフレームに示される人物の高さおよび第2のフレームに示される人物の高さを受信することと、
第2のカメラクライアントによって、第3のフレームに示される人物の高さおよび第4のフレームに示される人物の高さを受信することと、
カメラサーバによって、第1のフレームに示される人物の高さと第2のフレームに示される人物の高さとに少なくとも基づいて、第1のカメラからの第1のビデオに対する第1の時間窓中の人物の結合高さを計算することと、
カメラサーバによって、第3のフレームに示される人物の高さに少なくとも基づいて、第2のカメラからの第2のビデオに対する第1の時間窓中の人物の結合座標を計算することと
をさらに含む、条項11に記載の方法。
第1のカメラクライアントによって、第1のタイムスタンプおよび第2のタイムスタンプを生成するために使用される第1のクロックを実装することと、
第2のカメラクライアントによって、第3のタイムスタンプおよび第4のタイムスタンプを生成するために使用される第2のクロックを実装することと、
カメラサーバによって、第3のクロックを実装することと、
をさらに含み、ここで、第1のクロック、第2のクロック、および第3のクロックは、クロック同期プロトコルを使用して同期される、
条項11に記載の方法。
重量サーバによって、クロック同期プロトコルを使用して第1のクロック、第2のクロック、および第3のクロックと同期される第4のクロックを実装することをさらに含む、条項15に記載の方法。
第1のカメラからの第1のビデオに対する第1の時間窓中の人物の結合座標は、第1の境界エリアを画定する座標と第2の境界エリアを画定する座標との平均を含む、条項11に記載の方法。
カメラのアレイは、第1のカメラクライアントに通信可能に結合されたカメラが、グリッドの同じ行または同じ列において、第1のカメラクライアントに通信可能に結合された別のカメラと直接隣接しないようにグリッド状に配置される、条項11に記載の方法。
回路基板によって、複数の重量センサのうちの第1の重量センサから第1の信号を受信することと、ここで、回路基板は、空間内に配置されたラックの引き出し内に配置され、ラックは棚とベースとを備え、ベースは引き出しを備え、ベースは棚よりも垂直方向下方に配置され、棚は第1の領域と第2の領域とに分割され、第1の重量センサは第1の領域内に配置され、第1の信号は、第1の重量センサが経験する第1の領域内の重量を示し、複数の重量センサの各重量センサは複数のロードセルを備え、
回路基板によって、複数の重量センサのうちの第2の重量センサから第2の信号を受信することと、ここで、第2の重量センサは第2の領域内に配置され、第2の信号は、第2の重量センサが経験する第2の領域内の重量を示し、
回路基板によって、第1の重量センサが経験する重量を示す信号を重量サーバに通信することと、
回路基板によって、第2の重量センサが経験する重量を示す信号を重量サーバに通信することと
をさらに含む、条項11に記載の方法。
カメラサーバによって、第1のカメラクライアントに第1のフレームを、第2のカメラクライアントに第3のフレームを要求することをさらに含み、人物の位置の決定は、さらに、第1のフレームおよび第3のフレームに少なくとも基づく、条項11に記載の方法。
システムであって、
第1のカメラクライアントと、
第1のカメラクライアントとは別個の第2のカメラクライアントと、
第1のカメラクライアントおよび第2のカメラクライアントとは別個の第3のカメラクライアントと、
空間の上方に配置されたカメラのアレイと
を備え、
カメラのアレイ内のカメラは、第1の行、第2の行、第3の行、第1の列、第2の列、および第3の列を含む矩形グリッドとして配置され、アレイは、
グリッドの第1の行および第1の列に配置された第1のカメラと、
第2のカメラがグリッド内で第1のカメラに直接隣接するようにグリッドの第1の行および第2の列に配置された第2のカメラと、
第3のカメラがグリッド内で第2のカメラに直接隣接するようにグリッドの第1の行および第3の列に配置された第3のカメラと、
第4のカメラがグリッド内で第1のカメラに直接隣接するようにグリッドの第2の行および第1の列に配置された第4のカメラと、
第5のカメラがグリッド内で第4のカメラおよび第2のカメラに直接隣接するようにグリッドの第2の行および第2の列に配置された第5のカメラと、
第6のカメラがグリッド内で第4のカメラに直接隣接するようにグリッドの第3の行および第1の列に配置された第6のカメラと
を備え、
第1のカメラは、第1のカメラクライアントに通信可能に結合され、第1のカメラは、第1のカメラの第1の視野によってカバーされる空間の第1の部分のビデオを第1のカメラクライアントに通信するように構成され、
第2のカメラは、第2のカメラクライアントに通信可能に結合され、第2のカメラは、第2のカメラの第2の視野によってカバーされる空間の第2の部分のビデオを第2のカメラクライアントに通信するように構成され、
第3のカメラは、第3のカメラクライアントに通信可能に結合され、第3のカメラは、第3のカメラの第3の視野によってカバーされる空間の第3の部分のビデオを第3のカメラクライアントに通信するように構成され、
第4のカメラは、第2のカメラクライアントに通信可能に結合され、第4のカメラは、第4のカメラの第4の視野によってカバーされる空間の第4の部分のビデオを第2のカメラクライアントに通信するように構成され、
第5のカメラは、第3のカメラクライアントに通信可能に結合され、第5のカメラは、第5のカメラの第5の視野によってカバーされる空間の第5の部分のビデオを第3のカメラクライアントに通信するように構成され、
第6のカメラは、第3のカメラクライアントに通信可能に結合され、第6のカメラは、第6のカメラの第6の視野によってカバーされる空間の第6の部分のビデオを第3のカメラクライアントに通信するように構成され、
第3のカメラクライアントがオフラインになった場合でも、空間の第5の部分の少なくとも一部が、第1のカメラから第1のカメラクライアントに通信されるビデオ、第2のカメラから第2のカメラクライアントに通信されるビデオ、および第4のカメラから第2のカメラクライアントに通信されるビデオにおいて依然としてキャプチャされるように、第5のカメラの第5の視野は、第1のカメラの第1の視野、第2のカメラの第2の視野、および第4のカメラの第4の視野と部分的に重複する、
システム。
カメラのアレイは、第1のカメラクライアントに通信可能に結合された各カメラが、グリッドの同じ行または同じ列において、第1のカメラクライアントに通信可能に結合されたカメラのアレイの別のカメラに直接隣接しないように配置される、条項21に記載のシステム。
カメラのアレイは、アレイの2×2部分が、第1のカメラクライアントに通信可能に結合されたカメラと、第2のカメラクライアントに通信可能に結合されたカメラと、第3のカメラクライアントに通信可能に結合されたカメラとを含むように配置される、条項21に記載のシステム。
カメラのアレイは、第1のカメラクライアントに通信可能に結合されたカメラのアレイのカメラが、第1のカメラクライアントに通信可能に結合されたカメラのアレイの別のカメラに対してグリッド内で対角になるように配置される、条項21に記載のシステム。
第1のカメラによってキャプチャされる空間の第1の部分は、第2、第4、および第5のカメラによってそれぞれキャプチャされる空間の第2、第4、および第5の部分と部分的に重複する、条項21に記載のシステム。
グリッドは、第4の列をさらに備え、
カメラのアレイは、
第7のカメラがグリッド内で第3のカメラに直接隣接するようにグリッドの第1の行および第4の列に配置された第7のカメラと、
第8のカメラがグリッド内で第3のカメラおよび第5のカメラに直接隣接するようにグリッドの第2の行および第3の列に配置された第8のカメラと、
第9のカメラがグリッド内で第5のカメラおよび第6のカメラに直接隣接するようにグリッドの第3の行および第2の列に配置された第9のカメラと
を備え、
第7のカメラは、第1のカメラクライアントに通信可能に結合され、第7のカメラは、空間の第7の部分のビデオを第1のカメラクライアントに通信するように構成され、
第8のカメラは、第1のカメラクライアントに通信可能に結合され、第8のカメラは、空間の第8の部分のビデオを第1のカメラクライアントに通信するように構成され、
第9のカメラは、第1のカメラクライアントに通信可能に結合され、第9のカメラは、空間の第9の部分のビデオを第1のカメラクライアントに通信するように構成される、
条項21に記載のシステム。
第1のカメラは、第1のカメラクライアントに配線接続され、
第2のカメラおよび第4のカメラは、第2のカメラクライアントに配線接続され、
第3のカメラ、第5のカメラ、および第6のカメラは、第3のカメラクライアントに配線接続される、
条項21に記載のシステム。
第1のカメラクライアントは、
第1のカメラからのビデオの第1のフレーム内のユーザの第1の座標を決定することと、
第1のカメラクライアントが第1のフレームを受信したときの第1のタイムスタンプを生成することと、
第1のカメラからのビデオの第2のフレーム内のユーザの第2の座標を決定することと、ここで、第2のフレームは第1のフレームの後に受信され、
第1のカメラクライアントが第2のフレームを受信したときの第2のタイムスタンプを生成することと、
第1のカメラからのビデオの第3のフレーム内のユーザの第3の座標を決定することと、ここで、第3のフレームは第2のフレームの後に受信され、
第1のカメラクライアントが第3のフレームを受信したときの第3のタイムスタンプを生成することと
を行うように構成される、条項21に記載のシステム。
第1のカメラクライアント、第2のカメラクライアント、および第3のカメラクライアントとは別個のカメラサーバをさらに備え、カメラサーバは、
第1のタイムスタンプおよび第2のタイムスタンプが第1の時間窓内に入ると決定することと、
第1のタイムスタンプおよび第2のタイムスタンプが第1の時間窓内に入ると決定することに応答して、第1の座標および第2の座標を第1の時間窓に割り当てることと、
第3のタイムスタンプが第1の時間窓に続く第2の時間窓内に入ると決定することと、
第3のタイムスタンプが第2の時間窓内に入ると決定することに応答して、第3の座標を第2の時間窓に割り当てることと、
第1の座標および第2の座標に基づいて、第1の時間窓中のユーザの結合座標を決定することと、
第1の時間窓中のユーザの結合座標を決定した後に、第3の座標に基づいて、第2の時間窓中のユーザの結合座標を決定することと
を行うように構成される、条項28に記載のシステム。
第1のカメラ、第2のカメラ、第3のカメラ、第4のカメラ、第5のカメラ、および第6のカメラは、ユーザの高さを検出するようにさらに構成される、条項21に記載のシステム。
空間の上方に配置された第2のカメラのアレイをさらに備え、第2のカメラのアレイは、第2の矩形グリッドとして配置され、第2のカメラのアレイは、カメラのアレイとは異なり、第2のカメラのアレイの各カメラは、カメラのアレイのカメラからオフセットされている、条項21に記載のシステム。
方法であって、
カメラのアレイの第1のカメラによって、第1のカメラの第1の視野によってカバーされる空間の第1の部分のビデオを第1のカメラクライアントに通信することと、ここで、カメラのアレイは、空間の上方に配置され、カメラのアレイ内のカメラは、第1の行、第2の行、第3の行、第1の列、第2の列、および第3の列を含む矩形グリッドとして配置され、第1のカメラは、グリッドの第1の行および第1の列に配置され、第1のカメラは、第1のカメラクライアントに通信可能に結合され、
カメラのアレイの第2のカメラによって、第2のカメラの第2の視野によってカバーされる空間の第2の部分のビデオを、第1のカメラクライアントとは別個の第2のカメラクライアントに通信することと、ここで、第2のカメラは、第2のカメラがグリッド内で第1のカメラに直接隣接するようにグリッドの第1の行および第2の列に配置され、第2のカメラは、第2のカメラクライアントに通信可能に結合され、
カメラのアレイの第3のカメラによって、第3のカメラの第3の視野によってカバーされる空間の第3の部分のビデオを、第1のカメラクライアントおよび第2のカメラクライアントとは別個の第3のカメラクライアントに通信することと、ここで、第3のカメラは、第3のカメラがグリッド内で第2のカメラに直接隣接するようにグリッドの第1の行および第3の列に配置され、第3のカメラは、第3のカメラクライアントに通信可能に結合され、
カメラのアレイの第4のカメラによって、第4のカメラの第4の視野によってカバーされる空間の第4の部分のビデオを第2のカメラクライアントに通信することと、ここで、第4のカメラは、第4のカメラがグリッド内で第1のカメラに直接隣接するようにグリッドの第2の行および第1の列に配置され、第4のカメラは、第2のカメラクライアントに通信可能に結合され、
カメラのアレイの第5のカメラによって、第5のカメラの第5の視野によってカバーされる空間の第5の部分のビデオを第3のカメラクライアントに通信することと、ここで、第5のカメラは、第5のカメラがグリッド内で第4のカメラおよび第2のカメラに直接隣接するようにグリッドの第2の行および第2の列に配置され、第5のカメラは、第3のカメラクライアントに通信可能に結合され、
カメラのアレイの第6のカメラによって、第6のカメラの第6の視野によってカバーされる空間の第6の部分のビデオを第3のカメラクライアントに通信することと、ここで、第6のカメラは、第6のカメラがグリッド内で第4のカメラに直接隣接するようにグリッドの第3の行および第1の列に配置され、第6のカメラは、第3のカメラクライアントに通信可能に結合される、
を含み、
第3のカメラクライアントがオフラインになった場合でも、空間の第5の部分の少なくとも一部が、第1のカメラから第1のカメラクライアントに通信されるビデオ、第2のカメラから第2のカメラクライアントに通信されるビデオ、および第4のカメラから第2のカメラクライアントに通信されるビデオにおいて依然としてキャプチャされるように、第5のカメラの第5の視野は、第1のカメラの第1の視野、第2のカメラの第2の視野、および第4のカメラの第4の視野と部分的に重複する、
方法。
カメラのアレイは、第1のカメラクライアントに通信可能に結合されたカメラのアレイの各カメラが、グリッド内で、第1のカメラクライアントに通信可能に結合されたカメラのアレイの別のカメラに直接隣接しないように配置される、条項32に記載の方法。
カメラのアレイは、アレイの2×2部分が、第1のカメラクライアントに通信可能に結合されたカメラと、第2のカメラクライアントに通信可能に結合されたカメラと、第3のカメラクライアントに通信可能に結合されたカメラとを含むように配置される、条項32に記載の方法。
カメラのアレイは、第1のカメラクライアントに通信可能に結合されたカメラが、第1のカメラクライアントに通信可能に結合された別のカメラに対してグリッド内で対角になるように配置される、条項32に記載の方法。
第1のカメラによってキャプチャされる空間の第1の部分は、それぞれ、第2のカメラ、第4のカメラ、および第5のカメラによってキャプチャされる空間の第2の部分、第4の部分、および第5の部分と部分的に重複する、条項32に記載の方法。
カメラのアレイの第7のカメラによって、空間の第7の部分のビデオを第1のカメラクライアントに通信することと、ここで、グリッドは第4の列をさらに含み、第7のカメラは、第7のカメラがグリッド内で第3のカメラに直接隣接するようにグリッドの第1の行および第4の列に配置され、第7のカメラは、第1のカメラクライアントに通信可能に結合され、
カメラのアレイの第8のカメラによって、空間の第8の部分のビデオを第1のカメラクライアントに通信することと、ここで、第8のカメラは、第8のカメラがグリッド内で第3のカメラおよび第5のカメラに直接隣接するようにグリッドの第2の行および第3の列に配置され、第8のカメラは、第1のカメラクライアントに通信可能に結合され、
カメラのアレイの第9のカメラによって、空間の第9の部分のビデオを第1のカメラクライアントに通信することと、ここで、第9のカメラは、第9のカメラがグリッド内で第5のカメラおよび第6のカメラに直接隣接するようにグリッドの第3の行および第2の列に配置され、第9のカメラは、第1のカメラクライアントに通信可能に結合される、
を含む、条項32に記載の方法。
第1のカメラは、第1のカメラクライアントに配線接続され、
第2のカメラおよび第4のカメラは、第2のカメラクライアントに配線接続され、
第3のカメラ、第5のカメラ、および第6のカメラは、第3のカメラクライアントに配線接続される、
条項32に記載の方法。
第1のカメラクライアントによって、第1のカメラからのビデオの第1のフレーム内のユーザの第1の座標を決定することと、
第1のカメラクライアントによって、第1のカメラクライアントが第1のフレームを受信したときの第1のタイムスタンプを生成することと、
第1のカメラクライアントによって、第1のカメラからのビデオの第2のフレーム内のユーザの第2の座標を決定することと、ここで、第2のフレームは第1のフレームの後に受信され、
第1のカメラクライアントによって、第1のカメラクライアントが第2のフレームを受信したときの第2のタイムスタンプを生成することと、
第1のカメラクライアントによって、第1のカメラからのビデオの第3のフレーム内のユーザの第3の座標を決定することと、ここで、第3のフレームは第2のフレームの後に受信され、
第1のカメラクライアントによって、第1のカメラクライアントが第3のフレームを受信したときの第3のタイムスタンプを生成することと
をさらに含む、条項32に記載の方法。
第1のカメラクライアント、第2のカメラクライアント、および第3のカメラクライアントとは別個のカメラサーバによって、第1のタイムスタンプおよび第2のタイムスタンプが第1の時間窓内に入ると決定することと、
第1のタイムスタンプおよび第2のタイムスタンプが第1の時間窓内に入ると決定することに応答して、カメラサーバによって、第1の座標および第2の座標を第1の時間窓に割り当てることと、
カメラサーバによって、第3のタイムスタンプが第1の時間窓に続く第2の時間窓内に入ると決定することと、
第3のタイムスタンプが第2の時間窓内に入ると決定することに応答して、カメラサーバによって、第3の座標を第2の時間窓に割り当てることと、
カメラサーバによって、第1の座標および第2の座標に基づいて、第1の時間窓中のユーザの結合座標を決定することと、
第1の時間窓中のユーザの結合座標を決定した後に、カメラサーバによって、第3の座標に基づいて、第2の時間窓中のユーザの結合座標を決定することと
をさらに含む、条項39に記載の方法。
第1のカメラ、第2のカメラ、第3のカメラ、第4のカメラ、第5のカメラ、および第6のカメラによって、ユーザの高さを検出することをさらに含む、条項32に記載の方法。
第2のカメラのアレイは、空間の上方に位置付けられ、第2のカメラのアレイは、第2の矩形グリッドとして配置され、第2のカメラのアレイは、カメラのアレイとは異なり、第2のカメラのアレイの各カメラは、カメラのアレイのカメラからオフセットされている、条項32に記載の方法。
回路基板と
ラックと
を備えるシステムであって、
ラックが、
底面と、
ベースの底面に結合された第1の側面であって、ベースの底面から上方に延在するベースの第1の側面と、
ベースの底面および第1の側面に結合された第2の側面であって、ベースの底面から上方に延在するベースの第2の側面と、
ベースの底面および第2の側面に結合された第3の側面であって、ベースの底面から上方に延在するベースの第3の側面と、
ベースの底面および上面ならびにベースの第1の側面、第2の側面、および第3の側面が空間を画定するように、ベースの第1の側面、第2の側面、および第3の側面に結合された上面であって、空間への第1の開口部を画定するベースの上面と、
空間内に配置され、回路基板が中に配置される引き出しと
を備えるベースと、
ベースに結合され、ベースから上方に延在しており、パネルの幅に沿って延在する第2の開口部を画定するパネルと、
棚がベースよりも垂直方向に高く位置決めされるように、かつ棚がパネルから離れる方向に延在するようにパネルに結合され、底面と、棚の底面から上方に延在する前面と、棚の底面から上方に延在する背面とを備える棚と、ここで、棚の背面はパネルに結合され、棚の背面は第3の開口部を画定し、第3の開口部の一部は第2の開口部の一部と位置合わせされ、
棚の底面に結合され、棚の前面と棚の背面との間に配置された第1の重量センサと、
棚の底面に結合され、棚の前面と棚の背面との間に配置された第2の重量センサと、
第1の重量センサおよび回路基板に結合され、第1の重量センサから、第2および第3の開口部を通り、第1の開口部を通って空間内に下方に延在する第1のワイヤと、
第2の重量センサおよび回路基板に結合され、第2の重量センサから、第2および第3の開口部を通り、第1の開口部を通って空間内に下方に延在する第2のワイヤと
を備える、システム。
第4の開口部を画定する背面を備える第2の棚をさらに備え、パネルは、パネルの幅に沿って延在する第5の開口部をさらに画定し、第2の棚の背面は、第4の開口部の一部が第5の開口部の一部と位置合わせされるようにパネルに結合される、条項43に記載のシステム。
ベースの上面に結合された第3の重量センサと、
第3の重量センサおよび回路基板に接続され、第3の重量センサから第1の開口部を通って空間内に延在する第3のワイヤと
をさらに備える、条項43に記載のシステム。
第1の重量センサは、
第1のロードセルが経験する力に基づいて第1の電流を生成するように構成された第1のロードセルと、
第2のロードセルが経験する力に基づいて第2の電流を生成するように構成された第2のロードセルと、
第3のロードセルが経験する力に基づいて第3の電流を生成するように構成された第3のロードセルと、
第4のロードセルが経験する力に基づいて第4の電流を生成するように構成された第4のロードセルと
を備える、条項43に記載のシステム。
第1の重量センサは、第1のコーナーと、第2のコーナーと、第3のコーナーと、第4のコーナーとを備え、
第1のロードセルは、第1のコーナーから第1の距離に配置され、
第2のロードセルは、第2のコーナーから第2の距離に配置され、
第3のロードセルは、第3のコーナーから第3の距離に配置され、
第4のロードセルは、第4のコーナーから第4の距離に配置され、第1の距離、第2の距離、第3の距離、および第4の距離は実質的に同じである、
条項46に記載のシステム。
第1のワイヤは、
第1のロードセルに結合された第3のワイヤと、
第2のロードセルに結合された第4のワイヤと、
第3のロードセルに接続された第5のワイヤと、
第4のロードセルに結合された第6のワイヤと
を備える、条項47に記載のシステム。
第1の重量センサは、第1の重量センサが経験する棚の第1の領域内の重量を示す第1の信号を、第1のワイヤを通して回路基板に通信するように構成され、第1の領域は、第1の重量センサの上方に配置され、
第2の重量センサは、第2の重量センサが経験する棚の第2の領域内の重量を示す第2の信号を、第2のワイヤを通して回路基板に通信するように構成され、第2の領域は、第2の重量センサの上方に配置される、
条項43に記載のシステム。
重量サーバをさらに備え、回路基板は、第1の重量センサが経験する重量を示す第3の信号を重量サーバに通信するように構成される、条項49に記載のシステム。
回路基板は、
イーサネット接続が確立されている場合、イーサネット接続を介して第3の信号を重量サーバに通信することと、
イーサネット接続が確立されておらず、ワイヤレス接続が確立されている場合、ワイヤレス接続を介して第3の信号を重量サーバに通信することと、
イーサネット接続およびワイヤレス接続が確立されておらず、ユニバーサルシリアルバス接続が確立されている場合、ユニバーサルシリアルバス接続を介して第3の信号を重量サーバに通信することと
を行うようにさらに構成される、条項50に記載のシステム。
重量サーバは、第3の信号に基づいて、棚の第1の領域内の商品が取り出されたと決定するように構成される、条項50に記載のシステム。
回路基板と、
ラックと
を備えるシステムであって、ラックが、
ベースによって画定される空間内に配置された引き出しを備えるベースであって、回路基板が引き出し内に配置され、空間内への第1の開口部をさらに画定するベースと、
ベースに結合され、ベースから上方に延在するパネルであって、パネルの幅に沿って延在する第2の開口部を画定するパネルと、
棚がベースよりも垂直方向に高く位置付けられ、かつ棚がパネルから離れる方向に延在するようにパネルに結合され、第3の開口部を画定する棚であって、第3の開口部の一部が第2の開口部の一部と位置合わせされる、棚と、
棚に結合された第1の重量センサと、
棚に結合された第2の重量センサと、
第1の重量センサおよび回路基板に結合され、第1の重量センサから、第2および第3の開口部を通り、第1の開口部を通って空間内に下方に延在する第1のワイヤと、
第2の重量センサおよび回路基板に結合され、第2の重量センサから、第2および第3の開口部を通り、第1の開口部を通って空間内へと下方に延在する第2のワイヤと
を備える、システム。
第4の開口部を画定する第2の棚をさらに備え、パネルは、パネルの幅に沿って延在する第5の開口部をさらに画定し、第2の棚は、第4の開口部の一部が第5の開口部の一部と位置合わせされるようにパネルに連結される、条項53に記載のシステム。
ベースに結合された第3の重量センサと、
第3の重量センサおよび回路基板に結合され、第3の重量センサから第1の開口部を通って空間に延在する第3のワイヤと
をさらに備える、条項53に記載のシステム。
第1の重量センサは、
第1のロードセルが経験する力に基づいて第1の電流を生成するように構成された第1のロードセルと、
第2のロードセルが経験する力に基づいて第2の電流を生成するように構成された第2のロードセルと、
第3のロードセルが経験する力に基づいて第3の電流を生成するように構成された第3のロードセルと、
第4のロードセルが経験する力に基づいて第4の電流を生成するように構成された第4のロードセルと
を備える、条項53に記載のシステム。
第1の重量センサは、第1のコーナーと、第2のコーナーと、第3のコーナーと、第4のコーナーとを備え、
第1のロードセルは、第1のコーナーから第1の距離に配置され、
第2のロードセルは、第2のコーナーから第2の距離に配置され、
第3のロードセルは、第3のコーナーから第3の距離に配置され、
第4のロードセルは、第4のコーナーから第4の距離に配置され、第1の距離、第2の距離、第3の距離、および第4の距離は実質的に同じである、
条項56に記載のシステム。
第1のワイヤは、
第1のロードセルに結合された第3のワイヤと、
第2のロードセルに結合された第4のワイヤと、
第3のロードセルに接続された第5のワイヤと、
第4のロードセルに結合された第6のワイヤと
を備える、条項56に記載のシステム。
第1の重量センサは、第1の重量センサが経験する棚の第1の領域内の重量を示す第1の信号を、第1のワイヤを通して回路基板に通信するように構成され、第1の領域は、第1の重量センサの上方に配置され、
第2の重量センサは、第2の重量センサが経験する棚の第2の領域内の重量を示す第2の信号を、第2のワイヤを通して回路基板に通信するように構成され、第2の領域は、第2の重量センサの上方に配置される、
条項53に記載のシステム。
重量サーバをさらに備え、回路基板は、第1の重量センサが経験する重量を示す第3の信号を重量サーバに通信するように構成される、条項59に記載のシステム。
回路基板は、
イーサネット接続が確立されている場合、イーサネット接続を介して第3の信号を重量サーバに通信することと、
イーサネット接続が確立されておらず、ワイヤレス接続が確立されている場合、ワイヤレス接続を介して第3の信号を重量サーバに通信することと、
イーサネット接続およびワイヤレス接続が確立されておらず、ユニバーサルシリアルバス接続が確立されている場合、ユニバーサルシリアルバス接続を介して第3の信号を重量サーバに通信することと
を行うようにさらに構成される、条項60に記載のシステム。
重量サーバは、第3の信号に基づいて、棚の第1の領域内の商品が取り出されたと決定するように構成される、条項60に記載のシステム。
Claims (26)
- システムであって、
空間の上方に配置されたカメラのアレイと、
第1のカメラクライアントと、
第2のカメラクライアントと、
前記第1のカメラクライアントおよび前記第2のカメラクライアントとは別個のカメラサーバと
を備え、
前記カメラのアレイの各カメラは前記空間の一部のビデオをキャプチャするように構成され、前記空間が人物を含み、
前記第1のカメラクライアントは、
前記カメラのアレイの第1のカメラから第1のビデオの第1の複数のフレームを受信することと、ここで、前記第1の複数のフレームの各フレームが前記空間内の前記人物を示し、
前記第1の複数のフレームのうちの第1のフレームについて、
前記第1のフレームに示される前記人物の周りの第1の境界エリアを決定することと、
前記第1のフレームが前記第1のカメラクライアントによって受信されたときの第1のタイムスタンプを生成することと、
前記第1の複数のフレームのうちの第2のフレームについて、
前記第2のフレームに示される前記人物の周りの第2の境界エリアを決定することと、
前記第2のフレームが前記第1のカメラクライアントによって受信されたときの第2のタイムスタンプを生成することと、
前記第1の複数のフレームのうちの第3のフレームについて、
前記第3のフレームに示される前記人物の周りの第3の境界エリアを決定することと、
前記第3のフレームが前記第1のカメラクライアントによって受信されたときの第3のタイムスタンプを生成することと
を行うように構成され、
前記第2のカメラクライアントは、
前記カメラのアレイの第2のカメラから第2のビデオの第2の複数のフレームを受信することと、ここで、前記第2の複数のフレームの各フレームが前記空間内の前記人物を示し、
前記第2の複数のフレームのうちの第4のフレームについて、
前記第4のフレームに示される前記人物の周りの第4の境界エリアを決定することと、
前記第4のフレームが前記第2のカメラクライアントによって受信されたときの第4のタイムスタンプを生成することと、
前記第2の複数のフレームのうちの第5のフレームについて、
前記第5のフレームに示される前記人物の周りの第5の境界エリアを決定することと、
前記第5のフレームが前記第2のカメラクライアントによって受信されたときの第5のタイムスタンプを生成することと
を行うように構成され、
前記カメラサーバは、
前記第1のタイムスタンプが第1の時間窓内に入ると決定することと、
前記第1のタイムスタンプが前記第1の時間窓内に入ると決定することに応答して、前記第1の境界エリアを画定する座標を前記第1の時間窓に割り当てることと、
前記第2のタイムスタンプが前記第1の時間窓内に入ると決定することと、
前記第2のタイムスタンプが前記第1の時間窓内に入ると決定することに応答して、前記第2の境界エリアを画定する座標を前記第1の時間窓に割り当てることと、
前記第3のタイムスタンプが前記第1の時間窓に続く第2の時間窓内に入ると決定することと、
前記第3のタイムスタンプが前記第2の時間窓内に入ると決定することに応答して、前記第3の境界エリアを画定する座標を前記第2の時間窓に割り当てることと、
前記第4のタイムスタンプが前記第1の時間窓内に入ると決定することと、
前記第4のタイムスタンプが前記第1の時間窓内に入ると決定することに応答して、前記第4の境界エリアを画定する座標を前記第1の時間窓に割り当てることと、
前記第5のタイムスタンプが前記第2の時間窓内に入ると決定することと、
前記第5のタイムスタンプが前記第2の時間窓内に入ると決定することに応答して、前記第5の境界エリアを画定する座標を前記第2の時間窓に割り当てることと、
前記第1の時間窓に割り当てられた前記座標を、
前記第1の境界エリアを画定する前記座標と前記第2の境界エリアを画定する前記座標とに少なくとも基づいて、前記第1のカメラからの前記第1のビデオに対する前記第1の時間窓中の前記人物の結合座標を計算すること、および
前記第4の境界エリアを画定する前記座標に少なくとも基づいて、前記第2のカメラからの前記第2のビデオに対する前記第1の時間窓中の前記人物の結合座標を計算すること
によって処理することと、
前記第1の時間窓に割り当てられた前記座標を処理した後に、前記第2の時間窓に割り当てられた前記座標を、
前記第3の境界エリアを画定する前記座標に少なくとも基づいて、前記第1のカメラからの前記第1のビデオに対する前記第2の時間窓中の前記人物の結合座標を計算すること、および
前記第5の境界エリアを画定する前記座標に少なくとも基づいて、前記第2のカメラからの前記第2のビデオに対する前記第2の時間窓中の前記人物の結合座標を計算すること
によって処理することと
を行うように構成される、
システム。 - 前記カメラサーバは、前記第1のカメラからの前記第1のビデオに対する前記第1の時間窓中の前記人物の前記結合座標と、前記第2のカメラからの前記第2のビデオに対する前記第1の時間窓中の前記人物の前記結合座標とに少なくとも基づいて、前記第1の時間窓中の前記空間内の前記人物の位置を決定するようにさらに構成される、請求項1に記載のシステム。
- 前記第1のカメラからの前記第1のビデオに対する前記第1の時間窓中の前記人物の前記結合座標は、前記第1の境界エリアを画定する前記座標と前記第2の境界エリアを画定する前記座標との平均を含む、請求項1に記載のシステム。
- 前記第1の時間窓に割り当てられた前記座標を処理することは、
前記第1の時間窓に割り当てられた座標が、前記カメラのアレイ内のいくつかのカメラからのフレームからの座標を含むと決定すること、および
カメラの数がしきい値を超えると決定すること
に応答して実行される、請求項1に記載のシステム。 - 前記第1の時間窓に割り当てられた前記座標を処理することは、
前記第2の時間窓に割り当てられた座標が、前記カメラのアレイ内のいくつかのカメラからのフレームからの座標を含むと決定すること、および
カメラの数がしきい値を超えると決定すること
に応答して実行される、請求項1に記載のシステム。 - 前記第1の時間窓に割り当てられた前記座標を処理することは、前記第1の時間窓に割り当てられた座標が、タイムアウトを超える時間期間にわたって処理されなかったと決定することに応答して実行される、請求項1に記載のシステム。
- 前記カメラサーバは、
第1の時間窓に割り当てられた座標が、前記タイムアウトを超える前記時間期間にわたって処理されなかったと決定することに応答して、
前記第2の時間窓に割り当てられた座標が、前記カメラのアレイ内の第1の数のカメラからのフレームからの座標を含むと決定すること、および
しきい値を前記第1の数に下げること
を行うことと、
第3の時間窓に割り当てられた座標が、前記カメラのアレイ内の第2の数のカメラからのフレームからの座標を含むと決定することと、
前記第2の数が前記第1の数を上回ると決定することと、
前記第2の数が前記第1の数を上回ると決定することに応答して、前記しきい値を前記第2の数に増加させることと
を行うようにさらに構成される、請求項6に記載のシステム。 - 前記第1の時間窓に割り当てられた座標が処理されるべきであると決定することは、前記第2の時間窓中に前記カメラのアレイ内の各カメラからフレームが受信されたと決定することを含む、請求項1に記載のシステム。
- 前記第1のカメラクライアントは、前記第1の時間窓中に、前記第1のカメラクライアントが、前記第1のカメラクライアントに通信可能に結合された前記カメラのアレイ内の各カメラからフレームを受信したと決定したことに応答して、前記第1の境界エリアを画定する前記座標および前記第2の境界エリアを画定する前記座標をバッチとして前記カメラサーバに通信するようにさらに構成される、請求項1に記載のシステム。
- 前記第1のカメラクライアントは、前記第1のフレームに示される前記人物の高さ、前記第2のフレームに示される前記人物の高さ、および前記第3のフレームに示される前記人物の高さを受信するようにさらに構成され、
前記第2のカメラクライアントは、前記第4のフレームに示される前記人物の高さおよび前記第5のフレームに示される前記人物の高さを受信するようにさらに構成され、
前記カメラサーバは、
前記第1のフレームに示される前記人物の前記高さと前記第2のフレームに示される前記人物の前記高さとに少なくとも基づいて、前記第1のカメラからの前記第1のビデオに対する前記第1の時間窓中の前記人物の結合高さを計算することと、
前記第4のフレームに示される前記人物の高さに少なくとも基づいて、前記第2のカメラからの前記第2のビデオに対する前記第1の時間窓中の前記人物の結合高さを計算することと
を行うようにさらに構成される、請求項1に記載のシステム。 - 前記第1のカメラクライアントは、前記第1のタイムスタンプおよび前記第2のタイムスタンプを生成するために使用される第1のクロックを実装し、
前記第2のカメラクライアントは、前記第4のタイムスタンプおよび前記第5のタイムスタンプを生成するために使用される第2のクロックを実装し、
前記カメラサーバは第3のクロックを実装し、ここで、前記第1のクロック、前記第2のクロック、および前記第3のクロックは、クロック同期プロトコルを使用して同期される、
請求項1に記載のシステム。 - 前記カメラのアレイは、
前記第1のカメラクライアントに通信可能に結合された前記カメラのアレイの各カメラが、グリッドの同じ行または同じ列において、前記第1のカメラクライアントに通信可能に結合された前記カメラのアレイの別のカメラに直接隣接しないように、および
前記第1のカメラクライアントに通信可能に結合された前記カメラのアレイのカメラが、前記第1のカメラクライアントに通信可能に結合された前記カメラのアレイの別のカメラに対して前記グリッド内で対角になるように、
グリッド状に配置される、請求項1に記載のシステム。 - 前記空間は第2の人物をさらに含み、前記第1の複数のフレームおよび前記第2の複数のフレームの各フレームは前記第2の人物を示し、
前記第1のカメラクライアントは、
前記第1のフレームに示される前記第2の人物の周りの第6の境界エリアを決定することと、
前記第2のフレームに示される前記第2の人物の周りの第7の境界エリアを決定することと、
前記第3のフレームに示される前記第2の人物の周りの第8の境界エリアを決定することと
を行うようにさらに構成され、
前記第2のカメラクライアントは、
前記第4のフレームに示される前記第2の人物の周りの第9の境界エリアを決定することと、
前記第5のフレームに示される前記第2の人物の周りの第10の境界エリアを決定することと
を行うようにさらに構成され、
前記カメラサーバは、
前記第1のタイムスタンプが前記第1の時間窓内に入ると決定することに応答して、前記第6の境界エリアを画定する座標を前記第1の時間窓に割り当てることと、
前記第2のタイムスタンプが前記第1の時間窓内に入ると決定することに応答して、前記第7の境界エリアを画定する座標を前記第1の時間窓に割り当てることと、
前記第3のタイムスタンプが前記第2の時間窓内に入ると決定することに応答して、前記第8の境界エリアを画定する座標を前記第2の時間窓に割り当てることと、
前記第4のタイムスタンプが前記第1の時間窓内に入ると決定することに応答して、前記第9の境界エリアを画定する座標を前記第1の時間窓に割り当てることと、
前記第5のタイムスタンプが前記第2の時間窓内に入ると決定することに応答して、前記第10の境界エリアを画定する座標を前記第2の時間窓に割り当てることと、
前記第1の時間窓に割り当てられた座標を、
前記第6の境界エリアを画定する前記座標と前記第7の境界エリアを画定する前記座標とに少なくとも基づいて、前記第1のカメラからの前記第1のビデオに対する前記第1の時間窓中の前記第2の人物の結合座標を計算すること、および
前記第9の境界エリアを画定する前記座標に少なくとも基づいて、前記第2のカメラからの前記第2のビデオに対する前記第1の時間窓中の前記第2の人物の結合座標を計算すること
によってさらに処理することと、
前記第2の時間窓に割り当てられた座標を、
前記第8の境界エリアを画定する前記座標に少なくとも基づいて、前記第1のカメラからの前記第1のビデオに対する前記第2の時間窓中の前記第2の人物の結合座標を計算すること、および
前記第10の境界エリアを画定する前記座標に少なくとも基づいて、前記第2のカメラからの前記第2のビデオに対する前記第2の時間窓中の前記第2の人物の結合座標を計算すること
によってさらに処理することと
を行うようにさらに構成される、請求項1に記載のシステム。 - 方法であって、
第1のカメラクライアントによって、カメラのアレイの第1のカメラから第1のビデオの第1の複数のフレームを受信することと、ここで、前記カメラのアレイは空間の上方に配置され、前記カメラのアレイの各カメラは前記空間の一部のビデオをキャプチャするように構成され、前記空間が人物を含み、前記第1の複数のフレームの各フレームが前記空間内の前記人物を示し、
前記第1の複数のフレームのうちの第1のフレームについて、
前記第1のカメラクライアントによって、前記第1のフレームに示される前記人物の周りの第1の境界エリアを決定することと、
前記第1のカメラクライアントによって、前記第1のフレームが前記第1のカメラクライアントによって受信されたときの第1のタイムスタンプを生成することと、
前記第1の複数のフレームのうちの第2のフレームについて、
前記第1のカメラクライアントによって、前記第2のフレームに示される前記人物の周りの第2の境界エリアを決定することと、
前記第1のカメラクライアントによって、前記第2のフレームが前記第1のカメラクライアントによって受信されたときの第2のタイムスタンプを生成することと、
前記第1の複数のフレームのうちの第3のフレームについて、
前記第1のカメラクライアントによって、前記第3のフレームに示される前記人物の周りの第3の境界エリアを決定することと、
前記第1のカメラクライアントによって、前記第3のフレームが前記第1のカメラクライアントによって受信されたときの第3のタイムスタンプを生成することと、
前記第1のカメラクライアントとは別個の第2のカメラクライアントによって、前記カメラのアレイの第2のカメラから第2のビデオの第2の複数のフレームを受信することと、ここで、前記第2の複数のフレームの各フレームが前記空間内の前記人物を示し、
前記第2の複数のフレームのうちの第4のフレームについて、
前記第2のカメラクライアントによって、前記第4のフレームに示される前記人物の周りの第4の境界エリアを決定することと、
前記第2のカメラクライアントによって、前記第4のフレームが前記第2のカメラクライアントによって受信されたときの第4のタイムスタンプを生成することと、
前記第2の複数のフレームのうちの第5のフレームについて、
前記第2のカメラクライアントによって、前記第5のフレームに示される前記人物の周りの第5の境界エリアを決定することと、
前記第2のカメラクライアントによって、前記第5のフレームが前記第2のカメラクライアントによって受信されたときの第5のタイムスタンプを生成することと、
前記第1のカメラクライアントおよび前記第2のカメラクライアントとは別個のカメラサーバによって、前記第1のタイムスタンプが第1の時間窓内に入ると決定することと、
前記第1のタイムスタンプが前記第1の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第1の境界エリアを画定する座標を前記第1の時間窓に割り当てることと、
前記カメラサーバによって、前記第2のタイムスタンプが前記第1の時間窓内に入ると決定することと、
前記第2のタイムスタンプが前記第1の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第2の境界エリアを画定する座標を前記第1の時間窓に割り当てることと、
前記カメラサーバによって、前記第3のタイムスタンプが前記第1の時間窓に続く第2の時間窓内に入ると決定することと、
前記第3のタイムスタンプが前記第2の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第3の境界エリアを画定する座標を前記第2の時間窓に割り当てることと、
前記カメラサーバによって、前記第4のタイムスタンプが前記第1の時間窓内に入ると決定することと、
前記第4のタイムスタンプが前記第1の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第4の境界エリアを画定する座標を前記第1の時間窓に割り当てることと、
前記カメラサーバによって、前記第5のタイムスタンプが前記第2の時間窓内に入ると決定することと、
前記第5のタイムスタンプが前記第2の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第5の境界エリアを画定する座標を前記第2の時間窓に割り当てることと、
前記カメラサーバによって、前記第1の時間窓に割り当てられた前記座標を、
前記カメラサーバによって、前記第1の境界エリアを画定する前記座標と前記第2の境界エリアを画定する前記座標とに少なくとも基づいて、前記第1のカメラからの前記第1のビデオに対する前記第1の時間窓中の前記人物の結合座標を計算すること、および
前記カメラサーバによって、前記第4の境界エリアを画定する前記座標に少なくとも基づいて、前記第2のカメラからの前記第2のビデオに対する前記第1の時間窓中の前記人物の結合座標を計算すること
によって処理することと、
前記第1の時間窓に割り当てられた前記座標を処理した後に、前記第2の時間窓に割り当てられた前記座標を、
前記カメラサーバによって、前記第3の境界エリアを画定する前記座標に少なくとも基づいて、前記第1のカメラからの前記第1のビデオに対する前記第2の時間窓中の前記人物の結合座標を計算することと、
前記カメラサーバによって、前記第5の境界エリアを画定する前記座標に少なくとも基づいて、前記第2のカメラからの前記第2のビデオに対する前記第2の時間窓中の前記人物の結合座標を計算すること
によって処理することと
を含む方法。 - 前記カメラサーバによって、前記第1のカメラからの前記第1のビデオに対する前記第1の時間窓中の前記人物の前記結合座標と、前記第2のカメラからの前記第2のビデオに対する前記第1の時間窓中の前記人物の前記結合座標とに少なくとも基づいて、前記第1の時間窓中の前記空間内の前記人物の位置を決定することをさらに含む、請求項14に記載の方法。
- 前記第1のカメラからの前記第1のビデオに対する前記第1の時間窓中の前記人物の前記結合座標は、前記第1の境界エリアを画定する前記座標と前記第2の境界エリアを画定する前記座標との平均を含む、請求項14に記載の方法。
- 前記第1の時間窓に割り当てられた前記座標を処理することは、
前記第1の時間窓に割り当てられた座標が、前記カメラのアレイ内のいくつかのカメラからのフレームからの座標を含むと決定すること、および
カメラの数がしきい値を超えると決定すること
に応答して実行される、請求項14に記載の方法。 - 前記第1の時間窓に割り当てられた座標を処理することは、
前記第2の時間窓に割り当てられた座標が、前記カメラのアレイ内のいくつかのカメラからのフレームからの座標を含むと決定すること、および
カメラの数がしきい値を超えると決定すること
に応答して実行される、請求項14に記載の方法。 - 前記第1の時間窓に割り当てられた前記座標を処理することは、前記第1の時間窓に割り当てられた座標が、タイムアウトを超える時間期間にわたって処理されなかったと決定することに応答して実行される、請求項14に記載の方法。
- 第1の時間窓に割り当てられた座標が、前記タイムアウトを超える前記時間期間にわたって処理されなかったと決定することに応答して、
前記第2の時間窓に割り当てられた座標が、前記カメラのアレイ内の第1の数のカメラからのフレームからの座標を含むと決定すること、および
しきい値を前記第1の数に下げること
を行うことと、
第3の時間窓に割り当てられた座標が、前記カメラのアレイ内の第2の数のカメラからのフレームからの座標を含むと決定することと、
前記第2の数が前記第1の数を上回ると決定することと、
前記第2の数が前記第1の数を上回ると決定することに応答して、前記しきい値を前記第2の数に増加させることと
をさらに含む、請求項19に記載の方法。 - 前記第1の時間窓に割り当てられた座標が処理されるべきであると決定することは、前記第2の時間窓中に前記カメラのアレイ内の各カメラからフレームが受信されたと決定することを含む、請求項14に記載の方法。
- 前記第1の時間窓中に、前記第1のカメラクライアントが、前記第1のカメラクライアントに通信可能に結合された前記カメラのアレイ内の各カメラからフレームを受信したと決定したことに応答して、前記第1のカメラクライアントによって、前記第1の境界エリアを画定する前記座標および前記第2の境界エリアを画定する前記座標をバッチとして前記カメラサーバに通信することをさらに含む、請求項14に記載の方法。
- 前記第1のカメラクライアントによって、前記第1のフレームに示される前記人物の高さ、前記第2のフレームに示される前記人物の高さ、および前記第3のフレームに示される前記人物の高さを受信することと、
前記第2のカメラクライアントによって、前記第4のフレームに示される前記人物の高さおよび前記第5のフレームに示される前記人物の高さを受信することと、
前記カメラサーバによって、前記第1のフレームに示される前記人物の前記高さと前記第2のフレームに示される前記人物の前記高さとに少なくとも基づいて、前記第1のカメラからの前記第1のビデオに対する前記第1の時間窓中の前記人物の結合高さを計算することと、
前記カメラサーバによって、前記第4のフレームに示される前記人物の高さに少なくとも基づいて、前記第2のカメラからの前記第2のビデオに対する前記第1の時間窓中の前記人物の結合高さを計算することと
をさらに含む、請求項14に記載の方法。 - 前記第1のカメラクライアントによって、前記第1のタイムスタンプおよび前記第2のタイムスタンプを生成するために使用される第1のクロックを実装することと、
前記第2のカメラクライアントによって、前記第4のタイムスタンプおよび前記第5のタイムスタンプを生成するために使用される第2のクロックを実装することと、
前記カメラサーバによって、第3のクロックを実装することと
をさらに含み、ここで、前記第1のクロック、前記第2のクロック、および前記第3のクロックは、クロック同期プロトコルを使用して同期される、
請求項14に記載の方法。 - 前記カメラのアレイは、
前記第1のカメラクライアントに通信可能に結合された各カメラが、グリッド内で、前記第1のカメラクライアントに通信可能に結合された別のカメラに直接隣接しないように、および
前記第1のカメラクライアントに通信可能に結合されたカメラが、前記第1のカメラクライアントに通信可能に結合された別のカメラに対して前記グリッド内で対角になるように、
グリッド状に配置される、請求項14に記載の方法。 - 前記第1のカメラクライアントによって、前記第1のフレームに示される第2の人物の周りの第6の境界エリアを決定することと、
前記第1のカメラクライアントによって、前記第2のフレームに示される前記第2の人物の周りの第7の境界エリアを決定することと、
前記第1のカメラクライアントによって、前記第3のフレームに示される前記第2の人物の周りの第8の境界エリアを決定することと、
前記第2のカメラクライアントによって、前記第4のフレームに示される前記第2の人物の周りの第9の境界エリアを決定することと、
前記第2のカメラクライアントによって、前記第5のフレームに示される前記第2の人物の周りの第10の境界エリアを決定することと、
前記第1のタイムスタンプが前記第1の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第6の境界エリアを画定する座標を前記第1の時間窓に割り当てることと、
前記第2のタイムスタンプが前記第1の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第7の境界エリアを画定する座標を前記第1の時間窓に割り当てることと、
前記第3のタイムスタンプが前記第2の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第8の境界エリアを画定する座標を前記第2の時間窓に割り当てることと、
前記第4のタイムスタンプが前記第1の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第9の境界エリアを画定する座標を前記第1の時間窓に割り当てることと、
前記第5のタイムスタンプが前記第2の時間窓内に入ると決定することに応答して、前記カメラサーバによって、前記第10の境界エリアを画定する座標を前記第2の時間窓に割り当てることと、
前記第1の時間窓に割り当てられた座標を、
前記カメラサーバによって、前記第6の境界エリアを画定する前記座標と前記第7の境界エリアを画定する前記座標とに少なくとも基づいて、前記第1のカメラからの前記第1のビデオに対する前記第1の時間窓中の前記第2の人物の結合座標を計算すること、および
前記カメラサーバによって、前記第9の境界エリアを画定する前記座標に少なくとも基づいて、前記第2のカメラからの前記第2のビデオに対する前記第1の時間窓中の前記第2の人物の結合座標を計算すること
によってさらに処理することと、
前記第2の時間窓に割り当てられた座標を、
前記カメラサーバによって、前記第8の境界エリアを画定する前記座標に少なくとも基づいて、前記第1のカメラからの前記第1のビデオに対する前記第2の時間窓中の前記第2の人物の結合座標を計算すること、および
前記カメラサーバによって、前記第10の境界エリアを画定する前記座標に少なくとも基づいて、前記第2のカメラからの前記第2のビデオに対する前記第2の時間窓中の前記第2の人物の結合座標を計算すること
によってさらに処理することと
をさらに含む、請求項14に記載の方法。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/663,633 US10885642B1 (en) | 2019-10-25 | 2019-10-25 | Scalable position tracking system for tracking position in large spaces |
US16/663,415 US10878585B1 (en) | 2019-10-25 | 2019-10-25 | Sensor array for scalable position tracking system |
US16/663,415 | 2019-10-25 | ||
US16/663,633 | 2019-10-25 | ||
US16/663,669 | 2019-10-25 | ||
US16/663,432 US10769450B1 (en) | 2019-10-25 | 2019-10-25 | Tracking positions using a scalable position tracking system |
US16/663,432 | 2019-10-25 | ||
US16/663,669 US10783762B1 (en) | 2019-10-25 | 2019-10-25 | Custom rack for scalable position tracking system |
PCT/US2020/057075 WO2021081332A1 (en) | 2019-10-25 | 2020-10-23 | Tracking positions using a scalable position tracking system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022553544A JP2022553544A (ja) | 2022-12-23 |
JPWO2021081332A5 JPWO2021081332A5 (ja) | 2023-10-31 |
JP7420932B2 true JP7420932B2 (ja) | 2024-01-23 |
Family
ID=73498276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022523941A Active JP7420932B2 (ja) | 2019-10-25 | 2020-10-23 | スケーラブル位置追跡システムを用いた位置の追跡 |
Country Status (7)
Country | Link |
---|---|
EP (1) | EP4049173A1 (ja) |
JP (1) | JP7420932B2 (ja) |
KR (1) | KR20220083821A (ja) |
CN (1) | CN114830187A (ja) |
CA (1) | CA3165133A1 (ja) |
MX (1) | MX2022004900A (ja) |
WO (1) | WO2021081332A1 (ja) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005347905A (ja) | 2004-06-01 | 2005-12-15 | Oki Electric Ind Co Ltd | 防犯支援システム |
JP2009017416A (ja) | 2007-07-09 | 2009-01-22 | Mitsubishi Electric Corp | 監視装置及び監視方法及びプログラム |
JP2009055139A (ja) | 2007-08-23 | 2009-03-12 | Hitachi Kokusai Electric Inc | 人物追跡システム、人物追跡装置および人物追跡プログラム |
US7613322B2 (en) | 2005-05-19 | 2009-11-03 | Objectvideo, Inc. | Periodic motion detection with applications to multi-grabbing |
US8457354B1 (en) | 2010-07-09 | 2013-06-04 | Target Brands, Inc. | Movement timestamping and analytics |
JP5438861B1 (ja) | 2013-07-11 | 2014-03-12 | パナソニック株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
JP5506990B1 (ja) | 2013-07-11 | 2014-05-28 | パナソニック株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
WO2016201683A1 (en) | 2015-06-18 | 2016-12-22 | Wizr | Cloud platform with multi camera synchronization |
JP2017040983A (ja) | 2015-08-17 | 2017-02-23 | パナソニックIpマネジメント株式会社 | 警備システム、及び人物画像表示方法 |
JP2017123026A (ja) | 2016-01-06 | 2017-07-13 | パナソニックIpマネジメント株式会社 | 動線分析システム及び動線分析方法 |
JP6195331B1 (ja) | 2017-04-28 | 2017-09-13 | 株式会社 テクノミライ | デジタルスマートセキュリティシステム、方法及びプログラム |
JP6206857B1 (ja) | 2016-08-24 | 2017-10-04 | パナソニックIpマネジメント株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
US10104345B2 (en) | 2014-12-16 | 2018-10-16 | Sighthound, Inc. | Data-enhanced video viewing system and methods for computer vision processing |
US10230866B1 (en) | 2015-09-30 | 2019-03-12 | Amazon Technologies, Inc. | Video ingestion and clip creation |
US10332089B1 (en) | 2015-03-31 | 2019-06-25 | Amazon Technologies, Inc. | Data synchronization system |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9111147B2 (en) * | 2011-11-14 | 2015-08-18 | Massachusetts Institute Of Technology | Assisted video surveillance of persons-of-interest |
-
2020
- 2020-10-23 MX MX2022004900A patent/MX2022004900A/es unknown
- 2020-10-23 CN CN202080083466.6A patent/CN114830187A/zh active Pending
- 2020-10-23 WO PCT/US2020/057075 patent/WO2021081332A1/en unknown
- 2020-10-23 JP JP2022523941A patent/JP7420932B2/ja active Active
- 2020-10-23 EP EP20811150.0A patent/EP4049173A1/en active Pending
- 2020-10-23 KR KR1020227017405A patent/KR20220083821A/ko not_active Application Discontinuation
- 2020-10-23 CA CA3165133A patent/CA3165133A1/en active Pending
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005347905A (ja) | 2004-06-01 | 2005-12-15 | Oki Electric Ind Co Ltd | 防犯支援システム |
US7613322B2 (en) | 2005-05-19 | 2009-11-03 | Objectvideo, Inc. | Periodic motion detection with applications to multi-grabbing |
JP2009017416A (ja) | 2007-07-09 | 2009-01-22 | Mitsubishi Electric Corp | 監視装置及び監視方法及びプログラム |
JP2009055139A (ja) | 2007-08-23 | 2009-03-12 | Hitachi Kokusai Electric Inc | 人物追跡システム、人物追跡装置および人物追跡プログラム |
US8457354B1 (en) | 2010-07-09 | 2013-06-04 | Target Brands, Inc. | Movement timestamping and analytics |
JP5506990B1 (ja) | 2013-07-11 | 2014-05-28 | パナソニック株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
JP5438861B1 (ja) | 2013-07-11 | 2014-03-12 | パナソニック株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
US10104345B2 (en) | 2014-12-16 | 2018-10-16 | Sighthound, Inc. | Data-enhanced video viewing system and methods for computer vision processing |
US10332089B1 (en) | 2015-03-31 | 2019-06-25 | Amazon Technologies, Inc. | Data synchronization system |
WO2016201683A1 (en) | 2015-06-18 | 2016-12-22 | Wizr | Cloud platform with multi camera synchronization |
JP2017040983A (ja) | 2015-08-17 | 2017-02-23 | パナソニックIpマネジメント株式会社 | 警備システム、及び人物画像表示方法 |
US10230866B1 (en) | 2015-09-30 | 2019-03-12 | Amazon Technologies, Inc. | Video ingestion and clip creation |
JP2017123026A (ja) | 2016-01-06 | 2017-07-13 | パナソニックIpマネジメント株式会社 | 動線分析システム及び動線分析方法 |
JP6206857B1 (ja) | 2016-08-24 | 2017-10-04 | パナソニックIpマネジメント株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
JP6195331B1 (ja) | 2017-04-28 | 2017-09-13 | 株式会社 テクノミライ | デジタルスマートセキュリティシステム、方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2021081332A1 (en) | 2021-04-29 |
CN114830187A (zh) | 2022-07-29 |
EP4049173A1 (en) | 2022-08-31 |
MX2022004900A (es) | 2022-05-16 |
CA3165133A1 (en) | 2021-04-29 |
KR20220083821A (ko) | 2022-06-20 |
JP2022553544A (ja) | 2022-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11275953B2 (en) | Tracking positions using a scalable position tracking system | |
US20210125354A1 (en) | Sensor array for scalable position tracking system | |
US11295593B2 (en) | Custom rack for scalable position tracking system | |
US11244463B2 (en) | Scalable position tracking system for tracking position in large spaces | |
US10380814B1 (en) | System for determining entry of user to an automated facility | |
US11657617B1 (en) | Presentation of a user interface for confirming unreliable group data | |
US11580749B2 (en) | Tracking positions using a scalable position tracking system | |
US11087274B1 (en) | System to detect event at an inventory location | |
US11373320B1 (en) | Detecting inventory changes by comparing image data | |
US20210124941A1 (en) | System and method for providing machine-generated tickets to facilitate tracking | |
US20200042969A1 (en) | Vending machines and methods for dispensing products | |
CN102448564A (zh) | 环境和/或目标分割 | |
US20210224544A1 (en) | Determining candidate object identities during image tracking | |
US20210216788A1 (en) | Object assignment during image tracking | |
US11403772B2 (en) | Vector-based object re-identification during image tracking | |
EP3611117A1 (en) | Article management assistance device, article management assistance system, and article management assistance method | |
WO2022160592A1 (zh) | 一种信息处理方法、装置、电子设备及存储介质 | |
JP7420932B2 (ja) | スケーラブル位置追跡システムを用いた位置の追跡 | |
CN109711498B (zh) | 目标对象的行为预测方法、装置、处理设备及智能置物架 | |
JP7322423B2 (ja) | 情報処理装置、生産ナビゲーションシステム、情報処理方法及びプログラム | |
WO2022115845A1 (en) | System and method for providing machine-generated tickets to facilitate tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231023 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231023 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20231023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7420932 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |