JP5739522B2 - 全体画像内で注意の焦点に関する画像データを処理するためのシステムと方法 - Google Patents
全体画像内で注意の焦点に関する画像データを処理するためのシステムと方法 Download PDFInfo
- Publication number
- JP5739522B2 JP5739522B2 JP2013511240A JP2013511240A JP5739522B2 JP 5739522 B2 JP5739522 B2 JP 5739522B2 JP 2013511240 A JP2013511240 A JP 2013511240A JP 2013511240 A JP2013511240 A JP 2013511240A JP 5739522 B2 JP5739522 B2 JP 5739522B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- processor
- image data
- vision system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
注意の焦点に基づいて取得された画像データの全セット内で離散的画像データを処理するための例示的なシステムと方法は、離散的処理サイクルで相互接続されたピクセルアレイから読み出された行全体のデータ(すなわち各々のクロックサイクルで同時に処理されている行に含まれる全データ)を処理できるアーキテクチャを定義するビジョンシステムプロセッサで動作するように適合されている。これを達成するために、全体プロセッサは画像データ保存メモリ(幅1024の記憶アレイを有し、本明細書では「データメモリ」とも呼ぶ)と、ピクセルアレイ(この例では8ビットまたは6ビットピクセルの1024×768ピクセルアレイ)との間に広いオンビットデータバス(たとえば1024×1バス)を含むように編成されている。このメモリは別の類似の幅(たとえば1024×1)のバスによって画像処理コンポーネントと相互に接続されており、これはたとえば近傍演算で非常に効率的な単一命令複数データ(SIMD)プロセッサを用いて行全体を同時に処理するように編成されている。したがって各々のプロセッサは行内部の近傍データを処理している他のプロセッサと相互作用できる。これらのプロセッサは組み合わせて線形アレイプロセッサ(LAP)と呼ばれる。例示的な実施形態においてこれらのプロセッサはそれぞれ90MHzで動作する。それらは行全体のデータ(1024要素)で同時に1ビット演算処理装置(ALU)として動作するように構成されている。例示的な実施形態においてLAP内のプロセッサはさらに、広範かつ効率的な近傍演算を容易にするためにデータがプロセッサ間で最大13列移動できるように適合されている。例示的な処理速度はLAPに対して約11,520メガバイト/秒の処理量を生み出す。プロセッサアーキテクチャの一種が共通の譲受人による米国特許出願明細書第12/184,187号「ビジョンセンサ、システムと方法」(E.ジョン・マクゲリー他)で開示されており、その教示内容は有益な背景情報として参照することにより本明細書に組み込まれ、以下の関連部分でも説明される。さらに一般的に本明細書に記載されたシステムと方法は、多様な市販の画像取得・処理システムで動作するように適合され得る。たとえば初期バージョンのシングルチップ画像センサが出版物「デジタルプロセッサアレイを有するシングルチップ画像センサ」(ロバート・フォルヒハイマー他、VLSI信号処理誌、第5巻、121〜131ページ(1993年))に記載されている。
図2は、本発明の実施形態に従うシステムと方法で使用するためのシングルチップ・ビジョンシステム200(VSoC)のブロック図を描写する。VSoC200はシングルチップ上にピクセルアレイ208と1以上の回路230を含む。本明細書での用法では、「チップ」という用語は、よく知られている用語「ダイ」と同じ意味で使われる。これは適当な回路要素と線を上に配置した単一のシリコンウエハ片である。製造においては、チップまたはダイは製造工程のある段階で離散的パッケージに分離されるチップまたはダイの大型ウエハの部分であり得るが、以下においては単一のコンポーネントとして扱う。種々の実施形態において、ピクセルアレイ208は、撮像されている場面に対する検知された光に基づいてピクセル信号を1以上の回路230に提供するように構成されている。また、種々の実施形態において1以上の回路230は、ピクセルアレイ208から提供されたピクセル信号を処理して画像を形成し、および随意に画像に関してパターンマッチングを実行するように構成されている。種々の実施形態においてピクセルアレイ208と1以上の回路230は半導体材料からなる基板上に単一の集積回路を形成する。また、種々の実施形態において、データをVSoC200に入力し、およびデータVSoC200をから出力するために1以上のI/Oピン(図示せず)をVSoC200は含んでいる。
取得された画像データの全セット内で当該画像内部の注意の焦点に基づいて離散的画像データを処理するためのシステムと方法の例示的な実施形態において、全体的ビジョンシステムアーキテクチャに実装されるビジョンセンサ(VSoC)200が提供される。このシステムと方法の機能を相互参照しやすくするために、上記の例示的なVSoC200について説明された種々の要素が再編成される。たとえば読み出し回路の要素は、一部は上述した制御回路422内にあり、一部は処理回路424(図4および図5)内にある。同様に、LAP425は全体的な処理回路424の部分である。読者が例示的なシステムと方法の動作の基礎をなす例示的(または代替的)なVSoCアーキテクチャの環境をさらに理解するのを助けるために、追加的な機能および相互接続(たとえばオフダイの第2のプロセッサおよび種々の通信ポート)についても説明する。
A.システムの概観
最初に例示的な実施形態を図9の一般化された配置構成を参照して説明する。これは例示的なシステムと方法に従って使用するための上述したVSoCアーキテクチャの内部の機能を要約したものである。以下に例示的な実装について説明する。VSoC内で実行されるオンダイコンポーネントおよび機能1010は離散的なボックスで示されている。センサおよび読み出し機能1020は、視野(FOV)1030内で例示的な対象1032の連続画像を取得する。対象はビジョンシステムプロセスにおいて1以上の特別関心のある領域1034を含んでいる。以下に説明するように、これらの領域はビジョンシステムのプロセスに対する1以上の注意の焦点として確定される。センサ/読み出し機能1020はこの画像のシーケンスから処理されていない画像データ1036をSIMDプロセッサ1040のアレイに提供し、これがオンダイの汎用CPU1050と連携して前処理アプリケーション1042を実行する。SIMDアレイとCPUは集合的に、本明細書で説明するオンダイの「第1のプロセッサグループ」1052を定義する。画像データで実行される前処理のタイプは、本明細書で想定されている種々の実施形態においては非常に可変である。例示的な実施形態において、前処理プロセスは1組の前処理された画像データ1062を生成し、これはSIMDアレイ1040と作動的に結合されたオンダイメモリ1060に保存される。一実施形態において、以下に説明するように、前処理されたデータは例示的に特別関心のある領域に関する縮小されたデータセットを含む。前処理されたデータは当該領域に関する情報、たとえば注目された特徴のピクセル位置やその他の画像データパラメータを含む。この縮小されたデータセットは全体画像データよりはるかにコンパクトであり、より容易にメモリ1060に保存される。
プロセス1100のフローチャートを詳細に示す図10を参照すると、例示的な実施形態に従いプロセス1100は原画像データから縮小された画像データセットを生成し、縮小されたデータセットを処理して出力値を生成する。プロセス1100は、対象または表面を含んだ視野の一連の画像の各々を取得し、これが実行されるタスクの基礎となる(ステップ1110)。タスクは、たとえば対象で検出されたバーコードから復号されたバーコード値を出力することであってよい。第1のプロセッサグループ(SIMDアレイとCPU)は、所定の前処理機能に従って縮小された画像データセットを生成する(ステップ1120)。たとえば前処理プロセスは、周囲の視野および対象の非エッジ特徴から関係のないデータを取り除いたエッジ画像を生成できる。第1のプロセッサグループは、画像データがセンサから読み出されるのと同時に(たとえば同じ処理サイクルで)動作する。縮小された画像データはオンダイデータメモリに保存される(ステップ1130)。エッジ画像などの縮小されたデータセットのために保存される情報の量は、典型的に全画像に含まれるデータの量より著しく少ない。これにより縮小されたデータセットは、実行時動作が進行するときにデータメモリ内に収まることができる。この実施形態において、センサから読み出された画像データの少なくとも一部は第2のプロセッサに送られる(ステップ1132)。一実施形態において、第2のプロセッサはセンサから全画像データを受け取ることができる。代替的に、データセットの一部が第2のプロセッサに送られる。どの部分が送られるかの決定は、(他の基準と並んで)縮小されたデータセット内に特徴が存在することに基づいて制御できる。ステップ1140で、縮小されたデータセットはさらに第1のプロセッサグループで前処理されて、さらに第2のプロセッサにより第2のプロセッサ上にある画像解析アプリケーション/プロセスを用いて処理される必要のある1以上の領域を特定する。たとえばデータメモリに縮小されたデータセットとして保存されたエッジ画像特徴はバーコード状の特徴について、特定の相対的間隔および特定の相対的配置パターンで配置されたエッジ検出について解析され得る。所定の領域は候補特徴を有するエリアの周囲に定義され、領域の位置は領域識別子(ID)として定義される。IDはピクセル位置(領域境界ポイントまたはその他の指標)、または第2のプロセッサが処理の注意を特定された領域に集中できるようにする類似の情報からなっていてもよい。この領域情報はステップ1150で第2のプロセッサに送られる。さらに一般的に、「領域インジケータ」または「領域ID」は、第2のプロセッサが読み出された全体画像データのサブセットである画像データの一部で画像処理機能を実行できるようにする任意の縮小されたデータ値または縮小されたデータセットであってもよい。したがってこの用語は、それ自体は全体画像の領域ではない画像データサブセットに関係する情報を含め、広く取られるべきである。
図12を参照すると、プロセス1300は固定/アライメント動作で使用される縮小されたデータセットを生成するために示されている。例を示すと、そのような動作は対象上の特定の構造の位置、たとえばロボットマニピュレータが固定部材を提供するボルト穴の配置、または回路基板上の電子部品ピックアンドプレース動作を決定するために使用される。ステップ1310で、センサは対象または表面の一連の画像を取得して、画像データを第1のプロセッサグループに読み出す。画像が読み出される間、第1のプロセッサグループによって縮小されたデータセットが生成される(ステップ1320)。縮小されたデータセットは生成されると、オンダイデータメモリに保存される(ステップ1330)。画像データを読み出す間、画像データの少なくとも一部は第2のプロセッサに送られる。これはセンサ読み出しと同じ処理サイクルで同時に起こる(ステップ1340)。最初の縮小されたデータセットの生成において(ステップ1320)、第1のプロセッサグループは画像データを受け取ったら処理して、たとえばエッジ画像を提供する。エッジ画像またはその他の縮小されたデータセットは、読み出された原画像データよりもサイズが著しく小さく、パターン検出プロセスで重要性を持ち得る特徴のみを含んでいる。続いて第1のプロセッサグループは、縮小されたデータセットでパターン検出プロセス(たとえば慣用的なブロブ解析、幾何学的パターン検出など)を実行して、画像内のどの位置が所定のパターンを有するか決定する(ステップ1350)。この結果は原画像データから縮小されたデータセットを表すので、さらに「縮小されたデータセット」として定義できる。この実施形態において、さらに縮小されたデータセットは特定された特徴を有する画像内の領域の位置(領域ID)であり、これは撮像された対象または表面に関するアライメント、計測、測定または固定動作で用いることができる。生成された領域IDは、オンダイデータメモリに保存され、および/またはステップ1360で第1のプロセッサグループから第2のプロセッサに送られる。破線ブロックで示されているように、その他の有用な前処理情報、たとえば最初の縮小されたデータセットの全部または一部(たとえばエッジ画像)または追加の領域ID情報が、随意に第1のプロセッサグループから第2のプロセッサに送られる(ステップ1370)。第2のプロセッサは画像データと領域IDデータを受け取ると、ビジョンシステムアルゴリズムを実行し、これは対象/表面のサイズ、回転、スキューなどを決定するための慣用的なアプリケーションを含んでいてもよい(ステップ1380)。パターン位置(注意の焦点)の知識により、第2のプロセッサは全体画像のうち所定の計測、測定および検査動作に使用されるパターンを有する領域を含まない位置で動作を省略できる。したがって第2のプロセッサはステップ1380で、出力値をアライメントまたは固定パラメータ、たとえば位置、サイズ、回転、スキュー、距離測定値などを提供する。
図13を参照すると、プロセス1400は粗い/詳細なアライメントまたは粗い/詳細な検査動作で使用される縮小されたデータセットを生成するために示されている。ステップ1410でセンサは対象または表面の一連の画像を取得すると、画像データを第1のプロセッサグループに読み出す。画像が読み出される間、第1のプロセッサグループによって縮小されたデータセットが生成される(ステップ1420)。縮小されたデータセットは生成されると、オンダイデータメモリに保存される(ステップ1430)。画像データを読み出す間、画像データの少なくとも一部が第2のプロセッサに送られる。これはセンサ読み出しと同じ処理サイクルで並行して起こる(ステップ1440)。最初の縮小されたデータセットの生成(ステップ1420)において、第1のプロセッサグループは画像データを受け取ると処理して、たとえば粗いエッジ位置を提供する。この縮小されたデータセットは読み出された原画像データよりサイズが著しく小さく、後続のパターン検出プロセスで重要性を持ち得る特徴のみを含んでいる。次に第1のプロセッサグループは縮小されたデータセットでパターン検出プロセスを実行して、画像内のどの位置が所定のパターンを有するか決定できる(ステップ1450)。この結果は原画像データから縮小されたデータセットを表すので、さらに「縮小されたデータセット」として定義できる。この実施形態において、さらに縮小されたデータセットは特定された特徴を有する画像内の領域の位置(領域ID)であり、これは撮像された対象または表面に関するアライメント、計測、測定または固定動作で用いることができる。生成された領域IDは、オンダイデータメモリに保存され、および/またはステップ1460で第1のプロセッサグループから第2のプロセッサに送られる。破線ブロックで示されているように、その他の有用な前処理情報、たとえば最初の縮小されたデータセットの全部または一部(たとえばエッジ画像)または追加の領域ID情報が、随意に第1のプロセッサグループから第2のプロセッサに送られる(ステップ1470)。ステップ1480で、領域IDおよびその他の情報は第2のプロセッサによって使用されて出力値を詳細なアライメントまたは詳細な検査結果の形で生成するが、これについてさらに以下に説明する。
図14はプロセス1600のフローチャートを示す。別の例示的な実施形態により、プロセス1600は原画像データから縮小された画像データセットを生成し、縮小されたデータセットを処理して、撮像された運動する物体または表面に対する登録情報、速度または運動の情報の形で出力値を生成する(「運動する」はより一般的には対象または表面とセンサの視野との相対的な動きとして定義される)。センサは運動の判定を可能にする対象または表面の特徴を含んだ視野の一連の画像を生成する(ステップ1510)。対象は画像フレーム間で追跡できる認識可能な対象もしくは対象の部分、またはウェブ登録マークや表面上に規則的な間隔で現れる穿孔などの特徴であってもよい。より一般的に、対象または表面上の任意のユニークな構造、基準または登録マークを、この実施形態において登録情報を追跡するために使用できる。第1のプロセッサグループは各々の取得された画像フレームに対して読み出された画像データを受け取り、これらは対象または特徴を含んでよい。画像データは第1のプロセッサグループによって処理され、データ縮小機能またはプロセスを用いて縮小されたデータセットを生成する(ステップ1520)。この実施形態においてプロセスは、1以上の所定の対象および/または特徴をサーチするパターン認識または特徴検出プロセス(慣用的であってよい)であってもよい。画像内で特定された各々の特徴またはパターンは位置が付与され、タイムスタンプを含んでいる。このデータは領域IDおよび/または他の有用な情報としてオンダイデータメモリに保存される(ステップ1530)。これらの領域IDおよびその他の有用な情報は第2のプロセッサに送られる。特定された特徴は画像から画像へと動くので、画像間の時間から各画像内の特徴の相対的位置を計算できる。したがって位置の変化と位置の変化の時間が与えられると、第2のプロセッサはシステム内の他の対象(たとえばプリントヘッドまたはカッタ)に対して対象または表面の瞬間的な速度、その相対的な運動および/または登録情報を計算できる(ステップ1540)。この計算を用いて出力値を、イベントについて決定するために使用できる対象または表面の速度、運動の情報および/または登録信号の形で提供する(ステップ1550)。たとえば、信号を用いて所定の時間でカッタを操作し、またはカウンタを割り出すことができる。同様に、信号を用いて動いているコンベヤベルトを加速したり、減速したりできる。この決定は第2のプロセッサ、別のプロセッサまたは第1のプロセッサグループによって下すことができる。
幾つかの実装において、オフダイであってもよく、第1のプロセッサグループおよび第2のプロセッサと相互接続された追加メモリを提供することが望ましい。図15に構成1600が示されているが、これは本明細書に記載された第1のプロセッサグループ1610と、第2のプロセッサ1620、および追加メモリ1630を含んでいる。図示されているように、第1のプロセッサグループ1610はセンサ/読み出し回路1640と相互接続されており、センサ/読み出し回路1640は第1のプロセッサグループおよびその直接アドレス指定可能なデータメモリ1612に対してオンダイまたはオフダイであってよい。センサ/読み出し回路1640は撮像された場面1642から取得された画像データ1644を第1のプロセッサグループに前処理のために送る。本明細書で他の実施形態で説明されているように、オンダイの直接アドレス指定可能なデータメモリ1612は一般的に容量が限られており、完全に読み出された所定の画像フレームで取得された画像データの全セットを容易に保存できないと想定されている。動作中、第1のプロセッサグループは縮小されたデータセットを生成し、これはオンダイのデータメモリに保存される。この縮小されたデータセットは、後続の画像プロセスを特定の関心のある特徴を含んでいる画像の部分に集中させるために有用なエッジ画像または他の縮小された画像データセットであってもよい。一実施形態において、画像データ1646は並行してセンサ/読み出し回路1640から、追加メモリ1630(メモリ容量が十分大きければ)にも送られる。代替的な実施形態において、画像データ1648は直接センサ/読み出し回路1740からではなく、第1のプロセッサグループを介して(画像データが読み出されると)メモリ1630に送られることができる。第1のプロセッサグループは縮小されたデータセットでデータ選択機能を実行して領域ID1650を生成する。これらはオンダイメモリに保存できる。領域IDは追加メモリ1630内の対応する画像データの位置に関係している。そのような領域IDは、縮小されたデータセットに基づいて関心のある領域を含む、追加メモリ1630の特定の位置(すなわちブロック)に対するメモリアドレスに関係できる。領域ID1660に対応する領域IDおよび/または画像データ(領域ブロック)は第2のプロセッサ1620に送られる。この転送は直接追加メモリから行われるか、または(破線のブランチライン1662で示されているように)第1のプロセッサグループの少なくとも部分を介して行われてよい。縮小されたデータセット1664の全部または一部は、第2のプロセッサにその処理機能で使用され有用な情報の一部として送られることもできる。第2のプロセッサ1620は領域ID、画像データおよび他の有用なデータを受け取り、それによって所望のビジョンシステムアルゴリズムを実行して、所望の出力値1670を生成する追加メモリ1630との間で画像データおよびその他の情報の転送を容易にするために、メモリコントローラおよび/またはその他の適当な回路(図示せず)が設けられてよい。第2のプロセッサは多様な後続の処理機能を実行できる。後続の処理機能は上述した任意の機能を包含でき、これにはID認識、固定、アライメント、検査および登録を含むが、これらに限られない。
Claims (21)
- 一連の取得された画像の各々に関する画像データを生成する画像センサを有するビジョンシステムであって;
前記ビジョンシステムは、それぞれ単一のダイに載ってセンサと作動的に結合されている、複数のSIMDプロセッサと、少なくとも1つの汎用プロセッサと、直接アクセス可能なデータメモリとを含む第1のプロセッサグループを有しており、前記第1のプロセッサグループは画像センサから読み出された画像データを受け取り、前記データメモリは前記一連の取得された画像の各々に関する画像データのサイズより容量が小さく、前記第1のプロセッサグループは画像データが読み出されるのと同時に各々の画像データに関して縮小されたデータセットを生成するデータ縮小プロセスが作動するように構成および配置されており;
前記ビジョンシステムはさらに第2のプロセッサを有しており、前記第2のプロセッサは、前記縮小されたデータセットがデータメモリに保存されるのと同時に画像データの少なくとも一部を受け取り、前記第2のプロセッサは、縮小されたデータセット内の情報に基づく出力値を生成する画像解析プロセスを含んでいる
ビジョンシステム。 - 前記縮小されたデータセットは、画像データの少なくとも一部に関して少なくとも1つの領域識別子(ID)を含み、画像解析プロセスが前記少なくとも1つの領域IDによって指定された画像データの少なくとも一部の位置で作動して出力値を生成することを可能ならしめている、請求項1記載のビジョンシステム。
- 前記画像解析プロセスがバーコード復号プロセスを含む請求項2記載のビジョンシステム。
- 前記縮小されたデータセットは特徴情報を含み、前記出力値は検査及びアライメントデータの少なくとも1つを含む請求項1記載のビジョンシステム。
- 前記センサが単一のダイに載っている請求項1記載のビジョンシステム。
- 前記縮小されたデータセットは複数の画像の各々で位置を変える運動する対象または表面の少なくとも1つの特徴を含み、各々の画像はタイムスタンプを有しており、前記出力値は、運動、速度および登録情報の少なくとも1つを含む、請求項1記載のビジョンシステム。
- 前記出力値はイベントをトリガする請求項6記載のビジョンシステム。
- 前記縮小されたデータセットが前処理された画像データを含み、該前処理された画像データは画像データよりサイズが小さく、かつ、出力値を生成するために画像解析プロセスによって使用される少なくとも一つのデータ要素を提供する、請求項1記載のビジョンシステム。
- 一連の取得された画像の各々に関する画像データを生成する画像センサを有するビジョンシステムであって;
前記ビジョンシステムは、それぞれ単一のダイに載ってセンサと作動的に結合されている、複数のSIMDプロセッサと、少なくとも1つの汎用プロセッサと、直接アクセス可能なデータメモリとを含む第1のプロセッサグループを有しており、前記第1のプロセッサグループは画像センサから読み出された画像データを受け取り、前記データメモリは前記一連の取得された画像の各々に関する画像データのサイズより容量が小さく、前記第1のプロセッサグループは画像センサから連続して1以上の画像を受け取るように配置されており;
前記第1のプロセッサグループ内の複数のSIMDプロセッサは、受け取った各々の画像にデータ縮小機能を用いて、データメモリに保存される縮小されたデータセットを生成するように構成および配置されている
ビジョンシステム。 - さらに第2のプロセッサを含んでおり、前記第2のプロセッサは少なくとも縮小されたデータセットを受け取り、前記縮小されたデータセットに関して前記第2のプロセッサによって実行されるビジョンシステムのタスクに基づく出力値を生成する、請求項9記載のビジョンシステム。
- 前記第2のプロセッサは、画像センサから画像データが読み出されるのと同時に画像データを受け取り、前記縮小されたデータセットは第2のプロセッサにより受け取られた画像データの特定されたサブセットで前記ビジョンシステムのタスクが実行されるようにさし向ける、請求項10記載のビジョンシステム。
- 一連の取得された画像の各々に関する画像データを生成する画像センサを有するビジョンシステムであって;
前記ビジョンシステムは、それぞれ単一のダイに載ってセンサと作動的に結合されている、複数のSIMDプロセッサと、少なくとも1つの汎用プロセッサと、直接アクセス可能なデータメモリとを含む第1のプロセッサグループを有しており、前記第1のプロセッサグループは画像センサから読み出された画像データを受け取り、前記データメモリは前記一連の取得された画像の各々に関する画像データのサイズより容量が小さく、前記第1のプロセッサグループは画像センサから連続して1以上の画像を受け取るように配置されており;
前記ビジョンシステムはさらに、画像センサから読み出された画像データを同時に受け取る追加メモリを有しており;
前記第1のプロセッサグループ内の複数のSIMDプロセッサは、受け取った各々の画像にデータ縮小機能を用いて、データメモリに保存される縮小されたデータセットを生成するように構成および配置されており、前記縮小されたデータセットは、追加メモリに保存されてさらなるビジョンシステムプロセスに供される画像データの領域に対する識別子を含んでいる
ビジョンシステム。 - さらに第2のプロセッサを含んでおり、前記第2のプロセッサは追加メモリから画像データの領域を受け取り、領域に関して前記第2のプロセッサによって実行されるビジョンシステムのタスクに基づく出力値を生成する請求項12記載のシステム。
- 一連の取得された画像の各々に関する画像データを生成する画像センサを有するビジョンシステムで画像データを処理するための方法であって;
複数のSIMDプロセッサと、少なくとも1つの汎用プロセッサと、直接アクセス可能なデータメモリとを含み、それらがそれぞれ単一のダイに載っている、第1のプロセッサグループによって、画像センサから読み出された画像データを受け取り、前記データメモリは前記一連の取得された画像の各々に関する画像データのサイズより容量が小さく;
前記第1のプロセッサグループで、画像データが読み出されるのと同時に各々の画像データに関して縮小されたデータセットを生成し;
第2のプロセッサによって、前記縮小されたデータセットがデータメモリに保存されるのと同時に画像データの少なくとも一部を受け取り;
第2のプロセッサによって、縮小されたデータセットに含まれた情報に基づいて出力値を生成する
ステップを含む方法。 - 前記縮小されたデータセットは、画像データの少なくとも一部に関して少なくとも1つの領域識別子(ID)を含み、画像解析プロセスが前記少なくとも1つの領域IDによって指定された画像データの少なくとも一部の位置で作動して出力値を生成することを可能ならしめている、請求項14記載の方法。
- 前記出力値が復号されたバーコードデータを含む請求項15記載の方法。
- 前記縮小されたデータセットが特徴情報を含み、前記出力値は検査及びアライメントデータの少なくとも1つを含む、請求項14記載の方法。
- 前記センサが単一のダイに載っている請求項14記載の方法。
- 前記縮小されたデータセットは複数の画像の各々で位置を変える移動対象または表面の少なくとも1つの特徴を含み、各々の画像はタイムスタンプを有しており、前記出力値は、運動、速度および登録情報の少なくとも1つを含む請求項14記載の方法。
- 前記出力値はイベントをトリガする請求項14記載の方法。
- 前記縮小されたデータセットが前処理された画像データを含み、該前処理された画像データは画像データよりサイズが小さく、かつ、出力値を生成するために画像解析プロセスによって使用される少なくとも1つのデータ要素を提供する、請求項14記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/781,651 | 2010-05-17 | ||
US12/781,651 US8570393B2 (en) | 2007-11-30 | 2010-05-17 | System and method for processing image data relative to a focus of attention within the overall image |
PCT/US2011/036458 WO2011146337A1 (en) | 2010-05-17 | 2011-05-13 | System and method for processing image data relative to a focus of attention within the overall image |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015022756A Division JP2015143990A (ja) | 2010-05-17 | 2015-02-07 | 全体画像内で注意の焦点に関する画像データを処理するためのシステムと方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013531838A JP2013531838A (ja) | 2013-08-08 |
JP5739522B2 true JP5739522B2 (ja) | 2015-06-24 |
Family
ID=44202142
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013511240A Expired - Fee Related JP5739522B2 (ja) | 2010-05-17 | 2011-05-13 | 全体画像内で注意の焦点に関する画像データを処理するためのシステムと方法 |
JP2015022756A Pending JP2015143990A (ja) | 2010-05-17 | 2015-02-07 | 全体画像内で注意の焦点に関する画像データを処理するためのシステムと方法 |
JP2016121308A Pending JP2016192224A (ja) | 2010-05-17 | 2016-06-19 | 全体画像内で注意の焦点に関する画像データを処理するためのシステムと方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015022756A Pending JP2015143990A (ja) | 2010-05-17 | 2015-02-07 | 全体画像内で注意の焦点に関する画像データを処理するためのシステムと方法 |
JP2016121308A Pending JP2016192224A (ja) | 2010-05-17 | 2016-06-19 | 全体画像内で注意の焦点に関する画像データを処理するためのシステムと方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8570393B2 (ja) |
JP (3) | JP5739522B2 (ja) |
DE (1) | DE112011101695T5 (ja) |
WO (1) | WO2011146337A1 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8570393B2 (en) | 2007-11-30 | 2013-10-29 | Cognex Corporation | System and method for processing image data relative to a focus of attention within the overall image |
US9189670B2 (en) * | 2009-02-11 | 2015-11-17 | Cognex Corporation | System and method for capturing and detecting symbology features and parameters |
US9276986B2 (en) * | 2010-04-27 | 2016-03-01 | Nokia Technologies Oy | Systems, methods, and apparatuses for facilitating remote data processing |
US9001267B2 (en) * | 2011-11-11 | 2015-04-07 | Qualcomm Incorporated | Method and apparatus for tightly coupled, low power image processing |
US8485430B2 (en) | 2011-12-06 | 2013-07-16 | Honeywell International, Inc. | Hand held bar code readers or mobile computers with cloud computing services |
WO2013098954A1 (ja) * | 2011-12-27 | 2013-07-04 | 富士通株式会社 | 情報処理装置、演算処理装置及び情報処理装置の制御方法 |
US9558386B2 (en) | 2012-05-15 | 2017-01-31 | Honeywell International, Inc. | Encoded information reading terminal configured to pre-process images |
US9064254B2 (en) | 2012-05-17 | 2015-06-23 | Honeywell International Inc. | Cloud-based system for reading of decodable indicia |
US9092683B2 (en) | 2012-07-10 | 2015-07-28 | Honeywell International Inc. | Cloud-based system for processing of decodable indicia |
US9030571B2 (en) * | 2012-07-11 | 2015-05-12 | Google Inc. | Abstract camera pipeline for uniform cross-device control of image capture and processing |
WO2014099685A1 (en) | 2012-12-17 | 2014-06-26 | Illinois Tool Works Inc. | Rotatable fastener verification |
US20140184630A1 (en) * | 2012-12-27 | 2014-07-03 | Scott A. Krig | Optimizing image memory access |
US20150139498A1 (en) * | 2013-01-07 | 2015-05-21 | Tread Gauge Ptr, LLC | Apparatus and method for tire sidewall crack analysis |
US10102828B2 (en) | 2013-01-09 | 2018-10-16 | Nxp Usa, Inc. | Method and apparatus for adaptive graphics compression and display buffer switching |
US10275624B2 (en) * | 2013-10-29 | 2019-04-30 | Hand Held Products, Inc. | Hybrid system and method for reading indicia |
CN103746771B (zh) * | 2013-12-26 | 2017-04-12 | 北京邮电大学 | 一种基于gpp和simd技术的信道编译码的数据格式转换方法 |
KR102426677B1 (ko) | 2015-03-09 | 2022-07-28 | 삼성전자주식회사 | 오프셋 및 잡음이 감소되는 차분 증폭기 및 이벤트에 기반한 비전 센서 |
US10671918B2 (en) | 2017-10-24 | 2020-06-02 | International Business Machines Corporation | Attention based sequential image processing |
EP3518041A1 (en) * | 2018-01-30 | 2019-07-31 | ASML Netherlands B.V. | Inspection apparatus and inspection method |
US11001979B2 (en) | 2018-08-13 | 2021-05-11 | Vergence Automation, Inc. | Methods and apparatus for ultrawide entrance angle reflective articles for use with autonomous vehicle machine vision systems |
US10983583B2 (en) * | 2018-08-23 | 2021-04-20 | Apple Inc. | Electronic display reduced blanking duration systems and methods |
US11762133B1 (en) | 2018-09-13 | 2023-09-19 | Vergence Automation, Inc. | Retroreflective materials and articles incorporating near-ideal total internal retroreflective elements |
CN110504176B (zh) * | 2019-07-05 | 2020-05-12 | 长江存储科技有限责任公司 | 三维存储器晶圆键合制成中对应晶圆的匹配方法、制备方法及相关产品 |
CN111983629B (zh) * | 2020-08-14 | 2024-03-26 | 西安应用光学研究所 | 一种线阵信号目标提取装置及提取方法 |
WO2022082361A1 (zh) * | 2020-10-19 | 2022-04-28 | 深圳市锐明技术股份有限公司 | 图像信息处理方法及终端设备 |
US20230289304A1 (en) * | 2022-03-10 | 2023-09-14 | Nvidia Corporation | Method and apparatus for efficient access to multidimensional data structures and/or other large data blocks |
CN116033265A (zh) * | 2023-01-04 | 2023-04-28 | 浙江吉利控股集团有限公司 | 摄像头共用方法、***、设备及计算机可读存储介质 |
Family Cites Families (74)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US658159A (en) * | 1900-06-27 | 1900-09-18 | George J Santa Cruz | False floor for cars. |
DE3804938C2 (de) | 1987-02-18 | 1994-07-28 | Canon Kk | Bildverarbeitungseinrichtung |
US5253308A (en) | 1989-06-21 | 1993-10-12 | Amber Engineering, Inc. | Massively parallel digital image data processor using pixel-mapped input/output and relative indexed addressing |
US6948050B1 (en) | 1989-11-17 | 2005-09-20 | Texas Instruments Incorporated | Single integrated circuit embodying a dual heterogenous processors with separate instruction handling hardware |
JP3223384B2 (ja) * | 1992-06-19 | 2001-10-29 | オムロン株式会社 | 濃淡画像のパターンマッチング装置 |
EP0584559A3 (en) | 1992-08-21 | 1994-06-22 | United Parcel Service Inc | Method and apparatus for finding areas of interest in images |
US5581476A (en) * | 1993-01-28 | 1996-12-03 | Amgen Inc. | Computer-based methods and articles of manufacture for preparing G-CSF analogs |
US5495537A (en) | 1994-06-01 | 1996-02-27 | Cognex Corporation | Methods and apparatus for machine vision template matching of images predominantly having generally diagonal and elongate features |
US5576763A (en) | 1994-11-22 | 1996-11-19 | Lucent Technologies Inc. | Single-polysilicon CMOS active pixel |
US5588435A (en) | 1995-11-22 | 1996-12-31 | Siemens Medical Systems, Inc. | System and method for automatic measurement of body structures |
US6317819B1 (en) | 1996-01-11 | 2001-11-13 | Steven G. Morton | Digital signal processor containing scalar processor and a plurality of vector processors operating from a single instruction |
US5698833A (en) | 1996-04-15 | 1997-12-16 | United Parcel Service Of America, Inc. | Omnidirectional barcode locator |
US5835151A (en) * | 1996-05-15 | 1998-11-10 | Mitsubishi Electric Information Technology Center America | Method and apparatus for down-converting a digital signal |
US5969325A (en) | 1996-06-03 | 1999-10-19 | Accu-Sort Systems, Inc. | High speed image acquisition system and method of processing and decoding barcode symbol |
US5936224A (en) | 1996-12-11 | 1999-08-10 | Intermec Ip Corporation | Method and apparatus for reading machine-readable symbols by employing a combination of multiple operators and/or processors |
US6667768B1 (en) | 1998-02-17 | 2003-12-23 | Micron Technology, Inc. | Photodiode-type pixel for global electronic shutter and reduced lag |
JP3560804B2 (ja) * | 1998-03-11 | 2004-09-02 | 富士通株式会社 | 動画像符号化方法及び装置 |
US6233368B1 (en) | 1998-03-18 | 2001-05-15 | Agilent Technologies, Inc. | CMOS digital optical navigation chip |
JP3944804B2 (ja) * | 1998-04-01 | 2007-07-18 | ソニー株式会社 | 動きベクトル検出方法及び装置 |
US6411734B1 (en) | 1998-04-03 | 2002-06-25 | Cognex Corporation | Object image search using validated sub-model poses |
US7016539B1 (en) | 1998-07-13 | 2006-03-21 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
US6240208B1 (en) | 1998-07-23 | 2001-05-29 | Cognex Corporation | Method for automatic visual identification of a reference site in an image |
US6711278B1 (en) | 1998-09-10 | 2004-03-23 | Microsoft Corporation | Tracking semantic objects in vector image sequences |
US6898333B1 (en) | 1999-08-06 | 2005-05-24 | Cognex Corporation | Methods and apparatus for determining the orientation of an object in an image |
US6585159B1 (en) | 1999-11-02 | 2003-07-01 | Welch Allyn Data Collection, Inc. | Indicia sensor system for optical reader |
US6701005B1 (en) | 2000-04-29 | 2004-03-02 | Cognex Corporation | Method and apparatus for three-dimensional object segmentation |
US20020021835A1 (en) | 2000-06-02 | 2002-02-21 | Markus Andreasson | Method and device for recording of information |
EP1182604A1 (en) | 2000-08-22 | 2002-02-27 | Setrix AG | Method and apparatus for reading a bar code |
JP2003023573A (ja) | 2001-07-11 | 2003-01-24 | Asahi Kasei Corp | ビジョンチップ |
US6617565B2 (en) | 2001-11-06 | 2003-09-09 | Omnivision Technologies, Inc. | CMOS image sensor with on-chip pattern recognition |
JP3902741B2 (ja) * | 2002-01-25 | 2007-04-11 | 株式会社半導体理工学研究センター | 半導体集積回路装置 |
US7085432B2 (en) | 2002-06-10 | 2006-08-01 | Lockheed Martin Corporation | Edge detection using Hough transformation |
US7319423B2 (en) | 2002-07-31 | 2008-01-15 | Quantum Semiconductor Llc | Multi-mode ADC and its application to CMOS image sensors |
JP4403687B2 (ja) | 2002-09-18 | 2010-01-27 | ソニー株式会社 | 固体撮像装置およびその駆動制御方法 |
JP2004153382A (ja) * | 2002-10-29 | 2004-05-27 | Victor Co Of Japan Ltd | 動きベクトル検出装置 |
US7050631B2 (en) | 2002-10-30 | 2006-05-23 | Sick Auto Ident, Inc. | Barcode detection system |
ES2209642B1 (es) | 2002-11-04 | 2005-10-01 | Innovaciones Microelectronicas, S.L. | Arquitectura de circuito integrado programable de señal mixta para la realizacion de sistemas autonomos de vision de un unico chip y/o preprocesamiento de imagenes en sistemas de nivel superior. |
JP2004164503A (ja) | 2002-11-15 | 2004-06-10 | Olympus Corp | 三次元モデル検索方法、三次元モデル検索装置、三次元モデル検索プログラム、及び三次元モデル検索システム |
US7391437B2 (en) * | 2002-12-18 | 2008-06-24 | Marvell International Ltd. | Image sensor interface |
JP4188104B2 (ja) | 2003-02-21 | 2008-11-26 | 富士通株式会社 | バーコード読取装置 |
JP2003263607A (ja) * | 2003-03-05 | 2003-09-19 | Hitachi Ltd | 帳票処理方法およびシステム |
US7637430B2 (en) | 2003-05-12 | 2009-12-29 | Hand Held Products, Inc. | Picture taking optical reader |
US7456885B2 (en) | 2003-08-22 | 2008-11-25 | Micron Technology, Inc. | Per column one-bit ADC for image sensors |
US7519239B2 (en) | 2004-02-11 | 2009-04-14 | The Code Corporation | Systems and methods for concurrent image capture and decoding of graphical codes |
JP2007522999A (ja) | 2004-02-20 | 2007-08-16 | フィコ ミラーズ,エスエー | 障害物検出装置の動作を制御するシステムと方法 |
JP2005286799A (ja) | 2004-03-30 | 2005-10-13 | National Institute Of Information & Communication Technology | インデックス画像生成装置 |
EP1745433A1 (en) | 2004-04-29 | 2007-01-24 | Koninklijke Philips Electronics N.V. | Image processing apparatus and method |
EP1745432A1 (en) | 2004-04-29 | 2007-01-24 | Koninklijke Philips Electronics N.V. | Image processing apparatus and method |
US7825973B2 (en) | 2004-07-16 | 2010-11-02 | Micron Technology, Inc. | Exposure control for image sensors |
JP4689620B2 (ja) | 2004-11-02 | 2011-05-25 | パナソニック株式会社 | イメージセンサ |
KR100601475B1 (ko) | 2004-12-09 | 2006-07-18 | 삼성전기주식회사 | 이미지 복잡도에 따라 가변적 양자화 크기를 갖는 이미지압축 장치 및 그 방법 |
JP2006237737A (ja) | 2005-02-22 | 2006-09-07 | Sanyo Electric Co Ltd | カラーフィルタアレイ及び固体撮像素子 |
US7205522B2 (en) | 2005-05-18 | 2007-04-17 | Alexander Krymski D. B. A Alexima | Pixel circuit for image sensor |
US7237721B2 (en) | 2005-05-24 | 2007-07-03 | Nokia Corporation | Image processing for pattern detection |
US7455231B2 (en) | 2005-06-21 | 2008-11-25 | Symbol Technologies, Inc. | System and method for locating a predetermined pattern within an image |
GB2429864B (en) | 2005-09-01 | 2008-09-24 | Micron Technology Inc | Method and apparatus providing pixel array having automatic light control pixels and image capture pixels |
US7659925B2 (en) | 2005-10-04 | 2010-02-09 | Alexander Krymski | High speed CMOS image sensor circuits with memory readout |
WO2007116352A2 (en) | 2006-04-12 | 2007-10-18 | Koninklijke Philips Electronics N.V. | Image processing system having a simd processor and a processing unit communicating via a multi-ported memory |
US8004575B2 (en) | 2006-05-03 | 2011-08-23 | Utc Fire & Security Americas Corporation, Inc. | Methods and systems for detecting bright objects and/or adaptively modifying video camera exposure |
JP5011814B2 (ja) | 2006-05-15 | 2012-08-29 | ソニー株式会社 | 撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
US8059174B2 (en) | 2006-05-31 | 2011-11-15 | Ess Technology, Inc. | CMOS imager system with interleaved readout for providing an image with increased dynamic range |
US8483283B2 (en) | 2007-03-26 | 2013-07-09 | Cisco Technology, Inc. | Real-time face detection |
US8630491B2 (en) | 2007-05-03 | 2014-01-14 | Andrew Longacre, Jr. | System and method to manipulate an image |
JP4849262B2 (ja) * | 2007-07-03 | 2012-01-11 | 中部日本電気ソフトウェア株式会社 | ナンバープレート抽出システム、ナンバープレート抽出装置、ナンバープレート抽出方法及びプログラム |
US8063350B2 (en) | 2007-08-03 | 2011-11-22 | Cognex Corporation | Circuits and methods allowing for pixel array exposure pattern control |
US8095735B2 (en) | 2008-08-05 | 2012-01-10 | Convey Computer | Memory interleave for heterogeneous computing |
US8306366B2 (en) | 2007-08-23 | 2012-11-06 | Samsung Electronics Co., Ltd. | Method and apparatus for extracting feature points from digital image |
JP2009089332A (ja) * | 2007-10-03 | 2009-04-23 | Sony Corp | 動き予測方法及び動き予測装置 |
US8570393B2 (en) | 2007-11-30 | 2013-10-29 | Cognex Corporation | System and method for processing image data relative to a focus of attention within the overall image |
US9451142B2 (en) * | 2007-11-30 | 2016-09-20 | Cognex Corporation | Vision sensors, systems, and methods |
JP2009151896A (ja) * | 2007-12-21 | 2009-07-09 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
US8229251B2 (en) | 2008-02-08 | 2012-07-24 | International Business Machines Corporation | Pre-processing optimization of an image processing system |
US8366004B2 (en) | 2008-02-22 | 2013-02-05 | Qualcomm Incorporated | Barcode detection based on morphological operations |
JP2009223758A (ja) | 2008-03-18 | 2009-10-01 | Ricoh Co Ltd | 画像処理装置 |
-
2010
- 2010-05-17 US US12/781,651 patent/US8570393B2/en not_active Expired - Fee Related
-
2011
- 2011-05-13 DE DE112011101695T patent/DE112011101695T5/de not_active Withdrawn
- 2011-05-13 JP JP2013511240A patent/JP5739522B2/ja not_active Expired - Fee Related
- 2011-05-13 WO PCT/US2011/036458 patent/WO2011146337A1/en active Application Filing
-
2015
- 2015-02-07 JP JP2015022756A patent/JP2015143990A/ja active Pending
-
2016
- 2016-06-19 JP JP2016121308A patent/JP2016192224A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2015143990A (ja) | 2015-08-06 |
WO2011146337A1 (en) | 2011-11-24 |
US20110211726A1 (en) | 2011-09-01 |
JP2016192224A (ja) | 2016-11-10 |
US8570393B2 (en) | 2013-10-29 |
JP2013531838A (ja) | 2013-08-08 |
DE112011101695T5 (de) | 2013-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5739522B2 (ja) | 全体画像内で注意の焦点に関する画像データを処理するためのシステムと方法 | |
JP5567035B2 (ja) | ビジョン・オン・チップ・プロセッサを用いてバーコードを捕捉および検出するためのシステムおよび方法 | |
US9451142B2 (en) | Vision sensors, systems, and methods | |
US7489834B2 (en) | Method and apparatus for image processing | |
US20180260669A1 (en) | Image processing apparatus, image processing method, template generation apparatus, object recognition processor, and object recognition processing program | |
US10366307B2 (en) | Coarse-to-fine search method, image processing device and recording medium | |
WO2015043363A1 (zh) | 飞行器地面运动目标红外图像识别装置 | |
US10713530B2 (en) | Image processing apparatus, image processing method, and image processing program | |
Hiromoto et al. | Hardware architecture for high-accuracy real-time pedestrian detection with CoHOG features | |
Nagy et al. | Faster than FAST: GPU-accelerated frontend for high-speed VIO | |
Li et al. | A new automatic real-time crop row recognition based on SoC-FPGA | |
Pohl et al. | An efficient FPGA-based hardware framework for natural feature extraction and related computer vision tasks | |
Chan et al. | Efficient content analysis engine for visual surveillance network | |
Xiong et al. | Fpga implementation of blob recognition | |
Safaei et al. | A system-level design for foreground and background identification in 3d scenes | |
Smets et al. | Custom processor design for efficient, yet flexible Lucas-Kanade optical flow | |
Lahdenoja et al. | Extracting local binary patterns with MIPA4k vision processor | |
Jordan et al. | A co-processed contour tracing algorithm for a smart camera | |
CN113808136B (zh) | 一种基于最近邻算法的液晶屏幕缺陷检测方法和*** | |
Meribout et al. | A real-time image segmentation on a massively parallel architecture | |
Danielsson et al. | Comparing Two Generations of Embedded GPUs Running a Feature Detection Algorithm | |
Huang et al. | DSP-based parallel optimization for real-time video stitching | |
Fatt et al. | Iris verification algorithm based on texture analysis and its implementation on DSP | |
Roggow | Real-time ellipse detection on an embedded reconfigurable system-on-chip | |
Al Maashri | Accelerating design and implementation of embedded vision systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131213 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140310 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140317 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140411 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140418 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140512 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140519 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20141007 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150207 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20150331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5739522 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |