JP2013037488A - 画像認識装置 - Google Patents
画像認識装置 Download PDFInfo
- Publication number
- JP2013037488A JP2013037488A JP2011172181A JP2011172181A JP2013037488A JP 2013037488 A JP2013037488 A JP 2013037488A JP 2011172181 A JP2011172181 A JP 2011172181A JP 2011172181 A JP2011172181 A JP 2011172181A JP 2013037488 A JP2013037488 A JP 2013037488A
- Authority
- JP
- Japan
- Prior art keywords
- synapse
- calculation
- input
- image recognition
- synapses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
【解決手段】画像認識装置100は、車載カメラが撮影した動画像データのフレーム30Fに歩行者が撮影されているか否かを判定する。前処理部2は、フレームの中から検出ブロックを決定し、フレームから検出ブロックに対応するブロック画像データを切り出す。ブロック画像データから、検出ブロックのサイズよりも小さい所定サイズのブロックデータ33が作成される。ニューロ演算部4は、ブロックデータ33をニューロ演算して出力シナプス34を算出する。後処理部6は、出力シナプス34に基づいて、検出ブロック内に歩行者がいるか否かを判定する。後処理部6は、歩行者が検出された場合、歩行者が検出された検出ブロックをフレーム30Fの上に重ねた結果データ35を作成する。
【選択図】図1
Description
図1は、本発明の実施の形態に係る画像認識装置100の機能ブロック図である。画像認識装置100は、自動車などの車両に搭載され、車載カメラが撮影して生成した動画像データを入力する。画像認識装置100は、入力された動画像データの各フレームから歩行者を検出する処理を行う。歩行者が検出された場合、画像認識装置100は、入力された動画像データの中で、歩行者が検出された領域を目立つように表示することにより、歩行者の存在を運転手に通知する。
図2は、画像認識装置100が実行する画像認識処理のフローチャートである。図2を参照しながら、画像認識処理の概略を説明する。
以下、ステップS2(図2参照)を実行する前処理部2の動作について詳しく説明する。最初に、フレームパラメータ検出部21によって、輝度フレーム31Fの統計値31の算出処理が行われる。次に、ブロックパラメータ検出部23とブロック作成部24とによって、ブロックデータ33が輝度フレーム31Fから作成される。
図4は、フレームパラメータ検出部21が処理する輝度フレーム31Fと、ブロックデータ33の作成対象となる輝度フレーム31Fとの対応を示すタイムチャートである。図5は、フレームパラメータ検出部21の動作を示すフローチャートである。詳細については後述するが、輝度フレーム31Fの保存と、ブロックデータ33の作成とは、並行して実行される(図5参照)。
図6は、前処理部2がブロックデータ33を作成するときの動作を示すフローチャートである。図6に示す処理は、ブロックパラメータ検出部23及びブロック作成部24により実行される。
前処理部2は、読み出し対象のフレームバッファを決定する(ステップS251)。ブロックデータ33が輝度フレーム31Faから作成される場合、読み出し対象は、フレームバッファ22Aとなる。前処理部2は、予め設定されたブロックパラメータテーブル221(図7A参照)を用いて、輝度フレーム31Fから、歩行者の検出対象となる検出ブロックを一つ決定する(ステップS252)。ブロックパラメータテーブル221は、前処理部2に予め設定されている。
ブロック作成部24は、輝度フレーム31Fの統計値31を用いて、輝度フレーム31Fを正規化する(ステップS254)。輝度フレーム31Fの正規化とは、輝度フレーム31Fの各画素値(輝度値)を、予め設定された標準的な輝度分布に合うように変換する処理である。ニューロ演算処理(ステップS3,図2参照)は、演算対象のブロックデータ33が標準的な輝度分布を有していると仮定して行われる。輝度フレーム31Fの輝度分布に偏りがある場合、ブロックデータ33の輝度分布にも偏りが生じると考えられる。
以下、正規化された検出ブロックBL1の画像データを、ブロック画像データと呼ぶ。ブロック作成部24は、ブロック画像データに対してsobelフィルタ処理を行う(ステップS256)。sobelフィルタ処理は、画像中の物体の輪郭を強調する処理である。
再び、図6を参照する。ブロック生成部24は、物体の輪郭が強調されたブロック画像データに対して、ガウスフィルタ処理を行う(ステップS257)。
前処理部2は、ガウスフィルタ処理後のブロック画像データに対して、平滑化処理(ステップS258)を行う。(式9)に、平滑化処理に用いる行列Lを示す。行列Lは、3×3の行列である。
前処理部2は、ステップS260において、作成したブロックデータ33をブロックバッファ3A,3B(図1参照)のいずれかに格納する。ニューロ演算部4は、ブロックバッファ3A,3Bのいずれかからブロックデータ33を読み出し、読み出したブロックデータ33に対してニューロ演算を行う(ステップS3、図2参照)。
以下、ニューロ演算処理(ステップS3)について詳しく説明する。
図9は、ニューロ演算部4により実行されるニューロ演算処理(ステップS3)の概略を示す図である。図9に示すように、ニューロ演算部4は、ブロックデータ33の各画素をニューロ演算することにより、出力シナプス34を算出する。ニューロ演算部4は、入力層51と、中間層52と、出力層53とを有する三層パーセプトロンを用いて、ニューロ演算を行う。
図11は、ニューロ演算部4により実行される中間シナプス算出処理(S300)のフローチャートである。図12〜図16は、中間シナプスの算出過程を示す図である。以下、説明を簡単にするために、入力シナプス41の数及び中間シナプスの数が、それぞれ12個である場合を例に説明する。
(式12)に示すように、シグモイド関数は、指数関数を使用する。ステップS309(図11参照)の処理において、シグモイド関数をそのまま使用した場合、計算処理が煩雑となり、中間シナプスの算出に時間を要する。そこで、ステップS309の処理を簡略化するために、シグモイド関数の線形近似関数を使用する。(式15)に線形近似関数を示す。
図19は、ニューロ演算部4により実行される出力シナプス算出処理(ステップS350)のフローチャートである。図20〜図23は、出力シナプス34の算出過程を示す図である。以下、中間シナプス算出処理(ステップS300)の説明と同様に、中間シナプスの数が12個である場合を例に説明する。
1 入力インタフェース
2 前処理部
3A,3B ブロックバッファ
4 ニューロ演算部
5 後処理部
6 後処理部
7 撮影データ記憶部
21 フレームパラメータ検出部
22 フレーム記憶部
22A,22B フレームバッファ
23 ブロックパラメータ検出部
24 ブロック作成部
30F フレーム
31F 輝度フレーム
34 出力シナプス
41−1〜41−H 入力シナプス
42−1〜42−J 中間シナプス
Claims (18)
- フレームに検出対象の物体が含まれているか否かを判定する画像認識装置であって、
前記フレーム内の第1領域の画像から、前記第1領域よりもサイズの小さい所定サイズの第1演算画像データを生成する前処理部と、
前記第1演算画像データの画素値をニューロ演算することにより、前記第1領域に前記検出対象の物体が含まれているか否かを示すニューロ演算値を算出するニューロ演算部と、
前記ニューロ演算値を用いて、前記フレームに前記検出対象の物体が含まれているか否かを示す結果データを生成する後処理部と、
を備える画像認識装置。 - 請求項1に記載の画像認識装置であって、さらに、
前記第1演算画像データを格納する第1ブロックバッファと、
前記前処理部によって前記フレーム内の前記第1領域と異なる第2領域の画像から生成された第2演算画像データを格納する第2ブロックバッファと、
を備え、
前記前処理部は、前記ニューロ演算部が前記第1ブロックバッファに格納された第1演算画像データを用いてニューロ演算を実行している場合、第2演算画像データを生成して前記第2ブロックバッファに格納し、前記ニューロ演算部が前記第2ブロックバッファに格納された第2演算画像データを用いてニューロ演算を実行している場合、第1演算画像データを生成して前記第1ブロックバッファに格納する画像認識装置。 - 請求項1に記載の画像認識装置であって、
前記前処理部は、
前記第1領域内の画素値を統計処理してブロック統計値を算出するブロックパラメータ算出部と、
前記ブロック統計値と、前記第1領域における画素値の標準的な分布を示すデータとに基づいて、前記第1領域内の画素値を正規化する正規化部と、
を含む画像認識装置。 - 請求項3に記載の画像認識装置であって、
前記前処理部は、
前記フレームの画素値を統計処理してフレーム統計値を算出するフレームパラメータ算出部、
を含み、
前記正規化部は、前記フレーム統計値と、前記フレームにおける画素値の標準的な分布を示すデータとに基づいて前記フレームの画素値を正規化し、
前記前処理部は、正規化されたフレームを用いて前記第1領域内の画素値を正規化する画像認識装置。 - 請求項1に記載の画像認識装置において、さらに、
複数のフレームの入力を受け付ける入力インタフェースと、
第1フレームバッファと、
第2フレームバッファと、
を備え、
前記入力インタフェースは、前記第1フレームバッファに格納された第1フレームから前記第1演算画像データが生成されている場合、前記第1フレームの次に入力されるフレームを前記第2フレームバッファに格納する画像認識装置。 - 請求項1に記載の画像認識装置であって、
前記ニューロ演算部は、
入力層のシナプスをニューロ演算して中間層のシナプスを算出する中間シナプス算出処理を少なくとも1回実行する中間シナプス算出部と、
前記中間層のシナプスをニューロ演算して出力シナプスを演算し、前記出力シナプスを前記ニューロ演算値として出力する出力シナプス算出部と、
を含み、
最初の中間シナプス算出処理における入力層のシナプスは、前記第1演算画像データの画素値である画像認識装置。 - 請求項6に記載の画像認識装置であって、
前記中間シナプス算出部は、
前記中間層のシナプスから、算出対象としてN個の中間シナプスを決定する算出対象決定部と、
前記入力層のシナプスの中からいずれか一つの入力シナプスを選択する選択処理を実行する入力シナプス選択部と、
選択された入力シナプスと第K(KはN以下の自然数)の中間シナプスとに対応する重み付け係数を決定し、前記選択された入力シナプスと決定した重み付け係数とを乗算した乗算値を、前記第Kの中間シナプスに加算する中間演算処理を実行する中間演算部と、
を含み、
前記中間演算部は、第1〜第Nの中間シナプスに対する中間演算処理を並列して実行し、
前記選択処理と前記中間演算処理とは、全ての入力シナプスが選択されるまで繰り返される画像認識装置。 - 請求項7に記載の画像認識装置であって、
前記入力シナプス選択部は、前記中間演算部によって前記中間演算処理が実行されている期間に、次の中間演算処理に用いられる重み付け係数を決定する画像認識装置。 - 請求項7または請求項8に記載の画像認識装置であって、
前記入力層のシナプスは、複数の入力グループに分けられ、
前記入力シナプス選択部は、前記複数の入力グループの中からいずれか一つを選択し、選択された入力グループの中から前記中間演算処理の対象となる入力シナプスを選択し、前記選択された入力グループに属する全ての入力シナプスを選択した後に次の入力グループを選択する画像認識装置。 - 請求項9に記載の画像認識装置であって、さらに、
前記入力層のシナプスを格納する入力シナプスバッファと、
前記中間シナプス算出部が使用する重み付け係数を格納する第1係数テーブルと、
を備え、
前記中間シナプス算出部は、前記選択された入力グループに属する全ての入力シナプスを、1回の読み出し処理で前記入力シナプスバッファから読み出し、前記中間演算部により決定された重み付け係数を、1回の読み出し処理で前記第1係数テーブルから読み出す画像認識装置。 - 請求項9または請求項10に記載の画像認識装置において、
前記画像認識装置は、前記選択された入力グループの中で最後に選択された入力シナプスに対して実行される中間演算処理と、前記次の入力グループを選択する処理とを並行して実行する画像認識装置。 - 請求項6ないし請求項11のいずれかに記載の画像認識装置であって、
前記中間シナプス算出部は、2回目以降の中間算出処理を実行する場合、入力シナプスとして直前の中間算出処理で算出された中間シナプスを用いる画像認識装置。 - 請求項6ないし請求項12のいずれかに記載の画像認識装置であって、
前記中間シナプス算出部は、全ての入力シナプスに対する中間演算処理が終了した後の中間シナプスをシグモイド演算し、シグモイド演算においてシグモイド関数を線形的に近似した近似関数を使用する画像認識装置。 - 請求項6ないし請求項13のいずれかに記載の画像認識装置であって、
前記出力シナプス算出部は、
前記出力シナプスの算出に用いられるQ個の部分加算値を設定する部分加算値設定部と、
前記中間層のシナプスからQ個の中間シナプスを選択し、前記Q個の中間シナプスに含まれる第R(RはQ以下の自然数)の中間シナプスと、前記第Rの中間シナプスに対応する重み付け係数との乗算値を第Rの部分加算値に加算する部分加算処理を実行する部分加算値演算部と、
前記中間層のシナプスに含まれる全ての中間シナプスに対する部分加算処理が終了した後に、前記Q個の部分加算値の合計値を算出して前記出力シナプスを算出する合計部と、
を含み、
前記Q個の中間シナプスを用いた部分加算処理が並行して実行される画像認識装置。 - 請求項14に記載の画像認識装置であって、さらに、
前記中間層のシナプスを格納する中間シナプスバッファと、
前記中間層のシナプスに対応する重み付け係数を格納する第2係数テーブルと、
を備え、
前記出力シナプス算出部は、前記Q個の中間シナプスを、1回の読み出し処理で前記中間シナプスバッファから読み出し、前記Q個の中間シナプスに対応する重み付け係数を、1回の読み出し処理で前記第2係数テーブルから読み出す画像認識装置。 - 請求項14または請求項15に記載の画像認識装置であって、
前記出力シナプス算出部は、前記部分加算処理が実行されている期間に、次の部分加算処理に用いられるQ個の中間シナプスと重み付け係数とを決定する画像認識装置。 - 請求項14ないし請求項16のいずれかに記載の画像認識装置であって、
前記中間シナプス算出部は、全ての中間シナプスに対する部分加算処理が終了した後に、前記Q個の部分加算値の合計値をシグモイド演算することにより前記出力シナプスを算出し、シグモイド演算においてシグモイド関数を線形的に近似した近似関数を使用する画像認識装置。 - 請求項1ないし請求項17のいずれかに記載の画像認識装置であって、
前記ニューロ演算部は、コンフィギュラブル・プロセッサにより実装される画像認識装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011172181A JP5911165B2 (ja) | 2011-08-05 | 2011-08-05 | 画像認識装置 |
PCT/JP2012/068842 WO2013021823A1 (ja) | 2011-08-05 | 2012-07-25 | 画像認識装置 |
EP12821911.0A EP2741253A4 (en) | 2011-08-05 | 2012-07-25 | Image recognition apparatus |
US14/236,739 US9361534B2 (en) | 2011-08-05 | 2012-07-25 | Image recognition apparatus using neural network processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011172181A JP5911165B2 (ja) | 2011-08-05 | 2011-08-05 | 画像認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013037488A true JP2013037488A (ja) | 2013-02-21 |
JP5911165B2 JP5911165B2 (ja) | 2016-04-27 |
Family
ID=47668338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011172181A Active JP5911165B2 (ja) | 2011-08-05 | 2011-08-05 | 画像認識装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9361534B2 (ja) |
EP (1) | EP2741253A4 (ja) |
JP (1) | JP5911165B2 (ja) |
WO (1) | WO2013021823A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190066058A (ko) * | 2016-10-27 | 2019-06-12 | 구글 엘엘씨 | 신경망 연산 타일 |
JP2019102084A (ja) * | 2017-12-05 | 2019-06-24 | 三星電子株式会社Samsung Electronics Co.,Ltd. | ニューラルネットワークにおいてコンボリューション演算を処理する方法及びその装置 |
WO2021084797A1 (ja) * | 2019-10-29 | 2021-05-06 | 三菱電機株式会社 | 物体検出装置、物体検出方法、物体検出プログラム及び学習装置 |
JP2021117533A (ja) * | 2020-01-22 | 2021-08-10 | 三菱電機インフォメーションシステムズ株式会社 | 物体検出装置、物体検出方法及び物体検出プログラム |
JP2022506134A (ja) * | 2018-11-01 | 2022-01-17 | コーニンクレッカ フィリップス エヌ ヴェ | 医用画像内でのインターベンションデバイスの識別 |
JP2022018507A (ja) * | 2020-07-15 | 2022-01-27 | フジモールド工業株式会社 | 被検物判定用の画像処理装置及び画像処理方法 |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6314628B2 (ja) | 2014-04-28 | 2018-04-25 | 株式会社デンソー | 演算処理装置 |
CN104299245B (zh) * | 2014-10-13 | 2017-12-26 | 深圳先进技术研究院 | 基于神经网络的增强现实跟踪方法 |
WO2016145547A1 (en) * | 2015-03-13 | 2016-09-22 | Xiaoou Tang | Apparatus and system for vehicle classification and verification |
US9569696B1 (en) * | 2015-08-12 | 2017-02-14 | Yahoo! Inc. | Media content analysis system and method |
US10055652B2 (en) * | 2016-03-21 | 2018-08-21 | Ford Global Technologies, Llc | Pedestrian detection and motion prediction with rear-facing camera |
CN106550511B (zh) * | 2016-12-07 | 2018-09-21 | 横店集团得邦照明股份有限公司 | 一种调光控制装置及其实现方法 |
WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
EP3460724A1 (en) | 2017-09-22 | 2019-03-27 | Kabushiki Kaisha Toshiba | Operation device and operation system |
CN107895378A (zh) * | 2017-10-12 | 2018-04-10 | 西安天和防务技术股份有限公司 | 目标检测方法和装置、存储介质、电子设备 |
CN107862291A (zh) * | 2017-11-14 | 2018-03-30 | 河海大学 | 一种基于深度学习的人车自动分类方法 |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
KR102532230B1 (ko) | 2018-03-30 | 2023-05-16 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
CN113039556B (zh) | 2018-10-11 | 2022-10-21 | 特斯拉公司 | 用于使用增广数据训练机器模型的***和方法 |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0447474A (ja) * | 1990-06-14 | 1992-02-17 | Canon Inc | ニューラルネットワークを用いた画像処理方式 |
JPH0520455A (ja) * | 1991-07-15 | 1993-01-29 | Sanyo Electric Co Ltd | 画像処理方法 |
JPH07220087A (ja) * | 1993-10-18 | 1995-08-18 | Glory Ltd | ランダムマスク方式による紙葉類のニューロ識別/正損分離装置 |
US5793932A (en) * | 1992-05-28 | 1998-08-11 | Matsushita Electric Industrial Co., Ltd. | Image recognition device and an image recognition method |
JPH11120158A (ja) * | 1997-10-15 | 1999-04-30 | Advantest Corp | 階層型ニューラルネットワークの学習方法 |
JP2003085560A (ja) * | 2001-09-07 | 2003-03-20 | Canon Inc | 信号処理回路及びパターン認識装置 |
JP2007025902A (ja) * | 2005-07-13 | 2007-02-01 | Canon Inc | 画像処理装置、画像処理方法 |
JP2009080693A (ja) * | 2007-09-26 | 2009-04-16 | Canon Inc | 演算処理装置および方法 |
US7643702B1 (en) * | 2004-07-23 | 2010-01-05 | Adobe Systems Incorporated | Object detection in images using a graphics processor |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0349820B1 (de) * | 1988-07-05 | 1995-04-19 | Siemens Aktiengesellschaft | Netzwerk -Baustein und Architektur für die programmierbare Emulation künstlicher neuronaler Netze mit digitaler Arbeitsweise |
JP2703010B2 (ja) * | 1988-12-23 | 1998-01-26 | 株式会社日立製作所 | ニユーラルネツト信号処理プロセツサ |
US4941122A (en) * | 1989-01-12 | 1990-07-10 | Recognition Equipment Incorp. | Neural network image processing system |
EP0461902B1 (en) * | 1990-06-14 | 1998-12-23 | Canon Kabushiki Kaisha | Neural network |
US5440671A (en) * | 1992-07-30 | 1995-08-08 | Olympus Optical Co., Ltd. | Neural net model and neural net optimizing method and system for realizing the same |
US5872864A (en) * | 1992-09-25 | 1999-02-16 | Olympus Optical Co., Ltd. | Image processing apparatus for performing adaptive data processing in accordance with kind of image |
JPH06119454A (ja) * | 1992-10-08 | 1994-04-28 | Babcock Hitachi Kk | 異常検出方法および装置 |
US5555512A (en) * | 1993-08-19 | 1996-09-10 | Matsushita Electric Industrial Co., Ltd. | Picture processing apparatus for processing infrared pictures obtained with an infrared ray sensor and applied apparatus utilizing the picture processing apparatus |
US5729623A (en) * | 1993-10-18 | 1998-03-17 | Glory Kogyo Kabushiki Kaisha | Pattern recognition apparatus and method of optimizing mask for pattern recognition according to genetic algorithm |
US5701398A (en) * | 1994-07-01 | 1997-12-23 | Nestor, Inc. | Adaptive classifier having multiple subnetworks |
US5884296A (en) * | 1995-03-13 | 1999-03-16 | Minolta Co., Ltd. | Network and image area attribute discriminating device and method for use with said neural network |
JPH0981723A (ja) * | 1995-09-08 | 1997-03-28 | Canon Inc | 画像処理装置 |
US6463163B1 (en) * | 1999-01-11 | 2002-10-08 | Hewlett-Packard Company | System and method for face detection using candidate image region selection |
US6549646B1 (en) * | 2000-02-15 | 2003-04-15 | Deus Technologies, Llc | Divide-and-conquer method and system for the detection of lung nodule in radiological images |
JP2002358523A (ja) | 2001-05-31 | 2002-12-13 | Canon Inc | パターン認識処理装置及びその方法、画像入力装置 |
US7088860B2 (en) | 2001-03-28 | 2006-08-08 | Canon Kabushiki Kaisha | Dynamically reconfigurable signal processing circuit, pattern recognition apparatus, and image processing apparatus |
JP5388393B2 (ja) * | 2001-04-27 | 2014-01-15 | キヤノン株式会社 | 画像処理装置および画像処理方法、制御プログラム |
US9052386B2 (en) * | 2002-02-06 | 2015-06-09 | Nice Systems, Ltd | Method and apparatus for video frame sequence-based object tracking |
US6819790B2 (en) * | 2002-04-12 | 2004-11-16 | The University Of Chicago | Massive training artificial neural network (MTANN) for detecting abnormalities in medical images |
KR100442835B1 (ko) * | 2002-08-13 | 2004-08-02 | 삼성전자주식회사 | 인공 신경망을 이용한 얼굴 인식 방법 및 장치 |
US7369687B2 (en) * | 2002-11-21 | 2008-05-06 | Advanced Telecommunications Research Institute International | Method for extracting face position, program for causing computer to execute the method for extracting face position and apparatus for extracting face position |
US7496546B2 (en) * | 2003-03-24 | 2009-02-24 | Riken | Interconnecting neural network system, interconnecting neural network structure construction method, self-organizing neural network structure construction method, and construction programs therefor |
JP4780921B2 (ja) * | 2004-03-17 | 2011-09-28 | キヤノン株式会社 | 並列パルス信号処理装置、及びその制御方法 |
JP4096950B2 (ja) * | 2005-02-24 | 2008-06-04 | 船井電機株式会社 | 撮像装置および自動撮影方法 |
JP2007148835A (ja) * | 2005-11-28 | 2007-06-14 | Fujitsu Ten Ltd | 物体判別装置、報知制御装置、物体判別方法および物体判別プログラム |
JP2008021034A (ja) | 2006-07-11 | 2008-01-31 | Fujitsu Ten Ltd | 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置 |
JP2008070562A (ja) * | 2006-09-13 | 2008-03-27 | Canon Inc | 撮像装置および露出制御方法 |
CA2675705A1 (en) * | 2007-01-16 | 2008-07-24 | Utc Fire & Security Corporation | System and method for video based fire detection |
US8358342B2 (en) * | 2007-02-23 | 2013-01-22 | Johnson Controls Technology Company | Video processing systems and methods |
JP2009049979A (ja) * | 2007-07-20 | 2009-03-05 | Fujifilm Corp | 画像処理装置、画像処理方法、画像処理システム、及びプログラム |
JP2009089356A (ja) * | 2007-09-10 | 2009-04-23 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
US8195598B2 (en) * | 2007-11-16 | 2012-06-05 | Agilence, Inc. | Method of and system for hierarchical human/crowd behavior detection |
JP5247356B2 (ja) * | 2008-10-29 | 2013-07-24 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
JP5372680B2 (ja) * | 2009-09-24 | 2013-12-18 | 日立オートモティブシステムズ株式会社 | 障害物検知装置 |
JP2011186780A (ja) * | 2010-03-09 | 2011-09-22 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
-
2011
- 2011-08-05 JP JP2011172181A patent/JP5911165B2/ja active Active
-
2012
- 2012-07-25 EP EP12821911.0A patent/EP2741253A4/en not_active Withdrawn
- 2012-07-25 US US14/236,739 patent/US9361534B2/en not_active Expired - Fee Related
- 2012-07-25 WO PCT/JP2012/068842 patent/WO2013021823A1/ja active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0447474A (ja) * | 1990-06-14 | 1992-02-17 | Canon Inc | ニューラルネットワークを用いた画像処理方式 |
JPH0520455A (ja) * | 1991-07-15 | 1993-01-29 | Sanyo Electric Co Ltd | 画像処理方法 |
US5793932A (en) * | 1992-05-28 | 1998-08-11 | Matsushita Electric Industrial Co., Ltd. | Image recognition device and an image recognition method |
JPH07220087A (ja) * | 1993-10-18 | 1995-08-18 | Glory Ltd | ランダムマスク方式による紙葉類のニューロ識別/正損分離装置 |
JPH11120158A (ja) * | 1997-10-15 | 1999-04-30 | Advantest Corp | 階層型ニューラルネットワークの学習方法 |
JP2003085560A (ja) * | 2001-09-07 | 2003-03-20 | Canon Inc | 信号処理回路及びパターン認識装置 |
US7643702B1 (en) * | 2004-07-23 | 2010-01-05 | Adobe Systems Incorporated | Object detection in images using a graphics processor |
JP2007025902A (ja) * | 2005-07-13 | 2007-02-01 | Canon Inc | 画像処理装置、画像処理方法 |
JP2009080693A (ja) * | 2007-09-26 | 2009-04-16 | Canon Inc | 演算処理装置および方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102387334B1 (ko) | 2016-10-27 | 2022-04-15 | 구글 엘엘씨 | 신경망 연산 타일 |
JP2019537793A (ja) * | 2016-10-27 | 2019-12-26 | グーグル エルエルシー | ニューラルネットワーク計算タイル |
KR20190066058A (ko) * | 2016-10-27 | 2019-06-12 | 구글 엘엘씨 | 신경망 연산 타일 |
KR102317668B1 (ko) | 2016-10-27 | 2021-10-26 | 구글 엘엘씨 | 신경망 연산 타일 |
KR20210129270A (ko) * | 2016-10-27 | 2021-10-27 | 구글 엘엘씨 | 신경망 연산 타일 |
JP2019102084A (ja) * | 2017-12-05 | 2019-06-24 | 三星電子株式会社Samsung Electronics Co.,Ltd. | ニューラルネットワークにおいてコンボリューション演算を処理する方法及びその装置 |
JP7304148B2 (ja) | 2017-12-05 | 2023-07-06 | 三星電子株式会社 | ニューラルネットワークにおいてコンボリューション演算を処理する方法及びその装置 |
JP7464593B2 (ja) | 2018-11-01 | 2024-04-09 | コーニンクレッカ フィリップス エヌ ヴェ | 医用画像内でのインターベンションデバイスの識別 |
JP2022506134A (ja) * | 2018-11-01 | 2022-01-17 | コーニンクレッカ フィリップス エヌ ヴェ | 医用画像内でのインターベンションデバイスの識別 |
WO2021084797A1 (ja) * | 2019-10-29 | 2021-05-06 | 三菱電機株式会社 | 物体検出装置、物体検出方法、物体検出プログラム及び学習装置 |
JP2021071757A (ja) * | 2019-10-29 | 2021-05-06 | 三菱電機インフォメーションシステムズ株式会社 | 物体検出装置、物体検出方法、物体検出プログラム及び学習装置 |
JP2021117533A (ja) * | 2020-01-22 | 2021-08-10 | 三菱電機インフォメーションシステムズ株式会社 | 物体検出装置、物体検出方法及び物体検出プログラム |
JP2022018507A (ja) * | 2020-07-15 | 2022-01-27 | フジモールド工業株式会社 | 被検物判定用の画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US9361534B2 (en) | 2016-06-07 |
WO2013021823A1 (ja) | 2013-02-14 |
JP5911165B2 (ja) | 2016-04-27 |
EP2741253A4 (en) | 2017-05-03 |
US20140169631A1 (en) | 2014-06-19 |
EP2741253A1 (en) | 2014-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5911165B2 (ja) | 画像認識装置 | |
US10482337B2 (en) | Accelerating convolutional neural network computation throughput | |
CN105144245B (zh) | 用于扩增现实的辐射转移取样的设备和方法 | |
CN110458165B (zh) | 一种引入注意力机制的自然场景文本检测方法 | |
CN111626176B (zh) | 一种基于动态注意力机制的遥感目标快速检测方法及*** | |
CN110738101A (zh) | 行为识别方法、装置及计算机可读存储介质 | |
JP7488185B2 (ja) | 機械学習のための画像変換 | |
WO2020253947A1 (en) | Recurrent multi-task convolutional neural network architecture | |
CN112149694B (zh) | 一种基于卷积神经网络池化模块的图像处理方法、***、存储介质及终端 | |
JP2012511756A (ja) | 検出窓走査により画像内の物体を認識および位置特定するためのデータストリームパイプラインアーキテクチャを有する装置 | |
CN108960012B (zh) | 特征点检测方法、装置及电子设备 | |
CN115147598A (zh) | 目标检测分割方法、装置、智能终端及存储介质 | |
CN114842035A (zh) | 基于深度学习的车牌脱敏方法、装置、设备及存储介质 | |
CN111428566B (zh) | 一种形变目标跟踪***及方法 | |
JP2007025902A (ja) | 画像処理装置、画像処理方法 | |
JP6815743B2 (ja) | 画像処理装置及びその方法、プログラム | |
CN116342649A (zh) | 一种复杂场景下低分辨率图像中进行特定目标物体跟踪的方法、装置与设备 | |
CN116452802A (zh) | 车损检测方法、装置、设备及存储介质 | |
JP2005228150A (ja) | 画像照合装置 | |
US20230252658A1 (en) | Depth map completion in visual content using semantic and three-dimensional information | |
CN113673478B (zh) | 基于深度学习全景拼接的港口大型设备检测与识别方法 | |
CN115115947A (zh) | 遥感图像检测方法、装置、电子设备以及存储介质 | |
Doman et al. | Construction of cascaded traffic sign detector using generative learning | |
CN113435318A (zh) | 神经网络训练、图像检测、行驶控制方法及装置 | |
JP2021051530A (ja) | 画像処理プログラム及び画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160328 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5911165 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |