JP2016045943A - シーンの取得画像を意味的にラベル付けする方法 - Google Patents
シーンの取得画像を意味的にラベル付けする方法 Download PDFInfo
- Publication number
- JP2016045943A JP2016045943A JP2015149661A JP2015149661A JP2016045943A JP 2016045943 A JP2016045943 A JP 2016045943A JP 2015149661 A JP2015149661 A JP 2015149661A JP 2015149661 A JP2015149661 A JP 2015149661A JP 2016045943 A JP2016045943 A JP 2016045943A
- Authority
- JP
- Japan
- Prior art keywords
- features
- local
- image
- semantic
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/759—Region-based matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
Description
以下において、用語「ネットワーク」及び「関数」は交換可能に用いられる。すなわち、ネットワークは関数Fとして実装することができ、関数は、図に示すようにネットワークとして図式的に表すことができる。
ローカル特徴抽出のためにマルチスケール畳み込みニューラルネットワーク(Multi−CNN:multi scale convolutional neural network)を用いる。Farabet他によって「Learning hierarchical features for scene labeling」IEEE TPAMI, August 2013において記載されているように、Multi−CNNは、以下のように編成される畳み込み段階を有する。
図3Aに示す本方法の複雑度を低減するために、スーパーピクセルセグメンテーション手順を用いる。この手順は、画像あたり所望数(K個)のスーパーピクセルを提供する。例えば、K=100である。この手順は、ペアワイズの色類似度及びスーパーピクセルサイズ制約を用いて、概ね同様なサイズの一様なスーパーピクセルを生成する。各スーパーピクセル内のローカル特徴を平均化し、スーパーピクセルごとに1つずつ、i=1,...,Kについて{vi}個のローカル特徴を得る。
図3Bに示すように、再帰的なコンテキスト伝播ネットワーク(rCPN:recursive context propagation network)350は以下を含む。
Fsemがローカル領域(ピクセル又はスーパーピクセル)特徴をローカル意味特徴にマッピングする。
全体画像の意味特徴が得られるまで、Fcomがローカル意味特徴を再帰的に結合し、中間セグメントを形成する。
全てのローカル領域について強化された意味特徴が得られるまで、Fdecが全体画像の意味特徴を再帰的に結合解除(拡散)し、中間セグメントの強化した意味特徴にする。
Flabが、強化した意味特徴を用いてローカル領域を分類し、ラベル付けする。
トレーニング及び推測のために、ネットワークを通じて情報を伝播するのに用いられるバイナリパースツリーは、画像から合成される。単一ノードから開始して、サブツリーを結合することによってツリーを合成する凝縮クラスタリング手順を用いる。ここで、結合は画像近傍情報に基づいて行われる。複雑度を低減しかつ解の劣化を回避するために、合成手順は平衡パースツリーを優先する。これは、ランダム化を用いて、より低い高さを有するサブツリーを貪欲に選択することによって達成することができる。パースツリーは、画像全体にわたってコンテキスト情報を伝播するためのツールでしかなく、すなわち、パースツリーは従来技術のように画像の正確な階層的セグメンテーションを表す必要がないことに留意されたい。
意味的ネットワークFsemは、次式に示すように、ローカル特徴をdsem次元ローカル意味特徴にマッピングする。
結合器ネットワークFcomは、次式に示すように、2つの子ノード(スーパーピクセル)の意味特徴を再帰的に結合し、親ノードの意味特徴を得る。
結合解除器ネットワークFdecは、次式に示すように、子ノード及びその親ノードの意味特徴を子ノードのコンテキストが強化された特徴にマッピングすることによって、全体画像の意味特徴を再帰的に拡散する。
図4は、シーンの取得画像401を意味的にラベル付けする方法を示している。画像内のローカル領域内のピクセルからピクセル特徴を抽出する(410)ことによってローカル特徴411が得られる。ローカル特徴を意味空間に意味的にマッピングする(415)ことによってローカル意味特徴416が得られる。全体画像の意味特徴421が得られるまで、ローカル意味特徴を再帰的に結合して(420)、中間セグメントを形成する。全体画像の意味特徴を結合解除して(430)中間セグメントにし、ローカル意味特徴及びコンテキストに基づく各領域の強化された意味特徴431を得る。次に、強化された意味特徴に従って、各ローカル領域を、ラベル441を用いてラベル付けする(440)。
サイド情報は、ネットワーク内の任意のノードに追加することができる。サイド情報を用いて、ノードに関する静的(非再帰的)知識を符号化することができる。サイド情報は伝播されない。1つの実施形態において、サイド情報は、ノードのロケーション及びノードのサイズの平均である。
rCPN350及びFCNN310は、トレーニング画像を用いて共同でトレーニングすることができる。しかしながら、再帰により、ネットワークの深さが、共同トレーニングを効果的に行うには深すぎるようになる。したがって、まず入力画像及びグランドトゥルースセグメンテーションラベル(ground truth segmentation labels)を用いて、FCNN310のパラメーターθCNNを学習する。FCNNがトレーニングされた後、ローカル特徴を得て、パラメーター
説明したように、ルートノード(全体画像に対応する)の意味特徴は、シーンの全体表現である。この意味特徴をシーン分類(シーンカテゴリ、例えば自然の写真、顔の写真、都市のシーン等による画像の分類)に用いることもできるし、画像の集合(collections of images)のクラスタリングに用いることもできる。分類は、ルートノードの意味特徴を取得し、シーンカテゴリのうちの1つに割り当てる分類モデルをトレーニングすることによって達成される。クラスタリング用途は、写真収集における画像のルートノードの意味特徴を用いて、これらの画像を意味特徴の類似度に従ってグループ化する。
本発明の実施形態は、シーンの取得画像を意味的にラベル付けする方法を提供する。本発明者らは、ピクセルごとの意味的ラベル付けのために、畳み込みニューラルネットワークと再帰的ニューラルネットワークとの結合である新規のネットワークを考案する。主要な特徴は、本発明による再帰的コンテキスト伝播であり、再帰的コンテキスト伝播は、画像の1つの領域から画像内の全ての他の領域までコンテキスト情報をフィードフォワード方式で効果的に伝播する。ネットワークはスケーリング可能であり、人間が設計する特徴を一切用いずにトレーニングすることができる。本方法は、正確度の観点から従来技術の方法よりも優れている。また、本方法は従来技術の方法よりも数桁高速である。
Claims (19)
- シーンの取得画像を意味的にラベル付けする方法であって、
前記画像内の各ローカル領域からローカル特徴を得るステップと、
前記ローカル特徴を意味的にマッピングしてローカル意味特徴を得るステップと、
全体画像の意味特徴が得られるまで、前記ローカル意味特徴を再帰的に結合して、中間セグメントを形成するステップと、
各ローカル領域の強化された意味特徴が得られるまで、前記全体画像の前記意味特徴を中間セグメントに再帰的に結合解除するステップと、
前記強化された意味特徴に従って各ローカル領域をラベル付けするステップと、
を含み、前記ステップはプロセッサが実行する、シーンの取得画像を意味的にラベル付けする方法。 - 前記ローカル領域はスーパーピクセルである、請求項1に記載の方法。
- 前記ローカル領域は1つ又は複数のピクセルを含む、請求項1に記載の方法。
- 前記ローカル特徴はマルチスケール畳み込みニューラルネットワークに従ってローカル領域から抽出される、請求項1に記載の方法。
- 前記結合及び前記結合解除は前記画像のパースツリーに従って行われる、請求項1に記載の方法。
- 前記結合及び前記結合解除のためにノードの平衡バイナリパースツリーをランダムに合成することを更に含む、請求項1に記載の方法。
- 前記マッピングは、抽出関数xi=Fsem(vi;θsem)に従って行われ、ここでxiは前記意味特徴であり、viは前記ローカル特徴であり、θsemは意味的マッピングパラメーターであり、
前記結合は、結合関数xi,j=Fsem([xi,xj];θcom)に従って行われ、ここで、xi,jは、バイナリパースツリーにおいて子ノードxi,xjから得られた親ノードの意味特徴であり、θcomは結合パラメーターであり、
前記結合解除は、結合解除関数
前記ラベル付けは、ラベル付け関数
- 前記ノードにサイド情報を付加することを更に含む、請求項6に記載の方法。
- 前記サイド情報は、前記ノードに関する静的知識を符号化する、請求項8に記載の方法。
- 前記サイド情報は、前記ノードのロケーション及び前記ノードのサイズの平均値である、請求項8に記載の方法。
- 前記抽出関数、前記結合関数、前記結合解除関数及び前記ラベル付け関数はニューラルネットワークを用いる、請求項7に記載の方法。
- 前記ローカル意味特徴は、ピクセルの色特徴、勾配特徴、及び、テクスチャ特徴である、請求項1に記載の方法。
- トレーニングデータを用いて、前記抽出、前記結合、前記結合解除及び前記ラベル付けの前記パラメーターを学習することを更に含む、請求項7に記載の方法。
- 前記学習は、前記トレーニングデータにおける前記ピクセルの真のラベルと予測ラベルとの間の差を最小にする、請求項13に記載の方法。
- 前記結合関数及び前記結合解除関数は再帰的である、請求項7に記載の方法。
- 前記パースツリーは、前記シーンの前記画像の階層的分割表現である、請求項5に記載の方法。
- 前記パースツリーは、前記シーンの前記画像の一部分の階層的分割表現である、請求項5に記載の方法。
- 前記全体画像の前記意味特徴を用いて、シーンカテゴリに従って前記画像を分類する、請求項1に記載の方法。
- 前記全体画像の前記意味特徴は、画像の集合をクラスター化するために用いられる、請求項1に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/463,806 | 2014-08-20 | ||
US14/463,806 US9558268B2 (en) | 2014-08-20 | 2014-08-20 | Method for semantically labeling an image of a scene using recursive context propagation |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016045943A true JP2016045943A (ja) | 2016-04-04 |
JP2016045943A5 JP2016045943A5 (ja) | 2018-06-21 |
JP6395158B2 JP6395158B2 (ja) | 2018-09-26 |
Family
ID=55348492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015149661A Active JP6395158B2 (ja) | 2014-08-20 | 2015-07-29 | シーンの取得画像を意味的にラベル付けする方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9558268B2 (ja) |
JP (1) | JP6395158B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018005638A (ja) * | 2016-07-04 | 2018-01-11 | 日本電信電話株式会社 | 映像認識モデル学習装置、映像認識装置、方法、及びプログラム |
JP2018101317A (ja) * | 2016-12-21 | 2018-06-28 | ホーチキ株式会社 | 異常監視システム |
KR20200087808A (ko) * | 2018-02-09 | 2020-07-21 | 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 | 인스턴스 분할 방법 및 장치, 전자 기기, 프로그램 및 매체 |
JP2021047841A (ja) * | 2019-09-19 | 2021-03-25 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 関心点をラベル付けする方法、装置、コンピュータ機器及び記憶媒体 |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10042048B1 (en) | 2014-02-20 | 2018-08-07 | National Technology & Engineering Solutions Of Sandia, Llc | Superpixels for improved structure and terrain classification using multiple synthetic aperture radar image products |
US9659384B2 (en) * | 2014-10-03 | 2017-05-23 | EyeEm Mobile GmbH. | Systems, methods, and computer program products for searching and sorting images by aesthetic quality |
US9389311B1 (en) * | 2015-02-19 | 2016-07-12 | Sandia Corporation | Superpixel edges for boundary detection |
WO2016197303A1 (en) * | 2015-06-08 | 2016-12-15 | Microsoft Technology Licensing, Llc. | Image semantic segmentation |
CN107851174B (zh) * | 2015-07-08 | 2021-06-01 | 北京市商汤科技开发有限公司 | 图像语义标注的设备和方法及其模型的生成方法和*** |
US10389804B2 (en) | 2015-11-11 | 2019-08-20 | Adobe Inc. | Integration of content creation and sharing |
US10783431B2 (en) | 2015-11-11 | 2020-09-22 | Adobe Inc. | Image search using emotions |
US10198590B2 (en) * | 2015-11-11 | 2019-02-05 | Adobe Inc. | Content sharing collections and navigation |
US10249061B2 (en) | 2015-11-11 | 2019-04-02 | Adobe Inc. | Integration of content creation and sharing |
KR102592076B1 (ko) * | 2015-12-14 | 2023-10-19 | 삼성전자주식회사 | 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치 |
US9760807B2 (en) * | 2016-01-08 | 2017-09-12 | Siemens Healthcare Gmbh | Deep image-to-image network learning for medical image analysis |
US10169647B2 (en) * | 2016-07-27 | 2019-01-01 | International Business Machines Corporation | Inferring body position in a scan |
US12020174B2 (en) | 2016-08-16 | 2024-06-25 | Ebay Inc. | Selecting next user prompt types in an intelligent online personal assistant multi-turn dialog |
US9947102B2 (en) | 2016-08-26 | 2018-04-17 | Elekta, Inc. | Image segmentation using neural network method |
US9965863B2 (en) | 2016-08-26 | 2018-05-08 | Elekta, Inc. | System and methods for image segmentation using convolutional neural network |
US10860898B2 (en) | 2016-10-16 | 2020-12-08 | Ebay Inc. | Image analysis and prediction based visual search |
US11748978B2 (en) | 2016-10-16 | 2023-09-05 | Ebay Inc. | Intelligent online personal assistant with offline visual search database |
US11004131B2 (en) | 2016-10-16 | 2021-05-11 | Ebay Inc. | Intelligent online personal assistant with multi-turn dialog based on visual search |
US11200273B2 (en) | 2016-10-16 | 2021-12-14 | Ebay Inc. | Parallel prediction of multiple image aspects |
US10402690B2 (en) * | 2016-11-07 | 2019-09-03 | Nec Corporation | System and method for learning random-walk label propagation for weakly-supervised semantic segmentation |
US10970768B2 (en) | 2016-11-11 | 2021-04-06 | Ebay Inc. | Method, medium, and system for image text localization and comparison |
CN106683081B (zh) * | 2016-12-17 | 2020-10-30 | 复旦大学 | 基于影像组学的脑胶质瘤分子标记物无损预测方法和预测*** |
CN106527455A (zh) * | 2017-01-03 | 2017-03-22 | 北京博瑞空间科技发展有限公司 | 无人机降落控制方法及装置 |
US10148872B2 (en) * | 2017-02-07 | 2018-12-04 | Intel Corporation | Image difference based segmentation using recursive neural networks |
GB2559566B (en) * | 2017-02-08 | 2022-01-12 | Ordnance Survey Ltd | Topographic data machine learning method and system |
US10546242B2 (en) | 2017-03-03 | 2020-01-28 | General Electric Company | Image analysis neural network systems |
US9953236B1 (en) * | 2017-03-10 | 2018-04-24 | TuSimple | System and method for semantic segmentation using dense upsampling convolution (DUC) |
US10540784B2 (en) * | 2017-04-28 | 2020-01-21 | Intel Corporation | Calibrating texture cameras using features extracted from depth images |
CN107220657B (zh) * | 2017-05-10 | 2018-05-18 | 中国地质大学(武汉) | 一种面向小数据集的高分辨率遥感影像场景分类的方法 |
US10657415B2 (en) * | 2017-06-02 | 2020-05-19 | Htc Corporation | Image correspondence determining method and apparatus |
US10762635B2 (en) * | 2017-06-14 | 2020-09-01 | Tusimple, Inc. | System and method for actively selecting and labeling images for semantic segmentation |
US10783393B2 (en) * | 2017-06-20 | 2020-09-22 | Nvidia Corporation | Semi-supervised learning for landmark localization |
CN108229479B (zh) * | 2017-08-01 | 2019-12-31 | 北京市商汤科技开发有限公司 | 语义分割模型的训练方法和装置、电子设备、存储介质 |
US10671083B2 (en) | 2017-09-13 | 2020-06-02 | Tusimple, Inc. | Neural network architecture system for deep odometry assisted by static scene optical flow |
US10552979B2 (en) | 2017-09-13 | 2020-02-04 | TuSimple | Output of a neural network method for deep odometry assisted by static scene optical flow |
US10706503B2 (en) * | 2018-03-13 | 2020-07-07 | Disney Enterprises, Inc. | Image processing using a convolutional neural network |
CN108846405A (zh) * | 2018-04-11 | 2018-11-20 | 东莞迪赛软件技术有限公司 | 基于ssgan的不平衡医保数据分类方法 |
CN108629747B (zh) * | 2018-04-25 | 2019-12-10 | 腾讯科技(深圳)有限公司 | 图像增强方法、装置、电子设备及存储介质 |
CN112272832A (zh) * | 2018-05-28 | 2021-01-26 | 三星电子株式会社 | 用于基于dnn的成像的方法和*** |
CN110648299A (zh) * | 2018-06-26 | 2020-01-03 | 株式会社理光 | 图像处理方法、图像处理装置和计算机可读存储介质 |
KR102192899B1 (ko) * | 2018-08-16 | 2020-12-18 | 주식회사 날비컴퍼니 | 이미지에 보케 효과를 적용하는 방법 및 기록매체 |
US10832084B2 (en) * | 2018-08-17 | 2020-11-10 | Nec Corporation | Dense three-dimensional correspondence estimation with multi-level metric learning and hierarchical matching |
US11475248B2 (en) * | 2018-10-30 | 2022-10-18 | Toyota Research Institute, Inc. | Auto-labeling of driving logs using analysis-by-synthesis and unsupervised domain adaptation |
US10755128B2 (en) | 2018-12-18 | 2020-08-25 | Slyce Acquisition Inc. | Scene and user-input context aided visual search |
US11995854B2 (en) * | 2018-12-19 | 2024-05-28 | Nvidia Corporation | Mesh reconstruction using data-driven priors |
US10325179B1 (en) * | 2019-01-23 | 2019-06-18 | StradVision, Inc. | Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same |
US10311578B1 (en) * | 2019-01-23 | 2019-06-04 | StradVision, Inc. | Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same |
CN110111239B (zh) * | 2019-04-28 | 2022-12-20 | 叠境数字科技(上海)有限公司 | 一种基于tof相机软分割的人像头部背景虚化方法 |
CN110070091B (zh) * | 2019-04-30 | 2022-05-24 | 福州大学 | 用于街景理解的基于动态插值重建的语义分割方法及*** |
CN110070512B (zh) * | 2019-04-30 | 2021-06-01 | 秒针信息技术有限公司 | 图片修饰的方法及装置 |
US11080861B2 (en) | 2019-05-14 | 2021-08-03 | Matterport, Inc. | Scene segmentation using model subtraction |
CN110634142B (zh) * | 2019-08-20 | 2024-02-02 | 长安大学 | 一种复杂车路图像边界优化方法 |
CN111046732B (zh) * | 2019-11-11 | 2023-11-28 | 华中师范大学 | 一种基于多粒度语义解析的行人重识别方法及存储介质 |
CN111145277A (zh) * | 2019-12-31 | 2020-05-12 | 山东浪潮人工智能研究院有限公司 | 一种深度语义感知与bpg压缩工具的图像压缩方法 |
US11645505B2 (en) * | 2020-01-17 | 2023-05-09 | Servicenow Canada Inc. | Method and system for generating a vector representation of an image |
CN111611879A (zh) * | 2020-04-30 | 2020-09-01 | 杭州电子科技大学 | 一种基于空间逐点注意力机制的场景解析方法 |
CN112348972A (zh) * | 2020-09-22 | 2021-02-09 | 陕西土豆数据科技有限公司 | 一种基于大规模场景三维模型精细语义标注方法 |
CN112101371B (zh) * | 2020-11-18 | 2021-09-10 | 北京京东尚科信息技术有限公司 | 数据处理方法、装置、电子设备和计算机存储介质 |
CN112819832A (zh) * | 2021-02-02 | 2021-05-18 | 华北水利水电大学 | 基于激光点云的城市场景语义分割细粒度边界提取方法 |
TW202232437A (zh) * | 2021-02-09 | 2022-08-16 | 阿物科技股份有限公司 | 圖像分類與標示方法及系統 |
WO2023102224A1 (en) * | 2021-12-03 | 2023-06-08 | Innopeak Technology, Inc. | Data augmentation for multi-task learning for depth mapping and semantic segmentation |
US11915474B2 (en) | 2022-05-31 | 2024-02-27 | International Business Machines Corporation | Regional-to-local attention for vision transformers |
CN117132600B (zh) * | 2023-10-26 | 2024-04-16 | 广东岚瑞新材料科技集团有限公司 | 基于图像的注塑制品质量检测***及其方法 |
CN117764995B (zh) * | 2024-02-22 | 2024-05-07 | 浙江首鼎视介科技有限公司 | 基于深度神经网络算法的胆胰成像***及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06124366A (ja) * | 1992-10-14 | 1994-05-06 | Toshiba Corp | 住所読取装置 |
JPH0830734A (ja) * | 1994-07-19 | 1996-02-02 | Mitsubishi Heavy Ind Ltd | 文字列認識装置 |
JP2008217706A (ja) * | 2007-03-07 | 2008-09-18 | Tokyo Institute Of Technology | ラベリング装置、ラベリング方法及びプログラム |
JP2010067223A (ja) * | 2008-09-12 | 2010-03-25 | Canon Inc | 画像処理装置、画像処理方法、及び、画像処理プログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7127087B2 (en) * | 2000-03-27 | 2006-10-24 | Microsoft Corporation | Pose-invariant face recognition system and process |
CA2532530A1 (en) * | 2003-07-28 | 2005-02-10 | Fluidigm Corporation | Image processing method and system for microfluidic devices |
US7460709B2 (en) | 2004-01-23 | 2008-12-02 | Siemens Medical Solutions Usa, Inc. | System and method for multi-label image segmentation |
EP1603076A1 (en) * | 2004-05-13 | 2005-12-07 | Aalborg Universitet | Computerized cortex boundary extraction from MR images |
EP2765533A1 (en) * | 2004-07-26 | 2014-08-13 | Automotive Systems Laboratory, Inc. | Vulnerable road user protection system |
WO2006042142A2 (en) * | 2004-10-07 | 2006-04-20 | Bernard Widrow | Cognitive memory and auto-associative neural network based pattern recognition and searching |
JP4676373B2 (ja) * | 2006-04-27 | 2011-04-27 | 株式会社デンソー | 周辺認識装置、周辺認識方法、プログラム |
TW200842733A (en) * | 2007-04-17 | 2008-11-01 | Univ Nat Chiao Tung | Object image detection method |
US8170330B2 (en) | 2007-10-30 | 2012-05-01 | Siemens Aktiengesellschaft | Machine learning for tissue labeling segmentation |
US9704068B2 (en) | 2012-06-22 | 2017-07-11 | Google Inc. | System and method for labelling aerial images |
-
2014
- 2014-08-20 US US14/463,806 patent/US9558268B2/en active Active
-
2015
- 2015-07-29 JP JP2015149661A patent/JP6395158B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06124366A (ja) * | 1992-10-14 | 1994-05-06 | Toshiba Corp | 住所読取装置 |
JPH0830734A (ja) * | 1994-07-19 | 1996-02-02 | Mitsubishi Heavy Ind Ltd | 文字列認識装置 |
JP2008217706A (ja) * | 2007-03-07 | 2008-09-18 | Tokyo Institute Of Technology | ラベリング装置、ラベリング方法及びプログラム |
JP2010067223A (ja) * | 2008-09-12 | 2010-03-25 | Canon Inc | 画像処理装置、画像処理方法、及び、画像処理プログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018005638A (ja) * | 2016-07-04 | 2018-01-11 | 日本電信電話株式会社 | 映像認識モデル学習装置、映像認識装置、方法、及びプログラム |
JP2018101317A (ja) * | 2016-12-21 | 2018-06-28 | ホーチキ株式会社 | 異常監視システム |
KR20200087808A (ko) * | 2018-02-09 | 2020-07-21 | 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 | 인스턴스 분할 방법 및 장치, 전자 기기, 프로그램 및 매체 |
KR102438095B1 (ko) | 2018-02-09 | 2022-08-30 | 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 | 인스턴스 분할 방법 및 장치, 전자 기기, 프로그램 및 매체 |
JP2021047841A (ja) * | 2019-09-19 | 2021-03-25 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 関心点をラベル付けする方法、装置、コンピュータ機器及び記憶媒体 |
US11403766B2 (en) | 2019-09-19 | 2022-08-02 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and device for labeling point of interest |
Also Published As
Publication number | Publication date |
---|---|
JP6395158B2 (ja) | 2018-09-26 |
US20160055237A1 (en) | 2016-02-25 |
US9558268B2 (en) | 2017-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6395158B2 (ja) | シーンの取得画像を意味的にラベル付けする方法 | |
Yang et al. | Lego: Learning edge with geometry all at once by watching videos | |
Garcia-Garcia et al. | A survey on deep learning techniques for image and video semantic segmentation | |
CN111368896B (zh) | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 | |
Lateef et al. | Survey on semantic segmentation using deep learning techniques | |
Yang et al. | Unsupervised learning of geometry from videos with edge-aware depth-normal consistency | |
Garcia-Garcia et al. | A review on deep learning techniques applied to semantic segmentation | |
CN111291212B (zh) | 基于图卷积神经网络的零样本草图图像检索方法和*** | |
Remez et al. | Learning to segment via cut-and-paste | |
Sharma et al. | Deep hierarchical parsing for semantic segmentation | |
Zhang et al. | Deep hierarchical guidance and regularization learning for end-to-end depth estimation | |
WO2020077940A1 (en) | Method and device for automatic identification of labels of image | |
CN108985298B (zh) | 一种基于语义一致性的人体衣物分割方法 | |
Singh et al. | Semantic segmentation of satellite images using deep-unet | |
CN116797787B (zh) | 基于跨模态融合与图神经网络的遥感影像语义分割方法 | |
Chatterjee et al. | On building classification from remote sensor imagery using deep neural networks and the relation between classification and reconstruction accuracy using border localization as proxy | |
CN114005085A (zh) | 一种视频中密集人群分布检测与计数方法 | |
Song et al. | Contextualized CNN for scene-aware depth estimation from single RGB image | |
Guo et al. | Using multi-scale and hierarchical deep convolutional features for 3D semantic classification of TLS point clouds | |
CN104463962B (zh) | 基于gps信息视频的三维场景重建方法 | |
CN112767277B (zh) | 一种基于参考图像的深度特征排序去模糊方法 | |
Zhang et al. | Deep joint neural model for single image haze removal and color correction | |
Sahu et al. | Vector map generation from aerial imagery using deep learning | |
Lu et al. | Closing the loop for edge detection and object proposals | |
Petrovai et al. | Semi-automatic image annotation of street scenes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180509 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180509 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180713 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180724 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6395158 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |