JP2020528616A - 画像処理方法およびシステム、記憶媒体およびコンピューティングデバイス - Google Patents
画像処理方法およびシステム、記憶媒体およびコンピューティングデバイス Download PDFInfo
- Publication number
- JP2020528616A JP2020528616A JP2020502970A JP2020502970A JP2020528616A JP 2020528616 A JP2020528616 A JP 2020528616A JP 2020502970 A JP2020502970 A JP 2020502970A JP 2020502970 A JP2020502970 A JP 2020502970A JP 2020528616 A JP2020528616 A JP 2020528616A
- Authority
- JP
- Japan
- Prior art keywords
- image
- convolution
- layer
- slice
- slice component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本願は、2017年7月21日に中国特許局に提出された、出願番号201710602674.2、発明の名称「画像処理方法およびシステム、記憶媒体およびコンピューティングデバイス」の中国特許出願の優先権を主張し、その全ての内容は参照により本願に組み込まれる。
120 ネットワーク
130 クライアント
140 データベース
210 データバス
220 プロセッサー
230 読み取り専用メモリ(ROM)
240 ランダムアクセスメモリ(RAM)
250 通信ポート
260 入力/出力ポート
270 ハードディスク
Claims (25)
- 画像に対して畳み込み処理を行い、画像特徴を示す多次元テンソルを取得することと、
前のスライス成分の畳み込み処理を次のスライス成分の畳み込み処理の入力とするようにして、前記画像特徴を示す多次元テンソルの少なくとも1次元に対応する方向に従い、少なくとも2つのスライス成分に対してそれぞれ畳み込み処理を順次行うことであって、前記スライス成分が、前記画像特徴を示す多次元テンソルを前記方向に従い順次分割して得られることと、
少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を処理することと、を含むことを特徴とする画像処理方法。 - 前記少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を処理することは、
少なくとも最終的に得られた畳み込み処理の結果に基づいて、前記画像中の物体の検出、前記画像中の物体の識別、前記画像中の物体の追跡、前記画像の分割、および/または前記画像の分類を行うことを含むことを特徴とする請求項1に記載の方法。 - 前記画像に対して畳み込み処理を行い、画像特徴を示す多次元テンソルを取得することは、
畳み込みニューラルネットワークの畳み込み層によって前記画像に対して畳み込み処理を行い、画像特徴を示す多次元テンソルを取得することを含むことを特徴とする請求項1または2に記載の方法。 - 前記畳み込み層は、前記畳み込みニューラルネットワークの中間の隠れ層または最上位の隠れ層であることを特徴とする請求項3に記載の方法。
- 前記スライス成分の畳み込み処理は畳み込み層によって処理され、且つ異なるスライス成分を処理する少なくとも2つの畳み込み層のネットワークパラメータは同じであることを特徴とする請求項1〜4のいずれか1項に記載の方法。
- 前記前のスライス成分の畳み込み処理を次のスライス成分の畳み込み処理の入力とするようにして、前記画像特徴を示す多次元テンソルの少なくとも1次元に対応する方向に従い、順次少なくとも2つのスライス成分に対してそれぞれ畳み込み処理を行うことは、
前記多次元テンソル中の1番目の層のスライス成分に対して畳み込み処理を行い、1番目の層のスライス成分の畳み込み処理の結果と2番目の層のスライス成分との和を利用して前記多次元テンソル中の2番目の層のスライス成分を更新することと、
更新された2番目の層のスライスに対して畳み込み処理を行い、2番目の層のスライス成分の畳み込み処理と3番目の層のスライス成分との和を利用して前記多次元テンソル中の3番目の層のスライス成分を更新し、このようにして、前記多次元テンソル中の最後の層のスライス成分まで更新することを特徴とする請求項1〜5のいずれか1項に記載の方法。 - 前記多次元は、高さ、幅およびチャンネル数を含む3次元を少なくとも含むことを特徴とする請求項1〜6のいずれか1項に記載の方法。
- 前記方向は、上から下への高さ方向、下から上への高さ方向、左から右への幅方向、右から左への幅方向のうちの少なくとも1つを含むことを特徴とする請求項7に記載の方法。
- 画像処理の結果に基づいて制御コマンドを生成し、制御コマンドに基づいて目標対象を制御して対応操作を実行させ、または、
画像処理の結果に基づいて目標対象を制御して対応操作を実行させることを特徴とする請求項1〜8のいずれか1項に記載の方法。 - 前記画像は、交通シーン画像を含むことを特徴とする請求項1〜9のいずれか1項に記載の方法。
- 前記交通シーン画像中の物体は、区画線、歩行者、車両、桿状物、障害物のうちの少なくとも1つを含むことを特徴とする請求項10に記載の方法。
- 画像に対して畳み込み処理を行い、画像特徴を示す多次元テンソルを取得するための第1の畳み込み処理モジュールと、
前のスライス成分の畳み込み処理を次のスライス成分の畳み込み処理の入力とするようにして、前記画像特徴を示す多次元テンソルの少なくとも1次元に対応する方向に従い、少なくとも2つのスライス成分に対してそれぞれ畳み込み処理を順次行うための第2の畳み込み処理モジュールであって、前記スライス成分が、前記画像特徴を示す多次元テンソルを前記方向に従い順次分割して得られる第2の畳み込み処理モジュールと、
少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を処理するための画像処理モジュールと、を含むことを特徴とする画像処理システム。 - 前記画像処理モジュールは、
少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像中の物体を検出するための物体検出モジュールと、
少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像中の物体を識別するための物体識別モジュールと、
少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像中の物体を追跡するための物体追跡モジュールと、
少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を分割するためのセマンティックセグメンテーションモジュールと、
少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を分類するための画像分類モジュールと、の少なくとも1つを含むことを特徴とする請求項12に記載のシステム。 - 前記画像処理システムは畳み込みニューラルネットワークを含み、前記第1の畳み込み処理モジュールは畳み込みニューラルネットワークの畳み込み層であることを特徴とする請求項12または13に記載のシステム。
- 前記畳み込み層は、前記畳み込みニューラルネットワークの中間の隠れ層または最上位の隠れ層であることを特徴とする請求項14に記載のシステム。
- 前記第2の畳み込み処理モジュールは、畳み込みニューラルネットワークにおけるスライス成分に対して畳み込み処理を行う複数の畳み込み層を含み、且つ異なるスライス成分を処理する少なくとも2つの畳み込み層のネットワークパラメータは同じであることを特徴とする請求項12〜15のいずれか1項に記載のシステム。
- 前記第2の畳み込み処理モジュールは、具体的に、
前記多次元テンソル中の1番目の層のスライス成分に対して畳み込み処理を行い、1番目の層のスライス成分の畳み込み処理の結果と2番目の層のスライス成分との和を利用して前記多次元テンソル中の2番目の層のスライス成分を更新することと、
更新された2番目の層のスライスに対して畳み込み処理を行い、2番目の層のスライス成分の畳み込み処理と3番目の層のスライス成分との和を利用して前記多次元テンソル中の3番目の層のスライス成分を更新し、このようにして、前記多次元テンソル中の最後の層のスライス成分まで更新することに用いられることを特徴とする請求項12〜16のいずれか1項に記載のシステム。 - 前記多次元は、高さ、幅およびチャンネル数を含む3次元を少なくとも含むことを特徴とする請求項12〜17のいずれか1項に記載のシステム。
- 前記方向は、上から下への高さ方向、下から上への高さ方向、左から右への幅方向、右から左への幅方向のうちの少なくとも1つを含むことを特徴とする請求項18に記載のシステム。
- 画像処理の結果に基づいて制御コマンドを生成し、制御コマンドに基づいて目標対象を制御して対応操作を実行させる第1の制御モジュール、または、
画像処理の結果に基づいて目標対象を制御して対応操作を実行させる第2の制御モジュールを更に含むことを特徴とする請求項12〜19のいずれか1項に記載のシステム。 - 前記画像は、交通シーン画像を含むことを特徴とする請求項12〜20のいずれか1項に記載のシステム。
- 前記交通シーン画像中の物体は、区画線、歩行者、車両、桿状物、障害物のうちの少なくとも1つを含むことを特徴とする請求項21に記載のシステム。
- コンピューターコマンドが記憶され、デバイスによって記憶媒体中のコンピューターコマンドを読取った後、デバイスは請求項1〜11のいずれか1項に記載の画像処理方法を実行することを特徴とするコンピューター可読記憶媒体。
- メモリ、およびプロセッサーを含むコンピューティングデバイスにおいて、前記プロセッサーによって前記メモリに記憶されたコンピュータープログラムを実行する時に、請求項1〜11中のいずれか1項に記載の画像処理方法中の各ステップを実行することを特徴とするコンピューティングデバイス。
- コンピューターコマンドを含み、デバイスのプロセッサーによって前記コンピューターコマンドを実行する時に、前記プロセッサーは請求項1〜11のいずれか1項に記載の画像処理方法中の各ステップを実行することを特徴とするコンピュータープログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710602674.2 | 2017-07-21 | ||
CN201710602674 | 2017-07-21 | ||
PCT/CN2017/106324 WO2019015144A1 (zh) | 2017-07-21 | 2017-10-16 | 图像处理方法和***、存储介质和计算设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020528616A true JP2020528616A (ja) | 2020-09-24 |
JP6778842B2 JP6778842B2 (ja) | 2020-11-04 |
Family
ID=65016497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020502970A Active JP6778842B2 (ja) | 2017-07-21 | 2017-10-16 | 画像処理方法およびシステム、記憶媒体およびコンピューティングデバイス |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6778842B2 (ja) |
WO (1) | WO2019015144A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112801282A (zh) * | 2021-03-24 | 2021-05-14 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维图像处理方法、装置、计算机设备和存储介质 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI765336B (zh) * | 2019-10-08 | 2022-05-21 | 國立清華大學 | 適用於卷積神經網路之記憶體優化實現之區塊式推論方法及其系統 |
CN111814960B (zh) * | 2020-07-03 | 2023-10-24 | 国家气候中心 | 天气气候***的识别方法、装置、存储介质及处理器 |
CN116057141B (zh) | 2020-08-03 | 2024-07-12 | Cmc材料有限责任公司 | 含二氧化钛的钌化学机械抛光浆料 |
CN112215243A (zh) * | 2020-10-30 | 2021-01-12 | 百度(中国)有限公司 | 图像特征提取方法、装置、设备及存储介质 |
US11941731B2 (en) * | 2020-11-26 | 2024-03-26 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for image processing |
CN112766277A (zh) * | 2021-02-07 | 2021-05-07 | 普联技术有限公司 | 卷积神经网络模型的通道调整方法、装置和设备 |
CN114187268A (zh) * | 2021-12-04 | 2022-03-15 | 北京工业大学 | 基于目标检测和语义分割融合的障碍物检测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9904874B2 (en) * | 2015-11-05 | 2018-02-27 | Microsoft Technology Licensing, Llc | Hardware-efficient deep convolutional neural networks |
CN105844653B (zh) * | 2016-04-18 | 2019-07-30 | 深圳先进技术研究院 | 一种多层卷积神经网络优化***及方法 |
CN106919921B (zh) * | 2017-03-06 | 2020-11-06 | 重庆邮电大学 | 结合子空间学习与张量神经网络的步态识别方法及*** |
-
2017
- 2017-10-16 WO PCT/CN2017/106324 patent/WO2019015144A1/zh active Application Filing
- 2017-10-16 JP JP2020502970A patent/JP6778842B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112801282A (zh) * | 2021-03-24 | 2021-05-14 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维图像处理方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2019015144A1 (zh) | 2019-01-24 |
JP6778842B2 (ja) | 2020-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6778842B2 (ja) | 画像処理方法およびシステム、記憶媒体およびコンピューティングデバイス | |
US10803328B1 (en) | Semantic and instance segmentation | |
US11061402B2 (en) | Sparse convolutional neural networks | |
WO2020244653A1 (zh) | 物体识别方法及装置 | |
CN111666921B (zh) | 车辆控制方法、装置、计算机设备和计算机可读存储介质 | |
CN108496127B (zh) | 集中于对象的有效三维重构 | |
US20180157972A1 (en) | Partially shared neural networks for multiple tasks | |
CN112990211B (zh) | 一种神经网络的训练方法、图像处理方法以及装置 | |
CN109214986A (zh) | 从下采样的低分辨率lidar 3-d点云和摄像机图像生成高分辨率3-d点云 | |
CN110263786B (zh) | 一种基于特征维度融合的道路多目标识别***及方法 | |
CN109215067A (zh) | 基于cnn和crf模型生成高分辨率3-d点云 | |
CN111626128A (zh) | 一种基于改进YOLOv3的果园环境下行人检测方法 | |
CN108830171B (zh) | 一种基于深度学习的智能物流仓库引导线视觉检测方法 | |
CN111931764B (zh) | 一种目标检测方法、目标检测框架及相关设备 | |
CN112991413A (zh) | 自监督深度估测方法和*** | |
CN111368972B (zh) | 一种卷积层量化方法及其装置 | |
CN111627050B (zh) | 一种目标跟踪模型的训练方法和装置 | |
JP6980289B2 (ja) | 車線モデルを利用して車線を検出し得る学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置{learning method, learning device for detecting lane using lane model and test method, test device using the same} | |
CN111461221B (zh) | 一种面向自动驾驶的多源传感器融合目标检测方法和*** | |
CN110176024B (zh) | 在视频中对目标进行检测的方法、装置、设备和存储介质 | |
CN115512251A (zh) | 基于双分支渐进式特征增强的无人机低照度目标跟踪方法 | |
WO2022165614A1 (zh) | 一种路径构建方法、装置、终端及存储介质 | |
CN115984586A (zh) | 一种鸟瞰视角下的多目标跟踪方法及装置 | |
KR20200077942A (ko) | 객체의 미래 움직임 예측을 통한 동영상에서의 객체 추적을 위한 방법 및 시스템 | |
DE112022002652T5 (de) | Automatische erzeugung einer vektorkarte für die fahrzeugnavigation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200116 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200116 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20200508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200508 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200923 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201012 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6778842 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |