JP2021517289A - 分散型ニューラルネットワークを用いた物体認識システム - Google Patents
分散型ニューラルネットワークを用いた物体認識システム Download PDFInfo
- Publication number
- JP2021517289A JP2021517289A JP2020541954A JP2020541954A JP2021517289A JP 2021517289 A JP2021517289 A JP 2021517289A JP 2020541954 A JP2020541954 A JP 2020541954A JP 2020541954 A JP2020541954 A JP 2020541954A JP 2021517289 A JP2021517289 A JP 2021517289A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- roi
- video
- base station
- object recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims description 10
- 238000012512 characterization method Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 abstract description 2
- 230000001537 neural effect Effects 0.000 abstract 1
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/04—Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C19/00—Aircraft control not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/25—Fixed-wing aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
Description
+ ROIの位置
+ ROIのサイズ
+ ROIの評価
+ ROIの表示
+ 新しいROIの定義
+ カラー表示又は白黒表示の決定
− 高性能ニューラルネットワークを基地局に設けるステップ
− 性能が劣るニューラルネットワークをフロントエンド側に設けるステップ
− フロントエンド側で高解像度の映像の生成するステップ
− フロントエンド側ニューラルネットワークにより、映像内の関心ある画像領域を認識し(検出し)、これらの画像領域をマーキングするステップ
− 以前に認識された関心ある画像領域に基づいてROI(「関心領域」)を選択して定義し、そのROIを映像にエンコードするステップ
− フロントエンド側から基地局へ映像を送信するステップ
− 受信した映像からROIを抽出するステップ
− 抽出したROIを評価し、基地局側ニューラルネットワークにより、ROI内に存在する物体を認識するステップ。
これは、新しい境界ボックス付きのROI、認識された物体の分類(8)及びROIとしてエンコードされていない更なる領域のためのシンボルが含まれている。
・表示されているROIを動的(同時に、ダイナミックに)に移動させる。
・ROIのサイズを変更する。
・記号を選択し、ROIとして表示させる(スコアが最も低いROIは消えて記号になる)。
・ROIを自身で定義する。
・カラー表示又は白黒表示を選択する。
Claims (8)
- 分散型ニューラルネットワークを用いた物体認識システム。
- 前記ニューラルネットワークのリソースが集中する部分が(地上の)基地局に設けられており、
前記ニューラルネットワークのリソースの集中がより少ない部分、具体的には前記ニューラルネットワークにおける残りの部分が、フロントエンド(例えば、遠隔操作車両)に設けられている請求項1に記載の物体認識システム。 - 前記フロントエンドでは、特徴マップ又はキャラクタリゼーションのみが設けられている又は編集可能である請求項2に記載の物体認識システム。
- 高性能のニューラルネットワークが(地上の)基地局に設けられており、
性能がより低いニューラルネットワークが、フロントエンド側、具体的には車両に設けられている、請求項1に記載の物体認識システム。 - 高解像度の映像を生成するための高解像度カメラ装置が前記フロントエンド側に設けられ、
前記フロントエンド側のニューラルネットワークが、前記映像内の関心ある画像領域を特定してマークするように設計されており、
予め特定した前記関心ある画像領域に基づいて、ROI(関心領域)を選択及び規定し、前記ROIを前記映像にエンコードするための映像処理手段が設けられており、
前記映像処理手段から前記基地局に前記映像を送信するためのデータ無線接続が設けられ、
前記基地局側のニューラルネットワークが、受信した前記映像から抽出した前記ROIを評価し、前記ROI内に存在する物体を認識するように設計されている請求項4に記載の物体認識システム。 - 前記基地局側のニューラルネットワークによって認識された前記物体を表示する表示手段が設けられている請求項5に記載の物体認識システム。
- 前記システムのパラメータを変更するための操作手段が設けられており、
前記パラメータのうちの少なくとも1つが、
ROIの位置、
ROIのサイズ、
ROIの評価、
ROIの表示、
新しいROIの定義、及び
カラー表示か白黒表示かの決定
から選択される、請求項4〜6のいずれか一項に記載の物体認識システム。 - 高性能なニューラルネットワークを基地局に設け、
性能がより低いニューラルネットワークをフロントエンド側に設け、
前記フロントエンド側で高解像度の映像を生成し、
前記フロントエンド側のニューラルネットワークによって、前記映像における関心がある画像領域を特定し、これらの画像領域にマークを付け、
予め特定した前記関心ある画像領域に基づいて、ROI(関心領域)を選択及び規定し、前記ROIを前記映像にエンコードし、
前記フロントエンド側から前記基地局に前記映像を送信し、
受信した前記映像からROIを抽出し、
前記基地局側のニューラルネットワークによって、前記抽出したROIを評価し、前記ROI内に存在する物体を認識する物体認識方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018106222.2 | 2018-03-16 | ||
DE102018106222 | 2018-03-16 | ||
DE102018110828.1A DE102018110828A1 (de) | 2018-03-16 | 2018-05-04 | System zur Objekterkennung mittels verteilter Neuronaler Netze |
DE102018110828.1 | 2018-05-04 | ||
PCT/EP2019/056418 WO2019175309A1 (de) | 2018-03-16 | 2019-03-14 | System zur objekterkennung mittels verteilter neuronaler netze |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021517289A true JP2021517289A (ja) | 2021-07-15 |
JP7058334B2 JP7058334B2 (ja) | 2022-04-21 |
Family
ID=67774380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020541954A Active JP7058334B2 (ja) | 2018-03-16 | 2019-03-14 | 分散型ニューラルネットワークを用いた物体認識システム |
Country Status (10)
Country | Link |
---|---|
US (1) | US11816567B2 (ja) |
EP (1) | EP3765999B1 (ja) |
JP (1) | JP7058334B2 (ja) |
CN (1) | CN111656356B (ja) |
AU (1) | AU2019233666B2 (ja) |
CA (1) | CA3094121C (ja) |
DE (1) | DE102018110828A1 (ja) |
ES (1) | ES2916727T3 (ja) |
IL (1) | IL276178B2 (ja) |
WO (1) | WO2019175309A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023127388A1 (ja) * | 2021-12-28 | 2023-07-06 | ソニーグループ株式会社 | 無線基地局、無線基地局の制御方法、通信制御装置、通信制御装置の制御方法およびプログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020204109A1 (de) | 2020-03-30 | 2021-09-30 | Airbus Operations Gmbh | Überwachungssystemnetzwerk und verfahren zum betreiben eines überwachungssystemnetzwerks |
CN113469117A (zh) * | 2021-07-20 | 2021-10-01 | 国网信息通信产业集团有限公司 | 一种多路视频实时检测方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009505288A (ja) * | 2005-08-15 | 2009-02-05 | エブリックス・テクノロジーズ・インコーポレイテッド | 画像から得られる情報のインターネットおよびその他の検索エンジンのための検索基準としての使用 |
US20170076195A1 (en) * | 2015-09-10 | 2017-03-16 | Intel Corporation | Distributed neural networks for scalable real-time analytics |
WO2017200622A2 (en) * | 2016-02-29 | 2017-11-23 | Satellogic Overseas, Inc. (Bvi) | System for planetary-scale analytics |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103632143B (zh) * | 2013-12-05 | 2017-02-08 | 冠捷显示科技(厦门)有限公司 | 结合云计算基于影像的物件识别*** |
CN104077613B (zh) | 2014-07-16 | 2017-04-12 | 电子科技大学 | 一种基于级联多级卷积神经网络的人群密度估计方法 |
EP3035249B1 (en) * | 2014-12-19 | 2019-11-27 | Intel Corporation | Method and apparatus for distributed and cooperative computation in artificial neural networks |
WO2017095948A1 (en) * | 2015-11-30 | 2017-06-08 | Pilot Ai Labs, Inc. | Improved general object detection using neural networks |
CN107368886B (zh) * | 2017-02-23 | 2020-10-02 | 奥瞳***科技有限公司 | 基于重复使用小规模卷积神经网络模块的神经网络*** |
US20220269910A1 (en) * | 2017-07-01 | 2022-08-25 | Algolux Inc. | Method and system for determining auto-exposure for high-dynamic range object detection using neural network |
CN107135237A (zh) * | 2017-07-07 | 2017-09-05 | 三星电子(中国)研发中心 | 一种呈现目标增强信息的实现方法和装置 |
CN107368857A (zh) | 2017-07-24 | 2017-11-21 | 深圳市图芯智能科技有限公司 | 图像对象检测方法、***及模型处理方法、设备、终端 |
CN107368832A (zh) * | 2017-07-26 | 2017-11-21 | 中国华戎科技集团有限公司 | 基于图像的目标检测及分类方法 |
US10816693B2 (en) * | 2017-11-21 | 2020-10-27 | Reliance Core Consulting LLC | Methods, systems, apparatuses and devices for facilitating motion analysis in a field of interest |
-
2018
- 2018-05-04 DE DE102018110828.1A patent/DE102018110828A1/de active Pending
-
2019
- 2019-03-14 IL IL276178A patent/IL276178B2/en unknown
- 2019-03-14 CN CN201980010349.4A patent/CN111656356B/zh active Active
- 2019-03-14 EP EP19712926.5A patent/EP3765999B1/de active Active
- 2019-03-14 JP JP2020541954A patent/JP7058334B2/ja active Active
- 2019-03-14 AU AU2019233666A patent/AU2019233666B2/en active Active
- 2019-03-14 ES ES19712926T patent/ES2916727T3/es active Active
- 2019-03-14 WO PCT/EP2019/056418 patent/WO2019175309A1/de active Application Filing
- 2019-03-14 US US16/981,466 patent/US11816567B2/en active Active
- 2019-03-14 CA CA3094121A patent/CA3094121C/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009505288A (ja) * | 2005-08-15 | 2009-02-05 | エブリックス・テクノロジーズ・インコーポレイテッド | 画像から得られる情報のインターネットおよびその他の検索エンジンのための検索基準としての使用 |
US20170076195A1 (en) * | 2015-09-10 | 2017-03-16 | Intel Corporation | Distributed neural networks for scalable real-time analytics |
WO2017200622A2 (en) * | 2016-02-29 | 2017-11-23 | Satellogic Overseas, Inc. (Bvi) | System for planetary-scale analytics |
Non-Patent Citations (1)
Title |
---|
SURAT TEERAPITTAYANON, 外2名: ""Distributed Deep Neural Networks over the Cloud, the Edge and End Devices"", 2017 IEEE 37TH INTERNATIONAL CONFERENCE ON DISTRIBUTED COMPUTING SYSTEMS(ICDCS), JPN6021037626, 8 June 2017 (2017-06-08), pages 328 - 339, XP033122945, ISSN: 0004604552, DOI: 10.1109/ICDCS.2017.226 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023127388A1 (ja) * | 2021-12-28 | 2023-07-06 | ソニーグループ株式会社 | 無線基地局、無線基地局の制御方法、通信制御装置、通信制御装置の制御方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210027059A1 (en) | 2021-01-28 |
EP3765999B1 (de) | 2022-05-04 |
AU2019233666A1 (en) | 2020-11-12 |
IL276178A (en) | 2020-09-30 |
EP3765999A1 (de) | 2021-01-20 |
ES2916727T3 (es) | 2022-07-05 |
WO2019175309A1 (de) | 2019-09-19 |
CN111656356A (zh) | 2020-09-11 |
US11816567B2 (en) | 2023-11-14 |
IL276178B2 (en) | 2023-09-01 |
DE102018110828A1 (de) | 2019-09-19 |
CA3094121A1 (en) | 2019-09-19 |
CN111656356B (zh) | 2023-08-08 |
IL276178B1 (en) | 2023-05-01 |
JP7058334B2 (ja) | 2022-04-21 |
AU2019233666B2 (en) | 2022-02-03 |
CA3094121C (en) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020192471A1 (zh) | 一种图像分类模型训练的方法、图像处理的方法及装置 | |
KR102060662B1 (ko) | 차량의 주행 이벤트를 검출하는 전자 장치 및 방법 | |
US9928605B2 (en) | Real-time cascaded object recognition | |
JP7058334B2 (ja) | 分散型ニューラルネットワークを用いた物体認識システム | |
US11861769B2 (en) | Electronic device and operating method thereof | |
US11810279B2 (en) | Image acquisition device and method of controlling the same | |
KR102646889B1 (ko) | 스타일 변환을 위한 영상 처리 장치 및 방법 | |
US11831948B2 (en) | Video playback device and control method thereof | |
CN110705412A (zh) | 一种基于运动历史图像的视频目标检测方法 | |
Kanellakis et al. | Open space attraction based navigation in dark tunnels for MAVs | |
US11436842B2 (en) | Bulb mask representation for traffic light classification | |
CN114399718A (zh) | 一种视频播放过程中的图像内容识别方法及装置 | |
US20230342944A1 (en) | System and Method for Motion Prediction in Autonomous Driving | |
Islam | Machine Vision for Improved Human-Robot Cooperation in Adverse Underwater Conditions | |
CN115147922A (zh) | 基于嵌入式平台的单目行人检测方法、***、设备及介质 | |
Emilyn et al. | Entity Perception Using Remotely Piloted Aerial Vehicle | |
CN115082869A (zh) | 一种服务于特种车辆的车路协同多目标检测方法及*** | |
CN116798117A (zh) | 一种基于视频理解的矿井下异常动作识别方法 | |
CN117876901A (zh) | 一种基于无人机视觉感知的定点降落方法 | |
KR20210087335A (ko) | 로컬 장치의 성능 향상 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20200821 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220411 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7058334 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |