JP7249372B2 - Methods and apparatus, electronic devices, computer readable storage media and computer programs for labeling objects - Google Patents

Methods and apparatus, electronic devices, computer readable storage media and computer programs for labeling objects Download PDF

Info

Publication number
JP7249372B2
JP7249372B2 JP2021053750A JP2021053750A JP7249372B2 JP 7249372 B2 JP7249372 B2 JP 7249372B2 JP 2021053750 A JP2021053750 A JP 2021053750A JP 2021053750 A JP2021053750 A JP 2021053750A JP 7249372 B2 JP7249372 B2 JP 7249372B2
Authority
JP
Japan
Prior art keywords
labeling
frame
image
target object
labeled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021053750A
Other languages
Japanese (ja)
Other versions
JP2021192223A (en
Inventor
上▲シン▼ 張
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2021192223A publication Critical patent/JP2021192223A/en
Application granted granted Critical
Publication of JP7249372B2 publication Critical patent/JP7249372B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Description

本願の実施例はコンピュータ技術分野に関し、具体的には対象をラベリングするための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラムに関する。 TECHNICAL FIELD Embodiments of the present application relate to the field of computer technology, and in particular to methods and apparatus, electronic devices, computer-readable storage media and computer programs for labeling objects.

深層学習アルゴリズムの継続的な進歩に伴い、歩行者ターゲット検出アルゴリズムの精度が向上し続けて、一部のモバイル端末は、深層学習における歩行者ターゲット検出アルゴリズムを使用して歩行者の検出を行うことができるようになった。しかし、深層学習の特性であると同時に必須条件として、モデルをトレーニングするために大量の手動によるラベリングデータが必要となり、かつデータの量とデータの品質によってモデル検出の効果が決まってしまう。歩行者検知の場合、写真におけるそれぞれの人の位置を手動でラベリングし、かつこのプロセスは10万回、さらには100万回も繰り返す必要があり、このプロセスは多くの人手と時間の投入が必要になる。 With the continuous progress of deep learning algorithms, the accuracy of pedestrian target detection algorithms continues to improve, and some mobile terminals use pedestrian target detection algorithms in deep learning to detect pedestrians. is now possible. However, it is a characteristic as well as a prerequisite of deep learning that a large amount of manually labeled data is required to train the model, and the amount and quality of the data determine the effectiveness of model detection. For pedestrian detection, the position of each person in the photo needs to be manually labeled, and the process needs to be repeated 100,000 or even 1,000,000 times, which requires a lot of manpower and time input. become.

本願の実施例は対象をラベリングするための方法及び装置を提供する。 Embodiments of the present application provide methods and apparatus for labeling objects.

第１の様態において、本願の実施例は対象をラベリングするための方法を提供し、前記方法は、目標対象を含むラベリング対象画像を取得するステップと、予めトレーニングされた第１の検出モデル及び上記ラベリング対象画像に基づいて目標対象の位置情報を決定するステップと、上記位置情報及び所定のラベリングフレームサイズセットに基づいて、上記目標対象に適応するラベリングフレームのサイズを決定するステップと、決定したサイズに基づいて、ラベリングフレームを用いて上記目標対象をラベリングするステップと、を含む。 In a first aspect, embodiments of the present application provide a method for labeling an object, the method comprising the steps of obtaining a labeling object image comprising a target object, a pre-trained first detection model and determining location information of a target object based on a labeling target image; determining a size of a labeling frame adapted to the target object based on the location information and a predetermined labeling frame size set; and determining the determined size. labeling the target object with a labeling frame based on .

いくつかの実施例において、上記方法は、さらに、上記ラベリング対象画像の非ラベリング領域を取得するステップと、上記非ラベリング領域でモザイクを生成するステップと、を含む。 In some embodiments, the method further includes obtaining non-labeled regions of the image to be labeled and generating a mosaic in the non-labeled regions.

いくつかの実施例において、上記方法は、さらに、モザイクが生成された後の画像に基づいて、トレーニングサンプルを決定するステップと、上記トレーニングサンプルにおけるモザイクが含まれる画像を入力とし、上記ラベリングフレームを期待出力とし、第２の検出モデルを得るステップと、を含む。 In some embodiments, the method further comprises determining training samples based on the images after the mosaic has been generated; as the expected output and obtaining a second detection model.

いくつかの実施例において、上記方法は、さらに、ラベリングフレームのサイズを含むラベリングフレーム情報を取得するステップと、上記ラベリングフレームのサイズをクラスター化し、ラベリングフレームサイズセットを得るステップと、を含む。 In some embodiments, the method further includes obtaining labeling frame information including labeling frame sizes, and clustering the labeling frame sizes to obtain a labeling frame size set.

いくつかの実施例において、上記ラベリング対象画像のラベリング領域及び非ラベリング領域を取得するステップは、上記ラベリングフレームに基づいて、ラベリング領域を決定するステップと、ラベリング領域に基づいて、上記非ラベリング領域を決定するステップと、を含む。 In some embodiments, obtaining the labeling region and the non-labeling region of the image to be labeled includes: determining the labeling region based on the labeling frame; and determining the non-labeling region based on the labeling region. and determining.

第２の様態において、本願の実施例は対象をラベリングするための装置を提供し、目標対象を含むラベリング対象画像を取得するように構成される画像取得ユニットと、予めトレーニングされた第１の検出モデル及び上記ラベリング対象画像によって、目標対象の位置情報を決定するように構成される位置決定ユニットと、上記位置情報及び所定のラベリングフレームサイズセットに基づいて、上記目標対象に適応するラベリングフレームのサイズを決定するように構成されるサイズ決定ユニットと、決定したサイズに基づいて、ラベリングフレームを用いて上記目標対象をラベリングするように構成される対象ラベリングユニットと、を含む。 In a second aspect, embodiments of the present application provide an apparatus for labeling an object, an image acquisition unit configured to acquire a labeling object image comprising a target object and a pre-trained first detection a position determination unit configured to determine position information of a target object by means of a model and an image of said labeling object; and a size of a labeling frame adapted to said target object based on said position information and a predetermined set of labeling frame sizes. and an object labeling unit arranged to label the target object with a labeling frame based on the determined size.

いくつかの実施例において、上記装置は、上記ラベリング対象画像の非ラベリング領域を取得し、上記非ラベリング領域でモザイクを生成するように構成される処理装置を更に含む。 In some embodiments, the apparatus further comprises a processing device configured to obtain non-labeled regions of the image to be labeled and generate a mosaic in the non-labeled regions.

いくつかの実施例において、上記装置は、モザイクが生成された後の画像に基づいて、トレーニングサンプルを決定し、上記トレーニングサンプルにおける画像を入力とし、上記ラベリングフレームを期待出力とし、第２の検出モデルを得るように構成されるトレーニングユニットをさらに含む。 In some embodiments, the apparatus determines training samples based on the images after the mosaic is generated, the images in the training samples as input, the labeling frames as expected output, and a second detection. Further includes a training unit configured to obtain the model.

いくつかの実施例において、上記装置は、ラベリングフレームのサイズを含むラベリングフレーム情報を取得し、上記ラベリングフレームのサイズをクラスター化し、ラベリングフレームサイズセットを得るように構成されるサイズセット決定ユニットをさらに含む。 In some embodiments, the apparatus further comprises a size set determining unit configured to obtain labeling frame information including sizes of labeling frames, cluster the sizes of the labeling frames, and obtain a labeling frame size set. include.

いくつかの実施例において、上記サイズセット決定ユニットは、さらに、上記ラベリングフレームに基づいて、ラベリング領域を決定し、ラベリング領域に基づいて、非ラベリング領域を決定するように構成される。 In some embodiments, the size set determining unit is further configured to determine a labeling region based on the labeling frame and a non-labeling region based on the labeling region.

第３の様態において、本願の実施例は電子機器を提供し、１つ又は複数のプロセッサと、１つ又は複数のプログラムが記憶された記憶装置と、を含み、上記１つ又は複数のプログラムが上記１つ又は複数のプロセッサで実行されることにより、上記１つ又は複数のプロセッサに第１の様態の任意の実施例に記載の方法を実現させる。 In a third aspect, embodiments of the present application provide an electronic device, including one or more processors and a storage device storing one or more programs, wherein the one or more programs are Execution on said one or more processors causes said one or more processors to implement the method according to any embodiment of the first aspect.

第４様態において、本願の実施例はコンピュータ可読媒体を提供し、前記コンピュータ可読媒体にコンピュータプログラムが格納され、該プログラムがプロセッサによって実行されると第１の様態の任意の実施例に記載の方法を実現する。 In a fourth aspect, embodiments of the present application provide a computer-readable medium, wherein a computer program is stored on the computer-readable medium, the method according to any embodiment of the first aspect when the program is executed by a processor. Realize

第５様態において、本願の実施例はコンピュータプログラムを提供し、前記コンピュータプログラムがプロセッサによって実行されると、第１の様態の任意の実施例に記載の方法を実現する。 In a fifth aspect, embodiments of the present application provide a computer program which, when executed by a processor, implements the method according to any embodiment of the first aspect.

本願の上記実施例による対象をラベリングするための方法及び装置は、まず、目標対象を含むラベリング対象画像を取得することができる。そして、予めトレーニングされた第１の検出モデル及びラベリング対象画像に基づいて目標対象の位置情報を決定する。そして、位置情報及び所定のラベリングフレームサイズセットに基づいて目標対象をラベリングするラベリングフレームのサイズを決定する。最後、決定したサイズに基づいてラベリングフレームを用いて目標対象をラベリングする。本実施例の方法は、所定のラベリングフレームサイズセットから適応するラベリングフレームを選択して、且つ上記ラベリングフレームで目標対象をラベリングし、これにより手動でラベリングフレームを調整する必要がなく、手動による作業の負荷が軽減される。 A method and apparatus for labeling an object according to the above embodiments of the present application may first acquire a labeling object image containing the target object. Then, position information of the target object is determined based on the pre-trained first detection model and the labeling object image. Then, determining the size of the labeling frame for labeling the target object based on the location information and the predetermined labeling frame size set. Finally, the target object is labeled using the labeling frame based on the determined size. The method of this embodiment selects a suitable labeling frame from a predetermined labeling frame size set, and labels the target object with the labeling frame, thereby eliminating the need for manual adjustment of the labeling frame and manual work. load is reduced.

以下の図面を参照しながら作った非限定的な実施例に対する詳細な説明を読むことにより、本願の他の特徴、目的及び利点がより明らかになる。
本願の１つの実施例を応用することができる例示的なシステムアーキテクチャ図である。 本願による対象をラベリングするための方法の１つの実施例のフローチャートである。 本願による対象をラベリングするための方法の１つの応用シーンの模式図である。 本願による対象をラベリングするための方法の他の実施例のフローチャートである。 本願による対象をラベリングするための装置の１つの実施例の構成模式図である。 本願の実施例を実現するための電子機器に適用されるコンピュータシステムの構成模式図である。 Other features, objects and advantages of the present application will become more apparent upon reading the detailed description of the non-limiting embodiments made with reference to the following drawings.
1 is an exemplary system architecture diagram in which one embodiment of the present application may be applied; FIG. 1 is a flow chart of one embodiment of a method for labeling an object according to the present application; 1 is a schematic diagram of one application scene of the method for labeling an object according to the present application; FIG. FIG. 4 is a flowchart of another embodiment of a method for labeling objects according to the present application; FIG. 1 is a structural schematic diagram of one embodiment of an apparatus for labeling an object according to the present application; FIG. 1 is a configuration schematic diagram of a computer system applied to an electronic device for realizing an embodiment of the present application; FIG.

以下、図面と実施例を組み合わせて本願を更に詳しく説明する。なお、ここで述べた具体的な実施例は関連発明を解釈するためのものにすぎず、該発明を限定するためのものではないことを理解すべきである。また、説明する必要なものとして、説明の便宜上、図面においては発明に関連する部分のみを示している。 Hereinafter, the present application will be described in more detail in combination with drawings and examples. It should be understood that the specific examples described herein are for the purpose of interpreting the related invention only, and are not intended to limit the same. For convenience of explanation, only the parts related to the invention are shown in the drawings.

なお、矛盾しない限り、本願における実施例及び実施例における特徴を相互に組み合わせることができる。以下、図面を参照しながら実施例を組み合わせて本願を詳細に説明する。 It should be noted that, as long as there is no contradiction, the embodiments in the present application and the features in the embodiments can be combined with each other. Hereinafter, the present application will be described in detail by combining embodiments with reference to the drawings.

図１は本願による対象をラベリングするための方法又は対象をラベリングするための装置の実施例を応用することができる例示的なシステムアーキテクチャ１００を示す。 FIG. 1 shows an exemplary system architecture 100 to which embodiments of methods for labeling objects or apparatus for labeling objects according to the present application can be applied.

図１に示すように、システムアーキテクチャ１００は、端末機器１０１、１０２、１０３、ネットワーク１０４及びサーバ１０５を含んでも良い。ネットワーク１０４は端末機器１０１、１０２、１０３とサーバ１０５との間に通信リンクを提供するための媒介である。ネットワーク１０４は各種の接続タイプ、例えば有線、無線通信リンク又は光ファイバケーブル等を含んでも良い。 As shown in FIG. 1, system architecture 100 may include terminals 101 , 102 , 103 , network 104 and server 105 . Network 104 is an intermediary for providing communication links between terminal devices 101 , 102 , 103 and server 105 . Network 104 may include various connection types, such as wired, wireless communication links, or fiber optic cables.

ユーザは、端末機器１０１、１０２、１０３を用いてネットワーク１０４を介してサーバ１０５とインタラクティブすることにより、メッセージ等を送受信することができる。端末機器１０１、１０２、１０３は画像を採集するためにカメラと接続することができる。端末機器１０１、１０２、１０３には各種の通信クライアントアプリケーション、例えば画像ブラウジング類アプリケーション、アダプティブブラウジング類アプリケーション、ウェブページブラウザ類アプリケーション、ショッピング類アプリケーション、検索類アプリケーション、インスタントメッセージングツール、電子メールクライアント、ソーシャルプラットフォームソフトウェア等がインストールされることができる。 Users can send and receive messages and the like by interacting with the server 105 via the network 104 using the terminal devices 101 , 102 , 103 . Terminals 101, 102, 103 can be connected to cameras to capture images. Various communication client applications such as image browsing applications, adaptive browsing applications, web page browser applications, shopping applications, search applications, instant messaging tools, e-mail clients, social platforms, etc. Software etc. can be installed.

端末機器１０１、１０２、１０３はハードウェアであってもよく、ソフトウェアであってもよい。端末機器１０１、１０２、１０３がハードウェアである場合は、表示画面を有する各種の電子機器であってもよく、スマートフォン、スマートリアビューミラー、スマートドライビングレコーダ、タブレット、ラップトップ、及びデスクトップコンピュータ等を含むが、これらに限定されない。端末機器１０１、１０２、１０３がソフトウェアである場合、上に挙げた電子機器にインストールをすることができる。複数のソフトウェア又はソフトウェアモジュール（例えば分散型サービスを提供するためのもの）として実装されてもよいし、単一のソフトウェア又はソフトウェアモジュールとして実装されても良い。ここでは具体的に限定しない。 The terminal devices 101, 102 and 103 may be hardware or software. When the terminal devices 101, 102, 103 are hardware, they may be various electronic devices with display screens, including smart phones, smart rear view mirrors, smart driving recorders, tablets, laptops, desktop computers, etc. but not limited to these. If the terminal devices 101, 102, 103 are software, they can be installed in the electronic devices listed above. It may be implemented as multiple pieces of software or software modules (eg, for providing distributed services) or as a single piece of software or software module. It is not specifically limited here.

サーバ１０５は各種のサービスを提供するサーバ、例えば端末機器１０１、１０２、１０３において採集された画像にサポートを提供するバックエンドサーバであっても良い。バックエンドサーバは、取得したラベリング対象画像等のデータに対して分析等の処理を行い、処理結果（例えば画像のラベリング結果）を端末機器１０１、１０２、１０３にフィードバックすることができる。 Server 105 may be a server that provides various services, such as a back-end server that provides support for images collected at terminals 101 , 102 , 103 . The back-end server can perform processing such as analysis on the acquired data such as the image to be labeled, and feed back the processing result (for example, the image labeling result) to the terminal devices 101 , 102 , and 103 .

なお、サーバはハードウェアであってもよく、ソフトウェアであってもよい。サーバは、ハードウェアである場合、複数のサーバからなる分散型サーバクラスタとして実現されてもよく、単一のサーバとして実現されてもよい。サーバがソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール（例えば分散型サービスを提供するためのものである）として実装されてもよく、単一のソフトウェア又はソフトウェアモジュールとして実装されてもよい。ここでは具体的に限定しない。 Note that the server may be hardware or software. If the server is hardware, it may be implemented as a distributed server cluster of multiple servers, or it may be implemented as a single server. If the server is software, it may be implemented as multiple software or software modules (eg, for providing distributed services) or as a single software or software module. It is not specifically limited here.

また、本願の実施例による対象をラベリングするための方法は一般的にサーバ１０５によって実行され、対応して、対象をラベリングするための装置は一般的にサーバ１０５に設けられる。 Also, the method for labeling objects according to embodiments of the present application is typically performed by the server 105 and correspondingly the apparatus for labeling objects is typically provided on the server 105 .

図１における端末機器、ネットワーク及びサーバの数は単なる例示的なものであることを理解すべきである。実際の必要に応じて、任意の数の端末機器、ネットワーク及びサーバを有しても良い。 It should be understood that the numbers of terminal equipment, networks and servers in FIG. 1 are merely exemplary. It may have any number of terminal devices, networks and servers according to actual needs.

続いて図２を参照して、図２は本願による対象をラベリングするための方法の一の実施例のプロセス２００を示す。本実施例の対象をラベリングするための方法は、以下のステップを含む。
ステップ２０１において、ラベリング対象画像を取得する。 With continued reference to FIG. 2, FIG. 2 illustrates a process 200 of one embodiment of a method for labeling objects according to the present application. The method for labeling an object of this example includes the following steps.
At step 201, an image to be labeled is acquired.

本実施例において、対象をラベリングするための方法の実行主体（例えば図１に示すサーバ１０５）は有線接続方式又は無線接続方式によりラベリング対象画像を取得することができる。上記ラベリング対象画像は車両に取り付けられた画像採集装置によって採集された画像であってもよい。上記ラベリング対象画像が目標対象を含み、目標対象は歩行者、車両等を含んでも良い。 In this embodiment, the entity executing the method for labeling the object (for example, the server 105 shown in FIG. 1) can acquire the labeling object image through a wired connection method or a wireless connection method. The image to be labeled may be an image acquired by an image acquisition device attached to the vehicle. The image to be labeled includes a target object, and the target object may include a pedestrian, a vehicle, or the like.

ステップ２０２において、予めトレーニングされた第１の検出モデル及びラベリング対象画像に基づいて目標対象の位置情報を決定する。 In step 202, the location information of the target object is determined based on the pre-trained first detection model and the labeling object image.

本実施例において、実行主体はラベリング対象画像を取得した後、予めトレーニングされた第１の検出モデルを用いて、目標対象の位置情報を決定することができる。上記第１の検出モデルは、ラベリング対象画像における目標対象を認識することができ、また、例えばディープニューラルネットワーク、畳み込みニューラルネットワークのような各種の深層学習アルゴリズムであってもよく、各種のニューラルネットワークの組み合わせ等であっても良い。第１の検出モデルは、複数の畳み込み層を含んでも良く、上記第１の検出モデルを動かすにはハードウェアに対する要求が高い。第１の検出モデルは公開の歩行者データによってトレーニングして得ることができる。 In this embodiment, after obtaining the image to be labeled, the agent can use the pre-trained first detection model to determine the location information of the target object. The first detection model can recognize the target object in the labeling target image, and may be various deep learning algorithms such as a deep neural network and a convolutional neural network. A combination or the like may be used. The first detection model may include multiple convolutional layers and is hardware demanding to run the first detection model. A first detection model can be obtained by training with public pedestrian data.

実行主体は上記ラベリング対象画像を上記第１の検出モデルに入力して、目標対象の位置情報を得ることができる。上記位置情報は目標対象の中心、フレーム等の情報を含んでも良い。 The execution subject can input the labeling target image into the first detection model to obtain the position information of the target target. The location information may include information such as the center of the target object, the frame, and the like.

ステップ２０３において、位置情報及び所定のラベリングフレームサイズセットに基づいて目標対象をラベリングするラベリングフレームのサイズを決定する。 In step 203, determine the size of the labeling frame for labeling the target object based on the location information and the predetermined labeling frame size set.

実行主体は目標対象の位置情報を決定した後、所定のラベリングフレームサイズセットを組み合わせて、目標対象に適応するラベリングフレームのサイズを決定することができる。上記ラベリングフレームサイズセットには複数のラベリングフレームサイズが含まれ、上記複数のラベリングフレームサイズは従来のラベリング画像における目標対象のラベリングフレームのサイズである。このように、適応により得られたラベリングフレームのサイズはユーザによって設定されたラベリングフレームのサイズに比較的に近いので、再び手動で調整する必要がない。 After determining the location information of the target object, the performing entity can combine a predetermined set of labeling frame sizes to determine the size of the labeling frame adapted to the target object. The labeling frame size set includes a plurality of labeling frame sizes, wherein the plurality of labeling frame sizes is the size of the labeling frame of the target object in the conventional labeling image. In this way, the size of the labeling frame obtained by adaptation is relatively close to the size of the labeling frame set by the user, so there is no need to manually adjust it again.

本実施例の幾つかの選択可能な実現形態において、上記ラベリングフレームサイズセットが図２に示されていない以下のステップによって実現することができる。ラベリングフレームのサイズを含むラベリングフレーム情報を取得し、ラベリングフレームのサイズをクラスター化し、ラベリングフレームサイズセットを得る。 In some alternative implementations of this embodiment, the above labeling frame size set can be implemented by the following steps not shown in FIG. Obtaining labeling frame information including the size of the labeling frames, clustering the sizes of the labeling frames, and obtaining a labeling frame size set.

本実現形態において、実行主体はラベリングフレーム情報を取得することができる。上記ラベリングフレーム情報は手動でラベリングしたものであってもよい。実行主体はまず公開されたラベリングデータを取得し、上記ラベリングデータから各ラベリングフレーム情報を決定することができる。上記ラベリングフレームの情報はラベリングフレームのサイズ、位置等の情報を含む。実行主体は各ラベリングフレームのサイズをクラスター化して、複数のラベリングフレームサイズを得ることができる。具体的には、実行主体は従来のクラスター化アルゴリズムを用いて各ラベリングフレームのサイズをクラスター化することができ、例えばＤＢＳＣＡＮ（Ｄｅｎｓｉｔｙ－Ｂａｓｅｄ Ｓｐａｔｉａｌ Ｃｌｕｓｔｅｒｉｎｇ ｏｆ Ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ Ｎｏｉｓｅ、密度ベースのクラスター化アルゴリズム）が挙げられる。 In this mode of implementation, the execution subject can obtain the labeling frame information. The labeling frame information may be manually labeled. The execution subject can first obtain the published labeling data and determine each labeling frame information from the labeling data. The labeling frame information includes information such as the size and position of the labeling frame. An actor can cluster the size of each labeling frame to obtain multiple labeling frame sizes. Specifically, the actor can cluster the size of each labeling frame using a conventional clustering algorithm, such as DBSCAN (Density-Based Spatial Clustering of Applications with Noise). mentioned.

ステップ２０４において、決定したサイズによって、ラベリングフレームを用いて目標対象をラベリングする。 At step 204, the labeling frame is used to label the target object according to the determined size.

実行主体は適応目標対象のサイズを決定した後、ラベリングフレームを用いて目標対象をラベリングすることができる。なお、ラベリングフレームのサイズは適応して得られたラベリングフレームのサイズである。 After determining the size of the adaptive target object, the agent can label the target object using the labeling frame. Note that the size of the labeling frame is the size of the labeling frame obtained by adaptation.

続いて図３を参照して、図３は本実施例による対象をラベリングするための方法の１つの応用シーンの模式図である。図３の応用シーンにおいて、車両３０１に取り付けられたドライビングレコーダは運転環境での複数の画像を採集した。且つ上記画像をサーバ３０２にアップロードし、サーバ３０２には予めトレーニングされた第１の検出モデルが設けられている。サーバ３０２は複数の画像を第１の検出モデルに入力し、各画像に含まれた歩行者の位置情報を決定する。そして、歩行者に適応するラベリングフレームのサイズを決定する。最後、ラベリングフレームで歩行者をラベリングする。サーバ３０２はラベリングした画像をさらに端末機器３０３に出力してもよい。上記端末機器３０３はラベリングをする者が使用する端末であってもよく、ラベリングをする者がラベリング後の画像を更にチェックし、歩行者のラベリングフレームを調整する必要があるかどうかを確認することができる。 Continuing to refer to FIG. 3, FIG. 3 is a schematic diagram of one application scene of the method for labeling an object according to this embodiment. In the application scene of FIG. 3, a driving recorder attached to a vehicle 301 has collected multiple images of the driving environment. and uploading the image to a server 302, where the server 302 is provided with a pre-trained first detection model. Server 302 inputs a plurality of images into the first detection model and determines location information of pedestrians contained in each image. Then, the size of the labeling frame that accommodates the pedestrian is determined. Finally, the pedestrian is labeled with the labeling frame. The server 302 may further output the labeled image to the terminal device 303 . The terminal device 303 can be a terminal used by the labeler, and the labeler can further check the image after labeling to confirm whether the pedestrian's labeling frame needs to be adjusted. can be done.

本願の上記実施例による対象をラベリングするための方法は、まず、目標対象を含むラベリング対象画像を取得することができる。そして、予めトレーニングされた第１の検出モデル及びラベリング対象画像に基づいて目標対象の位置情報を決定することができる。そして、位置情報及び所定のラベリングフレームサイズセットに基づいて目標対象をラベリングするラベリングフレームのサイズを決定することができる。最後、決定したサイズに基づいてラベリングフレームを用いて目標対象をラベリングすることができる。本実施例の方法は、所定のラベリングフレームサイズセットから適応するラベリングフレームを選択して、上記ラベリングフレームを用いて目標対象をラベリングすることができ、これにより手動でラベリングフレームを調整する必要がなく、手動による作業の負荷が軽減される。 A method for labeling an object according to the above embodiments of the present application may first acquire a labeling object image that includes a target object. Location information of the target object can then be determined based on the pre-trained first detection model and the image to be labeled. Then, the size of the labeling frame for labeling the target object can be determined based on the location information and the predetermined labeling frame size set. Finally, the target object can be labeled using the labeling frame based on the determined size. The method of the present embodiment can select an adaptive labeling frame from a predetermined labeling frame size set and label the target object using the labeling frame, thereby eliminating the need to manually adjust the labeling frame. , the burden of manual work is reduced.

続いて図４を参照して、図４は本願による対象をラベリングするための方法の他の実施例のプロセス４００を示す。図４に示すように、本実施例の対象をラベリングするための方法は以下のステップを含んでも良い。 With continued reference to FIG. 4, FIG. 4 illustrates a process 400 of another embodiment of a method for labeling objects according to the present application. As shown in FIG. 4, the method for labeling objects of this embodiment may include the following steps.

ステップ４０１において、ラベリング対象画像を取得する。 At step 401, an image to be labeled is acquired.

ステップ４０２において、予めトレーニングされた第１の検出モデル及びラベリング対象画像に基づいて目標対象の位置情報を決定する。 At step 402, the location information of the target object is determined based on the pre-trained first detection model and the labeling object image.

ステップ４０３において、位置情報及び所定のラベリングフレームサイズセットに基づいて目標対象に適応するラベリングフレームのサイズを決定する。 In step 403, determine the size of the labeling frame adapted to the target object based on the location information and the predetermined labeling frame size set.

ステップ４０４において、決定したサイズに基づいてラベリングフレームを用いて目標対象をラベリングする。 At step 404, the target object is labeled with a labeling frame based on the determined size.

ステップ４０５において、ラベリング対象画像の非ラベリング領域を取得する。 At step 405, the non-labeled region of the image to be labeled is obtained.

本実施例において、実行主体はさらにラベリング対象画像の非ラベリング領域を取得することができる。上記非ラベリング領域はぼやけて不明瞭な目標対象を含んでも良く、又は目標対象を含まなくても良い。対応して、ラベリング対象画像において非ラベリング領域外の領域がラベリング領域と呼んでもよいことを除き、ラベリング領域はラベリング対象である複数の目標対象を含み、実行主体はラベリングをする者からラベリング対象画像のラベリング領域を取得することができる。ラベリングをする人間がラベリングした画像を取得した後、上記画像からラベリング領域を選択することができる。且つラベリング領域を選定した後の画像を実行主体に送信する。ラベリング領域以外の部分が非ラベリング領域である。 In this embodiment, the execution subject can also obtain the non-labeling region of the image to be labeled. The non-labeling region may contain a blurry obscure target object or may contain no target object. Correspondingly, the labeling region contains a plurality of target objects to be labeled, except that the region outside the non-labeling region in the labeling target image may be called the labeling region, and the performing subject is the labeling target image from the labeler. labeling area can be obtained. After the labeling person has obtained the labeled image, a labeling region can be selected from the image. And the image after selecting the labeling area is sent to the execution subject. A portion other than the labeling region is a non-labeling region.

本実施例の幾つかの選択可能な実現形態において、実行主体は図４に示されない以下のステップで非ラベリング領域を決定することができる。ラベリングフレームに基づいてラベリング領域を決定し、ラベリング領域に基づいて非ラベリング領域を決定する。 In some alternative implementations of this embodiment, the performing entity can determine the non-labeling regions in the following steps not shown in FIG. A labeling region is determined based on the labeling frame, and a non-labeling region is determined based on the labeling region.

本実現形態において、実行主体は各ラベリングフレームを囲むことができる包囲フレームを決定することができる。且つ包囲フレームにおける領域をラベリング領域とし、包囲フレーム以外の領域を非ラベリング領域とすることができる。 In this implementation, the actor can determine the enclosing frame that can enclose each labeling frame. Also, the area in the enclosing frame can be the labeling area, and the area outside the enclosing frame can be the non-labeling area.

ステップ４０６において、非ラベリング領域においてモザイクを生成する。 At step 406, a mosaic is generated in the non-labeled regions.

本実施例において、非ラベリング領域を決定した後、実行主体は非ラベリング領域においてモザイクを生成することができる。具体的には、実行主体は非ラベリング領域のピクセルをブロック単位で位置をシャッフルすることができ、このように非ラベリング領域は周囲のピクセルと比べて特に目立つことにはならない。このようにすると、画像がよりきれいになり、トレーニング効果がより良くなる。 In this embodiment, after determining the non-labeling regions, the performing entity can generate a mosaic in the non-labeling regions. Specifically, the agent can shuffle the positions of the pixels in the non-labeling regions by blocks, such that the non-labeling regions are not particularly noticeable compared to the surrounding pixels. This way, the image will be cleaner and the training effect will be better.

ステップ４０７において、モザイクが生成された後の画像に基づいて、トレーニングサンプルを決定する。 At step 407, training samples are determined based on the images after the mosaic has been generated.

実行主体はモザイクを生成した画像をトレーニングサンプルとすることができる。レーニングサンプルの数が所定数に達した後、複数のトレーニングサンプルを用いてモデルをトレーニングすることができる。 The actor can use the mosaicked images as training samples. After the number of training samples reaches a predetermined number, multiple training samples can be used to train the model.

ステップ４０８において、トレーニングサンプルにおいてモザイクが含まれる画像を入力とし、ラベリングフレームを期待出力とし、第２の検出モデルを得る。 At step 408, taking the images with mosaics in the training samples as input and the labeling frames as the expected output, a second detection model is obtained.

本実施例において、実行主体はトレーニングサンプルにおいてモザイクを含むがラベリングフレームを含まない画像をモデルの入力とし、ラベリングフレームをモデルの期待出力とし、第２の検出モデルを得ることができる。好ましくは、上記第２の検出モデルに含まれる畳み込み層の数が少なくて、計算量が少なく、このようにすると、トレーニング後の第２の検出モデルはハードウェアの条件が悪い移動端に設置されてもよく、例えばスマートバックミラーに設け、歩行者の迅速な検出を実現する。 In this embodiment, the actor can take the images that contain the mosaic but not the labeling frames in the training samples as the input of the model and the labeling frames as the expected output of the model to obtain a second detection model. Preferably, the number of convolutional layers included in the second detection model is small, and the computational complexity is small, so that the second detection model after training is placed at the moving edge with poor hardware conditions. It may also be provided, for example, in smart rearview mirrors to achieve rapid detection of pedestrians.

本願の上記実施例による対象をラベリングするための方法は、品質がよいラベリング画像を得ることができ、且つトレーニングして第２の検出モデルを生成し、深層学習アルゴリズムの実現に有利である。 The method for labeling an object according to the above embodiments of the present application can obtain labeling images with good quality and train to generate the second detection model, which is advantageous for implementing deep learning algorithms.

さらに図５を参照して、上記各図に示す方法に対する実現として、本願は対象をラベリングするための装置の１つの実施例を提供し、該装置実施例は図２に示す方法実施例に対応し、該装置は具体的には各種の電子機器に応用されることができる。 Further referring to FIG. 5, as an implementation for the method shown in the above figures, the present application provides one embodiment of an apparatus for labeling an object, which apparatus embodiment corresponds to the method embodiment shown in FIG. However, the device can be specifically applied to various electronic devices.

図５に示すように、本実施例の対象をラベリングするための装置５００は、画像取得ユニット５０１と、位置決定ユニット５０２と、サイズ決定ユニット５０３と、対象ラベリングユニット５０４とを含む。 As shown in FIG. 5, the apparatus 500 for labeling an object of this embodiment includes an image acquisition unit 501 , a positioning unit 502 , a size determination unit 503 and an object labeling unit 504 .

画像取得ユニット５０１は、目標対象を含むラベリング対象画像を取得するように構成される。 The image acquisition unit 501 is configured to acquire a labeling object image containing the target object.

位置決定ユニット５０２は、予めトレーニングされた第１の検出モデル及びラベリング対象画像に基づいて目標対象の位置情報を決定するように構成される。 The position determination unit 502 is configured to determine position information of the target object based on the pre-trained first detection model and the labeling object image.

サイズ決定ユニット５０３は、位置情報及び所定のラベリングフレームサイズセットに基づいて目標対象に適応するラベリングフレームのサイズを決定するように構成される。 The size determining unit 503 is configured to determine the size of the labeling frame adapted to the target object based on the position information and the predefined labeling frame size set.

対象ラベリングユニット５０４は、決定したサイズに基づいてラベリングフレームを用いて目標対象をラベリングするように構成される。 The object labeling unit 504 is configured to label the target object with a labeling frame based on the determined size.

本実施例の幾つかの選択可能な実現形態において、装置５００は、ラベリング対象画像の非ラベリング領域を取得し、非ラベリング領域においてモザイクを生成するように構成される、図５に示されていない処理装置を更に含んでも良い。 In some alternative implementations of this embodiment, the device 500 is configured to obtain non-labeling regions of the image to be labeled and generate a mosaic in the non-labeling regions, not shown in FIG. A processor may also be included.

本実施例の幾つかの選択可能な実現形態において、装置５００は、ラベリング対象画像の非ラベリング領域を取得し、非ラベリング領域においてモザイクを生成するように構成される、図５に示されていないトレーニングユニットを更に含んでも良い。 In some alternative implementations of this embodiment, the device 500 is configured to obtain non-labeling regions of the image to be labeled and generate a mosaic in the non-labeling regions, not shown in FIG. A training unit may also be included.

本実施例の幾つかの選択可能な実現形態において、装置５００は、ラベリングフレームのサイズを含むラベリングフレーム情報を取得し、ラベリングフレームのサイズに対してクラスター化を行い、ラベリングフレームサイズセットを得るように構成される、図５に示されていないサイズセット決定ユニットを更に含んでも良い。 In some alternative implementations of this embodiment, the apparatus 500 obtains labeling frame information including the size of the labeling frame, performs clustering on the size of the labeling frame, and obtains a set of labeling frame sizes. may further include a size set determination unit, not shown in FIG.

本実施例の幾つかの選択可能な実現形態において、サイズセット決定ユニットは、さらに、ラベリングフレームに基づいてラベリング領域を決定し、ラベリング領域に基づいて非ラベリング領域を決定するように構成される。 In some alternative implementations of this embodiment, the size set determination unit is further configured to determine the labeling region based on the labeling frame and the non-labeling region based on the labeling region.

対象をラベリングするための装置５００に記載のユニット５０１～ユニット５０４はそれぞれ図２に説明する方法における各ステップに対応することを理解すべきものである。これによって、以上の対象をラベリングするための方法に対して説明する動作及び特徴が同様に装置５００及びその含まれたユニットに同様に適用でき、ここでは繰り返して説明はしない。 It should be understood that the units 501 to 504 described in the apparatus 500 for labeling objects correspond to the steps in the method illustrated in FIG. Accordingly, the operations and features described for the method for labeling objects above are similarly applicable to apparatus 500 and its included units, and will not be described again here.

以下、図６を参照して、図６は本開示の実施例を実現するための電子機器（例えば図１におけるサーバ又は端末機器）６００に適用される構成模式図を示す。図６に示す電子機器は１つの例示にすぎず、本開示の実施例の機能及び使用範囲に対して制限をもたらすものではない。 Referring now to FIG. 6, FIG. 6 shows a schematic configuration diagram applied to an electronic device (eg, server or terminal device in FIG. 1) 600 for realizing an embodiment of the present disclosure. The electronic device shown in FIG. 6 is merely an example and does not pose a limitation on the functionality and scope of use of the embodiments of the present disclosure.

図６に示すように、電子機器６００は、読み取り専用メモリ（ＲＯＭ）６０２に記憶されたプログラム又は記憶装置６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムによって各種の適当な動作及び処理を実行する処理装置（例えば中央プロセッサ、グラフィックプロセッサ等）６０１を含んでも良い。ＲＡＭ６０３において、さらに電子機器６００の操作に必要な各種のプログラムとデータが記憶される。処理装置６０１、ＲＯＭ６０２及びＲＡＭ６０３はバス６０４によって互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続される。 As shown in FIG. 6, electronic device 600 performs various suitable operations and processes by means of programs stored in read only memory (ROM) 602 or programs loaded into random access memory (RAM) 603 from storage device 608 . An executing processing unit (eg, central processor, graphics processor, etc.) 601 may be included. Various programs and data necessary for operating the electronic device 600 are also stored in the RAM 603 . Processing unit 601 , ROM 602 and RAM 603 are connected together by bus 604 . Input/output (I/O) interface 605 is also connected to bus 604 .

通常、例えばタッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープ等を含む入力装置６０６、例えば液晶ディスプレイ（ＬＣＤ）、スピーカー、バイブレーター等を含む出力装置６０７、例えばテープ、ハードディスク等を含む記憶装置６０８、及び通信装置６０９は、Ｉ／Ｏインターフェース６０５に接続されてもよい。通信装置６０９は電子機器６００が他の機器と無線又は有線通信することによってデータを交換することを許可することができる。図６には各種の装置を有する電子機器６００を示すが、理解すべきものとして、すべての示された装置を実施又は具備することを要求しない。代替可能により多いか又はより少ない装置を実施又は具備する。図６に示された各ボックスは１つの装置を代表してもよいし、必要に応じて複数の装置を代表してもよい。 Typically, input devices 606 including, for example, touch screens, touch pads, keyboards, mice, cameras, microphones, accelerometers, gyroscopes, etc., and output devices 607, including, for example, liquid crystal displays (LCDs), speakers, vibrators, etc., such as tapes, hard disks. Storage devices 608 , including, for example, and communication devices 609 may be connected to I/O interfaces 605 . Communication device 609 may allow electronic device 600 to exchange data with other devices through wireless or wired communication. Although FIG. 6 shows electronic device 600 with various devices, it should be understood that it does not require that all of the devices shown be implemented or include it. Alternately implement or include more or fewer devices. Each box shown in FIG. 6 may represent one device, or multiple devices as desired.

特に、本開示の実施例によれば、以上にフローチャートに記載の過程はコンピュータソフトウェアプログラムに実現されることができる。例えば、本開示の実施例は、コンピュータ可読媒体に載せられたコンピュータプログラムを含むコンピュータプログラム製品を含み、該コンピュータプログラムはフローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは通信装置６０９によってネットワークからダウンロードしてインストールされ、又は記憶装置６０８からインストールされ、又はＲＯＭ６０２からインストールされる。該コンピュータプログラムは処理装置６０１によって実行されるとき、本開示の実施例の方法に限定された上記機能を実行する。説明する必要なものとして、本開示の実施例に記載のコンピュータ可読媒体はコンピュータ可読信号媒体又はコンピュータ可読記憶媒体又は上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は例えば電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置又はデバイス、又は任意の以上の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例は、１つ又は複数のワイヤーを有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光ストレージ コンポーネント、磁気ストレージデバイス、または上記の任意の適切な組み合わせを含んでも良いが、これに限定されない。本開示の実施例において、コンピュータ可読記憶媒体は任意のプログラムを含有又は記憶する有形媒体であってもよく、該プログラムは命令実行システム、装置又はデバイスで使用されるか又はそれと組み合わせて使用されても良い。本開示の実施例において、コンピュータ可読信号媒体はベースバンドに含まれても良いか又はキャリアウェーブの一部として伝送する、コンピュータ可読プログラムコードが載せられたデータ信号であってもよい。このような伝送するデータ信号は多種の形式を利用することができ、電磁信号、光信号又は上記の任意の適当な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体はさらにコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、該コンピュータ可読信号媒体は、命令実行システム、装置又はデバイスで使用されるか又はそれと組み合わせて使用するプログラムを送信、伝送又は輸送することができる。コンピュータ可読媒体に含まれるプログラムコードは任意の適当な媒体で輸送されることができ、ワイヤー、光ケーブル、ＲＦ（無線周波数）など、又は上記の任意の適合な組み合わせを含むが、これらに限定されない。 In particular, according to embodiments of the present disclosure, the processes described in the flowcharts above can be implemented in computer software programs. For example, an embodiment of the present disclosure includes a computer program product comprising a computer program borne on a computer readable medium, the computer program including program code for performing the methods illustrated in the flowcharts. In such embodiments, the computer program may be downloaded and installed from a network by communication device 609 , installed from storage device 608 , or installed from ROM 602 . The computer program, when executed by the processing unit 601, performs the functions described above limited to the methods of the embodiments of the present disclosure. By way of clarification, the computer-readable medium described in the embodiments of this disclosure may be a computer-readable signal medium or a computer-readable storage medium or any combination of the two. A computer readable storage medium may be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus or device, or a combination of any of the foregoing. More specific examples of computer readable storage media are electrical connections having one or more wires, portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable May include, but is not limited to, read-only memory (EPROM or flash memory), optical fiber, portable compact disc read-only memory (CD-ROM), optical storage components, magnetic storage devices, or any suitable combination of the foregoing not. In embodiments of the present disclosure, a computer-readable storage medium may be a tangible medium containing or storing any program that is used in or in combination with an instruction execution system, apparatus or device. Also good. In an embodiment of the present disclosure, the computer readable signal medium may be a data signal carrying computer readable program code embodied in baseband or transmitted as part of a carrier wave. Such transmitted data signals may take many forms including, but not limited to, electromagnetic signals, optical signals, or any suitable combination of the foregoing. The computer-readable signal medium may also be any computer-readable medium other than a computer-readable storage medium that stores a program for use with or in combination with an instruction execution system, apparatus or device. Can be sent, transmitted or transported. Program code contained on a computer readable medium may be transported on any suitable medium including, but not limited to, wires, optical cables, RF (radio frequency), etc., or any suitable combination of the above.

上記コンピュータ可読媒体は、上記電子機器に含まれるものであってもよく、単独に存在し、該電子機器に実装されなくてもよい。上記コンピュータ可読媒体には１つの又は複数のプログラムが載せられ、上記１つの又は複数のプログラムが該電子機器で実行されるとき、該電子機器に、目標対象を含むラベリング対象画像を取得させ、予めトレーニングされた第１の検出モデル及びラベリング対象画像に基づいて、目標対象の位置情報を決定させ、位置情報及び所定のラベリングフレームサイズセットによって、目標対象に適応するラベリングフレームのサイズを決定させ、決定したサイズによって、ラベリングフレームを用いて目標対象をラベリングさせる。 The computer-readable medium may be included in the electronic device, or may exist separately and not be implemented in the electronic device. One or more programs are carried on the computer-readable medium, and when the one or more programs are executed on the electronic device, cause the electronic device to acquire a labeling object image including a target object; determining the location information of the target object based on the trained first detection model and the labeling object image; determining the size of the labeling frame adapted to the target object according to the location information and a predetermined labeling frame size set; Label the target object using the labeling frame according to the determined size.

１種又は多種のプログラムデザイン言語又はその組み合わせで本開示の実施形態の操作を実行するためのコンピュータプログラムコードを書き、前記プログラムデザイン言語は、対象に面するプログラムデザイン言語、例えばＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋を含み、従来の手続き型プログラミング言語、例えば「Ｃ」言語又は類似のプログラムデザイン言語をさらに含む。プログラムコードは、完全にユーザコンピュータで実行され、部分的にユーザコンピュータで実行され、１つの独立なソフトウェアパッケージとして実行され、部分的にユーザコンピュータで部分的にリモートコンピュータで実行され、又は完全にリモートコンピュータ又はサーバで実行されてもよい。リモートコンピュータに関する状況において、リモートコンピュータはローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークによってユーザコンピュータに接続されることができ、又は、外部コンピュータ（例えばインターネットサービスプロバイダを用いてインターネットによって接続される）に接続されることができる。 Computer program code for carrying out the operations of the embodiments of the present disclosure may be written in one or more program design languages, or combinations thereof, wherein the program design language is a target-facing program design language, such as Java, Smalltalk, C++. and further includes conventional procedural programming languages, such as the "C" language or similar program design languages. Program code may run entirely on a user computer, partially on a user computer, as a separate software package, partially on a user computer, partially on a remote computer, or entirely remote. It may run on a computer or server. In the context of remote computers, the remote computer can be connected to the user computer by any type of network, including a local area network (LAN) or wide area network (WAN), or can be connected to an external computer (e.g., using an Internet service provider). connected by the Internet).

図面におけるフローチャートとブロック図は、本開示の各種の実施例のシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示す。この点では、フローチャート又はブロック図における各ボックスは１つのモジュール、プログラムセグメント、又はコードの一部を代表することができ、該モジュール、プログラムセグメント、又はコードの一部が１つ又は複数の所定のロジック機能を実現するための実行可能な命令を含む。注意すべきものとして、幾つかの切り替え可能な実現において、ボックスにラベリングした機能も図面にラベリングした順序と異なることが発生することができる。例えば、２つの接続するように示すボックスは実際に基本的に並行して実行でき、それらは関連する機能によっては、逆の順序で実行される場合がある。また、注意する必要があるものとして、ブロック図及び／又はフローチャートにおける各ボックス、及びブロック図及び／又はフローチャートにおけるボックスの組み合わせは、所定の機能又は操作を実行する専用のハードウェアに基づくシステムで実現されることができるか、又は専用のハードウェアとコンピュータ命令との組み合わせで実現されることができる。 The flowcharts and block diagrams in the figures illustrate possible system architectures, functionality, and operation of various embodiments of systems, methods and computer program products of this disclosure. In this regard, each box in a flowchart or block diagram can represent a module, program segment, or portion of code, wherein the module, program segment, or portion of code is one or more predetermined Contains executable instructions to implement logic functions. It should be noted that in some switchable implementations it may occur that the functions labeled in the boxes are also different from the order labeled in the figures. For example, two boxes shown as connecting can actually be executed essentially in parallel, and they may be executed in reverse order depending on the functionality involved. It should also be noted that each box in the block diagrams and/or flowcharts, and combinations of boxes in the block diagrams and/or flowcharts, are implemented in dedicated hardware-based systems that perform the specified functions or operations. or be implemented in a combination of dedicated hardware and computer instructions.

本開示の実施例に関するユニットはソフトウェアの方式によって実現されてもよいし、ハードウェアの方式によって実現されてもよい。記載されたユニットはプロセッサに設置されてもよく、例えば、プロセッサは画像取得ユニット、位置決定ユニット、サイズ決定ユニット及び対象ラベリングユニットを含むと説明することができる。これらのユニットの名称はある状況には該ユニット自体に対する限定を構成しなく、例えば、画像取得ユニットはさらに「ラベリング対象画像のユニットを取得する」と説明されてもよい。 Units relating to the embodiments of the present disclosure may be implemented in a software manner or may be implemented in a hardware manner. The units described may be located in a processor, for example the processor may be described as comprising an image acquisition unit, a position determination unit, a size determination unit and an object labeling unit. The names of these units do not in some circumstances constitute a limitation to the units themselves, for example the image acquisition unit may be further described as "acquiring a unit of an image to be labeled".

以上の説明は単なる本開示の好ましい実施例及び用いた技術原理に対する説明である。当業者は、本開示の実施例に関する発明の範囲は上記技術的特徴の特定の組み合わせによって構成された技術的手段によって限定されないとともに、上記発明の技術的思想から逸脱しない限り、上記技術的特徴又はその均等特徴に対して任意の組み合わせを行って形成された他の技術的手段も含むべきであることを理解すべきである。例えば上記特徴は、本開示の実施例に開示された（ただし、それらに限定されない）類似機能を有する技術的特徴と互いに置き換えて形成された技術的手段である。 The above description is merely that of the preferred embodiment of the present disclosure and the technical principles used. Those skilled in the art will understand that the scope of the invention regarding the embodiments of the present disclosure is not limited by technical means configured by a specific combination of the above technical features, and that the above technical features or It should be understood that other technical measures formed by performing any combination of equivalent features should also be included. For example, the above features are technical means formed by replacing each other with technical features having similar functions disclosed in the embodiments of the present disclosure (but not limited to them).

Claims (9)

対象をラベリングするための方法であって、
目標対象を含むラベリング対象画像を取得するステップと、
予めトレーニングされた第１の検出モデル及び前記ラベリング対象画像に基づいて目標対象の位置情報を決定するステップと、
前記位置情報及び所定のラベリングフレームサイズセットに基づいて前記目標対象に適応するラベリングフレームのサイズを決定するステップと、
決定したサイズに基づいてラベリングフレームを用いて前記目標対象をラベリングするステップと、
前記ラベリング対象画像の非ラベリング領域を取得するステップと、
前記非ラベリング領域でモザイクを生成するステップと、
モザイクが生成された後の画像に基づいて、トレーニングサンプルを決定し、前記トレーニングサンプルにおける画像を入力とし、前記ラベリングフレームを期待出力とし、第２の検出モデルを得るステップと
を含む対象をラベリングするための方法。 A method for labeling an object, comprising:
obtaining a labeling target image including a target target;
determining location information of a target object based on a pre-trained first detection model and the labeling object image;
determining a labeling frame size adapted to the target object based on the location information and a predetermined labeling frame size set;
labeling the target object with a labeling frame based on the determined size;
obtaining a non-labeled region of the image to be labeled;
generating a mosaic in the non-labeling regions;
determining a training sample based on the images after the mosaic is generated, taking the images in the training samples as inputs and the labeling frames as expected outputs to obtain a second detection model;
A method for labeling a subject containing 前記対象をラベリングするための方法は、
ラベリングフレームのサイズを含むラベリングフレーム情報を取得するステップと、
前記ラベリングフレームのサイズをクラスター化し、ラベリングフレームサイズセットを得るステップと、
をさらに含む請求項１に記載の方法。 The method for labeling the object comprises :
obtaining labeling frame information including the size of the labeling frame;
clustering the labeling frame sizes to obtain a labeling frame size set;
2. The method of claim 1, further comprising: 前記ラベリング対象画像の非ラベリング領域を取得するステップは、
前記ラベリングフレームに基づいてラベリング領域を決定するステップと、
前記ラベリング領域に基づいて前記非ラベリング領域を決定するステップと、を含む請求項１に記載の方法。 The step of obtaining a non-labeling region of the labeling target image includes:
determining a labeling region based on the labeling frame;
and determining the non-labeled regions based on the labeled regions. 対象をラベリングするための装置であって、
目標対象を含むラベリング対象画像を取得するように構成される画像取得ユニットと、
予めトレーニングされた第１の検出モデル及び前記ラベリング対象画像に基づいて、目標対象の位置情報を決定するように構成される位置決定ユニットと、
前記位置情報及び所定のラベリングフレームサイズセットに基づいて、前記目標対象に適応するラベリングフレームのサイズを決定するように構成されるサイズ決定ユニットと、
決定したサイズに基づいてラベリングフレームを用いて前記目標対象をラベリングするように構成される対象ラベリングユニットと、
前記ラベリング対象画像の非ラベリング領域を取得し、前記非ラベリング領域でモザイクを生成するように構成される処理装置と、
モザイクが生成された後の画像に基づいて、トレーニングサンプルを決定し、前記トレーニングサンプルにおける画像を入力とし、前記ラベリングフレームを期待出力とし、第２の検出モデルを得るように構成されるトレーニングユニットと
を含む対象をラベリングするための装置。 An apparatus for labeling an object, comprising:
an image acquisition unit configured to acquire a labeling object image including the target object;
a position determination unit configured to determine position information of a target object based on a pre-trained first detection model and the labeling target image;
a sizing unit configured to determine a labeling frame size adapted to the target object based on the location information and a predetermined labeling frame size set;
an object labeling unit configured to label the target object with a labeling frame based on the determined size;
a processing device configured to obtain non-labeled regions of the image to be labeled and generate a mosaic in the non-labeled regions;
a training unit configured to determine a training sample based on the images after the mosaic has been generated, taking the images in the training samples as inputs and the labeling frames as expected outputs to obtain a second detection model;
Apparatus for labeling an object containing 前記対象をラベリングするための装置は、
ラベリングフレームのサイズを含むラベリングフレーム情報を取得し、
前記ラベリングフレームのサイズをクラスター化し、ラベリングフレームサイズセットを得るように構成されるサイズセット決定ユニットを更に含む請求項４に記載の装置。 The device for labeling the object comprises :
Get the labeling frame information, including the size of the labeling frame,
5. The apparatus of claim 4 , further comprising a size set determining unit configured to cluster sizes of the labeling frames to obtain a labeling frame size set. 前記サイズセット決定ユニットは、さらに
前記ラベリングフレームに基づいて、ラベリング領域を決定し、
前記ラベリング領域に基づいて、前記非ラベリング領域を決定するように構成される請求項４に記載の装置。 The size set determination unit further determines a labeling region based on the labeling frame;
5. Apparatus according to claim 4 , configured to determine said non-labeling region based on said labeling region. 電子機器であって、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムが記憶された記憶装置と、を含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに請求項１～３のいずれか１項に記載の方法を実現させる電子機器。 an electronic device,
one or more processors;
a storage device in which one or more programs are stored;
An electronic device that causes the one or more processors to implement the method according to any one of claims 1 to 3 when the one or more programs are executed by the one or more processors. コンピュータプログラムが格納されたコンピュータ可読媒体であって、該プログラムがプロセッサで実行されると請求項１～３のいずれか１項に記載の方法を実現するコンピュータ可読媒体。 A computer readable medium storing a computer program, which, when executed by a processor, implements the method according to any one of claims 1 to 3 . コンピュータプログラムであって、前記プログラムがプロセッサによって実行されると、請求項１～３のいずれか１項に記載の方法を実現するコンピュータプログラム。 A computer program for implementing the method of any one of claims 1 to 3 when said program is executed by a processor.
JP2021053750A 2020-05-18 2021-03-26 Methods and apparatus, electronic devices, computer readable storage media and computer programs for labeling objects Active JP7249372B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010420437.6 2020-05-18
CN202010420437.6A CN111598006B (en) 2020-05-18 2020-05-18 Method and device for labeling objects

Publications (2)

Publication Number Publication Date
JP2021192223A JP2021192223A (en) 2021-12-16
JP7249372B2 true JP7249372B2 (en) 2023-03-30

Family

ID=72189876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021053750A Active JP7249372B2 (en) 2020-05-18 2021-03-26 Methods and apparatus, electronic devices, computer readable storage media and computer programs for labeling objects

Country Status (3)

Country Link
JP (1) JP7249372B2 (en)
KR (1) KR102547527B1 (en)
CN (1) CN111598006B (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381059B (en) * 2020-12-02 2023-02-03 武汉光庭信息技术股份有限公司 Target detection labeling method and device
CN113129375B (en) * 2021-04-21 2023-12-01 阿波罗智联(北京)科技有限公司 Data processing method, device, equipment and storage medium
CN113127058B (en) * 2021-04-28 2024-01-16 北京百度网讯科技有限公司 Data labeling method, related device and computer program product
CN113705565A (en) * 2021-08-10 2021-11-26 北京中星天视科技有限公司 Ship detection method, device, electronic equipment and computer readable medium
CN115731588B (en) * 2021-08-27 2024-07-09 腾讯科技（深圳）有限公司 Model processing method and device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019204374A (en) 2018-05-24 2019-11-28 日本信号株式会社 Object detecting apparatus
CN110874591A (en) 2020-01-20 2020-03-10 广东博智林机器人有限公司 Image positioning method, device, equipment and storage medium
CN110929729A (en) 2020-02-18 2020-03-27 北京海天瑞声科技股份有限公司 Image annotation method, image annotation device and computer storage medium

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501714B2 (en) * 2010-10-29 2016-11-22 Qualcomm Incorporated Systems and methods to improve feature generation in object recognition
US10275689B1 (en) * 2017-12-21 2019-04-30 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
CN108573279A (en) * 2018-03-19 2018-09-25 精锐视觉智能科技（深圳）有限公司 Image labeling method and terminal device
KR102117543B1 (en) * 2018-04-26 2020-06-01 주식회사 슈퍼브에이아이 Computing device and artificial intelligence based image processing service system using the same
CN109409364A (en) * 2018-10-16 2019-03-01 北京百度网讯科技有限公司 Image labeling method and device
CN110176078B (en) * 2019-05-26 2022-06-10 魔门塔(苏州)科技有限公司 Method and device for labeling training set data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019204374A (en) 2018-05-24 2019-11-28 日本信号株式会社 Object detecting apparatus
CN110874591A (en) 2020-01-20 2020-03-10 广东博智林机器人有限公司 Image positioning method, device, equipment and storage medium
CN110929729A (en) 2020-02-18 2020-03-27 北京海天瑞声科技股份有限公司 Image annotation method, image annotation device and computer storage medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黒岩 圭二朗 ほか，動物体検出機能を有するＭｏｔｉｏｎ ＪＰＥＧ画像のスクランブルとその解除，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2008年01月17日，Ｖｏｌ．１０７、Ｎｏ．４３８，ｐ．３７－４２

Also Published As

Publication number Publication date
KR20210058768A (en) 2021-05-24
CN111598006B (en) 2023-05-26
CN111598006A (en) 2020-08-28
JP2021192223A (en) 2021-12-16
KR102547527B1 (en) 2023-06-26

Similar Documents

Publication Publication Date Title
JP7249372B2 (en) Methods and apparatus, electronic devices, computer readable storage media and computer programs for labeling objects
CN108710885B (en) Target object detection method and device
US20210019562A1 (en) Image processing method and apparatus and storage medium
US8953890B2 (en) Usage of visual reader as an input provider in portals
CN110516678B (en) Image processing method and device
CN107392189B (en) Method and device for determining driving behavior of unmanned vehicle
CN110784754A (en) Video display method and device and electronic equipment
CN109377508B (en) Image processing method and device
US20220392202A1 (en) Imaging processing method and apparatus, electronic device, and storage medium
CN109118456B (en) Image processing method and device
CN110991373A (en) Image processing method, image processing apparatus, electronic device, and medium
US11599974B2 (en) Joint rolling shutter correction and image deblurring
CN110858316A (en) Classifying time series image data
CN108257081B (en) Method and device for generating pictures
CN113038176B (en) Video frame extraction method and device and electronic equipment
CN113409188A (en) Image background replacing method, system, electronic equipment and storage medium
CN110852250B (en) Vehicle weight removing method and device based on maximum area method and storage medium
CN110349108B (en) Method, apparatus, electronic device, and storage medium for processing image
US20200097729A1 (en) Method and apparatus for determining target rotation direction, computer readable medium and electronic device
CN114640796B (en) Video processing method, device, electronic equipment and storage medium
CN111737575B (en) Content distribution method, content distribution device, readable medium and electronic equipment
CN112418233B (en) Image processing method and device, readable medium and electronic equipment
CN111382696A (en) Method and apparatus for detecting boundary points of object
CN114419298A (en) Virtual object generation method, device, equipment and storage medium
CN113222050A (en) Image classification method and device, readable medium and electronic equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210913

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230317

R150 Certificate of patent or registration of utility model

Ref document number: 7249372

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150