KR20220030966A - 어노테이션 능력 정보 결정 방법, 장치 및 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램 - Google Patents

어노테이션 능력 정보 결정 방법, 장치 및 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20220030966A
KR20220030966A KR1020220022103A KR20220022103A KR20220030966A KR 20220030966 A KR20220030966 A KR 20220030966A KR 1020220022103 A KR1020220022103 A KR 1020220022103A KR 20220022103 A KR20220022103 A KR 20220022103A KR 20220030966 A KR20220030966 A KR 20220030966A
Authority
KR
South Korea
Prior art keywords
annotation
test
determining
data
time
Prior art date
Application number
KR1020220022103A
Other languages
English (en)
Inventor
수에 양
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20220030966A publication Critical patent/KR20220030966A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)
  • Document Processing Apparatus (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 출원은 어노테이션 능력 정보 결정 방법, 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램을 제공하며, 데이터 어노테이션, 어노테이션 결과 분석 및 어노테이션 태스크 할당 등 기술 분야에 관한 것이다. 해당 방법은 어노테이션될 태스크의 어노테이션 니즈에 의해 테스트 어노테이션 대상을 결정하는 단계와, 어노테이션 니즈 및 미리 설정된 테스트 어노테이션 요구에 의해 테스트 어노테이션 데이터를 결정하는 단계와, 테스트 어노테이션 대상의 속성에 의해 테스트 어노테이션 시간을 결정하고, 테스트 어노테이션 시간 내에 테스트 어노테이션 데이터에 대한 테스트 어노테이션 대상의 어노테이션 결과에 의해, 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정하는 단계를 포함한다. 해당 실시형태는 어노테이션 니즈 및 미리 설정된 테스트 어노테이션 요구를 결합하여 테스트 어노테이션 데이터를 결정함과 동시에, 테스트 어노테이션 대상의 속성에 의해 테스트 어노테이션 시간을 합리적으로 결정함으로써, 어노테이션 비용과 어노테이션 품질과의 균형을 이루고, 이로 인해 어노테이션 능력 정보의 정확도를 향상시킨다.

Description

어노테이션 능력 정보 결정 방법, 장치 및 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램{Method for determining annotation ability information, Apparatus, Electronic Device, Computer readable storage medium and Computer Program}
본 출원은 데이터 처리 기술 분야에 관한 것이며, 구체적으로는 데이터 어노테이션, 어노테이션 결과 분석 및 어노테이션 태스크 할당 등 기술 분야에 관한 것이며, 특히, 어노테이션 능력 정보 결정 방법, 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램에 관한 것이다.
인공지능이 모든 측면에서 발전하고 응용됨에 따라, 데이터에 대한 요구에 부합되는 어노테이션의 니즈량이 전례없이 늘어나고 있다. 데이터 어노테이션은 인공지능 알고리즘을 위해 구조화된 데이터를 제공하는 과정이며, 어노테이션 과정은 일반적으로 데이터 크라우드소싱 또는 에이전트의 방식을 통해, 어노테이션 태스크자에 의해 완성된다. 현재의 자동 어노테이션 모델의 실용성으로는 아직 요구 사항을 만족하지 못하는 상황이다.
따라서, 어노테이션 대상의 어노테이션 능력을 정확하게 결정하는 방법은 당업자들의 연구의 중점으로 되어있다.
본 출원의 실시예는 어노테이션 능력 정보 결정 방법, 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램을 제공한다.
제1 양태에서, 본 출원의 실시예는 어노테이션 능력 정보 결정 방법을 제공하며, 어노테이션될 태스크의 어노테이션 니즈에 의해 테스트 어노테이션 대상을 결정하는 단계와, 어노테이션 니즈 및 미리 설정된 테스트 어노테이션 요구에 의해 테스트 어노테이션 데이터를 결정하는 단계와, 테스트 어노테이션 대상의 속성에 따라 테스트 어노테이션 시간을 결정하고, 테스트 어노테이션 시간 내에 테스트 어노테이션 데이터에 대한 테스트 어노테이션 대상의 어노테이션 결과에 따라, 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정하는 단계를 포함한다.
제2 양태에서, 본 출원의 실시예는 어노테이션 능력 정보 결정 장치를 제공하며, 어노테이션될 태스크의 어노테이션 니즈에 의해 테스트 어노테이션 대상을 결정하도록 구성되는 테스트 어노테이션 대상 결정 유닛과, 어노테이션 니즈 및 미리 설정된 테스트 어노테이션 요구에 의해, 테스트 어노테이션 데이터를 결정하도록 구성되는 테스트 어노테이션 데이터 결정 유닛과, 테스트 어노테이션 대상의 속성에 따라, 테스트 어노테이션 시간을 결정하고, 테스트 어노테이션 시간 내에 테스트 어노테이션 데이터에 대한 테스트 어노테이션 대상의 어노테이션 결과에 따라, 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정하도록 구성되는 테스트 어노테이션 시간 및 어노테이션 능력 정보 결정 유닛을 구비한다.
제3 양태에서, 본 출원의 실시예는 전자 기기를 제공하며, 상기 전자 기기는 적어도 하나의 프로세서와, 적어도 하나의 프로세서와 통신 연결하는 메모리를 구비하고, 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 적어도 하나의 프로세서에 의해 실행될 경우, 적어도 하나의 프로세서가 제1 양태의 임의의 실시형태에 의한 어노테이션 능력 정보 결정 방법을 실행하도록 한다.
제4 양태에서, 본 출원의 실시예는 컴퓨터에 의해 실행될 경우, 제1 양태의 임의의 실시형태에 의한 어노테이션 능력 정보 결정 방법을 구현하기 위한 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 제공한다.
제5 양태에서, 본 출원의 실시예는 프로세서에 의해 실행될 경우, 제1 양태의 임의의 실시형태에 의한 어노테이션 능력 정보 결정 방법을 구현하는 컴퓨터 프로그램을 제공한다.
본 출원의 실시예에 의한 어노테이션 능력 정보 결정 방법은, 어노테이션될 태스크의 어노테이션 니즈에 의해 테스트 어노테이션 대상을 결정하는 단계와, 어노테이션 니즈 및 미리 설정된 테스트 어노테이션 요구에 의해 테스트 어노테이션 데이터를 결정하는 단계와, 테스트 어노테이션 대상의 속성에 따라 테스트 어노테이션 시간을 결정하는 단계와, 테스트 어노테이션 시간 내에 테스트 어노테이션 데이터에 대한 테스트 어노테이션 대상의 어노테이션 결과에 따라, 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정하는 단계를 포함한다.
본 출원은, 어노테이션 니즈에 의해 테스트 어노테이션 대상을 결정하는 기초상에, 어노테이션 니즈 및 미리 설정된 테스트 어노테이션 요구를 결합하여 테스트 어노테이션 데이터를 결정함과 동시에, 테스트 어노테이션 대상의 속성에 따라 테스트 어노테이션 시간을 합리적으로 결정함으로써, 어노테이션 비용 및 어노테이션 품질의 균형을 이룰 수 있고, 이로 인해 어노테이션 능력 정보의 정확도를 향상시킬 수 있다.
본 부분에 설명한 내용은 본 출원의 실시예의 관건적인 특징 또는 중요한 특징을 한정하기 위한 것이 아니며, 본 출원의 범위를 한정하기 위한 것도 아님을 이해해야 할 것이다. 본 출원의 기타 특징은 아래의 설명을 통해 용이하게 이해될 것이다.
첨부 도면을 참조하여 비제한적 실시예의 상세한 설명을 판독함으로써, 본 출원의 기타 특징, 목적 및 장점이 보다 명확해질 것이다.
도 1은 본 출원에 적용 가능한 예시적인 시스템 아키텍처이다.
도 2는 본 출원의 실시예에 따른 어노테이션 능력 정보 결정 방법의 흐름도이다.
도 3은 본 출원의 실시예에 따른 다른 하나의 어노테이션 능력 정보 결정 방법의 흐름도이다.
도 4는 본 출원의 실시예에 따른 테스트 어노테이션 시간 결정 방법의 흐름도이다.
도 5는 본 출원의 실시예에 따른 어노테이션 능력 정보 결정 장치의 구조 블록도이다.
도 6은 본 출원의 실시예에 따른 어노테이션 능력 정보 결정 방법을 실행하기 위한 전자 기기의 구조도이다.
이하, 도면을 결부시켜 본 출원의 시범성 실시예에 대해 설명하기로 한다. 이해를 돕기 위해 본 출원의 실시예들은 각종 상세한 설명을 포함하고, 이들은 단지 시범적인 것으로 간주되어야 한다. 따라서, 당업자들은 본 출원의 범위 및 사상을 일탈하지 않고, 본 출원에 설명된 실시예들에 대하여 각종 변경 및 수정을 할 수 있음을 이해하여야 한다. 동일하게, 명확성 및 간략성을 위해, 이하의 설명에서는 공지된 기능 및 구조의 설명에 대해 생략한다. 또한, 본 출원의 실시예 및 실시예 중의 특징들은 모순되지 않는 한 서로 조합될 수 있음을 설명하고자 한다.
본 출원의 기술수단에 있어서, 관련되는 사용자 개인 정보의 획득, 저장 및 응용 등은 모두 관련 법률법규의 규정에 부합되며, 필요한 기밀유지 조치를 적용하였고 공서양속에 위배되지 않는다.
도 1은 본 출원의 어노테이션 능력 정보 결정 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체의 실시예가 응용될 수 있는 예시적인 시스템 아키텍처(100)를 도시한다.
도 1에 도시한 바와 같이, 시스템 아키텍처(100)는 단말 장치(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말 장치(101, 102, 103) 및 서버(105) 사이에서 통신 링크를 제공하는 매체로 사용된다. 네트워크(104)는 다양한 연결 유형, 예를 들어 유선, 무선 통신 링크 또는 광섬유 케이블 등을 포함할 수 있다.
사용자는 단말 장치(101, 102, 103)를 사용하여 네트워크(104)를 통해 서버(105)와 인터랙션함으로써 메세지 등을 수신하거나 송신할 수 있다. 단말 장치(101, 102, 103) 및 서버(105)에는 양자 간의 정보 통신을 구현하는 다양한 앱이 설치되어 있을 수 있는바, 예를 들어 어노테이션 능력 정보 판정 앱, 어노테이션 데이터 전송 앱, 시험 데이터 준비 앱 등일 수 있다.
단말 장치(101, 102, 103) 및 서버(105)는 하드웨어일 수도 있고 소프트웨어일 수도 있다. 단말 장치(101, 102, 103)가 하드웨어인 경우, 표시 스크린을 가지는 다양한 전자 기기일 수 있는바, 스마트폰, 태블릿 컴퓨터, 휴대형 랩톱 컴퓨터 및 데스크톱 컴퓨터 등을 포함하나 이에 한정되지 않으며, 단말 장치(101, 102, 103)가 소프트웨어인 경우, 앞서 예를 든 전자 기기에 설치할 수 있으며, 복수의 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있고 단일한 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있는바, 여기서는 구체적으로 한정하지 않는다. 서버(105)가 하드웨어인 경우, 복수의 서버로 구성되는 분산 서버 클러스터로 구현될 수도 있고 단일한 서버로 구현될 수도 있으며, 서버가 소프트웨어인 경우, 복수의 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있고 단일한 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있는바, 여기서는 구체적으로 한정하지 않는다.
서버(105)는 내장된 다양한 애플리케이션을 통해 다양한 서비스를 제공할 수 있다. 테스트 어노테이션 대상 및 테스트 어노테이션 대상의 어노테이션 대상 결정 서비스를 제공할 수 있는 어노테이션 능력 정보 결정 애플리케이션을 예로 들면, 서버(105)는 상기 어노테이션 능력 정보 결정 애플리케이션을 운행할 때 다음과 같은 효과를 구현할 수 있다. 즉 먼저, 네트워크(104)를 통해 단말 장치(101)로부터 어노테이션될 태스크를 수신한 다음, 어노테이션될 태스크의 어노테이션 니즈에 의해 테스트 어노테이션 대상을 결정하고 (예를 들어, 도 1에 도시된 단말 장치(102, 103)에 대응하는 사용자), 이어서, 어노테이션 니즈 및 미리 설정된 테스트 어노테이션 요구에 의해 테스트 어노테이션 데이터를 결정한다. 다음으로, 테스트 어노테이션 대상의 속성에 따라 테스트 어노테이션 시간을 결정한다. 마지막으로, 네트워크(104)를 통해 단말 장치(102, 103)의 해당 사용자에게 테스트 어노테이션 데이터를 전송함으로써 테스트 어노테이션 시간 동안의 테스트 조작을 실행하고, 최종적으로, 수신된, 단말 장치(102, 103)로부터 반송된, 테스트 어노테이션 시간 내에 테스트 어노테이션 데이터에 대한 어노테이션 결과에 의해 해당 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정한다.
어노테이션될 태스크는 네트워크(104)를 통해 단말 장치(101)로부터 취득하는 외에, 다양한 방식으로 서버(105) 로컬에 미리 저장될 수 있다는 점에 유의해야 한다. 따라서, 서버(105)가 로컬에 데이터가 저장되었음을 감지하였을 경우 (예를 들어, 처리를 시작하기 전에 남아 있는 어노테이션될 태스크), 데이터를 로컬에서 직접 획득할 수 있으며, 이러한 경우, 예시적인 시스템 아키텍처(100)는 단말 장치(101) 및 네트워크(104)를 포함하지 않을 수도 있다.
본 출원의 후속 실시예에서 제공하는 어노테이션 태스크 처리 방법은 일반적으로 태스크 할당 및 총괄 능력을 갖는 서버(105)에 의해 실행되며, 따라서, 어노테이션 태스크 처리 장치는 일반적으로 서버(105)에 설치된다. 그러나, 단말 장치(101, 102, 103)에 요구 사항을 충족하는 태스크 할당 및 통합 기능이 있는 경우, 단말 장치(101, 102, 103)는 안장되어 있는 어노테이션 태스크 처리 애플리케이션을 통해 상기 서버(105)에 의해 진행되는 각종 연산을 완성함으로써 최종적으로 서버(105)와 동일한 결과를 얻을 수 있다는 점에 유의해야 한다. 대응하여, 어노테이션 태스크 처리 장치 또한 단말 장치(101, 102, 103)에 설치될 수 있다. 이 경우, 예시적인 시스템 아키텍처(100)는 서버(105) 및 네트워크(104)를 포함하지 않을 수도 있다.
도 1에서의 단말 장치, 네트워크 및 서버의 수량은 단지 예시적인 것임을 이해하여야 한다. 구현의 필요에 따라 임의의 수량의 단말 장치, 네트워크 및 서버를 가질 수 있다.
도 2를 참조하면, 도 2는 본 출원의 실시예에 의해 제공되는 어노테이션 능력 정보 결정 방법의 흐름도이고, 여기서 프로세스(200)는 아래의 단계를 포함한다.
단계(201)에서, 어노테이션될 태스크의 어노테이션 니즈에 의해 테스트 어노테이션 대상을 결정한다.
본 단계는 어노테이션 능력 결정 방법의 실행주체(예를 들어, 도 1에 도시된 서버(105))에 의해 어노테이션될 태스크의 어노테이션 니즈에 따라, 대응하는 어노테이션 능력을 결정한 후, 상기 어노테이션 능력에 의해 후속 단계에서 테스트 어노테이션을 진행하는 테스트 어노테이션 대상으로 적합한 어노테이션 대상을 결정하는 것을 목적으로 한다.
그 중, 어노테이션 니즈에는 많은 종류가 포함되는바, 상위 카테고리로서 판단 정리, 콘텐츠 전송, 콘텐츠 추출 및 보강 등으로 다양하게 나눌 수 있으며, 매개 상위 카테고리 또한 구체적인 데이터 유형과 결합하여 여러 하위 카테고리로 세분화될 수 있으며, 데이터 유형에는 그림, 음성, 텍스트, 동영상, 웹 페이지 등이 포함되며, 그림 + 콘텐츠 추출을 예로 들면, 어노테이션 니즈를 그림 요소 박스, 그림 위치 지정, 그림 영역 시멘틱 정의, 그림 레인 라인 어노테이션 등으로 세분화할 수 있다. 동시에, 어노테이션 대상 및 어노테이션 형식 등과 같은 니즈 정보 외에도, 어노테이션 니즈에는 어노테이션을 진행하는 어노테이션 대상의 능력 수준에 관한 니즈를 포함할 수 있으며, 예를 들어, 그림 요소 박스 방면에 대해 진행한 과거 어노테이션 행위 수량, 과거 평균 어노테이션 정확률 등을 포함할 수 있다.
상기 어노테이션 니즈에 대응하는 모든 어노테이션 능력을 가진 어노테이션 대상이 점용되지 않은 경우, 테스트 어노테이션 대상으로 직접 사용할 수 있으며, 상기 어노테이션 니즈에 대응하는 어노테이션 기능을 가진 어노테이션 대상이 점용된 경우, 필요한 어노테이션 능력과 가장 작은 차이를 갖는 어노테이션 대상을 테스트 어노테이션 대상으로 선택할 수 있다. 그 중, 가장 작은 차이는 어노테이션 능력의 수량 차이에 의해 결정될 수도 있고 또는 어노테이션 능력의 중요성의 차이에 의해 결정될 수도 있다.
단계(202)에서, 어노테이션 니즈 및 미리 설정된 테스트 어노테이션 요구에 의해, 테스트 어노테이션 데이터를 결정한다.
단계(201)의 기초상에, 본 단계는 상기 실해 주체가 어노테이션 니즈 및 미리 설정된 테스트 어노테이션 요구에 의해 테스트 어노테이션 데이터를 결정하는 것을 목적으로 한다. 그중, 어노테이션 니즈는 어노테이션될 태스크에 대한 관련 파라미터를 결정하는데 사용되므로, 어노테이션될 태스크와 일치하거나 유사한 데이터를 테스트 어노테이션 데이터로 선택할 수 있으며, 미리 설정된 테스트 어노테이션 요구는 상기 어노테이션 니즈를 기반으로, 어노테이션 니즈에 대응하는 어노테이션 능력이 제출하는 요구를 전면적으로 커버하기 위해, 예를 들어, 데이터 유형, 커버하는 장면 유형, 데이터량, 데이터 복잡성 등과 같은 테스트 어노테이션 데이터의 여러 차원에 대한 요구를 포함하며, 어노테이션 니즈와 결합하여 테스트 어노테이션 데이터가 어노테이션될 태스크를 기반으로 어노테이션 능력 전체에 대해 평가할 수 있도록 한다.
단계(203)에서, 테스트 어노테이션 대상의 속성에 의해 테스트 어노테이션 시간을 결정한다.
단계(202)의 기초상에, 본 단계는 상기 실행주체가 테스트 어노테이션 대상의 속성에 의해 테스트 어노테이션 시간을 결정하는 것을 목적으로 한다. 그 중, 테스트 어노테이션 대상의 속성은 예를 들어, 성별, 연령, 근속 기간, 근무 상태 등 신분에 대응하는 속성 정보를 포함할 수도 있고, 또한, 실행할 어노테이션 태스크와 관련된 과거 어노테이션 기록 정보, 예를 들어, 과거 어노테이션 데이터량, 과거 어노테이션 데이터 유형 비중 분포, 과거 평균 1회 어노테이션 시간, 과거 어노테이션 정확률, 과거 어노테이션 정확률의 시간 경과에 따른 변화의 추세 등일 수도 있다.
이외에도, 상기 속성 정보는 영향 요인으로 테스트 어노테이션 시간을 직접 결정할 수 있는 외에, 영향 인자로 테스트 어노테이션용 기초시간을 보정할 수 있으며, 보정된 시간을 실제 테스트 어노테이션 시간으로 현재의 테스트 어노테이션 대상에 적용할 수 있다.
단계(204)에서, 테스트 어노테이션 시간 내에 테스트 어노테이션 데이터에 대한 테스트 어노테이션 대상의 어노테이션 결과에 따라, 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정한다.
단계(203)의 기초 상에서, 본 단계는 상기 실행주체가 테스트 어노테이션 시간 내에 테스트 어노테이션 데이터에 대한 테스트 어노테이션 대상의 어노테이션 결과에 따라, 테스트 어노테이션 대상을 특징짓는 어노테이션 능력 정보를 결정하며, 상기 어노테이션 능력 정보는 소속 대상이 실제로 소유하는 어노테이션 능력을 나타낸다. 결정된 어노테이션 능력을 기반으로, 상기 테스트 어노테이션 대상을 어노테이션될 태스크를 실제 어노테이션하는 어노테이션 대상으로 할 수 있는지 여부를 판단할 수 있다.
어노테이션 니즈에 의해 결정된 어노테이션 능력이 어노테이션 능력 카테고리와 각종 능력 카테고리 하의 능력 값 파라미터로 세분화될 경우, 테스트 어노테이션 대상은 어노테이션 능력 카테고리에 상응하는 어노테이션 능력을 갖는 어노테이션 대상만이 될 수 있고, 그 다음, 이 단계에서 결정된 어노테이션 능력 정보에 따라 상기 어노테이션 능력 카테고리 하의 상기 테스트 어노테이션 대상의 어노테이션 능력 값을 구체적으로 결정한다.
그 중, 각 능력 카테고리는 하나의 독립적인 능력 태그로 표현될 수 있으며, 상기 능력 카테고리 하의 능력 값 파라미터는 상기 태그에 기록된 구체 수치 혹은 기타 표현형식의 정보로 사용될 수 있으며, 예를 들어, 각 능력 카테고리의 능력 값을 등급으로 구분할 경우, 각 등급에 대응하는 색상을 분배하고, 대응하는 색상의 능력 태그를 표시함으로써 소속 어노테이션 대상의 상기 어노테이션 능력 카테고리에 있어서의 구체적인 어노테이션 능력을 나타낼 수 있다.
본 출원의 실시예에 의해 제공되는 어노테이션 능력 결정 방법은, 어노테이션 니즈에 의해 테스트 어노테이션 대상을 결정하는 기초 상에, 어노테이션 니즈 및 미리 설정된 테스트 어노테이션 요구를 결합하여 테스트 어노테이션 데이터를 결정함과 동시에, 테스트 어노테이션 대상의 속성에 따라 합리적으로 테스트 어노테이션 시간을 결정함으로써 어노테이션 비용 및 어노테이션 품질의 균형을 이루고, 이로 인해 어노테이션 능력 정보의 정확도를 향상시킬 수 있다.
진일보로, 테스트 어노테이션 대상의 어노테이션 능력 카테고리에 있어서의 어노테이션 능력 값을 결정한 후, 테스트 어노테이션 대상의 어노테이션 능력 값에 의해 테스트 어노테이션 대상에 상응한 비율의 어노테이션될 태스크를 할당할 수 있다. 즉, 테스트 어노테이션 대상의 어노테이션 능력 값이 높을수록 총 태스크량이 많은 어노테이션될 태스크를 할당함으로써 어노테이션 능력이 높은 어노테이션 대상을 최대한 활용함으로써 어노테이션 품질을 전체적으로 향상시킬 수 있다. 또한, 각 테스트 어노테이션 대상에 어노테이션 태스크를 할당하기 전에, 구체적으로 어노테이션 능력 값이 미리 설정된 최소값보다 큰지 여부를 판단하고, 상기 최소값을 초과하는 실제 어노테이션 능력 값을 갖는 테스트 어노테이션 대상만을 어노테이션될 태스크의 어노테이션에 실제로 참여하도록 할 수 있다.
도 3을 참조하면, 도 3은 본 출원의 실시예에 의해 제공되는 다른 하나의 어노테이션 능력 정보 결정 방법의 흐름도이고, 프로세스(300)는 다음 단계를 포함한다.
단계(301)에서, 어노테이션될 태스크의 어노테이션 니즈에 의해 테스트 어노테이션 대상을 결정한다.
단계(302)에서, 테스트 어노테이션 요구에 의해, 어노테이션될 데이터의 데이터 유형, 어노테이션될 요소, 어노테이션 방식을 결정한다.
본 단계는 테스트 어노테이션 요구에 의해 테스트 어노테이션 데이터의 3가지 파라미터 즉 테스트 어노테이션 데이터로서의 어노테이션될 데이터의 데이터 유형, 어노테이션될 요소, 어노테이션 방식을 구체적으로 결정한다. 데이터 유형에는 그림, 음성, 텍스트, 비디오, 웹 페이지 등을 포함할 수 있으며, 그림을 예로 들면, 어노테이션될 요소에는 보행자, 장애물, 정지상태의 물체, 주행차량, 번호판 등을 포함할 수 있으며, 어노테이션 방식에는 요소 박스, 좌표 어노테이션, 색상 식별, 의미 전환, 텍스트 인식 등을 포함할 수 있다.
단계(303)에서, 테스트 어노테이션 요구에 의해, 어노테이션될 요소에 대응하는 요구 수량범위, 어노테이션될 데이터에 대응하는 요구 데이터량, 데이터 유형에 대응하는 요구 장면 유형 세트를 결정한다.
단계(302)의 기초 상에, 본 단계는 상기 실행주체가 테스트 어노테이션 요구에 의해, 단계(302)에 대응하는 3가지 요구 즉 어노테이션될 요소에 대응하는 요구 수량범위, 어노테이션될 데이터에 대응하는 요구 데이터량, 데이터 유형에 대응하는 요구 장면 유형 세트를 결정하는 것을 목적으로 한다. 어노테이션 그림에 포함되는 보행자를 예로 들면, 요구 수량범위는 [0,100)일 수 있고, 요구 장면 유형 세트에 포함되는 요구 장면 유형은 십자로 장면, T 교차로 장면, 동서 교차로 장면, 남북 교차로 장면, 양방향 2차선 장면, 양방향 4차선 장면, 주간 교차로 장면, 저녁 무렵 교차로 장면, 야간 교차로 장면 등일 수 있으며, 요구 데이터량은 샘플로서의 그림 1,000장 이상을 요구할 수 있다.
단계(304)에서, 어노테이션될 요소의 실제 수량이 요구 수량범위를 커버하고, 데이터 유형하의 실제 장면 유형이 요구 장면 유형 세트 중의 각 요구 장면 유형을 커버하고, 실제 데이터량이 요구 데이터량 이상인 어노테이션될 데이터를 테스트 어노테이션 데이터로 결정한다.
단계(303)의 기초 상에, 본 단계는 상기 실행주체가 어노테이션될 요소의 실제 수량이 요구 수량범위를 커버하고, 데이터 유형하의 실제 장면 유형이 요구 장면 유형 세트 중의 각 요구 장면 유형을 커버하고, 실제 데이터량이 요구 데이터량 이상인 어노테이션될 데이터를 테스트 어노테이션 데이터로 결정하도록 하는 것을 목적으로 한다. 즉 본 단계는 유형이 전면적이고 데이터량이 적절한 어노테이션될 데이터를 테스트 어노테이션 데이터로 선택함으로써 테스트 어노테이션 대상의 어노테이션 능력을 완전하고 전면적이며 정확하게 결정하는 것을 목적으로 한다.
단계(305)에서, 테스트 어노테이션 대상의 속성에 의해 테스트 어노테이션 시간을 결정한다.
단계(306)에서, 테스트 어노테이션 시간 내 테스트 어노테이션 데이터에 대한 테스트 어노테이션 대상의 실제 어노테이션량을 결정한다.
단계(307)에서, 테스트 어노테이션 데이터의 총량에 대한 실제 어노테이션량의 비율에 의해 테스트 어노테이션 완성률을 결정한다.
테스트 어노테이션 대상이 테스트 어노테이션 시간 내에, 제공된 모든 테스트 어노테이션 데이터의 어노테이션을 완성하는 경우가 존재하므로, 단계(306) ~ 단계(307)는 상기 실행주체가 테스트 어노테이션 데이터 총량에 대한 실제 어노테이션량의 비율을 결정함으로써 테스트 어노테이션 완성률을 결정하는 것을 목적으로 한다. 전부의 테스트 어노테이션 데이터의 어노테이션이 완성되지 않은 경우, 테스트 어노테이션 완성률은 100% 미만이다.
물론, 테스트 어노테이션 대상이 테스트 어노테이션 시간 내에 전부의 테스트 어노테이션 데이터의 어노테이션을 앞당겨 완성하였을 경우, 앞당겨 완성한 시간에 의해 100%를 초과한 테스트 어노테이션 완성률을 얻을 수도 있다.
단계(308)에서, 실제 어노테이션량의 이미 어노테이션된 데이터에서, 매개 요구 장면 유형에 각각 대응하는 테스트 어노테이션 정확률을 결정한다.
단계(309)에서, 테스트 어노테이션 정확률 및 테스트 어노테이션 완성률에 의해, 상이한 요구 장면 유형의 어노테이션될 데이터에 대한 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정한다.
단계(307)의 어노테이션 수량으로부터 테스트 어노테이션 완성률을 결정하는 단계와 달리, 단계(308) ~ 단계(309)는 이미 어노테이션된 데이터 중 매개 요구 장면 유형에 각각 대응하는 어노테이션 정확률로부터 테스트 어노테이션 정확률을 결정하고, 최종적으로 테스트 어노테이션 정확률 및 테스트 어노테이션 완성률을 결합하여, 상이한 요구 장면 유형의 어노테이션될 데이터에 대한 테스트 어노테이션 대상의 어노테이션 능력을 표시하는 정보를 결정한다.
프로세스(200)에 도시된 실시예와 달리, 본 실시예는 단계(302) ~ 단계(304)를 통해, 테스트 어노테이션 데이터를 결정하기 위한 실시형태를 구체적으로 제공하고, 데이터 유형, 어노테이션될 요소, 어노테이션 방식과 요구 장면 유형, 요구 요소 수량범위, 요구 데이터량을 결합함으로써, 테스트 어노테이션 데이터가 충분한 데이터량을 가지고, 복잡성이 전면을 커버하고, 전면적인 장면 유형을 구비하도록 한다. 또한 단계(306) ~ 단계(309)를 통해, 어노테이션 능력을 결정하기 위한 실시형태를 제공하며, 테스트 어노테이션 완성률, 테스트 어노테이션 정확률 및 상이한 요구 장면 유형을 결합함으로써, 테스트 어노테이션 대상의 어노테이션 능력을 표시하는 정보를 여러 측면으로부터 보다 섬세하게 결정할 수 있다.
단계(302) ~ 단계(304)에서 제공된 구체적인 실시형태와 단계(306) ~ 단계(309)에서 제공된 구체적인 실시형태 사이는 인과관계 및 종속관계가 존재하지 않을 수 있으며, 두가지 구체적인 실시형태는 완전히 프로세스(200) 중의 대응하는 상위 실시방안을 대체하는 방식으로, 각자의 독립적인 실시예를 형성할 수 있으며, 본 실시예는 두 부분의 구체적인 실시형태를 동시에 포함하는 바람직한 실시예로 존재함을 설명한다.
프로세스(300)에 도시된 실시예의 기초 상에, 결정된 어노테이션 능력의 정확도를 진일보 개선하기 위해, 테스트 어노테이션 과정 중의 어노테이션 효율 파라미터를 결합하여 너무 높거나 혹은 너무 낮은 비정상적인 어노테이션 효율이 존재하지 않는지 여부를 판단함으로써 비정상 부분을 제거하는 방법을 통해 실제 상황에 보다 매칭되는 어노테이션 능력을 평가 취득할 수 있다.
다음을 포함하되 이에 국한되지 않는 실시형태로서,
테스트 어노테이션 시간을 구성하는 각 테스트 어노테이션 기간 내에 테스트 어노테이션 데이터에 대한 테스트 어노테이션 대상의 실제 어노테이션 효율을 결정하는 단계와,
각 실제 어노테이션 효율 중 비정상 어노테이션 효율을 결정하는 단계와,
비정상 어노테이션 효율에 대응하는 이미 어노테이션된 데이터를 실제 어노테이션량 및 어노테이션 정확률의 계산범위에서 제거하는 단계를 포함한다.
대량의 과거 어노테이션 기록 통계를 기반으로 얻은 정상적인 어노테이션 효율이 3 ~ 7개 / 분 (1분 내에 그림 중의 3 ~ 7개의 타겟 대상을 어노테이션함을 의미함)이라고 가정하면, 1분을 단위로, 1분 내의 어노테이션 효율이 0.5 미만 및 10보다 큰 부분을 비정상 데이터로 계산범위에서 제거할 수 있다.
또한, 잘못된 판단을 피하기 위해, 상응 기간의 네트워크 품질을 취득하여 낮은 어노테이션 효율이 네트워크 품질 파동에 의한 것인지 여부를 판단할 수도 있고, 상응 기간의 어노테이션될 그림의 유사성을 취득하여 높은 어노테이션 효율이 연속적이고 콘텐츠 반복도가 높은 그림으로 인한 것인지 여부를 판단할 수도 있다. 물론 잘못된 판단을 줄이기 위해 기타 검증 방법을 사용할 수도 있다.
상술한 실시예들 중 어느 하나의 기초 상에, 본 발명은 또한 도 4를 통해 테스트 어노테이션 시간을 결정하는 방법을 제공하며, 단지 하나의 실행 가능한 예로서 실시방안의 실행 가능성 및 합리성을 검증할 뿐, 당업자는 취지에 따라 상이한 실제 정경 하에 상이한 구체적인 실시형태를 조정하여 얻을 수 있을 것이다. 그 중, 프로세스(400)는 다음 단계:
단계(401)에서, 테스트 어노테이션 대상의 과거 어노테이션 기록에 의해 과거 1회 어노테이션 시간 및 과거 어노테이션 난이도를 결정하는 단계와,
단계(402)에서, 테스트 어노테이션 데이터의 예상 어노테이션 난이도 및 과거 어노테이션 난이도에 의해 차이 계수를 결정하는 단계와,
상기 차이 계수는 정량화된 예상 어노테이션 난이도와 과거 어노테이션 난이도의 차이를 통하여 구현할 수 있으며, 이 때, 양의 차이 계수는 예상 어노테이션 난이도가 과거 어노테이션 난이도보다 크다는 것을 나타내며, 음의 차이 계수는 예상 어노테이션 난이도가 과거 어노테이션 난이도보다 작다는 것을 나타내며,
물론, 정량화된 예상 어노테이션 난이도와 과거 어노테이션 난이도의 상을 통하여 구현할 수도 있으며, 이 때, 차이 계수가 1보다 클 경우, 예상 어노테이션 난이도가 과거 어노테이션 난이도보다 크다는 것을 나타내고, 차이 계수가 0보다 크고 1보다 작은 경우, 예상 어노테이션 난이도가 과거 어노테이션 난이도보다 작다는 것을 나타내며,
단계(403)에서, 차이 계수에 의해 과거 1회 어노테이션 시간을 조절하여 테스트 어노테이션 시간을 얻는 단계를 포함한다.
단계(402)에 기초 상에, 차이 계수가 예상 어노테이션 난이도가 과거 어노테이션 난이도보다 크다는 것을 나타내면, 과거 1회 어노테이션 시간을 하향 조정하고, 차이 계수가 예상 어노테이션 난이도가 과거 어노테이션 난이도 작다는 것을 나타내면, 과거 1회 어노테이션 시간을 상향 조정한다.
구체적인 조정 방법으로서,
차이 계수가 양수이면, 차이 계수와 과거 1회 어노테이션 시간과의 적을 테스트 어노테이션 시간으로 하고,
차이 계수가 음수이면, 과거 1회 어노테이션 시간과 차이 계수와의 상의 절대치를 테스트 어노테이션 시간으로 할 수 있다.
본 실시예는 상기 실행주체가 과거 어노테이션 난이도 및 실행주체의 어노테이션 난이도에 의해 결정되는 차이 계수에 의해, 과거 1회 어노테이션 시간을 조정함으로써, 시간이 실제 난이도와 일치한 테스트 어노테이션 시간을 취득하는 것을 목적으로 한다.
또한, 최종 테스트 어노테이션 시간이 비교적 길 경우, 실제 상황하에 진행이 가능한 테스트 어노테이션 시간의 상한선을 결합하여 비례적으로 줄일 수 있다.
도 5를 진일보 참조하면, 상기 각 도면들에 도시된 방법들의 구현으로서, 본 출원은 어노테이션 능력 결정 장치의 일 실시예를 제공하며, 상기 장치의 실시예는 도 2에 나타낸 방법의 실시예에 대응하며, 상기 장치는 다양한 전자 기기에 적용될 수 있다.
도 5에 도시된 바와 같이, 본 실시예의 어노테이션 능력 정보 결정 장치(500)는 테스트 어노테이션 대상 결정 유닛(501), 테스트 어노테이션 데이터 결정 유닛(502), 테스트 어노테이션 시간 및 어노테이션 능력 정보 결정 유닛(503)을 구비할 수 있다. 테스트 어노테이션 대상 결정 유닛(501)은 어노테이션될 태스크의 어노테이션 니즈에 의해 테스트 어노테이션 대상을 결정하도록 구성되며, 테스트 어노테이션 데이터 결정 유닛(502)은 어노테이션 니즈 및 미리 설정된 테스트 어노테이션 요구에 의해, 테스트 어노테이션 데이터를 결정하도록 구성되며, 테스트 어노테이션 시간 및 어노테이션 능력 정보 결정 유닛(503)은 테스트 어노테이션 대상의 속성에 의해, 테스트 어노테이션 시간을 결정하고, 테스트 어노테이션 시간 내에 테스트 어노테이션 데이터에 대한 테스트 어노테이션 대상의 어노테이션 결과에 의해, 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정하도록 구성된다.
본 실시예에서, 어노테이션 능력 정보 결정 장치(500)의 테스트 어노테이션 대상 결정 유닛(501), 테스트 어노테이션 데이터 결정 유닛(502), 테스트 어노테이션 시간 및 어노테이션 능력 정보 결정 유닛(503)의 구체적인 처리 및 이로 인한 기술적 효과에 대해서는 각각 도 2의 대응 실시예의 단계(201) ~ 단계(203)의 관련 설명을 참조하도록 하고 여기서는 반복하여 설명하지 않는다.
본 실시예의 일부 선택적인 실시형태에 있어서, 테스트 어노테이션 데이터 결정 유닛(502)은 또한,
테스트 어노테이션 요구에 의해, 어노테이션될 데이터의 데이터 유형, 어노테이션될 요소, 어노테이션 방식을 결정하며,
테스트 어노테이션 요구에 의해, 어노테이션될 요소에 대응하는 요구 수량범위, 어노테이션될 데이터에 대응하는 요구 데이터량, 데이터 유형에 대응하는 요구 장면 유형 세트를 결정하며,
어노테이션될 요소의 실제 수량이 요구 수량범위를 커버하고, 데이터 유형하의 실제 장면 유형이 요구 장면 유형 세트 내의 각 요구 장면 유형을 커버하고, 실제 데이터량이 요구 데이터량 이상인 어노테이션될 데이터를 테스트 어노테이션 데이터로 결정하도록 구성될 수 있다.
본 실시예의 일부 선택적인 실시형태에서, 테스트 어노테이션 시간 및 어노테이션 능력 정보 결정 유닛(503)은 테스트 어노테이션 시간 내에 테스트 어노테이션 데이터에 대한 테스트 어노테이션 대상의 어노테이션 결과에 의해, 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정하도록 구성되는 어노테이션 능력 정보 결정 서브 유닛을 구비하며, 어노테이션 능력 정보 결정 서브 유닛은 또한,
테스트 어노테이션 시간 내에 테스트 어노테이션 데이터에 대한 테스트 어노테이션 대상의 실제 어노테이션량을 결정하며,
테스트 어노테이션 데이터의 총량에 대한 실제 어노테이션량의 비율에 의해 테스트 어노테이션 완성률을 결정하며,
실제 어노테이션량의 이미 어노테이션된 데이터 중 각 요구 장면 유형에 각각 대응하는 테스트 어노테이션 정확률을 결정하며,
테스트 어노테이션 정확률 및 테스트 어노테이션 완성률에 의해, 상이한 요구 장면 유형의 어노테이션될 데이터에 대한 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정하도록 구성된다.
본 실시예의 일부 선택적인 실시형태에서, 어노테이션 능력 정보 결정 장치(500)는,
테스트 어노테이션 시간을 구성하는 각 테스트 어노테이션 기간 내에 테스트 어노테이션 데이터에 대한 테스트 어노테이션 대상의 실제 어노테이션 효율을 결정하도록 구성되는 실제 어노테이션 효율 결정 유닛과,
각 실제 어노테이션 효율 중의 비정상 어노테이션 효율을 결정하도록 구성되는 비정상 어노테이션 효율 결정 유닛과,
비정상 어노테이션 효율에 대응하는 이미 어노테이션된 데이터를 실제 어노테이션량 및 어노테이션 정확률의 계산범위에서 제거하도록 구성되는 비정상 데이터 제거 유닛을 추가로 구비한다.
본 실시예의 일부 선택적인 실시형태에서, 테스트 어노테이션 시간 및 어노테이션 능력 정보 결정 유닛(503)은 테스트 어노테이션 대상의 속성에 의해, 테스트 어노테이션 시간을 결정하도록 구성되는 테스트 어노테이션 시간 결정 서브 유닛을 구비하며, 테스트 어노테이션 시간 결정 서브 유닛은,
테스트 어노테이션 대상의 과거 어노테이션 기록에 의해, 과거 1회 어노테이션 시간 및 과거 어노테이션 난이도를 결정하도록 구성되는 과거 어노테이션 파라미터 결정 모듈과,
테스트 어노테이션 데이터의 예상 어노테이션 난이도 및 과거 어노테이션 난이도에 의해 차이 계수를 결정하도록 구성되는 차이 계수 결정 모듈과,
차이 계수에 의해 과거 1회 어노테이션 시간을 조절하여 테스트 어노테이션 시간을 얻도록 구성되는 테스트 어노테이션 시간 결정 모듈을 구비할 수 있다.
본 실시예의 일부 선택적인 실시형태에 있어서, 테스트 어노테이션 시간 결정 모듈은 또한,
차이 계수가 양수임에 응답하여, 차이 계수와 과거 1회 어노테이션 시간과의 적을 테스트 어노테이션 시간으로 하도록 구성되며, 그 중, 양의 차이 계수는 예상 어노테이션 난이도가 과거 어노테이션 난이도보다 크다는 것을 표시하며,
차이 계수가 음수임에 응답하여, 과거 1회 어노테이션 시간과 차이 계수와의 상의 절대치를 테스트 어노테이션 시간으로 하도록 구성되며, 그 중, 음의 차이 계수는 예상 어노테이션 난이도가 과거 어노테이션 난이도보다 작다는 것을 표시한다.
본 실시예의 일부 선택적인 실시형태에서, 테스트 어노테이션 대상 결정 유닛은 또한,
어노테이션될 태스크의 어노테이션 니즈에 의해 소요의 어노테이션 능력 카테고리를 결정하며,
어노테이션 능력 카테고리에 대응하는 어노테이션 능력을 갖는 어노테이션 대상을 테스트 어노테이션 대상으로 결정하도록 구성되며,
대응하여, 테스트 어노테이션 시간 및 어노테이션 능력 정보 결정 유닛은 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정하는 어노테이션 능력 정보 결정 서브 유닛을 구비하며, 어노테이션 능력 정보 결정 서브 유닛은 또한,
어노테이션 능력 카테고리하의 테스트 어노테이션 대상의 어노테이션 능력 값을 결정하도록 구성된다.
본 실시예의 일부 선택적인 실시형태에서, 어노테이션 능력 정보 결정 장치(500)는,
어노테이션 능력 카테고리하의 테스트 어노테이션 대상의 어노테이션 능력 값을 결정한 후, 테스트 어노테이션 대상의 어노테이션 능력 값에 의해, 테스트 어노테이션 대상에게 상응한 비율의 어노테이션될 태스크를 할당하도록 구성되는 어노테이션될 태스크 할당 유닛을 추가로 구비할 수 있다.
본 실시예는 상기 방법의 실시예에 대응하는 장치의 실시예로서 존재하며, 본 실시예에 의해 제공되는 어노테이션 능력 결정 장치는, 어노테이션 니즈에 의해 테스트 어노테이션 대상을 결정한 기초 상에, 어노테이션 니즈 및 미리 설정된 테스트 어노테이션 요구를 결합하여 테스트 어노테이션 데이터를 결정함과 동시에, 테스트 어노테이션 대상의 속성에 의해 합리적으로 테스트 어노테이션 시간을 결정함으로써 어노테이션 비용 및 어노테이션 품질의 균형을 이루고, 이로 인해 어노테이션 능력 정보의 정확도를 향상시킬 수 있다.
본 출원의 실시예에 의하면, 본 출원은 또한 전자 기기를 제공하며, 상기 전자 기기는 적어도 하나의 프로세서와, 적어도 하나의 프로세서와 통신 연결되는 메모리를 구비하고, 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 적어도 하나의 프로세서에 의해 실행될 경우, 적어도 하나의 프로세서가 상기 임의의 실시예에 의한 어노테이션 능력 정보 결정 방법을 실행하도록 한다.
본 출원의 실시예에 의하면, 본 출원은 또한, 컴퓨터에 의해 실행될 경우, 상기 임의의 실시예에 의한 어노테이션 능력 정보 결정 방법을 구현하기 위한 컴퓨터 명령이 저장된 판독 가능 저장 매체를 제공한다.
본 출원의 실시예는 프로세서에 의해 실행될 경우, 상기 임의의 실시예에 의한 어노테이션 능력 정보 결정 방법을 구현하는 컴퓨터 프로그램을 제공한다.
도 6은 본 출원의 실시예를 실시할 수 있는 예시적인 전자 기기(600)의 개략적인 블록도를 도시한다. 전자 기기는 다양한 형식의 디지털 컴퓨터, 예컨대, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크벤치, 개인용 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터, 및 다른 적합한 컴퓨터를 가리킨다. 전자 기기는 또한 다양한 형식의 이동 장치, 예컨대, 개인용 디지털 보조기, 셀룰러 폰, 스마트폰, 웨어러블 기기 및 다른 유사한 컴퓨팅 장치를 가리킬 수 있다. 명세서에서 제시하는 부품, 이들의 연결과 관계 및 이들의 기능은 단지 예시일 뿐, 본 명세서에서 서술한 및 / 또는 요구하는 본 출원의 구현을 한정하고자 하는 것이 아니다.
도 6에 도시한 바와 같이, 기기(600)는 컴퓨팅 유닛(601)을 포함하는바, 이는 읽기 전용 메모리(ROM)(602)에 저장된 컴퓨터 프로그램 또는 저장 유닛(608)에서 랜덤 액세스 메모리(RAM)(603)에 로딩된 컴퓨터 프로그램에 따라 여러가지 적당한 동작과 처리를 실행할 수 있다. RAM(603)은, 기기(600) 조작에 필요한 여러가지 프로그램과 데이터를 저장할 수도 있다. 컴퓨팅 유닛(601), ROM(602) 및 RAM(603)은 버스(604)에 의해 서로 연결된다. 입력/출력 (I/O) 인터페이스(605)도 버스(604)에 연결된다.
기기(600) 내의 복수의 부재는 I/O 인터페이스(605)에 연결되는바, 입력 유닛(606), 예를 들어 키보드, 마우스 등; 출력 유닛(607), 예를 들어 다양한 유형의 표시장치, 스피커 등; 저장 유닛(608), 예를 들어 자기 디스크, 광 디스크 등; 및 통신 유닛(609), 예를 들어 네트워크 인터페이스 카드, 모뎀, 무선 통신 송수신기 등을 포함한다. 통신 유닛(609)은 기기(600)가 인터넷과 같은 컴퓨터 네트워크 및/또는 다양한 전기통신 네트워크를 통해 기타 기기와 정보/데이터를 교환하도록 허락한다.
컴퓨팅 유닛(601)은 처리 및 계산 능력을 가지는 다양한 범용의 및/또는 전용의 처리 어셈블리일 수 있다. 컴퓨팅 유닛(601)의 일부 예시는 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 다양한 전용의 인공지능(AI) 컴퓨팅 칩, 머신 러닝 모델 알고리즘을 실행하는 다양한 컴퓨팅 유닛, 디지털 신호 프로세서(DSP) 및 모든 적당한 프로세서, 제어기, 마이크로 제어기 등을 포함하나 이에 한정되지 않는다. 컴퓨팅 유닛(601)은 예를 들어 태그 능력 정보 결정 방법과 같은 상술한 각각의 방법과 처리를 실행한다. 예를 들어, 일부 실시예에서, 어노테이션 능력 정보 결정 방법은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있고, 이는 기계 판독 가능 매체, 예를 들어 저장 유닛(608)에 유형으로 포함된다. 일부 실시예에서, 컴퓨터 프로그램의 일부 또는 전부가 ROM(602) 및/또는 통신 유닛(609)에 의해 기기(600)에 로딩되거나 설치될 수 있다. 컴퓨터 프로그램이 RAM(603)에 로딩되어 컴퓨팅 유닛(601)에 의해 실행되는 경우, 상술한 어노테이션 능력 정보 결정 방법의 하나 또는 복수의 단계를 실행할 수 있다. 대안으로, 다른 실시예에서, 컴퓨팅 유닛(601)은 기타 임의의 적당한 방식(예를 들어 펌웨어에 의해)을 통해 어노테이션 능력 정보 결정 방법을 실행하도록 구성될 수 있다.
본 명세서의 상술한 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 필드 프로그램 가능 게이트 어레이(FPGA), 주문형 집적회로(ASIC), 주문형 표준제품(ASSP), 시스템온칩(SOC), 복잡한 프로그램 가능 논리 소자(CPLD), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 구현될 수 있다. 이러한 다양한 실시형태는 다음을 포함할 수 있다. 즉 하나 또는 복수의 컴퓨터 프로그램에서 실시되고, 해당 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행되거나 및/또는 해석될 수 있고, 해당 프로그램 가능 프로세서는 전용의 또는 범용의 프로그램 가능 프로세서이고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있고 데이터와 명령을 해당 저장 시스템, 해당 적어도 하나의 입력 장치 및 해당 적어도 하나의 출력 장치에 전송할 수 있다.
본 출원의 방법을 구현하기 위한 프로그램 코드는 하나 또는 복수의 프로그래밍 언어의 임의의 조합을 적용하여 작성할 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그램 가능 데이터 처리 장치의 프로세서 또는 제어기에 제공되어, 프로그램 코드가 프로세서 또는 제어기에 의해 실행되는 경우, 흐름도 및/또는 블록도에서 규정하는 기능/조작이 실행되도록 한다. 프로그램 코드는 완전히 기계에서 실행될 수도 있고 부분적으로 기계에서 실행될 수도 있고, 독립적인 소프트웨어 패키지로서 부분적으로는 기계에서 실행되고 부분적으로는 원격 기계에서 실행되거나 또는 완전히 원격 기계 또는 서버에서 실행될 수 있다.
본 출원의 문맥 상으로, 기계 판독 가능 매체는 유형의 매체일 수 있는바, 이는, 명령 실행 시스템, 장치 또는 기기에 의해 사용되거나 또는 명령 실행 시스템, 장치 또는 기기에 결합되어 사용되는 프로그램을 포함하거나 또는 저장할 수 있다. 기계 판독 가능 매체는 기계 판독 가능 신호 매체 또는 기계 판독 가능 저장 매체일 수 있다. 기계 판독 가능 매체는 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 기기이거나, 또는 상술한 내용의 임의의 적합한 조합을 포함하나 이에 한정되지 않는다. 기계 판독 가능 저장 매체의 보다 구체적인 예시로 하나 또는 복수의 라인에 기반하는 전기 연결, 휴대형 컴퓨터 디스크, 하드디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대형 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 기기, 자기 저장 기기, 또는 상술한 내용의 임의의 적합한 조합을 포함할 수 있다.
사용자와의 인터랙션을 제공하기 위하여, 여기서 서술하는 시스템과 기술을 컴퓨터에서 실시할 수 있는바, 해당 컴퓨터는, 사용자한테 정보를 표시하는 표시 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 표시 장치) 모니터), 및 키보드와 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)을 가지며, 사용자는 해당 키보드와 해당 포인팅 장치에 의해 컴퓨터에 입력을 제공할 수 있다. 기타 종류의 장치 또한 사용자와의 인터랙션을 제공하는데 사용될 수 있는바, 예를 들어, 사용자한테 제공하는 피드백은 임의의 형식의 감각 피드백(예를 들면 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있고, 임의의 형식(음향 입력, 음성 입력 또는 촉각 입력)으로 사용자의 입력을 수신할 수 있다.
여기서 서술하는 시스템과 기술을 백그라운드 부재를 포함하는 컴퓨팅 시스템(예를 들어 데이터 서버로서), 또는 미들웨어 부재를 포함하는 컴퓨팅 시스템(예를 들어 애플리케이션 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 가지는 사용자 컴퓨터는, 사용자가 해당 그래픽 사용자 인터페이스 또는 해당 네트워크 브라우저를 통해 여기서 서술하는 시스템 및 기술의 실시형태와 인터랙션할 수 있다), 또는 이러한 백그라운드 부재, 미들웨어 부재 또는 프론트 엔드 부재의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 또한 임의의 형식 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)으로 시스템의 부재를 상호 연결할 수 있다. 통신 네트워크의 예시는 근거리 통신망(LAN), 원거리 통신망(WAN) 및 인터넷을 포함할 수 있다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있고 통상적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터에서 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 실행함으로써 클라이언트와 서버의 관계를 발생시킨다. 서버는 클라우드 서버일 수 있는바, 클라우드 컴퓨팅 서버 또는 클라우드 호스팅으로 지칭되기도 하며, 클라우드 컴퓨팅 서비스 체계에서의 호스팅 제품으로, 전통적인 물리적 호스팅과 가상 사설 서버(Virtual Private Server, VPS) 서비스에 존재하는, 관리 난도가 크고 업무 확장성이 약한 결함을 해결한다.
본 출원의 실시예의 기술수단에 의하면, 어노테이션 니즈에 의해 테스트 어노테이션 대상을 결정하는 기초 상에, 어노테이션 니즈 및 미리 설정된 테스트 어노테이션 요구를 결합하여 테스트 어노테이션 데이터를 결정함과 동시에, 테스트 어노테이션 대상의 속성에 의해 합리적으로 테스트 어노테이션 시간을 결정함으로써 어노테이션 비용 및 어노테이션 품질의 균형을 이루고, 이로 인해 어노테이션 능력 정보의 정확도를 향상시킬 수 있다.
상술한 다양한 형식의 프로세스를 사용하여 단계를 재정렬하거나, 증가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 출원에서 개시한 기술방안의 원하는 결과를 구현할 수만 있다면, 본 출원에 기재된 각 단계는 병렬로 실행될 수도 있고, 순차적으로 실행될 수도 있고, 상이한 순서로 실행될 수도 있는바, 본 명세서는 이에 대해 한정하지 않는다.
상술한 구체적인 실시형태는 본 출원의 보호범위를 한정하지 않는다. 당업자라면, 설계 요구 및 기타 요소에 따른 다양한 수정, 조합, 부차적인 조합 및 치환이 가능함을 이해해야 한다. 본 출원의 사상 및 원리 내에서 행한 임의의 수정, 균등한 치환 및 개량 등은 모두 본 출원의 보호범위에 포함되어야 한다.

Claims (19)

  1. 어노테이션 능력 정보 결정 방법에 있어서,
    어노테이션될 태스크의 어노테이션 니즈에 의해 테스트 어노테이션 대상을 결정하는 단계와,
    상기 어노테이션 니즈 및 미리 설정된 테스트 어노테이션 요구에 의해 테스트 어노테이션 데이터를 결정하는 단계와,
    상기 테스트 어노테이션 대상의 속성에 따라, 테스트 어노테이션 시간을 결정하고, 상기 테스트 어노테이션 시간 내에 상기 테스트 어노테이션 데이터에 대한 상기 테스트 어노테이션 대상의 어노테이션 결과에 따라, 상기 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정하는 단계를 포함하는, 어노테이션 능력 정보 결정 방법.
  2. 제1항에 있어서,
    상기 어노테이션 니즈 및 미리 설정된 테스트 어노테이션 요구에 의해, 테스트 어노테이션 데이터를 결정하는 단계는,
    상기 테스트 어노테이션 요구에 의해, 어노테이션될 데이터의 데이터 유형, 어노테이션될 요소, 어노테이션 방식을 결정하는 단계와,
    상기 테스트 어노테이션 요구에 의해, 상기 어노테이션될 요소에 대응하는 요구 수량범위, 상기 어노테이션될 데이터에 대응하는 요구 데이터량, 상기 데이터 유형에 대응하는 요구 장면 유형 세트를 결정하는 단계와,
    상기 어노테이션될 요소의 실제 수량이 상기 요구 수량범위를 커버하고, 상기 데이터 유형하의 실제 장면 유형이 상기 요구 장면 유형 세트 내의 각 요구 장면 유형을 커버하고, 실제 데이터량이 상기 요구 데이터량 이상인 어노테이션될 데이터를 상기 테스트 어노테이션 데이터로 결정하는 단계를 포함하는 어노테이션 능력 정보 결정 방법.
  3. 제2항에 있어서,
    상기 테스트 어노테이션 시간 내에 상기 테스트 어노테이션 데이터에 대한 상기 테스트 어노테이션 대상의 어노테이션 결과에 따라, 상기 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정하는 단계는,
    상기 테스트 어노테이션 시간 내에 상기 테스트 어노테이션 데이터에 대한 상기 테스트 어노테이션 대상의 실제 어노테이션량을 결정하는 단계와,
    상기 테스트 어노테이션 데이터의 총량에 대한 상기 실제 어노테이션량의 비율에 의해 테스트 어노테이션 완성률을 결정하는 단계와,
    상기 실제 어노테이션량의 이미 어노테이션된 데이터 중 각 상기 요구 장면 유형에 각각 대응하는 테스트 어노테이션 정확률을 결정하는 단계와,
    상기 테스트 어노테이션 정확률 및 상기 테스트 어노테이션 완성률에 의해, 상이한 요구 장면 유형의 어노테이션될 데이터에 대한 상기 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정하는 단계를 포함하는 어노테이션 능력 정보 결정 방법.
  4. 제3항에 있어서,
    상기 테스트 어노테이션 시간을 구성하는 각 테스트 어노테이션 기간 내에 상기 테스트 어노테이션 데이터에 대한 상기 테스트 어노테이션 대상의 실제 어노테이션 효율을 결정하는 단계와,
    각 상기 실제 어노테이션 효율 중 비정상 어노테이션 효율을 결정하는 단계와,
    상기 비정상 어노테이션 효율에 대응하는 이미 어노테이션된 데이터를 상기 실제 어노테이션량 및 상기 어노테이션 정확률의 계산 범위에서 제거하는 단계를 더 포함하는 어노테이션 능력 정보 결정 방법.
  5. 제1항에 있어서,
    상기 테스트 어노테이션 대상의 속성에 의해, 테스트 어노테이션 시간을 결정하는 단계는,
    상기 테스트 어노테이션 대상의 과거 어노테이션 기록에 의해 과거 1회 어노테이션 시간 및 과거 어노테이션 난이도를 결정하는 단계와,
    상기 테스트 어노테이션 데이터의 예상 어노테이션 난이도 및 상기 과거 어노테이션 난이도에 따라 차이 계수를 결정하는 단계와,
    상기 차이 계수에 의해 상기 과거 1회 어노테이션 시간을 조절하여 상기 테스트 어노테이션 시간을 얻는 단계를 포함하는 어노테이션 능력 정보 결정 방법.
  6. 제5항에 있어서,
    상기 차이 계수에 따라 상기 과거 1회 어노테이션 시간을 조절하여 상기 테스트 어노테이션 시간을 얻는 단계는,
    상기 차이 계수가 양수인데 응답하여, 상기 차이 계수와 상기 과거 1회 어노테이션 시간과의 적을 상기 테스트 어노테이션 시간으로 하는 단계에 있어서, 상기 양의 차이 계수는 상기 예상 어노테이션 난이도가 상기 과거 어노테이션 난이도보다 크다는 것을 나타내는 단계와,
    상기 차이 계수가 음수인데 응답하여, 상기 과거 1회 어노테이션 시간과 상기 차이 계수와의 상의 절대치를 상기 테스트 어노테이션 시간으로 하는 단계에 있어서, 상기 음의 차이 계수는 상기 예상 어노테이션 난이도가 상기 과거 어노테이션 난이도보다 작다는 것을 나타내는 단계를 포함하는 어노테이션 능력 정보 결정 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 어노테이션될 태스크의 어노테이션 니즈에 의해 테스트 어노테이션 대상을 결정하는 단계는,
    상기 어노테이션될 태스크의 어노테이션 니즈에 의해 소요의 어노테이션 능력 카테고리를 결정하는 단계와,
    상기 어노테이션 능력 카테고리에 대응하는 어노테이션 능력을 갖는 어노테이션 대상을 상기 테스트 어노테이션 대상 정보로 결정하는 단계를 포함하며,
    대응하여, 상기 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정하는 단계는,
    상기 어노테이션 능력 카테고리하의 상기 테스트 어노테이션 대상의 어노테이션 능력 값을 결정하는 단계를 포함하는 어노테이션 능력 정보 결정 방법.
  8. 제7항에 있어서,
    상기 어노테이션 능력 카테고리하의 상기 테스트 어노테이션 대상의 어노테이션 능력 값을 결정한 후,
    상기 테스트 어노테이션 대상의 어노테이션 능력 값에 의해 상기 테스트 어노테이션 대상에게 상응한 비율의 어노테이션될 태스크를 할당하는 단계를 더 포함하는 어노테이션 능력 정보 결정 방법.
  9. 어노테이션 능력 정보 결정 장치에 있어서,
    어노테이션될 태스크의 어노테이션 니즈에 의해 테스트 어노테이션 대상을 결정하도록 구성되는 테스트 어노테이션 대상 결정 유닛과,
    상기 어노테이션 니즈 및 미리 설정된 테스트 어노테이션 요구에 의해 테스트 어노테이션 데이터를 결정하도록 구성되는 테스트 어노테이션 데이터 결정 유닛과,
    상기 테스트 어노테이션 대상의 속성에 의해, 테스트 어노테이션 시간을 결정하고, 상기 테스트 어노테이션 시간 내에 상기 테스트 어노테이션 데이터에 대한 상기 테스트 어노테이션 대상의 어노테이션 결과에 의해, 상기 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정하도록 구성되는 테스트 어노테이션 시간 및 어노테이션 능력 정보 결정 유닛을 구비하는 어노테이션 능력 정보 결정 장치.
  10. 제9항에 있어서,
    상기 테스트 어노테이션 데이터 결정 유닛은 또한,
    상기 테스트 어노테이션 요구에 의해, 어노테이션될 데이터의 데이터 유형, 어노테이션될 요소, 어노테이션 방식을 결정하며,
    상기 테스트 어노테이션 요구에 의해, 상기 어노테이션될 요소에 대응하는 요구 수량범위, 상기 어노테이션될 데이터에 대응하는 요구 데이터량, 상기 데이터 유형에 대응하는 요구 장면 유형 세트를 결정하며,
    상기 어노테이션될 요소의 실제 수량이 상기 요구 수량범위를 커버하고, 상기 데이터 유형하의 실제 장면 유형이 상기 요구 장면 유형 세트 내의 각 요구 장면 유형을 커버하고, 실제 데이터량이 상기 요구 데이터량 이상인 어노테이션될 데이터를 상기 테스트 어노테이션 데이터로 결정하도록 구성되는 어노테이션 능력 정보 결정 장치.
  11. 제10항에 있어서,
    상기 테스트 어노테이션 시간 및 어노테이션 능력 정보 결정 유닛은 상기 테스트 어노테이션 시간 내에 상기 테스트 어노테이션 데이터에 대한 상기 테스트 어노테이션 대상의 어노테이션 결과에 의해 상기 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정하도록 구성되는 어노테이션 능력 정보 결정 서브 유닛을 구비하며, 상기 어노테이션 능력 정보 결정 서브 유닛은 또한,
    상기 테스트 어노테이션 시간 내에 상기 테스트 어노테이션 데이터에 대한 상기 테스트 어노테이션 대상의 실제 어노테이션량을 결정하며,
    상기 테스트 어노테이션 데이터의 총량에 대한 상기 실제 어노테이션량의 비율에 의해 테스트 어노테이션 완성률을 결정하며,
    상기 실제 어노테이션량의 이미 어노테이션된 데이터 중 각 상기 요구 장면 유형에 각각 대응하는 테스트 어노테이션 정확률을 결정하며,
    상기 테스트 어노테이션 정확률 및 상기 테스트 어노테이션 완성률에 의해, 상이한 요구 장면 유형의 어노테이션될 데이터에 대한 상기 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정하도록 구성되는 어노테이션 능력 정보 결정 장치.
  12. 제11항에 있어서,
    상기 테스트 어노테이션 시간을 구성하는 각 테스트 어노테이션 기간 내에 상기 테스트 어노테이션 데이터에 대한 상기 테스트 어노테이션 대상의 실제 어노테이션 효율을 결정하도록 구성되는 실제 어노테이션 효율 결정 유닛과,
    각 상기 실제 어노테이션 효율 중의 비정상 어노테이션 효율을 결정하도록 구성되는 비정상 어노테이션 효율 결정 유닛과,
    상기 비정상 어노테이션 효율에 대응하는 이미 어노테이션된 데이터를 상기 실제 어노테이션량 및 상기 어노테이션 정확률의 계산범위에서 제거하도록 구성되는 비정상 데이터 제거 유닛을 추가로 구비하는 어노테이션 능력 정보 결정 장치.
  13. 제9항에 있어서,
    상기 테스트 어노테이션 시간 및 어노테이션 능력 정보 결정 유닛은 상기 테스트 어노테이션 대상의 속성에 의해 테스트 어노테이션 시간을 결정하도록 구성되는 테스트 어노테이션 시간 결정 서브 유닛을 구비하며, 상기 테스트 어노테이션 시간 결정 서브 유닛은,
    상기 테스트 어노테이션 대상의 과거 어노테이션 기록에 의해 과거 1회 어노테이션 시간 및 과거 어노테이션 난이도를 결정하도록 구성되는 과거 어노테이션 파라미터 결정 모듈과,
    상기 테스트 어노테이션 데이터의 예상 어노테이션 난이도 및 상기 과거 어노테이션 난이도에 의해, 차이 계수를 결정하도록 구성되는 차이 계수 결정 모듈과,
    상기 차이 계수에 의해 상기 과거 1회 어노테이션 시간을 조절하여 상기 테스트 어노테이션 시간을 얻도록 구성되는 테스트 어노테이션 시간 결정 모듈을 구비하는 어노테이션 능력 정보 결정 장치.
  14. 제13항에 있어서,
    상기 테스트 어노테이션 시간 결정 모듈은 또한,
    상기 차이 계수가 양수인데 응답하여, 상기 차이 계수와 상기 과거 1회 어노테이션 시간과의 적을 상기 테스트 어노테이션 시간으로 하도록 구성되며, 상기 양의 차이 계수는 상기 예상 어노테이션 난이도가 상기 과거 어노테이션 난이도보다 크다는 것을 나타내며,
    상기 차이 계수가 음수인데 응답하여, 상기 과거 1회 어노테이션 시간과 상기 차이 계수와의 상의 절대치를 상기 테스트 어노테이션 시간으로 하도록 구성되며, 상기 음의 차이 계수는 상기 예상 어노테이션 난이도가 상기 과거 어노테이션 난이도보다 작다는 것을 나타내는 어노테이션 능력 정보 결정 장치.
  15. 제9항 내지 제14항 중 어느 한 항에 있어서,
    상기 테스트 어노테이션 데이터 결정 유닛은 또한,
    상기 어노테이션될 태스크의 어노테이션 니즈에 의해 소요의 어노테이션 능력 카테고리를 결정하며,
    상기 어노테이션 능력 카테고리에 대응하는 어노테이션 능력을 갖는 어노테이션 대상을 상기 테스트 어노테이션 대상으로 결정하도록 구성되며,
    대응하여, 상기 테스트 어노테이션 시간 및 어노테이션 능력 정보 결정 유닛은 상기 테스트 어노테이션 대상의 어노테이션 능력 정보를 결정하는 어노테이션 능력 정보 결정 서브 유닛을 구비하며, 상기 어노테이션 능력 정보 결정 서브 유닛은 또한,
    상기 어노테이션 능력 카테고리하의 상기 테스트 어노테이션 대상의 어노테이션 능력 값을 결정하도록 구성되는 어노테이션 능력 정보 결정 장치.
  16. 제15항에 있어서,
    상기 어노테이션 능력 카테고리하의 상기 테스트 어노테이션 대상의 어노테이션 능력 값을 결정한 후, 상기 테스트 어노테이션 대상의 어노테이션 능력 값에 의해, 상기 테스트 어노테이션 대상에게 상응한 비율의 어노테이션될 태스크를 할당하도록 구성되는 어노테이션될 태스크 할당 유닛을 추가로 구비하는 어노테이션 능력 정보 결정 장치.
  17. 적어도 하나의 프로세서와,
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 구비하는 전자 기기에 있어서,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서가 제1항 내지 제8항 중 어느 한 항의 어노테이션 능력 정보 결정 방법을 실행하도록 하는, 전자 기기.
  18. 컴퓨터에 제1항 내지 제8항 중 어느 한 항의 어노테이션 능력 정보 결정 방법을 실행하도록 하기 위한 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체.
  19. 프로세서에 의해 실행될 경우, 제1항 내지 제8항 중 어느 한 항의 어노테이션 능력 정보 결정 방법을 구현하는 컴퓨터 프로그램.
KR1020220022103A 2021-06-17 2022-02-21 어노테이션 능력 정보 결정 방법, 장치 및 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램 KR20220030966A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110670173.4A CN113326888B (zh) 2021-06-17 2021-06-17 标注能力信息确定方法、相关装置及计算机程序产品
CN202110670173.4 2021-06-17

Publications (1)

Publication Number Publication Date
KR20220030966A true KR20220030966A (ko) 2022-03-11

Family

ID=77423406

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220022103A KR20220030966A (ko) 2021-06-17 2022-02-21 어노테이션 능력 정보 결정 방법, 장치 및 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US20220139097A1 (ko)
EP (1) EP4089592A1 (ko)
JP (1) JP2022078060A (ko)
KR (1) KR20220030966A (ko)
CN (1) CN113326888B (ko)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355359B2 (en) * 2012-06-22 2016-05-31 California Institute Of Technology Systems and methods for labeling source data using confidence labels
JP6421421B2 (ja) * 2014-03-04 2018-11-14 富士ゼロックス株式会社 注釈情報付与プログラム及び情報処理装置
KR20190030434A (ko) * 2017-09-14 2019-03-22 주식회사 세진마인드 상표 유사판단 결과에 기초하여 학습된 딥러닝 엔진을 이용한 상표 유사판단 방법, 장치 및 컴퓨터 판독가능한 기록 매체에 저장된 컴퓨터 소프트웨어
CN109978356A (zh) * 2019-03-15 2019-07-05 平安普惠企业管理有限公司 标注任务分配方法、装置、介质和计算机设备
CN111080092B (zh) * 2019-11-29 2023-04-18 北京云聚智慧科技有限公司 数据标注管理方法及装置、电子设备和可读存储介质
CN112016053A (zh) * 2020-08-25 2020-12-01 北京金山云网络技术有限公司 数据标注的考核方法、装置和电子设备
CN112163132B (zh) * 2020-09-21 2024-05-10 中国建设银行股份有限公司 一种数据标注方法、装置、存储介质及电子设备
CN112270533A (zh) * 2020-11-12 2021-01-26 北京百度网讯科技有限公司 一种数据处理方法、装置、电子设备以及存储介质
CN112906375B (zh) * 2021-03-24 2024-05-14 平安科技（深圳）有限公司 文本数据标注方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP4089592A1 (en) 2022-11-16
US20220139097A1 (en) 2022-05-05
CN113326888B (zh) 2023-10-31
JP2022078060A (ja) 2022-05-24
CN113326888A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
EP3913545A2 (en) Method and apparatus for updating parameter of multi-task model, and electronic device
US20190339820A1 (en) Displaying a subset of menu items based on a prediction of the next user-actions
CN111159897B (zh) 基于***建模应用的目标优化方法和装置
EP3710993B1 (en) Image segmentation using neural networks
EP4119896A2 (en) Method and apparatus for processing high-definition map data, electronic device, medium and product
EP3951741A2 (en) Method for acquiring traffic state, relevant apparatus, roadside device and cloud control platform
CN111815738B (zh) 一种构建地图的方法和装置
EP3923186A2 (en) Video recognition method and apparatus, electronic device and storage medium
EP4123595A2 (en) Method and apparatus of rectifying text image, training method and apparatus, electronic device, and medium
JP7270691B2 (ja) データをラベリングするための方法、装置、電子機器、記憶媒体およびコンピュータプログラム
US11481638B2 (en) Augmenting neural networks
KR20220155947A (ko) 고정밀 지도 생성 방법, 장치, 전자 기기 및 저장 매체
CN112085087A (zh) 业务规则生成的方法、装置、计算机设备及存储介质
CN114449343A (zh) 一种视频处理方法、装置、设备及存储介质
WO2022252843A1 (zh) 时空数据处理模型的训练方法、装置、设备及存储介质
JP2022095895A (ja) 交通データ予測方法、交通データ予測装置、電子機器、記憶媒体、コンピュータプログラム製品及びコンピュータプログラム
JP2023083276A (ja) 充電ステーションの情報調整モデルを訓練するための方法と装置、及び製品
KR20220030966A (ko) 어노테이션 능력 정보 결정 방법, 장치 및 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램
CN114241411B (zh) 基于目标检测的计数模型处理方法、装置及计算机设备
CN113139490B (zh) 一种图像特征匹配方法、装置、计算机设备及存储介质
CN112364181B (zh) 一种保险产品匹配度确定方法及装置
CN112016503B (zh) 人行道检测方法、装置、计算机设备及存储介质
CN111143328A (zh) 一种敏捷商业智能数据构建方法、***、设备、存储介质
US11835356B2 (en) Intelligent transportation road network acquisition method and apparatus, electronic device and storage medium
US11772681B2 (en) Method and apparatus for processing autonomous driving simulation data, and electronic device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal