KR102155860B1 - Method and apparatus for monitoring inspector based on cause of return - Google Patents
Method and apparatus for monitoring inspector based on cause of return Download PDFInfo
- Publication number
- KR102155860B1 KR102155860B1 KR1020190101209A KR20190101209A KR102155860B1 KR 102155860 B1 KR102155860 B1 KR 102155860B1 KR 1020190101209 A KR1020190101209 A KR 1020190101209A KR 20190101209 A KR20190101209 A KR 20190101209A KR 102155860 B1 KR102155860 B1 KR 102155860B1
- Authority
- KR
- South Korea
- Prior art keywords
- rejection
- reason
- inspector
- keyword
- main
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063114—Status monitoring or status determination for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063118—Staff planning in a project environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Physics & Mathematics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
본 발명은 반려 사유 기반의 검수자 모니터링 방법 및 장치에 관한 것이다.The present invention relates to a method and an apparatus for monitoring an examinee based on a reason for revocation.
최근, 기업 활동의 일부 과정에 일반 대중을 참여시키는 크라우드 소싱 기반으로 많은 양의 데이터를 수집 및 가공하는 기업이 늘고 있다. 즉, 기업은 하나의 프로젝트를 오픈하여 일반 대중, 즉 작업자가 해당 프로젝트에 참여하게 함으로써, 작업자에 의해 완료된 작업 결과를 통해 필요한 정보를 수집하게 된다. Recently, more and more companies collect and process large amounts of data on a crowdsourcing basis that engages the general public in some process of corporate activities. In other words, by opening a project and allowing the general public, that is, workers to participate in the project, necessary information is collected through the work results completed by the workers.
이때, 기업은 보다 신뢰도가 높은 정보를 수집하기 위해, 작업자에 의해 완료된 작업 결과를 검수자에게 배정하여 검수 작업을 수행하도록 한다.At this time, in order to collect more reliable information, the company assigns the work result completed by the worker to the inspector to perform the inspection work.
구체적으로, 검수자가 검수 시, 작업 결과가 통과될 수 없다고 판단하게 되면, 이에 대한 반려 사유를 입력하게 된다. 검수자에 의해 입력된 반려 사유는 이후 작업자에 의해 수행되는 작업의 정확성을 더욱 높일 수 있는 가이드가 될 수 있다. Specifically, when the inspector determines that the work result cannot be passed during the inspection, the reason for rejection is input. The reason for rejection entered by the inspector can serve as a guide that can further increase the accuracy of the work performed by the operator in the future.
하지만, 검수자가 검수 작업을 제대로 수행하지 않고, 작업 결과와 관련없는 임의적인 반려 사유를 입력하는 경우, 오히려 이후 작업자가 작업을 수행하는 데 있어 방해가 될 수 있고, 쓸모없는 데이터만 증가시키며, 검수 비용을 부당하게 증가시킬 수 있다는 문제점이 있다.However, if the inspector does not properly perform the inspection work and enters a random reason for rejection that is not related to the work result, it may interfere with the subsequent operator's performance of the work, increasing only useless data, and inspection. There is a problem that the cost can be unreasonably increased.
본 발명이 해결하고자 하는 과제는 검수자에 의해 입력된 반려 사유를 기반으로 검수자를 모니터링하여, 해당 검수자가 불량 검수자인지 아닌지를 판단할 수 있는 반려 사유 기반의 검수자 모니터링 방법 및 장치를 제공하는 것이다.The problem to be solved by the present invention is to provide a method and apparatus for monitoring a reviewer based on a reason for rejection by monitoring an examiner based on the reason for rejection input by the examiner and determining whether the examiner is a defective examiner or not.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems that are not mentioned will be clearly understood by those skilled in the art from the following description.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 반려 사유 기반의 검수자 모니터링 방법은 하나의 프로젝트에 대한 크라우드 소싱 기반의 작업을 복수의 작업자에게 부여하고, 복수의 작업자로부터 작업 결과를 입력받는 단계, 상기 복수의 작업자로부터 입력된 상기 작업 결과를 복수의 검수자가 검수하게 하되, 상기 복수의 검수자로부터 검수를 통과하지 못해 반려한 작업에 대해서 반려 사유를 입력받는 단계, 상기 복수의 검수자로부터 입력된 상기 반려 사유를 전체적으로 수집하는 단계, 수집된 상기 반려 사유에서 복수의 반려 사유 키워드를 추출하는 단계, 추출된 상기 복수의 반려 사유 키워드 중 주요 반려 사유 키워드를 선정하는 단계 및 각 검수자의 반려 사유에 상기 주요 반려 사유 키워드의 포함 유무에 따라 불량 검수자를 선별하는 단계를 포함한다.In the method for monitoring a reviewer based on a reason for rejection according to an aspect of the present invention for solving the above-described problem, the step of assigning a crowd-sourcing-based work for one project to a plurality of workers and receiving work results from the plurality of workers. , Allowing a plurality of inspectors to inspect the work results input from the plurality of workers, but receiving a rejection reason for the rejected job due to failing to pass the inspection from the plurality of inspectors, the input from the plurality of inspectors Collecting the rejection reason as a whole, extracting a plurality of rejection reason keywords from the collected rejection reason keywords, selecting a major rejection reason keyword among the extracted rejection reason keywords, and the main reason for rejection of each examinee. And selecting a defective inspector according to whether or not the keyword for reason of rejection is included.
본 발명의 일부 실시예에서, 상기 복수의 반려 사유 키워드를 추출하는 단계는 문장으로 구성된 반려 사유에서 명사인 단어를 추출하는 것일 수 있다.In some embodiments of the present invention, the step of extracting the plurality of reasons for reaction keywords may include extracting a word, which is a noun, from reasons for reaction consisting of sentences.
본 발명의 일부 실시예에서, 상기 주요 반려 사유 키워드를 선정하는 단계는 각 단어별로 출현 빈도를 계산하는 단계, 상기 출현 빈도를 기준으로 반려 사유 키워드 리스트를 생성하는 단계 및 상기 반려 사유 키워드 리스트에서 소정 순위 내의 단어를 주요 반려 사유 키워드로 선정하는 단계를 포함할 수 있다.In some embodiments of the present invention, the selecting of the main reason for rejection keywords includes calculating an appearance frequency for each word, generating a list of reasons for rejection based on the frequency of occurrence, and predetermined from the list of reason for rejection keywords. It may include the step of selecting a word in the ranking as the main reason for rejection keyword.
본 발명의 일부 실시예에서, 상기 반려 사유 키워드 리스트는 검수자로부터 반려 사유가 입력될 때마다 실시간으로 갱신되는 것일 수 있다.In some embodiments of the present invention, the list of reasons for rejection may be updated in real time whenever a reason for rejection is input by an examiner.
본 발명의 일부 실시예에서, 상기 소정 순위는 신뢰도에 따라 결정되는 것일 수 있다.In some embodiments of the present invention, the predetermined ranking may be determined according to reliability.
본 발명의 일부 실시예에서, 상기 불량 검수자를 선별하는 단계는 각 검수자의 전체 반려 사유 중에서 상기 주요 반려 사유 키워드가 포함된 반려 사유의 건수와 상기 주요 반려 사유 키워드가 미포함된 반려 사유의 건수를 산출하는 것일 수 있다.In some embodiments of the present invention, in the step of selecting the defective examiner, the number of rejection reasons including the main rejection reason keyword among the total rejection reasons of each examiner and the number of rejection reasons without the main rejection reason keyword is calculated. It can be.
본 발명의 일부 실시예에서, 상기 불량 검수자를 선별하는 단계는 각 검수자의 전체 반려 사유 대비 산출된 상기 주요 반려 사유 키워드가 미포함된 반려 사유의 건수의 비율을 산출하는 단계 및 상기 산출된 비율이 미리 설정된 비율 이상인 경우, 해당 검수자를 불량 검수자로 선별하는 단계를 포함할 수 있다.In some embodiments of the present invention, the step of selecting the defective examiner includes calculating a ratio of the number of rejection reasons without the main rejection reason keyword calculated relative to the total rejection reason of each examinee, and the calculated ratio in advance. If the ratio is greater than or equal to the set ratio, the step of selecting the corresponding inspector as a defective inspector may be included.
본 발명의 일부 실시예에서, 상기 미리 설정된 비율은 신뢰도에 따라 설정되는 것일 수 있다.In some embodiments of the present invention, the preset ratio may be set according to reliability.
본 발명의 일부 실시예에서, 상기 불량 검수자로 선별된 검수자가 검수한 작업 결과 중 적어도 일부를 다른 검수자에게 2차 검수하게 하거나, 상기 불량 검수자로 선별된 검수자에게 경고 또는 검수 자격 중지를 포함하는 패널티가 부여될 수 있다.In some embodiments of the present invention, a penalty including having at least a part of the work results inspected by the inspector selected as the defective inspector secondary inspection to another inspector, or warning the inspector selected as the defective inspector or suspending the inspection qualification Can be given.
본 발명의 일부 실시예에서, 상기 주요 반려 사유 키워드는 각 작업자별로 선정되고, 상기 불량 검수자를 선별하는 단계는 각 작업자별 각 검수자의 반려 사유에 상기 작업자별 주요 반려 사유 키워드의 포함 유무에 따라 불량 검수자를 선별하는 것일 수 있다.In some embodiments of the present invention, the main rejection reason keyword is selected for each worker, and the step of selecting the defective inspector is defective according to whether the main rejection reason keyword for each worker is included in the rejection reason of each inspector for each worker. It may be to screen inspectors.
상술한 과제를 해결하기 위한 본 발명의 다른 일 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 반려 사유 기반의 검수자 모니터링 방법을 실행하며, 매체에 저장된다.A computer program according to another aspect of the present invention for solving the above-described problem is combined with a computer that is hardware to execute the method for monitoring the examiner based on the reason for rejection, and is stored in a medium.
상술한 과제를 해결하기 위한 본 발명의 다른 일 면에 따른 반려 사유 기반의 검수자 모니터링 장치는 하나의 프로젝트에 대한 크라우드 소싱 기반의 작업을 복수의 작업자에게 송신하고, 상기 복수의 작업자로부터 작업 결과를 수신하고, 상기 복수의 작업자로부터 입력된 상기 작업 결과를 복수의 검수자가 검수할 수 있도록 상기 복수의 검수자에게 송신하고, 상기 복수의 검수자로부터 검수를 통과하지 못해 반려한 작업에 대해서 반려 사유를 수신하는 통신부, 상기 복수의 검수자로부터 입력된 상기 반려 사유를 전체적으로 수집하고 저장하는 저장부, 수집된 상기 반려 사유에서 복수의 반려 사유 키워드를 추출하고, 추출된 상기 복수의 반려 사유 키워드 중 주요 반려 사유 키워드를 선정하는 추출부 및 각 검수자의 반려 사유에 상기 주요 반려 사유 키워드의 포함 유무에 따라 불량 검수자를 선별하는 판단부를 포함한다.In order to solve the above-described problem, the reviewer monitoring device based on rejection reason according to another aspect of the present invention transmits a crowdsourcing-based work for one project to a plurality of workers, and receives work results from the plurality of workers. And, a communication unit that transmits the result of the work input from the plurality of workers to the plurality of inspectors so that the plurality of inspectors can inspect it, and receives the rejection reason for the rejected job due to failure to pass the inspection from the plurality of inspectors. , A storage unit that collectively collects and stores the rejection reason input from the plurality of examiners, extracts a plurality of rejection reason keywords from the collected rejection reason, and selects a major rejection reason keyword among the extracted rejection reason keywords And a determination unit that selects defective inspectors according to whether or not the main rejection reason keyword is included in the rejection reason of each examinee.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the present invention are included in the detailed description and drawings.
상기와 같은 본 발명의 반려 사유 기반의 검수자 모니터링 방법 및 장치에 따르면, 동일한 프로젝트에 대해 수집된 전체 반려 사유에서 주요 반려 사유 키워드를 추출하여, 각 검수자 별로 입력된 반려 사유에 주요 반려 사유 키워드가 포함되어 있는지를 판단하고, 이를 기반으로 해당 검수자가 불량 검수자인지 아닌지를 선별할 수 있다. According to the reviewer monitoring method and apparatus based on the reason for rejection of the present invention as described above, the keywords for the reason for rejection are extracted from the entire reason for rejection collected for the same project, and the keywords for the reason for rejection input for each examiner are included. It is determined whether or not it is, and based on this, it is possible to select whether the corresponding inspector is a defective inspector.
또한, 불량 검수자로 선별된 검수자가 검수한 작업 결과를 다른 검수자에게 2차 검수하게 하거나, 불량 검수자로 선별된 검수자에게 경고 또는 검수 자격 중지 등의 패널티를 부여함으로써 프로젝트에 대해 수집된 데이터의 정확도를 높일 수 있다.In addition, the accuracy of the data collected for the project can be improved by having the inspector selected as a defective inspector perform a second inspection of the inspection results to another inspector, or giving a penalty such as warning or suspension of the inspection qualifications to the inspectors selected as defective inspectors. You can increase it.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 일 실시예에 따른 크라우드 소싱 서비스의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 크라우드 소싱 기반의 프로젝트의 진행 프로세스를 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 반려 사유 기반의 검수자 모니터링 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 동일한 프로젝트에 대해 생성된 반려 사유 데이터 풀을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 반려 사유 키워드 및 주요 반려 사유 키워드를 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 검수자의 검수 작업 현황을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 검수자의 반려 작업 리스트 중 반려 사유 내 주요 반려 사유 키워드의 포함 유무를 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 검수자에 대한 모니터링 결과를 설명하기 위한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 반려 사유 기반의 검수자 모니터링 장치의 블록도이다.1 is a conceptual diagram of a crowd sourcing service according to an embodiment of the present invention.
2 is a flowchart illustrating a crowdsourcing-based project progress process according to an embodiment of the present invention.
3 is a flowchart of a method for monitoring a reviewer based on a rejection reason according to an embodiment of the present invention.
4 is an exemplary view for explaining a reason data pool for rejection generated for the same project according to an embodiment of the present invention.
5 is an exemplary diagram for explaining a reason for rejection keyword and a main reason for rejection according to an embodiment of the present invention.
6 is an exemplary view for explaining the status of an inspector's inspection work according to an embodiment of the present invention.
FIG. 7 is an exemplary diagram for explaining whether or not a keyword for a main reason for rejection in a reason for rejection is included in a rejection task list of an examinee according to an embodiment of the present invention.
8 is an exemplary view for explaining a monitoring result for an inspector according to an embodiment of the present invention.
9 is a block diagram of an examiner monitoring apparatus based on a reason for rejection according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, only the present embodiments are intended to complete the disclosure of the present invention, It is provided to fully inform the technician of the scope of the present invention, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terms used in the present specification are for describing exemplary embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, “comprises” and/or “comprising” do not exclude the presence or addition of one or more other elements other than the mentioned elements. Throughout the specification, the same reference numerals refer to the same elements, and “and/or” includes each and all combinations of one or more of the mentioned elements. Although "first", "second", and the like are used to describe various elements, it goes without saying that these elements are not limited by these terms. These terms are only used to distinguish one component from another component. Therefore, it goes without saying that the first component mentioned below may be the second component within the technical idea of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used as meanings that can be commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not interpreted ideally or excessively unless explicitly defined specifically.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 크라우드 소싱 서비스의 개념도이다.1 is a conceptual diagram of a crowd sourcing service according to an embodiment of the present invention.
도 1을 참조하면, 크라우드 소싱 서비스는 의뢰자(10), 서비스 제공 업체(20) 및 대중(30)으로 구성되어 수행된다.Referring to FIG. 1, a crowdsourcing service is performed by being composed of a
의뢰자(10)는 크라우드 소싱 기반의 프로젝트(이하, 프로젝트)를 의뢰하는 기업이나 개인을 의미한다.The
의뢰자(10)는 소스 데이터의 수집 또는 데이터 어노테이션 등을 목적으로 프로젝트를 의뢰한다. 소스 데이터의 수집은 녹음된 음성 수집, 사진 수집 등 가공되지 않은 데이터를 수집하는 것을 의미한다. 데이터 어노테이션은 텍스트, 사진, 비디오 등의 소스 데이터에 관련 주석 데이터를 입력하는 것을 의미한다. 예들 들어, 데이터 어노테이션은 주어진 지문에서 개체를 찾는 것, 유사한 문장을 찾는 것 등이 있을 수 있으나 이에 제한되지 않는다.The requester 10 requests a project for the purpose of collecting source data or annotating data. Collection of source data refers to collecting raw data such as recorded voice collection and photo collection. Data annotation refers to inputting relevant annotation data into source data such as text, photos, and videos. For example, the data annotation may include finding an entity in a given fingerprint or finding a similar sentence, but is not limited thereto.
서비스 제공 업체(20)는 크라우드 소싱 서비스를 제공하는 기업을 의미한다.The
서비스 제공 업체(20)는 의뢰자(10)로부터 제품 또는 서비스에 대한 프로젝트를 의뢰받으면, 해당 프로젝트에 대한 작업을 일반 대중(30)에게 배정하여 대중(30)으로부터 작업 결과를 제공받는다. 이후, 작업 결과를 기반으로 추출된 최종 산출물을 의뢰자(10)에게 제공한다.When the
이때, 서비스 제공 업체(20)는 크라우드 소싱 플랫폼(이하, 플랫폼)을 통해 의뢰자(10) 및 대중(30)에게 크라우드 소싱 서비스를 제공한다. 즉, 서비스 제공 업체(20)는 의뢰자(10)로부터 프로젝트를 의뢰받으면, 플랫폼에 프로젝트를 오픈한다. 이후, 대중(30)으로부터 오픈된 프로젝트에 대한 작업 결과를 제공받으면, 해당 프로젝트를 플랫폼 상에서 종료하고, 최종 산출물을 추출하여 의뢰자(10)에게 제공할 수 있다.At this time, the
대중(30)은 플랫폼에 오픈된 프로젝트에 참여하는 일반 대중을 의미한다. 여기서, 대중(30)은 서비스 제공 업체(20)가 제공하는 애플리케이션 또는 웹사이트 등을 통해 플랫폼에 오픈된 프로젝트에 참여할 수 있다. The public 30 refers to the general public participating in the project open on the platform. Here, the public 30 may participate in a project opened on the platform through an application or website provided by the
대중(30)은 작업자(32) 및 검수자(34)로 구성된다.The public 30 is composed of a
작업자(32)는 플랫폼에 오픈된 복수의 프로젝트 중 특정 프로젝트에 참여를 결정한다. 이후, 작업자(32)는 소스 데이터의 수집 또는 데이터 어노테이션 등의 작업을 수행하고, 이를 플랫폼에 전송한다.The
검수자(34)는 플랫폼에 오픈된 복수의 프로젝트 중 특정 프로젝트에 참여를 결정한다. 이후, 검수자(34)는 작업자(32)가 수행한 작업 결과에 대한 검수를 수행한다. 검수자(34)는 검수 수행 결과로서, 작업 통과 또는 반려를 할 수 있고, 작업 반려 시 반려 사유를 입력할 수 있다.The
도 2는 본 발명의 일 실시예에 따른 크라우드 소싱 기반의 프로젝트의 진행 프로세스를 설명하기 위한 흐름도이다. 2 is a flowchart illustrating a crowdsourcing-based project progress process according to an embodiment of the present invention.
먼저, 의뢰자(10)가 서비스 제공 업체(20)로 프로젝트를 의뢰한다(S41).First, the
이후, 서비스 제공 업체(20)는 의뢰된 프로젝트를 플랫폼 상에 오픈한다(S42). 이때, 서비스 제공 업체(20)는 프로젝트 오픈 전에, 해당 프로젝트의 난이도 등을 고려하여 등급을 결정한다. 즉, 난이도에 따라 어떤 등급 이상의 대중(30)에게 해당 프로젝트를 노출시킬지를 결정한다. 이에 따라, 프로젝트의 작업 결과의 신뢰도를 높일 수 있게 된다.Thereafter, the
이후, 서비스 제공 업체(20)는 프로젝트의 등급에 따라 해당 등급 이상의 작업자(32)에게 작업을 배정한다(S43).Thereafter, the
이후, 작업자(32)는 배정된 작업을 수행하게 된다(S44). 이때, 작업자(32)는 어떤 이유에 의해 작업 자체가 불가능한 작업에 대해서는 작업을 수행하지 않고 작업 불가 사유를 입력할 수 있다.Thereafter, the
이후, 서비스 제공 업체(20)는 작업자(32)로부터 작업 결과를 제공받고(S45), 해당 작업 결과에 대한 검수 작업을 검수자(34)에게 배정한다(S46).Thereafter, the
이후, 검수자(34)는 배정된 검수를 수행하게 된다(S47). 이때, 검수자(34)는 작업이 제대로 수행된 것으로 판단하면 검수 통과를 결정하고, 검수 작업이 잘못된 것으로 판단하면 반려를 결정한다. 반려 결정 시, 검수자(34)는 어떤 이유로 작업이 잘못된 것으로 판단했는지에 대한 반려 사유를 입력한다.Thereafter, the
이후, 서비스 제공 업체(20)는 검수자(34)로부터 검수 결과를 제공받는다(S48). Thereafter, the
검수 결과가 통과인 경우, 서비스 제공 업체(20)는 해당 작업 결과를 유효한 데이터로 사용하여, 이를 기반으로 하여 프로젝트 종료 시 최종 산출물을 추출하게 된다.If the inspection result is Pass, the
검수 결과가 반려인 경우, 서비스 제공 업체(20)는 내부적으로 검수를 다시 수행하거나, 작업자(32)에게 다시 작업을 배정하여 작업을 수행하게 할 수도 있다.If the inspection result is rejected, the
이후, 서비스 제공 업체(20)는 프로젝트 기간이 종료되거나 충분한 유효 데이터를 확보하게 되면 해당 프로젝트를 종료하고(S49), 확보된 유효 데이터를 기반으로 최종 결과물을 산출하여 의뢰자(10)에게 제공한다(S50).Thereafter, when the project period ends or sufficient valid data is secured, the
이때, 프로젝트 종료 전, 서비스 제공 업체(20)는 작업자(32) 및 검수자(34)의 수행 결과를 평가하고, 평가에 따라 작업 비용 및 검수 비용을 산출하여 작업자(32) 및 검수자(34)에게 지급한다.At this time, before the end of the project, the
도 1 및 도 2에서는 단순히 의뢰자, 서비스 제공 업체, 작업자, 검수자로 표현하였으나, 이들은 각 참여자에 의해서 운용되는 스마트폰, 태블릿, PDA, 랩톱, 데스크톱, 서버 등과 같은 컴퓨터 장치 또는 전기 통신 장치를 의미한다. In Figs. 1 and 2, it is simply expressed as a client, service provider, worker, and inspector, but these refer to computer devices or telecommunication devices such as smartphones, tablets, PDAs, laptops, desktops, servers, etc. operated by each participant. .
도 3은 본 발명의 일 실시예에 따른 반려 사유 기반의 검수자 모니터링 방법의 흐름도이고, 도 4는 본 발명의 일 실시예에 따른 동일한 프로젝트에 대해 생성된 반려 사유 데이터 풀을 설명하기 위한 예시도이고, 도 5는 본 발명의 일 실시예에 따른 반려 사유 키워드 및 주요 반려 사유 키워드를 설명하기 위한 예시도이고, 도 6은 본 발명의 일 실시예에 따른 검수자의 검수 작업 현황을 설명하기 위한 예시도이고, 도 7은 본 발명의 일 실시예에 따른 검수자의 반려 작업 리스트 중 반려 사유 내 주요 반려 사유 키워드의 포함 유무를 설명하기 위한 예시도이고, 도 8은 본 발명의 일 실시예에 따른 검수자에 대한 모니터링 결과를 설명하기 위한 예시도이다.3 is a flowchart of a method for monitoring a reviewer based on a reason for rejection according to an embodiment of the present invention, and FIG. 4 is an exemplary view for explaining a data pool for reason data generated for the same project according to an embodiment of the present invention. 5 is an exemplary diagram for explaining a reason for rejection keyword and a main reason for rejection keyword according to an embodiment of the present invention, and FIG. 6 is an exemplary view for explaining the status of the reviewer's inspection work according to an embodiment of the present invention 7 is an exemplary view for explaining whether or not the main reason for rejection keyword in the reason for rejection is included in the searcher's companion work list according to an embodiment of the present invention, and FIG. It is an exemplary diagram for explaining the monitoring result for the.
도 3에 도시된 단계 S110 내지 S160은 서비스 제공 업체(20)에 의해 운영되는 플랫폼 서버(이하, 서버)에 의해 수행되는 것으로 이해될 수 있지만, 이에 제한되는 것은 아니다.Steps S110 to S160 shown in FIG. 3 may be understood as being performed by a platform server (hereinafter, referred to as a server) operated by the
도 3을 참조하면, 단계 S110에서, 서버는 복수의 작업자(32)로부터 작업 결과를 입력받는다.Referring to FIG. 3, in step S110, the server receives work results from a plurality of
서버는 프로젝트가 배정된 복수의 작업자(32)에 의해 수행된 복수의 작업 결과를 제공받게 된다.The server is provided with the results of a plurality of tasks performed by a plurality of
여기서, 복수의 작업자(32)는 소정의 단말 장치를 이용하여 작업을 수행한다. 작업자(32)의 단말 장치는 스마트폰, 태블릿, PDA, 랩톱, 데스크톱 등과 같은 컴퓨터 장치 또는 전기 통신 장치일 수 있으나, 이에 제한되는 것은 아니다.Here, the plurality of
이어서, 단계 S120에서, 서버는 작업 결과를 복수의 검수자(34)가 검수하게 한다. 이때, 서버는 검수자(34)에게 검수를 통과하지 못해 반려한 작업에 대해서는 반려 사유를 입력하게 한다.Then, in step S120, the server causes the plurality of
여기서, 복수의 검수자(34)는 소정의 단말 장치를 이용하여 작업을 수행한다. 검수자(34)의 단말 장치는 스마트폰, 태블릿, PDA, 랩톱, 데스크톱 등과 같은 컴퓨터 장치 또는 전기 통신 장치일 수 있으나, 이에 제한되는 것은 아니다.Here, the plurality of
이어서, 단계 S130에서, 서버는 복수의 검수자(34)로부터 입력된 반려 사유를 전체적으로 수집한다. Subsequently, in step S130, the server collectively collects the rejection reason input from the plurality of
이때, 서버는 수집되는 반려 사유를 각 검수자별로 분류하여 저장할 수 있다.In this case, the server may classify and store the collected rejection reasons for each inspector.
일 실시예로, 서버는 각 프로젝트에 대한 반려 사유를 수집하여 각 프로젝트별로 반려 사유 데이터 풀을 생성할 수 있다.In one embodiment, the server may collect the rejection reason for each project and generate a rejection reason data pool for each project.
도 4를 참조하면, 동일한 프로젝트 ID가 부여된 반려 사유가 하나의 행(row)씩 기록된 반려 사유 데이터 풀이 생성될 수 있다. Referring to FIG. 4, a rejection reason data pool in which rejection reasons to which the same project ID is assigned are recorded one row at a time may be generated.
이어서, 다시 도 3을 참조하면, 단계 S140에서, 서버는 수집된 반려 사유에서 복수의 반려 사유 키워드를 추출한다.Subsequently, referring to FIG. 3 again, in step S140, the server extracts a plurality of rejection reason keywords from the collected rejection reason.
구체적으로, 서버는 문장으로 구성된 반려 사유에서 명사인 단어를 추출한다. Specifically, the server extracts a word, which is a noun, from the reason for the reaction composed of sentences.
예를 들어, 도 4를 참조하면, "울림이 있습니다."라는 문장의 반려 사유에서 명사인 "울림"을 반려 사유 키워드로 추출할 수 있다. 또한, "잡음이 섞였습니다."라는 문장의 반려 사유에서 명사인 "잡음"을 반려 사유 키워드로 추출할 수 있다.For example, referring to FIG. 4, from the reason for the rejection of the sentence "There is an echo", the noun "woolim" may be extracted as the keyword for the reason for rejection. In addition, the noun “noise” can be extracted as the keyword for the reason for rejection from the reason for rejection in the sentence "Noise is mixed."
이어서, 다시 도 3을 참조하면, 단계 S150에서, 서버는 추출된 복수의 반려 사유 키워드 중 주요 반려 사유 키워드를 선정한다.Subsequently, referring to FIG. 3 again, in step S150, the server selects a major rejection reason keyword from among a plurality of extracted rejection reason keywords.
구체적으로, 서버는 반려 사유 키워드로 추출된 각 단어별로 출현 빈도를 계산하고, 출현 빈도를 기준으로 반려 사유 키워드 리스트를 생성한다. 그리고, 반려 사유 키워드 리스트에서 소정 순위 내의 단어를 주요 반려 사유 키워드로 선정한다.Specifically, the server calculates the frequency of occurrence of each word extracted as the reason for rejection keyword, and generates a list of reasons for rejection based on the frequency of appearance. In addition, a word within a predetermined ranking is selected as the main reason for the rejection keyword from the list of reasons for rejection.
예를 들어, 도 5를 참조하면, 울림, 잡음, 이어폰, 어색, 흐림 등의 단어가 반려 사유 키워드로 추출되고, 각 단어의 출현 빈도에 따라 순위가 부여되어 나열된다. 이때, 서버는 3 순위 내의 단어 즉, 울림, 잡음, 이어폰을 주요 반려 사유 키워드로 선정할 수 있다.For example, referring to FIG. 5, words such as ringing, noise, earphones, awkwardness, and blur are extracted as keywords for reasons of rejection, and are ranked according to the frequency of occurrence of each word and listed. At this time, the server may select words in the 3 rankings, ie, ringing, noise, and earphone as the main reason for returning keywords.
일 실시예로, 주요 반려 사유 키워드로 선정되는 소정 순위는 신뢰도에 따라 서버가 미리 설정한 값이다. 즉, 서버는 의뢰자(10)가 요구한 수준 또는 프로젝트의 성격에 따라 요구되는 수준의 신뢰도에 따라 주요 반려 사유 키워드로 선정되는 단어의 개수를 조절할 수 있다.In an embodiment, a predetermined ranking selected as the main reason for rejection is a value previously set by the server according to the reliability. That is, the server may adjust the number of words selected as the main reason for rejection keyword according to the level requested by the
또한, 일 실시예로, 반려 사유 키워드 리스트는 검수자(34)로부터 반려 사유가 입력될 때마다 실시간으로 갱신된다. In addition, in one embodiment, the list of reasons for rejection is updated in real time whenever the reason for rejection is input from the
즉, 작업자(32)의 작업 결과에 대한 검수가 실시간으로 이루어지기 때문에, 검수자(34)에 의해 입력되는 반려 사유는 실시간으로 반려 사유 데이터 풀에 수집된다. 서버는 반려 사유 데이터 풀에 수집되는 반려 사유에서 반려 사유 키워드를 실시간으로 추출해낸다. 이에 따라, 각각의 반려 사유 키워드의 출현 빈도가 실시간으로 갱신되게 되고, 복수의 반려 사유 키워드가 출현 빈도 순으로 나열되는 반려 사유 키워드 리스트 역시 실시간으로 갱신되게 된다.That is, since the inspection of the work result of the
예를 들어, 도 5를 참조하면, 반려 사유가 지속적으로 입력됨에 따라, 1 순위였던 '울림'이 2 순위로 갱신되고, 2 순위였던 '잡음'이 1 순위로 갱신될 수 있다.For example, referring to FIG. 5, as the reason for rejection is continuously input,'Ullim', which was the first priority, may be updated to the second priority, and the'Noise', which was the second priority, may be updated to the first priority.
일 실시예로, 도 6을 참조하면, 서버는 동일한 프로젝트에 참여한 검수자 A, 검수자 B, 검수자 C, 검수자 D 별로 검수 진행 상황을 나타내는 리스트를 생성한다. As an embodiment, referring to FIG. 6, the server generates a list indicating the progress of the inspection for each inspector A, inspector B, inspector C, and inspector D participating in the same project.
리스트는 검수자 별 참여 태스크 수, 정상작업 건수, 반려작업 건수, 작업 총 건수를 나타낸다. The list shows the number of participating tasks by inspector, the number of normal jobs, the number of rejected jobs, and the total number of jobs.
참여 태스크 수는 프로젝트에 참여한 검수자에게 배정된 총 태스크 중 검수자(34)가 현재 참여하고 있는 태스크를 나타낸다. 이때, 총 태스크는 프로젝트에 참가하는 검수자(34)에게 모두 동일하게 부여되고, 각 태스크에는 복수의 작업이 포함되어 있어, 검수자(34)는 하나의 태스크에 포함된 전체 작업을 완료해야 하나의 태스크를 완료하게 되는 것이다. The number of participating tasks represents the tasks that the
정상작업 건수는 검수자(34)가 검수를 완료한 총 작업 건수 중 검수 통과한 작업의 건수를 의미하고, 반려작업 건수는 검수자(34)가 검수를 완료한 총 작업 건수 중 반려한 작업의 건수를 의미한다.The number of normal jobs refers to the number of jobs that have passed the inspection out of the total number of jobs that the inspector (34) completed inspection, and the number of rejected jobs is the number of jobs rejected out of the total number of jobs that the inspector (34) completed inspection. it means.
작업 총 건수는 검수자(34)에게 부여된 총 작업 건수 중 검수를 완료한 작업의 건수를 의미한다.The total number of jobs means the number of jobs that have completed the inspection out of the total number of jobs assigned to the
예를 들어, 검수자 A는 총 5개의 태스크 중에서 세번째 태스크에 참여하고 있는 중이며, 이전 첫번째 태스크와 두번째 태스크는 모두 완료한 상태일 수 있다. 또한, 검수자 A는 총 17502건의 작업 중 5795건의 작업을 검수 완료한 상태이고, 그 중 5573건에 대해서는 검수 통과를 결정하고, 222건에 대해 반려를 결정한 상태임을 확인할 수 있다.For example, inspector A may be participating in a third task out of a total of five tasks, and both the previous first task and the second task have been completed. In addition, it can be seen that the inspector A has completed 5795 of the total 17502 jobs, and has decided to pass the inspection for 5573 of them, and has decided to reject 222 cases.
이어서, 도 3을 다시 참조하면, 단계 S160에서, 서버는 각 검수자의 반려 사유에 주요 반려 사유 키워드의 포함 유무를 체크하고, 주요 반려 사유 키워드의 포함 유무에 따라 불량 검수자를 선별한다.Subsequently, referring again to FIG. 3, in step S160, the server checks whether or not the main rejection reason keyword is included in each examinee's rejection reason, and selects the defective inspector according to whether or not the main rejection reason keyword is included.
즉, 도 7을 참조하면, 서버는 검수자 A의 반려 건 각각에 대해 주요 반려 사유 키워드가 포함되었는지를 확인하여 반려작업 리스트를 생성할 수 있다.That is, referring to FIG. 7, the server may generate a rejection task list by checking whether the main rejection reason keyword is included for each rejection of the examinee A.
예를 들어, 주요 반려 사유 키워드가 울림, 잡음, 이어폰으로 선정된 경우, 포함 유무가 'O'로 표시되어 있는 반려 사유에는 울림, 잡음, 이어폰 중 적어도 하나의 단어가 포함된 것임을 알 수 있다.For example, when the keywords for the main reason for the companionship are selected as ringing, noise, or earphone, it can be seen that at least one word of ringing, noise, and earphone is included in the reason for the companion marked with'O'.
이후, 주요 반려 사유 키워드의 포함 유무가 표시된 리스트를 기반으로, 서버는 각 검수자의 전체 반려 사유 중에서 주요 반려 사유 키워드가 포함된 반려 사유의 건수와 주요 반려 사유 키워드가 미포함된 반려 사유의 건수를 산출한다.Thereafter, based on the list indicating the presence or absence of the main reason for rejection, the server calculates the number of rejection reasons including the main reason for rejection keyword among the total rejection reasons of each inspector and the number of rejection reasons that do not include the main reason for rejection keyword. do.
즉, 서버는 검수자 A의 반려작업 리스트 내의 'O' 및 'X' 표시를 통해, 검수자 A의 주요 반려 사유 키워드 포함 건수와 미포함 건수가 각각 몇 개인지를 산출해낸다.In other words, the server calculates the number of cases with and without the main reason for rejection keywords of inspector A by displaying'O' and'X' in the list of rejection tasks of examiner A.
구체적으로, 서버는 각 검수자의 전체 반려 사유 대비 산출된 상기 주요 반려 사유 키워드가 미포함 건수의 비율을 산출하고, 산출된 비율이 미리 설정된 비율 이상인 경우, 해당 검수자를 불량 검수자로 판단하게 된다. 이때, 미리 설정된 비율은 신뢰도에 따라 서버에 의해 미리 설정되는 것이다. 즉, 서버는 의뢰자(10)가 요구한 수준 또는 프로젝트의 성격에 따라 요구되는 수준의 신뢰도가 높을수록 해당 비율을 낮게 설정할 수 있다.Specifically, the server calculates the ratio of the number of cases in which the main rejection reason keyword calculated relative to the total rejection reason of each examinee, and when the calculated ratio is greater than or equal to a preset ratio, the server determines the examinee as a defective examiner. At this time, the preset ratio is preset by the server according to the reliability. That is, the server may set the corresponding ratio lower as the reliability of the level requested by the
예를 들어, 도 8을 참조하면, 검수자 A의 총 반려작업 건수는 150개이고, 이 중에서 주요 반려 사유 키워드가 미포함된 건수가 83개임을 확인할 수 있다. 즉, 검수자 A의 반려 건 중 55.3%는 주요 반려 사유가 포함되지 않고 있는 것이다. For example, referring to FIG. 8, it can be seen that the total number of rejection tasks of inspector A is 150, of which the number of cases in which the main rejection reason keyword is not included is 83. In other words, 55.3% of Inspector A's rejection cases do not include the main reason for rejection.
이때, 서버에 의해 미리 설정된 비율이 60%인 경우, 검수자 A는 모니터링 결과, 정상 검수자로 판단된다.At this time, if the ratio set in advance by the server is 60%, inspector A is determined as a normal inspector as a result of monitoring.
반면에, 서버에 의해 미리 설정된 비율이 50%인 경우, 검수자 A의 미포함 건수의 비율이 55.3%이므로, 검수자 A는 모니터링 결과, 불량 검수자로 판단되게 된다.On the other hand, if the ratio set in advance by the server is 50%, since the ratio of the number of cases not included in inspector A is 55.3%, inspector A is judged as a defective inspector as a result of monitoring.
이후, 서버는 불량 검수자로 판단된 검수자에게는 패널티를 부여한다.After that, the server gives a penalty to the inspector who is determined to be a defective inspector.
예를 들어, 불량 검수자로 판단된 검수자는 이후의 검수를 수행할 수 없도록 검수 자격이 중지될 수 있고, 또는 해당 검수자가 검수한 작업 결과 중 적어도 일부를 다른 검수자가 2차 검수하게 할 수도 있고, 또는 경고를 통해 주의를 줄 수도 있다.For example, an inspector who is determined to be a defective inspector may have his or her qualifications for inspection suspended so that subsequent inspections cannot be performed, or another inspector may have a second inspector inspect at least some of the work results inspected by the inspector, Or, you can give your attention through a warning.
일 실시예로, 주요 반려 사유 키워드는 작업자별로 선정되어 불량 검수자 선별 시 신뢰도를 높일 수 있다. 이 경우, 각 작업자별 각 검수자의 반려 사유에 작업자별 주요 반려 사유 키워드의 포함 유무에 따라 불량 검수자를 선별할 수 있다.In one embodiment, the main reason for rejection keywords are selected for each worker, thereby increasing reliability when selecting a defect inspector. In this case, the defective inspectors can be selected according to whether or not the main rejection reason keyword for each worker is included in the reason for rejection of each inspector for each worker.
즉, 작업자(32)는 동일한 잘못을 반복적으로 하기 때문에, 각 작업자의 작업이 반려되는 이유는 거의 비슷하다. 반면에, 불량한 검수자(34)는 반려 시 작업자의 작업 내용에 관계없이 임의적인 반려 사유를 입력한다. 따라서, 하나의 작업자의 작업 결과를 복수의 검수자가 검수하는 경우, 작업자별로 주요 반려 사유 키워드를 선정하게 되면, 어떤 검수자가 검수를 제대로 수행하고 있지 않은지를 쉽게 확인할 수 있게 된다. That is, since the
도 9는 본 발명의 일 실시예에 따른 반려 사유 기반의 검수자 모니터링 장치의 블록도이다.9 is a block diagram of an examiner monitoring apparatus based on a reason for rejection according to an embodiment of the present invention.
도 9를 참조하면, 반려 사유 기반의 검수자 모니터링 장치(200)(이하, '검수자 모니터링 장치'라 한다)는, 통신부(210), 저장부(220), 추출부(230), 및 판단부(240)를 포함한다.Referring to FIG. 9, the reviewer monitoring device 200 (hereinafter, referred to as'tester monitoring device') based on a rejection reason includes a
통신부(210)는 하나의 프로젝트에 대한 크라우드 소싱 기반의 작업을 복수의 작업자에게 송신하고, 상기 복수의 작업자로부터 작업 결과를 수신하고, 상기 복수의 작업자로부터 입력된 상기 작업 결과를 복수의 검수자가 검수할 수 있도록 상기 복수의 검수자에게 송신하고, 상기 복수의 검수자로부터 검수를 통과하지 못해 반려한 작업에 대해서 반려 사유를 수신하는 역할을 수행한다. The
저장부(220)는 복수의 검수자로부터 입력된 상기 반려 사유를 전체적으로 수집하고 저장하는 역할을 수행한다.The
추출부(230)는 수집된 상기 반려 사유에서 복수의 반려 사유 키워드를 추출하고, 추출된 상기 복수의 반려 사유 키워드 중 주요 반려 사유 키워드를 선정하는 역할을 수행한다.The
판단부(240)는 각 검수자의 반려 사유에 상기 주요 반려 사유 키워드의 포함 유무에 따라 불량 검수자를 선별하는 역할을 수행한다.The
도 9를 참조하여 설명한 검수자 모니터링 장치(200)는 상술한 서버의 구성요소로 제공될 수 있다.The
이상에서 전술한 본 발명의 일 실시예에 따른 반려 사유 기반의 검수자 모니터링 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.The above-described method for monitoring an examiner based on a rejection reason according to an exemplary embodiment of the present invention may be implemented as a program (or application) and stored in a medium in order to be executed by being combined with a computer that is hardware.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-described program includes C, C++, JAVA, Ruby, which can be read by a processor (CPU) of the computer through the device interface of the computer, in order for the computer to read the program and execute the methods implemented as a program. It may include a code (Code) coded in a computer language such as machine language. Such code may include a functional code related to a function that defines necessary functions for executing the methods, and includes a control code related to an execution procedure necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, these codes may further include additional information required for the processor of the computer to execute the functions, or code related to a memory reference to which location (address address) of the internal or external memory of the computer should be referenced. have. In addition, when the processor of the computer needs to communicate with any other computer or server in the remote in order to execute the functions, the code uses the communication module of the computer to determine how It may further include a communication-related code for whether to communicate, what kind of information or media should be transmitted and received during communication.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The stored medium is not a medium that stores data for a short moment, such as a register, cache, memory, etc., but a medium that stores data semi-permanently and can be read by a device. Specifically, examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. That is, the program may be stored in various recording media on various servers to which the computer can access, or on various recording media on the user's computer. In addition, the medium may be distributed over a computer system connected through a network, and computer-readable codes may be stored in a distributed manner.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. In the above, embodiments of the present invention have been described with reference to the accompanying drawings, but those of ordinary skill in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features. You can understand. Therefore, the embodiments described above are illustrative in all respects, and should be understood as non-limiting.
10 : 의뢰자
20 : 서비스 제공 업체
30 : 대중
32 : 작업자
34 : 검수자
200 : 검수자 모니터링 장치
210 : 통신부
220 : 저장부
230 : 추출부
240 : 판단부10: Client
20: service provider
30: public
32: worker
34: inspector
200: inspector monitoring device
210: communication department
220: storage unit
230: extraction unit
240: judgment unit
Claims (12)
하나의 프로젝트에 대한 크라우드 소싱 기반의 작업을 복수의 작업자에게 부여하고, 복수의 작업자로부터 작업 결과를 입력받는 단계;
상기 복수의 작업자로부터 입력된 상기 작업 결과를 복수의 검수자가 검수하게 하되, 상기 복수의 검수자로부터 검수를 통과하지 못해 반려한 작업에 대해서 반려 사유를 입력받는 단계;
상기 복수의 검수자로부터 입력된 상기 반려 사유를 전체적으로 수집하는 단계;
상기 전체적으로 수집된 반려 사유에서 복수의 반려 사유 키워드를 추출하는 단계;
추출된 상기 복수의 반려 사유 키워드 중 주요 반려 사유 키워드를 선정하는 단계; 및
각 검수자의 반려 사유에 상기 주요 반려 사유 키워드의 포함 유무에 따라 불량 검수자를 선별하는 단계를 포함하되,
상기 불량 검수자를 선별하는 단계는,
각 검수자의 전체 반려 사유 중에서 상기 주요 반려 사유 키워드가 포함된 반려 사유의 건수와 상기 주요 반려 사유 키워드가 미포함된 반려 사유의 건수를 산출하는 단계;
각 검수자의 전체 반려 사유 대비 산출된 상기 주요 반려 사유 키워드가 미포함된 반려 사유의 건수의 비율을 산출하는 단계; 및
상기 산출된 비율이 미리 설정된 비율 이상인 경우, 해당 검수자를 임의적인 반려 사유를 입력하는 것으로 판별하여 불량 검수자로 선별하는 단계를 포함하는, 반려 사유 기반의 검수자 모니터링 방법.As a method performed by a computer,
Granting a crowd-sourcing-based work for one project to a plurality of workers, and receiving work results from the plurality of workers;
Allowing a plurality of inspectors to inspect the work results input from the plurality of workers, but receiving a rejection reason for the rejected job due to failing to pass the inspection from the plurality of inspectors;
Collecting the rejection reason inputted from the plurality of inspectors as a whole;
Extracting a plurality of keyword reason for rejection from the collectively collected reason for rejection;
Selecting a main reason for rejection keyword from among the extracted reason keywords for rejection; And
Including the step of selecting a defective inspector according to whether or not the main rejection reason keyword is included in the rejection reason of each examinee,
The step of selecting the defective inspector,
Calculating the number of rejection reasons including the main rejection reason keyword and the number of rejection reasons not including the major rejection reason keyword among the total rejection reasons of each examinee;
Calculating a ratio of the number of rejection reasons that do not include the main rejection reason keyword calculated relative to the total rejection reason of each examinee; And
If the calculated ratio is greater than or equal to a preset ratio, the method of monitoring a rejection reason-based examiner comprising the step of determining that the examinee is inputting a reason for rejection and selecting a defect examiner.
상기 복수의 반려 사유 키워드를 추출하는 단계는,
문장으로 구성된 반려 사유에서 명사인 단어를 추출하는 것인, 반려 사유 기반의 검수자 모니터링 방법.The method of claim 1,
The step of extracting the plurality of reasons for rejection keywords,
A method for monitoring a reviewer based on a reason for a companion, which extracts a word that is a noun from the reason for the companion composed of sentences.
상기 주요 반려 사유 키워드를 선정하는 단계는,
각 단어별로 출현 빈도를 계산하는 단계;
상기 출현 빈도를 기준으로 반려 사유 키워드 리스트를 생성하는 단계; 및
상기 반려 사유 키워드 리스트에서 소정 순위 내의 단어를 주요 반려 사유 키워드로 선정하는 단계를 포함하는, 반려 사유 기반의 검수자 모니터링 방법.The method of claim 2,
The step of selecting the main reason for rejection keyword,
Calculating an appearance frequency for each word;
Generating a list of reasons for rejection based on the frequency of occurrence; And
Including the step of selecting a word within a predetermined ranking in the keyword reason for rejection as the main reason for rejection keyword, the reviewer monitoring method based on the reason for rejection.
상기 반려 사유 키워드 리스트는 검수자로부터 반려 사유가 입력될 때마다 실시간으로 갱신되는 것인, 반려 사유 기반의 검수자 모니터링 방법.The method of claim 3,
The reason for rejection keyword list is updated in real time whenever the reason for rejection is input from the examiner.
상기 소정 순위는 상기 프로젝트의 요구 수준의 신뢰도에 따라 결정되는 것인, 반려 사유 기반의 검수자 모니터링 방법.The method of claim 3,
The predetermined ranking is determined according to the reliability of the required level of the project, a rejection reason-based inspector monitoring method.
상기 미리 설정된 비율은 상기 프로젝트의 요구 수준의 신뢰도에 따라 설정되는 것인, 반려 사유 기반의 검수자 모니터링 방법.The method of claim 1,
The preset ratio is set according to the reliability of the required level of the project, the reviewer monitoring method based on rejection reason.
상기 불량 검수자로 선별된 검수자가 검수한 작업 결과 중 적어도 일부를 다른 검수자에게 2차 검수하게 하거나, 상기 불량 검수자로 선별된 검수자에게 경고 또는 검수 자격 중지를 포함하는 패널티가 부여되는, 반려 사유 기반의 검수자 모니터링 방법.The method of claim 1,
Rejection reason-based, in which at least a part of the work results inspected by the inspector selected as the defective inspector is secondarily inspected by another inspector, or a penalty including warning or suspension of inspection qualification is given to the inspector selected as the defective inspector. How to monitor inspectors.
상기 주요 반려 사유 키워드는 각 작업자별로 선정되고,
상기 불량 검수자를 선별하는 단계는, 각 작업자별 각 검수자의 반려 사유에 상기 작업자별 주요 반려 사유 키워드의 포함 유무에 따라 불량 검수자를 선별하는 것인, 반려 사유 기반의 검수자 모니터링 방법.The method of claim 1,
The keywords for the main reason for rejection are selected for each worker,
The step of selecting the defective inspector is to select the defective inspector according to whether the main rejection reason keyword for each worker is included in the rejection reason of each inspector for each worker, the inspection method based on rejection reason.
하나의 프로젝트에 대한 크라우드 소싱 기반의 작업을 복수의 작업자에게 송신하고, 상기 복수의 작업자로부터 작업 결과를 수신하고, 상기 복수의 작업자로부터 입력된 상기 작업 결과를 복수의 검수자가 검수할 수 있도록 상기 복수의 검수자에게 송신하고, 상기 복수의 검수자로부터 검수를 통과하지 못해 반려한 작업에 대해서 반려 사유를 수신하는 통신부;
상기 복수의 검수자로부터 입력된 상기 반려 사유를 전체적으로 수집하고 저장하는 저장부;
상기 전체적으로 수집된 반려 사유에서 복수의 반려 사유 키워드를 추출하고, 추출된 상기 복수의 반려 사유 키워드 중 주요 반려 사유 키워드를 선정하는 추출부; 및
각 검수자의 반려 사유에 상기 주요 반려 사유 키워드의 포함 유무에 따라 불량 검수자를 선별하는 판단부를 포함하되,
상기 판단부는,
각 검수자의 전체 반려 사유 중에서 상기 주요 반려 사유 키워드가 포함된 반려 사유의 건수와 상기 주요 반려 사유 키워드가 미포함된 반려 사유의 건수를 산출하고, 각 검수자의 전체 반려 사유 대비 산출된 상기 주요 반려 사유 키워드가 미포함된 반려 사유의 건수의 비율을 산출하고, 상기 산출된 비율이 미리 설정된 비율 이상인 경우, 해당 검수자를 임의적인 반려 사유를 입력하는 것으로 판별하여 불량 검수자로 선별하는 것인, 반려 사유 기반의 검수자 모니터링 장치.As an inspector monitoring device based on the reason for the companion,
Sending a crowdsourcing-based work for one project to a plurality of workers, receiving work results from the plurality of workers, and allowing a plurality of inspectors to inspect the work results input from the plurality of workers. A communication unit for transmitting a rejection reason for a job rejected due to failure to pass the inspection from the plurality of examiners;
A storage unit for collectively collecting and storing the reason for rejection input from the plurality of inspectors;
An extracting unit for extracting a plurality of reason for the companion keyword from the overall collected reason for the companion, and for selecting a keyword for the main reason for the reaction from among the extracted plurality of reason for the companion keyword; And
Including a determination unit that selects defective inspectors according to whether or not each inspector's rejection reason includes the above main rejection reason keyword,
The determination unit,
Among the total rejection reasons of each examinee, the number of rejection reasons including the main rejection reason keyword and the number of rejection reasons that do not include the main rejection reason keyword is calculated, and the above main rejection reason keywords calculated relative to the total rejection reasons of each examinee Calculates the ratio of the number of reasons for rejection that does not include a, and if the calculated ratio is greater than or equal to a preset ratio, the examiner is identified as entering a random reason for rejection and selects as a defective examiner. Monitoring device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190101209A KR102155860B1 (en) | 2019-08-19 | 2019-08-19 | Method and apparatus for monitoring inspector based on cause of return |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190101209A KR102155860B1 (en) | 2019-08-19 | 2019-08-19 | Method and apparatus for monitoring inspector based on cause of return |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102155860B1 true KR102155860B1 (en) | 2020-09-14 |
Family
ID=72471305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190101209A KR102155860B1 (en) | 2019-08-19 | 2019-08-19 | Method and apparatus for monitoring inspector based on cause of return |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102155860B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002033614A1 (en) * | 2000-10-18 | 2002-04-25 | Arkray, Inc. | Input assisting system |
JP2010204866A (en) * | 2009-03-02 | 2010-09-16 | Nippon Telegr & Teleph Corp <Ntt> | Significant keyword extraction device, method, and program |
KR20110030928A (en) * | 2009-09-18 | 2011-03-24 | 엔에이치엔(주) | System and method for monitoring service |
KR20140095956A (en) | 2013-01-25 | 2014-08-04 | 한국전자통신연구원 | Method and system for generating image-knowledge contents based on crowdsourcing |
-
2019
- 2019-08-19 KR KR1020190101209A patent/KR102155860B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002033614A1 (en) * | 2000-10-18 | 2002-04-25 | Arkray, Inc. | Input assisting system |
JP2010204866A (en) * | 2009-03-02 | 2010-09-16 | Nippon Telegr & Teleph Corp <Ntt> | Significant keyword extraction device, method, and program |
KR20110030928A (en) * | 2009-09-18 | 2011-03-24 | 엔에이치엔(주) | System and method for monitoring service |
KR20140095956A (en) | 2013-01-25 | 2014-08-04 | 한국전자통신연구원 | Method and system for generating image-knowledge contents based on crowdsourcing |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102164844B1 (en) | Method for evaluating workers using the unit of work difficulty of crowdsourcing based projects for artificial intelligence training data generation | |
KR102232866B1 (en) | Method for distributing functional element unit work of crowdsourcing based project for artificial intelligence training data generation | |
KR102156582B1 (en) | Method for selecting sincere worker and prioritizing inspection of crowdsourcing based projects for artificial intelligence training data generation | |
KR102195629B1 (en) | Method for selecting workers based on capability of work in crowdsourcing based projects for artificial intelligence training data generation | |
KR102232880B1 (en) | Method for evaluating inspector of crowdsourcing based projects for collecting image or video for artificial intelligence training data generation | |
KR102155877B1 (en) | Method for providing information of projects matching qualifications of crowdsourcing platform for artificial intelligence training data generation | |
KR102232874B1 (en) | Method for evaluating new inspector using verification work result of crowdsourcing based project for artificial intelligence training data generation | |
KR102155749B1 (en) | Method for deciding proper unit price and proper amount of work using reference work time of crowdsourcing based project for artificial intelligence training data generation | |
KR102159578B1 (en) | Method for granting inspector’s inspection authority according to the funcitional elements of crowdsourcing based projects for artificial intelligence training data generation | |
KR102164769B1 (en) | Method for measuring competence using the number of inspection pass of crowdsourcing based project for artificial intelligence training data generation | |
KR102155793B1 (en) | Method and apparatus for managing worker's unit price of crowdsourcing based project for artificial intelligence training data generation | |
KR102155860B1 (en) | Method and apparatus for monitoring inspector based on cause of return | |
KR102155854B1 (en) | Keyword management method and apparatus for collecting various sentences | |
KR102232909B1 (en) | Method for providing reason for rejection based on similar work pattern information for each worker a crowdsourcing based projects for airtificial intelligence training data generation | |
KR102205810B1 (en) | Method for automatically returning rework result of crowdsourcing based project for artificial intelligence training data generation | |
KR102195631B1 (en) | Method for automatically granting inspection authority to workers based on the results of the work of crowdsourcing based projects for artificial intelligence training data generation | |
KR102155792B1 (en) | Method for selecting inspector according to feature of project based on crowd sourcing | |
KR102195608B1 (en) | Method for automatically returning using object return rate of crowdsourcing based project for artificial intelligence training data generation | |
KR102155746B1 (en) | Method for verifying inspectors by sample inspection between inspectors | |
KR102195606B1 (en) | Method for improving reliability by selective self check of worker of crowdsourcing based project for artificial intelligence training data generation | |
KR102155846B1 (en) | Method and apparatus for sampling inspection using the rate of return of previous work | |
KR102164852B1 (en) | Method for restricting participation of project considering urgent degree of crowdsourcing based project for artificial intelligence training data generation | |
KR102183812B1 (en) | Method for paying inspection fee based on hourly wage for each inspector using the verification work results of crowdsourcing based projects for artificial intelligence training data generation | |
US20210383329A1 (en) | Method of distributing functional element unit tasks of crowdsourcing-based project, apparatus therefor, and computer program therefor | |
KR102155747B1 (en) | Method for setting minimum re-work and re-inspection time based on the number of objects returned of crowdsourcing based project for artificial intelligence training data generation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant |