JP2021502652A - アノテーション作業の管理方法、それを支援する装置およびシステム - Google Patents
アノテーション作業の管理方法、それを支援する装置およびシステム Download PDFInfo
- Publication number
- JP2021502652A JP2021502652A JP2020528015A JP2020528015A JP2021502652A JP 2021502652 A JP2021502652 A JP 2021502652A JP 2020528015 A JP2020528015 A JP 2020528015A JP 2020528015 A JP2020528015 A JP 2020528015A JP 2021502652 A JP2021502652 A JP 2021502652A
- Authority
- JP
- Japan
- Prior art keywords
- annotation
- slide image
- panel
- work
- patch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/169—Annotation, e.g. comment data or footnotes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063112—Skill-based matching of a person or a group to a task
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/55—Rule-based translation
- G06F40/56—Natural language generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
Abstract
Description
Claims (20)
- コンピューティング装置によって行われるアノテーション作業管理方法であって、
新規の病理スライド画像に対する情報を取得する段階;
前記病理スライド画像のデータセットタイプおよびパネルを決定する段階;および
前記病理スライド画像、前記決定されたデータセットタイプ、アノテーションタスク(annotation task)および前記病理スライド画像の一部領域であるパッチで定義されるアノテーション作業(job)をアノテータ(annotator)アカウントに割り当てる段階を含み、
前記アノテーションタスクは、前記決定されたパネルを含んで定義され、
前記パネルは、細胞(cell)パネル、組織(tissue)パネルおよびストラクチャ(structure)パネルのうちいずれか一つに指定され、
前記データセットタイプは、前記病理スライド画像の用途を示し、機械学習モデルの学習(training)用途または前記機械学習モデルの検証(validation)用途のうちいずれか一つに指定される、アノテーション作業管理方法。 - 前記アノテーションタスクは、タスククラスをさらに含んで定義され、
前記タスククラスは、前記パネルの観点で定義されるアノテーション対象を示す、請求項1に記載のアノテーション作業管理方法。 - 前記データセットタイプは、前記機械学習モデルの学習(training)用途、前記機械学習モデルの検証(validation)用途またはOPT(Observer Performance Test)用途のうちいずれか一つに指定される、請求項1に記載のアノテーション作業管理方法。
- 前記データセットタイプおよびパネルを決定する段階は、
前記病理スライド画像を機械学習モデルに入力し、その結果として出力された出力値に基づいて、前記病理スライド画像のデータセットタイプおよびパネルを決定する段階を含む、請求項1に記載のアノテーション作業管理方法。 - 前記出力値は、コンフィデンススコア(confidence score)であり、
前記出力値に基づいて、前記病理スライド画像のデータセットタイプおよびパネルを決定する段階は、
前記コンフィデンススコアが基準値未満である判定に応答し、前記病理スライド画像のデータセットタイプを学習用途に決定する段階を含む、請求項4に記載のアノテーション作業管理方法。 - 前記機械学習モデルは、前記細胞パネルに対応する第1モデル、前記組織パネルに対応する第2モデルおよび前記ストラクチャパネルに対応する第3モデルを含み、
前記出力値に基づいて、前記病理スライド画像のデータセットタイプおよびパネルを決定する段階は、
前記病理スライド画像または前記病理スライド画像の一部領域を前記第1モデルないし前記第3モデルそれぞれに入力し、その結果として出力された出力値を取得する段階;および
前記取得された出力値に基づいて前記病理スライド画像のパネルを決定する段階を含む、請求項4に記載のアノテーション作業管理方法。 - 前記新規の病理スライド画像に対する情報を取得する段階は、
指定された位置のストレージに病理スライド画像ファイルが追加されることを、前記ストレージをモニタリングするワーカーエージェントが感知する段階;
前記ワーカーエージェントによって前記新規の病理スライド画像に対する情報がデータベースに挿入される段階;および
前記データベースから前記病理スライド画像に対する情報を取得する段階を含む、請求項1に記載のアノテーション作業管理方法。 - 前記割り当てる段階は、
前記アノテーション作業のデータセットタイプおよびアノテーションタスクのパネルの組み合わせと関連するアノテーション遂行履歴を基準に選定されたアノテータアカウントに前記アノテーション作業を自動割り当てる段階を含む、請求項1に記載のアノテーション作業管理方法。 - 前記アノテーションタスクは、タスククラスをさらに含んで定義され、
前記タスククラスは、前記パネルの観点で定義されるアノテーション対象を示し、
前記割り当てる段階は、
前記アノテーション作業のアノテーションタスクのパネルおよびタスククラスの組み合わせと関連するアノテーション遂行履歴を基準に選定されたアノテータアカウントに前記アノテーション作業を自動割り当てる段階を含む、請求項1に記載のアノテーション作業管理方法。 - 前記割り当てる段階は、
前記病理スライド画像の候補パッチを取得する段階;および
それぞれの候補パッチを前記機械学習モデルに入力し、その結果として出力された各クラス別の出力値に基づいて、前記候補パッチの中から前記アノテーション作業のパッチを自動で選定する段階を含む、請求項1に記載のアノテーション作業管理方法。 - 前記アノテーション作業のパッチを前記候補パッチの中から自動で選定する段階は、
前記それぞれの候補パッチに対する各クラス別の出力値を利用してエントロピー値を演算する段階;および
前記エントロピー値が基準値以上である候補パッチを、前記アノテーション作業のパッチとして選定する段階を含む、請求項10に記載のアノテーション作業管理方法。 - 前記病理スライド画像の候補パッチを取得する段階は、
前記病理スライド画像の全体領域を均一に分割した前記候補パッチを取得する段階を含む、請求項10に記載のアノテーション作業管理方法。 - 前記病理スライド画像の候補パッチを取得する段階は、
前記病理スライド画像の全体領域をランダムに分割した前記候補パッチを取得する段階を含む、請求項10に記載のアノテーション作業管理方法。 - 前記病理スライド画像の候補パッチを取得する段階は、
前記病理スライド画像の全体領域に対してオブジェクト認識を行う段階;および
前記オブジェクト認識の結果、算出されたオブジェクトの個数が基準値を超えるように前記候補パッチを形成する段階を含む、請求項10に記載のアノテーション作業管理方法。 - 前記病理スライド画像の候補パッチを取得する段階は、
前記病理スライド画像のメタデータに基づいて決定されたポリシーに従い分割された前記候補パッチを取得する段階を含む、請求項10に記載のアノテーション作業管理方法。 - 前記割り当てる段階は、
前記病理スライド画像の候補パッチを取得する段階;
それぞれの候補パッチに対する前記機械学習モデルのミス予測(miss−prediction)確率を算出する段階;および
前記算出されたミス予測確率が基準値以上である候補パッチを、前記アノテーション作業のパッチとして選定する段階を含む、請求項1に記載のアノテーション作業管理方法。 - 前記アノテーション作業の割り当てを受けたアノテータアカウントの第1アノテーション結果データを取得する段階;
前記第1アノテーション結果データと、前記アノテーション作業のパッチを前記機械学習モデルに入力した結果とを比較する段階;および
前記比較の結果、二つの結果の差が基準値を超えると、前記アノテーション作業を他のアノテータアカウントに再割り当てする段階をさらに含む、請求項1に記載のアノテーション作業管理方法。 - 前記アノテーション作業の割り当てを受けたアノテータアカウントの第1アノテーション結果データを取得する段階;
他のアノテータアカウントの第2アノテーション結果データを取得する段階;および
前記第1アノテーション結果データと前記第2アノテーション結果データの類似度が基準値未満の場合、前記第1アノテーション結果データを未承認処理する段階をさらに含む、請求項1に記載のアノテーション作業管理方法。 - 一つ以上のインストラクション(instructions)を含むメモリ;および
前記一つ以上のインストラクションを実行することによって、
新規の病理スライド画像に対する情報を取得し、前記病理スライド画像のデータセットタイプおよびパネルを決定し、前記病理スライド画像、前記決定されたデータセットタイプ、アノテーションタスク(annotation task)および前記病理スライド画像の一部領域であるパッチで定義されるアノテーション作業(job)をアノテータ(annotator)アカウントに割り当てるプロセッサを含み、
前記アノテーションタスクは、前記決定されたパネルを含んで定義され、
前記パネルは、細胞(cell)パネル、組織(tissue)パネルおよびストラクチャ(structure)パネルのうちいずれか一つに指定され、
前記データセットタイプは、前記病理スライド画像の用途を示し、機械学習モデルの学習(training)用途または前記機械学習モデルの検証(validation)用途のうちいずれか一つに指定される、アノテーション作業管理装置。 - コンピュータプログラムを含む非一時的な(non−transitory)コンピュータ読み取り可能な記録媒体であって、
前記コンピュータプログラムのコマンドがプロセッサによって実行されるとき、前記プロセッサが、
新規の病理スライド画像に対する情報を取得する段階;
前記病理スライド画像のデータセットタイプおよびパネルを決定する段階;および
前記病理スライド画像、前記決定されたデータセットタイプ、アノテーションタスク(annotation task)および前記病理スライド画像の一部領域であるパッチで定義されるアノテーション作業(job)をアノテータ(annotator)アカウントに割り当てる段階を行うようにし、
前記アノテーションタスクは、前記決定されたパネルを含んで定義され、
前記パネルは、細胞(cell)パネル、組織(tissue)パネルおよびストラクチャ(structure)パネルのうちいずれか一つに指定され、
前記データセットタイプは、前記病理スライド画像の用途を示し、機械学習モデルの学習(training)用途または前記機械学習モデルの検証(validation)用途のうちいずれか一つに指定される、非一時的なコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2018/013664 WO2020096098A1 (ko) | 2018-11-09 | 2018-11-09 | 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021502652A true JP2021502652A (ja) | 2021-01-28 |
JP6912788B2 JP6912788B2 (ja) | 2021-08-04 |
Family
ID=70550257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020528015A Active JP6912788B2 (ja) | 2018-11-09 | 2018-11-09 | アノテーション作業の管理方法、それを支援する装置およびシステム |
Country Status (4)
Country | Link |
---|---|
US (3) | US11335455B2 (ja) |
EP (1) | EP3706128A4 (ja) |
JP (1) | JP6912788B2 (ja) |
WO (1) | WO2020096098A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102343044B1 (ko) * | 2021-05-13 | 2021-12-27 | 주식회사 인피닉 | 어노테이션 작업 및 질의 제어 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7164964B2 (ja) * | 2018-04-04 | 2022-11-02 | キヤノン株式会社 | 情報処理装置、放射線撮影装置、放射線撮影システム、情報処理方法及びプログラム |
JP6912788B2 (ja) * | 2018-11-09 | 2021-08-04 | ルニット・インコーポレイテッドLunit Inc. | アノテーション作業の管理方法、それを支援する装置およびシステム |
WO2020223798A1 (en) * | 2019-05-03 | 2020-11-12 | Huron Technologies International Inc. | Image diagnostic system, and methods of operating thereof |
CN112183551A (zh) * | 2019-07-02 | 2021-01-05 | 佳能株式会社 | 光照颜色预测方法、图像处理方法、装置及存储介质 |
US11527319B1 (en) | 2019-09-13 | 2022-12-13 | PathAI, Inc. | Systems and methods for frame-based validation |
JP7374215B2 (ja) * | 2019-12-03 | 2023-11-06 | 富士フイルム株式会社 | 文書作成支援装置、方法およびプログラム |
KR102467047B1 (ko) * | 2020-11-18 | 2022-11-15 | (주)휴톰 | 어노테이션 평가 방법 및 장치 |
US20220383045A1 (en) * | 2021-05-25 | 2022-12-01 | International Business Machines Corporation | Generating pseudo lesion masks from bounding box annotations |
KR102310600B1 (ko) * | 2021-06-17 | 2021-10-13 | 주식회사 인피닉 | 빅데이터 기반의 인공지능 학습용 데이터 추출 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
US20230056923A1 (en) * | 2021-08-20 | 2023-02-23 | GE Precision Healthcare LLC | Automatically detecting characteristics of a medical image series |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006252541A (ja) | 2005-02-10 | 2006-09-21 | Institute Of Physical & Chemical Research | アノテーション方法、アノテーションシステム、プログラムおよびコンピューター読み取り可能な記録媒体 |
KR20090006295A (ko) | 2007-07-11 | 2009-01-15 | 하숙태 | 세포 슬라이드 판독 장치, 세포 슬라이드 판독 시스템,이를 이용하는 세포 슬라이드 판독 방법 및 기록매체 |
US8150113B2 (en) * | 2008-01-23 | 2012-04-03 | Carestream Health, Inc. | Method for lung lesion location identification |
EP2487602A3 (en) * | 2011-02-11 | 2013-01-16 | Siemens Aktiengesellschaft | Assignment of measurement data to information data |
IN2014CN03530A (ja) | 2011-11-08 | 2015-07-03 | Vidinoti Sa | |
US20150119289A1 (en) | 2012-10-24 | 2015-04-30 | Medeolinx, LLC | Methods to determine candidate biomarker panels for a phenotypic condition of interest |
US9113781B2 (en) * | 2013-02-07 | 2015-08-25 | Siemens Aktiengesellschaft | Method and system for on-site learning of landmark detection models for end user-specific diagnostic medical image reading |
MX2015013415A (es) | 2013-03-19 | 2016-08-18 | Cireca Theranostics Llc | Metodo y sistema para analizar especímenes biológicos mediante formación de imágenes espectrales. |
EP3846176A1 (en) * | 2013-09-25 | 2021-07-07 | HeartFlow, Inc. | Systems and methods for validating and correcting automated medical image annotations |
US9589349B2 (en) * | 2013-09-25 | 2017-03-07 | Heartflow, Inc. | Systems and methods for controlling user repeatability and reproducibility of automated image annotation correction |
JP6134986B2 (ja) | 2014-09-01 | 2017-05-31 | 富士フイルム株式会社 | 医用画像計測装置およびその作動方法並びに医用画像計測プログラム |
US9846938B2 (en) * | 2015-06-01 | 2017-12-19 | Virtual Radiologic Corporation | Medical evaluation machine learning workflows and processes |
US10360675B2 (en) * | 2015-06-12 | 2019-07-23 | International Business Machines Corporation | Methods and systems for automatically analyzing clinical images using rules and image analytics |
KR101623431B1 (ko) | 2015-08-06 | 2016-05-23 | 주식회사 루닛 | 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템 |
KR101875468B1 (ko) | 2015-09-24 | 2018-07-09 | 주식회사 뷰노 | 질환 모델 기반의 의료 정보 서비스 제공 방법 및 장치 |
US10203491B2 (en) * | 2016-08-01 | 2019-02-12 | Verily Life Sciences Llc | Pathology data capture |
US10025902B2 (en) * | 2016-08-12 | 2018-07-17 | Verily Life Sciences Llc | Enhanced pathology diagnosis |
US10452813B2 (en) * | 2016-11-17 | 2019-10-22 | Terarecon, Inc. | Medical image identification and interpretation |
US10366490B2 (en) * | 2017-03-27 | 2019-07-30 | Siemens Healthcare Gmbh | Highly integrated annotation and segmentation system for medical imaging |
US10140421B1 (en) * | 2017-05-25 | 2018-11-27 | Enlitic, Inc. | Medical scan annotator system |
CN107563123A (zh) * | 2017-09-27 | 2018-01-09 | 百度在线网络技术(北京)有限公司 | 用于标注医学图像的方法和装置 |
US10878576B2 (en) * | 2018-02-14 | 2020-12-29 | Elekta, Inc. | Atlas-based segmentation using deep-learning |
JP6912788B2 (ja) | 2018-11-09 | 2021-08-04 | ルニット・インコーポレイテッドLunit Inc. | アノテーション作業の管理方法、それを支援する装置およびシステム |
US10943681B2 (en) * | 2018-11-21 | 2021-03-09 | Enlitic, Inc. | Global multi-label generating system |
-
2018
- 2018-11-09 JP JP2020528015A patent/JP6912788B2/ja active Active
- 2018-11-09 WO PCT/KR2018/013664 patent/WO2020096098A1/ko active Application Filing
- 2018-11-09 EP EP18939311.9A patent/EP3706128A4/en active Pending
-
2019
- 2019-11-01 US US16/671,430 patent/US11335455B2/en active Active
-
2020
- 2020-03-10 US US16/814,131 patent/US11062800B2/en active Active
-
2022
- 2022-04-14 US US17/720,549 patent/US20230335259A1/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102343044B1 (ko) * | 2021-05-13 | 2021-12-27 | 주식회사 인피닉 | 어노테이션 작업 및 질의 제어 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Also Published As
Publication number | Publication date |
---|---|
US20200210926A1 (en) | 2020-07-02 |
US11062800B2 (en) | 2021-07-13 |
JP6912788B2 (ja) | 2021-08-04 |
EP3706128A1 (en) | 2020-09-09 |
US20200152316A1 (en) | 2020-05-14 |
EP3706128A4 (en) | 2021-05-12 |
US20230335259A1 (en) | 2023-10-19 |
US11335455B2 (en) | 2022-05-17 |
WO2020096098A1 (ko) | 2020-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6912788B2 (ja) | アノテーション作業の管理方法、それを支援する装置およびシステム | |
KR102413583B1 (ko) | 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템 | |
KR102075270B1 (ko) | 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템 | |
KR102081037B1 (ko) | 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템 | |
Karlsson et al. | Nonlinear mixed-effects modelling for single cell estimation: when, why, and how to use it | |
US11244761B2 (en) | Accelerated clinical biomarker prediction (ACBP) platform | |
US8180780B2 (en) | Collaborative program development method and system | |
US20200090796A1 (en) | Multimodal learning framework for analysis of clinical trials | |
US10019681B2 (en) | Multidimensional recursive learning process and system used to discover complex dyadic or multiple counterparty relationships | |
Almugbel et al. | Reproducible Bioconductor workflows using browser-based interactive notebooks and containers | |
EP3874513A1 (en) | Generalized biomarker model | |
CN111290785A (zh) | 评估深度学习框架***兼容性的方法、装置、电子设备以及存储介质 | |
Tyryshkina et al. | Predicting runtimes of bioinformatics tools based on historical data: five years of Galaxy usage | |
Beneš et al. | AEON. py: Python library for attractor analysis in asynchronous Boolean networks | |
JP6761197B2 (ja) | 情報処理システム、情報処理方法、プログラム | |
JP7221961B2 (ja) | 病理学ワークフローを最適化するためのデバイス、システム及び方法 | |
CN109800147B (zh) | 一种测试案例生成方法及终端设备 | |
Jiang et al. | Effective biomedical document classification for identifying publications relevant to the mouse Gene Expression Database (GXD) | |
Kushniruk et al. | User-centered design and evaluation of clinical information systems: A usability engineering perspective | |
US11741055B2 (en) | Managing file revisions from multiple reviewers | |
US11742081B2 (en) | Data model processing in machine learning employing feature selection using sub-population analysis | |
US20200388378A1 (en) | System for assignment of assessment tasks based on task criteria and reviewer credentials | |
US20170039266A1 (en) | Methods and systems for multi-code categorization for computer-assisted coding | |
US20240232455A1 (en) | Method and system for automatically suggesting an engineering tool | |
KR102453579B1 (ko) | 작업자들 간의 협업을 위한 협업 솔루션 제공시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200508 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200508 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200508 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210630 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6912788 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |