JP7420916B2 - 機械学習システムのリアルタイム展開 - Google Patents
機械学習システムのリアルタイム展開 Download PDFInfo
- Publication number
- JP7420916B2 JP7420916B2 JP2022502859A JP2022502859A JP7420916B2 JP 7420916 B2 JP7420916 B2 JP 7420916B2 JP 2022502859 A JP2022502859 A JP 2022502859A JP 2022502859 A JP2022502859 A JP 2022502859A JP 7420916 B2 JP7420916 B2 JP 7420916B2
- Authority
- JP
- Japan
- Prior art keywords
- display output
- video
- objects
- video frames
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims description 54
- 238000000034 method Methods 0.000 claims description 66
- 238000003860 storage Methods 0.000 claims description 34
- 239000002131 composite material Substances 0.000 claims description 24
- 230000007613 environmental effect Effects 0.000 claims description 23
- 238000009877 rendering Methods 0.000 claims description 15
- 230000001052 transient effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 20
- 210000001072 colon Anatomy 0.000 description 12
- 238000001839 endoscopy Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000012546 transfer Methods 0.000 description 9
- 208000037062 Polyps Diseases 0.000 description 8
- 238000012806 monitoring device Methods 0.000 description 8
- 239000000835 fiber Substances 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000002052 colonoscopy Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000013305 flexible fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000001635 urinary tract Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1438—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/80—Recognising image objects characterised by unique random patterns
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/06—Use of more than one graphics processor to process data before displaying to one or more screens
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/08—Biomedical applications
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Signal Processing (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本明細書は、例えば、以下の項目も提供する。
(項目1)
システムであって、前記システムは、1つ以上のプロセッサと、非一過性コンピュータ可読媒体とを備え、前記非一過性コンピュータ可読媒体は、命令の1つ以上のシーケンスを含み、前記命令の1つ以上のシーケンスは、前記1つ以上のプロセッサによって実行されると、前記システムに、
ビデオデータを受信することであって、前記ビデオデータは、ビデオ画像捕捉デバイスから取得されている、ことと、
前記受信されたビデオデータを、特定の色空間フォーマットにエンコードされた複数のビデオフレームに転換することと、
前記複数のエンコードされたビデオフレームからの像を描写する第1の表示出力をレンダリングすることと、
機械学習ネットワークを使用して、前記複数のビデオフレームに関する推測を実施することと、
前記複数のエンコードされたビデオフレーム内での1つ以上のオブジェクトの発生を決定することと、
前記複数のエンコードされたビデオフレームからの前記決定された1つ以上のオブジェクトに対応するグラフィカル情報を描写する第2の表示出力をレンダリングすることと、
合成表示出力を発生させることであって、前記合成表示出力は、前記第2の表示出力のグラフィカル情報でオーバーレイされる前記第1の表示出力の像を含む、ことと
を含む動作を実施させる、システム。
(項目2)
前記第1の表示出力は、秒あたり50~240フレームのフレームレートにおいて像を描写する、項目1に記載のシステム。
(項目3)
前記第2の表示出力は、前記第1の表示出力のフレームレート未満またはそれに等しいフレームレートにおいて前記グラフィカル情報を描写する、項目1に記載のシステム。
(項目4)
前記1つ以上のオブジェクトの周囲に、またはそれを中心として、前記ビデオフレーム内の識別されたオブジェクトの場所を示すグラフィカルインジケーションを発生させる動作をさらに含む、項目1に記載のシステム。
(項目5)
前記ビデオ画像捕捉デバイスの外部環境状態を決定する動作と、
前記推測を、前記外部環境状態が前記機械学習ネットワークを介して推測を実施するために好適である場合に、実施する動作と
をさらに含む、項目1に記載のシステム。
(項目6)
前記複数のエンコードされたビデオフレームは、NV12と、I420と、YV12と、YUY2と、YUYVと、UYVYと、UVYUと、V308と、IYU2と、V408と、RGB24と、RGB32と、V410と、Y410と、Y42Tとから成る群から選択される色空間フォーマットにエンコードされる、項目1に記載のシステム。
(項目7)
前記第2の表示出力のグラフィカル情報は、前記第1の表示出力のビデオ表示面積にわたって配置される前記1つ以上のオブジェクトのグラフィカルインジケーションと、前記第1の表示出力の非ビデオ表示面積にわたって配置される前記1つ以上のオブジェクトに対応する文字情報とを含む、項目1に記載のシステム。
(項目8)
1つ以上のプロセッサから成るシステムによって実装される方法であって、前記方法は、
ビデオデータを受信することであって、前記ビデオデータは、ビデオ画像捕捉デバイスから取得されている、ことと、
前記受信されたビデオデータを、特定の色空間フォーマットにエンコードされた複数のビデオフレームに転換することと、
前記複数のエンコードされたビデオフレームからの像を描写する第1の表示出力をレンダリングすることと、
機械学習ネットワークを使用して、前記複数のビデオフレームに関する推測を実施することと、
前記複数のエンコードされたビデオフレーム内での1つ以上のオブジェクトの発生を決定することと、
前記複数のエンコードされたビデオフレームからの前記決定された1つ以上のオブジェクトに対応するグラフィカル情報を描写する第2の表示出力をレンダリングすることと、
合成表示出力を発生させることであって、前記合成表示出力は、前記第2の表示出力のグラフィカル情報でオーバーレイされる前記第1の表示出力の像を含む、ことと
を含む、方法。
(項目9)
前記第1の表示出力は、秒あたり50~240フレームのフレームレートにおいて像を描写する、項目8に記載の方法。
(項目10)
前記第2の表示出力は、前記第1の表示出力のフレームレート未満またはそれに等しいフレームレートにおいて前記グラフィカル情報を描写する、項目8に記載の方法。
(項目11)
前記1つ以上のオブジェクトの周囲に、またはそれを中心として、前記ビデオフレーム内の前記識別されたオブジェクトの場所を示すグラフィカルインジケーションを発生させる動作をさらに含む、項目8に記載の方法。
(項目12)
前記ビデオ画像捕捉デバイスの外部環境状態を決定する動作と、
前記推測を、前記外部環境状態が前記機械学習ネットワークを介して推測を実施するために好適である場合に、実施する動作と
をさらに含む、項目8に記載の方法。
(項目13)
前記複数のエンコードされたビデオフレームは、NV12と、I420と、YV12と、YUY2と、YUYVと、UYVYと、UVYUと、V308と、IYU2と、V408と、RGB24と、RGB32と、V410と、Y410と、Y42Tとから成る群から選択される色空間フォーマットにエンコードされる、項目8に記載の方法。
(項目14)
前記第2の表示出力のグラフィカル情報は、前記第1の表示出力のビデオ表示面積にわたって配置される前記1つ以上のオブジェクトのグラフィカルインジケーションと、前記第1の表示出力の非ビデオ表示面積にわたって配置される前記1つ以上のオブジェクトに対応する文字情報とを含む、項目8に記載の方法。
(項目15)
非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を備え、前記命令は、1つ以上のプロセッサを備えるシステムによって実行されると、前記1つ以上のプロセッサに、
ビデオデータを受信することであって、前記ビデオデータは、ビデオ画像捕捉デバイスから取得されている、ことと、
前記受信されたビデオデータを、特定の色空間フォーマットにエンコードされた複数のビデオフレームに転換することと、
前記複数のエンコードされたビデオフレームからの像を描写する第1の表示出力をレンダリングすることと、
機械学習ネットワークを使用して、前記複数のビデオフレームに関する推測を実施することと、
前記複数のエンコードされたビデオフレーム内での1つ以上のオブジェクトの発生を決定することと、
前記複数のエンコードされたビデオフレームからの前記決定された1つ以上のオブジェクトに対応するグラフィカル情報を描写する第2の表示出力をレンダリングすることと、
合成表示出力を発生させることであって、前記合成表示出力は、前記第2の表示出力のグラフィカル情報でオーバーレイされる前記第1の表示出力の像を含む、ことと
を含む動作を実施させる、非一過性コンピュータ記憶媒体。
(項目16)
前記第1の表示出力は、秒あたり50~240フレームのフレームレートにおいて像を描写する、項目15に記載の非一過性コンピュータ記憶媒体。
(項目17)
前記第2の表示出力は、前記第1の表示出力のフレームレート未満またはそれに等しいフレームレートにおいて前記グラフィカル情報を描写する、項目15に記載の非一過性コンピュータ記憶媒体。
(項目18)
前記1つ以上のオブジェクトの周囲に、またはそれを中心として、前記ビデオフレーム内の前記識別されたオブジェクトの場所を示すグラフィカルインジケーションを発生させる動作をさらに含む、項目15に記載の非一過性コンピュータ記憶媒体。
(項目19)
前記ビデオ画像捕捉デバイスの外部環境状態を決定する動作と、
前記推測を、前記外部環境状態が前記機械学習ネットワークを介して推測を実施するために好適である場合に、実施する動作と
をさらに含む、項目15に記載の非一過性コンピュータ記憶媒体。
(項目20)
前記複数のエンコードされたビデオフレームは、NV12と、I420と、YV12と、YUY2と、YUYVと、UYVYと、UVYUと、V308と、IYU2と、V408と、RGB24と、RGB32と、V410と、Y410と、Y42Tとから成る群から選択される色空間フォーマットにエンコードされる、項目15に記載の非一過性コンピュータ記憶媒体。
(項目21)
前記第2の表示出力のグラフィカル情報は、前記第1の表示出力のビデオ表示面積にわたって配置される前記1つ以上のオブジェクトのグラフィカルインジケーションと、前記第1の表示出力の非ビデオ表示面積にわたって配置される前記1つ以上のオブジェクトに対応する文字情報とを含む、項目15に記載の非一過性コンピュータ記憶媒体。
本明細書では、本発明の具体的な実施形態が、詳細に参照される。実施形態またはそれらの側面のうちのいくつかが図面に図示される。
Claims (21)
- システムであって、前記システムは、1つ以上のプロセッサと、非一過性コンピュータ可読媒体とを備え、前記非一過性コンピュータ可読媒体は、命令の1つ以上のシーケンスを含み、前記命令の1つ以上のシーケンスは、前記1つ以上のプロセッサによって実行されると、前記システムに、
ビデオデータを受信することであって、前記ビデオデータは、ビデオ画像捕捉デバイスから取得されている、ことと、
前記受信されたビデオデータを、特定の色空間フォーマットにエンコードされた複数のビデオフレームに転換することと、
前記複数のエンコードされたビデオフレームからの像を描写する第1の表示出力をレンダリングすることと、
機械学習ネットワークを使用して、前記複数のビデオフレームに関する推測を実施することと、
前記複数のエンコードされたビデオフレーム内での1つ以上のオブジェクトの発生を決定することと、
前記複数のエンコードされたビデオフレームからの前記決定された1つ以上のオブジェクトに対応するグラフィカル情報を描写する第2の表示出力をレンダリングすることと、
合成表示出力を発生させることであって、前記合成表示出力は、前記第2の表示出力のグラフィカル情報でオーバーレイされる前記第1の表示出力の像を含む、ことと
を含む動作を実施させ、
前記第2の表示出力のグラフィカル情報は、前記決定された1つ以上のオブジェクトに対応する文字情報を含み、前記文字情報は、前記第1の表示出力の非ビデオ表示面積にわたって配置される、システム。 - 前記第1の表示出力は、秒あたり50~240フレームのフレームレートにおいて像を描写する、請求項1に記載のシステム。
- 前記第2の表示出力は、前記第1の表示出力のフレームレート未満またはそれに等しいフレームレートにおいて前記グラフィカル情報を描写する、請求項1に記載のシステム。
- 前記1つ以上のオブジェクトの周囲に、またはそれを中心として、前記ビデオフレーム内の前記決定された1つ以上のオブジェクトの場所を示すグラフィカルインジケーションを発生させる動作をさらに含む、請求項1に記載のシステム。
- 前記ビデオ画像捕捉デバイスの外部環境状態を決定する動作と、
前記推測を、前記外部環境状態が前記機械学習ネットワークを介して推測を実施するために好適である場合に、実施する動作と
をさらに含む、請求項1に記載のシステム。 - 前記複数のエンコードされたビデオフレームは、NV12と、I420と、YV12と、YUY2と、YUYVと、UYVYと、UVYUと、V308と、IYU2と、V408と、RGB24と、RGB32と、V410と、Y410と、Y42Tとから成る群から選択される色空間フォーマットにエンコードされる、請求項1に記載のシステム。
- 前記第2の表示出力のグラフィカル情報は、前記第1の表示出力のビデオ表示面積にわたって配置される前記1つ以上のオブジェクトのグラフィカルインジケーションを含む、請求項1に記載のシステム。
- 1つ以上のプロセッサから成るシステムによって実装される方法であって、前記方法は、
ビデオデータを受信することであって、前記ビデオデータは、ビデオ画像捕捉デバイスから取得されている、ことと、
前記受信されたビデオデータを、特定の色空間フォーマットにエンコードされた複数のビデオフレームに転換することと、
前記複数のエンコードされたビデオフレームからの像を描写する第1の表示出力をレンダリングすることと、
機械学習ネットワークを使用して、前記複数のビデオフレームに関する推測を実施することと、
前記複数のエンコードされたビデオフレーム内での1つ以上のオブジェクトの発生を決定することと、
前記複数のエンコードされたビデオフレームからの前記決定された1つ以上のオブジェクトに対応するグラフィカル情報を描写する第2の表示出力をレンダリングすることと、
合成表示出力を発生させることであって、前記合成表示出力は、前記第2の表示出力のグラフィカル情報でオーバーレイされる前記第1の表示出力の像を含む、ことと
を含み、
前記第2の表示出力のグラフィカル情報は、前記決定された1つ以上のオブジェクトに対応する文字情報を含み、前記文字情報は、前記第1の表示出力の非ビデオ表示面積にわたって配置される、方法。 - 前記第1の表示出力は、秒あたり50~240フレームのフレームレートにおいて像を描写する、請求項8に記載の方法。
- 前記第2の表示出力は、前記第1の表示出力のフレームレート未満またはそれに等しいフレームレートにおいて前記グラフィカル情報を描写する、請求項8に記載の方法。
- 前記1つ以上のオブジェクトの周囲に、またはそれを中心として、前記ビデオフレーム内の前記決定された1つ以上のオブジェクトの場所を示すグラフィカルインジケーションを発生させる動作をさらに含む、請求項8に記載の方法。
- 前記ビデオ画像捕捉デバイスの外部環境状態を決定する動作と、
前記推測を、前記外部環境状態が前記機械学習ネットワークを介して推測を実施するために好適である場合に、実施する動作と
をさらに含む、請求項8に記載の方法。 - 前記複数のエンコードされたビデオフレームは、NV12と、I420と、YV12と、YUY2と、YUYVと、UYVYと、UVYUと、V308と、IYU2と、V408と、RGB24と、RGB32と、V410と、Y410と、Y42Tとから成る群から選択される色空間フォーマットにエンコードされる、請求項8に記載の方法。
- 前記第2の表示出力のグラフィカル情報は、前記第1の表示出力のビデオ表示面積にわたって配置される前記1つ以上のオブジェクトのグラフィカルインジケーションを含む、請求項8に記載の方法。
- 非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を備え、前記命令は、1つ以上のプロセッサを備えるシステムによって実行されると、前記1つ以上のプロセッサに、
ビデオデータを受信することであって、前記ビデオデータは、ビデオ画像捕捉デバイスから取得されている、ことと、
前記受信されたビデオデータを、特定の色空間フォーマットにエンコードされた複数のビデオフレームに転換することと、
前記複数のエンコードされたビデオフレームからの像を描写する第1の表示出力をレンダリングすることと、
機械学習ネットワークを使用して、前記複数のビデオフレームに関する推測を実施することと、
前記複数のエンコードされたビデオフレーム内での1つ以上のオブジェクトの発生を決定することと、
前記複数のエンコードされたビデオフレームからの前記決定された1つ以上のオブジェクトに対応するグラフィカル情報を描写する第2の表示出力をレンダリングすることと、
合成表示出力を発生させることであって、前記合成表示出力は、前記第2の表示出力のグラフィカル情報でオーバーレイされる前記第1の表示出力の像を含む、ことと
を含む動作を実施させ、
前記第2の表示出力のグラフィカル情報は、前記決定された1つ以上のオブジェクトに対応する文字情報を含み、前記文字情報は、前記第1の表示出力の非ビデオ表示面積にわたって配置される、非一過性コンピュータ記憶媒体。 - 前記第1の表示出力は、秒あたり50~240フレームのフレームレートにおいて像を描写する、請求項15に記載の非一過性コンピュータ記憶媒体。
- 前記第2の表示出力は、前記第1の表示出力のフレームレート未満またはそれに等しいフレームレートにおいて前記グラフィカル情報を描写する、請求項15に記載の非一過性コンピュータ記憶媒体。
- 前記1つ以上のオブジェクトの周囲に、またはそれを中心として、前記ビデオフレーム内の前記決定された1つ以上のオブジェクトの場所を示すグラフィカルインジケーションを発生させる動作をさらに含む、請求項15に記載の非一過性コンピュータ記憶媒体。
- 前記ビデオ画像捕捉デバイスの外部環境状態を決定する動作と、
前記推測を、前記外部環境状態が前記機械学習ネットワークを介して推測を実施するために好適である場合に、実施する動作と
をさらに含む、請求項15に記載の非一過性コンピュータ記憶媒体。 - 前記複数のエンコードされたビデオフレームは、NV12と、I420と、YV12と、YUY2と、YUYVと、UYVYと、UVYUと、V308と、IYU2と、V408と、RGB24と、RGB32と、V410と、Y410と、Y42Tとから成る群から選択される色空間フォーマットにエンコードされる、請求項15に記載の非一過性コンピュータ記憶媒体。
- 前記第2の表示出力のグラフィカル情報は、前記第1の表示出力のビデオ表示面積にわたって配置される前記1つ以上のオブジェクトのグラフィカルインジケーションを含む、請求項15に記載の非一過性コンピュータ記憶媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2019/041945 WO2021010985A1 (en) | 2019-07-16 | 2019-07-16 | Real-time deployment of machine learning systems |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022541897A JP2022541897A (ja) | 2022-09-28 |
JP7420916B2 true JP7420916B2 (ja) | 2024-01-23 |
Family
ID=74209864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022502859A Active JP7420916B2 (ja) | 2019-07-16 | 2019-07-16 | 機械学習システムのリアルタイム展開 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3998931A4 (ja) |
JP (1) | JP7420916B2 (ja) |
WO (1) | WO2021010985A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11423318B2 (en) | 2019-07-16 | 2022-08-23 | DOCBOT, Inc. | System and methods for aggregating features in video frames to improve accuracy of AI detection algorithms |
US10671934B1 (en) | 2019-07-16 | 2020-06-02 | DOCBOT, Inc. | Real-time deployment of machine learning systems |
US11100373B1 (en) | 2020-11-02 | 2021-08-24 | DOCBOT, Inc. | Autonomous and continuously self-improving learning system |
KR102640314B1 (ko) * | 2021-07-12 | 2024-02-23 | (주)휴톰 | 인공지능 수술 시스템 및 그것의 제어방법 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015509404A (ja) | 2012-02-23 | 2015-03-30 | スミス アンド ネフュー インコーポレーテッド | ビデオ内視鏡システム |
WO2017073361A1 (ja) | 2015-10-30 | 2017-05-04 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、内視鏡システム |
JP2017513664A (ja) | 2014-04-05 | 2017-06-01 | サージセンス コーポレイション | 組織酸素化のマッピングのための装置、システム、および方法 |
WO2018122895A1 (ja) | 2016-12-26 | 2018-07-05 | 三菱電機株式会社 | 映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム |
JP2018180879A (ja) | 2017-04-12 | 2018-11-15 | 株式会社日立製作所 | 物体認識装置、物体認識システム、及び物体認識方法 |
WO2019054045A1 (ja) | 2017-09-15 | 2019-03-21 | 富士フイルム株式会社 | 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム |
WO2019087790A1 (ja) | 2017-10-31 | 2019-05-09 | 富士フイルム株式会社 | 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7613335B2 (en) * | 2003-02-12 | 2009-11-03 | The University Of Iowa Research Foundation | Methods and devices useful for analyzing color medical images |
US20140031677A1 (en) * | 2012-01-20 | 2014-01-30 | Physical Sciences, Inc. | Apparatus and Method for Aiding Needle Biopsies |
WO2014160510A2 (en) * | 2013-03-13 | 2014-10-02 | Massachusetts Institute Of Technology | Photometric stereo endoscopy |
US9354778B2 (en) * | 2013-12-06 | 2016-05-31 | Digimarc Corporation | Smartphone-based methods and systems |
US10169535B2 (en) * | 2015-01-16 | 2019-01-01 | The University Of Maryland, Baltimore County | Annotation of endoscopic video using gesture and voice commands |
KR101809673B1 (ko) * | 2016-07-04 | 2018-01-18 | 주식회사 팝스라인 | 단말 및 그의 제어 방법 |
US20190066304A1 (en) * | 2017-08-31 | 2019-02-28 | Microsoft Technology Licensing, Llc | Real-time object segmentation in live camera mode |
-
2019
- 2019-07-16 EP EP19937726.8A patent/EP3998931A4/en active Pending
- 2019-07-16 JP JP2022502859A patent/JP7420916B2/ja active Active
- 2019-07-16 WO PCT/US2019/041945 patent/WO2021010985A1/en unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015509404A (ja) | 2012-02-23 | 2015-03-30 | スミス アンド ネフュー インコーポレーテッド | ビデオ内視鏡システム |
JP2017513664A (ja) | 2014-04-05 | 2017-06-01 | サージセンス コーポレイション | 組織酸素化のマッピングのための装置、システム、および方法 |
WO2017073361A1 (ja) | 2015-10-30 | 2017-05-04 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、内視鏡システム |
WO2018122895A1 (ja) | 2016-12-26 | 2018-07-05 | 三菱電機株式会社 | 映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム |
JP2018180879A (ja) | 2017-04-12 | 2018-11-15 | 株式会社日立製作所 | 物体認識装置、物体認識システム、及び物体認識方法 |
WO2019054045A1 (ja) | 2017-09-15 | 2019-03-21 | 富士フイルム株式会社 | 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム |
WO2019087790A1 (ja) | 2017-10-31 | 2019-05-09 | 富士フイルム株式会社 | 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022541897A (ja) | 2022-09-28 |
WO2021010985A1 (en) | 2021-01-21 |
EP3998931A1 (en) | 2022-05-25 |
EP3998931A4 (en) | 2023-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11694114B2 (en) | Real-time deployment of machine learning systems | |
JP7420916B2 (ja) | 機械学習システムのリアルタイム展開 | |
US11212465B2 (en) | Endoscopy video feature enhancement platform | |
AU2019431299B2 (en) | AI systems for detecting and sizing lesions | |
KR20190103937A (ko) | 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치 | |
JP2022505205A (ja) | 腸の病理学のための画像スコアリング | |
JP2015146970A (ja) | 内視鏡画像診断支援システム | |
US20180365830A1 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
CN111784668A (zh) | 基于感知哈希算法的消化内镜检查影像自动冻结的方法 | |
CN111784686A (zh) | 一种内窥镜出血区域的动态智能检测方法、***及可读存储介质 | |
EP4036867A2 (en) | System and method for classifying dermatological images using machine learning | |
KR20220078495A (ko) | 캡슐 내시경 영상 기반 소장 병변 판독 방법, 장치 및 프로그램 | |
JPWO2020054604A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
CN110772210B (zh) | 一种诊断交互***及方法 | |
JPWO2020071086A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
Phillips et al. | Video capsule endoscopy: pushing the boundaries with software technology | |
US11120554B2 (en) | Image diagnosis apparatus, image diagnosis method, and program | |
WO2022177069A1 (ko) | 라벨링 방법 및 이를 위한 컴퓨팅 장치 | |
CN114332844B (zh) | 医学图像的智能分类应用方法、装置、设备和存储介质 | |
US9854958B1 (en) | System and method for automatic processing of images from an autonomous endoscopic capsule | |
CN112766066A (zh) | 一种动态视频流和静态图像处理显示方法、*** | |
Khan et al. | Voting neural network (vnn) for endoscopic image segmentation | |
WO2022119364A1 (ko) | 캡슐 내시경 영상 기반 소장 병변 판독 방법, 장치 및 프로그램 | |
US11288800B1 (en) | Attribution methodologies for neural networks designed for computer-aided diagnostic processes | |
CN117528131B (zh) | 一种医学影像的ai一体化显示***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230929 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20231024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20231024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7420916 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |