CN112885435B - 图像目标区域的确定方法、装置和*** - Google Patents
图像目标区域的确定方法、装置和*** Download PDFInfo
- Publication number
- CN112885435B CN112885435B CN201911195964.5A CN201911195964A CN112885435B CN 112885435 B CN112885435 B CN 112885435B CN 201911195964 A CN201911195964 A CN 201911195964A CN 112885435 B CN112885435 B CN 112885435B
- Authority
- CN
- China
- Prior art keywords
- attention
- determining
- region
- user
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 32
- 238000010801 machine learning Methods 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 32
- 230000003902 lesion Effects 0.000 claims description 11
- 210000003128 head Anatomy 0.000 claims description 7
- 230000004424 eye movement Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 15
- 210000001508 eye Anatomy 0.000 description 23
- 238000013473 artificial intelligence Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 206010056342 Pulmonary mass Diseases 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Epidemiology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及一种图像目标区域的确定方法、装置和***，涉及图像处理技术领域。该方法包括：根据用户在观察目标图片过程中眼球的运动信息，确定用户在目标图片上的各关注位置；利用机器学习模型，提取目标图片上的各关注区域；根据各关注位置和各关注区域，确定目标图片上的目标区域。
Description
技术领域
本公开涉及图像处理技术领域，特别涉及一种图像目标区域的确定方法、图像目标区域的装置、图像目标区域的***和计算机可读存储介质。
背景技术
目前，计算机技术可以作为重要的辅助处理手段，应用于各种技术领域。例如，计算机辅助诊断技术、计算机辅助检测技术，可以通过影像学、医学图像处理技术以及其他可能的生理、生化手段，结合计算机的分析计算，辅助发现病灶，从而提高诊断的准确率。因此，提取图像中的各种信息，作为分析计算的对象尤其重要。
在相关技术中，可以通过人工智能的相关方法，如深度神经网络等，提取图像中的重要信息。
发明内容
本公开的发明人发现上述相关技术中存在如下问题：提取的图像重要信息往往不是所需要的，造成图像处理的准确率低、效率低。
鉴于此，本公开提出了一种图像目标区域的确定技术方案，能够。提高图像处理的准确率和效率。
根据本公开的一些实施例，提供了一种图像目标区域的确定方法，包括：根据用户在观察目标图片过程中眼球的运动信息，确定用户在目标图片上的各关注位置；利用机器学习模型，提取目标图片上的各关注区域；根据各关注位置和各关注区域，确定目标图片上的目标区域。
在一些实施例中，根据各关注位置和各关注区域，确定目标图片上的目标区域包括：根据运动信息，确定用户对各关注位置的位置关注度；根据各位置关注度，在各关注区域中确定目标区域。
在一些实施例中，根据各位置关注度，在各关注区域中确定目标区域包括：根据关注区域中包含的各关注位置的位置关注度，确定该关注区域的区域关注度；在区域关注度小于阈值的情况下，将相应的关注区域确定为目标区域。
在一些实施例中，根据运动信息，确定用户对各关注位置的位置关注度包括：根据运动信息，确定用户对各关注位置的注视时间用于确定位置关注度。
在一些实施例中，根据运动信息，确定用户在目标图片上的各关注位置包括：根据运动信息，确定用户在目标图片上的各注视点；根据各注视点形成的轨迹，确定各关注位置。
在一些实施例中，眼球的运动信息包括眼球相对头部的运动或者眼球位置中的至少一项。
在一些实施例中，目标图片为医学影像图片，关注位置为诊断者关注位置，关注区域为疑似病变区域。
在一些实施例中，机器学习模型通过如下步骤训练：获取用户在各训练图片上的各关注位置和相应的位置关注度中的至少一项作为关注信息，训练图片为与目标图片同类型的图片；以各训练图片和关注信息为输入，以各训练图片的各关注区域为标注结果，训练机器学习模型。
根据本公开的另一些实施例，提供一种图像目标区域的确定装置，包括：位置确定单元，用于根据用户在观察目标图片过程中眼球的运动信息，确定用户在目标图片上的各关注位置；提取单元，用于利用机器学习模型，提取目标图片上的各关注区域；区域确定单元，用于根据各关注位置和各关注区域，确定目标图片上的目标区域。
在一些实施例中，区域确定单元根据运动信息，确定用户对各关注位置的位置关注度，根据各位置关注度，在各关注区域中确定目标区域。
在一些实施例中，区域确定单元根据关注区域中包含的各关注位置的位置关注度，确定该关注区域的区域关注度，在区域关注度小于阈值的情况下，将相应的关注区域确定为目标区域。
在一些实施例中，区域确定单元根据运动信息，确定用户对各关注位置的注视时间用于确定位置关注度。
在一些实施例中，位置确定单元根据运动信息，确定用户在目标图片上的各注视点，根据各注视点形成的轨迹，确定各关注位置。
在一些实施例中，眼球的运动信息包括眼球相对头部的运动或者眼球位置中的至少一项。
在一些实施例中，目标图片为医学影像图片，关注位置为诊断者关注位置，关注区域为疑似病变区域。
在一些实施例中，机器学习模型通过如下步骤训练：获取用户在各训练图片上的各关注位置和相应的位置关注度中的至少一项作为关注信息，训练图片为与目标图片同类型的图片；以各训练图片和关注信息为输入，以各训练图片的各关注区域为标注结果，训练机器学习模型。
根据本公开的又一些实施例，提供一种图像目标区域的确定装置，包括：存储器；和耦接至存储器的处理器，处理器被配置为基于存储在存储器装置中的指令，执行上述任一个实施例中的图像目标区域的确定方法。
根据本公开的再一些实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的图像目标区域的确定方法。
根据本公开的再一些实施例，提供一种图像目标区域的确定***，包括：上述任一个实施例中的图像目标区域的确定装置；和眼动仪，用于获取用户在观察目标图片过程中眼球的运动信息。
在上述实施例中，结合根据用户的眼球动作获取的关注位置以及机器学习模型提取的关注区域，确定图片中的重要信息。这样，能够结合用户的实际关注需求和人工智能的高性能，提高图像处理的准确性和效率。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开：
图1示出本公开的图像目标区域的确定方法的一些实施例的流程图；
图2示出图1中步骤130的一些实施例的流程图；
图3示出图2中步骤1320的一些实施例的流程图；
图4示出本公开的图像目标区域的确定方法的另一些实施例的流程图；
图5示出本公开的图像目标区域的确定装置的一些实施例的框图；
图6示出本公开的图像目标区域的确定装置的另一些实施例的框图；
图7示出本公开的图像目标区域的确定装置的又一些实施例的框图；
图8示出本公开的图像目标区域的确定***的一些实施例的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1示出本公开的图像目标区域的确定方法的一些实施例的流程图。
如图1所示，该方法包括：步骤110，眼球动作确定各关注位置；步骤120，机器学习模型确定各关注区域；和步骤130，确定目标区域。
在步骤110中，根据用户在观察目标图片过程中眼球的运动信息，确定用户在所述目标图片上的各关注位置。例如，眼球的运动信息包括眼球相对头部的运动或者眼球位置中的至少一项。
在一些实施例中，可以对用户进行眼动跟踪(Eye Tracking)，通过测量眼睛的注视点的位置或者眼球相对头部的运动实现对眼球运动的追踪。例如，可以通过眼动仪(如通过视频拍摄设备)跟踪测量眼球的位置，获取眼球的运动信息。
在一些实施例中，可以通过基于屏幕显示的眼动仪(Screen-Based Eye Tracker)获取目标图片并跟踪测量眼球的运动信息；也可以通过眼球跟踪眼镜(Eye TrackingGlasses)等可以从观察者角度拍摄目标图片的设备，获取目标图片并跟踪测量眼球的运动信息。
例如，利用Screen-Based Eye Tracker可以将屏幕上显示的医学影像图片作为目标图片，并跟踪诊断者的眼球运动，从而进行计算机辅助检测；利用Eye Tracking Glasses可以实时获取驾驶员看到的包含车辆或交通标识的目标图像，并跟踪驾驶员的眼球运动，从而进行计算机辅助驾驶。
在一些实施例中，根据运动信息确定用户在目标图片上的各注视点；根据各注视点形成的轨迹确定各关注位置。
在步骤120中，利用机器学习模型，提取目标图片上的各关注区域。例如，可以通过训练使得机器学习模型能够提取人像图片中人脸区域，或者提取医学图片中的病变区域等。
在一些实施例中，机器学习模型可以是能够提取图像特征的各种神经网络模型。例如，可以利用卷积神经网络模型确定目标图片上的各关注区域。
在一些实施例中，机器学习模型通过如下步骤训练：获取用户在各训练图片上的各关注位置和相应的位置关注度中的至少一项作为关注信息，训练图片为与目标图片同类型的图片；以各训练图片和关注信息为输入，以各训练图片的各关注区域为标注结果，训练机器学习模型。
例如，对于计算机辅助检查的应用场景，可以在多位医学专家观察多张医学影像图片的时候，记录各位医学专家视觉追踪的热图(Heat maps)；然后，以获取的热图(例如，热图可以经过阈值化处理)作为机器学习模型的输出进行训练。
在训练完成后，向机器学习模型输入一副医学影像图片，即可推测出“本领域专家”会关注的位置。“本领域专家”也可以是用户本人，在这种情况下，推测结果为用户在清醒或不疲劳情况下的正确观察结果。
这样，即使用户观察图像时不够清醒(如打盹)，机器学习模型仍然可以指出其观察时漏掉的“重点”，即“本领域专家”会关注的位置。
在步骤130中，根据各关注位置和各关注区域，确定目标图片上的目标区域。
在一些实施例中，在关注位置和关注区域重叠部位超过阈值的情况下，将该关注区域确定为目标区域。在这种情况下，目标区域既是用户需求的重要信息又是人工智能方法筛选出来的重要区域，目标区域可以作为重要信息用于人脸识别、目标跟踪、医疗诊断等进一步处理。
在一些实施例中，可以通过图2中的实施例执行步骤130。
图2示出图1中步骤130的一些实施例的流程图。
如图2所示，步骤130包括：步骤1310，确定位置关注度；和步骤1320，确定目标区域。
在步骤1310中，根据运动信息，确定用户对各关注位置的位置关注度。例如，可以根据运动信息，确定用户对各关注位置的注视时间用于确定位置关注度。也可以根据瞳孔的变化、眼球的转动等其他因素，确定相应关注位置的关注度。
在步骤1320中，根据各位置关注度，在各关注区域中确定目标区域。
在一些实施例中，可以在关注区域的相应位置关注度大于阈值的情况下，将该关注区域确定为目标区域，在这种情况下，目标区域既是用户需求的重要信息又是人工智能方法筛选出来的重要区域，目标区域可以作为重要信息用于人脸识别、目标跟踪、医疗诊断等进一步处理。
在一些实施例中，可以通过图3中的实施例执行步骤1320。
图3示出图2中步骤1320的一些实施例的流程图。
如图3所示，步骤1320包括：步骤310，确定区域关注度；和步骤320，确定目标区域。
在步骤310中，根据关注区域中包含的各关注位置的位置关注度，确定该关注区域的区域关注度。例如，在关注位置与关注区域的重叠面积大于面积阈值的情况下，确定该关注区域包含该关注位置。
在步骤320中，在区域关注度小于阈值的情况下，将相应的关注区域确定为目标区域。
在这种情况下，通过人工智能方法确定的目标区域可能是用户需求的重要信息，但是用户没有给予足够的关注。这样，可以将目标区域提供给用户作为重要信息用于人脸识别、目标跟踪、医疗诊断等进一步处理，从而提高图像处理的准确性和效率。
在一些实施例中，目标图片为监控图片，关注位置为监控者关注的位置，关注区域为疑似人脸区域。
在一些实施例中，目标图片为医学影像图片，关注位置为诊断者关注位置，关注区域为疑似病变区域。例如，可以通过图4的实施例给予医学影像图片进行计算机辅助检测。
图4示出本公开的图像目标区域的确定方法的另一些实施例的流程图。
如图4所示，该方法包括：步骤410，输入医学影像图片；步骤420，进行眼动跟踪；步骤430，人工智能检测；步骤440，获取热图；步骤450，确定疑似病变区域；和步骤460，确定提示区域。
在步骤410中，在***中输入医学影像图片，以便影像医师可以通过显示设备进行阅片，计算机可以进行相应处理。例如，医学影像图片可以是核磁设备、CT(ComputedTomography，电子计算机断层扫描)设备、DR(Digital Radiography，数字化放射摄影)设备、超声设备、X光机等产生的图像。
在步骤420中，在医师阅片的过程中，利用眼动仪记录整个阅片过程中医师凝视点(Gaze Point)的运行轨迹；根据运行轨迹，确定医师在每个点或者某些区域的关注度。例如，可以根据意识注视时间确定关注度。凝视点是眼动仪的基本测量单位，一个凝视点等于眼动仪捕获的一个原始样本。
在步骤430中，根据关注度生成热图。例如，医师在阅片过程中，在医学影像图片上某个位置注视的时间越长，医学图像相应的热图中该位置所在区域的颜色越深。可以根据热图中颜色的深浅，将热图划分为多个医师关注区域(如可以通过聚类等方式)。
在步骤440中，利用人工智能方法(如神经网络)对医学影像图片进行处理，提取一个或多个机器关注区域(兴趣区域)。例如，可以训练神经网络模型能够识别图像中与疾病相关的病变区域，用于处理医学影像图片。步骤420和步骤440没有执行顺序。
在步骤450中，将各机器关注区域，确定为疑似病变区域。
在步骤460中，将两套***(眼动跟踪***、人工智能***)的输出区域做比较。
在一些实施例中，可以根据位置信息，将各医师关注区域与各机器关注区域进行匹配(如可以根据区域的重叠面积)。可以根据与机器关注区域匹配的医师关注区域的关注度，确定该机器关注区域的关注度。
在一些实施例中，在机器关注区域相应的关注度低于关注阈值的情况下，将该机器关注区域提示给医师。例如，利用通过在医学影像图片的相应区域显示醒目标记、弹出浮动窗口、发出声音提示等。
在一些实施例中，可以根据机器关注区域的解剖结构、病变的特性医师的阅片习惯(可以从训练数据中提取)中的至少一项，为每个机器关注区域设定关注阈值。
在一些实施例中，医师关注区域1-4分别与机器关注区域1-4匹配，且机器关注区域4相应的医师关注区域4的关注度小于关注阈值。在这种情况下，可以提示医师重点处理机器关注区域4，以提高准确率和效率。
例如，医师进行肺结节诊断。医生在观察相应医学影像图片的过程中，发现了4个肺结节区域(可通过眼动跟踪获取)；通过人工智能检测，在该医学影像图片中发现了5个肺结节区域。人工智能发现的肺结节区域中的4个与医师发现的肺结节区域相同，在这种情况下，可以提示医师仅对其漏掉的1个人工智能发现的肺结节区域进行阅片。这样，医师不必把人工智能发现的5个肺结节区域都看一遍，从而大大减少阅片时间，提高***的处理效率和准确率。
在上述实施例中，结合根据用户的眼球动作获取的关注位置以及机器学习模型提取的关注区域，确定图片中的重要信息。这样，能够结合用户的实际关注需求和人工智能的高性能，提高图像处理的准确性和效率。
图5示出本公开的图像目标区域的确定装置的一些实施例的框图。
如图5所示，图像目标区域的确定装置5包括位置确定单元51、提取单元52和提取单元53。
位置确定单元51根据用户在观察目标图片过程中眼球的运动信息，确定用户在目标图片上的各关注位置。例如，眼球的运动信息包括眼球相对头部的运动或者眼球位置中的至少一项。
在一些实施例中，位置确定单元51根据运动信息，确定用户在目标图片上的各注视点；根据各注视点形成的轨迹，确定各关注位置。
提取单元52利用机器学习模型，提取目标图片上的各关注区域。
在一些实施例中，机器学习模型通过如下步骤训练：获取用户在各训练图片上的各关注位置和相应的位置关注度中的至少一项作为关注信息，训练图片为与目标图片同类型的图片；以各训练图片和关注信息为输入，以各训练图片的各关注区域为标注结果，训练机器学习模型。
区域确定单元53根据各关注位置和各关注区域，确定目标图片上的目标区域。
在一些实施例中，区域确定单元53根据运动信息，确定用户对各关注位置的位置关注度，根据各位置关注度，在各关注区域中确定目标区域。
在一些实施例中，区域确定单元53根据关注区域中包含的各关注位置的位置关注度，确定该关注区域的区域关注度；在区域关注度小于阈值的情况下，将相应的关注区域确定为目标区域。
在一些实施例中，区域确定单元53根据运动信息，确定用户对各关注位置的注视时间用于确定位置关注度。
在一些实施例中，目标图片为医学影像图片，关注位置为诊断者关注位置，关注区域为疑似病变区域。
在上述实施例中，结合根据用户的眼球动作获取的关注位置以及机器学习模型提取的关注区域，确定图片中的重要信息。这样，能够结合用户的实际关注需求和人工智能的高性能，提高图像处理的准确性和效率。
图6示出本公开的图像目标区域的确定装置的另一些实施例的框图。
如图6所示，该实施例的图像目标区域的确定装置6包括：存储器61以及耦接至该存储器61的处理器62，处理器62被配置为基于存储在存储器61中的指令，执行本公开中任意一个实施例中的图像目标区域的确定方法。
其中，存储器61例如可以包括***存储器、固定非易失性存储介质等。***存储器例如存储有操作***、应用程序、引导装载程序、数据库以及其他程序等。
图7示出本公开的图像目标区域的确定装置的又一些实施例的框图。
如图7所示，该实施例的图像目标区域的确定装置7包括：存储器710以及耦接至该存储器710的处理器720，处理器720被配置为基于存储在存储器710中的指令，执行前述任意一个实施例中的图像目标区域的确定方法。
存储器710例如可以包括***存储器、固定非易失性存储介质等。***存储器例如存储有操作***、应用程序、引导装载程序以及其他程序等。
图像目标区域的确定装置7还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730、740、750以及存储器710和处理器720之间例如可以通过总线760连接。其中，输入输出接口730为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口750为SD卡、U盘等外置存储设备提供连接接口。
图8示出本公开的图像目标区域的确定***的一些实施例的框图。
如图8所示，图像目标区域的确定***8包括上述任一个实施例中的图像目标区域的确定装置81和眼动仪82。
眼动仪82用于获取用户在观察目标图片过程中眼球的运动信息。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质上实施的计算机程序产品的形式。
至此，已经详细描述了根据本公开的图像目标区域的确定方法、图像目标区域的装置、图像目标区域的***和计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和***。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和***。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。
Claims (13)
1.一种图像目标区域的确定方法，包括：
根据用户在观察目标图片过程中眼球的运动信息，确定所述用户在所述目标图片上的各关注位置；
利用机器学习模型，提取所述目标图片上的各关注区域；
根据各关注位置和所述各关注区域，确定所述目标图片上的目标区域；
其中，所述根据各关注位置和所述各关注区域，确定所述目标图片上的目标区域包括：
根据所述运动信息，确定所述用户对所述各关注位置的位置关注度；
根据关注区域中包含的各关注位置的位置关注度，确定该关注区域的区域关注度；
在所述区域关注度小于阈值的情况下，将相应的关注区域确定为所述目标区域；
所述根据所述运动信息，确定所述用户对所述各关注位置的位置关注度包括：
根据所述运动信息，确定所述用户对所述各关注位置的注视时间用于确定所述位置关注度。
2.根据权利要求1所述的确定方法，其中，所述根据所述运动信息，确定所述用户在所述目标图片上的各关注位置包括：
根据所述运动信息，确定所述用户在所述目标图片上的各注视点；
根据所述各注视点形成的轨迹，确定所述各关注位置。
3.根据权利要求1所述的确定方法，其中，
所述眼球的运动信息包括眼球相对头部的运动或者眼球位置中的至少一项。
4.根据权利要求1-3任一项所述的确定方法，其中，
所述目标图片为医学影像图片，所述关注位置为诊断者关注位置，所述关注区域为疑似病变区域。
5.根据权利要求1-3任一项所述的确定方法，其中，
所述机器学习模型通过如下步骤训练：
获取用户在各训练图片上的各关注位置和相应的位置关注度中的至少一项作为关注信息，所述训练图片为与所述目标图片同类型的图片；
以所述各训练图片和所述关注信息为输入，以所述各训练图片的各关注区域为标注结果，训练所述机器学习模型。
6.一种图像目标区域的确定装置，包括：
位置确定单元，用于根据用户在观察目标图片过程中眼球的运动信息，确定所述用户在所述目标图片上的各关注位置；
提取单元，用于利用机器学习模型，提取所述目标图片上的各关注区域；
区域确定单元，用于根据各关注位置和所述各关注区域，确定所述目标图片上的目标区域；
所述区域确定单元根据所述运动信息，确定所述用户对所述各关注位置的位置关注度，根据关注区域中包含的各关注位置的位置关注度，确定该关注区域的区域关注度，在所述区域关注度小于阈值的情况下，将相应的关注区域确定为所述目标区域；
所述区域确定单元根据所述运动信息，确定所述用户对所述各关注位置的注视时间用于确定所述位置关注度。
7.根据权利要求6所述的确定装置，其中，
所述位置确定单元根据所述运动信息，确定所述用户在所述目标图片上的各注视点，根据所述各注视点形成的轨迹，确定所述各关注位置。
8.根据权利要求6所述的确定装置，其中，
所述眼球的运动信息包括眼球相对头部的运动或者眼球位置中的至少一项。
9.根据权利要求6-8任一项所述的确定装置，其中，
所述目标图片为医学影像图片，所述关注位置为诊断者关注位置，所述关注区域为疑似病变区域。
10.根据权利要求6-8任一项所述的确定装置，其中，
所述机器学习模型通过如下步骤训练：
获取用户在各训练图片上的各关注位置和相应的位置关注度中的至少一项作为关注信息，所述训练图片为与所述目标图片同类型的图片；
以所述各训练图片和所述关注信息为输入，以所述各训练图片的各关注区域为标注结果，训练所述机器学习模型。
11.一种图像目标区域的确定装置，包括：
存储器；和
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-5任一项所述的图像目标区域的确定方法。
12.一种图像目标区域的确定***，包括：
权利要求6-11任一项所述的图像目标区域的确定装置；和
眼动仪，用于获取用户在观察目标图片过程中眼球的运动信息。
13.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-5任一项所述的图像目标区域的确定方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911195964.5A CN112885435B (zh) | 2019-11-29 | 2019-11-29 | 图像目标区域的确定方法、装置和*** |
| PCT/CN2020/075056 WO2021103316A1 (zh) | 2019-11-29 | 2020-02-13 | 图像目标区域的确定方法、装置和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911195964.5A CN112885435B (zh) | 2019-11-29 | 2019-11-29 | 图像目标区域的确定方法、装置和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112885435A CN112885435A (zh) | 2021-06-01 |
| CN112885435B true CN112885435B (zh) | 2023-04-21 |
Family
ID=76038289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911195964.5A Active CN112885435B (zh) | 2019-11-29 | 2019-11-29 | 图像目标区域的确定方法、装置和*** |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112885435B (zh) |
| WO (1) | WO2021103316A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113485555B (zh) * | 2021-07-14 | 2024-04-26 | 上海联影智能医疗科技有限公司 | 医学影像阅片方法、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101714153A (zh) * | 2009-11-16 | 2010-05-26 | 杭州电子科技大学 | 基于视觉感知的交互式乳腺钼靶图像检索方法 |
| CN102521595A (zh) * | 2011-12-07 | 2012-06-27 | 中南大学 | 一种基于眼动数据和底层特征的图像感兴趣区域提取方法 |
| CN106095089A (zh) * | 2016-06-06 | 2016-11-09 | 郑黎光 | 一种获取感兴趣目标信息的方法 |
| CN107563123A (zh) * | 2017-09-27 | 2018-01-09 | 百度在线网络技术（北京）有限公司 | 用于标注医学图像的方法和装置 |
| CN109887583A (zh) * | 2019-03-11 | 2019-06-14 | 数坤（北京）网络科技有限公司 | 基于医生行为的数据获取方法/***、医学图像处理*** |
| CN109886780A (zh) * | 2019-01-31 | 2019-06-14 | 苏州经贸职业技术学院 | 基于眼球跟踪的商品目标检测方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160071242A (ko) * | 2014-12-11 | 2016-06-21 | 삼성전자주식회사 | 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법 |
| CN105426399A (zh) * | 2015-10-29 | 2016-03-23 | 天津大学 | 一种基于眼动的提取图像兴趣区域的交互式图像检索方法 |
| US11340698B2 (en) * | 2015-10-30 | 2022-05-24 | University Of Massachusetts | System and methods for evaluating images and other subjects |
| CN105677024B (zh) * | 2015-12-31 | 2018-05-29 | 北京元心科技有限公司 | 一种眼动检测跟踪方法、装置及其用途 |
| CN107656613B (zh) * | 2017-09-08 | 2020-12-18 | 国网智能科技股份有限公司 | 一种基于眼动追踪的人机交互***及其工作方法 |
| US10593118B2 (en) * | 2018-05-04 | 2020-03-17 | International Business Machines Corporation | Learning opportunity based display generation and presentation |
-
2019
- 2019-11-29 CN CN201911195964.5A patent/CN112885435B/zh active Active
-
2020
- 2020-02-13 WO PCT/CN2020/075056 patent/WO2021103316A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101714153A (zh) * | 2009-11-16 | 2010-05-26 | 杭州电子科技大学 | 基于视觉感知的交互式乳腺钼靶图像检索方法 |
| CN102521595A (zh) * | 2011-12-07 | 2012-06-27 | 中南大学 | 一种基于眼动数据和底层特征的图像感兴趣区域提取方法 |
| CN106095089A (zh) * | 2016-06-06 | 2016-11-09 | 郑黎光 | 一种获取感兴趣目标信息的方法 |
| CN107563123A (zh) * | 2017-09-27 | 2018-01-09 | 百度在线网络技术（北京）有限公司 | 用于标注医学图像的方法和装置 |
| CN109886780A (zh) * | 2019-01-31 | 2019-06-14 | 苏州经贸职业技术学院 | 基于眼球跟踪的商品目标检测方法及装置 |
| CN109887583A (zh) * | 2019-03-11 | 2019-06-14 | 数坤（北京）网络科技有限公司 | 基于医生行为的数据获取方法/***、医学图像处理*** |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021103316A1 (zh) | 2021-06-03 |
| CN112885435A (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11850021B2 (en) | Dynamic self-learning medical image method and system | |
| KR102014385B1 (ko) | 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치 | |
| Qian et al. | M $^ 3$ Lung-Sys: A deep learning system for multi-class lung pneumonia screening from CT imaging | |
| CN111160367B (zh) | 图像分类方法、装置、计算机设备和可读存储介质 | |
| US10733727B2 (en) | Application of deep learning for medical imaging evaluation | |
| JP5222082B2 (ja) | 情報処理装置およびその制御方法、データ処理システム | |
| US10083278B2 (en) | Method and system for displaying a timing signal for surgical instrument insertion in surgical procedures | |
| CN113485555B (zh) | 医学影像阅片方法、电子设备和存储介质 | |
| Chatelain et al. | Evaluation of gaze tracking calibration for longitudinal biomedical imaging studies | |
| KR102628324B1 (ko) | 인공지능 기반의 사용자 인터페이스를 통한 수술 결과 분석 장치 및 그 방법 | |
| Castner et al. | LSTMs can distinguish dental expert saccade behavior with high” plaque-urracy” | |
| JP2013052245A (ja) | 情報処理装置および情報処理方法 | |
| CN111091539A (zh) | 网络模型训练、医学图像处理方法、装置、介质及设备 | |
| CN112885435B (zh) | 图像目标区域的确定方法、装置和*** | |
| CN114202516A (zh) | 一种异物检测方法、装置、电子设备及存储介质 | |
| CN114612484B (zh) | 基于无监督学习的视网膜oct图像分割方法 | |
| EP2834775B1 (en) | Method and system for assisting the visual exploration of an image during a target search | |
| Arnold et al. | Indistinct frame detection in colonoscopy videos | |
| WO2020099941A1 (en) | Application of deep learning for medical imaging evaluation | |
| US11599191B2 (en) | Automatic localization of a structure | |
| White et al. | Modeling human eye behavior during mammographic scanning: Preliminary results | |
| Pemasiri et al. | Semantic segmentation of hands in multimodal images: A region new-based CNN approach | |
| Chen et al. | Palpation localization of radial artery based on 3-dimensional convolutional neural networks | |
| Gunasekara et al. | A feasibility study for deep learning based automated brain tumor segmentation using magnetic resonance images | |
| CN114463323B (zh) | 一种病灶区域识别方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |