CN101909511A - 场景变化检测装置以及场景变化检测程序 - Google Patents

场景变化检测装置以及场景变化检测程序 Download PDF

Info

Publication number
CN101909511A
CN101909511A CN2008801244701A CN200880124470A CN101909511A CN 101909511 A CN101909511 A CN 101909511A CN 2008801244701 A CN2008801244701 A CN 2008801244701A CN 200880124470 A CN200880124470 A CN 200880124470A CN 101909511 A CN101909511 A CN 101909511A
Authority
CN
China
Prior art keywords
image
images
scene
characteristic area
varies
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2008801244701A
Other languages
English (en)
Other versions
CN101909511B (zh
Inventor
松崎弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN101909511A publication Critical patent/CN101909511A/zh
Application granted granted Critical
Publication of CN101909511B publication Critical patent/CN101909511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Studio Devices (AREA)

Abstract

目的在于可从连续的图像序列中检测出符合图像特征的场景变化图像,通过特征区域提取部(22)从连续的图像序列中的各图像内提取出特征区域,在检测部(23)根据所提取出的特征区域的特征量变更设定图像间变化的检测条件,以检测多个图像间的变化,因此除了对单纯的图像间变化进行检测之外,通过使用提取出的特征区域的特征量,还能够基于考虑到重要度的图像间变化的检测条件的设定来检测图像间变化,因此能够从连续的图像序列中检测出符合图像特征的场景变化图像。

Description

场景变化检测装置以及场景变化检测程序
技术领域
本发明涉及用于对连续拍摄到的图像序列和动态图像的帧图像序列中场景发生变化的位置的场景变化图像进行检测的场景变化检测装置以及场景变化检测程序。
背景技术
动态图像由庞大数量的连续图像序列构成,从这些连续的图像序列中检测出有用图像来生成摘要图像序列属于有用的技术领域。这对于连续拍摄的静态图像序列也同样适用。例如,通过胶囊型内窥镜拍摄的被检体内图像在从口中吞入胶囊型内窥镜到排出体外之前每隔大约0.5秒就进行拍摄,成为大约60000张连续的图像序列。这些图像是对消化道内依次进行了拍摄,通过在工作站等显示图像进行观察来实现诊断的。然而对于达到大约60000张的大量图像全部依次进行观察,要耗费一个小时以上时间,期望提出一种用于高效观察的方案。
以往提出了从动态图像那样连续的图像序列中检测场景发生变化的位置的图像(场景变化图像)的各种方法。为了对大量图像高效进行观察,可尝试使用这种场景变化图像。作为检测场景变化图像的方法,普遍采用的是将相邻图像间(帧间)的特征变化量与预定阈值进行比较,在超过阈值的情况下检测为场景变化图像的方法。
还有如下的建议例,其具有用于变更帧间变化的阈值的输入单元,从多个阈值中设定期望的阈值,从而可变更所生成的场景变化图像序列(例如参见专利文献1)。
专利文献1:日本特开2006-41797号公报
然而,专利文献1所示的技术虽然可以选择和设定阈值的值,然而用户会凭借尝试法来反复进行阈值的变更设定,以获得期望的摘要图像序列。即便如此,在使用恒定阈值的处理中,用户也很难得到捕获了想要检测的图像特征的、合适的场景变化图像序列。
尤其是通过上述胶囊型内窥镜拍摄的体腔内图像的情况下,医生等用户在观察中大多关心的是与图像整体变化的大小不一致的情况。有时要将整体变化缓慢的部位检测为场景变化图像,有时反而不需要将图像整体变化显著的部位检测为场景变化图像。现有技术难以充分应对这种要求。
发明内容
本发明就是鉴于上述情况而完成的,其目的在于提供一种可从连续的图像序列中检测出符合图像特征的场景变化图像的场景变化检测装置以及场景变化检测程序。
为了解决上述问题,达成目的,本发明涉及的场景变化检测装置根据多个图像间的变化量从连续的图像序列中检测场景变化图像,其特征在于,具有:特征区域提取单元,其从上述图像序列中的图像提取出特征区域;以及检测单元,其根据所提取出的上述特征区域的特征量来设定图像间变化的检测条件,计算图像间变化量,检测多个图像间的变化。
另外,本发明涉及的场景变化检测程序使计算机执行根据多个图像间的变化量从连续的图像序列中检测场景变化图像的操作,其特征在于,该场景变化检测程序使计算机执行如下步骤:特征区域提取步骤,从上述图像序列中作为对象的图像提取出特征区域;以及检测步骤,根据所提取出的上述特征区域的特征量来设定图像间变化的检测条件,计算图像间变化量,检测多个图像间的变化。
根据本发明所涉及的场景变化检测装置以及场景变化检测程序,能够利用考虑到特征区域的特征量的图像间变化的检测条件检测出图像间变化。因此,可获得这样的效果:能够从连续的图像序列中检测出与用户关注的图像特征符合的场景变化图像。
附图说明
图1是表示本发明第1实施方式涉及的场景变化检测装置的构成的功能性框图。
图2是表示第1实施方式涉及的场景变化检测处理步骤的概要流程图。
图3是表示图2中步骤S105、S106的更为详细的处理例的概要流程图。
图4是表示例如按照时序顺序从连续的图像序列中提取三张图像的示意性说明图。
图5是针对某五张连续的图像A~E,示出如以往那样不考虑到区域特征的情况下的图像间变化与如第1实施方式那样考虑了区域特征的情况下的图像间变化的差异的示意图。
图6是表示检测到场景变化图像的图像序列例子的示意图。
图7是表示本发明第2实施方式的处理例的概要流程图。
图8是示意性表示作为工作站而具有实施例的场景变化检测装置的胶囊型内窥镜***的构成图。
符号说明:
22特征提取部;23检测部。
具体实施方式
下面,参照附图说明作为用于实施本发明的最佳方式的场景变化检测装置以及场景变化检测程序。并且,本发明并不限定于各实施方式,可以在不脱离本发明主旨的范围内实施各种变形。
(第1实施方式)
图1是表示本发明第1实施方式涉及的场景变化检测装置的构成的功能性框图。图1所示的场景变化检测装置可通过具有CPU、ROM、RAM等硬件的计算机实现,具有控制部2、存储部3、显示部4和输入部5。
控制部2总体上具有运算功能和控制功能。而且,存储部3用于存储动态图像那样按照时序连续拍摄的图像序列的图像信息,通过数据库等构成。显示部4通过LCD、ELD、CRT等构成,用于在显示画面上显示包含作为处理结果的场景变化图像序列(摘要图像序列)的图像在内的各种信息。输入部5通过键盘、鼠标、指示器等构成,用于进行各种信息的输入操作和指示操作以对图像进行处理。
其中,控制部2具有图像读入部21、特征区域提取部22和检测部23。图像读入部21用于读入存储于存储部3的连续的图像序列中的图像。特征区域提取部22用于使用现有的特征区域提取技术,从通过图像读入部21依次读入的图像中提取出至少一个特征区域,从而最终将作为对象的图像整个区域分割为多个区域。这里,本实施方式的特征区域的提取是包含特征区域的识别的概念。特征区域的识别可通过如下方法等进行,对作为对象的图像整个区域进行区域分割,从而通过所分割的各区域内的特征来进行设定重要度等处理,与重要度关联起来。并且,特征区域例如是指对每个图像示出其图像特征的部分和期望的对象,也包含图像整体为特征区域的情况。
检测部23用于根据由特征区域提取部22提取出的特征区域的特征量,设定图像间变化的检测条件,计算图像间变化量,从而检测多个图像间的变化。检测部23具有图像变化检测部231、综合变化量计算部232、场景变化图像检测部233。
图像变化检测部231用于计算作为对象的图像的图像整个区域的各区域(包含提取出的特征区域、除该特征区域以外的区域、以及伴随该特征区域相对于待比较图像的移动而产生的与待比较图像之间的共同区域和偏移区域在内)中的相对于待比较图像的图像间变化量。另外,综合变化量计算部232用于根据提取出的特征区域的特征量将图像间变化的设定条件设定为可变,然后按照该图像间变化的设定条件,计算对每个区域进行了修正的图像间变化量,累计计算结果,从而计算统计值来作为图像整个区域的图像间变化量。其中,综合变化量计算部232以如下方式设定图像间变化的检测条件:针对作为对象的图像的图像整个区域中的各区域的图像间变化,基于由特征区域提取部22提取出的特征区域的特征量进行加权。由此,可以根据特征区域的特征量使每个区域的图像变化量相对于用于判定图像变化的阈值进行改变。另外,场景变化图像检测部233用于将通过综合变化量计算部232计算出的图像间变化量的统计值与用于判定图像变化的预定阈值进行比较,从而将具有超过阈值的统计值的图像作为场景变化图像(摘要图像)检测出来。场景变化图像检测部233通过检测到的场景变化图像(摘要图像)生成场景变化图像序列,以用于在显示部4的显示画面上按时序顺序进行显示。
通过由在控制部2中具有以上各部分的场景变化检测装置1构成的计算机所具备的CPU,将用于执行该第1实施方式所涉及的场景变化检测处理的场景变化检测程序从计算机中的ROM读出到RAM,从而执行与场景变化检测处理有关的运算处理。并且,该第1实施方式所涉及的场景变化检测程序还可以记录于软盘、CD-ROM、DVD-ROM、闪速存储器等计算机可读取的存储介质中而广泛流通。因此,该第1实施方式所涉及的场景变化检测装置也可以构成为具备可读取上述各种记录介质中的某个的辅助存储装置。
图2是表示该第1实施方式所涉及的场景变化检测处理步骤的概要流程图。首先,图像读入部21从存储部3取得构成连续图像序列的全部图像张数n、图像大小等信息,并依次读入图像(步骤S101)。接着,将用于确定作为处理对象的图像的关于张数的变量k设置为最初的1(步骤S102)。然后,特征区域提取部22将第k个图像(k)作为处理对象的图像,从该图像(k)提取特征区域(步骤S103)。通过该处理,图像(k)的图像整个区域也具有除特征区域之外的区域部分,至少被分割为多个区域。即,设定检测条件时,除了所提取出的特征区域之外的区域部分也可以被视为特征区域,同样可适用这样的考虑方式:对图像整个区域进行区域分割,将所分割的各区域作为特征区域进行处理。
接下来,图像变化检测部231计算作为对象的图像(k)的图像整个区域的各区域(包含所提取出的特征区域、除该特征区域以外的区域、以及后述的伴随该特征区域相对于比较图像的移动而产生的与比较图像间的共同区域和偏移区域)的相对于比较图像的图像间变化量(步骤S104)。此后,综合变化量计算部232根据所提取的特征区域的特征量,设定图像间变化的检测条件,然后按照该图像间变化的检测条件计算对每个区域进行了修正的图像间变化量,累计计算结果,从而计算统计值(综合变化量)来作为图像整个区域的图像间变化量(步骤S105)。计算出的统计值作为该图像(k)的图像变化量而被实施关联处理(步骤S106)。
当变量k逐次加1直到达到全部图像张数n为止都同样重复如上处理(步骤S107、S108)。结束了关于全部图像的统计值计算处理之后,场景变化检测部233通过将与各图像对应起来的统计值与预定阈值进行比较判断,检测场景变化图像(步骤S109),向显示部4输出由检测出的场景变化图像构成的场景变化图像序列(步骤S110)。
其中,关于图2中的步骤S105、S106的处理,参见图3说明更为详细的处理例。此时设根据特征区域的提取而分割出各图像的区域数量为m,用i表示其变量。首先将变量i设置为1(步骤S201)。接着,综合变化量计算部232根据针对该图像提取出的特征区域的特征量,设定区域(i)的权重系数(i)(步骤S202)。即,针对区域(i),以基于特征区域的特征量对该区域(i)的图像间变化进行加权的方式设定图像间变化的检测条件。然后,图像变化检测部231计算区域(i)相对于比较图像的图像变化量(i)(步骤S203)。进而,综合变化量计算部232使计算出的图像变化量(i)乘以权重系数(i),从而计算出区域(i)的加权图像变化量(i)(步骤S204),通过累计所计算出的加权图像变化量(i)而进行综合(步骤S205)。当变量i逐次加1直到达到全部图像张数m为止都同样重复如上处理(步骤S206、S207)。
接下来参见图4,说明作为本第1实施方式的对象图像的图像整个区域中每个区域的加权处理。图4是表示按照时序顺序从连续的图像序列中提取例如三张图像的示意性说明图。图像A、B、C是按照时序在T=t-1、T=t、T=t+1的定时拍摄的图像,设图像B为关注的处理对象图像。另外,对于各图像A、B、C,设由特征区域提取部22提取出且具有较高重要度的特征量的相同特征区域为Ea、Eb、Ec。
首先,在图像A中,伴随特征区域Ea的提取,图像整个区域被区域分割为特征区域Ea及除此之外的区域Ed。其中,区域Ed也可以被认为是一个特征区域。此外,所关注的在作为处理对象的图像B中提取出的特征区域Eb是比较图像A上的特征区域Ea的位置进行移动而得到的,在图像B上将特征区域Eb的原位置表示为特征区域Ea’。如上,伴随关注区域相对于比较图像A的移动,会产生与比较图像A之间的与特征区域相关的共同区域Eab和偏移区域Eaa、Ebb。另外,伴随特征区域的移动,区域Ed也变化为不包含在特征区域Ea、Eb双方中的区域Ed’。本实施方式中,例如对于图像B,将这些区域Eaa、Eab、Ebb、Ed’作为图像整个区域的各区域进行处理。
当产生这种特征区域的移动时,作为各区域的特征量,可认为共同区域Eab的重要度最高。于是,对共同区域Eab,将其图像间变化量设定得较高。另外,对于从特征区域Ea’中除去了共同区域Eab后的偏移区域Eaa、和从特征区域Eb’中除去了共同区域Eab后的偏移区域Ebb,可认为其特征量的重要度相比共同区域Eab要低。于是,对于偏移区域Eaa、Ebb,在减去相应的权重系数值后,计算出图像间变化量。进而,关于在特征区域移动前后都不包含在特征区域中的区域Ed’,可认为其重要度更低。于是,对于区域Ed’,在进一步减去权重系数值后计算出图像间变化量。也就是说,按照这些区域Eab、Eaa、Ebb、Ed’各自的重要度,以进行使这些区域Eab、Eaa、Ebb、Ed’各自相对于图像A的图像间变化乘以不同权重系数这样的加权的方式,设定图像间变化的检测条件。
而且,通过累计各区域Eab、Eaa、Ebb、Ed’的经过了加权的图像间变化量来计算统计值,从而可以对图像整体计算综合的图像间变化量。也就是说,关于图像整个区域的各区域,将考虑到各自重要度的图像间变化量的综合值作为该图像B的图像间变化量。如上计算出的图像间变化量成为根据所提取的特征区域的特征量进行修正后的图像间变化量。
关于以时序上的下一个图像C为处理对象时的处理也与之相同。
图3的情况下,如果提取原本重要度较低的特征区域,则也可以相反地设定上述重要度的关系。例如,可以将共同区域作为重要度最低的区域来对待。
如上,如果将综合的图像间变化量作为统计值来求出,则基于图像整体的单纯比较的图像间变化量的情况和变化的情形会变得不同。例如,图5是针对某五张连续的图像A~E,示出如以往那样没有考虑到区域特征情况下的图像间变化与如第1实施方式那样考虑到区域特征的情况下的图像间变化的差异的示意图。在不考虑以往的区域特征的情况下,基于的是图像整体的单纯比较,在单纯的图像间变化量超过预定阈值的情况下(例如图像B、D)作为场景变化图像而检测出来。另一方面,在该第1实施方式的情况下,即便是相同的图像A~E时,对于作为处理对象的图像,也提取出对图像内容附加了特征的特征区域,并分割为包含特征区域的多个区域,进而针对包含伴随特征区域相对于比较图像的移动而产生的共同区域和偏移区域在内的图像整个区域中的各区域,通过权重系数具有与特征区域的特征量对应的重要度,设定图像间变化的检测条件,从而按照图像内容使每个区域的图像间变化量相对于预定阈值相对变动。因而,例如关于图像A~C,相比单纯比较的情况而使图像间变化量增大的一侧相对变动,即便是相同的预定阈值也能作为超过该阈值的场景变化图像而检测出来。例如关于图像D、E,相比单纯比较的情况而使图像间变化量减小的一侧相对变动,即便是相同的预定阈值也不会超过该阈值,而无法作为场景变化图像被检测出来。因而,在用相同阈值检测场景变化图像时,在现有方式与该第1实施方式的情况下所检测到的场景变化图像是不同的,但是,由于在该第1实施方式的情况下是通过加权形式反映出特征区域的重要度来进行判断的,因此可以基于作为对象的图像的特征检测适当的场景变化图像。
也就是说,在该第1实施方式中,如果作为场景变化图像而言是非常期望提取出的图像内容的话,即便实际的图像间变化量较小也向可清除预定阈值的方向移动图像间变化量;而如果作为场景变化图像而言是非常不期望提取出的图像内容的话,即便实际的图像间变化量较大也向不能清除预定阈值的方向移动图像间变化量。
其中,作为计算图像间变化量时的特征,可使用以往普遍知晓的图像间的相关、SSD(像素差的平方和)、SAD(像素差的绝对值和)等。还可以使用分割图像对各分割区域进行同样的特征计算处理的方法,或者是计算规则性、等间隔选择的点甚至局部特征较大的特征点,求出其动作量、光流场,将其大小用作图像变化量,只要是可定义为特征量的值,就可以作为用于导出本发明的特征变化量的值来使用。
对于通过本第1实施方式的场景变化检测处理进行了处理的连续图像序列,如图6所示,剪切所检测到的场景变化图像,分割为多个镜头,从而在显示部4上实际进行显示时,依次显示镜头最初的场景变化图像(剪切1、2、...、i、...、n-1、n)。该显示中不会显示出图像间变化量较小的图像。即,相似度较大的图像被省略显示,可进行高效的显示。这种情况下,根据本实施方式,作为图像间变化量,如上计算统计值(综合图像变化量),将该统计值用作图像间变化量,因此可以检测出相比以往更能反映图像内容的高效的场景变化图像。
并且,在上述说明中,说明了计算时序相邻的图像间的特征变化的例子,然而不特别限定于相邻的两张图像之间的处理,也可以计算两张以上图像间的特征,计算与使用基于这些组合的统计性运算的特征变化量对应的值,进行根据基于该值的排序的设定张数的检测。
另外,由于在连续的图像序列中存在相类似的图像连续的情况,因此此时也可以将针对某一张图像进行处理的结果应用于连续的多福图像中。即,本第1实施方式的情况下,针对图像提取出特征区域,根据特征区域的特征量设定图像间变化的检测条件,针对连续的多个图像,将该图像间变化的检测条件设定为相同条件。由此,无需对全部图像进行特征区域的提取/识别处理,能够实现处理时间的缩短。
并且,作为应用该手法确定图像张数的手法,简单来说,只要是预先确定一定张数的方法即可,还可以通过与预定的阈值进行比较来判断图像间相似度,适应性地来确定。
进而,作为确定特征区域的重要度的特征量,可以使用特征区域的灰度信息、亮度信息、位置信息或大小信息。例如在确定特征区域的重要度方面,颜色的灰度信息和亮度信息是有用的信息,因此使用这些信息识别特定颜色和亮度信息时,通过设定其重要度就可以实现精度良好的场景变化图像的检测。
另外,在设定与特征区域的特征量对应的检测条件方面,将基于特征区域的位置的特征量作为该区域的特征量也是有用的。即,特征区域反映于画面(图像)内的哪个位置也与特征区域的重要度存在关联性,例如在反映于中央附近的情况下将重要度设定得较高,在反映于角落的情况下将重要度设定得较低等,考虑到与位置关联的重要度来进行检测条件的设定,从而能够有效地检测与所拍摄的图像构图关联的场景变化图像。
进而,从特征区域大小观点而言,也可以进行重要度的设定,通过进行基于大小的重要度设定,也能够进行有效的场景变化图像的检测。
(第2实施方式)
参见图7,说明本发明的第2实施方式。图7是表示取代图3的处理例的本第2实施方式的处理例的概要流程图。在第1实施方式中,计算按作为对象的图像的每个区域进行加权后的图像间变化量,使用累计得到的统计值来检测多个图像间的变化;而在本第2实施方式中,使用按作为对象的图像的每个区域进行加权后的阈值来计算出阈值与图像间变化的差异,并使用累计后的统计值来检测多个图像间的变化。即,第1实施方式中对每个区域通过加权使图像变化量变动,而在本第2实施方式中,对每个区域通过加权使阈值发生变动。
图7中也设根据特征区域的提取而分割出各图像的区域数量为m,用i表示其变量。首先将变量i设置为1(步骤S301)。接着,综合变化量计算部232根据对该图像提取出的特征区域的特征量,设定区域(i)的权重系数(i)(步骤S302),按照所设定的区域(i)的权重系数对区域(i)设定阈值(i)(步骤S303)。即,关于区域(i),以根据特征区域的特征量对该区域(i)的图像间变化进行相对加权的方式对阈值(i)进行加权,从而进行图像间变化的检测条件的设定。此时,为使得权重系数越大则越容易被检测,而将阈值设定得相对于预先设定的初始阈值变小;为使得权重系数越小则越不容易被检测出来,而将阈值设定得相对于预先设定的初始阈值变大,这样做是很适当的。然后,图像变化检测部231将区域(i)相对于比较图像的图像变化与加权设定后的阈值(i)的差异计算为比较值(步骤S304)。进而,综合变化量计算部232通过累计与所计算的阈值(i)之间的比较值而综合为统计值(步骤S305)。当变量i逐次加1直到达到全部图像张数m为止都同样重复如上处理(步骤S306、S307)。
本第2实施方式的情况下,对每个区域通过加权而可变地设定阈值,因此所计算的统计值成为考虑到作为对象的图像整个区域中各区域的重要度分布的值,对每个图像使用如上计算出的统计值来进行场景变化图像的检测,生成场景变化图像序列,从而能够生成考虑到特征区域的特征量的适当的场景变化图像序列。
(实施例)
参见图8说明本发明的场景变化检测装置的实施例。本实施例将上述第1或第2实施方式涉及的场景变化检测装置1应用于胶囊型内窥镜***。图8是示意性表示作为工作站而具有实施例的场景变化检测装置1的胶囊型内窥镜***的构成图。胶囊型内窥镜***具有:被导入被检体H的体腔内的、拍摄体腔内图像的胶囊型内窥镜6;接收从胶囊型内窥镜6发送的无线信号,蓄积所接收的无线信号中包含的图像信息的接收装置7;以及相对于接收装置7和场景变化检测装置1可拆装的存储卡等便携型存储部8。该存储部8相当于图1中所示的存储部3。
胶囊型内窥镜6具有拍摄被检体H的体腔内图像的摄像功能和将包含所拍摄的体腔内图像的无线信号发送到外部的无线通信功能。更具体而言,胶囊型内窥镜6在被检体H的体腔内行进的同时,例如以0.5秒左右的预定间隔(2Hz左右)拍摄被检体H的体腔内图像,通过预定的电波将所拍摄的体腔内图像发送到接收装置7。
接收装置7连接着接收从胶囊型内窥镜6发送的无线信号的多个接收天线7a~7h。接收天线7a~7h例如为环形天线,分散配置于与胶囊型内窥镜6的通过路径对应的被检体H的体表位置。这种接收天线相对于被检体H至少配置一个即可,其配置数量不限于图示例子中的八个。
接收装置7接收经由接收天线7a~7h中的某个从胶囊型内窥镜6发送的无线信号,根据接收到的无线信号取得被检体H的体腔内图像的图像信息。接收装置7取得的图像信息被存储在安装于接收装置7上的存储部8内。存储被检体H的体腔内图像的图像信息的存储部8安装于场景变化检测装置1上,用于控制部2的场景变化检测处理。
在这种胶囊型内窥镜***中,使用通过在上述第1、第2实施方式中说明的结构构成的场景变化检测装置1,从体腔内图像序列中的图像中将病变部和出血部作为特征区域提取/识别出来,或将作为目的的脏器和粘膜作为特征区域提取/识别出来,根据其特征量改变每个区域的图像间变化的检测条件进行设定,从而可达成目的。
即,当处理胶囊型内窥镜6拍摄的体腔内图像时,病变部、出血部、粘膜、各种瓣等是图像上重要的特征区域,在场景变化图像序列(摘要图像序列)中需要残留足够张数的图像。另一方面,拍摄消化道内浮游的内容物、泡或者含入口中之前的外部情形的图像等即便是特征区域,其重要度也较低,如果这些图像在场景变化图像序列(摘要图像序列)中过多残留的话就会成为质量较差的场景变化图像序列(摘要图像序列)。考虑到这种情况,关于体腔内图像,上述那样的特征区域的提取/识别可通过图像内的颜色信息/亮度信息大致实现。于是,对于包含重要度较高的特征区域在内的图像,以图像整体的图像间变化量相对较大的方式设定检测条件;而对于包含重要度较低的特征区域在内的图像,以图像整体的图像间变化量相对较小的方式设定检测条件。
由此,可以实现与胶囊型内窥镜6所拍摄的体腔内图像特有的重要性水平相应的场景变化图像的检测,能够进行有效的诊断支援。
产业利用性
如上所述,本发明涉及的场景变化检测装置以及场景变化检测程序在检测连续拍摄的图像序列和动态图像的帧图像序列中的场景发生变化的位置的场景变化图像时非常有用,尤其适用于从通过胶囊型内窥镜拍摄的连续的体腔内图像序列中检测符合图像特征的场景变化图像。

Claims (10)

1.一种场景变化检测装置,其根据多个图像间的变化量从连续的图像序列中检测场景变化图像,其特征在于,该场景变化检测装置具有:
特征区域提取单元,其从上述图像序列中的图像提取出特征区域;以及
检测单元,其根据所提取出的上述特征区域的特征量来设定图像间变化的检测条件,计算图像间变化量,检测多个图像间的变化。
2.根据权利要求1所述的场景变化检测装置,其特征在于,上述检测单元使用图像整个区域中各区域的图像间变化量的统计值来检测多个图像间的变化,该图像整个区域包含所提取出的上述特征区域、除该特征区域以外的区域、以及伴随上述特征区域相对于待比较图像的移动而产生的与待比较图像之间的共同区域和偏移区域。
3.根据权利要求2所述的场景变化检测装置,其特征在于,上述检测单元以对图像整个区域中上述各区域的图像间变化进行基于上述特征区域的特征量的加权的方式设定图像间变化的检测条件,计算针对每个区域进行了加权的图像间变化量,使用该图像间变化量的统计值来检测多个图像间的变化。
4.根据权利要求1所述的场景变化检测装置,其特征在于,上述检测单元使用图像整个区域中各区域的图像间变化与阈值之间的差异的统计值来检测多个图像间的变化,该图像整个区域包含所提取出的上述特征区域、除该特征区域以外的区域、以及伴随上述特征区域相对于待比较图像的移动而产生的与待比较图像之间的共同区域和偏移区域。
5.根据权利要求4所述的场景变化检测装置,其特征在于,上述检测单元以对图像整个区域中上述各区域的阈值进行基于上述特征区域的特征量的加权的方式设定图像间变化的检测条件,计算针对每个区域进行了加权的阈值与每个区域的图像变化之间的差异,使用该差异的统计值来检测多个图像间的变化。
6.根据权利要求1至5中任一项所述的场景变化检测装置,其特征在于,上述检测单元针对连续的图像序列中连续的多张图像,将图像变化的检测条件设定为相同条件。
7.根据权利要求1至6中任一项所述的场景变化检测装置,其特征在于,作为上述特征区域的特征量,使用该特征区域的灰度信息、亮度信息、位置信息或大小信息中的至少一个。
8.根据权利要求1至7中任一项所述的场景变化检测装置,其特征在于,连续的图像序列是由被导入到被检体的体腔内的胶囊型内窥镜拍摄的体腔内图像序列。
9.根据权利要求8所述的场景变化检测装置,其特征在于,由上述特征区域提取单元提取出的上述特征区域包括体腔内图像中所包含的病变部、出血部或粘膜的区域。
10.一种场景变化检测程序,其使计算机执行根据多个图像间的变化量从连续的图像序列中检测场景变化图像的操作,其特征在于,该场景变化检测程序使计算机执行如下步骤:
特征区域提取步骤,从上述图像序列中作为对象的图像提取出特征区域;以及
检测步骤,根据所提取出的上述特征区域的特征量来设定图像间变化的检测条件,计算图像间变化量,检测多个图像间的变化。
CN2008801244701A 2008-01-09 2008-11-14 场景变化检测装置 Active CN101909511B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008002183A JP5191240B2 (ja) 2008-01-09 2008-01-09 シーン変化検出装置およびシーン変化検出プログラム
JP2008-002183 2008-01-09
PCT/JP2008/070784 WO2009087816A1 (ja) 2008-01-09 2008-11-14 シーン変化検出装置およびシーン変化検出プログラム

Publications (2)

Publication Number Publication Date
CN101909511A true CN101909511A (zh) 2010-12-08
CN101909511B CN101909511B (zh) 2012-11-21

Family

ID=40852941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801244701A Active CN101909511B (zh) 2008-01-09 2008-11-14 场景变化检测装置

Country Status (5)

Country Link
US (1) US20100277650A1 (zh)
EP (1) EP2233062B1 (zh)
JP (1) JP5191240B2 (zh)
CN (1) CN101909511B (zh)
WO (1) WO2009087816A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014114223A1 (zh) * 2013-01-24 2014-07-31 华为终端有限公司 场景识别方法及装置
CN103988501A (zh) * 2011-11-25 2014-08-13 汤姆逊许可公司 考虑场景剪切伪像的视频质量评估
CN104822009A (zh) * 2015-04-14 2015-08-05 无锡天脉聚源传媒科技有限公司 一种视频场景变换识别的方法及装置
TWI673652B (zh) * 2017-10-24 2019-10-01 日商三菱電機股份有限公司 影像處理裝置及影像處理方法
CN112165621A (zh) * 2020-09-24 2021-01-01 北京金山云网络技术有限公司 场景切换帧的检测方法及装置、存储介质、电子设备
WO2021042909A1 (zh) * 2019-09-05 2021-03-11 北京达佳互联信息技术有限公司 一种场景切换的检测方法、装置、电子设备及存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9183349B2 (en) 2005-12-16 2015-11-10 Nextbio Sequence-centric scientific information management
WO2007075488A2 (en) 2005-12-16 2007-07-05 Nextbio System and method for scientific information knowledge management
WO2008076910A1 (en) * 2006-12-15 2008-06-26 The Board Of Trustees Of The Leland Stanford Junior University Image mosaicing systems and methods
WO2009111581A1 (en) 2008-03-04 2009-09-11 Nextbio Categorization and filtering of scientific data
JP5576711B2 (ja) * 2010-05-14 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
KR101748576B1 (ko) 2011-03-02 2017-06-20 삼성전자주식회사 이동통신 단말기에서 동영상 데이터를 세그먼팅하기 위한 장치 및 방법
JP5784404B2 (ja) 2011-07-29 2015-09-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR101758685B1 (ko) 2012-03-14 2017-07-14 한화테크윈 주식회사 카메라 템퍼링 감지 방법 및 시스템
AU2012388049A1 (en) * 2012-08-23 2015-02-26 Thomson Licensing Method and apparatus for detecting gradual transition picture in video bitstream
CN104640496A (zh) 2013-05-31 2015-05-20 奥林巴斯医疗株式会社 医疗装置
JP6218634B2 (ja) * 2014-02-20 2017-10-25 オリンパス株式会社 内視鏡システム及び内視鏡の作動方法
US11120547B2 (en) * 2014-06-01 2021-09-14 CapsoVision, Inc. Reconstruction of images from an in vivo multi-camera capsule with two-stage confidence matching
JP6339872B2 (ja) * 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
US10686969B2 (en) * 2016-07-08 2020-06-16 NETFLIX Inc. Detecting shot changes in a video
WO2018097835A1 (en) * 2016-11-28 2018-05-31 Rovi Guides, Inc. System and method for generating a custom summary of unconsumed portions of a series of media assets
CN112348125B (zh) * 2021-01-06 2021-04-02 安翰科技(武汉)股份有限公司 基于深度学习的胶囊内窥镜影像识别方法、设备及介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009155A (ja) * 2001-06-19 2003-01-10 Sanyo Electric Co Ltd 画像復号方法とその装置、および画像符号化方法とその装置
US7177474B2 (en) * 2003-11-10 2007-02-13 Mobixell Networks Inc. Video to animation conversion with file size constraint
JP2006041794A (ja) * 2004-07-26 2006-02-09 Nikon Corp 画像処理装置および画像処理プログラム
JP2006217045A (ja) * 2005-02-01 2006-08-17 Olympus Corp インデックス画像生成装置及びインデックス画像を生成するプログラム
EP1862106A1 (en) * 2005-03-22 2007-12-05 Osaka University Capsule endoscope image display controller
JP4716794B2 (ja) * 2005-06-06 2011-07-06 オリンパスメディカルシステムズ株式会社 画像表示装置
JP4464894B2 (ja) * 2005-09-09 2010-05-19 オリンパスメディカルシステムズ株式会社 画像表示装置
US20080267521A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Motion and image quality monitor
CN101681518B (zh) * 2007-05-21 2012-11-14 三菱电机株式会社 图像差检测方法和装置、场景转换检测方法和装置、以及图像差分检测方法和装置
CN101855911B (zh) * 2007-09-28 2013-06-19 杜比实验室特许公司 处理视频信息

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103988501A (zh) * 2011-11-25 2014-08-13 汤姆逊许可公司 考虑场景剪切伪像的视频质量评估
WO2014114223A1 (zh) * 2013-01-24 2014-07-31 华为终端有限公司 场景识别方法及装置
CN103973988A (zh) * 2013-01-24 2014-08-06 华为终端有限公司 场景识别方法及装置
US9530054B2 (en) 2013-01-24 2016-12-27 Huawei Device Co., Ltd. Scene recognition method and apparatus
US9934438B2 (en) 2013-01-24 2018-04-03 Huawei Device (Dongguan) Co., Ltd. Scene recognition method and apparatus
CN104822009A (zh) * 2015-04-14 2015-08-05 无锡天脉聚源传媒科技有限公司 一种视频场景变换识别的方法及装置
CN104822009B (zh) * 2015-04-14 2017-11-28 无锡天脉聚源传媒科技有限公司 一种视频场景变换识别的方法及装置
TWI673652B (zh) * 2017-10-24 2019-10-01 日商三菱電機股份有限公司 影像處理裝置及影像處理方法
WO2021042909A1 (zh) * 2019-09-05 2021-03-11 北京达佳互联信息技术有限公司 一种场景切换的检测方法、装置、电子设备及存储介质
CN112165621A (zh) * 2020-09-24 2021-01-01 北京金山云网络技术有限公司 场景切换帧的检测方法及装置、存储介质、电子设备
CN112165621B (zh) * 2020-09-24 2024-01-19 北京金山云网络技术有限公司 场景切换帧的检测方法及装置、存储介质、电子设备

Also Published As

Publication number Publication date
US20100277650A1 (en) 2010-11-04
EP2233062A4 (en) 2011-05-25
JP2009160298A (ja) 2009-07-23
JP5191240B2 (ja) 2013-05-08
EP2233062B1 (en) 2013-08-21
WO2009087816A1 (ja) 2009-07-16
EP2233062A1 (en) 2010-09-29
CN101909511B (zh) 2012-11-21

Similar Documents

Publication Publication Date Title
CN101909511B (zh) 场景变化检测装置
US8724847B2 (en) Image processing apparatus and program storage medium
US8135192B2 (en) Image processing apparatus and image processing method
CN102056530B (zh) 图像处理装置以及图像处理方法
CN101739659B (zh) 图像处理装置以及图像处理方法
CN105139040B (zh) 一种排队状态信息检测方法及其***
US8290280B2 (en) Image processing device, image processing method, and computer readable storage medium storing image processing program
EP2823754A1 (en) Image processing device, program, and image processing method
CN110349187B (zh) 基于tsk模糊分类器的目标跟踪方法、装置及存储介质
CN104424634B (zh) 对象跟踪方法和装置
AU2009243442B2 (en) Detection of abnormal behaviour in video objects
US9911191B2 (en) State estimation apparatus, state estimation method, and integrated circuit with calculation of likelihood data and estimation of posterior probability distribution data
EP2709062B1 (en) Image processing device, image processing method, and computer readable medium
US20100134632A1 (en) Apparatus for tracking an object using a moving camera and method thereof
CN102065744A (zh) 图像处理装置、图像处理程序及图像处理方法
CN100531405C (zh) 体育视频目标跟踪方法
CN110717894B (zh) 癌症靶向治疗疗效评估方法及装置、设备、存储介质
CN113658179B (zh) 肠道清洁度的检测方法及装置
CN113628259A (zh) 图像的配准处理方法及装置
CN108334820A (zh) 信息处理设备、信息处理方法和存储介质
CN107818287B (zh) 一种客流统计装置及***
CN115908474A (zh) 目标对象停留时间的获取方法、设备以及存储介质
CN108765503A (zh) 一种肤色检测方法、装置及终端
CN111050086B (zh) 图像处理方法、装置及设备
CN111724426B (zh) 一种背景建模方法及用于背景建模的相机

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CI01 Publication of corrected invention patent application

Correction item: Applicant

Correct: Olympus Corporation|Tokyo, Japan, Japan

False: Olympus Corporation|Dong Jingdu

Number: 49

Volume: 26

CI02 Correction of invention patent application

Correction item: Address

Correct: Tokyo, Japan, Japan

False: Dong Jingdu

Number: 49

Page: The title page

Volume: 26

ERR Gazette correction

Free format text: CORRECT: APPLICANT; FROM: OLYMPUS OPTICAL CO.: TOKYO TO: OLYMPUS OPTICAL CO.: TOKYO, JAPAN

C14 Grant of patent or utility model
GR01 Patent grant