CN108351296A - 用于检测生物学证据的手持移动设备 - Google Patents
用于检测生物学证据的手持移动设备 Download PDFInfo
- Publication number
- CN108351296A CN108351296A CN201680063864.5A CN201680063864A CN108351296A CN 108351296 A CN108351296 A CN 108351296A CN 201680063864 A CN201680063864 A CN 201680063864A CN 108351296 A CN108351296 A CN 108351296A
- Authority
- CN
- China
- Prior art keywords
- frame
- blue
- white
- display
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims description 61
- 230000004044 response Effects 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 15
- 239000000463 material Substances 0.000 claims description 13
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 claims description 11
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 11
- 238000000862 absorption spectrum Methods 0.000 claims description 10
- 210000003811 finger Anatomy 0.000 claims description 10
- 238000010521 absorption reaction Methods 0.000 claims description 9
- 238000010009 beating Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 8
- 108010064719 Oxyhemoglobins Proteins 0.000 claims description 7
- 108010002255 deoxyhemoglobin Proteins 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 7
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 210000003470 mitochondria Anatomy 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 238000002835 absorbance Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 210000003813 thumb Anatomy 0.000 claims description 3
- 238000000151 deposition Methods 0.000 claims description 2
- QCVGEOXPDFCNHA-UHFFFAOYSA-N 5,5-dimethyl-2,4-dioxo-1,3-oxazolidine-3-carboxamide Chemical compound CC1(C)OC(=O)N(C(N)=O)C1=O QCVGEOXPDFCNHA-UHFFFAOYSA-N 0.000 claims 1
- 102000002322 Egg Proteins Human genes 0.000 claims 1
- 108010000912 Egg Proteins Proteins 0.000 claims 1
- 210000004292 cytoskeleton Anatomy 0.000 claims 1
- 235000014103 egg white Nutrition 0.000 claims 1
- 210000000969 egg white Anatomy 0.000 claims 1
- 230000003287 optical effect Effects 0.000 description 34
- 238000004891 communication Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 15
- 230000002093 peripheral effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000010287 polarization Effects 0.000 description 14
- 238000005286 illumination Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 10
- 230000003068 static effect Effects 0.000 description 10
- 210000001519 tissue Anatomy 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 7
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 6
- 239000000470 constituent Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000005611 electricity Effects 0.000 description 5
- 239000004615 ingredient Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241001062009 Indigofera Species 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 239000003124 biologic agent Substances 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 238000003490 calendering Methods 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 102100021238 Dynamin-2 Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 101000817607 Homo sapiens Dynamin-2 Proteins 0.000 description 2
- 206010021033 Hypomenorrhoea Diseases 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 125000000524 functional group Chemical group 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 208000034656 Contusions Diseases 0.000 description 1
- 102000010831 Cytoskeletal Proteins Human genes 0.000 description 1
- 108010037414 Cytoskeletal Proteins Proteins 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 102000010834 Extracellular Matrix Proteins Human genes 0.000 description 1
- 108010037362 Extracellular Matrix Proteins Proteins 0.000 description 1
- 241001365789 Oenanthe crocata Species 0.000 description 1
- 241000227425 Pieris rapae crucivora Species 0.000 description 1
- 230000002745 absorbent Effects 0.000 description 1
- 239000002250 absorbent Substances 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 208000034526 bruise Diseases 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004132 cross linking Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000002744 extracellular matrix Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000000886 photobiology Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0224—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using polarising or depolarising elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0237—Adjustable, e.g. focussing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0264—Electrical interface; User interface
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0272—Handheld
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0283—Details using a charging unit
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/32—Investigating bands of a spectrum in sequence by a single detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/21—Polarisation-affecting properties
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/4738—Diffuse reflection, e.g. also for testing fluids, fibrous materials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
- G01J2003/102—Plural sources
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/02—Mechanical
- G01N2201/022—Casings
- G01N2201/0221—Portable; cableless; compact; hand-held
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Heart & Thoracic Surgery (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Graphics (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
一种***包括:移动设备,该移动设备包括:相机,其经配置以捕获主体的多个图像;处理器,其经配置以将捕获的图像中的第一图像识别为蓝色帧,其中该图像在主体被蓝光照射时被捕获,以及将捕获的图像中的一个的第二图像识别为白色帧,其中该图像在主体被白光照射时被捕获;使蓝色帧与白色帧相关联;检测在蓝色帧中描绘而不在相关联的白色帧中描绘的特征,向用户指示检测到该特征;以及用户界面显示器,其经配置以分别地呈现蓝色帧和白色帧。
Description
相关申请的交叉引用
本申请要求于2015年9月7日递交的申请号为62/215,074,标题为“用于检测生物学证据的手持移动设备”的美国临时专利申请的权益,此申请的全部内容通过引用方式被合并于此。
技术领域
本发明涉及手持移动设备领域。
背景技术
紫外(UV)光通常用于检测在普通可见光下人类肉眼可能不可见的荧光物质。对遭受攻击的受害者的荧光身体物质(例如血液、***、唾液或尿液)进行检测,通常需要昂贵设备以用特殊的UV灯来照射受害者的身体区域,以及用配置有特殊镜头的特殊相机记录图像。在发展中国家,这种设备的费用可能高得令人望而却步,从而妨碍了对受害者的诊断和后续治疗,特别是在没有可以容纳这种昂贵设备的医疗机构的农村地区。
上述相关领域的示例以及与其相关的限定的意图是说明性的而不是排他性的。根据阅读说明书和研究附图,相关领域的其他限定对本领域技术人员将是明显的。
发明内容
以下与***、工具和方法结合一起描述和说明的实施例及其方面,其意在为示例性的和说明性的,而不是范围的限定。
根据一个实施例,提供了一种***,其包括:多功能移动设备,该多功能移动设备包括:相机,其经配置以捕获主体的多个帧;处理器,其经配置以将多个捕获的帧中的第一帧识别为蓝色帧,其中第一帧在主体被蓝光照射时被捕获,将该多个捕获的帧中的第二帧识别为白色帧,其中第二帧在主体被白光照射时被捕获;使蓝色帧与白色帧相关联;检测在蓝色帧中描绘而不在相关联的白色帧中描绘的特征,向用户指示检测到该特征;以及用户界面显示器,其经配置以分别地呈现蓝色帧和白色帧。
在一些实施例中,处理器进一步经配置以确定捕获的帧的峰值蓝色水平(level)。
在一些实施例中,识别蓝色帧和识别白色帧包括使用与捕获的帧相关联的时间戳和与峰值蓝色水平相关联的时间戳,使帧的识别与预定义的交替蓝光和白光照射周期同步。
在一些实施例中,特征与荧光物质相关联。
在一些实施例中,白色帧在用户界面的主要部分上呈现,并且其中在呈现白色帧的同时,蓝色帧在用户界面的次要部分上呈现。
在一些实施例中,响应于用户的指示,蓝色帧在显示器的主要部分和次要部分的组合上呈现。
在一些实施例中,响应于用户的指示,蓝色帧在显示器的主要部分上呈现,以及,在呈现蓝色帧的同时,白色帧在显示器的次要部分上呈现。
在一些实施例中,***进一步包括底座(mount),其经配置以能够使用用户的手指支持多功能移动设备,从而释放用户的大拇指以与用户界面交互。
在一些实施例中,指示检测到特征包括执行下列至少一项:发出警报,使设备振动或闪烁信号。
在一些实施例中,指示检测到特征包括在一位置显示覆盖在白色帧的呈现上的图形指示符,该位置对应于在相关联的蓝色帧上检测到的特征的位置。
在一些实施例中,显示图形指示符包括以下任何项:
a)在特征周围显示轮廓,
b)显示围绕特征的方框,显示指向特征的箭头,
c)与蓝色帧的按比例缩小的呈现相关联地同时显示白色帧,
d)显示覆盖在相关联的白色帧上的蓝色帧的部分透明演示(rendition),
e)显示检测到的特征的缩放视图,
f)响应于用户的指示,显示覆盖在所显示的白色帧上的蓝色帧的对应部分,
g)以跳动方式显示a)至f)的任何图形指示符,
h)显示指示对检测到的特征的感兴趣水平的仪表。
在一些实施例中,将蓝色帧与白色帧分别地呈现包括在显示器的公共部分上交替地呈现蓝色帧和白色帧。
在一些实施例中,***还包括灯,其经配置以预定义的照射周期交替地发射白光和蓝光。
在一些实施例中,灯安装在多功能移动设备上。
在一些实施例中,灯提供有屏蔽件(shield)以阻挡蓝光和白光照射用户的视线。
在一些实施例中,处理器进一步经配置以与白色帧相关联地存储蓝色帧。
在一些实施例中,处理器进一步经配置以与蓝色帧和白色帧相关联地存储音频文件。
在一些实施例中,***进一步包括经配置以获取主体的PDI图像的偏振差异成像(PDI)获取装置,其中处理器进一步经配置以检测在PDI图像中描绘而不在任何蓝色帧和白色帧中描绘的PDI特征,并指示检测到PDI特征。
根据一个实施例,提供了一种计算机程序产品,其包括具有体现在其中的程序代码的非暂时性计算机可读存储介质,该程序代码可由至少一个硬件处理器执行以:将主体的多个捕获的帧的第一帧识别为蓝色帧,其中第一帧在主体被蓝光照射时被捕获,将主体的多个捕获的帧的第二帧识别为白色帧,其中第二帧在主体被白光照射时被捕获,并使蓝色帧与白关帧相关联;检测在蓝色帧中描绘而不在相关联的白色帧中描绘的特征;并在用户界面显示器上分别地呈现蓝色帧和白色帧,并向用户指示检测到该特征。
在一些实施例中,识别蓝色帧和识别白色帧包括确定捕获的帧的峰值蓝色水平。
在一些实施例中,程序代码进一步可执行以使用与蓝色帧和白色帧相关联的时间戳和峰值蓝色水平的时间戳,使对蓝色帧和白色帧的识别与预定义的交替蓝光和白光照射周期同步。
在一些实施例中,特征与荧光物质相关联。
在一些实施例中,分别地呈现包括同时在用户界面显示器的主要部分上呈现白色帧,以及在用户界面显示器的次要部分上呈现蓝色帧。
在一些实施例中,响应于用户的指示,程序代码进一步可执行以在用户界面显示器的主要部分和次要部分的组合上呈现蓝色帧。
在一些实施例中,响应于用户的指示,程序代码进一步可执行以同时在用户界面显示器的主要部分上呈现蓝色帧,以及在用户界面显示器的次要部分上呈现白色帧。
在一些实施例中,指示检测到特征包括执行下列至少一项:发出警报,使设备振动或闪烁信号。
在一些实施例中,指示检测到特征包括在一位置显示覆盖在白色帧的呈现上的图形指示符,该位置对应于在相关联的蓝色帧上检测到的特征的位置。
在一些实施例中,显示图形指示符包括以下任何项:
a)在特征周围显示轮廓,
b)显示围绕特征的方框,显示指向特征的箭头,
c)与蓝色帧的按比例缩小的呈现相关联地同时显示白色帧,
d)显示覆盖在白色帧上的蓝色帧的部分透明演示,
e)显示检测到的特征的缩放视图,
f)响应于用户的指示,显示覆盖在所显示的白色帧上的蓝色帧的对应部分,
g)以跳动方式显示a)至f)的任何图形指示符,
h)显示指示对检测到的特征的感兴趣水平的仪表。
在一些实施例中,将蓝色帧与白色帧分别地呈现包括在显示器的公共部分上交替地呈现蓝色帧和白色帧。
在一些实施例中,程序代码进一步可执行以与白色帧相关联地存储蓝色帧。
在一些实施例中,程序代码进一步可执行以与蓝色帧和与白色帧相关联地存储音频文件。
在一些实施例中,程序代码进一步可执行以接收主体的偏振差异成像(PDI)图像,检测在PDI图像中描绘而不在任何蓝色帧和白色帧中描绘的PDI特征,以及指示检测到PDI特征。
根据一个实施例,提供了一种方法,其包括:捕获主体的多个帧;将多个捕获的帧中的第一帧识别为蓝色帧,其中第一帧在主体被蓝光照射时被捕获;将多个捕获的帧中的第二帧识别为白色帧,其中第二图像在主体被白光照射时被捕获;使蓝色帧与白色帧相关联;检测在蓝色帧中描绘而不在相关联的白色帧中描绘的特征;在用户界面显示器上分别地呈现蓝色帧和白色帧;以及向用户指示检测到特征;
在一些实施例中,该方法进一步包括确定捕获的帧的峰值蓝色水平。
在一些实施例中,识别蓝色帧和识别白色帧包括使用与捕获的帧相关联的时间戳和与峰值蓝色水平相关联的时间戳,使帧的识别与预定义的交替蓝光和白光照射周期同步。
在一些实施例中,特征与荧光物质相关联。
在一些实施例中,分别地呈现包括在用户界面显示器的主要部分上呈现白色帧,以及同时在用户界面显示器的次要部分上呈现蓝色帧。
在一些实施例中,响应于用户的指示,在用户界面显示器的主要部分和次要部分的组合上呈现蓝色帧。
在一些实施例中,响应于用户的指示,同时在用户界面显示器的主要部分上呈现蓝色帧,以及在用户界面显示器的次要部分上呈现白色帧。
在一些实施例中,指示检测到特征包括执行下列至少一项:发出警报,使设备振动或闪烁信号。
在一些实施例中,指示检测到特征包括在一位置显示覆盖在白色帧的呈现上的图形指示符,该位置对应于在相关联的蓝色帧上检测到的特征的位置。
在一些实施例中,显示图形指示符包括以下任何项:
a.在特征周围显示轮廓,
b.显示围绕特征的方框,显示指向特征的箭头,
c.与蓝色帧的按比例缩小的呈现相关联地同时显示白色帧,
d.显示覆盖在相关联的白色帧上的蓝色帧的部分透明演示,
e.显示检测到的特征的缩放视图,
f.响应于用户的指示,显示覆盖在所显示的白色帧上的蓝色帧的对应部分,
g.以跳动方式显示a)至f)的任何图形指示符,
h.显示指示对检测到的特征的感兴趣水平的仪表。
在一些实施例中,将蓝色帧与白色帧分别地呈现包括在显示器的公共部分上交替地呈现蓝色帧和白色帧。
在一些实施例中,该方法进一步包括将识别的蓝色帧与相关联的识别的白色帧相关联地存储。
在一些实施例中,该方法进一步包括与蓝色帧和相关联的白色帧相关联地存储音频文件。
在一些实施例中,该方法进一步可执行以接收主体的偏振差异成像(PDI)图像,检测在PDI图像中描绘而不在任何蓝色帧和白色帧中描绘的PDI特征,以及指示检测到PDI特征。
根据一个实施例,提供了一种***,其包括:多功能移动设备,该多功能移动设备包括:相机,其经配置以捕获主体的多个帧;处理器,其经配置以识别多个捕获的帧中的一个或更多个多光谱帧,其中一个或更多个多光谱帧在主体被多光谱光照射时被捕获,识别多个捕获的帧中的白色帧,其中白色帧在主体被白光照射时被捕获;使一个或更多个多光谱帧与白色帧相关联;检测在一个或更多个多光谱帧中描绘而不在相关联的白色帧中描绘的特征,向用户指示检测到该特征;以及用户界面显示器,其经配置以分别地呈现一个或更多个多光谱帧和白色帧。
在一些实施例中,多光谱光具有波长,该波长选自由以下所组成的组:蓝光;紫外光;约414纳米(nm),约542nm和约576nm,其对应于氧合血红蛋白(HbO2)的峰值吸收光谱;约432nm和约556nm,其对应于脱氧血红蛋白(Hb)的峰值吸收光谱;约438nm,约464nm和约654nm,其对应于HbO2与Hb之间的吸收中的峰值差异;约259.9nm,约339.5nm,约390.0nm,约422.0nm,约452.3nm,约500.1nm,约529.2nm,约545.2nm,约570.1nm,约584.0nm,约796.8nm,其对应于HbO2与Hb的吸收光谱的等吸光点;约970nm,其对应于水的峰值吸收水平;范围在约450-550nm之间的参考波长,其对应于散射光谱;低于对应于瑞利(Rayleigh)散射的参考波长的波长;和高于对应于米氏(Mie)散射的参考波长的波长。
在一些实施例中,处理器进一步经配置以确定捕获的帧的一个或更多个峰值多光谱水平。
在一些实施例中,识别一个或更多个多光谱帧和识别白色帧包括使用与捕获的帧相关联的时间戳和与峰值多光谱水平相关联的时间戳,使帧的识别与预定义的交替多光谱波长和白光的照射周期同步。
在一些实施例中,特征与物质相关联,该物质选自由以下所组成的组:荧光物质,水,氧合血红蛋白(HbO2),脱氧血红蛋白(Hb),胶原纤维,细胞支架蛋白质类,细胞核和线粒体。
在一些实施例中,白色帧在用户界面的主要部分上呈现,并且其中在呈现白色帧的同时,任何的多光谱帧在用户界面的次要部分上呈现。
在一些实施例中,响应于用户的指示,多光谱帧在显示器的主要部分和次要部分的组合上呈现。
在一些实施例中,响应于用户的指示,在显示器的主要部分上呈现多光谱帧,以及,在呈现多光谱帧的同时,在显示器的次要部分上呈现白色帧。
在一些实施例中,指示检测到特征包括执行下列至少一项:发出警报,使设备振动或闪烁信号。
在一些实施例中,指示检测到特征包括在一位置显示覆盖在白色帧的呈现上的图形指示符,该位置对应于在相关联的多光谱帧上检测到的特征的位置。
在一些实施例中,显示图形指示符包括以下任何项:
i)在特征周围显示轮廓,
j)显示围绕特征的方框,显示指向特征的箭头,
k)与多光谱帧的按比例缩小的呈现相关联地同时显示白色帧,
l)显示覆盖在相关联的白色帧上的多光谱帧的部分透明演示,
m)显示检测到的特征的缩放视图,
n)响应于用户的指示,显示覆盖在所显示的白色帧上的多光谱帧的对应部分,
o)以跳动方式显示a)至f)的任何图形指示符,
p)显示指示对检测到的特征的感兴趣水平的仪表。
在一些实施例中,将多光谱帧与白色帧分别地呈现包括在显示器的公共部分上交替地呈现多光谱帧和白色帧。
在一些实施例中,***还包括灯,其经配置以预定义的照射周期交替地发射白光和多光谱光。
在一些实施例中,灯安装在多功能移动设备上。
在一些实施例中,处理器进一步经配置以与白色帧相关联地存储多光谱帧。
在一些实施例中,处理器进一步经配置以与多光谱帧和白色帧相关联地存储音频文件。
在上述示例性方面和实施例之外,通过参考附图和研究以下详细说明,更进一步方面和实施例将变得明显。
附图说明
参考附图说明了示例性实施例。为了描述的方便和清楚,图中示出的组件和特征的尺寸是一般选择的,并且不一定按比例显示。附图罗列如下。
图1A-图1D说明了根据一个实施例的用于使用便携式多功能设备检测生物学物质的***;
图2A-图2J说明了用于呈现被蓝光和白光交替地照射的主体的帧的各种实施例;
图3A-图3B说明了用于使蓝色帧和白色帧的呈现与照射周期同步的示意图;
图4说明了用于图1A-图1D,图2A-图2J和图3A-图3B的***的方法的流程图;
图5示出了根据一个实施例的便携式多功能设备的框图;
图6A-图6C示出了根据一个实施例的用于多光谱组织分析的图;以及
图7A-图7B每个示出了根据一个实施例的用于获取一个或更多个偏振差异成像(PDI)图像并且可以与图1A的***集成的设备。
具体实施方式
本文公开了使用标准手持移动设备(例如蜂窝电话)来检测荧光物质的***和方法。使用交替地发射白光和紫外光(UV)和/或蓝光源(下文中称为“蓝”光)的光源可以照射主体。因此被照射的主体的多个图像可以通过设备上提供的相机被捕获,并且可以被分别地呈现,允许用户查看在白光和/或蓝光两者照射下的主体,以辨别仅在蓝光下可见的特征,从而识别主体上荧光物质的存在。另外,可以对图像执行图像处理以检测特征并警告用户。
现在参考图1A,其说明了根据一个实施例构造和操作的用于使用手持移动设备来检测特征荧光物质的***的简化概念图。移动设备100可以提供有相机(未示出),例如典型移动设备提供的任何标准相机,以捕获经由灯104照射的主体102的多个图像或帧。灯104可以用交替地发射的来自白光源104a的白光脉冲和来自蓝光源104b的蓝光和/或UV光(以下称为“蓝光”)脉冲来照射主体102。在一个实施例中,灯104在一周期内发射白光和蓝光,该周期包括0.9秒的白光和其后的0.1秒的蓝光。
灯104可以独立于移动设备操作,并且可以使用合适的底座或夹子可选地附接到设备。
如下面更加详细的描述,设备100可以经配置以将当主体被蓝光照射时捕获的帧(下文中称为“蓝色帧”)与当主体被白光照射时捕获的帧(下文中称为“白色帧”)区分开,并将它们分别地呈现以供用户查看。
一个或更多个白色帧可以呈现在设备100的显示器106的主要部分106a上,并且一个或更多个蓝色帧可以呈现在显示器106的次要部分100b处。在一个实施例中,主要部分106a包括显示器106的主部分并且次要部分100b包括显示器106的角落,由此同时呈现一个或更多个蓝色帧和一个或更多个白色帧。因此,用户可以同时观察主体102的两个视图:第一视图,如可以在普通白光照射下看到的,没有可见的荧光特征的指示,如显示部分106a中的虚线108所示,和第二视图,如在蓝光照射下看到的,可见地指示主体102上的荧光特征108,如显示部分106b的角落中的黑色形状所示。
参考图1B-图1C,响应于用户的指示,例如检测到设备100上提供的触敏屏幕上的“触摸”,蓝色帧可以呈现在所有显示器106(图1B)上,包括部分106a和部分106b的组合。可替换地,与上文描述的显示相反,可以在主显示部分106a上呈现蓝色帧,并且可以在角落显示部分106b(图1C)上呈现白色帧。
现在参考图1D,其说明了根据一个实施例构造和操作的图1A-图1C的***的另一视图。在图1D的***中,设备100可以经配置有处理器(未示出),该处理器经配置以实现帧分析器110,帧分析器110可以分析存储在缓冲器118中的多个捕获的帧,以区分在蓝光照射下捕获的蓝色帧和在白光照射下捕获的白色帧。在一个实施例中,帧分析器110通过将与捕获的图像相关联的时间戳与预定义的照射周期进行比较,来在帧之间进行区分。
处理器可以实现特征检测器112,特征检测器112可以检测仅在蓝光下可见的特征,例如,像血液或***这些可能在白光照射下不可见的,但是可能在蓝光照射下可见的有机物质的荧光痕迹。特征检测器112可以使用任何合适的图像处理或特征提取技术来识别荧光特征。例如,特征检测器112可以顺序地比较捕获的输入帧,并且检测存在于蓝色帧中而不存在于随后的或前面的白色帧中的特征。特征检测器112可以使用任何合适的方法向用户指示荧光特征被检测到,例如通过发出警报,使设备振动或闪烁信号等等。
处理器可以实现呈现单元114,其根据一个或更多个设置在设备100的显示器106上分别呈现白色帧和蓝色帧,并且可以突出显示检测到的特征以供用户辨别。
在一个实施例中,捕获的帧可以被存储在存储设备116中,如响应于将相机设置为“保存图像”和/或“记录”设置。蓝色帧可以存储在蓝色帧集合116a中并且白色帧可以存储在白色帧集合116b中,从而允许用户随后查看蓝色帧集合和/或白色帧集合。蓝色帧集合116a可以经由一个或更多个属性或标签(例如时间戳,用户输入的标注或指示帧的关联的应用图像处理方法的结果等等)与白色帧集合116b相关联。
在一个实施例中,响应于保存图像的用户指示,白色帧可以与蓝色帧相关联地存储,其中白色帧和蓝色帧的各自的时间戳指示它们在预定义的持续时间内被捕获,例如顺序地。在另一个实施例中,可以在记录图像序列的同时记录音频流。例如,用户可以口述并记录与主体的情况有关的细节。记录可以与捕获的图像相关联地存储在存储设备116中。相应地,帧呈现单元114可以以修改的帧速率呈现蓝色帧集合116a和/或白色帧集合116b,从而允许对应的音频记录的非失真的同时呈现。
可以提供底座(未示出)以允许用户用手指支持设备100,从而释放大拇指以滑动触敏屏幕,或以其他方式与用户界面交互。另外,底座可以可选地支持灯104,允许用户照射主体并用一只手操作设备100。在一个实施例中,底座可以提供屏蔽件,该屏蔽件阻挡从灯104发射的闪烁的蓝光和白光照射用户视线,并且将发射的光聚焦到主体上。
现在参考图2A-图2J,其说明了用于显示使用图1A-图1D的***所捕获的白色帧和蓝色帧以指示检测到的荧光特征的各种实施例。图2A-图2J的示例说明了用于指示检测到特征的几个示例性的方法,并不意味着是穷尽的。要理解的是可以使用任何合适的方法指示检测到的特征。
白色帧的显示可以包括一个或更多个图形指示符的附加显示,其覆盖或邻近检测到的特征以将其指示给用户,例如可以包括以下的任何组合:
-可以显示仪表以指示观看区域的兴趣水平。该水平可以对应于属性,例如检测到的特征的相对大小,强度或位置(图2A),
-可以在特征周围绘制轮廓(图2B),
-可以围绕特征绘制方框(图2C),
-可以显示一个或更多个箭头以指示特征的位置(图2D),
-对应于白色帧的蓝色帧的按比例缩小的呈现可以被显示为一个或更多个相关联插图(图2E),
-蓝色帧的部分透明演示可以覆盖在白色帧上(图2F),
-在检测到特征时,显示器可以自动地缩放至包括特征的观看区域中(图2G),
-响应于用户的指示,例如通过让用户触摸触敏屏幕的一部分,如箭头所指示,可以将对应蓝色帧的等同部分覆盖在白色帧上显示(图2H)。
在一个实施例中,一个或更多个图形指示符可以间隔显示,或者“跳动”以吸引用户的注意力。
参照图2I-图2J,在扫描主体并通过特征检测器112检测到特征之后,呈现单元114可以在检测到的特征上闪烁突出显示,以使其可见,如图2I所示。可替代地,如图2J所示,呈现单元114可以在显示器106的一些或全部上以低频交替地呈现蓝色帧和白色帧。
现在参考图3A,图3A说明了用于将捕获的帧的呈现与灯的照射周期同步从而区分白色帧和蓝色帧的示例性方法的示意图。灯104可以经配置以预定的照射频率交替地发射白光和蓝光,如以包括0.1秒的蓝光和其后的0.9秒的白光的周期进行照射。设备100的相机可以捕获由灯104这样照射的主体的多个顺序帧并将它们存储在缓冲器118中。帧分析器110可以通过根据照射频率分析存储在缓冲器中的帧来区分蓝色帧与白色帧。
在一个实施例中,帧分析器110可以以预定的评估频率来评估输入帧的蓝色水平。帧分析器110可以通过使用任何合适的方法确定参考帧的峰值蓝色水平来将一帧分类为蓝色参考帧,例如通过确定帧的蓝色水平是在灯104的若干照射周期内计算的最大蓝色水平,或通过将帧的蓝色水平与蓝色水平的运行(running)平均值比较并确定峰值蓝色水平,等等。其时间戳指示其在照射周期中与蓝色参考帧相同的点处被捕获,并且因此使其与蓝色参考帧同步的帧也可以被分类为蓝色。其时间戳指示其在照射周期中与蓝色参考帧不同的点处被捕获的帧可以被分类为白色。可以使用上述任何技术分别地呈现白色帧和蓝色帧,从而使帧的呈现与灯的照射周期同步。
例如,参考图3A,照射周期在时间轴300上表示,其中白色矩形302表示白光照射周期,黑色矩形304表示蓝光照射周期。如具有对应于测量的蓝色像素每帧水平的不同长度的箭头所示,蓝色水平306可以在一段时间内针对输入帧被评估,例如对应于灯的三个周期的三秒。蓝色水平可以与对应帧的时间戳相关联地存储。可以识别最大蓝色水平306a,并且对应于最大蓝色水平306a的时间戳可以用作参考,以确定用于识别附加蓝色帧的偏移。其时间戳对应于所确定的偏移的整数周期的帧306b和306c,可以被分类为蓝色帧,且剩余帧可以被分类为白色帧。
在一个实施例中,可以使用任何合适的技术在单个周期内识别多个蓝色帧306,如图3B所示,例如通过使任何的帧306的时间戳与一个或更多个蓝色参考帧的时间戳同步,或通过维持蓝色水平的运行平均值来将多个蓝色帧306与多个白色帧308区分开来。如此识别的蓝色帧306和白色帧308可使用上述方法分别被存储和/或呈现,由此使输入帧的呈现与照射频率同步。
例如,上述***和方法可用于检查主体,以检测在常规光线下可能不可见的一个或更多个攻击指示,例如皮肤下方的瘀伤或皮肤表面上的***或血液的微小痕迹,等等。用于执行上述步骤的软件应用程序可以被加载到提供有标准相机的任何合适的移动设备上。可以使用本文公开的灯来照射主体,并且该设备可以用于在蓝色照射和白色照射下交替地捕获主体的图像,区分在两种照射下所捕获的帧区并且分别地呈现帧,以检测只在蓝色照射下可见的特征,并将其指示给用户。
现在参考图4,其根据一个实施例说明了用于图1A-图1D的***的方法的流程图。如上所述被照射,主体的多个帧可以由提供在移动设备上的相机捕获并被存储在缓冲器中(步骤400)。可以确定捕获的帧的峰值蓝色水平,并且可以识别对应于峰值蓝色水平的蓝色参考帧(步骤402)。可以使用与捕获的帧相关联的时间戳以及与蓝色参考帧相对应的峰值蓝色水平的时间戳,使识别捕获的帧为蓝色帧或白色帧与预定义的交替蓝光和白光照射周期同步(步骤404)。多个捕获的帧中的第一帧可以被识别为蓝色帧,其中第一帧在主体被蓝光照射时被捕获,并且多个捕获的帧中的第二帧可以被识别为白色帧,其中第二图像在主体被白光照射时被捕获,如根据同步步骤(步骤406)。蓝色帧可以与白色帧相关联,例如通过比较各个捕获的图像的时间戳,或通过执行图像分析或任何其他合适的方法(步骤408)。可以检测在蓝色帧中描绘而不在相关联的白色帧中描绘的(例如可以与荧光物质相关联的)特征(步骤410)。蓝色帧和白色帧可以在用户界面显示器上分别地呈现,例如使用本文描述的任何呈现方法(步骤412)。可以通过应用本文描述的任何方法向用户指示检测到特征(步骤414)。
在另一个实施例中,除了蓝光和白光之外,可以用多光谱光间歇地照射组织,以检测和分析身体组织的附加吸收和/或散射性质。可以选择指示一个或更多个主体组织成分(例如水(H2O)、氧合血红蛋白(HbO2)、脱氧血红蛋白(Hb)和黑色素)的光谱性质的波长,以测量被照射组织中这些块体组织成分的各自的浓度。可以使用上述任何覆盖技术,使由照射所获得的结果图像被使用白光和/或蓝光所获得的任何图像覆盖,以相应地指示这些成分中的任何成分的浓度。
可以使用任何已知技术来选择波长,例如2010年生物医学光学快报1第157-164页发布的SL Jacques,R Samatham,N Choudhury的“光谱成像的快速光谱分析”(“Rapidspectral analysis for spectral imaging”,SL Jacques,R Samatham,N Choudhury,Biomed Opt Expr 1,157-164(2010))中所描述的。
在该示例性技术中,使用多个波长λ来照射身体组织并且测量组织的光谱响应并将其拟合到模型上,该模型将漫反射率Rd关联到一个或更多个光学组织性质(如降低的散射系数μs',和/或吸收系数μa)。可以使用任何合适的拟合技术,例如最小二乘拟合。这些测量的光学性质可以被映射到每个块体组织成分的相应光学性质上,以确定哪些波长λ最好地指示了它们各自的浓度。
散射通常受组织成分(如胶原纤维,细胞核和线粒体)的浓度的影响,并且因此μs'可用于确定这些组织成分的浓度。吸收通常受水和血红蛋白浓度的影响,因此,这些成分的浓度可以使用μa来确定。
可见光和近红外(NIR)光在组织中的主要吸收剂是水、HbO2和Hb,以及各种形式的黑色素。与血红蛋白有关的吸收剂让人特别感兴趣,因为它们在位置和时间两者上变化。在试图量化Hb和HbO2浓度时,合适的波长分为3类:
1.对应于Hb或HbO2的吸收峰值的波长
2.在其中有Hb与HbO2之间大的差异的波长
3.在其中由Hb和HbO2的吸收相等(等吸光点)的波长
现在参考图6A-图6B,其显示了氧合血红蛋白(HbO2)和脱氧血红蛋白(Hb)的吸收光谱的比较。图6A表示氧合血红蛋白(HbO2)和脱氧血红蛋白(Hb)的吸收光谱的峰值和偏差点,以及图6B表示它们各自的等吸光点。如从图6A中可以看出,对应于HbO2的峰值吸收光谱的波长为414纳米(nm)、542nm和576nm;对应于Hb的峰值吸收光谱的波长为432nm和556nm;以及对应于HbO2和Hb之间的吸收的峰值差异的波长为438nm、464nm和654nm。
转到图6B,HbO2和Hb的吸收光谱的等吸光点,即259.9nm、339.5nm、390.0nm、422.0nm、452.3nm、500.1nm、529.2nm、545.2nm、570.1nm、584.0nm、796.8nm。
可以获得类似图,以确定对应于其它光吸收组织成分的峰值、最大偏差和/或等吸光点的波长,例如水,其在近红外范围内在大约970nm处具有一个这样的峰值吸收。可以进行类似的分析以确定用于指示黑色素的浓度的理想波长。
为了分析散射,注意到对于给定定义的可见光波长范围和细胞结构(例如细胞核和线粒体)的一致尺寸,以及细胞外基质中的胶原交联,降低的散射系数μs'关于波长λ而减小。下面的公式可以用来量化散射的减小:
其中λ0是用于校准目的的参考波长,项是指由较小粒子(例如胶原纤维,细胞骨架蛋白类等)造成的来自瑞利散射的贡献,项是指由较大粒子(如细胞核和线粒体)造成的来自米氏散射的贡献,以及b是衰减常数。
参考波长λ0可以取决于检测***的灵敏度,并且可以经选择以产生至少为米氏散射贡献的10%的瑞利散射贡献。典型地,当以在450-550nm之间的范围的波长照射时,检测和计算的标准两者都满足。
因此,为了利用多光谱组织成像的散射光谱,可以从以下范围中选择三个或更多个波长:
·在参考波长(λ=λ0)附近,对应于450-550nm,
·在低于参考波长的波长(λ<λ0),对应于400-450nm,和
·在高于参考波长的波长(λ>λ0),对应于550-750nm。在此范围内可以使用多个波长来解释衰减常数b。
参照图6C,示出了针对一定波长范围的典型身体组织的总散射系数、瑞利散射系数和米氏散射系数。如从图6C可以看出,在低于500nm的波长处,总散射的显著部分可归于瑞利散射,并且在500nm以上的波长处,米氏散射成分是总散射的主导部分。因此,500nm可以是用于选择不同波长的有用阈值,用该不同波长照射组织以确定对散射敏感的组织成分的浓度。
可以注意到,任何上述波长值都可以指近似值。
灯104可以提供有附加光源(未示出),每个附加光源经配置以使用任何以上列出的波长与白光间歇地照射主体102。因此,如果选择n个波长来照射主体102,则总照射周期可以具有n秒的持续时间:对于每个波长λ为0.1s,随后为白光的0.9s,允许用户观看在白光下被照射的主体102,同时检测对多光谱光敏感的任何成分。可以使用上文参考图3A-图3B描述的方法,通过检测任何捕获的帧的峰值多光谱照射水平,并且使它们各自的时间戳与预定义的照射周期同步,照射周期关于每个选定的多光谱波长被同步。可以经由帧分析器110分析使用多光谱照射获得的图像,并将其与使用白光和/或蓝光获得的帧进行比较,以检测不在任何白色帧和/或蓝色帧中描绘的一个或更多个感兴趣的特征。例如与荧光物质、水、Hb、HbO2、胶原纤维、细胞骨架蛋白质类、细胞核和线粒体中的任何一种相关联的检测到的特征可以使用上述任何技术(例如图2A-图2J所述),和/或与音频指示器一起,在设备100的显示器106上指示给用户。
可选地,用于照射主体,和/或波长敏感成分,如“水”、“Hb”、或“HbO2”或其它任何上述成分的多光谱波长值(以nm为单位)可以用(例如在显示器106的角落处)指示的特征来指示。
另外地或可替换地,可以使用主体的一个或更多个偏振图像来检测生物学物质。例如,可以应用偏振差异成像(PDI)来获取生物学物质和/或其属性的辨别。PDI***允许在不同偏振下捕获主体的图像,例如在平行偏振照射下获取图像IPAR,以及在正交或垂直偏振照射下获取图像IPER。IPAR和IPER之间的差异,构成PDI图像,可以通过消除由穿透较深组织层的漫射光引起的延伸晕(broad halo)来揭示表面单散射层中的结构。因为它揭示了在正常白光照射下不能看到的结构,所以PDI图像可与上述荧光图像相当。因此,可以在PDI图像中识别隐藏在白光照射下的结构,并使用上文关于图2A-图2J描述的任何显示方法来显示。
现在参考图7A-图7B,其每个示出了根据一个实施例的用于获取一个或更多个偏振差异成像(PDI)图像并且可以与图1A的***集成的示例性设备。可以理解的是,图7A-图7B的***只是用于获取PDI图像的两个实施方式,并且可以相应地使用其它合适的***。
参照图7A,其示出了用于获取一个或更多个PDI图像的光学装置700,其与在Levitz等人的题为“用于将光从样本其更深扩散层的表面分离出来的偏振光成像装置和方法”(“Polarized light imaging apparatus and methods thereof for separatinglight from a surface of a sample its deeper diffuse layers”)的美国专利US20160084751中描述的光学装置类似。***700的任何组件可以与设备100集成,或者可以单独提供。
***700可以包括分别与照射光学透镜712-1和712-2以及偏振器714-1和714-2耦合的多个光源104-1和104-2,其用于使用偏振光经由多个分开的光学路径照射主体102。光源104-1和104-2中的每一个可以由处理器或控制器350控制以产生用于照射主体102的差异偏振光束。光源104-1和104-2可以产生振荡信号,例如振荡“开-关”阶梯函数。偏振器714-3和检测光学透镜740可以被提供在主体102和偏振敏感光学检测器710之间的光学路径中。
偏振器714-1和714-3可以彼此平行,并且偏振器714-2和714-3可以彼此正交,允许主体102的每个平行偏振图像IPAR和垂直偏振图像IPER被检测器710经由每个光学路径同时地或者顺序地捕获,如Levitz等人在美国专利US20160084751中所述。例如,可以通过根据预定时间间隔来协调光源104-1和104-2的照射,或者通过根据散布在独特偏振状态之间的预定标记来区分偏振状态,来捕获每种偏振类型的每个帧。
现参照图7B,其示出了根据一个实施例的用于获取一个或更多个PDI图像的光学装置720,其与2002年七月的生物光学杂志7(3)第329-340页刊登的SL Jacques、JCRamella-Roman、K Lee的“利用偏振光的成像皮肤病理学”(Imaging skin pathology withpolarized light”,Journal of Biomedical Optics 7(3),329–340(July 2002))中描述的光学装置类似,其可以与图1A的***集成。***720的任何组件可以与设备100集成,或者可以单独提供。
***720包括光源104,如白光源,其与沿着光源104与主体102之间的光学路径布置的源偏振器714,滤色器722和准直透镜724光耦合。源偏振器714可以定向为平行于光源104和/或主体102的平面。可选地,剃刀刀片726可以定位在准直透镜724和主体102之间。例如用一滴水被耦合到主体102的玻璃板728可以定位在主体102与光源104和相机730两者之间,使得来自空气,玻璃板728或主体102中的任何一个的镜面反射734可以被反射远离相机730。分析偏振器732可以沿着主体102和相机730之间的光学路径定位。分析偏振器732,可以可替换地定向为平行于或垂直于源偏振器714的方向,例如通过将多个偏振器732定位在沿着主体102和相机730之间光学路径的不同方向上,或者通过使用机械手段或其他合适的技术重新定向偏振器714和732中的任何一个,以允许相机730捕获主体102的两个图像:平行偏振图像IPAR和垂直偏振图像IPER。
源自光源104的经偏振、滤波和准直的光可以进入主体102并且通过偏振器732反向散射到相机730,产生两个图像IPAR和IPER。
捕获的帧IPAR和IPER可以由处理器350(如可以包括设备100的处理器)进行分析,以及PDI图像(包括IPAR与IPER之间差异)可以被确定。处理器可以检测在PDI图像中描绘但在上文中获取的主体102的任何蓝色和白色帧中未检测到的主体102的结构或PDI特征。可以通过应用上述任何技术向用户指示检测到PDI特征,例如通过实现视觉、音频或振动指示中的任何一种。另外地或可替换地,类似于上面关于图2A-图2J描述的技术,PDI特征可以通过在白光图像上突出显示和/或覆盖PDI特征而被显示在用户界面上。
可以理解的是,可以相应地使用附加成像模式,例如偏振成像的度或者穆勒(Mueller)矩阵成像的一些变化,作为PDI图像的替代。
现在参考图5,其根据一些实施例,示出了对应于图1A-图1D的设备100的便携式多功能设备(也称为“手持式电子设备”或简称为“设备”)500的框图。
设备500可以在其非易失性存储器中存储经配置以在本文描述的***的框架中操作的软件应用程序。软件应用程序可以包括用于接收和分析由相机捕获的多个帧的指令。该接收和分析多个捕获的帧可以包括操作设备500的处理单元(也称为“硬件处理器”、“CPU”或简称为“处理器”),以从设备的相机接收多个图像。
设备500可以配备有触敏显示器552。为了方便,触敏显示器552有时被称为“触摸屏”,并且也可以被认为是或被称为触敏显示***。如上所述,触敏显示器552可以经配置以检测用户的指示,以切换到不同的呈现设置。设备500可以包括存储器502(其可以包括一个或更多个计算机可读存储介质),例如可以对应于上述的存储设备116、和/或存储器控制器522、一个或更多个处理单元(CPU)520、***设备接口558、RF电路508、音频电路550、扬声器555、麦克风553、输入/输出(I/O)子***506、其它输入或控制设备556以及外部端口524。设备500可以包括一个或更多个光学传感器564。这些组件可以通过一个或更多个通信总线或信号线503进行通信。
应该理解,设备500仅是便携式多功能设备500的一个示例,并且该设备500可以比所示具有更多或更少的组件,可以将两个或更多个组件组合,或者可以具有组件的不同配置或布置。图4中所示的各种组件可以以硬件、软件或硬件和软件两者组合来实现,包括一个或更多个信号处理和/或专用集成电路。
存储器502可以包括高速随机存取存储器,并且还可以包括非易失性存储器,例如一个或更多个磁盘存储设备,闪存设备或其它非易失性固态存储器设备。存储器控制器522可以控制设备500的其它组件(例如CPU 520和***设备接口558)对存储器502的访问。
***设备接口558将设备的输入和输出***设备耦合到CPU 520和存储器502。一个或更多个处理器520运行或执行存储在存储器502中的各种软件程序和/或指令集以执行设备500的各种功能并处理数据。
在一些实施例中,***设备接口558、CPU 520和存储器控制器522可以在单个芯片上实现,例如芯片504。在一些其它实施例中,它们可以在分开的芯片上实现。
RF(射频)电路508接收和发送RF信号,RF信号也称为电磁信号。RF电路508将电信号转换到电磁信号/从电磁信号中转换电信号,并且经由电磁信号与通信网络和其它通信设备通信。RF电路508可以包括用于执行这些功能的公知电路,包括但不限于天线***、RF收发器、一个或更多个放大器、调谐器、一个或更多个振荡器、数字信号处理器、CODEC(编码解码器)芯片组、用户身份模块(SIM)卡、存储器等等。RF电路508可以通过无线通信与网络通信,例如互联网(也称为万维网(WWW))、内部网络和/或无线网络,例如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN)以及其它设备。无线通信可以使用多个通信标准、协议和技术中的任何一种,包括但不限于全球移动通信***(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、宽带码分多址(W-CDMA),码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如,IEEE 802.55a、IEEE 802.55b、IEEE 802.55g和/或IEEE802.55n)、互联网协议电话(VoIP)、Wi-MAX、用于电子邮件的协议(例如,互联网消息访问协议(IMAP)和/或邮局通讯协定(POP))、即时通讯(例如,可扩展通讯和表示协议(XMPP)、用于即时通讯和表示利用扩展的会话发起协议(SIMPLE)和/或即时通讯和表示服务(IMPS)和/或短消息服务(SMS))或者任何其它合适的通信协议,包括截至本文件提交日期尚未开发的通信协议。
音频电路550、扬声器555和麦克风553提供用户与设备500之间的音频接口。音频电路550从***设备接口558接收音频数据,将音频数据转换为电信号,并将电信号发送到扬声器555。扬声器555将电信号转换为人类可听见的声波。音频电路550还接收由麦克风553从声波中转换的电信号。音频电路550将电信号转换为音频数据,并将音频数据发送到***设备接口558用于处理。音频数据可以通过***设备接口558取自和/或发送到存储器502和/或RF电路508。在一些实施例中,音频电路550还包括耳机插孔。耳机插孔提供音频电路550与可移除音频输入/输出***设备(例如仅具有输出的耳机或具有输出(例如,用于一个或两个耳朵的耳机)和输入(例如麦克风)两者的耳机)之间的接口。
I/O子***506将设备500上的输入/输出***设备(例如触摸屏552和其它输入/控制设备556)耦合到***设备接口558。I/O子***506可以包括显示控制器556和用于其它输入或控制设备的一个或更多个输入控制器560。一个或更多个输入控制器560从/向其它输入或控制装置556接收/发送电信号。其它输入/控制设备556可包括物理按钮(例如,按键,摇杆按钮等)、拨号盘、滑动开关、操纵杆、点击轮等等。在一些替代实施例中,(一个或更多个)输入控制器560可以耦合到以下中的任何一个(或没有):键盘、红外端口、USB端口以及例如鼠标的指针设备。该一个或更多个按钮可以包括用于扬声器555和/或麦克风553的音量控制的上/下按钮。该一个或更多个按钮可以包括按键。快速按下按键可以解除触摸屏552的锁定或开始在触摸屏上使用手势来解锁设备的过程,如于2005年12月23日提交的申请序号为55/322,549的美国专利申请,“通过在解锁图像上执行手势来解锁设备”(“Unlocking a Device by Performing Gestures on an Unlock Image”)描述的,其全部内容通过引用合并于此。长时间按下按键可能会打开或关闭设备500的电源。用户可能能够定制一个或更多个按钮的功能。触摸屏552用于实现虚拟或软按钮以及一个或更多个软键盘。
触敏触摸屏552在设备和用户之间提供输入接口和输出接口,其对应于包括上述主要部分106a和次要部分106b的显示器106。显示控制器556从/向触摸屏552接收和/或发送电信号。触摸屏552向用户显示视觉输出。视觉输出可以包括图形、文本、图标、视频及其任何组合(统称为“图形”)。在一些实施例中,视觉输出中的一些或全部可以对应于用户界面对象,其进一步细节在下面描述。如本文所述,显示控制器556可以经配置以将触摸屏552划分为多个部分以单独且同时呈现蓝色和白色帧。
触摸屏552具有触敏表面、传感器或传感器集合,其基于触觉和/或触觉接触接受来自用户的输入。触摸屏552和显示控制器556(以及任何相关联模块和/或存储器502中的指令集)检测触摸屏552上的接触(以及接触的任何移动或断开)并且将检测到的接触转换成与显示在触摸屏上的用户界面对象(例如,一个或更多个软键盘、图标、网页或图像)的交互。在一个示例性实施例中,触摸屏552与用户之间的接触点对应于用户的手指。
触摸屏552可以使用LCD(液晶显示)技术或LPD(发光聚合物显示)技术,但是在其它实施例中可以使用其它显示技术。触摸屏552和显示控制器556可以使用现在已知或以后开发的多种触摸感测技术(包括但不限于电容式、电阻式、红外线和表面声波技术,以及用于确定与触摸屏552的一个或更多个接触点的其它接近传感器阵列或其它元件)中的任一种来检测接触以及其任何移动或断开。
触摸屏552的一些实施例中的触敏显示器可以与在以下美国专利中描述的多点触敏平板类似:美国专利No.6,323,846(Westerman等)、美国专利No.6,570,557(Westerman等)、和/或美国专利No.6,677,932(Westerman)和/或美国专利公开2002/0055024A5,其中的每一个的全部内容通过引用合并于此。然而,触摸屏552显示来自便携式设备500的视觉输出,而触敏平板不提供视觉输出。
触摸屏552的一些实施例中的触敏显示器可以如以下申请中所述:(5)2006年5月2日提交的申请序号为55/385,353的美国专利申请“多点触摸表面控制器”(“MultipointTouch Surface Controller”);(2)2004年5月6日提交的申请序号为50/840,862的美国专利申请“多点触摸屏”(“Multipoint Touchscreen”);(3)2004年7月30日提交的申请序号为50/903,964的美国专利申请“触敏输入设备的手势”(“Gestures For Touch SensitiveInput Devices”);(4)2005年1月35日提交的申请序号为55/048,264的美国专利申请“触敏输入设备的手势”(“Gestures For Touch Sensitive Input Devices”);(5)2005年1月58日提交的申请序号为55/038,590的美国专利申请“用于触敏输入设备的基于模式的图形用户界面”(“Mode-Based Graphical User Interfaces For Touch Sensitive InputDevices”);(6)2005年9月56日提交的申请序号为55/228,758的美国专利申请“放置在触摸屏用户界面上的虚拟输入设备”(“Virtual Input Device Placement On A Touch ScreenUser Interface”);(7)2005年9月56日提交的申请序号为55/228,700的美国专利申请“带有触摸屏界面的计算机的操作”(“Operation Of A Computer With A Touch ScreenInterface,”);(8)2005年9月56日提交的申请序号为55/228,737的美国专利申请“启用触摸屏虚拟键盘的虚拟按键”(“Activating Virtual Keys Of A Touch-Screen VirtualKeyboard”);和(9)2006年3月3日提交的申请序号为55/367,749的美国专利申请“多功能手持设备”(“Multi-Functional Hand-Held Device”)。所有这些申请的全部内容通过引用合并于此。
触摸屏552可以具有超过500dpi的分辨率。在一个示例性实施例中,触摸屏具有大约560dpi的分辨率。用户可以使用任何合适的对象或附属物(例如触针(stylus)、手指等)与触摸屏552进行接触。在一些实施例中,用户界面被设计为主要使用基于手指的接触和手势来工作,由于手指在触摸屏上的接触面积较大,所以其比基于触针的输入的精确性差很多。在一些实施例中,设备将基于手指的粗糙输入转换为精确的指针/光标位置或命令用于执行用户期望的动作。
在一些实施例中,除了触摸屏之外,设备500可以包括用于启用或禁用特定功能的触摸板(未示出)。在一些实施例中,触摸板是设备的触敏区域,与触摸屏不同,触摸板不显示视觉输出。触摸板可以是与触摸屏552分开的触敏表面或由触摸屏形成的触敏表面的延伸部。
在一些实施例中,设备500可以包括作为输入控制设备556的物理或虚拟点击轮。用户可以通过旋转点击轮或通过移动与点击轮的接触点(例如,接触点的移动量通过其相对于点击轮的中心点的角位移来测量),在触摸屏552中显示的一个或更多个图形对象(以下称为图标)之间导航,并与其交互。点击轮也可以用于选择一个或更多个显示的图标。例如,用户可以按压点击轮的至少一部分或相关联的按钮。由用户经由点击轮提供的用户命令和导航命令可以由输入控制器560以及存储器502中的一个或更多个模块和/或指令集来处理。对于虚拟点击轮,点击轮和点击轮控制器可以分别是触摸屏552和显示控制器556的一部分。对于虚拟点击轮,响应于用户与设备的交互,点击轮可以是在触摸屏显示器上出现和消失的不透明或半透明对象。在一些实施例中,虚拟点击轮被显示在便携式多功能设备的触摸屏上并且通过用户与触摸屏的接触而***作。
设备500还包括用于为各种组件供电的电力***562。电力***562可以包括电力管理***、一个或更多个电源(例如电池、交流电(AC))、再充电***、电力故障检测电路、电力转换器或逆变器、电力状态指示器(例如,发光二极管(LED))以及与便携式设备中的电力的生成、管理和分配相关联的任何其它组件。
设备500还可以包括一个或更多个光学传感器564。图9示出了耦合到I/O子***506中的光学传感器控制器558的光学传感器。光学传感器564可以包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。光学传感器564接收来自环境的通过一个或更多个透镜投射的光,并将光转换为代表图像的数据。结合成像模块543(也称为相机模块),光学传感器564可以捕获与本文描述的捕获的帧相对应的静止图像或视频。在一些实施例中,光学传感器位于设备500的背面,与设备正面的触摸屏显示器552相对,使得触摸屏显示器可以用作静止和/或视频图像采集的取景器。在一些实施例中,光学传感器位于设备的正面,使得当用户在触摸屏显示器上观看其它视频会议参与者时,可以获得用于视频会议的用户的图像。在一些实施例中,光学传感器564的位置可以由用户改变(例如,通过旋转设备外壳中的透镜和传感器),使得单个光学传感器564可以与触摸屏显示器一起用于视频会议和静止和/或视频图像采集两者。
设备500还可以包括一个或更多个接近传感器566。图4示出了耦合到***设备接口558的接近传感器566。可替换地,接近传感器566可以耦合到I/O子***506中的输入控制器560。接近传感器566可以如以下美国专利申请中描述的一样执行:2005年9月30日提交的申请序号为55/245,839的美国专利申请“手持设备中的近程检测器”(“ProximityDetector In Handheld Device”);2005年9月30日提交的申请序号为55/240,788的美国专利申请“手持设备中的近程检测器”(“Proximity Detector In Handheld Device”);序号为55/620,702的“使用环境光传感器来增大接近传感器输出”(“Using Ambient LightSensor To Augment Proximity Sensor Output”);2006年10月24日提交的申请序号为55/586,862的美国专利申请“自动响应于并且感测便携式设备中的用户活动”(“AutomatedResponse To And Sensing Of User Activity In Portable Devices”);和申请序号为55/638,255的美国专利申请“用于***设备的自动配置的方法和***”(“Methods AndSystems For Automatic Configuration Of Peripherals”),其全部内容通过引用合并于此。在一些实施例中,当多功能设备放置在用户的耳朵附近时(例如,当用户正在打电话时),接近传感器关闭并禁用触摸屏552。在一些实施例中,当设备在用户的口袋中、钱包中或其它黑暗区域时,接近传感器保持屏幕关闭,以防止当设备处于锁定状态时不必要的电池消耗。
设备500还可以包括一个或更多个加速度计568。图4示出耦合到***设备接口558的加速度计568。可替换地,加速度计568可以耦合到I/O子***506中的输入控制器560。加速度计568可以如以下美国专利中描述的一样执行:公开号为2005/0590059的“便携式电子设备的基于加速的盗窃检测***”(“Acceleration-based Theft Detection System forPortable Electronic Devices”)和公开号为2006/0057692的“用于基于加速度计操作便携式设备的方法和装置”(“Methods And Apparatuses For Operating A PortableDevice Based On An Accelerometer”),两者的全部内容通过引用合并与此。在一些实施例中,基于对从一个或更多个加速度计接收的数据的分析,以纵向视图或横向视图在触摸屏显示器上显示信息。
在一些实施例中,存储在存储器502中的软件组件可包括操作***526、通信模块(或指令集)528、接触/运动模块(或指令集)530、图形模块(或指令集)532、文本输入模块(或指令集)534、全球定位***(GPS)模块(或指令集)535和应用程序(或指令集)536。
操作***526(例如,Android、RTXC、Linux、Unix、OS X、Windows或例如VxWorks的嵌入式操作***)包括用于控制和管理一般***任务(例如存储器管理、存储设备控制、电源管理等)的各种软件组件和/或驱动程序并且促进各种硬件和软件组件之间的通信。
通信模块528通过一个或更多个外部端口524促进与其它设备的通信,并且还包括用于处理由RF电路508和/或外部端口524接收的数据的各种软件组件。外部端口524(例如,通用串行总线(USB)、FIREWIRE等)适于直接耦合到其它设备或通过网络(例如,互联网、无线局域网等)间接耦合。在一些实施例中,外部端口是与在iPod(苹果计算机公司的商标)设备上使用的30引脚连接器相同或相似和/或与其兼容的多引脚(例如,30引脚)连接器。
接触/运动模块530可检测与触摸屏552(结合显示控制器556)和其它触敏设备(例如,触摸板或物理点击轮)的接触。接触/运动模块530包括各种软件组件,其用于执行与接触的检测有关的各种操作,例如确定接触是否已经发生,确定是否存在接触的移动以及跟踪跨过触摸屏552的移动,以及确定接触是否已中断(即接触是否已停止)。确定接触点的移动可以包括确定接触点的速率(大小)、速度(大小和方向)和/或加速度(大小和/或方向上的变化)。这些操作可以应用于单个接触(例如,一个手指接触)或多个同时接触(例如,“多点触摸”/多个手指接触)。在一些实施例中,接触/运动模块530和显示器控制器556还检测触摸板上的接触。在一些实施例中,接触/运动模块530和控制器560检测点击轮上的接触。
图形模块532包括用于在触摸屏552上呈现和显示图形的各种已知软件组件,包括用于改变所显示的图形的强度的组件,并且包括本文描述的图形指示符和帧呈现选项。如本文所使用的,术语“图形”包括可以向用户显示的任何对象,包括但不限于文本、网页、图标(例如包括软键盘的用户界面对象)、数字图像、视频、动画等。此上下文中的动画是给出移动外观的图像序列,并告知用户已执行的动作(例如将电子邮件消息移动到文件夹)。此上下文中,确认设备用户的动作的相应动画通常花费预定义的有限时间量,例如在0.2和5.0秒之间,或者在0.5和2.0秒之间的时间量,其取决于上下文。
文本输入模块534(其可以是图形模块532的组件)提供用于在各种应用程序中(例如,联系人537、电子邮件540、IM(即时通讯)545、博客542、浏览器547和需要文本输入的任何其它应用程序)输入文本的软键盘。
GPS模块535确定设备的位置并且将该信息提供给各种应用程序使用(例如,提供给电话538用于基于位置的拨号,提供给相机543和/或博客542作为图片/视频元数据,以及提供给应用程序,该应用程序提供基于位置的服务,例如天气小工具(widget),本地黄页小工具和地图/导航小工具)。
应用程序536可以包括以下模块(或指令集)或其子集或超集:
联系人模块537(有时称为地址簿或联系人列表);
电话模块538;
视频会议模块539;
电子邮件客户端模块540;
即时通讯(IM)模块545;
博客模块542;
用于静止和/或视频图像的相机模块543;
图像管理模块544;
视频播放器模块545;
音乐播放器模块546;
浏览器模块547;
日历模块548;
小工具模块549,其可以包括天气小工具549a、股票小工具549b、计算器小工具549c、闹钟小工具549d、字典小工具549e和由用户获得的其它小工具以及用户创建的小工具549f;
小工具创建器模块550,其用于制作用户创建的小工具549f;
搜索模块555;
视频和音乐播放器模块552,其合并了视频播放器模块545和音乐播放器模块546;
笔记模块553;和/或
地图模块554。
可以存储在存储器502中的其它应用程序536的示例包括其它文字处理应用程序、支持JAVA的应用程序、加密、数字版权管理、语音识别和语音复制。
结合触摸屏552、显示控制器556、接触模块530、图形模块532和文本输入模块534,联系人模块537可用于管理地址簿或联系人列表,包括:将(一个或更多个)姓名添加到地址簿;从地址簿中删除(一个或更多个)姓名;将(一个或更多个)电话号码、(一个或更多个)电子邮件地址、(一个或更多个)物理地址或其它信息与姓名相关联;将图像与姓名相关联;将姓名分类和排序;提供电话号码或电子邮件地址以发起和/或促进通过电话538、视频会议539、电子邮件540或IM(即时通讯)545的通信;等等。下面进一步描述使用联系人模块537的用户界面和相关联过程的实施例。
结合RF电路508、音频电路550、扬声器555、麦克风553、触摸屏552、显示控制器556、接触模块530、图形模块532和文本输入模块534,电话模块538可以用于输入对应于电话号码的字符序列,访问地址簿537中的一个或更多个电话号码,修改已经输入的电话号码,拨打相应的电话号码,进行对话,并在对话完成时断开或挂断。如上所述,无线通信可以使用多种通信标准、协议和技术中的任何一种。下面进一步描述使用电话模块538的用户界面和相关联过程的实施例。
结合RF电路508、音频电路550、扬声器555、麦克风553、触摸屏552、显示控制器556、光学传感器564、光学传感器控制器558、接触模块530、图形模块532、文本输入模块534、联系人列表537和电话模块538,视频会议模块539可用于发起、进行和终止用户与一个或更多个其它参与者之间的视频会议。
结合RF电路508、触摸屏552、显示控制器556、接触模块530、图形模块532和文本输入模块534,电子邮件客户端模块540可用于创建、发送、接收和管理电子邮件。结合图像管理模块544,电子邮件模块540使创建和发送具有用相机模块543拍摄的静止或视频图像的电子邮件变得非常容易。下面进一步描述使用电子邮件模块540的用户界面和相关联过程的实施例。
结合RF电路508、触摸屏552、显示控制器556、接触模块530、图形模块532和文本输入模块534,即时通讯模块545可用于输入对应于即时消息的字符序列,修改先前输入的字符,发送相应的即时消息(例如,针对基于电话的即时消息使用短消息服务(SMS)或多媒体消息服务(MMS)协议或者针对基于互联网的即时消息使用可扩展通讯和表示协议(XMPP)、用于即时通讯和表示利用扩展的会话发起协议(SIMPLE)或用于基于互联网即时消息的互联网消息和表示服务(IMPS)),接收即时消息并查看接收的即时消息。在一些实施例中,发送的和/或接收的即时消息可以包括如多媒体消息服务(MMS)和/或增强型消息收发服务(EMS)中支持的图形、照片、音频文件、视频文件和/或其它附件。如本文所使用的,“即时通讯”是指基于电话的消息(例如,使用SMS或MMS发送的消息)和基于互联网的消息(例如,使用XMPP、SIMPLE或IMPS发送的消息)。下面进一步描述使用即时通讯模块545的用户界面和相关联过程的实施例。
结合RF电路508、触摸屏552、显示控制器556、接触模块530、图形模块532、文本输入模块534、图像管理模块544和浏览器模块547,博客模块542可用于发送文本、静止图像、视频和/或其它图形到博客(例如,用户的博客)。
结合触摸屏552、显示控制器556、(一个或更多个)光学传感器564、光学传感器控制器558、接触模块530、图形模块532和图像管理模块544,相机模块543可用于捕获静止图像或视频(包括视频流)并将它们存储到与图1D的缓冲器116对应的存储器502中,修改静止图像或视频的特征,或者从存储器502中删除静止图像或视频。下面进一步描述使用相机模块543的用户界面和相关联过程的实施例。
结合触摸屏552、显示器控制器556、接触模块530、图形模块532、文本输入模块534和相机模块543,图像管理模块544可用于布置、修改或以其他方式操作、标记、删除、呈现(例如,在数字幻灯片或专辑中),以及存储静止和/或视频图像。下面进一步描述使用图像管理模块544的用户界面和相关联过程的实施例。
结合触摸屏552、显示控制器556、接触模块530、图形模块532、音频电路550和扬声器555,视频播放器模块545可用于显示、呈现或以其他方式回放视频(例如,在触摸屏上或在经由外部端口524连接的外部显示器上)。下面进一步描述使用视频播放器模块545的用户界面和相关联过程的实施例。
结合触摸屏552、显示***控制器556、接触模块530、图形模块532、音频电路550、扬声器555、RF电路508和浏览器模块547,音乐播放器模块546允许用户下载和回放录制的音乐和以一种或更多种文件格式存储的其它声音文件,如MP3或AAC文件。在一些实施例中,设备500可以包括MP3播放器(例如iPod(苹果计算机公司的商标))的功能。下面进一步描述使用音乐播放器模块546的用户界面和相关联过程的实施例。
结合RF电路508、触摸屏552、显示***控制器556、接触模块530、图形模块532和文本输入模块534,浏览器模块547可用于浏览互联网,包括搜索、链接到、接收、和显示网页或部分网页,以及链接到网页的附件和其它文件。下面进一步描述使用浏览器模块547的用户界面和相关联过程的实施例。
结合RF电路508、触摸屏552、显示***控制器556、接触模块530、图形模块532、文本输入模块534、电子邮件模块540和浏览器模块547,日历模块548可用于创建、显示、修改和存储日历和与日历相关联的数据(例如日程条目、待办事项列表等)。下面进一步描述使用日历模块548的用户界面和相关联过程的实施例。
结合RF电路508、触摸屏552、显示***控制器556、接触模块530、图形模块532、文本输入模块534和浏览器模块547,小工具模块549是微应用程序,其可以被用户下载和使用(例如,天气小工具549a、股票小工具549b、计算器小工具549c、闹钟小工具549d和字典小工具549e)或由用户创建(例如,用户创建的小工具549f)。在一些实施例中,小工具包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施例中,小工具包括XML(可扩展标记语言)文件和JavaScript文件(例如,Yahoo!小工具)。
结合RF电路508、触摸屏552、显示***控制器556、接触模块530、图形模块532、文本输入模块534和浏览器模块547,小工具创建器模块550可以被用户用来创建小工具(例如,将网页的用户指定部分变成小工具)。
结合触摸屏552、显示***控制器556、接触模块530、图形模块532和文本输入模块534,搜索模块555可以用于搜索与一个或更多个搜索标准(例如,一个或更多个用户指定的搜索术语)匹配的文本、音乐、声音、图像、视频和/或存储器502中的其它文件。
结合触摸屏552、显示器控制器556、接触模块530、图形模块532和文本输入模块534,笔记模块553可用于创建和管理笔记、待办事项等等。
结合RF电路508、触摸屏552、显示***控制器556、接触模块530、图形模块532、文本输入模块534、GPS模块535和浏览器模块547,地图模块554可以用于接收、显示、修改和存储地图和与地图相关联的数据(例如,驾驶方向;在特定位置处或其附近的商店和其它兴趣点的数据;以及其它基于位置的数据)。
每个上述识别的模块和应用程序对应于用于执行上述一个或更多个功能的指令集。这些模块(即,指令集)不需要被实现为单独的软件程序、过程或模块,且因此这些模块的各种子集可以在各种实施例中被组合或以其他方式重新布置。例如,视频播放器模块545可以与音乐播放器模块546结合在单个模块(例如,视频和音乐播放器模块552)中。在一些实施例中,存储器502可以存储上述识别的模块和数据结构的子集。此外,存储器502可以存储上文没有描述的附加模块和数据结构。
在一些实施例中,设备500是一设备,其上的预定义的功能组的操作仅通过触摸屏552和/或触摸板执行。通过将触摸屏和/或触摸板作为用于设备500的操作的主要输入/控制设备来使用,可以减少设备500上的物理输入/控制设备(例如按键、拨号等)的数量。
可以只通过触摸屏和/或触摸板执行的预定义的功能组包括用户界面之间的导航。在一些实施例中,当触摸板被用户触摸时,将设备500从其上可以显示的任何用户界面导航到主菜单,基础菜单或根菜单。在这样的实施例中,触摸板可以被称为“菜单按钮”。在一些其它实施例中,菜单按钮可以是物理按钮或其他物理输入/控制设备代替触摸板。
如本领域技术人员理解的,本发明的各方面可以体现为***、方法或计算机程序产品。因此,本发明的各方面可以采取完全硬件实施例的形式,完全软件实施例的形式(包括固件、常驻软件、微代码等)或软件和硬件方面相结合的实施例的形式,其在本文中可以被一般地称为“电路”、“模块”或“***”。此外,本发明的各方面可以采用计算机程序产品的形式,其体现在具有体现在其上的计算机可读程序代码的一个或更多个计算机可读介质中。
可以使用一个或更多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是,例如但不限于,电子的、磁的、光学的、电磁的、红外的或半导体***、装置或设备,或前述的任何合适的组合。计算机可读存储介质的更具体的示例(非穷举列表)会包括以下内容:具有一个或更多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备或前述任何适当组合。在本文件的上下文中,计算机可读存储介质可以是能够包含或存储程序的任何有形介质,以供指令执行***、装置或设备使用或与它们结合使用。
计算机可读信号介质可以包括其中包含有计算机可读程序代码的传播数据信号,例如,在基带中或者作为载波的一部分。这样的传播信号可以采取多种形式中的任何形式,包括但不限于电磁的、光学的或其任何适当的组合。计算机可读信号介质可以是任何计算机可读介质,其不是计算机可读存储介质并且其可以传送、传播或传输程序,以供指令执行***、装置或设备使用或与它们结合使用。
体现在计算机可读介质上的程序代码可以使用任何适当的介质来发送,所述介质包括但不限于无线、有线、光纤电缆、RF等,或上述任何适当的组合。
用于实现本发明的各方面操作的计算机程序代码可以以一种或更多种编程语言的任何组合来编写,所述编程语言包括面向对象的编程语言,例如Java、Smalltalk、C++等,以及传统的过程化编程语言,例如“C”编程语言或类似的编程语言。程序代码可以完全在用户的计算机上执行、部分在用户的计算机上执行、作为独立的软件包执行、部分在用户的计算机上且部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情况下,远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机,或者可以连接到外部计算机(例如,使用互联网服务提供商通过互联网连接)。
根据本发明的实施例,参照方法,装置(***)和计算机程序产品的流程图说明和/或框图来描述本发明的各方面。应该理解的是,流程图说明和/或框图中的每个框以及流程图说明和/或框图中的框的组合可以通过计算机程序指令来实现。这些计算机程序指令可被提供给通用计算机、专用计算机或其他可编程数据处理装置的硬件处理器以产生机器,使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或更多个框指定的功能/动作的装置。
这些计算机程序指令还可以存储在计算机可读介质中,其可以指导计算机、其它可编程数据处理装置或其它设备以特定方式运行,使得存储在计算机可读介质中的指令产生制品,该制品包括实现流程图和/或框图的一个或更多个框指定的功能/动作的指令。
计算机程序指令还可以被加载到计算机、其它可编程数据处理设备或其他设备上,以导致在计算机、其它可编程装置或其它设备上执行的一系列操作步骤产生由计算机实现的过程,使得在计算机或其他可编程装置上执行的指令提供用于实现在流程图和/或框图的一个或更多个框中指定的功能/动作的过程。
附图中的流程图和框图说明了根据本发明的各种实施例的***、方法和计算机程序产品的可能实现的架构、功能和操作。就此方面,流程图或框图中的每个框可以表示模块、分段或部分代码,其包括用于实现指定(一个或更多个)逻辑功能的一个或更多个可执行指令。还应该注意的是,在一些替代实施方式中,方框中记录的功能可以不按照附图中记录的顺序出现。例如,连续示出的两个框实际上可以基本上同时执行,或者框有时可以以相反的顺序执行,这取决于所涉及的功能。还要注意的是,框图和/或流程图说明中的每个框以及框图和/或流程图说明中的框的组合,可以由执行指定功能或动作的基于专用用途硬件的***来实现,或由专用用途硬件和计算机指令的组合来实现。
出于说明目的已经给出了对本发明的各种实施例的描述,但是并非旨在穷尽或限于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下,各种修改和变化对于本领域的技术人员来说是明显的。本文选择使用的术语是为了最好地解释实施例的原理、实际应用或对市场中技术的技术改进,或者使本领域技术人员能够理解本文公开的实施例。
在本申请的说明书和权利要求书中,词语“包括”、“包含”和“具有”中的每一个及其形式不一定限于与词语相关联的列表中的成员。此外,在本申请与通过引用并入的任何文件之间存在不一致的情况下,在此认定为以本申请为准。
Claims (62)
1.一种***,其包括:
多功能移动设备,其包括:
相机,其经配置以捕获主体的多个帧;
处理器,其经配置以:
将多个捕获的帧中的第一帧识别为蓝色帧,其中在所述主体被蓝光照射时捕获所述第一帧,
将多个捕获的帧中的第二帧识别为白色帧,其中在所述主体被白光照射时捕获所述第二帧;
使所述蓝色帧与所述白色帧相关联;
检测在所述蓝色帧中描绘而不在相关联的白色帧中描绘的特征,
指示检测到所述特征;和
用户界面显示器,其经配置以分别地呈现所述蓝色帧和所述白色帧。
2.根据权利要求1所述的***,其中所述处理器进一步经配置以确定所述捕获的帧的峰值蓝色水平。
3.根据权利要求2所述的***,其中识别所述蓝色帧和识别所述白色帧包括使用与所述捕获的帧相关联的时间戳和与所述峰值蓝色水平相关联的时间戳,来使所述帧的所述识别与预定义的交替蓝光和白光照射周期同步。
4.根据权利要求1所述的***,其中所述特征与荧光物质相关联。
5.根据权利要求1所述的***,其中在所述用户界面的主要部分上呈现所述白色帧,并且其中在呈现所述白色帧的同时,在所述用户界面的次要部分上呈现所述蓝色帧。
6.根据权利要求1所述的***,其中,响应于用户的指示,在所述显示器的所述主要部分和所述次要部分的组合上呈现所述蓝色帧。
7.根据权利要求1所述的***,其中,响应于用户的指示,在所述显示器的所述主要部分上呈现所述蓝色帧,并且在呈现所述蓝色帧的同时,在所述显示器的所述次要部分上呈现所述白色帧。
8.根据权利要求1所述的***,还包括底座,其经配置以能够使用用户手指支持所述多功能移动设备,从而释放所述用户的大拇指以与所述用户界面交互。
9.根据权利要求1所述的***,其中指示检测到所述特征包括以下中的至少一个:发出警报、使所述设备振动或闪烁信号。
10.根据权利要求1所述的***,其中指示检测到所述特征包括在一位置显示覆盖在所述白色帧的所述呈现上的图形指示符,所述位置对应于在相关联的蓝色帧上检测到的特征的位置。
11.根据权利要求10所述的***,其中显示所述图形指示符包括以下任何项:
a)在所述特征周围显示轮廓,
b)显示围绕所述特征的方框,
c)显示指向所述特征的箭头,
d)与所述蓝色帧的按比例缩小的呈现相关联地同时显示所述白色帧,
e)显示覆盖在所述相关联的白色帧上的所述蓝色帧的部分透明演示,
f)显示所述检测到的特征的缩放视图,
g)响应于所述用户的指示,显示覆盖在所显示的白色帧上的所述蓝色帧的对应部分,
h)以跳动方式显示a)至g)中的任何所述图形指示符,
i)显示指示对所述检测到的特征的感兴趣水平的仪表。
12.根据权利要求1所述的***,其中将所述蓝色帧与所述白色帧分别地呈现包括在所述显示器的公共部分上交替地呈现所述蓝色帧和白色帧。
13.根据权利要求1所述的***,进一步包括灯,其经配置以预定义的照射周期交替地发射白光和蓝光。
14.根据权利要求13所述的***,其中所述灯安装在所述多功能移动设备上。
15.根据权利要求13所述的***,其中所述灯提供有屏蔽件,以阻挡所述蓝光和白光照射用户的视线。
16.根据权利要求1所述的***,其中所述处理器进一步经配置以与所述白色帧相关联地存储所述蓝色帧。
17.根据权利要求16所述的***,其中所述处理器进一步经配置以与所述蓝色帧和白色帧相关联地存储音频文件。
18.根据权利要求1所述的***,进一步包括偏振差异成像获取装置即PDI获取装置,其经配置以获取所述主体的PDI图像,其中所述处理器进一步经配置以检测在所述PDI图像中描绘而不在任何所述蓝色帧和所述白色帧中描绘的PDI特征,并指示检测到所述PDI特征。
19.一种计算机程序产品,其包括具有体现在其上的程序代码的非暂时性计算机可读存储介质,所述程序代码可由至少一个硬件处理器执行以:
将主体的多个捕获的帧中的第一帧识别为蓝色帧,其中在所述主体被蓝光照射时捕获所述第一帧,
将所述主体的多个捕获的帧中的第二帧识别为白色帧,其中在所述主体被白光照射时捕获所述第二帧,和
使所述蓝色帧与所述白色帧相关联;
检测在所述蓝色帧中描绘而不在相关联的白色帧中描绘的特征;和
在用户界面显示器上分别地呈现所述蓝色帧和所述白色帧,并指示检测到所述特征。
20.根据权利要求19所述的计算机程序产品,其中识别所述蓝色帧和识别所述白色帧包括确定所述捕获的帧的峰值蓝色水平。
21.根据权利要求19所述的计算机程序产品,其中所述程序代码进一步可执行以使用与所述蓝色帧和白色帧相关联的时间戳和所述峰值蓝色水平的时间戳,将所述蓝色帧和白色帧的所述识别与预定义的交替蓝光和白光照射周期同步。
22.根据权利要求19所述的计算机程序产品,其中所述特征与荧光物质相关联。
23.根据权利要求19所述的计算机程序产品,其中分别地呈现包括同时在所述用户界面显示器的主要部分上呈现所述白色帧并且在所述用户界面显示器的次要部分上呈现所述蓝色帧。
24.根据权利要求19所述的计算机程序产品,其中,响应于用户的指示,所述程序代码进一步可执行以在所述用户界面显示器的所述主要部分和所述次要部分的组合上呈现所述蓝色帧。
25.根据权利要求19所述的计算机程序产品,其中,响应于用户的指示,所述程序代码进一步可执行以同时在所述用户界面显示器的所述主要部分上呈现所述蓝色帧,以及在所述用户界面显示器的所述次要部分上呈现所述白色帧。
26.根据权利要求19所述的计算机程序产品,其中指示检测到所述特征包括执行以下中的至少一个:发出警报、使所述设备振动或闪烁信号。
27.根据权利要求19所述的计算机程序产品,其中指示检测到所述特征包括在一位置显示覆盖在所述白色帧的所述呈现上的图形指示符,所述位置对应于在所述相关联的蓝色帧上的检测到的特征的位置。
28.根据权利要求27所述的计算机程序产品,其中显示所述图形指示符包括以下任何项:
a)在所述特征周围显示轮廓,
b)显示围绕所述特征的方框,
c)显示指向所述特征的箭头,
d)与所述蓝色帧的按比例缩小的呈现相关联地同时显示所述白色帧,
e)显示覆盖在所述白色帧上的所述蓝色帧的部分透明演示,
f)显示所述检测到的特征的缩放视图,
g)响应于所述用户的指示,显示覆盖在所显示的白色帧上的所述蓝色帧的对应部分,
h)以跳动方式显示a)至g)中的任何所述图形指示符,
i)显示指示对所述检测到的特征的感兴趣水平的仪表。
29.根据权利要求19所述的计算机程序产品,其中将所述蓝色帧与所述白色帧分别地呈现包括在所述显示器的公共部分上交替地呈现所述蓝色帧和白色帧。
30.根据权利要求19所述的计算机程序产品,其中所述程序代码进一步可执行以与所述白色帧相关联地存储所述蓝色帧。
31.根据权利要求30所述的计算机程序产品,其中所述程序代码进一步可执行以与所述蓝色帧和相关联的白色帧相关联地存储音频文件。
32.根据权利要求19所述的计算机程序产品,其中所述程序代码进一步可执行以接收所述主体的偏振差异成像图像即PDI图像,检测在所述PDI图像中描绘而不在任何所述蓝色帧和所述白色帧中描绘的PDI特征,并指示检测到所述PDI特征。
33.一种方法,其包括:
捕获主体的多个帧;
将多个捕获的帧中的第一帧识别为蓝色帧,其中在所述主体被蓝光照射时捕获所述第一帧;
将多个捕获的帧中的第二帧识别为白色帧,其中在所述主体被白光照射时捕获所述第二帧;
使所述蓝色帧与所述白色帧相关联;
检测在所述蓝色帧中描绘而不在相关联的白色帧中描绘的特征;
在用户界面显示器上分别地呈现所述蓝色帧和所述白色帧;和
向用户指示检测到所述特征。
34.根据权利要求33所述的方法,进一步包括确定捕获的帧的峰值蓝色水平。
35.根据权利要求34所述的方法,其中识别所述蓝色帧和识别所述白色帧包括使用与所述捕获的帧相关联的时间戳和与所述峰值蓝色水平相关联的时间戳,来使所述帧的所述识别与预定义的交替蓝光和白光照射周期同步。
36.根据权利要求33所述的方法,其中所述特征与荧光物质相关联。
37.根据权利要求33所述的方法,其中分别地呈现包括在所述用户界面显示器的主要部分上呈现所述白色帧并且同时在所述用户界面显示器的次要部分上呈现所述蓝色帧。
38.根据权利要求33所述的方法,其中,响应于用户的指示,在所述用户界面显示器的所述主要部分和所述次要部分的组合上呈现所述蓝色帧。
39.根据权利要求33所述的方法,其中,响应于用户的指示,同时在所述用户界面显示器的所述主要部分上呈现所述蓝色帧,并且在所述用户界面显示器的所述次要部分上呈现所述白色帧。
40.根据权利要求33所述的方法,其中指示检测到所述特征包括执行以下中的至少一个:发出警报、使所述设备振动或闪烁信号。
41.根据权利要求33所述的方法,其中指示检测到所述特征包括在一位置显示覆盖在所述白色帧的所述呈现上的图形指示符,所述位置对应于在相关联的蓝色帧上检测到的特征的位置。
42.根据权利要求41所述的方法,其中显示所述图形指示符包括以下任何项:
a)在所述特征周围显示轮廓,
b)显示围绕所述特征的方框,
c)显示指向所述特征的箭头,
d)与所述蓝色帧的按比例缩小的呈现相关联地同时显示所述白色帧,
e)显示覆盖在所述相关联的白色帧上的所述蓝色帧的部分透明演示,
f)显示所述检测到的特征的缩放视图,
g)响应于所述用户的指示,显示覆盖在所显示的白色帧上的所述蓝色帧的对应部分,
h)以跳动方式显示a)至g)中的任何所述图形指示符,
i)显示指示对所述检测到的特征的感兴趣水平的仪表。
43.根据权利要求33所述的方法,其中将所述蓝色帧与所述白色帧分别地呈现包括在所述显示器的公共部分上交替地呈现所述蓝色帧和白色帧。
44.根据权利要求33所述的方法,进一步包括与相关联的所识别的白色帧相关联地存储所识别的蓝色帧。
45.根据权利要求33所述的方法,进一步包括与所述蓝色帧和相关联的白色帧相关联地存储音频文件。
46.根据权利要求33所述的方法,进一步包括:获取所述主体的偏振差异成像图像即PDI图像,检测在所述PDI图像中描绘而不在任何所述蓝色帧和所述白色帧中描绘的PDI特征,并指示检测到所述PDI特征。
47.一种***,其包括:
多功能移动设备,其包括:
相机,其经配置以捕获主体的多个帧;
处理器,其经配置以:
识别多个捕获的帧中的一个或更多个多光谱帧,其中在所述主体被多光谱光照射时捕获所述一个或更多个多光谱帧,
识别多个捕获的帧中的白色帧,其中在所述主体被白光照射时捕获所述白色帧;
使所述一个或更多个多光谱帧与所述白色帧相关联;
检测在所述一个或更多个多光谱帧中描绘而不在相关联的白色帧中描绘的特征,
向用户指示检测到所述特征;和
用户界面显示器,其经配置以分别地呈现所述一个或更多个多光谱帧和所述白色帧。
48.根据权利要求47所述的***,其中所述多光谱光具有波长,所述波长选自由以下所组成的组:
蓝光;
紫外光;
约414纳米即nm、约542nm和约576nm,其对应于氧合血红蛋白即HbO2的峰值吸收光谱;
约432nm和约556nm,其对应于脱氧血红蛋白即Hb的峰值吸收光谱;
约438nm、约464nm和约654nm,其对应于HbO2与Hb之间的吸收的峰值差异;
约259.9nm、约339.5nm、约390.0nm、约422.0nm、约452.3nm、约500.1nm、约529.2nm、约545.2nm、约570.1nm、约584.0nm、约796.8nm,其对应于HbO2与Hb的吸收光谱的等吸光点;
约970nm,其对应于水的峰值吸收水平;
范围在约450-550nm之间的参考波长,其对应于散射光谱;
低于对应于瑞利散射的参考波长的波长;和
高于对应于米氏散射的参考波长的波长。
49.根据权利要求47所述的***,其中所述处理器进一步经配置以确定捕获的帧的一个或更多个峰值多光谱水平。
50.根据权利要求49所述的***,其中识别所述一个或更多个多光谱帧以及识别所述白色帧包括使用与所述捕获的帧相关联的时间戳和与所述峰值多光谱水平相关联的时间戳,使所述帧的所述识别与预定义的交替多光谱波长的照射周期同步。
51.根据权利要求47所述的***,其中所述特征与物质相关联,所述物质选自由以下所组成的组:荧光物质、水、氧合血红蛋白即HbO2、脱氧血红蛋白即Hb、胶原纤维、细胞支架蛋白质类、细胞核和线粒体。
52.根据权利要求47所述的***,其中,在所述用户界面的主要部分上呈现所述白色帧,并且其中在呈现所述白色帧的同时,在所述用户界面的次要部分上呈现多光谱帧中的任何多光谱帧。
53.根据权利要求47所述的***,其中,响应于用户的指示,在所述显示器的所述主要部分和所述次要部分的组合上呈现所述多光谱帧。
54.根据权利要求47所述的***,其中,响应于用户的指示,在所述显示器的所述主要部分上呈现所述多光谱帧,以及,在呈现所述多光谱帧的同时,在所述显示器的所述次要部分上呈现所述白色帧。
55.根据权利要求47所述的***,其中指示检测到所述特征包括以下中的至少一个:发出警报、使所述设备振动或闪烁信号。
56.根据权利要求47所述的***,其中指示检测到所述特征包括在一位置显示覆盖在所述白色帧的所述呈现上的图形指示符,所述位置对应于在相关联的多光谱帧上的检测到的特征的位置。
57.根据权利要求56所述的***,其中显示所述图形指示符包括以下任何项:
a)在所述特征周围显示轮廓,
b)显示围绕所述特征的方框,
c)显示指向所述特征的箭头,
d)与所述多光谱帧的按比例缩小的呈现相关联地同时显示所述白色帧,
e)显示覆盖在相关联的白色帧上的所述多光谱帧的部分透明演示,
f)显示所述检测到的特征的缩放视图,
g)响应于所述用户的指示,显示覆盖在所显示的白色帧上的所述多光谱帧的对应部分,
h)以跳动方式显示a)至g)中的任何所述图形指示符,
i)显示指示对所述检测到的特征的感兴趣水平的仪表。
58.根据权利要求47所述的***,其中将所述多光谱帧与所述白色帧分别地呈现包括在所述显示器的公共部分上交替地呈现所述多光谱帧和白色帧。
59.根据权利要求47所述的***,进一步包括灯,其经配置以预定义的照射周期交替地发射白光和多光谱光。
60.根据权利要求59所述的***,其中所述灯安装在所述多功能移动设备上。
61.根据权利要求47所述的***,其中所述处理器进一步经配置以与所述白色帧相关联地存储所述多光谱帧。
62.根据权利要求61所述的***,其中所述处理器进一步经配置以与所述多光谱帧和白色帧相关联地存储音频文件。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562215074P | 2015-09-07 | 2015-09-07 | |
US62/215,074 | 2015-09-07 | ||
PCT/IL2016/050991 WO2017042807A1 (en) | 2015-09-07 | 2016-09-07 | Handheld mobile device for detection of biological evidence |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108351296A true CN108351296A (zh) | 2018-07-31 |
Family
ID=58239330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680063864.5A Pending CN108351296A (zh) | 2015-09-07 | 2016-09-07 | 用于检测生物学证据的手持移动设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10753874B2 (zh) |
EP (1) | EP3347700A4 (zh) |
CN (1) | CN108351296A (zh) |
IL (1) | IL257966A (zh) |
WO (1) | WO2017042807A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI758891B (zh) * | 2020-09-30 | 2022-03-21 | 國立成功大學 | 濃度感測系統與方法 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2616653C2 (ru) * | 2012-06-05 | 2017-04-18 | Хайпермед Имэджинг, Инк. | Способы и устройство для соосного формирования изображения с множеством длин волн |
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
GB201804527D0 (en) * | 2018-03-21 | 2018-05-02 | Rentokil Initial 1927 Plc | Devices and methods for determining the presence of rodent urine at a location |
CN110441281B (zh) * | 2019-09-16 | 2024-05-07 | 杭州衡利电子技术有限公司 | 物证信息识别装置及设备 |
CN111189784A (zh) * | 2020-01-14 | 2020-05-22 | 哈尔滨工业大学 | 一种基于偏振光谱成像的盖章签字先后顺序鉴定方法 |
JP2021148897A (ja) * | 2020-03-18 | 2021-09-27 | ソニー・オリンパスメディカルソリューションズ株式会社 | 制御装置および医療用観察システム |
HUP2000138A1 (hu) * | 2020-04-22 | 2021-10-28 | Mediner Gyogyszerkereskedelmi | Eljárás köröm optikai vizsgálatára és rendszer az eljárás foganatosítására |
CN113283420A (zh) * | 2021-05-20 | 2021-08-20 | 维沃移动通信有限公司 | 电子设备、材质检测方法、材质检测装置和可读存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5929443A (en) * | 1995-12-18 | 1999-07-27 | The Research Foundation City College Of New York | Imaging of objects based upon the polarization or depolarization of light |
CN1489446A (zh) * | 2000-12-19 | 2004-04-14 | ������ɽ���� | 用于具有多个测量装置的同期荧光和反射测量的方法和设备 |
CN1802122A (zh) * | 2003-05-08 | 2006-07-12 | 博世创医疗公司 | 同时进行实时多模式成像和它的光谱学使用 |
US7477767B2 (en) * | 2005-09-20 | 2009-01-13 | Brightex Bio-Photonics, Llc | Systems and methods for analyzing skin conditions of people using digital images |
US20100165089A1 (en) * | 2006-10-13 | 2010-07-01 | Rongguang Liang | Apparatus for caries detection |
CN102014732A (zh) * | 2008-02-28 | 2011-04-13 | 卡尔蔡司医疗技术股份公司 | 用于观察、检查、诊断和/或治疗眼睛的眼科设备和方法 |
CN103091296A (zh) * | 2013-01-23 | 2013-05-08 | 浙江大学 | 基于光谱成像技术的植物健康状况检测方法及其装置 |
US20130300850A1 (en) * | 2012-04-12 | 2013-11-14 | Thomas Nathan Millikan | Viewing and Processing Multispectral Images |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7663607B2 (en) | 2004-05-06 | 2010-02-16 | Apple Inc. | Multipoint touchscreen |
US20060033724A1 (en) | 2004-07-30 | 2006-02-16 | Apple Computer, Inc. | Virtual input device placement on a touch screen user interface |
US7844914B2 (en) | 2004-07-30 | 2010-11-30 | Apple Inc. | Activating virtual keys of a touch-screen virtual keyboard |
US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
EP2256605B1 (en) | 1998-01-26 | 2017-12-06 | Apple Inc. | Method and apparatus for integrating manual input |
US6365289B1 (en) | 1999-12-22 | 2002-04-02 | General Motors Corporation | Cogeneration system for a fuel cell |
US7688306B2 (en) | 2000-10-02 | 2010-03-30 | Apple Inc. | Methods and apparatuses for operating a portable device based on an accelerometer |
US7218226B2 (en) | 2004-03-01 | 2007-05-15 | Apple Inc. | Acceleration-based theft detection system for portable electronic devices |
US6677932B1 (en) | 2001-01-28 | 2004-01-13 | Finger Works, Inc. | System and method for recognizing touch typing under limited tactile feedback conditions |
US6570557B1 (en) | 2001-02-10 | 2003-05-27 | Finger Works, Inc. | Multi-touch system and method for emulating modifier keys via fingertip chords |
US20040125996A1 (en) * | 2002-12-27 | 2004-07-01 | Unilever Home & Personal Care Usa, Division Of Conopco, Inc. | Skin diagnostic imaging method and apparatus |
US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
HK1122460A2 (en) | 2005-03-04 | 2009-05-15 | Apple Inc | Multi-functional hand-held device |
US8131029B2 (en) | 2005-09-20 | 2012-03-06 | Brightex Bio-Photonics Llc | Systems and methods for automatic skin-based identification of people using digital images |
US7633076B2 (en) | 2005-09-30 | 2009-12-15 | Apple Inc. | Automated response to and sensing of user activity in portable devices |
US7657849B2 (en) | 2005-12-23 | 2010-02-02 | Apple Inc. | Unlocking a device by performing gestures on an unlock image |
US8279180B2 (en) | 2006-05-02 | 2012-10-02 | Apple Inc. | Multipoint touch surface controller |
US8006002B2 (en) | 2006-12-12 | 2011-08-23 | Apple Inc. | Methods and systems for automatic configuration of peripherals |
US7957762B2 (en) | 2007-01-07 | 2011-06-07 | Apple Inc. | Using ambient light sensor to augment proximity sensor output |
US9516199B2 (en) * | 2011-01-27 | 2016-12-06 | Lynxrail Corporation | Camera assembly for the extraction of image depth discontinuity and method of use |
SG11201500557SA (en) * | 2012-07-24 | 2015-02-27 | Fio Corp | Immunoassay rapid diagnostic test universal analysis device, system, method and computer readable medium |
MX351545B (es) | 2013-04-21 | 2017-10-19 | Mobileoct Ltd | Aparato de proyección de luz polarizada y métodos del mismo para separar la luz de una superficie de una muestra y sus capas de difusas más profundas. |
-
2016
- 2016-09-07 WO PCT/IL2016/050991 patent/WO2017042807A1/en active Application Filing
- 2016-09-07 EP EP16843841.4A patent/EP3347700A4/en not_active Withdrawn
- 2016-09-07 CN CN201680063864.5A patent/CN108351296A/zh active Pending
- 2016-09-07 US US15/758,079 patent/US10753874B2/en active Active
-
2018
- 2018-03-07 IL IL257966A patent/IL257966A/en unknown
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5929443A (en) * | 1995-12-18 | 1999-07-27 | The Research Foundation City College Of New York | Imaging of objects based upon the polarization or depolarization of light |
CN1489446A (zh) * | 2000-12-19 | 2004-04-14 | ������ɽ���� | 用于具有多个测量装置的同期荧光和反射测量的方法和设备 |
CN1802122A (zh) * | 2003-05-08 | 2006-07-12 | 博世创医疗公司 | 同时进行实时多模式成像和它的光谱学使用 |
US7477767B2 (en) * | 2005-09-20 | 2009-01-13 | Brightex Bio-Photonics, Llc | Systems and methods for analyzing skin conditions of people using digital images |
US20100165089A1 (en) * | 2006-10-13 | 2010-07-01 | Rongguang Liang | Apparatus for caries detection |
CN102014732A (zh) * | 2008-02-28 | 2011-04-13 | 卡尔蔡司医疗技术股份公司 | 用于观察、检查、诊断和/或治疗眼睛的眼科设备和方法 |
US20130300850A1 (en) * | 2012-04-12 | 2013-11-14 | Thomas Nathan Millikan | Viewing and Processing Multispectral Images |
CN103091296A (zh) * | 2013-01-23 | 2013-05-08 | 浙江大学 | 基于光谱成像技术的植物健康状况检测方法及其装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI758891B (zh) * | 2020-09-30 | 2022-03-21 | 國立成功大學 | 濃度感測系統與方法 |
US11300560B1 (en) | 2020-09-30 | 2022-04-12 | National Cheng Kung University | System and method for sensing concentration of matter |
Also Published As
Publication number | Publication date |
---|---|
US10753874B2 (en) | 2020-08-25 |
US20180252647A1 (en) | 2018-09-06 |
WO2017042807A1 (en) | 2017-03-16 |
IL257966A (en) | 2018-05-31 |
EP3347700A4 (en) | 2019-04-17 |
EP3347700A1 (en) | 2018-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108351296A (zh) | 用于检测生物学证据的手持移动设备 | |
CN105320736B (zh) | 用于提供信息的装置和方法 | |
CN109154860A (zh) | 情感/认知状态触发记录 | |
CN108776568B (zh) | 网页页面的显示方法、装置、终端及存储介质 | |
KR102039427B1 (ko) | 스마트 글라스 | |
US10721194B2 (en) | User terminal device for recommending response to a multimedia message based on age or gender, and method therefor | |
CN109154861A (zh) | 情绪/认知状态呈现 | |
CN105453612B (zh) | 消息服务提供装置以及经由其提供内容的方法 | |
US9900427B2 (en) | Electronic device and method for displaying call information thereof | |
CN111310692B (zh) | 一种检测对象管理方法、***、机器可读介质及设备 | |
US10803988B2 (en) | Color analysis and control using a transparent display screen on a mobile device with non-transparent, bendable display screen or multiple display screen with 3D sensor for telemedicine diagnosis and treatment | |
CN108664829A (zh) | 用于提供与图像中对象有关的信息的设备 | |
CN108076215A (zh) | 电子装置中的接近感测设备及其方法 | |
US10331954B2 (en) | Method for controlling gas and electronic device thereof | |
CN113191117B (zh) | 电子文档的编辑方法、装置、设备及存储介质 | |
US20180268568A1 (en) | Color analysis and control using an electronic mobile device transparent display screen | |
CN107925725A (zh) | 显示装置以及该显示装置的控制方法 | |
CN112632445A (zh) | 网页播放方法、装置、设备及存储介质 | |
US20200236076A1 (en) | Media enhancement system | |
CN107533465A (zh) | 具有自动化提取的辅助层 | |
US10672168B1 (en) | Annotating an image with a texture fill | |
US20240045899A1 (en) | Icon based tagging | |
KR20150117043A (ko) | 미디어 컨텐츠를 선별하는 방법 및 이를 구현하는 전자장치 | |
KR20200078155A (ko) | 사용자 리뷰 기반 여행지 추천 방법 및 시스템 | |
CN115398377A (zh) | 基于注视的控制 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180731 |