CN102293709B - 一种智能导盲装置 - Google Patents
一种智能导盲装置 Download PDFInfo
- Publication number
- CN102293709B CN102293709B CN201110155763XA CN201110155763A CN102293709B CN 102293709 B CN102293709 B CN 102293709B CN 201110155763X A CN201110155763X A CN 201110155763XA CN 201110155763 A CN201110155763 A CN 201110155763A CN 102293709 B CN102293709 B CN 102293709B
- Authority
- CN
- China
- Prior art keywords
- image
- mechanorecepter
- ultrasonic detector
- signal
- microprocessor controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
- A61H2003/063—Walking aids for blind persons with electronic detecting or guiding means with tactile perception
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
- A61H2201/1604—Head
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
- A61H2201/165—Wearable interfaces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5007—Control means thereof computer controlled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
- A61H2201/5092—Optical sensor
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Rehabilitation Tools (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种可视化导盲方法,包括如下步骤:(1)拍摄黑白图像,对所述黑白图像作提取轮廓信息处理,减少细节元素,完成对图像的提炼,以获得物体轮廓信号;(2)根据人体工学特征,将所述物体轮廓信号转变成串行信号传送到图像感触器,所述图像感触器将所述串行信号转变为机械触觉信号发出触针刺激,在触视速度上采用间歇式图片触觉模式,在数量上采用合适的人体敏感的触针阵列,从而真正让盲人触觉到物体的形状。
Description
技术领域
本发明涉及导盲方法及装置,特别是涉及一种可视化导盲方法及其智能导盲装置。
背景技术
随着社会进步,盲人因视障带来的生活困难问题成为全人类共同关心的问题。由于盲人眼睛致盲个体原因差异,直接的手术、再置器官辅助,都存在很大的技术风险和使用风险,且工程巨大。市场上出现了各种各样的导盲产品,主要包括导盲犬、电子类导盲等,其中电子类导盲主要是以超声探测障碍为主的导盲装置,如导盲杖、导盲帽、导盲筒等,可以探测障碍物***置;他们都可以辅助盲人户外活动和盲人步行时导盲作用,但是都无法让盲人知悉物体或障碍的形状,避让障碍时盲人还得借助手触觉、棍杖敲击等获得更多的特征信息。多年来技术人员也在寻求设计一种能帮助盲人看到障碍物体形状甚至周围环境的装置,09年国内公布的有关资料中提到一种导盲装置,采用彩色摄像头摄取图像,再把这种图像转印到一种穿戴触觉装置上,从而盲人可以通过触觉看到这种彩色图像的方法,但是根据现有科技发展的水平以及人体工学的特征特异性,难以实施。
首先,这种方法提到:通过高清晰度的彩色摄像头采集到图像后,要让盲人触觉到彩色图像,就必须经过非常复杂的图像识别技术,因而也需要经过大量的数据存取计算比较处理才能识别图像目标特征,目前图像识别是一个前沿性技术难题,机器人图像识别也限于对特定目标的识别,将机器人图像识别技术应用于盲人***导盲有很大技术瓶颈;其次,将高清晰的图像直接转印到触觉装置上,触觉装置的清晰度依赖于其阵列的大小,资料中提到触觉阵列触针越多,盲人看到的越清晰,由于这种图像是实时的,速度非常之快,而人的感觉滞后很大,且触觉神经识别物体特征是多以一种串行为主的识别方式,所以文中提到的触觉装置的转印图像识别是难以从时间、数量、方式上达到盲人触觉感知要求的。
发明内容
本发明所要解决的技术问题是:克服上述缺点与不足,提出了一种可视化导盲方法及其智能导盲装置,以真正实现盲人识别物体的形状及有效避让障碍物。
本发明的可视化导盲方法采用以下技术方案:
该可视化导盲方法包括如下步骤:
(1)拍摄黑白图像,对所述黑白图像作提取轮廓信息处理,减少细节元素,完成对图像的提炼,以获得物体轮廓信号;
(2)根据人体工学特征,将所述物体轮廓信号转变成串行信号传送到图像感触器,所述图像感触器将所述串行信号转变为机械触觉信号发出触针刺激,在触视速度上采用间歇式图片触觉模式,在数量上采用合适的人体敏感的触针阵列,从而真正让盲人触觉到物体的形状。
由于采用黑白的摄像头获得黑白图像,无清晰度、色度要求,在对该黑白图像进行提炼处理时,仅生成该物体的主要轮廓信息,减少物体的细节元素信息,并以串行的方式传送到图像感触器,根据人体工学研究结果,该图像感触器采用串行方式输出机械触觉信号,触视速度上采用间歇式而非连续的图片触觉模式,间歇式图片触觉模式是指间隔一定的时间输出一幅图片,从而真正让盲人触觉到物体的形状。
优选的,还包括步骤(3):探测物体的位置信息,对所述位置信息处理得到并提示物体的距离和安全避让方向。将探测到的物***置信息进行处理得到并提示物体的距离和安全避让方向,不仅使得盲人能感知物体的形状,也能知道物体的距离,起到更有效的导盲作用。
优选的,所述触针阵列为机械振动触点矩形阵列。
本发明的智能导盲装置采用以下技术方案:
包括探测机构、微处理控制器、图像感触器和提示装置,所述探测机构内包括摄像装置和超声探测器,所述微处理控制器分别与所述摄像装置、超声探测器、图像感触器和提示装置连接,所述摄像装置用于采集前方景物的黑白图像,所述微处理控制器对黑白图像进行提取以获得物体轮廓信号,并转换为串行信号输出到所述图像感触器;所述图像感触器将所述串行信号转变为机械触觉信号发出触针刺激,所述超声探测器用于测量周围物体的位置信息,所述微处理控制器对所述物***置信息处理得到物体的距离和安全避让方向,并传送至所述提示装置;所述提示装置用于提示物体的距离和安全避让方向。
由于采用图像感触器产生机械触觉信息发出触觉刺激,同时结合提示物体的位置,能实现安全有效的导盲。
优选的,所述图像感触器包括调制驱动电路板、触针阵列和安装所述调制驱动电路板和触针阵列的支撑机构,所述调制驱动电路板用于串行接收所述微处理控制器发出的串行信号,并串行驱动所述触针阵列工作,所述物体轮廓信号与所述触针阵列点对点比例对应。
优选的,所述触针阵列是由压电陶瓷振动器组成的机械振动触点矩形阵列,所述支撑机构紧贴人体的皮肤敏感区。
优选的,所述微处理控制器,包括键盘、电源、电路板,其中所述电路板上设置有ARM微处理器、I/O接口、语音模块、视频接收解码模块、FPGA可编程控制器、图像感触器接口模块,所述ARM微处理器与所述I/O接口、FPGA可编程控制器、图像感触器接口模块、语音模块、电源、键盘以及震动提示器连接,所述FPGA可编程控制器与所述视频信号接收解码模块连接,所述视频信号接收解码模块与所述摄像装置连接,所述语音模块外接语音提示器,所述图像感触器接口模块外接所述图像感触器,所述I/O接口外接所述超声探测器。
优选的,所述微处理控制器还包括功能切换开关,所述功能切换开关与所述ARM微处理器连接,其包括训练档和正常档,所述电路板中还包括视频训练模块,所述视频训练模块与所述视频信号接收解码模块连接。由于还设置有视频训练模块,结合一定的综合训练可以提高识别物体形状及障碍避让的能力,逐步提高触视水平和活动能力。
优选的,所述FPGA可编程控制器用于对所述视频信号接收解码模块采集的图像进行图像变换处理以获得物体轮廓信号,所述图像变换处理包括图像冻结或动态捕捉、图像放大、图像缩小、正片强化或负片强化。
优选的,所述探测机构为头戴式机构,其包括可调节的头带、眼镜体和固定机构,所述眼镜体通过所述头带与所述固定机构连接,所述超声探测器有四组,分别为前、后、左、右超声探测器,每组所述超声探测器均包含发射探头和接收探头,所述摄像装置的摄像头和前超声探测器安装在所述眼镜体的正前方,所述左超声探测器和右超声探测器分别安装在所述眼镜体的左右两侧,所述后超声探测器安装在所述固定机构内,所述提示装置包括前、后、左、右四个震动提示器,分别用于根据前、后、左、右超声探测器探测的物体方位提示物体的位置以及安全避让方向。
采用本发明的技术方案,盲人不但可以有效地探测到周围障碍避让周围的障碍物体,还能通过摄像头“看”到眼前方物体轮廓,识别物体形状,进一步的,通过不断的训练积累,可以逐步认识到越来越多的物体。
附图说明
图1是本发明实施例的智能导盲装置***图;
图2是本发明实施例的智能导盲装置组装后的立体示意图;
图3是图2中探测机构的立体分解示意图;
图4是图2中微处理控制器的立体分解示意图;
图5是图2中图像感触器的立体分解示意图;
图中的标号说明如下:
探测机构1:眼镜体10、头带18、固定机构19、摄像镜头11、黑白CCD图像传感器12、图像处理电路13、前超声探测器16、左超声探测器14、右超声探测器15、后超声探测器17;
电缆2、4、6;
微处理控制器3:键盘31、电源开关32、功能切换开关33、蜂鸣器34、扬声器35、电源36、电路板37(ARM微处理器371、I/O接口372、语音模块373、视频信号接收解码模块374,FPGA可编程控制器375、图像感触器接口模块376、视频训练模块377)、电源指示灯38;
图像感触器5:调制驱动电路板52、触针阵列51、支撑机构53;
前侧震动提示器71、后侧震动提示器72、左侧震动提示器73、右侧震动提示器74。
具体实施方式
下面对照附图和结合优选具体实施方式对本发明进行详细的阐述。
在一个实施例里,一种可视化导盲方法包括如下步骤:(1)拍摄黑白图像,对所述黑白图像作提取轮廓信息处理,减少细节元素,完成对图像的提炼,以获得物体轮廓信号;(2)根据人体工学特征,将所述物体轮廓信号转变成串行的方式传送到图像感触器,所述图像感触器将所述物体轮廓信号转变为串行输出的机械触觉信号,在触视速度上采用间歇式图片触觉模式,在数量上采用合适的人体敏感的触针阵列,从而真正让盲人触觉到物体的形状;
优选地,该方法还包括以下步骤:(3)探测物体的位置信息,对所述位置信息处理得到并提示物体的距离和安全避让方向。
在一个实施例里,一种智能导盲装置包括探测机构、微处理控制器、图像感触器和提示装置,所述探测机构内包括摄像装置和超声探测器,所述微处理控制器分别与所述摄像装置、超声探测器、图像感触器和提示装置连接,所述摄像装置用于采集前方景物的黑白图像,所述微处理控制器对黑白图像进行提取以获得物体轮廓信号,并转换为串行信号输出到所述图像感触器;所述图像感触器将所述串行信号转变为机械触觉信号发出触针刺激,所述超声探测器用于测量周围物体的位置信息,所述微处理控制器对所述物***置信息处理得到物体的距离和安全避让方向,并传送至所述提示装置;所述提示装置用于提示物体的距离和安全避让方向。
本发明的智能导盲装置也可以称之可视化导盲器,盲人可以选择自己某一敏感触觉部位作为安装图像感触器的“显示区”,具体来说,如图1-5所示,智能导盲装置包括探测机构1、微处理控制器3、图像感触器5和提示装置,探测机构1内包括摄像装置和超声探测器,微处理控制器3分别与摄像装置、超声探测器、图像感触器5和提示装置连接,摄像装置采集前方景物的黑白图像,微处理控制器3对该黑白图像进行提取以获得物体轮廓信号,并转换为串行信号输出到图像感触器5;图像感触器5将串行信号转变为机械触觉信号发出触针刺激,超声探测器测量周围物体的位置信息,微处理控制器3对该物***置信息处理得到物体的距离和安全避让方向,并传送至提示装置;提示装置提示物体的距离和安全避让方向。
在优选的实施例里,图像感触器5包括调制驱动电路板52、触针阵列51和支撑机构53,触针阵列51与调制驱动电路板52电连接,并一并安装在支撑机构53上,触针阵列51是由压电陶瓷振动器组成的触觉器阵列,调制驱动电路依次扫描供电振动,形成与微处理控制器3的物体轮廓信号激励驱动一致的触觉激励,处理后的图像的机械触觉信号与触针阵列51点对点比例对应,触针阵列51可以为独立的160x120以下的机械振动触点矩形阵列,例如采用 120x80或160x120两种触针阵列,图像感触器5采用串行方式输出机械触觉信号,触视速度上采用间歇式而非连续的图片触觉模式,如以每1秒或2秒以上一幅图片的触觉速度,输出机械触觉信号,支撑机构53置于人体的皮肤敏感区,触点感觉适合人体敏感度,且适于紧贴安置于人体敏感触觉区,如右胸前区,额头部位等,避免触点刺激敏感穴位是适宜的。
在一些实施例中,摄像装置包括摄像镜头11、黑白CCD图像传感器12、图像处理电路13,物体经过摄像镜头11成像于黑白CCD图像传感器12上,图像处理电路13将高速扫描到的黑白影像信号转换为电信号进行处理,并连续的输出模拟黑白标准图像到微处理控制器3,摄像镜头11为一定视角可手动变焦的透镜组件。
在一些实施例中,提示装置包括语音提示器和震动提示器71、72、73、74,震动提示器用于提示物体的距离和安全避让方向,语音提示器可用于对整个导盲装置的使用情况(如开关机、工作模式等)进行提示,优选采用耳机,耳机接口内置于探测机构1。
在一些实施例中,微处理控制器3,包括键盘31、电源36、电路板37,其中电路板37上设置有ARM微处理器371、I/O接口372、语音模块373、视频信号接收解码模块374,FPGA可编程控制器375、图像感触器接口模块376,ARM微处理器371分别与I/O接口372、FPGA可编程控制器375、图像感触器接口模块376、语音模块373、电源36、键盘31以及震动提示器71、72、73、74连接,FPGA可编程控制器375还分别与视频信号接收解码模块374和图像感触器接口模块376连接,视频信号接收解码模块374与摄像装置的图像处理电路13连接,语音模块373外接语音提示器,图像感触器接口模块376外接图像感触器5,I/O接口372外接超声探测器14、15、16、17;键盘31可以包括四个按键(动提取/冻结、正/负提取、放大、缩小按钮)。
在一些实施例中,电源36由微处理控制器3内置的大容量锂电池提供,还设置有电源指示灯38,以提示电量的多少。此外,微处理控制器3还包括功能切换开关33、电源开关32、扬声器35和蜂鸣器34等,功能切换开关33与ARM微处理器371连接,分为训练档和正常档,电路板37中还包括视频训练模块377,其与视频信号接收解码模块374连接。 ARM微处理器371中的操作***为LINUX嵌入式操作***,软件包括超声测量管理软件、安全避让软件和视频训练学习软件。FPGA可编程控制器375对视频信号接收解码模块374采集的图像进行图像变换处理以获得物体轮廓信号,处理后的图像轮廓信号作比例对应运算输出至图像感触器接口模块376,产生图像感触器所需的串行输出,其中的图像变换处理包括图像冻结、动态捕捉、图像放大、图像缩小、正片强化、负片强化。
其中的视频训练模块377中可以包含如下信息:1)常用物品:照片图像、轮廓图像、立体轮廓静态、立体轮廓滚动;远近变换活动轮廓图像;2)日常活动的物体:照片图像、轮廓图像、立体轮廓静态、立体轮廓滚动;远近变换活动轮廓图像;移动时图像;3)人、动物:照片图像、轮廓图像、立体轮廓静态、立体轮廓滚动;远近变换活动轮廓图像;移动时图像;4)危险物品:照片图像、轮廓图像、立体轮廓静态、立体轮廓滚动;远近变换活动轮廓图像;5)环境生物体:照片图像、轮廓图像、立体轮廓静态、立体轮廓滚动;远近变换活动轮廓图像;同时结合手感知对应以上物体模型,或摄像头摄像后通过图像感触器的对比,作一定的训练,通过训练学习,获得并提高识别物体形状的能力,这样盲人边学习边会看到越来越多的物体。
在一些实施例中,探测机构1可以为头戴式机构,其包括可调节的头带18、眼镜体10和固定机构19,眼镜体10通过头带18与固定机构19连接,超声探测器有四组,分别为前、后、左、右超声探测器,每组超声探测器均包含发射探头和接收探头,摄像装置的摄像镜头11和前超声探测器16安装在眼镜体10的正前方,左超声探测器14和右超声探测器15分别安装在眼镜体10的左右两侧,后超声探测器17安装在固定机构19内,每组超声探测器分别探测其对应方位中物体的位置信息,其发射探头和接收探头都分别与微处理控制器3连接,分别用于接受微处理控制器3的扫描信号和接收超声信号并送到微处理控制器3,微处理控制器3根据超声探测器探测获得的物***置信息,采用特定的仿生算法获得障碍安全避让方向,震动提示器,包括前、后、左、右四个,分别用于根据前、后、左、右超声探测器探测的物体方位提示物体的位置以及安全避让方向。微处理控制器3通过电缆2与探测机构1连接,通过电缆4与图像感触器5连接,通过电缆6分别与四个震动提示器连接,佩戴时,眼镜体10置于人眼前方,相当于带上一个眼镜,头带18置于头顶,可以根据人体头型特征调节松紧以确保舒适佩戴,固定机构19置于头部后侧,在探测机构1接触人体的一侧还设有护垫,使接触皮肤更舒适,微处理控制器3可以固定在腰带式挎包内,震动提示器佩戴时可以通过撕粘胶带分别佩于人体前后胸、左右手臂等位置;图像感触器依据盲人个体的特征,可以穿戴于前胸或后背。
一个优选实施例的智能导盲装置具体操作如下:
微处理控制器3的电源开关32拨至开的位置,智能导盲装置开始工作,由于功能切换开关33可以分训练档和正常档位,将功能切换开关33拨至训练位置时,微处理控制器3切断探测机构1中图像处理电路13的电源,摄像镜头11不工作,微处理控制器3内部的视频训练模块377开始工作,产生图像信号,供导盲装置的控制电路仿真使用,同时微处理控制器3驱动周围其他部件工作如下:
探测机构1内嵌入的四个超声探测器14、15、16、17,通过电缆2接受来自微处理控制器3的启动测量指令,为防止多个超声探测器之间的信号干扰,依次启动四个超声探测器,可顺序启动前超声探头16、右超声探头15、左超声探头14、后超声探头17以及相关附属电路(当然顺序不限于此),并将获得的测量结果通过电缆2送回到微处理控制器3中。
微处理控制器3依次接受来自探测机构1的各个超声探测器16、15、14、17的位置距离信号,ARM微处理器371对对应方位物体的位置距离对号入座,根据物***置距离的大小量化算出震动幅度,并且对四个方位的数据采用障碍避让竞争算法,判断出安全方向,通过控制电缆6送给震动提示器7、8、9、10。
微处理控制器3根据键盘31的指令控制视频信号接收解码模块374接收视频训练模块377播放的图像信号,并送给FPGA可编程控制器375作图像变换处理,所作的图像变换处理包括:图像冻结、动态捕捉、图像放大、图像缩小、正片强化、负片强化(根据对图像的要求,可以采用一种或者多种处理方式的结合,以获得盲人能识别的信号),处理后的图像信息采用比例尺变换为160x120或120x80的图像信息,图像感触器接口模块376生成图像感触器5所需的串行输出信号,经过电缆4送给图像感触器5。
图像感触器5中调制驱动电路板52的控制电路接受来自微处理控制器3的串行图像信号、时钟信号、场序信号等,分别按顺序移位至内部对应的行、场阵列寄存器,调制成压电陶瓷体驱动频率,产生对应触点位置的震动信息,送给触针阵列51,从而实现与图像对应触针震动。
当微处理控制器3的功能切换开关33切换至正常档位时,微处理控制器3内部的视频训练模块377停止工作,微处理控制器3将电源通过电缆2送给探测机构1,探测机构1中摄像镜头11、黑白CCD图像传感器12、图像处理电路13开始工作,外面景物通过摄像镜头11成像于黑白CCD图像传感器12上,图像处理电路13对黑白CCD图像传感器12获得的图像信息处理并连续的输出模拟黑白标准的图像信号CVBS,经过电缆2送至微处理控制器3。
微处理控制器3根据键盘31的指令控制视频信号接收解码模块374接收来自摄像装置的图像信号,并送给FPGA可编程控制器375作图像变换处理,所作的图像变换处理包括:图像冻结、动态捕捉、图像放大、图像缩小、正片强化、负片强化(根据对图像的要求,可以采用一种或者多种处理方式的结合,以获得盲人能识别的信号),处理后的图像信息采用比例尺变换为160x120或120x80的图像信息,图像感触器接口模块376生成图像感触器5所需的串行输出信号,经过电缆4送给图像感触器5。
图像感触器5中调制驱动电路板52的控制电路接受来自微处理控制器3的图像信号、时钟信号、场序信号等,分别按顺序移位至内部对应的行、场阵列寄存器,调制成压电陶瓷体驱动频率,产生对应触点位置的震动信息,送给触针阵列51,从而实现与图像对应触针震动。
同时探测机构1内嵌入的四个超声探测器14、15、16、17,通过电缆2接受来自微处理控制器3的启动测量指令,为防止多个超声探测器之间的信号干扰,依顺序启动前超声探头16、右超声探头15、左超声探头14、后超声探头17以及相关附属电路,并将获得的测量结果通过电缆2送回到微处理控制器3中,微处理控制器3依次接受来自探测机构1的各个超声探测器16、15、14、17的位置距离信号,ARM微处理器371对对应方位障碍的位置距离对号入座,根据障碍位置距离的大小量化算出震动幅度,并且对四个方位数据采用新鱼群障碍避让试探算法,判断出安全方向,通过控制电缆6送给震动提示器7、8、9、10。
由于采用黑白摄像头采集前方景物图像,将获得的图像作图像变换处理后生成主要轮廓信息,并由图像感触器将图像信号转变为机械触觉信号,从而开辟人体第三“感触视觉区”或叫生物感觉“类眼”,使盲人“看”到物体形状;再通过一系列的训练学***,从而使盲人感觉到更多的物体形状,同时在多个方位安装有超声探测器,可以对周围障碍物进行扫描,获取周围障碍位置信息,采用拥挤下竞争与常态两种模式的仿生算法提示障碍安全避让方向,更加能够帮助盲人增强识别环境物体的能力,甚至看图,看文字能力,起到更有效导盲辅助作用。
经过上述装置辅助,盲人不但可以较为有效地探测到周围障碍,还能避让周围的障碍物体,通过摄像头还能“看”到眼前方物体轮廓,识别物体形状,并且通过不断的训练积累,逐步认识到越来越多的物体。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。
Claims (5)
1.一种智能导盲装置,其特征在于:包括探测机构、微处理控制器、图像感触器和提示装置,所述探测机构内包括摄像装置和超声探测器,所述微处理控制器分别与所述摄像装置、超声探测器、图像感触器和提示装置连接,所述摄像装置用于采集前方景物的黑白图像,所述微处理控制器对黑白图像进行提取以获得物体轮廓信号,并转换为串行信号输出到所述图像感触器;所述图像感触器将所述串行信号转变为机械触觉信号发出触针刺激,所述超声探测器用于测量周围物体的位置信息,所述微处理控制器对所述物***置信息处理得到物体的距离和安全避让方向,并传送至所述提示装置;所述提示装置用于提示物体的距离和安全避让方向;所述图像感触器包括调制驱动电路板、触针阵列和安装所述调制驱动电路板和触针阵列的支撑机构,所述调制驱动电路板用于串行接收所述微处理控制器发出的串行信号,并串行驱动所述触针阵列工作,所述物体轮廓信号与所述触针阵列点对点比例对应,所述触针阵列是由压电陶瓷振动器组成的机械振动触点矩形阵列,所述支撑机构紧贴人体的皮肤敏感区。
2.如权利要求1所述的智能导盲装置,其特征在于:所述微处理控制器包括键盘、电源、电路板,其中所述电路板上设置有ARM微处理器、I/O接口、语音模块、视频信号接收解码模块、FPGA可编程控制器、图像感触器接口模块,所述ARM微处理器与所述I/O接口、FPGA可编程控制器、图像感触器接口模块、语音模块、电源、键盘以及所述提示装置的震动提示器连接,所述FPGA可编程控制器与所述视频信号接收解码模块连接,所述视频信号接收解码模块与所述摄像装置连接,所述语音模块外接语音提示器,所述图像感触器接口模块外接所述图像感触器,所述I/O接口外接所述超声探测器。
3.如权利要求2所述的智能导盲装置,其特征在于:所述微处理控制器还包括功能切换开关,所述功能切换开关与所述ARM微处理器连接,其包括训练档和正常档,所述微处理控制器的电路板中还包括视频训练模块,所述视频训练模块与所述视频信号接收解码模块连接。
4.如权利要求2所述的智能导盲装置,其特征在于:所述FPGA可编程控制器用于对所述视频信号接收解码模块采集的图像进行图像变换处理以获得物体轮廓信号,所述图像变换处理包括图像冻结或动态捕捉、图像放大、图像缩小、正片强化或负片强化。
5.如权利要求1-4任意一项所述的智能导盲装置,其特征在于:所述探测机构为头戴式机构,其包括可调节的头带、眼镜体和固定机构,所述眼镜体通过所述头带与所述固定机构连接,所述超声探测器有四组,分别为前、后、左、右超声探测器,每组所述超声探测器均包含发射探头和接收探头,所述摄像装置的摄像头和前超声探测器安装在所述眼镜体的正前方,所述左超声探测器和右超声探测器分别安装在所述眼镜体的左右两侧,所述后超声探测器安装在所述固定机构内,所述震动提示器有前、后、左、右四个,分别用于根据前、后、左、右超声探测器探测的物体方位提示物体的位置以及安全避让方向。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110155763XA CN102293709B (zh) | 2011-06-10 | 2011-06-10 | 一种智能导盲装置 |
PCT/CN2012/073364 WO2012167653A1 (zh) | 2011-06-10 | 2012-03-31 | 一种可视化导盲方法及其智能导盲装置 |
US13/634,247 US20130201308A1 (en) | 2011-06-10 | 2012-03-31 | Visual blind-guiding method and intelligent blind-guiding device thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110155763XA CN102293709B (zh) | 2011-06-10 | 2011-06-10 | 一种智能导盲装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102293709A CN102293709A (zh) | 2011-12-28 |
CN102293709B true CN102293709B (zh) | 2013-02-27 |
Family
ID=45354552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110155763XA Expired - Fee Related CN102293709B (zh) | 2011-06-10 | 2011-06-10 | 一种智能导盲装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130201308A1 (zh) |
CN (1) | CN102293709B (zh) |
WO (1) | WO2012167653A1 (zh) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102133143B (zh) * | 2011-03-22 | 2013-02-27 | 深圳典邦科技有限公司 | 一种手视感知装置及手视感知手套 |
CN102293709B (zh) * | 2011-06-10 | 2013-02-27 | 深圳典邦科技有限公司 | 一种智能导盲装置 |
CN102716003A (zh) * | 2012-07-04 | 2012-10-10 | 南通朝阳智能科技有限公司 | 一种视听一体化助残装置 |
CN103584980A (zh) * | 2013-07-12 | 2014-02-19 | 宁波大红鹰学院 | 一种导盲棒 |
CN103472947B (zh) * | 2013-09-04 | 2016-05-25 | 上海大学 | 舌苔式片针组合触觉显示器 |
CN103750982A (zh) * | 2014-01-24 | 2014-04-30 | 成都万先自动化科技有限责任公司 | 导盲腰带 |
CN104065930B (zh) * | 2014-06-30 | 2017-07-07 | 青岛歌尔声学科技有限公司 | 集成摄像头模组和光传感器的视觉辅助方法及装置 |
US10431059B2 (en) * | 2015-01-12 | 2019-10-01 | Trekace Technologies Ltd. | Navigational device and methods |
CZ307507B6 (cs) * | 2015-06-09 | 2018-10-24 | Západočeská Univerzita V Plzni | Stimulátor pro nevidomé |
US9298283B1 (en) | 2015-09-10 | 2016-03-29 | Connectivity Labs Inc. | Sedentary virtual reality method and systems |
CN105250119B (zh) * | 2015-11-16 | 2017-11-10 | 深圳前海达闼云端智能科技有限公司 | 一种导盲方法、装置及设备 |
CN105445743B (zh) * | 2015-12-23 | 2018-08-14 | 南京创维信息技术研究院有限公司 | 一种超声导盲***及其实现方法 |
CN107157717A (zh) * | 2016-03-07 | 2017-09-15 | 维看公司 | 用于向盲人提供视觉信息的物体检测、分析及提示*** |
CN106251712A (zh) * | 2016-08-01 | 2016-12-21 | 郑州工业应用技术学院 | 视觉传达设计用展示装置 |
CN106420287A (zh) * | 2016-09-30 | 2017-02-22 | 深圳市镭神智能***有限公司 | 一种头戴式导盲设备 |
CN107223046A (zh) * | 2016-12-07 | 2017-09-29 | 深圳前海达闼云端智能科技有限公司 | 智能导盲方法和装置 |
CN106708042A (zh) * | 2016-12-12 | 2017-05-24 | 胡华林 | 基于机器视觉和人体感受器的导盲***及方法 |
CN108303698B (zh) * | 2016-12-29 | 2021-05-04 | 宏达国际电子股份有限公司 | 追踪***、追踪装置及追踪方法 |
WO2019024010A1 (zh) * | 2017-08-02 | 2019-02-07 | 深圳前海达闼云端智能科技有限公司 | 一种图像处理方法、***以及智能导盲装置 |
US11036391B2 (en) | 2018-05-16 | 2021-06-15 | Universal Studios LLC | Haptic feedback systems and methods for an amusement park ride |
CN110613550A (zh) * | 2018-07-06 | 2019-12-27 | 北京大学 | 一种将视觉信息转化成触觉图形时域编码的头盔装置及方法 |
CN109199808B (zh) * | 2018-10-25 | 2020-07-03 | 辽宁工程技术大学 | 基于计算机视觉的盲人智能手杖 |
US11533557B2 (en) * | 2019-01-22 | 2022-12-20 | Universal City Studios Llc | Ride vehicle with directional speakers and haptic devices |
CN110547773B (zh) * | 2019-09-26 | 2024-05-07 | 吉林大学 | 一种人体胃内部3d轮廓重构仪 |
CN111329736B (zh) * | 2020-02-25 | 2021-06-29 | 何兴 | 借助振动反馈感知环境图像的*** |
CN112731688A (zh) * | 2020-12-31 | 2021-04-30 | 星微科技(天津)有限公司 | 一种适用于视觉障碍人士的智能眼镜*** |
CN113350132A (zh) * | 2021-06-17 | 2021-09-07 | 山东新一代信息产业技术研究院有限公司 | 一种融合人工智能的新型导盲手表及其使用方法 |
FR3132208B1 (fr) | 2022-02-01 | 2024-03-15 | Artha France | Système d’aide à l'orientation comprenant des moyens d'acquisition d'un environnement visuel réel ou virtuel, des moyens d'interface homme-machine non visuelle et des moyens de traitement de la représentation numérique dudit environnement visuel. |
CN117576984B (zh) * | 2023-11-09 | 2024-06-18 | 深圳市昱显科技有限公司 | 一种面向智慧教育的多功能教学终端主板 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6198395B1 (en) * | 1998-02-09 | 2001-03-06 | Gary E. Sussman | Sensor for sight impaired individuals |
US6055048A (en) * | 1998-08-07 | 2000-04-25 | The United States Of America As Represented By The United States National Aeronautics And Space Administration | Optical-to-tactile translator |
US7058414B1 (en) * | 2000-05-26 | 2006-06-06 | Freescale Semiconductor, Inc. | Method and system for enabling device functions based on distance information |
US20030026460A1 (en) * | 1999-05-12 | 2003-02-06 | Conrad Gary W. | Method for producing a three-dimensional object which can be tactilely sensed, and the resultant object |
JP2003079685A (ja) * | 2001-09-17 | 2003-03-18 | Seiko Epson Corp | 視覚障害者歩行用補助具 |
US20030151519A1 (en) * | 2002-02-14 | 2003-08-14 | Lin Maw Gwo | Guide assembly for helping and guiding blind persons |
WO2003107039A2 (en) * | 2002-06-13 | 2003-12-24 | I See Tech Ltd. | Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired |
US7271707B2 (en) * | 2004-01-12 | 2007-09-18 | Gilbert R. Gonzales | Device and method for producing a three-dimensionally perceived planar tactile illusion |
WO2005108926A1 (ja) * | 2004-05-12 | 2005-11-17 | Takashi Yoshimine | 情報処理装置、携帯機器及び情報処理方法 |
US20060129308A1 (en) * | 2004-12-10 | 2006-06-15 | Lawrence Kates | Management and navigation system for the blind |
DE102005009110A1 (de) * | 2005-01-13 | 2006-07-27 | Siemens Ag | Vorrichtung zur Vermittlung von Umgebungsinformationen an einen sehbehinderten Menschen |
CN100418498C (zh) * | 2005-11-25 | 2008-09-17 | 上海电气自动化设计研究所有限公司 | 导盲器 |
US8957835B2 (en) * | 2008-09-30 | 2015-02-17 | Apple Inc. | Head-mounted display apparatus for retaining a portable electronic device with display |
CN101368828A (zh) * | 2008-10-15 | 2009-02-18 | 同济大学 | 基于计算机视觉的盲人导航方法及*** |
WO2010142689A2 (en) * | 2009-06-08 | 2010-12-16 | Kieran O'callaghan | An object detection device |
CN101797197B (zh) * | 2009-11-23 | 2012-07-04 | 常州超媒体与感知技术研究所有限公司 | 便携式盲人自主导航*** |
CN102293709B (zh) * | 2011-06-10 | 2013-02-27 | 深圳典邦科技有限公司 | 一种智能导盲装置 |
-
2011
- 2011-06-10 CN CN201110155763XA patent/CN102293709B/zh not_active Expired - Fee Related
-
2012
- 2012-03-31 US US13/634,247 patent/US20130201308A1/en not_active Abandoned
- 2012-03-31 WO PCT/CN2012/073364 patent/WO2012167653A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20130201308A1 (en) | 2013-08-08 |
WO2012167653A1 (zh) | 2012-12-13 |
CN102293709A (zh) | 2011-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102293709B (zh) | 一种智能导盲装置 | |
CN206214373U (zh) | 用于向盲人提供视觉信息的物体检测、分析及提示*** | |
US10635179B2 (en) | Apparatus, systems, and methods for facilitating user interaction with electronic devices | |
CN104603673B (zh) | 头戴式***以及使用头戴式***计算和渲染数字图像流的方法 | |
US7755744B1 (en) | Environment sensor that conveys information about objects in the vicinity of the visually impaired user | |
US20070016425A1 (en) | Device for providing perception of the physical environment | |
Ifukube et al. | A blind mobility aid modeled after echolocation of bats | |
CN105362048B (zh) | 基于移动设备的障碍物信息提示方法、装置及移动设备 | |
Kumar et al. | An electronic travel aid for navigation of visually impaired persons | |
WO2015180497A1 (zh) | 一种基于立体视觉的动作采集和反馈方法及*** | |
WO2018125914A1 (en) | Method and device for visually impaired assistance | |
CN108508629A (zh) | 具有眼睛驱动控制***的智能接触镜片和方法 | |
WO2015116640A1 (en) | Eye and head tracking device | |
CN109087485A (zh) | 驾驶提醒方法、装置、智能眼镜及存储介质 | |
EP2470061A1 (en) | Wearable systems for audio, visual and gaze monitoring | |
Meers et al. | A vision system for providing 3D perception of the environment via transcutaneous electro-neural stimulation | |
Hu et al. | Stereopilot: A wearable target location system for blind and visually impaired using spatial audio rendering | |
CN102824160A (zh) | 眼球运动监测方法及其设备 | |
KR101824478B1 (ko) | 움직임 감지를 이용한 학습집중시간 측정장치 | |
CN109982616A (zh) | 用于支持至少一个用户执行个人护理活动的装置和方法 | |
CN108852620A (zh) | 智能颈戴设备及其控制方法 | |
CN208255530U (zh) | 智能颈戴设备 | |
Jafari et al. | Gaze estimation using Kinect/PTZ camera | |
CN205507231U (zh) | 多通道交互虚拟现实眼镜 | |
WO2018010091A1 (zh) | 一种老年服务机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130227 |
|
CF01 | Termination of patent right due to non-payment of annual fee |