CN113631081A - 连续视频捕获眼镜 - Google Patents

连续视频捕获眼镜 Download PDF

Info

Publication number
CN113631081A
CN113631081A CN201980094764.2A CN201980094764A CN113631081A CN 113631081 A CN113631081 A CN 113631081A CN 201980094764 A CN201980094764 A CN 201980094764A CN 113631081 A CN113631081 A CN 113631081A
Authority
CN
China
Prior art keywords
video
video capture
buffer
camera
temple
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980094764.2A
Other languages
English (en)
Inventor
A·塞尼
C·斯宾塞
V·维诺德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Post Technology Co
Original Assignee
Post Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Post Technology Co filed Critical Post Technology Co
Publication of CN113631081A publication Critical patent/CN113631081A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00Non-optical adjuncts; Attachment thereof
    • G02C11/10Electronic devices other than hearing aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Eyeglasses (AREA)
  • Automatic Focus Adjustment (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

一组眼镜框架包含用于视频捕获的电子组件,且配置成在二十秒回路中连续地捕获视频。在所述框架上为捕获按钮,所述捕获按钮在按压时使得电子电路***将之前二十秒和之后二十秒总共四十秒的视频存储在非暂时性存储器中。所述框架中的所述电子电路***还包含蓝牙无线电和Wi‑Fi无线电,从而使得所述框架能够与移动装置通信,且更特定来说,使得所述框架能够将所保存的二十秒视频剪辑提供到在所述移动装置上运行的应用程序。所述应用程序允许将所述视频剪辑存储在电话上、编辑所述视频剪辑、将所述视频剪辑上传到因特网,且在所述眼镜的所述电子电路***上配置用户可调整设定。

Description

连续视频捕获眼镜
技术领域
本发明大体上涉及视频录制。更特定来说,本发明涉及安装于眼镜的视频录制设备。本发明特定地(但非排他地)可用作用于连续视频录制的装置。
背景技术
在20世纪80年代,摄录影机已使越来越多数目的消费者能够具有视频制作能力。摄录影机最初以模拟格式录制到盒式磁带,后来获得了数字视频录制的能力。随着录制格式大小更小、价格更低和视频质量改善的改变,使得视频制作在消费者当中越来越普及。消费者视频制作的普及已通过分享和分发渠道的发展而进一步增加,从例如“美国最有趣的家庭视频”的电视节目和最近的例如YouTube的视频分享网站开始。
同时,消费者视频制作的性质已改变,或确切地说,扩宽。消费者不再限于专用摄录影机的使用;静态相机和移动电话已获取视频录制能力且由广泛消费者使用。此外,包含例如由GoPro公司销售的运动相机的运动相机的专门相机在期望从第一人称视角免持式录制其活动的消费者当中得到普及。
最近,具有视频录制能力的可穿戴技术在市场上得到了大力推广,但消费者对其的接受度并不高。所述不成功部分地归因于这种装置的低电池容量,这显著限制了在不耗尽电池的情况下可拍摄的视频的量。
鉴于上述情况,提供一种配置成用于在不需要或不想要运动相机的情况下以第一人称视角方便地录制的视频录制装置将是有利的。提供配置成用于免持式录制的这种视频录制装置将是进一步有利的。提供具有足够电池寿命以在两次充电之间录制多个小时的视频的这种装置将是进一步有利的。
发明内容
一组眼镜框架包含用于视频捕获的电子组件,且配置成在二十秒回路中连续地捕获视频。在框架上为捕获按钮,所述捕获按钮在按压时使得电子电路***将四十秒的视频存储在非暂时性存储器中,也就是说,保存在按压捕获按钮之前二十秒的视频连同之后二十秒的视频。
框架中的电子电路***还包含蓝牙无线电和Wi-Fi无线电,从而使得框架能够与移动装置通信,且更特定来说,使得框架能够将所保存的二十秒视频剪辑提供到在移动装置上运行的应用程序。应用程序允许将视频剪辑存储在电话上、编辑视频剪辑、将视频剪辑上传到因特网,且在眼镜的电子电路***上配置用户可调整设定。
如以上图式中所见,眼镜包含充当用于各种组件的电源的电池(或一对电池,每一电池在框架的每一臂上)。处理器管理各种组件的操作。可由电荷耦合装置(CCD)和包含麦克风的支持电路***构成的相机以至少1080p分辨率连续地捕获视频。虽然表面上由处理器管理,但相机可使用直接存储器存取(DMA)写入到工作存储器以减少处理器上的工作负荷。
视频中的存储布局如下:从装置激活开始,将媒体写入到在装置的工作存储器中存储h.264数据的循环缓冲器。这一缓冲器在其用新媒体覆写自身之前可保存长达20秒的媒体。当用户示意装置保存媒体时,缓冲器调整大小以存储额外20秒的媒体,总缓冲器大小为40秒。这种情况发生,使得从媒体保存起始之前20秒和之后20秒保存连续的媒体流。一旦媒体已填充40秒缓冲器,装置就将数据转换且保存为具有生成的文件名的mp4文件。之后,缓冲器调整大小以恢复在循环缓冲器中捕获20秒的媒体。数据转换、文件存储和恢复20秒缓冲器中的媒体输入的存储立即依次发生以确保装置不断地录制且不丢失内容。
框架上的捕获按钮起始将来自工作存储器的前二十秒的视频(以及存储到已扩展缓冲器的其余部分的下二十秒)传送到非暂时性存储器。这通常通过配置按钮以在按压时向处理器发信号通知中断来实施,所述中断接着由软件程序处置以起始存储器传送。另外,在按压捕获按钮时,***为额外20秒的媒体分配存储器,使得录制可在传送发生时继续,且最终使得存储总共40秒的媒体。蓝牙和Wi-Fi无线电进一步允许与外部计算装置(例如移动电话)通信,所述外部计算装置运行应用程序以存储、编辑和上传来自眼镜的视频且在眼镜上配置用户可调整设定。
附图说明
将从结合所附描述的附图最佳地理解本发明的新颖特征以及本发明自身(两者均关于其结构和其操作),其中类似参考标号指代类似部件,且在附图中:
图1为连续视频捕获眼镜的优选实施例的透视图;
图2为图1的连续视频捕获眼镜的分解视图;
图3为具有眼睛跟踪设备的连续视频捕获眼镜的优选实施例的透视图;
图4为图1的连续视频捕获眼镜的各种电子组件的图;
图5为说明图1的连续视频捕获眼镜的优选实施例的各种组件的图;
图6为图1的连续视频捕获眼镜的视频录制缓冲器的存储器布局的图;
图7为描述由图1的连续视频捕获眼镜进行的连续视频录制的过程的流程图;
图8为描述当用户按压图1的连续视频捕获眼镜上的捕获按钮时起始的过程的流程图;且
图9为描述当用户在图1的连续视频捕获眼镜上按压捕获按钮两次时起始的过程的流程图。
具体实施方式
首先参考图1,展示连续视频捕获眼镜的优选实施例,且总体指定为100。眼镜100包括具有左镜腿壳体112的左镜腿110和具有右镜腿壳体122的右镜腿120。具有图像传感器131(图1中未展示)的相机130展示为安装在眼镜100的鼻梁架上,但在一些实施例中放置在左镜腿壳体112的前部(也就是说,最接近穿戴者眼睛的镜腿壳体的末端)或右镜腿壳体122的前部上。在优选实施例中,图像传感器131为有源像素传感器(“APS”),但替代实施例其为电荷耦合装置(“CCD”)。本领域的技术人员显而易见的是可在不脱离本发明的范围和精神的情况下使用其它成像装置。麦克风132也存在于眼镜100的优选实施例中。
玻璃100连续地捕获来自图像传感器131的视频和来自麦克风132的音频。当穿戴者按压眼镜100上的按钮134时,将所捕获视频的最近二十(20)秒和所捕获视频的下一二十(20)秒存储在文件中。
现在参考图2,眼镜100另外包括电子电路***140以便捕获和存储来自图像传感器131的视频和来自麦克风132的音频。结合图4更详细地论述电子电路***140的一些主要组件。包含电池的电子电路***140(且在一些实施例中除了图像传感器131和/或麦克风132之外)容纳在左镜腿壳体112和右镜腿壳体122中。通过将电池和其它电子组件的壳体包含在左镜腿110和右镜腿120两者上,较大空间量可供用于电能(也就是说,电池)的存储,从而允许眼镜100连续地操作,且更特定来说,在优选实施例中连续地捕获视频持续较大时间量:若干小时。
现在参考图3,眼睛跟踪技术传统上已主要限于研究,尤其是在神经科学和心理学研究、安全性相关研究和工程技术中,和由大型商业企业资助的营销研究中。结果,重点已放在精度和准确性上,且许多可用技术不仅昂贵,而且还需要专门训练才能使用。本发明的优选实施例的独特方面为将眼睛跟踪技术导入到消费者摄影和视频捕获的领域中。更特定来说,并入到眼镜100的优选实施例中的眼睛跟踪技术用于将相机130自动对焦于由用户观察的对象处。
不需要跟踪眼睛的每一移动,这是由于仅需要将相机130对焦于眼睛至少短暂地固定于其上的对象,而不是在眼睛的每一突然急动下不断地再对焦。此外,即使眼睛位置的相当粗略的估计也提供出人意料地良好的结果,但由于通常给予注意的对象不是特别小的,因此在选择焦点时存在一定程度的灵活性。因此,所使用的眼睛跟踪设备可相对便宜、具有相对低的取样速率和相对低的分辨率。出于相同原因,对大多数用户而言可避免对校准的需要,但在优选实施例中针对可能需要较大准确性的用户提供校准例程。完全预期可组合本文中所描述的眼镜100的其它实施例的所有特征来实施眼睛跟踪特征。
在优选实施例中,眼睛跟踪设备包含红外光源142和相机144,所述红外光源142和相机144围绕镜片安装在眼镜100的框架上,或安装在镜片将位于一副普通眼镜中的位置,因为眼镜100的一些实施例不具有镜片。使用低分辨率相机144就足够了,例如提供1024×768、800×600或甚至640×480像素的图像的相机。来自红外光源142的光从用户的角膜反射。使用图案辨识软件在由相机144产生的帧中识别角膜反射和瞳孔;估计瞳孔中心,且计算从瞳孔中心到角膜反射的向量。这一向量用于估计用户眼睛转动的方向和角度,且因此粗略估计用户正观看的方向。
在室外,来自日光的反射可干扰角膜反射的检测,因此软件后退以仅基于瞳孔中心估计凝视方向。这导致准确性的较小损失,但通常足够准确以用于对焦相机130。一些实施例通过基于所捕获的帧中的眼睛的形状和位置估计当用户正向凝视时瞳孔将处于的点而提高后退方法的准确性。
在替代实施例中,完全省略红外光源142,且上述后退计算为用于眼睛跟踪和选择用于相机130的焦点的主要方法。
眼睛跟踪设备可在眼镜100的镜片或一侧上,且在至少一个实施例中,眼睛跟踪设备在眼镜100的每一侧上。在任一侧上具有眼睛跟踪设备的实施例的可用性可允许眼镜100对患有某些眼相关残疾的人更有用。在两侧上具有眼睛跟踪设备的实施例的可用性还可允许眼镜100对患有某些眼相关残疾的人更有用,且进一步允许眼镜100的眼睛跟踪特征的更大准确性。
现在参考图4,展示眼镜100的各种电子组件。在优选实施例中包括电池的电源150为各种其它电子组件供电。在优选实施例中,电源150能够存储至少一千(1000)mAh的能量,这允许至少七(7)小时与十(10)小时之间的录制时间。在一些优选实施例中,电源150包含一个或两个用户可移除且可更换的电池,从而允许用户携带用于眼镜100的备用电池。处理器152运行管理眼镜100的操作的软件。支持处理器的为呈包括用于视频存储的一个或多个缓冲器的工作存储器154(例如随机存取存储器(RAM))形式的非暂时性存储器。工作存储器还可包含只读存储器(ROM),所述只读存储器在优选实施例中呈电可擦除可编程只读存储器(EEPROM)形式,其含有由处理器152操作且使得其执行控制眼镜100的操作的过程(包含本文中所描述的过程)的指令。替代地,在一些实施例中,含有由处理器152操作的指令的程序中的一些或全部存储在存储装置156中且可按需要加载到工作存储器154(通常为RAM)中以便执行程序指令。虽然处理器152通常管理视频的捕获和视频在工作存储器154中的存储,但在一些实施例中,与图像传感器131和麦克风132(图4中未展示)相关联的专用电路***使用直接存储器存取(“DMA”)将视频和音频放置到视频存储缓冲器中以便减轻处理器152上的负担。在其它实施例中,在处理器152上运行的软件使用H.264编码将所捕获的视频和音频格式化以用于存储在视频存储缓冲器中;一些这种实施例使用具有多个核心的处理器152以便使得处理器152能够视需要同步进行其它任务。多个处理器152还可有效地代替单个处理器152中的多个核心的存在。
优选实施例在对视频进行编码时每二十二(22)帧使用一个关键帧或I帧以存储在视频存储缓冲器中,所述视频以每秒二十二(22)帧和1080p分辨率存储。这些设定达到平衡,从而允许将合理地良好的视频质量存储在合理的空间量中。然而,其它实施例适用于与所存储的视频细节的量和可供用于缓冲器空间的存储器的量相关的不同需求,且包含具有更常见和更不常见的I帧的实施例,包含具有每秒可变数目的I帧的实施例,具有除每秒二十二帧外的帧速率(例如每秒三十帧和每秒六十帧)的实施例,和具有不同分辨率(例如720p、1080i和4K)的实施例。
当按压捕获按钮134时,处理器152立即为额外二十(20)秒的视频分配存储器空间,将连续捕获的视频和音频存储到所述存储器空间中。同时,来自先前分配的缓冲器的视频和音频作为文件存储在包括长期数据存储装置的非暂时性存储器(例如快闪存储器)的存储装置156中。来自新分配的存储器空间的视频和音频还在捕获下一二十(20)秒的视频时保存,从而产生四十秒的所存储视频文件。由于所保存视频从缓冲器中的第一可用关键帧开始,因此所存储视频的运行时间可稍微变化,但将仅与四十秒相差可忽略的量:所述差将小于一秒。
外部I/O组件158允许眼镜100与外部装置160(例如移动装置)通信,所述外部装置160运行软件162(例如下载到移动装置的应用程序)以用于与眼镜100通信。在优选实施例中,外部I/O组件158包含至少一个无线电台,例如蓝牙无线电和Wi-Fi无线电中的一个或两个。当与外部装置的连接处于活动中时,一旦视频文件已存储在存储装置156中,就通过外部I/O组件158将其传送到外部装置。在优选实施例中,外部装置将具有提供视频编辑和上传特征的软件,从而允许用户编辑所传送的视频且将其上传到因特网。
现在参考图5,概念图说明眼镜100的优选实施例的各种组件。图5提供对眼镜100的优选实施例的结构和某些特征的稍微不同的强调,因此图5中并未展示图4的所有元件,图4中也并未展示图5的所有元件。然而,应理解,未展示的元件存在于至少一些优选实施例中,且仅为了空间和呈现时的简单性而省略。
图5中所说明的为I/O多路复用器170,其可包含DMA硬件以在处理器152上的最小负担下促进视频存储,如上文所论述。多路复用器170允许集成到眼镜100中的各种装置与处理器152通信。在一些实施例中,处理器152可具有若干I/O引脚,且眼镜100可具有需要与处理器152通信的有限数目个装置;在一些这种实施例中,装置仅通过处理器152上的I/O引脚通信,且多路复用器170不存在。
加速度计172存在于眼镜100的一些优选实施例中,且用以实施例如自动保存视频和数字图像稳定的特征。在优选实施例中,可将眼镜100置于“行车记录仪模式(dash cammode)”中,其中当经由加速度计172检测到突然加速度时,存储先前二十秒的视频和之后二十秒的视频,就像已按压捕获按钮134一样。突然加速度是加速度计172基于编程到眼镜100中的参数在一个或多个预定轴上的预定量值以上的测量结果。
左镜腿110、右镜腿120或二者上的灯174从后到前照明,从而指示视频捕获在进行中。如图5中所描绘,在优选实施例中,灯174与光传感器一起使用以便基于环境光动态地调整灯174亮度。在优选实施例中,灯174的亮度在较暗环境中降低,在所述较暗环境中,通常更容易地感觉到特定光源。推论为灯174将在良好照亮区域中更亮,从而保持其对观察者的可见性。在优选实施例中,灯174对应于将视频放置到工作存储器154中而移动或延伸,如下文进一步论述。在优选实施例中,灯174由一行发光二极管(LED)制成。在一些实施例中,灯174在镜腿壳体112或122上而不是直接在镜腿110或120上。
图像稳定器176存在于一些优选实施例中。图像稳定器176的优选实施例为传感器移位图像稳定器,其按需要移动图像传感器131以补偿眼镜100的摇动。在一些实施例中,可由处理器152通过裁剪由图像传感器131接收到的帧、数字信号处理(DSP)程序或两者来进行图像稳定。通过裁剪或通过DSP程序的数字图像稳定和通过图像稳定器176的硬件图像稳定不是相互排斥的,且一些实施例使用两种形式的图像稳定。
现在参考图6,展示循环缓冲器200的布局。缓冲器200的长度足以保存至少二十(20)秒的视频数据,在优选实施例中包含音频。其它实施例可将音频存储在单独缓冲器200中。缓冲器200具有存储器中的开头地址202、结束地址204、数据结束地址206和数据开始地址208。如果用指针跟踪开头地址202,那么结束地址204可由指针或从开头地址202的长度或偏移确定;数据结束地址206和数据开始地址208可同样由指针或从开头地址202的偏移确定。此外,在以固定比特率未压缩地捕获视频和音频的实施例中,不必跟踪独立数据开始地址208,这是由于在眼镜100的二十(20)秒的操作之后,所述独立数据开始地址208将与数据结束地址206相同。然而,在优选实施例中,使用压缩,且缓冲器200的用于二十秒的存储的部分变化。当缓冲器200的所使用的部分变化时,数据结束地址206和数据开始地址208通常将不相同。
数据结束地址206或数据开始地址208或两者的指针用以确定灯174的点亮的一个或多个部分。因此点亮灯174以与放置到缓冲器200中的数据对应。
在眼镜100的使用期间,当将数据添加到缓冲器200时,朝向缓冲器200的结束地址204连续地调整数据结束地址206。一旦数据结束地址206到达结束地址204,就更新所述数据结束地址206以指向缓冲器200的开头地址202,且朝向结束地址204继续向前,从而重复在眼镜100的使用时间段中的循环。同样,数据开始地址208在到达眼镜100的二十(20)秒的操作后即刻经历类似进展。
现在参考图7,展示如由眼镜100进行的连续视频捕获过程中的主要步骤且总体指定为220。过程220通常由处理器152结合眼镜100的其它组件进行,但如上文所提及,在一些实施例中,所述步骤中的一些或全部由附接到图像传感器131和麦克风132的独立电路通过直接存储器存取进行。
在步骤222中,从图像传感器131和麦克风132收集原始视频和音频数据。在步骤224中,对原始视频和音频数据进行编码;在优选实施例中,使用H.264格式以压缩格式对数据进行编码。在使用DMA的某些实施例中,为简单起见,使用“原始”或未压缩格式。在步骤226中,将已编码数据放置于在数据结束地址206处开始的缓冲器200(或,取决于格式,一组缓冲器200)中。接着,在步骤228中,递增数据结束地址以指向缓冲器200中的下一可用地址。由于使用循环缓冲器200,所以准备覆写的旧数据的存在并不阻止地址成为下一可用地址。在步骤230中还更新数据开始地址208,使得其落在对应于在步骤226中刚刚添加到缓冲器的视频的部分之前二十(20)秒的视频数据的部分处。接着重复过程220,再次在步骤222处开始视频数据的下一片段。因此过程220在眼镜100处于操作中时在回路中运行。
现在参考图8,展示存储所捕获视频的过程中的主要步骤,且总体指定为240。过程240在穿戴者按压按钮134时起始,且在一些优选实施例中,通过例如突然加速度的其它方式,或通过来自在用户的请求处产生的软件162的信号来起始。举例来说,移动装置160可为智能手表(通常除移动电话之外),且在智能手表上运行的软件162提供用户接口特征,所述用户接口特征可由用户接合以发信号通知眼镜100开始过程240。一旦按压按钮134或过程240以另一方式起始,过程240就以分配存储器的步骤242开始以扩展缓冲器200以保存额外二十(20)秒的视频。随后,在步骤244中,保存当前数据结束地址206(例如,在处理器152的预定寄存器中),且更新数据结束地址206以指向缓冲器200的新部分。此时还保存数据开始地址208的副本,因此标记用于存储的二十(20)秒跨度的视频的边界。数据结束地址206的更新使得过程220将新捕获的视频存储在缓冲器200的新分配的部分中,因此在存储按压按钮134之前的二十(20)秒的同时避免任何视频的丢失。
在步骤246中,将如使用缓冲器200的旧边界所计算的数据开始地址208与数据结束地址206之间的二十(20)秒的视频保存到存储装置156中的文件。当缓冲器的新部分填满时,还将下一二十(20)秒的视频保存到存储装置156中的文件。接着,在步骤248中,解除分配缓冲器200的旧部分。可逐步地进行解除分配,使得始终维持二十(20)秒的视频,或当期望等待直到将四十秒视频文件保存到存储装置156时,可调度在分配缓冲器200的新部分之后二十(20)秒或甚至在分配缓冲器200的新部分之后四十(40)秒发生。当与例如移动装置160的外部装置的连接可用时,进行步骤250,涉及将所存储文件传送到外部装置。
现在参考图9,眼镜100的一些优选实施例允许用户在过程240的步骤248之前的二十(20)秒期间双次按压按钮134或第二次按压按钮134,以便继续保存视频直到用户第三次按压按钮134为止。
对按钮134的第二次按压使得眼镜100循环如过程260所描绘的过程240的初始步骤,在步骤262中针对缓冲器分配额外存储器(所述步骤262可包含比在步骤242中更大量的存储器,以便避免额外存储器的频繁分配),在步骤264中更新相关指针,在步骤266中将缓冲器内容保存到文件,且在步骤268中解除分配缓冲器的不再需要的部分,所有所述操作以与过程240的对应步骤类似的方式进行。继续这些操作直到在步骤270中按压按钮为止,此时将缓冲器的任何未保存的内容放置到文件中,且在步骤272中关闭文件。如在过程240中,当与例如移动装置160的外部装置的连接可用时,进行类似于步骤250的步骤274,涉及将所存储文件传送到外部装置。举例来说,如果与外部装置的连接在过程260或240中的开始或早期是可用的,那么过程260中的步骤274(或过程240中的步骤250)可与其它步骤同步进行。
虽然已展示目前视为本发明的优选实施例的内容,但本领域的技术人员将显而易见,可在不脱离本发明的范围和精神的情况下在本文中进行各种改变和修改。

Claims (20)

1.一种连续视频捕获设备,包括:
眼镜框架,具有:
第一镜腿,具有第一镜腿壳体,和
第二镜腿,具有第二镜腿壳体;
电源,位于所述第一镜腿壳体中;
视频捕获相机;
麦克风;和
电子电路***,位于所述第二镜腿壳体中,所述电子电路***包括:
存储器,
处理器,
无线电台,和
捕获按钮,
其中所述电子电路***配置成从所述视频捕获相机和所述麦克风连续地捕获视频且在所述存储器中维持最近二十秒的视频,且
其中所述捕获按钮可由用户接合以使得所述电子电路***将所述最近二十秒的视频和随后二十秒的视频发送到外部装置。
2.根据权利要求1所述的连续视频捕获设备,进一步包括位于所述第二镜腿壳体中的第二电源。
3.根据权利要求1所述的连续视频捕获设备,进一步包括安装在所述眼镜框架上的眼睛跟踪相机,其中所述电子电路***配置成从所述眼睛跟踪相机获取图像、估计所述用户的凝视方向,且在所述凝视方向上将所述视频捕获相机对焦于对象上。
4.根据权利要求3所述的连续视频捕获设备,进一步包括安装在所述眼镜框架上的红外光源,所述红外光源配置成在来自所述眼睛跟踪相机的所述图像中产生角膜反射,其中所述电子电路***配置成基于瞳孔中心和所述角膜反射的位置来估计所述凝视方向。
5.根据权利要求1所述的连续视频捕获设备,其中所述电源包括用户可移除电池。
6.根据权利要求1所述的连续视频捕获设备,其中所述电子电路***进一步包括加速度计。
7.根据权利要求6所述的连续视频捕获设备,其中所述电子电路***配置成在由所述加速度计检测到突然加速度后即刻将所述最近二十秒的视频和所述随后二十秒的视频发送到所述外部装置。
8.根据权利要求1所述的连续视频捕获设备,其中所述电子电路***配置成在从第二外部装置接收到命令后即刻将所述最近二十秒的视频和所述随后二十秒的视频发送到所述外部装置。
9.根据权利要求8所述的连续视频捕获设备,其中所述第二外部装置为智能手表。
10.一种连续视频捕获设备,包括:
眼镜;
视频捕获相机,附接到所述眼镜,所述视频捕获相机具有图像稳定器;
眼睛跟踪装置,附接到所述眼镜且配置成在用户的凝视方向上对焦所述视频捕获相机;和
连续更新的存储器缓冲器,配置成存储来自所述摄像机的最近二十秒的视频,
其中所述眼镜配置成在从所述用户接收到命令后即刻将所述最近二十秒的视频和随后二十秒的视频发送到外部装置。
11.根据权利要求10所述的连续视频捕获设备,进一步包括加速度计。
12.根据权利要求11所述的连续视频捕获设备,其中所述眼镜配置成在由所述加速度计检测到突然加速度后即刻将所述最近二十秒的视频和所述随后二十秒的视频发送到所述外部装置。
13.根据权利要求10所述的连续视频捕获设备,进一步包括配置成对应于将视频放置到所述存储器缓冲器中而从后到前照明的灯。
14.根据权利要求13所述的连续视频捕获设备,其中所述灯包括一行发光二极管。
15.根据权利要求10所述的连续视频捕获设备,其中通过数字信号处理进行额外图像稳定。
16.一种连续视频捕获设备,包括:
眼镜,包括:
第一镜腿,具有第一镜腿壳体,和
第二镜腿,具有第二镜腿壳体;
电池,位于所述第一镜腿壳体中;
相机,安装在所述眼镜上;
捕获按钮,位于所述第二镜腿壳体上;和
视频捕获电路***,位于所述第二镜腿壳体中且包括:
处理器,和
计算机可读媒体,含有指令,所述指令在执行时使得所述处理器:
从所述相机接收原始视频数据;
对接收到的视频数据进行编码;
将已编码视频放置在数据结束位置处的缓冲器中;
将所述数据结束位置更新到所述缓冲器中的下一可用地址;和
将数据开始位置更新到对应于所述数据结束位置后的二十秒的视频的位置,
其中所述捕获按钮配置成在接收到单次按压后即刻使得所述处理器:
分配存储器以扩展所述缓冲器以支持额外二十秒的视频;
保存当前数据结束位置且更新所述当前数据结束位置以指向所述缓冲器的已扩展部分;
将所述缓冲器的初始部分的内容保存到文件;
将所述缓冲器的新部分的内容添加到所述文件;
解除分配所述缓冲器的旧部分;和
将所述文件发送到外部装置。
17.根据权利要求16所述的连续视频捕获设备,其中所述捕获按钮配置成在接收到双次按压后即刻使得所述处理器:
执行回路,其中所述处理器:
分配存储器以扩展所述缓冲器,
保存所述当前数据结束位置且更新所述当前数据结束位置以指向所述缓冲器的所述新部分,
将所述缓冲器的初始部分的所述内容保存到文件,
将所述缓冲器的已扩展部分的内容添加到所述文件,且
解除分配所述缓冲器的所述旧部分;
当按压所述捕获按钮额外次数时终止所述回路;
完成保存已编码视频数据且关闭所述文件;和
将所述文件发送到外部装置。
18.根据权利要求16所述的视频捕获设备,进一步包括位于所述第二镜腿壳体中的第二电池。
19.根据权利要求16所述的视频捕获设备,进一步包括眼睛跟踪装置,所述眼睛跟踪装置附接到所述眼镜且配置成在用户的凝视方向上对焦所述相机。
20.根据权利要求16所述的视频捕获设备,进一步包括配置成对应于将视频放置到所述存储器缓冲器中而从后到前照明的灯。
CN201980094764.2A 2018-03-05 2019-05-24 连续视频捕获眼镜 Pending CN113631081A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862638820P 2018-03-05 2018-03-05
US16/293,462 US10834357B2 (en) 2018-03-05 2019-03-05 Continuous video capture glasses
US16/293,462 2019-03-05
PCT/US2019/034029 WO2020180339A1 (en) 2018-03-05 2019-05-24 Continuous video capture glasses

Publications (1)

Publication Number Publication Date
CN113631081A true CN113631081A (zh) 2021-11-09

Family

ID=67767842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980094764.2A Pending CN113631081A (zh) 2018-03-05 2019-05-24 连续视频捕获眼镜

Country Status (10)

Country Link
US (4) US10834357B2 (zh)
EP (1) EP3934511A1 (zh)
JP (1) JP2022524511A (zh)
KR (1) KR20210135550A (zh)
CN (1) CN113631081A (zh)
CA (1) CA3132806A1 (zh)
IL (2) IL300076A (zh)
MX (1) MX2021010747A (zh)
SG (1) SG11202109725UA (zh)
WO (1) WO2020180339A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10834357B2 (en) * 2018-03-05 2020-11-10 Hindsight Technologies, Llc Continuous video capture glasses
USD1009973S1 (en) 2021-12-28 2024-01-02 Hindsight Technologies, Llc Eyeglass lens frames
USD1009972S1 (en) 2021-12-28 2024-01-02 Hindsight Technologies, Llc Eyeglass lens frames
US20230400916A1 (en) * 2022-06-08 2023-12-14 Zhenkun Wang Glasses with mouse function and wording method of same

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5140436A (en) 1989-11-02 1992-08-18 Eastman Kodak Company Pre-event/post-event recording in a solid state fast frame recorder
US7088387B1 (en) 1997-08-05 2006-08-08 Mitsubishi Electric Research Laboratories, Inc. Video recording device responsive to triggering event
JP4013100B2 (ja) * 1998-09-21 2007-11-28 富士フイルム株式会社 電子カメラ
GB2378075A (en) 2001-07-27 2003-01-29 Hewlett Packard Co Method and apparatus for transmitting images from head mounted imaging device.
JP2003287708A (ja) * 2002-03-28 2003-10-10 Seiko Epson Corp 視覚拡張装置および表示システム
JP4364047B2 (ja) * 2004-04-14 2009-11-11 オリンパス株式会社 表示装置、撮像装置
US8928752B2 (en) 2006-08-31 2015-01-06 Stellar Llc Recording device with pre-start signal storage capability
US7593034B2 (en) 2006-08-31 2009-09-22 Dekeyser Paul Loop recording with book marking
US8310540B2 (en) 2006-08-31 2012-11-13 Stellar, Llc Loop recording with book marking
JP5092357B2 (ja) * 2006-11-07 2012-12-05 ソニー株式会社 撮像表示装置、撮像表示方法
WO2008109172A1 (en) 2007-03-07 2008-09-12 Wiklof Christopher A Recorder with retrospective capture
JP2008288821A (ja) * 2007-05-17 2008-11-27 Sony Corp 撮像装置、撮像方法
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム
US8970495B1 (en) * 2012-03-09 2015-03-03 Google Inc. Image stabilization for color-sequential displays
US9071923B2 (en) * 2012-12-20 2015-06-30 Cellco Partnership Automatic archiving of an application on a mobile device
JP6332037B2 (ja) * 2012-12-26 2018-05-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20150003819A1 (en) 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
JP6435595B2 (ja) * 2013-08-05 2018-12-12 カシオ計算機株式会社 トレーニング支援システム、サーバー、端末、カメラ、方法並びにプログラム
JP6024725B2 (ja) * 2014-01-17 2016-11-16 カシオ計算機株式会社 システム
US10178291B2 (en) 2014-07-23 2019-01-08 Orcam Technologies Ltd. Obtaining information from an environment of a user of a wearable camera system
AU2015374136A1 (en) * 2014-12-29 2017-07-20 PogoTec, Inc. Police and security camera system utilizing wireless energy transfer
US9525821B2 (en) * 2015-03-09 2016-12-20 Microsoft Technology Licensing, Llc Video stabilization
US9848120B2 (en) 2015-05-08 2017-12-19 Fast Model Technology Llc System and method for preserving video clips from a handheld device
EP3179472B1 (en) 2015-12-11 2020-03-18 Sony Mobile Communications, Inc. Method and device for recording and analyzing data from a microphone
US10178341B2 (en) 2016-03-01 2019-01-08 DISH Technologies L.L.C. Network-based event recording
US9946098B2 (en) * 2016-04-25 2018-04-17 Eddie Bauer Eyewear with a cellular GPS module
WO2017212958A1 (ja) 2016-06-10 2017-12-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3519892B1 (en) * 2016-09-27 2020-12-16 Snap Inc. Eyewear device mode indication
US20180234660A1 (en) 2017-02-10 2018-08-16 Nxtgen Technology, Inc. Limited and temporary queuing of video data captured by a portable camera prior to user initiation of video recording commands
US20180338119A1 (en) * 2017-05-18 2018-11-22 Visual Mobility Inc. System and method for remote secure live video streaming
IL276057B2 (en) * 2018-01-25 2024-01-01 Sharon Ehrlich Device, method and system for rapid eye tracking
US10834357B2 (en) * 2018-03-05 2020-11-10 Hindsight Technologies, Llc Continuous video capture glasses

Also Published As

Publication number Publication date
SG11202109725UA (en) 2021-10-28
US11601616B2 (en) 2023-03-07
US12015871B2 (en) 2024-06-18
US20210105431A1 (en) 2021-04-08
WO2020180339A1 (en) 2020-09-10
JP2022524511A (ja) 2022-05-06
US20220159212A1 (en) 2022-05-19
EP3934511A1 (en) 2022-01-12
US20190273888A1 (en) 2019-09-05
MX2021010747A (es) 2021-12-15
IL286178A (en) 2021-10-31
IL300076A (en) 2023-03-01
CA3132806A1 (en) 2020-09-10
US20230336685A1 (en) 2023-10-19
KR20210135550A (ko) 2021-11-15
IL286178B2 (en) 2023-06-01
US10834357B2 (en) 2020-11-10
US11190725B2 (en) 2021-11-30

Similar Documents

Publication Publication Date Title
US11671712B2 (en) Apparatus and methods for image encoding using spatially weighted encoding quality parameters
CN113631081A (zh) 连续视频捕获眼镜
US9866743B2 (en) Automatic image-capturing apparatus, automatic image-capturing control method, image display system, image display method, display control apparatus, and display control method
WO2020192458A1 (zh) 一种图像处理的方法及头戴式显示设备
CN113411528B (zh) 一种录像帧率的控制方法、终端及存储介质
WO2021057277A1 (zh) 一种暗光下拍照的方法及电子设备
KR20170084947A (ko) 촬영 장치 및 그 동작 방법
EP3316568B1 (en) Digital photographing device and operation method therefor
EP3609175B1 (en) Apparatus and method for generating moving image data including multiple section images in electronic device
WO2022100685A1 (zh) 一种绘制命令处理方法及其相关设备
CN113572956A (zh) 一种对焦的方法及相关设备
KR20190014959A (ko) 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
CN104243777A (zh) 显示控制装置、显示控制方法、程序和图像拾取装置
KR20170011876A (ko) 영상 처리 장치 및 그 동작 방법
KR20170011555A (ko) 디지털 촬영 장치 및 그 방법
CN113850709A (zh) 图像变换方法和装置
KR102490789B1 (ko) 움직임 변화량에 기반하여 영상 제공 방식을 변경하는 전자 장치 및 방법
RU2782312C1 (ru) Способ обработки изображения и устройство отображения, устанавливаемое на голове
WO2022218216A1 (zh) 图像处理方法和终端设备
KR20210101790A (ko) 전자 장치 및 전자 장치의 타임 랩스 영상 생성 방법
KR20200092631A (ko) 슬로 모션 영상 생성 방법 및 장치
KR20170047150A (ko) 영상을 생성하는 방법 및 디바이스.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination