KR20210135550A - 연속 비디오 캡처 안경 - Google Patents

Abstract

안경 프레임의 세트는 비디오 캡처를 위한 전자 컴포넌트를 포함하고 20초 루프로 비디오를 연속적으로 캡처하도록 구성된다. 캡처 버튼을 누를 때, 전자 회로망이 비일시적인 메모리 내 총 40초의 비디오를 위해, 이전의 20초 및 그 다음 20초를 저장하게 하는 캡처 버튼이 프레임 상에 있다. 프레임의 전자 회로망은 또한 블루투스 라디오 및 와이파이 라디오를 포함하여, 프레임이 모바일 디바이스와 통신하게 하고, 더 구체적으로 모바일 디바이스에서 실행되는 앱에 저장된 20초 비디오 클립을 제공하게 한다. 앱은 폰에 비디오 클립을 저장하고, 비디오 클립을 편집하고, 비디오 클립을 인터넷으로 업로드하고, 안경의 전자 회로망의 사용자 조정 가능한 설정을 구성한다.

Description

연속 비디오 캡처 안경

본 발명은 일반적으로 비디오 녹화에 관한 것이다. 더 구체적으로, 본 발명은 안경에 장착된 비디오 녹화 장치에 관한 것이다. 본 발명은 특히, 독점적이지는 않지만, 연속 비디오 녹화를 위한 디바이스로서 유용하다.

1980년대에, 캠코더는 점점 더 많은 수의 소비자가 접근할 수 있는 범위 내에서 비디오 제작 능력을 가져왔다. 원래 아날로그 방식으로 비디오 카세트에 녹화하던 캠코더는 나중에 디지털 비디오 녹화를 위한 능력을 획득했다. 녹화 방식의 변화로 인해 크기가 더 작아지고, 가격이 더 낮아지고, 비디오 품질이 개선되어, 소비자 사이에서 비디오 제작의 인기가 높아졌다. 소비자 비디오 제작의 인기는 텔레비전 프로그램, 예컨대, "미국에서 가장 재미있는 홈 비디오"와 더 최근의 비디오 공유 웹사이트, 예컨대, 유튜브를 시작으로 공유와 유통 채널의 발달에 의해 더 증가되었다.

한편, 소비자 비디오 제작의 특성은 변화했거나 - 또는 오히려 확대되었다. 소비자는 더 이상 전용 캠코더의 사용으로 국한되지 않는다; 스틸 카메라와 휴대폰이 비디오 녹화 능력을 획득했고 광범위한 소비자 사용을 즐긴다. 게다가, GoPro사가 판매하는 것과 같은 액션 카메라를 포함하는 특수 카메라는 1인칭 관점에서 그들의 활동을 핸즈프리 녹화하기를 원하는 소비자 사이에서 인기를 누리고 있다.

가장 최근에는, 비디오 녹화 능력을 갖춘 착용식 기술이 시장에서 상당한 판매 촉진을 했지만, 소비자의 반응은 그다지 좋지 않았다. 배터리가 방전되는 일 없이 촬영될 수 있는 비디오 용량을 상당히 제한하는, 이러한 디바이스의 저 배터리 용량에 부분적으로 기인하여 성공하지 못했다.

위의 내용에 비추어, 액션 카메라가 불필요하거나 또는 원하지 않는 상황에서 1인칭 관점에서 편리하게 녹화하기 위해 구성된 비디오 녹화 디바이스를 제공하는 것이 유리할 것이다. 핸즈프리 녹화를 위해 구성된 비디오 녹화 디바이스를 제공하는 것이 더 유리할 것이다. 이러한 디바이스에 충전 간 여러 시간의 비디오를 녹화하기에 충분한 배터리 수명을 제공하는 것이 더 유리할 것이다.

안경 프레임의 세트는 비디오 캡처를 위한 전자 컴포넌트를 포함하고 20초 루프(loop)로 비디오를 연속적으로 캡처하도록 구성된다. 프레임 상에 캡처 버튼이 있고, 캡처 버튼을 누르면, 전자 회로망이 40초의 비디오를 비전송 메모리에 저장하고 - 즉, 캡처 버튼을 누르기 전의 20초의 비디오를 그 다음 20초의 비디오와 함께 저장한다.

프레임의 전자 회로망이 또한 블루투스 라디오 및 와이파이 라디오를 포함하여, 프레임이 모바일 디바이스와 통신하게 하고, 더 구체적으로 저장된 22초의 비디오를 모바일 디바이스에서 실행 중인 앱에 제공하게 한다. 이 앱은 전화에 비디오 클립을 저장하거나, 비디오 클립을 편집하거나, 비디오 클립을 인터넷에 업로드하거나, 안경의 전자 회로망에 사용자가 조정할 수 있는 설정을 구성한다.

위의 도면에서 알 수 있는 바와 같이, 안경은 다양한 컴포넌트의 전력 공급원의 역할을 하는 배터리(또는 프레임의 각각의 암에 하나씩 있는 배터리의 한 쌍)를 포함한다. 프로세서는 다양한 컴포넌트의 작동을 관리한다. 마이크로폰을 포함하는, 전하 결합 디바이스(charge-coupled device: CCD) 및 지원 회로망으로 구성될 수도 있는 카메라는 적어도 1080p 해상도로 비디오를 연속적으로 캡처한다. 표면적으로는 프로세서에 의해 관리되지만, 카메라는 프로세서의 작업량을 감소시키기 위해 직접 메모리 액세스(Direct Memory Access: DMA)를 사용하여 작업 메모리에 기입될 수도 있다.

비디오 내 저장은 다음과 같이 배치된다: 디바이스 활성화로부터, 매체는 디바이스의 작업 메모리에 h.264 데이터를 저장하는 원형 버퍼에 기입된다. 이 버퍼는 새로운 매체로 덮어씌우기 전에 최대 20초 분량의 매체를 저장할 수 있다. 사용자가 매체를 저장하기 위해 디바이스를 움직일 때, 버퍼는 크기가 조정되어 40초의 총 버퍼 크기 동안 부가적인 20초 분량의 매체를 저장한다. 이렇게 하면 매체 저장 이 개시되기 전 20초와 후 20초로부터 연속적인 매체 스트림이 저장된다. 일단 매체가 40초 버퍼를 채운다면, 디바이스는 생성된 파일 이름을 가진 mp4 파일로서 데이터를 변환하고 저장한다. 그후, 버퍼가 크기 조정되어 원형 버퍼에서 20초의 매체의 캡처를 재개한다. 20초 버퍼에서 데이터 변환, 파일 저장 및 매체 입력의 재개된 저장은 디바이스가 지속적으로 기록하고 콘텐츠가 손실되지 않는 것을 보장하기 위해 계속해서 즉시 발생한다.

프레임의 캡처 버튼은 작업 메모리에서 이전의 20초의 비디오 전송-뿐만 아니라 그 다음 20초가 확장된 버퍼의 나머지에 저장되는 것-을 비일시적인 메모리에 대해 개시한다. 이것은 일반적으로 눌렀을 때 프로세서에 중단을 시그널링하도록 버튼을 구성함으로써 구현되고, 그 다음 메모리 전송을 개시시키기 위한 소프트웨어 절차에 의해 처리된다. 부가적으로, 캡처 버튼을 누를 때, 시스템은 전송이 발생하는 동안 녹화가 계속될 수도 있도록 그리고 궁극적으로 총 40초의 매체가 저장되도록 부가적인 20초의 매체에 메모리를 할당한다. 블루투스 및 와이파이 라디오는 또한 휴대폰과 같은 외부 컴퓨팅 디바이스와의 통신을 허용하여, 앱을 실행하여 안경으로부터의 비디오를 저장하고, 편집하고 업로드하고, 안경에서 사용자가 조정할 수 있는 설정을 구성한다.

구조 및 작동 둘 다에 관해서, 본 발명의 신규한 특징뿐만 아니라 본 발명 자체는 유사한 참조 부호가 유사한 부분을 나타내는, 첨부된 설명과 함께 취해진, 첨부된 도면으로부터 가장 잘 이해될 것이다:
도 1은 연속 비디오 캡처 안경의 바람직한 실시형태의 사시도;
도 2는 도 1의 연속 비디오 캡처 안경의 분해도;
도 3은 눈-추적 장치를 가진 연속 비디오 캡처 안경의 바람직한 실시형태의 사시도;
도 4는 도 1의 연속 비디오 캡처 안경의 다양한 전자 컴포넌트의 도면;
도 5는 도 1의 연속 비디오 캡처 안경의 바람직한 실시형태의 다양한 컴포넌트를 예시하는 도면;
도 6은 도 1의 연속 비디오 캡처 안경의 비디오 녹화 버퍼를 위한 메모리 레이아웃의 도면;
도 7은 도 1의 연속 비디오 캡처 안경에 의해 수행된 바와 같은 연속 비디오 녹화의 과정을 설명하는 흐름도;
도 8은 사용자가 도 1의 연속 비디오 캡처 안경의 캡처 버튼을 누를 때 개시되는 과정을 설명하는 흐름도; 및
도 9는 사용자가 도 1의 연속 비디오 캡처 안경의 캡처 버튼을 2회 누를 때 개시되는 과정을 설명하는 흐름도.

처음에 도 1을 참조하면, 연속 비디오 캡처 안경의 바람직한 실시형태가 도시되고 일반적으로 (100)으로 지정된다. 안경(100)은 좌측 안경다리 하우징(112)을 가진 좌측 안경다리(110) 및 우측 안경다리 하우징(122)을 가진 우측 안경다리(120)를 포함한다. 이미지 센서(131)(도 1에 미도시)를 가진 카메라(130)가 안경(100)의 다리에 장착되는 것으로 도시되지만, 일부 실시형태에서 좌측 안경다리 하우징(112)의 전방(즉, 착용자의 눈에 가장 가까운 안경다리 하우징의 단부) 또는 우측 안경다리 하우징(122)의 전방에 배치된다. 바람직한 실시형태에서, 이미지 센서(131)가 능동 픽셀 센서(active pixel sensor: "APS")이지만, 대안적인 실시형태에서, 이것은 전하 결합 디바이스("CCD")이다. 다른 이미징 디바이스가 본 발명의 범위 및 정신으로부터 벗어나는 일 없이 사용될 수도 있다는 것이 당업자에게 분명할 것이다. 마이크(132)가 또한 안경(100)의 바람직한 실시형태에 존재한다.

안경(100)은 이미지 센서(131)로부터 비디오 그리고 마이크(132)로부터 오디오를 연속적으로 캡처한다. 착용자가 안경(100) 상의 버튼(134)을 누를 때, 캡처된 비디오의 가장 최근의 이십(20)초 및 캡처된 비디오의 그 다음 이십(20)초가 파일에 저장된다.

이제 도 2를 참조하면, 안경(100)은 부가적으로 이미지 센서(131)로부터의 비디오 및 마이크(132)로부터의 오디오를 캡처하고 저장하기 위해 전자 회로망(140)을 포함한다. 전자 회로망(140)의 일부 주요한 컴포넌트는 도 4와 관련하여 더 상세하게 논의된다. 배터리를 포함하고 일부 실시형태에서 이미지 센서(131) 및/또는 마이크(132)를 배제하는 전자 회로망(140)은 좌측 안경다리 하우징(112) 및 우측 안경다리 하우징(122)에 수용된다. 배터리 및 다른 전자 컴포넌트를 위한 하우징을 좌측 안경다리(110)와 우측 안경다리(120) 둘 다 상에 포함함으로써, 다량의 공간이 전기 에너지의 저장소(즉, 배터리)를 위해 이용 가능하여, 안경(100)이 연속적으로 작동되게 하고, 더 구체적으로, 상당한 시간량, 즉, 바람직한 실시형태에서 수시간 동안 연속적으로 비디오를 캡처하게 한다.

이제 도 3을 참조하면, 눈-추적 기술은 전통적으로 주로 연구, 특히, 신경과학 및 심리학 연구, 안전 관련 연구 및 엔지니어링, 대기업이 자금을 지원하는 마케팅 연구에 국한되어 왔다. 그 결과, 정밀도와 정확성에 중점을 두었고, 사용 가능한 기술의 대부분은 비용이 많이 들 뿐만 아니라 사용하기 위해 전문적인 교육을 필요로 한다. 본 발명의 바람직한 실시형태의 고유 양상은 소비자 사진 및 비디오 캡처의 분야에 대한 눈-추적 기술의 중요성이다. 더 구체적으로, 안경(100)의 바람직한 실시형태에 통합된 눈-추적 기술은 사용자가 관찰하는 물체에 카메라(130)의 초점을 자동으로 맞추는 데 사용된다.

갑자기 눈을 찡그릴 때마다 지속적으로 초점을 다시 맞추기 보다는 적어도 순간적으로 눈이 고정되는 물체에만 카메라(130)의 초점을 맞추는 것이 바람직하기 때문에, 눈의 모든 움직임을 추적할 필요는 없다. 또한, 일반적으로 주의를 기울이는 물체가 비정상적으로 작지 않기 때문에, 심지어 눈 위치의 꽤 대략적인 추정치가 놀라울 정도로 좋은 결과를 제공하고, 따라서 초점 선택에 있어 어느 정도의 융통성이 있다. 결과적으로, 사용되는 눈-추적 장치는 상대적으로 낮은 샘플링 속도와 상대적으로 낮은 해상도를 가지면서 상대적으로 저렴할 수 있다. 동일한 이유로, 대부분의 사용자에게는 교정의 필요성이 방지될 수 있지만, 교정 루틴은 더 높은 정확도를 원할 수도 있는 사용자를 위해 바람직한 실시형태에서 제공된다. 눈-추적 특징이 본 명세서에서 설명된 안경(100)의 다른 실시형태의 모든 특징과 조합하여 구현될 수도 있다는 것이 충분히 고려된다.

바람직한 실시형태에서, 눈-추적 장치는 적외선 광원(142) 및 렌즈 주위의 안경(100)의 프레임 상에 장착되거나 또는 안경(100)의 일부 실시형태가 렌즈를 갖지 않을 때 렌즈가 일반적인 안경의 쌍에 위치될 위치에 장착된 카메라(144)를 포함한다. 저해상도 카메라(144), 예컨대, 1024×768, 800×600, 또는 심지어 640×480 픽셀의 이미지를 제공하는 카메라를 사용해도 충분하다. 적외선 광원(142)으로부터의 광은 사용자의 각막에서 반사된다. 각막 반사와 동공은 패턴 인식 소프트웨어를 사용하여 카메라(144)에 의해 생성된 프레임에서 식별된다; 동공 중심이 추정되고, 동공 중심에서 각막 반사까지의 벡터가 계산된다. 이 벡터는 사용자의 눈이 회전하는 방향과 각, 따라서 사용자가 보고 있는 대략적인 방향을 추정하는 데 사용된다.

야외에서, 햇빛으로부터의 반사가 각막 반사의 검출을 방해할 수도 있으므로, 소프트웨어는 오직 동공 중심에 기초하여 시선 방향을 추정하는 것으로 폴백(fallback)한다. 따라서 정확도가 약간 떨어지지만, 보통 카메라(130)의 초점을 맞추는 데 사용하기에 충분히 정확하다. 일부 실시형태는 캡처된 프레임에서 눈의 형상과 위치에 기초하여, 사용자가 앞을 볼 때 동공이 있는 지점을 추정함으로써 폴백 방법의 정확성을 개선시킨다.

대안적인 실시형태, 적외선 광원(142)이 완전히 생략되고, 위에서 설명된 폴백 계산은 카메라(130)의 눈-추적 및 초점 선택을 위한 주요 방법이다.

눈-추적 장치는 안경(100)의 렌즈 또는 측면에 있을 수도 있고, 적어도 하나의 실시형태에서, 눈-추적 장치는 안경(100)의 각각 측면에 있다. 양측에 눈-추적 장치를 가진 실시형태의 유용성은 안경(100)이 특정한 안구 관련된 장애를 가진 사람들에게 더 유용하게 할 수 있다. 양측에 눈-추적 장치를 가진 실시형태의 유용성은 또한 안경(100)이 특정한 안구 관련된 장애를 가진 사람들에게 더 유용하게 할 수 있고, 안경(100)의 눈-추적 특징의 더 큰 정확성을 더 허용할 수도 있다.

이제 도 4를 참조하면, 안경(100)의 다양한 전자 컴포넌트가 도시된다. 바람직한 실시형태에서 배터리를 포함하는 전력원(150)은 다양한 다른 전자 컴포넌트에 전력을 공급한다. 바람직한 실시형태에서, 전력원(150)은 적어도 일곱(7) 내지 열(10) 시간의 녹화 시간을 허용하는, 적어도 일천(1000)㎃h의 에너지를 저장할 수 있다. 일부 바람직한 실시형태에서, 전력원(150)은 사용자가 안경(100)을 위한 스페어 배터리를 지니게 하는, 하나 또는 2개의 사용자가 제거 가능하고 교체 가능한 배터리를 포함한다. 프로세서(152)는 안경(100)의 작동을 관리하는 소프트웨어를 실행시킨다. 프로세서를 지원하는 것은 비디오 저장을 위한 하나 이상의 버퍼를 포함하는 랜덤 액세스 메모리(random-access memory: RAM)와 같은 작업 메모리(154)의 형태의 비일시적인 메모리이다. 작업 메모리는 또한 바람직한 실시형태에서 프로세서(152)에 의해 작동되는 명령어를 포함하고 명령어가 본 명세서에서 설명된 과정을 포함하는, 안경(100)의 작동을 제어하기 위해 과정을 실행하게 하는, 전기적으로 소거 가능한 프로그래밍 가능한 판독 전용 메모리(electrically erasable programmable read-only memory: EEPROM)의 형태인 판독 전용 메모리(read-only memory: ROM)를 포함할 수도 있다. 대안적으로, 일부 실시형태에서, 프로세서(152)에 의해 작동되는 명령어를 포함하는 프로그램의 일부 또는 전부는 저장소(156)에 저장되고 프로그램 명령어를 실행시키기 위해 필요할 때 작업 메모리(154)-보통 RAM-에 로딩될 수도 있다. 프로세서(152)가 일반적으로 비디오의 캡처 및 작업 메모리(154) 내 비디오의 저장을 관리하지만, 일부 실시형태에서 이미지 센서(131) 및 마이크(132)와 연관된 전용 회로망(도 4에 미도시)은 프로세서(152)의 부담을 경감시키기 위해 직접 메모리 액세스(Direct Memory Access: "DMA")를 사용하여 비디오 저장 버퍼에 비디오 및 오디오를 저장한다. 다른 실시형태에서, 프로세서(152)에서 실행되는 소프트웨어는 비디오 저장 버퍼에 저장하기 위해 H.264 인코딩을 사용하여 캡처된 비디오 및 오디오를 포맷하고; 일부 이러한 실시형태는 프로세서(152)가 필요에 따라 다른 작업을 동시에 수행하게 하기 위해 다중 코어를 가진 프로세서(152)를 사용한다. 다수의 프로세서(152)는 또한 단일의 프로세서(152)의 다수의 코어의 존재로 효과적으로 대체될 수도 있다.

바람직한 실시형태는 비디오 저장 버퍼에 저장하기 위해, 초당 이십이(22) 프레임과 1080p 해상도로 저장되는, 비디오 인코딩 시 이십이(22) 프레임마다 1개의 키프레임 또는 I-프레임을 사용한다. 이 설정은 합리적인 우수한 비디오 품질이 적절한 양의 공간에 저장되게 균형을 유지한다. 그럼에도 불구하고, 다른 실시형태는 저장된 비디오 상세사항의 양과 버퍼 공간을 위해 이용 가능한 메모리의 양과 관련된 상이한 요구에 맞게 조정되고, 초당 가변 I-프레임 수를 가진 실시형태, 초당 22 프레임 이외의 프레임 속도(예컨대, 초당 30 프레임 및 초당 60 프레임)를 가진 실시형태, 및 상이한 해상도(예컨대, 720p, 1080i 및 4K)를 가진 실시형태를 포함하는, 더 많거나 더 적은 빈도의 I-프레임을 가진 실시형태를 포함한다.

캡처 버튼(134)을 누를 때, 프로세서(152)는 즉시 비디오와 오디오의 지속적인 캡처가 저장되는, 부가적인 이십(20)초의 비디오를 위한 메모리 공간을 할당한다. 한편, 이전에 할당된 버퍼로부터의 비디오와 오디오는 플래시 메모리와 같은 장기 데이터 저장소를 위한 비일시적인 메모리를 포함하는 저장소(156)에 파일로서 저장된다. 새로 할당된 메모리 공간으로부터의 비디오와 오디오가 또한 그 다음 이십(20)초의 비디오가 캡처될 때 저장되어, 40초의 저장된 비디오 파일을 발생시킨다. 저장된 비디오가 버퍼 내 제1 이용 가능한 키프레임에서 시작되므로, 저장된 비디오의 실행 시간은 약간 다를 수도 있지만, 40초와는 무시 가능한 양만큼만 상이할 것이다; 그 차이는 1초 미만일 것이다.

외부 I/O 컴포넌트(158)는 안경(100)이 안경(100)과 통신하기 위해, 모바일 디바이스에 다운로드된 앱과 같은, 소프트웨어(162)를 실행하는, 모바일 디바이스와 같은 외부 디바이스(160)와 통신하게 한다. 바람직한 실시형태에서, 외부 I/O 컴포넌트(158)는 적어도 하나의 무선 라디오, 예를 들어, 블루투스 라디오와 와이파이 라디오 중 하나 또는 둘 다를 포함한다. 외부 디바이스에 대한 연결이 활성 상태일 때, 비디오 파일이 저장소(156)에 저장되면, 비디오 파일이 외부 I/O 컴포넌트(158)를 통해 외부 디바이스로 전송된다. 바람직한 실시형태, 외부 디바이스가 비디오 편집 및 업로드 특징을 제공하는 소프트웨어가 가져서, 사용자가 전송된 비디오를 편집하게 하고 비디오를 인터넷에 업로드하게 할 것이다.

이제 도 5를 참조하면, 개념도가 안경(100)의 바람직한 실시형태의 다양한 컴포넌트를 예시한다. 도 5는 안경(100)의 바람직한 실시형태의 구조 및 특정한 특징에 다소 상이한 강조점을 제공하고, 따라서 도 4의 모든 구성요소가 도 5에 도시되지 않거나 또는 도 5의 모든 구성요소가 도 4에 도시되지 않는다. 그럼에도 불구하고, 도시되지 않은 구성요소가 적어도 일부 바람직한 실시형태에 존재하고, 공간 및 표시의 단순성만을 위해 생략된다는 점을 이해해야 한다.

위에서 논의된 바와 같이, 프로세서(152)에 최소의 부담으로 비디오 저장을 용이하게 하기 위해 DMA 하드웨어를 포함할 수도 있는 I/O 멀티플렉서(170)가 도 5에 예시된다. 멀티플렉서(170)는 안경(100)에 통합된 다양한 디바이스가 프로세서(152)와 통신하게 한다. 일부 실시형태에서, 프로세서(152)는 수개의 I/O 핀을 가질 수도 있고 안경(100)은 프로세서(152)와 통신해야 하는 제한된 수의 디바이스를 가질 수도 있고; 일부 이러한 실시형태에서, 디바이스는 프로세서(152)의 I/O 핀을 통해 단순히 통신하며, 멀티플렉서(170)는 존재하지 않는다.

가속도계(172)가 안경(100)의 일부 바람직한 실시형태에 존재하고, 특징, 예컨대, 비디오의 자동 저장 및 디지털 이미지 안정화를 구현하기 위해 사용된다. 바람직한 실시형태에서, 안경(100)은 마치 캡처 버튼(134)을 누른 것처럼, 가속도계(172)를 통해 급가속이 검출될 때 이전의 20초의 비디오와 그 다음 20초의 비디오가 저장되는 "대시 캠 모드"로 전환될 수 있다. 급가속은 안경(100)에 프로그래밍된 매개변수에 기초하여, 미리 결정된 축 또는 축들에서 미리 결정된 크기 초과의 가속도계(172)에 의한 측정값이다.

좌측 안경다리(110), 우측 안경다리(120) 또는 둘 다 위의 광(174)이 뒤에서 앞으로 조명되어 비디오 캡처가 진행 중임을 나타낸다. 도 5에 도시된 바와 같이, 광(174)은 주변 광에 기초하여 광(174) 휘도를 동적으로 조정하기 위해 광센서와 함께 바람직한 실시형태에서 사용된다. 바람직한 실시형태에서, 특정한 광원이 일반적으로 더 쉽게 인지되는 어두운 환경에서 광(174)의 휘도가 낮아진다. 결과는 광(174)이 조명 영역에서 더 밝아서, 관찰자의 가시성을 유지할 것이라는 것이다. 바람직한 실시형태에서, 광(174)은 아래에서 더 논의되는 바와 같이, 작업 메모리(154)로의 비디오의 배치에 따라 이동하거나 또는 확장된다. 바람직한 실시형태에서, 광(174)은 발광 다이오드(light-emitting diode: (LED)의 행으로 이루어진다. 일부 실시형태에서 광(174)은 안경다리(110 또는 120) 바로 위가 아닌 안경다리 하우징(112 또는 122) 위에 있다.

이미지 안정화기(176)가 일부 바람직한 실시형태에서 존재한다. 이미지 안정화기(176)의 바람직한 실시형태는 안경(100)의 흔들림을 보상하기 위해 필요에 따라 이미지 센서(131)를 이동하는 센서 이동 이미지 안정화기이다. 일부 실시형태에서, 이미지 안정화는 이미지 센서(131), 디지털 신호 처리(digital signal processing: DSP) 프로그램 또는 둘 다에 의해 수신된 프레임의 크로핑(cropping)을 통해 프로세서(152)에 의해 수행될 수도 있다. 크로핑을 통해 또는 DSP 프로그램을 통한 디지털 이미지 안정화 및 이미지 안정화기(176)를 통한 하드웨어 이미지 안정화는 상호 배타적이지 않으며, 일부 실시형태는 이미지 안정화의 양 형태를 사용한다.

이제 도 6을 참조하면, 원형 버퍼(200)의 레이아웃이 도시된다. 버퍼(200)의 길이는 바람직한 실시형태의 오디오를 포함하여, 적어도 이십(20)초의 비디오 데이터를 보유하기에 충분하다. 다른 실시형태가 별도의 버퍼(200)에 오디오를 저장할 수도 있다. 버퍼(200)는 메모리의 시작 어드레스(202), 끝 어드레스(204), 데이터 끝 어드레스(206) 및 데이터 시작 어드레스(208)를 갖는다. 시작 어드레스(202)를 포인터로 추적한다면, 끝 어드레스(204)는 시작 어드레스(202)로부터 포인터 또는 길이 또는 오프셋에 의해 결정될 수도 있고; 데이터 끝 어드레스(206) 및 데이터 시작 어드레스(208)도 마찬가지로 시작 어드레스(202)로부터 포인터 또는 오프셋에 의해 결정될 수 있다. 게다가, 비디오와 오디오를 고정 비트 속도로 압축하지 않고 캡처하는 실시형태에서, 안경(100)의 작동의 이십(20)초 후, 데이터 끝 어드레스(206)와 동일하기 때문에, 별개의 데이터 시작 어드레스(208)가 추적될 필요가 없다. 그러나, 바람직한 실시형태에서, 압축이 사용되고, 20초 분량의 저장을 위해 사용되는 버퍼(200)의 부분이 가변된다. 사용되는 버퍼(200)의 부분이 가변될 때, 데이터 끝 어드레스(206)와 데이터 시작 어드레스(208)는 일반적으로 동일하지 않을 것이다.

데이터 끝 어드레스(206) 또는 데이터 시작 어드레스(208) 또는 둘 다는 점등되는 광(174)의 부분 또는 부분들을 결정하는 데 사용된다. 따라서, 광(174)이 점등되어 버퍼(200)에 배치되는 데이터에 대응한다.

안경(100)의 사용 동안, 데이터 끝 어드레스(206)는 버퍼(200)에 데이터가 추가될 때 버퍼(200)의 끝 어드레스(204)를 향해 연속적으로 조정된다. 데이터 끝 어드레스(206)가 끝 어드레스(204)에 도달하면, 버퍼(200)의 시작 어드레스(202)를 나타내도록 업데이트되고, 끝 어드레스(204)를 향해 계속 진행되어, 안경(100)의 사용 기간 내내 주기를 반복한다. 마찬가지로, 데이터 시작 어드레스(208)는 안경(100)의 작동의 이십(20)초에 도달할 때 유사한 진행을 겪는다.

이제 도 7을 참조하면, 안경(100)에 의해 수행되는 연속 영상 캡처 과정의 주요 단계가 도시되고 일반적으로 (220)으로 표기된다. 과정(220)은 일반적으로 안경(100)의 다른 컴포넌트와 함께 프로세서(152)에 의해 수행되지만, 위에서 언급된 바와 같이, 일부 실시형태에서 일부 또는 모든 단계가 직접 메모리 액세스를 통해 이미지 센서(131) 및 마이크(132)에 부착된 별개의 회로에 의해 수행된다.

단계(222)에서 원(raw) 비디오 및 오디오 데이터는 이미지 센서(131) 및 마이크(132)로부터 수집된다. 단계(224)에서, 원 비디오 및 오디오 데이터는 인코딩되고; 바람직한 실시형태에서, 데이터는 H.264 포맷을 사용하여 압축된 포맷으로 인코딩된다. DMA를 사용하는 특정한 실시형태, 단순성을 위해 "원" 또는 압축되지 않은 포맷이 사용된다. 단계(226)에서, 인코딩된 데이터는 데이터 끝 어드레스(206)에서 시작하는 버퍼(200)(또는 포맷에 따라, 버퍼(200)의 세트)에 배치된다. 이어서, 단계(228)에서, 데이터 끝 어드레스는 버퍼(200) 내 그 다음 이용 가능한 어드레스를 나타내도록 증분된다. 원형 버퍼(200)가 사용되므로, 덮어쓸 준비가 된 오래된 데이터의 존재는 어드레스가 그 다음 이용 가능한 어드레스가 되는 것을 방지하지 않는다. 데이터 시작 어드레스(208)가 또한 단계(230)에서 업데이트되어, 이것은 단계(226)에서 버퍼에 방금 추가된 비디오의 부분 전의 이십(20)초에 대응하는 비디오 데이터의 부분에 해당된다. 과정(220)은 비디오 데이터의 그 다음 세그먼트를 가진 단계(222)에서 다시 시작하여 반복된다. 따라서, 과정(220)은 안경(100)이 작동하는 동안 하나의 루프로 실행된다.

이제 도 8을 참조하면, 캡처된 비디오를 저장하는 과정의 주요 단계가 도시되고 일반적으로 (240)으로 표기된다. 과정(240)은 착용자가 버튼(134)을 누를 때, 일부 바람직한 실시형태에서, 다른 수단, 예컨대, 급가속을 통해 또는 사용자의 요청에 따라 생성된 소프트웨어(162)로부터의 신호를 통해 개시된다. 예를 들어, 모바일 디바이스(160)는 스마트워치(일반적으로 휴대폰 이외)일 수도 있고, 스마트워치에서 실행되는 소프트웨어(162)는 과정(240)을 시작하기 위해 안경(100)에 시그널링하는 사용자에 의해 맞물림 가능한 사용자 인터페이스 특징을 제공한다. 버튼(134)을 누르거나 또는 과정(240)을 또 다른 방식으로 개시하면, 과정(240)은 메모리를 할당하여 버퍼(200)를 확장해서 부가적인 이십(20)초의 비디오를 보유하는 단계(242)로 시작한다. 이어서, 단계(244)에서, 현재의 데이터 끝 어드레스(206)가 저장되고(예를 들어, 프로세서(152)의 미리 결정된 레지스터에 저장됨) 데이터 끝 어드레스(206)가 버퍼(200)의 새로운 부분을 나타내도록 업데이트된다. 이때 데이터 시작 어드레스(208)의 복사본이 또한 저장되므로, 저장용 비디오의 이십(20)초 범위의 경계를 표시한다. 데이터 끝 어드레스(206)의 업데이트는 과정(220)이 새로 캡처한 비디오를 버퍼(200)의 새로 할당된 부분에 저장하므로, 버튼(134)을 누르기 전의 이십(20)초를 저장하는 동안 어떠한 비디오 손실도 방지한다.

단계(246)에서, 버퍼(200)의 오래된 경계를 사용하여 계산되는 바와 같은, 데이터 시작 어드레스(208)와 데이터 끝 어드레스(206) 간의 이십(20)초의 비디오가 저장소(156)의 파일에 저장된다. 버퍼의 새로운 부분이 채워질 때, 그 다음 이십(20)초의 비디오가 또한 저장소(156)의 파일에 저장된다. 이어서, 단계(248)에서, 버퍼(200)의 오래된 부분이 할당 해제된다. 할당 해제가 점진적으로 수행되어 이십(20)초의 비디오가 항상 유지될 수도 있거나 또는 40초의 비디오 파일이 저장소(156)에 저장될 때까지 대기하는 것이 바람직할 때 버퍼(200)의 새로운 부분의 할당 후 이십(20)초 또는 심지어 버퍼(200)의 새로운 부분의 할당 후 사십(40)초 발생하도록 스케줄링될 수도 있다. 외부 디바이스, 예컨대, 모바일 디바이스(160)의 연결이 이용 가능할 때, 단계(250)가 수행되어, 저장된 파일을 외부 디바이스로 전송한다.

이제 도 9를 참조하면, 안경(100)의 일부 바람직한 실시형태는, 사용자가 버튼(134)을 세번째 누를 때까지 비디오 저장을 계속하기 위해, 과정(240)의 단계(248) 전에 사용자로 하여금 이십(20)초 기간 동안 버튼(134)을 두번째 누르거나 또는 버튼(134)을 두번 누르게 한다.

버튼(134)을 두 번째 누르는 것은 안경(100)이 과정(260)에 의해 도시된 바와 같이 과정(240)의 초기 단계를 반복하게 하여, 부가적인 메모리의 빈번한 할당을 방지하기 위해 단계(242)보다 더 많은 양의 메모리를 포함할 수도 있는 단계(262)에서 버퍼를 위한 부가적인 메모리를 할당하고, 단계(264)에서 관련된 포인터를 업데이트하고, 단계(266)에서 버퍼 내용을 파일에 저장하고, 단계(268)에서 더 이상 필요하지 않은 버퍼의 부분의 할당 해제하고, 이 모든 것은 과정(240)의 대응하는 단계와 유사한 방식으로 이루어진다. 이 작동은 단계(270)에서 버튼을 누를 때까지 계속되며, 이때 버퍼의 임의의 저장되지 않은 내용이 파일에 배치되고 파일이 단계(272)에서 폐쇄된다. 과정(240)과 같이, 외부 디바이스, 예컨대, 모바일 디바이스(160)에 대한 연결이 이용 가능할 때, 단계(274)-단계(250)와 유사함-가 수행되어 저장된 파일을 외부 디바이스로 전송한다. 과정(260)의 단계(274)(또는 과정(240)의 단계(250))는 예를 들어, 외부 디바이스에 대한 연결이 과정(260 또는 240)의 시작 또는 초기에 이용 가능하다면, 다른 단계와 동시에 수행될 수도 있다.

현재 본 발명의 바람직한 실시형태로 간주되는 것들을 제시했지만, 본 발명의 범위와 정신으로부터 벗어나는 일 없이 다양한 변화와 수정이 이루어질 수 있음은 당업자에게 명백할 것이다.

Claims (20)

1. 연속 비디오 캡처 장치로서,
   안경 프레임으로서,
   제1 안경다리 하우징을 가진 제1 안경다리, 및
   제2 안경다리 하우징을 가진 제2 안경다리
   를 가진, 상기 안경 프레임;
   상기 제1 안경다리 하우징에 위치된 전력원;
   비디오 캡처 카메라;
   마이크; 및
   상기 제2 안경다리 하우징에 위치된 전자 회로망
   을 포함하되, 상기 전자 회로망은,
   메모리,
   프로세서,
   무선 라디오 및
   캡처 버튼
   을 포함하고, 상기 전자 회로망은 상기 비디오 캡처 카메라 및 마이크로부터 비디오를 연속적으로 캡처하고 가장 최근의 20초의 비디오를 상기 메모리에 유지하도록 구성되고,
   상기 캡처 버튼은 사용자에 의해 맞물림 가능하여 상기 전자 회로망이 상기 가장 최근의 20초의 비디오 및 후속의 20초의 비디오를 외부 디바이스에 저장하게 하는, 연속 비디오 캡처 장치.
2. 제1항에 있어서, 상기 제2 안경다리 하우징에 위치된 제2 전력원을 더 포함하는, 연속 비디오 캡처 장치.
3. 제1항에 있어서, 상기 안경 프레임 상에 장착된 눈-추적 카메라를 더 포함하되, 상기 전자 회로망은 상기 눈-추적 카메라로부터 이미지를 획득하고, 상기 사용자의 시선 방향을 추정하고, 상기 시선 방향에서 물체에 상기 비디오 캡처 카메라의 초점을 맞추도록 구성되는, 연속 비디오 캡처 장치.
4. 제3항에 있어서, 상기 안경 프레임 상에 장착된 적외선 광원을 더 포함하되, 상기 적외선 광원은 상기 눈-추적 카메라로부터 상기 이미지의 각막 반사를 생성하도록 구성되고, 상기 전자 회로망은 동공 중심 및 상기 각막 반사의 위치에 기초하여 상기 시선 방향을 추정하도록 구성되는, 연속 비디오 캡처 장치.
5. 제1항에 있어서, 상기 전력원은 사용자가 제거 가능한 배터리를 포함하는, 연속 비디오 캡처 장치.
6. 제1항에 있어서, 상기 전자 회로망은 가속도계를 더 포함하는, 연속 비디오 캡처 장치.
7. 제6항에 있어서, 상기 전자 회로망은 상기 가속도계에 의한 급가속의 검출 시 상기 가장 최근의 20초의 비디오 및 후속 20초의 비디오를 상기 외부 디바이스로 전송하도록 구성되는, 연속 비디오 캡처 장치.
8. 제1항에 있어서, 상기 전자 회로망은 제2 외부 디바이스로부터의 명령의 수신 시 상기 가장 최근의 20초의 비디오 및 후속 20초의 비디오를 상기 외부 디바이스로 전송하도록 구성되는, 연속 비디오 캡처 장치.
9. 제8항에 있어서, 상기 제2 외부 디바이스는 스마트워치인, 연속 비디오 캡처 장치.
10. 연속 비디오 캡처 장치로서,
    안경;
    상기 안경에 부착되고 이미지 안정화기를 가진, 비디오 캡처 카메라;
    상기 안경에 부착되고 사용자의 시선 방향에서 상기 비디오 캡처 카메라의 초점을 맞추도록 구성되는 눈-추적 디바이스; 및
    상기 비디오 카메라로부터 가장 최근의 20초의 비디오를 저장하도록 구성된 연속적으로-업데이트된 메모리 버퍼
    를 포함하되, 상기 안경은 상기 사용자로부터의 명령의 수신 시 상기 가장 최근의 20초의 비디오 및 후속 20초의 비디오를 외부 디바이스로 전송하도록 구성되는, 연속 비디오 캡처 장치.
11. 제10항에 있어서, 가속도계를 더 포함하는, 연속 비디오 캡처 장치.
12. 제11항에 있어서, 상기 안경은 상기 가속도계에 의한 급가속의 검출 시 상기 가장 최근의 20초의 비디오 및 후속 20초의 비디오를 상기 외부 디바이스로 전송하도록 구성되는, 연속 비디오 캡처 장치.
13. 제10항에 있어서, 상기 메모리 버퍼 내로의 비디오의 배치에 대응하여 앞뒤로 조명하도록 구성되는 광을 더 포함하는, 연속 비디오 캡처 장치.
14. 제13항에 있어서, 상기 광은 발광 다이오드의 행을 포함하는, 연속 비디오 캡처 장치.
15. 제10항에 있어서, 부가적인 이미지 안정화는 디지털 신호 처리를 통해 수행되는, 연속 비디오 캡처 장치.
16. 연속 비디오 캡처 장치로서,
    안경으로서,
    제1 안경다리 하우징을 가진 제1 안경다리, 및
    제2 안경다리 하우징을 가진 제2 안경다리
    를 포함하는, 상기 안경;
    상기 제1 안경다리 하우징에 위치된 배터리;
    상기 안경 상에 장착된 카메라;
    상기 제2 안경다리 하우징 상에 위치된 캡처 버튼; 및
    상기 제2 안경다리 하우징에 위치된 비디오 캡처 회로망
    을 포함하되, 상기 비디오 캡처 회로망은,
    프로세서 및
    컴퓨터 판독 가능한 매체
    를 포함하고, 상기 컴퓨터 판독 가능한 매체는, 실행될 때, 상기 프로세서로 하여금,
    상기 카메라로부터 원(raw) 비디오 데이터를 수신하게 하고;
    수신된 비디오 데이터를 인코딩하게 하고;
    인코딩된 비디오를 버퍼 내 데이터 끝 위치에 배치하게 하고;
    상기 데이터 끝 위치를 상기 버퍼 내 그 다음 이용 가능한 어드레스로 업데이트하게 하고;
    데이터 시작 위치를 상기 데이터 끝 위치를 넘어 20초의 비디오에 대응하는 위치로 업데이트하게 하는
    명령어를 포함하고,
    상기 캡처 버튼은, 1회 눌리면, 프로세서로 하여금,
    메모리를 할당하여 상기 버퍼를 확장해서 부가적인 20초의 비디오를 지원하게 하고;
    현재의 데이터 끝 위치를 저장하고 업데이트하여 상기 버퍼의 확장된 부분을 나타내게 하고;
    상기 버퍼의 원래의 부분의 내용을 파일에 저장하게 하고;
    상기 버퍼의 새로운 부분의 내용을 상기 파일에 저장하게 하고;
    상기 버퍼의 오래된 부분을 할당 해제하게 하고;
    상기 파일을 외부 디바이스에 저장하게 하도록
    구성되는, 연속 비디오 캡처 장치.
17. 제16항에 있어서, 상기 캡처 버튼은, 2회 눌리면, 상기 프로세서로 하여금,
    하나의 루프(loop)를 실행하게 하도록 구성되되, 상기 루프에서, 상기 프로세서는,
    상기 메모리를 할당하여 상기 버퍼를 확장하고,
    상기 현재의 데이터 끝 위치를 저장하고 업데이트하여 상기 버퍼의 새로운 부분을 나타내게 하고,
    상기 버퍼의 원래의 부분의 내용을 파일에 저장하고,
    상기 버퍼의 확장된 부분의 내용을 상기 파일에 저장하고,
    상기 버퍼의 오래된 부분을 할당 해제하고;
    상기 캡처 버튼을 다수회 누를 때 상기 루프를 종료하고;
    인코딩된 비디오 데이터의 저장을 완료하고 상기 파일을 폐쇄하고;
    상기 파일을 외부 디바이스에 저장하는, 연속 비디오 캡처 장치.
18. 제16항에 있어서, 상기 제2 안경다리 하우징에 위치된 제2 배터리를 더 포함하는, 연속 비디오 캡처 장치.
19. 제16항에 있어서, 상기 안경에 부착되고 사용자의 시선 방향에서 상기 카메라의 초점을 맞추도록 구성되는 눈-추적 디바이스를 더 포함하는, 연속 비디오 캡처 장치.
20. 제16항에 있어서, 상기 메모리 버퍼 내로의 비디오의 배치에 대응하여 앞뒤로 조명하도록 구성되는 광을 더 포함하는, 연속 비디오 캡처 장치.

Images