KR102242719B1 - 스마트 안경 추적 방법과 장치, 및 스마트 안경과 저장 매체 - Google Patents

Abstract

스마트 안경 추적 방법 및 장치, 스마트 장치와 관련된 스마트 안경 및 저장 매체가 제공된다. 방법은, 스마트 안경이 이미지를 수집한 후, 이미지 내의 물체를 인식하는 단계(S101), 이미지 내의 설정된 초점 위치 또는 면적에 존재하는 물체를 사용자에게 브로드 캐스팅(S102)하는 단계를 포함한다. 이를 통해, 이미지 내의 모든 물체를 직접 브로드캐스팅하는 것이 아니라, 하나의 면적에 존재하는 설정된 위치나 물체를 사용자에게 브로드캐스팅함으로써 스마트 안경의 브로드캐스팅 효율을 높이고 사용자 경험을 향상시킬 수 있다.

Description

스마트 안경 추적 방법과 장치, 및 스마트 안경과 저장 매체

본 발명은 스마트 기기 분야에 관한 것으로, 특히 스마트 안경 추적 방법과 장치, 스마트 안경, 및 저장 매체에 관한 것이다.

현재 시각 장애인을 위한 스마트 안경이 있어서 생활을 편리하게 할 수 있다. 스마트 안경은 이미지 정보를 수집할 수 있고, 착용한 사용자에게 현재 이미지의 콘텐츠를 알릴 수 있어 시각 장애인의 생활에 편리함을 제공한다.

그러나, 본 발명의 발명자들은 스마트 안경을 사용하는 동안 사용자가 안경의 대화형 중심(interactive center)을 능동적으로 선택할 수 없다는 것을 발견했으며, 이러한 경우, 스마트 안경은 일반적으로 사용자에게 이미지의 모든 정보를 동시에 알리며. 인식해야 하는 문자와 사물의 범위에 즉시 정확하게 초점을 맞출 수 없다. 인식된 지점은 외부 명령이 장치에 제공되는 경우와 유사하게 외부 물리적 장치(예: 손가락)의 도움으로만 지시될 수 있고, 이 때에 장치는 지침에 따라서 만 기능을 완료할 수 있다.

결과적으로, 현재 스마트 안경은 상대적으로 낮은 정보 효율을 가지고 있어 사용자가 시야에서 물체의 배향(orientation)을 인식할 수 없게 되어 사용자 경험이 좋지 않다.

전술한 종래 기술의 결점 또는 단점을 고려하여, 본 발명은 스마트 안경의 알림 효율과 사용자 경험을 향상시키는 스마트 안경 추적 방법과 장치, 스마트 안경, 및 저장 매체를 제공한다.

본 발명의 제1 측면에 따르면, 스마트 안경 추적 방법이 제공되며, 방법은:

이미지를 캡처하는 단계;

이미지 내의 하나 이상의 물체를 식별하는 단계;

이미지의 미리 정의된 위치 또는 영역에 있는 물체를 사용자에게 알리는 단계를 포함한다.

본 발명의 제2 측면에 따르면, 스마트 안경 추적 장치가 제공되며, 장치는:

이미지를 캡처하는 캡처 유닛;

이미지 내의 하나 이상의 물체를 식별하기 위한 식별 유닛; 및

이미지의 미리 정의된 위치 또는 영역에 위치한 물체를 사용자에게 알리기 위한 알림 유닛을 포함한다.

본 발명의 제3 측면에 따르면, 스마트 안경이 제공되며, 스마트 안경은: 프로세서, 카메라, 및 음성 재생 장치가 제공되며,

카메라는 이미지를 캡처하도록 구성되고;

프로세서는 카메라에 의해 캡처된 이미지를 획득하고, 이미지에서 하나 이상의 물체를 식별하도록 구성되며,

음성 재생 장치는 이미지에서 미리 정의된 위치 또는 영역에 위치한 물체를 사용자에게 알리도록 구성된다.

본 발명의 제4 측면에 따르면, 스마트 안경이 제공되며, 스마트 안경은: 프로세서 및 메모리를 구비하고, 메모리는 메모리에 저장된 프로그램 명령을 구비하며, 프로그램 명령이 프로세서에 의해 실행될 경우, 프로그램 명령은 스마트 안경이 본 발명의 임의의 측면의 방법을 수행하게 한다.

본 발명의 제5 측면에 따르면, 컴퓨터 판독 가능한 저장 매체가 제공되며, 컴퓨터 판독 가능한 저장 매체에는 저장된 프로그램 명령이 있고, 스마트 안경의 프로세서에 의해 프로그램 명령이 실행될 경우, 프로그램 명령은 스마트 안경이 본 발명의 임의의 측면의 방법을 수행하게 한다.

본 발명의 제6 측면에 따르면, 프로그램 명령을 포함하는 컴퓨터 프로그램 제품이 제공되고, 프로그램 명령이 스마트 안경의 프로세서에 의해 실행될 경우, 프로그램 명령은 스마트 안경이 본 발명의 임의의 측면의 방법을 수행하게 한다.

본 발명의 실시예는 스마트 안경 추적 방법과 장치, 스마트 안경, 및 저장 매체를 제공하며, 이미지가 캡처된 후에, 이미지 내의 하나 이상의 물체가 식별되고 이미지 내의 미리 정의된 위치 또는 영역에 위치한 물체가 사용자에게 알려진다. 방법에 의해, 이미지의 모든 물체가 아니라, 미리 정의된 위치 또는 영역에 있는 물체가 사용자에게 알려지기 때문에, 스마트 안경의 알림 효율성 및 사용자 경험이 향상된다.

본 발명의 실시예는 스마트 안경 추적 방법과 장치, 스마트 안경, 및 저장 매체를 제공한다. 방법은, 이미지를 캡처하는 단계와 이미지에서 레이저 광의 충돌 지점을 감지하는 단계, 이미지에서 레이저 광의 충돌 지점에서 물체를 식별하는 단계, 및 이어서 레이저 광의 충돌 지점에서 사용자에게 물체를 알리는 단계를 포함하며, 이미지의 모든 물체가 아닌 레이저 광의 충돌 지점에서 감지된 위치에 있는 물체가 사용자에게 알려지기 때문에 스마트 안경의 알림 효율성과 사용자 경험이 향상된다.

전술한 설명은 본 발명의 기술적 수단을 보다 명확하게 이해할 수 있도록 본 발명의 기술적 솔루션을 간략히 요약한 것이며, 따라서 설명의 내용에 따라 구현 될 수 있다는 것을 이해해야 한다. 본 발명 내용의 전술한 목적과 다른 목적, 특징, 및 이점을 더 명확하고 용이하게 이해하기 위해, 본 발명의 특정 실시예는 특정 예를 통해 아래에 설명된다.

예시적인 실시예에 대한 다음의 상세한 설명을 읽은 후에, 당업자는 본원에 설명된 이점과 장점, 및 기타 이점과 장점을 이해할 것이다. 첨부된 도면은 단지 예시적인 실시예를 설명하기 위한 것이며, 본 발명을 제한하는 것으로 간주되어서는 안된다. 또한, 첨부된 도면 전체에 걸쳐 동일한 번호는 동일한 구성 요소를 나타낸다.
도 1은 본 발명의 일 실시예에서 제공하는 스마트 안경 추적 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에서 제공되는 이미지에 정의된 위치와 이미지에 정의된 영역의 개략도이다.
도 3은 본 발명의 다른 실시예에서 제공하는 스마트 안경 추적 방법의 흐름도이다.
도 4는 본 발명의 예시적인 실시예에서 제공되는 스마트 안경 추적 장치의 개략적인 구조도이다.
도 5는 본 발명의 예시적인 실시예에서 제공되는 스마트 안경의 개략적인 구조도이다.
도 6은 본 발명의 다른 예시적인 실시예에서 제공되는 스마트 안경의 개략적 인 구조도이다.
도 7은 본 발명의 또 다른 실시예에서 제공되는 스마트 안경 추적 방법의 흐름도이다.
도 8은 본 발명의 다른 실시예에서 제공하는 이미지에서 레이저 광의 충돌 지점의 위치 및 레이저 광의 충돌 지점의 위치 주변에 정의된 영역의 개략도이다.
도 9는 본 발명의 또다른 실시예에서 제공되는 스마트 안경 추적 방법의 흐름도이다.
도 10은 본 발명의 다른 실시예에서 제공되는 스마트 안경 추적 장치의 개략적인 구조도이다.
도 11은 본 발명의 또다른 실시예에서 제공되는 스마트 안경의 개략적인 구조도이다.
도 12는 본 발명의 또다른 예시적인 실시예에서 제공되는 스마트 안경의 개략적인 구조도이다.
도 13은 본 발명의 또다른 예시적인 실시예에서 제공되는 스마트안경의 개략적인 구조도이다.
도 14는 본 발명의 또다른 실시예에서 제공되는 스마트 안경 추적 방법의 흐름도이다.
도 15는 본 발명의 일 실시예에 따른 전자 장치의 예를 나타내는 블록도이다.

이하, 첨부된 도면을 참조하여 본 발명의 예시적인 실시예를 보다 상세하게 설명한다. 본 발명의 예시적인 실시예가 첨부된 도면에 도시되어 있지만, 본 개시는 다양한 형태로 구현될 수 있으며, 본원에 예시된 실시예에 한정되지 않는다는 것을 이해해야 한다. 오히려, 이들 실시예는 본원의 내용이 보다 분명히 이해될 수 있고 본원의 내용의 범위가 당업자에게 완전히 전달될 수 있도록 제공된다.

본원에서, "포함하다" 또는 "갖는다"와 같은 용어는 설명에 개시된 특징, 번호, 단계, 행위, 구성 요소, 및 부분 또는 이들의 조합의 존재를 나타내기 위한 것이며, 하나 이상의 다른 기능, 숫자, 단계, 행위, 구성 요소, 및 부분 또는 이들의 조합이 있을 가능성을 배제하는 것을 의미하지 않는다.

본원에서, 이미지 내의 미리 정의된 위치 또는 영역은 미리 정의된 초점 위치 또는 이미지 내의 영역이라고도 하며, 따라서, 스마트 안경 추적 방법은 스마트 안경 초점 추적 방법이라고도 할 수 있다.

본원의 개시는 일부 실시예에서 예시로서 스마트 안경을 사용하여 아래에 설명되지만, 당업자는 이들 실시예의 스마트 안경이 다른 웨어러블 장치 또는 다른 전자 장치로 대체될 수도 있음을 이해할 수 있다.

또한, 본 개시 내용의 실시예와 실시예의 특징은 충돌 없이 서로 결합될 수 있다는 점에 유의해야 한다. 본원의 개시는 첨부된 도면을 참조하고 실시예들과 관련하여 아래에서 상세하게 설명될 것이다.

도 1에, 본 발명의 일 실시예에서 제공되는 스마트 안경 초점 추적 방법이 도시되어 있다. 방법은:

S101 단계: 이미지를 캡처한 후 이미지에서 하나 이상의 물체를 식별하는 단계;

S102 단계; 이미지의 미리 정의된 초점 위치 또는 영역에 있는 물체를 사용자에게 알리는 단계;를 포함한다.

스마트 안경 초점 추적 방법에 의해, 이미지의 모든 물체가 아니라, 미리 정의된 초점 위치 또는 영역에 있는 물체가 사용자에게 알려진다. 따라서, 스마트 안경의 알림 효율성과 사용자 경험이 향상된다.

단계 S101의 물체는 임의의 물체이거나 미리 정의된 특정 물체일 수 있다.

또한, 시각 장애가 있는 사용자는 스마트 안경을 대상 물체에 초점을 적절하게 맞추기 어려울 수 있으며, 미리 정의된 초점 위치 또는 이미지의 영역에 물체가없는 경우, 사용자에게 머리를 돌리거나 미리 정의된 초점 위치 또는 이미지 영역에 물체가 없다는 메시지를 사용자에게 프롬프트(prompt)할 수 있다.

머리를 돌리라는 메시지 또는 물체가 없다는 메시지를 들은 후, 사용자는 임의로 머리를 돌려 물체를 찾을 수 있다.

또한, 사용자가 물체를 용이하게 검색할 수 있도록, 이미지의 미리 정의된 초점 위치 또는 영역에 물체가 없는 경우, 이미지에서 물체의 배향이 결정될 수 있고, 사용자에게는 머리를 물체의 방향으로 돌리라는 메시지가 프롬프팅된다(prompted). 예를 들어, 이미지의 초점 좌측에 문자 또는 2차원 코드가 있는 경우, 사용자가 머리를 좌측으로 돌릴 수 있도록 초점 좌측에 문자 또는 2차원 코드가 있음이 사용자에게 프롬프트될 수 있다.

사용자가 머리를 돌리는 동안, 프롬프트의 톤(tone)은 미리 정의된 초점 위치 또는 이미지의 영역에 대한 물체의 근접성에 따라 변경될 수 있다. 따라서, 시각 장애가 있는 사용자가 머리를 돌리는 정도를 결정하고 초점을 보다 정확하게 배치할 수 있도록 지원된다. 이러한 경우, 사용자는 물체의 프롬프트된 배향에 따라 머리를 돌리거나, 물체를 찾기 위해 무작위로 머리를 돌릴 수 있다.

예를 들어, 물체가 미리 정의된 초점 위치 또는 이미지의 영역에 점점 더 가까워지면 프롬프트 톤이 더 빨라질 수 있다. 따라서, 사용자는 고개를 돌리는 방향이 올바른지, 고개를 돌리는 정도가 적절한지 판단한다. 대안적으로, 사용자는 물체가 캡처 범위의 중앙에 도달했는지 여부에 대해 고유성을 갖는 다른 음성 프롬프트에 의해 리마인드를 받을 수 있다.

도 2에 도시된 바와 같이, 이미지에서 미리 정의된 초점 위치는 구체적으로 이미지의 중앙 위치일 수 있다. 이미지에서 미리 정의된 초점 영역은 구체적으로 전체 이미지 면적의 1/3 내지 1/2의 면적을 갖는 이미지 중앙의 원형 또는 직사각형 영역일 수 있다. 당업자는 실제 조건에 따라 이미지에서 미리 정의된 초점 위치 범위 및 이미지에서 미리 정의된 초점 영역의 초기 설정을 조정할 수 있고, 사용자는 또한 자신의 사용 습관에 따라 이미지 내의에서 미리 정의된 초점 위치 및 이미지 내의에서 미리 정의된 초점 영역의 범위를 조정할 수 있다.

본 발명의 다른 실시예에서 제공하는 스마트 안경 초점 추적 방법은, 도 3에 도시된 바와 같이,

단계 S301: 카메라로 촬영한 이미지를 획득하는 단계;

단계 S302: 이미지에서 하나 이상의 물체를 식별하는 단계;

단계 S303: 이미지의 중앙 위치에 물체가 있는지 결정하는 단계, 이미지의 중앙 위치에 물체가 있을 경우, 단계 S304를 실행하고, 그렇지 않을 경우, 단계 S305를 실행;

단계 S304: 음성의 형태로, 이미지의 중앙 위치에 있는 물체를 사용자에게 알리는 단계;

단계 S305: 전체 이미지 내의에 물체가 있는지 확인하는 단계, 전체 이미지에 물체가 있을 경우, 단계 S306을 실행하고, 그렇지 않을 경우, 단계 S307을 실행;

단계 S306: 이미지 내의에서 물체의 배향을 결정하는 단계, 및 사용자에게 물체의 배향을 향해 머리를 돌리라고 프롬프트하는 단계; 및

단계 S307: 이미지 내의에 물체가 없음을 사용자에게 알리거나 사용자에게 고개를 돌리라고 프롬프트하는 단계;를 포함한다.

단계 S301에서, 카메라는 일반적으로 스마트 안경이 비교적 안정적인 상태에있을 때 이미지를 캡처한다. 스마트 안경이 상대적으로 빠른 속도로 움직이는 경우, 카메라는 일반적으로 이미지를 캡처하지 않는다. 사용자의 머리를 돌리는 상태는 스마트 안경의 이동 속도와 가속도를 통해 결정될 수 있다.

단계 S303에서, 이미지의 중앙 위치에 물체가 있는지 여부만 결정될 수 있고, 또한 중앙 위치에 물체가 있고 이미지의 중앙 위치 주변에 미리 정의된 영역이 있는지 여부가 결정될 수 있다.

단계 S307에서, 이미지에 물체가 없음이 사용자에게 프롬프트된 후, 사용자는 프롬프트에 따라 무작위로 고개를 돌려 물체를 검색할 수 있다.

사용자는 또한 단계 S306 및 S307에서 프롬프트 기능의 활성화 또는 비활성화 여부를 결정할 수 있다. 사용자가 프롬프트를 활성화하지 않은 경우, 사용자는 물체에 대한 알림을 받지 않는 한 이미지에 물체가 없다고 결정할 수 있으며, 사용자는 물체를 찾기 위해 무작위로 머리를 돌릴 수 있다.

스마트 안경으로 환경 정보를 알려고 할 때, 사용자는 머리를 돌려 특정 방향의 물체 정보를 알 수 있다. 예를 들어, 홀에 도착하여 홀의 레이아웃과 홀에 있는 것들에 대해 알고 싶을 때, 시각 장애가 있는 사용자는 머리를 돌려 특정 방향의 물체에 대한 정보를 알 수 있다. 문자와 2차원 코드는 특별한 정보이다. 예를 들어, 이미지 중앙에 문자가 있는 경우. 해당 문자가 사용자에게 직접 알려진다. 문자가 중앙 영역의 좌측에 있으면 좌측에 문자가 있다는 프롬프트가 표시되고 사용자는 머리를 좌측으로 돌릴 수 있고, 문자가 이미지의 중앙에 도달하면 문자가 사용자에게 알려진다.

이미지에서 미리 정의된 초점 위치는 사용자 설정에 따라 표시되거나 표시되지 않을 수 있다. 시력이 정상인 사용자가 사용하는 웨어러블 기기(예: VR)의 경우, 도 2에 도시된 바와 같이, 사용자가 결정하고 조정하도록, 점을 시각적 이미지의 중심 지점으로 도시하기 위해, 이미지의 미리 정의된 초점 위치는 십자 표시로 표시될 수 있다. 시각 장애가 있는 사용자의 경우, 이미지의 미리 정의된 초점 위치는 표시되지 않을 수 있다.

유사하게, 이미지의 미리 정의된 초점 영역은 사용자 설정에 따라 표시되거나 표시되지 않을 수도 있다. 시력이 정상인 사용자가 사용하는 웨어러블 기기(예: VR)의 경우, 사용자가 결정하고 조정하도록, 영역을 시각적 이미지의 중심 영역으로 도시하기 위해, 이미지의 미리 정의된 초점 영역은 빨간색 프레임과 같은 특수 프레임으로 구성될 수 있다. 시각 장애가 있는 사용자의 경우, 이미지에서 미리 정의된 초점 영역이 표시되지 않을 수 있다.

이미지 내의에서(또는 전체 이미지 면적의 1/3 내지 1/2(비율 조정 가능) 면적이 있는 위치 주변 영역에서) 미리 정의된 초점 위치에 특징 정보(예: 문자 및 2차원 코드와 같은 기능 정보)가 있는 경우, 정보는 사용자에게 직접 알려진다.

본 발명의 일 실시예는 스마트 안경 초점 추적 장치를 더 제공하며, 도 4에 도시된 바와 같이, 스마트 안경 초점 추적 장치는:

이미지를 캡처한 후 이미지에서 하나 이상의 물체를 식별하는 식별 유닛 (401); 및

이미지의 미리 정의된 초점 위치 또는 영역에 위치한 물체를 사용자에게 알리기 위한 알림 유닛(402);을 포함한다.

또한, 알림 유닛(402)은:

사용자에게 머리를 돌리는 것을 프롬프트하거나, 또는 미리 정의된 초점 위치 또는 이미지 영역에 물체가 없는 경우 미리 정의된 초점 위치 또는 영역에 물체가 없음을 사용자에게 프롬프트하는 데에 더 사용된다.

또한, 이미지 내의에 미리 정의된 초점 위치 또는 영역에 물체가 없는 경우, 사용자에게 머리를 돌리라고 프롬프트하는 알림 유닛(402)은, 특히, 이미지 내의 미리 정의된 초점 위치 또는 영역에 물체가 없는 경우, 이미지에서 물체의 배향을 결정하고 사용자에게 머리를 물체의 방향으로 돌리라고 프롬프트한다.

또한, 알림 유닛(402)은 사용자가 머리를 돌릴 때 미리 정의된 초점 위치 또는 이미지의 영역에 대한 물체의 근접성에 따라 프롬프트의 톤을 변경하는 데에 더 사용된다.

또한, 이미지 내의 미리 정의된 초점 위치는 특히 이미지 내의 중앙 위치이다.

이미지 내의 미리 정의된 초점 영역은 특히 전체 이미지 면적의 1/3 내지 1/2 면적이 있는 이미지 중앙의 원형 또는 직사각형 영역이다.

본 발명의 실시예는, 도 5에 도시된 바와 같이, 프로세서(501), 카메라(502), 및 음성 재생 장치(503)를 포함하는 스마트 안경을 더 제공한다.

프로세서(501)는 카메라(502) 및 음성 재생 장치(503)에 연결된다. 이미지는 카메라(502)에 의해 캡처된다. 이미지의 하나 이상의 물체가 프로세서(501)에 의해 식별된 후, 영상에서 미리 정의된 초점 위치 또는 영역에 위치한 물체는 음성 재생 장치(503)에 의해 사용자에게 통지된다.

음성 재생 장치(503)는 라우드스피커(loudspeaker)일 수 있다.

또한, 도 6에 도시된 바와 같이, 스마트 안경은 스마트 안경의 이동 상태를 결정하기 위한 관성 센서 어셈블리(504)를 더 포함할 수 있고, 관성 센서 어셈블리(504)는 프로세서(501)에 연결된다.

또한, 관성 센서 어셈블리(504)는:

스마트 안경의 이동 속도를 결정하는 속도 센서;

스마트 안경의 이동 속도를 결정하는 가속도 센서; 및

스마트 안경의 세로축과 세로선(지구 중심을 향한 선) 사이의 끼인각 정보를 결정하는 자이로스코프; 중 하나 또는 이들의 조합을 포함한다.

스마트 안경 초점 추적 방법 및 장치에 의해, 본원에서 제공하는 스마트 안경 및 저장 매체, 시야에 있는 모든 물체가 사용자에게 알려지는 것을 방지하기 위해, 미리 정의된 초점 위치 또는 시야 내 초점 영역에 있는 물체가 사용자에게 알려질 수 있고, 사용자에게 물체의 방향을 프롬프트하여 사용자가 물체를 추적하고 사용자의 사용 경험을 향상시키는 것이 용이해질 수 있다.

도 7에, 본 발명의 또다른 실시예에서 제공되는 스마트 안경 초점 추적 방법이 도시되어 있다. 방법은:

단계 S701: 이미지를 캡처하고 이미지에서 레이저 광의 충돌 지점을 감지하는 단계;

단계 S702: 이미지에서 레이저 광의 충돌 지점에서 물체를 식별하는 단계;

단계 S703: 레이저 광의 충돌 지점에서 사용자에게 물체를 알리는 단계;를 포함한다.

스마트 안경 초점 추적 방법에 의해, 스마트 안경의 알림 효율성과 사용자 경험이 향상되도록, 이미지 내의 모든 물체가 아니라, 레이저 광의 충돌 지점에서 감지된 위치에 있는 물체가 사용자에게 알려진다.

단계 S702의 물체는 임의의 물체이거나 미리 정의된 특정 물체일 수 있다.

비교적 작거나 비교적 먼 물체의 경우, 레이저 광선의 충돌 지점이 물체에 정확하게 떨어지지 않을 수 있으며, 이 경우, 해당 영역의 물체가 모두 직접 식별되고 사용자에게 알려져서 사용자의 사용 경험이 더욱 향상되도록, 레이저 광의 충돌 지점 주변에 영역이 추가로 설정될 수 있다.

이러한 경우, 방법은:

이미지에서 레이저 광의 충돌 지점 주변의 미리 정의된 영역에서 물체를 식별하는 단계; 및

레이저 광의 충돌 지점 주변의 미리 정의된 영역에 있는 물체를 사용자에게 알리는 단계;를 더 포함한다.

또한, 시각 장애가 있는 사용자는 스마트 안경을 대상 물체에 적절하게 초점을 맞추기 어려울 수 있고, 레이저 광의 충돌 지점 또는 이미지에서 레이저 광의 충돌 지점 주변의 미리 정의된 영역에 물체가 없는 경우, 사용자에게 머리를 돌리라고 프롬프트하거나, 또는 레이저 광의 충돌 지점 또는 이미지에서 레이저 광의 충돌 지점 주변의 미리 정의된 영역에 물체가 없음을 사용자에게 프롬프트할 수 있다.

일반적으로, 레이저 광의 충돌 지점 또는 이미지에서 레이저 광의 충돌 지점 주변의 미리 정의된 영역에 물체가 없는 경우, 사용자에게 머리를 돌리라는 메시지가 표시될 수 있거나, 또는 레이저 광의 충돌 지점 또는 레이저 광의 충돌 지점 주변의 미리 정의된 영역에 물체가 없다는 관련 음성 프롬프트가 사용자에게 전송될 수 있다. 이러한 경우, 사용자는 음성 안내에 따라 무작위로 머리를 돌려 물체를 검색할 수 있다. 유사하게, 전체 이미지에서 물체가 식별되지 않을 경우, 사용자에게 머리를 돌리라는 메시지가 표시될 수 있거나, 또는 이미지 영역에 물체가 없다는 관련 음성 프롬프트가 사용자에게 전송될 수 있다. 이 경우, 사용자는 음성 안내에 따라 임의로 머리를 돌려 물체를 검색할 수도 있다.

또한, 레이저 광의 충돌 지점에 물체가 없는 경우, 또는 이미지 내의 레이저 광의 충돌 지점 주변에 미리 정의된 영역에 물체가 없는 경우, 이미지 내의에서 물체의 배향이 결정되고, 사용자에 머리를 물체의 방향으로 돌리라는 메시지가 표시된다. 예를 들어, 이미지에서 레이저 광선의 충돌 지점 좌측에 문자 또는 2차원 코드가 있는 경우, 사용자가 머리를 좌측으로 돌릴 수 있도록 레이저 광의 충돌 지점 좌측에 문자 또는 2차원 코드가 있음이 사용자에게 프롬프트될 수 있다.

사용자가 머리를 돌리면, 시각 장애가 있는 사용자가 머리를 돌리는 정도를 용이하게 결정할 수 있도록, 그리고 보다 정확하게 초점을 위치시킬 수 있도록, 프롬프트의 톤은 레이저 광의 충돌 지점 또는 레이저 광의 충돌 지점 주변의 미리 정의된 영역에 대한 물체의 근접성에 따라 변경될 수 있다. 이러한 경우, 사용자는 물체의 프롬프트된 방향에 따라 머리를 돌리거나, 물체를 찾기 위해 무작위로 머리를 돌릴 수 있다.

예를 들어, 물체가 레이저 광의 충돌 지점 또는 이미지에서 레이저 광의 충돌 지점 주변의 미리 정의된 영역에 점점 더 가까워지면 프롬프트 톤이 더 빨라질 수 있다. 따라서, 사용자는 머리를 돌리는 방향이 올바른지, 머리를 돌리는 정도가 적절한지 결정한다. 대안적으로, 사용자는, 고유성을 갖는 다른 음성 프롬프트에 의해, 물체가 레이저 광의 충돌 지점 또는 레이저 광의 충돌 지점 주변의 미리 정의된 영역에 도달했는지 여부가 리마인드될 수 있다.

대부분의 사용자의 사용 습관에 따라, 레이저 광의 충돌 지점이 이미지의 중앙 영역에 위치하는 것이 바람직하다. 그러나, 카메라와 레이저 방출기의 각도가 상대적으로 고정되어 있을 때, 상대적으로 가깝고 상대적으로 먼 물체의 경우, 이미지 내의 레이저 광의 충돌 지점 좌표가 정확히 일치하지 않을 수 있다. 따라서, 레이저 광의 충돌 포인트가 최대한 이미지의 중앙 영역에 위치한다면 사용자는 더 나은 사용 경험을 얻을 수 있다.

도 8에 도시된 바와 같이, 레이저 광의 충돌 지점은 이미지의 중앙 위치에 있을 수 있고, 레이저 광의 충돌 지점 주변의 미리 정의된 영역은, 특히, 전체 이미지 면적의 1/3 내지 1/2의 면적을 갖는 레이저 광의 충돌 지점 주변의 원형 또는 직사각형 영역일 수 있다. 통상의 기술자는 실제 조건에 따라 레이저 광의 충돌 지점의 초기 설정 및 레이저 광의 충돌 지점 주변의 미리 정의된 영역의 범위를 조정할 수 있고, 사용자는 또한 자신의 사용 습관에 따라 레이저 광의 충돌 지점 및 레이저 광의 충돌 지점 주위의 미리 정의된 영역의 범위를 조정할 수 있다.

레이저 광선이 가시적 적외선이면, 육안으로 볼 수 있는 적색 스폿(spot)이 레이저 광선의 충돌 지점에 나타난다. 이러한 경우, 적색 스폿의 위치는 캡처된 이미지에서 직접 식별될 수 있으며, 즉, 이미지 내의에서 레이저 광의 충돌 지점의 위치가 결정될 수 있다. 이러한 경우, 이미지를 캡처하고 이미지에서 적외선 레이저 스폿을 검출하는 단계(S701)는 카메라를 통해 수행될 수 있다. 그러나, 가시 적외선을 사용하면 주변에 있는 다른 사람이 방해를 받을 수 있다. 대신에, 육안으로 보이지 않는 광선이 사용될 수 있고, 이러한 경우, 이미지는 제1 카메라에 의해 캡처될 수 있고, 레이저 광의 충돌 지점의 위치는 제2 카메라에 의해 감지될 수 있으며, 캡처된 이미지에서 레이저 광의 충돌 지점의 위치는 제1 카메라와 제2 카메라 사이의 미리 설정된 상관관계에 따라 결정될 수 있다.

바람직하게, 단계 S701 이전에, 스마트 안경의 이동 속도가 미리 설정된 값 미만으로 판단되어, 사용자가 머리를 돌리는 동안 이미지의 캡처로 인한 사용자 간섭을 피할 수 있다.

바람직한 실시예에서, 도 9에 도시된 바와 같이, 본 발명의 또다른 실시예에서 제공되는 스마트 안경 초점 추적 방법은:

단계 S901: 제1 카메라로 이미지를 촬영하고, 제2 카메라로 레이저 광의 충돌 지점의 위치를 감지하는 단계;

단계 S902: 제1 카메라와 제2 카메라 사이의 미리 설정된 상관관계에 따라, 캡쳐된 이미지에서 레이저 광의 충돌 지점의 위치를 결정하는 단계;

단계 S903: 레이저 광의 충돌 지점에 물체가 있는지 여부를 결정하는 단계, 레이저 광의 충돌 지점에 물체가 있는 경우, 단계 S904를 실행, 그렇지 않을 경우, 단계 S906을 실행;

단계 S904: 이미지 내의 레이저 광의 충돌 지점에서 물체를 식별하는 단계;

단계 S905: 레이저 광의 충돌 지점에서 물체를 사용자에게 알리는 단계;

단계 S906: 전체 이미지 내의에 물체가 있는지 여부를 결정하는 단계, 전체 이미지 내의에 물체가 있을 경우, 단계 S907을 실행, 그렇지 않을 경우, 단계 S908을 실행;

단계 S907: 물체와 이미지 내의 레이저 광의 충돌 지점 사이에서, 위치 관계를 결정하는 단계, 및 사용자에게 머리를 물체의 방향으로 돌리라고 프롬프팅하는 단계; 및

단계 S908: 사용자에게 이미지 내의에 물체가 없음을 알리거나 머리를 돌리라고 하는 단계;를 포함한다.

단계 S901에서, 카메라는 일반적으로 스마트 안경이 비교적 안정적인 상태에있을 때 이미지를 캡처한다. 스마트 안경이 상대적으로 빠른 속도로 움직이면, 카메라는 일반적으로 이미지를 캡처하지 않는다. 사용자의 머리가 회전하는 상태는 스마트 안경의 이동 속도와 가속도를 통해 결정될 수 있다.

단계 S903에서, 레이저 광의 충돌 지점에 물체가 있는지 여부만 결정될 수 있고, 또한 레이저 광의 충돌 지점과 레이저 광의 충돌 지점 주변에 미리 정의된 영역에 물체가 있는지 여부가 결정될 수 있다.

단계 S908에서, 이미지 내의에 물체가 없음을 사용자에게 프롬프트한 후, 사용자는 프롬프트에 따라 무작위로 머리를 돌려 물체를 검색할 수 있다.

사용자는 또한 단계 S907 및 S908에서 프롬프트 기능의 활성화 또는 비활성화 여부를 결정할 수 있다. 사용자가 프롬프트를 활성화하지 않은 경우, 사용자는 물체에 대한 알림을 받지 않는 한 이미지 내의에 물체가 없다고 결정할 수 있으며, 이어서 사용자는 물체를 찾기 위해 무작위로 머리를 돌릴 수 있다.

스마트 안경으로, 주변 환경 정보에 대해 알고 싶을 경우, 사용자는 머리를 돌려 특정 방향의 물체에 대한 정보를 알 수 있다. 예를 들어, 홀에 도착하여 홀의 레이아웃과 홀에 있는 것들에 대해 알고 싶을 경우, 시각 장애가 있는 사용자는 머리를 돌려 특정 방향의 물체에 대한 정보를 알 수 있다. 문자와 2차원 코드는 특별한 정보이다. 예를 들어, 레이저 광선의 충돌 지점에 문자가 있는 경우 해당 문자는 사용자에게 직접 알려진다. 문자가 레이저 광선의 충격 지점 좌측에 있는 경우, 좌측에 문자가 있다는 메시지가 표시되고 사용자는 머리를 좌측으로 돌릴 수 있으며, 문자가 레이저 광의 충돌 지점에 도달하면 문자가 사용자에게 알려진다.

이미지 내의 레이저 광의 충돌 지점의 위치는 사용자의 설정에 따라 표시되거나 표시되지 않을 수 있다. 시력이 정상인 사용자가 사용하는 웨어러블 장치(예: VR)의 경우, 도 8에 도시된 바와 같이, 사용자가 결정하고 조정하도록, 레이저 광의 충돌 지점(즉, 현재의 이미지 초점)으로 지점을 도시하기 위해, 이미지 내의에서 미리 정의된 초점 위치는 십자 표시로 표시될 수 있다. 시각 장애가 있는 사용자의 경우 표시되지 않을 수 있다.

유사하게, 이미지 내의 레이저 광의 충돌 지점 주변의 미리 정의된 영역은 사용자의 설정에 따라 표시되거나 표시되지 않을 수도 있다. 시력이 정상인 사용자가 사용하는 웨어러블 장치(예: VR)의 경우, 사용자가 결정 및 조정하도록, 영역을 시각적 이미지의 초점 영역으로 도시하기 위해, 레이저 광선의 충돌 지점 위치 주변의 미리 정의된 영역은 빨간색 프레임과 같은 특수 프레임으로 프레임 아웃(framed out)될 수 있다. 시각 장애가 있는 사용자의 경우, 레이저 광의 충돌 지점 위치 주변에 미리 정의된 영역이 표시되지 않을 수 있다.

이미지 내의에서(또는 전체 이미지 면적의 1/3 내지 1/2(비율 조정 가능) 면적이 있는 위치 주변 영역에서) 레이저 광선의 충돌 지점 위치에 특징 정보(예: 문자 및 2차원 코드와 같은 기능 정보)가 있는 경우, 정보는 사용자에게 직접 알려질 수 있다.

본 발명의 일 실시예는, 도 10에 도시된 바와 같이, 스마트 안경 초점 추적 장치를 추가적으로 제공하며, 스마트 안경 초점 추적 장치는:

이미지를 캡처하고 이미지에서 레이저 광의 충돌 지점을 감지하는 캡처 유닛(1001);

이미지 내의 레이저 광의 충돌 지점에서 물체를 식별하는 식별 유닛(1002); 및

레이저 광의 충돌 지점에서 물체를 사용자에게 알리기 위한 알림 유닛(1003);을 포함한다.

또한, 식별 유닛(1002)은 또한 이미지 내의 레이저 광의 충돌 지점 주변의 미리 정의된 영역에서 물체를 식별하기 위해 사용된다.

알림 유닛(1003)은 또한 레이저 광의 충돌 지점 주변의 미리 정의된 영역에있는 물체를 사용자에게 알리기 위해 사용된다.

또한, 알림 유닛(1003)은 또한, 레이저 광의 충돌 지점 또는 이미지 내의 레이저 광의 충돌 지점 주위의 미리 정의된 영역 내에 물체가 없을 경우, 사용자에게 머리를 돌리라고 프롬프트하기 위해 사용된다.

또한, 이미지 내의 레이저 광의 충돌 지점 또는 레이저 광의 충돌 지점 주변의 미리 정의된 영역에 물체가 없는 경우, 사용자에게 머리를 돌리라고 프롬프트하는 알림 유닛(1003)은, 특히 레이저 광의 충돌 지점 또는 이미지 내의 레이저 광의 충돌 지점 주변의 미리 정의된 영역에 물체가 없는 경우, 이미지 내의 물체의 배향을 결정하고 사용자에게 물체의 배향을 향해 머리를 돌리라고 프롬프트한다.

또한, 알림 유닛(1003)은, 사용자가 물체의 프롬프트된 배향에 따라 머리를 돌리는 경우, 레이저 광의 충돌 지점 또는 레이저 광의 충돌 지점 주위의 미리 정의된 영역에 대한 물체의 근접성에 따라 프롬프트 톤을 변경하도록 추가적으로 사용된다.

바람직하게, 레이저 광의 충돌 지점은 이미지의 중앙 영역 내에 있다.

또한, 캡처 유닛(100)은 특히:

이미지를 캡처하고 카메라에 의해 이미지 내의 적외선 레이저 스폿을 감지하거나; 또는

제1 카메라에 의해 이미지를 캡처하며, 제2 카메라에 의해 레이저 광의 충돌 지점의 위치를 감지하고, 제1 카메라와 제2 카메라 사이의 미리 설정된 상관 관계에 따라 캡처된 이미지 내의 레이저 광의 충돌 지점 위치를 결정하는 데에 사용된다.

바람직하게, 캡처 유닛(1001)은, 추가적으로 이미지를 촬영하고 이미지에서 레이저 광의 충돌 지점을 검출하기 전에, 스마트 안경의 이동 속도가 미리 설정된 값보다 작은지를 결정하는 데에 사용된다.

본 발명의 일 실시예는 또한, 도 11에 도시된 바와 같이, 이에 대응하여 스마트 안경을 제공하며, 스마트 안경은:

레이저 광선을 방출하기 위한 레이저 방출기(1101);

이미지를 촬영하고 이미지에서 레이저 광의 충돌 지점을 감지하기 위한 촬영 장치(1102);

이미지 내의 레이저 광의 충돌 지점에서 물체를 식별하기 위한 프로세서(1103); 및

레이저 광의 충돌 지점에서 물체를 사용자에게 알리기 위한 음성 재생 장치(1104);를 포함한다.

프로세서(1103)는 촬영 장치(1102) 및 음성 재생 장치(1104)에 연결된다.

촬영 장치(1102)에 의해 감지된 레이저 광의 충돌 지점은 레이저 방출기(1101)에 의해 방출된 레이저 광의 충돌 지점이다.

또한, 도 12에 도시된 바와 같이, 촬영 장치(1102)는 특히:

이미지를 촬영하기위한 제1 카메라(11021);

레이저 광의 충돌 지점을 감지하는 제2 카메라(11022);를 포함한다.

프로세서(1103)는, 제1 카메라(11021)와 제2 카메라(11022) 사이의 미리 설정된 상관관계에 따라, 제1 카메라(11021)에 의해 캡처된 이미지 내의에서 제2 카메라(11022)에 의해 감지된 레이저 광의 충돌 지점의 위치를 결정한다.

또한, 레이저 방출기(1101)는 촬영 장치(1102)에 의해 캡처된 이미지의 중앙 영역을 가리키는 방향으로 레이저 광선을 방출한다.

또한, 레이저 방출기(1101)는 적외선 방출기일 수 있다.

음성 재생 장치(1104)는 헤드폰 또는 확성기일 수 있다.

또한, 도 13에 도시된 바와 같이, 스마트 안경은 스마트 안경의 이동 상태를 결정하기 위한 관성 센서 어셈블리(1105)를 더 포함하고, 관성 센서 어셈블리(1105)는 프로세서(1103)에 연결된다.

또한, 관성 센서 어셈블리(1105)는:

스마트 안경의 이동 속도를 결정하는 속도 센서;

스마트 안경의 이동 속도를 결정하는 가속도 센서; 및

스마트 안경의 세로축과 세로선 사이(지구 중심을 향한 선)의 끼인각 정보를 결정하는 자이로 스코프; 중 하나 또는 이들의 조합을 포함할 수 있다.

스마트 안경 초점 추적 방법 및 장치에 의해, 시야에 있는 모든 물체가 사용자에게 알려지는 것을 방지하기 위해, 본원에서 제공하는 스마트 안경 및 저장 매체, 시야에서 레이저 광의 충돌 지점에 있는 물체가 사용자에게 알려질 수 있고, 사용자에게 물체의 배향을 프롬프트하라는 메시지가 표시될 수 있으며, 이에 따라사용자가 물체를 추적하고 사용자의 사용 경험이 향상되는 것이 용이해진다.

본 발명의 다른 실시예는 스마트 안경 추적 방법을 제공한다. 방법의 단계는도 14를 참조하여 상세하게 설명된다.

단계 S1401에서, 스마트 안경의 이동 상태가 결정된다.

스마트 안경은 스마트 안경의 이동 상태를 판단하기 위해 관성 센서와 같은 센서를 포함할 수 있다.

스마트 안경을 착용하고 모바일 장치(휴대폰, 스마트 밴드 등)를 휴대하는 사용자의 경우, 모바일 장치의 이동 상태는 스마트 안경의 이동 상태와 유사하다. 따라서, 스마트 안경은 사용자가 휴대하는 모바일 장치와 무선으로 연결되어 모바일 장치로부터 이동 상태 정보를 수신할 수 있다. 따라서, 스마트 안경의 이동 상태는 모바일 장치로부터 수신된 이동 상태 정보에 따라 결정될 수 있다.

단계 S1402에서, 스마트 안경의 이동 상태에 따라 스마트 안경이 제1 동작 모드 또는 제2 동작 모드로 조절된다.

스마트 안경이 제1 동작 모드 또는 제2 동작 모드에 있도록, 사용자(또는 스마트 안경)의 이동 속도에 따라 스마트 안경의 동작 모드가 조절될 수 있다.

예를 들어, 사용자(또는 스마트 안경)의 이동 속도가 제1 속도 범위에 속할 때, 스마트 안경이 제1 동작 모드로 조정된다. 사용자(또는 스마트 안경)의 이동 속도가 제2 속도 범위에 속할 때, 스마트 안경이 제2 동작 모드로 조정된다. 제1 속도 범위의 속도는 제2 속도 범위의 속도보다 크다. 대안적으로, 사용자(또는 스마트 안경)의 이동 속도가 제1 미리 설정된 값보다 작고 제2 미리 설정된 값보다 큰 경우, 스마트 안경은 제1 동작 모드로 조정된다. 사용자(또는 스마트 안경)의 이동 속도가 제2 미리 설정된 값보다 작은 경우, 스마트 안경이 제2 동작 모드로 조정된다.

예를 들어, 걷고 있는 사용자(특히 시각 장애인)는 위험을 방지하기 위해 스마트 안경이 전방 장애물에 대한 정보를 제공하기를 원할 수 있다. 이러한 경우, 스마트 안경이 제1 동작 모드로 조정될 수 있다. 따라서, 스마트 안경은 이미지 내의 하나 이상의 물체를 식별할 수 있고, 이미지 내의 미리 정의된 위치 또는 영역에 있는 물체를 사용자에게 알릴 수 있다. 이미지의 중심 지점 또는 이미지 중앙의 영역이 사용자 전방의 위치에 대응하고, 따라서, 미리 정의된 위치 또는 영역은 이미지의 중심 지점 또는 이미지의 중간 영역일 수 있다.

사용자가 가만히 있거나 천천히 움직일 때, 스마트 안경은 이미지의 미리 정의된 위치 또는 영역에 대상 물체가 있는지 여부를 결정하기 위해 제2 동작 모드로 조정될 수 있다. 대상 물체의 하나의 예는 2차원 코드 또는 바코드이고, 대상 물체의 또다른 예는 문자 또는 문자가 있는 물체이다. 2차원 코드 또는 문자가 이미지의 미리 정의된 위치 또는 영역에 있을 때, 스마트 안경은 2차원 코드를 식별하거나 문자를 사용자에게 판독할 수 있다.

또다른 예에서, 시각 장애가 있는 사용자가 홀에 도착하여 홀의 레이아웃과 홀의 사물에 대해 알고 싶어한다. 시각 장애가 있는 사용자는 머리를 돌려 홀에 있는 사물의 정보를 알 수 있다. 이러한 경우, 스마트 안경의 동작 모드는 사용자 머리의 이동 속도에 따라 조절될 수 있다. 스마트 안경의 이동 속도가 상대적으로 높을 때, 스마트 안경이 이미지 내의에서 하나 이상의 물체를 식별하고 이미지 내의 미리 정의된 위치 또는 영역에 있는 물체를 사용자에게 알리도록, 스마트 안경은 제1 동작 모드로 이루어질 수 있다. 안경의 이동 속도가 상대적으로 느리면, 사용자의 머리가 천천히 움직인다는 것을 나타내며, 안경은 제2 동작 모드로 조정되어 대상 물체가 있는지 확인되고, 예를 들어, 이미지의 미리 정의된 위치 또는 영역에 있는 문자 또는 2차원 코드와 같은 특수 정보가 있는지 확인된다.

이미지의 미리 정의된 영역은, 예를 들어, 이미지 중간의 원형 또는 직사각형 영역이며, 전체 이미지 영역에 대해 미리 정의된 면적의 면적 비율은 1/3 내지 1/2 또는 다른 값일 수 있다.

S1403 단계에서, 카메라로 캡처한 이미지가 얻어진다.

S1404 단계에서, 카메라에 의해 캡처된 이미지 내의 하나 이상의 물체가 식별된다.

스마트 안경은 종래 기술의 임의의 방법을 사용하여 이미지 내의 하나 이상의 물체를 식별할 수 있다. 대안적으로, 스마트 안경은 사용자가 휴대한 모바일 장치로 이미지를 전송할 수 있다. 따라서, 모바일 장치는 이미지 내의 하나 이상의 물체를 식별한다. 이어서 스마트 안경은 모바일 장치로부터 식별 결과를 수신한다.

단계 S1405에서, 이미지의 미리 정의된 위치 또는 영역 내에 물체가 있는지 여부가 결정된다. 이미지의 미리 정의된 위치 또는 영역 내에 물체가 있는 경우, 단계 S1406이 수행되고, 그렇지 않을 경우, 단계 S1407이 수행된다.

예로서, 이미지의 미리 정의된 위치 또는 영역에 물체가 있는지 여부를 결정하는 단계는: 이미지 식별 결과에 따라, 스마트 안경이 제1 동작 모드에 있는 경우, 미리 정의된 위치에서 또는 사용자에 알려져야 할 이미지 내의 영역에서 식별된 물체들로부터 물체를 선택하는 단계; 및 안경이 제2 동작 모드에 있는 경우, 이미지 내의 미리 정의된 위치 또는 영역에 대상 물체가 있는지 여부를 확인하는 단계;를 포함할 수 있다. 대상 물체는, 예를 들어, 2차원 코드 또는 문자이며, 사용자에 의해 미리 설정될 수 있다.

미리 정의된 위치 또는 영역은 이미지의 중심 지점 또는 이미지 내의 중간 영역일 수 있다.

단계 S1406에서, 이미지 내의 미리 정의된 위치 또는 영역에 있는 물체는 음성 형태로 사용자에게 알려질 수 있다.

음성의 형태로, 이미지의 미리 정의된 위치 또는 영역에 있는 물체를 사용자에게 알리는 단계는: 안경이 제1 동작 모드에 있을 경우, 음성의 형태로, 이미지의 미리 정의된 위치 또는 영역에 있는 물체를 사용자에게 알리는 단계; 및 안경이 제2 동작 모드에 있을 경우, 음성의 형태로, 사용자에게 대상 물체를 알리는 단계;를포함할 수 있다.

단계 S1407에서, 전체 이미지 내의에 물체가 있는지 여부가 결정되고, 전체 이미지 내의에 물체가 있을 경우, 단계 S1408이 수행되며, 그렇지 않을 경우, 단계 S1409가 수행된다.

스마트 안경이 제2 동작 모드에 있을 때, 이미지의 미리 정의된 위치 또는 영역에 대상 물체가 없는 경우, 사용자에게 특정 프롬프트 톤이 생성될 수 있으며, 한편, 이미지 내의 다른 위치에 대상 물체가 있는지 여부가 결정될 수 있다.

스마트 안경이 제1 동작 모드인 경우, S1407 단계 이후의 단계는 수행되지 않을 수 있다.

단계 S1408에서, 이미지 내에서의 물체의 배향이 결정되고, 사용자는 물체의 방향으로 머리를 돌리라고 프롬프트된다.

이미지의 또다른 위치에 대상 물체가 있는 경우, 스마트 안경의 이동 방향은 대상 물체와 미리 정의된 위치 사이의 상대적 위치 관계 또는 이미지 내의 영역에 따라 결정되며, 사용자는 방향으로 이동하도록 프롬프트된다.

프롬프트 이후에, 사용자가 천천히 이동하면, 이는 사용자가 대상 물체를 추가로 배치하기를 원함을 나타내고, 그렇지 않을 경우, 사용자가 빠르게 이동할 경우, 이는 사용자가 대상 물체를 더 이상 위치시키는 것을 원하지 않음을 나타낸다.

따라서, 스마트 안경의 이동 중에 스마트 안경의 이동 속도가 결정될 수 있다. 스마트 안경의 이동 속도가 미리 설정된 제3 값보다 작을 때, 카메라는 미리 결정된 시간 간격으로 하나 이상의 추가 이미지를 캡처할 수 있다. 스마트 안경은 대상 물체와 미리 정의된 위치 사이의 거리 또는 캡처된 이미지 내의 영역을 계산할 수 있고, 계산된 거리에 따라 생성된 프롬프트 톤의 주파수 및/또는 볼륨을 변경할 수 있다. 이러한 프로세스는 캡처된 이미지가 미리 정의된 위치 또는 그 영역에 대상 물체를 포함할 때까지 지속된다.

단계 S1409에서, 이미지에 물체가 없다는 메시지가 사용자에게 표시된다.

이미지에서 미리 정의된 위치 또는 영역은 다른 방법을 사용하여 결정될 수도 있다. 예를 들어, 레이저 광을 방출하기 위해 레이저가 사용될 수 있다. 레이저 광의 충돌 지점은 미리 정의된 위치에 대응한다. 레이저 광의 충돌 지점 주변 영역은 미리 정의된 영역에 대응한다. 카메라 또는 광전 감지기를 사용하여 반사된 레이저 광을 감지함으로써, 이미지 내의 미리 정의된 위치 또는 영역에 있는 물체(예: 대상 물체)와 스마트 안경 사이의 거리를 결정할 수 있다.

레이저에서 방출되는 빛이 가시광인 경우, 이미지에서 레이저 빛의 위치는 미리 정의된 위치로 취해질 수 있다. 레이저에서 방출되는 빛이 보이지 않는 빛일 때, 캡처된 이미지에서 레이저 광의 충돌 지점의 대응하는 위치는 캡처된 이미지 용 카메라와 반사된 레이저 광 감지용 카메라 사이의 미리 설정된 상관 관계에 따라 결정될 수 있고, 위치는 이미지 내의 미리 정의된 위치로 취해진다.

첨부된 도면의 흐름도 및 블록도는 본 개시의 다양한 실시예에 따른 방법, 장치 및 컴퓨터 판독 가능 저장 매체의 가능한 구현의 시스템 아키텍처, 기능 및 동작을 예시한다. 흐름도에서 블록으로 표시된 단계는 반드시 숫자로 표시된 순서대로 수행되는 것은 아니며, 기본적으로 동시에 수행되는 경우도 있고, 관련 기능에 따라 역순으로 수행되는 경우도 있다. 또한 블록 다이어그램 및/또는 순서도의 각 블록과 블록 다이어그램 및/또는 순서도의 블록 조합은 지정된 기능 또는 동작을 실행하는 하드웨어에 의해 구현될 수 있으며, 하드웨어 및 컴퓨터 명령의 조합으로 구현된다.

본 발명의 실시예에서 설명된 관련 유닛 또는 모듈은 소프트웨어로 구현될 수도 있고 하드웨어로 구현될 수도 있다.

이상의 실시예의 설명을 통해 당업자는 실시예가 소프트웨어 및 필요한 일반 하드웨어 플랫폼에 의해 구현될 수 있음을 명확하게 이해할 수 있다. 물론, 실시예는 또한 하드웨어로 구현될 수 있다. 이러한 이해를 바탕으로, 실질적으로 전술한 기술 솔루션 또는 선행 기술에 기여하는 그 일부는(들은) 소프트웨어 제품의 형태로 구현될 수 있다. 그리고, 컴퓨터 소프트웨어 제품은 ROM/RAM, 자기 디스크 또는 광학 디스크와 같은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 컴퓨터 장치(개인용 컴퓨터, 서버 또는 네트워크 장치 등)를 사용하여 실시예 또는 실시예의 일부에서 방법을 실행한다.

도 15는 본 발명의 일 실시예에 따른 전자 장치의 예를 나타내는 블록도이다. 전자 장치는 시각 장애인 보조 장치일 수 있다. 시각 장애인 보조 장치는 스마트 안경 또는 스마트 안경의 구성 요소일 수 있다. 도 15에 도시된 구조는 단지 예일 뿐이라는 점에 유의해야 하며, 특정 구현에 따라, 본 개시의 전자 장치는 도 15에 도시된 구성 부분 중 하나만을 또는 하나 이상을 포함할 수 있다.

전자 장치(2000)는 이미지를 촬영하고, 촬영된 이미지를 처리하며, 처리를 통해 획득된 데이터에 응답하여 오디오 프롬프트를 제공할 수 있다. 예를 들어, 전자 장치(2000)는 이미지를 촬영하고, 이미지에 대한 문자 검출 및/또는 인식을 수행하여 문자 데이터를 획득하고, 문자 데이터를 사운드 데이터로 변환하고, 사용자가 들을 수 있도록 사운드 데이터를 출력하도록 구성될 수 있다.

일부 구현에 따르면, 전자 장치(2000)는 안경테(예: 안경테의 테두리, 두 개의 테두리를 연결하는 연결 부품, 안경 다리 또는 기타 부품)를 포함하거나 안경테에 착탈 가능하게 설치되어 사용자의 시야를 거의 포함하는 이미지를 촬영할 수 있다.

일부 구현에 따르면, 전자 장치(2000)는 다른 웨어러블 장치 상에 설치되거나, 또는 다른 웨어러블 장치와 통합될 수 있다. 예를 들어, 웨어러블 장치는 머리에 장착된 장치(예: 헬멧 또는 모자), 귀에 착용할 수 있는 장치 등일 수 있다. 일부 실시예에 따르면, 전자 장치는 웨어러블 장치에 부착된 액세서리, 예를 들어, 헬멧 또는 모자에 부착된 액세서리 등으로 구현될 수 있다.

전자 장치(2000)는 이미지를 캡처하기 위한 카메라(2004)를 포함할 수 있다. 전자 장치(2000)는 문자 인식 회로(2005)를 더 포함할 수 있고, 문자 인식 회로(2005)는 문자 데이터를 획득하기 위해 이미지에 포함된 문자에 대해 문자 검출 및/또는 인식(예를 들어, OCR 처리)을 수행하도록 구성된다. 문자 인식 회로(2005)는 예를 들어 전용 칩으로 구현될 수 있다. 전자 장치(2000)는 사운드 변환 회로(2006)를 더 포함할 수 있으며, 사운드 변환 회로(2006)는 문자 데이터를 사운드 데이터로 변환하도록 구성된다. 사운드 변환 회로(2006)는 예를 들어 전용 칩으로 구현될 수 있다. 전자 장치(2000)는 사운드 출력 회로(2007)를 더 포함할 수 있고, 사운드 출력 회로(2007)는 사운드 데이터를 출력하도록 구성된다. 사운드 출력 회로(2007)는 헤드폰, 라우드스피커 또는 진동기 등을 포함 할 수 있으나, 이에 제한되지 않고 그에 대응하는 구동 회로를 포함한다. 전자 장치(2000)는 추적 회로(전자 회로)(2100)를 더 포함할 수 있고, 추적 회로(전자 회로)(2100)는 전술한 스마트 안경 추적 방법의 단계(예를 들어, 도 1, 3, 7, 9, 및 14의 흐름도에 표시된 방법 단계)를 수행하도록 구성된 회로를 포함한다.

일부 구현에 따르면, 전자 장치(2000)는 이미지 처리 회로(2008)를 더 포함 할 수 있고, 이미지 처리 회로(2008)는 이미지에 대해 다양한 이미지 처리를 수행하도록 구성된 회로를 포함할 수 있다. 이미지 처리 회로(2008)는, 예를 들어: 이미지에 대해 노이즈 감소를 수행하도록 구성된 회로, 이미지에 대해 디퍼지화(defuzzification)를 수행하도록 구성된 회로, 이미지에 대해 기하학적 보정을 수행하도록 구성된 회로, 이미지에 대해 특징 추출을 수행하도록 구성된 회로, 이미지의 물체에 대해 물체 감지 및/또는 식별을 수행하도록 구성된 회로, 이미지에 포함된 문자에 대해 문자 감지를 수행하도록 구성된 회로, 이미지에서 텍스트 라인을 추출하도록 구성된 회로, 이미지에서 문자 좌표를 추출하도록 구성된 회로, 이미지에서 오브젝트 박스를 추출하도록 구성된 회로, 이미지에서 텍스트 상자를 추출하도록 구성된 회로, 이미지를 기반으로 레이아웃 분석(예: 단락 분할)을 수행하도록 구성된 회로 중 하나 이상을 포함할 수 있지만 이에 제한되지는 않는다.

일부 구현에 따르면, 전자 장치(2000)는 문자 처리 회로(2009)를 더 포함할 수 있고, 문자 처리 회로(2009)는 단락 분류, 문자 의미 분석, 및 레이아웃 분석 결과와 같은 처리 결과를 얻기 위해 추출된 문자 관련 정보(예: 문자 데이터, 텍스트 박스, 단락 좌표, 텍스트 라인 좌표, 및 문자 좌표)에 기초하여 다양한 처리를 수행하도록 구성될 수 있다.

위에서 언급한 다양한 회로(예를 들어, 문자 인식 회로(2005), 사운드 변환 회로(2006), 사운드 출력 회로(2007), 이미지 처리 회로(2008), 문자 처리 회로(2009), 및 추적 회로(2100)) 중 하나 이상은 커스텀 하드웨어 및/또는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로 코드, 하드웨어 설명 언어, 또는 이들의 조합을 사용하여 구현될 수 있다. 예를 들어, 위에서 언급한 하나 이상의 회로는, 본 개시 내용과 일치하는 로직 및 알고리즘을 사용하여 어셈블리 언어 또는 하드웨어 프로그래밍 언어(예: VERILOG, VHDL 및 C ++)로, 프로그래밍 하드웨어(예를 들어, FPGA(field programmable gate array, 필드 프로그래밍 가능 게이트 어레이) 및/또는 PLA(programmable logic array, 프로그래밍 가능한 로직 어레이)를 포함하는 프로그래밍 가능 논리 회로)로 구현될 수 있다.

일부 구현에 따르면, 전자 장치(2000)는 통신 회로(2010)를 더 포함할 수 있다. 통신 회로(2010)는 외부 장치 및/또는 네트워크와 통신할 수 있는 모든 유형의 장치 또는 시스템일 수 있고, 블루투스 장치, 1302.11 장치, WiFi 장치, WiMax 장치, 셀룰러 통신 장치 등과 같은, 모뎀, 네트워크 카드, 적외선 통신 장치, 무선 통신 장치 및/또는 칩셋을 포함할 수 있지만 이에 제한되지는 않는다.

일부 구현에 따르면, 전자 장치(2000)는 입력 장치(2011)를 더 포함할 수 있다. 입력 장치(2011)는 전자 장치(2000)에 정보를 입력할 수 있는 모든 유형의 장치일 수 있고, 다양한 센서, 마우스, 키보드, 터치 스크린, 버튼, 조이스틱, 마이크 및/또는 원격 컨트롤러 등을 포함할 수 있지만 이에 제한되지는 않는다.

일부 구현에 따르면, 전자 장치(2000)는 출력 장치(2012)를 더 포함할 수 있다. 출력 장치(2012)는 정보를 표시할 수 있는 모든 유형의 장치일 수 있고, 디스플레이, 시각적 출력 단자, 진동기 및/또는 프린터 등을 포함할 수 있지만 이에 제한되지는 않는다. 일부 실시예에 따라 전자 장치(2000)는 시각 장애인 보조 장치로 사용되지만, 시각 기반 출력 장치는, 전자 장치(2000)로부터 출력 정보를 획득하는 데 있어서, 사용자의 가족 구성원, 유지 보수 직원 등이 용이하게 사용하게 할 수있다.

일부 구현에 따르면, 전자 장치(2000)는 프로세서(2001)를 더 포함할 수 있다. 프로세서(2001)는 임의의 유형의 프로세서일 수 있으며, 하나 이상의 범용 프로세서 및/또는 하나 이상의 전용 프로세서(예: 특수 가공 칩)를 포함할 수 있지만 이에 제한되지는 않는다. 프로세서(2001)는 예를 들어, 중앙 처리 장치(CPU) 또는 마이크로 프로세서 장치(MPU)일 수 있으나 이에 제한되지 않는다. 전자 장치(2000)는 작업 메모리(2002)를 더 포함할 수 있다. 작업 메모리(2002)는 프로세서(2001)의 작업에 유용한 프로그램(명령어 포함) 및/또는 데이터(예를 들어, 이미지, 문자, 음성 및 기타 중간 데이터)를 저장하는 작업 메모리일 수 있고, 랜덤 액세스 메모리 및/또는 판독 전용 메모리 장치를 포함할 수 있지만 이에 제한되지는 않는다. 전자 장치(2000)는 저장 장치(2003)를 더 포함할 수 있다. 저장 장치(2003)는 임의의 비-일시적 저장 장치를 포함할 수 있다. 비-일시적 저장 장치는 비-일시적일 수 있고 데이터 저장을 구현할 수 있는 임의의 저장 장치일 수 있으며, 디스크 드라이브, 광 저장 장치, 솔리드 스테이트 메모리, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프 또는 기타 자기 매체, 광 디스크 또는 기타 광 매체, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), 캐시 메모리 및/또는 기타 메모리 칩 또는 카트리지, 및/또는 컴퓨터가 데이터, 명령, 및/또는 코드를 판독할 수 있는 기타 매체를 포함하나 이들에 제한되지 않는다. 작업 메모리(2002) 및 저장 장치(2003)는 집합적으로 "메모리"로 지칭될 수 있으며, 경우에 따라 상호 교환 적으로 사용될 수 있다.

일부 구현에 따르면, 프로세서(2001)는 카메라(2004), 문자 인식 회로(2005), 음성 변환 회로(2006), 음성 출력 회로(2007), 이미지 처리 회로(2008), 문자 처리 회로(2009), 통신 회로(2010), 추적 회로(전자 회로)(2100), 전자 장치(2000)의 다른 다양한 장치 및 회로 중 적어도 하나를 제어하고 스케줄링할 수 있다. 일부 구현에 따르면, 도 15에 설명된 구성 부분들 중 적어도 일부는 버스(2013)를 통해 상호 연결 및/또는 통신할 수 있다.

소프트웨어 요소(프로그램)는 작업 메모리(2002)에 위치할 수 있고, 운영 체제(2002a), 하나 이상의 애플리케이션 프로그램(2002b), 드라이버 및/또는 기타 데이터 및 코드를 포함할 수 있지만 이에 제한되지는 않는다.

일부 구현에 따르면, 전술한 제어 및 스케줄링을 위한 명령은 운영 체제(2002a) 또는 하나 이상의 애플리케이션 프로그램(2002b)에 포함될 수 있다.

일부 구현에 따르면, 본 개시에 설명된 방법 단계(예를 들어, 도 1, 도 3, 도 7, 도 9 및, 도 14의 흐름도에 도시된 방법 단계)를 수행하기 위한 명령은 하나 이상의 애플리케이션 프로그램(2002b)에 포함될 수 있으며, 전술한 전자 장치(2000)의 모듈은 하나 이상의 애플리케이션 프로그램(2002b)의 명령을 판독하고 실행하는 프로세서(2001)에 의해 구현될 수 있다. 즉, 전자 장치(2000)는 프로세서(2001) 및 프로그램을 저장하는 메모리(예: 작업 메모리(2002) 및/또는 저장 장치(2003))를 포함할 수 있고, 프로그램은 명령을 포함하며, 명령이 프로세서(2001)에 의해 실행될 경우, 프로세서(2001)가 본 개시 내용의 다양한 실시예의 방법을 수행하게 한다.

일부 구현에 따르면, 문자 인식 회로(2005), 사운드 변환 회로(2006), 이미지 처리 회로(2008), 문자 처리 회로(2009), 추적 회로(전자 회로)(2100) 중 적어도 하나에 의해 수행되는 동작의 일부 또는 전부는 하나 이상의 애플리케이션 프로그램(2002b)의 명령어를 판독하고 실행하는 프로세서(2001)에 의해 구현될 수 있다.

소프트웨어 요소(프로그램)의 명령어의 실행 가능한 코드 또는 소스 코드는 비-일시적 컴퓨터 판독 가능 저장 매체(예: 저장 장치(2003))에 저장될 수 있고, 실행될 때 작업 메모리(2002)에 저장될 수 있다(컴파일 및/또는 설치될 수 있음). 따라서, 본 발명은 프로그램을 저장하는 컴퓨터 판독 가능 저장 매체를 제공하며, 프로그램은 명령을 포함하며, 명령이 전자 장치(예: 시각 장애인 보조 장치)의 프로세서에 의해 실행될 경우, 전자 장치가 본 발명의 다양한 실시예의 방법을 수행하게 한다. 또다른 구현에 따르면, 소프트웨어 요소(프로그램) 명령의 실행 코드 또는 소스 코드는 원격 위치에서 다운로드될 수도 있다.

또한 특정 요구 사항에 따라 다양한 변형이 이루어질 수 있음을 이해해야 한다. 예를 들어, 맞춤형 하드웨어가 또한 사용될 수 있고/있거나, 다양한 회로, 유닛, 모듈 또는 요소가 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로 코드, 하드웨어 설명 언어 또는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, 개시된 방법 및 장치에 포함된 회로, 유닛, 모듈, 또는 요소의 일부 또는 전부는 본 발명에 따른 로직 및 알고리즘을 사용함으로써 어셈블리 언어 또는 하드웨어 프로그래밍 언어(예: VERILOG, VHDL 및 C++)로 하드웨어를 프로그래밍(예를 들어, FPGA(field programmable gate array) 및/또는 PLA(programmable logic array)를 포함하는 프로그래밍 가능 논리 회로)함으로써 구현될 수 있다.

일부 구현에 따르면, 전자 장치(2000)의 프로세서(2001)는 네트워크를 통해 분산될 수 있다. 예를 들어, 일부 처리는 하나의 프로세서에 의해 실행될 수 있는 반면, 다른 처리는 하나의 프로세서에서 떨어진 다른 프로세서에 의해 실행될 수 있다. 전자 장치(2000)의 다른 모듈도 유사하게 분산될 수 있다. 따라서, 전자 장치(2000)는 복수의 위치에서 처리를 수행하는 분산 컴퓨팅 시스템으로 해석될 수 있다.

본 개시 내용의 측면은 아래에 열거된 예시적 실시예(EEE)로부터 이해될 수 있다:

EEE 1. 스마트 안경 초점 추적 방법으로서, 상기 방법은:

이미지를 캡처한 후 이미지에서 하나 이상의 물체를 식별하는 단계; 및

사용자에게 이미지의 미리 정의된 초점 위치 또는 영역에 위치한 물체를 알리는 단계;를 포함하는 방법.

EEE 2. EEE 1에 있어서,

이미지의 미리 정의된 초점 위치 또는 영역에 물체가 없는 경우, 사용자에게 머리를 돌리라고 프롬프트하거나 이미지의 미리 정의된 초점 위치 또는 영역에 물체가 없음을 사용자에게 프롬프트하는 단계;를 더 포함하는 방법.

EEE 3. EEE 2에 있어서, 이미지의 미리 정의된 초점 위치 또는 영역에 물체가없는 경우, 사용자에게 머리를 돌리라고 프롬프트하는 단계는:

이미지의 미리 정의된 초점 위치 또는 영역에 물체가 없는 경우, 이미지 내의 물체의 배향을 결정하는 단계 및 사용자에게 물체의 방향으로 머리를 돌리라고 프롬프트하는 단계를 포함하는 방법.

EEE 4. EEE 2에 있어서, 사용자가 머리를 돌릴 때, 미리 정의된 초점 위치 또는 이미지 영역에 대한 물체의 근접성에 따라 프롬프트 톤을 변경하는 단계를 더 포함하는 방법.

EEE 5. EEE 1에 있어서, 이미지의 미리 정의된 초점 위치는 이미지의 중앙 위치이며,

이미지에서 미리 정의된 초점 면적은 전체 이미지의 1/3 내지 1/2 면적을 갖는 이미지 중앙의 원형 또는 직사각형 영역인 방법.

EEE 6. 스마트 안경 초점 추적 장치로서, 상기 장치는:

이미지를 촬영한 후 이미지에서 하나 이상의 물체를 식별하기 위한 식별 유닛; 및

이미지 내의 미리 정의된 초점 위치 또는 영역에 위치한 물체를 사용자에게 알리기 위한 알림 유닛;을 포함하는 장치.

EEE 7. EEE 6에 있어서, 알림 유닛은, 이미지 내의 미리 정의된 초점 위치 또는 영역에 물체가 없는 경우, 사용자에게 머리를 돌리라고 프롬프트하거나 또는 미리 정의된 초점 위치 또는 이미지 영역에 물체가 없다고 사용자에게 프롬프트하도록, 더 사용되는 장치.

EEE 8. EEE 7에 있어서, 이미지의 미리 정의된 초점 위치 또는 영역에 물체가 없는 경우, 사용자에게 머리를 돌리라고 프롬프트하는 것은:

이미지의 미리 정의된 초점 위치 또는 영역에 물체가 없는 경우, 이미지 내 물체의 배향을 결정하고 사용자에게 물체의 방향으로 머리를 돌리라고 프롬프트하는 것을 포함하는 장치.

EEE 9. EEE 7에 있어서, 알림 유닛은:

사용자가 머리를 돌릴 때, 미리 정의된 초점 위치 또는 이미지 영역에 대한 물체의 근접성에 따라 프롬프트 톤을 변경하도록 더 사용되는 장치.

EEE 10. EEE 6에 있어서, 이미지의 미리 정의된 초점 위치는 이미지의 중앙 위치이며,

이미지에서 미리 정의된 초점 면적은 전체 이미지의 1/3 내지 1/2 면적을 갖는 이미지 중앙의 원형 또는 직사각형 영역인 장치.

EEE 11. 스마트 안경으로서, 스마트 안경은 프로세서, 카메라, 및 음성 재생 장치를 포함하고,

프로세서는 카메라와 음성 재생 장치에 연결되어 카메라를 사용하여 이미지 캡처하며, 이미지 내의 하나 이상의 물체를 식별한 후 음성 재생 장치를 사용하여 이미지의 미리 정의된 초점 위치 또는 영역에 있는 물체를 사용자에게 알리는 스마트 안경.

EEE 12. EEE 11에 있어서, 음성 재생 장치는 라우드스피커인 스마트 안경.

EEE 13. EEE 11에 있어서,

스마트 안경의 이동 상태를 결정하기 위한 관성 센서 어셈블리를 더 포함하고, 관성 센서 어셈블리는 프로세서에 연결된 스마트 안경.

EEE 14. EEE 13에 있어서, 관성 센서 어셈블리는:

스마트 안경의 이동 속도를 결정하는 속도 센서;

스마트 안경의 이동 속도를 결정하는 가속도 센서; 및

스마트 안경의 수직축과 지구 중심을 향한 수직선 사이의 끼인각 정보를 결정하는 자이로스코프; 중 하나 또는 이들의 조합을 포함하는 스마트 안경.

EEE 15. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체로서, 컴퓨터 프로그램은 EEE 1 내지 5의 방법을 구현하는 데 사용되는 컴퓨터 판독 가능 저장 매체.

EEE 16. 스마트 안경 초점 추적 방법으로서, 방법은:

이미지를 캡처하고 이미지에서 레이저 광의 충돌 지점을 감지하는 단계;

이미지에서 레이저 광의 충돌 지점에서 물체를 식별하는 단계;

레이저 광의 충돌 지점에서 물체를 사용자에게 알리는 단계;를 포함하는 방법.

EEE 17. EEE 16에 있어서,

이미지 내의 레이저 광의 충돌 지점 주변의 미리 정의된 영역에서 물체를 식별하는 단계; 및

레이저 광의 충돌 지점 주변의 미리 정의된 영역에 있는 물체를 사용자에게 알리는 단계;를 더 포함하는 방법.

EEE 18. EEE 17에 있어서,

레이저 광의 충돌 지점에서 또는 이미지 내의 레이저 광의 충돌 지점 주변의 미리 정의된 영역에 물체가 없는 경우, 사용자에게 머리를 돌리라고 프롬프트하거나 또는 이미지 내의 레이저 광의 충돌 지점 또는 레이저 광의 충돌 지점 주변의 미리 정의된 영역에 물체가 없음을 사용자에게 프롬프트하는 단계;를 더 포함하는 방법.

EEE 19. EEE 18에 있어서, 레이저 광의 충돌 지점에서 또는 이미지 내의 레이저 광의 충돌 지점 주변의 미리 정의된 영역에 물체가 없는 경우, 사용자에게 머리를 돌리라고 프롬프트하는 단계는, 레이저 광선의 충돌 지점에서 또는 이미지 내의 레이저 광선의 충돌 지점 주변의 미리 정의된 영역에 물체가 없는 경우, 이미지 내의 물체의 배향을 결정하는 단계 및 사용자에게 물체의 방향으로 머리를 돌리라고 프롬프트하는 단계를 포함하는 방법.

EEE 20. EEE 18에 있어서,

사용자가 머리를 돌릴 때, 레이저 광의 충돌 지점 또는 레이저 광의 충돌 지점 주변의 미리 정의된 영역에 대한 물체의 근접성에 따라 프롬프트 톤을 변경하는 단계를 더 포함하는 방법.

EEE 21. EEE 16에 있어서, 레이저 광의 충돌 지점은 이미지의 중앙 영역에 있는 방법.

EEE 22. EE 16에 있어서, 이미지 캡처 및 이미지 내의 레이저 광의 충돌 지점 을 감지하는 단계는:

이미지를 캡처하고 카메라에 의해 이미지 내의 적외선 레이저 스폿을 검출하는 단계; 또는

제1 카메라로 이미지를 캡처하고, 제2 카메라로 레이저 광의 충돌 지점 위치를 감지하며, 제1 카메라와 제2 카메라 사이의 미리 설정된 상관 관계에 따라, 캡처된 이미지 내의 레이저 광의 충돌 지점 위치를 결정하는 단계를 포함하는 방법.

EEE 23. EEE 16에 있어서, 이미지를 캡처하고 이미지에서 레이저 광의 충돌 지점을 감지하는 단계 이전에, 방법은 스마트 안경의 이동 속도가 미리 설정된 값 미만인 것으로 판단하는 단계를 더 포함하는 방법.

EEE 24. 스마트 안경 초점 추적 장치로서, 장치는:

이미지를 캡처하고, 이미지에서 레이저 광의 충돌 지점을 검출하는 캡쳐 유닛;

이미지에서 레이저 광의 충돌 지점에서 물체를 식별하는 식별 유닛; 및

레이저 광의 충돌 지점에서 물체를 사용자에게 알리기 위한 알림 유닛;을 포함하는 장치.

EEE 25. 스마트 안경으로서, 스마트 안경은:

레이저 광선을 방출하는 레이저 방출기;

이미지를 촬영하고 이미지에서 레이저 광의 충돌 지점을 감지하는 촬영 장치;

이미지에서 레이저 광의 충돌 지점에서 물체를 식별하는 프로세서; 및

레이저 광의 충돌 지점에서 물체를 사용자에게 알리는 음성 재생 장치;를 포함하고,

프로세서는 촬영 장치 및 음성 재생 장치에 연결되는 스마트 안경.

EEE 26. EEE 25에 있어서, 촬영 장치는:

이미지를 캡처하기 위한 제1 카메라; 및

레이저 광의 충돌 지점을 감지하는 제2 카메라;를 포함하고,

제1 카메라와 제2 카메라 사이의 미리 설정된 상관관계에 따라, 제1 카메라에 의해 캡처된 이미지에서 제2 카메라에 의해 감지된 레이저 광의 충돌 지점 위치를 결정하는 스마트 안경.

EEE 27. EEE 25에 있어서, 레이저 방출기는 촬영 장치에 의해 캡처된 이미지의 중앙 영역을 가리키는 방향으로 레이저 광선을 방출하는 스마트 안경.

EEE 28. EEE 25에 있어서, 레이저 방출기는 적외선 방출기인 스마트 안경.

EEE 29. EEE 25에 있어서, 음성 재생 장치는 헤드폰 또는 라우드스피커인 스마트 안경.

EEE 30. EEE 25에 있어서,

스마트 안경의 이동 상태를 결정하는 관성 센서 어셈블리를 더 포함하고, 관성 센서 어셈블리가 프로세서에 연결되어 있는 스마트 안경.

EEE 31. EEE 30에 있어서, 관성 센서 어셈블리는:

스마트 안경의 이동 속도를 결정하는 속도 센서;

스마트 안경의 이동 속도를 결정하는 가속도 센서; 및

스마트 안경의 세로축과 지구 중심을 향한 세로선 사이의 끼인각 정보를 결정하는 자이로스코프; 중 하나 또는 이들의 조합을 포함하는 스마트 안경.

EEE 32. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체에 있어서, EEE 16 내지 23 중 어느 하나의 방법을 구현하기 위해 컴퓨터 프로그램이 사용되는 컴퓨터 판독 가능한 저장 매체.

본 발명의 실시예 또는 예시는 첨부된 도면을 참조하여 설명되었지만, 전술한 방법, 시스템, 및 장치는 단지 예시적인 실시예 또는 예임을 이해해야 하며, 본 발명의 범위는 실시예 또는 예들에 의해 제한되지 않고 첨부된 승인된 청구 범위 및 그와 동등한 범위에 의해서만 정의된다. 실시예 또는 실시예의 다양한 요소는 생략되거나 그와 동등한 요소로 대체될 수 있다. 또한, 단계는 본원에서 설명된 것과 다른 순서로 실행될 수 있다. 또한, 실시예 또는 예의 다양한 요소는 다양한 방식으로 결합될 수 있다. 기술이 발전함에 따라 본원에 설명된 많은 요소들이 본 발명 이후 나타나는 동등한 요소들로 대체될 수 있다는 것이 중요하다.

Claims (29)

1. 스마트 안경 추적 방법으로서, 상기 방법은:
   이미지를 캡처하는 단계;
   상기 이미지 내의 하나 이상의 물체를 식별하는 단계; 및
   미리 설정된 값보다 큰 이동 속도를 갖는 상기 스마트 안경에 응답하여, 상기 스마트 안경을 제1 동작 모드로 조정하는 단계;
   상기 미리 설정된 값 미만인 상기 스마트 안경의 상기 이동 속도에 응답하여, 상기 스마트 안경을 제2 동작 모드로 조정하는 단계;
   상기 식별하는 단계의 결과에 따라 그리고 상기 식별된 하나 이상의 물체로부터, 상기 제1 동작 모드에 있는 상기 스마트 안경에 응답하여, 상기 이미지 내의 미리 정의된 위치 또는 영역에 위치한 물체를 선택하여 사용자에게 상기 이미지 내의 상기 미리 정의된 위치 또는 영역에 위치한 상기 물체를 알리는 단계; 및
   상기 식별하는 단계의 결과에 따라, 상기 제2 동작 모드에 있는 상기 스마트 안경에 응답하여, 상기 이미지 내의 상기 미리 정의된 위치 또는 영역에 대상 물체가 있는지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서, 상기 이미지 내의 상기 미리 정의된 위치 또는 영역에 물체가 없을 경우, 상기 사용자에게 머리를 돌리라고 프롬프트하는 단계(prompting) 또는 상기 사용자에게 상기 이미지 내의 상기 미리 정의된 위치 또는 영역에 물체가 없다는 것을 프롬프트하는 단계(prompting)를 더 포함하는 것을 특징으로 하는 방법.
3. 제2항에 있어서, 상기 이미지 내의 상기 미리 정의된 위치 또는 영역에 물체가 없을 경우, 상기 사용자에 머리를 돌리라고 프롬프트하는 단계는:
   상기 이미지 내의 상기 미리 정의된 위치 또는 영역에 물체가 없을 경우, 상기 이미지 내의 물체의 배향(orientation)을 결정하는 단계 및 상기 사용자에게 상기 물체의 방향으로 머리를 돌리라고 프롬프트하는 단계를 더 포함하는 것을 특징으로 하는 방법.
4. 제2항에 있어서, 상기 사용자가 머리를 돌릴 경우, 상기 이미지 내의 상기 미리 정의된 위치 또는 영역에 대한 상기 물체의 근접성에 따라, 상기 사용자에게 머리를 돌리라고 프롬프트하는 단계에 대한 톤(tone)을 변경하는 단계, 또는 상기 사용자에게 상기 이미지 내의 상기 미리 정의된 위치 또는 영역에 물체가 없다는 것을 프롬프트하는 단계를 더 포함하는 것을 특징으로 하는 방법.
5. 제1항에 있어서, 상기 이미지 내의 상기 미리 정의된 위치는 상기 이미지 내의 중앙 위치이며,
   상기 이미지 내의 상기 미리 정의된 영역은, 상기 이미지의 면적의 1/3 내지 1/2의 면적을 갖는 상기 이미지의 중앙에서의 원형 또는 직사각형 영역인 것을 특징으로 하는 방법.
6. 제1항에 있어서, 레이저 광을 방출하는 단계를 더 포함하고,
   상기 레이저 광은 가시광이며, 상기 이미지 내의 상기 미리 정의된 위치는 상기 레이저 광이 위치한 상기 이미지 내의 위치인 것을 특징으로 하는 방법.
7. 제1항에 있어서,
   레이저로 레이저 광을 방출하는 단계;
   제1 카메라에 의해 상기 이미지를 캡처하는 단계;
   제2 카메라에 의해 상기 레이저 광의 충돌 지점의 위치를 감지하는 단계; 및
   상기 제1 카메라와 상기 제2 카메라 사이의 미리 설정된 상관관계에 따라, 상기 캡처된 이미지 내의 상기 레이저 광의 상기 충돌 지점의 대응하는 위치를 상기 이미지 내의 상기 미리 정의된 위치로 결정하는 단계
   를 더 포함하는 것을 특징으로 하는 방법.
8. 제1항에 있어서, 상기 이미지를 캡처하는 단계는:
   또 다른 미리 설정된 값 미만인 상기 스마트 안경의 상기 이동 속도에 응답하여 상기 이미지를 캡처하는 단계를 포함하는 것을 특징으로 하는 방법.
9. 제1항에 있어서,
   상기 이미지 내의 상기 미리 정의된 위치 또는 영역에 상기 대상 물체가 없다는 것에 응답하여, 상기 이미지 내의 또 다른 위치 또는 영역에 상기 대상 물체가 있는지 여부를 결정하는 단계;
   상기 이미지 내의 상기 또 다른 위치 또는 영역에 상기 대상 물체가 있다는 결정에 응답하여, 상기 스마트 안경의 이동 방향을 결정하는 단계; 및
   상기 스마트 안경의 상기 이동 방향에 따라, 상기 사용자가 상기 방향으로 이동하도록 프롬프트하기 위해 프롬프트 톤을 생성하는 단계;
   를 더 포함하는 것을 특징으로 하는 방법.
10. 제9항에 있어서,
    상기 스마트 안경이 이동하는 동안, 미리 정해진 시간 간격으로 복수의 추가적인 이미지를 캡처하는 단계; 및
    상기 복수의 추가적인 이미지 각각에 대해:
    상기 대상 물체와 상기 미리 정의된 위치 또는 영역 사이의 거리를 계산하는 단계; 및
    상기 계산된 거리에 따라 상기 생성된 프롬프트 톤의 주파수 및/또는 볼륨을 변경하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
11. 프로세서, 카메라, 및 음성 재생 장치를 포함하는 스마트 안경으로서,
    상기 카메라는 이미지를 캡처하도록 구성되고;
    상기 프로세서는:
    상기 카메라에 의해 캡처된 상기 이미지를 획득하고 상기 이미지 내의 하나 이상의 물체를 식별하며;
    미리 설정된 값보다 큰 이동 속도를 갖는 상기 스마트 안경에 응답하여, 상기 스마트 안경을 제1 동작 모드로 조정하고;
    상기 미리 설정된 값 미만인 상기 스마트 안경의 상기 이동 속도에 응답하여, 상기 스마트 안경을 제2 동작 모드로 조정하며;
    상기 식별의 결과에 따라 그리고 상기 식별된 하나 이상의 물체로부터, 상기 제1 동작 모드에 있는 상기 스마트 안경에 응답하여, 상기 이미지 내의 미리 정의된 위치 또는 영역에 위치한 물체를 선택하여, 상기 음성 재생 장치를 통해, 사용자에게 상기 이미지 내의 상기 미리 정의된 위치 또는 영역에 위치한 상기 물체를 알리고;
    상기 식별의 결과에 따라, 상기 제2 동작 모드에 있는 상기 스마트 안경에 응답하여, 상기 이미지 내의 상기 미리 정의된 위치 또는 영역에 대상 물체가 있는지 여부를 결정하도록;
    구성되며,
    상기 음성 재생 장치는 상기 이미지 내의 상기 미리 정의된 위치 또는 영역에 위치한 상기 물체를 상기 사용자에게 알리도록 구성되는 것을 특징으로 하는 스마트 안경.
12. 제11항에 있어서, 상기 스마트 안경의 이동 상태를 결정하도록 구성된 관성 센서 어셈블리를 더 포함하는 것을 특징으로 하는 스마트 안경.
13. 제11항 또는 제12항에 있어서,
    레이저 광을 방출하도록 구성된 레이저;
    상기 레이저 광의 충돌 지점의 위치를 감지하도록 구성된 또 다른 카메라;
    를 더 포함하고,
    상기 프로세서는, 상기 카메라와 상기 또 다른 카메라 사이의 미리 설정된 상관관계에 따라, 상기 캡처된 이미지 내의 상기 레이저 광의 상기 충돌 지점에 대응하는 위치를 상기 이미지 내의 상기 미리 정의된 위치로 결정하도록 더 구성되는 것을 특징으로 하는 스마트 안경.
14. 프로세서 및 메모리를 포함하는 스마트 안경으로서, 상기 메모리는 상기 메모리에 저장된 프로그램 명령을 구비하고, 상기 프로그램 명령이 상기 프로세서에 의해 실행될 경우, 상기 스마트 안경이 제1항 내지 제10항 중 어느 한 항에 따른 방법을 수행하게 하는 것을 특징으로 하는 스마트 안경.
15. 저장된 프로그램 명령을 포함하는 컴퓨터 판독 가능한 저장 매체로서, 상기 프로그램 명령이 스마트 안경의 프로세서에 의해 실행될 경우, 상기 스마트 안경이 제1항 내지 제10항 중 어느 한 항에 따른 방법을 수행하게 하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제

Images