KR101804075B1 - 광학 이미지들과 함께 대역외 시그널링/메타데이터를 이용한 iot 디바이스/오브젝트/사람들의 식별 - Google Patents

광학 이미지들과 함께 대역외 시그널링/메타데이터를 이용한 iot 디바이스/오브젝트/사람들의 식별 Download PDF

Info

Publication number
KR101804075B1
KR101804075B1 KR1020167003425A KR20167003425A KR101804075B1 KR 101804075 B1 KR101804075 B1 KR 101804075B1 KR 1020167003425 A KR1020167003425 A KR 1020167003425A KR 20167003425 A KR20167003425 A KR 20167003425A KR 101804075 B1 KR101804075 B1 KR 101804075B1
Authority
KR
South Korea
Prior art keywords
neighboring
iot device
iot
camera application
nearby
Prior art date
Application number
KR1020167003425A
Other languages
English (en)
Other versions
KR20160039204A (ko
Inventor
산딥 샤르마
아미트 고엘
모하메드 아타울 라흐만 슈만
니베디타 사르카르
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160039204A publication Critical patent/KR20160039204A/ko
Application granted granted Critical
Publication of KR101804075B1 publication Critical patent/KR101804075B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • H04W4/185—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals by embedding added-value information into content, e.g. geo-tagging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G06K9/00624—
    • G06K9/6217—
    • G06K9/6227—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H04L67/16—
    • H04L67/18—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • G06K2209/27—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)
  • Selective Calling Equipment (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 개시는 인근 사물 인터넷 (IoT) 디바이스와 연관된 오브젝트를 식별하는 것에 관한 것이다. 일 양태에서, 디바이스는, 인근 IoT 디바이스와 연관된 식별 정보를 수신하고, 카메라 애플리케이션의 시야에 있는 인근 오브젝터를 검출하고, 수신된 식별 정보에 기초하여 인근 오브젝트가 인근 IoT 디바이스와 연관되는지 여부를 결정하고, 그리고 인근 오브젝트가 인근 IoT 디바이스와 연관되는 것에 기초하여, 인근 오브젝트가 인근 IoT 디바이스와 연관된 오브젝트에 대응하는 것을 결정한다.

Description

광학 이미지들과 함께 대역외 시그널링/메타데이터를 이용한 IOT 디바이스/오브젝트/사람들의 식별{IDENTIFYING IOT DEVICES/OBJECTS/PEOPLE USING OUT-OF-BAND SIGNALING/METADATA IN CONJUNCTION WITH OPTICAL IMAGES}
관련 출원에 대한 상호 참조
본 특허 출원은, 2013년 8월 2일자로 출원되고 발명의 명칭이 “IDENTIFYING IOT DEVICES/OBJECTS/PEOPLE USING OUT-OF-BAND SIGNALING/METADATA IN CONJUNCTION WITH OPTICAL IMAGES” 인 미국 가출원 제61/861,609호, 및 2013년 11월 14일자로 출원되고 발명의 명칭이 “IDENTIFYING IOT DEVICES/OBJECTS/PEOPLE USING OUT-OF-BAND SIGNALING/METADATA IN CONJUNCTION WITH OPTICAL IMAGES” 인 미국 가출원 제 61/904,370 호의 혜택을 주장하고, 이들은 양수인에게 양도되었으며 참조에 의해 전부 본원에 명확히 원용된다.
본 개시의 분야
본 개시는 광학 이미지들과 함께 대역외 시그널링/메타데이터를 이용하여 사물 인터넷 (IoT) 디바이스/오브젝트/사람들을 식별하는 것에 관한 것이다.
인터넷은 서로 통신하기 위해 표준 인터넷 프로토콜 슈트 (예컨대,송신 제어 프로토콜 (TCP) 및 인터넷 프로토콜 (IP)) 를 이용하는 상호접속된 컴퓨터들 및 컴퓨터 네트워크들의 글로벌 시스템 (global system) 이다. 사물 인터넷 (IoT) 는, 컴퓨터들 및 컴퓨터 네트워크들만이 아니라, 일상 오브젝트들이 IoT 통신 네트워크 (예컨대, 애드-혹 시스템 또는 인터넷) 를 통해서 판독가능하고, 인식가능하고, 로케이트가능하고, 어드레스가능하고, 그리고 제어가능할 수 있다는아이디어에 기초한다.
다수의 시장 경향들이 IoT 디바이스들의 개발을 이끌고 있다. 예를 들어, 증가하는 에너지 비용들은 미래의 소비를 위한, 예컨대 전기 차량 및 공공 충전소를 위한 지원 및 스마트 그리드들에서의 정부의 전략적 투자를 이끌고 있다. 증가하는 건강 관리 비용 및 노령화 인구 (aging populations) 는 원격/접속 건강 관리 및 피트니스 서비스들를 위한 개발을 이끌고 있다. 가정에서의 기술 혁명은 'N' 플레이 (예컨대, 데이터, 보이스, 비디오, 보안, 에너지 관리 등) 을 마켓팅하고 가정 네트워크들을 확장시키는 서비스 제공자들에 의한 통합을 포함한, 새로운 "스마트" 서비스들을 위한 개발을 이끌고 있다. 건물들은 기업 설비들을 위한 운영 비용들을 감소시키기 위한 수단으로서 보다 스마트해지고 보다 편리해지고 있다.
IoT 를 위한 다수의 주요 애플리케이션들이 존재한다. 예를 들어, 스마트 그리드들 및 에너지 관리의 영역에서, 공익 기업들은 가정 및 사업채로의 에너지의 전달을 최적화하는 동시에, 고객들은 에너지 사용을 더 잘 관리할 수 있다. 가정 및 건물 자동화의 영역에서, 스마트 가정 및 건물들은, 가정 또는 사무실에 있는 사실상 임의의 디바이스 또는 시스템에 대해, 기기들로부터 플러그-인 전기 차량 (PEV) 보안 시스템들까지, 집중 제어할 수 있다. 자산 추적의 분야에서, 기업들, 병원들, 공장들, 및 다른 대형 조직들은 고가 장비, 환자들, 차량 등의 위치를 정확하게 추적할 수 있다. 건강과 안녕 (wellness) 의 영역에서, 의사들은 환자들의 건강을 원격으로 모니터링할 수 있는 한편, 사람은 피트니스 루틴의 진행을 추적할 수 있다.
개요
다음은 본원에서 개시되는 하나 이상의 양태들 및/또는 실시형태들에 관한 간단한 요약을 제시한다. 이와 같이, 다음 요약은 모든 고려된 양태들 및/또는 실시형태들에 관한 광범위한 개관으로 간주되지 않아야 하며, 다음 요약은 모든 고려된 양태들 및/또는 실시형태들에 관한 핵심적이거나 또는 중대한 엘리먼트들을 식별하거나 또는 임의의 특정의 양태 및/또는 실시형태와 연관되는 범위를 서술하는 것으로 간주되지 않아야 한다. 따라서, 다음 요약의 유일한 목적은 아래에서 제시되는 상세한 설명에 선행하여 본원에서 개시되는 메카니즘들에 관한 하나 이상의 양태들 및/또는 실시형태들에 관한 특정 컨셉들을 간단한 형태로 제시하는 것이다.
하나의 예시적인 양태에 따르면, 본 개시는 인근 IoT 디바이스와 연관된 오브젝트를 식별하는 것에 관한 것이다. 인근 IoT 디바이스와 연관된 오브젝트를 식별하는 방법은, 인근 IoT 디바이스와 연관된 식별 정보를 수신하는 단계, 카메라 애플리케이션의 시야에 있는 인근 오브젝터를 검출하는 단계, 수신된 식별 정보에 기초하여 인근 오브젝트가 인근 IoT 디바이스와 연관되는지 여부를 결정하는 단계, 및 인근 오브젝트가 인근 IoT 디바이스와 연관되는 것에 기초하여, 인근 오브젝트가 인근 IoT 디바이스와 연관된 오브젝트에 대응하는 것을 결정하는 단계를 포함한다.
인근 IoT 디바이스와 연관된 오브젝트를 식별하기 위한 장치는, 인근 IoT 디바이스와 연관된 식별 정보를 수신하도록 구성된 로직, 카메라 애플리케이션의 시야에 있는 인근 오브젝터를 검출하도록 구성된 로직, 수신된 식별 정보에 기초하여 인근 오브젝트가 인근 IoT 디바이스와 연관되는지 여부를 결정하도록 구성된 로직, 및 인근 오브젝트가 인근 IoT 디바이스와 연관되는 것에 기초하여, 인근 오브젝트가 인근 IoT 디바이스와 연관된 오브젝트에 대응하는 것을 결정하도록 구성된 로직을 포함한다.
인근 IoT 디바이스와 연관된 오브젝트를 식별하기 위한 장치는, 인근 IoT 디바이스와 연관된 식별 정보를 수신하는 수단, 카메라 애플리케이션의 시야에 있는 인근 오브젝터를 검출하는 수단, 수신된 식별 정보에 기초하여 인근 오브젝트가 인근 IoT 디바이스와 연관되는지 여부를 결정하는 수단, 및 인근 오브젝트가 인근 IoT 디바이스와 연관되는 것에 기초하여, 인근 오브젝트가 인근 IoT 디바이스와 연관된 오브젝트에 대응하는 것을 결정하는 수단을 포함한다.
인근 IoT 디바이스와 연관된 오브젝트를 식별하기 위한 비일시적 컴퓨터 판독가능 매체는, 인근 IoT 디바이스와 연관된 식별 정보를 수신하기 위한 적어도 하나의 명령, 카메라 애플리케이션의 시야에 있는 인근 오브젝터를 검출하기 위한 적어도 하나의 명령, 수신된 식별 정보에 기초하여 인근 오브젝트가 인근 IoT 디바이스와 연관되는지 여부를 결정하기 위한 적어도 하나의 명령, 및 인근 오브젝트가 인근 IoT 디바이스와 연관되는 것에 기초하여, 인근 오브젝트가 인근 IoT 디바이스와 연관된 오브젝트에 대응하는 것을 결정하기 위한 적어도 하나의 명령을 포함한다.
본 개시의 양태들 및 그의 많은 수반되는 이점들의 보다 완전한 이해는, 본 개시의 한정이 아닌 단지 본 발명의 예시를 위해 제시되는 첨부 도면과 함께 고려될 때 다음의 상세한 설명을 참조하여 더 잘 이해될 것이므로, 용이하게 얻어질 것이다.
도 1a 는 본 개시의 양태에 따른 무선 통신 시스템의 하이 레벨 시스템 아키텍처를 예시한다.
도 1b 는 본 개시의 또 다른 양태에 따른 무선 통신 시스템의 하이 레벨 시스템 아키텍처를 예시한다.
도 1c 는 본 개시의 양태에 따른 무선 통신 시스템의 하이 레벨 시스템 아키텍처를 예시한다.
도 1d 는 본 개시의 양태에 따른 무선 통신 시스템의 하이 레벨 시스템 아키텍처를 예시한다.
도 1e 는 본 개시의 양태에 따른 무선 통신 시스템의 하이 레벨 시스템 아키텍처를 예시한다.
도 2a 는 본 개시의 양태들에 따른 예시적인 사물 인터넷 (IoT) 디바이스를 예시하는 한편, 도 2b 는 본 개시의 양태들에 따른 예시적인 수동 IoT 디바이스를 예시한다.
도 3은 본 개시의 양태에 따른 기능을 수행하도록 구성된 로직을 포함하는 통신 디바이스를 예시한다.
도 4는 본 개시의 다양한 양태들에 따른 예시적인 서버를 예시한다.
도 5a 는 카메라 애플리케이션이 사진 또는 비디오의 대상들을 식별하기 위하여, 광 또는 사운드 비콘 등의 비콘을 사용할 수 있는 예시적인 양태들을 예시한다.
도 5b 는 카메라 애플리케이션이 확대된 (zoomed-in) 사진 또는 비디오의 대상들을 식별하기 위하여, 비콘을 사용할 수 있는 예시적인 양태들을 예시한다.
도 6 는 카메라 애플리케이션이 대상들을 식별하기 위하여 사진 또는 비디오의 대상들의 온도를 사용할 수 있는 예시적인 양태를 예시한다.
도 7 은 카메라 애플리케이션이 대상들을 식별하기 위하여 사진 또는 비디오의 대상들 상의 패턴을 사용할 수 있는 예시적인 양태를 예시한다.
도 8 은 카메라 애플리케이션이 대상들을 식별하기 위하여 사진 또는 비디오의 대상들의 포즈를 사용할 수 있는 예시적인 양태를 예시한다.
도 9는 인근 IoT 디바이스와 연관된 오브젝트를 식별하기 위한 예시적인 흐름을 예시한다.
도 10 은 복수의 IoT 디바이스와 연관된 복수의 오브젝트를 식별하기 위한 예시적인 흐름을 예시한다.
도 11은 복수의 대상 식별 방법들을 가중하기 위한 예시적인 흐름을 예시한다.
도 12는 카메라 애플리케이션이, 카메라 애플리케이션의 시야에 없거나 및/또는 사용자가 관심이 없는 오브젝트들로부터의 비콘들을 무시할 수 있는 예시적인 양태를 예시한다.
도 13은 카메라 애플리케이션의 시야에 없거나 및/또는 사용자가 관심이 없는 오브젝트들로부터의 비콘들을 무시하기 위한 예시적인 흐름을 예시한다.
도 14는 본원에 교시된 통신을 지원하도록 구성된 장치들의 여러 샘플 양태들의 간단한 블록도이다.
광학 이미지들과 함께 대역외 시그널링 / 메타데이터를 이용하여 사물 인터넷 (IoT) 디바이스 / 오브젝트/ 사람을 식별하기 위한 예시적인 실시형태들에 관한 특정 예들을 보여주기 위하여 다음의 설명 및 관련 도면들에 다양한 양태들이 개시된다. 일 양태에서, 디바이스는, 인근 IoT 디바이스와 연관된 식별 정보를 수신하고, 카메라 애플리케이션의 시야에 있는 인근 오브젝터를 검출하고, 수신된 식별 정보에 기초하여 인근 오브젝트가 인근 IoT 디바이스와 연관되는지 여부를 결정하고, 그리고 인근 오브젝트가 인근 IoT 디바이스와 연관되는 것에 기초하여, 인근 오브젝트가 인근 IoT 디바이스와 연관된 오브젝트에 대응하는 것을 결정한다. 다른 실시형태들이 본 개시를 읽을 때 당업자에게 분명해질 것이며, 본 개시의 범위 또는 사상으로부터 벗어남이 없이 구성되고 실시될 수도 있다. 추가적으로, 잘 알려진 엘리먼트들은 본원에 개시된 양태들 및 실시형태들의 관련 상세들을 불분명하게 하지 않도록 상세히 설명되지 않거나 또는 생락될 수도 있다.
"예시적" 이라는 용어는 "예, 실례, 또는 예시의 역할을 하는 것" 을 의미하는 것으로 여기에서 사용된다. "예시적" 으로서 여기에 설명된 임의의 실시형태는 반드시 다른 실시형태들보다 바람직하거나 또는 유리한 것으로 해석되는 것은 아니다. 마찬가지로, "실시형태들" 이라는 용어는 모든 실시형태들이 논의된 특징, 이점 또는 동작 모드를 포함할 것을 요구하지 않는다.
본원에 사용된 기술용어는 특정 실시형태들만을 기술하고 본원에 개시된 임의의 실시형태들을 한정하는 것으로 해석되지 않아야 한다. 여기서 사용된, 단수 형태 "a", "an" 및 "the" 는, 문맥이 다르게 명시하지 않으면, 복수 형태들을 포함하도록 의도된다. 용어 "포함한다 (comprise) ", "포함하는 (comprising) ", "포함한다 (include)" 및/또는 "포함하는 (including) " 은, 여기서 사용되는 경우, 언급된 특징들, 정수들, 단계들, 동작들, 엘리먼트들 및/또는 컴포넌트들의 존재를 명시하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 엘리먼트들, 컴포넌트들 및/또는 그의 그룹들의 존재 또는 추가를 제외하지 않는다는 것이 또한 이해될 것이다.
또한, 많은 양태들은 예를 들면, 컴퓨팅 디바이스의 엘리먼트들에 의해 수행될 액션들의 시퀀스들의 측면에서 설명되어 있다. 여기서 설명된 다양한 액션들은 특정 회로 (예를 들면, 주문형 집적회로 (ASIC)) 에 의해, 하나 이상의 프로세서들에 의해 실행되는 프로그램 명령들에 의해 또는 양쪽 모두의 조합에 의해 수행될 수 있음이 인식될 것이다. 또한, 여기에 기술된 이들 액션들의 시퀀스는, 실행시 연관된 프로세서로 하여금 여기에 기술된 기능을 수행하게 하는 컴퓨터 명령들의 대응하는 세트가 저장된 임의의 형태의 컴퓨터 판독가능 저장 매체 내에 완전히 수록되는 것으로 고려될 수 있다. 따라서, 본 개시의 다양한 양태들이 다수의 상이한 형태들에서 구체화될 수도 있는데, 그 전부는 본원 특허청구범위의 요지의 범위 내에 존재하는 것으로 고려되었다. 또한, 여기에 기술된 양태들 각각에 대하여, 임의의 이러한 양태들의 대응하는 형태는 예를 들어, 설명된 액션을 수행하도록 "구성된 로직" 으로서 여기에 설명될 수도 있다.
본원에 사용된, 용어 "사물 인터넷 디바이스" (또는 "IoT 디바이스") 는, 어드레스가능한 인터페이스 (예컨대, 인터넷 프로토콜 (IP) 어드레스, Bluetooth 식별자 (ID), 근접 장 통신 (NFC) ID, 등) 를 가지고 정보를 하나 이상의 다른 디바이스들로 유선 또는 무선 접속을 통해서 송신할 수 있는 임의의 오브젝트 (예컨대, 기기,센서 등) 을 지칭하기 위해 사용된다. IoT 디바이스는 QR (quick response) 코드, 무선 주파수 식별 (RFID) 태그, NFC 태그 등과 같은, 수동 통신 인터페이스, 또는 모뎀, 송수신기, 송신기-수신기 등과 같은 능동 통신 인터페이스를 가질 수도 있다. IoT 디바이스는, 중앙 처리 장치 (CPU), 마이크로프로세서, ASIC 등에 임베딩되거나 및/또는 그에 의해 제어되거나/모니터링되고 로컬 애드-혹 네트워크 또는 인터넷과 같은 IoT 네트워크에의 접속을 위해 구성될 수 있는 특정 세트의 속성들 (예컨대, IoT 디바이스가 온 또는 오프인지, 개방 또는 폐쇄인지, 유휴 또는 활성인지, 태스크 실행에 이용가능한지 또는 사용중인지 여부 및 기타 등등과 같은, 디바이스 상태 또는 스테이터스, 냉각 또는 가열 기능, 환경의 모니터링 또는 레코딩 기능, 광-방출 기능, 사운드-방출 기능 등) 을 가질 수 있다. 예를 들어, IoT 디바이스들은, 그 디바이스들에 IoT 네트워크와통신하기 위한 어드레스가능한 통신 인터페이스가 탑재되는 한, 냉장고들, 토스터들, 오븐들, 전자레인지들, 냉동기들, 식기세척기들, 식기, 손 도구들, 세탁기들, 의류 건조기들, 난로들, 에어컨들, 온도조절기들, 텔레비전들, 조명 기구들, 진공 청소기들, 스프링클러들, 전기 계량기들, 가스 계량기들 등을 포함할수도 있지만, 이에 한정되지 않는다. IoT 디바이스들은 또한 (스마트폰을 포함한) 셀 폰들, 데스크탑 컴퓨터들, 랩탑 컴퓨터들, 태블릿 컴퓨터들, 개인 휴대정보 단말기들 (PDAs) 등을 포함할 수도 있다. 따라서, IoT 네트워크는 인터넷-접속성을 일반적으로 가지지 않는 디바이스들 (예컨대, 식기 세척기들 등) 에 더해서, "레거시" 인터넷-액세스가능한 디바이스들 (예컨대, 랩탑 또는 데스크탑 컴퓨터들, 셀 폰들 등) 의 조합으로 구성될 수도 있다.
도 1a 는 본 개시의 양태에 따른 무선 통신 시스템 (100A) 의 하이 레벨 시스템 아키텍처를 예시한다. 무선 통신 시스템 (100A) 은 텔레비전 (110), 실외 에어컨 유닛 (112), 온도조절기 (114), 냉장고 (116), 및 세탁기 및 건조기 (118) 를 포함하는, 복수의 IoT 디바이스들을 포함한다.
도 1a 를 참조하면, IoT 디바이스들 (110-118) 은 액세스 네트워크(예컨대, 액세스 포인트 (125)) 와, 도 1a 에 에어 인터페이스 (108) 및 직접 유선 접속 (109) 으로서 도시된, 물리적인 통신 인터페이스 또는 계층을 통해서, 통신하도록 구성된다. 에어 인터페이스 (108) 는 IEEE 802.11 과 같은, 무선 인터넷 프로토콜 (IP) 에 따를 수 있다. 도 1a 는 에어 인터페이스 (108) 를 통해서 통신하는 IoT 디바이스들 (110-118) 및 직접 유선 접속 (109) 을 통해서 통신하는 IoT 디바이스 (118) 를 예시하지만, 각각의 IoT 디바이스는 유선 또는 무선 접속, 또는 양자 모두를 통해서 통신할 수도 있다.
인터넷 (175) 은 다수의 라우팅 에이전트들 및 프로세싱 에이전트들 (편의상 도 1a에 미도시) 을 포함한다. 인터넷 (175) 은 이종 디바이스들/네트워크들 중에서 통신하기 위해 표준 인터넷 프로토콜 슈트 (예컨대, 송신 제어 프로토콜 (TCP) 및 IP) 를 이용하는 상호접속된 컴퓨터들 및 컴퓨터 네트워크들의 글로벌 시스템이다. TCP/IP 는 어떻게 데이터가 포맷되고, 어드레스되고, 송신되고, 라우트되고 목적지에서 수신되어야 하는지를 지정하는 단-대-단 접속을 제공한다.
도 1a 에서, 데스크탑 또는 개인용 컴퓨터 (PC) 와 같은, 컴퓨터 (120) 는 인터넷 (175) 에 직접 (예컨대, 이더넷 접속 또는 Wi-Fi 또는 802.11-기반의 네트워크를 통해서) 접속하는 것으로 도시된다. 컴퓨터 (120) 는 일 예에서, (예컨대, 유선 및 무선 접속 양자 모두를 가진 Wi-Fi 라우터를 위한) 액세스 포인트 (125) 자체에 대응할 수 있는, 모뎀 또는 라우터에의 직접 접속과 같은, 인터넷 (175) 에의 유선 접속을 가질 수도 있다. 대안적으로, 액세스 포인트 (125) 및 인터넷 (175) 에 유선 접속을 통해서 접속되기 보다는, 컴퓨터 (120) 는 액세스 포인트 (125) 에 에어 인터페이스 (108) 또는 또 다른 무선 인터페이스를 통해서 접속될 수도 있으며, 인터넷 (175) 에 에어 인터페이스 (108) 를 통해서 액세스할 수도 있다. 데스크탑 컴퓨터로서 예시되지만, 컴퓨터 (120) 는 랩탑 컴퓨터, 태블릿 컴퓨터, PDA, 스마트 폰 등일 수도 있다. 컴퓨터 (120) 는 IoT 디바이스이거나 및/또는 IoT 디바이스들 (110-118) 의 네트워크/그룹과 같은 IoT 네트워크/그룹을 관리하는 기능을 포함할 수도 있다.
액세스 포인트 (125) 는 인터넷 (175) 에, 예를 들어, FiOS, 케이블모뎀, 디지털 가입자 회선 (DSL) 모뎀 등과 같은, 광학 통신 시스템을 통해서, 접속될 수도 있다. 액세스 포인트 (125) 는 IoT 디바이스들 (110-120) 및 인터넷 (175) 과 표준 인터넷 프로토콜들 (예컨대, TCP/IP) 을 이용하여통신할 수도 있다.
도 1a 를 참조하면, IoT 서버 (170) 는 인터넷 (175) 에 접속되는것으로 도시된다. IoT 서버 (170) 는 복수의 구조적으로 분리된 서버들로서 구현될 수 있거나, 또는 대안적으로, 단일 서버에 대응할 수도 있다. 일 양태에서, IoT 서버 (170) 는 (점선으로 나타낸 바와 같이) 선택적이며, IoT 디바이스들 (110-120) 의 그룹은 피어-투-피어 (P2P) 네트워크일 수도 있다. 이러한 경우, IoT 디바이스들 (110-120) 은 에어 인터페이스 (108) 및/또는 직접 유선 접속 (109) 을 통해서 서로 직접 통신할 수 있다. 대안적으로, 또는 추가적으로, IoT 디바이스들 (110-120) 의 일부 또는 전부는 에어 인터페이스 (108) 및 직접 유선 접속 (109) 과는 독립적인 통신 인터페이스로 구성될 수도 있다. 예를들어, 에어 인터페이스 (108) 가 Wi-Fi 인터페이스에 대응하면, IoT 디바이스들 (110-120) 중 하나 이상은 서로 또는 다른 Bluetooth 또는 NFC-가능 디바이스들과 직접 통신하기 위한 Bluetooth 또는 NFC 인터페이스들을 가질 수도 있다.
피어-투-피어 네트워크에서, 서비스 발견 방식들은 노드들, 그들의능력들, 및 그룹 멤버십의 존재를 멀티캐스트할 수 있다. 피어-투-피어 디바이스들은 이 정보에 기초하여 연관들 및 후속 상호작용들을 확립할 수 있다.
본 개시의 양태에 따르면, 도 1b 는 복수의 IoT 디바이스들을 포함하는 또 다른 무선 통신 시스템 (100B) 의 하이-레벨 아키텍처를 예시한다. 일반적으로, 도 1b 에 나타낸 무선 통신 시스템 (100B) 은 위에서 더욱 더 자세히 설명된, 도 1a 에 나타낸 무선 통신 시스템 (100A) 과 동일하거나 및/또는 실질적으로 유사한 여러 구성요소들 (예컨대, 에어 인터페이스 (108) 및/또는 직접 유선 접속 (109) 을 통해서 액세스 포인트 (125) 와 통신하도록 구성되는, 텔레비전 (110), 실외 에어컨 유닛 (112), 온도조절기 (114), 냉장고 (116), 및 세탁 및 건조기 (118) 를 포함한, 여러 IoT 디바이스들, 인터넷 (175) 에 직접 접속하거나 및/또는 액세스 포인트 (125) 를 통해서 인터넷 (175) 에 접속하는 컴퓨터 (120), 및 인터넷 (175) 등을 통해서 액세스가능한 IoT 서버 (170)) 을 포함할 수도 있다. 이와 같이, 설명의 간결성 및 용이성을 위해, 도 1b 에 나타낸 무선 통신 시스템 (100B) 에서의 어떤 구성요소들에 관한 여러 상세들은 동일한 또는 유사한 상세들이 도 1a 에 예시된 무선 통신 시스템 (100A) 과 관련하여 위에서 이미 제공되었다는 점에서 여기에서 생략될 수도 있다.
도 1b 를 참조하면, 무선 통신 시스템 (100B) 은, 대안적으로 IoT 관리기 (130) 또는 IoT 관리기 디바이스 (130) 로서 지칭될 수도 있는 수퍼바이저 디바이스 (130) 를 포함할 수도 있다. 이와 같이, 다음 설명이 용어 "수퍼바이저 디바이스" (130) 를 이용하는 경우에는, 당업자는, IoT 관리기, 그룹 소유자, 또는 유사한 전문용어에 대한 임의의 언급들이 수퍼바이저 디바이스 (130) 또는 동일한 또는 실질적으로 유사한 기능을 제공하는 또 다른 물리적인 또는 논리적 구성요소를 지칭할 수도 있음을 명백히 알 것이다.
일 실시형태에서, 수퍼바이저 디바이스 (130) 는 일반적으로 무선 통신 시스템 (100B) 에서 여러 다른 구성요소들을 관측하거나, 모니터링하거나, 제어하거나, 또는 그렇지 않으면 관리할 수도 있다. 예를 들어, 수퍼바이저 디바이스 (130) 는 무선 통신 시스템 (100B) 에서 여러 IoT 디바이스들 (110-120) 과 연관되는 속성들, 활동들, 또는 다른 상태들을 모니터링하거나 또는 관리하기 위해 액세스 네트워크 (예컨대, 액세스 포인트 (125)) 와 에어 인터페이스 (108) 및/또는 직접 유선 접속 (109) 을 통해서 통신할 수 있다. 수퍼바이저 디바이스 (130) 는 인터넷 (175) 에, 그리고 선택적으로 IoT 서버 (170) (점선으로 도시됨) 에의 유선 또는 무선 접속을 가질수도 있다. 수퍼바이저 디바이스 (130) 는 여러 IoT 디바이스들 (110-120) 과 연관되는 속성들, 활동들, 또는 다른 상태들을 추가로 모니터링하거나 또는 관리하는데 사용될 수 있는 IoT 서버 (170) 및/또는 인터넷 (175) 으로부터 정보를 획득할 수도 있다. 수퍼바이저 디바이스 (130) 는 독립형 디바이스 또는 IoT 디바이스들 (110-120) 중 하나, 예컨대 컴퓨터 (120) 일 수도 있다. 수퍼바이저 디바이스 (130) 는 물리적 디바이스 또는 그 물리적 디바이스 상에서 실행하는 소프트웨어 애플리케이션일 수도 있다. 수퍼바이저 디바이스 (130) 는, IoT 디바이스들 (110-120) 과 연관되는 모니터링된 속성들, 활동들, 또는 다른 상태들에 관련된 정보를 출력하고 입력 정보를 수신하여, 그와 연관되는 속성들, 활동들, 또는 다른 상태들을 제어하거나 또는 그렇지 않으면 관리할 수 있는 사용자 인터페이스를 포함할 수도 있다. 따라서, 수퍼바이저 디바이스 (130) 는 일반적으로 여러 구성요소들을 포함할 수도 있으며, 무선 통신 시스템 (100B) 에서의 여러 구성요소들을 관측하거나, 모니터링하거나, 제어하거나 또는 아니면 관리하도록 여러 유선 및 무선 통신 인터페이스들을 지원할 수도 있다.
도 1b 에 나타낸 무선 통신 시스템 (100B) 은, (능동 IoT 디바이스들 (110-120) 과는 대조적으로) 무선 통신 시스템 (100B) 에 커플링되거나 또는 아니면 무선 통신 시스템 (100B) 의 일부로 만들어질 수 있는 하나 이상의 수동 IoT 디바이스들 (105) 을 포함할 수도 있다. 일반적으로, 수동 IoT 디바이스들 (105) 은 바코드 디바이스들, Bluetooth 디바이스들, 무선 주파수 (RF) 디바이스들, RFID 태그 디바이스들, 적외 (IR) 디바이스들, NFC 태그 디바이스들, 또는 단거리 인터페이스를 통해서 질의될 때 그 식별자 및 속성들을 또 다른 디바이스에 제공할 수 있는 임의의 다른 적합한 디바이스를 포함할 수도 있다. 능동 IoT 디바이스들은 수동 IoT 디바이스들의 속성의 변화들을 검출하거나, 저장하거나, 통신하거나, 작용하는 등을 행할 수도 있다.
예를 들어, 수동 IoT 디바이스들 (105) 은 RFID 태그 또는 바코드를각각 갖는 커피 컵 및 오렌지 주스의 용기를 포함할 수도 있다. 캐비닛 IoT 디바이스 및 냉장고 IoT 디바이스 (116) 는 RFID 태그 또는 바코드를 판독하여 커피 컵 및/또는 오렌지 주스의 용기 수동 IoT 디바이스들 (105) 이 추가되거나 또는 제거되었을 때를 검출할 수 있는 적합한 스캐너 또는 판독기를 각각 가질 수도 있다. 캐비닛 IoT 디바이스가 커피 컵 수동 IoT 디바이스 (105) 의 제거를 검출하는 것 및 냉장고 IoT 디바이스 (116) 가 오렌지 주스 수동 IoT 디바이스의 용기의 제거를 검출하는 것에 응답하여, 수퍼바이저 디바이스 (130) 는 캐비닛 IoT 디바이스 및 냉장고 IoT 디바이스 (116) 에서 검출된 활동들에 관한 하나 이상의 신호들을 수신할 수도 있다. 다음으로, 수퍼바이저 디바이스 (130) 는 사용자가 커피 컵으로부터 오렌지 주스를 마시고 있거나 및/또는 커피 컵으로부터 오랜지 주스를 마시기를 원한다고 추론할 수도 있다.
전술한 바는 일부 유형의 RFID 태그 또는 바코드 통신 인터페이스를 갖는 것으로 수동 IoT 디바이스들 (105) 을 기술하지만, 수동 IoT 디바이스들 (105) 은 이러한 통신 능력들을 가지지 않는 하나 이상의 디바이스들 또는 다른 물리적인 오브젝트들을 포함할 수도 있다. 예를 들어, 어떤 IoT 디바이스들은 수동 IoT 디바이스들 (105) 을 식별하기 위해 수동 IoT 디바이스들 (105) 과 연관되는 형태들, 사이즈들, 칼라들, 및/또는 다른 관측가능한 특징들을 검출할 수 있는 적합한 스캐너 또는 판독기 메커니즘들을 가질 수도 있다. 이러한 방법으로, 임의의 적합한 물리적인 오브젝트는 그의 아이덴티티 및 속성들을 전달하고, 무선 통신 시스템 (100B) 의 일부분이 되고, 수퍼바이저 디바이스 (130) 로 관측되거나, 모니터링되거나, 제어되거나, 또는 아니면 관리될 수도 있다. 또, 수동 IoT 디바이스들 (105) 은 도 1a 에서의 무선 통신 시스템 (100A) 에 커플링되거나 또는 아니면 그의 일부로 만들어지며, 실질적으로 유사한 방법으로 관측되거나, 모니터링되거나, 제어되거나, 또는 그렇지 않으면 관리될 수도 있다.
본 개시의 또 다른 양태에 따르면, 도 1c 는 복수의 IoT 디바이스들을 포함하는 또 다른 무선 통신 시스템 (100C) 의 하이-레벨 아키텍처를 예시한다. 일반적으로, 도 1c 에 나타낸 무선 통신 시스템 (100C) 은, 위에서 더 자세히 설명된, 도 1a 및 도 1b 에 각각 나타낸 무선 통신 시스템들 (100A 및 100B) 과 동일하거나 및/또는 실질적으로 유사한 여러 구성요소들을 포함할 수도 있다. 이와 같이, 설명의 간결성 및 용이성을 위해, 도 1c 에 나타낸 무선 통신 시스템 (100C) 에서의 어떤 구성요소들에 관한 여러 상세들은 동일한 또는 유사한 상세들이 도 1a 및 도 1b 에 각각 예시된 무선 통신 시스템들 (100A 및 100B) 과 관련하여 위에서 이미 제공되어 있다는 점에서, 여기에서 생략될 수도 있다.
도 1c 에 나타낸 통신 시스템 (100C) 은 IoT 디바이스들 (110-118) 과 수퍼바이저 디바이스 (130) 사이의 예시적인 피어-투-피어 통신들을 예시한다. 도 1c 에 나타낸 바와 같이, 수퍼바이저 디바이스 (130) 는 IoT 수퍼바이저 인터페이스를 통해서 IoT 디바이스들 (110-118) 의 각각과 통신한다. 또, IoT 디바이스들 (110 및 114), IoT 디바이스들 (112, 114, 및 116), 및 IoT 디바이스들 (116 및 118) 은 서로 직접 통신한다.
IoT 디바이스들 (110-118) 은 IoT 그룹 (160) 을 이룬다. IoT 디바이스 그룹 (160) 은 사용자의 가정 네트워크에 접속된 IoT 디바이스들과 같은 로컬로 접속된 IoT 디바이스들의 그룹이다. 도시되지는 않았지만, 다수의 IoT 디바이스 그룹들은 인터넷 (175) 에 접속된 IoT 수퍼에이전트 (SuperAgent) (140) 를 통해서 서로 접속되거나 및/또는 통신할 수도 있다. 하이 레벨에서, 수퍼바이저 디바이스 (130) 는 그룹내 통신들을 관리하는 한편, IoT 수퍼에이전트 (140) 는 그룹간 통신들을 관리할 수 있다. 별개의 디바이스들로서 나타내지만, 수퍼바이저 디바이스 (130) 및 IoT 수퍼에이전트 (140) 는 동일한 디바이스 (예컨대, 도 1a 에서의컴퓨터 (120) 와 같은, 독립형 디바이스 또는 IoT 디바이스) 일 수도 있거나 또는 거기에 상주할 수도 있다. 대안적으로, IoT 수퍼에이전트 (140) 는 액세스 포인트 (125)의 기능에 대응하거나 또는 포함할 수도 있다. 또 다른 대안으로서, IoT 수퍼에이전트 (140) 는 IoT 서버 (170) 와 같은, IoT 서버의 기능에 대응하거나 또는 포함할 수도 있다. IoT 수퍼에이전트 (140) 는 게이트웨이 기능 (145) 을 캡슐화할 수도 있다.
각각의 IoT 디바이스 (110-118) 는 수퍼바이저 디바이스 (130) 를 피어 (peer) 로서 취급하고 속성/스키마 업데이트들을 수퍼바이저 디바이스 (130) 로 송신할 수도 있다. IoT 디바이스가 또 다른 IoT 디바이스와 통신할 필요가 있을 때,IoT 디바이스는 수퍼바이저 디바이스 (130) 로부터의 그 IoT 디바이스에 대한 포인터를 요청하고 그후 피어로서 목표 IoT 디바이스와 통신할 수 있다. IoT 디바이스들 (110-118) 은 피어-투-피어 통신 네트워크를 통해서 공통 메시징 프로토콜 (CMP) 을 이용하여 서로 통신한다. 2개의 IoT 디바이스들이 CMP-가능하고 공통 통신 전송 상에서 접속되는 한, 그들은 서로 통신할 수 있다. 프로토콜 스택에서, CMP 계층 (154) 은 애플리케이션 계층 (152) 아래에, 그리고 전송 계층 (156) 및 물리 계층 (158) 위에 있다.
본 개시의 또 다른 양태에 따르면, 도 1d 는 복수의 IoT 디바이스들을 포함하는 또 다른 무선 통신 시스템 (100D) 의 하이-레벨 아키텍처를 예시한다. 일반적으로, 도 1d 에 나타낸 무선 통신 시스템 (100D) 은 위에서 더 자세히 설명된, 도 1a 내지 도 1c 에 각각 나타낸 무선 통신 시스템들 (100A-C) 과 동일하거나 및/또는 실질적으로 유사한 여러 구성요소들을 포함할 수도 있다. 이와 같이, 설명의 간결성 및 용이성을 위해, 도 1d 에 나타낸 무선 통신 시스템 (100D) 에서의 어떤 구성요소들에 관련된 여러 상세들은 동일한 또는 유사한 상세들이 도 1a 내지 도 1c 에 각각 예시된 무선 통신 시스템들 (100A-C) 과 관련하여 위에서 이미 제공되어 있다는 점에서, 여기에서 생략될 수도 있다.
인터넷 (175) 은 IoT 의 컨셉을 이용하여 조절될 수 있는 "리소스"이다. 그러나, 인터넷 (175) 은 단지 조절되는 리소스의 일 예이며, 임의의 리소스가 IoT 의 컨셉을 이용하여 조절될 수 있다. 조절될 수 있는 다른 리소스들은 전기, 가스, 스토리지, 보안 등을 포함하지만, 이에 한정되지 않는다. IoT 디바이스는 리소스에 접속되어 그를 조절할 수도 있거나, 또는 리소스는 인터넷 (175) 을 통해서 조절될 수 있다. 도 1d 는 천연 가스, 가솔린, 온수, 및 전기와 같은, 여러 리소스들 (180) 을 예시하며, 여기서, 리소스들 (180) 은 인터넷 (175) 에 더해서 및/또는 그를 통해서 조절될 수 있다.
IoT 디바이스들은 그들 리소스 (180) 의 사용을 조절하기 위해 서로통신할 수도 있다. 예를 들어, 토스터, 컴퓨터, 및 헤어드라이어와 같은, IoT디바이스들은 그들의 전기 (리소스 (180)) 의 사용을 조절하기 위해 Bluetooth 통신 인터페이스를 통해서 서로 통신할 수도 있다. 또 다른 예로서, 데스크탑 컴퓨터, 전화기, 및 태블릿 컴퓨터와 같은, IoT 디바이스들은 인터넷 (175) (리소스 (180)) 에의 그들의 액세스를 조절하기 위해 Wi-Fi 통신 인터페이스를 통해서 통신할 수도 있다. 또한, 또 다른 예로서, 스토브, 의류 건조기, 및 온수기와같은, IoT 디바이스들은 그들의 가스의 사용을 조절하기 위해 Wi-Fi 통신 인터페이스를 통해서 통신할 수도 있다. 대안적으로, 또는 추가적으로, 각각의 IoT 디바이스는 그들의 리소스 (180) 의 사용을 IoT 디바이스들로부터 수신된 정보에 기초하여 조절하기 위한 로직을 갖는, IoT 서버 (170) 와 같은, IoT 서버에 접속될 수도 있다.
본 개시의 또 다른 양태에 따르면, 도 1e 는 복수의 IoT 디바이스들을 포함하는 또 다른 무선 통신 시스템 (100E) 의 하이-레벨 아키텍처를 예시한다. 일반적으로, 도 1e 에 나타낸 무선 통신 시스템 (100E) 은 위에서 더 자세히 설명된, 도 1a 내지 도 1d 에 각각 나타낸 무선 통신 시스템들 (100A-D) 과 동일하거나 및/또는 실질적으로 유사한 여러 구성요소들을 포함할 수도 있다. 이와 같이, 설명의 간결성 및 용이성을 위해, 도 1e 에 나타낸 무선 통신 시스템 (100E) 에서의 어떤 구성요소들에 관련된 여러 상세들은 동일한 또는 유사한 상세들이 도 1a 내지 도 1d 에 각각 예시된 무선 통신 시스템들 (100A-D) 과 관련하여 위에 이미 제공되었다는 점에서, 여기에서 생략될 수도 있다.
통신 시스템 (100E) 은 2개의 IoT 디바이스 그룹들 (160A 및 160B)을 포함한다. 다수의 IoT 디바이스 그룹들은 인터넷 (175) 에 접속된 IoT 수퍼에이전트를 통해서 서로 접속되거나 및/또는 통신할 수도 있다. 하이레벨에서, IoT 수퍼에이전트는 IoT 디바이스 그룹들 사이의 그룹간 통신들을 관리할 수도 있다. 예를 들어, 도 1e 에서, IoT 디바이스 그룹 (160A) 은 IoT 디바이스들 (116A, 122A, 및 124A) 및 IoT 수퍼에이전트 (140A) 를 포함하는 한편, IoT 디바이스 그룹 (160B) 은 IoT 디바이스들 (116B, 122B, 및 124B) 및 IoT 수퍼에이전트 (140B) 를 포함한다. 이와 같이, IoT 수퍼에이전트들 (140A 및 140B) 은 IoT 디바이스 그룹들 (160A 및 160B) 사이의 통신을 가능하게 하기 위해, 인터넷 (175) 에 접속하고 인터넷 (175) 을 통해서 서로 통신하거나 및/또는 서로 직접 통신할 수도 있다. 더욱이, 도 1e 는 IoT 수퍼에이전트들 (140A 및 140B) 을 통해서 서로 통신하는 2개의 IoT 디바이스 그룹들 (160A 및 160B) 을 예시하지만, 당업자들은 임의 개수의 IoT 디바이스 그룹들이 IoT 수퍼에이전트들을 이용하여 서로 적절히 통신할 수도 있음을 인식할 것이다.
도 2a 는 본 개시의 양태들에 따른, IoT 디바이스 (200A) 의 하이-레벨 예를 예시한다. IoT 디바이스 (200A) 는 카메라 또는 스마트폰을 포함한 임의의 IoT 디바이스일 수도 있다. 외관들 및/또는 내부 구성요소들은 IoT 디바이스들 사이에 현저히 상이할 수 있지만, 대부분의 IoT 디바이스들은 디스플레이 및 사용자 입력을 위한 수단을 포함할 수도 있는 어느 종류의 사용자 인터페이스를 가질 것이다. IoT 디바이스들은 사용자 인터페이스 없이 도 1a 내지 도 1b 에서의에어 인터페이스 (108) 와 같은, 유선 또는 무선 네트워크를 통해서 원격으로 통신될 수 있다.
도 2a 에 나타낸 바와 같이, IoT 디바이스 (200A) 를 위한 예시적인 구성에서, IoT 디바이스 (200A) 의 외부 케이싱은 당업계에 알려져 있는 바와 같은, 다른 구성요소들 중에서, 디스플레이 (226), 전력 버튼 (222), 및 2개의 제어 버튼들 (224A 및 224B) 로 구성될 수도 있다. 디스플레이 (226) 는 터치스크린 디스플레이일 수도 있으며, 이 경우, 제어 버튼들 (224A 및 224B) 은 필요하지 않을 수도 있다. IoT 디바이스 (200A) 의 일부로서 명시적으로 도시되어 있지 않지만, IoT 디바이스 (200A) 는, WiFi 안테나들, 셀룰러 안테나들, 위성 위치 시스템 (satellite position system; SPS) 안테나들 (예를 들어, 글로벌 위치확인 시스템 (global positioning system; GPS) 안테나들) 등을 포함하지만 이에 한정되지 않는, 외부 케이싱 내에 내장되는 하나 이상의 통합 안테나들 및/또는 하나 이상의 외부 안테나들을 포함할 수도 있다.
IoT 디바이스 (200A) 와 같은, IoT 디바이스들의 내부 구성요소들은상이한 하드웨어 구성들로 구현될 수 있지만, 내부 하드웨어 구성요소들을 위한 기본적인 하이-레벨 구성은 도 2a 에 플랫폼 (202) 으로서 도시된다. 플랫폼 (202) 은 도 1a 내지 도 1b 에서의 에어 인터페이스 (108) 및/또는 유선 인터페이스와 같은, 네트워크 인터페이스를 통해서 송신되는 소프트웨어 애플리케이션들, 데이터 및/또는 커맨드들을 수신하고 실행할 수 있다. 플랫폼 (202) 은 또한 로컬로 저장된 애플리케이션들을 독립적으로 실행할 수 있다. 플랫폼 (202) 은 유선 및/또는 무선 통신용으로 구성된 하나 이상의 송수신기들 (206) (예컨대, Wi-Fi 송수신기, Bluetooth 송수신기, 셀룰러 송수신기, 위성 송수신기, GPS 또는 SPS 수신기 등) 을 포함할 수 있다. 송수신기 (206) 는 추가적으로, 본원에 기재된 바처럼, 비콘 신호를 방출 및 검출하고 발견 메시지 및 콘택트 카드 (contact card) 들을 송신 및 수신하도록 구성될 수도 있다. 송수신기 (206) 는 마이크로제어기, 마이크로프로세서, 주문형 집적회로, 디지털 신호 프로세서 (DSP), 프로그래밍가능 로직 회로, 또는 다른 데이터 프로세싱 디바이스와 같은 하나 이상의 프로세서들 (208) 에 동작가능하게 커플링되며, 이들은프로세서 (208) 로서 일반적으로 지칭된다. 프로세서 (208) 는 IoT 디바이스의 메모리 (212) 내 애플리케이션 프로그래밍 명령들을 실행할 수 있다. 메모리 (212) 는 컴퓨터 플랫폼들에 공통되는, 판독 전용 메모리 (ROM), 랜덤-액세스 메모리 (RAM), 전기적 소거가능 프로그래밍가능 ROM (EEPROM), 플래시 카드들, 또는 임의의 메모리 중 하나 이상을 포함할 수 있다. 하나 이상의 입력 / 출력 (I/O) 인터페이스들 (214) 은 프로세서 (208) 로 하여금, 예시된 바와 같은 디스플레이 (226), 전력 버튼 (222), 제어 버튼들 (224A 및 224B) 과 같은 여러 I/O 디바이스들, 및 IoT 디바이스 (200A) 와 연관되는, 센서들, 엑츄에이터들,릴레이들, 밸브들, 스위치들, 및 기타 등등과 같은, 임의의 다른 디바이스들과 통신하고 그들로부터의 제어를 허용하도록 구성될 수 있다.
따라서, 본 개시의 양태는 본원에서 설명한 기능들을 수행하는 능력을 포함하는 IoT 디바이스 (예컨대, IoT 디바이스 (200A)) 를 포함할 수 있다. 본 기술 분야의 당업자가 알 수 있는 바와 같이, 다양한 논리 엘리먼트들이 본원에서 개시된 기능을 달성하기 위해서 개별 엘리먼트들 (discrete elements), 프로세서 (예를 들어, 프로세서 (208)) 상에서 실행되는 소프트웨어 모듈들 또는 소프트웨어와 하드웨어의 임의의 조합에서 구현될 수 있다. 예를 들어, 송수신기 (206), 프로세서 (208), 메모리 (212), 및 I/O 인터페이스 (214) 는 모두 본원에서 개시된 다양한 기능들을 로딩, 저장 및 실행하기 위해서 협동적으로 사용될 수 있으며, 따라서 이들 기능들을 수행하는 로직은 다양한 엘리먼트들에 걸쳐서 분산할 수도 있다. 다르게는, 이 기능은 하나의 개별 컴포넌트내에 포함될 수 있다. 따라서, 도 2a 에서 IoT 디바이스 (200A) 의 특징들은 단지 예시적인 것으로 고려되야 하고, 본 개시는 예시된 특징들 또는 배열에 한정되지 않는다.
예를 들어, 송수신기 (206) 는 인근 IoT 디바이스와 연관된 오브젝트를 식별하기 위한 표시를 생성할 수도 있다. 송수신기 (206) 및/또는 프로세서 (208) 는 인근 IoT 디바이스와 연관된 식별 정보를 수신할 수도 있다. 프로세서 (208) 및/또는 I/O 인터페이스 (214) 는 카메라 애플리케이션의 시야에 있는 인근 오브젝트를 검출할 수도 있다. 프로세서 (208) 는 수신된 식별 정보에 기초하여 인근 오브젝트가 인근 IoT 디바이스와 연관되는지 여부를 결정할 수도 있고, 인근 오브젝트가 인근 IoT 디바이스와 연관되는 것에 기초하여, 인근 오브젝트가 인근 IoT 디바이스와 연관된 오브젝트에 대응하는 것을 결정할 수도 있다.
도 2b 는 본 개시의 양태들에 따른, 수동 IoT 디바이스 (200B) 의 하이-레벨 예를 예시한다. 일반적으로, 도 2b 에 나타낸 수동 IoT 디바이스 (200B) 는 위에서 더 자세하게 설명된, 도 2a 에 나타낸 IoT 디바이스 (200A) 와 동일하거나 및/또는 실질적으로 유사한 여러 구성요소들을 포함할 수도 있다. 이와 같이, 설명의 간결성 및 용이성을 위해, 도 2b 에 나타낸 수동 IoT 디바이스 (200B) 에서의 어떤 구성요소들에 관련된 여러 상세들은 동일한 또는 유사한 상세들이 도 2a 에 예시된 IoT 디바이스 (200A) 와 관련하여 위에 이미 제공되었다는 점에서, 여기에서 생략될 수도 있다.
도 2b 에 나타낸 수동 IoT 디바이스 (200B) 는, 수동 IoT 디바이스 (200B) 가 프로세서, 내부 메모리, 또는 어떤 다른 구성요소들을 갖지 않을 수도 있다는 점에서, 도 2a 에 나타낸 IoT 디바이스 (200A) 와는 일반적으로 상이할 수도 있다. 대신, 일 실시형태에서, 수동 IoT 디바이스 (200B) 는, 제어되는 IoT 네트워크 내에서 수동 IoT 디바이스 (200B) 가 관측되거나, 모니터링되거나, 제어되거나, 관리되거나, 또는 아니면 알려질 수 있게 하는, I/O 인터페이스 (214) 또는 다른 적합한 메커니즘만을 포함할 수도 있다. 예를 들어, 일 실시형태에서, 수동 IoT 디바이스 (200B) 와 연관되는 I/O 인터페이스 (214) 는, 단거리 인터페이스를 통해서 질의받을 때 수동 IoT 디바이스 (200B) 와 연관되는 식별자 및 속성들을 또 다른 디바이스 (예컨대, 수동 IoT 디바이스 (200B) 와 연관되는 속성들에 관련된 정보를 검출하거나, 저장하거나, 통신하거나, 작용하거나, 또는 아니면 프로세싱할 수 있는, IoT 디바이스 (200A) 와 같은, 능동 IoT 디바이스) 에 제공할 수 있는, 바코드, Bluetooth 인터페이스, 무선 주파수 (RF) 인터페이스, RFID태그, IR 인터페이스, NFC 인터페이스, 또는 임의의 다른 적합한 I/O 인터페이스를 포함할 수도 있다.
상기는 수동 IoT 디바이스 (200B) 를 일부 유형의 RF, 바코드, 또는 다른 I/O 인터페이스 (214) 를 갖는 것으로 설명하지만, 수동 IoT 디바이스 (200B) 는 이러한 I/O 인터페이스 (214) 를 갖지 않는 디바이스 또는 다른 물리적인 오브젝트를 포함할 수도 있다. 예를 들어, 어떤 IoT 디바이스들은 수동 IoT 디바이스 (200B) 를 식별하기 위해 수동 IoT 디바이스 (200B) 와 연관되는 형태들, 사이즈들, 칼라들, 및/또는 다른 관측가능한 특징들을 검출할 수 있는 적합한 스캐너 또는 판독기 메커니즘들을 가질 수도 있다. 이런 식으로, 임의의 적합한 물리적인 오브젝트는 그의 아이덴티티 및 속성들을 통신하고, 제어되는 IoT 네트워크 내에서 관측되거나, 모니터링되거나, 제어되거나, 또는 그렇지 않으면 관리될 수도 있다.
도 3은, 기능을 수행하도록 구성된 로직을 포함하는 통신 디바이스 (300) 를 예시한다. 통신 디바이스 (300) 는 IoT 디바이스들 (110-120), IoT 디바이스 (200A), 인터넷 (175) 에 커플링된 임의의 구성요소들 (예컨대, IoT 서버 (170)) 등을 포함하지만 이에 한정되지 않는, 위에서 언급된 통신 디바이스들 중 임의의 통신 디바이스에 대응할 수 있다. 따라서, 통신 디바이스 (300) 는, 도 1a 내지 도 1b 의 무선 통신 시스템 (100A-B) 을 통해 하나 이상의 다른 엔티티들과 통신하도록 (또는 통신을 가능하게 하도록) 구성되는 임의의 전자 디바이스에 대응할 수 있다.
도 3을 참조하면, 통신 디바이스 (300) 는 정보를 수신 및/또는 송신하도록 구성된 로직 (305) 을 포함한다. 일 예에서, 통신 디바이스 (300) 가 무선 통신 디바이스 (예컨대, IoT 디바이스 (200A) 및/또는 수동 IoT 디바이스 (200B)) 에 대응하면, 정보를 수신하거나 및/또는 송신하도록 구성된 로직 (305) 은 무선 송수신기와 같은 무선 통신 인터페이스 (예컨대, Bluetooth, Wi-Fi, Wi-Fi 다이렉트, LTE (Long-Term Evolution) 다이렉트 등) 및 연관된 하드웨어 (예컨대, RF 안테나, 모뎀, 변조기 및/또는 복조기 등) 을 포함할 수 있다. 또 다른 예에서, 정보를 수신 및/또는 송신하도록 구성된 로직 (305) 은 유선 통신인터페이스 (예를 들어, 직렬 접속, USB 또는 파이어와이어 (Firewire) 접속, 인터넷 (175) 이 액세스될 수 있는 이더넷 (Ethernet) 접속 등) 에 대응할 수 있다. 따라서, 통신 디바이스 (300) 가 일부의 타입의 네트워크-기반 서버 (예를들어, IoT 서버 (170)) 에 대응할 경우, 정보를 수신 및/또는 송신하도록 구성된 로직 (305) 은 일 예에서, 네트워크-기반 서버를 이더넷 프로토콜을 통해 다른 통신 엔티티들에 접속시키는 이더넷 카드에 대응할 수 있다. 추가의 예에서, 정보를 수신 및/또는 송신하도록 구성된 로직 (305) 은, 통신 디바이스 (300) 가 그의 로컬 환경을 모니터링할 수 있는 감지 또는 측정 하드웨어 (예를 들어, 가속도계, 온도 센서, 광 센서, 로컬 RF 신호들을 모니터링하기 위한 안테나 등) 를 포함할 수 있다. 정보를 수신 및/또는 송신하도록 구성된 로직 (305) 은 또한, 실행될 때, 정보를 수신 및/또는 송신하도록 구성된 로직 (305) 의 연관된 하드웨어가 그의 수신 및/또는 송신 기능 (들)을 수행하도록 허용하는 소프트웨어를 포함할 수 있다. 그러나, 정보를 수신 및/또는 송신하도록 구성된 로직 (305) 은 소프트웨어 하나에만 대응하는 것은 아니고, 정보를 수신 및/또는 송신하도록 구성된 로직 (305) 은 그의 기능을 달성하기 위하여 하드웨어에 적어도 부분적으로 의거한다.
도 3을 참조하면, 통신 디바이스 (300) 는 정보를 프로세싱하도록 구성된 로직 (310) 을 더 포함한다. 일 예에서, 정보를 프로세싱하도록 구성된 로직 (310) 은 적어도 프로세서를 포함할 수 있다. 정보를 프로세싱하도록 구성된 로직 (310) 에 의해 수행될 수 있는 프로세싱의 타입의 예의 구현들은, 결정들을 수행하는 것, 접속들을 확립하는 것, 상이한 정보 옵션들 사이에서 선택들을 행하는 것, 데이터와 관련된 평가들을 수행하는 것, 측정 동작들을 수행하기 위하여 통신 디바이스 (300) 에 연결된 센서들과 상호작용하는 것, 정보를 하나의 포맷으로부터 또 다른 포맷으로 (예를 들어, .wmv 대 .avi 와 같은 상이한 프로토콜들 등 간에) 변환하는 것 등을 포함하지만 이에 한정되지는 않는다. 정보를 프로세싱하도록 구성된 로직 (310) 에 포함된 프로세서는, 범용 프로세서, DSP, ASIC, 필드 프로그램가능 게이트 어레이 (FPGA) 또는 다른 프로그램가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트 또는 여기에 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합에 대응할 수 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다르게는, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로컨트롤러, 또는 상태 머신일 수도 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합한 하나 이상의 마이크로프로세서, 또는 임의의 다른 이러한 구성으로서 구현될 수도 있다. 정보를 프로세싱하도록 구성된 로직 (310) 은 또한, 실행될 때, 정보를 프로세싱하도록 구성된 로직 (310) 의 연관된 하드웨어가 그의 프로세싱 기능(들) 을 수행하도록 허용하는 소프트웨어를 포함할 수 있다. 그러나, 정보를 프로세싱하도록 구성된 로직 (310) 은 소프트웨어 하나에만 대응하는 것은 아니고, 정보를 프로세싱하도록 구성된 로직 (310) 은 그의 기능을 달성하기 위하여 하드웨어에 적어도 부분적으로 의거한다.
도 3을 참조하면, 통신 디바이스 (300) 는 정보를 저장하도록 구성된 로직 (315) 을 더 포함한다. 일 예에서, 정보를 저장하도록 구성된 로직 (315) 은 적어도 비-일시적인 메모리 및 연관된 하드웨어 (예를 들어, 메모리 제어기 등) 를 포함할 수 있다. 예를 들어, 정보를 저장하도록 구성된 로직 (315) 에 포함된 비-일시적인 메모리는 RAM, 플래시 메모리, ROM, EPROM (erasable programmable ROM), EEPROM, 레지스터들, 하드 디스크, 리무버블 디스크, CD-ROM, 또는 당해 분야에서 알려진 임의의 다른 형태의 저장 매체에 대응할 수 있다. 정보를 저장하도록 구성된 로직 (315) 은 또한, 실행될 때, 정보를 저장하도록 구성된 로직 (315) 의 연관된 하드웨어가 그의 저장 기능(들) 을 수행하도록 허용하는 소프트웨어를 포함할 수 있다. 그러나, 정보를 저장하도록 구성된 로직 (315) 은 소프트웨어 하나에만 대응하는 것은 아니고, 정보를 저장하도록 구성된 로직 (315) 은 그의 기능을 달성하기 위하여 하드웨어에 적어도 부분적으로 의거한다.
도 3을 참조하면, 통신 디바이스 (300) 는 선택적으로, 정보를 제시하도록 구성된 로직 (320) 을 더 포함한다. 일 예에서, 정보를 제시하도록 구성된 로직 (320) 은 적어도 출력 디바이스 및 연관된 하드웨어를 포함할 수 있다. 예를 들어, 출력 디바이스는 비디오 출력 디바이스 (예를 들어, 디스플레이 스크린, USB, HDMI 등과 같이 비디오 정보를 전달할 수 있는 포트), 오디오 출력 디바이스 (예를 들어, 스피커들, 마이크로폰 잭, USB, HDMI 등과 같이 오디오 정보를 전달할 수 있는 포트), 진동 디바이스, 및/또는 정보가 출력을 위해 포맷될 수 있거나 또는 통신 디바이스 (300) 의 사용자 또는 운영자에 의해 실제로 출력될 수 있는 임의의 다른 디바이스를 포함할 수 있다. 예를 들어, 통신 디바이스 (300) 가 도 2a 에 나타낸 바와 같은 IoT 디바이스 (200A) 및/또는 도 2b 에 나타낸 바와 같은 수동 IoT 디바이스 (200B) 에 대응하면, 정보를 제시하도록 구성된 로직 (320) 은 디스플레이 (226) 를 포함할 수 있다. 추가의 예에서는, 정보를 제시하도록 구성된 로직 (320) 은, 로컬 사용자를 갖지 않는 네트워크 통신 디바이스들 (예를 들어, 네트워크 스위치들 또는 라우터들, 원격 서버들 등) 과 같은 어떤 통신 디바이스들에 대해, 생략될 수 있다. 정보를 제시하도록 구성된 로직 (320) 은 또한, 실행될 때, 정보를 제시하도록 구성된 로직 (320) 의 연관된 하드웨어가 그의 제시 기능(들) 을 수행하도록 허용하는 소프트웨어를 포함할 수 있다. 그러나, 정보를 제시하도록 구성된 로직 (320) 은 소프트웨어 하나에만 대응하는 것은 아니고, 정보를 제시하도록 구성된 로직 (320) 은 그의 기능을 달성하기 위하여 하드웨어에 적어도 부분적으로 의거한다.
도 3을 참조하면, 통신 디바이스 (300) 는 선택적으로, 로컬 사용자 입력을 수신하도록 구성된 로직 (325) 을 더 포함한다. 일 예에서, 로컬 사용자 입력을 수신하도록 구성된 로직 (325) 은 적어도 사용자 입력 디바이스 및 연관된 하드웨어를 포함할 수 있다. 예를 들어, 사용자 입력 디바이스는 버튼들, 터치스크린 디스플레이, 키보드, 카메라, 오디오 입력 디바이스 (예를 들어, 마이크로폰, 또는 마이크로폰 잭 등과 같이 오디오 정보를 전달할 수 있는 포트), 및/또는 통신 디바이스 (300) 의 사용자 또는 운영자로부터 정보가 수신될 수 있는 임의의 다른 디바이스를 포함할 수 있다. 예를 들어, 통신 디바이스 (300) 가 도 2a 에 나타낸 바와 같은 IoT 디바이스 (200A) 및/또는 도 2b 에 나타낸 바와 같은 수동 IoT 디바이스 (200B) 에 대응하면, 로컬 사용자 입력을 수신하도록 구성된 로직 (325) 은 버튼들 (222, 224A, 및 224B), (만약 터치스크린이면) 디스플레이 (226) 등을 포함할 수 있다. 추가의 예에서는, 로컬 사용자 입력을 수신하도록 구성된 로직 (325) 은, 로컬 사용자를 갖지 않는 네트워크 통신 디바이스들 (예를 들어, 네트워크 스위치들 또는 라우터들, 원격 서버들 등) 과 같은 어떤 통신 디바이스들에 대해, 생략될 수 있다. 로컬 사용자 입력을 수신하도록 구성된 로직 (325) 은 또한, 실행될 때, 로컬 사용자 입력을 수신하도록 구성된 로직 (325) 의 연관된 하드웨어가 그의 입력 수신 기능(들) 을 수행하도록 허용하는 소프트웨어를 포함할 수 있다. 그러나, 로컬 사용자 입력을 수신하도록 구성된 로직 (325) 은 소프트웨어 하나에만 대응하는 것은 아니고, 로컬 사용자 입력을 수신하도록 구성된 로직 (325) 은 그의 기능을 달성하기 위하여 하드웨어에 적어도 부분적으로 의거한다.
예시적인 양태에서, 정보를 수신 및/또는 송신하도록 구성된 로직 (305) 은 인근 IoT 디바이스와 연관된 오브젝트를 식별하기 위한 표시를 생성할 수도 있다. 정보를 수신 및/또는 송신하도록 구성된 로직 (305) 및/또는 정보를 프로세싱하도록 구성된 로직 (310) 은 인근 IoT 디바이스와 연관된 식별 정보를 수신할 수도 있다. 정보를 프로세싱하도록 구성된 로직 (310) 및/또는 로컬 사용자 입력 (325) 을 수신하도록 구성된 로직은 카메라 애플리케이션의 시야에 있는 인근 오브젝트를 검출할 수도 있다. 정보를 프로세싱하도록 구성된 로직 (310) 은 수신된 식별 정보에 기초하여 인근 오브젝트가 인근 IoT 디바이스와 연관되는지 여부를 결정할 수도 있고, 인근 오브젝트가 인근 IoT 디바이스와 연관되는 것에 기초하여, 인근 오브젝트가 인근 IoT 디바이스와 연관된 오브젝트에 대응하는 것을 결정할 수도 있다.
도 3을 참조하면, 305 내지 325 의 구성된 로직들은 도 3에서분리 또는 구분되는 블록들로서 도시되어 있지만, 각각의 구성된 로직이 그의 기능을 수행하는 하드웨어 및/또는 소프트웨어는 부분적으로 오버랩될 수 있다는 것이 인식될 것이다. 예를 들어, 305 내지 325 의 구성된 로직들의 기능을 가능하게 하기 위하여 이용된 임의의 소프트웨어는 정보를 저장하도록 구성된 로직 (315) 과 연관된 비-일시적인 메모리에 저장되어, 305 내지 325 의 구성된 로직들은 각각, 정보를 저장하도록 구성된 로직 (315) 에 의해 저장된 소프트웨어의 동작에 부분적으로 기초하여 그들의 기능 (즉, 이 경우, 소프트웨어 실행) 을 수행할 수 있다. 마찬가지로, 구성된 로직들 중의 하나와 직접 연관되는 하드웨어는때때로 다른 구성된 로직들에 의해 차용 또는 이용될 수 있다. 예를 들어, 정보를 프로세싱하도록 구성된 로직 (310) 의 프로세서는 정보를 수신 및/또는 송신하도록 구성된 로직 (305) 에 의해 송신되기 전에 데이터를 적절한 포맷으로 포맷하여, 정보를 수신 및/또는 송신하도록 구성된 로직 (305) 이 정보를 프로세싱하도록 구성된 로직 (310) 과 연관된 하드웨어 (즉, 프로세서) 의 동작에 부분적으로 기초하여 그의 기능 (즉, 이 경우, 데이터의 송신) 을 수행할 수 있다.
일반적으로, 이와 다르게 명시적으로 언급되지 않으면, 본 개시의전반에 걸쳐 이용된 어구 "~하도록 구성된 로직" 은 하드웨어로 적어도 부분적으로 구현되는 양태를 환기시키도록 의도된 것이고, 하드웨어에 관련 없는 소프트웨어만의 구현들로 맵핑하도록 의도된 것이 아니다. 또한, 다양한 블록들에서의 구성된 로직 또는 "~하도록 구성된 로직" 은 특정 로직 게이트들 또는 엘리먼트들에 한정되는 것이 아니라, (하드웨어, 또는 하드웨어 및 소프트웨어의 조합 중의 어느 하나를 통하여) 본원에 기재된 기능을 수행할 수 있는 능력을 일반적으로 지칭한다는 것이 인식될 것이다. 따라서, 다양한 블록들에서 예시된 구성된 로직들 또는 "~하도록 구성된 로직" 은 단어 "로직" 을 공유함에도 불구하고 로직 게이트들 또는 로직 엘리먼트들로서 반드시 구현되는 것은 아니다. 다양한 블록들에서의 로직간의 다른 상호작용들 또는 협력은 이하에서 더욱 상세하게 설명된 양태들의 검토로부터 당해 분야의 당업자에게 명확해질 것이다.
다양한 실시형태들은 도 4에 예시된 서버 (400) 와 같은 다양한 상업적으로 이용가능한 서버 디바이스들 중 임의의 것 상에서 구현될 수도 있다. 일예에서, 서버 (400) 는 상술된 IoT 서버 (170) 의 하나의 예시적인 구성에 대응할 수도 있다. 도 4에서, 서버 (400) 는 휘발성 메모리 (402) 및 대용량 비휘발성 메모리, 이를테면 디스크 드라이브 (403) 에 연결된 프로세서 (401) 를 포함한다. 서버 (400) 은 또한, 프로세서 (401) 에 연결된 플로피 디스크 드라이브, 컴팩트 디스크 CD 또는 DVD 디스크 드라이브 (406) 를 포함할 수도 있다. 서버 (400) 는, 또한 다른 브로드캐스트 시스템 컴퓨터들 및 서버들에 연결되거나 또는 인터넷에 연결되는 로컬 영역 네트워크와 같은 네트워크 (407) 와의 데이터 접속들을 확립하기 위해 프로세서 (401) 에 연결되는 네트워크 액세스 포트들 (404) 를 포함할 수도 있다. 도 3의 맥락에서, 도 4의 서버 (400) 는 통신 디바이스 (300) 의 하나의 예시적인 구현을 나타내며, 이로써 정보를 송신 및/또는 수신하도록 구성된 로직 (305) 은 네트워크 (407) 와 통신하기 위해서 서버 (400) 에 의해 사용되는 네트워크 액세스 포인트들 (404) 에 대응하고, 정보를 프로세싱하도록 구성된 로직 (310) 은 프로세서 (401) 에 대응하고, 그리고 정보를 저장하도록 구성된 로직 (315) 은 휘발성 메모리 (402), 디스크 드라이브 (403) 및/또는 디스크 드라이브 (406) 의 임의의 조합에 대응한다는 것이 인식될 것이다. 정보를 제시하도록 구성된 선택적 로직 (320) 및 로컬 사용자 입력을 수신하도록 구성된 선택적 로직 (325) 은 도 4에 명백하게 도시되어 있지 않으며, 거기에 포함되거나 또는 포함되지 않을 수도 있다. 이로써, 도 4는 도 2a에서 처럼 IoT 디바이스 구현에 추가하여, 통신 디바이스 (300) 가 서버로서 구현될 수도 있음을 보여주는데 도움이 된다.
IP-기반의 기술들 및 서비스들은 더 성숙해졌고, 비용을 끌어 내리고 IP 애플리케이션들의 이용가능성을 증대시켰다. 이것은 점점 더 많은 유형들의 일상의 전자 오브젝트들에 인터넷 접속성이 추가될 수 있게 하였다. IoT 는 꼭 컴퓨터들 및 컴퓨터 네트워크들만이 아닌, 일상의 전자 오브젝트들이 인터넷을 통해서 판독가능하고, 인식가능하고, 로케이트가능하고, 어드레스가능하고, 그리고 제어가능할 수 있다는 아이디어에 기초한다.
하지만, 기술의 진보에도 불구하고, 카메라 프레임워크로 하여금 IoT 디바이스들 및/또는 사람들과 같은 오브젝트들을, 그러한 오브젝트들의 그룹의 사진 또는 비디오에서, 식별하는 것을 가능하게 하기 위한 메카니즘이 없다. 즉, 사진 또는 비디오를 캡처하는 동안 대상들을 명령적으로 그리고 자동적으로 식별하기 위한 카메라 또는 셀 폰과 같은 이미지 캡처링 디바이스를 위한 메카니즘이 없다. 현재의 태깅 및/또는 오브젝트 인식 솔루션들은, 태깅/인식 프로세스 전에 제공되는 베이스라인 데이터로 포스트 프로세싱 기능으로서 수행된다.
따라서, 본 개시의 다양한 양태들은 ("카메라", "애플리케이션", "프레임워크", "카메라 애플리케이션" 또는 "카메라 프레임워크" 로서 상호교환적으로 지칭되는) 카메라 애플리케이션이 캡처하는 동안 사진 또는 비디오에 관한 메타데이터를 사전에 그리고 동시에 레코딩하는 것을 가능하게 하기 위한 메카니즘을 제공한다. 개시된 카메라 애플리케이션은 사진 또는 비디오를 캡처하고 동시에 사진 또는 비디오의 대상들에 관한 식별 정보를 모은다. 식별 정보는 지향성 마이크로폰, 광 센서, 적외 (IR) 센서, 가속도계 등과 같은 다양한 센서들을 이용한 대역외 시그널링을 통해 획득될 수도 있다.
일 양태에서, 카메라 애플리케이션이 사진 또는 비디오의 대상들을 식별하기 위하여, 광 또는 사운드 비콘 등의 비콘을 사용할 수 있다. 구체적으로, 사진을 찍거나 또는 비디오를 레코딩할 때, 카메라 애플리케이션은 인근 IoT 디바이스에 비콘을 송신한다. 인근 IoT 디바이스는, 연관된 사용자의 식별 정보 및 비콘을 식별하는 정보를 포함하는 그 자신의 비콘으로 응답한다. 카메라 애플리케이션은, 수신된 비콘을 대응하는 IoT 디바이스에, 그리고 따라서 식별 정보에 매칭시킬 수 있다.
도 5a 는 카메라 애플리케이션 (502) 이 사진 또는 비디오의 대상들을 식별하기 위하여, 광 또는 사운드 비콘 등의 비콘을 사용할 수 있는 예시적인 양태들을 예시한다. 사용자가 예를 들어, 셀 폰 또는 카메라일 수도 있는 UE (500) 상에서 카메라 애플리케이션 (502) 을 작동시킬 때, 카메라 애플리케이션 (502) 은 UE (500) 로 하여금 UE (500) 가 사진을 찍거나 또는 비디오를 레코딩하려 한다는 것을 표시하는 비콘 (504) 을 샷의 방향에서 브로드캐스트하게 할 수 있다. 비콘 (504) 은, 예를 들어, 인간에게 비가청의 주파수의 사운드 비콘, 또는 인간에게 비가시적인 범위의 광 비콘일 수도 있다. 예를 들어, IoT 디바이스들 (512, 522, 및 532) 과 같은 비콘의 범위 내의 임의의 IoT 디바이스는, 또한 인간에게 비가청 주파수의 사운드 비콘 또는 인간에게 비가시적인 범위의 광 비콘일 수도 있는, 그 자신의 비콘들 (514, 524, 및 534) 로 각각 응답할 수 있다. 예를 들어, IoT 디바이스 (512) 는 셀 폰일 수도 있고, 21 KHz 사운드 비콘 (514) 으로 응답할 수도 있다. IoT 디바이스 (522) 는 시계일 수도 있고, 그의 LED 를 사용하여 2500K 컬러 광 비콘 (524) 으로 응답할 수도 있다. IoT 디바이스 (532) 는 스마트 폰일 수도 있고, 40 KHz 사운드 비콘 (534) 으로 응답할 수도 있다.
각각의 IoT 디바이스 (512, 522, 및 532) 는 또한 “콘택트 카드” 또는 각각 연관된 사용자들 (510, 520, 및 530) 을 식별하는 다른 데이터를 UE (500) 에 보낸다. 응답하는 IoT 디바이스들 (512, 522, 및 532) 은 WiFi 네트워크와 같은 로컬 무선 네트워크를 통해 이 정보를 송신할 수도 있다. 대안적으로, 로컬 무선 네트워크가 이용가능하지 않으면, IoT 디바이스들 (512, 522, 및 532) 은 셀룰러 네트워크, 또는 다른 무선 송신 매체를 통해 이 정보를 송신할 수도 있다. IoT 디바이스들 (512, 522, 및 532) 은 비콘들 (514, 524, 및 534) 및 식별 정보를 동시적으로 또는 연속해서, 임의의 순서로 송신할 수도 있다.
식별 정보는 대응하는 사용자들 (510, 520, 및 530) 의 이름 및 콘택트 정보 (contact information) 를 포함할 수도 있다. 각각의 IoT 디바이스들 (512, 522, 및 532) 로부터의 식별 정보는 또한 대응하는 비콘들 (514, 524, 및 534) 을 식별하는 파라미터를 포함한다. 예를 들어, IoT 디바이스 (512) 로부터의 식별 정보는 비콘 (514) 이 21 KHz 사운드 비콘이라는 것을 표시하는 파라미터 “비콘[S21KHz]” 을 포함할 수도 있다.
일부 경우들에서, UE (500) 는 이미, 응답하는 IoT 디바이스 중의 하나 이상의 식별 정보를 가질 수도 있다. 응답하는 IoT 디바이스가 그 사실을 알고 있는 경우, 그것은 단순히 콘택트 카드 및 비콘 파라미터의 식별자를 송신할 수도 있다. 대안적으로 또는 추가적으로, IoT 디바이스는 비콘 (504) 과 같은 요청 비콘들에 응답할 때 항상 사용하는 특정 비콘을 가질 수도 있다. 그 경우에, 응답하는 IoT 디바이스가 UE (500) 와 이전에 상호작용했다는 것을 알면, UE (500) 가 이미 예상 비콘의 유형을 이미 알 것이므로, 그의 비콘 파라미터를 UE (500) 에 다시 전송할 필요가 없다.
카메라 애플리케이션 (502) 이 사진 또는 비디오를 캡처할 때, 그것은 적당한 포커스를 결정하기 위한 얼굴 인식과 같은 오브젝트 인식을 수행하여, 수신된 비콘들 (514, 524, 및 534) 에 대응할 수도 있는 사진 또는 비디오에서 오브젝트들 (516, 526, 및 536) 을 식별할 수 있다. 예를 들어, 카메라 애플리케이션 (502) 이 3개의 비콘들을 수신하면, 사진 또는 비디오에서 적어도 3개의 오브젝트들이 있을 수도 있다는 것을 안다.
대안적으로, 도 5b 에 예시된 바처럼, 카메라 애플리케이션 (502) 이 예를 들어, 오브젝트 (526) 와 같은 하나의 오브젝트만을 수신하지만, (예를 들어, 사용자가 특정 대상, 여기서는 대상 (520) 에 대한 카메라 애플리케이션 (502) 을 확대했을 경우) 3개의 비콘들 (514, 524, 및 534) 을 수신하면, 카메라 애플리케이션 (502) 은 그것이 어느 대상에 대해 확대했는지, 그리고 따라서 어느 비콘이 식별된 오브젝트에 대응하는지를 결정 가능할 수도 있다. 예를 들어, 비콘들 (514 및 534) 그리고 시야에서 검출된 임의의 오브젝트 사이의 매치를 검출하지 못하는 것에 기초하여 카메라 애플리케이션 (502) 은 대상들 (510 및 530) 이 시야에 있지 않는다는 것을 결정할 수도 있다. 그 경우에, 카메라 애플리케이션 (502) 은 다른 IoT 디바이스들 (512 및 532) 로부터의 비콘들 (514 및 534) 을 무시할 수 있다. 본 양태는 도 12를 참조하여 더 설명된다.
다시 도 5a 를 참조하면, 다음으로 카메라 애플리케이션 (502) 은 비콘들 (514, 524, 및 534) 이 수신된 방향에 기초하여 수신된 비콘들 (514, 524, 및 534) 과 식별된 오브젝트들 (516, 526, 및 536) 을 상관시킬 수 있다. UE (500) 는, 예를 들어 지향성 마이크로폰을 이용하여 비콘의 방향을 결정할 수도 있다. 도 5a 의 예에서, UE (500) 는 비콘 (514) 이 좌측에서 수신되었다고 결정할 수 있고 따라서, 오브젝트 (516) 와 비콘 (514) 을 매칭시킬 수 있다. 마찬가지로,UE (500) 는 비콘 (524) 이 중앙에서 수신되었다고 결정할 수 있고 따라서, 오브젝트 (526) 와 비콘 (524) 을 매칭시킬 수 있다. 유사하게,UE (500) 는 비콘 (534) 이 우측에서 수신되었다고 결정할 수 있고 따라서, 오브젝트 (536) 와 비콘 (534) 을 매칭시킬 수 있다.
카메라 애플리케이션 (502) 이 수신된 비콘들 (514, 524, 및 534) 과 식별된 오브젝트들 (516, 526, 및 536) 을 상관시키고 나면, 카메라 애플리케이션들 (502) 은 비콘들 (514, 524, 및 534) 들과 연관된 식별 정보로 식별된 오브젝트들 (516, 526, 및 536) 을 태깅할 수 있다. 카메라 애플리케이션 (502) 은 이 식별 정보를 캡처된 화상 또는 비디오의 메타데이터로서 저장할 수 있다.
또 다른 양태에서, 카메라 애플리케이션은 대상들을 식별하기 위하여 사진 또는 비디오의 대상들의 온도를 사용할 수 있다. 구체적으로, 카메라 애플리케이션은 사진 또는 비디오의 대상들의 열 시그너처 (heat signature) 를 캡처할 수 있다. 시계, 신발, 셔츠 등과 같은 대상들의 IoT 디바이스들은 그들의 대응하는 사용자들의 온도를 사용자들의 식별 정보와 함께, 카메라 애플리케이션에 전송할 수 있다. 카메라 애플리케이션은 수신된 온도 정보를 사용자들의 열 시그너처에 매칭시켜 각각의 사용자를 대응하는 IoT 디바이스에, 그리고 따라서 대응하는 식별 정보에 매칭시킬 수 있다.
도 6 은 카메라 애플리케이션 (602) 이 대상들을 식별하기 위하여 사진 또는 비디오의 대상들의 온도를 사용할 수 있는 예시적인 양태를 예시한다. 사용자가 예를 들어, 셀 폰 또는 카메라일 수도 있는 UE (600) 상에서 카메라 애플리케이션 (602) 을 작동시킬 때, 카메라 애플리케이션 (602) 은 UE (600) 로 하여금 UE (600) 가 사진을 찍거나 또는 비디오를 레코딩하려 한다는 것을 표시하는 도 5a 에 있는 비콘 (504) 과 같은 비콘을 샷의 방향에서 브로드캐스트하게 할 수 있다. 비콘은, 위에 논의된 바처럼, 인간에게 비가청의 주파수의 사운드 비콘, 또는 인간에게 비가시적인 범위의 광 비콘일 수도 있다.
IoT 디바이스 (612, 622, 및 632) 와 같은 비콘의 범위 내의 임의의 IoT 디바이스는, 콘택트 카드, 및 사용자들 (610, 620, 및 630) 의 온도 정보와 같은 식별 정보를 포함하는 메시지들 (614, 624, 및 634) 을 UE (600) 에 전송하는 것에 의해 응답할 수 있다. 식별 정보는 사용자의 이름 및 콘택트 정보를 포함할 수도 있다. 온도 정보는 IoT 디바이스에 의해 취해진 사용자의 온도 판독을 포함할 수도 있다. IoT 디바이스 (612, 622, 및 632) 는 시계, 신발, 셔츠의 버튼 등과 같은 사용자의 상당히 정확한 온도를 잴 수 있는 임의의 IoT 디바이스일 수도 있다. 셀 폰, PDA, 또는 다른 유사한 디바이스는 충분히 정확한 온도를 잴 수 없을 수도 있는데, 왜냐하면 그러한 디바이스들은 그들 자체가 상당한 양의 열을 발생시키고, 이는 사용자의 온도 판독을 방해할 수도 있기 때문이다.
카메라 애플리케이션 (602) 이 사진 또는 비디오를 캡처할 때, 그것은 적당한 포커스를 결정하기 위한 얼굴 인식과 같은 오브젝트 인식을 수행하여, 수신된 메시지들 (614, 624, 및 634) 에 대응할 수도 있는 사진 또는 비디오에서 오브젝트들 (616, 626, 및 636) 을 식별할 수 있다.
카메라 애플리케이션 (602) 은 사진을 찍거나 또는 비디오를 레코딩할 때 UE (600) 로 하여금 사용자들 (610, 620, 및 630) 의 열 시그너처를 캡처하게 할 수 있다. 도 6의 예에서, 사용자 (610) 는 오브젝트 (616) 에 의해 예시되는 바처럼, 특정 온도 시그너처를 가진다. 마찬가지로, 사용자 (620) 는 오브젝트 (626) 에 의해 예시되는 바처럼, 특정 온도 시그너처를 가진다. 유사하게, 사용자 (630) 는 오브젝트 (636) 에 의해 예시되는 바처럼, 특정 온도 시그너처를 가진다. 도 6의 예에서, 카메라 애플리케이션 (602) 은 사용자들 (610, 620, 및 630) 의 상이한 열 시그너처들을 디스플레이하는 것으로 도시되어 있다. 하지만, 이는 예시 목적만을 위한 것이고, 카메라 애플리케이션 (602) 은 사용자들 (610, 620, 및 630) 의 열 뷰를 실제로 디스플레이하지 않을 수도 있다.
카메라 애플리케이션 (602) 은 메시지들 (614, 624, 및 634) 에서 수신된 온도 정보와 식별된 오브젝트들 (616, 626, 및 636) 을 상관시킬 수 있다. 즉, 카메라 애플리케이션 (602) 은 오브젝트들 (616, 626, 및 636) 중의 하나에 수신된 온도 정보 중 하나를 매칭시키려고 시도한다. 일부 경우들에서, UE (600) 에 의해 결정된 하나 이상의 열 시그너처들은 수신된 온도 정보 중 어느 것에도 정확하게 매칭하지 않을 수도 있다. 그 경우에, 카메라 애플리케이션 (602) 은, 2개의 온도들이 서로의 임계치 내에 있으면, 오브젝트의 열 시그너처를 수신된 온도 정보에 매칭시킬 수 있다.
비록 도 6에 도시되지는 않았지만, 도 5b 를 참조하여 논의된 바처럼, 카메라 애플리케이션 (602) 이 그것이 수신하는 메시지들 (614 내지 634) 의 수보다 캡처된 사진 또는 비디오에서 더 적은 수의 오브젝트들을 식별하면 (예를 들어, 카메라 애플리케이션 (602) 이 특정 대상에 대해 확대되는 경우), 카메라 애플리케이션 (602) 은 그것이 어느 대상(들) 에 대해 확대되었는지, 그리고 따라서 어느 메시지가 식별된 오브젝트(들) 에 대응하는지를 결정 가능할 수도 있다. 예를 들어, 메시지들 (614 내지 634) 중의 하나 이상에 있는 온도 정보와 시야에서 검출된 임의의 오브젝트 사이의 매치를 검출하지 못하는 것에 기초하여 카메라 애플리케이션 (602) 은 대상들 (610 내지 630) 중의 하나 이상이 시야에 있지 않는다는 것을 결정할 수도 있다. 그 경우에, 카메라 애플리케이션 (602) 은 검출된 오브젝트(들) 에 매칭하지 않는 온도 정보를 포함하는 메시지들을 무시할 수 있다.
일부 경우에, 대상 사용자는 균일한 열 시그너처를 갖지 않을 수도 있다. 이를 다루기 위하여, 카메라 애플리케이션 (602) 은 온도 정보를 전송하는 IoT 디바이스의 유형을 식별할 수도 있고, 그 IoT 디바이스가 사용자에 대해 어디에 위치되어 있을 가능성이 있는지에 기초하여, 카메라 애플리케이션 (602) 은 수신된 온도 정보가 그 위치에서 사용자/대상의 온도에 매칭하는지를 결정할 수 있다. 예를 들어, IoT 디바이스가 시계이면, 카메라 애플리케이션 (602) 은 사용자의 손목 주변 사용자의 온도를 결정할 수 있다.
카메라 애플리케이션 (602) 이 메시지들 (614, 624, 및 634) 에서 수신된 온도 정보와 식별된 오브젝트들 (616, 626, 및 636) 을 상관시키고 나면, 카메라 애플리케이션들 (602) 은 메시지들 (614, 624, 및 634) 에서 수신된 대응하는 식별 정보로 식별된 오브젝트들 (616, 626, 및 636) 을 태깅할 수 있다. 다음으로, 카메라 애플리케이션 (602) 은 이 식별 정보를 캡처된 화상 또는 비디오의 메타데이터로서 저장할 수 있다.
또 다른 양태에서, 카메라 애플리케이션은 대상들을 식별하기 위하여 사진 또는 비디오의 대상들 상의 패턴들을 사용할 수 있다. 구체적으로, 카메라 애플리케이션은 사진 또는 비디오의 대상들 상의 패턴들을 캡처한다. "패턴" 은, 예를 들어, 컬러, 스트라이프, 체크 등과 같은 카메라 애플리케이션에 의해 식별될 수 있는 대상의 옷의 임의의 특징일 수 있다. 패턴 정보는 또한, 특정 IoT 메이크/모델의 시그너처일 수도 있는, 위브 (weave) 및/또는 섬유 블록들의 확대된 뷰와 같은 대상의 옷의 미세 양상들을 포함할 수 있다. 시계, 신발, 셔츠 등과 같은 대상들의 IoT 디바이스들은 각각의 대상의 패턴 정보를 대상의 식별 정보와 함께 카메라 애플리케이션에 전송한다. 다음으로, 카메라 애플리케이션은 대상을 식별하기 위하여 수신된 패턴 정보로 사진 또는 비디오에서 식별된 패턴들을 맵핑한다.
도 7 은 카메라 애플리케이션 (702) 이 대상들을 식별하기 위하여 사진 또는 비디오의 대상들 상의 패턴들을 사용할 수 있는 예시적인 양태를 예시한다. 사용자가 예를 들어, 셀 폰 또는 카메라일 수도 있는 UE (700) 상에서 카메라 애플리케이션 (702) 을 작동시킬 때, 카메라 애플리케이션 (702) 은 UE (700) 로 하여금 UE (700) 가 사진을 찍거나 또는 비디오를 레코딩하려 한다는 것을 표시하는 도 5a 에 있는 비콘 (504) 과 같은 비콘을 샷의 방향에서 브로드캐스트하게 할 수 있다. 비콘은, 위에 논의된 바처럼, 인간에게 비가청의 주파수의 사운드 비콘, 또는 인간에게 비가시적인 범위의 광 비콘일 수도 있다.
IoT 디바이스 (712, 722, 및 732) 와 같은 비콘의 범위 내의 임의의 IoT 디바이스는, 예를 들어, 콘택트 카드와 같은 식별 정보, 및 사용자들/대상들 (710, 720, 및 730) 의 패턴 정보를 포함하는 메시지들 (714, 724, 및 734) 을 UE (700) 에 전송하는 것에 의해 응답할 수 있다. 식별 정보는 사용자들 (710, 720, 및 730) 의 이름 및 콘택트 정보를 포함할 수도 있다. 패턴 정보는, 유명 브렌드 셔츠의 패턴, 또는 패턴 이름, 이를테면 "스트라이프", 또는 패턴의 시각적 예와 같은 알려진 패턴의 패턴 식별자를 포함할 수도 있다. IoT 디바이스들 (712, 722, 및 732) 은, 셔츠의 버튼, 바지의 버튼, 타이의 라벨 등과 같은 패턴 정보를 저장하는 임의의 IoT 디바이스일 수도 있다.
카메라 애플리케이션 (702) 이 사진 또는 비디오를 캡처할 때, 그것은 적당한 포커스를 결정하기 위해 얼굴 인식과 같은 오브젝트 인식을 수행하여, 수신된 메시지들 (714, 724, 및 734) 에 대응할 수도 있는 사진 또는 비디오에서 오브젝트들 (716, 726, 및 736) 을 식별할 수 있다.
카메라 애플리케이션 (702) 은, 수신된 패턴 정보에 매칭되는 패턴들을 갖는 오브젝트들 (716, 726, 및 736) 과 같은 사진 또는 비디오에서 오브젝트들을 찾을 수 있다. 다음으로 카메라 애플리케이션 (702) 은 수신된 패턴 정보와 식별된 오브젝트들 (716, 726, 및 736) 을 상관시킬 수 있다. 즉, 카메라 애플리케이션 (702) 은 오브젝트들 (716, 726, 및 736) 중의 하나에 각각의 수신된 온도 정보를 매칭시키려고 시도한다.
카메라 애플리케이션 (702) 이 수신된 패턴 정보와 식별된 오브젝트들 (716, 726, 및 736) 을 상관시키고 나면, 카메라 애플리케이션들 (702) 은 대응하는 식별 정보로 식별된 오브젝트들 (716, 726, 및 736) 을 태깅할 수 있다. 다음으로, 카메라 애플리케이션 (702) 은 이 식별 정보를 캡처된 화상 또는 비디오의 메타데이터로서 저장할 수 있다.
도 7을 참조하여 설명된 패턴 정보가 사용자/대상의 패턴 정보로서 설명되었지만, 적어도 일부 경우들에서, 사용자/대상의 패턴 정보에 대한 언급은 실제로 IoT 디바이스의 패턴 정보에 대한 언급이라는 것이 명백해질 것이다. 예를 들어, IoT 디바이스가 셔츠 상의 버튼이면, 대상/사용자의 패턴 정보는 실제로 셔츠/버튼/IoT 디바이스의 패턴 정보이다.
또한, 비록 도 7에 도시되지는 않았지만, 도 5b 를 참조하여 논의된 바처럼, 카메라 애플리케이션 (702) 이 그것이 수신하는 메시지들 (714 내지 734) 의 수보다 캡처된 사진 또는 비디오에서 더 적은 수의 오브젝트들을 식별하면 (예를 들어, 카메라 애플리케이션 (702) 이 특정 대상에 대해 확대되는 경우), 카메라 애플리케이션 (702) 은 그것이 어느 대상(들) 에 대해 확대되었는지, 그리고 따라서 어느 메시지가 식별된 오브젝트(들) 에 대응하는지를 결정 가능할 수도 있다. 예를 들어, 메시지들 (714 내지 734) 중의 하나 이상에 있는 패턴 정보와 시야에서 검출된 임의의 오브젝트 사이의 매치를 검출하지 못하는 것에 기초하여 카메라 애플리케이션 (702) 은 대상들 (710 내지 730) 중의 하나 이상이 시야에 있지 않는다는 것을 결정할 수도 있다. 그 경우에, 카메라 애플리케이션 (702) 은 검출된 오브젝트(들) 에 매칭하지 않는 패턴 정보를 포함하는 메시지들을 무시할 수 있다.
또 다른 양태에서, 카메라 애플리케이션은 대상들을 식별하기 위하여 사진 또는 비디오의 대상들의 포즈를 사용할 수 있다. 특히, 많은 웨어러블 IoT 디바이스들은 가속도계, 자기계, 자이로스코프 및/또는 이와 유사한 것을 가진다. 카메라 애플리케이션은 캡처된 이미지 또는 비디오를 프로세싱하고, 머리, 팔, 몸통, 다리 등과 같은 대상의 신체 부분들의 가능한 각도를 결정할 수 있다. 카메라 애플리케이션은 이들 각도와 대상들에 의해 착용되는 다양한 IoT 디바이스들로부터 수신된 각도 정보를 매칭시켜 어느 대상이 어느 IoT 디바이스에, 그리고 따라서 어느 식별 정보에 대응하는지를 식별할 수 있다.
도 8 는 카메라 애플리케이션 (802) 이 대상들을 식별하기 위하여 사진 또는 비디오의 대상들의 포즈를 사용할 수 있는 예시적인 양태를 예시한다. 사용자가 예를 들어, 셀 폰 또는 카메라일 수도 있는 UE (800) 상에서 카메라 애플리케이션 (802) 을 작동시킬 때, 카메라 애플리케이션 (802) 은 UE (800) 로 하여금 UE (800) 가 사진을 찍거나 또는 비디오를 레코딩하려 한다는 것을 표시하는 도 5a 에 있는 비콘 (504) 과 같은 비콘을 샷의 방향에서 브로드캐스트하게 할 수 있다. 비콘은, 위에 논의된 바처럼, 인간에게 비가청의 주파수의 사운드 비콘, 또는 인간에게 비가시적인 범위의 광 비콘일 수도 있다.
IoT 디바이스들 (812, 822, 및 832) 와 같은 비콘의 범위 내의 임의의 IoT 디바이스는, 콘택트 카드와 같은 식별 정보 및 사용자들 (810, 820, 및 830) 의 포즈 정보를 포함하는 메시지들 (814, 824, 및 834) 을 UE (800) 에 전송하는 것에 의해 응답할 수 있다. 식별 정보는 사용자의 이름 및 콘택트 정보를 포함할 수도 있다. 포즈 정보는, 가속도계, 자기계, 자이로스코프, 및/또는 이와 유사한 것에 의해 결정되는, IoT 디바이스의 각도 및/또는 포지션을 포함할 수도 있다. IoT 디바이스들 (812, 822, 및 832) 은, 자신의 포즈/각도/축을 표시할 수 있고 그에 의해 셔츠 상의 버튼, 신발, 시계 등과 같은 사용자의 포즈에 관한 의미있는 정보를 제공할 수 있는 임의의 IoT 디바이스일 수도 있다.
카메라 애플리케이션 (802) 이 사진 또는 비디오를 캡처할 때, 그것은 적당한 포커스를 결정하기 위해 얼굴 인식과 같은 오브젝트 인식을 수행하여, 수신된 메시지들 (814, 824, 및 834) 에 대응할 수도 있는 사진 또는 비디오에서 오브젝트들 (816, 826, 및 836) 을 식별할 수 있다.
카메라 애플리케이션 (802) 은, 사진 또는 비디오의 대상들의 바디 프레임, 또는 스틱 모델을 결정할 수 있다. 다음으로 카메라 애플리케이션 (802) 은 수신된 포즈 정보와 식별된 오브젝트들 (816, 826, 및 836) 을 상관시킬 수 있다. 즉, 카메라 애플리케이션 (802) 은 오브젝트들 (816, 826, 및 836) 중의 하나에 수신된 포즈 정보를 매칭시키려고 시도한다. 카메라 애플리케이션 (802) 은 포즈 정보를 전송하는 IoT 디바이스의 유형을 식별할 수도 있고, 그 IoT 디바이스가 대상에 대해 어디에 위치되어 있을 가능성이 있는지에 기초하여, 카메라 애플리케이션 (802) 은 수신된 포즈 정보가 그 위치에서 대상의 바디 프레임의 각도에 매칭하는지를 결정할 수 있다. 예를 들어, IoT 디바이스가 시계이면, 카메라 애플리케이션 (802) 은 바디 프레임으로부터 대상의 팔둑의 각도를 결정할 수 있다. 결정된 각도들은 항상 정확하게 매칭되지 않을 수도 있고, 그 경우에, 카메라 애플리케이션 (802) 은 2개의 각도들이 서로의 임계치 내에 있다면 수신된 포즈 정보에 식별된 오브젝트를 매칭시킬 수 있다.
카메라 애플리케이션 (802) 이 수신된 패턴 정보와 식별된 오브젝트들 (816, 826, 및 836) 을 상관시키고 나면, 카메라 애플리케이션들 (802) 은 대응하는 식별 정보로 식별된 오브젝트들 (816, 826, 및 836) 을 태깅할 수 있다. 다음으로, 카메라 애플리케이션 (802) 은 이 식별 정보를 캡처된 화상 또는 비디오의 메타데이터로서 저장할 수 있다.
비록 도 8에 도시되지는 않았지만, 도 5b 를 참조하여 논의된 바처럼, 카메라 애플리케이션 (802) 이 그것이 수신하는 메시지들 (814 내지 834) 의 수보다 캡처된 사진 또는 비디오에서 더 적은 수의 오브젝트들을 식별하면 (예를 들어, 카메라 애플리케이션 (802) 이 특정 대상에 대해 확대되는 경우), 카메라 애플리케이션 (802) 은 그것이 어느 대상(들) 에 대해 확대되는지, 그리고 따라서 어느 메시지가 식별된 오브젝트(들) 에 대응하는지를 결정 가능할 수도 있다. 예를 들어, 메시지들 (814 내지 834) 중의 하나 이상에 있는 포즈 정보와 시야에서 검출된 임의의 오브젝트 사이의 매치를 검출하지 못하는 것에 기초하여 카메라 애플리케이션 (802) 은 대상들 (810 내지 830) 중의 하나 이상이 시야에 있지 않는다는 것을 결정할 수도 있다. 그 경우에, 카메라 애플리케이션 (802) 은 검출된 오브젝트(들) 에 매칭하지 않는 온도 정보를 포함하는 메시지들을 무시할 수 있다.
다양한 양태들이 3개의 IoT 디바이스들 및 사용자들의 측면에서 설명되고 예시되었지만, 하나만을 포함한, 사진 또는 비디오의 임의의 수의 대상들이 있는 경우에 본 개시의 다양한 양태들이 적용된다. 또한, 다양한 양태들이 IoT 디바이스 사용자들의 측면에서 설명되고 예시되었지만, 캡처되고 있는 대상들은 IoT 디바이스 그 자체를 포함한 연관된 IoT 디바이스를 갖는 임의의 오브젝트일 수도 있다.
도 9는 인근 IoT 디바이스와 연관된 오브젝트를 식별하기 위한 예시적인 흐름을 예시한다. 도 9 에 예시된 흐름은 UE (200A, 500, 600, 700, 또는 800) 와 같은 UE 에 의해 수행될 수도 있다.
910 에서, UE 는 인근 IoT 디바이스와 연관된 오브젝트를 식별하기 위한 표시를 생성할 수도 있다. UE 는 도 5a 에 있는 비콘 (504) 과 같은 하나 이상의 인근 IoT 디바이스들에 비콘 신호를 송신하는 것에 의해 표시를 생성할 수도 있다. 도 5a 에 있는 비콘 (504) 을 참조하여 논의된 바처럼, 비콘 신호는 사운드 비콘 또는 광 비콘일 수도 있지만, 이에 한정되지 않는다.
920 에서, UE 는 인근 IoT 디바이스와 연관된 식별 정보를 수신한다. 식별 정보는, 위에서 설명된 바처럼, 대역외 수신될 수도 있다. 식별 정보는, 도 5a 에 있는 비콘 신호 (514, 524, 또는 534) 와 같은 비콘 신호일 수도 있다. 다르게는, 식별 정보는 도 6 에서 예시된 바처럼, 오브젝트의 온도 정보일 수도 있다. 또 다른 양태로서, 식별 정보는 도 7 에서 예시된 바처럼, IoT 디바이스의 패턴 정보일 수도 있다. 또 다른 양태로서, 식별 정보는 도 8 에서 예시된 바처럼, IoT 디바이스의 각도 정보일 수도 있다.
930 에서, UE 는 선택적으로 오브젝트와 연관된 정보를 수신한다. 비콘 신호가 사운드 비콘 또는 광 비콘인 경우에, 오브젝트와 연관된 정보는 비콘 신호의 유형 및 비콘 신호의 주파수 또는 컬러의 표시일 수도 있다. 식별 정보는 오브젝트와 연관된 정보를 포함할 수도 있고, 그 경우에 이 정보는 따로 수신될 필요가 없다. 오브젝트가 사람인 경우에 오브젝트와 연관된 정보는 콘택트 정보를 포함할 수도 있다.
940 에서, UE 는 카메라 애플리케이션 (502, 602, 702, 또는 802) 과 같은 카메라 애플리케이션의 시야에 있는 인근 오브젝트를 검출한다.
950 에서, UE 는 수신된 식별 정보에 기초하여 인근 오브젝트가 인근 IoT 디바이스와 연관되는지 여부를 결정한다. 식별 정보가 인근 IoT 디바이스와 연관된 오브젝트의 온도 정보를 포함하는 경우에, 도 6을 참조하여 위에서 논의된 바처럼, UE 는 인근 오브젝트의 온도를 결정할 수 있고 온도 정보가 인근 오브젝트의 온도의 임계치 내에 있는지 여부를 결정할 수 있다. 인근 오브젝트의 온도는 인근 오브젝트에 대하여 IoT 디바이스의 포지션에 기초하여 결정될 수도 있다.
식별 정보가 인근 IoT 디바이스의 패턴 정보를 포함하면, 도 7을 참조하여 위에서 논의된 바처럼, UE 는 인근 IoT 오브젝트의 패턴을 결정할 수 있고 패턴 정보가 인근 IoT 오브젝트의 패턴에 매치되는지 여부를 결정할 수 있다. 식별 정보가 인근 IoT 디바이스와 연관된 오브젝트의 공간 배향을 포함하는 경우에, 도 8을 참조하여 위에서 논의된 바처럼, UE 는 인근 오브젝트의 공간 배향을 결정할 수 있고 IoT 디바이스의 공간 배향이 인근 오브젝트의 공간 배향에 매치되는지 여부를 결정할 수 있다. 인근 오브젝트의 공간 배향은 중력 및/또는 인근 오브젝트에 대한 IoT 디바이스의 포지션에 기초하여 결정될 수도 있다.
960 에서, 인근 오브젝트가 인근 IoT 디바이스와 연관되면, UE 는 인근 오브젝트가 인근 IoT 디바이스와 연관된 오브젝트에 대응한다는 것을 결정한다. 그렇지 않으면, 흐름은 940 으로 되돌아가고, UE 는 또 다른 인근 오브젝트를 검출하는 것을 시도한다.
식별 정보가 인근 IoT 디바이스와 연관된 오브젝트의 온도 정보를 포함하면, 도 6을 참조하여 위에서 논의된 바처럼, UE 는, 온도 정보가 인근 오브젝트의 온도의 임계치 내에 있는 것에 기초하여, 인근 오브젝트가 인근 IoT 디바이스와 연관된 오브젝트에 대응한다는 것을 결정할 수 있다. 식별 정보가 인근 IoT 디바이스의 패턴 정보를 포함하면, 도 7을 참조하여 위에서 논의된 바처럼, UE 는, 패턴 정보가 IoT 오브젝트의 패턴에 매칭되는 것에 기초하여, 인근 오브젝트가 인근 IoT 디바이스와 연관된 오브젝트에 대응한다는 것을 결정할 수 있다. 식별 정보가 인근 IoT 디바이스와 연관된 오브젝트의 공간 배향을 포함하면, 도 8을 참조하여 위에서 논의된 바처럼, UE 는, 인근 IoT 디바이스의 공간 배향이 인근 오브젝트의 공간 배향에 매칭되는 것에 기초하여, 인근 오브젝트가 인근 IoT 디바이스와 연관된 오브젝트에 대응한다는 것을 결정할 수 있다.
970 에서, UE 가 오브젝트와 연관된 정보에 인근 오브젝트를 상관시킨다. UE 는 IoT 디바이스와 연관된 오브젝트의 사진 또는 비디오에 있는 오브젝트와 연관된 정보로 인근 오브젝트를 태깅하는 것에 의해 상관을 수행할 수도 있다.
특정 양태들에서, IoT 디바이스와 연관된 오브젝트는 인근 IoT 디바이스 그 자체일 수도 있다.
비록 도 9 에 예시되어 있지는 않지만, 950 에서, 인근 오브젝트가 인근 IoT 디바이스와 연관되지 않으면, 카메라 애플리케이션은 인근 IoT 디바이스와 연관된 식별 정보를 무시할 수 있다. 추가적으로, 카메라 애플리케이션이 제 2 인근 IoT 디바이스와 연관된 식별 정보를 수신하고, 제 2 인근 IoT 디바이스가 카메라 애플리케이션의 시야에 있지 않은 제 2 인근 오브젝트와 연관되는 경우에, 카메라 애플리케이션은 제 2 인근 IoT 디바이스와 연관된 식별 정보를 무시할 수 있다. 카메라 애플리케이션은 카메라 애플리케이션의 시야에서 검출된 임의의 인근 오브젝트와 제 2 인근 IoT 디바이스와 연관된 식별 정보 사이의 매치를 검출하는 않는 것에 기초하여 제 2 인근 오브젝트가 카메라 애플리케이션의 시야에 있지 않는다는 것을 결정할 수도 있다.
일 양태에서, 응답하는 IoT 디바이스들은 바람직하게는, 카메라 애플리케이션이 그들을 구별할 수 있도록 상이한 비콘, 온도, 패턴 및/또는 각도를 이용하여 응답해야 한다. 하지만, 2개 이상의 IoT 디바이스들이 동일 또는 유사한 비콘, 온도 등으로 응답하는 경우에, 카메라 애플리케이션은 IoT 디바이스들, 그리고 따라서 사진 또는 비디오의 대상들을 식별하는 2개 이상의 방법들을 사용할 수 있다. 예를 들어, 2개 IoT 디바이스들이 동일한 사운드 비콘으로 카메라 애플리케이션의 비콘에 응답하면, 카메라 애플리케이션은 2개 사용자들 또는 IoT 디바이스들의 온도, 패턴 등과 같은 추가 정보를 요청할 수 있다. 그러면, 카메라 애플리케이션은 사진 또는 비디오에서 오브젝트들을 식별하기 위한 제 2 방법을 가질 것이다. 다르게는, 카메라 애플리케이션은 IoT 디바이스들 중의 하나가 그의 비콘을 다시, 하지만 이번에는 상이한 유형의 비콘을 사용하여 송신할 것을 요청할 수도 있다.
다수의 유형들의 대상 메타데이터 (즉, 비콘, 열 시그너처, 패턴 정보 및/또는 자세 정보) 가 이용가능한 경우에, 카메라 애플리케이션은 어느 방법이 가장 정확한 대상 식별을 제공하는지를 결정하기 위하여 이미지 또는 비디오의 대상들을 식별하기 위한 상이한 방법들에 가중 기능을 적용할 수 있다. 예를 들어, 구체적인 상황에서, 카메라 애플리케이션은 비콘 대상 식별 방법에 더 높은 가중치 그리고 포즈 대상 식별 방법에 더 낮은 가중치를 할당할 수도 있다. 그 경우에, 카메라 애플리케이션은 이미지 또는 비디오의 대상들을 식별하기 위하여 수신된 비콘들을 사용할 것이다.
카메라 애플리케이션이 사진을 찍고 있거나 또는 비디오를 레코딩하고 있다는 것을 다른 IoT 디바이스들에 알리기 위하여 샷의 방향으로 비콘을 송신할 때, 카메라 애플리케이션은 또한, 대상 IoT 디바이스들이 그들이 모을 수 있고 송신할 수 있는 각각의 유형의 대상 메타데이터로 응답할 것을 요청할 수 있다. 다르게는, 응답하는 IoT 디바이스들은, 그것들이 모을 수 있고 송신할 수 있는 각각의 유형의 대상 메타데이터로 비콘에 응답하도록 프로그램될 수도 있다. 예를 들어, 카메라 애플리케이션은 광 비콘, 온도 정보, 및 포즈 정보를 하나의 대상 IoT 디바이스로부터 수신할 수도 있고 또 다른 대상 IoT 디바이스로부터 사운드 비콘, 패턴 정보 및 포즈 정보를 수신할 수도 있다.
카메라 애플리케이션이 각각의 대상 IoT 디바이스로부터 하나보다 많은 동일한 유형의 대상 메타데이터를 수신할 때, 장면 분석기 기능은 동일한 유형들의 대상 메타데이터의 각각을 대상 IoT 디바이스들에 걸친 분산에 기초하여 순위화 (rank) 할 수 있다. 즉, 장면 분석기 기능은 동일한 각각의 대상 IoT 디바이스로부터 수신된 유형의 대상 메타데이터를 하나의 대상 IoT 디바이스로부터 다음까지 그 유형의 대상 메타데이터의 변화에 기초하여 순위화할 수 있다. 장면 분석기 기능은 대상 IoT 디바이스들에 걸친 최고 분산을 갖는 대상 메타데이터의 유형에 최고 순위, 그리고 최저 분산을 갖는 대상 메타데이터의 유형에 최저 순위를 할당할 수 있다.
다음으로, 장면 분석기 기능은 대응하는 유형의 대상 메타데이터의 순위화에 기초하여 각각의 대상 식별 방법에 가중치를 할당할 수 있다. 대상 메타데이터의 유형에 대응하는 대상 식별 방법은 이미지 또는 비디오의 대상(들) 을 식별하기 위해 그 유형의 대상 메타데이터를 사용하는 대상 식별 방법이다. 예를 들어, 이미지 또는 비디오의 대상(들) 을 식별하기 위하여 포즈 정보를 사용하는 것은 대상 식별 방법이고, 포즈 정보는 대응하는 유형의 대상 메타데이터이다. 장면 분석기 기능은 최고 순위/분산을 갖는 대상 메타데이터의 유형에 대응하는 대상 식별 방법에 최고 가중, 그리고 최저 순위/분산을 갖는 대상 메타데이터의 유형에 대응하는 대상 식별 방법에 최저 가중을 할당할 수 있다.
예를 들어, 사용자가 "스마트" 시계를 착용하고 있는 3개의 다른 사용자들의 사진을 찍는 경우, 카메라 애플리케이션은 광 비콘, 온도 정보, 및 포즈 정보를 3개의 시계들로부터 수신할 수도 있다. 광 비콘은 2500K 컬러 광, 2600K 컬러 광, 및 2400K 컬러 광일 수도 있다. 각각의 수신된 온도는 0.1 도 이내, 예를 들어, 97.8, 97.9, 및 97.8 일 수도 있다. 포즈 정보는, 각각의 대상 사용자가 자신의 시계 팔을 자신쪽으로 하고 서있다는 것을 표시할 수도 있다. 장면 분석기는 광 비콘들이 최대 분산 및 최소 온도 정보를 갖는 것을 결정할 수도 있고, 이에 따라 대응하는 대상 식별 방법들에 가중치를 할당할 수도 있다.
가중치들이 할당되고 나면, 카메라 애플리케이션은 이미지 또는 비디오에서 식별된 오브젝트들과 대상 IoT 디바이스들 (예를 들어, 대상 IoT 디바이스들과 연관된 사용자들) 을 매칭하기 위하여 최고 가중을 갖는 대상 식별 방법을 사용할 수 있다. 이미지 또는 비디오에서 식별된 오브젝트들과 대상 IoT 디바이스들을 매칭시키는 것은 도 5 내지 도 9를 참조하여 위에서 논의되어 있다. 카메라 애플리케이션은 다르게는, 식별된 오브젝트들과 대상 IoT 디바이스들을 매칭시키기 위하여 n 개의 최고 가중 대상 식별 방법들을 사용할 수도 있다. 다수의 대상 식별 방법들을 이용하는 것은 매치에서 신뢰성을 증가시킬 수도 있다.
카메라 애플리케이션은 대상 IoT 디바이스에 고유하거나, 또는 각각의 대상 IoT 디바이스에 의해 공유되지 않는 유형의 대상 오브젝트들을 무시할 수 있다. 다르게는, 카메라 애플리케이션은 그러한 유형의 대상 메타데이터에 최저 순위를 할당할 수 있다. 또 다른 대안으로서, 카메라 애플리케이션은 이미지 또는 비디오의 대상을 식별하기 위하여, 그리고 아마도 식별들에서 신뢰성을 증가시키기 위하여 또 다른 방법으로서 그러한 대상 메타데이터에 대응하는 대상 식별 방법을 사용할 수 있다.
일 양태에서, 카메라 애플리케이션은 인근 IoT 카메라 디바이스들 및/또는 인근 IoT 카메라 디바이스들과 통신하는 원격 서버로부터 장면 분석기 기능을 위한 입력(들) 을 도출할 수도 있다. 카메라 애플리케이션은 그의 가중들을 인근 IoT 카메라 디바이스들 및/또는 원격 서버로 브로드캐스팅하고 다른 IoT 카메라 디바이스들 및/또는 서버로부터 가중들을 수신할 수 있다. 다음으로 카메라 애플리케이션은 수신된 가중들을 그 자신의 장면 분석기 기능에 포함시켜, 가중들의 정확성을 향상시키고 이에 의해 대상 식별들을 향상시킬 수 있다.
다르게는, 서버는 카메라 애플리케이션, 그리고 선택적으로 인근 IoT 카메라 디바이스들로부터 수신된 정보에 기초하여 카메라 애플리케이션을 위한 장면 분석기 기능을 제공할 수도 있다. 카메라 애플리케이션은 대응하는 대상 식별 방법들을 위한 적절한 가중들을 결정할 수 있는 서버에 대상 메타데이터를 전송할 수도 있다. 서버는 또한, 다른 인근 IoT 카메라 디바이스들로부터 대상 메타데이터를 수신할 수도 있고 역시 그들을 위한 적절한 가중들을 결정할 수도 있다. 서버는 카메라 애플리케이션으로부터 수신된 대상 메타데이터에만 기초하여, 또는 카메라 애플리케이션 및 인근 IoT 카메라 디바이스들로부터 수신된 대상 메타데이터에 기초하여 카메라 애플리케이션을 위한 가중들을 결정할 수도 있다. 다음으로 서버는 카메라 애플리케이션 및 인근 IoT 카메라 디바이스들에 결정된 가중들을 송신할 수도 있다.
도 10 은 복수의 IoT 디바이스와 연관된 복수의 오브젝트를 식별하기 위한 예시적인 흐름을 예시한다. 도 10 에 예시된 흐름은 UE (200A, 500, 600, 700, 또는 800) 와 같은 UE 에 의해 수행될 수도 있다.
1010 에서, UE 는 복수의 오브젝트들을 검출한다. 검출은 UE 의 카메라 애플리케이션에 의해 복수의 오브젝트들을 검출하는 것을 포함할 수도 있다.
1020 에서, UE 는 복수의 오브젝트들을 식별하고자 하는 희망을 표시한다. 표시는 도 9의 910 에서처럼, 복수의 IoT 디바이스들에 비콘 신호를 송신하는 것을 포함할 수도 있다. 비콘 신호는, 예를 들어, 사운드 비콘 또는 광 비콘일 수도 있다.
1030 에서, UE 는 도 9 의 920 에서처럼 복수의 IoT 디바이스로부터 복수의 오브젝트들과 연관된 식별 정보를 수신한다. 일 예로서, 복수의 오브젝트들은 복수의 인간들일 수도 있고 수신된 식별 정보는 복수의 인간들의 콘택트 정보일 수도 있다.
1040 에서, UE 는 복수의 IoT 디바이스들의 각각과 연관된 복수의 유형의 대상 메타데이터를 수신하고, 복수의 유형의 대상 메타데이터는 복수의 IoT 디바이스들의 각각에 대해 동일하다. 복수의 유형의 대상 메타데이터는, 복수의 오브젝트들의 각각과 연관된 사운드 비콘, 광 비콘, 열 시그너처, 패턴 정보 및/또는 포즈 정보 중의 2개 이상을 포함할 수도 있다.
1050 에서, UE 는 복수의 IoT 디바이스들에 걸친 복수의 유형의 대상 메타데이터의 각각의 분산을 결정한다.
1060 에서, UE 는 결정된 분산에 기초하여 복수의 유형의 대상 메타데이터의 각각을 순위화한다. 최고 순위는 최고 분산을 갖는 유형의 대상 메타데이터에 할당될 수도 있다.
1070 에서, UE 는 순위화에 기초하여 복수의 유형의 대상 메타데이터에 대응하는 복수의 대상 식별 방법들을 가중한다. 최고 가중은 최고 순위를 갖는 유형의 대상 메타데이터에 할당될 수도 있다. 복수의 대상 식별 방법들 중의 각각은 복수의 유형의 대상 메타데이터 중의 대응하는 하나를 이용하여 복수의 오브젝트들을 식별하는데 사용가능할 수도 있다.
1080 에서, UE 는 최고 가중을 갖는 대상 식별 방법을 이용하여 복수의 오브젝트들을 식별한다. 식별은 최고 가중을 갖는 대상 식별 방법을 이용하여 복수의 IoT 디바이스들 중의 어느 것이 복수의 IoT 디바이스들 중의 어느 것과 연관되는지를 결정하는 것 및 복수의 IoT 디바이스들 중의 대응하는 하나로부터 수신된 식별 정보와 복수의 오브젝트들 중의 각각을 연관시키는 것을 포함할 수도 있다.
도 11은 복수의 대상 식별 방법들을 가중하기 위한 예시적인 흐름을 예시한다. 도 11 에 예시된 흐름은 UE (200A, 500, 600, 700, 또는 800) 와 같은 UE 에 의해 수행될 수도 있다. 다르게는, 도 11에 예시된 흐름은 IoT 서버 (170) 또는 서버 (400) 와 같은 서버에 의해 수행될 수도 있다.
1110 에서, UE/서버는 복수의 IoT 디바이스들의 각각과 연관된 복수의 유형의 대상 메타데이터를 수신하고, 복수의 유형의 대상 메타데이터는 복수의 IoT 디바이스들의 각각에 대해 동일하다. 복수의 유형의 대상 메타데이터는, 복수의 오브젝트들의 각각과 연관된 사운드 비콘, 광 비콘, 열 시그너처, 패턴 정보 및/또는 포즈 정보 중의 2개 이상을 포함할 수도 있다.
도 11에 예시된 흐름이 UE 에 의해 수행되는 경우에, 수신은 복수의 IoT 디바이스들의 각각으로부터 복수의 유형의 대상 메타데이터를 수신하는 것을 포함할 수도 있다. 하지만, 도 11에 예시된 흐름이 서버에 의해 수행되는 경우에, 수신은, UE 가 사진을 찍거나 또는 비디오를 캡처하는 것과 같은 UE 로부터 복수의 유형의 대상 메타데이터를 수신하는 것을 포함할 수도 있다.
1120 에서, UE/서버는 복수의 IoT 디바이스들에 걸친 복수의 유형의 대상 메타데이터의 각각의 분산을 결정한다.
1130 에서, UE/서버는 결정된 분산에 기초하여 복수의 유형의 대상 메타데이터의 각각을 순위화한다. 최고 순위는 최고 분산을 갖는 유형의 대상 메타데이터에 할당될 수도 있다.
1140 에서, UE/서버는 순위화에 기초하여 복수의 유형의 대상 메타데이터에 대응하는 복수의 대상 식별 방법들을 가중한다. 최고 가중은 최고 순위를 갖는 유형의 대상 메타데이터에 할당될 수도 있다. 복수의 대상 식별 방법들 중의 각각은 복수의 유형의 대상 메타데이터 중의 대응하는 하나를 이용하여 복수의 오브젝트들을 식별하는데 사용가능할 수도 있다.
도 11에 예시된 흐름이 서버에 의해 수행되는 경우에, 서버는 서버가 복수의 유형의 대상 메타데이터를 수신한 UE 에 가중들을 송신할 수도 있다.
특정 상황들에서, 사용자는 카메라의 사야에 있지 않은 디바이스들 또는 오브젝트들, 및/또는 카메라의 시야에 있지만 사용자가 관심이 없는 디바이스들을 식별하기를 원하지 않을 수도 있다. 도 12는 UE (1200) 의 카메라 애플리케이션 (1202) 이 카메라 애플리케이션 (1202) 의 사야에 없거나 및/또는 사용자가 관심이 없는 오브젝트들로부터의 비콘들을 무시할 수 있는 예시적인 양태들을 예시한다.
도 12의 예에서, 사용자는, 카메라 애플리케이션 (1202) 을 이용하여, 상점에 있는 여러 텔레비전 세트들 (1212, 1222, 및 1242) 의 사진을 찍어 그들을 식별하고 아마도 그들에 관한 조사를 UE (1200) 상에서 더 할 수도 있다. 하지만, 사용자가 관심이 없는 Blu-ray™ 플레이어 (1232) 와 같은 사진에 또한 캡처된 다른 디바이스들이 있을 수도 있다. 또한, 텔레비전 (1252) 와 같은 사용자가 식별하기를 원하지 않는 카메라 애플리케이션 (1202) 의 시야 밖의 다른 디바이스들이 있을 수도 있다.
도 12에 점선으로 예시된 바처럼 카메라 애플리케이션 (1202) 의 시야는 사용자, UE (1200) 및/또는 애플리케이션 세팅들에 기초하여 구성가능할 수도 있다. 예를 들어, 시야는 사진의 대상들에 대한 사용자의 포지션, UE (1200) 상의 카메라 렌즈의 시야, 및/또는 카메라 애플리케이션 (1202) 의 줌 세팅에 기초하여 달라질 수도 있다.
도 12의 예에서, UE (1200) 는 하나 이상의 마이크로폰, 하나 이상의 스피커 및/또는 하나 이상의 LED 프로브들이 구비될 수도 있고, 이들의 각각은 지향성이거나 또는 아닐 수도 있다. 이들 컴포넌트들은, 도 5a 를 참조하여 위에서 설명된 바처럼, 카메라 애플리케이션 (1202) 의 시야에서 하나 이상의 비콘들을 방출하고 카메라 애플리케이션 (1202) 의 시야 내의 적어도 디바이스들로부터의 하나 이상의 대역외 식별 메타데이터를 수신할 수 있다. 유사하게는, 디바이스들 (1212-1252) 은 하나 이상의 마이크로폰, 하나 이상의 스피커 및/또는 하나 이상의 LED 프로브들이 구비될 수도 있고, 이들의 각각은 지향성이거나 또는 아닐 수도 있다. 이들 컴포넌트들은 카메라 애플리케이션 (1202) 으로부터 하나 이상의 비콘들을 검출할 수 있고 그 자신의 비콘(들) 로 응답할 수 있다.
도 13은 카메라 애플리케이션 (1202) 의 시야에 없거나 및/또는 사용자가 관심이 없는 오브젝트들로부터의 비콘들을 무시하기 위한 예시적인 흐름을 예시한다. 1310 에서, UE (1200) 또는 카메라 애플리케이션 (1202) 은 사용자가 관심있는 유형의 디바이스들을 위한 필터링 기준을 수신한다. 필터링 기준은 UE (1200) 의 사용자 인터페이스를 통해 사용자로부터 수신될 수도 있다. 도 12의 예에서, 필터링 기준은 텔레비전 스크린의 크기 및/또는 해상도, 스크린의 유형 (예를 들어, LCD, LED, 플라즈마 등), 리프레시 속도, 가격 등에 관한 것일 수도 있다.
1320 에서, UE (1200) 는 도 9 의 910 에서와 같이 카메라 애플리케이션 (1202) 의 시야에 있는 오브젝트들을 식별하기 위한 그의 희망을 표시하는 비콘을 방출한다. 비콘은 도 5a 를 참조하여 논의된 바처럼, 대역외 방출되는 오디오 또는 광 비콘일 수도 있다. UE (1200) 가 지향성 마이크로폰 및/또는 LED 를 갖는 경우, 그것은 카메라 애플리케이션 (1202) 의 시야 내에서만, 또는 적어도 가능한 가까이에서 비콘을 방출할 수 있다. 이런 식으로, 카메라 애플리케이션 (1202) 의 시야 밖의 디바이스들 (예를 들어, 디바이스 (1252)) 이 무시되고 비콘에 응답하지 않을 것이다.
또한, 1320 에서, UE (1200) 는 카메라 애플리케이션 (1202) 의 시야에 있는 디바이스들에 대역내 발견 메시지에서 필터링 기준을 브로드캐스팅한다. 발견 메시지는 또한, 수신 디바이스(들) 이 그들의 속성들이 필터링 기준에 매치되면 식별 정보로 대답한다는 요청을 포함할 수도 있다. 도 12 또는 도 13에 예시되지는 않았지만, UE (1200) 및 디바이스들 (1212-1252) 은 도 1a 를 참조하여 설명된 바처럼, P2P 네트워크 (예를 들어, AllJoyn™ 네트워크) 상에서와 같이 서로 대역 내 통신 가능하다. 도 13에 예시되지는 않았지만, 브로드캐스트 발견 메시지는 지향성이 아닐 수도 있거나, 또는 카메라 애플리케이션 (1202) 의 시야 내의 디바이스들에만 브로드캐스트될 수 없을 수도 있다. 그 경우에, 도 12의 예에서 텔레비전 (1252) 를 포함한, 브로드캐스트되는 발견 메시지의 범위 내의 임의의 디바이스가 그것을 수신한다.
1330A-D 에서, 디바이스들 (1212-1242) 은, 각각 UE (1200) 로부터 비콘을 검출하고 발견 메시지를 수신한다. 동시에 일어나는 것으로 예시되었지만, UE (1200) 는 동시에 비콘 및 발견 메시지를 송신할 필요가 없거나 및/또는 디바이스들 (1212-1242) 은 동시에 그들을 검출/수신할 필요가 없다.
1340A-D 에서, 디바이스들 (1212-1242) 은, 각각, 수신된 필터링 기준과 그들의 대응하는 속성들을 비교하여 매치가 있는지를 결정한다. 예를 들어, 필터링 기준이 디바이스의 유형 (예를 들어, 텔레비전), 텔레비전 스크린의 크기 및/또는 해상도, 스크린의 유형, 리프레시 속도, 및 가격을 포함하면, 디바이스들 (1212-1242) 은 필터링 기준을 위한 수신된 값들과 이들 기준들을 위한 그들의 대응하는 값들을 비교한다. 도 13의 예에서, 텔레비전들 (1212 및 1222) 만이 필터링 기준에 매칭되는 속성들을 갖는다. 예를 들어, Blu-ray™ 디바이스 (1232) 는 텔레비전이 아니기 때문에 필터링 기준에 매칭되지 않을 수도 있고, 텔레비전 (1242) 은 그의 스크린이 잘못된 해상도이거나 또는 가격이 너무 높기 때문에 필터링 기준에 매칭되지 않을 수도 있다. 일부 경우들에서, 디바이스는 하나 이상의 필터링 기준에 속하는 속성들을 갖지 않을 수도 있다. 그러한 경우들에서, 디바이스는 이것을 매치 또는 매치가 아닌 것으로 고려할 수도 있다. 발견 메시지들은 디바이스가 그러한 상황을 어떻게 처리해야 하는지, 즉, 그것이 매치 또는 매치가 아닌 것으로 처리되야 하는지를 표시할 수도 있다.
1350A-B 에서, 디바이스들 (1212-1222) 은 각각, 도 5a 를 참조하여 위에서 설명된 바처럼, 비콘을 방출하고 그들의 콘택트 카드를 UE (1200) 에 송신한다. 도 12 및 도 13의 예에서, 콘택트 카드는 디바이스들 (1212-1222) 의 식별 정보 그리고 적어도 필터링 기준에 매칭하는 속성들을 포함한다. 1350C-D 에서, 디바이스들 (1232-1242) 은 비콘 및 발견 메시지에 응답하지 않는데, 왜냐하면 그것들은 필터링 기준에 매칭되지 않기 때문이다.
1360 에서, UE (1200) 는 도 9의 920 및 930 에서처럼, 디바이스들 (1212-1222) 로부터 비콘들을 검출하고 콘택트 카드들을 수신한다. UE (1200) 는, 선택적으로 카메라 애플리케이션 (1202) 을 이용하여, 이 정보를 사용자에게 제시할 수 있다. 추가적으로 또는 대안적으로, UE (1200)/카메라 애플리케이션 (1202) 은 도 9의 940-970 에서처럼 수신된 정보로 카메라 애플리케이션 (1202) (즉, 오브젝트들 (1214, 1224, 1234, 및 1244)) 의 시야에서 검출된 오브젝트들을 태깅할 수 있다. 카메라 애플리케이션 (1202) 의 시야 밖에 있는 디바이스들이 비콘 및/또는 발견 메시지 (예를 들어, 디바이스 (1252)) 를 수신하고 UE (1200) 에 대응하는 경우에, UE (1200) 는 도 5a 를 참조하여 위에서 논의된 바처럼 이들 디바이스들을 무시할 수 있다.
도 13에 예시된 흐름이 도 12를 참조하여 설명되었지만, 도 13의 흐름은 도 12에 예시된 수 및/또는 유형의 디바이스들에 한정되는 것이 아니라, 오히려 임의의 수 및/또는 유형의 디바이스들에 적용가능하다.
도 14는 일련의 서로 관련있는 기능 모듈들로서 표시된 예시적인 UE (1400) 를 예시한다. 인근 IoT 디바이스와 연관된 오브젝트를 식별하고자 하는 희망을 표시하기 위한 모듈 (1402) 은, 적어도 일부의 양태들에서, 예를 들어, 도 2a 에 있는 송수신기 (206) 와 같은 본원에 기재된 비콘을 방출할 수 있는 송수신기에 대응할 수도 있다. 인근 IoT 디바이스와 연관된 식별 정보를 수신하기 위한 모듈 (1404) 은 적어도 일부 양태들에서, 예를 들어, 본원에 논의된 바처럼, 도 2a 에 있는 송수신기 (206) 와 같은 송수신기 및/또는 도 2a 에 있는 프로세서 (208) 와 같은 프로세싱 시스템에 대응할 수도 있다. 카메라 애플리케이션의 시야에 있는 인근 오브젝트를 검출하기 위한 모듈 (1406) 은 적어도 일부 양태들에서, 예를 들어, 본원에 논의된 바처럼, 도 2a 에 있는 프로세서 (208) 와 같은 프로세싱 시스템에 대응할 수도 있다. 수신된 식별 정보에 기초하여 인근 오브젝트가 인근 IoT 디바이스와 연관되는지 여부를 결정하기 위한 모듈 (1408) 은, 적어도 일부 양태들에서, 예를 들어, 본원에 논의된 바처럼, 도 2a 에 있는 프로세서 (208) 와 같은 프로세싱 시스템에 대응할 수도 있다. 인근 오브젝트가 인근 IoT 디바이스와 연관된 오브젝트에 대응하는 것을 결정하기 위한 모듈 (1410) 은, 적어도 일부 양태들에서, 예를 들어, 본원에 논의된 바처럼, 도 2a 에 있는 프로세서 (206) 와 같은 프로세싱 시스템에 대응할 수도 있다. 인근 IoT 디바이스와 연관된 식별 정보를 무시하기 위한 모듈 (1412) 은 적어도 일부 양태들에서, 예를 들어, 본원에 논의된 바처럼, 도 2a 에 있는 송수신기 (206) 와 같은 송수신기 및/또는 도 2a 에 있는 프로세서 (206) 와 같은 프로세싱 시스템에 대응할 수도 있다.
도 14의 모듈들의 기능은 본원의 교시들과 부합하는 다양한 방식들에서 구현될 수도 있다. 일부 설계들에서, 이들 모듈들의 기능은 하나 이상의 전기적 컴포넌트들로서 구현될 수도 있다. 일부 설계들에서, 이들 블록들의 기능은 하나 이상의 프로세서 컴포넌트들을 포함하는 프로세싱 시스템으로서 구현될 수도 있다. 일부 설계들에서, 이들 모듈들의 기능은, 예를 들어, 하나 이상의 집적 회로들 (예를 들어, ASIC) 중의 적어도 일부를 이용하여 구현될 수도 있다. 본원에 논의된 바처럼, 집적 회로는 프로세서, 소프트웨어, 다른 관련 컴포넌트들, 또는 이들의 어느 조합을 포함할 수도 있다. 따라서, 상이한 모듈들의 기능은, 예를 들어, 집적 회로의 상이한 서브세트로서, 소프트웨어 모듈들의 세트의 상이한 서브세트, 또는 이들의 조합으로서 구현될 수도 있다. 또한, (예를 들어, 집적 회로 및/또는 소프트웨어 모듈들의 세트의) 정해진 서브세트는 하나보다 많은 모듈을 위한 기능의 적어도 일부를 제공할 수도 있다는 것이 인식될 것이다.
또한, 도 14에 의해 표현된 컴포넌트들 및 기능들, 그리고 본원에 기재된 다른 컴포넌트들 및 기능들은 임의의 적합한 수단을 이용하여 구현될 수도 있다. 그러한 수단은 또한, 적어도 부분적으로, 본원에 교시된 대응하는 구조를 이용하여 구현될 수도 있다. 예를 들어, 도 14의 "을 위한 모듈" 컴포넌트들와 함께 위에 설명된 컴포넌트들은 또한 유사하게 표기된 "을 위한 수단" 기능에 대응할 수도 있다. 따라서, 일부 양태들에서 하나 이상의 그러한 수단은, 본원에 교시된 하나 이상의 프로세서 컴포넌트들, 집적 회로, 또는 다른 적합한 구조를 이용하여 구현될 수도 있다.
당업자는 정보 및 신호가 임의의 다양한 상이한 기술 및 기법을 이용하여 표현될 수도 있음을 인식할 것이다. 예를 들어, 위의 상세한 설명 전반에 걸쳐 언급될 수도 있는 데이터, 명령, 커맨드, 정보, 신호, 비트, 심볼, 및 칩은 전압, 전류, 전자기파, 자기장 또는 자기입자, 광학장 (optical field) 또는 광학 입자, 또는 이들의 임의의 조합에 의해 표현될 수도 있다.
또한, 당업자는, 여기에 개시된 예시적 양태와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 회로, 및 알고리즘 단계가 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이 양자의 조합으로 구현될 수도 있음을 인식할 것이다. 하드웨어와 소프트웨어의 이러한 상호교환가능성을 명확히 예시하기 위해, 다양한 예시적인 컴포넌트, 블록, 모듈, 회로, 및 단계가 일반적으로 그들의 기능의 관점에서 위에서 설명되었다. 그러한 기능이 하드웨어 또는 소프트웨어로 구현될지 여부는, 전체 시스템에 부과된 설계 제약 및 특정 응용에 의존한다. 당업자는 설명된 기능을 각각의 특정 응용을 위해 다른 방식으로 구현할 수도 있지만, 이러한 구현 결정이 본 개시의 범위를 벗어나는 것으로 해석되지는 않아야 한다.
본원의 개시와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 및 회로는 범용 프로세서, DSP, ASIC, FPGA 또는 다른 프로그래밍가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트, 또는 본원 설명된 기능을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다르게는, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로컨트롤러, 또는 상태 머신일 수도 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 조합, (예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합한 하나 이상의 마이크로프로세서, 또는 임의의 다른 이러한 구성) 으로서 구현될 수도 있다.
여기에 개시된 예시적 양태들과 관련하여 설명된 방법, 시퀀스 및/또는 알고리즘은 직접 하드웨어로, 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 양자의 조합으로 구현될 수도 있다. 소프트웨어 모듈은 RAM, 플래시 메모리, ROM, EPROM, EEPROM, 레지스터, 하드디스크, 착탈형 디스크, CD-ROM, 또는 당업계에 공지된 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적 저장 매체는 프로세서가 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있도록 프로세서에 연결된다. 다르게는, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 ASIC 에 상주할 수도 있다. ASIC는 IoT 디바이스에 상주할 수도 있다. 다르게는, 프로세서 및 저장 매체는 사용자 단말 내에 이산 컴포넌트로서 상주할 수도 있다.
하나 이상의 예시적 양태에서, 설명된 기능은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 그 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령 또는 코드로서 저장되거나 송신될 수도 있다. 컴퓨터 판독가능 매체는 일 장소로부터 또 다른 장소로의 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함하는 통신 매체 및 컴퓨터 저장 매체 양자 모두를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 비한정적 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 명령 또는 데이터 구조의 형태로 원하는 프로그램 코드를 반송 또는 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 칭해진다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선 (twisted pair), DSL, 또는 적외선, 전파 (radio), 및 마이크로파와 같은 무선 기술을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되는 경우, 그 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 전파, 및 마이크로파와 같은 무선 기술은 매체의 정의 내에 포함된다. 여기에 설명된 바처럼, 디스크 (disk) 및 디스크 (disc) 는 CD, 레이저 디스크, 광 디스크, DVD, 플로피 디스크 및 블루-레이 디스크를 포함하며, 여기서, 디스크는 일반적으로 데이터를 자기적으로 및/또는 레이저를 이용하여 광학적으로 재생한다. 또한, 상기의 조합은 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
이전의 개시는 본 개시의 예시적인 양태들을 보여주지만, 첨부된 청구항들에 의해 정의된 본 개시의 범위로부터 벗어남이이 없이 다양한 변화 및 변경들이 여기서 이루어질 수 있음에 유의해야 한다. 여기에 설명된 본 개시의 양태들에 따른 방법 청구항들의 기능, 단계 및/또는 액션들은 어느 특정 순서로 수행될 필요는 없다. 또한, 본 개시의 엘리먼트들은 단수형태로 설명되고 청구될 수도 있지만, 단수형으로의 한정이 명시적으로 언급되지 않으면 복수형이 고려된다.

Claims (80)

  1. 인근 사물 인터넷 (IoT) 디바이스와 연관된 오브젝트를 식별하는 방법으로서,
    상기 인근 IoT 디바이스와 연관된 식별 정보를 수신하는 단계;
    카메라 애플리케이션의 시야에 있는 인근 오브젝트를 검출하는 단계;
    수신된 상기 식별 정보가 상기 카메라 애플리케이션의 시야에 있는 상기 카메라 애플리케이션에 의해 검출된 상기 인근 오브젝트와 연관된 정보에 매칭하는 것에 기초하여 상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관되는지 여부를 결정하는 단계; 및
    상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관되는 것에 기초하여, 상기 인근 오브젝트를 상기 인근 IoT 디바이스와 연관된 상기 오브젝트와 연관된 정보에 상관시키는 단계
    를 포함하는, 오브젝트를 식별하는 방법.
  2. 제 1 항에 있어서,
    상기 인근 IoT 디바이스와 연관된 상기 오브젝트를 식별하기 위한 표시를 생성하는 단계를 더 포함하는, 오브젝트를 식별하는 방법.
  3. 제 2 항에 있어서,
    상기 생성하는 단계는 하나 이상의 인근 IoT 디바이스들에 비콘 신호를 송신하는 단계를 포함하고,
    상기 하나 이상의 인근 IoT 디바이스들은 상기 인근 IoT 디바이스를 포함하는, 오브젝트를 식별하는 방법.
  4. 제 1 항에 있어서,
    상기 인근 오브젝트와 연관된 상기 정보는 비콘 신호를 포함하는, 오브젝트를 식별하는 방법.
  5. 제 4 항에 있어서,
    상기 비콘 신호가 사운드 비콘 또는 광 비콘을 포함하고, 수신된 상기 식별 정보는 상기 비콘 신호의 유형 및 상기 비콘 신호의 주파수 또는 컬러의 표시를 포함하는, 오브젝트를 식별하는 방법.
  6. 제 1 항에 있어서,
    상기 식별 정보는 상기 인근 IoT 디바이스와 연관된 상기 오브젝트의 온도 정보를 포함하고,
    상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관되는지 여부를 결정하는 단계는
    상기 인근 오브젝트의 온도를 결정하는 단계; 및
    상기 온도 정보가 상기 인근 오브젝트의 온도의 임계치 내에 있는지 여부를 결정하는 단계를 포함하고,
    상기 상관시키는 단계는, 상기 온도 정보가 상기 인근 오브젝트의 온도의 임계치 내에 있는 것에 기초하여 상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관된 상기 오브젝트에 대응한다는 것을 결정하는 단계를 포함하는, 오브젝트를 식별하는 방법.
  7. 제 6 항에 있어서,
    상기 인근 오브젝트의 온도는 상기 인근 오브젝트에 대하여 상기 인근 IoT 디바이스의 포지션에 기초하여 결정되는, 오브젝트를 식별하는 방법.
  8. 제 1 항에 있어서,
    상기 식별 정보는 상기 인근 IoT 디바이스의 패턴 정보를 포함하고,
    상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관되는지 여부를 결정하는 단계는
    상기 인근 IoT 디바이스의 패턴을 결정하는 단계; 및
    상기 패턴 정보가 상기 인근 IoT 디바이스의 패턴에 매칭되는지 여부를 결정하는 단계를 포함하고,
    상기 상관시키는 단계는, 상기 패턴 정보가 상기 인근 IoT 디바이스의 패턴에 매칭되는 것에 기초하여 상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관된 상기 오브젝트에 대응한다는 것을 결정하는 단계를 포함하는, 오브젝트를 식별하는 방법.
  9. 제 1 항에 있어서,
    상기 식별 정보는 상기 인근 IoT 디바이스의 공간 배향을 포함하고,
    상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관되는지 여부를 결정하는 단계는
    상기 인근 오브젝트의 공간 배향을 결정하는 단계; 및
    상기 인근 IoT 디바이스의 공간 배향이 상기 인근 오브젝트의 공간 배향에 매칭되는지 여부를 결정하는 단계를 포함하고,
    상기 상관시키는 단계는, 상기 인근 IoT 디바이스의 공간 배향이 상기 인근 오브젝트의 공간 배향에 매칭되는 것에 기초하여 상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관된 상기 오브젝트에 대응한다는 것을 결정하는 단계를 포함하는, 오브젝트를 식별하는 방법.
  10. 제 9 항에 있어서,
    상기 인근 오브젝트의 공간 배향은 중력 및 상기 인근 오브젝트에 대한 상기 인근 IoT 디바이스의 포지션 중 하나 이상에 기초하여 결정되는, 오브젝트를 식별하는 방법.
  11. 제 1 항에 있어서,
    상기 식별 정보는 대역외 시그널링을 통해 수신되는, 오브젝트를 식별하는 방법.
  12. 제 1 항에 있어서,
    상기 인근 IoT 디바이스와 연관된 상기 오브젝트와 연관된 상기 정보를 수신하는 단계; 및
    상기 인근 오브젝트를 상기 오브젝트와 연관된 정보에 상관시키는 단계를 더 포함하는, 오브젝트를 식별하는 방법.
  13. 제 12 항에 있어서,
    상기 상관시키는 단계는 상기 인근 IoT 디바이스와 연관된 상기 오브젝트의 사진 또는 비디오에 있는 상기 오브젝트와 연관된 정보로 상기 인근 오브젝트를 태깅하는 단계를 포함하는, 오브젝트를 식별하는 방법.
  14. 제 12 항에 있어서,
    상기 인근 IoT 디바이스와 연관된 상기 오브젝트는 인간이고, 수신된 상기 식별 정보는 인간의 콘택트 정보를 포함하는, 오브젝트를 식별하는 방법.
  15. 제 1 항에 있어서,
    상기 인근 IoT 디바이스와 연관된 상기 오브젝트는 상기 인근 IoT 디바이스를 포함하는, 오브젝트를 식별하는 방법.
  16. 제 1 항에 있어서,
    상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관되지 않는 것에 기초하여, 상기 인근 IoT 디바이스와 연관된 상기 식별 정보를 무시하는 단계를 더 포함하는, 오브젝트를 식별하는 방법.
  17. 제 1 항에 있어서,
    제 2 인근 IoT 디바이스와 연관된 식별 정보를 수신하는 단계로서, 상기 제 2 인근 IoT 디바이스는 상기 카메라 애플리케이션의 시야에 있지 않은 제 2 인근 오브젝트와 연관되는, 상기 제 2 인근 IoT 디바이스와 연관된 식별 정보를 수신하는 단계; 및
    상기 제 2 인근 IoT 디바이스와 연관된 식별 정보를 무시하는 단계를 더 포함하는, 오브젝트를 식별하는 방법.
  18. 제 17 항에 있어서,
    상기 카메라 애플리케이션은 상기 카메라 애플리케이션의 시야에서 검출된 임의의 인근 오브젝트와 상기 제 2 인근 IoT 디바이스와 연관된 상기 식별 정보 사이의 매치를 검출하는 않는 것에 기초하여 상기 제 2 인근 오브젝트가 상기 카메라 애플리케이션의 시야에 있지 않는다는 것을 결정하는, 오브젝트를 식별하는 방법.
  19. 제 1 항에 있어서,
    상기 카메라 애플리케이션은 사용자 장비의 카메라 애플리케이션을 포함하는, 오브젝트를 식별하는 방법.
  20. 제 19 항에 있어서,
    상기 인근 IoT 디바이스는 상기 사용자 장비의 피어-투-피어 무선 통신 범위 내의 IoT 디바이스를 포함하는, 오브젝트를 식별하는 방법.
  21. 제 1 항에 있어서,
    상기 수신하는 단계는, 복수의 오브젝트들과 연관된 복수의 인근 IoT 디바이스들의 각각과 연관된 복수의 유형의 대상 메타데이터를 수신하는 단계를 포함하고, 상기 복수의 오브젝트들은 상기 인근 IoT 디바이스와 연관된 상기 오브젝트를 포함하고, 상기 복수의 유형의 대상 메타데이터는 상기 복수의 인근 IoT 디바이스들의 각각에 대해 동일한, 오브젝트를 식별하는 방법.
  22. 제 21 항에 있어서,
    상기 복수의 인근 IoT 디바이스들에 걸친 상기 복수의 유형의 대상 메타데이터의 각각의 분산을 결정하는 단계;
    결정된 상기 분산에 기초하여 상기 복수의 유형의 대상 메타데이터의 각각을 순위화하는 단계; 및
    상기 순위화에 기초하여 상기 복수의 유형의 대상 메타데이터에 대응하는 복수의 대상 식별 방법들의 가중을 생성하는 단계를 더 포함하는, 오브젝트를 식별하는 방법.
  23. 제 22 항에 있어서,
    최고 순위는 상기 복수의 유형의 대상 메타데이터 중의 최고 분산을 갖는 유형의 대상 메타데이터에 할당되는, 오브젝트를 식별하는 방법.
  24. 제 23 항에 있어서,
    최고 가중은 상기 복수의 유형의 대상 메타데이터 중의 최고 순위를 갖는 유형의 대상 메타데이터에 할당되는, 오브젝트를 식별하는 방법.
  25. 제 22 항에 있어서,
    최고 가중을 갖는 대상 식별 방법을 이용하여 상기 복수의 오브젝트들을 식별하는 단계를 더 포함하는, 오브젝트를 식별하는 방법.
  26. 제 22 항에 있어서,
    상기 복수의 인근 IoT 디바이스들 및 상기 복수의 인근 IoT 디바이스들과 통신하는 서버 중 하나 이상에 생성된 상기 가중을 송신하는 단계를 더 포함하는, 오브젝트를 식별하는 방법.
  27. 제 26 항에 있어서,
    상기 복수의 인근 IoT 디바이스들 및 상기 복수의 인근 IoT 디바이스들과 통신하는 상기 서버 중 하나 이상으로부터 상기 복수의 대상 식별 방법들의 가중을 수신하는 단계를 더 포함하고, 상기 카메라 애플리케이션은 수신된 상기 가중을 생성된 상기 가중 내에 포함시키는, 오브젝트를 식별하는 방법.
  28. 제 21 항에 있어서,
    상기 복수의 유형의 대상 메타데이터는, 상기 복수의 오브젝트들과 연관된 사운드 비콘, 광 비콘, 열 시그너처, 패턴 정보 및 포즈 정보 중의 2개 이상을 포함하는, 오브젝트를 식별하는 방법.
  29. 제 22 항에 있어서,
    복수의 대상 식별 방법들의 각각은 상기 복수의 유형의 대상 메타데이터 중의 대응하는 하나를 이용하여 상기 복수의 오브젝트들을 식별하는데 사용가능한, 오브젝트를 식별하는 방법.
  30. 제 21 항에 있어서,
    상기 복수의 인근 IoT 디바이스의 각각과 연관된 상기 복수의 유형의 대상 메타데이터를 서버에 송신하는 단계를 더 포함하고,
    상기 서버는 상기 복수의 인근 IoT 디바이스들에 걸친 상기 복수의 유형의 대상 메타데이터의 각각의 분산을 결정하고, 결정된 상기 분산에 기초하여 상기 복수의 유형의 대상 메타데이터의 각각을 순위화하고, 상기 순위화에 기초하여 상기 복수의 유형의 대상 메타데이터에 대응하는 복수의 대상 식별 방법들의 가중을 생성하는, 오브젝트를 식별하는 방법.
  31. 제 30 항에 있어서,
    상기 서버로부터 상기 복수의 대상 식별 방법들의 가중을 수신하는 단계를 더 포함하는, 오브젝트를 식별하는 방법.
  32. 제 30 항에 있어서,
    상기 서버는 다른 IoT 디바이스들로부터 대상 메타데이터를 수신하고, 상기 서버는 상기 다른 IoT 디바이스들로부터 수신된 상기 대상 메타데이터에 추가적으로 기초하여 상기 복수의 대상 식별 방법들의 가중을 생성하는, 오브젝트를 식별하는 방법.
  33. 제 1 항에 있어서,
    상기 카메라 애플리케이션의 시야에 있는 하나 이상의 IoT 디바이스들에 비콘 신호를 송신하는 단계를 더 포함하는, 오브젝트를 식별하는 방법.
  34. 제 33 항에 있어서,
    상기 비콘 신호는 지향성 스피커를 이용하여 상기 카메라 애플리케이션의 시야에 있는 상기 하나 이상의 IoT 디바이스들에 송신되는, 오브젝트를 식별하는 방법.
  35. 제 33 항에 있어서,
    상기 하나 이상의 IoT 디바이스들에 발견 메시지를 송신하는 단계로서, 상기 발견 메시지는 필터링 기준을 포함하는, 상기 발견 메시지를 송신하는 단계; 및
    상기 하나 이상의 IoT 디바이스들의 서브세트의 각각으로부터 비콘 신호를 수신하는 단계로서, 상기 하나 이상의 IoT 디바이스들의 서브세트의 각각의 IoT 디바이스는 상기 필터링 기준에 매칭되는 속성들을 갖는, 상기 비콘 신호를 수신하는 단계를 더 포함하는, 오브젝트를 식별하는 방법.
  36. 제 35 항에 있어서,
    상기 필터링 기준을 수신하는 단계를 더 포함하고,
    상기 필터링 기준은 사용자 정의되고 상기 발견 메시지에 응답해야 하는 상기 카메라 애플리케이션의 시야에 있는 상기 하나 이상의 IoT 디바이스들의 속성 값들을 정의하는, 오브젝트를 식별하는 방법.
  37. 제 35 항에 있어서,
    상기 카메라 애플리케이션의 시야에 있는 상기 하나 이상의 IoT 디바이스들의 각각은 상기 필터링 기준에 매칭되는 속성 값들을 갖는지 여부를 결정하는, 오브젝트를 식별하는 방법.
  38. 제 37 항에 있어서,
    상기 카메라 애플리케이션의 시야에 있는 상기 하나 이상의 IoT 디바이스들의 디바이스들은 상기 필터링 기준에 매칭되는 속성 값들을 갖지 않는다는 것을 결정하고, 이에 응답하여, 수신된 상기 비콘 신호 또는 상기 발견 메시지에 응답하지 않는, 오브젝트를 식별하는 방법.
  39. 제 37 항에 있어서,
    상기 카메라 애플리케이션의 시야에 있는 상기 하나 이상의 IoT 디바이스들의 서브세트의 각각은 상기 필터링 기준에 매칭되는 속성 값을 갖는 것을 결정하고, 이에 응답하여, 비콘 신호를 방출하는 것 및 콘택트 카드를 송신하는 것에 의해 상기 발견 메시지에 응답하는, 오브젝트를 식별하는 방법.
  40. 인근 사물 인터넷 (IoT) 디바이스와 연관된 오브젝트를 식별하기 위한 장치로서,
    송수신기; 및
    적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는
    상기 인근 IoT 디바이스와 연관된 식별 정보를 수신하고;
    카메라 애플리케이션의 시야에 있는 인근 오브젝트를 검출하고;
    수신된 상기 식별 정보가 상기 카메라 애플리케이션의 시야에 있는 상기 카메라 애플리케이션에 의해 검출된 상기 인근 오브젝트와 연관된 정보에 매칭하는 것에 기초하여 상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관되는지 여부를 결정하고; 및
    상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관되는 것에 기초하여 상기 인근 오브젝트를 상기 인근 IoT 디바이스와 연관된 상기 오브젝트와 연관된 정보에 상관시키도록 구성된, 오브젝트를 식별하기 위한 장치.
  41. 제 40 항에 있어서,
    상기 적어도 하나의 프로세서는 또한 상기 인근 IoT 디바이스와 연관된 상기 오브젝트를 식별하기 위한 표시를 생성하도록 구성되는, 오브젝트를 식별하기 위한 장치.
  42. 제 41 항에 있어서,
    상기 적어도 하나의 프로세서가 생성하도록 구성되는 것은, 상기 적어도 하나의 프로세서가 상기 송수신기로 하여금 하나 이상의 인근 IoT 디바이스들에 비콘 신호를 송신하게 하도록 구성되는 것을 포함하고,
    상기 하나 이상의 인근 IoT 디바이스들은 상기 인근 IoT 디바이스를 포함하는, 오브젝트를 식별하기 위한 장치.
  43. 제 40 항에 있어서,
    상기 인근 오브젝트와 연관된 상기 정보는 비콘 신호를 포함하는, 오브젝트를 식별하기 위한 장치.
  44. 제 43 항에 있어서,
    상기 비콘 신호가 사운드 비콘 또는 광 비콘을 포함하고, 수신된 상기 식별 정보는 상기 비콘 신호의 유형 및 상기 비콘 신호의 주파수 또는 컬러의 표시를 포함하는, 오브젝트를 식별하기 위한 장치.
  45. 제 40 항에 있어서,
    상기 식별 정보는 상기 인근 IoT 디바이스와 연관된 상기 오브젝트의 온도 정보를 포함하고,
    상기 적어도 하나의 프로세서가 상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관되는지 여부를 결정하도록 구성되는 것은
    상기 적어도 하나의 프로세서가
    상기 인근 오브젝트의 온도를 결정하고; 및
    상기 온도 정보가 상기 인근 오브젝트의 온도의 임계치 내에 있는지 여부를 결정하도록 구성되는 것을 포함하고,
    상기 적어도 하나의 프로세서가 상관시키도록 구성되는 것은, 상기 적어도 하나의 프로세서가 상기 온도 정보가 상기 인근 오브젝트의 온도의 임계치 내에 있는 것에 기초하여 상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관된 상기 오브젝트에 대응한다는 것을 결정하도록 구성되는 것을 포함하는, 오브젝트를 식별하기 위한 장치.
  46. 제 45 항에 있어서,
    상기 인근 오브젝트의 온도는 상기 인근 오브젝트에 대하여 상기 인근 IoT 디바이스의 포지션에 기초하여 결정되는, 오브젝트를 식별하기 위한 장치.
  47. 제 40 항에 있어서,
    상기 식별 정보는 상기 인근 IoT 디바이스의 패턴 정보를 포함하고,
    상기 적어도 하나의 프로세서가 상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관되는지 여부를 결정하도록 구성되는 것은
    상기 적어도 하나의 프로세서가
    상기 인근 IoT 디바이스의 패턴을 결정하고; 및
    상기 패턴 정보가 상기 인근 IoT 디바이스의 패턴에 매칭되는지 여부를 결정하도록 구성되는 것을 포함하고,
    상기 적어도 하나의 프로세서가 상관시키도록 구성되는 것은, 상기 적어도 하나의 프로세서가 상기 패턴 정보가 상기 인근 IoT 디바이스의 패턴에 매칭되는 것에 기초하여 상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관된 상기 오브젝트에 대응한다는 것을 결정하도록 구성되는 것을 포함하는, 오브젝트를 식별하기 위한 장치.
  48. 제 40 항에 있어서,
    상기 식별 정보는 상기 인근 IoT 디바이스의 공간 배향을 포함하고,
    상기 적어도 하나의 프로세서가 상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관되는지 여부를 결정하도록 구성되는 것은
    상기 적어도 하나의 프로세서가
    상기 인근 오브젝트의 공간 배향을 결정하고; 및
    상기 인근 IoT 디바이스의 공간 배향이 상기 인근 오브젝트의 공간 배향에 매칭되는지 여부를 결정하도록 구성되는 것을 포함하고,
    상기 적어도 하나의 프로세서가 상관시키도록 구성되는 것은, 상기 적어도 하나의 프로세서가 상기 인근 IoT 디바이스의 공간 배향이 상기 인근 오브젝트의 공간 배향에 매칭되는 것에 기초하여 상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관된 상기 오브젝트에 대응한다는 것을 결정하도록 구성되는 것을 포함하는, 오브젝트를 식별하기 위한 장치.
  49. 제 48 항에 있어서,
    상기 인근 오브젝트의 공간 배향은 중력 및 상기 인근 오브젝트에 대한 상기 인근 IoT 디바이스의 포지션 중 하나 이상에 기초하여 결정되는, 오브젝트를 식별하기 위한 장치.
  50. 제 40 항에 있어서,
    상기 식별 정보는 대역외 시그널링을 통해 수신되는, 오브젝트를 식별하기 위한 장치.
  51. 제 40 항에 있어서,
    상기 인근 IoT 디바이스와 연관된 상기 오브젝트와 연관된 상기 정보를 수신하도록 구성된 로직을 더 포함하는, 오브젝트를 식별하기 위한 장치.
  52. 제 51 항에 있어서,
    상기 적어도 하나의 프로세서가 상관시키도록 구성되는 것은, 상기 적어도 하나의 프로세서가 상기 인근 IoT 디바이스와 연관된 상기 오브젝트의 사진 또는 비디오에 있는 상기 오브젝트와 연관된 정보로 상기 인근 오브젝트를 태깅하도록 구성되는 것을 포함하는, 오브젝트를 식별하기 위한 장치.
  53. 제 51 항에 있어서,
    상기 인근 IoT 디바이스와 연관된 상기 오브젝트는 인간이고, 수신된 상기 식별 정보는 인간의 콘택트 정보를 포함하는, 오브젝트를 식별하기 위한 장치.
  54. 제 40 항에 있어서,
    상기 인근 IoT 디바이스와 연관된 상기 오브젝트는 상기 인근 IoT 디바이스를 포함하는, 오브젝트를 식별하기 위한 장치.
  55. 제 40 항에 있어서,
    상기 적어도 하나의 프로세서는 또한, 상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관되지 않는 것에 기초하여 상기 인근 IoT 디바이스와 연관된 상기 식별 정보를 무시하도록 구성되는, 오브젝트를 식별하기 위한 장치.
  56. 제 40 항에 있어서,
    상기 적어도 하나의 프로세서는 또한,
    상기 송수신기로 하여금 제 2 인근 IoT 디바이스와 연관된 식별 정보를 수신하게 하는 것으로서, 상기 제 2 인근 IoT 디바이스는 상기 카메라 애플리케이션의 시야에 있지 않은 제 2 인근 오브젝트와 연관되는, 상기 제 2 인근 IoT 디바이스와 연관된 식별 정보를 수신하게 하고; 및
    상기 제 2 인근 IoT 디바이스와 연관된 상기 식별 정보를 무시하게 하도록 구성되는, 오브젝트를 식별하기 위한 장치.
  57. 제 56 항에 있어서,
    상기 카메라 애플리케이션은 상기 카메라 애플리케이션의 시야에서 검출된 임의의 인근 오브젝트와 상기 제 2 인근 IoT 디바이스와 연관된 상기 식별 정보 사이의 매치의 미검출에 기초하여 상기 제 2 인근 오브젝트가 상기 카메라 애플리케이션의 시야에 있지 않는다는 것을 결정하는, 오브젝트를 식별하기 위한 장치.
  58. 제 40 항에 있어서,
    상기 카메라 애플리케이션은 사용자 장비의 카메라 애플리케이션을 포함하는, 오브젝트를 식별하기 위한 장치.
  59. 제 58 항에 있어서,
    상기 인근 IoT 디바이스는 상기 사용자 장비의 피어-투-피어 무선 통신 범위 내의 IoT 디바이스를 포함하는, 오브젝트를 식별하기 위한 장치.
  60. 제 40 항에 있어서,
    상기 적어도 하나의 프로세서가 수신하도록 구성되는 것은, 상기 적어도 하나의 프로세서가 복수의 오브젝트들과 연관된 복수의 인근 IoT 디바이스들의 각각과 연관된 복수의 유형의 대상 메타데이터를 수신하도록 구성되는 것을 포함하고, 상기 복수의 오브젝트들은 상기 인근 IoT 디바이스와 연관된 상기 오브젝트를 포함하고, 상기 복수의 유형의 대상 메타데이터는 상기 복수의 인근 IoT 디바이스들의 각각에 대해 동일한, 오브젝트를 식별하기 위한 장치.
  61. 제 60 항에 있어서,
    상기 적어도 하나의 프로세서는 또한,
    상기 복수의 인근 IoT 디바이스들에 걸친 상기 복수의 유형의 대상 메타데이터의 각각의 분산을 결정하고;
    결정된 상기 분산에 기초하여 상기 복수의 유형의 대상 메타데이터의 각각을 순위화하고; 및
    상기 순위화에 기초하여 상기 복수의 유형의 대상 메타데이터에 대응하는 복수의 대상 식별 방법들의 가중을 생성하도록 구성되는, 오브젝트를 식별하기 위한 장치.
  62. 제 61 항에 있어서,
    최고 순위는 상기 복수의 유형의 대상 메타데이터 중의 최고 분산을 갖는 유형의 대상 메타데이터에 할당되는, 오브젝트를 식별하기 위한 장치.
  63. 제 62 항에 있어서,
    최고 가중은 상기 복수의 유형의 대상 메타데이터 중의 최고 순위를 갖는 유형의 대상 메타데이터에 할당되는, 오브젝트를 식별하기 위한 장치.
  64. 제 61 항에 있어서,
    상기 적어도 하나의 프로세서는 또한, 최고 가중을 갖는 대상 식별 방법을 이용하여 상기 복수의 오브젝트들을 식별하도록 구성되는, 오브젝트를 식별하기 위한 장치.
  65. 제 61 항에 있어서,
    상기 적어도 하나의 프로세서는 또한, 상기 송수신기로 하여금 상기 복수의 인근 IoT 디바이스들 및 상기 복수의 인근 IoT 디바이스들과 통신하는 서버 중 하나 이상에 생성된 상기 가중을 송신하게 하도록 구성되는, 오브젝트를 식별하기 위한 장치.
  66. 제 65 항에 있어서,
    상기 송수신기는 상기 복수의 인근 IoT 디바이스들 및 상기 복수의 인근 IoT 디바이스들과 통신하는 상기 서버 중 하나 이상으로부터 상기 복수의 대상 식별 방법들의 가중을 수신하도록 구성되고,
    상기 카메라 애플리케이션은 수신된 상기 가중을 생성된 상기 가중 내에 포함시키는, 오브젝트를 식별하기 위한 장치.
  67. 제 60 항에 있어서,
    상기 복수의 유형의 대상 메타데이터는, 상기 복수의 오브젝트들과 연관된 사운드 비콘, 광 비콘, 열 시그너처, 패턴 정보 및 포즈 정보 중의 2개 이상을 포함하는, 오브젝트를 식별하기 위한 장치.
  68. 제 61 항에 있어서,
    복수의 대상 식별 방법들 중의 각각은 상기 복수의 유형의 대상 메타데이터 중의 대응하는 하나를 이용하여 상기 복수의 오브젝트들을 식별하는데 사용가능한, 오브젝트를 식별하기 위한 장치.
  69. 제 60 항에 있어서,
    상기 송수신기는 상기 복수의 인근 IoT 디바이스의 각각과 연관된 상기 복수의 유형의 대상 메타데이터를 서버에 송신하도록 구성되고,
    상기 서버는 상기 복수의 인근 IoT 디바이스들에 걸친 상기 복수의 유형의 대상 메타데이터의 각각의 분산을 결정하고, 결정된 상기 분산에 기초하여 상기 복수의 유형의 대상 메타데이터의 각각을 순위화하고, 상기 순위화에 기초하여 상기 복수의 유형의 대상 메타데이터에 대응하는 복수의 대상 식별 방법들의 가중을 생성하는, 오브젝트를 식별하기 위한 장치.
  70. 제 69 항에 있어서,
    상기 송수신기는 상기 서버로부터 상기 복수의 대상 식별 방법들의 가중을 수신하도록 구성되는, 오브젝트를 식별하기 위한 장치.
  71. 제 69 항에 있어서,
    상기 서버는 다른 IoT 디바이스들로부터 대상 메타데이터를 수신하고, 상기 서버는 상기 다른 IoT 디바이스들로부터 수신된 상기 대상 메타데이터에 추가적으로 기초하여 상기 복수의 대상 식별 방법들의 가중을 생성하는, 오브젝트를 식별하기 위한 장치.
  72. 제 40 항에 있어서,
    상기 적어도 하나의 프로세서는 또한, 상기 송수신기로 하여금 상기 카메라 애플리케이션의 시야에 있는 하나 이상의 IoT 디바이스들에 비콘 신호를 송신하게 하도록 구성되는, 오브젝트를 식별하기 위한 장치.
  73. 제 72 항에 있어서,
    상기 비콘 신호는 지향성 스피커를 이용하여 상기 카메라 애플리케이션의 시야에 있는 상기 하나 이상의 IoT 디바이스들에 송신되는, 오브젝트를 식별하기 위한 장치.
  74. 제 72 항에 있어서,
    상기 송수신기는
    상기 하나 이상의 IoT 디바이스들에 발견 메시지를 송신하는 것으로서, 상기 발견 메시지는 필터링 기준을 포함하는, 상기 발견 메시지를 송신하고; 및
    상기 하나 이상의 IoT 디바이스들의 서브세트의 각각으로부터 비콘 신호를 수신하는 것으로서, 상기 하나 이상의 IoT 디바이스들의 서브세트의 각각의 IoT 디바이스는 상기 필터링 기준에 매칭되는 속성들을 갖는, 상기 비콘 신호를 수신하도록 구성되는, 오브젝트를 식별하기 위한 장치.
  75. 제 74 항에 있어서,
    상기 적어도 하나의 프로세서는 또한 상기 필터링 기준을 수신하도록 구성되고,
    상기 필터링 기준은 사용자 정의되고 상기 발견 메시지에 응답해야 하는 상기 카메라 애플리케이션의 시야에 있는 상기 하나 이상의 IoT 디바이스들의 속성 값들을 정의하는, 오브젝트를 식별하기 위한 장치.
  76. 제 74 항에 있어서,
    상기 카메라 애플리케이션의 시야에 있는 상기 하나 이상의 IoT 디바이스들의 각각은 상기 필터링 기준에 매칭되는 속성 값들을 갖는지 여부를 결정하는, 오브젝트를 식별하기 위한 장치.
  77. 제 76 항에 있어서,
    상기 카메라 애플리케이션의 시야에 있는 상기 하나 이상의 IoT 디바이스들의 디바이스들은 상기 필터링 기준에 매칭되는 속성 값들을 갖지 않는다는 것을 결정하고, 이에 응답하여, 수신된 상기 비콘 신호 또는 상기 발견 메시지에 응답하지 않는, 오브젝트를 식별하기 위한 장치.
  78. 제 76 항에 있어서,
    상기 카메라 애플리케이션의 시야에 있는 상기 하나 이상의 IoT 디바이스들의 서브세트의 각각은 상기 필터링 기준에 매칭되는 속성 값을 갖는 것을 결정하고, 이에 응답하여, 비콘 신호를 방출하는 것 및 콘택트 카드를 송신하는 것에 의해 상기 발견 메시지에 응답하는, 오브젝트를 식별하기 위한 장치.
  79. 인근 사물 인터넷 (IoT) 디바이스와 연관된 오브젝트를 식별하기 위한 장치로서,
    상기 인근 IoT 디바이스와 연관된 식별 정보를 수신하는 수단;
    카메라 애플리케이션의 시야에 있는 인근 오브젝트를 검출하는 수단;
    수신된 상기 식별 정보가 상기 카메라 애플리케이션의 시야에 있는 상기 카메라 애플리케이션에 의해 검출된 상기 인근 오브젝트와 연관된 정보에 매칭하는 것에 기초하여 상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관되는지 여부를 결정하는 수단; 및
    상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관되는 것에 기초하여 상기 인근 오브젝트를 상기 인근 IoT 디바이스와 연관된 상기 오브젝트와 연관된 정보에 상관시키는 수단
    을 포함하는, 오브젝트를 식별하기 위한 장치.
  80. 인근 사물 인터넷 (IoT) 디바이스와 연관된 오브젝트를 식별하기 위한 비일시적 컴퓨터 판독가능 매체로서,
    상기 인근 IoT 디바이스와 연관된 식별 정보를 수신하기 위한 적어도 하나의 명령;
    카메라 애플리케이션의 시야에 있는 인근 오브젝트를 검출하기 위한 적어도 하나의 명령;
    수신된 상기 식별 정보가 상기 카메라 애플리케이션의 시야에 있는 상기 카메라 애플리케이션에 의해 검출된 상기 인근 오브젝트와 연관된 정보에 매칭하는 것에 기초하여 상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관되는지 여부를 결정하기 위한 적어도 하나의 명령; 및
    상기 인근 오브젝트가 상기 인근 IoT 디바이스와 연관되는 것에 기초하여 상기 인근 오브젝트를 상기 인근 IoT 디바이스와 연관된 상기 오브젝트와 연관된 정보에 상관시키기 위한 적어도 하나의 명령
    을 포함하는, 오브젝트를 식별하기 위한 비일시적 컴퓨터 판독가능 매체.
KR1020167003425A 2013-08-02 2014-08-01 광학 이미지들과 함께 대역외 시그널링/메타데이터를 이용한 iot 디바이스/오브젝트/사람들의 식별 KR101804075B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361861609P 2013-08-02 2013-08-02
US61/861,609 2013-08-02
US201361904370P 2013-11-14 2013-11-14
US61/904,370 2013-11-14
US14/448,880 US9400943B2 (en) 2013-08-02 2014-07-31 Identifying IoT devices/objects/people using out-of-band signaling/metadata in conjunction with optical images
US14/448,880 2014-07-31
PCT/US2014/049405 WO2015017778A1 (en) 2013-08-02 2014-08-01 Identifying iot devices/objects/people using out-of-band signaling/metadata in conjunction with optical images

Publications (2)

Publication Number Publication Date
KR20160039204A KR20160039204A (ko) 2016-04-08
KR101804075B1 true KR101804075B1 (ko) 2017-12-01

Family

ID=52427709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167003425A KR101804075B1 (ko) 2013-08-02 2014-08-01 광학 이미지들과 함께 대역외 시그널링/메타데이터를 이용한 iot 디바이스/오브젝트/사람들의 식별

Country Status (6)

Country Link
US (1) US9400943B2 (ko)
EP (1) EP3028478B1 (ko)
JP (1) JP6203957B2 (ko)
KR (1) KR101804075B1 (ko)
CN (1) CN105453600B (ko)
WO (1) WO2015017778A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10942871B2 (en) * 2012-04-23 2021-03-09 Geotab Inc. Intelligent bluetooth beacon I/O expansion system
CN104994596A (zh) * 2015-07-09 2015-10-21 北京国人拓盛科技有限责任公司 无线数据传输方法、无线数据传输设备和***
KR102354055B1 (ko) * 2015-07-23 2022-01-24 삼성전자 주식회사 광학사물인식 기반 전자 장치 및 그 전자 장치의 운용 방법
GB2540957B (en) * 2015-07-31 2019-12-25 Arm Ip Ltd Managing interaction constraints
US9954956B2 (en) * 2015-08-26 2018-04-24 Intel IP Corporation Secure discovery and connection to internet of things devices in a wireless local-area network
JP6257846B1 (ja) * 2016-02-15 2018-01-10 株式会社 ゴーダ水処理技研 電気分解水生成装置
US10248863B2 (en) 2016-06-15 2019-04-02 International Business Machines Corporation Augemented video analytics for testing internet of things (IoT) devices
WO2018089127A1 (en) * 2016-11-09 2018-05-17 W.C. Bradley Co. Geo-fence enabled system, apparatus, and method for outdoor cooking and smoking
WO2018106159A1 (en) * 2016-12-05 2018-06-14 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatus for operating and managing a constrained device within
KR101936655B1 (ko) * 2017-05-25 2019-04-03 연세대학교 산학협력단 하이퍼그래프 기반의 오버레이 네트워크 모델을 이용한 사물인터넷 객체 탐색 방법 및 장치
KR102005306B1 (ko) * 2017-06-16 2019-07-30 기민전자주식회사 가시광 파장의 ＦＯＶ를 이용한 ＩｏＴ 리모트 그룹지정 시스템 및 그 그룹제어 방법
US11138901B1 (en) 2017-06-28 2021-10-05 Amazon Technologies, Inc. Item recognition and analysis
US10540390B1 (en) 2017-08-07 2020-01-21 Amazon Technologies, Inc. Image-based item identification
KR101960254B1 (ko) * 2017-08-11 2019-03-20 (주)엔텔스 IoT 서비스를 위한 트래픽 제어 방법 및 트래픽 제어 서버
US10447394B2 (en) * 2017-09-15 2019-10-15 Qualcomm Incorporated Connection with remote internet of things (IoT) device based on field of view of camera
US10579887B2 (en) * 2017-12-01 2020-03-03 At&T Intellectual Property I, L.P. Identification using mobile device signatures and cameras
DE102018116508A1 (de) 2018-07-09 2020-01-09 Friedrich-Alexander-Universität Erlangen-Nürnberg Katalysatorsystem, Elektrode, sowie Brennstoffzelle oder Elektrolyseur
WO2020022780A1 (en) * 2018-07-25 2020-01-30 Samsung Electronics Co., Ltd. Method and apparatus for establishing device connection
US10311149B1 (en) * 2018-08-08 2019-06-04 Gyrfalcon Technology Inc. Natural language translation device
US10978064B2 (en) 2018-11-30 2021-04-13 International Business Machines Corporation Contextually relevant spoken device-to-device communication between IoT devices
US11102064B2 (en) * 2019-08-28 2021-08-24 International Business Machines Corporation Dynamically adapting an internet of things (IOT) device
US11038966B1 (en) 2020-04-28 2021-06-15 Arm Ip Limited Remote device operation
US11657607B2 (en) 2020-11-13 2023-05-23 International Business Machines Corporation Non-intrusive image identification
WO2022216990A1 (en) * 2021-04-07 2022-10-13 Halo Products Group, Llc Outdoor cooking appliance control system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69420418T2 (de) * 1994-11-29 2000-05-25 Zanavy Informatics Kk Navigationssystem mit Umschaltung, wenn ein Radiosignal nicht empfangen werden kann
JPH11353563A (ja) * 1998-06-05 1999-12-24 Fujitsu General Ltd 情報表示システム
US8515460B2 (en) 2007-02-12 2013-08-20 Microsoft Corporation Tagging data utilizing nearby device information
EP2157781B1 (en) * 2007-06-22 2013-08-07 Panasonic Corporation Camera device and imaging method
JP5006720B2 (ja) * 2007-07-04 2012-08-22 株式会社エヌ・ティ・ティ・ドコモ 携帯端末位置情報送信システム及び携帯端末位置情報送信方法
JP5181833B2 (ja) * 2008-05-26 2013-04-10 株式会社ナカヨ通信機 待合せ支援機能付き携帯無線端末
NO331287B1 (no) 2008-12-15 2011-11-14 Cisco Systems Int Sarl Fremgangsmate og anordning for gjenkjenning av ansikter i en videostrom
US9749607B2 (en) 2009-07-16 2017-08-29 Digimarc Corporation Coordinated illumination and image signal capture for enhanced signal detection
US9571625B2 (en) 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
US8121618B2 (en) * 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US20110115612A1 (en) 2009-11-17 2011-05-19 Kulinets Joseph M Media management system for selectively associating media with devices detected by an rfid
CN101794448B (zh) * 2010-04-07 2012-07-04 上海交通大学 主从摄像机***的全自动标定方法
FR2971657A1 (fr) 2011-02-11 2012-08-17 Alcatel Lucent Determination d'objets reels actifs pour mise en œuvre d'une application logicielle
US20120293307A1 (en) * 2011-05-17 2012-11-22 Astraion, LLC RFID systems having improved read rates for localization and proximity detection
JP2013085200A (ja) * 2011-10-12 2013-05-09 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP5801690B2 (ja) * 2011-10-27 2015-10-28 キヤノン株式会社 画像処理装置、画像処理方法
DE102012218966B4 (de) 2011-10-31 2018-07-12 International Business Machines Corporation Verfahren und System zum Kennzeichnen von durch Dinge im Internet der Dinge erzeugten Originaldaten
US9143402B2 (en) 2012-02-24 2015-09-22 Qualcomm Incorporated Sensor based configuration and control of network devices
US8687104B2 (en) 2012-03-27 2014-04-01 Amazon Technologies, Inc. User-guided object identification
WO2014041235A1 (en) * 2012-09-14 2014-03-20 Nokia Corporation Remote control system

Also Published As

Publication number Publication date
EP3028478A1 (en) 2016-06-08
WO2015017778A1 (en) 2015-02-05
US20150036881A1 (en) 2015-02-05
KR20160039204A (ko) 2016-04-08
JP6203957B2 (ja) 2017-09-27
EP3028478B1 (en) 2020-02-12
CN105453600B (zh) 2019-07-05
CN105453600A (zh) 2016-03-30
US9400943B2 (en) 2016-07-26
JP2016533676A (ja) 2016-10-27

Similar Documents

Publication Publication Date Title
KR101804075B1 (ko) 광학 이미지들과 함께 대역외 시그널링/메타데이터를 이용한 iot 디바이스/오브젝트/사람들의 식별
CN106576244B (zh) 使设备接入到安全本地网络
US10110697B2 (en) Environmental detection of internet of things devices
TWI526971B (zh) 異質物聯網（ｉｏｔ）裝置間背景感知行動
US10225719B2 (en) Method and apparatus for establishing communication between an image photographing apparatus and a user device
CN104038263B (zh) 建立蓝牙连接的方法和装置
TWI584615B (zh) 使用聲音啾聲之物聯網（IoT）器件之鄰近性偵測
Sharma et al. Lumos: Identifying and localizing diverse hidden {IoT} devices in an unfamiliar environment
CN110716717B (zh) 控制电子设备的方法和计算机可读记录介质
JP6431057B2 (ja) 人が読めるメッセージからプログラムのインターフェースへのセマンティックマッピング
TWI641956B (zh) 物聯網系統以及控制方法
US9826365B2 (en) Method for deciding location of target device and electronic device thereof
JP2017508340A (ja) 近位ピアツーピアデバイスのパターン照合を使用した屋内ロケーションの判定
US20150312398A1 (en) Apparatus and method for automatic discovery and suggesting personalized gesture control based on user's habit and context
CN105849745A (zh) 使用超声签名的受托设备定位方案
WO2015187465A1 (en) Generating a location profile of an internet of things device based on augmented location information associated with one or more nearby internet of things devices
CN109672720B (zh) 用于控制IoT装置的电子装置及其操作方法
CN108432213B (zh) 电子设备及其控制方法
US20190102783A1 (en) Targeted electronic messaging at a brick and mortar store
CN105900402B (zh) 用于量化现有设备网络的整体价值的方法和装备
CN115250428A (zh) 一种定位方法和装置
Jee et al. Motionsync: personal energy analytics through motion tags and wearable sensing
Chen et al. Design and realization of an NFC-driven smart home system to support intruder detection and social network integration
Constantino Best Effort Identification
Zhou A mobile sensing solution for indoor and outdoor state detection

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant