KR101650833B1 - 노트 인식을 위한 시스템 및 방법 - Google Patents
노트 인식을 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR101650833B1 KR101650833B1 KR1020157030932A KR20157030932A KR101650833B1 KR 101650833 B1 KR101650833 B1 KR 101650833B1 KR 1020157030932 A KR1020157030932 A KR 1020157030932A KR 20157030932 A KR20157030932 A KR 20157030932A KR 101650833 B1 KR101650833 B1 KR 101650833B1
- Authority
- KR
- South Korea
- Prior art keywords
- note
- notes
- physical
- visual representation
- mark
- Prior art date
Links
Images
Classifications
-
- G06K9/18—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G06K9/00442—
-
- G06K9/2063—
-
- G06K9/3258—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Character Input (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
본 발명의 적어도 일부 태양은 노트 인식을 위한 시스템 및 방법을 특징으로 한다. 노트 인식 시스템은 센서, 노트 인식 모듈, 및 노트 추출 모듈을 포함한다. 센서는 하나 이상의 노트들을 갖는 장면의 시각적 표현을 캡처하도록 구성된다. 노트 인식 모듈은 센서에 결합된다. 노트 인식 모듈은 캡처된 시각적 표현을 수신하도록 그리고 노트의 대체적인 경계를 캡처된 시각적 표현으로부터 결정하도록 구성된다. 노트 추출 모듈은 노트의 결정된 대체적인 경계에 기초하여 캡처된 시각적 표현으로부터 노트의 콘텐트를 추출하도록 구성된다.
Description
본 발명은 노트 캡처링(capturing), 인식, 추출, 및/또는 관리 툴(tool) 및 시스템에 관한 것이다.
노트들은 아이디어들 및 정보를 기록, 공유, 및 전달하는 데 널리 사용되어 왔다. 예를 들어, 협업 세션(collaboration session)(예컨대, 브레인스토밍(brainstorming) 세션) 동안, 참가자들은 아이디어를 포스트-잇(Post-It)® 노트들, 화이트보드, 또는 종이에 써 내려가고, 이어서 서로 공유한다. 더욱이, 사람들은 통상 개인이 잊어버리기를 원하지 않는 정보나 콘텐트(content)를 기억하기 위하여 하루 내내 노트들을 사용한다. 추가의 예로서, 사람들은, 전화 통화를 위해서, 문서를 수정하기 위해서, 또는 타임 시트(time sheet)를 채우기 위해서와 같이 미래에 있을 행동 또는 사건의 리마인더(reminder)로서 노트를 자주 이용한다.
많은 상황에서, 사람들은 전통적으로, 포스트-잇® 노트들과 같은 종이-기반 노트들에 적절한 정보를 적어 내려가곤 했다. 종이 포스트-잇® 노트들은 후방 점착식 종이 포스트-잇® 노트들의 디스펜서 패드(dispenser pad)로부터 간단히 제거되어, 문서, 책상의 상부, 전화기 등과 같은 다양한 표면들에 적용된다. 종이 포스트-잇® 노트들이 그들의 디스펜서 패드로부터 제거되거나 또는 그들의 타깃 표면들에 부착되기 전 또는 후에 종이 포스트-잇® 노트들 상에 정보가 기록될 수 있다. 종이 포스트-잇® 노트들은 하나의 표면으로부터 다른 표면으로, 예컨대 문서들 사이에서 또는 문서와 책상의 상부 사이에서 용이하게 이동될 수 있고, 이들은 문서의 에지들 또는 경계들과 중첩될 수 있고, 이들은 층을 이룰 수 있고, 이들은 이들이 부착된 객체들과 함께 이동될 수 있다.
본 발명의 적어도 일부 태양은 센서에 의해 복수의 노트들을 갖는 장면의 시각적 표현을 캡처하는 단계; 프로세싱 유닛에 의해 복수의 노트들 중 하나를 시각적 표현으로부터 인식하는 단계; 및 프로세싱 유닛에 의해 복수의 노트들 중 하나의 콘텐트를 추출하는 단계를 포함하는 노트들의 콘텐트를 수집하는 방법을 특징으로 한다.
본 발명의 적어도 일부 태양은 센서, 노트 인식 모듈, 및 노트 추출 모듈을 포함하는 노트 인식 시스템을 특징으로 한다. 센서는 복수의 노트들을 갖는 장면의 시각적 표현을 캡처하도록 구성된다. 노트 인식 모듈은 센서에 결합된다. 노트 인식 모듈은 캡처된 시각적 표현을 수신하도록 그리고 복수의 노트들 중 하나의 대체적인 경계를 캡처된 시각적 표현으로부터 결정하도록 구성된다. 노트 추출 모듈은 복수의 노트들 중 하나의 결정된 대체적인 경계에 기초하여 복수의 노트들 중 하나의 콘텐트를 캡처된 시각적 표현으로부터 추출하도록 구성된다.
첨부 도면은 본 명세서에 포함되어 그의 일부를 구성하며, 발명의 상세한 설명과 함께 본 발명의 이점 및 원리를 설명한다. 도면에서,
도 1a는 이동식 디바이스 상의 이미지 캡처 디바이스를 이용하여 노트들을 갖는 작업공간의 이미지를 사용자가 캡처하는 일례를 도시하는 도면이다.
도 1b는 이동식 디바이스의 일례를 도시하는 블록도이다.
도 1c는 노트 인식 시스템의 일 실시 형태를 도시한다.
도 1d는 노트 관리 시스템의 일 실시 형태를 도시한다.
도 2a 내지 도 2c는 마크(mark)들을 갖는 노트들의 일부 예를 도시한다.
도 3a는 노트 인식 및/또는 관리 시스템의 일 실시 형태의 흐름도를 도시한다.
도 3b는 노트들의 콘텐트를 추출하는 일 실시 형태의 흐름도를 도시한다.
도 3c는 노트를 인증하는 일 실시 형태의 흐름도를 도시한다.
도 4a 내지 도 4d는 마크를 갖는 노트의 콘텐트 추출 프로세스의 일례를 도시한다.
도 5a 내지 도 5d는 재귀반사성 마크들을 갖는 복수의 노트들의 콘텐트 추출의 일 실시 형태를 도시한다.
도 6은 노트 인식 시스템의 일 실시 형태의 모듈 다이어그램을 도시한다.
도 7a는 노트 관리 시스템의 일 실시 형태의 흐름도를 도시한다.
도 7b는 시스템이 노트를 어떻게 라벨링할 수 있는가의 예를 도시한다.
도 8은 노트 관리 시스템의 일 실시 형태의 모듈 다이어그램을 도시한다.
도 1a는 이동식 디바이스 상의 이미지 캡처 디바이스를 이용하여 노트들을 갖는 작업공간의 이미지를 사용자가 캡처하는 일례를 도시하는 도면이다.
도 1b는 이동식 디바이스의 일례를 도시하는 블록도이다.
도 1c는 노트 인식 시스템의 일 실시 형태를 도시한다.
도 1d는 노트 관리 시스템의 일 실시 형태를 도시한다.
도 2a 내지 도 2c는 마크(mark)들을 갖는 노트들의 일부 예를 도시한다.
도 3a는 노트 인식 및/또는 관리 시스템의 일 실시 형태의 흐름도를 도시한다.
도 3b는 노트들의 콘텐트를 추출하는 일 실시 형태의 흐름도를 도시한다.
도 3c는 노트를 인증하는 일 실시 형태의 흐름도를 도시한다.
도 4a 내지 도 4d는 마크를 갖는 노트의 콘텐트 추출 프로세스의 일례를 도시한다.
도 5a 내지 도 5d는 재귀반사성 마크들을 갖는 복수의 노트들의 콘텐트 추출의 일 실시 형태를 도시한다.
도 6은 노트 인식 시스템의 일 실시 형태의 모듈 다이어그램을 도시한다.
도 7a는 노트 관리 시스템의 일 실시 형태의 흐름도를 도시한다.
도 7b는 시스템이 노트를 어떻게 라벨링할 수 있는가의 예를 도시한다.
도 8은 노트 관리 시스템의 일 실시 형태의 모듈 다이어그램을 도시한다.
노트는 아이디어 및 정보를 기록, 공유, 및 전달하는 데 널리 사용되어 왔다. 예를 들어, 협업 세션(예컨대, 브레인스토밍 세션) 동안, 참가자들은 아이디어를 포스트-잇® 노트들, 화이트보드, 종이에 써 내려가고, 이어서 서로 공유한다. 본 발명의 적어도 일부 태양은 다수의 노트들을 캡처하고 노트들의 콘텐트를 추출하는 시스템 및 방법에 관한 것이다. 일부 실시 형태에서, 노트들 중 적어도 일부는 노트들의 인식 및 추출을 용이하게 하도록 마크를 포함한다. 일부 경우에, 노트들은 장면의 하나의 시각적 표현으로 캡처되고 식별/인식된다. 장면의 시각적 표현은, 예를 들어, 노트(들) 및 주변 환경의 디지털 사진일 수 있다. 게다가, 본 발명의 적어도 일부 태양은 다수의 노트들을 관리하는, 예컨대 노트들을 보관 및 검색하는, 노트들을 분류 및 그룹화하는, 등의 시스템 및 방법에 관한 것이다. 일부 경우에, 노트 관리 시스템은 많은 수의 노트들로부터의 노트 콘텐트의 캡처링 및 추출 시 효율을 개선할 수 있다. 더욱이, 노트 관리 시스템은 노트들의 그룹화 및 관리 시 효율을 개선할 수 있다.
노트들은 물리적인 노트들 및 디지털 노트들을 포함할 수 있다. 물리적 노트들은 일반적으로, 대체적인 경계 및 인식가능 콘텐트를 갖는 객체들을 말한다. 물리적 노트들은 사람들이 다른 유형의 입력들을 통하여 객체들, 예를 들어, 종이, 화이트보드, 또는 입력들을 수용하는 다른 객체들 상에 쓰거나, 그리거나, 기입한 후의 생성된 객체들을 포함할 수 있다. 예로서, 물리적 노트들은 손으로 쓴 포스트-잇® 노트들, 종이, 또는 필름, 그림들이 있는 화이트보드, 포스터들, 및 표지판들을 포함할 수 있다. 일부 경우에, 하나의 객체는 여러 개의 노트들을 포함할 수 있다. 예를 들어, 몇몇 아이디어들이 포스터 종이 한 장 또는 하나의 화이트보드 상에 써질 수 있다. 일부 구현예에서, 이들 노트의 인식을 용이하게 하기 위하여, 마크들, 예컨대 라인들, 마커들, 스티커들이 노트들의 에지들에 적용될 수 있다. 물리적 노트들은 2차원 또는 3차원일 수 있다. 물리적 노트들은 다양한 형상들 및 크기들을 가질 수 있다. 예를 들어, 물리적 노트는 3 인치 x 3 인치 노트일 수 있고; 물리적 노트는 26 인치 x 39 인치 포스터일 수 있고; 물리적 노트는 삼각형 금속 표지판일 수 있다. 일부 경우에, 물리적 노트들은 기지의 형상들 및/또는 크기들을 갖는다. 디지털 노트들은 일반적으로 정보 및/또는 아이디어들을 갖는 디지털 객체들을 말한다. 디지털 노트들은 디지털 입력들을 이용하여 생성될 수 있다. 디지털 입력들은, 예를 들어, 키보드들, 터치 스크린들, 디지털 카메라들, 디지털 기록 디바이스들, 스타일러스, 디지털 펜들, 등을 포함할 수 있다.
일부 경우에, 노트들은 협업 공간에서 사용된다. 협업 공간은 일반적으로 한 사람보다 많은 사람들이 아이디어들 및 생각들을 서로 공유하게 하는 모임 영역을 말한다. 협업 공간은 모임 영역 이외에, 한 그룹의 사람들이 아이디어들 및 생각들을 원격으로 공유하게 하는 가상 공간을 포함할 수 있다.
도 1a는 노트 인식 환경(10)의 일례를 도시한다. 도 1a의 예에서, 환경(10)은 작업공간(20)으로부터 하나 이상의 노트(22)를 캡처하고 인식하는 이동식 디바이스(15)를 포함한다. 본 명세서에서 설명되는 바와 같이, 이동식 디바이스는, 설명되는 바와 같이, 작업공간(20)으로부터 노트(22)를 수집하는 것과 같이 다수의 물리적 노트들로부터 콘텐트를 효율적으로 캡처하고 추출할 수 있는 하나 이상의 소프트웨어 애플리케이션에 대한 실행 환경을 제공한다. 본 예에서, 노트(22)들은 다수의 참가자들이 있는 협업적 브레인스토밍 세션의 결과일 수 있다. 설명되는 바와 같이, 이동식 디바이스(15) 및 그에서 실행되는 소프트웨어는, 작업공간(20)의 물리적 노트(22)들을 나타내는 디지털 노트들의 자동 생성을 포함하여, 다양한 노트-관련 동작들을 수행할 수 있다.
예시적인 구현예에서, 이동식 디바이스(15)는, 다른 구성요소들 중에서도 특히, 이미지 캡처 디바이스(18) 및 프레젠테이션 디바이스(28)를 포함한다. 더욱이, 도 1a에 도시되어 있지 않지만, 이동식 디바이스(15)는 하나 이상의 프로세서, 마이크로프로세서들, 내부 메모리 및/또는 데이터 저장장치, 및 본 명세서에서 설명되는 기능을 제공하도록 소프트웨어 또는 펌웨어를 실행하기 위한 다른 전자 회로를 포함할 수 있다.
대체적으로, 이미지 캡처 디바이스(18)는 카메라, 또는 작업공간(20) 및 그에 위치된 노트(22)들을 나타내는 이미지 데이터를 캡처하도록 구성된 다른 구성요소이다. 다시 말해서, 이미지 데이터는 복수의 시각적 노트들을 갖는 작업공간(20)과 같은 환경의 시각적 표현을 캡처한다. 이동식 디바이스(15)의 카메라로서 논의되지만, 이미지 캡처 디바이스(18)는 이미지 데이터를 캡처할 수 있는 다른 구성요소들, 예컨대 비디오 레코더, 적외선 카메라, CCD(전하 결합 소자) 어레이, 레이저 스캐너, 등을 포함할 수 있다. 더욱이, 캡처된 이미지 데이터는 이미지, 비디오, 일련의 이미지들(즉, 일정 시간 간격 내에 그리고/또는 순서대로 촬영된 다수의 이미지들), 이미지들의 집합, 등 중 적어도 하나를 포함할 수 있고, 용어 "입력 이미지"는 다양한 예시적인 유형의 이미지 데이터를 말하는 것으로 본 명세서에서 사용된다.
프레젠테이션 디바이스(28)는 전자적 어드레스가능 디스플레이, 예컨대 이동식 디바이스(28)와 함께 사용하기 위한 액정 디스플레이(LCD) 또는 다른 유형의 디스플레이 디바이스를 포함할 수 있지만 이로 제한되지 않는다. 일부 구현예에서, 이동식 디바이스(15)는 콘텐트를 생성하여 다양한 포맷들로, 예를 들어, 행 및/또는 열로 그룹화된 목록, 흐름도, 등으로 노트들에 대해 프레젠테이션 디바이스(28) 상에 표시한다. 일부 경우에, 이동식 디바이스(15)는 다른 디바이스들, 예컨대 태블릿 컴퓨터, 프로젝터, 전자 게시판 또는 다른 외부 디바이스에 의한 프레젠테이션을 위한 디스플레이 정보를 전달할 수 있다.
본 명세서에서 설명되는 바와 같이, 이동식 디바이스(15) 및 그에서 실행되는 소프트웨어는 물리적 노트(22)들을 나타내는 디지털 노트들을 생성하고 조작하기 위한 플랫폼을 제공한다. 예를 들어, 대체적으로, 이동식 디바이스(15)는 작업공간(20) 내에 위치된 물리적 노트(22)들 중 적어도 하나를 검출 및 인식하기 위해 이미지 캡처 디바이스(18)에 의해 생성된 이미지 데이터를 프로세싱하도록 구성된다. 일부 예에서, 이동식 디바이스(15)는 노트(들)의 대체적인 경계를 결정함으로써 노트(들)를 인식하도록 구성된다. 노트가 인식된 후, 이동식 디바이스(15)는 하나 이상의 노트 중 적어도 하나의 콘텐트를 추출하는데, 여기서 콘텐트는 노트(22)의 시각적 정보이다.
아래에서 추가로 설명되는 바와 같이, 이동식 디바이스(15)는 물리적 노트(22)들의 자동 검출 및 인식, 및 정보, 콘텐트 또는 물리적 노트들의 각각과 연관된 다른 특징들의 추출을 위한 기술을 구현할 수 있다.
도 1a의 예에서, 이동식 디바이스(15)는 이동식 전화기로서 도시되어 있다. 그러나, 다른 예에서, 이동식 디바이스(15)는 태블릿 컴퓨터, 개인 정보 단말기(PDA), 랩톱 컴퓨터, 미디어 플레이어, e-북 리더, 웨어러블 컴퓨팅 디바이스(예컨대, 시계, 안경, 장갑), 또는 본 명세서에서 설명된 기술들을 수행하기에 적합한 임의의 다른 유형의 이동식 또는 비이동식 컴퓨팅 디바이스일 수 있다.
도 1b는 본 명세서에서 설명된 기술에 따라 동작하는 이동식 디바이스의 일례를 도시하는 블록도를 도시한다. 예시를 목적으로, 도 1b의 이동식 디바이스는 도 1a의 이동식 디바이스(15)에 대해 설명될 것이다.
본 예에서, 이동식 디바이스(15)는 디바이스의 작동을 위한 핵심 기능을 제공하는 다양한 하드웨어 구성요소들을 포함한다. 예를 들어, 이동식 디바이스(15)는 정적 랜덤 액세스 메모리(SRAM) 디바이스 또는 플래시 메모리 디바이스와 같은 컴퓨터-판독가능 매체 또는 데이터 저장장치(68)에 전형적으로 저장되는 실행가능 명령어들(즉, 프로그램 코드)에 따라 작동하도록 구성된 하나 이상의 프로그램가능 프로세서(70)들을 포함한다. I/O(76)는, 도 1a에서 설명되는 바와 같이, 하나 이상의 디바이스들, 예컨대, 키보드, 카메라 버튼, 전원 버튼, 볼륨 버튼, 홈 버튼, 뒤로가기 버튼, 메뉴 버튼, 또는 프레젠테이션 디바이스(28)를 포함할 수 있다. 송신기(72) 및 수신기(74)는, 고주파 무선 주파수(RF) 신호와 같지만 그로 제한되지 않는 도 1a에서 설명된 바와 같은 무선 통신 인터페이스를 통하여, 다른 디바이스들, 예컨대, 도 1a에서 설명된 바와 같은, 클라우드 서버(12), 컴퓨터 시스템(14), 또는 다른 이동식 디바이스(16)와의 무선 통신을 제공한다. 이동식 디바이스(15)는 도 1b에 도시되지 않은 부가적인 별개의 디지털 로직 또는 아날로그 회로를 포함할 수 있다.
대체적으로, 운영 체제(64)가 프로세서(70) 상에서 실행되고 노트 관리 애플리케이션(78)을 비롯한 하나 이상의 사용자 애플리케이션(77)(통상 "앱"이라고 함)을 위한 운영 환경을 제공한다. 사용자 애플리케이션(77)은, 예를 들어, 프로세서(70)에 의한 실행을 위해 컴퓨터-판독가능 저장 디바이스(예컨대, 데이터 저장장치(68))에 저장된 실행가능 프로그램 코드를 포함할 수 있다. 다른 예로서, 사용자 애플리케이션(77)은 펌웨어를 포함할 수 있거나, 일부 예에서, 별개의 로직에서 구현될 수 있다.
작동 시, 이동식 디바이스(15)는 입력 이미지 데이터를 수신하고 본 명세서에서 설명된 기술에 따라 입력 이미지 데이터를 프로세싱한다. 예를 들어, 이미지 캡처 디바이스(18)는 복수의 노트들을 갖는 환경, 예컨대 노트(22)들을 갖는 도 1a의 작업공간(20)의 입력 이미지를 캡처할 수 있다. 다른 예로서, 이동식 디바이스(15)는 외부 소스들, 예컨대, 클라우드 서버(15), 컴퓨터 시스템(14) 또는 이동식 디바이스(16)로부터 수신기(74)를 통하여 이미지 데이터를 수신할 수 있다. 대체적으로, 이동식 디바이스(15)는, 노트 관리 애플리케이션(78) 및/또는 다른 사용자 애플리케이션(77)에 의한 액세스 및 프로세싱을 위해 이미지 데이터를 데이터 저장장치(68)에 저장한다.
도 1b에 도시된 바와 같이, 사용자 애플리케이션(77)은 정보를 이동식 디바이스의 사용자에게 제시하기 위해 그래픽 사용자 인터페이스(GUI)(79)를 출력하는 운영 체제(64)의 커널 기능들을 호출할 수 있다. 아래에서 추가로 설명되는 바와 같이, 노트 관리 애플리케이션(78)은 GUI(79)를 구성하고 제어하여 물리적 노트(22)들을 나타내는 대응하는 디지털 노트들을 생성하고 조작하기 위한 개선된 전자 환경을 제공할 수 있다.
본 발명을 더 잘 이해하기 위하여, 도 1c는 노트 인식 시스템(100A)의 일 실시 형태를 도시한다. 시스템(100A)은 프로세싱 유닛(110), 하나 이상의 노트(120), 센서(130), 및 노트 콘텐트 저장소(140)를 포함할 수 있다. 프로세싱 유닛(110)은 하나 이상의 프로세서, 마이크로프로세서, 컴퓨터, 서버, 및 기타 컴퓨팅 디바이스를 포함할 수 있다. 센서(130), 예를 들어 이미지 센서는, 하나 이상의 노트(120)를 갖는 장면의 시각적 표현을 캡처하도록 구성된다. 센서(130)는 카메라, 비디오 레코더, 적외선 카메라, CCD(전하 결합 소자) 어레이, 스캐너, 등 중 적어도 하나를 포함할 수 있다. 시각적 표현은 이미지, 비디오, 일련의 이미지들(즉, 일정 시간 간격 내에 그리고/또는 순서대로 촬영된 다수의 이미지들), 이미지들의 집합, 등 중 적어도 하나를 포함할 수 있다. 프로세싱 유닛(110)은 센서(130)에 결합되어 시각적 표현을 수신하도록 구성된다. 일부 경우에, 프로세싱 유닛(110)은 센서(130)에 전자적으로 결합된다. 프로세싱 유닛(110)은 하나 이상의 노트(120) 중 적어도 하나를 시각적 표현으로부터 인식하도록 구성된다. 일부 실시 형태에서, 프로세싱 유닛(110)은 노트(들)의 대체적인 경계를 결정함으로써 노트(들)를 인식하도록 구성된다. 노트가 인식된 후, 프로세싱 유닛(110)은 노트의 콘텐트를 추출한다. 일부 경우에, 프로세싱 유닛(110)은 하나 초과의 노트의 콘텐트를 이들 노트들을 갖는 장면의 시각적 표현으로부터 인식하고 추출하도록 구성된다.
일부 경우에, 프로세싱 유닛(110)은 시스템(100A)을 위한 다양한 프로세스들을 구현하도록 (예컨대, 노트들을 인식하도록, 노트들을 추출하도록, 등) 비일시적 컴퓨터-판독가능 매체에 저장된 소프트웨어 또는 펌웨어를 실행할 수 있다. 노트 콘텐트 저장소(140)는 단일 컴퓨터, 서버, 저장 디바이스, 클라우드 서버 등에서 실행될 수 있다. 일부 다른 경우에, 노트 콘텐트 저장소(140)는 일련의 네트워크-접속 컴퓨터들, 서버들, 또는 디바이스들에서 실행될 수 있다. 일부 구현예에서, 노트 콘텐트 저장소(140)는 국부, 광역, 및 중심 계층들을 포함한, 데이터 저장 디바이스들의 계층(tier)들을 포함한다. 노트(120)들은 협업 공간에서 순서있게 또는 무작위로 배열된 물리적 노트들을 포함할 수 있고, 센서(130)는 협업 공간 내의 노트(120)들의 시각적 표현을 생성한다.
일부 실시 형태에서, 하나 이상의 노트(120) 중 적어도 일부는 노트의 식별, 인식, 및/또는 인증을 용이하게 할 수 있는 마크를 포함한다. 일부 실시 형태에서, 마크는 바코드, 컬러 블록, 컬러 코드, 기준 마크(fiduciary mark), 상표 로고, 점, 구멍, 등 중 적어도 하나를 포함한다. 노트 자체의 형상 및/또는 컬러는 노트의 식별, 인식, 및/또는 인증을 용이하게 하도록 마크로서 사용될 수 있다. 일부 경우에, 마크는 일정 패턴으로 배열된 복수의 요소들, 예를 들어, 직사각형 노트의 네 개의 코너에 있는 기준 마크들을 포함할 수 있다. 일부 다른 경우에, 마크는, 적어도 일부가 인증 정보를 제공하도록 사용될 수 있는 비가시적 요소들, 예를 들어 RFID(무선 주파수 식별) 태그(tag)들인, 복수의 요소들을 포함할 수 있다. 예로서, 마크는 재귀반사성 재료, 광학적 가변 잉크, 컬러 잉크, 적외선 흡수 잉크, 형광 잉크, 워터마크(watermark), 광택 재료, 훈색(iridescent) 재료, 다층 광학 필름, 콜로이드 결정, 천공된 마크, 구조화된 컬러, 플로팅(floating) 이미지, 윈도우 스레드(window thread), 등 중 적어도 하나를 이용하여 만들어질 수 있다. 일부 실시 형태에서, 프로세싱 유닛(110)은 먼저 노트 상의 마크를 시각적 표현으로부터 인식하고, 시각적 표현 상의 마크의 위치를 결정하고, 이어서 인식된 마크에 기초하여 노트의 콘텐트를 추출한다. 일부 경우에, 프로세싱 유닛(110)은 인식된 마크, 노트의 기지의 형상, 및 노트 상의 마크의 기지의 상대 위치에 기초하여 노트의 콘텐트를 추출한다. 일부 구현예에서, 프로세싱 유닛(110)은 노트의 콘텐트를 시각적 표현으로부터, 시각적 표현을 비일시적 저장장치에 저장하지 않고서 실시간으로 추출한다(즉, 데이터를 일시적 저장장치에서 프로세싱한다).
일부 구현예에서, 노트 인식 시스템(100A)은 어느 노트들이 인식되어 있는가 그리고/또는 어느 노트들의 콘텐트가 추출되었는가를 사용자에게 보여주기 위한 프레젠테이션 디바이스(도 1c에 도시되지 않음)를 포함할 수 있다. 게다가, 노트 인식 시스템(100A)은 프레젠테이션 디바이스를 통하여 추출된 콘텐트를 제시할 수 있다. 일부 실시 형태에서, 프로세싱 유닛(110)은 노트의 콘텐트를 추출하기 전에 노트를 인증할 수 있다. 노트가 인증된 경우, 콘텐트는 추출되어 노트 콘텐트 저장소(140)에 저장될 것이다. 일부 경우에, 프로세싱 유닛은 인증 정보를 노트 상의 마크로부터 추출할 수 있다. 그러한 경우에, 인증 정보는 마크 상에서 가시적 또는 비가시적일 수 있다. 예를 들어, 노트 상의 마크는 심벌, 예를 들어, 회사 로고, 매트릭스 코드, 바코드, 컬러 코드, 등을 포함할 수 있다. 다른 예로서, 노트 상의 마크는 적합한 판독기로 검색될 수 있는 정보를 저장하기 위한 태그를 포함할 수 있다. 예를 들어, 마크는 RFID 태그, 근접장 통신(NFC) 태그, 등을 포함할 수 있다.
일부 실시 형태에서, 센서(130)는 몇몇 노트(120)들을 갖는, 예를 들어 주변 환경과 함께 노트들의 사진 또는 비디오 클립을 촬영한, 장면의 제1 시각적 표현을 생성할 수 있다. 노트들의 각각은 마크를 갖는다. 프로세싱 유닛(110)은 마크들을 식별하고, 마크들의 위치를 결정하고, 마크들의 위치를 사용하여 노트(120)들을 갖는, 예를 들어 노트들의 확대된 이미지를 촬영한, 장면의 제2 시각적 표현을 생성하도록 센서(130)를 제어한다. 프로세싱 유닛(110)은 추가로 노트들의 콘텐트를 제2 시각적 표현으로부터 인식하고 추출할 수 있다.
도 1d는 노트 관리 시스템(100B)의 일 실시 형태를 도시한다. 본 실시 형태에서, 노트 관리 시스템(100B)은 프로세싱 유닛(110), 하나 이상의 노트(120), 하나 이상의 노트 소스(150), 및 노트 콘텐트 저장소(140)를 포함한다. 일부 경우에, 시스템(100B)은 프레젠테이션 디바이스(160)를 포함한다. 프로세싱 유닛(110), 노트(120), 및 노트 콘텐트 저장소(140)는 도 1a에 도시된 바와 같은 노트 인식 시스템(100A)을 위한 구성요소들과 유사하다. 노트 소스(150)는 물리적 노트들의 콘텐트를 제공하는 소스들, 예컨대 하나 이상의 노트를 갖는 장면의 시각적 표현, 및 디지털 노트들의 콘텐트를 제공하는 소스들, 예컨대 키보드로부터 입력된 데이터 스트림을 포함할 수 있다. 일부 실시 형태에서, 노트 관리 시스템(100B)은 제1 소스 및 제2 소스를 포함하고, 제1 소스는 하나 이상의 노트(120)를 갖는 장면의 시각적 표현이다. 제1 소스 및 제2 소스는 상이한 디바이스들에 의해 생성된다. 제2 소스는 텍스트 스트림, 이미지, 비디오, 파일, 및 데이터 입력 중 적어도 하나를 포함한다. 프로세싱 유닛(110)은 노트들 중 적어도 하나를 제1 소스로부터 인식하고 노트의 콘텐트를 추출하는데, 이는 노트 인식 시스템(100A)에서 논의된 바와 같다. 일부 경우에, 프로세싱 유닛(110)은 노트를 카테고리에 따라 라벨링한다. 프로세싱 유닛(110)은 노트를, 그의 특정 형상, 컬러, 콘텐트, 및/또는 노트의 다른 정보에 기초하여, 라벨링할 수 있다. 예를 들어, 각 그룹의 노트는 상이한 컬러(예컨대, 적색, 녹색, 황색, 등)를 가질 수 있다. 일부 경우에, 노트(120)는 하나 이상의 요소를 갖는 마크를 포함할 수 있고, 프로세싱 유닛(110)은 마크로부터 추출된 정보에 기초하여 노트를 라벨링할 수 있다.
일부 실시 형태에서, 노트 관리 시스템(100B)은 노트(120)의 콘텐트를 사용자에게 보여주도록 하나 이상의 프레젠테이션 디바이스(160)를 포함할 수 있다. 프레젠테이션 디바이스(160)는 전자적 어드레스가능 디스플레이, 예컨대 액정 디스플레이(LCD), 태블릿 컴퓨터, 프로젝터, 전자 게시판, 셀룰러 전화기, 랩톱, 등을 포함할 수 있지만 이로 제한되지 않는다. 일부 구현예에서, 프로세싱 유닛(110)은 콘텐트를 생성하여 다양한 포맷들로, 예를 들어, 행 및/또는 열로 그룹화된 목록, 흐름도, 등으로 노트들에 대해 프레젠테이션 디바이스(160) 상에 표시한다.
노트 인식 시스템 및 노트 관리 시스템의 다양한 구성요소들, 예컨대 프로세싱 유닛, 이미지 센서, 및 노트 콘텐트 저장소는 통신 인터페이스를 통하여 통신할 수 있다. 통신 인터페이스는 임의의 유선 또는 무선 단거리 및 장거리 통신 인터페이스들을 포함하지만 이로 제한되지 않는다. 단거리 통신 인터페이스는 예를 들어, 근거리 통신망(LAN), 공지된 통신 표준에 부합하는 인터페이스, 예컨대 블루투스(Bluetooth) 표준, IEEE 802 표준(예컨대, IEEE 802.11), 지그비(ZigBee) 또는 유사한 규격, 예컨대 IEEE 802.15.4 표준에 기초한 것들, 또는 다른 공개 또는 독점 무선 프로토콜일 수 있다. 장거리 통신 인터페이스는, 예를 들어, 광역망(WAN), 셀룰러 네트워크 인터페이스, 위성 통신 인터페이스 등일 수 있다. 통신 인터페이스는 사설 컴퓨터 네트워크, 예컨대 인트라넷(intranet) 내에, 또는 공공 컴퓨터 네트워크, 예컨대 인터넷 상에 있을 수 있다.
도 2a 내지 도 2c는 마크들을 갖는 노트들의 일부 예를 도시한다. 도 2a에 도시된 바와 같이, 노트(200A) 상의 마크는 2개의 요소들, 즉 요소(210A) 및 요소(220A)를 갖는다. 요소들(210A, 220A)은 상이한 크기, 형상, 상대 위치 및/또는 재료 조성을 가질 수 있다. 예를 들어, 요소(210A)는 노트에 대한 식별자로서 바코드이고, 요소(220A)는 노트의 경계를 결정하는 데 사용될 수 있는 재귀반사성 잉크의 작은 직사각형이다. 도 2b에 도시된 바와 같이, 노트(200B) 상의 마크는 4개의 요소들(210B, 220B, 230B, 240B)을 가질 수 있다. 4개의 요소들은 유사하거나 상이한 크기, 형상, 및 재료 조성을 가질 수 있다. 마크는 콘텐트 추출 및 향상에 사용될 수 있는 노트의 크기, 위치, 배향, 왜곡, 및 다른 특징들을 인식하는 데 사용될 수 있다. 도 2c에 도시된 바와 같이, 노트(200C) 상의 마크는 하나의 요소(210C)를 갖는다. 노트(200C)는 비직사각형 형상을 갖는다. 일부 실시 형태에서, 요소(210C)는, 예를 들어, 노트에 대한 유형 및 그룹화를 식별하기 위해 식별자를 포함한다. 일부 경우에, 식별자는 고유의 식별자이다.
도 3a는 노트 인식 및/또는 관리 시스템의 일 실시 형태의 흐름도를 도시한다. 초기에, 시스템은 복수의 노트들의 시각적 표현을 캡처한다(단계(310A)). 일부 실시 형태에서, 노트들은 물리적 노트들이고 하나 초과의 노트들을 한 번에 캡처하는 것이 더 효율적이다. 다음으로, 시스템은 복수의 노트들 중 하나를 시각적 표현으로부터 인식한다(단계(320A)). 예를 들어, 시스템은 노트 상의 특정 마크를 인식하고 이어서 노트의 대체적인 경계를 결정할 수 있다. 시스템은 복수의 노트들 중 하나의 콘텐트를 추출한다(단계(330A)). 일부 실시 형태에서, 시스템은 콘텐트를 추출하기 전에 이미지 변환을 시각적 표현의 적어도 일부에 적용할 수 있다. 일부 다른 실시 형태에서, 시스템은 이미지 향상 또는 다른 이미지 프로세싱 기술을 적용하여 추출된 콘텐트의 품질을 개선시킬 수 있다. 또 다른 실시 형태에서, 시스템은 추출된 콘텐트로부터 텍스트 및 도형을 추가로 인식할 수 있다.
도 3b는 노트들의 콘텐트를 추출하는 일 실시 형태의 흐름도를 도시한다. 먼저, 시각적 표현이 시스템에 의해 수신된다(단계(310B)). 시스템은 노트 상의 마크를 시각적 표현으로부터 인식한다(단계(320B)). 마크의 위치 및/또는 형상이 결정된 후, 시스템은 시각적 표현에 대한 기하학적 보정 및 크로핑(cropping)을 선택적으로 수행할 수 있다(단계(330B)). 노트 상의 마크의 인식된 위치 및/또는 형상에 기초하여, 노트의 대체적인 경계는 시각적 표현 상에서 인식된다(단계(340B)). 일부 실시 형태에서, 시스템은, 각각이 마크를 갖는 노트들의 동일한 세트의 2개의 시각적 표현들을 수신할 수 있다. 제1 시각적 표현은 노트들 상의 마크들을 캡처하기에 적합한 광원을 사용하여 취해진다. 예를 들어, 광원은 적외선 감응형 잉크를 이용한 마크들에 대한 적외선 광일 수 있다. 마크들은 제1 시각적 표현에서 인식되고, 마크들의 위치들이 결정된다. 제2 시각적 표현은 노트들의 세트를 캡처할 수 있고, 시스템은 각각의 노트의 대체적인 경계를 그의 마크에 기초하여 각각 결정할 수 있다. 노트의 대체적인 경계가 결정된 후, 시스템은 노트의 콘텐트를 추출한다(단계(350B)). 예를 들어, 시각적 표현이 이미지인 경우, 시스템은 노트의 결정된 대체적인 경계에 따라서 이미지를 크로핑할 수 있다. 선택적으로, 시스템은, 예를 들어 콘트라스트, 휘도를 변경함으로써 그리고/또는 다른 이미지 프로세싱 기술을 이용함으로써, 노트의 콘텐트를 향상할 수 있다(단계(360B)). 일부 경우에, 시스템은 노트를 그의 추출된 콘텐트를 표시하는 상태로 갱신할 수 있다.
도 3c는 노트를 인증하는 일 실시 형태의 흐름도를 도시한다. 먼저, 인증 신호를 노트 또는 한 더미의 노트들로부터 획득한다(단계(310C)). 일 실시 형태에서, 인증 정보는 노트 상의 마크의 시각적 구성요소(예컨대, 홀로그램)이고, 인증 신호는 노트를 캡처한 시각적 표현으로부터 시각적 구성요소를 추출함으로써 획득될 수 있다. 다른 실시 형태에서, 인증 정보는 노트 상의 마크의 전자 구성요소(예컨대, RFID 태그)에 포함되고, 인증 신호는 적합한 판독기(예컨대, RFID 판독기)를 사용하여 획득될 수 있다. 다음으로, 시스템은 인증 신호를 확인한다(단계(320C)). 시스템은 노트(들)가 인증되는 경우 노트 관리 애플리케이션을 시작하거나 노트(들)를 사용할 수 있다(단계(330C)).
도 4a 내지 도 4d는 마크를 갖는 노트의 콘텐트 추출 프로세스의 일례를 도시한다. 먼저, 도 4a에 도시된 바와 같이, 노트(410)의 시각적 표현(400)이 캡처된다. 노트(410)는 바코드, 컬러 코드, 매트릭스 코드, 컬러 블록, 등일 수 있는 마크(420)를 갖는다. 다음으로, 도 4b에 도시된 바와 같이, 시스템은 시각적 표현 상의 마크의 대체적인 경계(430)를 결정하고 마크(420)를 인식한다. 일부 경우에, 노트(410)는, 도 4c에 도시된 바와 같이, 시각적 표현(400)에서 경사져 있을 수 있다. 일부 다른 경우에, 시각적 표현(400)은 기하학적으로 왜곡되어 있을 수 있다. 시스템은 마크(420)의 결정된 대체적인 경계 또는 마크(420)의 일부를 사용하여 시각적 표현(400)에 대한 필요한 이미지 변환 및 보정을 결정하여 노트 콘텐트를 획득할 수 있다. 도 4d는 시스템이 사전 분석 및/또는 이미지 프로세싱 후에 노트(410)의 콘텐트를 추출하는 것을 도시한다.
도 5a 내지 도 5d는 재귀반사성 마크들을 갖는 복수의 노트들의 콘텐트 추출의 일 실시 형태를 도시한다. 노트 인식/관리 시스템은 3개의 노트(510A)들을 캡처하는 시각적 표현(500A)을 수신하고, 각각의 노트(510A)는 2개의 요소들 - 상부 좌측 코너 및 하부 우측 코너에 있는 2개의 재귀반사성 직사각형 태그 - 을 갖는 마크(520)를 갖는다. 재귀반사성 재료의 광학적 특성 때문에, 마크(520)는 노트의 나머지 부분보다 실질적으로 더 밝다. 도 5b는 마크(520)들이 노트들(510A) 및 배경보다 더욱 더 밝은 것을 도시한다. 일부 실시 형태에서, 시스템은 이미지 프로세싱을 이용하여 도 5a에 도시된 바와 같은 시각적 표현(500A)을 도 5b에 도시된 바와 같은 시각적 표현(500B)으로 변환시킬 수 있다. 일부 대안적인 실시 형태에서, 시스템은 상이한 광원, 예를 들어 섬광(flash light)으로 3개의 노트(510A)들의 다른 시각적 표현(500B)을 생성할 수 있다. 시스템은 시각적 표현(500B)으로부터 마크(520)들을 용이하게 식별할 수 있다. 마크(520)들이 식별된 후, 시스템은, 도 5c에 도시된 바와 같이, 노트(510C)들의 콘텐트를 추출할 수 있다. 일부 경우에, 시스템은 이미지 프로세싱 기술 (예컨대, 적응형 히스토그램 등화법(adaptive histogram equalization))을 이용하여, 도 5d에 도시된 바와 같이, 추출된 콘텐트(510D)를 개선시킬 수 있다.
도 6은 노트 인식 시스템(600)의 일 실시 형태의 모듈 다이어그램을 도시한다. 도시된 바와 같은 실시 형태에서, 시스템(600)은 노트 캡처링 모듈(620), 노트 인식 모듈(630), 및 노트 추출 모듈(640)을 포함한다. 노트 인식 시스템(600)의 다양한 구성요소들은 회로, 컴퓨터, 프로세서, 프로세싱 유닛, 마이크로프로세서, 및/또는 태블릿 컴퓨터를 포함하지만 그로 제한되지 않는 하나 이상의 컴퓨팅 디바이스에 의해 구현될 수 있다. 일부 경우에, 노트 인식 시스템(600)의 다양한 구성요소들은 공유된 컴퓨팅 디바이스 상에서 구현될 수 있다. 대안적으로, 시스템(600)의 구성요소는 다수의 컴퓨팅 디바이스들 상에서 구현될 수 있다. 일부 구현예에서, 시스템(600)의 다양한 모듈들 및 구성요소들은 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 조합으로서 구현될 수 있다. 일부 경우에, 노트 인식 시스템(600)의 다양한 구성요소들은 컴퓨팅 디바이스에 의해 실행되는 소프트웨어 또는 펌웨어에서 구현될 수 있다. 추가적으로, 시스템(600)의 다양한 구성요소들은 통신 인터페이스, 예를 들어 유선 또는 무선 인터페이스를 통하여 통신할 수 있거나 또는 그에 결합될 수 있다. 노트 캡처링 모듈(620)은 복수의 물리적 노트들의 시각적 표현을 캡처하도록 구성된다. 일부 실시 형태에서, 노트 캡처링 모듈(620)은 이미지 센서를 포함한다. 노트 인식 모듈(630)은 노트 캡처링 모듈(620)에 결합되고, 노트 인식 모듈은 캡처된 시각적 표현을 수신하도록 그리고 복수의 물리적 노트들 중 하나의 대체적인 경계를 캡처된 시각적 표현으로부터 결정하도록 구성된다. 일부 경우에, 노트 인식 모듈(630)은 인식된 물리적 노트를 나타내는 디지털 노트를 생성하도록 구성된다. 노트 추출 모듈(640)은 복수의 노트들 중 하나의 결정된 대체적인 경계에 기초하여 복수의 노트들 중 하나의 콘텐트를 캡처된 시각적 표현으로부터 추출하도록 구성된다. 일부 경우에, 노트 추출 모듈(640)은 추출된 콘텐트를 대응하는 디지털 노트와 연관시키도록 구성된다.
일부 실시 형태에서, 노트 인식 시스템(600)은 복수의 노트들을 인증하도록 구성된 노트 인증 모듈(650)을 포함한다. 일부 경우에, 복수의 노트들 중 적어도 일부는 마크를 갖는다. 마크는 노트의 인식, 추출 및 인증을 용이하게 하는 데 이용될 수 있다. 예를 들어, 노트 인증 모듈(650)은 인증 신호를 노트의 마크로부터 획득할 수 있고 인증 신호에 기초하여 인증을 확인할 수 있다. 일부 경우에, 노트 인증 모듈(650)은 노트 인식 모듈(630)에 결합되어 인증 정보를 노트 인식 모듈(630)에 제공한다. 일부 실시 형태에서, 노트 인식 모듈(630) 및 노트 추출 모듈(640)은 도 3b 및 관련 논의에서 예시된 단계들을 수행할 수 있다.
일부 실시 형태에서, 노트 인식/관리 시스템은, 컬러 인식, 형상 인식, 및 패턴 인식과 같은, 다수의 인식 알고리즘들을 이용하여 노트들을 인식할 수 있고 노트들의 콘텐트를 추출할 수 있다. 예를 들어, 시스템은 컬러 인식을 위해 노트들에 대응하는 관심 대상의 영역들을 식별하도록 RGB, HSV, CIELAB, 등과 같은 컬러 공간들을 이용할 수 있다. 일부 경우에, 형상 인식 알고리즘(예컨대, 허프 변환(Hough transform), 형상 컨텍스트(shape context) 등) 및 패턴 인식 알고리즘(예컨대, 서포트 벡터 머신(Support Vector Machine), 교차 상관(cross-correlation), 템플릿 매칭(template matching) 등)에 의해 각각 검출된 고유의 패턴들의 존재로 인해 노트들은 그들 형상이 추가로 구별된다. 이들 알고리즘은 노트들의 콘텐트의 다른 소스들 또는 시각적 표현에서 원하지 않는 객체들을 필터링하고 노트들에 대응하는 관심 대상의 이들 영역만을 남기는 것을 돕는다.
일 실시 형태에서, 노트는 형광 재료들, 예컨대 인쇄가능 잉크 또는 코팅가능 염료를 사용하여 만들어진 마크를 포함할 수 있다. 예를 들어, 로고와 같은 기준 마크는 노트의 기록 표면 상에 형광 잉크로 인쇄될 수 있다. 적절한 광원이 형광 재료를 여기할 것이다. 예를 들어, 이동식 핸드헬드 디바이스의 백색 LED(발광 다이오드)가, LED 출력 스펙트럼의 유의한 청색 파장 성분을 이용하여 형광발색단(fluorophore)을 여기시킬 수 있다. 일 실시 형태에서, 형광 염료가 노트들의 기록 표면 상에 코팅될 수 있거나 노트들을 제조하는 재료들 내에 포함될 수 있다. 본 실시 형태에서, 형광 염료는 브랜드 상품의 확인을 제공할 수 있을뿐만 아니라 노트 상의 기록 정보와 노트 자체의 배경 사이의 콘트라스트를 개선시킬 수도 있다. 그러한 마크는 이미지 센서에 의해 생성된 시각적 표현 상에서 노트들의 인식 및 분할(segmentation)을 용이하게 할 수 있다. 형광 염료를 갖는 종이로 제조된 노트들의 경우에, 캡처된 시각적 표현은 더 나은 가독성을 가질 수 있다. 형광 재료들에 대한 형광 파장 범위 및 여기 파장 범위에 따라서, 필터와 같은 부가적인 광학 기기가 검출을 개선시키기 위하여 이미지 센서(예컨대, 카메라)와 함께 사용될 수 있다.
도 7a는 노트 관리 시스템의 일 실시 형태의 흐름도를 도시한다. 먼저, 시스템은 복수의 노트들을 다수의 소스들로부터 수신한다(단계(710A)). 예를 들어, 노트 관리 시스템은 다수의 노트들의 이미지들의 세트를 카메라 또는 스마트폰으로부터 수신할 수 있고 원격 위치로부터 취해진 다수의 노트들의 이미지들의 다른 세트를 수신할 수 있다. 다른 예로서, 노트 관리 시스템은 비디오 기록 디바이스에 의해 취해진 다수의 노트들의 시각적 표현(예컨대, 비디오) 및 랩톱을 통하여 입력된 노트들의 텍스트 스트림을 수신할 수 있다. 일부 실시 형태에서, 다수의 소스들은 상이한 디바이스들, 예를 들어, 카메라들, 스캐너들, 컴퓨터들, 등으로부터 취해진 노트들의 콘텐트의 소스들이다. 이어서, 시스템은 복수의 노트들 중 하나를 인식한다(단계(720A)). 일부 경우에, 시스템은 복수의 물리적 노트들 중 하나를 나타내는 디지털 노트를 생성한다. 시스템은 복수의 노트들의 콘텐트를 추출한다(단계(730A)). 일부 경우에, 시스템은 추출된 콘텐트를 물리적 노트들을 나타내는 대응하는 디지털 노트들과 연관시킨다. 일부 실시 형태에서, 일부 노트들은 노트 상에 마크들(예컨대, 컬러 블록, 컬러 코드, 바코드, 등)을 포함하고, 노트들의 하나의 소스는 노트들 중 일부의 시각적 표현이다. 일부 경우에, 인식하는 단계는 노트들 상의 마크들을 시각적 표현으로부터 인식하는 단계를 포함하고, 이어서 인식된 마크들에 기초하여 노트들의 대체적인 경계들을 결정한다. 이들 경우들 중 일부에서, 추출하는 단계는 인식된 마크들, 노트들의 기지의 형상들, 및 노트들 상의 마크들의 기지의 상대 위치들에 기초하여 콘텐트를 추출하는 단계를 포함한다. 복수의 노트들의 콘텐트가 추출된 후, 일부 경우에, 시스템은 복수의 디지털 노트들의 각각을 고유의 식별자와 연관시킬 수 있다(단계(740A)). 시스템은 복수의 디지털 노트들의 각각을 카테고리에 따라 라벨링할 수 있다(단계(750A)). 라벨링 단계는 아래에서 더 상세히 논의된다. 추가로, 시스템은 노트들을 인식하기 전에 노트들을 먼저 인증할 수 있다. 선택적으로, 시스템은 복수의 노트들의 콘텐트를 디스플레이 상에 제시할 수 있다(단계(760A)). 일부 실시 형태에서, 시스템은 복수의 노트들의 추출된 콘텐트를 노트들의 카테고리들을 표시하는 출력 필드와 함께 제시할 수 있다. 일부 구현예에서, 시스템은 디지털 노트들을 제시할 때 디지털 노트들의 카테고리 정보를 사용할 수 있다(예컨대, 하나의 카테고리에 있는 노트들을 그룹으로 보여줄 수 있다).
도 7b는 시스템이 디지털 노트를 어떻게 라벨링할 수 있는가의 예를 도시한다. 일 실시 형태에서, 노트 관리 시스템은 검출된 신호에 기초하여 노트를 라벨링할 수 있다(710B). 예를 들어, 노트는 바코드를 포함하는 마크를 가질 수 있고; 시스템은 바코드를 판독할 수 있고 바코드에 기초하여 노트를 라벨링할 수 있다. 일부 경우에, 시스템은 인식된 마크에 기초하여 노트를 라벨링할 수 있다(720B). 예를 들어, 마크는 특정 그룹을 표시하는 아이콘, 로고, 또는 다른 그래픽 심벌을 포함할 수 있다. 시스템은 노트를 그의 콘텐트에 기초하여 추가로 라벨링할 수 있다(730B). 일부 경우에, 시스템은 이력 데이터 및/또는 예측 모델링에 기초하여 노트를 라벨링할 수 있다(740B). 일부 다른 경우에, 시스템은 사용자 입력에 의해 노트를 라벨링할 수 있다(750B). 노트 관리 시스템은 노트를 라벨링하기 위한 하나 이상의 접근법을 사용할 수 있다. 시스템은 또한, 도 7b에 나열되지 않은 노트를 라벨링하기 위한, 예를 들어 노트의 형상에 기초하여 노트를 라벨링하기 위한, 다른 접근법을 이용할 수 있다. 게다가, 일부 경우에, 노트는 하나 초과의 카테고리와 연관될 수 있다.
도 8은 노트 관리 시스템(800)의 모듈 다이어그램을 도시한다. 도시된 바와 같은 실시 형태에서, 시스템(800)은 하나 이상의 노트 소스(820), 노트 인식 모듈(830), 노트 추출 모듈(840), 및 노트 라벨링 모듈(860)을 포함한다. 노트 관리 시스템(800)의 다양한 구성요소들은 회로, 컴퓨터, 프로세서, 프로세싱 유닛, 마이크로프로세서, 및/또는 태블릿 컴퓨터를 포함하지만 그로 제한되지 않는 하나 이상의 컴퓨팅 디바이스에 의해 구현될 수 있다. 일부 경우에, 노트 관리 시스템(800)의 다양한 구성요소들은 공유된 컴퓨팅 디바이스 상에서 구현될 수 있다. 대안적으로, 시스템(800)의 구성요소는 다수의 컴퓨팅 디바이스들 상에서 구현될 수 있다. 일부 구현예에서, 시스템(800)의 다양한 모듈들 및 구성요소들은 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 조합으로서 구현될 수 있다. 일부 경우에, 노트 관리 시스템(800)의 다양한 구성요소들은 컴퓨팅 디바이스에 의해 실행되는 소프트웨어 또는 펌웨어에서 구현될 수 있다. 추가적으로, 시스템(800)의 다양한 구성요소들은 통신 인터페이스, 예를 들어 유선 또는 무선 인터페이스를 통하여 통신할 수 있거나 또는 그에 결합될 수 있다. 노트 소스(들)(820)는 복수의 노트들을 제공하도록 구성된다. 일부 실시 형태에서, 노트 소스(820)들 중 하나는 하나 이상의 물리적 노트들을 갖는 장면의 시각적 표현이다. 일부 경우에, 노트 소스(820)들은 노트들을 제공하기 위한 복수의 상이한 소스들, 예를 들어, 이미지들, 텍스트 스트림, 비디오 스트림, 등을 포함한다. 노트 인식 모듈(830)은 노트 소스(820)들에 결합되고, 노트 인식 모듈은 시각적 표현을 수신하도록, 물리적 노트의 대체적인 경계를 시각적 표현으로부터 결정하도록, 그리고 물리적 노트를 나타내는 디지털 노트를 생성하도록 구성된다. 노트 추출 모듈(840)은 복수의 물리적 노트들 중 하나의 결정된 대체적인 경계에 기초하여 복수의 물리적 노트들 중 하나의 콘텐트를 시각적 표현으로부터 추출하도록 그리고 추출된 콘텐트를 대응하는 디지털 노트들과 연관시키도록 구성된다. 노트 라벨링 모듈(860)은 복수의 디지털 노트들 중 하나를 카테고리에 따라 라벨링하도록 구성된다.
일부 실시 형태에서, 노트 관리 시스템(800)은 복수의 노트들을 인증하도록 구성된 노트 인증 모듈(850)을 포함한다. 일부 경우에, 복수의 노트들 중 적어도 일부는 마크를 갖는다. 마크는 노트의 인식, 추출 및 인증을 용이하게 하도록 이용될 수 있다. 예를 들어, 노트 인증 모듈(850)은 인증 신호를 노트의 마크로부터 획득할 수 있고 인증 신호에 기초하여 인증을 확인할 수 있다. 일부 경우에, 노트 인증 모듈(850)은 노트 인식 모듈(830)에 결합되어 인증 정보를 노트 인식 모듈(830)에 제공한다. 일부 실시 형태에서, 노트 인식 모듈(830) 및 노트 추출 모듈(840)은 도 3b 및 관련 논의에서 예시된 단계들을 수행할 수 있다. 일부 실시 형태에서, 노트 라벨링 모듈(860)은 도 7b 및 관련 논의에서 예시된 하나 이상의 라벨링 접근법을 사용할 수 있다. 일부 경우에, 노트가 하나 초과의 카테고리와 연관될 수 있다.
일부 실시 형태에서, 노트 관리 시스템(800)은 노트 프레젠테이션 모듈(870)을 포함할 수 있는데, 이는 복수의 디지털 노트들의 콘텐트를 모으도록 그리고 노트들의 카테고리에 따라서 복수의 노트들의 적어도 일부를 제시하도록 구성된다. 예를 들어, 노트 프레젠테이션 모듈(870)은 복수의 디지털 노트들을 동일한 카테고리를 갖는 그룹들로 정리할 수 있다. 다른 예로서, 노트 프레젠테이션 모듈(870)은 디지털 노트들의 상이한 그룹들의 연결 라인들 및/또는 화살표들을 부가할 수 있다.
예시적인 실시 형태
실시 형태 1. 노트들의 콘텐트를 수집하는 방법으로서,
센서에 의해, 복수의 물리적 노트들 - 물리적 노트들의 각각은 미리정의된 경계 및 인식가능 콘텐트를 가짐 - 을 갖는 장면의 시각적 표현을 캡처하는 단계;
프로세싱 유닛에 의해, 복수의 물리적 노트들 중 하나를 시각적 표현으로부터 인식하는 단계; 및
프로세싱 유닛에 의해, 복수의 물리적 노트들 중 하나의 인식가능 콘텐트를 추출하는 단계를 포함하는, 노트들의 콘텐트를 수집하는 방법.
실시 형태 2. 실시 형태 1에 있어서, 복수의 물리적 노트들 중 적어도 하나는 마크를 포함하는, 노트들의 콘텐트를 수집하는 방법.
실시 형태 3. 실시 형태 2에 있어서, 마크는 바코드, 컬러 블록, 컬러 코드, 패턴, 기준 마크, 상표 로고, 점, 및 구멍 중 적어도 하나를 포함하는, 노트들의 콘텐트를 수집하는 방법.
실시 형태 4. 실시 형태 2에 있어서, 인식하는 단계는 복수의 물리적 노트들 중 하나의 마크를 시각적 표현으로부터 인식하는 단계를 포함하는, 노트들의 콘텐트를 수집하는 방법.
실시 형태 5. 실시 형태 4에 있어서, 인식하는 단계는 인식된 마크에 기초하여 복수의 물리적 노트들 중 하나를 인식하는 단계를 포함하는, 노트들의 콘텐트를 수집하는 방법.
실시 형태 6. 실시 형태 4에 있어서, 인식하는 단계는 인식된 마크, 복수의 물리적 노트들 중 하나의 기지의 형상, 및 복수의 물리적 노트들 중 하나 상의 마크의 기지의 상대 위치에 기초하여 복수의 물리적 노트들 중 하나의 대체적인 경계를 결정하는 단계를 포함하는, 노트들의 콘텐트를 수집하는 방법.
실시 형태 7. 실시 형태 2에 있어서, 마크는 식별자를 포함하는, 노트들의 콘텐트를 수집하는 방법.
실시 형태 8. 실시 형태 7에 있어서, 식별자는 고유의 식별자인, 노트들의 콘텐트를 수집하는 방법.
실시 형태 9. 실시 형태 1 내지 실시 형태 8 중 어느 한 실시 형태에 있어서,
복수의 물리적 노트들 중 하나를 나타내는 디지털 노트를 생성하는 단계; 및
추출되는 대응하는 물리적 노트의 인식가능 콘텐트를 표시하는 상태로 디지털 노트를 갱신하는 단계를 추가로 포함하는, 노트들의 콘텐트를 수집하는 방법.
실시 형태 10. 실시 형태 1 내지 실시 형태 9 중 어느 한 실시 형태에 있어서, 프로세싱 유닛은 프로세서, 마이크로프로세서, 마이크로제어기, 컴퓨터, 및 컴퓨팅 디바이스 중 적어도 하나를 포함하는, 노트들의 콘텐트를 수집하는 방법.
실시 형태 11. 실시 형태 1 내지 실시 형태 10 중 어느 한 실시 형태에 있어서,
프레젠테이션 디바이스에 의해, 추출된 콘텐트를 사용자에게 제시하는 단계를 추가로 포함하는, 노트들의 콘텐트를 수집하는 방법.
실시 형태 12. 실시 형태 1 내지 실시 형태 11 중 어느 한 실시 형태에 있어서, 마크는 재귀반사성 재료, 광학적 가변 잉크, 컬러 잉크, 적외선 흡수 잉크, 형광 잉크, 워터마크, 광택 재료, 훈색 재료, 천공된 마크, 구조화된 컬러, 플로팅 이미지, 및 윈도우 스레드 중 적어도 하나를 이용하여 만들어지는, 노트들의 콘텐트를 수집하는 방법.
실시 형태 13. 실시 형태 2에 있어서, 마크는 심벌을 포함하는, 노트들의 콘텐트를 수집하는 방법.
실시 형태 14. 실시 형태 13에 있어서,
심벌을 시각적 표현으로부터 식별하는 단계를 추가로 포함하는, 노트들의 콘텐트를 수집하는 방법.
실시 형태 15. 실시 형태 13에 있어서,
심벌을 프로세싱 유닛에 의해 식별하는 단계, 및
프로세싱 유닛에 의해, 심벌에 기초하여 복수의 물리적 노트들 중 하나를 인증하는 단계를 추가로 포함하고,
추출하는 단계는 복수의 물리적 노트들 중 하나가 인증된 경우 복수의 물리적 노트들 중 하나의 콘텐트를 추출하는 단계를 포함하는, 노트들의 콘텐트를 수집하는 방법.
실시 형태 16. 실시 형태 1 내지 실시 형태 15 중 어느 한 실시 형태에 있어서, 시각적 표현은 이미지 또는 비디오인, 노트들의 콘텐트를 수집하는 방법.
실시 형태 17. 노트 인식 시스템으로서,
복수의 물리적 노트들 - 물리적 노트들의 각각은 미리정의된 경계 및 인식가능 콘텐트를 가짐 - 을 갖는 장면의 시각적 표현을 캡처하도록 구성된 센서;
센서에 결합되고, 캡처된 시각적 표현을 수신하도록 그리고 복수의 물리적 노트들 중 하나의 대체적인 경계를 캡처된 시각적 표현으로부터 결정하도록 구성된 노트 인식 모듈; 및
복수의 물리적 노트들 중 하나의 결정된 대체적인 경계에 기초하여 복수의 물리적 노트들 중 하나의 인식가능 콘텐트를 캡처된 시각적 표현으로부터 추출하도록 구성된 노트 추출 모듈을 포함하는, 노트 인식 시스템.
실시 형태 18. 실시 형태 17에 있어서, 복수의 물리적 노트들 중 적어도 하나는 마크를 포함하는, 노트 인식 시스템.
실시 형태 19. 실시 형태 18에 있어서, 마크는 바코드, 컬러 블록, 컬러 코드, 패턴, 기준 마크, 상표 로고, 점, 및 구멍 중 적어도 하나를 포함하는, 노트 인식 시스템.
실시 형태 20. 실시 형태 18에 있어서, 노트 인식 모듈은 복수의 물리적 노트들 중 하나의 마크를 시각적 표현으로부터 인식하도록 추가로 구성된, 노트 인식 시스템.
실시 형태 21. 실시 형태 20에 있어서, 노트 인식 모듈은 인식된 마크에 기초하여 복수의 물리적 노트들 중 하나를 인식하도록 추가로 구성된, 노트 인식 시스템.
실시 형태 22. 실시 형태 20에 있어서, 노트 인식 모듈은 인식된 마크, 복수의 물리적 노트들 중 하나의 기지의 형상, 및 복수의 물리적 노트들 중 하나 상의 마크의 기지의 상대 위치에 기초하여 복수의 물리적 노트들 중 하나의 대체적인 경계를 결정하도록 추가로 구성된, 노트 인식 시스템.
실시 형태 23. 실시 형태 18에 있어서, 마크는 식별자를 포함하는, 노트 인식 시스템.
실시 형태 24. 실시 형태 23에 있어서, 식별자는 고유의 식별자인, 노트 인식 시스템.
실시 형태 25. 실시 형태 17 내지 실시 형태 24 중 어느 한 실시 형태에 있어서, 노트 추출 모듈은 복수의 물리적 노트들 중 하나를 나타내는 디지털 노트를 생성하도록 그리고 추출되는 대응하는 물리적 노트의 인식가능 콘텐트를 표시하는 상태로 디지털 노트를 갱신하도록 추가로 구성된, 노트 인식 시스템.
실시 형태 26. 실시 형태 17 내지 실시 형태 25 중 어느 한 실시 형태에 있어서, 프로세싱 유닛은 프로세서, 마이크로프로세서, 마이크로제어기, 컴퓨터, 및 컴퓨팅 디바이스 중 적어도 하나를 포함하는, 노트 인식 시스템.
실시 형태 27. 실시 형태 17 내지 실시 형태 26 중 어느 한 실시 형태에 있어서,
추출된 콘텐트를 사용자에게 제시하도록 구성된 노트 프레젠테이션 모듈을 추가로 포함하는, 노트 인식 시스템.
실시 형태 28. 실시 형태 17 내지 실시 형태 27 중 어느 한 실시 형태에 있어서, 마크는 재귀반사성 재료, 광학적 가변 잉크, 컬러 잉크, 적외선 흡수 잉크, 형광 잉크, 워터마크, 광택 재료, 훈색 재료, 천공된 마크, 구조화된 컬러, 플로팅 이미지, 및 윈도우 스레드 중 적어도 하나를 이용하여 만들어지는, 노트 인식 시스템.
실시 형태 29. 실시 형태 18에 있어서, 마크는 심벌을 포함하는, 노트 인식 시스템.
실시 형태 30. 실시 형태 29에 있어서, 노트 인식 모듈은 심벌을 시각적 표현으로부터 식별하도록 추가로 구성된, 노트 인식 시스템.
실시 형태 31. 실시 형태 29에 있어서,
노트 인식 시스템은 노트들을 인증하도록 구성된 노트 인증 모듈을 추가로 포함하고,
노트 인식 모듈은 심벌을 식별하도록 추가로 구성되고,
노트 인증 모듈은 심벌에 기초하여 복수의 물리적 노트들 중 하나를 인증하도록 추가로 구성되고,
노트 추출 모듈은 복수의 물리적 노트들 중 하나가 인증된 경우 복수의 물리적 노트들 중 하나의 인식가능 콘텐트를 추출하도록 추가로 구성된, 노트 인식 시스템.
실시 형태 32. 실시 형태 17 내지 실시 형태 31 중 어느 한 실시 형태에 있어서, 시각적 표현은 이미지 또는 비디오인, 노트 인식 시스템.
그러한 실시 형태들이 본 발명의 다양한 태양들의 설명을 용이하게 하기 위해 상세히 기술되어 있기 때문에, 본 발명이 전술된 특정의 실시예 및 실시 형태로 제한되는 것으로 간주되어서는 안된다. 오히려, 본 발명은 첨부된 청구범위 및 그 등가물에 의해 한정되는 바와 같은 본 발명의 사상 및 범주 내에 속하는 다양한 변형, 등가의 공정, 및 대안적인 디바이스를 포함한 본 발명의 모든 태양들을 포함하는 것으로 이해되어야 한다.
Claims (15)
- 노트들의 콘텐트를 수집하는 방법으로서,
컴퓨팅 디바이스의 센서에 의해, 복수의 물리적 노트들 - 상기 물리적 노트들의 각각은 미리정의된 경계 및 인식가능 콘텐트를 가지는 별개의 물리적 객체를 포함함 - 을 갖는 장면의 시각적 표현을 포함하는 이미지를 캡처하는 단계;
상기 컴퓨팅 디바이스의 프로세싱 유닛에 의해, 상기 시각적 표현으로부터 상기 복수의 물리적 노트들 중 하나의 물리적 노트의 미리정의된 경계를 식별하도록 상기 이미지와 연관된 이미지 데이터를 처리하는 단계;
상기 프로세싱 유닛에 의해 그리고 적어도 부분적으로 상기 미리정의된 경계의 식별을 기초로 하여, 상기 시각적 표현으로부터 상기 복수의 물리적 노트들 중 상기 하나의 물리적 노트의 배경과 상기 인식가능 콘텐트 사이의 콘트라스트에 적어도 부분적으로 기초하여 그리고 상기 복수의 물리적 노트들 중 상기 하나의 물리적 노트의 미리정의된 경계 내에서 상기 인식가능 콘텐트를 상기 이미지 데이터로부터 추출하는 단계; 및
상기 인식가능 콘텐트를 상기 복수의 물리적 노트들 중 상기 하나의 물리적 노트를 나타내는 디지털 노트와 연관시키는 단계를 포함하는, 노트들의 콘텐트를 수집하는 방법. - 제1항에 있어서, 상기 복수의 물리적 노트들 중 적어도 하나는 마크를 포함하는, 노트들의 콘텐트를 수집하는 방법.
- 제2항에 있어서,
상기 처리하는 단계는, 상기 시각적 표현으로부터 상기 복수의 물리적 노트들 중 상기 하나의 물리적 노트의 마크를 인식하도록 상기 이미지 데이터를 처리하는 단계를 포함하는, 노트들의 콘텐트를 수집하는 방법. - 제3항에 있어서,
상기 처리하는 단계는, 상기 인식된 마크에 기초하여 상기 복수의 물리적 노트들 중 상기 하나의 물리적 노트의 미리정의된 경계를 식별하도록 상기 이미지 데이터를 처리하는 단계를 포함하는, 노트들의 콘텐트를 수집하는 방법. - 제3항에 있어서,
상기 처리하는 단계는, 상기 인식된 마크, 상기 복수의 노트들 중 상기 하나의 물리적 노트의 기지의 형상, 및 상기 복수의 노트들 중 상기 하나의 물리적 노트 상의 상기 마크의 기지의 상대 위치에 기초하여 상기 복수의 물리적 노트들 중 상기 하나의 물리적 노트의 미리정의된 경계를 식별하도록 상기 이미지 데이터를 처리하는 단계를 포함하는, 노트들의 콘텐트를 수집하는 방법. - 노트 인식 디바이스로서,
복수의 물리적 노트들 - 상기 물리적 노트들의 각각은 미리정의된 경계 및 인식가능 콘텐트를 가지는 별개의 물리적 객체를 포함함 - 을 갖는 장면의 시각적 표현을 포함하는 이미지를 캡처하도록 구성된 센서;
상기 센서에 결합되고, 상기 시각적 표현으로부터 상기 복수의 물리적 노트들 중 하나의 물리적 노트의 미리정의된 경계를 식별하도록 상기 이미지와 연관된 이미지 데이터를 처리하도록 구성된 노트 인식 모듈; 및
상기 시각적 표현으로부터 상기 복수의 물리적 노트들 중 상기 하나의 물리적 노트의 배경과 상기 인식가능 콘텐트 사이의 콘트라스트에 적어도 부분적으로 기초하여 그리고 상기 복수의 물리적 노트들 중 상기 하나의 물리적 노트의 미리정의된 경계 내에서 상기 인식가능 콘텐트를 상기 이미지 데이터로부터 추출하도록 구성된 노트 추출 모듈을 포함하고,
상기 노트 추출 모듈은 상기 인식가능 콘텐트를 상기 복수의 물리적 노트들 중 상기 하나의 물리적 노트를 나타내는 디지털 노트와 연관시키는, 노트 인식 디바이스. - 제6항에 있어서, 상기 복수의 물리적 노트들 중 적어도 하나는 마크를 포함하는, 노트 인식 디바이스.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361807516P | 2013-04-02 | 2013-04-02 | |
US61/807,516 | 2013-04-02 | ||
PCT/US2014/032382 WO2014165445A1 (en) | 2013-04-02 | 2014-03-31 | Systems and methods for note recognition |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150126723A KR20150126723A (ko) | 2015-11-12 |
KR101650833B1 true KR101650833B1 (ko) | 2016-08-24 |
Family
ID=51620888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020157030932A KR101650833B1 (ko) | 2013-04-02 | 2014-03-31 | 노트 인식을 위한 시스템 및 방법 |
Country Status (7)
Country | Link |
---|---|
US (2) | US9070036B2 (ko) |
EP (1) | EP2981932B1 (ko) |
JP (1) | JP6159015B2 (ko) |
KR (1) | KR101650833B1 (ko) |
CN (1) | CN105144198B (ko) |
TW (1) | TWI620078B (ko) |
WO (1) | WO2014165445A1 (ko) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102234688B1 (ko) * | 2013-04-02 | 2021-03-31 | 쓰리엠 이노베이티브 프로퍼티즈 컴파니 | 노트를 관리하기 위한 시스템 및 방법 |
US10127196B2 (en) | 2013-04-02 | 2018-11-13 | 3M Innovative Properties Company | Systems and methods for managing notes |
TWI637325B (zh) * | 2013-10-16 | 2018-10-01 | 3M新設資產公司 | 使用多顏色通道無記號偵測之便箋辨識與管理 |
EP3058514B1 (en) | 2013-10-16 | 2020-01-08 | 3M Innovative Properties Company | Adding/deleting digital notes from a group |
US10175845B2 (en) | 2013-10-16 | 2019-01-08 | 3M Innovative Properties Company | Organizing digital notes on a user interface |
US9274693B2 (en) | 2013-10-16 | 2016-03-01 | 3M Innovative Properties Company | Editing digital notes representing physical notes |
EP3058511A4 (en) | 2013-10-16 | 2017-11-08 | 3M Innovative Properties Company | Note recognition and association based on grouping |
TWI691854B (zh) * | 2013-10-16 | 2020-04-21 | 美商3M新設資產公司 | 用於建立及操作軟體便箋之方法及運算裝置 |
US9292186B2 (en) | 2014-01-31 | 2016-03-22 | 3M Innovative Properties Company | Note capture and recognition with manual assist |
US11334228B1 (en) * | 2015-03-30 | 2022-05-17 | Evernote Corporation | Dynamic targeting of preferred objects in video stream of smartphone camera |
US10228775B2 (en) * | 2016-01-22 | 2019-03-12 | Microsoft Technology Licensing, Llc | Cross application digital ink repository |
US9950345B2 (en) * | 2016-09-15 | 2018-04-24 | Lockheed Martin Corporation | Systems and methods for shear and warp detection and correction |
US10417515B2 (en) * | 2017-01-09 | 2019-09-17 | Microsoft Technology Licensing, Llc | Capturing annotations on an electronic display |
CN110059735A (zh) * | 2019-04-04 | 2019-07-26 | 东北大学 | 一种基于霍夫变换的可视化时序模式匹配方法 |
CN111754741A (zh) * | 2020-03-31 | 2020-10-09 | 安庆美特优智能科技有限公司 | 直线多选开关及包括该开关的智能便签*** |
US11651332B2 (en) * | 2020-04-28 | 2023-05-16 | International Business Machines Corporation | Distributed collaborative environment using physical notes |
USD918944S1 (en) | 2020-05-01 | 2021-05-11 | 3M Innovative Properties Company | Display screen with transitional graphical user interface |
WO2022224060A1 (en) * | 2021-04-23 | 2022-10-27 | 3M Innovative Properties Company | Systems and methods for managing digital notes for project planning |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060039045A1 (en) * | 2004-08-19 | 2006-02-23 | Fuji Xerox Co., Ltd. | Document processing device, document processing method, and storage medium recording program therefor |
US20130054636A1 (en) * | 2011-08-30 | 2013-02-28 | Ding-Yuan Tang | Document Journaling |
Family Cites Families (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5898434A (en) | 1991-05-15 | 1999-04-27 | Apple Computer, Inc. | User interface system having programmable user interface elements |
US5465165A (en) | 1991-06-11 | 1995-11-07 | Canon Kabushiki Kaisha | Image processing system |
FR2681454B1 (fr) * | 1991-09-16 | 1995-08-18 | Aerospatiale | Procede et dispositif de traitement d'informations alphanumeriques et graphiques pour la constitution d'une banque de donnees. |
JPH08161473A (ja) * | 1994-12-01 | 1996-06-21 | Fuji Xerox Co Ltd | 付箋情報処理装置 |
US6650761B1 (en) | 1999-05-19 | 2003-11-18 | Digimarc Corporation | Watermarked business cards and methods |
JP2001521250A (ja) | 1997-10-27 | 2001-11-06 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 情報の検索および検索システム |
US6351559B1 (en) * | 1998-12-22 | 2002-02-26 | Matsushita Electric Corporation Of America | User-enclosed region extraction from scanned document images |
US7406214B2 (en) * | 1999-05-19 | 2008-07-29 | Digimarc Corporation | Methods and devices employing optical sensors and/or steganography |
US7760905B2 (en) | 1999-06-29 | 2010-07-20 | Digimarc Corporation | Wireless mobile phone with content processing |
US7421285B1 (en) * | 1999-06-04 | 2008-09-02 | Ip Holdings, Inc. | Method for providing gastronomic information and instruction with an internet server using mobile communication or computing devices and intelligent appliances |
EP1182861A3 (en) | 2000-08-17 | 2003-04-16 | Eastman Kodak Company | Method, apparatus and system for organizing captured digital images |
US7343415B2 (en) | 2001-03-29 | 2008-03-11 | 3M Innovative Properties Company | Display of software notes indicating that content from a content provider site is available for display |
GB2384067A (en) * | 2002-01-10 | 2003-07-16 | Hewlett Packard Co | Method of associating two record sets comprising a set of processor states and a set of notes |
US7573598B2 (en) | 2002-01-16 | 2009-08-11 | Infoprint Solutions Company, Llc | Method and apparatus for selectively copying documents with handwritten notations |
FR2840093B1 (fr) * | 2002-05-27 | 2006-02-10 | Real Eyes 3D | Procede de numerisation par camera avec correction de la deformation et amelioration de la resolution |
US7072512B2 (en) | 2002-07-23 | 2006-07-04 | Microsoft Corporation | Segmentation of digital video and images into continuous tone and palettized regions |
US20040017400A1 (en) | 2002-07-26 | 2004-01-29 | Ly Eric Thichvi | Method for project planning |
WO2004068300A2 (en) | 2003-01-25 | 2004-08-12 | Purdue Research Foundation | Methods, systems, and data structures for performing searches on three dimensional objects |
US7992853B2 (en) * | 2003-06-07 | 2011-08-09 | Opex Corporation | Method and apparatus for processing mail to obtain image data of contents |
US20050091578A1 (en) | 2003-10-24 | 2005-04-28 | Microsoft Corporation | Electronic sticky notes |
US7561310B2 (en) | 2003-12-17 | 2009-07-14 | Market Hatch Co., Inc. | Method and apparatus for digital scanning and archiving |
US8146156B2 (en) * | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
US20060077468A1 (en) | 2004-10-12 | 2006-04-13 | Xerox Corporation | System and method for smart color halftoning |
JP4895340B2 (ja) | 2005-03-31 | 2012-03-14 | キヤノン株式会社 | 情報処理装置およびその方法 |
JP2007004621A (ja) * | 2005-06-24 | 2007-01-11 | Fuji Xerox Co Ltd | 文書管理支援装置、文書管理支援方法およびプログラム |
US8732570B2 (en) * | 2005-09-08 | 2014-05-20 | Ricoh Co. Ltd. | Non-symbolic data system for the automated completion of forms |
US8024653B2 (en) | 2005-11-14 | 2011-09-20 | Make Sence, Inc. | Techniques for creating computer generated notes |
US20110285123A1 (en) | 2006-01-23 | 2011-11-24 | Cynthia Sue Hasko Wittke | Pre-Printed Sticky Notes and Methods of Use |
US7471209B2 (en) * | 2006-02-02 | 2008-12-30 | Intuit Inc. | RFID whiteboard |
JP4576358B2 (ja) * | 2006-06-27 | 2010-11-04 | 富士通株式会社 | 文字画像処理装置及び文字画像処理方法 |
JP4663013B2 (ja) | 2006-06-29 | 2011-03-30 | 富士通株式会社 | 色類別方法、色認識方法及び色認識装置 |
ES2400064T3 (es) | 2006-07-19 | 2013-04-05 | B-Core Inc. | Método de reconocimiento, codigos ópticos y equipo de reconocimiento del codigo óptico |
US7873213B2 (en) | 2006-09-26 | 2011-01-18 | Sharp Laboratories Of America, Inc. | Systems and methods for color-deficient image enhancement |
AU2006252025B2 (en) | 2006-12-13 | 2012-10-04 | Canon Kabushiki Kaisha | Recognition of parameterised shapes from document images |
JP2009020813A (ja) | 2007-07-13 | 2009-01-29 | Three M Innovative Properties Co | タグおよびそれを用いた物品認識システム |
WO2009040922A1 (ja) * | 2007-09-27 | 2009-04-02 | Glory Ltd. | 紙葉類処理装置 |
US20090086269A1 (en) * | 2007-09-28 | 2009-04-02 | Kyocera Mita Corporation | Image Forming Apparatus and Image Forming System |
US8069173B2 (en) | 2007-11-12 | 2011-11-29 | Canon Kabushiki Kaisha | Information processing apparatus and method of controlling the same, information processing method, and computer program |
JP5129648B2 (ja) * | 2008-05-13 | 2013-01-30 | 株式会社Pfu | 画像読取装置およびマーク検出方法 |
US8543926B2 (en) | 2008-06-10 | 2013-09-24 | Microsoft Corporation | Managing item access in a collaborative workspace |
US9191238B2 (en) | 2008-07-23 | 2015-11-17 | Yahoo! Inc. | Virtual notes in a reality overlay |
US8520979B2 (en) | 2008-08-19 | 2013-08-27 | Digimarc Corporation | Methods and systems for content processing |
US8385971B2 (en) | 2008-08-19 | 2013-02-26 | Digimarc Corporation | Methods and systems for content processing |
US8070061B2 (en) | 2008-10-21 | 2011-12-06 | Habraken G Wouter | Card credential method and system |
US8096477B2 (en) | 2009-01-27 | 2012-01-17 | Catch, Inc. | Semantic note taking system |
JP2010244210A (ja) * | 2009-04-02 | 2010-10-28 | Nippon Telegr & Teleph Corp <Ntt> | 電子メール作成装置および電子メール作成方法 |
JPWO2011004612A1 (ja) | 2009-07-10 | 2012-12-20 | パナソニック株式会社 | マーカ表示制御装置、集積回路、及び、マーカ表示制御方法 |
JP5212334B2 (ja) | 2009-10-22 | 2013-06-19 | コニカミノルタホールディングス株式会社 | 会議支援システム |
JP2011097318A (ja) * | 2009-10-29 | 2011-05-12 | Fujitsu Ltd | 画像処理装置、画像処理方法、および画像処理プログラム |
EP2323069A2 (en) | 2009-11-17 | 2011-05-18 | Samsung Electronics Co., Ltd. | Method, device and system for content based image categorization field |
US8558913B2 (en) | 2010-02-08 | 2013-10-15 | Apple Inc. | Capture condition selection from brightness and motion |
US8600167B2 (en) | 2010-05-21 | 2013-12-03 | Hand Held Products, Inc. | System for capturing a document in an image signal |
US9406132B2 (en) | 2010-07-16 | 2016-08-02 | Qualcomm Incorporated | Vision-based quality metric for three dimensional video |
US8542889B2 (en) * | 2010-10-19 | 2013-09-24 | Apple Inc. | Systems, methods, and computer-readable media for capturing a signature for use in a document |
US9349063B2 (en) * | 2010-10-22 | 2016-05-24 | Qualcomm Incorporated | System and method for capturing token data with a portable computing device |
WO2012070930A1 (en) | 2010-11-24 | 2012-05-31 | Greenflower Intercode Holding B.V. | User -friendly method and system for compiling a unique sample code for a digital sample with the help of a user - interface |
US9858552B2 (en) * | 2011-06-15 | 2018-01-02 | Sap Ag | Systems and methods for augmenting physical media from multiple locations |
US8917412B2 (en) * | 2011-06-16 | 2014-12-23 | Ricoh Company, Ltd. | System, apparatus and method for consumption management |
US8380040B2 (en) | 2011-07-18 | 2013-02-19 | Fuji Xerox Co., Ltd. | Systems and methods of capturing and organizing annotated content on a mobile device |
US8655068B1 (en) | 2011-10-07 | 2014-02-18 | LI Creative Technologies, Inc. | Color correction system |
CN104145474A (zh) | 2011-12-07 | 2014-11-12 | 英特尔公司 | 引导式图像拍摄 |
JP5783031B2 (ja) * | 2011-12-22 | 2015-09-24 | コニカミノルタ株式会社 | 画像形成システム及びプログラム |
US20130227476A1 (en) | 2012-02-24 | 2013-08-29 | Nokia Corporation | Method, apparatus and computer program product for management of information on a graphic user interface |
US8687104B2 (en) | 2012-03-27 | 2014-04-01 | Amazon Technologies, Inc. | User-guided object identification |
US20130258122A1 (en) | 2012-03-27 | 2013-10-03 | Research In Motion Limited | Method and device for motion enhanced image capture |
US10681304B2 (en) | 2012-06-08 | 2020-06-09 | Apple, Inc. | Capturing a panoramic image using a graphical user interface having a scan guidance indicator |
US8953876B2 (en) | 2012-08-22 | 2015-02-10 | Facebook, Inc. | Creation of a color profile of an image |
-
2014
- 2014-03-31 JP JP2016506351A patent/JP6159015B2/ja active Active
- 2014-03-31 EP EP14779828.4A patent/EP2981932B1/en active Active
- 2014-03-31 US US14/231,072 patent/US9070036B2/en active Active
- 2014-03-31 KR KR1020157030932A patent/KR101650833B1/ko active IP Right Grant
- 2014-03-31 CN CN201480020249.7A patent/CN105144198B/zh active Active
- 2014-03-31 WO PCT/US2014/032382 patent/WO2014165445A1/en active Application Filing
- 2014-04-01 TW TW103112213A patent/TWI620078B/zh active
-
2015
- 2015-05-28 US US14/724,358 patent/US9378426B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060039045A1 (en) * | 2004-08-19 | 2006-02-23 | Fuji Xerox Co., Ltd. | Document processing device, document processing method, and storage medium recording program therefor |
US20130054636A1 (en) * | 2011-08-30 | 2013-02-28 | Ding-Yuan Tang | Document Journaling |
Also Published As
Publication number | Publication date |
---|---|
WO2014165445A1 (en) | 2014-10-09 |
CN105144198B (zh) | 2021-09-14 |
KR20150126723A (ko) | 2015-11-12 |
US9070036B2 (en) | 2015-06-30 |
EP2981932A4 (en) | 2017-01-11 |
TW201445337A (zh) | 2014-12-01 |
TWI620078B (zh) | 2018-04-01 |
US20150262023A1 (en) | 2015-09-17 |
EP2981932A1 (en) | 2016-02-10 |
US20140294236A1 (en) | 2014-10-02 |
CN105144198A (zh) | 2015-12-09 |
JP2016525729A (ja) | 2016-08-25 |
EP2981932B1 (en) | 2018-11-14 |
US9378426B2 (en) | 2016-06-28 |
JP6159015B2 (ja) | 2017-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101650833B1 (ko) | 노트 인식을 위한 시스템 및 방법 | |
KR102234688B1 (ko) | 노트를 관리하기 위한 시스템 및 방법 | |
US10127196B2 (en) | Systems and methods for managing notes | |
US9779295B2 (en) | Systems and methods for note content extraction and management using segmented notes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190718 Year of fee payment: 4 |