KR20100119558A - 디지털 카메라들에서의 이미지 데이터 추출 및 어셈블리에 대한 시스템과 방법 - Google Patents
디지털 카메라들에서의 이미지 데이터 추출 및 어셈블리에 대한 시스템과 방법 Download PDFInfo
- Publication number
- KR20100119558A KR20100119558A KR1020107019152A KR20107019152A KR20100119558A KR 20100119558 A KR20100119558 A KR 20100119558A KR 1020107019152 A KR1020107019152 A KR 1020107019152A KR 20107019152 A KR20107019152 A KR 20107019152A KR 20100119558 A KR20100119558 A KR 20100119558A
- Authority
- KR
- South Korea
- Prior art keywords
- digital image
- data
- digital
- symbol data
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000013075 data extraction Methods 0.000 title abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 29
- 239000002131 composite material Substances 0.000 claims abstract description 20
- 239000000284 extract Substances 0.000 claims description 7
- 238000007619 statistical method Methods 0.000 claims 3
- 150000001875 compounds Chemical class 0.000 description 6
- 238000000605 extraction Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Character Input (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
디지털 카메라들에서의 데이터 추출 및 어셈블리에 대한 시스템과 방법이 제공된다. 본 시스템 및 방법은, 다수의 카메라 이미지들로부터의 텍스트 및 다른 캐릭터 데이터를 포함하여 심볼 데이터를 추출하는 능력, 및 그 추출된 심볼 데이터를 어셈블링하여 복합 문서로 만드는 능력을 제공한다. 본 시스템 및 방법은, 제한된 자원들을 이용하여 이러한 데이터 추출을 수행할 수 있으며, 따라서, 제한된 메모리 및 프로세싱 능력을 갖는 디지털 카메라들에서 구현될 수 있다.
Description
본 발명은 일반적으로 디지털 카메라들에 관한 것으로, 더 구체적으로는, 디지털 카메라들에서의 이미지 프로세싱에 관한 것이다.
디지털 이미징 시스템들은, 사진술 및 카메라들에서 혁명을 일으켰다. 디지털 카메라는, 필름이 전자 센서로 대체되는 것을 제외하고는 필름 카메라와 유사하다. 센서는, 각각의 검출기에 입사하는 빛에 비례하는 전기 신호를 발생시키는 광검출기(photo detector)들의 배열로 구성된다. 디지털 카메라는, 각 검출기로부터의 데이터를 처리하고, 그 데이터를 결합하여 디지털 이미지를 형성한다. 그 후에, 디지털 이미지는 원하는 대로, 더 처리되거나, 전송되거나, 또는 프린팅될 수 있다.
통상적으로, 현대의 디지털 카메라들은, 이미지 데이터에 대한 다양한 상이한 타입들의 프로세싱을 수행하는 능력을 포함한다. 프로세싱 중 한 가지 타입은, 통상적으로 이미지 스티칭(stitching) 또는 포토 스티칭이라고 칭해진다. 이미지 스티칭에서, 다수의 디지털 이미지들은, 와이드 앵글 파노라마 이미지와 같은 더 큰 이미지를 생산하기 위해서 결합된다. 통상적으로 이미지 스티칭은, 카메라가 트랜스레이션(translation)과 로테이션(rotation)을 위해 이미지들을 분석하는 것, 및 스티칭된 부분들이 쉽게 눈에 띄는 것을 피하기 위해 컬러 콘트라스트 및 밝기에 대해 이미지들의 인접 영역들을 매칭(match)시키는 것을 필요로 한다. 카메라는 다수의 이미지들의 데이터를 저장해야 하고 상당한 프로세싱을 수행해야 하기 때문에, 이미지 스티칭은 상당한 자원(resource)들을 필요로 한다. 이 자원들은 하이-엔드 디지털 카메라들에서는 이용 가능하지만, 이 자원들은, 불가피하게 작고 값싼 카메라들에서는 이용할 수 없을 것이다.
예를 들면, 디지털 카메라들은, 전화기들과 PDA(personal digital assistant)들과 같은 이동 통신 장치들에서 흔하게 구현된다. 비용과 크기를 감소시키기 위한 많은 경우들에서, 이 디지털 카메라들은, 제한된 자원들, 예를 들면 제한된 메모리와 프로세싱 능력을 가지며 구현된다. 이런 타입들의 카메라에서는, 풀(full) 이미지 스티칭을 위해 필요한 자원들은 이용할 수 없을 것이다. 그러나, 이런 타입들의 카메라에서 다수의 이미지들의 데이터를 캡쳐할 필요성은 남게 된다.
본 발명의 바람직한 예시적 실시예가, 첨부된 도면들과 결부되어 아래에 기술될 것이며, 같은 명칭(designation)들은 같은 엘리먼트들을 나타낸다.
도 1은, 본 발명의 실시예에 따른 이미지 프로세싱 시스템을 갖는 디지털 카메라를 도식화한 도면이다.
도 2는, 본 발명의 실시예에 따른 디지털 프로세싱 방법을 예시하는 흐름도이다.
도 1은, 본 발명의 실시예에 따른 이미지 프로세싱 시스템을 갖는 디지털 카메라를 도식화한 도면이다.
도 2는, 본 발명의 실시예에 따른 디지털 프로세싱 방법을 예시하는 흐름도이다.
본 발명은, 디지털 카메라들에서의 데이터 추출 및 어셈블리(assembly)에 대한 시스템과 방법을 제공한다. 본 시스템 및 방법은, 다수의 카메라 이미지들로부터의 텍스트 및 다른 캐릭터 데이터를 포함하여 심볼 데이터를 추출하며, 추출된 심볼 데이터를 어셈블링하여 복합 문서(composite document)를 만드는 능력을 제공한다. 본 시스템 및 방법은, 제한된 자원들을 이용하여 이러한 데이터 추출을 수행할 수 있으며, 이에 따라, 제한된 메모리와 프로세싱 능력을 갖는 디지털 카메라들에서 구현될 수 있다.
이제 도 1을 참조하면, 본 발명의 실시예들에 따른 디지털 카메라 이미지 프로세싱 시스템(100)이 도시된다. 디지털 카메라 이미지 프로세싱 시스템(100)은, 심볼 데이터 추출기(102) 및 추출 데이터 어셈블러(104)를 포함한다. 일반적으로, 프로세싱 시스템(100)은, 디지털 카메라에 의해 찍힌 다수의 디지털 이미지들(106)을 수신하고, 그 다수의 카메라 이미지들로부터 심볼 데이터를 추출하며, 그리고, 추출된 심볼 데이터를 어셈블링하여 복합 문서(108)를 만든다. 구체적으로는, 심볼 데이터 추출기(102)는, 디지털 이미지들을 분석하여 그 이미지들에서 심볼 데이터를 추출한다. 데이터 어셈블러(104)는, 디지털 이미지들에서 포지션 마커(position marker)들을 식별하며, 제1 디지털 이미지 및 제2 디지털 이미지 내의 식별된 포지션 마커들에 기초해 추출된 심볼 데이터를 어셈블링하여 복합 문서를 만든다. 구체적으로, 데이터 어셈블러(104)는, 식별된 포지션 마커들의 위치들로부터 결정되는 바와 같이, 다수의 이미지들로부터 추출된 이미지들의 올바른 상대 위치들의 심볼 데이터를 어셈블링한다. 따라서, 디지털 카메라 이미지 프로세싱 시스템(100)은, 적절한 상대 위치들에 배열되는 다수의 이미지들로부터 추출된 심볼들을 포함하는 복합 문서를 발생시키는데 사용될 수 있다. 또한, 이 복합 문서는, 비교적 낮은 프로세싱 및 메모리 자원들을 사용하여 생성될 수 있으며, 이에 따라, 넓고 다양한 디지털 카메라들에 구현될 수 있다.
하나의 예시적인 응용으로서, 디지털 카메라 이미지 프로세싱 시스템(100)은, 다수의 오버래핑 이미지들이 디스플레이 표면을 커버하도록 취해지는, 화이트보드와 같은 디스플레이 표면에 포함되는 정보를 캡쳐하는데 사용될 수 있다. 이 응용예에서, 디지털 카메라는, 화이트보드의 다수의 오버래핑 이미지들을 취하는데 사용된다. 데이터 추출기(102)는, 이 다수의 이미지들의 이미지 데이터를 분석하여, 심볼 데이터를 추출한다. 이 심볼 데이터는, 이미지들에 포함된 모든 텍스트 및 다른 캐릭터 정보를 포함할 수 있으며, 이에 따라, 화이트보드에 씌여진 텍스트, 캐릭터들, 및 다른 심볼들을 캡쳐하는데 사용될 수 있다.
그 후, 데이터 어셈블러(104)는, 다수의 이미지들 내의 포지션 마커들을 식별한다. 이 이미지 마커들은, 이미지들의 오버래핑 부분들에서 발견되는 임의의 식별 가능한 특징들을 포함할 수 있다. 그 후, 이 데이터 어셈블러는, 이미지들의 올바른 상대 위치들에 위치한 다수의 이미지들로부터 추출된 심볼들을 포함하는 복합 문서를 생성할 수 있다. 따라서, 복합 문서는, 간략화된 이미지 문서 또는 심지어 텍스트 문서도 포함할 수 있으며, 문서의 캐릭터들은, 그것들이 디스플레이 표면상에서 원래 발견된 바와 같이 배열된다. 이에 따라, 디지털 카메라의 사용자는, 화이트보드에 디스플레이되는 텍스트 및 다른 심볼 정보를, 심지어 그 정보가 다수의 카메라 이미지들을 요구할 때에도, 쉽게 캡쳐할 수 있다.
또한, 디지털 카메라 이미지 프로세싱 시스템(100)은, 이미지들로부터 심볼 데이터를 추출한 후 단지 그 추출된 심볼 데이터만을 어셈블링하여 복합 문서로 만들기 때문에, 시스템에 대한 프로세싱 및 메모리 요건들이 크게 감소된다. 위에 논의된 바와 같이, 전통적인 이미지 스티칭에서는, 원래의 카메라 이미지들은 더 큰 파노라마 이미지를 생성하기 위해 결합된다. 따라서, 전통적인 이미지 스티칭은, 카메라들이 다수의 이미지들의 이미지 데이터 전부를 동시에 저장 및 처리할 것을 요구하며, 이에 따라, 상당한 프로세싱 자원들을 필요로 한다. 이와 대조적으로, 디지털 카메라 이미지 프로세싱 시스템(100)은, 이미지들로부터 심볼 데이터를 추출하며, 그 후, 단지 그 추출된 심볼 데이터만을 어셈블링하여 복합 문서를 만든다. 따라서, 디지털 카메라 이미지 프로세싱 시스템(100)은, 현저히 적은 자원들을 필요로 하며, 상대적으로 비싸지 않은 카메라들에 구현될 수 있다.
이제 도 2를 참조하면, 디지털 카메라에서 디지털 이미지들을 프로세싱하기 위한 방법(200)이 도시된다. 일반적으로, 본 방법(200)은, 디지털 카메라에 의해 찍힌 다수의 디지털 이미지들을 수신하고, 그 다수의 카메라 이미지들로부터 심볼 데이터를 추출하며, 그리고, 추출된 심볼 데이터를 어셈블링하여 복합 문서를 만든다. 본 방법(200)은 다양한 방식들로 수행될 수 있다. 하나의 예로서, 본 방법(200)은, 사용자가 디스플레이 표면의 한 시리즈의 픽쳐(picture)들을 취할 수 있게 구현될 수 있으며, 그 후, 관련된 픽쳐들을 선택하고 수동으로 데이터의 추출 및 선택된 픽쳐들의 어셈블리를 유발시킨다. 다른 예로서, 본 방법(200)은, 특정 모드에서 동작할 때에 각각의 픽쳐들을 취하면서 수행되도록 구현될 수 있다. 이 구현예에서, 각각의 픽쳐가 취해질 때, 데이터는 어셈블리를 위해 추출되어 저장된다. 어느 경우이든, 다수의 픽쳐들로부터의 이미지 데이터는 분석되고, 데이터는 추출되어 복합 문서로 어셈블링된다.
방법(200)의 제1 단계(202)는, 디지털 카메라로부터 이미지 데이터를 수신하는 것이다. 통상적으로, 이미지 데이터의 포맷 및 해상도는, 본 방법이 구현되는 디지털 카메라의 타입에 의존할 것이다. 예를 들면, 픽셀들의 수, 및 각 픽셀을 나타내는 데 사용되는 비트들의 수는, 디지털 카메라의 센서의 특정 구현에 따라 달라질 것이다. 마찬가지로, 이미지 데이터는, 디지털 카메라들에서 흔히 사용되는 JPG, BMP 또는 RAW 데이터 포맷들과 같은 다양한 표준 포맷들을 포함할 수 있다.
다음 단계(204)는, 이미지로부터 심볼 데이터를 추출하는 것이다. 이는 다양한 기술들을 사용하여 달성될 수 있다. 예를 들면, 비교적 간단한 임계법 동작(thresholding operation)이, 각각의 픽셀을 그 픽셀에서의 이미지의 인텐시티(intensity)에 따라 블랙 또는 화이트로 렌더링하는데 사용될 수 있다. 하나의 특정 예로, 8 비트 표현에서, 각각의 픽셀에 대한 값들은 0에서 255의 범위일 수 있다. 이진 표현의 결과를 일으키는 추출은, 임계값을 적용함으로써 획득될 수 있는데, 이 임계값 위의 모든 픽셀들은 1로 설정되고, 다른 모든 픽셀들은 0으로 설정될 것이다.
RAW 이미지에서, 임계값은, 컬러 필터 어레이 내의 각 컬러 픽셀마다 동일하거나 다를 수 있다. 이는 단일 채널을 갖는 바이너리 이미지를 산출할 것이다. RGB 이미지에서, 이러한 임계치는, 어떤 컬러 정보를 보존하기 위해 3개의 컬러 채널에 걸쳐 개별적으로 적용될 수 있다. 마찬가지로, YCrCb 이미지에서, 이러한 임계치는 휘도(Y) 채널(luminance channel)에만 기초하여 적용될 수 있다. 또한, 컬러 정보의 레벨을 증가시키기 위해, 다수의 임계치들이 한 개 대신에 적용될 수 있으며, 이는, 각각의 픽셀에 대해 2개의 값들보다 더 많게 되는 결과를 낳는다.
사용되는 임계값들은 고정적이고 미리 결정된 값들일 수 있고, 또는, 그것들은 각각의 이미지별로 결정될 수 있다. 예를 들면, 임계치는 각 이미지별로 고정적으로 결정될 수 있다. 한 기술에서, 픽셀 값들의 평균 및 표준 편차가 계산될 수 있고, 그 후에, 임계치는 평균 및 표준 편차의 합으로 설정될 수 있다. 이러한 기술은, 이미지에서 관련 없는 정보를 추출하는 것을 감소시키도록 도울 것이다.
부가적으로, 이러한 임계값은, 국부적인 통계에 기초해 각 개개의 이미지별로 임계값을 계산하는 대신에, 복합 문서(compound document)의 모든 이미지들을 위해 사용될 수 있다.
사용되는 기술에 상관없이, 데이터 추출의 결과는, 인텐시티의 어떤 레벨의 심볼 데이터가 이미지로부터 추출되는 것이며, 반면에 모든 백그라운드 정보는 제거된다. 이처럼, 그것은, 화이트보드에 쓰여진 형태(shape), 텍스트, 및 다른 심볼들을 캡쳐하는데 사용될 수 있다.
이러한 동작은, 데이터 크기를 현저히 감소시키는 방식으로 이미지 데이터를 나타낼 것이라는 점에 유의해야 한다. 구체적으로는, 모든 다른 이미지 위치들을 화이트로 렌더링하는 동안 심볼들을 단순한 블랙 픽셀들로 저장하는 것은, 모든 다른 컬러 및 인텐시티 정보를 제거할 것이며, 이에 따라, 이미지 데이터의 크기를 크게 감소시킬 것이다. 그 후에, 추출된 데이터는, 비교적 낮은 프로세싱 요건들로 다루어질 수 있다.
다음 단계(206)는, 이미지 데이터에서 포지션 마커들을 식별하는 것이다. 이 이미지 마커들은, 이미지들의 오버래핑 부분들에서 발견되는 임의의 식별 가능한 특징들을 포함할 수 있다. 통상적으로, 식별된 이미지 마커들은, 추출된 심볼 데이터를 어셈블링하는데 사용될 기술의 타입에 따라 달라질 것이다. 한 예로서, 추출된 심볼 데이터의 서브세트가, 포지션 마커들로서 사용될 수 있다. 이 경우에, 포지션 마커들은, 위에 기술된 바와 같이, 임계법 기술을 사용하여 식별될 수 있다.
하나의 특정 실시예에서, 제2 임계치가 이미지 마커들을 식별하는데 사용될 수 있다. 또한, 이 제2 임계치는 미리 결정된 값일 수 있고, 또는 그것은 각 이미지별로 또는 각 복합 문서별로 고정적으로 결정될 수 있다. 반복하면, 이것은 단지, 이미지 데이터의 포지션 마커들이 어떻게 식별될 수 있는지에 대한 한 예일 뿐이다.
다음 단계(208)는, 더 많은 이미지 데이터가 분석되고 부가되는지를 판정하는 것이다. 더 많은 이미지 데이터가 분석되어야 할 때, 본 방법은 단계(202)로 되돌아가서, 다음 이미지에 대해 단계들(204 및 206)을 수행한다. 이 프로세스는, 이미지들 각각에 대한 이미지 데이터가 분석되어 그 데이터가 추출될 때까지 계속된다.
그 후에, 본 방법은 단계(210)로 진행한다. 단계(210)에서, 다수의 이미지들로부터 추출된 심볼 데이터는, 어셈블링되어 하나의 복합 문서로 된다. 이전에 식별된 포지션 마커들은, 추출된 심볼 데이터의 올바른 상대 위치들을 판정하는데 사용된다. 또한, 심볼 데이터가 모두 동일한 크기 스케일로 어셈블링되도록, 포지션 마커들 및 심볼 데이터가 추출된 심볼 데이터를 스케일링하는데 사용될 수 있다.
다양한 상이한 기술들이 추출된 심볼 데이터를 어셈블링하는데 사용될 수 있다. 이 기술들은, 통상적으로 복합 문서를 저장하는데 사용되는 포맷에 따라 달라질 것이다. 예를 들면, 프레임의 심볼들 및 마커들의 위치들이, 대응하는 심볼 및 마커 데이터와 함께 저장되면서, 프레임 크기가 정의될 수 있다.
예를 들면, 한 기술에서, 추출된 이미지 데이터 및 식별된 마커들이, 심볼들 및 마커들에서 공통 패턴들을 찾음으로써, 오버랩에 대해 조사된다. 일단 오버래핑 마커들이 식별되면, 각 이미지의 데이터의 프레임들은, 함께 정렬(aligned) 및 스티칭될 수 있다. 이는, 이미지 정합(registration) 및 모자이킹(mosaicing)과 같은 기술들을 사용하여 달성될 수 있다. 일반적으로, 이미지 정합은, 매칭 콘텐트를 식별함으로써 이미지의 전체 또는 일부를 다른 것의 위에 정렬시킨다. 유사하게, 모자이킹은 직소(jigsaw)처럼 이미지들을 함께 스티칭한다. 모자이킹 접근법의 한 예는, 한 프레임의 코너 근처의 특징들을 다른 프레임의 코너에 상관시키는(correlate) 것일 수 있으며, 이 상관들을 사용하여 2개의 프레임들을 서로 정렬시키는 것일 수 있다. 그 특징들은, 원래의 이미지들로부터 추출된 심볼 및 마커 데이터 양자를 포함할 수 있다. 따라서, 추출된 이미지 데이터는, 이미지 정합 기술들을 사용하여 오버래핑 부분들을 정렬시킴으로써, 그리고 그 후에, 추출된 데이터의 인접한 조각(piece)들의 모자이크를 생성하기 위해 이 정보를 사용함으로써 어셈블링될 수 있다. 대안적으로, 추출된 데이터의 모자이크는, 이미지 정합을 사용하지 않고, 오직 에지(edge) 및 코너 정보만을 사용하여 생성될 수 있다.
위에 기술한 바와 같이, 데이터 추출 및 어셈블리 기술의 한 가지 잠재적인 응용은, 화이트 보드와 같은 표면상에 쓰여진 텍스트 및 다른 형태들을 캡쳐하는 것이다. 이 응용예에서, 이미지는 화이트 보드의 일부의 것이 취해진다. 그 후에, 임계법과 같은 데이터 추출 프로세스가 이미지에 사용된다. 이러한 프로세스 후에, 형태 또는 다른 텍스트를 갖는 이미지의 영역들은 1의 값을 가질 것이며, 반면에 다른 영역들은 0일 것이다. 또한 값 1을 가질 마커들로서 제공될 수 있는 화이트 보드의 스머지(smudge)들 또는 에지들과 같은 다른 특징들이 있을 수 있다. 절대 임계치를 사용하여, 이러한 정보가, 프레임 경계(boundary)들 가까이에서 추출될 수 있다. 그 후에, 이미지의 크기를 더 감소시키기 위해 적합한 압축 알고리즘을 사용할 수 있다.
다음으로, 일부 영역의 오버랩과 함께, 화이트 보드의 다른 부분을 커버하는 다른 이미지가 취해진다. 그 후에, 데이터 추출이 이 이미지에 적용된다. 결과적으로 추출된 데이터는, 제1 이미지로부터 추출된 특징들과 오버래핑되는 특징들을 가질 것이다. 캡쳐 디바이스 및 세팅들이 이미지들 양자에 대해 알려지기 때문에, 두 문서들 사이의 상대적인 쉬프트(relative shift)는, 잘 알려진 알고리즘들을 사용하여 마커들 뿐 아니라 심볼들의 정합에 기초하여 추정될 수 있다.
문서들 간의 상대적인 쉬프트는, 문서를 어셈블링하여 하나의 복합 문서로 만드는 능력을 제공한다. 따라서, 본 방법은, 다수의 카메라 이미지들로부터의 텍스트 및 다른 캐릭터 데이터들을 포함하여, 심볼 데이터를 추출하고, 추출된 심볼 데이터를 어셈블링하여 복합 문서로 만드는 능력을 제공한다. 본 방법은, 제한된 자원들을 이용하여 이런 데이터 추출을 수행할 수 있으며, 이에 따라, 제한된 메모리 및 프로세싱 능력을 갖는 디지털 카메라들에서 구현될 수 있다.
위의 기술들은 시스템 및 방법의 맥락에서 기술되었지만, 이들은 다른 구현예들에서도 똑같이 적용할 수 있다. 예를 들면, 이 기술들은, 마이크로프로세서와 같은 단일의 집적 회로들을 포함하거나, 또는 프로세싱 유닛 및 메모리의 기능들을 달성하기 위해 협력하여 작동하는 임의의 적절한 수의 집적 회로 디바이스들 및/또는 회로 보드들을 포함할, 임의 타입의 프로세서 및 메모리 시스템을 가진, 컴퓨터 구현 방법의 일부로써 구현될 수 있다. 또한, 시스템 및 방법의 메커니즘들이 다양한 형태들의 프로그램 제품들로써 배포될 수 있으며, 본 발명은 배포를 수행하는데 사용되는 컴퓨터-판독가능 신호 보유 매체의 특정 타입에 상관 없이 똑같이 적용된다는 것을 이해해야 한다. 신호 보유 매체의 예는, 플래쉬 메모리, 플로피 디스크들, 하드 드라이브들, 메모리 카드들, 및 광학 디스크들과 같은 레코더블(recordable) 미디어를 포함한다.
본원에 진술된 실시예들 및 예들은, 본 발명 및 발명의 특정 응용을 최적으로 설명하기 위해 그리고, 그에 의해, 본 기술 분야에서 통상의 지식을 가진 자가 본 발명을 만들고 사용하게 하기 위해 제시되었다. 그러나, 본 기술 분야에서 통상의 지식을 가진 자는, 앞서 기술한 것과 예들이 단지 예시 및 예의 목적으로 제시되었다는 것을 인식할 것이다. 진술한 기술 내용이, 개시된 바로 그 형태에 철저하거나 개시된 바로 그 형태로 본 발명을 제한하려고 의도되지는 않는다. 많은 변경들 및 변형들이, 다음의 청구항들의 정신을 벗어나지 않고, 위의 교시에 비추어 가능하다.
Claims (20)
- 디지털 카메라에서 디지털 이미지들을 프로세싱하는 방법으로서,
디지털 카메라로 제1 디지털 이미지 및 제2 디지털 이미지를 발생시키는 단계;
상기 제1 디지털 이미지 및 상기 제2 디지털 이미지로부터 심볼 데이터(symbol data)를 추출하는 단계;
상기 제1 디지털 이미지 및 상기 제2 디지털 이미지 내의 포지션 마커(position marker)들을 식별(identifying)하는 단계; 및
상기 제1 디지털 이미지 및 상기 제2 디지털 이미지 내의 상기 포지션 마커들의 상관(correlation)에 기초하여, 상기 제1 디지털 이미지 및 상기 제2 디지털 이미지로부터 추출된 상기 심볼 데이터를 어셈블링(assembling)하여 복합 문서(composite document)로 만드는 단계
를 포함하는, 디지털 이미지들을 프로세싱하는 방법. - 제1항에 있어서,
상기 제1 디지털 이미지 및 제2 디지털 이미지로부터 심볼 데이터를 추출하는 단계는, 지정된 임계치보다 높은 인텐시티(intensity)를 갖는 픽셀 데이터를 캡쳐하는 단계 및 상기 지정된 임계치보다 낮은 인텐시티를 갖는 픽셀 데이터를 버리는 단계를 포함하는, 디지털 이미지들을 프로세싱하는 방법. - 제1항에 있어서,
상기 제1 디지털 이미지 및 상기 제2 디지털 이미지는, 디스플레이 표면의 오버래핑(overlapping) 이미지들을 부분적으로 포함하는, 디지털 이미지들을 프로세싱하는 방법. - 제3항에 있어서,
상기 디스플레이 표면은 화이트보드(whiteboard)를 포함하고, 상기 추출된 심볼 데이터는 상기 화이트보드에 쓴 것들(writings)을 나타내는 데이터를 포함하는, 디지털 이미지들을 프로세싱하는 방법. - 제1항에 있어서,
상기 제1 디지털 이미지로부터 심볼 데이터를 추출하는 단계는, 임계치보다 높은 인텐시티를 갖는 픽셀 데이터를 캡쳐하는 단계를 포함하며, 상기 임계치는, 상기 제1 디지털 이미지의 통계적 분석 인텐시티(statistical analysis intensity)로부터 결정되는, 디지털 이미지들을 프로세싱하는 방법. - 제5항에 있어서,
상기 임계치는, 상기 제1 디지털 이미지의 인텐시티의 평균(mean) 및 표준 편차(standard deviation)의 합으로부터 결정되는, 디지털 이미지들을 프로세싱하는 방법. - 제1항에 있어서,
상기 제1 디지털 이미지 및 제2 디지털 이미지로부터 추출된 심볼 데이터를 어셈블링하여 복합 문서로 만드는 단계는, 이미지 정합(registration) 기술을 이용하는 단계를 포함하는, 디지털 이미지들을 프로세싱하는 방법. - 제1항에 있어서,
상기 제1 디지털 이미지 및 제2 디지털 이미지로부터 추출된 심볼 데이터를 어셈블링하여 복합 문서로 만드는 단계는, 모자이킹(mosaicing) 기술을 이용하는 단계를 포함하는, 디지털 이미지들을 프로세싱하는 방법. - 디지털 카메라에서의 디지털 이미지 프로세싱을 위한 방법 단계들을 수행하기 위한 명령어(instruction)들의 프로그램을 유형적으로(tangibly) 구현한 프로세서(processor)로서, 상기 방법 단계들은,
디지털 카메라로 제1 디지털 이미지 및 제2 디지털 이미지를 발생시키는 단계;
상기 제1 디지털 이미지 및 상기 제2 디지털 이미지로부터 심볼 데이터를 추출하는 단계;
상기 제1 디지털 이미지 및 상기 제2 디지털 이미지 내의 포지션 마커들을 식별하는 단계; 및
상기 제1 디지털 이미지 및 상기 제2 디지털 이미지 내의 포지션 마커들의 상관에 기초하여, 상기 제1 디지털 이미지 및 상기 제2 디지털 이미지로부터 추출된 심볼 데이터를 어셈블링하여 복합 문서로 만드는 단계
로 구성된 머신(machine) 실행 단계들을 포함하는, 프로세서. - 제9항에 있어서,
상기 제1 디지털 이미지 및 제2 디지털 이미지로부터 심볼 데이터를 추출하는 단계는, 지정된 임계치보다 높은 인텐시티를 갖는 픽셀 데이터를 캡쳐하는 단계 및 상기 지정된 임계치보다 낮은 인텐시티를 갖는 픽셀 데이터를 버리는 단계를 포함하는, 프로세서. - 제9항에 있어서,
상기 제1 디지털 이미지 및 상기 제2 디지털 이미지는, 화이트보드의 오버래핑 이미지들을 부분적으로 포함하고, 상기 추출된 심볼 데이터는 상기 화이트보드에 쓴 것들을 나타내는 데이터를 포함하는, 프로세서. - 제9항에 있어서,
상기 제1 디지털 이미지로부터 심볼 데이터를 추출하는 단계는, 임계치보다 높은 인텐시티를 갖는 픽셀 데이터를 캡쳐하는 단계를 포함하며, 상기 임계치는, 상기 제1 디지털 이미지의 통계적 분석 인텐시티로부터 결정되는, 프로세서. - 제12항에 있어서,
상기 임계치는, 상기 제1 디지털 이미지의 인텐시티의 평균 및 표준 편차의 합으로부터 결정되는, 프로세서. - 제9항에 있어서,
상기 제1 디지털 이미지 및 제2 디지털 이미지로부터 추출된 심볼 데이터를 어셈블링하여 복합 문서로 만드는 단계는, 이미지 정합 기술을 이용하는 단계를 포함하는, 프로세서. - 제9항에 있어서,
상기 제1 디지털 이미지 및 제2 디지털 이미지로부터 추출된 심볼 데이터를 어셈블링하여 복합 문서로 만드는 단계는, 모자이킹 기술을 이용하는 단계를 포함하는, 프로세서. - 디지털 카메라의 디지털 프로세싱 시스템으로서,
데이터 추출기(data extractor) - 상기 데이터 추출기는, 상기 디지털 카메라에 의해 발생된 제1 디지털 이미지 및 제2 디지털 이미지를 수신하고, 상기 제1 디지털 이미지 및 제2 디지털 이미지로부터 심볼 데이터를 추출하도록 구성됨 - ; 및
데이터 어셈블러(data assembler) - 상기 데이터 어셈블러는, 상기 제1 디지털 이미지 및 상기 제2 디지털 이미지 내의 포지션 마커들을 식별하도록 구성되며, 또한, 상기 데이터 어셈블러는, 상기 제1 디지털 이미지 및 상기 제2 디지털 이미지 내의 포지션 마커들의 상관에 기초하여, 상기 제1 디지털 이미지 및 상기 제2 디지털 이미지로부터 추출된 심볼 데이터를 어셈블링하여 복합 문서로 만들도록 구성됨 -
를 포함하는, 디지털 프로세싱 시스템. - 제16항에 있어서,
상기 데이터 추출기는, 지정된 임계치보다 높은 인텐시티를 갖는 픽셀 데이터를 캡쳐함으로써, 상기 제1 디지털 이미지 및 상기 제2 디지털 이미지로부터 심볼 데이터를 추출하도록 구성되는, 디지털 프로세싱 시스템. - 제16항에 있어서,
상기 제1 디지털 이미지 및 상기 제2 디지털 이미지는, 화이트보드의 오버래핑 이미지들을 부분적으로 포함하며, 상기 추출된 심볼 데이터는, 상기 화이트보드에 쓴 것들을 나타내는 데이터를 포함하는, 디지털 프로세싱 시스템. - 제16항에 있어서,
상기 데이터 추출기는, 임계치보다 높은 인텐시티를 갖는 픽셀 데이터를 캡쳐함으로써 상기 제1 디지털 이미지로부터 심볼 데이터를 추출하도록 구성되며, 상기 임계치는, 상기 제1 디지털 이미지의 인텐시티의 통계적 분석으로부터 결정되는, 디지털 프로세싱 시스템. - 제16항에 있어서,
상기 데이터 어셈블러는, 이미지 정합 및 모자이킹 기술을 이용함으로써, 상기 제1 디지털 이미지 및 상기 제2 디지털 이미지로부터 추출된 심볼 데이터를 어셈블링하여 상기 복합 문서로 만들도록 구성되는, 디지털 프로세싱 시스템.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/038,574 | 2008-02-27 | ||
US12/038,574 US20090214134A1 (en) | 2008-02-27 | 2008-02-27 | System and method for image data extraction and assembly in digital cameras |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20100119558A true KR20100119558A (ko) | 2010-11-09 |
Family
ID=40998382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020107019152A KR20100119558A (ko) | 2008-02-27 | 2009-02-23 | 디지털 카메라들에서의 이미지 데이터 추출 및 어셈블리에 대한 시스템과 방법 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20090214134A1 (ko) |
EP (1) | EP2258105A4 (ko) |
KR (1) | KR20100119558A (ko) |
CN (1) | CN101965728A (ko) |
BR (1) | BRPI0908281A8 (ko) |
MX (1) | MX2010009350A (ko) |
RU (1) | RU2010139452A (ko) |
WO (1) | WO2009108588A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220081102A (ko) | 2020-12-08 | 2022-06-15 | (주)셀빅 | 실시간 카메라 영상 기반 2d 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI401612B (zh) * | 2010-03-23 | 2013-07-11 | Ind Tech Res Inst | 全周鳥瞰影像亮度均化方法及全周鳥瞰影像形成系統 |
DE102012102797B4 (de) * | 2012-03-30 | 2017-08-10 | Beyo Gmbh | Kamerabasiertes Mobilfunkgerät zur Konvertierung eines Dokuments anhand von aufgenommenen Bildern in ein Format zur optimierten Anzeige auf dem kamerabasierten Mobilfunkgerät |
EP3058512B1 (en) * | 2013-10-16 | 2022-06-01 | 3M Innovative Properties Company | Organizing digital notes on a user interface |
US10762344B2 (en) * | 2018-03-29 | 2020-09-01 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for using whiteboard changes as interactive directives for vectorization software |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6215914B1 (en) * | 1997-06-24 | 2001-04-10 | Sharp Kabushiki Kaisha | Picture processing apparatus |
JP3821267B2 (ja) * | 1999-01-18 | 2006-09-13 | 富士通株式会社 | 文書画像結合装置、文書画像結合方法及び文書画像結合プログラムを記録した記録媒体 |
US6594386B1 (en) * | 1999-04-22 | 2003-07-15 | Forouzan Golshani | Method for computerized indexing and retrieval of digital images based on spatial color distribution |
JP3904840B2 (ja) * | 2000-08-15 | 2007-04-11 | 富士通株式会社 | 多値画像から罫線を抽出する罫線抽出装置 |
US7035467B2 (en) * | 2002-01-09 | 2006-04-25 | Eastman Kodak Company | Method and system for processing images for themed imaging services |
US7343049B2 (en) * | 2002-03-07 | 2008-03-11 | Marvell International Technology Ltd. | Method and apparatus for performing optical character recognition (OCR) and text stitching |
JP4949037B2 (ja) * | 2003-11-18 | 2012-06-06 | スカラド、アクチボラグ | ディジタル画像を処理するための方法および画像表現形式 |
FR2868185B1 (fr) * | 2004-03-23 | 2006-06-30 | Realeyes3D Sa | Procede d'extraction de donnees brutes d'une image resultant d'une prise de vue |
US9236043B2 (en) * | 2004-04-02 | 2016-01-12 | Knfb Reader, Llc | Document mode processing for portable reading machine enabling document navigation |
US20060103893A1 (en) * | 2004-11-15 | 2006-05-18 | Kouros Azimi | Cellular telephone based document scanner |
US7930627B2 (en) * | 2005-09-22 | 2011-04-19 | Konica Minolta Systems Laboratory, Inc. | Office document matching method and apparatus |
US7792363B2 (en) * | 2006-03-30 | 2010-09-07 | Benjamin Perkins Foss | Use of level detection while capturing and presenting text with optical character recognition |
US7860320B2 (en) * | 2006-06-26 | 2010-12-28 | Eastman Kodak Company | Classifying image regions based on picture location |
WO2008015609A2 (en) * | 2006-08-02 | 2008-02-07 | Koninklijke Philips Electronics N.V., | Method of combining binary cluster maps into a single cluster map |
-
2008
- 2008-02-27 US US12/038,574 patent/US20090214134A1/en not_active Abandoned
-
2009
- 2009-02-23 KR KR1020107019152A patent/KR20100119558A/ko not_active Application Discontinuation
- 2009-02-23 WO PCT/US2009/034813 patent/WO2009108588A1/en active Application Filing
- 2009-02-23 BR BRPI0908281A patent/BRPI0908281A8/pt not_active IP Right Cessation
- 2009-02-23 CN CN200980106608XA patent/CN101965728A/zh active Pending
- 2009-02-23 MX MX2010009350A patent/MX2010009350A/es unknown
- 2009-02-23 RU RU2010139452/07A patent/RU2010139452A/ru not_active Application Discontinuation
- 2009-02-23 EP EP09715538A patent/EP2258105A4/en not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220081102A (ko) | 2020-12-08 | 2022-06-15 | (주)셀빅 | 실시간 카메라 영상 기반 2d 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법 |
Also Published As
Publication number | Publication date |
---|---|
EP2258105A4 (en) | 2011-08-10 |
CN101965728A (zh) | 2011-02-02 |
EP2258105A1 (en) | 2010-12-08 |
MX2010009350A (es) | 2010-09-28 |
RU2010139452A (ru) | 2012-04-10 |
US20090214134A1 (en) | 2009-08-27 |
BRPI0908281A2 (pt) | 2018-05-29 |
WO2009108588A1 (en) | 2009-09-03 |
BRPI0908281A8 (pt) | 2018-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7599568B2 (en) | Image processing method, apparatus, and program | |
US8064710B2 (en) | Image processing apparatus, method of controlling thereof, and program | |
JP4556813B2 (ja) | 画像処理装置、及びプログラム | |
US8594451B2 (en) | Edge mapping incorporating panchromatic pixels | |
Fredembach et al. | Simple shadow remova | |
JP4885789B2 (ja) | 画像処理方法、画像領域検出方法、画像処理プログラム、画像領域検出プログラム、画像処理装置、および、画像領域検出装置 | |
WO2014002689A1 (ja) | 画像処理装置および記録媒体 | |
US7400776B2 (en) | Visual enhancement for reduction of visual noise in a text field | |
WO2008121280A2 (en) | Edge mapping using panchromatic pixels | |
JP2011045078A (ja) | カメラベースの文書画像処理のための適応的ボケ除去 | |
JP2007074578A (ja) | 画像処理装置、撮影装置、及びプログラム | |
JP2008527852A (ja) | ディジタル・カメラの画像のホワイト・バランス補正 | |
KR20130066819A (ko) | 촬영 이미지 기반의 문자 인식 장치 및 방법 | |
KR20100119558A (ko) | 디지털 카메라들에서의 이미지 데이터 추출 및 어셈블리에 대한 시스템과 방법 | |
JP5640622B2 (ja) | 赤目オブジェクト候補を分類する方法、コンピューター読み取り可能な媒体および画像処理装置 | |
US10992837B2 (en) | Information processing apparatus, control method thereof, and storage medium | |
CN108965646B (zh) | 图像处理装置、图像处理方法 | |
CN102629969A (zh) | 一种在拍摄平面物体时消除拖影的方法 | |
US20160295036A1 (en) | Image processing device, image processing method, program, and recording medium | |
JP2009027223A (ja) | 画像表示装置、画像表示方法、およびプログラム | |
JP6352875B2 (ja) | マーカ生成方法、マーカ復号方法、マーカ復号装置およびマーカ読取装置 | |
JP2003219180A (ja) | 画像処理方法、画像処理装置、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム | |
Ostiak | Implementation of HDR panorama stitching algorithm | |
JP2017162030A (ja) | 画像評価方法、画像評価プログラム、及び画像評価装置 | |
JP2003203198A (ja) | 撮像装置、撮像方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
N231 | Notification of change of applicant | ||
E601 | Decision to refuse application |