KR101342638B1 - 화상 처리장치, 화상 처리방법 및 프로그램 - Google Patents

화상 처리장치, 화상 처리방법 및 프로그램 Download PDF

Info

Publication number
KR101342638B1
KR101342638B1 KR1020070040830A KR20070040830A KR101342638B1 KR 101342638 B1 KR101342638 B1 KR 101342638B1 KR 1020070040830 A KR1020070040830 A KR 1020070040830A KR 20070040830 A KR20070040830 A KR 20070040830A KR 101342638 B1 KR101342638 B1 KR 101342638B1
Authority
KR
South Korea
Prior art keywords
image
background
pixel
pixel value
generating
Prior art date
Application number
KR1020070040830A
Other languages
English (en)
Other versions
KR20070108817A (ko
Inventor
히로아키 오노
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20070108817A publication Critical patent/KR20070108817A/ko
Application granted granted Critical
Publication of KR101342638B1 publication Critical patent/KR101342638B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

시계열에 촬상된 복수의 촬상 화상으로부터, 그 촬상 화상의 배경상태나, 동(動)피사체의 수, 크기, 변형, 색 등에 좌우되지 않고, 동 피사체의 궤적 합성화상을 생성한다.
화소 선택부(120)는 시계열에 촬상된 n매의 입력화상(110)에 대하여 대응하는 화소 위치의 n개의 화소치를 선택한다. 배경 생성부(130)는, 화소 선택부(120)로부터 공급된 n개의 화소치에 의거하여 배경치를 생성한다. 배경치로서는 화소치의 최대 빈도수를 채용할 수 있다. 상위도(相違度)생성부(140)는 배경 생성부(130)로부터 공급된 배경치와 화소 선택부(120)로부터 공급된 화소치와의 상위도를 생성한다. 궤적 합성부(150)는 상위도 생성부(140)로부터 공급된 상위도에 의거하여, 화소 선택부(120)로부터 공급된 화소치를 합성한다.

Description

화상 처리장치, 화상 처리방법 및 프로그램{Image processing apparatus, image processing method, and program}
도 1은, 본 발명의 실시의 형태에 있어서의 촬상장치의 일례를 나타내는 도면이다.
도 2는, 본 발명의 실시의 형태에 있어서의 촬상장치의 화상처리회로(23)의 제 1의 실시예를 나타내는 도면이다.
도 3은, 본 발명의 실시의 형태에 있어서의 화상처리회로(23)의 제 1의 실시 예의 배경 생성부(130)의 제 1의 구성 예를 나타내는 도면이다.
도 4는, 화소치의 분포 예를 나타내는 도면이다.
도 5는, 화소치의 분포에 의거한 히스토그램의 일례를 나타내는 도면이다.
도 6은, 본 발명의 실시의 형태에 있어서의 화상처리회로(23)의 제 1의 실시 예의 배경 생성부(130)의 제 2의 구성 예를 나타내는 도면이다.
도 7은, 본 발명의 실시의 형태에 있어서의 기준치 및 배경 임계치의 일례를 나타내는 도면이다.
도 8은, 본 발명의 실시의 형태에 있어서의 화상처리회로(23)의 제 1의 실시 예의 상위도 생성부(140)의 일구성 예를 나타내는 도면이다.
도 9는, 본 발명의 실시의 형태에 있어서의 화상처리회로(23)의 제 1의 실시 예의 궤적 합성부(150)의 제 1의 구성 예를 나타내는 도면이다.
도 10은, 입력화상의 일례를 나타내는 도면이다.
도 11은, 궤적 합성화상의 일례를 나타내는 도면이다.
도 12는, 본 발명의 실시의 형태에 있어서의 화상처리회로(23)의 제 1의 실시예의 궤적 합성부(150)의 제 2의 구성 예를 나타내는 도면이다.
도 13은, 본 발명의 실시의 형태에 있어서의 화상처리회로(23)의 제 1의 실시예의 궤적 합성부(150)의 제 3의 구성 예를 나타내는 도면이다.
도 14는, 본 발명의 실시의 형태에 있어서의 촬상장치의 화상처리회로(23)의 제 2의 실시예를 나타내는 도면이다.
도 15는, 본 발명의 실시의 형태에 있어서의 촬상장치의 화상처리회로(23)의 제 3의 실시예를 나타내는 도면이다.
도 16은, 본 발명의 실시의 형태에 있어서의 화상처리회로(23)의 제 3의 실시예의 배경 생성부(230)의 일구성 예를 나타내는 도면이다.
도 17은, 본 발명의 실시의 형태에 있어서의 화상처리회로(23)의 제 3의 실시예의 궤적 합성부(250)의 일구성 예를 나타내는 도면이다.
도 18은, 궤적 합성 동영상에 있어서의 각 프레임의 일례를 나타내는 도면이다.
도 19는, 궤적 합성 동영상에 있어서의 각 프레임의 다른 예를 나타내는 도면이다.
도 20은, 본 발명의 실시의 형태에 있어서의 촬상장치의 화상처리회로(23)의 제 4의 실시예를 나타내는 도면이다.
도 21은, 본 발명의 실시의 형태에 있어서의 촬상장치의 화상처리회로(23)의 제 1 및 제 2의 실시예에 의한 처리순서의 일례를 나타내는 흐름도이다.
도 22는, 본 발명의 실시의 형태에 있어서의 촬상장치의 화상처리회로(23)의 제 3의 실시예에 의한 처리순서의 일례를 나타내는 흐름도이다.
도 23은, 본 발명의 실시의 형태에 있어서의 촬상장치의 화상처리회로(23)의 제 4의 실시예에 의한 처리순서의 일례를 나타내는 흐름도이다.
도 24는, 본 발명의 실시의 형태에 있어서의 촬상장치의 화상처리회로(23)의 제 5의 실시예를 나타내는 도면이다.
도 25는, 본 발명의 실시의 형태에 있어서의 촬상장치의 조작 관련의 구성예를 나타내는 도면이다 .
도 26은, 본 발명의 실시의 형태에 있어서의 촬상장치의 촬영시의 처리순서의 일례를 나타내는 흐름도이다.
도 27은, 본 발명의 실시의 형태에 있어서의 촬상장치의 재생시의 처리순서의 일례를 나타내는 흐름도이다.
<도면의 주요부분에 대한 부호의 설명>
101. 배경 임계치 설정부 102. 거리 임계치 설정부
110, 111. 입력화상 120. 화소 선택부
121. 궤적 화소 선택부 122. 배경 화소 선택부
130. 배경 생성부 131. 히스토그램 생성부
132. 배경치 판정부 133. 기준치 설정부
134. 배경 판정부 135. 배경치 산출부
136. 갱신 판정부 137. 배경빈도 보관유지부
138. 배경치 보관유지부 140. 상위도 생성부
141. 거리 산출부 142. 상위도 산출부
150. 궤적 합성부 151. 궤적 합성비율 생성부
152. 궤적 합성치 산출부 153. 궤적 합성치 보관유지부
154. 갱신 판정부 155. 최신 프레임번호 보관유지부
156. 궤적 합성치 보관유지부 157. 갱신 판정부
158. 최대 상위도 보관유지부 190. 궤적 합성화상표시부
202. 카메라 신호처리부 203. 입력화상 보관유지부
205. 입력화상 보존부 206. 배경화상 보존부
220. 프레임 선택부 221. 궤적 화소 프레임 선택부
222. 배경 화소 프레임 선택부 230, 231. 배경 생성부
232. 배경합성비율 생성부 233. 배경화상 갱신부
240. 상위도 생성부 250. 궤적 합성부
251. 궤적 합성비율 산출부 252. 궤적 합성치 갱신부
260, 261. 배경화상 보관유지부 270. 궤적 합성화상 보관유지부
290. 궤적 합성화상표시부 421. 촬영조작 접수부
422. 촬영간격 설정부 431. 피사체 상태 검출부
441. 촬영개시 검출부 442. 촬영종료 검출부
443. 촬영간격 취득부 444. 촬영 제어부
1331.기준치 카운터 1361. 배경빈도 카운터
본 발명은, 화상 처리장치에 관한 것이며, 특히 시계열에 촬상된 촬상 화상에 있어서의 궤적을 표시하는 화상 처리장치 및 그 화상 처리방법 및 당해방법을 컴퓨터에 실행시키는 프로그램에 관한 것이다.
시계열로 촬상된 복수의 촬상 화상(이하, 프레임 화상이라고 함.)으로 동(動)피사체의 궤적을 나타내는 화상을 생성하는 방법으로서, 예를 들면 복수 프레임 화상을 단순하게 겹쳐서 합성하는 방법이 고려된다. 이 단순한 방법에 의하면, 프레임 수가 많아지면 많아질수록, 합성 결과에 대한 한 장의 프레임의 기여율이 낮아지고, 동(動)피사체의 궤적이 얇아져 버린다고 하는 문제가 있다. 예를 들면, 도 10과 같은 5매의 프레임 화상을 상정하였을 경우, 단순하게 합성을 실시하면, 합성 결과에 대한 각 화소의 기여율은 20％가 되고, 동 피사체가 횡단하는 화소 위치에 있어서는, 동 피사체가 20％, 배경이 80％라고 하는 비율로 합성되기 때문에, 도 11(c)과 같이 동 피사체의 궤적이 얇아져 버린다.
이것에 대하여, 단순한 합성으로 개량을 가한 수법으로서, 영상 데이터로 복수의 프레임 화상을 추출하고, 휘도치(輝度値)에 따른 중량을 더하여 한 장의 정지화상을 합성하는 방법이 제안되고 있다.(예를 들면, 특허 문헌 1 참조) 이 종래 기술에서는, 각 프레임 화상에 있어서의 동일 위치의 화소에 있어서, 휘도치의 평균치부터의 거리가 휘도치의 분산 이상 떨어져 있는 화소에는 큰 중량이 붙고, 휘도치의 평균치부터의 거리가 휘도치의 분산 이하에 들어가고 있는 화소에는 작은 중량이 붙어 합성이 실시되고, 그 결과가 출력화상의 동일 위치의 화소로서 출력된다. 이것에 의해, 합성화상에 있어서 동 피사체의 중량이 배경의 중량보다 커지게 되고, 단순한 합성 방법에 비하여 동 피사체의 궤적을 확실히 한다.
또, 동 피사체를 추출하여 그 추적을 실시함으로써 동 피사체의 궤적의 합성을 실시하는 수법이 제안되고 있다.(예를 들면, 특허 문헌 2 참조) 이 종래 기술에서는, 동 피사체의 추적이 실패하였을 경우에, 추적이 성공한 시각의 동 피사체의 특징량이나 위치 등에서 동 피사체를 보간함으로써, 동 피사체의 추출 및 추적의 정밀도를 높이고 있다.
[특허 문헌 1] 특개 평10－290450호 공보(도 1)
[특허 문헌 2] 특개 2005－123824호 공보(도 1)
상술의 종래 기술과 같이, 동 피사체의 중량을 크게 하여 합성하는 방법에 의하면, 단순한 합성방법에 비하여 동 피사체의 궤적을 확실히 하는 효과가 있다. 그렇지만, 배경 이외는 동일한 중량에 의한 다중합성이 되기 때문에, 배경 이외의 프레임 화상의 수가 많으면 많을수록 궤적에 대한 한 장의 기여율이 낮아지고, 원화상과 동등하게 확실히 한 궤적을 작성하는 것은 곤란하다. 또, 휘도치의 분산 에 의하여 배경을 판단하는 방법에서는, 화상상태에 의해서는 배경과 그 이외를 명확하게 구별하는 것이 곤란한 경우가 있다.
또, 동 피사체를 추적하는 종래 기술에 의하면, 동 피사체를 보간 하면서, 임의의 모양에 의해 궤적을 표시시킬 수 있다. 그렇지만, 이 경우, 특징량으로서 동 피사체의 존재 영역, 색, 휘도, 텍스쳐(texture) 등이 이용되기 때문에, 이들의 변화나 변형 등에 대응할 수 없다고 하는 문제가 있다. 또, 동 피사체가 많은 경우에는, 연산 등에 필요로 하는 코스트의 관계상, 그것들 모든 동 피사체를 추적하는 것이 곤란하게 된다고 하는 문제가 있다.
그래서, 본 발명은, 시계열에 촬상된 복수의 촬상 화상으로부터, 그 촬상 화상의 배경의 상태나, 동 피사체의 수, 크기, 변형, 색 등에 좌우되지 않고, 동 피사체의 궤적 합성화상을 생성하는 것을 목적으로 한다.
본 발명은, 상기 과제를 해결하기 위한 것이며, 그 제 1의 측면은, 복수의 입력화상의 대응하는 화소 위치의 각각에 대하여 상기 입력화상의 화소치 중에서 소정의 분포를 가지는 화소치를 상기 화소 위치의 배경 화소치로서 생성하는 배경 생성수단과, 상기 화소 위치의 각각에 대하여 상기 입력화상의 화소치가 상기 배경 화소치와 상위(相違)한 정도를 나타내는 상위도(相違度)를 생성하는 상위도 생성수단과, 상기 화소 위치의 각각에 대하여 상기 상위도에 따라서 상기 입력화상의 화소치를 반영시켜 출력화상의 화소치를 생성하는 출력화상 생성수단을 구비하는 것을 특징으로 하는 화상 처리장치이다. 이것으로서, 배경 화소치와 입력화상의 화 소치와의 사이의 상위도에 따라서 출력화상의 화소치를 생성시킨다고 하는 작용을 가져온다.
또, 이 제 1의 측면에 있어서, 상기 배경 생성수단은 상기 소정의 분포를 가지는 화소치로서 가장 출현빈도가 높은 화소치를 생성하도록 하여도 좋다. 동 피사체는 일시적으로 통과하는 성질을 가지지만, 배경은 비교적 항상성을 가진다, 라고 하는 차이를 이용한 것이다.
또, 이 제 1의 측면에 있어서, 상기 배경 생성수단은, 상기 배경 화소치를 보관유지하는 배경 화소치 보관유지수단과, 상기 배경 화소치의 출현빈도를 보관유지하는 출현빈도 보관유지수단과, 상기 입력화상의 화소치에 대한 기준치를 설정하는 기준치 설정 수단과, 상기 기준치와의 차이가 소정범위 내에 있는 상기 입력화상의 화소치를 배경후보치로서 판정하는 배경후보 생성수단과, 상기 배경후보치의 출현빈도를 계수하여 상기 배경후보치의 출현빈도가 상기 출현빈도 보관유지수단에 보관유지된 출현빈도보다 큰 경우에는 상기 배경후보치를 새로운 배경 화소치로서 상기 배경 화소치 보관유지수단에 보관유지시킴과 동시에 상기 배경후보치의 출현빈도를 상기 출현빈도 보관유지수단에 보관유지시키도록 갱신하는 갱신 판정수단을 구비하여도 좋다. 이것으로서, 각 화소치의 출현빈도를 모두 보관유지하지 않고, 가장 출현빈도가 높은 화소치를 배경 화소치 보관유지수단에 보관유지시킨다고 하는 작용을 가져온다.
또, 이 제 1의 측면에 있어서, 상기 출력화상 생성수단은, 상기 출력화상의 화소치를 보관유지하는 출력화상 보관유지수단과, 상기 화소 위치의 각각에 대하여 상기 상위도에 따라서 합성비율을 생성하는 합성비율 생성수단과, 상기 화소 위치의 각각에 대하여 상기 합성비율에 따라서 상기 입력화상의 화소치를 상기 출력화상 보관유지수단에 보관유지된 상기 출력화상의 화소치와 합성하여 새로운 출력화상의 화소치로서 상기 출력화상 보관유지수단에 보관유지시키는 합성치 산출수단을 구비하도록 하여도 좋다. 이것으로서, 상위도로부터 생성된 합성비율에 따라서 출력화상의 화소치를 생성시킨다고 하는 작용을 가져온다.
또, 이 제 1의 측면에 있어서, 상기 출력화상 생성수단은, 상기 출력화상의 화소치를 보관유지하는 출력화상 보관유지수단과, 상기 출력화상의 화상번호를 보관유지하는 화상번호 보관유지수단과, 상기 입력화상의 화상번호가 상기 화상번호 보관유지수단에 보관유지된 화상번호보다도 시계열 상에서 새로운 경우에 있어서 상기 상위도가 소정이상의 정도를 나타내고 있으면 상기 입력화상의 화소치를 새로운 출력화상의 화소치로서 상기 출력화상 보관유지수단에 보관유지시킴과 동시에 상기 입력화상의 화상번호를 상기 화상번호 보관유지수단에 보관유지시키는 갱신 판정수단을 구비하도록 하여도 좋다. 이것으로서, 최신의 화상번호에 대응하는 입력화상의 화소치만을 출력화상에 반영시킨다고 하는 작용을 가져온다.
또, 이 제 1의 측면에 있어서, 상기 출력화상 생성수단은, 상기 출력화상의 화소치를 보관유지하는 출력화상 보관유지수단과, 상기 출력화상의 상위도를 보관유지하는 상위도 보관유지수단과, 상기 입력화상의 상위도가 상기 상위도 보관유지수단에 보관유지된 상위도보다 큰 경우에는 상기 입력화상의 화소치를 새로운 출력화상의 화소치로서 상기 출력화상 보관유지수단에 보관유지시킴과 동시에 상기 입 력화상의 상위도를 상기 상위도 보관유지수단에 보관유지시키는 갱신 판정수단을 구비하도록 하여도 좋다. 이것으로서, 상위도의 가장 큰 입력화상의 화소치만을 출력화상에 반영시킨다고 하는 작용을 가져온다.
또, 본 발명의 제 2의 측면은, 복수의 입력화상으로부터 소정의 수의 입력화상을 선택화상으로서 선택하는 화상선택수단과, 상기 선택화상의 대응하는 화소 위치의 각각에 대하여 상기 선택화상의 화소치 중에서 소정의 분포를 가지는 화소치를 상기 화소 위치의 배경 화소치로서 생성하는 배경 생성수단과, 상기 화소 위치의 각각에 대하여 상기 입력화상의 화소치가 상기 배경 화소치와 상위한 정도를 나타내는 상위도를 생성하는 상위도 생성수단과, 상기 화소 위치의 각각에 대하여 상기 상위도에 따라서 상기 입력화상의 화소치를 반영시켜 출력화상의 화소치를 생성하는 출력화상 생성수단을 구비하는 것을 특징으로 하는 화상 처리장치이다. 이것으로서, 배경 화소치를 생성하기 위한 선택화상의 수를 임의로 설정시킨다고 하는 작용을 가져온다.
또, 본 발명의 제 3의 측면은, 배경화상의 화소치를 보관유지하는 배경화상 보관유지수단과, 출력화상의 화소치를 보관유지하는 출력화상 보관유지수단과, 상기 배경화상 보관유지수단에 보관유지되는 상기 배경화상의 화소치를 시계열에 입력되는 입력화상의 대응하는 화소 위치의 화소치에 의하여 소정의 비율에 의거하며 갱신하는 배경 생성수단과, 상기 입력화상의 화소치가 상기 배경 생성수단에 의하여 갱신된 상기 배경화상의 대응하는 화소 위치의 화소치와 상위한 정도를 나타내는 상위도를 생성하는 상위도 생성수단과, 상기 출력화상의 화소치에 대하여 상기 상위도에 따라서 상기 입력화상의 대응하는 화소 위치의 화소치를 합성하여 새로운 출력화상의 화소치로서 상기 출력화상 보관유지수단에 보관유지시키는 출력화상 합성수단을 구비하는 것을 특징으로 하는 화상 처리장치이다. 이것으로서, 시계열에 입력되는 입력화상에 의하여 배경화상을 갱신하고, 입력화상의 화소치와의 사이의 상위도에 따라서 출력화상의 화소치를 생성시킨다고 하는 작용을 가져온다.
또, 본 발명의 제 4의 측면은, 복수의 입력화상으로부터 소정의 수의 입력화상을 선택화상으로서 선택하는 화상선택수단과, 상기 선택화상의 대응하는 화소 위치의 각각에 대하여 상기 선택화상의 화소치 중에서 소정의 분포를 가지는 화소치를 배경화상의 대응하는 화소 위치의 화소치로서 생성하는 배경 생성수단과, 상기 배경화상의 화소치를 보관유지하는 배경화상 보관유지수단과, 출력화상의 화소치를 보관유지하는 출력화상 보관유지수단과, 상기 입력화상의 화소치가 배경화상 보관유지수단에 보관유지된 상기 배경화상의 대응하는 화소치와 상위한 정도를 나타내는 상위도를 생성하는 상위도 생성수단과, 상기 출력화상의 화소치에 대하여 상기 상위도에 따라서 상기 입력화상의 대응하는 화소 위치의 화소치를 합성하여 새로운 출력화상의 화소치로서 상기 출력화상 보관유지수단에 보관유지시키는 출력화상 합성수단을 구비하는 것을 특징으로 하는 화상 처리장치이다. 이것으로서, 배경 화소치를 생성하기 위한 선택화상의 수를 임의로 설정시킨다고 하는 작용을 가져온다.
또, 본 발명의 제 5의 측면은, 복수의 입력화상으로부터 소정의 수의 입력화상을 선택화상으로서 선택하는 화상선택수단과, 상기 선택화상의 대응하는 화소 위 치의 각각에 대하여 상기 선택화상의 화소치 중에서 소정의 분포를 가지는 화소치를 배경화상의 대응하는 화소 위치의 화소치로서 생성하는 배경 생성수단과, 상기 배경화상의 화소치를 보관유지하는 배경화상 보관유지수단과, 출력화상의 화소치를 보관유지하는 출력화상 보관유지수단과, 상기 입력화상의 화소치가 배경화상 보관유지수단에 보관유지된 상기 배경화상의 대응하는 화소치와 상위한 정도를 나타내는 상위도를 생성하는 상위도 생성수단과, 상기 출력화상의 화소치에 대하여 상기 상위도에 따라서 상기 입력화상의 대응하는 화소 위치의 화소치를 합성하여 새로운 출력화상의 화소치로서 상기 출력화상 보관유지수단에 보관유지시키는 출력화상 합성수단과, 상기 배경화상 보관유지수단에 보관유지된 배경화상의 화소치를 보존하는 배경화상 보존수단을 구비하고, 상기 배경화상 보관유지수단은, 상기 배경화상 보존수단에 필요한 배경화상이 보존되고 있는 경우에는 상기 배경화상 보존수단에 보존된 배경화상을 복원하여 보관유지하는 것을 특징으로 하는 화상 처리장치이다. 이것으로서, 배경화상 보존수단에 보존된 배경화상을 복원하여 이용함으로써, 배경화상의 생성에 필요한 처리를 생략하게 한다고 하는 작용을 가져온다.
다음으로 본 발명의 실시의 형태에 대하여 도면을 참조하여 상세하게 설명한다.
도 1은, 본 발명의 실시의 형태에 있어서의 촬상장치의 일례를 나타내는 도면이다. 이 촬상장치는, 크게 나누어 광학계, 신호 처리계, 기록계, 표시계 및 제어계로 구성된다.
광학계는, 피사체의 광화(光畵)상을 집광하는 렌즈(11)와 광화상의 광량을 조정하는 조리개(12)와, 집광 된 광화상을 광전 변환하여 전기신호로 변환하는 촬상소자(13)로부터 구성된다. 촬상소자(13)는, 예를 들면, CCD(Charge Coupled Devices) 이미지 센서 등에 의하여 실현된다.
신호 처리계는, 촬상소자(13)로부터의 전기신호를 샘플링하는 샘플링 회로 (21)와 샘플링 회로(21)로부터 공급되는 아날로그 신호를 디지털 신호로 변환하는 A／D 변환 회로(22)와 A／D변환 회로(22)로부터 입력되는 디지털 신호에 소정의 화상처리를 실시하는 화상처리회로(23)로 구성된다. 샘플링 회로(21)는, 예를 들면, 상관(相關)2중 샘플링 회로(CDS：Correlated Double Sampling)에 의하여 실현된다. 이것으로서, 촬상소자(13)로 발생하는 소음이 경감된다. 또한, 화상처리회로(23)에 의하여 실행되는 처리의 상세한 것에 대해서는 후술한다.
기록계는, 화상 신호를 기억하는 메모리(32)와 화상처리회로(23)에 의하여 처리된 화상 신호를 부호화하여 메모리(32)에 기록하고, 또, 메모리(32)로부터 화상 신호를 읽어내어 복호(復號)하고, 화상처리회로(23)에 공급하는 부호화／복호기 (31)로부터 구성된다.
표시계는, 화상처리회로(23)에 의하여 처리된 화상 신호를 아날로그화하는 D／A변환회로(41)와 아날로그화된 화상 신호를 후단의 표시부(43)에 적합하는 형식의 비디오 신호에 인코드(encode)하는 비디오 인코더(42)와, 입력되는 비디오 신호에 대응하는 화상을 표시하는 표시부(43)로부터 구성된다. 표시부(43)는, 예를 들면, LCD(Liquid Crystal Display) 등에 의하여 실현되며, 파인더(finder)로서의 기능도 가진다.
제어계는, 촬상소자(13), 샘플링 회로(21), A／D변환 회로(22) 및 화상처리회로(23)의 동작 타이밍을 제어하는 타이밍 생성기(51)와 사용자에 의한 셔터 조작이나 그 외의 커맨드(command) 입력을 수신하는 조작입력 접수부(52)와, 주변기기를 접속하기 위한 드라이버(53)와, 촬상장치 전체를 제어하는 제어부(54)로 구성된다. 드라이버(53)에는, 자기디스크, 광디스크, 광학자기 디스크, 또는, 반도체 메모리 등이 접속된다. 제어부(54)는, 이들에 기억되어 있는 제어용 프로그램을 드라이버(53)를 통해 읽어내고, 읽어낸 제어용 프로그램이나 조작입력 접수부(52)로부터 입력되는 사용자로부터의 커맨드 등에 의거하여 제어를 실시한다.
화상처리회로(23), 부호화／복호기(31), 메모리(32), 타이밍 생성기(51), 조작입력 접수부(52) 및 제어부(54)는, 버스(59)를 통해 서로 접속되어 있다.
이 촬상장치에 있어서, 피사체의 광학 화상(입사광)은, 렌즈(11) 및 조리개(12)를 통해 촬상소자(13)에 입사되며, 촬상소자(13)에 의하여 광전 변환되어 전기신호가 된다. 얻어진 전기신호는, 샘플링 회로(21)에 의하여 소음성분이 제거되며, A／D변환 회로(22)에 의하여 디지털화된 후, 화상처리회로(23)가 내장하는(도시하지 않는다) 화상메모리에 일시 격납된다.
또한, 통상의 상태에서는, 타이밍 생성기(51)에 의한 신호 처리계에 대한 제어에 의하여, 화상처리회로(23)의 내장하는 화상 메모리에는, 일정한 프레임 비율(frame rate)로 끊임없이 화상 신호가 덮어 쓰여지도록 되어 있다. 화상처리회로(23)의 내장하는 화상 메모리의 화상 신호는, D／A변환 회로(41)에 의하여 아날로그 신호로 변환되며, 비디오 인코더(42)에 의하여 비디오 신호에 변환되어 대응 하는 화상이 표시부(43)에 표시된다.
표시부(43)는, 촬상장치의 파인더(finder)로서의 역할도 담당하고 있다. 사용자가 조작입력 접수부(52)에 포함되는 셔터버튼을 아래로 눌렀을 경우, 제어부(54)는, 타이밍 생성기(51)에 대하여, 셔터버튼이 아래로 눌러진 직후의 화상 신호를 보관유지하도록, 즉, 화상처리회로(23)의 화상 메모리에 화상 신호가 덮어 쓰여지지 않도록, 신호 처리계를 제어한다. 화상처리회로(23)의 화상 메모리에 보관유지된 화상 데이터는, 부호화／복호기(31)에 의하여 부호화되며 메모리(32)에 기록된다. 이상과 같은 촬상장치의 동작에 의하여, 1매의 화상 데이터의 받아들임이 완료한다.
도 2는, 본 발명의 실시의 형태에 있어서의 촬상장치의 화상처리회로(23)의 제 1의 실시예를 나타내는 도면이다. 이 제 1의 실시예에 의한 화상처리회로 (23)는, 화소 선택부(120)와 배경 생성부(130)와 상위도 생성부(140)와 궤적 합성부(150)와 궤적 합성화상표시부(190)를 갖추고 있다.
화소 선택부(120)는, 시계열에 촬상된 n매(n은 2 이상의 정수)의 입력화상 (110)(I1~In)에 있어서의 대응하는 화소 위치의 n개의 화소치를 선택한다. 예를 들면, 입력화상(110)의 각각이 좌표(1,1) 내지 (p, q)의 p×q화소(p 및 q 는 1 이상의 정수)로 이루어지는 경우, 화소 선택부(120)는, 우선, n매의 입력화상(110)중에서 좌표(1,1)의 화소 위치의 화소치를 각각 선택한다. 이것으로서, n개의 화소치가 선택된다. 화소 선택부(120)는, 다음으로, n매의 입력화상 (110)중에서 좌표(1,2)의 화소 위치의 화소치를 각각 선택한다. 이것으로서, 다음의 n개의 화소치가 선택된다. 이 요령으로, 최종적으로는 입력화상 (110)(I1~In)에 대하여 n개의 화소치가 p×q조 만큼 선택된다. 이들 선택된 화소치는, 신호선(129)을 통해, 배경 생성부(130), 상위도 생성부(140) 및 궤적 합성부(150)에 공급된다.
배경 생성부(130)는, 신호선(129)을 통해 화소 선택부(120)로부터 공급된 n개의 화소치에 의거하여 배경치를 생성한다. n개의 화소치는 상술한 바와 같이 p×q조 만큼 공급되기 때문에, 배경 생성부(130)는, 최종적으로는 입력화상(110)(I1~In)에 대하여 p×q개의 배경치를 생성한다. 이들 배경치는, 신호선(139)을 통해, 상위도 생성부(140)에 공급된다.
상위도 생성부(140)는, 신호선(139)을 통해 배경 생성부(130)로부터 공급된 배경치와 신호선(129)을 통해 화소 선택부(120)로부터 공급된 화소치와의 상위도를 생성한다. 상술한 바와 같이, 배경 생성부(130)에 의하여 p×q화소로 이루어지는 배경치가 1개 생성된다. 상위도 생성부(140)는, 이 배경치의 화소 위치마다 입력화상(110)(I1~In)의 n개의 화소치와의 상위도를 각각 생성한다. 이것으로서, 최종적으로는 입력화상(110)(I1~In)에 대하여 n개의 상위도가 p×q조 만큼 생성된다. 이들 생성된 상위도는, 신호선(149)을 통해, 궤적 합성부(150)에 공급된다.
궤적 합성부(150)는, 신호선(149)을 통해 상위도 생성부(140)로부터 공급된 상위도에 의거하고, 신호선(129)을 통해 화소 선택부(120)로부터 공급된 화소치를 합성한다. 상술한 바와 같이, n개의 상위도는 p×q조 만큼 생성되며, n개의 화소치는 p×q조 만큼 선택된다. 즉, 상위도와 화소치의 수는 일치하고 있다. 궤적 합성부(150)는, 최종적으로는 n개의 화소치로부터 1개의 화소치를 궤적 합성치로서 합성한다. 이것으로서, p×q개의 궤적 합성치를 가지는 궤적 합성화상이 생성된다. 이들 궤적 합성치는, 신호선(159)을 통해, 궤적 합성화상표시부(190)에 공급된다.
궤적 합성화상표시부(190)는, 신호선(159)을 통해 궤적 합성부(150)로부터 공급된 궤적 합성치에 의거하여 궤적 합성화상을 표시한다. 이 궤적 합성화상표시부(190)는, 표시부(43)를 그대로 이용하여도 좋고, 또, 촬상장치에 접속된 다른 표시장치에 의하여 실현되어도 좋다.
도 3은, 본 발명의 실시의 형태에 있어서의 화상처리회로(23)의 제 1의 실시예의 배경 생성부(130)의 제 1의 구성 예를 나타내는 도면이다. 이 배경 생성부 (130)는, 히스토그램 생성부(131)로 배경치 판정부(132)를 갖추고 있다.
히스토그램 생성부(131)는, 신호선(129)을 통해 화소 선택부(120)로부터 공급된 n개의 화소치에 대하여 히스토그램을 생성한다. 이 히스토그램은, 화소치의 크기에 대한 출현빈도를 나타내는 것이다. 예를 들면, 화소치가 도 4와 같은 분포를 나타내고 있는 경우를 상정하면, 그 히스토그램은 도 5와 같게 된다. 즉, 도 4의 13개의 화소치에 있어서, 화소치(a)의 출현빈도가 2회, 화소치(b)의 출현빈도가 1회, 화소치(c)의 출현빈도가 7회, 화소치(d)의 출현빈도가 1회, 화소치(e)의 출현빈도가 2회인 것으로, 도 5와 같은 히스토그램이 생성된다.
또한, 히스토그램은, 휘도뿐이면 도 4와 같이 일차원의 히스토그램이 되지만, RGB형식의 화소치이면 3차원의 히스토그램이 된다. 즉, 정의하는 색공간(color space)에 따른 차원의 히스토그램이 생성된다.
배경치 판정부(132)는, 히스토그램 생성부(131)에 있어서의 생성된 히스토그램에 의거하여, 배경치를 판정한다. 구체적으로는, 배경치 판정부(132)는, 히스토그램에 있어서의 가장 빈도가 높은 화소치를 배경치라고 판정한다. 예를 들면, 도 4의 예이면, 최대 빈도수를 나타내는 화소치(c)가 배경치라고 판정된다.
도 6은, 본 발명의 실시의 형태에 있어서의 화상처리회로(23)의 제 1의 실시예의 배경 생성부(130)의 제 2의 구성 예를 나타내는 도면이다. 이 배경 생성부 (130)는, 배경 임계치 설정부(101)로, 기준치 설정부(133)와 기준치 카운터(1331)와 배경 판정부(134)와 배경치 산출부(135)와 갱신 판정부(136)와 배경빈도 카운터 (1361)와 배경빈도 보관유지부(137)와 배경치 보관유지부(138)를 갖추고 있다.
배경 판정부(134)는, 입력화상(110)의 화소치가 배경인지 아닌지를 판정한다. 기준치 설정부(133)는, 배경 판정부(134)가 배경을 판정할 때의 기준이 되는 값(기준치)을 설정한다. 기준치 카운터(1331)는, 기준치 설정부(133)로 설정해야 할 기준치를 차례차례 공급한다. 배경 임계치 설정부 (101)는, 배경 판정부(134)가 배경을 판정할 때의 기준치로부터의 임계치(배경 임계치)를 공급한다. 배경 판정부(134)는, 기준치 설정부(133)로 설정된 기준치와 입력화상(110)의 화소치와의 사이의 거리를 산출하고, 그 거리가 배경 임계치 이하인 화소치를 배경으로 판정한다. 또한, 이 경우의 거리는, 예를 들면 색공간(color space)상의 거리 등을 의미한다. 따라서, 예를 들면 RGB공간과 같이 다차원 공간이면, 모든 차원에 있어서 각각 배경 임계치 이하인 경우에, 그 거리가 배경 임계치 이하라고 판단된다.
예를 들면, 도 7과 같은 화소치의 분포에 있어서, 도면과 같이 기준치가 주어졌을 경우, 이 기준치를 중심으로서 화소치의 높낮이의 각각에 배경 임계치를 가미한 범위가 배경의 범위가 된다. 기준치 설정부(133)로 설정되는 기준치는 기준치 카운터(1331)에 의하여 차례차례 변경된다. 예를 들면, 화소치의 오름차순 혹은 내림차순으로 차례차례 설정되어 간다. 이것으로서, 배경 판정부(134)에 의하여, 기준치로부터 보고 배경의 범위에 있는지 아닌지가 화소치의 범위의 모두에 있어서 판정된다.
배경치 산출부(135)는, 배경 판정부(134)에 있어서 배경으로 판정된 화소치로부터 배경치를 산출한다. 이 배경치는, 예를 들면, 배경 판정부(134)에 의하여 배경으로 판정된 화소치의 평균치로서 산출된다.
갱신 판정부(136)는, 배경 판정부(134)에 의하여 배경으로 판정된 화소치의 빈도를 배경빈도 카운터(1361)에 의하여 계수하고, 배경빈도 보관유지부(137) 및 배경치 보관유지부(138)를 갱신해야할 것인지 아닌지를 판정한다. 즉, 배경빈도 카운터(1361)의 카운트치가 배경빈도 보관유지부(137)에 보관유지된 값보다 큰 경우만, 배경빈도 보관유지부(137)의 내용을 배경빈도 카운터(1361)의 카운트치에 의하여 갱신함과 동시에 배경치 보관유지부(138)의 내용을 배경치 산출부(135)로부터 공급된 배경치에 의하여 갱신한다. 이것으로서, 배경치 보관유지부(138)에는 그 시점에 있어서 최대 빈도수를 나타내는 화소치가 보관유지되며, 배경빈도 보관유지부(137)에는 최대 빈도수를 나타내는 화소치의 빈도가 보관유지된다. 이것을 모든 화소치를 기준치로 하도록 기준치 설정부(133)를 차례차례 변경하여 감으로써, 최종적으로 배경치 보관유지부(138)에는 최대 빈도수를 나타내는 화소치가 보관유지 된다.
도 3의 배경 생성부(130)의 제 1의 구성 예에서는, 히스토그램의 전체를 기억해 두기 위한 메모리 영역이 필요하게 되지만, 이 도 6의 배경 생성부(130)의 제 2의 구성 예에 의하면, 그 시점에 있어서 최대 빈도수를 나타내는 화소치의 빈도를 보관유지해 두는 것만으로 좋기 때문에, 메모리 영역의 절감이 가능하게 된다.
도 8은, 본 발명의 실시의 형태에 있어서의 화상처리회로(23)의 제 1의 실시 예의 상위도 생성부(140)의 일구성 예를 나타내는 도면이다. 이 상위도 생성부 (140)는, 거리 산출부(141)와 거리 임계치 설정부(102)와 상위도 산출부(142)를 갖추고 있다.
거리 산출부(141)는, 신호선(139)을 통해 배경 생성부(130)로부터 공급된 배경치와, 신호선(129)을 통해 화소 선택부(120)로부터 공급된 화소치와의 사이의 거리를 산출한다. 또한, 이 경우의 거리는, 예를 들면 색 공간(color space)상의 거리 등을 의미한다.
상위도 산출부(142)는, 거리 산출부(141)에 의하여 산출된 거리에 따라서, 배경치와 입력화상의 화소치와의 상위도를 산출한다. 즉, 이 상위도 산출부(142)는, 입력화상에 대하여 동 피사체와 배경을 구별하고, 양자가 다른 것인 것을 상위도로서 나타내는 것이다. 상위도는, 예를 들면, 동 피사체에 대하여 「1」, 배경에 대하여 「0」이 부여되도록 산출하는 것이지만, 양자를 완전하게는 구별할 수 없는 경우에는, 그 중간치를 취하기도 한다.
상위도를 산출할 때, 상위도 산출부(142)는, 화상의 품질에 의한 오차를 고려하고, 배경과 동 피사체를 구별하기 위한 거리의 임계치(거리 임계치)를 상정한다. 즉, 배경치와 입력화상의 화소치와의 사이의 거리가 거리 임계치 이내이면 양자를 완전하게는 구별할 수 없는 것으로서 취급하고, 거리 임계치를 넘는 경우에는 양자는 완전하게 구별할 수 있는 것으로서 취급한다. 그 결과, 예를 들면, 배경치와 입력화상의 화소치와의 사이의 거리가 거리 임계치를 넘는 경우에는 상위도로서 최대치의 「1」이 산출되며, 거리 임계치 이내의 경우에는 거리에 비례하도록 상위도가 산출된다. 또한, 거리 임계치는, 거리 임계치 설정부(102)에 미리 설정된다.
도 9는, 본 발명의 실시의 형태에 있어서의 화상처리회로(23)의 제 1의 실시예의 궤적 합성부(150)의 제 1의 구성 예를 나타내는 도면이다. 이 궤적 합성부(150)는, 궤적 합성비율 생성부(151)와, 궤적 합성치 산출부(152)와, 궤적 합성치 보관유지부(153)를 갖춘다.
궤적 합성비율 생성부(151)는, 신호선(149)을 통해 상위도 생성부(140)로부터 공급된 상위도에 의거하여, 입력화상의 화소치를 궤적으로서 합성하는 비율(궤적 합성비율)을 생성한다. 이 궤적 합성비율은, 예를 들면, 상위도에 비례하도록 정해져도 좋고, 또, 그 화소의 근방의 상위도도 고려하여 정해져도 좋다.
궤적 합성치 보관유지부(153)는, 궤적 합성부(150)의 출력화상의 화소치(궤적 합성치)를 보관유지한다. 궤적 합성치 산출부(152)는, 궤적 합성비율 생성부(151)에 의하여 생성된 궤적 합성비율에 따라서, 궤적 합성치 보관유지부(153)에 보관유지된 화소치에 대하여 입력화상의 화소치를 합성한다. 즉, 궤적 합성치 보관유지부(153)에 보관유지되는 궤적 합성치는, 궤적 합성치 산출부(152)에 의하여 수시 갱신되어 가게 된다.
여기에서, 궤적 합성비율을 β,j번째의 입력화상에 의하여 갱신된 후의 궤적 합성치를 Sj, k(=j＋1)번째의 입력화상을 Ik,k번째의 입력화상에 의하여 갱신된 후의 궤적 합성치를 Sk로 하면,
Sk=β×Ik＋(1－β)×Sj
가 된다. 단, j 및 k는 정수이고, β, Ik, Sj 및 Sk는 실수이다.
궤적 합성비율(β)에 의한 효과를 설명하기 위하여, 도 10(a), 도 10(b), 도 10(c), 도 10(d) 및 도 10(e)의 차례로 촬상된 촬상 화상을 입력화상으로서 상정한다. 궤적 합성비율(β)로서, 상위도가 큰 동 피사체 영역에는 「1」, 상위도가 작은 배경 영역에는 「0」을 주었을 경우에는, 합성시에 배경과 동 피사체가 섞이는 것이 없기 때문에, 도 11(a)과 같이 동 피사체의 궤적이 모두 진하게 표시된다.
한편, 궤적 합성비율(β)로서, 동 피사체 영역에는 「1」, 배경 영역에는 「0.3」내지「0.5」정도를 주었을 경우에는, 합성될 때마다 배경이 동 피사체에 섞여 가기 때문에, 도 11(b)과 같이 동 피사체의 궤적은 낡은 것일수록 얇게 표시된다.
도 12는, 본 발명의 실시의 형태에 있어서의 화상처리회로(23)의 제 1의 실시예의 궤적 합성부(150)의 제 2의 구성 예를 나타내는 도면이다. 이 궤적 합성부(150)는, 갱신 판정부(154)와 최신 프레임번호 보관유지부(155)와 궤적 합성치 보관유지부(156)를 갖춘다. 이 궤적 합성부(150)의 제 2의 구성 예는, 입력화상 (110)(I1~In)이 촬상순서에 입력되지 않는 경우를 고려하여, 각 화소 위치에 있어서의 새로운 화소치만이 갱신되도록 제어한다. 즉, 입력화상(110)의 각각에 대하여 낡은 순서로 오름차순의 연속 번호를 프레임번호로서 부여했을 경우, 이 프레임번호가 클수록 새롭게 된다. 또한, 이 프레임번호는, 신호선(129)에 의하여 화소치와 함께 공급되는 것으로 한다.
궤적 합성치 보관유지부(156)는, 궤적 합성치 보관유지부(153)와 같으며, 궤적 합성치를 보관유지한다. 단, 이 제 2의 구성 예에서는, 신호선(139)을 통해 공급된 배경치를 미리 초기(初期)치로서 보관유지하고 있는 것으로 한다.
최신 프레임번호 보관유지부(155)는, 현재의 화소 위치에 있어 그때까지 입력된 입력화상(110)의 프레임번호의 최대치를 보관유지한다.
갱신 판정부(154)는, 신호선(129)에 의하여 공급된 프레임번호와 최신 프레임번호 보관유지부(155)에 보관유지된 프레임번호를 비교하여, 신호선(129)에 의하여 공급된 프레임번호가 새로우면, 배경이 아닌 것을 조건으로서, 신호선(129)에 의하여 공급된 화소치를 궤적 합성치 보관유지부(156)에 보관유지시킨다. 단, 갱신 판정부(154)는, 각 화소 위치에 있어서의 최초의 입력화상이 선택되기 전에, 신호선(139)을 통해 공급된 배경치를 궤적 합성치 보관유지부(156)의 초기치로서 보관유지시킨다. 이것으로서, 궤적 합성치 보관유지부(156)에는, 최신이면서 배경이 아닌 화소치만이 갱신되며, 제일 새로운 시각의 동 피사체가 최종적인 궤적 합성치가 되기 때문에, 시계열 순서를 고려한 궤적 합성치를 얻을 수 있다.
도 13은, 본 발명의 실시의 형태에 있어서의 화상처리회로(23)의 제 1의 실시예의 궤적 합성부(150)의 제 3의 구성 예를 나타내는 도면이다. 이 궤적 합성부(150)는, 갱신 판정부(157)와, 최대 상위도 보관유지부(158)와, 궤적 합성치 보관유지부(156)를 갖춘다. 궤적 합성치 보관유지부(156)는, 궤적 합성부(150)의 제 2의 구성 예의 것과 같다.
최대 상위도 보관유지부(158)는, 현재의 화소 위치에 있어서의 그때까지 입력된 상위도의 최대치를 보관유지한다.
갱신 판정부(157)는, 신호선(149)에 의하여 공급된 상위도와 최대 상위도 보관유지부(158)에 보관유지된 상위도를 비교하여, 신호선(129)에 의하여 공급된 상위도가 크면, 신호선(129)에 의하여 공급된 화소치를 궤적 합성치 보관유지부(156)에 보관유지시킨다. 이것으로서, 궤적 합성치 보관유지부(156)에는, 가장 상위도가 큰 화소치만이 갱신되며, 동 피사체가 겹치는 영역에 있어서는 상위도 보다 큰 궤적이 반영된다.
도 14는, 본 발명의 실시의 형태에 있어서의 촬상장치의 화상처리회로(23)의 제 2의 실시예를 나타내는 도면이다. 이 제 2의 실시예에 의한 화상처리회로(23)는, 궤적 화소 선택부(121)와, 배경 화소 선택부(122)와, 배경 생성부(130)와, 상위도 생성부(140)와, 궤적 합성부(150)와, 궤적 합성화상표시부(190)를 갖추고 있다. 즉, 도 2의 제 1의 실시예에 의한 화상처리회로(23)의 화소 선택부(120)가, 이 제 2의 실시예에서는 궤적 화소 선택부(121) 및 배경 화소 선택부(122)로 나누어져 있는 점에서, 양자는 다르게 되어있다.
배경 화소 선택부(122)는, 시계열에 촬상된 n매의 입력화상(110)(I1~In)에 있어서 대응하는 화소 위치의 n개의 화소치 중에서 배경치의 생성에 필요한 화소치를 선택한다. 제 1의 실시예에서는 n매의 모두를 배경치의 생성을 위하여 선택하고 있지만, 이 제 2의 실시예에서는 n매 중에서 솎아내어 이용하는 것으로서 배경치의 생성을 위한 처리를 간략화한다. 예를 들면, 배경 화소 선택부(122)에 의하여 선택되는 화소치를 「n／10」매로 솎아내는 것으로서, 처리의 고속화를 도모할 수 있다.
궤적 화소 선택부(121)는, 배경 이외의 화소치, 즉 동 피사체의 궤적의 화소치를 선택한다. 이 궤적 화소 선택부(121)는, 제 1의 실시예에 있어서의 화소 선택부(120)와 같고,n매의 입력화상 110(I1~In)에 있어서 대응하는 화소 위치의 n개의 화소치를 선택한다.
이와 같이, 이 제 2의 실시예에 의한 화상처리회로(23)에서는, 동 피사체와 비교하여 배경의 변화의 빈도가 낮은 것을 이용하고, 배경 화소 선택부(122)에 있어서 선택되는 화상을 솎아내는 것으로서, 배경 산출의 코스트(cost)를 억제하는 것이 가능해진다.
도 15는, 본 발명의 실시의 형태에 있어서의 촬상장치의 화상처리회로(23)의 제 3의 실시예를 나타내는 도면이다. 이 제 3의 실시예에 의한 화상처리회로(23)는, 프레임 선택부(220)와, 배경 생성부(230)와, 배경화상 보관유지부(260)와, 상위도 생성부(240)와, 궤적 합성부(250)와, 궤적 합성화상 보관유지부(270)와, 궤적 합성화상표시부(290)를 갖추고 있다. 제 1 및 제 2의 실시예에서는 동 피사체의 궤적을 1매의 궤적 합성화상에 표시하는 것을 상정하고 있었지만, 이 제 3의 실시예에서는 예를 들면 도 18이나 도 19와 같이 동 피사체의 이동하는 도중의 상태를 복수 매의 궤적 합성화상으로서 표시하는 것을 상정한다.
프레임 선택부(220)는, 입력화상(111)으로 시계열 순서로 p×q화소로 이루어지는 화상(It)을 프레임으로서 차례차례 선택한다. 선택된 프레임은, 신호선(229)을 통해, 배경 생성부(230), 상위도 생성부(240) 및 궤적 합성부(250)에 차례차례 공급되어 간다.
배경화상 보관유지부(260)는, p×q화소로 이루어지는 배경화상을 보관유지한다. 이 배경화상 보관유지부(260)에 보관유지된 배경화상은, 신호선(269)을 통해 배경 생성부(230)에 공급된다. 배경 생성부(230)는, 신호선(269)을 통해 배경 생성부(230)로부터 공급된 배경화상(Bt－1)의 화소치 및 신호선(229)을 통해 프레임 선택부(220)로부터 공급된 프레임(It)의 화소치에 의거하여 새로운 배경화상(Bt)을 생성한다. 즉, 배경 생성부(230)는, 배경화상 보관유지부(260)에 보관유지되는 배경화상을 새로운 프레임에 의하여 갱신하여 감으로써, 배경화상 보관유지부(260)에 그 시점의 배경화상을 보관유지시킨다. 생성된 배경화상은, 신호선(239)을 통해, 상위도 생성부(240) 및 배경화상 보관유지부(260)에 공급된다.
상위도 생성부(240)는, 신호선(239)을 통해 배경 생성부(230)로부터 공급된 배경화상의 화소치와 신호선(229)을 통해 프레임 선택부(220)로부터 공급된 프레임의 화소치와의 화소 위치 마다의 상위도를 생성한다. 즉, 상위도 생성부(240)는, p×q조의 대응하는 화소치끼리의 거리를 산출하여, p×q조 만큼의 상위도를 생성한다. 이 상위도 생성부(240)의 내부구성은, 도 8의 상위도 생성부(140)와 같다.
궤적 합성화상 보관유지부(270)는, p×q화소로 이루어지는 궤적 합성화상을 보관유지한다. 이 궤적 합성화상 보관유지부(270)에 보관유지된 궤적 합성화상은, 신호선(279)을 통해 궤적 합성부(250)에 공급된다. 궤적 합성부(250)는, 신호선(279)을 통해 궤적 합성화상 보관유지부(270)로부터 공급된 궤적 합성화상 (St－1)의 화소치와 신호선(229)을 통해 프레임 선택부(220)로부터 공급된 프레임(It)의 화소치를 합성하여 새로운 궤적 합성화상(St)을 생성한다. 즉, 궤적 합성부(250)는, 궤적 합성화상 보관유지부(270)에 보관유지되는 궤적 합성화상을 새로운 프레임에 의하여 갱신하여 감으로써, 궤적 합성화상 보관유지부(270)에 그 시점의 궤적 합성화상을 보관유지시킨다.
궤적 합성화상표시부(290)는, 신호선(259)을 통해 궤적 합성부(250)로부터 공급된 궤적 합성화상(St)을 표시한다. 이 궤적 합성화상표시부(290)는, 표시부(43)를 그대로 이용해도 좋고, 또, 촬상장치에 접속된 다른 표시장치에 의하여 실현되어도 좋다.
도 16은, 본 발명의 실시의 형태에 있어서의 화상처리회로(23)의 제 3의 실시예의 배경 생성부(230)의 일구성 예를 나타내는 도면이다. 이 배경 생성부(230)는, 배경 합성비율 생성부(232)와 배경화상 갱신부(233)를 갖추고 있다.
배경 합성비율 생성부(232)는, 신호선(229)을 통해 프레임 선택부(220)로 공급된 프레임과 신호선(269)을 통해 배경화상 보관유지부(260)로부터 공급된 배경화상으로 배경화상의 합성비율(배경 합성비율α)을 생성한다. 배경 합성비율(α)의 구체적인 산출 방법으로서는, 예를 들면, 프레임(It)의 화소치와 배경화상(Bt－1)의 화소치와의 사이의 상위도가 작은 경우에는 프레임(It)의 화소치의 기여도가 크게 될수록 배경 합성비율을 결정하고, 또는, 시간적으로 근방의 상위도의 분산이 작으면 프레임(It)의 화소치의 기여도를 크게 하는 등, 상위도에 의거하여 동적으로 합성비율을 결정하는 방법이 생각된다. 또, 미리 고정치로서 배경 합성비율(α)을 정해 두어도 좋다.
배경화상 갱신부(233)는, 배경 합성비율 생성부(232)에 의하여 생성된 배경 합성비율(α)에 따라서, 신호선(269)을 통해 배경화상 보관유지부(260)로부터 공급된 배경화상을, 신호선(229)을 통해 프레임 선택부(220)로부터 공급된 프레임에 의하여 갱신한다.
여기에서, 좌표(x, y)에 있어서의 프레임(It)의 화소치를 I(x, y, t), 같은 배경화상(Bt－1)의 화소치를 B(x, y, t－1)로 하면, 새로운 배경화상(Bt)의 화소치 B(x, y, t)는, 다음 식에 의하여 얻을 수 있다.
B(x, y, t)=α×I(x, y, t)＋(1－α)×B(x, y, t－1)
배경화상 갱신부(233)는, 위 식의 처리를 모든 화소에 대하여 실시한다.
또한, 상기의 실시의 형태에서는, 프레임 선택부(220)가 1개의 화상(It)을 프레임으로서 선택하고 있지만, 변형 예로서 복수의 화상에 의거하여 프레임을 배경 생성부(230)에 공급하도록 하여도 좋다. 예를 들면, 화상(It)을 중심으로 한 전후의 화상(It－i) 내지 (It＋i)에 의거하여, 도 3 혹은 도 6의 예와 같이, 그러한 빈도로부터 잠정적인 배경화상을 구하고, 그 잠정적인 배경화상을 배경 생성부(230)에 공급할 수 있다. 이것으로서, 배경 생성부(230)에 있어서 정밀도가 높은 배경 생성을 실현하는 것을 기대할 수 있다.
도 17은, 본 발명의 실시의 형태에 있어서의 화상처리회로(23)의 제 3의 실시예의 궤적 합성부(250)의 일구성 예를 나타내는 도면이다. 이 궤적 합성부(250)는, 궤적 합성비율 산출부(251)와, 궤적 합성치 갱신부(252)를 갖추고 있다.
궤적 합성비율 산출부(251)는, 신호선(249)을 통해 상위도 생성부(240)로부터 공급된 상위도에 의거하여 궤적 합성의 합성비율(궤적 합성비율β)을 생성한다. 궤적 합성비율(β)의 구체적인 산출방법으로는, 예를 들면, 프레임(It)의 화소치와 배경화상(Bt－1)과의 상위도가 큰 경우에는, 프레임(It)의 화소치의 기여도가 크게 되는 궤적 합성비율을 결정하는 것이 생각된다. 이것으로서, 배경과 다른 영역만큼 궤적 합성치로의 기여율이 높아지고, 보다 확실하다고 한 동 피사체의 궤적을 얻을 수 있다.
궤적 합성치 갱신부(252)는, 궤적 합성비율 산출부(251)에 의하여 생성된 궤적 합성비율(β)에 따라서, 신호선(279)을 통해 궤적 합성화상 보관유지부(270)로부터 공급된 궤적 합성화상을, 신호선(229)을 통해 프레임 선택부(220)로부터 공급된 프레임에 의하여 갱신한다.
여기에서, 좌표(x, y)에 있어서의 프레임(It)의 화소치를 I(x, y, t), 같은 궤적 합성화상(St－1)의 화소치를 S(x, y, t－1)로 하면, 새로운 궤적 합성화상(St)의 화소치 S(x, y, t)는, 다음 식에 의하여 얻을 수 있다.
S(x, y, t)=β×I(x, y, t)＋(1－β)×S(x, y, t－1)
궤적 합성치 갱신부(252)는, 위 식의 처리를 모든 화소에 대하여 실시한다.
또, 다른 궤적 합성의 수법으로서, 상위도에 의거하며 2 종류의 산출 규칙을 이용하여 궤적 합성비율을 산출하는 것이 생각된다. 즉, 상위도가 작은 배경영역 에 있어서의 궤적 합성비율의 산출규칙을, 상위도가 큰 동 피사체 영역의 산출규칙과는 별도로 하고, 상위도가 작아도 어느 정도의 궤적 합성비율을 준다. 이것에 의해, 동 피사체 궤적영역이 오래되면 될수록 배경의 기여율이 높아지고, 동 피사체의 궤적이 페이드아웃 된 것처럼 보이게 할 수 있다. 즉, 새로운 시각의 궤적은 확실하지만, 시간이 지남에 따라서 궤적이 배경으로 용해하여 페이드아웃해 나가도록 하는 것이 가능해진다.
예를 들면, 도 10과 같은 5매의 프레임을 합성할 때, 궤적을 확실히 남기고 싶은 경우에는, 궤적 합성비율(β)로서, 상위도가 큰 동 피사체 영역에는 「1」, 상위도가 작은 배경 영역에는「0」을 주면, 도 18과 같은 결과를 얻을 수 있다. 한편, 궤적을 페이드아웃 시키고 싶은 경우에는, 궤적 합성비율(β)로서 동 피사체 영역에는「1」, 배경 영역에는「0.3」내지 「0.5」정도를 주면, 도 19와 같은 결과를 얻을 수 있다.
도 20은, 본 발명의 실시의 형태에 있어서의 촬상장치의 화상처리회로(23)의 제 4의 실시예를 나타내는 도면이다. 이 제 4의 실시예에 의한 화상처리회로(23)는, 궤적 화소 프레임 선택부(221)와, 배경 화소 프레임 선택부(222)와, 배경 생성부(231)와, 배경화상 보관유지부(261)와, 상위도 생성부(240)와, 궤적 합성부(250)와, 궤적 합성화상 보관유지부(270)와, 궤적 합성화상표시부(290)를 갖추고 있다. 이 제 4의 실시예는, 동 피사체의 이동하는 도중의 상태를 복수 매의 궤적 합성화상으로서 표시하는 점에서는 제 3의 실시예와 같다. 단, 제 3의 실시예에서는 입력화상(111)으로의 프레임이 미리 고정되어 있지 않은 것을 상정했지만, 이 제 4의 실시예에서는 n매의 입력화상(110)이 미리 판명하고 있는 것을 상정한다.
배경 화소 프레임 선택부(222)는, 시계열에 촬상된 n매의 입력화상 (110)(I1~In)에 있어서 대응하는 화소 위치의 n개의 화소치 중에서 배경치의 생성에 필요한 화소치를 선택한다. 제 3의 실시예에서는 n매의 모두를 배경치의 생성을 위하여 선택하고 있었지만, 이 제 4의 실시예에서는 n매 중에서 솎아내 이용하는 것으로서 배경치의 생성을 위한 처리를 간략화한다. 예를 들면, 배경 화소 프레임 선택부(222)에 의하여 선택되는 화소치를 「n／10」매로 솎아내는 것으로서, 처리의 고속화를 도모할 수 있다.
배경 생성부(231)는, 배경 화소 프레임 선택부(222)로부터 공급된 화소치에 의거하여 배경치를 생성하는 것이고, 제 1의 실시예의 경우와 같은 구성에 의하여 실현된다.
배경화상 보관유지부(261)는, 배경 생성부(231)에 의하여 생성된 배경화상을 보관유지한다. 제 3의 실시예에서는 배경화상 보관유지부(260)에 보관유지된 배경화상을 배경 생성부(230)가 차례차례 갱신하고 있지만, 이 제 4의 실시예에서는 배경화상이 일단 생성되면, 특히 필요가 없는 한 변경되지 않는다.
궤적 화소 프레임 선택부(221)는, 시계열에 촬상된 n매의 입력화상 (110)(I1~In)에 있어서 대응하는 화소 위치의 n개의 화소치를 선택한다. 즉, 배경 화소 프레임 선택부(222)와는 다르고, 궤적 화소 프레임 선택부(221)는 솎아냄을 실시하는 일 없이 모든 입력화상을 선택한다.
또한, 이외의 구성은 제 3의 실시예의 경우와 같기 때문에, 여기에서는 설명을 생략한다.
이와 같이, 이 제 4의 실시예에서는, 배경화상의 프레임을 한 번만 산출하고, 그것을 이용하여 궤적 합성을 프레임 단위로 차례로 실시하기 때문에, 처리 코스트를 간략화할 수 있다 .
다음으로 본 발명의 실시의 형태에 있어서의 촬상장치의 동작에 대하여 도면을 참조하여 설명한다.
도 21은, 본 발명의 실시의 형태에 있어서의 촬상장치의 화상처리회로(23)의 제 1 및 제 2의 실시예에 의한 처리순서의 일례를 나타내는 흐름도이다.
우선, 배경의 생성대상이 되는 화소(프레임)가 선택된다(스텝S911). 이 처리는, 제 1의 실시예에서는 화소 선택부(120)에 의하여 실시되지만, 제 2의 실시예에서는 배경 화소 선택부(122)에 의하여 실시된다. 그리고, 이 선택된 화소(프레임)로부터 배경이 생성된다(스텝S912). 이 처리는, 배경 생성부(130)에 의하여 실시된다 .
다음으로, 궤적 합성의 대상이 되는 화소(프레임)가 선택된다(스텝S913). 이 처리는, 제 1의 실시예에서는 화소 선택부(120)에 의하여 실시되지만, 제 2의 실시예에서는 궤적 화소 선택부(121)에 의하여 실시된다. 그리고, 이 선택된 화소(프레임) 및 배경으로 양자의 상위도가 생성된다(스텝S914). 이 처리는, 상위도 생성부(140)에 의하여 실시된다.
그리고, 상위도에 의거하여 궤적 합성화상이 출력된다(스텝S915). 이 처리는, 궤적 합성부(150)에 의하여 실시된다.
도 22는, 본 발명의 실시의 형태에 있어서의 촬상장치의 화상처리회로(23)의 제 3의 실시예에 의한 처리순서의 일례를 나타내는 흐름도이다.
우선, 궤적 합성의 대상으로 이루어지는 프레임이 입력화상으로서 선택된다(스텝S931). 이 처리는, 프레임 선택부(220)에 의하여 실시된다. 그리고, 이 선택된 프레임에 의하여 배경화상이 갱신된다(스텝S932). 이 처리는, 배경 생성부(230)에 의하여 실시된다.
다음으로, 배경화상 및 입력화상으로부터 양자의 상위도가 생성된다(스텝S934). 이 처리는, 상위도 생성부(240)에 의하여 실시된다.
그리고, 상위도에 의거하여 궤적 합성화상이 갱신된다(스텝S935). 이 처리는, 궤적 합성부(250)에 의하여 실시된다.
궤적 합성의 대상으로 이루어지는 프레임이 모두 선택되었을 경우에는 종료가 되고, 그렇지 않은 경우는 스텝(S931) 이후의 처리가 반복된다(스텝S936). 스텝(S931)에 있어서 시계열 순서로 프레임을 선택하면, 스텝(S935)에 있어서 시계열 순서로 궤적 합성이 실시되고, 그것을 출력하는 것으로서, 궤적 동영상의 재생이 가능하게 된다.
도 23은, 본 발명의 실시의 형태에 있어서의 촬상장치의 화상처리회로(23)의 제 4의 실시예에 의한 처리순서의 일례를 나타내는 흐름도이다.
우선, 배경 생성의 대상이 되는 프레임이 모두 선택된다(스텝S941). 이 처 리는, 배경 화소 프레임 선택부(222)에 의하여 실시된다. 그리고, 이 선택된 프레임에 의하여 배경화상이 생성된다(스텝S942). 이 처리는, 배경 생성부(231)에 의하여 실시된다.
다음으로, 궤적 합성의 대상으로 이루어지는 프레임이 입력화상으로서 선택된다(스텝S943). 이 처리는, 궤적 화소 프레임 선택부(221)에 의하여 실시된다. 그리고, 배경화상 및 입력화상으로부터 양자의 상위도가 생성된다(스텝S944). 이 처리는, 상위도 생성부(240)에 의하여 실시된다.
그리고, 상위도에 의거하여 궤적 합성화상이 갱신된다(스텝S945). 이 처리는, 궤적 합성부(250)에 의하여 실시된다.
궤적 합성의 대상으로 이루어지는 프레임이 모두 선택되었을 경우에는 종료가 되고, 그렇지 않은 경우는 스텝(S943) 이후의 처리가 반복된다(스텝S946).
이와 같이, 본 발명의 실시의 형태에 의하면, 입력화상의 화소치와 배경화상의 화소치와의 사이의 상위도를 생성하고, 이 상위도에 따라서 입력화상의 화소치를 출력화상으로서의 궤적 합성화상에 반영시킴으로써, 동 피사체의 궤적 정지화면이나 궤적 동영상을 생성할 수 있다.
또한, 본 발명의 실시의 형태에서는, 궤적 합성화상을 생성할 때에(그 직전에) 배경화상을 생성하는 구성 예에 대하여 설명했지만, 미리 생성되고 있던 배경화상을 이용하도록 하여도 좋다. 예를 들면, 그림(24)의 변형 예와 같게, 배경화상 보관유지부(261)에 보관유지되어 상위도 생성부(240)에 공급된 배경화상을 배경화상 보존부(206)에 보존해 둔다. 그리고, 그 후, 궤적 합성화상을 생성할 때에 는, 배경 생성부(231)에 의한 배경화상의 생성을 실시하지 않고, 배경화상 보존부(206)에 보존되어 있던 배경화상을 복원하여 배경화상 보관유지부(261)에 보관유지시킨다.
이것으로서, 같은 입력화상에 대하여 궤적 합성화상을 몇 번이나 생성하는 경우, 배경화상의 생성을 생략할 수 있다. 배경 생성을 위한 계산 코스트는, 궤적 합성화상의 생성의 경우보다도 높아지는 것이 일반적이고, 이것을 생략하는 것에 의한 효과는 높다. 예를 들면, 연사촬영된 복수 프레임, 궤적 합성화상 및 배경화상을 보존한 후, 표시부(43)에 있어서 대상 신의 궤적 동영상의 재생을 실시하는 경우 등에 유효하다.
도 24에 있어서, 궤적 화소 프레임 선택부(221), 배경 화소 프레임 선택부(222), 배경 생성부(231), 배경화상 보관유지부(261), 상위도 생성부(240), 궤적 합성부(250) 및 궤적 합성화상 보관유지부(270)의 구성 및 동작은, 도 20의 예와 같다. 이 예에서는, 화상처리회로(23)가, A／D변환 회로(22)로부터 신호선(201)을 통해 공급된 입력화상을 받고, 그 입력화상, 배경화상 및 궤적 합성화상을, 각각 신호선(207, 208 및 209)을 통해 후단의 D／A변환 회로(41)나 부호화／복호기(31)에 공급하는 것을 상정하고 있다.
카메라 신호 처리부(202)는, A／D변환 회로(22)에 의하여 디지털 신호로 변환된 입력화상에 대하여, RGB동시화 처리, 컬러매트릭스 처리 및 감마처리 등을 가하고, 그 결과를 출력한다. 통상의 화상출력의 경우는, 이 카메라 신호 처리부(202)의 결과가 신호선(207)을 통해 그대로 출력된다.
입력화상 보관유지부(203)는, 궤적 화소 프레임 선택부(221) 및 배경 화소 프레임 선택부(222)에 공급하는 입력화상을 보관유지한다. 여기에서는, 상술의 제 4의 실시예와 같게, n매의 입력화상(I1~In)이 보관유지되는 것으로 한다. 입력화상 보존부(205)는, 카메라 신호 처리부(202)로부터 공급된 입력화상을 보존한다. 입력화상 보관유지부(203)는, 촬영중의 화상을 입력화상으로 하는 경우에는 카메라 신호 처리부(202)로부터 공급된 화상을 입력화상으로서 보관유지하고, 과거에 보존된 화상을 입력화상으로 하는 경우에는 입력화상 보존부 (205)에 보존된 화상을 복원하여 입력화상으로서 보관유지한다.
배경화상 보존부(206)는, 배경화상 보관유지부(261)에 보관유지된 배경화상을 보존한다. 배경화상 보존부(206)는, 신호선(208)을 통해 배경화상 보관유지부(261)로부터 공급된 배경화상을 일단 보존한다. 그 후, 배경화상 보존부(206)에 보존된 배경화상은, 필요에 따라서 복원되어 배경화상 보관유지부(261)에 보관유지된다. 즉, 궤적 합성화상을 생성할 때에(그 직전에) 배경화상을 생성하는 경우에는, 배경화상 보관유지부(261)는 배경 생성부(231)로부터 공급되는 배경화상을 보관유지한다. 한편, 이전에 보존한 배경화상을 이용하여 궤적 합성화상을 생성하는 경우에는, 배경화상 보관유지부(261)는 배경화상 보존부(206)에 보존된 배경화상을 복원하여 보관유지한다.
궤적 합성부(250)로부터 출력된 궤적 합성화상은, 궤적 합성화상 보관유지부(270)에 보관유지됨과 동시에, 신호선(209)을 통해 후단의 D／A변환 회로(41)나 부호화／복호기(31)에 공급된다.
도 25는, 본 발명의 실시의 형태에 있어서의 촬상장치의 조작 관련의 구성예를 나타내는 도면이다. 여기에서는, 조작입력 접수부(52)에 촬영조작 접수부(421) 및 촬영간격 설정부(422)가 포함되며, 화상처리회로(23)에 피사체 상태 검출부(431)가 포함되며, 제어부(54)에 촬영개시 검출부(441), 촬영종료 검출부(442), 촬영간격 취득부(443) 및 촬영 제어부(444)가 포함되는 것과 상정한다. 무엇보다, 이들의 기능은 다른 회로 등에 의하여 실현될 수 있다.
촬영조작 접수부(421)는, 사용자에 의한 촬영을 위해 조작을 받아들이는 것이고, 예를 들면, 디지털 카메라에 있어서의 셔터버튼이나 디지털 비디오 카메라에 있어서의 동영상 촬영버튼 등에 대응한다. 촬영간격 설정부(422)는, 촬영 시의 각 프레임의 시간적 간격이 설정되는 것이다. 촬영간격은, 연사 모드에 있어서 이용되는 것이고, 사용자에 의하여 미리 설정되며, 혹은, 고정적으로 설정된다. 촬영간격 취득부(443)는, 촬영간격 설정부(422)로 설정된 촬영간격을 취득한다.
피사체 상태 검출부(431)는, 입력화상에 있어서의 피사체 상태를 검출한다. 피사체 상태 검출부(431)는, 시간적으로 연속하는 입력화상의 프레임에 대하여 각 화소의 차분을 생성하고, 그 차분(差分)이 없으면 피사체는 정지한 상태라고 판단하고, 차분이 있으면 피사체는 움직이고 있는 상태라고 판단한다.
촬영개시 검출부(441)는, 촬영조작 접수부(421)에 있어서 받아들일 수 있었던 촬영조작에 의거하여 촬영의 개시가 지시된 것을 검출한다. 촬영종료 검출 부(442)는, 촬영조작 접수부(421)에 있어서 받아들일 수 있었던 촬영조작에 의거하여 촬영의 종료가 지시된 것을 검출한다. 예를 들면, 통상의 연사 모드에 있어서는, 셔터버튼이 아래로 눌러지면 촬영의 개시를 의미하고, 셔터버튼이 아래로 눌려짐이 해제되면 촬영의 종료를 의미한다.
또, 피사체의 상태에 주목하여 연사의 제어를 실시하는 것도 가능하다. 예를 들면, 셔터버튼이 아래로 눌러져 있는 상태에서, 피사체 상태 검출부(431)에 의하여 피사체가 정지한 상태라고 판단되었을 경우에 촬영을 종료하도록 제어하여도 좋다.
촬영 제어부(444)는, 촬영개시 검출부(441)에 의하여 촬영개시가 검출되고 나서 촬영종료 검출부(442)에 의하여 촬영종료가 검출될 때까지, 촬영간격 취득부(443)에 의하여 취득된 촬영간격으로 연속 촬영을 실시하도록 타이밍 생성기(51)를, 제어한다.
도 26은, 본 발명의 실시의 형태에 있어서의 촬상장치의 촬영 시의 처리순서의 일례를 나타내는 흐름도이다. 우선, 촬영개시 검출부(441)에 의하여 촬영의 개시가 검출되면(스텝S951), 촬영 간격 취득부(443)에 의하여 취득된 촬영간격에 의하여 촬영이 실시된다.(스텝S952). 이 촬영은, 촬영종료 검출부(442)에 의하여 촬영의 종료가 검출될 때까지 반복되며(스텝S954), 이 사이, 피사체 상태 검출부(431)에 의하여 피사체 상태가 검출된다(스텝S953).
촬영조작 접수부(421)에 있어서 셔터버튼이 아래로 눌러져 있음의 해제를 받아들일 수 있었을 경우나, 피사체 상태 검출부(431)에 있어서 피사체가 정지한 상 태인 것이 검출되었을 경우에 촬영의 종료가 검출된다(스텝S954).
촬영이 종료하면, 배경 생성부(231)에 있어서 배경화상이 생성된다(스텝S95 5). 즉, 도 23과 같이 배경 생성의 대상이 되는 프레임이 모두 선택되며(스텝S941), 이 선택된 프레임에 의하여 배경화상이 생성된다(스텝S942).
그리고, 궤적 합성부(250)에 의하여 궤적 합성화상이 생성된다(스텝S956). 또, 입력화상이나 배경화상이, 각각 입력화상 보존부(205)나 배경화상 보존부(206)에 보존된다(스텝S957).
도 27은, 본 발명의 실시의 형태에 있어서의 촬상장치의 재생시의 처리순서의 일례를 나타내는 흐름도이다. 우선, 조작입력 접수부(52)에 의한 재생의 개시 지시가 검출되면(스텝S961), 재생방향 및 재생속도가 취득된다(스텝S962). 재생방향 및 재생속도는, 조작입력 접수부(52)에 의하여 받아들일 수 있는 것이다. 예를 들면, 순서 방향의 재생버튼, 역방향의 재생버튼 및 빨리감기 버튼 등이 상정된다.
스텝(S957)에 있어서 배경화상이 보존되고 있을 경우, 배경화상 보존부(206)로 배경화상이 복원되며 배경화상 보관유지부(261)에 보관유지된다(스텝S963). 또, 입력화상 보존부(205)로 입력화상이 복원되며 입력화상 보관유지부(203)에 보관유지된 후에, 스텝(S962)에서 취득된 재생방향의 시계열 순서로 입력화상 보관유지부(203)로 입력화상이 취득된다(스텝S964). 이것으로서, 궤적 합성부(250)에 대하여 궤적 합성화상이 생성되며(스텝S965), 스텝(S962)에서 취득된 재생속도에 의하여 재생을 한다(스텝S966). 이들 스텝(S964 내지 S966)의 처리는, 대상장면 의 모든 촬영 화상에 대하여 반복된다(스텝S967).
또한, 본 발명의 실시의 형태에서는, 촬상장치에 있어서의 화상 처리를 회로에 의하여 실현되는 한 종류에 대하여 설명했지만, 이 화상 처리의 내용은 소프트웨어에 의하여 실현되어도 좋다. 즉, 본 발명의 실시의 형태에 있어서 설명한 처리순서는, 이들 일련의 순서를 가지는 방법으로서 파악해도 좋고, 또, 이들 일련의 순서를 컴퓨터에 실행시키기 위한 프로그램 내지 그 프로그램을 기억하는 기록 매체로서 파악해도 좋다. 또, 촬상장치와 일체화한 화상처리회로뿐만이 아니라, 독립한 화상 처리장치로서 실현될 수도 있다. 또한, 화상 재생장치나 휴대 기기에 내장시키도록 하여도 좋다.
또, 본 발명의 실시의 형태는 본 발명을 구현화하기 위한 일례를 나타낸 것이고, 이하에 나타낸 바와 같이 특허 청구의 범위에 있어서의 발명 특정 사항과 각각 대응 관계를 가지지만, 이것으로 한정되는 것이 아니고 본 발명의 요지를 일탈하지 않는 범위에 있어서 여러 가지의 변형을 가할 수 있다.
즉, 청구항 1에 있어서, 배경 생성수단은 예를 들면 배경 생성부(130)에 대응한다. 또, 상위도 생성수단은 예를 들면 상위도 생성부(140)에 대응한다. 또, 출력화상 생성수단은 예를 들면 궤적 합성부(150)에 대응한다.
또, 청구항 3에 있어서, 배경 화소치 보관유지수단은 예를 들면 배경치 보관유지부(138)에 대응한다. 또, 출현빈도 보관유지수단은 예를 들면 배경빈도 보관유지부(137)에 대응한다. 또, 기준치 설정 수단은 예를 들면 기준치 설정부(133)에 대응한다. 또, 배경후보 생성수단은 예를 들면 배경 판정부(134) 및 배경치 산출부(135)에 대응한다. 또, 갱신 판정수단은 예를 들면 갱신 판정부(136) 및 배경빈도 카운터(1361)에 대응한다.
또, 청구항 4에 있어서, 출력화상 보관유지수단은 예를 들면 궤적 합성치 보관유지부(153)에 대응한다. 또, 합성비율 생성수단은 예를 들면 궤적 합성비율 생성부(151)에 대응한다. 또, 합성치 산출수단은 예를 들면 궤적 합성치 산출부(152)에 대응한다.
또, 청구항 5에 있어서, 출력화상 보관유지수단은 예를 들면 궤적 합성치 보관유지부(156)에 대응한다. 또, 화상번호 보관유지수단은 예를 들면 최신 프레임번호 보관유지부(155)에 대응한다. 또, 갱신 판정수단은 예를 들면 갱신 판정부(154)에 대응한다.
또, 청구항 6에 있어서, 출력화상 보관유지수단은 예를 들면 궤적 합성치 보관유지부(156)에 대응한다. 또, 상위도 보관유지수단은 예를 들면 최대 상위도 보관유지부(158)에 대응한다. 또, 갱신 판정수단은 예를 들면 갱신 판정부(157)에 대응한다.
또, 청구항 7에 있어서, 화상선택수단은 예를 들면 배경 화소 선택부(122)에 대응한다. 또, 배경 생성수단은 예를 들면 배경 생성부(130)에 대응한다. 또, 상위도 생성수단은 예를 들면 상위도 생성부(140)에 대응한다. 또, 출력화상 생성수단은 예를 들면 궤적 합성부(150)에 대응한다.
또, 청구항 8에 있어서, 배경화상 보관유지수단은 예를 들면 배경화상 보관유지부(260)에 대응한다. 또, 출력화상 보관유지수단은 예를 들면 궤적 합성화상 보관유지부(270)에 대응한다. 또, 배경 생성수단은 예를 들면 배경 생성부(230)에 대응한다. 또, 상위도 생성수단은 예를 들면 상위도 생성부(240)에 대응한다. 또, 출력화상 합성수단은 예를 들면 궤적 합성부(250)에 대응한다.
또, 청구항 9에 있어서, 화상선택수단은 예를 들면 배경 화소 프레임 선택부(222)에 대응한다. 또, 배경 생성수단은 예를 들면 배경 생성부(231)에 대응한다. 또, 배경화상 보관유지수단은 예를 들면 배경화상 보관유지부(261)에 대응한다. 또, 출력화상 보관유지수단은 예를 들면 궤적 합성화상 보관유지부(270)에 대응한다. 또, 상위도 생성수단은 예를 들면 상위도 생성부(240)에 대응한다. 또, 출력화상 합성수단은 예를 들면 궤적 합성부(250)에 대응한다.
또, 청구항 10 또는 청구항 14에 있어서, 복수의 입력화상의 대응하는 화소 위치의 각각에 대하여 입력화상의 화소치 중에서 소정의 분포를 가지는 화소치를 화소 위치의 배경 화소치로서 생성하는 순서는 예를 들면 스텝(S912)에 대응한다. 또, 화소 위치의 각각에 대하여 입력화상의 화소치가 배경 화소치와 상위한 정도를 나타내는 상위도를 생성하는 순서는 예를 들면 스텝(S914)에 대응한다. 또, 화소 위치의 각각에 대하여 상위도에 따라서 입력화상의 화소치를 반영시켜 출력화상의 화소치를 생성하는 순서는 예를 들면 (S915)에 대응한다.
또, 청구항 11 또는 청구항 15에 있어서, 복수의 입력화상으로부터 소정의 수의 입력화상을 선택화상으로서 선택하는 순서는 예를 들면 스텝(S911)에 대응한다. 또, 선택화상의 대응하는 화소 위치의 각각에 대하여 선택화상의 화소치 중에서 소정의 분포를 가지는 화소치를 화소 위치의 배경 화소치로서 생성하는 순서 는 예를 들면 스텝(S912)에 대응한다. 또, 화소 위치의 각각에 대하여 입력화상의 화소치가 배경 화소치와 상위한 정도를 나타내는 상위도를 생성하는 순서는 예를 들면 스텝(S914)에 대응한다. 또, 화소 위치의 각각에 대하여 상위도에 따라서 입력화상의 화소치를 반영시켜 출력화상의 화소치를 생성하는 순서는 예를 들면 스텝(S915)에 대응한다.
또, 청구항 12 또는 청구항 16에 있어서, 배경화상 보관유지수단은 예를 들면 배경화상 보관유지부(260)에 대응한다. 또, 출력화상 보관유지수단은 예를 들면 궤적 합성화상 보관유지부(270)에 대응한다. 또, 배경화상 보관유지수단에 보관유지되는 배경화상의 화소치를 시계열에 입력되는 입력화상의 대응하는 화소 위치의 화소치에 의하여 소정의 비율에 의거하여 갱신하는 순서는 예를 들면 스텝(S932)에 대응한다. 또, 입력화상의 화소치가 배경 생성수단에 의하여 갱신된 배경화상의 대응하는 화소 위치의 화소치와 상위한 정도를 나타내는 상위도를 생성하는 순서는 예를 들면 스텝(S934)에 대응한다. 또, 출력화상의 화소치에 대하여 상위도에 따라서 입력화상의 대응하는 화소 위치의 화소치를 합성하여 새로운 출력화상의 화소치로서 출력화상 보관유지수단에 보관유지시키는 순서는 예를 들면 스텝(S935)에 대응한다.
또, 청구항 13 또는 청구항 17에 있어서, 배경화상 보관유지수단은 예를 들면 배경화상 보관유지부(261)에 대응한다. 또, 출력화상 보관유지수단은 예를 들면 궤적 합성화상 보관유지부(270)에 대응한다. 또, 복수의 입력화상으로부터 소정의 수의 입력화상을 선택화상으로서 선택하는 순서는 예를 들면 스텝(S941)에 대 응한다. 또, 선택화상의 대응하는 화소 위치의 각각에 대하여 선택화상의 화소치 중에서 소정의 분포를 가지는 화소치를 배경화상의 대응하는 화소 위치의 화소치로서 생성하여 배경화상 보관유지수단에 보관유지시키는 순서는 예를 들면 스텝(S942)에 대응한다. 또, 상위도 생성순서는 예를 들면 스텝(S944)에 대응한다. 또, 출력화상 합성순서는 예를 들면 스텝(S945)에 대응한다.
또, 청구항 18에 있어서, 화상선택수단은 예를 들면 배경 화소 프레임 선택부(222)에 대응한다. 또, 배경 생성수단은 예를 들면 배경 생성부(231)에 대응한다. 또, 배경화상 보관유지수단은 예를 들면 배경화상 보관유지부(261)에 대응한다. 또, 출력화상 보관유지수단은 예를 들면 궤적 합성화상 보관유지부(270)에 대응한다. 또, 상위도 생성수단은 예를 들면 상위도 생성부(240)에 대응한다. 또, 출력화상 합성수단은 예를 들면 궤적 합성부(250)에 대응한다. 또, 배경화상 보존수단은 예를 들면 배경화상 보존부(206)에 대응한다.
또, 청구항 19 또는 청구항 20에 있어서, 배경화상 보관유지수단은 예를 들면 배경화상 보관유지부(261)에 대응한다. 또, 배경화상 보존수단은 예를 들면 배경화상 보존부(206)에 대응한다. 또, 출력화상 보관유지수단은 예를 들면 궤적 합성화상 보관유지부(270)에 대응한다. 또, 복수의 입력화상으로부터 소정의 수의 입력화상을 선택화상으로서 선택하는 순서는 예를 들면 스텝(S941)에 대응한다. 또, 선택화상의 대응하는 화소 위치의 각각에 대하여 선택화상의 화소치 중에서 소정의 분포를 가지는 화소치를 배경화상의 대응하는 화소 위치의 화소치로서 생성하여 배경화상 보관유지수단에 보관유지시키는 순서는 예를 들면 스텝(S942)에 대 응한다. 또, 배경화상 보관유지수단에 보관유지된 배경화상을 배경화상 보존수단에 보존시키는 순서는 예를 들면 스텝(S957)에 대응한다. 또, 배경화상 보존수단에 보존된 배경화상을 배경화상 보관유지수단에 복원하고 보관유지시키는 순서는 예를 들면 스텝(S963)에 대응한다. 또, 상위도 생성순서는 예를 들면 스텝(S944)에 대응한다. 또, 출력화상 합성순서는 예를 들면 스텝(S945)에 대응한다.
본 발명에 의하면, 시계열에 촬상된 복수의 촬상 화상으로부터, 그 촬상 화상의 배경상태나, 동 피사체의 수, 크기, 변형, 색 등에 좌우되지 않고, 동 피사체의 궤적 합성화상을 생성한다고 하는 뛰어난 효과를 상주할 수 있다.

Claims (20)

  1. 화상 처리 장치에 있어서,
    복수의 입력 화상의 대응하는 화소 위치의 각각에 대해서, 상기 입력 화상의 화소치 중에서 소정의 분포를 가지는 화소치를 상기 화소 위치의 배경 화소치로서 생성하는 배경 생성 수단과,
    상기 화소 위치의 각각에 대해 상기 입력 화상의 화소치가 상기 배경 화소치와 상위한 정도를 나타내는 상위도를 생성하는 상위도 생성 수단과,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 상기 입력 화상의 화소치를 반영시켜 출력 화상의 화소치를 생성하는 출력 화상 생성 수단을 구비하며,
    상기 상위도 생성 수단은,
    상기 배경 화소치와 상기 입력 화상의 화소치와의 사이의 거리가 소정의 임계치 이내의 경우에는, 상기 거리에 비례하도록 상기 상위도를 생성하며,
    상기 출력 화상 생성 수단은,
    상기 출력 화상의 화소치를 보관 유지하는 출력 화상 보관 유지 수단과,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 합성 비율을 생성하는 합성 비율 생성 수단과,
    상기 화소 위치의 각각에 대해 상기 합성 비율에 따라 상기 입력 화상의 화소치를 상기 출력 화상 보관 유지 수단에 보관 유지된 상기 출력 화상의 화소치와 합성하고, 새로운 출력 화상의 화소치로서 상기 출력 화상 보관 유지 수단에 보관 유지시키는 합성치 산출 수단을 갖추는 화상 처리 장치.
  2. 제 1항에 있어서,
    상기 배경 생성 수단은,
    상기 소정의 분포를 가지는 화소치로서, 가장 출현 빈도의 높은 화소치를 생성하는 화상 처리 장치.
  3. 제 2항에 있어서,
    상기 배경 생성 수단은,
    상기 배경 화소치를 보관 유지하는 배경 화소치 보관 유지 수단과,
    상기 배경 화소치의 출현 빈도를 보관 유지하는 출현 빈도 보관 유지 수단과,
    상기 입력 화상의 화소치에 대한 기준치를 설정하는 기준치 설정 수단과,
    상기 기준치와의 차이가 소정 범위내에 있는 상기 입력 화상의 화소치를 배경 후보치로서 판정하는 배경 후보 생성 수단과,
    상기 배경 후보치의 출현 빈도를 계수하고, 상기 배경 후보치의 출현 빈도가 상기 출현 빈도 보관 유지 수단에 보관 유지된 출현 빈도보다 큰 경우에는, 상기 배경 후보치를 새로운 배경 화소치로서 상기 배경 화소치 보관 유지 수단에 보관 유지시키는 것과 동시에, 상기 배경 후보치의 출현 빈도를 상기 출현 빈도 보관 유지 수단에 보관 유지시키도록 갱신하는 갱신 판정 수단을 구비하는 화상 처리 장치.
  4. 화상 처리 장치에 있어서,
    복수의 입력 화상으로부터 소정의 수의 입력 화상을 선택 화상으로서 선택하는 화상 선택 수단과,
    상기 선택 화상의 대응하는 화소 위치의 각각에 대해 상기 선택 화상의 화소치 중에서 소정의 분포를 가지는 화소치를 상기 화소 위치의 배경 화소치로서 생성하는 배경 생성 수단과,
    상기 화소 위치의 각각에 대해 상기 입력 화상의 화소치가 상기 배경 화소치와 상위한 정도를 나타내는 상위도를 생성하는 상위도 생성 수단과,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 상기 입력 화상의 화소치를 반영시켜 출력 화상의 화소치를 생성하는 출력 화상 생성 수단을 구비하며,
    상기 상위도 생성 수단은,
    상기 배경 화소치와 상기 입력 화상의 화소치와의 사이의 거리가 소정의 임계치 이내의 경우에는 상기 거리에 비례하도록 상기 상위도를 생성하고,
    상기 출력 화상 생성 수단은,
    상기 출력 화상의 화소치를 보관 유지하는 출력 화상 보관 유지 수단과, 상기 화소 위치의 각각에 대해 상기 상위도에 따라 합성 비율을 생성하는 합성 비율 생성 수단과,
    상기 화소 위치의 각각에 대해 상기 합성 비율에 따라 상기 입력 화상의 화소치를 상기 출력 화상 보관 유지 수단에 보관 유지된 상기 출력 화상의 화소치와 합성하여, 새로운 출력 화상의 화소치로서 상기 출력 화상 보관 유지 수단에 보관 유지시키는 합성치 산출 수단을 갖추는 화상 처리 장치.
  5. 화상 처리 장치에 있어서,
    배경 화상의 화소치를 보관 유지하는 배경 화상 보관 유지 수단과,
    출력 화상의 화소치를 보관 유지하는 출력 화상 보관 유지 수단과,
    상기 배경 화상 보관 유지 수단에 보관 유지되는 상기 배경 화상의 화소치를 시계열에 입력되는 입력 화상의 대응하는 화소 위치의 화소치에 의해서 소정의 비율에 근거해 갱신하는 배경 생성 수단과,
    상기 입력 화상의 화소치가 상기 배경 생성 수단에 의해서 갱신된 상기 배경 화상의 대응하는 화소 위치의 화소치와 상위한 정도를 나타내는 상위도를 생성하는 상위도 생성 수단과,
    상기 출력 화상의 화소치에 대해 상기 상위도에 따라 상기 입력 화상의 대응하는 화소 위치의 화소치를 합성해 새로운 출력 화상의 화소치로서 상기 출력 화상 보관 유지 수단에 보관 유지시키는 출력 화상 합성 수단을 구비하며,
    상기 상위도 생성 수단은,
    상기 배경 화소치와 상기 입력 화상의 화소치와의 사이의 거리가 소정의 임계치 이내의 경우에는 상기 거리에 비례하도록 상기 상위도를 생성하고,
    상기 출력 화상 합성 수단은, 상기 화소 위치의 각각에 대해 상기 상위도에 따라 합성 비율을 산출하는 합성 비율 산출 수단과,
    상기 화소 위치의 각각에 대해 상기 합성 비율에 따라 상기 출력 화상을 상기 입력 화상에 의해서 갱신하는 합성치 갱신 수단을 갖추는 화상 처리 장치.
  6. 화상 처리 장치에 있어서,
    복수의 입력 화상으로부터 소정의 수의 입력 화상을 선택 화상으로서 선택하는 화상 선택 수단과,
    상기 선택 화상의 대응하는 화소 위치의 각각에 대해 상기 선택 화상의 화소치 중에서 소정의 분포를 가지는 화소치를 배경 화상의 대응하는 화소 위치의 화소치로서 생성하는 배경 생성수단과,
    상기 배경 화상의 화소치를 보관 유지하는 배경 화상 보관 유지 수단과 출력 화상의 화소치를 보관 유지하는 출력 화상 보관 유지 수단과,
    상기 입력 화상의 화소치가 배경 화상 보관 유지 수단에 보관 유지된 상기 배경 화상의 대응하는 화소치와 상위한 정도를 나타내는 상위도를 생성하는 상위도 생성 수단과,
    상기 출력 화상의 화소치에 대해 상기 상위도에 따라 상기 입력 화상의 대응하는 화소 위치의 화소치를 합성해 새로운 출력 화상의 화소치로서 상기 출력 화상 보관 유지 수단에 보관 유지시키는 출력 화상 합성 수단을 구비하며,
    상기 상위도 생성 수단은,
    상기 배경 화소치와 상기 입력 화상의 화소치와의 사이의 거리가 소정의 임계치 이내의 경우에는 상기 거리에 비례하도록 상기 상위도를 생성하고,
    상기 출력 화상 합성 수단은,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 합성 비율을 산출하는 합성 비율 산출 수단이라고 상기 화소 위치의 각각에 대해 상기 합성 비율에 따라 상기 출력 화상을 상기 입력 화상에 의해서 갱신하는 합성치 갱신 수단을 갖추는 화상 처리 장치.
  7. 화상 처리 방법에 있어서,
    복수의 입력 화상의 대응하는 화소 위치의 각각에 대해 상기 입력 화상의 화소치 중에서 소정의 분포를 가지는 화소치를 상기 화소 위치의 배경 화소치로서 생성하는 단계와,
    상기 화소 위치의 각각에 대해 상기 입력 화상의 화소치가 상기 배경 화소치와 상위한 정도를 나타내는 상위도를 생성하는 단계와,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 상기 입력 화상의 화소치를 반영시켜 출력 화상의 화소치를 생성하는 단계를 구비하며,
    상기 상위도를 생성하는 단계에서,
    상기 배경 화소치와 상기 입력 화상의 화소치와의 사이의 거리가 소정의 임계치 이내의 경우에는 상기 거리에 비례하도록 상기 상위도를 생성하고,
    상기 출력 화상의 화소치를 생성하는 단계에서,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 합성 비율을 생성하고, 상기 화소 위치의 각각에 대해 상기 합성 비율에 따라 상기 입력 화상의 화소치를 출력 화상 보관 유지 수단에 보관 유지된 상기 출력 화상의 화소치와 합성해 새로운 출력 화상의 화소치로서 출력 화상 보관 유지 수단에 보관 유지시키는 화상 처리 방법.
  8. 화상 처리 방법에 있어서,
    복수의 입력 화상으로부터 소정의 수의 입력 화상을 선택 화상으로서 선택하는 단계와,
    상기 선택 화상의 대응하는 화소 위치의 각각에 대해 상기 선택 화상의 화소치 중에서 소정의 분포를 가지는 화소치를 상기 화소 위치의 배경 화소치로서 생성하는 단계와,
    상기 화소 위치의 각각에 대해 상기 입력 화상의 화소치가 상기 배경 화소치와 상위한 정도를 나타내는 상위도를 생성하는 단계와,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 상기 입력 화상의 화소치를 반영시켜 출력 화상의 화소치를 생성하는 단계를 구비하며,
    상기 상위도를 생성하는 단계에서,
    상기 배경 화소치와 상기 입력 화상의 화소치와의 사이의 거리가 소정의 임계치 이내의 경우에는 상기 거리에 비례하도록 상기 상위도를 생성하고,
    상기 출력 화상의 화소치를 생성하는 단계에서,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 합성 비율을 생성하고, 상기 화소 위치의 각각에 대해 상기 합성 비율에 따라 상기 입력 화상의 화소치를 출력 화상 보관 유지 수단에 보관 유지된 상기 출력 화상의 화소치와 합성해 새로운 출력 화상의 화소치로서 출력 화상 보관 유지 수단에 보관 유지시키는 화상 처리 방법.
  9. 배경 화상의 화소치를 보관 유지하는 배경 화상 보관 유지 수단과 출력 화상의 화소치를 보관 유지하는 출력 화상 보관 유지 수단을 갖추는 화상 처리 장치에서,
    상기 배경 화상 보관 유지 수단에 보관 유지되는 상기 배경 화상의 화소치를 시계열에 입력되는 입력화상의 대응하는 화소 위치의 화소치에 의해서 소정의 비율에 근거해 갱신하는 단계와,
    상기 입력 화상의 화소치가 상기 배경 생성 수단에 의해서 갱신된 상기 배경 화상의 대응하는 화소 위치의 화소치와 상위한 정도를 나타내는 상위도를 생성하는 단계와,
    상기 출력 화상의 화소치에 대해 상기 상위도에 따라 상기 입력 화상의 대응하는 화소 위치의 화소치를 합성해 새로운 출력 화상의 화소치로서 상기 출력 화상 보관 유지 수단에 보관 유지시키는 단계를,
    상기 입력 화상이 새롭게 입력될 때마다 반복하는 화상 처리 방법에 있어서,
    상기 상위도를 생성하는 단계에서,
    상기 배경 화소치와 상기 입력 화상의 화소치와의 사이의 거리가 소정의 임계치 이내의 경우에는 상기 거리에 비례하도록 상기 상위도를 생성하고,
    상기 출력 화상 보관 유지 수단에 보관 유지시키는 단계에서,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 합성 비율을 산출하고, 상기 화소 위치의 각각에 대해 상기 합성 비율에 따라 상기 출력 화상을 상기 입력 화상에 의해서 갱신하는 화상 처리 방법.
  10. 배경 화상의 화소치를 보관 유지하는 배경 화상 보관 유지 수단과 출력 화상의 화소치를 보관 유지하는 출력 화상 보관 유지 수단을 갖추는 화상 처리 장치에서,
    복수의 입력 화상으로부터 소정의 수의 입력 화상을 선택 화상으로서 선택하는 단계와,
    상기 선택 화상의 대응하는 화소 위치의 각각에 대해 상기 선택 화상의 화소치 중에서 소정의 분포를 가지는 화소치를 상기 배경 화상의 대응하는 화소 위치의 화소치로서 생성하고, 상기 배경 화상 보관 유지 수단에 보관 유지시키는 단계와,
    상기 입력 화상의 화소치가 배경 화상 보관 유지 수단에 보관 유지된 상기 배경 화상의 대응하는 화소치와 상위한 정도를 나타내는 상위도를 생성하는 상위도 생성 단계와,
    상기 출력 화상의 화소치에 대해 상기 상위도에 따라 상기 입력 화상의 대응하는 화소 위치의 화소치를 합성하고 새로운 출력 화상의 화소치로서 상기 출력 화상 보관 유지 수단에 보관 유지시키는 출력 화상 합성 단계를 구비하며, 상기 입력 화상이 새롭게 입력될 때마다 상기 상위도 생성 단계 및 상기 출력 화상 합성 단계를 반복하는 화상 처리 방법에 있어서,
    상기 상위도를 생성하는 단계에서,
    상기 배경 화소치와 상기 입력 화상의 화소치와의 사이의 거리가 소정의 임계치 이내의 경우에는 상기 거리에 비례하도록 상기 상위도를 생성하고,
    상기 출력 화상 보관 유지 수단에 보관 유지시키는 단계에서,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 합성 비율을 산출하고, 상기 화소 위치의 각각에 대해 상기 합성 비율에 따라 상기 출력 화상을 상기 입력 화상에 의해서 갱신하는 화상 처리 방법.
  11. 복수의 입력 화상의 대응하는 화소 위치의 각각에 대해 상기 입력 화상의 화소치 중에서 소정의 분포를 가지는 화소치를 상기 화소 위치의 배경 화소치로서 생성하는 단계와,
    상기 화소 위치의 각각에 대해 상기 입력 화상의 화소치가 상기 배경 화소치와 상위한 정도를 나타내는 상위도를 생성하는 단계와,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 상기 입력 화상의 화소치를 반영시켜 출력 화상의 화소치를 생성하는 단계를 포함하며, 컴퓨터에 의해 실행되는 프로그램을 기록한 기록매체에 있어서,
    상기 상위도를 생성하는 단계에서,
    상기 배경 화소치와 상기 입력 화상의 화소치와의 사이의 거리가 소정의 임계치 이내의 경우에는 상기 거리에 비례하도록 상기 상위도를 생성하고,
    상기 출력 화상의 화소치를 생성하는 단계에서,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 합성 비율을 생성하고, 상기 화소 위치의 각각에 대해 상기 합성 비율에 따라 상기 입력 화상의 화소치를 출력 화상 보관 유지 수단에 보관 유지된 상기 출력 화상의 화소치와 합성해 새로운 출력 화상의 화소치로서 출력 화상 보관 유지 수단에 보관 유지시키는 기록매체.
  12. 복수의 입력 화상으로부터 소정의 수의 입력 화상을 선택 화상으로서 선택하는 단계와,
    상기 선택 화상의 대응하는 화소 위치의 각각에 대해 상기 선택 화상의 화소치 중에서 소정의 분포를 가지는 화소치를 상기 화소 위치의 배경 화소치로서 생성하는 단계와,
    상기 화소 위치의 각각에 대해 상기 입력 화상의 화소치가 상기 배경 화소치와 상위한 정도를 나타내는 상위도를 생성하는 단계와,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 상기 입력 화상의 화소치를 반영시켜 출력 화상의 화소치를 생성하는 단계를 포함하며, 컴퓨터에 의해 실행되는 프로그램을 기록한 기록매체에 있어서,
    상기 상위도를 생성하는 단계에서,
    상기 배경 화소치와 상기 입력 화상의 화소치와의 사이의 거리가 소정의 임계치 이내의 경우에는 상기 거리에 비례하도록 상기 상위도를 생성하고,
    상기 출력 화상의 화소치를 생성하는 단계에서, 상기 화소 위치의 각각에 대해 상기 상위도에 따라 합성 비율을 생성하고, 상기 화소 위치의 각각에 대해 상기 합성 비율에 따라 상기 입력 화상의 화소치를 출력 화상 보관 유지 수단에 보관 유지된 상기 출력 화상의 화소치와 합성하여, 새로운 출력 화상의 화소치로서 출력 화상 보관 유지 수단에 보관 유지시키는 기록매체.
  13. 배경 화상의 화소치를 보관 유지하는 배경 화상 보관 유지 수단과, 출력 화상의 화소치를 보관 유지하는 출력 화상 보관 유지 수단을 갖추는 화상 처리 장치내에서,
    상기 배경 화상 보관 유지 수단에 보관 유지되는 상기 배경 화상의 화소치를 시계열에 입력되는 입력 화상의 대응하는 화소 위치의 화소치에 의해서 소정의 비율에 근거하여 갱신하는 단계와,
    상기 입력 화상의 화소치가 상기 배경 생성 수단에 의해서 갱신된 상기 배경 화상의 대응하는 화소 위치의 화소치와 상위한 정도를 나타내는 상위도를 생성하는 단계와,
    상기 출력 화상의 화소치에 대해 상기 상위도에 따라 상기 입력 화상의 대응하는 화소 위치의 화소치를 합성해 새로운 출력 화상의 화소치로서 상기 출력 화상 보관 유지 수단에 보관 유지시키는 단계를 포함하는 프로그램을, 상기 입력 화상이 새롭게 입력될 때마다, 반복적으로 컴퓨터에 의해 실행시키고, 상기 프로그램을 기록한 기록매체에 있어서,
    상기 상위도를 생성하는 단계에서,
    상기 배경 화소치와 상기 입력 화상의 화소치와의 사이의 거리가 소정의 임계치 이내의 경우에는 상기 거리에 비례하도록 상기 상위도를 생성하고,
    상기 출력 화상 보관 유지 수단에 보관 유지시키는 단계에서,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 합성 비율을 산출하고, 상기 화소 위치의 각각에 대해 상기 합성 비율에 따라 상기 출력 화상을 상기 입력 화상에 의해서 갱신하는 기록매체.
  14. 배경 화상의 화소치를 보관 유지하는 배경 화상 보관 유지 수단과 출력 화상의 화소치를 보관 유지하는 출력 화상 보관 유지 수단을 갖추는 화상 처리 장치내에서,
    복수의 입력 화상으로부터 소정의 수의 입력 화상을 선택 화상으로서 선택하는 단계와,
    상기 선택 화상의 대응하는 화소 위치의 각각에 대해 상기 선택 화상의 화소치 중에서 소정의 분포를 가지는 화소치를 상기 배경 화상의 대응하는 화소 위치의 화소치로서 생성하고, 상기 배경 화상 보관 유지 수단에 보관 유지시키는 단계와,
    상기 입력 화상의 화소치가 배경 화상 보관 유지 수단에 보관 유지된 상기 배경 화상의 대응하는 화소치와 상위한 정도를 나타내는 상위도를 생성하는 상위도 생성 단계와,
    상기 출력 화상의 화소치에 대해 상기 상위도에 따라 상기 입력 화상의 대응하는 화소 위치의 화소치를 합성하여 새로운 출력 화상의 화소치로서 상기 출력 화상 보관 유지 수단에 보관 유지시키는 출력 화상 합성 단계를 포함하며, 컴퓨터에 의해 실행되는 프로그램을 기록한 기록매체에 있어서,
    상기 입력 화상이 새롭게 입력될 때마다, 상기 프로그램의 상기 상위도 생성 단계 및 상기 출력 화상 합성 단계가 반복적으로 컴퓨터에 의해 실행되며,
    상기 상위도를 생성하는 단계에서,
    상기 배경 화소치와 상기 입력 화상의 화소치와의 사이의 거리가 소정의 임계치 이내의 경우에는 상기 거리에 비례하도록 상기 상위도를 생성하고,
    상기 출력 화상 보관 유지 수단에 보관 유지시키는 단계에서,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 합성 비율을 산출하고, 상기 화소 위치의 각각에 대해 상기 합성 비율에 따라 상기 출력 화상을 상기 입력 화상에 의해서 갱신하는 기록매체.
  15. 복수의 입력 화상으로부터 소정의 수의 입력 화상을 선택 화상으로서 선택하는 화상 선택 수단과,
    상기 선택 화상의 대응하는 화소 위치의 각각에 대해 상기 선택 화상의 화소치 중에서 소정의 분포를 가지는 화소치를 배경 화상의 대응하는 화소 위치의 화소치로서 생성하는 배경 생성 수단과,
    상기 배경 화상의 화소치를 보관 유지하는 배경 화상 보관 유지 수단과 출력 화상의 화소치를 보관 유지하는 출력 화상 보관 유지 수단과,
    상기 입력 화상의 화소치가 배경 화상 보관 유지 수단에 보관 유지된 상기 배경 화상의 대응하는 화소치와 상위한 정도를 나타내는 상위도를 생성하는 상위도 생성 수단과,
    상기 출력 화상의 화소치에 대해 상기 상위도에 따라 상기 입력 화상의 대응하는 화소 위치의 화소치를 합성하여 새로운 출력 화상의 화소치로서 상기 출력 화상 보관 유지 수단에 보관 유지시키는 출력 화상 합성 수단과,
    상기 배경 화상 보관 유지 수단에 보관 유지된 배경 화상의 화소치를 보존하는 배경 화상 보존 수단을 구비하며,
    상기 상위도 생성 수단은,
    상기 배경 화소치와 상기 입력 화상의 화소치와의 사이의 거리가 소정의 임계치 이내의 경우에는 상기 거리에 비례하도록 상기 상위도를 생성하고,
    상기 배경 화상 보관 유지 수단은,
    상기 배경 화상 보존 수단에 필요한 배경 화상이 보존되고 있는 경우에는 상기 배경 화상 보존 수단에 보존된 배경 화상을 복원해 보관 유지하고,
    상기 출력 화상 합성 수단은,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 합성 비율을 산출하는 합성 비율 산출 수단과,
    상기 화소 위치의 각각에 대해 상기 합성 비율에 따라 상기 출력 화상을 상기 입력 화상에 의해서 갱신하는 합성치 갱신 수단을 갖추는 화상 처리 장치.
  16. 배경 화상의 화소치를 보관 유지하는 배경 화상 보관 유지 수단과, 상기 배경 화상 보관 유지 수단에 보관 유지된 배경 화상을 보존하는 배경 화상 보존 수단과, 출력 화상의 화소치를 보관 유지하는 출력 화상 보관 유지 수단을 갖추는 화상 처리 장치내에서,
    복수의 입력 화상으로부터 소정의 수의 입력 화상을 선택 화상으로서 선택하는 단계와,
    상기 선택 화상의 대응하는 화소 위치의 각각에 대해 상기 선택 화상의 화소치 중에서 소정의 분포를 가지는 화소치를 상기 배경 화상의 대응하는 화소 위치의 화소치로서 생성하여 상기 배경 화상 보관 유지 수단에 보관 유지시키는 단계와,
    상기 배경 화상 보관 유지 수단에 보관 유지된 배경 화상을 상기 배경 화상 보존 수단에 보존시키는 단계와,
    상기 배경 화상 보존 수단에 보존된 배경 화상을 상기 배경 화상 보관 유지 수단에 복원해 보관 유지시키는 단계와,
    상기 입력 화상의 화소치가 배경 화상 보관 유지 수단에 보관 유지된 상기 배경 화상의 대응하는 화소치와 상위한 정도를 나타내는 상위도를 생성하는 상위도 생성 단계와,
    상기 출력 화상의 화소치에 대해 상기 상위도에 따라 상기 입력 화상의 대응하는 화소 위치의 화소치를 합성하여 새로운 출력 화상의 화소치로서 상기 출력 화상 보관 유지 수단에 보관 유지시키는 출력 화상 합성 단계를 구비하며,
    상기 입력 화상이 새롭게 입력될 때마다, 상기 상위도 생성 단계 및 상기 출력 화상 합성 단계를 반복하는 화상 처리 방법에 있어서,
    상기 상위도 생성 단계에서,
    상기 배경 화소치와 상기 입력 화상의 화소치와의 사이의 거리가 소정의 임계치 이내의 경우에는 상기 거리에 비례하도록 상기 상위도를 생성하고,
    상기 출력 화상 합성 단계에서,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 합성 비율을 산출하고, 상기 화소 위치의 각각에 대해 상기 합성 비율에 따라 상기 출력 화상을 상기 입력 화상에 의해서 갱신하는 화상 처리 방법.
  17. 배경 화상의 화소치를 보관 유지하는 배경 화상 보관 유지 수단과, 상기 배경 화상 보관 유지 수단에 보관 유지된 배경 화상을 보존하는 배경 화상 보존 수단과, 출력 화상의 화소치를 보관 유지하는 출력 화상 보관 유지 수단을 갖추는 화상 처리 장치내에서,
    복수의 입력 화상으로부터 소정의 수의 입력 화상을 선택 화상으로서 선택하는 단계와,
    상기 선택 화상의 대응하는 화소 위치의 각각에 대해 상기 선택 화상의 화소치 중에서 소정의 분포를 가지는 화소치를 상기 배경 화상의 대응하는 화소 위치의 화소치로서 생성하여, 상기 배경 화상 보관 유지 수단에 보관 유지시키는 단계와,
    상기 배경 화상 보관 유지 수단에 보관 유지된 배경 화상을 상기 배경 화상 보존 수단에 보존시키는 단계와,
    상기 배경 화상 보존 수단에 보존된 배경 화상을 상기 배경 화상 보관 유지 수단에 복원해 보관 유지시키는 단계와,
    상기 입력 화상의 화소치가 배경 화상 보관 유지 수단에 보관 유지된 상기 배경 화상의 대응하는 화소치와 상위한 정도를 나타내는 상위도를 생성하는 상위도 생성 단계와,
    상기 출력 화상의 화소치에 대해 상기 상위도에 따라 상기 입력 화상의 대응하는 화소 위치의 화소치를 합성하여 새로운 출력 화상의 화소치로서 상기 출력 화상 보관 유지 수단에 보관 유지시키는 출력 화상 합성 단계를 포함하는 프로그램을 기록한 기록매체로서,
    상기 입력 화상이 새롭게 입력될 때마다, 상기 상위도 생성 단계 및 상기 출력 화상 합성 단계가 반복적으로 컴퓨터에 실행되는 상기 프로그램을 기록한 기록매체에 있어서,
    상기 상위도 생성 단계에서,
    상기 배경 화소치와 상기 입력 화상의 화소치와의 사이의 거리가 소정의 임계치 이내의 경우에는 상기 거리에 비례하도록 상기 상위도를 생성하고,
    상기 출력 화상 합성 단계에서,
    상기 화소 위치의 각각에 대해 상기 상위도에 따라 합성 비율을 산출하고, 상기 화소 위치의 각각에 대해 상기 합성 비율에 따라 상기 출력 화상을 상기 입력 화상에 의해서 갱신하는 프로그램.
  18. 삭제
  19. 삭제
  20. 삭제
KR1020070040830A 2006-05-08 2007-04-26 화상 처리장치, 화상 처리방법 및 프로그램 KR101342638B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006129092 2006-05-08
JPJP-P-2006-00129092 2006-05-08
JPJP-P-2006-00193435 2006-07-13
JP2006193435A JP4499693B2 (ja) 2006-05-08 2006-07-13 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
KR20070108817A KR20070108817A (ko) 2007-11-13
KR101342638B1 true KR101342638B1 (ko) 2013-12-20

Family

ID=38291022

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070040830A KR101342638B1 (ko) 2006-05-08 2007-04-26 화상 처리장치, 화상 처리방법 및 프로그램

Country Status (5)

Country Link
US (1) US8027534B2 (ko)
EP (1) EP1855249A3 (ko)
JP (1) JP4499693B2 (ko)
KR (1) KR101342638B1 (ko)
CN (1) CN101763651B (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9629571B2 (en) 2007-03-08 2017-04-25 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US10716528B2 (en) 2007-03-08 2020-07-21 Sync-Rx, Ltd. Automatic display of previously-acquired endoluminal images
US11197651B2 (en) 2007-03-08 2021-12-14 Sync-Rx, Ltd. Identification and presentation of device-to-vessel relative motion
EP2129284A4 (en) 2007-03-08 2012-11-28 Sync Rx Ltd IMAGING AND TOOLS FOR USE WITH MOBILE ORGANS
US9375164B2 (en) 2007-03-08 2016-06-28 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US9968256B2 (en) 2007-03-08 2018-05-15 Sync-Rx Ltd. Automatic identification of a tool
WO2010058398A2 (en) 2007-03-08 2010-05-27 Sync-Rx, Ltd. Image processing and tool actuation for medical procedures
US11064964B2 (en) 2007-03-08 2021-07-20 Sync-Rx, Ltd Determining a characteristic of a lumen by measuring velocity of a contrast agent
DE602007004841D1 (de) * 2007-07-08 2010-04-01 Univ Liege Extraktor für visuellen Hintergrund
KR101198071B1 (ko) 2007-10-29 2012-11-07 주식회사 만도 전자 제어 유압 장치의 밸브 제어 방법
JP4900266B2 (ja) * 2008-01-30 2012-03-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP4900265B2 (ja) * 2008-01-30 2012-03-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
KR101194480B1 (ko) * 2008-06-18 2012-10-24 미쓰비시덴키 가부시키가이샤 삼차원 영상 변환 기록 장치, 삼차원 영상 변환 기록 방법, 기록 매체, 삼차원 영상 변환 장치, 및 삼차원 영상 전송 장치
WO2010018610A1 (ja) * 2008-08-11 2010-02-18 株式会社エム・ソフト 背景用映像生成方法、背景用映像生成システム
US9060160B2 (en) * 2008-09-24 2015-06-16 Nikon Corporation Image generation device, imaging device, image reproduction device, and image reproduction program
US9101286B2 (en) 2008-11-18 2015-08-11 Sync-Rx, Ltd. Apparatus and methods for determining a dimension of a portion of a stack of endoluminal data points
US9095313B2 (en) 2008-11-18 2015-08-04 Sync-Rx, Ltd. Accounting for non-uniform longitudinal motion during movement of an endoluminal imaging probe
US9974509B2 (en) 2008-11-18 2018-05-22 Sync-Rx Ltd. Image super enhancement
US10362962B2 (en) 2008-11-18 2019-07-30 Synx-Rx, Ltd. Accounting for skipped imaging locations during movement of an endoluminal imaging probe
US9144394B2 (en) 2008-11-18 2015-09-29 Sync-Rx, Ltd. Apparatus and methods for determining a plurality of local calibration factors for an image
US11064903B2 (en) 2008-11-18 2021-07-20 Sync-Rx, Ltd Apparatus and methods for mapping a sequence of images to a roadmap image
JP2010211386A (ja) * 2009-03-09 2010-09-24 Oki Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP5388829B2 (ja) * 2009-12-11 2014-01-15 セコム株式会社 侵入物体検知装置
EP2723231A4 (en) * 2011-06-23 2015-02-25 Sync Rx Ltd LUMINAL BACKGROUND CLEANING
JP5864983B2 (ja) * 2011-09-26 2016-02-17 オリンパス株式会社 画像処理装置
US8957982B2 (en) 2011-10-04 2015-02-17 Olympus Imaging Corp. Imaging device and imaging method
JP5872832B2 (ja) * 2011-10-04 2016-03-01 オリンパス株式会社 撮像装置
JP5885451B2 (ja) * 2011-10-04 2016-03-15 オリンパス株式会社 撮像装置
JP6257127B2 (ja) * 2012-01-31 2018-01-10 ノーリツプレシジョン株式会社 画像処理プログラムおよび画像処理装置
JP5901353B2 (ja) * 2012-03-01 2016-04-06 オリンパス株式会社 画像処理装置
EP2863802B1 (en) 2012-06-26 2020-11-04 Sync-RX, Ltd. Flow-related image processing in luminal organs
CN103020932A (zh) * 2012-12-04 2013-04-03 广东欧珀移动通信有限公司 一种应用程序图标遮罩处理方法及***
CN103227904A (zh) * 2013-05-12 2013-07-31 张著岳 一种自动获取物体透明度的拍照***及方法
JP6156163B2 (ja) * 2013-06-28 2017-07-05 株式会社Ｊｖｃケンウッド 画像処理装置及び画像処理方法
JP6194755B2 (ja) * 2013-10-30 2017-09-13 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
CN105141853B (zh) * 2015-08-18 2019-02-05 联想(北京)有限公司 图像处理方法以及电子设备
CN106162086A (zh) * 2016-07-26 2016-11-23 深圳前海弘稼科技有限公司 植物生长状态的监控***和监控方法
US10970896B2 (en) * 2016-11-02 2021-04-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US10335026B2 (en) * 2017-01-11 2019-07-02 Canon Kabushiki Kaisha Image processing apparatus that generates a tomographic image using an estimation value of pixel values, and related optical coherence tomography apparatus, image processing method, and computer-readable storage medium
US10506161B2 (en) 2017-10-26 2019-12-10 Qualcomm Incorporated Image signal processor data traffic management
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179930A (ja) 2001-12-10 2003-06-27 Nippon Hoso Kyokai <Nhk> 動オブジェクト抽出方法及び抽出装置
JP2004186994A (ja) 2002-12-03 2004-07-02 Toshiba Corp オブジェクト画像合成方法、オブジェクト画像合成装置、オブジェクト画像合成プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4233631A (en) * 1978-10-04 1980-11-11 Cbs Inc. Television system for displaying and recording paths of motion
JP3377659B2 (ja) 1995-09-07 2003-02-17 株式会社日立国際電気 物体検出装置及び物体検出方法
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
EP0774730B1 (en) * 1995-11-01 2005-08-24 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
JP3411469B2 (ja) 1997-04-14 2003-06-03 日本電信電話株式会社 フレーム多重画像作成方法
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
JP4181473B2 (ja) 2003-10-15 2008-11-12 日本放送協会 映像オブジェクト軌跡合成装置、その方法及びそのプログラム
CN100407798C (zh) * 2005-07-29 2008-07-30 北京大学 三维几何建模***和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179930A (ja) 2001-12-10 2003-06-27 Nippon Hoso Kyokai <Nhk> 動オブジェクト抽出方法及び抽出装置
JP2004186994A (ja) 2002-12-03 2004-07-02 Toshiba Corp オブジェクト画像合成方法、オブジェクト画像合成装置、オブジェクト画像合成プログラム

Also Published As

Publication number Publication date
EP1855249A3 (en) 2010-07-21
US8027534B2 (en) 2011-09-27
KR20070108817A (ko) 2007-11-13
CN101763651A (zh) 2010-06-30
US20070269135A1 (en) 2007-11-22
EP1855249A2 (en) 2007-11-14
JP2007328755A (ja) 2007-12-20
CN101763651B (zh) 2012-07-04
JP4499693B2 (ja) 2010-07-07

Similar Documents

Publication Publication Date Title
KR101342638B1 (ko) 화상 처리장치, 화상 처리방법 및 프로그램
JP5168837B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10277812B2 (en) Image processing to obtain high-quality loop moving image
US7916177B2 (en) Image-capturing apparatus, image-capturing method and program for detecting and correcting image blur
JP4898761B2 (ja) オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置および方法
EP2063390B1 (en) Image processing device and its program
US8576288B2 (en) Image processing unit, image processing method, and image processing program
US8509481B2 (en) Image processing apparatus, image processing method, imaging apparatus
US20100007754A1 (en) Image processing device, electronic camera and image processing program
US20110128415A1 (en) Image processing device and image-shooting device
US20140313354A1 (en) Moving image processing apparatus, imaging apparatus, and moving image processing method
US20100246968A1 (en) Image capturing apparatus, image processing method and recording medium
JP4900266B2 (ja) 画像処理装置、画像処理方法およびプログラム
US8582813B2 (en) Object detection device which detects object based on similarities in different frame images, and object detection method and computer-readable medium recording program
JP5211589B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP4998439B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4900265B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5267279B2 (ja) 画像合成装置及びプログラム
JP2010213105A (ja) 撮像装置
JP5476900B2 (ja) 画像合成装置、画像合成方法及びプログラム
JP2008072428A (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP2005197862A (ja) 画像処理装置
JP5012805B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP5759162B2 (ja) 動きベクトル検出装置、動きベクトル検出方法及び補正装置及びプログラム
JP2023010307A (ja) 画像処理装置およびその制御方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee