KR101120571B1 - Image processing apparatus of non-visible ray spectrum and image processing method of non-visible ray spectrum - Google Patents

Image processing apparatus of non-visible ray spectrum and image processing method of non-visible ray spectrum Download PDF

Info

Publication number
KR101120571B1
KR101120571B1 KR1020100021342A KR20100021342A KR101120571B1 KR 101120571 B1 KR101120571 B1 KR 101120571B1 KR 1020100021342 A KR1020100021342 A KR 1020100021342A KR 20100021342 A KR20100021342 A KR 20100021342A KR 101120571 B1 KR101120571 B1 KR 101120571B1
Authority
KR
South Korea
Prior art keywords
screen
sub
black
information
image
Prior art date
Application number
KR1020100021342A
Other languages
Korean (ko)
Other versions
KR20110101948A (en
Inventor
이기섭
하재옥
Original Assignee
주식회사 엘에스엘시스템즈
하재옥
이기섭
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘에스엘시스템즈, 하재옥, 이기섭 filed Critical 주식회사 엘에스엘시스템즈
Priority to KR1020100021342A priority Critical patent/KR101120571B1/en
Publication of KR20110101948A publication Critical patent/KR20110101948A/en
Application granted granted Critical
Publication of KR101120571B1 publication Critical patent/KR101120571B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

실시예에 따른 비가시광선계 영상 처리 방법은 부화면 영역설정정보를 입력받는 단계; 상기 부화면 영역설정정보에 따라 부화면의 비가시광선계 전자기파의 디지털 흑백 영상 신호를 다수 레벨의 흑백 데이터를 정의하는 제1 테이블에 의하여 부화면 흑백 데이터로 변환하는 단계; 상기 부화면 흑백 데이터 및 상기 부화면 영역설정정보에 의하여 제2 매칭 정보를 변경하는 단계; 상기 제2 매칭정보에 따라 상기 부화면 흑백 데이터를 제2 테이블에 의하여 정의된 색상 데이터로 변환하여 부화면 컬러영상을 구성하는 단계; 및 주화면 컬러 영상 데이터 및 상기 부화면 컬러 영상 데이터를 표준 규격의 영상신호로 변환하고 주화면 영상신호 및 부화면 영상신호를 합성하는 단계를 포함한다.
실시예에 의하면, 화면 분할 기술을 이용하여 비가시광선계 전자기파의 흑백 영상을 수도링 컬러링처리함으로써 컬러 색상의 연속성을 확보하면서도 컬러 영상의 식별력을 높일 수 있는 효과가 있다.Invisible ray system image processing method according to an embodiment comprises the steps of receiving the sub-screen area setting information; Converting the digital black and white image signal of the invisible light-based electromagnetic wave of the sub-screen into sub-screen black-and-white data by a first table defining a plurality of levels of black-and-white data according to the sub-screen region setting information; Changing second matching information according to the sub-screen black and white data and the sub-screen area setting information; Constructing a sub-screen color image by converting the sub-screen black and white data into color data defined by a second table according to the second matching information; And converting the main screen color image data and the sub-screen color image data into a video signal of a standard standard and synthesizing the main screen image signal and the sub-screen image signal.
According to the embodiment, the black-and-white image of the invisible ray-based electromagnetic wave may be colored by using a screen division technique to increase the discrimination power of the color image while ensuring the continuity of the color colors.

Description

비가시광선계 영상 처리 장치 및 비가시광선계 영상 처리 방법{Image processing apparatus of non-visible ray spectrum and image processing method of non-visible ray spectrum}Image processing apparatus of non-visible ray spectrum and image processing method of non-visible ray spectrum

실시예는 비가시광선계 영상 처리 장치 및 비가시광선계 영상 처리 방법에 관한 것이다.Embodiments relate to an invisible light ray image processing apparatus and an invisible light ray image processing method.

일반적으로, 전자기파는 스펙트럼의 파장영역(단위; Å)에 따라 "전파-적외선-가시광선-자외선-X선-감마선"으로 구분되며, 각 대역의 전자기파는 소정 매체에 대하여 상이한 투과계수, 흡광계수 및 에너지 분포를 갖는다.In general, electromagnetic waves are classified into "wave-infrared-visible-ultraviolet-ultraviolet-X-ray-gamma" according to the wavelength region of the spectrum, and the electromagnetic waves of each band have different transmission coefficients and absorption coefficients for a given medium. And energy distribution.

이와 같은 전자기파를 인식하기 위한 이미지 센서 및 이를 이용한 카메라 역시 파장영역에 따라 구분되어 사용되며, 예를 들어 열상 카메라, X선 카메라, 일반적 광학(가시광선) 카메라 등이 있다.Image sensors for recognizing such electromagnetic waves and cameras using the same are also used according to wavelength ranges, and examples thereof include thermal cameras, X-ray cameras, and general optical (visible) cameras.

상기 이미지 센서 및 카메라는 사용 용도에 따라 특정 대역의 한가지 전자기파에 반응하여 전기신호를 생성하도록 제조되며, 생성된 전기신호는 인체의 눈이 감지할 수 있도록 영상으로 구성된다.The image sensor and the camera are manufactured to generate an electric signal in response to one electromagnetic wave of a specific band according to a use purpose, and the generated electric signal is composed of an image so that the eyes of the human body can sense it.

특히, 상기 가시광선은 이미지 센서의 도움 없이 인체에 인식되는 파장대역으로서, 인체의 인식 능력에 따라 적색(R), 녹색(G), 청색(B) 대역으로 다시 구분되며, 전기신호로의 변환을 위하여 가시광선계 이미지 센서(Visual ray spectrum image sensor), 가령 CCD(Charge-Coupled Device) 이미지 센서, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서의 도움을 받는 경우, RGB 색상 체계를 이용하게 된다. 이에 대하여 간단히 설명하면 다음과 같다.In particular, the visible light is a wavelength band recognized by the human body without the help of an image sensor, and is divided into red (R), green (G), and blue (B) bands according to the human body's recognition ability, and converted into an electric signal. For this purpose, when using a visual ray spectrum image sensor (Charge-Coupled Device) CCD, a complementary metal oxide semiconductor (CMOS) image sensor, the RGB color system is used. Briefly described as follows.

가시광선계 이미지 센서는 마이크로 렌즈, 평탄화층, 컬러필터층, 절연층, 금속배선층, 반도체 기판 등으로 이루어지며, 상기 반도체 기판에는 광학신호를 전기신호로 변환하는 포토다이오드, 전기신호를 처리하는 각종 이온주입영역, 트랜지스터 등이 형성된다.The visible light image sensor includes a microlens, a planarization layer, a color filter layer, an insulation layer, a metal wiring layer, a semiconductor substrate, and the like, a photodiode for converting an optical signal into an electrical signal, and various ion implantation for processing the electrical signal. Regions, transistors, and the like are formed.

이때, 상기 마이크로렌즈로 입사된 빛은 세가지 종류의 컬러필터를 통과하면서 상이한 흡광계수를 가짐에 따라 RGB 색상으로 분리된다. 분리된 색상신호는 각각 별도의 전기신호로 변환되어 처리됨으로써 다른 스펙트럼의 전자기파와는 달리 컬러로 표현될 수 있다. 따라서, 가시광선계 이미지 센서는 세개의 단위 픽셀이 단일 화소를 이루게 된다.At this time, the light incident on the microlenses passes through three types of color filters and is separated into RGB colors as they have different absorption coefficients. The separated color signals may be converted into separate electrical signals and processed, and thus may be expressed in color unlike electromagnetic waves of other spectrums. Accordingly, in the visible ray image sensor, three unit pixels form a single pixel.

반면, 비가시광선계(non-visual ray spectrum) 전자기파의 경우 인체의 인식 특성상 컬러 대역으로 다시 구분되지 못하므로, 단일 필터, 포토다이오드를 이용하여 처리되며 비가시광선계 이미지 센서의 하나의 단위 픽셀이 하나의 화소를 이루어 흑백의 전기신호로 처리된다.On the other hand, non-visual ray spectrum electromagnetic waves cannot be re-divided into color bands due to the recognition characteristics of the human body, so they are processed using a single filter and a photodiode, and one unit pixel of the invisible ray image sensor is one. Pixels are processed into black and white electrical signals.

따라서, 비가시광선계 전자기파 영상의 인식률을 높이기 위하여 최종 구성된 흑백 영상에 색상을 입히는 영상 처리, 즉 수도 컬러링(pseudo coloring) 처리가 수행된다.Accordingly, in order to increase the recognition rate of the invisible ray-based electromagnetic wave image, image processing, ie, pseudo coloring, is performed to color the finally configured black and white image.

가령, 열상 카메라를 이용하여 바다에서 수영하는 사람을 원거리 촬영하였을 때 사람의 체온은 약 36℃이고 바다의 수온이 약 29℃이면, 흑백 영상에서 사람은 쉽게 식별되기 힘들다. 이때 수도 컬러링을 통하여 바다를 파란색 계열로 처리하고 사람은 붉은색 계열로 처리하면 사람은 쉽게 인식될 수 있다. 이러한 이유로 컬러링 영상 처리는 비가시광선계 영상의 분석장치에서 중요한 의미를 갖는다.For example, when a person who swims in the sea using a thermal camera is photographed at a long distance, if the human body temperature is about 36 ° C. and the water temperature of the sea is about 29 ° C., the person cannot be easily identified in the black and white image. At this time, if the sea is treated with blue color and the person is treated with red color through water coloring, a person can be easily recognized. For this reason, coloring image processing has an important meaning in an apparatus for analyzing an invisible ray system image.

도 1은 종래 비가시광선계 영상 처리 장치를 이용하여 수도 컬러링 처리된 비가시광선계 영상을 예시한 도면이다.FIG. 1 is a diagram illustrating an invisible light system image which is also colored by using a conventional invisible light system image processing apparatus.

도 1에서 좌측 화면은 수도 컬러링된 비가시광선계 영상(A1)을 표시한 것이고 우측 화면은 수도 컬러링시 이용된 컬러바(A2)를 표시한 것인데, 컬러바(A2)는 상측으로부터 크게 "흰색-붉은색-노란색-녹색-하늘색-파란색-보라색-검정색"의 8개의 기준 색상 및 상기 기준 색상 사이의 7개의 색상 구간으로 이루어진다.In FIG. 1, the left screen shows the invisible light ray image A1 colored in water, and the right screen shows the color bar A2 used in the coloring of water, and the color bar A2 is largely "white-" from the upper side. 8 reference colors of red-yellow-green-sky-blue-purple-black "and 7 color intervals between said reference colors.

도 2는 수도 컬러링에 사용되는 컬러바(A2)를 구성하기 위하여 사용되는 RGB 데이터 테이블을 예시한 것이다.2 illustrates an RGB data table used to configure a color bar A2 used for water coloring.

도 2에 도시된 것처럼, 상기 8개의 기준 색상은 R,G,B 수치를 각각 [1.0000 1.0000 1.0000], [1.0000 0 0], [1.0000 1.0000 0], [0 1.0000 0], [0 1.0000 1.0000], [0 0 1.0000], [1.0000 0 1.0000], [0 0 0]으로 설정하였을 경우에 해당되고, 상기 색상 구간들은 R,G,B 수치를 조합적으로 변화시켜 선형적으로 확장(linear stretching)됨으로써 상기 기준 색상과는 다른 다수의 구간 색상들이 만들어 질 수 있다.As shown in FIG. 2, the eight reference colors are R, G, B values [1.0000 1.0000 1.0000], [1.0000 0 0], [1.0000 1.0000 0], [0 1.0000 0], [0 1.0000 1.0000] , [0 0 1.0000], [1.0000 0 1.0000], [0 0 0], and the color sections are linearly stretched by changing the R, G, and B values in a combination. As a result, a plurality of interval colors different from the reference color may be generated.

가령, 제1 기준 색상인 흰색[1.0000, 1.0000, 1.0000]으로부터 G 및 B 수치를 함께 순차적으로 감소시키면 구간 색상인 분홍색 계열을 거쳐 제2 기준 색상인 붉은색 [1.0000 0 0]에 이르게 되는데, 이때 선형성(연속성)의 강도를 높이기 위하여, 즉 RGB 데이터의 조합을 늘리기 위하여 B 수치를 1로 고정시키고 G 수치를 감소시키면 제7 기준 색상인 보라색[1.0000 0 1.0000]의 색상 구간으로 이동되어 색상 구간의 선형성(연속성)이 깨어지게 된다. 또한, 이때 G 수치를 1로 고정시키고 B 수치를 감소시키면 제3 기준 색상인 노란색[1.0000 1.0000 0]의 색상 구간으로 이동되어 역시 색상 구간의 선형성에 영향을 준다.For example, sequentially decreasing the G and B values together from the first reference color white [1.0000, 1.0000, 1.0000] leads to the second reference color red [1.0000 0 0] via the pink series as the interval color. In order to increase the intensity of linearity (continuity), that is, to increase the combination of RGB data, fixing the B value to 1 and decreasing the G value are moved to the color range of purple [1.0000 0 1.0000], the seventh reference color, Linearity (continuity) is broken. In addition, when the G value is fixed to 1 and the B value is decreased, the G value is moved to the color section of yellow [1.0000 1.0000 0], which is the third reference color, and also affects the linearity of the color section.

만약, 상기 색상 영역의 선형성이 보장된다면 수도 컬러링 처리되기 전의 흑백 비가시광선계 영상에서 (1) 검정색은 상기 컬러바(A2)의 가장 작은 값, 즉 검정색에 매칭되고, (2) 검정색과 흰색의 조합에 따른 그레이(Gray) 계열의 색상들은 상기 선형적으로 확장된 보라색 계열로부터 붉은색 계열로 점진적으로 매칭되며, (3) 흰색은 상기 컬러바(A2)의 가장 큰 값, 즉 흰색에 매칭될 수 있다.If the linearity of the color gamut is ensured, (1) black is matched to the smallest value of the color bar A2, i.e. black, in the black and white invisible ray system image before the water coloring process, and (2) black and white The combination of Gray series colors is gradually matched from the linearly expanded purple series to the red series, and (3) white is the largest value of the color bar A2, i.e., white. Can be.

따라서, 비가시광선계 센서, 가령 열상 센서의 출력을 ADC(Analog to Digital Convertin)처리한 신호를 흑백 레벨의 제1 테이블로 구성하고, 컬러 영역을 상기 RGB 데이터 테이블과 같이 제2 테이블로 구성하여 상기 제1 테이블에 맵핑(mapping)시키게 되는데, 이때 상기 제2 테이블의 컬러 영역은 위에서 예시한 바와 같이 선형성과 관련하여 데이터 수에 한계가 있으므로 맵핑 측면에서 문제가 발생된다.Accordingly, a signal obtained by processing an analog to digital convert (ADC) output of an invisible ray sensor, such as a thermal sensor, is configured as a first table having a black and white level, and a color gamut is configured as a second table like the RGB data table. Mapping is performed on the first table. In this case, the color area of the second table has a limited number of data with respect to linearity as illustrated above.

가령, 레이더의 수신파, 열상 카메라의 온도, X선의 투과도 등을 측정 강도에 따른 선형적인 측면을 고려하지 않고 단지 식별 측면을 고려한다면 앞서 설명한 바와 같이 선형성이 깨어지더라도 데이터 수치를 증가시킬 수 있으나(그레이 레벨에 따른 해상도가 높아질 수 있으나), 반면 상기 선형적인 측면을 고려한다면 데이터 수치를 증가시키는데 한계가 있다.For example, if the radar reception wave, the temperature of the thermal camera, the X-ray transmittance, etc. are not considered a linear aspect according to the measurement intensity but only an identification aspect, as described above, the data value may be increased even if the linearity is broken. (Although the resolution according to the gray level can be increased), on the other hand, there is a limit to increasing the data value considering the linear aspect.

따라서, 상대적으로 많은 상기 제1 테이블의 흑백 데이터를 상대적으로 적은 상기 제2 테이블의 색상 데이트로 맵핑하여 수도 컬러링을 처리하게 되면 컬러링 처리된 영상의 식별력은 저하될 수 밖에 없다.Accordingly, when the black and white data of the first table is relatively mapped to the color data of the second table, which is relatively small, the color recognition of the colored image is inevitably deteriorated.

예를 들어, 선형적인 측면을 고려하면 "영상의 저온 부분부터 고온 부분"까지가 "파란색 계열로부터 붉은색 계열"로 표시될 수 있으나 컬러링 처리된 영상의 식별력이 떨어지고, 해상도 측면을 고려하면 그레이 레벨의 수도 컬러링은 충실해지나 선형성이 깨어지므로 저온 부분부터 고온 부분까지 일정한 규칙없이 컬러로 표시되는 문제점이 있다.For example, considering the linear aspect, the "cold to hot portion" of the image may be displayed as "blue to red", but the identification of the colored image is inferior. Since the coloring of the water is faithful, but the linearity is broken, there is a problem that the color is displayed without a regular rule from the low temperature portion to the high temperature portion.

실시예는 비가시광선계 전자기파의 흑백 영상을 수도링 컬러링처리함에 있어서 컬러 색상의 연속성을 확보하면서도 식별력을 높일 수 있는 비가시광선계 영상 처리 장치 및 비가시광선계 영상 처리 방법을 제공한다.The embodiment provides an invisible light ray image processing apparatus and an invisible light ray image processing method capable of increasing the discriminating power while securing the continuity of color in the black and white image of the invisible light ray electromagnetic wave.

실시예에 따른 비가시광선계 영상 처리 장치는 사용자로부터 부화면 영역설정정보를 포함하는 조작정보를 입력받아 동작신호로 처리하는 인터페이스부; 상기 조작정보, 다수 레벨의 흑백 데이터 및 색상 데이터를 각각 정의하는 제1 테이블 및 제2 테이블, 제2 매칭정보를 저장하는 저장부; 주화면 또는 상기 부화면 영역설정정보에 따른 부화면을 이루는 비가시광선계 전자기파의 디지털 흑백 영상 신호를 상기 흑백 데이터로 변환하고, 상기 부화면 흑백 데이터 및 상기 부화면 영역설정정보에 의하여 상기 제2 매칭 정보를 변경하며, 상기 제2 매칭정보에 의하여 상기 변환된 흑백 데이터를 상기 색상 데이터로 변환하여 컬러영상을 구성하는 색상매칭부; 및 상기 색상 매칭부로부터 주화면 컬러 영상 데이터, 부화면 컬러 영상 데이터를 전달받고, 이를 상기 주화면 및 상기 부화면의 크기에 맞추어 표준 규격의 영상신호로 변환하며, 주화면 영상신호 및 부화면 영상신호를 합성하는 영상처리부를 포함한다.An invisible light ray image processing apparatus according to an embodiment includes an interface unit for receiving operation information including sub-screen area setting information from a user and processing the operation information into an operation signal; A storage unit for storing the first table, the second table, and the second matching information defining the manipulation information, the plurality of levels of black and white data, and the color data; Converts the digital black and white image signal of the invisible ray-based electromagnetic wave forming the sub-screen according to the main screen or the sub-screen area setting information into the black and white data, and the second matching by the sub-screen black and white data and the sub-screen area setting information. A color matching unit configured to change information, and convert the black and white data converted by the second matching information into the color data to form a color image; And receiving the main screen color image data and the sub-screen color image data from the color matching unit, and converting the main screen color image data and the sub-screen color image data into video signals of a standard standard according to the size of the main screen and the sub-screen. And an image processor for synthesizing the signals.

실시예에 따른 비가시광선계 영상 처리 방법은 부화면 영역설정정보를 입력받는 단계; 상기 부화면 영역설정정보에 따라 부화면의 비가시광선계 전자기파의 디지털 흑백 영상 신호를 다수 레벨의 흑백 데이터를 정의하는 제1 테이블에 의하여 부화면 흑백 데이터로 변환하는 단계; 상기 부화면 흑백 데이터 및 상기 부화면 영역설정정보에 의하여 제2 매칭 정보를 변경하는 단계; 상기 제2 매칭정보에 따라 상기 부화면 흑백 데이터를 제2 테이블에 의하여 정의된 색상 데이터로 변환하여 부화면 컬러영상을 구성하는 단계; 및 주화면 컬러 영상 데이터 및 상기 부화면 컬러 영상 데이터를 표준 규격의 영상신호로 변환하고 주화면 영상신호 및 부화면 영상신호를 합성하는 단계를 포함한다.Invisible ray system image processing method according to an embodiment comprises the steps of receiving the sub-screen area setting information; Converting the digital black and white image signal of the invisible light-based electromagnetic wave of the sub-screen into sub-screen black-and-white data by a first table defining a plurality of levels of black-and-white data according to the sub-screen region setting information; Changing second matching information according to the sub-screen black and white data and the sub-screen area setting information; Constructing a sub-screen color image by converting the sub-screen black and white data into color data defined by a second table according to the second matching information; And converting the main screen color image data and the sub-screen color image data into a video signal of a standard standard and synthesizing the main screen image signal and the sub-screen image signal.

실시예에 따른 비가시광선계 영상 처리 장치 및 비가시광선계 영상 처리 방법에 의하면, 화면 분할 기술을 이용하여 비가시광선계 전자기파의 흑백 영상을 수도링 컬러링처리함으로써 컬러 색상의 연속성을 확보하면서도 컬러 영상의 식별력을 높일 수 있는 효과가 있다.According to the invisible light ray image processing apparatus and the invisible light ray image processing method according to the embodiment, the black and white image of the invisible light ray electromagnetic wave is subjected to water ring coloring by using a screen division technology to secure color continuity and to distinguish color images. There is an effect to increase.

도 1은 종래 비가시광선계 영상 처리 장치를 이용하여 수도 컬러링 처리된 비가시광선계 영상을 예시한 도면.
도 2는 수도 컬러링에 사용되는 컬러바를 구성하기 위하여 사용되는 RGB 데이터 테이블을 예시한 도면.
도 3은 실시예에 따른 비가시광선계 영상 처리 장치의 구성을 개략적으로 도시한 블록도.
도 4는 실시예에 따른 비가시광선계 영상 출력 장치의 인터페이스부의 구성을 개략적으로 도시한 블록도.
도 5는 실시예에 따른 비가시광선계 영상 처리 장치가 제공하는 주화면 및 부화면을 예시한 도면.
도 6은 실시예에 따른 비가시광선계 영상 처리 방법을 개략적으로 도시한 흐름도.1 is a diagram illustrating an invisible light system image which has been colored by using a conventional invisible light system image processing apparatus.
2 illustrates an RGB data table used to construct color bars used for water coloring.
3 is a block diagram schematically illustrating a configuration of an invisible ray system image processing apparatus according to an embodiment.
4 is a block diagram schematically illustrating a configuration of an interface unit of an invisible light ray image output device according to an embodiment.
5 is a diagram illustrating a main screen and a sub-screen provided by an invisible light system image processing apparatus according to an embodiment;
6 is a flowchart schematically illustrating an invisible ray system image processing method according to an embodiment.

첨부된 도면을 참조하여 실시예에 따른 비가시광선계 영상 처리 장치 및 비가시광선계 영상 처리 방법에 대하여 상세히 설명한다.An invisible ray system image processing apparatus and an invisible ray system image processing method according to an embodiment will be described in detail with reference to the accompanying drawings.

이하, 실시예를 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되므로 본 발명의 기술적 사상과 직접적인 관련이 있는 핵심적인 구성부만을 언급하기로 한다.Hereinafter, in describing the embodiments, detailed descriptions of related well-known functions or configurations are deemed to unnecessarily obscure the subject matter of the present invention, and thus only the essential components directly related to the technical spirit of the present invention will be referred to. .

도 3은 실시예에 따른 비가시광선계 영상 처리 장치(100)의 구성을 개략적으로 도시한 블록도이다.3 is a block diagram schematically illustrating a configuration of an invisible light ray image processing apparatus 100 according to an embodiment.

도 3을 참조하면, 실시예에 따른 비가시광선계 영상 처리 장치(100)는 크게 인터페이스부(110), 컬러링처리부(120), 저장부(130), 영상처리부(140), 디스플레이부(150)을 포함하여 구성된다.Referring to FIG. 3, the invisible light ray image processing apparatus 100 according to the embodiment is largely an interface 110, a coloring processor 120, a storage 130, an image processor 140, and a display 150. It is configured to include.

또한, 상기 컬러링처리부(120)는 흑백영상분석부(122), 색상매칭부(124), 컬러영상생성부(126) 및 매칭정보변경부(128)를 포함하고, 상기 영상처리부(140)는 주화면처리부(142), 부화면처리부(144) 및 화면합성부(146)를 포함하여 구성된다.The coloring processor 120 may include a black and white image analyzer 122, a color matching unit 124, a color image generator 126, and a matching information changer 128, and the image processor 140 may include: It comprises a main screen processing unit 142, a sub-screen processing unit 144 and the screen synthesis unit 146.

또한, 상기 저장부(130)는 제1 테이블(131), 제2 테이블(132), 제1 매칭정보(133), 제2 매칭정보(134), 조작정보(135) 및 컬러영상(136)을 포함한 데이터들이 기록된다.In addition, the storage unit 130 may include a first table 131, a second table 132, first matching information 133, second matching information 134, operation information 135, and a color image 136. The data including are recorded.

실시예에 따른 비가시광선계 영상 처리 장치(100)는 흑백 영상을 컬러 영상으로 수도 컬러링처리하는 경우 PIP(Picture In Picture), POP(Picture Out Picture), PBP(Picture By Picture) 등과 같은 화면 분할 기술을 적용하여 컬러링 처리된 컬러 영상의 선형성(연속성)과 고해상도(식별력)를 동시에 구현하는 것을 주된 기술적 사상으로 한다.The invisible light ray image processing apparatus 100 according to the embodiment may divide a screen such as a picture in picture (PIP), a picture out picture (POP), a picture by picture (PBP), and the like when black and white images are color-coded as color images. The main technical idea is to simultaneously implement the linearity (continuity) and the high resolution (identification) of the colored image by applying.

도 3에 도시된 것처럼, 실시예에 따른 비가시광선계 영상 처리 장치(100)는 비가시광선계 카메라(210) 및 영상출력장치(300)와 같은 외부 장치와 연결된다.As shown in FIG. 3, the invisible light ray image processing apparatus 100 is connected to external devices such as the invisible light ray camera 210 and the image output device 300.

상기 비가시광선계 카메라(200)는 비가시광선계 센서(210), 회로부(220), 외부빛을 상기 비가시광선계 센서(210)로 집광시키는 광학 렌즈 등을 포함하는데, 이하 설명의 편의를 위하여 상기 비가시광선계 센서(210)는 적외선과 같은 비가시광선계 전자기파를 대상으로 하는 열상 센서인 것으로 하고 상기 비가시광선계 카메라(200)는 열상 카메라인 것으로 한다.The invisible light ray camera 200 includes an invisible light ray sensor 210, a circuit unit 220, and an optical lens for condensing external light with the invisible light ray sensor 210, for convenience of description. The non-visible light sensor 210 is a thermal sensor for an invisible light electromagnetic wave such as infrared rays, and the non-visible light camera 200 is a thermal camera.

상기 열상 센서(210)는 반도체 기판, 상기 적외선의 파장 대역에 반응하도록 소정 이온이 소정 이온주입 에너지, 이온주입량, 이온주입 온도 등의 조건에서 상기 반도체 기판에 주입되어 형성된 포토다이오드, 상기 반도체 기판 상에 형성된 트랜지스터, 각종 이온주입영역, 금속배선 및 컨택을 포함한 절연층, 평탄화보호층, 마이크로렌즈 등을 포함하여 구성될 수 있다.The thermal image sensor 210 may include a photodiode formed by implanting predetermined ions into the semiconductor substrate under conditions such as a predetermined ion implantation energy, an ion implantation amount, and an ion implantation temperature so as to respond to a wavelength band of the semiconductor substrate and the infrared ray. And a transistor formed in the substrate, various ion implantation regions, an insulating layer including metal wiring and contacts, a planarization protective layer, a microlens, and the like.

상기 열상 센서(210)는 상기 적외선을 감지하여 흑백 영상을 구성하는 전기신호로 출력하고, 상기 회로부(220)는 상기 전기신호를 디지털 영상신호로 ADC처리한다.The thermal sensor 210 detects the infrared rays and outputs them as an electric signal constituting a black and white image, and the circuit unit 220 converts the electric signal into a digital image signal.

상기 영상은 정지 영상 또는 동영상일 수 있으며, 가령 동영상인 경우 상기 회로부(220)는 상기 디지털 영상신호에 따른 프레임 영상을 MPEG4(Moving Picture Experts Group 4)와 같은 영상 압축 방식으로 인코딩 및 디코딩할 수 있다.The image may be a still image or a moving image. For example, in the case of a moving image, the circuit unit 220 may encode and decode a frame image according to the digital image signal by using an image compression scheme such as MPEG4 (Moving Picture Experts Group 4). .

가령, 상기 디지털 영상신호는 216 인 65536 개의 흑백 데이터를 표시할 수 있다.For example, the digital video signal may display 65536 black and white data of 2 16 .

참고로, 상기 비가시광선계 카메라(200) 및 영상출력장치(300)는 각각 다수개로 구비될 수 있으며, 또한 실시예에 따른 비가시광선계 영상 처리 장치(100)에 내장되어 단일 장치를 구성할 수도 있다.For reference, the invisible light ray camera 200 and the image output device 300 may be provided in plural numbers, and may also be built in the invisible light ray image processing device 100 according to an embodiment to constitute a single device. have.

이때, 상기 열상 카메라(200) 및 상기 영상출력장치(300)가 소형화되어, 가령 상기 영상출력장치(300)가 LCD(Liquid Crystal Display) 패널로 구비된 경우 실시예에 따른 비가시광선계 영상 처리 장치(100)가 포터블(portable) 장치로 활용될 수 있음은 물론이다.In this case, when the thermal camera 200 and the image output apparatus 300 are miniaturized, for example, when the image output apparatus 300 is provided with an LCD (Liquid Crystal Display) panel, an invisible light ray image processing apparatus according to an embodiment. Of course, the 100 may be utilized as a portable device.

도 4는 실시예에 따른 비가시광선계 영상 출력 장치(100)의 인터페이스부(110)의 구성을 개략적으로 도시한 블록도이다.4 is a block diagram schematically illustrating a configuration of the interface unit 110 of the invisible light ray image output apparatus 100 according to an embodiment.

도 4를 참조하면, 상기 인터페이스부(110)는 사용자 인터페이스(user interface)(111), 입출력장치 설정부(112), 동작정보 입력부(113), 부화면 영역설정부(114) 및 부화면 재생설정부(115)를 포함하여 구성된다.Referring to FIG. 4, the interface unit 110 includes a user interface 111, an input / output device setting unit 112, an operation information input unit 113, a sub-screen area setting unit 114, and a sub-screen reproduction. It is configured to include a setting unit 115.

상기 사용자 인터페이스(111)는 상기 디스플레이부(150)와 연결되고, GUI(Graphic User Interface), 키입력부와 같은 사용자 입력수단을 제공하여 상기 조작정보(135)를 입력받는다.The user interface 111 is connected to the display unit 150 and provides a user input means such as a graphical user interface (GUI) and a key input unit to receive the manipulation information 135.

상기 조작정보(135)는 입출력장치 설정정보, 동작정보, 부화면 영역설정정보, 부화면 재생설정정보, 부화면 제어정보 등을 포함하며, 상기 저장부(130)에 저장된다.The operation information 135 includes input / output device setting information, operation information, sub-screen area setting information, sub-screen reproduction setting information, sub-screen control information, and the like, and is stored in the storage unit 130.

상기 입출력장치 설정정보는 상기 열상 카메라(200) 및 상기 영상출력장치(300)의 종류, 연결 상태, 사용가능한 영상 포맷 등을 설정하는 정보이다.The input / output device setting information is information for setting the type, connection state, usable image format, etc. of the thermal camera 200 and the image output apparatus 300.

상기 입출력장치 설정부(112)는 상기 입출력장치 설정정보를 동작 신호로 처리하여 상기 흑백영상 분석부(122) 및 상기 디스플레이부(150)로 전달한다.The input / output device setting unit 112 processes the input / output device setting information as an operation signal and transmits the input / output device setting information to the monochrome image analyzing unit 122 and the display unit 150.

상기 동작정보 입력부(113)는 상기 동작정보에 따라 상기 컬러링처리부(120) 및 상기 영상처리부(140)의 동작을 제어한다.The motion information input unit 113 controls the operations of the coloring processor 120 and the image processor 140 according to the motion information.

상기 동작정보는 컬러링 동작의 시작, 종료, 동작 주기(가령, 주기적으로 온/오프 되도록 설정할 수 있음), 동작 예약 등의 정보를 포함할 수 있다.The operation information may include information such as a start, end of a coloring operation, an operation cycle (for example, may be set to be turned on / off periodically), an operation reservation, and the like.

도 5는 실시예에 따른 비가시광선계 영상 처리 장치(100)가 제공하는 주화면(B1) 및 부화면(B3)을 예시한 도면이다.5 is a diagram illustrating a main screen B1 and a subscreen B3 provided by the invisible light ray image processing apparatus 100 according to an exemplary embodiment.

도 5를 참조하면, 사용자는 상기 영상출력장치(300)의 주화면(B1)을 확인하고, 상기 사용자 인터페이스(111)를 조작하여 식별력이 떨어지는 화면 영역(B2)을 선택함으로써 상기 부화면 영역설정정보를 생성한다.Referring to FIG. 5, the user checks the main screen B1 of the image output apparatus 300 and operates the user interface 111 to select the screen area B2 having low identification power to set the sub screen area. Generate information.

상기 부화면 영역설정정보에 따라 상기 부화면 영역설정부(114)는 사용자에 의하여 선택된 화면 영역을 부화면(B3)으로 처리하기 위한 동작신호를 생성하고, 이를 상기 컬러링 처리부(120) 및 상기 영상처리부(140)로 전달한다.The sub-screen area setting unit 114 generates an operation signal for processing the screen area selected by the user as the sub-screen B3 according to the sub-screen area setting information, and the color screen processing unit 120 and the image are generated. Transfer to the processing unit 140.

이 동작 과정에 대해서는 상세히 후술하기로 한다.This operation process will be described later in detail.

한편, 사용자는 부화면 처리를 위하여 상기 식별력이 떨어지는 화면 영역(B2)을 선택하고, 선택된 화면 영역(B2) 그 위치에 그대로 부화면(B3) 처리를 할 것인지(도 5의 (a)) 또는 별도의 화면(B4)을 통하여 부화면(B3) 처리를 할 것인지(도 5의 (b))를 선택할 수 있다.On the other hand, the user selects the screen area B2 having low identification power for the sub-screen processing, and whether or not to process the sub-screen B3 at the position of the selected screen area B2 as it is (Fig. 5 (a)) or Through the separate screen B4, it is possible to select whether to perform the sub-screen B3 (Fig. 5 (b)).

사용자의 선택에 따라 상기 부화면 재생설정부(115)는 상기 부화면 재생설정정보를 생성하고, 이를 상기 영상처리부(140)로 전달한다.According to the user's selection, the sub-screen playback setting unit 115 generates the sub-screen playback setting information and transmits the sub-screen playback setting information to the image processor 140.

또한, 상기 부화면 재생설정부(115)는 상기 부화면 제어정보를 입력받아 이를 동작신호로 처리하고 상기 화면합성부(146)로 전달한다.In addition, the sub-screen reproduction setting unit 115 receives the sub-screen control information and processes it as an operation signal and transmits it to the screen synthesizing unit 146.

전술한 대로, 상기 저장부(130)는 제1 테이블(131), 제2 테이블(132), 제1 매칭정보(133), 제2 매칭정보(134), 조작정보(135) 및 컬러영상(136)을 포함한다.As described above, the storage unit 130 may include a first table 131, a second table 132, first matching information 133, second matching information 134, operation information 135, and a color image ( 136).

상기 제1 테이블(131)은 상기 열상 센서(200)에서 생성된 상기 디지털 영상신호가 적용되는 65536개의 흑백 데이터를 "검정색"으로부터 "흰색"까지 또는 "흰색"으로부터 "검정색"으로 점진적으로 정의한다.The first table 131 gradually defines 65536 black and white data to which the digital image signal generated by the thermal sensor 200 is applied, from "black" to "white" or from "white" to "black". .

상기 제2 테이블(132)은 인체의 색상 인식 특성에 따라 다수의 기준 색상, 색상 구간, 구간 색상을 설정하는데, 가령 도 2에 도시된 바와 같이 흰색-붉은색-노란색-녹색-하늘색-파란색-보라색-검정색 계열"의 8개의 기준 색상, 7개의 색상 구간을 포함할 수 있다.The second table 132 sets a plurality of reference colors, color sections, and section colors according to color recognition characteristics of the human body. For example, as illustrated in FIG. 2, white-red-yellow-green-sky-blue-blue- 8 reference colors, 7 color intervals of "violet-black series".

또한, 상기 제2 테이블은 상기 색상 구간 사이의 R, G, B 수치를 조합적으로 변화시켜 상기 색상 구간을 연속적으로 확장할 수 있다. 도 2의 경우 상기 색상 구간 사이의 구간 색상들이 수개로 예시되었으나, 보다 많은 수로 확장될 수 있다.The second table may continuously expand the color sections by combining R, G, and B values between the color sections. In the case of FIG. 2, the section colors between the color sections are illustrated as several, but may be expanded to a greater number.

가령, 현재의 컴퓨터 시스템은 RGB에 각각 8비트를 할당하는 구조가 일반적이며 상기 색상 구간을 8비트로 세분화하는 경우 "28×7=1792"개의 색상 데이터, 즉 상기 기준 색상 및 상기 구간 색상이 생성될 수 있다.For example, in the current computer system, a structure of allocating 8 bits to RGB is common, and when subdividing the color interval into 8 bits, "2 8 x 7 = 1792" color data, that is, the reference color and the interval color are generated. Can be.

이러한 경우, 전술한 바와 같이 색상 구간의 연속성이 확보될 수 있으나, 색상의 수가 적으므로 해상도(식별력)가 저하되는 문제점이 있다.In this case, as described above, the continuity of the color section may be secured, but since the number of colors is small, there is a problem that the resolution (identification) is reduced.

즉, 상기 제1 테이블의 흑백 데이터의 수에 비하여 상기 제2 테이블의 색상 데이터의 수가 현저히 작으므로, 수도 컬러링 처리를 위하여 두 테이블의 데이터 구간이 매칭되는 경우 상기 흑백 데이터의 일부가 손실되며, 따라서 비가시광선계 영상의 컬러링 처리 시 영상의 식별이 어려운 경우가 발생될 수 있다.That is, since the number of color data of the second table is significantly smaller than the number of black and white data of the first table, a part of the black and white data is lost when the data sections of the two tables are matched for water coloring. When color processing of an invisible ray system image is difficult, identification of an image may occur.

예를 들면, 상기 열상 카메라로 촬영한 영상의 전체에 걸쳐 상기 제1 테이블의 대부분의 데이터가 사용되고, 또한 일부 영역의 흑백 데이터가 촘촘히 배열되었다면 그만큼 흑백 데이터의 손실이 발생됨을 의미하므로 수도 컬러링된 영상을 식별하는데 한계가 생길 것이다.For example, if most of the data of the first table is used over the entire image taken by the thermal camera, and black and white data of some regions are closely arranged, it means that black and white data is lost. There will be a limit to identifying this.

이러한 이유로, 실시예에 따른 비가시광선계 영상 처리 장치(100)는 화면 분할 기술을 이용하여 흑백 영상을 컬러 영상으로 수도 컬러링처리함으로써 컬러 영상의 선형성(연속성)과 고해상도(식별력)를 동시에 구현하는 기술을 제안하는 것이다.For this reason, the invisible light ray image processing apparatus 100 according to the embodiment is a technology for simultaneously implementing the linearity (continuity) and high resolution (identification) of the color image by color-processing the black and white image into the color image using a screen division technique. Is to suggest.

상기 동작정보 입력부(113)로부터 상기 동작 정보가 전달되면, 상기 컬러링 처리부(120) 및 상기 영상처리부(140)는 동작을 개시한다.When the motion information is transmitted from the motion information input unit 113, the coloring processor 120 and the image processor 140 start an operation.

상기 흑백영상 분석부(122)는 상기 열상 센서(210)로부터 상기 디지털 영상신호를 전달받아 상기 흑백 영상을 구성하는 화소들의 흑백 화소 수치를 분석하고 이를 상기 제1 매칭정보(133)에 따라 상기 제1 테이블(131)의 흑백 데이터로 변환한다.The black and white image analyzer 122 receives the digital image signal from the thermal sensor 210 and analyzes the black and white pixel values of the pixels constituting the black and white image, and analyzes the black and white pixel values of the pixels according to the first matching information 133. The data is converted into black and white data of one table 131.

상기 컬러링 처리부(120) 및 상기 영상처리부(140)의 동작이 개시된 후 최초의 상기 흑백 영상은 주화면에 해당된다고 볼 수 있다.After the operations of the coloring processor 120 and the image processor 140 are started, the first black and white image may be regarded as a main screen.

이때, 상기 흑백영상 분석부(122)는 상기 입출력장치 설정정보에 따라 상기 열상 카메라(200)의 신호 처리 포맷을 파악하고 상기 흑백 화소 수치를 분석할 수 있다.In this case, the monochrome image analyzer 122 may determine the signal processing format of the thermal camera 200 according to the input / output device setting information and analyze the monochrome pixel value.

상기 색상매칭부(124)는 상기 흑백영상 분석부(122)로부터 상기 주화면 흑백 데이터를 전달받고, 이를 상기 제2 매칭 정보(134)에 의하여 상기 제2 테이블(132)의 상기 색상 데이터에 맵핑시킴으로써 맵핑 정보를 생성한다.The color matching unit 124 receives the main screen black and white data from the black and white image analyzer 122 and maps the main screen black and white data to the color data of the second table 132 by the second matching information 134. To generate mapping information.

상기 제2 매칭 정보(134)는 상기 제1 테이블(131)의 흑백 데이터 그룹과 상기 제2 테이블(132)의 색상 데이터가 매칭될 수 있도록 하는 설정 정보이다.The second matching information 134 is setting information for matching the black and white data group of the first table 131 with the color data of the second table 132.

가령, 상기 제1 테이블(131)의 65536개의 흑백 데이터는 상기 제2 테이블(132)의 1792개의 색상 데이터로 매칭되며, 이러한 경우 하나의 그룹을 이루는 약 36개의 주화면 흑백 데이터가 하나의 색상 데이터로 매칭될 수 있다.For example, 65536 black and white data of the first table 131 is matched with 1792 color data of the second table 132, and in this case, about 36 main screen black and white data forming one group are one color data. Can be matched with.

상기 컬러영상 생성부(126)는 상기 색상매칭부(124)로부터 상기 맵핑 정보를 전달받고 상기 흑백영상 분석부(122)로부터 상기 주화면 흑백 데이터를 전달받는다.The color image generating unit 126 receives the mapping information from the color matching unit 124 and the main screen monochrome data from the black and white image analysis unit 122.

상기 컬러영상 생성부(126)는 상기 맵핑 정보에 의하여 상기 주화면 흑백 데이터를 해당 색상 데이터로 변환함으로써 주화면 컬러 영상을 구성한다.The color image generator 126 configures a main screen color image by converting the main screen black and white data into corresponding color data based on the mapping information.

상기 컬러 영상(136)은 상기 저장부(130)에 저장된다.The color image 136 is stored in the storage 130.

이와 같은 상기 컬러링 처리부(120)의 동작은 상기 주화면 또는 상기 부화면의 경우에 따라 다수회 반복될 수 있다.The operation of the coloring processor 120 may be repeated a plurality of times depending on the case of the main screen or the sub-screen.

가령, 상기와 같이 주화면에 대한 컬러 영상이 구성되면, 이후 상기 부화면 영역설정정보가 상기 흑백영상 분석부(122)로 전달되고, 상기 흑백영상 분석부(122)는 상기 부화면 영역설정정보에 따라 흑백 화소 수치를 분석하고 이를 상기 제1 매칭정보(133)에 따라 상기 제1 테이블(131)의 부화면 흑백 데이터로 변환한다. 즉, 부화면의 흑백 영상만이 별도의 화면으로 취급되어 흑백 데이터로 변환된다.For example, when the color image of the main screen is configured as described above, the sub-screen area setting information is transmitted to the black and white image analysis unit 122, and the black and white image analysis unit 122 is the sub-screen area setting information. The black and white pixel values are analyzed according to the first matching information 133, and the black and white pixel values are converted into sub-screen black and white data of the first table 131 according to the first matching information 133. That is, only the black and white video of the sub picture is treated as a separate screen and converted into black and white data.

상기 매칭정보 변경부(128)는 상기 부화면 흑백 데이터를 전달받고 상기 부화면 영역설정정보에 따라 상기 제2 매칭 정보(134)를 변경한다.The matching information changing unit 128 receives the sub-screen black and white data and changes the second matching information 134 according to the sub-screen area setting information.

가령, 상기 부화면이 35840개의 흑백 데이터로 이루어진다면 하나의 그룹을 이루는 약 20개의 흑백 데이터는 하나의 색상 데이터로 매칭될 수 있다.For example, if the sub-picture consists of 35,840 black and white data, about 20 black and white data forming a group may be matched with one color data.

상기 색상매칭부(124)는 상기 흑백영상 분석부(122)로부터 상기 부화면 흑백 데이터를 전달받고, 이를 상기 변경된 제2 매칭 정보(134)에 의하여 상기 제2 테이블(132)의 상기 색상 데이터에 맵핑시킴으로써 맵핑 정보를 생성한다.The color matching unit 124 receives the sub-screen black-and-white data from the black-and-white image analyzing unit 122 and converts the sub-screen black-and-white data to the color data of the second table 132 by the changed second matching information 134. Mapping information is generated by mapping.

상기 컬러영상 생성부(126)는 상기 색상매칭부(124)로부터 상기 맵핑 정보를 전달받고 상기 흑백영상 분석부(122)로부터 상기 부화면 흑백 데이터를 전달받는다.The color image generating unit 126 receives the mapping information from the color matching unit 124 and the sub-screen black and white data from the monochrome image analyzing unit 122.

상기 컬러영상 생성부(126)는 상기 맵핑 정보에 의하여 상기 부화면 흑백 데이터를 해당 색상 데이터로 변환함으로써 부화면 컬러 영상을 구성한다.The color image generator 126 configures the sub-screen color image by converting the sub-screen black and white data into corresponding color data based on the mapping information.

따라서, 상기 주화면(B1)은 1792개의 색상 데이터로 컬러링되고, 상기 부화면(B1) 영역은 별도로 다시 1792개의 색상 데이터로 컬러링되므로 전체 화면에 적용된 색상 데이터는 결국 3584개로 볼 수 있다.Therefore, the main screen B1 is colored with 1792 color data, and the sub-screen B1 area is separately colored with 1792 color data, so that the color data applied to the entire screen can be viewed as 3584.

따라서, 컬러 영상의 연속성을 확보하면서도 해상도(식별력)을 향상시킬 수 있다.Therefore, resolution (identity) can be improved while ensuring continuity of the color image.

또한, 상기 부화면에 대한 컬러링 처리가 완료되면 사용자는 부화면 내에서 다시 부화면 영역설정정보를 생성함으로써 다중 부화면 컬러링 처리를 수행할 수 있다. 이러한 경우, 컬러 영상의 해상도는 더욱 향상될 수 있을 것이다.In addition, when the coloring process for the sub-screen is completed, the user may perform the multi-sub-screen coloring process by generating sub-screen area setting information in the sub-screen again. In this case, the resolution of the color image may be further improved.

이에 대하여 반복되는 설명은 생략하기로 한다.Repeated description thereof will be omitted.

예를 들어, 상기 주화면이 인두가 위치한 테이블을 열상 촬영한 것이라면, 주화면을 1792개의 색상 데이터로 컬러링하고, 사용자는 고온인 인두 부분만을 부화면으로 설정하여 다시 1792개의 색상 데이터로 컬러링함으로써 식별력을 높일 수 있다.For example, if the main screen is a thermal image of a table on which the pharynx is located, the main screen is colored with 1792 color data, and the user sets only the high temperature of the pharynx part as a sub-screen and colors it with 1792 color data again. Can increase.

이하, 상기 영상처리부(140)에 대하여 설명한다.Hereinafter, the image processor 140 will be described.

상기 주화면 처리부(142)는 상기 컬러영상 생성부(126)로부터 주화면 컬러 영상 데이터를 전달받고, 이를 상기 주화면 크기에 맞추어 상기 영상출력장치(300)의 표준 규격의 영상신호로 변환출력한다.The main screen processing unit 142 receives the main screen color image data from the color image generating unit 126 and converts the main screen color image data into a video signal of a standard standard of the image output apparatus 300 according to the main screen size. .

상기 부화면 처리부(144)는 상기 부화면 영역설정정보가 전달되면 상기 컬러영상 생성부(126)로부터 부화면 컬러 영상 데이터를 전달받고, 이를 상기 부화면 크기에 맞추어 표준 규격의 영상신호로 변환출력한다.The sub-screen processing unit 144 receives sub-screen color image data from the color image generating unit 126 when the sub-screen area setting information is transmitted, and converts the sub-screen processing unit 144 into a video signal of a standard standard according to the sub-screen size. do.

상기 화면합성부(146)는 상기 주화면 영상신호와 상기 부화면 영상신호를 합성하여 하나의 화면으로 구성한다.The screen synthesizing unit 146 combines the main screen video signal and the sub screen video signal to form a single screen.

이때, 상기 화면합성부(146)는 상기 부화면 재생설정정보에 따라, 상기 부화면 영상신호를 상기 설정된 부화면 영역에 그대로 합성하거나, 상기 부화면 영상신호를 상기 주화면의 다른 영역에 오버레이(overlay)합성할 수 있다.In this case, the screen synthesizing unit 146 synthesizes the sub-screen video signal to the set sub-screen area as it is, or overlays the sub-screen video signal to another area of the main screen according to the sub-screen reproduction setting information. overlay).

후자의 경우, 상기 부화면은 가상머신을 이용한 컴퓨터의 윈도우와 유사하며, 마치 부화면의 수에 따라 두 대 이상의 카메라를 이용한 것과 동일한 효과를 볼 수 있다.In the latter case, the sub-screen is similar to a window of a computer using a virtual machine, and the same effect as using two or more cameras can be obtained depending on the number of sub-screens.

또한, 상기 화면합성부(146)는 스케일러(scaler)를 구비하며, 상기 부화면 제어정보에 따라 상기 오버레이합성된 부화면을 다른 영역으로 이동시키거나 그 크기를 축소 또는 확장시켜 영상변환할 수 있다.In addition, the screen synthesizing unit 146 may include a scaler, and may convert the overlay synthesized sub-screen to another area or reduce or enlarge the size thereof to convert the image according to the sub-screen control information. .

예를 들어, 상기 화면합성부(146)는 화면 크기변환, 화면 비 변환, 디스플레이 스캔 방법 변환 등과 같은 영상변환 기술을 이용할 수 있다.For example, the screen synthesizer 146 may use an image conversion technique such as screen size conversion, aspect ratio conversion, display scan method conversion, and the like.

상기 디스플레이부(150)는 상기 영상처리부(140)로부터 상기 주화면 영상신호 및 상기 부화면 영상신호를 전달받고, 상기 입출력장치 설정정보에 따른 표준 신호 규격에 맞추어 변환한 뒤 상기 영상출력장치(300)를 통하여 출력되도록 한다.The display unit 150 receives the main screen image signal and the sub screen image signal from the image processing unit 140, converts them according to a standard signal standard according to the input / output device setting information, and then outputs the image output device 300. To be printed through

이하, 실시예에 따른 비가시광선계 영상 처리 방법에 대하여 상세히 설명한다.Hereinafter, an invisible ray system image processing method according to an embodiment will be described in detail.

도 6은 실시예에 따른 비가시광선계 영상 처리 방법을 개략적으로 도시한 흐름도이다.6 is a flowchart schematically illustrating an invisible ray system image processing method according to an embodiment.

상기 주화면 컬러영상이 구성되지 않은 경우(S100의 "아니오"), 상기 흑백영상 분석부(122)는 상기 열상 카메라(200)로부터 상기 디지털 영상신호를 전달받아 주화면 흑백 영상을 구성하는 화소들의 흑백 화소 수치를 분석하고 이를 상기 제1 매칭정보(133)에 따라 상기 제1 테이블(131)의 흑백 데이터로 변환한다.When the main screen color image is not configured (NO in S100), the black and white image analyzer 122 receives the digital image signal from the thermal camera 200 and configures the pixels of the main screen black and white image. The black and white pixel values are analyzed and converted into black and white data of the first table 131 according to the first matching information 133.

따라서, 주화면 흑백 데이터가 생성된다(S105).Thus, main screen black and white data is generated (S105).

상기 색상매칭부(124)는 상기 흑백영상 분석부(122)로부터 상기 주화면 흑백 데이터를 전달받고, 이를 상기 제2 매칭 정보(134)에 의하여 상기 제2 테이블(132)의 상기 색상 데이터에 맵핑시킴으로써 맵핑 정보를 생성한다(S110).The color matching unit 124 receives the main screen black and white data from the black and white image analyzer 122 and maps the main screen black and white data to the color data of the second table 132 by the second matching information 134. By doing so, mapping information is generated (S110).

상기 컬러영상 생성부(126)는 상기 색상매칭부(124)로부터 상기 맵핑 정보를 전달받고 상기 흑백영상 분석부(122)로부터 상기 주화면 흑백 데이터를 전달받는다.The color image generating unit 126 receives the mapping information from the color matching unit 124 and the main screen monochrome data from the black and white image analysis unit 122.

상기 컬러영상 생성부(126)는 상기 맵핑 정보에 의하여 상기 주화면 흑백 데이터를 해당 색상 데이터로 변환함으로써 주화면 컬러 영상을 구성한다(S115).The color image generating unit 126 configures a main screen color image by converting the main screen black and white data into corresponding color data based on the mapping information (S115).

반면, 상기 주화면 컬러 영상이 구성되고(S100의 "예") 상기 부화면 영역설정정보가 입력된 경우(S120의 "예), 상기 흑백영상 분석부(122)는 상기 부화면 영역설정정보에 따라 흑백 화소 수치를 분석하고 이를 상기 제1 매칭정보(133)에 따라 상기 제1 테이블(131)의 흑백 데이터로 변환한다.On the other hand, when the main screen color image is configured (YES in S100) and the sub-screen area setting information is input (YES in S120), the black and white image analyzer 122 is configured to display the sub-screen area setting information. The black and white pixel values are analyzed and converted into black and white data of the first table 131 according to the first matching information 133.

따라서, 부화면 흑백 데이터가 생성된다(S125).Thus, sub-screen black and white data is generated (S125).

상기 매칭정보 변경부(128)는 상기 부화면 흑백 데이터를 전달받고 상기 부화면 영역설정정보에 따라 상기 제2 매칭 정보(134)를 변경한다(S130).The matching information changing unit 128 receives the sub-screen black and white data and changes the second matching information 134 according to the sub-screen area setting information (S130).

상기 색상매칭부(124)는 상기 흑백영상 분석부(122)로부터 상기 부화면 흑백 데이터를 전달받고, 이를 상기 변경된 제2 매칭 정보(134)에 의하여 상기 제2 테이블(132)의 상기 색상 데이터에 맵핑시킴으로써 맵핑 정보를 생성한다(S135).The color matching unit 124 receives the sub-screen black-and-white data from the black-and-white image analyzing unit 122 and converts the sub-screen black-and-white data to the color data of the second table 132 by the changed second matching information 134. Mapping information is generated by mapping (S135).

상기 컬러영상 생성부(126)는 상기 색상매칭부(124)로부터 상기 맵핑 정보를 전달받고 상기 흑백영상 분석부(122)로부터 상기 부화면 흑백 데이터를 전달받는다.The color image generating unit 126 receives the mapping information from the color matching unit 124 and the sub-screen black and white data from the monochrome image analyzing unit 122.

상기 컬러영상 생성부(126)는 상기 맵핑 정보에 의하여 상기 부화면 흑백 데이터를 해당 색상 데이터로 변환함으로써 부화면 컬러 영상을 구성한다(S140).The color image generating unit 126 configures the sub-screen color image by converting the sub-screen black and white data into corresponding color data based on the mapping information (S140).

이후, 상기 인터페이스부(110)를 통하여 다른 부화면 또는 부화면 내 다중 부화면에 대한 상기 부화면 영역설정정보가 입력되면(S145의 "예") 상기 단계 S125 내지 상기 단계 S140이 반복하여 처리된다.Subsequently, when the sub-screen area setting information for another sub-screen or multiple sub-screens in the sub-screen is input through the interface unit 110 (YES in S145), the steps S125 to S140 are repeatedly processed. .

상기 주화면 처리부(142)는 상기 컬러영상 생성부(126)로부터 주화면 컬러 영상 데이터를 전달받고, 이를 상기 주화면 크기에 맞추어 상기 영상출력장치(300)의 표준 규격의 영상신호로 변환출력한다(S150).The main screen processing unit 142 receives the main screen color image data from the color image generating unit 126 and converts the main screen color image data into a video signal of a standard standard of the image output apparatus 300 according to the main screen size. (S150).

상기 부화면 컬러 영상이 생성된 경우, 상기 부화면 처리부(144)는 상기 부화면 영역설정정보가 전달되면 상기 컬러영상 생성부(126)로부터 부화면 컬러 영상 데이터를 전달받고, 이를 상기 부화면 크기에 맞추어 표준 규격의 영상신호로 변환출력한다(S155).When the sub-screen color image is generated, the sub-screen processing unit 144 receives sub-screen color image data from the color image generation unit 126 when the sub-screen area setting information is transmitted, and the sub-screen size In accordance with the standard signal, the video signal is converted and output (S155).

상기 화면합성부(146)는 상기 주화면 영상신호로 하나의 화면을 구성하거나(S160) 상기 부화면 영상신호가 있는 경우 이를 상기 주화면 영상신호와 합성하여 하나의 화면으로 구성한다.The screen synthesizing unit 146 configures one screen with the main screen video signal (S160) or, if there is the sub screen video signal, combines it with the main screen video signal to form a single screen.

상기 인터페이스부(110)가 상기 부화면 영역설정정보를 입력받음에 있어서, 상기 부화면 재생설정정보를 입력받은 경우, 상기 화면합성부(146)는 상기 부화면 재생설정정보에 따라(S165), 상기 부화면 영상신호를 상기 설정된 부화면 영역에 그대로 합성하거나(S170), 상기 부화면 영상신호를 상기 주화면의 다른 영역에 오버레이(overlay)합성할 수 있다(S175).When the interface unit 110 receives the sub-screen area setting information, when the sub-screen reproduction setting information is input, the screen synthesizing unit 146 according to the sub-screen reproduction setting information (S165), The sub-screen video signal may be synthesized as it is to the set sub-screen area as it is (S170), or the sub-screen video signal may be overlayed to another area of the main screen (S175).

또한, 상기 인터페이스부(110)가 상기 부화면 영역설정정보를 입력받음에 있어서, 상기 부화면 제어정보를 입력받은 경우(S180의 "예"), 상기 화면합성부(146)는 상기 부화면 제어정보에 따라 상기 오버레이합성된 상기 부화면 영상신호 영역을 다른 영역으로 이동시키거나 그 크기를 축소 또는 확장시켜 영상변환할 수 있다(S185).In addition, when the interface unit 110 receives the sub-screen area setting information, when the sub-screen control information is input (YES in S180), the screen synthesis unit 146 controls the sub-screen. According to the information, the overlay-synthesized sub-screen video signal region may be moved to another region or the image may be converted by reducing or expanding the size (S185).

상기 디스플레이부(150)는 상기 영상처리부(140)로부터 단일 화면의 영상신호를 전달받고, 상기 입출력장치 설정정보에 따른 표준 신호 규격에 맞추어 변환한 뒤 상기 영상출력장치(300)를 통하여 출력되도록 한다(S190).The display unit 150 receives an image signal of a single screen from the image processor 140, converts it to a standard signal standard according to the input / output device setting information, and then outputs the image signal through the image output device 300. (S190).

이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood that various modifications and applications other than those described above are possible. For example, each component specifically shown in the embodiments of the present invention can be modified and implemented. And differences relating to such modifications and applications will have to be construed as being included in the scope of the invention defined in the appended claims.

Claims (20)

사용자로부터 부화면 영역설정정보를 포함하는 조작정보를 입력받아 동작신호로 처리하는 인터페이스부;
상기 조작정보, 다수 레벨의 흑백 데이터 및 색상 데이터를 각각 정의하는 제1 테이블 및 제2 테이블, 제2 매칭정보를 저장하는 저장부;
주화면 또는 상기 부화면 영역설정정보에 따른 부화면을 이루는 비가시광선계 전자기파의 디지털 흑백 영상 신호를 상기 흑백 데이터로 변환하고, 상기 부화면 흑백 데이터 및 상기 부화면 영역설정정보에 의하여 상기 제2 매칭 정보를 변경하며, 상기 제2 매칭정보에 의하여 상기 변환된 흑백 데이터를 상기 색상 데이터로 변환하여 컬러영상을 구성하는 컬러링처리부; 및
상기 컬러링처리부로부터 주화면 컬러 영상 데이터, 부화면 컬러 영상 데이터를 전달받고, 이를 상기 주화면 및 상기 부화면의 크기에 맞추어 표준 규격의 영상신호로 변환하며, 주화면 영상신호 및 부화면 영상신호를 합성하는 영상처리부를 포함하는 비가시광선계 영상 처리 장치.An interface unit for receiving operation information including sub-screen area setting information from a user and processing the operation information into an operation signal;
A storage unit for storing the first table, the second table, and the second matching information defining the manipulation information, the plurality of levels of black and white data, and the color data;
Converts the digital black and white image signal of the invisible ray-based electromagnetic wave forming the sub-screen according to the main screen or the sub-screen area setting information into the black and white data, and the second matching by the sub-screen black and white data and the sub-screen area setting information. A coloring processor configured to change information, and convert the black-and-white data converted by the second matching information into the color data to form a color image; And
Receives the main screen color image data and the sub-screen color image data from the coloring processor, converts the main screen color image data and the sub-screen color image data into standard video signals according to the sizes of the main screen and the sub-screen, and converts the main screen video signal and the sub-screen video signal. An invisible ray system image processing apparatus comprising an image processing unit to synthesize. 제1항에 있어서,
상기 인터페이스부는 다수개의 상기 부화면 영역설정정보를 입력받고, 상기 컬러링처리부 및 상기 영상처리부는 상기 설정된 다수개의 부화면 영역을 순차적으로 처리하는 것을 특징으로 하는 비가시광선계 영상 처리 장치.The method of claim 1,
And the interface unit receives a plurality of the sub-screen area setting information, and the coloring processor and the image processor sequentially process the set plurality of sub-screen areas. 제1항에 있어서,
상기 부화면 영역설정정보는 부화면에 대하여 1회 이상 일정 시간 간격을 두고 다중으로 입력된 것을 특징으로 하는 비가시광선계 영상 처리 장치.The method of claim 1,
And the sub-screen area setting information is input to the sub-screen multiple times at a predetermined time interval. 제1항에 있어서, 상기 인터페이스부는
사용자 입력수단을 제공하여 입출력장치 설정정보, 동작정보, 부화면 재생설정정보, 부화면 제어정보를 포함하는 상기 조작정보를 입력받는 사용자 인터페이스;
상기 입출력장치 설정정보를 동작신호로 처리하는 입출력장치 설정부;
상기 동작정보에 따라 상기 컬러링처리부 및 상기 영상처리부의 동작을 제어하는 동작정보 입력부;
상기 부화면 영역설정정보를 동작신호로 처리하는 부화면 영역설정부; 및
상기 부화면 재생설정정보 및 상기 부화면 제어정보를 동작신호로 처리하는 부화면 재생설정부를 포함하는 비가시광선계 영상 처리 장치.The method of claim 1, wherein the interface unit
A user interface providing user input means to receive the operation information including input / output device setting information, operation information, sub-screen reproduction setting information, and sub-screen control information;
An input / output device setting unit which processes the input / output device setting information as an operation signal;
An operation information input unit controlling an operation of the coloring processor and the image processor according to the operation information;
A sub-screen area setting unit which processes the sub-screen area setting information as an operation signal; And
And a sub-screen reproduction setting unit for processing the sub-screen reproduction setting information and the sub-screen control information as an operation signal. 제4항에 있어서,
상기 인터페이스부의 사용자 입력수단 및 상기 합성된 영상신호를 상기 입출력장치 설정정보에 따른 표준 신호 규격에 맞추어 변환하고, 영상출력장치를 통하여 출력시키는 디스플레이부를 포함하는 비가시광선계 영상 처리 장치.The method of claim 4, wherein
And a display unit for converting the user input means of the interface unit and the synthesized image signal according to a standard signal standard according to the input / output device setting information and outputting the same through an image output device. 제1항에 있어서,
상기 조작정보는 제1 매칭정보를 포함하고, 상기 컬러링처리부는
주화면 또는 상기 부화면 영역설정정보에 따른 부화면을 이루는 비가시광선계 전자기파의 디지털 흑백 영상 신호를 분석하고, 상기 제1 매칭정보에 따라 상기 디지털 흑백 영상 신호를 상기 흑백 데이터로 변환하는 흑백영상 분석부;
상기 부화면 흑백 데이터 및 상기 부화면 영역설정정보에 의하여 상기 제2 매칭 정보를 변경하는 매칭정보 변경부;
상기 제2 매칭정보에 의하여 상기 변환된 흑백 데이터를 상기 색상 데이터에 맵핑시키는 맵핑정보를 생성하는 색상매칭부; 및
상기 맵핑정보에 따라 상기 변환된 흑백 데이터를 색상 데이터로 변환하여 컬러 영상을 구성하는 컬러영상 생성부를 포함하는 비가시광선계 영상 처리 장치.The method of claim 1,
The manipulation information includes first matching information, and the coloring processing unit
Analyzing the black and white image signal of the invisible light electromagnetic wave forming the sub-screen according to the main screen or the sub-screen area setting information, and converting the black and white image signal into the black and white data according to the first matching information. part;
A matching information changing unit which changes the second matching information according to the sub-screen black and white data and the sub-screen area setting information;
A color matching unit configured to generate mapping information for mapping the converted black and white data to the color data by the second matching information; And
And a color image generator configured to convert the converted black and white data into color data according to the mapping information to form a color image. 제6항에 있어서, 상기 흑백영상 분석부는
상기 디지털 흑백 영상 신호를 비가시광선계 카메라로부터 전달받고, 상기 조작정보에 포함되는 입출력장치 설정정보에 따라 상기 비가시광선계 카메라의 신호 처리 포맷을 파악하여 상기 디지털 흑백 영상 신호를 분석하는 것을 특징으로 하는 비가시광선계 영상 처리 장치.The method of claim 6, wherein the black and white image analysis unit
Receiving the digital black and white image signal from an invisible ray system camera, and analyzing the digital monochrome image signal by identifying a signal processing format of the invisible ray camera according to input / output device setting information included in the operation information; Invisible ray system image processing device. 제1항에 있어서, 상기 영상처리부는
상기 색상 매칭부로부터 주화면 컬러 영상 데이터를 전달받고, 이를 상기 주화면 크기에 맞추어 표준 규격의 영상신호로 변환출력하는 주화면처리부;
상기 색상 매칭부로부터 부화면 컬러 영상 데이터를 전달받고, 이를 상기 부화면 영역설정정보에 따라 부화면 크기에 맞추어 표준 규격의 영상신호로 변환출력하는 부화면처리부; 및
상기 주화면 영상신호와 상기 부화면 영상신호를 합성하여 하나의 화면으로 구성하는 화면합성부를 포함하는 비가시광선계 영상 처리 장치.The image processing apparatus of claim 1, wherein the image processor
A main screen processing unit receiving main screen color image data from the color matching unit and converting the main screen color image data into a video signal of a standard standard according to the main screen size;
A sub-screen processing unit which receives the sub-screen color image data from the color matching unit and converts the sub-screen color image data into a video signal of a standard standard according to the sub-screen size according to the sub-screen area setting information; And
And a screen synthesizing unit configured to combine the main screen video signal and the sub screen video signal to form a single screen. 제8항에 있어서,
상기 조작정보는 부화면 재생설정정보를 포함하며,
상기 화면합성부는 상기 부화면 재생설정정보에 따라 상기 부화면 영상신호를 상기 설정된 부화면 영역에 그대로 합성하거나, 상기 주화면의 다른 영역에 오버레이(overlay)합성하는 것을 특징으로 하는 비가시광선계 영상 처리 장치.The method of claim 8,
The operation information includes sub picture reproduction setting information,
The screen synthesizing unit synthesizes the sub-screen video signal into the set sub-screen area as it is or overlays the overlay on another area of the main screen according to the sub-screen reproduction setting information. Device. 제9항에 있어서,
상기 조작정보는 부화면 제어정보를 포함하며,
상기 화면합성부는 상기 부화면 제어정보에 따라 상기 오버레이합성된 부화면을 다른 영역으로 이동시키거나 그 크기를 축소 또는 확장시켜 영상변환하는 것을 특징으로 하는 비가시광선계 영상 처리 장치.10. The method of claim 9,
The operation information includes sub-screen control information,
And the screen synthesizing unit converts the overlay-synthesized sub-screen to another area or reduces or expands the size of the overlay-synthesized sub-screen according to the sub-screen control information. 부화면 영역설정정보를 입력받는 단계;
상기 부화면 영역설정정보에 따라 부화면의 비가시광선계 전자기파의 디지털 흑백 영상 신호를 다수 레벨의 흑백 데이터를 정의하는 제1 테이블에 의하여 부화면 흑백 데이터로 변환하는 단계;
상기 부화면 흑백 데이터 및 상기 부화면 영역설정정보에 의하여 제2 매칭 정보를 변경하는 단계;
상기 제2 매칭정보에 따라 상기 부화면 흑백 데이터를 제2 테이블에 의하여 정의된 색상 데이터로 변환하여 부화면 컬러영상을 구성하는 단계; 및
주화면 컬러 영상 데이터 및 상기 부화면 컬러 영상 데이터를 표준 규격의 영상신호로 변환하고 주화면 영상신호 및 부화면 영상신호를 합성하는 단계를 포함하는 비가시광선계 영상 처리 방법.Receiving sub-screen area setting information;
Converting the digital black and white image signal of the invisible light-based electromagnetic wave of the sub-screen into sub-screen black-and-white data by a first table defining a plurality of levels of black-and-white data according to the sub-screen region setting information;
Changing second matching information according to the sub-screen black and white data and the sub-screen area setting information;
Constructing a sub-screen color image by converting the sub-screen black and white data into color data defined by a second table according to the second matching information; And
And converting the main screen color image data and the sub-screen color image data into a video signal of a standard standard, and synthesizing the main screen image signal and the sub-screen image signal. 제11항에 있어서,
상기 주화면 컬러영상이 구성되지 않은 경우, 상기 부화면 흑백 데이터로 변환하는 단계 전에 상기 주화면의 비가시광선계 전자기파의 디지털 흑백 영상 신호를 다수 레벨의 흑백 데이터를 정의하는 제1 테이블에 의하여 주화면 흑백 데이터로 변환하는 단계; 및
상기 제2 매칭정보에 따라 상기 주화면 흑백 데이터를 제2 테이블에 의하여 정의된 색상 데이터로 변환하여 주화면 컬러영상을 구성하는 단계를 포함하는 비가시광선계 영상 처리 방법.The method of claim 11,
If the main screen color image is not configured, before the step of converting the sub-screen black and white data, the digital screen black and white video signal of the invisible light electromagnetic wave of the main screen by the first table to define a plurality of levels of black and white data Converting to black and white data; And
And converting the main screen black and white data into color data defined by a second table according to the second matching information to form a main screen color image. 제12항에 있어서,
상기 구성된 주화면 컬러 영상 데이터를 상기 주화면 크기에 맞추어 영상출력장치의 표준 규격의 영상신호로 변환출력하는 단계를 포함하는 비가시광선계 영상 처리 방법.The method of claim 12,
And converting the configured main screen color image data into a video signal of a standard standard of an image output apparatus according to the main screen size. 제11항에 있어서,
상기 부화면 영역설정정보에 따라 상기 부화면 컬러 영상 데이터를 상기 부화면 크기에 맞추어 표준 규격의 영상신호로 변환출력하는 단계를 포함하는 비가시광선계 영상 처리 방법.The method of claim 11,
And converting the sub-screen color image data into a video signal of a standard standard according to the sub-screen size according to the sub-screen area setting information. 제11항에 있어서,
부화면 재생설정정보를 입력받는 단계를 더 포함하고,
상기 주화면 영상신호 및 부화면 영상신호를 합성하는 단계는, 상기 부화면 재생설정정보에 따라, 상기 부화면 영상신호를 상기 설정된 부화면 영역에 그대로 합성하거나, 상기 부화면 영상신호를 상기 주화면의 다른 영역에 오버레이(overlay)합성하는 것을 특징으로 하는 비가시광선계 영상 처리 방법.The method of claim 11,
The method may further include receiving sub-screen play setting information.
The synthesizing of the main screen video signal and the sub-screen video signal may include synthesizing the sub-screen video signal into the set sub-screen area as it is or according to the sub-screen reproduction setting information. And overlay composition on different areas of the invisible light system. 제15항에 있어서,
부화면 제어정보를 입력받는 단계; 및
상기 부화면 제어정보에 따라 상기 오버레이합성된 상기 부화면 영상신호 영역을 다른 영역으로 이동시키거나 그 크기를 축소 또는 확장시켜 영상변환하는 단계를 포함하는 비가시광선계 영상 처리 방법.16. The method of claim 15,
Receiving sub-screen control information; And
And converting the overlay-synthesized sub-screen video signal region to another area according to the sub-screen control information, or converting the image by reducing or expanding the size thereof. 제11항에 있어서,
입출력장치 설정정보를 입력받는 단계; 및
상기 합성된 영상신호를 상기 입출력장치 설정정보에 따른 표준 신호 규격에 맞추어 변환한 뒤 영상출력장치를 통하여 출력하는 단계를 포함하는 비가시광선계 영상 처리 방법.The method of claim 11,
Receiving input / output device setting information; And
And converting the synthesized image signal according to a standard signal standard according to the input / output device setting information and outputting the synthesized image signal through an image output device. 제11항에 있어서, 상기 부화면 영역설정정보는 다수개로서,
따라 상기 부화면 흑백 데이터로 변환하는 단계 내지 상기 주화면 영상신호 및 부화면 영상신호를 합성하는 단계가 반복적으로 수행되어 상기 부화면 영역설정정보를 순차적으로 처리하는 것을 특징으로 하는 비가시광선계 영상 처리 방법.The method of claim 11, wherein the sub-screen area setting information is plural.
And converting the sub-screen black and white data to synthesizing the main screen video signal and the sub-screen video signal are repeatedly performed to sequentially process the sub-screen area setting information. Way. 제11항에 있어서,
상기 부화면 영역설정정보는 부화면에 대하여 1회 이상 일정 시간 간격을 두고 다중으로 입력된 것을 특징으로 하는 비가시광선계 영상 처리 방법.The method of claim 11,
And the sub-screen area setting information is input to the sub-screen multiple times at a predetermined time interval. 제11항에 있어서,
상기 제1 매칭정보를 입력받는 단계를 더 포함하고,
상기 부화면 흑백 데이터로 변환하는 단계는 상기 디지털 흑백 영상 신호를 분석하고, 상기 제1 매칭정보에 따라 상기 디지털 흑백 영상 신호를 상기 흑백 데이터로 변환하는 단계인 것을 특징으로 하는 비가시광선계 영상 처리 방법.The method of claim 11,
The method may further include receiving the first matching information.
The converting into the sub-screen black and white data comprises analyzing the digital black and white video signal and converting the digital black and white video signal to the black and white data according to the first matching information. .
KR1020100021342A 2010-03-10 2010-03-10 Image processing apparatus of non-visible ray spectrum and image processing method of non-visible ray spectrum KR101120571B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100021342A KR101120571B1 (en) 2010-03-10 2010-03-10 Image processing apparatus of non-visible ray spectrum and image processing method of non-visible ray spectrum

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100021342A KR101120571B1 (en) 2010-03-10 2010-03-10 Image processing apparatus of non-visible ray spectrum and image processing method of non-visible ray spectrum

Publications (2)

Publication Number Publication Date
KR20110101948A KR20110101948A (en) 2011-09-16
KR101120571B1 true KR101120571B1 (en) 2012-03-09

Family

ID=44953872

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100021342A KR101120571B1 (en) 2010-03-10 2010-03-10 Image processing apparatus of non-visible ray spectrum and image processing method of non-visible ray spectrum

Country Status (1)

Country Link
KR (1) KR101120571B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268014B (en) * 2013-05-24 2015-06-17 浙江大学 Column-shaped electromagnetic wave stealth device with four-direction stealth effects

Also Published As

Publication number Publication date
KR20110101948A (en) 2011-09-16

Similar Documents

Publication Publication Date Title
US10070104B2 (en) Imaging systems with clear filter pixels
CN106911876B (en) Method and apparatus for outputting image
RU2519829C2 (en) Image processing device
TWI386049B (en) A solid-state imaging device, and a device using the solid-state imaging device
EP4161061A1 (en) Image acquisition method, camera assembly, and mobile terminal
US9148560B2 (en) Imaging device, and image processing method
US20100328485A1 (en) Imaging device, imaging module, electronic still camera, and electronic movie camera
CN101023680A (en) Rod cell and cone response sensor
EP2587407B1 (en) Vision recognition apparatus and method
JP2007074635A (en) Image input apparatus and solid imaging element
KR20100133806A (en) Image display method and apparatus
CN107409184A (en) Solid-state imaging element, driving method and electronic equipment
CN101288296A (en) Reconstructing a full color image from an image encoded by a bayer pattern
US10616536B2 (en) Imaging systems having broadband monochromatic and chromatic image sensors
WO2018235225A1 (en) Image capturing device, image capturing method, and program
KR101120571B1 (en) Image processing apparatus of non-visible ray spectrum and image processing method of non-visible ray spectrum
EP3985729A1 (en) Image sensor, camera assembly, and mobile terminal
US10593717B2 (en) Image processing apparatus, image processing method, and imaging apparatus
JP5058128B2 (en) Imaging device and portable device
KR101120568B1 (en) Photographing system of multi-spectrum electromagnetic image and photographing method of multi-spectrum electromagnetic image
CN114125319A (en) Image sensor, camera module, image processing method and device and electronic equipment
JP7298020B2 (en) Image capture method, camera assembly and mobile terminal
CN111918005A (en) Image sensor, terminal, data processing method, data processing device and storage medium
WO2020059050A1 (en) Imaging element, imaging device, imaging method, and program
CN111416967A (en) Image sensing apparatus, manufacturing method, image reconstruction method, and application

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment
FPAY Annual fee payment

Payment date: 20170303

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee