KR20220144434A - Frame grabber system and method of storing control signal related information for peripheral device with image frame, computer program and computer-readable recording medium - Google Patents

Frame grabber system and method of storing control signal related information for peripheral device with image frame, computer program and computer-readable recording medium Download PDF

Info

Publication number
KR20220144434A
KR20220144434A KR1020210050478A KR20210050478A KR20220144434A KR 20220144434 A KR20220144434 A KR 20220144434A KR 1020210050478 A KR1020210050478 A KR 1020210050478A KR 20210050478 A KR20210050478 A KR 20210050478A KR 20220144434 A KR20220144434 A KR 20220144434A
Authority
KR
South Korea
Prior art keywords
signal
frame
control signal
synchronization
information
Prior art date
Application number
KR1020210050478A
Other languages
Korean (ko)
Other versions
KR102493107B1 (en
Inventor
김영윤
이현규
김호
유정현
Original Assignee
(주)이즈미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이즈미디어 filed Critical (주)이즈미디어
Priority to KR1020210050478A priority Critical patent/KR102493107B1/en
Publication of KR20220144434A publication Critical patent/KR20220144434A/en
Application granted granted Critical
Publication of KR102493107B1 publication Critical patent/KR102493107B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/4448—Receiver circuitry for the reception of television signals according to analogue transmission standards for frame-grabbing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/2354—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

The present invention relates to a frame grabber system. The frame grabber system includes: a frame grabber including a frame information field; and a processor for outputting a control signal for controlling a peripheral device based on a synchronization signal, synchronizing with the synchronization signal and adding an image frame captured by a camera module to store information on the control signal in the frame information field. Accordingly, it is possible to improve the quality of an image captured by the camera by controlling lighting under optimal conditions.

Description

영상 프레임과 함께 주변 장치의 제어신호에 대한 정보를 저장하는 프레임 그래버 시스템 및 그 제어방법, 컴퓨터 프로그램 및 컴퓨터 판독가능 기록 매체{Frame grabber system and method of storing control signal related information for peripheral device with image frame, computer program and computer-readable recording medium}A frame grabber system for storing information on a control signal of a peripheral device together with an image frame, a control method therefor, a computer program, and a computer-readable recording medium TECHNICAL FIELD computer program and computer-readable recording medium}

본 발명은 프레임 그래버 시스템 및 그 제어방법에 관한 것으로서, 보다 상세하게는 영상 프레임과 함께 주변 장치의 제어신호에 대한 정보를 저장하는 프레임 그래버 시스템 및 그 제어방법에 관한 것이다. The present invention relates to a frame grabber system and a control method therefor, and more particularly, to a frame grabber system and a control method thereof for storing information on control signals of peripheral devices together with an image frame.

고속 촬영, 카메라 검사, 자동차의 과속 단속, 등에서 정확한 영상을 빨리 얻기 위해서는, 빠른 촬영 속도의 카메라가 필요하다. 이러한 이유로, 카메라 제조사는 센서를 개량하고 인터페이스를 지속적으로 발전시켜 나가고 있다. 그러나, 카메라의 촬영 속도만 빠르다고 해서 모든 문제가 해결되는 것은 아니다.In order to obtain an accurate image quickly in high-speed shooting, camera inspection, speed control of a vehicle, etc., a camera having a high shooting speed is required. For this reason, camera manufacturers are constantly improving the sensor and improving the interface. However, just because the camera's shooting speed is fast does not solve all problems.

카메라의 촬영 속도가 빠르다는 것은, 한번의 영상 촬영에 걸리는 시간, 즉, 셔터노출 시간이 짧아짐을 의미한다. 셔터노출 시간이 짧을수록, 입력되는 광량이 낮아 영상이 어둡게 촬영된다. 셔터노출 시간이 짧아져도 동일한 밝기의 영상을 얻으려면, 조명의 광량을 더 높게 하거나 카메라 센서의 감도를 더 높게 해야 한다.When the camera's shooting speed is fast, it means that the time it takes to capture an image, that is, the shutter exposure time, is shortened. The shorter the shutter exposure time, the lower the amount of input light and the darker the image is taken. In order to obtain an image of the same brightness even if the shutter exposure time is shortened, the amount of light or the sensitivity of the camera sensor should be higher.

예를 들어 카메라 검사 시 종래에는, 조명의 광량을 고정한 상태에서, I2C 통신을 통하여 카메라 센서의 게인(gain) 값을 조절해가며 소프트웨어(SW)를 이용하여 노출 값(셔터노출 시간)의 계산 및 비교를 반복하였다. 그러나, 이러한 종래의 방법은 가동율(UPH)이 낮으며, 소프트웨어 작업에 앞서 작업자가 게인에 대한 상세한 정보를 알고 있어야만 하고, 소프트웨어 상에서 게인을 제어하기 위한 알고리즘 때문에 택타임(tact time) 및 CPU 점유율이 증가되며, 조명을 밝게 계속 켜 두어야 하므로 많은 전력을 소모하고 조명의 수명을 단축시키는 문제들이 있었다. 이 외에도, 카메라 센서의 게인을 조절하는 데 한계가 있으며, 조명의 광량을 높이는 데에도 한계가 있었다.For example, in the case of camera inspection, conventionally, in a state where the amount of light is fixed, the exposure value (shutter exposure time) is calculated and The comparison was repeated. However, this conventional method has a low operating rate (UPH), and the operator must know detailed information about the gain prior to software work, and the tact time and CPU occupancy are low because of the algorithm for controlling the gain on the software. Increased, there were problems that consume a lot of power and shorten the lifespan of the light because the light must be kept on brightly. In addition, there is a limit in adjusting the gain of the camera sensor, and there is a limit in increasing the amount of light of the illumination.

따라서, 최적의 조건으로 조명을 제어하여 카메라에 의해 캡쳐되는 영상의 품질 향상을 도모할 수 있는 기술이 필요하다. Therefore, there is a need for a technology capable of improving the quality of an image captured by a camera by controlling lighting under optimal conditions.

KR 2076203 B1KR 2076203 B1 KR 2017-0108392 AKR 2017-0108392 A

이로써, 본 발명의 목적은 최적의 조건으로 조명을 제어하여 카메라에 의해 캡쳐되는 영상의 품질 향상을 도모할 수 있는 프레임 그래버 시스템 및 그 제어방법을 제공하는 데 있다. Accordingly, it is an object of the present invention to provide a frame grabber system capable of improving the quality of an image captured by a camera by controlling lighting under optimal conditions and a method for controlling the same.

본 발명의 다른 목적은 영상 프레임과 함께 주변 장치의 제어신호에 대한 정보를 저장함으로써 보다 정확한 주변 장치의 자동 제어를 가능하게 해주는 프레임 그래버 시스템 및 그 제어방법을 제공하는 데 있다. Another object of the present invention is to provide a frame grabber system and a control method therefor that enable more accurate automatic control of a peripheral device by storing information about a control signal of a peripheral device together with an image frame.

본 발명의 또 다른 목적은 카메라의 트리거 신호에 정밀하게 동기하여 반응하는 조명 제어 기술을 구현하는 것을 가능하게 해주는 프레임 그래버 시스템 및 그 제어방법을 제공하는 데 있다. Another object of the present invention is to provide a frame grabber system and a method for controlling the same that enable to implement a lighting control technology that precisely synchronizes and responds to a trigger signal of a camera.

본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 목적은, 본 발명의 제1 측면에 따라, The object is, according to a first aspect of the present invention,

프레임정보 필드를 포함하는 프레임 그래버; 및a frame grabber including a frame information field; and

동기화 신호에 기초하여 주변 장치를 제어하는 제어신호를 출력하고, 상기 동기화 신호에 동기화하여 카메라 모듈에서 캡쳐되는 영상 프레임에 추가하여 상기 제어신호에 대한 정보를 상기 프레임정보 필드에 저장하는 프로세서를 포함하는, 프레임 그래버 시스템에 의해 달성된다. A processor that outputs a control signal for controlling a peripheral device based on a synchronization signal, and stores information about the control signal in the frame information field in synchronization with the synchronization signal and in addition to an image frame captured by the camera module , is achieved by a frame grabber system.

이때, 상기 영상 프레임은 복수의 수평 방향의 라인들로 구성되고, In this case, the image frame is composed of a plurality of horizontal lines,

상기 프레임정보 필드는 상기 영상 프레임의 각 라인에 대하여 상기 영상 프레임에 대한 정보와 상기 제어신호에 대한 정보를 포함하고, 상기 제어신호에 대한 정보는, 상기 동기화 신호에 기초하여 주변 장치를 제어하는 제어신호의 출력 여부를 결정하는 데 사용되는 인자들일 수 있다. The frame information field includes information on the image frame and information on the control signal for each line of the image frame, and the information on the control signal is a control for controlling a peripheral device based on the synchronization signal These may be factors used to determine whether a signal is output or not.

특히, 상기 주변 장치는 조명 장치이고, 상기 제어신호는 조명 장치의 온/오프를 제어하기 위한 신호일 때, 상기 제어신호에 대한 정보는 상기 조명 장치의 온/오프 타이밍을 결정하는 데 사용되는 인자들인, 조명 온 구간, 조명 오프 구간, 온/오프 반복 횟수, 딜레이, 펄스폭 중 적어도 어느 하나인 것이 바람직하다.In particular, when the peripheral device is a lighting device, and the control signal is a signal for controlling on/off of the lighting device, information about the control signal is a factor used to determine on/off timing of the lighting device. , it is preferable that at least one of a lighting-on section, a lighting-off section, the number of on/off repetitions, a delay, and a pulse width.

한편, 상기 동기화 신호는 상기 카메라 모듈로부터 영상 프레임을 수신한 상기 프레임 그래버로부터 출력되거나, 또는 상기 프로세서로부터 출력될 수 있다. Meanwhile, the synchronization signal may be output from the frame grabber that receives the image frame from the camera module, or may be output from the processor.

나아가, 상기 프로세서는 Further, the processor

상기 동기화 신호가 입력되었는지 확인하는 입력신호 트리거부;an input signal trigger unit for checking whether the synchronization signal is input;

상기 동기화 신호에 동기화하여 동작할지 여부를 결정하는 내부 로직 상태결정부;an internal logic state determining unit that determines whether to operate in synchronization with the synchronization signal;

상기 동기화 신호에 기초하여 출력할 상기 제어신호의 타이밍을 결정하기 위해 카운팅하는 타이밍 카운팅부; 및a timing counting unit for counting to determine a timing of the control signal to be output based on the synchronization signal; and

상기 동기화 신호에 동기화하여 상기 제어신호를 출력하는 신호출력부를 포함할 수 있다. and a signal output unit for outputting the control signal in synchronization with the synchronization signal.

상기 목적은, 또한 본 발명의 제2 측면에 따라, Said object is also according to a second aspect of the invention,

프레임 그래버 시스템에서 실행되는 제어 방법에 있어서, A control method executed in a frame grabber system, comprising:

동기화 신호에 기초하여 주변 장치를 제어하는 제어신호를 출력하는 단계; 및 outputting a control signal for controlling a peripheral device based on the synchronization signal; and

상기 동기화 신호에 동기화하여 카메라 모듈에서 캡쳐되는 영상 프레임에 추가하여 상기 제어신호에 대한 정보를 상기 프레임정보 필드에 저장하는 단계를 포함하는, 제어 방법에 의해 달성된다.and storing information about the control signal in the frame information field in addition to an image frame captured by a camera module in synchronization with the synchronization signal.

상기 목적은, 또한 본 발명의 제3 측면에 따라, Said object is also according to a third aspect of the invention,

상기의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독가능 기록 매체에 의해 달성된다.It is achieved by a computer-readable recording medium recording a program for performing the above method.

나아가, 상기 목적은, 또한 본 발명의 제4 측면에 따라, Furthermore, the object is also according to a fourth aspect of the invention,

상기의 방법을 하드웨어와의 결합을 통해 실행시키기 위한 매체에 저장된 컴퓨터 프로그램에 의해 달성된다. It is achieved by a computer program stored in a medium for executing the above method through combination with hardware.

상기한 바와 같은 본 발명의 프레임 그래버 시스템 및 그 제어방법에 따르면 최적의 조건으로 조명을 제어하여 카메라에 의해 캡쳐되는 영상의 품질 향상을 도모할 수 있다는 장점이 있다. According to the frame grabber system and the control method of the present invention as described above, there is an advantage that the quality of the image captured by the camera can be improved by controlling the lighting under the optimal conditions.

또한 본 발명의 프레임 그래버 시스템 및 그 제어방법에 따르면 영상 프레임과 함께 주변 장치의 제어신호에 대한 정보를 저장함으로써 보다 정확한 주변 장치의 자동 제어를 가능하게 해주는 장점이 있다. In addition, according to the frame grabber system and the control method of the present invention, there is an advantage of enabling more accurate automatic control of the peripheral device by storing information about the control signal of the peripheral device together with the image frame.

또한 본 발명의 프레임 그래버 시스템 및 그 제어방법에 따르면 카메라의 트리거 신호에 정밀하게 동기하여 반응하는 조명 제어 기술을 구현하는 것을 가능하게 해주는 장점이 있다. In addition, according to the frame grabber system and the control method of the present invention, there is an advantage in that it is possible to implement a lighting control technology that precisely synchronizes and responds to a trigger signal of a camera.

도 1은 본 발명에 따른 프레임 그래버 시스템의 대략적인 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른 프레임 그래버 시스템의 상세 기능 블록도이다.
도 3은 도 2의 본 발명의 일 실시예에 따른 프레임 그래버 시스템의 동작을 도시한 개략도이다.
도 4는, 도 2의 입력신호 트리거부(201)의 동작을 개략적으로 도시한 흐름도의 일 예이다.
도 5는, 도 2의 내부 로직 상태결정부(202)의 동작을 개략적으로 도시한 흐름도의 일 예이다.
도 6 및 도 7은 도 2의 타이밍 카운팅부(203)의 동작을 개략적으로 도시한 흐름도의 일 예이다.
도 8은, 도 2의 신호출력부(206)의 동작을 개략적으로 도시한 흐름도의 일 예이다.
도 9는, 도 2의 캘리브레이션부(205)의 동작을 개략적으로 도시한 흐름도의 일 예이다.
도 10은 본 발명의 일 실시예에 따른 자동 조정 동작에 따른 타이밍도를 보여주는 도면이다.
도 11, 도 12 및 도 13 각각은 도 1의 프레임정보 필드(100)의 일 예를 도시한 개략도이다. 1 is a schematic functional block diagram of a frame grabber system according to the present invention.
2 is a detailed functional block diagram of a frame grabber system according to an embodiment of the present invention.
3 is a schematic diagram illustrating an operation of a frame grabber system according to an embodiment of the present invention of FIG. 2 .
4 is an example of a flowchart schematically illustrating the operation of the input signal trigger unit 201 of FIG. 2 .
FIG. 5 is an example of a flowchart schematically illustrating the operation of the internal logic state determining unit 202 of FIG. 2 .
6 and 7 are examples of flowcharts schematically illustrating the operation of the timing counting unit 203 of FIG. 2 .
8 is an example of a flowchart schematically illustrating an operation of the signal output unit 206 of FIG. 2 .
9 is an example of a flowchart schematically illustrating an operation of the calibration unit 205 of FIG. 2 .
10 is a diagram illustrating a timing diagram according to an automatic adjustment operation according to an embodiment of the present invention.
11, 12, and 13 are each a schematic diagram showing an example of the frame information field 100 of FIG.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.Hereinafter, exemplary embodiments according to the present invention will be described in detail with reference to the contents described in the accompanying drawings. However, the present invention is not limited or limited by the exemplary embodiments. The same reference numerals provided in the respective drawings indicate members that perform substantially the same functions.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예컨대, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Terms including ordinal numbers such as first, second, etc. may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, but these may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.In the entire specification, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.

도 1은 본 발명에 따른 프레임 그래버 시스템의 대략적인 기능 블록도이다. 1 is a schematic functional block diagram of a frame grabber system according to the present invention.

도면을 참조하면, 본 발명의 프레임 그래버 시스템(1)은 프레임정보 필드(100)를 포함하는 프레임 그래버(10); 및 동기화 신호에 기초하여 주변 장치(30)를 제어하는 제어신호를 출력하고, 상기의 동기화 신호에 동기화하여 카메라 모듈(40)에서 캡쳐되는 영상 프레임에 추가하여 상기의 제어신호에 대한 정보를 프레임정보 필드(100)에 저장하는 프로세서(20)를 포함한다. Referring to the drawings, the frame grabber system 1 of the present invention includes: a frame grabber 10 including a frame information field 100; and outputting a control signal for controlling the peripheral device 30 based on the synchronization signal, and adding information on the control signal to the image frame captured by the camera module 40 in synchronization with the synchronization signal as frame information and a processor 20 that stores in a field 100 .

이 프레임 그래버 시스템은, 프로그래밍이 가능한 비메모리 반도체의 일종인, FPGA 상에 구축될 수 있다. This frame grabber system can be built on an FPGA, a type of programmable non-memory semiconductor.

프레임 그래버(frame grabber)는, 일반적으로 TV, CCD 카메라 등과 같은 영상 매체를 통해 나타나는 아날로그 영상 신호를 샘플당 정의된 비트로 디지털화하여 컴퓨팅 장치, 예를 들어 스마트폰, PC 등이 처리할 수 있는 신호로 바꾸어 주는 영상 장비로서, 이미지 보드라고도 한다. 본 발명에서는, 영상을 수집하고, 수집된 영상을 컴퓨터 내의 기억 장치나 특수한 영상 저장용 기억 장소에 저장시켜 주는 장치라면, 어떠한 것이라도 가능하다. A frame grabber digitizes an analog video signal, which is generally displayed through a video medium such as a TV or CCD camera, into bits defined per sample, and converts it into a signal that can be processed by a computing device, for example, a smartphone or a PC. It is a video device that changes and is also called an image board. In the present invention, any device that collects images and stores the collected images in a memory device in a computer or a special storage location for storing images may be used.

본 발명의 프레임 그래버(10)는, 기존의 프레임 그래버와 같이 카메라 모듈로부터 입력된 이미지 데이터, 즉 영상 프레임을 저장하지만, 나아가 영상 프레임이 캡쳐될 당시의 환경에 대한 정보, 예를 들어 영상 프레임을 구성하는 픽셀들의 색상 및/또는 휘도 값에 영향을 미칠 수 있는 주변 장치의 작동 제어에 대한 정보를 프레임정보 필드(100)에 저장한다. 이 환경에 대한 정보는 영상 프레임과 분리된 프레임정보 필드에 저장되는 것을 배제하지는 않지만, 해당 영상 프레임에 더미(dummy) 형태로 첨부되어 영상 프레임과 같이 저장될 수 있다. The frame grabber 10 of the present invention stores image data input from a camera module, that is, an image frame, like a conventional frame grabber, but furthermore, information about the environment at the time the image frame is captured, for example, an image frame Information on operation control of a peripheral device that may affect the color and/or luminance values of the pixels constituting the pixels is stored in the frame information field 100 . Although the information on this environment is not excluded from being stored in the frame information field separated from the image frame, it may be attached to the image frame in a dummy form and stored together with the image frame.

프로세서(20)는, 영상 프레임이 캡쳐될 당시의 환경을 조성하기 위해, 예를 들어 상기에서와 같은 주변 장치의 작동을 제어할 수 있는 제어 신호를 생성하여 주변 장치 측으로 출력하고, 또한 이 제어 신호를 생성하는 데 사용되는 인자들에 해당되는, 제어 신호에 대한 정보가 저장될 수 있도록 이를 프레임 그래버(10)로 전달한다. The processor 20 generates, for example, a control signal capable of controlling the operation of the peripheral device as described above in order to create an environment at the time the image frame is captured, and outputs it to the peripheral device side, and also this control signal It is transmitted to the frame grabber 10 so that information about the control signal, which corresponds to the factors used to generate , can be stored.

카메라 모듈(40)에 의해 캡쳐될 영상 프레임과 프로세서(20)로부터 출력되는 제어 신호는 동기화 신호에 의해 동기화되는데, 이 동기화 신호는 카메라 모듈(40)로부터 수신된 동기화 신호가 프로세서(20)로 출력되거나, 또는 프로세서(20) 자체에서 생성되어 내부적으로 출력될 수 있다. 동기화 신호가 카메라 모듈(40)로부터 수신되어 프로세서(20)로 출력되는 경우에 있어서는, 이 동기화 신호가 기존의 영상 프레임을 수집하는 프레임 그래버가 수신하는 수직 동기 신호(Vsync)일 수 있다. 한편, 예를 들어 카메라 모듈(40)이 없을 경우에도 주변 장치의 작동을 제어할 수 있는 제어 신호를 출력할 수 있도록 하는 테스트 모드의 경우에 있어서는, 동기화 신호가 프로세서(20) 자체에서 생성될 수 있다.The image frame to be captured by the camera module 40 and the control signal output from the processor 20 are synchronized by a synchronization signal, which is a synchronization signal received from the camera module 40 is output to the processor 20 . Alternatively, it may be generated by the processor 20 itself and output internally. When the synchronization signal is received from the camera module 40 and output to the processor 20 , the synchronization signal may be a vertical synchronization signal Vsync received by a frame grabber that collects existing image frames. On the other hand, for example, in the case of a test mode in which a control signal capable of controlling the operation of a peripheral device can be output even when the camera module 40 is not present, a synchronization signal may be generated by the processor 20 itself. have.

도 2는 본 발명의 일 실시예에 따른 프레임 그래버 시스템의 상세 기능 블록도이고, 도 3은 도 2의 본 발명의 일 실시예에 따른 프레임 그래버 시스템의 동작을 도시한 개략도이다. 특히 도 2 및 도 3은 본 발명에서 그 작동을 제어하고자 하는 주변 장치가 조명 장치일 때이다. 2 is a detailed functional block diagram of a frame grabber system according to an embodiment of the present invention, and FIG. 3 is a schematic diagram illustrating an operation of the frame grabber system according to an embodiment of the present invention of FIG. 2 . In particular, FIGS. 2 and 3 are when the peripheral device for controlling the operation of the present invention is a lighting device.

도 2를 참조하면, 본 발명의 일 실시예에 따른 프레임 그래버 시스템(1)은, 프레임 그래버(10)와 프로세서(20)를 포함하는데, 프로세서(20)는, 입력 신호 트리거부(201), 내부로직 상태결정부(202), 타이밍 카운팅부(203), 내부 수직동기 발생부(204), 캘리브레이션부(205), 신호 출력부(206), 및 출력신호 정보 반환부(207)를 포함한다.Referring to FIG. 2 , the frame grabber system 1 according to an embodiment of the present invention includes a frame grabber 10 and a processor 20, wherein the processor 20 includes an input signal trigger unit 201, It includes an internal logic state determination unit 202 , a timing counting unit 203 , an internal vertical synchronization generating unit 204 , a calibration unit 205 , a signal output unit 206 , and an output signal information return unit 207 . .

다시 도면을 참조하면, 프레임 그래버(10)는 카메라 모듈(40)이 영상 프레임에 대응하는 이미지 데이터를 출력할 수 있도록 초기화하고, 카메라 모듈(40)로부터 영상 프레임의 이미지 데이터를 입력받는다. 프레임 그래버(10)는 캡쳐할 영상 프레임에 대한 정보와 조명 및 기타 장치를 제어할 제어 신호, 즉, 출력신호에 대한 정보를 담는 프레임정보 필드(100)를 포함할 수 있다. 프레임정보 필드(100)에 대한 상세한 설명은 이후 서술한다. Referring back to the drawing, the frame grabber 10 initializes the camera module 40 to output image data corresponding to the image frame, and receives image data of the image frame from the camera module 40 . The frame grabber 10 may include a frame information field 100 containing information on an image frame to be captured and a control signal to control lighting and other devices, that is, information on an output signal. A detailed description of the frame information field 100 will be described later.

프로세서(20)는 조명컨트롤러(50)로 제어 신호를 출력하여, 조명컨트롤러(50)가 조명 장치(30)를 제어하도록 한다. 이를 위하여, 프로세서(20)는 입력신호 트리거부(201), 내부 로직 상태결정부(202), 타이밍 카운팅부(203), 내부 수직동기 발생부(204), 캘리브레이션부(205), 신호출력부(206), 출력신호 정보 반환부(207)를 포함할 수 있다. The processor 20 outputs a control signal to the lighting controller 50 so that the lighting controller 50 controls the lighting device 30 . To this end, the processor 20 includes an input signal trigger unit 201 , an internal logic state determination unit 202 , a timing counting unit 203 , an internal vertical synchronization generating unit 204 , a calibration unit 205 , and a signal output unit. (206), it may include an output signal information return unit (207).

입력신호 트리거부(201)는 수직동기(Vsync) 검출부로서, 카메라 모듈(40)로부터 프레임 그래버(10)를 거쳐 영상 프레임의 수직동기(Vsync) 신호가 입력되었는지 여부를 확인하는 기능을 한다. The input signal trigger unit 201 is a vertical synchronization (Vsync) detection unit, and functions to check whether a vertical synchronization (Vsync) signal of an image frame is input from the camera module 40 through the frame grabber 10 .

도 4는, 도 2의 입력신호 트리거부(201)의 동작을 개략적으로 도시한 흐름도의 일 예이다. 4 is an example of a flowchart schematically illustrating the operation of the input signal trigger unit 201 of FIG. 2 .

도 4에 도시한 바와 같이, ① 입력신호 트리거부(201)는 상승엣지를 검출할 것인지, 하강엣지를 검출할 것인지에 따라, 즉, 잘못된 데이터가 버퍼에 들어가는 에러를 막기 위한 일 방편으로서, 엣지모드에 따라 수직동기(Vsync) 버퍼의 초기 값을 달리해 준다. As shown in Figure 4, ① the input signal trigger unit 201 according to whether to detect a rising edge or a falling edge, that is, as a way to prevent an error in which erroneous data enters the buffer, edge mode The initial value of the vertical synchronization (Vsync) buffer is changed according to the

② 입력신호 트리거부(201)는 수직동기(Vsync) 신호를 트리거할 조건이 되는지 확인하고, ③ 트리거할 조건이 되면 버퍼에 수직동기(Vsync) 신호를 쌓는다.② The input signal trigger unit 201 checks whether the condition for triggering the vertical synchronization (Vsync) signal is satisfied, and ③ when the trigger condition is reached, the Vsync signal is accumulated in the buffer.

④ 입력신호 트리거부(201)는 버퍼의 상태에 따라서 수직동기(Vsync) 신호의 엣지를 검출한다. ④ The input signal trigger unit 201 detects the edge of the vertical synchronization (Vsync) signal according to the state of the buffer.

내부 로직 상태결정부(202)는 수직동기(Vsync) 신호에 맞추어 프로세서(20)를 동작 시킬지(active condition), 동작 시키지 않을지(idle condition)를 결정하는 기능을 한다. The internal logic state determining unit 202 functions to determine whether to operate the processor 20 (active condition) or not (idle condition) according to the vertical synchronization (Vsync) signal.

도 5는, 도 2의 내부 로직 상태결정부(202)의 동작을 개략적으로 도시한 흐름도의 일 예이다. FIG. 5 is an example of a flowchart schematically illustrating the operation of the internal logic state determining unit 202 of FIG. 2 .

도 5에 도시한 바와 같이, 내부 로직 상태결정부(202)는 내부 로직의 동작에 관여하는 신호들의 조건에 따라 내부 로직을 동작 시킬지 (active condition), 동작 시키지 않을지(idle condition) 결정한다. 내부 로직이 동작할 수 있는 조건으로 결정되면, 내부 로직 상태는 액티브가 되어(②), 이후의 내부 로직은 동작가능한 상태에 있게 되고, 그렇지 않다면, 내부 로직 상태는 아이들이 되어(①), 이후의 내부 로직은 동작불가한 상태에 있게 된다. As shown in FIG. 5 , the internal logic state determining unit 202 determines whether to operate the internal logic (active condition) or not (idle condition) according to conditions of signals involved in the operation of the internal logic. If the condition for the internal logic to operate is determined, the internal logic state becomes active (②), subsequent internal logic is in an operable state, otherwise, the internal logic state becomes idle (①), and then 's internal logic is in an inoperable state.

타이밍 카운팅부(203)는 수직동기(Vsync) 신호에 기초하여 출력할 제어 신호의 파형, 타이밍을 결정하기 위해 카운팅하는 기능을 한다. The timing counting unit 203 performs a counting function to determine the waveform and timing of the control signal to be output based on the vertical synchronization (Vsync) signal.

도 6 및 도 7은 도 2의 타이밍 카운팅부(203)의 동작을 개략적으로 도시한 흐름도의 일 예이다. 6 and 7 are examples of flowcharts schematically illustrating the operation of the timing counting unit 203 of FIG. 2 .

도 6에 도시한 바와 같이, 타이밍 카운팅부(203)는 사용자의 입력 값들, 예들 들어, ON_PERIOD, OFF_PERIOD, 및 REPEAT_NUM에 따라 다른 내부 동작모드를 결정할 수 있다. 이때, ON_PERIOD는 n 번 만큼 조명이 온(ON) 되도록 하는 조명 온 구간, OFF_PERIOD는 n 번 만큼 조명이 오프(OFF) 되도록 하는 조명 오프 구간, REPEAT_NUM는 조명의 온/오프(ON/OFF)를 n번 만큼 반복하는 횟수일 수 있다. As shown in FIG. 6 , the timing counting unit 203 may determine another internal operation mode according to user input values, for example, ON_PERIOD, OFF_PERIOD, and REPEAT_NUM. At this time, ON_PERIOD is the lighting-on section that turns on the lighting n times, OFF_PERIOD is the lighting-off section that turns the lighting off n times, and REPEAT_NUM is the lighting on/off section of n It may be the number of repetitions as many times.

도 7에 도시한 바와 같이, 타이밍 카운팅부(203)는 타이밍 카운팅에 따라 신호를 출력하기 위한 조건을 결정한다. 즉, 출력신호의 타이밍을 제어한다. 카운팅 조건이 되면 사용자 입력 값, 예를 들어 ON_PERIOD, OFF_PERIOD에 맞추어 카운팅을 시작하며, 카운팅 값에 따라 신호를 출력하기 위한 조건을 결정한다.As shown in FIG. 7 , the timing counting unit 203 determines a condition for outputting a signal according to timing counting. That is, the timing of the output signal is controlled. When the counting condition is reached, counting starts according to the user input value, for example, ON_PERIOD, OFF_PERIOD, and the condition for outputting a signal is determined according to the counting value.

내부 수직동기 발생부(204)는 카메라 모듈(40)이 없는 경우에도 테스트를 위하여 수직동기(Vsync) 신호를 출력하는 기능을 한다. 즉, 외부의 입력 없이 내부적으로 수직동기(Vsync) 신호를 발생시킨다. The internal vertical synchronization generator 204 functions to output a vertical synchronization (Vsync) signal for testing even when the camera module 40 is not present. That is, a vertical synchronization (Vsync) signal is generated internally without an external input.

신호출력부(206)는 내부 로직 상태 및 카운팅 조건에 기초하여 제어 신호를 출력한다. 여기서, 출력신호의 개수는, 예를 들어 그 작동을 제어해야 할 주변 장치의 종류가 다수거나 또는 그 갯수가 복수 개인 경우, 2개 이상일 수 있다. The signal output unit 206 outputs a control signal based on an internal logic state and a counting condition. Here, the number of output signals may be, for example, two or more when there are a plurality of types of peripheral devices to control their operation or there are a plurality of them.

도 8은, 도 2의 신호출력부(206)의 동작을 개략적으로 도시한 흐름도의 일 예이다.8 is an example of a flowchart schematically illustrating an operation of the signal output unit 206 of FIG. 2 .

도 8에 도시한 바와 같이, 신호 출력부(206)는 액티브 상태인지 확인하여(①) 액티브 상태일 경우, 외부 입력의 조건에 따라 출력 신호를 온/오프(ON/OFF)할 지, 바이패스(bypass)할지 결정한다. As shown in FIG. 8 , the signal output unit 206 checks whether the signal is in an active state (①), and if it is in the active state, whether to turn on/off the output signal according to the condition of the external input or bypass it. Decide whether to bypass.

온/오프(ON/OFF)할 조건에서는, 딜레이, 펄스폭 값에 기초한 카운팅 조건에 따라 온(ON) 신호 또는 오프(OFF) 신호를 출력한다(①). In the ON/OFF condition, an ON signal or an OFF signal is output according to a counting condition based on delay and pulse width values (①).

바이패스(bypass)할 조건에서는, 수직동기(Vsync)신호를 그대로 출력한다(②).In the bypass condition, the vertical synchronization (Vsync) signal is output as it is (②).

캘리브레이션부(205)는 출력 신호의 타이밍을 외부 입력 없이 필드 프로그래머블 게이트 어레이 (FPGA) 내부에서 자동으로 조정하는 기능을 한다.The calibration unit 205 functions to automatically adjust the timing of the output signal inside the field programmable gate array (FPGA) without an external input.

도 9는, 도 2의 캘리브레이션부(205)의 동작을 개략적으로 도시한 흐름도의 일 예이다. 9 is an example of a flowchart schematically illustrating an operation of the calibration unit 205 of FIG. 2 .

도 9에 도시된 바와 같이, 캘리브레이션부(205)는 사용자로부터 자동조정 허용 신호(Calibration_en==True)가 입력되고, 초당 프레임 수(FPS)가 정상적인지 확인한다. 캘리브레이션부(205)는 초당 프레임 수(FPS)에 기초하여 시작(start) 타이밍과 펄스폭(pulse width) 값을 차례로 조정한다. 조정이 완료되면 동작을 종료한다.As shown in FIG. 9 , the calibration unit 205 checks whether an automatic adjustment permit signal (Calibration_en==True) is input from the user and the number of frames per second (FPS) is normal. The calibrator 205 sequentially adjusts a start timing and a pulse width value based on the number of frames per second (FPS). When the adjustment is complete, the operation is terminated.

도 10은 본 발명의 일 실시예에 따른 자동 조정 동작에 따른 타이밍도를 보여주는 도면이다.10 is a diagram illustrating a timing diagram according to an automatic adjustment operation according to an embodiment of the present invention.

도 10을 참조하면, ① 출력신호의 시작 타이밍을 연속 변경하는 것을 반복하며, 수직동기(Vsync)신호에 동기화하여 영상 프레임을 연속 캡쳐한다. 이때 예를 들어 출력신호2는 출력신호1보다 늦은 시점, 출력신호3은 출력신호2보다 늦은 시점을 나타낸다. 다음으로, ② ①의 출력신호의 펄스폭과 다른 출력신호의 펄스폭으로 변경하여, ①을 반복한다. ②를 계속적으로 반복한다. 여기서 시작 타이밍을 변경하는 정도와 펄스폭을 변경하는 정도는 카메라 센서의 초당 프레임 수(FPS)에 따라 달라진다. Referring to FIG. 10, (1) continuously changing the start timing of the output signal is repeated, and image frames are continuously captured in synchronization with the vertical synchronization (Vsync) signal. At this time, for example, the output signal 2 represents a time point later than the output signal 1, and the output signal 3 represents a time point later than the output signal 2. Next, change the pulse width of the output signal different from the pulse width of the output signal of ② ① and repeat ①. Repeat ② continuously. Here, the degree of changing the start timing and the degree of changing the pulse width depend on the number of frames per second (FPS) of the camera sensor.

이에 따라, 자동조정 기능을 갖는 본 발명의 일 실시예에 따른 프레임 그래버 시스템을 이용함으로써, 복수의 영상 프레임들과 함께, 그 각각의 영상 프레임에 대하여 주변 장치의 제어신호에 대한 정보까지도 저장할 수 있게 된다. Accordingly, by using the frame grabber system according to an embodiment of the present invention having an automatic adjustment function, it is possible to store information about a control signal of a peripheral device for each image frame together with a plurality of image frames. do.

다음으로, 이와 같이 연속 캡쳐된 영상프레임들 각각에 대하여 일련의 영상처리를 하여 평균값을 도출하고, 평균값을 목표값과 비교하여 목표값에 가장 가까운 영상 프레임을 찾는다. 이때 해당 영상 프레임의 프레임정보 필드에서 주변 장치의 제어 신호에 대한 정보를 읽어, 해당 제어 신호의 정보 값과 동일하게 제어 신호를 설정한다. Next, an average value is derived by performing a series of image processing on each of the continuously captured image frames, and the average value is compared with the target value to find the image frame closest to the target value. At this time, information on the control signal of the peripheral device is read from the frame information field of the corresponding image frame, and the control signal is set to be the same as the information value of the corresponding control signal.

도 2로 다시 돌아가면, 출력신호 정보 반환부(207)는 출력 신호에 대한 정보를 프레임 그래버(10)로 반환한다. Returning to FIG. 2 , the output signal information return unit 207 returns information about the output signal to the frame grabber 10 .

한편, 프레임 그래버 시스템(1)의 동작은 사용자가 컴퓨터(PC, 60)와 모니터(70)를 이용하여 영상을 확인하면서 소프트웨어(어플리케이션, 앱)를 통해 제어할 수 있다. 사용자는 소프트웨어 프로그램을 통해, 제어신호를 어떻게 출력할 것인지 - 예를 들어 결정 인자들을 입력하여 - 설정하고, 캡쳐된 영상 프레임을 영상 처리할 수 있다. Meanwhile, the operation of the frame grabber system 1 can be controlled through software (application, app) while the user checks the image using the computer (PC) 60 and the monitor 70 . The user can set how to output the control signal - for example, by inputting decision factors - through the software program, and process the captured image frame.

본 발명의 일 실시예에 따른 프레임 그래버 시스템(1)의 동작은, 도 2의 본 발명의 일 실시예에 따른 프레임 그래버 시스템의 동작을 도시한 개략도인 도 3을 참조하여 설명한다. The operation of the frame grabber system 1 according to an embodiment of the present invention will be described with reference to FIG. 3 , which is a schematic diagram showing the operation of the frame grabber system according to an embodiment of the present invention of FIG. 2 .

먼저, 카메라 모듈(40)이 영상 프레임에 대응하는 이미지 데이터를 출력할 수 있도록 카메라 모듈을 초기화하고(S200), 소프트웨어 프로그램을 통해서, 사용자가 제어신호를 어떻게 출력할 것인지 - 예를 들어 딜레이는 얼마나 줄 것이고, 펄스폭은 얼마나 늘릴 것인지 등 - 결정하여 입력한다(S210). First, the camera module 40 initializes the camera module so that it can output image data corresponding to the image frame (S200), and through the software program, how the user outputs the control signal - for example, how much delay will decrease, and how much the pulse width will be increased. - Decide and input (S210).

다음으로, 카메라 모듈(40)로부터 프레임 그래버(10)를 거쳐 영상 프레임의 수직동기(Vsync) 신호가 입력되었는지 여부를 확인하고(S201), 수직동기(Vsync) 신호가 입력된 경우 이에 맞추어 프로세서(20)를 동작 시킬지(active condition), 동작 시키지 않을지(idle condition)와 같이, 내부 로직 상태를 결정한다(S202). 액티브 또는 아이들 조건에 해당되도록 S210 단계에서 사용자가 수동으로 입력 설정할 수 있거나, 또는 미리 코딩된 프로그램에 의해 자동으로 입력 설정될 수 있다. Next, it is checked whether a vertical synchronization (Vsync) signal of an image frame is input from the camera module 40 through the frame grabber 10 (S201), and when a vertical synchronization (Vsync) signal is input, the processor ( 20), an internal logic state is determined, such as whether to operate (active condition) or not (idle condition) (S202). In step S210, the user may manually set the input to correspond to the active or idle condition, or may automatically set the input by a pre-coded program.

수직동기(Vsync) 신호가 입력된 경우 이에 맞추어 출력할 제어 신호의 파형, 타이밍을 결정하기 위해 카운팅하고(S203), 내부 로직 상태 및 카운팅 조건에 기초하여 제어 신호를 출력한다(206). 제어 신호는 조명 장치(30)를 제어하는 제어부에 해당되는 조명컨트롤러(50)로 출력되어 조명을 제어하고(S500), 이와 동시에 수직동기(Vsync) 신호에 동기화되어 영상 프레임에 해당되는 이미지가 카메라 모듈에 의해 캡쳐된다(S209). When the vertical synchronization (Vsync) signal is input, counting is performed to determine the waveform and timing of the control signal to be output according to the input (S203), and the control signal is output based on the internal logic state and counting condition (206). The control signal is output to the lighting controller 50 corresponding to the control unit that controls the lighting device 30 to control the lighting (S500), and at the same time, the image corresponding to the image frame is synchronized with the vertical synchronization (Vsync) signal by the camera It is captured by the module (S209).

이때 조명 장치의 제어 신호에 대한 정보는 반환되어(S207) 캡쳐되는 영상 프레임과 함께 프레임 그래버(10) 내에 저장되는데, 특히 제어 신호가 저장되는 일정 영역은 프레임정보 필드(100)라고 지칭한다. At this time, information on the control signal of the lighting device is returned (S207) and stored in the frame grabber 10 together with the captured image frame. In particular, a predetermined area in which the control signal is stored is referred to as the frame information field 100 .

이와 같이, 본 발명의 일 실시예에 따른 프레임 그래버 시스템에 의해, 영상 프레임과 함께 주변 장치의 제어신호에 대한 정보까지도 저장할 수 있게 된다. As described above, by the frame grabber system according to an embodiment of the present invention, it is possible to store information on control signals of peripheral devices together with image frames.

이후의 S600 및 S700 단계들은, 본 발명의 프레임 그래버 시스템을 이용하여 카메라 모듈에서 최적의 영상 프레임을 캡쳐할 수 있도록 환경을 설정하는 방법에 대하여 간단히 예시한 것이다. The subsequent steps S600 and S700 are simple examples of a method of setting an environment so that the camera module can capture an optimal image frame using the frame grabber system of the present invention.

사용자는 PC에 설치된 소프트웨어 프로그램을 이용해, 캡쳐된 영상 프레임의 평균 값이 - 사용자가 최적이라고 생각하는 - 목표 값을 만족할 때까지 조명 장치의 출력을 변경시킬 수 있는 인자에 대한 설정을 변경할 수 있다. 예를 들어, 사용자는 제어 신호의 딜레이(delay) 및 펄스폭(pulse width) 값을 입력할 수 있다. 이때, 캡쳐된 영상 프레임의 평균 값이 목표 값을 만족하는 영상 프레임의 제어 신호에 대한 정보로 환경을 설정한다면, 해당 카메라 모듈에서 최적의 영상 프레임을 캡쳐할 수 있게 될 것이다.The user can use a software program installed on the PC to change the settings for the factors that can change the output of the lighting device until the average value of the captured image frames - which the user considers to be optimal - meets the target value. For example, the user may input delay and pulse width values of the control signal. At this time, if the environment is set as information about the control signal of the image frame in which the average value of the captured image frame satisfies the target value, the camera module will be able to capture the optimal image frame.

도 3에는 이러한 제어 신호에 대한 정보가 사용자에 의해 수동으로 설정되는 것에 대해서 도시되어 있으나, 도 2의 캘리브레이션부(205)에서와 같이 자동으로 조정될 수도 있음은 물론이다. Although FIG. 3 shows that the information on the control signal is manually set by the user, it is of course also possible to automatically adjust the information as in the calibration unit 205 of FIG. 2 .

도 11, 도 12 및 도 13 각각은 도 1의 프레임정보 필드(100)의 일 예를 도시한 개략도이다. 11, 12, and 13 are each a schematic diagram showing an example of the frame information field 100 of FIG.

도 11 내지 도 13을 참조하면, 프레임정보 필드(100)는, 영상 프레임에 대응하는 이미지 데이터(도면에는 raw data로 표시되어 있음)와 함께 저장될 수 있는데, 본 도면에는 이에 반드시 한정되지는 않지만, 각 수평 데이터 끝에 32 바이트의 데이터가 추가되는 것으로 도시되어 있다. 11 to 13 , the frame information field 100 may be stored together with image data (represented as raw data in the drawing) corresponding to the image frame, although not necessarily limited thereto in this drawing. , it is shown that 32 bytes of data are appended to the end of each horizontal data.

도 11을 참조하면, 예를 들어, 이미지 크기가 128 x 128 픽셀이고, RAW10 포맷일 경우, 이미지 전체 데이터를 저장하기 위해서는 32,768 바이트가 필요하고, 이에 더하여 본 발명에서 제안하는 프레임정보 필드에 저장되는 정보를 위해서는 각 라인마다 32 바이트씩, 한 프레임에 대해서는 4,096 바이트씩 더 필요함을 알 수 있다. 11, for example, when the image size is 128 x 128 pixels and in RAW10 format, 32,768 bytes are required to store the entire image data, and in addition to that, stored in the frame information field proposed by the present invention. It can be seen that 32 bytes for each line and 4,096 bytes for one frame are needed for information.

도 12 및 도 13을 참조하면, 예를 들어 이미지 크기가 5344 x 4016 픽셀이고, RAW10 포맷일 경우, 해당 이미지 중 선택된 일부의 영역 - 시작이 (1280, 2)이고 끝이 (2560, 1282)인 1280 x 1280 크기의 이미지를 하나의 ROI 프레임으로 하여 저장할 때에도 역시 각 라인마다 32 바이트씩, 한 ROI 프레임에 대해서 40,960 바이트씩 더 필요함을 보여주고 있다. 12 and 13 , for example, when the image size is 5344 x 4016 pixels and is in RAW10 format, a region of a selected portion of the image - a start (1280, 2) and an end (2560, 1282) It shows that even when storing a 1280 x 1280 image as one ROI frame, 32 bytes for each line and 40,960 bytes for one ROI frame are also needed.

도 13은, 이러한 프레임정보 필드가 복수의 수평 방향의 라인들로 구성되는 영상 프레임의 각 라인에 대하여 영상 프레임에 대한 정보(도 13의 (a) 참조) 및 제어신호에 대한 정보(도 13의 (b) 참조)를 포함하고 있으며, 그 각각의 정보의 종류 및 크기에 대하여 예시하고 있다. 본 발명은 도면에 표시된 이러한 각각의 정보의 종류 및 크기에 반드시 한정되지 않음은 물론이다. FIG. 13 shows information about an image frame (refer to (a) of FIG. 13) and information about a control signal (refer to FIG. 13 of FIG. 13) for each line of an image frame in which the frame information field is composed of a plurality of horizontal lines. (b)) is included, and the types and sizes of each information are exemplified. It goes without saying that the present invention is not necessarily limited to the type and size of each such information shown in the drawings.

예를 들어, 각 라인에 대한 영상 프레임에 대한 정보에는, 전체 프레임의 크기 및 현재 관심 프레임의 크기(또는 위치), 데이터 포맷 등이 포함될 수 있고, 각 라인에 대한 제어신호에 대한 정보에는 조명 온 구간, 조명 오프 구간, 조명 온/오프 반복 횟수, 딜레이 및 펄스폭 등이 포함될 수 있다. For example, the information on the image frame for each line may include the size of the entire frame, the size (or position) of the current frame of interest, data format, etc., and the information about the control signal for each line includes the lighting on A period, a lighting off period, the number of repetitions of lighting on/off, a delay and a pulse width may be included.

실시예들에 따른 프레임 그래버 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 가능한 컴퓨팅 장치일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다. The frame grabber system 1 according to the embodiments may have an aspect that is entirely hardware, entirely software, or partially hardware and partially software. For example, the system may collectively refer to hardware equipped with data processing capability and operating software for driving the same. As used herein, terms such as “unit,” “module,” “device,” or “system” are intended to refer to a combination of hardware and software run by the hardware. For example, the hardware may be a data processing capable computing device including a central processing unit (CPU), a graphic processing unit (GPU), or another processor. In addition, software may refer to a running process, an object, an executable file, a thread of execution, a program, and the like.

한편, 본 발명의 실시예에 따른 방법들은 적어도 부분적으로 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다. Meanwhile, the methods according to an embodiment of the present invention may be at least partially implemented in the form of program instructions and recorded in a computer-readable recording medium. For example, embodied with a program product consisting of a computer-readable medium containing program code, which may be executed by a processor for performing any or all steps, operations, or processes described.

상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치이다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.The computer may be any device that may be integrated with or may be a computing device such as a desktop computer, laptop computer, notebook, smart phone, or the like. A computer is a device having one or more alternative and special purpose processors, memory, storage, and networking components (either wireless or wired). The computer may run, for example, an operating system compatible with Microsoft's Windows, an operating system such as Apple OS X or iOS, a Linux distribution, or Google's Android OS.

상기 프로그램 명령 형태는, 소프트웨어로 통칭될 수 있고, 이는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The program instruction form may be collectively referred to as software, which may include a computer program, code, instructions, or a combination of one or more of these, and configure the processing device to operate as desired. may be configured or may independently or collectively command the processing devices. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. may be permanently or temporarily embody in The software may be distributed over networked computing devices, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

일반적으로 본 명세서에서 사용된 용어는, 특히 청구항에서(예를 들어, 청구항의 본문) 일반적으로 "개방적인" 용어로 의도된다(예를 들어, "포함하는"은 "포함하나 이에 제한되지 않는"으로, "가지다"는 "적어도 그 이상으로 가지다"로, "포함하다"는 "포함하나 이에 제한되지 않는다"로 해석되어야 함) 도입된 청구항 기재에 대하여 특정한 개수가 의도되는 경우, 이러한 의도는 해당 청구항에서 명시적으로 기재되며, 이러한 기재가 부재하는 경우 이러한 의도는 존재하지 않는 것으로 이해된다. Terms used in this specification are generally intended to be "open-ended" terms, particularly in claims (eg, the body of claims) (eg, "comprising" means "including but not limited to" , "have" should be construed as "have at least more" and "comprise" be interpreted as "including but not limited to" It is expressly recited in the claims, and in the absence of such recitation, no such intent is understood.

본 발명의 특정 특징만이 본 명세서에서 도시되고 설명되었으며, 다양한 수정 및 변경이 당업자에 대하여 발생할 수 있다. 그러므로 청구항은 본 발명의 사상 내에 속하는 변경 및 수정을 포함하는 것으로 의도된다는 점이 이해된다.Only specific features of the invention have been shown and described herein, and various modifications and variations will occur to those skilled in the art. It is therefore to be understood that the claims are intended to cover changes and modifications that fall within the spirit of the present invention.

1: 프레임 그래버 시스템 10: 프레임 그래버
20: 프로세서 30: 조명 장치
40: 카메라 모듈 50: 조명 컨트롤러
60: PC 70: 모니터1: Frame grabber system 10: Frame grabber
20: processor 30: lighting device
40: camera module 50: lighting controller
60: PC 70: Monitor

Claims (12)

프레임 그래버 시스템에 있어서,
프레임정보 필드를 포함하는 프레임 그래버; 및
동기화 신호에 기초하여 주변 장치를 제어하는 제어신호를 출력하고, 상기 동기화 신호에 동기화하여 카메라 모듈에서 캡쳐되는 영상 프레임에 추가하여 상기 제어신호에 대한 정보를 상기 프레임정보 필드에 저장하는 프로세서를 포함하는, 프레임 그래버 시스템. In the frame grabber system,
a frame grabber including a frame information field; and
A processor that outputs a control signal for controlling a peripheral device based on a synchronization signal, and stores information about the control signal in the frame information field in synchronization with the synchronization signal and in addition to an image frame captured by the camera module , frame grabber system. 제 1 항에 있어서,
상기 영상 프레임은 복수의 수평 방향의 라인들로 구성되고,
상기 프레임정보 필드는 상기 영상 프레임의 각 라인에 대하여 상기 영상 프레임에 대한 정보와 상기 제어신호에 대한 정보를 포함하고, 상기 제어신호에 대한 정보는, 상기 동기화 신호에 기초하여 주변 장치를 제어하는 제어신호의 출력 여부를 결정하는 데 사용되는 인자들인, 프레임 그래버 시스템. The method of claim 1,
The image frame is composed of a plurality of horizontal lines,
The frame information field includes information on the image frame and information on the control signal for each line of the image frame, and the information on the control signal is a control for controlling a peripheral device based on the synchronization signal A frame grabber system, the factors used to determine whether a signal is output or not. 제 2 항에 있어서,
상기 주변 장치는 조명 장치이고, 상기 제어신호는 조명 장치의 온/오프를 제어하기 위한 신호일 때, 상기 제어신호에 대한 정보는 상기 조명 장치의 온/오프 타이밍을 결정하는 데 사용되는 인자들인, 조명 온 구간, 조명 오프 구간, 온/오프 반복 횟수, 딜레이, 펄스폭 중 적어도 어느 하나인, 프레임 그래버 시스템. 3. The method of claim 2,
When the peripheral device is a lighting device, and the control signal is a signal for controlling on/off of the lighting device, the information on the control signal is a factor used to determine the on/off timing of the lighting device. At least one of an on section, a lighting off section, an on/off repetition count, a delay, and a pulse width, a frame grabber system. 제 3 항에 있어서,
상기 동기화 신호는 상기 카메라 모듈로부터 영상 프레임을 수신한 상기 프레임 그래버로부터 출력되거나, 또는 상기 프로세서로부터 출력되는, 프레임 그래버 시스템. 4. The method of claim 3,
The synchronization signal is output from the frame grabber receiving the image frame from the camera module, or output from the processor, frame grabber system. 제 4 항에 있어서,
상기 프로세서는
상기 동기화 신호가 입력되었는지 확인하는 입력신호 트리거부;
상기 동기화 신호에 동기화하여 동작할지 여부를 결정하는 내부 로직 상태결정부;
상기 동기화 신호에 기초하여 출력할 상기 제어신호의 타이밍을 결정하기 위해 카운팅하는 타이밍 카운팅부; 및
상기 동기화 신호에 동기화하여 상기 제어신호를 출력하는 신호출력부를 포함하는 프레임 그래버 시스템.5. The method of claim 4,
the processor
an input signal trigger unit for checking whether the synchronization signal is input;
an internal logic state determining unit that determines whether to operate in synchronization with the synchronization signal;
a timing counting unit for counting to determine a timing of the control signal to be output based on the synchronization signal; and
and a signal output unit outputting the control signal in synchronization with the synchronization signal. 프레임 그래버 시스템에서 실행되는 제어 방법에 있어서,
동기화 신호에 기초하여 주변 장치를 제어하는 제어신호를 출력하는 단계; 및
상기 동기화 신호에 동기화하여 카메라 모듈에서 캡쳐되는 영상 프레임에 추가하여 상기 제어신호에 대한 정보를 상기 프레임정보 필드에 저장하는 단계를 포함하는, 제어 방법. A control method executed in a frame grabber system, comprising:
outputting a control signal for controlling a peripheral device based on the synchronization signal; and
and storing information about the control signal in the frame information field in addition to an image frame captured by a camera module in synchronization with the synchronization signal. 제 6 항에 있어서,
상기 영상 프레임은 복수의 수평 방향의 라인들로 구성되고,
상기 프레임정보 필드는 상기 영상 프레임의 각 라인에 대하여 상기 영상 프레임에 대한 정보와 상기 제어신호에 대한 정보를 포함하고, 상기 제어신호에 대한 정보는, 상기 동기화 신호에 기초하여 주변 장치를 제어하는 제어신호의 출력 여부를 결정하는 데 사용되는 인자들인, 제어 방법.7. The method of claim 6,
The image frame is composed of a plurality of horizontal lines,
The frame information field includes information on the image frame and information on the control signal for each line of the image frame, and the information on the control signal is a control for controlling a peripheral device based on the synchronization signal A control method, which are factors used to determine whether a signal is output or not. 제 7 항에 있어서,
상기 주변 장치는 조명 장치이고, 상기 제어신호는 조명 장치의 온/오프를 제어하기 위한 신호일 때, 상기 제어신호에 대한 정보는 상기 조명 장치의 온/오프 타이밍을 결정하는 데 사용되는 인자들인, 조명 온 구간, 조명 오프 구간, 온/오프 반복 횟수, 딜레이, 펄스폭 중 적어도 어느 하나인, 제어 방법. 8. The method of claim 7,
When the peripheral device is a lighting device, and the control signal is a signal for controlling on/off of the lighting device, the information on the control signal is a factor used to determine the on/off timing of the lighting device. At least one of an on section, a lighting off section, the number of on/off repetitions, a delay, and a pulse width, a control method. 제 8 항에 있어서,
상기 동기화 신호는 상기 카메라 모듈로부터 영상 프레임을 수신한 상기 프레임 그래버로부터 출력되거나, 또는 상기 프로세서로부터 출력되는, 제어 방법. 9. The method of claim 8,
The synchronization signal is output from the frame grabber that receives the image frame from the camera module, or is output from the processor. 제 9 항에 있어서,
상기 동기화 신호가 입력되었는지 확인하고;
상기 동기화 신호에 동기화하여 동작할지 여부를 결정하고;
상기 동기화 신호에 기초하여 출력할 상기 제어신호의 타이밍을 결정하기 위해 카운팅하고;
상기 동기화 신호에 동기화하여 상기 제어신호를 출력하는 단계를 포함하는, 제어 방법.10. The method of claim 9,
check whether the synchronization signal is input;
determine whether to operate in synchronization with the synchronization signal;
counting to determine a timing of the control signal to be output based on the synchronization signal;
and outputting the control signal in synchronization with the synchronization signal. 제 6 항 내지 제 10 항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독가능 기록 매체. A computer-readable recording medium recording a program for performing the method of any one of claims 6 to 10. 제 6 항 내지 제 10 항 중 어느 한 항의 방법을 하드웨어와의 결합을 통해 실행시키기 위한 매체에 저장된 컴퓨터 프로그램. A computer program stored in a medium for executing the method of any one of claims 6 to 10 through combination with hardware.
KR1020210050478A 2021-04-19 2021-04-19 Frame grabber system and method of storing control signal related information for peripheral device with image frame, computer program and computer-readable recording medium KR102493107B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210050478A KR102493107B1 (en) 2021-04-19 2021-04-19 Frame grabber system and method of storing control signal related information for peripheral device with image frame, computer program and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210050478A KR102493107B1 (en) 2021-04-19 2021-04-19 Frame grabber system and method of storing control signal related information for peripheral device with image frame, computer program and computer-readable recording medium

Publications (2)

Publication Number Publication Date
KR20220144434A true KR20220144434A (en) 2022-10-27
KR102493107B1 KR102493107B1 (en) 2023-02-01

Family

ID=83810386

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210050478A KR102493107B1 (en) 2021-04-19 2021-04-19 Frame grabber system and method of storing control signal related information for peripheral device with image frame, computer program and computer-readable recording medium

Country Status (1)

Country Link
KR (1) KR102493107B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050043615A (en) * 2003-11-05 2005-05-11 혼다 기켄 고교 가부시키가이샤 Frame grabber
KR20170108392A (en) 2016-03-17 2017-09-27 한국영상기술(주) Apparatus for inspecting lens module of camera used mobile device
KR102076203B1 (en) 2018-05-24 2020-02-11 주식회사 에이치비테크놀러지 Lighting system of optical inspection equipment
KR20200063017A (en) * 2018-11-27 2020-06-04 한국전자통신연구원 Apparatus for image processing and image processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050043615A (en) * 2003-11-05 2005-05-11 혼다 기켄 고교 가부시키가이샤 Frame grabber
KR20170108392A (en) 2016-03-17 2017-09-27 한국영상기술(주) Apparatus for inspecting lens module of camera used mobile device
KR102076203B1 (en) 2018-05-24 2020-02-11 주식회사 에이치비테크놀러지 Lighting system of optical inspection equipment
KR20200063017A (en) * 2018-11-27 2020-06-04 한국전자통신연구원 Apparatus for image processing and image processing method

Also Published As

Publication number Publication date
KR102493107B1 (en) 2023-02-01

Similar Documents

Publication Publication Date Title
US11770619B2 (en) Generating static images with an event camera
EP3242268B1 (en) Method for automatically identifying and calibrating medical color and gray-scale images
US9449561B1 (en) Light sensor obstruction detection
US20220247986A1 (en) Image projecting apparatus and controlling method thereof
US10721415B2 (en) Image processing system with LED flicker mitigation
US9727160B2 (en) Displacement detection device and operating method thereof
CN107948634B (en) Image dead pixel detection method and device and image processing chip
US11528418B2 (en) Shake correction control device, imaging apparatus, shake correction method of imaging apparatus, and program
SE1450769A1 (en) Improved tracking of an object for controlling a non-touch user interface
US9635277B2 (en) Image sensor, image sensing method, and image photographing apparatus including image sensor
US11172138B2 (en) Image capture apparatus capable of performing HDR combination, method of controlling same, and storage medium
US20150181118A1 (en) Image processing apparatus, control method thereof, and imaging apparatus
KR102493107B1 (en) Frame grabber system and method of storing control signal related information for peripheral device with image frame, computer program and computer-readable recording medium
JP2004127240A (en) Single integrated circuit for optical mouse
KR100950463B1 (en) Apparatus of image tracking soc chip development for ntsc/pal camera
US9846816B2 (en) Image segmentation threshold value deciding method, gesture determining method, image sensing system and gesture determining system
US20150187285A1 (en) Display device, display method, and program
CN107852461B (en) Method and apparatus for performing image capture
CN108153563B (en) A kind of screen control method and device
JP5225932B2 (en) Imaging apparatus, integrated circuit, image processing method, and program
KR102524991B1 (en) Frame grabber configured to store status information of peripheral device with image frame, camera module inspecting method using the same, computer program and computer-readable recording medium
US9007500B2 (en) Programmable global shutter timing to mitigate transient glitching
JP5429685B2 (en) Logic signal measuring device
KR20110067551A (en) Apparatus and method for processing image
JP2016082495A (en) Imaging apparatus

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant