WO2017002477A1 - 表示画面内画像処理方法及びプログラム - Google Patents

表示画面内画像処理方法及びプログラム Download PDF

Info

Publication number
WO2017002477A1
WO2017002477A1 PCT/JP2016/064815 JP2016064815W WO2017002477A1 WO 2017002477 A1 WO2017002477 A1 WO 2017002477A1 JP 2016064815 W JP2016064815 W JP 2016064815W WO 2017002477 A1 WO2017002477 A1 WO 2017002477A1
Authority
WO
WIPO (PCT)
Prior art keywords
display screen
image data
output
image
area
Prior art date
Application number
PCT/JP2016/064815
Other languages
English (en)
French (fr)
Inventor
勝憲 松尾
井上　美和
隆英 松尾
Original Assignee
ケーアンドエムエンタープライズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ケーアンドエムエンタープライズ株式会社 filed Critical ケーアンドエムエンタープライズ株式会社
Priority to CN201680001227.5A priority Critical patent/CN106797431A/zh
Priority to KR1020167030468A priority patent/KR20170012874A/ko
Priority to JP2017526217A priority patent/JP6757927B2/ja
Priority to US15/361,252 priority patent/US10102825B2/en
Publication of WO2017002477A1 publication Critical patent/WO2017002477A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal

Definitions

  • the present invention relates to a still image, a video screen (hereinafter referred to as “display”) displayed on the screen of an information device (hereinafter simply referred to as “computer etc.”) such as a personal computer (personal computer), a smartphone, or a tablet terminal.
  • a video screen hereinafter referred to as “display”
  • computer etc. an information device
  • the present invention relates to an image processing method and program for outputting target information from image data in an arbitrary area of a screen.
  • a screen displayed on a monitor (display) such as a computer is displayed by a browser such as Internet Explorer (IE: trademark) or Firefox (trademark), for example, Windows (trademark) OS, iOS (trademark), Android (trademark), or the like. It works on the software.
  • a system for displaying a screen imaged by a WEB camera or the like on a monitor such as a computer In order to monitor a person or an object using an image to be monitored displayed on such a monitor as a computer or the like, conventionally, it has been necessary for a person to always see the image.
  • Patent Document 1 As a monitoring device using a camera, the one shown in Patent Document 1 has been proposed. That is, for the image data captured by the imaging means, a specific area setting means sets a specific area that is parallel to the horizontal plane of the frame image and is horizontally long, and each frame image is processed by the image data processing means. Then, the image data of the specific area is extracted, and the movement vector is extracted from the extracted image data. Further, in the change detection means, when the value obtained by adding the vector values in the predetermined direction in the movement vector information is larger than the threshold set by the change detection threshold setting means, the other moving body is too close to the own moving body. It is determined that the vehicle is dangerous, and a warning is sounded or displayed via a change notification means to notify the driver of the danger and call attention.
  • the monitoring device described in the above-mentioned Patent Document 1 is a dedicated device for monitoring, and it is difficult to cope with a browser or image software using a computer or the like.
  • the present invention provides an image processing method for outputting desired information from image data in an arbitrary area by directly using an image displayed by image software such as a browser used in a computer or the like. And to provide a program.
  • the first configuration of the present invention is: Set one or more arbitrary areas on the display screen, Sequentially acquiring the image data in the set area from the image data displayed on the display screen and transferring it to the memory;
  • the image data on the memory is subjected to data processing to make a desired determination,
  • the display screen image processing method is characterized in that the determination result is output to the outside.
  • the second configuration of the present invention is a computer, Means for setting one or more arbitrary areas on the display screen; Means for sequentially transferring the image data in the set area onto a memory; Means for processing the image data on the memory to make a target determination; This is a program for functioning as a means for outputting the determination result to the outside.
  • the determination result can be output as information by software.
  • the determination result can be output as an electrical signal to a serial port or a parallel port.
  • the determination result can be output to the network in the form of e-mail, information data, image data, or the like.
  • the network includes a short-range wireless communication network such as Bluetooth (registered trademark) or infrared communication.
  • Bluetooth registered trademark
  • infrared communication for image data in a plurality of areas having different or the same position and / or size on the display screen, different or the same data processing is performed independently or in cooperation with data processing of other areas. Can be executed.
  • an area-specific name can be added to one or a plurality of areas on the display screen, and when the determination result is output, the area-specific name can be added to the output.
  • E-mail notification to other communication terminals communication terminals: devices with communication functions such as personal computers, mobile phones, smartphones, tablets, etc.
  • Event notification to other communication terminals network, serial communication, etc.
  • Warning sound system speaker, external device
  • Output contact, serial communication, etc.
  • Save image Save as file: Movie, Still image
  • -Automatic operation of display terminals automated operation of touch panel, mouse, keyboard, etc.
  • the present invention has the following effects. (1) A person can visually perform an operation that is performed by judging a specific situation / state. Example) A system with only a monitoring function becomes an automatic monitoring system. Example) It is possible to save labor for monitoring. (2) Does not affect other software (systems) and equipment. (Operates as independent software) -Since there is only software, there is no problem with compatibility with the equipment. -No need to access hardware by simply reading the display screen. (3) It can be restored at any time and resumed at any time. (Software startup operation only) (4) Since only software is used, it is easy to replace functions. (5) Since it is software only, it can be realized at low cost.
  • FIG. 1 is a flowchart showing a processing procedure in the image data processing system according to the present embodiment.
  • the image data processing system in the present embodiment is realized by executing the image data processing program in the present embodiment on a personal computer as an information device is shown.
  • Other devices such as a smartphone and a tablet terminal can be used as long as the device can have an image data processing program in this embodiment and can be executed.
  • Step S100 One area (position / size) on the display screen of the personal computer is set. The area is specified by setting a rectangular frame (Windows frame), for example, by clicking at the area start position of the mouse and dragging to the diagonal position. Since it is not displayed when processing is executed, it is not visible on the display. When setting the area designation to a plurality of locations, the same is done.
  • Windows frame Windows frame
  • Step S110 The image data in the set area is acquired in the bitmap format from the image data displayed on the display screen of the personal computer (standard capture function).
  • the bitmap format image data to be acquired is R, G. B element luminance information (0-255).
  • the standard capture function of the OS is executed by the image data processing program in the present embodiment.
  • Bitmap object to capture Bitmap bmp new Bitmap (area.Width, area.Height); (Bmp: Defines the storage destination bitmap, area: Information on the position and size of the set rectangular area, area.Width, area.Height: Area width and height) 2.
  • Create a Graphics object Graphics gp Graphics.FromImage (bmp); (Because CopyFromScreen can use Graphic objects, it generates Graphic objects from Bitmap objects.) 3.
  • Step S120 The bitmap information (R, G, B luminance information) of the image data is transferred to the image data processing memory. Since the bitmap information is a special format, it is arranged as simple data (array) on the memory. This makes it easier to read from the program.
  • Step S130 Pre-designated image data processing (details will be described later) is performed.
  • Data processing includes still image processing and moving image processing.
  • Step S140 The image data result is determined. The determination is performed by comparing the determination result with the result obtained by the image data processing.
  • Step S150 It is determined whether output is necessary. If it is determined that output is necessary, the process proceeds to step S160. If unnecessary, the process returns to step S110.
  • Step S160 Output is executed (details will be described later). After execution, the process returns to step S110.
  • FIG. 2 is a flowchart of still image data processing.
  • data processing is performed on the last acquired image data. For example, appearance inspection, positioning, dimension measurement, color determination, and the like. Information on the processing result is output.
  • FIG. 3 shows an example of simple position and dimension measurement.
  • the image data is continuously arranged in the memory in an area of size of image width ⁇ image height.
  • a dark color is small and a light color is a large value.
  • Ya ⁇ image width (Ya is the initial value in the height direction when searching for the horizontal position and size of the object, generally the center of the area. Read from the data continuously. The horizontal position X0 and the width of the object can be found from the horizontal line reading result.
  • Xb (Xb is the initial value in the horizontal direction when searching for the vertical position and size of the object, generally starting from the vicinity of the center of the area) is added to the head of the image memory. Then, the data is read at the image width interval.
  • the vertical position Y0 and height of the object can be known from the reading result of the vertical line.
  • the upper left position (X0, Y0) and size (size: W ⁇ H) of the object are known. If it is out of the default position and size, some warning output (contact, sound, e-mail, etc.) is output.
  • pixel data is stored up to the lower end in the height direction.
  • the memory arrangement may be reversed vertically and horizontally.
  • FIG. 4 shows an example of color measurement.
  • the image data of the area of the object whose position and dimensions are known is read by R, G and B, and averaged.
  • This data (R, G, B) is converted into a color space HSV (hue hue, saturation saturation, brightness value lightness brightness).
  • HSV hue, saturation saturation, brightness value lightness brightness
  • FIG. 5 shows an example of moving image data processing. Processing is performed on a plurality of continuous image data from the past to the latest. In the case of moving image data processing, the required number of old image data is stored. As a result, processing results such as motion detection, stillness detection, change detection, and foreign object detection can be output.
  • the present invention can be applied to intrusion detection, object movement, stop detection, passage count, traffic volume count of people and vehicles, and the like.
  • FIG. 6 shows an example of simple motion detection.
  • the absolute value of the difference between the latest image data and the previous image data is calculated pixel by pixel for each RGB.
  • the ratio of the number of pixels in which the absolute value of the difference is equal to or greater than a specified value is calculated. If the ratio is larger than the reference value, some warning output (contact point, sound, e-mail, etc.) is issued because there is a movement.
  • FIG. 7 shows an example of simple object extraction.
  • An average image moving average of time axis
  • An average image moving average of time axis
  • the rest is object image data.
  • the object image data is scanned to obtain individual sizes and shapes.
  • some warning output contact, sound, e-mail, etc.
  • Color determination and the like can be added to the conditions.
  • FIG. 8 shows an example of determination result output.
  • the output of the determination result is classified into the following three.
  • -Output as software information.
  • -Output as electrical signals to cable connection devices connected to the serial port or parallel port.
  • FIG. 9 shows an example of software output.
  • Software output includes display, sound, operation, image, and recording.
  • Display A warning message is displayed on the screen to call attention.
  • a display is displayed on the detection portion to indicate the location.
  • Sound A standard beep is sounded. Alternatively, the registered audio file is played back.
  • Operation Perform mouse operations and keyboard operations using software based on information registered in advance.
  • Image The image at the time of detection is saved as a still image or a moving image. Record: Saves the date, phenomenon, etc. as a log for the event that occurred.
  • FIG. 10 shows an example of output to a cable connection device.
  • Cable connection includes parallel, serial, and LAN.
  • the parallel connection is applied to contact output and alarm lamp control.
  • the serial cable is used for controlling USB devices and devices connected to RS232C and RS485.
  • the LAN cable is used to control a device that supports network connection.
  • the kind of apparatus changes with uses.
  • FIG. 11 shows an example of output via a network (Internet). Notify remote locations via the Internet. Alternatively, it is sent all at once to an e-mail address registered in advance. Further, it is possible to select a transmission destination according to an event and transmit it. If a management server is installed, system processing can be performed by notifying the server of events. Remote devices can also be operated by output.
  • the network includes the short distance wireless communication network such as Bluetooth (registered trademark) and infrared communication in addition to the Internet, wireless LAN, and wired LAN.
  • FIG. 12 shows the configuration of the target monitoring system.
  • FIG. 12 shows a monitoring system in which the monitoring system 20 that operates on the OS 10 such as Windows (trademark) captures video from a camera or the like and displays it on the display screen 30 so that a person can visually confirm an abnormality on the monitoring image 32. ing.
  • OS 10 such as Windows (trademark)
  • FIG. 13 shows an example of a conventional method for automating monitoring.
  • a monitoring system 20 ′ modified to add software for performing detection processing 22 and notification processing 24 from a camera image in the monitoring software, and performing operation verification, correction work, etc. on the existing software.
  • the system is constructed.
  • the monitoring system 20 ′ is stopped at the time of modification or confirmation. If the monitoring software manufacturer does not have image data processing technology, it cannot be handled. When outsourcing, monitoring software must be released. In addition, if there is no designer of the monitoring software, there is a possibility that it cannot be handled. If a defect occurs in the additional modification, visual monitoring is no longer possible.
  • a system for solving such a problem is the system shown in the block diagram of the embodiment of the present invention shown in FIG.
  • the additional software 40 sets one or more arbitrary areas on the display screen, sequentially transfers the image data in the setting area 34 to a memory (not shown), and processes the signals on the memory.
  • the target determination is performed and the determination result is output to the outside.
  • each setting area can have the same position and size, or at least one of the position and size can be different.
  • the image data processing for each setting area can be the same or different. For example, even if setting areas having the same position and size are set, different image data processing can be performed. Further, the image data processing of each setting area can be executed independently, or can be executed in cooperation with other setting areas. For example, it is possible to determine the result by outputting a combination of a plurality of results after all the conditions are met. The determination and determination of the image data processing result can be executed independently or in cooperation with other screens. The output of the result can be executed in common, original, or linked with a specific screen.
  • Single or multiple setting areas 34 can be given individual names. For example, depending on the monitoring area, names such as ⁇ entrance door '', ⁇ living room window '', ⁇ bed '', ⁇ kitchen '', etc. are used instead of mere numbers, and when a display screen abnormality is detected, for example, ⁇ living room '' By transmitting an output such as “window, abnormal” by e-mail or the like, the transmission information itself can be given meaning. Also, different image data processing can be designated for each monitoring area.
  • the system according to this embodiment has the following effects. (1) Since it operates as software different from the monitoring system, it is not necessary to stop the monitoring system. (2) When outsourcing, it can be created regardless of the contents of the monitoring software. (3) Confirmation can be performed in parallel with visual monitoring. (4) Even if a problem occurs, conventional visual monitoring can be performed as it is.
  • FIG. 15 shows an initial screen for setting the name, the type of image data processing, and the like for the setting area set on the display screen.
  • the setting area set on the display screen is referred to as “sensor”.
  • the number of sensors, logic sensors, and outputs can be any number.
  • the upper “sensor name” is a name given to each setting area.
  • the “logic sensor” in the middle is a virtual sensor that is a combination of “sensors”.
  • FIG. 16 shows a sensor type selection screen.
  • a function list is displayed from the pull-down menu.
  • FIG. 17 shows a screen for setting “intruder when lamp is red”. That is, when the red lamp is lit, an area where entry is prohibited is monitored because of danger. On the display screen, a camera image showing a prohibited area and a lamp is displayed. When a person monitors the display screen, if a person is found while the red lamp is lit, a warning is given with a microphone.
  • the screen sensor software of the present embodiment When this is performed by the screen sensor software of the present embodiment, it is as follows. On the first sensor screen, set the lamp area and detect red. On the second sensor screen, a dangerous area including a lamp is set, and movement (intrusion) is detected. The result on the second screen is valid only when red is detected on the first sensor screen. If motion is detected on the screen of the second sensor while detecting the red color of the lamp on the screen of the first sensor, a warning voice message is played to warn.
  • FIG. 18 is a security and camera failure setting screen. The difference in output depending on the screen is as follows. Assume that the display screen shows a camera image monitoring the intrusion of a suspicious person. When a person monitors, if a suspicious person is found, the guard is contacted. Also, if the camera breaks down, contact the technology.
  • the screen sensor software of the present embodiment When this is performed by the screen sensor software of the present embodiment, it is as follows. On the first sensor screen, an area where people pass is set and an object (intruder) is detected. On the second sensor screen, set the area of the part that is always reflected in the same way and measure the brightness. When an object is detected (finding an intruder) on the screen of sensor # 1, the warning lamp in the security room lights up and the security is contacted. If the brightness of the second sensor screen is significantly different from normal, the camera may be broken, so the warning lamp in the security room is turned on and the technology is contacted by e-mail. In this way, desired output can be obtained by setting the type of image data processing, processing contents, output conditions, and output contents for each sensor.
  • the present invention can be suitably used for the following applications, for example.
  • Corporate use (1) Unmanned image monitoring system and manned process monitoring system, labor saving (2) Stable system operation (exclusion of factors such as individual differences, fatigue and carelessness) (3) Function improvement without system stop and continuous function improvement.
  • Personal use Effective use of built-in display terminal camera and USB camera. Since it is performed on the display content, there is no compatibility with the camera.
  • Night monitoring of display terminals (abnormal alarm)
  • Monitoring and monitoring at absence notification by e-mail, image storage

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

コンピュータ等で用いられているブラウザ等の画像ソフトで表示されている画像をそのまま利用して、任意の枠内の画像データから、目的とする情報を出力するための画像処理方法及びプログラムを提供する。　表示画面３０上の任意の設定エリア３４を１つまたは複数設定し、設定されたエリア３４内の画像データを逐次、メモリ上に転送し、メモリ上の画像データをデータ処理して目的とする判定を行い、その判定結果を外部に出力する表示画面内画像処理方法。前記判定結果は、ソフトウェアによる情報として、または、シリアルポート、パラレルポートに電気信号として、あるいは、電子メール、情報データ、画像データ等の形態でネットワークに出力することができる。さらに、表示画面３０上の１つまたは複数のエリア３４に対してエリア個別の名称を付加可能とし、また複数の設定エリア３４に対して、異なった画像データ処理を行うこともできる。

Description

表示画面内画像処理方法及びプログラム
　本発明は、パーソナルコンピュータ（パソコン）、スマートフォン、タブレット端末等の情報機器（以下、単に「コンピュータ等」ということがある。）の画面に表示された静止画、動画等の画面（以下、「表示画面」という。）の任意のエリア内の画像データから、目的とする情報を出力するための画像処理方法及びプログラムに関する。
　コンピュータ等のモニタ（ディスプレイ）に表示される画面は、例えばインターネットエクスプローラ（ＩＥ：商標）やＦｉｒｅｆｏｘ（商標）等のブラウザで表示され、Windows（商標）ＯＳやｉＯＳ（商標）、Ａｎｄｒｏｉｄ（商標）等のソフト上で動作する。また、ＷＥＢカメラ等で撮像した画面をコンピュータ等のモニタ上に表示するシステムも提供されている。
　このようなコンピュータ等のモニタ上に表示された監視対象の画像を用いて人や物の監視を行うには、従来は、人が画像を常時見ている必要があった。
　カメラを用いた監視装置としては、特許文献１に示されたものが提案されている。すなわち、撮像手段で撮像された画像データに対して、特定領域設定手段により、フレーム画像の水平面に平行でかつ横長で矩形状の特定領域を設定し、画像データ処理手段により、複数のフレーム画像毎に特定領域の画像データを取り出し、取り出された画像データから移動ベクトルを抽出する。さらに、変化検知手段では、移動ベクトル情報のうち、所定方向のベクトル値を加算した値が、変化検知閾値設定手段で設定した閾値よりも大きい場合に他移動体が自移動体に接近し過ぎて危険であると判定し、変化通知手段を介して警報発音や警報表示などを行って運転者に危険を通知して注意を促すものである。
特開２００５－２２２４２４号公報
　しかしながら、従来の画面を人が常時監視する方法では、次のような問題点があった。
（１）監視する人の疲労、よそ見、不注意などにより見逃しが発生する可能性がある。
（２）自動化（無人化）を行うには、問題が多かった。
・システムの開発メーカーが、自動化（画像データ処理など）への対応不可。
・バージョンアップする場合、システムの停止が必要。
・不具合（誤検出含む）発生時、簡単に、元に戻せない。
・システム変更に伴う、予期せぬ問題発生の可能性。
（３）特殊な検出などのソフトは、一般的に高価であった。
（特定場所の変化の検出や明るさの変化への対応など）
（４）コンピュータ等では動作しないカメラなどがある。（機器との相性）
　さらに、前掲の特許文献１に記載された監視装置は、監視のための専用の装置であり、コンピュータ等を用いたブラウザや画像ソフトでは対応が難しい。
　そこで本発明は、コンピュータ等で用いられているブラウザ等の画像ソフトで表示されている画像をそのまま利用して、任意のエリア内の画像データから、目的とする情報を出力するための画像処理方法及びプログラムを提供することを目的とする。
　前記課題を解決するため、本発明の第１の構成は、
　表示画面上の任意のエリアを１つまたは複数設定し、
　前記表示画面上に表示される画像データから前記設定されたエリア内の画像データを逐次取得してメモリ上に転送し、
　前記メモリ上の画像データをデータ処理して目的とする判定を行い、
　その判定結果を外部に出力することを特徴とする表示画面内画像処理方法である。
　本発明の第２の構成は、コンピュータを、
　表示画面上の任意のエリアを１つまたは複数設定する手段と、
　前記設定されたエリア内の画像データを逐次、メモリ上に転送する手段と、
　前記メモリ上の画像データをデータ処理して目的とする判定を行う手段と、
　その判定結果を外部に出力する手段として機能させるためのプログラムである。
　これらの発明において、前記判定結果を、ソフトウェアによる情報として出力することができる。
　また、前記判定結果を、シリアルポートまたはパラレルポートに電気信号として出力することができる。
　また、前記判定結果を、電子メール、情報データや画像データ等の形態でネットワークに出力することができる。ここで、ネットワークには、Ｂｌｕｅｔｏｏｔｈ（登録商標）や赤外線通信等の近距離無線通信ネットワークを含む。
　また、前記表示画面上の、位置およびサイズの少なくとも一方が異なるあるいは同一の複数のエリア内の画像データについて、各々異なるあるいは同一のデータ処理を、独立、あるいは他のエリアのデータ処理と連携して実行することができる。
　さらに、前記表示画面上の１つまたは複数のエリアに対してエリア個別の名称を付加可能とし、前記判定結果を出力する際に、当該エリア個別の名称を出力に付加することができる。
　画像データをデータ処理して目的とする判定を行う例を次に示すが、これに限定されない。
・変化の検出
・動き（物体）検出
・静止（物体）検出
・色検出（任意の色範囲、サイズ）
・計測処理（寸法測定、水位計測等）
・検査処理（異常検出、正常判定）
・フィルター処理（輝度操作、特徴抽出等）
　画像データをデータ処理して目的とする判定を行った結果の出力の例を次に示すが、これに限定されない。
・他の通信端末へ電子メール通知（通信端末：パーソナルコンピュータ、携帯電話、スマートフォン、タブレット等の通信機能を持った機器）
・他の通信端末へのイベント通知（ネットワーク、シリアル通信等）
・警告音（本体スピーカー、外部機器）
・出力（接点、シリアル通信等）
・画像の保存（ファイルとして保存：動画、静止画）
・表示端末の自動操作（タッチパネル、マウス、キーボード等の自動操作）
・機器への通知
　本発明によれば、次の効果を奏する。
（１）人が目視で、特定の状況・状態を判断して行っていた操作を代行できる。
　例）監視機能のみのシステムが、自動監視システムになる。
　例）モニタ監視の省人化が可能になる。
（２）他のソフト（システム）・機器に影響を与えない。
（独立したソフトとして動作）
・ソフトウェアのみなので、機器との相性の問題発生なし。
・表示画面を読み取るだけで、ハードウエアへのアクセスなし。
（３）いつでも元に戻せ、いつでも再開可能。（ソフトの起動操作のみ）
（４）ソフトウェアのみなので、機能の入れ替えが容易。
（５）ソフトウェアのみなので、安価に実現可能。
本発明の実施の形態に係る画像処理システムにおける処理手順を示すフローチャートである。 本発明の実施の形態における静止画像データ処理のフローチャートである。 本発明の実施の形態における簡単な位置と寸法測定例を示す説明図である。 本発明の実施の形態における色の測定例を示す説明図である。 本発明の実施の形態における動画像データ処理の例を示すブロック図である。 本発明の実施の形態における簡単な動きの検出の例を示すブロック図である。 本発明の実施の形態における簡単な物体の抽出の例を示すブロック図である。 本発明の実施の形態における出力の例を示すブロック図である。 本発明の実施の形態におけるソフトウェア出力の例を示す説明図である。 本発明の実施の形態におけるケーブル接続機器へ出力する例を示す説明図である。 本発明の実施の形態におけるネットワーク（インターネット）を経由して出力する例を示す説明図である。 対象の監視ソフトの構成を示すブロック図である。 監視を自動化するための従来の方法の例を示すブロック図である。 本発明の実施の形態の構成を示すブロック図である。 本発明の実施例のエリア設定画面（初期画面）を示す。 本発明の実施例の設定例を示す画面である。 本発明の実施例の設定例を示す画面である。 本発明の実施例の設定例を示す画面である。
　１０　ＯＳ
　２０　監視システム
　３０　表示画面
　３２　監視画像
　３４　設定エリア
　４０　追加ソフト
　以下、本発明を、実施の形態に基づいて具体的に説明する。
　図１は、本実施の形態に係る画像データ処理システムにおける処理手順を示すフローチャートである。なお、本実施の形態では、情報機器としてパーソナルコンピュータ上で本実施の形態における画像データ処理プログラムを実行することにより本実施の形態における画像データ処理システムを実現した例を示しているが、表示機能を持ち、本実施の形態における画像データ処理プログラムを追加して実行することのできる機器であれば、スマートフォン、タブレット端末等の他の機器を用いることもできる。
　図１の各ステップについて説明する。
　ステップＳ１００：パーソナルコンピュータの表示画面上のエリア（位置・サイズ）を１つ設定する。エリアの指定は、矩形状の枠（Windows枠）を設定することにより行い、例えばマウスのエリア開始位置でのクリック及び対角位置までのドラッグ操作により行う。処理実行時は、非表示なので、表示上は、見えない。
　エリア指定を複数箇所に設定する場合は、同様に行う。
　ステップＳ１１０：パーソナルコンピュータの表示画面上に表示される画像データから前記設定されたエリア内の画像データを、ビットマップ形式で取得する（標準キャプチャ機能）。取得するビットマップ形式の画像データは、画素単位のＲ，Ｇ．Ｂの要素の輝度情報（０－２５５）である。ＯＳが有する標準キャプチャ機能を、本実施の形態における画像データ処理プログラムにより実行する。
　ここで、ＯＳが有する標準キャプチャ機能を実行する画像データ処理プログラムの例について説明する。以下は、マイクロソフト社のＯＳであるWindows上での実行をサポートするWindowsコンポーネントのMicrosoft .NET Framework 2.0以降で提供されている.NETライブラリを用いて標準キャプチャ機能を実行するプログラムソースの例である。
１．キャプチャするためのBitmapオブジェクトの生成
　Bitmap bmp = new Bitmap(area.Width, area.Height);
（bmp：収納先のビットマップを定義、area：設定された長方形のエリアの位置とサイズの情報、area.Width，area.Height：areaの幅と高さ）
２．Graphicsオブジェクトの生成
　Graphics gp = Graphics.FromImage(bmp);
（CopyFromScreenを使えるのがGraphicオブジェクトなので、BitmapオブジェクトからGraphicオブジェクトを生成）
３．CopyFromScreenメソッドでキャプチャ
　Gp.CopyFromScreen(area.Left, area.Top, 0, 0, bmp.Size);
（area.Left, area.Top：areaの左上座標、bmp.Size：bmpのサイズ）
　以上により、パーソナルコンピュータの表示画面上に表示される画像データからbmpに設定された長方形のエリア内の画像データがビットマップ形式で取得される。こうして取得した長方形の画像データをそのまま、あるいは、多角形、円、円弧などの指定した任意の形状で取り出し、使用する。
　ステップＳ１２０：画像データのビットマップ情報（Ｒ，Ｇ，Ｂの各輝度情報）を、画像データ処理メモリへ転送する。ビットマップ情報は特殊なフォーマットなので、これをメモリ上に、単純なデータ（配列）として並べる。これによりプログラムから読みやすくなる。
　ステップＳ１３０：予め指定した画像データ処理（詳細は後述）を行う。データ処理は、静止画処理と動画処理がある。
　ステップＳ１４０：画像データ結果を判定する。判定は、画像データ処理で得られた結果と判定基準を比較することにより行う。
　ステップＳ１５０：出力が必要かどうか判定する。出力が必要と判定した場合はステップＳ１６０に進む。不要な場合はステップＳ１１０に戻る。
　ステップＳ１６０：出力を実行する（詳細は後述）。実行後、ステップＳ１１０に戻る。
　図２は、静止画像データ処理のフローチャートである。この例では、最後に取得した１枚の画像データに対してデータ処理を行う。例えば、外観検査や位置決め、寸法測定、色判定等である。処理結果の情報は、出力される。
　図３は簡単な位置と寸法測定例を示すものである。画像データは、画像幅×画像高さのサイズのエリアで連続してメモリに配置される。画像データは、暗い色が小さく、明るい色は大きな値である。図３の水平なラインを読むときは、画像メモリの先頭に、Ｙａ×画像幅（Ｙａは対象物の横方向の位置とサイズを探す際の高さ方向の初期値、一般的にエリアの中央付近から始める。）を加算して、連続してデータを読む。
　水平ラインの読み取り結果で対象物の横方向の位置Ｘ０と幅がわかる。
　垂直なラインを読むときは、画像メモリの先頭に、Ｘｂ（Ｘｂは対象物の縦方向の位置とサイズを探す際の横方向の初期値、一般的にエリアの中央付近から始める。）を加算して、画像幅間隔でデータを読む。
　垂直ラインの読み取り結果で対象物の縦方向の位置Ｙ０と高さがわかる。
　結果として、対象物の左上の位置（Ｘ０，Ｙ０）とサイズ（大きさ：Ｗ×Ｈ）がわかる。
　既定の位置とサイズを外れていれば、何かの警告出力（接点、音、電子メールなど）を出力する。
　なお、メモリ上の画像データの配置は、高さ方向Ｙ＝０、横方向Ｘ＝０から始まり、Ｘを加算（＋１）する形で、右端まで、画像データを構成する画素データが保存される。右端まで来たら、Ｙ＝１、Ｘ＝０から始まり、Ｘを加算（＋１）する形で、画素データが配置される。同様に、高さ方向の下端まで画素データが保存される。なお、縦、横逆のメモリ配置をする場合もある。
　図４は色の測定例を示すものである。
　位置と寸法がわかった対象物のエリアの画像データをＲ，Ｇ，Ｂ別にすべて読み、平均化する。このデータ（Ｒ，Ｇ，Ｂ）を、色空間ＨＳＶ（色相Hue,彩度Saturation chroma,明度Value Lightness Brightness）に変換する。
　これにより対象物の色がわかる。
　既定の色を外れていれば、何かの警告出力（接点、音、電子メールなど）を出す。
　図５は動画像データ処理の例を示すものである。
　過去から最新までの連続した複数の画像データに対して処理を行う。
　動画像データ処理の場合、古い画像データも、必要数保存しておく。
　これより、動き検出、静止検出、変化検出、異物検出等の処理結果を出力することができる。例えば、侵入検知や対象物の動き、停止検知、通過カウント、人や車の交通量カウントなどに適用することができる。
　図６は簡単な動きの検出の例を示す。
　最新の画像データと１つ前の画像データの差の絶対値を、ＲＧＢ別で画素単位で計算する。
　差の絶対値が、規定値以上の画素数の割合を計算する。
　割合が、基準値より大きければ、動きありとして、何かの警告出力（接点、音、電子メールなど）を出す。
　図７は簡単な物体の抽出の例を示す。
　過去Ｎ枚分の画像データの平均画像（時間軸の移動平均）を作成し、背景画像とする。
　最新画像データから、背景画像との一致部分を消去する。
　残りが、物体画像データとなる。
　物体画像のデータをスキャンして、個々のサイズや形状を求める。
　サイズ、形状が、判定条件と合致した場合は、物体検出として、何かの警告出力（接点、音、電子メールなど）を出す。
　色判定なども条件に加えることができる。
　図８は判定結果の出力の例を示す。
　判定結果の出力は、以下の３つに分類される。
・ソフトウェアによる情報として出力。
・シリアルポートやパラレルポートに接続されたケーブル接続機器へ電気信号として出力。
・電子メール、情報データまたは画像データの形態でネットワークに出力。
　図９はソフトウェア出力の例を示す。
　ソフトウェアによる出力は、表示、音、操作、画像、記録がある。
表示：画面上に警告メッセージを出して注意を促す。検出部分に、表示を出して、場所を示す。
音：標準のビープ音を鳴らす。あるいは、登録しておいた音声ファイルを再生する。
操作：あらかじめ、登録していた情報に基づき、マウス操作やキーボード操作をソフトウェアで行う。
画像：検出時の画像を、静止画、あるいは、動画で保存する。
記録：発生した事象に対して、日時、現象などをログとして、保存する。
　図１０はケーブル接続機器へ出力する例を示す。
　ケーブル接続は、パラレル、シリアル、ＬＡＮなどがある。
　パラレル接続は、接点出力や警報ランプの制御などに適用される。
　シリアルケーブルは、ＵＳＢ機器や、ＲＳ２３２Ｃ，ＲＳ４８５接続の機器の制御に用いられる。
　ＬＡＮケーブルは、ネットワーク接続対応機器の制御に用いられる。
　なお、機器の種類は、用途により変わる。
　図１１はネットワーク（インターネット）を経由して出力する例を示す。
　インターネットを経由して、遠隔地へ通知する。あるいは、あらかじめ登録していた電子メールアドレスへ、一斉送信する。
　また、事象によって、送信先を選択して送信することもできる。
　管理用のサーバーが設置されている場合は、サーバーへイベント通知することで、システム処理できる。出力によって、遠隔地の機器を操作することもできる。
　なお、ネットワークには、インターネットや無線ＬＡＮ、有線ＬＡＮのほかＢｌｕｅｔｏｏｔｈ（登録商標）や赤外線通信等の近距離無線通信ネットワークを含む。
　次に、人がモニタを監視している監視システムに検出と通知機能を追加する場合について説明する。
　図１２は対象の監視システムの構成を示すものである。
　図１２では、Windows（商標）等のＯＳ１０で動作する監視システム２０が、カメラ等の映像を取り込み、表示画面３０に表示し、人が目視で監視画像３２上の異常を確認する監視システムを示している。しかし、これでは、人の不注意や目をそらすことにより監視対象を見落とすことが避けられない。
　図１３は、監視を自動化するための従来の方法の例を示す。
　これは、監視ソフト内にカメラ画像からの検出処理２２および通知処理２４を行うソフトを追加する改造を行った監視システム２０’を設けたもので、既存ソフトに対する動作検証、修正作業などを行うことによりシステムが構築される。
　しかし、改造時、確認時に監視システム２０’の停止が発生する。監視ソフトメーカーに画像データ処理技術がない場合、対応不可である。外部に委託する場合、監視ソフトを公開する必要がある。また、監視ソフトの設計者がいない場合、対応不可の可能性がある。追加改造部分に不具合が発生したら、目視の監視もできなくなる。
　このような課題を解決するシステムが、図１４に示す本発明の実施の形態のブロック図で示されるシステムである。
　これは、図１２に示した既存の監視システムを改造するのではなく、追加ソフト４０により実現するものである。この追加ソフト４０は、表示画面上の任意のエリアを１つまたは複数設定し、設定エリア３４内の画像データを逐次、メモリ（図示せず）上に転送し、メモリ上の信号をデータ処理して目的とする判定を行い、その判定結果を外部に出力するものである。
　ここで、設定エリア３４は表示画面３０に複数設定することができる。この場合、各設定エリアは位置およびサイズを同一とすることもできるし、位置およびサイズの少なくとも一方が異なるものとすることができる。各設定エリアの画像データ処理は、同一または別々のものとすることができる。例えば、同一の位置およびサイズの設定エリアを設定しても、異なる画像データ処理を行わせることができる。また各設定エリアの画像データ処理は、独立して実行できるし、あるいは他の設定エリアと連携して実行することができる。例えば、複数の結果の組み合わせで、すべての条件が揃ってから出力するなどの結果判定ができる。
　画像データ処理結果の判定、判断を、独自に、あるいは、他の画面と連携して実行できる。
　結果による出力は、共通、あるいは、独自、あるいは、特定の画面と連携して、実行できる。
　単一のまたは複数の設定エリア３４には個別の名称を付けることができる。例えば、監視エリアに応じて、単なる番号ではなく、「玄関扉」、「居間の窓」、「ベッド」、「台所」等の名称を付け、表示画面の異常を検知したときに、例えば「居間の窓、異常」といった出力を電子メール等で発信することにより、発信情報自体に意味を持たせることができる。また、各監視エリアについて、異なった画像データ処理を指定することができる。
　この実施の形態のシステムによれば、次の効果を奏する。
（１）監視システムとは別のソフトとして動作するので、監視システムを停止する必要がない。
（２）外部に委託する場合、監視ソフトの内容と無関係に作成できる。
（３）目視監視と並行して、確認ができる。
（４）不具合が発生しても、従来の目視の監視は、そのまま、行える。
　以下、本発明の実施例について、説明する。図１５は、表示画面に設定した設定エリアに対して、名称、画像データ処理の種類等を設定する初期画面を示している。ここで、表示画面に設定する設定エリアを、「センサー」と称している。
　図１５において、センサー、論理センサー、出力は、任意の数にできる。
　上段の「センサー名」は、設定エリアのそれぞれに付される名称である。
　中段の「論理センサー」は、「センサー」の組み合わせによる仮想的なセンサーである。定義式のＬ１＝　，・・・，Ｌ４＝　の０はＯＮ、１はＯＦＦである。１を超える値になった場合は、１である。センサー番号をＳ１，Ｓ２，・・・とする。
　定義式をＬ１＝Ｓ１＊Ｓ２とすると、Ｓ１とＳ２の論理積（ＡＮＤ）となる。
　Ｌ１＝Ｓ１＋Ｓ２とすると、Ｓ１とＳ２の論理和（ＯＲ）となる。
　図１６はセンサー種類の選択画面である。各センサーの「種類の選択」の右端の▼をクリックすると、プルダウンメニューにより機能リストが表示される。
　図１７は、この中から、「ランプ赤時に侵入者」を設定する画面を示している。すなわち、赤いランプが点灯中は、危険なので侵入禁止というエリアを監視する。
　表示画面には、通行禁止エリアとランプが映ったカメラ映像が表示されている。
　人が表示画面を監視する場合は、赤いランプが点灯中に人を見つけたら、マイクで警告する。
　これを、本実施例の画面センサーのソフトで行うと、以下のようになる。
　１番センサーの画面で、ランプの部分をエリア設定し、赤色の検出を行う。
　２番センサーの画面で、ランプも含めた、危険エリアを設定し、動き（人の侵入）を検知する。 
　１番センサーの画面で赤を検出したときだけ、２番の画面の結果は有効になる。
　１番センサーの画面で、ランプの赤色を検出中に、２番センサーの画面で動きを検知したら、警告用音声メッセージを流して、警告する。
　図１８は、警備とカメラ故障の設定画面である。
　画面による出力の違いは次の通りである。
　表示画面には、不審者の侵入を監視しているカメラ映像が映っているとする。
　人が監視する場合は、不審者を見つけると警備に連絡する。また、カメラが故障した場合、技術に連絡する。
　これを、本実施例の画面センサーのソフトで行うと、以下のようになる。
　１番センサーの画面で、人が通行するエリアを設定し、物体（侵入者）検知を行う。
　２番センサーの画面で、いつも、同じように映っている部分のエリア設定をして、輝度測定を行う。
　１番センサーの画面で、物体検知（侵入者を発見）したら、警備室の警告ランプを点灯し、警備に連絡する。
　２番センサーの画面で、輝度が、通常と大きく異なる場合は、カメラの故障が考えられるので、警備室の警告ランプを点灯するとともに、技術に電子メール連絡する。
　このようにして、各センサーに対して、画像データ処理の種類と、処理内容と、出力条件、出力内容を設定することにより、所望の出力を得ることができる。
　画像データ処理の種類としては、図１６のプルダウンメニューに表示されているように
　１．動き検出（上述した図６及びその説明参照）
　２．色検出（上述した図４及びその説明参照）
　３．物体検出（上述した図７及びその説明参照）
　４．点ゲージ（上述した図３及びその説明参照）
などが用意されているが、これに限定されない。
　本発明は、例えば次に示すような用途に、好適に利用することができる。
企業用途
（１）有人画像監視システム、有人プロセス監視システムの無人化、省人化
（２）安定してシステム稼動（個人差、疲労、不注意などの要因排除）
（３）システム停止なしでの機能アップ、継続した機能向上。
個人用途
　表示端末の内蔵カメラやＵＳＢカメラの有効活用。
　表示内容に対して行うのでカメラとの相性は皆無。
（１）表示端末の夜間監視モニタ化（異常警報）
（２）留守時の監視モニタ化（電子メールで通知、画像保存）
（３）画面を見て行う、単純操作の代行

Claims (12)

  1. 　表示画面上の任意のエリアを１つまたは複数設定し、
    　前記表示画面上に表示される画像データから前記設定されたエリア内の画像データを逐次取得してメモリ上に転送し、
    　前記メモリ上の画像データをデータ処理して目的とする判定を行い、
    　その判定結果を外部に出力することを特徴とする表示画面内画像処理方法。
  2. 　前記判定結果は、ソフトウェアによる情報として出力することを特徴とする請求項１記載の表示画面内画像処理方法。
  3. 　前記判定結果は、シリアルポートまたはパラレルポートに電気信号として出力することを特徴とする請求項１記載の表示画面内画像処理方法。
  4. 　前記判定結果は、電子メール、情報データまたは画像データの形態でネットワークに出力することを特徴とする請求項１記載の表示画面内画像処理方法。
  5. 　前記表示画面上の、位置およびサイズの少なくとも一方が異なるあるいは同一の複数のエリア内の画像データについて、各々異なるあるいは同一のデータ処理を、独立、あるいは他のエリアのデータ処理と連携して実行することを特徴とする請求項１から４のいずれかに記載の表示画面内画像処理方法。
  6. 　前記表示画面上の１つまたは複数のエリアに対してエリア個別の名称を付加可能とし、前記判定結果を出力する際に、当該エリア個別の名称を出力に付加することを特徴とする請求項１から５のいずれかに記載の表示画面内画像処理方法。
  7. 　コンピュータを、
    　表示画面上の任意のエリアを１つまたは複数設定する手段と、
    　前記表示画面上に表示される画像データから前記設定されたエリア内の画像データを逐次取得してメモリ上に転送する手段と、
    　前記メモリ上の信号をデータ処理して目的とする判定を行う手段と、
    　その判定結果を外部に出力する手段
    として機能させるための画像処理プログラム。
  8. 　前記判定結果を、コンピュータのソフトウェアによる情報として出力する手段をさらに含むことを特徴とする請求項７記載の画像処理プログラム。
  9. 　前記判定結果を、シリアルポートまたはパラレルポートに電気信号として出力する手段をさらに含むことを特徴とする請求項７記載の画像処理プログラム。
  10. 　前記判定結果を、電子メール、情報データまたは画像データの形態でネットワークに出力する手段をさらに含むことを特徴とする請求項７記載の画像処理プログラム。
  11. 　前記表示画面上の、位置およびサイズの少なくとも一方が異なるあるいは同一の複数のエリア内の画像データについて、各々異なるあるいは同一のデータ処理を、独立、あるいは他のエリアのデータ処理と連携して実行する手段をさらに含むことを特徴とする請求項７から１０のいずれかに記載の画像処理プログラム。
  12. 　前記表示画面上の１つまたは複数のエリアに対してエリア個別の名称を付加可能とし、前記判定結果を出力する際に、当該エリア個別の名称を出力に付加する手段をさらに含むことを特徴とする請求項７から１１のいずれかに記載の画像処理プログラム。
PCT/JP2016/064815 2015-06-30 2016-05-19 表示画面内画像処理方法及びプログラム WO2017002477A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680001227.5A CN106797431A (zh) 2015-06-30 2016-05-19 显示画面内图像处理方法和程序
KR1020167030468A KR20170012874A (ko) 2015-06-30 2016-05-19 표시 화면 내 화상 처리 방법 및 프로그램
JP2017526217A JP6757927B2 (ja) 2015-06-30 2016-05-19 表示画面内画像処理方法及びプログラム
US15/361,252 US10102825B2 (en) 2015-06-30 2016-11-25 Method and program for processing image within display screen

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-131459 2015-06-30
JP2015131459 2015-06-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/361,252 Continuation US10102825B2 (en) 2015-06-30 2016-11-25 Method and program for processing image within display screen

Publications (1)

Publication Number Publication Date
WO2017002477A1 true WO2017002477A1 (ja) 2017-01-05

Family

ID=57608475

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/064815 WO2017002477A1 (ja) 2015-06-30 2016-05-19 表示画面内画像処理方法及びプログラム

Country Status (5)

Country Link
US (1) US10102825B2 (ja)
JP (1) JP6757927B2 (ja)
KR (1) KR20170012874A (ja)
CN (1) CN106797431A (ja)
WO (1) WO2017002477A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020180966A (ja) * 2019-03-25 2020-11-05 エフ．ホフマン−ラ ロシュ アーゲーＦ． Ｈｏｆｆｍａｎｎ−Ｌａ Ｒｏｃｈｅ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ 診断機器の動作方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11545013B2 (en) * 2016-10-26 2023-01-03 A9.Com, Inc. Customizable intrusion zones for audio/video recording and communication devices
US10891839B2 (en) 2016-10-26 2021-01-12 Amazon Technologies, Inc. Customizable intrusion zones associated with security systems
KR102427292B1 (ko) * 2021-01-20 2022-07-29 국방과학연구소 로봇시스템 운용을 위한 제어 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003255442A (ja) * 2002-02-28 2003-09-10 Minolta Co Ltd 監視装置、監視方法および監視プログラム
JP2006285507A (ja) * 2005-03-31 2006-10-19 Secom Co Ltd 遠隔監視装置
JP2009239507A (ja) * 2008-03-26 2009-10-15 Smk Corp 監視システム
JP2014123276A (ja) * 2012-12-21 2014-07-03 Nippon Hoso Kyokai <Nhk> 監視装置、監視方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057840A1 (en) * 1999-02-26 2002-05-16 Belmares Robert J. System and method for monitoring visible changes
JP3873554B2 (ja) * 1999-12-27 2007-01-24 株式会社日立製作所 監視装置、監視プログラムが記録された記録媒体
US7257235B2 (en) * 2002-02-28 2007-08-14 Minolta Co., Ltd. Monitoring apparatus, monitoring method, monitoring program and monitoring program recorded recording medium readable by computer
JP3952305B2 (ja) 2004-02-06 2007-08-01 シャープ株式会社 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
CN102663792B (zh) * 2012-03-28 2016-01-20 上海量明科技发展有限公司 一种针对截图中冗余区域进行删除的方法及***
CN102833563B (zh) * 2012-08-02 2015-12-16 深圳Tcl新技术有限公司 一种3d视频顺序格式的自动识别方法及装置
CN103198424B (zh) * 2013-03-29 2017-09-08 Tcl集团股份有限公司 一种基于智能显示设备的购物方法及装置
CN103500095A (zh) * 2013-09-27 2014-01-08 太仓苏易信息科技有限公司 屏幕截图监控***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003255442A (ja) * 2002-02-28 2003-09-10 Minolta Co Ltd 監視装置、監視方法および監視プログラム
JP2006285507A (ja) * 2005-03-31 2006-10-19 Secom Co Ltd 遠隔監視装置
JP2009239507A (ja) * 2008-03-26 2009-10-15 Smk Corp 監視システム
JP2014123276A (ja) * 2012-12-21 2014-07-03 Nippon Hoso Kyokai <Nhk> 監視装置、監視方法及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020180966A (ja) * 2019-03-25 2020-11-05 エフ．ホフマン−ラ ロシュ アーゲーＦ． Ｈｏｆｆｍａｎｎ−Ｌａ Ｒｏｃｈｅ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ 診断機器の動作方法
JP7104738B2 (ja) 2019-03-25 2022-07-21 エフ．ホフマン－ラ ロシュ アーゲー 診断機器の動作方法
US11947344B2 (en) 2019-03-25 2024-04-02 Roche Diagnostics Operations, Inc. Method of operating a diagnostic instrument

Also Published As

Publication number Publication date
US10102825B2 (en) 2018-10-16
US20170084252A1 (en) 2017-03-23
KR20170012874A (ko) 2017-02-03
JP6757927B2 (ja) 2020-09-23
JPWO2017002477A1 (ja) 2018-05-24
CN106797431A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
AU2021201574A1 (en) Security system and method
WO2017002477A1 (ja) 表示画面内画像処理方法及びプログラム
KR101307698B1 (ko) 출입 제한 영역 침입자 검출 시스템, 침입자 검출 장치, 출입 제한 영역 침입자 검출 방법 및 그 프로그램을 기록한 컴퓨터 판독 가능 기록 매체
KR101544019B1 (ko) 합성 영상을 이용한 화재감지시스템 및 방법
KR20150043146A (ko) 모니터링 방법
KR200433431Y1 (ko) 독립형 감시 시스템
KR101521236B1 (ko) 열영상을 이용한 감시 시스템
JP2009159448A (ja) 物体検出装置及び物体検出方法
JP2010028627A (ja) 表示装置
JP7021652B2 (ja) かご内監視装置
KR101895843B1 (ko) 알람 검증 시스템 및 그 방법
KR101046819B1 (ko) 소프트웨어 휀스에 의한 침입감시방법 및 침입감시시스템
JP2009239507A (ja) 監視システム
US20140147011A1 (en) Object removal detection using 3-d depth information
CN114241389A (zh) 燃烧物质识别方法、电子设备及可读存储介质
KR101460440B1 (ko) 화재 감지 기능을 가지는 카메라 및 그 화재 감지 방법
TWM495585U (zh) 居家保全影像監控系統
JP3874539B2 (ja) 画像監視装置
KR20190056750A (ko) 영상 불꽃 감지 장치 및 방법
WO2019082474A1 (ja) ３次元侵入検知システムおよび３次元侵入検知方法
Mariappan et al. A design methodology of an embedded motion-detecting video surveillance system
CN111669652A (zh) 一种视频监控告警方法和电视机
JP2024081326A (ja) 情報処理システム、情報処理方法及びプログラム
JP6911888B2 (ja) 監視装置、監視方法、及びプログラム
US20230401859A1 (en) Management apparatus, management method, management system, computer program and recording medium

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20167030468

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16817586

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017526217

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16817586

Country of ref document: EP

Kind code of ref document: A1