WO2021014479A1 - 表示処理装置、表示処理方法及びプログラム - Google Patents

表示処理装置、表示処理方法及びプログラム Download PDF

Info

Publication number
WO2021014479A1
WO2021014479A1 PCT/JP2019/028383 JP2019028383W WO2021014479A1 WO 2021014479 A1 WO2021014479 A1 WO 2021014479A1 JP 2019028383 W JP2019028383 W JP 2019028383W WO 2021014479 A1 WO2021014479 A1 WO 2021014479A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
flow line
unit
average
flow
Prior art date
Application number
PCT/JP2019/028383
Other languages
English (en)
French (fr)
Inventor
悠介 中田
加藤　義幸
圭子 今村
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2021534843A priority Critical patent/JP7004116B2/ja
Priority to DE112019007455.5T priority patent/DE112019007455T5/de
Priority to CN201980098382.7A priority patent/CN114096999A/zh
Priority to PCT/JP2019/028383 priority patent/WO2021014479A1/ja
Priority to KR1020227000612A priority patent/KR102436618B1/ko
Priority to TW108131490A priority patent/TWI785269B/zh
Publication of WO2021014479A1 publication Critical patent/WO2021014479A1/ja
Priority to US17/561,341 priority patent/US20220122272A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to a display processing device, a display processing method and a program.
  • Patent Document 1 discloses a technique of extracting a person from image data and displaying the direction and time when the person is facing the target together with a flow line.
  • Patent Document 2 the position of a passerby passing through a predetermined space is tracked to obtain a passage trajectory (traffic line), and the flow lines of all passersby passing through the predetermined space within a predetermined time are obtained.
  • the display technology is disclosed.
  • Patent Document 1 has a problem that only one flow line is supposed to be displayed.
  • the present invention has been made to solve the above-mentioned problems, and the trajectory of a moving object departing from the first area and arriving at the second area and / or departing from the second area to the first area.
  • the purpose is to make it easier to understand the mode of movement of a moving body by drawing a flow line obtained by averaging a plurality of flow lines indicating the trajectory of the arriving moving body.
  • the display processing device has a plurality of loci showing a locus of a moving object departing from the first area and arriving at the second area and / or a locus of a moving object departing from the second area and arriving at the first area.
  • N-1 division points by dividing the flow line extraction unit that extracts the flow line and the flow line extracted by the flow line extraction unit by the number of divisions N (N is an integer of 2 or more).
  • An average point calculation unit that calculates an average point of N-1 by averaging the coordinates of the division point acquisition unit and the division points belonging to different flow lines acquired by the division point acquisition unit, and the average point. It is characterized by including an average point of N-1 acquired by a calculation unit, a drawing unit for drawing a flow line passing through the first area and the second area.
  • the display processing apparatus of the present invention shows a locus of a moving object departing from the first area and arriving at the second area and / or a locus of a moving object departing from the second area and arriving at the first area.
  • FIG. 1 It is a block diagram of the display processing apparatus which concerns on one Embodiment of this invention. It is a figure which shows the installation example of the camera in a factory. It is a figure which shows an example of the flow line data management table 107. It is a figure which shows an example of the flow line extracted by the flow line extraction unit 109. It is a figure which shows the two division points obtained by dividing the flow line D1, D2, D3 into three. It is a figure which shows the typical flow line R based on the flow line D1, D2, D3. It is a flowchart which shows the process of the display processing apparatus 100. It is a figure which shows an example of the hardware apparatus which comprises the system of FIG. It is a figure which shows a typical flow line using an arrow.
  • FIG. It is a figure which shows a typical flow line using an arrow. It is a block diagram of the display processing apparatus which concerns on Embodiment 3.
  • FIG. It is a figure which shows an example of the display screen 11. It is a figure which shows the slider bar displayed on the display device 11.
  • FIG. 1 is a configuration diagram of a display processing device according to an embodiment of the present invention.
  • the cameras 10a to 10n are installed in a place with good visibility such as near the ceiling in the facility, and photograph a moving person or an object (hereinafter, when it is not necessary to distinguish between them, they are referred to as moving objects).
  • the cameras 10a to 10n cooperate with each other and are installed at positions where moving objects can be photographed seamlessly at any location in the facility.
  • FIG. 2 is a diagram showing an installation example of a camera in a factory.
  • the factory has skeletons 200 such as pillars and walls of the factory, and equipment 207 such as manufacturing equipment, robots, and workbenches.
  • the cameras 10a to 10n take a wide range with a lens having a large angle of view in order to reduce the blind spot of the object to be photographed.
  • the identification unit 105 identifies the same moving object moving in the facility from the images captured by the cameras 10a to 10n, and tracks the identified moving object over the entire photographing area of the cameras 10a to 10n.
  • a method for identifying a moving object an image identification method that recognizes a unique marker or barcode attached to work clothes or a helmet can be used.
  • the position calculation unit 106 calculates the coordinates representing the movement locus of the tracked moving object.
  • the coordinates of a moving object calculated from the image captured by the camera are expressed by the local coordinate system (camera coordinate system) unique to each camera, so that the position calculation unit 106 is the installation position of the cameras 10a to 10n.
  • Orientation, lens angle of view, lens focal length, lens aberration, and other parameters are used to transform the camera coordinate system into a global world coordinate system.
  • the alignment adjustment (calibration) between the cameras has been performed in advance using the above-mentioned parameters.
  • FIG. 3 is a diagram showing an example of the flow line data management table 107.
  • the movement line data management table 107 includes coordinates 303 indicating the movement locus of the moving object, time information 300 indicating the time when the moving object existed at each coordinate at a predetermined time interval, identification information 301 of the moving object, and attributes of the moving object.
  • Information 302 is recorded as flow line data.
  • the time information 300 is represented by, for example, 4 digits for the year, 2 digits for the month, 2 digits for the day, 2 digits for the hour (24-hour clock), 2 digits for the minute, 2 digits for the second, and 3 digits for the millisecond.
  • the identification information 301 is information for identifying one moving object, such as a worker ID.
  • the attribute information 302 is information associated with the identification information 301, and is information indicating an area in which a specific moving object exists. When the moving body is a worker, the attribute information 302 represents, for example, a work area in charge of the worker. When the moving object is an object, the attribute information 302 represents, for example, an area or a warehouse in which the object is temporarily stored. Although this information can be recorded in units of frames taken by the camera, it may be determined according to the processing load of the identification unit 105 and the position calculation unit 106, the time interval of the flow line to be visualized, and the like.
  • the area specifying unit 108 identifies an area having a long staying time of a moving body from the flow line data recorded in the flow line data management table 107.
  • the flow line extraction unit 109 extracts a plurality of flow lines indicating the movement locus of a moving body moving between the areas specified by the area identification unit 108.
  • FIG. 4 is a diagram showing an example of a flow line extracted by the flow line extraction unit 109.
  • a1 and a2 are areas specified by the area specifying unit 108, and a1 is referred to as a departure area and a2 is referred to as an arrival area.
  • D1, D2, and D3 are flow lines representing the movement loci of the moving body moving from the departure area a1 to the arrival area a2, and are represented by the coordinates P100 to P110, P200 to P206, and P300 to P307, respectively.
  • the flow line extraction unit 109 extracts the flow lines D1, D2, and D3 by acquiring the coordinates of the flow lines recorded in the flow line data management table 107 (FIG. 3).
  • the division point acquisition unit 110 acquires the coordinates of N-1 division points by dividing the flow lines extracted by the flow line extraction unit 109 by the number of divisions N (N is an integer of 2 or more).
  • FIG. 5 is a diagram showing two division points obtained by dividing the flow lines D1, D2, and D3 into three parts.
  • the division point acquisition unit 110 includes the coordinates (starting point) P100, P200, P300 belonging to the departure area a1 and the coordinates (arrival point) P110 belonging to the arrival area a2 among the coordinates constituting the movement lines D1, D2, D3, respectively.
  • P206, P307 two coordinates are acquired as division points from each of the coordinates P101 to P109, P201 to P205, and P301 to P306.
  • the dividing points are acquired so that the sampling intervals are equal, and the coordinates P103 and P106 are acquired as the dividing points B103 and B106 for the flow line D1.
  • the coordinates P202 and P204 are acquired as the division points B202 and B204
  • the coordinates P302 and P304 are acquired as the division points B302 and B304.
  • the average point calculation unit 111 calculates the coordinates of N-1 average points by averaging the coordinates of the division points belonging to different flow lines acquired by the division point acquisition unit 110. Further, the average point calculation unit 111 calculates the average value of the coordinates of the departure point included in the departure area a1 as the average departure point, and the average value of the coordinates of the arrival point included in the arrival area a2 as the average arrival point.
  • FIG. 6 is a diagram showing a typical flow line R based on the flow lines D1, D2, and D3.
  • H0 is the average starting point
  • H3 is the average arrival point
  • H1 is the average point of the dividing points B103, B202, and B302
  • H2 is the average point of the dividing points B106, B204, and B304.
  • the display device 11 is, for example, a liquid crystal display, and displays various data output from the display processing device 100.
  • FIG. 7 is a flowchart showing the processing of the display processing device 100.
  • the area specifying unit 108 identifies an area having a long staying time of the moving body from the flow line data recorded in the flow line data management table 107 (S400).
  • the flow line extraction unit 109 extracts a plurality of flow lines indicating the movement loci of the moving body moving between the areas specified by the area identification unit 108 (S401).
  • the division point acquisition unit 110 divides the flow lines extracted by the flow line extraction unit 109 by the number of divisions N (N is an integer of 2 or more) to obtain the coordinates of N-1 division points. Acquire (S402).
  • the average point calculation unit 111 calculates the coordinates of N-1 average points by averaging the coordinates of the division points belonging to different flow lines acquired by the division point acquisition unit 110. Further, the mean point calculation unit 111 calculates the average value of the coordinates included in the departure area a1 as the average start point and the average value of the coordinates included in the arrival area a2 as the average arrival point (S403). The drawing unit 112 draws a flow line passing through the N-1 average points calculated by the average point calculation unit 111, the average starting point included in the departure area a1, and the arrival average point included in the arrival area a2 (S404). ).
  • FIG. 8 is a diagram showing an example of a hardware device constituting the system of FIG. 1.
  • the CPU 808 executes the identification unit 105, the position calculation unit 106, the area identification unit 108, the flow line extraction unit 109, the division point acquisition unit 110, and the average, as shown in FIG.
  • Each function of the point calculation unit 111 and the drawing unit 112 is realized.
  • the main memory 809 is, for example, a non-volatile memory, and stores various programs executed in the CPU 808.
  • the GPU (Graphical Processing Unit) 810 is a graphic processor for drawing, and performs drawing processing such as a flow line and a GUI (Graphical User Interface). The drawing of the GPU 810 is performed on a dedicated image memory (frame buffa).
  • the GPU 810 outputs the drawn image to the display device 11.
  • the display device 11 is, for example, a liquid crystal display, and displays an image output from the display processing device 100.
  • the display device 11 may be provided in the display processing device 100.
  • the network interface 804 is an interface for inputting video data captured by the network camera 801 via the network 803.
  • the network 803 may be either wired or wireless.
  • the I / O interface 805 is an interface for inputting video data captured by the camera 802 via an interface such as USB (Universal Serial Bus).
  • the network camera 801 and the camera 802 are examples of the cameras 10a to 10n in FIG.
  • the storage unit 806 stores various data (video data, flow line data, program data, etc.) processed by the CPU 808 and the GPU 810.
  • the storage unit 806 transfers the stored data to the CPU 808 and the GPU 810 via the system bus 807.
  • the display processing device 100 can easily grasp the mode of movement of the moving object by drawing a flow line obtained by averaging a plurality of flow lines. Further, the display processing device 100 draws, for example, a flow line obtained by averaging a plurality of flow lines departing from an area having a long staying time of a moving body or arriving at an area having a long staying time of a moving body. It is possible to easily grasp the mode of movement of workers and parts centering on the area where the worker works and the area where the parts are stored.
  • FIGS. 9 and 10 are diagrams showing typical flow lines using arrows.
  • the drawing unit 112 in the first embodiment draws a line representing a typical flow line by connecting each of the average starting point, the average point, and the average arrival point, but the drawing unit 112 in the second embodiment is shown in the figure.
  • typical flow lines are drawn using arrows R11, R12, and R13.
  • FIG. 9 shows typical flow lines using arrows R11, R12, and R13.
  • the arrows R11, R12, and R13 are drawn so as to connect the average starting point H0 and the average point H1, the average point H1 and the next average point H2, and the average point H2 and the arrival average point H3. This has the effect of being able to grasp the moving direction of the moving body.
  • the drawing unit 112 may indicate the direction in which the moving object has moved by drawing an arrow represented by a V-shape, a vector shape, or the like.
  • arrows R101 to R119 represented by a V shape show typical flow lines of moving objects having a3 as a departure area and a4 as an arrival area.
  • Arrows R201 to R212 show typical flow lines of moving objects with a4 as the departure area and a3 as the arrival area.
  • Arrows R301 to R308 show typical flow lines of moving objects with a5 as the departure area and a6 as the arrival area.
  • the drawing unit 112 may draw an arrow in which the color (density, lightness, saturation) and / or the length in the width direction is changed according to the moving speed of the moving object. Specifically, when the distance between adjacent average points is less than the threshold value (that is, the moving speed of the moving object is less than the threshold value) as in arrows R106 to R115, the drawing unit 112 reduces the color density of the arrow. When the saturation is low or the difference in brightness from the background color is small and the distance between adjacent average points is equal to or greater than the threshold (that is, the moving speed of the moving object is equal to or greater than the threshold) as shown by arrows R101 to R105 and R116 to R119.
  • the color density of the arrow is increased, the saturation is increased, or the difference in brightness from the background color is increased.
  • a plurality of threshold values that serve as a reference for changing the color (density, lightness, saturation) of the arrow may be set.
  • the drawing unit 112 shortens the length in the width direction as shown by arrows R106 to R115 when the moving speed of the moving body is less than the threshold value, and when the moving speed of the moving body is equal to or more than the threshold value, the arrows R101 to The length in the width direction is lengthened as in R105, R116 to R119.
  • the drawing unit 112 draws an arrow in which the length in the width direction and / or the color (density, lightness, saturation) is changed according to the number of flow lines extracted by the flow line extraction unit 109. You may. Specifically, when the number of flow lines extracted by the flow line extraction unit 109 is less than the threshold value, the drawing unit 112 is extracted by shortening the length in the width direction as shown by arrows R301 to 308. When the number of flow lines is equal to or greater than the threshold value, the length in the width direction is lengthened as shown by arrows R201 to 212.
  • the drawing unit 112 when the number of extracted flow lines is less than the threshold value, the drawing unit 112 has a light color density and a low saturation as shown by arrows R301 to 308, or a small difference in brightness from the background color.
  • the number of extracted flow lines is equal to or greater than the threshold value, the color density is increased, the saturation is increased, or the difference in brightness from the background color is increased as shown by arrows R201 to 212.
  • This has the effect that the frequency with which the moving object has moved can be easily grasped from the arrow drawn by the drawing unit 112.
  • a plurality of threshold values that serve as a reference for changing the length in the width direction of the arrow and / or the color (density, lightness, saturation) may be set.
  • FIG. 11 is a configuration diagram of the display processing device according to the third embodiment, and in addition to the display processing device according to the first embodiment shown in FIG. 1, a process path drawing unit 113 and a production process management table 114 are provided. It is characterized by.
  • the production process management table 114 manages work process procedures, receipt / shipment, quality, maintenance, equipment, manufacturing execution, work-in-process, etc., which are called production process management data, also known as MES (Manufacturing Execution System) data.
  • MES Manufacturing Execution System
  • Data for this is recorded, and at least includes process information (processing, assembly, inspection, packing, etc.) that specifies the content of each process in the production line, and process route information that specifies the order of the processes.
  • the process route information indicates a process route such as a flow of goods such as parts, materials, and products and / or a flow of a work process and a production process.
  • the process route drawing unit 113 extracts process route information and process information from the production process management data, and draws an arrow indicating the process route and / or process information.
  • the arrow indicating the process path drawn by the process path drawing unit 113 and / or the process information is superimposed and displayed on the display device 11 together with the arrow drawn by the drawing unit 112.
  • the arrow drawn by the process path drawing unit 113 is referred to as a process path arrow
  • the arrow drawn by the drawing unit 112 is referred to as a moving body arrow.
  • FIG. 12 shows an example of the display screen. 1000a to l indicate a process path arrow, and 2000 indicates a moving body arrow.
  • a color density, lightness, saturation
  • a solid line solid line
  • a dotted line a length in the width direction
  • the process path drawing unit 113 changes the color (density, lightness, saturation), solid line, dotted line, and length in the width direction according to the content of each process, the work process, and the type of the object. May be drawn.
  • FIG. 12 shows an example of the display screen.
  • the process path arrows 1000a to c and the moving body arrow 2000 are directed in the same direction, indicating that the operator is moving along the process path. Further, when the moving body arrow 2000 is selected via an operation means (not shown) such as a mouse, the attribute information of the worker, the movement history, and the like are displayed as 1100. Similarly, when the process path arrow 1000 indicating the work process is selected, the operation status, production status, maintenance status, quality status, etc. of the equipment responsible for the work process are displayed. In this way, it is possible to visualize the correlation between the movement of the worker and the process route by superimposing and displaying not only the moving body arrow 2000 indicating the mode of movement of the worker but also the process route arrow 1000 indicating the process route. it can. This makes it easier to grasp the movement of workers and waste of process routes, which can be useful for improving work efficiency such as improving the layout of factories and allocating personnel.
  • the division point acquisition unit 110 shown in FIG. 1 may accept a number of divisions specified from an operation unit (not shown) via a slider bar displayed on the display device 11.
  • FIG. 13 is a diagram showing a slider bar displayed on the display device 11.
  • Reference numeral 702 is a slider bar for designating the number of divisions.
  • the division point acquisition unit 110 may divide the flow line by using the number of divisions specified via the slider bar 702.
  • reference numeral 703 is a slider bar for designating a range of time information, and functions as an example of the time information designation unit of the present invention.
  • the flow line extraction unit 109 shown in FIG. 1 extracts flow line data including time information included in the range of time information specified by the slider bar 703 from the flow line data management table 107, and the flow line data.
  • a plurality of flow lines represented by may be extracted. Further, the drawing unit 112 may draw a flow line that is sequentially changed according to the range of the number of divisions and the time information specified via the slider bars 702 and 703. Further, the division point acquisition unit 110 may use the number of divisions previously associated with the screen size and resolution of the display device 11, or may use a numerical value specified by an operation unit (not shown) as the number of divisions. ..
  • the flow line extraction unit 109 shown in FIG. 1 transmits flow line data including identification information 301 such as a worker ID designated by an operation unit (not shown) and attribute information 302 such as a work area in charge of the worker.
  • identification information 301 such as a worker ID designated by an operation unit (not shown)
  • attribute information 302 such as a work area in charge of the worker.
  • a plurality of flow lines passing through the departure area and the arrival area may be extracted from the plurality of flow lines represented by the flow line data by extracting from the data management table 107. This has the effect of making it easier to grasp the mode of movement of the moving body related to the desired identification information 301 or attribute information 302.
  • the area identification unit 108 shown in FIG. 1 is based not only on the length of the stationary time of the moving body, but also on the type of the area where the moving body stays for a certain period of time, such as a work area, a dedicated machine / robot installation area, a parts / product storage area, and an office.
  • the departure area may be specified.
  • the types of specified departure areas, production methods such as functional production, line production, and cell production, and modes of movement of moving objects such as production processes such as processing, assembly, inspection, packing, operation, and transportation are patterned.
  • the arrival area may be specified based on the combination of types of work to be performed.
  • the residence time of the worker in an area other than the work area is generally shortened, so that the parts / product storage area related to the work is given priority. It may be specified as an arrival area.
  • the area specifying unit 108 shown in FIG. 1 may use position coordinates representing each area as an average starting point or an average arrival point, such as position coordinates indicating the center of the area specified by the area specifying unit 108. Then, the drawing unit 112 may draw a line passing through the average starting point of the departure area, the average points of N-1, and the average arrival point of the arrival area. In this case, the average point calculation unit 111 does not need to calculate the average starting point and the average arrival point, respectively.
  • the process of drawing a typical flow line obtained by averaging a plurality of flow lines performed by the information processing apparatus described above may be configured as an information processing method or as a program for operating a computer. ..
  • the area specifying unit 108 has specified the departure area and / or the arrival area based on the dwell time of the moving object or the like, but the method of specifying the departure area and / or the arrival area is limited to this. I can't.
  • the departure area and / or the arrival area may be set manually by the operation of the user of the information processing device, or may be set at the time of introduction of the information processing device.
  • the coordinates of the moving body are calculated based on the image taken by the camera, but the method of calculating the coordinates of the moving body is not limited to this, and any technique capable of calculating the coordinates of the moving body may be used.
  • the information processing device may acquire the coordinates measured by the communication terminal possessed or installed on the moving object. Further, for example, the information processing device may calculate the coordinates of the moving body from the radio waves of radio tags such as RFID (radio frequency identifier) tags and beacons possessed or installed on the moving body. Further, for example, the information processing device may consider the position where various sensors for detecting the moving object are provided as the coordinates of the moving object.
  • 100 display processing device 108 area identification unit, 109 flow line extraction unit, 110 division point acquisition unit, 111 average point calculation unit, 112 drawing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Circuits Of Receivers In General (AREA)
  • Image Generation (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

第１のエリアを出発し第２のエリアに到着する動体の軌跡及び／又は第２のエリアを出発し第１のエリアに到着する動体の軌跡を示す複数の動線を平均した動線を描画することで、動体の移動の態様を把握しやすくすること。 動線抽出部１０９は、エリア特定部１０８で特定されたエリア間を移動する動体の移動軌跡を示す複数の動線を抽出する。分割点取得部１１０は、動線抽出部１０９で抽出された動線をそれぞれ、分割数Ｎ（Ｎは２以上の整数）で分割することによりＮ－１個の分割点の座標を取得する。平均点算出部１１１は、分割点取得部１１０で取得された異なる動線に属する分割点の座標同士を平均することによりＮ－１個の平均点の座標を算出する。描画部１１２は、平均点算出部１１１で算出されたＮ－１個の平均点、出発エリアａ１の平均出発点及び到着エリアａ２の到着平均点を通る動線を描画する。

Description

表示処理装置、表示処理方法及びプログラム
　この発明は表示処理装置、表示処理方法及びプログラムに関する。
　従来から、交通機関，商業施設などの所定の空間において、通行人などの移動軌跡を表す座標を算出し、算出した座標に基づいて動体の動線を表示する技術が知られている。
　例えば、特許文献１には、画像データから人物を抽出し、人物が対象へ向いている方向と時間を動線とともに表示する技術が開示されている。
　また、例えば、特許文献２には、所定の空間を通行する通行人の位置をトラッキングして通行軌跡（動線）を求め、所定の空間を所定時間内に通行した通行人全ての動線を表示する技術が開示されている。
ＷＯ２０１７－１７００８４号公報（図５） 特開２００５―３４６６１７号公報（図６）
　特許文献１に開示された技術では、一本の動線を表示することしか想定されていないという課題があった。
　また、上記特許文献２に開示された技術では、複数本の動線が表示されるが、複数本の動線が重ね合わされた状態で表示されるため、表示される動線の本数が増えるにつれて動体の移動の態様を把握し難くなるという課題があった。
　この発明は上述した問題点を解決するためになされたものであり、第１のエリアを出発し第２のエリアに到着する動体の軌跡及び／又は第２のエリアを出発し第１のエリアに到着する動体の軌跡を示す複数の動線を平均した動線を描画することで、動体の移動の態様を把握しやすくすることを目的とするものである。
　この発明に係る表示処理装置は、第１のエリアを出発し第２のエリアに到着する動体の軌跡及び／又は第２のエリアを出発し第１のエリアに到着する動体の軌跡を示す複数の動線を抽出する動線抽出部と、前記動線抽出部で抽出された動線をそれぞれ、分割数Ｎ（Ｎは２以上の整数）で分割することによりＮ－１個の分割点を取得する分割点取得部と、前記分割点取得部で取得された異なる動線に属する分割点の座標同士を平均することによりＮ－１個の平均点を算出する平均点算出部と、前記平均点算出部で取得されたＮ－１個の平均点、前記第１のエリア及び前記第２のエリアを通る動線を描画する描画部とを備えることを特徴とするものである。
　この発明の表示処理装置は、第１のエリアを出発し第２のエリアに到着する動体の軌跡及び／又は第２のエリアを出発し第１のエリアに到着する動体の軌跡を示す複数の動線を平均した動線を描画することで、動体の移動の態様を把握しやすくすることができるという効果を奏する。
本発明の一実施形態に係る表示処理装置の構成図である。 工場内におけるカメラの設置例を示す図である。 動線データ管理テーブル１０７の一例を示す図である。 動線抽出部１０９により抽出された動線の一例を示す図である。 動線Ｄ１，Ｄ２，Ｄ３を３分割して得られる２個の分割点を示す図である。 動線Ｄ１，Ｄ２，Ｄ３に基づく代表的な動線Ｒを示す図である。 表示処理装置１００の処理を示すフローチャート図である。 図１のシステムを構成するハードウェア装置の一例を示す図である。 矢印を用いて代表的な動線を示す図である。 矢印を用いて代表的な動線を示す図である。 実施の形態３に係る表示処理装置の構成図である。 表示画面１１の一例を示す図である。 表示装置１１に表示されたスライダーバーを示す図である。
１．実施の形態１
　図１は、本発明の一実施形態に係る表示処理装置の構成図である。カメラ１０ａ～１０ｎは、施設内の天井付近など見通しの良い場所に設置され、移動する人物や物体（以降、それぞれを区別する必要がない場合には動体と称する。）を撮影する。カメラ１０ａ～１０ｎは、互いに連携し、動体が施設内のどの場所にいても切れ目なく撮影可能な位置に設置される。図２は、工場内におけるカメラの設置例を示す図である。工場には、カメラ１０ａ～１０ｎの他、工場の柱と壁などの躯体２００、製造装置、ロボット、作業台などの設備２０７が配置されている。カメラ１０ａ～１０ｎは、撮影対象の死角を少なくするため、画角の大きなレンズを用いて広い範囲を撮影する。
　識別部１０５は、カメラ１０ａ～１０ｎにより撮影された映像から施設内を移動する同一の動体を識別するとともに識別した動体をカメラ１０ａ～１０ｎの全撮影エリアにわたって追跡する。動体を識別する手法として、作業服やヘルメットに貼り付けた固有のマーカーやバーコードを認識する画像識別法を用いることができる。また、機械学習による動体推定法を用いてもよい。機械学習では、複数の動体がすれ違う場合や、動体の一部が物体の陰に隠れてしまう場合でも、その動体を正しく識別できるよう学習を行ってもよい。
　位置算出部１０６は、追跡した動体の移動軌跡を表す座標を算出する。一般的に、カメラの撮影映像から算出した動体の座標は、個々のカメラに固有なローカルな座標系（カメラ座標系）で表現されるため、位置算出部１０６は、カメラ１０ａ～１０ｎの設置位置、向き、レンズの画角、レンズの焦点距離、レンズの収差などのパラメータを用いて、カメラ座標系をグローバルな世界座標系へ座標変換する。座標変換に用いる式を求めるため、先述のパラメータを用いて、カメラ間の位置合わせ調整（キャリブレーション）が事前に行われているものとする。
　動線データ管理テーブル１０７には、位置算出部１０６から出力される動体の移動軌跡を示す動線データが記録される。図３は、動線データ管理テーブル１０７の一例を示す図である。動線データ管理テーブル１０７は、動体の移動軌跡を示す座標３０３、所定の時間間隔の時刻であって、各座標に動体が存在した時刻を示す時間情報３００、動体の識別情報３０１及び動体の属性情報３０２が動線データとして記録される。時間情報３００は、例えば、年４桁、月２桁、日２桁、時２桁（２４時間制）、分２桁、秒２桁、ミリ秒３桁で表される。識別情報３０１は、例えば、作業者ＩＤなど、動体を１つに識別するための情報である。属性情報３０２は、識別情報３０１に対応付けられた情報であり、特定の動体が存在するエリアを示す情報である。動体が作業者である場合、属性情報３０２は、例えば、作業者が担当する作業エリアを表す。また、動体が物体である場合、属性情報３０２は、例えば、物体が一時的に保管されるエリアや倉庫を表す。これらの情報は、カメラ撮影のフレーム単位で記録可能であるが、識別部１０５及び位置算出部１０６の処理負荷、可視化したい動線の時間間隔などに応じて決定されてもよい。
　エリア特定部１０８は、動線データ管理テーブル１０７に記録された動線データから動体の停留時間が長いエリアを特定する。
　動線抽出部１０９は、エリア特定部１０８で特定されたエリア間を移動する動体の移動軌跡を示す複数の動線を抽出する。図４は、動線抽出部１０９により抽出された動線の一例を示す図である。ａ１，ａ２は、エリア特定部１０８で特定されたエリアであり、ａ１を出発エリア、ａ２を到着エリアと称する。Ｄ１，Ｄ２，Ｄ３は、出発エリアａ１から到着エリアａ２に移動する動体の移動軌跡を表す動線であり、それぞれ座標Ｐ１００～Ｐ１１０，Ｐ２００～Ｐ２０６，Ｐ３００～Ｐ３０７により表される。動線抽出部１０９は、動線データ管理テーブル１０７（図３）に記録された動線の座標を取得することにより動線Ｄ１，Ｄ２，Ｄ３を抽出する。
　分割点取得部１１０は、動線抽出部１０９で抽出された動線をそれぞれ、分割数Ｎ（Ｎは２以上の整数）で分割することによりＮ－１個の分割点の座標を取得する。図５は、動線Ｄ１，Ｄ２，Ｄ３を３分割して得られる２個の分割点を示す図である。分割点取得部１１０は、動線Ｄ１，Ｄ２，Ｄ３をそれぞれ構成する座標のうち、出発エリアａ１に属する座標（出発点）Ｐ１００，Ｐ２００，Ｐ３００と、到着エリアａ２に属する座標（到着点）Ｐ１１０，Ｐ２０６，Ｐ３０７の間に存在する座標Ｐ１０１～Ｐ１０９，Ｐ２０１～Ｐ２０５，Ｐ３０１～Ｐ３０６のそれぞれから、２つの座標を分割点として取得する。分割点はサンプリング間隔が等しくなるように取得され、動線Ｄ１については、座標Ｐ１０３，Ｐ１０６が分割点Ｂ１０３，Ｂ１０６として取得される。同様に、動線Ｄ２については、座標Ｐ２０２，Ｐ２０４が分割点Ｂ２０２，Ｂ２０４として取得され、動線Ｄ３については、座標Ｐ３０２，Ｐ３０４が分割点Ｂ３０２，Ｂ３０４として取得される。
　平均点算出部１１１は、分割点取得部１１０で取得された異なる動線に属する分割点の座標同士を平均することによりＮ－１個の平均点の座標を算出する。また、平均点算出部１１１は、出発エリアａ１に含まれる出発点の座標の平均値を平均出発点、到着エリアａ２に含まれる到着点の座標の平均値を平均到着点として算出する。
　描画部１１２は、平均点算出部１１１で算出された平均出発点、Ｎ－１個の平均点、および、平均到着点を通る線を描画する。これにより、動線抽出部１０９で抽出された複数の動線に基づく代表的な動線を得ることができる。図６は、動線Ｄ１，Ｄ２，Ｄ３に基づく代表的な動線Ｒを示す図である。図６において、Ｈ０は平均出発点、Ｈ３は平均到着点であり、Ｈ１は分割点Ｂ１０３，Ｂ２０２，Ｂ３０２の平均点であり、Ｈ２は分割点Ｂ１０６，Ｂ２０４，Ｂ３０４の平均点である。平均出発点Ｈ０，平均点Ｈ１，Ｈ２，平均到着点Ｈ３を結ぶことにより、動線Ｄ１，Ｄ２，Ｄ３を代表する動線Ｒが描画される。
　表示装置１１は、例えば、液晶ディスプレイであり、表示処理装置１００から出力された各種データを表示する。
　図７は、表示処理装置１００の処理を示すフローチャート図である。まず、エリア特定部１０８は、動線データ管理テーブル１０７に記録された動線データから動体の停留時間が長いエリアを特定する（Ｓ４００）。次に、動線抽出部１０９は、エリア特定部１０８で特定されたエリア間を移動する動体の移動軌跡を示す複数の動線を抽出する（Ｓ４０１）。次に、分割点取得部１１０は、動線抽出部１０９で抽出された動線をそれぞれ、分割数Ｎ（Ｎは２以上の整数）で分割することによりＮ－１個の分割点の座標を取得する（Ｓ４０２）。次に、平均点算出部１１１は、分割点取得部１１０で取得された異なる動線に属する分割点の座標同士を平均することによりＮ－１個の平均点の座標を算出する。また、平均点算出部１１１は、出発エリアａ１に含まれる座標の平均値を平均出発点、到着エリアａ２に含まれる座標の平均値を平均到着点として算出する（Ｓ４０３）。描画部１１２は、平均点算出部１１１で算出されたＮ－１個の平均点、出発エリアａ１に含まれる平均出発点及び到着エリアａ２に含まれる到着平均点を通る動線を描画する（Ｓ４０４）。
　図８は、図１のシステムを構成するハードウェア装置の一例を示す図である。ＣＰＵ８０８は、主記憶８０９に格納されたプログラムなどを実行することにより、図１に示す、識別部１０５、位置算出部１０６、エリア特定部１０８、動線抽出部１０９、分割点取得部１１０、平均点算出部１１１及び描画部１１２という各機能を実現する。主記憶８０９は、例えば、不揮発性のメモリであり、ＣＰＵ８０８に実行される各種プログラムを記憶する。ＧＰＵ（Graphical Processing Unit）８１０は、描画を行うためのグラフィックプロセッサであり、動線及びＧＵＩ（Graphical User Interface）などの描画処理を行う。ＧＰＵ８１０の描画は、専用の画像メモリ（フレームブッファ）に対して行われる。ＧＰＵ８１０は、描画された画像を表示装置１１へ出力する。表示装置１１は、例えば、液晶ディスプレイであり、表示処理装置１００から出力された画像を表示する。なお、表示装置１１は、表示処理装置１００に備えられていてもよい。ネットワークインターフェース８０４は、ネットワーク８０３を介して、ネットワークカメラ８０１で撮影された映像データを入力するためのインターフェースである。ネットワーク８０３は、有線又は無線のどちらでもよい。Ｉ／Ｏインターフェース８０５は、例えば、ＵＳＢ（Universal Serial Bus）のようなインターフェースを介して、カメラ８０２で撮影された映像データを入力するためのインターフェースである。なお、ネットワークカメラ８０１及びカメラ８０２は、図１のカメラ１０ａ～１０ｎの一例である。記憶部８０６は、ＣＰＵ８０８やＧＰＵ８１０に処理される各種データ（映像データ、動線データ、プログラムデータなど）を記憶する。記憶部８０６は、システムバス８０７を介して、記憶されたデータをＣＰＵ８０８やＧＰＵ８１０へと転送する。
　本実施形態によれば、表示処理装置１００は、複数の動線を平均した動線を描画することで、動体の移動の態様を把握しやすくすることができる。また、表示処理装置１００は、動体の停留時間が長いエリアを出発した、又は、動体の停留時間が長いエリアに到着した複数の動線を平均した動線を描画することで、例えば、作業者が作業するエリアや部品が保管されているエリアを中心とした作業者や部品の移動の態様を把握しやすくすることができる。
２．実施の形態２
　この発明の実施の形態２の表示処理装置について図９、図１０を用いて説明する。図９及び図１０は、矢印を用いて代表的な動線を示す図である。図９において、図６と同一符号は同一部分を示す。実施の形態１における描画部１１２は、平均出発点，平均点，平均到着点の各々を結ぶことで代表的な動線を表す線を描画したが、実施の形態２における描画部１１２は、図９に示すように、矢印Ｒ１１，Ｒ１２，Ｒ１３を用いて代表的な動線を描画する。図９に示すように、矢印Ｒ１１，Ｒ１２，Ｒ１３は、平均出発点Ｈ０と平均点Ｈ１、平均点Ｈ１と次の平均点Ｈ２、平均点Ｈ２と到着平均点Ｈ３をむすぶように描画される。これにより、動体の移動方向を把握することができるという効果を奏する。なお、描画部１１２は、図９に示すような矢印以外に、Ｖ字形状、ベクトル形状などで表される矢印を描画することで、動体が移動した方向を示してもよい。
　図１０において、Ｖ字形状で表された矢印Ｒ１０１～Ｒ１１９は、ａ３を出発エリアとし、ａ４を到着エリアとする動体の代表的な動線を示している。矢印Ｒ２０１～Ｒ２１２は、ａ４を出発エリアとし、ａ３を到着エリアとする動体の代表的な動線を示している。矢印Ｒ３０１～Ｒ３０８は、ａ５を出発エリアとし、ａ６を到着エリアとする動体の代表的な動線を示している。
　ここで、描画部１１２は、動体の移動速度に応じて、色（濃度，明度，彩度）及び／又は幅方向の長さを変えた矢印を描画してもよい。具体的には、描画部１１２は、矢印Ｒ１０６～Ｒ１１５のように隣り合う平均点の距離が閾値未満（つまり、動体の移動速度が閾値未満）の場合には、矢印の色の濃度を薄く、彩度を低く、又は、背景色との明度差を小さくし、矢印Ｒ１０１～Ｒ１０５，Ｒ１１６～Ｒ１１９のように隣り合う平均点の距離が閾値以上（つまり、動体の移動速度が閾値以上）の場合には、矢印の色の濃度を濃く、彩度を高く、又は、背景色との明度差を大きくする。これにより、描画部１１２が描画した矢印に基づいて、動体の移動速度の変化を把握しやすくすることができるという効果を奏する。なお、矢印の色（濃度，明度，彩度）を変化させる基準となる閾値は複数設定されていてもよい。また、描画部１１２は、動体の移動速度が閾値未満の場合には、矢印Ｒ１０６～Ｒ１１５のように幅方向の長さを短くし、動体の移動速度が閾値以上の場合には、矢印Ｒ１０１～Ｒ１０５，Ｒ１１６～Ｒ１１９のように幅方向の長さを長くする。
　また、描画部１１２は、動線抽出部１０９で抽出された動線の本数に応じて、幅方向の長さ、及び／又は、色（濃度、明度、彩度）を変えた矢印を描画してもよい。具体的には、描画部１１２は、動線抽出部１０９で抽出された動線の本数が閾値未満の場合には、矢印Ｒ３０１～３０８のように幅方向の長さを短くし、抽出された動線の本数が閾値以上の場合には、矢印Ｒ２０１～２１２のように幅方向の長さを長くする。また、描画部１１２は、抽出された動線の本数が閾値未満の場合には、矢印Ｒ３０１～３０８のように色の濃度を薄く、彩度を低く、又は、背景色との明度差を小さくし、抽出された動線の本数が閾値以上の場合には、矢印Ｒ２０１～２１２のように色の濃度を濃く、彩度を高く、又は、背景色との明度差を大きくする。これにより、描画部１１２が描画した矢印から、動体が移動した頻度を把握しやすくすることができるという効果を奏する。なお、矢印の幅方向の長さ、及び／又は、色（濃度，明度，彩度）を変化させる基準となる閾値は複数設定されていてもよい。
３．実施の形態３
　この発明の実施の形態３の表示処理装置について図１１、図１２を用いて説明する。図１１は、実施の形態３に係る表示処理装置の構成図であり、図１に示す実施の形態１に関わる表示処理装置に加え、工程経路描画部１１３、生産工程管理テーブル１１４を備えたことを特徴とする。生産工程管理テーブル１１４には、生産工程管理データ、別名ＭＥＳ（Ｍａｎｕｆａｃｔｕｒｉｎｇ　Ｅｘｅｃｕｔｉｏｎ　Ｓｙｓｔｅｍ：製造実行システム）データと呼ばれる、作業工程手順、入荷・出荷、品質、保守、設備、製造実行、仕掛品などを管理するためのデータが記録され、少なくとも、生産ラインにおける各工程の内容を特定する工程情報（加工、組立、検査、梱包など）と、工程の順序を特定する工程経路情報とを含む。工程経路情報は、部品、材料、製品などのモノの流れ及び/又は作業工程、生産工程の流れといった工程の経路を示す。工程経路描画部１１３は、生産工程管理データから工程経路情報と工程情報とを抽出し、工程経路を示す矢印及び／又は工程情報を描画する。この工程経路描画部１１３により描画された工程経路を示す矢印及び／又は工程情報は、描画部１１２により描画された矢印と共に表示装置１１に重畳表示される。以降、それぞれの矢印を区別して説明する場合には、工程経路描画部１１３により描画された矢印を工程経路矢印、描画部１１２により描画された矢印を動体矢印と称する。
　図１２に、表示画面の一例を示す。１０００ａ～ｌは、工程経路矢印を示しており、２０００は、動体矢印を示している。工程経路矢印１０００と動体矢印２０００は、夫々を区別するために、少なくとも、色（濃度，明度，彩度）、実線、点線、幅方向の長さの何れかが異なる表示態様の矢印で描画される。また、工程経路描画部１１３は、各工程の内容や作業工程やモノの種類に応じて、色（濃度，明度，彩度）、実線、点線、幅方向の長さを変えた工程経路矢印１０００を描画してもよい。図１２の例では、工程経路矢印１０００ａ～ｃと、動体矢印２０００が同じ方向に向かっており、工程経路に沿って作業者が移動していることが示されている。また、マウスなどの図示せぬ操作手段を介して動体矢印２０００が選択された場合には、作業者の属性情報や移動履歴などが１１００のように表示される。同様に、作業工程を示す工程経路矢印１０００が選択された場合には、該当の作業工程を担う設備の稼働状況、生産状況、保守状況、品質状況などが表示される。このように、作業者の移動の態様を示す動体矢印２０００だけでなく、工程経路を示す工程経路矢印１０００を重畳表示することによって、作業者の移動と、工程経路の相関関係を可視化することができる。これにより、作業者の移動や、工程経路の無駄を把握することが容易となり、工場のレイアウト改善や人員配置など、作業の効率化に役立てることが可能となる。
４．その他の応用例
　上述した実施例は本発明の実施の一例に過ぎず、以下のような構成を追加／変更した応用例が考えられる。
　図１に示す分割点取得部１１０は、表示装置１１に表示されたスライダーバーを介して、図示せぬ操作部から指定された分割数を受け付けてもよい。図１３は、表示装置１１に表示されたスライダーバーを示す図である。７０２は、分割数を指定するためのスライダーバーである。分割点取得部１１０は、スライダーバー７０２を介して指定された分割数を用いて動線を分割してもよい。また、７０３は、時間情報の範囲を指定するためのスライダーバーであり、この発明の時間情報指定部の一例として機能する。図１に示す動線抽出部１０９は、スライダーバー７０３を介して指定された時間情報の範囲に含まれた時間情報を含む動線データを動線データ管理テーブル１０７から抽出し、当該動線データによって表される複数の動線を抽出してもよい。さらに、描画部１１２は、スライダーバー７０２，７０３を介して指定された分割数，時間情報の範囲に応じて逐次変化させた動線を描画してもよい。また、分割点取得部１１０は、表示装置１１の画面サイズや解像度に予め対応づけられた分割数を用いてもよいし、図示せぬ操作部から指定された数値を分割数として用いてもよい。
　図１に示す動線抽出部１０９は、図示せぬ操作部から指定された作業者ＩＤなどの識別情報３０１や、作業者が担当する作業エリアなどの属性情報３０２を含む動線データを動線データ管理テーブル１０７から抽出し、当該動線データによって表される複数の動線から、出発エリア及び到着エリアを通る複数の動線を抽出してもよい。これにより、所望の識別情報３０１又は属性情報３０２に関連した動体の移動の態様を把握しやすくすることができるという効果を奏する。
　図１に示すエリア特定部１０８は、動体の停留時間の長さだけでなく、作業エリア，専用機械／ロボット設置エリア，部品／製品保管エリア，事務所など動体が一定時間とどまるエリアの種類に基づいて出発エリアを特定してもよい。更に、特定された出発エリアの種類と、機能別生産，ライン生産，セル生産などの生産方式や、加工，組立，検査，梱包，操作又は搬送などの生産工程といった動体の移動の態様がパターン化される作業の種類の組み合わせに基づいて到着エリアを特定してもよい。具体的には、或る作業エリアにおいてセル生産方式による生産が行われる場合、作業エリア以外のエリアにおける作業者の停留時間が総じて短くなるため、作業に関係した部品／製品保管エリアを優先的に到着エリアとして特定してもよい。
　図１に示すエリア特定部１０８は、エリア特定部１０８で特定されたエリアの中心を示す位置座標など、夫々のエリアを代表的に示す位置座標を平均出発点又は平均到着点としてもよい。そして、描画部１１２は、出発エリアの平均出発点，Ｎ－１個の平均点，到着エリアの平均到着点を通る線を描画してもよい。この場合、平均点算出部１１１は、平均出発点、平均到着点を夫々算出する必要がない。
　上述した情報処理装置が実施する複数の動線を平均した代表的な動線を描画する処理は、情報処理方法として構成されてもよいし、コンピュータを機能させるためのプログラムとして構成されてもよい。
　上述した実施形態においては、エリア特定部１０８が、動体の停留時間などに基づいて出発エリア及び／又は到着エリアを特定していたが、出発エリア及び／又は到着エリアを特定する方法はこれに限られない。例えば、出発エリア及び／又は到着エリアは、情報処理装置のユーザの操作によって手動で設定されてもよいし、情報処理装置の導入時などに設定されてもよい
　上述した実施形態においては、カメラで撮影した映像に基づいて動体の座標を算出したが、動体の座標を算出する方法はこれに限らず、動体の座標を算出できる如何なる技術を用いてもよい。例えば、情報処理装置は、動体に所持又は設置された通信端末で測位した座標を取得してもよい。また、例えば、情報処理装置は、動体に所持又は設置されたＲＦＩＤ（radio frequency identifier）タグやビーコンなどの無線タグの電波から動体の座標を算出してもよい。また、例えば、情報処理装置は、動体を検出した各種センサが設けられた位置を動体の座標とみなしてもよい。
　１００　表示処理装置、　１０８　エリア特定部、　１０９　動線抽出部、　１１０　分割点取得部、　１１１　平均点算出部、　１１２　描画部

Claims (10)

  1. 　第１のエリアを出発し第２のエリアに到着する動体の軌跡及び／又は第２のエリアを出発し第１のエリアに到着する動体の軌跡を示す複数の動線を抽出する動線抽出部と、
    　前記動線抽出部で抽出された動線をそれぞれ、分割数Ｎ（Ｎは２以上の整数）で分割することによりＮ－１個の分割点を取得する分割点取得部と、
    　前記分割点取得部で取得された異なる動線に属する分割点の座標同士を平均することによりＮ－１個の平均点を算出する平均点算出部と、
    　前記平均点算出部で取得されたＮ－１個の平均点、前記第１のエリア及び前記第２のエリアを通る動線を描画する描画部と
    　を備えることを特徴とする表示処理装置。
  2. 　前記動線は、
    　動体の移動軌跡を示す座標と、当該座標に動体が存在した時刻を示す時間情報を含む動線データによって表され、
    　前記分割点取得部は、
    　前記動線抽出部で抽出された動線を表す前記動線データから、各動線を構成する前記座標の数を取得し、当該数を前記分割数Ｎで除した値をサンプリング間隔とするＮ－１個の分割点を取得する
    　ことを特徴とする請求項１に記載の表示処理装置。
  3. 　時間情報の範囲を指定するための時間情報指定部を備え、
    　前記動線抽出部は、前記時間情報指定部で指定された時間情報の範囲に含まれた時間情報を含む動線データによって表される複数の動線を抽出する
    　ことを特徴とする請求項２に記載の表示処理装置。
  4. 　前記動線データから動体の停留時間が長いエリアを特定するエリア特定部を備え、
    　前記動線抽出部は、前記エリア特定部で特定されたエリアを前記第１のエリア及び／又は前記第２のエリアとした動線を抽出する
    　ことを特徴とする請求項２又は３の何れかに記載の表示処理装置。
  5. 　前記描画部は、
    　前記動体が移動した方向を示す動線を描画する
    　ことを特徴とする請求項１～４の何れかに記載の表示処理装置。
  6. 　前記描画部は、
    　前記動線抽出部で抽出された動線の本数に応じて色及び／又は幅方向の長さを変えた動線を描画する
    　ことを特徴とする請求項１～５の何れかに記載の表示処理装置。
  7. 　前記描画部は、
    　前記動体の移動速度に応じて色及び／又は幅方向の長さを変えた動線を描画する
    　ことを特徴とする請求項１～６の何れかに記載の表示処理装置。
  8. 　モノや工程の流れを示す矢印を描画する工程経路描画部を更に備える
    　ことを特徴とする請求項１～７の何れかに記載の表示処理装置。
  9. 　第１のエリアを出発し第２のエリアに到着する動体の軌跡及び／又は第２のエリアを出発し第１のエリアに到着する動体の軌跡を示す複数の動線を抽出する動線抽出ステップと、
    　前記動線抽出ステップで抽出された動線をそれぞれ、分割数Ｎ（Ｎは２以上の整数）で分割することによりＮ－１個の分割点を取得する分割点取得ステップと、
    　前記分割点取得ステップで取得された異なる動線に属する分割点の座標同士を平均することによりＮ－１個の平均点を算出する平均点算出ステップと、
    　前記平均点算出ステップで取得されたＮ－１個の平均点、前記第１のエリア及び前記第２のエリアを通る動線を描画する描画ステップと
    　を備えることを特徴とする表示処理方法。
  10. 　第１のエリアを出発し第２のエリアに到着する動体の軌跡及び／又は第２のエリアを出発し第１のエリアに到着する動体の軌跡を示す複数の動線を抽出する動線抽出ステップと、
    　前記動線抽出ステップで抽出された動線をそれぞれ、分割数Ｎ（Ｎは２以上の整数）で分割することによりＮ－１個の分割点を取得する分割点取得ステップと、
    　前記分割点取得ステップで取得された異なる動線に属する分割点の座標同士を平均することによりＮ－１個の平均点を算出する平均点算出ステップと、
    　前記平均点算出ステップで取得されたＮ－１個の平均点、前記第１のエリア及び前記第２のエリアを通る動線を描画する描画ステップと
    　をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2019/028383 2019-07-19 2019-07-19 表示処理装置、表示処理方法及びプログラム WO2021014479A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2021534843A JP7004116B2 (ja) 2019-07-19 2019-07-19 表示処理装置、表示処理方法及びプログラム
DE112019007455.5T DE112019007455T5 (de) 2019-07-19 2019-07-19 Anzeigeverarbeitungsvorrichtung, anzeigeverarbeitungsverfahren und programm
CN201980098382.7A CN114096999A (zh) 2019-07-19 2019-07-19 显示处理装置、显示处理方法和程序
PCT/JP2019/028383 WO2021014479A1 (ja) 2019-07-19 2019-07-19 表示処理装置、表示処理方法及びプログラム
KR1020227000612A KR102436618B1 (ko) 2019-07-19 2019-07-19 표시 처리 장치, 표시 처리 방법 및 기억 매체
TW108131490A TWI785269B (zh) 2019-07-19 2019-09-02 顯示處理裝置、顯示處理方法及記錄有程式的媒體
US17/561,341 US20220122272A1 (en) 2019-07-19 2021-12-23 Display processing device, display processing method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/028383 WO2021014479A1 (ja) 2019-07-19 2019-07-19 表示処理装置、表示処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/561,341 Continuation US20220122272A1 (en) 2019-07-19 2021-12-23 Display processing device, display processing method, and non-transitory computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2021014479A1 true WO2021014479A1 (ja) 2021-01-28

Family

ID=74193731

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028383 WO2021014479A1 (ja) 2019-07-19 2019-07-19 表示処理装置、表示処理方法及びプログラム

Country Status (7)

Country Link
US (1) US20220122272A1 (ja)
JP (1) JP7004116B2 (ja)
KR (1) KR102436618B1 (ja)
CN (1) CN114096999A (ja)
DE (1) DE112019007455T5 (ja)
TW (1) TWI785269B (ja)
WO (1) WO2021014479A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023199785A1 (ja) * 2022-04-11 2023-10-19 株式会社日立製作所 軌跡表示装置および方法
WO2024142543A1 (ja) * 2022-12-27 2024-07-04 コニカミノルタ株式会社 人流分析装置、プログラムおよび人流分析方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210158057A1 (en) * 2019-11-26 2021-05-27 Scanalytics, Inc. Path analytics of people in a physical space using smart floor tiles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009503638A (ja) * 2005-07-22 2009-01-29 テラーゴ インコーポレイテッド 道路網グラフをモデル化する方法、装置及びシステム
JP2009110408A (ja) * 2007-10-31 2009-05-21 Toshiba Tec Corp 動線編集装置及び動線編集プログラム
JP2015114685A (ja) * 2013-12-09 2015-06-22 株式会社日立製作所 映像検索装置、映像検索方法、および記憶媒体

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06223198A (ja) * 1993-01-26 1994-08-12 Hitachi Ltd 光線追跡による画像生成装置及び方法
JP4493415B2 (ja) * 2004-06-07 2010-06-30 東日本旅客鉄道株式会社 通行人行動解析システム
JP4759988B2 (ja) * 2004-11-17 2011-08-31 株式会社日立製作所 複数カメラを用いた監視システム
US8139818B2 (en) * 2007-06-28 2012-03-20 Toshiba Tec Kabushiki Kaisha Trajectory processing apparatus and method
KR101498124B1 (ko) * 2008-10-23 2015-03-05 삼성전자주식회사 움직임 궤적을 이용한 프레임률 향상 장치 및 방법
US8213681B2 (en) * 2009-01-09 2012-07-03 Panasonic Corporation Moving object detection method and moving object detection apparatus
KR101048045B1 (ko) * 2009-05-07 2011-07-13 윈스로드(주) 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치 및 그 제어방법
MX2012009579A (es) * 2010-02-19 2012-10-01 Toshiba Kk Sistema de rastreo de objetos en movimiento y metodo de rastreo de objetos en movimiento.
JP5876409B2 (ja) * 2012-12-20 2016-03-02 日本電信電話株式会社 映像再生装置及び映像再生プログラム
JP5613815B1 (ja) * 2013-10-29 2014-10-29 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
TWI570666B (zh) * 2013-11-15 2017-02-11 財團法人資訊工業策進會 電子裝置及其影片物體追蹤方法
JP6524619B2 (ja) * 2014-08-18 2019-06-05 株式会社リコー 軌跡描画装置、軌跡描画方法、軌跡描画システム、及びプログラム
US10297051B2 (en) * 2014-09-11 2019-05-21 Nec Corporation Information processing device, display method, and program storage medium for monitoring object movement
CN104700434B (zh) * 2015-03-27 2017-10-31 北京交通大学 一种用于复杂结构化场景的人群运动轨迹异常检测方法
JP6587435B2 (ja) * 2015-06-29 2019-10-09 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP6433389B2 (ja) * 2015-08-04 2018-12-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN105589939B (zh) * 2015-12-15 2020-02-11 北京百度网讯科技有限公司 识别群体运动轨迹方法和装置
JP6798549B2 (ja) 2016-03-31 2020-12-09 日本電気株式会社 動線表示システム、動線表示方法および動線表示プログラム
JP6898165B2 (ja) * 2017-07-18 2021-07-07 パナソニック株式会社 人流分析方法、人流分析装置及び人流分析システム
CN109033424B (zh) * 2018-08-10 2021-03-26 北京航天控制仪器研究所 一种基于公交车运营轨迹精确提取公交车行驶路径的方法
WO2020066043A1 (ja) * 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
CN109697221B (zh) * 2018-11-22 2021-07-09 东软集团股份有限公司 轨迹规律的挖掘方法、装置、存储介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009503638A (ja) * 2005-07-22 2009-01-29 テラーゴ インコーポレイテッド 道路網グラフをモデル化する方法、装置及びシステム
JP2009110408A (ja) * 2007-10-31 2009-05-21 Toshiba Tec Corp 動線編集装置及び動線編集プログラム
JP2015114685A (ja) * 2013-12-09 2015-06-22 株式会社日立製作所 映像検索装置、映像検索方法、および記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ASAHARA, AKINORI ET AL.: "Representative Path Extraction with Spatiotemporal Network Analysis", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 54, no. 1, 15 January 2013 (2013-01-15), pages 135 - 145, XP055278510, ISSN: 1882-7837 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023199785A1 (ja) * 2022-04-11 2023-10-19 株式会社日立製作所 軌跡表示装置および方法
WO2024142543A1 (ja) * 2022-12-27 2024-07-04 コニカミノルタ株式会社 人流分析装置、プログラムおよび人流分析方法

Also Published As

Publication number Publication date
TW202105313A (zh) 2021-02-01
JPWO2021014479A1 (ja) 2021-12-09
TWI785269B (zh) 2022-12-01
KR102436618B1 (ko) 2022-08-25
DE112019007455T5 (de) 2022-03-03
US20220122272A1 (en) 2022-04-21
JP7004116B2 (ja) 2022-01-21
KR20220009491A (ko) 2022-01-24
CN114096999A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
JP7004116B2 (ja) 表示処理装置、表示処理方法及びプログラム
US10977499B2 (en) Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
JP6558579B2 (ja) 動線分析システム及び動線分析方法
JP5866564B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
US20200302188A1 (en) Intra-facility activity analysis device, intra-facility activity analysis system, and intra-facility activity analysis method
US10334965B2 (en) Monitoring device, monitoring system, and monitoring method
US20150201167A1 (en) Fabrication equipment monitoring device and monitoring method
EP2793183B1 (en) Image processing device and recording medium for image processing program
US20150139494A1 (en) Slow change detection system
JP2018077837A (ja) 位置認識方法およびシステム、ならびに異常判定方法およびシステム
CN110047092B (zh) 一种复杂环境下多目标实时跟踪方法
JP2012208744A (ja) 工程管理システム、及び工程管理方法
CN107644457B (zh) 一种应用于工业现场的监控方法
Koch et al. Performance study on natural marker detection for augmented reality supported facility maintenance
JP2017034511A (ja) 移動体検出システム
JP2017004443A (ja) 動線分析システム及び動線表示方法
JP6996669B2 (ja) 表示処理装置、表示処理方法及びプログラム
JP7107596B2 (ja) 駅監視システム及び駅監視方法
JP2023100805A (ja) 撮像装置、撮像方法及び撮像プログラム
JP2007243270A (ja) 映像監視システムおよび方法
JP6696693B2 (ja) 回転ずれ量検出装置、物体検知センサ、回転ずれ量検出システム、回転ずれ量検出方法及び回転ずれ量検出プログラム
CN113110178A (zh) 基于互联网的工地监控方法及***
US20220088784A1 (en) Method and Apparatus for Monitoring Robot System
Sato et al. A pre-offering view system for teleoperators of heavy machines to acquire cognitive maps
US11423525B2 (en) Industrial plant data reproduction device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19938871

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021534843

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20227000612

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19938871

Country of ref document: EP

Kind code of ref document: A1