WO2014064898A1 - 乗車人数計測装置、方法およびプログラム - Google Patents

乗車人数計測装置、方法およびプログラム Download PDF

Info

Publication number
WO2014064898A1
WO2014064898A1 PCT/JP2013/006040 JP2013006040W WO2014064898A1 WO 2014064898 A1 WO2014064898 A1 WO 2014064898A1 JP 2013006040 W JP2013006040 W JP 2013006040W WO 2014064898 A1 WO2014064898 A1 WO 2014064898A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
person
result
passengers
Prior art date
Application number
PCT/JP2013/006040
Other languages
English (en)
French (fr)
Inventor
亮磨 大網
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2014543137A priority Critical patent/JP6281492B2/ja
Priority to US14/438,388 priority patent/US9760784B2/en
Publication of WO2014064898A1 publication Critical patent/WO2014064898A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Definitions

  • the present invention relates to a passenger number measuring apparatus, method, and program for counting the number of persons in a car, and in particular, a passenger number measuring apparatus, method, and program for measuring the number of passengers from an image taken by a camera installed outside the vehicle. About.
  • Non-Patent Document 1 a person in a car is detected by detecting a face from an image of a person photographed through a windshield as a method of photographing the inside of a car with a camera arranged outside the car and counting the number of passengers. The method is described.
  • an object of the present invention is to provide a passenger number measuring device, method, and program for accurately measuring the number of passengers including those seated in the rear seats of a vehicle.
  • the number-of-passenger counting device includes an image acquisition unit that acquires an image, a person detection unit that detects a person riding in a vehicle that is a target of the number measurement from the acquired image, and generates a person detection result.
  • a view representing how the vehicle looks in the image, and a view determination means for generating a view determination result; the person detection result; and a position in the vehicle based on the view determination result
  • the vehicle position estimation means for estimating whether the vehicle position estimation results are generated for each image, and the result of determining the number of passengers from the integrated result by integrating a plurality of the vehicle position estimation results obtained for the vehicle Means.
  • a person is detected from the video captured by the image acquisition means, the position of the person in the vehicle is estimated from the view determination result and the person detection result determined by the view determination means, and the estimated position of the person in the vehicle is determined.
  • the position of the person in the vehicle can be obtained, and the number of passengers can be measured from the result.
  • the method for measuring the number of passengers acquires an image, detects a person who is in a car to be counted from the acquired image, generates a person detection result, and A view representing the appearance of the vehicle, generating a view determination result, estimating a position in the vehicle from which the person is boarded based on the person detection result and the view determination result, and determining the vehicle interior position estimation result
  • a plurality of the in-vehicle position estimation results obtained for each image and obtained for the vehicle are integrated, and the number of passengers is determined from the integration result.
  • the passenger number measurement program includes a computer for acquiring an image, a process for detecting a person riding in a vehicle to be counted from the acquired image, and generating a person detection result.
  • a view representing how the vehicle looks is determined, a process for generating a view determination result, the person detection result, and a position in the vehicle based on the view determination result.
  • the present invention since it is possible to detect including the person in the rear seat, the number of passengers can be accurately measured.
  • Embodiment 1 FIG. A first embodiment of the present invention will be described below with reference to the drawings.
  • FIG. 1 shows the configuration of a first embodiment of a passenger counting device according to the present invention.
  • the number-of-passengers counting device in the first embodiment includes an image acquisition unit 100, a person detection unit 101, a view determination unit 102, an in-vehicle position estimation unit 103, and a result integration unit 104.
  • the image acquisition unit 100 includes an imaging device such as a camera, and outputs an image acquired by the imaging device.
  • the person detection unit 101 detects a person in the image output from the image acquisition unit 100 and outputs a person detection result.
  • the view determination unit 102 determines how the vehicle looks from the image output from the image acquisition unit 100, and outputs a view determination result.
  • the in-vehicle position estimating means 103 estimates the position of the person in the vehicle from the person detection result and the view determination result, and outputs the in-vehicle position estimation result.
  • the result integration unit 104 integrates the in-vehicle position estimation results for a plurality of images and outputs the number of passengers.
  • the image acquisition unit 100, the person detection unit 101, the view determination unit 102, the in-vehicle position estimation unit 103, and the result integration unit 104 are realized by a CPU or the like that executes processing according to software included in the passenger number measuring device.
  • the image acquisition means 100 acquires an image of the inside of the vehicle taken from the outside.
  • an infrared projector may be used to clearly photograph a person in the car.
  • the image acquisition means 100 has an infrared projector, and projects infrared rays toward the inside of the vehicle using the infrared projector. Further, it is assumed that the image acquisition unit 100 can capture light in the infrared wavelength region. In order to reduce the influence of visible light, the image acquisition unit 100 may capture an image using a bandpass filter at the time of image acquisition so as to transmit only wavelengths in the infrared region. Further, a polarizing filter may be used to suppress reflection on the glass surface. Thereby, the influence which environmental information reflected on the glass surface of a car has on detection can be reduced using the polarization characteristic of reflected light.
  • the image acquired by the image acquisition unit 100 is output to the person detection unit 101 and the view determination unit 102.
  • only one image acquisition unit 100 is provided, but a plurality of image acquisition units 100 may be prepared and used. For example, you may make it image
  • Person detection means 101 detects a person who is on board from the image.
  • the person detection means 101 can detect the person using a front face detector (in FIG. Indicates that a face has been detected).
  • the person detecting means 101 can detect the person using a side face detector (also in FIG. , Indicating that a face has been detected).
  • detectors can be constructed by learning using many face images taken from the front or side.
  • SVM support vector machine
  • LDA linear discriminant analysis
  • GLVQ generalized learning vector quantization
  • a neural network can be used as the detector.
  • the detected position of the person's head on the image is output as person detection result information together with information for identifying the detected frame (for example, frame time information and frame number).
  • the view determination unit 102 determines where the vehicle is shown in the image, and determines the view (from which direction the image was captured) of the vehicle.
  • FIGS. 2 and 3 when a vehicle running using a camera fixed on the side of the road is photographed, the relative positional relationship between the camera and the vehicle changes as the vehicle travels, and the vehicle in the screen changes. The position also changes.
  • the direction ⁇ of the vehicle when viewed from the camera also changes, and the appearance inside the vehicle changes.
  • Such a view is called a view here.
  • ⁇ changes to ⁇ 1 , ⁇ 2 , and ⁇ 3 as the vehicle travels.
  • the view determination unit 102 determines which view was taken from the position of the car in the image, and outputs a view determination result.
  • the view determination result may be an angle formed by the car and the camera, may be information describing the position of the car on the screen, or an index is assigned for each view. The index value may be used as the determination result.
  • the specific view can be determined, for example, by detecting a window frame. That is, a region different from the background is extracted from the image, a process for detecting a linear component such as Hough transform is performed on the extracted region, a portion corresponding to the window frame is extracted, and the view is determined from the position of the window frame.
  • the position of the window frame may be detected by a sensor such as a laser by utilizing that the glass transmits light but does not transmit the frame portion.
  • the position of the window frame may be detected using a sensor prepared separately from the camera, and information for associating the position with the view may be calculated in advance to determine the view.
  • the vehicle body region may be extracted from the image using the fact that the vehicle body region is the same color, and the window frame may be determined. Note that once the window frame has been detected, the position of the window frame may be determined by tracking the window frame between images at a later time. In this way, it is possible to determine which view the current image corresponds to.
  • the vehicle position estimation means 103 estimates the position of the person in the vehicle from the person detection result and the view determination result.
  • the position on the image where the person sitting in the seat such as the driver's seat or the passenger seat, can be determined by geometric constraints. Therefore, the assumed position and the detected position are compared, and it is determined at which position of the car each detected person is sitting. This determination is performed for each frame, and the determination result is output as in-vehicle position estimation information.
  • the faces at a position corresponding to the passenger seat is detected, in this time, it is determined that the person on the passenger seat could be detected.
  • the faces at a position corresponding to the driver's seat is detected, it is determined that the person in the driver's seat is detected.
  • the faces at a position corresponding to the left and right of the driver's seat and rear seat is detected, and the left and right of a person in the driver's seat and rear seat is detected.
  • the determination may be made in consideration of the reliability of the detection result. For example, each determination result may be weighted according to the reliability. This weight information can be used to determine the likelihood of the final result after being integrated by the result integration unit 104.
  • the positions where the faces of the person in the driver's seat and the rear seat appear may be close, but in this case, the size of the detected face is also taken into consideration. You may judge.
  • the detection result may be assigned to both positions according to the possibility (probability) existing in each position, not limited to only one of them.
  • the result integration unit 104 integrates information on the position estimation of the person in the vehicle, which is output in units of frames, and determines how many people are in the vehicle.
  • FIG. 5 shows the state of integration.
  • T 1, T 2, T 3 the person in which positions are determined whether riding.
  • Various integration methods are conceivable, but it is possible to determine whether or not there is a person at each seat position in the vehicle by simply taking the OR (logical sum) of the estimation results in each view. Then, the result integration unit 104 counts the number of persons determined to exist and outputs it as the number of passengers.
  • weights according to reliability are given to the detection results at each position, these are added between frames, and even if the value exceeds a certain value, it is determined that the detection has been made. Good. At this time, if the weight for non-existence is also obtained, the possibility (likelihood) that no person exists in each seat is calculated from the weight, and the likelihood that the person exists in each seat and the likelihood that the person does not exist Both may be compared to determine the presence or absence of a person.
  • the presence / absence of a person in each seat is determined by integrating partial detection results determined in individual images, it is higher than in the case of determining from only one image. A person can be detected with high accuracy.
  • FIG. 6 shows the configuration of the second embodiment of the passenger counting device according to the present invention.
  • the number-of-passengers counting device in the second embodiment includes an image acquisition unit 200, a person detection unit 101, a view determination unit 102, an in-vehicle position estimation unit 103, a result integration unit 104, a trigger unit 201, and vehicle movement.
  • Information acquisition means 202 includes an image acquisition unit 200, a person detection unit 101, a view determination unit 102, an in-vehicle position estimation unit 103, a result integration unit 104, a trigger unit 201, and vehicle movement.
  • Information acquisition means 202 includes an image acquisition unit 200, a person detection unit 101, a view determination unit 102, an in-vehicle position estimation unit 103, a result integration unit 104, a trigger unit 201, and vehicle movement.
  • Information acquisition means 202 includes an image acquisition unit 200, a person detection unit 101, a view determination unit 102, an in-vehicle position estimation unit 103
  • the vehicle movement information acquisition unit 202 obtains information related to the movement of the vehicle and outputs the information to the trigger unit 201 as vehicle movement information.
  • the trigger unit 201 generates a trigger signal based on the vehicle movement information and outputs it to the image acquisition unit 200.
  • the image acquisition unit 200 acquires and outputs an image when a trigger signal is input.
  • the image acquisition means 200, the trigger means 201, and the vehicle movement information acquisition means 202 are realized by a CPU or the like that executes processing in accordance with software included in the passenger number measuring device.
  • the vehicle movement information acquisition unit 202 acquires information related to vehicle movement such as the position and speed of the vehicle and outputs the information to the trigger unit 201.
  • the vehicle movement information acquisition unit 202 detects that a vehicle has passed a specific position using a passage sensor installed on a side of the road, and generates and outputs the detected time as vehicle movement information. If the passage sensors are installed at a plurality of positions, information specifying the location is also included in the vehicle movement information.
  • the vehicle movement information acquisition unit 202 obtains the time when each vehicle passes, calculates the time required for movement between the sensors, and divides by the distance between the passage sensors. The speed of the car can be calculated. This speed information may also be included in the vehicle movement information. Moreover, you may make it obtain
  • the trigger unit 201 When the vehicle movement information is input from the vehicle movement information acquisition unit 202, the trigger unit 201 generates and outputs a trigger signal at a predetermined timing.
  • the trigger means 201 Generates a trigger signal as soon as vehicle movement information is input. Thereafter, a timing at which a person in the vehicle is easily reflected is obtained in advance according to the movement of the vehicle, and a trigger signal is sequentially generated when the timing is reached.
  • the timing for generating the second and subsequent trigger signals varies depending on the speed of the vehicle, when the vehicle speed information is included in the vehicle movement information, the timing for generating the trigger signal is adjusted according to this speed. May be.
  • the trigger unit 201 compares the vehicle speed assumed when the trigger signal generation timing is obtained in advance with the actual vehicle speed, and adjusts the timing for generating the trigger signal according to the ratio. .
  • the image acquisition unit 200 When the trigger signal is output from the trigger unit 201, the image acquisition unit 200 performs imaging at that timing. When a projector is used, the timing of irradiating light from the projector is also synchronized with the imaging timing. Other operations are the same as those of the image acquisition unit 100 shown in FIG. 1, and the image acquisition unit 200 outputs an image to the person detection unit 101 and the view determination unit 102.
  • the operations of the person detection unit 101, the view determination unit 102, the in-vehicle position estimation unit 103, and the result integration unit 104 are the same as those in the first embodiment.
  • FIG. 7 shows the configuration of the third embodiment of the passenger counting device according to the present invention.
  • the number-of-passengers counting apparatus in the third embodiment includes an image acquisition unit 100, a person detection unit 301, a view determination unit 102, an in-vehicle position estimation unit 103, and a result integration unit 104.
  • the image acquisition unit 100 outputs the acquired image to the person detection unit 301 and the view determination unit 102.
  • the view determination unit 102 outputs the view determination result to the in-vehicle position estimation unit 103 and the person detection unit 301.
  • the person detection unit 301 detects a person in the image output from the image acquisition unit 100 based on the view determination result input from the view determination unit 102, and outputs the person detection result.
  • connection relationship of other means is the same as in the first embodiment.
  • the person detection means 301 is realized by a CPU or the like that executes processing according to software included in the passenger counting device.
  • the person detection unit 301 limits an area where a person may exist in the image based on the view determination result input from the view determination unit 102, and performs person detection on the area.
  • the person detection method is the same as the person detection unit 101 shown in FIG. 1, and the person detection unit 301 generates and outputs a person detection result.
  • the person detection unit 301 may change the detector to be used according to the view information. Since the orientation of the face with respect to the camera changes according to the view, the face detector may be switched accordingly.
  • the area where person detection is performed can be limited, the time required for person detection can be shortened. Note that it is possible to use the person detection unit 301 instead of the person detection unit 101 in the second embodiment as well.
  • Image acquisition means for acquiring an image
  • person detection means for detecting a person in a car to be counted from the acquired image, and generating a person detection result
  • Boarding position estimation means for generating an in-vehicle position estimation result for each image
  • a result integration means for integrating a plurality of in-vehicle position estimation results obtained for the vehicle and determining the number of passengers from the integration result People counting device.
  • the vehicle movement information acquisition means which acquires the information regarding the movement condition of the said vehicle, and produces
  • the trigger means which generates a trigger signal according to a predetermined timing based on the said vehicle movement information
  • the number-of-passenger counting device according to supplementary note 1, wherein the image acquisition means acquires an image in accordance with the trigger signal.
  • the said vehicle movement information acquisition means determines whether it passed one or more predetermined points for every point, The said vehicle movement information is produced
  • the said vehicle movement information acquisition means measures the speed of a vehicle, the said vehicle movement information contains the result of having measured the speed of the vehicle, and the said predetermined timing is contained in the said vehicle movement information.
  • the number-of-passengers counting device according to supplementary note 2 or supplementary note 3, which is adjusted based on the speed of the vehicle.
  • the said image acquisition means has an infrared projector, projects light toward the inside of a vehicle according to the timing which acquires an image, the light of an infrared wavelength range is image
  • the number-of-passengers counting device according to any one of four.
  • the in-vehicle position estimating means includes a position where a person sitting at each seat position in the vehicle assumed based on the view determination result appears in the image, and a position of the person in the image included in the person detection result. And the number of passengers measuring device according to any one of supplementary notes 1 to 7, which determines which seat in the image the detected person is sitting on.
  • the said person detection means performs any one of Additional remark 1 to Additional remark 9 which performs a person detection only within the range in which a person may exist in an image using the said view determination result.
  • Passenger counting device as described in 1.
  • the measurement results for the number of passengers described above are based on the automatic determination of vehicles that can pass through the HOV (High Occupancy Vehicle) lane, the number of visitors who remain on board at theme parks, etc. It can be used for automatic detection.
  • HOV High Occupancy Vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

　運転席と助手席に乗っている人物は検出できるものの、後部座席に乗車している人物の検出は困難であり、乗車人数を正確に計測することができなかった。画像取得手段１００は車の外（路肩など）から車内を撮影する。ビュー判定手段１０２は画像取得手段１００で撮影した画像中の車の見え方を推定し、ビュー判定結果を出力する。人物検出手段１０１は、画像取得手段１００で撮影した画像に対して、正面顔や横顔、斜め顔検知を行い、人物を検出し、人物検出結果を出力する。車内位置推定手段１０３は、検出された人物が車内のどの位置にいるかを、人物検出情報とビュー判定結果情報を用いて判定し、車内位置推定情報を出力する。結果統合手段１０４は、連続して撮影される複数の画像における検出結果を統合し、乗車人数を算出する。

Description

乗車人数計測装置、方法およびプログラム
　本発明は、車に乗車した人物の数を数える乗車人数計測装置、方法およびプログラムに関し、特に、車外に設置されたカメラによって撮影された画像から乗車人数を計測する乗車人数計測装置、方法およびプログラムに関する。
　車外に配置したカメラによって車内を撮影し、乗車人数をカウントする方式として、例えば、非特許文献１では、フロントガラス越しに撮影した人物の画像から顔を検知することによって、車内の人物を検出する方式が記載されている。
Ｐｈｉｌｉｐ　Ｍ．　Ｂｉｒｃｈ，　Ｒｕｐｅｒｔ　Ｃ．Ｄ．　Ｙｏｕｎｇ，　Ｆｒｅｄｅｒｉｃ　Ｃｌａｒｅｔ－Ｔｏｕｒｎｉｅｒ，　Ｃｈｒｉｓ　Ｒ．Ｃｈａｔｗｉｎ，　"Ａｕｔｏｍａｔｅｄ　ｖｅｈｉｃｌｅ　ｏｃｃｕｐａｎｃｙ　ｍｏｎｉｔｏｒｉｎｇ"，　Ｏｐｔｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ，　Ｖｏｌ．　４３，　Ｎｏ．８，　ｐｐ．１８２８－１８３２，　２００４－８．
　しかし、車の前方においたカメラによって撮影する場合、運転席と助手席に乗っている人物は検出できるものの、後部座席に乗車している人物の検出は困難であり、乗車人数を正確に計測することができなかった。
　そこで、本発明は、車の後部座席に着席している人も含めて、乗車人数を正確に計測する乗車人数計測装置、方法およびプログラムを提供することを目的とする。
　本発明による乗車人数計測装置は、画像を取得する画像取得手段と、前記取得した画像から人数計測の対象となる車に乗車している人物を検出し、人物検出結果を生成する人物検出手段と、前記画像において前記車がどのように見えるかを表すビューを判定し、ビュー判定結果を生成するビュー判定手段と、前記人物検出結果と、前記ビュー判定結果とから車内のどの位置に人物が乗車しているかを推定し、車内位置推定結果を画像ごとに生成する車内位置推定手段と、前記車に対して複数求まった前記車内位置推定結果を統合し、統合結果から乗車人数を判定する結果統合手段とを有することを特徴とする。
　これにより、画像取得手段で撮影した映像から人物を検出し、ビュー判定手段によって判定されたビューの判定結果と人物の検出結果とから人物の車内位置を推定し、推定された人物の車内位置を複数の画像に対して統合することによって車内の人物の位置を求めることができ、この結果から乗車人数を計測することができる。
　本発明による乗車人数計測方法は、画像を取得し、前記取得した画像から人数計測の対象となる車に乗車している人物を検出し、人物検出結果を生成し、前記画像において前記車がどのように見えるかを表すビューを判定し、ビュー判定結果を生成し、前記人物検出結果と、前記ビュー判定結果とから車内のどの位置に人物が乗車しているかを推定し、車内位置推定結果を画像ごとに生成し、前記車に対して複数求まった前記車内位置推定結果を統合し、統合結果から乗車人数を判定することを特徴とする。
　本発明による乗車人数計測プログラムは、コンピュータに、画像を取得する処理と、前記取得した画像から人数計測の対象となる車に乗車している人物を検出し、人物検出結果を生成する処理と、前記画像において前記車がどのように見えるかを表すビューを判定し、ビュー判定結果を生成する処理と、前記人物検出結果と、前記ビュー判定結果とから車内のどの位置に人物が乗車しているかを推定し、車内位置推定結果を画像ごとに生成する処理と、前記車に対して複数求まった前記車内位置推定結果を統合し、統合結果から乗車人数を判定する処理とを実行させることを特徴とする。
　本発明によれば、後部座席にいる人も含めて検出できるため、乗車人数を正確に計測することが可能となる。
本発明の第１の発明を実施するための最良の形態の構成を示すブロック図である。 車の斜め前から撮影するカメラで順次撮影して人物を検出した結果の一例を示す説明図である。 車の横から撮影するカメラで順次撮影して人物を検出した結果の一例を示す説明図である。 車とカメラとの角度が時刻により変化することを表す説明図である。 統合処理の概要を表す説明図である。 本発明の第２の発明を実施するための実施の形態の構成を示すブロック図である。 本発明の第３の発明を実施するための実施の形態の構成を示すブロック図である。
実施形態１．
　以下、本発明の第１の実施形態を図面を参照して説明する。
　図１には、本発明による乗車人数計測装置の第１の実施形態の構成が示されている。第１の実施形態における乗車人数計測装置は、画像取得手段１００と、人物検出手段１０１と、ビュー判定手段１０２と、車内位置推定手段１０３と、結果統合手段１０４とを有する。
　画像取得手段１００は、カメラ等の撮像装置を含み、撮像装置によって取得した画像を出力する。
　人物検出手段１０１は、画像取得手段１００から出力される画像中の人物を検出し、人物検出結果を出力する。
　ビュー判定手段１０２は、画像取得手段１００から出力される画像から、車の見え方を判定し、ビュー判定結果を出力する。
　車内位置推定手段１０３は、人物検出結果とビュー判定結果とから、車内における人物の位置を推定し、車内位置推定結果を出力する。
　結果統合手段１０４は、複数の画像に対する車内位置推定結果を統合し、乗車人数を出力する。
　なお、画像取得手段１００、人物検出手段１０１、ビュー判定手段１０２、車内位置推定手段１０３および結果統合手段１０４は、乗車人数計測装置が備えるソフトウェアに従って処理を実行するＣＰＵ等によって実現される。
　次に、本実施形態の動作について説明する。
　まず、画像取得手段１００において、車内を外から写した画像が取得される。
　この際、車内の人物をはっきりと撮影するために、赤外線投光器を用いてもよい。この場合は、画像取得手段１００は、赤外線投光器を有し、当該赤外線投光器を用いて赤外線を車内に向けて投光する。また、画像取得手段１００は、赤外線波長領域の光を撮影可能であるとする。なお、可視光の影響を軽減するために、画像取得手段１００は、バンドパスフィルタを画像取得時に用いて、赤外領域の波長のみを透過するようにして画像を撮影してもよい。また、ガラス面での反射を抑えるために、偏光フィルタを用いるようにしてもよい。これにより、反射光の偏光特性を利用して、車のガラス面に映りこむ環境情報が検出に与える影響を軽減できる。
　画像取得手段１００が取得した画像は、人物検出手段１０１とビュー判定手段１０２へ出力される。なお、図１では、画像取得手段１００は一つになっているが、複数用意し、用いるようにしてもよい。例えば、車の走行方向の両側から２台の画像取得手段を用いて車を撮影するようにしてもよい。そして、複数の画像取得手段のそれぞれの画像に対して以下の処理を行って、最終的に統合処理を行ってもよい。
　人物検出手段１０１は、画像中から乗車している人物を検出する。
　例えば、図２に示すように、正面顔に近い角度で乗車人物の顔が映る場合には、人物検出手段１０１は、正面顔の検出器を用いて人物を検出できる（図２において、白枠は、顔が検出されたことを示している）。あるいは、図３に示すように、横に近い角度で乗車人物の顔が映る場合には、人物検出手段１０１は、横顔の検出器を用いて人物を検出できる（図３においても、白枠は、顔が検出されたことを示している）。
　これらの検出器は、正面や横から撮影した数多くの顔画像を用いて学習することによって構築できる。検出器としては、例えば、ＳＶＭ（サポートベクターマシン）やＬＤＡ（線形判別分析）、ＧＬＶＱ（一般化学習ベクトル量子化）、あるいはニューラルネットワーク等を利用することができる。検知された人物の頭部の画像上での位置は、検出されたフレームを識別する情報（例えば、フレームの時間情報やフレーム番号など）とともに人物検出結果情報として出力される。
　ビュー判定手段１０２は、画像内のどこに車両が映っているかを求め、車を撮影したビュー（どの向きから撮影したか）を判定する。
　図２、図３に示すように、道路わきに固定したカメラを用いて走ってくる車両を撮影した場合、車両の進行に従ってカメラと車の相対的な位置関係が変化し、画面内における車両の位置も変化する。これとともに、図４に示すようにカメラからみたときの車の向きθも変化し、車内の見え方が変化する。このような見え方のことをここではビューと呼ぶことにする。図４では、車両の進行に従って、θがθ１、θ２、θ３と変化している。
　そして、ビュー判定手段１０２は、画像内での車の位置からどのビューで撮影されたかを判定し、ビュー判定結果を出力する。ここで、ビュー判定結果は、車とカメラがなす角度であってもよいし、画面上の車の位置を記述した情報であってもよいし、あるいは、ビューごとにインデックスを振っておき、このインデックスの値を判定結果としてもよい。
　具体的なビューの判定は、例えば、窓枠を検知することによって判定できる。すなわち、背景と異なる領域を画像中から抽出し、これに対してＨｏｕｇｈ変換等の直線成分を検出する処理を行い、窓枠に相当する部分を抽出し、窓枠の位置からビューを判定する。あるいは、ガラスは光を透過するが、枠の部分は透過しないことを利用して、レーザーのようなセンサによって窓枠の位置を検知してもよい。すなわち、カメラと別に用意したセンサを用いて窓枠の位置を検知し、その位置とビューを対応付ける情報を予め算出しておいてビューを判定してもよい。あるいは、車体領域が同一色であることを利用して、車体領域を画像中から抽出し、窓枠を判定するようにしてもよい。なお、一旦窓枠が検知できた後は、そのあとの時刻では、その窓枠を画像間で追跡することによって、窓枠の位置を判定してもよい。このようにして、現在の画像がどのビューに相当するかを求めることができる。
　車内位置推定手段１０３は、人物検出結果とビュー判定結果から、車内のどの位置に人物がいるかを推定する。ビューが決まると、運転席や助手席など、座席に座っている人物が画像上のどの位置に見えるかは、幾何的な制約により決定できる。そこで、想定される位置と検出された位置とを比較し、検出された各人物が車のどの位置に座っているかを判定する。この判定はフレームごとに行われ、判定した結果は、車内位置推定情報として出力される。
　例えば、図５に示す例では、時刻Ｔ１では、助手席に相当する位置に顔が検出されているため、この時刻では、助手席の人物が検出できたと判定する。次の時刻Ｔ２では、運転席に相当する位置に顔が検出されているため、運転席の人物が検出されたと判定する。そして、時刻Ｔ３では、運転席と後部座席の左右に相当する位置に顔が検出されているため、運転席と後部座席の左右の人物が検出されたと判定する。
　この判定においては、検出結果の信頼度も考慮して判定してもよい。例えば、信頼度に応じて、各判定結果に重みをつけるようにしてもよい。この重み情報は、結果統合手段１０４で統合した後に、最終結果の確からしさの判定に用いることができる。また、カメラと車の位置関係によっては、運転席と後部座席の人物の顔が現れる位置が近くなることがあるが、この場合には、検出された顔の大きさも考慮して、前後関係を判定してもよい。この場合も、どちらか一方のみに限定するのではなく、それぞれの位置に存在する可能性（確率）に応じて、両方の位置に検出結果を割り当てるようにしてもよい。また、ビューによって、どの座席の人物が検出されやすいかが変化するが、人物が検出されやすい位置において、人物が検出されなかった場合には、その位置に人物がいないということに対して重みを与えるようにし、後の統合で用いるようにしてもよい。
　結果統合手段１０４は、フレーム単位で出された車内の人物の位置推定の情報を統合して、何人乗車しているかを判定する。統合の様子を示したのが図５である。ここでは、上述の時刻ｔ=Ｔ１，Ｔ２，Ｔ３の結果を統合し、どの位置に人物が乗車しているかを判定している。統合方法としては様々なものが考えられるが、単純には各ビューにおける推定結果のＯＲ（論理和）をとることによって車内の各座席位置に人物がいるかどうかを判定できる。そして、結果統合手段１０４は、存在すると判定された人物の数をカウントし、乗車人数として出力する。もし、各位置の検出結果に、信頼度に応じた重みが付与されている場合には、これらをフレーム間で加算し、その値が一定以上になったときに、検出されたと判定してもよい。この際、存在しないことに対する重みも求まっている場合には、各座席に人物が存在しない可能性（尤度）をその重みから算出し、各座席に人物が存在する尤度と存在しない尤度の両方を比較して、人物の有無を判定するようにしてもよい。
　このように、本発明では、個別の画像で判定された部分的な検出結果を統合することによって、各座席の人物の有無を判定するため、１枚の画像のみから判定する場合に比べ、高精度に人物を検出可能である。
実施形態２．
　以下、本発明の第２の実施形態を図面を参照して説明する。
　図６には、本発明による乗車人数計測装置の第２の実施形態の構成が示されている。第２の実施形態における乗車人数計測装置は、画像取得手段２００と、人物検出手段１０１と、ビュー判定手段１０２と、車内位置推定手段１０３と、結果統合手段１０４と、トリガ手段２０１と、車両移動情報取得手段２０２とを有する。
　車両移動情報取得手段２０２は、車両の移動に関する情報を求め、車両移動情報としてトリガ手段２０１へ出力する。
　トリガ手段２０１は、車両移動情報に基づいてトリガ信号を生成し、画像取得手段２００へ出力する。
　画像取得手段２００は、トリガ信号が入力されたときに画像を取得し、出力する。
　それ以外の手段は、第１の実施形態と同様である。
　なお、画像取得手段２００、トリガ手段２０１および車両移動情報取得手段２０２は、乗車人数計測装置が備えるソフトウェアに従って処理を実行するＣＰＵ等によって実現される。
　次に、本実施形態の動作について説明する。
　車両移動情報取得手段２０２は、車の位置や速度といった車の移動に関する情報を取得し、トリガ手段２０１へ出力する。
　例えば、車両移動情報取得手段２０２は、道路わきなどに設置された通過センサを使って、特定の位置を車が通過したことを検知し、検知した時刻を車両移動情報として生成し、出力する。もし、通過センサが複数の位置に設置されている場合には、その場所を特定する情報も合わせて車両移動情報に含めるようにする。
　また、通過センサを複数使う場合には、車両移動情報取得手段２０２は、それぞれを車が通過した時刻を求め、センサ間の移動にかかった時間を算出し、通過センサ間の距離で割ることで、車の速度を算出することができる。この速度情報も、車両移動情報に含めるようにしてもよい。また、車両の速度情報は、レーダーなど、別のセンサを用いて求めるようにしてもよい。
　トリガ手段２０１は、車両移動情報取得手段２０２から車両移動情報が入力されると、予め定めたタイミングでトリガ信号を生成し、出力する。
　例えば、車両移動情報が入力するタイミングがちょうど車内の人物を撮影するのに適したタイミングになるように、通過センサの位置や車両移動情報の出力タイミングが調整されている場合には、トリガ手段２０１は、車両移動情報が入力されるとすぐにトリガ信号を生成する。その後は、車の移動に応じて車内の人物が映りやすくなるタイミングを予め求めておいて、そのタイミングになった際に逐次トリガ信号を発生するようにする。
　２番目以降のトリガ信号を生成するタイミングは、車両の速度によって変化するため、車両移動情報に車両の速度情報が含まれる場合には、この速度に応じて、トリガ信号を生成するタイミングを調節してもよい。具体的には、トリガ手段２０１は、トリガ信号の発生タイミングを予め求める際に仮定した車両の速度と実際の車両の速度とを比較し、その比に応じてトリガ信号を発生させるタイミングを調節する。
　これにより、速度が異なる場合でも、好ましい位置から車内を撮影できるようになり、等間隔で画像を取得する場合に比べ、人物検出の精度が向上する。
　画像取得手段２００は、トリガ手段２０１からトリガ信号が出力されると、そのタイミングで撮影を行う。投光器を用いる場合には、投光器から光を照射するタイミングも、撮影タイミングに同期させるようにする。それ以外の動作は、図１に示す画像取得手段１００と同様であり、画像取得手段２００は、画像を人物検出手段１０１とビュー判定手段１０２とへ出力する。
　人物検出手段１０１、ビュー判定手段１０２、車内位置推定手段１０３および結果統合手段１０４の動作は、第１の実施形態と同様である。
　第２の実施形態の場合には、車内の人物を撮影しやすいタイミングで撮影することができるため、人物検出の精度を高め、最終的に得られる乗車人数の精度も向上できる。
実施形態３．
　以下、本発明の第３の実施形態を図面を参照して説明する。
　図７には、本発明による乗車人数計測装置の第３の実施形態の構成が示されている。第３の実施形態における乗車人数計測装置は、画像取得手段１００と、人物検出手段３０１と、ビュー判定手段１０２と、車内位置推定手段１０３と、結果統合手段１０４とを有する。
　画像取得手段１００は、取得した画像を人物検出手段３０１とビュー判定手段１０２へ出力する。
　ビュー判定手段１０２は、ビュー判定結果を車内位置推定手段１０３と人物検出手段３０１へ出力する。
　人物検出手段３０１は、ビュー判定手段１０２から入力されるビュー判定結果に基づいて画像取得手段１００から出力される画像中の人物を検出し、人物検出結果を出力する。
　その他の手段の接続関係は、第１の実施形態と同様である。
　なお、人物検出手段３０１は、乗車人数計測装置が備えるソフトウェアに従って処理を実行するＣＰＵ等によって実現される。
　次に、本実施形態の動作について説明する。
　人物検出手段３０１は、ビュー判定手段１０２から入力されるビュー判定結果に基づいて、画像中で人物が存在する可能性のある領域を限定し、その領域に対して人物検出を行う。人物検出の方法は、図１に示す人物検出手段１０１と同様であり、人物検出手段３０１は、人物検出結果を生成し、出力する。また、人物検出手段３０１は、ビューの情報に応じて、用いる検出器を変えてもよい。ビューに応じて、カメラに対する顔の向きが変化するため、これに合わせて顔の検出器を切り替えてもよい。
　図７に示すその他の手段の動作は、第１の実施形態と同様である。
　第３の実施形態では、人物検出を行う領域を限定できるため、人物検出に要する時間を短縮できる。なお、人物検出手段１０１のかわりに、人物検出手段３０１を用いることは、第２の実施形態についても同様に可能である。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。
　（付記１）画像を取得する画像取得手段と、前記取得した画像から人数計測の対象となる車に乗車している人物を検出し、人物検出結果を生成する人物検出手段と、前記画像において前記車がどのように見えるかを表すビューを判定し、ビュー判定結果を生成するビュー判定手段と、前記人物検出結果と、前記ビュー判定結果とから車内のどの位置に人物が乗車しているかを推定し、車内位置推定結果を画像ごとに生成する車内位置推定手段と、前記車に対して複数求まった前記車内位置推定結果を統合し、統合結果から乗車人数を判定する結果統合手段とを有する乗車人数計測装置。
　（付記２）前記車の移動状況に関する情報を取得し、車両移動情報として生成する車両移動情報取得手段と、前記車両移動情報に基づいて、予め定められたタイミングに従ってトリガ信号を発生させるトリガ手段とをさらに有し、前記画像取得手段は、前記トリガ信号に合わせて画像を取得する付記１に記載の乗車人数計測装置。
　（付記３）前記車両移動情報取得手段は、予め定められた一つ以上の地点を通過したかどうかを地点ごとに判定し、その通過時刻の計測結果に基づいて前記車両移動情報を生成し、前記予め定められたタイミングは、前記車両移動情報に含まれる前記予め定められた地点における通過時刻に基づいて決定される付記２に記載の乗車人数計測装置。
　（付記４）前記車両移動情報取得手段は、車両の速度を計測し、前記車両移動情報は、車両の速度を計測した結果を含み、前記予め定められたタイミングは、前記車両移動情報に含まれる車両の速度に基づいて調節される付記２または付記３に記載の乗車人数計測装置。
　（付記５）前記画像取得手段は、赤外線の投光器を有し、画像を取得するタイミングに合わせて車内に向けて投光し、赤外線波長領域の光を撮影して画像を取得する付記１から付記４のうちのいずれか１つに記載の乗車人数計測装。
　（付記６）前記人物検出結果は、前記取得した画像に対して顔を検出する処理を行って生成される付記１から付記５のうちのいずれか１つに記載の乗車人数計測装置。
　（付記７）前記ビュー判定手段は、前記画像取得手段が取得した画像から車の窓枠を検知してビューを判定する付記１から付記６のうちのいずれか１つに記載の乗車人数計測装置。
　（付記８）前記車内位置推定手段は、前記ビュー判定結果に基づいて想定される車内の各座席位置に座る人物が画像中に映る位置と、前記人物検出結果に含まれる画像中の人物の位置とを比較し、検出された人物が画像中のどの座席に座っていたかを判定する付記１から付記７のうちのいずれか１つに記載の乗車人数計測装置。
　（付記９）前記結果統合手段は、複数求まった前記車内位置推定結果の論理和をとることによって前記統合結果を生成する付記１から付記８のうちのいずれか１つに記載の乗車人数計測装置。
　（付記１０）前記人物検出手段は、前記ビュー判定結果を用いて、画像中で人物が存在する可能性のある範囲に限定して人物検出を実行する付記１から付記９のうちのいずれか１つに記載の乗車人数計測装置。
　この出願は、２０１２年１０月２６日に出願された日本特許出願２０１２－２３６２４６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
産業上の利用の可能性
　以上述べた乗車人数の計測結果は、ＨＯＶ（Ｈｉｇｈ　Ｏｃｃｕｐａｎｃｙ　Ｖｅｈｉｃｌｅ）レーンを通行可能な車の自動判定や、テーマパーク等での、乗車したままの来場者数カウント、定員以上乗車している車の自動検出等に利用できる。
　１００　画像取得手段
　１０１　人物検出手段
　１０２　ビュー判定手段
　１０３　車内位置推定手段
　１０４　結果統合手段
　２００　画像取得手段
　２０１　トリガ手段
　２０２　車両移動情報取得手段
　３０１　人物検出手段

Claims (10)

  1. 　画像を取得する画像取得手段と、
    　前記取得した画像から人数計測の対象となる車に乗車している人物を検出し、人物検出結果を生成する人物検出手段と、
    　前記画像において前記車がどのように見えるかを表すビューを判定し、ビュー判定結果を生成するビュー判定手段と、
    　前記人物検出結果と、前記ビュー判定結果とから車内のどの位置に人物が乗車しているかを推定し、車内位置推定結果を画像ごとに生成する車内位置推定手段と、
    　前記車に対して複数求まった前記車内位置推定結果を統合し、統合結果から乗車人数を判定する結果統合手段と
    　を有する乗車人数計測装置。
  2. 　前記車の移動状況に関する情報を取得し、車両移動情報として生成する車両移動情報取得手段と、
    　前記車両移動情報に基づいて、予め定められたタイミングに従ってトリガ信号を発生させるトリガ手段とをさらに有し、
    　前記画像取得手段は、前記トリガ信号に合わせて画像を取得する
    　請求項１に記載の乗車人数計測装置。
  3. 　前記車両移動情報取得手段は、予め定められた一つ以上の地点を通過したかどうかを地点ごとに判定し、その通過時刻の計測結果に基づいて前記車両移動情報を生成し、
    　前記予め定められたタイミングは、前記車両移動情報に含まれる前記予め定められた地点における通過時刻に基づいて決定される
    　請求項２に記載の乗車人数計測装置。
  4. 　前記車両移動情報取得手段は、車両の速度を計測し、前記車両移動情報は、車両の速度を計測した結果を含み、
    　前記予め定められたタイミングは、前記車両移動情報に含まれる車両の速度に基づいて調節される
    　請求項２または請求項３に記載の乗車人数計測装置。
  5. 　前記画像取得手段は、赤外線の投光器を有し、画像を取得するタイミングに合わせて車内に向けて投光し、赤外線波長領域の光を撮影して画像を取得する
    　請求項１から請求項４のうちのいずれか１項に記載の乗車人数計測装置。
  6. 　前記人物検出結果は、前記取得した画像に対して顔を検出する処理を行って生成される
    　請求項１から請求項５のうちのいずれか１項に記載の乗車人数計測装置。
  7. 　前記ビュー判定手段は、前記画像取得手段が取得した画像から車の窓枠を検知してビューを判定する
    　請求項１から請求項６のうちのいずれか１項に記載の乗車人数計測装置。
  8. 　前記車内位置推定手段は、前記ビュー判定結果に基づいて想定される車内の各座席位置に座る人物が画像中に映る位置と、前記人物検出結果に含まれる画像中の人物の位置とを比較し、検出された人物が画像中のどの座席に座っていたかを判定する
    　請求項１から請求項７のうちのいずれか１項に記載の乗車人数計測装置。
  9. 　画像を取得し、
    　前記取得した画像から人数計測の対象となる車に乗車している人物を検出し、人物検出結果を生成し、
    　前記画像において前記車がどのように見えるかを表すビューを判定し、ビュー判定結果を生成し、
    　前記人物検出結果と、前記ビュー判定結果とから車内のどの位置に人物が乗車しているかを推定し、車内位置推定結果を画像ごとに生成し、
    　前記車に対して複数求まった前記車内位置推定結果を統合し、統合結果から乗車人数を判定する
    　ことを特徴とする乗車人数計測方法。
  10. 　コンピュータに、
    　画像を取得する処理と、
    　前記取得した画像から人数計測の対象となる車に乗車している人物を検出し、人物検出結果を生成する処理と、
    　前記画像において前記車がどのように見えるかを表すビューを判定し、ビュー判定結果を生成する処理と、
    　前記人物検出結果と、前記ビュー判定結果とから車内のどの位置に人物が乗車しているかを推定し、車内位置推定結果を画像ごとに生成する処理と、
    　前記車に対して複数求まった前記車内位置推定結果を統合し、統合結果から乗車人数を判定する処理とを実行させる
    　ための乗車人数計測プログラム。
PCT/JP2013/006040 2012-10-26 2013-10-10 乗車人数計測装置、方法およびプログラム WO2014064898A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014543137A JP6281492B2 (ja) 2012-10-26 2013-10-10 乗車人数計測装置、方法およびプログラム
US14/438,388 US9760784B2 (en) 2012-10-26 2013-10-10 Device, method and program for measuring number of passengers

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012236246 2012-10-26
JP2012-236246 2012-10-26

Publications (1)

Publication Number Publication Date
WO2014064898A1 true WO2014064898A1 (ja) 2014-05-01

Family

ID=50544284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/006040 WO2014064898A1 (ja) 2012-10-26 2013-10-10 乗車人数計測装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US9760784B2 (ja)
JP (1) JP6281492B2 (ja)
WO (1) WO2014064898A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015052896A1 (ja) * 2013-10-09 2015-04-16 日本電気株式会社 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体
CN104732219A (zh) * 2015-03-31 2015-06-24 合肥美诚创新培训学校 一种基于图像识别的自习室空位查询方法及装置
WO2017158648A1 (ja) 2016-03-17 2017-09-21 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラム
KR20180094501A (ko) * 2017-02-15 2018-08-23 (주)지앤티솔루션 차량 승차 인원 검지를 이용한 요금 정산 방법 및 장치
KR20180094812A (ko) * 2017-02-16 2018-08-24 (주)지앤티솔루션 승차인원 검지방법 및 그 장치
WO2018179534A1 (ja) * 2017-03-30 2018-10-04 日本電気株式会社 撮像システム、撮像方法および撮像制御プログラム
JPWO2017158647A1 (ja) * 2016-03-17 2018-11-15 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラムならびに車両移動量算出装置、方法およびプログラム
EP3295298A4 (en) * 2015-05-14 2018-11-21 Gatekeeper Inc. Apparatus, systems and methods for enhanced visual inspection of vehicle interiors
WO2019008789A1 (ja) 2017-07-04 2019-01-10 日本電気株式会社 解析装置、解析方法及びプログラム
WO2019012710A1 (ja) 2017-07-13 2019-01-17 日本電気株式会社 解析装置、解析方法及びプログラム
JP2019023860A (ja) * 2017-05-30 2019-02-14 ゲートキーパー・インコーポレーテッド 車両検査セキュリティシステムにおける改善された顔検出および認識のための装置、システムおよび方法
CN109886173A (zh) * 2019-02-02 2019-06-14 中国科学院电子学研究所 基于视觉的侧脸姿态解算方法及情绪感知自主服务机器人
WO2019130562A1 (ja) * 2017-12-28 2019-07-04 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
US11403865B2 (en) 2017-07-25 2022-08-02 Nec Corporation Number-of-occupants detection system, number-of-occupants detection method, and program
US11482018B2 (en) 2017-07-19 2022-10-25 Nec Corporation Number-of-occupants detection system, number-of-occupants detection method, and program
KR102570386B1 (ko) * 2023-03-17 2023-08-28 (주)지앤티솔루션 다인승전용차로 내 차량의 탑승인원 검지를 위한 서비스 제공 시스템 및 방법
EP4310795A3 (en) * 2014-05-21 2024-06-05 Universal City Studios LLC Amusement park element tracking system

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9652851B2 (en) * 2014-04-01 2017-05-16 Conduent Business Services, Llc Side window detection in near-infrared images utilizing machine learning
AU2015202613A1 (en) * 2014-05-16 2015-12-03 Cds Worldwide Pty Ltd An action control apparatus
US9552524B2 (en) * 2014-09-15 2017-01-24 Xerox Corporation System and method for detecting seat belt violations from front view vehicle images
US9928424B2 (en) * 2016-02-22 2018-03-27 Conduent Business Services, Llc Side window detection through use of spatial probability maps
CN108805252A (zh) * 2017-04-28 2018-11-13 西门子（中国）有限公司 一种乘客计数方法、装置和***
CN107657211A (zh) * 2017-08-11 2018-02-02 广州烽火众智数字技术有限公司 一种hov车道的车辆乘客人数检测方法和装置
US11538257B2 (en) * 2017-12-08 2022-12-27 Gatekeeper Inc. Detection, counting and identification of occupants in vehicles
US10838425B2 (en) * 2018-02-21 2020-11-17 Waymo Llc Determining and responding to an internal status of a vehicle
CN108960107A (zh) * 2018-06-25 2018-12-07 安徽百诚慧通科技有限公司 一种小微型面包车超员识别方法及装置
CN108847034A (zh) * 2018-08-07 2018-11-20 大连天天安全***有限公司 一种基于汽车隔热防爆膜的透视补光监控方法
TR201812156A2 (tr) * 2018-08-27 2018-09-21 Havelsan Hava Elektronik Sanayi Ve Ticaret Anonim Sirketi Plaka tanima si̇stemi̇ kamera görüntüleri̇ kullanilarak ön koltuk yolcu kapasi̇tesi̇ i̇hlal tespi̇t yöntemi̇
CN112997230A (zh) * 2018-09-14 2021-06-18 优创半导体科技有限公司 双重自适应碰撞避免***
US10657396B1 (en) * 2019-01-30 2020-05-19 StradVision, Inc. Method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens
US10867193B1 (en) 2019-07-10 2020-12-15 Gatekeeper Security, Inc. Imaging systems for facial detection, license plate reading, vehicle overview and vehicle make, model, and color detection
US11196965B2 (en) 2019-10-25 2021-12-07 Gatekeeper Security, Inc. Image artifact mitigation in scanners for entry control systems
IT202000002329A1 (it) * 2020-02-06 2021-08-06 Faiveley Transport Italia Spa Sistema per la stima di un indice di carico di un veicolo ferroviario
FR3111449B1 (fr) 2020-06-15 2023-04-07 Fareco Systèmes et méthodes de détermination d’un nombre de personnes dans un véhicule
FR3131167A1 (fr) * 2021-12-16 2023-06-23 Orange Traitement de données perfectionné pour un covoiturage efficace
EP4365858A1 (de) * 2022-11-07 2024-05-08 Yunex Traffic Austria GmbH Verfahren und vorrichtung zum ermitteln einer anzahl von personen in einem fahrenden fahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1055445A (ja) * 1996-08-09 1998-02-24 Mitsubishi Electric Corp 車両監視装置
JP2002170138A (ja) * 2000-11-30 2002-06-14 Organization For Road System Enhancement 車両に情報を提供するシステム、および方法
JP2012128862A (ja) * 2010-12-14 2012-07-05 Xerox Corp Ｉｒイメージングシステムを介して得られるｉｒ画像における総人数の決定方法
JP2012158968A (ja) * 2011-01-28 2012-08-23 Fuji Hensokuki Co Ltd 駐車場内の人検出器
US20120262577A1 (en) * 2011-04-13 2012-10-18 Xerox Corporation Determining a number of objects in an ir image

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7650030B2 (en) * 2004-12-03 2010-01-19 Sarnoff Corporation Method and apparatus for unsupervised learning of discriminative edge measures for vehicle matching between non-overlapping cameras
JP4859652B2 (ja) * 2006-12-15 2012-01-25 アルパイン株式会社 画像表示装置
US7786897B2 (en) * 2007-01-23 2010-08-31 Jai Pulnix, Inc. High occupancy vehicle (HOV) lane enforcement
US20100201507A1 (en) * 2009-02-12 2010-08-12 Ford Global Technologies, Llc Dual-mode vision system for vehicle safety
US8970701B2 (en) * 2011-10-21 2015-03-03 Mesa Engineering, Inc. System and method for predicting vehicle location
US9111136B2 (en) * 2012-04-24 2015-08-18 Xerox Corporation System and method for vehicle occupancy detection using smart illumination

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1055445A (ja) * 1996-08-09 1998-02-24 Mitsubishi Electric Corp 車両監視装置
JP2002170138A (ja) * 2000-11-30 2002-06-14 Organization For Road System Enhancement 車両に情報を提供するシステム、および方法
JP2012128862A (ja) * 2010-12-14 2012-07-05 Xerox Corp Ｉｒイメージングシステムを介して得られるｉｒ画像における総人数の決定方法
JP2012158968A (ja) * 2011-01-28 2012-08-23 Fuji Hensokuki Co Ltd 駐車場内の人検出器
US20120262577A1 (en) * 2011-04-13 2012-10-18 Xerox Corporation Determining a number of objects in an ir image

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2015052896A1 (ja) * 2013-10-09 2017-03-09 日本電気株式会社 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム
US9934442B2 (en) 2013-10-09 2018-04-03 Nec Corporation Passenger counting device, passenger counting method, and program recording medium
WO2015052896A1 (ja) * 2013-10-09 2015-04-16 日本電気株式会社 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体
EP4310795A3 (en) * 2014-05-21 2024-06-05 Universal City Studios LLC Amusement park element tracking system
CN104732219A (zh) * 2015-03-31 2015-06-24 合肥美诚创新培训学校 一种基于图像识别的自习室空位查询方法及装置
CN104732219B (zh) * 2015-03-31 2018-03-16 合肥美诚创新培训学校 一种基于图像识别的自习室空位查询方法及装置
EP3295298A4 (en) * 2015-05-14 2018-11-21 Gatekeeper Inc. Apparatus, systems and methods for enhanced visual inspection of vehicle interiors
US10922565B2 (en) 2016-03-17 2021-02-16 Nec Corporation Passenger counting device, system, method and program
US10755124B2 (en) 2016-03-17 2020-08-25 Nec Corporation Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
JPWO2017158647A1 (ja) * 2016-03-17 2018-11-15 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラムならびに車両移動量算出装置、方法およびプログラム
WO2017158648A1 (ja) 2016-03-17 2017-09-21 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラム
US10824887B2 (en) 2016-03-17 2020-11-03 Nec Corporation Passenger counting device, system, method and program
US10789494B2 (en) 2016-03-17 2020-09-29 Nec Corporation Passenger counting device, system, method and program
US10318829B2 (en) 2016-03-17 2019-06-11 Nec Corporation Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
US10318830B2 (en) 2016-03-17 2019-06-11 Nec Corporation Passenger counting device, system, method and program
KR20180094501A (ko) * 2017-02-15 2018-08-23 (주)지앤티솔루션 차량 승차 인원 검지를 이용한 요금 정산 방법 및 장치
KR101934330B1 (ko) * 2017-02-15 2019-03-25 (주)지앤티솔루션 차량 승차 인원 검지를 이용한 요금 정산 방법 및 장치
KR20180094812A (ko) * 2017-02-16 2018-08-24 (주)지앤티솔루션 승차인원 검지방법 및 그 장치
KR101973933B1 (ko) * 2017-02-16 2019-09-02 (주)지앤티솔루션 승차인원 검지방법 및 그 장치
JPWO2018179534A1 (ja) * 2017-03-30 2020-02-06 日本電気株式会社 撮像システム、撮像方法および撮像制御プログラム
WO2018179534A1 (ja) * 2017-03-30 2018-10-04 日本電気株式会社 撮像システム、撮像方法および撮像制御プログラム
US11043119B2 (en) 2017-03-30 2021-06-22 Nec Corporation Imaging system, imaging method, and imaging control program
JP2019023860A (ja) * 2017-05-30 2019-02-14 ゲートキーパー・インコーポレーテッド 車両検査セキュリティシステムにおける改善された顔検出および認識のための装置、システムおよび方法
US11138755B2 (en) 2017-07-04 2021-10-05 Nec Corporation Analysis apparatus, analysis method, and non transitory storage medium
WO2019008789A1 (ja) 2017-07-04 2019-01-10 日本電気株式会社 解析装置、解析方法及びプログラム
JP7048157B2 (ja) 2017-07-13 2022-04-05 日本電気株式会社 解析装置、解析方法及びプログラム
WO2019012710A1 (ja) 2017-07-13 2019-01-17 日本電気株式会社 解析装置、解析方法及びプログラム
JPWO2019012710A1 (ja) * 2017-07-13 2020-03-19 日本電気株式会社 解析装置、解析方法及びプログラム
US11538258B2 (en) 2017-07-13 2022-12-27 Nec Corporation Analysis apparatus, analysis method, and non-transitory storage medium for deciding the number of occupants detected in a vehicle
US11482018B2 (en) 2017-07-19 2022-10-25 Nec Corporation Number-of-occupants detection system, number-of-occupants detection method, and program
US11403865B2 (en) 2017-07-25 2022-08-02 Nec Corporation Number-of-occupants detection system, number-of-occupants detection method, and program
JPWO2019130562A1 (ja) * 2017-12-28 2020-12-24 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019130562A1 (ja) * 2017-12-28 2019-07-04 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
US11338753B2 (en) 2017-12-28 2022-05-24 Nec Corporation Information processing apparatus, information processing method, and program
CN109886173B (zh) * 2019-02-02 2021-01-15 中国科学院电子学研究所 基于视觉的侧脸姿态解算方法及情绪感知自主服务机器人
CN109886173A (zh) * 2019-02-02 2019-06-14 中国科学院电子学研究所 基于视觉的侧脸姿态解算方法及情绪感知自主服务机器人
KR102570386B1 (ko) * 2023-03-17 2023-08-28 (주)지앤티솔루션 다인승전용차로 내 차량의 탑승인원 검지를 위한 서비스 제공 시스템 및 방법

Also Published As

Publication number Publication date
US20150278617A1 (en) 2015-10-01
JP6281492B2 (ja) 2018-02-21
US9760784B2 (en) 2017-09-12
JPWO2014064898A1 (ja) 2016-09-08

Similar Documents

Publication Publication Date Title
JP6281492B2 (ja) 乗車人数計測装置、方法およびプログラム
JP6607308B2 (ja) 乗車人数計測装置、システム、方法およびプログラム
JP6458734B2 (ja) 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム
JP6354585B2 (ja) 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム
US10317231B2 (en) Top-down refinement in lane marking navigation
CA3010997C (en) Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
CN104573646A (zh) 基于激光雷达和双目相机的车前行人检测方法及***
US20150235093A1 (en) Moving Object Recognition Apparatus
WO2014061793A1 (ja) 車両窓検出システム、車両窓検出方法及び装置、プログラム、及び記録媒体
KR20210042579A (ko) 주행 중인 차량 내 승차인원 검지를 위한 승차위치 확인 및 합산 방법
JP2010122078A (ja) 身長検出システムおよびこれを用いた自動改札機
KR102211903B1 (ko) 컴퓨터비전 기술을 이용한 주행차량 내 승차인원을 검지하기 위한 촬영 방법 및 장치
JP2011242268A (ja) 列車種別検出装置
JP2020008978A (ja) 安全確認評価装置、車載機、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム
US20240205551A1 (en) Signal processing device and method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13848932

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014543137

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14438388

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13848932

Country of ref document: EP

Kind code of ref document: A1