WO2023089820A1 - 重要領域特定システム、重要領域特定装置、重要領域特定方法およびプログラム - Google Patents
重要領域特定システム、重要領域特定装置、重要領域特定方法およびプログラム Download PDFInfo
- Publication number
- WO2023089820A1 WO2023089820A1 PCT/JP2021/042774 JP2021042774W WO2023089820A1 WO 2023089820 A1 WO2023089820 A1 WO 2023089820A1 JP 2021042774 W JP2021042774 W JP 2021042774W WO 2023089820 A1 WO2023089820 A1 WO 2023089820A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- important area
- vehicle
- camera
- important
- area
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012545 processing Methods 0.000 claims abstract description 66
- 230000008569 process Effects 0.000 claims abstract description 35
- 230000001133 acceleration Effects 0.000 claims description 20
- 238000010586 diagram Methods 0.000 description 46
- 230000006866 deterioration Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 241000282412 Homo Species 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Definitions
- the present invention relates to an important area identification system, an important area identification device, an important area identification method, and a program.
- Patent Literature 1 discloses an example of a monitoring system using a camera that captures pedestrians crossing the road and automobiles passing the road. According to the document, this surveillance system is equipped with pedestrian detection means and a road information recording area. to set important image areas.
- Patent Document 2 discloses a technique for setting an area facing the traveling direction of the vehicle body as an attention area for a work vehicle equipped with a function of displaying vehicle peripheral information on a monitor in a form that is easy for the driver to visually recognize while using a bird's-eye view image.
- a region determination algorithm is disclosed.
- Patent Document 3 discloses a risk area identifying unit that identifies a dynamic risk area related to a moving object existing around a vehicle and a static risk area related to a stationary object existing around the vehicle, and a risk area identifying unit for identifying these areas
- a risk area display system is disclosed that includes a display for displaying the .
- Patent Document 1 since the area is set based on the traveling direction of the vehicle, there is a possibility that the area cannot be set appropriately in the video. Also, with the methods of Patent Documents 2 and 3, if the image captured by the camera is unclear, there is a possibility that the area cannot be set appropriately.
- One aspect of the present invention has been made in view of the above problems, and an example of its purpose is to realize a technique that can appropriately specify an important image area in a video.
- An important area specifying system includes information acquisition means for acquiring position information of a vehicle, and important area specifying means for specifying an important area within an imageable area of a camera based on the position information of the vehicle. and important area notification means for notifying the important area to an image processing device that processes an image captured by the camera.
- An important area specifying device includes information acquisition means for acquiring position information of a vehicle, and important area specifying means for specifying an important area within an imageable area of a camera based on the position information of the vehicle. and important area notification means for notifying the important area to an image processing device that processes an image captured by the camera.
- An important area specifying method acquires position information of a vehicle, specifies an important area in a photographable area of a camera based on the position information of the vehicle, and extracts an image photographed by the camera. is notified of the important area to the image processing apparatus that processes the .
- a program provides a computer with a process of acquiring position information of a vehicle, a process of identifying an important area in a photographable area of a camera based on the position information of the vehicle, and a process of photographing with the camera. a process of notifying an important area to an image processing apparatus that processes the obtained image.
- FIG. 1 is a diagram showing the configuration of an important region identification system according to the first exemplary embodiment of the invention together with an exemplary vehicle and cameras;
- FIG. 1 is a diagram showing the configuration of an important region identifying device according to the first exemplary embodiment of the present invention together with an exemplary vehicle and cameras;
- FIG. 4 is a flow chart showing the flow of the important region identification method according to the first exemplary embodiment of the present invention;
- FIG. 4 is a diagram for explaining an operation example of the important area specifying device according to the first exemplary embodiment of the present invention;
- FIG. 4 is a diagram for explaining an operation example of the important area specifying device according to the first exemplary embodiment of the present invention;
- FIG. 4 is a diagram for explaining an operation example of the important area specifying device according to the first exemplary embodiment of the present invention;
- FIG. 10 is a diagram showing the configuration of an important area identification system according to a second exemplary embodiment of the present invention together with an exemplary vehicle and cameras;
- FIG. 10 is a diagram showing the configuration of an important region identifying device according to a second exemplary embodiment of the present invention together with an exemplary vehicle and camera;
- FIG. 11 is a diagram showing the configuration of an important region identifying device according to a third exemplary embodiment of the present invention together with its peripheral configuration;
- FIG. 11 is a diagram for explaining an example of an important area identifying method executed by an important area identifying device according to the third exemplary embodiment of the present invention;
- FIG. 11 is a sequence diagram showing the flow of operations by the important area identifying device and peripheral configuration according to the third exemplary embodiment of the present invention;
- FIG. 11 is a diagram for explaining the operation of the important area identification device according to the third exemplary embodiment of the present invention.
- FIG. 11 is a diagram for explaining the operation of the important area identification device according to the third exemplary embodiment of the present invention;
- FIG. 11 is a diagram for explaining the operation of the important area identification device according to the third exemplary embodiment of the present invention;
- FIG. 11 is a diagram showing the configuration of an important region identifying device according to a fourth exemplary embodiment of the present invention together with its peripheral configuration;
- FIG. 11 is a diagram for explaining an example of an important region identifying method executed by an important region identifying device according to the fourth exemplary embodiment of the present invention;
- FIG. 12 is a diagram for explaining the operation of the important area identification device according to the fourth exemplary embodiment of the present invention;
- FIG. 11 is a diagram for explaining the operation of the important area identification device according to the third exemplary embodiment of the present invention.
- FIG. 12 is a diagram for explaining the operation of the important area identification device according to the fourth exemplary embodiment of the present invention.
- FIG. 11 is a diagram showing the configuration of an important region identifying device according to a fifth exemplary embodiment of the present invention together with its peripheral configuration;
- FIG. 3 is a block diagram showing the configuration of a computer functioning as an important area identification device according to each exemplary embodiment;
- the important area identification system 1 includes information acquisition means 11, important area identification means 12, and important area notification means 13, as shown in FIG.
- the important area specifying system 1 is a system that acquires a captured image including one or more vehicles (vehicles 30a and 30b in FIG. 1) in the angle of view from the camera 140 and specifies an important area in the acquired captured image.
- the information acquisition means 11, the important area specifying means 12, and the important area notification means 13 are configured to be able to communicate via a network, for example.
- a network for example.
- the specific configuration of the network does not limit this exemplary embodiment, but as an example, wireless LAN (Local Area Network), wired LAN, WAN (Wide Area Network), public line network, mobile data A communication network or a combination of these networks can be used.
- the information acquisition means 11 acquires position information of the vehicles 30a and 30b.
- the position information of the vehicles 30a and 30b can be acquired from a management system or the like that manages the positions of a plurality of vehicles on the road.
- position information of each of a plurality of target vehicles is obtained from each vehicle via a network.
- the position information of each vehicle can be acquired by a GPS (Global Positioning System) device mounted on each vehicle, as an example.
- the management system include an information processing system for vehicles that manages vehicle positions, provides congestion information, and provides route guidance.
- the management system may acquire position information from a terminal device carried by a driver of each vehicle, and use the acquired position information as the position information of the vehicle.
- the information acquisition means 11 may be configured to acquire position information regarding vehicles positioned around the camera 140 installed so as to be able to photograph the road.
- the information acquisition means 11 acquires the position information of each of a plurality of target vehicles and the position information of the camera 140, and compares the position information of each of these vehicles with the position information of the camera 140. By doing so, vehicles positioned around the camera 140 are identified. Then, the positional information of the specified vehicle may be provided to the important area specifying means 12, which will be described later.
- the surroundings of the camera 140 refer to a range included within a predetermined distance from the camera 140, for example.
- the information acquisition means 11 identifies a vehicle existing within several tens of meters from the camera 140 by comparing the position information of the vehicle with the position information of the camera 140, and obtains the position information of the identified vehicle, which will be described later. It is provided to the important area identification means 12 to be used.
- the important area identifying means 12 identifies an important area within the photographable area of the camera 140 based on the position information of the vehicles 30a and 30b.
- the photographable area refers to, for example, a range in the target space that can be recorded as an image by the camera 140 and is defined by the angle of view of the camera 140 . Also, if the camera 140 has any one of the pan, tilt, and zoom functions, the photographable area changes according to the pan, tilt, and zoom functions.
- the "important region” is also called an attention region or ROI (Region Of Interest), and as an example, refers to a region with a higher degree of importance than other regions in an image.
- ROI Attention Region
- the region of interest may be represented by coordinates in object space, but this is not a limitation of this exemplary embodiment.
- the important region may be represented by coordinates in the captured image.
- the important area identifying means 12 identifies a predetermined area in front of the vehicle as an important area based on the vehicle position information.
- the traveling direction of the vehicle can be determined (predicted) by the important area specifying means 12 from, for example, vehicle position information or the like.
- the important area specifying means 12 specifies whether the vehicle is traveling in the right lane or the left lane from the position of the vehicle in the image captured by the camera 140, and determines whether the vehicle is traveling in the specified lane. can specify the direction of travel.
- the important area specifying means 12 acquires the position information of the vehicle as time-series data, it is also possible to specify the traveling direction of the vehicle based on the change in the position.
- the important area notification means 13 notifies a predetermined image processing device of the important area.
- the predetermined image processing device include the camera 140 and a device using an image captured by the camera 140 .
- the important areas notified to these devices are used as information for designating areas to be subjected to image processing and object recognition processing, and areas to attract the attention of viewers of images.
- the predetermined image processing device is the camera 140
- the camera 140 can perform sharpening, enhancement processing, etc. of the image of the important area in the image to be transmitted.
- the predetermined image processing device is an image display device
- the image display device can display the image by performing sharpening or the like on the image of the important area in the received image.
- Image sharpening refers to making a specific area in an image higher in image quality (clearer) than other areas.
- the image can be sharpened by performing compression (encoding) so as to suppress deterioration of the image quality of the corresponding area on the camera side. Further, by improving the image quality of the corresponding area of the image compressed (encoded) by the camera using a super-resolution technique or the like, the image can be sharpened.
- the important area specifying means 12 determines the important area within the imageable area of the camera 140 based on the position information of the vehicles 30a and 30b. identify. Therefore, the important area identifying means 12 can appropriately identify important image areas for each of the vehicles 30a and 30b. These important regions can be used by video users, for example, for visual monitoring of images by humans, and for various image processing by computers.
- the important area notification means 13 notifies the remote monitoring center that visually monitors the images of the important areas of the vehicles 30a and 30b, so that the remote monitoring center uses the important areas of the vehicles 30a and 30b.
- Various image processing can be performed. As a result, it is possible to cause the automatically driven vehicle to perform actions to avoid abnormal spots on the road and accidents that are difficult for the automatically driven vehicle to notice, according to the image processing result.
- the important area identifying means 12 identifies the important area within the photographable area of the camera 140 based on the positional information of the vehicle, the vehicle captured in the image of the camera 140 may be far away, weather conditions, Important areas can be identified even when the image is unclear due to lens contamination.
- the image processing device enhances the image quality of the important area and lowers the image quality of areas other than the important area based on the identified important area. This makes it possible to provide images that can be visually monitored and processed even when the network bandwidth is tight.
- FIG. 2 is a diagram showing the configuration of the important region identifying device according to this exemplary embodiment together with an exemplary vehicle and camera.
- the important area identification device 10 according to this exemplary embodiment has a configuration in which the above-described information acquisition means 11, important area identification means 12, and important area notification means 13 are integrated into one device. have.
- the important area identification device 10 can be configured by a server or the like installed on a cloud platform or the Internet. Also, the important area identifying device 10 may be an MEC (Multi-access Edge Computing or Mobile Edge Computing) server installed near the camera 140 .
- MEC Multi-access Edge Computing or Mobile Edge Computing
- the information acquisition means 11 acquires position information of the vehicles 30a and 30b.
- the position information of the vehicles 30a and 30b can be acquired from a management system or the like that manages the positions of a plurality of vehicles on the road.
- the important area identifying means 12 identifies an important area within the photographable area of the camera 140 based on the position information of the vehicles 30a and 30b.
- the important region is also called a region of interest or a ROI, and, for example, refers to a region with a higher degree of importance than other regions in an image.
- the important area identifying means 12 identifies a predetermined area in front of the vehicle as an important area based on the vehicle position information.
- the traveling direction of the vehicle can be determined (predicted) by the important area specifying means 12 from, for example, vehicle position information or the like.
- the important area notification means 13 notifies a predetermined image processing device of the important area.
- the predetermined image processing device include the camera 140 and a device using an image captured by the camera 140 .
- the important region specifying means 12 can appropriately specify important image regions for each of the vehicles 30a and 30b. . These important regions can be used by video users, for example, for visual monitoring of images by humans, and for various image processing by computers.
- the important area notification means 13 notifies the remote monitoring center that visually monitors the images of the important areas of the vehicles 30a and 30b, so that the remote monitoring center uses the important areas of the vehicles 30a and 30b.
- Various image processing can be performed. As a result, it is possible to cause the automatically driven vehicle to perform actions to avoid abnormal spots on the road and accidents that are difficult for the automatically driven vehicle to notice, according to the image processing result.
- FIG. 3 is a flow chart showing the flow of the important region identifying method according to the first exemplary embodiment of the present invention.
- the information acquisition means 11 acquires position information of the surrounding vehicles 30a and 30b (step S001).
- the information acquisition means 11 acquires the position information (x1, y1) of the vehicle 30a and the position information (x2, y2) of the vehicle 30b as the position information of the vehicles 30a and 30b.
- the position information (x1, y1) and (x2, y2) are, for example, latitude information and longitude information of the vehicles 30a and 30b acquired by the GPS device.
- the position information (x1, y1) and (x2, y2) may be the coordinates of the vehicle 30a and the vehicle 30b in the image captured by the camera 140, for example.
- the vehicle 30a and the vehicle 30b can be specified by subjecting the images captured by the camera 140 to object recognition processing.
- the management system or the like can use the coordinates of the vehicle 30a and the vehicle 30b in the image captured by the camera 140 as the position information.
- the important area identifying means 12 identifies an important area within the photographable area of the camera 140 based on the position information of the vehicles 30a and 30b (step S002). For example, as shown in FIG. 5, the important area identifying means 12 identifies predetermined ranges in front of the vehicles 30a and 30b as important areas ROI1 and ROI2.
- the direction of travel of the vehicle can be determined (predicted) by the important area specifying means 12, for example, from the positional information of the vehicles 30a and 30b.
- the important area identifying means 12 identifies in which lane the vehicles 30a and 30b are traveling, the right lane or the left lane, from the positions of the vehicles 30a and 30b in the image captured by the camera 140. Accordingly, the direction of travel of the vehicles 30a and 30b can be identified.
- the important area identifying means 12 acquires the position information of the vehicles 30a and 30b as time-series data, it is also possible to identify the direction of travel of the vehicles 30a and 30b based on changes in the positions.
- the important area identifying means 12 identifies predetermined ranges in the traveling directions of the identified vehicles 30a and 30b as important areas ROI1 and ROI2.
- the important area identifying means 12 identifies a predetermined area in front of the vehicle as an important area based on the vehicle position information.
- the traveling direction of the vehicle can be determined (predicted) by the important area specifying means 12 from, for example, vehicle position information or the like.
- the important area notification means 13 notifies a predetermined image processing device of the important areas ROI1 and ROI2 (step S003).
- the predetermined image processing device include the camera 140 and a device using an image captured by the camera 140 .
- the important region specifying means 12 can appropriately specify important image regions for each of the vehicles 30a and 30b. These important regions can be used by video users, for example, for visual monitoring of images by humans, and for various image processing by computers.
- the important area notification means 13 notifies the remote monitoring center that visually monitors the images of the important areas of the vehicles 30a and 30b, so that the remote monitoring center uses the important areas of the vehicles 30a and 30b.
- Various image processing can be performed. As a result, it is possible to cause the automatically driven vehicle to perform actions to avoid abnormal spots on the road and accidents that are difficult for the automatically driven vehicle to notice, according to the image processing result.
- the important area identification system 1a includes information acquisition means 11, important area identification means 12, important area notification means 13, image quality adjustment means 14, and display means 15. and have.
- Components having the same functions as the components described in the exemplary embodiment 1 are denoted by the same reference numerals, and their descriptions are omitted as appropriate.
- the information acquisition means 11 acquires position information of the vehicles 30a and 30b.
- the position information of the vehicles 30a and 30b can be acquired from a management system or the like that manages the positions of a plurality of vehicles on the road.
- the important area identifying means 12 identifies an important area within the photographable area of the camera 140 based on the position information of the vehicles 30a and 30b.
- the important region is also called a region of interest or a ROI, and, for example, refers to a region with a higher degree of importance than other regions in an image.
- the important area notification means 13 notifies a predetermined image processing device of the important area.
- the predetermined image processing device include the camera 140 and a device using an image captured by the camera 140 .
- the image quality adjusting means 14 changes the image quality of the image captured by the camera 140 based on the information of the specified important area. For example, the image quality adjusting unit 14 instructs the camera 140 to compress (encode) the image in the important area so as to suppress deterioration of the image. As an example, when the camera 140 compresses video with MPEG (Moving Picture Experts Group), it is possible to control the compression rate by changing the quantization parameter. When the camera 140 receives an instruction to suppress deterioration of the image within the important region, the camera 140 changes the quantization parameter and performs control so that the compression ratio of the image within the important region is lowered. Further, the image quality adjusting means 14 may improve the image quality of the image within the important area of the image compressed (encoded) by the camera 140 using super-resolution technology or the like.
- MPEG Motion Picture Experts Group
- the display means 15 displays the image captured by the camera 140 using the important area. For example, when displaying an image captured by the camera 140, the display unit 15 displays the image such that the image within the important area can be distinguished from other images. Moreover, the display means 15 may display the image after the image quality is changed by the image quality adjustment means 14 .
- the image quality adjustment means 14 changes the image quality of the image captured by the camera 140 based on the information of the identified important region. . Therefore, by changing the image quality so as to suppress deterioration of the image in the important area, it becomes possible to visually monitor the image by a human and perform various image processing by a computer in more detail.
- the display means 15 uses the important area to display the image captured by the camera 140, it is possible for a human to visually monitor the image in more detail.
- the important area identification device 10a includes information acquisition means 11, important area identification means 12, important area notification means 13, image quality adjustment means 14, and display means 15. and have.
- Components having the same functions as the components described in the exemplary embodiment 1 are denoted by the same reference numerals, and their descriptions are omitted as appropriate.
- the information acquisition means 11 acquires position information of the vehicles 30a and 30b.
- the position information of the vehicles 30a and 30b can be acquired from a management system or the like that manages the positions of a plurality of vehicles on the road.
- the important area identifying means 12 identifies an important area within the photographable area of the camera 140 based on the position information of the vehicles 30a and 30b.
- the important region is also called a region of interest or a ROI, and, for example, refers to a region with a higher degree of importance than other regions in an image.
- the important area notification means 13 notifies a predetermined image processing device of the important area.
- the predetermined image processing device include the camera 140 and a device using an image captured by the camera 140 .
- the image quality adjusting means 14 changes the image quality of the image captured by the camera 140 based on the information of the specified important area. For example, the image quality adjusting unit 14 instructs the camera 140 to compress (encode) the image in the important area so as to suppress deterioration of the image.
- the display means 15 displays the image captured by the camera 140 using the important area. For example, when displaying an image captured by the camera 140, the display unit 15 displays the image such that the image within the important area can be distinguished from other images. Moreover, the display means 15 may display the image after the image quality is changed by the image quality adjustment means 14 .
- the image quality adjustment means 14 changes the image quality of the image captured by the camera 140 based on the information of the identified important region. . Therefore, by changing the image quality so as to suppress deterioration of the image in the important area, it becomes possible to visually monitor the image by a human and perform various image processing by a computer in more detail.
- the display means 15 uses the important area to display the image captured by the camera 140, it is possible for a human to visually monitor the image in more detail.
- the important area identifying device 100 is connected to a V2X (Vehicle to Everything) information providing device 200 and a server 300 via a network, for example.
- V2X Vehicle to Everything
- FIG. 8 is a diagram showing the configuration of the important region identification device 100 according to the second exemplary embodiment together with the peripheral configuration.
- the important area identification device 100 includes an information acquisition section 101 , an important area identification section 102 and a notification section 103 .
- the information acquisition unit 101 is a configuration that implements information acquisition means in this exemplary embodiment.
- the important area identification unit 102 is a configuration that realizes important area identification means in this exemplary embodiment.
- the notification unit 103 is a configuration that realizes important area notification means in this exemplary embodiment.
- the system including the important area identifying device 100 includes the V2X information providing device 200, the important area identifying device 100, the server 300, the camera 140, and the traffic control system 400.
- the V2X information providing device 200 provides V2X information using V2X communication technology.
- V2X is a communication technology that transmits and receives various information via V2I (road-to-vehicle communication) and the cloud.
- Data exchanged by V2X communication technology includes road traffic information, data on vehicle behavior, data on platooning and following driving, data on automatic driving, and the like.
- the V2X information providing device 200 collects data related to the behavior of the automobile, in particular, the driving characteristics such as the driving area, driving speed, driving distance, vehicle type, acceleration/deceleration, steering wheel, accelerator, turn signal operation information. , the state of the automobile, etc., can be provided to the important area identification device 100 .
- the V2X information includes location information of vehicles located around the camera 140.
- Examples of the V2X information providing device 200 include a system that manages the position of vehicles, a terminal that can acquire position information of vehicles located around the camera 140 from this type of system, a roadside device, and the like.
- the V2X information providing device 200 may be a terminal that receives V2X information from the traffic control system 400 and provides it to the important area identifying device 100 .
- the camera 140 is a camera that is installed around the road so that it can capture images of vehicles passing on the road.
- a camera 140 a camera installed on a traffic signal pole at an intersection, a utility pole, or the like can be used.
- the important area identifying device 100 identifies an important area in the image provided by the server 300 based on the V2X information acquired from the V2X information providing apparatus 200 and notifies the server 300 of it.
- the server 300 transmits the image of the camera 140 to the important area identifying device 100 .
- the server 300 also transmits the image acquired from the camera 140 and the important area information sent from the important area identifying device 100 to the traffic control system 400 .
- the traffic control system 400 uses the image acquired from the camera 140 and the important area information sent from the important area identifying device 100 to present information to the person in charge of traffic control work.
- the traffic control system 400 includes display means for displaying the image captured by the camera 140, and this display means displays the image using the important area.
- the display means of the traffic control system 400 uses the important area information sent from the important area identifying device 100 to perform local image sharpening and object recognition, and output the results.
- a method for sharpening the image a method of instructing compression (encoding) so as to suppress deterioration of the image quality of the corresponding area on the camera 140 side, a method of instructing compression (encoding) of the corresponding area of the image compressed (encoded) by the camera 140, can be improved using a super-resolution technique or the like.
- image quality adjustment means for changing the image quality of an image using information on the important area may be provided in any of the camera 140, the important area identifying device 100, or the server 300. By doing so, it is possible to reduce the load on the traffic control system 400 side.
- the information acquisition unit 101 provides the vehicle and its location information included in the V2X information acquired from the V2X information providing device 200 to the important area identification unit 102 .
- the important area identifying unit 102 identifies a range to be an important area based on the position information of the vehicle, and identifies the important area by converting the range into coordinates in the image captured by the camera. Specifically, the important area identification unit 102 refers to the vehicle position information included in the V2X information, and based on the position of the vehicle within the imageable range of the camera 140, determines the important area in the target space within the imageable range. Identify areas. As a method of specifying this important area, a method of selecting an area by applying a predetermined area specifying rule to the position of the vehicle can be adopted.
- the important area identifying unit 102 further includes a coordinate transforming unit 1021.
- the coordinate conversion unit 1021 converts, for example, area information represented by latitude and longitude obtained from the V2X information providing device 200 into coordinates within the image captured by the camera 140 .
- FIG. 9 is a diagram for explaining an example of a method of identifying an important area by the important area identifying device 100 according to this exemplary embodiment.
- the important area identifying unit 102 identifies an important area in the target space within the photographable range based on the vehicle position information acquired from the V2X information providing device 200 . For example, in the diagram on the left side of FIG. 9, by specifying the latitude and longitude of the upper left corner and the latitude and longitude of the lower right corner of a rectangle, an important area is specified in the object space around the intersection. In the left diagram of Fig.
- V2X information providing devices 200 indicates latitude information or longitude information.
- the coordinate conversion unit 1021 converts the latitude and longitude position information in the target space of the imageable range shown in the left diagram of FIG. 9 into a relative position based on the lower left position in the left diagram.
- the coordinate transformation unit 1021 sets the coordinates of the lower left in the target space of the imageable range to (0, 0) and the coordinates of the upper right to (1023, 1023), and calculates the relative positions of the four corners of the important area. .
- the coordinate transformation unit 1021 stores in advance a table indicating the correspondence between the relative positions of the imageable range in the target space and the corresponding coordinates in the image captured by the camera 140 . Then, the coordinate transformation unit 1021 refers to the table and transforms the relative positions of the four corners of the important area in the target space of the imageable range into corresponding coordinates in the image captured by the camera 140 . Note that if the coordinates of the important area in the target space within the photographable range are between the relative coordinates stored in the table, interpolation processing is performed to convert the coordinates to the corresponding coordinates in the image photographed by the camera 140. can be
- the coordinate transformation unit 1021 transforms the important area described by such latitude and longitude into coordinates within the image of the camera 140 .
- the right-hand diagram of FIG. 9 shows a region of interest defined by four points.
- the coordinates (x1, y1), (x2, y2), (x3, y3), (x4, y4) of the important area in the right diagram of FIG. 9 are the four corners of the important area in the left diagram of FIG. corresponds to the coordinates of
- the important area specifying unit 102 outputs the important area specified in this way to the notification unit 103 .
- the shape of the important region does not have to be rectangular, and can be any shape based on rules set in advance (for example, ROI2 in FIG. 11).
- the important area specifying unit 102 refers to the position information of the vehicle acquired by the information acquiring unit 101, and specifies, as an important area, the vehicle included in the target space of the imageable range shown in the left diagram of FIG. vehicle.
- the coordinate conversion unit 1021 converts the latitude and longitude of the vehicle included in the target space of the imageable range into coordinates in the image of the camera 140 , thereby associating it with the vehicle in the image of the camera 140 .
- the notification unit 103 transmits information on the identified important area to the server 300 .
- the server 300 receives information on the identified important area from the server 300 .
- an example of one important area is shown, but there may be two or more important areas.
- FIG. 10 is a sequence diagram for explaining the operation of the third exemplary embodiment of the invention.
- the important area identifying device 100 receives V2X information including the position information of the vehicle around the intersection where the camera 140 is installed from the V2X information providing device 200 at a predetermined time interval or when the vehicle approaches around the camera 140. acquire (step S101).
- the important area identification device 100 refers to the vehicle position information included in the V2X information, and based on the position of the vehicle within the imageable range of the camera 140, identifies an important area in the target space of the imageable range. (step S102). This operation corresponds to the operation of specifying a rectangle within the intersection on the left side of FIG.
- the positions of vehicles that may move into the imageable range of camera 140 are also identified as important areas. may be included.
- the important area identifying device 100 may select a vehicle for which the important area is to be identified from among the vehicles within the photographable range according to a predetermined rule. By doing so, it is possible to reduce the processing load of the important area identifying device 100 .
- the predetermined rules include a rule for selecting a vehicle according to the position of the vehicle in the image (for example, do not select a vehicle that is far away) or the direction of travel (for example, do not select a vehicle that is moving away from the camera 140), or a rule for selecting an important vehicle to be specified. Rules may include limiting the number of vehicles to select based on the number of regions.
- the important area identification device 100 converts the identified important area in the target space into coordinates on the captured image of the camera 140 obtained via the server 300 (step S103). This operation corresponds to specifying an important area defined by coordinates (x1, y1) to (x4, y4) on the image within the intersection on the right side of FIG.
- the important area identification device 100 notifies the traffic control system 400 of the important area represented by the coordinates on the image captured by the camera 140 via the server 300 (step S104).
- the traffic control system 400 performs processing using the important area notified from the important area identifying device 100 (step S105). For example, the traffic control system 400 performs object recognition on the image within the important area notified from the important area identifying device 100, and displays the result to the person in charge of traffic control. In addition, the traffic control system 400 can transmit the result of object recognition to an automatically driving vehicle or the like under control of the traffic control system 400 . Further, the display means may display the image of the important area in the image in a manner distinguishable from other images. In this case, the traffic control system 400 performs processing or the like to indicate the important area on the image captured by the camera 140 in a visually easy-to-understand form.
- the important area identification device 100 can identify an important area using an area identification rule that identifies a predetermined range in the traveling direction of the vehicle as an important area.
- 11 and 12 are diagrams showing an example of specifying the important area in this case.
- a predetermined range in the traveling direction is specified as the important region ROI1.
- a predetermined range in the traveling direction is specified as the important region ROI2.
- the width of the ROI1 is equivalent to the width of the vehicle 30a, and the length is the region through which the vehicle 30a passes after a predetermined time (for example, several seconds).
- the length of the ROI1 may be a fixed value such as a range of several meters in front of the vehicle 30a. In the example shown in FIG.
- the ROI2 has a substantially trapezoidal shape that widens from a width corresponding to the width of the vehicle 30b as the distance from the vehicle 30b increases.
- the important area By forming the important area into a substantially trapezoidal shape in this way, it is possible to cover an area in which a moving object (pedestrian) that may cross the vehicle 30b exists.
- the important area By making the important area substantially trapezoidal, it is possible to compensate for the difference in turning radius (a large turn and a small turn) for each vehicle when turning right or left.
- the important regions ROI1 and ROI2 change following the movement of the vehicles 30a and 30b in the image 900. By doing so, it is possible to obtain the latest road surface conditions and object recognition results.
- the area identification rule is not limited to the examples shown in FIGS.
- an area identification rule that designates the vicinity of the vehicle position as an important area.
- important regions ROI3 and ROI4 are specified in a predetermined range around the vehicles 30a and 30b in the image 900.
- the important areas ROI3 and ROI4 are specified in a predetermined range around the vehicles 30a and 30b. may be specified.
- the traffic control system 400 is described as being notified of the important area, but the camera 140 may also be notified of the important area. By doing so, for example, the camera 140 can change the video compression method so as to improve the image quality of the important area notified from the important area identifying device 100 .
- the server 300 may be caused to perform processing using the important area. By doing so, it is possible to reduce the load on the traffic control system 400 side.
- the important area identification unit 102 identifies a range to be an important area based on the position information of the vehicle. Identify regions of interest by transforming them into coordinates in the image taken at . Therefore, it is possible to identify the important area at an appropriate position in the image captured by the camera.
- FIG. 14 is a diagram showing the configuration of an important region identification device 100a according to the fourth exemplary embodiment of the present invention together with its peripheral configuration.
- the important area identifying device 100a according to this exemplary embodiment is connected to the V2X information providing device 200a and the server 300 via a network, for example.
- Components having the same functions as those described in the third exemplary embodiment are denoted by the same reference numerals, and descriptions thereof are omitted as appropriate.
- the important area identifying device 100a according to this exemplary embodiment and the important area identifying device 100 according to the third exemplary embodiment shown in FIG. 8 have the following two points of difference in configuration.
- the first difference is that the V2X information providing device 200a provides the important area identifying device 100a with vehicle speed information and the like in addition to the vehicle position.
- the second difference is that the important area identifying unit 102a of the important area identifying device 100a identifies the important area using information other than the vehicle position, such as vehicle speed information.
- the V2X information providing device 200a provides the important area identifying device 100a with information such as the position of the vehicle, driving characteristics such as vehicle speed information, vehicle type, acceleration/deceleration, operation information of the steering wheel, accelerator, and turn signals, and the state of the vehicle. provide information.
- the information acquisition unit 101 acquires one or more of vehicle speed, vehicle type, acceleration, steering wheel, accelerator, and blinker operation information.
- the important area identifying unit 102a identifies an important area within the photographable area of the camera based on one or more of vehicle speed, vehicle type, acceleration, steering wheel, accelerator, turn signal operation information and vehicle position information. do.
- the important area identification unit 102a refers to information such as vehicle position information and speed information included in the V2X information provided by the V2X information providing device 200a, and determines the position of the vehicle within the photographable range of the camera 140. to identify an important area in the object space of the photographable range.
- FIG. 15 is a diagram for explaining an example of a method of specifying an important region by the important region specifying device 100a according to this exemplary embodiment.
- the important area specifying unit 102a refers to the position information of the vehicle acquired from the V2X information providing device 200a to specify an important area in the target space of the shootable range. At this time, the important area specifying unit 102a expands or reduces the range of the important area based on the vehicle speed information acquired from the V2X information providing device 200a.
- an important area is specified in the target space around the intersection by specifying the latitude and longitude of the upper left corner and the latitude and longitude of the lower right corner of the rectangle.
- the important area specifying unit 102a performs processing to expand the important area in the traveling direction of the vehicle, as shown in the left diagram of FIG. and expand the important area to "N AA AA AA.EEE” and "E BBB BB BB.FFF".
- the coordinate transformation unit 1021 transforms the latitude and longitude position information in the target space of the shootable range into corresponding coordinates in the image shot by the camera 140 .
- the right diagram of FIG. 15 shows a region of interest defined by four points.
- the coordinates (x1, y1), (x2, y2), (x3′, y3′), (x4′, y4′) of the important area in the right diagram of FIG. 15 are the 4 coordinates of the important area in the left diagram of FIG. corresponds to the coordinates of one corner.
- the important area identification unit 102a outputs the enlarged important area to the notification unit 103.
- the speed of the vehicle is faster than the predetermined threshold, so processing is performed to expand the important region. Processing is also possible.
- FIG. 16 is a diagram for explaining the operation of the important area identifying device according to the fourth exemplary embodiment of the present invention.
- the important region specifying unit 102a specifies an enlarged important region ROI1a according to the speed of the vehicle 30a coming straight ahead in the image 900.
- FIG. 16 is a diagram for explaining the operation of the important area identifying device according to the fourth exemplary embodiment of the present invention.
- the important region specifying unit 102a specifies an enlarged important region ROI1a according to the speed of the vehicle 30a coming straight ahead in the image 900.
- the important area identifying unit 102a can identify important areas using vehicle type, acceleration, steering wheel, accelerator, blinker operation information, etc., in addition to vehicle speed. For example, as shown in FIG. 17, when the bus 30c blinks the turn signal for changing lanes to the right side (left side in FIG. 17) with respect to the traveling direction, the important area identification unit 102a receives the V2X information providing device 200a. The operation information of blinking of the blinker of the bus 30c is acquired, and the important area ROI5 having the width of the vehicle width of the bus 30c is specified as the lane after the lane change.
- the important area identifying unit 102a acquires the operation information of the handle of the bus 30c from the V2X information providing device 200a, and identifies the traveling direction of the bus 30c according to the operation information of the handle to identify the important area. good too.
- the important area identifying unit 102a may acquire the acceleration or accelerator operation information of the bus 30c from the V2X information providing device 200a, and identify the important area by identifying the running speed of the bus from the information. .
- the important area specifying unit 102a may acquire the vehicle type from the V2X information providing device 200a and set the width and size of the important area according to the vehicle type.
- V2X information vehicle speed, vehicle type, acceleration, steering wheel, accelerator, blinker, etc. are exemplified, but these are only examples, and other V2X information is used to specify important areas.
- the important area identification unit 102a may identify important areas based on the driver's attributes (age, driving history, license type, accident history, etc.). .
- the important area identification unit 102a identifies an important area that is wider than usual on the forward side in the traveling direction of the vehicle. By doing so, it becomes possible to cause the control center or the like to monitor road abnormalities based on a wider important area, and notify the driver or the like of the result.
- the important area identifying unit 102a may identify important areas based on vehicle attributes (type of vehicle, whether the vehicle is an emergency vehicle, etc.). By doing so, it is possible to differentiate the important areas to be specified between general vehicles and emergency vehicles (ambulances, fire engines, etc.). For example, for an ambulance, the important area identification unit 102a identifies an important area ahead of the vehicle in the traveling direction, which is wider than that of a general vehicle. By doing so, it becomes possible to cause the control center or the like to monitor road abnormalities based on a wider important area, and notify the driver or the like of the result.
- vehicle attributes type of vehicle, whether the vehicle is an emergency vehicle, etc.
- emergency vehicles ambulances, fire engines, etc.
- the important area identification unit 102a identifies an important area ahead of the vehicle in the traveling direction, which is wider than that of a general vehicle. By doing so, it becomes possible to cause the control center or the like to monitor road abnormalities based on a wider important area, and notify the driver or the like of the result
- the important area identifying unit 102a can select any one of the vehicle speed, vehicle type, acceleration, steering wheel, accelerator, and blinker operation information. Based on the above and the positional information of the vehicle, an important area within the imageable area of the camera is specified. Therefore, the important area specifying unit 102a can more appropriately specify the important area based on the operation information.
- the camera 140 is a fixed camera installed at an intersection, but the camera that captures the image to be identified in the important area is a fixed camera. is not limited.
- the important region identifying device identifies important regions in, for example, an image captured by an in-vehicle camera mounted on a vehicle.
- FIG. 18 is a diagram showing the configuration of an important region specifying device 100b according to the fifth exemplary embodiment of the present invention together with its peripheral configuration.
- the important area identification device 100b according to this exemplary embodiment includes an information acquisition unit 101, an important area identification unit 102b, and a notification unit 103, as shown in FIG.
- Components having the same functions as those described in the third and fourth exemplary embodiments are denoted by the same reference numerals, and their descriptions are omitted as appropriate.
- an in-vehicle camera is mounted on the vehicle 30d instead of the camera 140 installed so as to be able to photograph the road.
- the V2X information providing device 200b provides the important area identifying device 100b with V2X information including location information of vehicles around the vehicle 30d. Then, the important area identifying device 100b refers to the V2X information provided from the V2X information providing device 200b to identify the important area for the image of the vehicle-mounted camera 140b.
- the V2X information providing device 200b is aware of the position of the vehicle 30d, and provides the important area identifying device 100b with V2X information including the positions of other vehicles located around the vehicle 30d on which the in-vehicle camera 140b is mounted. do.
- the important area identifying device 100b refers to the V2X information acquired from the V2X information providing apparatus 200b, identifies an important area in the image of the onboard camera 140b provided from the vehicle 30d via the server 300b, and notifies the server 300b.
- the important region identification device 100b according to the present exemplary embodiment performs coordinate conversion and the like in consideration of changes in the imaging range of the vehicle-mounted camera 140b as the vehicle 30d moves.
- the important area identification unit 102b identifies a rectangular area ahead of the vehicle 30d in the traveling direction as an important area based on the position information of the vehicle 30d.
- This important area is represented by a relative position from the position of the vehicle (for example, a rectangular area having a width of 2 m and a length of 5 m from the front end of the vehicle). Then, the important area specifying unit 102b converts this important area into coordinates within the image of the vehicle-mounted camera 140b.
- the coordinate transformation unit 1021 sets the coordinates of the lower left in the target space of the imageable range to (0, 0) and the coordinates of the upper right to (1023, 1023), and calculates the relative positions of the four corners of the important area. .
- the coordinate conversion unit 1021 stores in advance a table indicating the correspondence between the relative positions of the imageable range in the target space and the corresponding coordinates in the image captured by the camera 140b. Then, the coordinate conversion unit 1021 refers to the table and converts the relative positions of the four corners of the important area in the target space of the imageable range into corresponding coordinates in the image captured by the camera 140b. Note that if the coordinates of the important area in the target space of the photographable range are between the relative coordinates stored in the table, interpolation processing is performed to convert the coordinates to the corresponding coordinates in the image photographed by the camera 140b. can be
- the coordinate transformation unit 1021 transforms the important area described by such latitude and longitude into coordinates within the image of the camera 140b.
- the right-hand diagram of FIG. 9 shows a region of interest defined by four points.
- the coordinates (x1, y1), (x2, y2), (x3, y3), (x4, y4) of the important area in the right diagram of FIG. 9 are the four corners of the important area in the left diagram of FIG. corresponds to the coordinates of
- the server 300b transmits the image received from the vehicle-mounted camera 140b to the important area identifying device 100b.
- the server 300b also transmits to the traffic control system 400 the image received from the vehicle-mounted camera 140b and the important area information sent from the important area identifying device 100b.
- the traffic control system 400 uses the image received from the vehicle-mounted camera 140b and the important area information sent from the important area identifying device 100b to present information, etc. to the workers who perform traffic control work. For example, the traffic control system 400 uses the important area information sent from the important area identifying device 100b to locally sharpen the image obtained from the vehicle-mounted camera 140b, and perform object recognition.
- the important area identification unit 102b identifies an important area in the image captured by the vehicle-mounted camera 140b. Therefore, it is possible to provide information and the like regarding remote support to automatic driving vehicles and vehicles of drivers who are not accustomed to driving vehicles.
- Some or all of the functions of the important area identification systems 1, 1a and the important area identification devices 10, 10a, 100, 100a, 100b may be realized by hardware such as integrated circuits (IC chips), or by software. may be realized.
- the important area identification systems 1, 1a and the important area identification devices 10, 10a, 100, 100a, 100b are implemented by, for example, computers that execute program instructions, which are software that implements each function.
- An example of such a computer (hereinafter referred to as computer C) is shown in FIG.
- Computer C comprises at least one processor C1 and at least one memory C2.
- the memory C2 stores a program P for operating the computer C as the important area identifying systems 1, 1a and the important area identifying devices 10, 10a, 100, 100a, 100b.
- the processor C1 reads the program P from the memory C2 and executes the functions of the important area identification systems 1, 1a and the important area identification devices 10, 10a, 100, 100a, 100b.
- processor C1 for example, CPU (Central Processing Unit), GPU (Graphic Processing Unit), DSP (Digital Signal Processor), MPU (Micro Processing Unit), FPU (Floating point number Processing Unit), PPU (Physics Processing Unit) , a microcontroller, or a combination thereof.
- memory C2 for example, a flash memory, HDD (Hard Disk Drive), SSD (Solid State Drive), or a combination thereof can be used.
- the computer C may further include a RAM (Random Access Memory) for expanding the program P during execution and temporarily storing various data.
- Computer C may further include a communication interface for sending and receiving data to and from other devices.
- Computer C may further include an input/output interface for connecting input/output devices such as a keyboard, mouse, display, and printer.
- the program P can be recorded on a non-temporary tangible recording medium M that is readable by the computer C.
- a recording medium M for example, a tape, disk, card, semiconductor memory, programmable logic circuit, or the like can be used.
- the computer C can acquire the program P via such a recording medium M.
- the program P can be transmitted via a transmission medium.
- a transmission medium for example, a communication network or broadcast waves can be used.
- Computer C can also acquire program P via such a transmission medium.
- Appendix 1 an information acquisition means for acquiring position information of the vehicle; important area identification means for identifying an important area within the photographable area of the camera based on the position information of the vehicle; important area notification means for notifying the important area to an image processing device that processes an image captured by the camera; Critical area identification system with
- the important area identifying means can appropriately identify image areas important to the vehicle. These important regions can be used by video users, for example, for visual monitoring of images by humans, and for various image processing by computers.
- Appendix 2 The important area identifying system according to appendix 1, wherein the important area identifying means identifies an area in which the vehicle travels in the important area based on the positional information of the vehicle.
- the important area identifying means can appropriately identify image areas important to the vehicle.
- the important area identifying means identifies a range to be the important area based on the position information of the vehicle, and identifies the important area by converting the range into coordinates in the image captured by the camera. , Supplementary Note 2.
- the information acquisition means further acquires any one or more of the speed, vehicle type, acceleration, steering wheel, accelerator, and turn signal operation information of the vehicle
- the important area identifying means determines an important area within the photographable area of the camera based on one or more of operation information of the speed, vehicle type, acceleration, steering wheel, accelerator, and turn signals of the vehicle and the position information of the vehicle. 4.
- the important area identification system according to any one of Appendices 1 to 3, wherein the area is identified.
- the important area identifying means can more appropriately identify the important area based on the operation information.
- appendix 5 The important area identifying system according to any one of appendices 1 to 4, further comprising image quality adjusting means for changing the image quality of the image captured by the camera based on the information about the identified important area.
- the image quality adjustment means changes the image quality so as to suppress the deterioration of the image in the important area, thereby enabling human visual monitoring of the image and various image processing by the computer to be performed in more detail. becomes possible.
- Appendix 6 The important area identification system according to any one of Appendices 1 to 5, wherein the camera is a camera installed at an intersection or a camera mounted on a vehicle.
- Appendix 7 further comprising display means for displaying an image captured by the camera, 7.
- the important area identification system according to any one of Appendices 1 to 6, wherein the display means displays the image using the important area.
- the display means uses the important area to display the image captured by the camera, so that it is possible for a person to visually monitor the image in more detail.
- an information acquisition means for acquiring position information of the vehicle; important area identification means for identifying an important area within the photographable area of the camera based on the position information of the vehicle; important area notification means for notifying the important area to an image processing device that processes an image captured by the camera; Critical area identification device with
- the important area identifying means can appropriately identify image areas important to the vehicle. These important regions can be used by video users, for example, for visual monitoring of images by humans, and for various image processing by computers.
- Appendix 9 The important area identifying device according to appendix 8, wherein the important area identifying means identifies an area in a traveling direction of the vehicle as the important area based on the positional information of the vehicle.
- the important area identifying means can appropriately identify image areas important to the vehicle.
- the important area identifying means identifies a range to be the important area based on the position information of the vehicle, and identifies the important area by converting the range into coordinates in the image captured by the camera. , Supplementary Note 9.
- the information acquisition means further acquires any one or more of the speed, vehicle type, acceleration, steering wheel, accelerator, and turn signal operation information of the vehicle,
- the important area identifying means determines an important area within the photographable area of the camera based on one or more of operation information of the speed, vehicle type, acceleration, steering wheel, accelerator, and turn signals of the vehicle and the position information of the vehicle.
- the important area identification device according to any one of Appendices 8 to 10, which identifies an area.
- the important area identifying means can more appropriately identify the important area based on the operation information.
- the important area identification device according to any one of attachments 8 to 11, further comprising image quality adjustment means for changing the image quality of the image captured by the camera based on the information of the identified important area.
- the image quality adjustment means changes the image quality so as to suppress the deterioration of the image in the important area, thereby enabling human visual monitoring of the image and various image processing by the computer to be performed in more detail. becomes possible.
- Appendix 14 further comprising display means for displaying an image captured by the camera, 14.
- the important area specifying device according to any one of attachments 8 to 13, wherein the display means displays the image using the important area.
- the display means uses the important area to display the image captured by the camera, so that it is possible for a person to visually monitor the image in more detail.
- Appendix 19 19. The method of specifying an important region according to any one of Appendices 15 to 18, further comprising changing the image quality of the image captured by the camera based on the information of the specified important region.
- Appendix 20 20.
- the important area identification method according to any one of Appendices 15 to 19, wherein the camera is a camera installed at an intersection or a camera mounted on a vehicle.
- Appendix 22 at least one processor, the processor for obtaining location information of the vehicle; a process of identifying an important area in the photographable area of the camera based on the position information of the vehicle; a process of notifying an image processing device that processes an image captured by the camera of the important area; A critical area identification system that performs
- this important area identification system may further include a memory, and this memory contains a program for causing the processor to execute the acquisition process, the identification process, and the notification process. may be stored. Also, this program may be recorded in a computer-readable non-temporary tangible recording medium.
- Appendix 23 at least one processor, the processor for obtaining location information of the vehicle; a process of identifying an important area in the photographable area of the camera based on the position information of the vehicle; a process of notifying an image processing device that processes an image captured by the camera of the important area; Critical area identification device that performs
- the important area identification device may further include a memory, and this memory contains a program for causing the processor to execute the acquisition process, the identification process, and the notification process. may be stored. Also, this program may be recorded in a computer-readable non-temporary tangible recording medium.
- Reference Signs List 1 1a important area identification system 10, 10a, 100, 100a, 100b important area identification device 11 information acquisition means 12 important area identification means 13 important area notification means 14 image quality adjustment means 15 display means 30a, 30b, 30d vehicle 30c bus 140 Camera 140b In-vehicle camera 101 Information acquisition unit 102, 102a, 102b Important area identification unit 103 Notification unit 200, 200a, 200b V2X information providing device 300, 300b Server 400 Traffic control system 1021 Coordinate transformation unit ROI1 to ROI3, ROI5, ROI1a Important area
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
映像内において重要な画像領域を適切に特定することのできるように、重要領域特定システム(1)は、車両の位置情報を取得する情報取得手段(11)と、車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定する重要領域特定手段(12)と、カメラで撮影された画像を処理する画像処理装置に対して、重要領域を通知する重要領域通知手段(13)と、を備えている。
Description
本発明は、重要領域特定システム、重要領域特定装置、重要領域特定方法およびプログラムに関する。
カメラによって撮像された映像に、領域を設定する手法として、特許文献1~3のような技術が知られている。特許文献1には、道路を横断する歩行者及び道路を通過する自動車を撮影するカメラを用いた監視システムの一例が開示されている。同文献によると、この監視システムは、歩行者検出手段及び道路情報記録領域を備えており、この歩行者検出手段で算出した歩行者の位置と道路情報記録領域に蓄積されている道路情報に基づいて重要な画像領域を設定する。
特許文献2には、俯瞰画像を用いながらも車体周辺情報を運転者にとって視認しやすい形態でモニタ表示できる機能を備えた作業車用の、車体の進行方向に向き合う領域を注目領域に設定する注目領域決定アルゴリズムが開示されている。
特許文献3には、車両の周辺に存在する移動体に係る動的リスク領域と、前記車両の周囲に存在する静止物に係る静的リスク領域とを特定するリスク領域特定部と、これらの領域を表示する表示部とを備えるリスク領域表示システムが開示されている。
しかしながら、特許文献1では、車両の進行方向に基づいて領域を設定しているため、映像内において、領域を適切に設定できない可能性がある。また、特許文献2、3の方法では、カメラの撮像した映像が不鮮明である場合、領域を適切に設定することができない可能性がある。
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、映像内において重要な画像領域を適切に特定することのできる技術を実現することにある。
本発明の一態様に係る重要領域特定システムは、車両の位置情報を取得する情報取得手段と、前記車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定する重要領域特定手段と、前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する重要領域通知手段と、を備えている。
本発明の一態様に係る重要領域特定装置は、車両の位置情報を取得する情報取得手段と、前記車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定する重要領域特定手段と、前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する重要領域通知手段と、を備えている。
本発明の一態様に係る重要領域特定方法は、車両の位置情報を取得し、前記車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定し、前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する。
本発明の一態様に係るプログラムは、コンピュータに、車両の位置情報を取得する処理と、車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定する処理と、前記カメラで撮影された画像を処理する画像処理装置に対して、重要領域を通知する処理と、を実行させる。
本発明の一態様によれば、映像内において重要な画像領域を適切に特定することができる。
〔例示的実施形態1〕
はじめに本発明の例示的実施形態1について図面を参照して説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。また、図中の各ブロックの入出力の接続点には、ポート乃至インタフェースを備える構成としてもよいが、これらの構成については図示を省略する。
はじめに本発明の例示的実施形態1について図面を参照して説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。また、図中の各ブロックの入出力の接続点には、ポート乃至インタフェースを備える構成としてもよいが、これらの構成については図示を省略する。
<重要領域特定システム>
本例示的実施形態に係る重要領域特定システム1は、図1に示すように、情報取得手段11と、重要領域特定手段12と、重要領域通知手段13と、を備えている。重要領域特定システム1は、1又は複数の車両(図1における車両30a、30b)を画角に含む撮像画像をカメラ140から取得し、取得した撮像画像に重要領域を特定するシステムである。
本例示的実施形態に係る重要領域特定システム1は、図1に示すように、情報取得手段11と、重要領域特定手段12と、重要領域通知手段13と、を備えている。重要領域特定システム1は、1又は複数の車両(図1における車両30a、30b)を画角に含む撮像画像をカメラ140から取得し、取得した撮像画像に重要領域を特定するシステムである。
情報取得手段11、重要領域特定手段12、及び重要領域通知手段13は、一例として、ネットワークを介して通信可能に構成されている。ここで、当該ネットワークの具体的構成は本例示的実施形態を限定するものではないが、一例として、無線LAN(Local Area Network)、有線LAN、WAN(Wide Area Network)、公衆回線網、モバイルデータ通信網、又は、これらのネットワークの組み合わせを用いることができる。
情報取得手段11は、車両30a、30bの位置情報を取得する。車両30a、30bの位置情報は、道路上の複数の車両の位置を管理する管理システム等から取得することができる。このような管理システムでは、一例として、対象となる複数の車両の各々の位置情報を、各車両からネットワークを介して取得する。ここで、各車両の位置情報は、一例として各車両に搭載されたGPS(Global Positioning System)装置によって取得することができる。上記管理システムとしては、一例として、車両の位置を管理し、渋滞情報の提供や経路案内を行う車両向けの情報処理システム等が挙げられる。ただし、これらの例は、本例示的実施形態を限定するものではない。例えば、上記管理システムは、各車両のドライバーが携帯する端末装置から位置情報を取得し、取得した位置情報を、当該車両の位置情報として用いてもよい。
また、情報取得手段11は、前記道路を撮影可能に設置されたカメラ140の周辺に位置する車両に関する位置情報を取得する構成としてもよい。一例として、情報取得手段11は、対象となる複数の車両の各々の位置情報と、カメラ140の位置情報とを取得し、これら複数の車両の各々の位置情報とカメラ140の位置情報とを比較することによって、カメラ140の周辺に位置する車両を特定する。そして、特定した車両の位置情報を、後述する重要領域特定手段12に提供する構成としてもよい。
なお、カメラ140の周辺とは、一例として、カメラ140から所定の距離以内に含まれる範囲のことを指す。一例として、情報取得手段11は、カメラ140から数十メートル以内に存在する車両を、当該車両の位置情報とカメラ140の位置情報とを比較することによって特定し、特定した車両の位置情報を後述する重要領域特定手段12に提供する。
重要領域特定手段12は、前記車両30a、30bの位置情報に基づいて、前記カメラ140の撮影可能領域中の重要領域を特定する。ここで、撮影可能領域とは、一例としてカメラ140が画像として記録可能な対象空間中の範囲のことを指し、カメラ140の画角によって規定される。また、このカメラ140がパン、チルト、ズームのいずれかの機能を有している場合、撮影可能領域はパン、チルト、ズームに応じて変化する。
また、「重要領域」は、注目領域やROI(Region Of Interest)とも呼ばれ、一例として、画像中の他の領域と比べ、重要度の高い領域のことを指す。ただし、上記の説明はあくまで一例であり、「重要領域」との文言は本例示的実施形態を限定するものではない。また、本例示的実施形態において、重要領域は、対象空間中の座標によって表現することができるがこれは本例示的実施形態を限定するものではない。例えば、重要領域は、撮像画像中の座標によって表現してもよい。
重要領域特定手段12は、一例として、前記車両の位置情報に基づいて、車両前方の所定領域を重要領域に特定する。ここで、前記車両の進行方向は、重要領域特定手段12によって、例えば、車両の位置情報等から割り出す(予測する)ことができる。例えば、重要領域特定手段12は、カメラ140による撮像画像における当該車両の位置から、当該車両が、右車線及び左車線の何れを走行しているのかを特定し、特定した車線に応じて当該車両の進行方向を特定することができる。また、重要領域特定手段12が、前記車両の位置情報を時系列データとして取得する場合、その位置の変化により車両の進行方向を特定することもできる。
重要領域通知手段13は、所定の画像処理装置に対して、前記重要領域を通知する。前記所定の画像処理装置としては、カメラ140やカメラ140で撮影された画像を利用する装置等を挙げることができる。これらの装置に通知された重要領域は、画像処理や物体認識処理の対象となる範囲や画像の閲覧者に注意を喚起する領域を指定する情報として利用される。
例えば、所定の画像処理装置がカメラ140の場合、カメラ140において、送信する画像中の重要領域の画像の鮮明化、強調処理等を行うことができる。また、所定の画像処理装置が画像表示装置の場合、画像表示装置において、受信した画像中の重要領域の画像の鮮明化等を行って画像を表示することができる。
画像の鮮明化とは、画像内の特定の領域を、他の領域よりも高画質(鮮明)にすることを指す。例えば、カメラ側にて該当領域の画質の劣化を抑えるように圧縮(符号化)をすることで画像の鮮明化をすることができる。また、カメラにて圧縮(符号化)された画像の該当領域の画質を、超解像技術等を用いて向上させることで、画像の鮮明化をすることができる。
(重要領域特定システム1による効果)
以上説明したように、本例示的実施形態に係る重要領域特定システム1によれば、重要領域特定手段12が、車両30a、30bの位置情報に基づいて、カメラ140の撮影可能領域中の重要領域を特定する。したがって、重要領域特定手段12は、車両30aおよび30bのそれぞれに対して重要な画像領域を適切に特定することができる。これらの重要領域は、映像利用者、例えば、人間による画像の目視監視や、コンピュータによる各種の画像処理に利用することができる。
以上説明したように、本例示的実施形態に係る重要領域特定システム1によれば、重要領域特定手段12が、車両30a、30bの位置情報に基づいて、カメラ140の撮影可能領域中の重要領域を特定する。したがって、重要領域特定手段12は、車両30aおよび30bのそれぞれに対して重要な画像領域を適切に特定することができる。これらの重要領域は、映像利用者、例えば、人間による画像の目視監視や、コンピュータによる各種の画像処理に利用することができる。
また、重要領域通知手段13が、例えば、画像の目視監視を行う遠隔監視センターに、車両30a、30bの重要領域を通知することで、遠隔監視センターにおいて、車両30a、30bの重要領域を用いた各種の画像処理を行うことができる。これにより、画像処理結果に応じて、自動運転車両に対して、自動運転車両からは気づきにくい、道路の異常個所や事故の回避動作を実施させることが可能となる。
また、重要領域特定手段12が、車両の位置情報に基づいて、カメラ140の撮影可能領域中の重要領域を特定するので、カメラ140の画像に映っている車両が遠くにある場合や、天候、レンズの汚れなどにより映像が不鮮明な場合でも、重要領域を特定することができる。
画像処理装置が、ネットワークを介して画像を画像表示装置に送信するシステムにおいて、画像処理装置が、特定された重要領域に基づいて、重要領域を高画質にし、重要領域以外の領域を低画質にすることで、ネットワークの帯域が圧迫されている場合でも、目視監視や画像処理が可能な画像を提供することができる。
<重要領域特定装置>
図2は、本例示的実施形態に係る重要領域特定装置の構成を、例示的な車両及びカメラと共に示す図である。図2に示すように、本例示的実施形態に係る重要領域特定装置10は、上述した情報取得手段11と、重要領域特定手段12と、重要領域通知手段13とを1つの装置に集約した構成を有している。重要領域特定装置10は、クラウド基盤やインターネット上に設置されたサーバ等により構成することができる。また、重要領域特定装置10は、カメラ140に近い位置に設置されたMEC(Multi-access Edge ComputingまたはMobile Edge Computing)サーバであってもよい。
図2は、本例示的実施形態に係る重要領域特定装置の構成を、例示的な車両及びカメラと共に示す図である。図2に示すように、本例示的実施形態に係る重要領域特定装置10は、上述した情報取得手段11と、重要領域特定手段12と、重要領域通知手段13とを1つの装置に集約した構成を有している。重要領域特定装置10は、クラウド基盤やインターネット上に設置されたサーバ等により構成することができる。また、重要領域特定装置10は、カメラ140に近い位置に設置されたMEC(Multi-access Edge ComputingまたはMobile Edge Computing)サーバであってもよい。
情報取得手段11は、車両30a、30bの位置情報を取得する。車両30a、30bの位置情報は、道路上の複数の車両の位置を管理する管理システム等から取得することができる。
重要領域特定手段12は、前記車両30a、30bの位置情報に基づいて、カメラ140の撮影可能領域中の重要領域を特定する。重要領域は、注目領域やROIとも呼ばれ、一例として、画像中の他の領域と比べ、重要度の高い領域のことを指す。
重要領域特定手段12は、一例として、前記車両の位置情報に基づいて、車両前方の所定領域を重要領域に特定する。ここで、前記車両の進行方向は、重要領域特定手段12によって、例えば、車両の位置情報等から割り出す(予測する)ことができる。
重要領域通知手段13は、所定の画像処理装置に対して、重要領域を通知する。所定の画像処理装置としては、カメラ140やカメラ140で撮影された画像を利用する装置等を挙げることができる。
(重要領域特定装置による効果)
以上説明したように、本例示的実施形態に係る重要領域特定装置10によれば、重要領域特定手段12は、車両30aおよび30bのそれぞれに対して重要な画像領域を適切に特定することができる。これらの重要領域は、映像利用者、例えば、人間による画像の目視監視や、コンピュータによる各種の画像処理に利用することができる。
以上説明したように、本例示的実施形態に係る重要領域特定装置10によれば、重要領域特定手段12は、車両30aおよび30bのそれぞれに対して重要な画像領域を適切に特定することができる。これらの重要領域は、映像利用者、例えば、人間による画像の目視監視や、コンピュータによる各種の画像処理に利用することができる。
また、重要領域通知手段13が、例えば、画像の目視監視を行う遠隔監視センターに、車両30a、30bの重要領域を通知することで、遠隔監視センターにおいて、車両30a、30bの重要領域を用いた各種の画像処理を行うことができる。これにより、画像処理結果に応じて、自動運転車両に対して、自動運転車両からは気づきにくい、道路の異常個所や事故の回避動作を実施させることが可能となる。
<重要領域特定方法>
図3は、本発明の第1の例示的実施形態に係る重要領域特定方法の流れを示すフロー図である。まず、情報取得手段11は、周辺車両30a、30bの位置情報を取得する(ステップS001)。例えば、情報取得手段11は、図4に示すように、車両30a、30bの位置情報として、車両30aの位置情報(x1,y1)と、車両30bの位置情報(x2,y2)とを取得する。ここで、位置情報(x1,y1)および(x2,y2)は、例えば、GPS装置によって取得された車両30aおよび30bの緯度情報および経度情報である。
図3は、本発明の第1の例示的実施形態に係る重要領域特定方法の流れを示すフロー図である。まず、情報取得手段11は、周辺車両30a、30bの位置情報を取得する(ステップS001)。例えば、情報取得手段11は、図4に示すように、車両30a、30bの位置情報として、車両30aの位置情報(x1,y1)と、車両30bの位置情報(x2,y2)とを取得する。ここで、位置情報(x1,y1)および(x2,y2)は、例えば、GPS装置によって取得された車両30aおよび30bの緯度情報および経度情報である。
また、位置情報(x1,y1)および(x2,y2)は、例えば、カメラ140によって撮影された画像内における車両30aおよび車両30bの座標であってもよい。例えば、道路上の複数の車両の位置を管理する管理システム等において、カメラ140によって撮影された画像に対して物体認識処理を行うことにより、車両30aおよび車両30bを特定することができる。管理システム等は、カメラ140によって撮影された画像内における、車両30aおよび車両30bの座標を上記位置情報とすることができる。
次に、重要領域特定手段12は、前記車両30a、30bの位置情報に基づいて、前記カメラ140の撮影可能領域中の重要領域を特定する(ステップS002)。例えば、重要領域特定手段12は、図5に示すように、車両30a、30bの前方の所定範囲を、重要領域ROI1、ROI2として特定する。
ここで、車両の進行方向は、重要領域特定手段12によって、例えば、車両30a、30bの位置情報等から割り出す(予測する)ことができる。例えば、重要領域特定手段12は、カメラ140による撮像画像における車両30a、30bの位置から、車両30a、30bが、右車線及び左車線の何れを走行しているのかを特定し、特定した車線に応じて車両30a、30bの進行方向を特定することができる。また、重要領域特定手段12が、車両30a、30bの位置情報を時系列データとして取得する場合、その位置の変化により車両30a、30bの進行方向を特定することもできる。重要領域特定手段12は、特定した車両30a、30bの進行方向の所定範囲を、重要領域ROI1、ROI2として特定する。
重要領域特定手段12は、一例として、前記車両の位置情報に基づいて、車両前方の所定領域を重要領域に特定する。ここで、前記車両の進行方向は、重要領域特定手段12によって、例えば、車両の位置情報等から割り出す(予測する)ことができる。
最後に、重要領域通知手段13は、所定の画像処理装置に対して、前記重要領域ROI1、ROI2を通知する(ステップS003)。所定の画像処理装置としては、カメラ140やカメラ140で撮影された画像を利用する装置等を挙げることができる。
(重要領域特定方法による効果)
以上説明したように、本例示的実施形態に係る重要領域特定方法によれば、重要領域特定手段12は、車両30aおよび30bのそれぞれに対して重要な画像領域を適切に特定することができる。これらの重要領域は、映像利用者、例えば、人間による画像の目視監視や、コンピュータによる各種の画像処理に利用することができる。
以上説明したように、本例示的実施形態に係る重要領域特定方法によれば、重要領域特定手段12は、車両30aおよび30bのそれぞれに対して重要な画像領域を適切に特定することができる。これらの重要領域は、映像利用者、例えば、人間による画像の目視監視や、コンピュータによる各種の画像処理に利用することができる。
また、重要領域通知手段13が、例えば、画像の目視監視を行う遠隔監視センターに、車両30a、30bの重要領域を通知することで、遠隔監視センターにおいて、車両30a、30bの重要領域を用いた各種の画像処理を行うことができる。これにより、画像処理結果に応じて、自動運転車両に対して、自動運転車両からは気づきにくい、道路の異常個所や事故の回避動作を実施させることが可能となる。
〔例示的実施形態2〕
本発明の第2の例示的実施形態について、図面を参照して詳細に説明する。
本発明の第2の例示的実施形態について、図面を参照して詳細に説明する。
<重要領域特定システム>
本例示的実施形態に係る重要領域特定システム1aは、図6に示すように、情報取得手段11と、重要領域特定手段12と、重要領域通知手段13と、画質調整手段14と、表示手段15と、を備えている。なお、例示的実施形態1において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
本例示的実施形態に係る重要領域特定システム1aは、図6に示すように、情報取得手段11と、重要領域特定手段12と、重要領域通知手段13と、画質調整手段14と、表示手段15と、を備えている。なお、例示的実施形態1において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
情報取得手段11は、車両30a、30bの位置情報を取得する。車両30a、30bの位置情報は、道路上の複数の車両の位置を管理する管理システム等から取得することができる。
重要領域特定手段12は、前記車両30a、30bの位置情報に基づいて、カメラ140の撮影可能領域中の重要領域を特定する。重要領域は、注目領域やROIとも呼ばれ、一例として、画像中の他の領域と比べ、重要度の高い領域のことを指す。
重要領域通知手段13は、所定の画像処理装置に対して、重要領域を通知する。所定の画像処理装置としては、カメラ140やカメラ140で撮影された画像を利用する装置等を挙げることができる。
画質調整手段14は、特定された重要領域の情報に基づいて、カメラ140で撮像した画像の画質を変更する。例えば、画質調整手段14は、カメラ140に対して、重要領域内の画像の劣化を抑えるように圧縮(符号化)を指示する。一例として、カメラ140が、MPEG(Moving Picture Experts Group)で映像を圧縮する場合、量子化パラメータを変更することによって圧縮率を制御することが可能である。カメラ140は、重要領域内の画像の劣化を抑える指示を受信すると、量子化パラメータを変更して、重要領域内の画像の圧縮率が低くなるように制御を行う。また、画質調整手段14は、カメラ140によって圧縮(符号化)された画像の重要領域内の画像の画質を、超解像技術等を用いて向上させるようにしてもよい。
表示手段15は、重要領域を用いて、カメラ140の撮影した画像を表示する。例えば、表示手段15は、カメラ140によって撮影された画像を表示するときに、重要領域内の画像が他の画像から識別できるように当該画像を表示する。また、表示手段15は、画質調整手段14によって画質が変更された後の画像を表示するようにしてもよい。
(重要領域特定システム1aによる効果)
以上説明したように、本例示的実施形態に係る重要領域特定システム1aによれば、画質調整手段14が、特定された重要領域の情報に基づいて、カメラ140で撮像した画像の画質を変更する。したがって、重要領域内の画像の劣化を抑えるように画質を変更することにより、人間による画像の目視監視や、コンピュータによる各種の画像処理をより詳細に行うことが可能となる。
以上説明したように、本例示的実施形態に係る重要領域特定システム1aによれば、画質調整手段14が、特定された重要領域の情報に基づいて、カメラ140で撮像した画像の画質を変更する。したがって、重要領域内の画像の劣化を抑えるように画質を変更することにより、人間による画像の目視監視や、コンピュータによる各種の画像処理をより詳細に行うことが可能となる。
また、表示手段15が、重要領域を用いて、カメラ140が撮影した画像を表示するので、人間による画像の目視監視等をより詳細に行うことが可能となる。
<重要領域特定装置>
本例示的実施形態に係る重要領域特定装置10aは、図7に示すように、情報取得手段11と、重要領域特定手段12と、重要領域通知手段13と、画質調整手段14と、表示手段15と、を備えている。なお、例示的実施形態1において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
本例示的実施形態に係る重要領域特定装置10aは、図7に示すように、情報取得手段11と、重要領域特定手段12と、重要領域通知手段13と、画質調整手段14と、表示手段15と、を備えている。なお、例示的実施形態1において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
情報取得手段11は、車両30a、30bの位置情報を取得する。車両30a、30bの位置情報は、道路上の複数の車両の位置を管理する管理システム等から取得することができる。
重要領域特定手段12は、前記車両30a、30bの位置情報に基づいて、カメラ140の撮影可能領域中の重要領域を特定する。重要領域は、注目領域やROIとも呼ばれ、一例として、画像中の他の領域と比べ、重要度の高い領域のことを指す。
重要領域通知手段13は、所定の画像処理装置に対して、重要領域を通知する。所定の画像処理装置としては、カメラ140やカメラ140で撮影された画像を利用する装置等を挙げることができる。
画質調整手段14は、特定された重要領域の情報に基づいて、カメラ140で撮像した画像の画質を変更する。例えば、画質調整手段14は、カメラ140に対して、重要領域内の画像の劣化を抑えるように圧縮(符号化)を指示する。
表示手段15は、重要領域を用いて、カメラ140の撮影した画像を表示する。例えば、表示手段15は、カメラ140によって撮影された画像を表示するときに、重要領域内の画像が他の画像から識別できるように当該画像を表示する。また、表示手段15は、画質調整手段14によって画質が変更された後の画像を表示するようにしてもよい。
(重要領域特定装置10aによる効果)
以上説明したように、本例示的実施形態に係る重要領域特定装置10aによれば、画質調整手段14が、特定された重要領域の情報に基づいて、カメラ140で撮像した画像の画質を変更する。したがって、重要領域内の画像の劣化を抑えるように画質を変更することにより、人間による画像の目視監視や、コンピュータによる各種の画像処理をより詳細に行うことが可能となる。
以上説明したように、本例示的実施形態に係る重要領域特定装置10aによれば、画質調整手段14が、特定された重要領域の情報に基づいて、カメラ140で撮像した画像の画質を変更する。したがって、重要領域内の画像の劣化を抑えるように画質を変更することにより、人間による画像の目視監視や、コンピュータによる各種の画像処理をより詳細に行うことが可能となる。
また、表示手段15が、重要領域を用いて、カメラ140が撮影した画像を表示するので、人間による画像の目視監視等をより詳細に行うことが可能となる。
〔第3の例示的実施形態]
本発明の第3の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態に係る重要領域特定装置100は、例えば、ネットワークを介して、V2X(Vehicle to Everything)情報提供装置200およびサーバ300に接続される。
本発明の第3の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態に係る重要領域特定装置100は、例えば、ネットワークを介して、V2X(Vehicle to Everything)情報提供装置200およびサーバ300に接続される。
<重要領域特定装置100の構成>
本例示的実施形態に係る重要領域特定装置100の構成について、図8を参照して説明する。図8は、第2の例示的実施形態に係る重要領域特定装置100の構成を周辺構成と共に表した図である。図8に示すように、重要領域特定装置100は、情報取得部101と、重要領域特定部102と、通知部103とを備えている。情報取得部101は、本例示的実施形態において情報取得手段を実現する構成である。重要領域特定部102は、本例示的実施形態において重要領域特定手段を実現する構成である。通知部103は、本例示的実施形態において重要領域通知手段を実現する構成である。
本例示的実施形態に係る重要領域特定装置100の構成について、図8を参照して説明する。図8は、第2の例示的実施形態に係る重要領域特定装置100の構成を周辺構成と共に表した図である。図8に示すように、重要領域特定装置100は、情報取得部101と、重要領域特定部102と、通知部103とを備えている。情報取得部101は、本例示的実施形態において情報取得手段を実現する構成である。重要領域特定部102は、本例示的実施形態において重要領域特定手段を実現する構成である。通知部103は、本例示的実施形態において重要領域通知手段を実現する構成である。
図8に示すように、重要領域特定装置100を含むシステムは、V2X情報提供装置200と、重要領域特定装置100と、サーバ300と、カメラ140と、交通管制システム400と、を含む。
V2X情報提供装置200は、V2X通信技術を用いてV2X情報を提供する。V2Xは、V2I(路車間通信)やクラウド経由で様々な情報を送受信する通信技術である。V2X通信技術でやり取りされるデータとして、道路交通情報、自動車の挙動に関するデータ、隊列や追従走行に関するデータ、自動運転に関するデータ等が挙げられる。
V2X情報提供装置200は、これらのデータの中で、自動車の挙動に関するデータ、特に、自動車の走行エリア、走行速度、走行距離、車種、加減速や、ハンドル、アクセル、ウインカーの操作情報といった運転特性、自動車の状態等の情報を、重要領域特定装置100に提供することができる。
V2X情報には、カメラ140の周辺に位置する車両の位置情報が含まれる。V2X情報提供装置200として、車両の位置を管理するシステムのほか、この種のシステムからカメラ140周辺に位置する車両の位置情報を取得可能な端末や路側機等を挙げることができる。また、V2X情報提供装置200は、交通管制システム400からV2X情報を受け取り、重要領域特定装置100に提供する端末であってもよい。
カメラ140は、道路周辺に設置され、道路を通行する車両など撮影可能に設置されたカメラである。このようなカメラ140としては、交差点の信号機の信号柱や電柱等に設置されたカメラを用いることができる。
重要領域特定装置100は、V2X情報提供装置200から取得したV2X情報に基づいて、サーバ300から提供された画像に重要領域を特定し、サーバ300に通知する。
サーバ300は、重要領域特定装置100に対し、カメラ140の画像を送信する。また、サーバ300は、交通管制システム400に対し、カメラ140から取得した画像と重要領域特定装置100から送られた重要領域の情報とを送信する。
交通管制システム400は、交通管制業務を行う管制担当者に対し、カメラ140から取得した画像と重要領域特定装置100から送られた重要領域の情報とを用いて、情報の提示等を行う。具体的には、交通管制システム400は、カメラ140が撮影した画像を表示する表示手段を備え、この表示手段が、重要領域を用いて画像を表示する。例えば、交通管制システム400の表示手段は、重要領域特定装置100から送られた重要領域の情報を用いて、局所的な画像の鮮明化や物体認識を行って、その結果を出力する。
なお、画像の鮮明化の方法として、カメラ140側において該当領域の画質の劣化を抑えるように圧縮(符号化)を指示する方法、カメラ140において圧縮(符号化)された画像の該当領域の画質を、超解像技術等を用いて向上させる方法等が挙げられる。
また、カメラ140、重要領域特定装置100又はサーバ300のいずれかに、重要領域の情報を用いて、画像の画質を変更する画質調整手段を設けてもよい。このようにすることで、交通管制システム400側の負荷を軽減することが可能となる。
情報取得部101は、V2X情報提供装置200から取得したV2X情報に含まれる車両とその位置情報とを重要領域特定部102に提供する。
重要領域特定部102は、車両の位置情報に基づいて重要領域とする範囲を特定し、当該範囲を、カメラで撮影された画像中の座標に変換することにより、重要領域を特定する。具体的には、重要領域特定部102が、V2X情報に含まれる車両の位置情報を参照し、カメラ140の撮影可能範囲内における車両の位置に基づいて、撮影可能範囲内の対象空間中に重要領域を特定する。この重要領域の特定方法としては、車両の位置に対し、所定の領域特定ルールを適用して、領域を選択する方法を採ることができる。
重要領域特定部102はさらに、座標変換部1021を備える。座標変換部1021は、例えば、V2X情報提供装置200から取得した緯度経度等で表される領域情報を、カメラ140によって撮影された画像内の座標に変換する。
図9は、本例示的実施形態に係る重要領域特定装置100による重要領域の特定方法の一例を説明するための図である。重要領域特定部102は、V2X情報提供装置200から取得した車両の位置情報に基づいて、撮影可能範囲の対象空間中に重要領域を特定する。例えば、図9の左側の図では、矩形の左上の角の緯度経度と、右下の角の緯度経度を指定することで交差点周辺の対象空間中に重要領域が特定されている。なお、図9の左図において、「N AA AA AA.AAA」、「E BBB BB BB.BBB」、「N AA AA AA.CCC」、「E BBB BB BB.DDD」は、V2X情報提供装置200から取得した緯度情報または経度情報を表している。
例えば、座標変換部1021は、図9の左図に示す撮影可能範囲の対象空間中の緯度経度の位置情報を、左図の左下の位置を基準とした相対位置に変換する。例えば、座標変換部1021は、撮影可能範囲の対象空間中の左下の座標を(0,0)とし、右上の座標を(1023,1023)とし、重要領域の4つの角の相対位置を算出する。
座標変換部1021は、予め撮影可能範囲の対象空間における相対位置と、カメラ140によって撮影された画像における対応座標との対応を示すテーブルを記憶しておく。そして、座標変換部1021は、上記テーブルを参照して、撮影可能範囲の対象空間における重要領域の4つの角の相対位置を、カメラ140によって撮影された画像における対応座標に変換する。なお、撮影可能範囲の対象空間における重要領域の座標が、テーブルに記憶される相対座標の間にある場合には、補間処理を行って、カメラ140によって撮影された画像における対応座標に変換するようにしてもよい。
座標変換部1021は、このような緯度経度によって記述された重要領域を、カメラ140の画像内の座標に変換する。例えば、図9の右側の図は、4つの点によって規定された重要領域を示している。図9の右側の図の重要領域の座標(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)は、図9の左側の図内の重要領域の4つの角の座標に対応している。
重要領域特定部102は、通知部103に対し、このようにして特定された重要領域を出力する。なお、重要領域の形状は矩形である必要はなく、事前に設定したルールに基づいた任意の形状とすることができる(例えば、図11のROI2)。
また、重要領域特定部102は、情報取得部101によって取得された車両の位置情報を参照して、図9の左図に示す撮影可能範囲の対象空間に含まれる車両を、重要領域を特定する車両と判断する。座標変換部1021は、撮影可能範囲の対象空間に含まれる車両の緯度経度を、カメラ140の画像内の座標に変換することによって、カメラ140の画像内における車両との関連付けを行う。
通知部103は、サーバ300に対して、特定した重要領域の情報を送信する。なお、図9の例では、説明の簡略化のため、重要領域が1つの例を示しているが、重要領域が2つ以上あってもよい。
次に、本例示的実施形態に係る重要領域特定装置100の動作について図面を参照して詳細に説明する。図10は、本発明の第3の例示的実施形態の動作を説明するためのシーケンス図である。まず、重要領域特定装置100は、所定の時間間隔又はカメラ140の周辺に車両が接近したタイミングで、V2X情報提供装置200からカメラ140が設置された交差点周辺の車両の位置情報を含むV2X情報を取得する(ステップS101)。
次に、重要領域特定装置100は、V2X情報に含まれる車両の位置情報を参照し、カメラ140の撮影可能範囲内にある車両の位置に基づいて、撮影可能範囲の対象空間において重要領域を特定する(ステップS102)。この動作は、図9の左側の交差点内の矩形を特定する動作に相当する。
なお、V2X情報の送信対象となるエリアが広い場合、カメラ140の撮影可能範囲に位置する車両のほか、カメラ140の撮影可能範囲に移動する可能性のある車両の位置も重要領域の特定対象に含めてもよい。
なお、重要領域特定装置100が、重要領域を特定する際に、撮影可能範囲内にある車両の中から、所定のルールで、重要領域の特定の対象とする車両を選択してもよい。このようにすることで、重要領域特定装置100の処理負荷を軽減することが可能となる。この所定のルールとしては、画像中の車両の位置(例えば、遠方にある車両は選択しない)や進行方向(例えば、カメラ140から遠ざかる車両は選択しない)により車両を選択するルールや、特定する重要領域の数に基づいて、選択する車両の数を制限するルール等が挙げられる。
次に、重要領域特定装置100は、特定した対象空間における重要領域を、サーバ300を経由して得られたカメラ140の撮影画像上の座標に変換する(ステップS103)。この動作は、図9の右側の交差点内の画像上に、座標(x1,y1)~(x4,y4)で規定される重要領域を特定する動作に相当する。
次に、重要領域特定装置100は、サーバ300を経由して、交通管制システム400に対し、カメラ140の撮影画像上の座標で表された重要領域を通知する(ステップS104)。
最後に、交通管制システム400は、重要領域特定装置100から通知された重要領域を利用した処理を行う(ステップS105)。例えば、交通管制システム400は、重要領域特定装置100から通知された重要領域内の画像について物体認識を行い、その結果を管制担当者に表示する。また、交通管制システム400は、交通管制システム400の管制対象下にある自動運転車両等に対し、この物体認識の結果を送信することができる。また、表示手段が、画像中に、重要領域の画像を他の画像と識別可能な態様で表示するようにしてもよい。この場合、交通管制システム400は、カメラ140で撮影された画像上の重要領域を視覚的にわかりやすい形態で示す処理等を行う。
次に、重要領域特定装置100が重要領域の特定に用いる領域特定ルールについて、図面を参照してより詳細に説明する。重要領域特定装置100は、車両の進行方向の所定範囲を重要領域に特定する領域特定ルールを用いて重要領域を特定することができる。図11および図12は、この場合の重要領域の特定例を示す図である。
図11においては、画像900の中の前方から来る直進車両30aに対し、その進行方向の所定範囲を重要領域ROI1として特定している。また、左折車線に位置する車両30bについても同様に、その進行方向の所定範囲を重要領域ROI2として特定している。図11に示す例において、ROI1の幅を車両30aの車幅相当とし、長さを車両30aが所定時間後(例えば数秒後)に通過する領域としている。なお、ROI1の長さは、車両30aの前方数mの範囲等のように固定値であってもよい。図11に示す例において、ROI2は、車両30bの車幅相当の幅から車両30bから離れるに従い広がっていくような略台形の形状となっている。このように重要領域を略台形の形状とすることで、車両30bと交錯する可能性がある移動体(歩行者)が存在するエリアをカバーすることが可能となる。また、重要領域を略台形の形状とすることで、車両ごとの右左折時の旋回半径の違い(大回りに曲がる、小回りに曲がる)をカバーすることが可能となる。
図12に示すように、重要領域ROI1およびROI2は、画像900の中の車両30a、30bの移動に追従して変化する。このようにすることで、最新の路面状況や物体認識の結果を得ることが可能となる。
なお、領域特定ルールは図11および図12に示した例に限られない。例えば、図13に示すように、車両の位置周辺を重要領域とする領域特定ルールを用いることもできる。図13に示す例においては、画像900の中の車両30a、30bの周辺の所定範囲に、重要領域ROI3、ROI4が特定されている。このような重要領域を特定することで、車両の識別や交通流の把握を効率よく行うことが可能となる。なお、図13に示す例においては、車両30a、30bの周辺の所定範囲に重要領域ROI3、ROI4を特定しているが、車両30a、30bの前後の通常ナンバープレートのある部分周辺を重要領域に特定してもよい。
なお、本例示的実施形態においては、交通管制システム400に、重要領域を通知するとして説明したが、カメラ140にも重要領域を通知してもよい。このようにすることで、例えば、カメラ140に、重要領域特定装置100から通知された重要領域の画質が高くなるように映像圧縮の方法を変更させることができる。また、交通管制システム400で重要領域を用いた処理を行うものとして説明したが、サーバ300に、重要領域を用いた処理を行わせてもよい。このようにすることで、交通管制システム400側の負荷を軽減することが可能となる。
以上説明したように、本例示的実施形態に係る重要領域特定装置100によれば、重要領域特定部102が、車両の位置情報に基づいて重要領域とする範囲を特定し、当該範囲を、カメラで撮影された画像中の座標に変換することにより、重要領域を特定する。したがって、カメラで撮影された画像中の適切な位置に重要領域を特定することが可能となる。
〔第4の例示的実施形態]
本発明の第4の例示的実施形態について、図面を参照して詳細に説明する。図14は、本発明の第4の例示的実施形態に係る重要領域特定装置100aの構成を周辺構成と共に表した図である。本例示的実施形態に係る重要領域特定装置100aは、例えば、ネットワークを介して、V2X情報提供装置200aおよびサーバ300に接続される。なお、例示的実施形態3において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
本発明の第4の例示的実施形態について、図面を参照して詳細に説明する。図14は、本発明の第4の例示的実施形態に係る重要領域特定装置100aの構成を周辺構成と共に表した図である。本例示的実施形態に係る重要領域特定装置100aは、例えば、ネットワークを介して、V2X情報提供装置200aおよびサーバ300に接続される。なお、例示的実施形態3において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
なお、本例示的実施形態に係る重要領域特定装置100aと、図8に示す第3の例示的実施形態に係る重要領域特定装置100との構成上の相違点は、以下の2点である。第1の相違点は、V2X情報提供装置200aが重要領域特定装置100aに対し、車両の位置に加え、車両の速度情報等を提供する点である。また、第2の相違点は、重要領域特定装置100aの重要領域特定部102aが、車両の速度情報等の車両の位置以外の情報を用いて重要領域の特定を行う点である。
V2X情報提供装置200aは、重要領域特定装置100aに対して、車両の位置に加え、車両の速度情報、車種、加減速や、ハンドル、アクセル、ウインカーの操作情報といった運転特性、自動車の状態等の情報を提供する。情報取得部101は、車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上を取得する。
重要領域特定部102aは、車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上と車両の位置情報とに基づいて、カメラの撮影可能領域中の重要領域を特定する。
例えば、重要領域特定部102aは、V2X情報提供装置200aから提供されるV2X情報に含まれる車両の位置情報と速度情報等の情報とを参照し、カメラ140の撮影可能範囲内にある車両の位置に基づいて、撮影可能範囲の対象空間における重要領域を特定する。
図15は、本例示的実施形態に係る重要領域特定装置100aによる重要領域の特定方法の一例を説明するための図である。重要領域特定部102aは、V2X情報提供装置200aから取得した車両の位置情報を参照して、撮影可能範囲の対象空間における重要領域を特定する。このとき、重要領域特定部102aは、V2X情報提供装置200aから取得した車両の速度情報に基づいて、重要領域の範囲を拡大又は縮小する。
例えば、図9の左図に示すように、矩形の左上の角の緯度経度と、右下の角の緯度経度を指定することで交差点周辺の対象空間に重要領域が特定されているものとする。重要領域特定部102aは、V2X情報提供装置200aから取得した車両の速度が所定の閾値より速い場合、図15の左図に示すように、重要領域を車両の進行方向に向けて拡大する処理を行い、重要領域を「N AA AA AA.EEE」、「E BBB BB BB.FFF」まで拡大する。
座標変換部1021は、撮影可能範囲の対象空間中の緯度経度の位置情報を、カメラ140によって撮影された画像における対応座標に変換する。例えば、図15の右図は、4つの点によって規定された重要領域を示している。図15の右図の重要領域の座標(x1,y1)、(x2,y2)、(x3’,y3’)、(x4’,y4’)、は、図15の左図の重要領域の4つの角の座標に対応している。重要領域特定部102aは、通知部103に対し、拡大した重要領域を出力する。
なお、図15の例においては、車両の速度が所定の閾値よりも速かったため、重要領域を拡大する処理を行っているが、車両の速度が所定の閾値よりも遅い場合、重要領域を縮小する処理を行うことも可能である。
図16は、本発明の第4の例示的実施形態に係る重要領域特定装置の動作を説明するための図である。図16においては、重要領域特定部102aが、画像900の中の前方から来る直進車両30aに対して、その速度に応じて、拡大した重要領域ROI1aを特定している。
重要領域特定部102aは、車両の速度以外に、車種、加速度、ハンドル、アクセル、ウインカー等の操作情報などを用いて重要領域を特定することができる。例えば、図17に示すように、バス30cが走行方向に対して右側(図17においては左側)に車線変更するウインカーを点滅させている場合、重要領域特定部102aは、V2X情報提供装置200aからバス30cのウインカー点滅の操作情報を取得し、バス30cの車幅の幅を持つ重要領域ROI5を、車線変更後の車線に特定する。
また、重要領域特定部102aは、V2X情報提供装置200aからバス30cのハンドルの操作情報を取得し、ハンドルの操作情報に応じてバス30cの進行方向を特定して重要領域を特定するようにしてもよい。
また、重要領域特定部102aは、V2X情報提供装置200aからバス30cの加速度またはアクセルの操作情報を取得し、それらの情報からバスの走行速度を特定して重要領域を特定するようにしてもよい。
また、重要領域特定部102aは、V2X情報提供装置200aから車両の車種を取得し、車種に応じて重要領域の幅や大きさを設定するようにしてもよい。
なお、以上の説明においては、V2X情報として、車両の速度、車種、加速度、ハンドル、アクセル、ウインカーなどを例示したが、これらはあくまで一例であり、その他のV2X情報を用いて重要領域を特定することもできる。例えば、V2X情報にドライバーの属性等が含まれている場合、重要領域特定部102aは、ドライバーの属性(年齢、運転歴、免許種別、事故履歴等)に基づいて重要領域を特定してもよい。例えば、運転歴が短いドライバーや高齢のドライバーについては、重要領域特定部102aが、車両の進行方向前方側に、通常より広い重要領域を特定する。このようにすることで、管制センター等において、より広い重要領域に基づいた道路の異常監視等を行わせ、その結果をドライバー等に通知することが可能となる。
また、V2X情報に車両の属性等が含まれている場合、重要領域特定部102aは、車両の属性(車種、緊急車両であるか否か等)に基づいて重要領域を特定してもよい。このようにすることで、一般車と、緊急車両(救急車、消防車等)とで特定する重要領域に違いを持たせることができる。例えば、救急車については、重要領域特定部102aが、車両の進行方向前方側に、一般車両より広い重要領域を特定する。このようにすることで、管制センター等において、より広い重要領域に基づいた道路の異常監視等を行わせ、その結果をドライバー等に通知することが可能となる。
以上説明したように、本例示的実施形態に係る重要領域特定装置100aによれば、重要領域特定部102aが、車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上と車両の位置情報とに基づいて、カメラの撮影可能領域中の重要領域を特定する。したがって、重要領域特定部102aは、操作情報に基づいて、より適切に重要領域を特定することが可能となる。
[第5の実施形態]
上述の第1~第4の例示的実施形態においては、カメラ140が、交差点に設置された固定カメラであるとして説明したが、重要領域の特定対象となる画像を撮影するカメラは、固定カメラには限定されない。本例示的実施形態に係る重要領域特定装置は、例えば、車両に搭載された車載カメラの画像に重要領域を特定する。
上述の第1~第4の例示的実施形態においては、カメラ140が、交差点に設置された固定カメラであるとして説明したが、重要領域の特定対象となる画像を撮影するカメラは、固定カメラには限定されない。本例示的実施形態に係る重要領域特定装置は、例えば、車両に搭載された車載カメラの画像に重要領域を特定する。
図18は、本発明の第5の例示的実施形態に係る重要領域特定装置100bの構成を周辺構成と共に表した図である。本例示的実施形態に係る重要領域特定装置100bは、図18に示すように、情報取得部101と、重要領域特定部102bと、通知部103と、を備えている。なお、例示的実施形態3~4において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
本例示的実施形態においては、道路を撮影可能に設置されたカメラ140の代わりに、車両30dに車載カメラが搭載されている。また、V2X情報提供装置200bが、重要領域特定装置100bに対して、車両30dの周辺の車両の位置情報を含むV2X情報を提供する。そして、重要領域特定装置100bが、V2X情報提供装置200bから提供されるV2X情報を参照して、車載カメラ140bの画像に対して重要領域を特定する。
V2X情報提供装置200bは、車両30dの位置を把握しており、重要領域特定装置100bに対して、車載カメラ140bが搭載される車両30dの周辺に位置する他車両の位置を含むV2X情報を提供する。
重要領域特定装置100bは、V2X情報提供装置200bから取得したV2X情報を参照して、サーバ300b経由で車両30dから提供された車載カメラ140bの画像に重要領域を特定し、サーバ300bに通知する。なお、本例示的実施形態に係る重要領域特定装置100bは、車両30dの移動に伴い、車載カメラ140bの撮影可能範囲が変化する点を考慮して座標の変換等を行う。例えば、重要領域特定部102bは、車両30dの位置情報に基づいて、車両30dの進行方向の前方の矩形領域を重要領域として特定する。この重要領域は、車両の位置からの相対位置(例えば、車両の前端から幅2m長さ5mの矩形領域)で表される。そして、重要領域特定部102bは、この重要領域を車載カメラ140bの画像内の座標に変換する。
例えば、V2X情報提供装置200bから取得した車両30dの位置情報に基づいて、図9の左図に示す撮影可能範囲内の対象空間中に重要領域が特定されたとすると、座標変換部1021は、図9の左図に示す撮影可能範囲の対象空間中の緯度経度の位置情報を、左図の左下の位置を基準とした相対位置に変換する。例えば、座標変換部1021は、撮影可能範囲の対象空間中の左下の座標を(0,0)とし、右上の座標を(1023,1023)とし、重要領域の4つの角の相対位置を算出する。
座標変換部1021は、予め撮影可能範囲の対象空間における相対位置と、カメラ140bによって撮影された画像における対応座標との対応を示すテーブルを記憶しておく。そして、座標変換部1021は、上記テーブルを参照して、撮影可能範囲の対象空間における重要領域の4つの角の相対位置を、カメラ140bによって撮影された画像における対応座標に変換する。なお、撮影可能範囲の対象空間における重要領域の座標が、テーブルに記憶される相対座標の間にある場合には、補間処理を行って、カメラ140bによって撮影された画像における対応座標に変換するようにしてもよい。
座標変換部1021は、このような緯度経度によって記述された重要領域を、カメラ140bの画像内の座標に変換する。例えば、図9の右側の図は、4つの点によって規定された重要領域を示している。図9の右側の図の重要領域の座標(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)は、図9の左側の図内の重要領域の4つの角の座標に対応している。
サーバ300bは、車載カメラ140bから受信した画像を、重要領域特定装置100bに送信する。また、サーバ300bは、車載カメラ140bから受信した画像と重要領域特定装置100bから送られた重要領域の情報とを、交通管制システム400に送信する。
交通管制システム400は、車載カメラ140bから受信した画像と重要領域特定装置100bから送られた重要領域の情報とを用いて、交通管制業務を行う作業者に対して、情報の提示等を行う。例えば、交通管制システム400は、重要領域特定装置100bから送られた重要領域の情報を用いて、車載カメラ140bから得られた画像の局所的な鮮明化や物体認識等を行う。
以上説明したように、本例示的実施形態に係る重要領域特定装置100bによれば、重要領域特定部102bが、車載カメラ140bによって撮影された画像に重要領域を特定する。したがって、自動運転車や車両の運転に慣れていないドライバーの車両等に、遠隔支援に関する情報等を提供することができる。
〔ソフトウェアによる実現例〕
重要領域特定システム1,1a、重要領域特定装置10,10a,100,100a,100bの一部又は全部の機能は、集積回路(ICチップ)等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
〔ソフトウェアによる実現例〕
重要領域特定システム1,1a、重要領域特定装置10,10a,100,100a,100bの一部又は全部の機能は、集積回路(ICチップ)等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、重要領域特定システム1,1a、重要領域特定装置10,10a,100,100a,100bは、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例(以下、コンピュータCと記載する)を図19に示す。コンピュータCは、少なくとも1つのプロセッサC1と、少なくとも1つのメモリC2と、を備えている。メモリC2には、コンピュータCを重要領域特定システム1,1a、重要領域特定装置10,10a,100,100a,100bとして動作させるためのプログラムPが記録されている。コンピュータCにおいて、プロセッサC1は、プログラムPをメモリC2から読み取って実行することにより、重要領域特定システム1,1a、重要領域特定装置10,10a,100,100a,100bの各機能が実現される。
プロセッサC1としては、例えば、CPU(Central Processing Unit)、GPU(Graphic Processing Unit)、DSP(Digital Signal Processor)、MPU(Micro Processing Unit)、FPU(Floating point number Processing Unit)、PPU(Physics Processing Unit)、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリC2としては、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又は、これらの組み合わせなどを用いることができる。
なお、コンピュータCは、プログラムPを実行時に展開したり、各種データを一時的に記憶したりするためのRAM(Random Access Memory)を更に備えていてもよい。また、コンピュータCは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータCは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
また、プログラムPは、コンピュータCが読み取り可能な、一時的でない有形の記録媒体Mに記録することができる。このような記録媒体Mとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータCは、このような記録媒体Mを介してプログラムPを取得することができる。また、プログラムPは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータCは、このような伝送媒体を介してプログラムPを取得することもできる。
〔付記事項1〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
〔付記事項2〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
(付記1)
車両の位置情報を取得する情報取得手段と、
前記車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定する重要領域特定手段と、
前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する重要領域通知手段と、
を備えた重要領域特定システム。
車両の位置情報を取得する情報取得手段と、
前記車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定する重要領域特定手段と、
前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する重要領域通知手段と、
を備えた重要領域特定システム。
上記の構成によれば、重要領域特定手段は、車両に対して重要な画像領域を適切に特定することができる。これらの重要領域は、映像利用者、例えば、人間による画像の目視監視や、コンピュータによる各種の画像処理に利用することができる。
(付記2)
前記重要領域特定手段は、前記車両の位置情報に基づき、前記車両の進行方向となる領域を、前記重要領域に特定する、付記1に記載の重要領域特定システム。
前記重要領域特定手段は、前記車両の位置情報に基づき、前記車両の進行方向となる領域を、前記重要領域に特定する、付記1に記載の重要領域特定システム。
上記の構成によれば、重要領域特定手段は、車両に対して重要な画像領域を適切に特定することができる。
(付記3)
前記重要領域特定手段は、前記車両の位置情報に基づいて重要領域とする範囲を特定し、該範囲を、前記カメラで撮影された画像中の座標に変換することにより、前記重要領域を特定する、付記2に記載の重要領域特定システム。
前記重要領域特定手段は、前記車両の位置情報に基づいて重要領域とする範囲を特定し、該範囲を、前記カメラで撮影された画像中の座標に変換することにより、前記重要領域を特定する、付記2に記載の重要領域特定システム。
上記の構成によれば、カメラで撮影された画像中の適切な位置に重要領域を特定することが可能となる。
(付記4)
前記情報取得手段は、さらに、前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上を取得し、
前記重要領域特定手段は、前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上と前記車両の位置情報とに基づいて、前記カメラの撮影可能領域中の重要領域を特定する、付記1から3のいずれかに記載の重要領域特定システム。
前記情報取得手段は、さらに、前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上を取得し、
前記重要領域特定手段は、前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上と前記車両の位置情報とに基づいて、前記カメラの撮影可能領域中の重要領域を特定する、付記1から3のいずれかに記載の重要領域特定システム。
上記の構成によれば、重要領域特定手段は、操作情報に基づいて、より適切に重要領域を特定することが可能となる。
(付記5)
さらに、前記特定された重要領域の情報に基づいて、前記カメラで撮像した画像の画質を変更する画質調整手段を備える、付記1から4のいずれかに記載の重要領域特定システム。
さらに、前記特定された重要領域の情報に基づいて、前記カメラで撮像した画像の画質を変更する画質調整手段を備える、付記1から4のいずれかに記載の重要領域特定システム。
上記の構成によれば、画質調整手段が、重要領域内の画像の劣化を抑えるように画質を変更することにより、人間による画像の目視監視や、コンピュータによる各種の画像処理をより詳細に行うことが可能となる。
(付記6)
前記カメラは、交差点に設置されたカメラ又は車両に搭載されたカメラである、付記1から5のいずれかに記載の重要領域特定システム。
前記カメラは、交差点に設置されたカメラ又は車両に搭載されたカメラである、付記1から5のいずれかに記載の重要領域特定システム。
(付記7)
さらに、前記カメラの撮影した画像を表示する表示手段を備え、
前記表示手段は、前記重要領域を用いて前記画像を表示する、付記1から6のいずれかに記載の重要領域特定システム。
さらに、前記カメラの撮影した画像を表示する表示手段を備え、
前記表示手段は、前記重要領域を用いて前記画像を表示する、付記1から6のいずれかに記載の重要領域特定システム。
上記の構成によれば、表示手段が、重要領域を用いて、カメラが撮影した画像を表示するので、人間による画像の目視監視等をより詳細に行うことが可能となる。
(付記8)
車両の位置情報を取得する情報取得手段と、
前記車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定する重要領域特定手段と、
前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する重要領域通知手段と、
を備えた重要領域特定装置。
車両の位置情報を取得する情報取得手段と、
前記車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定する重要領域特定手段と、
前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する重要領域通知手段と、
を備えた重要領域特定装置。
上記の構成によれば、重要領域特定手段は、車両に対して重要な画像領域を適切に特定することができる。これらの重要領域は、映像利用者、例えば、人間による画像の目視監視や、コンピュータによる各種の画像処理に利用することができる。
(付記9)
前記重要領域特定手段は、前記車両の位置情報に基づき、前記車両の進行方向となる領域を、前記重要領域に特定する、付記8に記載の重要領域特定装置。
前記重要領域特定手段は、前記車両の位置情報に基づき、前記車両の進行方向となる領域を、前記重要領域に特定する、付記8に記載の重要領域特定装置。
上記の構成によれば、重要領域特定手段は、車両に対して重要な画像領域を適切に特定することができる。
(付記10)
前記重要領域特定手段は、前記車両の位置情報に基づいて重要領域とする範囲を特定し、該範囲を、前記カメラで撮影された画像中の座標に変換することにより、前記重要領域を特定する、付記9に記載の重要領域特定装置。
前記重要領域特定手段は、前記車両の位置情報に基づいて重要領域とする範囲を特定し、該範囲を、前記カメラで撮影された画像中の座標に変換することにより、前記重要領域を特定する、付記9に記載の重要領域特定装置。
上記の構成によれば、カメラで撮影された画像中の適切な位置に重要領域を特定することが可能となる。
(付記11)
前記情報取得手段は、さらに、前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上を取得し、
前記重要領域特定手段は、前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上と前記車両の位置情報とに基づいて、前記カメラの撮影可能領域中の重要領域を特定する、付記8から10のいずれかに記載の重要領域特定装置。
前記情報取得手段は、さらに、前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上を取得し、
前記重要領域特定手段は、前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上と前記車両の位置情報とに基づいて、前記カメラの撮影可能領域中の重要領域を特定する、付記8から10のいずれかに記載の重要領域特定装置。
上記の構成によれば、重要領域特定手段は、操作情報に基づいて、より適切に重要領域を特定することが可能となる。
(付記12)
さらに、前記特定された重要領域の情報に基づいて、前記カメラで撮像した画像の画質を変更する画質調整手段を備える、付記8から11のいずれかに記載の重要領域特定装置。
さらに、前記特定された重要領域の情報に基づいて、前記カメラで撮像した画像の画質を変更する画質調整手段を備える、付記8から11のいずれかに記載の重要領域特定装置。
上記の構成によれば、画質調整手段が、重要領域内の画像の劣化を抑えるように画質を変更することにより、人間による画像の目視監視や、コンピュータによる各種の画像処理をより詳細に行うことが可能となる。
(付記13)
前記カメラは、交差点に設置されたカメラ又は車両に搭載されたカメラである、付記8から12のいずれかに記載の重要領域特定装置。
前記カメラは、交差点に設置されたカメラ又は車両に搭載されたカメラである、付記8から12のいずれかに記載の重要領域特定装置。
(付記14)
さらに、前記カメラの撮影した画像を表示する表示手段を備え、
前記表示手段は、前記重要領域を用いて前記画像を表示する、付記8から13のいずれかに記載の重要領域特定装置。
さらに、前記カメラの撮影した画像を表示する表示手段を備え、
前記表示手段は、前記重要領域を用いて前記画像を表示する、付記8から13のいずれかに記載の重要領域特定装置。
上記の構成によれば、表示手段が、重要領域を用いて、カメラが撮影した画像を表示するので、人間による画像の目視監視等をより詳細に行うことが可能となる。
(付記15)
車両の位置情報を取得し、
前記車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定し、
前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する、重要領域特定方法。
車両の位置情報を取得し、
前記車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定し、
前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する、重要領域特定方法。
上記の構成によれば、車両に対して重要な画像領域を適切に特定することができる。これらの重要領域は、映像利用者、例えば、人間による画像の目視監視や、コンピュータによる各種の画像処理に利用することができる。
(付記16)
重要領域特定方法において、前記車両の位置情報に基づき、前記車両の進行方向となる領域を、前記重要領域に特定する、付記15に記載の重要領域特定方法。
重要領域特定方法において、前記車両の位置情報に基づき、前記車両の進行方向となる領域を、前記重要領域に特定する、付記15に記載の重要領域特定方法。
上記の構成によれば、車両に対して重要な画像領域を適切に特定することができる。
(付記17)
前記車両の位置情報に基づいて重要領域とする範囲を特定し、該範囲を、前記カメラで撮影された画像中の座標に変換することにより、前記重要領域を特定する、付記16に記載の重要領域特定方法。
前記車両の位置情報に基づいて重要領域とする範囲を特定し、該範囲を、前記カメラで撮影された画像中の座標に変換することにより、前記重要領域を特定する、付記16に記載の重要領域特定方法。
上記の構成によれば、カメラで撮影された画像中の適切な位置に重要領域を特定することが可能となる。
(付記18)
さらに、前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上を取得し、
前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上と前記車両の位置情報とに基づいて、前記カメラの撮影可能領域中の重要領域を特定する、付記15から17のいずれかに記載の重要領域特定方法。
さらに、前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上を取得し、
前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上と前記車両の位置情報とに基づいて、前記カメラの撮影可能領域中の重要領域を特定する、付記15から17のいずれかに記載の重要領域特定方法。
上記の構成によれば、操作情報に基づいて、より適切に重要領域を特定することが可能となる。
(付記19)
さらに、前記特定された重要領域の情報に基づいて、前記カメラで撮像した画像の画質を変更する、付記15から18のいずれかに記載の重要領域特定方法。
さらに、前記特定された重要領域の情報に基づいて、前記カメラで撮像した画像の画質を変更する、付記15から18のいずれかに記載の重要領域特定方法。
上記の構成によれば、重要領域内の画像の劣化を抑えるように画質を変更することにより、人間による画像の目視監視や、コンピュータによる各種の画像処理をより詳細に行うことが可能となる。
(付記20)
前記カメラは、交差点に設置されたカメラ又は車両に搭載されたカメラである、付記15から19のいずれかに記載の重要領域特定方法。
前記カメラは、交差点に設置されたカメラ又は車両に搭載されたカメラである、付記15から19のいずれかに記載の重要領域特定方法。
(付記21)
コンピュータに、
車両の位置情報を取得する処理と、
前記車両の位置情報に基づいて、前記カメラの撮影可能領域中の重要領域を特定する処理と、
前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する処理と、
を実行させる、プログラム。
コンピュータに、
車両の位置情報を取得する処理と、
前記車両の位置情報に基づいて、前記カメラの撮影可能領域中の重要領域を特定する処理と、
前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する処理と、
を実行させる、プログラム。
上記の構成によれば、車両に対して重要な画像領域を適切に特定することができる。これらの重要領域は、映像利用者、例えば、人間による画像の目視監視や、コンピュータによる各種の画像処理に利用することができる。
(付記22)
少なくとも1つのプロセッサを備え、前記プロセッサは、車両の位置情報を取得する処理と、
前記車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定する処理と、
前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する処理と、
を実行する重要領域特定システム。
少なくとも1つのプロセッサを備え、前記プロセッサは、車両の位置情報を取得する処理と、
前記車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定する処理と、
前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する処理と、
を実行する重要領域特定システム。
なお、この重要領域特定システムは、更にメモリを備えていてもよく、このメモリには、前記取得する処理と、前記特定する処理と、前記通知する処理と、を前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
(付記23)
少なくとも1つのプロセッサを備え、前記プロセッサは、車両の位置情報を取得する処理と、
前記車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定する処理と、
前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する処理と、
を実行する重要領域特定装置。
少なくとも1つのプロセッサを備え、前記プロセッサは、車両の位置情報を取得する処理と、
前記車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定する処理と、
前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する処理と、
を実行する重要領域特定装置。
なお、この重要領域特定装置は、更にメモリを備えていてもよく、このメモリには、前記取得する処理と、前記特定する処理と、前記通知する処理と、を前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
1、1a 重要領域特定システム
10、10a、100、100a、100b 重要領域特定装置
11 情報取得手段
12 重要領域特定手段
13 重要領域通知手段
14 画質調整手段
15 表示手段
30a、30b、30d 車両
30c バス
140 カメラ
140b 車載カメラ
101 情報取得部
102、102a、102b 重要領域特定部
103 通知部
200、200a、200b V2X情報提供装置
300、300b サーバ
400 交通管制システム
1021 座標変換部
ROI1~ROI3、ROI5、 ROI1a 重要領域
10、10a、100、100a、100b 重要領域特定装置
11 情報取得手段
12 重要領域特定手段
13 重要領域通知手段
14 画質調整手段
15 表示手段
30a、30b、30d 車両
30c バス
140 カメラ
140b 車載カメラ
101 情報取得部
102、102a、102b 重要領域特定部
103 通知部
200、200a、200b V2X情報提供装置
300、300b サーバ
400 交通管制システム
1021 座標変換部
ROI1~ROI3、ROI5、 ROI1a 重要領域
Claims (21)
- 車両の位置情報を取得する情報取得手段と、
前記車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定する重要領域特定手段と、
前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する重要領域通知手段と、
を備えた重要領域特定システム。 - 前記重要領域特定手段は、前記車両の位置情報に基づき、前記車両の進行方向となる領域を、前記重要領域に特定する、請求項1に記載の重要領域特定システム。
- 前記重要領域特定手段は、前記車両の位置情報に基づいて重要領域とする範囲を特定し、該範囲を、前記カメラで撮影された画像中の座標に変換することにより、前記重要領域を特定する、請求項2に記載の重要領域特定システム。
- 前記情報取得手段は、さらに、前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上を取得し、
前記重要領域特定手段は、前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上と前記車両の位置情報とに基づいて、前記カメラの撮影可能領域中の重要領域を特定する、請求項1から3のいずれか1項に記載の重要領域特定システム。 - さらに、前記特定された重要領域の情報に基づいて、前記カメラで撮像した画像の画質を変更する画質調整手段を備える、請求項1から4のいずれか1項に記載の重要領域特定システム。
- 前記カメラは、交差点に設置されたカメラ又は車両に搭載されたカメラである、請求項1から5のいずれか1項に記載の重要領域特定システム。
- さらに、前記カメラの撮影した画像を表示する表示手段を備え、
前記表示手段は、前記重要領域を用いて前記画像を表示する、請求項1から6のいずれか1項に記載の重要領域特定システム。 - 車両の位置情報を取得する情報取得手段と、
前記車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定する重要領域特定手段と、
前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する重要領域通知手段と、
を備えた重要領域特定装置。 - 前記重要領域特定手段は、前記車両の位置情報に基づき、前記車両の進行方向となる領域を、前記重要領域に特定する、請求項8に記載の重要領域特定装置。
- 前記重要領域特定手段は、前記車両の位置情報に基づいて重要領域とする範囲を特定し、該範囲を、前記カメラで撮影された画像中の座標に変換することにより、前記重要領域を特定する、請求項9に記載の重要領域特定装置。
- 前記情報取得手段は、さらに、前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上を取得し、
前記重要領域特定手段は、前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上と前記車両の位置情報とに基づいて、前記カメラの撮影可能領域中の重要領域を特定する、請求項8から10のいずれか1項に記載の重要領域特定装置。 - さらに、前記特定された重要領域の情報に基づいて、前記カメラで撮像した画像の画質を変更する画質調整手段を備える、請求項8から11のいずれか1項に記載の重要領域特定装置。
- 前記カメラは、交差点に設置されたカメラ又は車両に搭載されたカメラである、請求項8から12のいずれか1項に記載の重要領域特定装置。
- さらに、前記カメラの撮影した画像を表示する表示手段を備え、
前記表示手段は、前記重要領域を用いて前記画像を表示する、請求項8から13のいずれか1項に記載の重要領域特定装置。 - 車両の位置情報を取得し、
前記車両の位置情報に基づいて、カメラの撮影可能領域中の重要領域を特定し、
前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する、重要領域特定方法。 - 重要領域特定方法において、前記車両の位置情報に基づき、前記車両の進行方向となる領域を、前記重要領域に特定する、請求項15に記載の重要領域特定方法。
- 前記車両の位置情報に基づいて重要領域とする範囲を特定し、該範囲を、前記カメラで撮影された画像中の座標に変換することにより、前記重要領域を特定する、請求項16に記載の重要領域特定方法。
- さらに、前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上を取得し、
前記車両の速度、車種、加速度、ハンドル、アクセル、ウインカーの操作情報のいずれか1つ以上と前記車両の位置情報とに基づいて、前記カメラの撮影可能領域中の重要領域を特定する、請求項15から17のいずれか1項に記載の重要領域特定方法。 - さらに、前記特定された重要領域の情報に基づいて、前記カメラで撮像した画像の画質を変更する、請求項15から18のいずれか1項に記載の重要領域特定方法。
- 前記カメラは、交差点に設置されたカメラ又は車両に搭載されたカメラである、請求項15から19のいずれか1項に記載の重要領域特定方法。
- コンピュータに、
車両の位置情報を取得する処理と、
前記車両の位置情報に基づいて、前記カメラの撮影可能領域中の重要領域を特定する処理と、
前記カメラで撮影された画像を処理する画像処理装置に対して、前記重要領域を通知する処理と、
を実行させる、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023562091A JPWO2023089820A1 (ja) | 2021-11-22 | 2021-11-22 | |
PCT/JP2021/042774 WO2023089820A1 (ja) | 2021-11-22 | 2021-11-22 | 重要領域特定システム、重要領域特定装置、重要領域特定方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/042774 WO2023089820A1 (ja) | 2021-11-22 | 2021-11-22 | 重要領域特定システム、重要領域特定装置、重要領域特定方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023089820A1 true WO2023089820A1 (ja) | 2023-05-25 |
Family
ID=86396545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/042774 WO2023089820A1 (ja) | 2021-11-22 | 2021-11-22 | 重要領域特定システム、重要領域特定装置、重要領域特定方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2023089820A1 (ja) |
WO (1) | WO2023089820A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000259818A (ja) * | 1999-03-09 | 2000-09-22 | Toshiba Corp | 状況情報提供装置及びその方法 |
JP2004320112A (ja) * | 2003-04-11 | 2004-11-11 | Matsushita Electric Ind Co Ltd | 画像符号化方法、画像符号化装置、およびそのプログラム |
WO2021199350A1 (ja) * | 2020-03-31 | 2021-10-07 | 日本電気株式会社 | 遠隔監視システム、装置、方法、及びコンピュータ可読媒体 |
-
2021
- 2021-11-22 JP JP2023562091A patent/JPWO2023089820A1/ja active Pending
- 2021-11-22 WO PCT/JP2021/042774 patent/WO2023089820A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000259818A (ja) * | 1999-03-09 | 2000-09-22 | Toshiba Corp | 状況情報提供装置及びその方法 |
JP2004320112A (ja) * | 2003-04-11 | 2004-11-11 | Matsushita Electric Ind Co Ltd | 画像符号化方法、画像符号化装置、およびそのプログラム |
WO2021199350A1 (ja) * | 2020-03-31 | 2021-10-07 | 日本電気株式会社 | 遠隔監視システム、装置、方法、及びコンピュータ可読媒体 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023089820A1 (ja) | 2023-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7311670B2 (ja) | 表示方法、表示装置及びプログラム | |
US11123876B2 (en) | Method for sensor data processing | |
WO2018155159A1 (ja) | 遠隔映像出力システム、及び遠隔映像出力装置 | |
JP2022546320A (ja) | 高度車載機器 | |
JP2023156430A (ja) | 早期警告および衝突回避 | |
DE102018112234A1 (de) | Verkehrssituationswahrnehmung für ein autonomes fahrzeug | |
DE102019108080A1 (de) | Selektive Fernsteuerung einer ADAS-Funktionalität eines Fahrzeugs | |
KR101687073B1 (ko) | 터널 높이 추정 장치 및 터널 높이 추정 방법 | |
WO2020188928A1 (ja) | データ通信に基づいて意思決定を行うシステム | |
JP2013168118A (ja) | ビデオレーダを使用したリモート交通管理システム | |
US11636715B2 (en) | Using dynamic triggers in dangerous situations to view sensor data for autonomous vehicle passengers | |
JP7024737B2 (ja) | 情報処理装置と情報処理方法とプログラムおよび撮像装置 | |
US20220068128A1 (en) | Traffic signal control system and application therefor | |
JP2020147148A (ja) | 情報処理装置及び情報処理装置を備える自動走行制御システム | |
JP2015210584A (ja) | 画像処理装置 | |
US20230143741A1 (en) | Remote monitoring system, apparatus, and method | |
WO2023089820A1 (ja) | 重要領域特定システム、重要領域特定装置、重要領域特定方法およびプログラム | |
WO2020085101A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
JP7354773B2 (ja) | 物体検出装置、物体検出方法、及び物体検出プログラム | |
US20220377283A1 (en) | Image data collecting apparatus, method, and program | |
DE112020001581T5 (de) | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm | |
JP2022544348A (ja) | 対象を識別する方法とシステム | |
JPWO2019215979A1 (ja) | 画像処理装置、車載装置、画像処理方法及びプログラム | |
JP7393930B2 (ja) | 情報処理装置、配信システムおよび配信方法 | |
JP7424787B2 (ja) | 画像送信要求内容を受信情報によって選定可能な画像データ取得方法、プログラム及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21964835 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2023562091 Country of ref document: JP Kind code of ref document: A |